비싼 게 정확한 게 아니었나: 김어준과 여론조사꽃이 놓친 것.
2024/04/28
이 글은 총선 전에 발행한 다음 글의 속편입니다. “비싼 게 정확하다”, 김어준의 여론조사 실험은 성공할까.
비싼 게 정확한 게 아니었나: 김어준과 여론조사꽃이 놓친 것.
[슬로우리포트] 문제는 예측의 정확도가 아니라 여론조사 정치의 근본적인 한계.
“비싼 게 정확하다”고 했던 김어준(딴지일보 총수)은 최근 방송에서 “그동안 선거를 분석하던 틀로는 이해가 안 되는 일이 벌어졌다”면서 “거대한 민심의 흐름을 조사 기법이 잡아내지 못한 건지 다른 요인이 있는 건지 조사해 봐야 한다”고 말했다.
선거가 끝났으니 차분하게 분석해 볼 필요가 있다.
결론부터 정리하면.
- 당연히 샘플(표본)은 많을수록 좋다. 다만 500명 샘플 조사를 48군데 한다고 해서 48배로 정확해지는 건 아니다.
- 조사 업체마다 ‘하우스 이펙트(조사업체 효과)’가 있다. 어느 업체가 더 정확한가도 중요하지만 애초에 모든 여론조사에 편향과 한계가 있다는 걸 전제해야 한다.
- 지지율보다 중요한 건 무당층 가운데 실제로 투표소에 가는 비율이다. 이들 가운데 상당수는 투표 하루 전까지 누굴 찍을지 결정하지 못했을 수도 있다.
- 여론조사는 보고 싶은 걸 보여주는 마법의 구슬이 아니다.
- 특별히 여론조사꽃이 더 많이 틀린 건 아니다. 방송3사 출구조사도 주요 격전지 예측에서 실패한 곳이 많았다.
이게 왜 중요한가.
- 무엇을 어디까지 믿을 것인가, 근본적인 질문이 필요하다.
- 여론조사가 실제로 선거 결과에 영향을 미쳤을 가능성을 돌아봐야 한다.
- 왜 여론조사 업체마다 다른 결과가 나오는지에 대한 분석이 필요하다.
- 다음 선거에서는 보수 진영에서 여론조사꽃 같은 여론조사 업체를 만들 수도 있다. 여론을 정확히 아는 것으로(이것이 진짜 여론이라고 주장하는 것으로) 여론을 움직일 수 있다고 믿는다면 이미 여론조사의 본분을 넘어선 것이다.
비싼 게 정확한 게 아니었던 이유는?
- 김어준이 이런 말을 했다. “여론조사의 수치가 많아 봐야 몇백 개란 말이죠. 우리는 2만4000개잖아요. 그러면...
여론조사라는 게 결국 일종의 확증 편향을 부추긴다는 가설은 예전부터 드는 생각인데, 이렇게 정리된 걸 보니 맞아떨어지는 거 아닐까 생각됩니다. 실제로 여론조사 응답 관해선 아예 바로 끊는 사람들이 많죠. 그렇다보니 모집단 가설이 일반적으로 통용되기 어렵지 않나 생각합니다.
민주당 지지층에 여론조사에 적극적인 사람들이 더 많아서 그런듯 ᆢ
전화 안받아버리는 사람들의 속 마음이야 알수 없는거니까 말이죠
총선 직전에 '최근 무당층이 늘었을 것이라 가정했을 때, 무당층의 증가가 여론조사 응답률을 낮춰 여론조사의 질이 낮아졌을 것이다'고 생각하고 갤럽의 과거 여론 조사 데이터를 쭉 봤더니.. 1990년대부터 무당층의 비율이 여론조사에 따라 이미 30퍼가 넘더라구요. 둘러보다보니 무당층은 이미 과거부터 많았습니다.
무당층은 왜 무당층인지에 대해 좀 더 많은 연구가 필요해 보입니다.
오늘도 좋은 뉴스 잘 봤습니다..!
여론조사라는 게 결국 일종의 확증 편향을 부추긴다는 가설은 예전부터 드는 생각인데, 이렇게 정리된 걸 보니 맞아떨어지는 거 아닐까 생각됩니다. 실제로 여론조사 응답 관해선 아예 바로 끊는 사람들이 많죠. 그렇다보니 모집단 가설이 일반적으로 통용되기 어렵지 않나 생각합니다.
민주당 지지층에 여론조사에 적극적인 사람들이 더 많아서 그런듯 ᆢ
전화 안받아버리는 사람들의 속 마음이야 알수 없는거니까 말이죠
총선 직전에 '최근 무당층이 늘었을 것이라 가정했을 때, 무당층의 증가가 여론조사 응답률을 낮춰 여론조사의 질이 낮아졌을 것이다'고 생각하고 갤럽의 과거 여론 조사 데이터를 쭉 봤더니.. 1990년대부터 무당층의 비율이 여론조사에 따라 이미 30퍼가 넘더라구요. 둘러보다보니 무당층은 이미 과거부터 많았습니다.
무당층은 왜 무당층인지에 대해 좀 더 많은 연구가 필요해 보입니다.
오늘도 좋은 뉴스 잘 봤습니다..!