(칼럼) 선거여론조사의 虛와 實

 

 

[정치닷컴/편집국]

 

 유무선 혼합조사가 대세 상황에서 <리서치뷰>는 왜? 생뚱맞게 100% 유선전화 조사결과를 발표해 뭇매를 자처했나 -

 “전화면접조사와 ARS 실전사례를 중심으로”

 

어제(30일) <리서치뷰>가 인터넷방송 <팩트TV>, 인터넷신문 <뷰앤폴>과 공동으로 실시한 수도권 광역단체장선거 마지막 공표조사결과가 발표되자마자 뜨거운 관심과 논쟁이 일고 있다. 일각에서는 야권층을 결집시키기 위한 작전으로 몰아가는가 하면, 다른 한편에서는 휴대전화가 아닌 유선전화만으로 조사한 저의가 수상하다는 투다.

특히 서울과 인천은 최근 발표된 여타의 조사결과와 매우 달라서 그런 억측도 무리는 아니다. 그러나 선거와 관련한 여론조사 방식은 각 기관마다의 축적된 경험 등을 토대로 자율적으로 판단할 수밖에 없어 차이가 있을 수밖에 없고, 특히 <리서치뷰>는 지난 2011년 2월말 RDD 기법을 도입한 후 각종 선거조사 경험 등을 토대로 이번 지방선거 조사방식은 100% RDD 유선전화조사가 더 타당하다는 결론에 도달했다. 그럼에도 불구하고 이번 지방선거와 관련하여 유무선 혼합조사가 대세로 자리 잡은 상황에서 <리서치뷰>는 왜 생뚱맞게 100% 유선전화 조사결과를 발표해 뭇매를 자처하고 나섰을까.

 

1. 여론조사 방법론에 대한 고찰 : 2011년 10ㆍ26 서울시장보궐선거

  

[표①] 2011년 10ㆍ26 서울시장보궐선거 마지막 공표조사 & 부재자 투표결과

 

지난 2011년 10월 19일 직후 서울시장보궐선거와 관련한 마지막 공표조사가 일제히 발표되었다<‘표①’ 참조>. 10월 17~19일 YTN과 한국리서치가 실시한 유무선혼합 전화면접조사는 ‘나경원(39.3%) vs 박원순(44.3%)’로 박원순 후보가 5.0%p 앞서는 것으로 발표됐다. 또한 10월 19일 조선일보와 미디어리서치 전화면접조사 역시 ‘나경원(41.4%) vs 박원순(43.5%)’로 역시 박 후보가 2.1%p 앞섰다.

반면, 10월 18~19일 <오마이뉴스/리서치뷰>가 공동으로 실시한 ARS[RDD] 유선전화조사는 ‘나경원(47.6%) vs 박원순(46.0%)’로 오히려 나경원 후보가 1.6%p 앞서는 것으로 나타났다. 과연 어떤 조사가 당시의 서울시민들의 표심을 보다 정확히 짚어냈을까!

마지막 공표조사 시점 직후인 20~21일 <이틀간> 부재자투표가 실시됐다. 개표결과 ‘나경원(52.6%) vs 박원순(41.4%)’로 나경원 후보가 예상을 깨고 관악구를 포함한 25개구 전역에서 무려 11.2%p 압승을 거뒀다. 위 결과를 토대로 할 때 마지막 공표조사 시점의 실제 판세는 뒤집힌 것으로 보는 것이 타당할 것이며, 따라서 유무선을 혼용한 전화면접조사보다 ARS[RDD] 방식의 100% 유선전화조사가 당시 표심을 보다 더 정확히 계량화했을 것이라는 믿음에는 지금도 변함이 없다.

직후 나경원 후보 관련 여러 악재와 박원순 캠프의 공세적인 캠페인 기조 변화, 안철수 교수의 격려방문 등으로 재역전에 성공하면서 7.2%p차 박 후보 승리로 막을 내렸다. 

 

2. 여론조사 방법론에 대한 고찰 : 응답률이 높아야 신뢰도가 높다?

[표②] 2011년 4ㆍ27 강원도지사보궐선거 마지막 공표조사결과 비교

 

대체로 면접원이 직접 통화하면서 조사를 수행하는 전화면접조사의 응답률은 두 자릿수인 반면, ARS 조사는 선거일 전까지는 한 자릿수로 비교적 낮은 편이다. 또한 상당수가 응답률이 높아야 신뢰도가 높다는 편견을 갖고 있다. 실제 지난 2011년 7월경 당시 문방위원장이던 이미경 의원이 응답률 15%미만 선거조사는 공표를 금지해야 한다는 취지의 공선법 개정안을 국회에 제출한 바 있다. 그 소식을 접한 필자는 의원실 담당자에게 전화를 걸어 ‘여론조사 응답률이 높아야 신뢰도가 높다는 통계학적 근거’를 요구했고, 그런 연유로 전문가 좌담회에 반대 토론자로 참여하게 된다. 15%미만 선거조사의 결과공표를 금지해야 한다는 모 교수님의 열띤 발제가 끝난 직후 필자에게 주어진 시간은 불과 10분, 여러 명의 국회의원과 보좌진, 정당의 여론조사 파트 관계자들이 지켜보는 자리에서 필자는 준비해간 자료를 배부한 후 10여분에 걸쳐 법 개정안에 대한 반대 입장과 그 근거들을 제시했다. 주된 내용은 ‘응답률이 높은 전화면접조사가 오히려 더 정확도가 낮다’는 내용이었고, 좌담회가 끝난 직후 문방위원장께서 개정안을 더 이상 추진하지 않겠노라는 입장을 밝혔고, 약속대로 해당 법안은 자동 폐기됐다.

 

위 <표②>는 바로 좌담회에서 제시한 근거 중 하나다. 2011년 4월 19~20일 각 기관이 실시한 마지막 공표시점 조사결과를 살펴보면 전화면접조사의 경우 적게는 9.1%p에서 17.0%p까지 엄기영 후보가 오차범위를 벗어나 크게 앞서는 것으로 보도됐다. 반면, ARS 방식인 <리서치뷰> RDD 유선전화조사는 ‘엄기영(48.0%) vs 최문순(44.4%)’로 불과 3.6%p차 오차범위 내 접전양상으로 확연히 달랐다.

 

최종 개표결과 ‘엄기영(46.4%) vs 최문순(51.1%)’로 최문순 후보가 4.7%p 역전승을 거뒀고, 27일 선거 당일 <리서치뷰>가 실시한 ARS[RDD] 100% 유선전화 예측조사는 ‘엄기영(47.7%) vs 최문순(49.9%)’로 최문순 후보가 2.2%p 앞섰다. 혹자는 4월 22일 불거진 강릉콜센터 사건으로 판세가 뒤집혔을 것이라고 항변할지도 모른다. 그러나 <리서치뷰>가 공표금지 기간 지속적으로 실시한 데이터의 흐름은 콜센터 사건과 최문순 캠프 문자메시지 사건을 한데 묶은 양비론적 보도행태와 위기감을 느낀 보수층 결집현상으로 오히려 격차가 다시 벌어지는 것을 확인한 바 있다.

 

통상적으로 전화면접조사는 ARS 조사에 비해 응답률이 높다. 그러나 <표①>과 <표②>에서 살펴본 것처럼 우리나라 선거조사는 오히려 ‘제대로 된’ ARS 조사의 오류가 더 적다는 것을 확신한다. 4ㆍ27 재ㆍ보궐선거가 끝난 직후 모 방송사 여론조사팀장께서 점심을 사겠다는 전화가 왔다. 약속 장소에 나가보니 중앙일간지 여론조사 팀장과 명성이 자자한 여론조사기관 대표도 함께 하는 자리였다. 명성은 익히 알고 있었지만 필자는 모두 처음 만나는 얼굴들이다. 그리고 당시 그들이 가장 궁금해 한 것은 ‘도대체 리서치뷰는 RDD 조사를 어떻게 하느냐’는 것이었고, 필자는 ‘막고 품는다’고 답했던 기억이 난다. 그리고 지금 이 순간에도 특히 전화면접조사의 경우 다 같은 RDD가 아닐 것이라는 확신에 변함이 없다.

 

 3. 무응답층의 비밀 : 전화면접조사와 무응답자 분류법

 

 

[표③] 2014년 6ㆍ4 서울시장선거 마지막 공표시점 연령대별 지지도 비교

리서치앤리서치 [MBCㆍSBS]_단위 : % 리서치뷰 [팩트TVㆍ뷰앤폴]_단위 : % 정몽준 격 차 (%p) 박원순 기 타 후 보 무응답 정몽준 격 차 (%p) 박원순 기 타 후 보 무응답 전 체 34.9 13.8 48.7 0.5 16.0 49.5 1.9 47.6 0.6 1.8 19/20대 17.1 44.3 61.4 0.0 21.5 26.8 -43.5 70.3 1.2 1.7 30대 17.7 51.9 69.6 0.4 12.3 44.3 -9.9 54.2 1.5 0.0 40대 27.0 26.5 53.5 1.8 17.7 47.4 -1.0 48.4 1.0 3.3 50대 50.7 -12.1 38.6 0.0 10.7 58.0 19.2 38.8 1.1 2.1 60세 이상 62.3 -42.4 19.9 0.0 17.8 70.2 42.8 27.4 0.7 1.8   5월 26~28일 전화면접조사(유무선 병행조사) 5월 28일 ARS[RDD] 유선전화조사

 

 그렇다면 도대체 수많은 메이저 기관들의 전화면접조사와 <리서치뷰> 조사결과가 왜 이렇게 다를까. <표③>을 살펴보면 그 이유를 짐작할 수 있다. <리서치앤리서치> 전화면접조사의 무응답층은 16.0%로 나타난 반면, <리서치뷰> ARS조사는 1.8%에 불과했다. 또한 <리서리앤리서치> 전화면접조사에서 정몽준 후보는 19/20대에서 17.1%, 30대에서 17.7%의 지지를 얻은 반면, <리서치뷰> ARS조사에서는 26.8%, 44.3%를 각각 얻은 것으로 나타났다.

 

지난 2011년 10월 26일 서울시장보궐선거 당일 <리서치뷰>가 실시한 ARS 예측조사에서 나경원 후보는 19/20대에서 29.7%, 30대 26.0%의 지지를 각각 얻었고, 같은 해 4월 27일 강원도지사보궐선거 당일 ARS 예측조사에서 엄기영 후보는 19/20대에서 29.9%, 30대 30.0%의 지지를 각각 얻은 것으로 조사됐다. 결론적으로 이명박 심판정서가 강렬했던 재보선에서도 여권후보들이 30대 이하 연령층에서 30% 안팎의 지지를 얻었던 점과 특히 박근혜 대통령에 대한 견고한 지지층 등을 감안할 때 전화면접조사에 나타나는 여권후보 지지율은 숨은 표심을 제대로 담보하지 못하고 있을 가능성이 매우 높다는 것이 필자의 판단이다.

RDD조사가 일반화되기 전에 치렀던 2010년 6ㆍ2 지방선거는 전화면접조사 기관들에게는 치욕적인 선거였다. 다음 해인 2011년 상반기 재보선을 앞둔 3월 초 SBS 현경보 여론조사팀장의 “취재파일, 엄기영 VS 최문순 누가 이길까?” 제하의 칼럼은 많은 것을 시사한다.“(중략) 사후 분석이지만 D-3일 전화조사 결과에 나타난 무응답자에게 주목할 필요가 있습니다. 강원지사 선거 전화조사에서 무응답자 비율은 17.6%였는데, 여기에 “20:80 분류” 규칙을 적용하여 두 후보의 예상지지율을 산정해 보았습니다. 그 결과는 이계진 46.2%, 이광재 53.8%로, 실제 선거결과(이계진 45.6%, 이광재 54.4%)에 매우 근접하게 됩니다. 무응답자 분류 20:80의 규칙을 인천시장과 충북지사 선거 여론조사에도 동일하게 적용해 보았습니다. 결과는 위의 표에서 보는 바와 같이, 인천시장이나 충북지사 선거의 경우 D-3일 전화조사만으로도 실제 선거결과를 거의 완벽하게 예측할 수 있다는 것입니다.(전화조사에 나타난 인천시장과 충북지사의 무응답 비율 19.3%와 18.3%에서 각각 1.3% 포인트는 군소후보의 몫으로 빼고, 여야 20:80 분류 규칙을 적용했음) 그렇다면 무응답자 20:80 분류 규칙을 오는 4.27 재보선 관련 사전 여론조사에 적용하면,  강원지사 후보로 맞대결에서 엄기영과 최문순 두 사람 가운데 누가 당선될까요? 앞서 리서치뷰의 여론조사에서 엄기영 후보가 42.2%로 35.3% 지지율을 얻은 최문순 후보를 6.9%포인트 차이로 리드하는 것으로 나타났습니다. 하지만, 22.5%의 무응답이 중요한 변수가 될 수 있습니다. 다른 군소후보가 출마하지 않는 조건에서, 무응답자 20:80 분류 규칙을 적용해 보면 엄기영 후보는 46.7%, 최문순 후보는 53.3%의 득표율을 얻을 것을 추정해 볼 수 있습니다. 결론은 최문순 후보가 당선된다는 얘기입니다.”

 

그렇다면 지난 4월 세월호 참사 이후 전화면접조사의 무응답층 또는 응답 회피층에는 여권지지자가 더 많이 숨어 있을까, 아니면 그 반대일까? 추정컨대 여권지지층이 훨씬 더 많을 것으로 확신한다. 어처구니없는 참사와 정부여당에 매우 비판적인 분위기에도 불구하고 면접원에게 당당하게 여권후보를 지지한다고 자신의 속내를 드러내기란 여간 큰 용기가 필요하다. 즉, 현경보 팀장의 무응답자 분류법이 이번 선거에서는 20:80이 아닌 80:20으로 분류하는 것이 타당하다는 것이 필자만의 생각일까?

 

바야흐로 선거가 4일 앞으로 다가왔다. 비록 예측조사가 틀릴지라도 <리서치뷰>는 공표금지기간이라는 미명하에 비겁하게 숨지 않았고, 이번에도 역시 그럴 것이다. 여론조사는 수많은 변수와 상황에 따라 언제든지 틀릴 수 있는 한계를 안고 있다. 그럼에도 불구하고 공표금지기간 전까지 수많은 데이터를 쏟아냈던 조사기관의 책임 있는 자세는 비겁하게 숨기보다는 예측조사결과를 제시함으로써 냉정하게 평가받고 검증받는 것임을 믿는다. <끝>

 

[전국지역 상세뉴스 정치종합 일간지 - infojc@naver.com

 

출처 http://jeongchi.co.kr/web/news/view.php?idx=3553&sc_code=001004