최근 정한울 동아시아연구원 여론조사분석센터 부소장이 미디어오늘에 여론조사가 정치적 조정과 제도적 절차를 대신하는 ‘외주민주주의’를 비판하는 글을 두 차례 보내왔습니다. (관련 기사 : <빅데이터의 함정, 땅콩회항이 정윤회 사건을 삼켰다?> <20대가 전화 안 받아서…정동영 실제 지지율은 얼마?>) 정 부소장은 여론조사전문기관 리얼미터의 여론조사 분석이 왜곡됐다고 비판했습니다. 이에 리얼미터 측에서 반론을 보내왔습니다. 반론권 보장 차원에서 권순정 리얼미터 여론조사분석실장의 글을 게재합니다.<편집자주>

최근 정한울 동아시아연구원 부소장(이하 정 부소장)은 여론조사 보도의 신뢰성에 의문을 제기하며, 박근혜 대통령 국정수행 지지도와 관련한 리얼미터의 분석이 민의를 왜곡할 우려에 대해 지적했다.

물론 정 부소장이 지적하였듯이, 이른바 외주민주주의, 즉 정치적 조정과 제도적 절차에 의한 전통적 의사결정 과정이 ‘여론조사에 대체되는 상황’이 바람직하지 않다는 지적에는 공감하며, 중요 현안을 합리적 논의 없이 여론조사의 결과로만 결정하는 것은 분명 문제가 있다.

하지만 ‘새정치연합 기초의원 공천제 폐지 여부’와 ‘2012년 노무현-정몽준 단일화’ 사례로, 여론조사에 대해 특정 입장을 합리화하거나 정치적 무능을 변명하기 위한 수단으로 단순히 평가절하하는 데는 동의할 수 없다. 오히려 이들 두 사건을 관련 행위자들의 주장이 너무 팽팽하게 맞서 도저히 타협에 이르지 못하자 서로가 받아들일 수 있는 의사결정의 수단으로 여론조사를 사용한 사례로 봐야하지 않을까? 

이들 사건은 이미 마련된 의사결정 제도가 전혀 제 기능하지 못하는 ‘정치적 데드락’ 상황을 벗어나기 위한 수단으로 여론조사가 사용된 사례로 보는 것이 적절하다. 또한 이런 사례에서의 관련 행위자들을 ‘합리화,’ ‘정치적 무능,’ ‘변명,’ ‘악용’ 등의 강렬한 용어로 폄훼하는 것은 너무 과도하다고 생각한다.

이러한 비판은 오히려 여론조사의 ‘숫자’가 언론이라는 유통과정과 정치인의 ‘입’을 통한 소비과정을 거치면서, 유·불리에 따른 선별과 첨삭, 과장과 축소 등에 의한  ‘정치적 레토릭’으로 변질되는 과정에 겨눠져야 할 것으로 보인다.

민의를 정확하게 수렴하는 것은 여론조사 기관에게 있어 제1의 목표이다. 이 제1의 목표로 나아가는 과정에서 조사 수행자는 숙명과 같은 벽에 부딪힌다. 이 벽은 다름 아닌 ‘오차’ 문제이다. 특히 조금 낯선 용어지만 ‘비표집오차’ 문제를 ‘최소화’하기 위해 모든 조사자는 끊임없이 노력한다. 

정 부소장은 전화면접 등 다른 조사방법을 사용하는 조사자도 똑같이 직면할 수밖에 없는 이와 같은 숙명을 자동응답전화 조사방법을 사용하는 조사자에게만 지웠다. 이는 지나치게 편향된 시각이다. 

정 부소장에 따르면, “ARS는 ‘값싼 조사’이고, 표본의 대표성에 근본적 결함이 있다.” 사실 값싼 조사는 그 자체로 좋은 조사이지 나쁜 조사는 아니다. 

낮은 가격으로 조사의 질이 받아들이기 힘들 정도로 떨어진다면 값싼 조사는 나쁜 조사이다. 하지만 그렇지 않은 경우라면 값싼 조사는 값비싼 조사에 비해 좋은 조사이다. 최소한 조사전문가라면, 연구방법론을 배운 사람이라면, ‘값싼 조사’와 같은 편향된 수사로 특정 조사방법을 폄훼하면 안 된다. 그 “값싼 조사”를 미국의 대표 여론조사 기관이라고 할 수 있는 미국갤럽이나 라스무센이 IVR라는 이름으로 조사에 활용하고 있다는 사실은 어떻게 설명할 것인가?

잠시 자동응답 조사 관련 논란을 접어두고 전화면접 조사에 대해 논의해 보자. 전화면접은 자동응답보다 어림잡아 3배 이상은 비싸다. 균형 잡힌 시각이라면 전화면접은 자동응답보다 비싼데 현재 그 값은 제대로 하고 있는지에 대한 의문을 가져야 한다.

과연 전화면접 조사는 응답자의 거절로 인한 무응답 오차에 문제가 없는지, 면접원의 조사 방식이나 ‘잘 모르겠다(DK, Don’t know)’고 응답하는 유보층을 줄이기 위한 조사 가이드라인과 이의 적용 등에서 발생하는 측정 오차에는 문제가 없는지, 조사의 효율성을 높이기 위해 사용하는 패널 프레임은 과연 표본의 대표성 확보에 문제가 없는지와 같은 의문을 가져야 균형 잡힌 시각이 아닐까?

미국에서는 인종문제나 동성연애 문제 등 주변인들이나 전화 면접원에게 솔직한 응답을 하기 어려운 쟁점들은 자동응답 방식(ARS or IVR)으로 조사하여, 거짓응답이나 잘 모르겠다는 무응답을 최소화한다. 

한국정치는 미국에서의 그러한 이슈처럼, 아직까지 주변 사람들이나 전화 면접원에게 솔직한 답변, 특히 야당이나 야당 후보를 지지하거나 혹은 반정부적 이슈에 찬성한다고 밝히기 꺼리고 유보하는 응답자들이 많기 때문에, 비밀투표 방식으로 전화기 버튼을 누르는 자동응답 방식이 거짓응답이나 잘 모르겠다는 응답을 최소화할 수 있다. 

선거 출구조사도 그래서 몇 해 전부터 면접원에게 구두로 투표후보를 말하는 방식에서 출구조사 투표함에 모의투표 용지를 넣는 것으로 바뀌었고, 그때부터 면접원에 의한 비표집오차가  줄어들었다. 선거조사 시장에서 후보자들이 자동응답방식을 많이 활용하는 이유는 값싸기 때문이 아니라 부동층의 민심을 더 잘 알려주기 때문이다.

물론 정 부소장의 지적처럼 자동응답 조사방식은 20대와 30대 저연령층의 응답을 확보하는 데 문제가 있다. 이들 저연령층의 조사 표본을 현재에 비해 더 늘려야 한다는 데에는 동감한다. 또한 현재 리얼미터에서는 전화면접이 주된 조사 방식이지만, 전화면접이 가지지 못한 장점을 보유한 자동응답 방식의 이러한 문제를 해결해 나가는 과정에 있기도 하다. 하지만 정 부소장이 저연령층의 과소 표집 문제를 논의하는 방식에는 일정한 문제가 있다고 본다. 

첫째, 사실 목표표본수 대비 조사표본수 비율이나 가중값 배율은 다른 비표집오차보다 덜 중요한 문제다. 모수 추정은 응답분포가 정규분포라는 가정 하이며, 모집단의 분포가 정규분포가 아니어도 표본의 크기가 일정한 수 이상이면 정규분포에 근사해진다는 원리에 따라, 표본수의 절대값을 기준으로 표집의 적절성을 논의해야 한다. 

필자가 유학 시절 배운 바로는 한 집단 내 30명 이상의 응답자만 확보하면 모수 추정의 최소 요건이 된다. 하지만 정 부소장은 목표표본수 대비 조사표본수의 비율로 접근함으로써 자동응답이 저연령대의 모수 추정에 심각한 문제가 있는 것으로 보고 있다. 

엄밀히 얘기하면 국내 대부분의 여론조사가 무작위 추출 방식이 아니라 할당표집에 근거하고, 그 경우 표집오차를 산정할 수도 없는 근본적인 문제가 있는 상황에서, 더 심각한 다른 비표집오차가 있음에도 연령대별 표본수, 가중값 배율에 대해서만 과도한 우려를 독자들에게 전달하고 있는 것이 오히려 더 큰 우려의 대상이다.

둘째, 과대표집은 조사의 효율성 측면에서 문제가 되는 사항이지 조사의 질에 연관시켜 비난할 사항은 아니다. 앞서 밝혔다시피, 30명 이상의 응답자만 확보하면 100명이든 200명이든 모수 추정에는 크게 문제가 없다. 해당 집단의 목표 표본수가 50명인데 200명의 응답을 받았다면 200명과 50명의 차이인 150명은 안 받아도 될 응답이라는 측면에서 과대표집은 비효율적이다. 이렇더라도 과대표집이 부정확한 조사결과를 의미하는 것은 아니다.  

선관위에서도 간혹 선거 조사에 있어서 필요이상의 과대표집 조사에 대해서는 홍보성 조사이기 때문에 못하게 하는 것이지, 예컨대 전수조사가 정확하지 않아서 못하게 하는 것이 아니다. 만약 과대표집 계층이 많을 경우 해당 계층은 사후 통계 보정을 통해 축소시켜 주기 때문에 이 또한 문제가 되지 않는다. 하지만 정 부소장은 4월 28일자 미디어오늘 기고문에서 과대표집 문제를 다음과 같이 과장한 바 있다: “네 기관 모두 64~73%나 되어 고연령층이 과대 표집된 표본으로 조사했음을 알 수 있다. 충격적인 결과다.”  

마지막으로 정 부소장이 “(자동응답의) 낮은 응답률 문제 정도는 눈에 들어오지도 않는다”고 표현한, ‘응답률’ 문제에 대해 논의하고자 한다. 현재 전화면접 조사 응답률이 15~20% 안팎이고, 자동응답조사는 5~10% 안팎인데, 8년전 대선 당시 자동응답조사 응답률이 25% 정도였을 때도 자동응답조사를 비난하는 사람들은 응답률 30% 미만의 조사는 폐기해야한다고 주장했는데, 지금 전화면접조사가 어느덧 15% 안팎으로 떨어졌고, 그 때 비난했던 사람들은 전화면접 조사의 현 응답률에 대해서는 어느 누구도 비난하지 않는다. 

참고로 미국은 전화면접조사도 이미 지난 2012년 대선 때부터 10% 미만으로 떨어졌지만, 그에 대해 나쁜 조사라고 폄하하지도 않고 발표를 하지 못하게 하지도 않는다. 심지어 선거법상 응답률 표기 의무조항도 없다.  

리얼미터 일간조사에서 자동응답조사의 응답률은 약 5~6% 정도이다. 중앙선거여론조사공정심의위원회가 공개하고 있는 ‘여론조사결과 등록현황 보기’를 참조하면 전화면접의 응답률은 최저가 9%, 최고가 20%대 초반, 대부분이 10%대 중반이다. 

응답률의 문제는 무응답 오차를 야기하는데, 이 무응답 오차는 거절한 무응답 집단과 응답 집단의 특성이 체계적인 방식으로 서로 다르지 않으면 응답률이 낮더라도 크게 문제가 되지 않는다. 또한, 전화면접과 자동응답 모두 무응답률이 85%와 95% 사이로 매우 높은데 정 부소장의 “(자동응답의) 낮은 응답률 문제 정도는 눈에 들어오지도 않는다”는 표현이 과연 균형 잡힌 평이라고 할 수 있을까? 

자동응답과 전화면접이 위와 같은 단점을 공유하고 있듯이 각자의 장점이 있고, 또 이들 각자의 장점은 서로를 보완할 수도 있다. 각 조사방법의 단점은 개선해야 할 대상이지 단점이 있다고 해서 편향된 시각으로 조사방법 자체를 백안시해서는 안 된다. 앞서 밝혔듯이 자동응답 조사자이든, 전화면접 조사자이든 조사자의 제1의 목표는 민의의 정확한 수렴이고 이 과정에서 동일한 숙명에 직면해 있다. 특정 조사방법에 대한 폄훼보다는 전문가적 균형 감각과 발전적 상호 비판이 절실한 시점이다.   

정 부소장은 리얼미터가 지난 6월 29일에 발표한 ‘국회법 거부권 기점, 박 대통령 지지율 급변’이란 제하의 정례 주간 보도자료에 이의를 제기했다. 그의 글의 논리적 전개과정은 독자로 하여금 6월 25일 거부권 행사 직후 박 대통령의 지지율 급상승의 원인을 지지층 효과만으로 설명한 주체를 리얼미터 보도자료로 인식하게끔 하고, 나아가 이런 설명을 “왜곡에 가깝다”고 함으로써 곧 리얼미터 보도자료가 왜곡된 설명을 한 것으로 보게 하고 있다.  

▲ 리얼미터 여론조사.

하지만 리얼미터 보도자료는 박 대통령의 지지율 급상승의 원인을 지지층 효과만으로 설명한 적이 없다. 보도자료는 대통령 지지율의 급상승 원인을 다음과 같이 설명했다: “국회법 거부권 행사에 의한 박근혜 대통령의 지지율 급상승 효과는 대구·경북, 50대, 새누리당 지지층, 보수층 등 박 대통령의 핵심 지지층 외, 최근 메르스 사태 등으로 낙폭이 컸던 충청권, 호남권, 20대와 40대에서도 나타났다(자세히 보기).” 

즉, 급상승의 원인은 국회법 거부권 행사이고 급상승은 핵심 지지층뿐만 아니라 반대층이나 다른 지지층에서도 나타났다고 설명한 것이다. 오히려 왜곡은 일어났으되, 리얼미터가 아닌 정 부소장에 의해서 일어났다.

거부권 행사 직후 박 대통령의 지지율 급상승에 대한 정 부소장의 대안적 설명 또한 한계가 있다. 그는 거부권 행사를 이념적 쟁점(ideological issues)으로 분류하고 이념적 쟁점은 일종의 대립적 쟁점(position issues)이기에 거부권 행사가 거의 모든 집단을 결집시킬 수는 없다고 봤다. 따라서 거의 모든 집단에서 지지율이 급상승한 리얼미터 조사결과의 설명은 거부권 행사로 할 수 없고, ‘메르스 (사태 호전) 효과’와 같은 공통적 쟁점(valence issues)으로 설명하는 것이 “보다 설득력이 있다”고 했다.

거의 모든 집단이 안전을 위협하는 재난 사태가 해결되기를 원한다는 측면에서 메르스 사태 호전은 공통적 쟁점으로 볼 수 있다. 하지만 이 메르스 사태 호전으로 거의 모든 집단의 지지율 급상승을 설명하는 데에는 무리가 있다. 

동기유발이론 중 하나인 ‘2요인 이론’에 따르면 위생요인(hygiene factors)이 불만족을 없앨 수는 있지만, 정작 일을 열심히 하게 만드는 것은 동기요인(motivation factors)이다. 이처럼 거의 모든 집단의 지지율 급상승은 메르스 사태 호전과 같은 위생요인보다는 ‘8월 14일 임시공휴일’과 같은 동기요인으로 설명하는 것이 타당할 것이다(리얼미터의 8월 4일 일간조사에 의하면 8월 14일 임시공휴일 지정으로 거의 모든 집단에서 대통령의 지지율이 급상승했다). 바로 이런 측면에서 메르스 사태 호전만으로 거부권 직후 박 대통령의 지지율 급상승을 온전하게 설명하기는 어려운 것이다.

정 부소장의 글을 면밀히 검토한 후에도 리얼미터 조사분석실의 결론은 여전히 박 대통령의 거부권 행사였다. 리얼미터 조사분석실은 거부권 행사에 대한 태도가 세부 응답자 집단 간에 어떻게 다른지에 주목했고, 이에 따라 거부권 행사를 찬성과 반대 진영 간 양극화 정도가 높은 전형적인 대립적 쟁점으로 보기 어려운 측면이 있다고 본다. 

지난 6월 25일에 실시된 리얼미터의 ‘국회법 개정안 거부권 행사 찬반’ 조사결과를 보면, 새누리당 지지층이나 보수층의 반대 비율은 10% 전후였으나, 새정치연합 지지층과 무당층, 진보층과 중도층의 찬성 비율은 30% 전후였다(자세히 보기). 또한 박 대통령의 반대층으로 분류되는 연령층과 지역에서도 찬성 비율이 30%를 상회했다. 

이는 가장 진보적으로 분류되는 30대에서도, 박 대통령 반대층이 가장 많은 광주·전라에서도 상당한 수의 유권자가 거부권 행사에 찬성했고, 이들 중 일부가 거부권 행사를 계기로 반대층에서 지지층으로 이동했을 개연성이 높음을 의미한다.

여론조사의 환경은 특정 여론 변화에 연구자가 인지하지 못하는 여러 복잡다단한 요인들이 한꺼번에 영향을 미치고, 특정 요인의 영향을 다른 요인들의 영향으로부터 떼어내어 측정할 수 없는 한계를 가진다. 

여론조사의 환경이 이러하다면 여론조사의 결과에 대한 설명은 종합적이라기보다는 부분적이고, 확정적이라기보다는 개연적이 아닐까? 또한 여론분석은 다양한 영향 요인 중 가장 설명력이 높은 것을 찾고, 여러 가설적 설명 중에 가장 개연적인 것을 선택하는 과정이 아닐까? 

가장 반대층이 많은 30대에서도 5.4%p가 올랐는데 박 대통령의 핵심 지지층인 60대 이상에서는 왜 0.6%p만 올랐을까? 광주·전라에서도 14.1%p가 올랐는데 부산·경남·울산에서는 왜 오히려 3.4%p가 내렸을까? 정 부소장에게 묻고 싶은 질문이다.