큰사진보기

한 여론조사 전문기관 관계자는 "요즘은 여론조사가 한번 발표될 때마다 여기저기서 항의가 엄청나게 들어온다"고 말했다. '예전에는 그렇지 않았느냐'는 질문에 "97년 대선까지만 해도 이렇게 심하지는 않았다"고 한다.

그는 여론조사기관에 들어오는 불만의 횟수와 강도에서 여론조사의 사회적 위상이 높아졌음을 상징적으로 느낀다고 말했다. 여론조사기관에 들어오는 불만은 여러 가지가 있겠지만 핵심적으로 이것이다. '이 여론조사를 과연 믿을 수 있는가'. 이는 여론조사에 대한 근본적인 질문이기도 하다.

대선은 여론조사의 계절이다. 대선후보 지지도 등 수많은 여론조사가 발표되고, 정치권과 일반국민도 민감하게 반응한다. 혹자는 이렇게 말한다. 여론조사는 도대체 믿을 수가 없다고. 하지만 과연 그럴까? 지난 8월 8일 재보선 투표 마감시간인 오후 6시를 땡 치자마자 각 방송사들은 일제히 13개 지역구의 당선자 예측 결과를 내놓았다. 당시 MBC는 코리아리서치(KRC)에 의뢰해 조사를 했고, KBS는 미디어리서치, SBS는 TNS(Taylor Nelson Sofres)에 의뢰했다. 그리고 몇 시간 뒤 여론조사기관의 예측조사 결과는 그대로 들어맞았다.

북제주의 경우 마지막까지 엎치락뒤치락 시소게임을 벌였는데, KBS는 예측조사에서 북제주를 '경합'으로 분류해 정확히 예측했다. 두 달 전인 6·13 지방선거 때에도 16개 광역단제장에 대한 방송사들의 당선자 예측은 제주도를 제외하고 모두 들어맞았다. MBC만 한나라당 신구범 후보 49.3%, 민주당 우근민 후보 47.7%로 신 후보가 경합 우세를 벌일 것으로 순위를 뒤바꿨으나 모두 오차한계(±4.0%) 안이었다(실제 개표결과 우 후보 51.41%, 신 후보 45.41%). 당시 MBC는 갤럽에, KBS는 미디어리서치와 KRC에, SBS는 TNS에 조사를 의뢰했다. 당선자 예측이라는 측면에서 보자면 총 29번의 선거 중 갤럽만 단 한차례 빗나갔을 뿐 나머지는 100%라는 놀라운 적중률이다.

여론조사는 믿을 수 없다? 여론조사만 믿는다?

이런 결과를 들어 혹자는 '다른 것은 아무것도 믿지 않고 여론조사만 믿는다'고 말한다. 하지만 이런 경우는 또 어떨까. 지난 8·8 재보선 직후인 9일에서 10일 MBC(KRC에 의뢰), <한겨레>(자체조사), <중앙>(자체조사), <동아>(KRC에 의뢰)는 거의 동시에 여론조사를 벌었다. 이회창-노무현-정몽준 3자 대결구도에서 이 후보에 대한 지지도를 보면 MBC는 35.2%(8월 9일 조사), <한겨레>는 38.5%(8월 9∼10일 조사), <중앙>은 39.8%(8월 9∼10일 조사), <동아>는 30.8%(8월 10일 조사)의 지지도를 보였다. 거의 같은 시기의 지지도가 조사 기관마다 최고 약 9%의 차이가 나고 있다.

여론조사전문가들은 조사회사가 다르기 때문에 수치 비교는 의미가 없다고 하지만, 같은 시기에 어떤 조사에서는 1·2위(이회창-정몽준)간 격차가 13.2%까지 벌어지고(<한겨레>), 다른 조사에서는 3.4% 차이로 오차범위 내의 접전(<동아>)을 벌이고 있는 것은 선뜻 이해하기 힘들다.

여론조사 전문가들은 여론조사를 폄하하지도 반대로 맹신하지도 말고, 스스로 '판단'하라고 권한다. 한길리서치의 홍형식 소장은 "여론조사를 정확히 읽고 또한 조사를 견제하라"고 말한다. 어떻게 하면 여론조사를 정확히 읽을 수 있을까. 어떻게 하면 여론조사를 견제할 수 있을까.

미국여론조사협회는 여론조사 판단 기준으로 8가지를 제시하고 모든 조사가 이것을 공개하도록 권유하고 있다. 그 8가지는 ①모집단 ②표본의 크기 ③표본추출방법 ④조사시기 ⑤의뢰자 ⑥오차범위 ⑦자료수집방법 ⑧자료수집도구이다.

미국과 달리 우리나라는 여론조사를 읽는 공식적인 기준이 제시되어있지 않다. 여론조사기관의 모임으로 한국마케팅여론조사협회(KOSMAR)가 있지만 일반국민들이 여론조사를 읽는 일종의 가이드라인을 제시하는 등 여론조사의 공신력을 높이는 공동의 활동은 거의 하지 않는 것이 현실이다. 그러나 여론조사 전문가들을 만나 '여론조사를 어떻게 읽어야하느냐'고 물어보면 저마나 한두 가지씩은 꼭 이야기한다. 다음은 한국의 여론조사 전문가들이 말하는 '대선 관련 여론조사를 읽는 법'이다.

(1) 큰 흐름을 읽어라

숫자 하나하나는 조사기관마다 차이가 날 수 있다. 표본오차만큼 차이가 나면 그나마 다행이지만 때로는 그 범위를 벗어나기도 한다. 이에 대해 조사 전문가들은 날씨나 요일, 조사요원의 숫자 및 자질, 질문의 문구와 배치, 유권자들의 부정확한 응답 등 비표본오차 때문이라고 설명한다.

따라서 숫자 하나하나에 일희일비하기보다는 전체적인 흐름을 읽으라고 충고한다. 상승중인가 정체인가 하강중인가, 또는 최고와 최저는 얼마인가 등. 흐름을 보기 위해서는 한가지 여론조사보다는 여러 여론조사에 관심을 가지고 비교해봐야 한다. 현재까지 우리나라의 각종 여론조사를 비교해보면 대략적인 흐름은 일치하고 있다.

숫자에 집착할 필요가 없는 또 한 가지 이유는 현재 발표되는 여론조사가 '예측조사'가 아닌 단순한 '전국민조사'이기 때문이다. 설사 국민 전체는 전국민조사처럼 생각한다 하더라도 실제 12월 19일 투표 결과는 여러 변수에 의해 다르게 나타날 수 있다. 가장 대표적인 변수가 투표율이다. 조사기관은 평소에는 전국민조사를 하지만 투표일이 가까워올수록, 구체적으로는 투표당일 출구조사를 발표 때에는 당선자 예측에 초점을 맞춰서 웨이팅(조사 결과에 가중치를 주는 것 등)에 들어간다. 조사 전문가들은 전국민조사에서는 상대적으로 투표율이 낮은 젊은 층의 지지를 높게 받고 있는 민주당에 유리하게 나타나는 경향이 있다고 지적한다.

(2) 표본오차를 정확히 이해하라

신문이나 방송에서 여론조사를 발표할 때마다 꼬리표처럼 따라붙는 것이 '표본오차는 ○○% 신뢰수준에서 ±○%다'라는 말이다. 이게 도대체 무슨 뜻일까. 대선후보 지지도를 예를 들어보자. 특정 시점에 A후보에 대한 전국민 지지도가 50%라고 가정하자. 한 여론조사 결과가 표본오차 95% 신뢰수준에 ±3.1%라고 발표했다면, 그 조사결과 나온 A후보에 대한 지지도 수치는, 확률적으로 100번 중 95번은 실제 지지도인 50%의 ±3.1%범위(46.9%∼53.1%)에 있을 것이라는 뜻이다. 그리고 다섯 번은 50%에서 ±3.1%범위를 벗어날 수도 있다는 의미다.

거꾸로 생각하면 좀더 쉽게 이해할 수 있다. 현실에서 알 수 있는 것은 조사결과 나온 수치일 뿐 실제 지지도는 그것을 가지고 추정할 뿐이다. 95% 신뢰수준에 ±3.1%의 표본오차를 가진 여론조사에서 B후보의 지지도가 40%가 나왔다면 이렇게 해석할 수 있다. "B후보의 실제 지지도는 36.9%에서 43.1% 사이에 있을 확률이 95%다."

표본오차를 정확히 이해하면 누가 누구를 앞선다고 말하는데 신중할 수밖에 없다. 서로 오차범위 안에 있다면, 수치는 앞서게 나왔다고 할지라도 실제는 뒤바뀌어 있을 수도 있다는 것을 내포하고 있기 때문이다.

(3) 조사 주체가 누구인가 확인하라

조사 전문가들은 여론조사에 가장 많은 영향을 미칠 수 있는 사람 또는 집단으로 조사 주체를 꼽는다. 조사 주체는 누가 조사기관에 여론조사를 의뢰했는가이다. 모든 조사는 의뢰인이 있다. 의뢰인은 조사의 주체이자 조사기관의 입장에서 보면 고객이기 때문에 조사시기 선정과 설문지 작성 단계, 결과 해석 단계에 개입할 수 있다. TNS의 이상일 과장은 특히 "의뢰인은 설문지 작성단계에 큰 영향을 미친다"고 말했다.

요즘 발표되는 각종 대선관련 여론조사의 조사주체는 언론사인 경우가 대부분이다. 주요 언론사들은 보통 특정한 여론조사기관과 파트너를 맺고 조사를 수행한다. KBS와 <조선>은 한국갤럽에, MBC와 <동아>는 KRC에, SBS·YTN·<문화>는 TNS에 의뢰해 조사를 하고 있고 <한겨레>와 <중앙>은 자체 여론조사팀을 가지고 있다.(도표 참고)

[표]여론조사기관-언론사 파트너 현황 여론조사전문기관 언론사 한국갤럽 KBS·조선일보 코리아리서치(KRC) MBC·동아일보 TNS (Taylor Nelson Sofres) SBS·YTN·문화일보 미디어리서치 한국일보·시사저널 한길리서치(HGR) 내일신문·부산일보 유니온· 한국정당정치연구소 대한매일 Poll&Poll 시사저널 오픈소사이어티 월간조선 중앙일보·한겨레신문은 자체 여론조사팀

조사기관은 때로 조사를 실시할 때 조사주체가 누구인가를 밝히지 않기도 한다. 즉, 전화를 해서 질문을 시작하기 전에 "○○(조사주체)와 △△(조사기관)이 공동으로 실시하는 여론조사입니다"라고 말하는 경우와 그냥 "△△(조사기관)에서 실시하는 여론조사입니다"라고 말하는 경우에 결과가 차이가 날 수 있다는 것이다. 만약 정치여론조사에서 조사주체가 청와대나 특정 정당이라면 더욱 그렇다.

또한 조사주체에 따라 똑같은 여론조사라도 사람들이 더 믿거나 덜 믿는 경향이 있다. 그런 의미에서 조사기관의 입장에서 보면 조사주체는 일종의 족쇄가 되기도 한다. 하지만 그렇다고 해서 조사결과를 발표할 때 조사주체를 명백히 밝히지 않는다면 더 큰 의심을 해볼 만하다. 한길리서치 홍형식 소장은 "어떤 조사라도 의뢰자를 발표하지 않는 것은 믿으면 안된다"고 말한다.

(4) 인터넷으로 통계표와 설문지를 확인하라

인터넷의 발달은 여론조사에 두 가지 영향을 미쳤다. 첫째는 웹 조사, 이메일 조사 등 새로운 여론조사의 가능성을 열었으며 둘째는 기존 여론조사의 투명성을 높이고 있다. 투명성은 기존에 지면부족이나 시간제한으로 불가능했던 각종 자료를 공개할 수 있는 길이 열리면서 높아지고 있다. 실제로 최근에는 언론사에서 여론조사를 발표하면서 인터넷을 통해 통계표도 같이 공개하는 추세다. 결론적으로 인터넷의 발달은 여론조사 자체에 대한 감시를 손쉽게 한다고 볼 수 있다.

조사 전문가들은 통계표를 통해 조사결과의 세세한 부분을 확인하면 표본이 타당하게 추출됐는가도 볼 수 있고 해석의 폭이 좀더 넓고 정확해질 수 있다고 말한다. 또한 설문지를 보면 혹시 문제가 있을 수도 있는 질문 배치나 단어의 어감, 응답 회피자에 대해 몇 번이나 되물었는가 등을 손쉽게 알아챌 수 있다. 질문 문항이나 답변 문항, 질문의 순서 등은 조사결과에 큰 영향을 미치는 고전적인 사항으로 꼽힌다. 허위사실로 판명됐지만, 지난 3월 민주당 국민경선 당시 이인제 후보가 음모론의 증거로 주장했던 것도 여론조사의 질문 순서였다.

최근 언론사들은 인터넷을 통해 통계표는 공개하지만 설문지는 공개하지 않는 경우가 대부분이다. 짚고 넘어가야 할 것은 대체로 통계표에 나타난 질문 순서와 문항이 실제 설문지와 일치하지만 다른 경우도 있다는 점이다.

조사전문가들은 질문지와 통계표가 문구가 일치하지 않을 수 있고, 통계표는 좀더 이해하기 쉽게 질문 순서를 바꿀 수도 있고, 원래는 있던 질문이 통계표에서는 내부 참고용을 위해 빠질 수도 있다고 지적한다. TNS의 이상일 과장은 "설문지의 공개 등은 법률로 규정되거나 상호 합의된 것이 아니다"면서 "여론조사의 소유권은 의뢰인이 가지고 있기 때문에 조사기관은 마음대로 공개할 수 없으며 강제할 수도 없다"고 말했다. 질문지 공개 여부는 여론조사의 신뢰도와 투명성을 보다 높이기 위해 개선해야할 부분이다.

(5) 조사시기를 염두에 둬라

발표 시점이 아니라 조사 시점이 언제인가 하는 점은 특히 요즘처럼 여론의 변화가 심한 시기에 매우 중요한 문제다. 여론이란 고정 불변이 아니라 항상 사회적인 변수와 의식의 흐름에 따라 변한다. 만약 조사시기와 발표일 사이에 중요한 변수가 발생했다면 그 조사는 이미 실제 여론과 틀릴 가능성이 크다. 이것이 언론사와 조사기관이 속보경쟁을 벌이는 이유이기도하다.

또한 여론조사의 탄력성이 클 때는 특정 후보에게 절대적으로 유리한 시점에만 조사하는 경우 냄비여론을 부추기거나 편향성 시비가 일 수 있다. 그런 의미에서 여론의 전체적인 변화추이를 살펴보기 위해서는 특정 시기 여론조사보다는 매월 정기 여론조사를 비교해보는 것이 좋다.

조사 전문가들은 어떤 중요한 사회적 사건이 발생했을 때 그것이 사회적으로 특정 후보의 지지도에 반영되기 위해서는 대체로 2∼3일이 걸린다고 지적한다. 예를 들어 추석 민심을 체크하기 위해서는 추석 당일보다는 2∼3일 후에 여론조사를 실시해야한다. 지나친 속보경쟁 탓에 '추석민심'이라며 당일이나 하루 뒤의 조사결과를 발표하더라도 속아서는 안된다는 뜻이다.

추석 이후부터 여론조사를 공표할 수 있는 기간은 후보등록일인 11월 27일까지 약 두 달. 이 사이 각종 여론조사가 경쟁적으로 쏟아질 것이다. 홍형식 소장은 "과거에 공정하지 못한 여론조사를 시행한 기관이나 개인이 결국 몰락했던 것을 여론조사업계가 똑똑히 보았고, 요즘은 다른 여론조사와 금방 비교가 되기 때문에 조사를 함부로 하지 못한다"면서 "그런 면에서 신뢰도가 많이 높아진 것은 사실"이라고 말했다.

하지만 아직 부족한 것도 사실. 대선 국면에서 검증되는 것은 단지 후보나 정당만이 아니다. 한국의 여론조사 또한 피 말리는 검증의 관문을 통과해야 하는 시기다.