큰사진보기
▲  더불어민주당 이재명 대선 후보(왼쪽)와 국민의힘 윤석열 대선 후보가 지난 24일 오전 서울 종로구 포시즌스 호텔에서 중앙일보 주최로 열린 "2021 중앙포럼"에 참석해 악수하고 있다.
ⓒ 국회사진취재단	관련사진보기

 
제20대 대통령선거를 100일 앞두고 수많은 여론조사가 쏟아지고 있다. 언론에서도 다수의 여론조사 결과를 비교해 보여주고 있는데, 여러 조사결과가 국민적 궁금함을 풀어주기도 하지만, 때로는 혼란스럽게 만들기도 한다. 조사결과가 제각각이라 어떤 결과를 믿어야 할지 모를 때 특히 혼란스러운 듯하다.

이번 대선 여론조사에서도 언제나처럼 전화면접조사와 ARS조사 간 차이가 커서 왜 그런지, 또 뭐가 맞는지 필자에게도 문의하는 분이 많다. 하지만 차이는 전화면접과 ARS 사이에만 그치지 않는다. 같은 전화면접조사 간에도 차이가 있다. 전화면접과 ARS조사 다르고, 전화면접조사 사이에서도 다르고, ARS조사끼리도 서로 달라서 더 혼란스러운 상황으로 보인다.

이번 기사에서는 먼저 최근의 주요 전화면접조사 결과를 보면서 어떻게 해석할 수 있는지 확인하고자 한다.

NBS와 한국갤럽의 서로 다른 결과

먼저, 지난 18일 NBS(전국지표조사)와 19일 한국갤럽의 조사 결과가 하루 차이를 두고 발표됐다(이상 11월 3주차). 그런데 결과가 달라 의아하게 생각했을 독자가 많았을 것 같다. 두 조사 모두 전화면접조사지만 결과가 달랐다. 짧게 살펴보자.
 

큰사진보기
▲ NBS 54차 - 4자 대결 지지도 추이 11월 3주, 15~17일 조사하여 18일(목)에 발표한 결과에서 두 후보는 1%포인트 격차를 보여 대등했다.
ⓒ NBS	관련사진보기

 
NBS 11월 3주차 대선후보 지지도는 윤석열 후보가 36%, 이재명 후보가 35%, 안철수 후보 5%, 심상정 후보 4%로 이재명 후보가 윤석열 후보를 바짝 추격해 대등한 결과를 보여줬다. 하지만, 한국갤럽에서는 윤석열 후보가 42%로 이재명 후보 31% 대비 11%P 우세한 결과를 보여줘 대비됐다.
 

큰사진보기
▲ 한국갤럽 데일리 오피니언 473호 - 4자 대결 지지도 추이 11월 3주, 16~18일 조사하여 19일(금)에 발표한 결과에서 두 후보는 11%포인트 격차를 보여 오차범위를 벗어나 윤석열 후보가 우세한 결과를 보여줬다.
ⓒ 한국갤럽	관련사진보기

 
NBS 11월 3주차 결과만을 놓고 보면 윤석열 후보의 경선 컨벤션 효과는 완전히 사그라진 상황이다. 그런데 한국갤럽의 11월 3주차 조사 결과를 보면 아직 윤석열 후보는 컨벤션 효과를 유지하고 있든지 혹은 다른 이유에서 확실한 우세를 보인다. 11월 4주차 NBS 조사결과(11월 25일 발표)에서는 윤석열 후보가 1%P 하락해 35%, 이재명 후보가 3%P 하락해 32%로 격차는 3%P로 벌어졌지만 오차범위 내에서 대등하게 유지됐다. 

보수가 결집했다? 진보가 결집했다?

다수 언론에서 언급하듯 이 같은 결과는 진보, 중도, 보수 성향자가 얼마나 더 표본으로 추출되느냐에 따른 것이다. 정치 이슈에 대한 유권자의 수용도와 태도에 따라 정치 성향별로 여론조사 응답 적극성은 달라질 수 있다. 흔히 '보수-진보 성향자가 결집했다'라는 모호한 표현은 바로 보수-진보 성향자 중 어느 한쪽이 여론조사에 더 적극적으로 응답하는 현상이다.

보수 혹은 진보 성향자가 자신이 지지하는 세력이나 인물 관련 부정적 이슈로 인해 여론조사 응답 적극성이 갑자기 약해지면, 표본으로 추출된 응답자 중에서 차지하는 비중이 줄어들어 해당 후보를 지지한다는 응답도 줄게 된다. 정당 지지도 역시 영향을 받는다.

11월 4주차 한국갤럽 데일리 오피니언(474호)에는 주관적 정치 성향 응답 비율 변화를 보여주고 있다. 아래를 보자.
 

큰사진보기
▲ 한국갤럽 데일리 오피니언 474호 - 주관적 정치 성향 추이 11월 4주, 한국갤럽이 발표한 진보/중도/보수의 주관적 정치 성향 구성비 추이이다. 지난 19대 대선이 있었던 2017년부터 최근까지 분포를 비교할 수 있다.
ⓒ 한국갤럽	관련사진보기

 
몇 해 동안의 추이를 보면 문재인 정부가 탄생한 19대 대선을 목전에 둔 2017년 1월에는 진보가 37%, 보수가 27%로 10%P 격차로 진보 성향자 응답이 더 많았는데, 2021년 11월엔 보수 성향자가 오히려 30%, 진보 성향자(22%) 대비 8%P 더 많다. 이번 정부에 대한 평가로 인해 정치 성향에 따른 응답 적극성에 큰 차이가 있고, 나아가 일부 성향별 스윙도 발생했을 것 같다.

그런데 이 같은 정치 성향별 구성비는 대선후보 지지도에는 큰 영향을 미치는 원인인 것처럼 보이지만, 사실 표본 추출의 결과라고도 할 수 있다. 즉, 조사 설계와 표본 추출 방식에 따라 진보-보수 성향자 비중이 달라지는 건 상식이다. 비슷한 시기에 조사한 위의 두 조사, NBS와 한국갤럽의 성향별 구성비는 다음과 같다. 

▲ NBS - 진보 31%, 중도 31%, 보수 31%
▲ 한국갤럽 - 진보 24%, 중도 30%, 보수 31%
* 통계표의 정치 성향별 가중적용 사례수로 확인

[조사 설계 자세히 들여다보기] 전화면접 방식이 다가 아니다

그렇다면, 11월 3주차 NBS와 한국갤럽 조사 설계의 차이를 봐야 한다. 간략히 정리한 아래의 표를 보자.
 

큰사진보기
▲ NBS와 한국갤럽의 조사 설계 비교 같은 전화면접조사인 두 조사가 세부적으로 조사 설계가 어떻게 다른지 간단히 비교를 했다.
ⓒ 김봉신	관련사진보기

 
가장 핵심적인 몇 가지를 설명한다면 아래와 같다. 첫째, 표본 추출틀에 유선전화번호를 포함해 조사하면 보수 성향자가 추출될 확률을 높인다고 알려져 있다. 경험적인 일반화인 것 같다. 한국갤럽은 유선전화를 통해 모바일 번호로는 추출이 쉽지 않은 여성 고령자를 추출하려 한다고 알려져 있다. NBS에서는 휴대전화 가상번호를 여론조사심의위원회를 통해 통신 3사로부터 구입해 활용하니 여성 고령자 추출을 위해 유선 번호를 쓸 필요가 없다.

둘째, NBS는 휴대전화 가상번호를 추출틀로 하는데 여기에는 알뜰폰 번호가 포함되지 않지만, 한국갤럽의 RDD(Random Digit Dialing, 무작위 생성 전화번호) 번호에는 알뜰폰 번호가 포함된다는 차이가 있다. 잘 관리된다면 RDD가 더 좋은 추출틀일 수 있는 이유가 여기에 있다. 다만 알뜰폰 번호가 체계적으로 성향을 달리해 편향을 발생시키는지 여부는 결론이 나지 않은 것 같고, 실제 알뜰폰 번호의 다수는 사람이 쓰지 않고 태블릿 등 기계에 물려 있다고 한다. 

셋째, 오후 6시까지 낮에만 조사하는 한국갤럽과는 달리 NBS는 밤 9시까지 조사했다. 낮 시간대에 전화를 받기 어려운 응답자도 추출하고자 하는 것 같다. 과거 휴대전화 번호를 쓰기 어려웠던 시절에는 한국갤럽도 늦은 오후에서 밤까지 조사를 했으나 RDD를 통해 조사하면서부터는 시간대별 조사 문제가 별로 중요하지 않게 됐다고 보는 것 같다.

넷째로 가장 중요한 차이는 응답률이다. 한국갤럽은 15% 정도인데, NBS는 30% 정도다. 응답률은 통화 연결에 성공한 응답자 중에서 마지막까지 문항까지 응답을 완료한 응답자의 비율이다. 그러니 연결된 후 바로 끊은 대상자를 연결이 됐다고 간주할 것인지 여부, 바로 끊은 대상자에게 다시 전화를 걸 것인지 내부 규정, 설문의 길이 등에 영향을 받는다. 숙련된 면접원은 응답 적극성을 제고하고 응답 저항감을 낮추는 능력이 있는 인력이다. 어느 회사에서 숙련된 면접원을 더 많이 보유하고 있는지도 중요하다.

어떤 조사가 맞고 틀리다 할 수 없다... 하지만 왜 다른지는 알 수 있어야

필자는 위와 같은 몇 가지 조사 설계의 차이가 전화면접조사의 결과 차이를 만들어 낸다고 결론내고 싶다. 표본 추출틀에서 한국갤럽의 유선번호는 응답자 중 보수 성향자의 비중을 높이는 이유가 됐을 수 있고, 낮에만 조사했기 때문에 낮 시간대에 휴대전화를 받기 어려운 직업군은 표본에 포함되기 어려웠을 것이다. 응답률이 낮다는 것은 표본대체가 NBS 대비 더 많았다는 것인데 최근 응답 적극성이 강한 보수 성향자의 추출 확률을 높였을 개연성이 있다.

결국, NBS가 응답 적극성이 어느 정도 약한 응답자까지 응답을 독려해 심층 여론까지 확인한 결과라고 한다면, 한국갤럽은 꾸준히 적용해온 조사 설계에 따라 표층과 중층까지 응답자를 추출했더니 저런 결과가 나왔다고 이해하면 될 듯하다.

조사 설계가 완전히 동일한 여론조사는 흔치 않다. 당내 경선이나 후보 단일화를 위해 복수의 여론조사 기관이 완전히 맞춰서 조사하는 경우가 아니라면, 언론에 공개되는 여론조사 중 같은 설계는 없다. 또한 어떤 조사가 유권자 투표 행동을 이해하는 데에 더 우수하고, 그래서 투표 결과에 더 근접할 것이라고 주장할 근거도 없다. 흔히 이야기하듯, 핵심은 '숫자' 자체가 아니라 '추세'다.

이번 글에서는 전화면접조사에 대해 다뤘다. 다음 글에서 ARS조사는 어떤지를 집중적으로 다뤄 보고자 한다. 과연 위에서 언급한 조사 설계가 ARS조사에서는 어떻게 적용되는지, 또 다른 논란은 어떤 것이 있는지, 그래서 조사결과를 볼 때는 어떻게 해석해야 하는지 함께 보고자 한다.

---------------------------------

[전국지표조사 NBS 54차 조사 개요(11월 3주차)]
조사기관 : 엠브레인퍼블릭·케이스탯리서치·코리아리서치·한국리서치 / 조사기간 : 11월 15일~17일 / 조사대상 : 전국 만18세 이상 남녀 1004명 / 조사방식 : 전화면접조사 방식 / 표본오차는 95% 신뢰 수준에 ±3.1%p, 응답률은 30.2%.

[전국지표조사 NBS 55차 조사 개요(11월 4주차)]
조사기관 : 엠브레인퍼블릭·케이스탯리서치·코리아리서치·한국리서치 / 조사기간 : 11월 22일~24일 / 조사대상 : 전국 만 18세 이상 남녀 1004명 / 조사방식 : 전화면접조사 방식 / 표본오차는 95% 신뢰 수준에 ±3.1%p, 응답률은 29.6%.

[한국갤럽 데일리 오피니언 473차 조사 개요(11월 3주차)]
조사기관 : 한국갤럽 / 조사기간 : 11월 16일~18일 / 조사대상 : 전국 만 18세 이상 남녀 1000명 / 조사방식 : 전화면접조사 방식 / 표본오차는 95% 신뢰 수준에 ±3.1%p, 응답률은 15%.

위 조사에 관련한 자세한 내용은 각 여론조사기관 홈페이지 또는 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다.