지난 4월 한나라당 조전혁의원의 교원단체 가입현황 공개 소동 이후 동료 한나라당의원의 잇따른 전교조 명단 공개가 이슈가 되고 있다. 여기서 행정학 박사이자 현직 국회의원인 정두언은 한 걸음 더 나아가 명단에 대한 통계적 분석을 시도하여 눈길을 끌었다. 여기서 그가 내린 결론은 '전국교직원노동조합 가입 교사의 비율이 높은 고등학교일수록 수능성적이 떨어진다'라는 것인데, 그가 활용한 방법론은 사회과학을 조금이라도 공부해 본 사람은 알 수 있는 오류를 포함하고 있다.

사회과학에서 오래된 난제 중의 하나는 바로 측정(measurement)의 문제일 것이다. 비교적 인과관계가 명확하고 측정의 기준이 명확한 자연과학과 달리 불규칙할 수밖에 없는 인간과 인간의 행동을 연구하는 사회과학은 측정의 정확성에 대한 부담을 항상 지니고 있다. 이러한 측정의 기준에 대해 사회과학자들은 끊임없이 토론하며 타당성(Validity)과 신뢰성(Reliability)같은 기본 규칙을 만들어 냈다. 측정에 대한 부담감 만큼 이를 극복할 수 있는 정확성을 부여해 과학으로서의 모습을 갖추게 한 것이다.

타당성은 측정하고자 하는 개념을 제대로 측정하고 있는가를 나타내고, 신뢰성은 그 결과가 지속적으로 같은 내용을 보여주고 있는가를 나타낸다. 보통의 실증적 연구에서 연구자는 자신이 품고 있는 연구 질문을 풀기 위해 가설을 제시하고 이를 숫자와 통계를 동원해 풀어낸다. 정두언 의원에게 전교조 가입률과 수능성적의 상관관계가 질문이었다면, 이를 풀어낸 방법은 마땅히 외부여건을 제거한 뒤 두 변수 간의 상관관계를 따져 볼 수 있는 회귀분석을 활용했어야 한다.

하지만 여기서 박사학위 소지자인 정두언의원은 전교조 가입율이 5%와 40%이상인 학교의 수능 성적 1·2등급의 비율을 조사해 발표했다. 사회조사 방법론에서 기초적으로 활용되는 t-검정 같은 집단간 구분을 활용하지 않고 단순히 평균 비율만 적용한 이 연구에서 정두언의원은 전교조 교사 가입율이 수능성적에 음(-)의 영향을 미친다는 실증적 결과를 도출해 내었으며, 따라서 "친북반미 정치교육을 시키는 전교조 교사들의 사례가 있는 만큼 전교조 명단공개는 학부모의 알권리를 위해 더욱 필요하다"라고 주장했다.

여기서 그의 방법론이 가진 치명적인 약점은 그가 집단의 구분으로 설정한 전교조 가입율 5%와 40%의 근거는 무엇인가 하는 점이다. 이들 표본집단이 어떻게 구성되었는지는 전혀 제시되지 않았다. 연구 질문에 대한 타당성이야 그렇다고 치더라도, 측정에 대한 부정확한 정의는 연구의 표현 신뢰성(Representative Reliability)을 해치는 요인이 된다. 단순히 수능등급만으로 성과를 측정한 것도 문제가 있지만, 전반적으로 자신이 원하는 결과를 위해 실증의 이름을 도용했다는 점에는 의문이 없어 보인다.

이처럼 과학의 이름을 도용한 정치적 연구를 유사과학(Pseudo-Science)이라고 한다. 지금 정두원의원이 활용한 지식은 그의 석사과정 초반 중에 배웠을 사회과학적 방법론의 기본적인 내용들을 무시한 것이다. 현대의 사회과학 방법론의 기초를 세운 학자 중 한명인 칼 포퍼 선생님이 그토록 혐오했던 '열린사회의 적'들이나 써먹을 방법으로 정두언의원은 '실증'의 이름을 우롱했다. 박사학위자로서 많이 부끄러워 해야될 일이다. 물론 그럴만한 양심이 그에게 있는가는 의문이지만 말이다.