큰사진보기
▲ 페르마의 마지막 정리 사이먼 싱 지음. 영림카디널
ⓒ 윤석관	관련사진보기

xⁿ+yⁿ=zⁿ :n이 3이상의 정수일 때, 이 방정식을 만족하는 정수해 x, y, z는 존재하지 않는다. 나는 경이적인 방법으로 이 정리를 증명했다. 그러나 이 책의 여백이 너무 좁아 여기 옮기지는 않겠다.(91쪽)

17세기 초에 살았던 아마추어 수학자 피에르 드 페르마는 자신이 증명해낸 문제들을 사람들에게 수수께끼를 던지듯이 그렇게 풀어보라고 던져놓으면서 자신의 수학적 재능을 마음껏 뽐냈다고 하는데, 위에 서술된 이 문장도 그가 남겨놓은 수많은 문제들 중의 하나였다.

이것을 증명해내기 위해 수많은 학자들이 도전을 했고, 실패하면서 300년이 훌쩍 흘렀고 이 문제는 수학자들에게 있어서 뭐랄까 마치 에베레스트산 등정과도 같을까? 아니 그보다 더 어려운 과제가 되어있었다.

"<페르마의 마지막 정리>를 증명한 것은 물리학에서 원자의 세부구조를 규명한 것과 생물학에서 DNA구조를 규명한 업적에 비유할 수 있습니다." (345쪽)

위대한 발견이라고 일컬어지는 원자구조의 발견과 DNA 구조의 발견과 맞먹는다고 설명하는 이 난제를 드디어 오늘날에 이르러서야 풀어냈다고 하는데, 그 주인공은 영국의 수학자 앤드루 와일즈였다. 그는 초등학생 때, 우연히 도서관에서 이 문제를 접하고 거기에 매료되었다고 한다.

그리고 그는 자신이 어쩌면 <페르마의 마지막 정리>를 풀기위한 운명을 타고난 것이 아닌가라는 생각도 하게 되었다고 한다. 그러나 내가 생각하기에는 이것은 어쩌면 승자의 한마디가 아닐까? 라고 생각했다. 이 문제에 도전했던 역사상의 수많은 인물들이 야심차게 도전했고 스스로 운명의 인물이라고 생각했지만 그것을 현실로 이끌어낸 것은 앤드루 와일즈 그가 최초이자 마지막이었다.

어쨌든 <페르마의 마지막 정리>는 처음에는 사실 수학자들이 분류한 범주에 따르면 '중요한 정리' 축에는 속하지 않았다. 단지 "나만큼 똑똑한 수학자가 있으면 한번 나와보라구 그래!"라는 페르마의 도발에 당당히 맞설 수 있다는 매력이 존재했을뿐…….

그렇게 수학자들에게 단지 매력적인 것에 불과했던 이 '정리'는 본의 아니게 수많은 수학적 업적을 낳는데 기여한다. 오일러라는 수학자는 n이 3일 때의 조건을 만족시켰는데, 그것을 증명하기 위해 탄생시킨 허수의 개념은 현재 매우 유용하게 사용되고 있다.

그 후 n의 자리를 정수로 풀기 위한 많은 연구가 진행되었고 그것과 관련된 풀이법은 고스란히 현재의 수학적 기술로서 발전되어 나갔다. 그러나 여전히 <페르마의 마지막 정리>의 해결은 불가능해보였다.     

그렇게 시간이 흐르고 있던 19세기의 끝자락에서 논리수학자들은 숨고르기를 위한 작업을 시작하였는데, 그것은 지금까지의 수학적 논리를 엄밀히 새로 증명해보고 재확립시키는 작업이었다.

그러던 중 버트란트 러셀이라는 수학철학자는 공리가 참이라고 해서 모든 것이 참이 될 수 없는 역설을 발견해 내게 되고, 괴델은 완전하고도 모순 없는 수학체계를 세우는 것은 불가능하다는 이론을 제기하면서 <페르마의 마지막 정리>도 이 범주에 포함되어 증명이 불가능한 것은 아닌가? 라는 의구심이 제기된다.

그 사이 일본에서는 획기적인 발견이 이루어지게 되는데, 수학적으로 거리가 멀다고 생각되는 두 분야가 원래는 하나라는 가설이 제기된다. 그 두 분야는 타원방정식 분야와 모듈분야였는데, 타원 방정식의 해를 쉽게 구하기 위해서 만들어낸 E-급수와 모듈의 대칭성을 설명하는 M-급수가 일치한다는 것이었다.

<타니야마-시무라의 추론>이라고 일컬어지는 이것이 처음 발표되었을 때는 크게 인정받지 못하지만, 여러 수학자들의 세계에서 이것을 증명한다면이라는 가정 하에서 다른 이론을 제의하는 것이 발전할 만큼 엄청나게 중요한 이론으로 부상한다.

그리고 게르하르트 프레이라는 수학자는 <페르마의 마지막 정리>를 타원 방정식으로 변환시키는 데 성공하면서, <타니야마-시무라의 추론>을 증명하면 <페르마의 마지막 정리>가 증명된다는 놀라운 결과를 발표하기에 이른다.

그 당시 타원을 전공했던 앤드루 와일즈에게 이 사실은 또 한 번의 운명을 확신하는 사건이었으리라. 마침내 그는 수수께끼를 풀기위한 대장정에 돌입한다. 그리고 그의 노력은 7년 동안 이어졌다. 

그는 귀납법을 통한 증명을 하기로 가닥을 잡고, 프랑스의 비운의 수학자 갈루아의 군론을 차용하는 동시에 그것을 자연스럽게 사용하기 위해서 처음의 몇 년간은 자신이 사용할 수학적 스킬의 연마에 집중한다. 그리고 풀리지 않아서 고민하여 학회에 참석했을 때 알게 된 <콜리바긴-플라흐의 방법>또한 적용한다.

"저는 계산을 시작하면서 어떤 패턴을 찾으려고 노력했습니다. 무작정 계산만 할 것이 아니라 계산 자체가 수학적으로 어떤 의미를 갖는지 깊이 이해해야 한다고 생각했지요. 제가 염두에 두고 있는 특별한 수학 분야에서 그 동한 통용되어 왔던 개략적인 개념에 제 나름대로의 생각을 조화시키는 데 최선의 노력을 기울였습니다. 무엇보다도 기존의 개념을 이해하기 위해서 많은 책을 읽어야 했지요. 그러다 보니 기존의 개념이 갖고 있는 문제점들이 하나씩 눈에 띄기 시작했습니다. 어떤 개념은 약간의 수정만 가하면 문제점들이 해결되었지만, 개중에는 전혀 쓸모없는 것들도 있었습니다. 이런 식으로 보완을 해나가던 중 저는 무언가 완전히 새로운 개념이 필요하다는 생각을 하게 되었습니다." (264쪽)

"막다른 길과 마주치거나 도저히 극복할 수 없는 문제에 직면했을 때, 지루한 수학적 사고는 별 도움이 되지 않습니다. 무언가 새로운 아이디어가 떠오르려면 한 문제에 완전히 집중한 채로 엄청난 시간을 인내해야만 합니다. 다른 생각 없이 오로지 그 문제만 생각해야 합니다. 한마디로 완전한 집중, 그 자체지요. 그런 다음에 생각을 멈추고 잠시 휴식을 취하면 무의식이 서서히 작동하기 시작합니다. 바로 이때 새로운 영감이 떠오르게 되지요. 완전 집중 뒤의 휴식- 이때가 가장 중요한 순간입니다." (264쪽)

"자나 깨나 한 가지 생각뿐이었습니다. 아침에 일어나서 밤에 잠자리에 들 때까지 저는 <타니야마-시무라의 추론>과 함께 살았습니다. 아무런 방해도 받지 않은 채 제 마음 속에는 계속해서 동일한 과정이 되풀이되고 있었지요."(268쪽) 

"풀리지 않을 수도 있는 문제에 제가 어떻게 그토록 집요하게 매달릴 수 있었는지 의아해하실지도 모릅니다. 저는 그저 이 문제와 싸움을 벌이는 그 자체가 즐거웠어요. 완전히 몰두했던 거지요. 제가 생각하는 방법을 초지일관 밀고 나가면, <타니야마-시무라의 추론>이나 <페르마의 정리>를 증명하지 못한다 해도 결국엔 무언가를 증명하게 되리라 생각했습니다. 제가 가는 길은 분명 막다른 길은 아니었습니다. 그것은 훌륭한 수학이었고, 또 항상 그래왔습니다. <페르마의 마지막 정리>를 결국 증명하지 못하게 될 가능성도 있었지만, 제가 하고 있는 일이 시간 낭비라고 생각한 적은 단 한 번도 없습니다." (292쪽)

나는 그가 말하는 비결을 한 문장도 놓칠 수 없었다. 지금 이 글을 보고 있는 학생들에게도 서울대 수석합격자의 비결(교과서만 보고 공부했어요)보다 앤드루 와일즈가 이야기하는 바로 이것이 훨씬 더 값어치가 있을 것이다. 앤드루 와일즈. 그는 비로소 전 세계에 자신이 <페르마의 정리>를 증명했노라 발표하지만 하나의 증명 오류로 인하여 다시 제자리로 돌아가야만 하는 지경에 이른다.

"<페르마의 마지막 정리>를 증명한 사람이란, 증명의 '대부분'을 완성한 사람이 아니라 증명을 '끝낸' 사람을 뜻한다. 오류를 수정하지 못한 채로 세상에 공개한다면 전 세계의 수학자들이 벌 떼처럼 모여들어 와일즈에게 질문을 퍼부을 것이 뻔했다. 그렇게 되면 와일즈는 사람들을 일일이 상대하느라 문제에 집중할 수 없게 되고 반면에 다른 사람들은 와일즈가 투자했던 7년의 세월을 공짜로 버는 셈이 된다." (331쪽)

위기에 직면하였고 도무지 이겨낼 수 없을 것이라는 생각이 들면서 근본적으로 왜 틀렸는지 확인해 보았다던 그 순간에 그는 자신이 오래전에 폐기처분했던 한 수학이론을 적용했고 마침내 그의 눈 앞에는 구름 한 점 없이 푸른 하늘처럼 그토록 기다리던 답이 선명하게 나타났다.

"9월 19일 월요일 아침이었지요. 저는 책상에 앉아 콜리바긴-플라흐의 방법을 검토하고 있었지요. 저의 증명을 되살려낼 자신은 없었지만 적어도 그것이 '왜' 틀렸는지는 알아낼 수 있다고 믿었습니다. 그런데 갑자기, 졸지에, 모든 것이 제 눈앞에 확연히 드러나더군요." (339쪽)

그는 체념한 생태에서 자신에게 무엇이 틀렸는지 고민하던 그 순간 또 다시 깨달음이 찾아왔다. 그렇게 그는 300년간의 지루한 싸움에 마침표를 찍게 되었다. 뿐만 아니라, <타니야마-시무라의 추론>이 적용된다는 가정 하에 이루어졌던 많은 증명들을 살렸고, 조만간 그가 개발해낸 새로운 계산법 또한 유용한 사용처를 만나게 될 것이다.

그리고 무엇보다, 서로 다른 차원이라고 생각했던 모듈과 타원의 일치성을 증명함으로써 대통일 수학의 기틀을 마련했다는 점이 가장 중요한 것이 아닐까 생각한다. 빅뱅으로부터 생겨난 모든 우주상의 물질들 그것의 기원과 연관된 단 하나의 통합적 이론을 찾기 위해 수많은 물리학자, 화학자, 생물학자 그리고 앤드루 와일즈가 소속된 수학자들이 끊임없이 연구하는 상황에서 이루어낸 값진 성과였다.

나는 비록 이 책에서 이야기하는 수많은 수학적 이론들을 이해할 수는 없었지만 그것을 증명해나가는 수 천년의 역사 속의 수학자들의 삶에 밀착하면서 그들의 열정과 노력을 함께 나눠볼 수 있었다. 그리고 더불어 수학의 역사에 대하여 조금 더 자세하게 이해할 수 있었고 이 책을 통하여 또 다른 흥미로운 책들을 많이 발견할 수 있었다.

<페르마의 마지막 정리> 말고도 수학자들에게 남겨진 미해결 과제는 아직도 많이 존재하고 있다고 한다. 그중에서도 나는 특히 '4색 문제' 나 '케플러의 추측'이 눈에 들어왔다. 왜냐하면 그것들은 재료공학의 조직학과 결정학과도 연관되어 있다는 예감이 들었기 때문이다. 이렇게 이 책은 한 분야에 최대한 몰입했던 한 수학자의 이야기와 더불어 나에게 도움이 되는 몇 가지 이야기를 알려주었다.