모르기 쉬운 현대수학 40화 : 수학 문제는 언제 풀리는가

39화 : 원

원래는 소파 문제 증명 올라온 거 간단하게 읽어보고 그거로 할까 했는데 이번 주는 그럴 시간이 안 나서 짤막하게 할 수 있는 주제로.

"수학의 본질은 자유"

집합론을 만든 칸토어가 남긴 명언으로, 일반적으로 수학하면 보통 떠올리는 "논란의 여지가 없는 명확한 답"과는 완전히 배치되는 구절이라고도 할 수 있음.

그러나 현대 수학은 실로 이 말에 뿌리를 두고 있다고 할 수 있음. 어떤 면에서 그렇냐, 하면

"현대 수학에 표준은 없다"

라는 면에서 그렇다고 할 수 있음. 즉, 누가 어떤 것을 증명했다고 할 때, "이 증명은 맞다"를 채점해주고 보증해주는 기관이 존재하지 않는다는 의미임.

현대 수학에는 표준 기호도, 표준 용어도, 표준 정의도, 그리고 이런 어떤 것을 규정할 수 있는 표준 기관도 존재하지 않음. 어디까지나 수학자 다수의 암묵적인 합의에 의해 "사실상 표준"으로 인정되는 것이 존재할 뿐임.

실제로 어디까지나 사실상 표준이기 때문에 시대에 따라서, 혹은 실제 분야에 따라서, 아니면 그냥 자기가 어떻게 배웠냐에 따라서도 의미가 미묘하게 달라지거나 하는 경우가 수두룩함.

보통 (1,2)로 나타내는 열린 구간을 프랑스에서는 ]1,2[ 같은 식으로 나타내기도 하고, QR 분해의 경우에는 좁은 직사각형으로 하는 것과 정사각형으로 하는 것으로 나뉘는데 이걸 앞의 걸 thin, reduced 같은 식으로 부르고 뒤를 QR 분해라고 하는 경우가 있는가 하면 반대로 앞에 걸 QR 분해라고 하고 뒤를 Full QR 분해라고 하는 경우도 있음.

어디까지나 의미가 통하면 충분하고, 맥락을 통해서 읽는 사람이 자기가 쓰는 용어에 맞게 알아서 변형해서 이해하는 식이면 충분하지, 이를 강제적으로 통일시키는 기관이 없다는 면에서 현대 수학은 분명 자유에 기반을 두고 있음.

이는 논리적 규칙에 대해서도 얘기할 수 있는데, 실제로 어떤 공리를 채택해야 하는가에 대해서는 굉장히 미묘한 곳에서 이론의 여지가 아직도 남아있고, 애초에 이를 배제할 수 없다는 것이 어떤 면에서 괴델의 불완전성 정리가 말하는 바이기도 함.

물론 그렇다고 진짜 자기 규칙대로 막 쓴다고 해서, 이것이 수학적으로 인정받느냐, 아니 정확하게는 "수학자들에게" 인정받느냐는 완전히 별개의 문제라고 할 수 있음. 수학자들이 자기 나름대로 "암묵적으로" 가지고 있는 표준에서 벗어난다면, 이를 명확하게 설명하거나, 아니면 이 암묵적 표준을 바꿀만한 강력한 이유를 제시해야 함.

이로 인해서, 수학에는 표준이 존재하지 않지만 "비표준" 해석학 같은 표현이 등장하게 됨. 공식적인 표준은 존재하지 않지만 "암묵적인 표준"에서 벗어난다는 점에서 이러한 표현이 사용되는 것.

어쩌면 모든 수학은 2차 창작이라고 할 수 있을지도 모르겠음.

여하튼, 대부분의 수학 문제는 발표와 검증을 통한 출판 단계를 거침. 일반적으로는 출판 단계에 도달하면 수학 문제가 "풀렸다"고 할 수 있지만, 풀린 시기 자체는 맨 처음 발표된 시기를 기준으로 잡는 경우가 많음.

그러나 이는 어디까지나 일반적으로, 즉 "암묵적인 표준"은 그렇다는 것이지, 모든 문제가 "출판 된 것이지 증명된 것!" 이라든가, 반대로 "아직 출판 안 된 것이니 증명되지 않은 것!"은 아님.

우선, 출판의 의미는 "절대적이 검증"이 아님. 어디까지나 "그 출판사"에서 "믿을만하다고 여겨지는 사람"에게 검증을 맡겨 "그 사람들이" 인정했다는 의미임. 따라서 이는 어디까지나 그 저널의 신뢰도 문제에 기반한 "상대적인 검증"이라고 할 수 있음.

실제로 신뢰할 수 없는 쓰레기 저널이라면 출판되었다고 해서 이를 증명되었다고 여기는 사람은 없을 것임. 심지어 어느 정도 이름이 있는 저널이라고 해도 출판된 후에 내용에 지적을 받아서 얼마든지 뒤집힐 수도 있고, 이런 경우는 더 나아가서 저널이나 검증자의 신뢰도에도 거꾸로 영향을 끼칠 수도 있을 것임.

유명한 예시로는 "ABC 추측"을 들 수 있을 것인데, 이 증명을 발표한 모치즈키 교수는 실제로 수학에서 굵직한 업적을 남긴 수학자는 맞으나 이 증명의 경우에 한해서는 또 다른 저명한 수학자인 페터 숄체 등의 지적에 대해서 다른 수학자들을 납득시킬 만한 답변을 주지 못하였고, 실제로 이 증명은 출판은 되었지만 아직도 수학계에서는 증명된 것으로는 여겨지지 않고 있음.

물론 동시에 그 증명이 "틀렸다"라고 딱 잘라서 얘기할 수 있는 것도 아닌 미묘한 상황이기도 함. 그리고 모치즈키 교수는 일관적으로 그들이 이해를 못 한 것이다라고 주장하고 있는 상황임.

또, 대부분의 증명은 출판되는 시점에서 인정을 받고 사후 검토되는 경우가 대부분이지만, 유명한 문제거나 유명한 사람이 발표한 내용은 때로 출판 전부터 사람들이 달려들어서 자발적으로 검증을 하기도 함. 이러한 경우는 발표되고 딱히 출판되지 않더라도 많은 사람들이 "맞는 것 같은데"라고 하면서 자연스레 출판되기 전부터 "풀렸다!"라고 여겨지는 경우도 있음.

앤드류 와일즈의 페르마 대정리의 증명이 이러한 예시중 하나로, 증명을 발표한 시점에서 "난제가 풀렸다"라고 떠들썩해졌음. 더 골 때리는 것은 그렇게 "야 풀렸구나"하는 분위기였는데 그 뒤 출판 과정에서 검증 중에 오류가 발견되었고, 이 오류를 수정하기 위해 1년 이상이 소모되었다는 점임.

더 나아가서는 밀레니엄 수학 문제 중 하나인 페렐만의 푸앵카레 추측 증명은 아직도 사실 정식 출판은 거치지 않은 채 ArXiv에 올라와 있는 게 전부지만 출판사를 거치지 않더라도 이미 충분히 검증되었고, 정식 출판이 되지 않은 논문이지만 활발하게 인용도 되었으며, 사실상 누구도 이 증명의 진위를 의심하지 않고 있음.

또, 유명한 사람이 발표한 경우는 대체로는 큰 검증 없이 발표만으로 증명된 것으로 여겨지는 경우가 많기는 한데 이것도 항상 예외는 있음. 대표적인 것으로는 거물 수학자 아티야가 말년에 리만 가설의 증명을 발표했을 때를 들 수 있을 것인데, 이 경우는 조금만 접해도 이상함이 느껴져서 다들 회의적으로 봤고 심지어는 노망 들어서 저러는 거 아닌가 하는 소리도 들었을 정도임. 실제로 발표한 뒤 얼마 지나지 않아서 돌아가시기도 했고.

즉 출판 과정은 어디까지나 다른 수학자들로 하여금 신뢰도를 조금이라도 확보하려는 하나의 노력일 뿐, 이것을 거쳐야만 증명이 인정된다든가 하는 "표준적이고 공식적인"인정은 아님. 이를 보면 어떤 문제가 "언제부터 풀렸다고 여겨졌냐"는 명확한 답이 없는 굉장히 애매한 문제지만, 이 애매함은 바로 수학의 자유에 기반하고 있으며, 이 자유야말로 현대 수학의 본질과 반대되면서도 꿰뚫고 있는 축이라고 할 수 있을 것임.

1. 수학은 수학 시험과 다르게 딱히 정해진 공식적, 표준적 채점이란 게 없음.

2. 현대 수학의 증명의 진위는 결국 거슬러 올라가면 어떤 의미에서는 "권위", 즉 "유명세"에 어느 정도 뿌리를 두고 있음.

3. 어쩌면 현대 수학은 1차 창작 없이 2차 창작만으로 만들어진 캐릭터를 보는 느낌이 아닐까.