20세기의 물리학자인 유진 위그너는 그의 에세이 <자연과학에서 수학의 비합리적 효과성>에서 수학이 자연을 설명하는 데 있어서 놀라울 정도로 효과적이라는 점에 대해 고찰한 바 있다. 뉴턴의 중력 법칙이나 맥스웰의 전자기 방정식은 수학의 언어로 자연 현상을 매우 정확하게 기술한다. 위그너는 쉽게 설명할 수 없는 이러한 수학의 자연과학에서의 유용성을 ‘비합리적’이라 표현한다. 이것이 왜 놀라운 현상인지를 이해하기 위해서는 귀납적 지식 체계와 연역적 지식 체계의 차이를 살펴보는 것이 도움이 된다.
우리가 경험하는 현실 세계에 대한 지식의 체계인 과학은 근본적으로 귀납적이다. 매일 주인에게 모이를 받는 닭의 이야기는 귀납적 추론의 본질과 한계를 잘 보여준다. 닭은 아침마다 주인이 모이를 준다는 반복된 경험을 통해 ‘주인은 매일 아침 나에게 모이를 준다’라는 일반적인 결론에 도달할 수 있다. 이러한 결론은 이후에도 매일 모이를 주는 주인의 행동에 의해 점점 더 강화된다. 그러나 어느 날 주인이 닭을 잡아먹기로 결심할 때, 닭이 도달한 결론은 수많은 날 동안 예외 없이 맞았음에도 불구하고, 결국에는 너무나 결정적인 방식으로 틀릴 수 있다. 과학적 지식의 속성은 이와 크게 다르지 않다.
반면, 수학은 연역적인 지식 체계라 할 수 있다. 연역은 일반적인 원리로부터 특수한 결론을 끌어내는 방법이다. 가령, 피타고라스의 정리는 직각삼각형의 세 변의 길이 사이에 성립하는 관계에 대한 것으로, ‘직각삼각형의 빗변의 제곱은 나머지 두 변의 제곱의 합과 같다’고 말한다. 이러한 결론은 우리가 더 많은 직각삼각형을 검토하다 보면 언젠가 법칙이 성립하지 않는 경우가 나타날 수도 있는 성질의 것이 아니다. 이 점은 닭이 얻은 결론의 성격과 크게 다르다. 이는 수많은 실험이나 관찰이 아니라, 유클리드 기하학의 공리와 논리적 추론을 바탕으로 도출된 연역적인 결과로, 물리적 세계에 대한 경험에 의존하지 않는다.
수학적 진리가 경험적 근거와 무관하다는 점에서, 수학은 자연과학과 구분되는 독특한 성격을 가지고 있다. 이렇게 분명히 나누어져 있는 두 세계의 근본적 차이를 인식할 때, 우리는 비로소 위그너가 말하는 놀라움에 대해 약간이나마 공감할 수 있게 된다. 수학적 개념들이 어떻게 자연의 법칙을 그렇게 정확히 묘사하는 데 활용될 수 있는지는 여전히 신비한 문제로 남아 있다.
수학을 둘러싼 이런 신비로움에도 불구하고, 수학은 사실 자연스러운 인간적 사고방식의 연장이라 할 수 있다. 인간은 거친 자연으로부터의 생존을 위해 알고 있는 것을 바탕으로 일반적인 법칙을 도출하고, 이를 통해 미래를 예측하는 일을 항상 필요로 해왔다. 일단 법칙을 맞는 것으로 가정하고 나면, 그로부터 다음에 일어날 일을 생각하는 것은 결국 논리적 추론이나 계산과 같은 연역적 방식의 접근을 필요로 한다.
수학의 활용이 언제나 무언가를 더 과학적으로 만들지 않는다는 점도 염두에 둘 필요가 있다. 코로나19의 유행이 시작되던 2020년 2월 중순, 대중들에게도 잘 알려진 물리학자는 전염병에 대한 간단한 수학적 모형을 이용해, 2020년 2월 말이면 전염병의 유행이 종료될 것으로 예측했다. 지금 돌아보면, 그것이 얼마나 오만한 예측이었는지 알 수 있다. 그가 사용한 수학은 옳았을 것이다. 다만 복잡한 현상과 수학적 모형의 괴리가 컸을 뿐이다. 수학이 좋은 과학의 일부가 되려면 현실의 복잡성을 반영하고, 영원히 닿을 수 없는 두 세계의 간극을 받아들이는 겸허함도 필요하다.
이철희 고등과학원 수학난제연구센터 연구원