AI가 87년 묵은 수학 난제 '야코비안 추측' 반례 발견…수학계 충격

87년 만에 뒤집힌 수학 '상식'

2026년 7월 19일, 하버드대학교 수학자 레벤트 알포게(Levent Alpöge)는 X(구 트위터)에 짧은 메시지 하나를 올렸다. 수십 년간 수학자들이 '참'이라고 믿어온 야코비안 추측(Jacobian conjecture)이 사실 '거짓'이라는 내용이었다. 그가 제시한 반례(counterexample)는 단 216자에 불과했지만, 그 파장은 전 세계 수학계를 뒤흔들기에 충분했다.

야코비안 추측은 1939년 독일 수학자 오트-하인리히 켈러(Ott-Heinrich Keller)가 처음 제기한 문제로, 특정 유형의 다항식 함수가 역방향으로도 작동하는지를 묻는 질문이다. 야코비안 행렬식이 0이 아닌 상수인 다항식 사상(polynomial map)이 반드시 전단사 함수(bijection)인가 — 이것이 핵심 물음이었다. 1998년 스티븐 스메일(Stephen Smale)이 21세기 수학자들이 반드시 풀어야 할 18가지 난제 목록에 포함시키면서 더욱 유명해졌다. 그러나 이 문제는 87년간 누구도 해결하지 못했다.

AI '페이블'이 없었다면?

알포게는 X 게시물에서 이번 성과의 일부 공이 자신의 "친한 친구 페이블(fable)"에게 있다고 밝혔다. 이는 앤트로픽(Anthropic)의 최신 플래그십 모델인 Claude Fable 5를 지칭하는 것으로 보인다. 그는 월드컵 결승전이 열리는 동안에도 쉬지 않고 작업해준 Fable에게 감사를 표했다.

앤트로픽은 이에 대한 공식 논평을 내놓지 않았다. 정확히 어떤 방식으로 AI가 기여했는지도 아직 공개되지 않았다. 런던 퀸메리대학교의 아비셱 사하(Abhishek Saha) 교수는 "어떤 프롬프트를 Fable에게 입력했는지 알 수 없지만, 무작정 모든 것을 탐색한다고 해서 될 문제가 아니었을 것"이라며 "결국 인간의 통찰력과 AI의 능력이 결합된 결과"라고 설명했다.

수학계 반응: "AI 수학 사상 최대 성과"

사하 교수는 "지금까지 AI가 증명하거나 반증하는 데 중요한 역할을 한 추측 중 가장 중요한 사례"라고 평가하며 "AI가 지난 1년 동안 수학 분야에서 정말 놀라운 발전을 이뤘다"고 말했다. 앞서 OpenAI의 모델이 수십 년 된 에르되시(Erdős)의 단위거리 추측을 반증한 데 이어, 이번 야코비안 추측 반례 발견은 한 단계 더 높은 수준의 성과로 받아들여지고 있다.

요크대학교의 크리스 보먼-스카길(Chris Bowman-Scargill) 교수는 AI의 가능성을 인정하면서도 중요한 한계를 짚었다. "반례를 찾는 것과 수학의 완전히 새로운 분야를 구축하는 것은 다른 문제"라며, "페르마의 마지막 정리처럼 수백 페이지의 새로운 수학 이론을 세워야 하는 문제는 여전히 인간의 창의성이 필요하다"고 설명했다.

AI와 수학의 미래: 박사급 능력까지?

웨스트레이크대학교의 이반 페센코(Ivan Fesenko) 교수는 더 과감한 전망을 내놓았다. "현재 AI는 이미 수학에서 석사 수준의 성과를 낼 수 있다. 1년 안에 박사 수준의 성과를 낼 것"이라며 "이렇게 된다면 과연 우리에게 그렇게 많은 수학자가 필요한지 의문이 생긴다"고 말했다. "기본적으로 수학의 근본적인 변화를 이야기하는 것"이라고도 덧붙였다.

AI와 인간의 협업 모델이 점점 가시화되는 가운데, 알포게의 성과는 단순한 수학적 발견을 넘어 인간-AI 협력의 새로운 지평을 보여주는 이정표로 남을 것이다.

주요 사실 정리

AI의 주요 수학 성과 비교

야코비안 추측의 반증은 AI가 수학의 역사를 바꾸기 시작했음을 알리는 신호탄이다. 단 216자짜리 반례 하나가 87년간의 통념을 뒤집었다. 앞으로 AI와 수학자의 협업이 또 어떤 난제를 해결할지, 수학계와 AI 커뮤니티 모두가 주목하고 있다.