가장 좋은 AI도 12%밖에 못 푼다 — 8시간짜리 진짜 일 앞에서

 

가장 좋은 AI에게 8시간짜리 진짜 일을 맡겼더니, 열두 번 중 한 번꼴로만 끝냈다. 2026년 11월 2일, 연구 회사 SemiAnalysis가 공개한 새 벤치마크 GDPx의 첫 성적표다. 1위는 앤트로픽의 Claude Opus 5.5, 점수는 12.0%다. 구글의 Gemini 4 Carbon이 10.9%로 2위, 오픈AI의 GPT-6 Astra가 9.6%로 3위다. 이 숫자를 보고 "AI가 드디어 일자리의 12%만 대체한다"거나 "AI 시대가 끝났다"고 읽으면 둘 다 틀린다. 12%는 다른 질문에 대한 답이다. 일부러 어렵게 만든 긴 과제를, 정해진 환경 안에서 끝까지 해냈는지를 재는 통과율이다.

GDPx가 재는 일은 퀴즈가 아니다. 모델에게 질문을 던지고 답을 받는 방식이 아니라, 일하는 현장 자체를 시뮬레이션으로 만들어 그 안에 에이전트를 들여보낸다. 과제는 11개 분야에 걸쳐 있다. 칩 설계, 사이버보안, 생물학, 금융, 법률, 퀀트 트레이딩, 재귀적 자기개선, 하드웨어 설계, 소재과학, 정렬, 소프트웨어 공학이다. SemiAnalysis는 정부나 부동산, 보험 같은 분야는 의도적으로 빼고, 앞으로 1년에서 2년 안에 AI가 가장 큰 영향을 줄 것이라고 본 분야만 골랐다고 밝힌다. 분야 선정 자체가 경제 전체를 비추는 거울이 아니라, 이 회사의 전망을 담은 선택이라는 뜻이다.

과제 하나의 기본 제한 시간은 8시간이다. 일부 과제는 더 짧다. 모델은 각자 익숙한 도구로 일한다. Opus 5.5는 Claude Code, GPT-6 Astra는 Codex, Gemini 4 Carbon은 Antigravity에서 돌렸고, 전용 도구가 없는 모델은 OpenCode를 썼다. 채점은 분야에 따라 합격과 불합격만 가리는 방식과 부분 점수를 주는 방식을 섞어 썼다. 대표 점수는 과제마다 3번 시도한 첫 시도 통과율의 평균, 즉 pass@1 평균이다. 11개 분야는 똑같은 비중으로 평균을 냈고, 한 분야에 파트너가 여러 곳이면 파트너도 똑같이 나눠 계산했다. 이 계산법이 순위를 어떻게 만드는지 아는 것이 점수를 읽는 첫걸음이다.

금융 과제를 보면 GDPx가 말하는 "진짜 일"이 무엇인지 감이 온다. 과제 환경은 실제 거래를 씨앗으로 삼아 만들어졌다. 사모펀드가 가족 스낵 제조사의 지분 약 62%를 8억 8,000만 달러에 인수하고, 성과에 따라 추가 대금을 더하는 거래다. 약 4,000개 파일이 네 갈래 폴더에 나뉘어 있다. 인수하는 쪽, 파는 쪽 자문사, 회계 자문사의 자료가 각각 다른 폴더에 있고, 에이전트는 그 안에서 무엇이 중요한지부터 스스로 가려내야 한다. 예전 벤치마크처럼 프롬프트에 필요한 맥락을 전부 적어 주고 결과물만 받아내는 방식이 아니다. 자료를 뒤지고, 맥락을 모으고, 판단을 내리는 과정 자체가 시험이다. SemiAnalysis는 바로 이 지점을 GDPval과의 차이로 내세운다. 오픈AI의 GDPval은 2025년 9월 25일에 나왔고, 아직도 여러 모델 소개 페이지에 실리는 대표 벤치마크지만, 에이전트 시대 전에 만들어져 과제가 프롬프트에 맥락을 전부 담는 형태라는 비판이다.

성적표를 자세히 보면 평균 12% 안에 분야별 희비가 숨어 있다. Opus 5.5는 퀀트 트레이딩과 하드웨어 설계, 칩 설계에서 가장 앞섰고, 전방위로는 가장 좋은 모델이라는 평가를 받았다. Gemini 4 Carbon은 생물학에서 가장 좋았고 소프트웨어 공학에서는 근소하게 이겼다. GPT-6 Astra는 재귀적 자기개선에서 압도적으로 이겼고 소재과학에서도 가장 앞섰다. 재귀적 자기개선은 AI가 스스로 다음 버전의 자신을 만드는 연구 과정을 얼마나 해내는지를 재는 분야다. 한 모델이 모든 분야에서 이기는 그림이 아니라, 분야마다 강자가 갈리는 그림이다. 그래서 "어�는 모델이 제일 좋냐"는 질문보다 "어떤 일에 어떤 모델이 강하냐"는 질문이 더 정확하다.

가장 눈에 띄는 대목은 금융과 법률이다. 이 두 분야에서는 원래 채점 방식대로라면 사실상 모든 모델이 0점을 받았다. SemiAnalysis는 그래서 리더보드에는 평균 부분 점수를 싣는다고 밝힌다. 0점이라는 결과가 "AI가 금융과 법률을 전혀 못 한다"는 뜻은 아니다. 이진 채점, 즉 끝까지 완벽하게 해내야만 점수를 주는 방식으로는 아무도 통과하지 못했다는 뜻이다. 부분 점수로 바꾸면 순위는 보이지만, 그 순위가 원래 기준의 통과를 뜻하지는 않는다. 글을 읽을 때는 금융과 법률 칸의 숫자가 다른 분야의 숫자와 같은 저울로 잰 값이 아니라는 점을 기억해야 한다.

비용도 함께 봐야 한다. Opus 5.5는 과제당 평균 51.41달러, Gemini 4 Carbon은 16.29달러, GPT-6 Astra는 53.99달러가 들었다. 점수만 보면 Opus 5.5가 1위지만, 비용까지 놓고 보면 Carbon의 10.9%가 달리 보인다. Carbon은 아직 일반 공개 전이라, SemiAnalysis 원문도 "일반 공개가 되면 사람들의 인상이 어떨지 지켜볼 일"이라고 적었다. 아직 누구나 쓸 수 있는 모델이 아니라는 단서가 붙어 있다. 4위인 메타의 Muse Wonder Full은 9.0%를 기록했지만 공개 가격이 없어 비용 비교에서는 빠져 있다. 리더보드에는 모두 13개 모델이 올라 있다.

점수를 낮춘 요인 하나를 SemiAnalysis는 스스로 밝힌다. 안전 분류기다. Opus 5.5와 GPT-6 Astra의 전체 점수는 안전 분류기 때문에 낮아졌다고 원문은 적는다. 사이버보안과 생물학, 정렬 세 분야가 분류기가 개입하는 분야다. 이 세 분야를 빼고 다시 계산하면 순위가 달라진다고도 밝힌다. Carbon의 생물학 성적이 좋은 이유로는 안전 분류기가 상대적으로 약하기 때문일 수 있다는 추정까지 덧붙인다. 이 부분은 외부 검증이 아니라 SemiAnalysis의 자체 해석이다. 그래서 "안전장치 때문에 점수가 깎였다"는 말을 곧이곧대로 받아들이기보다는, 벤치마크 점수가 모델 실력만이 아니라 안전 정책이라는 필터를 통과한 결과라는 점으로 이해하는 것이 맞다. 같은 맥락에서 Muse Wonder Full이 "오늘날 가장 좋은 사이버 모델"이라는 평가도 SemiAnalysis의 해석으로 읽어야 한다.

12%를 어떻게 써야 할까. 첫째, 이 숫자는 일자리를 재는 숫자가 아니다. 분야를 균등하게 나눈 평균이고, 과제는 일부러 어렵게 골랐다. 실제 업무에서는 사람이 중간에 개입하고, 도구를 바꾸고, 기준을 조정한다. GDPx는 그런 타협을 걷어내고 끝까지 혼자 해내는지를 본다. 둘째, 분야 선택이 곧 세계관이기는 하다. SemiAnalysis는 AI 수익의 첫 1조 달러가 높은 수익을 내는 분야에 집중될 것이라고 본다. 그 전망이 맞다면 GDPx는 내일의 경쟁력을 재는 잣대이고, 틀렸다면 편향된 표본이다. 셋째, 점수는 SemiAnalysis가 직접 측정한 값이다. 과제와 채점 기준을 만든 주체와 점수를 낸 주체가 같다는 점은, 결과를 읽을 때 함께 들고 가야 할 단서다. 벤치마크는 사실을 찍는 사진이 아니라, 설계자의 질문을 담은 시험지다.

그럼에도 12%는 가볍게 넘길 숫자가 아니다. AI가 글을 잘 쓰고 코드를 잘 짜는 시대에, 8시간짜리 전문가 일을 맡기면 열두 번 중 열한 번은 끝내지 못한다는 사실이 확인됐기 때문이다. 실패의 이유가 무엇인지는 분야마다 다르다. 자료를 못 찾아서일 수도 있고, 긴 과정을 끝까지 이어가지 못해서일 수도 있고, 채점 기준이 요구하는 완벽함에 못 미쳐서일 수도 있다. GDPx의 다음 버전이 3개월에서 6개월 안에 나온다고 하니, 점수가 어떻게 움직이는지가 다음 관전 포인트다. 점수가 오르면 에이전트가 진짜로 강해졌다는 뜻일 수도 있고, 과제가 쉬워졌다는 뜻일 수도 있다. 둘을 가르는 것은 다음 성적표의 방법 설명이다.

정리하면 이렇다. 가장 좋은 AI도 12%밖에 못 푼다는 말은 AI의 한계를 선언하는 말이 아니라, 긴 전문가 일을 끝까지 해내는 능력이 아직 초기 단계라는 측정 결과다. 분야마다 강자가 다르고, 금융과 법률은 이진 채점으로는 모두 0점이며, 안전 분류기가 점수를 깎는다는 단서가 붙어 있다. 이 시험지를 만든 회사의 전망과 측정 방식을 함께 이해할 때, 12%는 비관의 근거가 아니라 다음 질문의 출발점이 된다. 여러분은 8시간짜리 일을 AI에게 맡긴다면, 어떤 일부터 맡겨 보시겠어요?

대조 노트: 이 글의 핵심 수치와 방법은 SemiAnalysis 뉴스레터 발표 원문과 공식 리더보드를 직접 열어 확인했습니다. 다만 전체 과제 수 206개와 발표일 2026년 11월 2일, 저자 3명의 이름은 원문 본문 텍스트에서 직접 확인하지 못해 복수 2차 보도가 일치하게 전하는 범위로만 썼습니다. 이 항목들은 본문에서 확정된 원문 확인 사실로 읽지 말아 주세요.

데이터 출처: SemiAnalysis 뉴스레터 발표 "GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains" 원문 직접 확인, 공식 리더보드 gdpx.semianalysis.com 직접 확인. 과제 수·발표일·저자는 Unite.AI·Dealroom 등 2차 보도 기준.