AI와 AGI 시대를 살아가는 우리를 위한 테크 블로그. 인공지능 뉴스와 기술 동향을 알기 쉽게 전합니다.
양자컴퓨터의 회로는 이제 AI가 설계하는 걸까
양자컴퓨터가 풀어야 할 계산이 너무 무거워서 못 푸는 경우, 문제는 기계만이 아닐 때가 많습니다. 무엇을 어떤 순서로 계산할지를 적은 설계도, 즉 회로가 비효율적이면 큐비트와 연산이 눈덩이처럼 불어나기 때문이에요. 실제로 질소고정 효소를 시뮬레이션하는 데 필요한 연산 추정치는 2017년 약 50조 개에서 지금은 약 3억 4,000만 개까지 줄었는데, 앤트로픽은 이 약 15만 배의 감소가 하드웨어 발전이 아니라 여러 연구 그룹이 회로를 다시 설계한 결과라고 설명합니다.
그 설계 작업을 이번에는 AI가 맡았습니다. 앤트로픽은 10월 16일 공개한 연구에서, 자사 모델 Claude Mythos 5에게 여덟 개 양자 회로 과제의 설명과 자동 평가 프로그램을 함께 주고 스스로 설계를 찾게 했다고 밝혔습니다. 평가 프로그램은 설계가 맞는지 검사하고 큐비트 수와 연산 수로 점수를 매겼고, Claude는 그 점수를 받아 다시 고치는 과정을 라운드 사이에 사람의 개입 없이 반복했습니다.
결과는 여덟 개 과제 중 일곱 개에서 기존에 발표된 가장 좋은 회로보다 큐비트와 연산 수를 동시에 줄인 설계였습니다. 과제들은 화학, 최적화, 물리 시뮬레이션, 수론, 수치 계산에 쓰이는 기본 연산들이었고, 나머지 한 개에서도 기존과 다른 새로운 구조가 나왔습니다.
가장 크게 보도된 사례는 타원곡선 점 덧셈이라는 연산입니다. 이 연산은 비용의 대부분이 모듈러 역원이라는 단계에서 나오는데, Claude는 앤트로픽에 따르면 53시간 동안 최소한의 개입만 받으며 작업해 기존 방식을 버린 새 접근법을 찾았습니다. 사람이 고전 알고리즘을 양자 회로로 옮길 때 발목을 잡던 '분기 기록을 따로 저장하는 문제'를, 기록을 저장하지 않고 현재 상태에서 거꾸로 읽어내는 방식으로 푼 거예요. 완성된 회로는 연산 수가 기존 약 7,000만 개에서 약 400만 개로, 약 17배 줄었습니다.
다만 공짜는 아니었습니다. 그 대신 큐비트는 838개에서 935개로 약 12퍼센트 늘었어요. 연산을 줄이는 대신 재료를 조금 더 쓰는 맞교환인 셈입니다. 앤트로픽은 이 과정에서 도출한 규칙을 대규모 시뮬레이션으로 확인하고 수학 증명 도구로 형식화했다고도 밝혔습니다.
또 다른 사례는 양자 최적화 알고리즘에서 가장 비싼 복호 단계입니다. Claude는 기존의 계산 방식을 다른 고전 알고리즘으로 통째로 바꾸고, 임시 값을 저장하는 대신 그때그때 다시 계산하는 구조로 바꿨습니다. 예외 상황에 대비한 저장 공간도 최악의 경우를 가정한 665큐비트에서 19큐비트까지 줄였는데, 4억 회가 넘는 시뮬레이션을 돌려 예외가 실제로는 약 1만 회에 한 번꼴로만 생긴다는 걸 측정한 결과예요. 이 설계는 과제가 허용한 오류 범위 안에 들어갔고, 전체 연산은 기존 구성의 약 12분의 1로 줄었습니다.
개선 폭이 가장 컸던 과제는 고정소수점 가우시안이라는 수치 계산으로, 연산 수와 큐비트 수를 곱한 전체 비용이 기존의 39분의 1 수준까지 내려갔습니다. 화학 분야의 과제에서는 비료 생산과 연결되는 효소 구조의 일부를 시뮬레이션하는 회로의 비용이 약 4배 줄었고, 격자 게이지 이론 같은 물리 시뮬레이션 과제에서도 개선이 나왔습니다. 분야가 이렇게 넓다는 건, 특정 문제 하나를 외워서 맞힌 게 아니라 설계 방식 자체가 통했다는 뜻에 가깝습니다. 숫자만 보면 화려하지만, 이번 연구의 진짜 의미는 개별 기록보다 방식에 있다는 생각이 듭니다. 회로 설계는 지금까지 사람의 직관과 오랜 시행착오에 기대던 영역이었는데, 설명을 읽고, 시도하고, 점수를 받아 고치는 탐색 자체를 AI가 맡을 수 있게 된 거예요. 하드웨어가 좋아지는 속도에 설계가 좋아지는 속도가 곱해지면, 양자컴퓨터가 실제로 쓸모 있어지는 시점은 생각보다 당겨질 수 있습니다.
물론 경계는 분명히 해둘 필요가 있습니다. 이 연구는 아직 동료 검토를 거치지 않은 논문 공개 단계이고, 독립적인 검증이나 재현 결과는 아직 없습니다. 실제 양자 컴퓨터에서 이 회로들을 돌려본 것도 아니고, 어디까지나 설계와 시뮬레이션, 수학적 검증의 성과예요. 타원곡선 연산이 암호와 관련 있다 보니 과장된 해석도 나오는데, 이번 연구가 실제 암호를 공격하거나 깬 것은 전혀 아닙니다. 충분히 큰 양자컴퓨터가 등장했을 때 관련되는 연산의 비용 추정이 낮아졌다는 것, 거기까지가 정확한 표현입니다.
처음부터 사람이 완전히 손을 뗀 것도 아닙니다. 연구진은 과제 설명을 주고 가끔은 더 넓게 탐색해 보라는 신호를 줬다고 스스로 밝히고 있어요. 그럼에도 방향은 읽힙니다. AI가 답을 외우는 기계에서, 과학자가 몇 달씩 붙잡던 설계 탐색을 함께 해내는 도구로 옮겨가고 있다는 것. 어제 전해드린 에이전트 사고 소식과는 정반대 결말의 이야기라, 개인적으로는 이쪽이 더 오래 남을 뉴스라고 봅니다.
출처: 앤트로픽 공식 연구 글 'Designing more efficient quantum circuits with Claude'(2026년 10월 16일), arXiv 논문 'Discovering state-of-the-art quantum circuits with large language models'(arXiv:2610.22367). 모든 수치는 해당 연구진의 발표 기준이며, 동료 검토와 독립 검증은 아직 이뤄지지 않았습니다.
