AI와 AGI 시대를 살아가는 우리를 위한 테크 블로그. 인공지능 뉴스와 기술 동향을 알기 쉽게 전합니다.
AI 모델끼리 글 없이 소통한다 — 스웜 텔레파시, 어디까지 왔나
여러 AI가 함께 일하는 장면을 떠올려 보자. 한 모델이 자료를 조사하고, 다른 모델이 그 결과를 받아 다음 일을 이어간다. 지금까지 이 협업은 글로 이루어졌다. 조사한 쪽이 요약을 쓰고, 받는 쪽이 그 글을 읽는 방식이다. 익숙하고 투명한 방법이지만, 빠지는 정보가 생길 수밖에 없다. 요약은 쓰는 사람이 고른 것만 담기 때문이다.
MIT 연구진이 이 방식을 바꾸는 연구를 내놨다. MIT 컴퓨터과학·인공지능연구소(CSAIL)와 MIT-IBM 컴퓨팅 연구소 연구진은 2026년 10월, '스웜 텔레파시(SwaT, Swarm Telepathy)'라는 제목의 논문을 공개했다. 여러 모델이 글 없이 내부 상태를 주고받는 기술이다. 다만 먼저 짚고 넘어가야 할 점이 있다. 이 논문은 동료 심사를 거치기 전의 프리프린트다. 제품도 아니고 표준도 아니다. 실험실 단계의 연구 방법이라는 범위 안에서 읽어야 한다.
이름부터 오해를 사기 쉽다. 텔레파시라고 해서 AI가 서로의 생각을 초능력처럼 읽는다는 뜻이 아니다. 연구진이 말하는 텔레파시는 한 모델이 계산 과정에서 만들어 둔 내부 정보를 다른 모델이 쓸 수 있게 변환해 전달하는 데이터 처리 방식이다. 사람의 언어를 거치지 않는다는 점을 강조하려고 붙인 이름이다.
핵심은 KV 캐시라는 내부 정보다. 모델이 글을 읽을 때, 각 단어와 문장에 대해 다음 단어를 예측하는 데 필요한 핵심 정보를 층마다 정리해 둔다. 이 정리본이 KV 캐시다. 쉽게 말하면 모델이 글을 읽으며 머릿속에 정리해 둔 메모 같은 것이다. 글 요약이 읽고 정리한 보고서라면, KV 캐시는 읽으면서 머릿속에 쌓인 이해 그 자체에 가깝다. 요약에 빠진 세부 정보까지 들어 있다.
지금까지는 이 메모를 모델끼리 주고받기가 어려웠다. 모델마다 내부 메모의 형식이 다르기 때문이다. 같은 회사, 같은 계열 안에서는 캐시를 전달하는 방법이 있었지만, 계열이 달라지면 방법이 없었다. 그래서 받는 모델은 원문을 처음부터 다시 읽어야 했다. 이 다시 읽기 과정을 프리필이라고 한다. 시간과 계산이 중복으로 드는 지점이다.
SwaT는 이 지점을 파고든다. 송신 모델이 문서를 한 번 읽어 자신의 KV 캐시를 만들면, 학습된 변환기가 그 캐시를 수신 모델이 이해하는 형태로 바꿔준다. 수신 모델은 원문을 다시 읽지 않고 변환된 캐시와 질문만으로 답을 만든다. 이때 송신 모델과 수신 모델은 둘 다 고정한 채 미세조정을 하지 않는다. 학습하는 것은 가운데 변환기뿐이다. 변환기는 블록 7개에서 9개, 약 3억 개 학습 파라미터로 이루어졌고, 송신 모델의 캐시 층 그룹을 크로스 어텐션으로 읽어 수신 모델의 캐시 층 그룹으로 출력한다. 변환기 학습에 든 자원은 영어 텍스트 4,400만 개 고유 토큰과 1 GPU-day 미만으로, 모델 본체를 새로 학습하는 비용과 비교하면 매우 작다.
왜 다른 계열 모델 사이에서 변환이 가능할까. 논문은 플라톤 표상 가설을 이론적 배경으로 든다. 서로 다른 조직이 만든 모델도 같은 세상을 학습하므로, 표현하는 방식은 달라도 담고 있는 내용은 겹친다는 주장이다. 겹치는 내용을 찾아 형식을 바꿔주는 것이 변환기의 역할이다.
성능은 어떻게 나왔을까. 여기서 수치의 조건을 정확히 짚어야 한다. 많이 인용되는 정확도 평균 40% 향상과 처리 속도 평균 4배 단축(벽시계 시간 기준)은 SwaT 단독의 성적이 아니다. KV 캐시 압축 기술인 어텐션 매칭(AM)을 함께 쓴 SwaT+AM이 글 요약 방식과 겨룬 결과의 평균값이다. 통신 예산을 맞춘 동등한 비교에서 나온 값이고, 40%는 상대적 향상이지 퍼센트 포인트가 아니다.
절대 점수로 보면 차이가 더 또렷하다. 7개 데이터셋 평균 과제 점수에서, Qwen 3 4B에서 Llama 3 8B로 전달할 때는 글 요약 42.9점에서 SwaT+AM 57.8점으로 14.9점 올랐고, Llama 3 8B에서 Qwen 3 14B로는 42.9점에서 61.9점으로 19.0점 올랐다. Gemma 3 12B에서 Qwen 3 4B로는 38.0점에서 56.2점으로 18.2점 올랐다. 모든 통신 예산 단계에서 SwaT+AM이 글 요약보다 높았다.
캐시가 얼마나 온전히 전달되는지도 쟀다. 수신 모델이 원문을 직접 읽고 푼 점수를 100%로 봤을 때, 변환된 캐시만으로 푼 점수의 비율을 측정한 것이다. 10개 계열 간 모델 쌍과 17개 벤치마크 기준으로, 작은 모델에서 큰 모델로 보낼 때 최저 평균 유지율은 90%를 넘었고, 큰 모델에서 작은 모델로 보낼 때는 100%를 넘었다. 큰 모델의 캐시를 쓰면 작은 모델이 자기 캐시로 풀 때보다 잘 풀 수 있다는 뜻이다.
실험 규모도 작지 않다. 12개 모델과 6개 계열, 17개 벤치마크가 쓰였고, 그중 9개는 학습에 쓰인 분야, 8개는 전혀 보지 못한 분야였다. 모델은 Qwen 3, Llama 3, Gemma 2와 3, Ministral 3, Granite 3, SmolLM3으로, 크기는 3B에서 32B까지였다. 계열 간 송신과 수신 쌍 10개를 평가했다. 같은 계열 안에서의 캐시 전송은 이전에도 있었고, 계열 간 전송도 있었지만 받는 쪽이 글을 다시 읽어야 했다. SwaT는 계열 간 전송과 수신 모델의 프리필 없음을 동시에 달성한 첫 방법이라고 논문은 설명한다.
눈길을 끄는 실험이 하나 더 있다. 이미지 모델이 본 사진을 텍스트 전용 모델에 전달하는 실험이다. 영어 텍스트로만 학습한 SwaT를 썼는데도, 이미지 모델인 Gemma 3가 본 사진을 텍스트 전용 모델에 캐시로 넘기자, 이미지 설명문만 전달받았을 때보다 관련 질문에 더 정확하게 답했다. 5개 시각 질의응답 벤치마크 평균에서, Gemma 3 4B에서 Granite 3.3 8B로는 설명문 전달 21.1%에서 SwaT 경유 41.6%로 올랐고, Gemma 3 4B에서 Llama 3 8B로는 설명문 전달 13.3%에서 SwaT 경유 39.6%로 올랐다. 다만 완전한 시각 능력 전달은 아니다. 세부 이미지가 많이 필요한 과제에서는 이미지 모델 단독이 SwaT 경유보다 훨씬 정확했다.
비슷한 보조 사례로 중국어 지식 전달도 있다. 영어 텍스트로만 학습했음에도, 중국어에 강한 Qwen 3 4B의 캐시를 Llama 3 8B에 넘기자 중국어 벤치마크 점수가 51.2%에서 65.1%로 올라, 원래 모델과의 격차의 약 4분의 3을 메웠다. 언어를 몰라도 남의 언어 실력을 빌려 쓸 수 있다는 뜻이다.
한계도 분명하다. 첫째, 조합마다 변환기를 따로 학습해야 한다. 계열이 n개면 n(n-1)개의 변환기가 필요해, 규모가 커지면 금방 감당하기 어려워진다. 논문도 이를 첫 번째 한계로 적고, 공유 잠재 공간 방식 같은 후속 방향을 제시했다.
둘째, 한 번의 전달만 다룬다. 반복 전달이나 여러 메시지를 합치는 경우는 다루지 않았고, 캐시는 글보다 잘 쪼개지지 않으며 전달을 거듭하면 성능이 떨어진다. 실제 에이전트 협업은 여러 번 주고받는 경우가 많아, 이 부분은 아직 열려 있다.
셋째, 감사 가능성이 과제로 남는다. 캐시에는 글에 명시되지 않은 정보까지 들어 있을 수 있어, 무엇을 주고받았는지 글로 감시하기가 어려워진다. 논문도 이를 윤리적 고려 사항으로 명시했다. 다만 현재 구현은 송신 모델의 원문이 필요하므로 텍스트 기반 감시가 가능한 여지는 있다.
넷째, 범용 통신 기술이 아니다. 모든 AI 모델을 자유롭게 연결하는 단계가 아니며, 실험실 벤치마크 결과일 뿐 실제 서비스 적용 사례는 없다. 이 네 가지 한계가 지금 개발 수준의 정확한 위치다.
그럼에도 이 연구가 흥미로운 이유는 협업의 병목이 어디인지 보여주기 때문이다. 지금까지 에이전트 협업의 속도와 정확도는 글을 요약하고 읽는 과정에 묶여 있었다. 내부 상태를 직접 주고받는 방식이 통한다면, 협업의 단위는 문장이 아니라 이해 자체가 될 수 있다. 물론 그 길이 열리려면 조합마다 변환기를 만들어야 하는 벽과 감사 가능성 문제를 넘어야 한다. 글 없이 소통하는 AI, 그 첫 단추는 끼워졌지만 아직 갈 길은 멀다.
여러분은 AI끼리 글을 거치지 않고 소통하는 세상이 더 정확하고 빨라질 거라고 보시나요, 아니면 주고받은 내용을 확인하기 어려워 더 조심스러워질 거라고 보시나요?
데이터 출처: arXiv 논문 'Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families'(MIT CSAIL·MIT-IBM Computing Research Lab, 2026년 10월), AI타임스 기사 'MIT, AI 모델끼리 글 없이 소통하는 스웜 텔레파시 개발'(2026-11-02). 이 글에서 다룬 논문은 동료 심사를 거치기 전의 프리프린트이며, 제품이나 표준이 아닌 실험실 단계의 연구 방법이다.
