폰 안에서 돌아가는 AI: 온디바이스 AI가 여는 다음 시대

지금 쓰는 AI는 대부분 '클라우드 AI'다. 질문을 입력하면 데이터가 서버로 날아가고, 거대한 AI가 답을 만들어 돌려보낸다. 하지만 흐름이 바뀌고 있다. AI가 클라우드를 떠나 스마트폰 안으로 들어오고 있다. 이를 '온디바이스 AI'라고 한다.

1. 온디바이스 AI란?

말 그대로 기기 안에서 돌아가는 AI다. 서버에 묻지 않고 폰·노트북·시계 안의 칩이 직접 계산한다. 애플의 기기 내 처리, 삼성 갤럭시의 일부 AI 기능, 구글의 제미나이 나노 같은 게 대표적이다.

비유하자면 클라우드 AI는 '본사에 전화해서 물어보는 직원'이고, 온디바이스 AI는 '현장에서 바로 판단하는 직원'이다.

2. 왜 지금 가능해졌나: 작아진 AI와 강해진 칩

두 가지가 맞물렸다.

첫째, AI 모델이 작아졌다. 거대 언어모델(LLM)의 작은 버전인 '소형 언어모델(SLM)'이 등장했다. 매개변수(파라미터) 수십억 개 수준으로, 예전엔 수천억 개가 필요했던 일을 가벼운 작업에선 비슷하게 해낸다. 작아진 만큼 폰 메모리에 들어간다.

둘째, 칩이 강해졌다. 스마트폰 AP 안에 AI 전용 연산 유닛(NPU)이 들어간 지 오래다. 매년 NPU 성능이 오르면서 예전엔 서버에서만 돌던 계산을 폰이 감당하게 됐다.

모델을 작게 만드는 기술이 따로 있다

모델이 작아졌다는 말 뒤에는 압축 기술이 있습니다. 대표적으로 '양자화'는 숫자의 정밀도를 낮춰 모델의 몸집을 줄이는 방법이고, '지식 증류'는 큰 모델이 배운 것을 작은 모델에게 가르쳐 옮기는 방법입니다. 한국 기업 중에서는 이 압축·최적화만 전문으로 하는 회사도 있습니다. 바우 유튜브 채널에서 심층분석으로 다룬 노타 같은 회사가 그렇습니다. 거대한 모델을 새로 만드는 대신, 이미 있는 모델을 작은 칩에서도 빠르게 돌게 다듬는 일을 합니다. 온디바이스 AI는 폰 제조사만의 이야기가 아니라, 이렇게 모델을 가볍게 만드는 기술 회사들이 함께 여는 시장인 셈입니다.

3. 뭐가 좋아지나: 3가지 장점

속도가 빠르다. 서버 왕복이 없으니 답이 바로 나온다. 키보드 자동완성, 사진 정리, 실시간 통역처럼 '지금 당장'이 중요한 기능에 강하다.

프라이버시가 지켜진다. 민감한 데이터가 기기를 떠나지 않는다. 건강 기록, 개인 사진, 사적인 대화를 서버에 올리지 않아도 AI를 쓸 수 있다.

오프라인에서도 된다. 비행기 안, 지하철, 해외 로밍 걱정 없이 작동한다. 네트워크가 AI의 전제조건이 아니게 된다.

4. 한계도 분명하다

온디바이스 AI가 만능은 아니다. 폰의 메모리와 배터리는 한계가 있어서, 복잡한 추론이나 최신 지식이 필요한 작업은 여전히 클라우드가 낫다. 그래서 요즘 대세는 '하이브리드'다. 가벼운 일은 기기에서, 어려운 일은 서버에서 — 알아서 나눠 처리한다.

또 하나, 모델 업데이트 문제다. 클라우드 AI는 서버에서 바로 고치면 되지만, 기기 내 모델은 업데이트를 배포해야 해서 반영이 느릴 수 있다.

하이브리드는 실제로 어떻게 나눠 처리하나

말로만 들으면 추상적인데, 일상 장면으로 나눠 보면 감이 옵니다. 외국 여행지에서 메뉴판을 카메라로 비춰 바로 번역하는 일, 지하철에서 받은 메시지에 짧은 답장을 추천하는 일, 사진첩에서 '바닷가 사진'을 찾아내는 일은 폰 안에서 끝나는 쪽입니다. 답이 조금 늦어도 되는 대신 정확해야 하는 일, 예를 들어 긴 문서를 요약하거나 최신 뉴스를 근거로 답하는 일은 서버로 넘어갑니다. 이용자는 이 나뉨을 거의 느끼지 못합니다. 화면 뒤에서 기기와 서버가 일을 나눠 갖는 구조가 이미 기본값이 되고 있는 거예요. 그래서 온디바이스 AI의 성패는 '서버를 완전히 대체하느냐'가 아니라 '기기에서 끝낼 수 있는 일의 비율을 얼마나 끌어올리느냐'에 달려 있습니다.

5. 다음 단계: 에이전트와의 결합

온디바이스 AI의 진짜 잠재력은 AI 에이전트와 만날 때 터진다. 폰 안에서 돌아가는 에이전트가 내 일정·사진·메시지를 기기 안에서 읽고 일을 처리한다면? 서버에 개인정보를 올리지 않고도 '나를 아는 비서'가 된다. 애플·구글·삼성이 모두 이 방향으로 가고 있는 이유다.

내 폰에서 오늘 확인해 볼 수 있는 것들

읽고 나서 직접 확인해 볼 수도 있습니다. 비행기 모드를 켠 상태에서 키보드 문장 추천이 여전히 뜨는지, 사진첩 검색이 되는지, 실시간 통역 앱이 오프라인 언어팩으로 도는지 해 보세요. 되는 기능이 바로 온디바이스로 도는 기능입니다. 반대로 비행기 모드에서 멈추는 기능은 서버가 필요한 일이라는 뜻이고요. 다음 폰을 고를 때 이 차이가 체감 성능을 가르는 시대가 오고 있습니다.

마무리

AI의 무게중심이 클라우드에서 손안으로 이동하고 있다. 빠름, 프라이버시, 오프라인 — 이 세 가지는 AI가 '가끔 쓰는 도구'에서 '항상 곁에 있는 비서'로 바뀌는 조건이다. 다음 폰을 고를 때 카메라 성능만큼이나 'AI가 기기에서 얼마나 돌아가는지'를 따져보는 시대가 올 것이다.

데이터 출처: 본문 언급 기업 사례 — 애플(기기 내 처리), 삼성(갤럭시 AI 기능), 구글(제미나이 나노) · 수치·보고서 인용 없음