AI에게 '학습에는 쓰지 마세요'를 한 번에 말하는 법 — robots.txt 공유 신호

어제 AI가 글을 어떻게 읽는지에 대해 이야기를 나눴습니다. 검색으로 찾아오는 사람도 있고, AI가 학습 자료로 삼는 경우도 있습니다. 사이트 주인 입장에서 보면, 그중에서도 "학습에는 쓰지 마세요"라는 말을 전하는 방법이 따로 있었습니다. 그런데 문제는 그 말을 업체마다 따로 해야 했다는 점이었습니다.

2026년 10월 30일, OpenAI가 그 번거로움을 줄이는 발표를 했습니다. robots.txt에 공유 신호를 적으면, 여러 업체에 같은 선호를 한 번에 전할 수 있도록 따르겠다는 내용입니다. 같은 날 구글과 마이크로소프트, 앤트로픽도 같은 신호에 동참한다고 밝혔습니다.

robots.txt는 사이트 입구에 붙여두는 안내문 같은 파일입니다. 자동 프로그램, 즉 크롤러에게 이 사이트의 어디까지 들어와도 되는지 적어두는 곳입니다. 지금까지는 업체마다 크롤러 이름이 달랐습니다. OpenAI는 GPTBot, 구글은 Google-Extended 같은 식입니다. 그래서 학습에 쓰지 말라고 하려면 업체마다 규칙을 따로 적어야 했고, 새로운 업체가 나타날 때마다 규칙을 늘려야 했습니다.

왜 하필 robots.txt인가 하면, 이 파일은 이미 오래된 관행이기 때문입니다. robots.txt의 문법은 RFC 9309라는 표준으로 정리되어 있고, 사이트와 크롤러 사이에서 수십 년 동안 쓰여 왔습니다. 새로 언어를 만들지 않고 이미 있는 파일에 토큰 하나를 얹는 쪽이, 모든 업체가 받아들이기 쉽습니다. 보도에 따르면 구글은 이 제안이 EU의 일반목적 AI 행동강령에서 robots.txt를 기계 판독 선호 표현의 주요 방법으로 인정한 흐름과도 맞닿아 있다고 설명했습니다.

새 신호는 그 규칙을 하나로 합치는 생각입니다. 토큰 이름은 __usage_ai-training입니다. robots.txt에 이렇게 적는 방식입니다.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

이 예시는 전체에 대해서는 학습 반대, press-kit 폴더에 대해서만 학습 허용이라는 뜻입니다. 폴더별로 다르게 적을 수도 있습니다. 토큰 그룹이 아예 없으면 선호를 표현하지 않은 것으로 봅니다. 그리고 User-Agent: * 라는 전체 규칙이 이 토큰까지 대신하지는 않습니다. 토큰 그룹은 따로 적어야 합니다. 해석 규칙도 정해져 있습니다. 특정 경로를 조회했을 때 막혀 있으면 반대 선호, 허용되어 있으면 찬성 선호입니다. 구체적인 표현이 일반적인 표현보다 우선하고, 업체 고유의 토큰은 이 문서의 선호로 취급하지 않습니다.

이 신호의 기술 문서는 앤트로픽의 케빈 켈리가 쓴 개인 제출 초안입니다. 제목은 "Machine-Readable Training Preference Signal", 날짜는 2026년 10월 30일입니다. IETF의 공식 표준이 아니고, 작업반 문서도 아닙니다. 초안은 2027년 5월 3일에 만료되며, 그전에 고쳐지지 않으면 효력이 이어지지 않습니다. 새로운 지시어나 문법을 만드는 것도 아닙니다. 기존 robots.txt의 규칙을 그대로 쓰고, 그 앞에만 토큰을 붙이는 방식입니다.

가장 헷갈리기 쉬운 부분은 이 신호가 어디까지 미치는지입니다. 이 토큰은 학습에만 해당합니다. 여기서 학습이란 생성형 AI 모델의 학습된 파라미터를 바꾸는 데 자산을 쓰는 것을 뜻합니다. 생성에만 쓰지 않는 모델의 학습은 범위에서 빠집니다. 그리고 이 토큰은 크롤링을 막는 지시어가 아닙니다. 페이지를 가져가는 것과 이용에 대한 선호는 별개 축으로 봅니다. 그래서 검색 노출을 막거나 AI 답변 인용을 막는 일은 이 토큰이 하지 않습니다. 크롤링을 제한하려면 기존의 업체별 크롤러 규칙을 그대로 써야 합니다.

실무적으로 하나 더 짚을 점이 있습니다. OpenAI 발표 본문만 읽어서는 토큰 이름을 알 수 없습니다. 발표 글에는 토큰 이름이나 작성 방법이 적혀 있지 않고, 'signal'이라는 단어에 걸린 링크가 초안 문서를 가리킵니다. 방법을 확인하려면 초안까지 열어봐야 합니다. 발표와 기술 문서가 따로 노는 구조라서, 발표 문장만 보고 "방법이 나왔다"고 받아들이면 안 됩니다.

또 하나 분명히 해야 할 점은 이 신호가 자발적이라는 사실입니다. 참여하는 업체만 따릅니다. 따르지 않는 수집자에게 강제로 막을 수는 없습니다. 초안 스스로도 이 방식을 보안 통제가 아니라 조정 메커니즘이라고 설명합니다. 이미 수집된 데이터나 이미 학습된 모델에서 내용을 지워주는 것도 아닙니다. 따로 맺은 개별 계약이 있으면 그 계약이 선호 표현보다 우선할 수 있습니다.

발표의 '자발적'이라는 말과 초안의 강한 표현이 서로 어긋나 보일 수 있습니다. 초안에는 MUST와 SHOULD 같은 단어가 나옵니다. 하지만 그 단어는 초안을 구현하는 업체 안에서 지켜야 할 규칙을 뜻할 뿐, 초안 자체가 표준이 되어 모든 업체를 묶는 것은 아닙니다. 참여할지는 자발적이고, 참여하기로 한 뒤에는 초안의 규칙을 따라야 한다는 층위 차이입니다.

회사마다 적용 시기도 다릅니다. 앤트로픽은 이미 적용을 시작했다고 밝혔습니다. OpenAI는 수개월 안에 구현하는 것을 목표로 하고, 세부 사항은 추후 안내하겠다고 했습니다. 마이크로소프트는 2027년 2월 1일을 목표로 하고, 페이지 단위 학습 설정과 그라운딩 설정도 별도로 내놓을 예정이라고 밝혔습니다. 구글은 2027년 초를 목표로 하며, 토큰으로 학습을 막은 경우 Google-Extended를 따로 언급하지 않으면 Google-Extended 차단으로 간주할 예정이라고 밝혔습니다. 구글과 마이크로소프트의 시기 부분은 보도 기준으로 확인한 내용입니다. 어느 회사도 기존의 업체별 제어 규칙을 없애지는 않습니다.

작은 블로그를 운영하는 입장에서 보면, 지금 당장 바뀌는 것은 없습니다. 발표는 발표이고, 적용은 뒤에 옵니다. OpenAI의 세부 안내와 각 회사의 적용 시점을 확인한 뒤에 결정해도 늦지 않습니다. 이 블로그도 아직 robots.txt를 바꾸지 않았습니다. 이 글은 새로운 제도를 설명하는 글이지, 이 블로그의 설정을 바꾼다는 예고가 아닙니다.

학습 신호와 검색 노출은 별개라는 점도 운영자에게는 중요합니다. 학습에 반대한다고 해서 검색에서 사라지는 것은 아닙니다. 반대로 검색에 계속 나오기를 원하면서 학습만 막는 것도, 이 신호의 구조 안에서는 가능한 조합입니다. 검색 노출을 정하는 규칙과 학습 선호를 정하는 규칙이 서로 다른 축이기 때문입니다. 다만 업체마다 연동 해석이 다를 수 있으니, 구글의 Google-Extended 연동처럼 각 회사의 안내를 따로 확인해야 합니다.

앞으로 볼 것은 세 가지입니다. 초안이 만료되는 2027년 5월 3일 전에 표준화 논의가 어떻게 이어지는지, 각 회사가 내놓는 구현 안내에 무엇이 담기는지, 그리고 실제로 얼마나 지켜지는지입니다. 말하는 방법이 쉬워진 것과, 그 말이 지켜지는 것은 다른 문제이기 때문입니다.

"한 번에 말할 수 있게 됐다"는 분명한 진전입니다. 업체마다 따로 적던 일을 한 줄로 줄였으니까요. 다만 "말했다"가 곧 "막혔다"는 뜻은 아닙니다. 신호는 신호일 뿐이고, 적용과 검증이 뒤따라야 합니다. 사이트 주인에게 필요한 것은 새로운 말 한 줄이 아니라, 그 말이 실제로 통하는지 확인하는 일입니다. 이 신호가 정식 표준으로 이어질지, 아니면 초안으로 남을지는 앞으로의 논의에 달려 있습니다.

출처: OpenAI 공식 발표 "Making it easier for websites to express AI training preferences"(2026년 10월 30일), IETF 개인 초안 "Machine-Readable Training Preference Signal"(draft-kelley-aipref-training-preference-signal-00, 2026년 10월 30일), 구글·마이크로소프트 발표 관련 보도.