AI를 끄는 스위치, 누가 쥐어야 하나: 뉴욕의 실험

연방 정부도, 주 정부도 아닌 도시 의회가 AI 회사 임원들을 증언대에 세웠습니다. 지난 10월 5일, 뉴욕시의회는 의원 51명 전원이 참석하는 전체회의 청문회를 열고 OpenAI와 Anthropic, Google, Meta의 대표들을 선서 증언에 세웠어요. 한 도시의 의회가 글로벌 AI 기업들을 불러 안전 대책을 캐물은 건 이례적인 일입니다. 이날 청문회의 안건은 시의회 의장 Julie Menin이 9월 25일 공개한 AI 법안 10개 묶음이었습니다.

패키지의 핵심은 검증과 스위치입니다. 뉴욕시 안에서 판매되거나 쓰이는 AI 시스템은 먼저 외부 기관의 검증을 받아야 한다는 것이 뼈대예요. 검증 항목에는 데이터의 품질과 편향, 개인정보 보호와 보안이 들어가고, 기준은 시의 사이버 사령부가 정합니다. 여기에 사람이 직접 작동시킬 수 있는 '킬 스위치', 즉 문제가 생기면 사람이 시스템을 멈출 수 있는 수동 차단 장치를 반드시 달아야 한다는 조건이 붙었습니다. 검증을 받지 않은 시스템을 시 안에서 운영하는 것은 불법이 되고, 어기면 한 건에 25,000달러의 벌금이 사업자와 검증 기관 양쪽에 매겨집니다. Menin 의장은 AI 에이전트가 무리 지어 일하는 경우 벌금이 에이전트 하나하나에 적용된다고 설명하기도 했습니다.

나머지 법안들은 감시를 촘촘히 만드는 장치들입니다. 위반을 신고한 내부고발자에게 걷힌 벌금의 일부를 보상금으로 주는 법안, 안전장치를 우회하는 악용으로 피해를 본 시민이 회사를 직접 고소할 수 있게 하는 법안, 시와 계약한 업체가 안전 사고를 24시간 안에 보고하게 하는 법안이 한 묶음으로 들어갔어요. 내부고발 보상은 미국 지자체 가운데 처음 시도되는 방식이라고 합니다.

청문회 풍경도 관심을 끌었습니다. 네 회사는 일부가 소환장 위협을 받은 끝에 증언대에 섰고, Elon Musk의 SpaceXAI는 9월 28일 소환장을 받고도 나오지 않아 의회가 법원에 강제 집행을 요청하겠다고 밝혔습니다. 의원들이 최악의 경우 얼마나 위험한지를 수치로 물었을 때 기업 측이 명확한 위험 확률을 내놓지 못했다는 점도 여러 보도가 공통으로 짚었어요. Menin 의장은 "AI가 스스로를 규제한다는 생각은 이치에 맞지 않는다"며, 연방 정부가 자율 규제에 맡겨 둔 사이 도시가 먼저 나설 수밖에 없었다는 논리를 폈습니다.

흥미로운 건 기업들의 태도였습니다. 보도에 따르면 OpenAI와 Anthropic, Meta의 참석자들은 최악의 상황에 대한 질문에 제3자 평가를 포함한 안전장치 자체는 지지한다고 답했어요. 그래서 이 논쟁의 진짜 쟁점은 '규제를 할 것인가 말 것인가'보다 '누가 평가 범위를 정하고, 의무로 강제할 것인가'에 가깝습니다. 기업들은 서로 합의한 범위 안에서의 평가를 선호하고, 시의회는 도시가 정한 기준으로 강제하겠다는 입장이에요. 의회는 청문회 뒤 기업들에 서면 후속 질문을 보내겠다고도 밝혔습니다.

반발도 만만치 않습니다. 공화당 소속 Vickie Paladino 시의원은 이 패키지를 '겁주기 전술이자 권력 장악'이라고 규정했어요. AI 규제는 연방 정부가 맡아야 할 일이고, 뉴욕주에는 이미 주 차원의 안전법이 있는데 시가 또 규제를 겹치는 것은 과하다는 주장입니다. 진짜 경쟁 상대는 중국인데 규제로 발목을 잡아서는 안 된다는, 기술 경쟁 프레임도 함께 꺼냈습니다.

실제로 뉴욕주에는 먼저 만들어진 법이 있습니다. Kathy Hochul 주지사가 지난해 12월 19일 서명한 RAISE Act로, 가장 강력한 부류의 프론티어 모델을 만드는 대형 개발사에 안전 계획 공개와 중대 사고의 72시간 안 보고를 요구하는 법이에요. 다만 이 법은 2027년 1월 1일부터 시행되고, 대상도 거대 모델을 만드는 소수 회사로 좁혀져 있습니다. 시의회의 법안은 이와 달리 뉴욕시 안에서 사업하는 곳이라면 규모와 무관하게 닿을 수 있게 설계돼, 범위와 속도에서 한 단계 더 나간 셈입니다.

물론 실효성을 묻는 목소리도 큽니다. AI 모델은 도시 밖 서버에서 돌아가는데 시 조례로 어떻게 검증과 차단을 강제할 수 있는지, 시의 24시간 보고와 주의 72시간 보고처럼 기한이 엇갈리는 규정이 현장에서 충돌하지 않을지 같은 질문이 청문회에서도 나왔습니다. 도시마다 규칙이 달라지면 기업은 가장 까다로운 도시 기준으로 맞추거나, 아예 그 도시 고객을 포기할 수 있다는 우려도 반대 측이 드는 근거입니다.

뉴욕시가 AI 규제에 나선 것이 처음은 아닙니다. 이 도시는 2021년에 채용 자동화 도구의 편향 감사를 의무화한 법을 만들었고, 2023년부터 실제로 시행해 왔어요. 캘리포니아에서는 2024년 킬 스위치와 제3자 감사를 담은 주 법안이 혁신을 위축시킨다는 이유로 주지사의 거부권에 막힌 전례도 있습니다. 연방 차원에서는 주 정부의 AI 법을 연방이 앞질러 막으려는 움직임까지 있어, 규제를 어느 단위에서 할 것인가를 둘러싼 줄다리기가 이어지는 중입니다.

한국의 풍경과 나란히 놓으면 차이가 더 또렷해집니다. 한국은 국가 단위 기본법을 만들어 먼저 시행에 들어간 쪽이고, 뉴욕은 국가가 비운 자리를 도시가 메우며 킬 스위치 같은 구체적인 장치까지 밀어붙이는 쪽입니다. 규제를 누가, 어느 단위에서, 어떤 도구로 하느냐의 실험이 대서양 건너에서 진행되고 있는 셈이에요.

분명한 것은 이 법안들이 아직 법이 아니라는 점입니다. 청문회는 열렸지만 10개 법안 중 어느 것도 표결을 통과하지 못했고, 앞으로 내용이 바뀌거나 멈춰 설 가능성도 열려 있습니다. 그럼에도 이번 움직임이 남긴 것은 있습니다. AI 안전을 둘러싼 질문이 이제 국가 수도나 실리콘밸리만의 일이 아니라, 도시 의회의 회의실에서도 다뤄지는 시대가 됐다는 사실입니다. 다음 표결이 언제 잡히는지가 이 실험의 첫 번째 분기점이 될 겁니다.

자료 출처: 뉴욕시의회 발표 자료, PYMNTS(https://www.pymnts.com/news/artificial-intelligence/2026/nyc-lawmakers-aim-to-lead-nation-in-establishing-ai-safety-rules/), TechTimes(https://www.techtimes.com/articles/328300/20260930/nyc-council-first-compel-ai-testimony-under-oath-congress-stays-blocked.htm), TechRepublic(https://www.techrepublic.com/article/news-raise-act-new-york/), eWeek 등 언론 보도 종합. 본문의 법안은 2026년 10월 현재 표결 전 계류 중인 제안 단계입니다.