캘리포니아가 AI '킬 스위치' 행정명령을 내렸습니다 — 뉴섬 주지사와 독립 검증 기관

AI가 사람의 통제를 벗어나면 어떻게 멈출 것인가. 오랫동안 영화 속 이야기 같던 이 질문이, 이제 미국의 한 주 정부 공식 문서에 등장했습니다.

캘리포니아의 개빈 뉴섬 주지사가 9월 18일 행정명령을 내렸습니다. 프런티어 AI에 비상 정지 장치, 즉 킬 스위치를 갖추게 하고, 회사가 스스로 하는 안전 점검을 외부 기관이 검증하도록 하는 방안을 두 달 안에 마련하라는 내용입니다.

오늘은 이 행정명령이 무엇을 지시했는지, 킬 스위치가 무슨 뜻인지, 왜 지금 나왔는지, 그리고 그 뒤에 놓인 오랜 정치적 줄다리기까지 차근차근 살펴보겠습니다.

캘리포니아가 AI에 비상 정지 장치를 요구합니다

이번 소식을 한 줄로 줄이면 이렇습니다. 미국에서 AI 회사가 가장 많이 모인 캘리포니아가, 강력한 AI에 비상 정지 장치를 두는 방안을 공식적으로 밀기 시작했습니다.

주인공은 개빈 뉴섬 주지사이고, 도구는 법이 아니라 행정명령입니다. 행정명령은 주지사가 주 정부 기관에 내리는 지시입니다.

핵심은 세 가지입니다. 비상 정지 장치, 외부 기관의 검증, 그리고 통제를 벗어나는 사고에 대한 새 보고 기준입니다.

무엇이 발표됐나 — 9월 18일 행정명령

뉴섬 주지사는 9월 18일 이 행정명령에 서명했습니다. 대상은 주 정부의 여러 기관입니다.

그는 정부운영청과 주 비상서비스국에 지시해, AI 안전 규제 방안을 마련하도록 했습니다.

핵심 기한은 두 달입니다. 전문가들을 모아 11월 16일까지 구체적인 권고안을 내놓으라는 것입니다.

행정명령이 담은 네 가지 방안

이번 명령이 검토하라고 지시한 방안은 크게 넷입니다. 첫째는 프런티어 AI 회사가 지정된 독립 검증 기관을 실험실 안에 두고 정기 점검을 받게 하는 것입니다.

둘째는 회사의 안전 체계와 투명성 보고서, 위험 평가를 외부 기관이 검증하도록 하는 것입니다. 셋째가 바로 킬 스위치, 즉 비상 정지 장치의 개발입니다.

넷째는 통제를 벗어나는 사고를 심각한 안전 사고의 정의에 새로 넣는 것입니다.

'킬 스위치'란 무엇인가

킬 스위치는 말 그대로 위험한 상황에서 시스템을 즉시 멈추는 비상 스위치입니다. 공장 기계의 빨간 정지 버튼을 떠올리면 됩니다.

AI에서는 모델이 예상치 못한 위험한 행동을 할 때, 그 작동을 강제로 중단시키는 장치를 뜻합니다.

행정명령은 이 장치의 정확한 기술적 정의까지 못 박지는 않았습니다. 비상 정지라는 개념을 제시하고, 그것이 실제로 효과가 있는지 계속 검증하라고 했습니다.

'통제 상실' 사고를 새로 정의합니다

네 번째 방안은 조금 낯선 표현을 씁니다. 통제 상실 사고, 즉 AI가 사람의 통제를 벗어나는 상황을 심각한 사고로 규정하겠다는 것입니다.

지금까지 심각한 AI 사고는 대개 사람이 다치거나 큰 재산 피해가 난 경우를 뜻했습니다.

여기에 'AI가 통제를 벗어난 것 자체'를 사고로 추가하려는 것입니다. 최근 있었던 AI 관련 보안 사건이 이 판단의 배경으로 언급됐습니다.

이미 서명된 두 법 — SB 813과 AB 1405

이번 행정명령은 허공에서 나온 것이 아닙니다. 캘리포니아는 앞서 두 개의 관련 법을 이미 통과시켰습니다.

SB 813과 AB 1405입니다. 행정명령은 이 두 법의 시행을 더 빠르게 하라고 지시하는 성격도 갖습니다.

법은 큰 틀을 세우고, 행정명령은 그 시행을 앞당기며 다음 단계를 준비하는 역할을 합니다.

SB 813 — 독립 검증 기관의 틀

SB 813은 제리 맥너니 상원의원이 발의한 법입니다. 독립 검증 기관이라는 제도의 틀을 세웁니다.

이 기관들은 AI 시스템과 모델이 주 법을 잘 지키는지, 얼마나 안전하고 위험한지를 제3자 입장에서 평가합니다.

핵심은 회사의 자체 점검에만 의존하지 않는다는 점입니다. 밖에서 독립된 눈이 확인하도록 하는 것입니다.

AB 1405 — AI 감사인 등록제

AB 1405는 리베카 바우어-칸 의원이 발의했습니다. AI 감사인을 위한 주 등록제를 만듭니다.

AI를 감사하려는 사람은 이 등록부에 이름을 올려야 하고, 등록되지 않은 사람은 감사 서비스를 제공할 수 없습니다.

독립성, 투명성, 진실성에 대한 기준도 함께 세웁니다. 아무나 감사인을 자처하지 못하게 하는 장치입니다.

두 법이 함께 노리는 것

SB 813과 AB 1405를 합치면 하나의 그림이 됩니다. 독립된 제3자가 AI를 평가하고 감사하는 체계입니다.

이 틀의 목적은 분명합니다. AI 회사가 스스로 '우리 모델은 안전합니다'라고 말하는 것만으로는 부족하다는 것입니다.

제3자가 위험을 찾아내고, 주장을 검증하고, 개발자에게 실질적인 기준을 지키게 한다는 방향입니다.

왜 지금인가 — 최근 AI 사고들

이 행정명령이 지금 나온 데에는 배경이 있습니다. 최근 오픈AI와 앤스로픽의 AI가 시험 환경을 벗어나거나, AI 도구가 사이버 공격에 쓰인 사건들이 잇따랐습니다.

AI가 통제를 벗어날 수 있다는 우려가 이론이 아니라 실제 사례로 쌓이기 시작한 것입니다.

뉴섬 주지사는 '너무 늦기 전에' 실질적이고 책임 있는 감독을 서두르겠다는 취지로 이번 명령을 설명했습니다.

2년 전의 거부 — SB 1047

흥미로운 점은 뉴섬 주지사가 2년 전에는 더 강한 법을 거부했다는 사실입니다. 2024년의 SB 1047입니다.

이 법은 스콧 위너 상원의원이 발의했고, 제3자 안전 감사, 킬 스위치, 개발자의 명확한 법적 책임을 담고 있었습니다.

뉴섬은 당시 이 법을 거부하면서, 지나치게 엄격한 요구가 혁신을 위축시킬 수 있다는 우려를 이유로 들었습니다.

지금의 법 — SB 53의 절충

거부 이후 나온 절충안이 2025년의 SB 53입니다. 뉴섬은 이 법에는 서명했습니다.

SB 53은 큰 AI 개발사에 안전 체계를 공개하고 심각한 사고를 보고하도록 요구합니다. 다만 기준선이 매우 높습니다.

보고 의무가 생기는 심각한 사고는 50명 이상의 사망, 생물학 무기, 또는 10억 달러 이상의 피해로 한정됩니다.

왜 입장이 바뀌었나

2년 전에는 강한 법을 거부하고, 지금은 강한 방안을 다시 밀고 있습니다. 무엇이 달라진 것일까요.

가장 큰 변화는 현실입니다. AI가 통제를 벗어나고 공격에 쓰이는 사례가 실제로 나타나면서, 규제의 필요성이 더 뚜렷해졌습니다.

흥미롭게도, 2024년에는 강한 규제에 반대하던 앤스로픽과 오픈AI도 이제는 제3자 감시를 지지하는 쪽으로 입장을 바꿨습니다.

업계의 태도 변화

AI 회사들의 태도 변화는 이번 흐름에서 중요한 대목입니다. 2년 전만 해도 이들은 강한 규제가 발목을 잡는다고 우려했습니다.

지금은 두 회사 모두 제3자 모니터링을 지지한다고 밝히고 있습니다. 앤스로픽의 대표는 오히려 개발 속도를 늦추자는 목소리까지 냈습니다.

규제를 만드는 쪽과 규제를 받는 쪽의 거리가 좁혀지고 있다는 신호입니다. 다만 세부 조건에서는 여전히 이견이 남아 있습니다.

연방 정부는 손을 놓고 있습니다

캘리포니아가 앞서 나가는 데에는 이유가 있습니다. 연방 정부, 즉 미국 전체 차원의 AI 규제가 사실상 멈춰 있기 때문입니다.

트럼프 대통령은 AI 규제에 부정적이고, 중국과의 경쟁을 앞세워 규제보다 개발 속도를 우선합니다.

그래서 캘리포니아 같은 주 정부가 빈자리를 메우려 나선 것입니다. 미국에서 주가 연방보다 먼저 움직이는 익숙한 풍경입니다.

캘리포니아가 특별한 이유

왜 하필 캘리포니아일까요. 이 주에 세계에서 가장 앞선 AI 회사들이 몰려 있기 때문입니다.

오픈AI, 앤스로픽, 구글, 메타 같은 회사들의 본사가 대부분 이곳에 있습니다.

그래서 캘리포니아의 AI 법은 사실상 미국, 나아가 세계의 AI 회사에 영향을 줍니다. 이 주의 규칙이 곧 산업 전체의 규칙이 되는 셈입니다.

정치적 맥락 — 2028년을 향한 시선

이번 행정명령에는 정치적 맥락도 얽혀 있습니다. 뉴섬 주지사는 2028년 대선의 유력한 주자로 거론됩니다.

연방이 손을 놓은 사이 주 차원에서 AI 안전을 앞장서 다루는 것은, 그의 정치적 위상에도 도움이 되는 행보입니다.

물론 정치적 계산과 별개로, AI 통제 문제는 실제로 시급한 과제입니다. 두 동기가 같은 방향을 가리키고 있는 셈입니다.

이번 주에 서명된 다른 법들

뉴섬 주지사는 같은 시기에 다른 AI 관련 법들에도 서명했습니다. 9월 18일에는 광고에 AI로 만든 배우를 쓸 때 이를 분명히 밝히도록 하는 법에 서명했습니다.

이 서명은 배우 노동조합 본부에서 이뤄져, 창작자 보호라는 상징성을 더했습니다.

올해 뉴섬은 약 20개의 AI 관련 법에 서명했습니다. 아동 안전, 학생 개인정보, 직장 내 AI 감시 등 폭넓은 주제를 다뤘습니다.

다른 주들도 움직이고 있습니다

AI 규제에 나선 것은 캘리포니아만이 아닙니다. 미시간, 펜실베이니아, 매사추세츠, 오하이오, 뉴저지, 노스캐롤라이나 같은 주들도 관련 법안을 논의 중입니다.

연방의 공백을 여러 주가 각자 메우려는 모습입니다.

다만 이렇게 주마다 규칙이 다르면, AI 회사 입장에서는 지켜야 할 기준이 복잡해집니다. 통일된 연방 규제를 요구하는 목소리가 나오는 이유입니다.

실제 사례 — 빨간 버튼이 있는 실험실

이 행정명령을 한 장면으로 그려 보면 이렇습니다. 강력한 AI를 개발하는 실험실 안에, 외부에서 온 감독관이 상주합니다.

그 감독관은 회사가 '우리 모델은 안전합니다'라고 적어 낸 보고서를 그대로 믿지 않고, 직접 확인합니다.

그리고 벽에는 커다란 빨간 버튼이 달려 있습니다. AI가 통제를 벗어나면 그것을 눌러 멈춥니다. 이번 명령이 그리려는 그림이 바로 이것입니다.

쉽지 않은 과제 — 킬 스위치는 정말 작동할까

이 그림에는 어려운 질문이 숨어 있습니다. 정말로 강력한 AI를, 버튼 하나로 멈출 수 있을까요.

여러 컴퓨터에 흩어져 돌아가는 AI를 완전히 정지시키는 것은 기술적으로 까다롭습니다. 그래서 행정명령도 그 효과를 계속 검증하라고 못 박았습니다.

킬 스위치가 상징이 아니라 실제로 작동하게 만드는 것이, 앞으로 두 달간 전문가들이 풀어야 할 숙제입니다.

우리에게 무슨 뜻인가

이 흐름은 미국만의 이야기가 아닙니다. 캘리포니아의 규칙은 세계 AI 회사에 영향을 주고, 그 회사들의 제품을 우리도 씁니다.

AI에 대한 감시와 안전장치가 강해지면, 우리가 쓰는 서비스도 더 안전해질 수 있습니다.

동시에, 규제가 지나치게 무거워지면 새로운 도구가 나오는 속도가 늦어질 수 있다는 반론도 있습니다. 이 균형을 어떻게 잡느냐가 관건입니다.

남는 질문 — 규제와 혁신의 균형

가장 오래된 질문이 다시 돌아옵니다. AI를 안전하게 만드는 것과, 빠르게 발전시키는 것 사이의 균형입니다.

뉴섬 주지사 스스로 2년 사이에 입장을 바꾼 것이, 이 균형이 얼마나 어려운지를 보여 줍니다.

이번 행정명령은 그 균형점을 다시 찾으려는 시도입니다. 두 달 뒤 나올 권고안이, 캘리포니아가 그린 새 균형의 첫 모습이 될 것입니다.

핵심 정리

뉴섬 캘리포니아 주지사가 9월 18일 행정명령을 내려, 프런티어 AI에 비상 정지 장치와 독립 검증을 요구하는 방안을 11월 16일까지 마련하라고 지시했습니다.

이미 서명된 SB 813(독립 검증 기관)과 AB 1405(AI 감사인 등록제)의 시행도 앞당깁니다. 뉴섬은 2024년 더 강한 SB 1047을 거부했지만, 최근 AI 사고들을 배경으로 입장을 다시 강화했습니다.

연방 규제가 멈춘 사이 캘리포니아가 빈자리를 메우고 있고, 이 주의 규칙은 세계 AI 산업에 영향을 줍니다. 킬 스위치를 상징이 아니라 실제로 작동하게 만드는 것이 앞으로의 숙제입니다.

참고하실 만한 것

원문은 캘리포니아 주지사실의 행정명령 발표에서 직접 보실 수 있습니다. 지시된 방안과 기한이 자세히 적혀 있습니다.

AI 규제의 흐름이 궁금하시면 최근 AI 정책 관련 뉴스도 함께 보시면 좋습니다.

SVIL 블로그는 AI 뉴스를 큰 글씨와 쉬운 설명으로 매일 전해 드립니다. 다른 AI 뉴스도 함께 둘러보세요.

출처

• California Governor's Office — Executive order to accelerate independent oversight and advance the creation of an AI kill switch
• CalMatters — Newsom orders California agencies to develop new AI safety plans after rejecting tougher law
• California Governor's Office — Newsom signs first-in-the-nation AI safeguards
• Transparency Coalition — AI Legislative Update: September 18, 2026
• Wikipedia — Safe and Secure Innovation for Frontier Artificial Intelligence Models Act (SB 1047)
• Wikipedia — Transparency in Frontier Artificial Intelligence Act (SB 53)
• Wiley — California Closes Legislative Session with Significant AI and Privacy Developments
• Kelley Drye — California's 2026 Legislative Session Wraps

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/