AI 안전이 약속에서 법으로 넘어갑니다 — 미국 상원이 검토하는 주의의무와 출시 차단

지난 몇 년간 미국의 AI 안전 정책은 대체로 약속의 형태였습니다. 백악관과 기업들이 모여 자발적 서약을 발표하고, 기업은 자체 안전 기준을 공개하고, 지키는지는 각자 확인하는 방식이었습니다.

그런데 2026년 9월 11일, 미국 상원에서 협상 중인 AI 법안의 윤곽이 알려졌습니다. 핵심은 두 가지입니다. 개발사에 주의의무를 법으로 지우고, 정부가 위험하다고 판단한 모델의 출시를 막을 길을 여는 것입니다.

아직 법안이 확정된 것도, 발의된 것도 아닙니다. 그러나 논의의 성격이 바뀌었다는 점은 분명합니다. 지킬 것을 약속하는 단계에서, 안 지키면 책임을 묻는 단계로 넘어가려는 중입니다.

AI 안전이 약속에서 법적 의무로 넘어가려 합니다

이번 협상안의 무게중심은 한 단어에 있습니다. 주의의무입니다. 영어로는 듀티 오브 케어라고 부릅니다.

이 말이 법안에 들어가면, 개발사는 안전한 제품을 만들려고 노력했다고 말하는 것으로는 부족해집니다. 합리적인 수준의 주의를 기울였는지를 다투게 됩니다.

지금까지는 무엇이었나 - 자발적 서약의 시대

그동안 미국의 접근은 기업과의 협력을 앞세웠습니다. 올해 5월에도 백악관 고위 관계자가 추가 규제보다 AI 기업과의 협력을 원한다는 입장을 언론에 밝혔습니다.

자발적 서약 방식의 장점은 속도였습니다. 입법 절차를 거치지 않으므로 기술 변화를 빠르게 따라갈 수 있었습니다.

단점도 분명했습니다. 서약을 어겼을 때 무슨 일이 일어나는지가 비어 있었습니다. 이번 협상안은 그 빈칸을 채우려는 시도입니다.

이번에 새로 나온 사실 - 상원 협상안의 윤곽

로이터가 9월 11일 보도한 내용에 따르면, 상원 협상단은 기술 기업에 안전한 AI 제품을 설계할 책임을 지우고, 정부가 특정 모델의 출시를 막고자 할 때 연방 법원이 관여하는 구조를 검토하고 있습니다.

여러 매체가 같은 협상 내용을 확인해 보도했습니다. 다만 초안 전문이 공개된 것은 아니어서, 지금 알려진 것은 협상 중인 뼈대이지 확정된 조문이 아닙니다.

주의의무란 무엇인가

주의의무는 영미법에서 오래된 개념입니다. 어떤 행위를 하는 사람은 그로 인해 남이 해를 입지 않도록 합리적인 주의를 기울일 의무가 있다는 원칙입니다.

자동차 제조사가 제동장치를 제대로 만들 의무, 의사가 표준적인 진료를 할 의무가 같은 계열입니다. 이 의무를 어겨 손해가 생기면 책임을 집니다.

이 개념을 프런티어 AI 모델에 적용한다는 것은, 모델을 세상에 내놓는 행위를 제품을 시장에 내놓는 행위와 같은 잣대로 본다는 뜻입니다.

파국적 위험이라는 좁은 표적

다만 이 의무의 범위는 넓지 않습니다. 협상안이 겨냥하는 것은 파국적 위험, 구체적으로는 생물학적 위협과 핵 관련 위협입니다.

일상적인 오작동이나 편향, 저작권 분쟁 같은 문제는 이 틀에 들어가지 않습니다. 표적을 좁게 잡은 것은 초당적 합의를 만들기 위한 선택으로 보입니다.

이 좁은 표적 설정은 양날의 칼입니다. 합의 가능성은 올라가지만, 실제로 사람들이 겪는 문제 대부분은 여전히 법의 바깥에 남습니다.

정부가 모델 출시를 막을 수 있게 됩니다

협상안에서 가장 강한 조항은 출시 차단입니다. 안전하지 않다고 판단된 특정 AI 모델의 공개를 정부가 막을 수 있게 한다는 것입니다.

지금까지 미국에는 이런 권한이 없었습니다. 모델은 기업이 판단해서 내놓았고, 문제가 생기면 사후에 다퉜습니다.

다만 막는 주체는 행정부가 아니라 법원입니다

여기가 중요한 대목입니다. 보도에 따르면 정부가 출시를 막고 싶을 때 연방 법원을 거치도록 설계하는 방향이 논의되고 있습니다.

행정부가 직접 금지 명령을 내리는 구조와는 성격이 다릅니다. 법원이 개입하면 절차가 느려지지만, 정권에 따라 자의적으로 쓰일 위험은 줄어듭니다.

속도와 견제 사이의 선택인 셈이고, 이 지점이 앞으로 가장 많이 다퉈질 부분으로 보입니다.

협상 테이블에 앉은 네 사람

협상에는 존 튠 상원 다수당 대표, 상무위원장인 테드 크루즈 의원, 에이미 클로버샤 의원이 참여하고 있습니다. 상무위원회 민주당 간사인 마리아 캔트웰 의원도 의견을 내고 있습니다.

공화당 지도부와 민주당 중진이 함께 앉아 있다는 점에서 초당적 시도입니다. 동시에 네 사람의 지향이 같지 않다는 점이 협상이 길어지는 이유이기도 합니다.

튠과 크루즈가 원하는 것

튠 대표와 크루즈 위원장은 혁신을 과도하게 묶지 않는 선에서 연방 차원의 단일한 규칙을 만들려는 쪽에 가깝습니다.

특히 크루즈 위원장은 주마다 제각각인 AI 규제가 기업에 부담이 된다는 문제의식을 오래 밝혀 왔습니다. 그래서 이 법안에는 주법을 선점하는 조항이 함께 들어 있습니다.

클로버샤와 캔트웰이 버티는 지점

반대편에서는 안전 기준을 더 촘촘하게 하려는 요구가 있습니다. 캔트웰 의원은 더 엄격한 안을 원하는 것으로 알려졌습니다.

캔트웰 의원은 강한 연방 AI 안전 기준을 지지해 온 이력이 있습니다. 지금 협상안의 수준으로는 부족하다는 것이 그 입장의 연장선입니다.

안전성 시험 문구에서 다시 갈라졌습니다

9월 들어 협상이 다시 삐걱거린 지점은 안전성 시험 관련 문구였습니다. 모델을 어떤 절차로, 누가, 어느 수준까지 시험해야 하는지를 두고 이견이 드러났습니다.

시험 기준은 법안의 실효성을 좌우합니다. 기준이 느슨하면 주의의무 조항이 있어도 사실상 통과 의례가 되고, 너무 빡빡하면 출시 자체가 지연됩니다.

주법 선점 조항이 남아 있습니다

보도에 따르면 협상안에는 여전히 주 차원의 AI 안전법을 선점하는 문구가 들어 있습니다. 적어도 핵과 생물학적 위험 영역에서는 연방법이 주법을 대체하게 됩니다.

선점의 범위가 어디까지인지는 아직 불분명합니다. 이 범위가 넓어질수록 주 정부와 주 법무장관들의 반발이 커집니다.

주법 선점이 왜 뜨거운 감자인가

미국에서 AI 규제를 실제로 만들어 온 것은 연방이 아니라 주였습니다. 캘리포니아를 비롯한 여러 주가 먼저 법을 만들었습니다.

연방법이 이를 덮어 버리면, 이미 만든 보호 장치가 후퇴할 수 있다는 우려가 나옵니다. 반대로 기업 입장에서는 오십 개의 서로 다른 규칙을 지키는 부담이 사라집니다.

이 대립은 AI만의 문제가 아니라 미국 연방제의 오래된 쟁점이기도 합니다. 그래서 쉽게 정리되지 않습니다.

표적이 된 세 회사

이 법안이 실질적으로 겨냥하는 것은 가장 앞선 모델을 만드는 소수 기업입니다. 보도에서는 구글과 오픈AI, 앤스로픽이 지목됐습니다.

프런티어 모델이라는 범주 자체가 상위 몇 곳을 전제로 합니다. 그래서 이 법은 산업 전체가 아니라 선두 그룹에 집중되는 규제의 성격을 띱니다.

중간선거가 만든 시간표

시점도 읽을 거리입니다. 11월 3일 중간선거를 앞두고 있습니다. 선거 전에 성과를 내려는 동기와, 선거 뒤로 미루려는 동기가 동시에 작동합니다.

한편으로는 연방 선점 법안이 하원 법사위원회에서 주 법무장관들의 반대로 멈춰 있다는 관측도 있습니다. 선거 전 통과를 기대하기 어렵다는 견해가 우세합니다.

하원의 일정이 변수입니다

상원에서 합의가 이뤄져도 하원을 통과해야 합니다. 하원 회기 일정이 빠듯해 단기간 내 처리 가능성은 불확실하다는 평가가 나옵니다.

입법은 합의 자체보다 합의를 처리할 시간이 있느냐에서 자주 막힙니다. 지금이 그런 국면입니다.

유럽연합의 방식과 무엇이 다른가

유럽연합은 이미 포괄적인 AI 법을 두고 위험 등급별로 의무를 지우는 방식을 택했습니다. 올해 5월에는 이사회와 의회가 일부 조항을 간소화하는 데 잠정 합의했습니다.

유럽은 사전에 넓게 규율하고, 미국의 이번 안은 파국적 위험에 좁게 초점을 맞춥니다. 규율 방식도 다릅니다. 유럽은 행정 감독이 중심이고, 이번 안은 법원을 통한 책임 추궁이 중심입니다.

유럽연합은 시장 출시 전 AI 모델 평가 역량을 키우는 작업도 진행 중이며 2027년 가동을 목표로 하고 있습니다.

캘리포니아가 먼저 갔던 길

프런티어 모델에 안전 의무를 지우려는 시도는 캘리포니아에서 먼저 있었습니다. 프런티어 AI 모델 안전·보안 혁신법이 그것입니다.

당시에도 쟁점은 비슷했습니다. 파국적 위험을 어떻게 정의할 것인지, 개발사에 어디까지 책임을 지울 것인지, 오픈소스는 어떻게 다룰 것인지였습니다.

이번 연방 차원의 논의는 그 경험 위에 서 있습니다. 그래서 쟁점 지형이 낯설지 않습니다.

실제 사례 - 생물·핵 위험이 법안에 들어온 배경

왜 하필 생물학적 위협과 핵 위협인가를 이해하려면 최근 몇 년의 흐름을 볼 필요가 있습니다. AI 기업들 스스로가 자사 모델의 이 분야 능력을 위험 요소로 평가해 왔습니다.

모델 카드와 안전 보고서에서 생물학 관련 질문에 대한 대응 능력이 반복해서 다뤄졌고, 일부 모델은 이 영역에서 추가 보호 조치를 적용한 채 출시됐습니다.

즉 이 표적은 입법자가 상상해 낸 것이 아니라, 기업들이 이미 스스로 관리 대상으로 삼아 온 영역입니다. 법으로 옮길 때 저항이 가장 작은 지점이기도 합니다.

법이 통과되면 개발사가 실제로 해야 할 일

주의의무가 법이 되면 문서화가 핵심이 됩니다. 어떤 위험을 어떻게 평가했고, 어떤 완화 조치를 적용했는지를 남겨야 합니다.

지금도 많은 기업이 안전 보고서를 내지만, 그것은 자율적 공개였습니다. 법적 의무가 되면 내용의 충실성이 법정에서 다퉈집니다.

출시 전 시험 절차도 외부에서 검증 가능한 형태로 바뀔 가능성이 큽니다.

오픈소스와 소규모 개발자는 어떻게 되나

가장 불투명한 대목입니다. 프런티어 모델을 어떤 기준으로 정의하느냐에 따라 적용 범위가 크게 달라집니다.

연산량 기준으로 자르면 대형 기업만 걸리지만, 능력 기준으로 자르면 효율이 좋은 소형 모델도 걸릴 수 있습니다. 공개 가중치 모델의 경우 출시 후 통제가 불가능하다는 문제도 남습니다.

현재 공개된 협상 내용만으로는 이 부분이 어떻게 정리될지 판단하기 어렵습니다.

한국 개발자와 기업에 미치는 영향

미국 법이지만 영향은 국경을 넘습니다. 한국 기업이 미국 시장에 모델이나 AI 제품을 내놓는다면 같은 기준을 맞춰야 합니다.

더 직접적인 영향은 도구 쪽입니다. 국내 개발자 대부분이 미국 기업의 모델을 가져다 씁니다. 출시 절차가 길어지면 새 모델을 쓸 수 있는 시점도 함께 밀립니다.

반대로 안전 검증 자료가 표준화되면, 어떤 모델을 도입할지 판단할 근거가 늘어나는 이점도 있습니다.

저시력 사용자가 이 법안을 눈여겨봐야 할 이유

이 법안은 파국적 위험에 초점을 맞추고 있어서 접근성 문제를 직접 다루지는 않습니다. 그런데도 눈여겨볼 이유가 있습니다.

AI 도구는 저시력 사용자에게 단순한 편의 도구가 아니라 정보에 닿는 통로입니다. 화면을 읽어 주고, 이미지를 설명해 주고, 긴 문서를 정리해 줍니다.

그래서 출시가 늦어지거나 기능이 제한되면 그 영향이 다른 사용자보다 크게 옵니다. 안전 규제를 논의할 때 접근성 기능이 함께 고려되는지를 봐야 하는 이유입니다.

아직 확정된 것이 아무것도 없습니다

정리하면서 반드시 강조해야 할 점입니다. 지금 알려진 것은 협상 중인 방향이고, 초안 전문은 공개되지 않았습니다.

발의 시점도, 최종 문구도, 통과 여부도 미정입니다. 이 단계의 보도를 확정된 제도처럼 읽으면 판단을 그르칩니다.

다음에 볼 지점

앞으로 확인할 지점은 세 가지입니다. 첫째, 안전성 시험 조항이 어떤 문구로 정리되는가입니다. 여기서 법안의 실효성이 갈립니다.

둘째, 주법 선점의 범위가 어디까지 좁혀지는가입니다. 셋째, 프런티어 모델의 정의가 연산량 기준인가 능력 기준인가입니다.

이 세 가지가 정해지면 나머지는 따라옵니다.

핵심 정리

미국 상원 협상단이 프런티어 AI 개발사에 주의의무를 지우고, 위험한 모델의 출시를 연방 법원을 거쳐 막을 수 있게 하는 법안을 논의하고 있습니다. 표적은 생물학적 위협과 핵 위협 같은 파국적 위험으로 좁혀져 있습니다.

협상에는 튠, 크루즈, 클로버샤, 캔트웰 의원이 참여하고 있고 안전성 시험 문구와 주법 선점 범위에서 이견이 남아 있습니다. 실질적 대상은 구글과 오픈AI, 앤스로픽입니다.

다만 초안 전문은 공개되지 않았고 발의도 통과도 이뤄지지 않았습니다. AI 안전이 자발적 약속에서 법적 의무로 옮겨 가려 한다는 방향이 이번 소식의 핵심입니다.

참고하실 만한 것

SVIL 연구소는 AI 소식을 저시력 사용자도 편하게 읽을 수 있도록 큰 글씨와 고대비로 정리해 전하고 있습니다. 블로그와 유튜브 채널에서 매일 새 글과 영상을 보실 수 있습니다.

이 글이 도움이 되셨다면 블로그를 구독해 주세요. 함께 일해 보고 싶은 제안이 있으시면 아래 협업문의로 연락 주시면 됩니다.

출처

• The Spokesman-Review (Reuters) — US Senate negotiators consider requiring AI firms to mitigate known major risks
• AOL (Reuters) — US Senate negotiators consider requiring AI firms to mitigate known major risks
• Nextgov/FCW — Lawmakers clash on safety testing language for in-development AI legislation
• Semafor — Disagreements reemerge in bipartisan AI safety talks
• Cryptopolitan — Senate bill would make frontier-AI safety a legal duty, not a pledge
• Tech Times — Thune, Cruz, and Klobuchar Move AI Safety From Voluntary Pledge to Legal Duty
• Seoul Economic Daily — U.S. Senate Weighs Power to Block AI Models Over Catastrophic Risks
• European Commission — Regulatory framework for AI (AI Act)
• Wikipedia — Safe and Secure Innovation for Frontier Artificial Intelligence Models Act

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/