앤스로픽과 딥마인드 안전 연구자가 같은 날 떠났습니다 — 두 사람이 간 곳은 METR

9월 12일, 두 사람이 같은 날 회사를 그만뒀습니다. 한 사람은 앤스로픽에서 안전 연구팀을 이끌던 조 벤턴, 다른 한 사람은 구글 딥마인드에서 AI 안전을 연구하던 조시 엥글스입니다.

두 사람이 간 곳은 같습니다. METR이라는 비영리 평가 기관입니다. 회사가 만든 모델이 실제로 안전한지를 바깥에서 재는 곳입니다.

이들은 NBC뉴스와의 인터뷰에서 옮긴 이유를 밝혔습니다. 요지는 하나였습니다. 지금 기업에서 나오는 위험 관련 투명성이 사실상 전부 자발적이라는 것입니다.

9월 12일, 두 사람이 같은 날 떠났다

같은 날 서로 다른 회사에서 안전 연구자가 두 명 나왔습니다. 우연으로 보기는 어려운 타이밍입니다.

같은 주에 업계에서는 AI 개발 속도를 늦춰야 한다는 논쟁이 한창이었습니다. 앤스로픽 CEO의 에세이가 나왔고, 오픈AI와 마이크로소프트가 잇따라 반응했습니다.

그 논쟁의 중심 개념이 「제3자 평가기관에 접근권을 준다」는 것이었습니다. 두 사람이 옮겨 간 곳이 바로 그 제3자 평가기관입니다.

조 벤턴은 무엇을 하던 사람인가

조 벤턴은 앤스로픽에서 스케일러블 오버사이트(Scalable Oversight) 팀을 이끌었습니다.

회사 안에서 모델의 행동을 감독하는 방법 자체를 연구하는 자리입니다. 조직 내부에서 상당히 중심에 있는 역할입니다.

그가 밖으로 나가기로 한 것은, 안에서 할 수 있는 일의 한계를 느꼈다는 신호로 읽힙니다.

스케일러블 오버사이트가 무슨 일인가

이름이 어렵지만 문제의식은 단순합니다. 모델이 사람보다 잘하게 되면, 사람이 그 답이 맞는지 어떻게 확인하느냐는 것입니다.

체스에서 사람보다 잘 두는 프로그램의 수를 사람이 채점할 수 없는 것과 같습니다. 그래서 감독 자체를 확장 가능한 방식으로 설계해야 합니다.

이 분야는 AI 안전에서 가장 근본적인 축 중 하나로 꼽힙니다. 능력이 오를수록 감독이 어려워지는 구조 자체를 다루기 때문입니다.

조시 엥글스는 무엇을 하던 사람인가

조시 엥글스는 구글 딥마인드에서 AI 안전 연구를 담당했습니다. AGI 안전 쪽 팀에 소속돼 있었습니다.

딥마인드는 자체 안전 프레임워크를 두고 모델 출시 전에 위험 수준을 평가하는 절차를 운영합니다. 그 절차를 만드는 쪽에 있던 사람입니다.

역시 조직 안쪽의 자리였고, 역시 바깥으로 나갔습니다.

딥마인드 AGI 안전팀의 자리

대형 AI 연구소의 안전팀은 보통 제품 출시 일정과 맞물려 일합니다. 평가 결과가 출시 결정을 바꿀 수 있는 구조입니다.

다만 그 평가를 하는 사람도 같은 회사 직원입니다. 이해가 완전히 분리되지 않습니다.

이 구조적 긴장이 이번 이동의 배경에 있습니다.

두 사람이 NBC에 한 말

두 사람은 NBC뉴스 인터뷰에서 같은 문제를 지적했습니다. AI 개발 속도가 빠른 만큼 최전선에서 벌어지는 사고에 대한 투명성이 시급히 높아져야 한다는 것입니다.

벤턴의 표현이 특히 분명했습니다. 지금 기업들이 내놓는 위험 관련 투명성은 기본적으로 전부 자발적이라는 것입니다.

그래서 바깥에서 더 큰 영향력을 행사하려 자리를 옮겼다고 설명했습니다.

자발적이라는 단어에 걸린 문제

자발적이라는 말에는 두 가지가 함께 들어 있습니다. 지금 공개되는 것이 의무가 아니라는 점, 그리고 언제든 멈출 수 있다는 점입니다.

지금까지 모델 카드와 시스템 카드는 회사들이 스스로 내놨습니다. 형식도 회사마다 다르고, 무엇을 빼는지도 회사가 정합니다.

즉 지금 우리가 보는 안전 정보는 회사가 보여주기로 한 만큼입니다. 그게 전부인지는 바깥에서 알 수 없습니다.

METR은 어떤 조직인가

METR은 Model Evaluation and Threat Research의 약자입니다. 미국 버클리에 있는 비영리 연구 기관입니다.

하는 일은 프런티어 AI 모델이 위험한 자율 능력을 갖췄는지 평가하는 것입니다. 사회적으로 큰 피해를 일으킬 수 있는 능력에 초점을 맞춥니다.

앤스로픽과 오픈AI를 포함한 주요 기업의 모델을 출시 전에 평가해 왔습니다.

ARC Evals에서 갈라져 나온 내력

METR은 2023년 12월 ARC Evals에서 분리돼 독립했습니다.

원래는 정렬 연구 단체 안의 평가 부서였는데, 평가 자체가 독립적인 역할이 되어야 한다는 판단에서 갈라져 나왔습니다.

독립 조직이 된 뒤 평가 방법론을 표준화하는 일에 힘을 쏟아 왔습니다. 누가 평가해도 같은 결과가 나오게 만드는 것이 목표입니다.

METR이 실제로 하는 일 — 사전 배포 평가

가장 눈에 띄는 활동은 사전 배포 평가입니다. 모델이 공개되기 전에 위험 능력을 측정하는 것입니다.

평가 결과는 시스템 카드에 실립니다. 모델 공개 문서에 외부 기관 이름이 들어가는 경우가 여기에 해당합니다.

또 평가에 쓸 과제 묶음과 도구, 측정 지침을 공개해 다른 연구자도 같은 방식으로 잴 수 있게 했습니다.

자율 복제라는 평가 항목

METR이 특히 주목하는 능력 하나가 자율 복제입니다.

정의는 구체적입니다. AI 시스템이 클라우드 서버에서 스스로 살아남고, 돈과 계산 자원을 확보하고, 그 자원으로 자기 복제본을 더 만드는 능력입니다.

이 능력이 생기면 사람이 중간에서 병목 역할을 하지 못하게 됩니다. 그래서 다른 위험보다 먼저 재야 할 항목으로 꼽힙니다.

시스템 카드에 이름이 실리는 구조

지금의 외부 평가는 대체로 이런 흐름입니다. 회사가 모델을 완성한 뒤 평가 기관에 넘기고, 기관이 일정 기간 시험하고, 결과 요약이 공개 문서에 실립니다.

이 구조에는 분명한 한계가 있습니다. 평가 기관은 완성된 모델만 보고, 접근 기간도 제한적입니다.

아모데이가 요구한 「직원 수준의 영구 접근권」은 정확히 이 한계를 겨냥한 것입니다.

왜 하필 지금 옮겼나 — 같은 주의 배경

타이밍을 보면 이번 이동이 개인적 결정만은 아니라는 점이 드러납니다.

9월 12일 아모데이의 에세이가 나왔고, 같은 날 두 사람이 사임했습니다. 이튿날 나델라가 응답했고, 그 무렵 시장까지 반응했습니다.

외부 평가라는 개념이 업계 논의의 한복판에 올라온 바로 그 주에, 외부 평가 기관의 인력이 보강된 셈입니다.

아모데이의 에세이와 상주 평가자 약속

아모데이는 에세이에서 3단계 계획을 내놓고, 그 첫 단계를 앤스로픽이 먼저 이행하겠다고 했습니다.

제3자 평가기관에 영구적이고 직원 수준인 접근권을 주겠다는 내용입니다. 안전 조치 준수를 검증하고, 사고를 보고하고, 훈련 중 정렬 상태를 평가하게 한다는 것입니다.

이 약속이 실제로 작동하려면 평가기관 쪽에 그만한 인력이 있어야 합니다. 이번 이동은 그 공급 쪽 이야기입니다.

올트먼이 같은 약속을 하겠다고 한 것

샘 올트먼도 같은 방향으로 답했습니다. 독립 평가기관에 직원에 준하는 접근권을 주는 것은 좋은 생각이며 오픈AI도 그렇게 하겠다고 밝혔습니다.

두 회사가 같은 약속을 하면 평가 기관의 업무량은 곧바로 늘어납니다.

즉 지금 필요한 것은 선언이 아니라 그 일을 할 사람입니다.

마이크로소프트가 얹은 것

마이크로소프트는 조금 다른 방식으로 얹었습니다. 나델라는 「임베디드 평가자」라는 아이디어를 지지하고, 자사 MAI 모델의 행동강령을 공개 협의에 부치겠다고 했습니다.

평가자를 개발 과정 안쪽에 두자는 발상입니다. 바깥에서 완성품만 보는 방식보다 한 걸음 더 들어간 형태입니다.

세 회사가 각자의 표현으로 같은 방향을 가리킨 한 주였습니다.

안에서 고치기와 밖에서 검증하기

안전 연구자에게 선택지는 대체로 둘입니다. 회사 안에서 설계를 바꾸거나, 밖에서 결과를 검증하거나.

안쪽은 영향력이 직접적입니다. 모델 설계와 출시 결정에 바로 닿습니다.

바깥쪽은 말할 자유가 있습니다. 회사의 이해와 충돌하는 결론도 그대로 낼 수 있습니다. 이번에 두 사람이 고른 것은 후자입니다.

내부 연구자가 갖는 접근권의 가치

다만 바깥으로 나가면 잃는 것도 분명합니다. 내부 연구자는 훈련 데이터, 중간 체크포인트, 실패 사례 기록까지 봅니다.

외부 기관은 대개 완성된 모델과 제한된 로그만 봅니다. 무엇을 못 보고 있는지조차 알기 어렵습니다.

그래서 「직원 수준 접근권」이라는 표현이 중요한 것입니다. 바깥에 있으면서 안쪽 시야를 갖겠다는 뜻이기 때문입니다.

외부 평가자가 갖는 독립성의 가치

반대로 외부 기관에는 내부에 없는 것이 있습니다. 결과를 공개할 권한입니다.

회사 안에서 발견된 문제는 공개 여부를 회사가 정합니다. 외부 기관에서 발견된 문제는 최소한 그 기관이 말할 수 있습니다.

물론 계약에 비밀 유지 조항이 들어가면 이 장점도 줄어듭니다. 그래서 계약 조건이 곧 독립성의 실질입니다.

인력 이동이 남기는 빈자리

두 사람이 떠난 자리도 생각해 볼 필요가 있습니다. 회사 안의 안전팀에서 경험 많은 인력이 빠지는 것이기 때문입니다.

외부 검증이 강해지는 대신 내부 설계 역량이 얇아진다면, 전체적으로 나아진 것인지 판단이 쉽지 않습니다.

가장 좋은 그림은 양쪽이 같이 두꺼워지는 것입니다. 다만 인력 풀 자체가 작아서 당분간은 서로 뺏어 오는 형태가 이어질 가능성이 큽니다.

앞선 사임들과 이어지는 흐름

이번이 처음은 아닙니다. 지난 몇 년 사이 주요 AI 기업의 안전 연구자들이 비슷한 이유로 회사를 떠나 왔습니다.

이유도 대체로 반복됩니다. 속도와 안전 사이에서 속도가 이긴다는 판단, 그리고 내부에서 제동을 걸기 어렵다는 경험입니다.

한 번이면 개인의 선택이지만 반복되면 구조의 문제입니다. 이번 건은 그 반복 안에 있습니다.

투명성 의무화 논의와의 연결

자발적 공개의 한계를 지적하면 자연스럽게 다음 질문이 나옵니다. 그러면 의무로 만들 것인가.

아모데이의 에세이도 결국 규제 도입 요구로 이어집니다. 자발적으로 협조하지 않는 회사까지 묶으려면 법이 필요하다는 논리입니다.

다만 미국 행정부는 속도 유지 쪽에 서 있습니다. 트럼프는 감속 발상 자체를 일축했습니다. 당분간은 자발적 약속과 외부 평가가 실질적인 수단으로 남을 가능성이 큽니다.

실제 사례: 모델 카드를 읽는 기업 담당자

국내 기업에서 AI 모델을 도입할 때 흔히 참고하는 것이 모델 카드와 시스템 카드입니다.

여기에 외부 평가 기관 이름이 들어 있는지, 그리고 그 기관이 무엇을 얼마나 봤는지를 확인하시는 편이 좋습니다. 이름만 있고 범위가 없으면 근거로 삼기 어렵습니다.

평가 기간과 접근 수준이 적혀 있는 문서가 훨씬 쓸모 있습니다. 앞으로는 이 항목이 문서마다 갈릴 가능성이 큽니다.

실제 사례: 사고가 났을 때 누가 조사하나

AI 시스템이 의도하지 않은 방식으로 동작해 피해가 생겼다고 해 보겠습니다. 지금 이 조사를 맡을 독립 기구는 사실상 없습니다.

항공이나 의료에는 사고 조사 기관이 있고 보고 의무가 있습니다. AI에는 아직 그에 대응하는 제도가 없습니다.

벤턴과 엥글스가 METR에서 하겠다고 밝힌 일 중 하나가 바로 이 영역입니다. 의도치 않게 작동한 시스템에 대한 사고 조사입니다.

독립 평가기관의 구조적 약점 — 돈과 접근권

외부 평가 기관에는 두 가지 약점이 있습니다. 운영 자금과 접근 권한 모두를 결국 평가 대상에게 상당 부분 의존한다는 점입니다.

접근권을 주지 않으면 평가할 수 없고, 자금줄이 끊기면 조직이 유지되지 않습니다. 신용평가나 회계감사에서 오래 지적돼 온 구조와 닮았습니다.

그래서 사람이 늘어나는 것만으로 해결되지는 않습니다. 접근권을 계약이 아니라 제도로 보장하는 단계가 뒤따라야 합니다.

앞으로 볼 지표

첫째, 앤스로픽과 오픈AI가 약속한 상주 접근권이 실제 계약 문서로 나오는지입니다. 기간과 범위가 적혀 있어야 합니다.

둘째, 평가 결과를 기관이 독자적으로 공개할 수 있는지입니다. 비밀 유지 조항이 어디까지인지가 관건입니다.

셋째, METR을 비롯한 평가 기관의 인력과 예산이 실제로 늘어나는지입니다. 이번 이동이 흐름인지 예외인지가 여기서 갈립니다.

핵심 정리

첫째, 9월 12일 앤스로픽의 조 벤턴과 구글 딥마인드의 조시 엥글스가 사임하고 METR로 옮겼습니다.

둘째, 두 사람이 든 이유는 기업의 위험 투명성이 전부 자발적이라는 것이었고, 밖에서 더 큰 영향력을 행사하겠다고 밝혔습니다.

셋째, METR은 2023년 독립한 비영리 평가 기관으로 프런티어 모델의 자율 능력을 사전 배포 단계에서 평가해 왔습니다.

넷째, 같은 주에 앤스로픽과 오픈AI가 외부 평가기관에 직원 수준 접근권을 주겠다고 밝혔습니다. 이제 볼 것은 그 약속이 계약 문서로 나오는지입니다.

참고하실 만한 것

SVIL은 AI 소식을 큰 글씨와 쉬운 설명으로 정리해 전해 드립니다. 용어가 낯선 소식일수록 뜻부터 풀어 쓰려고 합니다.

이 글이 도움이 되셨다면 블로그를 북마크해 두시고, 유튜브 채널에서 같은 내용을 영상으로도 보실 수 있습니다.

더 자세히 다뤄 주셨으면 하는 소식이 있으시면 협업문의 메일로 편하게 알려 주세요.

출처

• NBC News — Two AI researchers leave Anthropic, Google over safety concerns
• METR — Research
• METR — Introducing METR Autonomy Evaluation Resources
• Dario Amodei — We Must Pace the Frontier
• CNN Business — Anthropic CEO calls for pacing the frontier of AI race amid safety concerns
• Bloomberg — AI Bosses Risk Clash With Wall Street and Trump Over Safety Call
• anews — Microsoft chief backs pacing AI, independent evaluators for superintelligence
• AI Safety Directory — METR, Evaluation Nonprofit (Est. 2023)
• Ground News — Two AI researchers leave Anthropic and Google over safety concerns

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/