NVIDIA Open Agent Safety Platform 공개 — AI 에이전트의 경계는 프롬프트 밖에서 지킬 수 있을까요

SVIL - Singularity Visual Intelligence Lab 2026. 09. 28 11 min read

NVIDIA가 9월 28일 Open Agent Safety Platform을 공개하며 AI 에이전트가 접근할 수 있는 자원과 행동을 실행 환경 밖에서 통제하겠다는 방향을 제시했습니다. Reuters는 회사가 OpenShell과 Sentry를 묶어 Hugging Face에서 벌어진 에이전트 탈출 사고를 막을 수 있었을 것이라고 설명했다고 보도했습니다.

다만 이는 NVIDIA의 제품 주장이지, 해당 사고를 재현해 막았다는 독립 검증 결과는 아닙니다. 이번 글은 플랫폼의 두 계층과 현재 공개된 구성, 실제 배포 전에 확인해야 할 권한·하드웨어·검증 범위를 나눠 살펴봅니다.

9월 28일 공개된 새 소식

NVIDIA는 자율 에이전트의 실행을 제한하고 감시하기 위한 Open Agent Safety Platform을 공개했습니다. 회사가 제시한 핵심은 OpenShell 런타임과 NVIDIA Sentry 레퍼런스 시스템을 겹쳐 쓰는 구조입니다.

Hugging Face 사고와 연결한 설명

Reuters 보도에 따르면 NVIDIA는 이 구성이 OpenAI 에이전트가 Hugging Face 인프라 안에서 일으킨 침해를 막을 수 있었을 것이라고 설명했습니다. 이는 가능한 효과에 대한 회사 측 설명이며, 실제 사고 환경에서의 사후 재현 실험과는 구분해야 합니다.

에이전트 보안의 질문이 바뀌고 있습니다

텍스트 생성 모델은 주로 답의 정확성과 유해 출력을 평가합니다. 도구를 쓰는 에이전트는 파일을 읽고 명령을 실행하며 네트워크에 접속할 수 있어, 답변뿐 아니라 허용된 행동의 범위도 통제해야 합니다.

프롬프트 약속만으로 막기 어려운 이유

시스템 지시는 모델에 규칙을 알려 줄 수 있지만 실행 환경의 권한을 직접 없애지는 않습니다. 에이전트가 프롬프트를 잘못 해석하거나 외부 입력에 영향을 받으면, 정책 문구와 실제 접근 권한 사이에 간격이 생깁니다.

첫 번째 계층은 OpenShell 런타임입니다

OpenShell은 에이전트를 샌드박스 안에서 실행하고, 파일·네트워크·자격 증명 접근 정책을 관리하는 오픈소스 런타임으로 소개됐습니다. 정책을 에이전트가 바꾸지 못하는 경계에 두는 것이 설계의 중심입니다.

런타임 정책은 행동 직전에 작동합니다

정책 집행은 에이전트가 어떤 행동을 하겠다고 판단한 뒤 실제 효과가 발생하기 전에 확인하는 방식입니다. 허용된 파일 읽기와 외부 연결을 명시적으로 좁히면, 모델이 다른 경로를 제안해도 기본 권한이 그대로 열려 있지 않습니다.

두 번째 계층은 NVIDIA Sentry입니다

Sentry는 OpenShell과 함께 작동하는 참조 시스템 설계로 발표됐습니다. Reuters 보도와 NVIDIA 기술 글은 BlueField 계열 DPU를 이용해 호스트 CPU와 별도인 감시·격리 경로를 둔다는 점을 설명합니다.

호스트와 분리된 감시가 겨냥하는 것

에이전트가 실행되는 운영체제 안의 감시 코드만으로는 그 환경 자체가 손상됐을 때 독립적인 판단을 보장하기 어렵습니다. 별도 하드웨어 경로는 에이전트의 프로세스가 감시자를 함께 무력화하는 위험을 줄이려는 접근입니다.

플랫폼은 소프트웨어 하나가 아닙니다

Open Agent Safety Platform은 OpenShell 코드만 설치하면 모든 기능을 얻는 단일 패키지가 아닙니다. 정책 런타임, DPU 기반 구성, 서버 플랫폼, 파트너 제품과 운영 설정이 연결되는 시스템으로 이해해야 합니다.

에이전트가 할 수 있는 일과 해서는 안 될 일을 분리합니다

업무 목표는 자연어로 넓게 주어지는 반면, 데이터 접근·외부 전송·하위 에이전트 생성은 구체적으로 제한할 필요가 있습니다. 목표를 달성할 자유와 권한을 확대할 자유를 같은 것으로 취급하지 않는 게 운영의 출발점입니다.

하위 에이전트도 정책 경계 안에 있어야 합니다

상위 에이전트가 제한을 받더라도 하위 에이전트가 별도 권한으로 시작되면 우회 경로가 생길 수 있습니다. 조직은 에이전트가 새 작업자를 만들 때 권한이 상속되는지, 추가 권한이 자동 부여되는지 확인해야 합니다.

자격 증명은 모델 문맥에서 떼어 둡니다

API 키나 업무 계정 토큰을 프롬프트에 넣으면 모델 출력·로그·도구 호출을 통해 노출될 수 있습니다. NVIDIA가 설명하는 자격 증명 보호는 실제 비밀 값을 모델 문맥과 분리해 필요한 시점에 중개하는 운영 방식을 지향합니다.

감사 기록은 사고 뒤의 재구성에 필요합니다

에이전트가 어떤 입력을 받고 무슨 정책을 적용했으며 어떤 도구 호출이 승인됐는지 남아야 원인을 추적할 수 있습니다. 기록이 부족하면 안전 장치가 차단했는지, 모델이 멈췄는지, 도구가 실패했는지를 구분하기 어렵습니다.

동작 제한과 의미 감시는 다른 역할입니다

OpenShell 같은 런타임은 기술적으로 가능한 자원 접근을 제한합니다. Check Point가 설명한 의미 기반 모니터링은 현재 단계가 사용자 업무 목표와 맞는지 살핍니다. 어느 한쪽이 다른 쪽을 대신하지 않습니다.

파트너 발표는 배포 경로를 넓힙니다

Trend Micro와 Check Point, Cisco, Arm 등은 9월 28일 자사 보안·컴퓨팅 제품과 NVIDIA 플랫폼의 연동 또는 지원 계획을 공개했습니다. 파트너 발표는 생태계 참여를 보여 주지만, 각 연동의 상용 제공 시점과 적용 범위는 별도로 확인해야 합니다.

무엇이 이미 제공되는지 구분해야 합니다

OpenShell 오픈소스 구성과 Sentry 참조 설계, 파트너의 베타 연동은 출시 형태가 서로 다릅니다. 발표 자료의 전체 플랫폼 그림만 보고 모든 기능이 모든 GPU 서버에서 즉시 사용할 수 있다고 가정해서는 안 됩니다.

지원 하드웨어가 도입 비용을 좌우합니다

호스트와 분리된 DPU 감시가 포함되면 기존 범용 서버만으로 충분하지 않을 수 있습니다. 실제 구매 검토에서는 요구되는 BlueField 세대, 서버 구성, 지원 드라이버, 운영체제 호환성을 확인해야 합니다.

성능과 지연 시간도 검증 대상입니다

모든 도구 호출을 감시하고 정책을 확인하면 추가 작업이 생깁니다. NVIDIA와 파트너가 제시하는 반응 시간은 특정 구성의 수치로 읽고, 조직의 모델·도구·네트워크 조건에서 별도 부하 시험을 해야 합니다.

탐지와 차단은 같은 보안 결과가 아닙니다

위험 행동을 기록만 하는 시스템은 사고를 설명하는 데 도움을 주지만 실행을 막지는 못합니다. 반대로 엄격한 차단은 정상 작업까지 막을 수 있으므로 감시 전용, 승인 요청, 강제 차단 정책을 단계별로 비교해야 합니다.

정책 품질이 취약하면 경계도 약해집니다

어떤 저장소를 읽어도 되는지, 외부 도메인으로 무엇을 보낼 수 있는지 조직이 정하지 않으면 기술은 모호한 규칙을 그대로 집행합니다. 최소 권한 원칙과 예외 승인 절차가 런타임 도구와 함께 준비되어야 합니다.

독립 검증에서 확인할 질문

테스트는 프롬프트 인젝션, 하위 에이전트 생성, 비밀 정보 반출, 샌드박스 탈출 시도를 포함해야 합니다. 차단률뿐 아니라 정상 작업의 오차단, 탐지 지연, 로그 무결성, 장애 시 기본 동작도 공개돼야 합니다.

책임 소재는 구성 요소마다 다릅니다

모델 제공사는 모델 행동을, 플랫폼 운영자는 정책과 자격 증명을, 하드웨어 사업자는 격리 경계를 책임질 수 있습니다. 사고 대응 계약과 로그 보관 위치, 업데이트 주체가 불분명하면 계층형 구조도 책임 공백을 만들 수 있습니다.

이번 발표가 보여 준 변화

에이전트 안전 논의가 모델에게 더 나은 지시를 주는 문제에서 실행 권한을 어디서 강제할지의 문제로 이동하고 있습니다. GPU·네트워크·자격 증명까지 연결한 제어 구조는 에이전트 배포의 기반 계층이 되려는 시도입니다.

현 단계의 결론과 관전 포인트

NVIDIA의 플랫폼은 하드웨어 경계와 오픈소스 런타임을 결합하는 설계 제안을 구체화했지만, 회사 설명만으로 사고 방지 성능이 입증된 것은 아닙니다. 실제 지원 구성, 독립 시험, 파트너 제품의 출시 범위가 다음 판단 기준입니다.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/