AI 뉴스 SVIL NVIDIA Vera Modal

NVIDIA Vera CPU, Modal의 초기 시험에서 에이전트 작업량 두 배

SVIL - Singularity Visual Intelligence Lab 2026. 10. 20 14 min read

코딩 에이전트는 모델 추론뿐 아니라 샌드박스 안에서 코드를 컴파일하고 파일을 검색하며 Git 작업도 합니다. Modal은 NVIDIA Vera CPU의 초기 시험에서 이 작업 처리량이 두 배까지 나왔다고 밝혔습니다.

Modal은 NVIDIA Vera CPU 서버를 전달받아 자사 Sandboxes에서 시험했다고 밝혔습니다. 회사가 보고한 핵심 결과는 특정 작업 묶음의 처리량이 기존 대비 두 배였다는 것입니다.

이 수치는 전체 AI 모델 처리속도나 모든 고객 작업이 두 배 빨라졌다는 뜻이 아닙니다. 어떤 종류의 CPU 작업을 재고, 시험 조건이 어디까지였는지부터 나눠 읽어야 합니다.

이번 변화는 새 CPU 주문보다 실행층에 가깝습니다

Vera는 GPU가 아니라 CPU입니다. 에이전트가 도구를 호출하고 코드를 실행하며 결과를 확인하는 과정에는 모델 추론 외에도 운영체제, 샌드박스, 파일 작업 같은 CPU 단계가 이어집니다.

Modal의 소식은 GPU를 대체한다는 발표가 아니라 이 실행층에서 새로운 선택지를 시험한다는 이야기입니다. CPU와 GPU는 에이전트 작업에서 서로 다른 병목을 맡습니다.

Modal의 자체 기술 글은 처리량이 두 배 늘었다고 설명하고, Reuters도 회사의 초기 시험을 인용해 AI 에이전트가 수행할 수 있는 작업량이 증가했다고 전했습니다.

두 매체의 설명은 같은 회사 시험을 가리키므로 독립된 두 차례 검증으로 셀 수 없습니다. 보도량이 늘어도 측정 근거가 자동으로 늘어나는 것은 아닙니다.

50개 Terminal-Bench 해법을 시험 환경으로 썼습니다

Modal은 Terminal-Bench에서 가져온 50개 해법과 검증기를 묶고, 네트워크 호출은 제거한 뒤 Docker 환경을 준비해 시험했다고 설명합니다.

회사 글의 목적은 샌드박스에서 실제로 실행되는 CPU 작업을 분리해 보는 것입니다. 이 설계는 작업 일부를 통제하는 데 도움이 되지만, 실제 사용자가 경험하는 전체 서비스 지연을 그대로 재현하지는 않습니다.

컴파일과 파일 검색은 GPU 밖에서도 시간을 씁니다

컴파일, 파일 안 문자열 찾기, Git 작업, 장치 에뮬레이션은 에이전트 실행 중 반복될 수 있는 CPU 중심 작업입니다. 모델 호출이 끝나도 이런 보조 단계는 남습니다.

한 번의 에이전트 요청은 생성 모델만으로 끝나지 않습니다. CPU 단계가 느리면 GPU가 다음 토큰이나 다음 작업을 기다리는 시간이 늘어날 수 있습니다.

에이전트가 늘면 작은 실행 시간이 누적됩니다

한 작업에서 수백 밀리초를 아끼는 효과는 한 번만 보면 작습니다. 하지만 여러 작업이 순차적으로 이어지고 동시 실행 수도 커지면 총 처리량이나 대기시간에 영향이 생길 수 있습니다.

다만 이 효과는 에이전트의 실행 방식, CPU 점유 비율, 동시성, 메모리 접근에 따라 달라집니다. 두 배라는 결과를 모든 워크로드에 곱해 적용할 수는 없습니다.

Reuters 보도에서 Modal은 Vera만 쓰기 위해 기존 공급사를 버리는 것이 아니라 Intel과 AMD 제품을 함께 운영하고 작업별로 맞는 장비를 배정하겠다고 밝혔습니다.

이는 한 제품으로 전체 인프라를 갈아타는 계획과 다릅니다. 이미 구축한 x86 환경과 새 Arm CPU를 섞어 쓰려면 작업 특성에 맞춘 배치 판단이 필요합니다.

Arm 지원은 애플리케이션 포팅 비용을 동반합니다

Modal은 x86 중심으로 운영해 온 인프라와 이미지 빌드 시스템을 다른 CPU 아키텍처에 맞게 바꿔야 한다고 적었습니다. CPU 도입은 칩을 랙에 꽂는 데서 끝나지 않습니다.

네이티브 라이브러리, 컨테이너 기반 이미지, 의존성, 테스트 결과가 호환되는지 살펴야 합니다. 전환 비용은 새 하드웨어의 처리량 이점과 함께 계산해야 합니다.

컨테이너 이미지가 실행 환경의 경계를 만듭니다

Modal Sandboxes는 코드를 분리된 실행 환경에서 돌리는 기능입니다. 에이전트가 생성한 코드를 실행할 때는 격리와 자원 관리가 기반 인프라의 일부가 됩니다.

샌드박스의 속도가 좋아져도 보안 격리의 강도까지 저절로 증명되는 것은 아닙니다. 성능 시험과 공격 저항 시험은 서로 다른 질문입니다.

다중 임차 환경에서는 간섭도 성능에 영향을 줍니다

Modal은 자원을 함께 쓰는 클러스터에서 이웃 작업이 만드는 간섭을 설명합니다. 같은 장비에서도 다른 사용자 작업이 동시에 도는지에 따라 관측 성능이 달라질 수 있습니다.

따라서 CPU 비교에는 평균 속도 외에 부하 변동, 꼬리 지연, 동시 사용자 수를 함께 넣어야 합니다. 안정적인 사용자 경험은 한 번의 최고값보다 분포에 가깝습니다.

GPU가 더 강해져도 CPU 대기가 남을 수 있습니다

모델 추론용 GPU가 빨라지면 도구 실행이나 오케스트레이션이 상대적인 병목으로 드러날 수 있습니다. 특히 여러 개의 짧은 작업을 묶는 에이전트에서는 실행층의 속도도 중요해집니다.

그렇다고 CPU 업그레이드가 모든 GPU 사용률 저하를 해결하는 것은 아닙니다. 실제 시스템에서 CPU 이용률, 큐 대기, 디스크·네트워크 시간을 구분해 측정해야 원인을 찾을 수 있습니다.

Vera는 에이전트 시대를 겨냥한 NVIDIA의 제품입니다

NVIDIA는 Vera를 에이전트 워크로드를 겨냥한 CPU로 소개하며 Python 실행, 샌드박스 코드, 오케스트레이션 같은 작업을 언급합니다. 이 제품 방향은 모델 추론 외 기반 작업의 수요를 겨냥합니다.

회사의 아키텍처 설명과 특정 고객의 실측은 증거 종류가 다릅니다. Modal의 시험 결과를 NVIDIA 전체 제품 성능으로 확대하기보다, 특정 실행환경에서의 초기 관측으로 보는 편이 정확합니다.

같은 Vera라도 기준 장비가 달라지면 결과도 바뀝니다

CPU 성능 비교는 코어 수, 메모리 대역폭, 전력 제한, 컴파일러, 운영체제, 작업 입력에 영향을 받습니다. 어떤 경쟁 CPU와 맞붙었는지도 결과 해석의 일부입니다.

Modal의 2배 수치에는 비교 구성이 설명돼 있지만 모든 조건을 독립 재현할 정보가 공개된 것은 아닙니다. 독자는 결과 숫자와 측정 경계가 함께 공개됐는지 확인해야 합니다.

NVIDIA의 다른 발표 수치와 섞지 않아야 합니다

NVIDIA는 다른 고객·시험 환경에서도 Vera 성능과 에이전트 수를 제시해 왔습니다. 고객마다 시스템 구성과 시험 과제가 다르므로 Modal의 결과와 합산할 수 없습니다.

각 수치는 출처, 비교 기준, 기간을 붙여 별도로 읽어야 합니다. 하나의 모델이나 칩에 관한 여러 벤더 발표를 같은 벤치마크 표처럼 취급하면 오해가 생깁니다.

성능 개선과 비용 절감은 같은 말이 아닙니다

처리량이 증가해도 장비 가격, 전력, 네트워크, 개발 시간, 이미지 유지 비용이 함께 바뀔 수 있습니다. 총소유비용은 처리량 한 숫자로 계산되지 않습니다.

Modal은 이번 발표에서 고객별 가격 절감률이나 서비스 요금 변경을 밝히지 않았습니다. 사용자가 얻는 비용 효과는 실제 작업 묶음과 과금 단위로 따져야 합니다.

전력 효율은 시스템 단위에서 재야 합니다

CPU당 처리량이 올라가면 같은 작업을 더 적은 시간에 끝낼 가능성은 있습니다. 하지만 전력 절감 여부는 칩, 메모리, 냉각, 서버 구성까지 포함해 측정해야 합니다.

제품의 와트당 성능 주장을 실제 서비스의 에너지 절감으로 바로 바꾸지 않는 것이 중요합니다. 실행시간과 사용 에너지 모두 같은 작업 기준에서 비교해야 합니다.

작업 배정기가 하드웨어 차이를 활용해야 합니다

이기종 CPU를 함께 운영하면 실행기가 각 요청을 적합한 장비로 보낼 수 있어야 합니다. 작업 특성, 라이브러리 호환성, 자원 점유를 고려한 배정 정책이 필요합니다.

CPU 선택 폭이 넓어지는 것은 운영 복잡성도 늘린다는 뜻입니다. 자동 배정의 품질과 실패 시 되돌릴 경로가 성능 이점만큼 중요합니다.

개발자는 서비스 전체 지연을 확인해야 합니다

에이전트 호출의 응답시간은 모델, 도구, 파일시스템, 샌드박스 생성과 종료 등 여러 단계의 합입니다. CPU만 빨라져도 병목이 다른 곳에 있으면 체감 효과는 제한적일 수 있습니다.

작업 단위별 구간 기록과 반복 가능한 부하 시험이 있어야 병목의 위치를 비교할 수 있습니다. 특히 평균값과 함께 느린 요청의 백분위수를 봐야 합니다.

모델 평가와 에이전트 실행 평가는 구분됩니다

Terminal-Bench 유형 과제는 명령 실행과 코드 작업을 살피는 데 도움이 됩니다. 하지만 자율성, 답변 정확도, 도구 선택의 적절성, 안전한 실패를 모두 평가하지는 않습니다.

시스템을 도입할 때는 CPU 벤치마크 외에 에이전트가 올바른 작업을 선택하는지, 권한 경계를 지키는지도 따로 검토해야 합니다.

독립 재현이 다음 판단의 근거가 됩니다

초기 시험은 유망한 방향을 보여 주지만, 서로 다른 고객과 작업에서 반복돼야 범용성을 판단할 수 있습니다. Modal은 실제 서비스에 쓰는 과정을 시작한다고 밝혔습니다.

후속 공개에서 운영환경의 지연, 비용, 장애율, 워크로드 구성이 함께 제시되면 지금의 초기 결과를 더 정확히 평가할 수 있습니다.

혼합 인프라는 교체보다 선택지를 넓힙니다

Modal의 발언은 새 CPU를 기존 x86 장비와 나란히 놓고 작업에 따라 고르는 방식입니다. 이는 공급사 하나를 완전히 바꾸는 전략과 다릅니다.

새 아키텍처가 실제 선택지가 되려면 성능뿐 아니라 개발 도구, 이미지 생태계, 장기 공급, 운영 지원이 같이 뒷받침돼야 합니다.

이번 발표가 말하는 AI 인프라의 변화

AI 서비스 인프라는 GPU에만 집중하지 않고 모델 주변의 실행환경과 데이터 이동, 격리된 작업 처리까지 살펴보기 시작했습니다. 에이전트가 도구를 더 많이 쓰면서 이 층의 중요성이 커집니다.

Modal 사례는 이 방향을 보여 주는 초기 신호입니다. 다만 한 고객의 시험으로 시장 전체가 이미 전환했다고 단정하기에는 이릅니다.

앞으로 확인할 지표는 재현성과 운영 성과입니다

추가로 볼 것은 여러 종류의 에이전트 작업에서의 처리량, 지연 분포, CPU당 동시 실행 수, 가격, 전력, 혼합 클러스터 운영의 안정성입니다.

이 지표가 같은 조건으로 반복 공개되면 Vera가 어떤 일에 적합한지 더 분명해집니다. 현재 발표만으로는 전체 인프라의 승자를 판단할 수 없습니다.

핵심 정리

Modal은 NVIDIA Vera CPU를 샌드박스 환경에서 시험해 특정 CPU 중심 작업의 처리량이 두 배였다고 보고했습니다. Reuters도 Vera를 에이전트 호스팅에 처음 도입하려는 계획과 혼합 운영 방침을 전했습니다.

핵심은 GPU를 대체한다는 선언이 아니라 CPU 실행층의 새 선택지입니다. 시험은 초기·제한된 범위이며, 독립 재현과 실제 운영 지표가 남은 확인 과제입니다.

출처

협업 문의: kuroicode@gmail.com · 블로그 · 홈페이지

Vera를 시험한 Modal의 숫자, 어디까지 말해주나