SemiAnalysis GDPx 공개 — AI 에이전트의 전문 업무 능력을 어떻게 평가할까
SemiAnalysis가 공개한 새 평가 GDPx는 전문 분야의 긴 작업에서 AI 에이전트를 살펴봅니다. 공개 순위의 숫자와 평가 조건을 함께 확인해 보겠습니다.
GDPx의 등장과 평가 목적
SemiAnalysis는 11월 2일 AI 에이전트가 전문 업무를 얼마나 수행하는지 살펴보는 GDPx 평가를 공개했습니다. 공개 순위에서 가장 높은 점수는 12%였습니다.
기존 평가와 다른 질문
제작진은 단일 답변의 정오뿐 아니라 도구와 작업 환경을 다루는 긴 과정을 평가하겠다고 설명합니다. 이는 제작진의 설계 목표이며 모든 실무를 대표한다는 뜻은 아닙니다.
11개 분야의 선택 기준
반도체 설계, 보안, 생물학, 금융, 법률, 정량 거래, 자기 개선 연구, 하드웨어, 재료과학, 정렬, 소프트웨어를 골랐습니다. 경제 전체 비중이 아니라 제작진이 중요하다고 판단한 분야입니다.
206개 과제와 제공 기관
공개된 설명에 따르면 14개 전문 파트너가 참여해 206개 과제를 구성했습니다. 제공 기관의 이해관계와 개별 과제의 공개 범위도 결과를 읽을 때 함께 봐야 합니다.
가중치와 전체 점수의 의미
공식 순위는 11개 분야를 동일하게 가중하고 분야 안의 파트너도 동일하게 가중합니다. 따라서 전체 점수는 단순히 모든 과제를 한데 모은 성공률과 같다고 단정할 수 없습니다.
반복 시도와 채점 방식
공식 순위는 과제에 따라 이진 또는 연속 점수를 사용하고 세 차례 시도를 평균한다고 설명합니다. 채점 방식의 차이는 숫자를 비교할 때 중요한 조건입니다.
최고 점수 12퍼센트의 의미
12%는 이 평가의 특정 설정에서 얻은 종합 수치입니다. 모든 직무의 12%를 자동화한다거나 사람의 능력에 대한 비율이라는 뜻은 아닙니다.
Claude Opus의 결과
공개 순위에서 Anthropic Claude Opus 5.5가 12.0%로 가장 높게 표시됐습니다. 이는 평가 주최 측의 결과이며 독립 재현 여부는 별도로 살펴봐야 합니다.
Gemini와 GPT 결과 비교
공개 표에는 Google Gemini 4 Carbon 10.9%, OpenAI GPT-6 Astra 9.6%가 이어집니다. 모델 설정과 접근 가능 상태가 같다고 가정하면 안 됩니다.
모델 비용을 읽는 방법
평가표는 과제당 비용도 함께 보여 줍니다. 이는 해당 시험의 사용량과 가격을 바탕으로 한 값이므로 조직별 실제 운영비와 그대로 일치하지 않습니다.
반도체 설계 과제
칩 설계는 GDPx에 포함된 전문 영역입니다. 제작진은 이 영역을 복수의 파트너와 함께 다루며, 시험 환경과 채점 기준을 모델 이름만큼 중요하게 봅니다.
소프트웨어 공학 과제
소프트웨어 과제는 에이전트가 코드를 다루는 환경에서 평가됩니다. 공개 점수만으로 특정 저장소의 수정이 안전하거나 자동 병합이 가능하다고 결론 낼 수는 없습니다.
생물학 과제
생물학 영역도 전체 점수에 포함됩니다. 과제 결과와 실제 연구나 임상 현장의 유효성은 서로 다른 검증 단계입니다.
금융과 법률 과제
금융과 법률은 세부 조건과 책임이 중요한 분야입니다. 벤치마크 결과는 보조 지표이며 실제 의사결정의 정확성이나 적법성을 보증하지 않습니다.
정량 거래 과제
정량 거래 평가는 데이터와 시험 구간의 영향을 받습니다. 평가에서 관찰한 결과가 실제 시장의 미래 수익을 보장하지는 않습니다.
하드웨어 설계 과제
제작진은 하드웨어 설계도 포함했습니다. 물리적 제약과 작업 도구의 세부 조건이 결과에 영향을 줄 수 있어 숫자만 떼어 비교하기 어렵습니다.
재료과학 과제
재료과학은 전문 지식과 실험 검증이 필요한 분야입니다. 에이전트의 제안이 유용하더라도 실험 결과까지 확인된 것은 아닙니다.
사이버 보안 과제
보안 과제는 전문 환경에서 모델의 작업 수행을 평가합니다. 실제 시스템에서는 시험 범위와 권한을 명확하게 정하는 것이 별도의 전제입니다.
안전 정렬 과제
GDPx는 과제 수행뿐 아니라 정렬 영역도 포함합니다. 제작진이 관찰한 규칙 위반은 각 평가 환경과 채점 조건을 확인해 해석해야 합니다.
자기 개선 연구 과제
자기 개선 연구는 평가 대상 분야 중 하나입니다. 이 분야의 점수를 모델이 스스로 제한 없이 개선할 수 있다는 증거로 확대해서는 안 됩니다.
안전 필터와 점수의 관계
제작진은 일부 모델에서 안전 분류기가 특정 분야 점수에 영향을 줄 수 있다고 밝혔습니다. 거절을 단순한 능력 부족과 동일시하지 않도록 별도 결과도 제시합니다.
비공개 과제와 재현성
외부에서 과제와 채점기를 모두 확인하기 어려우면 독립 재현에는 제약이 생깁니다. 벤치마크 제작 참여사의 사업 이해관계도 투명하게 확인할 필요가 있습니다.
실무 적용 전 확인할 점
도입을 검토한다면 자신의 업무 자료, 허용 도구, 오류 비용, 사람의 검토 절차를 따로 정해 시험하는 편이 유용합니다. 한 순위만으로 배포 범위를 결정하기는 어렵습니다.
핵심 정리와 독자의 질문
GDPx는 전문 분야의 긴 에이전트 작업을 비교하려는 새 평가입니다. 낮은 점수와 순위는 해당 조건의 결과로 읽고, 업무별 독립 검증과 안전한 감독을 함께 살펴봐야 합니다. 여러분은 어떤 업무의 평가가 가장 궁금하신가요?
출처
협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/