ServiceNow AutoSynthData, 기업용 AI 에이전트의 실패를 다음 훈련 과제로 바꾼다

SVIL - Singularity Visual Intelligence Lab 2026. 10. 03 11 min read

ServiceNow CoreAI는 기업용 에이전트의 실패 유형과 교사 모델의 성공 사례를 이용해 새 훈련 과제를 만들고 검증하는 AutoSynthData를 공개했어요. 공개 글의 실험에서 Gemma-4 계열 모델은 EnterpriseOps Gym의 Hybrid 평가에서 Pass@1이 7.2%포인트 개선됐다고 보고됐습니다. 이는 특정 환경에서의 결과이며, 모든 기업 업무나 모델에 같은 향상이 적용된다는 뜻은 아닙니다.

무엇을 발표했나

AutoSynthData는 에이전트가 어떤 업무에서 자주 실패하는지 분석한 뒤 그 약점을 겨냥한 합성 작업을 만들고 검증하는 데이터 생성 파이프라인이에요. ServiceNow CoreAI가 10월 2일 공개 글을 통해 EnterpriseOps Gym 실험과 함께 설명했습니다.

기업 에이전트 데이터가 어려운 이유

기업 업무는 앱 이름을 아는 것만으로 수행되지 않아요. 상태가 계속 바뀌는 시스템, 권한 제한, 여러 도구를 잇는 절차와 회사별 규칙을 함께 따라야 해 훈련 예제를 단순 문답처럼 늘리는 방식에는 한계가 있습니다.

실패를 능력 격차로 바꾸기

파이프라인은 목표 모델이 평가 작업에서 어디서 막히는지, 더 강한 교사 모델은 어떤 행동으로 성공했는지 비교해요. 그 차이를 능력 명세로 정리해 원래 평가 문제를 그대로 반복하지 않는 새 과제를 생성하는 것이 핵심입니다.

작업 하나에 세 요소가 들어간다

생성된 예제는 시스템 환경과 제약을 설명하는 명세, 사용자가 요청하는 작업, 완료 여부를 판단하는 검증기로 구성돼요. 작업 문장만 자연스럽게 만드는 것으로 끝나지 않고 실제 환경에서 실행 가능하고 성공을 판정할 방법이 있어야 훈련에 쓸 수 있습니다.

가능성과 현실성을 함께 검사

아무 도구로도 끝낼 수 없는 요청은 유용한 훈련 자료가 되기 어려워요. 생성기는 작업이 현재 환경에서 가능한지, 실제 사용자가 부탁할 법한지, 목표 모델의 약점을 드러내는지를 고려하도록 설계됐습니다.

검증기가 중요한 이유

검증기가 너무 느슨하면 잘못된 결과를 성공으로 보상할 수 있고, 너무 엄격하면 유효한 다른 해결책을 실패로 처리할 수 있어요. 데이터 품질은 모델이 생성한 행동뿐 아니라 그 행동을 평가하는 기준의 품질에도 달려 있습니다.

Target 단계

첫 단계인 Target은 능력 명세를 바탕으로 핵심 과제를 여러 작업자가 독립적으로 생성하게 해요. 각 후보는 검증, 실제 실행, 해결 가능성 평가, 제한된 수정 절차를 거쳐 데이터셋에 들어갈 수 있는지 판단됩니다.

Multiply 단계

검증을 통과한 과제는 표현과 상태, 개체, 절차 구성을 바꾼 변형으로 확장돼요. 새 변형도 원본과 동일한 검증을 통과해야 하고, 이미 확장된 샘플을 다시 확장의 씨앗으로 쓰지 않아 세대가 반복되며 품질이 흐려지는 것을 줄입니다.

난이도는 모델과 함께 이동

훈련에서 유용한 작업은 목표 모델이 쉽게 해결하는 영역보다 조금 어렵고 교사 모델은 안정적으로 풀 수 있는 경계 부근에 있어요. 모델이 향상되면 이미 해결된 유형의 비중을 줄이고 남은 실패 유형에 맞춰 다음 데이터 생성 범위를 옮기는 접근입니다.

실험 환경 EnterpriseOps Gym

ServiceNow는 장기 계획과 상태 변경이 있는 기업 업무를 시험하기 위해 EnterpriseOps Gym을 사용했어요. 공개된 AutoSynthData 실험은 그 벤치마크의 Hybrid와 ITSM 영역에서 합성 작업을 만들고 모델을 미세조정한 뒤 성능을 비교했습니다.

Hybrid 실험 구성

Hybrid 실험에서는 Gemma-4-26B-A4B-it를 목표 모델로, Qwen3.8-27B를 교사로 사용했다고 공개 글은 설명합니다. 약 18시간 동안 2,000개의 합성 훈련 샘플을 만들었고, 가장 좋은 체크포인트는 5번째 학습 에포크였다고 보고했습니다.

Hybrid에서 보고한 개선

ServiceNow는 Hybrid의 평균 Pass@1이 7.2%포인트, 상대 기준 35% 향상했고 검증기 성공률이 63.01%에서 68.55%로 올랐다고 밝혔어요. 이는 해당 벤치마크 설정과 학습 조건에서 관찰된 회사 측 결과이므로 다른 기업 업무에 대한 보장으로 확대하면 안 됩니다.

ITSM 실험도 별도로 진행

ITSM 영역에서는 같은 목표 모델에 DeepSeek-V4.1-Flash 교사를 적용했고 약 66시간 동안 1,994개 샘플을 만들었다고 해요. 평균 Pass@1은 18.77%에서 27.18%로 상승했다고 공개했으며, 생성 시간이 더 긴 이유로 큰 교사 모델과 이전 파이프라인 구성을 들었습니다.

두 결과가 보여 주는 범위

Hybrid와 ITSM 결과는 하나의 도메인에만 맞춘 합성 과제 생성이 아니라 서로 다른 두 기업 환경에서 접근을 시험했다는 점을 보여 줘요. 그래도 실험은 제한된 벤치마크에 기반하므로 실제 고객 시스템의 복잡성, 운영 비용, 장기 안정성은 따로 검증해야 합니다.

벤치마크 오염을 줄이는 설계

공개 글에 따르면 생성기는 원 평가 프롬프트와 개체, 실행 궤적, 검증 세부 정보를 받지 않았어요. 평가 과제의 실패 패턴은 능력 격차를 찾는 데 쓰되 새 작업은 다른 내용과 상태로 만들어 직접 복사 학습에 의존하지 않도록 했다는 설명입니다.

데이터 생성 비용도 변수

합성 작업은 대량 데이터 수집을 줄일 수 있지만 생성·실행·수정·검증에 컴퓨팅 시간과 운영 노력이 들어가요. Hybrid와 ITSM의 생성 시간 차이는 교사 모델 크기와 파이프라인 개선이 생산성에 영향을 줄 수 있음을 보여 줍니다.

검증 가능한 훈련 데이터

긍정 검증은 의도한 정답 경로가 요청을 만족하는지 살펴보고, 부정 검증은 잘못된 상태나 제약 위반을 성공으로 오인하지 않는지 확인해요. 후보를 환경에서 실제로 실행하면 문장만 그럴듯하지만 실행 불가능한 과제가 데이터셋에 섞이는 위험을 줄일 수 있습니다.

배치 단위의 다양성 관리

개별 샘플이 올바르더라도 데이터셋 전체가 비슷한 쉬운 문제로 치우칠 수 있어요. AutoSynthData는 승인·거절된 샘플과 생성 효율을 함께 검토해 과도하게 반복되는 작업 유형을 줄이고 덜 다뤄진 능력 축을 보완하도록 설계됐습니다.

SFT에서 출발한 접근

이번 공개 실험은 합성 데이터로 지도 미세조정(SFT)을 하는 데 초점을 둬요. 회사는 같은 메커니즘을 강화학습의 난이도 조정에도 적용할 가능성을 제안했지만, 이를 이미 검증된 결과와 혼동하면 안 됩니다.

기업 도입 전 확인할 조건

도입 조직은 업무 환경의 상태를 안전하게 복제할 수 있는지, 개인정보나 고객 데이터가 생성 파이프라인으로 유출되지 않는지, 검증기가 실제 업무 성공을 대표하는지 살펴야 해요. 합성 작업의 다양성과 편향도 도메인 전문가가 따로 점검할 필요가 있습니다.

모델 성능 외의 운영 지표

Pass@1이 오르더라도 예외 상황 처리, 잘못된 변경을 되돌리는 능력, 권한이 없을 때 멈추는 행동은 다른 평가 축이에요. 기업 운영에서는 업무 성공률뿐 아니라 실패의 비용과 사람에게 적절히 넘기는 빈도도 중요합니다.

재현 가능성과 공개 자산

발표는 EnterpriseOps Gym과 관련 공개 데이터셋을 활용했다고 안내해 실험 환경을 살펴볼 출발점을 제공합니다. 다만 공개 포스트의 모든 결과를 독립적으로 재현하려면 사용한 코드, 모델 버전, 데이터 구성과 평가 절차를 실제로 대조해야 합니다.

이번 발표의 핵심 정리

AutoSynthData의 중심 아이디어는 모델 실패에서 능력 격차를 찾고, 환경에서 실행·검증된 새 과제를 만들어 다음 훈련에 반영하는 순환 구조예요. ServiceNow가 공개한 수치는 EnterpriseOps Gym의 두 영역에서 개선을 보고하지만, 범용 성능의 증거로 확대되지는 않습니다.

다음으로 지켜볼 지점

후속 결과에서는 더 많은 기업 환경에서의 재현, 합성 데이터 생성 비용, 독립된 평가, 운영 중 오류율과 안전한 중단이 관건이에요. 특히 실제 회사별 규칙과 권한 모델을 어떻게 표현하고 검증하는지가 에이전트 데이터 파이프라인의 실용성을 가를 수 있습니다.