실무AI 기초 및 활용 9회 — AI가 좋아졌다는 걸 어떻게 알까? — 평가 문제 만들기
실무AI 기초 및 활용 · 9회 / 전체 12회
실무자도 놓치기 쉬운 AI 원리를 질문과 실험으로 확인합니다.
AI를 업무에 사용해본 분을 위한 강의입니다. 아래 실습은 독자 재현을 위한 절차이며 이 글에서 실행한 측정 결과를 뜻하지 않습니다.
어제보다 좋아 보인다는 판단
새 모델의 답변 한 번이 마음에 들면 전체 시스템도 좋아졌다고 느끼기 쉽습니다. 질문이 달랐거나 운 좋게 맞았을 수도 있습니다. 변경 전후를 비교하려면 공통 입력과 합격 기준이 필요합니다.
이번 강의의 목표
작은 평가 묶음을 만들고 검색·답변·유보를 분리해 채점합니다. 거대한 벤치마크부터 만들 필요는 없습니다. 반복 가능한 기준과 실패 기록이 있으면 프롬프트, 모델, 검색 설정을 바꿀 때 비교할 수 있습니다.
평가 문제의 구성
각 문제에는 입력, 필요한 자료, 기대 결과, 합격 기준이 있어야 합니다. 자연어 정답 문장 하나만 저장하면 다른 올바른 표현을 오답으로 처리할 수 있습니다. 반드시 포함할 사실과 금지할 주장을 구분합니다.
실무 목표에서 출발하기
문서 검색 도구라면 근거 회수와 조건 보존이 중요합니다. 업로드 에이전트라면 실제 공개 상태와 중복 방지가 중요합니다. 서비스 목적과 관계없는 유창성 점수만으로 성공을 판단하지 않습니다.
정답의 원문 고정
문서 기반 문제는 근거 문서의 버전과 위치를 기록합니다. 원문이 바뀌면 기대 답도 검토해야 합니다. 오래된 정답표를 기준으로 새 규정을 정확히 답한 시스템을 실패 처리하지 않게 관리합니다.
처음 일곱 문제
근거가 있는 질문 다섯 개와 없는 질문 두 개로 시작할 수 있습니다. 이는 시스템을 점검하는 작은 시작점이며 전체 성능을 대표하지 않습니다. 실무 실패와 다양한 질문 유형을 추가하며 범위를 넓힙니다.
없는 답도 평가합니다
모든 질문에 답이 있으면 근거 없는 확언을 하는지 알기 어렵습니다. 자료에 없는 날짜, 원인, 담당자를 묻는 문제를 넣습니다. 정보 부족을 구체적으로 밝히면서 확인 가능한 부분은 답하는지 평가합니다.
검색 지표
정답 근거가 상위 k개에 들어 있는지를 볼 수 있습니다. 필요한 근거가 여러 개면 회수 비율을 추가합니다. 질문별 성공 비율과 문서별 회수 비율은 분모가 다르므로 같은 이름으로 섞지 않습니다.
답변 지표
사실 정확도, 예외 보존, 근거 일치, 질문 충족도를 구분합니다. 합격과 불합격만으로 충분한 항목도 있고 단계별 판정이 필요한 항목도 있습니다. 채점자가 같은 답을 비슷하게 평가할 수 있도록 예시를 둡니다.
코드 기반 채점
정확한 식별자, 계산값, 스키마, 파일 존재처럼 규칙이 명확한 항목은 코드로 검사합니다. 정답 표현이 여러 개인 자연어 답변에 단순 문자열 일치를 무조건 적용하지 않습니다. 테스트가 실제 요구를 대변하는지 확인합니다.
모델 기반 채점
원문과 기준을 제공해 답변을 평가하게 할 수 있습니다. 채점 모델도 틀릴 수 있으므로 사람이 판정한 표본과 대조합니다. 모델 이름, 지침, 버전을 고정하지 않으면 채점기 변화와 대상 변화가 섞입니다.
사람 기반 채점
실무 맥락과 표현의 적절성은 사람 판단이 필요한 경우가 있습니다. 여러 검토자가 있다면 기준 해석이 다른 사례를 모읍니다. 의견 차이를 시스템 오류로만 처리하지 말고 기준 자체가 모호한지 확인합니다.
변동과 반복 실행
생성 결과는 같은 입력에서도 달라질 수 있습니다. 문제별 여러 시도를 실행하면 우연한 성공을 구분하는 데 도움이 됩니다. 반복 횟수와 설정을 기록하고, 성공한 시도만 골라 보고하지 않습니다.
작은 표본의 한계
일곱 문제에서 한 문제의 변화는 비율을 크게 움직입니다. 몇 점 올랐다는 표현만으로 개선을 확정하지 않습니다. 문제 유형별 결과와 실제 실패 사례를 함께 읽고 별도 문제에서도 개선이 유지되는지 확인합니다.
개발용과 확인용 분리
프롬프트를 조정하며 계속 본 문제에만 맞출 수 있습니다. 개발 중 쓰는 묶음과 마지막 확인에 쓸 묶음을 구분합니다. 확인 문제를 수정에 사용했다면 이후에는 새로운 확인 사례가 필요합니다.
정보 누출 막기
질문 입력에 정답표나 정답 식별자가 실수로 들어가면 평가가 무의미해집니다. 채점 자료와 실행 입력을 분리합니다. 파일 이름이나 문서 배치만으로 정답이 드러나는지도 확인합니다.
실무 예시: 청킹 변경
새 청킹으로 점수가 올랐어도 검색어, 모델, 후보 수까지 바뀌었다면 원인을 모릅니다. 한 조건만 바꾸고 같은 문제를 실행합니다. 검색 개선인지 답변 모델의 변화인지 단계별 결과를 봅니다.
실습: 평가표 작성
아래는 실행 절차입니다. 문제마다 질문, 근거 위치, 필수 사실, 허용하지 않을 추정, 기대 유보 여부를 기록합니다. 실제 회사 자료 대신 민감정보 없는 가상 규정으로 시작할 수 있습니다.
복사해 시작할 수 있는 가상 평가표
아래 규정과 정답은 강의용으로 만든 가상 데이터이며 실제 회사의 정책이 아닙니다.
D01: 정기 배포는 목요일입니다. 긴급 수정은 담당자 승인 후 즉시 가능합니다. D02: 공개 전 회귀 검사를 수행하고 두 명이 검토합니다. D03: 내부 문서는 허용된 구성원만 검색할 수 있습니다.
| 질문 | 기대 판정 | 근거 |
|---|---|---|
| 정기 배포 요일은? | 목요일 | D01 |
| 긴급 수정은 언제? | 담당자 승인 후 즉시 | D01 |
| 공개 전 필요한 검사는? | 회귀 검사 | D02 |
| 검토자는 몇 명? | 두 명 | D02 |
| 내부 문서 검색 대상은? | 허용된 구성원 | D03 |
| 검토 담당자의 이름은? | 자료에 없어 유보 | 없음 |
| 배포 실패 원인은? | 자료에 없어 유보 | 없음 |
실습: 기준선 실행
현재 시스템을 수정하기 전에 전체 문제를 실행하고 원문 응답을 저장합니다. 이 결과가 기준선입니다. 실패한 문제도 유지하고 연결 오류나 제한 초과는 내용 오답과 구분해 기록합니다.
실습: 한 조건 변경
청크 크기, 모델, 지침 중 하나만 바꿉니다. 같은 입력 자료와 채점기로 다시 실행합니다. 평균 점수뿐 아니라 이전에 맞던 문제를 새로 틀렸는지도 비교합니다.
회귀 평가
개선 후 이전의 중요한 기능이 나빠지는지 확인하는 평가입니다. 실제 장애 사례를 재현하는 문제를 추가하면 다음 변경에서 같은 실수를 잡기 쉽습니다. 무한히 늘리지 말고 오래되거나 중복된 문제는 근거를 남겨 정리합니다.
시간과 비용도 함께
정확도가 같아도 지연과 비용이 달라질 수 있습니다. 전체 요청 수, 재시도, 검색, 채점 비용을 구분합니다. 외부 오류를 제외했다면 제외 기준과 건수를 명시해 결과를 과장하지 않습니다.
배포 판단
필수 문제와 허용 가능한 실패 범위를 실행 전에 정합니다. 치명적 오류를 평균 점수로 가리지 않습니다. 충분하지 않은 표본이나 사람이 확인해야 할 부분은 자동 평가와 분리해 보고합니다.
핵심 정리
평가는 변경 효과를 같은 기준으로 비교하는 도구입니다. 작은 문제 묶음에서 시작하되 원문·채점 기준·변동·회귀를 관리해야 합니다. 다음 회차에서는 이 평가 묶음으로 모델과 설정을 비교합니다.
출처
공식 문서·원 논문을 참고한 원리 설명입니다. 제품별 지원 범위는 실행 시점의 문서로 재확인하며, 실습 설계와 가상 사례는 이 강의의 예시입니다.
AI 도구의 도움으로 작성하고 공식 자료와 발행 규격을 확인했습니다. 삽화는 SVIL 로컬 AI 워크스테이션에서 생성한 신규·기존 개념 자산을 사용했습니다.
협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/