실무AI 기초 및 활용 2회 — 작은 모델은 무엇을 덜어냈을까? — 양자화
실무AI 기초 및 활용 · 2회 / 전체 12회
실무자도 놓치기 쉬운 AI 원리를 질문과 실험으로 확인합니다.
AI를 업무에 사용해본 분을 위한 강의입니다. 아래 실습은 독자 재현을 위한 절차이며 이 글에서 실행한 측정 결과를 뜻하지 않습니다.
파일이 작으면 모델도 같은 비율로 단순해질까요?
같은 모델 이름 뒤에 붙은 여러 양자화 표기를 보면 용량만 비교하기 쉽습니다. 그러나 파라미터 수를 줄이는 일과 숫자 표현을 줄이는 일은 다릅니다. 다운로드 크기만으로 답변 품질이나 실행 속도를 결정할 수 없습니다.
이번 강의의 목표
양자화의 원리를 대략 설명하고, 로컬 실행에서 메모리와 품질을 함께 비교하는 기준을 만듭니다. 특정 파일 형식을 무조건 추천하지 않습니다. 모델 구조, 실행 프로그램, 하드웨어가 맞는지를 먼저 확인합니다.
모델은 숫자 배열로 저장됩니다
학습된 가중치는 부동소수점 등 숫자 형식으로 저장됩니다. 각 숫자에 많은 비트를 쓰면 더 세밀하게 표현할 수 있지만 공간이 필요합니다. 실제 모델 파일에는 가중치 외에도 설정과 양자화 관련 정보가 포함될 수 있습니다.
적은 비트로 표현한다는 의미
16비트와 4비트는 같은 개수의 값을 표현하는 저장 비용이 다릅니다. 다만 실제 파일이 언제나 정확히 4분의 1이 되지는 않습니다. 일부 층의 정밀도, 보조 수치, 파일 형식 등 추가 비용이 있기 때문입니다.
거친 눈금에 숫자를 맞추기
양자화는 연속적인 수치를 제한된 표현값에 대응시키는 과정으로 이해할 수 있습니다. 원래 값과 대응값 사이에 오차가 생깁니다. 단순한 소수점 반올림 비유는 출발점이며, 실제 기법에는 다양한 구간과 보정 방식이 있습니다.
스케일은 숫자의 범위를 연결합니다
정수 양자화에서는 작은 정수 범위를 원래 숫자의 크기에 대응시키기 위한 스케일을 사용할 수 있습니다. 방식에 따라 영점 보정도 다릅니다. 비트 수가 같아도 수치 범위를 나누는 방법에 따라 오차 특성이 달라질 수 있습니다.
전체를 한 눈금으로 바꾸지 않기도 합니다
채널이나 작은 그룹마다 다른 스케일을 두는 방식도 있습니다. 중요한 값의 오차를 줄이는 대신 부가 정보와 계산이 늘 수 있습니다. 파일 이름의 비트 수 하나만으로 모든 구현 차이를 설명하기 어려운 이유입니다.
가중치와 활성값을 구분하기
가중치는 학습된 숫자이고 활성값은 입력을 계산하면서 만들어지는 중간 값입니다. 무엇을 낮은 정밀도로 처리하는지는 기법마다 다릅니다. 가중치만 압축하는 방식과 계산 경로도 낮은 정밀도로 바꾸는 방식을 구분합니다.
KV 캐시도 별도로 줄일 수 있습니다
대화에 따라 늘어나는 KV 캐시를 양자화하는 방법도 있습니다. 모델 가중치 양자화와는 별도 선택입니다. 가중치 파일이 작아도 긴 대화에서는 캐시가 커질 수 있으며, 캐시를 줄이는 데도 속도와 품질의 교환이 생길 수 있습니다.
학습 후 양자화
완성된 가중치를 변환하는 접근을 학습 후 양자화라고 부릅니다. 일부 기법은 대표 입력을 사용해 보정합니다. 어떤 데이터를 보정에 사용했는지가 특정 업무에서의 결과에 영향을 줄 수 있으므로 방법 정보를 함께 남깁니다.
학습 중 양자화를 고려하는 방식
양자화 오차를 고려해 학습하는 접근도 있습니다. 모든 사용자가 이 과정을 직접 할 필요는 없습니다. 배포된 모델 설명에서 변환 방식과 지원 실행 환경을 확인하는 것이 실무의 첫 단계입니다.
용량 감소와 파라미터 감소는 다릅니다
같은 모델의 양자화 버전 비교와 서로 다른 크기의 모델 비교를 섞지 않습니다. 파라미터가 다른 모델은 학습 데이터나 구조도 다를 수 있습니다. 결과 차이를 양자화 때문이라고 설명하려면 원래 모델을 맞춰야 합니다.
속도가 반드시 빨라지지 않는 이유
메모리 전송 부담이 줄면 유리할 수 있지만, 복원 계산이나 커널 지원이 병목이 될 수도 있습니다. CPU로 일부가 넘어가는지, GPU가 해당 형식을 효율적으로 처리하는지도 중요합니다. 실행 시간을 실제로 측정해야 합니다.
품질 저하는 업무별로 다릅니다
문장 유창성이 유지되어도 숫자 비교, 긴 문맥, 코드의 세부 조건에서 오류가 늘 수 있습니다. 반대로 단순한 분류에서는 차이가 작을 수도 있습니다. 그럴듯한 문장 하나를 보고 원본과 같다고 판단하지 않습니다.
실무 예시: 장비에 들어가는 모델
가상의 문서 분류 도구에서 큰 파일이 메모리를 넘기면 사용 자체가 어렵습니다. 이때 양자화로 실행 가능해지는 가치는 큽니다. 다만 잘못 분류한 비용까지 포함해 더 작은 원본 모델과 비교해야 합리적인 선택이 됩니다.
실습 준비: 같은 모델 두 버전
아래는 실행 안내이며 이 글의 실측 결과가 아닙니다. 원본 모델과 토크나이저가 같은 두 양자화 버전을 고릅니다. 실행 프로그램의 지원 여부와 라이선스를 확인하고, 다른 GPU 작업과 겹치지 않게 준비합니다.
고정할 조건
질문 묶음, 입력 길이, 최대 생성 길이, 가능한 생성 설정을 고정합니다. 실행 프로그램 버전과 하드웨어도 기록합니다. 비교 중 프로그램을 업데이트하면 개선 원인을 양자화 변화로만 설명할 수 없습니다.
메모리 측정하기
모델 로드 전 기저 사용량, 로드 후 사용량, 요청 처리 중 피크를 구분합니다. GPU 수치만 보지 말고 CPU 메모리로 넘겨진 부분도 확인합니다. 도구가 보고하는 할당량과 실제 장치 점유량이 다를 수 있습니다.
실험 기록 양식
| 조건 | 입력·설정 | 판정·측정값 |
|---|---|---|
| 변경 전 기준선 | 실행 전 기록 | 실행 후 기록 |
| 한 조건 변경 | 바꾼 항목만 기록 | 실행 후 기록 |
| 반복·확인 문제 | 버전과 반복 횟수 기록 | 실패 사례까지 기록 |
이 표는 빈 양식이며 측정값이나 성능 개선을 보고하는 자료가 아닙니다.
시간 측정하기
첫 로드 시간, 첫 토큰까지의 시간, 생성 완료 시간을 나눠 기록합니다. 처음 실행과 워밍업 이후를 섞지 않습니다. 같은 길이의 출력을 강제할 수 없다면 생성 토큰 수를 함께 남겨 시간 비교의 한계를 표시합니다.
품질 측정하기
실무에서 자주 쓰는 질문과 실패하면 곤란한 경계 사례를 함께 넣습니다. 정답뿐 아니라 형식, 근거, 코드 실행 결과 등 필요한 기준을 미리 정합니다. 두 버전의 출력을 이름을 가리고 비교하면 선입견을 줄이는 데 도움이 됩니다.
결과표를 읽는 방법
모델 버전별로 메모리·지연·정답 수·치명적 오류를 한 표에 둡니다. 여기서는 성능 수치를 제공하지 않습니다. 직접 측정한 결과가 나오면 절약한 자원과 늘어난 오류의 비용을 업무 목적에 맞게 비교합니다.
피해야 할 결론
몇 문제를 잘 풀었다고 모든 작업에서 품질 손실이 없다고 말하지 않습니다. 반대로 한 번 틀렸다고 해당 비트 수 전체가 쓸모없다고 볼 수도 없습니다. 모델과 기법, 실행 환경, 평가 문제의 범위를 함께 적습니다.
실무 선택 기준
장비에 안정적으로 들어가고, 필요한 정확도와 지연 기준을 통과하는 후보를 선택합니다. 최고 정밀도를 기본 정답으로 삼기보다 업무 요구를 먼저 정합니다. 변경 후에는 같은 평가 묶음으로 회귀를 확인합니다.
핵심 정리
양자화는 숫자 표현을 줄여 자원을 절약하는 기술이며, 파라미터를 삭제하는 것과 다릅니다. 메모리·속도·정확도의 실제 변화는 환경과 작업에 달려 있습니다. 다음 회차에서는 대화 길이에 따라 늘어나는 캐시를 살펴봅니다.
출처
공식 문서·원 논문을 참고한 원리 설명입니다. 제품별 지원 범위는 실행 시점의 문서로 재확인하며, 실습 설계와 가상 사례는 이 강의의 예시입니다.
AI 도구의 도움으로 작성하고 공식 자료와 발행 규격을 확인했습니다. 삽화는 SVIL 로컬 AI 워크스테이션에서 생성한 신규·기존 개념 자산을 사용했습니다.
협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/