딥시크 V4.1 플래시가 캐시를 4분의 1로 줄였습니다 — 100만 토큰에 0.003달러

딥시크 V4.1 플래시가 캐시를 4분의 1로 줄였습니다 — 100만 토큰에 0.003달러

딥시크가 9월 10일 새 모델을 냈습니다. 이름은 V4.1 플래시입니다.

파라미터는 5520억 개인데, 한 번 답할 때 실제로 깨어나는 것은 그 가운데 80억 개뿐입니다. 가중치는 MIT 라이선스로 공개해 누구나 내려받을 수 있게 했습니다.

그리고 가격표가 다시 한 번 눈에 띕니다. 비수기에 캐시된 입력은 100만 토큰에 0.003달러입니다. 오늘은 이 모델이 무엇을 어떻게 줄여서 이 값을 만들었는지 살펴보겠습니다.

거대한 어두운 다면체 중심에 놀랄 만큼 작은 청록 점 하나만 빛나는 개념 이미지 — 5520억 개 중 80억 개만 활성화되는 구조

딥시크가 또 한 번 값을 깼습니다

딥시크는 지난 몇 년 동안 같은 일을 반복해 왔습니다. 성능을 크게 떨어뜨리지 않으면서 값을 한 단계씩 내리는 일입니다.

이번 V4.1 플래시도 같은 계보에 있습니다. 다만 이번에는 값을 내리기 위해 손댄 곳이 조금 더 구조적입니다. 모델의 크기가 아니라 모델이 기억을 붙들고 있는 방식을 바꿨습니다.

V4.1 플래시가 어떤 모델인가

V4.1 플래시는 딥시크의 새 구조 계열에서 가장 작은 모델로 소개되었습니다. 가장 작다고 했지만 총 파라미터는 5520억 개입니다.

글과 이미지를 함께 입력으로 받고, 한 번에 다룰 수 있는 맥락은 100만 토큰입니다. 가중치는 허깅페이스에 MIT 라이선스로 올라가 있습니다.

매끈하고 커다란 어두운 다면체 안쪽 깊은 곳에서 청록 빛이 바깥으로 번져 나오는 개념 이미지 — 새 모델의 구조

5520억 개 가운데 80억 개만 깨어납니다

여기가 이 모델을 이해하는 첫 번째 열쇠입니다. 총 파라미터는 5520억 개지만, 입력을 처리할 때 실제로 계산에 참여하는 것은 약 80억 개입니다.

나머지는 그 순간에 쉬고 있습니다. 메모리에는 올라가 있지만 계산은 하지 않습니다.

그래서 이 모델의 비용은 5520억 개짜리가 아니라 80억 개짜리에 가깝습니다. 반대로 아는 것의 양은 5520억 개만큼입니다.

전문가 혼합이라는 구조를 쉽게 풀면

이런 방식을 전문가 혼합이라고 부릅니다. 모델 안에 서로 다른 영역을 맡은 작은 덩어리들이 여럿 들어 있고, 들어온 질문에 맞는 몇 개만 골라 쓰는 구조입니다.

큰 병원에 비유하면 이해하기 쉽습니다. 병원에는 여러 과의 전문의가 있지만, 환자 한 사람을 볼 때 모든 과가 동시에 달려들지는 않습니다. 필요한 과만 부르면 됩니다.

병원 전체 규모가 그 병원이 감당할 수 있는 질병의 범위라면, 실제 진료에 드는 비용은 그날 부른 의사의 수에 비례합니다.

빽빽이 모인 어두운 육각 기둥 무리 가운데 세 개만 밝은 청록으로 빛나는 개념 이미지 — 필요한 전문가만 골라 쓰는 방식

입력과 출력에서 활성 규모가 갈립니다

이 모델에서 흥미로운 점은 입력과 출력의 활성 규모가 다르다는 것입니다. 입력을 읽을 때는 약 80억 개, 답을 만들어 낼 때는 약 160억 개가 움직입니다.

긴 문서를 읽는 일은 양이 많지만 비교적 단순하고, 답을 쓰는 일은 양이 적어도 더 많은 판단을 요구합니다. 그 차이를 구조에 반영한 셈입니다.

긴 자료를 넣고 짧은 답을 받는 사용 방식이라면 이 설계가 특히 유리합니다.

백본이 2840억에서 5520억으로 커졌습니다

이전 세대인 V4 플래시의 총 파라미터는 약 2840억 개였습니다. 이번에 5520억 개로 늘었으니 거의 두 배입니다.

보통 모델이 커지면 비용도 함께 커집니다. 더 많은 계산이 필요하고 더 많은 메모리를 씁니다.

어두운 직육면체가 바깥으로 부풀어도 안쪽 청록 핵은 똑같이 작게 남아 있는 개념 이미지 — 백본은 커지고 활성은 줄어든 변화

그런데 입력 쪽 활성은 오히려 줄었습니다

그런데 이번에는 반대 방향의 변화가 함께 일어났습니다. 입력 처리 시 활성 파라미터가 이전의 약 130억 개에서 약 80억 개로 줄었습니다.

전체는 두 배가 되었는데 실제로 도는 부분은 더 작아졌습니다. 아는 것은 늘리고 한 번에 쓰는 힘은 줄인 것입니다.

출력 쪽은 약 130억 개에서 약 160억 개로 조금 늘었습니다. 답의 품질이 걸린 자리에는 오히려 더 투자한 셈입니다.

KV 캐시가 토큰당 890바이트입니다

비용을 좌우하는 또 하나의 축은 캐시입니다. 모델이 긴 대화를 이어 가려면 앞서 읽은 내용을 어떤 형태로든 들고 있어야 합니다. 그 저장 공간을 KV 캐시라고 부릅니다.

V4.1 플래시는 이 캐시를 토큰 하나당 약 890바이트까지 줄였습니다. 이전 세대의 약 4분의 1 수준입니다.

지속적으로 유지되는 캐시 용량은 약 8분의 1로 줄었다고 전해집니다.

넓고 얕은 어두운 그릇이 거의 비어 있고 바닥에만 얇은 청록 층이 깔린 개념 이미지 — 4분의 1로 줄어든 KV 캐시

캐시를 4분의 1로 줄이면 생기는 여유

캐시가 줄면 같은 장비에서 동시에 받을 수 있는 대화 수가 늘어납니다. 한 사람의 대화가 차지하던 자리에 네 사람이 들어갈 수 있게 되는 셈입니다.

여기서 값이 내려갑니다. 장비를 늘리지 않고도 처리량이 늘어나기 때문입니다.

긴 맥락을 다루는 모델일수록 이 효과가 큽니다. 100만 토큰을 내세우면서도 값을 낮게 부를 수 있는 이유가 바로 이 지점에 있습니다.

100만 토큰짜리 컨텍스트

100만 토큰은 한국어 기준으로 책 여러 권 분량입니다. 긴 보고서나 코드 저장소 하나를 통째로 넣고 질문할 수 있는 규모입니다.

다만 넣을 수 있다는 것과 끝까지 정확히 쓴다는 것은 다릅니다. 긴 맥락에서 중간 부분을 놓치는 현상은 여전히 모델마다 편차가 큽니다.

실제 업무에 쓰기 전에는 본인의 자료로 한 번 확인해 보시는 편이 안전합니다.

아주 긴 어두운 수평 띠가 양 끝 밖까지 청록으로 고르게 빛나는 개념 이미지 — 100만 토큰 컨텍스트

이미지도 함께 받습니다

이번 모델은 글과 이미지를 함께 입력으로 받습니다. 별도의 시각 모델을 덧붙인 형태가 아니라 처음부터 함께 다루도록 만들어졌습니다.

문서에 표와 도면이 섞여 있는 경우, 글만 읽는 모델보다 다룰 수 있는 범위가 넓어집니다.

이제 가격표를 봅니다

공개된 가격은 비수기 기준으로 캐시된 입력 100만 토큰에 0.003달러, 캐시되지 않은 입력은 0.15달러, 출력은 0.60달러입니다.

캐시된 입력과 그렇지 않은 입력의 차이가 50배입니다. 같은 문서를 반복해서 참조하는 작업이라면 이 차이가 그대로 비용 차이가 됩니다.

무거운 어두운 덩어리가 가느다란 청록 막대 하나에 가볍게 얹혀 있는 개념 이미지 — 놀랍도록 낮은 가격 구조

비수기 캐시 입력 100만 토큰에 0.003달러

0.003달러는 우리 돈으로 몇 원 수준입니다. 100만 토큰이 책 몇 권 분량이라는 점을 생각하면 감이 잘 잡히지 않는 값입니다.

물론 이것은 이미 캐시에 올라와 있는 입력에 적용되는 값입니다. 처음 읽히는 입력은 0.15달러로 50배입니다.

그래도 방향은 분명합니다. 같은 자료를 여러 번 보게 하는 사용 방식에 값을 몰아서 깎아 주고 있습니다.

피크 시간에는 값이 두 배가 됩니다

딥시크는 시간대에 따라 값을 다르게 받습니다. 이용이 몰리는 시간에는 위 값의 두 배가 적용됩니다.

이런 방식은 전기 요금의 계시별 요금제와 비슷합니다. 급하지 않은 일괄 처리 작업을 한가한 시간으로 옮기면 비용이 절반이 됩니다.

자동화 작업을 돌리는 쪽이라면 실행 시각을 조정하는 것만으로도 의미 있는 차이를 만들 수 있습니다.

은은한 청록 고리 하나와 그 옆에 두 배로 밝게 타오르는 또 하나의 고리 — 피크 시간의 두 배 요금

터미널벤치 2.1에서 90.6점

성능 쪽을 보겠습니다. 터미널 환경에서 실제 작업을 수행하는 능력을 재는 터미널벤치 2.1에서 90.6점으로 전해집니다.

이 시험은 명령을 내리고 결과를 보고 다음 행동을 정하는 과정을 평가합니다. 코드 작성보다 실무에 가까운 항목으로 여겨집니다.

HLE 36.8점과 텍스트 전용 39.1점

어려운 문제를 모아 놓은 평가에서는 전체 기준 36.8점, 딥시크가 자체 보고한 텍스트 전용 구간에서는 39.1점으로 전해집니다.

두 숫자가 다른 이유는 평가 범위가 다르기 때문입니다. 이미지가 포함된 문항까지 넣으면 점수가 내려갑니다.

같은 모델의 점수를 두고 기사마다 값이 다른 경우, 대개 이런 범위 차이에서 비롯됩니다.

비스듬히 기운 어두운 면 중턱에 밝은 청록 점 하나가 놓인 개념 이미지 — 어려운 평가에서의 점수 위치

벤치마크 숫자를 읽을 때 주의할 점

공개된 점수의 상당수는 모델을 만든 쪽이 직접 측정해 발표한 값입니다. 측정 조건을 유리하게 잡을 여지가 남아 있습니다.

또 널리 쓰이는 시험일수록 그 시험에 맞춘 학습이 이루어졌을 가능성도 함께 커집니다. 최근 여러 모델이 특정 시험에서만 유난히 높은 점수를 보이는 현상이 지적되기도 했습니다.

그래서 점수는 후보를 좁히는 데까지만 쓰고, 마지막 판단은 본인의 실제 업무로 해 보시는 편이 좋습니다.

MIT 라이선스로 가중치를 풀었습니다

이번 모델의 가중치는 MIT 라이선스로 공개되었습니다. 오픈소스 라이선스 가운데 제약이 거의 없는 축에 속합니다.

상업적 사용도 가능하고, 고쳐서 다시 배포하는 것도 가능합니다. 저작권 표기 정도만 지키면 됩니다.

모델의 성능이 이 정도인데 라이선스까지 이렇게 열려 있는 경우는 흔하지 않습니다.

닫혀 있던 어두운 방의 뚜껑이 열리며 청록 빛이 쏟아져 나오는 개념 이미지 — MIT 라이선스로 공개된 가중치

허깅페이스에서 바로 받을 수 있습니다

가중치는 허깅페이스에 올라가 있어 누구나 내려받을 수 있습니다. API를 쓰지 않고 자체 장비에서 돌리는 것도 가능하다는 뜻입니다.

물론 5520억 개 파라미터를 모두 올리려면 상당한 메모리가 필요합니다. 개인 장비로는 그대로 돌리기 어렵습니다.

오픈웨이트 1위라는 평가의 무게

일부 독립 평가 기관은 이 모델을 공개 가중치 모델 가운데 가장 앞선 것으로 분류했습니다.

공개 가중치 진영과 비공개 모델의 격차는 최근 몇 년 사이 꾸준히 줄어 왔습니다. 이번 모델은 그 흐름의 최신 사례입니다.

다만 순위는 평가 항목에 따라 자주 뒤바뀝니다. 지금 1위라는 표현은 특정 지표 기준이라는 점을 함께 보셔야 합니다.

어두운 탁자 면 위 흐릿한 사면체들 사이에서 밝은 청록 사면체 하나가 우뚝 선 개념 이미지 — 공개 가중치 모델 1위 평가

9월 14일부터 구형 엔드포인트가 넘어갑니다

딥시크는 9월 14일부터 기존 엔드포인트로 들어오는 요청을 V4.1 계열로 돌린다고 알렸습니다.

이미 딥시크 API를 쓰고 있는 서비스라면 코드를 바꾸지 않아도 응답하는 모델이 달라질 수 있다는 뜻입니다.

모델이 바뀌면 같은 프롬프트에 대한 답의 형식이나 길이가 달라질 수 있습니다. 운영 중인 서비스가 있다면 이 날짜 전후로 결과를 한 번 확인해 두시는 편이 좋겠습니다.

값이 내려가면 실제로 바뀌는 것

값이 내려가면 그동안 계산기를 두드려 보고 포기했던 일들이 다시 가능해집니다. 문서 전체를 통째로 훑는 작업, 매일 반복되는 분류 작업, 대량의 자료를 요약하는 작업 같은 것들입니다.

특히 사람 대신 기계가 여러 번 시도해 보는 방식이 싸집니다. 한 번에 잘하는 것보다 여러 번 시도해서 고르는 편이 나은 문제가 꽤 많습니다.

하나의 강렬한 청록 발원점에서 어두운 바닥 전체로 빛의 판이 번져 나가는 개념 이미지 — 값이 내려가며 넓어지는 활용

개인이 직접 돌려보려면 무엇이 필요한가

가중치가 공개되어 있어도 전량을 메모리에 올리려면 고사양 장비가 필요합니다. 일반적인 가정용 그래픽카드 한 장으로는 어렵습니다.

대안은 두 가지입니다. 하나는 정밀도를 낮춘 양자화 버전을 쓰는 것이고, 다른 하나는 필요한 부분만 저장장치에서 그때그때 읽어 오는 방식입니다.

둘 다 속도를 희생하는 대신 장비 요구를 낮춥니다. 개인 작업이라면 충분히 쓸 만한 속도가 나오는 경우도 있습니다.

한국 개발자가 지금 확인할 것

첫째, 9월 14일 엔드포인트 전환입니다. 딥시크 API를 쓰는 서비스가 있다면 응답 변화를 미리 점검해 두시는 것이 좋습니다.

둘째, 캐시 활용 여부입니다. 같은 시스템 프롬프트나 참조 문서를 반복해서 보내는 구조라면 캐시 가격이 적용되도록 호출 방식을 정리해 두면 비용 차이가 큽니다.

셋째, 시간대입니다. 급하지 않은 일괄 작업은 비수기 시간대로 옮기는 것만으로 값이 절반이 됩니다.

어두운 평지 높은 곳에서 청록 빛줄기 두 개가 예각으로 만나는 개념 이미지 — 한국 개발자가 점검할 지점

핵심 정리

딥시크가 9월 10일 V4.1 플래시를 공개했습니다. 총 5520억 개 파라미터 가운데 입력 시 약 80억 개, 출력 시 약 160억 개만 활성화되는 전문가 혼합 구조입니다.

핵심 변화는 캐시입니다. KV 캐시를 토큰당 약 890바이트로 이전의 약 4분의 1까지 줄여 같은 장비에서 더 많은 요청을 처리할 수 있게 했습니다.

가격은 비수기 기준 캐시 입력 100만 토큰당 0.003달러, 미캐시 입력 0.15달러, 출력 0.60달러이고 피크 시간에는 두 배입니다.

가중치는 MIT 라이선스로 허깅페이스에 공개되었고, 9월 14일부터 구형 엔드포인트 요청이 V4.1 계열로 전환됩니다.

참고하실 만한 것

새 모델 소식을 볼 때 총 파라미터보다 활성 파라미터를 먼저 보시면 실제 비용과 속도가 훨씬 잘 예측됩니다. 요즘 큰 모델은 대부분 전문가 혼합 구조입니다.

그리고 캐시 가격과 일반 가격의 차이를 확인해 보시길 권합니다. 같은 모델이라도 호출 방식에 따라 실제 지출이 수십 배까지 갈립니다.

SVIL 블로그에서는 새로 나온 AI 모델과 그 비용 구조를 큰 글씨와 쉬운 설명으로 계속 정리하고 있습니다.

출처


협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/