5초짜리 영상을 1.653초에 만듭니다 — 미니맥스 Sol-H3와 재생보다 빠른 생성

5초짜리 영상을 만드는 데 1.653초가 걸립니다. 영상을 재생하는 시간보다 만드는 시간이 더 짧습니다.

미니맥스와 엔비디아 리서치가 함께 공개한 Sol-H3 이야기입니다. 영상 생성 모델 미니맥스 H3를 훨씬 빠르게 돌리는 실행 환경을 만들어 아파치 2.0 라이선스로 열었습니다.

숫자가 화려하지만 조건을 봐야 제대로 읽힙니다. 어떤 장비에서 나온 값인지, 무엇을 줄여서 이만큼 빨라졌는지, 그리고 우리 같은 개인 작업자에게는 무엇이 달라지는지를 차근차근 보겠습니다.

5초짜리 영상을 1.653초에 만듭니다

발표의 핵심 숫자는 하나입니다. 5초 길이의 영상을 1.653초 만에 만들어 냈다는 것입니다.

여기서 1.653초는 중앙값입니다. 여러 번 돌려 본 결과를 줄 세웠을 때 가운데 오는 값이라, 운 좋은 한 번이 아니라 대체로 이 정도가 나온다는 뜻입니다.

영상 생성은 지금까지 몇 분 단위가 기본이었습니다. 초 단위로 내려온 것 자체가 큰 변화입니다.

재생보다 빠르다는 말의 정확한 뜻

5초 영상을 1.653초에 만든다는 것은, 만드는 속도가 보는 속도를 앞질렀다는 뜻입니다.

이 선을 넘으면 성격이 달라집니다. 지금까지는 요청하고 기다렸다가 결과를 받는 방식이었는데, 이제는 앞부분을 보여 주는 동안 뒷부분을 만드는 방식이 가능해집니다.

영상이 끊기지 않고 이어지려면 만드는 쪽이 보는 쪽보다 빨라야 합니다. 그 조건이 처음으로 충족된 셈입니다.

무엇이 공개됐나 — Sol-H3라는 추론 스택

공개된 것은 새 모델이 아닙니다. 기존 미니맥스 H3 모델을 더 빠르게 돌리는 실행 환경입니다.

이런 것을 추론 스택이라고 부릅니다. 학습이 끝난 모델을 실제로 돌려 결과를 뽑는 단계를 추론이라고 하고, 그 과정을 담당하는 소프트웨어 묶음을 스택이라고 합니다.

즉 그림을 그리는 화가는 그대로인데 작업실을 완전히 다시 짠 것에 가깝습니다.

어떤 하드웨어에서 나온 숫자인가

이 숫자는 엔비디아 B300 블랙웰 8장을 묶은 시스템에서 나왔습니다.

B300은 데이터센터용 최상위 가속기입니다. 개인이 사기 어려운 등급이고, 여덟 장을 하나로 묶은 구성은 더욱 그렇습니다.

그래서 1.653초라는 값을 볼 때는 항상 이 조건을 함께 기억해야 합니다. 같은 소프트웨어를 일반 그래픽카드에 올린다고 같은 속도가 나오지는 않습니다.

1344×768 화면에 스테레오 소리까지

생성된 영상의 해상도는 가로 1344, 세로 768입니다. 일반적인 고화질 영상에 가까운 크기입니다.

여기에 스테레오 오디오가 함께 만들어집니다. 영상만 만들고 소리를 따로 붙이는 방식이 아니라, 한 번에 같이 나옵니다.

소리까지 포함해서 이 속도가 나왔다는 점이 중요합니다. 후반 작업 단계를 하나 줄여 주기 때문입니다.

15.54배라는 가속의 근거

발표에서는 기본 H3 대비 최대 15.54배 빨라졌다고 밝혔습니다. 가속기 한 장, 네 장, 여덟 장 구성을 모두 놓고 비교한 값입니다.

지연 시간 기준으로는 최대 15.05배 낮아졌다는 표현도 함께 나옵니다. 어느 지표를 기준으로 재느냐에 따라 조금씩 다릅니다.

어느 쪽이든 열 배가 넘는 차이입니다. 소프트웨어만 바꿔서 이 정도가 나오는 일은 흔하지 않습니다.

49번을 4번으로 줄였습니다

속도의 가장 큰 원인은 계산 횟수 자체를 줄인 데 있습니다.

기본 H3는 영상 한 편을 만들 때 핵심 신경망을 49번 통과시킵니다. Sol-H3는 이를 4번으로 줄였습니다.

49번 할 일을 4번에 끝내면 당연히 빨라집니다. 문제는 그렇게 줄이고도 결과물이 쓸 만하냐인데, 이 부분은 뒤에서 다시 짚겠습니다.

스케줄러 포인트가 무엇인가

영상 생성 모델은 대체로 잡음에서 출발해 조금씩 정리해 나가는 방식으로 그림을 만듭니다.

이때 몇 단계에 걸쳐 정리할지를 정하는 것이 스케줄러입니다. 기본 H3는 50개의 단계를 두고 그중 49번 계산을 돌립니다.

단계를 줄이면 빨라지지만 거칠어지기 쉽습니다. Sol-H3는 단계를 크게 줄이고도 품질을 유지하도록 다른 부분을 함께 손봤습니다.

어텐션만 바꾼 게 아니라는 단서

발표 자료는 이번 비교가 어텐션만 손본 결과가 아니라는 점을 분명히 밝히고 있습니다.

어텐션은 모델이 어느 부분에 집중할지 정하는 계산입니다. 여기만 빠르게 만드는 최적화는 이미 여럿 나와 있습니다.

Sol-H3는 계산 횟수, 커널, 통신, 디코딩을 한꺼번에 다시 짠 전체 구성입니다. 그래서 비교도 전체 대 전체로 해야 공정합니다.

동적 희소 어텐션 — 재학습이 필요 없습니다

핵심 기법 중 하나가 동적 희소 어텐션입니다. 모든 지점을 다 계산하지 않고 중요한 곳만 골라 계산하는 방식입니다.

중요한 점은 이 방식을 쓰기 위해 모델을 다시 학습시킬 필요가 없다는 것입니다. 기존 모델을 그대로 두고 실행 방식만 바꿉니다.

재학습이 필요 없다는 것은 비용과 시간 면에서 큰 차이를 만듭니다. 다른 모델에도 같은 방식을 적용하기 쉬워집니다.

커널을 합친다는 것

Sol-H3는 정규화, 위치 정보 처리, 다층 연산 같은 여러 계산을 하나로 합쳤습니다.

가속기에서는 계산을 하나 할 때마다 데이터를 메모리에서 꺼내고 다시 넣는 과정이 붙습니다. 이 왕복이 실제 계산보다 오래 걸리는 경우가 많습니다.

여러 계산을 한 덩어리로 묶으면 이 왕복이 줄어듭니다. 계산량은 그대로인데 시간이 줄어드는 이유가 여기 있습니다.

INT8과 FP8이 오가는 통신

가속기 여덟 장이 함께 일하려면 서로 데이터를 주고받아야 합니다. 이 통신이 병목이 되는 일이 잦습니다.

Sol-H3는 통신할 때 숫자를 더 작은 형식으로 줄여 보냅니다. 계산의 앞단은 INT8, 결과는 FP8 형식을 씁니다.

숫자를 거칠게 표현하면 오차가 생기지만 데이터가 작아져 빨리 오갑니다. 어디를 줄이고 어디를 지킬지 고르는 것이 이 작업의 핵심입니다.

VAE 디코딩을 나란히 돌립니다

영상 생성 모델은 압축된 형태로 계산한 뒤 마지막에 실제 화면으로 펼칩니다. 이 펼치는 과정을 담당하는 것이 VAE 디코더입니다.

이 단계는 프레임 수가 많을수록 오래 걸립니다. Sol-H3는 이를 여러 묶음으로 나눠 동시에 처리합니다.

앞 단계를 아무리 빠르게 해도 마지막에서 막히면 전체가 느려집니다. 끝단까지 손봤다는 점이 이 작업의 성격을 보여 줍니다.

AdaLN 캐시를 미리 계산합니다

모델 안에는 매 단계 반복해서 계산하지만 결과가 크게 달라지지 않는 부분이 있습니다. AdaLN이라고 부르는 조정 계층이 그렇습니다.

Sol-H3는 이 값을 미리 계산해 저장해 두고 필요할 때 꺼내 씁니다.

같은 계산을 반복하지 않는 것은 단순한 아이디어지만, 단계 수가 많은 모델에서는 누적 효과가 큽니다.

GPU 1장·4장·8장에서 각각 어떻게 다른가

구성에 따라 쓰는 방식이 달라집니다. 한 장짜리 구성에서는 모든 지점을 계산하는 방식을 쓰고, 네 장과 여덟 장에서는 희소 방식과 압축 통신을 함께 씁니다.

가속기가 한 장이면 통신할 상대가 없으니 통신 최적화가 의미가 없습니다. 대신 메모리가 빠듯해집니다.

여러 장이면 통신이 새 병목이 됩니다. 구성마다 병목이 다르니 처방도 달라지는 것입니다.

아파치 2.0으로 열었습니다

Sol-H3의 코드는 아파치 2.0 라이선스로 공개됐습니다. 상업적 이용을 포함해 폭넓게 쓸 수 있는 조건입니다.

성능 수치만 발표하고 코드를 닫아 두는 사례도 많습니다. 그런 경우 외부에서 검증하기 어렵습니다.

코드가 열려 있으면 다른 연구자가 같은 조건에서 재현해 볼 수 있습니다. 발표 신뢰도가 올라가는 지점입니다.

실제 사례 — vLLM 계열의 실시간 서빙 흐름

같은 방향의 작업이 여러 곳에서 동시에 진행되고 있습니다. vLLM 진영에서는 이미 미니맥스 H3를 실시간에 가깝게 서비스하는 구성을 공개했습니다.

LMSYS 쪽에서는 H200 여덟 장 구성에서 품질을 유지한 채 약 두 배, 품질을 일부 양보하면 여섯 배 이상 빨라지는 결과를 내놨습니다.

여러 팀이 같은 모델을 놓고 속도를 다투고 있다는 뜻입니다. 이런 경쟁이 붙으면 개선 속도가 빨라집니다.

실제 사례 — 로컬 워크스테이션의 현실

개인 작업실 기준으로 보면 이야기가 달라집니다. B300 여덟 장 같은 구성은 개인이 갖출 수 있는 범위 밖입니다.

다만 이 작업에서 나온 기법 일부는 이미 개인용 도구로 옮겨지고 있습니다. 희소 어텐션 구현을 컴파이 UI 확장으로 옮긴 사례가 나와 있고, 메모리 사용량이 줄었다는 측정치도 함께 공개됐습니다.

데이터센터에서 검증된 기법이 몇 달 뒤 개인 장비로 내려오는 흐름은 지금까지 반복돼 왔습니다.

실시간 영상 생성이 열어 두는 쓰임새

만드는 속도가 보는 속도를 넘으면 새로운 쓰임새가 열립니다. 대화하듯 장면을 바꿔 가며 영상을 만드는 방식이 대표적입니다.

교육 자료나 안내 영상처럼 상황에 맞춰 즉석에서 바뀌어야 하는 콘텐츠도 후보입니다.

다만 이런 쓰임새가 실제로 자리 잡으려면 속도만으로는 부족합니다. 비용과 안정성이 함께 따라와야 합니다.

남는 질문 — 화질은 어떻게 되나

계산 횟수를 49번에서 4번으로 줄였다면 품질이 어떻게 됐는지가 가장 중요한 질문입니다.

발표는 이를 전체 구성 대 전체 구성의 비교라고 밝히고 있지만, 품질 저하가 전혀 없다고 단언하지는 않았습니다.

관련 작업에서는 품질을 유지한 구간과 품질을 일부 내주고 속도를 얻은 구간을 나눠 제시하는 경우가 많습니다. 실제 사용에서는 어느 구간을 쓸지 고르는 판단이 필요합니다.

남는 질문 — B300이 아닌 환경

두 번째 질문은 장비입니다. 이 결과는 최신 블랙웰 세대에서 나왔습니다.

이전 세대 가속기에서는 압축 통신 방식의 이득이 줄어들 수 있습니다. 하드웨어가 지원하는 연산 형식이 다르기 때문입니다.

따라서 다른 장비에서 같은 배수를 기대하기는 어렵습니다. 이 점은 발표를 읽을 때 반드시 감안해야 합니다.

엔비디아 리서치가 함께 이름을 올린 이유

이 작업은 엔비디아 리서치 쪽 페이지로 공개됐습니다. 모델을 만든 곳은 미니맥스인데 실행 최적화는 하드웨어 쪽이 붙은 구조입니다.

가속기를 파는 입장에서는 자사 장비에서 잘 도는 사례가 많을수록 유리합니다. 소프트웨어를 함께 여는 것이 장비 판매로 이어집니다.

이런 협업 구조는 최근 부쩍 늘었습니다. 모델 회사와 칩 회사가 같은 발표에 이름을 올리는 일이 이제 특별하지 않습니다.

영상 생성 경쟁의 축이 옮겨갑니다

지난 몇 년 영상 생성 경쟁은 화질과 길이를 두고 벌어졌습니다. 더 선명하게, 더 길게가 목표였습니다.

이번 발표는 축이 하나 더 생겼음을 보여 줍니다. 같은 결과를 얼마나 싸고 빠르게 만드느냐입니다.

속도가 비용입니다. 같은 시간에 더 많이 만들 수 있으면 한 편당 가격이 내려가고, 그 순간 쓸 수 있는 곳이 크게 늘어납니다.

저시력 사용자에게 이 속도가 갖는 의미

영상 생성이 빨라지면 설명 영상을 만드는 부담이 줄어듭니다. 글로만 된 안내를 영상으로 바꾸는 일이 쉬워집니다.

저시력 사용자에게는 큰 글자와 음성 안내가 함께 있는 영상이 글보다 편한 경우가 많습니다. 만드는 비용이 내려가면 그런 자료가 늘어납니다.

다만 속도가 빨라진 만큼 품질 검수는 더 중요해집니다. 대비가 낮거나 자막이 작은 영상이 대량으로 쏟아지면 오히려 불편이 커집니다.

핵심 정리

미니맥스와 엔비디아 리서치가 Sol-H3를 공개했습니다. 미니맥스 H3 영상 모델을 훨씬 빠르게 돌리는 실행 환경이며 아파치 2.0으로 열려 있습니다.

엔비디아 B300 여덟 장 구성에서 5초 영상을 1.653초에 만들었고, 기본 구성 대비 최대 15.54배 빠르다고 발표했습니다.

속도의 핵심은 계산 단계를 49번에서 4번으로 줄인 것이며, 여기에 희소 어텐션과 커널 통합, 압축 통신, 병렬 디코딩이 함께 쓰였습니다.

다만 최상위 데이터센터 장비 기준이라는 점, 품질 저하 여부가 명확히 수치화되지 않은 점은 감안해서 읽어야 합니다.

참고하실 만한 것

영상 생성 도구를 고르실 때는 화질뿐 아니라 한 편을 만드는 데 걸리는 시간과 비용을 함께 보시면 좋겠습니다.

개인 장비로 영상 생성을 시도하신다면, 최신 데이터센터 장비 기준 수치를 그대로 기대하지 않는 편이 마음이 편합니다.

SVIL은 이런 기술 소식을 큰 글자와 쉬운 설명으로 정리하고 있습니다. 다른 글도 함께 보시면 흐름이 잡히실 겁니다.

출처

• NVIDIA Research — Sol-H3: Speed-of-Light MiniMax-H3 on an 8× NVIDIA B300 Blackwell System
• Enze Xie (X) — Sol-H3 릴리스 공지
• NVIDIA — Deploy MiniMax-H3 with Sol Engine
• vLLM Blog — MiniMax H3 on vLLM-Omni: Real-Time Serving with FastH3
• LMSYS Org — MiniMax-H3 on 8×H200 성능 측정
• vllm-omni — MiniMax-H3 레시피
• ComfyUI-sol-attn — 개인용 도구로 옮긴 Sol-Attn 구현
• MiniMax-AI — awesome-minimax-h3-integration

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/