장이밍이 직접 챙기는 모델이 다음 달 나옵니다 — 바이트댄스 실시간 공간영상과 0.05초

2021년에 물러난 창업자가 회의실로 돌아왔습니다. 그리고 지금 그가 직접 챙기고 있는 것은 광고도 아니고 커머스도 아니고, 실시간으로 만들어지는 3차원 세계입니다.

블룸버그가 2026년 9월 7일에 보도한 내용입니다. 바이트댄스가 실시간 공간영상 모델을 준비하고 있고, 창업자 장이밍이 이 작업을 직접 지휘하고 있으며, 이르면 다음 달에 나올 수 있다는 것입니다.

숫자로 보면 이렇습니다. 초당 약 20프레임, 지연 약 0.05초, 기기가 아니라 클라우드에서 생성. 이 세 가지가 무엇을 뜻하는지 하나씩 풀어보겠습니다.

창업자가 직접 회의를 주재하고 있습니다

블룸버그 보도의 핵심은 기술 사양이 아니라 누가 하고 있는가입니다. 장이밍이 여러 사업부의 작업을 직접 조율하고, AI 인력과 연산 자원을 이쪽으로 몰아주고 있다는 것입니다.

대기업에서 창업자가 특정 프로젝트를 직접 챙긴다는 것은 우선순위 신호입니다. 자원 배분의 순서가 바뀌기 때문입니다.

다만 보도는 소식통에 기반합니다. 출시 시점은 확정되지 않았고 계획이 바뀔 수 있다고 블룸버그도 명시했습니다.

장이밍은 누구인가

바이트댄스를 창업한 사람입니다. 틱톡과 더우인을 만든 회사의 주인이고, 블룸버그 집계 기준 2026년 6월 자산이 928억 달러로 세계 최상위권 부자 중 한 명입니다.

2021년 5월에 최고경영자 사임을 발표했고 그해 11월에 교체를 마무리했습니다. 이유로는 장기 전략과 기업 문화에 시간을 쓰겠다는 것을 들었습니다.

그 뒤로는 경영 일선에서 물러나 있었습니다. 그런 사람이 다시 연구팀 회의에 나타난 것이 2026년의 변화입니다.

2021년에 물러났던 사람

장이밍의 복귀 신호는 이번이 처음이 아닙니다. 2026년 8월에는 바이트댄스의 시드 AI 연구팀에 복귀해 「증류를 하지 말라」는 방침을 내렸다는 보도가 있었습니다.

증류는 큰 모델의 출력을 받아 작은 모델을 학습시키는 기법입니다. 빠르고 싸지만, 원 모델을 넘어서기는 어렵습니다.

증류를 금지한다는 것은 남을 따라가는 대신 처음부터 자기 모델을 만들겠다는 선언에 가깝습니다. 그 연장선에서 이번 공간영상 모델을 보면 방향이 읽힙니다.

이번 모델이 하려는 일

목표는 사용자가 들어가서 돌아다닐 수 있는 3차원 공간을 실시간으로 만들어내는 것입니다.

지금까지의 영상 생성 모델은 완성된 영상 한 편을 뽑아 주는 방식이었습니다. 프롬프트를 넣고 기다리면 몇 초짜리 클립이 나옵니다. 만들어진 뒤에는 바꿀 수 없습니다.

이번 모델은 그 관계를 바꿉니다. 사용자가 움직이면 그다음 화면을 즉석에서 만들어내는 방식입니다. 영상이 아니라 반응하는 공간에 가깝습니다.

공간영상이라는 말의 뜻

공간영상은 평면 화면에 담긴 영상이 아니라 깊이 정보를 가진 영상을 뜻합니다. 시점을 옮기면 가려졌던 부분이 드러나야 합니다.

일반 영상은 카메라 한 대가 찍은 한 방향의 기록입니다. 그래서 시점을 바꿀 수 없습니다.

공간영상은 장면을 구조로 이해하고 있어야 만들 수 있습니다. 여기서 「월드모델」이라는 표현이 나옵니다.

월드모델과 영상생성의 차이

영상 생성 모델은 「그럴듯한 화면의 연속」을 만듭니다. 물리적으로 말이 되는지는 부차적입니다.

월드모델은 「이 세계의 상태」를 안에 들고 있으면서, 사용자의 행동을 입력받아 다음 상태를 계산합니다. 벽을 향해 걸으면 막혀야 하고, 방을 나갔다 돌아오면 아까 그 방이어야 합니다.

이 차이가 어려운 부분입니다. 상태를 유지하려면 기억이 필요하고, 기억을 유지하면서 실시간으로 그리려면 연산이 폭증합니다.

20프레임과 0.05초

보도된 사양은 초당 약 20프레임, 지연 약 50밀리초입니다. 밀리초는 1000분의 1초이니 0.05초입니다.

20프레임은 영화(24프레임)보다 조금 낮고, 게임에서 쾌적하다고 하는 60프레임에는 한참 못 미칩니다. 다만 「생성되는 화면」으로는 상당히 높은 값입니다.

0.05초는 사람이 조작과 반응 사이의 시차를 거의 못 느끼는 경계 근처입니다. 이 값을 넘어가면 조작감이 무너집니다.

왜 기기가 아니라 클라우드인가

이 모델은 사용자의 기기에서 돌지 않고 클라우드에서 생성해 내려보내는 방식입니다.

이유는 단순합니다. 이만한 모델을 휴대폰이나 헤드셋의 칩으로 돌릴 수 없기 때문입니다. 데이터센터의 GPU가 필요합니다.

대신 새로운 문제가 생깁니다. 네트워크 왕복 시간이 지연에 그대로 더해집니다. 생성에 0.05초가 걸려도 전송에 0.05초가 더 들면 사용자가 느끼는 지연은 0.1초입니다. 그래서 이런 서비스는 사용자 가까운 곳에 서버를 두는 구조가 함께 필요합니다.

시드댄스라는 토대

이번 모델은 맨땅에서 시작한 것이 아니라 바이트댄스의 기존 영상 생성 모델 시드댄스 위에 얹힙니다.

시드댄스는 2026년 들어 여러 차례 갱신됐습니다. 7월 31일 공개된 2.5 버전은 30초짜리 영상과 오디오를 한 번에 만들고, 공간 제어 기능과 3차원 동작 계획을 위한 참조 방식을 넣었습니다.

「공간 제어」와 「3차원 동작 계획」이 이미 들어가 있었다는 점이 중요합니다. 이번 실시간 모델은 갑자기 나온 것이 아니라 그 축적 위에 서 있습니다.

대화형 가상 세계란 어떤 것인가

실제로 어떤 모습일지 상상해 보면 이렇습니다. 사용자가 「눈 덮인 산장 안」이라고 입력하면 그 공간이 만들어지고, 방향을 조작해 창가로 걸어가면 창밖 풍경이 그때 생성됩니다.

미리 만들어 둔 3차원 모델을 불러오는 것이 아닙니다. 게임 엔진과 결정적으로 다른 지점입니다. 게임은 개발자가 미리 만든 세계를 보여주지만, 이건 요청 시점에 만들어집니다.

그래서 만들 수 있는 세계의 수에 제한이 없습니다. 대신 일관성이 약합니다.

라이브 스트리밍에 붙였을 때

바이트댄스가 이 기술을 어디에 쓸지는 회사의 사업 구조에서 짐작할 수 있습니다. 첫 번째가 라이브 스트리밍입니다.

중국에서 라이브 커머스는 거대한 시장이고 더우인이 그 중심에 있습니다. 방송자가 배경을 말 한마디로 바꾸거나, 시청자가 그 공간 안을 둘러보게 하는 것이 가능해집니다.

촬영 스튜디오 비용이 사라지는 것이 실제 효과입니다. 배경 세트를 짓는 대신 문장으로 만듭니다.

숏드라마와 게임

두 번째는 숏드라마입니다. 중국에서 폭발적으로 성장한 형식이고, 짧은 회차를 대량으로 찍어내는 것이 관건입니다.

배경을 생성으로 대체하면 제작 속도가 달라집니다. 특히 같은 공간을 여러 회차에서 재사용해야 하는 경우에 유리합니다.

세 번째가 게임입니다. 다만 게임은 일관성 요구가 훨씬 높습니다. 세계가 매번 조금씩 달라지면 게임이 성립하지 않습니다. 그래서 초기 적용은 게임보다 스트리밍·영상 쪽이 먼저일 가능성이 큽니다.

틱톡과 더우인으로 이어지는 길

바이트댄스가 가진 결정적 자산은 배포 채널입니다. 틱톡과 더우인은 이미 수십억 명이 쓰는 앱입니다.

새 생성 기술이 나왔을 때 「누가 쓸 것인가」가 대개 가장 어려운 문제인데, 바이트댄스는 그 문제를 이미 풀어 놓은 상태입니다.

이 회사는 앱 안에 새 기능을 얹어 곧바로 대량 사용자에게 노출시키는 방식을 반복해 왔습니다. 이번에도 같은 경로를 쓸 가능성이 높습니다. 보도에서는 자사 헤드셋 제품군도 목표에 포함된 것으로 언급됐습니다.

메타와 구글이 하고 있는 것

월드모델 경쟁은 이미 진행 중입니다. 가장 앞서 있다고 평가받는 것은 구글 딥마인드의 지니 계열입니다.

메타도 같은 방향으로 움직이고 있습니다. 헤드셋 사업과 직접 연결되기 때문에 동기가 분명합니다.

그래서 이번 보도의 구도는 「바이트댄스가 새 분야를 열었다」가 아니라 「이미 뜨거운 경주에 창업자가 직접 들어왔다」에 가깝습니다.

제네시와 지니와 비교하면

구글 지니 3의 공개된 사양이 좋은 비교 기준이 됩니다. 텍스트 설명만으로 사실적인 세계를 만들고, 초당 20~24프레임으로 실시간 탐색이 가능하며, 해상도는 720p, 일관성은 몇 분 정도 유지됩니다.

바이트댄스의 보도된 사양 20프레임·0.05초는 이 범위 안에 있습니다. 즉 사양만으로는 지니를 크게 앞서는 수치가 아닙니다.

지니 3의 한계도 참고할 만합니다. 일관성 유지 구간이 대략 1분이고, 그 전에 있던 사물이나 장소를 잊어버리며, 여러 물체가 얽히는 복잡한 물리는 무너집니다. 같은 한계가 바이트댄스 모델에도 있을 가능성이 큽니다.

월드랩스 아틀라스와는 다른 길

월드모델에는 다른 접근도 있습니다. 페이페이 리의 월드랩스가 공개한 아틀라스는 3차원 구조 자체를 생성하는 쪽에 무게를 둡니다.

구조를 먼저 만들고 그것을 화면으로 그리는 방식은 일관성에 강합니다. 대신 자유도는 떨어집니다.

화면을 바로 생성하는 방식은 반대입니다. 무엇이든 만들 수 있지만 방금 만든 것을 기억하기 어렵습니다. 어느 쪽이 이길지는 아직 결정되지 않았습니다.

로보틱스가 왜 월드모델을 원하나

이 기술의 쓸모는 콘텐츠에만 있는 것이 아닙니다. 블룸버그도 로봇과 자율 시스템 응용을 함께 언급했습니다.

로봇이 어떤 동작을 하기 전에 「이렇게 하면 어떻게 될까」를 머릿속에서 돌려볼 수 있으면 학습 효율이 크게 올라갑니다. 실제로 넘어뜨려 보지 않고도 배울 수 있기 때문입니다.

사람이 하는 일과 비슷합니다. 손을 뻗기 전에 닿을지 안 닿을지를 대충 압니다. 그 예측 능력이 월드모델이 하려는 것입니다.

자율주행과 시뮬레이션

자율주행도 같은 이유로 월드모델을 원합니다. 위험한 상황을 실제 도로에서 겪게 할 수는 없으니 시뮬레이션으로 만들어야 합니다.

기존 시뮬레이터는 사람이 규칙을 짜서 만듭니다. 그래서 사람이 생각해 낸 상황만 나옵니다.

생성형 월드모델은 본 적 없는 조합을 만들어낼 수 있습니다. 다만 그 상황이 물리적으로 말이 되는지가 관건이고, 지금 모델들이 가장 약한 부분이 바로 그 물리입니다.

중국 AI 영상 모델의 지난 1년

중국 쪽 영상 생성 모델은 지난 1년 사이 빠르게 따라붙었습니다. 바이트댄스와 미니맥스가 비슷한 시기에 경쟁 모델을 내놓은 일도 있었습니다.

영상 생성은 중국 기업에 유리한 면이 있습니다. 짧은 영상 플랫폼을 직접 운영하고 있어 학습 데이터와 사용 맥락을 함께 갖고 있기 때문입니다.

다만 최신 GPU 확보는 수출통제 때문에 제약이 있습니다. 연산이 많이 드는 실시간 생성에서는 이 제약이 실제로 작동합니다.

컴퓨팅 자원을 몰아준다는 뜻

보도에 따르면 바이트댄스는 월드모델 방향에 회사에서 가장 큰 데이터 예산을 배정했습니다. 위안화 기준 8자리 규모이고, 경쟁사가 쓰는 금액의 서너 배 수준이라는 것이 소식통 전언입니다.

회사 안에서 연산 자원은 한정돼 있습니다. 어느 팀에 GPU를 얼마나 주느냐가 곧 우선순위입니다.

월드모델에 자원을 몰아준다는 것은 다른 프로젝트가 그만큼 뒤로 밀린다는 뜻이기도 합니다. 회사가 걸고 있는 판돈의 크기를 보여주는 대목입니다.

실제 사례 — 실시간 생성이 이미 쓰이는 곳

실시간 AI 생성은 이미 몇 군데에서 쓰이고 있습니다. 화상회의의 배경 처리, 게임 화면의 해상도 보정, 실시간 자막과 더빙 같은 것들입니다.

다만 이것들은 이미 있는 화면을 고치는 일입니다. 없는 화면을 만들어내는 것과는 난이도가 다릅니다.

구글 지니는 그 경계를 넘은 첫 사례로 꼽힙니다. 미국에서 상위 구독자에게 먼저 열렸고, 실제 사용자가 만들어진 세계 안을 걸어 다닐 수 있습니다. 이번 바이트댄스 모델이 나오면 두 번째 대규모 사례가 됩니다.

지연 0.05초가 실제로 어려운 이유

여기서 가장 큰 기술적 난제를 짚어야 합니다. 0.05초 안에 다음 화면을 만들려면, 모델이 한 프레임을 계산하는 시간이 그보다 짧아야 합니다.

고품질 영상 생성 모델은 보통 한 장면에 수십 단계의 계산을 반복합니다. 이걸 0.05초 안에 끝내려면 단계 수를 줄이거나 모델을 작게 만들어야 하고, 둘 다 품질을 깎습니다.

그래서 이런 모델의 실제 평가는 사양표가 아니라 화면을 봐야 나옵니다. 20프레임이 나와도 화면이 뭉개지면 쓸 수 없습니다. 발표된 수치만으로 앞섰다고 말할 수 없는 이유입니다.

확인되지 않은 부분 — 출시 시점은 유동적

이 보도에서 확정된 것과 아닌 것을 나눠야 합니다. 확정된 것은 바이트댄스가 월드모델을 2026년 중점 방향으로 공식화했다는 사실입니다. 이건 6월에 이미 알려졌습니다.

확정되지 않은 것은 이렇습니다. 출시 시점, 최종 사양, 어느 앱에 먼저 들어갈지, 그리고 장이밍의 관여 정도입니다. 블룸버그도 시점이 불확실하고 계획이 바뀔 수 있다고 명시했습니다.

20프레임·0.05초라는 수치도 회사 공식 발표가 아니라 소식통을 통해 전해진 값입니다. 실물이 나오기 전까지는 목표치로 읽는 편이 안전합니다.

한국 창작자에게 무엇이 바뀌나

가장 먼저 체감될 곳은 배경 제작입니다. 촬영 장소를 구하거나 세트를 짓는 대신 문장으로 공간을 만들 수 있다면, 1인 제작자와 대형 제작사의 격차가 그만큼 줄어듭니다.

다만 조심할 것도 있습니다. 클라우드 생성 방식이라 사용량만큼 비용이 나가고, 생성 결과물의 저작권과 학습 데이터 출처 문제는 아직 정리되지 않았습니다.

그리고 이런 도구가 흔해지면 「배경이 좋다」는 것 자체는 차별점이 되지 않습니다. 남는 것은 무엇을 말하느냐입니다.

핵심 정리

정리하면 이렇습니다. 첫째, 바이트댄스가 실시간 공간영상 모델을 준비 중이고 창업자 장이밍이 직접 지휘하고 있다는 블룸버그 보도가 2026년 9월 7일에 나왔습니다.

둘째, 보도된 사양은 초당 약 20프레임, 지연 약 0.05초, 클라우드 생성이며 기존 시드댄스 모델 위에 얹힙니다. 이르면 다음 달 출시 가능성이 언급됐습니다.

셋째, 이 사양은 구글 지니 3의 20~24프레임·720p와 비슷한 범위입니다. 사양만으로 앞섰다고 보기는 어렵고, 실제 화면 품질이 판정 기준이 됩니다.

넷째, 출시 시점과 최종 사양은 확정되지 않았습니다. 확정된 것은 바이트댄스가 월드모델을 최우선 방향으로 삼았고 회사에서 가장 큰 데이터 예산을 여기 배정했다는 점입니다.

참고하실 만한 것

이 사안을 따라가려면 세 가지를 보시면 됩니다. 실제 출시 여부와 시점, 공개된 데모의 화면 품질과 일관성 유지 시간, 그리고 어느 앱에 먼저 들어가는지입니다.

SVIL 연구소는 AI 도구가 창작 현장에 닿는 지점을 기록하고 있습니다. 저시력 사용자도 편하게 읽으실 수 있도록 큰 글씨와 고대비로 정리하고 있으니, 읽기 어려우신 부분이 있으면 알려 주세요.

월드모델과 영상 생성 관련 글을 블로그에 모아 두었습니다. 궁금하신 부분이 있으면 메일로 알려 주시면 다뤄 보겠습니다.

출처

• Bloomberg — ByteDance Prepares AI Model for Real-Time Spatial Video Generation (2026-09-07)
• Techmeme — Sources: ByteDance founder Zhang Yiming is overseeing the development of an AI model for real-time spatial video
• The Next Web — ByteDance is preparing a real-time spatial video model under Zhang Yiming
• Crypto Briefing — ByteDance prepares AI model for real-time spatial video generation
• KrASIA — ByteDance sets four AI priorities for 2026 (월드모델 최우선 공식화)
• 36Kr — Four Key Propositions of ByteDance AI in 2026
• Google DeepMind — Genie 3: A new frontier for world models (비교 기준 사양)
• Pandaily — Zhang Yiming Returns to ByteDance Headquarters and Tells the Seed Team to Stop Distilling
• TechCrunch — ByteDance founder Zhang Yiming to step down as CEO (2021년 사임 기록)

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/