AI 뉴스 SVIL 바이트댄스 ByteDance 틱톡 장이밍 LLM 앱스로픽 문심

바이트댄스가 10조 파라미터 모델을 훈련하고 있습니다 — GPU 3만 장, 중국 최대 기록의 세 배

SVIL - Singularity Visual Intelligence Lab 2026. 08. 10 20 min read

지난 몇 달 AI 뉴스의 분위기는 "이제 무작정 크게 만드는 시대는 지났다"에 가까웠습니다. 그런데 그 분위기와 정면으로 어긋나는 소식이 나왔습니다.

틱톡의 모회사 바이트댄스(ByteDance)가 총 10조 파라미터 규모의 AI 모델을 사전학습하고 있다고 파이낸셜타임스(FT)가 보도했습니다. 사실이라면 중국 기업이 만든 역대 최대 모델이 됩니다. 오늘은 이 숫자가 실제로 뭘 뜻하는지, 그리고 어디까지 확인된 이야기인지 함께 정리해 볼게요.

거대하고 밝은 청록 구체 하나가 화면을 압도하고 그 옆에 훨씬 작고 어두운 구체 셋이 놓인 이미지 — 압도적인 모델 규모 격차를 표현

FT가 전한 소식 — 바이트댄스가 10조를 훈련 중입니다

이번 소식의 출처는 파이낸셜타임스입니다. 프로젝트를 아는 세 명의 관계자가 FT에 전한 내용으로, 모델이 현재 사전학습(pretraining) 단계에 있다고 합니다.

먼저 성격을 분명히 해 둘게요. 이건 바이트댄스의 공식 발표가 아닙니다. 회사가 제품을 공개한 것도, 논문을 낸 것도 아닙니다. 익명 취재원에 기반한 보도입니다.

다만 FT는 아무 소문이나 싣는 매체가 아니고, 복수의 관계자를 확인했다고 밝혔습니다. "확정된 사실"과 "근거 있는 보도" 사이 어딘가로 놓고 읽는 게 정확합니다.

10조 파라미터가 무슨 뜻인가요

파라미터(parameter)는 모델이 학습을 통해 조정하는 내부 숫자입니다. 흔히 뇌의 시냅스에 비유하는데, 정확한 비유는 아니어도 "많을수록 담을 수 있는 게 많다" 정도의 감은 맞습니다.

10조는 10,000,000,000,000입니다. 우리가 노트북에서 돌려 보는 소형 모델이 보통 70억~80억(7B~8B) 파라미터라는 걸 생각하면, 그 1천 배가 넘는 규모입니다.

다만 파라미터 수가 곧 성능은 아닙니다. 학습 데이터의 질, 훈련 방법, 사후 조정에 따라 결과는 크게 갈립니다. 파라미터는 성능이 아니라 그릇의 크기에 가깝습니다.

무수한 작은 청록 점들이 안쪽의 밝은 중심을 향해 소용돌이치며 모여드는 이미지 — 방대한 파라미터가 하나의 모델로 수렴하는 모습을 표현

중국 최대 모델 기록을 세 배로

규모를 비교로 잡아 보면 이렇습니다. 현재 중국에서 가장 큰 모델로 꼽히는 것은 문샷 AI(Moonshot)의 키미 K3(Kimi K3)로, 약 2조 8천억 파라미터 수준으로 알려져 있습니다.

바이트댄스가 준비 중인 10조은 그 약 세 배입니다. 점진적으로 기록을 갱신하는 게 아니라 한 번에 뛰어넘으려는 시도입니다.

앤트로픽 미토스 5와 견주는 규모

시야를 세계로 넓히면 비교 대상이 달라집니다. 업계에서는 앤트로픽의 미토스 5(Mythos 5)를 약 8조 파라미터 수준으로 추정합니다.

이 추정이 맞다면 바이트댄스의 10조은 현재 세계 최상위 모델과 같은 체급에 들어간다는 뜻이 됩니다. 중국 모델이 미국 프론티어 랩을 "추격"하는 구도에서 같은 링에 올라가는 구도로 바뀌는 지점입니다.

다만 8조이라는 숫자 역시 업계 추정치입니다. 앤트로픽은 모델 크기를 공개하지 않습니다. 추정과 추정을 비교하는 이야기라는 점은 감안하셔야 합니다.

수많은 작은 청록 사각형이 균일한 격자를 이루며 어둠 속 깊이로 끝없이 이어지는 이미지 — GPU 3만 장 규모의 연산 자원을 표현

MoE — 10조를 다 쓰지는 않습니다

여기서 꼭 짚어야 할 기술적 사항이 하나 있습니다. 이 모델은 MoE(Mixture of Experts, 전문가 혼합) 구조로 알려졌습니다.

MoE는 모델 전체를 여러 '전문가'로 나눠 두고, 입력이 들어올 때마다 그중 일부만 활성화하는 방식입니다. 10조 파라미터를 다 갖고 있지만, 질문 하나를 처리할 때 실제로 도는 건 그중 일부입니다.

병원에 비유하면 이해가 쉽습니다. 병원 전체에 전문의가 수백 명 있어도, 환자 한 명을 볼 때 들어오는 건 관련 과 몇 명입니다. 병원의 규모(총 파라미터)와 진료 한 건의 비용(활성 파라미터)은 다릅니다.

그래서 "10조"은 총 파라미터이지 매번 계산되는 양이 아닙니다. 이 구분을 놓치면 규모를 실제보다 훨씬 크게 오해하게 됩니다.

GPU 3만 장, 3~6개월

보도에 따르면 이 훈련에는 GPU 약 3만 장이 투입되며, 기간은 3~6개월로 예상됩니다.

3만 장은 상당한 규모입니다. 정확한 기종이 공개되지 않아 비용 환산은 어렵지만, 데이터센터급 AI 가속기 3만 장이면 하드웨어 값만 수십억 달러대가 되고, 여기에 전력과 냉각 비용이 계속 붙습니다.

기간이 3~6개월이라는 것도 의미가 있습니다. 이 정도 규모에서는 훈련 도중 하드웨어 고장이 일상적으로 발생합니다. 수천 대 중 몇 대는 매일 문제를 일으키고, 그때마다 복구하며 몇 달을 버텨야 합니다. 규모 자체보다 운영 역량이 시험대에 오르는 구간입니다.

멀리 떨어져 마주 선 두 개의 매끈한 어두운 기둥 사이를 가는 청록 광선이 팽팽하게 잇고 있는 이미지 — 미국과 중국 최상위 모델의 대치를 표현

지금은 사전학습 단계입니다 — 그리고 그게 끝이 아닙니다

기사에서 반복해서 나오는 표현이 "사전학습 중"입니다. 이 단어를 정확히 이해하는 게 중요합니다.

사전학습은 방대한 텍스트를 읽히며 언어의 통계적 구조를 익히게 하는 단계입니다. 여기까지 마친 모델은 지식은 많지만 대화 상대로는 아직 쓸 수 없습니다. 질문에 답하기보다 문장을 이어 쓰려 하고, 위험한 요청도 그냥 따릅니다.

그다음에 지시 따르기 훈련, 인간 피드백 기반 조정, 안전성 평가, 그리고 서비스 최적화가 이어집니다. 여기서 다시 여러 달이 걸립니다.

즉 지금 시점은 "모델이 곧 나온다"가 아니라 "재료를 굽기 시작했다"에 가깝습니다. 실제 공개까지는 상당한 시간이 남아 있다고 보는 편이 맞습니다.

시드(Seed) 팀 2천 명

이 프로젝트를 맡은 조직은 바이트댄스의 AI 연구 조직 시드(Seed) 팀입니다. 인원은 약 2천 명으로 전해집니다.

2천 명은 AI 연구 조직으로는 매우 큰 규모입니다. 세계 최상위 AI 랩들의 연구 인력이 대체로 이보다 적습니다. 바이트댄스가 추천 알고리즘으로 축적한 대규모 머신러닝 운영 경험을 가진 회사라는 점도 함께 봐야 할 배경입니다.

밝은 청록 정육면체 하나와 그 옆에 똑같은 크기의 훨씬 어두운 정육면체가 나란히 놓인 이미지 — 원본 모델과 증류된 모델의 관계를 표현

장이밍이 내부에 한 말

창업자 장이밍(Zhang Yiming)은 시드 팀에 장기적으로 세계 최고 수준의 모델 역량을 목표로 하라는 취지로 말한 것으로 전해집니다.

짧은 문장이지만 두 가지가 읽힙니다. 첫째 "장기적으로" — 단기 성과가 아니라 여러 해를 보고 있다는 뜻입니다. 둘째 "세계 최고 수준" — 중국 내 1위가 아니라 글로벌 기준을 목표로 삼았다는 뜻입니다.

장이밍은 2021년 CEO에서 물러난 뒤 공개 활동이 드문 인물입니다. 그런 사람의 내부 발언이 인용됐다는 것 자체가, 이 프로젝트가 회사 최상단에서 밀고 있는 사안임을 시사합니다.

증류를 1년 넘게 하지 않았다는 주장

이번 보도에서 개인적으로 가장 흥미로웠던 대목입니다. 한 관계자는 바이트댄스가 1년 넘게 증류(distillation)를 하지 않았다고 전했습니다.

증류는 다른 회사 모델의 출력을 학습 재료로 쓰는 방식입니다. 뛰어난 모델에게 질문을 잔뜩 던져 답을 모으고, 그 문답으로 자기 모델을 가르치는 겁니다.

강력한 지름길입니다. 훨씬 적은 비용으로 상위 모델의 행동을 상당 부분 따라 할 수 있습니다.

끊기지 않은 청록 나선이 깊은 어둠을 지나 안쪽의 밝은 중심으로 감겨 들어가는 이미지 — 오랜 기간에 걸친 사전학습 과정을 표현

증류가 왜 논쟁거리인가

증류가 민감한 이유는 세 가지입니다.

첫째, 이용약관 위반 소지가 있습니다. 주요 AI 기업들은 자사 모델 출력으로 경쟁 모델을 훈련하는 것을 약관으로 금지하고 있습니다.

둘째, 실력의 근거가 흐려집니다. 증류로 만든 모델이 벤치마크에서 좋은 점수를 받아도, 그게 자체 역량인지 원본 모델을 잘 베낀 결과인지 구분하기 어렵습니다.

셋째, 천장이 생깁니다. 다른 모델을 따라 배우는 방식으로는 그 모델을 넘어설 수 없습니다. 선생보다 잘하기는 어려우니까요.

중국 AI 모델이 빠르게 성능을 올릴 때마다 "증류 아니냐"는 의심이 따라붙었던 것도 이 맥락입니다. 바이트댄스 쪽에서 증류를 안 했다고 굳이 언급한 건 이 의심을 정면으로 겨냥한 발언으로 읽힙니다.

이 주장이 사실이라면 무엇이 달라지나

확인할 방법이 마땅치 않은 주장이지만, 사실이라고 가정하면 함의가 큽니다.

증류 없이 10조 규모를 처음부터 학습한다는 건 데이터·인프라·훈련 노하우를 자력으로 갖췄다는 선언입니다. 그리고 앞서 말한 천장이 사라집니다. 남을 따라 배우는 모델은 남을 못 넘지만, 스스로 학습한 모델은 그 제약이 없습니다.

중국 AI를 "빠른 추격자"로 보던 시각이 바뀔 수 있는 지점입니다. 물론 결과물이 나와야 판단할 수 있는 이야기입니다.

매끈한 어두운 층들이 높이 쌓여 올라가고 층과 층 사이마다 청록빛이 빛나는 이미지 — 여러 층으로 쌓인 대규모 모델 구조를 표현

반도체 통제 속에서 GPU 3만 장

이 소식을 읽을 때 빼놓을 수 없는 배경이 미국의 대중국 반도체 수출 통제입니다. 최첨단 AI 가속기의 중국 수출은 여러 해에 걸쳐 계속 조여져 왔습니다.

그런 상황에서 GPU 3만 장 규모의 훈련이 진행된다는 건 몇 가지 가능성을 뜻합니다. 통제 이전에 확보한 물량을 쓰고 있거나, 규제 기준에 맞춰 성능을 낮춘 모델을 쓰고 있거나, 중국 내 자체 가속기를 상당 부분 섞어 쓰고 있거나입니다.

어느 쪽이든 결론은 하나입니다. 수출 통제가 중국의 대규모 모델 훈련을 멈추지는 못했습니다. 늦추는 효과는 있었을지 몰라도 차단은 아니었습니다.

규모 경쟁은 아직 안 끝났나

지난 1~2년간 업계 화두는 "더 크게"에서 "더 똑똑하게"로 옮겨가는 듯 보였습니다. 추론 시간에 더 생각하게 하는 방식, 작은 모델을 잘 다듬는 방식이 성과를 냈고, 단순 규모 확장의 효율이 떨어진다는 이야기가 반복됐습니다.

그런데 이번 소식은 규모 경쟁이 끝나지 않았음을 보여줍니다. 정확히 말하면 두 흐름이 동시에 가고 있는 겁니다. 작고 효율적인 모델은 실제 서비스를 채우고, 거대 모델은 한계를 밀어 올립니다.

밝은 청록 광선 하나가 칠흑 같은 어둠을 가로지르며 나아갈수록 폭이 점점 좁아지는 이미지 — 규모 확장의 효율이 체감하는 현상을 표현

스케일링 법칙을 둘러싼 논쟁

배경을 조금 더 보태면, AI 업계에는 스케일링 법칙(scaling laws)이라는 경험칙이 있습니다. 모델 크기·데이터·연산량을 늘리면 성능이 예측 가능하게 좋아진다는 관찰입니다.

최근 몇 년 이 법칙이 여전히 유효한지를 두고 논쟁이 이어졌습니다. 한쪽은 수익 체감이 시작됐다고 보고, 다른 쪽은 아직 한참 남았다고 봅니다.

10조 규모 프로젝트에 GPU 3만 장을 붓는 결정은 후자에 건 베팅입니다. 그리고 이 베팅의 결과는 몇 달 뒤 실제 데이터로 나옵니다. 논쟁이 말이 아니라 결과로 정리되는 셈입니다.

바이트댄스가 이걸 왜 하나 — 틱톡과 두바오

바이트댄스를 틱톡 회사로만 아시는 분이 많은데, 이 회사는 이미 AI 제품을 여럿 운영하고 있습니다. 중국 내 AI 챗봇 두바오(豆包)는 사용자 규모 기준 중국 최대급이고, 영상 생성 모델 계열도 계속 내놓고 있습니다.

그리고 바이트댄스의 본업 자체가 거대한 추천 시스템입니다. 틱톡의 추천 알고리즘은 수억 명의 반응을 실시간으로 학습하는 대규모 머신러닝 시스템입니다. 대규모 학습 인프라를 오래 운영해 온 회사라는 뜻입니다.

즉 이 프로젝트는 갑작스러운 방향 전환이 아니라, 축적해 온 인프라 위에서 자연스럽게 이어지는 확장으로 보는 게 맞습니다.

밝은 청록 정육면체 두 개가 칠흑 같은 공간의 양 끝에 놓이고 한 줄기 가는 빛선이 둘을 곧게 잇는 이미지 — 두 진영 사이의 좁혀지는 격차를 표현

미국 프론티어 랩과의 실제 거리

그렇다면 정말 따라잡았을까요. 여기서는 신중해야 합니다.

파라미터 수는 비교하기 쉬운 지표이지 가장 중요한 지표가 아닙니다. 실제 모델의 쓸모는 사후 조정 품질, 안전성, 도구 사용 능력, 긴 맥락 처리, 그리고 실서비스 안정성에서 갈립니다. 이 항목들은 파라미터 수로 알 수 없습니다.

게다가 비교 대상인 미국 랩들도 멈춰 있지 않습니다. 이 모델이 완성될 시점의 경쟁 상대는 지금의 모델이 아니라 그때의 모델입니다.

그래서 지금 할 수 있는 가장 정확한 말은 이 정도입니다. "체급 면에서 같은 링에 올라오려 하고 있다." 실력 비교는 결과물이 나온 뒤의 일입니다.

우리가 조심해서 읽어야 할 부분

이 소식을 다룰 때 특히 조심할 지점들을 모아 둡니다.

공식 발표가 아닙니다. 익명 취재원 기반 보도이며 바이트댄스는 확인하지 않았습니다.
10조은 총 파라미터입니다. MoE 구조라 매번 계산되는 활성 파라미터는 훨씬 적습니다.
비교 대상도 추정치입니다. 미토스 5의 8조은 업계 추정이지 공개된 값이 아닙니다.
사전학습은 시작 단계입니다. 공개까지 여러 달이 더 필요합니다.
증류를 안 했다는 건 검증되지 않은 주장입니다. 외부에서 확인할 방법이 마땅치 않습니다.
훈련이 완주한다는 보장이 없습니다. 이 규모에서는 중단·축소 사례도 드물지 않습니다.

광활하고 매끈한 어두운 벽 한가운데를 좁고 밝은 청록 틈이 관통하고 있는 이미지 — 반도체 수출 통제 속의 좁은 통로를 표현

이게 사용자에게 뜻하는 것

대부분의 한국 사용자는 바이트댄스 모델을 직접 쓸 일이 없을 겁니다. 그래도 영향은 옵니다.

첫째, 경쟁이 값을 내립니다. 최상위권에 참가자가 늘면 가격 인하와 무료 한도 확대 압력이 생깁니다. 실제로 최근 몇 년간 모델 사용료가 계속 떨어진 배경에는 이런 경쟁이 있었습니다.

둘째, 개방 가중치 모델이 좋아질 수 있습니다. 중국 기업들은 최상위 모델을 만들면서 그 아래 등급을 공개 가중치로 푸는 전략을 자주 씁니다. 이 흐름이 이어지면 개인이 자기 PC에서 돌릴 수 있는 모델의 수준이 함께 올라갑니다.

두 번째는 저시력 사용자에게 특히 의미가 있습니다. 화면을 읽어 주고 이미지를 설명해 주는 기능이 인터넷 없이, 구독료 없이, 내 컴퓨터 안에서 돌아간다면 접근성 도구의 성격 자체가 달라집니다. 최상단의 규모 경쟁이 몇 단계를 거쳐 그 아래까지 내려오는 구조라, 이런 소식을 남 일로만 볼 건 아닙니다.

언제쯤 볼 수 있을까요

사전학습에 3~6개월, 이후 조정과 평가에 다시 몇 달을 잡으면 빨라야 내년 상반기가 현실적인 예상입니다.

그전에 중간 신호는 나올 수 있습니다. 논문이나 기술 보고서, 축소판 모델 공개, 두바오 성능의 눈에 띄는 향상 같은 것들입니다. 그때가 이 보도의 신뢰도를 실제로 가늠할 수 있는 시점이 됩니다.

매끈한 어두운 각진 껍질 안에 거대한 청록 에너지 덩어리가 압축되어 이음매마다 빛이 새어 나오는 이미지 — 아직 공개되지 않은 거대 모델을 표현

핵심 정리

바이트댄스가 총 10조 파라미터 모델을 사전학습 중이라고 파이낸셜타임스가 보도했습니다. 공식 발표는 아닙니다.
구조는 MoE이므로 10조은 총 파라미터이고, 매 요청마다 활성화되는 양은 훨씬 적습니다.
투입 자원은 GPU 약 3만 장, 사전학습 기간은 3~6개월로 전해집니다.
중국 최대인 문샷 키미 K3(약 2.8조)의 세 배이며, 앤트로픽 미토스 5(업계 추정 약 8조)와 견주는 체급입니다.
담당은 시드(Seed) 팀 약 2천 명이고, 창업자 장이밍이 "장기적으로 세계 최고 수준"을 주문했다고 전해집니다.
바이트댄스가 1년 넘게 증류를 하지 않았다는 관계자 발언이 함께 나왔습니다. 외부 검증은 불가능합니다.
미국의 반도체 수출 통제가 대규모 훈련 자체를 막지는 못했다는 점이 함께 드러납니다.
사전학습은 시작 단계입니다. 공개까지 여러 달이 더 필요하며, 빨라야 내년 상반기로 보는 게 현실적입니다.
파라미터 수는 그릇의 크기일 뿐, 실제 쓸모는 사후 조정·안전성·도구 사용 능력에서 갈립니다.

마무리

이번 소식을 한 줄로 줄이면 "규모 경쟁은 아직 끝나지 않았고, 이제 참가자가 늘었다"입니다.

같은 주에 AMD는 모델을 실리콘에 새기는 회사를 사들였고, 머스크는 반도체 공장 부지를 확정했습니다. 방향은 제각각이지만 공통점이 있습니다. 모두 "AI를 더 크게, 더 싸게 돌리는 법"을 각자의 방식으로 풀고 있습니다.

SVIL은 이런 소식이 결국 화면 앞 사람에게 무엇이 되어 돌아오는지를 계속 따라가겠습니다. 어려운 이야기를 큰 글자와 쉬운 말로 정리해 전해 드릴게요.

출처

칠흑 같은 어둠 속 밝은 청록 점 하나를 중심으로 가는 원형 파문이 바깥으로 퍼져 나가는 이미지 — 한 프로젝트가 업계 전체로 미치는 파장을 표현

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/

]]>