AI 뉴스 AI SVIL Macaron-V1 MindLab GLM-5.2 LoRA 오픈소스모델

GPU 64장으로 7440억 파라미터를 이겼어요 — 마카롱-V1의 '로라 전문가' 구조 총정리

SVIL - Singularity Visual Intelligence Lab 2026. 08. 05 28 min read

GPU 64장으로 7440억 파라미터 모델을 이겼어요

대형 모델을 만들려면 GPU 수만 장이 필요하다는 게 상식이었어요. 그런데 2026년 8월 4일, 마인드랩(MindLab)이라는 곳이 GPU 64장으로 훈련한 모델을 내놓으면서, 그 모델이 원본보다 여러 벤치마크에서 앞선다고 발표했어요.

모델 이름은 마카롱-V1(Macaron-V1)이에요. 총 파라미터는 7480억 개인데, 그중 마인드랩이 직접 훈련한 건 40억 개뿐이에요. 전체의 약 0.5%예요.

나머지 7440억 개는 어디서 왔을까요? 그리고 0.5%만 건드려서 어떻게 원본을 이길 수 있었을까요? 오늘은 이 구조를 처음부터 차근차근 뜯어볼게요.

마카롱-V1이 뭔가요 — 한 문장 요약

가장 짧게 설명하면 이래요. 이미 공개된 대형 오픈소스 모델 위에, 용도별로 특화된 작은 부품 네 개를 얹은 시스템이에요.

새로 밑바닥부터 만든 모델이 아니에요. 기존 모델을 토대로 삼고, 그 위에 사후 학습(post-training)만 얹은 거예요. 마인드랩 스스로도 이걸 "후처리된 다중 능력 모델 시스템"이라고 부르고 있어요.

비유하자면 이래요. 자동차를 새로 설계한 게 아니라, 잘 만들어진 기성 차대에 용도별 모듈을 장착한 거예요. 캠핑용 모듈, 화물용 모듈, 승객용 모듈을 상황에 따라 갈아 끼우는 식으로요.

발표 시점과 공개 범위

발표는 2026년 8월 4일 무렵에 나왔어요. 그리고 중요한 건 이 모델이 오픈소스로 공개됐다는 점이에요.

허깅페이스(Hugging Face)에 mindlab-research/Macaron-V1-Venti와 mindlab-research/Macaron-V1-Coding-Venti가 올라가 있고, vLLM 레시피 페이지에도 실행 방법이 정리돼 있어요. 논문만 내고 가중치는 안 푸는 경우가 많은데, 이번엔 실제로 돌려볼 수 있는 형태로 나왔어요.

연구 결과를 검증하려면 남이 재현할 수 있어야 하잖아요. 그런 면에서 이번 공개는 주장의 신뢰도를 스스로 높이는 선택이에요.

먼저 알아야 할 토대 — GLM-5.2가 어떤 모델인가

마카롱을 이해하려면 그 밑에 깔린 GLM-5.2부터 알아야 해요. 중국의 즈푸 AI(Zhipu AI)가 2026년 6월 13일에 공개한 모델이에요.

GLM-5.2는 그냥 큰 모델이 아니에요. MIT 라이선스로 가중치를 완전히 공개한 프런티어급 오픈 모델이에요. 코딩, 추론, 그리고 도구를 다루는 에이전트 작업을 겨냥해 만들어졌어요.

이 점이 마카롱 이야기의 전제예요. 밑바탕이 되는 모델이 자유롭게 쓸 수 있는 라이선스로 열려 있었기 때문에, 다른 팀이 그 위에 뭔가를 얹는 게 가능했던 거예요.

GLM-5.2의 구조: 7440억 개 중 400억 개만 켜져요

GLM-5.2의 스펙을 보면 재미있는 숫자가 나와요. 총 파라미터 7440억 개, 그런데 토큰 하나를 처리할 때 실제로 활성화되는 건 약 400억 개예요.

전체의 5% 정도만 켜지는 거예요. 이게 가능한 이유가 희소 전문가 혼합(sparse MoE) 구조예요.

덕분에 파라미터 수가 주는 성능은 챙기면서, 추론 비용은 400억짜리 모델 수준으로 유지할 수 있어요. 요즘 대형 모델들이 대부분 이 방향으로 가고 있어요.

MoE(전문가 혼합)를 비유로 이해하기

MoE를 큰 종합병원에 비유해 볼게요.

병원에는 의사가 수백 명 있어요. 하지만 환자 한 명이 진료를 받을 때 수백 명이 전부 들어오지는 않죠. 접수처에서 증상을 보고 적절한 과의 의사 두세 명에게만 보내요.

MoE 모델이 딱 이래요. 모델 안에 '전문가(expert)'라고 불리는 여러 뭉치가 있고, 라우터(router)라는 접수처가 입력마다 어느 전문가를 부를지 정해요. 전체 의사 수가 병원의 실력(총 파라미터)이고, 실제 진료에 투입되는 인원이 비용(활성 파라미터)이에요.

이 구조 덕분에 병원 규모는 키우면서 진료 한 건당 비용은 억제할 수 있어요.

100만 토큰 컨텍스트와 인덱스셰어

GLM-5.2의 또 다른 특징은 100만 토큰 컨텍스트 창이에요. 한 번에 읽고 기억할 수 있는 분량이 그만큼 크다는 뜻이에요. 한국어 기준으로 대략 장편소설 여러 권 분량이에요.

문제는 컨텍스트가 길어질수록 비용이 급격히 늘어난다는 거예요. 어텐션(attention) 연산이 길이의 제곱에 비례하는 성질 때문이에요. 100만 토큰이면 감당이 안 되는 수준이 돼요.

그래서 GLM-5.2는 인덱스셰어(IndexShare)라는 희소 어텐션 기법을 도입했어요. 모든 토큰이 모든 토큰을 다 보는 대신, 중요한 연결만 골라 계산하는 방식이에요. 100만 토큰 추론 비용을 통제 가능한 범위로 묶어두는 게 목적이에요.

여기서 마카롱이 한 일 — 로라 네 개를 얹었어요

자, 이제 본론이에요. 마인드랩은 이 GLM-5.2를 그대로 얼려놓고(frozen), 그 위에 10억 파라미터짜리 전문 어댑터 네 개를 붙였어요.

계산해 보면 이래요. 7440억(기반 모델) + 40억(어댑터 4개) = 7480억. 마카롱-V1 벤티(Venti) 모델의 총 파라미터 수예요.

여기서 핵심은 7440억은 건드리지 않았다는 점이에요. 훈련한 건 새로 붙인 40억뿐이에요. 이 40억짜리 부품들이 바로 로라(LoRA)예요.

로라(LoRA)가 대체 뭔가요

로라는 Low-Rank Adaptation의 줄임말이에요. 우리말로 옮기면 '저랭크 적응'인데, 이름만 봐서는 감이 잘 안 오죠.

기능으로 설명하면 이래요. 거대한 모델 전체를 다시 훈련하지 않고, 아주 작은 보정 부품만 학습시켜서 원하는 방향으로 행동을 바꾸는 기법이에요.

비유를 들어볼게요. 잘 만들어진 오케스트라가 있다고 해봐요. 이 오케스트라에게 재즈 스타일로 연주하게 하고 싶어요. 방법이 두 가지예요.

전체 재훈련: 단원 전원을 처음부터 재교육해요. 확실하지만 시간과 비용이 엄청나요.
로라 방식: 지휘자에게 "이 부분은 조금 늦게, 저 부분은 살짝 강하게" 같은 얇은 지시서를 얹어줘요. 단원들의 실력은 그대로 두고, 해석만 바꾸는 거예요.

로라가 두 번째예요. 이 기법은 파라미터 효율적 미세조정(PEFT)이라는 큰 분류에 속해요. 전체가 아니라 극히 일부만 업데이트해서 연산 비용을 낮추는 접근이에요.

왜 0.5%만 건드려도 되나 — 저랭크의 직관

"고작 0.5%로 뭐가 달라지겠어?"라는 의문이 자연스러워요. 여기에 대한 답이 이름에 들어 있는 '저랭크(low-rank)'예요.

직관적으로 설명해 볼게요. 이미 방대한 지식과 언어 능력을 갖춘 모델을 특정 용도에 맞추는 작업은, 새로운 능력을 심는 게 아니라 이미 있는 능력들 사이의 배합을 조정하는 일에 가까워요.

요리에 비유하면요. 재료도 있고 조리 기술도 있는 요리사에게 "좀 더 담백하게" 하고 방향을 잡아주는 것과 비슷해요. 재료 창고를 다시 채울 필요가 없어요. 그런 조정 방향은 놀랍도록 적은 숫자로 표현될 수 있다는 게 로라의 발견이에요.

기술적으로 로라는 이 조정 부품을 주로 피드포워드 신경망(FFN) 층에 주입해요. 기반 모델은 얼린 채로, 특화된 경로만 새로 만드는 거예요.

마카롱의 네 전문가: 챗·에이전트·코딩·GenUI

마카롱-V1이 얹은 네 개의 로라 전문가는 각각 이래요.

챗(Chat) — 일반 대화. 자연스러움과 맥락 유지가 중요한 영역이에요.
에이전트(Agent) — 도구를 호출하고 여러 단계 작업을 계획하는 능력. 요즘 가장 수요가 큰 영역이에요.
코딩(Coding) — 코드 작성과 디버깅.
GenUI(UI 생성) — 사용자 인터페이스를 만들어내는 능력. 네 개 중 가장 특이한 선택이에요.

이 네 가지 조합이 마인드랩의 판단을 보여줘요. 범용 성능을 조금 올리는 것보다, 실제로 쓰이는 네 가지 작업 유형에서 확실히 잘하는 게 낫다고 본 거예요. GenUI를 따로 둔 건 특히 흥미로워요. AI가 인터페이스를 직접 그려주는 용도를 하나의 독립된 능력으로 취급하겠다는 뜻이니까요.

라우터 — 누구를 부를지 정하는 교환원

네 전문가는 항상 다 켜져 있지 않아요. 라우터가 요청을 보고 필요한 전문가를 온디맨드로 활성화해요.

앞서 병원 비유를 다시 쓰면, 라우터는 접수처예요. "코드 짜줘"라는 요청이 오면 코딩 전문가를 부르고, "이 API 세 개 호출해서 정리해줘"가 오면 에이전트 전문가를 부르는 식이에요.

여기서 재미있는 구조가 나와요. GLM-5.2 자체가 이미 MoE 라우터를 가지고 있어요. 그 위에 마카롱의 로라 라우터가 또 얹힌 거예요. 라우팅이 두 겹인 셈이죠. 아래층은 "어느 뉴런 뭉치를 켤까"를 정하고, 위층은 "어느 성격으로 답할까"를 정해요.

MoE와 MoL은 뭐가 다른가요

마인드랩은 이 구조를 MoL(Mixture-of-LoRA, 로라 혼합)이라고 불러요. 이름이 MoE와 비슷해서 헷갈리기 쉬운데, 결정적 차이가 있어요.

MoE의 전문가는 사전학습 단계에서 저절로 생겨나요. 누가 "너는 수학 담당"이라고 지정한 게 아니라, 훈련 과정에서 자연스럽게 역할이 갈린 거예요. 그래서 각 전문가가 정확히 뭘 담당하는지 사람이 알기 어려워요.

MoL의 전문가는 사람이 목적을 정하고 따로 훈련시킨 거예요. 챗, 에이전트, 코딩, UI라는 이름이 붙어 있는 이유예요. 해석 가능하고, 개별 교체나 개선도 가능해요.

학계에서도 이 방향의 연구가 활발해요. 병렬 저랭크 어댑터를 백본 층에 주입해 작업별 라우팅과 지식 공유를 가능하게 하는 접근이 여러 갈래로 탐색되고 있어요. 마카롱은 그 아이디어를 프런티어급 규모에서 실제로 굴려본 사례예요.

두 갈래 방식: 정적 병합 vs 동적 앙상블

MoL 계열에는 크게 두 가지 방식이 있어요. 이 구분을 알면 마카롱의 선택이 더 잘 보여요.

정적 파라미터 병합(static parameter merging)은 추론 전에 어댑터들을 하나의 파라미터 뭉치로 합쳐버려요. 실행 속도가 가장 빠르지만, 한 번 합치면 상황에 따라 다르게 쓸 수 없어요.

동적 출력 앙상블(dynamic output ensembling)은 추론 중에 라우터가 여러 로라 전문가를 활성화하고 결과를 종합해요. 유연하지만 오버헤드가 있어요.

마카롱은 라우터가 온디맨드로 활성화하는 구조이니 두 번째에 가까워요. 속도를 조금 내주고 작업별 맞춤성을 택한 거예요.

강화학습이 들어간 지점

한 가지 더 짚을 게 있어요. 마카롱의 로라 어댑터들은 단순 지도학습으로만 만들어진 게 아니에요. 강화학습(RL)이 쓰였어요.

핵심 파라미터의 약 0.5%를 로라로 미세조정하는 데 강화학습을 적용했어요. 이 조합이 의미가 있어요.

지도학습은 "이런 질문엔 이렇게 답해"라는 정답 예시를 따라 배우는 방식이에요. 반면 강화학습은 "여러 시도를 해보고 결과가 좋았던 방향으로 조정"하는 방식이에요. 에이전트나 코딩처럼 정답이 하나로 정해지지 않고 결과로 평가되는 작업에서 특히 잘 들어요. 코드가 컴파일되고 테스트를 통과했는지가 명확한 보상 신호가 되거든요.

그러니까 이 구조는 이렇게 읽혀요. 거대한 지식은 기반 모델에서 빌려오고, 실전에서 잘 굴러가게 만드는 요령은 강화학습으로 얇게 얹는다.

컨텍스트를 200만 토큰으로 늘렸어요

또 하나 눈에 띄는 게 200만 토큰 컨텍스트 확장이에요. GLM-5.2의 100만 토큰에서 두 배로 늘린 거예요.

컨텍스트 확장은 원래 어려운 작업이에요. 모델이 위치 정보를 다루는 방식을 조정해야 하고, 잘못하면 긴 문맥에서 성능이 무너지거든요. 이걸 로라 수준의 가벼운 조정으로 해냈다면 그 자체로 의미가 있어요.

실용적 의미도 커요. 200만 토큰이면 중간 규모 소프트웨어 프로젝트의 코드베이스 상당 부분을 한 번에 넣을 수 있어요. 에이전트와 코딩 전문가를 따로 둔 설계와 잘 맞물리는 스펙이에요.

실제 사례 1: GPU 64장이라는 숫자의 무게

이제 실제 수치들을 볼게요. 가장 화제가 된 건 역시 GPU 64장이에요.

감을 잡아볼게요. 프런티어급 모델을 밑바닥부터 사전학습하려면 통상 수천에서 수만 장의 GPU를 수개월간 돌려야 해요. 이 규모의 인프라를 갖춘 곳은 전 세계에 손에 꼽아요.

64장은 완전히 다른 이야기예요. 잘 자금을 받은 스타트업, 규모 있는 대학 연구실, 심지어 여유 있는 개인 팀도 접근 가능한 범위예요. 클라우드에서 빌리는 것도 현실적이고요.

그러니까 이 숫자가 말하는 건 성능 자체가 아니에요. 참가 자격이에요. "프런티어 모델 개선에 기여하려면 수만 장이 필요하다"는 전제가 흔들린 거예요.

실제 사례 2: 벤치마크 성적표 다섯 종목

마인드랩이 제시한 결과를 볼게요. 마카롱-V1은 다음 다섯 벤치마크에서 비교 대상들을 앞섰다고 발표됐어요.

ChatBench — 대화 품질
LivingBench — 실생활 맥락의 작업 수행
PinchBench — 까다로운 상황 처리
TerminalBench 2.1 — 터미널 환경에서의 실제 작업 수행
UI4ABench — UI 생성 능력

이 목록에서 읽어야 할 게 있어요. 다섯 종목이 정확히 네 전문가의 담당 영역과 겹쳐요. ChatBench는 챗, TerminalBench는 에이전트와 코딩, UI4ABench는 GenUI에 대응돼요.

이건 강점이면서 동시에 조심해서 읽어야 할 지점이에요. 특정 능력을 목표로 훈련하고 그 능력을 재는 벤치마크에서 이겼다는 건, 설계 의도대로 됐다는 확인이지 만능이라는 증명은 아니거든요. 이 부분은 뒤에서 다시 짚을게요.

실제 사례 3: 허깅페이스에 올라온 실제 모델들

발표만 있는 게 아니라 실물이 있어요. 허깅페이스에서 확인할 수 있는 모델이 최소 두 개예요.

mindlab-research/Macaron-V1-Venti — 플래그십 7480억 모델
mindlab-research/Macaron-V1-Coding-Venti — 코딩 특화 변종

'벤티(Venti)'라는 이름이 재미있어요. 커피 체인의 가장 큰 사이즈 이름이잖아요. 모델 이름이 마카롱인 것과 함께 보면, 디저트 카페 테마로 라인업을 짜고 있는 것 같아요. 벤티가 최대 사이즈라면 그보다 작은 변종들도 예정돼 있다는 뜻으로 읽혀요.

그리고 vLLM 레시피 페이지에 실행 방법이 정리돼 있다는 건, 추론 서빙까지 고려해서 공개했다는 뜻이에요. vLLM은 대형 모델을 효율적으로 서비스하기 위해 널리 쓰이는 추론 엔진이거든요.

실제 사례 4: 코딩 특화 변종을 따로 낸 이유

Coding-Venti를 별도로 공개한 게 실용적 관점에서 흥미로워요.

이유를 짐작해 보면 이래요. 코딩 작업만 하는 팀에게는 챗·에이전트·GenUI 전문가가 대부분 놀고 있는 부담이에요. 로드해야 할 가중치는 늘고, 라우터가 잘못 판단할 여지도 생겨요.

코딩 전용 변종은 이 문제를 없애줘요. 그리고 이게 바로 모듈형 구조의 장점이에요. 전문가가 분리된 부품이니까, 목적에 맞게 골라 담은 버전을 만드는 게 쉬워요. 통짜로 훈련한 모델에서는 이런 재조합이 불가능해요.

'지속 학습'이라는 프레이밍

마인드랩이 마카롱을 소개할 때 쓴 표현 가운데 지속 학습(continual learning)이 있어요. 이 단어 선택이 중요해요.

지속 학습은 모델이 한 번 훈련되고 끝나는 게 아니라, 계속 새로운 능력을 배워 나가는 것을 뜻해요. 그런데 여기엔 오래된 난제가 있어요. 파국적 망각(catastrophic forgetting)이에요. 새로운 걸 배우면 예전에 알던 걸 잊어버리는 현상이죠.

로라 구조는 이 문제에 자연스러운 답을 줘요. 기반 모델을 얼려놓으니까 원래 능력이 훼손될 수 없어요. 새 능력은 새 어댑터에 담기고, 기존 어댑터는 그대로 남아요. 능력을 추가하는 게 덮어쓰기가 아니라 덧붙이기가 되는 거예요.

이 관점에서 보면 마카롱은 "GLM-5.2보다 좋은 모델"이라기보다 "모델에 능력을 계속 붙여 나가는 방법의 실증"에 가까워요.

어두운 벌판에 퍼진 수많은 시도 경로 중 목표에 닿은 하나만 밝게 빛나는 장면

이 접근의 진짜 의미 — 후처리가 새 경쟁 무대가 돼요

한 걸음 물러나서 보면 산업 구조에 관한 이야기가 보여요.

지금까지 AI 모델 경쟁은 사실상 사전학습(pre-training) 경쟁이었어요. 더 많은 데이터, 더 많은 GPU, 더 큰 파라미터. 자본 규모가 곧 순위였고, 참가자는 극소수였어요.

마카롱이 보여준 건 다른 무대예요. 사전학습은 오픈 모델에서 가져오고, 사후 학습에서 승부를 보는 것이요. 이 무대의 진입 비용은 GPU 64장 수준이에요.

여기서 중요한 전제가 하나 있어요. GLM-5.2가 MIT 라이선스로 열려 있었다는 것. 강력한 오픈 가중치 모델이 존재하기 때문에 이 무대가 열린 거예요. 오픈 모델의 진짜 가치가 이런 식으로 드러나는 셈이에요. 직접 쓰는 것보다, 그 위에 무언가를 쌓을 수 있게 해준다는 점에서요.

어제의 큐원3.8-맥스와 나란히 놓고 보면

바로 어제 다뤘던 알리바바의 큐원3.8-맥스(Qwen3.8-Max)와 비교하면 대비가 선명해요.

큐원3.8-맥스는 2조 4천억 파라미터였어요. 사전학습 규모로 밀어붙이는 정통 노선이에요. 마카롱은 7480억 중 40억만 훈련했고요. 방향이 정반대예요.

둘 중 뭐가 맞는 길일까요? 아마 둘 다예요. 사전학습으로 만들어진 기반 모델이 있어야 사후 학습이 성립하니까요. 두 노선은 경쟁 관계라기보다 층위가 다른 협력 관계에 가까워요.

다만 참가자 수는 완전히 달라요. 2조 4천억을 사전학습할 수 있는 곳은 열 곳도 안 되지만, 64장으로 어댑터를 훈련할 수 있는 곳은 수천 곳이에요. 앞으로 몇 년간 혁신의 밀도가 어느 층에서 높을지는 생각해 볼 문제예요.

학계 흐름과의 연결 — 라우팅 기반 로라 연구들

마카롱이 갑자기 튀어나온 아이디어는 아니에요. 학계에서 비슷한 방향이 꾸준히 연구돼 왔어요.

대표적인 게 라우팅 기반 로라 미세조정이에요. MoE 모델에서 전문가별 라우팅 빈도가 매우 치우쳐 있다는 관찰에서 출발한 접근이에요. 소수의 전문가가 대부분의 토큰을 처리하거든요. 그래서 모든 전문가가 아니라 가장 많이 호출되는 전문가에만 로라를 적용하는 방법이 제안됐어요.

결과가 인상적이에요. 전체에 적용한 것과 성능은 비슷하면서 학습 파라미터를 70~73% 줄이고, 실제 학습 시간을 최대 절반으로 단축했다고 보고됐어요.

이런 연구들이 공통으로 말하는 게 있어요. 모델의 모든 부분이 똑같이 중요하지는 않다는 것. 어디를 건드릴지 잘 고르면 훨씬 적은 비용으로 같은 효과를 낼 수 있다는 거예요. 마카롱이 실전에서 보여준 것도 결국 같은 이야기예요.

주의할 점과 열린 질문

흥미로운 결과지만 조심해서 읽어야 할 지점들이 있어요.

벤치마크의 자기 참조성. 앞서 짚었듯이, 목표로 삼은 능력을 재는 벤치마크에서 이긴 거예요. 훈련하지 않은 영역에서는 어떨지, 특히 원본 GLM-5.2가 잘하던 것 중 손해 본 게 없는지는 독립적인 검증이 필요해요.

라우터의 판단 실수. 요청이 전문가 경계에 걸치면 어떻게 될까요? "이 코드를 UI로 만들어서 설명해줘" 같은 요청이요. 라우터가 잘못 고르면 성능이 떨어질 수 있어요.

기반 모델 의존성. GLM-5.2에 문제가 발견되면 그 위에 얹힌 모든 것이 영향을 받아요. 남의 토대 위에 짓는 구조의 필연적 위험이에요.

서빙 복잡도. 어댑터를 동적으로 전환하는 구조는 단일 모델보다 운영이 까다로워요. vLLM 레시피가 나온 게 이 부담을 낮추려는 시도로 보이지만, 실전 안정성은 써봐야 알 수 있어요.

어두운 바닥에서 솟아오른 다섯 개의 빛 막대 중 하나가 특히 높은 그래프

실무자가 지금 해볼 수 있는 것

이 소식에서 실제로 가져갈 만한 걸 정리하면 이래요.

모델을 직접 만드는 팀이라면, 사전학습부터 시작하는 게 유일한 길이 아니라는 사례를 하나 얻은 거예요. 강력한 오픈 가중치 모델 위에 도메인 특화 어댑터를 얹는 접근이 프런티어 규모에서도 통한다는 증거니까요.

모델을 가져다 쓰는 팀이라면, 허깅페이스에서 실제로 받아 돌려볼 수 있어요. 특히 코딩 특화 변종은 용도가 명확해서 비교 평가하기 좋아요.

어느 쪽도 아니라면, 이 흐름 자체를 기억해 두시면 좋아요. 앞으로 "누가 더 큰 모델을 만들었나"보다 "누가 기존 모델을 더 잘 다듬었나"가 자주 뉴스가 될 거예요.

핵심 정리

오늘 내용을 정리할게요.

무슨 모델인가: 마인드랩의 마카롱-V1. 총 7480억 파라미터인데, 7440억은 GLM-5.2에서 가져오고 40억만 새로 훈련했어요.
기반 모델: 즈푸 AI의 GLM-5.2. 2026년 6월 13일 공개, MIT 라이선스, 7440억 총/400억 활성 MoE 구조, 100만 토큰 컨텍스트, 인덱스셰어 희소 어텐션.
구조: 챗·에이전트·코딩·GenUI 네 개의 10억 파라미터 로라 전문가를 얹고, 라우터가 필요에 따라 활성화하는 MoL(로라 혼합) 방식이에요.
학습 방법: 핵심 파라미터의 약 0.5%를 로라로 미세조정하되 강화학습을 적용했어요. GPU 64장으로 훈련했어요.
추가 성과: 컨텍스트를 200만 토큰으로 확장했어요.
성적: ChatBench, LivingBench, PinchBench, TerminalBench 2.1, UI4ABench에서 비교 대상들을 앞섰다고 발표됐어요.
공개 범위: 허깅페이스에 Macaron-V1-Venti와 Macaron-V1-Coding-Venti가 올라가 있고, vLLM 실행 레시피도 있어요.
의미: 프런티어급 모델 개선의 진입 비용이 수만 장에서 수십 장 규모로 내려왔어요. 오픈 가중치 모델이 존재해야 성립하는 구조라는 점도 중요해요.
주의: 벤치마크가 훈련 목표와 겹친다는 점, 라우터 오판 가능성, 기반 모델 의존성, 서빙 복잡도는 별도 검증이 필요해요.

여러분은 어느 쪽이 더 흥미로우세요?

요즘 모델 뉴스를 보면 두 갈래가 뚜렷해요. 한쪽은 "2조 4천억 파라미터"처럼 규모로 밀어붙이는 소식이고, 다른 쪽은 오늘 본 마카롱처럼 "적게 쓰고 잘하기"를 보여주는 소식이에요.

어느 쪽 뉴스가 더 흥미로우세요? 그리고 실제로 모델을 쓰시는 분이라면, 범용 모델 하나를 쓰시나요 아니면 용도별로 갈아 끼우시나요? 로라 어댑터를 직접 학습시켜 보신 경험이 있다면 그 이야기도 궁금해요.

댓글로 나눠 주시면 다음 글 주제로 이어가 볼게요. 로라를 직접 만들어 보는 실습 편도 반응 보고 준비해 볼게요.

출처

MindLab, "Introducing Macaron-V1" — https://macaron.im/mindlab/research/introducing-macaron-v1
KrASIA, "Mind Lab puts continual learning to the test with Macaron-V1" — https://kr-asia.com/mind-lab-puts-continual-learning-to-the-test-with-macaron-v1
Pandaily, "Macaron-V1: MindLab Mixture-of-LoRA Post-Training Pushes Trillion-Parameter Models With 64 GPUs" — https://pandaily.com/mindlab-macaron-v1-glm-52-rl-jul2026
Hugging Face, mindlab-research/Macaron-V1-Venti — https://huggingface.co/mindlab-research/Macaron-V1-Venti
Hugging Face, mindlab-research/Macaron-V1-Coding-Venti — https://huggingface.co/mindlab-research/Macaron-V1-Coding-Venti
vLLM Recipes, mindlab-research/Macaron-V1-Coding-Venti — https://recipes.vllm.ai/mindlab-research/Macaron-V1-Coding-Venti
AGI Hunt, "MindLab open-sources Macaron-V1, a GLM-5.2 family built on continual learning" — https://agihunt.info/en/p/19f925a4334ed6768d13c2044de
Eigent AI, "GLM-5.2: Zhipu AI's 1M-Token Open-Weight Coding Model" — https://www.eigent.ai/blog/glm-5-2
DataNorth, "Zhipu AI releases GLM-5.2 open-weight AI model" — https://datanorth.ai/news/zhipu-ai-releases-glm-5-2
Trending Topics, "GLM-5.2: China's Zhipu AI Beats Even Google's Top Models With Its New Open LLM" — https://www.trendingtopics.eu/glm-5-2-chinas-zhipu-ai-beats-even-googles-top-models-with-its-new-open-llm/
arXiv, "MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning" — https://arxiv.org/abs/2603.24044
arXiv, "MoE²-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation" — https://arxiv.org/abs/2607.21978
ACM, "TT-LoRA MoE: Using Parameter-Efficient Fine-Tuning and Sparse Mixture-Of-Experts" — https://dl.acm.org/doi/10.1145/3712285.3759888