GPU 64장으로 7440억 파라미터를 이겼어요 — 마카롱-V1의 '로라 전문가' 구조 총정리
마인드랩이 GLM-5.2 위에 10억짜리 로라 전문가 네 개를 얹어 마카롱-V1을 만들었어요. 총 7480억 중 훈련한 건 40억, GPU는 64장. 로라와 MoL 구조를 비유로 쉽게 풀었어요.
마인드랩이 GLM-5.2 위에 10억짜리 로라 전문가 네 개를 얹어 마카롱-V1을 만들었어요. 총 7480억 중 훈련한 건 40억, GPU는 64장. 로라와 MoL 구조를 비유로 쉽게 풀었어요.