AI 뉴스 SVIL Black Forest Labs FLUX 3 Action LeRobot

Black Forest Labs FLUX 3 Action 공개 — 그림을 예측하던 모델이 로봇의 행동을 배웁니다

SVIL - Singularity Visual Intelligence Lab 2026. 09. 24 12 min read

영상 속 다음 장면을 그리는 AI가 로봇의 다음 움직임도 예측한다면 무엇이 달라질까요. Black Forest Labs가 공개한 FLUX 3 Action은 그 연결을 실제 가중치와 실행 코드로 확인할 수 있게 한 발표입니다.

2026년 9월24일 확인한 공식 자료를 기준으로 정리했습니다. 발표 수치와 공개 시연은 개발사의 결과이며, 아래 적용 예시와 평가 제안은 이를 바탕으로 한 SVIL의 해석입니다. 삽화는 개념 이미지입니다.

FLUX가 로봇의 다음 움직임으로 갑니다

9월23일 BFL 연구진은 7B 규모의 FLUX 3 Action을 소개했습니다. 카메라 관측과 지시를 받아 행동을 예측하는 모델입니다. 이미지 생성 도구에서 익숙했던 이름이 물리적 동작으로 확장된 셈입니다. 다만 그림 생성 모델에 로봇을 바로 연결하는 제품이라는 뜻은 아닙니다. [1]

이번 공개에서 확인된 것

공식 컬렉션에는 기본 모델, SO-101용 정책, DROID용 정책이 함께 있습니다. 정책은 관측을 행동으로 바꾸는 모델을 뜻합니다. 발표문만 있는 상태와 달리, 어떤 파일을 받아 어느 기기에 맞출지 출발점이 나뉘어 있다는 점이 이번 공개의 실체입니다. [2]

영상과 행동을 함께 예측한다는 뜻

BFL의 연구 설명은 미래 영상과 행동을 함께 예측하는 WAM 방식을 채택했다고 밝힙니다. 해석하자면 로봇이 어디로 움직일지와 그 뒤 무엇이 보일지를 연결하려는 접근입니다. 예측된 장면이 그럴듯한지만으로는 부족하며, 실제 행동의 성공 여부가 최종 평가 대상입니다. [3]

보는 모델과 움직이는 모델의 차이

물체가 무엇인지 설명하는 답과 집게를 얼마나 움직일지 정하는 출력은 다릅니다. 전자는 언어로 고칠 수 있지만 후자는 좌표·단위·장치 제약과 연결됩니다. 이 차이를 생각하면, 시각 모델의 성능 향상이 곧바로 모든 로봇의 작업 성공률로 이어진다고 읽기는 어렵습니다.

7B라는 크기를 읽는 방법

기본 모델 카드는 7B 행동 모델과 공유 인코더 자산을 구분합니다. 따라서 7B만 보고 전체 메모리나 설치 용량을 단정할 수 없습니다. 실무에서는 모델 본체에 더해 입력 처리와 실행 중 임시 메모리까지 합산한 값이 중요합니다. [4]

공개 가중치와 완성 로봇의 거리

공개 저장소는 학습과 추론을 재현할 코드의 출발점을 제공합니다. 그 위에 특정 장치의 센서와 동작 범위를 연결하는 일은 별도의 통합 작업입니다. 모델 파일을 내려받았다는 사실과 물체를 안정적으로 집었다는 사실을 서로 다른 완료 조건으로 두는 편이 정확합니다. [5]

기본 모델과 로봇별 체크포인트

체크포인트는 학습된 가중치와 설정의 묶음입니다. 기본 모델에서 시작하는 실험과 이미 특정 로봇에 맞춰진 모델을 조정하는 실험은 출발선이 다릅니다. 결과를 비교할 때는 사용한 파일 이름까지 남겨야 같은 모델이라는 말에 숨은 차이를 줄일 수 있습니다. [2]

LeRobot 연동의 의미

LeRobot 문서는 추론과 LoRA 기반 적응 학습을 안내합니다. 또한 확인한 페이지는 소스 설치가 필요한 main 버전이라고 표시합니다. 일반 배포판을 설치한 환경에서 같은 명령이 바로 작동한다고 가정하기보다 문서 버전과 패키지 버전을 함께 맞출 필요가 있습니다. [6]

RoboLab 성적은 무엇을 재나요

RoboLab-120 공식 순위표에는 FLUX 3 Action의 전체 성공률이 42.92%로 기재돼 있습니다. 이는 해당 시뮬레이션 벤치마크의 결과입니다. 수치가 높아졌다는 사실과 가정이나 공장의 임의 작업을 같은 확률로 성공한다는 주장은 구분해야 합니다. [7]

성공률 숫자가 다른 이유

BFL 연구 페이지는 단일 단계·증류 설정별 성적과 전체 순위표를 따로 제시합니다. 그러므로 서로 다른 표의 숫자를 같은 조건의 반복 측정처럼 섞으면 안 됩니다. 기사 제목의 한 숫자보다 모델 변형, 정밀도, 평가 설정을 함께 읽어야 비교가 성립합니다. [3]

속도 배율의 기준을 분리합니다

연구진이 제시한 최대 3.95배 가속은 특정 비교 모델과 하드웨어·정밀도 조합에서의 결과입니다. 모든 GPU에서 일괄적으로 얻는 배율이 아닙니다. 같은 기기에서 같은 입력 길이를 처리한 측정인지 확인해야 자신의 장비에 대한 기대치를 세울 수 있습니다. [3]

한 번의 지연과 동작 시간의 차이

한 요청에 오래 걸리더라도 더 긴 동작 묶음을 내놓으면 동작 1초당 계산 비용은 낮을 수 있습니다. 반대로 물체가 갑자기 이동하는 상황에서는 첫 반응까지의 지연이 중요합니다. 평균 처리량과 즉각적인 반응성은 함께 기록해야 하는 서로 다른 지표입니다.

증류가 바꾸는 계산 비용

BFL은 유도 계산과 샘플링 단계를 줄인 변형을 설명합니다. 빨라진 변형에서도 성공률과 실패 양상을 함께 비교해야 이득을 판단할 수 있습니다. [3]

영상 사전학습을 로봇에 옮깁니다

연구는 영상 중심 사전학습을 행동 데이터와 연결합니다. 시각 경험이 동작 학습에 얼마나 도움이 되는지가 핵심 질문입니다. 실제 힘과 마찰을 정확히 안다는 보장은 아닙니다. [3]

카메라와 관절 좌표가 맞아야 합니다

LeRobot의 SO-101 안내는 카메라 이름·배치와 관절 순서·단위를 일치시키도록 설명합니다. 숫자 개수가 같아도 뜻이 다르면 입력은 잘못 연결될 수 있습니다. 이는 모델 성능과 별개인 통합 문제여서, 첫 실험에서는 입력의 의미부터 검증하는 것이 중요합니다. [6]

실제 공개 사례인 SO-101

연구진은 SO-101이 상자를 용기로 옮기는 영상을 공개했습니다. 해당 정책은 약 200개의 원격조작 에피소드로 적응시켰다고 설명하며, 일부 영상은 배속과 대기 구간 편집이 적용됐습니다. 공개 시연의 존재와 무편집 실시간 성능을 구분할 만한 사례입니다. [1]

연구용 DROID가 맡는 역할

DROID용 체크포인트는 공개돼 있지만, LeRobot 문서는 DROID의 PEFT 적응 학습 경로를 실험적이라고 표시합니다. 설정 로딩 확인과 종단간 학습 성능 검증도 구별합니다. 모델 공개 여부와 특정 학습 레시피의 검증 수준이 같지 않다는 중요한 경계입니다. [6]

빠른 제어와 느린 추론의 분업

연구는 빠른 행동 정책을 추론 모델과 결합하는 구성도 탐색합니다. SVIL의 해석으로는 모든 작은 움직임을 긴 추론에 맡기지 않고, 복잡한 판단이 필요한 순간과 반복 제어를 나누는 방향입니다. 다만 역할을 나눈다고 자동으로 최적 조합이 되는 것은 아닙니다. [3]

가상 사례로 보는 분류 작업

작은 부품을 두 통으로 나누는 작업을 가정해 보겠습니다. 무엇을 어디에 넣을지는 상위 계획이 정하고, 접근·집기·이동은 행동 정책이 수행할 수 있습니다. 이는 구조를 설명하기 위한 가상 사례이며, 이번 공개 모델이 특정 부품 공정에서 검증됐다는 뜻은 아닙니다.

실패를 기록하는 평가 설계

완료 횟수만 세면 집기 실패와 잘못된 분류가 한 숫자로 합쳐집니다. 관측 오류, 동작 오류, 지시 이해 오류를 나누면 다음 개선 지점이 선명해집니다. 같은 물체를 같은 위치에 놓는 반복뿐 아니라 조명·배치가 바뀐 조건을 따로 기록하는 평가가 유용합니다.

로컬 GPU 가능성과 미검증 경계

공개 코드는 로컬 실험의 가능성을 열어 주지만, 이 글에서는 특정 소비자 GPU의 실제 구동을 검증하지 않았습니다. 설치 성공, 메모리 수용, 요구 주기의 지속 달성은 별개의 문제입니다. 장비 구매 판단에는 목표 체크포인트의 실측이 추가로 필요합니다.

라이선스는 별도로 읽어야 합니다

가중치는 FLUX Kommunity License v1.0으로 제공됩니다. 공식 라이선스는 비상업 사용과 자격을 갖춘 사용자의 상업 사용 조건을 구분합니다. 공개 다운로드라는 사실만으로 모든 사업 목적의 사용이 동일하게 허용된다고 해석하면 안 됩니다. 구체적인 적용은 원문 조건의 확인 대상입니다. [8]

핵심 정리

이번 발표에서 가장 실용적인 변화는 행동 모델, 로봇별 가중치, 재현 경로를 함께 살펴볼 수 있다는 점입니다. 성적을 비교할 때는 평가 환경을, 실행을 검토할 때는 장치별 설정을 함께 보아야 합니다. 순위표와 실제 작업 사이를 메우는 과정이 여전히 남아 있습니다.

다음에 확인할 질문

후속 검증에서는 다른 연구팀의 재현, 낯선 물체에서의 실패, 장시간 실행 비용이 특히 궁금합니다. 독자 여러분은 작은 로봇이 어떤 작업부터 안정적으로 수행하면 가장 유용할 것 같으신가요. 그 구체적인 작업이 새로운 모델을 평가할 좋은 기준이 될 수 있습니다.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/