AI 뉴스 SVIL Musubi PolicyLM-1.7B

Musubi PolicyLM-1.7B 공개 — 정책 문장으로 메시지를 분류하는 오픈 모델

SVIL - Singularity Visual Intelligence Lab 2026. 10. 07 17 min read

Musubi는 2026년 10월 6일 PolicyLM-1.7B의 공개 가중치를 공개했습니다. 이 모델은 문장 생성 대신 각 메시지를 주어진 정책 범주별 점수로 분류하는 콘텐츠 조정용 판단 모델입니다.

일반 분류기는 학습 때 정한 범주에 맞춰 빠르게 작동하지만, 서비스마다 다른 규칙을 그대로 읽지는 못합니다. 규칙을 바꾸면 새 데이터를 모아 재학습하거나 공급자의 분류표에 맞춰야 하는 경우가 생깁니다.

PolicyLM-1.7B 공개 — 정책 문장을 읽는 17억 매개변수 조정 모델

발표의 핵심은 거대한 대화형 모델을 줄이는 데만 있지 않습니다. 서비스 운영자가 정의한 규칙을 메시지와 함께 넣고, 매 메시지마다 즉시 점수를 받도록 설계했다는 점입니다.

고정 분류기의 한계를 겨냥한 설계

Musubi는 이 간극을 운영팀의 정책 문장을 입력으로 받는 방식으로 좁히려 합니다. 이는 기존 분류기를 모두 대체한다는 뜻이 아니라, 정책 변경이 잦은 실시간 분류 상황을 겨냥한 제안입니다.

운영 정책을 입력으로 함께 읽습니다

운영자는 메시지와 함께 분류 범주와 짧은 규칙을 전달할 수 있습니다. 모델은 각 범주에 대해 0에서 1 사이의 점수를 반환하며, 한 번에 여러 범주를 함께 평가합니다.

이 방식은 결과를 사람이 읽는 긴 설명 대신 기계가 다음 단계에 전달하기 쉬운 점수로 제한합니다. 사유 설명이 필요한 이의 제기나 제재 판정에는 별도의 검토 절차가 여전히 필요합니다.

규칙 변경 때 재학습을 요구하지 않는 구조

Musubi는 규칙 문장을 바꿀 때 모델을 다시 학습할 필요가 없다고 설명합니다. 범주 이름과 조건을 추론 시점에 전달하기 때문에 정책팀이 문구를 다듬고 표본을 재평가하는 반복 주기를 짧게 만들 수 있습니다.

모델 가중치 자체가 정책에 따라 변하는 것은 아닙니다. 정책 문장이 점수에 영향을 주더라도 모델이 학습한 범주의 의미를 완전히 뒤집거나 임의의 의미로 재정의할 수 있는 방식은 아니라고 제작사는 선을 긋습니다.

짧은 대화에서 공개된 지연 시간 수치

제작사와 모델 카드가 제시한 수치는 24GB NVIDIA L4에서 짧은 채팅 메시지와 최대 여섯 범주를 처리할 때 중앙값 35밀리초입니다. H100에서는 같은 범주 설정의 중앙값 22밀리초가 제시됐습니다.

이는 특정 장비와 짧은 메시지 조건의 벤치마크입니다. 실제 서비스의 정책 길이, 배치 크기, 동시 요청, 하드웨어 구성에 따라 지연 시간과 비용은 달라질 수 있어 자체 트래픽 측정이 필요합니다.

범주별 점수와 임계값을 조정합니다

PolicyLM은 범주별 점수와 함께 precision 및 balanced 컷오프 설정을 제공합니다. 위반이 드문 실시간 대화에서는 오탐을 줄이는 설정을 출발점으로 삼고, 검토 대기열에서는 더 많은 사례를 포착하도록 조정할 수 있습니다.

어떤 설정이 적절한지는 서비스가 놓친 위반과 잘못 막은 정상 메시지 중 어느 비용을 더 크게 보는지에 달려 있습니다. 제작사의 기본값을 그대로 적용하기보다 라벨이 붙은 자체 표본에서 임계값을 검증해야 합니다.

기본 Aegis 분류표는 23개 범주입니다

사용자는 직접 정책을 입력하는 방식 외에 NVIDIA Aegis 2.0을 바탕으로 한 23개 기본 범주를 사용할 수 있습니다. 폭력, 사기, 괴롭힘, 개인정보 등 여러 안전 범주를 한 번의 평가 흐름에서 살펴봅니다.

기본 분류표는 빠른 시작점이지 모든 커뮤니티의 규칙을 대신하는 정답표는 아닙니다. 서비스의 운영 원칙과 법적·문화적 맥락에 맞춰 범주를 검토하고 예외 규칙을 설계해야 합니다.

한 번에 최대 16개 사용자 범주를 처리합니다

모델 카드에 따르면 사용자 정의 정책은 한 번에 최대 16개 범주를 받을 수 있고, 여러 범주의 점수를 한 번에 반환합니다. 이는 특정 메시지가 여러 규칙에 동시에 걸릴 수 있는 운영 흐름에 유용할 수 있습니다.

범주 수를 많이 늘리는 것이 항상 좋은 결과를 뜻하지는 않습니다. 제작사는 서로 겹치거나 매우 많은 범주를 한 호출에 넣거나 긴 문장을 처리할 때 정상 콘텐츠가 잘못 표시될 수 있다고 안내합니다.

19개 언어 평가, 영어 정책 중심의 한계

Musubi는 19개 언어의 메시지로 모델을 평가했으며 영어에서 가장 강했다고 밝혔습니다. 다만 사용자 정의 정책 자체는 영어로 작성된 조건에서만 시험됐다고 모델 카드에 적혀 있습니다.

따라서 다국어 지원을 곧바로 한국어 서비스의 검증 완료로 해석하면 안 됩니다. 한국어 속어, 혼합 언어, 커뮤니티별 표현을 포함한 자체 평가 세트를 만들어 탐지율과 오탐을 별도로 확인해야 합니다.

Apache 2.0 공개 가중치로 자체 실행 가능

가중치는 Apache 2.0 라이선스로 공개됐고, 모델 카드에는 오프라인 실행과 자체 인프라 활용이 안내돼 있습니다. 제작사 설명상 노트북 CPU와 Apple Silicon에서도 실행할 수 있으며, 24GB급 GPU도 대상 환경으로 제시됩니다.

공개 가중치는 실행 자유도를 높이지만 운영 책임까지 없애 주지는 않습니다. 배포 전에 모델 파일과 코드의 라이선스, 데이터 취급, 업데이트 절차, 장애 대응 체계를 조직 기준에 맞춰 확인해야 합니다.

안전 데이터와 합성 데이터를 조합했습니다

Musubi는 NVIDIA Nemotron Safety Guard Dataset v3, Alibaba XGuard-Train-Open-200K, PolyGuardMix 같은 공개 안전 데이터와 합성·LLM 작성 데이터를 학습에 사용했다고 밝혔습니다.

데이터 구성이 알려져 있어도 모델의 모든 편향이나 학습 영향이 설명되는 것은 아닙니다. 데이터셋 라이선스와 출처를 확인하고, 실제 서비스 언어·이용자 집단에서 성능을 다시 측정하는 일이 필요합니다.

BidirLM 기반 인코더에서 출발했습니다

모델 카드는 PolicyLM이 BidirLM-1.7B-Embedding에서 출발했고, 이 기반 모델이 Qwen3-1.7B-Base에서 파생됐다고 설명합니다. 이 계열은 문장을 이어 쓰기보다 주어진 입력을 점수화하는 분류 흐름에 맞춰져 있습니다.

이 구조는 결과를 정해진 범주의 점수로 제한해 빠른 판단을 제공하는 데 초점을 둡니다. 반면 복잡한 대화 맥락을 길게 추론하거나 판단 이유를 자연어로 설명하는 역할은 별도 모델과 절차가 더 적합할 수 있습니다.

제작사 자체 정책 벤치마크의 결과

Musubi의 커스텀 정책 벤치마크에서 PolicyLM-1.7B는 0.842 정확도를 기록했다고 모델 카드가 공개했습니다. 비교표에는 20B 미만으로 시험한 여러 모델보다 높은 결과가 제시됐습니다.

이 수치는 제작사 실험 결과이며, 공개 글은 평가 데이터 대부분이 개발 중 사용됐다고 밝힙니다. 독립 재현이나 각 서비스의 분포에서 같은 성능을 보장하지 않으므로 홍보 수치를 운영 성능과 동일시할 수 없습니다.

공개 벤치마크마다 결과가 달랐습니다

모델 카드의 다섯 공개 안전 벤치마크 표에서는 PolicyLM이 모든 지표에서 가장 높은 점수를 얻지는 않았습니다. 일부 항목에서는 다른 비교 모델이 앞섰고, 데이터셋과 분류 체계에 따라 순위가 달랐습니다.

하나의 종합 점수만으로 모델 선택을 끝내기 어려운 이유입니다. 서비스에서 중요한 오류 유형, 정책 문구, 언어, 메시지 길이를 기준으로 평가를 따로 구성해야 합니다.

문턱값은 현장 데이터로 보정해야 합니다

모델 출력은 확정 판결이 아니라 범주별 점수입니다. 운영자는 라벨이 붙은 표본에서 임계값별 오탐과 누락을 비교해 자동 차단, 추가 검토, 통과 같은 다음 단계를 설계할 수 있습니다.

특히 위반이 드문 환경에서는 높은 점수도 정상 메시지일 수 있습니다. 자동 제재보다 보류 큐와 사람 검토를 먼저 연결해 실제 오류 비용을 측정하는 것이 안전한 도입 순서입니다.

대화 이력 없이 메시지 하나씩 분류합니다

공개 모델은 텍스트 메시지 하나를 단위로 처리하며 대화 이력을 함께 읽는 기능은 현재 범위 밖입니다. 같은 문장도 앞뒤 대화, 인용, 신고 목적에 따라 의미가 달라질 수 있습니다.

맥락 의존성이 큰 서비스는 대화 문맥을 조립하는 상위 시스템이나 사람 검토를 함께 설계해야 합니다. 문장 단위 결과만으로 반복 괴롭힘이나 대화 전체의 흐름을 판정하기에는 한계가 있습니다.

실시간 채팅과 댓글이 우선 사용 사례입니다

제작사가 제시한 예시는 라이브 채팅, 게임 로비, 다이렉트 메시지, 사용자 이름처럼 대화가 계속되는 동안 빠른 분류가 필요한 표면입니다.

이런 영역에서는 점수 응답을 곧바로 제재로 연결하기보다, 위험 점수에 따라 노출 완화·검토 요청·사람 확인으로 나누는 정책을 정하는 편이 운영 부담을 줄일 수 있습니다.

점수는 제재 사유를 대신하지 않습니다

PolicyLM은 범주 점수는 반환하지만 자연어 설명이나 이유를 제공하지 않습니다. 이의 제기, 계정 정지, 콘텐츠 삭제처럼 설명 책임이 필요한 조치는 별도의 증거 보존과 검토를 요구합니다.

그러므로 이 모델은 분류·정렬·우선순위 지정에 두고, 사용자에게 통지할 사유는 명시된 정책과 검토 기록을 바탕으로 별도 생성해야 합니다. 점수 하나만으로 제재 문구를 만들어서는 안 됩니다.

아동 안전 집행용으로는 범위 밖입니다

모델 카드가 명시한 범위 밖 항목에는 아동 안전 집행이 포함됩니다. 의심 콘텐츠는 전용 도구와 절차로 보내야 하며, PolicyLM 하나를 자해 예방의 유일한 보호 장치나 보안 경계로 써서는 안 됩니다.

이 제한은 도입 전 라우팅 설계에 반영해야 합니다. 위험 유형별 전용 분류기, 전문 담당자, 법정 신고 절차와 연계되는 경로를 준비하고 운영 중에도 누락 여부를 점검해야 합니다.

적대적 입력에 대한 보안 경계가 아닙니다

모델 카드는 난독화된 표현이나 적대적 사용자를 상대로 한 보안 경계로 이 모델을 간주하지 말라고 경고합니다. 문자 변형을 정리하는 기능이 있어도 모든 우회 표현을 막는다는 보장은 없습니다.

공격자와 스팸 계정이 대응을 바꾸는 환경에서는 별도 속도 제한, 탐지 규칙, 사람 검토, 정책 업데이트 체계가 함께 필요합니다. 모델 점수를 단독 방어선으로 세우지 않는 것이 핵심입니다.

정책과 데이터는 운영자가 직접 관리해야 합니다

공개 가중치를 자체 인프라에서 돌리면 데이터가 외부 API를 거치지 않도록 구성할 선택지가 생깁니다. 다만 실제 데이터 경로와 로그 저장 위치는 배포 방식에 따라 달라집니다.

조직은 메시지 보존 기간, 접근 권한, 모델 로그의 민감정보 마스킹, 평가 데이터의 반출 여부를 정해야 합니다. 오프라인 실행 가능성만으로 개인정보 처리 위험이 자동 해결되는 것은 아닙니다.

ROOST Model Community에 합류했습니다

Musubi는 모델 공개와 함께 PolicyLM이 ROOST Model Community의 일부가 됐다고 발표했습니다. ROOST와 함께 안전 모델을 선택하고 라우팅하는 공개 가이드도 소개했습니다.

커뮤니티 참여는 공유와 비교를 촉진할 수 있지만 특정 모델의 독립 인증을 의미하지는 않습니다. 가이드가 제시하는 평가·비용·속도·정책 변경 용이성을 각 팀이 직접 검증해야 합니다.

도입 전 확인할 항목

자체 표본에서 언어별 오탐·누락을 측정하고, 메시지 길이와 동시 요청량에 따른 지연 시간을 확인해야 합니다. 정책별 임계값, 검토 경로, 로그 보존과 롤백 절차도 출시 전에 정리해야 합니다.

시험 결과가 충분하지 않다면 자동 제재 대신 사람 검토용 우선순위 분류로 제한할 수 있습니다. 샘플 운영 기간을 두고 오류를 수집한 뒤 적용 범위를 넓히는 접근이 현실적입니다.

작은 판단 모델이 바꾸려는 운영 단위

PolicyLM-1.7B의 제안은 모든 안전 판단을 하나의 거대 모델에 맡기기보다, 메시지 단위의 반복 분류를 작고 빠른 모델에 나누는 것입니다. 이는 비용·속도와 정책 유연성 사이의 새로운 선택지를 제공합니다.

실제 가치는 숫자 크기가 아니라 해당 커뮤니티의 정책과 데이터에서 얼마나 안정적으로 작동하는지로 결정됩니다. 공개 모델을 내려받아 자체 평가를 먼저 하고, 중요 제재는 사람 검토와 분리해 설계하는 것이 결론입니다.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/