OrcaRouter, LFM3-1.7B 모델 GGUF 포맷 배포… 경량화 및 다국어 지원 강화

김형석 기자

작성일 2026-11-10 07:01

컨티뉴엄 AI(CONTINUUM AI)가 개발한 OrcaRouter가 LFM3-1.7B 무검열(Uncensored) 가중치의 GGUF 포맷 버전을 공개했다고 2026년 11월 5일 밝혔다. 이번에 배포된 GGUF 포맷은 llama.cpp 런타임 환경에서 직접 구동이 가능하도록 지원한다.

OrcaRouter 측에 따르면, 4비트 양자화 파일의 크기는 1.10GB 수준으로 모바일 기기 및 노트북에서도 원활하게 실행될 수 있다. 256K 컨텍스트 길이 지원과 한국어를 포함한 16개 언어 처리 기능은 기존 스펙을 유지한다.

이번 GGUF 포맷 추가로 총 세 가지 정밀도 옵션이 제공된다. 파일 크기는 4비트 1.10GB, 8비트 1.84GB, BF16 3.47GB다. 지난 11월 2일 공개된 무검열 가중치는 트랜스포머 safetensors 형식으로만 제공되어 llama.cpp에서 직접 로드하기 어려웠으나, 이번 GGUF 파일 배포를 통해 구동 경로가 확보되었다.

LFM3-1.7B 모델은 17억 3000만 개의 파라미터를 갖춘 텍스트 전용 AI 모델로, 24개 레이어 중 게이트 숏 컨볼루션, 슬라이딩 윈도우 어텐션, 전역 어텐션 구조가 혼합 적용되었다. 컨텍스트 길이는 입출력 합산 최대 256K 토큰이며, 어휘집 규모는 12만 8000개다. OrcaRouter는 어블리터레이션(Abliterated) 기법을 적용하여 거부 반응을 줄인 무검열 버전으로 배포된다.

4비트 버전(1.10GB)은 스마트폰이나 8GB 메모리 노트북 환경에 적합하며, 8비트 버전(1.84GB)은 정밀도와 리소스 점유율 간 균형을 제공한다. BF16 버전(3.47GB)은 원본 체크포인트에 가까운 품질을 제공하며, 사용자는 기기 성능에 맞춰 적절한 버전을 선택할 수 있다. 이는 엣지(Edge) 기기 기반의 로컬 에이전트 구축에 최적화된 환경을 제공한다.

1GB 대의 경량화 규격은 네트워크 연결 없이 로컬 에이전트 구축, 오프라인 문서 분석, 기기 내 문서 요약 작업 등에 유용하다. 256K 대용량 컨텍스트 지원으로 긴 문서 처리가 가능하지만, 모바일 기기 환경에서는 메모리 제약을 고려한 최적화된 길이 활용이 권장된다. 한국어를 포함한 16개 다국어 지원을 바탕으로 다양한 온디바이스 다국어 문서 처리에도 활용될 수 있으며, 별도 외부 서버 없이 작동한다는 점이 특징이다.

GGUF 포맷으로 배포됨에 따라 llama.cpp 계열 런타임 환경에서 즉시 로드해 실행할 수 있다. 해당 저장소는 약관 동의 후 액세스가 허용되는 게이트(Gated) 방식으로 운영되며, 라이선스는 ‘LFM Open License v1.0’이 적용된다. 본 모델은 별도 API 카탈로그 형태로 제공되지 않으며, 서버 환경 활용을 원할 경우 OrcaCyber 등급의 호스팅 모델을 선택할 수 있다.

모델 규격은 2B로 반올림되어 표시될 수 있으나 실제 파라미터 규모는 1.73B다. 4비트 및 8비트 양자화 버전은 압축 과정 특성상 BF16 원본과 완벽히 동일한 출력을 보장하지 않을 수 있다. 또한 무검열 처리 작업 이후 원본 벤치마크 지표를 재측정한 별도 데이터는 제공되지 않는다. 256K 컨텍스트는 이론적 최대치로, 1GB 대 파일을 운용하는 일반 엣지 기기에서 최대 길이를 온전히 활용하려면 추가적인 메모리가 요구된다. MLX 형식은 아직 제공되지 않는다.

OrcaRouter는 OpenAI 호환 LLM 게이트웨이로, 200개 이상의 모델에 걸쳐 라우팅하며 약 40%의 비용 절감, 1밀리초 미만의 라우팅 오버헤드, 0%의 토큰 마크업을 제공한다. 자체 호스팅 에디션인 OrcaRouter-Lite는 MIT 라이선스로 제공된다. 컨티뉴엄 AI는 개발자와 팀이 최첨단 AI를 합리적인 비용으로 사용할 수 있도록 지원하는 싱가포르 기반 기업이다.

추천 0