컨티뉴엄 AI, OrcaRouter 인프라 업그레이드로 첫 토큰 생성 시간 최대 45% 단축

김형석 기자

작성일 2026-11-04 18:02

싱가포르에 본사를 둔 컨티뉴엄 AI(CONTINUUM AI)는 자사 AI 모델 라우팅 플랫폼인 OrcaRouter의 전면적인 인프라 업그레이드를 완료했다고 2026년 11월 3일 밝혔다. 이번 업그레이드를 통해 첫 토큰 생성 시간(TTFT)이 최대 45% 단축되었으며, 대규모 프롬프트 처리 시 발생하던 타임아웃 오류가 수정되어 추론 속도와 안정성이 동시에 향상되었다.

OrcaRouter는 이번 업그레이드로 플랫폼 전반에 걸쳐 P50, P90, P99 구간의 TTFT를 최대 45% 단축했다. TTFT는 사용자 요청 후 첫 번째 토큰이 출력되기까지 걸리는 시간으로, P50은 중앙값, P90과 P99는 각각 상위 10%, 1%의 응답이 느린 '꼬리 구간'을 의미한다. 이 세 지표가 동시에 개선되었다는 것은 평균 속도 향상뿐만 아니라 느린 응답 구간까지 안정적으로 처리할 수 있게 되었음을 시사한다.

또한, 대용량 요청 처리 시 발생하던 타임아웃 문제를 해결하고, 긴 프롬프트 입력 시 짧은 요청의 응답이 지연되던 현상과 동일 자원을 두고 발생하는 경합 구조를 완화했다. 이는 에이전트 루프 및 자동화 파이프라인의 누적 지연을 해소하는 데 기여하며, 대화형 애플리케이션과 자동화 파이프라인 환경 모두에 긍정적인 영향을 미칠 것으로 예상된다.

이번 인프라 개편은 특정 모델이나 리전에 국한되지 않고 플랫폼 전체를 대상으로 진행되었다. 컨티뉴엄 AI는 지난 11월 1일 DeepSeek V4.1 Flash 클러스터를 우선 정비한 데 이어, 이번에는 더 넓은 범위의 전사 인프라를 개편했으며, 이 변경 사항은 모든 호스팅 모델에 일괄 적용된다.

사용자는 기존 API 엔드포인트를 통해 속도 향상을 직접 체감할 수 있으며, 모델별 TTFT는 각 모델 페이지의 성능 섹션에서 확인할 수 있다. 다만, 발표된 '최대 45%'는 성능 개선의 상한선이며, 모델별, 리전별, 요청 크기별 세부 측정 수치와 제3의 독립 기관 검증 데이터는 아직 공개되지 않았다. 타임아웃 수정의 구체적인 기술적 원인 및 상세 조치 내역도 공지에는 포함되지 않았다.

OrcaRouter는 단일 API 키와 엔드포인트로 Claude Opus 5.5, GPT-6.1 Sol, Gemini 3.8 Flash 등 200개 이상의 모델을 제공하며, 약 40%의 비용 절감, 1밀리초 미만의 라우팅 오버헤드, 0%의 토큰 마크업을 제공한다. 자체 호스팅 에디션인 OrcaRouter-Lite는 MIT 라이선스로 제공된다.

추천 0