OrcaRouter 공식 계정의 업그레이드 공지
컨티뉴엄 AI(CONTINUUM AI)가 개발한 OrcaRouter는 2026년 11월 3일 전면적인 플랫폼 인프라 업그레이드를 완료하고, 첫 토큰 생성 시간(TTFT)을 최대 45% 단축했다고 밝혔다. 이와 함께 대용량 요청 처리 중 발생하던 타임아웃 오류를 수정해 대규모 프롬프트 추론 속도와 안정성을 동시에 확보했다.
전 플랫폼 TTFT 최대 45% 단축… 평균·꼬리 구간 동시 개선
OrcaRouter는 플랫폼 전반에 걸쳐 인프라 업그레이드를 적용했다. 이에 따라 P50, P90, P99 구간의 TTFT가 최대 45% 단축됐다. TTFT(Time To First Token)는 사용자 요청 전송 후 첫 번째 토큰이 출력되기까지 걸리는 대기시간이다. P50은 중앙값, P90과 P99는 응답이 가장 느린 상위 10%, 1%의 ‘꼬리 구간(Tail Latency)’을 의미한다. 세 지표가 함께 감소했다는 것은 단순한 평균 속도 향상을 넘어, 늦어지던 요청들까지 안정적으로 처리할 수 있게 됐음을 뜻한다.
대용량 프롬프트 타임아웃 오류 해결 및 자원 경합 완화
OrcaRouter는 대용량 요청 처리 시 발생하던 타임아웃 문제를 수정했다. 특히 동일한 클러스터 내에서 긴 프롬프트가 입력될 때 짧은 요청의 응답이 함께 지연되던 현상을 원천적으로 차단했으며, 큰 요청과 작은 요청이 동일 자원을 두고 벌이던 경합 구조를 대폭 줄였다.
에이전트 루프 및 자동화 파이프라인의 누적 지연 해소
TTFT는 에이전트 루프(Agent Loop) 실행 과정에서 지속적으로 누적된다. 단일 호출에서 1초가 단축되더라도 수십 회를 오가는 작업에서는 체감 속도 차이가 극명해진다. 반대로 P99 지연이 길어지면 단 하나의 요청 때문에 전체 루프가 정지될 수 있다. 세 백분위 지표가 동시 개선된 것은 대화형 앱과 자동화 파이프라인 환경 모두에 상당한 이점으로 작용한다.
전체 모델 및 플랜에 일괄 적용… DeepSeek 개편과는 별개
이번 작업은 특정 모델이나 일부 리전에 머무르지 않고 플랫폼 전체를 대상으로 진행됐다. OrcaRouter는 11월 1일 DeepSeek V4.1 Flash 클러스터를 우선 정비한 데 이어, 이번에는 그보다 넓은 범위의 전사 인프라를 개편했다. 두 개편은 서로 독립적인 작업이며, 이번 업그레이드는 모든 호스팅 모델에 일괄 반영된다.
특정 리전·모델 제한 없는 전사적 인프라 확장 개편
이번 작업은 특정 모델이나 리전이 아니라 플랫폼 전체를 대상으로 했다. OrcaRouter는 11월 1일 DeepSeek V4.1 Flash 클러스터를 먼저 손봤고, 이번에는 그보다 넓은 범위를 적용했다. 두 작업은 별개이며, 이번 변경은 모델을 가리지 않는다.
대화형 앱 응답속도 향상 및 프로세스 병목 방지
대화형 애플리케이션 환경에서는 첫 토큰이 빠르게 출력될수록 사용자의 대기 시간이 직접적으로 줄어든다. 자동화 파이프라인에서는 P99 꼬리 지연이 단축돼야 전체 실행 루프가 특정 요청 하나에 병목되지 않는다. 대용량 요청 타임아웃 수정은 긴 프롬프트와 짧은 요청이 동일 클러스터를 공유할 때 발생하는 자원 경합을 한층 줄여준다.
기존 API 유지 체감 및 모델별 성능 데이터 확인 방법
이번 공지에는 업그레이드 적용 시각과 모델별 상세 수치는 포함되지 않았다. 사용자는 기존 엔드포인트에서 속도 향상을 직접 체감할 수 있으며, 모델별 TTFT는 각 모델 페이지의 성능 섹션에서 7일 기준 데이터로 확인할 수 있다. 플랫폼 전체 수치는 별도 대시보드 대신 공지사항을 통해 안내됐다.
개선 수치의 상한선 표기 및 세부 기술 내역 미공개 한계
발표된 ‘최대 45%’는 성능 개선의 상한선이다. 모델별, 리전별, 요청 크기별 세부 측정 수치는 공개되지 않았다. 제3의 독립 기관이 동일 조건에서 재측정한 검증 데이터 역시 아직 마련되지 않았다. 아울러 타임아웃 수정의 구체적인 기술적 원인과 상세 조치 내역도 공지에는 기술돼 있지 않다.
주요 모델
OrcaRouter는 단일 API 키와 엔드포인트로 다음을 포함한 200개 이상의 모델을 제공한다.
· Claude Opus 5.5
· GPT-6.1 Sol
· Gemini 3.8 Flash
· DeepSeek V4.1 Flash 1017
· Qwen3.8 Max
· GLM-5.3
· OrcaCyber Zero 1.5
참고
· 업그레이드 공지
· 모델 카탈로그
· 요금 안내
· OrcaRouter 웹사이트
