OrcaRouter, AI 에이전트 실패 사례 기반 OIAS 데이터셋 공개… '거부율' 낮추고 '안전성' 높여

김형석 기자

작성일 2026-10-08 18:03

컨티뉴엄 AI(CONTINUUM AI)가 개발한 OpenAI 호환 LLM 게이트웨이인 OrcaRouter가 실제 AI 에이전트 실패 사례를 의사결정 지점으로 재구성한 공개 데이터셋 OIAS(Orca Incident Alignment)를 공개했다고 밝혔다. 이 데이터셋은 AI 에이전트가 언제 실행해도 되는지와 언제 절대 안 되는지를 구분하도록 돕는 것을 목표로 한다.

OIAS는 각 후보 행동에 대해 ALLOW(그대로 실행), CONFIRM(사용자 확인 먼저), VERIFY(먼저 검증), ESCALATE(상위 판단으로 넘김), BLOCK(실행 금지)의 다섯 가지 판정을 부여한다. 이는 '위험해 보이는 것은 전부 거부'하는 기존의 안전 정책과는 다른 접근 방식이다. 실제 AI 에이전트 실패 사례에서 추출한 55건의 판단 지점을 기반으로 하며, 거부율을 낮추면서도 위험한 행동은 효과적으로 차단하는 것을 목표로 한다.

데이터셋에 따르면, 전체 358개 레코드에 대해 기대되는 행동 클래스 분포에서 'REFUSE'(거부)를 기대하는 항목은 전체의 약 5%에 불과하다. 나머지 대부분은 'CONTINUE_SAFELY'(안전하게 계속), 'REQUEST_CONFIRMATION'(확인 요청), 'EXECUTE'(실행) 등 조건을 붙여 진행하는 방식이다. 이는 AI 에이전트가 멈춰야 하는 순간은 소수이며, 대부분의 상황에서는 조건을 확인하고 검증하며 진행하는 것이 더 효율적임을 시사한다.

OrcaRouter 측은 '항상 거부하는 정책'은 위험한 행동을 막을 수는 있지만, 모든 정당한 작업을 차단하여 전반적인 점수가 0점 아래로 떨어진다고 설명했다. 반면, OIAS 데이터셋은 AI 에이전트가 공포에 질리는 것이 아니라, 상황에 맞는 판단을 내릴 수 있도록 돕는 데 중점을 둔다.

이 데이터셋은 Hugging Face를 통해 공개되었으며, 실제 AI 에이전트 실패에서 재구성한 의사결정 지점 데이터셋임을 명시하고 있다. 데이터셋의 모든 시나리오와 맥락에는 출처 표기가 붙어 있으며, 일부 데이터는 모델이 재구성한 것으로 명시되어 있다. 다만, 데이터 소유자가 55건 전체를 승인했음에도 불구하고 'human_verified' 값은 'false'로 남아 있으며, 일부 반사실 변형 데이터는 여전히 'human_review_required' 상태로 열려 있다.

추천 0