AI가 분류·점수를 낸 뒤 사람은 무엇을 보나: Jev 도입의 승인 기준

AI가 요청을 분류하고 우선순위를 매긴다면 담당자는 더 적은 시간을 들일 수 있을까요? 가능하지만, ‘AI가 판단했다’는 사실만으로 업무가 안전해지지는 않습니다. TypeSafe AI는 Jev를 자유 문장이 아니라 정해진 구조의 확률적 결정을 반환하는 System One 모델로 소개합니다. 이런 모델의 장점은 다음 단계가 명확해진다는 데 있지만, 그 단계와 책임을 사람이 미리 정의하지 않으면 결과는 그냥 더 빠른 추측이 됩니다.

직장인이 실제로 설계해야 할 것은 모델 선택보다 승인 흐름입니다. 예를 들어 요청이 들어오면 AI가 즉시 처리 후보 / 담당자 검수 / 추가 자료 요청 / 정책상 보류 중 하나를 고르고, 업무 담당자는 정해진 조건에 따라 확인합니다. 이때 사람이 AI보다 똑똑한 답을 매번 다시 만드는 구조라면 자동화의 의미가 줄어듭니다. 반대로 AI가 누구에게도 설명되지 않은 기준으로 자동 처리한다면 책임이 사라집니다.

사람 검수는 세 구간으로 나누면 실행하기 쉽습니다

이 표에서 ‘우선 처리 후보’는 곧바로 외부 행동을 뜻하지 않습니다. 내부 초안 생성이나 정해진 안내문 제안처럼 되돌릴 수 있는 흐름에서는 자동 단계를 조금 넓힐 수 있지만, 고객 발송·금액·인사·계약·권한 변경은 별도 승인으로 남겨야 합니다. 업무 영향이 클수록 신뢰도 수치보다 사람의 최종 책임이 더 중요합니다.

먼저 선택지를 겹치지 않게 만드세요

AI가 ‘긴급’과 ‘중요’를 자주 헷갈린다면 모델을 탓하기 전에 팀이 두 단어를 어떻게 구분하는지 살펴보세요. 한 선택지에는 관찰 가능한 기준을 붙이는 편이 좋습니다. 예를 들어 긴급은 “오늘 안에 확인하지 않으면 고객·운영 손실이 생길 가능성”, 중요는 “이번 주 책임자가 판단해야 하는 가치·위험 변화”처럼 작성합니다.

선택지가 너무 많으면 사람도 일관되게 고르기 어렵습니다. 처음에는 네 개 이내로 시작해, 보류 사유가 반복되는 경우에만 새 칸을 추가하세요. 생성형 AI가 결과 설명을 도울 수는 있지만, 실제 처리 경로는 짧고 검증 가능한 값으로 유지하는 편이 좋습니다.

신뢰도 임계값은 숫자 하나로 끝나지 않습니다

공식 발표에서 Jev는 매 결과에 확률과 신뢰도 신호를 제공한다고 설명합니다. 그러나 같은 0.9라도 업무마다 의미가 다릅니다. 오분류가 단순 재작업으로 끝나는 문서 태깅과, 고객에게 잘못된 약속을 할 수 있는 문의 응답을 같은 기준으로 다룰 수 없습니다.

파일럿에서는 높은 신뢰도와 낮은 신뢰도를 각각 10건 이상 골라 사람이 원문과 비교하세요. 높은 구간에서 틀린 사례가 왜 생겼는지, 낮은 구간에서 사람이 쉽게 처리한 사례가 무엇인지 확인합니다. 그 뒤에도 임계값은 고정 규칙이 아니라 정책·자료·업무량이 바뀔 때 다시 보는 운영 값으로 관리해야 합니다.

업무별 위험도와 사람 승인 위치를 잡고 싶다면 AX 자가진단에서 반복성·영향도·검수 가능성을 먼저 분류하세요. 실제 승인 문구와 사례 평가를 만드는 작업은 AX 교육 프로그램에서 팀 단위로 연습할 수 있습니다.

변경·보류 이유가 다음 개선의 데이터입니다

담당자가 AI 결과를 바꿨다면 “정확도 실패” 한 줄로 남기지 마세요. 자료가 낡았는지, 선택지가 부족했는지, 원문이 모호했는지, 정책상 사람이 판단해야 하는지로 나눠 기록합니다. 이 기록이 쌓이면 무엇을 고쳐야 할지 보입니다. 모델을 바꾸기 전에 문서 최신화나 요청 양식 보완으로 해결되는 일이 많습니다.

보류도 실패가 아닙니다. AI가 확신 없이 처리하지 않고 보류 신호를 냈다면, 업무가 잘 멈춘 사례일 수 있습니다. 잘못된 결과만 수집하면 팀은 자동 처리율만 높이는 방향으로 치우기 쉽습니다. 안전하게 멈춘 사례와 담당자가 더 나은 질문을 되돌린 사례도 함께 봐야 합니다.

2주 파일럿 평가 카드

업무와 최종 책임자:
AI가 고를 선택지와 정의:
자료 부족·민감 요청·오류 시 보류 규칙:
사람 검수 대상과 외부 실행 금지 구간:
검수 결과: 사용 / 변경 / 보류:
변경·보류 사유 코드:
높은·낮은 신뢰도 표본 비교:
다음 주에 조정할 기준 하나:

2주 뒤에는 자동화 비율보다 ‘담당자가 더 빨리 처리한 안전한 업무가 있는가’, ‘보류가 제때 이관됐는가’, ‘반복 변경의 원인을 설명할 수 있는가’를 먼저 확인하세요. 이 세 질문에 답할 수 없다면 범위를 넓히기보다 선택지와 자료를 다시 정리하는 편이 낫습니다.

자주 묻는 질문

AI가 높은 신뢰도를 내면 사람 검수를 없애도 되나요? 아닙니다. 신뢰도는 정의된 선택지 안에서의 모델 신호일 뿐입니다. 실제 업무 영향, 데이터 변화, 예외를 확인한 뒤에도 고영향 행동은 사람 승인으로 남겨야 합니다.

사람이 매번 바꾸면 파일럿은 실패인가요? 아닙니다. 변경 이유가 반복된다면 선택지, 자료, 요청 양식, 업무 규칙 중 무엇이 불명확한지 찾을 기회입니다. 같은 이유가 줄어드는지 확인하며 한 번에 하나씩 고치세요.

AI가 보류한 요청은 어떻게 처리하나요? 보류 이유와 필요한 추가 자료를 명확히 보여 주고, 정해진 담당자에게 이관하세요. 보류를 숨기거나 임의로 자동 처리하면 운영 위험이 커집니다.

출처: TypeSafe AI, “Introducing System One Models & Jev”를 2026년 9월 25일 확인했습니다. Jev의 구조화된 출력, 확률·신뢰도, 분류·라우팅·점수화·검증이라는 제품 설명은 공식 발표를 참고했습니다. 승인 구간, 임계값 점검, 파일럿 카드는 LeanX의 편집 제안입니다.