잘 쓰는 AI에서, 잘 판단하는 AI로

큰 결과물을 만드는 시간은 줄었다. 그 사이 작은 결정을 내리는 시간은 생각보다 많이 남아 있다.

01 · System One

긴 답변 대신, 소프트웨어가 바로 쓰는 판단

02 · Three Primitives

동료에게 묻는 말로 바꾸면 된다

Jev는 세 가지 기본 방식을 제공한다. 기술 용어를 외울 필요는 없다. ‘어디로?’, ‘얼마나?’, ‘맞나요?’ 세 마디면 충분하다.

다만 구체적인 문의라는 평가가 실제 계약 성사 가능성을 뜻하지는 않는다. 납품 여부와 할인 조건은 재고·배송·판매 정책을 따로 확인해야 한다. 중요한 것은 무엇을 판단하고, 가능한 답이 무엇이며, 그 답 다음에 무엇을 할지가 드러난다는 점이다.

03 · One Inquiry, Many Judgments

한 문장 안에서 판단은 거의 동시에 일어난다

기존 생성형 AI도 문의를 분류하고 점수를 매길 수 있다. 새로운 점은 ‘분류를 한다’가 아니라, 범위가 정해진 판단을 빠르고 저렴하게 반복하고 그 결과를 프로그램이 처리하기 쉬운 형태로 제공하는 데 초점을 맞췄다는 것이다.

04 · Try a Judgment

같은 형태의 판단을, 세 가지 업무로 바꿔 본다

업무를 골라 보면 STATE(자료)에 세 가지 판단이 어떻게 붙는지 볼 수 있다. Choice로 어디로 보낼지, Score로 얼마나인지, Noul으로 조건이 참일 확률을 확인한 뒤, 다음 업무로 이어진다.

06 · Confidence Is Not Truth

높은 숫자를 받았다는 이유만으로 판단이 사실이 되지는 않는다

07 · Set the Threshold

어디까지 자동으로, 어디부터 사람이

확률 하나로 모든 것을 정하지 않는다. 자동으로 처리할 기준을 정하는 일이 더 중요하다. 기준을 올리고 내려 보면, 같은 예시가 자동 분류로 갈지 사람 검토로 갈지 바뀐다.

08 · What You Miss Matters More

정답률 몇 퍼센트보다, 무엇을 놓쳤는가

시스템이 잘 처리한 건은 눈에 잘 띈다. 그러나 실제 요청인데 요청이 아니라고 분류한 건은 업무 목록에서 사라진다. 담당자는 목록에 오른 일만 보고 하루를 마무리했는데, 고객은 아무 답을 받지 못한 상태가 된다. 자동화가 확인 시간을 줄여 줄수록 누락을 발견할 기회도 줄 수 있다.

완전 자동화라는 말보다, 자동 처리의 범위를 정하는 일이 더 생산적이다. 어떤 사례는 명확해서 바로 처리하고, 어떤 사례는 여전히 사람이나 다른 모델이 필요한지 구분하는 것이다.

Jev를 실제 데이터에 적용한 한 독립 실험에서도 차이가 드러났다. 짧고 분류 기준이 명확한 작업에서는 좋은 결과를, 문서 앞단에서 불필요한 페이지를 걸러 후속 호출을 줄이는 데도 효과를 보였다. 반면 이메일에서는 실제 요청을 확신 있게 제외하는 오류가 관찰됐다. 특정 데이터에 대한 결과이므로 일반화할 수는 없다.

09 · Splitting the Work

판단 · 사실확인 · 생성 · 실행을 나눈다

고객 지원을 예로 들면, 각각의 도구가 서로 다른 일을 맡는다. ‘AI 고객센터를 만들겠다’는 큰 목표가 몇 개의 검증 가능한 업무로 바뀌고, 문제가 생겼을 때 어느 단계에서 발생했는지 찾기 쉬워진다.

이 구조에서 Jev는 에이전트가 일을 시작하기 전과 결과를 내놓은 뒤에 놓일 수도 있다. 앞에서는 요청을 적절한 모델·담당자로 보내고, 뒤에서는 결과가 정의된 조건을 만족하는지 확인한다. 이런 의미에서 ‘지식 업무용 린터’라는 표현이 이해하기 쉽다. 다만 검사를 통과했다고 결과가 완전히 옳거나 안전한 것은 아니다.

10 · Twelve Ways to Use It

같은 자료에 서로 다른 질문을 던진다

고객 지원부터 교육·커뮤니티·구매·미디어·AI 오피스까지, 판단을 어디에 놓을 수 있는지 열두 가지로 정리했다. 각 카드를 펼치면 준비할 자료, Jev에 물어볼 질문, 다음 행동, 확인할 점을 볼 수 있다.

숫자로 보는 현실

출처·측정 조건에 따라 달라질 수 있음(회사 발표 vs 독립 실험 구분). 출력 토큰에 비용을 청구하지 않는다는 정책이 계산 자원이 전혀 들지 않는다는 뜻은 아니다. 모델 단가가 낮다는 것과 최종 업무가 저렴해졌다는 것은 실제 흐름을 연결해 측정해야 알 수 있다.

11 · Attention as a Resource

짧지만 자주 끼어드는 일이 하루를 끊는다

12 · New Skills, Real Limits

분해하고 검증하는 능력, 그리고 아는 한계

앞으로의 AI 교육에서는 프롬프트를 쓰는 법과 함께 업무를 분해하고 결과를 검증하는 법을 다뤄야 한다. AI에게 좋은 답을 받는 경험이 업무를 끝내는 역량으로 이어지려면 이런 과정이 필요하다.

내가 만드는 DoDone 같은 AI 오피스에도 이 관점은 연결된다. 여러 AI 에이전트가 함께 일하는 환경에서는 누가 어떤 요청을 맡고, 어떤 자료를 받으며, 어디에서 확인을 받아야 하는지가 중요하다. 처음부터 하나의 에이전트에게 모든 판단을 맡기기보다 요청의 성격과 필요한 확인을 먼저 나누는 구조를 검토할 수 있다.