AI
Jev를 이용하여 AI를 보다 똑똑하게 사용하자
두줄요약
Jev의 Choice·Score·Noul을 활용해 생성형 LLM과 확률 기반 판단 모델의 역할을 분리했습니다.\n판단은 Jev, 실행은 코드, 생성은 LLM으로 구성하는 AI 아키텍처를 제안합니다.
구조와 흐름
- Jev의 System One Model 접근: 비정형 상태 입력을 Choice·Score·Noul 기반의 타입 지정 확률 판단으로 변환
- LLM의 생성 역할, Jev의 판단 역할, 코드의 실행 역할, 사람의 중요 결정 검토 역할 분리
- 이메일 분류, Browser Agent 행동 선택, 모델 라우팅 등 제한된 선택지와 확률 기반 정책이 필요한 흐름
선택 이유
- 프롬프트·JSON 파싱·스키마 검증 중심의 LLM 호출 대신 프로그램 소비용 판단 결과 제공
- 반복적인 Agent 의사결정에서 불필요한 텍스트 생성 축소와 비용·지연시간 누적 완화 가능성
- 판단 신호와 비즈니스 정책의 분리로 디버깅·테스트·모델 교체 용이성
주의할 점
- 타입 지정 출력의 정확성과 실제 판단의 의미적 정확성은 별개
- 확률값에 따라 자동 처리, 추가 LLM 확인, 사람 검토를 구분하는 정책 필요
- 가격·지연시간·SDK 현황은 공개 초기 정보이므로 도입 시 최신 공식 문서 확인 필요
적용해볼 점
- 분류에는 Choice, 긴급도·위험도·우선순위에는 Score, 예/아니오 판단에는 Noul 검토
- 추상화된 DecisionService 계층으로 Jev API와 애플리케이션 정책의 직접 결합 방지
- 생성이 필요한 답변·요약·코드 작성에는 LLM을 유지하고 판단 단계만 분리
