세션 리포트
의료 방문, 회의적인 심장내과 의사
교육생: Marcela R. · 채널: 음성 · 12분
87
합격
배포 시점에 고정된 역량
PROD-001
상품 숙달도
92
OBJ-003
반론 처리
78
COMP-014
라벨 컴플라이언스
95
평가된 기준(루브릭)
AI 인사이트 · 강점
1:15까지 HCP의 고혈압 환자 프로파일에 피치를 닻으로 내렸습니다. 효능에 대한 반박을 받았을 때 3상 연구를 인용했습니다.
개선 영역
4:32에 HCP가 베타 차단제와의 상호 작용에 대해 물었지만 응답이 모호했습니다("확인하고 다시 알려드리겠습니다"). 권장: 약물 상호 작용에 대한 타깃 교육.
회사의 프레임워크
모든 회사는 고유한 역량과 평가 기준 카탈로그를 가집니다. 온보딩 시 버티컬별 중앙 카탈로그에서 복제된 후 완전히 편집 가능합니다. 어떤 카탈로그에도 없는 비즈니스 특유의 역량을 추가할 수 있습니다.
AI가 채점합니다. 코드가 결정합니다.
AI는 채점을 담당합니다. 합격/불합격 규칙은 감사 가능한 코드이며, 높은 점수에도 세션을 불합격시키는 "컴플라이언스 차단 항목"을 포함합니다(예: 라벨 위반은 종합 95점이어도 불합격).
감사를 위해 고정
롤플레이 시작 시점에 고정된 평가 기준. 특정 버전에 고정된 AI 지침. 대화록, 오디오, 리포트는 구성 가능한 보존 기간으로 저장됩니다. 감사 대응이 기본 제공됩니다.
프레임워크에서 리포트까지.
전체 체인이 결정론적이며 감사 가능합니다.
01
프레임워크 큐레이션
회사 관리자가 역량, 평가 기준, 시나리오 맥락을 편집합니다. 추가, 편집, 비활성화 모두 버전 관리됩니다.
02
템플릿이 선언
마법사에서 작성자는 템플릿의 각 시나리오가 어떤 역량을 평가하는지 선택합니다. 각 기준의 가중치는 구성 가능합니다.
03
롤플레이가 고정
배포 시점에 평가 기준이 롤플레이에 스냅샷됩니다. 나중에 템플릿을 편집해도 세션은 스냅샷을 기준으로 실행됩니다.
04
AI가 채점, 코드가 결정
비동기 작업: 프롬프트와 대화록을 빌드하고, AI에 구조화된 JSON을 요청하며, 파싱하고, 합격/불합격 규칙을 적용하고, 전체 집계를 저장합니다.
왜 멀티 AI 컨센서스가 아닌가
여러 AI는 합쳐지지 않고 갈라집니다.
저희도 시도해 봤습니다. 4개 모델을 병렬로 실행하고 평균을 냅니다. 문제는 각 모델이 서로 다른 체계적 편향을 가지고 있어, 평균이 정답을 맞춘 모델의 신호를 희석한다는 것입니다.
대신: 표면별로 큐레이션된 하나의 모델, 루브릭에 대해 검증된 버전 관리 프롬프트. 결정론적이고, 디버깅 가능하며, 세션 간 비교 가능합니다.
멀티 AI 컨센서스
- ✗ 4배 비용, 4배 확신 없음
- ✗ 갈라지는 편향을 희석
- ✗ 단일 점수 디버깅 어려움
- ✗ 세션 간 일관되지 않은 diff
표면별 단일 공급자
- ✓ 호출당 비용 통제
- ✓ 버전 관리되고 감사 가능한 프롬프트
- ✓ 재현 가능한 결과
- ✓ 세션 간 일관된 비교