Оценка по модели

Балл что-то значит только тогда,
когда привязан к модели компетенций.

Каждый шаблон роуплея объявляет, какие компетенции тестирует каждый сценарий. ИИ оценивает ровно эти критерии, без эвристик по ключевым словам, без навязанного общего каталога.

Запросить демо Вернуться к обзору

Отчёт по сессии

Медицинский визит, скептически настроенный кардиолог

Стажёр: Марсела Р. · Канал: голос · 12 мин

пройдено

Компетенции, зафиксированные при назначении

PROD-001

Владение продуктом

OBJ-003

Работа с возражениями

COMP-014

Соответствие инструкции

Оцениваемые критерии (рубрика)

Аргументы на клинических доказательствах 92

Понимание распорядка врача 85

Восстановление после сильного возражения 78

Закрытие с чётким следующим шагом 88

Соответствие инструкции RDC 658 (блокер комплаенса) 95

Инсайты ИИ · Сильные стороны

Привязала питч к профилю гипертонических пациентов врача к 1:15. Сослалась на исследование фазы III, когда её оспорили по эффективности.

Зоны роста

На 4:32 врач спросил про взаимодействие с бета-блокаторами, ответ был размытым («уточню и вернусь»). Рекомендация: точечная отработка по лекарственным взаимодействиям.

Модель вашего клиента

У каждого клиента собственный каталог компетенций и критериев. Клонируется из центральных каталогов по вертикали при онбординге, затем полностью редактируется, вы добавляете компетенции, специфичные для вашего бизнеса, которых нет ни в одном каталоге.

ИИ ставит баллы. Код принимает решение.

ИИ отвечает за проставление баллов. Правило pass/fail это проверяемый код, включая «блокеры комплаенса», которые проваливают сессию даже при высоком балле (например, нарушение инструкции → провал, даже при 95 общих).

Зафиксировано для аудита

Критерии зафиксированы при назначении. Промпт закреплён на конкретной версии. Транскрипт + аудио + отчёт сохраняются с настраиваемым хранением. Аудит готов «из коробки».

От модели до отчёта.

Вся цепочка детерминирована и проверяема.

Курирование модели

Админ клиента редактирует компетенции, критерии и контексты сценариев. Добавление, изменение, деактивация, всё версионируется.

Шаблон объявляет

В мастере автор выбирает, какие компетенции тестирует каждый сценарий шаблона. Вес каждого критерия настраивается.

Роуплей фиксирует

При назначении критерии сохраняются снимком на роуплее. Даже если шаблон редактируется позже, сессия проводится против снимка.

ИИ ставит баллы, код принимает решение

Асинхронный job: собирает промпт + транскрипт, запрашивает у ИИ структурированный JSON, парсит его, применяет правила pass/fail, сохраняет полный агрегат.

Почему не консенсус нескольких ИИ

Несколько ИИ не складываются, а расходятся.

Мы пробовали: запустить 4 модели параллельно и взять среднее. Проблема в том, что у каждой модели разное систематическое смещение, и среднее размывает сигнал от той модели, что попала точно.

Вместо этого: одна выбранная модель на каждую поверхность, с версионированным промптом, выверенным по рубрике. Детерминированно, отлаживается, сравнивается по сессиям.

Консенсус из нескольких ИИ