Ietvara vērtējums
Vērtējums skaitās tikai tad, ja tas ir noenkurots
kompetenču ietvarā.
Katrs roleplay šablons deklarē, kuras kompetences katrs scenārijs pārbauda. AI vērtē tieši šos kritērijus, bez atslēgvārdu heiristikām, bez platformas līmeņa kataloga, kas tev tiek uzspiests.
Sesijas atskaite
Medicīniskais apmeklējums, Skeptisks kardiologs
Praktikants: Marcela R., Kanāls: Balss, 12 min
87
nokārtots
Kompetences fiksētas nosūtīšanas brīdī
PROD-001
Produkta meistarība
92
OBJ-003
Iebildumu apstrāde
78
COMP-014
Marķējuma atbilstība
95
Vērtētie kritēriji (rubrika)
AI ieskati, Stiprās puses
Noenkurojis piedāvājumu HCP hipertensīvā pacienta profilā līdz 1:15. Citēja 3. fāzes pētījumu, kad tika apšaubīta efektivitāte.
Uzlabojamās jomas
4:32 HCP jautāja par mijiedarbību ar beta-blokatoriem un atbilde bija neskaidra ("pārbaudīšu un atbildēšu vēlāk"). Ieteikums: mērķtiecīga apmācība par zāļu mijiedarbībām.
Tava tenanta ietvars
Katram tenantam ir savs kompetenču un kritēriju katalogs. Klonēts no centrālajiem katalogiem pēc vertikāles onboarding brīdī, pēc tam pilnībā rediģējams, tu pievieno biznesam specifiskās kompetences, kas neeksistē nevienā katalogā.
AI vērtē. Kods izlemj.
AI ir atbildīgs par vērtēšanu. Pass/fail noteikums ir auditējams kods, ieskaitot "compliance blockers", kas nesekmē sesiju pat ar augstu vērtējumu (piem., marķējuma pārkāpšana → nesekmīgs, pat ar 95 kopējo punktu).
Fiksēts auditam
Kritēriji fiksēti nosūtīšanas brīdī. Prompts piesaistīts noteiktai versijai. Transkripts, audio un atskaite glabājas ar konfigurējamu glabāšanu. Audits parādās gatavs.
No ietvara līdz atskaitei.
Visa ķēde ir deterministiska un auditējama.
01
Ietvara veidošana
Tenanta administrators rediģē kompetences, kritērijus un scenāriju kontekstus. Pievieno, rediģē, deaktivizē, viss ir versionēts.
02
Šablons deklarē
Wizard autors izvēlas, kuras kompetences katrs šablona scenārijs pārbauda. Katra kritērija svars ir konfigurējams.
03
Roleplay fiksē
Nosūtīšanas brīdī kritēriji tiek nofiksēti snapshot veidā uz roleplay. Pat ja šablons vēlāk tiek rediģēts, sesija notiek pret snapshotu.
04
AI vērtē, kods izlemj
Asinhrons darbs: veido promptu un transkriptu, prasa AI strukturētu JSON, parsē to, piemēro pass/fail noteikumus, saglabā pilnu kopsavilkumu.
Kāpēc ne multi-AI konsenss
Vairāki AI nesummējas, tie atšķiras.
Mēs to izmēģinājām: palaist 4 modeļus paralēli un ņemt vidējo. Problēma ir tāda, ka katram modelim ir atšķirīga sistemātiska aizspriedumu nostāja, un vidējais izšķīdina to modeļa signālu, kurš to izdarīja pareizi.
Tā vietā: viens izvēlēts modelis katrai virsmai, ar versionētu promptu, kas pārbaudīts pret rubriku. Deterministisks, atkļūdojams, salīdzināms starp sesijām.
Multi-model konsenss (pārbaudīts, neizmantots)
- ✗ 4x lielākas izmaksas bez 4x lielākas pārliecības
- ✗ Izšķīdina atšķirīgu aizspriedumu
- ✗ Grūti atkļūdot vienu vērtējumu
- ✗ Nekonsekvents diff starp sesijām
Viens nodrošinātājs katrai virsmai
- ✓ Kontrolējamas izmaksas par izsaukumu
- ✓ Versionēts un auditējams prompts
- ✓ Atkārtojams rezultāts
- ✓ Konsekvents salīdzinājums starp sesijām
Lieliski iederas kopā ar
Adaptive Track
Ietvara robs, automātisks roleplay
Ietvars šajā lapā ir ievade, ko Adaptive Track izmanto, lai piesaistītu kompetenču robus.
Uzzināt vairāk →Dashboards
Progress katrai kompetencei
Vēro, kā katrs komandas dalībnieks ceļas (vai krīt) katrā ietvara kritērijā laika gaitā.
Uzzināt vairāk →Atbilstība
Audita žurnāls katram izsaukumam
Prompts, modelis, tokens, izmaksas, latentums, viss reģistrēts regulatīvajam auditam.
Uzzināt vairāk →Gatavi pārveidot veidu, kā jūsu komanda mācās?
Bezmaksas izmēģinājums komandām līdz 20 cilvēkiem. Uzņēmums? Parunāsimies.