feat: уточнение адреса — место происшествия не равно адресу заявителя (lct-35)
Главный предмет проверки в билетах заказчика — адрес: названный заявителем часто неверен, а настоящий добывается переспросом («ул. Станционная, 28» оказывается Королёвом). Памятка АРМ-112 называет это обычным делом. До этой правки оценка работала наоборот: ground_truth.address сравнивался с единственным значением факта, поэтому курсант, правильно переспросивший и записавший настоящий адрес, получал расхождение с эталоном, а записавший ориентир — зачёт. - Схема: у факта появились refined и refine_on, задаются только вместе. - Слот-автомат различает уточнение и повтор: повтор раздражает звонящего, уточнение — нет, оператор спросил о другом и получил другое. - Звонящий поправляется отдельной репликой, а не повторяет прежнее значение; офлайн-таблица получила секцию refine. - Оценка: метрика address_refined (E1, опрос). Сделана отдельной, а не правкой метрики address: «записал не тот адрес» и «не спросил» — разные навыки и разные компетенции в радаре. - Общие пункты чек-листа подключаются по требованию сценария: формулировки в checklists/common.yaml, сценарий объявляет пункт с тем же id без текста. Добавлять «уточните адрес» во все сценарии нельзя — неотработанный пункт штрафует за вопрос, которого сценарий не требовал. - scenarios/fire-private-house-l3.yaml — первый сценарий из библиотеки заказчика (билет 3, вызов 1). Риск механики проверен на живой модели: «Назовите адрес» и «Это точно Москва?» эмбеддинги не путают, тест это фиксирует. 125 тестов зелёных (12 новых), make typecheck чистый.
This commit is contained in:
parent
7212251112
commit
842a333d16
11 changed files with 381 additions and 8 deletions
|
|
@ -69,6 +69,16 @@ REVEAL: dict[Mood, str] = {
|
|||
Mood.CONFUSED: "Так... {fact}... кажется.",
|
||||
}
|
||||
|
||||
#: Уточнение: оператор переспросил, и выясняется, что адрес был не тот.
|
||||
#: Это не повтор — звонящий не раздражается, он поправляется.
|
||||
REFINE: dict[Mood, str] = {
|
||||
Mood.PANIC: "Нет, не там! {fact}!",
|
||||
Mood.WORRIED: "Ой, нет... {fact}.",
|
||||
Mood.CALM: "Уточню: {fact}.",
|
||||
Mood.AGGRESSIVE: "Да я же про другое! {fact}!",
|
||||
Mood.CONFUSED: "А... нет, кажется {fact}...",
|
||||
}
|
||||
|
||||
#: Повторный вопрос по уже сказанному.
|
||||
REPEAT: dict[Mood, str] = {
|
||||
Mood.PANIC: "Я же сказал — {fact}! Записывайте!",
|
||||
|
|
@ -94,7 +104,11 @@ class TemplateCaller:
|
|||
|
||||
parts: list[str] = []
|
||||
for fact_id in turn.revealed:
|
||||
parts.append(REVEAL[mood].format(fact=facts[fact_id]))
|
||||
template = REFINE if fact_id in turn.refined else REVEAL
|
||||
parts.append(template[mood].format(fact=facts[fact_id]))
|
||||
for fact_id in turn.refined:
|
||||
if fact_id not in turn.revealed:
|
||||
parts.append(REFINE[mood].format(fact=facts[fact_id]))
|
||||
for fact_id in turn.repeated:
|
||||
parts.append(REPEAT[mood].format(fact=facts[fact_id]))
|
||||
|
||||
|
|
@ -139,7 +153,11 @@ class LlmCaller:
|
|||
mood = persona.remember()
|
||||
|
||||
facts = {fact.id: fact.value for fact in slots.revealed_facts()}
|
||||
say_now = [facts[fact_id] for fact_id in turn.revealed if fact_id in facts]
|
||||
say_now = [
|
||||
facts[fact_id]
|
||||
for fact_id in [*turn.revealed, *turn.refined]
|
||||
if fact_id in facts
|
||||
]
|
||||
repeated = [facts[fact_id] for fact_id in turn.repeated if fact_id in facts]
|
||||
|
||||
system = _prompt("caller.md").format(
|
||||
|
|
|
|||
Loading…
Reference in a new issue