lct-07 (без LLM): слот-автомат, персона, звонящий на заготовках, make repl
Звонящий не выдаёт данные сам: автомат держит раскрытые факты явно и отдаёт звонящему только их. Тест прогоняет длинную серию реплик и проверяет, что ни один нераскрытый факт не прозвучал. Главная находка — матчинг по порогу близости не работает. На multilingual-e5-small настоящие вопросы дают 0.79–0.95, а «Оставайтесь на линии» — до 0.89: диапазоны перекрываются, и любой порог либо выдаёт адрес на «успокойтесь», либо не слышит «где вы находитесь?». Решение — сравнение с ближайшим соседом: у пункта чек-листа несколько формулировок (examples), рядом общий список не-вопросов (checklists/common.yaml), и реплика засчитывается пункту, только если она ближе к нему, чем к любому не-вопросу. На отложенных фразах: 19 из 20 вопросов, 0 из 8 ложных срабатываний. Реплика режется только по границам предложений, со знаком: «?» для e5 — сильный признак вопроса, без него «Куда ехать» уходит к не-вопросам. Подсказка берёт неотработанный пункт из автомата. В живой сессии автомат начнёт слышать оператора, когда голосовой контур передаст ему stt.final. Ждёт ключа LLM: условие approach у скрытых фактов, звонящий своими словами, dialog/llm.py с кэшем.
This commit is contained in:
parent
4f5a8d1400
commit
7c97310938
22 changed files with 1073 additions and 26 deletions
|
|
@ -56,8 +56,19 @@ def _derive_ground_truth(scenario: Scenario) -> Scenario:
|
|||
return scenario
|
||||
|
||||
|
||||
COMMON = "checklists/common.yaml"
|
||||
|
||||
|
||||
def _common_not_questions(root: Path) -> list[str]:
|
||||
common = root / COMMON
|
||||
if not common.exists():
|
||||
return []
|
||||
return list(_read_yaml(common).get("not_questions", []))
|
||||
|
||||
|
||||
def load_file(path: Path, root: Path) -> Scenario:
|
||||
raw = _read_yaml(path)
|
||||
raw["not_questions"] = _common_not_questions(root) + list(raw.get("not_questions", []))
|
||||
|
||||
declared = raw.get("ground_truth") or {}
|
||||
forbidden = {"incident_type", "dds", "required_facts"} & set(declared)
|
||||
|
|
|
|||
Loading…
Reference in a new issue