lct-16 и половина lct-19: разбор, отчёт, внешний монитор, эталон

Эталонный диалог собирается кодом из фактов и чек-листа: написанный
руками, он разошёлся бы с фактами при первой же правке сценария,
и курсанта оштрафовали бы за правильный ответ.

Отчёт: метрики фактом против норматива со ссылкой, отметка E1 на каждый
недобытый факт с эталонным вопросом, расхождение самооценки — что
курсант заметил сам, чего не заметил, что отметил зря. Не заметил —
самое ценное для разбора.

Внешний монитор — не отдельное приложение, а другой режим отрисовки тех
же событий: крупный таймер опроса, ход разговора, карточка, после оценки
разбор на весь экран.

Коррекция преподавателем сохраняет автооценку рядом: видно, что
скорректировано и кем.

Найдено: все метрики весили одинаково, и курсант, не задавший ни одного
вопроса, но заполнивший карточку руками, получал 87 из 100. Предварительные
веса (полнота опроса — 4) дают 74; окончательные утверждает методист,
вопрос записан в DEBRIEF.md.
This commit is contained in:
Ivan Gerasimov 2026-09-17 21:32:12 +03:00
commit fadfa3e479
20 changed files with 781 additions and 9 deletions

View file

@ -0,0 +1,48 @@
"""Эталонный диалог собирается из фактов, а не пишется руками."""
from pathlib import Path
import pytest
from app.scenarios.loader import load_file
from app.scoring.reference import build, missed_steps
LIBRARY = Path(__file__).resolve().parents[2] / "scenarios"
@pytest.fixture(scope="module")
def scenario():
return load_file(LIBRARY / "fire-apartment-l2.yaml", LIBRARY)
def test_every_checklist_question_becomes_a_step(scenario):
reference = build(scenario)
assert [step.checklist_id for step in reference.steps] == [
item.id for item in scenario.checklist if item.question
]
assert reference.first_line == scenario.first_line
def test_answers_come_from_facts_not_from_prose(scenario):
"""Эталон не может разойтись с фактами: ответы взяты из них же."""
reference = build(scenario)
address = next(step for step in reference.steps if step.fact_id == "f_address")
fact = next(fact for fact in scenario.facts if fact.id == "f_address")
assert fact.value in address.answer
def test_step_without_a_fact_has_no_answer(scenario):
"""«Представьтесь» факта не добывает — и ответа в эталоне у него нет."""
caller = next(step for step in build(scenario).steps if step.checklist_id == "q_caller")
assert caller.fact_id is None and caller.answer is None
assert not caller.required
def test_missed_steps_are_only_the_required_ones(scenario):
missed = missed_steps(scenario, revealed=["f_address"])
assert [step.fact_id for step in missed] == ["f_what_burns", "f_people", "f_smoke", "f_gas"]
assert all(step.question for step in missed), "в разборе нужен текст эталонного вопроса"
def test_without_slot_machine_nothing_is_declared_missed(scenario):
assert missed_steps(scenario, revealed=None) == []