lct-15: самооценка курсанта до показа автооценки

Правило сервера, а не интерфейса: score.ready курсанту уходит только
после self_assessment.submit, обойти его через DevTools нельзя.
Преподаватель и монитор получают оценку сразу — им ждать нечего.

Чек-лист для самооценки отдаётся отдельной точкой и только после конца
звонка: во время разговора это содержимое подсказок, и открыть его
значило бы выдать в контрольном режиме то, чего там быть не должно.

Попутно подключён расчёт оценки при завершении звонка — детерминированный
слой был написан в lct-12, но его никто не вызывал.

Тест на отсутствие события смотрит очередь курсанта, а не ждёт из сокета:
ожидание того, чего не будет, вешает прогон навсегда.
This commit is contained in:
Ivan Gerasimov 2026-09-17 21:24:34 +03:00
commit 25143645d3
10 changed files with 260 additions and 2 deletions

View file

@ -14,6 +14,8 @@ from sqlalchemy.ext.asyncio import AsyncSession
from app.db import repo
from app.db.base import get_session
from app.domain.events import SessionMode
from app.scenarios import store
from app.session.hub import hub
router = APIRouter(prefix="/api/sessions", tags=["sessions"])
@ -73,6 +75,34 @@ async def read(session_id: UUID, db: AsyncSession = Depends(get_session)) -> Ses
return _out(session)
class ChecklistItemOut(BaseModel):
id: str
question: str
@router.get("/{session_id}/checklist", response_model=list[ChecklistItemOut])
async def checklist(session_id: UUID) -> list[ChecklistItemOut]:
"""Чек-лист для самооценки — **только после конца звонка**.
Во время звонка это содержимое подсказок: отдать его значит выдать
в контрольном режиме то, чего там быть не должно. После звонка курсант
по нему отмечает, что, по его мнению, пропустил.
"""
state = hub.get(session_id)
if state is None:
raise HTTPException(status_code=404, detail="session_not_found")
if not state.ended:
raise HTTPException(status_code=409, detail="call_not_ended")
scenario = store.get(state.scenario_id)
if scenario is None:
raise HTTPException(status_code=404, detail="scenario_not_found")
return [
ChecklistItemOut(id=item.id, question=item.question)
for item in scenario.checklist
if item.question
]
@router.get("", response_model=list[SessionOut])
async def listing(
trainee: UUID | None = None,

View file

@ -27,6 +27,7 @@ from app.domain.events import (
)
from app.domain.events import BgStart
from app.scenarios import store
from app.session.finish import finish, release_score
from app.session.hub import hub
from app.session.state import now_utc
from app.voice.models import get_voice_models
@ -125,10 +126,14 @@ async def _handle(session_id: UUID, state, event) -> None:
state.on_event("callback.dial")
case "self_assessment.submit":
state.self_assessed = True
state.self_assessment = {"missed": event.missed, "comment": event.comment}
if hub.journal:
await hub.journal.self_assessment(
session_id, event.missed, event.comment, now_utc()
)
# Оценка могла быть готова раньше самооценки — теперь её можно отдать.
await release_score(session_id, state)
case "call.hangup":
if state.voice is not None:
@ -142,6 +147,7 @@ async def _handle(session_id: UUID, state, event) -> None:
await hub.journal.session_ended(
session_id, state.ended_at, CallEndReason.HANGUP.value
)
await finish(session_id, state)
def _start_voice(session_id: UUID, state) -> None:

View file

@ -0,0 +1,53 @@
"""Завершение занятия: посчитать оценку и положить её в журнал.
Детерминированный слой считается сразу по завершении звонка (lct-12).
Курсанту `score.ready` уходит **только после самооценки**: сначала он сверяет
своё ощущение с объективной картиной, и расхождение — отдельный материал
для преподавателя (docs/product/DEBRIEF.md). Преподаватель и монитор получают
событие сразу: им ждать нечего.
"""
import logging
from uuid import UUID
from app.domain.events import ScoreReady
from app.scenarios import store
from app.scoring.competency import radar
from app.scoring.gost import evaluate
from app.session.hub import hub
log = logging.getLogger(__name__)
async def finish(session_id: UUID, state) -> None:
scenario = store.get(state.scenario_id)
if scenario is None:
return
result = evaluate(
scenario=scenario,
kio=state.kio,
timers=state.timers,
revealed_facts=[fact.id for fact in state.slots.revealed_facts()] if state.slots else None,
end_reason=state.end_reason,
)
state.score = {
"score_auto": result.score,
"metrics": [metric.model_dump() for metric in result.metrics],
"findings": [finding.model_dump(mode="json") for finding in result.findings],
"competencies": [item.model_dump() for item in radar(result.metrics)],
"unavailable": result.unavailable,
}
log.info("сессия %s: оценка %.1f, отметок %d", session_id, result.score, len(result.findings))
if hub.journal:
await hub.journal.score(session_id, result.score, state.score)
hub.to_observers(session_id, ScoreReady(session_id=session_id))
await release_score(session_id, state)
async def release_score(session_id: UUID, state) -> None:
"""Отдать оценку курсанту, когда самооценка сдана."""
if state.score is not None and state.self_assessed:
hub.to_trainee(session_id, ScoreReady(session_id=session_id))

View file

@ -34,6 +34,7 @@ class Journal(Protocol):
async def hint(self, session_id: UUID, checklist_id: str, question: str, at) -> None: ...
async def note(self, session_id: UUID, ref: str, text: str, author: str) -> None: ...
async def self_assessment(self, session_id: UUID, missed: list[str], comment: str, at) -> None: ...
async def score(self, session_id: UUID, score_auto: float, report: dict) -> None: ...
async def session_started(self, session_id: UUID, at) -> None: ...
async def session_ended(self, session_id: UUID, at, reason: str) -> None: ...

View file

@ -12,7 +12,7 @@ from sqlalchemy import update
from sqlalchemy.ext.asyncio import async_sessionmaker
from app.db import repo
from app.db.models import SelfAssessment, Session
from app.db.models import Score, SelfAssessment, Session
log = logging.getLogger(__name__)
@ -84,6 +84,13 @@ class DbJournal:
await self._write(lambda db: action(db))
async def score(self, session_id: UUID, score_auto: float, report: dict) -> None:
async def action(db):
db.add(Score(session_id=session_id, score_auto=score_auto, score_final=score_auto, report=report))
await db.commit()
await self._write(lambda db: action(db))
async def session_started(self, session_id: UUID, at: datetime) -> None:
async def action(db):
await db.execute(update(Session).where(Session.id == session_id).values(started_at=at))

View file

@ -61,6 +61,11 @@ class SessionState:
audio_frames: int = 0
bad_frames: int = 0
# Самооценка сдана — до неё курсант не видит автооценку.
self_assessed: bool = False
self_assessment: dict | None = None
score: dict | None = None
started_at: datetime | None = None
ended_at: datetime | None = None
end_reason: CallEndReason | None = None

View file

@ -194,3 +194,67 @@ def test_events_still_work_between_audio_frames(client):
trainee.send_bytes(b"\x00\x00" * 320)
wait_for(lambda: state.kio.floor == "5")
assert state.audio_frames == 2
def test_score_waits_for_self_assessment(client):
"""Курсант сначала сверяет своё ощущение с объективной картиной:
расхождение самооценки с автооценкой — отдельный материал для преподавателя."""
with lesson(client) as (session_id, _):
state = hub.get(session_id)
with client.websocket_connect(f"/ws/observe/{session_id}") as observer:
observer.receive_json()
with client.websocket_connect(f"/ws/call/{session_id}") as trainee:
trainee.send_json({"type": "call.answer"})
trainee.send_json({"type": "kio.patch", "fields": {"address": "улица Ленина, 14"}})
trainee.send_json({"type": "call.hangup"})
# Преподавателю и монитору — сразу: им ждать нечего.
assert read_until(observer, "score.ready")["session_id"] == str(session_id)
wait_for(lambda: state.score is not None)
trainee.send_json({"type": "self_assessment.submit",
"missed": ["q_people"], "comment": "растерялся на адресе"})
message = read_until(trainee, "score.ready")
assert message["session_id"] == str(session_id)
assert state.self_assessment == {"missed": ["q_people"], "comment": "растерялся на адресе"}
assert state.score["score_auto"] >= 0
def test_trainee_gets_no_score_without_self_assessment(client):
"""Отсутствие события проверяется подпиской на очередь курсанта:
ждать его из сокета нечем — чтение заблокируется навсегда."""
from app.domain.events import ScoreReady
with lesson(client) as (session_id, _):
state = hub.get(session_id)
with hub.trainee(session_id) as queue:
with client.websocket_connect(f"/ws/call/{session_id}") as trainee:
trainee.send_json({"type": "call.answer"})
trainee.send_json({"type": "call.hangup"})
wait_for(lambda: state.score is not None)
time.sleep(0.3)
delivered = []
while not queue.empty():
delivered.append(queue.get_nowait())
assert not any(isinstance(event, ScoreReady) for event in delivered), (
"оценка ушла курсанту до самооценки"
)
def test_checklist_is_closed_until_the_call_is_over(client):
"""Во время звонка чек-лист — это содержимое подсказок."""
with lesson(client) as (session_id, _):
during = client.get(f"/api/sessions/{session_id}/checklist")
assert during.status_code == 409, during.text
with client.websocket_connect(f"/ws/call/{session_id}") as trainee:
trainee.send_json({"type": "call.answer"})
trainee.send_json({"type": "call.hangup"})
wait_for(lambda: hub.get(session_id).ended)
after = client.get(f"/api/sessions/{session_id}/checklist")
assert after.status_code == 200
assert all(item["question"] for item in after.json())