docs: update BUG-08 with 1h TTL keep-alive proposal

This commit is contained in:
Antigravity committed 2026-10-07 19:05:12 +03:00
1 parent b43f34fdfd
commit a01bf64445
1 file changed
+5 -1
+5 -1
View File
@@ -520,7 +520,11 @@
- **Диагностика**:
1. Холодный запуск Ollama для модели Qwen 2.5 3B (после разгрузки памяти) занимает ~18.5 секунд только на загрузку весов в RAM. Генерация 450 токенов JSON на CPU суммарно требует 45-60 секунд.
2. В `app/ai.py` (строка 579) таймаут httpx к Ollama выставлен в 25 секунд (`timeout=25.0`), из-за чего запрос рвется, а во фронтенде в `api.lessons.submitDebrief` нет клиентского таймаута с аварийным выходом.
- **Варианты решения**: добавить жесткий клиентский таймаут (8-10 сек) на фронтенде с мгновенным отображением сверхбыстрого детерминированного отчета (`generate_deterministic_debrief`, работающего за 1 мс), либо переключить фоновый дебрифинг на модель `qwen2.5:1.5b`.
3. Короткий TTL (`keep_alive: 5m`) приводит к тому, что к моменту окончания 10–15 минутного урока модель гарантированно выгружается из памяти, вызывая холодный старт прямо на финальном шаге.
- **Варианты решения**:
1. Увеличить TTL процесса нейросети с `5m` до `1h` (`OLLAMA_KEEP_ALIVE=1h` в `docker-compose.yml`, `config.py` и `ai.py`) — во время активной учебной сессии модель всегда «горячая» в памяти и отвечает за доли секунды, а при простое > 1 часа память автоматически освобождается.
2. Добавить жесткий клиентский таймаут (8-10 сек) на фронтенде с мгновенным отображением сверхбыстрого детерминированного отчета (`generate_deterministic_debrief`, работающего за 1 мс).
3. Рассмотреть использование легкой модели `qwen2.5:1.5b` для ультрабыстрого ответа.
- **Статус**: зафиксировано, ожидает команды на исправление.
---