docs(architecture): document specialized Qwen2.5-0.5B + CTranslate2 fine-tuning architecture

This commit is contained in:
Antigravity committed 2026-10-09 15:34:06 +03:00
1 parent 7871191c90
commit 789960dc74
2 files changed
+110

No files matched your search

+15
View File
@@ -161,3 +161,18 @@ CREATE TABLE IF NOT EXISTS user_grammar_weaknesses (
- [ ] Оффлайн-кэширование аудио предложений в `data/audio_cache/` со сжатием в Opus и автоочисткой по TTL 7 дней (Zero Bloat).
- [ ] Фоновый экспорт главы в аудиокнигу для дороги и прогулок.
- [ ] Интерактивный Shadowing (прослушивание $\rightarrow$ повтор в микрофон $\rightarrow$ клиентская проверка).
---
### Этап 8: 🧠 Специализированная микро-модель перевода (Qwen2.5-0.5B + CTranslate2)
- [ ] Полная архитектурная спецификация: `docs/architecture/specialized-translation-model.md`
- [ ] **Цель**: Разгрузить сервер, снизить задержку читалки до 100–150 мс и избавиться от сетевого оверхеда Ollama при чтении.
- [ ] **Разделение ролей**:
- Читалка (контекстный перевод предложений + целевое слово в JSON): `Qwen2.5-0.5B-Instruct` через CTranslate2 (in-process в Python, ~350 МБ RAM).
- Итоги урока (Debrief): `Qwen2.5-3B` on-demand (Ollama `keep_alive: 5m`) или детерминированный движок Мерфи.
- [ ] **Пайплайн реализации**:
- [ ] Сборка синтетического датасета `train.jsonl` (1500–3000 пар `(sentence, word, context, hints) -> JSON`).
- [ ] LoRA-дообучение на CPU VPS (AMD Ryzen 9 5950X, ~25–45 мин).
- [ ] Слияние и конвертация в CTranslate2 `int8` (`ct2-transformers-converter`).
- [ ] Прямая интеграция `ctranslate2.Generator` в `app/ai.py` с сохранением кэша SQLite.