LLM-инженер: от prompt-инжиниринга до production

# LLM-инженер: от prompt-инжиниринга до production End-to-end курс по построению production-LLM-приложений на Python. Не «hello world LangChain», а инженерный фокус: retry-логика, structured output, hybrid retrieval, eval-pipeline, prompt injection и observability — то, что отличает прототип на ноутбуке от сервиса с 99.5% uptime. ## Что внутри — **14 модулей** с теорией, кодом и автопроверкой — **20+ код-заданий** на pytest с моками (без походов в реальные LLM из тестов) — **Финальный проект** end-to-end RAG-сервиса с FastAPI + pgvector + RRF + цитированием + eval ## Чему научитесь 1. Разбираться в LLM как инженер — tokenization, embeddings, decoding, контекст-окно 2. Prompt-инженерия: zero/few-shot, CoT, self-consistency 3. Structured output и function calling с Pydantic-валидацией и retry 4. Когда LLM лучше классики на NLP-задачах, и когда наоборот 5. Спроектировать RAG-пайплайн под конкретную задачу: chunking, vector store, hybrid retrieval, reranking 6. Цитирование + post-hoc verification против галлюцинаций 7. Eval: golden datasets, RAGAS, recall@k, MRR, bootstrap CI, регрессия как CI-шаг 8. Построить LLM-агента с tool use, защитой от циклов; multi-agent routing 9. Production: caching, monitoring, fallback, latency, prompt injection guards 10. Собрать end-to-end сервис, которым можно показывать на собеседовании ## Для кого — Middle Python/Backend разработчики, входящие в LLM-стек — Junior/Middle ML без production-опыта в LLM — Старшие разработчики, которым нужен быстрый системный upgrade без академической воды ## Требования — Python intermediate (классы, async, типизация) — Базовое понимание ML/DL (что такое нейросеть, embedding, transformer — обзорно) — НЕ нужно: глубокий NLP-бэкграунд, GPU дома, опыт LLM в проде ## Уникальное — **Production-фокус** — production-граблили и их фиксы, а не описание API — **Российские реалии** — OpenAI-совместимые прокси-агрегаторы, GigaChat embeddings, Selectel/YaCloud-деплой, оплата ЮMoney/СБП — **Открытый demo-проект на GitHub** — reference-реализация финала, можно форкать — **Все код-задания работают без реального LLM в тестах** — автопроверка детерминированная — **Реальные академические источники** в каждом модуле (Vaswani, Karpukhin, Lewis, Yao, Wei, Wang, и др.) ## Программа **Часть 1. Базы** 1. Что такое LLM и как они работают 2. Prompt engineering 3. Setup и LLM-клиент 4. Structured output и function calling **Часть 2. NLP-задачи через LLM** 5. Классификация, NER, суммаризация через LLM **Часть 3. RAG** 6. Зачем RAG и когда он не нужен 7. Chunking стратегии и embeddings 8. Vector stores и retrieval (dense/sparse/hybrid) 9. Reranking и generation 10. Evaluation **Часть 4. LLM-агенты** 11. Tool use и единичные агенты 12. Multi-agent системы и роутинг **Часть 5. Production** 13. Production: caching, monitoring, security 14. Финальный проект — end-to-end LLM-приложение ## Сколько времени ~40-50 часов в среднем темпе. Большинство студентов проходят за 6-9 недель в режиме 1 модуль на 1-2 вечера.