Современные LLM — 2026

«Современные LLM» — инженерный курс о полном жизненном цикле языковой модели: от данных, токенизации и архитектуры до post-training, эффективного инференса, evaluation и прикладных систем. Курс нужен не для запоминания очередного списка моделей. Его цель — дать систематику, с которой можно читать model card и технический отчёт, проверять арифметику архитектуры, видеть цену проектного решения и отличать устойчивый механизм от датированного рыночного среза. Маршрут начинается с современного ландшафта LLM и базовых контрактов decoder-only Transformer. Далее рассматриваются токенизация и эмбеддинги, позиционные кодировки, attention, нормализация и активации, MoE, SSM/Mamba и диффузионные LLM; затем — данные и pretraining, KV-кэши, speculative decoding, квантизация, SFT, preference optimization, reasoning и test-time compute, multimodality, RAG, агенты и evaluation. Формулы связываются с проверяемым кодом. Ноутбуки показывают механизмы, численную устойчивость, батчинг, контрольные примеры и воспроизводимость. Это инженерно аккуратный учебный код, а не обещание production-ready реализации: специализированные GPU-ядра, распределённое обучение и промышленный serving требуют отдельной оптимизации под модель, runtime и железо. Версия на Stepik включает структурированный маршрут, автопроверяемые вопросы, аналитические и вычислительные упражнения, подробные решения, проверенные RU-ноутбуки, отдельные демонстрации к проектным упражнениям и итоговый Capstone. В Capstone вы собираете компактную MiniLLM от данных и byte-level BPE до post-training, инференса и контролируемых абляций. Внешней оценки проекта нет: итог фиксируется и оценивается самостоятельно. Русская и английская версии курса являются самостоятельными и синхронизированными изданиями. «Современные LLM» входит в развивающуюся серию самостоятельных курсов об ML и LLM. Сейчас вместе с ним в серию входят «Теория информации для машинного обучения от NLP и LLM до CV и RL» и «Reinforcement Learning для LLM». Серия может пополняться новыми курсами; каждый из них можно проходить отдельно, а перекрёстные ссылки предлагают дополнительное углубление, а не задают обязательные зависимости.