DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.

Это закрытый живой DE-практикум. Вы развернёте у себя на ноутбуке мини-кластер (Spark + Postgres + JupyterLab в Docker) и соберёте сквозной ETL-пайплайн на реальном датасете интернет-магазина. ❗Как попасть на практикум Перед оплатой обязательно: Заполнить анкету. — я смотрю на ваши навыки, запросы и тех. параметры ПК. Написать мне в Telegram. — чтобы я оперативно увидел вашу анкету. Дождаться от меня подтверждения. После подтверждения вы получаете подробную инструкцию по старту — дата, что необходимо, детали, ответы на ваши вопросы. ✅ Что делаем шаг за шагом: поднимаем docker-стенд: Spark Master + 2 Worker’а + Postgres + JupyterLab; раскладываем сырые файлы по data/raw/…/ingest_date=YYYY-MM-DD; настраиваем загрузку RAW → STG по идемпотентному паттерну «replace по ingest_date»; проектируем CORE-слой: факты, измерения, event-даты и инкременты; готовим витрины под продуктовые вопросы и подаём их в BI; оформляем шаги в Airflow-DAG’и и настраиваем расписания. 🔥 Формат потока: Вы присылаете свой логин GitHub — я даю доступ, вы клонируете репо. Инфраструктура находится в приватном GitHub-репозитории. Все уроки, шаги, тесты и задания — на платформу Stepik. Прохождение курса поэтапное (завершили модуль — переходите к следующему). Это формат для тех, кто хочет получить сильный кейс в портфолио. Цель — чтобы к концу практикума у вас был живой мини-DWH и рабочий пайплайн. 📊 Скриншоты  Сквозной DAG по загрузке в STG Docker и стенд Репозиторий в GitHub Объектное хранилище Построение DWH в Postgers Spark + Jupyter Тренировка написания DAG’ов в Airflow 🔍 Цена Для потока 4 действует цена 35 000 ₽. Старт потока -23 июня 2026. 📌 Технические требования Для участия в практикуме вам потребуется: ноутбук/ПК c 16 ГБ ОЗУ (минимум 12 ГБ, но комфортнее 16+); Windows 10/11, Linux или macOS с включённой виртуализацией; установленный Docker Desktop / Docker (я даю инструкции); стабильный интернет; аккаунт на GitHub (вы присылаете логин, я даю доступ к приватному репозиторию).