Apache Spark на Scala

Как стать Senior Data Engineer за 3 года и не сойти с ума Курс входит в линейку материалов канала Логово Дата-Инженера. Автор канала — Дима, Senior Data Engineer в Сбере. В канале публикуются hard-skill материалы по Data Engineering, разборы live-собеседований, заметки по архитектуре Enterprise-проектов и практические карты роста от junior до senior. О курсе Apache Spark на Scala — практический курс для тех, кто уже знает основы Scala и хочет уверенно работать со Spark в задачах дата-инженерии: читать, трансформировать, агрегировать, соединять, оптимизировать и сопровождать пайплайны данных. Что внутри 20 модулей и 130 уроков: от архитектуры Spark до итогового ETL-проекта. 646 тестовых вопросов для самопроверки. 479 практических задач и разборов решений. DataFrame, Dataset, Spark SQL, RDD, shuffle, join, partitioning, caching, AQE, Structured Streaming и production-настройки. Кому подойдет Дата-инженерам, backend-разработчикам и аналитикам, которые уже знакомы с базовым программированием и хотят перейти от учебных примеров к реальным Spark-пайплайнам. Формат Самостоятельное прохождение по схеме: теория, примеры на Scala/Spark, тест для самопроверки и практические задачи с решениями. Оценочная нагрузка: 90-130 часов. Результат После курса студент сможет запускать Spark-приложения, работать с DataFrame и Dataset API, читать Spark UI, выбирать join-стратегии, разбираться с shuffle и перекосом данных, строить batch/streaming-пайплайны и доводить Spark-задачи до production-уровня. Telegram Разборы по Spark, Kafka, Flink, Hadoop, Airflow, ClickHouse, S3, Docker/K8s, Python/Scala, live-собеседования и архитектура Enterprise-проектов публикуются в канале Логово Дата-Инженера.