Зачем проходить тест на профессию «Дата-инженер Middle»?
Выбор профессии — одно из важнейших решений в жизни. Этот бесплатный онлайн-тест поможет определить, обладаете ли вы ключевыми качествами для работы Дата-инженер Middle.
За 3 минуты вы получите:
- Оценку пригодности к профессии по шкале от 0 до 100%
- Разбор сильных сторон и зон роста
- Персональные рекомендации по развитию
- Актуальную информацию о зарплате: 100 000 ₽
- Подборку проверенных курсов для обучения профессии
Тест основан на анализе требований работодателей к специалистам уровня Junior и Middle. Результаты носят рекомендательный характер и помогут сделать осознанный выбор.
Вопросы и ответы о тесте на профессию «Дата-инженер Middle»
Вы поддерживаете ETL-пайплайн, который ежедневно загружает данные из 20 источников. Внезапно время загрузки выросло с 2 до 6 часов, что привело к задержке отчётности. Логи показывают, что один из источников стал отдавать данные в 5 раз медленнее. Ваши действия?
Варианты ответа: Немедленно добавлю параллельную загрузку для этого источника и настрою алерт на деградацию, а также свяжусь с владельцем источника для выяснения причин., Увеличу таймаут и количество ретраев, чтобы пайплайн дожидался данных, и продолжу мониторить ситуацию., Отключу проблемный источник из пайплайна, чтобы не задерживать остальные данные, и сообщу аналитикам о неполноте..
Аналитики жалуются, что данные в отчёте за вчерашний день не соответствуют данным в источнике: расхождение около 5%. Вы проверили пайплайн — ошибок нет. Ваши действия?
Варианты ответа: Проведу сверку на уровне первичных ключей и временных меток, чтобы найти конкретные записи с расхождением, и выясню, не было ли поздних обновлений в источнике., Запущу пайплайн повторно, возможно, данные подгрузятся корректно., Скажу аналитикам, что данные верны, так как пайплайн отработал без ошибок..
Вам поручили оптимизировать запрос, который выполняется 30 минут и блокирует другие процессы в базе. Запрос агрегирует данные за последний год из таблицы в 10 ТБ. Ваши действия?
Варианты ответа: Проанализирую план запроса, добавлю партиционирование по дате, создам материализованное представление для часто используемых агрегатов и перепишу запрос с учётом индексов., Увеличу ресурсы сервера (CPU, RAM) и настрою приоритеты запросов, чтобы он не блокировал другие., Разобью запрос на несколько мелких и буду выполнять их последовательно, чтобы снизить нагрузку..
Бизнес-заказчик просит добавить в хранилище новый источник данных (CRM-систему) и настроить ежедневную загрузку. У вас нет опыта работы с этой CRM, а API документация неполная. Ваши действия?
Варианты ответа: Изучу доступные методы API, напишу прототип загрузки на Python, протестирую на тестовом стенде, затем согласую схему данных с заказчиком и внедрю в прод., Попрошу заказчика предоставить выгрузку в CSV, чтобы быстро начать, а API подключу позже., Откажусь от задачи, так как нет документации, и предложу заказчику обратиться к вендору CRM..
Вы заметили, что в вашем пайплайне периодически возникают ошибки из-за невалидных данных (например, отрицательные суммы заказов). Ошибки приводят к падению всего пайплайна. Ваши действия?
Варианты ответа: Добавлю этап валидации с логированием невалидных записей в отдельную таблицу и продолжением обработки валидных данных, а также настрою алерт для анализа причин., Настрою автоматический перезапуск пайплайна при ошибке, чтобы он сам восстанавливался., Игнорирую ошибки, так как они редки, и продолжу работу..