Data Engineer в VK Видео

Обязанности

VK Видео это один из самых крупных сервисов потокового видео в России. Ежедневно им пользуются десятки миллионов людей, и перед нами стоит амбициозная задача стать видеосервисом 1 в РФ. Мы ищем дата-инженера, который будет разрабатывать и поддерживать процессы по обработке и поставке данных кабинета автора VK Видео. На их основе пользователи кабинета смогут проводить аналитику своих видео. Задачи: разрабатывать и поддерживать процессы по обработке и поставке данных для команд аналитики; выявлять и собирать требования к существующим и новым данным с последующим формированием конкретного заказа в команду разработки; сопровождать выполнение заказов по поставке данных на всех этапах, уточняя требования и проверяя результат. Требования: опыт работы дата-инженером / DWH-инженером / аналитиком-разработчиком от трёх лет; SQL: Spark SQL, ClickHouse; знания базовых алгоритмов, Python; понимание работы кластеров MPP, таких как Hadoop (Spark), YTsaurus; опыт работы с Airflow; опыт разработки и поддержки витрин DWH; опыт работы с передачей данных во внешние системы (Backend сервиса) будет плюсом.