Data Engineer

Обязанности

В нашем трайбе SberWorks создается новая команда , которая займется разработкой и сопровождением отдельного внутреннего компонента-хранилища данных (Data Lake) в рамках новой платформы Productivity Platform . Этот компонент станет основой для хранения всех данных инструментов, входящих в платформу, и будет использоваться для построения аналитики производственного процесса, обучения AI ассистентов и передачи подготовленных витрин с данными потребителям. Цель создания платформы Productivity Platform обеспечить единый и бесшовный путь для команд Банка, сократив производственные затраты благодаря максимальной автоматизации и применению искусственного интеллекта на каждом этапе производственного процесса. Хранилище данных (Data Lake) "кровь" платформы, и ваша роль в этом проекте будет ключевой! Стек технологий проекта: Python, Flink, Airflow, Hadoop (Hive), Kafka, Postgres Обязанности Разработка PyFlink пайплайнов для обработки событий в NRT режиме (в том числе от Debezium) Написание AirFlow DAG для построения агрегированных витрин с использованием Spark Обеспечение бесперебойной работы поставки данных и в целом DataLake. Наша задача гарантировать стабильную и эффективную работу всей системы, минимизируя риски простоя и обеспечивая высокий уровень доступности данных Требования Уверенно владеешь Python3 Знаком со стеком технологий проекта Имел опыт промышленной разработки от 3-х лет Понимаешь цикл разработки - от постановки задачи до выкатки на прод Умеешь тестировать свой код (например, с помощью PyTest) Уверенно знаешь SQL Знаешь шаблоны проектирования и умеешь их применять Умеешь проводить ревью кода Будешь стремиться погружаться в продукт, а не "просто писать код" Условия Современный комфортный офис рядом с м. Кутузовская Гибридный график после испытательного срока Ежегодный пересмотр зарплаты и годовая премия Более 400 образовательных программ СберУниверситета. Возможность постоянно совершенствоваться и развивать профессиональные навыки. Программа адаптации и помощь руководителя на старте. Мы поможем вам быстро влиться в коллектив и начать продуктивную работу Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа. Забота о вас и ваших близких важный аспект нашего сотрудничества Корпоративный спортзал и зоны отдыха Ипотека выгоднее до 7% для каждого сотрудника. Специальные условия ипотечного кредитования сделают покупку жилья доступной Подписка СберПрайм+, скидки на продукты компаний-партнеров Вознаграждение за рекомендацию друзей в команду Сбера. Привлекая новых талантливых специалистов, вы можете заработать дополнительное вознаграждение Присоединяйтесь к нашей команде и станьте частью большого и важного проекта, который изменит подход к работе в Банке!