Data Engineer

Обязанности

Прикладная аналитическая платформа Сбер B2C это решение, позволяющее создавать аналитические витрины на DataLake по различным направлениям бизнеса. Синергия в продуктах и сервисах на основе клиентских путей, каждодневное предвосхищение потребностей клиента и формирование целостного предложения для сегментов от Сбера как экосистемы ключевая задача нашей команды. Мы активно расширяемся и усиливаем нашу команду, поэтому ищем Middle Data Engineer. Обязанности разработка витрин данных создание и оптимизация пайплайнов сбора и обработки данных разработка и оптимизация базового слоя хранилища данных контроль качества загружаемых данных. Требования отличные знания SQL: оптимизация запросов, понимание планов запроса, внутренней работы SQL (оптимизация запросов, hash join, nested loop, типы индексов и т.п.) владение фреймворком Spark и опыт разработки приложений на Spark знание и опыт программирования на Scala/Java, готовы рассмотреть Python знание основных компонент инфраструктуры Hadoop, понимание принципов их работы опыт работы со стриминговым ETL: Flink/Kafka, как плюс понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки, как плюс. Условия гибкий график официальное трудоустройство согласно ТК РФ белая заработная плата (оклад + годовая премия) страхование (от несчастных случаев, ДМС - с первого дня) оздоровительные программы для детей сотрудников возможность обучения за счет компании выплаты материальной помощи в особых/чрезвычайных случаях дисконт-программы от компаний партнеров (фитнес, страхование, туризм) гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ столовая на территории офиса.