Data Analyst

Обязанности

Наша команда создает и развивает продукт для построения Data Lineage (как данные перемещаются по слоям КХД) на различных технологических стеках хранения и преобразовании информации (от традиционных РСУБД : Oracle, PostgreSQL, GreenPlum,.. до Hadoop: Hive, Spark, ). Сейчас мы в поисках опытного дата-аналитика, который поможет не только поддержать наш целевой дата-продукт, но и примет активное участие в его развитии. Обязанности В части витрины: Поддержка созданного ETL по обработке Data Lineage; Активное участие в архитектурных решениях; Создание и улучшение алгоритмов обработки данных; Разработка схем подключения новых источников в ETL по обработке Data Lineage; Написание алгоритмов для переноса данных от источников до финальных витрин (PySpark, SQL, Python); Документирование работ в Confluence. В платформенной части хранилища перед нами стоят задачи: обеспечения бесперебойной работы потоков сбора метаданных; корректной консолидации огромного количества метаинформации; поддержание ее актуальности и историчности; обеспечение корректной интеграции данных с другими системами и сервисами Банка. В части взаимодействии с заказчиком предстоит: знакомить с нашим целевым решением поставки данных; проводить Proof of Concept идей; разрабатывать оптимальные алгоритмы обхода и визуализации графа Data Lineage. Требования Отличные знания SQL; Опыт разработки ETL-процессов; Знание стека Hadoop (HDFS, Spark, Hive); Опты работы с системами контроля версий (Git); Опыт решения задач сбора и обработки данных с помощью Python (Pyspark, pandas); Понимание принципов Data Governance: Data Lineage, Data catalog, Data quality, Data security and privacy; Знания принципов и подходов к построению архитектуры хранилища данных (подход Билла Инмона, подход Ральфа Кимбалла, подход Data Vault, парадигма Data Lake, Lake House). Условия комфортный современный офис рядом с м. Кутузовская офисный или гибридный формат работы ежегодный пересмотр зарплаты, годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа ипотека для сотрудников выгоднее до 4% бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера.