Data Engineer

Обязанности

SberDevices - новое направление компании, которое занимается созданием девайсов для массового пользователя и продуктов на основе речевых и голосовых технологий и многими другими интересными проектами. Наша команда занимается развитием Data Platform (платформы данных). Обязанности развивать платформу как self-service для аналитиков разрабатывать новые сервисы и фичи для удобства пользователей участвовать в проектировании и модернизации инфраструктуры поддерживать существующий функционал внедрять процедуры контроля качества данных оптимизировать и автоматизировать существующие процессы никакого массового ручного клепания витрин и написания одинаковых ETL Требования умение проектировать и разрабатывать пайплайны обработки данных с использованием инструментов планирования задач - Airflow, Oozie, Luigi и т.п. (у нас Airflow) опыт работы с МПП подобными системами таким как Greenplum, GaussDB и колоночными БД ClickHouse, Vertics и т.д. (у нас GaussDB и ClickHouse) опыт работы с S3 подобными системами (Amazon S3, Minio, Ceph) опыт работы с очередями Kafka, RabbitMq опыт применения технологии моделирования данных с высокой степенью нормализации Data Vault и/или Anchor modeling общие знания computer science на высоком уровне (алгоритмы, структуры данных, сложность по времени и т.д.) навыки работы с unix-подобными системами, знание базовых GNU core tools(grep, cat, more, top, tail, less, ps, wc, xargs, sed, awk и т.п.) опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive) будет плюсом базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform) опыт работы с инструментов BI (SuperSet, Metabase, Tableau, Power BI) будет плюсом Условия гибкий стек инструментов и технологий можно пробовать новое, если точно знаете, зачем адекватный подход к управлению мы не ставим нереальных сроков и не предлагаем поработать в выходной ради высшего блага работа с крупнейшими массивами данных на рынке России гибкий график для оптимального баланса работы и личной жизни, возможна удалёнка дружный коллектив и здоровая атмосфера взаимопомощи амбициозные задачи профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека ДМС, страхование жизни свободный дресс-код гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.