Senior Data Engineer

Обязанности

Вы можете присоединиться к команде, которая занимается генеративной аналитикой и исследованиями того, как лучше решать существующие задачи с помощью RAG. Вы будете: заниматься поиском и внедрением передовых подходов к работе с данными с использованием ИИ. Исследовать, как применение передовых фреймворков для работы с RAG и LLM в целом влияет на результат. Создавать и поддерживать эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагать улучшения и варианты оптимизации существующей инфраструктуры, чтобы работать еще быстрее и с б льшим количеством данных. Задачи: разработка и настройка механизмов для автоматизированного сбора данных, обеспечение корректности и полноты сбора, оптимизация процессов таким образом, чтобы все работало быстрее и без ручного вмешательства. разработка пайплайнов для предобработки данных и их преобразования в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG. проектирование и реализация хранилища, которое позволило бы эффективно решать задачи, связанные с RAG. применение машинного обучения и искусственного интеллекта для улучшения результатов работы. поддержка корректной работы системы мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых Ожидания: умение проектировать DWH, Data Lake, Data Management Platform опыт построения и развития высоконагруженных систем опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+) продвинутый уровень владения Python и SQL опыт работы с движками для распределенной обработки данных (Spark, Trino) опыт работы с очередями сообщений (Kafka, RabbitMQ) опыт работы с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica) базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD Будет плюсом: опыт работы с облачными платформами (AWS, GCP, SberCloud) и хранилищами (S3, MinIO, Ceph) опыт backend-разработки опыт администрирования БД опыт разработки на GoLang Условия: гибкий стек инструментов и технологий можно пробовать новое, если точно знаете, зачем адекватный подход к управлению мы не ставим нереальных сроков и не предлагаем поработать в выходной ради высшего блага работа с крупнейшими массивами данных на рынке России гибкий график для оптимального баланса работы и личной жизни, возможна удалёнка дружный коллектив и здоровая атмосфера взаимопомощи амбициозные задачи профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека ДМС, страхование жизни Свободный дресс-код. Льготные кредиты и корпоративные скидки