Войдите для быстрого доступа к лучшим предложениям. Нажмите здесь если у вас нет аккаунта.

Middle / Senior / Lead Big Data developer Полная занятость вакансия

3 месяца назад Программист Java Москва   36 просмотров
Подробности вакансии

В компанию ЦРПТ (Центр развития перспективных технологий) требуется Middle / Senior / Lead Big Data developer.

Мы в поиске Middle / Senior / Lead Big Data developer в нашу команду разработки аналитических систем. Команда занимается построением и развитием высоконагруженных аналитических сервисов для уникальной глобальной всероссийской информационной системы.

АНАЛИТИЧЕСКАЯ BIGDATA -ПЛАТФОРМА В ЦИФРАХ:

240 млрд фактов по кодам маркировки

3Пб объем данных в HDFS

8 кластеров, больше 6000 ядер

ТЕКУЩИЙ СТЕК АНАЛИТИЧЕСКОЙ КОМАНДЫ:

Hadoop: Yarn/HDFS/HBase/Phoenix

ClickHouse

Spark/Spark Streaming/Spark SQL/Scala

Hive

Airflow

Parquet/Hudi

Zeppelin/Jupyter Notebook

Задачи, которые предстоит решать:

  • Проектирование и разработка процессов обработки большого объема данных (как batch, так и stream processing), а также системы их интеллектуальной агрегации), разработка модульных автоматизированных тестов
  • Проработка алгоритмов преобразования данных для подготовки аналитических агрегатов и выборок на их основе
  • Участие в организации нагрузочного и функционального тестирования

Пожелания к опыту:

Опыт разработки как batch, так и streaming ETL процессов в информационных системах типа Информационных Хранилищ (они же КХД, DWH и т.п.)

Хорошие знания и опыт применения SQL запросов для 2-3 распространённых СУБД

Опыт работы с продуктами Hadoop, Spark, AirFlow

Навыки разработки на одном из распространённых языков программирования: Java/Scala, SQL (хранимые процедуры), Python, bash

Опыт автоматизированного тестирования ETL процессов

Работа с OS Linux/Unix

Приветствуется:

Понимание принципов линейного масштабирования СУБД и прикладных систем

Знания и опыт работы с продуктами СУБД Clickhouse, Kafka, Nifi

Понимание и опыт использования docker контейнеров

Опыт работы с решениями/системами CI/CD

Что вам точно понравится:

Сложные и интересные задачи, работа с реально большими объемами данных и современным востребованным стеком.

Возможность "пощупать" новые технологии и прокачать скиллы, постоянно развиваться

Молодая, экспертная, увлеченная и талантливая команда, у которой можно многому научиться, культура открытости и взаимопомощи

Конкурентная ЗП, оформление по ТК РФ

ДМС со стоматологией после испытательного срока, ДМС для семьи с корпоративными скидками

Страхование жизни и здоровья.

Мобильное рабочее место на базе последних MacBook / Windows

Оплачиваемые митапы, конференции

Гибкое начало рабочего дня, работа по Agile

Возможность работать удаленно/частично удаленно, в офисе класса А (с массажным креслом, PlayStation, кикером) в Санкт-Петербурге рядом с метро Горьковская.

На период пандемии работа в удаленном формате

“Кафетерий” льгот (возмещение расходов на любое самообразование, спорт, ДМС для членов семьи, доступ к ИТ сервисам и т.д)

Центр развития перспективных технологий создан для реализации глобальных проектов в цифровой экономике, формирует необходимую экспертную и технологическую инфраструктуру.

Мы создаем систему цифровой маркировки и прослеживания товаров "Честный Знак" в России и странах ЕАЭС. С ее помощью можно гарантировать подлинность товаров и снизить уровень контрафактной продукции. Наша система - уникальный продукт, аналогов которому в мире на данный момент просто нет. У нас вы встретите сложнейшие технологические задачи, будете участвовать в создании полезного для потребителя продукта. Изнутри увидите весь процесс целиком, как молоко оказывается на прилавке, как пиво разливают в кеги, и как бутилированная вода попадает в бутылки, а затем на полки магазинов.

Уже сейчас мы выявляем поддельные лекарства, находим контрафактную обувь и определяем недобросовестных производителей.

А еще мы создаем Национальный каталог товаров, где впервые будет собрана информация обо всех товарах на российском рынке. Он станет единым источником информации для всех участников товарооборота. В нем будет храниться разрешительная и сопроводительная документация, необходимая для реализации товаров на территории Российской Федерации.

Описание компании
ЦРПТ (Центр развития перспективных технологий)