Senior NLP Engineer (GigaChat Pretrain)

Обязанности

Мы команда GigaChat - создаём и развиваем core-технологию генеративной языковой модели. Она может писать тексты, создавать изображения и даже код на Python. Она умеет отвечать на вопросы, вести диалог, сочинять стихи и рассказы, придумывать идеи для бизнеса, писать письма и многое другое. Наша команда осенью выпустила сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики в статье), а этой зимой выложили в открытый доступ одну из наших MoE-моделей. Мы ведем набор на 4 направления: 1. Разработку фреймворка распределенного обучения GigaFSDP, исследование обучений в FP8 2. Развитие метрик качества GigaChat-a, например, через оценку способности решать задачи олимпиад международного уровня 3. Команду инфраструктуры обучений, 5-D параллелизм, в том числе ускорение обучений мультимодальных моделей 4. Разработку низкоуровневых оптимизаций операций на аппаратном уровне На эти роли мы ищем талантливого NLP Engineer, с которым мы будем вместе совершенствовать и развивать GigaChat. Для всех этих экспериментов у нас есть кластер с большим числом A/H 100'ых. Обязанности Довести качество до ChatGPT на русском и дальше обогнать его; Помогать решать бизнес-задачи с помощью нашей технологии сначала для внутренних клиентов в Сбере, а потом и внешним; Придумывать и внедрять новые применения для LLM; Помогать выводить в прод все, что мы обучим; Постоянно держаться up-to-date со свежими статьями. Требования Уверенное владение Python, Pytorch; Знание базовых алгоритмов и математики; Знания в DL, опыт обучения просто моделей и больших моделей; Опыт обучения моделей для продакшен; Понимание текущего состояния эволюции больших LLM's; C++ CUDA; Будет плюсом наличие публикаций. Условия Гибридный график работы на Кутузовском проспекте 32; Годовой бонус; Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.