Team Lead DS (NLP)

Открыт набор на вакансию team lead в г. Москва.Мы внедрили банковские и экосистемные LegaTech-продукты на основе SOTA-NLP моделей. Наши решения анализируют сотни типов входных документов, извлекают сложноструктурированные знания и помогают людям принимать на их основе ответственные решения. Это, например, позволяет оптимизировать работу банка по правовым рискам кредитных сделок, с минимальным участием человека. Мы идем дальше и нам нужен NLP-специалист, чтобы внедрять разрабатываемые в банке LLM-модели для их применения в правовой сфере. Обязанности Чем предстоит заниматься Если коротко необходимо переводить наши разработки на новый уровень (End-to-End) принятия решений, что связано с внедрением больших лингвистических моделей (LLM типа ChatGPT/LaMDA) в наши процессы. Спектр работ от поиска релевантных статей на Arxiv и проведения экспериментов до проверки моделей на реальных данных и вывода в Production: Анализ задач, RnD и подбор адекватных SOTA-решений, быстрая оценка эффективности их применения, оценка необходимых ресурсов (данные, вычисления), проверка гипотез, выработка плана разработки. Подготовка требований к составу, объему и форматам данных, необходимых для дообучения на примерах (SFT supervised fine-tuning) LLM на специализированном юридическом домене, взаимодействие с функциями DA/DE. Организация процесса превращения GPT/T5 моделей в Instruct LLM по методологии RLHF (обучение с подкреплением по обратной связи от человека как вариант). Участие в разработке инструментов разметки для целей тренировки Human Alignment GPT-моделей, в том числе, Reward Module (модуля наград RL-цикла тренировки GPT). Автогенерация обучающих примеров для Instruc LLM и другие способы (Zero shot learning) уменьшения издержек в процессе адаптации LLM под требования пользователей (Human Tasks Alignment) Изучение, разработка и внедрение подходов, обеспечивающих высокий уровень H-H-H: честности (Honest) полезности (Helpful) и безопасности (Harmless) это важно для правовой экспертизы. Улучшение уже применяющихся компонентов, моделей и пайплайнов сегментации и классификации, извлечения и связывания сущностей в используемом нами подходе к решению задачи NER, работа над ошибками моделей, доработка архитектуры. Умение разобраться в нюансах нашей доменной области. Мы также рассчитываем на активное участие успешных кандидатов в подготовке пилотных решений и демонстрации AI-продуктов перспективным клиентам вне Сбера. Наш текущий технологический стек: Python 3, Numpy, Pandas, OOP PyTorch, AllenNLP, ML Flow BERT-base трансформеры, в том числе трансформер-энкодер собственной разработки, LegalBERT Git, Dockers, PostgreSQL, MongoDB, FastAPI, etc Важно У нас есть свои инструменты разметки и свои разметчики Требования Наши ожидания от кандидатов: Реальный опыт разработки NLP-моделей, знание SOTA-подходов, умение их объяснить команде Отлично знание основ Data Science от линейной алгебры и теории вероятностей до DNN Понимание архитектуры и принципов устройства и обучения больших лингвистических моделей (LLM) и генеративных трансформеров типа GPT/Bert: Tokenizing, Position Encoding, (Masked) Multihead Attention, Batch/Layer Normalization и т.д. Понимание принципов обучения и применения моделей обучения с подкреплением (Reinforced Learning) Понимание основных методов Machine Learning (regressions, clustering, decision trees, и т.д.), уверенное знание когда их применять, а когда не надо Умение выстраивать Pipe Line машинного обучения и быстрое развертывание их в применении к GPT-подобным моделям Domain Data Mining / Augmentation / Unsupervised Learning/ SFT / RLHF / Validation / Self Confidence / Active Learning Оценка вычислительной сложности всего Pipe Line, применение классических алгоритмов для ее снижения Знание Computer Science на уровне, позволяющем управлять командой разработчиков от понимание классических алгоритмов до Unit Tests, Refactoring и основ Devops Готовность браться за нестандартные, сл