Наша команда занимается задачами, связанными с интеллектуальной обработкой документов, созданием систем OCR/HCR, парсингом таблиц, работой со структурированными документами (ID, формы и т.д.), извлечением сущностей и фактов из текстовой информации. Сейчас в пайпланах используется более десятка различных DL моделей, выстроен процесс сбора и разметки данных, собственная команда разметчиков, инфраструктура трекинга экспериментов и управления датасетам, кластер из нескольких DGX для проведения экспериментов) Нашими решениями (SberOCR, DocID) пользуется уже несколько десятков команд банка и мы продолжаем активно вкладываться в ресерч с целью улучшение существующих продуктов и развития новых инициатив. Мы расширяем команду и ищем коллег для работы над сложными задачами связанными с анализом структуры документов, восстановлением порядка чтения с учетом семантики и улучшения существующих решений. Задачи: - Развитие собственного движка обработки документов OCR. - Развитие transformer-based и graph-based подходов к анализу структуры документов (layout analysis) и восстановлению порядка чтения (reading order). - Развитие text spotting методов. - Участие в создание универсальных foundation models для обработки документов. - Разработка методов исправления опечаток на основе LLM. - Улучшение генераторов синтетических данных. Обязанности: - Имплементация и обучение моделей OCR, детекции текста, детекции объектов, сегментации и классификации. -Чтение статей и перекладывание SOTA на пром рельсы, в том числе GCN, LayoutLM V3, UDOP, Donut, UNIfied scene Text Spotter (UNITS). - Запуск распределенного обучения на GPU кластере MLSpace (Кристофари). - Организация циклов дообучения на новых данных (постановка задач разметчикам, запуск crowdsource майнинга данных и т.д). - Оптимизация моделей для исполнения: квантизация и дистилляция моделей. - Портирование на :tensorrt: и :openvino: - Релизы новых моделей в среды исполнения. Ожидаем от кандидата: - Отличное знание одного из pytorch, tf + numpy, sklearn, pandas -Опыт разработки/обучения/внедрения одной или нескольких типов моделей: object detection , semantic segmentation, instance segmentation, OCR, text detection, text spotting, transformers, multimodal transformers и т.д. - Хорошее знание классического CV и OpenCV - Хорошее знание алгоритмов, python3, ООП, SOLID, git, docker - Желание изучать новые подходы, модели и технологии Плюсом будет: - Хороший профиль на :github: - Медальки на :kaggle: - Опыт в обучение мультимодальных моделей - Опыт работы с ClearML/MLflow, Kubeflow, DVC/LakeFS, S3/Minio, Airflow, Jenkins, Grafana Мы предлагаем: Офис/гибрид/удаленка; Достойный годовой бонус; ДМС с первого дня работы, через 3 месяца льготная медицинская страховка для близких; Наши сотрудники учувствуют в IT конференциях, митапах; Обучение за счет компании: корпоративный университет в Подмосковье, виртуальная школа Сбера, повышение квалификации; Большой спортзал в офисе; Реферальная программа для сотрудников; Скидки на отдых на лучших курортах (Сочи, Алтай, Крым); Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров: Okko, Сбер Маркет, Самокат, Сбер Еаптека, Delivery Club и другие Корпоративная пенсионная программа; Льготные условия кредитования/ипотеки для сотрудников, рефинансирование; офис: Москва, Кутузовский пр-кт, 32 (м. Кутузовская). Атмосфера стартапа внутри надежного Большого Сбера