Data Engineer

Требуется data engineer в г. Москва.Платформа Навигатор это BI решение от Сбер. Оно разрабатывается как для внутреннего пользования, так и для продажи. Внутри банка мы выступаем в роли целевой платформы интерактивной отчетности. В первую очередь фокусируясь на опыте топ-менеджеров. Коробочное решение для рынка это on-premise установка. Клиентское приложение доступно в web, iOS и Android. Архитектура Навигатора монолит + модули. Наша команда работает над разработкой BI-платформы. Поэтому наше приложение наполнено разными графиками, таблицами, диаграммами и прочими интересными визуализациями. Это не просто статичная картинка, а полноценный конструктор: от формы редактирования пользователя до визуального редактора интерфейса и запросов в базу. У нас очень много собственных решений, и мы часто предпочитаем их готовым библиотекам. И еще есть команда iOS-разработчиков, которые синхронно делают нативную версию. Тебе предстоит погрузиться в крупный проект, и продолжить его разработку. Мы ценим вовлеченность в решение задачи пользователя выше навыков программирования. Мы работаем по гибкой методологии и готовы пробовать новое. Коллеги всегда помогают в решении трудных задач. Обязанности проектирование и разработка систем обработки потоковых (NRT) данных поддержка и оптимизация ETL-процессов на платформе Hadoop R&D, реализация пилотов по выбору технологий обучение и консультирование команд по вопросам разработки решений обработки потоковых(NRT) данных участие в приемосдаточных испытаниях прикладного ПО, передающегося в промышленную эксплуатацию разбор и решение инцидентов прикладного ПО, находящегося в зоне ответственности. Требования понимание принципов разработки NRT решений опыт разработки на Apache Nifi понимание основных принципов работы Систем Хранения Данных(OLAP, DWH) уверенное владение SQL опыт работы с стеком технологий Hadoop, Spark,Kafka знание основ администрирования Linux опыт работы с CI/CD решениями на базе Jenkkins и Bitbucket/Git опыт программирования Java/Scala Будет плюсом: понимание основ облачных технологий и технологий виртуализации и контейнеризации. практический опыт автоматизации развёртывания ПО опыт написания постановок задач разработчикам опыт программирования Python. Технологии: Linux, Shell(Bash скрипт), Java/Scala, Apache NiFi, Spark, Spark Structured Streaming, Hadoop, HDFS, Hive, HBase, Yarn, Oozie, Apache Kafka, Clickhouse. Условия конкурентная заработная плата (оклад + годовые премии) социальный пакет (ДМС, страхование от несчастных случаев, льготное кредитование) возможность обучения и сертификации за счет компании материальная помощь при наступлении значимых событий в жизни дисконт-программы от компаний партнеров (фитнес, страхование, туризм) график работы на испытательный срок - офис (м. Ленинский проспект), далее гибрид подарки и мероприятия для детей сотрудников. Оздоровительные программы для детей сотрудников возможность принять участие в других крупных и уникальных проектах банка.