Data Engineer

Мы в Rubbles создаем решения на базе анализа данных и искусственного интеллекта для оптимизации технологических и бизнес-процессов такие как: системы предсказания спроса на товары в ритейле, рекомендательные системы в банках, цифровые двойники, cистемы поддержки принятия решений на производстве и многое другое. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий. Мы ищем data engineer'ов разного уровня для усиления нашего направления, которое занимается разработкой систем прогнозирования спроса на товары, ценообразования, автоматического подбора оптимальных промо-акций и др. Пример задач: Помощь коллегам DS в оптимизации их работающих пайплайнов. Проактивность с предложениями оптимизации; Взаимодействие с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании; Перенос кода расчетов из PostgreSQL на Spark и его последующие оптимизации; Настройка и поддержка стэндов с которых запускаются задания; Общение с коллегами DQ, выяснение деталей наполнения данных, участие в составлении БТ к данным; Написание ETL пайплайнов; Решение неожиданных проблем с данными, задержками их доставки; Настройка мониторинга разнообразных процессов; Ждем от кандитата: Уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0 (структуры данных, алгоритмы, концепции языка); Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов; Глубокие теоретические знания стека технологий и практический опыт (Spark, Hadoop, Hive); Linux; Опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP; Опыт оптимизаций sql-запросов и понимание оптимизаций на уровне spark catalyst; Опыт работы с MPP базами данных; Опыт работы с Airflow; Опыт работы с Postgres и Clickhouse; Знание и практический опыт использования Pandas и NumPy для продвинутой аналитики. На что ещё смотрим: Опыт работы с Kubernetes (K8S); Опыт Devops (Docker, Gitlab-CI, настройка окружения на серверах и др.); Опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными. У нас: Работа в одной из самых сильных ML-команд в России. Сильный коллектив DE/DS/DA и других специалистов. Есть возможность постоянно учиться и перенимать опыт; Реальная Big Data с терабайтами данных и современным стеком технологий; Гибкий график работы; Гибкий формат работы: полная удаленка/гибрид/офис в Мск. Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского; Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами; ДМС со стоматологией после испытательного срока (3 месяца) по всей России; При желании работать из офиса уютный офис в центре Москвы (2 минуты от м. Сухаревская) со всем необходимым для комфортной работы. Особенно актуальное: Мы аккредитованная ИТ-компания со всеми вытекающими льготами.