Примем на работу senior data в г. Санкт-Петербург.Мы - ООО Сеть партнерств оператор подписки Газпром Бонус. Наши решения формируют новые рынки и потребительские привычки. Газпром Бонус это подписка-конструктор. В ней есть базовые предложения, которые пригодятся вам каждый день, а также тематические пакеты с дополнительными скидками и бонусами на медицину, косметику, гаджеты, путешествия и многое другое. На данный момент в подписку входят предложения более чем от 45 партнёров, включая OZON, Premier, Ленту, Газпромбанк, VK, Инвитро и др. Обязанности: Проектировать и разрабатывать ETL-процессы для batch и streaming загрузки данных Участвовать в проектировании DWH слоев и озера данных (data lake) Выстраивать систему автоматической кодогенерации для сборки данных на детальном слое согласно модели Data Vault Разрабатывать средства мониторинга и проверки качества данных Автоматизация процессов построения моделей и витрин данных Оптимизация существующих процессов обработки и преобразования данных Требования: Понимание концепции хранилищ данных (DWH, Data Lake): модели данных, слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузка Опыт работы с PostgreSQL, GreenPlum Понимание принципов работы БД: оптимизация запросов, планы выполнения, индексы, join Опыт продуктовой разработки Python, PySpark и Scala от года Опыт написания data pipelines, batch, streaming jobs Опыт работы с Kafka/Spark/Airflow/NiFi Условия: Аккредитованная ИТ компания Участие в крупном проекте на этапе активного развития Возможность создавать продукт, который приносит пользу людям и выгоду партнерам Белую заработную плату Поддержку рыночного уровня заработных плат за счет регулярного пересмотра компенсации График работы 5/2 с 9:00 до 18:00 Удаленная работа Расширенная программа ДМС со стоматологией Компенсация больничных до 100% Увеличенный размер отпуска - 31 день