Архитектор / Разработчик DWH

На работу требуется архитектор в г. Москва.Привет Я Кирилл, тимлид команды Business Intelligence в Профи. Наш сервис маркетплейс услуг, который помогает клиентам и специалистам встретиться. В моей команде четыре человека: BI-аналитик, два дата-инженера и я. Когда нужно, помогают продуктовые аналитики. Недавно мы решили перейти с Vetrica на GreenPlum. Хотим не просто перенести все процессы, но и улучшить их по пути. Сделать востребованное аналитиками хранилище с данными, которым доверяют. Предстоит разработать подходящую под наши задачи архитектуру, сделать единую систему наименований полей, унифицированную систему расчёта метрик между базами данных, улучшить документацию, мониторинг состояния витрин многое другое. Ищем сильного архитектора, который с этим поможет. ТЕХНОЛОГИИ Основа хранилища базы данных Vertica и ClickHouse, начали переход с Vertica на GreenPlum. Архитектура хранилища: якорная модель, схема звезда для слоя витрин. MySQL основной источник данных и БД для сервисов. Оркестрация загрузки данных с помощью Apache Airflow. Система документации на базе OpenMetadata. ЗАЧЕМ ТЕБЕ К НАМ Творить. Переход на GreenPlum для нас возможность полностью пересмотреть наше хранилище и сделать его таким, чтобы нам самим было в кайф им пользоваться и была 100% уверенность в качестве данных. У тебя будет полный карт-бланш на воплощение идей. Заниматься по-настоящему важным направлением. Все в компании понимают, насколько важно заботиться о хранилище и качестве данных. Поэтому всегда можно рассчитывать на помощь аналитиков, продактов и других команд. А ещё точно будешь получать море благодарностей от бизнеса при каждом улучшении процессов и качества данных :) Наслаждаться культурой компании. Тебе точно у нас понравится. Мы любим не только работать вместе, но и отдыхать. Устраиваем соревнования по горным лыжам и сноуборду, зимуем на вилле в Турции, бегаем марафоны, играем в настолки в офисе, летом устраиваем корпоративный фестиваль Профикэмп (в прошлый раз мы с командой построили там пятиметровую мельницу, просто так :)). ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ В первое время: Познакомиться с хранилищем и процессами в нём. Изучить сущности источников данных и взаимосвязи между ними. Вместе с командой провести ревью принятых решений, касающихся модели данных. Спроектировать и реализовать несколько витрин на замену старым. В целом: Формировать и развивать архитектуру хранения данных в аналитическом хранилище на GreenPlum и ClickHouse. Отвечать за соблюдение архитектуры хранения данных, проводить ревью кода: трансформаций данных (промежуточные структуры), наполняющего детальный слой данных ( DDS), наполняющего отчётный слой данных (витрины). Консультировать аналитиков по подготовке данных для Tableau/Metabase. Писать код загрузки данных от источника до отчётного слоя в рамках инструментов BI-платформы. ЧТО НУЖНО, ЧТОБЫ К НАМ ПРИСОЕДИНИТЬСЯ Уверенное знание SQL: MySQL или PostgreSQL и любая MPP-база, типы джойнов, агрегации, аналитические функции, план запроса, индексы, партиционирование, дистрибьюция. Знание архитектур Anchor model или Data Vault 2.0, звезда и снежинка. Умение работать с системами контроля версий: Git и Gitlab/GitHub/Bitbucket Умение разбираться в чужом коде. В основном SQL, редко Python. ЧТО МЫ ЗА ЭТО ПРЕДЛАГАЕМ Зарплату в рынке или выше. Пересматриваем зарплату и грейд два раза в год. Свободный формат работы. Мы не контролируем рабочее время и количество часов, проведённых за компьютером. Можно ходить в офис в Москве, работать из дома или путешествовать по миру. Главное выполнять свои задачи, ходить на общие встречи и не подводить команду :) Опционы тем, кто круто себя проявит. Будешь брать большие проекты, развиваться и вдохновлять команду своим примером они твои. Бесплатный ДМС со стоматологией. Выбрали лучшие клиники в РФ и СНГ. В других странах компенсируем походы к врачу или мед. страховку, которую ты выберешь. Современную технику вы