Data Engineer / Разработчик Big Data / Инженер Данных

На работу требуется data engineer в г. Москва.Приветствуем тебя, будущий участник нашей прогрессивной команды Мы аккредитованная IT-компания "Платформа больших данных" разрабатываем IT-продукты для бизнеса на основе big data. Наша компания объединила данные и компетенции крупнейших игроков рынка, ВТБ, Ростелекома и множества других партнеров. Мы создали 9 уникальных IT-продуктов для бизнеса на основе bid data по различным направлениям: финансовые сервисы, геоаналитика и рекламные направления. Мы занимаемся объединением данных о телесмотрении, интернет-логах и данных о покупках для каждого уникального пользователя и на основании этого создаем различные продукты. Один из них аналитические отчеты об успешности рекламных ТВ-кампаний, что помогает заказчику эффективнее планировать рекламный бюджет. У нас очень большой объем данных и большой простор для работы с ними. Наши преимущества: - Работа в одной из высокотехнологичных аккредитованных российских IT-компаний - Участник Сколково - Работу с отличной командой настоящих профессионалов (в компании более 100 человек) - Полис ДМС со стоматологией - Скидки на изучение английского, сессии психолога - Гибкое начало дня - Можно работать полностью удаленно в РФ либо гибридно (по вашему усмотрению) - Официальное оформление с 1-ого рабочего дня - Баланс жизни и работы, отличная команда - Мероприятия для поддержания хорошего настроения (корпоративы, презентации новых IT-продуктов, сюрпризы) - Современное оборудование для работы Необходимые навыки: Отличное знание Python (Numpy, Pandas) и библиотеки pySpark Опыт работы с Git Плюсом будет опыт c Spark, Hadoop, Hive, Airflow Отличное знание SQL Понимание и интерес к области больших данных Понимание и интерес к data science решениям и ML Будет плюсом: Опыт проектирования высоконагруженных систем Знание http/https, dns и предметной области работы операторов (кликстрим, система сбора логов) Опыт работы с ClickHouse в продуктовых задачах и понимание его преимуществ Опыт работы с Docker Опыт работы с Kafka Твоими задачами станут: Разработка архитектуры решений по загрузке данных в кластер Интеграция систем обмена данными с различными источниками Оптимизация вычислений и работа с узкими местами платформы Реализация витрин данных на Spark Разработка и оптимизация ETL пайплайнов Перенос моделей машинного обучения в прод Refactoring, code review Сбор информации по источникам данных и их структуре Анализ логов Интернет-трафика, телесмотрения и телефонии Будем рады видеть тебя в нашей дружной команде профессионалов .Если мы не смогли ответить, то, скорее всего, вакансия не актуальна