BIA-Technologies бизнес-интегратор и разработчик инновационных программных решений. Более 10 лет мы создаём IT-продукты и оптимизируем процессы для повышения эффективности бизнеса своих заказчиков.В связи с расширением задач по data-lake направлению - мы ищем Ведущего инженера больших данных с уверенными знаниями и опытом применения Hadoop-технологий и сопутствующего стека, включая инструменты на базе Python. Чем предстоит заниматься: Развитие озера данных на базе Hadoop: проектирование озера данных, написание пайплайнов для подключения новых источников, написание интеграционных механизмов, в том числе для передачи данных в DWH, реализация механизмов параллельной обработки данных на базе Hadoop. Что важно: Значительный (от 3 лет) опыт работы с Hadoop и его экосистемой Hive, Spark, Kafka, Airflow и т.д; Хорошее знание SQL; Уверенный опыт программирования на Python; Отличное понимание процессов ETL/ELT и как их применять; Понимание принципов CI/CD; Широкий кругозор в технологиях хранения, обработки и анализа данных (СУБД, ETL-инструменты, BI-решения и т.д.) Будет плюсом: Опыт в администрировании Linux; Опыт работы с RDBMS: MSSQL Server и/или PostgreSQL; Опыт работы с Docker, Kubernetes; Опыт в областях: машинное обучение, интеллектуальный анализ данных, рекомендательные системы. Мы предлагаем: Достойный уровень заработной платы, официальное оформление в аккредитованной ИТ компании, социальные гарантии; Комфортные условия: гибкий график, удаленный или гибридный формат работы; ДМС + Программа Кафетерий льгот: сотрудники за счет компании могут компенсировать расходы на страхование, обучение, спорт, спортивный инвентарь; Развитие и обучение: ежегодный performance review, внутреннее и внешнее обучение.