Team lead дата инженеров (удаленно)

Примем на работу team lead в г. Москва.НИИ ВОСХОД мультисервисный партнер государства в области информационных технологий с 1972 года. Мы создаем инновационные ИТ-решения для органов власти, внедряем и развиваем новые форматы эффективного взаимодействия между государством и обществом. Институт специализируется на разработке и эксплуатации информационных систем, услугах в области информационной безопасности (в том числе создании средств криптографической защиты информации), а также разработке и развитии ИТ-архитектуры современных информационных систем и цифровых платформенных решений. НИИ ВОСХОД включен в реестр аккредитованных ИТ-компаний и организаций оборонно-промышленного комплекса. Проект: "Большие данные" Ваши будущие задачи: разработка и настройка ETL-процессов по преобразованию и загрузки данных; создание схемы загрузки информации в базу данных; импорт файлов из разных источников информации в хранилище; автоматизация процессов сбора информации с перемещением в информационную систему; проверка собранных данных с последующей очисткой от недостоверной, ошибочной и повторяющейся информации; разработка структуры, архитектуры и других параметров хранилища данных; трансформация и передача данных для последующего анализа в заданном формате; работа с базами данных, участие в разработке архитектуры данных, формирование логики наполнения и хранения данных; мониторинг и оптимизация процессов сборки витрин данных; предоставление экспертной поддержки внутренним потребителям по вопросам, связанным с использованием данных. Требования: опыт работы с SQL / python - от 4 лет; опыт лидирования команды; проекты по внедрению хранилищ данных, аналитических систем, проекты по внедрению BI; систем; уверенное владение:Scala, Java, SQL (HiveQL)Python (pandas, numpy, API для работы с Apache Kafka, Spark, Hadoop)Hadoop MapReduce, HDFSSpark, Airflow, KafkaREST API, dblink; дополнительно: NiFi, Kubernetes, Selenium, PySpark, GeoSpark, PostreSQL, PostGIS, Pentaho, SAP DS; Будет плюсом: знание dbt; опыт работы с большим объемом данных, внедрение хранилищ данных и регулярных расчетов в инфраструктуре Hadoop, опыт работы с геоданными. Мы предлагаем: стабильную белую и конкурентоспособную заработную плату; график работы 5/2 (офис, гибрид, полная удаленка); оформление по ТК РФ(срочный трудовой договор); комфортный, просторный офис (м. Проспект Вернадского/Мичуринский проспект); возможность карьерного и профессионального роста; отсутствие опен-спейсов и строгого дресс-кода; бесплатную охраняемую парковку на территории офиса; возможность обучения; спортивный зал в офисе.