Lead Data Engineer

Данные – это нефть 21 века. Данные «Честного знака» - настоящий «клондайк», глобальное месторождение эксклюзивных фактов о товарообороте страны. Мы трекаем поэкземплярно весь товарооборот маркированных товарных групп и на этом строим уникальные показатели.

Мы ищем крепкого техлида в bigdata-команду, обладающего экспертными знаниями в области построения систем на базе Hadoop/Spark, способного продумать и реализовать дорожную карту по развитию Озера данных «Честного знака».

• Руководить выделенной распределенной командой.
• Предлагать, отстаивать и реализовывать архитектурные решения.
• Руководить проектированием, разработкой и внедрением ключевых решений Озера данных с высококачественным образцовым кодом.
• Внедрение каталога данных, data lineage и бизнес-глоссария.
• Тесное сотрудничество с другими командами департамента по внедрению разработанных решений.
• Влияние на стратегию развития архитектуры платформы, руководство исследованиями и разработкой пилотных решений.

• Опыт построения хранилищ больших данных.
• Уверенные знания и опыт работы в стеке Spark (batch/streaming) on Hadoop.
• Опыт работы с реляционными БД.
• Экспертное знание SQL, уверенное знание Scala.
• Способность вести талантливых разработчиков к достижению конкретных целей в установленные сроки, а также нанимать и наставлять новых разработчиков.
• Способность руководить полным циклом процессов разработки программного обеспечения, который включает в себя: планирование, проектирование архитектуры, реализацию кода, тестирование и производственное развертывание.
• Практический опыт автоматизации ML задач.
• Знание и опыт работы с DevOps, понимание принципов CI/CD в области обработки данных.