Руководитель направления (hadoop)

Мы, команда SRE и DataOps-инженеров, сопровождаем аналитические системы ЧЗ, у которых ядром данных выступает «Аналитическая платформа».

Она построена в экосистеме Hadoop – ключевое в нем это HDFS, YARN, Spark, Ranger, Iceberg; Оркестратором ETL выступает Airflow, хранилище меты и справочников в PostgreSQL, а хранилище конечных агрегатов в Clickhouse; Брокером сообщений у нас работает Kafka, большинство приложений разворачиваем в k8s, а меньшинство – standalone.

У нас много работы - как операционной, так и исследовательской. Немало вызовов, с которыми мы сталкиваемся в повседневной работе, никто не решал до нас. Но это не значит мы только тушим пожары, вовсе нет – мы хранители прода и исследователи неизведанного одновременно.

Так как мы ищем руководителя направления «Аналитическая платформа», то тебе предстоит выступать в роли технического лидера с командой из двух опытных инженеров :

• Проводить работы по обслуживанию компонент платформы. Как силами нашей команды, так и с помощью смежных команд. На это будет уходить половина твоего времени – у нас много компонентов платформы и разнообразный стэк.
• Осторожно внедрять новые технологические решения в продуктив совместно с командой DevOps. Мы стараемся соблюдать баланс между новизной и надежностью компонент, не допуская перекоса в какую-либо сторону. На это будет уходить треть твоего времени.
• Ежегодно масштабировать компоненты платформы чтобы она выдерживала хранение и обсчет всё возрастающих объемов данных. Наш парк машин составляет около 1000 железных серверов с емкостью озера данных порядка 40 PB. И это далеко не предел.
• Представлять команду эксплуатации аналитической платформы. Мы активно участвуем как в дискуссионной части разнообразных встреч, так и в тестирование гипотез.

• Опыт эксплуатации высоконагруженных отказоустойчивых систем. Желательно, систем платформенной разработки, а не сервисной. Количественный опыт в годах не важен, нам важно то, как много и насколько разнообразного опыта у тебя накопилось.
• Привычка вести документацию. Мы не храним тайные знания и шерим информацию между собой, опыляя друг друга.
• Грамотная речь и письмо в пределах правил русского языка. Мы много общаемся и переписываемся, поэтому грамотная речь и письмо для нас важны. Без фанатизма, но и без попустительства.
• Энергичность и инициативность. Работа на этой роли предполагает проактивную позицию, флегматикам попросту будет некомфортно.