SRE инженер Hadoop

Мы, команда SRE и DataOps-инженеров, сопровождаем аналитические системы ЧЗ, у которых ядром данных выступает «Аналитическая платформа».

Она построена в экосистеме Hadoop – ключевое в нем это HDFS, YARN, Spark, Ranger, Iceberg; Оркестратором ETL выступает Airflow, хранилище меты и справочников в PostgreSQL, а хранилище конечных агрегатов в Clickhouse; Брокером сообщений у нас работает Kafka, большинство приложений разворачиваем в k8s, а меньшинство – standalone.

У нас много работы - как операционной, так и исследовательской. Немало вызовов, с которыми мы сталкиваемся в повседневной работе, никто не решал до нас. Но это не значит мы только тушим пожары, вовсе нет – мы хранители прода и исследователи неизведанного одновременно.

• Поддержка и развитие инфраструктуры аналитической платформы, которая включает Hadoop, HBase и Kubernetes.
• Ведущая роль в организации работы и координации двух SRE уровня middle в вашей команде.
• Разработка и внедрение механизмов мониторинга, алертинга и логирования для обеспечения высокой доступности и производительности платформы.
• Оптимизация процессов автоматизации развертывания, обновлений и масштабирования сервисов в Kubernetes.
• Устранение неисправностей и проведение RCA.
• Взаимодействие с командами разработки и эксплуатации для улучшения качества обслуживания и стабильности платформы.
• Обеспечение отказоустойчивости системы и подготовка к масштабированию в условиях растущих объемов данных.

• Опыт работы с Kubernetes (k8s), включая настройку кластеров и управление контейнерами.
• Знания в области работы с распределенными системами, такими как HDFS, YARN, HBase, Kafka.
• Опыт работы с S3 системами хранения данных, такими как MinIO, Ceph или аналогичные.
• Умение работать с мониторингом на стеке VictoriaMetrics, логированием и алертингом в высоконагруженных системах.
• Умение писать скрипты на Python, Bash или Go для автоматизации процессов.
• Опыт работы с инструментами CI/CD (например, Gitlab, Nexus).
• Знание принципов обеспечения отказоустойчивости распределенных систем.
• Опыт руководства или наставничества, готовность брать на себя ответственность за координацию и поддержку работы команды.

Будет плюсом:

• Опыт работы с другими инструментами для аналитики и больших данных (например Spark, Iceberg).
• Опыт работы с инструментами для автоматического развертывания инфраструктуры (например Ansible, Salt).