На докладе расскажем о нашем решении по обеспечению георезерва для кластера Kafka — «Active-Passive Stretched cluster», и как нам в этом решении помогает инструмент для автоматизации ребалансировки нагрузки в кластере — Cruise Control: Обеспечение синхронности записи в оба датацентра, создание новых DC-aware Goal в Cruise Control, Anomaly detection + self healing для управления распределением реплик и лидеров

Автоматизация Hadoop-платформы: GitLab CI, Kerberos, Ranger и эксплуатация без ручной магии. Почему мониторинг зелёный, а платформа уже деградирует? Практика расследования проблем в больших Hadoop кластерах. Большой Hadoop в production: управляемость, а не просто отказоустойчивость 600+ серверов Hadoop: практика эксплуатации без вендорского волшебства

Вокруг Stateful-нагрузок в Kubernetes ходит много легенд. Виртуальные машины — как раз из таких. Мы считаем, что управлять ими силами оркестратора не только можно, но и нужно в современных реалиях, когда «классические» нагрузки в инфраструктуре стоят бок о бок с микросервисами. Просто нужно всё доработать, чтобы «подружить» технологии.

В докладе я расскажу о разработке Deckhouse Virtualization Platform — платформы виртуализации с оркестратором на базе Kubernetes. Вы узнаете, что мы сделали, чтобы ВМ в кубах была по-настоящему надёжной и можно было работать с ней как с обычным контейнером. Обсудим жизнь ВМ внутри пода, реализацию живой миграции между хранилищами и гипервизорами, особенности сети, а также предпосылки для создания своего решения.