LLMops

Мы развиваем инфраструктуру для использования больших языковых моделей во внутренних продуктах, в том числе инструментах AI coding. Ищем инженера, который будет настраивать LLM-инстансы, повышать производительность inference и подбирать модели под задачи пользователей.

Вам предстоит работать с многоходовыми диалогами, длинными контекстами, параллельными запросами и потоковой генерацией. Важная часть роли — настройка профилей работы моделей для разных пользовательских сценариев.

За оборудование и Kubernetes отвечает команда DevOps. Ваша зона ответственности — inference-движки, настройки инстансов и моделей, качество и производительность их работы на подготовленной инфраструктуре.

• Запускать и настраивать LLM-инстансы с помощью vLLM, SGLang или аналогичных инструментов. Подбирать движки и конфигурации под модели, доступные ресурсы и задачи пользователей.
• Оптимизировать inference: настраивать параллелизм, batching, использование GPU-памяти, KV cache и prefix caching.
• Подбирать модели и пользовательские профили для AI coding, работы с документами, аналитики, диалоговых и агентных сценариев. Настраивать длину контекста, параметры генерации и reasoning, лимиты запросов.
• Настраивать маршрутизацию запросов между инстансами с учётом нагрузки, пользовательских сценариев и повторного использования контекста.
• Проводить воспроизводимые нагрузочные тесты и сравнивать модели и конфигурации на пользовательских задачах по качеству ответов, скорости и потреблению ресурсов.
• Использовать MLflow для учёта экспериментов, сохранения параметров, метрик и артефактов, сравнения результатов и управления версиями моделей.
• Следить за временем до первого токена, скоростью генерации, очередями, эффективностью кэша и ошибками. Диагностировать проблемы движков и конфигураций, совместно с DevOps разбирать инфраструктурные причины сбоев.
• Готовить и проверять обновления моделей и движков, автоматизировать повторяемые операции, поддерживать воспроизводимые конфигурации и возможность отката.
• Определять ресурсные требования и допустимую нагрузку на инстансы, готовить для DevOps обоснованные запросы на масштабирование.
• Вместе с продуктовыми командами согласовывать требования к качеству и скорости ответов, документировать проверенные настройки и рекомендации по использованию моделей.

• Практический опыт запуска и эксплуатации LLM на GPU в production или на стендах с существенной нагрузкой.
• Уверенное владение хотя бы одним inference-движком: vLLM, SGLang или аналогичным.
• Понимание этапов prefill и decode, механизмов batching и кэширования, влияния длины контекста и параллельности на производительность.
• Умение подбирать модели и настройки под пользовательские задачи, оценивать баланс качества, скорости и потребления ресурсов.
• Практический опыт работы с MLflow: ведение и сравнение экспериментов, логирование параметров, метрик и артефактов, работа с Model Registry.
• Уверенное владение Python и Linux, опыт работы с Docker и Git.
• Умение читать логи и метрики, диагностировать ошибки inference, нехватку GPU-памяти и снижение производительности.
• Опыт работы с HTTP API и потоковой генерацией, понимание таймаутов и повторных запросов.
• Умение ставить эксперименты, интерпретировать результаты с учётом ограничений измерений и оформлять выводы в понятные рекомендации.
• Опыт работы с LiteLLM и маршрутизацией запросов между моделями и инстансами.
• Опыт работы с MoE-моделями и распределённым inference.
• Практика квантизации и оценки её влияния на качество и производительность.
• Опыт автоматизированной оценки качества LLM, тестирования coding-ассистентов и агентных сценариев с вызовом инструментов.
• Понимание запуска приложений в Kubernetes на уровне взаимодействия с DevOps.