Kubernetes Operator на Python: пишем AI Gateway Operator для LLM-моделей

Некоторые статьи пишутся легко. Про Kubernetes, про GitOps, про очередного «убийцу Docker» - сел, налил кофе, открыл терминал, понеслось. А некоторые статьи пишутся с нервным смешком человека, который видел слишком многое...

Эта заметка - из второй категории.

Мир искусственного интеллекта в 2026 году напоминает Kubernetes-кластер после пятницы релиза: всё горит, масштабируется, жужжит видеокартами и требует "ещё чуть-чуть VRAM".
Модели становятся больше, запросов больше, GPU дороже, а разработчики всё ещё иногда запускают inference через Flask + torch.load() внутри одного контейнера.

Есть два типа инфраструктурных инженеров:

- те, у кого сертификаты лежат в

/root/certs-final-final-REAL/

- и те, кто уже поставил себе нормальный PKI на HashiCorp Vault.

Сегодня как раз про вторых. Ну или про тех, кто очень скоро ими станет. Потому что рано или поздно любая инфраструктура приходит к простой мысли:

“А может хватит руками генерировать сертификаты в три часа ночи через openssl?”

И тут появляется Vault PKI.

В два часа ночи инфраструктура выглядит совсем не так, как на архитектурных диаграммах, которые любят показывать на внутренних демо и квартальных встречах. На схемах всё красиво и упорядоченно: Kubernetes-кластеры выстроены ровными прямоугольниками, CI/CD-пайплайны текут по аккуратным стрелкам, системы наблюдаемости заботливо собирают телеметрию, а процессы реагирования на инциденты расписаны настолько подробно, что остаётся лишь следовать инструкции. Реальность, как обычно, значительно менее фотогенична. Дежурный инженер открывает ноутбук, пытается одной рукой удержать кружку с давно остывшим кофе, а другой переключается между Prometheus, Grafana, терминалом, журналами приложений, корпоративным чатом и GitLab. Вкладок открыто столько, что даже браузер начинает вести себя как пассивно-агрессивный коллега, намекающий, что человеку давно пора спать.

Есть один любопытный закон развития инфраструктуры. Сначала инженер управляет виртуальными машинами через веб-интерфейс. Затем открывает для себя Bash и автоматизирует всё подряд: резервные копии, обновления, мониторинг и даже развёртывание сервисов. Потом появляются Terraform, Ansible, GitOps и Kubernetes, после чего кто-нибудь обязательно заявляет: "Bash умер".

Проходит несколько лет, и выясняется, что очередной инцидент снова приходится устранять небольшим сценарием оболочки, написанным за десять минут.

Есть один неловкий момент, о котором инфраструктурщики, разработчики и архитекторы обычно говорят не со сцены и не во время официальных дискуссий. Такие разговоры случаются значительно позже - когда закончились последние доклады, бейджики перекочевали в карманы рюкзаков, а люди наконец перестали играть роли представителей компаний и снова становятся просто инженерами. Обычно это происходит где-нибудь в лобби гостиницы, возле кофемашины или за столиком в баре, когда разговор неожиданно сворачивает с обсуждения "платформенного подхода" и "инженерной синергии" к чему-то значительно более честному.