Triton Inference Server - как перестать запускать нейросети через python app.py и начать жить как взрослый инфраструктурщик

Есть два типа инфраструктурных инженеров:

- те, у кого сертификаты лежат в

/root/certs-final-final-REAL/

- и те, кто уже поставил себе нормальный PKI на HashiCorp Vault.

Сегодня как раз про вторых. Ну или про тех, кто очень скоро ими станет. Потому что рано или поздно любая инфраструктура приходит к простой мысли:

“А может хватит руками генерировать сертификаты в три часа ночи через openssl?”

И тут появляется Vault PKI.

В два часа ночи инфраструктура выглядит совсем не так, как на архитектурных диаграммах, которые любят показывать на внутренних демо и квартальных встречах. На схемах всё красиво и упорядоченно: Kubernetes-кластеры выстроены ровными прямоугольниками, CI/CD-пайплайны текут по аккуратным стрелкам, системы наблюдаемости заботливо собирают телеметрию, а процессы реагирования на инциденты расписаны настолько подробно, что остаётся лишь следовать инструкции. Реальность, как обычно, значительно менее фотогенична. Дежурный инженер открывает ноутбук, пытается одной рукой удержать кружку с давно остывшим кофе, а другой переключается между Prometheus, Grafana, терминалом, журналами приложений, корпоративным чатом и GitLab. Вкладок открыто столько, что даже браузер начинает вести себя как пассивно-агрессивный коллега, намекающий, что человеку давно пора спать.

Есть один любопытный закон развития инфраструктуры. Сначала инженер управляет виртуальными машинами через веб-интерфейс. Затем открывает для себя Bash и автоматизирует всё подряд: резервные копии, обновления, мониторинг и даже развёртывание сервисов. Потом появляются Terraform, Ansible, GitOps и Kubernetes, после чего кто-нибудь обязательно заявляет: "Bash умер".

Проходит несколько лет, и выясняется, что очередной инцидент снова приходится устранять небольшим сценарием оболочки, написанным за десять минут.

Есть один неловкий момент, о котором инфраструктурщики, разработчики и архитекторы обычно говорят не со сцены и не во время официальных дискуссий. Такие разговоры случаются значительно позже - когда закончились последние доклады, бейджики перекочевали в карманы рюкзаков, а люди наконец перестали играть роли представителей компаний и снова становятся просто инженерами. Обычно это происходит где-нибудь в лобби гостиницы, возле кофемашины или за столиком в баре, когда разговор неожиданно сворачивает с обсуждения "платформенного подхода" и "инженерной синергии" к чему-то значительно более честному.

Есть момент, который почти невозможно заметить изнутри компании, пока он не случился. Вчера вы были той самой дерзкой командой, которая за выходные запускала новые сервисы, выкатывала изменения без длинных согласований и искренне гордилась тем, что "у нас всё по-простому". А потом однажды выясняется, что инфраструктурный счёт за месяц сопоставим с годовой зарплатой нескольких инженеров, крупный клиент спрашивает про RTO и RPO, служба информационной безопасности интересуется журналами аудита, а генеральный директор неожиданно хочет понять, почему отказ одного сервиса остановил продажи на несколько часов. И именно в этот момент становится очевидно: компания выросла. Даже если сама она ещё не готова себе в этом признаться.

В любой достаточно крупной компании существует старый как мир треугольник: инфраструктура, разработка и информационная безопасность. Формально все три направления работают на одну цель - создание надежных и безопасных сервисов для бизнеса. На практике же иногда кажется, что они участвуют в разных проектах, работают на разных заказчиков и говорят на разных языках. Разработчики хотят быстрее выкатывать новые функции. Инженеры инфраструктуры хотят, чтобы система не развалилась под нагрузкой и чтобы ночью никто не звонил с аварией. Специалисты по информационной безопасности хотят, чтобы все происходило безопасно и соответствовало требованиям регуляторов и внутренним политикам компании.