Корпоративные ИИ-агенты — из чего собрать платформу и как защитить данные

Корпоративные ИИ-агенты работают на платформе из пяти слоёв: модели, шлюз к ним, чат для сотрудников, защита данных и агенты, которые выполняют задачи в системах компании. Почти для каждого слоя уже есть готовый проект с открытым кодом, поэтому писать платформу с нуля не нужно. Своими силами обычно делают две вещи: правила защиты данных под свою компанию и подключение к своим системам, например к 1С и CRM. Такие подключения мы делаем в рамках решений для автоматизации бизнеса.

Слой	Что делает	Готовые проекты
Модели	отвечают на запросы	vLLM, llama.cpp, облачные GigaChat и YandexGPT
Шлюз	один вход ко всем моделям, запасная модель при сбое, учёт расходов	Bifrost
Чат	рабочее место сотрудника	Open WebUI
Защита данных	находит и прячет персональные данные до отправки	Presidio
Агенты и подключения	выполняют задачи в 1С, CRM, документах	MCP-серверы, Deep Agents, OpenCode

Каждый слой можно заменить, не трогая остальные.

Корпоративная среда для ИИ-агентов: чат, защита данных, шлюз, модели и подключения к 1С и CRM

Где работают модели: свои серверы или облако

Первое решение: запускать модели у себя или брать облачные по API. Свои серверы нужны, когда данные нельзя отдавать наружу. Облако дешевле на старте и даёт модели сильнее тех, что помещаются на своё железо. Сколько стоит такой компьютер и когда он окупается, мы считали в статье про компьютер для локальной нейросети.

Скачать модель с открытыми весами, например Qwen, мало. Сотни сотрудников пишут одновременно, и запросы нужно обрабатывать параллельно. Это делает движок запуска моделей. vLLM рассчитан в первую очередь на серверы с видеокартами: он собирает входящие запросы в общий поток и экономно расходует память видеокарты, поэтому одна машина обслуживает больше людей. llama.cpp запускается почти на любом железе, включая обычные процессоры и Mac, и работает со сжатыми моделями: от 1,5 до 8 бит на параметр. Чем сильнее сжата модель, тем меньше памяти она занимает и тем заметнее теряет в качестве.

Оба движка отдают ответы в формате API OpenAI. Для бизнеса это значит, что остальные слои не нужно переделывать при смене модели: локальная Qwen и облачная модель подключаются одинаково.

Шлюз: один вход ко всем моделям и учёт расходов

Шлюз стоит между сотрудниками и моделями. Через него идут все запросы, к своей Qwen и к облачным моделям, поэтому лимиты и учёт настраивают в одном месте. В своих проектах мы ставим Bifrost: это шлюз с открытым кодом под лицензией Apache 2.0, через один API он подключает больше двадцати поставщиков моделей.

Bifrost закрывает четыре задачи. Первая: один вход ко всем моделям, сотрудникам и агентам не нужно знать, где какая модель работает. Вторая: запасная модель. Если поставщик не отвечает, шлюз сам переключает запрос на другую модель или другого поставщика, и работа не встаёт. Третья: MCP-шлюз. Через него модели получают доступ к подключённым инструментам, например к поиску по базе или к CRM. Четвёртая: учёт расходов, о нём ниже.

Шлюз легко спутать с движком вроде vLLM. vLLM запускает модель, а Bifrost только направляет запрос к нужной модели и считает, сколько потрачено. Каждому отделу или сотруднику выдают свой виртуальный ключ. Для ключа задают, какие модели ему доступны, сколько запросов и токенов он может отправить и какой бюджет потратить за месяц или квартал. Бюджет можно повесить и на команду целиком. Например, отдел продаж получает облачную модель с месячным бюджетом, а бухгалтерии внешние модели закрыты полностью.

Учёт работает, только если шлюз знает, от кого пришёл запрос. Если весь чат ходит в шлюз под одним общим ключом, вы увидите расход компании целиком, но не поймёте, какой отдел потратил бюджет.

Чат для сотрудников с входом через корпоративную учётку

Сотрудникам нужен привычный интерфейс, похожий на ChatGPT, но внутри компании. Часто берут Open WebUI: его разворачивают на своих серверах и подключают к шлюзу. Сотрудники входят через корпоративную учётную запись, Open WebUI поддерживает вход через Microsoft, Google и любую систему единого входа по стандарту OIDC, например Keycloak или Okta.

Права в Open WebUI раздают через группы. Группе открывают конкретные модели, базы знаний и инструменты. Группы можно синхронизировать с системой единого входа: человек перешёл из маркетинга в финансы, и при следующем входе его доступ поменялся сам. Например, финансовый отдел работает только с локальной моделью, а маркетингу дополнительно разрешены облачные.