ИИ-агент встал вместе с сервером: как построить инфраструктуру, которая переживает сбой

Когда падает сервер с ИИ-агентом, бизнес теряет накопленное агентом: базу знаний, историю обращений и настройки сценариев. Железо можно заменить. Данные без бэкапа не заменит никто. Поэтому инфраструктуру для ИИ-агентов мы строим от одного вопроса: что будет, если этот сервер исчезнет сегодня.

Что именно пропадает вместе с сервером

У агента нет «программы», которую можно скачать заново. Есть три слоя, и каждый стоит дорого.

Первый слой — данные: документы для базы знаний, переписки, записи клиентов и индексы, по которым агент ищет ответ. Настройки образуют второй слой: сценарии, подключения к CRM и почте, права доступа. Третий слой, сам сервер, держится на системных настройках. Пересобрать третий слой можно по инструкции, второй по записям. Первый без бэкапа не вернётся. Такую инфраструктуру мы закладываем в услуги по внедрению ИИ.

Данные: ежедневный бэкап вне сервера

Бэкап на том же сервере от поломки сервера не защищает. Мы делаем бэкап каждый день и кладём его в отдельное хранилище, у каждого сервера свой раздел. Всё зашифровано.

Две вещи уменьшают объём бэкапов.

Хранится только изменившееся. Система делит данные на блоки и записывает повторяющиеся блоки один раз. Это называется дедупликацией. Если за сутки изменилась небольшая часть данных, в хранилище уходит только она, а не весь объём заново. Сверху данные сжимаются.

Остановка на время снимка. Контейнеры (изолированные блоки, в которых работают сервисы) на время снимка останавливаются и после запускаются снова. Без этого база может записываться в момент бэкапа, и он получится «битым»: он есть, но восстановиться из него нельзя.

Развёртывание: сервер, который не жалко потерять

Бэкап данных решает половину задачи. Вторая половина: как быстро после сбоя поднять сервисы. Мы разворачиваем сервисы через одну панель, а не вручную на каждом сервере. Новый сервер подключается к панели, сервисы разворачиваются заново, а данные возвращаются из бэкапа.

Чтобы это работало, ключи доступа и файл с настройками панели лежат отдельно от сервера: в менеджере паролей и в закрытом репозитории. Если они хранятся только на самой машине, потеряв машину, вы потеряете и возможность восстановиться.

При восстановлении есть три ловушки. Права на файлы после возврата данных могут не совпасть с теми, под которыми работает сервис, и сервис уходит в бесконечный перезапуск. Расписание бэкапов нужно создать заново на новом сервере, иначе они молча перестанут делаться. А хранилища данных без имени надо сначала сверить с тем, что реально использует сервис, чтобы не восстанавливать пустоту.