Jev от TypeSafe AI: что даёт автоматизации модель решений
Jev от TypeSafe AI выбирает решение из заданных вариантов и называет вероятность. Где это пригодится в автоматизации и что проверить до внедрения.
Jev от TypeSafe AI — модель, которая выбирает решение из заданных заранее вариантов и называет вероятность каждого. Текст она не пишет. По заявлению разработчика, она отвечает за 70–500 миллисекунд и не нарушает формат ответа. Для автоматизации Jev нужен там, где обычные языковые модели тормозят процесс: в разборе заявок, маршрутизации обращений и проверке ответов ИИ-агентов. Модель пока в раннем доступе, мы её не тестировали, поэтому цифры о скорости, цене и качестве принадлежат TypeSafe.
Что такое Jev и чем он отличается от чат-моделей
По описанию TypeSafe, Jev относится к новому классу моделей System One. Компания пишет, что вдохновлялась книгой Канемана «Думай медленно… решай быстро», где System One — быстрое интуитивное мышление.
Чат-модель отвечает строкой текста, и строку приходится разбирать: модель может ответить не в том формате или добавить лишнее. Jev отвечает готовыми значениями. Варианты ответа программист задаёт заранее, модель выбирает из них и прикладывает вероятности. На вход идёт обычный текст, например заявка клиента или данные из CRM.
TypeSafe сравнивает Jev с передовыми чат-моделями так:
| Чат-модели | Jev | |
|---|---|---|
| Ответ | Текст, который нужно разобрать и проверить | Значение из заданных вариантов и вероятности |
| Время ответа | От 3 до 329 секунд | От 70 до 500 миллисекунд |
| Вход, за миллион токенов | От $0,20 до $10 | $0,042 |
| Выход | Примерно в пять раз дороже входа | Бесплатно |
| Уверенность | Модель называет её словами, оценка часто завышена | Вероятность приходит с каждым ответом |
Взамен Jev отказывается от генерации текста: письмо клиенту или ответ в чате он не напишет. Его место там, где нужно принять решение.
Jev и ИИ-агенты: где он мог бы пригодиться
Агент говорит с человеком и действует, а Jev решает на развилках, что делать дальше. Так мы видим связку по описанию TypeSafe, самой связки мы не пробовали.
Агент на обычной языковой модели пишет ответы и вызывает инструменты: ищет заказ, создаёт сделку, ставит задачу. Между этими шагами ему приходится принимать мелкие решения: какой инструмент вызвать и хватает ли данных. Если отдавать каждое большой модели, это отдельный вызов, а ответ надо разбирать. Такие задачи TypeSafe называет подходящими для Jev: выбор из вариантов (поддерживается до 255), оценку и проверку ответов других моделей. Отдавать ли ему развилки агента, решаем мы: это наше предположение.
TypeSafe пишет: выдуманный вызов инструмента в агенте досаден, а в цепочке, где следующие шаги зависят от предыдущих, недопустим.
В ИИ-агентах для бизнеса Jev мог бы занять три места:
- Маршрутизатор. Понимает, о чём сообщение, и выбирает сценарий или инструмент.
- Контролёр. Оценивает черновик ответа до отправки клиенту: по теме ли он и нет ли в запросе попытки обойти инструкции агента.
- Диспетчер передачи человеку. По вероятности решает, отвечать самому или позвать сотрудника.
Все три места — развилки. Разговор и тексты остаются за языковой моделью.
