Промт-инжиниринг

Первым этапом при интеграции языковых моделей в процессы компании является написание промтов и инструкций. Формирование правильных промтов и сценариев покрывает большинство задач автоматизации и является наименее затратным, но далеко не самым простым этапом.

Именно от качества промтов зависит способность модели адекватно реагировать на запросы и выдавать релевантные ответы.

Помимо промтинга, базовыми параметрами настройки являются температура и top-p. Температура регулирует случайность ответов: низкие значения делают результаты более предсказуемыми, высокие добавляют креативности. Top-p (nucleus sampling) выбирает слова из наиболее вероятных по заданной вероятностной границе, что помогает сосредоточиться на релевантных ответах.

Комбинируя температурные настройки и top-p, можно адаптировать уровень креативности и точности модели под конкретные задачи.

Базовая настройка LLM

Разнообразие видов промтов

Мы используем разнообразные типы промтов: Zero-shot Prompting, Few-shot Prompting и Chain-of-Thought Prompting. В сочетании с различными вариантами температуры и top-p, получаем разные уровни креативности. В ситуациях, когда необходимо генерировать идеи, повышаем настройки до максимума и не предоставляем примеры. В случаях, когда подключаемся к своей базе, то снижаем параметры до нуля, и вводим конкретные ориентиры, чтобы ИИ работал только с конкретными данными.

Эти базовые настройки совместно обеспечивают необходимый результат.

Создание шаблонов промтов

Для повседневных рутинных задач писать длинные промты каждый раз бывает неудобно. При настройке платформы мы анализируем повторяющиеся задачи и создаем шаблоны промтов. Эти шаблоны преобразуют запросы пользователей в большие инструкции, которые могут быть использованы в один клик.

Это значительно ускоряет работу, позволяет корректировать или создавать собственные шаблоны, упрощая и оптимизируя повседневные процессы.