Fine-tuning нужен, когда компании нужна локальная модель, которая хорошо решает определённую задачу. Берём подходящую открытую модель и дообучаем её на примерах из вашей задачи. Модель работает на вашем сервере, данные не уходят наружу.
Второй случай: большая модель, которую слишком дорого обучать целиком. Её дообучаем методом LoRA, то есть обучаем только небольшой слой поверх модели. Вычислений на это нужно в разы меньше.
Сначала проверяем, решает ли задачу хорошо написанный промпт или RAG.
Дообучаем, когда модель должна работать локально и стабильно справляться с одной задачей.
Берём небольшую открытую модель: она отвечает быстро и работает на обычном сервере без видеокарты. Дообучаем её на примерах вашей задачи, после этого модель решает её стабильно.
Основу модели оставляем как есть и обучаем небольшой слой поверх неё. Если модель не помещается в память видеокарты, используем QLoRA: основу сжимаем и обучаем слой поверх сжатой модели.
Собираем примеры под задачу: из ваших данных или синтетические, если реальных мало или их нельзя использовать. Часть примеров откладываем на проверку и сравниваем модель до и после дообучения.
Опишите задачу, которую модель должна решать у вас на сервере. Скажем, хватит ли промпта или нужно дообучение.
Сканы документов → готовый договор, без ручной сортировки
Система комплексного анализа данных для поиска скрытых закономерностей.
Развертывание нейросетей в закрытом контуре компании для полной безопасности данных
Универсальный продукт для автоматической сортировки и маршрутизации любых входящих данных: писем, заявок, документов