Как приручить LLM?

Чтобы LLM-ассистенты стали действительно полезными  в бизнесе, одних языковых моделей недостаточно. Ассистент на сайте компании должен не просто говорить на общие темы, как это умеют делать большие языковые модели, а давать ответы на основе специализированной информации о компании, ее процессах и продуктах. Именно поэтому всё больше компаний выбирают связку LLM + RAG, в которой ассистенты обучаются на корпоративных данных компании.

В этой статье рассказываем, почему RAG становится стандартом в enterprise-разработке, как устроены такие ассистенты, и что мы делаем, чтобы они давали корректные ответы.

Что происходит с RAG в 2025 году?

Сегодня уже очевидно, что если нужно, чтобы бот давал дружелюбные, но при этом точные ответы по базе знаний компании, использовать только LLM недостаточно. Наиболее эффективны для этих задач гибридные архитектуры LLM в комбинации с RAG.

Что дает RAG? 

Он обеспечивает доступ к актуальной и проверенной информации, извлекая нужные фрагменты из базы знаний компании. Это особенно важно, поскольку LLM сама по себе не знает данных компании, дает ответы из области общих знаний и может "галлюцинировать", что недопустимо для многих компаний. 

Что дает LLM? 

Она придаёт системе гибкость и удобство общения: понимает вопросы, сформулированные в свободной форме, и красиво, понятно, по-человечески формулирует ответы. Вместе они образуют мощную систему, в которой LLM опирается на фактическую информацию, найденную через RAG, а значит, консультант даёт не только понятные, но и достоверные ответы.   

В 2024 году RAG подтвердил свою эффективность, а в 2025 является основным методом для работы с неструктурированными данными, поиска и генерации информации. Буквально на наших глазах RAG становится стандартом для клиентского сервиса на основе генеративного ИИ. 

Но работа с RAG и LLM — это не просто "загрузил данные и получил ответ". LLM-модели склонны галлюцинировать, и архитектуры LLM в комбинации с RAG требуют тщательной настройки.   

Мы видим, как технология показывает хорошие результаты и активно развивается: появляются новые RAG-архитектуры и инструменты для повышения точности работы RAG-систем. Сейчас идет эволюционное развитие по двум направлениям. Первое — совершенствуется поиск через RAG. Используются новые, интересные эмбэддеры, которые позволяют более качественно вести поиск информации. Второе — сами LLM развиваются и адаптируются под RAG, растет объём данных, который они перерабатывают в поиске нужной информации, благодаря чему повышается качество ответов.

Сергей Четвертаков, генеральный директор Проф ИТ

Какие методы мы применяем, чтобы повысить точность ответов LLM-ассистентов

Мусор в базе знаний = мусор в ответах 

Чистим дублированные данные, убираем "воду", которая не несет полезной информации и структурируем базу знаний перед обучением.   

Одна embedding-модель на все случаи? Не работает. 

Подбираем под разные задачи разные модели и экспериментируем с формированием чанков: в вопросно-ответном формате, по абзацам, по семантической схожести, по размерам.   

Правильный промпт 

Используем качественный промпт (разной степени подробности для разных моделей), с указанием tone-of-voice, который нужно использовать, эталонных ответов и фраз, которые нельзя использовать.

Гибридный поиск   

Комбинируем семантический и полнотекстовый поиск по базе знаний, чтобы LLM получала более корректную информацию.

Разные LLM-модели для разных частей базы знаний 

Сегментируем базы знаний и обучаем разные модели отдельно на разных сегментах — так точность ответов вырастает в разы.

Словарь синонимов 

Для повышения релевантности извлекаемых данных большое внимание уделяем самому запросу пользователя: его нормализации, расширению и перефразированию (синонимы и альтернативные формулировки, добавление специальных терминов).

Качественные ответы LLM-ассистентов — это не только магия LLM-модели, но и продуманная инженерия: глубокая работа с данными, эксперименты с моделями и архитектурами и отладка множества деталей. Именно это позволяет создавать надежные ИИ-системы, которые действительно решают задачи бизнеса.

Хотите внедрить LLM-ассистента, которому можно доверять?

Напишите нам на  info@vocamate.ru. Мы знаем, как превратить связку LLM + RAG в надёжный рабочий инструмент для вашего бизнеса.  Наши экперты оценят задачи, проконсультируют, поделятся опытом похожих кейсов и подскажут оптимальное решение под ваши цели.