RAG в AI-поддержке простыми словами
Retrieval-Augmented Generation простыми словами: как AI-чат на сайте отвечает по вашей базе знаний, а не выдумывает.
RAG расшифровывается как Retrieval-Augmented Generation — генерация, дополненная поиском. Длинное название скрывает простую идею: прежде чем ответить, модель заглядывает в ваши документы.
Зачем это нужно, понятно на примере. Спросите обычный чат-бот на базе языковой модели, сколько стоит доставка в вашем магазине. Он не знает, но ответит уверенно и с цифрой. Это и есть главная проблема языковых моделей в поддержке: они не знают ваших процессов, цен и правил, а «не знаю» говорить не любят.
Как это работает
Когда пользователь пишет в чат, вопрос не уходит в модель напрямую. Сначала система ищет в вашей базе знаний подходящие фрагменты, а потом передаёт их модели вместе с вопросом и инструкцией: отвечай только по этим материалам.
- Подготовка базы. FAQ, инструкции, условия доставки, описания товаров нарезаются на фрагменты по смыслу: абзац, раздел, ответ на один вопрос.
- Индексация. Для каждого фрагмента считается эмбеддинг — числовой вектор, который отражает смысл текста. Векторы хранятся в базе с поиском по близости.
- Поиск. Вопрос пользователя тоже превращается в вектор, и система находит фрагменты, близкие по смыслу. «Сколько ехать посылке» найдёт раздел «Сроки доставки», даже если слов «ехать» и «посылка» там нет.
- Генерация. Модель получает вопрос и найденные фрагменты и формулирует ответ, по возможности со ссылкой на источник.
Зачем это бизнесу
- Ответы по вашим данным. Модель опирается на ваши документы, а не на общие знания из интернета, и гадает гораздо реже.
- Ссылки на источник. В ответе можно показать, из какого раздела взята информация. Пользователь может проверить, а вы — понять, откуда взялась ошибка.
- Простое обновление. Поменялись условия возврата — обновили документ, и бот отвечает по-новому. Дообучать модель не нужно.
- Разграничение доступа. Клиенту бот отвечает по публичной базе, сотруднику — ещё и по внутренним регламентам.
RAG или дообучение модели
Частый вопрос: почему бы просто не дообучить модель на своих документах? Для задач поддержки RAG почти всегда практичнее.
- Актуальность. Дообученная модель знает то, что было в данных на момент обучения. Изменились цены — нужно обучать заново. В RAG достаточно обновить документ.
- Проверяемость. RAG показывает, откуда взят ответ. Дообученная модель просто «помнит», и понять, почему она ошиблась, сложно.
- Стоимость. Дообучение требует подготовки датасета и вычислений, а результат всё равно может выдумывать факты.
Дообучение имеет смысл для другого: научить модель особому стилю ответа, формату или узкой терминологии. Иногда эти подходы комбинируют, но начинать почти всегда стоит с RAG.
Где RAG ломается
RAG не волшебная таблетка. Качество ответа почти целиком определяется тем, что нашёл поиск.
- Плохая база знаний. Если в документах противоречия, устаревшие цены или ответа нет вовсе, бот это унаследует. Чаще всего работа над RAG-чатом начинается с наведения порядка в FAQ.
- Неудачная нарезка. Слишком мелкие фрагменты теряют контекст, слишком крупные тянут в ответ лишнее. Таблицы и списки требуют отдельной обработки.
- Точные термины. Артикулы, коды ошибок и названия моделей векторный поиск находит хуже, чем обычный по словам. Поэтому часто используют гибридный поиск: по смыслу и по ключевым словам одновременно.
- Галлюцинации никуда не деваются полностью. Модель всё ещё может досочинить. Помогают строгая инструкция, запрет отвечать без найденного источника и честное «не знаю, передаю оператору».
- Персональные данные. Если в чат попадают данные клиентов, нужно продумать, где работает модель и где хранится переписка.
Как запустить RAG-чат: чек-лист
- Соберите вопросы, которые реально задают клиенты: из почты, чатов, звонков.
- Проверьте, на какие из них есть актуальный ответ в документах. Допишите недостающее.
- Определите, где бот должен передавать разговор человеку.
- Подготовьте набор тестовых вопросов с правильными ответами и прогоняйте его после каждого изменения.
- Решите, кто и как обновляет базу знаний после запуска.
- Смотрите логи: на какие вопросы бот не нашёл ответа — это готовый список того, что дописать в FAQ.
Срок запуска зависит в первую очередь от состояния базы знаний: если FAQ и инструкции в порядке, рабочую версию можно собрать за несколько недель.
Мы делаем такие системы как AI-ассистента для сотрудников и клиентов и как чат-бот на сайте. Про выбор базы для векторов — в статье о векторных БД для RAG.
Хотите понять, потянет ли ваша база знаний AI-чат, — напишите в Telegram или MAX.