RAG в AI-поддержке простыми словами

Retrieval-Augmented Generation простыми словами: как AI-чат на сайте отвечает по вашей базе знаний, а не выдумывает.

RAG в AI-поддержке простыми словами

RAG расшифровывается как Retrieval-Augmented Generation — генерация, дополненная поиском. Длинное название скрывает простую идею: прежде чем ответить, модель заглядывает в ваши документы.

Зачем это нужно, понятно на примере. Спросите обычный чат-бот на базе языковой модели, сколько стоит доставка в вашем магазине. Он не знает, но ответит уверенно и с цифрой. Это и есть главная проблема языковых моделей в поддержке: они не знают ваших процессов, цен и правил, а «не знаю» говорить не любят.

Пайплайн RAG: запрос — векторный поиск — LLM — ответ
RAG-пайплайн для чата на сайте.

Как это работает

Когда пользователь пишет в чат, вопрос не уходит в модель напрямую. Сначала система ищет в вашей базе знаний подходящие фрагменты, а потом передаёт их модели вместе с вопросом и инструкцией: отвечай только по этим материалам.

  1. Подготовка базы. FAQ, инструкции, условия доставки, описания товаров нарезаются на фрагменты по смыслу: абзац, раздел, ответ на один вопрос.
  2. Индексация. Для каждого фрагмента считается эмбеддинг — числовой вектор, который отражает смысл текста. Векторы хранятся в базе с поиском по близости.
  3. Поиск. Вопрос пользователя тоже превращается в вектор, и система находит фрагменты, близкие по смыслу. «Сколько ехать посылке» найдёт раздел «Сроки доставки», даже если слов «ехать» и «посылка» там нет.
  4. Генерация. Модель получает вопрос и найденные фрагменты и формулирует ответ, по возможности со ссылкой на источник.

Зачем это бизнесу

  • Ответы по вашим данным. Модель опирается на ваши документы, а не на общие знания из интернета, и гадает гораздо реже.
  • Ссылки на источник. В ответе можно показать, из какого раздела взята информация. Пользователь может проверить, а вы — понять, откуда взялась ошибка.
  • Простое обновление. Поменялись условия возврата — обновили документ, и бот отвечает по-новому. Дообучать модель не нужно.
  • Разграничение доступа. Клиенту бот отвечает по публичной базе, сотруднику — ещё и по внутренним регламентам.

RAG или дообучение модели

Частый вопрос: почему бы просто не дообучить модель на своих документах? Для задач поддержки RAG почти всегда практичнее.

  • Актуальность. Дообученная модель знает то, что было в данных на момент обучения. Изменились цены — нужно обучать заново. В RAG достаточно обновить документ.
  • Проверяемость. RAG показывает, откуда взят ответ. Дообученная модель просто «помнит», и понять, почему она ошиблась, сложно.
  • Стоимость. Дообучение требует подготовки датасета и вычислений, а результат всё равно может выдумывать факты.

Дообучение имеет смысл для другого: научить модель особому стилю ответа, формату или узкой терминологии. Иногда эти подходы комбинируют, но начинать почти всегда стоит с RAG.

Где RAG ломается

RAG не волшебная таблетка. Качество ответа почти целиком определяется тем, что нашёл поиск.

  • Плохая база знаний. Если в документах противоречия, устаревшие цены или ответа нет вовсе, бот это унаследует. Чаще всего работа над RAG-чатом начинается с наведения порядка в FAQ.
  • Неудачная нарезка. Слишком мелкие фрагменты теряют контекст, слишком крупные тянут в ответ лишнее. Таблицы и списки требуют отдельной обработки.
  • Точные термины. Артикулы, коды ошибок и названия моделей векторный поиск находит хуже, чем обычный по словам. Поэтому часто используют гибридный поиск: по смыслу и по ключевым словам одновременно.
  • Галлюцинации никуда не деваются полностью. Модель всё ещё может досочинить. Помогают строгая инструкция, запрет отвечать без найденного источника и честное «не знаю, передаю оператору».
  • Персональные данные. Если в чат попадают данные клиентов, нужно продумать, где работает модель и где хранится переписка.

Как запустить RAG-чат: чек-лист

  1. Соберите вопросы, которые реально задают клиенты: из почты, чатов, звонков.
  2. Проверьте, на какие из них есть актуальный ответ в документах. Допишите недостающее.
  3. Определите, где бот должен передавать разговор человеку.
  4. Подготовьте набор тестовых вопросов с правильными ответами и прогоняйте его после каждого изменения.
  5. Решите, кто и как обновляет базу знаний после запуска.
  6. Смотрите логи: на какие вопросы бот не нашёл ответа — это готовый список того, что дописать в FAQ.

Срок запуска зависит в первую очередь от состояния базы знаний: если FAQ и инструкции в порядке, рабочую версию можно собрать за несколько недель.

Мы делаем такие системы как AI-ассистента для сотрудников и клиентов и как чат-бот на сайте. Про выбор базы для векторов — в статье о векторных БД для RAG.

Хотите понять, потянет ли ваша база знаний AI-чат, — напишите в Telegram или MAX.

AI-ассистент
Услуга по теме — обсудим ваш проект.

Есть задача по теме? Напишите — вернёмся с оценкой и сроками.

Написать в Telegram → Написать в MAX