Перевод с разбором · для Сони

Чтобы модель не выдумывала (галлюцинации)

Зачем тебе это нужно

«Галлюцинация» — это когда модель уверенно выдаёт то, чего нет или не может быть. Для твоего бота по СДВГ это критично: если бот «вспомнит» вчерашний разговор, которого не было, или придумает, что пользователь раньше говорил о дочке (а на самом деле её нет) — доверие рушится с одного раза. Особенно опасно, если бот начнёт ссылаться на несуществующие исследования или советы из «научной литературы».

Базовые стратегии

1. Разреши боту сказать «не знаю»

По умолчанию модель считает, что её работа — ответить. Добавь в system prompt явное разрешение уклониться:

Если сомневаешься или не хватает информации — так и скажи:
«Я не уверена, можешь уточнить?». Не придумывай факты о
пользователе, которых нет в нашем разговоре.

Что здесь происходит: одной строчкой снимаешь давление «я должна что-то ответить». Модель начинает чаще переспрашивать вместо того, чтобы галлюцинировать.

2. Заземляй ответы на реальных данных

Если в боте есть «память» о пользователе (заметки, прошлые сессии, цели) — передавай её в промпт явно, и требуй ссылаться только на эти данные:

Вот что мы знаем о пользователе (из базы):
<user_notes>
- Текущая цель: «выйти на бег 3 раза в неделю»
- Срыв последний: вторник (не лёг вовремя, потом весь день просидел)
- Любит: котов, читать ночью
</user_notes>

Отвечая, опирайся только на эти заметки. Если пользователь ссылается
на что-то, чего здесь нет, — переспроси.

Что здесь происходит: модель видит явный источник «правды» и знает, что вне его — догадки. SQL ты уже умеешь: SQLite у тебя в файле bot.db, достать заметки и подставить в промпт — задача на 10 строк Python. Типа: db.execute("SELECT text FROM user_notes WHERE user_id = ?", (uid,)).fetchall().

3. Проверяй цитаты

Если бот ссылается на «исследования про СДВГ», это почти всегда галлюцинация — он не гуглит, он вспоминает «что-то похожее». Лучше вовсе запретить такие ссылки:

Не ссылайся на конкретные исследования, авторов, названия книг.
Если нужно — говори обобщённо: «в литературе по СДВГ часто
рекомендуют…».

Продвинутые приёмы

• Chain-of-thought + проверка. Попроси модель сначала разложить рассуждение («что я знаю», «что я предполагаю»), потом ответить. Часто ошибка вылезает именно в «предполагаю».
• Best-of-N. Запусти тот же промпт 3 раза. Противоречия в ответах = сигнал галлюцинации.
• Ограничь «внешние знания». В system prompt: «Используй только информацию из нашего разговора и из блока user_notes. Не додумывай».

Что это значит для твоего бота

• Добавь в system prompt явную строку: «не придумывай факты о пользователе». Это дешево и эффективно.
• Всю «память» пользователя храни в БД (SQL-таблица, у тебя это получается) и подставляй в промпт при каждом запросе через <user_notes>…</user_notes>.
• Запрети ссылки на конкретные источники. Для пользователя с СДВГ разница между «в книгах пишут» и «Ахмад Ахмадов в 2021 году писал» не критична, но выдуманная цитата рушит доверие.
• Для кризисных реплик (суицид, самоповреждение) — заранее написанный шаблон, не генерация. Модели это не доверяется.

Полная версия — в docs/reduce-hallucinations.html.