Даже самые продвинутые языковые модели, как Claude, иногда могут генерировать текст, который фактически некорректен или не согласуется с заданным контекстом. Это явление, известное как «галлюцинация», может подорвать надёжность ваших AI-решений.
В этом руководстве рассмотрены техники, которые минимизируют галлюцинации и обеспечивают точность и достоверность выходных данных Claude.
Базовые стратегии минимизации галлюцинаций
Разрешите Claude говорить «не знаю»: явно дайте Claude разрешение признавать неуверенность. Эта простая техника может резко уменьшить количество ложной информации.
Пример: анализ отчёта о слиянии и поглощении
Роль
Содержание
User
Как наш M&A-консультант, проанализируй этот отчёт о потенциальном поглощении AcmeCo компанией ExampleCorp.
<report> {{REPORT}} </report>
Сосредоточься на финансовых прогнозах, рисках интеграции и регуляторных препятствиях. Если ты в чём-то не уверен или если в отчёте не хватает необходимой информации, скажи «У меня недостаточно информации, чтобы уверенно это оценить».
Используйте прямые цитаты для фактической основы: для задач с длинными документами (>20k tokens) попросите Claude сначала извлечь дословные цитаты, прежде чем выполнять саму задачу. Это закрепляет его ответы в реальном тексте и уменьшает галлюцинации.
Пример: аудит политики приватности данных
Роль
Содержание
User
Как наш Data Protection Officer, проверь эту обновлённую политику приватности на соответствие GDPR и CCPA. <policy> {{POLICY}} </policy>
1. Извлеки из политики точные цитаты, которые наиболее релевантны для соответствия GDPR и CCPA. Если не можешь найти релевантные цитаты, напиши «Релевантные цитаты не найдены».
2. Используй цитаты, чтобы проанализировать соответствие этих разделов политики, ссылаясь на цитаты по номерам. Основывай свой анализ только на извлечённых цитатах.
Проверяйте по ссылкам: сделайте ответ Claude проверяемым — пусть он приводит цитаты и источники для каждого своего утверждения. Можно также попросить Claude проверить каждое утверждение, найдя подтверждающую цитату уже после генерации ответа. Если он не может найти цитату, он должен отозвать утверждение.
Пример: подготовка пресс-релиза о запуске продукта
Роль
Содержание
User
Подготовь пресс-релиз для нашего нового продукта по кибербезопасности, AcmeSecurity Pro, используя только информацию из этих продуктовых брифов и рыночных отчётов. <documents> {{DOCUMENTS}} </documents>
После подготовки проверь каждое утверждение в твоём пресс-релизе. Для каждого утверждения найди в документах прямую цитату, которая его подтверждает. Если не можешь найти подтверждающую цитату для утверждения, удали это утверждение из пресс-релиза и помечай место удаления пустыми скобками [].
Продвинутые техники
Верификация через chain-of-thought: попросите Claude объяснить свои рассуждения шаг за шагом, прежде чем дать финальный ответ. Это может вскрыть ошибочную логику или допущения.
Best-of-N верификация: пропустите Claude через один и тот же промпт несколько раз и сравните выходные данные. Несоответствия между ответами могут указывать на галлюцинации.
Итеративная доработка: используйте выходные данные Claude как входные данные для последующих промптов, прося его проверить или развить предыдущие утверждения. Это позволяет ловить и исправлять несоответствия.
Ограничение внешних знаний: явно проинструктируйте Claude использовать только информацию из предоставленных документов, а не свои общие знания.