Перевод с разбором · для Сони

Chain-of-thought: чтобы модель думала вслух

Зачем тебе это нужно

Когда бот должен ответить на что-то сложное (например, по цепочке реплик понять, что пользователь говорит про симптомы выгорания, а не про обычный «устал») — он может срезать углы и пропустить шаг. Если попросить его думать вслух, прежде чем отвечать, качество растёт заметно. Это и есть chain-of-thought (CoT, «цепочка рассуждений»).

Когда CoT даёт пользу

• Диагностика состояния по нескольким репликам.
• Выбор следующего шага (спросить глубже, подвести итог, предложить упражнение).
• Решения, где важно не перепутать причину и следствие.
• Любые многошаговые рассуждения.

Когда не нужен

Простые реплики («поздоровайся», «поблагодари»), короткая классификация — тут CoT только добавит задержки и токенов.

Три формата CoT

1. Просто «подумай, прежде чем отвечать»

Прежде чем отвечать, коротко оцени в голове: что сейчас чувствует
пользователь, какой следующий шаг будет самым полезным, не слишком ли
мой ответ длинный. Потом ответь.

Что здесь происходит: модель сама разложит мысли перед финальным текстом. Рассуждение попадёт в ответ вперемешку — для бота с пользователем это может быть не страшно, но для программного парсинга неудобно.

2. Через XML-теги — структурированно

Прежде чем ответить, подумай внутри тега <thinking>.
Финальный ответ пользователю положи внутри тега <reply>.

Что здесь происходит: теперь в ответе есть <thinking>…</thinking> (это тебе не надо показывать пользователю) и <reply>…</reply> (это отправляешь в Telegram). В коде вытаскиваешь только reply регуляркой или простым split.

3. Встроенный thinking-режим (у Claude)

В API Claude есть параметр thinking: модель сама решает, сколько думать, и возвращает результат рассуждения отдельным блоком. У OpenAI аналог — семейство o-моделей (o3, o4-mini), которые думают по умолчанию. В обычных GPT-5.x такого явного параметра нет, там CoT задаёшь промптом (варианты 1 и 2 выше).

Пример для твоего бота

SYSTEM = """Ты — помощник по планированию для людей с СДВГ.

Перед финальным ответом подумай в теге <thinking>:
1. Какое сейчас состояние пользователя? (перегруз, стыд, усталость, нейтрально)
2. Что он хочет на самом деле — выговориться или план?
3. Какой ответ будет коротким и полезным?

Финальный ответ — в теге <reply>. Короткий, один вопрос или один
микрошаг."""

Что здесь происходит: встроили CoT прямо в системный промпт. Пользователь увидит только содержимое <reply>. Содержимое <thinking> ты можешь логировать и смотреть, почему бот принимает те или иные решения — это бесценно при отладке.

Что это значит для твоего бота

• Для «простых» шагов (поздороваться, попросить уточнить) thinking отключи — лишняя задержка.
• Для «диагностических» шагов (понять состояние, выбрать стратегию) включи thinking и логируй рассуждение.
• Логи thinking — твой отладочный материал. Раз в неделю просматривай 10 случайных — увидишь, как бот думает, и какие у него системные ошибки.
• Не показывай thinking пользователю. Всегда фильтруй <reply> перед отправкой в Telegram.

Полная версия — в docs/chain-of-thought.html.