Защита от jailbreak и prompt injection

Jailbreak и prompt injection происходят, когда пользователи составляют промпты, чтобы эксплуатировать уязвимости модели и заставить её сгенерировать неприемлемый контент. Хотя Claude изначально устойчив к таким атакам, вот дополнительные шаги, чтобы усилить ваши guardrails — особенно против использования, которое нарушает наши Terms of Service или Usage Policy.

• Скрининг безвредности: используйте лёгкую модель, например Claude Haiku 4.5, чтобы предварительно проверять пользовательские входные данные. Используйте structured outputs, чтобы ограничить ответ простой классификацией.
  Пример: скрининг безвредности для модерации контента

  Роль	Содержимое
  User	A user submitted this content: <content> {{CONTENT}} </content> Classify whether this content refers to harmful, illegal, or explicit activities.

  Используйте output_config с JSON-схемой, чтобы ограничить ответ:

  {
    "output_config": {
      "format": {
        "type": "json_schema",
        "schema": {
          "type": "object",
          "properties": {
            "is_harmful": { "type": "boolean" }
          },
          "required": ["is_harmful"],
          "additionalProperties": false
        }
      }
    }
  }
  

• Валидация входных данных: фильтруйте промпты на паттерны jailbreak. Можно даже использовать LLM, чтобы создать обобщённый валидационный экран — для этого передайте известные jailbreak-формулировки в качестве примеров.
• Prompt engineering: составляйте промпты, которые подчёркивают этические и юридические границы.
  Пример: этичный system prompt для корпоративного чат-бота

  Роль

  Содержимое

  System

  You are AcmeCorp's ethical AI assistant. Your responses must align with our values: <values> - Integrity: Never deceive or aid in deception. - Compliance: Refuse any request that violates laws or our policies. - Privacy: Protect all personal and corporate data. Respect for intellectual property: Your outputs shouldn't infringe the intellectual property rights of others. </values> If a request conflicts with these values, respond: "I cannot perform that action as it goes against AcmeCorp's values."

Корректируйте ответы и подумайте о троттлинге или блокировке пользователей, которые регулярно ведут себя злоупотребительно, пытаясь обойти guardrails Claude. Например, если конкретный пользователь несколько раз триггерит один и тот же отказ (например, «output blocked by content filtering policy»), сообщите ему, что его действия нарушают релевантные usage policies, и примите соответствующие меры.

• Непрерывный мониторинг: регулярно анализируйте выходные данные на признаки jailbreak. Используйте этот мониторинг, чтобы итеративно дорабатывать ваши промпты и стратегии валидации.

Продвинутое: цепочка защит

Комбинируйте стратегии для надёжной защиты. Вот пример корпоративного уровня с tool use:

Слой за слоем выстраивая эти стратегии, вы создаёте надёжную защиту от jailbreak и prompt injection, гарантируя, что ваши приложения на Claude поддерживают высочайшие стандарты безопасности и compliance.