Anthropic Inference Hooks переносит точку перехвата на уровень до запуска модели: что это значит для вашей routing-архитектуры

Любая команда, работающая с routing, рано или поздно выстраивает фильтрацию промптов. Запрос приходит на gateway, содержимое проверяется, нарушения блокируются, остальное логируется — и так по кругу. Anthropic Inference Hooks, вышедшие в бета-версию для Claude Enterprise, перемещают часть этой работы в другое место. Если перед Claude у вас уже стоит routing-слой, стоит ответить на один вопрос до развёртывания: кто что фильтрует и на каком уровне?

Как работает Inference Hooks

Механизм прямолинейный. Когда пользователь отправляет промпт на управляемой поверхности (claude.ai, Cowork или Claude Code), Anthropic не передаёт запрос модели сразу — он отправляет подписанный HTTPS POST на AI-сервер безопасности, который держит ваша организация. Ваш сервер читает транскрипт разговора, оценивает его по своим политикам и возвращает вердикт:

{"action": "allow"}

или

{"action": "deny", "deny_reason": "Содержит конфиденциальные данные проекта X"}

Отклонённый запрос никогда не доходит до модели. deny_reason показывается пользователю вместе с настроенным администратором сообщением — например, к кому обращаться за исключением. Каждый отказ записывается в Activity Feed организации для аудита.

Подпись запросов следует спецификации Standard Webhooks, а значит любой SSPM или CASB, уже умеющий верифицировать webhook-подписи, интегрируется без разработки кастомного протокола. Cato Networks, Cisco AI Defense, Netskope и Reco уже выпустили интеграции.

Режим обработки сбоев настраивается: если сервер безопасности недоступен или не ответил в течение таймаута (по умолчанию 5 секунд), вы сами решаете — пропустить запрос или заблокировать. Shadow-режим и поэтапный rollout по проценту позволяют наблюдать за вердиктами на живом трафике до включения блокировки.

Операционная деталь: транскрипты могут весить мегабайты. Референс-реализация намеренно использует HTTP/1.1 с persistent-соединениями, чтобы избежать TCP-рукопожатия на каждый вердикт. Если вы пишете сервер безопасности самостоятельно, поддерживайте Connection: keep-alive.

Что видит сервер безопасности — и что нет

Ваш сервер получает транскрипт таким, каким его видит пользователь: текст промпта, tool call, результаты tool и текст, извлечённый из вложений. System prompt, внутренний контекст Anthropic, сырые байты файлов и изображений он не получает.

Эта граница важна для DLP-сценариев. Если вас беспокоит, что пользователь вставит PII в поле промпта — inference hooks это перехватит. Если вас беспокоит утечка через system prompt, который ваш gateway инжектирует в запрос, — inference hooks его не видит. Это видит ваш gateway.

Архитектурный вопрос для routing-команд

Большинство команд, прогоняющих Claude через routing-слой, уже делают какую-то фильтрацию промптов на gateway. Inference Hooks не ставит вопрос «использовать или нет» — он ставит вопрос: что перенести, что оставить и что вы, возможно, дублировали всё это время?

Ответ зависит от того, что именно делала фильтрация на gateway.

Что уместно перенести в inference hooks: пользовательский текст, нарушающий политики данных — форматы учётных данных, регулируемые PII, названия конфиденциальных проектов, ограничения по брендам конкурентов. Эти проверки выигрывают от перехвата на уровне провайдера: hook срабатывает даже когда пользователь заходит в Claude Code или claude.ai напрямую, минуя ваш gateway. DLP-правило, живущее только в routing-слое, защищает API-трафик, но не прямые сессии.

Что остаётся на gateway: инжекция system prompt, решения по маршрутизации на уровне модели (какой provider, какой tier, какая fallback-цепочка), трансформация запросов, attribution расходов по API-ключу и multi-provider fallback логика. Inference hooks не видит system prompt и не имеет полномочий выбирать модель. Всё, что касается формы запроса или маршрутизации, по-прежнему принадлежит gateway.

Что вы, скорее всего, дублировали: общая фильтрация токсичного контента и широкие политики содержимого — кандидаты на консолидацию. Если ваш gateway гонит классификатор контента по каждому промпту, а интеграция вашего DLP-вендора через inference hooks запускает похожий классификатор, вы платите двойной латентностью за одинаковый вердикт. Разберите, какие проверки действительно не зависят от поверхности провайдера (перенести в hooks), а какие специфичны для ваших routing-правил (оставить на gateway).

Сравнение с другими провайдерами

Ни один другой крупный провайдер пока не предлагает pre-inference webhook такой протокольной полноты. AWS Bedrock Guardrails применяет политики содержимого на уровне инференса модели — guardrail оценивает ввод и вывод, но логика исполнения работает внутри инфраструктуры Bedrock, а не на ваших серверах. У Vertex AI есть фильтры безопасности уровня модели с ограниченной настройкой, но нет эквивалента сервера безопасности, управляемого клиентом, принимающего подписанные webhook-вызовы до инференса.

Это значит, что inference hooks сейчас является возможностью, специфичной для Anthropic. Если ваша routing-политика требует единообразной проверки промптов по всем провайдерам — Claude, Gemini, DeepSeek и другим — логика исполнения должна оставаться на вашем gateway, поскольку webhook на уровне провайдера срабатывает только для Claude-запросов. Inference hooks дополняет инспекцию на уровне gateway, но не заменяет её в multi-provider конфигурации.

Что настроить перед развёртыванием

Бета открыта для организаций Claude Enterprise. Разрешение organization:manage в claude.ai обязательно для настройки endpoint — это действие уровня owner или admin, не API-ключа.

Три rollout-параметра, которые стоит настроить осознанно:

Сначала shadow-режим. Включите shadow-режим до любой блокировки. Вы будете получать вердикты и видеть rate отказов в Activity Feed, пока пользователи не блокируются. Минимум неделю — чтобы выявить политики, срабатывающие на легитимный трафик.

Обработка сбоев. По умолчанию — блокировка при сбое. Если у вашего DLP-вендора есть SLA — это правильный дефолт. Если сервер безопасности ещё в разработке или работает на нестабильной инфраструктуре, переключитесь на allow-on-failure во время rollout: неправильно настроенный сервер не положит доступ к Claude для всей организации.

Исключения по ролям. Процент rollout применяется в рамках всей организации. Исключите роли инженерных и security-команд заранее — им нужно тестировать саму интеграцию.

При реализации сервера вердиктов: читайте тело запроса полностью до возврата ответа, даже если безусловно возвращаете allow. Транскрипты могут быть большими, и сервер, закрывающий соединение до прочтения тела, генерирует ошибки, которые в пути обработки сбоев Anthropic выглядят как сетевые проблемы.

На что обратить внимание пользователям TheRouter

Inference hooks — это enterprise-бета на уровне платформы провайдера. Она не взаимодействует напрямую с gateway API-ключами, routing-конфигурацией или логикой маршрутизации TheRouter. Если ваша организация использует Claude Code или claude.ai в рамках плана Claude Enterprise и хочет инспекцию промптов в режиме реального времени без обязательного прохождения всего claude.ai-трафика через gateway — inference hooks и есть предназначенный для этого инструмент.

Для команд, использующих TheRouter для программной маршрутизации API-трафика, gateway-слой по-прежнему является правильным местом для routing-решений, политик system prompt и multi-provider логики. Два уровня исполнения обслуживают разные поверхности: ваш gateway видит API-запросы, которые вы маршрутизируете; inference hooks видит каждую управляемую Claude-поверхность, включая прямые пользовательские сессии.

Проверочный вопрос для команды: есть ли в вашем gateway DLP-логика, которая на самом деле должна быть в inference hook? Всё, что срабатывает на содержимое пользовательского промпта и должно применяться даже при прямом доступе к Claude — кандидат на перенос. Всё, что зависит от формы запроса, заголовков или system prompt — остаётся в routing-слое.