OCI Enterprise AI: Приватные эндпоинты для импортируемых моделей и выбор версии guardrail — что нужно пересмотреть в мультиоблачной маршрутизации

OCI Enterprise AI запустил приватные эндпоинты для импортируемых моделей и версионирование guardrail — два изменения, которые напрямую меняют архитектуру маршрутизации в compliance-чувствительных деплойментах.

Опубликовано источник Oracle

Архивный материал, подготовленный с помощью ИИ по указанному источнику и опубликованный без индивидуальной проверки. Ответственный редактор: Joe Werner.

Архитектура приватных эндпоинтов OCI Enterprise AI для импортируемых моделей с уровнями маршрутизации guardrail
Машинный перевод с английского оригинала — читать оригинал

До недавнего времени команды, использующие Oracle Cloud Infrastructure Enterprise AI, сталкивались со структурным ограничением: модели под управлением Oracle (Cohere, Llama-семейство) можно было обслуживать через приватные эндпоинты, тогда как импортируемые сторонние модели — DeepSeek V4, GLM 5.2, Qwen3-Next, Kimi K2.7 — по-прежнему требовали маршрута через публичный интернет. Это вынуждало операторов либо мириться с публичным маршрутом, либо выстраивать обходные схемы через VPN/PrivateLink для compliance-чувствительных рабочих нагрузок.

OCI Enterprise AI закрыл этот пробел. Приватные эндпоинты для импортируемых моделей стали общедоступны, и одновременно вышло закрепление версий guardrail. Оба изменения вступили в силу в июле 2026 года и требуют аудита маршрутной архитектуры для любой команды, использующей OCI в качестве бэкенда вывода.

Что произошло

Oracle выпустил два инфраструктурных обновления для OCI Enterprise AI в июле 2026 года:

Приватные эндпоинты для импортируемых моделей. Теперь можно создавать приватные эндпоинты для любой модели, импортированной через Model Import — DeepSeek V4 Flash и V4 Pro, GLM 5.2, Qwen3-Next-80B-A3B-Instruct, Kimi K2.7 Code, MiniMax M3, Mistral Medium 3.5 и другие. Запросы к этим эндпоинтам не покидают VCN: трафик проходит по приватному сетевому пути без выхода в публичный интернет.

Закрепление версии guardrail. API ApplyGuardrails теперь принимает поле guardrailVersionConfig. Команды могут закрепить конкретную семантическую версию (например, 1.0.1), предварительно получив список доступных версий через ListGuardrailVersions. Версия 1.0.0 — первоначальный релиз; версия 1.0.1 повышает точность определения нежелательного контента (CM) и обнаружения prompt injection (PI). При отсутствии поля версии используется последняя активная версия по умолчанию.

В июле 2026 года каталог Model Import пополнился также OpenAI Whisper Large V3 Turbo и Google MedGemma 27B Text IT, расширив охват приватных эндпоинтов на нетекстовые сценарии вывода.

Почему это важно для AI-инженерных команд

Приватные эндпоинты устраняют компромисс с публичным маршрутом. Любая команда, работающая с импортируемыми моделями OCI в условиях требований к резидентности данных, финансовых compliance-требований или корпоративной сетевой политики, ранее функционировала в серой зоне. Маршрутизация вывода через публичный интернет — даже с TLS — создаёт поверхность для аудита, усложняет политики файрвола и не проходит многие корпоративные проверки безопасности. Приватные эндпоинты устраняют это ограничение без необходимости уходить с OCI или строить обходные схемы через transit gateway.

Закрепление версии guardrail — это контроль стабильности для production. Раньше обновление guardrail-моделей Oracle могло незаметно изменить поведение модерации контента и обнаружения PII в производственной среде без каких-либо сигналов о смене версии. Закрепление версии даёт операторам ту же гарантию стабильного поведения, что и закрепление версии модели: вы сами решаете, когда поведение меняется.

Расширение каталога моделей меняет логику выбора маршрута. GLM 5.2 через OCI Model Import добавляет опцию для долгоконтекстного рассуждения и написания кода с окном 1M токенов на инфраструктуре Oracle. Qwen3-Next-80B-A3B-Instruct добавляет разреженно-активированную MoE-модель из семейства Qwen. Сочетание расширенного каталога и поддержки приватных эндпоинтов делает OCI полноценным альтернативным направлением маршрутизации для команд, уже использующих OCI для других рабочих нагрузок или требующих доступности в регионах APAC/OCI.

Взгляд router/operator

Мультиоблачная маршрутизация теперь имеет приватный эшелон на стороне OCI. Для операторов, управляющих маршрутизацией через Azure AI Foundry, AWS Bedrock, Vertex AI и OCI, обновление приватных эндпоинтов означает, что импортируемые модели OCI теперь могут находиться в том же compliance-уровне, что и облачные модели под управлением провайдера. Ваша политика маршрутизации теперь может безопасно направлять compliance-чувствительные нагрузки (промпты с PII, финансовые документы, медицинские данные) к импортируемым моделям OCI без сетевых исключений.

Закрепление версии guardrail встраивается напрямую в политику стабильности gateway-уровня. Если ваш routing gateway применяет guardrail OCI как политический уровень перед пересылкой на эндпоинт модели, закрепление версии позволяет разделить цикл обновления guardrail и расписание релизов OCI. Рекомендуемая схема:

  • Зафиксируйте конкретную версию в staging и production.
  • Запускайте ListGuardrailVersions в CI-пайплайне для обнаружения новых версий.
  • Валидируйте поведение в staging перед тем, как обновить закрепление версии в production.
  • Используйте временные метки deprecation/retirement из API-ответа для планирования обязательных обновлений.

Что стоит проверить в текущей конфигурации маршрутизации OCI:

  1. Есть ли импортируемые эндпоинты моделей, которые сейчас работают через публичный интернет? Если да — перенесите нагрузки, попадающие под сетевую или compliance-политику, на приватные эндпоинты.
  2. Используете ли вы API ApplyGuardrails без указания версии? Добавьте guardrailVersionConfig для фиксации поведения — особенно если команда поддерживает SLO на точность модерации.
  3. Соответствует ли ваш набор импортируемых моделей новым позициям каталога июля 2026 года? Добавленные Kimi K2.7 Code и Qwen3-Next могут изменить ваше решение по маршрутизации для долгоконтекстных задач кодирования и рассуждения.

На что обратить внимание пользователям TheRouter

Если вы маршрутизируете через несколько AI cloud provider, поддержка приватных эндпоинтов для импортируемых моделей снижает compliance-барьер для включения OCI-маршрутов в пул fallback. Команды, оценивающие возможность добавить OCI в качестве вторичного или регионального провайдера, теперь могут делать это без сетевого компромисса, который раньше осложнял прохождение compliance-проверок.

Паттерн закрепления версии guardrail — отдельный жизненный цикл управления от жизненного цикла маршрутизации моделей — стоит применять на уровне gateway вне зависимости от используемого облака. Стабильное поведение политики контента при независимом контроле обновлений — признак зрелой мультипровайдерной маршрутной архитектуры.

Отслеживайте вывод ListGuardrailVersions и release notes Oracle в /docs/ для получения обновлений по жизненному циклу версий. Сроки deprecation guardrail теперь передаются в API-ответе, что упрощает интеграцию в автоматизированные governance-пайплайны.

Абстрактная диаграмма: цепочка принятия роли IAM от Claude apps gateway к Bedrock-апстриму в отдельном аккаунте AWS, с уровнем принудительного применения guardrail

Claude Code 2.1.281: Bedrock-апстримы получили кросс-аккаунтный IAM и принудительный Guardrail

2.1.281 добавляет assume_role и guardrail в Bedrock-апстримы Claude apps gateway. assume_role обменивает IAM-учётные данные на per-developer STS-токены. guardrail применяет Bedrock guardrail к каждому запросу. Оба смещают границу доверия в мультиаккаунтных AWS-деплоях.

источник Anthropic
Абстрактная архитектурная диаграмма, показывающая трансформацию формы API-запросов при прохождении через шлюз, иллюстрирующая четыре ломающих изменения Claude Opus 5.5

Claude Opus 5.5: четыре ломающих изменения API и их влияние на маршрутизацию

Claude Opus 5.5: четыре ломающих изменения — thinking нельзя отключить, tool_choice типы any/tool возвращают 400, thinking-блоки не читаются не-Fable/Mythos моделями, computer_20251124 удалён. Конкретные исправления и влияние на резервную маршрутизацию.

источник Anthropic
Claude API компакция по требованию и режим auto для разрешений: диаграмма пайплайна с фоновой суммаризацией и серверной оценкой доверия

Claude API: компакция по требованию и режим `auto` для разрешений меняют архитектуру агентных циклов

Два новых бета-обновления Claude API: `compact-2026-09-04` выносит суммаризацию в фоновый вызов, а режим `auto` передаёт оценку доверия к инструментам на сторону сервера. Оба меняют проектирование агентных циклов.

источник Anthropic
Помощь и контакты