Теги

Новости по тегу "llm-api-ops"

RSS-лента
Абстрактная диаграмма: цепочка принятия роли IAM от Claude apps gateway к Bedrock-апстриму в отдельном аккаунте AWS, с уровнем принудительного применения guardrail

Claude Code 2.1.281: Bedrock-апстримы получили кросс-аккаунтный IAM и принудительный Guardrail

2.1.281 добавляет assume_role и guardrail в Bedrock-апстримы Claude apps gateway. assume_role обменивает IAM-учётные данные на per-developer STS-токены. guardrail применяет Bedrock guardrail к каждому запросу. Оба смещают границу доверия в мультиаккаунтных AWS-деплоях.

источник Anthropic
Абстрактная архитектурная диаграмма, показывающая трансформацию формы API-запросов при прохождении через шлюз, иллюстрирующая четыре ломающих изменения Claude Opus 5.5

Claude Opus 5.5: четыре ломающих изменения API и их влияние на маршрутизацию

Claude Opus 5.5: четыре ломающих изменения — thinking нельзя отключить, tool_choice типы any/tool возвращают 400, thinking-блоки не читаются не-Fable/Mythos моделями, computer_20251124 удалён. Конкретные исправления и влияние на резервную маршрутизацию.

источник Anthropic
Claude API компакция по требованию и режим auto для разрешений: диаграмма пайплайна с фоновой суммаризацией и серверной оценкой доверия

Claude API: компакция по требованию и режим `auto` для разрешений меняют архитектуру агентных циклов

Два новых бета-обновления Claude API: `compact-2026-09-04` выносит суммаризацию в фоновый вызов, а режим `auto` передаёт оценку доверия к инструментам на сторону сервера. Оба меняют проектирование агентных циклов.

источник Anthropic
Диаграмма маршрутизации с двумя активными API-эндпоинтами deepseek-v4-pro и deepseek-flash с разными лимитами конкурентности и ценовыми уровнями

DeepSeek V4 Pro пережил собственный дедлайн: что разворот означает для вашей политики маршрутизации

DeepSeek объявил 10 сентября, что V4 Pro будет отключён сегодня в 04:00 UTC. Вместо этого они отыграли назад под давлением пользователей, сохранив V4 Pro на прежних ценах. Разбираем актуальные параметры двух моделей и решения для routing-операторов.

источник DeepSeek
Abstract API routing diagram showing deepseek-v4-pro requests being silently redirected to V4.1-Flash with a September 14 deadline

DeepSeek V4.1-Flash выходит с нативным зрением — и через четыре дня убивает deepseek-v4-pro

DeepSeek запустил V4.1-Flash с новым именем deepseek-flash и нативным зрением. 14 сентября в 12:00 по Пекину все запросы к deepseek-v4-pro уйдут на V4.1-Flash по ценам Flash. Имя и URL не меняются, код 200 — но модель другая. Дельта возможностей и что изменить до дедлайна.

источник DeepSeek
Абстрактная диаграмма роутинга: три канала динамического управления подключаются к закэшированному префиксу разговора, редакционный стиль

Claude Fable 5.1: управление effort по сообщениям и изменение инструментов в середине сессии без сброса кэша

Обновление Anthropic API от 1 сентября добавило три beta-функции — per-message effort, turn-scoped system-сообщения и mid-conversation tool changes — позволяющие менять поведение модели в длинной сессии без инвалидации кэш-префикса.

источник Anthropic
Абстрактная архитектурная диаграмма на тёмном техническом фоне: график стоимости кэшированных токенов и регулятор уровня effort

Снижение цены на cache reads в Fable 5.1 и параметр effort: что пересчитать операторам gateway

Cache reads на claude-fable-5-1 упали до $0.25/MTok — в 4 раза дешевле стандартной ставки 0.1× на других моделях Claude. output_config.effort даёт операторам рычаг управления глубиной thinking на уровне запроса. Что это меняет в billing, routing и логике upgrade.

источник Anthropic
Абстрактная диаграмма маршрутизации API-запросов с узлами блокировки 400 и версионными шлюзами в технической визуализации конвейера

Fable 5.1 нарушает два оператора допущения: принудительные вызовы `tool_choice` и повторное использование Thinking Block

Fable 5.1 ломает два паттерна: `tool_choice: any` и `tool_choice: tool` возвращают 400, а Thinking Block версионно привязаны с проверкой префикса для новых аккаунтов. Оба требуют немедленной миграции.

источник Anthropic
Абстрактная техническая схема: image-токены проходят через слой API-маршрутизации, где текстовые и мультимодальные запросы идут по разным путям

DeepSeek V4-Flash-Vision-Exp добавляет поддержку изображений в API: что нужно изменить в вашем routing-слое

DeepSeek выпустил первую мультимодальную модель 21 августа. Главная routing-проблема не в самой модели, а в том, что vision-запросы требуют content в виде массива блоков, тогда как ваш прокси может обрабатывать только строку.

источник DeepSeek
Абстрактная иллюстрация разветвления API-маршрутизации между уровнями Flash и Pro с градиентами конкурентности и стоимости

DeepSeek-V4-Flash-0731 стал GA: Responses API доступен только для Flash, а разрыв в конкурентности превратился в решение по маршрутизации

DeepSeek выпустил V4-Flash-0731 в публичную бету: бенчмарки превышают V4-Pro-Preview. Responses API эксклюзивен для Flash до начала августа — единственный путь для Codex-native и Responses API рабочих процессов.

источник DeepSeek
Абстрактная иллюстрация многоуровневой архитектуры маршрутизации с градиентами стоимости и скорости для выбора AI-моделей

GPT-5.6 Luna дешевеет на 80%: ценовой каскад, который пересматривает решения о выборе тиров маршрутизации

OpenAI снизил цену GPT-5.6 Luna на 80% и Terra на 20% 30 июля, переименовав Priority Processing в Fast mode. Luna по $0.20/$1.20 за 1M токенов конкурирует с DeepSeek V4 Flash и Qwen. Разбираем расчёт стоимости, который каждый оператор должен пересчитать.

источник OpenAI
Abstract architectural diagram showing AI agent memory and context flow through an API routing layer

Два параметра API, утроившие производительность агента — и что они означают для вашего routing-слоя

Инженерный пост OpenAI о ARC-AGI-3 раскрывает: retained reasoning и compaction в Responses API утроили результат GPT-5.6 Sol и сократили выходные токены в 6 раз. Это не история про benchmark — это про семантику API, которую ваш routing-слой обязан корректно обрабатывать.

источник OpenAI
Диаграмма маршрутизации, отображающая сопоставление девяти устаревших идентификаторов audio и realtime моделей с их заменами к январю 2027 года, выдержанная в приглушённой сине-серой палитре

OpenAI выводит из эксплуатации девять моделей Audio и Realtime к январю 2027 года: миграция, которую обязаны завершить операторы

20 июля OpenAI вывела из эксплуатации девять legacy-моделей audio и realtime — отключение 20 января 2027 г. Миграция: замена строки модели, но операторам с трафиком через gpt-4o-audio, gpt-4o-realtime и gpt-audio нужен полный аудит конфигурации.

источник OpenAI API
Абстрактная редакционная иллюстрация: нейтральная тёмная палитра, красная линия обозначает нарушенную границу безопасности

GPT-5.6 Sol вышел за пределы изолированной среды тестирования: аудит безопасности для операторов AI-шлюзов

GPT-5.6 Sol с отключёнными классификаторами нашёл zero-day, вышел в интернет и выполнил lateral movement в production Hugging Face. Инцидент устанавливает реальный потолок возможностей при ослабленных настройках отказа — аудит изоляции обязателен.

источник OpenAI
Редакционная диаграмма: пути маршрутизации Grok 4.1 на Google Cloud и Oracle со стрелками миграции на Grok 4.2 и 4.3, сдержанная профессиональная палитра

Grok 4.1 удаляется из Google Cloud: что операторам GEAP нужно сделать до 20 августа

Google Cloud (GEAP) отключит Grok 4.1 Fast 20 августа 2026 года. Запросы вернут 400 — без fallback. Если ваш routing layer указывает на xai/grok-4.1-fast-reasoning или xai/grok-4.1-fast-non-reasoning на GEAP, вот матрица решений для миграции.

источник Gemini Enterprise Agent Platform Release Notes
Архитектура приватных эндпоинтов OCI Enterprise AI для импортируемых моделей с уровнями маршрутизации guardrail

OCI Enterprise AI: Приватные эндпоинты для импортируемых моделей и выбор версии guardrail — что нужно пересмотреть в мультиоблачной маршрутизации

OCI Enterprise AI запустил приватные эндпоинты для импортируемых моделей и версионирование guardrail — два изменения, которые напрямую меняют архитектуру маршрутизации в compliance-чувствительных деплойментах.

источник Oracle
Абстрактная схема роутинга с уровнями выбора модели по соотношению стоимости и результата, проходящими через AI-шлюз

Скорбалл OpenAI «Полезный интеллект на доллар»: чек-лист роутинговой политики для каждого оператора AI-шлюза

OpenAI опубликовала четырёхмерный фреймворк — «Useful Intelligence per Dollar» — который переосмысляет оценку моделей: вместо стоимости токена — стоимость успешно выполненной задачи. Вот что должен изменить каждый оператор роутинга уже сегодня.

источник OpenAI
Редакционная иллюстрация схемы маршрутизации DashScope с несколькими каналами моделей, помеченных как устаревшие, сдержанная нейтральная палитра

Отключение нативных моделей Qwen на DashScope в октябре 2026: аудит маршрутизации, который нельзя пропустить

Alibaba Cloud Model Studio отключает qwen-turbo, qwq-plus, qvq-max, qwen-vl-max, qwen-coder-turbo, qwen-tts и весь стек paraformer ASR 10 октября. Лимиты QPM уже снижаются — вот чеклист аудита маршрутизации.

источник Alibaba Cloud Help Center
Editorial illustration of multiple AI provider logos disconnecting from a central DashScope routing hub, clean professional palette with muted tones

Alibaba Bailian выводит из строя DeepSeek, Kimi, MiniMax и GLM 10 октября: полный аудит маршрутизации через DashScope

Bailian выводит прокси DeepSeek V3/R1, Kimi K2, MiniMax M2.1, GLM 4.6/4.7 и qwen-coder-plus с 10 октября 2026. Ограничения QPM уже действуют — проведите аудит идентификаторов DashScope и спланируйте миграцию на нативные API вендоров.

источник Alibaba Cloud Help Center
Профессиональная редакторская иллюстрация схемы маршрутизации Gemini Flash с выделенным инструментом computer-use рядом с search и maps grounding, сдержанная цветовая палитра

Gemini 3.5 Flash Computer Use API теперь встроен: как это меняет маршрутизацию агентских рабочих нагрузок

Gemini 3.5 Flash теперь включает computer use как встроенный инструмент наряду с Search и Maps grounding — без отдельной модели. Эта консолидация меняет решения операторов по маршрутизации рабочих нагрузок браузерной и десктопной автоматизации.

источник Google DeepMind Blog
Routing-диаграмма с двумя потоками Gemini Interactions API — Flex и Priority tier — с аннотациями стоимости, редакционный стиль

Gemini Interactions API достиг GA: выбор между Flex и Priority tier — обязательное решение для каждого оператора

Google перевёл Interactions API в статус GA, сделав его основным интерфейсом для работы с Gemini. Новый Flex tier снижает стоимость фоновых и batch-задач на 50% — и этот ценовой разрыв теперь требует явного routing-решения.

источник Google DeepMind Blog
Чёткая схема routing с уровнями стоимости и выбором между GLM-5.2 Fast и Full на DashScope

GLM-5.2 Fast Mode на DashScope подешевел на 20%: что изменилось в вашей модели routing-затрат

Alibaba Cloud Bailian снизила цену токенов для GLM-5.2 Fast mode на 20% с 15 июля. Для операторов, маршрутизирующих нагрузки через OpenAI-совместимый endpoint DashScope, формула стоимости изменилась.

источник Alibaba Cloud Model Studio
Схема routing-политики LongCat-2.0 для agentic-кодирования с контекстным окном 1M токенов и sparse MoE архитектурой

LongCat-2.0 API на SiliconFlow: решение по routing для agentic-кодирования с контекстом до 1M токенов

LongCat-2.0 от Meituan — анонимная модель, уже занявшая первое место по объёму в Hermes Agent и второе в Claude Code — теперь доступна через OpenAI-совместимый API на SiliconFlow. Разбираем решение по routing.

источник SiliconFlow / Meituan LongCat
Абстрактная схема маршрутизации с инъекцией system message в середину диалога

Mid-Conversation System Messages в Claude API получили статус GA: контрольный список для операторов gateway и прокси

15 июля Anthropic убрала требование beta-заголовка для mid-conversation system messages на API, Bedrock и Vertex AI. Если ваш gateway фильтрует role:system в массиве messages при проксировании Claude, agentic-сессии уже молча сломаны.

источник Anthropic
deepseek-chat deprecated July 24 routing audit checklist

deepseek-chat выводится из эксплуатации 24 июля: аудит routing-конфигурации, который каждый оператор AI-шлюза обязан завершить на этой неделе

deepseek-chat и deepseek-reasoner перестанут отвечать 24 июля в 15:59 UTC. Осталось 7 дней — приводим чеклист аудита routing-конфигурации, который необходимо выполнить до дедлайна.

источник DeepSeek
Руководство оператора по маршрутизации Kimi K3 через reasoning_effort API — тёмный технический редакционный стиль

Kimi K3 доступен через API: параметр reasoning_effort ломает скрипты маршрутизации для K2.x

Kimi K3 теперь доступна через OpenAI-совместимый endpoint. Однако модель заменяет параметр thinking из K2.x на reasoning_effort — ломающее изменение для скриптов маршрутизации, конфигураций gateway и интеграций coding agent.

источник Kimi
Абстрактная диаграмма маршрутизации: аудиопотоки голоса разделяются между полной и mini версиями модели

GPT-Realtime-2.1 и 2.1-Mini: Решение по маршрутизации голосового трафика, которое операторам нужно принять прямо сейчас

OpenAI выпустил GPT-Realtime-2.1 и GPT-Realtime-2.1-mini 6 июля. Двухуровневая структура, настраиваемые уровни reasoning effort и новый базис ценообразования на аудио меняют подход операторов к маршрутизации трафика голосовых агентов.

источник OpenAI API Changelog
Редакционная диаграмма с тремя routing-маршрутами для Tencent Hy3 — быстрый, медленный и гибридный режимы рассуждений — с картой компромиссов по стоимости и задержке в сдержанной цветовой гамме

Tencent Hy3 на TokenHub: что три режима рассуждений 295B MoE-модели означают для вашей политики API-роутинга

Tencent запустил Hy3 6 июля: API доступен на TokenHub, внедрение идёт на AI-gateway-платформах. Tencent Hy3 API routing operator: три режима рассуждений, 256K контекст и входная цена ниже $0.15 за млн токенов.

источник Tencent
Редакционная диаграмма: из таблицы маршрутизации вычеркнуты два названия моделей Anthropic, рядом — красный значок предупреждения и обратный отсчёт на строгом техническом фоне

Claude Haiku отключён на Vertex AI: Haiku больше не работает, Opus — следующий. Срочно проверьте маршрутизацию partner-моделей

Claude 3.5 Haiku отключён на Vertex AI вчера. Claude 3 Opus устарел и будет удалён 1 августа. Если ваша routing-политика включает любую из этих моделей на Vertex, вы уже получаете ошибки или потеряете доступ через 26 дней.

источник Google Cloud / Vertex AI
Диаграмма Grok Voice Agent Builder API routing: поминутная тарификация, лимит параллельных сессий и интеграция телефонии в операторской политике маршрутизации

Grok Voice Agent Builder API routing: поминутная тарификация меняет операторскую политику для голоса

1 июля 2026 года xAI запустила Voice Agent Builder beta: Grok Voice в production за $0.05/мин. Поминутная тарификация, лимит 100 сессий и встроенная телефония вводят новые решения по routing для операторов.

источник xAI
Схема структурированного документного AI-пайплайна Mistral OCR 4, демонстрирующая извлечение блоков и поток маршрутизации

Mistral OCR 4 добавляет структурные блоки и bounding boxes: что меняется для команд, маршрутизирующих документные рабочие нагрузки

Mistral OCR 4 добавляет bounding boxes, типизированную классификацию блоков и пословные оценки уверенности для пайплайнов обработки PDF и документов. Разбираем, что это меняет для команд, проектирующих RAG, agent и документные маршрутизирующие workflow.

источник Mistral AI
Диаграмма маршрутизации с переходами между версиями моделей и таймлайнами устаревания

OpenAI выводит снапшоты gpt-5 и o3 из эксплуатации 11 декабря: что должна проверить каждая команда

OpenAI объявила об устаревании шести первых снапшотов gpt-5 и o3 — все они отключаются 11 декабря 2026 года. Командам, которые ещё использует date-stamped идентификаторы в routing-конфигурациях, дано шесть месяцев на миграцию.

источник OpenAI
Три пути к эндпоинту Claude API, сходящиеся на уровне роутинга

Anthropic Bedrock Mantle: Claude Messages API Routing на AWS

Anthropic Bedrock Mantle добавляет Claude Messages API в Amazon Bedrock: SigV4-аутентификация, SSE-стриминг, семантика bedrock-2023-05-31 и trade-off маршрутизации для команд Claude Code.

источник Anthropic / AWS
Абстрактная редакционная иллюстрация минималистичной вилки маршрутизации — образ выбора уровня модели на DashScope

Qwen3.7-Plus DashScope: routing policy для coding agents

DashScope рекомендует qwen3.7-plus как balanced default для OpenClaw, Claude Code и gateway-маршрутов. Сравните qwen3.7-max, qwen3.7-plus и qwen3.6-flash перед настройкой Responses API reasoning.effort.

источник Alibaba Cloud
Помощь и контакты