OpenAI Fast Mode снимает ограничение по токенам: какие решения нужно принять командам с long-context routing

До 5 августа существовал скрытый пробел в маршрутизации long-context запросов к GPT-5.6: Fast mode просто не работал для промптов выше определённого объёма. Команды, которые гоняли code-wide агентные задачи, крупные RAG-пайплайны или многоходовые сессии с контекстом в 200K+ токенов, были фактически заблокированы на Standard tier — независимо от того, что они платили и как настраивали service_tier.

Запрос с 300K-токенным промптом, отправленный с service_tier: "fast", молча переходил на Standard tier. В ответном объекте появлялся service_tier: "default" — тихая деградация без ошибки в логах.

5 августа это изменилось. OpenAI обновил GPT-5.6 Sol, Terra и Luna: Fast mode теперь принимает long-context запросы объёмом более 272K токенов, обеспечивая скорость до 2,5× выше Standard processing. Оба параметра — service_tier: "fast" и service_tier: "priority" — теперь работают на long-context путях.

Что изменилось в API

До 5 августа: промпт в 300K токенов с service_tier: "fast" → деградация → ответ возвращает service_tier: "default".

После 5 августа: тот же запрос обрабатывается в Fast mode. Ответ возвращает service_tier: "priority". Важный нюанс, задокументированный OpenAI: GPT-5.6 возвращает priority вне зависимости от того, что вы указали — fast или priority. Это не баг, а зафиксированное поведение.

Ценовая надбавка сохраняется: Fast mode для GPT-5.6 Sol стоит в 2 раза дороже Standard. У Terra и Luna свои надбавки. Ускорение до 2,5× распространяется на все три модели.

Почему ramp rate limit стал острее

Ramp rate limit существовал и раньше, но для long-context нагрузок он приобретает новое измерение. Условие срабатывания: не менее 1 млн токенов в минуту с ростом более чем на 50% за 15 минут. При срабатывании часть Fast mode запросов переводится на Standard скорость с Standard-тарификацией, ответ возвращает service_tier: "default".

Для коротких, высокочастотных запросов это условие сложно случайно выполнить. С long-context нагрузками математика другая. Агент, индексирующий большой монорепо и параллельно обрабатывающий 50 файлов по 20K токенов, достигает 1 млн токенов в минуту без каких-либо специальных усилий.

Правильный подход: относиться к ramp rate limit как к ограничению для traffic shaping, а не фоновому предупреждению. Мигрировать long-context маршруты на Fast mode постепенно, с помощью feature flags. Batch-задачи — индексация репозиториев, массовая обработка документов, ETL — держать на Standard tier или распределять по более длинным окнам. Fast mode предназначен для интерактивных запросов, где пользователь ждёт ответа, а не для throughput-ориентированных batch-работ.

Решение по каждой модели

GPT-5.6 Sol — флагман, где latency критична. Если приложение использует Sol для large-context задач с реальным ожиданием со стороны пользователя (глубокий анализ кода, длинные агентные сессии), Fast mode теперь оправдывает двукратный ценовой premium.

GPT-5.6 Terra нацелен на баланс производительности и стоимости. Снижение цены на 20% (30 июля) в сочетании с поддержкой Fast mode делает Terra первым кандидатом для тестирования в production long-context нагрузках. Экономический расчёт: Fast mode Terra дороже Standard Terra, но если меньшая latency сокращает число retry в длинных агентных сессиях, итоговая стоимость может оказаться ниже.

GPT-5.6 Luna изначально ориентирован на высокий объём при низкой стоимости — снижение на 80% (30 июля). Fast mode на Luna подходит для пользовательских приложений с большим контекстным окном, где нужна скорость, но бюджет ограничен: низкая базовая цена Luna лучше абсорбирует Fast mode premium.

Чего нет у других провайдеров

Для операторов, работающих с несколькими провайдерами, полезно зафиксировать разрыв: ни Anthropic, ни Google сейчас не предлагают on-demand tier с оплатой за запрос для long-context задач, аналогичного Fast mode. Claude Opus 5 и Sonnet 5 поддерживают очень большие контекстные окна, но Anthropic не публикует latency-premium tier для API. Gemini 2.0 Pro поддерживает до 2M токенов, но без аналогичной tier-структуры в стандартном API.

Azure Foundry (Provisioned Throughput) и AWS Bedrock (Provisioned Capacity) обеспечивают гарантии производительности для long-context нагрузок, однако это модели с обязательствами: планирование ёмкости, зарезервированные расходы, нередко долгосрочные контракты. OpenAI Fast mode работает по запросу: платите premium за каждый запрос без предварительного выделения ёмкости. Для команд с непредсказуемыми пиками long-context нагрузки это принципиально другой риск-профиль.

Что настроить прямо сейчас

Существующие long-context маршруты с service_tier: "default" или без указания service tier: проведите аудит — какие из них требуют низкой latency. Интерактивные запросы, где пользователь ждёт ответа (а не фоновая индексация или офлайн-аналитика), — кандидаты на service_tier: "fast".

Маршруты, где уже установлен service_tier: "fast" на long-context путях: проверьте, что поведение действительно изменилось. Посмотрите на поле service_tier в ответе — если до 5 августа возвращался "default", теперь должен вернуться "priority".

Batch и ETL нагрузки с длинными промптами: не переводите их на Fast mode. Условия срабатывания ramp rate limit хорошо совпадают с характеристиками burst-трафика у batch-задач, а при срабатывании вы платите Fast mode цену за Standard скорость.

Настройка на уровне проекта доступна в консоли OpenAI: Settings → Project → General → Project Service Tier → Fast. Это изменит default для всех запросов в проекте, не указывающих service_tier явно. Используйте с осторожностью на проектах, где batch и интерактивные запросы идут вместе.

Что проверить пользователям TheRouter

Если вы маршрутизируете GPT-5.6 через gateway с passthrough заголовков — убедитесь, что service_tier передаётся без изменений. Gateway, который переписывает или удаляет параметры запроса, не позволит Fast mode сработать даже после этого обновления.

Для команд, использующих multi-provider routing через TheRouter с несколькими upstream-провайдерами: расширение Fast mode относится только к запросам, уходящим к GPT-5.6. Если Fast mode Terra — ваш основной маршрут, fallback на Claude Sonnet 5 или другого провайдера рассчитывайте по Standard pricing, если только вы намеренно не хотите Fast mode по всей цепочке.