Теги

Новости по тегу "latency"

OpenAI Ultrafast mode routing diagram with a fast lane separated from standard and fallback AI API traffic

OpenAI Ultrafast mode routing: у GPT-5.6 Sol появился preview-tier быстрее Standard до 14 раз

OpenAI Ultrafast mode routing добавляет для GPT-5.6 Sol limited-preview tier до 14 раз быстрее Standard, поэтому операторам gateway нужно отделить latency-critical traffic от cost-sensitive fallback lanes.

14 августа 2026 г.источник OpenAI

xAI Priority Processing как latency-priority lane рядом со стандартными и batch API routes

xai

xAI Priority Processing service_tier routing: latency lane требует отдельной политики

xAI Priority Processing добавляет service_tier=priority для Chat Completions и Responses, превращая latency в per-request routing и billing decision.

25 июня 2026 г.источник xAI Docs

Редакционная графика: стрелка бенчмарка скорости с ветвями routing-решений и минимальными элементами кода

zhipu

GLM-5.1-HighSpeed: как 400 TPS от Zhipu меняет логику latency-routing

Zhipu AI запустила GLM-5.1-highspeed: 400 ток/с через TileRT, 200K контекст, поддержка MCP. Доступна через DashScope. Изменяет routing-логику для realtime-запросов.

27 мая 2026 г.источник Zhipu AI / BigModel