Теги

Новости по тегу "prompt-caching"

RSS-лента
Абстрактная диаграмма роутинга: три канала динамического управления подключаются к закэшированному префиксу разговора, редакционный стиль

Claude Fable 5.1: управление effort по сообщениям и изменение инструментов в середине сессии без сброса кэша

Обновление Anthropic API от 1 сентября добавило три beta-функции — per-message effort, turn-scoped system-сообщения и mid-conversation tool changes — позволяющие менять поведение модели в длинной сессии без инвалидации кэш-префикса.

источник Anthropic
Абстрактная иллюстрация: контрольная точка кэша восстанавливает эффективную передачу сигнала через слой AI-роутинга

Claude Code 2.1.237 исправляет prompt caching через LLM gateway — а 2.1.236 добавляет модель по умолчанию, которую можно переопределить

Claude Code 2.1.237 устраняет баг, который молча инвалидировал prompt cache для каждой сессии через custom base URL. Если вы маршрутизируете Claude Code через gateway, с момента версии 2.1.229 каждый запрос обрабатывался с полной стоимостью контекстного окна.

источник Anthropic
Абстрактная схема маршрутизации с инъекцией system message в середину диалога

Mid-Conversation System Messages в Claude API получили статус GA: контрольный список для операторов gateway и прокси

15 июля Anthropic убрала требование beta-заголовка для mid-conversation system messages на API, Bedrock и Vertex AI. Если ваш gateway фильтрует role:system в массиве messages при проксировании Claude, agentic-сессии уже молча сломаны.

источник Anthropic
Абстрактная схема облачного gateway с биллинговыми счётчиками и подсвеченными индикаторами промахов кеша на тёмном фоне

Claude Code переплачивал за Bedrock, Vertex, Mantle и Foundry: чеклист аудита для операторов gateway

Claude Code 2.1.211 исправляет регрессию prompt caching: завершающий блок системного контекста молча выставлялся как свежие input-токены при каждом запросе через Bedrock, Vertex AI, Mantle и Foundry. Операторам gateway необходим аудит счетов.

источник Anthropic Claude Code
Помощь и контакты