Теги

Новости по тегу "evals"

RSS-лента
Абстрактная схема, показывающая слои eval harness между моделью и benchmark-баллом, с ветвями routing-решений

Руководство OpenAI по eval harness: почему benchmark-баллы нельзя напрямую использовать для routing-решений

OpenAI опубликовала подробное руководство по проектированию надёжных сторонних оценок моделей. Главный вывод для операторов: выбор harness меняет измеренные возможности модели, поэтому benchmark-баллы требуют контекста перед применением в routing-политике.

источник OpenAI
Редакционная диаграмма петли самообучающегося агента: production traces поступают в eval-цели, которые управляют итерационным циклом Codex

Codex eval в продакшене: как петля самообучающегося агента OpenAI превращает traces в eval-цели

Codex eval инфраструктура выделяет самообучающегося агента. OpenAI Tax AI превратил production traces в eval-цели и запустил автоитерации на Codex. Архитектура не привязана к провайдеру и подходит любой команде на API-gateway.

источник OpenAI Engineering
Помощь и контакты