NVIDIA представила Dynamo, систему для оптимизации вывода ИИ-агентов, таких как Claude Code и Codex, которые генерируют код в продакшене. Основная проблема — высокое давление на кэш KV, так как агенты делают сотни вызовов API с повторяющимися префиксами диалога, что приводит к неэффективности. Dynamo решает это через многоуровневую архитектуру: фронтенд с поддержкой новых API, маршрутизатор с учетом кэша и управление кэшем KV, что повышает производительность для команд, использующих open-source модели на своих GPU.