NVIDIA опубликовала подробное руководство по оптимизации памяти для платформы Jetson, предназначенной для запуска ИИ-моделей на периферийных устройствах. В статье рассматриваются пять ключевых слоев программного стека, от базового уровня BSP до квантования моделей, с конкретными примерами высвобождения памяти. Разработчики могут отключать неиспользуемые сервисы, настраивать резервированные области памяти и оптимизировать конвейеры вывода, чтобы запускать более сложные модели в условиях ограниченных ресурсов. Эти техники особенно актуальны для развертывания больших языковых моделей и автономных роботов на edge-устройствах.