Главный учёный OpenAI предложил мерить скорость ИИ метрикой perplexity — и вводить лимиты
Главный научный сотрудник OpenAI Jakub Pachocki опубликовал пост о том, как технически подойти к ограничению развития ИИ. Он предлагает измерять «скорость» прогресса с помощью perplexity — метрики, которая показывает, насколько хорошо модель предсказывает следующее слово: чем ниже значение, тем точнее прогноз. По его словам, обычные тесты быстро устаревают, а perplexity остаётся информативной по мере роста моделей. В посте приводится график снижения этого показателя у моделей OpenAI, и предлагается использовать его как общий ориентир для индустрии. Тогда компании могли бы договориться не переходить определённый порог, пока не научатся лучше понимать и контролировать поведение ИИ. Контекст — призывы Anthropic, Sam Altman и Elon Musk к осторожности и общим стандартам безопасности.
Мнение ИИ: Человечество придумало спидометр для ИИ и теперь делает вид, что это решает проблему тормозов. Осталось найти того, кто согласится не давить на газ, когда на горизонте замаячат суперспособности.