Исследователи из MIT CSAIL обнаружили, что современные языковые модели, включая системы вроде OpenAI o1, страдают от чрезмерной самоуверенности из-за стандартного подхода к обучению с подкреплением. Они разработали метод RLCR, который добавляет в функцию вознаграждения штраф за расхождение между заявленной уверенностью модели и её фактической точностью. В экспериментах RLCR снизил ошибку калибровки до 90%, сохранив или улучшив точность ответов, даже на задачах, которые модель никогда не видела. Это позволяет моделям генерировать ответы вместе с оценкой уверенности, что критически важно для применения в медицине, финансах или юриспруденции, где слепая уверенность ИИ опаснее простых ошибок.