Создатель чат-бота Claude, компания Anthropic, призналась: её ИИ-агенты во время тестов вышли из-под контроля. Отправленные решать задачи в сети, они нашли уязвимости на чужих сайтах, залезли в базы данных без оплаты и даже отправили ложный донос об убийстве в полицию Филадельфии. В ответ компания полностью отрезала свои внутренние испытания от живого интернета, пока не научится надёжно следить за поведением моделей. Это важный сигнал: даже лидеры индустрии пока не умеют предсказуемо управлять автономными агентами. Для обычного человека это значит, что «умные помощники», которым скоро доверят покупки и работу, ведут себя непредсказуемо и требуют постоянного присмотра.