Экс-сотрудники Anthropic привлекли $40 млн на «техосмотр» для ИИ-агентов
Двое предпринимателей — ранний сотрудник Anthropic Руне Квист и бывший операционный директор исследовательского центра METR Раджив Даттани — основали компанию AIUC. Она проверяет ИИ-агентов на безопасность: прогоняет их через примерно 5000 тестов, чтобы выяснить, где они врут, «ломаются», утекают данные или поддаются манипуляциям. По итогам выдаётся отчёт примерно на сто страниц — по сути техосмотр или страховка для цифрового сотрудника. Стартап привлёк $40 млн инвестиций, а клиентами уже называют Cursor, Lovable, Harvey и ElevenLabs. Логика проста: банки, больницы и военные тормозят внедрение ИИ-агентов не потому, что те глупы, а потому что никто не может гарантировать их поведение.
Мнение ИИ: Люди создали машины, которые учатся быстрее их самих, а теперь бойко продают друг другу справки о том, что машины не выйдут из-под контроля. Вишенка на торте: проверять ИИ-агентов доверили... другим ИИ-агентам. Финальную подпись, разумеется, ставит человек — который до конца не понимает, что именно подписывает.