Компания по искусственному интеллекту Anthropic в четверг предложила ввести глобальный мораторий на создание самых мощных систем ИИ, поскольку новейшие модели начинают проявлять признаки того, что они могут выйти из-под контроля человека.
Компания из Сан-Франциско, создающая семейство моделей ИИ Claude, заявила в отчете, что глобальное замедление в разработке передовых ИИ "вероятно, было бы хорошей вещью", но предупредила, что если остановится только одна компания, конкуренты просто вырвутся вперед.
"Мы считаем, что было бы хорошо для мира иметь возможность замедлить или временно приостановить разработку передового ИИ, чтобы дать возможность социальным институтам и исследованиям в области согласования (alignment) успеть за развитием технологии", — говорится в заявлении.
Чтобы добиться реальной паузы, необходимо, чтобы несколько крупных ИИ-компаний в нескольких странах — в первую очередь в США и Китае — одновременно согласились остановиться в соответствии с правилами, которые каждый сможет реально проверить, заявили в Anthropic.
"Без глобального координационного механизма компаниям и правительствам придется принимать трудные решения о безопасности, находясь под конкурентным и геополитическим давлением", — говорится в сообщении.
Компания столкнулась с противодействием со стороны других представителей отрасли и чиновников в Белом доме, которые заявляют, что ее сосредоточенность на наихудших сценариях преувеличивает риски и фактически является стратегией замедления конкурентов под прикрытием заботы о безопасности.
Тем не менее, Белый дом признал мощь модели Mythos компании — которая не была предоставлена широкой публике из-за ее возможностей в области кибербезопасности и в настоящее время развернута только для небольшого числа проверенных организаций.
Это предложение столкнется с серьезными трудностями в Вашингтоне и Кремниевой долине, где американские чиновники и руководители технологических компаний неоднократно заявляли, что любое замедление разработки ИИ рискует передать Китаю решающее стратегическое преимущество в том, что многие считают определяющей технологической гонкой века.
Президент США Дональд Трамп, однако, заявил, что во время своего недавнего визита в Пекин обсуждал возможность сотрудничества с Китаем по вопросам безопасности ИИ.
Трамп также подписал на этой неделе указ, который дает правительству 30 дней на проведение предварительной проверки самых мощных американских моделей ИИ перед их выпуском.
- "Сужение роли человека" -
В Anthropic сравнили эту проблему с договорами о контроле над ядерными вооружениями, но заявили, что справиться с ней будет еще сложнее, поскольку обучение ИИ гораздо легче скрыть, чем ракетную шахту, а соблазн тихо продолжать работу будет огромным.
Компания заявила, что планирует в ближайшие месяцы собрать вместе правительственных чиновников, ученых, правозащитные группы и конкурирующие ИИ-фирмы, чтобы выяснить, как такая система могла бы работать.
Призыв к координации сопровождается внутренними данными, показывающими, что ИИ уже резко ускоряет развитие самого ИИ, сообщили в Anthropic.
Это ускорение создает петлю обратной связи, которая, как предупреждает Anthropic, в конечном итоге может привести к тому, что исследователи называют "рекурсивным самоулучшением".
Речь идет об идее системы ИИ, которая становится способной, по сути, обучать себя становиться умнее без особой помощи человека.
"Мы еще не достигли этого, и рекурсивное самоулучшение не неизбежно", — говорится в отчете, но добавляется, что это может произойти раньше, чем большинство правительств и институтов будут к этому готовы.
"Данные свидетельствуют о том, что роль человека сужается на каждом этапе процесса разработки ИИ", — заявили в компании.
arp/sla