Компания Anthropic, разработчик искусственного интеллекта Claude, предупредила в своём блоге, что её собственные системы в конечном итоге могут стать способными к самосовершенствованию. Она даже заявила, что мир должен быть готов нажать на паузу до того, как это произойдёт.
Anthropic сообщила, что её модели Claude движутся к тому, что она называет «рекурсивным самосовершенствованием». Это означает, что ИИ может улучшать себя без прямого вмешательства человека.
Компания заявила в блоге, что этот порог ещё не был преодолён, но утверждает, что это «может произойти раньше, чем большинство институтов к этому готовы».
«Мы считаем, что было бы хорошо для мира иметь возможность замедлить или временно приостановить разработку передового ИИ, чтобы дать возможность социальным структурам и исследованиям в области согласования (alignment) успевать за развитием технологии», — написали в Anthropic.
В то же время компания признала, насколько сложно это будет осуществить. Anthropic заявила, что любое значимое замедление, вероятно, потребует согласия нескольких хорошо финансируемых лабораторий, работающих на переднем крае или вблизи него в нескольких странах, остановиться на одних и тех же условиях.
Она также отметила, что такие усилия будет трудно проверить. Обучающие запуски ИИ гораздо легче скрыть, чем шахты для ракет.
Некоторые критики сомневаются, не поможет ли пауза также удобным образом защитить текущее преимущество компании.
Фирмы, создающие наиболее мощные системы ИИ, всё чаще формируют правила в реальном времени. Если Anthropic права, у правительств и регуляторов может оказаться меньше времени, чем ожидалось, для внедрения мер безопасности вокруг инструментов, которые могут повлиять на ведение войн, рабочие места и общественное доверие.
ИИ также имеет прямую связь с энергосистемой.
Эти системы могут помогать прогнозировать спрос на коммунальные услуги и улучшать производительность аккумуляторов и сетей. Но обучение и эксплуатация новых моделей могут требовать огромного количества электроэнергии и воды. Они могут создавать нагрузку на местную инфраструктуру и повышать расходы для сообществ, если спрос растёт слишком быстро.
Anthropic считает себя осторожной компанией. Однако критики указывают на сообщения об использовании её инструментов в военных и разведывательных целях, утверждая, что её заявления о безопасности не всегда соответствуют её деловым решениям.
Не все убеждены предупреждением компании.
Заслуженный профессор Нью-Йоркского университета Гэри Маркус написал в Substack: «В некоторой степени новый блог Anthropic — это трюк: Anthropic пытается вселить ужас в сердца всех… но всё, что они на самом деле показали, — это просто более быстрое написание кода, полностью под контролем человека, а также прогресс по некоторым тестам».
Маркус добавил: «Более быстрый инструмент для написания кода, вероятно, не уничтожит мир».
Профессор Университетского колледжа Лондона Стивен Мёрдок также отнёсся скептически, заявив The Guardian: «Anthropic может создавать впечатление тёплой и пушистой компании, но их определение безопасности ИИ узко. Поддержка американских властей в разработке наступательных возможностей никогда не была тем, против чего они выступали».
Anthropic заявила, что планирует в ближайшие месяцы провести дополнительные обсуждения с политиками, исследователями, группами гражданского общества и другими компаниями, занимающимися ИИ.
Получайте бесплатные информационные бюллетени TCD для простых советов, умных рекомендаций и возможности выиграть 5000 долларов на улучшение дома. Чтобы увидеть больше подобных историй, измените настройки Google здесь.