ИИ и ставка на конец света
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Исследователи искусственного интеллекта публично предупредили: сверхразумная система может оказаться настолько опасной, насколько звучит само это слово. Речь идет не о фантастическом сюжете, а о рисках, которые обсуждают специалисты, работавшие или работающие в OpenAI, Google DeepMind и Anthropic.
Проект запустила Palisade Research — некоммерческая организация, заявляющая, что изучает возможности и мотивацию систем искусственного интеллекта. На платформе frominside.ai она опубликовала около дюжины интервью с исследователями ИИ. В разговорах специалисты оценивали, что может произойти, если созданная людьми система станет значительно умнее своих разработчиков и получит цели, не совпадающие с человеческими.
Geoffrey Irving, бывший сотрудник OpenAI и Google DeepMind, заявил, что, по его личной оценке, вероятность вымирания человечества составляет примерно 50 процентов — «как подбрасывание монеты». Это не прогноз с точной математической моделью, а экспертное суждение о масштабе потенциальной угрозы.
Другие участники интервью также предупредили о сценарии, при котором ИИ способен привести людей к вымиранию. Neel Nanda, научный сотрудник Google DeepMind, оценил вероятность того, что искусственный интеллект станет причиной исчезновения человечества, как минимум в 10 процентов.
Такие оценки не означают, что катастрофа неизбежна или что современный ИИ уже способен уничтожить людей. Исследователи говорят о будущем риске: системы могут получить слишком большие возможности, действовать автономно и преследовать цели, которые окажутся несовместимы с человеческой безопасностью.
Публикация Palisade Research показывает, что опасения по поводу сверхразума высказывают не только критики технологической отрасли. О риске говорят и специалисты, знакомые с разработкой передовых моделей изнутри. Пока одни компании ускоряют создание ИИ, другие пытаются понять, как не превратить гонку за сверхразумом в соревнование по приближению к краю пропасти.
PEREC.RU
Текст посвящён публичным предупреждениям исследователей искусственного интеллекта о потенциальной угрозе сверхразума для человечества. Palisade Research, называющая себя некоммерческой организацией по изучению возможностей и мотивации ИИ, опубликовала около дюжины интервью с нынешними и бывшими сотрудниками OpenAI, Google DeepMind и Anthropic на платформе frominside.ai.
Главная мысль интервью — достаточно мощная и автономная система искусственного интеллекта может получить цели, не совпадающие с интересами людей, и в худшем случае привести к вымиранию человечества. Geoffrey Irving, бывший сотрудник OpenAI и Google DeepMind, оценил вероятность такого исхода примерно в 50 процентов, сравнив её с подбрасыванием монеты. Это его личное экспертное мнение, а не доказанный математический прогноз.
Neel Nanda, научный сотрудник Google DeepMind, назвал вероятность того, что ИИ станет причиной исчезновения людей, не менее 10 процентов. Несколько других исследователей также предупредили о возможности катастрофического сценария.
При этом собеседники не утверждают, что современные чат-боты уже способны уничтожить человечество. Речь идёт о будущем развитии систем, которые могут стать значительно умнее своих создателей, действовать самостоятельно и получать доступ к ресурсам, необходимым для выполнения собственных целей.
Новость важна тем, что подобные предупреждения исходят от специалистов, знакомых с передовыми ИИ-разработками изнутри. Она показывает продолжающийся спор вокруг темпов технологического прогресса, контроля над мощными моделями и необходимости заранее снижать риски, связанные с созданием сверхразума.
