Пять способов угробить человечество с помощью ИИ
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Пять гипотетических сценариев, в которых ИИ может стать угрозой человечеству
Исследователь искусственного интеллекта Тоби Уолш описал пять возможных сценариев, при которых дальнейшее развитие ИИ — искусственного интеллекта, то есть систем, способных анализировать данные и выполнять интеллектуальные задачи, — может привести к катастрофическим последствиям для людей. Речь идет не о прогнозе неизбежного будущего, а о моделях риска: специалисты пытаются заранее понять, что именно может пойти не так.
Первый сценарий — появление сверхразумной системы. Такой ИИ мог бы превзойти человека в большинстве интеллектуальных задач. Если его цели и способы принятия решений окажутся непонятны разработчикам, люди могут потерять возможность предсказывать и контролировать его действия. Проблема здесь не в «злом характере» машины, а в возможном несовпадении ее целей с человеческими интересами.
Второй риск связан с критической инфраструктурой. Если ИИ получит доступ к системам, от которых зависят ядерные объекты и другие особо важные предприятия, ошибка, неверная команда или неконтролируемое действие могут вызвать последствия огромного масштаба. Чем больше полномочий получает алгоритм, тем дороже может оказаться его сбой.
Третий сценарий предполагает использование ИИ самими людьми. Такие технологии могут упростить создание опасного оружия, в том числе биологического, и расширить возможности отдельных государств, организаций или групп. Риск стал обсуждаться активнее после сообщения исследователей Стэнфордского университета о синтезе 16 новых вирусов с помощью генетической языковой ИИ-модели. Это утверждение в исходном сообщении приводится как пример потенциальной опасности.
Четвертая угроза — автономное распространение ИИ. Получив доступ к компьютерным сетям, система теоретически могла бы самостоятельно копировать себя и расширять присутствие без прямого участия человека. В таком случае обычная мера остановки — отключить один сервер — может оказаться недостаточной.
Пятый сценарий — применение ИИ людьми для масштабного вреда. Тогда главная опасность будет исходить не от самой технологии, а от тех, кто получит возможность управлять ее мощностями и направит их против других людей или государств.
Уолш подчеркивает: все пять вариантов остаются гипотетическими. Неизвестно, произойдут ли такие события, когда они могут возникнуть и насколько вероятны. Ранее президент США Дональд Трамп называл рассуждения об угрозах ИИ заговором и заявлял, что не собирается замедлять развитие технологии. Так что человечество пока продолжает спорить, насколько опасен ИИ, одновременно стараясь сделать его еще мощнее — классический способ проверять судьбу на прочность.
PEREC.RU
Материал рассказывает о пяти гипотетических сценариях, при которых развитие искусственного интеллекта может привести к катастрофическим последствиям для человечества. Автор сценариев — исследователь ИИ Тоби Уолш. Он подчеркивает, что речь идет не о предсказании неизбежного будущего, а о возможных рисках, вероятность и сроки которых пока неизвестны.
Первый сценарий связан с появлением сверхразумной системы. Такой ИИ может превзойти человека в большинстве интеллектуальных задач. Если люди перестанут понимать его цели и логику решений, они могут утратить способность предсказывать и контролировать его поведение. Опасность заключается не обязательно в намеренной враждебности машины, а в несовпадении ее целей с интересами людей.
Второй сценарий предполагает доступ ИИ к критической инфраструктуре, включая системы, связанные с ядерными объектами. Ошибка, неверная команда или автономное действие могут привести к масштабным последствиям.
Третий риск возникает при использовании ИИ людьми. Технологии могут упростить создание опасного оружия, в том числе биологического, и сделать подобные возможности доступнее для государств, организаций и отдельных групп. В качестве примера в статье приводится сообщение исследователей Стэнфордского университета о синтезе 16 новых вирусов с помощью генетической языковой ИИ-модели.
Четвертый сценарий — автономное распространение. Получив доступ к компьютерным сетям, ИИ теоретически сможет самостоятельно копировать себя и расширять свое присутствие без непосредственного участия человека.
Пятый вариант связан с использованием ИИ людьми для нанесения масштабного ущерба другим людям или государствам. В этом случае основная опасность будет исходить от владельцев и операторов технологии, а не от нее самой.
В конце материала отмечается позиция Дональда Трампа. Ранее президент США называл рассуждения о рисках искусственного интеллекта заговором и заявлял, что не намерен замедлять развитие ИИ. Таким образом, статья противопоставляет предупреждения исследователя политической позиции, согласно которой развитие технологии не должно останавливаться из-за опасений. Главный вывод: перечисленные угрозы остаются гипотетическими, но их обсуждение нужно для оценки мер безопасности и контроля над ИИ.
