Руководитель Anthropic оценил риск катастрофы от ИИ в 25%

Генеральный директор компании Anthropic (известной по ИИ-системе Claude) Дарио Амодей на конференции Axios AI + DC выразил мнение, что существует примерно 25% вероятность того, что искусственный интеллект может привести к катастрофическим последствиям для общества. Он уточнил, что ни речь идёт не о мелких неурядицах, а о рисках, способных разрушить социальные системы, создать экзистенциальную угрозу или же дать ход «неконтролируемым результатам» с разрушительными эффектами.

Несмотря на достаточно тревожную оценку, Амодей заявляет, что его гораздо больше вдохновляют "75% вероятности, что всё будет очень хорошо". По его мнению, ИИ способен принести значительную пользу: это и прорывы в медицине, и повышение эффективности производства, и потенциальные решения глобальных проблем — даже климатических. Хотя он подчёркивает, что потребление энергии такими системами само по себе может стать вызовом.

У Амодея нет иллюзий — это не подбадривающий оптимизм, а расчёт. Он также ранее поднимал вопросы о рисках массового вымывания рабочих мест (до половины начальных позиций в офисах может исчезнуть), а в другой раз выступал против передачи продвинутых чипов в Китай, считая это стратегической угрозой.

Логика Амодея проста: если у вас есть машина, которая по статистике взрывается при запуске в одном случае из четырёх, кто-то бы предпочёл идти пешком, а он бы, скорее, разобрал двигатель и попытался уменьшить риски. К технологиям руководство Anthropic относится схожим образом: они признают значимость угроз, но продолжают создавать и развивать ИИ, делая ставку на осознанное управление потенциальными опасностями и внедрение защитных мер.

Главный вопрос, который поднимает выступление Амодея: если у нас есть шанс 75% построить блестящее будущее и 25% оказаться на краю пропасти — на что современное общество должно сделать ставку и какие меры предпринять, чтобы перевес был на стороне прогресса?