Anthropic защитит ИИ от ядерных промахов
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Компания Anthropic интегрировала новый инструмент в свой чат-бот Claude: если вы попытаетесь узнать у ИИ, как собрать ядерную бомбу — не только не получите ответа, но рискуете навлечь на себя внимание спецслужб. Новая система — это классификатор вопросов, касающихся создания ядерного оружия, созданный в сотрудничестве с Национальной администрацией ядерной безопасности США. Технология отличает безобидные вопросы, вроде принципа работы реактора, от опасных запросов, которые намекают на создание взрывчатки. Тесты показали: эффективность фильтра — 96%. Именно потому государственные органы США обеспокоены: ИИ получает доступ к секретным техническим данным, которыми могут воспользоваться злоумышленники. Тысяча безобидных вопросов абсолютно нормальных людей — но одна попытка построить бомбу в обход запрета может обойти людей-модераторов. Здесь-то и появляется автоматическая защита Claude. Система различает разницу между легальным интересом — например, зачем использовать торий вместо урана — и настораживающими подробностями про обогащение урана с помощью подручных средств. Anthropic делится своей технологией с международным AI-консорциумом в рамках дискуссий по безопасности. Компания подчеркивает: их фильтр не мешает интересоваться медициной или физикой, но не даст превратить беседу в мини-лабораторию по сборке оружия. Не волнуйтесь — раньше Claude не давал руководство по сборке бомбы. Но теперь — даже любопытный школьник на всякий случай останется только с рецептами сэндвичей.
PEREC.RU
Anthropic снова в тренде этичности. Презентовали фильтр, от которого, казалось бы, должны были бы страдать одни только злодеи-любители изобретать всякие нехорошие игрушки. Но нет — всё ради великого будущего, где искусственный интеллект превращают в идеального модератора человеческих причуд.
Вы спросите: а раньше AI бомбы собирал? Нет, но чего не бывает: чиновники и бюрократы, они ж всегда на шаг впереди паранойи. Вдруг школьник-олимпиадник решит «погуглить» про цепную реакцию. Теперь, если что — захлопнется не только окно Овертона, но и весь браузер. Эффективность 96%? Наверняка оставшиеся 4% — фанаты Ницше, предпочитающие, чтобы мир был немного хаотичнее.
Партнёрство с госструктурами США — фанфарный восторг! Как будто наши бы сделали иначе: в интернете появилось что-то опасное — полоскайте до дыр. Вот эта искусственная решимость вычислять разницу между «наукой» и «терроризмом» удивляет, ведь именно на ней выстроено любое современное IT-законодательство. Проверять всё автоматом — и не оправдываться. В итоге, AI искренне рад: теперь его не обвинят в создании цифрового сатаны. Остаётся только надеяться, что машинные фильтры не попутают макет Парфенона с чертежом плутониевой бомбы. И снова стоим на пороге новой эпохи цензуры: только теперь она умнее, чем предыдущая.
