Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
ИИ научили проверять работу графического драйвера не только по строкам кода и сообщениям компилятора, но и по изображению на экране. Необычный эксперимент провёл Linux-разработчик Justin Schroeder: он объединил старый MacBook на процессоре Intel, встроенную веб-камеру и зеркало, направленное на дисплей ноутбука.
Схема выглядит почти как компьютерный фокус, но её задача вполне практическая. Камера снимает экран через отражение в зеркале, а программный агент получает визуальную информацию о том, что происходит после изменения графического кода. Иными словами, компьютер наблюдает за изображением, которое сам же и выводит.
Демонстрация проходила в рамках работы над Omarchy — открытым дистрибутивом Linux, который адаптируют для оборудования с графикой AMD Radeon. Поддержка Radeon требует изменений в драйвере — программном компоненте, связывающем операционную систему с видеокартой и дисплеем. Такие изменения могут повлиять не только на внутреннюю работу системы, но и на то, что пользователь реально видит на экране.
Обычный процесс выглядит прозаично: программист меняет код, собирает проект, перезапускает нужные службы и вручную проверяет результат. ИИ-агент в этой схеме получает дополнительный канал обратной связи. После модификации, сборки и запуска драйвера он может заметить искажения изображения, мерцание, неправильное разрешение или другие признаки неисправности, а затем использовать эту информацию для дальнейшей корректировки кода.
Это важно потому, что успешная компиляция ещё не означает исправную графику. Драйвер способен собраться без ошибок, но при работе выдавать артефакты, нестабильное изображение или неверные параметры экрана. Камера и зеркало позволяют проверять именно физический результат работы графической подсистемы, а не только текстовые диагностические сообщения.
В таком подходе программисту не обязательно лично осматривать каждый промежуточный результат. Агент может повторять цикл изменения, сборки, запуска и визуальной проверки на самом компьютере. Человеческое участие при этом не исчезает: эксперимент показывает способ автоматизировать часть разработки, а не создание полностью готового драйвера без программиста.
Кроме того, по одному изображению нельзя оценить все функции драйвера. Оно не заменяет проверку производительности, стабильности, энергопотребления, совместимости и других технических параметров. Поэтому работа Schroeder демонстрирует интересный канал обратной связи между ИИ, кодом и графическим оборудованием, но пока не доказывает, что такой метод надёжно масштабируется до полноценной разработки Radeon-драйверов.
Эксперимент Linux-разработчика Justin Schroeder показывает необычный способ автоматизировать часть работы над графическими драйверами. Для этого он использовал старый MacBook на процессоре Intel, встроенную веб-камеру и зеркало, установленное напротив дисплея. Камера направлена не прямо на экран, а на его отражение, благодаря чему программный агент может получать изображение результата своих действий.
Система тестировалась во время работы над Omarchy — открытым дистрибутивом Linux, который адаптируют для видеокарт и другой графики AMD Radeon. Агент изменяет код драйвера, собирает обновлённую версию, запускает её и затем анализирует изображение на экране. Если после изменений появляются искажения, мерцание, неверное разрешение, артефакты или иные визуальные сбои, эти данные могут использоваться для дальнейшей корректировки.
Главная ценность подхода в том, что успешная компиляция не гарантирует исправную работу драйвера. Программа может собраться без текстовых ошибок, но при реальном запуске неправильно выводить изображение или работать нестабильно. Визуальная обратная связь позволяет проверять не только код и сообщения системы, но и фактический результат на физическом дисплее.
В традиционном процессе программист вручную меняет код, компилирует его, перезапускает необходимые службы и осматривает экран после каждого важного шага. В экспериментальной схеме агент может выполнять повторяющийся цикл изменения, сборки, запуска и визуальной проверки с меньшим участием человека.
При этом демонстрация не доказывает, что ИИ способен самостоятельно создать полноценный производственный драйвер AMD Radeon. Она показывает более узкую задачу: агент может получать изображение с экрана и учитывать его при отладке графического кода. Такой метод также не заменяет проверки производительности, стабильности, энергопотребления, совместимости и других параметров, которые невозможно надёжно оценить по одной картинке. Поэтому эксперимент следует рассматривать как интересный способ автоматизировать визуальную часть тестирования, а не как замену всей работе инженеров.