Как мозг спасёт ИИ от прожорливости: нейронауки vs мегабайты

Секрет устойчивого развития искусственного интеллекта, похоже, всё это время хранился у нас в голове — буквально. Учёные из Университета Суррея (Великобритания) придумали совершенно новый способ обучения ИИ: он копирует структуру связей нейронов человеческого мозга. Такая хитрость, описанная в журнале Neurocomputing, позволила создавать ИИ-системы, которые тратят гораздо меньше энергии и ресурсов, но по точности не уступают (а иногда и превосходят) привычные «раздутые» алгоритмы.

О чём весь сыр-бор? Современные алгоритмы, особенно те самые огромные языковые модели (LLM), на которых работают модные чат-боты, уже обросли миллиардами параметров и сжирают немыслимое количество электричества и денег. По оценкам одной из команд, на обучение суперсовременной системы уходит больше миллиона киловатт-часов — столько за год используют сто американских семей, а это ещё миллионы долларов.

«Поддерживать такие аппетиты ИИ невозможно. Если так пойдёт и дальше, никаких денег и электростанций не хватит», — комментирует руководитель проекта, Роман Бауэр. Дальше команда посмотрела на наш с вами мозг. Обычно «нейросетки» соединяются намертво: каждый искусственный нейрон одной слойки дружит со всеми из следующей. А вот в нашем цере... пардон, коре — всё иначе. Там связи редкие, «умно» организованы: скажем, в сетчатке группы нейронов отвечают за отдельные зоны (топологические карты) и понапрасну провода не тянут. Более того, мозг во время развития отрезает лишние связи, упрощая схему и делая её максимально эффективной.

Так появился принцип Topographical Sparse Mapping (TSM) — «топографически разреженное отображение». В этом подходе каждый входящий сигнал (например, пиксель картинки) связан только с одним нейроном следующего слоя, и строго по месту. Такой шаг сразу уменьшает число нужных связей в разы.

В усовершенствованной версии метода — ETSM (Enhanced Topographical Sparse Mapping) — включили второй этап, снова вдохновлённый биологией: после начальной фазы обучения нейросеть сама избавляется от «мертвых» связей. Этот процесс близок к природной обрезке синапсов у детей: убираются всё ненужное, остаётся главное. Итог — сеть ещё проще, а результат — лучше.

Тесты на задачах распознавания изображений (классика: MNIST, Fashion-MNIST, CIFAR-10 и особо коварный CIFAR-100) поразили результатами: в ETSM можно убрать до 99% связей по сравнению с обычной сетью — и точность не страдает, а иногда даже растёт. Например, на сложном наборе CIFAR-100 точность оказалась выше на 14%, чем у ближайших конкурентов среди «разреженных» моделей, и это с минимальными затратами.

Руководитель эксперимента, Мохсен Камелиан Рад, поясняет: «Для мозга важна не только экономия, но и порядок: каждый нейрон подсоединён к нужному месту. Так сеть учится быстрее, требует меньше энергии и не уступает полноценной. Это реально новый взгляд на искусственные нейронные сети — прямое использование принципов природного интеллекта».

Причём поскольку сеть с самого начала получает простую схему, не тратит сил на ненужные фокусы с пересозданием связей и укорачиванием лишнего. Анализ ресурсоёмкости показал: энергоёмкость обучения падает до 1% от затрат классических моделей. Такой баланс скорости, точности и «зелёности» — то, что не удавалось совместить до этого.

Интрига — в самой физике связей. Если связи делались случайно (не по правилам мозга), сеть всё равно проигрывала: точность падала, результаты вели себя нестабильно. Значит, структура «по-нейронам» — не каприз, а фундамент эффективности.

Пока разработчики научились делать такое только на входном слое модели, а в будущем хотят перенести систему «мозговых карт» ещё глубже. Ещё они планируют испытать метод в языковых моделей, где каждый сэкономленный киловатт — на вес золота (учитывая масштабы GPT и аналогов).

Исследование вышло под названием: «Topographical sparse mapping: нейро-вдохновлённая разреженная платформа для глубоких моделей» (авторы: Мохсен Камелиан Рад, Ферранте Нери, Сотирис Мошоянис, Роман Бауэр).