Африка собрала ИИ, который обошёл гигантов

Африка собрала ИИ, который обошёл гигантов
Компания Vambo AI представила MORENA — языковую модель на 1,5 млрд параметров, созданную специально для африканских языков. Она также работает с английским, французским и программным кодом. Разработчики утверждают, что MORENA превзошла модели Google, Meta, Alibaba и HuggingFace в задачах моделирования африканской речи и перевода, хотя содержит до восьми раз меньше параметров.
Параметры — это условные «настройки» нейросети. Их количество не гарантирует качество, но обычно влияет на вычислительные затраты. На ключевом тесте MORENA получила результат 1,408 bpb — этот показатель отражает, сколько бит требуется модели для обработки каждого байта текста; чем он ниже, тем лучше. Среди 26 проверенных систем это был лучший результат. Ближайший конкурент набрал 1,423 bpb, имея более чем в пять раз больше параметров.
MORENA обучена на Nigerian Pidgin, игбо, йоруба, хауса, Kiswahili, ChiShona, isiZulu, isiXhosa, киньяруанда, Setswana, Afrikaans и isiNdebele. Многие предыдущие проекты просто дообучали версии Llama. Такой подход сохранял словарь, рассчитанный прежде всего на английский язык и программный код. Vambo AI изменила сам принцип подготовки модели: заранее выбрала языки, состав данных и токенизатор — инструмент, который разбивает текст на фрагменты для обработки нейросетью.
После сравнения нескольких вариантов словаря разработчики выбрали наиболее эффективный по стоимости и скорости. На одинаковых отрывках африканский текст MORENA кодирует в 1,39 раза меньшим числом токенов, чем Gemma 3, и в 1,53 раза меньшим, чем Llama 3.2. Однако полностью победить особенности языков не удалось: на один байт африканского текста модель расходует 0,249 токена против 0,234 для английского — примерно на 6% больше. Причину этой разницы команда пока не объяснила.
Конкурент Lugha-Llama-8B, адаптированная для Африки версия Llama 3.1 с 8 млрд параметров, получила 1,423 bpb и уступила MORENA в восьми из 12 языков. Модель Gemma с 12 млрд параметров требует примерно в 11 раз больше вычислений, но показала более слабый результат на том же тексте.
Инструкционная, то есть настроенная на диалог и выполнение команд, версия MORENA набрала 1,441 bpb. В целом она уступила Lugha-Llama-8B, зато превзошла её в пяти общих языках, используя примерно 20% от числа её параметров. После показа трёх примеров перевода эта версия переводила с английского на пять африканских языков с результатом 45,8 chrF++. Это метрика, оценивающая совпадение символов с эталонным переводом. Результат оказался статистически сопоставимым с одной специализированной системой перевода и примерно на 1,4 пункта ниже более крупной модели. Универсальные модели похожего размера обычно получают от 9 до 14 пунктов в соответствующем сравнении.
Во время предварительного обучения MORENA обработала 251,7 млрд токенов, а на промежуточном этапе — ещё 63 млрд. Разработка потребовала, по данным команды, более 22 000 часов работы A100 GPU. Стоимость предоставленных вычислительных ресурсов оценивается примерно в 40 000 долларов. Проекту помогали UNDP, AIHub4SD и CINECA — они предоставили вычислительные ресурсы и другую поддержку.
У MORENA есть версии на 0,5 млрд и 0,2 млрд параметров. Варианты на 0,5 млрд, по заявлениям разработчиков, превзошли все внешние системы, проверенные в проекте, в 11 из 12 языков. Nano-версия на 0,2 млрд параметров предназначена для повторной оценки результатов распознавания речи, клавиатурных приложений и нормализации текста. Обработка одного байта для неё в 58 раз дешевле, чем для Lugha-Llama-8B, а на одной A100 она генерирует 104 токена в секунду.
Существует и сборка, совместимая с CPU: она запускается офлайн на обычном ноутбуке. Это важно для регионов, где постоянный доступ к мощным видеокартам ненадёжен. В итоге разработчики предлагают не одну гигантскую систему, а линейку моделей под разные задачи и бюджеты — от автономных приложений и распознавания речи до диалоговых сервисов, перевода и подключения к другим инструментам ИИ.