África crea una IA que supera a los gigantes

África crea una IA que supera a los gigantes
La empresa Vambo AI ha presentado MORENA, un modelo lingüístico de 1.500 millones de parámetros creado específicamente para las lenguas africanas. También trabaja con inglés, francés y código de programación. Sus desarrolladores aseguran que MORENA ha superado a los modelos de Google, Meta, Alibaba y HuggingFace en tareas de modelización del habla africana y traducción, pese a tener hasta ocho veces menos parámetros.

Los parámetros son los «ajustes» de una red neuronal. Su cantidad no garantiza la calidad, aunque suele influir en el coste computacional. En la prueba clave, MORENA obtuvo 1,408 bpb, una métrica que refleja cuántos bits necesita el modelo para procesar cada byte de texto; cuanto menor sea, mejor. Fue el mejor resultado entre los 26 sistemas evaluados. El competidor más cercano obtuvo 1,423 bpb con más de cinco veces más parámetros.

MORENA se ha entrenado con pidgin nigeriano, igbo, yoruba, hausa, kiswahili, chishona, isizulu, isixhosa, kinyarwanda, setswana, afrikáans e isindebele. Muchos proyectos anteriores se limitaban a adaptar versiones de Llama. Ese enfoque conservaba un vocabulario pensado ante todo para el inglés y el código de programación. Vambo AI cambió el propio planteamiento de preparación del modelo: eligió de antemano las lenguas, los datos y el tokenizador, la herramienta que divide el texto en fragmentos para que la red neuronal los procese.

Tras comparar varias opciones de vocabulario, los desarrolladores eligieron la más eficiente en coste y velocidad. Con los mismos fragmentos, MORENA codifica el texto africano usando 1,39 veces menos tokens que Gemma 3 y 1,53 veces menos que Llama 3.2. Sin embargo, no ha conseguido superar del todo las particularidades de las lenguas: para procesar un byte de texto africano, el modelo consume 0,249 tokens, frente a 0,234 para el inglés, alrededor de un 6 % más. El equipo aún no ha explicado la causa de esta diferencia.

Lugha-Llama-8B, una versión de Llama 3.1 adaptada para África con 8.000 millones de parámetros, obtuvo 1,423 bpb y quedó por detrás de MORENA en ocho de las 12 lenguas. Gemma, con 12.000 millones de parámetros, requiere unas 11 veces más cómputo, pero obtuvo un resultado inferior con el mismo texto.

La versión instruct, es decir, ajustada para dialogar y seguir instrucciones, obtuvo 1,441 bpb. En conjunto quedó por detrás de Lugha-Llama-8B, aunque la superó en cinco lenguas compartidas, usando aproximadamente el 20 % de sus parámetros. Tras mostrarle tres ejemplos de traducción, esta versión tradujo del inglés a cinco lenguas africanas con una puntuación de 45,8 chrF++. Esta métrica evalúa la coincidencia de caracteres con una traducción de referencia. El resultado fue estadísticamente comparable al de un sistema especializado y quedó unos 1,4 puntos por debajo de un modelo de traducción más grande. Los modelos generalistas de tamaño similar suelen obtener entre 9 y 14 puntos en la comparación correspondiente.

Durante el preentrenamiento, MORENA procesó 251.700 millones de tokens y, en una fase intermedia, otros 63.000 millones. Según el equipo, su desarrollo requirió más de 22.000 horas de GPU A100. El coste de los recursos de computación proporcionados se estima en unos 40.000 dólares. UNDP, AIHub4SD y CINECA contribuyeron al proyecto con recursos de computación y otro tipo de apoyo.

MORENA también tiene versiones de 500 y 200 millones de parámetros. Según sus desarrolladores, las variantes de 500 millones superaron a todos los sistemas externos evaluados en el proyecto en 11 de las 12 lenguas. La versión Nano, de 200 millones de parámetros, está pensada para volver a evaluar los resultados del reconocimiento del habla, las aplicaciones de teclado y la normalización de texto. Procesar cada byte le cuesta 58 veces menos que a Lugha-Llama-8B y, en una A100, genera 104 tokens por segundo.

También existe una compilación compatible con CPU que funciona sin conexión en un portátil normal. Esto es importante para las regiones donde no se puede confiar en un acceso constante a tarjetas gráficas potentes. En definitiva, los desarrolladores proponen una gama de modelos para distintas tareas y presupuestos, en lugar de un único sistema gigantesco: desde aplicaciones autónomas y reconocimiento del habla hasta servicios conversacionales, traducción e integración con otras herramientas de IA.