La IA ha demostrado avances en la investigación de idiomas raros y poco difundidos

Los grandes modelos de lenguaje reducen la brecha lingüística

Las nuevas versiones de inteligencia artificial (IA) muestran un progreso notable en el manejo de idiomas raros y poco conocidos, lo que reduce significativamente la “brecha lingüística” global. Esto confirma una investigación de RWS publicada por TechRadar.

1. Qué mostraron los estudios
- Google Gemini Pro obtuvo una puntuación de calidad superior a 4,5 sobre 5 en el conocimiento del idioma kinyarwanda, hablado por alrededor de 12 millones de personas en Ruanda, Uganda y la República Democrática del Congo.
- Los autores explican el éxito diciendo que los modelos modernos se basan no solo en enormes conjuntos de datos específicos de un idioma, sino también en patrones estadísticos comunes a todos los idiomas (mecanismo de transferencia interlingüística).
- Las mejoras en los tokenizadores – sistemas de segmentación de texto en “tokens” – también contribuyen a un trabajo más preciso con idiomas raros.

2. Efecto del “drift del benchmark”
Los expertos descubrieron que al pasar de una versión del modelo a la siguiente, sus capacidades pueden cambiar inesperadamente:
- La última versión de OpenAI GPT queda rezagada frente a modelos anteriores en algunas tareas de generación de contenido, aunque su predecesor era más eficaz.
- La eficiencia del tokenizador puede variar hasta 3,5 veces entre generaciones; esto significa que los resultados de pruebas anteriores no siempre se aplican a las nuevas versiones.

3. Qué cambia en las prioridades de los desarrolladores
- Anteriormente, los laboratorios de IA ponían la productividad en inglés y varios idiomas clave como máxima prioridad.
- Los modelos modernos ya manejan con éxito estas tareas, por lo que el enfoque se desplaza hacia una audiencia más amplia: el soporte para idiomas raros se vuelve cada vez más importante.
- Sin embargo, una puntuación de 4,5/5 no garantiza un dominio real del idioma; la compatibilidad multilingüe aún no se considera crítica.

4. Conclusión
La IA sigue derribando barreras entre culturas e idiomas. A pesar de que la “cobertura” de idiomas raros todavía no es un requisito obligatorio, la tendencia hacia una mayor cobertura de audiencia ya es visible y, según los expertos, seguirá intensificándose en los próximos años.