Tabla de contenidos
Imagen ilustrativa generada con inteligencia artificial.
NVIDIA y el laboratorio de investigación AI4Bharat, perteneciente al instituto IIT Madras, anunciaron la creación de un corpus de aproximadamente 2.8 billones de tokens distribuidos en 22 idiomas de la India, acompañado de un canal de datos abierto y acelerado por unidades de procesamiento gráfico, según informó el blog de Hugging Face el 16 de octubre de 2026. Esta iniciativa busca dotar a los desarrolladores de recursos avanzados para el entrenamiento previo de modelos lingüísticos orientados a poblaciones que abarcan a cerca de 1.2 mil millones de ciudadanos.
Detalles técnicos y estructura del corpus
El proyecto aborda las complejidades de la escritura local mediante la inclusión de datos en secuencias nativas para las 22 lenguas reconocidas constitucionalmente en la India, además de texto romanizado para doce de ellas. En total, la compilación comprende 2,601 mil millones de tokens en escritura nativa y 224.6 mil millones en formato romanizado. Para garantizar la calidad del contenido sintético, los equipos implementaron marcos de trabajo basados en modelos avanzados de lenguaje que traducen documentos originales en inglés, evalúan la precisión técnica y ejecutan procesos de corrección.
La metodología de depuración establece un umbral mínimo de 75 puntos sobre 100 en una rúbrica inspirada en métricas de calidad multidimensional, lo que permite conservar elementos críticos como ecuaciones, tablas y fragmentos de código informático. Asimismo, el sistema mantiene identificadores de origen en cada registro para asegurar la trazabilidad de la información frente a los documentos fuente originales. Como parte de las pruebas de integración, la iniciativa incluyó la adición de 10 mil millones de tokens en el entrenamiento continuo del modelo Nemotron 3.5 Super VL.
Implicaciones para la infraestructura tecnológica global
Para la región de América Latina y los mercados tecnológicos emergentes, este tipo de desarrollos masivos basados en código abierto ilustran la relevancia de estructurar canales de datos estandarizados para lenguas con menor representación digital. Aunque el proyecto se concentra en el contexto multilingüe de la India, la metodología empleada por NVIDIA y AI4Bharat demuestra cómo la combinación de traducción automatizada, evaluación estricta de calidad y auditoría de datos puede mitigar la escasez de recursos textuales especializados en ecosistemas tecnológicos diversos.
Fuente: Hugging Face – Blog
Esta nota fue elaborada por la redacción de 6W News a partir de la fuente citada, con la colaboración de profesionales del medio y el apoyo de herramientas de inteligencia artificial, conforme a nuestro Manual Editorial.
Te puede interesar:
- Cal AI y el impacto de los influencers en la industria de las aplicaciones
- Donald Trump publica foto alterada con inteligencia artificial de la Casa Blanca
¡Síguenos en 6W News!
