Cómo hacer que la IA funcione en sus 22 idiomas

Vineet Sawant ha estado recorriendo las calles de Mumbai en una scooter como repartidor durante los últimos dos años.

“Estar de viaje siempre es muy estresante, especialmente en ciudades como Mumbai”, afirma.

Pero las barreras del idioma fueron un problema añadido cuando empezó.

Su primer idioma es el marathi y Sawant habla “muy poco” inglés. “Puedo entenderlo, pero es difícil de leer”, explicó.

Esto causa problemas en su nuevo trabajo.

Dijo: “Al principio fue muy difícil. Todo estaba en inglés y podía entender parte de ello, pero me sentía más cómodo en marathi. Solía ​​pedir a otros repartidores que me ayudaran a decidir qué hacer”.

Su empleador, Zepto, promete “la entrega de comestibles en línea más rápida de la India”. Por lo tanto, que los conductores tengan dificultades con las instrucciones de entrega no es lo ideal.

Para facilitar este proceso hace un año, Zepto se asoció con Reverie Language Technologies para introducir un servicio de traducción de IA para sus conductores.

Desde entonces, sus repartidores pueden elegir entre seis idiomas en la aplicación Zepto.

“Ya no tengo que adivinar más”, dijo Sawant.

“Antes me tomaba mucho tiempo leer y a veces cometía errores. Ahora, si un cliente escribe ‘tocar el timbre’, recibo esa instrucción en marathi. Así que no tengo que volver a preguntar ni verificar. Está claro”.

Los problemas del señor Sawant son comunes.

“India tiene 22 lenguas oficiales y cientos de dialectos”, afirma el profesor Pushpak Bhattacharya del IIT Mumbai, uno de los principales expertos de la India en el uso de la IA en las lenguas indias.

“Sin la tecnología para comprender y hablar estos idiomas, millones de personas quedan excluidas de la revolución digital, especialmente en la educación, la gobernanza, la atención sanitaria y la banca”, señaló.

La implementación de nuevos sistemas productivos de IA como ChatGPT ha hecho que la tarea sea aún más urgente.

Para entrenar la IA se utilizan enormes cantidades de datos, como páginas web, libros o transcripciones de vídeos.

Es fácil de obtener en idiomas muy hablados como el hindi y el inglés, pero es muy difícil para otros.

“El principal desafío para construir modelos de lengua india es la disponibilidad de datos. Estoy hablando de datos refinados. Hay datos de calidad burda disponibles, pero los datos no son de muy alta calidad y necesitan ser filtrados”, dice el profesor Bhattacharya.

“El problema en la India es que para muchas lenguas indias, especialmente los dialectos tribales y regionales, estos datos no existen o no han sido digitalizados”.

Reverie Language Technologies ahora está implementando tecnología de traducción basada en inteligencia artificial en una variedad de empresas indias.

El cofundador Vivekananda Pani dice que la tecnología de traducción facilita la comunicación, pero “es probable que los dialectos menos comunes queden de lado”.

“El desafío es garantizar que los enormes beneficios de los avances del lenguaje impulsados ​​por la IA no reduzcan inadvertidamente la rica diversidad del lenguaje humano”.

Para ayudar al Prof. Bhattacharya a resolver el problema Contribuido a BhashiniUn proyecto gubernamental para desarrollar conjuntos de datos de alta calidad necesarios para entrenar la IA.

Además de los conjuntos de datos, Bashini ha creado modelos lingüísticos de IA y servicios de traducción en 22 idiomas.

Lanzada en 2022, se trata de una empresa enorme, pero ya se han logrado muchos avances.

Bhashini opera actualmente más de 350 modelos de lenguaje impulsados ​​por IA que han procesado más de mil millones de tareas.

Más de 50 departamentos gubernamentales están trabajando con Bhashini junto con 25 gobiernos estatales.

Por ejemplo, Bhashini Tech se utiliza en chatbots multilingües para servicios públicos y para traducir planes gubernamentales a los idiomas locales.

“Bashini garantiza la representación lingüística y cultural de la India mediante la construcción de modelos de inteligencia artificial específicos para la India sin depender de plataformas globales”, dijo Amitabh Nag, director ejecutivo de Digital India, División Bashini.

Espera que los consumidores rurales tengan acceso mediante voz a servicios gubernamentales, instrumentos financieros y sistemas de información en sus lenguas maternas en los próximos dos o tres años.

Estos conjuntos de datos centrados en la India algún día brindarán a las personas que desarrollan modelos basados ​​en IA las herramientas para hacerlos mucho más fáciles para toda la población.

Actualmente, diseñar cualquier programa de IA para abordar procesos complejos como la atención médica es un gran desafío.

Kshitij Jadhav, profesor asociado del Centro Koita para la Salud Digital del IIT Mumbai, está trabajando en un programa de inteligencia artificial para ayudar a las personas a dejar de fumar.

Explicó que las personas en diferentes etapas del proceso necesitan consejos diferentes y, por lo general, necesitan una persona bien capacitada para realizar esa evaluación.

Pero hay un número limitado de estudiantes que pueden ayudar, especialmente aquellos que pueden operar en varios idiomas, por lo que el profesor Jadhav espera que su modelo de IA pueda cerrar la brecha.

La IA “identificará primero la conversación que la persona necesita y formulará las preguntas en consecuencia, mostrando empatía y emoción”, dijo el profesor Jadhav.

Y todo eso, con suerte, eventualmente se hará en 22 idiomas. Se están realizando experimentos preliminares en inglés e hindi.

“Es muy personalizable, no es algo estándar”, dijo.

De vuelta en las calles de la ciudad, Vineet Sawant ha aumentado el número de paquetes que entrega de diez a unos 30 por día, ayudado en parte por la función de traducción de la aplicación de entrega.

Cree que ayudará más a personas como él.

“Nos hace sentir que pertenecemos. No todos entienden inglés. Cuando la aplicación habla nuestro idioma, nos sentimos más seguros y trabajamos mejor”.