Table of Contents
¿Qué ocurre cuando una inteligencia artificial recibe una pregunta que parece técnica e inteligente, pero que en realidad no significa absolutamente nada?
Esa fue la pregunta que intentó responder un grupo de investigadores en Londres al poner a prueba algunos de los modelos de inteligencia artificial más avanzados del mundo.
Para ello, diseñaron más de cien preguntas construidas con conceptos completamente inventados. Términos como «índice de acoplamiento gravitacional entre microservicios» o «tasa metabólica cognitiva de alumnos de secundaria» fueron utilizados para evaluar la capacidad de las IA de detectar cuando una premisa carece de sentido.
El problema: responder aunque la pregunta sea absurda
Los investigadores descubrieron que muchos modelos no cuestionaron los conceptos planteados.
En lugar de señalar que los términos utilizados no existían o que la pregunta estaba mal formulada, las inteligencias artificiales generaron respuestas detalladas, explicaciones técnicas y razonamientos complejos para justificar conceptos inexistentes.
Es decir, las IA actuaron como si la pregunta fuera válida y construyeron una respuesta alrededor de una idea completamente ficticia.
Los modelos con razonamiento avanzado tuvieron peores resultados
Uno de los hallazgos más llamativos fue que los sistemas diseñados para razonar paso a paso obtuvieron resultados incluso menos precisos en este tipo de pruebas.
Según el análisis, los seres humanos suelen cuestionar una pregunta mal planteada aproximadamente en el 40% de los casos.
Las inteligencias artificiales evaluadas solo lo hicieron cerca del 10% de las veces.
Esto significa que, en muchos casos, una persona es más propensa a detectar que una pregunta no tiene sentido que un modelo de IA entrenado para generar respuestas complejas.
Claude mostró mejores resultados
El estudio también comparó diferentes modelos disponibles actualmente.
De acuerdo con los investigadores, algunas versiones de Claude, desarrolladas por la empresa Anthropic, mostraron una ligera ventaja al momento de identificar preguntas defectuosas o conceptos inventados.
Por otro lado, otros modelos de última generación, incluidos algunos sistemas experimentales con capacidades avanzadas de razonamiento, no destacaron especialmente en esta tarea.
El próximo reto de la inteligencia artificial
Los especialistas señalan que este fenómeno está relacionado con la forma en que los modelos son entrenados.
Las IA modernas han sido diseñadas para ser útiles y ofrecer respuestas a prácticamente cualquier consulta. Sin embargo, esta misma característica puede llevarlas a generar información convincente incluso cuando la pregunta original carece de lógica.
Por ello, algunos expertos consideran que uno de los próximos grandes avances en inteligencia artificial no será responder más rápido ni producir textos más largos, sino desarrollar la capacidad de reconocer cuándo una pregunta está mal formulada y decir simplemente:
«Eso no tiene sentido».
La investigación pone sobre la mesa uno de los desafíos más importantes para el futuro de la IA: diferenciar entre responder correctamente y responder por obligación.
