La inteligencia artificial (IA) genera textos sobre la marcha. Como resultado, los detectores de IA serán tan malos reconociendo un texto de IA como quien lanza una moneda al aire.
Determinar con fiabilidad si un texto ha sido creado por IA o no puede ser imposible. Así lo demuestran nuevas pruebas matemáticas. La facilidad con la que los modelos de IA generan textos indistinguibles de los humanos ya está causando problemas: los estudiantes están viendo cómo sus borradores salen del chatGTP y se lanzan campañas masivas de desinformación.
Entre las ideas para contrarrestar este uso indebido figuran algún tipo de marca de agua oculta en los textos de la IA, o la búsqueda en los textos de patrones que solo una IA podría producir. El informático Soheil Feizi y sus colegas de la Universidad de Maryland (EE. UU.) afirman haber demostrado matemáticamente que estas técnicas de desenmascaramiento de la IA no son fiables. Esto se debe a la combinación de programas de parafraseo y modelos de IA. Si un estudiante tiene una redacción escrita por chatGTP y luego la pasa por un programa de parafraseo, se reduce drásticamente la eficacia de la marca de agua. Además, los textos de los modelos lingüísticos coincidirán matemáticamente cada vez más con el lenguaje humano a medida que los modelos mejoren.
Errores de detección
Para demostrarlo, Feizi y su equipo utilizaron herramientas de parafraseo basadas en IA para reformular un texto generado por IA. Alimentaron con ese nuevo texto varios detectores de texto de IA. La mayor parte de los detectores tenían una eficacia de solo el 50 %. Observamos una caída gigantesca en el rendimiento de los detectores. “Su precisión es similar a la de un predictor aleatorio”, afirma Feizi.
Los investigadores emplearon una prueba matemática, llamada resultado de imposibilidad, para demostrar que los detectores de IA van a tener cada vez más dificultades. La razón es que la elección de palabras de los modelos de IA es cada vez más humana.
Por lo tanto, los detectores van a etiquetar incorrectamente demasiados textos como IA, o muy pocos, lo que significa que los verdaderos textos de IA dejarán de ser detectados. La prueba matemática es una prepublicación, por lo que aún no ha sido sometida a revisión por pares.
Consecuencias
“A efectos prácticos, ni siquiera el mejor detector, ya exista o esté por desarrollar, será muy bueno”, afirma Feizi. En realidad, un modelo de este tipo sería como lanzar una moneda al aire. “Nunca podremos determinar con seguridad si un texto ha sido creado por un ser humano o por un modelo de IA. Creo que tenemos que aprender a vivir con ello”, afirma Feizi.
La profesora Yulan He, del King's College de Londres, sugiere que deberíamos intentar comprender las consecuencias de los modelos de IA, en lugar de dedicar mucho tiempo a crear detectores de IA. ¿Qué riesgos traen estos modelos de IA a nuestras vidas y cómo podemos utilizarlos como IA útiles para nosotros mismos?.
Sin comentarios