OpenAI introducirá durante las próximas semanas una marca de agua invisible en determinados textos generados por ChatGPT y Codex en la Unión Europea. La tecnología, denominada textGrain, pretende facilitar la identificación automatizada de contenidos producidos por inteligencia artificial para adaptarse a las exigencias de transparencia de la Ley de IA europea, aunque la propia compañía reconoce que el sistema tiene importantes limitaciones.
OpenAI da un nuevo paso en la identificación del contenido creado mediante inteligencia artificial. La compañía anunció este lunes que incorporará progresivamente una señal invisible en los textos elegibles generados por ChatGPT y Codex para usuarios de todos los planes en la Unión Europea.
La medida responde a las disposiciones europeas que exigen que determinados contenidos generados mediante IA puedan ser identificados de forma legible por máquinas.
Una huella escondida en la elección de las palabras
La tecnología recibe el nombre de textGrain. A diferencia de lo que podría sugerir la expresión «marca de agua», no introduce caracteres ocultos, espacios invisibles ni signos especiales en el documento.
El mecanismo modifica de manera sutil las probabilidades que utiliza el modelo para escoger entre distintas palabras o fragmentos de palabras posibles. A lo largo de un texto, esas decisiones producen un patrón estadístico que posteriormente puede ser buscado mediante un detector específico.
Para el lector, el texto aparece con absoluta normalidad.
OpenAI asegura que sus pruebas no han mostrado un deterioro significativo de la calidad de las respuestas ni un impacto relevante sobre la velocidad de generación.
No permite saber quién utilizó ChatGPT
La compañía insiste, sin embargo, en lo que esta tecnología no puede demostrar.
Encontrar la marca puede indicar que un sistema de OpenAI generó o procesó parte de un texto, pero no permite determinar quién utilizó ChatGPT, cuál fue el prompt, qué conversación originó el contenido o qué porcentaje corresponde a una aportación humana.
Tampoco establece quién es el autor o propietario legal del texto, ni permite determinar si su contenido es verdadero o falso.
El detector también puede equivocarse
OpenAI reconoce además que la detección está lejos de ser infalible. El sistema puede producir falsos positivos —detectar una marca donde no existe— y falsos negativos, es decir, no localizarla aunque el contenido haya sido generado por sus modelos.
La eficacia disminuye especialmente con textos cortos o muy condicionados por su contenido. Una reescritura importante, una paráfrasis o una traducción también pueden debilitar la señal hasta hacer más difícil su detección.
Por estas razones, OpenAI no abrirá inicialmente el detector al público. Su acceso estará reservado a investigadores y organizaciones especializadas previamente autorizadas.
La API tendrá un régimen diferente
La aplicación será distinta para los clientes de la API de OpenAI. Desde este 5 de octubre, usuarios de la API de todo el mundo pueden activar voluntariamente la marca de agua para determinados modelos.
Sin embargo, estará desactivada por defecto, de modo que cada organización podrá decidir si la utiliza en función de sus necesidades y obligaciones de transparencia.
OpenAI trabaja asimismo con sus proveedores de servicios en la nube para extender el sistema a los contenidos generados mediante sus modelos a través de esas plataformas.
OpenAI quiere liberar textGrain como código abierto
La compañía prevé además publicar la tecnología textGrain como código abierto, con el objetivo de que investigadores y desarrolladores puedan estudiarla, mejorarla y desarrollar nuevas aplicaciones.
La iniciativa abre al mismo tiempo un debate que irá más allá de ChatGPT: hasta qué punto será técnicamente posible distinguir en el futuro un texto escrito por una persona de otro generado o ampliamente modificado mediante inteligencia artificial.
Y la respuesta, al menos por ahora, dista de ser absoluta: la propia OpenAI advierte de que no encontrar una marca de agua tampoco demuestra que un texto haya sido escrito por un ser humano.
