La IA inventaba partes del programa oficial: cómo añadí un control

Le pedí a la inteligencia artificial que me armara el programa de mi materia a partir de las progresiones oficiales. Lo que me devolvió estaba impecable: bien ordenado, con su lenguaje técnico, con esa cara de documento serio que uno espera de un programa de estudios. Lo di por bueno. Casi lo firmo.

Menos mal que me detuve a cotejarlo contra el documento original, línea por línea, más por costumbre que por sospecha. Y ahí estaba, escondido a plena vista: no era el programa oficial. Se le parecía muchísimo, pero había reescrito progresiones con otras palabras, había fundido dos categorías en una que sonaba muy bien y no existía, había metas que decían casi lo mismo… pero no lo mismo. Nada de eso saltaba a la vista. Todo tenía el tono correcto. Por eso era peligroso: no parecía un error, parecía el original.

Durante un rato me sentí un ingenuo. Yo había supuesto que la máquina estaba leyendo mi documento y devolviéndomelo ordenado. No. Estaba haciendo otra cosa, y entenderla fue lo que me permitió, después, obligarla a parar.

Por qué la IA “inventa” contenido oficial

Hay que entender qué hace realmente una de estas herramientas cuando le pides algo, porque de ahí sale el problema y también la solución. No abre tu documento como quien busca un dato y lo copia. Genera texto: va poniendo la palabra que, según todo lo que ha visto, es la más probable que siga.

Esto no es una sospecha mía; es, literalmente, cómo están construidas. Cuando OpenAI presentó GPT-3 —el modelo que popularizó todo esto—, sus autores lo describieron como un modelo de lenguaje que produce texto de forma secuencial, eligiendo cada fragmento a partir de las probabilidades que aprendió sobre qué suele venir después. Dicho en cristiano: es una máquina de continuar frases de la manera más plausible. No es un archivero que guarda tu programa y te lo devuelve intacto; es un generador de lo que suena bien. Casi siempre eso basta y es utilísimo. Con contenido oficial, es una trampa.

Porque si le pides “dame las progresiones de aprendizaje de tal asignatura”, te va a entregar algo que suena exactamente a progresiones de aprendizaje —el formato, el vocabulario, la cadencia burocrática—, coincida o no con las que de verdad publicó la autoridad. No te miente a propósito. Te da el promedio plausible de lo que un documento así suele decir. Y cuando lo que manejas tiene que ser fiel al pie de la letra —un programa de estudios, una ley, un lineamiento, una rúbrica oficial—, “plausible” no sirve. La diferencia entre lo que suena oficial y lo que es oficial lo es todo, y la máquina no la distingue.

Uno pensaría que esto se arregla con solo darle el documento. Ayuda, pero no basta, y no lo digo de oídas. Joshua Maynez y un equipo de Google estudiaron sistemas que resumían documentos —es decir, sistemas a los que sí se les entrega el texto de origen— y encontraron algo incómodo: todos los sistemas que revisaron metían, en mayor o menor medida, información alucinada, cosas que no estaban respaldadas por el documento original. Reescribir y resumir, aunque sea a partir de una fuente, abre la puerta para colar contenido que no venía ahí. La salida puede conservar el tema, el vocabulario y la pinta del documento, y aun así haber dejado de serle fiel.

Lo verdaderamente resbaloso es que el error se disfraza de acierto. Una falta de ortografía se ve. Una progresión reescrita con otras palabras, no: tiene el mismo aire de autoridad que la buena. Feng Nan y sus colegas lo describieron con precisión al estudiar resúmenes automáticos: el peligro no es tanto el disparate evidente, sino el texto plausible, bien escrito, que resulta inconsistente con la fuente. El invento no viene con letras rojas. Viene bien peinado.

Cómo la obligué a parar

La salida no fue pedirle mejor las cosas ni rogarle que “no inventara”. Fue cambiarle el trabajo y ponerle un candado que yo pudiera revisar de un vistazo. Dos movimientos, y el segundo es el que de verdad cierra la puerta.

El primero: dejar de pedirle que genere y obligarla a copiar. En lugar de “dame las progresiones”, la instrucción es “aquí está el documento; transcribe cada progresión literalmente, palabra por palabra, sin cambiar orden ni ortografía; no combines ni inventes categorías”. Le bajo el rango: de autora a copista. No le pido que sepa el contenido; le pido que lo traslade sin tocarlo.

Este cambio, que a mí me salió del puro sentido común, resulta que apunta a algo que la investigación lleva años señalando. Patrick Lewis y su equipo mostraron que el conocimiento “de memoria” que un modelo guarda en sus entrañas es pobre para acceder a información precisa y mantenerla al día; cuando en cambio le das una memoria documental externa —la fuente a la vista— el sistema produce respuestas más apegadas a los hechos, y además se puede rastrear de dónde salió cada cosa. Traducido a mi mesa de trabajo: no le pidas a la IA que reconstruya de memoria un programa que la autoridad publicó; ponle el documento enfrente y que trabaje desde ahí. La procedencia importa, y “de memoria” no tiene procedencia.

Pero copiar desde la fuente, sola, tampoco basta, porque una máquina que genera puede colarte un cambio incluso cuando le dijiste que copiara. Ahí entra el segundo movimiento, el importante: la verificación por conteo. Antes de dejarla avanzar, le exijo un número. “Analiza el documento y dime cuántas progresiones encontraste.” Ella responde: “Encontré 12, ¿es correcto?”. Y no continúa hasta que yo confirme. Si dice 14 y son 12, la cosa se detiene ahí mismo, antes de construir nada encima. Al final del trabajo le pido lo mismo: que reporte cuántas categorías y subcategorías transcribió, para que la fidelidad se pueda comprobar de golpe.

Aquí hay dos ideas metidas, y las dos tienen eco en la investigación. La primera es separar la generación de la comprobación. Shehzaad Dhuliawala y sus colegas probaron un método al que llamaron cadena de verificación: en lugar de dejar que el modelo suelte una respuesta y ya, lo obligan a generar, luego formular preguntas de control, responderlas por separado y recién entonces entregar una versión final. Al partir el trabajo en dos fases —producir y verificar—, las alucinaciones bajaron. Mi conteo, con su confirmación obligatoria antes de seguir, hace justo eso a mano: mete un corte entre “lo que la máquina produjo” y “lo que yo dejo pasar”. La segunda idea es comprobar contra algo concreto y no contra una impresión. Los mismos investigadores que estudian la consistencia de los resúmenes proponen verificar el texto con preguntas que se contesten contra la fuente, porque revisar “a ojo” no cacha lo que sí cacha una comprobación puntual. Un número es la versión más simple y brutal de eso: son 12 o son 14, y no hay a dónde esconderse.

Y no lo aplico solo a las progresiones. El mismo par de reglas —copia literal más un número que tiene que cuadrar— lo repito en cada tramo donde algo debe ser fiel. El preámbulo de cada módulo, con su nombre, sus propósitos, sus contenidos y sus metas, va transcrito tal cual del programa base, no redactado “con mis palabras”. Y cuando la máquina reparte las horas de un módulo, le exijo que la suma de los tiempos dé exactamente el total, ni una hora de más ni de menos; si no cuadra, no hay entrega. Son candados distintos para contenidos distintos, pero todos tienen la misma forma: algo se copia sin tocar, y algo se cuenta para probar que se copió bien. Una vez que le agarras el modo, lo empiezas a poner en todas partes.

Parece un detalle tonto. No lo es. Un invento, palabra por palabra, es casi imposible de cazar: tendrías que releer todo comparando contra el original, que es justo el trabajo que querías evitar. Pero un número es de otra naturaleza: no hay medias tintas. El conteo convierte una mentira invisible en un desajuste visible. No tengo que vigilar cada palabra; tengo que revisar una cifra. Y esa cifra la controlo yo.

Esto no la vuelve infalible

Quiero ser honesto, porque es fácil vender esto como magia y no lo es. Poner el conteo no garantiza que la IA “nunca invente”. Sigue siendo una máquina falible: puede equivocarse al contar, puede transcribir mal dentro de un número correcto.

Y aquí conviene no engañarse ni siquiera con lo de “dale la fuente”. Alessandro Stolfo estudió respuestas largas generadas con documentos a la vista y encontró que una parte nada despreciable de las oraciones no estaba respaldada por esos documentos, incluso cuando la respuesta final era correcta. O sea: el modelo mezcla lo que saca de la fuente con cosas que pone de su propia cosecha, y lo hace sin avisar. Tener el documento reduce el margen para inventar; no lo cierra. Copiar y verificar cumplen funciones distintas y se necesitan las dos: la fuente encoge el espacio del invento, y el candado detecta lo que se le escape.

Lo que cambia, entonces, no es que ella se vuelva perfecta. Es que sus errores dejan de ser invisibles. Le construyo un punto donde su trabajo tiene que coincidir con algo que yo sé, y en ese punto me vuelvo a meter yo. No delego la fidelidad; delego el traslado y me quedo con la verificación.

Y fíjate en un detalle que parece menor y es el corazón de todo: quien confirma el número soy yo, no ella. Si le preguntara “¿estás segura de que son 12?”, me diría que sí con la misma seguridad con la que un minuto antes me había entregado 14. La máquina no puede certificar su propio trabajo contra la verdad, porque no tiene forma de saber cuál es la verdad; solo tiene lo que suena bien. La confirmación tiene que venir de alguien que ya sabe cuántas progresiones hay de verdad. Por eso el candado no es una línea más del prompt, ni una orden de “no inventes” dicha más fuerte: es el punto donde entra un humano con la respuesta correcta en la mano. Quítale el humano y no queda candado; queda otra vez la máquina calificándose sola.

Alguien dirá: “pues entonces mejor lo copio yo a mano y me ahorro el rodeo”. Se entiende, pero se pierde lo bueno. La máquina sigue siendo rapidísima para lo que sí hace bien: ordenar, estructurar, repartir las horas, armar la tabla, distribuir los tiempos entre alumno y docente. Lo que uno recupera no es todo el trabajo manual; es el único pedazo que no se puede soltar: confirmar que lo oficial siga siendo oficial. Y confirmar una cifra toma segundos; releer un programa entero buscando ediciones invisibles toma la tarde.

Dónde va el candado

Lo que aprendí no fue “no confíes en la IA”, así, a secas. Fue algo más útil: cuando trabajes con contenido que tiene que ser fiel —un programa, una ley, un lineamiento, una lista oficial—, no le pidas a la máquina que lo recuerde; dale la fuente, ordénale copiar y ponle un punto de conteo que tú puedas verificar. No es desconfianza; es diseño. La pregunta deja de ser “¿le creo o no le creo?” y pasa a ser “¿dónde pongo el candado que ella tiene que pasar?”.

Hay una manera limpia de decir esto, y se la debo a un trabajo de Adam Bouyamourn sobre por qué las IA alucinan: la generación normal no obliga al modelo a limitarse a afirmaciones respaldadas por una evidencia válida; para que sea fiel, cada cosa que diga debería poder amarrarse a una evidencia disponible, y lo que no se sostiene desde ahí, se descarta. Me gusta porque nombra exactamente lo que yo hacía sin saberlo: el documento oficial es la evidencia válida, y mi candado es el punto donde la máquina tiene que rendir cuentas frente a una referencia que ella no controla. El modelo no es la autoridad del contenido. Yo decido cuál es la fuente buena y yo confirmo si la salida coincide.

Porque la autoridad sobre lo que es oficial no desaparece cuando entra la inteligencia artificial. Sigue siendo tuya. Solo cambia de lugar: ya no está en teclear cada palabra, está en decidir cuál es la fuente que vale y en qué punto la máquina tiene que rendir cuentas. Ese punto, pequeño como es —un número, una confirmación—, es la diferencia entre un programa que respetas y uno que nada más se le parece.