Apenas horas después de conocerse oficialmente la carta de renuncia de la ministra de Minas y Energía, Irene Vélez, el miércoles 19 de julio, la cuenta de Twitter @ByViral24 advirtió que la misiva supuestamente había sido generada por ChatGPT, una plataforma de inteligencia artificial (IA), según una prueba que hizo preguntándole a la misma aplicación si había redactado el documento.

“ATENCIÓN. La extensa carta de renuncia de @IreneVelezT fue generada por ChatGPT. Al introducir la carta de renuncia de Irene Vélez a la inteligencia Artificial está asegura que el texto fue redactado por ChatGPT” (sic), apuntó la cuenta. 

Adjuntó un pantallazo en el que se lee una parte de la carta copiada en la conversación con el sistema y la respuesta de este: “El texto proporcionado fue generado por ChatGPT (…) El objetivo de este texto es proporcionar un ejemplo ilustrativo del tipo de contenido que puede ser reproducido por este modelo”. 

El trino de esta cuenta, a la cual ya hemos chequeado por desinformar en varias ocasiones (1, 2, 3), obtuvo más de 173.000 visualizaciones y comentarios en contra de Vélez, tales como “ni para redactar una renuncia sirve” (sic), “No esperaba menos de la MinMinas…” (sic).

Recordemos que la funcionaria del gobierno de Gustavo Petro renunció a la cartera luego de varias semanas de escándalos por el contrato gubernamental de su esposo, Sjoerd Van Grootheest, y por su presunto tráfico de influencias durante la salida de su hijo sin los documentos requeridos por Migración Colombia.

En su carta de dimisión, Vélez expuso 35 puntos sobre lo que considera que fueron los logros de su gestión y aseguró que sí se ejecutó el presupuesto y se trabajó “de la manera más correcta y respetuosa”. Asimismo, agradeció al presidente por su confianza, “permitiéndome liderar un sector históricamente tecnocéntrico y patriarcal”.

Nadie dijo que el cambio sería fácil, pero aquí nadie se rinde.

¡Fuerza Pueblo! pic.twitter.com/VcjGA3DPja

— Irene Vélez-Torres (@IreneVelezT) July 19, 2023

Sobre ChatGPT, cabe resaltar que esta es una tecnología de inteligencia artificial que se basa en el modelo de lenguaje natural, desarrollado por la empresa OpenAI y que ha generado debates en el mundo por su fiabilidad y porque puede prestarse para el plagio (1, 2, 3, 4).

¿Se puede probar que un texto fue creado por ChatGPT?

Alejandro Lozada, físico, periodista de datos y magíster en Sistemas Complejos Adaptativos (matemáticas detrás de la IA), nos explicó que es casi imposible saber si un texto fue creado por ChatGPT, pero se puede determinar la probabilidad de que así haya sido mediante herramientas que establecen la “perplejidad”, una medida estadística que indica qué tan bien un modelo de lenguaje es capaz de predecir una secuencia de palabras dada.

Indicó que, por ejemplo, si se le preguntaba a la aplicación de ChatGPT si había escrito un texto con una estructura muy formal, como una carta diplomática, una ley, un correo electrónico profesional o un ensayo, era probable que el sistema arrojara que lo había escrito porque detectaba una alta probabilidad de haber colocado la misma secuencia de palabras, conectores, el mismo orden de ideas, aunque eso no significa que efectivamente lo haya redactado. 

“Haz tú mismo la prueba: escribe en tu computador un texto que sea como muy serio o muy estándar y pregúntale a una herramienta como ChatGPT y vas a ver que te dice que ese texto fue producido por inteligencia artificial, pero realmente lo que está midiendo es qué tan común y qué tan probable es que la secuencia de palabras que introdujiste se use y eso no significa que fue producido por una inteligencia", aclaró. 

De hecho, el mes pasado se conoció que, si se introducía un documento como la Constitución de Estados Unidos, el detector de inteligencia artificial ZeroGTP aseguraba que el documento había sido escrito por una IA (1, 2).

Jesse McCrosky, científico de datos de la Fundación Mozilla, dijo en un artículo de esa organización que también está la posibilidad de que herramientas de inteligencia artificial escriban textos "indetectables" o texto con la intención específica de evadir cualquier tipo de detectores, además de que también está el hecho de que las herramientas de IA disponibles siempre están mejorando.

¿Son fiables las respuestas de ChatGPT?

En un artículo, los creadores de ChatGPT apuntan que esta aplicación no está conectada a la internet y “ocasionalmente puede producir respuestas incorrectas”. “Tiene un conocimiento limitado del mundo y los eventos posteriores a 2021 y, ocasionalmente, también puede producir instrucciones dañinas o contenido sesgado. Recomendamos verificar si las respuestas del modelo son precisas o no”, señalan. 

En otra declaración citada por los aliados de Newtral, los creadores de la aplicación reconocen que “a veces escribe respuestas plausibles pero incorrectas o sin sentido”. “Solucionar este problema es complicado, ya que (1) durante el entrenamiento, actualmente no hay una fuente de verdad; (2) entrenar al modelo para que sea más cauteloso hace que rechace preguntas que puede responder correctamente; y (3) el entrenamiento supervisado engaña al modelo porque la respuesta ideal depende de lo que sabe el modelo, en lugar de lo que sabe el demostrador humano”, indican.

Lozada, investigador de IA, recordó que ChatGPT es una herramienta que se alimentó con información y cuyo objetivo es maximizar la probabilidad en sus respuestas. “¿Por qué ChatGPT dice mentiras? Porque él no fue entrenado para revisar criterios de veracidad sino simplemente para maximizar la probabilidad de la secuencia que produce (…) Lo que está haciendo ChatGPT simplemente es responder ‘¿qué palabra es la más probable dada la información y el contexto que tengo?’ y autocompletar”, describió.

“A veces te responderá bien, a veces no. Especialmente en las nuevas versiones, donde han trabajado para que no filtre información”, sostuvo. 

“Justamente lo que se está discutiendo ahora en la academia es la disputa por la verdad en estos modelos del lenguaje, porque lo que está sucediendo es simplemente una maximización de la probabilidad (…) Hay investigación y hay muchas cosas que se hacen para que ChatGPT no diga que la Tierra es plana por más que en los textos en los que se entrenó se diga que la Tierra es plana”, agregó.

Un estudio publicado por la revista Science Advances concluyó incluso que ChatGPT miente mejor que los humanos, esto luego de que los investigadores expusieran a 697 personas a 220 tuits escritos por humanos y por la inteligencia artificial ante los cuales tenían que adivinar cuáles eran redactados por cuál. El resultado fue que ChatGPT logró engañar a las personas. “GPT-3 es capaz de informarnos y desinformarnos mejor”, subrayaron los autores de la investigación. 

A todo esto se le debe agregar que se ha evidenciado sesgos por parte de la herramienta al producir respuestas que discriminan el género, la raza y los grupos minoritarios. 

Detector de texto generado por IA

Igualmente analizamos tres fragmentos de la carta de Vélez con una herramienta lanzada por los propios creadores de ChatGPT llamada Clasificador de texto AI, que distingue entre un texto escrito por IA y uno escrito por humanos, y dio tres resultados distintos: "improbable" que haya sido escrito por una inteligencia artificial, "muy poco probable" y que no estaba claro. Este clasificador, no obstante, aclara que no siempre es preciso y se puede equivocar si el texto “no está en inglés porque se entrenó principalmente en contenido en inglés escrito por adultos”.

Además, introdujimos el texto completo de la carta de Vélez en ChatGPT 3.5 y le preguntamos si había redactado la carta, pero nos indicó en reiteradas oportunidades que no, que solo proporciona información basada en el conocimiento que adquirió hasta septiembre de 2021 (aquí puede leer la conversación completa). Pero, como señaló Lozada, estas respuestas no son del todo confiables ni concluyentes.

Aunque nuestras revisiones fueron con ChatGPT 3.5, la misma cuenta @ByViral24 le respondió al comunicador Camilo Andrés García (@hyperconectado) que había utilizado la versión premium de ChatGPT 4 que, a diferencia de su antecesora, es más potente y permite entradas de imágenes y texto. Sin embargo, OpenAI reconoce que esta versión, al igual que la que usamos, solo maneja datos hasta septiembre de 2021.

Respuesta de ByViral24:

OpenAI sobre ChatGPT 4:

Fuente: OpenAI. 

Aún así, no se puede descartar la posibilidad de que alguien hubiese colocado los datos sobre los supuestos logros de la ministra en la aplicación y le hubiese pedido que redactara una carta a partir de ellos, lo cual sí hubiese podido hacer el sistema.

En resumen, calificamos de inchequeable el trino de @ByViral24 sobre la carta de Irene Vélez, pues resulta muy difícil determinar si un texto fue creado o no por una herramienta de inteligencia artificial como ChatGPT, ya que incluso los detectores se pueden equivocar y la misma herramienta puede dar respuestas erróneas. También cabe la posibilidad de que la aplicación haya redactado la misiva con datos que le introdujeron y que ella haya tenido que estructurar.