Fíaros de ChatGPT

Fíarse de ChatGPT: el error de la botella de agua que desmonta la confianza​

La semana pasada, un usuario planteó a ChatGPT un problema de física elemental: cuánto pesa el agua de una botella comercial de 33 centilitros a 80 grados. La respuesta, calculada con una precisión aparente, fue de 321 gramos. El problema es que la pregunta era un truco: la botella está sellada, la masa no cambia con la temperatura. El modelo, sin embargo, no solo se equivocó, sino que ofreció una explicación errónea y hasta se ofreció a detallar por qué el agua 'pierde' casi 9 gramos al enfriarse. Un error de bulto que sirve como metáfora de un problema más amplio: la confianza ciega en las inteligencias artificiales generativas.

Por qué un modelo probabilístico no es un motor de verdad​

ChatGPT no es una base de datos que consulta respuestas correctas. Es un sistema que predice la siguiente palabra más probable según el contexto. Esto significa que puede generar texto con total seguridad, incluso cuando el contenido es falso. En el caso de la botella, el modelo aplicó la fórmula de la densidad del agua a 80 grados (0,972 g/mL) y calculó 321 gramos, ignorando que la masa es independiente de la temperatura en un sistema cerrado. La IA no razona: reproduce patrones estadísticos. Y cuando el patrón es incorrecto, el resultado es una respuesta elegante pero errónea.

El factor hora: ¿influye en la calidad de las respuestas?​

Una hipótesis que circula entre usuarios avanzados es que la calidad de ChatGPT varía según la franja horaria. Se argumenta que entre las 12 de la noche y las 6 de la mañana, en horas valle, el modelo accede a versiones más potentes y con mayor ventana de contexto. En cambio, durante las horas pico (de 6 de la mañana a 10 de la noche), se asignarían modelos más ligeros y genéricos, lo que explicaría respuestas más superficiales o directamente estúpidas. No hay evidencia oficial, pero la observación es recurrente: a las 3 de la madrugada, ChatGPT parece recordar mejor conversaciones anteriores y ofrece respuestas más afinadas. A mediodía, se vuelve un 'hermano' genérico que dice obviedades.

La necesidad de verificación: el prompt engineering no es infalible​

La ingeniería de prompts —dar contexto, pedir formato, limitar el terreno— reduce la incertidumbre, pero no la elimina. Un buen prompt puede evitar que la IA invente, pero no garantiza que no se equivoque. El error de la botella de agua es un ejemplo perfecto: el usuario no hizo un prompt malo, hizo una pregunta trampa que la IA no supo interpretar. La conclusión es que la verificación humana sigue siendo imprescindible. Quien confía en ChatGPT para cálculos, datos o análisis sin contrastar, está asumiendo un riesgo que no debería asumir.

El riesgo de la sobreconfianza: cuando la IA inventa sobre personas​

Otro episodio revelador: al preguntar a ChatGPT sobre perfiles de usuarios de comunidades online, el modelo produjo resúmenes genéricos y, en ocasiones, inventados. En lugar de reconocer que no tenía información, fabricó una caracterización plausible. Esto es especialmente peligroso cuando se usa la IA como fuente para conocer la reputación de alguien o para tomar decisiones basadas en información no verificada. La IA no distingue entre lo que sabe y lo que imagina; simplemente genera texto coherente.

La conclusión es incómoda: la IA es una herramienta útil, pero no un oráculo. El error de la botella de agua es trivial, pero revela que la confianza debe ser condicional. El sistema funciona porque existe un humano que corrige. Sin esa corrección, la IA es solo un generador de texto plausible, no de verdad.