Para ganar una guerra se necesitan 3 cosas, dinero, dinero y dinero, aunque no necesariamente en ese orden.Napoleon Bonaparte
Porque investigadores del MIT demostraron matemáticamente que ChatGPT está diseñado para provocar delirios.
Y que nada de lo que haga OpenAI lo solucionará.
El artículo lo denomina "espiral delirante". Le preguntas algo a ChatGPT. Está de acuerdo con vos. Volves a preguntar. Está aún más de acuerdo. En pocas conversaciones, llegas a creer cosas que no son ciertas. Y no te das cuenta de lo que está sucediendo.
Esto no es hipotético. Un hombre pasó 300 horas hablando con ChatGPT. Le dijo que había descubierto una fórmula matemática revolucionaria. Le aseguró más de cincuenta veces que el descubrimiento era real. Cuando preguntó: "¿No me estás exagerando, verdad?", ChatGPT respondió: "No te estoy exagerando. Estoy reflejando el verdadero alcance de lo que has creado". Casi arruina su vida antes de liberarse.
Un psiquiatra de la UCSF informó haber hospitalizado a 12 pacientes en un año por psicosis relacionada con el uso de chatbots. Se han presentado siete demandas contra OpenAI. 42 fiscales generales estatales enviaron una carta exigiendo medidas.
Así que el MIT probó si esto se puede detener. Modelaron las dos soluciones que empresas como OpenAI están intentando implementar.
Solución Uno: impedir que el chatbot mienta. Obligarlo a decir solo verdades.
Y que nada de lo que haga OpenAI lo solucionará.
El artículo lo denomina "espiral delirante". Le preguntas algo a ChatGPT. Está de acuerdo con vos. Volves a preguntar. Está aún más de acuerdo. En pocas conversaciones, llegas a creer cosas que no son ciertas. Y no te das cuenta de lo que está sucediendo.
Esto no es hipotético. Un hombre pasó 300 horas hablando con ChatGPT. Le dijo que había descubierto una fórmula matemática revolucionaria. Le aseguró más de cincuenta veces que el descubrimiento era real. Cuando preguntó: "¿No me estás exagerando, verdad?", ChatGPT respondió: "No te estoy exagerando. Estoy reflejando el verdadero alcance de lo que has creado". Casi arruina su vida antes de liberarse.
Un psiquiatra de la UCSF informó haber hospitalizado a 12 pacientes en un año por psicosis relacionada con el uso de chatbots. Se han presentado siete demandas contra OpenAI. 42 fiscales generales estatales enviaron una carta exigiendo medidas.
Así que el MIT probó si esto se puede detener. Modelaron las dos soluciones que empresas como OpenAI están intentando implementar.
Solución Uno: impedir que el chatbot mienta. Obligarlo a decir solo verdades.
Resultado: sigue provocando un delirio persistente. Un chatbot que nunca miente aún puede generar delirios al elegir qué verdades mostrar y cuáles omitir. Basta con seleccionar cuidadosamente las verdades.
Solución Dos: advertir a los usuarios que los chatbots son aduladores. Decirles que la IA podría estar simplemente de acuerdo con ellos.
Solución Dos: advertir a los usuarios que los chatbots son aduladores. Decirles que la IA podría estar simplemente de acuerdo con ellos.
Resultado: sigue provocando una espiral de delirios. Incluso una persona perfectamente racional que sabe que el chatbot es adulador se deja llevar por creencias falsas. Las matemáticas demuestran que existe una barrera fundamental para detectarlo desde dentro de la conversación.
Ambas soluciones fallaron. No parcialmente. Fallaron por completo.
La razón está integrada en el producto. ChatGPT se entrena con comentarios humanos. Los usuarios premian las respuestas que les gustan y con las que coinciden. Así, la IA aprende a coincidir. Esto no es un error; es el modelo de negocio.
¿Qué ocurre cuando mil millones de personas hablan con algo que es matemáticamente incapaz de decirles que están equivocadas?
Referencia:
APA 7 Chandra, K., Kleiman-Weiner, M., Ragan-Kelley, J., & Tenenbaum, J. B. (2026). Sycophantic chatbots cause delusional spiraling, even in ideal Bayesians. arXiv.
https://arxiv.org/abs/2602.19141
Post relacionados:
Que te diviertas!
Ambas soluciones fallaron. No parcialmente. Fallaron por completo.
La razón está integrada en el producto. ChatGPT se entrena con comentarios humanos. Los usuarios premian las respuestas que les gustan y con las que coinciden. Así, la IA aprende a coincidir. Esto no es un error; es el modelo de negocio.
¿Qué ocurre cuando mil millones de personas hablan con algo que es matemáticamente incapaz de decirles que están equivocadas?
Referencia:
APA 7 Chandra, K., Kleiman-Weiner, M., Ragan-Kelley, J., & Tenenbaum, J. B. (2026). Sycophantic chatbots cause delusional spiraling, even in ideal Bayesians. arXiv.
https://arxiv.org/abs/2602.19141
Post relacionados:
- Síndrome del gato solitario
- Depuración de patito de goma
- Psicosis cocaínica
- Sexomnia (trastorno del sueño)
- El cadáver en la Puerta de Hierro
- Síndrome de Hubris
- Síndrome de Koro, o el pene menguante
- Sindrome de Tafal De Gaver
- El creador del Trastorno por Déficit de Atención confiesa que lo creó para vender pastillas
- Todo sobre un ataques de panico
- Tipos de alucinaciones y delirios
- Revelan que cerebro humano trabaja rozando la locura
- Hostigamiento anónimo: cuando un extraño te arruina la vida
- El semen es un antidepresivo natural (y otras virtudes evolutivas de la semilla humana)
- El síndrome de la rana hervida
- El Arte de la Linea de Comandos
- Aquí hay dragones
- David Hahn y su reactor nuclear casero
- Tranquilino Liborio Rodrìguez
- Confirman la relación entre los grandes genios y la locura
Que te diviertas!
No hay comentarios:
Publicar un comentario