La IA erosiona la ciencia: Crisis de fiabilidad en la publicación

La IA erosiona la ciencia: Crisis de fiabilidad en la publicación

El correo electrónico llegó un viernes por la tarde, una notificación de retractación para un artículo que habías citado apenas unas semanas antes. Tu corazón se hunde: ¿cuánto de tu propio trabajo dependía de esa investigación ahora desacreditada? La sensación es demasiado común en estos días; el implacable avance de la IA está erosionando los cimientos mismos de la publicación científica.

Las Heridas de ArXiv: La Vanguardia Sangrante de la Ciencia

Es casi imposible exagerar la importancia de ArXiv, el repositorio científico que, durante un tiempo, casi justificó por sí solo la existencia de Internet. ArXiv (pronunciado “archive” o “Arr-ex-eye-vee” dependiendo de a quién le preguntes) es un servidor de preimpresión donde, desde 1991, científicos e investigadores han anunciado “oye, acabo de escribir esto” al resto del mundo científico. La revisión por pares se mueve glacialmente, pero es necesaria. ArXiv solo requiere una revisión rápida por parte de un moderador en lugar de una revisión minuciosa, por lo que agrega un paso intermedio fácil entre el descubrimiento y la revisión por pares, donde todas las últimas innovaciones pueden, con cautela, ser tratadas con la urgencia que merecen casi instantáneamente.

Pero el auge de las herramientas de IA disponibles ha herido a ArXiv, y está sangrando. Y no está claro si el sangrado alguna vez podrá detenerse. Las compuertas están abiertas y la relación señal-ruido está cayendo en picado.

El Escalofriante Pronóstico de The Atlantic para el Trabajo Académico

El profesor miraba fijamente su pantalla, un pueblo fantasma digital donde una vez residieron sus datos meticulosamente elaborados. Como señala una historia reciente en The Atlantic, el creador de ArXiv y profesor de Cornell, Paul Ginsparg, ha estado preocupado desde el auge de ChatGPT de que la IA pueda usarse para romper las ligeras pero necesarias barreras que impiden la publicación de basura en ArXiv. El año pasado, Ginsparg colaboró en un análisis que investigó la probable IA en los envíos de ArXiv. De manera bastante horripilante, los científicos que evidentemente usaban LLM para generar documentos con un sonido plausible fueron más prolíficos que aquellos que no usaron IA. El número de artículos de carteles de trabajo escrito o aumentado por IA fue un 33 por ciento mayor.

La IA se puede utilizar legítimamente, dice el análisis, para cosas como superar las barreras del idioma. Continúa:

“Sin embargo, las señales tradicionales de calidad científica, como la complejidad del lenguaje, se están convirtiendo en indicadores poco confiables de mérito, tal como estamos experimentando un repunte en la cantidad de trabajo científico. A medida que los sistemas de IA avancen, desafiarán nuestras suposiciones fundamentales sobre la calidad de la investigación, la comunicación académica y la naturaleza del trabajo intelectual.”

¿Se pueden usar legítimamente las herramientas de IA en la investigación académica?

La respuesta simple es: sí, pero con extrema precaución. La capacidad de la IA para traducir idiomas y ayudar con el análisis de datos ofrece beneficios reales. El problema surge cuando la IA se convierte en un atajo para el pensamiento crítico y la investigación original, en lugar de una herramienta para mejorarla. La línea entre la asistencia y la deshonestidad académica se está volviendo cada vez más borrosa, lo que requiere un renovado énfasis en las pautas éticas y el uso responsable de la IA dentro de la comunidad científica.

La Debacle de Bucher: Una Historia de Advertencia sobre la Dependencia de la IA

No es solo ArXiv. Es un momento difícil en general para la confiabilidad de la erudición en general. Una asombrosa auto-humillación publicada la semana pasada en Nature describió la aventura fallida de IA de un científico que trabaja en Alemania, Marcel Bucher, que había estado usando ChatGPT para generar correos electrónicos, información del curso, conferencias y exámenes. Como si eso no fuera lo suficientemente malo, ChatGPT también lo estaba ayudando a analizar las respuestas de los estudiantes y se estaba incorporando a las partes interactivas de su enseñanza. Luego, un día, Bucher intentó deshabilitar “temporalmente” lo que llamó la opción de “consentimiento de datos”, y cuando ChatGPT repentinamente eliminó toda la información que estaba almacenando exclusivamente en la aplicación, es decir: en los servidores de OpenAI, se quejó en las páginas de Nature de que “dos años de trabajo académico cuidadosamente estructurado desaparecieron”. El precio de la conveniencia, pagado en datos fríos y duros.

La pereza generalizada inducida por la IA que se muestra en el área exacta donde se espera y se asume rigor y atención al detalle es desesperante. Era seguro asumir que había un problema cuando el número de publicaciones se disparó solo meses después del lanzamiento de ChatGPT, pero ahora, como señala The Atlantic, estamos comenzando a obtener los detalles sobre la sustancia y la escala reales de ese problema, no tanto los individuos «AI-pilled» al estilo Bucher que experimentan ansiedad por publicar o perecer y apresurándose a sacar un documento falso rápido, sino un fraude a escala industrial. La integridad del trabajo académico, que una vez fue una fortaleza, ahora se parece más a un castillo de arena con la marea alta.

¿Cómo ha impactado el auge de la IA en el volumen de publicaciones científicas?

Los números no mienten: ha habido un aumento notable en las publicaciones desde la llegada de herramientas de IA accesibles como ChatGPT. Este pico no es necesariamente indicativo de más avances científicos. En cambio, insinúa la facilidad con la que la IA puede generar contenido, independientemente de su precisión u originalidad. El desafío ahora radica en discernir las contribuciones genuinas del ruido generado por la IA, exigiendo una reevaluación crítica de cómo evaluamos el trabajo científico.

El Enigma de la Investigación del Cáncer: Fraude a Escala Industrial

Considere las implicaciones. En la investigación del cáncer, los malos actores pueden solicitar documentos aburridos que afirman documentar “las interacciones entre una célula tumoral y solo una proteína de los muchos miles que existen”, señala The Atlantic. Si el artículo afirma ser innovador, levantará las cejas, lo que significa que es más probable que se note el truco, pero si la conclusión falsa del experimento falso de cáncer es mediocre, es mucho más probable que esa basura vea la publicación, incluso en una publicación creíble. Mucho mejor si viene con imágenes generadas por IA de manchas de electroforesis en gel que también son aburridas pero agregan plausibilidad adicional a primera vista.

El panorama científico está comenzando a parecerse a un salón de espejos, donde distinguir la verdad de la fabricación se convierte en un ejercicio vertiginoso.

En resumen, una avalancha de basura ha llegado a la ciencia, y todos tienen que volverse menos perezosos, desde los académicos ocupados que planifican sus lecciones hasta los revisores por pares y los moderadores de ArXiv. De lo contrario, los repositorios de conocimiento que solían estar entre las pocas fuentes de información confiables que quedan están a punto de ser abrumados por la enfermedad que ya los ha infectado, posiblemente de forma irrevocable. La pregunta ahora es, ¿la búsqueda del conocimiento se manchará para siempre por esta era de falsificación asistida por IA, o podemos recuperar los valores de rigor y verdad?

Apoya nuestro trabajo ❤️

Si te ha gustado este artículo, considera dejar una propina para ayudarnos a seguir publicando contenido de calidad.

Pago seguro en PayPal
Véase también:  Aprobación Final del Acuerdo de Anthropic de $1.5 mil millones en Caso de Derechos de Autor de IA
Moyens I/O Staff te ha motivado, brindándote asesoría en tecnología, desarrollo personal, estilo de vida y estrategias que te ayudarán.