El mes pasado, Google presentó su “co-científico de IA”, una herramienta diseñada para ayudar a los científicos a crear hipótesis y planes de investigación. La compañía lo promocionó como una forma de descubrir nuevos conocimientos, pero los expertos creen que esta herramienta y otras similares no cumplen con las expectativas. Sarah Beery, investigadora en visión por computadora en el MIT, comentó que “esta herramienta preliminar, aunque interesante, no parece que se use de manera seria”. Además, expresó dudas sobre la demanda de este tipo de sistemas en la comunidad científica.

Google se une a otras grandes empresas tecnológicas que afirman que la IA acelerará la investigación científica, especialmente en campos densos en literatura como la biomedicina. Sam Altman, CEO de OpenAI, mencionó que las herramientas de IA “superinteligentes” podrían acelerar enormemente el descubrimiento científico. Sin embargo, muchos investigadores consideran que la IA actual no es especialmente útil para guiar el proceso científico. Según ellos, aplicaciones como el co-científico de Google parecen más un bombo publicitario que una herramienta efectiva, ya que carecen de datos empíricos que respalden sus afirmaciones.

Por ejemplo, Google afirmó que su co-científico mostró potencial en áreas como la reutilización de medicamentos para la leucemia mieloide aguda, un tipo de cáncer de sangre. Sin embargo, Favia Dubyk, patóloga en el Centro Médico del Noroeste en Tucson, Arizona, dijo que los resultados son tan vagos que “ningún científico legítimo los tomaría en serio”. Dubyk agregó que, aunque podría ser un buen punto de partida para los investigadores, la falta de detalles es preocupante y no genera confianza.

No es la primera vez que Google enfrenta críticas de la comunidad científica por anunciar avances en IA sin proporcionar medios para reproducir los resultados. En 2020, Google afirmó que uno de sus sistemas de IA para detectar tumores de mama superó a los radiólogos humanos. Sin embargo, investigadores de Harvard y Stanford publicaron un artículo en la revista Nature, señalando que la falta de métodos detallados en la investigación de Google “socavaba su valor científico”.

Los científicos también han criticado a Google por no mencionar las limitaciones de sus herramientas de IA en disciplinas científicas como la ingeniería de materiales. En 2023, la compañía afirmó que había sintetizado alrededor de 40 “nuevos materiales” con la ayuda de su sistema de IA llamado GNoME. Sin embargo, un análisis externo encontró que ninguno de esos materiales era realmente nuevo.

Ashique KhudaBukhsh, profesor asistente de ingeniería de software en el Instituto de Tecnología de Rochester, comentó que “no entenderemos verdaderamente las fortalezas y limitaciones de herramientas como el ‘co-científico’ de Google hasta que sean evaluadas de manera rigurosa e independiente en diversas disciplinas científicas”. También señaló que la IA a menudo funciona bien en entornos controlados, pero puede fallar cuando se aplica a gran escala.

Un desafío en el desarrollo de herramientas de IA para ayudar en el descubrimiento científico es anticipar los innumerables factores confusos. La IA puede ser útil en áreas donde se necesita una amplia exploración, como reducir una lista extensa de posibilidades. Sin embargo, no está claro si la IA puede resolver problemas de manera creativa que lleven a avances científicos. KhudaBukhsh recordó que muchos de los avances científicos más importantes, como el desarrollo de vacunas de ARNm, fueron impulsados por la intuición y la perseverancia humanas.

Lana Sinapayen, investigadora de IA en Sony Computer Science Laboratories en Japón, cree que herramientas como el co-científico de Google se enfocan en el tipo incorrecto de trabajo científico. Ella ve un valor real en la IA que podría automatizar tareas técnicas difíciles o tediosas, como resumir nueva literatura académica o formatear trabajos para cumplir con los requisitos de una solicitud de subvención. Sin embargo, no hay mucha demanda en la comunidad científica para un co-científico de IA que genere hipótesis, ya que muchos investigadores disfrutan de esa parte del trabajo.

Beery también destacó que a menudo el paso más difícil en el proceso científico es diseñar e implementar estudios y análisis para verificar o refutar una hipótesis, lo cual no está necesariamente al alcance de los sistemas de IA actuales. La IA no puede usar herramientas físicas para realizar experimentos y a menudo tiene un rendimiento deficiente en problemas con datos extremadamente limitados.

“Gran parte de la ciencia no se puede hacer completamente de manera virtual; frecuentemente hay un componente significativo del proceso científico que es físico, como la recolección de nuevos datos y la realización de experimentos en el laboratorio”, dijo Beery. “Una gran limitación de sistemas como el ‘co-científico’ de Google en relación con el proceso científico real es la falta de contexto sobre el laboratorio y el investigador que utiliza el sistema, sus objetivos de investigación específicos, su trabajo previo, sus habilidades y los recursos a los que tienen acceso”.

Las limitaciones técnicas y los riesgos de la IA, como su tendencia a generar información errónea, también hacen que los científicos sean cautelosos al respaldarla para trabajos serios. KhudaBukhsh teme que las herramientas de IA puedan terminar generando ruido en la literatura científica en lugar de impulsar el progreso.

Un estudio reciente encontró que la “ciencia basura” fabricada por IA está inundando Google Scholar, el motor de búsqueda gratuito de Google para literatura académica. “La investigación generada por IA, si no se monitorea cuidadosamente, podría inundar el campo científico con estudios de menor calidad o incluso engañosos, abrumando el proceso de revisión por pares”, advirtió KhudaBukhsh. “Un proceso de revisión por pares abrumado ya es un desafío en campos como la informática, donde las principales conferencias han visto un aumento exponencial en las presentaciones”.

Incluso los estudios bien diseñados podrían verse afectados por una IA mal comportada, dijo Sinapayen. Aunque le gusta la idea de una herramienta que pueda ayudar con la revisión y síntesis de literatura, no confiaría en la IA actual para ejecutar ese trabajo de manera confiable. “Esas son cosas que varias herramientas existentes afirman hacer, pero no son trabajos que personalmente dejaría en manos de la IA actual”, agregó, expresando su preocupación por la forma en que muchos sistemas de IA son entrenados y la cantidad de energía que consumen. “Incluso si se resolvieran todos los problemas éticos, la IA actual simplemente no es lo suficientemente confiable para basar mi trabajo en sus resultados”.