Google ha presentado su nueva familia de modelos de inteligencia artificial llamada PaliGemma 2, que tiene una característica interesante: la capacidad de “identificar” emociones. Este modelo puede analizar imágenes y generar descripciones, así como responder preguntas sobre las personas que “ve” en las fotos. Según Google, PaliGemma 2 va más allá de identificar objetos simples, ya que puede describir acciones, emociones y la narrativa general de la escena.
Sin embargo, la detección de emociones no funciona de inmediato; PaliGemma 2 necesita ser ajustado para este propósito. Expertos han expresado su preocupación por la posibilidad de que exista un detector de emociones accesible al público. Sandra Wachter, profesora de ética de datos e inteligencia artificial, comentó que es problemático asumir que podemos “leer” las emociones de las personas, comparándolo con pedir consejo a una bola mágica.
A lo largo de los años, tanto startups como grandes empresas tecnológicas han intentado desarrollar inteligencia artificial que pueda detectar emociones para diversas aplicaciones, desde la capacitación en ventas hasta la prevención de accidentes. Aunque algunos afirman haberlo logrado, la ciencia detrás de esto es incierta. La mayoría de los detectores de emociones se basan en el trabajo del psicólogo Paul Ekman, quien teorizó que los humanos comparten seis emociones fundamentales: ira, sorpresa, disgusto, alegría, miedo y tristeza. Sin embargo, estudios posteriores han cuestionado esta teoría, mostrando que hay diferencias significativas en cómo las personas de diferentes culturas expresan sus emociones.
Mike Cook, investigador especializado en inteligencia artificial, explicó que la detección de emociones no es posible de manera general, ya que las personas experimentan emociones de formas complejas. Aunque es posible detectar algunas señales generales en ciertos casos, nunca se podrá resolver completamente este tema.
Las consecuencias de esto son que los sistemas de detección de emociones suelen ser poco fiables y están sesgados por las suposiciones de sus creadores. Un estudio del MIT en 2020 reveló que los modelos de análisis facial podían desarrollar preferencias no intencionadas por ciertas expresiones, como sonrisas. Investigaciones más recientes sugieren que los modelos de análisis emocional asignan más emociones negativas a las caras de personas negras que a las de personas blancas.
Google afirma haber realizado “extensas pruebas” para evaluar sesgos demográficos en PaliGemma 2, encontrando “bajos niveles de toxicidad y groserías” en comparación con estándares de la industria. Sin embargo, la compañía no proporcionó la lista completa de estándares utilizados ni indicó qué tipos de pruebas se realizaron. El único estándar divulgado por Google es FairFace, que incluye miles de fotos de personas. La empresa asegura que PaliGemma 2 tuvo un buen desempeño en FairFace, pero algunos investigadores critican este estándar como un métrico sesgado, ya que representa solo a un número limitado de grupos raciales.
La detección de emociones ha generado preocupación entre los reguladores en el extranjero, quienes buscan limitar el uso de esta tecnología en contextos de alto riesgo. En la Unión Europea, la Ley de IA prohíbe a escuelas y empleadores implementar detectores de emociones, aunque no a las agencias de seguridad.
La mayor inquietud sobre modelos abiertos como PaliGemma 2, que está disponible en varias plataformas, es que podrían ser mal utilizados, lo que podría causar daños en la vida real. Heidy Khlaaf, científica principal de IA en el AI Now Institute, advirtió que si esta “identificación emocional” se basa en suposiciones pseudocientíficas, podría llevar a una discriminación falsa contra grupos marginados en áreas como la aplicación de la ley y la contratación.
Un portavoz de Google defendió las pruebas realizadas en PaliGemma 2 en relación con “daños representacionales”, asegurando que se llevaron a cabo evaluaciones rigurosas sobre ética y seguridad. Sin embargo, Wachter no está convencida de que esto sea suficiente, argumentando que la innovación responsable implica considerar las consecuencias desde el inicio del desarrollo de un producto. Ella advierte sobre los problemas potenciales que podrían surgir, como que las emociones de una persona influyan en su acceso a un empleo, un préstamo o la admisión a una universidad.
