Google ha actualizado sus términos para aclarar que los clientes pueden utilizar sus herramientas de inteligencia artificial generativa para tomar “decisiones automatizadas” en áreas de “alto riesgo”, como la salud, siempre que haya un humano supervisando el proceso. Según la nueva política de uso prohibido de inteligencia artificial generativa de la compañía, publicada el martes, los clientes pueden usar esta tecnología para tomar decisiones automatizadas que podrían tener un “impacto material perjudicial en los derechos individuales”. Esto incluye decisiones sobre empleo, vivienda, seguros, bienestar social y otras áreas de alto riesgo.
Las decisiones automatizadas en el contexto de la inteligencia artificial se refieren a aquellas que toma un sistema de IA basándose en datos, tanto reales como inferidos. Por ejemplo, un sistema podría decidir otorgar un préstamo o evaluar a un candidato para un trabajo. La versión anterior de los términos de Google sugería una prohibición general sobre la toma de decisiones automatizadas de alto riesgo con su IA generativa. Sin embargo, Google aclaró que los clientes siempre han podido usar su IA generativa para este tipo de decisiones, siempre que un humano supervise el proceso.
Un portavoz de Google comentó que “el requisito de supervisión humana siempre estuvo en nuestra política para todos los dominios de alto riesgo”. La compañía está recategorizando algunos elementos en sus términos y proporcionando ejemplos más claros para los usuarios.
Los principales competidores de Google en inteligencia artificial, OpenAI y Anthropic, tienen reglas más estrictas sobre el uso de su tecnología en decisiones automatizadas de alto riesgo. Por ejemplo, OpenAI prohíbe el uso de sus servicios para decisiones automatizadas relacionadas con crédito, empleo, vivienda, educación, puntuación social y seguros. Anthropic permite el uso de su IA en áreas como la ley, seguros y salud, pero solo bajo la supervisión de un “profesional calificado” y exige que los clientes revelen que están utilizando IA para este propósito.
La inteligencia artificial que toma decisiones automatizadas que afectan a las personas ha atraído la atención de los reguladores, quienes han expresado preocupaciones sobre el potencial de sesgo en los resultados. Estudios han demostrado que la IA utilizada para decisiones como la aprobación de créditos y hipotecas puede perpetuar la discriminación histórica. El grupo sin fines de lucro Human Rights Watch ha pedido la prohibición de los sistemas de “puntuación social”, que, según ellos, amenazan el acceso de las personas a apoyos de Seguridad Social, comprometen su privacidad y las perfilan de maneras prejuiciosas.
Bajo la Ley de IA en la UE, los sistemas de IA de alto riesgo, incluidos aquellos que toman decisiones de crédito y empleo individuales, enfrentan la mayor supervisión. Los proveedores de estos sistemas deben registrarse en una base de datos, realizar gestión de calidad y riesgo, emplear supervisores humanos y reportar incidentes a las autoridades pertinentes, entre otros requisitos. En EE. UU., Colorado aprobó recientemente una ley que exige a los desarrolladores de IA divulgar información sobre sistemas de IA “de alto riesgo” y publicar declaraciones que resuman las capacidades y limitaciones de estos sistemas. Mientras tanto, Nueva York prohíbe a los empleadores utilizar herramientas automatizadas para evaluar candidatos en decisiones de empleo, a menos que la herramienta haya sido sometida a una auditoría de sesgo en el último año.
