Un reciente estudio realizado por investigadores de la Facultad de Derecho de Stanford ha arrojado luz sobre los significativos prejuicios presentes en los chatbots al responder las consultas de los usuarios basándose en las connotaciones raciales y de género de sus nombres. Los hallazgos indican que chatbots como el ChatGPT 4 de OpenAI y el PaLM-2 de Google AI muestran variaciones en sus consejos dependiendo de la etnia percibida del nombre del usuario.
El artículo de investigación, publicado el mes pasado, destaca los riesgos potenciales asociados con estos prejuicios a medida que las empresas incorporan cada vez más tecnologías de inteligencia artificial en sus operaciones diarias. El coautor del estudio, el profesor de la Facultad de Derecho de Stanford, Julian Nyarko, resalta la necesidad de contar con medidas efectivas dentro de los modelos de IA para prevenir respuestas sesgadas.
El estudio evaluó cinco escenarios diferentes, incluyendo decisiones de compra, partidas de ajedrez, predicciones de cargos públicos, clasificaciones deportivas y ofertas de salario. En la mayoría de los escenarios, se encontraron prejuicios que resultaban desventajosos para personas negras y mujeres. De manera destacada, la única excepción consistente fue al clasificar jugadores de baloncesto, donde los prejuicios favorecían a atletas negros.
El estudio concluye que los modelos de IA tienden a codificar estereotipos comunes basados en los datos utilizados para su entrenamiento, lo que afecta posteriormente sus respuestas. Esto indica un problema sistémico que necesita ser abordado.
Preguntas Frecuentes
¿Cuáles fueron los principales hallazgos del estudio?
El estudio reveló prejuicios significativos en las respuestas de los chatbots de IA basados en las connotaciones raciales de los nombres de los usuarios. Identificó desventajas consistentes para nombres asociados con minorías raciales y mujeres, excepto al evaluar jugadores de baloncesto.
¿Estos prejuicios existen en diferentes modelos de IA?
Sí, los prejuicios se encontraron consistentes en varios modelos de IA, evaluándose 42 plantillas de inicio.
¿Qué medidas están tomando las empresas de IA para abordar estos prejuicios?
OpenAI reconoció el problema del prejuicio y mencionó que su equipo de seguridad está trabajando activamente en reducir el sesgo y mejorar el rendimiento. Sin embargo, Google no ha respondido al problema.
¿Deberían los consejos diferir basados en grupos socioeconómicos?
Si bien el estudio reconoce el argumento potencial para adaptar los consejos según factores socioeconómicos, como la riqueza y la demografía, enfatiza la necesidad de mitigar prejuicios en situaciones donde los resultados sesgados son indeseables.
En última instancia, este estudio destaca la importancia de reconocer y abordar los prejuicios en los sistemas de IA. Al reconocer la existencia de estos prejuicios, las empresas de IA pueden tomar las medidas necesarias para garantizar respuestas justas e imparciales de sus chatbots, contribuyendo a un uso más equitativo de la inteligencia artificial en la sociedad.
Para leer más sobre los prejuicios en los chatbots y sus implicaciones, puedes visitar los siguientes enlaces:
– Nature: Sesgo algorítmico en chatbots de IA
– Forbes: Mercado global de chatbots alcanzará los $10 mil millones para 2026
– VentureBeat: Las preocupaciones sobre el sesgo en los sistemas de IA están justificadas
The source of the article is from the blog reporterosdelsur.com.mx