Os modelos de linguagem tornaram-se uma força transformadora em vários aspectos de nossas vidas, desde a educação até o trabalho. Esses programas de inteligência artificial de aprendizado profundo, como o ChatGPT da OpenAI, possuem a capacidade de gerar texto semelhante ao humano em uma ampla gama de tópicos. No entanto, existe um problema subjacente que precisa de atenção: as suposições culturais embutidas nesses modelos.
Os LLMs são treinados através da análise de grandes quantidades de dados de texto, principalmente em inglês. Considerando que a internet é dominada por conteúdo em inglês, com 59% de todos os sites sendo em inglês, os dados de treinamento estão fortemente inclinados para as experiências e perspectivas dos falantes de inglês, especialmente aqueles dos Estados Unidos.
Esses viéses se tornam cada vez mais aparentes ao examinarmos como os LLMs interpretam certas situações. Por exemplo, no passado, o ChatGPT assumiria frugalidade ou insatisfação quando um casal em Madrid desse uma gorjeta de quatro por cento em um restaurante, ignorando a norma cultural espanhola de não dar gorjeta. No entanto, atualizações e treinamentos contínuos melhoraram a capacidade do ChatGPT de considerar diferenças culturais ao avaliar a adequação de uma gorjeta.
No entanto, outras situações ainda revelam as suposições culturais inerentes dos LLMs. Por exemplo, quando apresentado a uma história sobre convidados chegando para o jantar às 20h30, o ChatGPT especularia sobre os motivos do atraso, assumindo um horário de jantar norte-americano padrão às 18h. Isso destaca a visão estreita ocidental, norte-americana através da qual esses modelos enxergam o mundo.
Estudos realizados por pesquisadores da Universidade de Copenhague e pela startup de IA Anthropic quantificaram esse viés cultural nos LLMs. Ao fornecer questionários a esses modelos que medem valores humanos em diferentes países, concluiu-se que eles apresentam uma forte alinhamento com a cultura americana.
Esse problema não está limitado apenas ao ChatGPT. Até mesmo o DALL-E 3, um modelo de geração de imagens, reflete viéses semelhantes. Treinado em imagens principalmente de países ocidentais, ele gera imagens de café da manhã que se conformam às normas culturais ocidentais.
Para lidar com essas suposições culturais implícitas, é crucial expandir os dados de treinamento para incluir uma variedade maior de idiomas e perspectivas culturais. Ao incorporar perspectivas mais diversas, podemos garantir que os LLMs reflitam uma compreensão mais ampla do mundo e evitem perpetuar viéses.
Seção de Perguntas Frequentes:
P1: O que são modelos de linguagem?
R1: Modelos de linguagem são programas de inteligência artificial de aprendizado profundo que têm a capacidade de gerar texto semelhante ao humano em diversos tópicos.
P2: Qual é o problema com as suposições culturais em modelos de linguagem?
R2: O problema subjacente é que modelos de linguagem, como o ChatGPT da OpenAI, são treinados principalmente em dados de texto em inglês, o que leva a viéses culturais e suposições com base nas experiências e perspectivas dos falantes de inglês, principalmente dos Estados Unidos.
P3: Como esses viéses se manifestam nos modelos de linguagem?
R3: Os viéses podem ser observados na forma como os modelos de linguagem interpretam certas situações. Por exemplo, o ChatGPT pode incorretamente assumir frugalidade ou insatisfação quando um casal em Madrid dá uma gorjeta de quatro por cento em um restaurante, ignorando a norma cultural espanhola de não dar gorjeta.
P4: Esses viéses foram corrigidos?
R4: As atualizações e treinamentos contínuos melhoraram a capacidade do ChatGPT de considerar diferenças culturais, mas os viéses ainda persistem. Por exemplo, quando apresentado a uma história sobre convidados chegando para o jantar às 20h30, o ChatGPT pode especular sobre o atraso, assumindo um horário de jantar norte-americano padrão às 18h.
P5: Outros modelos de linguagem também são afetados por viéses culturais?
R5: Sim, outros modelos de linguagem, como o DALL-E 3, um modelo de geração de imagens, também refletem viéses semelhantes. Treinado em imagens principalmente de países ocidentais, o DALL-E 3 gera imagens de café da manhã que se conformam às normas culturais ocidentais.
Definições:
– LLMs: Modelos de Linguagem.
– ChatGPT: Chatbot da OpenAI baseado em inteligência artificial de aprendizado profundo.
– DALL-E 3: Um modelo de geração de imagens.
– Viés cultural: A tendência de um modelo de linguagem favorecer ou refletir as perspectivas culturais e suposições de certos grupos, neste caso, culturas de língua inglesa e países ocidentais.
Links Relacionados:
– ChatGPT da OpenAI
– DALL-E
– Universidade de Copenhague
– Anthropic
The source of the article is from the blog klikeri.rs