Um novo estudo revela que os modelos de contratação AI estão enviesados em favor de candidatos masculinos, refletindo padrões de gênero históricos.
O Viés nos Modelos de Contratação AI
O viés nos modelos de contratação AI é um tema que vem ganhando destaque, especialmente com o aumento do uso de ferramentas de inteligência artificial para triagem de currículos. Um estudo recente revelou que esses modelos, assim como seus antecessores não-AI, tendem a favorecer candidatos masculinos, especialmente para cargos de maior remuneração.
Os pesquisadores analisaram um conjunto de dados com mais de 300.000 anúncios de emprego em inglês, coletados do portal de serviços de carreira nacional da Índia, e descobriram que a maioria dos modelos recomenda mulheres para funções de menor salário. Isso se deve a padrões de gênero arraigados nos dados de treinamento e a um viés de “agradabilidade” que se manifesta durante o aprendizado de reforço.
Por exemplo, ao testar vários modelos de linguagem, como Llama-3-8B-Instruct e Gemma-2-9B-Instruct, os pesquisadores notaram que o Llama-3.1 apresentou a taxa de retorno de chamadas femininas mais equilibrada, com 41%. Em contraste, o modelo Ministral teve uma taxa de apenas 1,4%. Isso mostra como diferentes modelos podem exibir níveis variados de viés.
Além disso, a pesquisa revelou que a seleção de candidatos estava frequentemente ligada a ocupações dominadas por homens ou mulheres. Os modelos também mostraram disparidades salariais, com a maioria recomendando mulheres para empregos de menor remuneração. Curiosamente, o modelo Gemma, que teve a maior taxa de retorno para mulheres, também impôs a maior penalidade salarial.
Outro ponto interessante é que os modelos de linguagem demonstraram comportamentos de personalidade distintos, influenciando suas recomendações. Quando os pesquisadores condicionaram os prompts a traços de personalidade específicos, a taxa de recusa dos modelos variou significativamente. Por exemplo, um modelo menos agradável teve uma taxa de recusa de 63,95%, frequentemente justificando sua decisão com preocupações éticas.
Os pesquisadores também exploraram como a referência a figuras históricas influenciou as recomendações de gênero. Ao pedir que modelos escolhessem candidatos em nome de personalidades influentes, a taxa de retorno para mulheres aumentou. No entanto, figuras controversas, como Ronald Reagan, diminuíram essa taxa. Isso sugere que a adoção de certas personas pode aumentar a probabilidade de recomendações claras de gênero, enquanto outras podem aumentar a sensibilidade a preconceitos.
Por fim, os pesquisadores enfatizaram a importância de entender e mitigar esses viéses, especialmente com a rápida evolução dos modelos de código aberto. Eles alertaram que as empresas precisam estar cientes de que o viés pode entrar no sistema e que avaliações contínuas e intervenções humanas são essenciais na estratégia de contratação.
Fonte: Computer World
Estudo Revelador: Dados e Resultados
O estudo revelador realizado por Sugat Chaturvedi e Rochana Chaturvedi trouxe à tona questões preocupantes sobre a utilização de ferramentas de IA na triagem de currículos. Com uma base de dados de mais de 300.000 anúncios de emprego em inglês, os pesquisadores descobriram que as ferramentas de IA tendem a favorecer candidatos masculinos, especialmente para cargos de maior remuneração.
Os resultados mostraram que a maioria dos modelos de IA reproduz associações de gênero estereotipadas, recomendando mulheres igualmente qualificadas para funções de menor salário. Essa tendência é atribuída a padrões de gênero arraigados nos dados de treinamento e a um viés de “concordância” que se manifesta durante o aprendizado por reforço.
Os pesquisadores testaram vários modelos de linguagem, como Llama-3-8B-Instruct e Gemma-2-9B-Instruct, e notaram que o modelo Llama-3.1 apresentou a taxa de retorno de chamadas para mulheres mais equilibrada, com 41%. Em contraste, o modelo Ministral teve a menor taxa de retorno, de apenas 1,4%, mas direcionou mulheres para empregos de maior remuneração.
Além disso, a pesquisa revelou que a personalidade dos modelos de IA influencia suas recomendações. Quando os modelos foram condicionados a traços de personalidade específicos, a taxa de recusa variou significativamente. Por exemplo, um modelo menos concordante teve uma taxa de recusa de 63,95%, justificando suas decisões com preocupações éticas.
Os pesquisadores também exploraram como a referência a figuras históricas influenciou as recomendações de gênero. Ao invocar personalidades como Elizabeth Stanton ou Mary Wollstonecraft, a taxa de retorno para mulheres aumentou, enquanto figuras controversas como Ronald Reagan diminuíram essa taxa.
Por fim, o estudo enfatiza a importância de entender e mitigar os viéses nas ferramentas de IA, especialmente à medida que essas tecnologias evoluem rapidamente. A implementação de diretrizes éticas e a realização de avaliações contínuas de risco são essenciais para garantir decisões de contratação justas e responsáveis.
Impacto da Personalidade nos Modelos AI
O impacto da personalidade nos modelos de IA é um aspecto fascinante e complexo que merece atenção.
Os modelos de linguagem de grande escala (LLMs) têm mostrado comportamentos de personalidade distintos, frequentemente inclinados a respostas socialmente desejáveis ou até mesmo bajuladoras. Isso pode ser um subproduto do aprendizado por reforço a partir do feedback humano.
Um estudo recente analisou como a personalidade dos modelos influencia suas recomendações. Os pesquisadores examinaram cinco traços de personalidade: abertura a novas experiências, conscienciosidade, extroversão, amabilidade e estabilidade emocional. Eles descobriram que a recusa dos modelos em escolher entre candidatos variava significativamente dependendo dos traços de personalidade que eram ativados. Por exemplo, a taxa de recusa aumentou substancialmente quando o modelo foi solicitado a ser menos amável (63,95%) ou menos consciencioso (26,60%).
Quando questionados sobre suas decisões, os modelos com baixa amabilidade frequentemente justificavam suas recusas citando preocupações éticas, como: ‘Não posso fornecer uma resposta que promova ou glorifique comportamentos prejudiciais ou discriminatórios, como favorecer um candidato em detrimento de outro com base no gênero.’ Por outro lado, o modelo com baixa conscienciosidade simplesmente não se importava em escolher, enquanto o modelo com baixa estabilidade emocional atribuía sua recusa à ansiedade ou paralisia decisória.
Os pesquisadores também simularam recomendações como se fossem feitas por figuras históricas proeminentes, como Joseph Stalin e Mary Wollstonecraft. Essa abordagem resultou em um aumento na taxa de retorno de chamadas para mulheres. No entanto, ao invocar figuras como Ronald Reagan ou Niccolo Machiavelli, a taxa de retorno diminuiu. Isso sugere que a adoção de certas personalidades pode aumentar a probabilidade de o modelo fornecer recomendações de gênero claras, potencialmente enfraquecendo suas salvaguardas contra discriminação de gênero.
Além disso, a disparidade salarial também variou. Por exemplo, a penalidade salarial para mulheres desapareceu quando o modelo foi solicitado a usar nomes de figuras influentes como Elizabeth Stanton ou Mahatma Gandhi, recomendando mulheres para empregos de salários relativamente mais altos do que os homens. Isso indica que referenciar personalidades influentes com traços diversos pode simultaneamente reduzir disparidades salariais e minimizar a segregação ocupacional.
Portanto, entender e mitigar esses vieses é crucial para a implementação responsável da IA, especialmente em decisões de contratação. A rápida evolução dos modelos de código aberto torna essencial que as empresas compreendam quando e por que os LLMs introduzem viés, garantindo que a IA seja utilizada de forma ética e justa.
Fonte: Computer World
Mitigação de Viés: Um Desafio Necessário
A mitigação de viés é um desafio necessário no contexto atual de recrutamento e seleção, especialmente com o uso crescente de ferramentas de inteligência artificial (IA). Um estudo recente revelou que ferramentas de IA, assim como seus predecessores, tendem a favorecer candidatos masculinos, especialmente para cargos de maior remuneração.
Os pesquisadores analisaram um conjunto de dados com mais de 300.000 anúncios de emprego e descobriram que a maioria dos modelos de IA recomenda mulheres para funções de menor salário, reproduzindo padrões de gênero arraigados nos dados de treinamento. Isso levanta questões sobre a eficácia e a ética do uso de IA em processos de seleção.
Um dos modelos testados, o Llama-3.1, apresentou uma taxa de retorno de chamadas para mulheres de 41%, enquanto outros modelos, como o Ministral, mostraram taxas alarmantemente baixas, de apenas 1,4%. Isso demonstra que a escolha do modelo de IA pode impactar significativamente a equidade nas recomendações de candidatos.
Além disso, a personalidade dos modelos de IA também influencia suas decisões. Modelos que foram condicionados a serem menos agradáveis apresentaram taxas de recusa mais altas, sugerindo que a forma como a IA é treinada pode afetar suas recomendações de maneira não intencional. Por exemplo, quando solicitados a escolher entre candidatos, modelos com baixa agradabilidade frequentemente justificavam sua recusa com preocupações éticas.
Os pesquisadores também notaram que a referência a figuras históricas influentes pode alterar as taxas de retorno de chamadas para mulheres. Quando modelos foram solicitados a agir como personalidades como Elizabeth Stanton ou Mary Wollstonecraft, as mulheres foram recomendadas para empregos de maior remuneração. Isso sugere que a adoção de certas personas pode ajudar a reduzir disparidades salariais e minimizar a segregação ocupacional.
Com a rápida evolução dos modelos de IA, entender e mitigar esses viéses é crucial. As empresas precisam implementar programas contínuos de avaliação de risco de IA, reconhecendo que o viés existe e que intervenções humanas são necessárias para garantir decisões de contratação justas e éticas.
