Evitando a discriminação social na construção de modelos

Tenho perguntas inspiradas no recente escândalo de recrutamento na Amazônia, onde foram acusadas de discriminação contra mulheres em seu processo de recrutamento. Mais informações aqui :

Os especialistas em aprendizado de máquina da Amazon.com descobriram um grande problema: seu novo mecanismo de recrutamento não gostava de mulheres.
A equipe tinha vindo a construir programas de computador desde 2014 para revisão candidatos a emprego recomeça com o objetivo de mecanizar a busca de melhores talentos ...
... ferramenta de contratação experimental da empresa usado inteligência artificial para dar trabalho candidatos pontuação variando de uma a cinco estrelas ...
... Mas em 2015, a empresa percebeu que seu novo sistema não estava classificando candidatos para trabalhos de desenvolvedor de software e outros cargos técnicos de maneira neutra em termos de gênero.
Isso ocorre porque os modelos de computador da Amazon foram treinados para examinar os candidatos, observando padrões nos currículos enviados à empresa por um período de 10 anos. A maioria veio de homens, um reflexo do domínio masculino em toda a indústria de tecnologia. (Para um gráfico sobre a discriminação de gênero na tecnologia, consulte: aqui ) Na verdade, o sistema da Amazon ensinou a si mesmo que os candidatos masculinos eram preferíveis. Ele penalizou currículos que incluíam a palavra "mulheres", como em "capitã do clube de xadrez feminino". E rebaixou os graduados de duas faculdades exclusivamente femininas, de acordo com pessoas familiarizadas com o assunto. Eles não especificaram os nomes das escolas.
A Amazon editou os programas para torná-los neutros a esses termos específicos. Mas isso não garante que as máquinas não planejem outras maneiras de classificar os candidatos que possam ser discriminatórios, disseram as pessoas.
A empresa de Seattle acabou por dissolver a equipe no início do ano passado porque os executivos perderam a esperança para o projeto ...
... O experimento da empresa ... oferece um estudo de caso sobre as limitações do aprendizado de máquina.
... cientistas da computação como Nihar Shah, que ensina aprendizado de máquina na Universidade Carnegie Mellon, dizem que ainda há muito trabalho a fazer.
"Como garantir que o algoritmo seja justo, como garantir que o algoritmo seja realmente interpretável e explicável - isso ainda está muito distante", disse ele.

LÍNGUA MASCULINA
[Amazon] montou uma equipe no centro de engenharia da Amazon em Edimburgo que cresceu para cerca de uma dúzia de pessoas. Seu objetivo era desenvolver uma IA que pudesse rastrear rapidamente a web e identificar candidatos que valessem a pena recrutar, disseram as pessoas familiarizadas com o assunto.
O grupo criou 500 modelos de computadores focados em funções e locais específicos do trabalho. Eles ensinaram cada um a reconhecer cerca de 50.000 termos que apareceram nos currículos dos candidatos anteriores. Os algoritmos aprenderam a atribuir pouco significado às habilidades comuns entre os candidatos de TI, como a capacidade de escrever vários códigos de computador ...
Em vez disso, a tecnologia favoreceu candidatos que se descreviam usando verbos mais comumente encontrados nos currículos de engenheiros do sexo masculino, como "executado" e "capturado", disse uma pessoa.

Digamos que eu queira criar um modelo estatístico para prever alguma saída de dados pessoais, como um ranking de cinco estrelas para ajudar a recrutar novas pessoas. Digamos que eu também queira evitar a discriminação de gênero, como uma restrição ética. Dado dois perfis estritamente iguais, além do gênero, a saída do modelo deve ser a mesma.

1. Devo usar o gênero (ou qualquer dado correlacionado a ele) como uma entrada e tentar corrigir seus efeitos, ou evitar usar esses dados?

2. Como verifico a ausência de discriminação contra o gênero?

3. Como corrijo meu modelo para dados que são estatisticamente discriminantes, mas não quero ser por razões éticas?

Este artigo fornece uma excelente visão geral de como navegar pelo viés de gênero, especialmente em modelos baseados em idiomas: o homem é o programador de computador como a mulher é a dona de casa? Debiasing Word Embeddings - Bolukbasi et. al. . Um bom resumo do blog pode ser encontrado aqui:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Você encontrará um compêndio maior de recursos aqui:

https://developers.google.com/machine-learning/fairness-overview/

Você encontrará várias técnicas nos links acima para reduzir o viés de gênero. De um modo geral, eles se dividem em três classes:

1) Amostragem abaixo / acima de seus dados. Isso visa a amostrar currículos femininos de alta qualidade e em amostra de currículos masculinos.

2) Subtraindo o "subespaço de gênero". Se o seu modelo é tendencioso quanto ao gênero, você pode demonstrar isso usando as incorporações de currículo para prever diretamente o sexo. Depois de criar um modelo auxiliar (mesmo que apenas amostrando termos comuns pertencentes a ambos os sexos e depois aplicando o PCA), é possível subtrair essa dimensão do modelo, normalizando o currículo como neutro em termos de gênero. Essa é a principal técnica usada no artigo de Bolukbasi.

3) Aprendizagem Adversarial. Nesse caso, você tenta gerar dados adicionais tentando gerar mais versões de currículos femininos de alta qualidade que, de outra forma, são indistinguíveis dos currículos reais.

Esta não é uma resposta para sua pergunta, mas apenas alguns pensamentos que são longos demais para caber em um comentário.

Penso que um problema que devemos considerar ao pensar sobre essas questões é que todo modelo discrimina , e o fará com base em qualquer associação presente nos dados. Esse é sem dúvida o objetivo de um modelo preditivo. Por exemplo, os homens são genuinamente mais propensos a cometer crimes do que as mulheres; portanto, quase qualquer modelo que tenha acesso a essas informações atrairá essa inferência.

Mas isso não significa que devemos condenar alguém parcialmente com base no sexo, mesmo que um homem geralmente pareça mais propenso a cometer um crime (outras coisas iguais). Em vez disso, devemos exigir evidências diretas de um crime ao tomar tais decisões, e não informações sobre mera associação. Como outro exemplo: as pessoas com maior probabilidade de adoecer realmente merecem pagar prêmios de seguro mais altos?

Portanto, quando se trata de discriminação, eu argumentaria que a questão lida mais com a aplicação ética , em vez de se mostrar injusta. Se estamos preocupados em perpetuar a discriminação ou outros resultados injustos ao usar um modelo em determinada situação, talvez não devamos usá-lo.

Eu costumava trabalhar em um projeto para desenvolver as melhores práticas de gerenciamento de software. Observei aproximadamente cinquenta equipes de software em campo. Nossa amostra foi de cerca de 77, mas acabamos vendo cerca de cem equipes. Além de coletar dados sobre coisas como certificações, graus e assim por diante, também coletamos uma variedade de dados psicológicos e demográficos.

As equipes de desenvolvimento de software têm alguns efeitos de auto-seleção muito significativos que, embora não tenham nada a ver com gênero, estão fortemente correlacionados com o gênero. Além disso, os gerentes tendem a se replicar. As pessoas contratam pessoas com quem se sentem confortáveis ​​e mais confortáveis ​​consigo mesmas. Também há evidências de que as pessoas estão sendo classificadas de maneira cognitivamente tendenciosa. Imagine que, como gerente, eu valorizo ​​muito a chegada imediata no início do trabalho. Vou então avaliar isso. Outro gerente, que apenas se importa com o trabalho, pode avaliar algo completamente diferente como importante.

Você observou que os homens usam a linguagem de maneira diferente, mas também é verdade que pessoas com personalidades diferentes usam a linguagem de maneiras diferentes. Também pode haver diferenças no uso da língua étnica; veja, por exemplo, a atual controvérsia nas admissões de Harvard e da Ásia.

Agora você assume que as empresas de software discriminam as mulheres, mas existe outra forma de discriminação de gênero no setor de desenvolvimento de software que você não considerou. Quando você controla coisas objetivas, como certificações, graus, posse e assim por diante, a mulher média ganha 40% a mais do que o homem médio. Existem três fontes de discriminação no emprego no mundo.

A primeira é que os gerentes ou proprietários não desejam contratar alguém com base em algum recurso. A segunda é que os colegas de trabalho não desejam trabalhar com as pessoas com esse recurso. A terceira é que os clientes não querem pessoas que tenham um recurso. Parece que a discriminação salarial está sendo desencadeada pelos clientes porque o produto de trabalho é diferente e, da perspectiva dos clientes, também é melhor. Esse mesmo recurso faz com que os higienistas dentais masculinos recebam salários mais baixos do que as mulheres. Também é visto em um viés em direção a "nascer aqui" nos salários mundiais do futebol.

O melhor controle para isso é entender seus dados e as forças sociais envolvidas. Qualquer empresa que use seus próprios dados tenderá a se replicar. Isso pode ser uma coisa muito boa, mas também pode torná-los cegos às forças no trabalho. O segundo controle é entender sua função objetivo. Os lucros podem ser uma boa função, mas podem ser uma função ruim. Existem valores em jogo na seleção de uma função de perda objetiva. Finalmente, há a questão de testar os dados contra dados demográficos para determinar se está ocorrendo uma discriminação infeliz.

Finalmente, e esse é um problema maior em coisas como IA, nas quais você não pode obter boas estatísticas interpretativas, você desejará controlar o paradoxo de Yule. O exemplo histórico clássico é a descoberta de que 44% dos homens foram aceitos na UC Berkley, enquanto apenas 35% das mulheres foram admitidas em 1973. Essa foi uma enorme diferença e estatisticamente significativa. Também foi enganoso.

Isso era obviamente escandaloso, e por isso a universidade decidiu ver quais eram os cursos ofensivos. Bem, descobriu-se que, quando você controlava a graduação, havia um viés estatisticamente significativo a favor da admissão de mulheres. Dos oitenta e cinco cursos, seis eram direcionados a mulheres e quatro a homens, o restante não era significativo. A diferença era que as mulheres estavam se candidatando desproporcionalmente aos cursos mais competitivos e, portanto, poucos dos dois gêneros estavam entrando. Os homens eram mais propensos a se inscrever em cursos menos competitivos.

Adicionar o paradoxo de Yule cria uma camada ainda mais profunda de discriminação. Imagine, em vez de um teste de gênero, houve um teste de gênero por tipo de trabalho. Você pode passar em um teste neutro de gênero em toda a empresa, mas falha no nível da tarefa. Imagine que apenas mulheres foram recrutadas para V&V e apenas homens para administração de sistemas. Você pareceria neutro em termos de gênero e não seria.

Uma solução potencial para isso é executar IAs competitivas que usem critérios objetivos diferentes de “bondade”. O objetivo é ampliar a rede, não reduzi-la. Isso também pode ajudar a evitar outro problema na literatura de gerenciamento. Enquanto 3% dos homens são sociopatas, esse número aumenta substancialmente à medida que você avança cada vez mais na escada corporativa. Você não quer filtrar sociopatas.

Finalmente, você pode não querer considerar o uso da IA ​​para certos tipos de posições. Estou procurando emprego agora. Também tenho certeza de que estou sendo filtrada e não descobri como contornar isso. Estou sentado em uma nova tecnologia muito perturbadora. O problema é que meu trabalho não corresponde às palavras mágicas. Em vez disso, tenho o próximo conjunto de palavras mágicas. No momento, valho uma fortuna para a empresa certa, mas em um caso em que me inscrevi, recebi um declínio automático em menos de um minuto. Eu tenho um amigo que atuou como CIO de agências federais. Ele se candidatou a um emprego em que o gerente de contratação estava esperando para ver sua inscrição ser aprovada, para que ele pudesse oferecer o emprego. Isso nunca aconteceu porque os filtros o bloquearam.

Isso configura o segundo problema da IA. Se eu conseguir trabalhar com currículos on-line que a Amazon está contratando, então posso usar a palavra mágica em meu currículo. Na verdade, estou trabalhando no meu currículo agora para ajustá-lo a filtros não humanos. Também posso dizer pelos e-mails dos recrutadores que algumas partes do meu currículo estão sendo ampliadas e outras são ignoradas. É como se o processo de recrutamento e contratação tivesse sido assumido por um software como o Prolog. Restrições lógicas atendidas? Sim! Este é o candidato ideal ou o conjunto de candidatos. Eles são ótimos?

Não há uma resposta pré-criada para sua pergunta, apenas problemas para solucionar.

Para construir um modelo desse tipo, é importante primeiro entender alguns aspectos estatísticos básicos da discriminação e dos resultados do processo. Isso requer a compreensão dos processos estatísticos que classificam os objetos com base nas características. Em particular, requer entender a relação entre o uso de uma característica para fins de tomada de decisão (isto é, discriminação) e a avaliação dos resultados do processo em relação à referida característica. Começamos observando o seguinte:

• A discriminação (no seu sentido apropriado) ocorre quando uma variável é usada no processo de decisão, não apenas quando o resultado está correlacionado com essa variável. Formalmente, discriminamos uma variável se a função de decisão no processo (ou seja, a classificação neste caso) for uma função dessa variável.

• As disparidades no resultado em relação a uma variável específica geralmente ocorrem mesmo quando não há discriminação nessa variável . Isso ocorre quando outras características na função de decisão são correlacionadas com a variável excluída. Nos casos em que a variável excluída é uma variável demográfica (por exemplo, sexo, raça, idade etc.), a correlação com outras características é onipresente, portanto, são esperadas disparidades nos resultados entre os grupos demográficos.

• É possível tentar reduzir disparidades nos resultados entre grupos demográficos por meio de ação afirmativa, que é uma forma de discriminação. Se houver disparidades nos resultados do processo em relação a uma variável, é possível reduzi-las usando a variável como variável de decisão (ou seja, discriminando essa variável) de uma maneira que favorece grupos "sub-representados" (ou seja, grupos com proporções mais baixas de resultados positivos no processo de decisão).

• Você não pode ter as duas coisas - ou deseja evitar a discriminação em relação a uma característica específica ou deseja equalizar os resultados do processo em relação a essa característica. Se seu objetivo é "corrigir" disparidades nos resultados com relação a uma característica específica, não se engane com o que está fazendo - você está praticando discriminação para os fins de ação afirmativa .

Depois de entender esses aspectos básicos dos processos estatísticos de tomada de decisão, você poderá formular qual é seu objetivo real neste caso. Em particular, você precisará decidir se deseja um processo não discriminatório, o que provavelmente resultará em disparidades de resultados entre os grupos, ou se deseja um processo discriminatório projetado para gerar resultados iguais no processo (ou algo próximo disso). Ética, esta questão imita o debate sobre não discriminação versus ação afirmativa.

Digamos que eu queira criar um modelo estatístico para prever alguma saída de dados pessoais, como um ranking de cinco estrelas para ajudar a recrutar novas pessoas. Digamos que eu também queira evitar a discriminação de gênero, como uma restrição ética. Dado dois perfis estritamente iguais, além do gênero, a saída do modelo deve ser a mesma.

É fácil garantir que as classificações fornecidas pelo modelo não sejam afetadas por uma variável que você deseja excluir (por exemplo, sexo). Para fazer isso, tudo o que você precisa fazer é remover essa variável como preditora no modelo, para que não seja usada na decisão de classificação. Isso garantirá que dois perfis estritamente iguais, além dessa variável, sejam tratados da mesma forma. No entanto, isso não garantirá necessariamente que o modelo não discrimine com base em outra variável correlacionada com a variável excluída, e geralmente não levará a resultados iguais entre os sexos. Isso ocorre porque o gênero está correlacionado com muitas outras características que podem ser usadas como variáveis ​​preditivas em seu modelo, portanto, geralmente esperamos que os resultados sejam desiguais, mesmo na ausência de discriminação.

Em relação a esse problema, é útil demarcar entre características que são características inerentes ao gênero (por exemplo, xixi em pé) versus características que são meramente correlacionadas com o gênero (por exemplo, possui um diploma de engenharia). Se você deseja evitar a discriminação de gênero, isso geralmente implica a remoção do sexo como preditor e também a remoção de qualquer outra característica que considere ser uma característica inerente ao gênero. Por exemplo, se aconteceu que os candidatos a emprego especificam se devem fazer xixi em pé ou sentados, essa é uma característica que não é estritamente equivalente ao gênero, mas uma opção determina efetivamente o sexo; portanto, você provavelmente removeria essa característica como um preditor no modelo.

1. Devo usar o gênero (ou qualquer dado correlacionado a ele) como uma entrada e tentar corrigir seus efeitos, ou evitar usar esses dados?

Corrigir o que exatamente? Quando você diz "corrigir o efeito deles", assumirei que você quer dizer que está considerando "corrigir" disparidades nos resultados causados ​​por preditores correlacionados com o sexo. Se for esse o caso, e você usa o gênero para tentar corrigir uma disparidade de resultados, está efetivamente se engajando em ações afirmativas - ou seja, está programando seu modelo para discriminar positivamente o gênero, com o objetivo de aproximar os resultados. . Se você deseja fazer isso depende do seu objetivo ético no modelo (evitar discriminação versus obter resultados iguais).

2. Como verifico a ausência de discriminação contra o gênero?

Se você está falando sobre discriminação real, em oposição a meras disparidades no resultado, é fácil restringir e verificar. Tudo o que você precisa fazer é formular seu modelo de forma que ele não use o gênero (e as características inerentes ao gênero) como preditores. Os computadores não podem tomar decisões com base nas características que você não insere no modelo deles; portanto, se você tiver controle sobre isso, deve ser bastante simples verificar a ausência de discriminação.

As coisas ficam um pouco mais difíceis quando você usa modelos de aprendizado de máquina que tentam descobrir as características relevantes, sem a sua contribuição. Mesmo nesse caso, deve ser possível programar seu modelo para que ele exclua os preditores especificados para serem removidos (por exemplo, sexo).

3. Como faço para corrigir meu modelo para dados que são estatisticamente discriminantes, mas não quero ser por razões éticas?

Quando você se refere a dados "estatisticamente discriminantes", presumo que você apenas queira dizer características que estão correlacionadas com o sexo. Se você não quiser essas outras características, basta removê-las como preditores no modelo. No entanto, você deve ter em mente que é provável que muitas características importantes estejam correlacionadas com o gênero. Qualquer característica binária será correlacionada com o gênero em qualquer caso, quando a proporção de homens com essa característica for diferente da proporção de mulheres com essa característica. (Obviamente, se essas proporções estiverem próximas, você poderá descobrir que elas não são "estatisticamente significativas".) Para variáveis ​​mais gerais, a condição para correlação diferente de zero também é muito fraca. Portanto,

Esta será, no máximo, uma resposta parcial (ou nenhuma resposta).

A primeira coisa a notar é que eu concordo completamente com o @dsaxton: todos os modelos "discriminam" (pelo menos em algumas definições de discriminação), pois essa é sua função. A questão é que os modelos funcionam em resumos e médias e atribuem coisas com base em médias. Os indivíduos solteiros são únicos e podem estar completamente fora da previsão.

Exemplo: considere um modelo simples que prevê o ranking de cinco estrelas mencionado com base em uma variável - idade . Para todas as pessoas com a mesma idade (digamos 30), produzirá a mesma saída. No entanto, isso é uma generalização. Nem toda pessoa com 30 anos será a mesma. E se o modelo produz diferentes classificações para diferentes idades - já está discriminando as pessoas por sua idade. Digamos que ele dê uma classificação de 3 para pessoas de 50 anos e uma classificação de 4 para pessoas de 40 anos. Na realidade, haverá muitas pessoas de 50 anos que são melhores no que fazem do que 40 anos. E eles serão discriminados.

1. Devo usar o gênero (ou qualquer dado correlacionado a ele) como uma entrada e tentar corrigir seus efeitos, ou evitar usar esses dados?

Se você deseja que o modelo retorne o mesmo resultado para homens e mulheres de outra forma iguais, não inclua gênero no modelo. Qualquer dado correlacionado ao gênero provavelmente deve ser incluído. Ao excluir essas covariáveis, você pode cometer pelo menos 2 tipos de erros: 1) assumindo que todos os homens e mulheres estão igualmente distribuídos em todas as covariáveis; 2) se algumas dessas covariáveis ​​correlacionadas com o gênero forem relevantes para a classificação e correlacionadas com o gênero ao mesmo tempo - você poderá reduzir bastante o desempenho do seu modelo excluindo-o.

2. Como verifico a ausência de discriminação contra o gênero?

Execute o modelo exatamente nos mesmos dados duas vezes - uma vez usando "masculino" e outra vez usando "feminino". Se isso vier de um documento de texto, talvez algumas palavras possam ser substituídas.

3. Como faço para corrigir meu modelo para dados que são estatisticamente discriminantes, mas não quero ser por razões éticas?

Depende do que você quer fazer. Uma maneira brutal de forçar a igualdade entre os sexos é executar o modelo em candidatos masculinos e femininos separadamente. E escolha 50% de um grupo e 50% de outro grupo.

É provável que sua previsão sofra - pois é improvável que o melhor conjunto de candidatos inclua exatamente metade homens e metade mulheres. Mas você provavelmente estaria bem eticamente? - mais uma vez, isso depende da ética. Eu pude ver uma declaração ética em que esse tipo de prática seria ilegal, pois também discriminaria com base no gênero, mas de outra maneira.

O que a história da Amazônia mostra é que é muito difícil evitar o viés. Duvido que a Amazon tenha contratado pessoas burras para esse problema, ou que não possuíam habilidades, ou que não tinham dados suficientes ou que não possuíam créditos suficientes da AWS para treinar um modelo melhor. O problema era que os complicados algoritmos de aprendizado de máquina são muito bons em aprender padrões nos dados; o viés de gênero é exatamente esse tipo de padrão. Houve viés nos dados, pois os recrutadores (conscientemente ou não) favoreceram candidatos do sexo masculino. Não estou dizendo aqui que a Amazon é uma empresa que discrimina candidatos a emprego, tenho certeza de que eles têm milhares de políticas anti-discriminatórias e também contratam bons recrutadores. O problema com esse tipo de preconceito e preconceito é que existe, por mais que você tente combatê-lo. Existem inúmeras experiências em psicologia mostrando que as pessoas podem declarar não serem tendenciosas (por exemplo, racistas), mas ainda faz ações tendenciosas, sem nem perceber. Mas, respondendo à sua pergunta, para ter um algoritmo que não seja tendencioso, você precisará começar com dados que não contenham esse tipo de tendência. Os algoritmos de aprendizado de máquina aprendem a reconhecer e repetir os padrões que veem nos dados. Portanto, se seus dados registram decisões tendenciosas, é provável que o algoritmo aprenda e amplie essa tendência.

A segunda coisa é gerenciar os dados. Se você deseja proibir seu algoritmo de aprender a tomar decisões tendenciosas, remova todas as informações que ajudariam a discriminar entre grupos de interesse (sexo aqui). Isso não significa remover apenas as informações sobre gênero, mas também todas as informações que podem levar à identificação de gênero, e isso pode ser muitas coisas. Existem exemplos óbvios, como nome e foto, mas também indiretos, como, por exemplo, licença maternidade no currículo, mas também educação (e se alguém freqüentasse uma escola somente para meninas?) Ou até mesmo histórico profissional (digamos que os recrutadores de sua empresa não sejam tendenciosos , mas e se todos os outros recrutadores anteriores fossem tendenciosos, o histórico de trabalho reflete todas essas decisões tendenciosas?) etc. Como você pode ver,

Quanto às perguntas 2. e 3., não há respostas fáceis e não me sinto competente o suficiente para tentar respondê-las em detalhes. Há muita literatura sobre preconceito e preconceito na sociedade, e sobre preconceito algorítmico. Isso é sempre complicado e, infelizmente, não existem receitas simples para isso. Empresas, como o Google, contratam especialistas cuja função é identificar e impedir esse tipo de viés nos algoritmos.

1. Devo usar o gênero (ou qualquer dado correlacionado a ele) como uma entrada e tentar corrigir seus efeitos, ou evitar usar esses dados?

Existem várias implicações dessa pergunta que se resumem ao seguinte: Quero ser um engenheiro social; um ativista cujo papel é mudar o status quo porque decidi que a sociedade está doente e requer terapia?A resposta óbvia para isso depende se essa mudança é ou não benéfica ou prejudicial. Por exemplo, a resposta para "O que obteríamos da igualdade de gênero para a equipe de enfermagem?" pode ser que ter pelo menos um enfermeiro disponível para a inserção de cateteres urinários nos homens não exigiria que 50% dos enfermeiros fossem do sexo masculino. Portanto, a abordagem de engenharia social examina diferentes culturas, contextos e problemas com viés de gênero conhecido e postula benefícios funcionais a serem obtidos com alterações nas causas-raiz desse viés. Este é um passo essencial no processo de tomada de decisão. Agora, a resposta para a pergunta 1. é um retumbante não, ou seja, uma vez que se tenha decidido que a sociedade precisa ser consertada, basta adicionar uma estrela ou fração de (veja abaixo) às candidatas, mas tenha muito cuidado com o que deseja, porque essa é uma ação afirmativa, que é ela própria inerentemente discriminatória. Quaisquer resultados de IA mudarão para refletir as novas normas de contratação, uma vez que elas se estabeleçam como uma nova norma funcional.

2. Como verifico a ausência de discriminação contra o gênero?

Simples o suficiente, depois que as classificações são atribuídas, é feita uma análise post hoc para ver qual é a distribuição das classificações para homens e mulheres e compará-las.

3. Como corrijo meu modelo para dados que são estatisticamente discriminantes, mas não quero ser por razões éticas?

Isso é inevitavelmente feito após o fato, ou seja, post hoc . A premeditação também é necessária, mas o tipo de premeditação mais necessária é uma tentativa concertada de examinar criticamente quais são as premissas do engenheiro social. Ou seja, assumindo (por uma questão de argumento, veja abaixo) que seja sociologicamente justificável eliminar todos os preconceitos de gênero, basta ajustar as classificações femininas para seguir a mesma distribuição empírica que os homens. No setor de ensino, isso seria chamado de classificação em uma curva. Além disso, suponhamos que pode não ser desejável fazer uma eliminação completa do viés de gênero (pode ser muito perturbador fazê-lo); então, pode-se fazer uma eliminação parcial do viés, por exemplo, uma média ponderada em pares de cada mulher nativa classificação e sua classificação totalmente corrigida, com quaisquer pesos que se deseje atribuir que sejam considerados (ou testados como sendo) menos prejudiciais e / ou mais benéficos.

A disparidade de gênero não pode ser alterada adequadamente mediante a contratação de políticas, pois em alguns campos há uma escassez relativa de candidatas. Por exemplo, na Polônia, 14,3% dos estudantes de TI eram do sexo feminino em 2018 e na Austrália, 17% . Uma vez contratada, a retenção de mulheres em setores intensivos em tecnologia era problemática (as mulheres em funções de negócios em setores intensivos em tecnologia partem para outros setores em altas taxas - 53% das mulheres, em comparação com 31% dos homens.) Assim, a satisfação no trabalho das mulheres pode ser mais importante do que contratar uma política sozinha. Primeiro, é necessário identificar um benefício tangível por ter uma porcentagem específica de mulheres no local de trabalho, e há algumas dicas sobre isso, por exemplo, em 2016, mulheres em conselhos corporativos (16%) tinham quase o dobro da probabilidade de seus colegas masculinos (9%) em ter experiência profissional em tecnologia entre 518 empresas da Forbes Global 2000. Assim, a economia em tecnologia parece contribuir mais para o patrimônio líquido feminino e masculino. A partir desta discussão, deve ser óbvio que, antes de fazer suposições específicas de gênero, um esforço substancial deve ser direcionado para identificar benefícios concretos mais globais de políticas específicas, cuja política de contratação é apenas uma parte pequena, embora importante, e provavelmente não a mais importante. ponto de partida. Essa última é plausivelmente a retenção de contratações, porque a rotatividade é ruim para a moral e pode ser a causa raiz do viés de gênero na contratação.

Minha experiência em gerenciamento me ensinou que mesmo pequenas alterações na produção do trabalho (por exemplo, 10 a 20%) são bastante eficazes para eventualmente eliminar as listas de espera, ou seja, não há necessidade de aumentar imediatamente a produção em 100%, dobrando o número de funcionários como o efeito de isso reduzirá a lista de espera apenas um pouco mais rápido do que uma alteração menor, mas será perturbador, pois a equipe estará posteriormente esperando que o trabalho passe pela porta. Ou seja, se alguém decide fazer engenharia social, pode ser prejudicial tentar uma correção completa; não funciona assim. Tente isso com uma correção abrupta do curso em um veleiro, e pode-se acabar exercitando as aulas de natação. O equivalente para tratar o viés de gênero (se a prescrição se encaixar) seria contratar apenas mulheres. Isso resolveria o problema (e criaria outros). Então,

Em resumo, a engenharia social eficaz exige uma abordagem holística para situações complicadas, e apenas identificar que pode haver um problema não nos diz que há um, não nos diz o que o causa, não nos diz como corrigi-lo e, de fato, tudo o que nos diz é que precisamos colocar nossos limites de pensamento.