Se um modelo de aprendizado de máquina for treinado em um conjunto de dados desbalanceado, que contém muito mais imagens de pessoas de pele clara do que de pessoas de pele mais escura, por exemplo, há um sério risco de que as previsões do modelo sejam injustas quando implantadas no mundo real.
Mas isso é apenas parte do problema. Pesquisadores do MIT descobriram que modelos de aprendizado de máquina, populares para tarefas de reconhecimento de imagem, na verdade codificam viés quando treinados em dados desequilibrados. Esse viés dentro do modelo é irreversível posteriormente, mesmo com as mais modernas técnicas de aumento de imparcialidade e mesmo quando o modelo é retreinado com um conjunto de dados balanceado.
Assim, os pesquisadores desenvolveram uma técnica para introduzir justiça diretamente na representação interna do próprio modelo. Isso permite que o modelo produza resultados justos mesmo quando treinado com dados injustos, o que é especialmente importante, pois há muito poucos conjuntos de dados de aprendizado de máquina bem equilibrados.
A solução que eles desenvolveram não apenas resulta em modelos que fazem previsões mais equilibradas, mas também melhora seu desempenho em tarefas posteriores, como reconhecimento facial e classificação de espécies animais.
“É comum no aprendizado de máquina culpar os dados por vieses nos modelos. Mas nem sempre temos dados equilibrados. Portanto, precisamos encontrar métodos que realmente corrijam o problema de dados desequilibrados”, diz a principal autora Natalie Dullerud, estudante de pós-graduação do Healthy ML Group no Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT.
Os co-autores de Dullerud incluem Kimia Hamidieh, estudante de doutorado do Healthy ML Group; Karsten Roth, ex-bolsista visitante que agora é estudante de doutorado na Universidade de Tübingen; Nicolas Papernot, Professor Assistente do Departamento de Engenharia Elétrica e Ciência da Computação da Universidade de Toronto; e autor sênior Marzyeh Ghassemi, professor assistente e líder do Grupo ML Saudável. a pesquisa será apresentado na Conferência Internacional sobre Representações de Aprendizagem.
definir justiça
A técnica de aprendizado de máquina estudada pelos pesquisadores é conhecida como aprendizado métrico profundo, que é uma forma ampla de aprendizado de representação. No aprendizado métrico profundo, uma rede neural aprende a semelhança entre objetos mapeando fotos semelhantes próximas e fotos diferentes distantes. Durante o treinamento, essa rede neural mapeia as imagens em um “espaço de incorporação” no qual uma métrica de semelhança entre as fotos é igual à distância entre elas.
Por exemplo, se um modelo de aprendizado métrico profundo for usado para classificar espécies de pássaros, fotos de pintassilgos serão fotografadas juntas em uma parte do espaço de incorporação e cardeais juntos em outra parte do espaço de incorporação. Uma vez treinado, o modelo pode efetivamente medir a similaridade de novas imagens que não tinha visto antes. Ele aprenderia a agrupar imagens de uma espécie invisível de pássaro próximas, mas mais distantes de cardeais ou pintassilgos dentro do espaço de incorporação.
As métricas de similaridade que o modelo aprende são muito robustas, e é por isso que o aprendizado de métricas profundas é usado com tanta frequência para reconhecimento facial, diz Dullerud. Mas ela e seus colegas se perguntaram como saber se uma métrica de similaridade é tendenciosa.
“Sabemos que os dados refletem o viés dos processos na sociedade. Isso significa que precisamos mudar nosso foco para projetar métodos mais adaptados à realidade”, diz Ghassemi.
Os pesquisadores definiram duas maneiras pelas quais uma métrica de similaridade pode ser injusta. Usando a detecção de rosto como exemplo, a métrica é injusta se incorporar pessoas com rostos de pele escura mais próximos, mesmo que não sejam a mesma pessoa, do que se essas imagens fossem pessoas com rostos mais claros. rostos esfolados. Em segundo lugar, seria injusto se as características que aprende para medir a similaridade fossem melhores para o grupo majoritário do que para o grupo minoritário.
Os pesquisadores realizaram uma série de experimentos em modelos com métricas de similaridade injustas e não conseguiram superar o viés que o modelo aprendeu em seu espaço de incorporação.
“Isso é bastante assustador porque é uma prática muito comum para as empresas compartilhar esses modelos de incorporação e depois otimizá-los para uma tarefa de classificação posterior. Mas não importa o que você faça downstream, você simplesmente não pode corrigir os problemas de justiça que surgiram no espaço de incorporação”, diz Dullerud.
Mesmo que um usuário retreine o modelo em um conjunto de dados balanceado para a tarefa downstream, que é o melhor cenário para corrigir o problema de imparcialidade, ainda haverá lacunas de desempenho de pelo menos 20%, diz ela.
A única maneira de resolver esse problema é garantir que o espaço de incorporação seja justo desde o início.
Aprender métricas separadas
A solução dos pesquisadores, chamada Parcial Attribute Decorrelation (PARADE), é treinar o modelo para aprender uma métrica de similaridade separada para um atributo sensível como o tom de pele e, em seguida, descorrelacionar a métrica de similaridade do tom de pele da métrica de similaridade direcionada. À medida que o modelo aprende as métricas de semelhança de diferentes rostos humanos, ele aprende a mapear rostos semelhantes próximos e rostos diferentes distantes, usando outros recursos além do tom de pele.
Desta forma, qualquer número de atributos sensíveis pode ser descorrelacionado a partir da métrica de similaridade desejada. E como a métrica de similaridade para o atributo sensível é aprendida em um espaço de incorporação separado, ela é descartada após o treinamento, deixando apenas a métrica de similaridade alvo no modelo.
Seu método é aplicável a muitas situações porque o usuário pode controlar o grau de descorrelação entre as métricas de similaridade. Por exemplo, se o modelo diagnostica câncer de mama a partir de imagens de mamografia, um médico provavelmente desejará que algumas informações sexuais permaneçam na região de incorporação final, já que as mulheres são muito mais propensas a ter câncer de mama do que os homens, explica Dullerud.
Eles testaram seu método em duas tarefas, detecção de rosto e classificação de espécies de pássaros, e descobriram que ele reduzia as lacunas de desempenho causadas por viés, tanto no domínio de incorporação quanto na tarefa de downstream, independentemente do conjunto de dados usado.
No futuro, Dullerud está interessado em investigar como forçar um modelo de aprendizado métrico profundo para aprender bons recursos.
“Como você verifica corretamente a justiça? Isso agora é uma questão em aberto. Como você pode dizer que um modelo será justo ou que só será justo em determinadas situações, e quais são essas situações? Essas são questões que realmente me interessam”, diz ela.