ATHENA-FL: Evitando a Heterogeneidade Estatística através do Um-contra-Todos no Aprendizado Federado

Abstract

O aprendizado federado é um novo paradigma que permite o treinamento de modelos de aprendizado de máquina através da colaboração entre clientes e um servidor de agregação. O treinamento dispensa o compartilhamento de dados privados, garantindo aos clientes privacidade de suas amostras. Entretanto, quando os clientes possuem distribuições de dados distintas, o treinamento apresenta dificuldades de convergência, resultando em erros preditivos no modelo final. Este artigo propõe um sistema de aprendizado federado que considera clientes com distribuições de dados heterogêneas e, mesmo assim, produz modelos acurados em menos épocas de treinamento do que o estado da arte. Os efeitos da heterogeneidade dos dados são mitigados através do agrupamento dos clientes baseado em uma estimativa da distribuição de dados através dos pesos da rede neural treinada localmente. Além disso, o sistema utiliza a técnica um-contra-todos, treina um detector para cada classe no sistema. Assim, grupos diferentes podem combinar os detectores a fim de formar um modelo capaz de detectar classes provenientes de outros grupos. Os resultados mostram que o modelo um-contra-todos possui alta capacidade de identificar corretamente as amostras e com acurácia até 18% maior do que o treinamento tradicional, com um baixo custo de comunicação durante o treinamento, reduzindo a quantidade de bytes transmitidos entre 59,6% até 94% em comparação à arquitetura MobileNet.