Aprendizado Federado com Agrupamento Hierárquico de Clientes para Aumento da Acurácia

Abstract

O desempenho do aprendizado federado depende da distribuição dos dados, mostrando alta degradação no cenário de clientes com dados heterogêneos. Este artigo propõe um esquema hierárquico de agrupamento de clientes para contornar os desafios gerados por distribuições de dados não Independentes e Identicamente Distribuídas (não-IID) no aprendizado federado. Os grupos criados possuem clientes nos quais os dados possuem distribuições aproximadamente IID, facilitando a convergência do modelo. O sistema possui uma fase de inicialização, na qual o servidor executa um algoritmo de aprendizado não supervisionado de agrupamento sobre o vetor de bias da última camada da rede neural dos clientes. O algoritmo DBSCAN demonstrou melhores resultados de agrupamento, identificando corretamente os grupos até quando todos os clientes possuem conjuntos de dados com distribuições IID. Por fim, os resultados mostram o aumento de até 16% da acurácia em relação à abordagem de aprendizado federado tradicional quando os clientes possuem conjuntos de dados não-IID.

ATHENA-FL: Evitando a Heterogeneidade Estatística através do Um-contra-Todos no Aprendizado Federado

“…O trabalho [de Souza et al 2022] propõe um sistema de aprendizado federado através do agrupamento de clientes. Após o agrupamento dos clientes, cada grupo treina seu próprio modelo de forma federada.…”

“…Como os pesos possuem correlac ¸ão com os dados privados, usuários com dados similares possuem pesos próximos e são consequentemente indicados para o mesmo grupo na Etapa 3. Para identificar os grupos, o sistema utiliza o algoritmo de agrupamento espacial de aplicac ¸ões com ruído baseado na densidade (Density-Based Spatial Clustering of Applications with Noise -DBSCAN) [Ester et al 1996], como realizado anteriormente [de Souza et al 2022]. Diferente dos detectores, o modelo utilizado para teste é um modelo profundo para classificac ¸ão de múltiplas classes, pois é necessário comparar as distribuic ¸ões de dados entre todos os clientes nessa etapa.…”

“…0279 e número mínimo de clientes por grupo igual a 2, como analisado em resultados anteriores[de Souza et al 2022]. …”