Instance-Level Constraint-Based Semisupervised Learning With Imposed Space-Partitioning

Abstract

A new method for semisupervised learning from pairwise sample (must- and cannot-link) constraints is introduced. It addresses an important limitation of many existing methods, whose solutions do not achieve effective propagation of the constraint information to unconstrained samples. We overcome this limitation by constraining the solution to comport with a smooth (soft) class partition of the feature space, which necessarily entails constraint propagation and generalization to unconstrained samples. This is achieved via a parameterized mean-field approximation to the posterior distribution over component assignments, with the parameterization chosen to match the representation power of the chosen (generative) mixture density family. Unlike many existing methods, our method flexibly models classes using a variable number of components, which allows it to learn complex class boundaries. Also, unlike most of the methods, ours estimates the number of latent classes present in the data. Experiments on synthetic data and data sets from the UC Irvine machine learning repository show that, overall, our method achieves significant improvements in classification performance compared with the existing methods.

Algoritmos evolutivos para modelos de mistura de gaussianas em problemas com e sem restrições

“…Uma forma de se evitar tal problema é considerar que as restrições referem-se a classes, e que tais classes podem ser formadas por mais de um grupo. Embora existam trabalhos na literatura nessa linha de pesquisa (Zhao e Miller, 2005;Raghuram et al, 2014), os mesmos dependem de um parâmetro que define um compromisso entre atender restrições e a qualidade da solução, que por sua vez é de difícil ajuste por parte do usuário. Levando em consideração todos esses aspectos, formula-se a terceira hipótese desta tese: 8 1 Introdução…”

“…Existem duas abordagens principais para utilizar as restrições: a incorporação delas no processo de agrupamento e o aprendizado de uma medida de distância específica para o problema (Basu et al, 2008). Na primeira, existem duas frentes ativas de pesquisa: algoritmos que buscam partições que satisfazem todas as restrições (Wagstaff e Cardie, 2000;Wagstaff et al, 2001;Klein et al, 2002;Shental et al, 2003 Ares et al, 2009;Costa et al, 2009;Benabdeslem e Snoussi, 2009;Zhang e Wong, 2009;Wang et al, 2014;Raghuram et al, 2014). Na literatura de minimização do número de violações de restrições, as restrições são usualmente chamadas de soft constraints, e alguns trabalhos adotam uma generalização no conceito de restrições na qual, para cada restrição (ML ou CL), é informada também a confiança do usuário naquela restrição.…”

“…Além disso, o algoritmo proposto procura identificar cenários em que a hipótese de um grupo por classe não é válida, permitindo que uma classe seja representada por mais de um grupo. O trabalho de Zhao e Miller (2005) foi estendido e aprimorado recentemente por Raghuram et al (2014), incorporando uma busca incremental pelo número de grupos. Este algoritmo está intimamente relacionado ao algoritmo FIECE-EM desenvolvido nessa tese, sendo inclusive utilizado nas análises experimentais, e por conta disso, será descrito em maiores detalhes na próxima seção.…”

“…O primeiro termo é a função logarítmica de verossimilhança do modelo, enquanto que o segundo é a penalização por violação de restrições ponderado por um parâmetro β definido pelo usuário. Conforme derivação apresentada em Raghuram et al (2014), este modelo resulta em uma distribuição cujo cálculo é intratável devido à dependência entre objetos envolvidos em restrições. Para superar tal problema, os autores utilizam uma aproximação forçando uma suavização no cômputo da responsabilidade de um componente sobre um objeto.…”

“…A flexibilidade do MCP em modelar dados vem acompanhada de um custo computacional considerável. Especificamente, o custo assintótico é de O(K 2 max N M 2 + K 3 max N r L max M 2 ), sendo N r o número de objetos envolvidos em restrições (Raghuram et al, 2014). Além disso, a definição do parâmetro β não é trivial por parte do usuário, o que demanda a avaliação de diferentes valores para este parâmetro.…”