"Uma abordagem para pré-processamento de dados textuais em algoritmos de aprendizado"

Martins, Claudia Aparecida

doi:10.11606/t.55.2003.tde-08032004-164855

Cited by 12 publications

(18 citation statements)

References 60 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Em outras palavras, um dos objetivosé que o número de exemplos de treinamento necessários para se atingir uma dada precisão do modelo construído por um algoritmo de aprendizado (complexidade da amostra) cresça lentamente em relação ao número de atributos não importantes. Por exemplo, na tarefa de classificação de texto, nãoé incomum a descrição de exemplos utilizando mais de 10 4 atributos para representar um texto, sabendo-se que apenas uma pequena fração desses atributosé crucial para o aprendizado do conceito (Matsubara and Monard, 2005;Martins, 2003;Sebastiani, 2002). Nosúltimos anos, uma quantidade crescente de pesquisas em AM, tanto teóricas quanto práticas, tem-se voltado para o desenvolvimento de algoritmos que trabalhem bem na presença de muitos atributos, em geral, irrelevantes 1 .…”

Section: O Problema Da Seleção De Atributosunclassified

"Seleção de atributos importantes para a extração de conhecimento de bases de dados"

Lee¹

View full text Add to dashboard Cite

Este documento foi preparado com o formatador de textos LaT E X. O sistema de citações de referências bibliográficas utiliza o padrão Chicago do sistema bibT E X. Alguns termos utilizados neste trabalho não foram traduzidos da língua inglesa para a portuguesa por serem amplamente aceitos e difundidos na comunidade acadêmica de aprendizado de má-quina. Todos os endereços de Internet utilizados nas referências bibliográficas tiveram seú ultimo acesso realizado no mês de setembro de 2005. ResumoO desenvolvimento da tecnologia e a propagação de sistemas computacionais nos mais variados domínios do conhecimento têm contribuído para a geração e o armazenamento de uma quantidade constantemente crescente de dados, em uma velocidade maior da que somos capazes de processar. De um modo geral, a principal razão para o armazenamento dessa enorme quantidade de dadosé a utilização deles em benefício da humanidade. Diversasáreas têm se dedicadoà pesquisa e a proposta de métodos e processos para tratar esses dados. Um desses processosé a Descoberta de Conhecimento em Bases de Dados, a qual tem como objetivo extrair conhecimento a partir das informações contidas nesses dados. Para alcançar esse objetivo, usualmente são construídos modelos (hipóteses), os quais podem ser gerados com o apoio de diferentesáreas tal como a de Aprendizado de Máquina.A Seleção de Atributos desempenha uma tarefa essencial dentro desse processo, pois representa um problema de fundamental importância em aprendizado de máquina, sendo freqüen-temente realizada como uma etapa de pré-processamento. Seu objetivoé selecionar os atributos mais importantes, pois atributos não relevantes e/ou redundantes podem reduzir a precisão e a compreensibilidade das hipóteses induzidas por algoritmos de aprendizado supervisionado. Vários algoritmos para a seleção de atributos relevantes têm sido propostos na literatura. Entretanto, trabalhos recentes têm mostrado que também deve-se levar em conta a redundância para selecionar os atributos importantes, pois os atributos redundantes também afetam a qualidade das hipóteses induzidas. Para selecionar alguns e descartar outros,é preciso determinar a importância dos atributos segundo algum critério. Entre os vários critérios de importância de atributos propostos, alguns estão baseados em medidas de distância, consistência ou informação, enquanto outros são fundamentados em medidas de dependência.Outra questão essencial são as avaliações experimentais, as quais representam um importante instrumento de estimativa de performance de algoritmos de seleção de atributos, visto que não existe análise matemática que permita predizer que algoritmo de seleção de atributos será melhor que outro. Essas comparações entre performance de algoritmos são geralmente realizadas por meio da análise do erro do modelo construído a partir dos subconjuntos de atributos selecionados por esses algoritmos. Contudo, somente a consideração desse parâmetro nãoé suficiente; outras questões devem ser consideradas, tal como a percentagem de redução da quantidade d...

show abstract

Section: O Problema Da Seleção De Atributosunclassified

"Seleção de atributos importantes para a extração de conhecimento de bases de dados"

Lee¹

View full text Add to dashboard Cite

show abstract

“…Figura 2.5: Clusters versus classes: (a) conjunto de treinamento (b) clusters encontrados (c) clusters diferentes expressando o mesmo conceito (mesma classe) (Martins, 2003) O caso (a) ilustra um conjunto de exemplos de treinamento rotulados com a classe "+" e "−". Após submeter esses exemplos a um algoritmo de aprendizado supervisionado que induz o conceito utilizando uma árvore de decisão, por exemplo, as regras induzidas representadas graficamente na Figura 2.5 (b) seriam do tipo if x < a and y < b then classe "-" if x ≥ a and y ≥ b then classe "-" if x < a and y ≥ b then classe "+" if x ≥ a and y < b then classe "+" Entretanto, no caso de desconhecer a classe, os exemplos de treinamento poderiam ser vistos pelo algoritmo de clustering como mostrado na Figura 2.5(b), i.e., apenas como pontos no espaço de busca que podem ser agrupados de acordo com algum critério de similaridade.…”

Section: Aprendizado Não-supervisionadounclassified

“…Assim, é muito importante que o ambiente DISCOVER ofereça uma base sólida para manipular dados e conhecimento. Essa base é composta por sintaxes padrões para a representação de dados e de conhecimento, e por bibliotecas que oferecem um conjunto de funcionalidades básicas de manipulação de dados e conhecimento (Batista & Monard, 2003;Martins, 2003;Prati, Baranauskas, & Monard, 2001b,a;Melanda & Rezende, 2003;Pugliesi, 2004), o sistema terá uma interface grá-fica (Geromini, 2002) e um framework de integração (Prati, 2003;Baranauskas, 2001;Milaré, 2003). Atualmente, existem definidas sintaxes padrões para a representação de dados e para a representação do conhecimento induzido de diversos algoritmos de aprendizado de máquina, bem como bibliotecas que oferecem diversas funcionalidades sobre essas sintaxes padrão.…”

Section: Projeto E Implementação Do Algoritmounclassified

See 1 more Smart Citation

O algoritmo de aprendizado semi-supervisionado co-training e sua aplicação na rotulação de documentos

Matsubara¹

View full text Add to dashboard Cite

“…A representação mais comumente utilizada em Mineração de Textosé baseada no modelo espaço-vetorial (Salton, 1989) dos documentos e termos utilizados. Normalmente, essa representaçãoé matricial, eé conhecida como Matriz Documento Termo (Martins, 2003), apresentada na Tabela 2.1, na qual d i corresponde ao i-ésimo documento, t j representa o j-ésimo atributo (termo) e a ijé a medida que relaciona o i-ésimo documento com o j-ésimo atributo. Caso os documentos possuam rótulos, ainda haverá umaúltima coluna que corresponde a classe dos documento (y i ).…”

Section: Pré-processamentounclassified

Selecionando candidatos a descritores para agrupamentos hierárquicos de documentos utilizando regras de associação

Santos¹

View full text Add to dashboard Cite

Dissertação apresentada ao Instituto de Ciências Matemáticas e de Computação -ICMC-USP, como parte dos requisitos para obtenção do título de Mestre em Ciências -Ciências de Computação e Matemática Computacional USP -São CarlosAgosto/2010iii AgradecimentosAos meus pais, Vera e Agnaldo, pelo apoio e compreensão nessa jornada tão difícil qué e criar um filho para o mundo.A Rafaela, minha namorada, pelo carinho e atenção mesmo nos momentos mais conturbados deste trabalho.Aos amigos do LABIC pelas horas de boas risadas e discussões. Aos "irmãos de orientação" que tornaram possível a realização deste trabalho. A Veronica, cujas contribuições foram fundamentais para os rumos deste trabalho. A minha orientadora, Solange, que não desistiu de mim mesmo quando nem mesmo eu acreditava que terminaria este trabalho.A todos os amigos que direta ou indiretamente contribuíram para a minha formação pessoal e profissional.A CAPES pelo auxílio financeiro.v Resumo Uma forma de extrair e organizar o conhecimento, que tem recebido muita atenção noś ultimos anos,é por meio de uma representação estrutural dividida por tópicos hierarquicamente relacionados. Uma vez construída a estrutura hierárquica,é necessário encontrar descritores para cada um dos grupos obtidos pois a interpretação destes gruposé uma tarefa complexa para o usuário, já que normalmente os algoritmos não apresentam descrições conceituais simples. Os métodos encontrados na literatura consideram cada documento como uma bag-of-words e não exploram explicitamente o relacionamento existente entre os termos dos documento do grupo. No entanto, essas relações podem trazer informações importantes para a decisão dos termos que devem ser escolhidos como descritores dos nós, e poderiam ser representadas por regras de associação. Assim, o objetivo deste trabalhoé avaliar a utilização de regras de associação para apoiar a identificação de descritores para agrupamentos hierárquicos. Para isto, foi proposto o método SeCLAR (Selecting Candidate Labels using Association Rules), que explora o uso de regras de associação para a seleção de descritores para agrupamentos hierárquicos de documentos. Este método gera regras de associação baseadas em transações construídasà partir de cada documento da coleção, e utiliza a informação de relacionamento existente entre os grupos do agrupamento hierárquico para selecionar candidatos a descritores. Os resultados da avaliação experimental indicam queé possível obter uma melhora significativa com relação a precisão e a cobertura dos métodos tradicionais.vii AbstractOne way to organize knowledge, that has received much attention

show abstract

"Uma abordagem para pré-processamento de dados textuais em algoritmos de aprendizado"

Cited by 12 publications

References 60 publications

"Seleção de atributos importantes para a extração de conhecimento de bases de dados"

"Seleção de atributos importantes para a extração de conhecimento de bases de dados"

O algoritmo de aprendizado semi-supervisionado co-training e sua aplicação na rotulação de documentos

Selecionando candidatos a descritores para agrupamentos hierárquicos de documentos utilizando regras de associação

Contact Info

Product

Resources

About