Entropy Guided Transformation Learning: Algorithms and Applications

Santos, Cícero Nogueira dos; Milidiú, Ruy Luiz

doi:10.1007/978-1-4471-2978-3

Cited by 4 publications

(6 citation statements)

References 5 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…-o EFI [8], um algoritmo para indução de atributos baseado emárvores de decisão [9], e que utiliza a implementação C5.0 [10] No ciclo 1, utilizamos os atributos selecionados no ciclo 0 como entrada para a construção daárvore de decisão. Aárvore de decisão nos permite obter gabaritos para a geração dos atributos não lineares induzidos, que são conjunções dos atributos básicos.…”

Section: O Framework Ifisunclassified

“…O EFI [8]é um algoritmo para indução de atributos, guiado por entropia, baseado emárvores de decisão [9] Utilizamos a implementação C5.0 [10], qué e uma evolução do algoritmo C4.5 [43], com desempenho bastante superior. A figura 4.3 ilustra um segmento deárvore de decisão.…”

Section: Efi -Entropy-guided Feature Inductionunclassified

“…Núm [1,2]. Para tal, são consideradas a primeira e segunda palavras com a etiqueta POS predita, no lado previsto.…”

Section: Atributo Descriçãounclassified

“…Concatenação das etiquetas POS da palavraà direita dos primeiro e segundo candidatos a pai Estes atributos são calculados somente para a palavra corrente. O cálculó e feito para o primeiro e segundo candidatos a pai, istoé, n = [1,2]. Para tal, são consideradas a primeira e segunda palavras com a etiqueta POS predita, no lado previsto.…”

Section: Contexto Do Paiunclassified

“…A redução dos domínios e modelos permite também melhorar a engenharia de atributos, através da análise dos domínios compactos e da introdução incremental de novos atributos. Além da criação manual de atributos a partir de conhecimento de domínio, alguns métodos para obter atributos automaticamente tais como a utilização de núcleos (kernels) não lineares [1,Capítulo 14], indução de atributos [2,3] e deep learning [4] podem ser empregados.…”

Section: Introductionunclassified

See 4 more Smart Citations

Indução E Seleção Incrementais De Atributos No Aprendizado Supervisionado

MOTTA¹

View full text Add to dashboard Cite

Ao meu orientador, professor Ruy Milidiú, por todo o incentivo, apoio e transferência de conhecimento para o desenvolvimento deste trabalho.Ao CNPq eà PUC-Rio, pelos auxílios concedidos, sem os quais este trabalho não poderia ter sido realizado.A todos os colegas, professores e funcionários do Departamento de Informática da PUC-Rio, pelo companheirismo, aprendizado e auxílio.Aos amigos do LEARN por compartilharem boa parte desta jornada.Aos meus pais, irmão e amigos, sempre presentes e incentivadores. A indução de atributos não lineares a partir de atributos básicosé um modo de obter modelos preditivos mais precisos para problemas de classificação. Entretanto, a indução pode causar o rápido crescimento do número de atributos, resultando usualmente em overfitting e em modelos com baixo poder de generalização. Para evitar esta consequência indesejada, técnicas de regularização são aplicadas, para criar um compromisso entre um reduzido conjunto de atributos representativo do domínio e a capacidade de generalização. Neste trabalho, descrevemos uma abordagem de aprendizado de máquina supervisionado com indução e seleção incrementais de atributos. Esta abordagem integraárvores de decisão, support vector machines e seleção de atributos utilizando perceptrons esparsos em um framework de aprendizado que chamamos IFIS -Incremental Feature Induction and Selection. Usando o IFIS, somos capazes de criar modelos regularizados não lineares de alto desempenho utilizando um algoritmo com modelo linear. Avaliamos o nosso sistema em duas tarefas de processamento de linguagem natural em dois idiomas. Na primeira tarefa, anotação morfossintática, usamos dois corpora, o corpus WSJ em língua inglesa e o Mac-Morpho em Português. Em ambos, alcançamos resultados competitivos com o estado da arte reportado na literatura, alcançando as acurácias de 97,14% e 97,13%, respectivamente. Na segunda tarefa, análise de dependência, utilizamos o corpus da CoNLL 2006 Shared Task em português, ultrapassando os resultados reportados durante aquela competição e alcançando resultados competitivos com o estado da arte para esta tarefa, com a métrica UAS igual a 92,01%. Com a regularização usando um perceptron esparso, geramos modelos SVM que são até 10 vezes menores, preservando sua acurácia. A redução dos modelosé obtida através da regularização dos domínios dos atributos, que atinge percentuais de até 99%. Com a regularização dos modelos, alcançamos uma redução de até 82% no tamanho físico dos modelos. O tempo de predição do modelo compactoé reduzido em até 84%. A redução dos domínios e modelos permite também melhorar a engenharia de atributos, através da análise dos domínios compactos e da introdução incremental de novos atributos. Non linear feature induction from basic features is a method of generating predictive models with higher precision for classification problems. However, feature induction may rapidly lead to a huge number of features, causing overfitting and models with low predictive power. To prevent this side effect, regularization techn...

show abstract

Section: O Framework Ifisunclassified

Section: Efi -Entropy-guided Feature Inductionunclassified

“…Núm [1,2]. Para tal, são consideradas a primeira e segunda palavras com a etiqueta POS predita, no lado previsto.…”

Section: Atributo Descriçãounclassified

Section: Contexto Do Paiunclassified

Section: Introductionunclassified

See 3 more Smart Citations

Indução E Seleção Incrementais De Atributos No Aprendizado Supervisionado

MOTTA¹

View full text Add to dashboard Cite

show abstract

Comparison of named entity recognition methodologies in biomedical documents

Song

Park

et al. 2018

BioMed Eng OnLine

View full text Add to dashboard Cite

BackgroundBiomedical named entity recognition (Bio-NER) is a fundamental task in handling biomedical text terms, such as RNA, protein, cell type, cell line, and DNA. Bio-NER is one of the most elementary and core tasks in biomedical knowledge discovery from texts. The system described here is developed by using the BioNLP/NLPBA 2004 shared task. Experiments are conducted on a training and evaluation set provided by the task organizers.ResultsOur results show that, compared with a baseline having a 70.09% F1 score, the RNN Jordan- and Elman-type algorithms have F1 scores of approximately 60.53% and 58.80%, respectively. When we use CRF as a machine learning algorithm, CCA, GloVe, and Word2Vec have F1 scores of 72.73%, 72.74%, and 72.82%, respectively.ConclusionsBy using the word embedding constructed through the unsupervised learning, the time and cost required to construct the learning data can be saved.

show abstract

Entropy Approach in Methods of Electroencephalogram Automatic Analysis

Егорова¹

2023

European Proceedings of Computers and Technology

View full text Add to dashboard Cite

The article explores the possibility of using the entropy characteristics of the time series of the electroencephalogram signal for the task of automatically detecting epileptic seizures by electroencephalogram recording. Because of the brain is a complex distributed active environment, selfoscillating processes take place in it. These processes can be judged by the EEG signal, which is a reflection of the total electrical activity of brain neurons. Based on the assumption that during an epileptic seizure, excessive synchronization of neurons occurs, leading to a decrease in the dynamic complexity of the electroencephalographic signal, entropy can be considered as a parameter characterizing the degree of systemic chaos. The sample entropy method is a robust method for calculating entropy for short time series.In this work, the sample entropy was calculated for an electroencephalographic record of a patient with epilepsy obtained from an open set of clinical data. The calculation was made for different sections of the recording, corresponding to the norm and pathology (generalized epileptic seizure). It has been shown that the entropy characteristics of the electroencephalogram signal can serve as informative features for machine learning algorithms to automatically detect signs of neurological pathology associated with epilepsy.

show abstract

Entropy Guided Transformation Learning: Algorithms and Applications

Cited by 4 publications

References 5 publications

Indução E Seleção Incrementais De Atributos No Aprendizado Supervisionado

Indução E Seleção Incrementais De Atributos No Aprendizado Supervisionado

Comparison of named entity recognition methodologies in biomedical documents

Entropy Approach in Methods of Electroencephalogram Automatic Analysis

Contact Info

Product

Resources

About