Optimal Brain Surgeon and general network pruning

Hassibi, Babak; Stork, David G.; Wolff, Gregory J.

doi:10.1109/icnn.1993.298572

Cited by 504 publications

(438 citation statements)

References 2 publications

Supporting

Mentioning

426

Contrasting

Unclassified

Order By: Relevance

“…To address these problems, constructive and destructive algorithms, with growing or shrinking networks, have been proposed. [3][4][5][6] A potential weakness of the constructive approaches is their sensitivity to noise, while the destructive approaches often include retraining steps that require prohibitive computational efforts. This paper illustrates how a novel pruning algorithm recently developed by the authors of the present paper 7) can be used to tackle the complex problem of predicting the silicon content in hot metal produced in a blast furnace.…”

Section: Introductionmentioning

confidence: 99%

Nonlinear Prediction of the Hot Metal Silicon Content in the Blast Furnace

2007

View full text Add to dashboard Cite

Section: Introductionmentioning

confidence: 99%

Nonlinear Prediction of the Hot Metal Silicon Content in the Blast Furnace

2007

View full text Add to dashboard Cite

“…Existem na literatura várias estratégias que objetivam soluções com elevada capacidade de generalização. (8,10,11) As RNAs apresentam limitações, por exemplo, a maneira pela qual o conhecimento é representado.…”

Section: Redes Neurais Artificiais E Sistemas Híbridosunclassified

“…(20) Foram desenvolvidas RNAs com uma camada intermediária, utilizando o algoritmo de treinamento por retropropagação do erro (7) e objetivando soluções com alta capacidade de generalização foram aplicadas as técnicas de Early Stopping, (8) Regularização Bayesiana, (9) algoritmo de Pruning Optimal Brain Surgeon (10) e o método Ensemble Modelling. (11) Os sistemas híbridos Neuro-fuzzy desenvolvidos foram baseados na arquitetura ANFIS (Adaptive Neuro-Fuzzy Inference System) proposta por Jang, (13) que mantêm as características básicas dos sistemas fuzzy mas têm incorporadas as propriedades de adaptação das RNAs.…”

Section: Introductionunclassified

Aplicação De Técnicas De Inteligência Computacional Para Predição De Propriedades Mecânicas De Aços De Alta Resistência Microligados

Takahashi¹,

Rabelo²,

Teixiera

2008

TMM

View full text Add to dashboard Cite

no limite de escoamento de aços de alta resistência microligados -HSLA (High Strength Low Alloy), foram modelados por meio de um sistema de inferência nebulosa por Datta e Banerjee. (4) Segundo Jones, Watton e Brown,entre os benefícios da utilização dessas técnicas para predição das propriedades mecânicas destacam-se: a possibilidade de se confirmar as propriedades mecânicas em tempo real em cada fase do processo e também a possibilidade da otimização da composição química e dos parâmetros de processo. Myllykoski, Larkiola e Nylander (1) complementam ainda com o suporte para realização de ações de feed forward nos diversos processos da cadeia de produção e Golodnikov et al.(6) comenta a redução do tempo e volume de produção experimental envolvidos no projeto de aços. INTRODUÇÃOModelos fenomenológicos formam a base para a compreensão de processos, porém a construção de tais modelos para processos multivariáveis e com relacionamentos não-lineares pode ser uma tarefa árdua.(1) Para a predição das propriedades mecânicas à tração de aços, em particular limite de escoamento (LE), limite de resistência (LR) e alongamento total (ALO), apenas o conhecimento físico disponível dos processos não permite a construção de modelos fenomenológicos confiáveis.(2) Dessa forma, técnicas de inteligência computacional têm sido propostas como alternativas viáveis. Uma rede neural do tipo Multilayer Perceptron (MLP) mostrou-se capaz de realizar com precisão a predição de propriedades mecânicas de tiras de aço (3) e o efeito da composição química e dos parâmetros de processo ResumoA obtenção de propriedades mecânicas especificadas para os produtos é um aspecto fundamental na siderurgia. A abordagem fenomenológica para a modelagem das propriedades mecânicas não tem apresentado resultados satisfatórios, em função da quantidade e diversidade das variáveis e processos envolvidos. Nesse contexto, pelas suas características, as técnicas de inteligência computacional têm sido utilizadas como alternativas viáveis. Este trabalho apresenta o desenvolvimento e a implantação, na Usiminas, de uma ferramenta de apoio à decisão baseada nas técnicas de inteligência computacional, para a predição de propriedades mecânicas de aços de alta resistência microligados, laminados a frio e revestidos por imersão a quente. Palavras-chave: Rede neural artificial; Sistema híbrido; Aço microligado; Propriedades mecânicas. USING OF COMPUTATIONAL INTELLIGENCE METHODS FOR MECHANICAL PROPERTIES PREDICTION OF HSLA STEELS AbstractThe attainment of desired mechanical properties is a crucial aspect for steelmaking industries. Traditional physical modeling approaches have not been satisfactory, due to the complicated nature of the processes, very complex and multidimensional ones. In this context, by their characteristics, computational intelligence methods have been used and considered as a viable alternative. This paper describes the development and the implementation of a decision support tool for mechanical properties prediction of coated high strength low alloy ...

show abstract

“…Neurônios que tiverem todas as conexões cortadas serão eliminados e, portanto, ao final dos "cortes", sobrarão somente os neurônios realmente necessários à modelagem. A técnica de apodização 13,14 (pruning) reduz a complexidade da rede neural, melhorando sua capacidade de previsão, pois evita modelos sobre parametrizados (muitos neurônios) em que a possibilidade de sobreajuste (overfitting) é grande.…”

Section: Redes Neurais Com Apodizaçãounclassified

Redes neurais e suas aplicações em calibração multivariada

Cerqueira¹,

Andrade²,

Poppi³

et al. 2001

Quím. Nova

View full text Add to dashboard Cite

Recebido em 28/8/00; aceito em 13/3/01 NEURAL NETWORKS AND ITS APPLICATIONS IN MULTIVARIATE CALIBRATION. Neural Networks are a set of mathematical methods and computer programs designed to simulate the information process and the knowledge acquisition of the human brain. In last years its application in chemistry is increasing significantly, due the special characteristics for model complex systems. The basic principles of two types of neural networks, the multi-layer perceptrons and radial basis functions, are introduced, as well as, a pruning approach to architecture optimization. Two analytical applications based on near infrared spectroscopy are presented, the first one for determination of nitrogen content in wheat leaves using multi-layer perceptrons networks and second one for determination of BRIX in sugar cane juices using radial basis functions networks.Keywords: neural networks; backpropagation; radial basis functions; multivariate calibration. Quim. Nova, Vol. 24, No. 6, 864-873, 2001. Divulgação INTRODUÇÃOAtualmente, tem-se observado um grande aumento na disponibilidade de informação em nosso cotidiano. A informação circula entre nós a uma velocidade que seria inconcebível até alguns anos atrás e tende aumentar ainda mais. Hoje em dia o volume de informação dobra a cada quatro anos e num futuro próximo passará a dobrar a cada dois anos. Assim, realmente vivemos no que se pode chamar de sociedade da informação. Grande parte deste aumento no volume de informações se deve ao aparecimento e uso disseminados de microcomputadores equipados com softwares, como Windows TM , que tornam o seu uso extremamente simples, até mesmo para crianças em fase de alfabetização.Uma das atividades humanas que mais se beneficiou com o uso de computadores foi a própria ciência, em particular a química analítica. Até algumas décadas atrás o principal problema enfrentado no desenvolvimento de um método analítico era como se obter os dados. Gastava-se muito tempo, dinheiro e esforço para se obter um pequeno conjunto de dados.Graças a computadorização dos instrumentos o principal problema não é mais como obter os dados, mas como tratá-los de modo eficiente. Tipicamente tais instrumentos fornecem um grande conjunto de dados e para que tais dados sejam convertidos em informação útil deve-se usar métodos matemáticos e estatísticos modernos e eficientes. Dentre tais métodos destaca-se os métodos lineares e não lineares de calibração multivariada e mais recentemente as redes neurais 1 . Para uma melhor compreensão da álgebra envolvida nos modelos de tratamento de dados, foi utilizada a seguinte notação:n Vetores -letras minúsculas em negrito (ex: x); n Matrizes -letras maiúsculas em negrito (ex: X); n Escalares -letras minúsculas sem negrito (ex: l); n Matrizes diagonais -letras maiúsculas sem negrito (ex: S). Redes NeuraisRecentes avanços em neurofisiologia têm desvendado vários mecanismos sobre o fluxo e o processamento de informações que ocorrem no cérebro humano. Alguns destes mecanismos foram modelados matematicamente permitind...

show abstract

Optimal Brain Surgeon and general network pruning

Cited by 504 publications

References 2 publications

Nonlinear Prediction of the Hot Metal Silicon Content in the Blast Furnace

Nonlinear Prediction of the Hot Metal Silicon Content in the Blast Furnace

Aplicação De Técnicas De Inteligência Computacional Para Predição De Propriedades Mecânicas De Aços De Alta Resistência Microligados

Redes neurais e suas aplicações em calibração multivariada

Contact Info

Product

Resources

About