SimBa: A novel similarity-based crossover for neuro-evolution

Abstract

International audienceThis work presents the SimBa (for Similarity-Based) crossover, a novel crossover operator specifically designed for the evolutionary optimization of neural network topologies that aims at overcoming one of the major problems generally related to the crossover operator, known as the permutation problem. The SimBa crossover starts by looking for a local similarity between two individuals selected from the population. The contribution of each neuron of the layer selected for the crossover is computed, and the neurons of each layer are reordered according to their contribution. Then, each neuron of the layer in the first individual is associated with the most similar neuron of the layer in the other individual, and the neurons of the layer of the second individual are re-ranked by considering the associations with the neurons of the first one. Finally, the neurons above a randomly selected cut-point are swapped to generate the offspring of the selected individuals. An approach exploiting this operator has been implemented and applied to six well-known benchmark classification problems. The experimental results, compared to those obtained by other techniques, show how this new crossover operator can help to produce compact neural networks with satisfactory generalization capability and accuracy

Enfoque de aprendizaje híbrido evolutivo para redes neuronales en la clasificación de casos médicos

“…Las Tablas 1 y 2 muestran los resultados comparativos de desempeño de las tres variantes desarrolladas utilizando las instancias Pima-Indian Diabetes y Breast-Cancer respectivamente. Por otro lado, también se realiza la comparativa con el enfoque SimBa propuesto por Dragoni, esto para el conjunto de datos Pima-Indian Diabetes [9]. En la Tabla 5 se muestran los resultados donde se muestra un desempeño competitivo del algoritmo propuesto contra el enfoque evolutivo Simba.…”

“…Se compararon tres variantes del algoritmo propuesto: red neuronal híbrida evolutiva RNHE, red neuronal híbrida evolutiva sin búsqueda local y red neuronal híbrida evolutiva sin ajuste sináptico. Además se comparó la variante que integra evolución de pesos y topologías RNHE con otros enfoques de solución evolutivos del estado del arte [9] [10].…”

“…Un método de cruza de topológica conocido como SimBa tiene como objetivo eliminar uno de los problemas de las cruzas tradicionales como lo es el problema de la permutación, esto lo hace seleccionando topologías con características similares de la población; después por cada topología realizan un análisis de la contribución de cada neurona y reordenan de acuerdo a este parámetro para posteriormente asociar las neuronas y reclasificarlas [9].…”

“…En ese trabajo se analizan la instancia médica Pima-Indian Diabetes y se realizan dos tipos de propuestas, un pre procesamiento a la instancia de trabajo para obtener la información más relevante y una hibridación de un algoritmo genético con el algoritmo Back Propagation para la optimización de pesos. La aportación más relevante de esa Por otra parte, se compara el desempeño de la red neuronal híbrida propuesta con los resultados del estado del arte reportados en los trabajos de Dragoni y Gowda que usan el enfoque Back Propagation y Back Propagation evolutivo y utilizan el conjunto de datos Pima-Indian Diabetes [9] [10]. Los resultados se presentan en la Tabla 3 donde se observa claramente la superioridad del algoritmo híbrido evolutivo.…”

“…Comparándonos contra otro enfoque evolutivo, Dragoni también reporta en su trabajo resultados para el enfoque NEAT en el conjunto de datos Pima-Indian Diabetes [9]. Para este caso, se realizó una evaluación con Wilcoxon para determinar si existen diferencias significativas entre los algoritmos.…”