Neuroevolution in Games: State of the Art and Open Challenges

Risi, Sebastian; Togelius, Julian

doi:10.1109/tciaig.2015.2494596

Cited by 123 publications

(58 citation statements)

References 119 publications

(197 reference statements)

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Interestingly, separate evolutionary runs often follow similar performance curves (which we also observed in other experiments). This behaviour appears very different from the training of networks with orders of magnitude fewer parameters traditionally studied in neuroevolution, which often have a higher variance across runs [7,32,39]. Analyzing this phenomenon in more detail is an interesting future research direction that we aim to investigate.…”

Section: Methodsmentioning

confidence: 92%

Deep neuroevolution of recurrent and discrete world models

Risi

Stanley

2019

Proceedings of the Genetic and Evolutionary Computation Conference

Self Cite

View full text Add to dashboard Cite

Neural architectures inspired by our own human cognitive system, such as the recently introduced world models, have been shown to outperform traditional deep reinforcement learning (RL) methods in a variety of different domains. Instead of the relatively simple architectures employed in most RL experiments, world models rely on multiple different neural components that are responsible for visual information processing, memory, and decision-making. However, so far the components of these models have to be trained separately and through a variety of specialized training methods. This paper demonstrates the surprising finding that models with the same precise parts can be instead efficiently trained end-to-end through a genetic algorithm (GA), reaching a comparable performance to the original world model by solving a challenging car racing task. An analysis of the evolved visual and memory system indicates that they include a similar effective representation to the system trained through gradient descent. Additionally, in contrast to gradient descent methods that struggle with discrete variables, GAs also work directly with such representations, opening up opportunities for classical planning in latent space. This paper adds additional evidence on the effectiveness of deep neuroevolution for tasks that require the intricate orchestration of multiple components in complex heterogeneous architectures.

show abstract

Section: Methodsmentioning

confidence: 92%

Deep neuroevolution of recurrent and discrete world models

Risi

Stanley

2019

Proceedings of the Genetic and Evolutionary Computation Conference

Self Cite

View full text Add to dashboard Cite

show abstract

“…Because of their generality, NE approaches have been applied extensively to different types of video games. For a complete overview of this field, we refer the interested reader to our NE survey paper [115].…”

Section: ) Evolutionary Approachesmentioning

confidence: 99%

“…DQN [97] was very influential as an algorithm that uses gradient-based deep learning for pixel-based video game playing and was originally applied to the Atari benchmark. Note that earlier approaches exist but with less success such as [109], and successful gradient-free methods [115]. Double DQN [155] and Dueling DQN [161] are early extensions that use multiple networks to improve estimations.…”

Section: Historical Overview Of Deep Learning In Gamesmentioning

confidence: 99%

Deep Learning for Video Game Playing

et al. 2020

Self Cite

View full text Add to dashboard Cite

In this article, we review recent Deep Learning advances in the context of how they have been applied to play different types of video games such as first-person shooters, arcade games, and real-time strategy games. We analyze the unique requirements that different game genres pose to a deep learning system and highlight important open challenges in the context of applying these machine learning methods to video games, such as general game playing, dealing with extremely large decision spaces and sparse rewards.

show abstract

“…De acordo com a pesquisa de literatura feita em [4], na maior parte dos casos a neuroevoluçãoé usada para evoluir um agente na tarefa de jogar um jogo.É importante notar que existem diferentes tipos de desafios ao se evoluir um agente, e isto pode variar de acordo com o jogo. Alguns destes desafios são: avaliação de estado/ação, geração de conteúdo, seleção de estratégias e seleção de ação direta [4], sendo esteúltimo o tipo de desafio do jogo que serviu de ambiente para os experimentos realizados neste artigo.…”

Section: Neuroevoluçãounclassified

“…Alguns destes desafios são: avaliação de estado/ação, geração de conteúdo, seleção de estratégias e seleção de ação direta [4], sendo esteúltimo o tipo de desafio do jogo que serviu de ambiente para os experimentos realizados neste artigo.…”

Section: Neuroevoluçãounclassified

Um Ambiente de Jogo Eletrônico para Avaliar Algoritmos Coevolutivos

Miras¹,

França²

2015

Anais Do 12. Congresso Brasileiro De Inteligência Computacional

View full text Add to dashboard Cite

Resumo-Uma das aplicações de inteligência artificial em jogos eletrônicos consiste em fazer um agente artificial aprender a executar uma determinada tarefa com sucesso. Para isso fazse necessário o uso de um algoritmo que possa aprender a determinar as sequências de ações de acordo com o ambiente observado. Para esse fim existem diversas técnicas de aprendizado supervisionado que permitem aprender a resposta correta através de exemplos. Porém, no caso de jogos eletrônicos a resposta correta pode ser apenas mensurada após a completude da sequência de ações, sendo então impossível determinar a resposta correta de cada instante de tempo. Uma forma de circunvir esse problemaé através da Neuroevolução, que treina uma Rede Neural Artificial através de algoritmos evolutivos de tal forma que ela tenha sucesso no resultado final de suas ações. Nesse artigo, introduzimos um novo ambiente de referência para testar algoritmos de aprendizado de agentes autônomos em jogos eletrônicos, chamado EvoMan, inspirado no jogo de plataforma Mega Man II. Essa plataforma compreende situações de: aprendizado em ambiente estático e dinâmico, aprendizado contínuo de coevolução e aprendizado generalizado. Como experimentos iniciais, aplicamos uma Neuroevolução utilizando Algoritmos Genéticos e o algoritmo NEAT no contexto de coevolução para demonstrar os desafios da plataforma proposta.Index Terms-neuroevolução, coevolução, jogos eletrônicos.I. INTRODUÇÃO A busca por controladores autônomosé uma tarefa importante daárea de Inteligência Artificial, que tem como objetivo a criação de sistemas que tomem decisões automáticas em ambientes incertos. Existem diversas aplicações possíveis para tais agentes, desde indústrias de manufaturas até veículos não tripulados para exploração de ambientes inóspitos.Um problema dessaáreaé a falta de ambientes de referência para testar novos algoritmos. Recentemente foram propostos ambientes de teste através de jogos eletrônicos [6] [7][8] [9]. Nesses ambientes, deve-se criar um algoritmo que aprenda a controlar o jogador principal para atingir objetivos diversos. Esse tipo de ambienteé interessante para projetos dessa natureza, poisé possível simular diferentes níveis de incerteza e diferentes números de controles de entrada.Além disso, esse ambienteé de interesse prático da indústria de jogos na qual se busca a criação de adversários que se adaptam ao estilo e experiência do jogador, de tal forma a criar um ambiente desafiador, mas sem frustrações. Nesse casó e necessário não apenas que o adversário mude seu comportamento com o tempo, para aprender a combater o jogador, mas também que essa evolução aconteça no tempo certo: se evoluir muito rápido, o desafio levará ao descontentamento do jogador; se for muito lento, o controlador não conseguirá atingir o desafio necessário.Alguns trabalhos de neuroevolução realizam seus experimentos em ambientes de jogos clássicos. Em [15] os autores utilizam um ambiente de desenvolvimento criado em um software de CAD/CAM (Computer Aided Engineering/Computer Aided Manufacturin...

show abstract

Neuroevolution in Games: State of the Art and Open Challenges

Cited by 123 publications

References 119 publications

Deep neuroevolution of recurrent and discrete world models

Deep neuroevolution of recurrent and discrete world models

Deep Learning for Video Game Playing

Um Ambiente de Jogo Eletrônico para Avaliar Algoritmos Coevolutivos

Contact Info

Product

Resources

About