Deep reinforcement learning has led to many recent-and groundbreaking-advancements. However, these advances have often come at the cost of both the scale and complexity of the underlying RL algorithms. Increases in complexity have in turn made it more difficult for researchers to reproduce published RL algorithms or rapidly prototype ideas. To address this, we introduce Acme, a tool to simplify the development of novel RL algorithms that is specifically designed to enable simple agent implementations that can be run at various scales of execution. Our aim is also to make the results of various RL algorithms developed in academia and industrial labs easier to reproduce and extend. To this end we are releasing baseline implementations of various algorithms, created using our framework. In this work we introduce the major design decisions behind Acme and show how these are used to construct these baselines. We also experiment with these agents at different scales of both complexity and computation-including distributed versions. Ultimately, we show that the design decisions behind Acme lead to agents that can be scaled both up and down and that, for the most part, greater levels of parallelization result in agents with equivalent performance, just faster.

No abstract

Artykuł porusza problem zaangażowania w badania społeczne. Chociaż wspomniany problem wydaje się być rozwiązany (Aronowitz, Giroux 1991, Denzin, Lincoln 2009, 2010, Fairclough, Wodak 2007, Rogers 2011), to nie jest to oczywiste w polskich warunkach, szczególnie wśród badaczy ilościowych, a co ważniejsze wśród tych, którzy próbują ustalić jakiś neutralny, wolny od ideologii i transcendentny punkt widzenia. Dlatego najważniejsza jest dekonstrukcja opartych na ideologii krytyk równolegle do apoteozy społecznej neutralności nauk społecznych, zwłaszcza teorii wychowania. Etyczna orientacja krytycznej pedagogiki w obszarze działań społecznych, a także w obszarze procedur badawczych opiera się na teorii ideologii i zainteresowań (Aronowitz, Giroux 1991, Marks, Engels 1981, Habermas 1995). Uwzględnia świadomość niezbędnego zaangażowania ideologicznego, jednak ze względu na postmodernistyczną świadomość arbitralnego narzucania znaczeń, stanowi główny problem przy ustalaniu strategii emancypacyjnych (Laclau 2009). Autor opisuje dyskusję na temat ideologii między Horkheimerem i Mannheimem jako "prototyp" największej kłótni między Zizkiem a Laclau. Rozróżnienie dokonane przez Aronowitza i Giroux (1991) jest problemem postępowego i reakcyjnego postmodernizmu. Wreszcie naiwny neutralny punkt widzenia musi zmierzyć się z pytaniami zadanymi przez Freire (2000) - "po co i dla kogo robisz swoje badania?" Jednocześnie - "przeciw czemu i przeciwko komu kogo robisz badania?" Próbując ustalić jakąś neutralność w badaniach społecznych, które nie będą narzędziem petryfikacji relacji społecznych autor popiera koncepcję naiwności jako umiejętności technicznej, a nie poważnego przywiązania do pozytywistycznej wizji "obiektywnych" procedur empirycznych.

No abstract

No abstract