Dynamic Look Ahead Compilation: A Technique to Hide JIT Compilation Latencies in Multicore Environment

Abstract

Abstract. Object-code virtualization, commonly used to achieve software portability, relies on a virtual execution environment, typically comprising an interpreter used for initial execution of methods, and a JIT for native code generation. The availability of multiple processors on current architectures makes it attractive to perform dynamic compilation in parallel with application execution. The major issue is to decide at runtime which methods to compile ahead of execution, and how much time to invest in their optimization. This research introduces an abstract model, termed Dynamic Look Ahead (DLA) compilation, which represents the available information on method calls and computational weight as a weighted graph. The graph dynamically evolves as computation proceeds. The model is then instantiated by specifying criteria for adaptively choosing the method compilation order. The DLA approach has been applied within our dynamic compiler for .NET. Experimental results are reported and analyzed, for both synthetic programs and benchmarks. The main finding is that a careful choice of method-selection criteria, based on light-weight program analysis and execution tracing, is essential to mask compilation times and to achieve higher overall performances. On multi-processors, the DLA approach is expected to challenge the traditional virtualization environments based on bytecode interpretation and JITing, thus bridging the gap between ahead-of-time and just-in-time translation.

Just-In-Time compilation on ARM processors

“…Each of the compilation steps is implemented by one or more POSIX threads. This lets ILDJIT decode, optimize and translate one or more methods at the same time while another method is running (this is called dynamic look ahead and is described in [5]). …”

Supporting the Scale-Up of High Performance Application to Pre-Exascale Systems: The ANTAREX Approach

“…While most high level languages include mechanisms for selective compilation which can be exploited for fine tuning the dynamic compilation options, e.g. for hiding compilation latencies [9], the C/C++ applications commonly used in HPC scenarios generally lack this option. Some support is provided by domain-specific tools, such as RuntimeCompiledC++ [10], which focuses on interactive modification and recompilation of program fragments by the programmer.…”

Compilação Just-In-Time: Histórico, Arquitetura, Princípios e Sistemas

“…um alto overhead ao sistema como um todo. Pesquisadores têm tentado contornar o atraso decorrente da unidade à espera para se tornar região crítica, como é o caso dos trabalhos de Krintz [30], Namjoshi e Kulkarni [58] e Campanoni et al [59], porém com o custo de requerer execução prévia do sistema ou um processador adicional. Com respeito ao atraso decorrente da espera na fila de compilação, diversos trabalhos procuram utilizar prioridades nas threads [60] do compilador [44,43,42,13].…”

“…O trabalho de Krintz [30] explora um mecan-ismo em tempo de compilação para detectar previamente as regiões críticas, enquanto que Namjoshi e Kulkarni [58] propuseram uma técnica de predição utilizando um processador adicional. Outra técnica de predição, implementada no trabalho de Campanoni et al [59], procura dar ênfase às unidades mais próximas da unidade em execução atual, julgando-as possuírem maior probabilidade de serem invocados futuramente. Além disso, as arquiteturas multi-core têm sido exploradas ultimamente para manter threads específicas somente para compilar ou executar código.…”

“…A região crítica básica de ILDJIT é flexível, embora um método seja a unidade de compilação mínima. A detecção de tais regiões é garantida pela política ahead-of-time, utilizando a técnica look ahead compilation [59]. Com essa técnica, o sistema verifica a constituição do programa a partir do método atualmente em execução e seleciona os métodos mais próximos a este, enviando-os para compilação mais cedo.…”