Parallelization of software packages. Problems and prospects

Abstract

Parallelization of large-scale computational applications leads to the following challenges a programmer will face: the growing amount of modularity, dynamic application functionality and multilingual source code. In general program transformation is essential for program parallelization. However, manual program transformation is not straightforward in the case of a large amount of code. The growing size of code drastically complicates the main stages of the parallel programming: distribution of data on the processors and mapping of computations on the processors. Therefore, the incremental or step-by-step parallelization mode was introduced in SAPFOR system [1,2] to map sequential large-scale applications to parallel architectures with distributed memory. In addition, special attention was directed to the automatic finding the required transformations of the sequential program. SAPFOR also relies on the automatic execution of the found transformations. However, the three main challenges mentioned above also require their solution. This paper discusses possible ways to overcome these problems.

Reconstruction of multi-dimensional arrays in SAPFOR

“…Система SAPFOR [4,5] при распараллеливании прикладных программ в модели DVM опирается на их представление в виде LLVM IR [6]. Это позволяет проводить анализ программ для разных языков программирования (Фортран, Си), в том числе решая одну из проблем характерных для больших вычислительных комплексов (многоязыковость) [7], а также обеспечивает возможность скрытого от пользователя преобразования программ для повышения качества проводимого анализа [8,9]. Использование LLVM для анализа также устраняет необходимость учитывать синтаксические особенности разных языков и анализировать все многообразие доступных языковых конструкций.…”