Towards jungle computing with Ibis/Constellation

Abstract

The scientific computing landscape is becoming more and more complex. Besides traditional supercomputers and clusters, scientists can also apply grid and cloud infrastructures. Moreover, the current integration of many-core technologies such as GPUs with such infrastructures adds to the complexity. To make matters worse, data distribution, hardware availability, software heterogeneity, and increasing data sizes, commonly force scientists to use multiple computing platforms simultaneously: a true computing jungle.In this paper we introduce Ibis/Constellation, a software platform specifically designed for distributed, heterogeneous and hierarchical computing environments. In Ibis/Constellation we assume that applications consist of several distinct (but somehow related) activities. These activities can be implemented independently using existing, well understood tools (e.g. MPI, CUDA, etc.). Ibis/Constellation is then used to construct the overall application by coupling the distinct activities. Using application defined labels in combination with context-aware work stealing, Ibis/Constellation provides a simple and efficient mechanism for automatically mapping the activities to the appropriate resources, taking data locality and heterogeneity into account.We show that an existing supernova detection application can be ported to Ibis/Constellation with little effort. By making small changes to the application defined labels, this example application can run efficiently in three very different HPC computing environments: a distributed set of clusters, a large 48-core machine, and a GPU cluster.

HARD: Hybrid Adaptive Resource Discovery for Jungle Computing

“…Resource discovery requirements for such future systems are beyond the techniques used in today's Grids, Clouds and HPC clusters. We were inspired by the concept of "Jungle Computing", introduced in the recent years [1][2][3][4][5][6][7][8], and accordingly, we can envision that most of requirements for Jungle can be applied for future computing systems. In fact, two important features of such future environments are: first, heterogeneity of resources; and, second, very large number of resources.…”

“…GPU, CPUs on single die, supercomputers on chip, etc.) and significant advances in networking and interconnect solutions [1]. This has led to increase complexity on the integration of such diverse computing environments, infrastructures, platforms and technologies.…”

“…Moreover, data distribution, hardware availability, software heterogeneity, and also the sheer size of scientific problems, commonly force scientists to resort to Jungle Computing instead of traditional supercomputers and clusters. Jungle Computing (i.e., leveraging multiple computing platforms simultaneously) is a recent distributed computing paradigm based on concurrent combination of various hierarchical and distributed computing environments with large number of heterogeneous resources [1][2][3][4][5][6][7][8]) .…”

Χρονοδρομολόγηση Εργασιών Σε Περιβάλλοντα Υπολογιστικών Νεφών

“…Επιπλέον, αναδείχϑηκε ότι το JPPF µποϱεί να πληϱοί τα κϱιτήϱια ενός συστήµατος Υπολογιστικής Ζούγκλας χρησιµοποιώντας περισσότερους από έναν διακοµιστές, προσαρµοσµένες πολιτικές και ετερογενή συστήµατα. Τέλος, τα µεγαλύτεϱα πλεονεκτήµατα του JPPF έναντι του Ibis/Constellation [30] είναι 25 ότι είναι δωϱεάν, ανοικτού κώδικα και µποϱεί εύκολα να τροποποιηθεί και να µεταφερϑεί σε οποιονδήποτε διαθέσιµο πόϱο που µποϱεί να εκτελέσει Java. ΄Οπως περιγράφεται στο [31], υπάρχει επίσης ένας κόµβος JPPF που µποϱεί να εκτελέσει διεργασίες ακόµη και σε κινητά τηλέϕωνα µε λειτουργικό σύστηµα Android.…”

“…Σε αυτό το κεφάλαιο, παρουσιάζονται δύο αλγόριθµοι που µποϱούν να αξιοποιήσουν την υπάρχουσα υποδοµή µιας εταιϱείας σε συνδυασµό µε συσκευές χαµηλής κατανάλωσης ενέϱγειας (raspberries), εικονικές µηχανές στο Υπολογιστικό Νέφος, και ϕοϱητές συσκευές προκειµένου να ελαχιστοποιηθεί τόσο το κόστος όσο και η κατανάλωση ενέϱγειας. ΄Οπως υποστήριξαν οι συγγραφείς στο [30], είναι πολλές οι µεϑοδολογίες που ήδη υπάρχουν και µποϱούν να ενσωµατωϑούν σε Συστήµατα Υπολογιστών Υψηλών Αποδόσεων. ΄Ετσι, ένα σύστηµα Υπολογιστικής Ζούγκλας ή Υπολογιστικής Οµίχλης δεν είναι µια ϕανταστική έννοια αλλά µια πραγµατικότητα που µποϱεί να χρησιµοποιηθεί σήµεϱα.…”