Influence of high performance sockets on data processing intensity

Abstract

ВступНемала кількість досліджень, що супрово-джують обробку даних з максимальною потужніс-тю, акцентують увагу на розвитку методів створен-ня складних обчислювальних додатків у різних га-лузях: науці, техніці, медицині та інших. Подібні програми, як правило, працюють в пакетному ре-жимі і можуть генерувати дуже великі обсяги даних. Передові сенсорні технології також дозволяють до-сягати високої роздільної здатності для багатовимі-рних блоків даних. В результаті зростає інтерес до розробки додатків, які в інтерактивному режимі до-сліджують, узагальнюють і аналізують великі об'єми наукових даних [1]. У даній роботі розгля-даються подібні додатки, тобто додатки для інтен-сивної обробки даних. Постановка проблемиБудучи побудованими із стандартних апарат-них засобів, кластери ПК стають все рентабельніши-ми і життєздатнішими альтернативами супер-комп'ютерів основного потоку для широкого спектру додатків, у тому числі для додатків, що оперують інтенсивними даними. Складність у підтримці таких ресурсоємних додатків на платформах полягає в то-му, що великі обсяги даних повинні ефективно пере-міщатися між процесорною пам'яттю. Для досягнен-ня високої продуктивності операції переміщення та обробки даних також повинні бути ефективно скоор-динованими засобами динамічної підтримки. Поряд з вимогами плідного функціонування, такі додатки вимагають високого рівня гарантій в галузі продук-тивності, пристосованості до гетерогенних середо-вищ і наявності ресурсних змін.Базові структури на основі компонентів [2-4] можуть забезпечити гнучке та ефективне середовище для додатків з інтенсивною обробкою даних на роз-поділених платформах. У таких базових структурах додаток є розроблений з набору взаємодіючих про-грамних компонентів, розміщення яких поряд з ресу-рсами обчислення відіграє важливість в ступені гну-чкості та оптимізації продуктивності програм.Паралельна обробка даних може бути досягну-та шляхом виконання декількох копій компонента в околі кластера зберігання і вузлів обробки [2]. Кон-веєр -це ще один можливий механізм для покращен-ня продуктивності. У багатьох додатках з інтенсив-ною обробкою даних набір (об'єм) даних може роз-поділятися на визначені користувачем субблоки да-них, обробка яких може проходити конвеєрно.Якщо при організації роботи обробка і зв'язок можуть перекриватися, то покращення продуктивності також набуває залежності від бло-ковості обчислень і розміру повідомлень даних (тобто субблоків даних). Невеликі блоки даних призводять до покращення балансу навантаження і конвеєризації, а багато повідомлень генеруються блоками малих розмірів. Однак блоки більшого розміру зменшують кількість повідомлень і дося-гають вищої пропускної здатності каналу зв'язку, а значить, ймовірно, створюють дизбаланс наванта-ження і зменшення конвеєрності.З появою сучасних міжкомпонентних висо-кошвидкісних комунікацій, таких як Giganet [2], Myrinet [6], Gigabit Ethernet [7], АНВ [8] і Quadrics Network [9], "критична ділянка" у організації зв'язку змістилася до програмного забезпечення обміну повідомленнями. Саме критична ділянка досить...

Залежність Інтенсивності Обробки Даних В Кластері Від Продуктивності Сокетів Без Врахування Гетерогенності.

“…Як уже відомо [15], в наш час високопродуктивний сокет може бути цілком втілений в спеціальний додаток із вкладеною в нього необхідною інтерактивністю з метою досягнення гарантій продуктивної роботи системи по відношенню до кінцевого споживача через покращення адаптованості програм для інтенсивної обробки в середовищах з гетерогенними умоваии. Результати літературних даних показують, що за допомогою спеціальної реорганізації компонентної системи для високошвидкісної обробки даних є можливість досягати вагомих підвищень продуктивності додатків обробки, яка, в свою чергу, буде обумовлювати гарантії виконання високошвидкісних обчислень та стимулювати високу масштабованість.…”

Design and implementation of inter-domain communication mechanism for high performance data processing

“…Так, завдяки запуску багатоканальної операційної системи на одній фізичній машині (комп'ютері) ставало очевидним підвищення не тільки використання ресурсів, але й скорочення витрат на управління і отримання більш високої продуктивності і надійності, в порівнянні із роботою одноканальної операційної системи. На сьогодні традиційні розподілені додатки можуть бути вільно розгорнуті на подібній платформі, працюючи легко і прозоро за рахунок високопродуктивних сокетів [1,2]. Однак при розгортанні деяких мережевих додатків інтенсивного використання, наприклад, таких як інтернет-серверів, файлових мережевих систем, ефективність комунікації між доменами і сьогодні викликає серйозні проблеми.…”

Implementation of the simplified communication mechanism in the cloud of high performance computations

“…However, as the obtained scientific data confirm [1][2][3][4], it still suffers from many technical shortcomings: low throughput and network performance, both externally and within the cluster of HPC, as well as increased time delay. Addressing these deficiencies was carried out in the implementation of various technical and programming mechanisms.…”

“…Thus, in order to improve the inter-domain communication, authors of article [1] proposed the com-sockets, which contributed to improving the network throughput and reducing the time of message delay. In paper [2], authors, in order to solve a similar problem of data exchange between clouds in the scientific medicine, employed java-sockets with a single copy of the protocol when reusing the fulfillment threads and special libraries of quick messaging, which contributed to the improvement of network characteristics in data exchange. Other works investigated the issue of the influence of high-performance sockets on the intensity of data processing and the implementation of analyzer for detecting the interaction between java-and other applications and the network.…”