Hybrid Containerized Computing Technology for High-Performance Data Processing in Cluster Systems

Abstract

Значительное количество современных распределенных приложений развертываются в кластерном окружении. Наибольшей надежности работы таких приложений можно достичь путем декомпозиции бизнес-логики на отдельные независимые друг от друга функциональные компоненты так называемые микро-сервисы. Они могут представлять собой как бинарные исполняемые файлы, так и виртуализированные контейнеры на основе технологий гипервизора виртуальных машин, либо Docker. В статье на примере докеризации ML-моделей (в том числе гибридных) предлагается архитектура для создания многоузловых приложений контейнеризированного типа. Формулируются требования к коду модели. Рассматривается структура программного каркаса для выполнения экспериментов с предложенной архитектурой. Особое внимание уделяется исследованию производительности схемы авторизации доступа к Docker-контейнерам. Приводится описание процесса моделирования в виде сети массового обслуживания. Производится анализ результатов экспериментов, в частности, даются оценки зависимости интенсивности запроса к модели от вероятности устаревания токена, а также интенсивности запросов нового токена от времени жизни токена. Делается вывод об эффективности предложенного подхода. Отмечается, что наличие схемы авторизации на основе Bearer token не приводит к значительным потерям производительности.Ключевые слова: HPC, ML, Docker, микро-сервисы, распределенные системы, контейнеризация.