Optimizing Multi-GPU Parallelization Strategies for Deep Learning Training

Abstract

Deploying deep learning (DL) models across multiple compute devices to train large and complex models continues to grow in importance because of the demand for faster and more frequent training. Data parallelism (DP) is the most widely used parallelization strategy, but as the number of devices in data parallel training grows, so does the communication overhead between devices. Additionally, a larger aggregate batch size per step leads to statistical efficiency loss, i.e., a larger number of epochs are required to converge to a desired accuracy. These factors affect overall training time and beyond a certain number of devices, the speedup from leveraging DP begins to scale poorly. In addition to DP, each training step can be accelerated by exploiting model parallelism (MP). This work explores hybrid parallelization, where each data parallel worker is comprised of more than one device, across which the model dataflow graph (DFG) is split using MP. We show that atscale, hybrid training will be more effective at minimizing end-to-end training time than exploiting DP alone. We project that for Inception-V3, GNMT, and BigLSTM, the hybrid strategy provides an end-to-end training speedup of at least 26.5%, 8%, and 22% respectively compared to what DP alone can achieve at scale.

A Clonal Selection Optimization System for Multiparty Secure Computing

“…Distributed computing is mainly achieved through parallel processing strategies, and this type of processing method is mainly divided into two implementation methods: data parallelization method [20] and model parallelization training method [21]. e model parallel training process distributes the model parameters to different computing participants, and then each participant updates its assigned parameters.…”

Прогнозування Попиту На Пасажирські Перевезення Таксі Методами Нейронної Мережі

“…У роботі [37] було досліджено метод гібридного паралелізму, що є більш ефективним засобом зменшення загальної тривалості процедури навчання нейронної мережі порівняно з послідовним надходженням даних чи обробленням їх у моделі системи. Водночас, у роботі [29] було запроваджено гібридний підхід до навчання згорткових нейронних мереж, який поєднує паралельне надходження даних у обчислювальні частини моделі (згорткові шари) разом із паралельним обробленням даних у моделі для шарів з великою кількістю параметрів (повністю зв'язані шари).…”

“…Через це приховані шари нейронної мережі погано навчаються. Проте, деякі науковці [34,37] замість сигмоїдальної активаційної функції вузла мережі в багатьох нейронних мережах пропонують використовувати різні види нелінійності ReLU (англ. Rectified Linear Unit), функція активації якої має вигляд max(0, x).…”

Fast Training of Deep Learning Models over Multiple GPUs

“…The input data are sent to all devices without partition; each device is responsible for tuning a different part of the model parameters. Model parallelism is typically used for models with a large parameter size [26,34,45]. Pipeline Parallelism.…”

“…Stanza [45] separates CONV layers and fully-connected layers into different workers to reduce communication overhead; it only optimizes these two types of layers. DLPlacer [34] studies hybrid data and model parallelism, but its device placement is based on a subgraph of the model rather than the entire graph. Fine-grained parallelism within operations.…”