High availability in cheap distributed key value storage

Kim, Thomas; Wong, Daniel; Ganger, Gregory R.; Kaminsky, Michael; Andersen, David G.

doi:10.1145/3419111.3421290

Cited by 5 publications

(23 citation statements)

References 17 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…However, on the multicore processor architecture, each logical core can run a host thread, and each host thread can carry a user-mode thread pool. The lack of a unified provisioning and management mechanism between multiple usermode thread pools inevitably restricts the efficiency and performance improvement of user-mode thread pools on multicore processor architecture [14,15,16,17] .…”

Section: Related Workmentioning

confidence: 99%

Design and implementation of adaptive scheduling management for user-mode thread pool

Cai¹,

Qiu²,

Yao³

et al. 2023

International Conference on Computer Graphics, Artificial Intelligence, and Data Processing (ICCAID 2022)

View full text Add to dashboard Cite

Progress in network and storage technology enables data center services to provide high-concurrency and low-latency processing responses. The user-mode thread pool is one of the technologies that can be used to improve the overall concurrent responsiveness of the service system while ensuring its stability of the system. In the system of multicore processor architecture, the scheduling management of the user-mode thread pool is much more complicated than that of the thread pool. First, the existing method cannot fully utilize the advantage of parallel execution of multicore processor architecture, and it is difficult to implement unified resource provisioning management among multiple usermode thread pools. Second, the existing user-mode thread scheduling method cannot distinguish the performance requirements of different data processing tasks but treat all user-mode thread tasks in the same way. Last, the existing user-mode thread scheduling method controls the execution of all kernel threads, which is difficult to isolate host threads and other kernel threads in the system. It fails to reflect the performance requirements of different user-mode thread tasks, or to provide finer-grained execution timing control of the user-mode thread. This paper provides a twolevel scheduling management method for user-mode thread pool, which can effectively integrate OS scheduling mechanism and user-mode thread scheduling mechanism, with a view to distinguishing the needs of different data processing tasks, enabling more targeted and fine-grained scheduling and execution control of user-mode threads, achieving isolation of host threads from non-host threads and differentiated scheduling control without affecting the scheduling mechanism of the OS itself, and enabling the global unified resource provisioning management of multiuser thread pools for multicore processor architecture. Generally, the new method can greatly improve the efficiency and performance of user thread pools on multicore processor architecture, enable the overall performance of the system to scale freely according to data processing task requirements, and provide more efficient user-mode thread pool operation management for highly concurrent and low-latency service system.

show abstract

Section: Related Workmentioning

confidence: 99%

Design and implementation of adaptive scheduling management for user-mode thread pool

Cai¹,

Qiu²,

Yao³

et al. 2023

International Conference on Computer Graphics, Artificial Intelligence, and Data Processing (ICCAID 2022)

View full text Add to dashboard Cite

show abstract

“…It can have independent register contexts and execution stacks so that a single kernel thread can process multiple tasks at the same time without the need for switching between user mode and kernel mode to reduce system loss. Compared to the traditional thread running model, the coroutines are more controllable, lightweight, fast, and efficient with more obvious advantages [5,6,7] .…”

Section: Introductionmentioning

confidence: 99%

Design and implementation of coroutine management environment

Cai,

Qiu,

Yao

et al. 2023

International Conference on Computer Graphics, Artificial Intelligence, and Data Processing (ICCAID 2022)

View full text Add to dashboard Cite

Advances in network and storage technologies enable data centers to provide high-concurrency and low-latency processing responses. To meet user needs, a variety of low-latency technologies can be used to improve the overall concurrent response capability of the system on the premise of ensuring system stability. User mode thread pool is one of the techniques that can be used. In a multi-core processor system, the scheduling management of the user mode thread pool is much more complicated. At present, the scheduling management of the user mode thread pool mainly focuses on the resource utilization of the user mode thread pool itself and the scheduling management of many user-mode threads, such as dynamically adjusting the number and usage of user mode threads in the user mode thread pool according to the load of the system, and replacing the system thread scheduling with user mode thread scheduling, etc. The existing user mode thread scheduling methods do not distinguish the performance requirements of different data processing tasks, treat all user mode thread tasks in the same way, cannot reflect the performance requirements of different user mode thread tasks, and cannot provide more fine-grained user mode thread execution timing control; the existing user mode thread scheduling methods do not provide more effective scheduling control for the host thread, but instead use the thread scheduling mechanism of the operating system itself to control the execution of all kernel threads which is difficult to isolate the host thread and other kernel threads in the system; The existing user mode thread scheduling methods cannot give full play to the parallel execution advantages of the multi-core processor architecture, and it is difficult to implement unified resource allocation management among multiple user mode thread pools. This paper provides a two-level scheduling management method for user mode thread pools that effectively integrates the operating system scheduling mechanism and user mode thread scheduling mechanism, which can distinguish the needs of different data processing tasks and implement more targeted and fine-grained user mode threads scheduling and execution control, without affecting the scheduling mechanism of the operating system itself, realize the isolation of host threads and non-host threads, implement differentiated scheduling control. And it can realize unified resource allocation management of multi-user thread pools for multi-core processor architecture so that the overall performance of the system can be freely scaled with the change of data task processing requirements to provide a more efficient user mode thread pool management for high concurrency and low latency systems.

show abstract

“…Raumer et al [127] offloaded the cryptographic function of a virtual private network gateway into commodity NICs, for increased performance. MICA [128] encodes database keys into the source port field of User Datagram Protocol (UDP) packets' header, which are classified by Intel NICs [103] in hardware to provide high performance inmemory key-value storage. Similarly, SwitchKV [129] offloads key-value stores into OpenFlow switches, which typically provide greater classification capabilities and more rule capacity than NICs.…”

Section: Hardware Offloadingmentioning

confidence: 99%

“…Figure 7.11 shows the latencies obtained from these experiments. Four frame sizes (64,128,256, and 1500 bytes) were used to inject 100,000 frames per frame size. The latency per frame was measured and plotted as boxplots.…”

Section: Performance Of Internal Stagesmentioning

confidence: 99%

“…As discussed in §3.2.3, earlier research efforts have proposed ways to offload specific functions into commodity hardware. These functions range from simple e.g., IP checksum offloading [126] to cryptographic functions [127] and key-value store operations [128,129,104], sometimes using auxiliary hardware components such as GPUs [123,124,130,131] or Smart NICs [105,106,108,107].…”

Section: Hardware Offloadingmentioning

confidence: 99%

See 1 more Smart Citation

NFV service chains at the speed of the underlying commodity hardware

Κατσίκας

View full text Add to dashboard Cite

Οι ταχύτητες σύνδεσης στα δίκτυα στο εγγύς μέλλον θα φτάσουν και θα ξεπεράσουν τα 100 Gbps. Ενώ το διαθέσιμο εξειδικευμένο υλικό μπορεί να διεκπεραιώσει αυτές τις ταχύτητες, τα σύγχρονα δίκτυα έχουν υιοθετήσει ένα νέο πρότυπο δικτύωσης γνωστό ως Network Functions Virtualization (NFV), που αντικαθιστά το ακριβό εξειδικευμένο υλικό με λογισμικό ανοιχτού κώδικα που εκτελείται σε υλικό γενικού σκοπού. Ωστόσο, η επίτευξη υψηλών επιδόσεων με χρήση υλικού γενικού σκοπού είναι ένα δύσκολο πρόβλημα κυρίως λόγω του χάσματος απόδοσης επεξεργαστή-μνήμης. Αυτό το χάσμα υποδηλώνει ότι μόνο οι πιο γρήγορες μνήμες προσπέλασης δεδομένων των σημερινών εξυπηρετητών (servers) μπορούν να επιτύχουν την επιθυμητή ταχύτητα πρόσβασης για δίκτυα υψηλής ταχύτητας. Υπάρχοντα NFV συστήματα πραγματοποιούν αλυσιδωτές λειτουργίες δικτύου (γνωστές και ως service chains) χρησιμοποιώντας κυρίως πιο αργές μνήμες. Αυτό συνεπάγεται την ανάγκη χρήσης πολλαπλών επεξεργαστών ή ακόμα και πολλαπλών εξυπηρετητών για την επίτευξη υψηλής ταχύτητας επεξεργασίας πακέτων. Αντίθετα, αυτή η διατριβή συνδυάζει τέσσερις συνεισφορές για την υλοποίηση αλυσιδωτών λειτουργιών δικτύου με δραματικά υψηλότερη απόδοση και καλύτερη αποδοτικότητα από ότι είναι εφικτό σήμερα. Η πρώτη συνεισφορά είναι ένα σύστημα που αναλύει την απόδοση NFV αλυσίδων για να ανακαλύψει πιθανούς λόγους υποβάθμισης της απόδοσης, ενώ η δεύτερη συνεισφορά αξιοποιεί τα δεδομένα της ανάλυσης για να επιταχύνει αυτές τις αλυσίδες υπηρεσιών συνδυάζοντας την πολυπλεξία κλήσεων συστήματος (system calls' multiplexing) με στρατηγικές χρονο-προγραμματισμού διεργασιών του λειτουργικού συστήματος. Η τρίτη συνεισφορά συνθέτει μεθόδους εισόδου/εξόδου και επεξεργασίας NFV υπηρεσιών για την αύξηση της χωρικής τοπικότητας των πακέτων του δικτύου στις κρυφές μνήμες ενός συστήματος. Η τέταρτη συνεισφορά συνδυάζει τα ευρήματα του αναλυτή από την πρώτη συνεισφορά και τη συνθετική προσέγγιση της τρίτης συμβολής για την υλοποίηση αλυσίδων υπηρεσιών NFV στην ταχύτητα του υποκείμενου υλικού γενικού σκοπού. Για να γίνει αυτό, οι εργασίες ταξινόμησης των πακέτων του δικτύου εκφορτώνονται στο διαθέσιμο υλικό (πχ επαναπρογραμματιζόμενοι μεταγωγείς ή/και κάρτες δικτύου) και μια ετικέτα συσχετίζεται με κάθε κατηγορία πακέτων. Στην πλευρά του εξυπηρετητή, οι κατηγορίες πακέτων εισόδου ταξινομούνται από το υλικό με βάση τις τιμές αυτών των ετικετών, οι οποίες υποδεικνύουν τον πυρήνα της CPU που πρέπει να αναλάβει την επεξεργασία τους, εκμηδενίζοντας παράλληλα την επικοινωνία μεταξύ πυρήνων. Με χρήση υλικού γενικού σκοπού, αυτή η διατριβή πραγματοποιεί υπηρεσίες σε επίπεδο Παροχέα Υπηρεσιών Διαδικτύου (Internet Service Provider) καθώς και αναλυτική επιθεώρηση πακέτων (deep packet inspection) με ρυθμό 40 Gbps και αλυσίδες υπηρεσιών στην ταχύτητα μιας κάρτας δικτύου 100 GbE με χρήση ενός μόνο εξυπηρετητή με 16 επεξεργαστές. Αυτό έχει ως αποτέλεσμα έως (i) 4,7 φορές χαμηλότερη καθυστέρηση, (ii) 8,5 φορές υψηλότερη ρυθμααπόδοση και (iii) 6,5 φορές καλύτερη αποδοτικότητα από την τελευταία λέξη της τεχνολογίας. Οι τεχνικές που περιγράφονται σε αυτή τη διατριβή είναι ζωτικής σημασίας για την επίτευξη NFV υπηρεσιών υψηλής ταχύτητας στο εγγύς μέλλον.

show abstract

High availability in cheap distributed key value storage

Cited by 5 publications

References 17 publications

Design and implementation of adaptive scheduling management for user-mode thread pool

Design and implementation of adaptive scheduling management for user-mode thread pool

Design and implementation of coroutine management environment

NFV service chains at the speed of the underlying commodity hardware

Contact Info

Product

Resources

About