Exact cardinality query optimization for optimizer testing

Chaudhuri, Surajit; Narasayya, Vivek; Ramamurthy, Ravi

doi:10.14778/1687627.1687739

Cited by 21 publications

(19 citation statements)

References 21 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Orthogonal techniques focus on modeling the uncertainty about the estimates during query optimization [7], [28]. Considering the two-dimensional change in the workload characteristics (frequent data ingest, and ad-hoc queries) in modern applications, and the high price of having up-to-date statistics for all cases in the exponential search space [26], [29], the risk of having incomplete statistics remains high.…”

Section: Related Workmentioning

confidence: 99%

Smooth Scan: Statistics-oblivious access paths

Borovica-Gajić

Idreos

Ailamaki

et al. 2015

2015 IEEE 31st International Conference on Data Engineering

View full text Add to dashboard Cite

Abstract-Query optimizers depend heavily on statistics representing column distributions to create efficient query plans. In many cases, though, statistics are outdated or non-existent, and the process of refreshing statistics is very expensive, especially for ad-hoc workloads on ever bigger data. This results in suboptimal plans that severely hurt performance. The main problem is that any decision, once made by the optimizer, is fixed throughout the execution of a query. In particular, each logical operator translates into a fixed choice of a physical operator at run-time.In this paper, we advocate for continuous adaptation and morphing of physical operators throughout their lifetime, by adjusting their behavior in accordance with the statistical properties of the data. We demonstrate the benefits of the new paradigm by designing and implementing an adaptive access path operator called Smooth Scan, which morphs continuously within the space of traditional index access and full table scan. Smooth Scan behaves similarly to an index scan for low selectivity; if selectivity increases, however, Smooth Scan progressively morphs its behavior toward a sequential scan. As a result, a system with Smooth Scan requires no access path decisions up front nor does it need accurate statistics to provide good performance. We implement Smooth Scan in PostgreSQL and, using both synthetic benchmarks as well as TPC-H, we show that it achieves robust performance while at the same time being statistics-oblivious.

show abstract

Section: Related Workmentioning

confidence: 99%

Smooth Scan: Statistics-oblivious access paths

Borovica-Gajić

Idreos

Ailamaki

et al. 2015

2015 IEEE 31st International Conference on Data Engineering

View full text Add to dashboard Cite

show abstract

“…Such a change must be based on an estimation of the existing distribution optimality in relation to the diversity of its alternatives [1]. These requirements are essentially close enough to earlier works in the field of construction of DBMSthe need to estimate possible query execution plans by a DBMS optimizer [2]. Therefore, there are quite a lot of related developments in this subject area, which, under different constraints, resolve a targeted task on assessing the cost of query execution.…”

Section: Literature Review and Problem Statementmentioning

confidence: 92%

Construction of a parametric model of competitive access in relational databases by using a random forest method

Gromey

Lebedenko

Nikolaev

et al. 2019

EEJET

View full text Add to dashboard Cite

Розглянуто проблему моделювання часу виконання запитів в автономних реляційних базах даних з конкурентними запитами. Відзначено недоліки існуючих підходів, які ігнорують витрат на частку послідовних операцій при кооперативному доступі до даних в ієрархії пам'яті. Розглянуто питання застосування умовної вартості виконання складових операцій плану запиту, замість розрахунку передбачуваного часу обчислень. Запропоновано спосіб формального формування прецедентів навчальної вибірки, а також підхід до побудови регресійної моделі. Розроблена модифікація методу машинного навчання випадковий ліс застосовується для розрахунку часів виконання запитів за їхніми текстами та тимчасовими позначками початку, тривалості виконання. Розроблена параметрична модель конкурентного доступу до даних необхідна для отримання точних оцінок часу виконання запитів при використанні паралельних обчислень. Моделі з подібними характеристиками потрібні в рішенні задач автоматизації управління фізичною схемою даних, створення СУБД, що самовизначаються. Ключовими відмінностями від існуючих підходів є використання часу виконання запитів в якості цільового значення, обліку значень предикатів і взаємовпливу паралельно виконуваних запитів. Для підтвердження отриманих результатів була використана імітаційна модель на базі широко відомого тесту TPC-C. В якості функції втрат, з урахуванням регресійної природи моделі, було використано відношення суми модулів різниці фактичних і одержуваних часів до фактичних часів. Сама перевірка проводилася за контрольною вибіркою, що сформована за зростаючою довжиною навчання на відкладених даних. В ході проведених досліджень була доведена можливість застосування методу машинного навчання випадковий ліс для обробки статистичних даних виконання SQL запитів. Отриманий результат свідчить про перспективність такого підходу і дозволяє отримувати параметричні моделі конкурентної обробки запитів Ключові слова: автономні систем управління базами даних, бази даних, що самовизначаються, випадковий ліс, конкурентний доступ, паралельні обчислення в реляційних систем управління базами даних UDC 004.65

show abstract

“…[16] defines a metric to measure deviations of size estimations from actual sizes. [6] presents a set of techniques that make exact cardinality query optimization a viable option. The effectiveness of transformation rules are studied in [5].…”

Section: Related Workmentioning

confidence: 99%

OptMark

Papaemmanouil

Cherniack

2016

Proceedings of the 25th ACM International on Conference on Information and Knowledge Management

View full text Add to dashboard Cite

Query optimizers have long been considered as among the most complex components of a database engine, while the assessment of an optimizer's quality remains a challenging task. Indeed, existing performance benchmarks for database engines (like TPC benchmarks) produce a performance assessment of the query runtime system rather than its query optimizer. To address this challenge, this paper introduces OptMark, a toolkit for evaluating the quality of a query optimizer. OptMark is designed to offer a number of desirable properties. First, it decouples the quality of an optimizer from the quality of its underlying execution engine. Second it evaluates independently both the effectiveness of an optimizer (i.e., quality of the chosen plans) and its efficiency (i.e., optimization time). OptMark includes also a generic benchmarking toolkit that is minimum invasive to the DBMS that wishes to use it. Any DBMS can provide a system-specific implementation of a simple API that allows OptMark to run and generate benchmark scores for the specific system. This paper discusses the metrics we propose for evaluating an optimizer's quality, the benchmark's design and the toolkit's API and functionality. We have implemented Opt-Mark on the open-source MySQL engine as well as two commercial database systems. Using these implementations we are able to assess the quality of the optimizers on these three systems based on the TPC-DS benchmark queries.

show abstract

Exact cardinality query optimization for optimizer testing

Cited by 21 publications

References 21 publications

Smooth Scan: Statistics-oblivious access paths

Smooth Scan: Statistics-oblivious access paths

Construction of a parametric model of competitive access in relational databases by using a random forest method

OptMark

Contact Info

Product

Resources

About