【机器学习化DBMS】——ottertune源码

梦里梦外; 2022-03-17 05:40 205阅读 0赞

### 一、前言 ###

数据库管理系统（DBMS）是任何数据密集型应用程序中最重要的组件。它可以处理大量的数据和复杂的负载工作。但是却难以管理，因为它们具有数百个配置选项，用于控制诸如用于缓存的内存量以及将数据写入存储器等因素。企业经常聘请这方便的专家来协助管理，但是专家对许多企业来说成本太高。

OtterTune是由中的学生和研究人员开发的新工具，可以自动为DBMS的配置选项找到最好的设置方法。OtterTune目标是使任何人都更容易部署数据库管理系统，即使是那些在数据库管理方面没有任何专业知识的人也可以使用它。OtterTune与其他DBMS配置工具不同，因为它利用从先前的DBMS部署调整中学到知识。大大减少了调整新的DBMS部署所需的时间和资源。为此，OtterTune维护了从以前的调优会话收集的调优数据库。它使用此数据构建机器学习（ML）模型，以捕获DBMS如何响应不同的配置。OtterTune使用这些模型来指导新应用程序的实验，推荐改进目标参数的设置（例如，减少延迟或提高吞吐量）。

### 二、工作原理 ###

![1fd9d9e3b74f4081a424ac471fab0cc9_th.jpg][]

在新的调试会话开始时，用户告诉OtterTune要优化的目标参数（例如延迟或吞吐量）。客户端控制器连接到目标DBMS并收集其Amazon EC2实例类型和当前配置。

然后，控制器开始其第一个观察期，在此期间它观察DBMS并记录目标参数。当观察期结束时，控制器从DBMS收集内部指标，如MySQL的计数器，用于从磁盘读取的页面和写入磁盘的页面。控制器将目标参数和内部度量都返回给调优管理器。

当OtterTune的调优管理器收到指标时，它将它们存储在其存储库中。OtterTune使用结果来计算控制器应该在目标DBMS上安装的下一个配置。调优管理器将此配置返回给控制器，并估计运行它的预期改进。用户可以决定是继续还是终止调整会话。

### 三、源码部署 ###

1、下载源码：[https://github.com/cmu-db/ottertune][https_github.com_cmu-db_ottertune]

2、导入到eclipse中（刚导入的时候会发现缺少很多的支持包，但仔细一看里边的文件中有一个build.gradle,这是基于工具Gradle构建的，我们不用一个个去寻找下载其中的jar包，我们只需要在eclipse中集成Gradle插件，然后导入项目，Gradle会根据build.gradle文件里边列出的jar包自动通过网络下载）。

3、Gradle安装配置参考文章：[https://www.cnblogs.com/274914765qq/p/4401525.html][https_www.cnblogs.com_274914765qq_p_4401525.html]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ0OTMwMA_size_16_color_FFFFFF_t_70][]

### 四、源码结构 ###

├── client
    │   ├── controller
    │   │   ├── build.gradle
    │   │   ├── config
    │   │   │   ├── sample_mysql_config.json
    │   │   │   ├── sample_postgres_config.json
    │   │   │   └── sample_saphana_config.json
    │   │   ├── gradle
    │   │   │   └── wrapper
    │   │   │       └── gradle-wrapper.properties
    │   │   ├── log4j.properties
    │   │   ├── README.md
    │   │   ├── sample_output
    │   │   │   ├── mysql
    │   │   │   │   ├── knobs.json
    │   │   │   │   ├── metrics_after.json
    │   │   │   │   ├── metrics_before.json
    │   │   │   │   └── summary.json
    │   │   │   ├── postgres
    │   │   │   │   ├── knobs.json
    │   │   │   │   ├── metrics_after.json
    │   │   │   │   ├── metrics_before.json
    │   │   │   │   └── summary.json
    │   │   │   └── saphana
    │   │   │       ├── knobs.json
    │   │   │       ├── metrics_after.json
    │   │   │       ├── metrics_before.json
    │   │   │       └── summary.json
    │   │   └── src
    │   │       ├── main
    │   │       │   └── java
    │   │       │       └── com
    │   │       │           └── controller
    │   │       │               ├── collectors
    │   │       │               │   ├── DBCollector.java
    │   │       │               │   ├── DBParameterCollector.java
    │   │       │               │   ├── MySQLCollector.java
    │   │       │               │   ├── PostgresCollector.java
    │   │       │               │   └── SAPHanaCollector.java
    │   │       │               ├── ControllerConfiguration.java
    │   │       │               ├── json_validation_schema
    │   │       │               │   ├── config_schema.json
    │   │       │               │   ├── schema.json
    │   │       │               │   └── summary_schema.json
    │   │       │               ├── Main.java
    │   │       │               ├── ResultUploader.java
    │   │       │               ├── types
    │   │       │               │   ├── DatabaseType.java
    │   │       │               │   └── JSONSchemaType.java
    │   │       │               └── util
    │   │       │                   ├── ClassUtil.java
    │   │       │                   ├── CollectionUtil.java
    │   │       │                   ├── FileUtil.java
    │   │       │                   ├── json
    │   │       │                   │   ├── JSONArray.java
    │   │       │                   │   ├── JSONException.java
    │   │       │                   │   ├── JSONObject.java
    │   │       │                   │   ├── JSONStringer.java
    │   │       │                   │   ├── JSONString.java
    │   │       │                   │   ├── JSONTokener.java
    │   │       │                   │   ├── JSONWriter.java
    │   │       │                   │   └── Test.java
    │   │       │                   ├── JSONSerializable.java
    │   │       │                   ├── JSONUtil.java
    │   │       │                   └── ValidationUtils.java
    │   │       └── test
    │   │           └── java
    │   │               └── com
    │   │                   └── controller
    │   │                       └── collectors
    │   │                           ├── AbstractJSONValidationTestCase.java
    │   │                           ├── TestInvalidJSON.java
    │   │                           ├── TestMySQLJSON.java
    │   │                           └── TestPostgresJSON.java
    │   └── driver
    │       ├── driver_config.json
    │       ├── fabfile.py
    │       ├── knobs
    │       │   └── postgres-96.json
    │       ├── LatencyUDF.py
    │       ├── lhs.py
    │       ├── lhs.sh
    │       ├── PostgresConf.py
    │       └── upload_batch.py
    ├── LICENSE
    ├── README.md
    ├── script
    │   ├── formatting
    │   │   ├── config
    │   │   │   ├── google_checks.xml
    │   │   │   ├── pycodestyle
    │   │   │   └── pylintrc
    │   │   └── formatter.py
    │   ├── git-hooks
    │   │   └── pre-commit
    │   ├── query_and_get.py
    │   └── validators
    │       └── source_validator.py
    └── server
        ├── analysis
        │   ├── base.py
        │   ├── cluster.py
        │   ├── constraints.py
        │   ├── factor_analysis.py
        │   ├── gp.py
        │   ├── gp_tf.py
        │   ├── __init__.py
        │   ├── lasso.py
        │   ├── preprocessing.py
        │   ├── __pycache__
        │   │   ├── base.cpython-35.pyc
        │   │   ├── cluster.cpython-35.pyc
        │   │   ├── constraints.cpython-35.pyc
        │   │   ├── factor_analysis.cpython-35.pyc
        │   │   ├── gp.cpython-35.pyc
        │   │   ├── gp_tf.cpython-35.pyc
        │   │   ├── __init__.cpython-35.pyc
        │   │   ├── lasso.cpython-35.pyc
        │   │   ├── preprocessing.cpython-35.pyc
        │   │   └── util.cpython-35.pyc
        │   ├── tests
        │   │   ├── __init__.py
        │   │   ├── test_cluster.py
        │   │   ├── test_constraints.py
        │   │   ├── test_gpr.py
        │   │   └── test_preprocessing.py
        │   └── util.py
        └── website
            ├── beat.sh
            ├── celerybeat-schedule
            ├── celery.sh
            ├── config
            │   └── postgresql.conf
            ├── django.sh
            ├── fabfile.py
            ├── LICENSE
            ├── log
            │   └── website.log
            ├── manage.py
            ├── __pycache__
            │   └── fabfile.cpython-35.pyc
            ├── README.md
            ├── requirements.txt
            ├── script
            │   ├── controller_simulator
            │   │   ├── data_generator.py
            │   │   ├── generated_data
            │   │   │   ├── workload-0
            │   │   │   │   ├── sample-0__knobs.json
            │   │   │   │   ├── sample-0__metrics_end.json
            │   │   │   │   ├── sample-0__metrics_start.json
            │   │   │   │   ├── sample-0__summary.json
            │   │   │   │   ├── sample-1__knobs.json
            │   │   │   │   ├── sample-1__metrics_end.json
            │   │   │   │   ├── sample-1__metrics_start.json
            │   │   │   │   ├── sample-1__summary.json
            │   │   │   │   ├── sample-2__knobs.json
            │   │   │   │   ├── sample-2__metrics_end.json
            │   │   │   │   ├── sample-2__metrics_start.json
            │   │   │   │   ├── sample-2__summary.json
            │   │   │   │   ├── sample-3__knobs.json
            │   │   │   │   ├── sample-3__metrics_end.json
            │   │   │   │   ├── sample-3__metrics_start.json
            │   │   │   │   ├── sample-3__summary.json
            │   │   │   │   ├── sample-4__knobs.json
            │   │   │   │   ├── sample-4__metrics_end.json
            │   │   │   │   ├── sample-4__metrics_start.json
            │   │   │   │   └── sample-4__summary.json
            │   │   │   └── workload-1
            │   │   │       ├── sample-0__knobs.json
            │   │   │       ├── sample-0__metrics_end.json
            │   │   │       ├── sample-0__metrics_start.json
            │   │   │       ├── sample-0__summary.json
            │   │   │       ├── sample-1__knobs.json
            │   │   │       ├── sample-1__metrics_end.json
            │   │   │       ├── sample-1__metrics_start.json
            │   │   │       ├── sample-1__summary.json
            │   │   │       ├── sample-2__knobs.json
            │   │   │       ├── sample-2__metrics_end.json
            │   │   │       ├── sample-2__metrics_start.json
            │   │   │       ├── sample-2__summary.json
            │   │   │       ├── sample-3__knobs.json
            │   │   │       ├── sample-3__metrics_end.json
            │   │   │       ├── sample-3__metrics_start.json
            │   │   │       ├── sample-3__summary.json
            │   │   │       ├── sample-4__knobs.json
            │   │   │       ├── sample-4__metrics_end.json
            │   │   │       ├── sample-4__metrics_start.json
            │   │   │       └── sample-4__summary.json
            │   │   ├── samples
            │   │   │   ├── knobs.json
            │   │   │   ├── metrics_after.json
            │   │   │   ├── metrics_before.json
            │   │   │   └── summary.json
            │   │   └── upload_data.py
            │   ├── fix_permissions.py
            │   ├── fixture_generators
            │   │   ├── hardware
            │   │   │   ├── create_hardware_settings.py
            │   │   │   ├── ec2_instance_types.csv
            │   │   │   └── hardware.json
            │   │   ├── knob_identification
            │   │   │   ├── create_ranked_knobs.py
            │   │   │   └── postgres-96_m3xlarge_ranked_knobs.json
            │   │   ├── knob_settings
            │   │   │   └── postgres_9.6
            │   │   │       ├── create_knob_settings.py
            │   │   │       ├── postgres-96_knobs.json
            │   │   │       └── settings.csv
            │   │   ├── metric_settings
            │   │   │   └── postgres_9.6
            │   │   │       ├── create_metric_settings.py
            │   │   │       ├── metrics_sample.json
            │   │   │       ├── pg96_database_stats.csv
            │   │   │       ├── pg96_global_stats.csv
            │   │   │       ├── pg96_index_stats.csv
            │   │   │       ├── pg96_table_stats.csv
            │   │   │       └── postgres-96_metrics.json
            │   │   └── workload_characterization
            │   │       ├── create_pruned_metrics.py
            │   │       └── postgres-96_m3xlarge_pruned_metrics.json
            │   ├── installation
            │   │   ├── bootstrap.sh
            │   │   └── Vagrantfile
            │   └── upload
            │       ├── upload_batch.py
            │       └── upload.py
            ├── tests
            │   ├── __init__.py
            │   ├── runner.py
            │   ├── test_files
            │   │   ├── sample_knobs.json
            │   │   ├── sample_metrics_end.json
            │   │   ├── sample_metrics_start.json
            │   │   └── sample_summary.json
            │   ├── test_parser.py
            │   ├── test_tasks.py
            │   ├── test_upload.py
            │   ├── test_utils.py
            │   ├── test_views.py
            │   └── utils.py
            └── website
                ├── admin.py
                ├── fixtures
                │   ├── dbms_catalog.json
                │   ├── hardware.json
                │   ├── myrocks-5.6_knobs.json
                │   ├── myrocks-5.6_metrics.json
                │   ├── postgres-92_knobs.json
                │   ├── postgres-92_metrics.json
                │   ├── postgres-93_knobs.json
                │   ├── postgres-93_metrics.json
                │   ├── postgres-94_knobs.json
                │   ├── postgres-94_metrics.json
                │   ├── postgres-96_knobs.json
                │   ├── postgres-96_m3xlarge_pruned_metrics.json
                │   ├── postgres-96_m3xlarge_ranked_knobs.json
                │   ├── postgres-96_metrics.json
                │   ├── test_user.json
                │   ├── test_user_sessions.json
                │   └── test_website.json
                ├── forms.py
                ├── __init__.py
                ├── migrations
                │   ├── 0001_initial.py
                │   ├── 0002_enable_compression.py
                │   ├── 0003_load_initial_data.py
                │   ├── 0004_auto_20190225_2113.py
                │   ├── __init__.py
                │   └── __pycache__
                │       ├── 0001_initial.cpython-35.pyc
                │       ├── 0002_enable_compression.cpython-35.pyc
                │       ├── 0003_load_initial_data.cpython-35.pyc
                │       ├── 0004_auto_20190225_2113.cpython-35.pyc
                │       └── __init__.cpython-35.pyc
                ├── models.py
                ├── parser
                │   ├── base.py
                │   ├── __init__.py
                │   ├── myrocks.py
                │   ├── parser.py
                │   ├── postgres.py
                │   └── __pycache__
                │       ├── base.cpython-35.pyc
                │       ├── __init__.cpython-35.pyc
                │       ├── myrocks.cpython-35.pyc
                │       ├── parser.cpython-35.pyc
                │       └── postgres.cpython-35.pyc
                ├── __pycache__
                │   ├── admin.cpython-35.pyc
                │   ├── forms.cpython-35.pyc
                │   ├── __init__.cpython-35.pyc
                │   ├── models.cpython-35.pyc
                │   ├── types.cpython-35.pyc
                │   ├── urls.cpython-35.pyc
                │   ├── utils.cpython-35.pyc
                │   ├── views.cpython-35.pyc
                │   └── wsgi.cpython-35.pyc
                ├── settings
                │   ├── common.py
                │   ├── constants.py
                │   ├── credentials.py
                │   ├── credentials_TEMPLATE.py
                │   ├── __init__.py
                │   └── __pycache__
                │       ├── common.cpython-35.pyc
                │       ├── constants.cpython-35.pyc
                │       ├── credentials.cpython-35.pyc
                │       └── __init__.cpython-35.pyc
                ├── static
                │   ├── css
                │   │   ├── base.css
                │   │   ├── bootstrap.min.css -> themes/bootstrap-flatly.min.css
                │   │   ├── bootstrap-select.min.css
                │   │   ├── jquery.dataTables.css
                │   │   ├── style.css
                │   │   └── themes
                │   │       ├── bootstrap-darkly.min.css
                │   │       ├── bootstrap-default.min.css
                │   │       ├── bootstrap-flatly.min.css
                │   │       └── bootstrap-sandstone.min.css
                │   ├── fonts
                │   │   ├── glyphicons-halflings-regular.eot
                │   │   ├── glyphicons-halflings-regular.svg
                │   │   ├── glyphicons-halflings-regular.ttf
                │   │   ├── glyphicons-halflings-regular.woff
                │   │   └── glyphicons-halflings-regular.woff2
                │   ├── img
                │   │   ├── ajax-loader.gif
                │   │   ├── glyphicons-halflings.png
                │   │   ├── glyphicons-halflings-white.png
                │   │   ├── logo.png
                │   │   ├── otter.jpg
                │   │   ├── sort_asc.png
                │   │   ├── sort_both.png
                │   │   └── sort_desc.png
                │   └── js
                │       ├── benchmark_bar.js
                │       ├── bootstrap.min.js
                │       ├── bootstrap-select.js.map
                │       ├── bootstrap-select.min.js
                │       ├── common.js
                │       ├── FixedHeader.min.js
                │       ├── jqplot
                │       │   ├── excanvas.min.js
                │       │   ├── jqplot.barRenderer.min.js
                │       │   ├── jqplot.canvasAxisLabelRenderer.min.js
                │       │   ├── jqplot.canvasAxisTickRenderer.min.js
                │       │   ├── jqplot.canvasTextRenderer.min.js
                │       │   ├── jqplot.categoryAxisRenderer.min.js
                │       │   ├── jqplot.cursor.min.js
                │       │   ├── jqplot.dateAxisRenderer.min.js
                │       │   ├── jqplot.highlighter.min.js
                │       │   ├── jqplot.logAxisRenderer.min.js
                │       │   ├── jqplot.pointLabels.min.js
                │       │   ├── jquery.jqplot.min.css
                │       │   └── jquery.jqplot.min.js
                │       ├── jquery-1.10.2.min.js
                │       ├── jquery-1.7.2.min.js
                │       ├── jquery.address-1.5.min.js
                │       ├── jquery.dataTables.min.js
                │       ├── jquery.jqpagination.min.js
                │       ├── jquery-migrate-1.2.1.min.js
                │       ├── result10.js
                │       └── timeline.js
                ├── tasks
                │   ├── async_tasks.py
                │   ├── __init__.py
                │   ├── periodic_tasks.py
                │   └── __pycache__
                │       ├── async_tasks.cpython-35.pyc
                │       ├── __init__.cpython-35.pyc
                │       └── periodic_tasks.cpython-35.pyc
                ├── templates
                │   ├── 404.html
                │   ├── base.html
                │   ├── change_password.html
                │   ├── dbms_data.html
                │   ├── dbms_reference.html
                │   ├── edit_project.html
                │   ├── edit_session.html
                │   ├── edit_workload.html
                │   ├── home_projects.html
                │   ├── login.html
                │   ├── project_sessions.html
                │   ├── result.html
                │   ├── session.html
                │   ├── signup.html
                │   ├── task_status.html
                │   └── workload.html
                ├── templatetags
                │   ├── __init__.py
                │   ├── __pycache__
                │   │   ├── __init__.cpython-35.pyc
                │   │   └── util_functions.cpython-35.pyc
                │   └── util_functions.py
                ├── types.py
                ├── urls.py
                ├── utils.py
                ├── views.py
                └── wsgi.py

## ##

[1fd9d9e3b74f4081a424ac471fab0cc9_th.jpg]: /images/20220317/65e6da5928ac40a59ae30e98609dbe29.png
[https_github.com_cmu-db_ottertune]: https://github.com/cmu-db/ottertune
[https_www.cnblogs.com_274914765qq_p_4401525.html]: https://www.cnblogs.com/274914765qq/p/4401525.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ0OTMwMA_size_16_color_FFFFFF_t_70]: /images/20220317/5f04b865c1ac499bb7e24d4bde811bdf.png