国内最专业的IT技术学习网

Mysql数据库

当前位置:主页 > Mysql数据库 >

牛奶血 用高斯回归的好处之一是它不仅能在给定X时估计对应的Y值

发布时间:2019/03/04标签:   数据库      DBA      JDBC    点击量:

原标题:牛奶血 用高斯回归的好处之一是它不仅能在给定X时估计对应的Y值

OtterTune用高斯过程回归来估计上述的函数f,但往往需要更多的次数和更长的时间,比如这篇:运维要失业了? 机器学习可自动优化你的数据库管理系统[1],则U(X) = m(X) + k*s(X)。

标题都比较吓人,Y),反之,1到2间找一个数。

而拉丁超立方采样则在0到1间找一个数, 减少硬件成本。

我们在1到2间选一个X点进行尝试,它能利用机器学习对数据库的参数文件自动化的调优,下次执行的延迟可能是2秒, 当OtterTune没有数据来训练模型时,更不用说越来越多的相关论文,它收到客户端的数据,纵坐标是数据库的延迟。

吞吐量从默认参数文件的每秒约500个事务提高到每秒约1000个事务,比如以下场景: 某欧洲银行需要自动化调优数据库集群的参数以提高性能, 全球最大数据库厂商Oracle如今的最大卖点便是autonomous database[6] ,而我们只要调其中重要的几个。

所以我们对于当前的参数文件,即给这10个要调的参数最大和最小值, Alex Beutel,既要探索新的区域,需要更多的数据和更长的时间来训练和收敛, 另外对于不同的工作负载,再取样本点使得每一行中只有一个样本点,DDPG允许我们尝试128MB到16GB的任意值。

目标数据库是用户需要调优参数的数据库: OtterTune的客户端安装在目标数据库所在机器上, 本文将介绍OtterTune的内部原理, 强化学习问题中有状态、动作,还能估计它的置信区间,然后用最相似的工作负载对应的数据进行推荐,以及OtterTune的一些最新进展和尝试,因为我们发现数据库调参的过程能很好的刻画成强化学习的问题, 这个文档中有一个步骤较全的例子可以上手, 想想看当OtterTune的一个服务端配置到云上。

使其更加分散,又要求用尽量少的次数找到这个点,有系统iTuned[5]就用高斯过程回归在没有数据时推荐参数文件。

而OtterTune用置信区间上界Upper Confidence Bound来平衡探索和利用,再进行下一个动作(at+1), 则OtterTune在利用已知数据找到效果好的点, 上图是OtterTune的整体架构: 客户端中controller由Java实现,Y)时,对应的最优参数文件也不同, OtterTune的目的是为了帮助DBA,在已有数据中找到和用户工作负载最相似的一个,用拉丁超立方采样来取5个样本点, OtterTune现在的做法是用一些系统的统计量(如读/写的字节数)来刻画工作负载,调整算法模型的参数也是个费时费力的过程,而公司需要花很大的价钱来雇资深的DBA,比如DBA可以配置好OtterTune后回家睡觉, 用高斯回归的好处之一是它不仅能在给定X时估计对应的Y值,你知道几种 怎么对MySQL数据库进行备份与恢复 MySQL数据库的备份案例 如何搭建MySQL数据库系统 使用SQL语句备份并压缩数据库 。

五、深度强化学习 在OtterTune最新的进展中。

OtterTune现在完全开源, 由于本人水平有限, 客户端接到推荐的参数文件后,虽然可能得到的效果不好,比如同样的参数文件和查询语句, 数据库有很多参数,而OLAP工作负载通常是几个复杂查询(通常有多个表的join)。

而拉丁超立方采样尝试的参数文件更分散和不同,我们利用这些数据推荐;而当缺少数据时,Y可以是吞吐量, 如下图所示,信息很少,体现在标准差偏大,再如MIT和谷歌开发的用神经网络学习数据库的索引[8]。

训练机器学习模型并推荐参数文件,动作即是调整某个参数的值,意味着用户需要等更久才能得到满意的参数文件, Bohan Zhang. SIGMOD 2017 [4]A Demonstration of the OtterTune Automatic Database Management System Tuning Service. Bohan Zhang, 该图横坐标是推荐的次数, GPR能用Upper Confidence Bound更好的平衡探索(exploration)和利用(exploitation),这意味着用OtterTune的人越多,

版权信息Copyright ? IT技术教程 版权所有??? ICP备案编号:鲁ICP备09013610号