如何预测SQL语句查询时间？

1.概述

Predictor是基于机器学习且具有在线学习能力的查询时间预测工具。通过不断学习数据库内收集的历史执行信息，实现计划的执行时间预测功能。

本特性需要拉起python进程AIEngine，用于模型的训练和推理。

2.环境部署

前提条件

需要保证openGauss数据库处于正常状态，用户通过身份验证成功登录openGauss；用户执行的SQL语法正确无报错，且不会导致数据库异常等；历史性能数据窗口内openGauss并发量稳定，表结构、表数量不变，数据量无突变，涉及查询性能的guc参数不变；进行预测时，需要保证模型已训练并收敛；AiEngine运行环境稳定。

请求样例

AiEngine进程与内核进程使用https发送请求进行通信，请求样例如下：

curl -X POST -d '{"modelName":"modelname"}' -H 'Content-Type: application/json' 'https://IP-address:port/request-API'

表 1 ： AI-Engine对外接口

Request-API

功能

/check

检查模型是否被正常拉起

/configure

设置模型参数

/train

模型训练

/track_process

查看模型训练日志

/setup

加载历史模型

/predict

模型预测

证书生成

使用此功能前需使用openssl工具生成通信双方认证所需的证书，保证通信安全。

1. 搭建证书生成环境，证书文件保存路径为$GAUSSHOME/CA。–拷贝证书生成脚本及相关文件cp path_to_predictor/install/ssl.sh $GAUSSHOME/cp path_to_predictor/install/ca_ext.txt $GAUSSHOME/–copy 配置文件openssl.cnf到$GAUSSHOME路径下 ​cp $GAUSSHOME/share/om/openssl.cnf $GAUSSHOME/–修改openssl.conf配置参数dir = $GAUSSHOME/CA/demoCAdefault_md = sha256–至此证书生成环境准备完成
2. 生成证书及密钥cd $GAUSSHOMEsh ssl.sh–根据提示设置密码，假如为Test@123：–密码要求至少3种不同类型字符，长度至少为8位Please enter your password: –根据提示输入选项：Certificate Details: Serial Number: 1 (0x1) Validity Not Before: May 15 08:32:44 2020 GMT Not After : May 15 08:32:44 2021 GMT Subject: countryName = CN stateOrProvinceName = SZ organizationName = HW organizationalUnitName = GS commonName = CA X509v3 extensions: X509v3 Basic Constraints: CA:TRUECertificate is to be certified until May 15 08:32:44 2021 GMT (365 days)Sign the certificate? [y/n]:y1 out of 1 certificate requests certified, commit? [y/n]y–输入拉起AIEngine的IP地址，如IP为127.0.0.1：Please enter your aiEngine IP: 127.0.0.1–根据提示输入选项：Certificate Details: Serial Number: 2 (0x2) Validity Not Before: May 15 08:38:07 2020 GMT Not After : May 13 08:38:07 2030 GMT Subject: countryName = CN stateOrProvinceName = SZ organizationName = HW organizationalUnitName = GS commonName = 127.0.0.1 X509v3 extensions: X509v3 Basic Constraints: CA:FALSECertificate is to be certified until May 13 08:38:07 2030 GMT (3650 days)Sign the certificate? [y/n]:y1 out of 1 certificate requests certified, commit? [y/n]y–输入启动openGauss IP地址，如IP为127.0.0.1：Please enter your gaussdb IP: 127.0.0.1–根据提示输入选项：Certificate Details: Serial Number: 3 (0x3) Validity Not Before: May 15 08:41:46 2020 GMT Not After : May 13 08:41:46 2030 GMT Subject: countryName = CN stateOrProvinceName = SZ organizationName = HW organizationalUnitName = GS commonName = 127.0.0.1 X509v3 extensions: X509v3 Basic Constraints: CA:FALSECertificate is to be certified until May 13 08:41:46 2030 GMT (3650 days)Sign the certificate? [y/n]:y1 out of 1 certificate requests certified, commit? [y/n]y–至此，相关证书及密钥已生成，（$GAUSSHOME/CA）内容如下：

环境准备

1. 将工具代码文件夹拷贝至目标环境–假设安装路径为$INSTALL_FOLDER–假设目标环境路径为/home/ai_user :scp -r $INSTALL_FOLDER/bin/dbmind/predictor [email protected]:path_to_Predictor
2. 拷贝CA证书文件夹至aiEngine环境中某路径下：cp -r $GAUSSHOME/CA [email protected]:path_to_CA
3. 安装predictor/install/requirements(-gpu).txt工具（该功能比较特殊，与其他AI功能不同，需要独立安装依赖）：有GPU：pip install -r requirements-gpu.txt无GPU：pip install -r requirements.txt

拉起AiEngine

1. 切换至aiEngine环境（即拷贝predictor的目标环境 ai_user）：设置predictor/python/settings.py 中的相关参数：DEFAULT_FLASK_SERVER_HOST = '127.0.0.1' （aiEngine运行IP地址）DEFAULT_FLASK_SERVER_PORT = '5000' （aiEngine运行端口号）PATH_SSL = "path_to_CA" (CA文件夹路径)
2. 运行aiEngine启动脚本：python path_to_Predictor/python/run.py此时，aiEngine即在相应端口保持拉起状态，等待内核侧时间预测功能的请求指令。至此，aiEngine工具部署完成。从内核中发起执行时间预测功能指令步骤，请参考使用指导。

3.使用指导

数据收集

1. 打开数据收集。1. 设置ActiveSQL operator信息相关参数:enable_resource_track=onresource_track_level=operatorenable_resource_record=onresource_track_cost=10（默认值为100000）> 说明： - resource_track_cost需设置为小于需要收集的查询总代价，满足条件的信息才能被收集。 - Cgroups功能正常加载。2. 信息收集：执行业务查询语句。查看实时收集数据：select * from gs_wlm_plan_operator_history;预期：满足resource_track_duration和resource_track_cost的作业被全量收集。
2. 关闭数据收集。1. 设置ActiveSQL operator信息相关参数：enable_resource_track=off 或resource_track_level=none 或resource_track_level=query2. 执行业务查询语句。等待三分钟之后查看当前节点上的数据：select * from gs_wlm_plan_operator_info;预期：所查表和视图无新增数据。
3. 数据持久化保存。1. 设置ActiveSQL operator信息相关参数：enable_resource_track=onresource_track_level=operatorenable_resource_record=onresource_track_duration=0（默认值为60s）resource_track_cost=10（默认值为100000）> 说明： - resource_track_cost需设置为小于需要收集的查询总代价，满足条件的信息才能被收集。 - Cgroups功能正常加载。2. 执行业务查询语句。等待三分钟之后查看当前节点上的数据：select * from gs_wlm_plan_operator_info;预期：满足resource_track_duration和resource_track_cost的作业被全量收集。

模型管理（系统管理员用户）

说明： 模型管理操作需要在数据库正常的状态下进行。

1. 新增模型：INSERT INTO gs_opt_model values('……')；示例：INSERT INTO gs_opt_model values('rlstm', 'model_name', 'datname', '127.0.0.1', 5000, 2000, 1, -1, 64, 512, 0 , false, false, '{S, T}', '{0,0}', '{0,0}', 'Text');> 说明： - 具体模型参数设置请参考GS_OPT_MODEL。 - 目前 “template_name” 列只支持 “rlstm”; - “datname” 列请和用于模型使用和训练的数据库保持一致，否则无法使用。 - “model_name” 一列需要满足unique约束。 - 其他参数设置见产品文档最佳实践部分。
2. 修改模型参数：UPDATE gs_opt_model SET <attribute> = <value> WHERE model_name = <target_model_name>;
3. 删除模型：DELETE FROM gs_opt_model WHERE model_name = <target_model_name>;
4. 查询现有模型及其状态：SELECT * FROM gs_opt_model;

模型训练（系统管理员用户）

1. 配置/添加模型训练参数：参考模型管理（系统管理员用户）进行模型添加、模型参数修改，来指定训练参数。例：模型添加：INSERT INTO gs_opt_model values('rlstm', 'default', 'postgres', '127.0.0.1', 5000, 2000, 1, -1, 64, 512, 0 , false, false, '{S, T}', '{0,0}', '{0,0}', 'Text');训练参数更新：UPDATE gs_opt_model SET <attribute> = <value> WHERE model_name = <target_model_name>;
2. 前提条件为数据库状态正常且历史数据正常收集：删除原有encoding数据：DELETE FROM gs_wlm_plan_encoding_table;进行数据编码，需要指定数据库名：SELECT gather_encoding_info('postgres');开始训练：SELECT model_train_opt('rlstm', 'default');
3. 获取AI Engine侧模型训练日志相对路径：SELECT * FROM track_model_train_opt('rlstm', 'default');

模型预测

说明： - 模型预测功能需在数据库状态正常、指定模型已被训练且收敛的条件下进行。 - 目前，模型训练参数的标签设置中需要包含“S”标签，explain中才可显示“p-time”预测值。 例：INSERT INTO gs_opt_model values('rlstm', 'default', 'postgres', '127.0.0.1', 5000, 1000, 1, -1, 50, 500, 0 , false, false, '{S, T}', '{0,0}', '{0,0}', 'Text');

1. 调用explain接口：explain (analyze on, predictor <model_name>)SELECT ...预期结果：例：Row Adapter (cost=110481.35..110481.35 rows=100 p-time=99..182 width=100) (actual time=375.158..375.160 rows=2 loops=1)其中，“p-time”列为标签预测值。

其他功能

1. 检查AiEngine是否可连接:openGauss=# select check_engine_status('aiEngine-ip-address',running-port);
2. 查看模型对应日志在AiEngine侧的保存路径：openGauss=# select track_model_train_opt('template_name', 'model_name');

4.最佳实践

相关参数解释参考表GS_OPT_MODEL。

表 1

模型参数

参数建议

template_name

‘rlstm’

model_name

自定义，如‘open_ai’，需满足unique约束。

datname

所服务database名称，如‘postgres’。

ip

aiEngine-ip地址，如‘127.0.0.1’。

port

aiEngine侦听端口，如‘5000’。

max_epoch

迭代次数，推荐较大数值，保证收敛效果，如‘2000’。

learning_rate

(0, 1]浮点数，推荐较大的学习率，助于加快收敛速度。

dim_red

特征值降维系数：

‘-1’：不采用PCA降维，全量特征；

‘（0，1] ’区间浮点数：越小，训练维度越小，收敛速度越快，但影响训练准确率。

hidden_units

特征值维度较高时，建议适度增大此参数，提高模型复杂度，如 ‘64，128……’

batch_size

根据编码数据量，较大数据量推荐适度增大此参数，加快模型收敛，如‘256，512……’

其他参数

参考表GS_OPT_MODEL

推荐参数配置：

INSERT INTO gs_opt_model values('rlstm', 'open_ai', 'postgres', '127.0.0.1', 5000, 2000，1, -1, 64, 512, 0 , false, false, '{S, T}', '{0,0}', '{0,0}', 'Text');

5.常见问题处理

AI Engine配置问题

• AiEngine启动失败：请检查ip地址，端口是否可用；CA证书路径是否存在。
• 发起请求AiEngine无响应：请检查通信双方CA证书是否一致。
• 训练，测试场景失败：请检查模型文件保存路径是否存在；训练预测文件是否在正确下载。
• 更换AiEngine-IP地址：按照证书生成步骤重新生成证书，在生成证书及密钥中替换成相应的IP地址即可。

数据库内部报错问题

问题：AiEngine链接失败。

ERROR:  AI engine connection failed.
CONTEXT:  referenced column: model_train_opt

处理方法：检查AIEngine是否正常拉起或重启AIEngine；检查通信双方CA证书是否一致；检查模型配置信息中的ip和端口是否匹配；

问题：模型不存在。

ERROR:  OPT_Model not found for model name XXX
CONTEXT:  referenced column: track_model_train_opt

处理方法：检查GS_OPT_MODEL表中是否存在执行语句中“model_name”对应的模型；使用预测功能报错时，检查模型是否已被训练；