StarRocks 集群安装部署文档

下表为规划的集群组件分配

域名starrocks1starrocks2starrocks3组件mysql、FE(follower)、BE1、datax-executor、datax FE(leader)BE2、datax-executor、dataxFE(follower)、BE3、datax-admin、datax-executor、datax

1. 服务器配置

1.1 设置主机名

hostnamectl set-hostname starrocks1

hostnamectl set-hostname starrocks2

hostnamectl set-hostname starrocks3

1.2 创建用户和组

groupadd starrocks

useradd-g starrocks starrocks

passwd starrocks

1.3 ssh-keygen

starrocks1/ starrocks2/ starrocks3 都得配置

1.4 配置 hosts

1.5 ssh-copy-id

1.6 禁止 Selinux

1.7 关闭透明大页面

1.8 设置 swappiness

1.9 设置文件描述符

echo"* soft nofile 65535">> /etc/security/limits.conf
echo"* hard nofile 65535">> /etc/security/limits.conf
ulimit-n65535

1.10 安装 ntp

1.11 安装 JDK

2. 安装 mysql

2.1 查询并卸载系统自带的Mariadb

rpm-qa|grep mariadb

rpm-e--nodeps 文件名

2.2 安装实施

建立用户，为了方便数据库管理，对于安装的MySQL数据库，生产上我们都会建立一个mysql用户和mysql用户组：

# 添加mysql用户组groupadd mysql
# 添加mysql用户useradd-g mysql mysql -d /home/mysql
# 修改mysql用户的登陆密码passwd mysql

2.3上传至服务器

上传 mysql-5.7.40-linux-glibc2.12-x86_64.tar 安装包到 /usr/local 目录下

# 解压缩tar-zxvf mysql-5.7.40-linux-glibc2.12-x86_64.tar.gz

# 建立软链接，便于以后版本升级ln-s mysql-5.7.40-linux-glibc2.12-x86_64 mysql

# 修改mysql文件夹下所有文件的用户和用户组chown-R mysql:mysql /home/mysql/

2.4 创建配置文件

# 创建配置文件cd /etc

# 在my.cnf文件中添加对应的配置项，文章末尾会提供一个默认的 my.cnf 配置【然后填入下面配置】

注意设置 secureCRT 的编码格式为 UTF-8

　　vi my.cnf

[client] # 客户端设置，即客户端默认的连接参数

port = 3306 # 默认连接端口

socket = /home/mysql/3306/tmp/mysql.sock # 用于本地连接的socket套接字，mysqld守护进程生成了这个文件

[mysqld] # 服务端基本设置

# 基础设置

server-id = 1 # Mysql服务的唯一编号 每个mysql服务Id需唯一

port = 3306 # MySQL监听端口

basedir = /usr/local/mysql # MySQL安装根目录

datadir = /home/mysql/3306/data # MySQL数据文件所在位置

tmpdir = /home/mysql/3306/tmp # 临时目录，比如load data infile会用到

socket = /home/mysql/3306/tmp/mysql.sock # 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件

pid-file = /home/mysql/3306/log/mysql.pid # pid文件所在目录

skip_name_resolve = 1 # 只能用IP地址检查客户端的登录，不用主机名

character-set-server = utf8mb4 # 数据库默认字符集,主流字符集支持一些特殊表情符号（特殊表情符占用4个字节）

transaction_isolation = READ-COMMITTED # 事务隔离级别，默认为可重复读，MySQL默认可重复读级别

collation-server = utf8mb4_general_ci # 数据库字符集对应一些排序等规则，注意要和character-set-server对应

init_connect='SET NAMES utf8mb4' # 设置client连接mysql时的字符集,防止乱码

lower_case_table_names = 1 # 是否对sql语句大小写敏感，1表示不敏感

max_connections = 400 # 最大连接数

max_connect_errors = 1000 # 最大错误连接数

explicit_defaults_for_timestamp = true # TIMESTAMP如果没有显示声明NOT NULL，允许NULL值

max_allowed_packet = 128M # SQL数据包发送的大小，如果有BLOB对象建议修改成1G

interactive_timeout = 1800 # MySQL连接闲置超过一定时间后(单位：秒)将会被强行关闭

wait_timeout = 1800 # MySQL默认的wait_timeout值为8个小时, interactive_timeout参数需要同时配置才能生效

tmp_table_size = 16M # 内部内存临时表的最大值 ，设置成128M；比如大数据量的group by ,order by时可能用到临时表；超过了这个值将写入磁盘，系统IO压力增大

max_heap_table_size = 128M # 定义了用户可以创建的内存表(memory table)的大小

query_cache_size = 0 # 禁用mysql的缓存查询结果集功能；后期根据业务情况测试决定是否开启；大部分情况下关闭下面两项

query_cache_type = 0

# 用户进程分配到的内存设置，每个session将会分配参数设置的内存大小

read_buffer_size = 2M # MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区，MySQL会为它分配一段内存缓冲区。

read_rnd_buffer_size = 8M # MySQL的随机读缓冲区大小

sort_buffer_size = 8M # MySQL执行排序使用的缓冲大小

binlog_cache_size = 1M # 一个事务，在没有提交的时候，产生的日志，记录到Cache中；等到事务提交需要提交的时候，则把日志持久化到磁盘。默认binlog_cache_size大小32K

back_log = 130 # 在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中；官方建议back_log = 50 + (max_connections / 5),封顶数为900

# 日志设置

log_error = /home/mysql/3306/log/error.log # 数据库错误日志文件

slow_query_log = 1 # 慢查询sql日志设置

long_query_time = 1 # 慢查询时间；超过1秒则为慢查询

slow_query_log_file = /home/mysql/3306/log/slow.log # 慢查询日志文件

log_queries_not_using_indexes = 1 # 检查未使用到索引的sql

log_throttle_queries_not_using_indexes = 5 # 用来表示每分钟允许记录到slow log的且未使用索引的SQL语句次数。该值默认为0，表示没有限制

min_examined_row_limit = 100 # 检索的行数必须达到此值才可被记为慢查询，查询检查返回少于该参数指定行的SQL不被记录到慢查询日志

expire_logs_days = 5 # MySQL binlog日志文件保存的过期时间，过期后自动删除

# 主从复制设置

log-bin = mysql-bin # 开启mysql binlog功能

binlog_format = ROW # binlog记录内容的方式，记录被操作的每一行

binlog_row_image = minimal # 对于binlog_format = ROW模式时，减少记录日志的内容，只记录受影响的列

# Innodb设置

innodb_open_files = 500 # 限制Innodb能打开的表的数据，如果库里的表特别多的情况，请增加这个。这个值默认是300

innodb_buffer_pool_size = 64M # InnoDB使用一个缓冲池来保存索引和原始数据，一般设置物理存储的60% ~ 70%；这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少

innodb_log_buffer_size = 2M # 此参数确定写日志文件所用的内存大小，以M为单位。缓冲区更大能提高性能，但意外的故障将会丢失数据。MySQL开发人员建议设置为1－8M之间

innodb_flush_method = O_DIRECT # O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突

innodb_write_io_threads = 4 # CPU多核处理能力设置，根据读，写比例进行调整

innodb_read_io_threads = 4

innodb_lock_wait_timeout = 120 # InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒

innodb_log_file_size = 32M # 此参数确定数据日志文件的大小，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间

# 创建目录

mkdir -p /home/mysql/3306/data
mkdir -p /home/mysql/3306/tmp
mkdir -p /home/mysql/3306/log
chown -R mysql:mysql /home/mysql/

2.5 安装数据库

cd /usr/local/mysql/bin

# 初始化数据库，并指定启动mysql的用户

./mysqld --initialize--user=mysql
# 这里最好指定启动mysql的用户名，否则就会在启动MySQL时出现权限不足的问题# 安装完成后，在my.cnf中配置的datadir目录下生成一个 /home/mysql/3306/log/error.log 文件，里面记录了root用户的随机密码。cat /home/mysql/3306/log/error.log |grep pass

2.6 设置开机自启动服务

# 复制启动脚本到资源目录cp /usr/local/mysql-5.7.40-linux-glibc2.12-x86_64/support-files/mysql.server /etc/rc.d/init.d/mysqld 

# 增加mysqld服务控制脚本执行权限 chmod +x /etc/rc.d/init.d/mysqld 

# 将mysqld服务加入到系统服务 chkconfig--add mysqld  

# 检查mysqld服务是否已经生效 chkconfig--list mysqld  

# 切换至mysql用户，启动|停止|重启|状态service mysqld start|stop|restart|status

2.7 配置环境变量

为了更好的操作mysql，配置环境变量

# 切换至mysql用户su - mysql

# 修改配置文件vi .bash_profile

MYSQL_HOME=/usr/local/mysql

PATH=$MYSQL_HOME/bin

# 立即生效source .bash_profile

使用 root 用户 mysql -uroot -proot 进行登录即可

2.8 登陆，修改密码

# 登陆mysql

mysql -u root -p# 修改root用户密码set password for root@localhost=password("1qaz@WSX");
设置允许所有IP访问

GRANT ALL ON *.* to root@'%' IDENTIFIED BY '1qaz@WSX';

FLUSH PRIVILEGES;

3. 安装 StarRocks

3.1上传并解压安装包

上传 StarRocks 并解压二进制安装包。

tar-xzvf StarRocks-x.x.x.tar.gz

注意:将以上文件名修改为下载的二进制安装包名。上传完成后，将安装包分发至各节点。

3.2部署 FE 节点

本小节介绍如何配置部署 Frontend (FE) 节点。FE 是 StarRocks 的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。

3.2.1 配置 FE 节点

# 进入 StarRocks-x.x.x/fe 路径。cd /opt/starrocks/fe

# 修改 FE 配置文件 conf/fe.conf。
LOG_DIR = /var/log/starrocks/fe
meta_dir = /hdisk1/starrocks/fe/meta
priority_networks =192.168.10.21/24
sys_log_dir = /var/log/starrocks/fe
audit_log_dir = /var/log/starrocks/fe

注意: JAVA_HOME = 将这个路径修改为 Java 所在的本地路径。

3.2.2创建元数据路径

创建 FE 节点中的元数据路径 meta。

mkdir-p meta

注意：该路径需要与 conf/fe.conf 文件中配置路径保持一致。

tar-zxvf StarRocks-2.4.2.tar.gz -C /opt/

cd /opt

ln-s StarRocks-2.4.2/ starrocks

chown-R starrocks:starrocks /opt/

chmod-R755 /opt/

 mkdir-p /hdisk1/starrocks/fe/meta
 mkdir-p /var/log/starrocks/fe
 mkdir-p /hdisk1/starrocks/be/storage
 mkdir-p /hdisk2/starrocks/be/storage
 mkdir-p /hdisk3/starrocks/be/storage
 mkdir-p /var/log/starrocks/be
 chown-R starrocks:starrocks /hdisk1/starrocks
 chown-R starrocks:starrocks /hdisk2/starrocks
 chown-R starrocks:starrocks /hdisk3/starrocks
 chown-R starrocks:starrocks /var/log/starrocks
 chmod-R755 /hdisk1/starrocks
 chmod-R755 /hdisk2/starrocks
 chmod-R755 /hdisk3/starrocks
 chmod-R755 /var/log/starrocks
chown-R starrocks:starrocks /var/log

3.2.3启动 FE 节点

运行以下命令启动 FE 节点。

bin/start_fe.sh --daemon

3.2.4确认 FE 启动成功

通过以下方式验证 FE 节点是否启动成功：

通过查看日志 log/fe.log 确认 FE 是否启动成功。

2020-03-16 20:32:14,686 INFO 1 [FeServer.start():46] thrift server started.  // FE 节点启动成功。
2020-03-16 20:32:14,696 INFO 1 [NMysqlServer.start():71] Open mysql server success on 9030  // 可以使用 MySQL 客户端通过 `9030` 端口连接 FE。
2020-03-16 20:32:14,696 INFO 1 [QeService.start():60] QE service start.
2020-03-16 20:32:14,825 INFO 76 [HttpServer$HttpServerThread.run():210] HttpServer started with port 8030

通过运行 jps 命令查看 Java 进程，确认 StarRocksFE 进程是否存在。
通过在浏览器访问 FE ip:http_port（默认 http_port 为 8030），进入 StarRocks 的 WebUI，用户名为 root，密码为空。

说明：如果由于端口被占用导致 FE 启动失败，可修改配置文件 conf/fe.conf 中的端口号 http_port。

3.2.5添加 FE 节点

您可通过 MySQL 客户端连接 StarRocks 以添加 FE 节点。
在 FE 进程启动后，使用 MySQL 客户端连接 FE 实例。

mysql -h127.0.0.1 -P9030-uroot

说明：root 为 StarRocks 默认内置 user，密码为空，端口为 fe/conf/fe.conf 中的 query_port 配置项，默认值为 9030。

修改root 密码

set password=PASSWORD('1qaz@WSX');

查看 FE 状态

SHOWPROC'/frontends'\G

示例：

MySQL [(none)]> SHOW PROC '/frontends'\G

*************************** 1. row ***************************
             Name: 172.26.xxx.xx_9010_1652926508967
               IP: 172.26.xxx.xx
         HostName: iZ8vb61k11tstgnvrmrdfdZ
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: LEADER
        ClusterId: 1160043595
             Join: true
            Alive: true
ReplayedJournalId: 1303
    LastHeartbeat: 2022-10-19 11:27:16
         IsHelper: true
           ErrMsg:
        StartTime: 2022-10-19 10:15:21
          Version: 2.4.0-c0fa2bb
1 row inset(0.02 sec)

• 当 Role 为 LEADER 时，当前 FE 节点为选主出的主节点。
• 当 Role 为 FOLLOWER 时，当前节点是一个能参与选主的 FE 节点。
如果 MySQL 客户端连接失败，可以通过查看 log/fe.warn.log 日志文件发现问题。
如果在初次部署时遇到任何意外问题，可以在删除并重新创建 FE 的元数据目录后，重新开始部署。

3.2.6部署 FE 节点的高可用集群

StarRocks 的 FE 节点支持 HA 模型部署，以保证集群的高可用。

3.2.7 添加新 FE 节点

使用 MySQL 客户端连接已有 FE 节点，添加新 FE 节点的信息，包括角色、IP 地址、以及 Port。

注意一定先添加再启动

• 添加 Follower FE 节点。

ALTER SYSTEM ADD FOLLOWER "host:port";

• 添加 Observer FE 节点。

ALTER SYSTEM ADD OBSERVER "host:port";

参数：
• host：机器的 IP 地址。如果机器存在多个 IP 地址，则该项为 priority_networks 设置项下设定的唯一通信 IP 地址。
• port：edit_log_port 设置项下设定的端口，默认为 9010。

出于安全考虑，StarRocks 的 FE 节点和 BE 节点只会监听一个 IP 地址进行通信。如果一台机器有多块网卡，StarRocks 有可能无法自动找到正确的 IP 地址。例如，通过 ifconfig 命令查看到 eth0 IP 地址为 192.168.1.1，docker0 IP 地址为 172.17.0.1，您可以设置 192.168.1.0/24 子网以指定使用 eth0 作为通信 IP。此处采用 CIDR 的表示方法来指定 IP 所在子网范围，以便在所有的 BE 及 FE 节点上使用相同的配置。

如出现错误，您可以通过命令删除相应 FE 节点。

• 删除 Follower FE 节点。

ALTER SYSTEM DROP FOLLOWER "host:port";

• 删除 Observer FE 节点。

ALTER SYSTEM drop OBSERVER "host:port";

3.2.8连接 FE 节点

FE 节点需两两之间建立通信连接方可实现复制协议选主，投票，日志提交和复制等功能。当新的FE节点首次被添加到已有集群并启动时，您需要指定集群中现有的一个节点作为 helper 节点，并从该节点获得集群的所有 FE 节点的配置信息，才能建立通信连接。因此，在首次启动新 FE 节点时候，您需要通过命令行指定 --helper 参数。

./bin/start_fe.sh --helper host:port --daemon

参数：
• host：机器的IP 地址。如果机器存在多个 IP 地址，则该项为 priority_networks 设置项下设定的唯一通信 IP 地址。
• port：edit_log_port 设置项下设定的端口，默认为 9010。

例如：

/opt/starrocks/fe/bin/start_fe.sh --helper192.168.10.22:9010 --daemon

3.2.9 确认 FE 集群部署成功

查看集群状态，确认部署成功。

mysql> SHOW PROC '/frontends'\G
*************************** 1. row ***************************
             Name: 192.168.10.21_9010_1672903151744
               IP: 192.168.10.21
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
        ClusterId: 114599321
             Join: true
            Alive: true
ReplayedJournalId: 443
    LastHeartbeat: 2023-01-05 15:26:42
         IsHelper: true
           ErrMsg: 
        StartTime: 2023-01-05 15:23:56
          Version: 2.4.2-3994421
*************************** 2. row ***************************
             Name: 192.168.10.23_9010_1672903157548
               IP: 192.168.10.23
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
        ClusterId: 114599321
             Join: true
            Alive: true
ReplayedJournalId: 443
    LastHeartbeat: 2023-01-05 15:26:42
         IsHelper: true
           ErrMsg: 
        StartTime: 2023-01-05 15:26:21
          Version: 2.4.2-3994421
*************************** 3. row ***************************
             Name: 192.168.10.22_9010_1672902152503
               IP: 192.168.10.22
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: LEADER
        ClusterId: 114599321
             Join: true
            Alive: true
ReplayedJournalId: 444
    LastHeartbeat: 2023-01-05 15:26:41
         IsHelper: true
           ErrMsg: 
        StartTime: 2023-01-05 15:02:44
          Version: 2.4.2-3994421
3 rows inset(0.10 sec)

节点的 Alive 项为 true 时，添加节点成功。

3.3部署 BE 节点

本小节介绍如何配置部署 Backend (BE) 节点。BE 是 StarRocks 的后端节点，负责数据存储以及 SQL 执行等工作。以下例子仅部署一个 BE 节点。您可以通过重复以下步骤添加多个 BE 节点。

3.3.1配置 BE 节点

进入 StarRocks-x.x.x/be 路径。

cd /opt/starrocks/be/

修改 BE 节点配置文件 conf/be.conf。因默认配置即可启动集群，以下示例并未修改 BE 节点配置。
注意
当一台机器拥有多个 IP 地址时，需要在 BE 配置文件 conf/be.conf 中设置 priority_networks，为该节点设定唯一 IP。

priority_networks =192.168.10.21/24
storage_root_path = /hdisk1/starrocks/be/storage;/hdisk2/starrocks/be/storage;/hdisk3/starrocks/be/storage
sys_log_dir = /var/log/starrocks/be

3.3.2添加 BE 节点

通过 MySQL 客户端将 BE 节点添加至 StarRocks 集群。

mysql> ALTER SYSTEM ADD BACKEND "host:port";

例如：

ALTER SYSTEM ADD BACKEND "192.168.10.21:9050";ALTER SYSTEM ADD BACKEND "192.168.10.22:9050";ALTER SYSTEM ADD BACKEND "192.168.10.23:9050";

注意：host 需要与 priority_networks 相匹配，port 需要与 be.conf 文件中的设置的 heartbeat_service_port 相同，默认为 9050。

如添加过程出现错误，需要通过以下命令将该 BE 节点从集群移除。

mysql> ALTER SYSTEM decommission BACKEND "host:port";

说明：host 和 port 与添加的 BE 节点一致。

3.3.3 启动 BE 节点

运行以下命令启动 BE 节点。

bin/start_be.sh --daemon

3.3.4确认 BE 启动成功

通过 MySQL 客户端确认 BE 节点是否启动成功。

SHOWPROC'/backends'\G

示例：

MySQL [(none)]> SHOW PROC '/backends'\G

*************************** 1. row ***************************
            BackendId: 10003
              Cluster: default_cluster
                   IP: 172.26.xxx.xx
             HostName: sandbox-pdtw02
        HeartbeatPort: 9050
               BePort: 9060
             HttpPort: 8040
             BrpcPort: 8060
        LastStartTime: 2022-05-19 11:15:00
        LastHeartbeat: 2022-05-19 11:27:36
                Alive: true
 SystemDecommissioned: false
ClusterDecommissioned: false
            TabletNum: 10
     DataUsedCapacity: .000
        AvailCapacity: 1.865 TB
        TotalCapacity: 1.968 TB
              UsedPct: 5.23 %
       MaxDiskUsedPct: 5.23 %
               ErrMsg:
              Version: 2.2.0-RC02-2ab1482
               Status: {"lastSuccessReportTabletsTime":"2022-05-19 11:27:01"}
    DataTotalCapacity: 1.865 TB
          DataUsedPct: 0.00 %
1 row inset(0.01 sec)

当 Alive 为 true 时，当前 BE 节点正常接入集群。
如果 BE 节点没有正常接入集群，可以通过查看 log/be.WARNING 日志文件排查问题。
如果日志中出现类似以下的信息，说明 priority_networks 的配置存在问题。

W0708 17:16:27.308156 11473 heartbeat_server.cpp:82\] backend ip saved in master does not equal to backend local ip127.0.0.1 vs. 172.16.xxx.xx

如遇到以上问题，可以通过 DROP 错误的 BE 节点，然后重新以正确的 IP 添加 BE 节点的方式来解决。

ALTER SYSTEM DROP BACKEND "172.16.xxx.xx:9050";

如果在初次部署时遇到任何意外问题，可以在删除并重新创建 BE 的数据路径后，重新开始部署。

3.4查看页面

http://192.168.10.22:8030

后面的操作是为了方便StarRocks数据迁移的。

4. 安装 DataX 和 datax-web

4.1上传并解压

上传 2 个安装包

在 starrocks 用户下执行

tar-zxvf datax.tar.gz -C /opt/

tar-zxvf datax-web-2.1.2.tar.gz -C /opt/

4.2生成目录

执行 datax-web 的 install.sh

注意选择 yynn

只生成目录不安装

4.3 修改配置文件

修改 /opt/datax-web-2.1.2/modules/datax-admin/conf/ bootstrap.properties

DB_HOST=192.168.10.21
DB_PORT=3306
DB_USERNAME=root
DB_PASSWORD=1qaz@WSX
DB_DATABASE=dataxweb

修改 datax-executor 的 application.yml 文件：

# web portserver:port: ${server.port}#port: 8081# log configlogging:config: classpath:logback.xml
  path: ${data.path}/applogs/executor/jobhandler
  #path: ./data/applogs/executor/jobhandlerdatax:job:admin:### datax admin address list, such as "http://address" or "http://address01,http://address02"#addresses: http://127.0.0.1:8080addresses: http://192.168.10.23:${datax.admin.port}executor:appname: datax-executor
      ip: 192.168.10.23
      #port: 9999port: ${executor.port:9999}### job log path#logpath: ./data/applogs/executor/jobhandlerlogpath: ${data.path}/applogs/executor/jobhandler
      ### job log retention dayslogretentiondays:30### job, access tokenaccessToken:executor:#jsonpath: D:\\temp\\executor\\json\\jsonpath: ${json.path}#pypath: F:\tools\datax\bin\datax.pypypath: ${python.path}

4.4 同步

cd /opt

scp-r datax starrocks1:/opt/

scp-r datax starrocks2:/opt/

scp-r datax-web-2.1.2/ starrocks1:/opt/

scp-r datax-web-2.1.2/ starrocks2:/opt/

4.5创建数据库并安装

同时需要通过 navicat 连接 starrocks1 上面的mysql，执行下面的sql

createdatabase dataxweb;