StarRocks3.3.1集群部署（存算一体）手动部署帮助手册

StarRocks3.3.1集群部署（存算一体）手动部署帮助手册

文章目录

前置说明操作系统设置

前置说明和操作系统设置 同《大数据基础软件安装文档》基本一致，需要按照该文档操作。

机器内存要求

• FE：建议每个节点分配 8 个 CPU 内核和 16 GB RAM，存储至少100G。
• BE：建议每个节点分配 16 个 CPU 内核和 64 GB RAM，存储计算方式。原始数据大小 * 数据副本数/数据压缩算法压缩比默认的数据副本数是3。目前支持的压缩算法支持四种数据压缩算法：zlib、Zstandard（或 zstd）、LZ4 和 Snappy（按压缩比从高至低排列）。这些数据压缩算法可以提供 3:1 到 5:1 的压缩比。压缩比可以按照3算。

补充starrocks的ulimit 设置、部署规划和用户规划如下：

ulimit 设置

在

/etc/security/limits.conf

新增以下配置

starrocks soft nproc 65535
starrocks hard nproc 65535
starrocks soft nofile 655350
starrocks hard nofile 655350
starrocks soft stack unlimited
starrocks hard stack unlimited
starrocks hard memlock unlimited
starrocks soft memlock unlimited

部署规划

服务器FEBEMysqlClientstarrocks01yesyesyesstarrocks02yesyesstarrocks03yesyesstarrocks04yesstarrocks05yesstarrocks06yes

用户规划

用户和组名称用户和组ID用途starrocks950starrocks服务

StarRocks安装步骤

安装包

• jdk-11.0.24_linux-x64_bin.tar.gz
• mysql-5.7.43-linux-glibc2.12-x86_64.tar.gz
• StarRocks-3.3.1.tar.gz
• tpcds-poc-1.0.zip

在操作之前安装包已经分发到各个服务器的

/data/install_package

目录。权限为

777

。

mkdir-p /data/install_package;chmod-R755 /data/install_package;

系统端口检查

FE 端口

• 8030：FE HTTP Server 端口（http_port）
• 9020：FE Thrift Server 端口（rpc_port）
• 9030：FE MySQL Server 端口（query_port）
• 9010：FE 内部通讯端口（edit_log_port）
• 6090：FE 云原生元数据服务 RPC 监听端口（cloud_native_meta_port）

BE 端口

• 9060：BE Thrift Server 端口（be_port）
• 8040：BE HTTP Server 端口（be_http_port）
• 9050：BE 心跳服务端口（heartbeat_service_port）
• 8060：BE bRPC 端口（brpc_port）
• 9070：BE 和 CN 的额外 Agent 服务端口。（starlet_port）

netstat-tunlp|grep8030;netstat-tunlp|grep9020;netstat-tunlp|grep9030;netstat-tunlp|grep9010;netstat-tunlp|grep6090;netstat-tunlp|grep9060;netstat-tunlp|grep8040;netstat-tunlp|grep9050;netstat-tunlp|grep8060;netstat-tunlp|grep9070;

创建系统用户

使用root用户执行命令

# 1.新建用户与用户组groupadd-g950 starrocks;useradd-u950-g950 starrocks;# 2.准备目录mkdir-p /opt/starrocks;mkdir-p /data00/starrocks;mkdir-p /data01/starrocks;mkdir-p /data02/starrocks;mkdir-p /data03/starrocks;mkdir-p /data04/starrocks;mkdir-p /data05/starrocks;mkdir-p /data06/starrocks;mkdir-p /data07/starrocks;mkdir-p /data08/starrocks;mkdir-p /data09/starrocks;mkdir-p /data10/starrocks;chown-R starrocks:starrocks /opt/starrocks;chown-R starrocks:starrocks /data00/starrocks;chown-R starrocks:starrocks /data01/starrocks;chown-R starrocks:starrocks /data02/starrocks;chown-R starrocks:starrocks /data03/starrocks;chown-R starrocks:starrocks /data04/starrocks;chown-R starrocks:starrocks /data05/starrocks;chown-R starrocks:starrocks /data06/starrocks;chown-R starrocks:starrocks /data07/starrocks;chown-R starrocks:starrocks /data08/starrocks;chown-R starrocks:starrocks /data09/starrocks;chown-R starrocks:starrocks /data10/starrocks;

安装StarRocks

su - starrocks;# 软件安装目录mkdir-p /opt/starrocks/software;ln-snf /opt/starrocks/software /home/starrocks/software;# FE元数据存储目录mkdir-p /data10/starrocks/data/starrocks-meta;# BE数据存储目录mkdir-p /data00/starrocks/data/datastorage;mkdir-p /data01/starrocks/data/datastorage;mkdir-p /data02/starrocks/data/datastorage;mkdir-p /data03/starrocks/data/datastorage;mkdir-p /data04/starrocks/data/datastorage;mkdir-p /data05/starrocks/data/datastorage;mkdir-p /data06/starrocks/data/datastorage;mkdir-p /data07/starrocks/data/datastorage;mkdir-p /data08/starrocks/data/datastorage;mkdir-p /data09/starrocks/data/datastorage;mkdir-p /data10/starrocks/data/datastorage;# 解压安装包并设置软链接tar-zxf /data/install_package/jdk-11.0.24_linux-x64_bin.tar.gz -C /home/starrocks/software;tar-zxf /data/install_package/StarRocks-3.3.1.tar.gz -C /home/starrocks/software;cd /home/starrocks/software;ln-snf jdk-11.0.24 java;ln-snf StarRocks-3.3.1 StarRocks;# 在某一台机器上安装mysql客户端tar-zxf /data/install_package/mysql-5.7.43-linux-glibc2.12-x86_64.tar.gz -C /home/starrocks/software/;ln-snf /home/starrocks/software/mysql-5.7.43-linux-glibc2.12-x86_64 /home/starrocks/software/mysql-client;

每个服务器配置JDK11

JDK最低要求JDK11

su - starrocks;vim /home/starrocks/.bashrc
# 在.bashrc文件中追加以下内容exportJAVA_HOME=/home/starrocks/software/java
exportPATH=$JAVA_HOME/bin:$PATH# 配置生效source /home/starrocks/.bashrc;# 检查jdkjava -version;

配置mysql客户端

echo"export PATH=/home/starrocks/software/mysql-client/bin:$PATH">> /home/starrocks/.bashrc;source /home/starrocks/.bashrc;

配置starrocks文件

配置FE

vim /home/starrocks/software/starrocks/fe/conf/fe.conf
# 添加配置（使用ip a命令可获取）
priority_networks = 可区分包含集群所有IP的网段/掩码长度

meta_dir= /data10/starrocks/data/starrocks-meta

配置BE

vim /home/starrocks/software/starrocks/be/conf/be.conf
# 添加配置（使用ip a命令可获取）
priority_networks = 可区分包含集群所有IP的网段/掩码长度
storage_root_path = /data00/starrocks/data/datastorage;/data01/starrocks/data/datastorage;/data02/starrocks/data/datastorage;/data03/starrocks/data/datastorage;/data04/starrocks/data/datastorage;/data05/starrocks/data/datastorage;/data06/starrocks/data/datastorage;/data07/starrocks/data/datastorage;/data08/starrocks/data/datastorage;/data09/starrocks/data/datastorage;/data10/starrocks/data/datastorage;

启动与停止

首次启动

FE启动

su - starrocks;cd /home/starrocks/software/StarRocks;
./fe/bin/start_fe.sh --daemon

检查

cat fe/log/fe.log |grep thrift

如果日志打印以下内容，则说明该 FE 节点启动成功：

2022-08-10 16:12:29,911 INFO (UNKNOWN x.x.x.x_9010_1660119137253(-1)|1) [FeServer.start():52] thrift server started with port 9020.

BE启动

su - starrocks;cd /home/starrocks/software/StarRocks;
./be/bin/start_be.sh --daemon

检查

cat be/log/be.INFO |grep heartbeat

如果日志打印以下内容，则说明该 BE 节点启动成功：

I0614 17:41:39.782819 3717531 thrift_server.cpp:388] heartbeat has started listening port on 9050

组建集群

MysqlClient连接第一个启动的FE 增加其他的FE节点和BE节点（无密码连接方式）

/home/starrocks/software/mysql-client/bin/mysql -h 具体IP -P9030-uroot 

mysql> ALTER SYSTEM ADD FOLLOWER "starrocks02:9010";
mysql> ALTER SYSTEM ADD FOLLOWER "starrocks03:9010";
-- 查看所有fe节点
mysql> show proc '/frontends';

mysql> ALTER SYSTEM ADD BACKEND "starrocks01:9050";
mysql> ALTER SYSTEM ADD BACKEND "starrocks02:9050";
mysql> ALTER SYSTEM ADD BACKEND "starrocks03:9050";
mysql> ALTER SYSTEM ADD BACKEND "starrocks04:9050";
mysql> ALTER SYSTEM ADD BACKEND "starrocks05:9050";
mysql> ALTER SYSTEM ADD BACKEND "starrocks06:9050";

-- 查看所有be节点
mysql> show proc '/backends';

-- 将 <password> 替换为您要为 root 用户设置的密码。
mysql> SET PASSWORD = PASSWORD('root的密码')

非首次启动

su - starrocks;cd /home/starrocks/software/StarRocks;
./fe/bin/start_fe.sh --daemonsu - starrocks;cd /home/starrocks/software/StarRocks;
./be/bin/start_be.sh --daemon

停止

su - starrocks;cd /home/starrocks/software/StarRocks;
./fe/bin/stop_fe.sh --daemonsu - starrocks;cd /home/starrocks/software/StarRocks;
./be/bin/stop_be.sh --daemon