集群部署
hadoop****102
hadoop****103
hadoop****104
FE(LEADER)
FE(FOLLOWER)
FE(FOLLOWER)
BE
BE
BE
操作系统安装要求
设置系统最大打开文件句柄数(注意这里的*不要去掉)
设置最大虚拟块的大小
配置完记得重启
下载安装包
根据自己的需要,下载合适的安装包
Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris
x86_64架构 cpu(intel,amd),执行命令
如果能看到avx2 字样选择带 avx2 的包,否则选择不带 avx2
arm64 架构 cpu(apple),选择 arm64 的安装包下载
解压
安装fe
安装be
安装其他依赖(java udf 函数)
改名
并移动jar包
配置FE
配置完成后启动Fe
页面访问,因为是第一次登录没有密码只需添用户
到这里Fe就配置完成了
配置BE
修改be.conf文件
、
安装mysql客户端
使用 Mysql 客户端连接到 FE****
mysql -hhadoop102 -P9030 -uroot
-P 指定端口(注意这里 P 是大写, 小写 p 用来指定密码)
FE 默认没有密码
设置密码
添加 BE
启动be
查看状态
上面完成后就可以简单使用了。
对be进行扩容
首先在mysql中执行
在这两台节点解压be然后把jar包分发到这两台节点
对两台节点进行配置
修改be.conf文件
、
查看
到这就扩容完成了
对be进行缩容
DROP方式删除BE节点(不推荐)
ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";
注意:DROP BACKEND 会直接删除该BE,并且其上的数据将不能再恢复!!!所以我们强烈不推荐使用 DROP BACKEND 这种方式删除BE节点。当你使用这个语句时,会有对应的防误操作提示
DECOMMISSION 方式删除BE节点(推荐)
ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";
- 该命令用于安全删除BE节点。命令下发后,Doris 会尝试将该BE上的数据向其他BE节点迁移,当所有数据都迁移完成后,Doris会自动删除该节点。
- 该命令是一个异步操作。执行后,可以通过 SHOW PROC '/backends'; 看到该 BE 节点的isDecommission状态为true。表示该节点正在进行下线。
- 该命令不一定执行成功。比如剩余BE存储空间不足以容纳下线BE上的数据,或者剩余机器数量不满足最小副本数时,该命令都无法完成,并且BE会一直处于 isDecommission为true的状态。
DECOMMISSION的进度,可以通过SHOW PROC '/backends'; 中的TabletNum查看,如果正在进行,TabletNum将不断减少
该操作可以通过如下命令取消:
CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";
取消后,该BE上的数据将维持当前剩余的数据量。后续Doris重新进行负载均衡
对Fe进行扩容
查看Fe状态
show proc '/frontends';
将fe在另外两台节点解压
改名
将第一台节点的fe配置文件分发到这两台节点
增加FE节点
FE分为Leader,Follower和Observer三种角色。 默认一个集群只能有一个Leader,可以有多个Follower和Observer。其中Leader和Follower组成一个Paxos选择组,如果 Leader宕机,则剩下的Follower 会自动选出新的Leader,保证写入高可用。Observer 同步 Leader的数据,但是不参加选举。
如果只部署一个FE,则FE 默认就是Leader。在此基础上,可以添加若干Follower和 Observer。
第一次启动时,启动命令需要添加参 --helper leader主机: edit_log_port
下次就不需要了
加--daemon是后台启动,不加是页面启动
以上也面就是fe的扩容
对Fe进行缩容
ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";
注意:删除 Follower FE 时,确保最终剩余的 Follower(包括 Leader)节点为奇数
页面变成这样就成功对fe进行缩容了
群起脚本编译
版权归原作者 7_Years 所有, 如有侵权,请联系我们删除。