0


Doris安装部署

集群部署

hadoop****102

hadoop****103

hadoop****104

FE(LEADER)

FE(FOLLOWER)

FE(FOLLOWER)

BE

BE

BE

操作系统安装要求

设置系统最大打开文件句柄数(注意这里的*不要去掉)

设置最大虚拟块的大小

配置完记得重启

下载安装包

根据自己的需要,下载合适的安装包

Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris

x86_64架构 cpu(intel,amd),执行命令

如果能看到avx2 字样选择带 avx2 的包,否则选择不带 avx2

arm64 架构 cpu(apple),选择 arm64 的安装包下载

解压

安装fe

安装be

安装其他依赖(java udf 函数)

改名

并移动jar包

配置FE

配置完成后启动Fe

页面访问,因为是第一次登录没有密码只需添用户

到这里Fe就配置完成了

配置BE

修改be.conf文件

安装mysql客户端

http://t.csdnimg.cn/SAjZm

使用 Mysql 客户端连接到 FE****

mysql -hhadoop102 -P9030 -uroot

-P 指定端口(注意这里 P 是大写, 小写 p 用来指定密码)

FE 默认没有密码

设置密码

添加 BE

启动be

查看状态

上面完成后就可以简单使用了。

对be进行扩容

首先在mysql中执行

在这两台节点解压be然后把jar包分发到这两台节点

对两台节点进行配置

修改be.conf文件

查看

到这就扩容完成了

对be进行缩容

DROP方式删除BE节点(不推荐)

ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";

注意:DROP BACKEND 会直接删除该BE,并且其上的数据将不能再恢复!!!所以我们强烈不推荐使用 DROP BACKEND 这种方式删除BE节点。当你使用这个语句时,会有对应的防误操作提示

DECOMMISSION 方式删除BE节点(推荐)

ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

  1. 该命令用于安全删除BE节点。命令下发后,Doris 会尝试将该BE上的数据向其他BE节点迁移,当所有数据都迁移完成后,Doris会自动删除该节点。
  2. 该命令是一个异步操作。执行后,可以通过 SHOW PROC '/backends'; 看到该 BE 节点的isDecommission状态为true。表示该节点正在进行下线。
  3. 该命令不一定执行成功。比如剩余BE存储空间不足以容纳下线BE上的数据,或者剩余机器数量不满足最小副本数时,该命令都无法完成,并且BE会一直处于 isDecommission为true的状态。

DECOMMISSION的进度,可以通过SHOW PROC '/backends'; 中的TabletNum查看,如果正在进行,TabletNum将不断减少

该操作可以通过如下命令取消:

CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

取消后,该BE上的数据将维持当前剩余的数据量。后续Doris重新进行负载均衡

对Fe进行扩容

查看Fe状态

show proc '/frontends';

将fe在另外两台节点解压

改名

将第一台节点的fe配置文件分发到这两台节点

增加FE节点

FE分为Leader,Follower和Observer三种角色。 默认一个集群只能有一个Leader,可以有多个Follower和Observer。其中Leader和Follower组成一个Paxos选择组,如果 Leader宕机,则剩下的Follower 会自动选出新的Leader,保证写入高可用。Observer 同步 Leader的数据,但是不参加选举。

如果只部署一个FE,则FE 默认就是Leader。在此基础上,可以添加若干Follower和 Observer。

第一次启动时,启动命令需要添加参 --helper leader主机: edit_log_port

下次就不需要了

加--daemon是后台启动,不加是页面启动

以上也面就是fe的扩容

对Fe进行缩容

ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";

注意:删除 Follower FE 时,确保最终剩余的 Follower(包括 Leader)节点为奇数

页面变成这样就成功对fe进行缩容了

群起脚本编译

标签: 大数据

本文转载自: https://blog.csdn.net/weixin_64261178/article/details/140637355
版权归原作者 7_Years 所有, 如有侵权,请联系我们删除。

“Doris安装部署”的评论:

还没有评论