0


【大数据基础平台】星环TDH社区集群版本部署

🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

** 感谢点赞和关注 ,每天进步一点点!加油!**

一、概述


TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新,已帮助数千家行业客户利用大数据平台构建核心商业系统,加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值,依托于TDH强大的技术底座,星环科技推出TDH社区版(Transwarp Data Hub Community Edition)版本,致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境,轻松应对各类人员数据分析需求。

社区版官网:TDH社区版-TDH Community Edition-星环科技

下载

官网安装手册:星环社区版安装手册

安装视频:星环社区版安装视频


二、环境配置


配置JDK

yum install  bash-completion  lrzsz  tree  vim  wget  net-tools  -y

mkdir -p  /usr/java
tar -zxvf jdk-8u162-linux-x64.tar.gz -C  /usr/java

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_162
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile
java -version

关闭防火墙和 selinux

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
# 临时关闭
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

安装chrony

yum install chrony -y
# 修改chrony配置文件指定NTP源为阿里NTP
sed -r -i 's?^pool.+iburst?pool ntp.aliyun.com iburst?' /etc/chrony.conf
# 重启chrony服务
systemctl restart chronyd
# 开机自动启动chrony服务
systemctl enable chronyd
# 查看时间服务器状态
chronyc sources -v

主机名映射

/etc/hosts

192.168.2.114 tw-manager
192.168.2.115 tdh-node01
192.168.2.116 tdh-node02

磁盘容量


三、安装Manager


解压安装包,然后运行Web Installer使用图形化界面安装

tar xvzf TDH-Platform-Community-Transwarp-9.3.1-X86_64-final.tar.gz
cd transwarp-9.3.1-X86_64-final
./install

登录如下显示 的web 地址

通过浏览器访问管理节点,进入Web Installer界面

同意

选择继续

推荐默认端口“8180” ,下一步

安装Manager需要一个包含对应版本操作系统的资源库(repo)

【知识分享】安装Manager时如何配置RPM仓库

centos-7-os-x86_64安装包下载_开源镜像站-阿里云

Index of /centos/7/os/x86_64/

您进行选择后,系统会清理资源库缓存:

资源库缓存清理完毕后,系统会自动开始安装和配置Transwarp Manager

Manager安装完成,可以访问提示的安装地址并使用默认的用户名/密码(admin/admin)去登录管理界面继续接下来的配置。


四、配置集群


默认账号密码为 admin

接受最终用户协议才可以进行进一步

需要给您的集群设置一个名字。输入集群名字后点击“下一步”

如果配置集群中的节点可以通过用主机名互相访问,用户必须配置有效的DNS服务器或/etc/hosts文件。否则请选择需要管理工具配置/etc/hosts,Transwarp Manager会相应为您配置/etc/hosts文件,然后添加节点。

  • NTP配置

编辑机柜,默认下一步

默认下一步

选择添加节点

添加安装的节点服务器

我选择SSH访问权限配置,输入用户名和密码

选中已添加的节点,下一步

配置完成后,点击“下一步”进行节点最终检查,系统将为您进行检查,如果有检查项出现告警,请点击+号查看具体说明并进行对应项的处理。

确定

系统会开始自动添加节点,添加节点的过程会进行一段时间,成功后您会看到成功页面。


五、安装服务


服务需要上传单独的tar,选择上传产品,完后上传后 点击下一步

点击 上传按键,并在以下弹出窗口中选择产品包的位置(可同时上传多个软件包)

上传中

选择产品组件安装

HDFS,YARN,Zookeeper 添加

简单认证模式,下一步

下一步

下一步

确定安装

安装中

安装完成

全局服务

集群已安装的组件

组件监控


六、基本配置


6.1 开启安全


进入全局服务下的Guardian服务详情页,选择一键开启安全

输入密码

完成配置刷新

6.2 安装TDH客户端


Manager页面下载客户端,选择“随产品包上传”下载tdh-client。

选择所有组件 ,确定

下载 后上传/opt路径解压

tar -xvf tdh-client.tar

完成后即可使用TDH-Client。 ** 使用TDH-Client前还需设置JAVA_HOME环境变量。**

执行脚本,请执行位于目录TDH-Client内的脚本init.sh。

source TDH-Client/init.sh

您可以以任何用户执行该脚本,但是我们建议以root用户身份执行。当以其他用户身份执行时,需要输入root密码。

注意 ,用户必须使用source命令执行该脚本。 当新建一个连接到服务的终端session时,都需要重新执行source init.sh,bash init.sh 和 ./init.sh 都不起作用。


6.3 集群外使用hadoop client


首先您需要保证JAVA_HOME设置正确。已准备好TDH-Client(TDH-Client文件夹下有init.sh),下方假定TDH-Client存储路径为:/opt

6.3.1 使用hadoop/hdfs

# 查看 principal
klist -kt /opt/TDH-Client/kerberos/hdfs.keytab
# 认证
kinit -kt /opt/TDH-Client/kerberos/hdfs.keytab hdfs@TDH

创建文件夹和上传文件测试

6.3.2 使用hbase shell


在guardian上下载hbase租户的keytab,假定路径是/tmp/hbase.keytab /opt/TDH-Client/kerberos/hbase.keytab, 如果没有认证直接进入 命令报错如下:

klist -kt /opt/TDH-Client/kerberos/hbase.keytab

确认后执行下方命令方可使用.

source /opt/TDH-Client/init.sh
kinit -kt /opt/TDH-Client/kerberos/hbase.keytab hbase@TDH

hbase shel 进入命令行,创建表kangll , put 数据

create 'kangll',{NAME=>'d',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}
alter  'kangll', {NAME => 't',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}

put 'kangll','e312673c87115b12#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','f8a5414345987335#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','ab68b01fb2fb77d9#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','0fbdc950ab7bac48#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','03852b8d2e682a2d#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','36506147bed193c9#20230215#1','t:md','2023-02-23 18:27:07.692'

查询成功

6.3.3 beeline访问hive


source /opt/TDH-Client/init.sh
kinit -kt /opt/TDH-Client/kerberos/hive.keytab hive@TDH

通过 Beeline 命令行连接

beeline -u 'jdbc:hive2://192.168.3.115:10000/default;principal=hive/tw-manager@TDH;kuser=hive@TDH;keytab=/opt/TDH-Client/kerberos/hive.keytab;auth=kerberos;krb5conf=/etc/krb5.conf'

创建表时,若没有指定存储格式,默认为TextFile,是不支持插入单行或多行的,我们使用select 的方式插入一条数据 作为测试。

Guardian添加winner_spark 用户,kerytab文件自动创建,Guardian页面上面给winner_spark 用户授HBase, HDFS的使用权限。


参考文档地址:

星环科技 | TranswarpCloud


本文转载自: https://blog.csdn.net/qq_35995514/article/details/134178703
版权归原作者 开着拖拉机回家 所有, 如有侵权,请联系我们删除。

“【大数据基础平台】星环TDH社区集群版本部署”的评论:

还没有评论