【HDFS单测】与单测编写相关的一些工具类及方法(大纲篇)持续更新
【HDFS】与单测编写相关的一些工具类及方法(大纲篇)持续更新
Zookeeper下载和安装
Zookeeper下载安装教程:本地安装,集群安装
hive 入门 配置hiveserver2 (三)
Hive的hiveserver2服务的作用是提供jdbc/odbc接口,为用户,例如用户期望在个人电脑中访问远程服务中的Hive数据,就需要用到Hiveserver2。
用户认证——Kerberos集成Hadoop的配置
Hadoop Kerberos配置
hadoop的组件有哪些
Apache Hadoop是一个分布式计算系统,它主要由以下几个组件组成:Hadoop Distributed File System(HDFS):这是Hadoop的分布式文件系统,负责存储大量的数据,并且能够以容错的方式进行读写。MapReduce:这是Hadoop的核心组件,它负责处理大规模的数
大数据开发之windows安装hadoop教程
本文主要介绍如何在windows上安装hadoop
Hive ---- 文件格式和压缩
为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示:Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
Hadoop
CentOS下Hadoop的安装和配置,有问题欢迎大家评论区交流!!!
Hive SQL 迁移 Flink SQL 在快手的实践
快手数据架构工程师张芒,阿里云工程师刘大龙,在 Flink Forward Asia 2022 生产实践专场的分享。
[选型] 实时数仓之技术选型
关于实时数仓的选型● 如果选择hbase,建议选择kudu● 如果选择kudu, 还可以选择doris● 如果选择doris,建议选择iceberg
解决java: 程序包org.apache.hadoop.conf不存在的一种冷门思路
我们在用idea编译Hadoop项目时,明明已经导入了相关的jre依赖包,但是编译时提示包不存在。原因是我们还没在项目的pom.xml文件中配置相关的变量
HIVE基础-文件存储格式
对 HIVE 文件四种主要存储格式(textfile、sequencefile、orc、parquet)进行详细介绍
Hadoop和Hbase版本对应关系(参考官网)
Hadoop和Hbase版本对应关系(参考官网)
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
ZooKeeper
ZooKeeper入门
Hadoop 集群如何升级?
本文提供了详细的升级步骤和注意事项,帮助用户顺利升级Hadoop集群,并保护数据的安全性。
hadoop本地化windows部署
· hadoop on windows· hive on windows· spark on windows(提交方式是spark on yarn)
hadoop集群全部都启动了,但是还是访问不了网页的解决方法
实操中出现的问题
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
这是博主在升级过程中遇到的问题记录,大家不一定遇到过,如果不是 CDH 平台的话,单是 hive 服务升级应该是不会有这些问题的,且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文,前面的升级步骤基本一致,但是升级过程只有我遇到了这些问题吗?单拎出来这些报错,度娘多多少少还是可以找到一
判断hadoop伪分布式安装模式是否成功启动
判断hadoop伪分布式安装模式是否成功启动