三台异构服务器搭建hadoop HA集群史上最详细方案（HDFS+YARN）
三台异构主机配置hadoop高可用环境，网上见到的HA的少，记录一下
HDFS常用命令
正则匹配OriginalFilePath目录下的文件（夹），批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式。查看yarn集群中正在运行的应用，可以看到各个应用的执行状态和进度（progress可能不准确，一直为10%）查看所有处于running状
Hadoop启动后没有namenode进程的解决办法
【代码】Hadoop启动后没有namenode进程的解决办法。
CDH6.3.2-组件安装&安全认证
CDH6.3.2-组件安装&安全认证
9、Elasticsearch7.6.1 ES与HDFS相互转存数据-ES-Hadoop
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本
HDFS基本操作命令
命令：hadoop fs -getmerge [-n1] [-skip-empty-file]-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录。下载文件到本地文件系统指定目录，localdst必须是目录。和-put功能一样，只不过上传结束，源数据会被删除。-p保留访问和修改
bash: 未预期的符号 `newline‘ 附近有语法错误——解决方法
bash: 未预期的符号 `newline' 附近有语法错误
大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
分布式文件系统与HDFS的shell操作及查看元数据
分布式文件系统与HDFS的shell操作及查看元数据
HDFS面试（自己学习版）
大：设置太大，磁盘传输时间明显大于定位块的时间，因为块大了，块总数就相对少了，寻址时间相对少很多，而块过大，磁盘传输时间变大。与寻址时间有关：默认寻址时间为传输时间的百分之一为最优。小：块总数变多，寻址时间增大了。1s*磁盘传输速率就是块大小。假设10ms找到目标，
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
hadoop命令行查看hdfs容量剩余
hadoop dfsadmin -report 也可以通过浏览器访问50070端口查看。
聊聊hdfs中的rpc问题
hdfs中的rpc问题
开启hadoop的命令和方法
要开启 Hadoop，你需要进入 Hadoop 的安装目录，然后输入以下命令：sbin/start-dfs.shsbin/start-yarn.sh这会启动 Hadoop 的两个核心组件：Hadoop Distributed File System (HDFS) 和 Yet Another Reso
配置Kettle连接大数据HDFS
如果需要使用HBase集群，hbase-site.xml文件也需要替换。2.ETL工具Kettle，版本：pdi-ce-7.0.0.0-25。3. Kettle连接HDFS需要替换的Hadoop文件。1.Hadoop集群,版本：Hadoop3.3.0。3.MySQL服务器，版本：mysql5.7.3
Hadoop学习-6-HDFS权限管理
HDFS权限管理
Flink+hadoop部署及Demo
上传并解压到3台服务器配置3台主机的hosts和免密登录。
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这
【HDFS单测】与单测编写相关的一些工具类及方法（大纲篇）持续更新
【HDFS】与单测编写相关的一些工具类及方法（大纲篇）持续更新
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
