大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
分布式文件系统与HDFS的shell操作及查看元数据
分布式文件系统与HDFS的shell操作及查看元数据
HDFS面试（自己学习版）
大：设置太大，磁盘传输时间明显大于定位块的时间，因为块大了，块总数就相对少了，寻址时间相对少很多，而块过大，磁盘传输时间变大。与寻址时间有关：默认寻址时间为传输时间的百分之一为最优。小：块总数变多，寻址时间增大了。1s*磁盘传输速率就是块大小。假设10ms找到目标，
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
hadoop命令行查看hdfs容量剩余
hadoop dfsadmin -report 也可以通过浏览器访问50070端口查看。
聊聊hdfs中的rpc问题
hdfs中的rpc问题
开启hadoop的命令和方法
要开启 Hadoop，你需要进入 Hadoop 的安装目录，然后输入以下命令：sbin/start-dfs.shsbin/start-yarn.sh这会启动 Hadoop 的两个核心组件：Hadoop Distributed File System (HDFS) 和 Yet Another Reso
配置Kettle连接大数据HDFS
如果需要使用HBase集群，hbase-site.xml文件也需要替换。2.ETL工具Kettle，版本：pdi-ce-7.0.0.0-25。3. Kettle连接HDFS需要替换的Hadoop文件。1.Hadoop集群,版本：Hadoop3.3.0。3.MySQL服务器，版本：mysql5.7.3
Hadoop学习-6-HDFS权限管理
HDFS权限管理
Flink+hadoop部署及Demo
上传并解压到3台服务器配置3台主机的hosts和免密登录。
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这
【HDFS单测】与单测编写相关的一些工具类及方法（大纲篇）持续更新
【HDFS】与单测编写相关的一些工具类及方法（大纲篇）持续更新
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
Hadoop 集群如何升级？
本文提供了详细的升级步骤和注意事项，帮助用户顺利升级Hadoop集群，并保护数据的安全性。
hadoop集群全部都启动了，但是还是访问不了网页的解决方法
实操中出现的问题
大数据存储系统HDFS和对象存储(OOS/S3)的比较
虽然Apache Hadoop以前都是使用HDFS的，但是当Hadoop的文件系统的需求产生时候也能使用S3。Netflix的利用这个特性把数据存储在S3上而不是HDFS上。笔者曾经工作经历的大数据集群存储都是用HDFS，当前工作接触到对象存储S3，在实践中比较两者的不同之处。
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
HDFS集群部署成功但网页无法打开如何解决（显示配置通过浏览器访问hdfs的端口）
HDFS集群部署成功（3台虚拟机）但是网页端无法打开，通过显示指定端口解决！！
hadoop集群slave节点jps后没有datanode解决方案
3.切换到slave节点，将/usr/local/hadoop/tmp/dfs/data/current里的VERSION文件中的clusterID替换成与master的VERSION文件中clusterID一致。2.找到安装hadoop的文件夹，我的是(/usr/local/hadoop)再找到里
大数据技术分享 4.HDFS常用命令
（15）-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…（9）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限。（10）-copyFromLocal：从本地文件系统中拷贝文件到h
