hdfs中的租约机制及Flink写hdfs文件未关闭及ORC
主租约是由文件的创建者持有的，它控制着文件的写入和编辑权限。主租约的持有者可以选择将租约延长，以延续对文件的写入和编辑权限。在HDFS中，租约机制的主要目的是确保并发写入时的数据一致性和文件的完整性。通过租约机制，HDFS可以保证在同一时间只有一个用户可以对文件进行写入或编辑操作，从而避免了数据冲突
Flume实战篇-采集Kafka到hdfs
Flume实战篇-采集Kafka到hdfs
Hadoop——HDFS的Java API操作（文件上传、下载、删除等）
HDFS的文件相关操作
2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)
如何使用FlinkSQL读取&写入到文件系统(HDFS\Local)
一百一十七、Hadoop——GZIP压缩并解压HDFS中的文件
GZIP压缩并解压HDFS中的文件
HDFS读写流程详细过程
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）
本篇博客参照hadoop官网，介绍HDFS的NN及DN，副本存放机制（机架感知策略），安全模式，文件系统元数据持久化（editlog,fsimage）,HDFS健壮性，数据组织及存储空间的回收，重点介绍DataNode及NameNode及机架感知策略
【HDFS】hdfs的count命令的参数详解
【HDFS】hdfs的count命令的参数详解
【HDFS】客户端读某个块时，如何对块的各个副本进行网络距离排序？
【HDFS】客户端读某个块时，如何对块的各个副本进行网络距离排序？
大数据课堂笔记 HDFS的shell操作
HDFS的shell操作
HDFS的文件写入和文件读取流程
Pipeline管道：Pipeline，即管道。这是 HDFS 在上传⽂件写数据过程时采⽤的⼀种数据传输⽅式。客户端将数据块写⼊第⼀个数据节点，第⼀个数据节点保存数据之后再将块复制到第⼆个数据节点，后者保存后将其复制到第三个数据节点。通俗描述 pipeline 的过程就是：Client——>DN1—
Hadoop HDFS 安装详细步骤
执行完后，在当前的目录下会出现一个名为 hadoop-2.7.5 的文件目录，这个目录就是 hadoop 的安装目录。1 无法http://meater/dfshealth.html 中显示 其他datenode 节点。到目前为止，HDFS 的配置已经全部结束，接下来我们启动 HDFS 集群，并且验
头歌大数据作业二：搭建Hadoop环境及HDFS
HDFS的数据节点负责处理客户端的读写请求，并将客户端发来的文件分割成存储块，将每个存储块中的数据保存到本地，还会将这些存储块复制到名称节点指定的若干数据节点，以实现冗余存储。答：HDFS联邦中的“块池”，是指每个数据节点所能够存储的最大的数据块数量，它的功能是为了更好的管理数据块的存储空间，可以根
Hadoop集群当中主节点的NameNode进程启动不成功
将主节点的hadoop的包删掉，从从节点将hadoop的包用scp传输过去，因为集群当中的hadoop的包里面的内容都是一样的。在hadoop集群当中的所有节点将中的tmp文件删除和logs文件里面的内容删除里面的的内容，然后重新初始化NameNode。hadoop路径下etc/hadoop路径下面
修炼k8s+flink+hdfs+dlink（二：安装flink）
【代码】修炼k8s+flink+hdfs+dlink（一：安装flink）
一百六十八、Kettle——用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本（持续更新追踪、持续完善）
用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本
【hadoop】hdfs web界面上传文件报Couldn‘t upload the file
hosts文件路径：C:\Windows\System32\drivers\etc。F12打开控制台，看到上传文件接口用域名用的是node-1，解析不到对应的ip。解决办法：修改windows的hosts文件。修改hosts文件的权限，右键鼠标选择属性。然后添加hosts记录，保存。
hdfs命令行操作
hdfs命令行操作
Linux-Hadoop集群测试
通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：`http://192.168.1.101:9870。在HDFS上创建一个目录·BigData·，既可以在WebUI上创
HDFS中的NAMENODE元数据管理（超详细）
文件自身属性信息文件名称、权限、修改时间，文件大小、复制因子、数据块大小文件块位置映射信息记录文件块和DataNode之间的映射信息，即哪个块位于哪个结点上按照存储形式分别为内存元数据和元数据文件两种，分别存在内存和磁盘上SNN可以减小edits logs文件的大小和得到一个最新的fsimage文件
