查看hive表储存在hdfs的哪个目录下
查看hive表储存在hdfs的哪个目录下, 查看一个HDFS目录占用了多少磁盘空间
【Hadoop_04】HDFS的API操作与读写流程
此策略减少了机架间的写入流量，从而总体上提高了写入性能。机架故障的几率远小于节点故障的几率；该策略不影响数据可靠性和可用性保证。但是，它确实减少了读取数据时使用的聚合网络带宽，因为一个数据块只放在两个不同的机架中，而不是三个。使用此策略，文件的副本不会均匀分布在机架上。三分之一的副本位于一个节点上，
学会大数据基础，一篇就够了
本文主要用于大数据基础期末考试，其内容包括Hadoop、hdfs、hbase
hadoop02_HDFS的API操作
根据HDFS的URI和配置，创建FileSystem实例根据路径创建HDFS文件夹根据具体的路径创建文件，并且知名是否以重写的方式根据路径删除文件根据路径，返回该路径下所有文件夹或文件的状态。将本地路径下的文件，挪动到HDFS的指定路径下打开指定路径下的文件内容。
Spark读取HDFS路径文件
有些时候我们希望直接读取HDFS上的文件进行处理，那么我们可以使用 `textFile` 这个方法，这个方法可以将指定路径的文件将其读出，然后转化为Spark中的RDD数据类型。
Flink SQL: 高效解析 Kafka 数据并存储为 Parquet 至 HDFS
Flink SQL应用程序的结构是通过定义一系列任务来执行实时数据处理，这些任务创建必要的表和视图，处理数据，然后将结果插入指定的接收器。这项工作利用 Flink 的流处理能力以及 SQL 和 UDF 来转换和管理数据流
【Hadoop精讲】HDFS详解
Hadoop精讲、HDFS详解、副本放置策略、元数据持久化
Hadoop入门详解以及Hadoop集群搭建
Hadoop基础知识入门详解，CentOs8搭建Hadoop集群
Python 使用Hadoop 3 之HDFS 总结
调用文件系统(HDFS)Shell命令应使用 bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就
Hadoop集群安全模式&磁盘修复
dfs.namenode.safemode.threshold-pct:副本数达到最小要求的block占系统总block数的百分比，默认0.999f。dfs.namenode.safemode.min.datanodes:最小可用datanode数量，默认0。dfs.namenode.safemod
hadoop-hdfs简介及常用命令详解（超详细）
本文介绍了HDFS（Hadoop Distributed File System）的概念、架构和常用操作。HDFS是一个分布式文件系统，适用于存储和处理大规模数据集。文章首先简要介绍了HDFS的概述，包括其设计目标和架构组件。接着详细介绍了HDFS命令的基本语法和常用选项，如列出文件和目录、创建目录
集群配置，hadoop配置过程，细节满满
(2)如果你的集群虚拟机已经都创建完成，且确保网络，ssh密钥登陆 都做好了后，就可以开始安装jdk和hadoop了。/usr/local/src/hadoop/etc/hadoop 中的对应配置文件中加入下面的相关参数。这一步是集群配置的关键。做一个hadoop的配置流程的全记录，把遇到的问题和细
MapRecuce 词频统计案例
MapReduce词频统计案例
HDFS概述及其优缺点
HDFS的全称是hadoop distributed file system，即hadoop的分布式文件系统。见名知意，它就是用来进行文件存储的。毕竟它是大数据的一个组件，用来存储这种海量的数据。它是基于03年10月份，谷歌发表的GFS这篇论文做的开源实现。目前是hadoop的一个核心子项目，用来解
大数据技术原理与应用-林子雨版-第二章课后习题
在配置 Hadoop 时，Java 的路径 JAVA_HOME 是在 Hadoop 的环境变量配置文件中进行设置的。默认情况下，Hadoop 会在其安装目录下的 etc/hadoop 目录中包含一个名为 hadoop-env.sh 的文件，该文件定义了 Hadoop 的环境变量配置信息，其中包括 J
大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS
大数据技术基础实验八，学习安装部署Flume并将写入Flume的文件数据上传至HDFS。
HDFS的JAVA API操作
HDFS JAVA API操作详解
Hadoop框架---HDFS的Shell命令操作
其有很多命令，但在生产环境中我们经常使用的命令并没有那么多，因此需要时再回头查阅上图中的命令即可。put命令和copyFromLocal命令有着相同的复制效果，所以我们。这里我们把3台服务器各自对应的节点都打开了，为了方便后续测试。在使用shell命令前，一定要确保我们的Hadoop。自由选择以上任
MapReduce词频统计（一）
在Map阶段，文件wordfile1.txt和文件wordfile2.txt中的文本数据被读入，以<key,value>的形式提交给Map函数进行处理，其中，key是当前读取到的行的地址偏移量，value是当前读取到的行的内容。<key,value>提交给Map函数以后，就可以运行我们自定义的Map
大数据技术原理与应用 概念、存储、处理、分析和应用（林子雨）——第三章 分布式文件系统HDFS
林子雨主编的大数据技术原理与应用第三章学习记录。
