[AIGC 大数据基础] 浅谈hdfs
HDFS作为Hadoop生态系统的核心组件之一，提供了高容错性、高可扩展性、高吞吐量的分布式文件系统。它适用于大数据存储和处理、数据仓库、分布式日志收集等多种场景。通过使用HDFS，我们可以更好地管理和处理大规模数据集，实现大数据的存储、计算和分析。
大数据小白初探HDFS从零到入门（一）
大数据的本质，就是分布式系统，分布式存储系统，分布式资源调度系统，分布式计算系统，分布式流式处理系统，分布式作业调度系统，分布式搜索引擎系统，分布式NOSQL数据库，分布式数据仓库，各种各样的分布式系统。 离线计算和实时计算的区别在于，离线计算都是计算处理T +1 的数据，而实时计算就是字面意思，实
大数据实验报告英汉对照版（Hadoop安装与配置）
本实验的主要目的是通过在Docker容器中部署Hadoop集群来验证Hadoop对HDFS(分布式文件系统)和MapReduce的支持。通过这个实验，我们的目的是深入了解Hadoop的配置、启动和验证过程，以及Hadoop集群在分布式环境下的工作方式。
Hadoop原理之HDFS
hdfs由三部分组成:分别是 namenode,SecondaryNameNode,datanodenamenode: 主节点.1. 管理整个HDFS集群.2. 维护和管理元数据.SecondaryNameNode: 辅助节点.辅助namenode维护和管理元数据的.datanode: 从节点.1.
hadoop与hdfs
Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduceHadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构
大数据 - Hadoop系列《三》- HDFS（分布式文件系统）概述
当HDFS系统的存储空间不够时,我们只需要添加一台新的机器到当前集群中即可完成扩容,这就是我们所说的横向扩容,而集群的存储能力,是按照整个集群中的所有的机器的存储能力来计算的,这也就是我们所说的高扩容性。,如果使用多台计算机进行存储,虽然解决了数据的存储问题,但是后期的管理和维护成本比较高,因为我们
Hadoop集成对象存储和HDFS磁盘文件存储
计算引擎采用spark on yarn，热数据存储至HDFS，冷数据采用对象存储
5. Hadoop集群操作
Hadoop集群操作：启动集群，监控集群，集群基本测试，停止集群以及集群常用脚本
Python语言连接访问Kerberos认证下的HA HDFS
「目的描述」此篇文章目的是使用Python语言对启用Kerberos、High Availability的HDFS文件系统进行访问，主要介绍KerberosClient、pyarrow、hdfs3三种方式。「环境说明」Python运行环境为3.7.0集群环境为CDH6.2.1(已启用Kerberos
Hadoop期末总复习
Hadoop期末复习
Hadoop-HDFS概览
Hadoop Distributed File System 的缩写，即Hadoop 分布式文件系统。
HDFS常用命令（介绍超详细）
第三步，如何在本地创建readme.txt文件并使用put命令上传到服务端。我们可以看一下是否成功，先看HDFS服务端是否还有readme.txt。第九步，如何将HDFS上readme.txt移动到test文件夹中。首先我们将bigdata.txt拷贝一份命名为hadoop.txt。第十步，如何将H
【Hadoop-HDFS分布式文件系统】
本篇详细介绍了HDFS的工作原理，看完这篇文章对HDFS能够有非常深刻的理解与应用。随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一
flume实验:kafka生产者端通过flume发送信息到HDFS
WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:452) - HDFS IO error：这是一个警告信息，表示Flume在进行HDFS输出时
查看hive表储存在hdfs的哪个目录下
查看hive表储存在hdfs的哪个目录下, 查看一个HDFS目录占用了多少磁盘空间
【Hadoop_04】HDFS的API操作与读写流程
此策略减少了机架间的写入流量，从而总体上提高了写入性能。机架故障的几率远小于节点故障的几率；该策略不影响数据可靠性和可用性保证。但是，它确实减少了读取数据时使用的聚合网络带宽，因为一个数据块只放在两个不同的机架中，而不是三个。使用此策略，文件的副本不会均匀分布在机架上。三分之一的副本位于一个节点上，
学会大数据基础，一篇就够了
本文主要用于大数据基础期末考试，其内容包括Hadoop、hdfs、hbase
hadoop02_HDFS的API操作
根据HDFS的URI和配置，创建FileSystem实例根据路径创建HDFS文件夹根据具体的路径创建文件，并且知名是否以重写的方式根据路径删除文件根据路径，返回该路径下所有文件夹或文件的状态。将本地路径下的文件，挪动到HDFS的指定路径下打开指定路径下的文件内容。
Spark读取HDFS路径文件
有些时候我们希望直接读取HDFS上的文件进行处理，那么我们可以使用 `textFile` 这个方法，这个方法可以将指定路径的文件将其读出，然后转化为Spark中的RDD数据类型。
Flink SQL: 高效解析 Kafka 数据并存储为 Parquet 至 HDFS
Flink SQL应用程序的结构是通过定义一系列任务来执行实时数据处理，这些任务创建必要的表和视图，处理数据，然后将结果插入指定的接收器。这项工作利用 Flink 的流处理能力以及 SQL 和 UDF 来转换和管理数据流
