文章目录
1、Hadoop
- Hadoop是一个开源的分布式计算框架,用于存储和处理大规模数据集。它提供了一个可扩展的分布式文件系统(HDFS)和一个分布式计算框架(MapReduce),可以在大量廉价硬件上进行并行计算。
2、HDFS
- HDFS(Hadoop Distributed File System)是Hadoop的分布式文件系统。它被设计用于在集群中存储和管理大规模数据集。HDFS将数据分割成块,并将这些块复制到不同的计算节点上,以提供容错性和高可用性。
- 据我了解,大部分公司一般将模型需要的数据例如csv/libsvm格式的文件都会保存成Hive表并存放在HDFS上。
3、HIVE
- HIVE是基于Hadoop的数据仓库基础设施,提供了一种类似于SQL的查询语言(HiveQL),用于查询和分析存储在Hadoop上的数据。Hive可以将结构化数据映射到Hadoop的分布式文件系统上HDSF上,并提供高层抽象,使用户能够使用类SQL语法进行查询和分析。
- Hive构建在HDFS之上,本质上可
本文转载自: https://blog.csdn.net/weixin_43646592/article/details/130191099
版权归原作者 #苦行僧 所有, 如有侵权,请联系我们删除。
版权归原作者 #苦行僧 所有, 如有侵权,请联系我们删除。