文章目录
1、Hadoop
- Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它提供了一个可扩展的分布式文件系统（HDFS）和一个分布式计算框架（MapReduce），可以在大量廉价硬件上进行并行计算。
2、HDFS
- HDFS（Hadoop Distributed File System）是Hadoop的分布式文件系统。它被设计用于在集群中存储和管理大规模数据集。HDFS将数据分割成块，并将这些块复制到不同的计算节点上，以提供容错性和高可用性。
- 据我了解，大部分公司一般将模型需要的数据例如csv/libsvm格式的文件都会保存成Hive表并存放在HDFS上。
3、HIVE
- HIVE是基于Hadoop的数据仓库基础设施，提供了一种类似于SQL的查询语言（HiveQL），用于查询和分析存储在Hadoop上的数据。Hive可以将结构化数据映射到Hadoop的分布式文件系统上HDSF上，并提供高层抽象，使用户能够使用类SQL语法进行查询和分析。
- Hive构建在HDFS之上，本质上可
本文转载自: https://blog.csdn.net/weixin_43646592/article/details/130191099
版权归原作者 #苦行僧 所有， 如有侵权，请联系我们删除。
版权归原作者 #苦行僧 所有， 如有侵权，请联系我们删除。