文章目录
一、基础知识
1.1 大数据概念
大数据概念
- 什么是大数据- 大数据是指那些传统数据处理软件难以处理的大量、高速或多样化信息资产。大数据的特点通常被总结为“4V”：Volume（体量大）、Velocity（速度快）、Variety（多样性）、Veracity（真实性）。
- 大数据处理的需求和挑战- 需要新的技术来存储、处理和分析这些海量数据。挑战包括数据质量控制、数据安全、隐私保护、数据治理、高性能处理等。
- 大数据生态系统概览- 包括Hadoop、Spark、HBase、Cassandra、Elasticsearch、Kafka、Flink等。
示例：一个电商网站每天产生数百万条交易记录，这些记录需要进行实时分析以优化推荐系统。
1.2 Spark介绍
本文转载自: https://blog.csdn.net/Davina_yu/article/details/143613703
版权归原作者 Davina_yu 所有， 如有侵权，请联系我们删除。
版权归原作者 Davina_yu 所有， 如有侵权，请联系我们删除。