0


大数据学习的第一课-大数据概论和技术原理

大数据概论

大数据概念

大数据(Big Data),指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据就像矿石,需要汇聚,清洗 ,分析 ,挖掘等处理才能发挥蕴含的价值

为什么会有大数据

1、移动互联网带来的爆炸式的数据增长

2、数据作为一种资产越来越重要

3、存储技术和计算能力的飞速发展

大数据的4v特征

1) Volume 体量巨大

2)Variety 种类繁多

3)Value 价值密度低

4)Velocity 处理速度

大数据的来源

云计算与大数据

云计算提供计算的基础与设施,大数据则是运行在其上的应用

云计算想相当于电力系统,大数据则为电器设备

大数据发展历史

google分别在2003年、2004年以及2006年发布了大数据发展影响重大的三篇论文: 1、The Google File System,简称GFS; 2、MapReduce; 3、Bigtable。 分别论述文件系统、非关系型数据库、并行计算框架

大数据技术原理

将问题简化成一个更简单的能处理的问题

将问题拆分成多个可以简单求解的小问题

大数据的存储技术

先分块,在分散处理再各个结点上去。

存取时,,先从maser结点找到地址,在去slave结点去寻找。

数据文件先分块,在分布式存储到各个文件

典型的Hadoop 的HDFS存储框架采用文件拆分存储在多个结点,每个拆分出的文件存储3个副本的形式存储

大数据的计算技术

数据计算类型的分类

1)离线批处理

2)实时交互计算(流计算)

3)在线计算

数据分析技术

数据分析技术是基于商业目的,有目的的进行收集,整理,加工和分析数据,提炼有价值信息的过程

Hadoop生态圈

Hadoop的分布式存储技术是HDFS;分布式存储不要求底层服务器高性能,多台服务器同时提供服务;冗余存储,副本技术,保障数据安全;分布式存储Hive即为结构化存储

1、HDFS(分布式文件系统)

2、MapReduce (分布式计算框架)

3、Spark(分布式计算框架)

4、Flink(分布式计算框架)

5、Yarn/Mesos (分布式资源管理器)

6、Zookeeper (分布式协作服务)

7、Sqoop (数据同步工具)

8、Hive/lmpala(基于Hadoop的数据仓库)

9、HBase (分布式列存储数据库)10、Flume (日志收集工具)

11、Kafka(分布式消息队列)

12、Oozie (工作流调度器)

采用分步式的方式存储数据时,要考虑数据复制时一致性问题,数据复制与一致性基本原则和设计理念CAP 、ACID 、BASE 等

标签: hadoop 大数据

本文转载自: https://blog.csdn.net/qq_64691289/article/details/127456902
版权归原作者 莫浅子 所有, 如有侵权,请联系我们删除。

“大数据学习的第一课-大数据概论和技术原理”的评论:

还没有评论