浅谈什么是大数据

浅谈什么是大数据

有人可能发现了，我这个专栏写的就是大数据，所以我们一起来谈谈大数据。

大数据概念

百度百科：对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

主要解决的就是海量数据的存储以及海量数据的计算问题。

按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

1Byte = 8bit 1K = 1024Byte 1MB = 1024K

1G = 1024M 1T = 1024G 1P = 1024T

有小伙伴知道为什么会出现大数据这个概念吗？和我一起想一下，假如说，有一对小情侣，谈的异地恋，天天聊天，天天都要腻腻歪歪，每天聊天得聊天记录又舍不得删除，偶尔甚至把对方的每一次照片都保存，每一次视频都放在手机里，一直也舍不得删，那么我们假设他们每天产生的聊天，照片加起来，一天大概聊个上千字，不算多吧，

有人杠就是单身！！！，打视频就另当别论

，一个月最少能有7-8MB的数据，不吵架的话哈！！！那么，我们都知道，这个聊天记录，qq或者微信，假如说你正常使用的话，qq不加任何权限的话，官方会为你保存7天的聊天记录，全球注册qq的至少有1个亿的人多多少少的会通过微信或者qq聊天吧，腾讯将它保存下来，多耗费的空间是巨大的吧，7天每个人算1MB的数据，就有大约96TB左右的数据，这还是没有任何的云磁盘存各种文件，视频等的，一般我在百度上搜了一下，大概一个服务器最大能够利用的应该有192TB,

或许不准确，别杠，杠就是你赢

,你想想，你的几张图片就比他大了，里面还得存你的账号其他信息吧，所以，这么大的数据，原来的磁盘压根就存不下那么多数据，并且数据太多了，查询什么的也不方便。这就是数据。有人就杠，我可以多来几个存嘛，是的，可以，能用加钱解决的事都是小事，可是，以前的某某地图，导航没有道路，10分钟的路程，加载5分钟，你愿意去使用吗？而大数据它怎么做的呢？嘿嘿，不告诉你，和我一起往下学吧。

特点：（4V）

• 规模性（Volume）:随着信息化技术的高速发展，数据开始爆发性增长。大数据中的数据不再以几个GB或几个TB为单位来衡量，而是以PB（1千个T）、EB（1百万个T）或ZB（10亿个T）为计量单位。
• 高速性（Velocity）:这是大数据区分于传统数据挖掘最显著的特征。大数据与海量数据的重要区别在两方面：- 大数据的数据规模更大；- 大数据对处理数据的响应速度有更严格的要求。实时分析而非批量分析，数据输入、处理与丢弃立刻见效，几乎无延迟。数据的增长速度和处理速度是大数据高速性的重要体现。
• 多样性（Variety）:多样性主要体现在数据来源多、数据类型多和数据之间关联性强这三个方面。- 数据来源多，企业所面对的传统数据主要是交易数据，而互联网和物联网的发展，带来了诸如社交网站、传感器等多种来源的数据。而由于数据来源于不同的应用系统和不同的设备，决定了大数据形式的多样性。大体可以分为三类：- 结构化数据，如财务系统数据、信息管理系统数据、医疗系统数据等，其特点是数据间因果关系强；- 非结构化的数据，如视频、图片、音频等，其特点是数据间没有因果关系；- 半结构化数据，如HTML文档、邮件、网页等，其特点是数据间的因果关系弱。- 数据类型多，并且以非结构化数据为主。传统的企业中，数据都是以表格的形式保存。而大数据中有70％-85％的数据是如图片、音频、视频、网络日志、链接信息等非结构化和半结构化的数据。- 数据之间关联性强，频繁交互，如游客在旅游途中上传的照片和日志，就与游客的位置、行程等信息有很强的关联性。
• 价值性（Value）:尽管企业拥有大量数据，但是发挥价值的仅是其中非常小的部分。大数据背后潜藏的价值巨大。由于大数据中有价值的数据所占比例很小，而大数据真正的价值体现在从大量不相关的各种类型的数据中。挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，并运用于农业、金融、医疗等各个领域，以期创造更大的价值。

大数据应用场景

应用场景一：京东

物流仓库：大数据分析系统帮助商家精细化运营、提升销量、节约成本。

京东大数据研究院

京东物流：上午下单下午到，下午下单明日收！(虽然有的时候没那么夸张，但是京东几乎能做到。)

京东大数据智慧物流

应用场景二：啤酒与尿布

哈哈，这个案例，我都不想说啥，都听到耳熟能详的，就不细说了，摸条鱼。

应用场景三：人工智能

你平时下棋能预测到几步之后，我一般，10步就是极限了，人工智能呢，你的每一步都在我的计划之中，你怎么玩，怎们玩你都是个憨憨！！！

学习大数据的前景

国家政策：

大数据国家政策

社会前景： 党的十八届五中全会将大数据上升为国家战略。回顾过去几年的发展，我国大数据发展可总结为：“进步长足，基础渐厚；喧嚣已逝，理性回归；成果丰硕，短板仍在；势头强劲，前景光明”。国际数据公司IDC预测，到2020年，企业基于大数据计算分析平台的支出将突破5000亿美元。目前，我国大数据人才只有46万，未来3到5年人才缺口达150万之多。

大数据人才缺口将长期存在

就业升值钱景： 新兴行业嘛，大牛少，升值压力小。

大数据部门组织结构

我说了这么多，你不来看看?不给我来个订阅吗？嘿嘿嘿。我这后面是不是得再来一个什么带货才对，总感觉自己在打广告的样子。。