大数据技术原理与应用 大作业--------微博精准营销案例设计与实现

微博精准营销案例设计与实现

摘要

随着科学技术和互联网及网技术的高速发展，大数据的时代已经悄然来临，尤其是在我们当今这个信息爆炸的时代中，这已经成为推动社会生产力发展的一个极其重要的因素。如果一家企业或者公司具备对大数据的卓越的分析能力，那么这个公司或者企业已然在时代的竞争的取得了及其有利的地位，并且所获得的数据也成为了企业的及其重要的一部分资产。众所周知，微博作为信息交流的一个重要场所，在这个大数据的时代里，社会上每时每刻所发生的事情只要我们有手机有互联网，我们就可以无时无刻看到社会上各个角落所发生的事情。
近十几年间，随着在信息技术的蓬勃发展，我们每个人才开始有机会在微博进行交流和分析，并取得了丰硕的研究成果和广泛的应用价值。其次我们应该确定微博营销的方向确定企业的目标，微博精准营销的目标以及目标受众，并挖掘微博精准营销所带来的价值，为企业的长久发展制定目标并且制定相应的战略，进一步作出规划运营。微博营销我们应分析以下几个方面，比如分析微博的功能。如今微博已经成为信息交流和信息传播的一个及其重要的平台，建立一个有秩序有条理的微博平台和微博精准营销的案例分析，方便进一步的交流及商业应用。随着大数据技术的蓬勃发展，我们企业微博营销本着企业微博管理需要和企业微博营销目的一致的原则，首先我们应该保持微博自身的独特性，从而实现微博的精准营销和企业利益的最大化，这篇文章主要探讨在大数据爆炸的时代背景下，微博精准营销案例的实现，并探讨其所带来的机遇与挑战并提出相应的策略。企业与目标用户进行交流的愿望，众所周知，微博就是一种新的交流方式，是一种新的互联网交流平台，顾名思义，微博就是微型的博客，我们都可以在微博上面分享很多事情，也可以看到这个每时每刻所发生的很多事情。微博作为一个及其重要的交流平台，在中国有着及其多的用户，它的运营方式以及存在价值还需要我们去探讨。

关键字：大数据时代；企业；用户；微博；精准营销

Abstract

With the rapid development of science and technology and Internet and network technology, the era of big data has been quietly coming, especially in our current era of information explosion, which has become an extremely important factor to promote the development of social productive forces.If an enterprise or company has the excellent ability to analyze big data, then the company or enterprise has already gained a favorable position in The Times, and the data obtained has become an enterprise and its important part of the assets.As we know to all, Weibo, as an important place for information exchange, in this era of big data, everything happens in the society as long as we have mobile phones and the Internet, we can see what happens in every corner of the society all the time.
In the past ten years, with the vigorous development of information technology, each of us began to have the opportunity to communicate and analyze it on Weibo, and has achieved fruitful research results and extensive application value.Nowadays, Weibo has become an important platform for information communication and information communication. It has established an orderly microblog platform and case analysis of microblog precision marketing to facilitate further communication and commercial applications.With the booming development of big data technology, our enterprise weibo marketing in line with the principle of enterprise weibo management needs and enterprise weibo marketing consistent purpose, first of all, we should maintain the uniqueness of weibo itself, so as to realize weibo precision marketing and maximize enterprise interests, this article mainly discusses in the era of big data explosion, weibo accurate marketing cases, and explore the opportunities and challenges and put forward the corresponding strategy.First of all, we should determine the direction of microblog marketing to determine the target of the enterprise, the target of microblog precision marketing and the target audience, and tap the value brought by microblog precision marketing, set goals for the long-term development of enterprises, formulate corresponding strategies, and make further planning and operation.Weibo marketing we should analyze the following aspects, such as analysis function, enterprises to communicate with target users, as is known to all, weibo is a new way of communication, is a new Internet communication platform, as the name suggests, weibo is micro blog, we can share a lot of things on weibo, can also see a lot of things happen every moment.As an important and important communication platform, Weibo has so many users in China, and we need to discuss its operation mode and existence value of Weibo.

Keywords: big data era; enterprises; users; Weibo;lprecision marketing

目 录

1. 概述 7 2.相关技术介绍 7 2.1Hadoop分布式系统 7 2.1.1.Hadoop概述 7 2.2Hadoop国内外研究现状 9 2.2.1关于精准营销方面的研究 9 2.3 MapReduce分布式计算 10 2.3.1理解MapReduce思想 10 3.利用MapReduce进行数据分析 11 3.1.1在该包下编写单表关联的MapReduce程序 11 3.1.2包名建立完毕 12 3.1.3完成类文件的创建 12 3.1.4编写FirstJob类的程序代码 13 3.1.5建立TwoJob类文件 13 3.1.6完成TwoJob类文件的创建 13 3.1.7编写TwoJob类的程序代码 14 3.2建立LastJob类文件并编写LastJob类 14 3.2.1选中新创建的包（Package）名“experiment” 14 3.2.2 完成Reducer类文件的创建 15 3.2.3 编写LastJob类的程序代码 15 3.3运行程序与结果验证 16 3.3.1IDEA下Maven项目中FirstJob运行过程 16 3.3.2 运行时会在IDEA工具下的控制台显示运行的结果。 16 3.3.3 观察程序的运行过程 16 3.3.4 HDFS中验证FirstJob运行结果 16 3.3.5 查询运行结果 16 3.3.6 查询运行结果中的内容 17 3.4 IDEA下Maven项目中TwoJob运行过程 17 3.4.1 打开要运行的程序“TwoJob” 17 3.4.2 显示运行的结果 18 3.5 HDFS中验证TwoJob运行结果 18 3.5.1 查询运行结果 18 3.5.2 19 3.6 IDEA下Maven项目中LastJob运行过程 19 3.6.1调用的MapReduce程序 19 3.6.2 显示运行的结果 20 3.7 HDFS中验证TwoJob运行结果 20 3.7.1 查询运行结果 20 3.7.2 查询运行结果中的内容 21 3.7.3 释放程序用到的数据目录 21 3.7.4 释放程序用到的输出目录 21
2. 总结 22

参考文献 23

1.概述

随着互联网技术的快速发展，我们进入了一个高速发展的的信息时代，这个世界无时无刻不在产生着数据，我们每天在网络上制造和传播着各种各样的信息以及数据，并且我们随时都在更新并且刷新着数据。伴随着我国经济的高速发展，我们每个人的生活方式都得到了极大的改善，物质水平也得到了极大的提升，我们每个人不再是只想吃饱的愿望，而是生活各方面都需要极大的满足，我们的消费方式也逐渐变得多样化起来，除了线下消费，我们现在还有网购等多种方式，人们的生活变得丰富多彩。如何从消费者的购物方式，以及购物数据中挖掘消费者的购物信息，成了一个及其重要的问题。微博（Micro-blog）是由新浪网推出的，又叫微型博客。微博是指一种基于用户分享信息，传播信息以及获取信息的通过点赞关注等方式分享数据信息的广播式的社交媒体及网络平台。普通用户可以通过手机客户端，网页端等方式在网上交流传播信息。据悉，2009年微博正式增加了点赞，转发功能，方便用户更好的进行信息交流，以及数据传播。如今微博已经成为信息交流和信息传播的一个及其重要的平台，建立一个有秩序有条理的微博平台和微博精准营销的案例分析，方便进一步的交流及商业应用。随着大数据技术的蓬勃发展，我们企业微博营销本着企业微博管理需要和企业微博营销目的一致的原则，首先我们应该保持微博自身的独特性，从而实现微博的精准营销和企业利益的最大化，这篇文章主要探讨在大数据爆炸的时代背景下，微博精准营销案例的实现，并探讨其所带来的机遇与挑战并提出相应的策略。微博本身就是供广大网民留言讨论的地方，在微博这个平台上，只要是在法律允许的范围内，我们每个人都可以尽情地讨论这个世界上每时每刻所发生的所有事情，任何人都可以编辑和发布微博，当然也可以评论和转发微博。互联网时代，每个网民在网上分享，传播信息都会留下足迹，由此可产生大量数据。这些数据包括互联网用户的个人的信息，他们的浏览记录，转发点赞等记录都可以被保留下来。专业人员可以对这些信息进行分类整理，进而了解到每个人都需要什么东西并为他们推送他们更加关心的信息。企业可以根据这些数据进行精准营销，这就是本文的研究目的。

2.相关技术介绍

2.1Hadoop分布式系统

2.1.1.Hadoop概述

Hadoop是分布式软件系统中文件系统的软件，它实现了分布式文件系统和部分分布式数据库的功能 。 Hadoop中的分布式文件系统HDFS能够实现数据在计算机集群组成的云上高效的存储和管理，Hadoop中的并行编程框架MapReduce能够让用户编写的Hadoop并行应用程序运行更加简化。启动Hadoop平台。具体的启动方法：鼠标双击桌面上的“Konsole”图标，打开终端，在终端命令窗口中输入Hadoop启动命令。由于配置不同，start-all.sh命令后显示的界面与下面可能有出入，也不要紧，只要保证第2步的jps后，守护进程对就可以。

图一
输入jps命令，查看Hadoop启动的守护进程。如果系统有其它程序同时运行，守护进程的界面可能与下面稍有不同。但只要保证“NodeManager、SecondaryNameNode、NameNode、DataNode、ResourceManager”进程在界面上有显示即可，不用关注是否有其它进程，或者进程前的数字。

图二
实验前数据的准备

图三
至此，用于实验数据的HDFS下文件目录准备完成。
2.2Hadoop国内外研究现状
2.2.1关于精准营销方面的研究
自精准营销这一概念提出以来，就引发了我国学术界的强烈关注，尤其是受到我国互联网方面有关学者的强烈关注，相关学者对精准营销的相应理论和运用方法进行了深入地研究。
其中，我国的伍青生、余颖、郑兴山等人在2006年基于精准营销的主要核心思想、基本特征及其理论基础进行了深入的分析概括，他们首次提出了精准营销的运营体系是由六个方面组成，实施精准营销的方法就是数据库营销的方法、以互联网为主要基础的方法等三个类型同时结合具体现实生活中的实例进行了分析总结。使大众了解到精准营销发展的三个趋势。我国的王俊、陈贵松、田家华在2009年对精准营的基本概念进行了解释说明，并且从产品内容及有关价格、销售渠道和广告投放等各个方面进行了对精准营销有关方式的研究讨论。我国国内学者在精准营销的研究方面更加注重于营销策略的研究讨论，探索其在各行各业的应用。
2005年,国外学者菲利普.科特勒首次明确地提出了精准营销理论。他认为：精准营销指的是企业及其组织采取更加精准、更加高效可衡量和高投资高回报的营销方式，制定更有效率更加注重结果和行动的精准营销策略。
2008年，美国学者Jef Zabin和Gresh Brebach将定义精准营销为：精准营销以消费者为中心，通过对消费者消费需求的了解之后，通过多种高效的方式，在合适的时间、合适的地点、以最有利于消费者的价格，通过合法正确的渠道，向合适的顾客提供正确的产品，进一步实现更加高效的营销利润，从而弥补以前旧的营销方式的不足。

2.3 MapReduce分布式计算

2.3.1理解MapReduce思想

 MapReduce思想表现在生活中的各个方面，其实我们每个人都或多或少的接触过这种思想。MapReduce的核心思想是“分而治之”，这个适用于繁多复杂的任务处理上。即使是实现了分布式计算的谷歌也不能自己原创出这一思想，它仅仅是实现了这一思想。Map的主要负责是"分"，即把繁多且复杂的任务分解为若干个小的“简单的任务”来进行处理。“分”的主要前提就是这些一个个的小任务可以进行计算且之前不存在依赖关系。Reduce的主要负责是“合”，即对map阶段的计算结果进行汇总。这两个部分组合起来就是MapReduce的整体思想概况。

图四

2.3.2Hadoop MapReduce设计构思

​ MapReduce是一个分布式运算程序的编程框架，它的主要功能就是将用户编写的业务逻辑代码和自身携带组件组合成一个完整的分布式运算程序，并且运行在Hadoop集群上。我们做的是计算的框架所以就存在输入（input）和MapReduce操作输入（input），进而得到得到一个输出（output）。对于我们普通开发人员来说构造一个分布式框架太难,而MapReduce就是一种简化并行计算的编程模型，降低了开发人员的设计难度。
Hadoop MapReduce构思主要体现在以下几方面：
第一：对大数据进行处理：分而治之
第二：对不存在依赖关系的大数据，就采用采取分而治之的方式。并行计算的首个重要问题我们如何将繁多且复杂的任务分解成一个个小的部分。不可继续拆分的计算任务或者有依赖关系的大数据是无法进行并行计算。
第三：构建抽象模型：Map Reduce
MapReduce中定义了如下的Map和Reduce。
map: (k1; v1) → [(k2; v2)]
reduce: (k2; [v2]) → [(k3; v3)]
Map和Reduce为用户提供了一个操作接口。

2.4 HDFS分布式文件系统

2.4.1分布式文件系统详细介绍

分布式文件系统中详细介绍了在hadoop中，分布式文件系统HDFS存在一个抽象对于文件系统，是一个实现类，也就是说分布式文件系统相当于是一个接口，它定义了许多标准而且HDFS就是一个实现类，分布式文件系统有很多个实现类。

图五

3.利用MapReduce进行数据分析

3.1打开IDEA，建立包名

3.1.1在该包下编写单表关联的MapReduce程序
在IDEA工具的左侧窗口中的project项目下，可以看见新创建的包名。

图六
3.1.2包名建立完毕
下面可以开始进行MapReduce程序的编写工作了。建立FirstJob类文件，编写FirstJob类。选中新创建的包（Package）名“experiment”,鼠标右键选择它的子项“New”下的“Java Class”选项。

图七
3.1.3完成类文件的创建
在弹出的窗口“Create New Class”中输入要建立的文件的名字“FirstJob”和类型“Class”，然后点击“OK”按钮，。

图八
3.1.4编写FirstJob类的程序代码
此时在IDEA工具左侧窗口中的项目Project中包“experiment”下会看到新建立的类文件FirstJob，并且在IDEA工具的中央窗口中会看见新建立的类文件的内容，我们就在该窗口中。

图九
3.1.5建立TwoJob类文件
编写TwoJob类。选中新创建的包（Package）名“experiment”,鼠标右键选择它的子项“New”下的“Java Class”。

图十
3.1.6完成TwoJob类文件的创建
在弹出的窗口“Create New Class”中输入要建立的文件的名字“TwoJob”和类型“Class”，然后点击“OK”按钮，。

图十一
3.1.7编写TwoJob类的程序代码
此时在IDEA工具左侧窗口项目Project中包“experiment”下会看到新建立的类文件，并且在IDEA工具的中央窗口中会看见新建立的类文件“TwoJob”的内容，我们在该窗口中。

图十二
3.2建立LastJob类文件并编写LastJob类
3.2.1选中新创建的包（Package）名“experiment”
鼠标右键选择它的子项“New”下的“Java Class”。

图十三
3.2.2 完成Reducer类文件的创建
在弹出的窗口“Create New Class”中输入要建立的文件的名字“LastJob”和类型“Class”，然后点击“OK”按钮，。

图十四
3.2.3 编写LastJob类的程序代码
此时在IDEA工具左侧窗口项目Project中包“experiment”下会看到新建立的类文件，并且在IDEA工具的中央窗口中会看见新建立的类文件“LastJob”的内容。

图十五
3.3运行程序与结果验证
3.3.1IDEA下Maven项目中FirstJob运行过程

图十六

3.3.2 运行时会在IDEA工具下的控制台显示运行的结果。

图十七

3.3.3 观察程序的运行过程
可将Linux平台下/opt/hadoop/etc/hadoop/路径中的log4j.properties文件拷贝至IDEA工具下项目project中的resources下。运行后，会在控制台中显示MapReduce过程的描述。例如启动的JobID，一共启动了多个少Mapper等等信息。
3.3.4 HDFS中验证FirstJob运行结果
3.3.5 查询运行结果
其中datas下是计算用的数据，而output下的part开头的是运行结果。

图十八

3.3.6 查询运行结果中的内容

图十九

3.4 IDEA下Maven项目中TwoJob运行过程
3.4.1 打开要运行的程序“TwoJob”
在窗口中点击鼠标右键，在弹出的窗口中点击“Run TwoJob.main()”选项，开始运行TwoJob中main方法中调用的MapReduce程序。

图二十

3.4.2 显示运行的结果

图二十一

3.5 HDFS中验证TwoJob运行结果
3.5.1 查询运行结果
其中datas下是计算用的数据，而output/output2下的part开头的是运行结果。

图二十二

3.5.2 查询运行结果中的内容。部分截图如下

图二十三

3.6 IDEA下Maven项目中LastJob运行过程
3.6.1调用的MapReduce程序
在IDEA工具下刚建立完的项目project下打开要运行的程序“LastJob”，并在窗口中点击鼠标右键，在弹出的窗口中点击“Run LastJob.main()”选项，开始运行LastJob中main方法中。

图二十四

3.6.2 显示运行的结果

图二十五

3.7 HDFS中验证TwoJob运行结果
3.7.1 查询运行结果
其中datas下是计算用的数据，而output/output3下的part开头的是运行结果。

图二十六

3.7.2 查询运行结果中的内容

图二十七

3.7.3 释放程序用到的数据目录

图二十八

3.7.4 释放程序用到的输出目录

图二十九

4.总结

通过完成此次大作业，我学到了很多新的知识并且将老师课堂上的串联起来加以灵活运用。我学到了很多知识，都是我之前不曾利留意的，包括MapReduce的思想，我了解到MapReduce是一个分布式运算程序的编程框架，它的主要功能就是将用户编写的业务逻辑代码和自身携带组件组合成一个完整的分布式运算程序，并且运行在Hadoop集群上。我们做的是计算的框架所以就存在输入（input）和MapReduce操作输入（input），进而得到得到一个输出（output）。对于我们普通开发人员来说构造一个分布式框架太难,而MapReduce就是一种简化并行计算的编程模型，降低了开发人员的设计难度。
我知道这次大作业我仍然有许多不足之处需要改正，在这次设计中，我第一次亲身尝试到了作为一个缺乏社会实践经验的学生所面临的困难。通过对本系统的开发是我对书本上的知识点和理论有了更深一层的了解，使我学会了如何利用所学的知识,把理论结合于实践中,进一步掌握了管理信息系统开发的规律,从而对本专业有了更深刻的认识。此后,我会加倍努力的去研究,在熟练的基础上掌握更多的新型技术,来提高自己的开发水平。通过这一阶段的学习和研究，该项目终于完成，虽然耗费了许多经历和时间，单从另一方面它验证了我的知识和能力，让我有了不断提高自身素质的意识。

参考文献
[1]伍青山，郑兴山，于颖。营销新发展：精准营销[J].经济管理，2006.
[2]尹自华。邓然。精准营销研究现状门．经济研究导刊，2010.
[3]赵国栋著.大数据时代的历史机遇[M].清华大学出版社，2013.
[4]菲利普科特勒著，梅清豪译，营销管理［ M ．人民出版社，2013.
[5]郑植．基于 CN 的汽奉行业精准营销研究［ D ］北京交通大学，2014.
[6]王文璐.基于用户大数据的海尔集团线上精准营销研究[D].东北大学，2015.
[7]赵小刚.硬盘驱动器自伺服刻写关键技术的研究与仿真[D].华中科技大学2009.
[8]裴灿浩.可支持多协议盘阵的存储加密技术研究[D].华中科技大学2010.
[9]杨志红.改性Cu/LDPE纳米复合材料的释放行为与生物相容性研究[D].华中科技大学2007.
[10]刘百灵.自动信任协商中敏感信息保护机制及提高协商效率方法研究[D].华中科技大学2010.
[11]余永升.互联网环境下涉密图像的泄密检测与追踪方法研究[D].华中科技大学2010.
[12]吴伟.海量存储系统元数据管理的研究[D].华中科技大学2010.
[13]张志广.用于重要电子文件保护的数字水印和数字指纹算法研究[D].华中科技大学2009.
[14]詹玲.面向应用的对象存储设备的数据组织研究[D].华中科技大学2009.
[15]Day,C.,Veen,D.van,& Walraven,G. Children and youth at risk and urban education. Research, policy and prac-tice. Leuven/Apeldoorn:Garant. 1997.
[16]Driessen,G.,& Van der Grinten,M. Home language proficiency in the Netherland:The evaluation of Turkish andMoroccan bilingual programmes- A critical review, Studies in Educational Evaluation,1994, 20(3)：365- 386.
[17]Driessen,G.,Mulder,L.,& Jungbluth,P. Structural and cultural determinants of educational opportunities in theNetherlands. In S.Weil(Ed.)，Root and migration in global perspective. Jerusalem:Magnes Press.1999. pp.83- 104.[5]
[18]Lgnatieff,M. Keeping an old flame burning brightly. The Guardian, 1998-12-20(12)。
[19]郑琳，刘克新，赵永兰。大数据时代的病案信息全文检索[J].中国病案，2016,17（5）：34-35,67.
[20]王军龙.基于大数据背景下分析国泰君安和中信证券股份有限公司[J].中国战略新兴产业，2018（24）.