陌陌聊天数据案例分析

目录

背景介绍和需求分析

1. 陌陌是一个聊天平台，每天都会产生大量大聊天数据，通过对聊天数据的统计分析，可以更好的构建用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的决策提供精准的数据支撑。
2. 基于Hadoop和hive实现聊天数据统计分析，构建聊天数据分析报表。
3. 统计今日总消息量、每小时消息量、发送和接受用户数、各地区发送消息数据量、发送消息和接收消息的用户数、发送消息最多的top10用户、接收消息最多的top10用户、发送人手机型号的分布情况、发送人的设备操作系统的分布情况。

基于hive数仓实现需求开发

根据聊天数据建库建表

-- 建立数据库createdatabase db_msg;-- 使用数据库use db_msg;-- 查看已有数据库showdatabases;-- 建表createtable db_msg.tb_msg_source(
    msg_time string comment'消息发送时间',
    sender_name string comment'发送人昵称',
    sender_account string comment'发送人账号',
    sender_sex string comment'发送人性别',
    sender_ip string comment'发送人ip地址',
    sender_os string comment'发送人操作系统',
    sender_phonetype string comment'发送人手机型号',
    sender_network string comment'发送人网络类型',
    sender_gps string comment'发送人gps定位',
    receiver_name      string  comment"接收人昵称",
    receiver_ip        string  comment"接收人IP",
    receiver_account   string  comment"接收人账号",
    receiver_os        string  comment"接收人操作系统",
    receiver_phonetype string  comment"接收人手机型号",
    receiver_network   string  comment"接收人网络类型",
    receiver_gps       string  comment"接收人的GPS定位",
    receiver_sex       string  comment"接收人性别",
    msg_type           string  comment"消息类型",
    distance           string  comment"双方距离",
    message            string  comment"消息内容")-- 指定分隔符为制表符row format delimited fieldsterminatedby'\t';

加载数据

从本地文件系统加载数据到表中

-- 从本地文件系统加载数据到表中loaddatalocal inpath '/root/hivedata/data1.tsv'intotable db_msg.tb_msg_source;loaddatalocal inpath '/root/hivedata/data2.tsv'intotable db_msg.tb_msg_source;-- 查询表 验证数据文件是否映射成功select*from tb_msg_source limit10;-- 统计行数selectcount(*)as cnt from tb_msg_source;

ETL数据清洗

背景

在使用原始数据做分析时，有些数据的格式等规范对我们的分析不友好。为了让数据对分析具有更强的支撑作用，出现了数据清晰流程。
ETL数据清洗，即数据的抽取、转换、加载。抽取有效合法的数据、把格式调整转换一下。
ETL数据清洗是针对原始数据中出现的一些问题进行针对性的操作。
数据转换的标准：向支撑数据分析的方向调整。

分析原始数据出现的问题

---- ETL数据清洗-- 问题1：当前数据中有一些数据的字段为空，不是合法数据select msg_time,sender_name,sender_gps from tb_msg_source where length(sender_gps)=0limit10;-- 问题2：需求中需要统计每天、每小时的数据量，但是数据中没有天和小时的字段，只有整体时间字段，不好处理select msg_time
from tb_msg_source limit10;-- 问题3：需求中需要精度和维度构建可视化地图，但是数据中只有经纬度一个字段，不好处理select sender_gps from tb_msg_source limit10;

ETL实现

-- ETl实现-- 将select语句的结果保存到新表中createtable tb_msg_etl asselect*,
       substr(msg_time,0,10)as dayinfo,--获取天
       substr(msg_time,10,2)as hourinfo,--获取小时
       split(sender_gps,',')[0]as sender_lng,--获取精度
       split(sender_gps,',')[1]as sender_lat --获取纬度from tb_msg_source
-- 过滤字段值为空的数据where length(sender_gps)>0;-- 验证ETL处理之后的结果select dayinfo,hourinfo,sender_lng,sender_lat from tb_msg_etl limit10;

需求指标统计

思路

1. 正确解读需求
2. 确定要查询的表——>from 表
3. 找出分析的维度——>group by 分组的字段
4. 找出计算的指标——>聚合的字段
5. 其他细节点(过滤、排序等)

需求开发

------需求指标统计分析-- 需求1：统计今日总消息量createtableifnotexists tb_rs_total_msg_cnt
comment'每日消息总量'as-- 以查询结果建表select
    dayinfo,count(*)as total_msg_cnt -- 指标from tb_msg_etl -- 表groupby dayinfo;-- 维度分组，每天select*from tb_rs_total_msg_cnt;-- 结果验证-- 需求2：统计今日每小时消息量、发送和接收用户数createtableifnotexists tb_rs_hour_msg_cnt
comment'每小时消息量'as--以查询结果建表select
    dayinfo,
    hourinfo,count(*)as total_msg_cnt,-- 每小时消息量count(distinct sender_account)as sender_user_cnt,-- 每小时发送用户数count(distinct receiver_account)as receiver_user_cnt--每小时接收用户数from tb_msg_etl -- 表groupby dayinfo,hourinfo;-- 维度，每小时select*from tb_rs_hour_msg_cnt;-- 结果验证-- 需求3：统计今日各地区发送消息数据量createtableifnotexists tb_rs_loc_cnt
comment'今日各地区发送消息总量'asselect
    dayinfo,-- 今日
    sender_gps,-- 地区
    cast(sender_lng asdouble)as longitude,
    cast(sender_lat asdouble)as latitude,count(*)from tb_msg_etl
groupby dayinfo, sender_gps, cast(sender_lng asdouble), cast(sender_lat asdouble);-- 维度：今日、地区、经纬度select*from tb_rs_loc_cnt;-- 结果验证-- 需求4：统计今日发送消息和接收消息的用户数createtableifnotexists tb_rs_usr_cnt
comment'今日发送消息人数、接收消息人数'asselect
    dayinfo,count(distinct sender_account)as sender_usr_cnt,count(distinct receiver_account)as receiver_usr_cnt
from tb_msg_etl
groupby dayinfo;select*from tb_rs_usr_cnt;-- 需求5：统计今日发送消息最多的Top10用户createtableifnotexists tb_rs_usr_top10
comment'今日发送消息最多的top10用户'asselect
    dayinfo,
    sender_name as username,count(*)as sender_msg_cnt
from tb_msg_etl
groupby dayinfo, sender_name
orderby sender_msg_cnt desc--按发送消息降序的顺序排列limit10;select*from tb_rs_usr_top10;-- 需求6：统计今日接收消息最多的Top10用户createtableifnotexists tb_rs_rusr_top10
comment'今日接收消息最多的top10用户'asselect
    dayinfo,
    receiver_name as username,count(*)as receiver_msg_cnt
from tb_msg_etl
groupby dayinfo, receiver_name
orderby receiver_msg_cnt desc--按发送消息降序的顺序排列limit10;select*from tb_rs_rusr_top10;-- 需求7：统计发送人的手机型号分布情况createtableifnotexists tb_rs_sender_phone
comment'发送人的手机型号分布情况'asselect
    dayinfo,
    sender_phonetype,count(distinct sender_account)as cnt
from tb_msg_etl
groupby dayinfo,sender_phonetype;select*from tb_rs_sender_phone;-- 需求8：统计发送人的设备操作系统分布情况createtableifnotexists tb_rs_sender_os
comment'发送人设备操作系统分布情况'asselect
    dayinfo,
    sender_os,count(distinct sender_account) cnt
from tb_msg_etl
groupby dayinfo, sender_os;select*from tb_rs_sender_os;

基于FineBI实现可视化报表

配置流程

1. 官网下载、注册用户、获取激活码
2. 给Fine BI添加驱动、并安装hive隔离插件隔离驱动
3. 添加数据连接
4. 数据准备，添加分组和业务包
5. 使用仪表板构建可视化报表

构建可视化报表

1. 制作方法：选定图标类型后，把指定的维度和指标拖入指定的位置即可
2. 最多使用：图标类型、图标属性、组件样式、维度、指标

总结

1. 一些基础： 到这里初步学习了大数据的一部分技术栈：Hadoop的HDFS、Yarn、MapReduce，Hive，了解了这些组件的原理和安装配置。 在这之前，也大致熟悉了一些基础知识：Linux操作系统的一些指令、sql语言的一些语法。
2. 业务场景中的重点 在Hive中写一些sql的建库、建表、查询语句
3. 数据的可视化 使用Fine BI进行了数据的可视化，将hive中统计好的数据制作成可视化的报表。