基于Hadoop的数据分析案例-陌陌聊天软件数据分析
目录前言一、使用的工具二、分析步骤1.数据来源2.数据内容分析3.加载数据4.数据清洗ETL5.数据分析总结前言本文章针对陌陌软件进行数据分析。一、使用的工具Vmware Workstation Pro Centos 7 64bit FinalShell 3.9.2.2 DataGrip 2020.
大数据A环境搭建--HADOOP--Ubuntu
模块A环境搭建一、安装JDK1.更改主机名字2.配置密钥 免密登录3.映射地址4 .解压并移动5.配置环境变量6.分发到各个节点二、安装HADOOP1.解压并且移动2.配置环境变量3.配置.sh和.xml文件i.创建临时文件ii.配置hadoop-env.shiii.配置core-site.xmlV
记一次重大的生产事故
高高兴兴上班来，突闻任务大面积报错，经过一番排查，服务器上某个用户不见了。
Hive建表时，使用Array和Map类型以及数据导入
在Hive建表时，我们是可以指定数据类型为Array和Map类型的。除此之外还有Struct类型，这里就不对此做过多延伸。参考：Hive增删改查建表：CREATE TABLE test001( id STRING COMMENT '', address ARRAY<string> CO
Spark框架-离线数据统计
数据清洗任务简介:第一步：输出日志(使用spark默认的log4j配置文件)第二步：创建SparkSession对象(关闭严格模式,否则创建静态分区)第三步:拿出所有的表并进行清洗第四步：删除分区并且统计第五步：将对于字段的日期改为timestamp类型第六步：去除重复字段并创建临时视图第七步：查看
Spark框架——离线数据抽取(样题实例超详细)
模块B离线数据抽取任务简介具体步骤简介第一步：开启动态分区第二步：提取前一天时间第三步：读取MYSQL数据第四步：全量写入数据第五步：Main第六步：打包集群第七步：找到jar包第八步：把jar包打包到集群目录下第九步：进入Master目录下运行任务简介具体步骤简介第一步：开启动态分区val spa
FlinkSQL+HDFS+Hive+SparkSQL实现业务数据增量进入数据仓库
目录0. 相关文章链接1. 为什么要实现将业务数据实时写入到数据仓库中2.架构设计3.FlinkSQL将binlog写入到HDFS中4.创建增量外部表（binlog表）5.创建全量历史表6.创建Spoop任务同步商品表数据7.历史数据和增量数据合并8.Java的nanoTime()9.创建视图完成按
Hive SQL 五大经典面试题
第 1 题 连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量id dt lowcarbon1001 2021-12-12 1231002 2021-12-12 451001 2021-12-13
Spark框架—RDD算式mapPartitionsWithIndex与filter的用法
@junit.Test def mapPartitionsWithIndex(): Unit ={ sc.parallelize(Seq(1,2,3,4,5,6),2) .mapPartitionsWithIndex((index,iter) =>{ print
Hive安装配置
前提条件：1、 安装好hadoop2.7.3伪分布式环境（Linux环境）；2、安装好MySQL5.7（推荐使用） （Windows环境） ，允许mysql远程连接3、并新建一个名为hive的数据库安装步骤：1、官网下载hive安装文件，下载地址：http://archive.apache.org/
Hadoop 大数据Hive仓库组件部署超详细
1.数据仓库1.1概念构建面向分析的集成化数据环境面向分析的存储数据1.2主要特征数据仓库是面向主题的集成的非易失的和时变的数据集合，用以支持管理决策1.2.3 非易失性开启三台虚拟机上传压缩包到software解压到src下改名修改环境变量生效环境变量查询卸载Maeidb文件包上传MySQL安装包
Java大数据面试复习30天冲刺 - 日积月累，每日五题【Day04】——JavaSE
创建线程有几种方式1.通过继承Thread类实现，实现简单但不可以继承其他类，多个线程之间无法共享该线程类的实例变量。2.实现Runnable接口，较继承Thread类，避免继承的局限性，适合资源共享。3.使用Callable，方法中可以有返回值，并且抛出异常。4.创建线程池实现，线程池提供了一个线
Linux系统上MySQL启动报错解决办法
项目场景：搭建Hadoop—hive框架，需要安装MySQL数据库问题描述1. 首先启动MySQL服务时反馈信息为urnalctl failed because the control process exited with error code. See "systemctl status mys
HiveSQL面试题47：京东面试题
目录0 需求1 数据准备2 求解3 小结0 需求1 数据准备数据1 aa 2 aa 3 aa 4 d 5 c 6 aa 7 aa 8 e 9 f 10 g 建表 create table a( id string, name s
异构数据源离线同步工具之DataX的安装部署
异构数据源离线同步工具之DataX的安装部署
6. 数据仓库环境准备
6. 数据仓库环境准备数据仓库环境准备数据仓库运行环境Hive环境搭建Hive on Spark 配置Hive on Spark 测试Yarn环境配置数据仓库开发环境启动 HiveServer2配置 DataGrip 连接创建连接配置连接属性测试使用模拟数据准备用户行为日志业务数据生成模拟数据全量表
over 与lateral view 的hive、spark sql执行计划
建表语句create table test_over ( user_id string, login_date string)COMMENT '测试函数使用，可以删除' row format delimited fields terminated by '\t';over 执行计划
hive的几种join到底有何区别
hive中，几种join的区别数据：tom,1jey,2lilly,7lilly,8tom,1lilly,3may,4bob,5以上两个为数据，没有什么意义，全是为了检测join的使用看一下两张表，其实可以看出来，在name一行有重复的，也有不重复的，在id一行1表完全包含2表left joinle
hive-SQL学习笔记12
SQL高级查询方法及条件设置
大数据组件之Hive（Hive学习一篇就够了）
文章目录一、Hive安装1、解压环境2、环境变量配置3、配置文件信息1.打开编辑文件2.输入以下内容4、拷贝mysql驱动5、更新guava包和hadoop一致6、mysql授权7、初始化8、hive启动模式9、Hadoop的core-site.xml配置二、Hive1、Hive的文件结构2、MyS
