数据仓库搭建ODS层
其他内容请关注我的博客！在<项目>专栏里！！！目录一、用户行为数据1.1创建日志表1.2ODS层加载数据脚本二、业务数据2.1hive建表2.2ODS层加载数据脚本一、用户行为数据1.1创建日志表1）创建支持lzo压缩的分区表drop table if exists ods_log;CR
【大数据】Hive基础知识
Hive基础知识1.Hive 有哪些特点？Hive 最适合于数据仓库应用程序，使用该应用程序进行相关的静态数据分析，不需要快速响应给出结果，而且数据本身不会频繁变化。Hive 不是一个完整的数据库。Hadoop 以及 HDFS 的设计本身约束和局限性的限制了 Hive 所能胜任的工作。其中最大的限制
Hive实战 —— 利用Hive进行数据分析并将分析好的数据导出到mysql数据库中
Hive实战 利用Hive统计分析出热门视频TOP10,并将分析好的数据导出到mysql数据库中，步步相扣，记录一次试验完整过程，体验操作
Sqoop 的数据处理和开发--头歌
第1关：Sqoop数据导入语法学习start-all.sh schematool -dbType mysql -initSchema 第2关：Mysql导入数据至HDFS上mysql -uroot -p123123 -h127.0.0.1 create database hdfsdb;use hdf
二次开发Spark实现JDBC读取远程租户集群Hive数据并落地到本集群Hive的Hive2Hive数据集成【Java】
背景肤浅的SQL Boy们可能只知道pyspark构建出sparkSession对象【当然要enableHiveSupport】后，写一句SQL：spark.sql(“这里写一句SQL字符串”);然后spark就会根据此处的SQL，完成各种select查数据、insert overwrite灌数据到
教你使用Sqoop一次性将mysql中的十张表导入到hive中
sqoop数据同步工具的使用一文教你学会使用sqoop将mysql数据库中的十张表导入到大数据平台hive中
hive中的表操作
1，hive概述Hive是基于Hadoop的数据仓库，用于处理结构化的数据集，数据结构存在于MySQL，数据存在 HDFS。Hive可以将一个类似于sql的查询语句（HQL）翻译成MR程序，将job提交给HDFS进行查询 时，hive把HDFS上的一个目录映射成一张Hive表，在查询的时候就是把jo
HIVE学习系列——windows Hadoop安装（上）
文章目录Hadoop安装HIVE MySQL版本安装Hadoop安装Hadoop官网点击Download选择Binary download下的最新版本即可Source Distribution 表示源代码版，需要编译后使用Binary Distribution 表示可执行版，直接解压使用点击该条链接
【hive】（星巴克开店数据集）将本地数据导入hive的表中，并完成一些数据的查询
在hive上完成星巴克开店数据的查询
基于Hadoop的数据分析案例-陌陌聊天软件数据分析
目录前言一、使用的工具二、分析步骤1.数据来源2.数据内容分析3.加载数据4.数据清洗ETL5.数据分析总结前言本文章针对陌陌软件进行数据分析。一、使用的工具Vmware Workstation Pro Centos 7 64bit FinalShell 3.9.2.2 DataGrip 2020.
大数据A环境搭建--HADOOP--Ubuntu
模块A环境搭建一、安装JDK1.更改主机名字2.配置密钥 免密登录3.映射地址4 .解压并移动5.配置环境变量6.分发到各个节点二、安装HADOOP1.解压并且移动2.配置环境变量3.配置.sh和.xml文件i.创建临时文件ii.配置hadoop-env.shiii.配置core-site.xmlV
记一次重大的生产事故
高高兴兴上班来，突闻任务大面积报错，经过一番排查，服务器上某个用户不见了。
Hive建表时，使用Array和Map类型以及数据导入
在Hive建表时，我们是可以指定数据类型为Array和Map类型的。除此之外还有Struct类型，这里就不对此做过多延伸。参考：Hive增删改查建表：CREATE TABLE test001( id STRING COMMENT '', address ARRAY<string> CO
Spark框架-离线数据统计
数据清洗任务简介:第一步：输出日志(使用spark默认的log4j配置文件)第二步：创建SparkSession对象(关闭严格模式,否则创建静态分区)第三步:拿出所有的表并进行清洗第四步：删除分区并且统计第五步：将对于字段的日期改为timestamp类型第六步：去除重复字段并创建临时视图第七步：查看
Spark框架——离线数据抽取(样题实例超详细)
模块B离线数据抽取任务简介具体步骤简介第一步：开启动态分区第二步：提取前一天时间第三步：读取MYSQL数据第四步：全量写入数据第五步：Main第六步：打包集群第七步：找到jar包第八步：把jar包打包到集群目录下第九步：进入Master目录下运行任务简介具体步骤简介第一步：开启动态分区val spa
FlinkSQL+HDFS+Hive+SparkSQL实现业务数据增量进入数据仓库
目录0. 相关文章链接1. 为什么要实现将业务数据实时写入到数据仓库中2.架构设计3.FlinkSQL将binlog写入到HDFS中4.创建增量外部表（binlog表）5.创建全量历史表6.创建Spoop任务同步商品表数据7.历史数据和增量数据合并8.Java的nanoTime()9.创建视图完成按
Hive SQL 五大经典面试题
第 1 题 连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量id dt lowcarbon1001 2021-12-12 1231002 2021-12-12 451001 2021-12-13
Spark框架—RDD算式mapPartitionsWithIndex与filter的用法
@junit.Test def mapPartitionsWithIndex(): Unit ={ sc.parallelize(Seq(1,2,3,4,5,6),2) .mapPartitionsWithIndex((index,iter) =>{ print
Hive安装配置
前提条件：1、 安装好hadoop2.7.3伪分布式环境（Linux环境）；2、安装好MySQL5.7（推荐使用） （Windows环境） ，允许mysql远程连接3、并新建一个名为hive的数据库安装步骤：1、官网下载hive安装文件，下载地址：http://archive.apache.org/
Hadoop 大数据Hive仓库组件部署超详细
1.数据仓库1.1概念构建面向分析的集成化数据环境面向分析的存储数据1.2主要特征数据仓库是面向主题的集成的非易失的和时变的数据集合，用以支持管理决策1.2.3 非易失性开启三台虚拟机上传压缩包到software解压到src下改名修改环境变量生效环境变量查询卸载Maeidb文件包上传MySQL安装包
