flink-sql大量使用案例

本文是 flink sql 的一些使用案例,同时也包括了一些特殊用法展示。

Hive中常用正则表达式的运用

Hive中常用正则表达式的运用

HIVE高级调优(四)

HIVE高级调优

kettle连接sparksql

kettle连接sparksql

Hadoop+hive+flask+echarts大数据可视化项目之系统信息数据上传及上传的底层实现

使用linux定时任务采集系统数据信息,上传到hadoop平台,使用hive进行系统数据的分析,分析的结果以flask接口传送到前端,前端以echarts图表展示。此博文主要针到系统信息数据如何上传到hadoop中去保存。...

大数据开发写sql写烦了,要不要转?

如果说大数据是每天写sql还不太精准(精准的是用各种方式写SQL)当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题。会不会转别的,看个人兴趣,大数据方向还有那么多。瞅瞅方向:如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库

Hadoop生态之Hive(一)

数仓工具之Hive,深度解析Hive结构以及原理

Hive基础02、安装Hive

由于命名不合适,所以更换一下:完整配置文件百度网盘下载链接:5、创建hive环境变量输入以下内容,先按【i】 进入输入模式。【esc】+【:wq】保存并退出。执行脚本6、复制MySQL的驱动包到hive的lib文件夹下 5、初始元数据仓库在【/opt/soft/hive/bin】成功........

【大数据】Hive性能调优

学习 Hive 是如何工作的第一个步骤就是学习 EXPLAIN 功能,其可以帮助我们学习 Hive 是如何将查询转化成 MapReduce 任务的。

Spark SQL

spark sql( 带源码)

【拿走不谢】大数据高效查询神器--bitmap

1.提升 hive 中精确去重性能,代替hive 中的 count(distinct uuid);2.节省 hive 存储 ,使用 bitmap 对数据压缩 ,减少了存储成本;3.提供在 hive 中 bitmap 的灵活运算 ,比如:交集、并集、差集运算 ,计算后的 bitmap 也可以直接写入

hive on spark报错:没有发现类

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 7abab17

关于hive中Map join 时大表left join小表的问题

关于hive中Map join 时大表left join小表的问题在hive中,(启用Map join时) 大表left join小表,加载从右向左,所以小表会加载进内存,存储成map键值对,通过大表驱动小表,来进行join,即大表中的join字段作为key 来获取value进行join。在MySQ

【大数据】HiveQL关于数据库和表的操作命令

HiveQL关于数据库和表的操作命令HiveQL 是 Hive 查询语言。Hive 和 MySQL 最接近,但二者仍存在显著差别。Hive 不支持行级插入操作、更新操作和删除操作。Hive 也不支持事务。Hive 中数据库的概念,本质上仅仅是表的一个目录或者命名空间。如果用户没有显式指定数据库,那么

数据湖(五):Hudi与Hive集成

Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中,那么同时映射Hive表,让Hive表映射的数据对应到此路径上,这时Hudi需要通过JDBC方式连接Hive进行元数据操作,这时需要配置HiveServer2。

sqoop把hive中的数据导入mysql

使用sqoop将hive中的数据导入mysql中记录简单案例首先开启集群:start-all.sh在hive中建库建表,并插入一条数据来为自己做实验:验证一下,是否插入成功:在mysql中建表,并且要与hive中传过来的数据字段相对应:建表后为空:用sqoop将hive中的数据传到mysql中:ex

使用docker搭建hive测试环境

使用docker compose搭建hive测试环境

flume采集数据直接存到hive中

小白都能学会的flume采集数据到hive的教程

iceberg Flink操作

数据湖iceberg flink实操

Hive--时间函数大全

hive时间函数1. current_date():获取当前格式化日期2. current_timestamp():获取当前格式化时间3. unix_timestamp():获取当前unix时间戳4. from_unixtime():把unix时间戳转化为格式化时间5. to_date(): 当前格

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈