flink-sql大量使用案例
本文是 flink sql 的一些使用案例,同时也包括了一些特殊用法展示。
Hive中常用正则表达式的运用
Hive中常用正则表达式的运用
HIVE高级调优(四)
HIVE高级调优
kettle连接sparksql
kettle连接sparksql
Hadoop+hive+flask+echarts大数据可视化项目之系统信息数据上传及上传的底层实现
使用linux定时任务采集系统数据信息,上传到hadoop平台,使用hive进行系统数据的分析,分析的结果以flask接口传送到前端,前端以echarts图表展示。此博文主要针到系统信息数据如何上传到hadoop中去保存。...
大数据开发写sql写烦了,要不要转?
如果说大数据是每天写sql还不太精准(精准的是用各种方式写SQL)当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题。会不会转别的,看个人兴趣,大数据方向还有那么多。瞅瞅方向:如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库
Hadoop生态之Hive(一)
数仓工具之Hive,深度解析Hive结构以及原理
Hive基础02、安装Hive
由于命名不合适,所以更换一下:完整配置文件百度网盘下载链接:5、创建hive环境变量输入以下内容,先按【i】 进入输入模式。【esc】+【:wq】保存并退出。执行脚本6、复制MySQL的驱动包到hive的lib文件夹下 5、初始元数据仓库在【/opt/soft/hive/bin】成功........
【大数据】Hive性能调优
学习 Hive 是如何工作的第一个步骤就是学习 EXPLAIN 功能,其可以帮助我们学习 Hive 是如何将查询转化成 MapReduce 任务的。
Spark SQL
spark sql( 带源码)
【拿走不谢】大数据高效查询神器--bitmap
1.提升 hive 中精确去重性能,代替hive 中的 count(distinct uuid);2.节省 hive 存储 ,使用 bitmap 对数据压缩 ,减少了存储成本;3.提供在 hive 中 bitmap 的灵活运算 ,比如:交集、并集、差集运算 ,计算后的 bitmap 也可以直接写入
hive on spark报错:没有发现类
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 7abab17
关于hive中Map join 时大表left join小表的问题
关于hive中Map join 时大表left join小表的问题在hive中,(启用Map join时) 大表left join小表,加载从右向左,所以小表会加载进内存,存储成map键值对,通过大表驱动小表,来进行join,即大表中的join字段作为key 来获取value进行join。在MySQ
【大数据】HiveQL关于数据库和表的操作命令
HiveQL关于数据库和表的操作命令HiveQL 是 Hive 查询语言。Hive 和 MySQL 最接近,但二者仍存在显著差别。Hive 不支持行级插入操作、更新操作和删除操作。Hive 也不支持事务。Hive 中数据库的概念,本质上仅仅是表的一个目录或者命名空间。如果用户没有显式指定数据库,那么
数据湖(五):Hudi与Hive集成
Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中,那么同时映射Hive表,让Hive表映射的数据对应到此路径上,这时Hudi需要通过JDBC方式连接Hive进行元数据操作,这时需要配置HiveServer2。
sqoop把hive中的数据导入mysql
使用sqoop将hive中的数据导入mysql中记录简单案例首先开启集群:start-all.sh在hive中建库建表,并插入一条数据来为自己做实验:验证一下,是否插入成功:在mysql中建表,并且要与hive中传过来的数据字段相对应:建表后为空:用sqoop将hive中的数据传到mysql中:ex
使用docker搭建hive测试环境
使用docker compose搭建hive测试环境
flume采集数据直接存到hive中
小白都能学会的flume采集数据到hive的教程
iceberg Flink操作
数据湖iceberg flink实操
Hive--时间函数大全
hive时间函数1. current_date():获取当前格式化日期2. current_timestamp():获取当前格式化时间3. unix_timestamp():获取当前unix时间戳4. from_unixtime():把unix时间戳转化为格式化时间5. to_date(): 当前格