Spark SQL
spark sql( 带源码)
【拿走不谢】大数据高效查询神器--bitmap
1.提升 hive 中精确去重性能，代替hive 中的 count(distinct uuid)；2.节省 hive 存储 ，使用 bitmap 对数据压缩 ，减少了存储成本；3.提供在 hive 中 bitmap 的灵活运算 ，比如：交集、并集、差集运算 ，计算后的 bitmap 也可以直接写入
hive on spark报错:没有发现类
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 7abab17
关于hive中Map join 时大表left join小表的问题
关于hive中Map join 时大表left join小表的问题在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表驱动小表，来进行join，即大表中的join字段作为key 来获取value进行join。在MySQ
【大数据】HiveQL关于数据库和表的操作命令
HiveQL关于数据库和表的操作命令HiveQL 是 Hive 查询语言。Hive 和 MySQL 最接近，但二者仍存在显著差别。Hive 不支持行级插入操作、更新操作和删除操作。Hive 也不支持事务。Hive 中数据库的概念，本质上仅仅是表的一个目录或者命名空间。如果用户没有显式指定数据库，那么
数据湖（五）：Hudi与Hive集成
Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。
sqoop把hive中的数据导入mysql
使用sqoop将hive中的数据导入mysql中记录简单案例首先开启集群：start-all.sh在hive中建库建表，并插入一条数据来为自己做实验：验证一下，是否插入成功：在mysql中建表，并且要与hive中传过来的数据字段相对应：建表后为空：用sqoop将hive中的数据传到mysql中：ex
使用docker搭建hive测试环境
使用docker compose搭建hive测试环境
flume采集数据直接存到hive中
小白都能学会的flume采集数据到hive的教程
iceberg Flink操作
数据湖iceberg flink实操
Hive--时间函数大全
hive时间函数1. current_date()：获取当前格式化日期2. current_timestamp()：获取当前格式化时间3. unix_timestamp()：获取当前unix时间戳4. from_unixtime()：把unix时间戳转化为格式化时间5. to_date(): 当前格
数据仓库搭建ODS层
其他内容请关注我的博客！在<项目>专栏里！！！目录一、用户行为数据1.1创建日志表1.2ODS层加载数据脚本二、业务数据2.1hive建表2.2ODS层加载数据脚本一、用户行为数据1.1创建日志表1）创建支持lzo压缩的分区表drop table if exists ods_log;CR
【大数据】Hive基础知识
Hive基础知识1.Hive 有哪些特点？Hive 最适合于数据仓库应用程序，使用该应用程序进行相关的静态数据分析，不需要快速响应给出结果，而且数据本身不会频繁变化。Hive 不是一个完整的数据库。Hadoop 以及 HDFS 的设计本身约束和局限性的限制了 Hive 所能胜任的工作。其中最大的限制
Hive实战 —— 利用Hive进行数据分析并将分析好的数据导出到mysql数据库中
Hive实战 利用Hive统计分析出热门视频TOP10,并将分析好的数据导出到mysql数据库中，步步相扣，记录一次试验完整过程，体验操作
Sqoop 的数据处理和开发--头歌
第1关：Sqoop数据导入语法学习start-all.sh schematool -dbType mysql -initSchema 第2关：Mysql导入数据至HDFS上mysql -uroot -p123123 -h127.0.0.1 create database hdfsdb;use hdf
二次开发Spark实现JDBC读取远程租户集群Hive数据并落地到本集群Hive的Hive2Hive数据集成【Java】
背景肤浅的SQL Boy们可能只知道pyspark构建出sparkSession对象【当然要enableHiveSupport】后，写一句SQL：spark.sql(“这里写一句SQL字符串”);然后spark就会根据此处的SQL，完成各种select查数据、insert overwrite灌数据到
教你使用Sqoop一次性将mysql中的十张表导入到hive中
sqoop数据同步工具的使用一文教你学会使用sqoop将mysql数据库中的十张表导入到大数据平台hive中
hive中的表操作
1，hive概述Hive是基于Hadoop的数据仓库，用于处理结构化的数据集，数据结构存在于MySQL，数据存在 HDFS。Hive可以将一个类似于sql的查询语句（HQL）翻译成MR程序，将job提交给HDFS进行查询 时，hive把HDFS上的一个目录映射成一张Hive表，在查询的时候就是把jo
HIVE学习系列——windows Hadoop安装（上）
文章目录Hadoop安装HIVE MySQL版本安装Hadoop安装Hadoop官网点击Download选择Binary download下的最新版本即可Source Distribution 表示源代码版，需要编译后使用Binary Distribution 表示可执行版，直接解压使用点击该条链接
【hive】（星巴克开店数据集）将本地数据导入hive的表中，并完成一些数据的查询
在hive上完成星巴克开店数据的查询
