Hive数据仓库
数仓作为面相分析的数据平台，其主职工作就是对存储在其中的数据开展分析，那么如何读取数据分析呢？理论上来说，任何一款编程语言只要具备读写数据、处理数据的能力，都可以用于数仓的开发。比如大家耳熟能详的C、java、Python等；关键在于编程语言是否易学、好用、功能是否强大。遗憾的是上面所列出的C、py
Hive Sql优化之一次from查询多次insert into操作
优化点：一次map多个reduce，有效节省了map操作。
doris配置hive的catalog
查询hive的database。创建hive的catalog。
拉链表的制作过程
**背景：**对于一些维度表，数据量特别大，每天又会有新增或者修改的数据，但是这部分数据总数据量的比重不大。如果做成每日全量数据，会导致大量的重复数据，占用存储资源；如果做成全量最新，则会缺少历史数据。针对这种情况，可以考虑使用拉链表。**设计思路：**每行数据加上两个字段，开始时间，结束时间。初始
常用的Prestosql
常用的Prestosql
【Hive-Partition】Hive添加分区及修改分区location
【Hive-Partition】Hive添加分区及修改分区location
iceberg对比hive优势
在传统的实时数仓中，由于列式存储相对行式存储有较高的查询性能，我们一般采用parquet，orc等列存储数据格式。传统的流式数据入库的过程中对小文件进行合并会产生很多问题，比如流式数据不断的往hive表进行写入，如果同时有一个合并程序进行小文件的合并，那么这时候对同一份数据进行读写。当有实时指标计算
hive read time out
2) hiveConnection的socket超时时间通过loginTimeout进行设置，而loginTimeout读取的DriverManager的超时时间，因此，在创建hive连接时需要设置DriverManage的loginTimeout属性。总结：hive中执行SQL的耗时较长，需要增大
Spring中最简单的过滤器和监听器
采用三步走策略使用filter开发后台资源 静态资源(html,css … …)或者动态资源(Servlet,Jsp)开发Filter在web.xml中配置Filter拦截哪些资源开发Servlet定义两个servletSystem . out . println("myServlet1 执行了se
Hive（21）：DML之Update、Delete更新、删除数据
首先，必须明确，你理解的Hive这款软件，定位是什么？是面向事务支持事务的RDBMS?还是面向分析，支持分析的数据仓库。这很重要。Hive是基于Hadoop的数据仓库，面向分析支持分析工具。因此在Hive中常见的操作的就是分析查询select操作。将已有的结构化数据文件映射成为表，然后提供SQL分析
CDH-6.3.2从零到一的详细安装教程&hive on Spark性能测试教程
CDH-6.3.2详细安装教程，从零到一的详细教程，包括mysql、Java、CM、hive、Spark、Hadoop、zookeeper、kafka、Hue、flume、oozie的安装教程
Hive-时间日期&trunc-日期与数字截取函数
TRUNC函数为指定元素而截去的日期值。其具体的语法格式如下：TRUNC（date[,fmt]）1、current_timestamp() -- 获取时间 2022-10-09 16:00:24.1892、unix_timestamp() -- 获取时间戳 16653024983、select
HiveSQL执行计划查看(EXPLAIN)
HiveSQL执行计划是指查询语句的执行过程，包括查询语句的优化、查询计划生成和查询执行。通过EXPLAIN命令，我们可以查看查询语句的执行计划，找到性能瓶颈和优化方案，调试查询语句，加深对查询过程的理解。在实际使用中，我们可以根据需要选择不同的参数来获取不同的执行计划信息。
大数据学习（十一）hive中获取数组中的元素
hive函数
【大数据之Hive】五、Hiveserver2服务部署
hiveserver2提供JDBC/ODBC接口，使得用户可以远程访问Hive数据，即作为客户端的代理与Hadoop集群进行交互。hiveserver2部署时需要部署到一个能访问集群的节点上，保证能够直接往Hadoop上提交数据。用户在客户端提交SQL语句时，由hiveserver请求HDFS或者提
Hive中的in、exists和left semi join
Hive中的in、exists和left semi join
hive设置本地执行方式
假如hive中的SQL语句执行时间太长，可以设置本地执行方式，设置本地执行模式可以优化执行速度，数据量小的时候，使用本地模式：。以上这些配置，都可以写在 hive 的conf 下的 .hiverc 文件中，当hive启动的时候，就会加载。在hive的配置文件 hive-env.sh中将一些配置注释
hive的数据导入
insert导出，导出的目录不用自己提前创建，Hive会帮我们自动创建，但是由于是overwrite，所以导出路径一定要写具体，否则很可能会误删数据。insert不支持插入部分字段，并且后边跟select语句时，select之前不能加as，加了as会报错，一定要跟下面的as select区分开。并且
Spring系列二：基于注解配置bean【建议收藏】
Spring系列二: 基于注解配置bean
[Hive的基本概念之---数据库 ]
《咏柳》唐·贺知章碧玉妆成一树高，万条垂下绿丝绦。不知细叶谁裁出，二月春风似剪刀。
