Hive面试题系列-求用户最大连续活跃天数 2
代码】Hive面试题系列-求用户最大连续活跃天数 2。
Hive时间日期函数一文详解+代码实例
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive中的表示纯逻辑表，只有表的定义等，即表的元数据（存储于MySQL中）。本质就是Hadoop的目录/文件，这种设计方式实现了元数据与数据存储分离。Hive本身不存储数据，它完全依赖HDFS
HiveServer2 报错 OutOfMemoryError 解决思路
HiveServer2 报错 OutOfMemoryError 解决思路
数据中台基础
数据中台严格意义上来说不是一种产品或技术，而是一套可持续 "让企业的数据用起来" 的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织机构，通过成熟的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。其底层逻辑是以数字化的手段，将数据抽像成服务，响应前端业务的快速变
维度建模之事实表的设计经验分享
从数据仓库到数据中台，再到数据湖，最后到现在新提出的湖仓一体，存算分离。大数据的生态越来越丰富，新技术层出不穷。其中批处理这个分支，是指将各类数据归一到数据仓库，定时处理后给下游各种应用场景使用，而维度建模正适用于这种大数据量，复杂的场景，通过构建庞大的重型模型，提高复用率，这就是所谓的用空间换时间
GIS时空大数据融合技术——美丽长岛数据融合
KGIS具有丰富的空间计算函数，包含管理函数、对象构建函数、对象编辑函数、处理函数、线性函数、空间关系及栅格分析函数等六百余种空间函数。KingbaseES在自身具有关系型数据库能力的基础，将空间数据存储、空间索引和空间函数组合在一起，使KingbaseES兼具空间存储和空间函数计算的强大能力。金仓
在当前完全检查点操作结束后，对未提交事务的数据块信息如何管理
完全检查点是未提交的块如何处理的问题
数据仓库建设之确定主题域
数据仓库主题域设计方法
【笔记】2022.6.7 数据分析概论
非常牛逼，xd
数据湖（五）：Hudi与Hive集成
Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。
同步存量数据
同步存量数据把数据源端的数据通过Kettle读取，然后通过消息队列中间件（Kafka）导出软件准备Kettle：pdi-ce-9.3.0.0-428kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Hive--时间函数大全
hive时间函数1. current_date()：获取当前格式化日期2. current_timestamp()：获取当前格式化时间3. unix_timestamp()：获取当前unix时间戳4. from_unixtime()：把unix时间戳转化为格式化时间5. to_date(): 当前格
数据湖概念（一）
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基
windows定时任务准点运行kettle转换、作业等
kettle定时作业任务，时间间隔几十分钟跑一次时，将不会在你设置的时间准时启动？此文章教程将教你利用Windows自带cmd命令和定时任务计划功能，准时准点启动，毫秒不差，适合有准点运行需求的，教程内容简单易懂，此方法适合初级秃头学习使用
Kettle项目实战：比赛信息自动流转方案
Kettle项目实战比赛信息自动流转方案1. 项目背景与介绍众多的比赛都可以为抽象成以下的流程：传统的报名工作需要赛事组工作人员以表格或是邮件等方式采集选手的信息，并归档处理。选参赛过程中的种种行为，诸如签到、比赛、得分都得不到高效的记录，往往由纸张的表格记录，再录入excel进行整理。在处理比赛结
使用最新版flink tidb cdc 同步数据到StarRocks
Flink CDC 2.2 版本新增了 OceanBase CE，PolarDB-X，SqlServer，TiDB 四种数据源接入。其中新增 OceanBase CDC，SqlServer CDC，TiDB CDC 三个连接器，而 PolarDB-X 的支持则是通过对 MySQL CDC 连接器进行
各大互联网公司实时数仓实践
各大公司实时数仓实践1.1 网易实时数仓实践此架构是基于Kudu的实时数据数仓，通过Data Stream自己写的数据采集工具来采集日志数据写入Kafka，使用NDC(类似CDC)服务可以将binlog数据推送到Kafka，通过Flink读取Kafka数据结果写入Kudu,基于Kudu构建实时数仓好
Flink实时数仓项目—项目初了解
Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1 日常统计报表或分析图中需要包含当日部分2.2 实时数据大屏监控2.3 数据预警或提示2.4 实时推荐系统三、数仓架
FlinkSQL+HDFS+Hive+SparkSQL实现业务数据增量进入数据仓库
目录0. 相关文章链接1. 为什么要实现将业务数据实时写入到数据仓库中2.架构设计3.FlinkSQL将binlog写入到HDFS中4.创建增量外部表（binlog表）5.创建全量历史表6.创建Spoop任务同步商品表数据7.历史数据和增量数据合并8.Java的nanoTime()9.创建视图完成按
数据仓库原理
数据仓库原理ODS>DWD>DWS>ADS
