Kettle连接人大金仓KingbaseES数据库
Kettle连接Kingbase数据库
OLAP和OLTP的区别
OLAP和OLTP的区别
详细记录拉链表的实现过程
1）直接更新，也就是用业务库中发生变化的数据覆写数仓中的数据，这种实现方式可以保持数仓与业务库数据保持一致，缺点是只能保存当前最新的数据，对这条数据修改之前的历史数据不做维护，一般很少采用这种实现方式，除非历史数据本身就是错误的，没有使用价值。此时这张拉链表就是只包含最新的记录信息，而上面那张拉链表
Hive之grouping sets用法详解
比如(class, course), 二进制为 101，十进制则为5，则grouping__id为5，同理grouping__id为6，则组合为（sex,course），二进制为110；比如 group by class,sex,course,则二进制的顺序为：course sex cl
数据库性能基准测试——TPCC、TPCH及TPCDS的区别
针对数据库不同的使用场景TPC组织发布了多项测试标准。其中被业界广泛接受和使用的有TPC-C 、TPC-H和TPC-DS。 TPC-C 、TPC-H和TPC-DS三者的最大的一个区别是，TPCC是针对OLTP数据库进行性能测试，而TPC-H和TPC-DS是针对OLAP数据库进行测试的。数据库处
某银行数据仓库建模流程和规范
银行数据仓库建模流程以及规范
数据库原理-数据查询 单表查询【二】
数据库原理-数据查询 单表查询【二】聚集函数聚集函数：统计元组个数COUNT(*)统计一列中值的个数COUNT([DISTINCT|ALL]<列名>)计算一列值的总和（此列必须为数值型）SUM([DISTINCT|[ALL]<列名>)计算一列值的平均值（此列必须为数值型）AV
中国绿色专利分地区统计数据
覆盖我国34个省级行政区域，对全国绿色专利申请和绿色专利授权数据进行了细致统计
DBT工具简介
dbt（数据构建工具）使具有数据分析师技能的人可以使用简单的选择语句来转换仓库中的数据，从而有效地使用代码创建整个转换过程。1、更低的学习成本、更快的响应速度：任何知道如何编写 SQL SELECT 语句的人都可以构建模型、编写测试和安排作业，以生成可靠、可操作的数据集以进行分析。2、更加规范的流程
苦练基本功——数据仓库
数据仓库是一个以主题为导向、集成、非易失性、时间一致的数据集合，用于支持企业决策者进行分析、报表和数据挖掘等活动。它通过对企业各个业务领域的数据进行整合和清洗，将其转化为可理解、易分析的数据，从而为决策者提供决策所需的信息和分析基础。数据仓库是一个面向主题的、集成的、稳定的、历史数据的集合，它包括多
Hive动态分区和分桶使用场景和使用方法
按照数据表的某列或某些列分为多个分区，分区从形式上可以理解为文件夹，比如我们要收集某个大型 网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表 的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据 进行分区，不同日期的数据
数据库的设计规范：第一范式、第二范式、第三范式、巴斯范式
文章目录1. 范式的概念1.1 范式分类1.2 键和相关属性的概念2. 第一范式（1st NF）2.1 概念2.2 举例2.1 总结3. 第二范式（2nd NF）3.1 概念3.2 举例3.3 总结4. 第三范式(3rd NF)4.1 概念4.2 举例4.3 总结5. 范式的优缺点5.1 优点5.2
2023年最新交通航线（飞机、高铁）信息数据合集（含经纬度匹配）
2023年最新交通航线（飞机、高铁）信息数据合集（含经纬度匹配）
全国银行开户行/联行号查询方法
开户行指的是初次办理账号开户的银行，行号是一个地方银行的仅有的鉴别标示。由于各银行在各地的分行众多，只有用开户行行号才可以有效的区别该银行与别的银行进行识别。开户行行号有12位数字，由银行代码3位数和城市代码4位数）和银行编号4位，以及还有校验的1位数组成。2、拨通相应的银行人工客服电话，依据语音查
Gbase8a第一阶段测试-试题整理
Gbase8a第一阶段测试-试题整理
oracle 12c 容器数据库公共用户去访问pdb数据库
oracle 多用户，cbd用户访问pdb数据库，pdb数据库创建用户和表
【架构实践】《业务实时质量监控预警平台》系统设计文档
预警和报告可以与规则引擎、数据存储和查询、预警和报告等相关组件建立关系。总之，业务实时质量监控预警平台的数据架构需要包括业务数据源、数据采集层、数据处理层、数据存储层、数据可视化层、预警和告警层、自动化流程层、配置管理层等模块，以实现对业务的实时监控、预警和告警、数据分析和可视化等功能。总之，业务实
Kettle（7）：插入/更新组件
插入/更新组件能够将Kettle抽取的数据，与某个表的数据进行对比，如果数据存在就更新，不存在就插入。
【数据预处理】基于Kettle的字符串数据清洗、Kettle的字段清洗、Kettle的使用参照表集成数据
本次实验内容如下：掌握基于Kettle的字符串数据清洗掌握基于Kettle的字段清洗掌握基于Kettle的使用参照表清洗。
ETL 与 ELT的关键区别
ETL 和 ELT 之间的主要区别在于转换的时间和位置：它是在数据加载到数据仓库之前还是在存储之后发生。实施管道所需的技术技能，支持每个选项所需的产品数量和复杂性，技能团队雇用的数据团队本身的结构，以及数据堆栈的准备性和灵活性。在我们深入了解这些差异的细节之前，让我们清楚地定义什么是 ETL 和 E
