Quick Bi经验总结
Quick Bi可视化大屏数据分析大屏及各种可视化图表制作技巧
Dataphin数据中台使用
目录一、产品功能介绍二、dataphin使用介绍1)dataphin注意事项2)准备工作3)规划数仓4)数据处理以及配置调度5)任务发布6)数据抽取以及配置调度一、产品功能介绍二、dataphin使用介绍1)dataphin注意事项1).dataphin拥有开发/测试环境(XX_XX_XX_DEV)
【Hive】各种join连接用法
hive join连接的各种用法
什么是数据仓库?
数据仓库的基本功能与概念的介绍;数据库与数据仓库的对比介绍
Kettle(三)数据写入错误如何处理?
Kettle作为数据治理工具,总是会涉及到数据的搬迁,在原始数据过大、种类过多时写入肯定会出现一些错误(缺少必填项、数据格式错误、主键冲突等等),那么Kettle如何解决?其实Kettle与我们自己写程序的思维不会有本质性的差别,因此我们常见的处理方式基本上都可以得到解决。基本上我们常规的解决办法:
数仓知识07:数据增量更新的几种方式
1、增量更新的几种方式增量更新的本质,其实是获取源表中数据变化的情况(增、删、改),然后将源表中发生的变化同步至目标表中。不同的方式,获取源表中数据变化的情况不一样,受技术的限制、表结构的限制,某些方式可能无法获取到完整的数据变化情况,因此只能适用于特定的场景。方式 简述 适用场景 详述
数据湖与数据仓库区别
数据湖与数据仓库区别
hive数据仓库--Hive介绍
hive
HIVE总结
一:hive作用Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。Hive本质:将HQL转化成MapReduce程序(1)Hive处理的数据存储在HDFS(2)Hive分析数据底层的实现是MapReduce(3)执行程序运行在Yarn上1.1:
第8章 综合案例—构建DVD租赁商店数据仓库
第八章 综合案例—构建DVD租赁商店数据仓库
Oracle11G的表空间数据文件大小限制问题处理
oracle11g的表空间数据文件容量与DB_BLOCK_SIZE有关,在初始建库时,DB_BLOCK_SIZE要根据实际需要,设置为 4K,8K、16K、32K、64K等几种大小,ORACLE的物理文件最大只允许4194304个数据块(由操作系统决定),表空间数据文件的最大值为 4194304×D
漫谈大数据 - HiveSQL总结(二)查询操作
导语:HiveSQL各关键字详解,hive函数大全,类似于个人记录工具书,后续遇到其他的也会继续加进来。
快速生成 MySQL 数据库关系图
需求描述:快速生产关系型数据库表关系ER图在公司老旧系统里,数据库表很多,但是在设计之初并没有建立好关系图,导致新人刚入职,面对N个库,每个库几百张表,很不方便。例如:公司某一个系统的库有三百张表,在不熟悉项目的情况下,打开数据库看到一列列的表,很不清晰,对新入职同事很不友好。...
三、数据仓库实践-拉链表设计
由此带来了大量的存储、计算资源的开销,并且随着该表的持续膨胀,里边数据也没有清退机制,快照会越滚越大,而且还清贷款的数据,所有属性状态是不会再变动的。该场景,我们的数据起止日期(t_start_date、t_end_date)就不适用了,因为理论上,商品价格一天可能会变更多次,必须改成数据起止时间(
什么是数据库?数据库分为哪几种?
一、什么是数据库? 数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。(简而言之,用来存储大量数据的)二、数据库分为那几种?常用数据库有mysql、oracle、sqlserver、sqlite等(中小型公司一般使用My
数据仓库基础
数据仓库的概念 数据仓库核心特征 面向主题性 集成性 不可更新性 时变性数据库和数据仓库的区别 数据仓库分层架构 ETL和ELT
powerdesigner下载安装教程
PowerDesigner是Sybase公司的CASE工具集,使用它可以方便地对管理信息系统进行分析设计,它几乎包括了数据库模型设计的全过程。利用PowerDesigner可以制作数据流程图、概念数据模型(ConceptualDataModel)、物理数据模型(PhysicalDataModel),
浅谈企业数字化转型之主数据管理系统(MDM)
搭建主数据管理系统,可以有效帮助企业建立统一的数据规范,建立统一的管理维护流程,将从不同来源提取的通用数据,分布在集团范围内的不同系统(例如,企业ERP、CRM、以及集团中的子公司使用的不同业务系统)之间的通用基础数据,分离出来,建立数据的单一可信版本,进行集中统一管理。将这些被分离出来的通用的主数
数据仓库—什么是OLAP
从事数据仓库或者大数据的同学,应该经常会听到OLAP这个词。什么OLAP分析,OLAP引擎等等名词。今天就来聊聊什么是OLAP。OLAP与OLTP说起OLAP,就不得不提一下他的好兄弟OLTP,两者经常会被拿来比较。首先,看一下两者的定义:OLAP(On-Line Analytical Proces