元数据、数据元、元模型、数据字典及数据模型的区别
元数据:描述数据的数据数据元:数据的最小单元(字段元数据+值)数据模型:由数据元组合而成(分为概念、逻辑、物理模型)元模型:关系建模中的实体、关系、属性,是相对于数据模型的概念,离开了模型元模型就没有了意义。数据字典:表和字段的元数据集合,包括约束、数据类型、默认值、长度、转换规则和业务定义,供技术
java连接mysql8.0数据库—jdbc连接
1.导入jar包mysql官网点击platform Independent,然后出现jar包选项点download点左下角no thanks,直接下载原始方法,直接在项目下建一个libs路径然后将刚刚下好的zip解压,复制jar包到该目录下,右键jar包,选择add as Library出现一堆包
《阿里大数据之路》读书笔记:第一章 总述
阿里数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。
Hive 根据日期计算周数以及周几
余数就是周几(0~6),0 代表周日。示例:求日期。
2023-DataWorks数仓开发手册收藏版
目前的数仓为离线数仓,因此DataWorks开发主要涉及到离线数据集成和数据模型开发,因此本节也是分两部分来描述。
数据仓库性能测试方法论与工具集
数据仓库是数据库的下一代产品形态 —— 如何对数字化转型过程中涌现的数据集合进行有效的存储、分析和利用,继而帮忙企业进行运营决策优化甚至创造出新的获客模式和商业模式形成竞争力,是企业主们亟需解决的问题。在数据价值爆发的时代背景中,数据仓库在千行百业中都有着相应的应用场景。
hive删除表数据方法
外部表insert overwrite table test_table select * fromtest_table where 1=0;insert overwrite table是覆盖数据,后面select是指使用哪里的数据进行覆盖,如果条件为空 where 1=0,那就代表清除数据。内部表
在Hive中判断字符串中是否包含指定子字符串
方法一用法:返回值函数名函数说明intlocate(string substr, string str[, int pos])Returns the position of the first occurrence of substr in str after position pos.使用案例:s
指标与标签的区别?
在公司数据建设过程中,经常会使用和提到指标和标签,但是很多小伙伴对于两者的区别确不能讲清楚。实际上标签与指标一样,是理解数据的两种方式,在赋能业务上,两者同样重要。接下来将结合自身的理解,从定义、应用场景、分类等多个方面进行总结。
前端使用node.js连接sql.server数据库教程
最近项目中要用到node写接口然后连接公司现有的sql.server数据库,再把执行结果返回给前端(还是我),因为之前一直做前端这块,后端这方面不是很懂,花了很长的时间终于研究出来了(还是太菜了,走了很多弯路),所以写个博客,一是复习巩固,二是给其他有需要的小伙伴一个参考,尽量少走弯路,废话不多说,
大数据技术原理与应用(第3版)期末复习
HDFS文件操作MapReduce程序HBase数据库命令操作。
hive删除分区部分数据
insert overwrite table t_finance_tax_bill partition (importdate='20220218')select bill_id , apply_emp_id , bill_type_name
关于hive3多表leftjoin导致数据丢失问题及解决方案
关于hive3多表leftjoin导致数据丢失问题及解决方案
Hive多行转多列,多列转多行
Hive多行转多列,多列转多行
使用navicat创建Oracle新用户
使用navicat创建Oracle新用户
大数据项目之电商数据仓库系统
大数据项目之电商数据仓库系统
ClickHouse 相关面试题
ClickHouse是一款用于大数据分析的 OLAP 列式存储数据库管理系统,最初由Yandex公司开发,后来成为了一个开源项目,可以在 GitHub 上进行访问和使用。ClickHouse特点如下:高性能分布式架构支持 SQL 查询语言,减少开发人员学习成本。支持多种数据类型,拥有灵活的数据模型。
数据管理治理的发展趋势
随着机器学习技术的引入和元数据的应用,目前数据管理和集成已开始呈现出一种新趋势,即更加注重数据的“关联”(如上右图所示),也就是指无论数据是在本地、云端、某个设备感应器上或任何地方,我们都可以在数据保留在原地的情况下,将它们关联起来,而无须采集到特定地方。在未来增强式的数据管理的环境中,自动发掘数据
数据库的星型模型与雪花模型
星型模式模型可以被描述为一个简单的星型结构:一个中心表包含事实数据,多个表从它向外辐射,由数据库的主键和外键连接。在星型模式实施中,数据库的构建者将所有维度级别的维度数据存储在单个表或视图中。例如,如果您使用星型模式实现Product维度,那么数据库构建者将使用单个表来实现维度中的所有级别,如屏幕截