大数据项目之电商数仓、数据仓库概念、项目需求及架构设计
比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：备份、清
Hive group by 数据倾斜问题处理
发现一个10.19号的任务下午还没跑完，正常情况下，一般一个小时就已经跑完，而今天已经超过3小时了，因此去观察实际的任务，发现9个map 其中8个已经完成，就一个还在run，说明有明显的数据倾斜。在一小时内结束，并且没有哪个节点耗时较长。发现有使用group by。
hive窗口函数极速入门及在拉链表上的运用案例
hive开窗函数
大数据OLAP技术体系学习框架
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但实际很重要，这里就不再具体说明，感兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标
数据湖及湖仓一体化项目学习框架
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但又很重要，这里我就不在详述作用，有兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标
大数据工程师、数据挖掘师和数据分析师有啥区别
随着互联网技术的不断提升，数据已经成为各大企业新的战场，而对于从业者来说，如果你对数据科学领域的工作感兴趣的话，肯定首先要了解一下数据科学领域都有哪些岗位。从岗位性质和主要工作内容不同我们可以把数据科学的岗位大概分为四类：数据产品经理、大数据工程师、数据挖掘师、数据分析师。数据产品经理显而易见就是精
【Hadoop技术篇】YARN 作业执行流程
yarn的作业执行流程
基于antlr-3.5.2+Python实现一般HiveSQL血缘解析(一)
作为一个开发实践项目，实现对HiveSQL语句的解析可以很有效的作为管理用户查询权限的管理。对于这方面的知识本身也不是非常熟悉了解，很多时候也是边学边记。身边也没有人指导这个方案具体该怎么实现怎么做，只有需求是要将复杂查询或者是关联建表的SQL语句能够将其库名和表名全都给提取出来并且能够实现上下游的
湖仓一体电商项目（二十三）：离线业务 统计每天用户商品浏览所获积分
使用Iceberg构建湖仓一体架构进行数据仓库分层，通过Flink操作各层数据同步到Iceberg中做到的离线与实时数据一致，当项目中有一些离线临时性的需求时，我们可以基于Iceberg各层编写SQL进行数据查询，针对Iceberg DWS层中的数据我们可以编写SQL进行离线数据指标分析。当前离线业
学大数据有哪些高薪工作可以选？
大数据行业目前有多火爆就不用多说了，我们生活和工作的方方面面都和大数据技术息息相关。由于大数据在各个行业的广泛应用，导致了大数据人才缺口的进一步扩大。可能有人会问了，学大数据有哪些高薪工作可以选呢？首先大数据的整体就业薪资都挺高，而且的就业方向也很多。下面为大家介绍一些大数据行业的高薪岗位。数据分析
【ClickHouse】-01.万字带你快速入门使用CK
【ClickHouse】-01.万字带你快速入门使用CKClickHouse安装；ClickHouse引擎；ClickHouse数据类型；ClickHouse Sql 案例操作
云数据库与Mysq连接超详细版+报错解决方案+团队使用
mysql远程访问最常报的就是以下两个错误，一个是10060，一个是11001，后面都有详细的解决方案以及报错原因。解决问题需要耐心，报错不可怕，我们要收集报错下次不再犯；因为目前我在做项目，每个人本地都有一个数据库，但是因为目前用的是gitee，每个人都有自己独立的分支，都会有要动的表，如果都用自
数据仓库hive本地模式安装
hive是建立在hadoop文件系统上的数据仓库，提供了一系列的工具，能对存储在HDFS中的数据进行提取，转换，加载等操作；该文主要介绍了hive本地模式的部署。
【Hive】各种join连接用法
hive join连接的各种用法
离线数仓搭架_01_数仓概念与项目框架说明
数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。
离线数仓（1）：什么是数据仓库
数仓面向主题分析的特点在企业中数仓是一个不断维护的工程数仓分层并不局限于经典3层，可以根据自身需求进行调整没有好的架构，只有适合自己业务需求的架构它山之石可以攻玉注：其他 离线数仓 相关文章链接由此进 ->离线数仓文章汇总。...
数据仓库中基本概念
数据仓库(Data Warehouse)是一个面向主题的、集成的、稳定的且随时间变化的数据集合，用于 支持管理人员的决策。
Hive面试题系列-求用户最大连续活跃天数 2
代码】Hive面试题系列-求用户最大连续活跃天数 2。
Hive时间日期函数一文详解+代码实例
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive中的表示纯逻辑表，只有表的定义等，即表的元数据（存储于MySQL中）。本质就是Hadoop的目录/文件，这种设计方式实现了元数据与数据存储分离。Hive本身不存储数据，它完全依赖HDFS
HiveServer2 报错 OutOfMemoryError 解决思路
HiveServer2 报错 OutOfMemoryError 解决思路
