Hive--时间函数大全
hive时间函数1. current_date()：获取当前格式化日期2. current_timestamp()：获取当前格式化时间3. unix_timestamp()：获取当前unix时间戳4. from_unixtime()：把unix时间戳转化为格式化时间5. to_date(): 当前格
大数据面试题--数仓
目录数据仓库理论数据分层E T L星形模型与雪花模型的区别？维度建模（dimensional modeling）：数据仓库项目最重要或需要注意的是什么，以及如何处理？关系建模与维度建模拉链表：维度表和事实表数据仓库中的维度和粒度维度建模步骤：如何构建数据仓库？Flink面试题Flink的重启策略：F
Hadoop 重新格式化NameNode
目录一、重新格式化 NameNode1、删除hadoop 三台节点配置路径下的残留文件（1）core-site.xml删除/usr/local/src/hadoop/tmp目录（2）hdfs-site.xml删除/usr/local/src/hadoop/dfs/name目录（3）hdfs-site
大数据技术原理与应用（第三版）林子雨教材配套实验答案---实验二 熟悉常用的hdfs操作
大数据技术原理与应用（第三版）林子雨教材配套实验答案---实验二熟悉常用的hdfs操作。
大数据Maxwell（二）：使用Maxwell增量和全量同步MySQL数据
注意：maxwell-bootstrap命令执行后，可以在对应的topic中查看到数据，这里对应的topic是maxwell进程对应config.properties文件中配置的topic。Maxwell不支持高可用搭建，但是支持断点还原，可以在执行失败时重新启动继续上次位置读取数据。停止maxwe
Kafka示例（Java版）
Kafka示例（Java版）
Java 操作HBase
1.创建一个学生信息表，用来存储学生的姓名（姓名作为行键，且假设姓名不会重复）以及考试成绩，其中考试成绩（score）是一个列族，存储了各个科目的考试成绩。HTableDescriptor包含了HBase中的表格的详细信息（例如表中的列族、表的类型、表是否只读、MemoStore的最大空间、Regi
ES 搜索引擎的分片数、副本数分配算法
本文将 ES 搜索引擎的分片数、副本数配置总结成固定的算法，跟据集群的服务器个数，总CPU核心个数，总内存大小很快可以确定要分配的参数值
CentOS7安装Hadoop集群完整步骤
1. 安装3台centos7服务器1.1.配置名字hadoop01\hadoop02\hadoop03hostnamectl set-hostname hadoop01hostnamectl set-hostname hadoop02hostnamectl set-hostname hadoop03
安装RabbitMQ及启动服务
3）配置环境变量：在系统变量下添加 变量名：ERLANG_HOME，变量值：D:ProgramFileserl10.0.1。2）安装完成后，如下，在电脑左下角显示的菜单中选择RabbitMQ Command Prompt(sbin dir)选项，选择好安装目录，本人安装到：D:DevSoftware
【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程。其中，就包含数据仓库、大数据平台、数据中台的定义，但是我确实不太认同，乍一看就感觉不太对，怎么成了“洋葱模型”，大
亚马逊云科技游戏孵化营-游戏的增长
亚马逊云科技游戏孵化营-游戏的增长
Kafka之enable.auto.commit使用解析
kafka enable.auto.commit 参数配置及意义
秒杀项目的消息推送
定义RabbitMQ配置类，设置生成者发送数据时自动转换成JSON，设置消费者获取消息自动转换成JSON。@Bean@Bean设置RabbitTemplate消息转换模式为Jackson2JsonMessageConverter；设置RabbitMQ消费者监听器的的消息转换模式为Jackson2Js
ZK首次连接失败，第二次连接成功的问题排查和解决
ZK首次连接失败，第二次连接成功的问题排查和解决
windonws下spark的安装(最新安装)
spark超详细安装步骤（1） 针对于不可写问题，只要它下面已经说明已经安装或安装成功便可忽略；（2） 对于没有“py4j”库的问题，通过pip install py4j==0.10.9.5 即可添加。
深入Kafka核心设计与实践原理读书笔记第二章
深入Kafka核心设计与实践原理读书笔记第二章
听闻Teradata退出中国，我想起了我经历过的一个数仓项目
昨天，Teradata撤出中国，我想起了我在20年前做的数据仓库项目。想当年Teradata是数据仓库的代名词啊，就如同现在搜索东西好多人说百度一下一样。可惜我没有用过Teradata。2002年，我基于SQLServer的数据仓库+商业智能做了一套所谓的决策支持系统。决策支持系统DSS，这样的名字
大数据如何进行测试
大数据测试通常是指对采用大数据技术的系统或者应用的测试。大数据测试可以分成两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。大数据测试和传统数据测试的不同对比项大数据测试传统数据测试数据量级需要处理的数据量级较高设计的数据量级较低数据结构处理的数据包括结构化数据、非结构化
ZooKeeper应用---分布式锁
zookeeper通过临时有序节点结合API中的回调和监听机制实现分布式锁
