Linux配置hive（远程模式）
hadoop、分布式、hive（远程模式）
Kafka之Docker部署Kafka kraft集群
使用docker-compose对kafka进行集群大剑，使用3.0版本不需要zookeeper支持，在一台宿主机大剑集群
JVM工具之jstat
JVM工具之jstat查询GC统计信息分析
springboot kafka消费者启动/停止监听控制，启动时只消费此时之后的数据
在springboot项目中，使用spring-kafka消费kafka数据。希望能够控制消费者（KafkaConsumer）启动或停止消费，并且在启动消费时只消费当前时刻以后生产的数据（最新生产的数据），也就是说，启动消费之前未消费的数据不再消费。
Flink SQL管理平台flink-streaming-platform-web安装搭建-整理
为什么我下的是适配flink 1.14.3的，我前面安装flink1.13.5，我也是下了一堆flink，经过尝试，才发现flink1.13.5这个版本，适配flink-streaming-platform-web tagV20220625。最近看到有人在用flink sql的页面管理平台，大致看了
hadoop调优
每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128 (G)* 1024(MB) * 1024(KB) * 1024(Byte) / 150 Byte = 9.1 亿。
Hbase简介
hbase的特点 hbase架构各个角色的功能 MemStore 刷盘 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统
阿里云EMR集群搭建及使用
EMR是运行在阿里云平台上的一种大数据处理的系统解决方案。可以简单的理解为一个对标ambari的产品。EMR构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark。可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR提供on ECS和o
hive3从入门到精通
拷贝hadoop/share/hadoop/common/lib目录中的 guava-27.0-jre.jar 到 hive/lib 目录。不要使用图形化 不然每次保存后3215行都会有个 特殊字符 如果产生删除即可 具体报错信息 后面有单独的描述。删除原有的 protobuf-java-2.5
SAP 物料分类账配置详解Part 1（ 基于SAP S/4HANA1909 版本）
本文将详细介绍：SAP 物料分类账配置要点 ，本系统使用的版本是： SAP S/4HANA1909 版本目录1 物料分类账的后台配置1.1 激活物料分类帐的评估区域1.2 分配货币类型并定义物料分类帐类型1.3 分配物料分类帐类型给评估范围1.5 定义材料分类帐组的变化类型1.6
制作报表原来可以这么简单—积木报表使用分享
在我们日常工作生活中，都会遇到需要做报表的情况；但是有时候我们费时费力做完以后，领导并不满意，那就来试试积木报表吧。下面呢，我们来分享一下积木报表使用的方法。如何实现分栏报表?在我们报表使用过程中，经常会用到将数据分成多栏进行展示的情况，这个时候就用到了分栏。1.效果展示2.设计步骤2.1创建一个名
Flink进阶篇-CDC 原理、实践和优化&采集到Doris中
Flink进阶篇-CDC 原理、实践和优化&采集到Doris中
【微服务笔记02】微服务组件之Eureka常见的几个配置属性及其常见的几个概念
这篇文章，主要介绍以下Eureka注册中心中常见的一些配置属性及其含义，Eureka注册中心大致可以分为三部分的配置属性，分别是：instance、client、server三部分，下面分别介绍三部分的配置属性。服务注册、服务发现、服务续约、服务剔除、自我保护机制。
Yarn增加新队列-----hive向Yarn提交任务后，Hadoop再次向Yarn提交任务阻塞
hive on spark搭建好后，任务提交会有问题，因为通过hive会话提交的任务一直存在且不会结束（除非关掉这个hive会话），根本原因是这些任务提交到了Yarn的同一个队列中，前面的任务没有执行完毕后面的任务不会执行，所以解决办法是增加一个Yarn队列，指定任务提交的队列，这样就不会出现任务的
大数据知识面试题-Hadoop（2022版）
序列号内容链接1大数据知识面试题-通用（2022版）待续…2大数据知识面试题-Hadoop（2022版）待续…3大数据知识面试题-MapReduce和yarn（2022版）待续…4大数据知识面试题-Zookeepr （2022版）待续…5大数据知识面试题-Hive （2022版）待续…6大数据知识面
消息队列RocketMQ、Kafka小计
Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示S
flink cdc 、 canal 、maxwell 的区别
目录读取数据的格式不同 (CDC是自定义的数据类型 在这里就不进行展示了，主要是展示一下Maxwell和Canal的区别)1.添加的区别 1.1 Canal1.2 Maxwell2.修改的区别2.1Canal2,2Maxwell3.删除的区别3.1 Canal3.2 Maxwel
flink 的 State
首先State是flink中的一个非常基本且重要的概念，本文将介绍什么是State ,如何使用State,State的存储和原理。以及State衍生的一些概念和应用。
Maxwell参数化建模和优化设计
Maxwell参数化建模和优化设计
【企业架构设计实战】6 数据架构
什么是数据架构？数据架构将业务需求转化为数据和系统需求，并寻求管理数据及其在企业中的流动。数据架构定义根据 The Open Group Architecture Framework (TOGAF)，数据架构描述了组织的逻辑和物理数据资产和数据管理资源的结构。它是企业架构的一个分支，包括管理组织中数
