KafKa存储机制
Kafka 是为了解决大数据的实时日志流而生的, 每天要处理的日志量级在千亿规模。1. 数据实时产生2. 海量数据存储与处理所以它必然要面临分布式系统遇到的高并发、高可用、高性能等三高问题。对于 Kafka 的存储需要保证以下几点：1. 存储的主要是消息流（可以是简单的文本格式也可以是其他格式，对于
SpringAMQP （RabbitMQ五种模式 & 消息转换器）
一、简化Hello World模型实现步骤演示 代码步骤演示如下所示：消息提供者publisher代码简化：消息消费者consumer代码简化：二、Work Queue 工作队列模型消息提供者代码如下所示：消息消费者代码如下所示：消息预取机制： 三、发布订阅模型而订阅模型是什么呢：3.1、Fanou
CentOS7安装kafka3.3.1集群----(不使用zookeeper)
参考: 【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将zookeeper去掉。上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller
基于大数据平台的毕业设计
前言最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的…所以就抽空写一写自己毕业设计的一个思路，大数据是我实习自学的，这个思路是我当初自己想的，就当做一份参考吧。在我毕业那年，同学们毕业设计大多都是以Java语言开发的各种管理系统、xx商城为主，包括我刚开始的
Flink SQl 语法(hint,with,select,分组窗口聚合，时间属性（处理，事件）)
6、Flink SQl 语法1、查询语句1、hint在对表进行查询的是偶动态修改表的属性-- 创建表CREATE TABLE word ( lines STRING) WITH ( 'connector' = 'kafka', 'topic' = 'word', 'properties
Hive中的建表方式
hive中的建表语法，查看表结构方式
rabbitmq多个消费者消费同一个队列中的同一条消息。
rabbitmq多个消费者消费同一个队列中得同一条消息。
Kafka动态认证SASL/SCRAM配置+整合springboot配置
Kafka动态认证SASL/SCRAM配置+整合springboot配置
在线办公系统（Yeb）项目总结
office_online(Yeb)是一个基于SpringBoot的前后端分离项目，这是一篇完整的学习笔记。
Doris浅略介绍 +部署+使用
DORIS 部署 +使用 +扩容 BE节点，学习记录doris 遇到的坑以及学习过程；
当zookeeper启动失败：Invalid config, exiting abnormally
zookeeper 启动报错：Invalid config, exiting abnormally 解决方案
大数据Maxwell（一）：Maxwell介绍和工作原理
Maxwell是由美国Zendesk开源，使用Java编写的MySQL实时抓取工具，可以实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程
OneNET 数据可视化 按键控制
使用MQTT协议接入OneNET实现数据的上传以及命令的下发，本文主要是介绍一下如何使用OneNET可视化平台来实现数据的可视化。1.学会onenet的网页的数据可视化。2.学会网页按键的简单使用。
hiveSql正则方式提取字段中的内容
regexp_extract方法正则提取string中的内容
【Hive】内置函数—字符串函数
hive字符串内置函数大全
JVM常用内存参数配置
JVM启动时申请的初始Heap值，默认为操作系统物理内存的1/64但小于1G。默认当空余堆内存大于70%时，JVM会减小heap的大小到-Xms指定的大小，可通过**-XX:MaxHeapFreeRation=**来指定这个比列。；开发测试机JVM可以保留默认值。(例如：-Xms4g)
RabbitMQ如何防止消息丢失及重复消费
文章目录RabbitMQ如何防止消息丢失及重复消费一、消息丢失1.1、生产者没有成功把消息发送到MQ1.1.1、confirm（发布确认）机制1.1.2、事务机制1.2、RabbitMQ接收到消息之后丢失了消息1.3、消费者弄丢了消息二、如何防止重复消费RabbitMQ如何防止消息丢失及重复消费一、
五分钟了解支付、交易、清算、银行等专业名词的含义？
支付的本质就是货币在收付款人之间的转移，那为什么会转移呢，就是因为发生了经济活动有了交易；就如我们口渴了去超市买了一瓶水，这就是经济活动我们使用银行卡“支付工具”在超市的pos机上刷卡完成了支付；这个过程转移的是电子账户货币，也就是我们的银行结算账户里的钱，转移到了商户的银行结算账户所以支付是在经济
hive表的输入输出格式总结
hive输入输出格式总结
大数据平台性能监控
大数据监控是指通过大数据技术手段获取、收集、分析数据，并能够准确分析信息，有效预测信息发展动态趋势。大数据监控主要围绕着海量全网数据，大多数需要借助监测系统来协助分析数据。PrometheusPrometheus注重于数据存储及分析，存储采集到的监控数据并以metric的形式保存在其中，且能够将数据
