Java代码实现kafka的消息生产与消费
生产者发送消息到我们的topic分区上，需要等待我们kafka返回的ack，如果没有返回就会进入3s的阻塞，retry3次——>抛出异常（这里面我们可以将信息记录到文件日志中）生产者并不是直接把消息推送给kafka的——>利用了消息缓冲的机制，kafka本地线程默认会创建一个缓冲区 ，用来存放发送的
SpringBoot下RabbitMQ的实战应用：动态创建和动态监控队列、死信、备份交换机
每个用户对应一个普通队列；当用户过多时，相应的队列也会很多，并且队列是持久化的，会占用较多的系统资源；交换机收到消息，但无法投递时，转发至备份交换机，再广播至对应队列。缓存操作不是本文的重点，用模型类代替；缓存中未得到确认的消息，由定时器重新发送；用户登录后，动态切换要监控的队列；未发送成功的消息，
Flink1.14 connector-jdbc插入更新(Upsert)模式的源码解析
基于flink jdbc方言(dialect)里不同Statement何时、如何被调用的思考。前言：在修改flink-connector-jdbc源码时，观察到jdbc有方言的实现，在 JdbcDialect.class 里存在insert/update和upsert两种更新语义，所以研究下何种情况
rabbitmq新增用户
如果想要跨机器登录RabbtiMQ的web管理平台，就需要新建用户，而不能用默认的用户guest。下面记录一下新增用户的步骤：1.添加新用户，用户名为root，密码为1234562.为该用户分配所有权限3.设置该用户为管理员角色现在就可以用root用户在其他机器上登录RabbitMQ的web管理平台
RabbitMQ 消费端异常重复循环小记
1.将抛异常的地方干掉,自己处理异常的机制,这样每次都是自动应答 显而易见这样就解决了,但是相当于报异常的时候自己要去写方案去处理,否则这条消息就丢了,因为MQ认为消息已经是消费成功了2.try catch需要处理的异常,直接抛出来,交给MQ,到上限进入死信队列这种方式需要配置最大重试
Spark 任务提交流程说明
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes
flink 复postgresql数据库数据
flink 数据库 数据复制
虚拟机连接mysql出现的问题
1:下载mysql出现无法解析的问题在端口号和网关配置没有出错的前提下，进去etc目录下通过命令vim resolv.conf进去并添加以下内容。可以通过:ping 8.8.8.8测试是否成功，在输入时前面一定不能有空格。2.在进入mysql时输入密码出现not found这是因为初始密码中存在特殊
高校学生就业管理系统
数据库课设
docker、docker-compose部署elasticsearch集群
使用docker-compose部署elasticsearch集群，在开发学习环境中使用
JDBC进行批量插入数据操作
通过逐层优化的方式来介绍如何向数据库进行批量插入
大数据理论体系
目录结构大数据是什么？大数据是如何发展起来的？大数据处理的基本流程是什么？为什么说数据不动代码动？移动计算比移动数据更划算？DAG对大数据处理有什么好处？批处理和流处理如何区分？ 有边界数据和无边界数据如何区分？批处理中如何提高CPU利用率？什么是事件时间和处理时间？Workflow设计模式指的什么
Hyperledger Fabric 应用实战（1）--前期准备
本应用示例基于Hyperledger fabric2.4搭建一个自由房屋租赁区块链系统freerent，用户可以自由在链上开展合同签订、执行和验真。freerent应用背景相对简单，当前应用搭建示例展示 fabric初级功能。
基于springboot的ShardingSphere5.2.1的分库分表的解决方案之分表解决方案(一)
基于springboot的ShardingSphere5.2.1的分库分表的解决方案之分表解决方案
filebeat同时采集多个日志时，logstash和filebeat的文件配置
filebeat同时采集多个日志时，logstash和filebeat的文件配置
Clickhouse一级索引优化方案
Clickhouse一级索引优化方案及知识点
kafka如何保证消息不丢失？半分钟的答案和半个小时的答案有点不一样。
关于Kafka保证消息不丢失的问题，就简单总结到这里，但这其实并不是结束。相反，随着你对Kafka理解得越深，你会发现这个问题会有更多的发散空间。像MQ如何保证消息不丢失？如何不重复消费？如何处理消息积压？等等，这都是一系列非常开放的面试题。对于你是否真正理解了每个MQ产品，是非常好的检验标准。
Spark的基本概念与架构
Spark的基本概念与架构
HDFS高可用配置及其高可用集群搭建
HDFS的HA（高可用）的背景、造成故障的原因以及解决方案，同时介绍了HA的解决方案-QJM 并详细记录了HA集群搭建的过程
分布式文件系统
要理解分布式文件系统首先了解什么是文件系统。查阅百度百科：文件系统是负责管理和存储文件的系统软件，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件。下图指示了文件系统所处的位置：常见的文件系统：FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等。
