关于kafka数据丢失场景的一次激烈讨论.... |文末送书
大家好,我是彦祖~问题描述最近彦祖发现,有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解.刚好拿一个同学的问题,来好好说明一下根据上面提的几个问题, 整理一下几个知识点acks = all的概念是什么？min.insync.replicas 是怎么用的？什么情
为什么美国加息，会让硅谷银行破产？美联储为什么要加息？
问：为什么美国加息，会导致银行购买的国债资产减值？问：为什么美国加息会导致国债利率上升？能否再具体讲一下？问：能用数字说明一下吗？问：美联储为什么要加息？问：能否使用数字加以说明？
Java网络编程——客户端Socket
目录第一部分：使用Socket一.数据报二.socket的功能第二部分：了解SOCKET类1.socket类2.构造方法3.常用方法介绍4.DEMO:客户端和服务端通信第三部分：用Telnet研究协议一、了解Telnet二、用Socket从服务器读取1.在终端上用Telnet测试daytime服务器
Rabbitmq交换机模式
Fanout模式Fanout这种类型非常简单。正如从名称中猜到的那样，它是将接收到的所有消息广播到它知道的所有队列中 只要队列和该模式的交换机有绑定关系,该队列都会收到消息 系统中默认有些exchange类型书写fanout生产者代码public class FanoutProducter {
【Flink 实战系列】Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
Flink CDC 是基于 Flink 开发的变化数据获取组件（Change data capture），简单的说就是来捕获变更的数据，Apache Hudi 是一个数据湖平台，又支持对数据做增删改查操作，所以 Flink CDC 可以很好的和 Hudi 结合起来，打造实时数仓，实时湖仓一体的架构，
【HDFS】权限管理
一文带你了解HDFS的权限管理~~~
flinkcdc抽取oracle数据（oracle cdc详细文档）
flinkcdc集成说明文档、oraclecdc详细文档、全量+增量同步oracle数据
Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战
Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战
ElasticSearch之查询性能分析
一下，怎么在有限的es配置的内存塞数据：写入 es 的数据最好小于等于，或者是略微大于 es 的 filesystem cache 的内存容量。然后你从 es 检索可能就花费 20ms，然后再根据 es 返回的 id 去 hbase 里查询，查 20 条数据，可能也就耗费个 30ms，1T 数据都放
Kafka生产者——消息发送流程，同步、异步发送API
Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程:main线程和Sender线程，以及一个线程共享变量:RecordAccumulator。①main线程中创建了一个双端队列RecordAccumulator，将消息发送给RecordAccumulat
Spark常见报错与解决方案【三】
原因：数据量太大，内存不够解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores(2)减少输入数据量，将原来的数据量分几次任务完成，每次读取其中一部分原因：(1)节点上运行的container多，每个任务shuffle write到磁盘的量大
HiveServer2 和 HiveMetastore 梳理
从使用者的角度理解这就够了。，也就是说这已经进入到了Hive的内部设计细节了，设计者设计各种重要的业务实体，抽象各种概念，将不同的职责委派给合适的类，所以回到话题本身，Driver类确实是Hiveserver2中的一个核心的类，组织与串联了SQL提交后到转译为MR作业的关键操作，但是从大的架构层面上
Hive on Tez性能优化
升级到 CDP 后Hive on Tez 性能调整和故障排除指南优化Hive on Tez查询永远不能以一种万能的方法来完成。查询的性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试期间，要评估和验证配置参数和任何 SQL 修改。建议在工作负载的性能测试期间一次进行一项更改，并且最好在生
如何查看yarn container日志 查看yarn任务所有container信息 yarn gc日志的查看和简单分析
如何使用命令行查看yarn日志和container信息及其日志，并进行简单的gc分析
kafka详解及集群环境搭建
kafka详解及集群环境搭建
JDBC操作达梦数据库
JDBC（Java DataBase Connectivity）即java数据库连接，它是一种用于执行SQL语句的Java API，是由一组用Java语言编写的类和接口组成，其本质就是java官方提供的一套规范(接口)。用于帮助开发人员快速实现不同关系型数据库的连接；不同的数据库厂商，针对这套接口，
Kafka同步发送与异步发送消息
生产者同步发消息，在收到kafka的ack告知发送成功之前一直处于阻塞状态
idea关联scala与spark开发（全）
idea关联scala与spark开发（全）
flink任务提交,查询,停止工具
因项目，需要在spring boot后台项目中集成flink任务提交，查询之类的功能，所有有了这个项目这个项目，可以通过java api的形式，帮助你提交，查询，暂停flink任务，也可以构建和关闭flink yarn session集群。主要通过restful接口和构建jobGraph实现。
Hadoop安装教程
hadoop集群的安装
