mysql大数据高并发处理
一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱
数据仓库表级血缘应用
本文仅仅简单介绍了数据血缘在数仓中的一种应用场景。
一线大厂面试真题-Kafka如何保证消息不丢失
如图)但是，Kafka为了提升性能，采用了异步批量刷盘的实现机制，也就是说按照一定的消息量和时间间隔来刷盘，而最终刷新到磁盘的。. acks=0，表示producer不需要等Broker的响应，就认为消息发送成功，这种。从高手的回答可以发现，任何的技术问题，是可以按照请求的顺序，或者调用关系来逐
【Spark基础】-- RDD 转 Dataframe 的三种方式
1、通过 StructType 创建 Dataframe（3、通过定义 schema 类创建 DataFrame。2、通过 RDD 推断创建 DataFrame （强烈推荐使用这种方法。
Docker 部署 Flink 集群环境
基于 Docker 部署 FLink 集群环境。
大数据-hive
hive是基于的一个工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供查询功能，能将转变成任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统
Kafka与Pulsar差异深入探讨
在这篇文章中，我们将深入研究Apache Kafka和Apache Pulsar之间的关键区别。通过研究这两个消息系统的核心区别和独特功能，我们希望为您提供对其核心机制和实现的初步了解。我们希望这一分析不仅能帮助您在选择两者时做出明智的决定，而且能成为支持进一步探索和理解其功能的宝贵资源。
Kafka三种认证模式，Kafka 安全认证及权限控制详细配置与搭建
Kafka三种认证模式，Kafka 安全认证及权限控制详细配置与搭建。
RabbitMQ 基础介绍
协议的消息队列系统，本文解释介绍 RabbitMQ 的基础概念、数据传输机制和流程，帮助快速了解 RabbitMQ 和进行相关开发。本文重点在解释什么是 RabbitMQ、RabbitMQ 是如何运行的。目前比较符合我们微服务结构下的 PUB/SUB 机制的类型是 Exchange Fanout。A
Flink 窗口（1）—— 基础概念
本文介绍了Flink框架中窗口的基本概念
分布式【zookeeper面试题23连问】
（5）线程将当前zxid最大的Server设置为当前Server要推荐的Leader，如果此时获胜的Server获得n/2 + 1的Server票数，设置当前推荐的leader为获胜的 Server，将根据获胜的Server相关信息设置自己的状态，否则，继续这个过程，直到leader被选
hive进行base64 加密解密函数
【代码】hive进行base64 加密解密函数。
Kafka-Topic&Partition
topic & partition，是Kafka两个核心的概念，也是Kafka的基本组织单元。主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分为kafka提供了可伸缩性、水平扩展性、容错性等优势。分区可以有一个至多个副本，每个副本对应一个日志文件，每个日志文
flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1
注意三个容器都映射了/opt/flink目录。docker-compose运行了一个jobmanager、一个taskmanager和一个sql-client。其次，username和password的双引号不需要写反斜杠，写反斜杠反而会报错。，分别放入上述三个文件夹的lib目录下。⑤后面的user
大数据之Docker学习笔记
-driver bridge 桥接网络--subnet 192.168.0.0/16 子网地址--gateway 192.168.0.1 网关地址。
详解Nacos和Eureka的区别
Nacos具有更丰富的功能、更高的可用性和扩展性，适合构建云原生应用；在微服务架构中，服务发现是一个重要的环节，它能够帮助微服务实例进行相互通信。Nacos和Eureka是两种广泛使用的开源服务发现组件，它们在功能和实现上存在一些差异。Nacos是一个更通用的平台，提供了构建云原生应用的动态服务发现
数据库信息速递 -- 别把kafka 当做你的第二个数据库 （翻译）
开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, Sql Server等有问题，有需求都可以加群群内，可以解决你的问题。加群请联系 liuaustin3 ，（共1790人左右 1 + 2 + 3 + 4 +5）
Spark基础入门
sparkcore sparksql sparkstreaming structedstreming
Flink学习13-Flink CDC
cdc全称 Change Data Capture 变更数据捕获。通俗来讲只要能捕获到变更的数据的技术都可以称为cdc。常见的开源技术有以下几种：以下是几种技术的横向对比。
