RabbitMQ-消息中间件学习记录（what-how-why）
RabbitMQ-消息中间件学习记录（what-how-why）
helm部署rabbitmq
如果要暴露端口可修改service配置type: NodePort,可以自己指定暴露的端口。2.helm部署服务与默认rabbitmq/values.yaml修改。如果不挂载持久化磁盘可修改persistence 为false。3.helm持久指定服务器和持久化挂载部署。1.添加rabbitmq仓库
启动elasticsearch报错
2.原因是，在安装elasticsearch时，新建的logs目录是用root用户建的，因此，logs下的文件是root用户权限，因此，将该权限改为非root用户即可。3.解决方法：修改权限。
Flink1.17.0数据流
必须连续处理无限流，即事件必须在摄取后立即处理。不可能等待所有输入数据到达，因为输入是无限的，并且在任何时间点都不会完成。处理无界数据通常需要按特定顺序（例如事件发生的顺序）引入事件，以便能够推断结果完整性。可以通过在执行任何计算之前引入所有数据来处理有界流。Flink 被设计为在所有常见的集群环境
分布式应用之zookeeper集群+消息队列Kafka
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。
SAP 解析销售订单的状态
众所周知，在SD的流程中，很多处理是跟订单的状态息息相关的，比如参照一张销售订单来做发货单的时候，系统需要检查销售订单里面的交货状态是否是A（没有处理）或者B（部分处理），如果是空白(不相关)或者已经是C(完全处理)了，那么系统会报错来通知用户这张销售订单的明细已经不能用来做发货了。“完成规则”只是
SpringCloud《Eureka、Ribbon、Feign、Hystrix、Zuul》作用简单介绍
业务流程，支付订单功能订单服务改变为已支付订单服务调用库存服务，扣减库存订单服务调用仓储服务，通知仓储发货订单服务调用积分服务，增加用户积分下图这张图，清晰表明了各服务间的调用过程：好！有了业务场景之后，咱们就一起来看看Spring Cloud微服务架构中，这几个组件如何相互协作，各自发挥的作用。
RabbitMQ系列（19）--实现在RabbitMQ宕机的情况下对消息进行处理
12、重新启动项目，在浏览器地址栏调用发送消息的接口，可以看到生产者发送消息成功，交换机调用了回调接口并打印出交换机接收消息成功，但消费者没有消费成功的日志输出，因为RoutingKey错了，交换机没有把消息发送到队列里，队列里没消息，自然消费者也就没有消费到消息了，但这个结果不符合我们的预期，因为
怎么计算flink任务需要多少cpu和内存
JVM堆大小：JVM堆大小越大，可以同时运行的线程数就越多。因此，我们可以尝试提高JVM堆大小以提高并发度，从而降低CPU和内存的使用量。数据规模：Flink任务需要的CPU和内存与数据规模成正比。如果数据规模较大，那么任务需要更多的CPU和内存来处理数据。Flink任务需要的CPU和内存取决于任务
Flink源码之JobManager启动流程
JobManager的启动过程就是创建三大组件RestServer/RM/Dispacher实例初始化的过程，RestSever通过Netty启动HTTP服务，RM/Dispacher被AkkaRpcService包装成AkkaActor提供本地或远程RPC服务，RestServer仅仅是接受请求解
mq常见问题：消息丢失、消息重复消费、消息保证顺序
mq常见问题：消息丢失、消息重复消费、消息保证顺序消息丢失问题拿rabbitmq举例来说，出现消息丢失的场景如下图从图中可以看到一共有以下三种可能出现消息丢失的情况：1> 生产者丢消息生产者在将数据发送到MQ的时候，可能由于网络等原因造成消息投递失败2>MQ自身丢消息未开启RabbitMQ的持久化，
kafka和rocketmq区别对比
Kafka和RocketMQ是目前非常流行的分布式消息系统，它们都能够高效地处理海量的消息数据。在本文中，我们将对Kafka和RocketMQ进行技术比较，分析它们在各方面的优缺点，以便读者在选择消息系统时能够做出更加明智的决策。一、架构设计Kafka和RocketMQ都是基于发布/订阅模式的消息系
大数据环境搭建 Hadoop+Hive+Flume+Sqoop
大数据Hadoop生态圈环境搭建，主要针对离线项目，利用HDFS进行分布式存储，MapReduce进行离线计算，Hive进行数据分析。
kafka2.8.1升级至3.4.0教程
kafka升级
【开发问题】flink-cdc不用数据库之间的，不同类型的转化
我一开始直接用的oracle【date】类型，mysql【date】类型，sql的校验通过了，但是真正操作数据的时候报错，告诉我oracle的数据格式的日期数据，不可以直接插入到mysql格式的日期数据，说白了就是数据格式不一致导致的。我想的是既然格式不对，就自己手动把格式转一下，然后变成mysql
使用 Python 操作 Kafka
Apache Kafka 是一个分布式的流处理平台，它具有高吞吐量、可扩展性和持久性的特点。通过使用 Python 的 kafka-python 模块，我们可以方便地操作 Kafka。通过以上步骤，我们可以方便地使用 Python 操作 Kafka。你可以根据实际需求进行扩展，比如设置消息的键、使用
超详细Hadoop安装教程（单机版、伪分布式）
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
rabbitmq设置允许外部访问
rabbitmq设置允许外部访问
大数据课程I3——Kafka的消息流与索引机制
比如，在成功消费一条消息后，你又把消费的offset重置到之前的某个offset位置，那么你将收到从那个offset到最新的offset之间的所有消息。想要开启这个特性，获得每个分区内的精确一次语义，也就是说没有重复，没有丢失，并且有序的语义，每个log文件默认是1GB生成一个新的Log文件，比如新
Flink流批一体计算（20）：DataStream API和Table API互转
在 PyFlink Table API 中，DDL 是定义 source 和 sink 比较推荐的方式，这可以通过 TableEnvironment 中的 execute_sql() 方法来完成，然后就可以在作业中使用这张表了。由于Flink是一个基于 Java/Scala 的项目，连接器（conn
