Skywalking Kafka Tracing实现
Skywalking默认场景下，Tracing对于消息队列的发送场景，无法将TraceId传递到下游消费者，但对于微服务场景下，是有大量消息队列的业务场景的，这显然无法满足业务预期。
flink-对齐和不对齐，精准一次和至少一次
精准一次怎么保证？可以设置为以下2个 对齐 当有一个barrier比较快时，输入缓冲区阻塞，当另外一个barrier到来时，才进行备份，所以数据不会重复。 优点：不会造成数据重复 缺点：会造成数据积压，OOM 不对齐 当有一个barrier到来时，直接将barrier置到最后，然后
Hadoop常用端口号
需要注意的是，以上端口号列表并非所有 Hadoop 组件的完整列表，不同版本和配置的 Hadoop 可能会使用不同的端口号。在使用 Hadoop 时，需要根据具体的环境和配置进行相应的端口号配置和调整。Hadoop 是一个由多个组件构成的分布式系统，每个组件都会使用一些特定的端口号来进行通信和交互。
Flink学习笔记（一）
这些快照将捕获分布式管道以及整个作业图的状态，将其记录在队列中，当发生故障时，进行回溯，恢复至最近的状态。快照的捕获是异步进行的，并不会影响正在处理的任务。对于大多数流应用程序来说，能够使用用于处理实时数据的相同代码重新处理历史数据，并无论如何都能产生确定性、一致性的结果，这是非常有价值的。通过使用
Docker中为RabbitMQ安装rabbitmq_delayed_message_exchange延迟队列插件
以我自己为例，我的RabbitMQ容器ID为 77e3asdd60df2，插件名称为 rabbitmq_delayed_message_exchange-3.9.0.ez ，然后容器中的插件保存地址为 /opt/rabbitmq/plugins ，所以我的拷贝命令如下所示。执行完命令之后，重新启动
rabbitmq如何保证消息的可靠性传输（简述版本）？
我需要从三点去考虑，
Iceberg从入门到精通系列之六：Flink集成Iceberg
Iceberg从入门到精通系列之六：Flink集成Iceberg
ApacheHive的SQL优化及HiveSQL语法详解
Apache Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射到一张表上，并提供简单的数据查询功能。Hive提供了一个类似SQL语言的查询语句用来定义数据的运算逻辑，通过MapReduce实现数据的离线计算和分析。由于Hadoop自身的特点导致Hive存在性能问题，因此出现
（二十八）大数据实战——Flume数据采集之kafka数据生产与消费集成案例
通过flume监听nc端口的数据，将数据发送到kafka消息的first主题中，然后在通过flume消费kafka中的主题消息，将消费到的消息打印到控制台上。该案例证明了flume1成功采集到了nc监听端口的数据，并将数据发送到了kafka主题first中，flume2成功从kafka主题中消费到了
RabbitMQ离线安装（Centos7）
摘要：通过离线方式安装RabbitMQ，并搭建高可用集群。
IDEA中scala安装与配置（详细步骤）
IDEA安装scala插件1.打开IDEA的settings，点击 Plugins (插件)，点击Marketplace（市场） 搜索scala进行下载
Introduction to Flink Streaming Platform for Big Data
作者：禅与计算机程序设计艺术 1.简介Flink是一个开源的分布式流处理框架，它允许快速轻松地进行实时数据处理，提供了一个完整的数据流程解决方案。它支持低延迟的实时数据计算、高吞吐量的实时数据传输以及复杂事件处理(CEP)。Flink在Apache顶级项目中排名
微服务 第七章 Spring Cloud GateWay 集成Eureka
API 网关是一个搭建在客户端和微服务之间的服务，我们可以在 API 网关中处理一些非业务功能的逻辑，例如权限验证、监控、缓存、请求路由等。基于上一章节的内容，已经集成了Spring Cloud Netflix微服务组件。其中服务发现、注册组件：Eureka，服务远程调用、负载均衡组件：OpenFe
从零开始手把手学习Pyspark
作者：禅与计算机程序设计艺术 1.简介Apache Spark是由加州大学伯克利分校AMP实验室开发的一个开源大数据处理框架。它基于Hadoop MapReduce计算模型实现，可以有效地处理海量数据并将结果存储到外部系统或数据库中。Spark提供高性能、可扩展
Kafka系列——生产者，向Kafka写入数据以及参数配置
学习如何使用 Kafka 生产者，如何创建 KafkaProducer 和 ProducerRecords 对象、如何将记录发送给 Kafka，以及如何处理Kafka 返回的错误。里面会深入介绍一些重要参数比如，acks，Message Delivery Time，max.request.size，
手写RPC框架--2.介绍Zookeeper
Zookeepera.概述1) 数据模型2) Watcher机制b.安装和基本操作1) Java操作zookeeper2) watcher机制c.集群安装1) 准备环境2) Zookeeper安装3) Java操作集群d.CAP理论1) 一致性，即 CAP 中的 C-Consistency2) 可用
CentOS中Hadoop的安装配置简略教程
http://主节点IP地址:808//cluster。重启三台电脑，重启后在终端Shell。中区分三台主机，修改其显示的主机名，执行如下命令。http://主节点IP地址:9870。三台机器的名称和IP。如果出现如下图，说明连接成功。无密码登录本机和访问集群机器。自动跳转到cluster页面。来测
linux系统下Kibana 安装、启动与访问
Kibana的安装与启动
【rabbitmq】出现问题Channel error on connection
[error] Channel error on connection (vhost: '/', user: 'guest'), channel 1:[error] operation basic.publish caused a channel exception not_found: no
kafka-- 安装kafka manager及简单使用
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传。
