Apache Kafka - 构建数据管道 Kafka Connect
Kafka Connect 是一个工具，它可以帮助我们将数据从一个地方传输到另一个地方。比如说，你有一个网站，你想要将用户的数据传输到另一个地方进行分析，那么你可以使用 Kafka Connect 来完成这个任务。Kafka Connect 的使用非常简单。它有两个主要的概念：source 和 si
Linux环境下，通过Docker搭建及配置RabbitMQ
Linux环境下，通过Docker搭建及配置RabbitMQ
rabbitmq 默认用户和密码
Note:The default administrator username and password areguestandguest.
Flink中的元编程与元学习
Flink 是 Apache 基金会开源的一款基于 Java 的分布式计算框架，它最初由 IBM 开发并于 2014 年宣布开源，目前已经成为 Apache Top-Level 项目，具有高吞吐量、低延迟等优点，被多家公司采用。在实际应用中，许多数据处理任务都需要对数据进行增、删、改、查（CRUD）
一文详解RabbitMQ的发送与接收。
消息队列呢，其实用法都是一样的，只是各个开源消息队列的侧重点稍有不同，我们应该根据我们自己的项目需求来决定我们应该选取什么样的消息队列来为我们的项目服务，这个项目选型的工作一般都是开发组长帮你们做了，一般是轮不到我们来做的，但是面试的时候可能会考察相关知识，所以这几种消息队列我们都应该有所涉猎。上面
HDFS的数据存储
HDFS内存存储是一种十分特殊的存储方式，将会对集群数据的读写带来不小的性能提升，而HDFS异构存储则能帮助我们更加合理地把数据存到应该存的地方。
了解hive on spark和spark on hive
大数据刚出来的时候，并不是很完善。发展的不是很快，尤其是在计算服务上，当时使用的是第一代mr计算引擎，相对来说计算并不是那么快。让大数据快速发展的是2009年伯克利大学诞生的spark，并在2013年成为Aparch的顶级开源项目。使大数据发展比较迅速、但是随着spark的快速发展，对于不太会用sp
zookeeper：简介及常用命令
一、Zookeeper简介二、Zookeeper服务端常用命令1、启动ZooKeeper服务2、查看ZooKeeper服务状态3、停止ZooKeeper服务4、重启ZooKeeper服务三、Zookeeper客户端常用命令1、连接ZooKeeper服务端2、断开连接：quit3、查看命令帮助：hel
hdfs-namenode
其中dfs.namenode.name.dir 属性就是配置namenode这几个（fsimage,edits,seed_txid,version）文件存放的地方，也是core-site.xml中配置的临时目录的地方。配置文件：hdfs-default.xml - 配置namenode的各种属性 是
logstash 日志解析配置详解
logstash 日志解析配置详解
清空hive表 姿势大全
- 清空分区表为什么着重强调分区表,因为分区表清空可能会因为分区过多导致清理速度特别慢.
RabbitMQ（二）
exchange要持久化queue要持久化message要持久化2.生产方确认Confirm（在后续文章中会讲解如何在回调函数中进行具体的处理3.消费方确认Ack4. Broker高可用（集群搭建。
Eureka注册中心 与 OpenFeign调用接口
# 需求一个应用通过接口，调用另一个应用的接口。使用OpenFeign来实现接口调用。# 说明通过OpenFeign（本文接下来简称Feign）调用远程接口，需要Eureka注册中心的支持。
大数据Flink（五十三）：Flink流处理特性、发展历史以及Flink的优势
同时 Flink 支持高度容错的状态管理，防止状态在计算过程中因为系统异常而丢失，Flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护，使得即使在系统停机或者异常情况下都能计算出正确的结果。由Java语言编写；2019-01-08，阿里巴巴以9000万欧元的价格收购了
Kafka单节点部署
Kafka单节点部署
模拟实现消息队列(以 RabbitMQ 为蓝本)
目录1. 需求分析1.1 介绍一些核心概念核心概念1核心概念21.2 消息队列服务器（Broker Server）要提供的核心 API1.3 交换机类型1.3.1 类型介绍1.3.2 转发规则：1.4 持久化1.5 关于网络通信1.5.1 客户端与服务器提供的对应方法1.5.2 客户端额外需要提供
ThingsBoard教程（五三）：规则节点解析 Kafka Node， MQTT Node
发布正文 - 节点将完整的消息负载发送到 MQTT 主题。如果需要，可以配置规则链以使用转换节点链将正确的负载发送到 MQTT 代理。发布的正文 - 节点将完整的消息负载发送到Kafka主题。如果需要，规则链可配置为使用转换节点链以正确发送有效负载到Kafka。此节点的出站消息将在消息元数据中包含响
Logstash启动报错：401的问题解决
原因: logstash的conf文件没有配置ES的账号密码, 配置上账号密码即可。
RabbitMQ 消息队列(Spring boot AMQP)
如果您需要强大的语言支持、丰富的生态系统和灵活的消息模式，请选择RabbitMQ。RabbitMQ和RocketMQ是两个流行的消息系统，用于构建分布式和可扩展的应用程序。RabbitMQ是用Erlang编写的开源消息代理，而RocketMQ也是由阿里巴巴集团开发的开源分布式消息系统，使用Java编
【Kafka】Kafka基础概念笔记
【代码】【Kafka】Kafka基础操作笔记。
