实测解决 flink cdc mysql 时间字段差8小时/差13小时问题
实测解决 flink cdc mysql 时间字段差8小时/差13小时问题
Flink CDC 实时mysql到mysql
CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。[mysqld][mysqld]重启数据库。
在window使用bat批处理文件执行cmd命令
1、新建一个txt文本文档。然后在文档里面写入如下代码：意思是在路径E:\environment\ELK\logstash-6.5.4\bin执行logstash -f logstash.conf命令。路径、命令用&&隔开，命令之间也用&&隔开。如果还需要新增多条命令如Java-version则在l
Kafka消息队列中关于消息的实现原理
一个业务Topic中保存了100条消息数据，消费者1从Topic中消费消息数据，同时会定期将消费数据的偏移量写入到kafka内部的Consumer_offset主题上，如果消费者1在消费到第50条消息数据时，异常宕机不可用，此时消费者2启动后，就可以通过消费者1写入到Consumer_offset主
实验5 MapReduce初级编程实践（3）——对给定的表格进行信息挖掘
一、实验目的通过实验掌握基本的MapReduce编程方法；掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）Hadoop版本：3.1.3三、实验内容对给定的表格进行信息挖掘下面
Springboot配置kafka用户名密码
SpringBoot配置kafka用户名密码
Spark 从入门到精通
spark 从入门到精通 从spark集群搭建 到 案例spark core spark streaming sparkSQL
vue3利用spark-md5计算文件的md5值
vue3利用spark-md5计算文件的md5值
Docker 安装Kafka
第一步：查看本地镜像、检索Kafka镜像和下载Kafka 镜像# 查看本地镜像docker images# 检索Kafka镜像docker search kafka# 下载Kafka 镜像指定版本docker pull wurstmeister/kafka:latest第二步：启动Zookeeper
Kafka消息队列实现消息的发送和接收
消息生产者Producer产生消息数据，发送到Kafka消息队列中，一台Kafka节点只有一个Broker，消息会存储在Kafka的Topic（主题中），不同类型的消息数据会存储在不同的Topic中，可以利用Topic实现消息的分类，消息消费者Consumer会订阅消息存储的Topic，从Topic
大数据实战（hadoop+spark+python）：淘宝电商数据分析
利用docker部署hadoop，spark分布式环境，配合python对淘宝100万条数据进行分析
kafka删除topic
1. 首先需要在config/server.properties中添加 delete.topic.enable=true 属性。2. 用topic list找到想要删除的topic名称。
hive sql—collect_list—内部元素排序
hive sql—collect_list—内部元素排序
RabbitMQ常见的应用问题
如果消费者接收消息出现了异常，接收失败了，第三步发送延迟消息就起到了保证消息可靠性的重要环节，生产者会发生一个延迟消息到Q3队列中，回调系统也会从Q3队列中读取延迟消息，延迟消息和正常消息是一模一样的，回调检查系统会把延迟消息的ID与MQ数据库中的消息ID进行比对，如果存在数据那么久不会再做任何处理
hadoop报错：没有那个文件或目录
hadoop报错：没有那个文件或目录
IoTDB简介
IoTDB简介
Kafka3.3.1最新版安装教程（无需zookeeper）
kafka最新版3.3.1安装教程
DBeaver同时执行多条insert into报错处理
DBeaver同时执行多条insert into报错处理
spring boot配置双Kafka方法
关于spring boot整合Kafka实现双Kafka配置
Kafka三节点集群搭建
可以看到集群中zookeeper-1节点是Follower角色，zookeeper-2节点是Leader角色，zookeeper-3节点是Follower角色，正就验证了我们起那么说的那句话，当ServerID大并且投票超过半数则当选Leader节点，zookeeper-2节点启动后，ServerI
