SpringBoot整合Flink（施耐德PLC物联网信息采集）
施耐德PLC设备（TM200C16R）设置好信息采集程序，连接局域网，SpringBoot订阅MQTT主题，消息转至kafka，由flink接收并持久化到mysql数据库；失效数据清理机制（为了方便测试，所以清理机制执行频率高且数据失效低）202303171001/p（发布话题，由设备发送，应用端接
使用DataX和sqoop将数据从MySQL导入Hive
使用DataX和Sqoop两种方式进行数据同步，对比两种技术的优劣
系统kafka不消费-topic问题
系统kafka不消费-topic问题
SpringBoot AMQP
SpringBoot 已经提供了对 AMQP 协议完全支持的 依赖，引入此依赖即可快速方便的在 SpringBoot 中使用 RabbitMQ。参考：Spring AMQP。声明式实现（推荐）注意，以上配置再启动 SpringBoot 并不会立马创建交换机、队列、绑定，SpringBoot AMQ
深入理解KAFKA_ADVERTISED_LISTENERS
（1）内网访问（2)外网访问于是springboot程序通过外网访问的时候，配置 改成这样 （1）程序首先是从zookeeper中获取broker地址。然后用这个地址去连kafka。如果配置的地址是外网程序找不到的一个地址，那就连不上了。（2）zookeeper中的地址是通过这个关键句来配置的。
10. RabbitMq 集群搭建
在本系列中介绍了搭建RabbitMq环境的过程，现在要搭建含有3台RabbitMq服务器的集群环境。，如下所示，修改成喜欢的IP即可只需修改文件中的IPADDR即可。3台服务器的hostname分别设置为node1、node2、node3比如以第一台为例，通过直接编辑hostname文件内容为nod
pyspark基础学习——数据处理
使用pyspark进行csv文件导入、零值填充、求和、求平均等数据统计，同时还使用SQL语法进行处理，并将最终的结果导出成csv文件
Kafka使用MirrorMaker同步数据的两种方式
CDH对 Kafka MirrorMaker的支持度不错，稳定性也能经得起时间的检验。另外，这种备份方式属于实时备份，很适合对数据完整性和及时性要求较高的项目，能最大程度地确保通过 kafka流转的数据的及时可用。还有一个好处是，当 kafka集群1因为某种原因无法工作时，可以迅速切换到集群2，且两
数据仓库主题域的划分
记录本人实际工作中接触到的各类主题域和数据域，结合自身的经验和对主题域的理解谈谈其划分标准。
springboot集成rabbitMQ-消费者
springboot集成rabbitmq消费者，使用注解和template类进行消费
大数据测试
什么是大数据测试 大数据测试通常是指对采用大数据技术的系统或应用的测试。大数据测试可以分为两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。数据测试： 主要关注数据的完整性、准确性和一致性等。大数据系统测试和大数据应用产品测试： 这里的大数据系统一般是指使用hado
SpringBoot整合Kafka简单配置实现生产消费
简单实现生产及消费，包括生产消费的配置说明、消费着offset自定义seek等
hadoop调优(二)
NameNode进程挂了并且存储数据丢失了，如何恢复NameNode？如果NameNode进程挂掉并且数据丢失了，可以利用Secondary NameNode来恢复NameNode。Secondary NameNode主要用于备份NameNode的编辑日志和文件系统镜像，以便在NameNode失败时
ES和MySQL数据同步（简略版）
es和mysql的数据同步
Elasticsearch head插件安装及数据的基本操作
Elasticsearch head插件及其使用 Elasticsearch操作
通过 SMOTE 及其变体过采样处理不平衡数据
在这篇文章中，我将解释使用 SMOTE、SVM SMOTE、BorderlineSMOTE、K-Means SMOTE 和 SMOTE-NC 进行过采样/上采样。我将通过一个实际示例进行解释，在该示例中我们应用这些方法来解决不平衡的机器学习问题，以了解它们的影响。
spark数据清洗练习
通过编写Spark程序清洗酒店数据里的缺失数据、非法数据、重复数据。
DM(达梦)数据库和其他数据库(mysql,sqlserver...)表互相迁移
因为达梦是国产数据库，管理界面和其他数据库都不能通用，其他数据库可以用navicat一个管理工具都可以连接，而达梦只能用自己提供的管理工具。在做项目的时候遇到两个项目用的表和数据都是同样的但是数据库不一样这个时候为了节省时间可以直接库与库质检互相导表和数据增加效率。6：点击下一步后会出来源数据库里面
❤️ 万字Python MySQL从入门到精通详细教程❤️ 再也不用担心学不会数据库了❤️
文章目录前言按顺序教程如下：0、SQL详细教程一、Python MySQL入门连接基本环境准备连接二、Python MySQL创建表创建数据库检查数据库是否存在解锁新教程！三、Python MySQL插入表四、Python MySQL选择五、Python MySQL查询在哪里（where）六、pyt
Java开发 - 消息队列前瞻
常见消息队列 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ 等详解和对比 - 知乎最后了，说啥啥？还是说说关于消息队列博主的教程方向吧。后续，博主会通过两篇博客来分别讲解RabbitMQ和Kafka的实战用法，此篇权当给大家一个前瞻，了解下即可。
