python 安装pyspark_Python学习—PySpark环境搭建
PySpark环境搭建
Nacos 配置中心使用详解
nacos config配置中心使用详解
03-Zookeeper典型使用场景实战
幽灵结点是指当客户端创建节点成功后，没有收到服务端的回应，也就是客户端不知道自己已经成功创建了节点。这样就又会尝试创建新的结点，那之前创建的结点就是幽灵结点了。解决：Zookeeper规避的方式就是创建的时候给前面加一个uuid，客户端去创建节点的时候会先按这个uuid找。有的话就不会再创建。
idea连接kerberos认证的hive
其实用dbeaver连接hive就可以了。但是呢，idea也有这个功能，本着研究下的想法就试试。结果最后成功了 最后记录下。参考文章。感觉不太行里面提到了两个解决办法，个人只习惯用第一个。新增一个hive数据源url填写AuthMech=1;vm option填写。
Python房价分析和可视化＜房天下二手房＞
房价分析系列-贵阳二手房房天下。
Hadoop集群环境配置搭建
Hadoop集群配置搭建
多图详解 kafka 生产者消息发送过程
整个生产者客户端是由主线程和 Sender 线程协调运行的, 主线程创建消息, 然后通过 拦截器、元信息更新、序列化、分区器、缓存消息等等流程。然后 Sender 线程在初始化的时候就已经运行了,并且是一个 while 循环。Sender 线程里面主要工作是：去消息累加器里面获取有哪些 Node 是
Flink原理与实现：数据交换策略
数据交换策略（Data Exchange Strategy）定义了数据如何被分配到物理数据流图的 Task 中的。
kafka进程不定期挂掉（配置文件日志位置问题，困扰一年之久）
2、linux会定时清理/tmp目录下的文件，我的kafka日志文件目录正是放在了/tmp/kafka-logs目录下，导致被定时给清理掉了，所以kafka在尝试读取或追加日志时就会出错。centos7下/tmp目录的清理由服务systemd负责，其相关配置文件在/usr/lib/tmpfiles.
几款ZooKeeper可视化工具，最后一个美炸了~
本文首发于公众号BiggerBoy。通过人为操作去查看、管理ZK上的数据时，就亟需一个可视化操作界面。下面给大家介绍几款目前市面上流行的ZK可视化工具，有需要时就可以直接用啦。
RabbitMQ：订阅模型-消息订阅模式
订阅模型-消息订阅模式，也可以称为广播模式，生产者将消息发送到 Exchange，Exchange 再转发到与之绑定的 Queue中，每个消费者再到自己的 Queue 中取消息。RabbitMQ 单生产单消费模型主要有以下五个角色构成：生产者（producer/ publisher）：一个发送消息的
【Flink系列】开启jdbc批量写入
值得注意的是，useServerPrepStmts开启后，客户端不再对SQL预编译，也就是说上面说的SQL改写也不会发生，所以在批量写入时，把此参数关闭，或保持默认配置；使用Flink应用对流水进行计算和统计，结果一般字段较少，每条计算结果的数据量不大，如果开启批量写入，可以降低和数据库之间的网络交
聊聊 Kafka：Kafka 如何保证一致性
本文从高水位更新机制、副本同步机制以及 Leader Epoch 几个方面去剖析Kafka 是如何保证一致性的~
Hive字符串函数-空格处理
Hive字符串函数-空格处理
模式识别概念
模式识别概念、目的、方法、基本构成、性能测试
如何用Know Streaming来查询Kafka的消息
Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。目前KnowStreaming的实现方式是使用Consumer客户端来拉取数据Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件
Kafka之Consumer使用与基本原理
前置内容Kafka生产者：juejin.cn/post/709417…Kafka Consumer基本概念：juejin.cn/post/709641…Java SDK 基本使用Consumer就是负责从Kafka集群中消费消息数据的应用程序，自 Kafka 0.9 版本提供了Java版本的Cons
Flink系列之：Flink CDC深入了解MySQL CDC连接器
Flink系列之：Flink CDC深入了解MySQL CDC连接器
利用docker搭建服务器集群并部署大数据生态软件
小而美！利用docker搭建服务器集群并部署大数据软件集群
基于物理信息深度学习的交通状态估计：以LWR和CTM模型为例
1.文章信息本次介绍的文章是2022年发表在IEEE Open Journal of Intelligent Transportation Systems的一篇名为《Physics-Informed Deep Learning for Traffic State Estimation: Illust
