kafka 开启认证授权
kafka Kraft 模式 用户名密码 认证
Kafka官方生产者和消费者脚本简单使用
这就可以见到测试kafka对应topic了.
Canal+Kafka实现MySQL与Redis数据同步（二）
canal只能同步增量数据。不是实时同步，是准实时同步。存在一些bug，不过社区活跃度较高，对于提出的bug能及时修复。MQ顺序性问题。网的回答，大家参考一下尽管有一些缺点，毕竟没有一样技术(产品)是完美的，合适最重要。
企业设备管理系统数据库设计
引言企业的设备管理在企业的生产制造和管理过程之中意义比较重大，明确企业的设备的产权和维护成本对于企业的成本控制和财务管理之中起到了重要的作用。随着市场竞争的加剧，现代企业所处的市场环境发生了深刻的变革，企业竞争越来越强调基于客户需求的竞争。因此，企业的生产方式逐渐转向以柔性自动化生产为基础的各种先进
【入门Flink】- 05Flink运行时架构以及一些核心概念
Flink运行时架构以及一些核心概念
Hive数据加载方式（load、insert；普通表、分区表）
Hive数据加载方式（load、insert；普通表、分区表）
【kafka】实时数据存储
kafka是一个高吞吐的分布式消息系统分区：分布式副本：容错性。
Ubuntu 安装Kafka
在本指南中，我们将逐步演示如何在 Ubuntu 22.04 上安装 Apache Kafka。在大数据中，数以百万计的数据源生成了大量的数据记录流，这些数据源包括社交媒体平台、企业系统、移动应用程序和物联网设备等。如此庞大的数据带来的主要挑战有两个方面：高效的数据收集和分析。为了克服这些挑战，您需要
RabbitMQ之发送者（生产者）可靠性
生产者重试机制、生产者确认机制。每个RabbitTemplate只能配置一个ReturnCallback，因此我们可以在配置类中统一设置。// 获取RabbitTemplate RabbitTemplate rabbitTemplate = applicationContext . getBean(
数据同步工具调研选型：SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。SeaTunnel 主要解决数据集成领域的常见问题：数据源多样：常用的数
Hadoop HDFS分布式文件系统（介绍以及基础操作命令）
HDFS是Hadoop三大组件（HDFS、MApReduce、YARN）之一。全称是Hadoop Distributed File System（Hadoop分布式文件系统）。是Hadoop技术栈内提供的分布式数据存储解决方案，可以在多台服务器上构建集群，存储海量的数据。2.HDFS基础架构HDFS
ActiveMQ、RabbitMQ、RocketMQ、Kafka介绍
上述案例中，如果我们使用接口进行消息推送，推送消息我们可以放在事务中处理，如果推送过程中出现异常，我们可以进行数据回滚，但我们引入消息中间件后，就需要考虑消息推送后，消费失败的问题，以及如果我们同时推送消息到BCD系统中，如何保证他们的事务一致性。但我们引入消息中间件后，就需要考虑消息中间件的维护，
一、nacos使用
好哪有同学问你怎么知道断点就达到这里，那我们看一下怎样查看源码的启动的路径，我们看一下我们订单微服务的路径，我们要集成nacos的服务发现功能，我们要引入我们的discovery的包，他是一个starter，前面我们学过springboot我们知道任何starter里面一定有个spring.fact
【Hadoop】四、Hadoop生态综合案例 ——陌陌聊天数据分析
背景介绍陌陌作为聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对 聊天数据的统计分析 ，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据支撑。FineBI的介绍：https://www.finebi.com/Fine
Linux安装zookeeper的详细过程
Linux安装zookeeper的详细过程；2181端口被占用的问题；启动hadoop集群；启动zookeeper；查看集群状态；关闭zookeeper；关闭Hadoop集群
zookeeper单机版的搭建
4.通过vim修改配置文件夹，将dataDir 修改成刚才所建的data文件夹。./zkServer.sh status # 查看启动状态。./zkServer.sh restart # 重启。./zkServer.sh stop # 停止。./zkCli.sh # 查看zk客户端。2.创建data
ubantu安装kafka
在官网下载所需版本，我这里以kafka_2.12-2.7.0为例。
一、 配置安装hadoop环境
~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”进入/opt/hadoop-3.2.2/share/hadoop/mapreduce文件夹运行词频统计命令。则修改/opt/hadoop-3.2.2/etc/
京东平台双11全品类完整销售数据回顾（京东大数据-京东数据采集-京东数据接口）
因此，今年美妆护肤的销售水平同比去年均有所下滑，护肤类销量销额均同比下滑8%，彩妆类的销量同比下滑14%。相反，数码配件一度畅销，蓝牙耳机销售额同比增长40%，游戏手柄销量同比增长84%，智能手表销售额同比增长45%。京东营养滋补品类相较去年高速增长，钙片类产品销量同比增长超100%，调节三高类产品
[hive] 窗口函数 ROW_NUMBER()
在 Hive SQL 中，是一个用于生成行号的窗口函数。它可以为。以下是子句可选，用于指定，它将结果集划分为不同的分区。每个分区内的行都会有独立的行号计数，即行号从1开始重新计数。ORDER BY子句用于指定，它决定了如何对分区内的行进行排序。行号将根据指定的排序顺序进行分配。函数可以与其他窗口函数
