KafkaLog4jAppender
为你需要的 Log4j 版本。同样，你可能需要调整 Kafka 的版本以匹配你的需求。概念，它负责将日志信息输出到各种目的地，例如控制台、文件、数据库等。的一个扩展，它可以将日志信息发送到 Apache Kafka。2. 接下来，你需要配置 Log4j。的文件，并将其放在项目的类路径下（例如。
Zookeeper之快速入门
合适想要快速上手zookeeper的读者。
大数据存储架构学习摘要：数据仓库、数据集市、数据湖、数据网格、湖仓一体
1、数据库（Database）是一个存储相关数据的地方，用于捕获特定情况的数据。它可以是结构化、关系型、非结构化或NoSQL数据库。数据库主要用于在线事务处理（OLTP），处理实时的事务数据，并具有特定的目的和应用。2、数据仓库（Data Warehouse）是组织的核心分析系统，用于存储历史数据和
关于flink重新提交任务，重复消费kafka的坑
1、savepoint的数据要比checkpoint更加稳定，比如你可以通过移动（拷贝）savepoint 目录到任意地方，然后再进行恢复。checkpoint就不可以，因为他有很多相对路径配置。2、savepoint和checkpoint一般都能作为恢复点使用，例外情况是使用 RocksDB 状态
超详细手把手教你部署全分布模式Hadoop集群
由于之前步骤已将 core-site.xml 中 Hadoop 的临时目录设置为“/usr/local/hadoop-2.9.2/hdfsdata”，故本书中未修改配置项“yarn.nodemanager.local-dirs”，中间结果的存放位置为“/usr/local/hadoop-2.9.2/
HBase的安装与简单操作 - 头歌
HBase的安装与简单操作
Spark中使用scala完成数据抽取任务 -- 总结
任务二：离线数据处理，校赛题目需要使用spark框架将mysql数据库中ds_db01数据库的user_info表的内容抽取到Hive库的user_info表中，并且添加一个字段设置字段的格式 第二个任务和第一个的内容几乎一样。
在 CentOS 上使用 Docker 运行 RabbitMQ
回家家，过大年。。。
Flink 内容分享(十二)：Flink在金融行业的应用
目录众安保险用户背景平台概况应用场景未来规划蚂蚁集团主要挑战架构方案核心技术介绍1.热启动技术编辑 2.K8S集群模式编辑3.流批一体技术以下内容来自众安保险的Flink架构师的分享众安在线财产保险股份有限公司是中国首家互联网保险公司，众安总部位于上海，不设任何分支机构，完全通过互联网展业。由"
spark-submit 任务提交指定类名错误解决：Error: Failed to load class
在提交spark任务的时候，若 --class参数类名指定错误会让任务无法运行。找到自己需要运行的任务，就可以直接使用spark-submit命令上传任务了。那么如果不会看文件路径的话，如何精准找出自己打包的类名呢？
大数据 DataX 详细安装教程
大数据 DataX 详细安装教程
hiveserver负载均衡配置
hiveserver2的负载均衡配置
zookeeper和nacos区别是什么，注册中心用zookeeper还是nacos
Zookeeper和Nacos都是用于服务发现、配置管理和分布式协调的开源软件。
Flink Watermark和时间语义
当事件流流进 Partition 时会判断新事件流的WM是否大于当前的Partition WM，当大于时就更新 Partition 的时间戳WM为新流入的WM（取最大值），如下1->2象限Partition WM的变化。同时，如下 Task 也维护了一个全局的 WM 表示事件时钟，该值取分区中最小的
解决hive建表中文乱码问题
当hive建表字段注释中出现中文乱码时，可能是因为字符集编码不匹配所导致的。我们可以在建表语句中指定字符集编码来解决这个问题。参数，来指定字符集编码为 UTF-8。参数，来指定字符集编码为 UTF-8。这个参数可用于指定各种 CLI 输出数据的字符集编码，例如控制台输出、日志和报告等。需要注意的是，
kafka支持外网访问
listeners 修改为0.0.0.0 监控所有网卡，advertised.listeners 设置为外网ip,具体如下。advertised.listeners=PLAINTEXT://外网映射ip:9092。2.这个时候需要修改kafka的config中的server.properties中的
【RabbitMQ高级消息可靠性、高可用、延时、消息堆积问题】
修改publisher服务的单元测试类：@Slf4j@Autowired@Test//设置生产者消息确认机制publish-confirm的回调方法@Overrideif(ack){log.info("消息发送到交换机成功，消息ID：{}", correlationData.getId
hive怎么更新数据
使用INSERT OVERWRITE语句时，首先需要创建一个临时表，将需要更新的数据插入到临时表中，然后使用INSERT OVERWRITE将临时表的数据覆盖到原始表中。使用哪种方法取决于你的需求和数据更新的逻辑。请注意，在Hive中不能直接更新单个记录，而是通过覆盖或插入来更新整个表或部分数据。要
Spark搭建
Spark搭建
Hadoop Single Node Cluster的安装
在本篇文章中将介绍hadoop single node cluster的完整安装过程以及运行hadoop
