大数据性能测试方案-V1.0
术语定义性能测试通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试场景用于根据性能要求定义在每一个测试会话进行期间发生的事件事务表示要度量的最终指定的某个特定业务2。
Kafka与MySQL的组合使用
Kafka与MySQL的组合使用ta
flink配置参数
【代码】flink配置参数。
【Flink】Flink运行指标接入Prometheus+Granfana
手把手教你导出flink运行指标，完成prometheus+grafana监控集成。
SpringCloud(二)Eureka简介与依赖导入
Eureka能够自动注册并发现微服务，然后对服务的状态、信息进行集中管理，这样当我们需要获取其他服务的信息时，我们只需要向Eureka进行查询就可以了。像这样的话，服务之间的强关联性就会被进一步削弱。
HDFS系统中Browse Directory目录显示WebHDFS已禁用
HDFS系统中Browse Directory目录显示Path does not exist on HDFS or WebHDFS is disabled. Please check your path or enable WebHDFS 问题原因:配置文件错误或目录路径错误这个目录路径不是指lin
【rpc】Dubbo和Zookeeper结合使用，它们的作用与联系（通俗易懂，一文理解）
【rpc】Dubbo和Zookeeper结合使用，它们的作用与联系（通俗易懂，一文理解）
Python 编写 Flink 应用程序经验记录（Flink1.17.1）
通过 flink run 即可运行应用程序，由于 flink 既可运行 Java 程序、也可以运行 Python 程序，所以这里我们需要指定 -py 参数，表示运行的是 py 文件。但毕竟 Flink 的内核是采用 Java 语言编写的，如果 Python 应用程序变成 JobGraph 对象被提交
Flume采集端口数据kafka消费
flume采集端口
Kafka 知识点学习【Kafka 学习之24问-第二十四刊】
1. 单消息事务（Single Message Transaction）：在单个消息级别上实现事务的一致性。即将消息的生产和消费操作封装在同一个事务中，要么消息被完整地写入Kafka，要么消息不会被写入。2. 批量消息事务（Batch Message Transaction）：将一批消息的生产和消费
大数据学习：使用Java API操作HDFS
创建、读取、写入
flinksql kafka到mysql累计指标练习
数据流向：kafka ->kafka ->mysql。模拟写数据到kafka topic：wxt中。
Kafka - 3.x offset位移不完全指北
如果需要更精确的offset控制，或者需要在消息处理失败时执行自定义逻辑，消费者也可以选择禁用自动提交，手动管理offset。在手动提交offset的机制中，消费者有更多的控制权和灵活性，可以在确保消息被处理后再提交offset。Kafka的自动提交offset机制是一种用于管理消费者在消费消息时的
Kafka数据清理指南
在本文中，我们将介绍如何使用Kafka进行数据清理。当我们在Kafka集群中处理大量的数据时，及时清理过期、无效或不再需要的数据是非常重要的。首先，我们需要了解Kafka中的数据保留策略。Kafka的数据保留策略决定了消息在主题中保留的时间。默认情况下，Kafka会根据时间来保留数据，也可以根据数据
【大数据基础平台】星环TDH社区集群版本部署
TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Tr
kafka详解(三)
1）查看操作主题命令参数2）查看当前服务器中的所有topic (配置了环境变量不需要写bin/)4）查看first主题的详情5）修改分区数（6）再次查看first主题的详情7）删除topic。
elasticsearch-7.13.3 升级log4j 到log4j-2.17.1
2、下载后解压apache-log4j-2.17.1-bin.tar.gz。log4j低版本存在严重漏洞，根据需要升级到安全版本，不一定是最新。进入elasticsearch-7.13.3目录。log4j-2.17.1 jar包下载地址。5、重新启动elasticsearch服务。4、将需要升级的包
Kafka - 3.x 消费者 生产经验不完全指北
这使得消费者能够以事务的方式处理消息，包括从Kafka中读取消息、处理消息和提交消息的offset。之前，Kafka的消费者通常使用手动提交offset的方式，但这种方式可能导致消息被重复消费或漏消费，特别是在处理消息和提交offset之间发生错误的情况下。：一些Kafka客户端库提供了高性能的消费
SpringBoot使用kafka事务-消费者方
这次，我们使用springboot为我们提供的KafkaListener注解来实现这个功能。在yml配置文件中加入第二个kakfa的连接地址，并且将事务紫隔离级别去掉即可。spring:kafka:consumer:group-id: test_group #默认组id 后面会配置多个消费者组ena
hive lag() 和lead（）函数
Hive 中的LAG和LEAD函数时，通常用于在结果集中获取同一列在前一行（LAG）或后一行（LEAD）的值。这在分析时间序列数据、计算变化率或查找趋势时非常有用。LAG函数用于获取前一行的值。
