Kafka消息延迟处理技巧，降低错误率
在评估Kafka消息延迟处理技巧的效果时，我们需要定义合理的实验场景和测试用例。确定实验数据的发送和接收方。设定实验场景，包括动作、触发条件和结果预期等。设定测试用例，包括性能验证、负载测试和容错测试等。
Flink动态ClickhouseSink+自动建表
通过自定义注解的形式，对JdbcSink进行封装，支持自动建表、自动拼接insert语句
什么是主数据？浅谈主数据的管理与应用
主数据是指满足跨部门业务，跨流程，跨主题，跨系统，跨技术，协同需要的、反映核心业务实体状态属性的组织机构基础信息，主数据具有权威性，全局性，共享性，扩展性等特点。
hadoop集群全部都启动了，但是还是访问不了网页的解决方法
实操中出现的问题
Kafka详解
kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。Kafka 支持自定义规则，一个 Producer 可以使用自己的分区指定规则。
大数据开源框架环境搭建(七)——Spark完全分布式集群的安装部署
操作系统：Ubuntu 18.04Spark版本：2.4.0。
最新版Flink CDC MySQL同步MySQL（一）
Flink CDC 是Apache Flink ®的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。
虚拟机扩容Ubuntu20.04教程
虚拟机内存不足、磁盘空间过小导致蓝屏问题
Kafka中产生数据积压的原因以及解决方案
Kafka中产生数据积压的原因以及解决方案。
hive-sql保留n位小数
hive-sql保留n位小数，round方法和cast as decimal方法比较。
下一个风口会是什么行业？
随着计算机技术和算法的不断发展，人工智能已经开始应用于各个领域，如医疗、金融、制造等。无论是人工智能、生物科技、新能源还是虚拟现实，它们的发展都需要政府、企业和投资者的共同努力。我们期待这些行业的蓬勃发展，同时也期待更多的新兴产业不断涌现，为人类社会的进步和发展作出更大贡献。随着基因编辑技术的出现和
判断hadoop伪分布式安装模式是否成功启动
判断hadoop伪分布式安装模式是否成功启动
Hudi（16）：Hudi集成Flink之读取方式
如果将全量数据(百亿数量级) 和增量先同步到 kafka，再通过 flink 流式消费的方式将库表数据直接导成 hoodie 表，因为直接消费全量部分数据：量大（吞吐高）、乱序严重（写入的 partition 随机），会导致写入性能退化，出现吞吐毛刺，这时候可以开启限速参数，保证流量平稳写入。通过参
Python获取全部股票数据
使用Python获取股票数据
Google Earth Engine（GEE）计算热度（LST）
今天来分享一下如何在GEE中计算热度，用地表温度来反演LST
解决Dolphinscheduler跨任务流依赖
解决Dolphinscheduler跨任务流依赖
2022年国家社会/自然科学基金立项名单
2022年国家社会科学+自然科学基金立项名单
数据血缘Atlas Rest-API使用
Type即元数据类型定义，这里可以是数据库、表、列等，还可以细分spark表(spark_table)，hive表(hive_table)等，atlas自带了很多类型，如DataSet，Process等，一般情况下，数据相关的类型在定义类型的时候都会继承DataSet，而流程相关的类型则会继承Pro
大数据ETL工具对比（Sqoop, DataX, Kettle）
DataX和Kettle都是通用的数据集成工具，支持多种数据源和目标，提供了强大的数据转换和清洗功能。DataX和Kettle的区别在于开发者和用户群体，DataX在阿里巴巴内部得到广泛应用，而Kettle则是一个独立的开源项目。Sqoop主要用于Hadoop和关系型数据库之间的数据传输，适用于大规
hive、pg库，建表语句及查询表结构语句
hive、pg库，建表语句及查询表结构语句
