Kibana 设置中文化 - 实现大数据的汉化
默认情况下，Kibana 使用英语界面，但是它也支持将界面语言设置为其他语言，包括中文。通过创建自定义插件并提供相应的翻译文本，我们可以很方便地将 Kibana 的界面语言切换为中文。完成插件文件的创建后，我们需要启动 Kibana，并加载我们的插件。需要注意的是，以上步骤适用于 Kibana 7.
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
01FlinkCDC概述Flink CDC 是基于数据库日志 CDC（Change Data Capture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现
Elasticsearch安装、使用，Springboot整合Elasticsearch详细教程
Elasticsearch安装、使用，Springboot整合Elasticsearch详细教程
Hudi-简介和编译安装
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数
Flink Table API 与 SQL 编程整理
都是从中scan出来的。而这个myTable又是我们注册进去的。问题就是有哪些方式可以注册Table。类似于上述的WordCount，指定一个文件系统fs，也可以是kafka等，还需要一些格式和Schema等。//将source注册到env中然后把自己的注册进去。例如下面一个String类型的Dat
【大数据】详解 AVRO 格式
本文对 avro 的格式定义、编码方式、以及实际存储的文件格式进行了详细说明，最后也以一个实际例子进行了对照说明。另外， 在官网中还涉及 rpc 的使用、mapreduce 的使用，这里就没有展开说明，有兴趣的可移步官网进行查阅。
Spark作业串行与并行提交job
在Scala中，您可以以串行和并行的方式提交Spark作业。看看如何使用for和构造对应的例子。
flink 踩坑记录
flink cdc踩坑记录
大数据毕业设计选题推荐-农作物观测站综合监控平台-Hadoop-Spark-Hive
随着科技的发展和全球气候变化的挑战，农业生产的效率和可持续性越来越受到人们的关注。为了提高农业生产的效率和可持续性，需要进行长期的的农作物观测和监控。传统的农作物观测站通常需要大量的人力物力进行维护，而且受到时间和空间的制约，无法做到实时的观测和监控。因此，基于大数据的农作物观测站监控平台的研究和应
【Spark基础】-- RDD、DataFrame 和 Dataset 的对比
DataFrame 支持从最流行的格式中读取数据，包括 JSON 文件、Parquet 文件、Hive 表。它可以从本地文件系统、分布式文件系统（HDFS）、云存储（S3）和通过JDBC连接的外部关系数据库系统中读取数据。此外，通过 Spark SQL 的外部数据源 API，DataFrame 可以
Flink基础概念-算子
无界数据流例如从Kafka这样的消息组件中读取的数据一般，没有数据流结束的定义，即使没有数据也在进行消费。有界数据流有界数据流能够等到所有数据都提取之后再进行处理。有状态流处理将数据的中间状态进行存储，能够重复使用该状态进行处理。Flink的特点Flink计算模型流计算微批处理时间语义事件时间、处理
高效营销系统集成：百度营销的API无代码解决方案，提升电商与广告效率
如此一来，企业可以无缝地将百度营销的强大功能与现有系统相结合，实现数据实时同步和分析，为营销决策提供强有力的支持。通过百度营销API的集成，电商企业能够实现对用户行为的实时监控，对消费者偏好进行深入分析，并据此优化其营销策略。集成后的系统能够将CRM中的数据实时同步到百度营销，使营销团队能够根据最新
Kafka 基础知识-01
Kafka基础知识
【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述
数据仓库的概念可以追溯到 20 世纪 80 年代，当时 IBM 的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。
大数据｜海豚调度官方文档注解（3）
该样例模拟了自定义参数任务，为了更方便的复用已有的任务，或者面对动态的需求时，我们会使用变量保证脚本的复用性。本例中，我们先在自定义脚本中定义了参数 “param_key”，并将他的值设置为 “param_val”。接着在"脚本"中声明了 echo 命令，将参数 “param_key” 打印了出来。
大数据智能决策系统架构：决策系统与智能城市
作者：禅与计算机程序设计艺术 1.背景介绍智能城市建设是一个极具挑战性的课题。作为我国高新技术产业的龙头之一、信息化水平最高的国家之一，拥有两千多年的城市历史，面对巨大的社会、经济和科技发展需求，如何快速、有效地推进智能城市建设已经成为引领发展的绊脚石。近几年来
Hadoop学习总结（MapReduce的数据去重）
学习Hadoop的MapReduce的案例——数据去重
大数据之巅：深入分析数据湖架构的优势
在开始深入研究数据湖的优势之前，让我们首先了解一下什么是数据湖。数据湖是一种存储大规模数据的系统，其中数据以其原始形式存储，无需预定义模式或结构。这意味着数据湖能够接受来自各种源头的数据，包括结构化数据（例如数据库表）、半结构化数据（例如JSON或XML文档）以及非结构化数据（例如文本文件、图像和音
2023_Spark_实验二十四：Kafka集群环境搭建
KafKa集群环境的搭建，zookeeper集群搭建，Kafka部署验证，2023
基于大数据的校园外卖系统的设计与实现(Python+Django+MySQL)
通过本文的研究，我们将为校园内外卖业务的管理和发展提供一个全面、准确、方便的解决方案，为外卖平台的发展做出贡献。数据挖掘和分析：通过数据挖掘和机器学习技术，对订单数据进行深入分析和挖掘，提高评价的准确性和精度，为用户提供更优质的服务。订单管理和配送优化：制定标准化的订单管理流程和配送模式，确保订单管
