Zookeeper实现分布式锁
Zookeeper
Flink SQL 任务消费Kafka写hudi的性能调优总结
以上修改后，我们还把checkpoint的间隔时长从10分钟调整为5分钟了，因为现在每分钟从Kafka中消费的数据更多了，如果继续是10分钟的checkpoint间隔时长，则每次做checkpoint时需要写入到HDFS的数据量也会更大，做checkpoint花费的时间也会更久，任务背压的时间也就更
Hadoop集成对象存储和HDFS磁盘文件存储
计算引擎采用spark on yarn，热数据存储至HDFS，冷数据采用对象存储
【性能调优】local模式下flink处理离线任务能力分析
本文相关讨论> 1. flink内存对任务性能的影响：通过了解内存模型，了解这些模型都负责那些工作，比如用户代码使用堆，数据通讯使用直接内存等，以便能够根据任务特点针对性调整任务内存；> 2. 并发与带宽之间的关系，local模式下怎么根据带宽，设置最佳线程数；> 3. 内存监控相关命令。
Spark连接快速入门
Spark Connect 为 Spark 引入了解耦的客户端-服务器架构，允许使用DataFrame API远程连接到 Spark 集群。
SpringCloud之Eureka组件工作原理详解
Eureka是Netflix开源的一个用于服务发现和负载均衡的组件。它主要用于帮助在云环境中的微服务架构中的服务实例的动态注册和发现。Eureka提供了一个服务器端和一个客户端组件，可以在分布式系统中实现高可用性和弹性。Eureka的服务器端被称为Eureka Server，它维护了一个注册表，用于
ORA : 无法找到期望的FROM关键字 大数据
本文将探讨一个常见的问题：ORA-00923错误，即"FROM keyword not found where expected"（无法找到期望的FROM关键字）错误，并提供相应的源代码示例。当我们在执行SQL查询时，如果出现ORA-00923错误，那么可能是由于SQL语句中缺少了必需的FROM关键
Springcloud 微服务实战笔记 Eureka
在服务治理框架中，通常都会构建一个注册中心，每个服务单元向注册中心登记自己提供的服务，将主机与端口号、版本号、通信协议等一些附加信息告知注册中心，注册中心按服务名分类组织服务清单。当服务启动后，会向注册中心注册自己的服务，那么注册中心就会有一个服务清单。另外，服务注册中心还需要以心跳的方式去监测清单
开发知识点-RabbitMQ
RabbitMQ是一个使用Erlang语言开发 开源的消息中间件项目（Message Broker），采用Mozilla Public License（MPL）开源许可证。这意味着任何人都可以自由获取、使用、修改和分发RabbitMQ的源代码。实现了高级消息队列协议（AMQP）并提供可靠的、异步的
服务异步通信-高级篇(RabbitMQ)
对发送者把消息发送到交换机进行确认在发送消息时指定@Test//发送的通知回调@Overridelog.error("消息发送异常",ex);//生产者正常把消息发出来了@Overrideif (ack){log.info("交换正常收到消息");}else {log.info("交换机没有收到消息
Mac 查找 JDK 安装位置及 Mac 安装 Maven 大数据
JDK （Java Development Kit）是Java开发环境的核心组件，而Maven 是一个功能强大的项目构建工具，广泛应用于大数据开发中。本文将介绍如何在Mac上查找JDK安装位置，以及如何安装Maven，并探讨其在大数据开发中的应用。本文介绍了如何在Mac上查找JDK的安装位置，并详细
简历还在外卖和商城？来看看基于Flink的异构数据源流转系统
1-货拉拉造车：28k，公积金5%，年终奖0-2个月，不包三餐，工作地点大学城，无通勤车2-赛力斯：20k，公积金按试用期8折10%计算「16k*10%，且明年。本2硕9，家是湖北襄阳的，目前三方签了襄阳一个研究所，第一年总包17万（加上公司交的公积金，还有一些襄阳市政府的人才补贴），事业编，非常稳
数据库事务的四大特性ACID
数据库事务具有四个基本特性，分别是ACID（原子性automicity、一致性Consistency、隔离性isolation和持久性durability）。
JAVA终极对比Python：分析和比较处理大数据的能力
随着大数据的不断涌现，处理大数据的技术也越来越成熟。在这些技术中，Java和Python都是非常流行的选择。本文将对Java和Python在处理大数据方面的优缺点进行比较，并讨论在什么情况下应该选择哪种语言。
java/php/node.js/python基于大数据的超市进销存预警系统【2024年毕设】
本系统带文档lw万字以上文末可领取本课题的JAVA源码参考。
Flink系列之：Table API Connectors之JSON Format
为了使用 Json 格式，使用构建自动化工具（例如 Maven 或 SBT）的项目和带有 SQL JAR 包的 SQL 客户端都需要以下依赖项。JSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推导而得的。不支持显式地定义 JS
Hive实战：网址去重
本实战通过Hive对三个文本文件中的IP地址数据进行整合去重。首先在虚拟机创建并上传文本至HDFS，接着启动Hive服务与客户端，创建外部表加载数据，并用DISTINCT从原始表中提取不重复IP至新内部表，最终成功实现去重目标，展示了Hive处理大规模文本数据的高效能与便捷性。
Eureka服务注册与发现
Eureka服务注册与发现
5. Hadoop集群操作
Hadoop集群操作：启动集群，监控集群，集群基本测试，停止集群以及集群常用脚本
26、Flink 的SQL之概览与入门示例
20、Flink SQL之SQL Client: 不用编写代码就可以尝试 Flink SQL，可以直接提交 SQL 任务到集群上与所有 SQL 引擎一样，Flink 查询操作是在表上进行。与传统数据库不同，Flink 不在本地管理静态数据；相反，它的查询在外部表上连续运行。Flink 数据处理流水线
