Flink 数据序列化
大家都应该清楚Task和StreamTask两个概念，Task是直接受TaskManager管理和调度的，而Task又会调用StreamTask，而StreamTask中真正封装了算子的处理逻辑。在run()方法中，首先将反序列化后的数据封装成StreamRecord交给算子处理；然后将处理结果通过
元数据管理-Atlas的介绍和使用(集成Hive、Solr、Kafka、Kerberos)
概述介绍架构发展架构原理类型系统介绍类型hive_table类型介绍DataSet类型定义Asset类型定义Referenceable类型定义Process类型定义Entities(实体)Attributes(属性)安装安装环境准备安装Solr-7.7.3安装Atlas2.1.0Atlas配置Atl
Java - RabbitMq的安装&使用
手动ACK：当消息成功后，需要手动ACK响应mq服务器，否则在连接未断开前，一直是unacked状态，不会重新分配消费者，直到连接断开才会回到ready状态，并重新分配消费者。如果ack失败，在RabbitMQ将消息交给其他的消费者时，先执行setnx，如果key已经存在，获取他的值，如果是0，当前
【大数据】Hive入门➕安装（尚硅谷大数据Hive 3.1.3教程）
hive尚硅谷面试刷题网站✍命令行客户端beeline是Apache Hive提供的一个交互式工具，用于与Hive进行交互式的数据库操作和查询。具体来说，beeline允许用户通过命令行界面连接到Hive服务器，并在该界面下执行Hive SQL语句、查看查询结果、管理数据库和表等。连接到Hive服务
HiveServer2 常见异常和处理方法
HiveServer2 常见的3种异常和处理方案
Linux环境下RabbitMQ的安装(手把手教你安装与配置)
Linux下,rabbitmq的安装与配置
flink中使用外部定时器实现定时刷新
flink中外部定时器实现
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark：Java大师的大数据研究之旅
本篇博客从"是什么"、"为什么"和"怎么办"三个角度，介绍了Hadoop、HDFS、Hive和Spark等大数据技术。它们在处理大规模数据集和实现分布式计算方面具有重要作用，对于Java大师来说是必不可少的工具。希望本篇博客能帮助你更深入地了解这些技术，并在大数据领域取得更好的成就。请注意，本篇博客
hive数据库操作,hive函数，FineBI可视化操作
聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据支撑。我们将基于一个社交平台App的用户数据，完成相关指标的统计分析并结合BI工具对指标进行可视化展
基于Hadoop+SpringBoot的物品租赁系统设计与实现
本物品租赁系统基于Hadoop平台，利用Java语言、MySQL数据库，结合目前流行的 B/S架构，将物品租赁管理的各个方面都集中到数据库中，以便于用户的需要。在确保系统稳定的前提下，能够实现多功能模块的设计和应用。该物品租赁系统由管理员功能模块和用户模块组成。不同角色的准入制度是有严格区别的。各功
Hive中处理中文乱码问题的解决方法
如果已经存在的Hive表中包含中文数据，并且出现了乱码问题，可以使用Hive内置的转码函数来处理。综上所述，通过设置Hive的字符集编码、创建表时指定字符集编码和使用转码函数处理中文数据，可以有效地解决Hive中文乱码问题。在实际应用中，根据具体情况选择适合的方法来处理中文数据，以确保数据的正确性和
【金猿人物展】香港科技园公司董事车品觉：大数据揭示了大语言模型的特征与趋势...
车品觉本文由香港科技园公司董事车品觉撰写并投递参与“数据猿年度金猿策划活动——2023大数据产业年度趋势人物榜单及奖项”评选。大数据产业创新服务媒体——聚焦数据· 改变商业2023年正好是大数据发展至今的第十三年，过程中大数据的发展深深地塑造了大型AI模型的进步与应用，如深度学习和机器学习模型。随
RabbitMQ学习笔记
MQ、RabbitMQ、SpringBoot集成RabbitMQ
【flink番外篇】1、flink的23种常用算子介绍及详细示例（完整版）
1、Flink 专栏等系列综合文章链接本文主要介绍Flink 的23种常用的operator及以具体可运行示例进行说明，如果需要了解更多内容，可以在本人Flink 专栏中了解更新系统的内容。本文除了maven依赖外，没有其他依赖。本专题分为五篇，即：【flink番外篇】1、flink的23种常用算子
【RabbitMQ】RabbitMQ 消息的堆积问题 —— 使用惰性队列解决消息的堆积问题
消息的堆积问题是指在消息队列系统中，当生产者以较快的速度发送消息，而消费者处理消息的速度较慢，导致消息在队列中积累并达到队列的存储上限。在这种情况下，最早被发送的消息可能会在队列中滞留较长时间，直到超过队列的容量上限。当队列已满且没有更多的可用空间来存储新消息时，新的消息可能无法进入队列，从而导致消
（一）「消息队列」之 RabbitMQ 入门
想要实现两个应用程序之间的通信，我们可以借助“消息队列”技术。本文将介绍使用 C# 语言在 .NET 下实现 RabbitMQ 消息队列；当然无论是哪种编程语言或框架，要使用消息队列，都需要完成以下两个基本步骤：①下载并安装相应的消息队列服务器软件，并根据需要进行配置；②在您的应用程序代码中引入相应
KafkaConsuner 指定开始消费的位置
需要在执行了 poll() 方法之后才行。我本来想指定一个开始位置，但是还没有指定位置呢？在我们探讨的功能中，index和timeindex两个文件扮演着关键角色，它们与消费者开始消费的位置密切相关。这是我们今天要讲解的核心基础，没有这两个文件，我们无法进行后续的操作。就用了，FlinkKafkaC
hadoop的基础操作——Hadoop中创建、修改、查看、删除文件夹及文件
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。运行期通过命令也可以进入安全模式。执行hadoop jar命令，在hadoop的/apps/hadoop/share/hadoop/mapreduce路
hadoop期末复习
NameNode和SecondaryNameNode不要安装在同一台服务器。ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。1）防火墙没关闭、或者没有启动YARN2）主机名称配置错误3）IP地址配置错误4）ssh没有配置好5）
大数据处理技术Spark
一个大作业的全过程：伪分布式hadoop+pandas预处理数据+hdfs保存数据+spark从hdfs读取数据+ sparksql处理+sparkmllib处理+matplotlib可视化处理数据
