掌握实时数据流:使用Apache Flink消费Kafka数据

希望能够帮助大家更深入地理解Flink和Kafka在实时数据处理中的应用,以及如何高效地利用这些强大的工具。

docker 部署kafka

随笔记录。

一、开发环境window10微服务注册中心搭建—Eureka

关于微服务之eureka基本说明以及常用搭建。

hive的引擎mapreduce、tez和spark对比

Hive 的执行引擎包括以下几种:Hive 最早使用的执行引擎是基于 Hadoop MapReduce 的。它将 Hive 查询转化为一系列的 MapReduce 任务进行并行执行。MapReduce 引擎适用于处理大规模数据集,具有良好的容错性和扩展性,但由于磁盘读写和中间结果的持久化,可能在性能

【RabbitMQ】- 延迟队列

延时队列,队列内部是有序的,最重要的特性就体现在它的延时属性上,延时队列中的元素是希望在指定时间到了以后或之前取出和处理,简单来说,延时队列就是用来存放需要在指定时间被处理的元素的队列。

kafka max.poll.records用法介绍

一、max.poll.records是什么 max.poll.records是Kafka consumer的一个配置参数,表示consumer一次从Kafka ...

kafka-consumer-groups.sh消费者组管理

拿到所有在线Broker列表 再给每个Broker发送。请求获取 消费者组数据。

项目实战之RabbitMQ死信队列应用

RabbitMQ项目实战之死信队列应用到此就结束啦!

手把手教你在linux中部署hadoop以及hadoop功能介绍

我们在学大数据的时候hadoop是躲避不开的地方,所以如何在linux中部署hadoop,下面就是手把手教你如何部署hadoop。你只要复制粘体,然后按enter键就可以了。准备:安装Linux版本的服务器。

Flink 客户端操作命令及可视化工具

Flink提供了丰富的客户端操作来提交任务和与任务进行交互。下面主要从Flink命令行、SQL Client和Web五个方面进行整理。在Flink安装目录的bin目录下可以看到flink和等文件,这些都是客户端操作的入口。

Python 使用Hadoop 3 之HDFS 总结

调用文件系统(HDFS)Shell命令应使用 bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就

phoenix安装以及启动过程中出现的报错

如果没有下载htrace-core-3.2.0-incubating.jar 包,将该包放到/opt/install/hbase-2.2.7/lib下面,hbase每一个节点都要放,然后重启hbase。解决办法:查看/opt/install/hbase-2.2.7/lib 下面是否有htrace-c

本地安装kibana kibana设置中文汉化

本地安装kibana 无插件kibana设置中文汉化教程到这里结束了,希望可以帮助到刚接触es的小伙伴,如果疑问处请及时联系。

一文详细解析kafka:消费者

就可以在原先的地方进行处理。

MQ消息队列,以及RabbitMQ详细(中1)五种rabbitMQ实用模型

RabbitTemplate的主要作用是用来简化与RabbitMQ消息代理之间的通信过程。RabbitMQ是一种类似于消息队列的消息代理系统,可以实现应用程序之间的异步通信。使用RabbitTemplate,我们可以通过其提供的方法直接向RabbitMQ发送消息,而无需编写其他低层级的代码。这样可以

二百一十、Hive——Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺

Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺

Hive中的常用concat函数——concat函数、concat_ws函数和group_concat函数

Hive中的常用concat函数——concat函数、concat_ws函数和group_concat函数

Mac 安装ZooKeeper+kafka基本使用

ZooKeeper 为分布式系统提供了一种配置管理的服务:集中管理配置,即将全局配置信息保存在 ZooKeeper 服务中,方便进行修改和管理,省去了手动拷贝配置的过程,同时还保证了可靠和一致性。

Linux环境下安装部署单机RabbitMQ(离线)

本文档适用于在Linux系统下部署单体RabbitMQ,是在无网的情况下部署的。涉及的任何操作都是通过手动下载安装包然后上传到服务器上进行安装,因此也遇到一些问题,并在此文档中记录。实际操作环境:Kylin V10,实际操作的Linux系统是银河麒麟。根据我安装的过程,觉得适用于所有Linux的操作

《PySpark大数据分析实战》-02.了解Hadoop

大家好!今天为大家分享的是《PySpark大数据分析实战》第1章第2节的内容:了解Hadoop。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈