Spark Streaming

Spark Streaming 是个批处理的流式(实时)计算框架。其基本原理是把输入数据以某一时间间隔批量的处理,当批处理间隔缩短到秒级时,便可以用于处理实时数据流。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCP sockets,从数据源获

每天十分钟学会Spark

小白学大数据Spark编程第2课

一文读懂运维消息中间件之RabbitMQ

一文读懂运维消息中间件之RabbitMQ,适合小白学习及上班族日常工作参考。

上海天翼云代理商:分布式消息服务Kafka高吞吐、高可用的消息中间件服务

Kafka是一个分布式发布-订阅消息系统,它最初由LinkedIn公司开发,后来成为Apache项目的一部分。Kafka分布式特性强,可以处理TB级数据,支持和许多主流语言进行交互,包括JAVA,Python等。由于Kafka的这些显著优点,它在大数据处理、实时计算以及日志收集等领域都表现出色。开创

Kafka入门到实战-第五弹

Apache Kafka 是一个开源的分布式事件流平台,提供高性能数据管道、流分析、 数据集成和任务关键型应用程序。

win11使用idea连接linux虚拟机中Hadoop伪分布式配置教程

1.已在虚拟机上装了Hadoop全分布式集群2.IDEA ultimate 2023.3.5的下载:因为要使用big data tools插件(idea的社区版不可以使用)

【Hadoop】伪分布式安装

还不懂Hadoop伪分布式安装?一文带你从0开始搭建大数据代表作Hadoop环境!

RabbitMq高可用

如何确保RabbitMQ消息的可靠性?开启生产者确认机制,确保生产者的消息能到达队列开启持久化功能,确保消息未消费前在队列中不会丢失开启消费者确认机制为auto,由spring确认消息处理成功后完成ack开启消费者失败重试机制,并设置MessageRecoverer,多次重试失败后将消息投递到异常交

rabbitmq的confirm模式获取correlationData为null解决办法

在convertAndSend方法中传入correlationData数据。

openvpn分布式部署

将所有的物理机部署在同一个局域网内,每个节点收到报文后将客户端的虚拟IP地址广播出去,这样收到该报文的节点就会添加到此目的IP的报文的路由,别的节点收到访问此客户端的报文时,将其路由到连接到的节点。而且连接到所有的VPN的客户端的虚拟地址不能重复,但是我们三层VPN的情况下不同租户的虚拟IP地址是可

Spring Boot 整合分布式搜索引擎 Elastic Search 实现 自动补全功能

如何实现自动补全? ES一键搞定!

关于Hadoop生态圈相关组件的介绍

"冷备"、"温备"和"热备"是备份和恢复策略中常见的术语,它们描述了在不同情况下备份数据的状态以及备份过程的准备程度。这些术语主要用于描述系统或数据的备份和恢复策略。冷备结构化数据和非结构化数据是大数据中的两种主要类型,它们在数据组织和处理方式上有所不同。结构化数据:结构化数据是按照固定模式和格式组

【初始RabbitMQ】交换机的实现

万字文章详细的介绍了RabbieMQ中的交换机各种细节,以及实现方法,每一步代码均有详细的解析,看这一篇就对了!!!

python读取kafka数据

kafka读取数据,python读取。

【kafka】重置消费的offset

此命令将重置所有分区的消费者偏移量。此命令将将分区数增加到 3。此命令将将分区的副本数设置为 1、2 和 3。

Paimon 与 Spark 的集成(二):查询优化

PaimonApache Paimon (incubating) 是一项流式数据湖存储技术,可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念,可以与 Flink / Spark / Trino 等诸多业界主流计算引擎进行对接,共同推进 St

❤️❤️❤️关于Hadoop的初体验

本文基于Hadoop关于大数据入门做出详细介绍,希望对大家有所帮助🩷

Hadoop完全分布式搭建(Hadoop-3.3.0)

本教程讲解Hadoop-3.3.0在Ubuntu系统下集群的搭建。在正式开始之前,需要自己先安装好一台虚拟机。

Spark 3.5.0 特性速览

Spark 3系列已经发布了第六版3.5.0,目前最新3.5.1。使用最广泛的大数据可扩展计算引擎。数以千计的公司,包括 80% 的财富 500 强企业,都在使用 Apache Spark。来自业界和学术界的 2000 多名开源项目贡献者。Apache Spark 3.5.0 是 3.x 系列中的第

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈