Hadoop 集群

可以访问的 web 页面全部绑定了 127.0.0.1。禁止外部访问,需要访问可以使用 nginx 反向代理 增加鉴权之后暴露出去。如果不需要可以替换 IP。

2、RabbitMQ_安装

使用yum升级gblic 版本。上传安装包到linux 环境。安装rabbitMQ。启动rabbitmq。关闭rabbitMQ。重新设置一下主机名称。

她看了这篇文章后竟让霸总怒甩八百万——Spark??

Hadoop是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。MapReduce是一个分布式运算程序的编程框架,其核心功能为把用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在Hadoop集群上

【Spark Graphx 系列】Pregel PeriodicCheckpointer原理场景示例源码详解

[【Spark Graphx 系列】Pregel PeriodicCheckpointer原理场景示例源码详解]

spark 数据序列化和内存调优(翻译)

由于大多数Spark计算的内存性质,Spark程序可能会被集群中的任何资源瓶颈:CPU、网络带宽或内存。大多数情况下,如果数据能放在内存,瓶颈是网络带宽,但有时,您还需要进行一些调整,例如以序列化形式存储RDD,以减少内存使用。本指南将涵盖两个主要主题:数据序列化,这对良好的网络性能至关重要,也可以

kafka如何保证消息顺序性?

kafka架构如下:Kafka 保证消息顺序性的关键在于其分区(Partition)机制。在 Kafka 中,每个主题(Topic)可以被分割成多个分区,消息被追加到每个分区中,并且在每个分区内部,消息是有序的。但是,Kafka 只保证单个分区内的消息顺序,而不保证跨分区的消息顺序。

Spark Streaming 计算窗口的理解

spark streaming 窗口操作

03-快速上手RabbitMQ的5种消息模型

03-快速上手RabbitMQ的5种消息模型

已解决org.apache.zookeeper.KeeperException异常的正确解决方法,亲测有效!!!

已解决org.apache.zookeeper.KeeperException异常的正确解决方法,亲测有效!!!

什么是RabbitMQ的死信队列

当消息变成死信之后,如果配置了死信队列,它将被发送到死信交换机,死信交换机将死信投递到一个队列上,这个队列就是死信队列。1.消息处理失败:当消费者由于代码错误,消息格式不正确,业务规则冲突等原因无法成功处理一条消息时候,这条消息可以被标记为死信。4.消息无法路由:当消息不能被路由到任何队列时,例如,

Zookeeper的数据备份与恢复策略

1.背景介绍1. 背景介绍Apache Zookeeper是一个开源的分布式协调服务,用于构建分布式应用程序。它提供了一种可靠的、高性能的数据存储和同步机制,以实现分布式应用程序的一致性和可用性。在分布式系统中,Zookeeper被广泛应用于协调服务、配置管理、集群管理、分布式锁、选主等功能。数据备

Kafka的使用(Windows中)

在(第三个窗口)中输入.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test001然后回车。在第三个命令窗口

大数据技术Hadoop小白教程(一)——Hadoop概述及环境配置

Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的存储和分析。它基于Google的MapReduce和Google文件系统(GFS)的概念,并且能够在廉价的硬件上运行。Hadoop的核心组件包括Hadoop分布式文件系统(HDFS)和Hadoop YARN(Yet Another Res

在Hadoop设置中输入jps没有出现namenode和datanode

可能是多次格式化NameNode后未删除相关文件,需要检查在hadoop中查看hdfs-site.xml和core-site.xml配置文件,确认其中的相关配置项是否正确设置,查看目录路径,然后删除相关文件。

hadoop分布式环境搭建

(hadoop、jdk文件链接:https://pan.baidu.com/s/1wal1CSF1oO2h4dkSbceODg 提取码:4zra)前四步可参考。

修复zookeeper未授权访问漏洞

【代码】修复zookeeper未授权访问漏洞。

RabbitMQ-5.消费者的可靠性

例如我们当前案例中,处理消息的业务逻辑是把订单状态从未支付修改为已支付。我们在用户支付成功后会发送MQ消息到交易服务,修改订单状态为已支付,就可能出现消息重复投递的情况。不过需要注意的是,交易服务并不知道用户会在什么时候支付,如果查询的时机不正确(比如查询的时候用户正在支付中),可能查询到的支付状态

Kafka 3.x(上)

线性增长的、不可变的提交日志消息Record 以键值对的形式进行存储:如果key不指定则默认为空#,此时生产者会以轮询的方式把消息写到不同的队列中。有key的话生产者借助于分区器来分区,key同分区同。

Kafka重复消费、Dubbo重复调用问题排查

本业务为车机流量充值业务,大致流程为:收到微信、支付宝端用户支付成功回调后,将用户订单信息发送至kafka中;消费者接收到kafka中信息后进行解析,处理用户订单信息,为用户订购相关流量包(调用电信相关接口),订购成功/失败后会通过MQTT发送订购成功/失败消息至车机端,若订购失败则为用户退款。

分布式微服务 - 2.服务注册 - 2.Eureka

介绍微服务中的eureka框架。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈