Hadoop入门概述

Hadoop是什么Hadoop是一个基于Java编写的开源软件库,用于在商用硬件集群上分布式处理和存储海量数据。它提供了一个高容错性、可扩展性和高效的数据处理环境。Hadoop的发展历史由Doug Cutting和Mike Cafarella于2005年开发,灵感来源于Google发表的大规模数据处

RabbitMQ避免重复消费

幂等性是指无论操作执行多少次,都是得到相同的结果,而不会产生其他副作用。在rabbitMQ中同一条消息在MQ中被消费多次。

Kafka

一、简介Kafka是最初由Linkedin公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目,也是一个开源【分布式流处理平台】,由Scala和Java编写,(也当做MQ系统,但不是纯粹的消息系统),一种高吞吐量的分布式流处理平台,它可以处理消费者在网站中的所有动作流数

RabbitMQ 和 Kafka 对比

开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?

开源分布式任务调度系统DolphinScheduler本地部署与远程访问

开源分布式任务调度系统DolphinScheduler本地部署与远程访问

Hadoop全分布式搭建

ctrl+alt切换定位到物理机/虚拟机可以用物理机截图# 检查内存 free -h# 检查磁盘空间 df -h# 检查 Java 版本 java -version需要传输jdk文件,就需要共享文件夹:挂载操作,然后,查看 (注意:挂载后必须要再次进入/mnt/hgfs才能查看到共享的文件夹)验证安

RabbitMQ Streams 详解

RabbitMQ Streams 详解

RabbitMQ登录后显示内部服务器500

rabbitMQ安装过程中遇到控制台乱码,服务器500的错误

RabbitMQ常见问题及解决方案

消息丢失消息重复消息堆积保证消息顺序消费

基于地震数据的Spark数据处理与分析

5.根据经纬度获取地名针对全球重大地震数据进行分析,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并对结果进行数据可视化。

Kafka_01_Kafka初识

Kafka基础概念

Java中利用Redis,ZooKeeper,数据库等实现分布式锁(遥遥领先)

在我们进行单机应用开发涉及并发同步的时候,我们往往采用synchronized或者ReentrantLock的方式来解决多线程间的代码同步问题。但是当我们的应用是在分布式集群工作的情况下,那么就需要一种更加高级的锁机制,来处理种跨机器的进程之间的数据同步问题,这就是分布式锁。分布式锁,是控制分布式系

前端小白也能懂!实时消息小红点学会使用 RabbitMQ 推送消息

WebSocket 是一种在单个 TCP 连接上进行全双工通信的网络协议。它使用 HTTP/1.1 协议进行初始握手,并在随后的通信中切换到全双工模式。WebSocket 的应用场景包括在线聊天室、多玩家在线游戏、实时协作和数据可视化等。客户端使用 JavaScript API new WebSoc

【kafka+Kraft模式集群+SASL安全认证】

kafka+Kraft模式集群+SASL安全认证

zookeeper之节点基本操作(头歌)

开启ZooKeeper服务器。使用客户端(zkCli.sh)连接客户端(IP:127.0.0.1,端口号:2181)。创建/enode临时节点(节点数据为空)。创建/spnode持久节点(节点数据为空)。断开客户端(zkCli.sh)与客服端连接。quit。

Spark编程实验二:RDD编程初级实践

本实验的目的是掌握Spark的RDD基本操作及键值对操作,熟悉使用RDD编程解决实际具体问题的方法。

第19关 5.2k star 开源分布式存储服务Rancher-Longhorn在k8s上部署

Longhorn是一个轻量级、可靠且易于使用的Kubernetes分布式块存储系统。Longhorn 是免费的开源软件。它最初由 Rancher Labs 开发,现在作为云原生计算基金会的孵化项目进行开发。

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一)

这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例,已成功搭建完全分布式集群,并测试跑实例。

Zookeeper(一)特性与节点数据

1、在分布式环境中,一致性是指数据在多个副本之间是否能够保持一直的特性;2、每次请求都能获得正确的响应,但不保证获取的数据为最新数据;3、分布式系统在遇到任何网络分区故障的时候,任然需要能够保证对外提供满足一致性和可用性的服务,除非是整个网络环境都发生了故障;这三个中最多只能同事满足两项,P是必须满

Zookeeper之快速入门

合适想要快速上手zookeeper的读者。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈