Hadoop入门概述
Hadoop是什么Hadoop是一个基于Java编写的开源软件库,用于在商用硬件集群上分布式处理和存储海量数据。它提供了一个高容错性、可扩展性和高效的数据处理环境。Hadoop的发展历史由Doug Cutting和Mike Cafarella于2005年开发,灵感来源于Google发表的大规模数据处
RabbitMQ避免重复消费
幂等性是指无论操作执行多少次,都是得到相同的结果,而不会产生其他副作用。在rabbitMQ中同一条消息在MQ中被消费多次。
Kafka
一、简介Kafka是最初由Linkedin公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目,也是一个开源【分布式流处理平台】,由Scala和Java编写,(也当做MQ系统,但不是纯粹的消息系统),一种高吞吐量的分布式流处理平台,它可以处理消费者在网站中的所有动作流数
RabbitMQ 和 Kafka 对比
开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?
开源分布式任务调度系统DolphinScheduler本地部署与远程访问
开源分布式任务调度系统DolphinScheduler本地部署与远程访问
Hadoop全分布式搭建
ctrl+alt切换定位到物理机/虚拟机可以用物理机截图# 检查内存 free -h# 检查磁盘空间 df -h# 检查 Java 版本 java -version需要传输jdk文件,就需要共享文件夹:挂载操作,然后,查看 (注意:挂载后必须要再次进入/mnt/hgfs才能查看到共享的文件夹)验证安
RabbitMQ Streams 详解
RabbitMQ Streams 详解
RabbitMQ登录后显示内部服务器500
rabbitMQ安装过程中遇到控制台乱码,服务器500的错误
RabbitMQ常见问题及解决方案
消息丢失消息重复消息堆积保证消息顺序消费
基于地震数据的Spark数据处理与分析
5.根据经纬度获取地名针对全球重大地震数据进行分析,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并对结果进行数据可视化。
Kafka_01_Kafka初识
Kafka基础概念
Java中利用Redis,ZooKeeper,数据库等实现分布式锁(遥遥领先)
在我们进行单机应用开发涉及并发同步的时候,我们往往采用synchronized或者ReentrantLock的方式来解决多线程间的代码同步问题。但是当我们的应用是在分布式集群工作的情况下,那么就需要一种更加高级的锁机制,来处理种跨机器的进程之间的数据同步问题,这就是分布式锁。分布式锁,是控制分布式系
前端小白也能懂!实时消息小红点学会使用 RabbitMQ 推送消息
WebSocket 是一种在单个 TCP 连接上进行全双工通信的网络协议。它使用 HTTP/1.1 协议进行初始握手,并在随后的通信中切换到全双工模式。WebSocket 的应用场景包括在线聊天室、多玩家在线游戏、实时协作和数据可视化等。客户端使用 JavaScript API new WebSoc
【kafka+Kraft模式集群+SASL安全认证】
kafka+Kraft模式集群+SASL安全认证
zookeeper之节点基本操作(头歌)
开启ZooKeeper服务器。使用客户端(zkCli.sh)连接客户端(IP:127.0.0.1,端口号:2181)。创建/enode临时节点(节点数据为空)。创建/spnode持久节点(节点数据为空)。断开客户端(zkCli.sh)与客服端连接。quit。
Spark编程实验二:RDD编程初级实践
本实验的目的是掌握Spark的RDD基本操作及键值对操作,熟悉使用RDD编程解决实际具体问题的方法。
第19关 5.2k star 开源分布式存储服务Rancher-Longhorn在k8s上部署
Longhorn是一个轻量级、可靠且易于使用的Kubernetes分布式块存储系统。Longhorn 是免费的开源软件。它最初由 Rancher Labs 开发,现在作为云原生计算基金会的孵化项目进行开发。
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一)
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例,已成功搭建完全分布式集群,并测试跑实例。
Zookeeper(一)特性与节点数据
1、在分布式环境中,一致性是指数据在多个副本之间是否能够保持一直的特性;2、每次请求都能获得正确的响应,但不保证获取的数据为最新数据;3、分布式系统在遇到任何网络分区故障的时候,任然需要能够保证对外提供满足一致性和可用性的服务,除非是整个网络环境都发生了故障;这三个中最多只能同事满足两项,P是必须满
Zookeeper之快速入门
合适想要快速上手zookeeper的读者。