离线数仓(五)【数据仓库建模】

离线数仓建模理论

拜托!看了这一篇谁还不会Spark!!!

MapReduce是Hadoop生态中的一个分布式计算框架。通过使用它,开发人员不必关心分布式计算底层怎么去实现,只需关心相应的业务逻辑,就可以轻松地编写应用程序,以可靠、容错的方式并行处理大型硬件集群上的大量数据集。

大数据 - Spark系列《十二》- 名词术语理解

本文主要讲解spark一下常用术语及常问面试题总结

整合RabbitMQ实现延迟消息

RabbitMQ是一个被广泛使用的开源消息队列。它是轻量级且易于部署的,它能支持多种消息协议。RabbitMQ可以部署在分布式和联合配置中,以满足高规模、高可用性的需求。

【大厂面试演练】知道ZooKeeper有什么应用场景吗

面试官:看你简历写了精通ZooKeeper,那我就随便考考你吧。首先我上面说的共享锁实现方式如果在集群不大的情况下是可行的,而且他实现简单实用。而如果在集群规模大的场景下,可以这样改进...

RabbitMQ_高级

每个RabbitTemplate只能配置一个ReturnCallback,因此需要在项目加载时配置:修改publisher服务,添加一个:@Slf4j@Override@Overrideif(b) {log.info("消息发送成功到达交换机");}else {log.info("消息发送失败");

Kafka

Kafka

终于找到了最新版的Zookeeper入门级教程,建议收藏!

官方解释ZooKeeper 是一个集中式服务,用于维护配置信息、命名、提供分布式同步、提供组服务。所有这些类型的服务都以某种形式由分布式应用程序使用。每次实施它们时,都需要进行大量工作来修复不可避免的错误和竞争条件。由于实现此类服务很困难,应用程序最初通常会忽略它们,这使得它们在发生变化时变得脆弱并

【MQTT】MQTT协议与指令下发;MQTT与Kafka比较

它提供了发布/订阅的模式,允许设备和系统之间实现松耦合的通信。在结合MQTT时,需要定义好指令的主题(Topic),确保设备和控制中心都订阅了正确的主题,以便指令的传递。MQTT最初是为低带宽、不稳定网络环境下的传感器和设备之间的通信而设计的,但现在已经广泛应用于各种应用领域。上述代码演示了一个简单

spring cloud alibaba面试题

Dubbo可以用于构建服务提供者和消费者,而Spring Cloud Alibaba的Nacos可以用于注册和发现Dubbo服务,从而实现更容易管理的分布式架构。通过定义规则,Sentinel可以监控服务的请求流量,并在达到一定阈值时触发熔断,停止向故障的服务发送请求,从而保护系统的稳定性。通过定义

Zookeeper笔记

/ 主要见讲义的前4页 主要是:统一命名服务、统一配置管理、统一集群管理、服务器动态上下线、软负载均衡。

大数据 - Spark系列《十一》- Spark累加器详解

​累加器用来把Executor端变量信息聚合到Driver端。在 Driver程序中定义的变量,在Executor端的每个Task都会得到这个变量的一份新的副本,每个task更新这些副本的值后,传回 Driver端进行merge。观察一个问题: 原因是数据在executor端执行完毕以后并没有将ac

Zookeeper详解

Curator 是 Apache ZooKeeper 的Java客户端库,目标是简化 ZooKeeper 客户端的使用常见的ZooKeeper Java API :原生Java APIZkClientCuratorCurator 最初是 Netfix 研发的,后来捐献了 Apache 基金会,目前是

Spark的详细概述

spark的特点,生态圈,运行架构,RDD

RabbitMQ 消息对象通过 Jackson 库消息转化器 序列化/反序列化 天坑!

a)使用 RabbitMQ 发送消息时,发送消息的类型为 Map,map 里面我 put 了一个 类型,如下图:b)这里有一个前提:我清楚使用 org.springframework.amqp.rabbit.core.RabbitTemplate 来发送消息到 RabbitMQ 队列时,消息的序列

第十四章 RabbitMQ应用

一般MQ用于系统解耦、削峰使用,常见于微服务、业务活动等场景。

Rabbitmq调用FeignClient接口失败

微服务结构,目前有A、B、C三个服务。A服务:做一些工具类的功能B服务:类似于门户,调用A、C服务来给到前端C服务:基础模块,日志、权限、数据维护A服务:实现blast功能,该功能是异步任务,需要几分钟的时间才能执行完成,所以采用了消息队列的方式通知功能完成,可查看数据。当代码执行完成之后通过rab

Zookeeper与ApacheRanger的集成与优化

1.背景介绍1. 背景介绍Zookeeper是一个开源的分布式协调服务,用于构建分布式应用程序的基础设施。它提供了一种可靠的、高性能的、分布式的协同服务,以解决分布式应用程序中的一些常见问题,如集群管理、配置管理、同步等。Apache Ranger 是一个开源的安全管理框架,用于管理和保护 Hado

【Docker】Kafka 容器化部署

Kafka标准软件基于Bitnami Kafka 构建。当前版本为3.6.1你可以通过轻云UC部署工具直接安装部署,也可以手动按如下文档操作。

Kafka|处理 Kafka 消息丢失的有效措施

消息丢失是 Kafka 系统中一个严重的问题,可能会发生在生产者、Broker 或消费者任何方面。今天我们来讨论一些可能导致消息丢失的场景以及如何解决。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈