[中间件] 秒杀系统秒杀率提高300%?教你如何利用redis和rabbitmq 优化应用!
本文介绍了redis和rabbitmq在秒杀系统中的作用,并提供了相关的SpringBoot demo代码。在实际开发中,我们可以根据需求选择适合的缓存方案和消息队列系统,以提高系统的并发性和性能。
Flink与AzureStreamAnalytics:将流处理与可视化集成
作者:禅与计算机程序设计艺术 随着云计算和大数据技术的兴起,越来越多的人开始关注流处理技术。特别是近年来,Apache Flink、Kafka Streams等新兴的流处理框架成为数据分析领域的热门话题。流处理是一种在事件到达速度快于处理速度的情况下对数据进行实
Apache Spark简介
Apache Spark™ 是由加州大学伯克利分校 AMPLab 提出并开源的快速通用计算引擎。它最初用于解决大规模数据集上的海量数据分析,但随着它的不断发展,已经成为用于云计算、机器学习和流处理等领域的核心组件。Spark 支持多种编程语言,包括 Scala、Java、Python 和 R,支持
【Hive/Spark】常见参数配置
(用于spark3中字段类型不匹配(例如datetime无法转换成date),消除sql中时间歧义,将Spark .sql. LEGACY . timeparserpolicy设置为LEGACY来恢复Spark 3.0之前的状态来转化)(4)set spark.sql.finalStage.adap
Kafka概述
Kafka的概述,包括基本架构,可靠性,幂等性等特征描述
Hadoop Hdfs基本命令
dfs.sh 对应 DataNode / NameNode / SecondaryNameNode。yarn.sh 对应 ResourceManager / NodeManager。下载 将hellohadoop.txt 下载到当前(kb23tmp目录下)上传文件 来到instal
离线安装docker
重新加载某个服务的配置文件,如果新安装了一个服务,归属于 systemctl 管理,要是新服务的服务程序配置文件生效,需重新加载。在/usr/lib/systemd/system/目录下,创建docker.service文件。我这里下载的是docker-19.03.9.tgz ,一般我们需要下载社区
【Kafka】【十七】消费者poll消息的细节与消费者心跳配置
默认情况下,消费者⼀次会poll500条消息。代码中设置了⻓轮询的时间是1000毫秒。
深入解读 Flink 1.17
摘要:本文整理自阿里云技术专家,Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 Meetup 的分享。
Eureka与Zookeeper的区别
Eureka会造成短暂的数据不一致性,这是可以容忍的,但是zookeeper在主服务器down的时候,要选取新的主服务器,造成的时间导致服务注册长期不可用时难以容忍的,所以推荐使用Eureka,再加上Eureka集成Spring Cloud是十分方便的,所以推荐大家使用Eureka作为服务注册中心。
十八、Flink自定义多并行Source
Flink自定义多并行Source
Flink - sink算子
Flink中常见的sink算子,对接Kafka、Redis、ES、自定义sink、jdbc sink。案例代码使用。
Middleware ❀ Kafka功能与使用详解
Kafka是Apache基金会开发的一个开源流处理平台,由Scala和Java编写,Kafka是一个开源的分布式事件流平台,主要应用于大数据实时处理领域。
【新星计划】Kafka分布式发布订阅消息系统
Producer是消息的生产者,通常情况下,数据消息源可是服务器日志、业务数据及Web服务数据等,生产者采用推送的方式将数据消息发布到Kafka的主题中,主题本质就是一个目录,而主题是由Partition Logs(分区日志)组成,每条消息都被追加到分区中。与点对点消息系统不同的是,消费者可以订阅一
KafKa 3.x(三、Eagle、Kraft、压测调优,源码解析)
Kafka-Eagle框架用于监控Kafka集群运行状况。官网https://kafka-eagle.org。
理解 Spring Cloud 分布式配置中心Eureka
在 Spring Cloud 的世界里,分布式系统经历了开发、测试、运维三个阶段。而在开发阶段,通常采用集中式配置方式,将所有配置文件统一管理在一台服务器上。随着业务系统的不断扩张,各个微服务模块都需要配置自己的属性值。因此,需要一个分布式配置中心来解决这一问题。Spring Cloud 提供了基于
【RabbitMQ】介绍及消息收发流程
RabbitMQ 是实现 AMQP(高级消息队列协议)的消息中间件的一种,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。RabbitMQ主要是为了实现系统之间的双向解耦而实现的。当生产者大量产生数据时,消费者无法快速消费,那么需要一个中间层。保存这个数
Scala安装步骤详解
Scala安装步骤详解:1.在网页上运行Scala 2.在Windows系统上安装scala 3.在Linux和macOS系统上安装Scala 4.在软件中安装scala插件 1.下载与安装IDEA 2.scala插件的安装与使用 3.安装完成后测试scala插件
数据仓库中的数据挖掘:探索新的方法和技术
作者:禅与计算机程序设计艺术 《7. "数据仓库中的数据挖掘:探索新的方法和技术"》引言7.1 背景介绍随着互联网和大数据时代的到来,各类企业面临着海量数据的积累和处理,数
TP5简单使用RabbitMQ实现消息队列
RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。 AMQP :Advanced Message Queue,高级消息队列协议。