如何玩懂RabbitMQ的消息确认机制?

用详细的讲解带你如何玩懂RabbitMQ的消息确认机制,包换生产者和消费者的消息确认,保护我们的消息不被丢失。

HDFS小文件问题分析与解决方案(面试层面~)

1)会有什么影响(1)存储层面:1个文件块,占用namenode多大内存150字节1亿个小文件150字节1个文件块 * 150字节(2)计算层面:每个小文件都会起到一个MapTask,占用了大量计算资源2)怎么解决(1)采用har归档方式,将小文件归档(2)采用CombineTextInputFor

【大数据】带你理解并使用flink中的Time、Window(窗口)、Windows Function(窗口函数)

这篇文章带你理清大数据开发中flink中time、window使用概念、实战的内容,欢迎大家品读,同时示例代码也是基于最新的flink1.13开发。

springboot----数据层技术的选择+各种整合(缓存,消息队列)+定时任务+发邮件

本笔记包含以下内容:springboot内置的数据源和配置、jdbcTemplate、内置的H2数据库。springboot整合redis,redis基本使用,切换springboot操作redis客户端的实现技术(jedis或lettuce),MongoDB安装和初始化,安装可视化工具Robo 3

用质谱法定义 HLA-II 配体处理和结合规则可增强癌症表位预测

文献:Defining HLA-II Ligand Processing and Binding Rules with Mass Spectrometry Enhances Cancer Epitope Prediction文献地址:Defining HLA-II Ligand Processing

保姆级Hadoop集群部署

保姆级hadoop集群部署

Spark框架-离线数据统计

数据清洗任务简介:第一步:输出日志(使用spark默认的log4j配置文件)第二步:创建SparkSession对象(关闭严格模式,否则创建静态分区)第三步:拿出所有的表并进行清洗第四步:删除分区并且统计第五步:将对于字段的日期改为timestamp类型第六步:去除重复字段并创建临时视图第七步:查看

阿里云+作业帮+小红书:论剑云原生时代的 SRE与智能运维

CSDN云原生系列在线峰会第1期“SRE与智能运维峰会”如期而至

给linux(centos)操作系统设置主机名的几种方式

给linux(centos)系统设置主机名的三种方式

从趋势到必选项,探讨企业数字化转型方式方法

通过数字化转型,实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理,打造组件化、松耦合的中台能力,将数字技术与企业需求相融合,释放数字化转型的真正价值。

Redis分布式锁的解决方案(Redisson)

什么是分布式锁?实现分布式锁的常用三种方式在很多场景中,我们为了保证数据的最终一致性,需要很多的技术方案来支持,比如分布式事务、分布式锁等。那具体什么是分布式锁,分布式锁应用在哪些业务场景、如何来实现分布式锁呢?一 为什么要使用分布式锁我们在开发应用的时候,如果需要对某一个共享变量进行多线程同步访问

【鸿蒙开发——服务器端】数字管家服务端——配置详细步骤

【鸿蒙开发——服务器端】上手数字管家服务端——配置详细步骤​如果说鸿蒙“发布”是万里长征的前半段,相信华为已经走完,但在后半段–生态养成,鸿蒙的隐忧是不少的!从那天起,兴龙也有了新的人生目标“志向为华为鸿蒙开发相关做50年的教学事业!”*兴龙是云南省一高校的计算机教师。仅用9小时,就完成了OpenH

MySQL分页查询limit优化的两种思路

我们知道,limit分页,当翻到比较靠后的页时,查询效率会越来越慢。如这则帖子所述:浅谈PageHelper插件分页实现原理及大数据量下SQL查询效率问题解决博主这也是一种不错的思路。其实针对分页这个问题,了解其为什么慢就知道优化方法了,按我的理解如下(不一定说的很准确哈):(1)以前select

ES 性能调优,这可能是全网最详细的 Elasticsearch 性能调优指南

Elasticsearch 读写性能调优ES 架构和Mapping优化

Spark框架——离线数据抽取(样题实例超详细)

模块B离线数据抽取任务简介具体步骤简介第一步:开启动态分区第二步:提取前一天时间第三步:读取MYSQL数据第四步:全量写入数据第五步:Main第六步:打包集群第七步:找到jar包第八步:把jar包打包到集群目录下第九步:进入Master目录下运行任务简介具体步骤简介第一步:开启动态分区val spa

云原生中为什么需要API网关?

越来越多的组织正在转向 API 驱动的架构。 这种强大的方法可帮助他们快速创新,与同类最佳的外部服务集成,并以前所未有的速度交付新服务。然而,随着 API 对经营业务变得越来越重要,提供可靠和一致的服务同时保护 API 不被滥用或利用变得至关重要。 API 网关提供了一层安全和控制,对于保护您的数据

Spark 之WordCount

Spark 之WordCount

【源码解读】|SparkContext源码解读

本文针对于SparkContext 初始化总线,来阐述了Spark接收到任务时的一系列操作,让读者可以随时溯源

数据治理(八):Atlas集成Hive

目录Atlas集成Hive一、配置hive-site.xml二、修改Hive-env.sh三、复制$ATLAS_HOME/conf/atlas-application.properties文件到$HIVE_HOME/conf下,并追加内容四、复制导入Hive元数据必须的jar包五、执行同步Hive

Flink实时数仓项目—项目初了解

Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1 日常统计报表或分析图中需要包含当日部分2.2 实时数据大屏监控2.3 数据预警或提示2.4 实时推荐系统三、数仓架

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈