如何玩懂RabbitMQ的消息确认机制?
用详细的讲解带你如何玩懂RabbitMQ的消息确认机制,包换生产者和消费者的消息确认,保护我们的消息不被丢失。
HDFS小文件问题分析与解决方案(面试层面~)
1)会有什么影响(1)存储层面:1个文件块,占用namenode多大内存150字节1亿个小文件150字节1个文件块 * 150字节(2)计算层面:每个小文件都会起到一个MapTask,占用了大量计算资源2)怎么解决(1)采用har归档方式,将小文件归档(2)采用CombineTextInputFor
【大数据】带你理解并使用flink中的Time、Window(窗口)、Windows Function(窗口函数)
这篇文章带你理清大数据开发中flink中time、window使用概念、实战的内容,欢迎大家品读,同时示例代码也是基于最新的flink1.13开发。
springboot----数据层技术的选择+各种整合(缓存,消息队列)+定时任务+发邮件
本笔记包含以下内容:springboot内置的数据源和配置、jdbcTemplate、内置的H2数据库。springboot整合redis,redis基本使用,切换springboot操作redis客户端的实现技术(jedis或lettuce),MongoDB安装和初始化,安装可视化工具Robo 3
用质谱法定义 HLA-II 配体处理和结合规则可增强癌症表位预测
文献:Defining HLA-II Ligand Processing and Binding Rules with Mass Spectrometry Enhances Cancer Epitope Prediction文献地址:Defining HLA-II Ligand Processing
保姆级Hadoop集群部署
保姆级hadoop集群部署
Spark框架-离线数据统计
数据清洗任务简介:第一步:输出日志(使用spark默认的log4j配置文件)第二步:创建SparkSession对象(关闭严格模式,否则创建静态分区)第三步:拿出所有的表并进行清洗第四步:删除分区并且统计第五步:将对于字段的日期改为timestamp类型第六步:去除重复字段并创建临时视图第七步:查看
阿里云+作业帮+小红书:论剑云原生时代的 SRE与智能运维
CSDN云原生系列在线峰会第1期“SRE与智能运维峰会”如期而至
给linux(centos)操作系统设置主机名的几种方式
给linux(centos)系统设置主机名的三种方式
从趋势到必选项,探讨企业数字化转型方式方法
通过数字化转型,实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理,打造组件化、松耦合的中台能力,将数字技术与企业需求相融合,释放数字化转型的真正价值。
Redis分布式锁的解决方案(Redisson)
什么是分布式锁?实现分布式锁的常用三种方式在很多场景中,我们为了保证数据的最终一致性,需要很多的技术方案来支持,比如分布式事务、分布式锁等。那具体什么是分布式锁,分布式锁应用在哪些业务场景、如何来实现分布式锁呢?一 为什么要使用分布式锁我们在开发应用的时候,如果需要对某一个共享变量进行多线程同步访问
【鸿蒙开发——服务器端】数字管家服务端——配置详细步骤
【鸿蒙开发——服务器端】上手数字管家服务端——配置详细步骤如果说鸿蒙“发布”是万里长征的前半段,相信华为已经走完,但在后半段–生态养成,鸿蒙的隐忧是不少的!从那天起,兴龙也有了新的人生目标“志向为华为鸿蒙开发相关做50年的教学事业!”*兴龙是云南省一高校的计算机教师。仅用9小时,就完成了OpenH
MySQL分页查询limit优化的两种思路
我们知道,limit分页,当翻到比较靠后的页时,查询效率会越来越慢。如这则帖子所述:浅谈PageHelper插件分页实现原理及大数据量下SQL查询效率问题解决博主这也是一种不错的思路。其实针对分页这个问题,了解其为什么慢就知道优化方法了,按我的理解如下(不一定说的很准确哈):(1)以前select
ES 性能调优,这可能是全网最详细的 Elasticsearch 性能调优指南
Elasticsearch 读写性能调优ES 架构和Mapping优化
Spark框架——离线数据抽取(样题实例超详细)
模块B离线数据抽取任务简介具体步骤简介第一步:开启动态分区第二步:提取前一天时间第三步:读取MYSQL数据第四步:全量写入数据第五步:Main第六步:打包集群第七步:找到jar包第八步:把jar包打包到集群目录下第九步:进入Master目录下运行任务简介具体步骤简介第一步:开启动态分区val spa
云原生中为什么需要API网关?
越来越多的组织正在转向 API 驱动的架构。 这种强大的方法可帮助他们快速创新,与同类最佳的外部服务集成,并以前所未有的速度交付新服务。然而,随着 API 对经营业务变得越来越重要,提供可靠和一致的服务同时保护 API 不被滥用或利用变得至关重要。 API 网关提供了一层安全和控制,对于保护您的数据
Spark 之WordCount
Spark 之WordCount
【源码解读】|SparkContext源码解读
本文针对于SparkContext 初始化总线,来阐述了Spark接收到任务时的一系列操作,让读者可以随时溯源
数据治理(八):Atlas集成Hive
目录Atlas集成Hive一、配置hive-site.xml二、修改Hive-env.sh三、复制$ATLAS_HOME/conf/atlas-application.properties文件到$HIVE_HOME/conf下,并追加内容四、复制导入Hive元数据必须的jar包五、执行同步Hive
Flink实时数仓项目—项目初了解
Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1 日常统计报表或分析图中需要包含当日部分2.2 实时数据大屏监控2.3 数据预警或提示2.4 实时推荐系统三、数仓架