【Flink数据传输(一)】NetworkStack架构概述:实现tm之间的数据交换
【Flink数据传输(一)】NetworkStack架构概述:实现tm之间的数据交换
再聊对架构决策记录的一些思考
ADR是一种架构决策,与参与系统建设的每个人息息相关,其关键价值不仅仅在于决策的留存和追溯,更为重要是在于通过干系人的讨论使得决策知识在团队间高效同步。”:认为ADR的评审是一种强流程的正式评审,大家不愿意参加“评审会”,发起人也“不愿意抛出自己的决策让大家在会上讨论”。这显然与ADR机制相悖,本质
Hadoop之HDFS——【模块一】元数据架构
在Hadoop生态系统中,"元数据"(Metadata)指的是描述数据集特征的数据,它提供了关于文件系统中文件和目录的信息。在Hadoop分布式文件系统(HDFS)中,元数据主要由NameNode来管理。INodeMap是Hadoop中用于存储inode信息的数据结构。它是一个内存中的映射表,用于将
Apache HBase全面解析:架构、核心概念与性能优化策略
HBase是一个开源的非关系型分布式数据库(NoSQL),它是基于Apache Hadoop的HDFS(Hadoop Distributed File System)构建的。HBase提供了对大规模数据集的随机、实时读/写访问,并且是Google Bigtable的开源实现。
架构面试题汇总:缓存(二)
缓存是一种存储数据的组件,它存储了数据的副本,以便将来请求时可以更快地访问这些数据。缓存可以位于应用程序的多个层级,包括数据库层、应用层或客户端层。我们需要缓存的主要原因是为了提高性能。通过缓存频繁访问的数据,我们可以减少对慢速存储(如硬盘或数据库)的访问,从而减少延迟并提高吞吐量。
架构总结(极客时间摘抄)
极客时间网站,课程架构相关总结
了解Spark运行架构与原理
了解Spark架构了解Spark作业运行流程了解Spark核心数据集RDD了解Spark核心原理
SaToken实现微服务内部接口调用免认证(无web上下文的情况下)
SaToken,非web上下文,服务内部免认证
【AI】推理系统和推理引擎的整体架构
本文主要是对B站Up主 ZOMI酱 相关视频的理解,可以认为是重点笔记。本文介绍了深度学习模型的全生命周期和推理系统、推理引擎的架构,并列出架构设计上的难点和挑战。
ChatGPT预训练的奥秘:大规模数据、Transformer架构与自回归学习【文末送书-31】
ChatGPT预训练的奥秘:大规模数据、Transformer架构与自回归学习【文末送书-31】近年来,人工智能领域取得了巨大的进展,其中自然语言处理(NLP)是备受瞩目的一部分。ChatGPT,作为GPT-3.5架构的代表之一,突显了大模型在处理自然语言任务方面的卓越能力。本文将深入探讨ChatG
【架构设计】什么是CAP理论?
CAP理论是指计算机分布式系统的三个核心特性:一致性(Consistency)、可用性(Availability)和分区容错性(Partition Tolerance)。在CAP理论中,一致性指的是多个节点上的数据副本必须保持一致;可用性指的是系统必须在任何时候都能够响应客户端请求;而分区容错性指的
【Flink入门修炼】1-4 Flink 核心概念与架构
前面几篇文章带大家了解了 Flink 是什么、能做什么,本篇将带大家了解 Flink 究竟是如何完成这些的,Flink 本身架构是什么样的,让大家先对 Flink 有整体认知,便于后期理解。
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站当谈论MySQL高可用性解决方案时,从最初的主从复制到现代的InnoDB Cluster架构经历了长足的演进。这些解决方案为数据库系统提供了在硬件或软件故障时保持可用性和持久性的能力。1. 主从复制主从复
AI时代-GPT4 AIGChip框架开发
此外,使用现有的设计探索和自动化工具[11],[13],[14],[17],[36],[43],[45]所需的硬件专业水平对非专家来说是一个巨大的挑战,抑制了AI加速器的创新发展。然后,我们将讨论我们的模板的含义和优点。值得注意的是,我们的GPT4AIGChip通过在封闭源代码但功能强大的GPT-4
DP读书:开源软件的影响力(小白向)解读Embedded_SIG介绍以及代码架构解析
对于当前的嵌入式系统,一方面由于硬件越发强大,可以有力支撑Linux等复杂操作系统的运行;另一方面,应用也变得越发复杂, 包含了如互联、AI、迭代升级等方面的越来越多的需求。需求如此复杂而繁多,实践中也往往需要像Linux这样强大的操作系统来满足。因此,在嵌入式系统中,Linux所应用的场景越来越多
Kafka:kafka的技术架构? ①
6)Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列。kafka只保证按一个partition中的顺序将消息发给consumer,不保证一个topic的整体(多个p
美团外卖流程解析:便捷、高效、安全的美食配送
美团外卖通过简便快捷的下单与支付流程、高效准确的商家接单与配送流程,以及安全可靠的配送环境,为用户带来了便捷、高效、安全的外卖体验。在取餐后,配送员会尽快将美食送达用户手中。美团外卖平台通过智能路线规划和实时交通信息,帮助配送员选择最佳的配送路线,缩短配送时间。美团外卖作为中国最大的外卖平台之一,提
云原生Kubernetes: Kubeadm部署K8S 1.29版本 单Master架构
① 阿里云镜像加速将XXXXXXXX改为自己的即可( "https://XXXXXXXX.mirror.aliyuncs.com",)(1)创建deploymenty资源,指定镜像为nginx,副本数量为2个,暴露端口80类型为NodePort。与前面kubeadm init的 --pod-netw
lvs DR模式+基于五台服务器部署keepalived + lvs DR模式架构(前端带路由)负载均衡的高可用集群
lvs DR模式+基于五台服务器部署keepalived + lvs DR模式架构(前端带路由)负载均衡的高可用集群DR模式一:客户端:172.20.26.167LVS服务器:172.20.26.198后端服务器:172.20.26.218后端服务器:172.20.26.210DR模式二:基于六台服
Flink 2.0 状态管理存算分离架构演进与分离改造实践
最后是本次分享的一些总结。第一是状态访问在流计算中起到了非常关键的作用。在单条 record 的访问路径上,状态访问的处理速度会严重影响到 TPS ,这也是之前很多尝试 Flink 远端状态存储访问会非常慢的原因。第二,云原生时代对状态存储提出了更高的要求,比如受限的本地盘、快速扩缩容以及平滑的资源