深入了解Hadoop：架构、组件与工作流程
用户只需编写少量的Map和Reduce函数代码，就可以利用Hadoop的分布式处理能力来完成复杂的数据处理任务。同时，Hadoop还提供了丰富的API和工具来支持数据的导入、导出、格式转换等操作，使得用户可以更加灵活地使用和处理大数据。Hadoop是一个分布式系统的基础架构，用户可以在不了解分布式底
Service Weaver：Google开源基于分布式应用程序开发的框架，重新定义微服务边界
今年6月，一群谷歌员工（由谷歌软件工程师Michael Whittaker领导）发表了一篇名为“Towards Modern Development of Cloud Applications”的论文。正如Whittaker等人所指出的，从架构上讲，微服务本身设置就有问题，它是一个没有边界的结构它们
Spark源码之Spark on Yarn运行时架构
在当今大数据时代，数据处理和分析已成为各行各业的核心任务之一。为了有效地处理海量数据并实现高性能的分布式计算，Apache Spark作为一款强大而灵活的开源框架崭露头角。Spark的成功不仅源于其卓越的性能和易用性，更在于其开放源代码的本质，为研究者、工程师和开发者提供了深入学习的机会。Spark
Eureka注册中心：实现微服务架构下的服务发现与治理的艺术（一）
Eureka注册中心是Netflix开发的一个基于REST的服务，主要用于微服务架构中的服务发现与治理。在分布式系统中，Eureka注册中心充当了一个“通讯录”的角色，记录了服务和服务地址的映射关系。服务提供者会将自己的信息注册到Eureka Server中，而服务消费者则通过Eureka Serv
【架构】GPU架构总结
在之前的 SM 概览图以及上图里，可以注意到 SM 内有两个 Warp Scheduler 和两个 Dispatch Unit. 这意味着，同一时刻，会并发运行两个 warp，每个 warp 会被分发到一个 Cuda Core Group(16 个 CUDA Core), 或者 16 个 load/
数据仓库Inmon和Kimball架构
在Inmon模式中，并不强调事实表和维度表的概念，因为数据源变化的可能性较大，需要更加强调数据的清洗工作，从中抽取实体-关系。对于Kimball模式，数据源往往是给定的若干个数据库表，数据较为稳定但是数据之间的关联关系比较复杂，需要从这些OLTP中产生的事务型数据结构抽取出分析型数据结构，再放入数据
数据架构的安全与隐私：保护敏感信息
1.背景介绍在当今的数字时代，数据已经成为组织和个人的宝贵资源。随着数据的增长和数字技术的发展，数据安全和隐私变得越来越重要。数据架构师需要确保数据安全，同时保护敏感信息不被滥用。在这篇文章中，我们将探讨数据架构的安全与隐私问题，以及如何保护敏感信息。1.1 数据安全与隐私的重要性数据安全和隐私是组
服务网格安全：保护您的微服务生态系统
1.背景介绍随着微服务架构在企业中的普及，服务网格已经成为一种必不可少的技术。微服务架构的核心思想是将应用程序拆分成多个小的服务，这些服务可以独立部署和扩展。服务网格则是一种基础设施，它可以帮助管理这些微服务之间的通信和协同。服务网格提供了一种简单的方式来实现服务之间的通信，同时也为这些服务提供了一
【Docker】技术架构演变
介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术。
【Flink数据传输（一）】NetworkStack架构概述：实现tm之间的数据交换
【Flink数据传输（一）】NetworkStack架构概述：实现tm之间的数据交换
再聊对架构决策记录的一些思考
ADR是一种架构决策，与参与系统建设的每个人息息相关，其关键价值不仅仅在于决策的留存和追溯，更为重要是在于通过干系人的讨论使得决策知识在团队间高效同步。”：认为ADR的评审是一种强流程的正式评审，大家不愿意参加“评审会”，发起人也“不愿意抛出自己的决策让大家在会上讨论”。这显然与ADR机制相悖，本质
Hadoop之HDFS——【模块一】元数据架构
在Hadoop生态系统中，"元数据"（Metadata）指的是描述数据集特征的数据，它提供了关于文件系统中文件和目录的信息。在Hadoop分布式文件系统（HDFS）中，元数据主要由NameNode来管理。INodeMap是Hadoop中用于存储inode信息的数据结构。它是一个内存中的映射表，用于将
Apache HBase全面解析：架构、核心概念与性能优化策略
HBase是一个开源的非关系型分布式数据库（NoSQL），它是基于Apache Hadoop的HDFS（Hadoop Distributed File System）构建的。HBase提供了对大规模数据集的随机、实时读/写访问，并且是Google Bigtable的开源实现。
架构面试题汇总：缓存（二）
缓存是一种存储数据的组件，它存储了数据的副本，以便将来请求时可以更快地访问这些数据。缓存可以位于应用程序的多个层级，包括数据库层、应用层或客户端层。我们需要缓存的主要原因是为了提高性能。通过缓存频繁访问的数据，我们可以减少对慢速存储（如硬盘或数据库）的访问，从而减少延迟并提高吞吐量。
架构总结(极客时间摘抄)
极客时间网站，课程架构相关总结
了解Spark运行架构与原理
了解Spark架构了解Spark作业运行流程了解Spark核心数据集RDD了解Spark核心原理
SaToken实现微服务内部接口调用免认证（无web上下文的情况下）
SaToken，非web上下文，服务内部免认证
【AI】推理系统和推理引擎的整体架构
本文主要是对B站Up主 ZOMI酱 相关视频的理解，可以认为是重点笔记。本文介绍了深度学习模型的全生命周期和推理系统、推理引擎的架构，并列出架构设计上的难点和挑战。
ChatGPT预训练的奥秘：大规模数据、Transformer架构与自回归学习【文末送书-31】
ChatGPT预训练的奥秘：大规模数据、Transformer架构与自回归学习【文末送书-31】近年来，人工智能领域取得了巨大的进展，其中自然语言处理（NLP）是备受瞩目的一部分。ChatGPT，作为GPT-3.5架构的代表之一，突显了大模型在处理自然语言任务方面的卓越能力。本文将深入探讨ChatG
【架构设计】什么是CAP理论？
CAP理论是指计算机分布式系统的三个核心特性：一致性（Consistency）、可用性（Availability）和分区容错性（Partition Tolerance）。在CAP理论中，一致性指的是多个节点上的数据副本必须保持一致；可用性指的是系统必须在任何时候都能够响应客户端请求；而分区容错性指的
