数据仓库Inmon和Kimball架构
在Inmon模式中，并不强调事实表和维度表的概念，因为数据源变化的可能性较大，需要更加强调数据的清洗工作，从中抽取实体-关系。对于Kimball模式，数据源往往是给定的若干个数据库表，数据较为稳定但是数据之间的关联关系比较复杂，需要从这些OLTP中产生的事务型数据结构抽取出分析型数据结构，再放入数据
数据架构的安全与隐私：保护敏感信息
1.背景介绍在当今的数字时代，数据已经成为组织和个人的宝贵资源。随着数据的增长和数字技术的发展，数据安全和隐私变得越来越重要。数据架构师需要确保数据安全，同时保护敏感信息不被滥用。在这篇文章中，我们将探讨数据架构的安全与隐私问题，以及如何保护敏感信息。1.1 数据安全与隐私的重要性数据安全和隐私是组
服务网格安全：保护您的微服务生态系统
1.背景介绍随着微服务架构在企业中的普及，服务网格已经成为一种必不可少的技术。微服务架构的核心思想是将应用程序拆分成多个小的服务，这些服务可以独立部署和扩展。服务网格则是一种基础设施，它可以帮助管理这些微服务之间的通信和协同。服务网格提供了一种简单的方式来实现服务之间的通信，同时也为这些服务提供了一
【Docker】技术架构演变
介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术。
【Flink数据传输（一）】NetworkStack架构概述：实现tm之间的数据交换
【Flink数据传输（一）】NetworkStack架构概述：实现tm之间的数据交换
再聊对架构决策记录的一些思考
ADR是一种架构决策，与参与系统建设的每个人息息相关，其关键价值不仅仅在于决策的留存和追溯，更为重要是在于通过干系人的讨论使得决策知识在团队间高效同步。”：认为ADR的评审是一种强流程的正式评审，大家不愿意参加“评审会”，发起人也“不愿意抛出自己的决策让大家在会上讨论”。这显然与ADR机制相悖，本质
Hadoop之HDFS——【模块一】元数据架构
在Hadoop生态系统中，"元数据"（Metadata）指的是描述数据集特征的数据，它提供了关于文件系统中文件和目录的信息。在Hadoop分布式文件系统（HDFS）中，元数据主要由NameNode来管理。INodeMap是Hadoop中用于存储inode信息的数据结构。它是一个内存中的映射表，用于将
Apache HBase全面解析：架构、核心概念与性能优化策略
HBase是一个开源的非关系型分布式数据库（NoSQL），它是基于Apache Hadoop的HDFS（Hadoop Distributed File System）构建的。HBase提供了对大规模数据集的随机、实时读/写访问，并且是Google Bigtable的开源实现。
架构面试题汇总：缓存（二）
缓存是一种存储数据的组件，它存储了数据的副本，以便将来请求时可以更快地访问这些数据。缓存可以位于应用程序的多个层级，包括数据库层、应用层或客户端层。我们需要缓存的主要原因是为了提高性能。通过缓存频繁访问的数据，我们可以减少对慢速存储（如硬盘或数据库）的访问，从而减少延迟并提高吞吐量。
架构总结(极客时间摘抄)
极客时间网站，课程架构相关总结
了解Spark运行架构与原理
了解Spark架构了解Spark作业运行流程了解Spark核心数据集RDD了解Spark核心原理
SaToken实现微服务内部接口调用免认证（无web上下文的情况下）
SaToken，非web上下文，服务内部免认证
【AI】推理系统和推理引擎的整体架构
本文主要是对B站Up主 ZOMI酱 相关视频的理解，可以认为是重点笔记。本文介绍了深度学习模型的全生命周期和推理系统、推理引擎的架构，并列出架构设计上的难点和挑战。
ChatGPT预训练的奥秘：大规模数据、Transformer架构与自回归学习【文末送书-31】
ChatGPT预训练的奥秘：大规模数据、Transformer架构与自回归学习【文末送书-31】近年来，人工智能领域取得了巨大的进展，其中自然语言处理（NLP）是备受瞩目的一部分。ChatGPT，作为GPT-3.5架构的代表之一，突显了大模型在处理自然语言任务方面的卓越能力。本文将深入探讨ChatG
【架构设计】什么是CAP理论？
CAP理论是指计算机分布式系统的三个核心特性：一致性（Consistency）、可用性（Availability）和分区容错性（Partition Tolerance）。在CAP理论中，一致性指的是多个节点上的数据副本必须保持一致；可用性指的是系统必须在任何时候都能够响应客户端请求；而分区容错性指的
【Flink入门修炼】1-4 Flink 核心概念与架构
前面几篇文章带大家了解了 Flink 是什么、能做什么，本篇将带大家了解 Flink 究竟是如何完成这些的，Flink 本身架构是什么样的，让大家先对 Flink 有整体认知，便于后期理解。
MySQL高可用解决方案演进：从主从复制到InnoDB Cluster架构
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站当谈论MySQL高可用性解决方案时，从最初的主从复制到现代的InnoDB Cluster架构经历了长足的演进。这些解决方案为数据库系统提供了在硬件或软件故障时保持可用性和持久性的能力。1. 主从复制主从复
AI时代-GPT4 AIGChip框架开发
此外，使用现有的设计探索和自动化工具[11]，[13]，[14]，[17]，[36]，[43]，[45]所需的硬件专业水平对非专家来说是一个巨大的挑战，抑制了AI加速器的创新发展。然后，我们将讨论我们的模板的含义和优点。值得注意的是，我们的GPT4AIGChip通过在封闭源代码但功能强大的GPT-4
DP读书：开源软件的影响力（小白向）解读Embedded_SIG介绍以及代码架构解析
对于当前的嵌入式系统，一方面由于硬件越发强大，可以有力支撑Linux等复杂操作系统的运行；另一方面，应用也变得越发复杂， 包含了如互联、AI、迭代升级等方面的越来越多的需求。需求如此复杂而繁多，实践中也往往需要像Linux这样强大的操作系统来满足。因此，在嵌入式系统中，Linux所应用的场景越来越多
Kafka：kafka的技术架构？ ①
6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个p
