架构设计内容分享(二百一十)：设计一个大并发、大数据的系统架构，说说设计思路
也就是说，一个类应该对自己需要耦合或调用的类知道的最少，类与类之间的关系越密切，耦合度越大，那么类的变化对其耦合的类的影响也会越大，这也是我们面向对象设计的核心原则：低耦合，高内聚。优秀的架构和产品都是一步一步迭代出来的，用户量的不断增大，业务的扩展进行不断地迭代升级，最终演化成优秀的架构。其根本思
数据仓库概念梳理
上面雪花模型中，学生信息事实表的orderId还继续关联了下一个层级体验课记录表，体验课报名记录表还可能会继续往下关联，对于复杂的系统而言，一般会采用雪花模型，关键层级会较多，而星型模型的关联过于单一，层级不够深，无法支持这种操作。一个维表会对应多个事实表，而维表和事实表所有关联起来就形成一个宽表，
通过kafka学习数据一致性
Kafka通过分区与副本机制、ISR机制、消息提交确认、原子性操作和容错处理等手段，确保数据一致性。这些设计使得Kafka能够在分布式环境中实现高吞吐量、持久化存储、可扩展性和高可靠性等特性从而满足各种复杂场景下的数据一致性需求。
Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
自此我们完整从搭建Hadoop，hive、flink 、Mysql、Doris 及Doris On Iceberg的使用全部介绍完了，Doris朝着数据仓库和数据融合的架构演进，支持湖仓一体的联邦查询，给我们的开发带来更多的便利，更高效的开发，省去了很多数据同步的繁琐工作。上述Doris On Ic
RabbitMQ
基本消息队列的消息发送流程：建立connection创建channel利用channel声明队列利用channel向队列发送消息基本消息队列的消息接收流程：建立connection创建channel利用channel声明队列定义consumer的消费行为handleDelivery()利用chann
Kafka_04_Topic和日志
Topic和日志
Spark在AI与机器学习中的应用
1.背景介绍1. 背景介绍Apache Spark是一个开源的大规模数据处理框架，它可以处理批量数据和流式数据，并提供了一个易于使用的编程模型。Spark在AI和机器学习领域的应用非常广泛，它可以处理大量数据，提高训练和预测的速度，并提供了许多机器学习算法的实现。在本文中，我们将讨论Spark在AI
带你深入了解RabbitMQ
解耦，生产者和消费者不需要知道对方的具体接口异步，生产者发送完消息直接结束，不需要等待消费者执行完，效率高削峰，控制高峰期消息的数量，降低服务器压力二、RabbitMQ的消息模型有：一对一，一个生产者一个队列一个消费者，一个发一个收一对多，一个生产者一个队列多个消费者，多个消费者共享一个队列中的消息
RabbitMQ（一）简介及工作原理
RabbitMQ是一套开源（MPL）的消息代理软件，是由 LShift 提供的一个 Advanced Message Queuing Protocol (AMQP) 的开源实现，由以高性能、健壮以及可伸缩性出名的 Erlang 写成。具有高可靠、灵活路由的特点，支持多客户端、集群。可集成插件和工具，
Hive与Presto中的列转行区别
Hive、Spark和Presto都提供了这种实现，但有所不同。下面通过这个案例介绍三者之间的区别及注意事项。在处理数据时，我们经常会遇到一个字段存储多个值，这时需要把一行数据转换为多行数据，形成标准的结构化数据。不会自动过滤被转换列和转换列字段值为空的数据，因此此方式数据不会丢失。会自动过滤被转换
HCIA-Big Data V3.0结课测试题(HCIA-Big Data V3.0模拟考试)
本文为HCIA-Big Data V3.0华为认大数据工程师在线课程结课测试题，也是HCIA-Big Data V3.0模拟考试原题
RabbitMq相关面试题
主题模式（Topic）：主题模式是发布/订阅模式的一种变体，消息发送者（生产者）将消息发送到一个主题交换机（Topic Exchange），交换机根据消息的Routing Key将消息路由到一个或多个队列，消费者可以根据通配符的Routing Key来订阅感兴趣的消息。消费者组内的消费者可以并行地处
数据仓库ETL工具对比
1.背景介绍数据仓库ETL(Extract, Transform, Load)工具是用于将数据从不同的数据源提取、转换并加载到数据仓库中的一种技术。ETL工具是数据仓库建设的核心组件，它可以帮助数据仓库专家更快地构建、维护和管理数据仓库。在过去的几年里，ETL工具的市场已经出现了许多竞争对手。这些工
Hadoop3.x基础（1）
1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop通常是指一个更广泛的概念——**Hadoop生态圈**。Hadoop Distributed File System，简称HDFS，是一个分布式文件
【Spark系列4】Task的执行
TaskScheduler根据调度的顺序，依次调度TaskSetManager中的TaskSet，对于每个TaskSet遍历所有本地化级别，从小到大尝试在Executor分配Task，根据每个WorkerOffer的executorId和hostname，使用TaskSetManager判断在当前本
大数据与智慧工程系会议管理系统(源码+开题)
例如，通过对历史会议数据的挖掘，可以发现哪些议题更能激发讨论，哪些时间段的会议更能吸引参与者，甚至可以预测未来的会议趋势，为会议的筹备提供科学依据。此外，智慧工程系的技术可以实现会议资源的智能调配，如自动化的会议室预订、动态调整的议程安排等，极大地减轻了组织者的负担，提高了整体的工作效率。随着互联网
阿里云大数据ACA及ACP复习题（81~100)
Quick BI是一款全场景数据消费式的BI平台，秉承全场景消费数据，让业务决策触手可及的使命，通过智能的数据分析和可视化能力帮助企业构建数据分析系统，您可以使用Quick BI制作漂亮的仪表板、格式复杂的电子表格、酷炫的大屏、有分析思路的数据门户，也可以将报表集成在您的业务流程中，并且通过邮件、钉
Flink的文本处理与自然语言处理实战
1.背景介绍1. 背景介绍Apache Flink 是一个流处理框架，用于实时数据处理和分析。它支持大规模数据流处理，具有高吞吐量、低延迟和强大的状态管理功能。Flink 的核心组件是流处理作业，由一组数据流操作组成。数据流操作包括源(Source)、接收器(Sink)和转换操作(Transform
大数据毕设分享 深度学习花卉识别
今天学长向大家介绍一个机器视觉项目基于深度学习卷积神经网络的花卉识别毕业设计 深度学习的花卉识别系统。
Hive实战：计算总分与平均分
本次实战以Hive为核心，针对学生成绩数据进行统计分析。首先，在虚拟机中创建score.txt文件存储五名学生的成绩记录，并上传至HDFS的路径下。接着启动Hive Metastore服务和客户端，创建与成绩表结构对应的内部表t_score，并运用load data命令将HDFS数据导入该表。最后，
