2024 中国大数据交易平台发展现状调研简报
从地区上看，大数据交易平台主要分布在华东、华北和华南沿海地区；从时间上看，每一次大政策的发布，都迎接一次大数据交易平台的爆发式增长；数据交易涉及到数据安全与隐私保护，所以大部分交易平台都是国有企业。当前，中国的数据交易市场发展正处在一个关键的成长阶段，未来大数据交易仍有较大的发展空间。相信有关部门能
基于Spark的实时计算服务的流程架构
基于Spark的实时计算服务的流程架构包括数据源、数据接收、实时计算框架（Spark Streaming或Structured Streaming）、数据处理、数据存储、数据输出以及监控和管理多个组件。每个组件在整个流程中都扮演着关键的角色，确保数据从采集到处理再到输出的高效和可靠。
安全与服务的双重奏：探究ISO20000和ISO27001的企业变革力量
ISO20000是一个面向机构的IT服务管理标准，旨在提供建立、实施、运作、监控、评审、维护和改进IT服务管理体系（ITSM）的模型。它主要关注的是IT服务管理的流程和质量，帮助企业建立高效的IT服务支持，确保IT服务与企业业务目标一致，提高信息技术服务和运营效率，控制IT风险及相关的成本。例如，华
智慧之巅：大数据与算力中心的融合演进
在数字化的征途上，大数据与算力中心的融合演进如同一部史诗般的技术交响曲，奏响了智慧时代的最强音。我们见证了数据量的爆炸性增长，从TB到ZB的跃迁，不仅是对存储和处理能力的挑战，更是对创新思维的呼唤。数据处理技术的革新，从批处理到流处理的华丽转身，实时分析技术的崛起，如同夜空中最亮的星，指引着我们探索
hadoop3.3.6集群搭建
hadoop3.3.6搭建1主两从集群
《基于 CDC、Spark Streaming、Kafka 实现患者指标采集》
本篇文章分享一下博主所在公司的患者指标采集的解决方案。主要是基于实现，由于涉及公司隐私，内容主要以方案介绍为主，有需要探讨的可以留言。好，让我们开始。上文介绍了博主所在公司的《基于 CDC、Spark Streaming、Kafka 实现患者指标采集》方案。💗 后续会逐步分享企业实际开发中的实战经
Flink-DataWorks第一部分：DataWorks（第57天）
本文主要详解了DataWorks基本功能，为第一部分：由于篇幅过长，分章节进行发布。后续： 数据集成的使用 数据开发流程及操作 运维中心的使用
Spark实时（三）：Structured Streaming入门案例
我们使用Structured Streaming来监控socket数据统计WordCount。
Flink 实时数仓（五）【DWD 层搭建（三）交易域事实表】
Flink 实时数仓DWD层搭建，加购事务事实表，订单预处理表
数据采集与预处理【大数据导论】
重复值
TDC 5.0：多集群统一纳管，构建一体化大数据云平台
此时，如果TCOS集群是一个新建的，甚至是一个异构的，比如满足新上的ARM集群，可以把存储资源TDDMS Tabletserver在这上面增加三个副本，HDFS可以把DataNode增加副本，对应的把Executor也在这个节点上部署起来，就好像为这个集群增加扩容一样，这样就实现了计算类的组件和存储
Hadoop面试题
Hadoop高频面试题。
阶段三：项目开发---大数据开发运行环境搭建:任务5：安装配置Kafka
安装配置Kafka： 安装配置Kafka：无Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一
Spark学习
系统的学习spark
全国职业院校技能大赛-大数据应用赛项-Hadoop-HA
本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。
Flink之keyBy操作
在Flink中，当我们需要对海量数据进行聚合处理时，通常会先进行分区，以提高处理效率。通过keyBy操作，我们可以根据指定的键将数据流划分为不同的分区，每个分区内的数据将发送到同一个分区进行处理。这种分区的方式是通过计算键的哈希值，并通过对分区数取模运算来实现的。因此，具有相同键
Hadoop_hdfs介绍
Hadoop 是一个开源框架，由 Apache Software Foundation 开发和维护，用于分布式存储和处理大规模数据集。Hadoop 允许用户通过简单的编程模型跨大型集群分布式处理大量数据。它特别适用于大数据应用，可以处理数千台服务器上的 PB 级数据。
大数据最新FlinkCDC全量及增量采集SqlServer数据_flink cdc sql server
TABLE_CATALOG TABLE_SCHEMA TABLE_NAME TABLE_TYPEtest dbo user_info BASE TABLEtest dbo systranschem
Hive/Spark窗口函数
结果中，对于每一行的last_value的结果都是当前值，并不分区中按salary升序的最后一个值。前面在提到last_value时，特意强调了该函数的结果并不是分区中的最后一个值，结合上述介绍的window specification再来看下该函数的结果值。注意，默认情况下last_value取的
Spark概述及Scala搭建操作步骤
现在Apache Spark已经形成一个丰富的生态圈，包括官方和第三方开发的组件或工具。Spark生态圈也称为伯克利数据分析栈，由AMPLab打造，是致力于在算法，机器，人之间通过大规模集成展现大数据应用的平台。1.Spark Core：spark的核心，提供底层框架及核心支持。2.BlinkDB:
