Spark实时（三）：Structured Streaming入门案例
我们使用Structured Streaming来监控socket数据统计WordCount。
Flink 实时数仓（五）【DWD 层搭建（三）交易域事实表】
Flink 实时数仓DWD层搭建，加购事务事实表，订单预处理表
数据采集与预处理【大数据导论】
重复值
TDC 5.0：多集群统一纳管，构建一体化大数据云平台
此时，如果TCOS集群是一个新建的，甚至是一个异构的，比如满足新上的ARM集群，可以把存储资源TDDMS Tabletserver在这上面增加三个副本，HDFS可以把DataNode增加副本，对应的把Executor也在这个节点上部署起来，就好像为这个集群增加扩容一样，这样就实现了计算类的组件和存储
Hadoop面试题
Hadoop高频面试题。
阶段三：项目开发---大数据开发运行环境搭建:任务5：安装配置Kafka
安装配置Kafka： 安装配置Kafka：无Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一
Spark学习
系统的学习spark
全国职业院校技能大赛-大数据应用赛项-Hadoop-HA
本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。
Flink之keyBy操作
在Flink中，当我们需要对海量数据进行聚合处理时，通常会先进行分区，以提高处理效率。通过keyBy操作，我们可以根据指定的键将数据流划分为不同的分区，每个分区内的数据将发送到同一个分区进行处理。这种分区的方式是通过计算键的哈希值，并通过对分区数取模运算来实现的。因此，具有相同键
Hadoop_hdfs介绍
Hadoop 是一个开源框架，由 Apache Software Foundation 开发和维护，用于分布式存储和处理大规模数据集。Hadoop 允许用户通过简单的编程模型跨大型集群分布式处理大量数据。它特别适用于大数据应用，可以处理数千台服务器上的 PB 级数据。
大数据最新FlinkCDC全量及增量采集SqlServer数据_flink cdc sql server
TABLE_CATALOG TABLE_SCHEMA TABLE_NAME TABLE_TYPEtest dbo user_info BASE TABLEtest dbo systranschem
Hive/Spark窗口函数
结果中，对于每一行的last_value的结果都是当前值，并不分区中按salary升序的最后一个值。前面在提到last_value时，特意强调了该函数的结果并不是分区中的最后一个值，结合上述介绍的window specification再来看下该函数的结果值。注意，默认情况下last_value取的
Spark概述及Scala搭建操作步骤
现在Apache Spark已经形成一个丰富的生态圈，包括官方和第三方开发的组件或工具。Spark生态圈也称为伯克利数据分析栈，由AMPLab打造，是致力于在算法，机器，人之间通过大规模集成展现大数据应用的平台。1.Spark Core：spark的核心，提供底层框架及核心支持。2.BlinkDB:
智慧党建大数据具体都有什么功能？
未来，随着大数据技术的不断发展和应用，智慧党建将进一步提高党组织的管理水平和工作效率，为党的建设和发展提供更有力的支持和保障。智慧党建大数据通过收集、存储、分析和挖掘党建相关数据，实现了对党建工作的全面支持和优化。2.移动应用：开发智慧党建移动应用，方便党员随时随地参与党建活动和学习，提高党建工作的
Hbase实战处理（一）关于hbase的表设计和集成
hbase集群的HA配置（假如有3台机器（同时是regionserver角色），master、slaver1、slaver2）stop-hbase.sh cd /home/hadoop-twq/bigdata/hbase-1.2.6/conf vi backup-masters 在master机器上
面向大数据的分布式计算框架：Apache Arrow的高性能数据存储
1.背景介绍大数据时代，数据量越来越大，传统的数据处理方法已经不能满足需求。分布式计算框架成为了解决大数据问题的重要手段。Apache Arrow 是一种高性能的数据存储和处理框架，专为分布式计算环境设计。它通过提供一种高效的内存布局和数据结构，以及一种跨语言的数据交换格式，来帮助开发者更高效地处理
Spark复习
spark在内存中的运行速度是Hadoop mapreduce 运行速度的100多倍，spark在磁盘中的运行速度是Hadoop mapreduce运行速度的10多倍。spark用内存，Hadoop mapreduce用硬盘。spark支持使用Scala、python、java、R等语言快速编写应用
Hadoop搭建集群
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如H
Flink-StarRocks详解:第六部分-即席查询大案例解析(第56天)
本文为Flink-StarRocks详解后续章节：主要详解StarRocks数仓场景：即席查询大案例
spark on k8s两种方式的原理与对比
Spark on k8s Operator 更适合大规模、需要自动化和集中管理的场景。它利用 Kubernetes 的原生功能，实现自动化管理和配置集中化，虽然增加了一些复杂性，但在动态和多租户环境中表现出色。Spark on k8s 适合简单、直接的 Spark 作业提交和管理场景，特别是对于那些
