IDC 中国数字化转型盛典：兴业银行「基于悦数图数据库」的「智能大数据云平台」获奖
近日，2023 第八届 IDC 中国数字化转型年度盛典在北京盛大开幕。会上，IDC 中国为 2023 年度“IDC 中国未来企业大奖”卓越奖获奖企业颁奖。兴业银行凭借「基于悦数图数据库」的「智能大数据云平台」荣获“2023 IDC 中国未来企业大奖——未来数字基础架构领军者”殊荣。
Flink知识点概述
stream.keyBy() .window() .aggregate() 会话窗口，超过五秒没数据，自动生成新的窗口
【大数据】Flink CDC 的概览和使用
Flink CDC 是一个开源的数据库变更日志捕获和处理框架，它可以实时地从各种数据库（如 MySQL、PostgreSQL、Oracle、MongoDB 等）中捕获数据变更并将其转换为流式数据。Flink CDC 可以帮助实时应用程序实时地处理和分析这些流数据，从而实现数据同步、数据管道、实时分析
大数据学习之Flink、快速搞懂Flink的容错机制！！！
的容错机制是确保数据流应用程序在出现故障时能够恢复的关键机制。这种机制通过创建分布式数据流和操作符快照来实现，这被称为检查点（Checkpoint）。当系统遇到故障，例如机器故障、网络故障或软件故障时，会回退到最后一个成功的检查点，然后重新启动所有的算子。这样可以确保即使在故障发生后，应用程序的状态
大数据关联规则挖掘：Apriori算法的深度探讨
Apriori算法是一种用于挖掘数据集中频繁项集的算法，进而用于生成关联规则。这种算法在数据挖掘、机器学习、市场篮子分析等多个领域都有广泛的应用。关联规则挖掘是数据挖掘中的一个重要分支，其目标是发现在一个数据集中变量间存在的有趣的关联或模式。假设在一个零售商的交易数据中，如果客户购买了啤酒，他们也很
Flink版本更新汇总（1.14-1.18）
Flink 版本更新汇总（1.14-1.18）
spark-udf函数
from pyspark.sql import SparkSessionfrom pyspark.sql.types import *ss = SparkSession.builder.getOrCreate()df_csv = ss.read.csv(‘hdfs://node1:8020/user
大数据英文考试复习——第一章（了解大数据）
相关数据的集合或者组称为数据集analysis译为“数据分析”是通过检查数据来发现事实、关系、模式、见解、趋势等的过程，analysis的总体目标是支持更好的决策analytics与analysis同译为“数据分析”，但analytics是更广泛的术语，包括对完整数据生命周期的管理，包括收集、清理、
用于查询性能预测的计划结构深度神经网络模型--大数据计算基础大作业
瞎写的 缺少专业性
深入理解 Flink（三）Flink 内核基础设施源码级原理详解
本章节主要介绍了 Flink 的通信框架 akka、Flink on YARN 的三种部署模式、Flink 高可用服务、Flink 文件服务 BlobService。读者可从中进一步了解到 Flink 的工作原理与设计哲学，无论从事 Flink 开发、应用、维护，还是其他分布式系统的设计，均会有启发
Flink实时写入Apache Doris如何保证高吞吐和低延迟
随着实时分析需求的不断增加,数据的时效性对于企业的精细化运营越来越重要。借助海量数据,实时数仓在有效挖掘有价值信息、快速获取数据反馈、帮助企业更快决策、更好的产品迭代等方面发挥着不可替代的作用。在这种情况下,Apache Doris 作为一个实时 MPP 分析数据库脱颖而出,它具有高性能和易用性,并
【flink番外篇】9、Flink Table API 支持的操作示例（8）- 时态表的join（scala版本）
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
Spark二、Spark技术栈之Spark Core
spark核心：包括RDD、RDD算子、RDD的持久化/缓存、累加器和广播变量。
企业级大数据安全架构（二）安全方案
作者：楼高。
Hive窗口函数整理
Hive 中的窗口函数允许你在结果集的一个特定“窗口”内对行进行计算。这些窗口可以是物理的（基于行在数据中的实际位置）或逻辑的（基于行的一些排序标准）。窗口函数在处理排名、计算累计和或计算移动平均值等问题时特别有用。这只是 Hive 中窗口函数的一个简短列表。当与其他 SQL 功能（如分区、排序和子
Flink window 源码分析4：WindowState
Flink window 源码分析4：WindowState。根据源码，分析了一些WindowState相关的问题。
HADOOP的配置
hadoop的配置详解
什么是HBase？终于有人讲明白了
在 HBase 表中，一条数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column)，一列或多列组成一个列族(Column Family)，同一个列族中列的数据在物理上都存储在同一个 HFile 中，这样基于列存储的数据结构有利于数据缓存和查询。HBase Client 为用户提供了访问
2023年大数据场景智能运维实践总结
本文将探讨在大数据场景下，通过DataOps和AIOps的结合，建设符合业务需要的智能运维平台，以满足大数据产品在自动化、智能化运维方面的诉求。
