Flink
一般来说，Spark基于微批处理的方式做同步总有一个“攒批”的过程，所以会有额外开销，因此无法在流处理的低延迟上做到极致。而在海量数据的批处理领域，Spark能够处理的吞吐量更大，加上其完善的生态和成熟易用的API，目前同样优势比较明显。如下图1-4，我们无法等待所有的数据都到达，因为输入是无界的，
【大数据】Flink SQL 语法篇（六）：Temporal Join
Temporal Join 在离线的概念中其实是没有类似的 Join 概念的，但是离线中常常会维护一种表叫做拉链快照表，使用一个明细表去 Join 这个拉链快照表的 Join 方式就叫做 Temporal Join。而 Flink SQL 中也有对应的概念，表叫做Versioned Table，使用
【flink番外篇】8、flink的Checkpoint容错机制（配置、重启策略、手动恢复）介绍及示例 - 完整版
一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。
大数据前端团队生存指南
本文会简单介绍大数据、大数据前端团队以及可落地的演进方向。ps.针对数据前端团队10人及以内的中小厂。
Flink理论—Flink架构设计
Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如，但也可以设置作为独立集群甚至库运行,例如Spark 的 Standalone Mode本节概述了 Flink 架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。
Spark在降本增效中的一些思考
这也是笔者一直在关注的项目，根据 TPC-H 测试结果显示起码有2倍的性能提升，但是实际效果还是得看SQL的pattern。但是由于目前我们的Spark 是基于 3.5.0的，是比较新的版本，而社区这块的融合还在继续，所以这块今年应该可以行动起来,可以参考。注意： 我们批集群的CPU利用率在60%以
第四章：AI大模型的主流框架 4.4 MXNet
1. 背景介绍随着深度学习技术的快速发展，越来越多的研究者和工程师开始关注深度学习框架。深度学习框架是一种软件库，它可以帮助我们更轻松地设计、训练和部署深度学习模型。目前市面上有很多优秀的深度学习框架，如TensorFlow、PyTorch、Caffe等。本文将重点介绍MXNet，一种高效、灵活且易
GitOps实践之Argo CD
GitOps是Weaveworks公司于2017年首创的一种进行Kubernetes集群管理和应用交付的方式。GitOps通过使用Git作为声明性基础设施和应用程序的单一事实来源进行工作。GitOps的核心是将应用的声明性基础架构描述、应用源码与自动化流程存放在Git Repository中，将Gi
大数据电商公司的卓越之路及api如何应用
电商平台API目前支持以下基本接口：
基于Spark协同过滤的农产品个性推荐系统
本系统是一个基于Python技术栈开发的农产品在线交易平台。通过集成了pyspark、hadoop、django、scrapy、vue、element-plus等多个优秀开源框架，实现了全方位的功能覆盖，并采用了协同过滤算法为用户推荐相关农产品。首先，我们使用Scrapy爬虫框架抓取惠农网站上的农产
大数据6大维度透视，了解一个企业的真实情况
每次在评估一个企业的综合实力和市场地位时，投资者、分析师和业界专家会从多个维度进行深入分析。这些维度不仅反映了企业的当前状况，还能为预测其未来发展趋势提供线索。本文将详细探讨这几个关键维度，以帮助读者更全面地理解企业评估的多维度视角。
Flink StreamGraph生成过程
在 Flink 中，StreamGraph 是数据流的逻辑表示，它描述了如何在 Flink 作业中执行数据流转换。StreamGraph 是 Flink 运行时生成执行计划的基础。使用DataStream API开发的应用程序，首先被转换为 Transformation，再被映射为StreamGra
AI大语言模型：SupervisedFineTuning的基础理论
1. 背景介绍1.1 人工智能的发展随着计算机技术的飞速发展，人工智能（AI）已经成为了当今科技领域的热门话题。从图像识别、自然语言处理到自动驾驶等领域，AI技术正逐渐改变着我们的生活。在这个过程中，大规模预训练的语言模型（如GPT-3、BERT等）在自然语言处理任务中取得了显著的成果，为AI领域
Flink中StateBackend（工作状态）与Checkpoint（状态快照）的关系
只有基于 RocksDB state backend的状态快照才支持增量checkpoint，基于heap的并不支持默认情况下 checkpoint 是禁用的，需要手动开启：Flink状态分为Keyed State和非keyed State:Keyed State，可以使用RocksDB state
Hadoop运行环境搭建
（3）source一下/etc/profile文件，让新的环境变量PATH生效。（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本。 （1）新建/etc/profile.d/my_env.sh文件。（2）etc目录：Hadoop的配置文件目录，存放Ha
想从事大数据方向职场小白看过来， 数据方面的一些英文解释
—（Not Only SQL）不仅仅是 SQL。是一种广义的数据库管理系统范畴，与传统的关系型数据库管理系统（RDBMS）相对。NoSQL数据库的设计目标是解决关系型数据库在大规模数据集和高并发环境下的一些限制和挑战。 NoSQL数据库主要指文档、列、图和键值。没有表。ESB代表企业服务总线（E
航空航天大数据：实时数据处理与分析技术
1.背景介绍航空航天领域的大数据技术已经成为一个热门的研究和应用领域，它涉及到的数据量巨大，涉及到的实时性要求高，涉及到的计算复杂度也非常高。在这篇文章中，我们将从以下几个方面进行探讨：航空航天大数据的背景和发展趋势航空航天大数据的核心概念和技术航空航天大数据的实时数据处理与分析技术航空航天大数据的
滥用生成式人工智能的安全威胁的应对
以ChatGPT为代表的生成式人工智能（AI Generated Content, AIGC）给人类社会带来了巨大的技术红利，为第四次工业革命提供了新动能。但也逐渐暴露出一系列安全风险。尤其是2022年下半年以来，暗网涌现出WormGPT、PoisonGPT、EvilGPT等一批恶意人工智能大模型，
Flink项目实战篇 基于Flink的城市交通监控平台（下）
Flink项目实战篇 基于Flink的城市交通监控平台（上）Flink项目实战篇 基于Flink的城市交通监控平台（下）
【Flink入门修炼】1-4 Flink 核心概念与架构
前面几篇文章带大家了解了 Flink 是什么、能做什么，本篇将带大家了解 Flink 究竟是如何完成这些的，Flink 本身架构是什么样的，让大家先对 Flink 有整体认知，便于后期理解。
