flink连接kafka
flink 连接kafka (基础篇)
AI 引领企业数据文化变革：探索业务智能与决策优化的新路径
今年年初，Kyligence 高级副总裁兼合伙人葛双寅（Silas Ge）受邀在阿斯利康“跃行致远三十周年年会”进行了《AI 驱动的企业数据文化：塑造未来业务智能与卓越决策》的演讲，分享了 2023 年我们看到的 AIGC、大语言模型、大数据以及企业文化等热门话题的观察与解读，以下为活动演讲实录。
从零开始了解大数据(六)：数据仓库Hive篇
Apache Hive是一个强大的数据仓库工具，它利用Hadoop的能力，提供了一种高效且简单的类SQL查询语言，使得对大规模数据的分析和查询变得简单而高效。同时，Hive的架构使其具有很好的扩展性，可以轻松地添加新的功能和优化现有的功能。随着大数据技术的不断发展，Apache Hive在未来的发展
spark withColumn的使用（笔记）
withColumn()：是Apache Spark中用于DataFrame操作的函数之一，它的作用是在DataFrame中添加或替换列，或者对现有列进行转换操作和更新等等。
Spark 基础概念
Spark1. Spark基础概念1.1 Spark概述1.2 Spark 四大特点运行速度快1.3 Spark 框架1.4 Spark 运行模式集群模式1.5 spark-shell1.6 Spark Application程序1.6 Spark Standalone集群模式 介绍Standalo
【天衍系列 01】深入理解Flink的 FileSource 组件：实现大规模数据文件处理
旨在帮助读者快速了解Flink的FileSource基础概念以及相关的集成方法，提高开发效率
AI大语言模型的版本控制与持续集成：实现模型的快速迭代
1.背景介绍在当今的人工智能领域，大型语言模型如GPT-3、BERT等已经成为了研究的热点。这些模型通过学习大量的文本数据，能够理解和生成人类语言，广泛应用于机器翻译、文本生成、情感分析等任务。然而，随着模型规模的增大，如何有效地管理和迭代这些模型成为了一个重要的问题。本文将介绍如何使用版本控制和持
【30秒看懂大数据】数据中台
一区：我把2桌宴客菜所需要的食材全部拿了出来，包括了从网上买的牛肉、羊排，也包括了从超市采购来的猪肉、意大利面条及蔬菜等等，还有一些从菜市场买来的海鲜、鱼虾等材料，为了方便分类清洗，我将2桌菜所有的食材都放到了这个区，以便找专门的人来清洗。中台是相对于前台和后台而言，数据中台就是对于数据进行加工、整
Hadoop分布式集群安装
Hadoop分布式集群安装
HBase的数据校验与数据完整性
1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase的数据校验和数据完整性是其核心特性之一，可以确保存储在HBase中的数
电商用户增长：AI大语言模型的增长黑客技巧
1.背景介绍在当今的电商行业中，用户增长已经成为了每个电商平台都在关注的重要指标。然而，随着市场的日益饱和，传统的用户增长策略已经越来越难以产生显著的效果。在这种情况下，如何利用新的技术手段来推动用户增长，成为了电商行业的一个重要课题。近年来，人工智能（AI）技术的快速发展，为解决这个问题提供了新的
03-黑马程序员大数据开发：Apache Hive
1. 目的：了解什么是分布式SQL计算；了解什么是Apache Hive2. 使用Hive处理数据的好处操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手底层执行MapReduce，可以完成分布式海量数据的SQL处理3. 什么是分布式SQL计算？以分布式的形式，执行SQL语句，进行数
PySpark（三）RDD持久化、共享变量、Spark内核制度，Spark Shuffle、Spark执行流程
RDD之间进行相互迭代计算(Transformation的转换),当执行开启后,新RDD的生成,代表老RDD的消失RDD的数据是过程数据,只在处理的过程中存在,一旦处理完成，就不见了例如下面这个例子，生成rdd4的时候， rdd3已经被销毁了，然后下面rdd5需要调用rdd3的时候，只能从rdd->
【flink番外篇】15、Flink维表实战之6种实现方式-维表来源于第三方数据源
一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。
电商用户行为预测：AI大语言模型的深度学习方法
1. 背景介绍1.1 电商行业的挑战与机遇随着互联网的普及和移动设备的发展，电商行业在全球范围内取得了迅猛的增长。然而，随着竞争的加剧，电商企业面临着巨大的挑战，如何在众多竞争对手中脱颖而出，提高用户满意度和留存率，成为了电商企业亟待解决的问题。在这个背景下，利用人工智能技术对用户行为进行预
大数据与社交媒体：数据挖掘与分析
1.背景介绍社交媒体是现代互联网的重要组成部分，它们为用户提供了一种互动、分享和沟通的平台。随着社交媒体的普及和发展，生成的数据量越来越大，成为了一种新型的大数据。大数据技术在社交媒体领域具有广泛的应用，包括用户行为分析、社交关系挖掘、内容推荐、趋势预测等。在这篇文章中，我们将深入探讨大数据与社交媒
Spark: a little summary
对于数据分区中的数据记录，Spark 会根据我们前面提到的公式 1 逐条计算记录所属的目标分区 ID，然后把主键（Reduce Task Partition ID，Record Key）和记录的数据值插入到 Map 数据结构中。到此为之，磁盘上存有若干个溢出的临时文件，而内存的 Map 结构中留有部
大势智慧黄先锋：现实世界数字重建 拥抱AI 擘画自主可控的三维画卷
大势智慧：以国产化人工智能三维重建技术 构建世界的时空基础
AI大语言模型在电商用户移动营销中的应用
1. 背景介绍1.1 电商用户移动营销的挑战随着移动互联网的普及和发展，电商用户移动营销已经成为企业获取客户、提高销售额的重要手段。然而，面对海量的用户数据和多样化的营销场景，如何精准地把握用户需求、提高营销效果成为企业面临的巨大挑战。
hadoop ha安装
Hadoop是一个开源的分布式存储和计算框架，最初由Apache软件基金会开发。它的发展背景可以追溯到Google的MapReduce和Google File System（GFS）的论文，这两篇论文启发了Hadoop的设计。Hadoop的主要应用场景包括大数据存储、处理和分析，特别是在需要处理海量
