Flink 2.0 状态存算分离改造实践
本文整理自阿里云智能 Flink 存储引擎团队兰兆千在 FFA 2023 核心技术（一）中 的分享，内容关于 Flink 2.0 状态存算分离改造实践的研究。
从“手写病例”到“AI家庭医生”，人工智能大数据如何走进我们的生活？
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。最近“X疾病”肆虐，彭友们要小心啊，一定要保重身体。老彭去年就老去医院，不知道是不是“X疾病”闹的。上周末我特意找国家卫健委沈剑峰沈博士请教，顺便叙叙旧，他给我们讲了很多很有意思的医学新进展。老彭现在转述给彭友们，让我们康康人工智能、大数据是如何赋能
Hadoop面经
Hadoop面经
Hadoop笔记
大数据指高速 (Velocity) 涌现的大量 (Volume) 多样化 (Variety) 具有一定价值（ Value ）并且真实（ veracity ）的数据，其特性可简单概括为 5V高速: 数据每秒产生的速度相对比较块大量: 数据总量一般比较庞大，所考虑的存储和计算与一般的其他技术会不一样。
Hadoop：认识MapReduce
随着需要处理的数据量激增，我们开始借助分布式并行编程来提高程序的性能，分布式并行程序运行在大规模计算机集群上，可以并行执行大规模数据处理任务，从而获得海量计算的能力。谷歌公司最先提了分布式并行模型MapReduce，hadoop MapReduce则是其的开源实现。传统并行计算框架MapReduce
盘点五种主流的大数据计算框架
Apache Spark：Apache Spark是一个快速、通用的大数据处理框架，它支持在内存中进行高性能的数据处理。Spark提供了一系列的API，包括基于批处理的Spark Core，基于流处理的Spark Streaming，基于图计算的GraphX，以及基于机器学习的MLlib。Apach
最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦
最近有小伙伴私信我，flink 软件安装在虚拟机上很简单，就是安装包解压即可，有没有 hadoop + spark 的安装文档呢？所以今天周六刚好不用上班，花了一天时间整理了一下自己现在使用集群的搭建过程，希望对各位小伙伴有帮助！Tips：以下是集群搭建过程的记录啦，word 文档和搭建好了的集群，
大数据数据分析-scala、IDEA、jdk之间的搭配关系
Scala主要是一门面向对象编程语言和函数式编程语言。- ---以HADOOP 2. x为系列的大数据生态系统处理框架离线数据分析，分析的数据为N+1天数据并行计算框架，分而治之----Hive基于SQL处理框架，将SQL转换为MapReduce，处理存储在HDFS上的数据，并且运行在
大数据组件之图数据库JanusGraph图文介绍
JanusGraph是一个开源的分布式图数据库。2017年，JanusGraph发布0.1.0 版本，目前（截止2024-03）最新版本为1.0.0。JanusGraph是基于Apache基金会下的一个开源的图数据库与图计算框架Tinkerpop来开发的。采用的图数据模型是“属性图模型”，即图数据包
基于大数据的用户画像轻松入门篇
用户画像分析是指通过对用户的个人信息、行为数据和偏好进行收集、整理和分析，从而形成一个关于用户特征和行为模式的描述。简单来说，就是通过了解用户的各种信息和行为，来对所有用户进行分类和“打标签”。举个例子，如果你非常喜欢看帆软BI的文章，那么平台就会给你打上“数据分析”、“可视化工具”等标签，下次你再
超级暴龙战士的核心竟是——————Hadoop生态圈和spark技术特点
MapReduce 是一种编程模型，用于处理大规模数据集。它将任务分为两个阶段：Map 阶段和 Reduce 阶段。Map 阶段将输入数据拆分成键值对，然后应用用户定义的函数进行处理。Reduce 阶段将 Map 阶段的输出进行合并和汇总。MapReduce 适用于离线数据处理，但不适合实时数据处理
hadoop3相关配置
在hadoop安装目录下依次创建hadoopDatas/tempDatas,hadoopDatas/namenodesDatas,hadoopDatas/datanodeDatas,hadoopDatas/dfs/nn/edits,hadoopDatas/dfs/snn/name,hadoopDat
IDEA连接HBase集群
一看就会~~傻瓜式配置本地IDEA与HBase集群
大数据和Hadoop
这样是不可取的，因为NameNode的内存总是有限的，太多的小文件会徒增NameNode的负担，甚至会使其崩溃。2NN（secondary NameNode）：并⾮NN的热备，当NN挂掉的时候，并不能马上替换NN并提供服务，2NN是辅助NN，分担其工作量，比如定期合并fsimage和edits，并推
flink重温笔记（十九）： flinkSQL 顶层 API ——FlinkSQL 窗口（解决动态累积数据业务需求）
over：定义窗口长度on：用来分组（按时间间隔）或者排序（按行数）的时间字段as：别名，必须出现在后面的groupBy中例子：每隔5秒钟统计一次每个商品类型的销售总额new OrderInfo("电脑", 1000L, 100D),new OrderInfo("手机", 2000L, 200D),
大数据背景下R语言lavaan在SEM中的高效应用
1)R及Rstudio介绍：背景、软件及程序包安装、基本设置等2)R语言基本操作，包括向量、矩阵、数据框及数据列表等生成和数据提取等3)R语言数据文件读取、整理（清洗）、结果存储等（含tidverse）4)R语言基础绘图（含ggplot）：基本绘图、排版、发表质量绘图输出存储1)SEM的定义、生态学
海豚调度系列之：任务类型——SPARK节点
本案例为创建一个视图表 terms 并写入三行数据和一个格式为 parquet 的表 wc 并判断该表是否存在。程序类型为 SQL。将视图表 terms 的数据插入到格式为 parquet 的表 wc。本案例为大数据生态中常见的入门案例，常应用于 MapReduce、Flink、Spark 等计算框
大数据010_Linux(IP,ping,wget,curl,nmap,netstat)
IP,ping,wget,curl,nmap,netstat，IP地址、主机名、域名、固定IP、下载文件、网络请求、端口
【Flink】Flink on YARN：一张图轻松掌握基础架构与启动流程
Flink on YARN 集群部署模式涉及 YARN 和 Flink 两大开源框架，应用启动流程的很多环节交织在一起，为了便于大家理解，在一张图上画出了 Flink on YARN 基础架构和应用启动全流程，并对关键角色和流程进行了介绍说明，整个启动流程又被划分成客户端提交（流程标注为紫色）、Fl
【Hadoop】Hadoop概述与核心组件
大数据Hadoop概述，Hadoop组件及核心组件介绍
