大数据数仓理论1.1-离线
内存将划分为多个区域，每个区域对应一个分区，当程序访问内存时系统将为其分配一个固定大小的分区；优点：简单易于管理缺点：浪费资源，内存碎片化积多。
Flink CDC实践
访问http://虚拟机ip:8081，查看flink webUI是否正常访问。下载flink安装包，网速较慢，可以尝试在国内镜像网址。将mysql和doris的驱动包移动到lib目录下。启动flink，查看启动是否成功。解压flink-cdc安装包。配置flink环境变量。下载flink安装包。解
【Spark精讲】Spark任务运行流程
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
Spark 部署与应用程序交互简单使用说明
在本章中，我们介绍了开始使用Apache Spark所需的三个简单步骤:下载框架，熟悉Scala或PySpark交互shell，掌握高级Spark应用程序概念和术语。我们快速概述了使用转换和操作来编写Spark应用程序的过程，并简要介绍了使用Spark UI来检查所创建的job、stage和task
深入挖掘大数据的价值：实例分析
1.背景介绍大数据技术在过去的几年里取得了巨大的发展，成为当今世界各行业的核心技术之一。随着互联网、人工智能、物联网等领域的快速发展，大数据已经成为了这些领域的基石。大数据技术的核心在于能够有效地挖掘大量、多样化、高速增长的数据中的价值，以满足各种业务需求。在这篇文章中，我们将从以下几个方面进行深入
集群上运行pyspark
一、PySpark应用背景大规模结构化数据处理要求；scala编写函数对开发人员接受度低，python的高度简化代码完美契合数据处理过程；和scala处理无任何性能上的差异；二、PySpark原理Spark是什么：分布式（集群部署），高性能（基于内存可缓存磁盘），高可用的基于RDD（分区的不可变的弹
老杨说运维 | 运维大数据价值探索
运维大数据具有其独特的特征，那么该在什么场景下使用才有效？如何更好的利用这些数据？
HBase Shell基本操作
先在Linux Shell命令行终端执行脚本启动HDFS，再执行脚本启动HBase。如果Linux系统已配置HBase环境变量，可直接在任意目录下执行脚本命令，就可进入HBase Shell的命令行终端环境，exit可以退出HBase Shell（我安装的是伪分布式的HBase）。
Spark Stage
Spark中的一个Stage只不过是物理执行计划其中的一个步骤，它是物理执行计划的一个执行单元。一个Job会被拆分为多组Task，每组任务被称为一个Stage，可以简单理解为MapReduce里面的Map Stage， Reduce Stage。Spark的Job中Stage之间会有依赖关系。可以利
[flink 实时流基础]源算子和转换算子
所以，source就是我们整个处理程序的输入端。filter转换操作，顾名思义是对数据流执行一个过滤，通过一个布尔条件表达式设置过滤条件，对于每一个流内元素进行判断，若为true则元素正常输出，若为false则元素被过滤掉。flatMap可以认为是“扁平化”（flatten）和“映射”（map）两步
spark-shell（pyspark）单机模式使用和编写独立应用程序
我的是spark-3.3.3版本，日志文件名字为log4j2.properties.template，每个版本的日志文件名字不太一样，具体的，要按照自己安装的版本的日志文件来，复制日志文件。spark有四种部署方式：Local，Standalone，Spark on Mesos，Spark on y
大数据AI的未来：智能化与自动化
1.背景介绍随着人工智能技术的不断发展，我们的生活和工作已经逐渐被智能化和自动化的技术所取代。大数据AI技术是这一趋势的重要组成部分，它可以帮助我们更有效地处理和分析大量数据，从而提高工作效率和提高生活质量。大数据AI技术的核心概念包括机器学习、深度学习、自然语言处理、计算机视觉等。这些技术可以帮助
Kimball维度模型之构建数据仓库先决条件
成功的DW/BI项目通常共享上述一系列关键特征，而失败的项目则往往面临各种问题，其中一些问题可以总结自数据仓库专家Kimball的观点。失败的DW/BI项目因素：失败的项目往往出现在业务发起人缺乏深刻业务理解或技术发起人无法有效沟通业务需求的情况下。成功的项目通常建立在业务和技术团队紧密协作的基础上
毕设分享 大数据房价数据分析及可视化(源码分享)
毕设分享 大数据房价数据分析及可视化(源码分享)
Spark编程实验一：Spark和Hadoop的安装使用
本实验主要目的是熟悉HDFS的基本使用方法，掌握使用Spark访问本地文件和HDFS文件的方法。
数据挖掘技巧：从大数据中挖掘宝藏
1.背景介绍数据挖掘是指从大量数据中发现新的、有价值的信息和知识的过程。随着互联网和人工智能的发展，数据量越来越大，数据挖掘技术也越来越重要。在这篇文章中，我们将讨论数据挖掘的核心概念、算法原理、具体操作步骤以及数学模型。我们还将通过具体的代码实例来解释这些概念和算法。2. 核心概念与联系数据挖掘的
大数据分析与内存计算——Spark安装以及Hadoop操作——注意事项
请注意，这些命令需要在 Hadoop 集群的节点上运行，或者你需要通过 SSH 登录到集群中的一个节点。如果你的 Hadoop 集群配置了 Web 界面（如 Hue 或 Ambari），你也可以通过 Web 界面来上传文件和查看文件内容。读取HDFS系统文件“/user/hadoop/test.tx
SQL统计连续登陆3天的用户(连续活跃超3天用户)
【代码】SQL统计连续登陆3天的用户(连续活跃超3天用户)
Flink on Kubernetes (flink-operator) 部署Flink
部署cluster完成，配置svcType 后即可访问，flink web ui，此时jobManager是启动着的 taskmanager随着flink jar进行启动和停止。3、使用initContainers和 containers使用相同的挂载路径，然后使用远程文件下载放到挂载路径中，con
linux配置大数据环境
zookeeper 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.10/kafka 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8
