VMware 虚拟机安装 Hadoop/Hive 集群详细教程 (Macbook M1/M2) (第一部分)
以安装 hadoop2 虚拟机作为例子Select ISO Image，选择宿主机上的镜像文件Select OS，选择 Debian10 操作系统Select install CentOS7，选择安装Select start up disk，选择硬盘Select GNOME GUI，选择安装桌面Se
Spark结课总结
在程序运行过程中值不会发生变化的量为常量或值，常量通过val关键字定义，常量一旦定义就不可更改，即不能对常量进行重新计算或重新赋值。数组是一种存储了相同类型元素的固定大小的顺序集合，Scala定义一个数组的语法格式如下。var arr:Array[String] = Array(元素1,元素2,…)
Flink之Watermark
punctuated:每条数据后都会插入当前事件时间解析出来的watermarkperiodic:周期性生成，默认是200m生成一个watermark在新版本中punctuated已经被标记为过时(当前版本1.18.1)watermark的构造：1.forMontonousTimestamps:时间
hbase启动报错NoNode for /hbase/master等各种错误咋整？
我在配置伪分布式的hbase时（使用自带的zookeeper），启动hbase shell后报错NoNode for /hbase/master，查看日志文件发现报错Master exiting、Master is initializing尝试了网上的各种办法，包括：①修改hbase-site.xm
毕设项目分享 地铁大数据客流分析系统 设计与实现
Hi，大家好，这里是丹成学长，今天向大家介绍地铁大数据客流分析系统**毕设帮助, 选题指导, 项目分享: **
深入理解图形处理器（GPU）：加速人工智能和大数据计算的引擎
GPU（Graphics processing unit）是一种专门设计用于处理图形和图像的处理器。它的设计初衷是加速图形渲染，以提升计算机图形的性能和质量。与中央处理器（CPU）不同，GPU拥有大量的小型处理单元，能够并行执行大量相似的任务。这使得GPU在处理大规模数据集和复杂算法时比CPU更加高
git拉取项目前需要操作哪些？
5.输入 $ cat ~/.ssh/id_rsa.pub 生成密钥，将密钥复制粘贴到(极狐GitLab是SSH密钥/gitee是SSH公钥)中，然后将生成的密钥放置在input框中。3.出现empty for no passphrase：(输入也可以不输入也可以) 然后按enter键。4.出现sam
人工智能与地理大数据实验--出租车GPS数据—时空大数据Python处理基础（一）
Python处理地理大数据基础
如何使用Flink连接openGauss数据库（flink-cdc-connector）
本文会在最后附上代码修改的git patch首先简单介绍下flink，Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和管道方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程
Hive3.1.3详细安装配置教程及安装时问题解决
可能会出现错误 Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;原因是hive/lib中的gua
Git系列：config 配置
Git系统内含三层配置文件，分别为系统级、全局和本地配置。在安装Git后，首先应设置用户名称和邮箱地址，因为每次Git提交都会使用这些信息，并且它们会被永久嵌入到提交记录中解决Git每次提交和拉取代码需要输入用户名和密码的问题
使用Spark进行高效数据清洗与预处理
1.背景介绍在大数据时代，数据清洗和预处理是数据分析和机器学习的关键环节。Apache Spark作为一个高性能、易用的大数据处理框架，可以帮助我们更高效地进行数据清洗和预处理。本文将从以下几个方面进行阐述：背景介绍核心概念与联系核心算法原理和具体操作步骤以及数学模型公式详细讲解具体最佳实践：代码实
git lfs如何使用
Git Large File Storage (LFS) 是一个Git扩展工具，用于更好地管理和存储大型文件（例如图片、视频、数据集等），这些文件不适合直接纳入Git仓库进行版本控制。
Git Worktree 高级使用，这样清爽多了｜新技能
通过借助 bare repo 的特性，我们可以非常整洁的将所有 worktree 只管理在当前项目目录下，多分支协同开发，就像这样：└── main如果你有磁盘管理强迫症，这绝对是个好办法。如果你想更好的理解整个过程，你需要在操作本文命令的同时，查看 Git 相关的文件信息有什么问题，留言区交流笔者
Spark总结
Spark是Apache软件基金会下的一个开源大数据处理框架，它最初由加州大学伯克利分校的AMPLab开发。Spark提供了一个快速、通用的大规模数据处理引擎，具有内存计算的优势，使得它能够比传统的基于磁盘的数据处理系统（如Hadoop MapReduce）快得多。内存计算：Spark的主要优势之一
大数据技术｜第二章 Hadoop HDFS（分布式文件系统）
本“大数据技术”专题的文章基于B站“黑马程序员”的大数据技术系列课程（强推！黑马的课易懂且全面），作为自用的复习笔记。大家有需要也可以作为参考，但是由于刚入门大数据并且刚开始写博客，很多地方可能会缺乏一些细节或者存在一些问题，欢迎大家提出宝贵的建议和意见。
大数据技术Hadoop -- MapReduce初级编程实践
现在有多个输入文件，每个文件中的每行内容均为一个整数。要求读取所有文件中的整数，进行升序排序后，输出到一个新的文件中，输出的数据格式为每行两个整数，第一个数字为第二个整数的排序位次，第二个整数为原待排列的整数。要求读取所有文件中的整数，进行升序排序后，输出到一个新的文件中，输出的数据格式为每行两个整
HBase常用的Filter过滤器操作
1.ValueFilter过滤器根据数据列单元格的值进行过滤。值过滤器的比较方式有二进制位比较（binary）和子字符串匹配比较（substring（1）按二进制位进行值比较使用get命令，查询students表格中，行键为s001，单元格值为Jack的数据结果。#ValueFilter(=,'bi
flink cdc 连接池不可用 异常问题排查解决
解决办法：修改连接池大小，重启集群。详细操作加微信：wxjffj。
git push origin HEAD:refs/for/master
如果远程分支被省略，如上则表示将本地分支推送到与之存在追踪关系的远程分支（通常两者同名），如果该远程分支不存在，则会被新建。是将本地的master分支推送到远程主机origin上的对应master分支。git push <远程主机名> <本地分支名> : <远程分支名>HEAD: 是一个特别的指针，
