【博学谷学习记录】大数据课程-学习第七周总结
文件中设置的是Hadoop运行时需要的环境变量。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。yarn-default.xml与yarn-site.xml的
C++ CreateFileMapping 内存映射实现快速读取文件
共享内存的方式原理就是将一份物理内存映射到不同进程各自的虚拟地址空间上，这样每个进程都可以读取同一份数据，从而实现进程通信。因为是通过内存操作实现通信，因此是一种最高效的数据交换方法。本文主要讲述的使用内存映射文件的目的是访问磁盘上的数据文件。你可以不必对文件执行I / O操作，并且可以不必对文件内
Docker-13：Docker安装Hbase
Docker环境中安装配置Hbase，并且初始化本地环境访问Hbase
Hive字符串、Json解析
json字符串解析
hadoop启动后,集群里没有NodeManager
解决方案：cd /opt/module/hadoop-3.1.3/etc/hadoop/vim yarn-site.xml<property> <name>yarn.nodemanager.resource.memory-mb</name> <v
Flink 滚动窗口、滑动窗口详解
滚动窗口有固定的大小，是一种对数据进行“均匀切片”的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。如果我们把多个窗口的创建，看作一个窗口的运动，那就好像它在不停地向前“翻滚”一样。这是最简单的窗口形式，我们之前所举的例子都是滚动窗口。也正是因为滚动窗口是“无缝衔接”，所以每个数据都
安装Hadoop集群（超详细！）
前面我写了一篇单机版的Hadoop安装，这里终于要装集群版，装集群版的步骤比较繁琐，需要同学们多加练习，因为我们不可能只装一次，经常出了问题就要重装，所以必须要练熟练。
hive中get_json_object函数
hive中get_json_object函数
Spark高频面试题
Spark高频面试题1.Spark Streaming和Flink的区别？下面我们就分几个方面介绍两个框架的主要区别：1）架构模型Spark Streaming 在运行时的主要角色包括：Master、Worker、Driver、Executor，Flink 在运行时主要包含：Jobmanager、T
Elasticsearch 8集群搭建、安全功能配置详述
本文主要记录Elasticsearch 8.4.3的安装过程，一方面是记录如何搭建一个Elasticsearch 8 集群，另外一方面是通过安装过程，了解在这个过程中Elasticsearch在背后做了一些什么，有助于我们理解Elasticsearch的启动和集群搭建流程。
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
先关闭master虚拟机然后点击虚拟机-----管理----克隆----下一步----下一步----选择创建完全克隆----下一步----更改虚拟机名称为slave1，位置自己选择即可。注意此时slave1和slave2虚拟机是克隆的，所以说配置文件和master是完全相同的，登录的话也是maste
大数据之Hive：space函数
1、空格字符串函数：space语法: space(int n)返回值: string说明：返回长度为n的空格字符串举例：hive> select space(10) from dual;hive> select length(space(10)) from dual;102、space函
spark实训题 -- Scala基础编程【1】
目录实训目的实训1：编写函数过滤文本中的回文单词1. 训练要点2.需求说明3.思路及步骤实训2：使用Scala编程输出杨辉三角1. 训练要点2.需求说明3.思路及步骤实训3：用Scala编程求出100~999之间的所有水仙花数。实训目的( 1)掌握Scala的REPL使用。(2)掌握Scala的Ar
金融大数据应用-企业信贷风险防控模型竞赛开始-中国建设银行数据集-作者开箱测评
金融大数据应用-企业信贷风险防控模型竞赛开始-中国建设银行数据集-作者开箱测评
大数据DataX（六）：MySQL导入到HBase
简而言之，HbaseWriter 通过 HBase 的 Java 客户端，通过 HTable，Put等 API，将从上游Reader读取的数据写入HBase你hbase11xwriter与hbase094xwriter的主要不同在于API的调用不同，Hbase1.1.x废弃了很多Hbase0.94.
IDEA新建一个spark项目
大数据spark项目创建小练习
大数据毕设选题 - 招聘岗位数据分析可视化（python 爬虫）
🔥 Hi，大家好，这里是丹成学长的毕设系列文章！🔥 对毕设有任何疑问都可以问学长哦!这两年开始，各个学校对毕设的要求越来越高，难度也越来越大… 毕业设计耗费时间，耗费精力，甚至有些题目即使是专业的老师或者硕士生也需要很长时间，所以一旦发现问题，一定要提前准备，避免到后面措手不及，草草了事。为了
zookeeper未授权访问漏洞处理
zookeeper未授权访问漏洞处理
Oracle数据库迁移
oracle数据库迁移
DataX（MySQL同步数据到Doris）
Apache Doris 为分析而生
