Hive的动态分区与静态分区（区别及详解）
Hive的动态分区与静态分区
【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）
HADOOP-Yarn的UI界面指标项及参数配置详解。方便进行资源配置，任务监控，资源告警，日常运维
Hive SQL时间函数及用法
函数： last_day(string date)返回值：string返回该日期所属的月份的最后一天(截至Hive 1.1.0)。date为字符串，格式为“yyyy-MM-dd HH:mm:ss”或“yyyy-MM-dd”。日期的时间部分被忽略。
Ubuntu虚拟机以及hadoop的安装
此时会有如下提示(SSH首次登陆提示)，输入 yes。然后按提示输入密码，这样就登陆到本机了。安装openjdk也可以。点击 20.04.5，desktop，livedvd，下载iso。设置4G内存，40G虚拟硬盘，32M显存，2个虚拟CPU。命令，无需输入密码就可以直接登陆了，如下图所示。在虚拟机
Xshell命令
目录1.命令ls——列出文件2.命令cd——切换目录3.命令touch——创建空文件4.命令mkdir——创建目录5.命令cp——复制文件或目录6.命令mv——移动文件、更名7.命令rm——删除文件8.命令cat——显示文件内容9.命令more——分页显示文件内容10.命令head——查看文件的前几
大数据开发工程师必备技能有哪些？
大数据开发工程师必备技能有哪些？随着全行业数字化转型和新基建时代的到来，对技术人才提出了更高的要求。不管是面试还是实际工作过程中，数据工程师要时时刻刻面对这些层出不穷的技术演进。随着数据的爆发式增长以及指标维度多元化，T+1 的数据报表早已无法满足需求。在保证高时效性的同时，让数据发挥更大的价值是筛
hadoop historyserver启动，无法访问，查看报错等问题
记录下hadoop遇到的问题。
hadoop namenode无法启动解决方案
hadoop namenode无法启动，先关闭集群，删除数据，启动集群所有的 zookeeper，再启动集群所有的JournalNode，初始化namenode，启动hadoop即可
windows环境下安装配置hadoop
windows环境下安装配置hadoop
自学大数据第六天~HDFS命令(一)
我们在HDFS系统中删除文件,其实就像是在win/linux中,文件先被放进回收站;如果在 Hadoop Shell 运行这个命令，会提示功能还没实现。根据反馈结果,rmr在最新版本中已被废弃,推荐使用 -rm -r。查看文件内容跟~tail–>文件最后1KB内容。moveToLocal命令失败了。
大数据-hadoop-hdfs
Hadoop(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价
HDFS文件创建与写入
此时，将本地的log文件内容，追加到了刚才创建的HDFS文件中，运行下面的命令，查看追加后的文件内容。运行后，已经将HDFS上的test.txt和hello.txt文件文件进行了合并，并且下载在本地。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。运行后
【运维】运维常用命令
常用 linux运维命令 sed / cut / awk 等
Hive 事务表 (Transactional Tables)
1. 为什么要使用事务表？2. 创建使用事务表
HiveSQL和SparkSQL的区别和联系
Hive和spark对比
HDFS操作方法和基础编程
1.实验目的（一）熟悉HDFS的基本shell命令（二）熟悉HDFS的web管理（三）掌握HDFS编程实践2.实验内容（一）参考课本4.1的内容，完成相关的HDFS的基本shell命令。0.命令基础①执行命令启动Hadoop（版本是Hadoop3.1.3）。②Hadoop支持很多Shell命令，其中
MapReduce编程规范
对多个Map任务的结果进行排序以及合并,编写Reduce函数实现自己的逻辑,对输入的Key-Value进行处理,转为新的Key-Value(K3和V3）输出。MapReduce的开发一共有八个步骤,其中Map阶段分为2个步骤，Shuffle阶段4个步骤，Reduce阶段分为2个步骤。设置InputF
HBase详细安装指南
随着大数据时代的来临，mysql已经无法满足人们的需要，海量数据存储到达了瓶颈，hbase应运而生。提示：以下是本篇文章正文内容，下面案例可供参考。
Ranger (五) --------- 使用 Ranger 对 Hive 进行权限管理
使用 Ranger 对 Hive 进行权限管理
Ubuntu 20.04 搭建hadoop 集群
文章目录1. 虚拟机的安装1.1 下载VMware Workstation1.2 下载ubantu20.041.3 安装一台虚拟机1.4 安装Vmware Tools2. 网络配置2.1 添加权限2.2 DHCP动态分配IP地址2.3 配置静态IP地址2.4 主机名和IP地址映射3. 安装必要工具
