大数据学习-bug01-hadoop进程错误
Hadoop进程冲突，配置文件出错。
【Hive】Hive练习题50道
数据展示student表score表teacher表course表在hive中建表导入数据首先要先在hdfs上为每个数据建一个文件名相同的文件夹，以上的4张表都是txt格式的，放入hdfs相对应的文件夹后，使用以下语句建表(因为数据量不大，就直接建内部表)create table if not ex
Parquet文件详解
Apache Parquet是Apache Hadoop生态系统的一种免费的开源面向列的数据存储格式。它类似于Hadoop中可用的其他列存储文件格式，如RCFile格式和ORC格式。本文将简单介绍一下Parquet文件的结构。数据首先写入文件，元数据最后写入单遍（single pass）写入。首先让
kettle连接hive
要替换kettle文件的位置：D:\programfile\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30。注意是要放在hdp30目录下的lib文件夹，而不是像把Oracle/MySQL驱动一样
Hive的动态分区与静态分区（区别及详解）
Hive的动态分区与静态分区
【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）
HADOOP-Yarn的UI界面指标项及参数配置详解。方便进行资源配置，任务监控，资源告警，日常运维
Hive SQL时间函数及用法
函数： last_day(string date)返回值：string返回该日期所属的月份的最后一天(截至Hive 1.1.0)。date为字符串，格式为“yyyy-MM-dd HH:mm:ss”或“yyyy-MM-dd”。日期的时间部分被忽略。
Ubuntu虚拟机以及hadoop的安装
此时会有如下提示(SSH首次登陆提示)，输入 yes。然后按提示输入密码，这样就登陆到本机了。安装openjdk也可以。点击 20.04.5，desktop，livedvd，下载iso。设置4G内存，40G虚拟硬盘，32M显存，2个虚拟CPU。命令，无需输入密码就可以直接登陆了，如下图所示。在虚拟机
Xshell命令
目录1.命令ls——列出文件2.命令cd——切换目录3.命令touch——创建空文件4.命令mkdir——创建目录5.命令cp——复制文件或目录6.命令mv——移动文件、更名7.命令rm——删除文件8.命令cat——显示文件内容9.命令more——分页显示文件内容10.命令head——查看文件的前几
大数据开发工程师必备技能有哪些？
大数据开发工程师必备技能有哪些？随着全行业数字化转型和新基建时代的到来，对技术人才提出了更高的要求。不管是面试还是实际工作过程中，数据工程师要时时刻刻面对这些层出不穷的技术演进。随着数据的爆发式增长以及指标维度多元化，T+1 的数据报表早已无法满足需求。在保证高时效性的同时，让数据发挥更大的价值是筛
hadoop historyserver启动，无法访问，查看报错等问题
记录下hadoop遇到的问题。
hadoop namenode无法启动解决方案
hadoop namenode无法启动，先关闭集群，删除数据，启动集群所有的 zookeeper，再启动集群所有的JournalNode，初始化namenode，启动hadoop即可
windows环境下安装配置hadoop
windows环境下安装配置hadoop
自学大数据第六天~HDFS命令(一)
我们在HDFS系统中删除文件,其实就像是在win/linux中,文件先被放进回收站;如果在 Hadoop Shell 运行这个命令，会提示功能还没实现。根据反馈结果,rmr在最新版本中已被废弃,推荐使用 -rm -r。查看文件内容跟~tail–>文件最后1KB内容。moveToLocal命令失败了。
大数据-hadoop-hdfs
Hadoop(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价
HDFS文件创建与写入
此时，将本地的log文件内容，追加到了刚才创建的HDFS文件中，运行下面的命令，查看追加后的文件内容。运行后，已经将HDFS上的test.txt和hello.txt文件文件进行了合并，并且下载在本地。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。运行后
【运维】运维常用命令
常用 linux运维命令 sed / cut / awk 等
Hive 事务表 (Transactional Tables)
1. 为什么要使用事务表？2. 创建使用事务表
HiveSQL和SparkSQL的区别和联系
Hive和spark对比
HDFS操作方法和基础编程
1.实验目的（一）熟悉HDFS的基本shell命令（二）熟悉HDFS的web管理（三）掌握HDFS编程实践2.实验内容（一）参考课本4.1的内容，完成相关的HDFS的基本shell命令。0.命令基础①执行命令启动Hadoop（版本是Hadoop3.1.3）。②Hadoop支持很多Shell命令，其中
