Hive内部表和外部表的简单区别
Hive外部表和内部表简单区别
Hadoop原理与技术——hdfs命令行基本操作
Hadoop原理与技术——hdfs命令行基本操作
java使用idea操作HDFS
java和hdfs
【大数据监控】Prometheus、Node_exporter、Graphite_exporter安装部署详细文档
Prometheus是一个开源的系统监控和报警系统，现在已经加入到CNCF基金会，成为继k8s之后第二个在CNCF托管的项目，在kubernetes容器管理系统中，通常会搭配prometheus进行监控，同时也支持多种exporter采集数据，还支持pushgateway进行数据上报，Prometh
大数据NiFi（十九）：实时Json日志数据导入到Hive
如果所提供的JsonPath计算为指定的值，JSON的返回类型可以返回"scalar"。当一次性向tail的文件输入多条数据，我们不希望全部json行内容替换成第一行json内容，那么可以将“TailFile”处理器处理的数据直接传递给“ConvertRecord”处理器，将数据由json格式转换成
【无标题】
123
Hadoop学习——Hadoop单机运行Grep实例（包含错误解决方法）
上一篇安装了Hadoop单机，所以今天打算先用Hadoop的mapreduce自带的Grep实例实践一下，顺带测试Hadoop是否成功安装。（不是水博客，有在努力填坑）实践开始之前，我们需要了解一下Grep实例，Grep（缩写来自Globally search a Regular Expressio
Spark任务中Task数量确定和一些总结
Spark任务中Task数量如何确定？
HDFS的基础练习--新建目录
4.把mydata01上传到HDFS的/data01，把mydata02上传到HDFS的/data02，以此类推，把5份文件都上传到大数据平台的HDFS上。3.在/home/hadoop/software/自己名字命名目录下创建5分有数据的文件(mydata01-mydata05）文件内容自定义。h
Hive与Hadoop的版本对应关系
hive与hadoop的版本关系
Flink 基础知识
主从架构：flink
Hadoop分布式（最小集群）搭建（三台虚拟机）
三台虚拟机分布式搭建Hadoop
Spark的五种提交作业方式
该文介绍了Spark的五种作业提交方式
6.Linux下配置Hadoop集群之完全分布式配置
否则,需要查看命令是否正确,或此前Hadoop 集群的安装和配置是否正确。此外需要注意的是,上述格式化命令只需要在Hadoop集群初次启动前执行一次即可,后续重复启动时不需要执行格式化。在配置上述文件中，HDFS数据块的副本数量（默认值为3）其中配置了Secondarynamenode，nameno
Hive设置连接用户名和密码
当hive客户端搭建起来之后，应用项目远程连接hive需要设置用户名和密码；由于hive默认的用户名和密码都是空的，所以需要我们自定义用户名和密码；首先，添加hive的maven依赖，这儿maven的版本和hive运行的jar版本保持一致，不然容易出问题，hive/lib下查看jar的版本信息。需要
使用 Docker 安装 Hadoop 集群
相信大家都有过玩虚拟机的经验，也相信大家有想搭一个大数据集群偶尔在自己电脑上做做测试。使用虚拟机是可以完成的，但是过程非常漫长，而且很多操作不能以后重复使用。这里我近期使用Docker完成了测试集群的搭建，我想用的时候，十几秒就可以直接启动，速度很快。而且所有的镜像都可以上传hub云端，想用的时候，
Spark环境搭建（Hadoop YARN模式）
按照前面环境部署中所学习的，如果我们想要一个稳定的生产Spark环境，那么最优的选择就是构建：HA StandAlone集群。不过在企业中， 服务器的资源总是紧张的，许多企业不管做什么业务，都基本上会有Hadoop集群。也就是会有YARN集群。对于企业来说，在已有YARN集群的前提下在单独准备Spa
Hive之explode()函数和posexplode()函数和lateral view函数
目录1、explode()函数2、posexplode()函数3、lateral view函数1、explode()函数英文释义：explode() takes in an array (or a map) as an input and outputs the elements of the ar
windows上配置hadoop并通过idea连接本地spark和服务器spark
windows上安装hadoop，用idea开发工具连接，实现独立应用的java spark程序。
CDH6.2.1 集成ranger和atlas操作手册
本文档旨在描述相关CDH6.2.1集成ranger和atlas的安装配置操作，便于相关使用人员后参考
