【hive】hive的安装配置，beeline使用（1）
hive的安装配置，beeline使用
实验5 MapReduce初级编程实践（1）——编程实现文件合并和去重操作
一、实验目的通过实验掌握基本的MapReduce编程方法；掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）Hadoop版本：3.1.3三、实验内容编程实现文件合并和去重操作对
HDFS黑名单退役服务器
黑名单：表示在黑名单的主机IP地址不可以，用来存储数据。企业中：配置黑名单，用来退役服务器。添加如下主机名称（要退役的节点）
sqoop 数据同步方案理解+问题解决
sqoop 数据同步方案理解+问题解决
Required field ‘client_protocol‘ is unset 原因探究
最新在做基于Thrift协议的hive客户端，但是遇到了问题，具体一点的异常如下...
大数据项目组-月度考核汇报0102
大数据项目组-月度考核汇报0102
hadoop基础：通过 Shell 命令访问 HDFS
HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类。
转行大数据未来发展怎么样？可行么
近年来越来越多的人选择大数据行业，大数据行业前景不错薪资待遇好，各大名企对于大数据人才需求不断上涨。大数据从业领域很宽广，不管是科技领域还是食品产业，零售业等都是需要大数据人才进行大数据的处理，以提供更好的用户体验，优化库存降低成本预测需求。大数据开发分两类，编写Hadoop、Spark的应用程序和
hadoop集群搭建学习总结（一）
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作
Hadoop3.1.3完全分布式安装（Centos7.x）
Hadoop3.x完全分布式安装
hadoop shell 练习题
利用Hadoop提供的Shell命令完成以下任务(路径中的xxx替换为自己的用户名)：1、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；示例: hdfs dfs -ls /2、从HDFS中下载指定文件；示例: hdfs dfs -get /tmp/train/wordcount
解决集群部署Hadoop 启动后没有ResourceManager问题
解决集群部署Hadoop 启动后没有ResourceManager问题，java.lang.reflect.InaccessibleObjectException异常
HBase 开发：使用Java操作HBase 第1关：创建表
HBase 开发：使用Java操作HBase第1关：创建表
hive 内置时间函数datediff，这次总算搞清楚了
刚接触数仓时，对hive中sql内置的一些时间函数的用法总是用的模糊两可，每次需要用到的是总是得查api，今天把这3个容易出错的日期内置函数简单总结下，算是一次学习笔记，加深印象，后面需要用到的时候就不用再去翻看api了。1.日期比较函数datediff语法:datediff(string endd
HDFS常用的操作命令
HDFS常用的操作命令
Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）
Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）
Educoder 分布式文件系统HDFS 实验总结 答案
目录一、HDFS的基本操作1.HDFS的设计2.HDFS的常用命令二、HDFS-JAVA接口之读取文件1.FileSystem对象三、HDFS-JAVA接口之上传文件四、HDFS-JAVA接口之删除文件一、HDFS的基本操作1.HDFS的设计当数据集的大小超过一台独立的物理计算机的存储能力时，就有必
Linux中Hadoop的安装与配置
linux中hadoop的安装步骤
HIVE 增加修改删除字段
HIVE 增加修改删除字段非分区表增加字段修改字段(修改字段名称、类型、注释、顺序)删除字段分区表新增字段非分区表增加字段增加字段可以使我们在所有字段之后和分区字段之间增加一个字段使用格式ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name d
【持续更新】Spark Submit命令 配置参数详解
spark submit 参数
