大数据高级开发工程师——大数据相关工具之一 Sqoop
文章目录数据导入导出工具Sqoop ETL工具Sqoop简介Sqoop1与Sqoop2架构对比Sqoop安装部署Sqoop的数据导入1. 列出所有数据库2. 准备表数据3. 导入数据库表数据到HDFS4. 导入到HDFS指定目录5. 导入到hdfs指定目录并指定字段之间的分隔符6. 导入关系表到HI
五十八、Ubuntu搭建hadoopHA高可用（从零开始）
环境准备编号 主机名 类型 用户 IP 1 master 主节点 root 192.168.231.247 2 slave1 从节点 root 192.168.231.248 3 slave2 从节点 root 192.168.2
更新后-Hive免费版本2.1 报错问题收集
目前还不够全面，慢慢记录2021-12-24 Error while compiling statement: FAILED: SemanticException [Error 10002]: line **Invalid column reference ''错误显示是无效的行，一度怀疑自己查询和
大数据高级开发工程师——数据采集框架Flume（1）
文章目录数据采集框架FlumeFlume基本介绍概述运行机制Flume采集系统结构图1. 简单结构2. 复杂结构Flume实战案例采集网络端口数据1. Flume的安装部署2. 开发配置文件3. 启动4. 使用 telnet 测试采集目录到HDFS1. 需求分析2. 开发配置文件3. 启动&
五十七、centos创建hadoop用户（修改hadoop用户密码，目录赋予hadoop用户权限等......）
1、创建一个名为hadoops的组groupadd hadoops查看所有组，新增组默认排在最后cat /etc/group2、创建一个名为hadoop的用户，并归到hadoops的组下useradd -g hadoops hadoop查看所有用户，新增用户默认排在最后cat /etc/passwd
基于ubuntu的hadoop完全分布式集群搭建
借鉴网址1借鉴网址2hadoop官方配置教程搭建虚拟机，克隆（或者先配置JAVA和Hadoop环境再克隆，之后要改主机名和映射以及SSH免密）可以利用xsync集群分发脚本一台机器配置其他机器分发修改主机名和ip映射检查配置ssh免密登录这里地址为 ~/.ssh配置JAVAHadoop配置Hadoo
Hadoop集群进行map词频统计
一、首先新建虚拟机二、配置静态IP 1、首先查看虚拟网络编辑器 查看起始IP 2.1、修改静态IP输入指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改BOOTPROTO=static 增加IPADDR、NETWASK、GATEWAY、DNS1..
1.HDFS基础知识
HDFS基础知识
使用DBeaver远程连接hive数据库
1.DBeaver连接hive数据库时需要先在服务器启动hive的metastore服务和hiveserver2服务[root@node2 ~]# nohup bin/hive --service metastore &[root@node2 ~]# nohup bin/hive --ser
读完本篇文章就会掌握hive over窗口函数的使用附带习题
前言：我们在学习hive窗口函数的时候，一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法，如果这样做，永远也掌握不到窗口函数的核心，当然我刚开始的时候也是这样做的。还好我比较顽强，在HIVE窗口函数问题
HDFS Java API操作——《大数据技术原理与应用（第3版）》期末复习
目录HDFS Java API操作创建目录显示目录列表删除目录判断文件存在目录和文件判断重命名文件上传文件文件移动文件下载HDFS Java API操作这里使用Junit包的@Before、@Test方法进行调试测试创建目录fs.mkdirs() //第一步，获取Hadoop FileSystem对
zookeeper
关于zookeeper的一些小总结
Hadoop大数据生态圈组件之HBase
HBase，一个最接近于关系型数据库的Nosql非关系型数据库介绍简介Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库；Hadoop HDFS作为其文件存储系统，zookeeper作为其分布式协同服务 主要用来存储非结构化和半结构化的松散数据优点容量大面
