Hadoop生态之Hive(一)

数仓工具之Hive,深度解析Hive结构以及原理

Hadoop集群启动和停止方法

    先看一下集群是怎么规划的,这样就知道哪个服务器该开哪个了,不能瞎开啊!    注意点:所有服务器的 HDFS 都有 DataNode,YARN 都有 NodeManagerResourceManager 很消耗内存,不能和 NameNode、SecondaryNameNode 配置在同一台机

Hive基础02、安装Hive

由于命名不合适,所以更换一下:完整配置文件百度网盘下载链接:5、创建hive环境变量输入以下内容,先按【i】 进入输入模式。【esc】+【:wq】保存并退出。执行脚本6、复制MySQL的驱动包到hive的lib文件夹下 5、初始元数据仓库在【/opt/soft/hive/bin】成功........

Hadoop总结

Hadoop总结

大数据面试题——spark

讲一下spark 的运行架构????Cluster Manager(Master):在standalone模式中即为Master主节点,控制整个集群,监控worker。在YARN模式中为资源管理器???? Worker节点:从节点,负责控制计算节点,启动Executor或者Driver。???? D

【原生HADOOP分布式集群搭建】

原生HADOOP分布式搭建

MapReduce详细解析完整流程

其中ReduceTask的处理流程如下 :优点 : 易于编程,扩展性高,高容错性,适合PB以上海量离线数据处理,可实现上前台服务器集群并发工作缺点 : 不擅长实时计算,反应慢.不适合流式计算,因为MR是静态的,流式计算输入数据必须是动态的,不擅长DAG(有向图)计算,多个应用程序存在依赖关系,后一个

# HDFS常问面经和个人学习经验

自己关于HDFS文件存储系统的一些理解,详细介绍的HDFS的存储过程和机制,也是面试过程中经常会问的

hadoop综合实验(对日志的处理mapreduce保存到csv)

综合实验:网站访问日志采集、处理及分析实验步骤注:截图必须使用实验机的带水印截图功能,题目中要求截图但未提供的视为未做一、使用Flume导入日志数据数据文件下载地址:新建一个待监控的文件夹,放入三个日志文件我这里是lhx1、(代码)创建flume配置,文件内容及部分属性注释(注意路径):2、(截图)

Hadoop生态之HDFS

用一万字文章来深层次理解HDFS文件上传系统的底层原理,爆肝半天的极品文章,需要资源私信博主奥里给。。。。

flink hadoop 从0~1分布式计算与大数据项目实战(3)三台机器 hdfs HA模式从0~1 部署

flink hadoop 从0~1项目实战(3)三台机器 hdfs HA模式从0~1 部署

DStream转换操作

DStream转换操作

阿里大数据面试题集合:Hadoop+HBase+Spark+Zookeeper

阿里大数据面试题集合:Hadoop+HBase+Spark+Zookeeper

hadoop yarn资源调度

yarn资源调度

Linux下部署Zookeeper+Hadoop+Hbase集群

Linux下部署Zookeeper+Hadoop+Hbase集群

一零零九、Docker搭建 全集群 环境配置

Docker搭建 全集群 环境配置

【hadoop】YARN 应用安全 YARN Application Security

翻译:YARN Application Security任何编写 YARN 应用程序的人都需要了解该过程,以便编写短期应用程序或长期服务。他们还需要在早期开发阶段开始在安全集群上进行测试,以便编写真正有效的代码。YARN 资源管理器 (RM) 和节点管理器 (NM) 合作以使用该用户的身份和访问权限

【拿走不谢】大数据高效查询神器--bitmap

1.提升 hive 中精确去重性能,代替hive 中的 count(distinct uuid);2.节省 hive 存储 ,使用 bitmap 对数据压缩 ,减少了存储成本;3.提供在 hive 中 bitmap 的灵活运算 ,比如:交集、并集、差集运算 ,计算后的 bitmap 也可以直接写入

hive on spark报错:没有发现类

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 7abab17

Centos下安装Hadoop【历时三天亲测有效】

Centos6.8下安装Hadoop2.7,大致分为三个步骤:①虚拟机环境准备②安装JDK③安装Hadoop前提条件:具备Linux操作系统基础,并且已安装虚拟机。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈