Hadoop DataNode不能启动，不能全部启动
Hadoop DataNode不能启动，不能全部启动
PySpark入门
1，通过pyspark进入pyspark单机交互式环境。这种方式一般用来测试代码。也可以指定jupyter或者ipython为交互环境。2，通过spark-submit提交Spark任务到集群运行。这种方式可以提交Python脚本或者Jar包到集群上让成百上千个机器运行任务。这也是工业界生产中通常使
hadoop之MapReduce框架原理
MapReduce是分为两个阶段的，MapperTask阶段，和ReduceTask阶段。Mapper阶段，可以通过选择什么方式（K,V的选择对应不同的方法）来读取数据，读取后把数据交给Mapper来进行后续的业务逻辑（用户写），让后进入Reduce阶段通过Shuffle来拉取Mapper阶段的数据
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本，参考B站up主哈喽鹏程视频撰写而成，感谢！！！
MapReduce概述及工作流程
Map：1、根据业务需求处理数据并映射为KV模型2、并行分布式3、计算向数据移动Reduce：1、数据全量/分量加工2、Reducer中可以包含不同的key 分区的范围大于分组3、相同分区的Key汇聚到一个Reducer中4、“相同”的Key调用一次reduce方法5、排序和比较实现key的
ambari全攻略流程，认识ambari（一）
ambari介绍Apache Ambari 项目旨在通过开发用于供应、管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观、易于使用的 Hadoop 管理 Web UI，由其 RESTful API 提供支持。Ambari 使系统管理员能够：配置
Hive之Map常用方法
实际工作中，有时会出现map复杂数据类型，字段field1形式如：{‘k0’:‘abc’,‘k1’:‘01,02,03’,‘k2’:‘456’}，如果是string形式，我们可以适用get_json_object 函数，取出对应的value值，具体如：get_json_object（field,‘$
今天又get到一个小技能，collect_set函数
collect_set函数今天又get到一个小技能，掌握了hive一个关于列转行专用函数 collect_set函数。在这里做个学习笔记。collect_set是Hive内置的一个聚合函数, 结果返回一个消除了重复元素的对象集合, 其返回值类型是 array 。和collect_set相似的还有另一
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解（图文解释）
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解（图文解释）
PySpark集群完全分布式搭建
本文的目的是使读者对spark的安装流程有一个清晰的认识，并且能根据本文的内容搭建一个属于自己的完全分布式Spark集群，并在此基础上增加pyspark的分布式环境。
Linux安装Hadoop超详细教程
首先说明一下，本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样，那可能是由于版本不一样所导致的。可以到如下网址下载：http://apache.stu.edu.tw/hadoop/common/hadoop-3.1.1/，即可查看相关信息。然后一个个尝试，我最终找到
Hadoop伪分布式安装搭建教程
2.1 在VMware上方菜单栏，文件--新建虚拟机 2.2 默认 2.3 选择稍后安装操作系统2.4 选择Linux（L），版本 Ubuntu 2.5 定义虚拟机的名称，选择虚拟机的位置，本人选择放在了D盘 2.6 处理器配置根据自己情况自己选择，这里选择了处理器数量2，内核数量2 2.7 虚拟
大数据周会-本周学习内容总结07
大数据周会-本周学习内容总结07
hadoop组成及其架构
HDFS读写数据流程以及优缺点MapReduce工作原理及shuffle详解yarn工作机制、调度器及调度算法
快速体验 Flink Table Store 入门篇
在本地安装单机版本，能够实现快速体验 Flink Table Store 的目的，本文以 Flink 1.15.2、flink-table-store-dist-0.2.1 和 flink-shaded-hadoop-2-uber-2.8.3-10.0 为例，系统为 Centos 3.10。
Hadoop（伪分布式）+Spark（local模式）搭建Hadoop和Spark组合环境
一、安装Hadoop二、安装Spark
Hadoop分布式集群搭建完整版（持续更新中）
Hadoop集群的搭建，从零到一
hadoop启动集群之后没有namenode的一种情况
先说结论吧，一般在网上搜索这个问题都是让重新格式化namenode(当然，格式化之前要记得清空namenode和DataNode文件夹)。但是对于我之前遇到的问题却没法解决。我的做法是：检查你的hadoop的配置文件是否填写正确，我的hadoop的hdfs-site.xml中的主机IP地址未填写正确
hadoop 3.x大数据集群搭建系列4-安装Spark
hadoop大数据平台搭建之 Spark搭建Spark集群Spark standaloneSpark Yarn
