Spark内存资源分配——spark.executor.memory等参数的设置方法
Spark内存资源分配——spark.executor.memory等参数的设置方法
【Hive 基础】-- 数据倾斜
由于数据分布不均匀，导致大量数据集中到一点，造成数据热点。常见现象：一个 hive sql 有100个 map task， 有一个运行了 20分钟，其他99个 task 只运行了 1分钟。
Windows安装 hadoop 环境
大数据、hadoop
【hadoop——HDFS操作常用的Shell命令】
1.Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件之一，我们已经安装好了Hadoop 2.7.1，其中已经包含了HDFS组件，不需要另外安装最基本的shell命令： HDFS既然是Hadoop的组件，那么首先需要启动Hado
HIVE SQL 聚合函数与 rows between / range between详解
一、rows between 与 range between 用法1. 相关关键词解析unbounded 无边界preceding 往前following 往后unbounded preceding 往前所有行，即初始行n preceding 往前n行unbounded following 往后所有
hive静态分区和动态分区
真正理解动态分区的实践
hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析
b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop/dfs}的路径下，问题解决。失败的原因是：我们在core-site.xml修改了tmp路径：【/home/hyxy/tmp/hadoop】，启动namenode服务的时候，系统找不到原来的路
Hadoop
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。NameNode（nn）：存储文件的。
【Hadoop生态圈】10.使用Sqoop迁移MySQL数据到HDFS中
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进
搭建hadoop高可用集群（二）
搭建hadoop高可用集群（二）
基于docker的hadoop集群搭建
最近想学习如何使用hdfs来存储文件，在网上学习了一下，明确了HDFS（Hadoop Distribute File System 分布式存储）、mapReduce（分布式计算）、YARN（Yet Another Resource Negotiator资源管理）是hadoop的三大组成部分，要想使用
Ubuntu下的Hadoop安装
Ubuntu下的Hadoop安装
2023大数据必看面试题
大数据必看面试题
Hadoop集群启动从节点没有DataNode
之前启动hadoop集群的时候都没有问题，今天启动hadoop集群的时候，从节点的DataNode没有启动起来。
Hadoop完全分布式集群搭建（超详细）
hadoop完全分布式，超详细的部署步骤。
spark sql解析过程详解
spark sql解析过程详解
Centos8安装CDH解决不兼容问题
Cenots8解决CDH不兼容问题
hadoop常用的命令
广义： 指的是Hadoop的生态圈，有很多的大数据组件构建而成，包括：Linux，zookeeper，Hadoop，hive，hbase，redis，elk,kafka，java,scala,python,impala,kudu,spark,flink。1.不是namenode的备份节点，不是nam
使用Hadoop同步Neo4j数据（亿级）
企业和人物节点数据以及关系数据导入实践，使用hive生成csv文件，进行 apoc.load.csv 操作。
(二)HDFS架构设计理念与缺陷
目录设计理念1）支持超大数据集2）绝对能够应对硬件的故障3）流式数据处理4）简化的数据一致性模型5）尽量移动计算，但是不要移动数据缺陷1） 实时性差2） 小文件问题3）文件修改问题设计理念1）支持超大数据集hdfs分布式存储,将大量的数据存放到N台机器上,每台机器存放部分数据.机器可横向扩展,所以h
