Hadoop 大数据技术原理与应用 （1）
a. 概念：从字面意思来看，大数据指海量数据；从特点来看，大数据具有海量、流转快、数据类型丰富及价值密度低等特点b. 数据类型：大数据的数据类型丰富多样，包括网页文件、表格文件、XML文件、文本数据、多媒体数据（视频、图片等）。按数据结构来分为 1）结构化数据 （标准化格式的数据） 2）半结构化数据
HIVE无法启动问题
HIVE无法启动问题
hadoop分布式云笔记系统-计算机毕业设计源码15725
摘 要随着信息技术的飞速发展，人们对于数据的存储、管理和共享需求日益增长。传统的集中式存储系统在处理大规模数据时面临着性能瓶颈和扩展性问题。而 Hadoop 作为一种分布式计算框架，为解决这些问题提供了有效的解决方案。本研究旨在设计并实现一种基于 Hadoop 的分布式云笔记系统。该系统将充分利用
Centos 7之Hadoop搭建
HDFS 有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。HDFS 开始是为开源的 apache 项目 nutch 的基础结构而创建，HDFS 是 hadoop 项目的一部分，而 hadoop 又是 lucene 的一部分。下载地址：https
hadoop初学:MapReduce项目实践
Hadoop是一个开源的分布式存储和计算框架，能够处理大规模数据集，并且具有高可靠性和高扩展性。它由Apache软件基金会开发，采用Java编程语言编写，提供了一个可靠、高效的分布式系统基础架构。
docker搭建hadoop+hbase
docker搭建hadoop+hbase
05-用户画像+mysql-hive数据导入
新建 create_hive_table.sh文件。
Hadoop平台搭建（hive前的步骤）
1.1. 将 hadoop-2.7.1 文件夹重命名为 Hadoop。1.4. 执行以下命令修改 hadoop-env.sh 配置文件。在浏览器的地址栏输入：http://master:8088。配置两个子节点slave1、slave2的JDK环境。1.3. 使配置的 Hadoop 的环境变量生效。
Hive笔记-6
Group By语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。max()，求最大值，不包含null，除非所有值都是null；min()，求最小值，不包含null，除非所有值都是null；count(某列)，表示该列一共有多少行，不包含null值；count
Hive窗口函数
在 Apache Hive 中，窗口函数是一种特殊类型的函数，它允许你在查询中对分区数据执行复杂的分析。窗口函数在标准 SQL 中可用，Hive 作为 Apache Hadoop 的一个组件，也支持这些功能。以下是一些常见的窗口函数以及如何在 Hive 中使用它们的示例。
hadoop上的spark和Scala安装与配置
进入 /opt/software/ 查看是否导入scala、spark包（刚开始就导入包了，这里直接查看）然后进行文件的托拽到（/opt/software）目录下，也可以复制哦（可以两个包一起导入）（2）进入 /opt/software/ 查看是否导入scala、spark包。然后用tar命令解
大数据期末复习——hadoop、hive等基础知识
Hadoop提供了高可用性的解决方案，如HDFS的NameNode HA(高可用性)机制和VARN的ResourceManager HA机制，确保即使在节点故障的情况下，集群仍能保持高可用性，不影响作业的执行。2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
HIVE3.1.3+ZK+Kerberos+Ranger2.4.0高可用集群部署
HIVE3.1.3+ZK+Kerberos+Ranger高可用集群部署
Hadoop课设蔬菜统计--超详细流程
蔬菜统计根据“蔬菜.txt”的数据，利用Hadoop平台，实现价格统计与可视化显示。要求：通过MapReduce分析列表中的蔬菜数据。（1）统计各地区每一天大白菜、土豆的价格（柱状图）（2）选取一个城市，统计各个蔬菜价格变化曲线（折线图）（3）统计每种蔬菜价格最高的地区和日期 （柱状图）（4）加载H
Spark的动态资源分配算法
本文讲解了Spark on Yarn的动态资源分配场景下，从Task信息的生成，到资源的请求，以及将生成的Task基于资源的Locality Preference调度到生成的Executor的整个过程。
Hadoop 面试题（十一）
1. 简述Hadoop-2.6.5 集群中，HDFS 默认副本块（含原数据块）的个数是 ？2. Google三驾马车是Hadoop等分布式系统的基石，其中论文()不属于三驾马车之一 ？3. 简述关于安全模式命令，正确的是 ？4. 简述以下不属于Hadoop中NameNode的功能点的选项是 ？5.
大数据HDFS概述【长期更新】
Hadoop基本介绍和设计原理
HIVE基本数据类型
HIVE基本数据类型
【大数据·hadoop】在hdfs上运行shell基本常用命令
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
