Hadoop YARN CGroup 实践
Hadoop YARN CGroup 生产实践
Hadoop-3.3.6完全分布式集群搭建
右击创建好的虚拟机hadoop base，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。设置静态ip，与主节点ljl的hosts文件保持一致，设置成功重启网络。首先进入hadoop所在配置文件目录/usr/local/src/Hadoo
【湖仓一体尝试】MYSQL和HIVE数据联合查询
爬了两天大大小小的一堆坑，今天把一个简单的单机环境的流程走通了，记录一笔
虚拟机安装单机hive以及简单使用hive
hive是我打算了解的有一个大数据方面的一个技术栈，上一篇介绍了Hadoop和hbase，有兴趣的朋友可以点击“文章”浏览，今天要介绍的hive也是要基于hadoop的，安装hive也要提前安装好hadoop。刚了解这块的朋友肯定就会疑问这三者之间的关系是什么呢，从我这段时间对它们的简单了解，我的理
Spark 基本知识介绍
spark基本概念理解
从零开始了解大数据(二)：Hadoop篇
Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集。本文将介绍Hadoop集群的主要组成部分，包括HDFS分布式文件系统和YARN资源管理器，并探讨它们在大数据处理中的作用和功能。
【1-3章】Spark编程基础(Python版)
大数据技术概述、Spark设计与运行原理、Spark环境搭建和使用方法
Hive DDL语法
Hive的语法和MySQL大部分都相同。
最全HSQL命令大全(Hive命令)
最全HSQL命令中文解释，值得收藏
Hive实战：词频统计
在本次实战中，我们任务是在大数据环境下使用Hive进行词频统计。首先，我们在master虚拟机上创建了一个名为test.txt的文本文件，内容包含一些关键词的句子。接着，我们将该文本文件上传到HDFS的目录，作为数据源。随后，我们启动了服务和Hive客户端，为数据处理做准备。在Hive客户端中，我们
Hadoop3教程（十五）：MapReduce中的Combiner
介绍了Shuffle中的Combiner机制，包括Combiner的定义、用处、特点，以及如何自定义Combiner类，并贴了一个启用Combiner的MR代码示例
Hadoop(2)：常见的MapReduce[在Ubuntu中运行！]
1.1 弄清楚MapReduce的各个过程：将文件输入后，返回的代表的含义是：k1表示偏移量，即v1的第一个字母在文件中的索引（从0开始数的）；v1表示对应的一整行的值map阶段：将每一行的内容按照空格进行分割后作为k2，将v2的值写为1后输出reduce阶段：将相同的k2合并后，输出。
elasticsearch-hadoop.jar 6.8版本编译异常
编译 7.17 版本时很正常，注意设置下环境变量就好，JAVA8_HOME/....编译 6.8 版本时（要求jdk8 / jdk9），出现异常。重新编译 elasticsearch-hadoop 包；
Hadoop入门概述
Hadoop是什么Hadoop是一个基于Java编写的开源软件库，用于在商用硬件集群上分布式处理和存储海量数据。它提供了一个高容错性、可扩展性和高效的数据处理环境。Hadoop的发展历史由Doug Cutting和Mike Cafarella于2005年开发，灵感来源于Google发表的大规模数据处
大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细！)
这篇博客文章详细介绍了如何部署Hadoop集群并运行MapReduce任务。首先，我们将详细解释Hadoop和MapReduce的基本概念，以及它们在大数据处理中的重要性。然后，我们将逐步指导读者如何在多节点环境中部署Hadoop集群，包括硬件和软件的配置，以及如何解决可能遇到的问题。接下来，我们将
【大数据入门核心技术-Doris】（三）Doris基本Shell和数据模型
参考。在某些多维分析场景下，用户更关注的是如何保证 Key 的唯一性，即如何获得 Primary Key 唯一性约束。因此，我们引入了 Unique 数据模型。在1.2版本之前，该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。由于聚合模型的实现方式是读时合并（merge on rea
Hadoop全分布式搭建
ctrl+alt切换定位到物理机/虚拟机可以用物理机截图# 检查内存 free -h# 检查磁盘空间 df -h# 检查 Java 版本 java -version需要传输jdk文件，就需要共享文件夹：挂载操作，然后，查看 （注意：挂载后必须要再次进入/mnt/hgfs才能查看到共享的文件夹）验证安
hive简介和安装
hive是基于hadoop的数据仓库工具。hive提供了一种使用sql语句来读、写、管理基于分布式系统的大型数据的功能。将hdfs上的结构化数据文件映射为一张表，并提供类似sql语句进行查询统计功能。本质就是将sql语句转化为模板化了的MapReduce程序，处理计算还是hdfs中的mapreduc
【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发
【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发
