Spark简介
Spark是大数据的调度，监控和分配引擎。它是一个快速通用的集群计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算 ，但对于在磁盘上运行的复杂应用程序，系统也比MapReduce更有效。
Hadoop作业篇(一）
1. 以下哪一项不属于Hadoop可以运行的模式__C____。A. 单机（本地）模式B. 伪分布式模式C. 互联模式D. 分布式模式2. Hadoop的作者是下面哪一位___B___。A. Martin FowlerB. Doug cuttingC. Kent BeckD. Grace Hoppe
【大数据】Hadoop运行模式（集群搭建）
Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
SpringBoot 3 集成Hive 3
造成此问题的原因是:spring boot 默认日志为logback, 而引用的hive-jdbc 及其关联jar 使用的日志为 log4j ，造成SLF4J 绑定冲突。我这边编写一个简单的Controller，打印Hive 默认数据库包含数据库名称。造成此类 问题的原因：hiveserver2 服
基于Hadoop的云计算与大数据处理技术
对于Spark中的API来说，它支持的语言有Scala、Java和Python，由于Scala是Spark的原生语言，各种新特性肯定是Scala最先支持的，Scala语言的优势在于语法丰富且代码简洁，开发效率高。Spark的核心就是RDD，所有在RDD上的操作会被运行在Cluster上，Driver
Hive调优之小表Join大表
结果：这样的后果就是所有为null值的id全部都变成了相同的字符串“hive”，及其容易造成数据的倾斜（所有的key相同，相同key的数据会到同一个reduce当中去） 为了解决这种情况，我们可以通过hive的rand函数，随记的给每一个为空的id赋上一个随机值，这样就不会造成数据倾斜。有时虽然某个
【Hadoop精讲】HDFS详解
Hadoop精讲、HDFS详解、副本放置策略、元数据持久化
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口？！
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口？！
【Hive】——函数案例
hive 函数案例
[hive] 在hive sql中定义变量
变量可以用于存储和引用常量或表达式的值，以便在查询中重复使用。Hive中的变量是会话级别的，即它们在会话结束后会被重置。在Hive SQL中，可以使用。
2023.11.16-hive sql高阶函数lateral view,与行转列,列转行
hive函数主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是ARRAY或者MAP,可以通过split函数将 String 类型的列值转成ARRAY来处
【Spark编程基础】第7章 Structured Streaming
Structured Streaming的关键思想是将实时数据流视为一张正在不断添加数据的表可以把流计算等同于在一个静态表上的批处理查询，Spark会在不断添加数据的无界输入表上运行计算，并进行增量查询在无界表上对输入的查询将生成结果表，系统每隔一定的周期会触发对无界表的计算并更新结果表。
【大数据-Hadoop】从入门到源码编译-概念篇
2011年成立，吸纳Hadoop的雅虎程序员贡献了80%的Hadoop代码，文档较好，Hortonworks Data Platform（HDP）还包括了Ambari（开源的安装和管理系统）。存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限）、以及每个文件的块列表和块所
Python过气，Hadoop凉了？零基础项目实战诠释何为经典
????导读工欲善其事，必先利其器。Python 作为一种跨平台的编程语言，具有解释性、变异性、交互性和面向对象的特点，可应用于独立的项目开发。今天，我们特邀了公众号“冰河技术”作者、腾讯云 TVP 冰河老师，他将为我们带来基于 Python+Hadoop 手把手教学如何实现单词统计。????目录1
hadoop01_完全分布式搭建
（计算的数据存在Linux本地，在一台服务器上 自己测试）、（和集群接轨 HDFS yarn，在一台服务器上执行）、。：（hadoop默认安装后启动就是本地模式，就是将来的数据存在Linux本地，并且运行MR程序的时候也是在本地机器上运行）：伪分布式其实就只在一台机器上启动HDFS集群，启动YARN
Hadoop 重启流程
5. 到每一个子节点 hdfs --daemon stop datanode;因原有配置密钥目录有误，需要重启Hadoop集群 3个节点，Hadoop版本3.3.2。4.主节点 hdfs --daemon start journalnode。2、主节点删除所有的临时目录 log日志，包含在xml设定
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
本篇教程由作者本人进行修改，原教程为厦门大学数据库实验室/林子雨出品，本篇教程针对VMware软件的使用以及Ubuntu的安装，点此下载（此处包含hadoop、Ubuntu以及jdk1.8）有其他需求可另行下载。
基于hadoop+MapReduce+Java大数据清洗和分析的基本操作流程
MapReduce 是面向大数据并行处理的计算模型、框架和平台。它利用"Map（映射）“和"Reduce（归约）”，将程序运行在分布式系统中，通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性。这次实验利用本机 hadoop 环境完成实验内容操作，之后我会结合在大数据存储系统这门课上所学的知
【Hive】——函数
hive 常见函数 ，UDF 自定义函数，explode 函数，Lateral view 侧视图，增强聚合函数，窗口函数，
Hive 浅析
Hive是一个简单的LUA沙盒，除了基本的LUA解释器的功能以外，还提供了诸如热加载等功能。了解HIVE的工作原理有利于了解Lua虚拟机的底层实现机理。本文从是什么-怎么用-为什么三个维度介绍HIVE。
