Spark 2 迁移 Spark 3 参考手册
Apache Spark是一个广泛应用于大规模数据处理的开源统一分析引擎。自发布以来，它已经成为大数据处理的事实标准。2020年发布的Spark 3.0带来了许多新特性和改进，极大地提升了性能和易用性。如果你习惯使用Spark 2，那么了解新版本的变化将非常有帮助。本文将重点介绍Spark 2和Sp
【Hive SQL】数据探查-数据抽样
在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。下面罗列一些常用的数据抽样方法。
hadoop搭建本地hive库保姆级教程
3）远程模式：也是使用mysql存储元数据，但是用户可以在任意服务器上远程连接Hive并进行操作。注意]：hadoop和hive的运行都依赖jar包guava.jar,但是它们默认使用该jar包的版本不一致可能会有jar包冲突问题，所以需要用hadoop下的jar包替换hive中的。2）本地模式：使
Hive(十)函数 列转行
select * from (select name, x, a from people lateral view explode(xinge) x_tmp as x lateral view explode(aihao) a_tmp as a) tmp where x='活泼' and a='打篮
Hive建表全攻略-从入门到精通
探索Apache Hive的强大功能！本文深入讲解Hive建表技巧、性能优化、安全管理和生态系统集成。从基础语法到高级特性，包括分区表、ORC存储、动态分区、查询优化等核心概念。学习如何处理数据倾斜、实现细粒度访问控制，以及与Spark、Kafka、HBase无缝集成。通过实战案例掌握构建高效数据仓
【Hadoop】建立圈内组件的宏观认识（大纲版）
【Hadoop】建立圈内组件的宏观认识的大纲，属于精炼的概述性科普，后续会进行优化
Spark离线开发指南(详细版)
API：2.1.2–获取分区数API：API：sparkcontext.textFile(参数1，参数2)参数1：必填，文件路径支持本地，支持HDFS，也支持一些比如S3协议参数2：可选，表示最小分区数量注意：参数2话语权不足，spark有自己的判断，在它的允许的范围内，参数2才有效果，超出spar
hadoop分布式云笔记系统-计算机毕业设计源码15725
摘 要随着信息技术的飞速发展，人们对于数据的存储、管理和共享需求日益增长。传统的集中式存储系统在处理大规模数据时面临着性能瓶颈和扩展性问题。而 Hadoop 作为一种分布式计算框架，为解决这些问题提供了有效的解决方案。本研究旨在设计并实现一种基于 Hadoop 的分布式云笔记系统。该系统将充分利用
配置MySQL主从，配置MySQL主主 +keeplive高可用
注意：这个是我两年前的word文档，可以当作参考文档有个思路参考一下，但是里面可能有些地方有误
大数据Hive（介绍+安装+使用）
对数据进行统计分析，SOL是目前最为方便的编程工具，但是MapReduce支持程序开发 (Java、Python等)但不支持SQL开发。Hive是一款分布式SQL计算的工具，其主要功能是将SQL语句翻译成MapReduce程序运行。
CentOS7安装Hadoop集群
Centos7部署Hadoop3.3.6以及Hive3.1.3
Hadoop的安装和使用-2024年08月01日
1.创建Hadoop用户2.SSH登陆权限设置3.java的安装4.Hadoop单机安装配置5.Hadoop伪分布式安装配置
Apache ZooKeeper（Hadoop）详细原理和使用
例如，如果 zxid1小于 zxid2，说明 zxid1 操作先于 zxid2 发生，zxid 对于整个zk 都是唯一的，即使操作的是不同的 znode。dataVersion：数据版本号，每次对节点进行 set 操作，dataVersion 的值都会增加 1（即使设置的是相同的数据），可有效避免了
传统数据库三范式建模和数据仓库维度建模 详细篇
如何建库建表? 传统三范式建模 和数据仓库 维度建模都是什么?有什么区别?
Hive SQL的坑和note
但是如果我们使用的目的仅仅时简化sql比如 有时候查询指定的字段 select a,b,c,d,e,f,g,h from t 这种比较简单的查询还是推荐with tmp as ()语法，因为hive本身查询这种就很快，不需要额外花费时间落地为数据 这样还更耗时。
深入探索【Hadoop】生态系统：Hive、Pig、HBase及更多关键组件（上）
本文深入探索了Hadoop生态系统的核心组成部分及其关键组件，特别是聚焦于Hive、Pig和HBase这三个重要工具。Hadoop作为大数据处理和分析的基石，通过其丰富的生态系统为企业和组织提供了强大的数据处理能力。首先，文章介绍了Hive，作为Hadoop上的数据仓库工具，Hive允许用户通过类S
基于Hadoop去哪儿旅游景点数据采集与分析
通过网页数据分析，发现去哪儿网的页面结构规范，提供了丰富的信息，这使得自动化数据采集成为可能。在景点列表页面中，每个景点的信息均被整齐地组织在一定的HTML结构中，而景区详情页面则提供了深入的单个景点信息，包括用户的具体评价和评分。例如，评论总数可能通过某个特定的类名聚合在一起，而详细的用户评论则分
DataGrip无法连接Hive 【已解决】
【代码】DataGrip无法连接Hive 【已解决】
通俗大白话讲大数据（新手筑基篇，中国移动实习）
数据采集传输：Flume、kafka、datax，maxwell，sqoop，logstash数据存储：mysql、hdfs、hbase、redis、mongodb数据计算：hive、spark、flink、storm、tez数据查询：presto、kylin、impala、druid、clickh
hive的优化策略
以 on,where 多条件字段顺序，建【多重】分区表，默认开启支持,以分区字段为条件筛选数据，tez引擎：动态分区剪裁支持。控制Mapper和Reducer数量，mapper的启动和初始化开销较大,【数量过多】导致开销大于逻辑处理,浪费资源。从表：不存在以NULL填充，where不能下推，on可以
