清空hive表 姿势大全
- 清空分区表为什么着重强调分区表,因为分区表清空可能会因为分区过多导致清理速度特别慢.
Hadoop 之 Spark 配置与使用（五）
Spark 单机部署、集群部署Java 访问 Spark 测试
Hadoop集成Hive
说明：服务器已用主机名代替，可根据自己的需求，改为IP地址环境1、java版本1.82、Rsync CentOS中默认存在3、zstd、openssl、autoconf、automake、libtool、ca-certificates安装4、ISA-L5、nasm与yasm6、ssh7、hadoop
Hadoop-yarn-未授权访问漏洞
Hadoop是由Apache基金会所开发的分布式系统基础架构，由于服务器直接开放了Hadoop的某些端口而造成了漏洞。本文是docker中的Hadoop-yarn-未授权访问漏洞复现。
Hadoop的伪分布式安装方法
若成功启动则会列出如下进程:NameNode, DataNode和SecondaryNameNode（如果SecondaryNameNode没有启动，请运行./sbin/stop-dfs.sh关闭进程，然后再次尝试启动）。sudo tar -zxvf ~/Downloads/hadoop-3.3.2
Hadoop简介以及集群搭建详细过程
hadoop加群包括两个集群：hdfs集群，yarn集群两个集群逻辑上分离，通常物理上在一起两个集群都是标准的主从架构集群逻辑上分离：两个集群相互之间没有依赖，互不影响物理上在一起：某些角色今晚往往部署在同一台物理服务器上MapReduce集群呢？MapReduce是计算框架、代码层面的组件没有集群
大数据课程D1——hadoop的初识
6. 在Nutch0.8的时候，Doug发现NDFS和MapReduce不只可以用于搜索引擎，也可以用于其他的分布式处理，所以就把NDFS和MapReduce以及其他的一些需要的基本以来分离出来，组成了一个新的框架Hadoop，同时NDFS改名为HDFS(Hadoop Distributed Fil
Hive-数据倾斜
在计算各省份的GMV时，有可能会发生数据倾斜，解决办法如下：
hive 全量表、增量表、快照表、切片表和拉链表
切片表根据基础表，往往只反映某一个维度的相应数据。其表结构与基础表结构相同，但数据往往只有某一维度，或者某一个事实条件的数据。：记录每条信息的生命周期，当一条记录的生命周期结束，就会重新开始一条新的记录，并把当前日期放入生效开始日期。3）合并变动数据和旧拉链表数据（有更新的信息需要修改生效结束日期，
hadoop的8088端口无法访问
如果 8080 端口无法访问，可能是因为以下几种原因之一：该端口可能被防火墙阻止了访问。您可以尝试关闭防火墙，或者将 8080 端口添加到防火墙的信任列表中。Hadoop 服务可能没有启动。您可以尝试通过运行 start-dfs.sh 和 start-yarn.sh 脚本来启动 Hadoop 服务。
CentOS7部署kettle9.3.0并部署自服器远程提交任务
centos7部署kettle9.3.0并配置远程执行及其详细，中间碰到的问题全都有详细的解决办法
Clickhouse分布式集群搭建
这种方法更为安全，它可以把使用这些环境变量的权限控制到用户级别,这里是针对某一个特定的用户，如果你需要给某个用户权限使用这些环境变量，你只需要修改其个人用户主目录下的.bashrc文件就可以了。这里是针对所有的用户的,所有的shell。Zookeeper最小集群是3节点集群，生产环境中100节点以下
Hive数据仓库
数仓作为面相分析的数据平台，其主职工作就是对存储在其中的数据开展分析，那么如何读取数据分析呢？理论上来说，任何一款编程语言只要具备读写数据、处理数据的能力，都可以用于数仓的开发。比如大家耳熟能详的C、java、Python等；关键在于编程语言是否易学、好用、功能是否强大。遗憾的是上面所列出的C、py
doris配置hive的catalog
查询hive的database。创建hive的catalog。
用sqoop导出hive parquet 分区表到mysql
Sqoop默认只导出分区表的一个分区。如果你想要导出分区表的所有分区，可以使用–hive-partition-key参数指定分区键，并结合Sqoop的–warehouse-dir参数指定Hive表的根目录。替换 <mysql_host>、<database_name>、<mysql_username
DataX的使用与介绍（1）
一、什么是DataX？DataX是阿里云商用产品DataWorks数据集成的开源版本，它是一个异构数据源的离线数据同步工具/平台（ETL工具）。DataX实现了包括Mysql，Oracle、OceanBase、Sqlserver，Postgre、HDFS、Hive、ADS、HBase、TableSt
常用的Prestosql
常用的Prestosql
【从0开始离线数仓项目】——数据仓库的环境搭建（1）
Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc，~/.bash_profile等，下面说明上述几个文件之间的关系和区别。
【Hive-Partition】Hive添加分区及修改分区location
【Hive-Partition】Hive添加分区及修改分区location
Hadoop-YARN介绍
yarn介绍
