CentOS7部署kettle9.3.0并部署自服器远程提交任务
centos7部署kettle9.3.0并配置远程执行及其详细，中间碰到的问题全都有详细的解决办法
CENTO OS上的网络安全工具（二十三）VSCODE SPARK 容器式编程环境构建
总之装这个一路都很玄学，因为有些下载在输出窗口里面是能看到的（如果选择了观察logs），有些下载操作在窗口是什么都看不到的——如果你以为什么动静都看不到就是装完了而试图区执行代码的时候，一般会收到internal error。由于我们使用的是jdk 11，所以pom文件的这里需要改动一下：……当然，
Clickhouse分布式集群搭建
这种方法更为安全，它可以把使用这些环境变量的权限控制到用户级别,这里是针对某一个特定的用户，如果你需要给某个用户权限使用这些环境变量，你只需要修改其个人用户主目录下的.bashrc文件就可以了。这里是针对所有的用户的,所有的shell。Zookeeper最小集群是3节点集群，生产环境中100节点以下
Hive数据仓库
数仓作为面相分析的数据平台，其主职工作就是对存储在其中的数据开展分析，那么如何读取数据分析呢？理论上来说，任何一款编程语言只要具备读写数据、处理数据的能力，都可以用于数仓的开发。比如大家耳熟能详的C、java、Python等；关键在于编程语言是否易学、好用、功能是否强大。遗憾的是上面所列出的C、py
doris配置hive的catalog
查询hive的database。创建hive的catalog。
用sqoop导出hive parquet 分区表到mysql
Sqoop默认只导出分区表的一个分区。如果你想要导出分区表的所有分区，可以使用–hive-partition-key参数指定分区键，并结合Sqoop的–warehouse-dir参数指定Hive表的根目录。替换 <mysql_host>、<database_name>、<mysql_username
DataX的使用与介绍（1）
一、什么是DataX？DataX是阿里云商用产品DataWorks数据集成的开源版本，它是一个异构数据源的离线数据同步工具/平台（ETL工具）。DataX实现了包括Mysql，Oracle、OceanBase、Sqlserver，Postgre、HDFS、Hive、ADS、HBase、TableSt
常用的Prestosql
常用的Prestosql
【从0开始离线数仓项目】——数据仓库的环境搭建（1）
Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc，~/.bash_profile等，下面说明上述几个文件之间的关系和区别。
【Hive-Partition】Hive添加分区及修改分区location
【Hive-Partition】Hive添加分区及修改分区location
Hadoop-YARN介绍
yarn介绍
Hadoop生态漏洞修复记录
Hadoop、zookeeper、hive漏洞修复
HDFS介绍
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Cor
基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用
Docker的基础操作
HDFS学习笔记
对于每一个数据块，NameNode 节点返回保存数据块的数据节点的地址。当Active NameNode的命名空间发生变化的时候，它会把这个变化通知所有JN，有的JN收到信息，有的JN是没有收到信息的，如果大部分JN进程接到信息，就认为这个事件是可信的，如果少数的JN接到信息，就认为这个信息是错误的
Hadoop中 常用端口说明和相关配置文件
Hadoop中 常用端口说明和相关配置文件
Hbase
HBase（Hadoop DataBase），是一种非关系型分布式数据库（NoSQL），支持海量数据存储（官方：单表支持百亿行百万列）。HBase 采用经典的主从架构，底层依赖于 HDFS，并借助 ZooKeeper 作为协同服务，其架构大致如下：其中，对 HBase 全局有了基本理解后，我认为有几
hive read time out
2) hiveConnection的socket超时时间通过loginTimeout进行设置，而loginTimeout读取的DriverManager的超时时间，因此，在创建hive连接时需要设置DriverManage的loginTimeout属性。总结：hive中执行SQL的耗时较长，需要增大
Hive（21）：DML之Update、Delete更新、删除数据
首先，必须明确，你理解的Hive这款软件，定位是什么？是面向事务支持事务的RDBMS?还是面向分析，支持分析的数据仓库。这很重要。Hive是基于Hadoop的数据仓库，面向分析支持分析工具。因此在Hive中常见的操作的就是分析查询select操作。将已有的结构化数据文件映射成为表，然后提供SQL分析
CDH-6.3.2从零到一的详细安装教程&hive on Spark性能测试教程
CDH-6.3.2详细安装教程，从零到一的详细教程，包括mysql、Java、CM、hive、Spark、Hadoop、zookeeper、kafka、Hue、flume、oozie的安装教程
