DataX简介、部署、原理和使用介绍
DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(
HDFS中的Federation联邦机制
命名空间（namespace）由文件，块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构块存储层包括两部分：块管理：namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟滞与块相关的操作，如创建，删除，修改或获取块位
HBase JMX 指标学习
HBase JMX 指标学习
HBase 2.3.7中snappy压缩配置
本文将介绍如何在HBase 2.3.7中配置snappy压缩。snappy是一种快速的数据压缩和解压缩算法，可以提高HBase的存储空间利用率和读写性能。本文使用了HBase 2.3.7版本，运行在三个Ubuntu系统的虚拟机中，分别作为master和slave节点。也可以使用其他版本的HBase和
Ambari自动部署hadoop
Apache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件来简化Hadoop管理.Ambari提供了一个由RESTful API支持的直观，易用的Hadoop管理Web Ul。Ambari使系统管理员能够:提供Hadoop集群Ambari提供了跨任意数量的主机
CDH6.3.2搭建HIVE ON TEZ
如果内存不够：可以修改如下参数设置。----配置hive运行引擎。
Python与大数据：Hadoop、Spark和Pyspark的应用和数据处理技巧
通过Python强大的数据处理库和易用的编程语法，我们可以处理和分析大规模数据集，从中获得有价值的信息和见解。掌握一些数据处理技巧，如数据清洗、特征工程、数据聚合与汇总、并行处理和数据可视化，可以提高大数据处理的效率和准确性。通过不断学习和实践，读者可以不断探索和应用Python在大数据领域的新技术
【Hadoop】Hadoop入门概念简介
Hadoop设计了一个在分布式集群上实现资源管理与功能水平分层的架构，该分层解耦架构让大家可以在Hadoop上不断地叠加组件，并且每个组件可以独立升级，同类组件可以相互竞争，不断提升性能。作为Hadoop生态系统的核心，HDFS、YARN、MapReduce形成了一个灵活的基座，并以此为基础扩展出了
【数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式&写入模式&Bucket索引】
数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式&写入模式&Bucket索引
【Hadoop】DataNode 详解
Datanode是HDFS文件系统的工作节点，它们根据客户端或者是namenode的调度进行存储和检索数据，并且定期向namenode发送它们所存储的块(block)的列表。
【Hive实战】Hive的事务表
Hive 事务表简介
Servlet简介
servlet是一个运行在服务器端的小程序，也是一个接口，介绍了Java类被tomcat识别的规则。
【Hadoop】HDFS读写流程和客户端命令使用
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改
关于hive sql进行调优的理解
这是一个面试经常面的问题，很不幸，在没有准备的时候，我面到了这个题目，反思了下，将这部分的内容进行总结，给大家一点分享。hive其实是基于hadoop的数据库管理工具，底层是基于MapReduce实现的，用户写的hivesql最终转换成MapReduce的任务运行在hadoop上，不过MapRedu
hive lateral view 实践记录（Array和Map数据类型）
-------最开始错误的插入数据法-------2.array类型的数据，怎么根据下标获取里面的值？1.array类型数据，建表时怎么插入？比原表数据少了 双引号。
hadoop 学习：mapreduce 入门案例一：WordCount 统计一个文本中单词的个数
这个案例的需求很简单现在这里有一个文本wordcount.txt，内容如下现要求你使用 mapreduce 框架统计每个单词的出现个数这样一个案例虽然简单但可以让新学习大数据的同学熟悉 mapreduce 框架。
HIve中count（1），count（*），count（字段名）三种统计的区别
HIve中count（1），count（*），count（字段名）三种统计的区别
大数据基础知识
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。灵活的可扩展性灵活的数据模型与云计算紧密融合现在已经有很多公司使用了NoSQL数据库：GoogleFacebookMozillaAdobeFoursquareLinkedInDigg百度、腾讯、阿里、新浪、华为……Spa
Flink 检查点配置
当有界数据 , 部分Task 完成 , Flink 1.14 后 , 它们依然能进行检查点。检查点存储 (CheckpointStorage) : 持久化存储位置。Rocksdb 状态后端 : 启用增量 checkpoint。
hive数据的导入导出
1. TextFile：使用TextFile格式存储的表将数据以文本文件的形式进行存储。这是最常用的默认存储格式。2. SequenceFile：使用SequenceFile格式存储的表将数据以键-值对的形式存储，适用于数据压缩和高效读取。3. ORC（Optimized Row Colum
