hadoop命令行查看hdfs容量剩余
hadoop dfsadmin -report 也可以通过浏览器访问50070端口查看。
Hive窗口函数-lead/lag函数
Hive窗口函数-lead/lag函数
Hbase Shell操作
Hbase Shell操作
Hive（25）：Select高级查询之Subqueries子查询
1 from子句中子查询在Hive0.12版本，仅在FROM子句中支持子查询。而且必须要给子查询一个名称，因为FROM子句中的每个表都必须有一个名称。子查询返回结果中的列必须具有唯一的名称。子查询返回结果中的列在外部查询中可用，就像真实表的列一样。子查询也可以是带有UNION的查询表达式。Hive支
聊聊hdfs中的rpc问题
hdfs中的rpc问题
什么是HBase
HBase是一个基于Hadoop的分布式列式存储系统，可以存储非结构化和半结构化的大数据，具有高可用性、高扩展性、高性能等特点，常用于大规模实时数据处理。
开启hadoop的命令和方法
要开启 Hadoop，你需要进入 Hadoop 的安装目录，然后输入以下命令：sbin/start-dfs.shsbin/start-yarn.sh这会启动 Hadoop 的两个核心组件：Hadoop Distributed File System (HDFS) 和 Yet Another Reso
【Hadoop 01】简介
Hadoop适合海量数据分布式存储和分布式计算Java改为支持8及以上HDFS支持纠删码HDFS支持多NameNodeMR任务级本地优化多重服务默认端口变更Hadoop主要包含三大组件：HDFS+MapReduce+YARNHDFS负责海量数据的分布式 存储MapReduce是一个计算模型，负责海量
【hadoop】Linux安装和配置
安装和配置Linux，修改时间2023/7/5
Hive 窗口函数大全
hive的窗口函数使用集合和使用示例
Flink 保存点
保存点 (Savepoint) ：用户手动触发保存状态。savepoint 恢复作业, 并修改状态后端。checkpoint 恢复作业。优雅停止 , 并触发保存点。
配置Kettle连接大数据HDFS
如果需要使用HBase集群，hbase-site.xml文件也需要替换。2.ETL工具Kettle，版本：pdi-ce-7.0.0.0-25。3. Kettle连接HDFS需要替换的Hadoop文件。1.Hadoop集群,版本：Hadoop3.3.0。3.MySQL服务器，版本：mysql5.7.3
使用hive查看orc文件 orcfiledump命令详解 异常处理(Failed to read ORC file)
hadoop hive查看orc文件 orc文件修复 orcfiledump命令详解
HIVE获取json字段特定值（单个json或者json数组）
说明：解析json的字符串json_string,可指定多个json数据中的key，返回对应的value。代码：SELECT get_json_object(‘{“NAME”:“张三”,“ID”:“1”}’,‘$.NAME’) as name;SELECT get_json_object(‘{“NA
Hadoop学习-6-HDFS权限管理
HDFS权限管理
Flink+hadoop部署及Demo
上传并解压到3台服务器配置3台主机的hosts和免密登录。
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这
Hive SQL——explode拆分函数&多行(列)合并为一行(列)&reflect函数
Hive SQL —— explode 拆分函数
在mac上如何安装和搭建Hadoop集群
可以从 Hadoop 官网下载 Hadoop 安装包，或者通过 Homebrew 进行安装。Hadoop 需要依赖 Java 运行环境，因此需要先安装 Java。：设置 Hadoop 的通用参数，包括文件系统默认的 URI 和文件系统类型。：设置 MapReduce 的参数，包括 MapReduce
Hive自定义函数
本文章主要分享单行函数UDF（一进一出）现在前面大体总结，后边文章详细介绍自定义函数分为临时函数与永久函数需要创建Java项目，导入hive依赖创建类继承GenericUDF（自定义函数的抽象类）（实现函数）打成jar包，传到服务器上将jar包添加到hive的class path上临时生效通过hiv
