hive 环境配置
是适用于Windows的Docker桌面，是Docker设计用于在Windows 10上运行。它是一 个本地 Windows应用程序，为构建、交付和运行dockerized应用程序提供易于使用的开发环境。使用Windows原生Hyper-V虚拟化和网络，是在Windows上开发Docker应用程序的
【Hadoop】Yarn 任务管理指令
【代码】【Hadoop】Yarn 任务管理指令。
【超详细】HIVE 日期函数（当前日期、时间戳转换、前一天日期等）
【超详细】HIVE 日期函数（当前日期、时间戳转换、前一天日期等）常量：当前日期、时间戳前一天日期、后一天日期获取日期中的年、季度、月、周、日、小时、分、秒等时间戳转换秒 to 时间戳时间戳 to 秒日期 to 时间戳日期之间月、天数差
C#系列-C#访问hadoop API（9）
如果可能，考虑使用Java或其他受Hadoop生态系统直接支持的编程语言来编写Hadoop应用程序。的便利性和性能之间的权衡。如果性能是一个关键因素，并且你经常需要与。并非所有的Hadoop生态系统组件都有官方的C#客户端支持。然而，根据你的具体需求和项目规模，你可能需要权衡使用。生态系统直接支持的
大数据揭秘：Hadoop短视频流量分析实战
本文介绍了一个基于Hadoop的哔哩哔哩短视频流量数据处理与分析系统。该系统利用Java进行后端开发，结合SpringBoot框架简化了开发过程。前端采用Vue.js技术，实现数据的可视化展示。MySQL数据库用于存储和管理系统元数据。通过该系统，我们可以高效处理和分析短视频流量数据，为哔哩哔哩平台
用Hadoop搭建完全分布式集群
以上就是用Hadoop搭建完全分布式集群的方法。
hadoop群起集群并测试
hadoop集群启动
[hive] 本地xlsx 导入到hive
首先，将 xlsx 文件中的数据导出为 CSV 格式，这样更方便后续处理。可以使用 Excel 软件将 xlsx 文件另存为 CSV 格式。执行上述命令后，Hive 将会将 CSV 文件中的数据加载到指定的表中。在 Hive 中创建一个新表，用于存储导入的数据。表来验证数据是否成功导入。
Hive【内部表、外部表、临时表、分区表、分桶表】【总结】
分区提供了一个隔离数据和优化查询的可行性方案，但是并非所有的数据集都可以形成合理的分区，分区的数量也不是越多越好，过多的分区条件可能导致很多分区上没有数据。分桶表会将指定的列的值进行哈希散列，并对bucket（桶数量）取余，然后存储到对应的bucket中。分区表和分桶表的本质都是将数据按照不同粒度进
Hadoop运行环境搭建
（3）source一下/etc/profile文件，让新的环境变量PATH生效。（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本。 （1）新建/etc/profile.d/my_env.sh文件。（2）etc目录：Hadoop的配置文件目录，存放Ha
大数据Hadoop生态圈
存储： HDFS(namenode,datanode)计算：MapReduce(map+reduce，基于磁盘)便于用sql操作：Hive(核心 metastore，存储这些结构化的数据)，同类的还有Impala，hbase等基于yaml的资源调度hive ：通过 HQL访问，适合执行ETL，报表查
hive的应用场景
hive的具体应用
探索Hadoop的三种运行模式：单机模式、伪分布式模式和完全分布式模式
Hadoop作为一种强大的大数据处理框架，有多种运行模式，每种模式都适用于不同的使用场景。本文将介绍Hadoop的三种常见运行模式：单机模式、伪分布式模式和完全分布式模式。
Hadoop-Yarn-启动篇
1、用户执行./start-yarn.sh2、start-yarn.sh中依次启动resourceManager、nodemanager、proxyserver3、根据yarn命令和hadoop-functions.sh找到三个角色的启动类，并且在本地或者远程（通过ssh的方式）启动各自的java进
使用Hadoop和Nutch构建音频爬虫：实现数据收集与分析
随着音频内容在互联网上的广泛应用，如音乐、播客、语音识别等，越来越多的企业和研究机构希望能够获取和分析这些数据，以发现有价值的信息和洞察。而传统的手动采集方式效率低下，无法满足大规模数据处理的需求，因此需要利用自动化爬虫技术来实现音频数据的快速采集与处理。Hadoop：Hadoop是一个开源的分布式
【数仓】Hadoop软件安装及使用（集群配置）
Hadoop集群环境配置，环境准备以及实操步骤，详细介绍Hadoop集群的各个操作步骤
Flink应用场景
Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。(2
Windows10 Pyspark+Hadoop 环境配置
Hadoop 补丁包下载地址：https://github.com/kontext-tech/winutils，
【pentaho】kettle读取Hive表不支持bigint和timstamp类型解决。
时候kettle任务jdbc应提供为decimal类型(java 中是bigdecimal类型)的数据。这种仅仅是很难遇到的临界状态场景，其实可以忽略，所以把此判断去除直接让hive的。显示kettle认为此应该是decimal类型(kettle中是TYPE_BIGNUMBER或称BigNumber
Spark 基础概念
Spark1. Spark基础概念1.1 Spark概述1.2 Spark 四大特点运行速度快1.3 Spark 框架1.4 Spark 运行模式集群模式1.5 spark-shell1.6 Spark Application程序1.6 Spark Standalone集群模式 介绍Standalo
