【004hive基础】hive的文件存储格式与压缩
hive文件存储格式与压缩
大数据---聚类分析概述及聚类评估
分类划分方法：将有n个对象的数据集D划分成k个簇，并且k≤n，满足如下的要求：规定k=2,即划分为两个簇然后先随机选取两个红色的点作为聚类中心,然后通过计算其他点与中心点的距离来划分簇,当此次划分完成后通过计算均值来重新定义聚类中心,然后重复上述过程来重新划分簇.直到最后发现此次形成的簇与上一次相同
spark 窗口滑动用于在不同的数据块之间执行操作
在 Scala 中进行分布式执行，例如使用 Apache Spark，可以通过设置窗口滑动来实现不同 RDD 之间的关联处理。窗口滑动是一种窗口操作，用于在不同的数据块之间执行操作。请注意，此示例假设你已经在本地启动了一个 Spark Streaming 的环境，并通过 socket 接收数据。在实
Kafka ACL（SASL/SCRAM-SHA-256）动态权限管理【windows】
Window系统下配置Kafka ACL SASL/SCRAM-SHA-256 模式动态权限管理
HDFS概述及其优缺点
HDFS的全称是hadoop distributed file system，即hadoop的分布式文件系统。见名知意，它就是用来进行文件存储的。毕竟它是大数据的一个组件，用来存储这种海量的数据。它是基于03年10月份，谷歌发表的GFS这篇论文做的开源实现。目前是hadoop的一个核心子项目，用来解
大数据技术原理与应用-林子雨版-第二章课后习题
在配置 Hadoop 时，Java 的路径 JAVA_HOME 是在 Hadoop 的环境变量配置文件中进行设置的。默认情况下，Hadoop 会在其安装目录下的 etc/hadoop 目录中包含一个名为 hadoop-env.sh 的文件，该文件定义了 Hadoop 的环境变量配置信息，其中包括 J
Flink 系列文章汇总索引
某一知识点，并辅以具体的示例进行说明。本专栏的文章编号可能不是顺序的，主要是因为写的时候顺序没统一，但相关的文章又引入了，所以后面就没有调整了，按照写文章的顺序进行编号。但一个专题的顺序号是统一的，不存在编号跳跃情况。
kafka3.6.0部署
该命令的目的是启动一个 Kafka 生产者，将消息发送到 luo 主题，并使用 192.168.1.60:9092 作为 Kafka 集群的地址。下载https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz。上面的案例启动了
【ES实战】索引生命周期管理（一）
索引生命周期管理
Spark---资源、任务调度
例如：要找出网站活跃的前10名用户，活跃用户的评测标准就是用户在当前季度中登录网站的天数最多，如果某些用户在当前季度登录网站的天数相同，那么再比较这些用户的当前登录网站的时长进行排序，找出活跃用户。1、默认情况每个worker为当前的Application启动一个Executor，这个Executo
SpringCloud--Eureka注册中心
Spring Cloud 封装了 Netflix 公司开发的 Eureka 模块来实现服务注册和发现。Eureka 采用了 C-S 的设计架构。Eureka Server 作为服务注册功能的服务器，它是服务注册中心。而系统中的其他微服务，使用 Eureka 的客户端连接到 Eureka Server
程序员杂谈：探讨程序员的商业认知—盈利思维方式【文末送书-08】
程序员杂谈：探讨程序员的商业认知—盈利思维方式【文末送书-08】程序员的商业认知和盈利思维方式对于成功在科技行业中发展至关重要。以下是一些探讨程序员商业认知和盈利思维方式的关键方面：
Android应用集成RabbitMQ消息处理指南
最近工作繁忙，好久没有更新博文了。对于互联网饱和的今天，如何做到不同系统之间传递信息与通信？在实际项目中，多个端例如：ios、android、pc、小程序采用从RabbitMQ上获取实时包消息，然后根据此实时包消息来做响应处理。随着互联网技术的发展，系统之间的耦合度越来越高。为了实现系统间的解耦，消
【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive
本需求将模拟从MySQL中向Hive数仓中导入数据，数据以时间分区。测试两种导入场景，一种是将数据全量导入，即包含所有时间分区；另一种是每天运行调度，仅导入当天时间分区中的用户数据。mysql表建表语句：hive注意字段时间戳，我们将从以上MySQL向Hive导入数据。编写datax的json脚本"
云计算与海量数据管理实验
云计算与海量数据管理实验
HIVE内表与外表的区别
hive内外表的区别，主要总结六点区别
Spark与PySpark(1.概述、框架、模块)
大规模数据处理的统一分析引擎弹性分布式数据集（即RDD)的概念。
Zookeeper(服务注册中心)安装以及启动服务
ZooKeeper是一个分布式的开源协调服务，用于管理和协调大规模分布式系统中的各种任务。它提供了一个简单的分层命名空间，以及对数据的强一致性（ACID特性）和高可用性的支持。ZooKeeper提供了一个类似文件系统的层次结构，这个结构类似于一个简化版的文件系统，用于组织和存储数据。Zookeepe
腾讯云国际-如何使用对象存储COS在 CKafka 控制台创建数据异步拉取任务？腾讯云代充
Datahub 支持接入各种数据源产生的不同类型的数据，统一管理，再分发给下游的离线/在线处理平台，构建清晰的数据通道。本文以 COS 数据为例介绍如何在 CKafka 控制台创建数据异步拉取任务，并对任务进行修改配置，帮助用户更好地了解数据接入功能。关联unirech注册腾讯云国际站账号，量大优惠
【DataSophon】大数据服务组件之Flink升级
DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。为设计出轻量级，高性能，高可扩的，可满足国产化环境要求的大数据集群管
