【大数据之Hive】二十五、HQL语法优化之小文件合并
小文件优化可以从两个方面解决，在Map端输入的小文件合并，在Reduce端输出的小文件合并。
大数据Hadoop完全分布式及心得体会
认识hadoop，根据所学知识完成作业，并总结本学期心得体会。
一百零八、Kettle采集Kafka数据到HDFS（踩坑，亲测有效）
Kettle采集Kafka数据到HDFS
数据仓库-核心概念
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量及控制。
浏览器连不上 Flink WebUI 8081 端口
【代码】浏览器连不上 Flink WebUI 8081 端口。
数据仓库可扩展性：实现高效的数据仓库可处理性和数据治理自动化流程
作者：禅与计算机程序设计艺术 数据仓库是一个集成的、面向主题的、中心化的、支持多种数据源（比如结构化、非结构化、半结构化、时间序列等）、易于查询的存储区域。作为一种大规模数据仓库，其管理和维护往往需要有针对性地设计数据建模方法、分层模型、ETL工具和规范，还需考
Hadoop步骤二：设置免密码登录
Hadoop步骤二：安装SHH 一些常见的问题
Apache Kafka 使用详解
作者：禅与计算机程序设计艺术 1.简介Apache Kafka 是LinkedIn于2011年开源的一款分布式流处理平台，由Scala和Java编写而成。Kafka可以用于实时数据传输、日志聚合、应用指标监控等场景。本文主要介绍Kafka的使用方法，通过实例、图
RabbitMq深度学习
RabbitMQ是一个开源的消息队列中间件，它实现了高级消息队列协议（AMQP）。它被广泛用于分布式系统中的消息传递和异步通信。RabbitMQ提供了一种可靠的、可扩展的机制来传递消息，使不同的应用程序能够相互之间进行通信。它支持多种编程语言和平台，并且具有灵活的路由和队列配置选项。同步调用同步调用
org.apache.hadoop.io.nativeio.NativeIO$Windows.access0问题的解决
需在java项目中重新创建一个包,将NativeIO.java进行重写。NativeIO.java代码如下。修改之后,重新运行项目即可.
kafka详解
kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。
docker如何搭建Kafka
Kafka是一个分布式流处理平台，用于高吞吐量、低延迟的数据传输和处理。一般是用做分布式系统的消息中间件。
Hive 的 UDF 函数（Python 版本）
Python 实现 Hive 的 UDF 函数其实非常的简单
Kafka跨集群备份解决方案MirrorMaker
从本质上说，MirrorMaker 就是一个消费者 + 生产者的程序。消费者负责从源集群（Source Cluster）消费数据，生产者负责向目标集群（Target Cluster）发送消息。整个镜像流程如下图所kafka跨集群备份解决方案MirrorMaker示：MirrorMaker 连接的源集
Java（六）：Eureka项目搭建、数据请求
Eureka采用的是Server/Client的模式进行设计。Server扮演了服务注册中心的角色，为Client提供服务注册和发现的功能，维护着注册到自身的Client的相关信息，同时提供接口给Client获取到注册表中其他服务的信息。Client将有关自己的服务的信息通过一定的方式登记到Serv
SpringBoot实战项目整合RabbitMQ+ElaticSearch实现SKU上下架功能
最终实现效果：针对SKU的上下架1、后台选择SKU，点击上架，该SKU修改为上架状态2、同时向MQ发送消息3、服务监听收到消息后向Es中新增该SKU基本信息1、后台选择SKU，点击下架，该SKU修改为下架状态2、同时向MQ发送消息3、服务监听收到消息后向Es中删除该SKU基本信息那为什么一个上架的功
产业政策大数据 spolicy 爬虫逆向 解密 Py代码获取数据 较难 2023版
我们需要找到requeset的拦截器，可以看到这里有8个 axiosInstance，我们在可疑处打上断点。该网页直接按键盘f12无调试页面出来，chrome浏览器需要鼠标右键随后点击“检查"选项进入调试页面。多次点击单步调试发现在此处data会变成密文，这里无法跟栈，我们需要重新debug调试。我
kafka入门，节点服役和退役（新增节点和删除节点）(十二)
kafka入门，节点服役和退役（新增节点和删除节点）。
计算机毕设 基于大数据的招聘职业爬取与分析可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩 **基于大数据的招聘职业爬取与分析可视
kafka-3-kafka应用的核心要点和内外网访问
kafka应用的核心要点和内外网访问
