分布式SQL计算Hive入门（黑马程序员）Day2
Hive是一个基于Hadoop的数据仓库系统，它提供了类似于SQL的查询语言HiveQL，可以将结构化数据存储在Hadoop分布式文件系统中，并通过MapReduce进行过处理。作用： 删除参数指定的文件和目录，参数可以有多个，删除目录需要加-r参数 如果指定-skipTrash选项，那么在回收站可
如何8步完成hadoop单机安装
Hadoop是一个开源框架，用于存储和处理大规模数据集。
RabbitMQ--死信队列
死信顾名思义就是没办法被消费的消息；
伪分布式搭建Hadoop中消失的“DataNode”
我们在搭建hadoop中都会出现一些小小的问题，在伪分布式安装完Hadoop后，jps查看进程的时候缺三少两，今天解决的问题是6个进程中缺少了DataNode。
基于Doris的日志存储分析平台（同步Kafka日志数据）
【代码】基于Doris的日志存储分析平台（同步Kafka日志数据）
【RabbitMQ | 第六篇】消息重复消费问题及解决方案
该篇文章介绍了消息重复消费问题及解决方案，问题可能产生的两个阶段（生产消息多发、消费者重复消息）；解决方案：将消息发送时携带一个唯一id，消费方拿到消息时先去reids/db中有没有该数据，若没有则可以消费，否则不可以消费；并介绍了基于Redsi解决消息重复消费问题，①以队列名称为key，消息id为
RabbitMQ命令行监控命令详解
通过以上介绍的RabbitMQ监控命令，我们可以方便地查看RabbitMQ服务器的各种信息，从而更好地监控和管理RabbitMQ。在实际使用中，我们可以根据需要选择适当的命令进行监控。同时，我们还可以通过编写脚本或使用第三方监控工具，定期执行这些命令并将结果发送到指定的邮箱或监控系统，以实现自动化监
Apache RabbitMQ 的所有组件以及他是如何保证顺序消费消息的
Apache RabbitMQ 是一个开源消息队列系统，基于 Erlang 语言开发，实现了高级消息队列协议（AMQP）。RabbitMQ 提供了多种消息传递机制，包括点对点（direct）、发布/订阅（fanout）、路由（route）和事务（transactional）等。
「Kafka」Kafka生产数据和消费数据（三）
把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。把当前的DOS窗口当成Kafka的客户端，那么进行操
Kafka
具体来说，分区 0 的副本应该存储在 Broker 1 上，分区 1 的副本应该存储在 Broker 2 上，分区 2 的副本应该存储在 Broker 0 上。请注意，使用 replica-assignment 参数需要确保指定的副本分配是有效的，即每个副本都应该分配到一个活动的 Broker 上，
CDH集群hive初始化元数据库失败
链接的数据库和用户用的和刚开始初始化cm用的数据库用户是同一个，初始化失败。单独搞一个数据库用户给hive。链接的数据库和用户没给管理员权限。给用户DBA的权限。
【Kafka】消费者Consumer详解
一文吃透kafka消费者特性
kafka调优参考建议 —— 筑梦之路
这里主要是从不同使用场景来调优，仅供参考。
zookeeper快速入门一：zookeeper安装与启动
本文是zookeeper系列之快速入门中的第一篇，欢迎大家观看与指出不足。写在前面：不影响教程，笔者安装zookeeper用的是WSL(windows下的linux子系统），当然你想直接在windows上用zookeeper也是可以的。如果你也想用wsl，可以参考这篇文章。
Hadoop 常用端口号
请注意，这些是Hadoop组件的标准默认端口，实际部署过程中可以根据需要在配置文件中修改。同时，不同版本的Hadoop可能对某些端口有所调整，请以具体部署环境的实际配置为准。
Kafka数据积压的解决方案
生产上当一个大数据流式计算程序在消费 Kafka 数据时，可能会遇到某个 topic 中的数据生产速度远远超过消费速度，导致数据积压的问题，该如何解决？
Hadoop伪分布式集群的搭建
本文是基于jdk8和CentOS6配置的Hadoop伪分布式集群，步骤详细，希望能帮助到给位小伙伴们，有什么不足的请多多包含。
spark结课之tip2
spark常用方法总结：一、从内部创建RDD(1).通过并行化集合（Parallelized Collections）：可以使用SparkContext的parallelize方法将一个已有的集合转换为RDD。基本语法：parallelize(collection, numSlices=None)基
Kafka 实战 - Kafka生产者之消息发送流程及同步异步发送API
消息发送流程涉及以下几个关键步骤，同时提供同步和异步两种发送 API 供开发者选择，以适应不同场景的需求。通过理解 Kafka 生产者的消息发送流程以及同步与异步发送 API 的使用，开发者可以根据实际业务需求选择合适的发送模式，有效利用 Kafka 实现消息的高效、可靠传输。类的构造函数创建生产者
Hadoop核心技术
Hadoop生态系统是一个开源的分布式计算平台，由Apache软件基金会开发并维护。其核心组件主要包括HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）、MapReduce以及YARN（Yet Another Resource Negotiator，
