ES相关命令
ES命令大全
Kafka学习笔记1（千峰教育）
这个主题用来存放消费者消费某个主题的偏移量，因为每个消费者都会自己维护消费的主题的偏移量，也就是说每个消费者会把消费的主题的偏移量自主上报给kafka中的默认主题：consumer_offsets。集群中有多个broker，创建主题时可以指明主题有多个分区（把消息拆分到不同的分区中存储），可以为分区
聊聊kafka client性能调优及kafka最佳实践
其实可以看到producer的batch.size和linger.ms就是借鉴了tcp/ip的网络发送算法。tcp/ip的Nagle算法大致的规则如下如果包长度达到MSS，则允许发送如果包含FIN，则允许发送如果设置了TCP_NODELAY，则允许发送未设置TCP_CORK选项时，若所有发出去的小数
【DBeaver】驱动添加-Hive和星环
DBeaver 配置 hive驱动 星环驱动
大数据毕设项目 基于大数据的抖音短视频数据分析与可视化 - python 大数据 可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的抖音短视频数据分析与可视化🥇
RabbitMQ解决消息丢失以及重复消费问题
RabbitMQ如何解决消息丢失问题：生产者确认机制、持久化消息、消费者ACK确认机制、集群部署、预拉取策略调整、监控与告警基于Spring AMQP框架整合ACK/NACK机制RabbitMQ 如何实现幂等性设计：业务层幂等处理、确认模式选择、死信队列与重试策略、幂等服务设计、事务与补偿机制幂等服
Hadoop之MapReduce 详细教程
为了开发我们的 MapReduce 程序，一共可以分为以上八个步骤，其中每个步骤都是一个 class 类，我们通过 job 对象将我们的程序组装成一个任务提交即可。为了简化我们的 MapReduce 程序的开发，每一个步骤的 class 类，都有一个既定的父类，让我们直接继承即可，因此可以大大简化我
kafka下载与安装教程
kafka、zookeeper下载与安装教程.
25道RabbitMQ面试题含答案（很全）
RabbitMQ是一个开源的消息代理软件，使用Erlang语言编写，实现了高级消息队列协议（AMQP）。它提供了一种可靠的方式来在应用程序之间发送和接收消息，支持多种编程语言和平台。RabbitMQ的主要特点是灵活的消息路由、可扩展性和可靠性。它允许生产者将消息发送到交换机，交换机根据路由键或属性将
Apache Flink 进阶教程（六）：Flink 作业执行深度解析
Apache Flink 进阶教程（六）：Flink 作业执行深度解析
为什么flink那么受欢迎？
我们知道，Storm已经不流行了，目前几乎没有公司用。对于大数据开发，主流的就是Hadoop Spark和Flink，一般学习顺序也都是Hadoop——spark——Flink。现在也有很多人说Spark已经不行了，更倾向于学习和使用Flink。那是因为一些大厂例如阿里主要是使用Flink，双十一这
Hive实战：统计总分与平均分
在这次实战中，我们将深入探索Hive在大数据处理和分析中的应用。面对包含多个科目成绩的学生数据表，我们的目标是利用Hive框架计算每个学生的总分和平均分。通过实际操作，你将了解如何在虚拟机上准备数据文件，将其上传到HDFS，以及如何在Hive中创建表、加载数据和执行SQL查询。这个过程将展示Hive
Hive On Spark性能调优
我们公司yarn node节点的可用资源配置为：单台node节点可用资源数：核数33cores、内存110G。Hive on Spark任务的基础配置，主要配置对象包括：Executor和Driver内存，Executor配额，任务并行度。
【Kafka架构及应用】
总之，Kafka在大数据中的应用非常广泛，它为实时数据流处理、消息传递、日志收集和分析等场景提供了强大的支持。配置Kafka：在配置Kafka之前，需要了解和确定一些关键参数，如Kafka集群的名称、端口、数据存储目录等。通过将数据复制到多个Kafka集群中的主题，可以实现数据的冗余存储和容错性。选
【RabbitMQ】RabbitMQ详解(二)
先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到queue 里了，consumer 从 queue 取出消息 进行消费，但某些时候由于特定的原因导致 queue 中的某些消息无法被消费，这样的消
在pycharm中使用PySpark第三方包时调用python失败，求教
File "D:\python工具\python学习工具\第二阶段\test pyspark.py", line 48, in D:\python\python.exe "D:\python工具\python学习工具\第二阶段\test pyspark.py"python版本是3.12。进程已结束，
毕业设计 大数据抖音短视频数据分析与可视化(源码)
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的抖音短视频数据分析与可视化🥇
数据中心建设之——理解基于 Hadoop 生态的大数据技术架构
转眼间，一年又悄然而逝，时光荏苒，岁月如梭。当回首这段光阴，不禁感叹时间的匆匆，仿佛只是一个眨眼的瞬间，一年的旅程已成为过去，而如今又到了画饼的时刻了 ！
大数据学习之Hadoop
。
大数据-Linux基础命令（下篇）
用户相关命令、文件/文件夹权限、软件安装、控制服务开启关闭、软链接|硬链接、网络相关命令、进程管理、系统资源、上传下载、压缩解压、shell脚本
