【RabbitMQ】可靠性策略（幂等，消息持久化）
为了确认消费者是否成功处理消息，RabbitMQ提供了消费者确认机制，当消费者处理消息结束后，应该向RabbitMQ发送一个回执，告知RabbitMQ自己消息处理状态。幂等是一个数学概念，用函数表达式来描述是这样的：f(x)=f(f(x)),在程序开发中，则指同一个业务，执行一次或多次对业务状态的影
Spark--Scala基础知识总结（第二章）
了解数据类型Scala常用数据类型数据类型描述Int32位有符号补码整数。数值区间为−3276832767Float32位IEEE754IEEE浮点数算术标准）单精度浮点数Double64位IEEE754IEEE浮点数算术标准）双精度浮点数String字符序列，即字符串Boolean布尔值，true
数据仓库项目---Day01
只需要研发人员集成采集 SDK，不需要写埋点代码，业务人员就可以通过访问分析平台的“圈选”功能，来“圈”出需要对用户行为进行捕捉的控件，并对该事件进行命名。例如，我们对页面中的某个按钮埋点后，当这个按钮被点击时，可以在这个按钮对应的 OnClick 函数里面调用SDK提供的数据发送接口，来发送数据。
Hadoop 的预制菜溯源预测系统设计与实现
通过给预制菜添加唯一识别编码，完善预制菜加工信息的添加识别，规范预制菜溯源过程中所出现的信息，如质检报告、运输报告等，建立预制菜质量追溯数据库，实现食用预制菜全生产过程的可溯源性。对预制菜的销售商来说，这种可靠的、可追溯质量的预制菜能让消费者有更高的认可度，提高消费者的购买意愿，提高商品的市场价值；
Mac 配置Hadoop、spark、Scala、jdk
注意：如果后面有进程没有启动成功时，切记 查看进程（在安装目录下的 logs 目录），然后有关 没有匹配的目录类型的日志报错的话，多半是在最开始配置中有错误然后没有重新生成对应的目录及文件！所以重新执行此命令大概率就解决了。下载安装（此用到的是2.12版本)
Hadoop与hdfs的认知讲解
HDFS（Hadoop Distributed File System）是Hadoop项目的一个子项目，也是Hadoop的核心组件之一。它是一个分布式文件系统，设计用于存储大型数据，如TB和PB级别的数据。文件分块存储：在HDFS中，文件在物理上是分块存储的。块的大小可以通过配置参数（dfs.blo
【机器学习】机器学习与AI大数据的融合：开启智能新时代
在当今信息爆炸的时代，大数据和人工智能（AI）已经渗透到我们生活的每一个角落。机器学习作为AI的核心技术之一，与大数据的结合为我们提供了前所未有的机会，从海量数据中挖掘出有价值的信息，进而推动科技的进步和社会的进步
Spark中各类方法总结
在进行处理时， reduceByKey (）方法将相同键的前两个值传给输入函数，产生一个新的返回值，新产生的返回值与 RDD 中相同键的下一个值组成两个元素，再传给输入函数，直到最后每个键只有一个对应的值为止。使用 flatMap (）方法时先进行 map （映射）再进行 flat （扁平化）操作，
开源大数据集群部署（十三）Ranger 集成Trino
作者：櫰木。
Kafka 生产者应用解析
可以根据实际需要，自定义实现分区器。示例：自定义分区 发送过来的数据中如果包含 hello，就发往 0 号分区，不包含 hello，就发往 1 号分区。# 自定义分区 发送过来的数据中如果包含 hello，就发往 0 号分区，不包含 hello，就发往 1 号分区。""":function: 自定义
FlinkAPI开发之自定义函数UDF
用户自定义函数（user-defined function，UDF），即用户可以根据自身需求，重新实现算子的逻辑。。
想学高并发技能，这些常用的消息中间件（ RabbitMQ、Kafka、ActiveMQ、Redis、NATS ）你要必知
对于全栈或者后端工程师来说，解决高并发是一个必备的技能，一说到高并发时，我们第一反应是分布式系统，那么，消息中间件（RabbitMQKafkaActiveMQRedisNATS等）的出现是为了解决分布式系统中的消息传递和异步通信的问题，以及提供可靠的消息传递机制。它们在不同的场景和需求下提供了各自的
毕设项目 基于大数据的招聘与租房分析可视化系统
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的招聘与租房分析可视化系统🥇学
Kafka 实战 - Kafka之offset位移及漏消费和重复消费
在 Apache Kafka 中，消费者通过跟踪和管理消息的 offset（位移）来记录其消费进度。offset 是消息在分区中的唯一标识，反映了消费者已消费消息的边界。通过深入理解 Kafka 的 offset 机制，排查和解决消息漏消费、重复消费的问题，并遵循位移管理的最佳实践，可以确保 Kaf
ubuntukylin-22.04.1安装Hive、MySQL、配置Hive及Hive连接MySQL操作
ubuntu系统下安装Hive、MySQL、配置Hive及Hive连接MySQL详细操作（附过程图）
Spark编程实验四：Spark Streaming编程
通过本实验掌握Spark Streaming的基本编程方法；熟悉利用Spark Streaming处理来自不同数据源的数据。熟悉DStream的各种转换操作。熟悉把DStream的数据输出保存到文本文件或MySQL数据库中。
Python大数据-电商产品评论情感数据分析，下血本买的
五、 数据分析=======评论数据情感倾向分析。
【大数据，数仓】各大数据存储 分析架构简介及对比
4、**目的：**数据仓库的好处之一是存储空间不会浪费在可能不会使用的数据上，所以数据仓库仅保存已用于特定目的的已处理数据。3、**成本：**存储在数据仓库中的成本可能很高，尤其是在有大量数据的情况下，而数据湖是专为低成本数据存储而设计，成本更低廉。5、**用户：**数据仓库主要由熟悉已处理数据主题
windows rabbitmq 问题记录
rabbitmq An unexpected connection driver error occurred (Exception message: Connection reset)
