hadoop+MySQL离线与实时的离线与实时的电影推荐系统10338-计算机毕业设计项目选题推荐（免费领源码）
系统采用了B/S结构，将所有业务模块采用以浏览器交互的模式，选择MySQL作为系统的数据库，开发工具选择My eclipse来进行系统的设计。基本实现了离线与实时的电影推荐系统 应有的主要功能模块，本系统有管理员、用户两大功能模块，管理员：首页、网站管理（轮播图、公告消息）人员管理（管理员、普通用户
八种Flink任务监控告警方式
Flink任务告警方式的选择，要从任务的使用情况和期盼来考量；简单的使用，且任务少，可以用监控目标数据库的数据写入情况、per-job和application运行任务探活、Sesion运行方式通过RestApi来告警；特定场景的业务可以靠监控存储中间偏移量来告警；通用大规模应用场景可以通过采集运行时
eBPF系列之：DeepFlow 扩展协议解析实践（MongoDB协议与Kafka协议）
两者都存在一个共性问题，就是每增加一个协议，识别协议解码的效率相对降低可以通过配置的方式减少需解码的协议数量原生Rust扩展运行时的资源占用比插件低支持的功能比插件的丰富，且定制性更灵活在语言方面的开发难度比插件的大相对插件开发而言，新增协议需要改动的地方较多，还涉及到 Server 的一小部分代码
【SparkSQL】基础入门（重点：SparkSQL和Hive的异同、SparkSQL数据抽象）
本文重点介绍Spark SQL的定义、特点、发展历史、与hive的区别、数据抽象、SparkSession对象。
Hadoop详解
TaskTracker 会周期性地通过 Heartbeat 将本节点上资源的使用情况和任务的运行进度汇报给JobTracker， 同时接收 JobTracker 发送过来的命令并执行相应的操作（如启动新任务、 杀死任务等）。但需要注意的是，split 的多少决定了 Map Task 的数目 ，因为每
Spark原理——逻辑执行图
Spark原理——逻辑执行图
喜讯！美创和大数据局用户的数据安全实践被“北大”录取
此次建设打通了各监管单位，各行业之间的通路，消除单位间的间隔，做到不同单位之间的信息安全数据互通，打造了“风险预警、能力评估、落地调查、应急响应、处置整改”的全闭环管理模式，有效提升安全效果、提升安全运维和安全管理效率、展现安全成果，为全区数字化改革打造了纵深立体的安全屏障！数据安全管理平台提供南向
Flink异步IO初步了解
在EventTime中，以watermark为边界，介于两个watermark之间的消息是乱序的，但是多个watermark之间的消息是有序的。之前使用Flink查询Redis数据的过程中，由于对数据一致性的要求并不是很高，当时是用MapFunction + State 的方案。// result
Flink｜《Flink 官方文档》学习笔记目录
Try Flink：本地模式安装；基于 DataStream API 实现欺诈检测；基于 Table API 实现实时报表；Flink 操作场景实践练习：概览；DataStream API 简介；数据管道 & ETL；流式分析；事件驱动应用；容错管理概念透析：概览；有状态流处理；及时流处理；
Kafka生产消费流程
Kafka消费全流程
【数据仓库与联机分析处理】数据仓库工具Hive
Hive是基于Hadoop的一个数据仓库工具，十分适合对数据仓库进行统计分析。本篇文章介绍Hive的安装配置以及配置Hive元数据存储到MySQL。
大数据--分布式存储 Hadoop
HDFS（分布式文件系统）：解决海量数据存储MAPREDUCE（分布式运算编程框架）：解决海量数据计算YARN（作业调度和集群资源管理的框架）：解决资源任务调度。
Flink的简单使用
一句话总结，Flink就是一个分布式，高可用，高性能的流处理框架。
RabbitMQ
执行方式：在同步模式下，程序按照顺序执行，一次只处理一个任务，只有当前任务完成后才能开始下一个任务。响应方式：同步模式下，程序会一直等待当前任务完成后才能进行下一步操作。优点：简单直观，易于理解和调试；代码执行顺序明确，逻辑清晰。缺点：占用等待时间，效率相对较低；可能会阻塞主线程，导致应用程序无响应
SpringBoot项目连接,有Kerberos认证的Kafka
Kerberos是一种计算机网络认证协议 ，其设计目标是通过密钥系统为网络中通信的客户机(Client)/服务器(Server)应用程序提供严格的身份验证服务，确保通信双方身份的真实性和安全性。不同于其他网络服务，Kerberos协议中不是所有的客户端向想要访问的网络服务发起请求，他就能建立连接然后
大数据人工智能：实现自动化与智能化的关键技术
1.背景介绍大数据人工智能(Big Data AI)是指利用大数据技术来实现数据的智能化处理和自动化管理，以提高企业和社会的效率和智能化程度。在当今的数字时代，数据量不断增长，人工智能技术不断发展，大数据人工智能成为了企业和社会的必须技术。大数据人工智能的核心是将大量的数据进行挖掘和分析，从而为企业
Zookeeper-Zookeeper选举源码
3、画图做笔记：总结框架的一些核心功能点，从这些功能点入手深入到源码的细节，边看源码边画源码走向图，并对关键源码的理解做笔记，把源码里的闪光点都记录下来，后续借鉴到工作项目中，理解能力强的可以直接看静态源码，也可以边看源码边debug源码执行过程，观察一些关键变量的值。2、抓主线：找一个demo入手
RabbitMQ常见问题之消息可靠性
MQ生产者消息确认消息持久化消费者消息确认消费失败重试机制。
【PySpark】Python 中进行大规模数据处理和分析
Apache Spark 是一个开源的大数据处理框架，提供了高效、通用、分布式的大规模数据处理能力。Spark 提供了内存计算功能，相较于传统的批处理框架（如Hadoop MapReduce），Spark 能够更高效地执行数据处理任务。Spark 将中间数据存储在内存中，减少了磁盘 I/O，从而加速
Dinky创建Flink实例报错
本文介绍了Dinky创建Flink实例失败的问题描述及解决方法，报错信息为Duplicate entry 'yarn-session-1.13-1' for key 'dlink_cluster_un'
