10 Hadoop的安全模式及权限介绍
到达block的末端时，DFSInputSream关闭与该datanode的连接，然后寻找下一个block的最佳datanode。列表中的datanode会形成管线，DataStreamer将数据包发送给管线中的第一个datanode，第一个datanode将接收到的数据发送给第二个datanode
RabbitMQ高级
publish-returns：开启publish-return功能，同样是基于callback机制，不过是定义ReturnCallbacktemplate.mandatory：定义消息路由失败时的策略。
HBase在边缘计算领域的应用
1.背景介绍边缘计算(Edge Computing)是一种在数据生成的边缘设备上进行计算的方法，而不是将所有数据发送到远程数据中心进行处理。这种方法可以减少延迟、减少网络带宽需求，并提高数据处理效率。在大数据领域，边缘计算已经成为一种重要的技术方案。HBase是一个分布式、可扩展、高性能的列式存储系
k8s之flink的几种创建方式
在此之前需要部署一下私人docker仓库，教程注意：每台节点的daemon.json都需要配置并重启。
[spark] 将dataframe中的数据插入到mysql
在生产环境中，可以考虑使用更高效的方法，例如通过其他手段检查数据库中的行数，或者在插入数据时记录插入的行数，并在Spark中进行验证。是 Spark 提供的一种更方便的方式，用于将 DataFrame 中的数据写入关系型数据库。这个方法封装了连接数据库、创建表以及插入数据的整个过程，提供了一种更简洁
Spark核心--RDD介绍
rdd 弹性分布式数据集 是spark框架自己封装的数据类型，用来管理内存数据数据集：rdd数据的格式 类似Python中 []。hive中的 该结构[] 叫 数组rdd提供算子(方法) 方便开发人员进行调用计算数据在pysaprk中本质是定义一个rdd类型用来管理和计算内存数据分布式 ：
hadoop+MySQL离线与实时的离线与实时的电影推荐系统10338-计算机毕业设计项目选题推荐（免费领源码）
系统采用了B/S结构，将所有业务模块采用以浏览器交互的模式，选择MySQL作为系统的数据库，开发工具选择My eclipse来进行系统的设计。基本实现了离线与实时的电影推荐系统 应有的主要功能模块，本系统有管理员、用户两大功能模块，管理员：首页、网站管理（轮播图、公告消息）人员管理（管理员、普通用户
八种Flink任务监控告警方式
Flink任务告警方式的选择，要从任务的使用情况和期盼来考量；简单的使用，且任务少，可以用监控目标数据库的数据写入情况、per-job和application运行任务探活、Sesion运行方式通过RestApi来告警；特定场景的业务可以靠监控存储中间偏移量来告警；通用大规模应用场景可以通过采集运行时
eBPF系列之：DeepFlow 扩展协议解析实践（MongoDB协议与Kafka协议）
两者都存在一个共性问题，就是每增加一个协议，识别协议解码的效率相对降低可以通过配置的方式减少需解码的协议数量原生Rust扩展运行时的资源占用比插件低支持的功能比插件的丰富，且定制性更灵活在语言方面的开发难度比插件的大相对插件开发而言，新增协议需要改动的地方较多，还涉及到 Server 的一小部分代码
【SparkSQL】基础入门（重点：SparkSQL和Hive的异同、SparkSQL数据抽象）
本文重点介绍Spark SQL的定义、特点、发展历史、与hive的区别、数据抽象、SparkSession对象。
Hadoop详解
TaskTracker 会周期性地通过 Heartbeat 将本节点上资源的使用情况和任务的运行进度汇报给JobTracker， 同时接收 JobTracker 发送过来的命令并执行相应的操作（如启动新任务、 杀死任务等）。但需要注意的是，split 的多少决定了 Map Task 的数目 ，因为每
Spark原理——逻辑执行图
Spark原理——逻辑执行图
喜讯！美创和大数据局用户的数据安全实践被“北大”录取
此次建设打通了各监管单位，各行业之间的通路，消除单位间的间隔，做到不同单位之间的信息安全数据互通，打造了“风险预警、能力评估、落地调查、应急响应、处置整改”的全闭环管理模式，有效提升安全效果、提升安全运维和安全管理效率、展现安全成果，为全区数字化改革打造了纵深立体的安全屏障！数据安全管理平台提供南向
Flink异步IO初步了解
在EventTime中，以watermark为边界，介于两个watermark之间的消息是乱序的，但是多个watermark之间的消息是有序的。之前使用Flink查询Redis数据的过程中，由于对数据一致性的要求并不是很高，当时是用MapFunction + State 的方案。// result
Flink｜《Flink 官方文档》学习笔记目录
Try Flink：本地模式安装；基于 DataStream API 实现欺诈检测；基于 Table API 实现实时报表；Flink 操作场景实践练习：概览；DataStream API 简介；数据管道 & ETL；流式分析；事件驱动应用；容错管理概念透析：概览；有状态流处理；及时流处理；
Kafka生产消费流程
Kafka消费全流程
【数据仓库与联机分析处理】数据仓库工具Hive
Hive是基于Hadoop的一个数据仓库工具，十分适合对数据仓库进行统计分析。本篇文章介绍Hive的安装配置以及配置Hive元数据存储到MySQL。
大数据--分布式存储 Hadoop
HDFS（分布式文件系统）：解决海量数据存储MAPREDUCE（分布式运算编程框架）：解决海量数据计算YARN（作业调度和集群资源管理的框架）：解决资源任务调度。
Flink的简单使用
一句话总结，Flink就是一个分布式，高可用，高性能的流处理框架。
RabbitMQ
执行方式：在同步模式下，程序按照顺序执行，一次只处理一个任务，只有当前任务完成后才能开始下一个任务。响应方式：同步模式下，程序会一直等待当前任务完成后才能进行下一步操作。优点：简单直观，易于理解和调试；代码执行顺序明确，逻辑清晰。缺点：占用等待时间，效率相对较低；可能会阻塞主线程，导致应用程序无响应
