2023_Spark_实验三十：测试Flume到Kafka
flume监控指定文件，shell+crontab模拟实时数据，kafka存储flume生产者的数据，使用kafkatools查看kafka主题
zookeeper连接客户端操作数据时报错Socket is not connected
zookeeper客户端连接报错：org.apache.zookeeper.ClientCnxnSocketNIO - Ignoring exception during shutdown inputjava.net.SocketException: Socket is not connected
Flink SQL 时区 -- 时间字符串转时间戳并转换时区
Flink SQL 时区 -- 时间字符串转时间戳并转换时区
【大数据-Hadoop】从入门到源码编译-概念篇
2011年成立，吸纳Hadoop的雅虎程序员贡献了80%的Hadoop代码，文档较好，Hortonworks Data Platform（HDP）还包括了Ambari（开源的安装和管理系统）。存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限）、以及每个文件的块列表和块所
Python过气，Hadoop凉了？零基础项目实战诠释何为经典
????导读工欲善其事，必先利其器。Python 作为一种跨平台的编程语言，具有解释性、变异性、交互性和面向对象的特点，可应用于独立的项目开发。今天，我们特邀了公众号“冰河技术”作者、腾讯云 TVP 冰河老师，他将为我们带来基于 Python+Hadoop 手把手教学如何实现单词统计。????目录1
基于 Flink CDC 构建 MySQL 的 Streaming ETL to MySQL
CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛：• 数据同步：用于备份，容灾；• 数据分发：一个数
大数据课设-2020年美国新冠肺炎疫情数据分析
大数据课设-2020年美国新冠肺炎疫情数据分析
Flink Kafka[输入/输出] Connector
本章重点介绍生产环境中最常用到的。使用Flink的同学，一定会很熟悉kafka，它是一个分布式的、分区的、多副本的、 支持高吞吐的、发布订阅消息系统。生产环境环境中也经常会跟kafka进行一些数据的交换，比如利用读取数据，然后进行一系列的处理之后，再将结果写出到kafka中。这里会主要分两个部分进行
hadoop01_完全分布式搭建
（计算的数据存在Linux本地，在一台服务器上 自己测试）、（和集群接轨 HDFS yarn，在一台服务器上执行）、。：（hadoop默认安装后启动就是本地模式，就是将来的数据存在Linux本地，并且运行MR程序的时候也是在本地机器上运行）：伪分布式其实就只在一台机器上启动HDFS集群，启动YARN
Hadoop 重启流程
5. 到每一个子节点 hdfs --daemon stop datanode;因原有配置密钥目录有误，需要重启Hadoop集群 3个节点，Hadoop版本3.3.2。4.主节点 hdfs --daemon start journalnode。2、主节点删除所有的临时目录 log日志，包含在xml设定
大数据毕业设计：基于python商品数据采集分析可视化系统 淘宝数据采集 大数据 大屏可视化（附源码+论文）✅
大数据毕业设计：基于python商品数据采集分析可视化系统 淘宝数据采集 大数据 大屏可视化（附源码+论文）✅
中间件之Kafka第一篇
简介Apach Kafka是一款分布式流处理平台，用于实时构建流处理应用。它有一个核心的功能广为人知，即作为企业级的消息引擎被广泛使用。作用解耦：短信发送成功后，需要通知A、B、C、D等服务，我们只管发送到MQ不用耦合一个个通知其他服务。通道商回调通知短信发送情况，需要通知A、B、C、D等服务，我们
Flink电商实时数仓（三）
维度层的重点和难点在于实时电商数仓需要的维度信息一般是动态的变化的，并且由于实时数仓一般需要一直运行，无法使用常规的配置文件重启加载方式来修改需要读取的ODS层数据，因此需要通过Flink-cdc实时监控MySql中的维度数据配置信息表，实时动态的发布广播信息。主流数据根据广播数据及时调整处理逻辑，
ARL灯塔安装与使用
这里子域名替换，原先自带的是2w的字典，但是在github上有很多公开的很多子域名的字典，直接替换就可以了，其实这里，不单单是子域名能够替换，还有很多文件都可以替换。系统配置建议：CPU:4线程 内存:8G 带宽:10M。有些我也搞不到，想修改或者加强还需自己添加呀，这里也附上官网地址，具体的使用就
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
本篇教程由作者本人进行修改，原教程为厦门大学数据库实验室/林子雨出品，本篇教程针对VMware软件的使用以及Ubuntu的安装，点此下载（此处包含hadoop、Ubuntu以及jdk1.8）有其他需求可另行下载。
大数据讲课笔记5.1 初探MapReduce
1. 理解MapReduce核心思想；2. 掌握MapReduce编程模型；3. 理解MapReduce编程实例——词频统计
kafka学习（第三部分）
这部分是学习消费者侧相关的内容，主要是消费位移，以及kafka储存相关内容。
RabbitMQ中方法channel.basicAck的使用说明
通过设置multiple参数，可以实现批量确认消息的功能。如果消费者处理消息的速度很快，可以将其设置为true,一次性确认多条消息，提高处理效率。但如果消费者处理消息的速度比较慢，可能会导致消息堆积，造成内存占用过高。因此，在实际使用中需要根据实际情况来确定是否需要批量确认消息。在RabbitMQ中
基于hadoop+MapReduce+Java大数据清洗和分析的基本操作流程
MapReduce 是面向大数据并行处理的计算模型、框架和平台。它利用"Map（映射）“和"Reduce（归约）”，将程序运行在分布式系统中，通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性。这次实验利用本机 hadoop 环境完成实验内容操作，之后我会结合在大数据存储系统这门课上所学的知
主流MQ [Kafka、RabbitMQ、ZeroMQ、RocketMQ 和 ActiveMQ]
下面是关于主流的 Kafka、RabbitMQ、ZeroMQ、RocketMQ 和 ActiveMQ 的一些介绍：Kafka 是一个分布式流处理平台，设计用于处理高吞吐量的实时数据流。它具有高可靠性、可扩展性和持久性，适用于构建实时数据管道和流式处理应用程序。Kafka 使用发布-订阅模型，消息以主
