Docker搭建hadoop和spark集群
在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。6.拉取的镜像的环境变量默认配置在/etc/profile中。6.拉取的镜像的环境变量默认配置在/etc/profile中。选择co
毕设成品 python大数据房价预测与可视化系统
# 0 简介今天学长向大家介绍一个适合作为毕设的项目毕设分享 python大数据房价预测与可视化系统项目获取：https://gitee.com/assistant-a/project-sharing对于数据挖掘工程师来说，有时候需要抓取地理位置信息，比如统计房子周边基础设施信息，比如医院、公交车站
Flink CDC详解
CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。Flink CDC本质是一组数据源连接器，使用更改数据捕获(CDC)从不同的数据库
Hadoop
128+8)，对应了4个Split(3。
【flink报错】flink cdc无主键时的操作
flink cdc无主键的问题
RabbitMQ控制台的基本使用
启动RabbitMQ后，浏览器打开RabbitMQ的控制台页面后，登录默认账户guest。
基于大数据+Spark电力能耗数据分析与可视化平台设计与实现
随着经济的发展和人口的增加，能源消耗也在不断增加。电力作为人们生产和生活中不可或缺的一部分，对于能源消耗的贡献也非常大。传统的电力供应模式已经无法满足人们对电力的需求，同时也带来了环境污染等问题。如何优化电力供应模式，提高能源利用效率，成为了当前亟待解决的问题。而电力能耗数据分析正是解决这一问题的有
消息驱动：如何使用 Rabbit Template 集成 RabbitMQ？
上图中，不同的路由算法存在不同的 Exchange 类型，而 AMQP 规范中指定了直接式交换器（Direct Exchange）、广播式交换器（Fanout Exchange）、主题式交换器（Topic Exchange）和消息头式交换器（Header Exchange）这几种 Exchange
国产4纳米量产，吓坏了海外光刻机行业，日本和ASML赶紧示好
在中国芯片企业宣布4纳米小芯片量产后，光刻机行业的ASML和日本光刻机都纷纷向中国示好，其中ASML更是在2022年底加快了对中国出口光刻机的进度，再次证明了只要中国芯片技术取得突破，海外芯片行业就会迅速低头示好。美国以为只要限制全球芯片设备行业给中国供应相应的设备，例如ASML的EUV光刻机，那么
zookeeper的内部数据模型
zk通过两种形式的持久化，在恢复时先恢复快照文件的中的数据导内存中，在利用日志文件中的数据做增量恢复，这样恢复的速度更快。如果该节点为临时节点,ephemeralOwner值表示与该节点绑定的sessionid. 如果该节点不是临时节点,ephemeralOwner值为0。zk把执行的命令以日志的形
【Ambari】Docker 安装Ambari 大数据单机版本
1.1 部署 docker1.2 部署 docker-compose创建网络1.3 版本说明组件版本操作系统ambari2.7.4HDP3.1.4HDP-GPL3.1.4HDP-UTILS1.1.0.22JDK如下安装只做测试。二 、镜像构建启动2.1 系统镜像构建系统镜像构建2.2 安装包源镜像构
spark上如何终止目前正在运行的任务
命令提交任务，并通过 Spark Web UI 监控任务的执行状态。如果想要终止正在运行的 Spark 任务，可以在 Spark Web UI 中找到该任务，并点击“Kill”按钮来停止该任务的执行。是 Spark 应用程序在 YARN 上的应用 ID，可以在 Spark Web UI 或者命令行中
Java基于大数据的汽车流量监控(源码+mysql+文档)
通过利用大数据技术对城市交通流量进行实时监测和预测，可以提高交通管理的科学性和精确性，提高道路通行效率，为城市规划和建设提供参考，从而有效缓解交通拥堵问题，提升城市的整体交通运输能力和居民的出行体验。通过对大量交通数据的收集和分析，可以更准确地了解城市交通流量的变化规律和趋势，为交通管理部门提供科学
Flink背压问题：从原理到源码
Flink对于背压的处理是通过在任务传递之间设置有界容量的数据缓冲区，当整个管道中有一个下游任务速度变慢，会导致缓存区数据变满，上游任务获取不到可用的缓冲区，自然而然地被阻塞和降速，这就实现了背压。不同taskManager通信通过Netty， Netty的 Buffer 是无界的，但可以设置 Ne
Spring Cloud 学习系列：（二）微服务的注册与发现——Eureka
pomimport2.1、右键工程->创建module-> 选择spring initialir 如下图：2.2、填好自己的项目名2.3、选择cloud discovery->eureka server ,然后一直下一步就行了。2.4、创建完后的工程，其pom.xml继承了父pom文件，并引入spr
修改 RabbitMQ 默认超时时间
RabbitMQ默认的超时时间是30分钟，30分钟内一直无消息消费的话，则RabbitMQ会将Channel销毁，无法继续消费，导致代码报错。代码没动过，网络也ok，也设置了心跳和重连机制。PS，看到有篇文章也详细讲解了BUG的原因以及解决方法，又重复造轮子了.......方案二：修改业务，定时发送
Kafka-ACK机制（ack应答原理、冥等性、事务）
Kafka ACK机制
RabbitMQ的用途
RabbitMQ主要有四个用途，分别是应用解耦、异步提速、削峰填谷、消息分发。
搭建 canal 监控mysql数据到RabbitMQ
搭建 canal 监控mysql数据到RabbitMQ
hive中如何取交集并集和差集
也可以使用 INTERSECT 关键字。也可以使用 except关键字。
