Hadoop mapreduce课程设计-全球历史平均气温数据分析
例如：随着大数据的不断发展，hadoop这门技术也越来越重要，很多人都开启了学习大数据之路。此次课程设计，我们采用mongodb作为存储，javaweb作为前端，echarts作为可视化工具，kettle和pandas作为数据清洗工具。使用底层mapeduce作为大数据计算。mongodb数据库：它
手机短信注册验证与登录功能
手机短信注册验证与登录功能
Flink系统架构
Flink 的运行时架构中，最重要的就是两大组件：作业管理器（JobManger）和任务管理器（TaskManager）。对于一个提交执行的作业，JobManager 是真正意义上的“管理者”（Master），负责管理调度，所以在不考虑高可用的情况下只能有一个；而 TaskManager 是“工作者
大数据高频面试题一：hive和Oracle的区别
从传统数据库转到大数据的必问题目
Python爬虫数据入库
Python爬虫数据导入数据库详细代码教程
Java整合Kafka实现生产及消费
Java整合Kafka。生产者参数配置、消费参数配置、生产自定义分区策略、生产到指定分区、设置offset根据时间戳获取 offset指定从头开始消费指定从某offset开始消费
高德新版全类别AOI采集与分析
AOI（Area of Interest），顾名思义，指的是互联网电子地图中的兴趣面，同样包含四项基本信息，主要用于在地图中表达区域状的地理实体，如一个居民小区、一所大学、一个写字楼、一个产业园区、一个综合商场、一个医院、一个景区或一个体育馆等等；有2022百度poi；交通网络分析，计算公交线路及站
XJTU-SY数据集轴承故障诊断
XJTU-SY数据集轴承故障诊断
springboot 用rocketmq实现批量消息，亲测可用
本地测试，一定要启动rocketmq ,否则报错。启动方式请百度。1.创建Springboot项目，添加rockermq 依赖2.配置rocketmq# 端口server:# 配置 rocketmqrocketmq:#生产者#生产者组名，规定在一个应用里面必须唯一#消息发送的超时时间 默认3000m
虚拟机Ubuntu安装Hadoop（伪分布式安装）
1.创建hadoop用户在终端输入为hadoop用户设置密码,连续输入两次密码即可为Hadoop用户增加管理员权限，避免以后的麻烦这里我们切换到hadoop用户，进行下一步操作2.ssh的安装以及设置免密登录检测ssh是否安装，有sshd说明已经启动这边我们还需要安装ssh server，这边又ye
eureka的搭建、配置、运行
eureka的搭建、运行（需要对eureka有一定的了解，主要是帮助你在新机快速搭建eureka）
Flink 通过批量和CDC两种方式读取MySQL数据入Iceberg
Flink JDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入其中。本文档介绍如何设置 JDBC 连接器以针对关系数据库运行 SQL 查询。如果在 DDL 上定义了主键，则 JDBC sink 以 upsert 模式与外部系统交换 UPDATE/DELETE 消息，否则
Hadoop学习之SSH免密登录配置(以三台虚拟机为例，完全分布式)
HadoopSSH免密登录配置，完全分布式安装
DataX实现mysql全量数据同步到hdfs
DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据 库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高 效的数据同步功能。
KafKa存储机制
Kafka 是为了解决大数据的实时日志流而生的, 每天要处理的日志量级在千亿规模。1. 数据实时产生2. 海量数据存储与处理所以它必然要面临分布式系统遇到的高并发、高可用、高性能等三高问题。对于 Kafka 的存储需要保证以下几点：1. 存储的主要是消息流（可以是简单的文本格式也可以是其他格式，对于
SpringAMQP （RabbitMQ五种模式 & 消息转换器）
一、简化Hello World模型实现步骤演示 代码步骤演示如下所示：消息提供者publisher代码简化：消息消费者consumer代码简化：二、Work Queue 工作队列模型消息提供者代码如下所示：消息消费者代码如下所示：消息预取机制： 三、发布订阅模型而订阅模型是什么呢：3.1、Fanou
CentOS7安装kafka3.3.1集群----(不使用zookeeper)
参考: 【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将zookeeper去掉。上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller
基于大数据平台的毕业设计
前言最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的…所以就抽空写一写自己毕业设计的一个思路，大数据是我实习自学的，这个思路是我当初自己想的，就当做一份参考吧。在我毕业那年，同学们毕业设计大多都是以Java语言开发的各种管理系统、xx商城为主，包括我刚开始的
Flink SQl 语法(hint,with,select,分组窗口聚合，时间属性（处理，事件）)
6、Flink SQl 语法1、查询语句1、hint在对表进行查询的是偶动态修改表的属性-- 创建表CREATE TABLE word ( lines STRING) WITH ( 'connector' = 'kafka', 'topic' = 'word', 'properties
Hive中的建表方式
hive中的建表语法，查看表结构方式
