【Flink---02】Flink开发环境：IDEA
第一步：创建项目第二步：编辑pom.xml文件第三步：配置日志第四步：编写代码(1) 数据准备(2) 方式一：批处理(3) 方式二：流处理* 以有界流的方式* 以无界流的方式
Java编写简易rabbitmq生产者与消费者
开发时经常与其它系统用rabbitmq对接，当需要自测时，还是自己写rabbitmq生产者、消费者自测方便些。下面总结下不用框架、使用java编写简易rabbitmq的方法。
使用spark进行递归的可行方案
与一些需求有冲突，比如原需求为递归计算，按照需求扣减现有量，是无法实现的。在ERP中使用pl/sql甚至sql是可以进行炸BOM的，但是怎么使用spark展开，并且效率要不Oracle更高效的展开，是个问题。在实际工作中会遇到，最近有需求将产品炸开bom到底层，但是ERP中bom数据在一张表中递归存
Spring Cloud Netflix微服务组件-Eureka
分区容忍是能容忍一个或一部分节点挂掉后，整体系统也能正常工作（就是别的节点还是活着的），所以分布式系统中P是必须要有的。比如数据库主从架构，主从两个节点之间需要数据同步，主挂了，从还能提供服务，这就是分区容错的体现可用性是，每个请求都能得到正常的响应（不要求读到最新值）p分区容忍，既然是分布式系统那
hadoop的安装教程（ Ubuntu 系统）
创建hadoop用户设置密码，按提示输入两次密码为 hadoop 用户增加管理员权限方便操作。
hive表向es集群同步数据20230830
报错原因分析：仔细看这行Error: java.lang.ClassNotFoundException: org.apache.commons.httpclient.HttpConnectionManager，原因是缺少httpclient.的jar包导致的。报错原因分析：我之前做的时候，将解压的所
Kafka深度解析
2011年3月，LinkedIn公司推出了分布式计算系统Kafka。它是一个开源分布式流处理平台，由Scala开发而成，最初被设计用于处理实时数据流。它能够处理具有低延迟、高吞吐量的实时数据，并可用于传输各种数据，如日志、网站点击流、交易等。在过去的一段时间里，Kafka社区已然成为一个活跃的社区，
Flink Table API 读写MySQL
【代码】Flink Table API 读写MySQL。
educoder大数据作业答案
平台将对你编写的代码进行评测，如果与预期结果一致，则通关，否则测试失败。平台将对你编写的代码进行评测，如果与预期结果一致，则通关，否则测试失败。平台将对你编写的代码进行评测，如果与预期结果一致，则通关，否则测试失败。平台将对你编写的代码进行评测，如果与预期结果一致，则通关，否则测试失败。平台将对你编
Eureka添加@Loadbalanced 报错 No instances available for XXXXX
Eureka出现No instances available for xxx的五种解决方案(不能解决你骂我）_51CTO博客_No instances available for。仔细检查了代码发现没什么错误之后 检查了一下 xml文件,发现里面的 应用名称与访问时参数一致.这个时候就陷入迷茫了
RabbitMQ队列及交换机的使用
一、简单模型1、首先控制台创建一个队列2、父工程导入依赖3、生产者配置文件4、写测试类5、消费者配置文件6、消费者接收消息二、WorkQueues模型1、在控制台创建一个新的队列2、生产者生产消息3、创建两个消费者接收消息4、能者多劳充分利用每一个消费者的能力三、交换机四、Fanout交换机1、 声
3、如何从0到1去建设数据仓库
如何从0到1去建设数据仓库
SpringBoot整合RabbitMq广播模式动态队列名称
springboot整合rabbitMq，优雅的实现单服务多实例广播
各大数据组件数据倾斜的原因和解决办法
在处理大规模数据时，数据倾斜是一个常见的问题。数据倾斜指的是在分布式环境中处理数据时，某些节点上的任务会比其他节点更加繁重，这可能导致性能下降、资源浪费等问题。数据倾斜可能会出现在不同层次的数据处理过程中，例如 map 阶段、reduce 阶段、join 操作等。数据倾斜的背景可以从以下几个方面来解
2.Hive创建数据库
介绍了数据库和数据表的增删改查
京东数据分析（京东大数据）：2023年10月京东手机行业品牌销售排行榜
热销TOP10商品榜单中均为苹果品牌商品，其中，50%的商品为Apple iPhone 15系列，30%的商品为Apple iPhone 13系列，Apple iPhone 14系列商品占比为20%。根据鲸参谋平台的数据显示，今年10月份，京东平台手机行业的销量约340万，环比增长约11%，同比则下
【漫画可视化大屏系统】基于Spark的国漫推荐系统源码
然而，面对海量的国漫资源，用户往往难以找到自己真正感兴趣的作品。本课题旨在设计和实现一个基于Spark的国漫推荐系统，通过运用大数据处理技术和机器学习算法，为用户提供个性化的国漫推荐，从而提高用户在观看国漫时的体验。3. 丰富推荐系统研究：基于Spark的国漫推荐系统将进一步完善推荐系统领域的研究，
深入浅出理解kafka ---- 万字总结
深入浅出理解kafka ---- 万字总结
HDFS如何解决海量数据存储及解决方案详解
写入测试打开方式文件系统的分类本地磁盘文件系统光盘文件系统网络文件系统分布式文件系统文件查询问题HDFS的切片问题概念HDFS的元数据HDFS的架构语法操作回收站配置HDFS的安全模式介绍操作命令HDFS的读写流程写入流程查看日志文件内容HDFS的JavaAPI操作（重点）介绍核心类代码HDFS的远
