Flink 实战：如何计算实时热门合约
要实现一个实时热门合约基本需求每隔 5 分钟输出最近一小时交易量最多的前N个合约过滤出属于合约的交易数量解决思路抽取出业务时间戳，告诉 Flink 框架基于业务时间做窗口在所有交易行为数据中，过滤出合约行为进行统计构建滑动窗口，窗口长度为1小时，滑动距离为 5 分钟将KeyedStream中的元素存
简单使用Spark、Scala完成对天气数据的指标统计
学习Spark和Scala编程可以帮助我们处理大规模数据，进行数据分析。使用Spark和Scala编写程序可以提高数据处理的效率和灵活性，同时还能够充分发挥分布式计算的优势。通过学习这两门技术，我们可以更好地理解数据处理的流程和原理，并且可以应用到实际的数据分析和统计工作中。总而言之，学习Spark
利用Spark进行房地产分析 #Hadoop Spark Mysql
本文对如何开发基于spark和Hadoop的大数据分析平台进行了广泛和深入的研究，其范围包括python爬虫、Java、spark离线数据分析、Hadoop。Spark的四大优点快:与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上；而基于磁盘的运算也要快10倍以上。S
数据仓库和数据湖的区别
而数据湖则是一种原始、未经处理的数据存储，它可以包含结构化、半结构化和非结构化数据，数据以原始格式存储，没有强制的模式和架构。而数据湖通常提供更灵活的数据访问方式，可以使用不同的工具和技术来处理和分析数据，如数据科学家可以使用Python或R来开展分析工作。在实际应用中，可以将数据湖作为底层的数据存
RabbitMQ的消息批量发送与消息批量消费
1.背景介绍在分布式系统中，消息队列是一种常见的异步通信方式，可以帮助系统的不同组件之间进行通信。RabbitMQ是一种流行的消息队列系统，它支持多种消息传输模式，包括点对点(P2P)、发布/订阅(Pub/Sub)和主题(Topic)。在这篇文章中，我们将讨论RabbitMQ的消息批量发送与消息批量
如何配置Kafka账号密码
我们需要与第三方系统进行数据同步，需要搭建公网Kafka，Kafka默认是没有用户密码校验的，所以我们需要配置用户名密码校验。-Djava.security.auth.login.config=用kafka tool测试连接，下载地址：https://www.kafkatool.com/这里配置了内
Flink Shuffle、Spark Shuffle、Mr Shuffle 对比
Flink Shuffle、Spark Shuffle、Mr Shuffle 对比
Hive的UDF开发之向量化表达式（VectorizedExpressions）
笔者的的SailWorks模块包含离线分析功能。离线分析的后台实现，包含调度引擎、执行引擎、计算引擎和存储引擎。计算和存储引擎由Hive提供，调度引擎和执行引擎由我们自己实现。调度引擎根据DAG图和调度计划，安排执行顺序，监控执行过程。执行引擎接收调度引擎安排的任务，向Yarn申请容器，在容器中执行
[ 2024春节 Flink打卡 ] -- 优化(draft)
堆内：taskmanager.memory.task.heap.size，默认none，由Flink内存扣除掉其他部分的内存得到。堆外：taskmanager.memory.task.off-heap.size，默认0，表示不使用堆外内存。堆外：taskmanager.memory.framewor
【flink番外篇】16、DataStream 和 Table 相互转换示例
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
39、Flink 的CDC 格式：maxwell部署以及示例
Maxwell是一个CDC（Changelog Data Capture）工具，可以将MySQL中的数据变化实时流式传输到Kafka、Kinesis和其他流式连接器中。Maxwell为变更日志提供了统一的格式模式，并支持使用JSON序列化消息。Flink支持将Maxwell JSON消息解释为INS
RabbitMQ 的基本概念
消息进入第二站queue，消费者要接收消息，需要一直监听着queue，那么消费者在监听queue的时候需要先指定队列要和那个交换机绑定，绑定的时候也需要指定路由键，如果发消息时的路由键和接收消息时候路由键一样，那么这个消息就会进入到这个队列。使用了 MQ 之后，限制消费消息的速度为1000，这样一来
《2023大数据产业年度创新服务企业》榜重磅发布丨第六届金猿奖
第六届年度金猿榜单/奖项“第六届年度金猿季策划活动——2023大数据产业创新服务企业榜单/奖项”由金猿X数据猿X上海大数据联盟共同推出。大数据产业创新服务媒体——聚焦数据· 改变商业第六届 “年度金猿季大型主题策划活动”由金猿、数据猿、上海大数据联盟共同组成的金猿组委会发起，在继续深耕大数据产业，
RabbitMQ之死信队列、延迟队列和懒队列
TTL+死信队列实现逻辑，创建一个普通交换机跟队列，给队列设置TTL超时时间，但是不给这个队列绑定消费者，给这个普通队列绑定死信交换机，等到消息超时就会发送到死信交换机，给死信交换机配一个消费者来消费。为了更方便、更灵活地实现延迟队列功能，可以使用RabbitMQ提供的插件rabbitmq_dela
spark-sql orderby遇到的shuffle问题
第3点 减少shuffle的数据量，这个我也有考虑，原本三列合并为一列（key: id_data_type），没有用到的列我也drop掉。shuffle read(Map阶段)的时候数据的分区数则是由spark提供的一些参数控制，如果这个。参数值设置的很小，同时shuffle read的量很大，那么
Spark的timestamp 数据时间问题
使用Spark来处理国际业务数据，涉及到数据时区转换，在实际项目中出现时区转换问题。但在实际Cluster 去run job的时候，如果给一个eff_dt为的时间，但是往往会出现df_eff_dt为20240131的日期。
大数据的演变
大数据是结构化、半结构化和非结构化数据的大集合。与单独的结构化数据相比，它的数据量大得多，速度快得多，文件格式多种多样，来源也多种多样。“大数据”一词自1990年代末就出现了，当时它是由美国宇航局的研究人员迈克尔·考克斯和大卫·埃尔斯沃思在1997年发表的论文中正式提出的。他们用这个术语来描述处理和
Couchbase安全与权限管理
1.背景介绍Couchbase是一个高性能、可扩展的NoSQL数据库系统，它基于Apache CouchDB的开源项目。Couchbase在数据库领域具有很高的性能和可扩展性，因此在大规模应用场景中得到了广泛应用。然而，在实际应用中，数据安全和权限管理是非常重要的问题。因此，在本文中，我们将深入探讨
浅谈RabbitMQ消费端ACK和限流
如上图所示：如果在A系统中需要维护相关的业务功能，可能需要将A系统的服务停止，那么这个时候消息的生产者还是一直会向MQ中发送待处理的消息，消费者此时服务已经关闭，导致大量的消息都会在MQ中累积。如果当A系统成功启动后，默认情况下消息的消费者会一次性将MQ中累积的大量的消息全部拉取到自己的服务，导致服
Iceberg从入门到精通系列之二十四：Spark Structured Streaming
Iceberg 使用 Apache Spark 的 DataSourceV2 API 来实现数据源和目录。Spark DSv2 是一个不断发展的 API，在 Spark 版本中提供不同级别的支持。
