Debezium系列之:相同主键数据进入相同分区

Debezium系列之:相同主键数据进入相同分区

Flink / Scala 实战 - 18.一套代码搞懂 KeyedState

Flink - ValueState 、ListState 、 ReducingState 、AggregateState、MapState 实战 demo。

大数据必学Java基础(八十五):自定义注解

发现定义的注解的声明使用的关键字:@interface,跟接口没有一点关系。

大数据必学Java基础(八十四):注解的案例介绍

Annotation 可以像修饰符一样被使用,可用于修饰包,类,构造器,方法,成员变量,参数,局部变量的声明,这些信息被保存在Annotation的"name=value"对中。在JavaSE中,注解的使用目的比较简单,例如标记过时的功能,忽略警告等。@Deprecated:用于表示所修饰的元素(类

这家公司只有1个人,年赚一个亿

金磊 Pine 发自 凹非寺量子位 | 公众号 QbitAI全公司上下仅有1个人,每年竟能赚上1400多万美元(1亿多元)。这并不是什么天方夜谭,而是现实生活中上演的真人真事。故事的主人公叫做Gary Brewer(简称“盖哥”),而他之所以能如此猛猛吸金,靠的就是自己创办的网站BuiltWith。

大数据项目之电商数仓、数据仓库概念、项目需求及架构设计

比如用户在电商网站中登录、下单、支付等过程中,需要和网站后台数据库进行增删改查交互,产生的数据就是业务数据。:用户在使用产品过程中,通过埋点收集与客户端产品交互过程中产生的数据,并发往日志服务器进行保存。数据仓库,并不是数据的最终目的地,而是为数据最终的目的地做好准备。这些准备包括对数据的:备份、清

Hive group by 数据倾斜问题处理

发现一个10.19号的任务下午还没跑完,正常情况下,一般一个小时就已经跑完,而今天已经超过3小时了,因此去观察实际的任务,发现9个map 其中8个已经完成,就一个还在run,说明有明显的数据倾斜。在一小时内结束,并且没有哪个节点耗时较长。发现有使用group by。

Debezium系列之:为接入的每条数据新增键值对

Debezium系列之:为接入的每条数据新增键值对

【大数据基础之java单列集合】

java单列集合

一个基于Python数据大屏可视化开源项目

这是一个基于Python开发的,结构简单的项目。可通过配置Json的数据,实现数据报表大屏显示。在app.py修改SourceData,或者新增比如新增:MyReportData。1、Python + Js + Css + Html开发。优点:代码清晰、结构简单、配置Json数据实现。在data.p

【Apache Spark 】第 7 章优化和调优 Spark 应用程序

在上一章中,我们详细介绍了如何在 Java 和 Scala 中使用数据集。我们探索了 Spark 如何管理内存以适应 Dataset 构造,并将其作为其统一和高级 API 的一部分,并且我们考虑了与使用 Datasets 相关的成本以及如何降低这些成本。除了降低成本,我们还想考虑如何优化和调整 Sp

【Apache Spark 】第 9 章使用 Apache Spark构建可靠的数据湖

在前面的章节中,您学习了如何轻松有效地使用 Apache Spark 构建可扩展的高性能数据处理管道。然而,在实践中,表达处理逻辑只解决了构建管道的端到端问题的一半。对于数据工程师、数据科学家或数据分析师来说,构建管道的最终目标是查询处理过的数据并从中获得洞察力。存储解决方案的选择决定了数据管道的端

大数据必学Java基础(八十三):Junit单元测试

软件的白盒测试是对软件的过程性细节做细致的检查。这种方法是把测试对象看做一个打开的盒子,它允许测试人员利用程序内部的逻辑结构及有关信息,设计或选择测试用例,对程序的所有逻辑路径进行测试,通过在不同点检查程序状态,确定实际状态是否与预期的状态一致。这种方法是把测试对象看做一个黑盒子,测试人员完全不考虑

开发人员提高开发效率的10个推荐工具

推荐10个能够提高开发人员开发效率的10个工具

大数据必学Java基础(八十二):基于UDP的网络编程

客户端:Socket程序感受到的使用流 :输出流服务器端: ServerSocket --> Socket 程序感受到的使用流 :输入流(客户端和服务器端地位不平等)发送方:DatagramSocket 发送:数据包 DatagramPacket接收方:DatagramSoc

Activiti 7 配置及相关流程一站式介绍(包含基础流程及网关应用)

本文介绍了activit7的配置和流程相关信息,基于bpm设计构建xml进行工作流生成。是刚接触工作流学习的入门文章,欢迎大家参考评论~

Q&A特辑 | 这场直播解决了我对于电商风控的大部分疑问

顶象业务安全大讲堂汇集了业内大咖,分享万亿级业务安全攻防经验,打造时下最专业的业务安全直播课,通过“技术+方案+实践”三大核心专题,带您全面了解金融、互联网、航旅出行、跨境电商以及目前大热的NFT等各类业务风险及防范手段,深入解析背后的产品技术,抽丝剥茧攻防实战,助您打造零风险的数字业务。:我们在设

直播回顾 | 双十一电商风控终于有参考样本了!

临近双十一,顶象特别策划了双十一风险防控系列主题直播内容,为各企业双十一业务保驾护航。10月13日下午15:00 由顶象资深解决方案专家鳯羽带来主题为《双11电商行业业务安全解析》的直播。直播从电商行业的风险及双十一业务安全的防控难点讲起,深度剖析了双十一期间电商行业可能遇到的风险,诸如薅羊毛、刷单

关于RabbitMQ消息分配机制

【代码】关于RabbitMQ消息分配机制。

2022年推荐算法效率开发必备工具榜单

推荐! 2022年推荐算法效率开发必备工具榜单!

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈