Hudi源码|bootstrap源码分析总结（写Hudi）
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表本文简单的对Hudi bootstrap的一些关键的源码逻辑进行了分析，希望能对大家有所帮助。限于精力及能力的原因，有些地方可能不够深入，或者不对的地方，还请大家多多指正，让我们共同进步。
【云原生】设备云之内外组织与管理
内部组织指登入系统的用户所属的组织即为内部组织。作为超级管理员的身份登入系统，内部组织的根节点组织，已经由租户的申请人员提供的公司信息自动填入，可以修改，无法删除。
使用Mongoose populate实现多表关联存储与查询，内附完整代码
和普通的属性不同的是，我们需要指定引用属性的类型和引用的模型名称。这里有一个不符合常理的地方，就是我在这里把故事的作者设为了故事的粉丝~~方便的将多个表关联起来，实现一对多、多对多的数据表存储和查询功能。本文已最常见的一对多关系模型，介绍简单的数据模型定义、存储、查询。如果学习过关系型数据库的同学，
高效掌握JDBC技术（二）| 掌握ORM思想 | 定义连接数据库的工具类
🔥前言上文讲了JDBC连接数据库的六大步，成功完成了对数据库的修改的读取。那么今天就来学习一下ORM思想，理解面向对象语言与关系型数据库之间的映射关系，学习把连接数据库的方法定义到一个工具类中从而减少重复代码的书写。...
ES查看集群信息(健康状态、分片、索引等)
查看ES的集群信息，如：健康状态、分片、索引等
物联网协议概述
CoAP&MQTT 协议概述
消息队列｜RabbitMQ入门概述
在互联网架构中，MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了 MQ 之后，消息发送上游只需要依赖 MQ，不用依赖其他服务。MQ多用于分布式系统之间进行通信。有一个大的系统由A系统和B系统组成，A系统先将数据发送给MQ，然后MQ将数据发送给B系统，实现A系统和B系统之间的数
湖仓一体电商项目（八）：业务实现之编写写入ODS层业务代码
以上两个方面中第一个方面需要再Hive中预先创建对应的Iceberg表，才能写入，第二个方面不好分辨topic“KAFKA-DB-BUSSINESS-DATA”中哪些binlog数据是事实数据哪些binlog是维度数据，所以这里我们在mysql 配置表“lakehousedb.dim_tbl_con
【云原生 | 27】Docker部署运行开源消息队列实现RabbitMQ
AMQP架构中有两个主要组件：Exchange和Queue，两者都在服务端，又称Broker，由RabbitMQ实现的。客户端通常有Producer和Consumer两种类型
esProc SPL为何备受青睐，Hadoop Spark 太重？
Hadoop Spark 太重，esProc SPL 很轻
大数据工具之Superset
ApacheSuperset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。由于Superset能够对接常用的大数据分析工具，如Trino、Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可
Redis篇之redis服务的启动方式总结
（三）将启动脚本复制到/etc/init.d 目录下，并使得启动脚本名为redisd。同样，在redis的根目录下进行启动，只不过这次启动命令中需要指定对应的配置文件。当我们部署好redis服务后，接下来就是redis的启动。注意：如果加上 ‘&’ ，使得redis以后台程序方式运行。注：这里一般作
通过java方式使用Kafka
基于Java API方式使用Kafka
如何安装配置hbase
文中介绍了如何配置hbase，常见的命令及常见的两个大坑。
PySpark数据分析基础：PySpark Pandas创建、转换、查询、转置、排序操作详解
时至如今Pandas仍然是十分火热的基于Python的数据分析工具，与numpy、matplotlib称为数据分析三大巨头，是学习Python数据分析的必经之路。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法，它是使Python成为强大而高效的数据分析环境的重要因素之一。因此我们做分布
Flink cdc 介绍及使用 FlinkCDC读取mysql 及 jdbc 连接参数配置
Flink cdc 介绍常见cdc开源方案Flink cdc 使用案例Flink cdc读取mysql 及 jdbc 连接参数配置1.Maven POM 文件2.Flink CDC 代码补充CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都
2022美赛C题-交易策略 解析与代码
2022年美赛C题-交易策略的解题思路，部分代码和图表展示。
RabbitMQ延迟队列
RabbitMQ 延迟队列使用场景消息延迟推送的、预支付订单创建成功后，30分钟后还未完成支付则自动修改订单状态，自动取消订单、用户注册成功后，如果3天没有登录则进行短信提醒、优惠券过期前发送短信进行提醒等业务场景...
大数据趣味学习探讨（三）：怎么确定学习目标
战点就是战斗的机会根本轮不到你奋斗有一个真相，年轻人必须明白，而且越早明白越好，那就是拼命不可怕，加班不可怕，辛苦也不可怕，真正可怕的是根本轮不到你去拼命。肩膀脱臼不可怕，绷带上场不可怕，单场跑动16公里也不可怕，真正可怕的是直到哨声响起，你都没有等到一次上场的机会啊。你准备了一辈子，却发现根本没有
湖仓一体电商项目（十九）：业务实现之编写写入DWS层业务代码
DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。以上
