kafka保证数据有序性小结
最近,项目中使用过kafka但是不太理解,然后各种搜博客补习。然后对kafka如何保证数据的有序性很感兴趣,于是乎,又疯狂找博客学习,现在可以说是小有心得,在这里记录一下,怕忘记。也作为给大家的一个分享。本文内容为集多家之长,根据自己的理解就诞生了这篇内容,开始。自己在学习的过程中,看完博客结合自己
kafka-consumer-groups.sh 命令行工具使用手册,附测试用例
kafka-consumer-groups 命令行工具使用手册,Kafka管理必备
数据分析 面经(已拿到offer)
北航计算机专业(计院太卷,现考虑转向信息安全方向)本科二年级,闲来无事找份日常实习试试水考虑数分岗也是因为楼主目前大二,专业课学习不够深入,开发技术尚不成熟,而sql、excel和数据可视化比较容易上手,权衡难易后就选择了数分ps:这是楼主的第一份实习~高域海汇(一面) 6.8 1h10min 线
MQ基本使用及重点内容
2、在消息消费时,要求消息体中必须要有一个 bizId(对于同一业务全局唯一,如支付ID、订单ID、帖子ID 等)作为去重的依据,避免同一条消息被重复消费。1、在消息生产时,MQ内部针对每条生产者发送的消息生成一个inner-msg-id,作为去重的依据(消息投递失败并重传),避免重复的消息进入队列
Hadoop集群启动从节点没有DataNode
之前启动hadoop集群的时候都没有问题,今天启动hadoop集群的时候,从节点的DataNode没有启动起来。
数据仓库建模(四):维度表的设计
数据仓库建模(四):维度表的设计维度表的结构维度表的结构
Mysql高频面试题(后端大数据面试必备)
个人在面试中被问到以及收集网上的高频Mysql面试题,希望可以帮助到备战求职的同学。
doris实践分享-基于查询日志对doris查询优化
Doris的查询性能好坏,很大程度上取决于表模型的设计是否合理。数据开发同学在创建或优化表模型时,无法感知到用户真实的查询场景,只能根据自身对业务的理解来进行设计,开发成本较高;用户在使用Doris进行查询时,同样不清楚查询本身是否合理,也不容易感知到查询的表模型是如何进行设计的,难以提升用户的使用
HIVE函数汇总--开窗函数篇
详细介绍开窗函数的思路及其用法
中国版ChatGPT高潮即将到来,解密ChatGPT底层网络架构
全新聊天机器人ChatGPT,在中国用户无法访问的前提下,上线仅两个月月活用户就突破了1亿。ChatGPT如同重磅炸弹,一时间火遍全球。
基于容器云提交spark job任务
spark提交Kind=Job类型的任务,首先需要申请具有Job任务提交权限的rbac,然后编写对应的yaml文件,通过spark-submit命令提交任务到集群执行。
Hadoop完全分布式集群搭建(超详细)
hadoop完全分布式,超详细的部署步骤。
spark sql解析过程详解
spark sql解析过程详解
大数据双路e5主机搭建:2696v3+256g内存
大数据学习用的双路e5配置单
flink中的时间属性
1:时间的几种类型(官网概念)1.1处理时间指的是执行具体操作时的机器时间(大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) )1.2事件事件指的是执行具体操作时的机器时间(大家熟知的绝对时间, 例如 Java的 System.currentTimeMi
Apache DolphinScheduler的资源中心开启HDFS功能
这里会报【租户不存在】的错误。原因是admin用户的租户ID默认是0,和新创建的租户root没有关联上,需要将admin用户的租户ID修改成租户root的ID。在mysql数据库的操作如下。DolphinScheduler的资源中心默认是不能往HDFS上传文件的,需要我们配置进行开启。重启Dolph
MySQL 8.0.30 安装详解教程-保姆级
本文将详细描述MySQL 8.0.30 的安装教程,目录多但实际内容很少,便于初学者理解和学习
用flink cdc sqlserver 将数据实时同步到clickhouse
flink cdc 终于支持 sqlserver 了。现在互联网公司用sqlserver的不多,大部分都是一些国企的老旧系统。我们以前同步数据,都是用datax,但是不能实时同步数据。现在有了flinkcdc,可以实现实时同步了。1、首先sqlserver版本:要求sqlserver版本为14及以上
RabbitMQ 发布确认+消息回退
RabbitMQ 发布确认+消息回退+备份交换机
vue大数据表格解决方案的比较
关于大数据表格的比较,包含了Ant Design、Surley Vue、vxe-table、Ag Grid等框架。