Flink自定义实现端到端的exactly-once语义（java版本）
Flink 中有两个 Exactly-Once 语义实现，一个是 Kafka，另一个是 StreamingFileSink。参考他们实现的逻辑，来自定义实现MySQLSink的端到端exactly-once语义。分析：Flink的checkpoint机制（通过Chandy-Lamport）：JobM
归零，重新出发
犹记得三年半前的那个夏天，我加入了一家做职业教育培训有40年的公司（NIIT），在这个三年多的时间里面，我意外地从一名程序员变成了一名大数据培训讲师，意外地来到了贵师大大数据学院从事大数据教学工作，意外地喜欢上了教育培训行业，意外地变成了一个团队负责人，意外地让自己内心变得更加从容不迫，意外地发现自
这些题目都不会，面什么美团？(附答案)
大家好，我是土哥。大年初一和一位朋友聊天，说美团将他虐的很惨，然后他给土哥分享了一下大数据开发社招一面的面经。由于疫情，土哥被居家隔离了，所以美美的学习了4天，这不，给大家将面试答案总结出来。面试时间：90 分钟面试方向：大数据开发面试工具：电话面面试难度 :⭐⭐⭐⭐面试环节1 面试官：先做个自我介
Flink四大基石
CheckpointStateTimeWindow
元数据性能大比拼：HDFS vs OSS vs JuiceFS
背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。以 Amazon
身边都是强者，985硕士夹缝求生混饭吃，艰难面试java开发上岸
身边都是大佬，985硕士夹缝求生混饭吃，艰难面试上岸北京985渣硕一枚，是真的渣，舍友商汤、旷世，出国留学，学校中各类大佬一坨，在夹缝中求生，混口饭吃。主攻方向：无。领导搞行政的，天天端茶倒水取快递，外挂写不尽的基金本子，论文全靠个人参悟+上天怜悯。说点正事吧，关于工作路线，我最终选择的是软件开发方
编程语言可分为三大类
1、按照维护方可将编程语言分为三大类第一类由美国国家标准协会（ANSI）及国际标准化组织（ISO）维护的标准，例如C/C++第二类由商业公司维护并贡献给开源社区，例如Java、C#、Go；第三类由开源社区的作者创造并由社区贡献者来维护，例如Python。2、三类语言的特点第一类语言由ANSI和ISO
像写SQL一样去处理内存中的数据，SparkSQL入门教程
像写SQL一样去处理内存中的数据，SparkSQL入门教程
Pyecharts 猎聘招聘数据可视化
序言：最近在猎聘上爬了一些物流岗位相关的数据，看着这些爬下来的数据，心里就开始痒痒了，想着怎么把数据利用起来，于是开始了可视化的道路。使用到的工具包为：Pyechartspandassqlalchemynumpy数据分析数据查看数据字段，一共有21个字段数据量大概11W条。关注文章下的公众号，回复「
聊聊 Pulsar： Pulsar 的核心概念与基础架构
一、Pulsar 介绍Apache Pulsar 是 Apache 软件基金会的顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。Puls
【愚公系列】2022年02月 Docker容器 RabbitMQ集群的搭建
文章目录前言一、RabbitMQ集群的搭建1.拉取镜像二、RabbitMQ的配置1.启动RabbitMQ2.搭建RabbitMQ集群2.1 运行容器2.2 配置节点到集群2.3 配置成功总结1.Erlang Cookie的作用2.Erlang Cookie的位置前言RabbitMQ这款消息队列中间件
ElasticSearch由浅入深
ElasticSearch由浅入深全套入门知识整理
Docker安装ElasticSearch和Kibana
文章目录1. 安装docker2. 拉取elasticsearch镜像3. 启动elasticsearch3.1 目录结构4. 验证elasticsearch是否启动成功5. 插件安装5.1 安装IK分词器5.2 分词器使用验证6. kibana安装6.1 docker安装kibana6.2 启动k
架构师之路 — 架构师的职责
目录文章目录目录高级程序员技术经理技术总监CTO软件架构师（Software Architect）解决方案架构师（Solution Architect）高级程序员高级程序员的主要职责是：实现复杂功能，编写核心代码；处理线上 bug，解决技术难题。技术经理技术经理的主要职责是：开发任务分派。开发工作量
MySQL高级查询
目录一、排序二、分页查询三、聚合函数四、分组查询五、连接查询1. 内连接查询2. 左连接查询3. 右连接查询4. 自连接查询六、子查询
一天学完spark的Scala基础语法教程十三、文件IO操作(idea版本)
????前言????????博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主????✍本文由在下【红目香薰】原创，首发于CSDN✍????2022年最大愿望：【服务百万技术人次】????????初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】???
Spark追妻系列(TopN案例和动作算子)
Spark中的TopN案例
电商大促作战指南
电商大促作战指南、全链路压测
电商大促作战指南之全链路压测
电商大促作战指南、全链路压测、营销
