maven安装教程（超详细图解）
6.控制台输入mvn -v(注意中间有个空格) 看到如下界面，说明maven安装成功。将maven解压后的文件夹复制到D盘根目录（必须的D盘根目录）变量值：D:\maven\apache-maven-3.8.1。点击【新建】，输入%MAVEN_HOME%\bin。右键点击桌面【此电脑】，选择【属性】
用好 kafka，你不得不知的那些工具
工欲善其事，必先利其器。本文主要分享一下消息中间件 kafka 安装部署的过程，以及我平时在工作中针对 kafka 用的一些客户端工具和监控工具。本文分享了平时我在工作使用 kafka 以及 zookeeper 常用的一些工具，同时分享了 kafka 集群的部署，值得一提的是 kafka 部署配置
大数据导论（四：大数据的存储）
面对大数据的爆炸式增长，且具有大数据量、异构型、高时效性的需求时，数据的存储不仅仅有存储容量的压力，还给系统的存储性能、数据管理乃至大数据的应用方面带来了挑战。这些大量的数据结构复杂，种类繁多，如何对分布、多态、异构的大数据进行管理的问题已经不期而至，传统的数据存储方式面对大数据的猛烈增长已不能满足
Spark 作业执行流程
Spark 作业执行流程
ES数据迁移
ES数据迁移
利用t-SNE可视化自己的数据集分布
Python下利用t-SNE可视化自己的数据集
美团买菜基于 Flink 的实时数仓建设
美团买菜实时数仓技术负责人严书，在 Flink Forward Asia 2022 实时湖仓专场的分享。
Hadoop 集群如何升级？
本文提供了详细的升级步骤和注意事项，帮助用户顺利升级Hadoop集群，并保护数据的安全性。
spark12-13-14
触发一次Action，并且将附带的统计指标计算出来，可以使用Accumulator进行处理，Accumulator的本质数一个实现序列化接口class，每个Task都有自己的累加器，避免累加的数据发送冲突。在一个Executor可以同时运行多个Task，如果多个Task使用同一个共享的单例对象，如果
如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓
随着大数据应用的不断深入，企业不再满足离线数据加工计算的时效，实时数据需求已成为数据应用新常态。伴随着实时分析需求的不断膨胀，传统的数据架构面临的成本高、实时性无法保证、组件繁冗、运维难度高等问题日益凸显。为了适应业务快速迭代的特点，帮助企业提升数据生产和应用的时效性、进一步挖掘实时数据价值，实时数
dbeaver默认驱动安装位置
dbeaver默认驱动安装位置
hadoop本地化windows部署
· hadoop on windows· hive on windows· spark on windows(提交方式是spark on yarn)
银行数字化转型导师坚鹏：深度解读《中华人民共和国数据安全法》
金融机构及非金融机构等需要学习数据安全法的从业人员。坚鹏老师 中国人民银行郑州培训学院特聘讲师。Ø 深度解读数据安全法的产生背景及重要意义。Ø 深度解读数据安全法的相关政策及监管趋势。Ø 深度解读数据安全法的法律责任及主要亮点。Ø 让大家知道数据安全合规建设的重点难点。增加对数据泄露活动危及国家安
谷粒商城笔记+踩坑（9）——上架商品spu到ES索引库
ES回顾、【查询模块】保存ES文档、【库存模块】库存量查询、【商品模块】上架单个spu
Kafka消息延迟处理技巧，降低错误率
在评估Kafka消息延迟处理技巧的效果时，我们需要定义合理的实验场景和测试用例。确定实验数据的发送和接收方。设定实验场景，包括动作、触发条件和结果预期等。设定测试用例，包括性能验证、负载测试和容错测试等。
Flink动态ClickhouseSink+自动建表
通过自定义注解的形式，对JdbcSink进行封装，支持自动建表、自动拼接insert语句
什么是主数据？浅谈主数据的管理与应用
主数据是指满足跨部门业务，跨流程，跨主题，跨系统，跨技术，协同需要的、反映核心业务实体状态属性的组织机构基础信息，主数据具有权威性，全局性，共享性，扩展性等特点。
hadoop集群全部都启动了，但是还是访问不了网页的解决方法
实操中出现的问题
Kafka详解
kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。Kafka 支持自定义规则，一个 Producer 可以使用自己的分区指定规则。
大数据开源框架环境搭建(七)——Spark完全分布式集群的安装部署
操作系统：Ubuntu 18.04Spark版本：2.4.0。
