Flink将数据写入CSV文件后文件中没有数据
Flink中writeAsCsv方法源码解析
【ES】windows启动
es在windows启动时会遇到的一些坑
Kafka的ack机制
Kafka的ACK机制，指的是producer的消息发送确认机制，这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面，两者不可兼得，只能平衡。Kafka的ACK机制是针对producer的。保证消息的吞吐量就是producer只负责发数据，不需要得知消息是否被集群接收，这
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【GPT模型】遥感云大数据在灾害、水体与湿地领域中的应用
遥感技术、GPT模型、灾害、水体、湿地、海量遥感数据处理、GEE、卫星遥感大数据、ENVI、气候变化、遥感、遥感影像
大数据公司数据分析取数流程以及SQL示例
有效的数据分析，首先需要从庞大的数据库中获取所需的数据，这就涉及到SQL取数的技巧。
maven安装教程（超详细图解）
6.控制台输入mvn -v(注意中间有个空格) 看到如下界面，说明maven安装成功。将maven解压后的文件夹复制到D盘根目录（必须的D盘根目录）变量值：D:\maven\apache-maven-3.8.1。点击【新建】，输入%MAVEN_HOME%\bin。右键点击桌面【此电脑】，选择【属性】
用好 kafka，你不得不知的那些工具
工欲善其事，必先利其器。本文主要分享一下消息中间件 kafka 安装部署的过程，以及我平时在工作中针对 kafka 用的一些客户端工具和监控工具。本文分享了平时我在工作使用 kafka 以及 zookeeper 常用的一些工具，同时分享了 kafka 集群的部署，值得一提的是 kafka 部署配置
大数据导论（四：大数据的存储）
面对大数据的爆炸式增长，且具有大数据量、异构型、高时效性的需求时，数据的存储不仅仅有存储容量的压力，还给系统的存储性能、数据管理乃至大数据的应用方面带来了挑战。这些大量的数据结构复杂，种类繁多，如何对分布、多态、异构的大数据进行管理的问题已经不期而至，传统的数据存储方式面对大数据的猛烈增长已不能满足
Spark 作业执行流程
Spark 作业执行流程
ES数据迁移
ES数据迁移
利用t-SNE可视化自己的数据集分布
Python下利用t-SNE可视化自己的数据集
美团买菜基于 Flink 的实时数仓建设
美团买菜实时数仓技术负责人严书，在 Flink Forward Asia 2022 实时湖仓专场的分享。
Hadoop 集群如何升级？
本文提供了详细的升级步骤和注意事项，帮助用户顺利升级Hadoop集群，并保护数据的安全性。
spark12-13-14
触发一次Action，并且将附带的统计指标计算出来，可以使用Accumulator进行处理，Accumulator的本质数一个实现序列化接口class，每个Task都有自己的累加器，避免累加的数据发送冲突。在一个Executor可以同时运行多个Task，如果多个Task使用同一个共享的单例对象，如果
如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓
随着大数据应用的不断深入，企业不再满足离线数据加工计算的时效，实时数据需求已成为数据应用新常态。伴随着实时分析需求的不断膨胀，传统的数据架构面临的成本高、实时性无法保证、组件繁冗、运维难度高等问题日益凸显。为了适应业务快速迭代的特点，帮助企业提升数据生产和应用的时效性、进一步挖掘实时数据价值，实时数
dbeaver默认驱动安装位置
dbeaver默认驱动安装位置
hadoop本地化windows部署
· hadoop on windows· hive on windows· spark on windows(提交方式是spark on yarn)
银行数字化转型导师坚鹏：深度解读《中华人民共和国数据安全法》
金融机构及非金融机构等需要学习数据安全法的从业人员。坚鹏老师 中国人民银行郑州培训学院特聘讲师。Ø 深度解读数据安全法的产生背景及重要意义。Ø 深度解读数据安全法的相关政策及监管趋势。Ø 深度解读数据安全法的法律责任及主要亮点。Ø 让大家知道数据安全合规建设的重点难点。增加对数据泄露活动危及国家安
谷粒商城笔记+踩坑（9）——上架商品spu到ES索引库
ES回顾、【查询模块】保存ES文档、【库存模块】库存量查询、【商品模块】上架单个spu
