hive分区表之insert overwrite 注意事项
比如跑上月的数据最开始有44条记录，后面业务说不对，应该一条都没有的，结果你重跑了，确实跑出了0条记录，但是你插入的时候就是不能覆盖。所以这里有个注意事项！如果我们建立了一个分区表，如果每个月都要更新数据，不要因为省事就是用动态分区插入。但是今天遇到一个问题，如果我查询的数据=0，那么数据还会覆盖么
Elasticsearch在后台启动
Elasticsearch在linux下使用命令sh elasticsearch start，按键ctrl+c的时候程序就会stop掉，如何将程序在后台启动呢？这时执行的时候会出现没有权限./elasticsearch: Permission denied。需要授权执行命令:chmod +x bin
【Spark】Spark的常用算子
使用给定的函数对 RDD 的元素进行聚合，seqOp 计算在分区中初始值到中间结果的聚合计算，而 combOp 在节点上对中间结果进行聚合。: 返回对输入 RDD 和参数 RDD 执行联合操作的结果，生成一个新的 RDD，不去重。: 返回对输入 RDD 和参数 RDD 执行交集操作的结果，生成一个新
使用Java代码远程提交flink任务
Java代码远程提交flink任务
Java：java -jar命令讲解
1.当前ssh窗口被锁定，可按CTRL+C打断程序运行，或直接关闭窗口，程序退出。2.当前ssh窗口不被锁定，但是当窗口关闭时，程序中止运行。5.启动jar包或war包时，配置静态变量。4.输出重定向到temp.file文件。3.当窗口关闭时，程序也不会中止运行。...
Hadoop启动正常，能ping通，无法打开hadoop102:9870
浏览器无法打开hadoop102:9870。
Docker启动rabbitmq最详细步骤
超级详细的docker启动rabbitmq镜像的步骤。看这一篇就足够了
kafka查看topic和消息内容命令
【代码】kafka查看topic和消息内容命令。
大数据技术原理与应用（第3版）期末复习
HDFS文件操作MapReduce程序HBase数据库命令操作。
Spark创建Hive表
实习生带着一脸坚毅的神情，斩钉截铁的告诉我：我：你怎么创建的？实习生：就下面一个简单的sql语句啊id int,""")我：你需要对Spark和Hive的基础知识进行巩固。
RabbitMQ安装教程(Windows版本)
RabbitMQ安装教程(Windows版本)
kafka如何保证消息不被重复消费
（1）kafka有个offset的概念，当每个消息被写进去后，都有一个offset，代表他的序号，然后consumer消费该数据之后，隔一段时间，会把自己消费过的消息的offset提交一下，代表我已经消费过了。下次我要是重启，就会继续从上次消费到的offset来继续消费。但是当我们直接kill进程了
Docker中RabbitMQ的密码修改
Docker中RabbitMQ的密码修改
大数据Doris（二十六）：Broker Load基本原理和语法介绍
使用Broker Load导入数据时，用户在提交导入任务后，FE 会生成对应的 Plan 并根据目前 BE 的个数和文件的大小，将 Plan 分给 多个 BE 执行，每个 BE 执行一部分导入数据。MERGE 和 DELETE 类型仅适用于 Unique Key 模型表，其中 MERGE 类型需要配
Nature子刊 | 周集中团队揭示长期气候变暖导致草地土壤微生物多样性降低
题目：Reduction of microbial diversity in grassland soil is driven by long-term climate warming发表杂志：Nature Microbiology发表年月：2022年6月第一作者：吴林蔚、Zhang Ya、郭雪通讯
PySpark环境配置
首先，要知道PySpark是Spark为Python提供的API库，因此使用`pip install pyspark`下载pyspark不等于下载了spark。因此，配置pyspark环境，首先需要下载spark。（2）spark运行环境需要java，因此需要下载java。使用`pyspark`打开
Kafka系列之：对源连接器的的Exactly-Once支持
尽管在这种情况下，用户不一定需要控制每个连接器的偏移主题的名称（例如，工作人员可以简单地在连接器覆盖的 Kafka 集群上创建一个具有相同名称的偏移主题），但公开此级别一旦意识到每个连接器偏移主题的必要性，控制的增加就不会增加此设计的复杂性。如果工作线程启动了事务性生产者，然后在完成对配置主题末尾的
Dolphinscheduler中提交DATAX任务报错
如题，谁能帮忙解决一下，下面是报错的日志
详解数据仓库数据湖及湖仓一体
性能、成本方面极大提升（MaxCompute 完成了核心引擎的全面升级和性能跳跃式发展，连续三年刷新 TPCx-BigBench 世界记录），数据管理能力空前增强（数据中台建模理论、智能数仓），企业级安全能力大为繁荣（同时支持基于 ACL 和基于规则等多种授权模型，列级别细粒度授权，可信计算，存储加
