FlinkSql写入/读取Kafka
FlinkSql写入/读取Kafka
ES框架--ES评分规则详解
一、需求因为需要对搜索结果进行一个统一化的评分，因此需要仔细研究ES本身的评分规则从而想办法把评分统一。省流：无法确切统一化二、ES查询评分规则之前有说过ES的查询评分原理，那么仔细思考之后就会发现，长文本搜索对应的score会比短文本搜索的score高很多：score=单个分词评分之和，长文本对应
flink时间窗口无新的数据进来最后一个窗口不关闭
flink最后一个窗口不会闭窗计算
Kafka 小结
Kafka 小结
Hive Code2报错排查
大多数可能的code2报错一般是内存不够，所以加下面这个配置可以有效解决这个问题#取消小表加载至内存中但这个不一定是因为内存不够，其实很多错误都是报这种官方错误的，所以一定要去yarn上看日志。很多人看日志也找不到问题，因为并没有看到全部日志，翻到最底下，点击check here 才能看到完整日志。
遥感云大数据在灾害、水体与湿地领域典型案例实践及GPT模型应用
相比于ENVI等传统的遥感影像处理工具，GEE在处理海量遥感数据方面具有不可比拟的优势，一方面提供了丰富的计算资源，另一方面其巨大的云存储节省了科研人员大量的数据下载和预处理的时间，是遥感数据的计算和分析可视化方面代表世界该领域最前沿水平，是遥感领域的一次革命。专题涉及光学和雷达数据处理、机器学习算
HDFS基本操作命令
命令：hadoop fs -getmerge [-n1] [-skip-empty-file]-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录。下载文件到本地文件系统指定目录，localdst必须是目录。和-put功能一样，只不过上传结束，源数据会被删除。-p保留访问和修改
centos7查看日志信息
收集记录linux查看日志方法，备忘
【Kafka】消息队列Kafka基础
【Kafka】消息队列Kafka基础
Flink stop 和 cancel停止 job 的区别
Flink stop 和 cancel停止 job 的区别
docker rabbitmq-清空queue队列数据
这将显示所有队列的信息，包括队列的名称和消息数量。执行命令后，队列的消息应该已经被完全删除。替换为你要清空的队列名称。
大数据期末考试选择填空重点内容HNUST（1-4章 7，10章多刷题）
（2）每个块都向HDFS集群中的名称节点发起写请求，名称节点会根据系统中各个数据节点的使用情况，选择一个数据节点列表返回给客户端，然后客户端就将数据首先写入列表中的第一数据节点，同时将列表传给第一个数据节点，当第一个数据节点接收到4KB数据时，写入本地，并且向列表中的第二个数据节点发起连接请求，将自
关于Java连接Hive，Spark等服务的Kerberos工具类封装
关于Java连接Hive，Spark等服务的Kerberos工具类封装
bash: 未预期的符号 `newline‘ 附近有语法错误——解决方法
bash: 未预期的符号 `newline' 附近有语法错误
hive on spark 时，executor和driver的内存设置，yarn的资源设置
hive on spark 时，executor和driver的内存设置，yarn的资源设置。
服务注册中心Eureka
Eureka采用了C-S的设计架构，包含两个组件：Eureka Server 和 Eureka Client。Eureka Server 作为服务注册功能的服务器，它是服务注册中心。Eureka Client 是一个Java客户端，用于简化Eureka Server的交互。
构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置
安装Hadoop 首先，从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版，下载完成后解压缩到安装目录。然后配置环境变量，并修改Hadoop的配置文件，根据需要进行修改。安装MySQL 安装MySQL服务器是搭建大数据环境的重要一步。更新包管理器后，执行
SpringBoot 集成 Kafka 配置
*** 自定义分区器*/@Override@Override@Override/***/@Component@Overrideif (value.toString().contains("二")){return 2;}else if (value.toString().contains("一")){
06. 管理Docker容器数据
在生产环境中使用 Docker，一方面，需要对数据进行保存或者在多个容器之间进行数据共享；另一方面，在 Docker 的容器被删除后，并不会保留容器的状态信息。那么如何实现信息的持久化呢？这必然涉及容器的数据管理。
用数据可视化观测月亮的变化是怎样的？
数据可视化随着技术的不断完善已经逐渐应用于我国的各行各业，在天文方面数据可视化的应用可一帮助天文学家和天文爱好者进一步分析天体的信息特征，中国科学院紫金山天台已经建设了大规模的天文数据分析以及多维信息可视化平台，对于更多天文爱好者和学习天文学的朋友们来说，数据可视化的应用都是有有很多益处的。
