FlinkSql写入/读取Kafka
FlinkSql写入/读取Kafka
ES框架--ES评分规则详解
一、需求因为需要对搜索结果进行一个统一化的评分，因此需要仔细研究ES本身的评分规则从而想办法把评分统一。省流：无法确切统一化二、ES查询评分规则之前有说过ES的查询评分原理，那么仔细思考之后就会发现，长文本搜索对应的score会比短文本搜索的score高很多：score=单个分词评分之和，长文本对应
flink时间窗口无新的数据进来最后一个窗口不关闭
flink最后一个窗口不会闭窗计算
Hive Code2报错排查
大多数可能的code2报错一般是内存不够，所以加下面这个配置可以有效解决这个问题#取消小表加载至内存中但这个不一定是因为内存不够，其实很多错误都是报这种官方错误的，所以一定要去yarn上看日志。很多人看日志也找不到问题，因为并没有看到全部日志，翻到最底下，点击check here 才能看到完整日志。
遥感云大数据在灾害、水体与湿地领域典型案例实践及GPT模型应用
相比于ENVI等传统的遥感影像处理工具，GEE在处理海量遥感数据方面具有不可比拟的优势，一方面提供了丰富的计算资源，另一方面其巨大的云存储节省了科研人员大量的数据下载和预处理的时间，是遥感数据的计算和分析可视化方面代表世界该领域最前沿水平，是遥感领域的一次革命。专题涉及光学和雷达数据处理、机器学习算
HDFS基本操作命令
命令：hadoop fs -getmerge [-n1] [-skip-empty-file]-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录。下载文件到本地文件系统指定目录，localdst必须是目录。和-put功能一样，只不过上传结束，源数据会被删除。-p保留访问和修改
centos7查看日志信息
收集记录linux查看日志方法，备忘
大数据期末考试选择填空重点内容HNUST（1-4章 7，10章多刷题）
（2）每个块都向HDFS集群中的名称节点发起写请求，名称节点会根据系统中各个数据节点的使用情况，选择一个数据节点列表返回给客户端，然后客户端就将数据首先写入列表中的第一数据节点，同时将列表传给第一个数据节点，当第一个数据节点接收到4KB数据时，写入本地，并且向列表中的第二个数据节点发起连接请求，将自
构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置
安装Hadoop 首先，从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版，下载完成后解压缩到安装目录。然后配置环境变量，并修改Hadoop的配置文件，根据需要进行修改。安装MySQL 安装MySQL服务器是搭建大数据环境的重要一步。更新包管理器后，执行
用数据可视化观测月亮的变化是怎样的？
数据可视化随着技术的不断完善已经逐渐应用于我国的各行各业，在天文方面数据可视化的应用可一帮助天文学家和天文爱好者进一步分析天体的信息特征，中国科学院紫金山天台已经建设了大规模的天文数据分析以及多维信息可视化平台，对于更多天文爱好者和学习天文学的朋友们来说，数据可视化的应用都是有有很多益处的。
Elasticesearch内存详解
原理上可以理解为前缀树，加速查询。我们已经知道在elasticsearch中每个shard每隔1秒都会refresh一次，每次refresh都会生成一个新的segment，按照这个速度过不了多久segment的数量就会爆炸，所以存在太多的segment是一个大问题，因为每一个segment都会占用文
大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
关于GNSS技术介绍（一）
GNSS技术是一种卫星通信技术，更是一种无线通信技术，那么关于GNSS技术您了解多少呢？本期文章我们将为大家介绍GNSS技术的发展历程、原理、不同类型的定位技术介绍，以及虹科GNSS测试方案。
pyspark 集成指定python版本
pyspark 指定python版本
分布式文件系统与HDFS的shell操作及查看元数据
分布式文件系统与HDFS的shell操作及查看元数据
dinky+flink+doris实时架构全流程demo
flink+dinky+doris实现实时数仓
【大数据】Presto（Trino）配置参数以及 SQL语法
Trino(前身为PrestoSQL)是一款高性能，分布式的SQL查询引擎，可以用于查询各种类型的数据存储，包括HiveMysqlKafkaPostgreSQL等。节点和worker节点的数量: 这两个参数控制了Trino集群中管理查询的节点数量，它们的配合调整可以影响整个集群的查询效率。memor
亿级以上的数据量 ES如何优化
亿级以上的数据量 ES如何优化
Hadoop 实战实例
Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样，MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行
diskgenius合并分区(diskgenius合并分区到c盘)
DiskGenius怎么把两个分区合并起来diskgenius合并分区步骤如下：1. 在软件中右击其中一个分区，然后选择“删除当前分区”选项。2. 在弹出的对话框中选择“确定”。3. 点击“保存更改”按钮，使上面删除分区的操作生效。4. 右击另外一个分区，然后选择“扩容分区”。5. 将空闲区域设置给
