大数据平台环境搭建
大数据平台环境搭建（最详细最全面最无脑）
Flink读取数据的5种方式（文件，Socket，Kafka，MySQL，自定义数据源）
当需要对Flink进行一些性能测试时，可以使用自定义数据源来简化测试过程。Flink支持自定义数据源，可以使用循环生成所需要格式的测试数据，使用方式非常灵活。运行程序后，会产生源源不断的数据。
分布式任务调度框架Power-Job
PowerJob可以被认为是第三代任务调度框架，它是新一代分布式任务调度与计算框架，支持CRON、API、固定频率、固定延迟等调度策略，提供工作流来编排任务解决依赖关系，能让您轻松完成作业的调度与繁杂任务的分布式计算，在任务调度的基础上，还额外提供了分布式计算和工作流功能
FCRP-D---帆软官网模拟题，报表模块
FR练习题目
国产操作系统再获重大突破，美国芯片龙头Intel也主动加入了
近日媒体报道指国产操作系统统信UOS已与美国芯片企业Intel成立联合实验室，共同推动通信UOS与Intel处理器的软硬件生态，这代表着国产操作系统的重大突破，适配最广泛普及的X86处理器，将有助于国产操作系统走向海外市场。国产操作系统的发展让业界关注，在于操作系统事关信息安全，因此近几年来国产操作
FlinkSql写入/读取Kafka
FlinkSql写入/读取Kafka
ES框架--ES评分规则详解
一、需求因为需要对搜索结果进行一个统一化的评分，因此需要仔细研究ES本身的评分规则从而想办法把评分统一。省流：无法确切统一化二、ES查询评分规则之前有说过ES的查询评分原理，那么仔细思考之后就会发现，长文本搜索对应的score会比短文本搜索的score高很多：score=单个分词评分之和，长文本对应
flink时间窗口无新的数据进来最后一个窗口不关闭
flink最后一个窗口不会闭窗计算
Hive Code2报错排查
大多数可能的code2报错一般是内存不够，所以加下面这个配置可以有效解决这个问题#取消小表加载至内存中但这个不一定是因为内存不够，其实很多错误都是报这种官方错误的，所以一定要去yarn上看日志。很多人看日志也找不到问题，因为并没有看到全部日志，翻到最底下，点击check here 才能看到完整日志。
遥感云大数据在灾害、水体与湿地领域典型案例实践及GPT模型应用
相比于ENVI等传统的遥感影像处理工具，GEE在处理海量遥感数据方面具有不可比拟的优势，一方面提供了丰富的计算资源，另一方面其巨大的云存储节省了科研人员大量的数据下载和预处理的时间，是遥感数据的计算和分析可视化方面代表世界该领域最前沿水平，是遥感领域的一次革命。专题涉及光学和雷达数据处理、机器学习算
HDFS基本操作命令
命令：hadoop fs -getmerge [-n1] [-skip-empty-file]-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录。下载文件到本地文件系统指定目录，localdst必须是目录。和-put功能一样，只不过上传结束，源数据会被删除。-p保留访问和修改
centos7查看日志信息
收集记录linux查看日志方法，备忘
大数据期末考试选择填空重点内容HNUST（1-4章 7，10章多刷题）
（2）每个块都向HDFS集群中的名称节点发起写请求，名称节点会根据系统中各个数据节点的使用情况，选择一个数据节点列表返回给客户端，然后客户端就将数据首先写入列表中的第一数据节点，同时将列表传给第一个数据节点，当第一个数据节点接收到4KB数据时，写入本地，并且向列表中的第二个数据节点发起连接请求，将自
构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置
安装Hadoop 首先，从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版，下载完成后解压缩到安装目录。然后配置环境变量，并修改Hadoop的配置文件，根据需要进行修改。安装MySQL 安装MySQL服务器是搭建大数据环境的重要一步。更新包管理器后，执行
用数据可视化观测月亮的变化是怎样的？
数据可视化随着技术的不断完善已经逐渐应用于我国的各行各业，在天文方面数据可视化的应用可一帮助天文学家和天文爱好者进一步分析天体的信息特征，中国科学院紫金山天台已经建设了大规模的天文数据分析以及多维信息可视化平台，对于更多天文爱好者和学习天文学的朋友们来说，数据可视化的应用都是有有很多益处的。
Elasticesearch内存详解
原理上可以理解为前缀树，加速查询。我们已经知道在elasticsearch中每个shard每隔1秒都会refresh一次，每次refresh都会生成一个新的segment，按照这个速度过不了多久segment的数量就会爆炸，所以存在太多的segment是一个大问题，因为每一个segment都会占用文
大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
关于GNSS技术介绍（一）
GNSS技术是一种卫星通信技术，更是一种无线通信技术，那么关于GNSS技术您了解多少呢？本期文章我们将为大家介绍GNSS技术的发展历程、原理、不同类型的定位技术介绍，以及虹科GNSS测试方案。
pyspark 集成指定python版本
pyspark 指定python版本
分布式文件系统与HDFS的shell操作及查看元数据
分布式文件系统与HDFS的shell操作及查看元数据
