大数据工程专业技术证书考试-数据分析与应用
数据分析与应用根据大纲整理
[spark]spark资源分配
(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小，所以随便选了16)但是一般cpu:内存=1:2-1:4，阿里云封装的时
一百一十三、DBeaver——从hive同步数据到clickhouse
DBeaver——从hive同步数据到clickhouse
Flink作业任务的9种状态简单介绍
当创建一个Flink任务后，该任务可能会经历多种状态。目前Flink给任务共定义了9种状态，包括：`Created`，`Running`，`Finished`，`Cancelling`，`Canceled`，`Restarting`，`Failing`，`Failed`，`Suspended`。
大数据开发之windows安装hadoop教程
本文主要介绍如何在windows上安装hadoop
Hive ---- 文件格式和压缩
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
Hadoop
CentOS下Hadoop的安装和配置，有问题欢迎大家评论区交流！！！
百万级sql server数据库优化案例分享
在我们的IT职业生涯中，能有一次百万级的数据库的优化经历是很难得的，如果你遇到了恭喜你，你的职业生涯将会更加完美，如果你遇到并解决了，那么一定足够你炫耀很多年。这里我将要分享一次完美的百万级数据库优化经历，希望能给在IT行业的小伙伴一点启发和帮助。本篇分三步走：1、遇到问题；2、分析问题；3、解决问
Prometheus实战教程：监控Kafka消息
使用prometheus+Grafana+kafka_exporter+kafka实现监控Kafka运行状态
ES_深度分页概念与解决方案
Es深度分页概念与解决方案
[选型] 实时数仓之技术选型
关于实时数仓的选型● 如果选择hbase，建议选择kudu● 如果选择kudu, 还可以选择doris● 如果选择doris，建议选择iceberg
Flink Web UI不能访问
Flink Web UI无法正常访问排查过程
HIVE基础-文件存储格式
对 HIVE 文件四种主要存储格式（textfile、sequencefile、orc、parquet）进行详细介绍
Hadoop和Hbase版本对应关系(参考官网)
Hadoop和Hbase版本对应关系(参考官网)
Flink将数据写入CSV文件后文件中没有数据
Flink中writeAsCsv方法源码解析
【ES】windows启动
es在windows启动时会遇到的一些坑
Kafka的ack机制
Kafka的ACK机制，指的是producer的消息发送确认机制，这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面，两者不可兼得，只能平衡。Kafka的ACK机制是针对producer的。保证消息的吞吐量就是producer只负责发数据，不需要得知消息是否被集群接收，这
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【GPT模型】遥感云大数据在灾害、水体与湿地领域中的应用
遥感技术、GPT模型、灾害、水体、湿地、海量遥感数据处理、GEE、卫星遥感大数据、ENVI、气候变化、遥感、遥感影像
大数据公司数据分析取数流程以及SQL示例
有效的数据分析，首先需要从庞大的数据库中获取所需的数据，这就涉及到SQL取数的技巧。
