【Java/大数据】Kafka简介
主要内容是kafka的原理和使用参考。
[数据存储]HDFS的简介、初始化配置与运行
HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，是Hadoop项目中关于数据存储的组件，是Hadoop项目的一部分。
Seatunnel实战：hive_to_starrocks
本篇文章带大家了解使用Seatunnel将Hive中的数据导入到StarRocks中。
大数据场景下clickhouse查询时长优化sop
3.join查询 1）左大右小（在join的时候右表会被全部加载到内存中和左表比较） 2)谓词下推 3）避免多表join 4）global join （global关键字可以使右表只在接收查询请求的那个节点查询一次，将其分发到其他节点上，如果不加的话每个节点都会请求一次，造成很大的开销）为了提高查询
大数据面试题：Kafka的单播和多播
大数据面试题：Kafka的单播和多播
CentOS7 OpenSearch2.6单机安装
一、安装OpenSearch1. 下载二进制软件包，下载地址如下： https://opensearch.org/downloads.html # 软件包 opensearch-2.6.0-linux-x64.tar.gz二、安装OpenSearch Dashboards
Hadoop中命令检查hdfs的文件是否存在
示例中，使用hadoop fs -test -e命令检查/user/hadoop/myfile.txt文件是否存在。接着，通过检查命令的返回值来确定文件的存在与否。如果文件存在，命令返回0；如果文件不存在，命令返回非0值。其中，是要检查的HDFS文件的路径。
Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）
NameNode根据一定的策略选择可用的DataNode，并为文件的每个数据块分配一个主节点（Primary DataNode）和多个副本节点（Replica DataNode），NameNode返回文件的数据节点列表给客户端。5、客户端根据数据节点列表，将数据切分成数据块，并按照指定的策略将这些数
大数据与视频技术的融合趋势将带来怎样的场景应用？
视频编码技术是将视频信号编码成数字信号的过程。AI技术可以通过学习编码算法，提高视频编码效率，从而实现视频高清化、压缩等功能。
全国范围2012-2022年POI数据集
中国五批国家级非物质文化遗产空间分布数据集是基于国务院2006、2008、2011、2014和2021年先后五次发布的3610个国家级非物质文化遗产代表性项目名录，按申报地区或单位的空间地理位置研发的数据集。该数据集包括3610个非遗项目的地理位置、编号、名称、类别、公布时间、类型、申报地区或单位、
大数据未来的前景怎么样？_光点科技
随着科技的迅猛发展和互联网的普及，大数据已成为当今社会中不可或缺的重要资源。大数据是指庞大而复杂的数据集合，这些数据通过高级计算技术进行处理和分析，可以揭示出有价值的信息和趋势。
【大数据】kubernetes(k8s)calico跨节点网络不通的问题及排错过程
kubernetes在使用过程中，网络插件calico问题。
一、1、Hadoop的安装与环境配置
dfs.namenode.name.dir和dfs.datanode.data.dir分别指名称节点和数据节点存储路径。切换到路径/usr/local/hadoop/etc/hadoop下，需要修改2个配置文件core-site.xml和hdfs-site.xml。并选择相应系统以及位数下载（本文选
flink oracle cdc实时同步（超详细）
超详细讲解Oracle CDC实时同步
最详细HDFS常用命令作用及截图
HDFS常用命令集合
Flink本地checkpoint测试
flink本地checkpoint测试
Hadoop巡检脚本
变量为你的Hadoop连接信息和输出文件路径。运行脚本后，将会生成一个巡检报告文件，其中包含了Hadoop版本、HDFS健康状态、集群节点信息、YARN应用程序信息和YARN节点信息等。同样，这只是一个基本的示例脚本，你可以根据具体需求进行扩展和定制，添加更多的巡检项和检查规则。
Spark Standalone环境搭建及测试
Apache Spark是目前最流行的大数据处理框架之一，可用于分布式数据处理和分析。在Standalone模式下搭建Spark集群是学习和开发Spark应用程序的良好起点。
大数据课程E5——Flume的Selector
根据headers中的指定字段决定将数据发送给哪一个Channel。1. Selector本身是Source的子组件，决定了将数据分发给哪个Channel。如果是multiplexing，那么在所有值不匹配的情况下数据发送的Channel。如果是multiplexing，那么需要指定监听字段匹配的只
Flink学习笔记（七）并行度详解
一个Flink程序由多个任务（Source、Transformation和Sink）组成。一个任务由多个并行实例（线程）来执行，一个任务的并行实例（线程）数目被称为该任务的并行度。
