Hadoop-3.3.6完全分布式集群搭建
右击创建好的虚拟机hadoop base，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。设置静态ip，与主节点ljl的hosts文件保持一致，设置成功重启网络。首先进入hadoop所在配置文件目录/usr/local/src/Hadoo
【ScalaTest系列1】使用ScalaTest进行单元测试步骤实用指南【建议收藏】
ScalaTest是一个功能强大的测试框架，支持多种不同的测试风格。本指南将帮助您快速入门ScalaTest。
如何在Flink SQL中轻松实现高效数据处理：最佳实践揭秘Protobuf自定义格式
在Flink SQL中，自定义数据格式是一个强大的功能，它允许用户将外部系统中的数据以特定的格式读取到Flink中，并在Flink SQL中进行处理。本文将结合提供的链接内容，探讨如何在Flink SQL中自定义Protobuf格式，并介绍其背后的原理和实现过程。
Spark编程实验三：Spark SQL编程
本实验的目的是掌握Spark SQL的基本编程方法，熟悉RDD到DataFrame的转化方法，熟悉利用Spark SQL管理来自不同数据源的数据。
Spark 基本知识介绍
spark基本概念理解
[spark] RDD, DataFrame和DataSet是什么?如何相互转化
简而言之，RDD 是最基本的抽象，DataFrame 是对结构化数据的更高层次抽象，而 Dataset 是在 DataFrame 基础上提供了类型安全性的扩展。在实际使用中，通常优先选择使用 DataFrame 或 Dataset，因为它们更适合进行结构化数据处理和利用 Spark 的优化能力。在
从零开始了解大数据(二)：Hadoop篇
Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集。本文将介绍Hadoop集群的主要组成部分，包括HDFS分布式文件系统和YARN资源管理器，并探讨它们在大数据处理中的作用和功能。
Flink cdc3.0同步实例（动态变更表结构、分库分表同步）
基于 Flink CDC 3.0 同步 MySQL 到 Doris ，来体验整库同步、表结构变更同步和分库分表同步等功能。
字节跳动 Spark 支持万卡模型推理实践
在云原生化的发展过程中 Kubernetes 由于其强大的生态构建能力和影响力，使得包括大数据、AI 在内越来越多类型的负载应用开始向 Kubernetes 迁移，字节内部探索 Spark 从 Hadoop 迁移到 Kubernetes 对作业的云原生化运行。字节跳动的大数据资源管理架构和 Spar
一百八十二、大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS
大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS
大数据平台/大数据技术与原理-实验报告--部署ZooKeeper集群和实战ZooKeeper
在上步修改配置文件zoo.cfg中，将存放数据快照和事务日志的目录设置为目录data和datalog，因此需要在master机器上创建这两个目录，使用如下命令实现，假设当前目录为以上步骤操作后的所在目录“/opt/so/apache-zookeeper-3.9.1-bin”。由于ZooKeeper集
计算机毕业设计：基于python热门旅游景点数据爬取分析系统+可视化 +大数据（附源码+文档）✅
计算机毕业设计：基于python热门旅游景点数据爬取分析系统+可视化 +大数据（附源码+文档）✅
毕设分享 python大数据房价预测与可视化系统
今天学长向大家介绍一个机器视觉的毕设项目毕设分享 python大数据房价预测与可视化系统项目获取：https://gitee.com/sinonfin/algorithm-sharing对于数据挖掘工程师来说，有时候需要抓取地理位置信息，比如统计房子周边基础设施信息，比如医院、公交车站、写字楼、地铁
架构师必知必会系列：容器安全与容器漏洞管理
作者：禅与计算机程序设计艺术 1.简介容器安全是云计算领域的一个热点话题，也是容器技术火爆的重要原因之一。本系列文章将详细阐述容器安全相关技术及关键技术体系，并着重探讨云原生应用中容器安全的实现方式以及应对方案。主要包括如下几个方面：1、什么是容器安全2、容器安
HBase的shell操作
查询多条数据: scan。
【flink】状态清理策略(TTL)
三种状态清理策略不是互斥的，并不是三选一的问题，一般是全量快照清理配合另两个其中的一个来使用（需要根据不同的state backend），可以看到StateTtlConfig.CleanupStrategies.strategies是一个集合来的。
2023_Spark_实验三十三：配置Standalone模式Spark3.4.2集群
基于Centos7，部署Spark3.4.2组件，实现Standalone模式集群部署。并通过自带的样例代码pi计算验证集群是否ok。
大数据Flink（九十）：Lookup Join（维表 Join）
Lookup Join 其实就是维表 Join，比如拿离线数仓来说，常常会有用户画像，设备画像等数据，而对应到实时数仓场景中，这种实时获取外部缓存的 Join 就叫做维表 Join。
深入解析 Flink CDC 增量快照读取机制
深入解析 Flink CDC 增量快照读取机制
