【云平台技术】Hadoop全分布式安装与配置
目录一、虚拟机安装1、创建虚拟机2、虚拟机启动初始化二、 虚拟机克隆三、Linux系统的网络配置1、准备工作2、 主机名和IP映射2.1 配置主机名2.2 配置IP映射3、网络参数配置四、SSH服务配置1、生成密钥文件2、将本机公钥文件复制到其他虚拟机上五、JDK安装和Hadoop安装1、准备安装包
【大数据之Hive】四、配置Hive元数据存储到MySQL
需求：把Hive元数据写道MySQL的metastore数据库中（MySQL默认没有metastore数据库，需要提前创建：create database metastore;连接地址：jdbc:mysql//hadoop102:3306/metastore驱动：com.mysql.cj.jdbc.
Hadoop安装Hbase启动失败报错解决方法
Hadoop安装Hbase启动失败报错解决方法
基于plc控制智能扫地机吸尘逼避障优化设计
绪论 课题研究背景 目前，中国社会经济飞速发展，人们的生活水平日益提高，生活节奏不断加快，而家庭环境中的卫生清洁问题越来越严重。目前市场上扫地机器人产品种类繁多，质量参差不齐，消费者在选购时存在很大困惑。在此背景下，智能扫地机器人逐渐成为家庭清洁的理想伴侣。本课题是基于 PLC控制的智能扫地机器人开
HBase集群环境搭建与测试
HBase集群由多个RegionServer节点和一个或多个HMaster节点组成。HMaster节点负责管理元数据（例如表的位置、分区等），并协调集群中的各个节点。RegionServer节点负责存储和处理数据，并与HMaster节点通信以获取元数据信息。可靠性：HBase采用数据副本和Regio
【大数据】美团 DB 数据同步到数据仓库的架构与实践
作为数据仓库生产的基础，美团数据平台提供的基于 Binlog 的 MySQL2Hive 服务，基本覆盖了美团内部的各个业务线，目前已经能够满足绝大部分业务的数据同步需求，实现 DB 数据准确、高效地入仓。在后面的发展中，我们会集中解决 CanalManager 的单点问题，并构建跨机房容灾的架构，从
【大数据】Doris：基于 MPP 架构的高性能实时分析型数据库
Apache Doris 是一个基于 MPP（Massively Parallel Processing，大规模并行处理）架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。
【腾讯云TDSQL-C Serverless 产品测评】大数据时代是谁在国产数据库中开荒？
最近在CSDN上也是看到关于腾讯云数据库的活动，每次遇到陌生领域的东西，我觉得都很有必要参与一下，这次也是不例外，不过我觉得不仅仅是因为我没使用和了解过，主要是数据库本身就在我们的软件工程中就是非常重要的，随着软件的发展，编程语言对整个系统的影响越来越小，我们所见到的数据，所提交的表单，都需要我们的
1.Flink源码编译
链接：https://pan.baidu.com/s/1ZxYydR8rBfpLCcIdaOzxVg。1.1.4 scala版本（idea需要下载支持的scala插件）node 编译 flink-runtime-web需要。flile->open->选择源码所在目录。以上环境需要在操作系统下配置环境
【新书推荐】大模型赛道如何实现华丽的弯道超车 —— 《分布式统一大数据虚拟文件系统 Alluxio原理、技术与实践》
Alluxio作为一款强大的分布式统一大数据虚拟文件系统，已经在众多领域展现出了其卓越的应用价值，并且为AI/ML训练赋能提供了一个全新的解决方案。
hadoop修改配置文件和环境变量
我们要修改的就是主要的自定义配置文件。
Hive 分区表新增字段 cascade
Hive 分区表新增字段 cascade
修改配置maven镜像仓库位置，将maven镜像更换成阿里镜像
如何修改Maven本地仓库位置，修改配置maven镜像仓库位置，将maven镜像更换成阿里云镜像
大数据技术之 Flink-CDC
大数据技术之 Flink-CDC
Elasticsearch踩坑日记
ubuntu环境下使用apt-get install elasticsearch安装es,一路掉坑，做个简单记录，避免再次踩坑。systemctl start elasticsearch 方式启动，通过 journalctl -xe 和 查看 elasticsearch日志进行排错。当前的elast
Git从指定分支拉取代码
通过Git，我们可以方便地管理代码的版本，并且能够轻松地与其他开发者进行代码共享和合并。通过学习如何从指定分支拉取代码，我们可以更好地利用Git的分支管理功能，在大数据项目中高效地进行开发和测试。使用Git可以轻松地管理这些变更，并且在不同的分支上进行并行开发，提高团队的协作效率。同时，Git提供的
Flink之Sink
Flink 的 DataStream API 专门提供了向外部写入数据的方法：addSink。与 addSource 类似，addSink 方法对应着一个“Sink”算子，主要就是用来实现与外部系统连接、并将数据提交写入的；Flink 程序中所有对外的输出操作，一般都是利用 Sink 算子完成的。
大模型赛道如何实现华丽的弯道超车【赠书活动｜第十期《分布式统一大数据虚拟文件系统 Alluxio原理、技术与实践》】
在人工智能（AI）和机器学习（ML）领域，数据驱动的决策和模型训练已成为现代应用和研究的核心。伴随大模型技术迅猛发展，模型训练所需数据的规模不断扩大，数据的处理、存储和传输都面临着巨大的挑战，传统的存储和处理方式已经无法满足实时性和性能需求。同时，不同计算框架之间的数据孤岛问题也制约了数据的有效利用
hadoop中ResourceManager 进程或 NodeManager 进程没有启动
如果 ResourceManager 进程或 NodeManager 进程没有启动，可能是由于以下原因导致的:可能是 hadoop 配置文件中的错误导致的。您可以检查 hadoop 配置文件，确保所有参数都设置正确。可能是由于网络问题导致的。您可以检查网络连接是否正常，确保所有节点都能够连接到同一网
解决WARNING: /opt/hadoop-3.1.1/logs does not exist. Creating.
解决WARNING: /opt/hadoop-3.1.1/logs does not exist. Creating.
