Hadoop数据迁移distcp
Hadoop数据迁移distcp，hadoop高可用集群的数据迁移
zookeeper 查询注册的 dubbo 服务
1. 连接zookeeper 服务端
Linux-Hadoop集群测试
通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：`http://192.168.1.101:9870。在HDFS上创建一个目录·BigData·，既可以在WebUI上创
194、SpringBoot --- 下载和安装 Erlang 、 RabbitMQ
SpringBoot --- 下载和安装 Erlang 、 RabbitMQ
大数据与智能数据应用架构
作者：禅与计算机程序设计艺术 1.简介数据量越来越大、应用场景越来越复杂、用户对数据的要求越来越高，人们逐渐把目光转移到如何快速、高效地处理海量数据上。在人工智能、云计算、大数据等新潮流技术的驱动下，数据分析领域已经从传统的基于规则的分析向“智能”分析转变。随着
Flink CDC 基于mysql binlog 实时同步mysql表(无主键)
由于无主键， debezium.snapshot.mode' = 'initial',这个参数会导致，程序运行几次，源表数据就会同步几次到目标表，并不会去重，如果想一直这个参数运行，需要在插入前先清空表，但是如果是数据量大的，推荐还是先用这个参数同步历史数据，完成后，再改为 schema_only，
docer安装hadoop
此处会看到刚刚创建好的容器，并在后台运⾏。这⾥因为是后期制作的教程，为了节省内存，只保留了。，并配置免密登录，由于后⾯的容器之间是由⼀个镜像启动的，就像同⼀个磨具出来的。查看集群启动状态 （这个状态不是固定不变的，随着应⽤不同⽽不同，但⾄少应该有。⽣成密钥，不⽤输⼊，⼀直回⻋就⾏，⽣成的密钥在当前⽤
HDFS中的NAMENODE元数据管理（超详细）
文件自身属性信息文件名称、权限、修改时间，文件大小、复制因子、数据块大小文件块位置映射信息记录文件块和DataNode之间的映射信息，即哪个块位于哪个结点上按照存储形式分别为内存元数据和元数据文件两种，分别存在内存和磁盘上SNN可以减小edits logs文件的大小和得到一个最新的fsimage文件
【大数据Hive】hive select 语法使用详解
hive 查询语法使用详解
大数据和智能数据应用架构系列教程之：大数据与农业决策支持
作者：禅与计算机程序设计艺术 1.简介随着经济全球化的发展，人类越来越多地依赖于各种新型交通工具、新型能源等绿色资源。在传统的农业生产方式中，种子是农民收割时主要使用的支柱工业产品，但随着新的社会模式、经济发展以及人口红利减少，对种子等农业资源的需求日益增加，传
hadoop调用HDFS java api实现在HDFS上创建文件夹
HDFS文件系统JavaAPI接口HDFS是存取数据的分布式文件系统，HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工具。另一种是JavaAPI，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。
【1.4】Java微服务：服务注册和调用（Eureka和Ribbon实现）
这篇文章主要为初学者讲述了服务注册和调用(使用了Eureka和Ribbon实现）
Linux常用命令
Linux常用命令
Spark工作原理
Spark工作原理
Flink文章汇总
Flink基础知识点博文汇总：Flink（1）：Flink概述Flink（2）：为什么选择FlinkFlink（3）：Flink安装部署之Local本地模式Flink（4）：Flink安装部署之Standalone独立集群模式Flink（5）：Flink安装部署之Standalone-HA高可用集
使用Hadoop进行大数据分析的步骤与实践
作者：禅与计算机程序设计艺术 1.简介随着互联网、移动互联网、物联网等新型设备的广泛普及，以及各种应用系统的不断发展，越来越多的数据产生出来，而这些数据将会对我们带来巨大的商业价值。如何有效地从海量数据中挖掘商业价值，是企业面临的一项重要课题。大数据的处理方法可
Apache Doris (三十一）：Doris 数据导入(九）Spark Load 4- 导入Hive数据及注意事项
3) 使用Spark Load时spark_home_default_dir配置项没有指定spark客户端根目录。2) 使用 Spark Load 时如果没有在 spark 客户端的 spark-env.sh 配置 HADOOP_CONF_DIR 环境变量，会报 When running with
Building a Distributed System Using RabbitMQ, Kafka and
作者：禅与计算机程序设计艺术 1.简介对于分布式系统来说，消息队列(Message Queue)是一个非常重要的组件，它用于缓冲和传递异步消息。消息队列在分布式系统中的作用主要包括：解耦、冗余、削峰、可靠性、扩展性等。而Kafka和RabbitMQ都可以作为消息
Hbase分布式集群部署
HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。HBase 是一种类似于 Google’s Big Table 的数据模型，它是 Hadoop 生态系统的一部分，它将数据存储在 HDFS 上。今天我们就来在我们的虚拟机中实现HBase分布式集群服务部署
Hadoop启动
这里会给你报出不赞同的问题，但是也是可以使用的，最好是采用分别运行HDFS、YARN的方式来启动Hadoop。额外说一下分别运行HDFS、YARN的方式来启动Hadoop（非常简单）博主用的是Cent0S XShell7使用Hadoop。这个时候就启动成功了。输入jps就可以查看进程了。这个时候，你
