0


在mac上如何安装和搭建Hadoop集群

在 macOS 上安装和搭建 Hadoop 集群可以分为以下步骤:

1、安装 Java

Hadoop 需要依赖 Java 运行环境,因此需要先安装 Java。macOS 自带了 Java,可以通过终端命令

java -version

来查看 Java 版本。

2、安装 Hadoop

可以从 Hadoop 官网下载 Hadoop 安装包,或者通过 Homebrew 进行安装。使用 Homebrew 安装 Hadoop,可以通过以下命令:

brew install hadoop

3、配置 Hadoop

在 Hadoop 的安装目录下,有一个

etc/hadoop

目录,里面包含了 Hadoop 的配置文件。其中,需要修改的配置文件包括

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

具体来说,需要设置以下参数:

  • hadoop-env.sh:设置 Java 环境变量,将 JAVA_HOME 设置为 Java 的安装路径。
  • core-site.xml:设置 Hadoop 的通用参数,包括文件系统默认的 URI 和文件系统类型。在 <configuration> 标签中添加以下配置:
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>
hdfs-site.xml

:设置 HDFS 的参数,包括数据块的大小和副本数量。在

<configuration>

标签中添加以下配置:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.blocksize</name>
  <value>128M</value>
</property>
mapred-site.xml

:设置 MapReduce 的参数,包括 MapReduce 框架的工作机制。在

<configuration>

标签中添加以下配置:

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

4、启动 Hadoop

在终端中执行以下命令启动 Hadoop:

start-all.sh

执行命令后,可以通过以下命令来查看 Hadoop 是否启动成功:

jps

如果启动成功,会看到类似以下的输出:

18812 Jps
18243 SecondaryNameNode
18109 NameNode
18341 ResourceManager
18500 NodeManager

5、验证 Hadoop

在终端中执行以下命令,创建一个测试文件并上传到 HDFS:

echo "Hello, Hadoop" > test.txt
hdfs dfs -mkdir /input
hdfs dfs -put test.txt /input

执行完毕后,可以通过以下命令查看上传的文件:

hdfs dfs -ls /input

如果成功上传文件,会看到类似以下的输出:

Found 1 items
-r
标签: hadoop macos 大数据

本文转载自: https://blog.csdn.net/weixin_41429382/article/details/128986719
版权归原作者 百态老人 所有, 如有侵权,请联系我们删除。

“在mac上如何安装和搭建Hadoop集群”的评论:

还没有评论