0
0

win11使用idea连接linux虚拟机中Hadoop伪分布式配置教程

一 前言

预先准备

1.已在虚拟机上装了Hadoop全分布式集群

2.IDEA ultimate 2023.3.5的下载：因为要使用big data tools插件（idea的社区版不可以使用）

3.winutils.exe：链接：winutils

4.hadoop.dll: 链接：hadoop

5.xftp的下载连接：xftp

二 准备工作

2.1linux中hadoop的伪分布式教程

  请查看该博主的文章RYY-CR7https://blog.csdn.net/qq_33980756/article/details/130568379

2.2win11中idea ultimate 的安装与破解

 2.2.1.安装

官网安装https://www.jetbrains.com.cn/idea/download/?section=windows 我们暂时跳过IDEA的安装步骤。如果您熟悉软件的安装过程，可以按照默认设置一路点击“下一步”即可完成安装。

 2.2.2.突破free30day工具下载及使用

解压完后 拷贝文件夹jetbra 到 某个盘根目录 我拷到了 F盘。

打开idea,然后打开jetbra文件夹 进入 "F:\JetBrains 2022 最新全家桶激活" 双击install-current-user文件。

c8c495702b7a4a77a731244434d6553f.png

注意点击文件有风险拦截 点击确定即可。0ece31276fb647938930e8c5dd6c74bd.png

点击【确定】按钮后，过程大概 10 - 30 秒，如看到弹框提示 Done 时，表示激活成功：

de5bc499bd7e4e768a230c3144ad91ba.png

重新打开idea的设置复制破解码，输入到下面的许可证中。

4ad2eb867f28451cb9c600ad0e994f7e.png

6G5NXCPJZB-eyJsaWNlbnNlSWQiOiI2RzVOWENQSlpCIiwibGljZW5zZWVOYW1lIjoic2lnbnVwIHNjb290ZXIiLCJhc3NpZ25lZU5hbWUiOiIiLCJhc3NpZ25lZUVtYWlsIjoiIiwibGljZW5zZVJlc3RyaWN0aW9uIjoiIiwiY2hlY2tDb25jdXJyZW50VXNlIjpmYWxzZSwicHJvZHVjdHMiOlt7ImNvZGUiOiJQU0kiLCJmYWxsYmFja0RhdGUiOiIyMDI1LTA4LTAxIiwicGFpZFVwVG8iOiIyMDI1LTA4LTAxIiwiZXh0ZW5kZWQiOnRydWV9LHsiY29kZSI6IlBEQiIsImZhbGxiYWNrRGF0ZSI6IjIwMjUtMDgtMDEiLCJwYWlkVXBUbyI6IjIwMjUtMDgtMDEiLCJleHRlbmRlZCI6dHJ1ZX0seyJjb2RlIjoiSUkiLCJmYWxsYmFja0RhdGUiOiIyMDI1LTA4LTAxIiwicGFpZFVwVG8iOiIyMDI1LTA4LTAxIiwiZXh0ZW5kZWQiOmZhbHNlfSx7ImNvZGUiOiJQUEMiLCJmYWxsYmFja0RhdGUiOiIyMDI1LTA4LTAxIiwicGFpZFVwVG8iOiIyMDI1LTA4LTAxIiwiZXh0ZW5kZWQiOnRydWV9LHsiY29kZSI6IlBHTyIsImZhbGxiYWNrRGF0ZSI6IjIwMjUtMDgtMDEiLCJwYWlkVXBUbyI6IjIwMjUtMDgtMDEiLCJleHRlbmRlZCI6dHJ1ZX0seyJjb2RlIjoiUFNXIiwiZmFsbGJhY2tEYXRlIjoiMjAyNS0wOC0wMSIsInBhaWRVcFRvIjoiMjAyNS0wOC0wMSIsImV4dGVuZGVkIjp0cnVlfSx7ImNvZGUiOiJQV1MiLCJmYWxsYmFja0RhdGUiOiIyMDI1LTA4LTAxIiwicGFpZFVwVG8iOiIyMDI1LTA4LTAxIiwiZXh0ZW5kZWQiOnRydWV9LHsiY29kZSI6IlBQUyIsImZhbGxiYWNrRGF0ZSI6IjIwMjUtMDgtMDEiLCJwYWlkVXBUbyI6IjIwMjUtMDgtMDEiLCJleHRlbmRlZCI6dHJ1ZX0seyJjb2RlIjoiUFJCIiwiZmFsbGJhY2tEYXRlIjoiMjAyNS0wOC0wMSIsInBhaWRVcFRvIjoiMjAyNS0wOC0wMSIsImV4dGVuZGVkIjp0cnVlfSx7ImNvZGUiOiJQQ1dNUCIsImZhbGxiYWNrRGF0ZSI6IjIwMjUtMDgtMDEiLCJwYWlkVXBUbyI6IjIwMjUtMDgtMDEiLCJleHRlbmRlZCI6dHJ1ZX1dLCJtZXRhZGF0YSI6IjAxMjAyMjA5MDJQU0FOMDAwMDA1IiwiaGFzaCI6IlRSSUFMOi0xMDc4MzkwNTY4IiwiZ3JhY2VQZXJpb2REYXlzIjo3LCJhdXRvUHJvbG9uZ2F0ZWQiOmZhbHNlLCJpc0F1dG9Qcm9sb25nYXRlZCI6ZmFsc2V9-SnRVlQQR1/9nxZ2AXsQ0seYwU5OjaiUMXrnQIIdNRvykzqQ0Q+vjXlmO7iAUwhwlsyfoMrLuvmLYwoD7fV8Mpz9Gs2gsTR8DfSHuAdvZlFENlIuFoIqyO8BneM9paD0yLxiqxy/WWuOqW6c1v9ubbfdT6z9UnzSUjPKlsjXfq9J2gcDALrv9E0RPTOZqKfnsg7PF0wNQ0/d00dy1k3zI+zJyTRpDxkCaGgijlY/LZ/wqd/kRfcbQuRzdJ/JXa3nj26rACqykKXaBH5thuvkTyySOpZwZMJVJyW7B7ro/hkFCljZug3K+bTw5VwySzJtDcQ9tDYuu0zSAeXrcv2qrOg==-MIIETDCCAjSgAwIBAgIBDTANBgkqhkiG9w0BAQsFADAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBMB4XDTIwMTAxOTA5MDU1M1oXDTIyMTAyMTA5MDU1M1owHzEdMBsGA1UEAwwUcHJvZDJ5LWZyb20tMjAyMDEwMTkwggEiMA0GCSqGSIb3DQEBAQUAA4IBDwAwggEKAoIBAQCUlaUFc1wf+CfY9wzFWEL2euKQ5nswqb57V8QZG7d7RoR6rwYUIXseTOAFq210oMEe++LCjzKDuqwDfsyhgDNTgZBPAaC4vUU2oy+XR+Fq8nBixWIsH668HeOnRK6RRhsr0rJzRB95aZ3EAPzBuQ2qPaNGm17pAX0Rd6MPRgjp75IWwI9eA6aMEdPQEVN7uyOtM5zSsjoj79Lbu1fjShOnQZuJcsV8tqnayeFkNzv2LTOlofU/Tbx502Ro073gGjoeRzNvrynAP03pL486P3KCAyiNPhDs2z8/COMrxRlZW5mfzo0xsK0dQGNH3UoG/9RVwHG4eS8LFpMTR9oetHZBAgMBAAGjgZkwgZYwCQYDVR0TBAIwADAdBgNVHQ4EFgQUJNoRIpb1hUHAk0foMSNM9MCEAv8wSAYDVR0jBEEwP4AUo562SGdCEjZBvW3gubSgUouX8bOhHKQaMBgxFjAUBgNVBAMMDUpldFByb2ZpbGUgQ0GCCQDSbLGDsoN54TATBgNVHSUEDDAKBggrBgEFBQcDATALBgNVHQ8EBAMCBaAwDQYJKoZIhvcNAQELBQADggIBABqRoNGxAQct9dQUFK8xqhiZaYPd30TlmCmSAaGJ0eBpvkVeqA2jGYhAQRqFiAlFC63JKvWvRZO1iRuWCEfUMkdqQ9VQPXziE/BlsOIgrL6RlJfuFcEZ8TK3syIfIGQZNCxYhLLUuet2HE6LJYPQ5c0jH4kDooRpcVZ4rBxNwddpctUO2te9UU5/FjhioZQsPvd92qOTsV+8Cyl2fvNhNKD1Uu9ff5AkVIQn4JU23ozdB/R5oUlebwaTE6WZNBs+TA/qPj+5/we9NH71WRB0hqUoLI2AKKyiPw++FtN4Su1vsdDlrAzDj9ILjpjJKA1ImuVcG329/WTYIKysZ1CWK3zATg9BeCUPAV1pQy8ToXOq+RSYen6winZ2OO93eyHv2Iw5kbn1dqfBw1BuTE29V2FJKicJSu8iEOpfoafwJISXmz1wnnWL3V/0NxTulfWsXugOoLfv0ZIBP1xH9kmf22jjQ2JiHhQZP7ZDsreRrOeIQ/c4yR8IQvMLfC0WKQqrHu5ZzXTH4NO3CwGWSlTY74kE91zXB5mwWAx1jig+UXYc2w4RkVhy0//lOmVya/PEepuuTTI4+UJwC7qbVlh5zfhj8oTNUXgN0AOc+Q0/WFPl1aw5VV/VrO8FCoB15lFVlpKaQ1Yh+DVU8ke+rt9Th0BCHXe0uZOEmH0nOnH/0onD

输入激活完成后就可以发现使用时长延长了。

三 创建项目并连接

3.1项目创建

打开IDEA，点击【新建项目】，如果在windows上没有下载jdk，请先去下载并配置环境。

f782a5a04fd74bdaa83ca032bcb926c0.png

创建项目后，点击项目目录的pom.xml文件，接下来要配置pom.xml以导入依赖。

21c1785b82d14358b9704b96b0b44815.png

将<properties></properties>以及其内容删除，再将下面的内容写入，本次配置的依赖只有HDFS。

<properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

        <hadoop.version>3.2.4</hadoop.version>

    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.mrunit</groupId>
            <artifactId>mrunit</artifactId>
            <classifier>hadoop2</classifier>
            <version>1.1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-minicluster</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>22.0</version>
        </dependency>
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter</artifactId>
            <version>RELEASE</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter</artifactId>
            <version>RELEASE</version>
            <scope>compile</scope>
        </dependency>

    </dependencies>

如果hadoop版本不同，请修改<hadoop.version>3.2.4</hadoop.version>中的内容修改为对应版本。

同时如果版本差距过大，可能hadoop.dll与winutils.exe的版本不适用，如果发现不行，请到github上下载与你 的hadoop版本相近的hadoop.dll与wintutils.exe。

写入完成，可能会发现有很多红色，这是因为在本地没有对应的依赖的缘故，而我之前已经导入了依赖，因此不会显示红色，请点击请点击Maven在点击图标，然后等待一段时间，就可以从网上下载依赖到本地。

2d9616e9c4674c198177fa2a8721b164.png

这就可以以使用HDFS和MapReduce的相关API了，但是现在windows上的IDEA并不能连接到虚拟机上的Hadoop集群。

3.2在本地配置Hadoop相应组件

因为已经在虚拟机中配置过Hadoop集群，所以直接打开虚拟机，打开xftp，在虚拟机的目录找到hadoop的路径，将文件夹拖入windows。

07e668ba06de4bf5a3fde7c663b048dc.png

打开环境变量配置，配置变量HADOOP_HOME，变量值写入hadoop的路径

5a9f34420201472c82136cecc988a3f8.png

修改变量Path，在最后添加。

710e89dce4634b13b2775536eba2bea8.png

%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin

在cmd中输入hadoop version，测试Hadoop组件是否配置好。

hadoop version

f08946c6180d44fa88b82a3bde98bb09.png

将已下载好的hadoop.dll和winutils.exe放入hadoop的bin目录下。

836efa792cd841bd90f963cc8ba41c57.png

现在其实就已经可以连接到Hadoop集群，但是这不直观，为了能够方便操作HDFS的文件以及直观的判断是否能够连接Hadoop集群，还需要继续下载big data tools插件。

3.3IDEA插件Big Data Tools的安装及使用

打开IDEA，选择文件->设置

插件中下载 big data toolsa18977d016994580ad39ae5a532e7152.png

下载完Big Data Tools重启IDEA，再次打开设置。

就可以直接找到Big Data Tools插件。07c830b32237426584773bfab87ff1ed.png

点击添加，本次内容仅限于HDFS，名称可以随意起。集群url为虚拟机的IP地址和端口号格式为hdfs://虚拟机ip:9000。连接之前要先去虚拟机中启动hadoop集群。557ba75618494656a0de65c1ea7940af.png1154cf64dea6449fb29f8132d65e67c3.png

点击测试连接，显示以下内容即为连接成功（若连接超时可见文章结尾解决办法）。

20c439117199413587879411bb4e219a.png

四 测试

在main文件中编写代码（注意修改文件路径）

package org.example;

import java.io.IOException;

public class Main {

    public static void main(String[] args) throws IOException {
        上传文件
        String localFilePath = "E:/zhoulihui/upload1.txt";
        String hdfsFilePath = "/usr/local/hadoop/javatest.txt";
        upload.uploadToHDFS(localFilePath, hdfsFilePath);

    }

}

运行成功之后就可以在左侧的插件工具栏中看到上传的文件。7f3696ef410742508b80229662b5f2d8.png

五 连接问题解决

5.1 显示hdfs连接超时

原因是虚拟机中的hadoop配置文件没有将接口开放。

解决办法，在/usr/local/hadoop/etc/hadoop该路径下找到core-site.xml文件添加以下内容。因为默认的不允许除主机外的其他主机连接，将其中的10.120.50.131改为自己的hadoop主机ip，再重启hadoop进行连接即可。

<configuration>
   <property>
    <name>fs.defaultFS</name>
    <value>hdfs://10.120.50.131:9000</value>
   </property>
   <property>
    <name>ipc.maximum.response.length</name>
    <value>1048576</value> <!-- 例如，设置为 1 MB 的长度 -->
   </property>
</configuration>
标签： 分布式 intellij-idea linux
本文转载自: https://blog.csdn.net/m0_68231248/article/details/136911948
版权归原作者 子非鱼o.0？ 所有， 如有侵权，请联系我们删除。
登录后发布评论

“win11使用idea连接linux虚拟机中Hadoop伪分布式配置教程”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

掌握Google GVisor：增强容器安全的开源解决方案

Docker 部署MongoDb

Git通讲-第二章（2）：对象数据库

上百个精美网页Loading效果

6个月缩减到10天！吴恩达解读AI agent如何加速企业创新

LangChain——Embedding 智谱AI

Element UI 默认的 el-table 多选框改造成只能单选的形式

文章导航