IDEA 中使用 Big Data Tools 连接大数据组件

简介

Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。

下面来看一下 Big Data Tools 的安装和使用，主要会配置 Flink,Kafka 和 HDFS。

安装 Big Data Tools 插件

image-20220522170703800

点击安装完成之后，需要重启一下 IDEA，插件才能生效，上面我已经安装过了。

Flink 配置（不推荐）

flink 需要下载即将发布的 IDEA 2022.2-EAP 版本才有，因为之前是不支持 flink 的。

image-20220522202515845

先点击 IDEA 右侧的 Big Data Tools，然后点击加号就可以添加 Flink 组件了。

image-20220522202819718

输入 Flink WEB UI 地址，点击 OK 就可以了。

image-20220522203842116

这样就可以直接在 IDEA 里面查看 Flink Dashboard，跟在 Web UI 上的功能完全一样，点击箭头所指的地方可以直接跳转到 Flink UI,虽然可以直接在 IDEA 里面查看 Dashboard，但是个人感觉还是在 Flink Web UI 上查看更加方便，可能是看习惯了。不是太推荐这个功能。

Kafka 配置（推荐）

然后来看一下 kafka 的配置。

image-20220522205522598

同样的，点击加号选择 Kafka 然后设置一下 Kafka 集群的 broker list ，点击 OK 就行了。

截屏2022-05-22 下午8.58.27

可以看到所有 topic 的详细信息，包括 partition，replicas 等，还可以查看 Consumers 的情况，这个功能还是不错的，虽然现在也有很多开源的 kafka 监控工具，但是配置起来还是有一点门槛，这个插件的配置几乎是零门槛，对于简单的查看 kafka 的信息还是非常不错的。

HDFS 配置（推荐）

最后再来配置一个 HDFS。

image-20220522211549151

Authentication type 选择 Explicit uri 然后设置一下 HDFS 服务地址就可以了。

image-20220522212131641

直接就可以查看 HDFS 上的目录及文件，这个功能还是非常方便的，就不用在登录 HDFS-Web 去查看文件了。

总结

从 Big Data Tools 插件的安装配置到使用，主要介绍了 Flink，Kafka,HDFS,这三个组件的配置使用，整个配置过程是非常简单的，当然这个插件支持的组件远不止这些，包括像 spark，hive，zeppelin 等都是支持的，感兴趣的同学可以自己在 IDEA 里面体验一下，整体上来说，这个插件还是非常有用的。

推荐阅读

Flink 任务实时监控最佳实践

Flink on yarn 实时日志收集最佳实践

Flink 1.14.0 全新的 Kafka Connector

Flink 1.14.0 消费 kafka 数据自定义反序列化类

Flink SQL JSON Format 源码解析

Flink 通过 State Processor API 实现状态的读取和写入

Flink 源码分析之 Client 端启动流程分析

Flink Print SQL Connector 添加随机取样功能

Flink on yarn 远程调试源码

如果你觉得文章对你有帮助,麻烦点一下**赞**和**在看**吧,你的支持是我创作的最大动力.