Hadoop 使用IntelliJ IDEA 进行远程调试代码的配置方法

一 .前言

昨天晚上遇到一个奇葩的问题, 搞好的环境datanode启动报错. 报错信息提示的模棱两可,没办法定位原因.
办法,开启远程调试…

注意 : 开启远程调试的代码,必须与本地idea的代码必须保持一致.

二 .服务器端配置

2.1. 设置启动远程debug端口

修改服务器上的配置文件 ${hadoop_home}/etc/hadoop/hadoop-env.sh 增加环境变量即可.

2.2. 具体操作

1.编辑服务器上的配置文件[${hadoop_home}/etc/hadoop/hadoop-env.sh`]
随便加上一行[记住端口!!!]:

export hadoop_datanode_opts="-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y"

启动服务即可 [启动完, jvm返现有jdwp的配置,会自动阻塞, 等到idea调试连接.].

因为我要调试的是datanode .
所以启动命令为:

cd ${hadoop_home}/sbin

# 启动datanode

sh hadoop-daemon.sh start datanode

查看日志

为了便于观察报错信息 . 打开datanode相关的日志, 使用命令进行查看就可以了.

到这里,服务端配置就完成了.

三 .idea配置

将与服务器同步的代码导入到idea中, 导入完成, 不编译,不管报错信息…
只要导入到idea , 等idea自己构建完就可以了…

3.1. 根据报错信息定位到断点所在的位置报错信息如下:

2021-03-27 22:47:51,949 error org.apache.hadoop.hdfs.server.datanode.datanode: exception in securemain
java.lang.runtimeexception: cannot start secure datanode due to incorrect config. see https://cwiki.apache.org/confluence/display/hadoop/secure+datanode for details.
at org.apache.hadoop.hdfs.server.datanode.datanode.checksecureconfig(datanode.java:1523)
at org.apache.hadoop.hdfs.server.datanode.datanode.startdatanode(datanode.java:1376)
at org.apache.hadoop.hdfs.server.datanode.datanode.<init>(datanode.java:501)
at org.apache.hadoop.hdfs.server.datanode.datanode.makeinstance(datanode.java:2806)
at org.apache.hadoop.hdfs.server.datanode.datanode.instantiatedatanode(datanode.java:2714)
at org.apache.hadoop.hdfs.server.datanode.datanode.createdatanode(datanode.java:2756)
at org.apache.hadoop.hdfs.server.datanode.datanode.securemain(datanode.java:2900)
at org.apache.hadoop.hdfs.server.datanode.datanode.main(datanode.java:2924)
2021-03-27 22:47:51,959 info org.apache.hadoop.util.exitutil: exiting with status 1: java.lang.runtimeexception: cannot start secure datanode due to incorrect config. see https://cwiki.apache.org/confluence/display/hadoop/secure+datanode for details.

可以看到是 org.apache.hadoop.hdfs.server.datanode.datanode.checksecureconfig方法.
所以直接找到代码, 加上断点即可…