记录日常工作关于系统运维,虚拟化云计算,数据库,网络安全等各方面问题。

解决 java.nio.channels.UnresolvedAddressException 本地连接HDFS地址解析异常 


talend 本地调试作业任务时,发现连接hdfs时会报地址解析异常

情况一 host没配对

Hadoop集群部署在 服务器上,ip地址为192.xxx.xxx.xx

修改本地hosts,加入映射

192.168.1.51 hadoop51
192.168.1.52 hadoop52
192.168.1.53 hadoop53





情况二 host没配全

如Hadoop集群有10台hdfs DataNode节点,需要在本地全部配好hosts才行。我一开始只配了其中前8台,出现这个问题,全部配好hosts问题解决。

因为当客户端向 HDFS 发起读写请求时,NameNode 会根据目标文件的 block 存储位置返回一组相应的 datanode 节点给客户端,可以是集群中的任意节点。

例如只配了01-08机器的hosts,向hdfs上传文件时,NameNode返回了三个节点(02,05,09)要求客户端写入,但是09的host没配,就会报错。


情况三 talend配置问题


使用talend 配置 hadoop集群时,使用数据节点主机名 ,不要打勾。





转载请标明出处【talend 连接hadoop HDFS时报错UnresolvedAddressException】。

《www.micoder.cc》 虚拟化云计算,系统运维,安全技术服务.

网站已经关闭评论