talend 连接hadoop HDFS时报错UnresolvedAddressException |
发表者:admin分类:大数据2022-09-03 23:19:51 阅读[558] |
解决 java.nio.channels.UnresolvedAddressException 本地连接HDFS地址解析异常
talend 本地调试作业任务时,发现连接hdfs时会报地址解析异常
情况一 host没配对
Hadoop集群部署在 服务器上,ip地址为192.xxx.xxx.xx
修改本地hosts,加入映射
192.168.1.51 hadoop51
192.168.1.52 hadoop52
192.168.1.53 hadoop53
情况二 host没配全
如Hadoop集群有10台hdfs DataNode节点,需要在本地全部配好hosts才行。我一开始只配了其中前8台,出现这个问题,全部配好hosts问题解决。
因为当客户端向 HDFS 发起读写请求时,NameNode 会根据目标文件的 block 存储位置返回一组相应的 datanode 节点给客户端,可以是集群中的任意节点。
例如只配了01-08机器的hosts,向hdfs上传文件时,NameNode返回了三个节点(02,05,09)要求客户端写入,但是09的host没配,就会报错。
情况三 talend配置问题
使用talend 配置 hadoop集群时,使用数据节点主机名 ,不要打勾。
转载请标明出处【talend 连接hadoop HDFS时报错UnresolvedAddressException】。
《www.micoder.cc》
虚拟化云计算,系统运维,安全技术服务.
Tags: | [阅读全文...] |
最新评论