Hadoop--万恶NameNode各种起不来!!!
创始人
2025-05-31 11:21:07
0

每次用到Hadoop集群时NameNode总有各种各样奇奇怪怪的问题启动不了或者hdfs用9870端口访问不了!!!

以前写过一篇Hadoop集群缺少node结点,一下↓ 是对NameNode结点一些常见问题

目录

NameNode启动不了

HDFS可视化网页打不开

Last but not least


NameNode启动不了

 

  • 111 配置文件错误

 不管你的NameNode在哪个主机上,jpsall就是看不到它的进程

这里用到启动Hadoop集群的脚本:myhadoop.sh start 和查看进程脚本:jpsall (后面会写一篇关于脚本的文章)

先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop(每个人可能路径不同),查看这个目录下的core-site.xml 、 yarn-site.xml 、  hdfs-site.xml 、mapred-site.xml  、 workers

仔细阅读配置文件,字母、括号都不要错过!!!!还有works里面的主机名,还要去确认一遍、/etc/hosts 里面的主机映射对不对(比如主机1:172.168.100  hadoop01 ,如果hosts映射错了咋能启动?) 请仔细阅读配置文件!!!!

  • 222  NameNode格式化问题

可能你NameNode起不来,就在网上找教程说格式化,然后格式化一次又一次.....

格式化没有错,但要明白格式化会怎么样

 

每次格式化以后里面id都会改变,多次操作可能导致NameNode的id的和其他文件里缓存的NameNode的id不一致,就会报错。 

解决方法:先把data和logs目录删除,再格式化NameNode之后重启集群

 格式化NameNode:

hdfs namenode -format

再重启集群会自动生成新的并且和NameNodeid信息一致的data和logs

 

tip:是自己的理解,专业名词或者解释有偏差,谅解!

  •  333以上都解决不了问题

学会看看log日志,每个人情况不同,其他问题可能别人没遇到,所以,要学会自己解决问题。

运行时的警告和报错都会记录在logs中,去看对应节点的log,

看到爆红的的地方,翻译一下问题什么意思,---->复制问题百度一下 

HDFS可视化网页打不开

  • 444把linux防火墙关一下

查看防火状态

systemctl status firewalldservice  iptables status

关闭防火墙

systemctl stop firewalld.service

关闭开机自启

systemctl disable firewalld.service
  • 555查看访问地址

访问是如果用的是主机名比如hadoop01、或者自己的主机名,前提是你的windows有这个主机名映射,就是说你在windows上访问hadoop01:9870....他不知道hadoop01是谁啊

解决方法:把主机名hadoop改成主机号比如172.168...再访问

如果可以访问就在windows中的hosts里添加你的linux主机映射(把hadoop01 172.168....添加进去)

 

Last but not least

如果看到现在还是解决不了,请重启电脑、重启linux、重启Hadoop集群、并仔细阅读配置文件!bey~

相关内容

热门资讯

【MySQL】锁 锁 文章目录锁全局锁表级锁表锁元数据锁(MDL)意向锁AUTO-INC锁...
【内网安全】 隧道搭建穿透上线... 文章目录内网穿透-Ngrok-入门-上线1、服务端配置:2、客户端连接服务端ÿ...
GCN的几种模型复现笔记 引言 本篇笔记紧接上文,主要是上一篇看写了快2w字,再去接入代码感觉有点...
数据分页展示逻辑 import java.util.Arrays;import java.util.List;impo...
Redis为什么选择单线程?R... 目录专栏导读一、Redis版本迭代二、Redis4.0之前为什么一直采用单线程?三、R...
【已解决】ERROR: Cou... 正确指令: pip install pyyaml
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
Lock 接口解读 前置知识点Synchronized synchronized 是 Java 中的关键字,...
Win7 专业版安装中文包、汉... 参考资料:http://www.metsky.com/archives/350.htm...
3 ROS1通讯编程提高(1) 3 ROS1通讯编程提高3.1 使用VS Code编译ROS13.1.1 VS Code的安装和配置...
大模型未来趋势 大模型是人工智能领域的重要发展趋势之一,未来有着广阔的应用前景和发展空间。以下是大模型未来的趋势和展...
python实战应用讲解-【n... 目录 如何在Python中计算残余的平方和 方法1:使用其Base公式 方法2:使用statsmod...
学习u-boot 需要了解的m... 一、常用函数 1. origin 函数 origin 函数的返回值就是变量来源。使用格式如下...
常用python爬虫库介绍与简... 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库&...
药品批准文号查询|药融云-中国... 药品批文是国家食品药品监督管理局(NMPA)对药品的审评和批准的证明文件...
【2023-03-22】SRS... 【2023-03-22】SRS推流搭配FFmpeg实现目标检测 说明: 外侧测试使用SRS播放器测...
有限元三角形单元的等效节点力 文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数(Nÿ...
初级算法-哈希表 主要记录算法和数据结构学习笔记,新的一年更上一层楼! 初级算法-哈希表...
进程间通信【Linux】 1. 进程间通信 1.1 什么是进程间通信 在 Linux 系统中,进程间通信...
【Docker】P3 Dock... Docker数据卷、宿主机与挂载数据卷的概念及作用挂载宿主机配置数据卷挂载操作示例一个容器挂载多个目...