Amabri设置HDFS、YARN高可用

HDFS/YARN高可用配置

注:这里必须要使用Zookeeper,所以提前安装好

1、打开hdfs管理界面,点击Enable NameNode HA

2、配置JournalNode与新增Namenode节点分配

3、确认安装和调整的参数

4、创建CheckPoint
此处注意按照界面的步骤一步步执行,注意执行的主机,一定要严格按照提示的主机名称,进入对应的主机进行操作!

5、对Journalnode进行初始化

注意:此处会重新启动namenode,但是因为启动了hadoop的安全模式,可能会启动不了,无限重试,此时我们需要离开安全模式,到启动的节点服务上执行:

su - hdfs

hadoop dfsadmin -safemode leave

6、对元数据进行初始化,这里非常重要

原NameNode节点上进行操作

sudo su hdfs -l -c 'hdfs zkfc -formatZK'

在新添加的NameNode节点上操作,注:一定要切换新安装的namenode节点!!!

sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'

注意:此处会跟之前的一样重启namenode,一样需要离开安全模式,到启动的节点服务上执行:

su - hdfs

hadoop dfsadmin -safemode leave

7、最后安装完毕后,可看到hdfs中的namenode会多一个standby的节点,则表示完成高可用配置

完成安装以后HDFS已经变成HA模式,如果出现问题,两个节点会切换,此时观察ACTIVE/STANDBY会互换

Leave a Reply

Your email address will not be published. Required fields are marked *