小枫客栈

淡泊以明志,宁静以致远。

CDH6.3.2同步各datanode节点数据

CDH6.3.2 HDFS Block Balancer方法

命令:

sudo -u hdfs hdfs balancer

默认会检查每个datanode的磁盘使用情况,对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用。

指定阀值,该阀值是datanode节点的磁盘使用占整个集群的百分比。

sudo -u hdfs hdfs balancer -threshold 5 #表示超过整个集群5%容量的节点进行均衡block

设置均衡的带宽,默认设置:1048576(1 M/S)

参数含义:设置balance工具在运行中所能占用的带宽,设置的过大可能会造成mapred运行缓慢

sudo -u hdfs hdfs dfsadmin -setBalancerBandwidth  104857600 #表示设置带宽可使用100M


  • 评论列表:
  •  访客
     发布于 2020-04-01 15:48:29  回复该评论
  • 楼主你好,我想请问一下你的cdh 6.3.2使用cm的那个版本来进行管理的,有没有安装文档或者安装包呀
    •  Xiaofeng
       发布于 2020-04-08 16:40:55  回复该评论
    • cm用的6.3.1,这个可以去官网下载的。请注意从6.3.3版本之后,官方不再退出免费的cdh版本。
      cm官方下载地址:https://archive.cloudera.com/cm6/
      cdh官方下载地址:https://archive.cloudera.com/cdh6/

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

Powered By Z-BlogPHP 1.6.0 Valyria

Copyright © 2019 Xiaofeng.org
豫ICP备16026559号-1