hbase集群硬件配置

hbase集群安装时要进行硬件配置选型,region规划,网络规划,hdfs容量规划。

硬件配置:

总内存:128G*3=384G
可分配内存:384 * 0.75 = 288G
总硬盘:1.8T * 12 *3= 64.8T
可用硬盘空间:64.8T * 0.85 = 55.08T

Region规划

对于Region的大小,HBase官方文档推荐单个在10G-30G之间,单台RegionServer的数量控制在20-200之间。

Region过大过小都会有不良影响:

过大的Region
优点:迁移速度快、减少总RPC请求、减少Flush
缺点:compaction的时候资源消耗非常大、可能会有数据分散不均衡的问题
过小的Region
优点:集群负载平衡、HFile比较少compaction影响小
缺点:迁移或者balance效率低、频繁flush导致频繁的compaction、维护开销大

按照官方推荐的配置最多可以存储的数据量大概为200 * 30G * 3= 18T。如果存储的数据量超过18T,或多或少会有些性能问题。从Region规模这个角度讲,当前单台RegionServer能够合理利用起来的硬盘容量上限基本为18T(已提出Sub-Region的概念来满足超大硬盘的需求)。

视磁盘空间、机器数量而定,当前Region配置为:

hbase.hregion.max.filesize=30G
单节点最多可存储的Region个数约为200

hdfs配额

hdfs使用配额的配置值要小于 系统磁盘使用配额

网络配置

集群磁盘IO到4G以上、集群网络IO 8G以上、HDFS IO 5G以上使用的万兆网络拓扑。

赞(0) 打赏
特别声明:除特殊标注,本站文章均为原创,遵循CC BY-NC 3.0,转载请注明出处。三伏磨 » hbase集群硬件配置

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏