HBase原理详细介绍

 时间:2026-02-14 06:03:55

1、1 、读流程

HBase读数据流程图

HBase原理详细介绍

2、1)Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息;

2)根据namespace、表名和rowkey在meta表中找到对应的region信息;

3)找到这个region对应的regionserver;

4)查找对应的region;

5)先从MemStore找数据,如果没有,再到BlockCache里面读;

6)BlockCache还没有,再到StoreFile上读(为了读取的效率);

7)如果是从StoreFile里面读取的数据,不是直接返回给客户端,而是先写入BlockCache,再返回给客户端。

3、 写流程

Hbase写流程图

HBase原理详细介绍

4、1)Client向HregionServer发送写请求;

2)HregionServer将数据写到HLog(write ahead log)。为了数据的持久化和恢复;

3)HregionServer将数据写到内存(MemStore);

4)反馈Client写成功。

5、 数据Flush过程

1)当MemStore数据达到阈值(默认是128M,老版本是64M),将数据刷到硬盘,将内存中的数据删除,同时删除HLog中的历史数据;

2)并将数据存储到HDFS中;

3)在HLog中做标记点。

6、 数据合并过程

1)当数据块达到4块,Hmaster触发合并操作,Region将数据块加载到本地,进行合并;

2)当合并的数据超过256M,进行拆分,将拆分后的Region分配给不同的HregionServer管理;

3)当HregionServer宕机后,将HregionServer上的hlog拆分,然后分配给不同的HregionServer加载,修改.META.;

4)注意:HLog会同步到HDFS。

  • 如何恋爱?如何学会成长?
  • PHP教程 输出函数的参数
  • vs2015怎么创建一个WPF应用程序项目(C#)
  • java如何截取域名后的路径和参数
  • W5500无法PING通解决思路
  • 热门搜索
    爱奇艺激活码怎么获得 黄褐斑怎么治 肌研洗面奶怎么样 怎么解除电脑开机密码 南山博物馆 怎么玩英雄联盟 新鲜竹笋怎么做好吃 沙宣发型 狗咬了怎么办 怎么才能学好英语