HBase架构及读写流程

本篇博文从分析HBase架构开始，首先从架构中各个组成部分开始，接着从HBase写入过程角度入手，分析HFile的Compaction合并、Region的Split分裂过程及触发机制。





架构分析
1、HMaster
负责管理HBase元数据，即表的结构、表存储的Region等元信息。
负责表的创建，删除和修改（因为这些操作会导致HBase元数据的变动）。
负责为HRegionServer分配Region，分配好后也会将元数据写入相应位置（后面会详细讲述放在哪）。
如果对可用性要求较高，它需要做HA高可用（通过Zookeeper）。但是HMaster不会去处理Client端的数据读写请求，因为这样会加大其负载压力，具体的读写请求它会交给HRegionServer来做。


2、HRegionServer
一个RegionServer里有多个Region。
处理Client端的读写请求（根据从HMaster返回的元数据找到对应的Region来读写数据）。
管理Region的Split分裂、StoreFile的Compaction合并。
一个RegionServer管理着多个Region，在HBase运行期间，可以动态添加、删除HRegionServer。


3、HRegion
一个HRegion里可能有1个或多个Store。
HRegionServer维护一个HLog。
HRegion是分布式存储和负载的最小单元。
表通常被保存在多个HRegionServer的多个Region中。
因为HBase用于存储海量数据，故一张表中数据量非常之大，单机一般存不下这么大的数据，故HBase会将一张表按照行水平将大表划分为多个Region，每个Region保存表的一段连续数据。 初始只有1个Region，当一个Region增大到某个阈值后，便分割为两个。


4、Store
Store是存储落盘的最小单元，由内存中的MemStore和磁盘中的若干StoreFile组成。
一个Store里有1个或多个StoreFile和一个memStore。
每个Store存储一个列族。
HBase 读写过程
写过程
Client访问ZK，根据ROOT表获取meta表所在Region的位置信息，并将该位置信息写入Client Cache。
（注：为了加快数据访问速度，我们将元数据、Region位置等信息缓存在Client Cache中。）


Client读取meta表，再根据meta表中查询得到的Namespace、表名和RowKey等相关信息，获取将要写入Region的位置信息（此过程即Region三层定位，如下图），最后client端会将meta表写入Client Cache。


Client向上一步HRegionServer发出写请求，HRegionServer先将操作和数据写入HLog（预写日志，Write Ahead Log，WAL），再将数据写入MemStore，并保持有序。
（联想：HDFS中也是如此，EditLog写入时机也是在真实读写之前发生）


当MemStore的数据量超过阈值时，将数据溢写磁盘，生成一个StoreFile文件。
当Store中StoreFile的数量超过阈值时，将若干小StoreFile合并（Compact）为一个大StoreFile。
当Region中最大Store的大小超过阈值时，Region分裂（Split），等分成两个子Region。


具体合并与分裂过程我们接下来讲解。





Region三层定位
读过程
获取将要读取Region的位置信息（同读的1、2步）。
Client向HRegionServer发出读请求。
HRegionServer先从MemStore读取数据，如未找到，再从StoreFile中读取。
StoreFile合并（Compaction）
目的：减少StoreFile数量，提升数据读取效率。


Compaction分为两种：


major compaction
将Store下面**所有**StoreFile合并为一个StoreFile，此操作会删除其他版本的数据（不同时间戳的）


minor compaction
选取Store下的**部分**StoreFile，将它们合并为一个StoreFile，此操作不会删除其他版本数据。


Region分割（Split）
目的：实现数据访问的负载均衡。


做法：利用Middle Key将当前Region划分为两个等分的子Region。需要指出的是：Split会产生大量的I/O操作，Split开始前和Split完成后，HRegionServer都会通知HMaster。Split完成后，由于Region映射关系已变更，故HRegionServer会更新meta表。


以上，即是HBase详细架构，以及在此架构上的读写操作的过程和可能发生的事件。后续博文会对HBase二级索引及BulkLoad相关内容进行进一步研究。
---------------------
作者：bw_233
原文：https://blog.csdn.net/whdxjbw/article/details/81107285