1.HBase与关系数据库比较
1）行式数据库
优点:1.数据存储在一起。2.INSERT/UPDATE数据较容易。
缺点:1.选择操作（select）时，即使是几行所有数据也要被读取
2）列式数据库（hbase）
优点：1.查询时只有涉及的列才会被读取。2.投影很高效。3.任何列都会可以作为索引。
缺点：INSERT/UPDATE比较麻烦。
2.HBase数据模型
1）ROW_KEY
决定一行数据，注意:它的存储是按照字典顺序进行排序的。ROW_KEY只能存储64k的字节数据。
2）Column Family列族与qualify列
- HBase表中每个列都必须属于某个列族，列族必须作为表模式定义的一部分预先给出（有点像关系型数据库中的列名，定义完一般情况下就不会再去修改）eg:create ‘tablename’,’family column列族’;
- 列名以列族作为前缀，每个列族都可以有多个列成员，eg:cource:math,cource:english。新的列族成员（也就是列）可以随后按需，动态加入。
- 权限控制，存储以及调优都是在列族层进行。
- Hbase把同一列族里面的数据存储在同一目录下，由几个文件保存。
3）Timestamp时间戳
- 在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。
- 时间戳的类型是64位整型
- 时间戳可以由HBase在数据写入时自动赋值，此时时间戳是精确到毫秒的当前系统时间。
- 时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。
4）Cell单元格
- 由行和列的坐标交叉决定；
- 单元格是有版本额；
- 单元格的内容：由{rowkey,column(由family列族 +qualify列),version}唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存储。
5）HLog
- HLog文件就是一个普通的Hadoop Sequence File，Sequence File的Key是HLogKey对象，HLogKey中记录了写入信息的归属信息，除了table和region名字之外，同时还包括sequence number和timestamp，timestamp是写入时间，sequence number的初始值为0，或者是最近一次存入文件系统中的sequence number。
- HLog Sequence File的value是HBase的Key Value对象，即对应HFile中的KeyValue。
3.HBase体系架构
1)Client
包含访问HBase的接口并维护cache来加快对HBase的访问。
2）Zookeeper
- 保证任何时候，集群中只有一个master
- 存储所有Region的寻址入口
- 实时监控Region Server的上线和下线信息。并实时通知HMaster。
- 存储HBase的schema和 table元数据。
3）HMaster
- 为Region Server分配region。
- 负责RegionServer的负载均衡（当一个 RegionServer有太多的Region,HMaster将RegionServer中的一部分HRegion移到其他的RegionServer上达到负载均衡）。
- 发现失效的RegionServer并重新分配其上的Region。
- 管理用户对table的增删改操作。
4）ReginServer
- RegionServer维护Region，处理对这些Region的IO请求。（对数据的读写，首先是Client通过Zookeeper和HMaster获取RegionServer中Region的 信息，然后Client直接找到RegionServer,RegionServer对Region进行操作）
- RegionServer负责切分在运行过程中变得过大的region（切分Region）。
5）Region（表的一部分）
- HBase自动把表水平划分为多个Region，每个Region会保存一个表里面某段连续的数据；每个表一开始只有一个Region,随着数据不断插入表region不断增大，当达到一个阀值 的时候，region就会等分产生两个新的region（这个操作会由RegionServer完成）。
- 当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个RegionServer上。
6）Store，MemStore和StoreFile
- 一个Region由多个Store组成，一个Store对应一个列族。
- Store包括位于内存中的MemStore和位于磁盘的StoreFile。当进行写操作时，首先要写入内存中的MemStore,当MemStore中的数据达到某个阀值，RegionServer会启动FlashCache进程写入StoreFile，每次写入形成单独的一个StoreFile。（MemStore有点像缓存，一次写入一次写入磁盘太过频繁，将写入缓存，当量达到一定程度，一起写入）
- 当StoreFile文件的数量增长到一定阀值后，RegionServer会进行合并，在合并过程中会进行版本合并和删除，形成更大的StoreFile。
- 当一个region所有StoreFile的大小和超过一定阀值后，会把当前的Region分割为两个（分割是RegionServer完成），并由HMaster分配到相应的RegionServer上，实现负载均衡。
- 当Client检索数据时，先在MemStore找，找不到再找StoreFile。
7）总结
- Region是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的Region可以分布在不同的RegionServer上。
- Region由一个或者多个Store组成，每个Store保存一个colums family（列族）。
- 每个Store又由一个MemStore和多个StoreFile组成。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
