背景由于公司业务场景的需要,我们需要开发HBase平台,主要需要以下功能:建表管理授权管理SDK实现与公司内部系统打通我们使用的HBase 版本:HBase 1.2.0-cdh5.16.2Hadoop:
2.6.0-cdh5.16.2目前主要应用场景:实时计算如商品、商家等维度表去重逻辑中间件服务等监控数据用户画像平台建设建表管理1.指定命名空间HBase系统默认定义了两个缺省的namespace:hbase
基于此可以控制在建表的时候,创建多个空region,并确定每个region的起始和终止rowkey,这样只要我们的rowkey设计能均匀的命中各个region,就不会存在写热点问题。
org.apache.hadoop.hbase.security.access.AccessController hbase.security.authorization true 给其他业务组授权都采用超级账户进行下面是权限对照表:授权流程:用户如何进行HBase操作以及平台如何进行认证和鉴权
整体流程:与公司内部系统打通主要工作就是开发平台使用HBase任务如何打通认证鉴权等,因为都是基于业务组提交任务,所以很容易实现满足需求针对外部服务在容器内使用HBase, 在主机名没有做DNS 正反向解析之前