hadoop的安全管理

HDFS数据管理

1 一旦数据发生异常,可以设置NameNode为安全模式,这时NameNode为只读模式;

2 每一个DataNode都会运行一个数据扫描线程,它可以检测并通过修复命令来修复坏块或丢失的数据块,通过属性设置扫描周期;

Hadoop集群安全

Hadoop自带两种安全机制:Simple机制、Kerberos机制

1、Simple机制:

Simple机制是JAAS协议与delegation token结合的一种机制,JAAS(Java Authentication and Authorization Service)java认证与授权服务;

(1)用户提交作业时,JobTracker端要进行身份核实,先是验证到底是不是这个人,即通过检查执行当前代码的人与JobConf中的user.name中的用户是否一致;

(2)然后检查ACL(Access Control List)配置文件(由管理员配置)看你是否有提交作业的权限。一旦你通过验证,会获取HDFS或者mapreduce授予的delegation token(访问不同模块有不同的delegation token),之后的任何操作,比如访问文件,均要检查该token是否存在,且使用者跟之前注册使用该token的人是否一致。

2、Kerberos机制:

Kerberos机制是基于认证服务器的一种方式;

Princal(安全个体):被认证的个体,有一个名字和口令;

KDC(key distribution center):是一个网络服务,提供ticket和临时会话密钥;

Ticket:一个记录,客户用它来向服务器证明自己的身份,包括客户标识、会话密钥、时间戳;

AS(Authentication Server):认证服务器;

TSG(Ticket Granting Server):许可认证服务器;

Hadoop集群内部使用Kerberos进行认证

好处:

可靠:Hadoop本身并没有认证功能和创建用户组功能,使用依靠外围的认证系统;

高效:Kerberos使用对称钥匙操作,比SSL的公共密钥快;

操作简单:用户可以方便进行操作,不需要很复杂的指令。比如废除一个用户只需要从Kerbores的KDC数据库中删除即可。

HDFS安全

1、Client获取namenode初始访问认证(使用kerberos)后,会获取一个delegation token,这个token可以作为接下来访问HDFS或提交作业的凭证;

2、同样为了读取某个文件,Client首先要与namenode交互,获取对应block的block access token,

然后到相应的datanode上读取各个block ,

而datanode在初始启动向namenode注册时候,已经提前获取了这些token,

当client要从TaskTracker上读取block时,首先验证token,通过才允许读取。

MapReduce安全

1、所有关于作业的提交或者作业运行状态的追踪均是采用带有Kerberos认证的RPC实现的。

授权用户提交作业时,JobTracker会为之生成一个delegation token,该token将被作为job的一部分存储到HDFS上并通过RPC分发给各个TaskTracker,一旦job运行结束,该token失效。

2、用户提交作业的每个task均是以用户身份启动的,这样一个用户的task便不可以向TaskTracker或者其他用户的task发送操作系统信号,给其他用户造成干扰。这要求为每个用户在所有的TaskTracker上建一个账号;

3、当一个map task运行结束时,它要将计算结果告诉管理它的TaskTracker,之后每个reduce task会通过HTTP向该TaskTracker请求自己要处理的那块数据,Hadoop应该确保其他用户不可以获取map task的中间结果,

其执行过程是:reduce task对“请求URL”和“当前时间”计算HMAC-SHA1值,并将该值作为请求的一部分发动给TaskTracker,TaskTracker收到后会验证该值的正确性。

赞(0) 打赏
特别声明:除特殊标注,本站文章均为原创,遵循CC BY-NC 3.0,转载请注明出处。三伏磨 » hadoop的安全管理

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏