标签:hadoop

hadoop1和hadoop2的区别-三伏磨
Hadoop

hadoop1和hadoop2的区别

一鸣阅读(69)评论(0)赞(1)

资源调度方式的改变 在1.x, 使用Jobtracker负责任务调度和资源管理,单点负担过重,在2.x中,新增了yarn作为集群的调度工具.在yarn中,使用ResourceManager进行 资源管理, 单独开启一个Container作为...

大数据安全体系介绍之技术体系篇-三伏磨
Hadoop

大数据安全体系介绍之技术体系篇

一鸣阅读(32)评论(0)赞(0)

一、 背景 随着信息化进入3.0阶段,越来越呈现出万物数字化、万物互联化,基于海量数据进行深度学习和数据挖掘的智能化特征。数据安全正式站在了时代的聚光灯下,隆重登场。计算机行业的安全是一个由来已久概念,我们比较认可雷万云博士对于信息安全发展...

Hadoop

hadoop安全需求

一鸣阅读(27)评论(0)赞(0)

hadoop在安全方面的需求主要有: 用户认证安全。hadoop最早通过ugi认证,用户名、密码以明文传输,mr作业都用同一个账户运行,隔离性差。后来通过读取当前账户信息作为hadoop账户,却不对用户进行认证,感觉安全性更加不友好,很容易...

Hadoop

如何实现hadoop的安全机制

一鸣阅读(27)评论(0)赞(0)

hadoop安全设计 hadoop安全机制基于kerberos实现,支持hadoop各组件间的认证、用户认证、数据传输安全、作业管理认证等功能,hadoop组件众多,每个组件在基于kerberos认证时都有各自的考虑,因此这节的内容会逐渐完...

hadoop的安全管理-三伏磨
Hadoop

hadoop的安全管理

一鸣阅读(21)评论(0)赞(0)

HDFS数据管理 1 一旦数据发生异常,可以设置NameNode为安全模式,这时NameNode为只读模式; 2 每一个DataNode都会运行一个数据扫描线程,它可以检测并通过修复命令来修复坏块或丢失的数据块,通过属性设置扫描周期; Ha...

Hadoop

MapReduce性能优化

一鸣阅读(23)评论(0)赞(1)

Map和Reduce中优化 1、 读取数据产生多少个Mapper?? Mapper数据过大的话,会产生大量的小文件,由于Mapper是基于虚拟机的,过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源; Mapper数太小,并发...

哪些场景才能使用Combiner?-三伏磨
Hadoop

哪些场景才能使用Combiner?

一鸣阅读(24)评论(0)赞(1)

什么是 Combiner Combiner介于 Mapper和Reducer之间,combine作为 Map任务的一部分,执行完 map 函数后紧接着执行combine,而reduce 必须在所有的 Map 任务完成后才能进行。 而且还可以...

Hadoop

hadoop中的Combiner 过程

一鸣阅读(27)评论(0)赞(0)

combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。combiner的目的是减少map网络流量。combiner的对象是对于mapcombiner具有和reduce相似的功能。只不过combiner合...

Hadoop的Shuffle是什么-三伏磨
Hadoop

Hadoop的Shuffle是什么

一鸣阅读(24)评论(0)赞(0)

map 端的细节图 Shuffle的作用 首先来看看Shuffle在reduce端的过程,也能用图上标明的三点来概括。当前reduce copy数据的前提是它要从JobTracker获得有哪些map task已执行结束,这段过程不表,有兴趣...