标签：hadoop

2020-02-11一鸣阅读(325)评论(0)赞(2)

资源调度方式的改变 在1.x, 使用Jobtracker负责任务调度和资源管理,单点负担过重,在2.x中,新增了yarn作为集群的调度工具.在yarn中,使用ResourceManager进行 资源管理, 单独开启一个Container作为...

2020-02-05一鸣阅读(292)评论(0)赞(0)

一、 背景 随着信息化进入3.0阶段，越来越呈现出万物数字化、万物互联化，基于海量数据进行深度学习和数据挖掘的智能化特征。数据安全正式站在了时代的聚光灯下，隆重登场。计算机行业的安全是一个由来已久概念，我们比较认可雷万云博士对于信息安全发展...

2020-02-05一鸣阅读(250)评论(0)赞(0)

HDFS数据管理 1 一旦数据发生异常，可以设置NameNode为安全模式，这时NameNode为只读模式; 2 每一个DataNode都会运行一个数据扫描线程，它可以检测并通过修复命令来修复坏块或丢失的数据块，通过属性设置扫描周期; Ha...

2020-02-05一鸣阅读(674)评论(0)赞(2)

什么是 Combiner Combiner介于 Mapper和Reducer之间，combine作为 Map任务的一部分，执行完 map 函数后紧接着执行combine，而reduce 必须在所有的 Map 任务完成后才能进行。 而且还可以...

2020-02-05一鸣阅读(275)评论(0)赞(1)

mapreduce是hadoop的核心之一，mapreduce经常让我们产生各种困惑 什么是map，什么是renduce ? MapReduce 基础编程模型：把一个大任务拆分成小任务，再进行汇总MR任务：Job = Map + Reduc...

2020-02-05一鸣阅读(194)评论(0)赞(0)

map 端的细节图 Shuffle的作用 首先来看看Shuffle在reduce端的过程，也能用图上标明的三点来概括。当前reduce copy数据的前提是它要从JobTracker获得有哪些map task已执行结束，这段过程不表，有兴趣...