换下风格^_^

 分类:MapReduce

MR总结(三)-MapReduce组件自定义

MR总结(三)-MapReduce组件自定义
自定义InputFormat InputFormat主要包括:           InputSplit和RecordReader    InputSplit用于定义Map的数目和确定最合适的执行节点(位置)    RecordReader负责从输入文件里读取数据记录,并把数据提...

2年前 (2014-12-08) 0评论 0喜欢

MR总结(二)-Mapreduce程序设计

MR总结(二)-Mapreduce程序设计
导读:尽管很多著作描述了mapreduce的API的使用,很少描述用实际的方法来设计一个MapReduce应用。 mapreduce的功能主要来自于它的简单性。除了准备输入数据之外,程序员只需要操作mapper和reducer。现实中的很多问题都可以利用这种方法解决。 在大多数情...

2年前 (2014-12-08) 0评论 0喜欢

MR总结(一)-Mapreduce原理解析

MR总结(一)-Mapreduce原理解析
本文主要内容: ★理解MapReduce基本原理 ★了解MapReduce应用的执行 ★理解MapReduce应用的设计 一、了解MapReduce MapReduce是一个框架,能够利用许多普通计算机对大规模的数据集进行高并发的、分布式的算法处理。 用户的任务是实现mappe...

2年前 (2014-11-27) 0评论 1喜欢