mapreduce源码解读

⑴ MapRece源码解析之InputFormat

导读

深入探讨MapRece框架的核心组件——InputFormat。此组件在处理多样化数据类型时，扮演着数据格式化和分片的角色。通过设置job.setInputFormatClass(TextInputFormat.class)等操作，程序能正确处理不同文件类型。InputFormat类作为抽象基础，定义了文件切分逻辑和RecordReader接口，用于读取分片数据。本节将解析InputFormat、InputSplit、RecordReader的结构与实现，以及如何在Map任务中应用此框架。

类图与源码解析

InputFormat类提供了两个关键抽象方法：getSplits()和createRecordReader()。getSplits()负责规划文件切分策略，定义逻辑上的分片，而RecordReader则从这些分片中读取数据。

InputSplit类承载了切分逻辑，表示了给定Mapper处理的逻辑数据块，包含所有K-V对的集合。

RecordReader类实现了数据读取流程，其子类如LineRecordReader，提供行数据读取功能，将输入流中的数据按行拆分，赋值为Key和Value。

具体实现与操作流程

在getSplits()方法中，FileInputFormat类负责将输入文件按照指定策略切分成多个InputSplit。

TextInputFormat类的createRecordReader()方法创建了LineRecordReader实例，用于读取文件中的每一行数据，形成K-V对。

Mapper任务执行时，通过调用RecordReader的nextKeyValue()方法，读取文件的每一行，完成数据处理。

在Map任务的run()方法中，MapContextImp类实例化了一个RecordReader，用于实现数据的迭代和处理。

总结

本文详细阐述了MapRece框架中InputFormat的实现原理及其相关组件，包括类图、源码解析、具体实现与操作流程。后续文章将继续探讨MapRece框架的其他关键组件源码解析，为开发者提供深入理解MapRece的构建和优化方法。

⑵ yarn源码分析（四）AppMaster启动

在容器分配完成之后，启动容器的代码主要在ContainerImpl.java中进行。通过状态机转换，container从NEW状态向其他状态转移时，会调用RequestResourceTransition对象。RequestResourceTransition负责将所需的资源进行本地化，或者避免资源本地化。若需本地化，还需过渡到LOCALIZING状态。为简化理解，此处仅关注是否进行资源本地化的情况。

为了将LAUNCH_CONTAINER事件加入事件处理队列，调用了sendLaunchEvent方法。该事件由ContainersLauncher负责处理。ContainersLauncher的handle方法中，使用一个ExecutorService（线程池）容器Launcher。ContainerLaunch实现了Callable接口，其call方法生成并执行launch_container脚本。以MapRece框架为例，该脚本在hadoop.tmp.dir/application name/container name目录下生成，其主要作用是启动MRAppMaster进程，即MapRece的ApplicationMaster。