android音视频解码

A. Android原生编解码接口MediaCodec详解

MediaCodec是Android平台中的核心编解码组件，它在音视频处理中扮演了关键角色。配合MediaExtractor、MediaSync等工具，MediaCodec广泛用于硬解码，但具体采用软解还是硬解，取决于配置。MediaCodec支持三种数据类型：压缩数据、原始音频数据和原始视频数据，这些数据通过ByteBuffer处理，原始视频数据可通过Surface提升性能，但需借助ImageReader获取YUV等信息。

压缩缓冲区主要接收和输出编码后的数据，如单个压缩视频帧或编码音频段。原始音频缓冲区则存储完整的PCM音频帧，使用时需检查MediaFormat以确定是否配置为浮点PCM。原始视频缓冲区根据颜色格式布局，包括YUV 4:2:0格式，从MediaCodecInfo获取设备支持的格式。

MediaCodec的工作流程涉及填充输入缓冲区、编码或解码处理、释放输入缓冲区，再获取并处理输出缓冲区。状态转换通过start、stop、reset和release等操作触发，异步模式下，start后立即进入Running状态。初始化阶段需指定MediaFormat，并在异步模式下设置Callback。

创建MediaCodec时，通过MediaCodecList选择支持的编解码器，设置MediaFormat格式时要确保编解码器支持。MediaCodec的生命周期管理包括Uninitialized、Configured、Running等状态，以及在不同模式下的不同操作。

编码和解码时，使用同步或异步处理输入缓冲区，Android 5.0之后推荐使用ButeBuffer。处理过程中，要适时标记End-of-stream以指示数据流的结束。输入和输出Surface在特定情况下可简化数据传递，影响自适应播放功能的启用。

在使用过程中，注意处理CodecException异常，如遇到媒体内容损坏、硬件故障等问题，可能需要释放资源后重新尝试。MediaCodec的异常处理需关注编解码器内部的异常类型和处理策略。

B. android下视频文件从解码到播放需要哪几步，请简述

Android通过软解码播放视频
1， 一般情况下Android的平台都是硬解码视频的，尤其是在Arm平台这种成熟的硬件平台上面（硬解码代码由芯片厂商提供）。但是Android移植到
2， MIPS平台时间还不长，还不成熟，还需要自己实现硬件解码的工作。为了早日让Android在MIPS平台运行起来，我选择了先用软解码播放视频。
3，Android代码是从Android on MIPS社区获得的代码。发现软解码视频播放过程中会发生崩溃。经过分析好像是内存分配的问题。

4， 经过研究OpenCore库（Android框架是通过OpenCore来播放视频的，网上有很多关于OpenCore的介绍，这里就不多说了），并参考Android平台——Surfaceflinger机制。发现问题出在源文件：
frameworks/base/libs/surfaceflinger/LayerBuffer.cpp的LayerBuffer::BufferSource::postBuffer方法中：
............
buffer = new LayerBuffer::Buffer(buffers, offset);
............类LayerBuffer::Buffer的构造函数代码如下：
LayerBuffer::Buffer::Buffer(const ISurface::BufferHeap& buffers, ssize_t offset)
: mBufferHeap(buffers)
{
NativeBuffer& src(mNativeBuffer);
g.handle = 0;
gralloc_mole_t const * mole = LayerBuffer::getGrallocMole();
if (mole && mole->perform) {
int err = mole->perform(mole,
GRALLOC_MODULE_PERFORM_CREATE_HANDLE_FROM_BUFFER,
buffers.heap->heapID(), buffers.heap->getSize(),
offset, buffers.heap->base(),
& g.handle);
if (err == NO_ERROR) {
op.l = 0;
op.t = 0;
op.r = buffers.w;
op.b = buffers.h;
g.w = buffers.hor_stride ?: buffers.w;
g.h = r_stride ?: buffers.h;
rmat = rmat;
se = (void*)(intptr_t(buffers.heap->base()) + offset);
}
}
}LayerBuffer::getGrallocMole方法的调用到的Gralloc为：
hardware/libhardware/moles/gralloc/gralloc.cpp因为的没有实现在自己的硬件只能用通用的Gralloc，经过分析发现通用的Gralloc没有实现
5， mole->perform函数指针，mole->perform为NULL，所以不会对Buffer进行必要的初始化（我觉得应该是一个疏忽，只是不知道是谷歌的疏忽，还是MIPS移植人员的疏忽，最起码应该能够让通用硬件能跑起来）。参考其他的硬件实现一个perform函数指针到通用Gralloc中。
在源文件：
hardware/libhardware/moles/gralloc/mapper.cpp增加如下的函数定义：
int gralloc_perform(struct gralloc_mole_t const* mole,
int operation, ... )
{
int res = -EINVAL;
va_list args;
va_start(args, operation);
switch (operation) {
case GRALLOC_MODULE_PERFORM_CREATE_HANDLE_FROM_BUFFER: {
int fd = va_arg(args, int);
size_t size = va_arg(args, size_t);
size_t offset = va_arg(args, size_t);
void* base = va_arg(args, void*);
native_handle_t** handle = va_arg(args, native_handle_t**);
private_handle_t* hnd = (private_handle_t*)native_handle_create(
private_handle_t::sNumFds, private_handle_t::sNumInts);
hnd->magic = private_handle_t::sMagic;
hnd->fd = fd;
hnd->flags = private_handle_t::PRIV_FLAGS_USES_PMEM;
hnd->size = size;
hnd->offset = offset;
hnd->base = intptr_t(base) + offset;
hnd->lockState = private_handle_t::LOCK_STATE_MAPPED;
*handle = (native_handle_t *)hnd;
res = 0;
break;
}
}
va_end(args);
return res;
}然后在gralloc.cpp中增加，gralloc_perform的声明：
extern int gralloc_perform(struct gralloc_mole_t const* mole,
int operation, ... );并修改HAL_MODULE_INFO_SYM的定义，增加perform字段的定义：
struct private_mole_t HAL_MODULE_INFO_SYM = {
base: {
.......
perform: gralloc_perform,
},
......
}; 重新编译gralloc模块，再次用Gallary应用程序通过软解码播放视频，就可以流畅的播放了，软解码的效率挺高的，没有卡的感觉！

C. 音频播放需要用到编解码技术吗 android

1、android提圆帆供的音视频编敏腔迟码只有 AMR-NB(nb是窄频)和H.263
2、android虽然支持gif的解码，只能用mediaplay来播放，但是效果不好
3、android不支持flv的解码
4、AudioTrack只能播放pcm编码的数据，MediaPlayer可以播放MP3，AAC，WAV，OGG，MIDI等
事实上，两种本质上是没啥区别的，MediaPlayer在播放音频时，在framework层桥李还是会创建AudioTrack，
把解码后的PCM数据传递给AudioTrack，最后由AudioFlinger进行混音，传递音频给硬件播放出来。
利用AudioTrack播放只是跳过 Mediaplayer的解码部分而已。Mediaplayer的解码核心部分是基于OpenCORE 来实现的，
支持通用的音视频和图像格式，codec使用的是OpenMAX接口来进行扩展。因此使用audiotrack播放mp3文件的话，要自己加入 一个音频解码器，如libmad。
否则只能播放PCM数据，如大多数WAV格式的音频文件。

D. 【Android 音视频开发-FFmpeg音视频编解码篇】1.FFmpeg so库编译

本文提供Android平台FFmpeg so库的编译指南，从交叉编译概念到实践操作，深入浅出地解析了FFmpeg的编译流程。首先，交叉编译定义为在一台机器上生成另一台平台的可执行代码，对于Android应用开发至关重要。接着，文章解释了为何需要交叉编译，强调资源限制与利用PC资源的优势。

为实现这一目标，文章推荐使用GCC或CLANG工具链进行编译，并说明了这两个工具的不同点，其中CLANG因其效率优势被Google推荐使用，且在NDK 17版本后取代了GCC。

文章进一步介绍了如何使用CLANG进行FFmpeg编译，包括选择合适的Android版本和CPU架构，配置编译工具路径，并下载FFmpeg源码。特别提及了配置脚本configure的修改，以适应Android平台，以及如何避免常见的编译失败原因。

文章详细分析了configure配置脚本的逻辑，解释了cross_prefix_clang、--target-os=android、--sysroot=$SYSROOT等关键选项的作用，并探讨了cc和cross_prefix的配置差异，为解决编译过程中的困惑提供了清晰的解释。

在配置GCC编译FFmpeg时，文章指出由于NDK r17c后移除了GCC，推荐使用较旧版本的NDK r17b。文章展示了如何根据编译平台选择对应的NDK版本，以及构建GCC编译环境。

文章最后总结了编译FFmpeg的基本步骤，并鼓励读者通过更多选项实现FFmpeg的定制化编译，以适应不同需求。通过本文，开发者将能更加深入地理解FFmpeg编译过程，轻松实现Android平台的音视频编解码库构建。