android音視頻解碼

A. Android原生編解碼介面MediaCodec詳解

MediaCodec是Android平台中的核心編解碼組件，它在音視頻處理中扮演了關鍵角色。配合MediaExtractor、MediaSync等工具，MediaCodec廣泛用於硬解碼，但具體採用軟解還是硬解，取決於配置。MediaCodec支持三種數據類型：壓縮數據、原始音頻數據和原始視頻數據，這些數據通過ByteBuffer處理，原始視頻數據可通過Surface提升性能，但需藉助ImageReader獲取YUV等信息。

壓縮緩沖區主要接收和輸出編碼後的數據，如單個壓縮視頻幀或編碼音頻段。原始音頻緩沖區則存儲完整的PCM音頻幀，使用時需檢查MediaFormat以確定是否配置為浮點PCM。原始視頻緩沖區根據顏色格式布局，包括YUV 4:2:0格式，從MediaCodecInfo獲取設備支持的格式。

MediaCodec的工作流程涉及填充輸入緩沖區、編碼或解碼處理、釋放輸入緩沖區，再獲取並處理輸出緩沖區。狀態轉換通過start、stop、reset和release等操作觸發，非同步模式下，start後立即進入Running狀態。初始化階段需指定MediaFormat，並在非同步模式下設置Callback。

創建MediaCodec時，通過MediaCodecList選擇支持的編解碼器，設置MediaFormat格式時要確保編解碼器支持。MediaCodec的生命周期管理包括Uninitialized、Configured、Running等狀態，以及在不同模式下的不同操作。

編碼和解碼時，使用同步或非同步處理輸入緩沖區，Android 5.0之後推薦使用ButeBuffer。處理過程中，要適時標記End-of-stream以指示數據流的結束。輸入和輸出Surface在特定情況下可簡化數據傳遞，影響自適應播放功能的啟用。

在使用過程中，注意處理CodecException異常，如遇到媒體內容損壞、硬體故障等問題，可能需要釋放資源後重新嘗試。MediaCodec的異常處理需關注編解碼器內部的異常類型和處理策略。

B. android下視頻文件從解碼到播放需要哪幾步，請簡述

Android通過軟解碼播放視頻
1， 一般情況下Android的平台都是硬解碼視頻的，尤其是在Arm平台這種成熟的硬體平台上面（硬解碼代碼由晶元廠商提供）。但是Android移植到
2， MIPS平台時間還不長，還不成熟，還需要自己實現硬體解碼的工作。為了早日讓Android在MIPS平台運行起來，我選擇了先用軟解碼播放視頻。
3，Android代碼是從Android on MIPS社區獲得的代碼。發現軟解碼視頻播放過程中會發生崩潰。經過分析好像是內存分配的問題。

4， 經過研究OpenCore庫（Android框架是通過OpenCore來播放視頻的，網上有很多關於OpenCore的介紹，這里就不多說了），並參考Android平台——Surfaceflinger機制。發現問題出在源文件：
frameworks/base/libs/surfaceflinger/LayerBuffer.cpp的LayerBuffer::BufferSource::postBuffer方法中：
............
buffer = new LayerBuffer::Buffer(buffers, offset);
............類LayerBuffer::Buffer的構造函數代碼如下：
LayerBuffer::Buffer::Buffer(const ISurface::BufferHeap& buffers, ssize_t offset)
: mBufferHeap(buffers)
{
NativeBuffer& src(mNativeBuffer);
g.handle = 0;
gralloc_mole_t const * mole = LayerBuffer::getGrallocMole();
if (mole && mole->perform) {
int err = mole->perform(mole,
GRALLOC_MODULE_PERFORM_CREATE_HANDLE_FROM_BUFFER,
buffers.heap->heapID(), buffers.heap->getSize(),
offset, buffers.heap->base(),
& g.handle);
if (err == NO_ERROR) {
op.l = 0;
op.t = 0;
op.r = buffers.w;
op.b = buffers.h;
g.w = buffers.hor_stride ?: buffers.w;
g.h = r_stride ?: buffers.h;
rmat = rmat;
se = (void*)(intptr_t(buffers.heap->base()) + offset);
}
}
}LayerBuffer::getGrallocMole方法的調用到的Gralloc為：
hardware/libhardware/moles/gralloc/gralloc.cpp因為的沒有實現在自己的硬體只能用通用的Gralloc，經過分析發現通用的Gralloc沒有實現
5， mole->perform函數指針，mole->perform為NULL，所以不會對Buffer進行必要的初始化（我覺得應該是一個疏忽，只是不知道是谷歌的疏忽，還是MIPS移植人員的疏忽，最起碼應該能夠讓通用硬體能跑起來）。參考其他的硬體實現一個perform函數指針到通用Gralloc中。
在源文件：
hardware/libhardware/moles/gralloc/mapper.cpp增加如下的函數定義：
int gralloc_perform(struct gralloc_mole_t const* mole,
int operation, ... )
{
int res = -EINVAL;
va_list args;
va_start(args, operation);
switch (operation) {
case GRALLOC_MODULE_PERFORM_CREATE_HANDLE_FROM_BUFFER: {
int fd = va_arg(args, int);
size_t size = va_arg(args, size_t);
size_t offset = va_arg(args, size_t);
void* base = va_arg(args, void*);
native_handle_t** handle = va_arg(args, native_handle_t**);
private_handle_t* hnd = (private_handle_t*)native_handle_create(
private_handle_t::sNumFds, private_handle_t::sNumInts);
hnd->magic = private_handle_t::sMagic;
hnd->fd = fd;
hnd->flags = private_handle_t::PRIV_FLAGS_USES_PMEM;
hnd->size = size;
hnd->offset = offset;
hnd->base = intptr_t(base) + offset;
hnd->lockState = private_handle_t::LOCK_STATE_MAPPED;
*handle = (native_handle_t *)hnd;
res = 0;
break;
}
}
va_end(args);
return res;
}然後在gralloc.cpp中增加，gralloc_perform的聲明：
extern int gralloc_perform(struct gralloc_mole_t const* mole,
int operation, ... );並修改HAL_MODULE_INFO_SYM的定義，增加perform欄位的定義：
struct private_mole_t HAL_MODULE_INFO_SYM = {
base: {
.......
perform: gralloc_perform,
},
......
}; 重新編譯gralloc模塊，再次用Gallary應用程序通過軟解碼播放視頻，就可以流暢的播放了，軟解碼的效率挺高的，沒有卡的感覺！

C. 音頻播放需要用到編解碼技術嗎 android

1、android提圓帆供的音視頻編敏腔遲碼只有 AMR-NB(nb是窄頻)和H.263
2、android雖然支持gif的解碼，只能用mediaplay來播放，但是效果不好
3、android不支持flv的解碼
4、AudioTrack只能播放pcm編碼的數據，MediaPlayer可以播放MP3，AAC，WAV，OGG，MIDI等
事實上，兩種本質上是沒啥區別的，MediaPlayer在播放音頻時，在framework層橋李還是會創建AudioTrack，
把解碼後的PCM數據傳遞給AudioTrack，最後由AudioFlinger進行混音，傳遞音頻給硬體播放出來。
利用AudioTrack播放只是跳過 Mediaplayer的解碼部分而已。Mediaplayer的解碼核心部分是基於OpenCORE 來實現的，
支持通用的音視頻和圖像格式，codec使用的是OpenMAX介面來進行擴展。因此使用audiotrack播放mp3文件的話，要自己加入 一個音頻解碼器，如libmad。
否則只能播放PCM數據，如大多數WAV格式的音頻文件。

D. 【Android 音視頻開發-FFmpeg音視頻編解碼篇】1.FFmpeg so庫編譯

本文提供Android平台FFmpeg so庫的編譯指南，從交叉編譯概念到實踐操作，深入淺出地解析了FFmpeg的編譯流程。首先，交叉編譯定義為在一台機器上生成另一台平台的可執行代碼，對於Android應用開發至關重要。接著，文章解釋了為何需要交叉編譯，強調資源限制與利用PC資源的優勢。

為實現這一目標，文章推薦使用GCC或CLANG工具鏈進行編譯，並說明了這兩個工具的不同點，其中CLANG因其效率優勢被Google推薦使用，且在NDK 17版本後取代了GCC。

文章進一步介紹了如何使用CLANG進行FFmpeg編譯，包括選擇合適的Android版本和CPU架構，配置編譯工具路徑，並下載FFmpeg源碼。特別提及了配置腳本configure的修改，以適應Android平台，以及如何避免常見的編譯失敗原因。

文章詳細分析了configure配置腳本的邏輯，解釋了cross_prefix_clang、--target-os=android、--sysroot=$SYSROOT等關鍵選項的作用，並探討了cc和cross_prefix的配置差異，為解決編譯過程中的困惑提供了清晰的解釋。

在配置GCC編譯FFmpeg時，文章指出由於NDK r17c後移除了GCC，推薦使用較舊版本的NDK r17b。文章展示了如何根據編譯平台選擇對應的NDK版本，以及構建GCC編譯環境。

文章最後總結了編譯FFmpeg的基本步驟，並鼓勵讀者通過更多選項實現FFmpeg的定製化編譯，以適應不同需求。通過本文，開發者將能更加深入地理解FFmpeg編譯過程，輕松實現Android平台的音視頻編解碼庫構建。