當前位置:首頁 » 安卓系統 » speexandroid

speexandroid

發布時間: 2022-12-26 21:43:30

❶ android 區域網實時語音聊天音頻流用什麼編

一般如果應用需要進行大量數學運算時,推薦使用JNI在Java中調用C/C++編寫的動態庫,Java只負責邏輯和界面用戶操作的相應,

你這個APP很簡單分為以下幾個模塊

  1. 界面,與用戶進行交互,需要具備Android界面的編程

  2. 網路傳輸,需要掌握Java網路socket編程的知識,使用TCP傳輸編碼後的音頻幀;

  3. 語音編解碼模塊,由兩部分構成。一是c/c++編寫的動態庫,二是Java聲明本地native函數,並將c/c++實現的native函數進行封裝,方便Java調用。這部分需要掌握Java中JNI使用的知識,c/c++編程,語音處理的方面的知識,例如數字信號處理。

而c/c++寫的庫一般不是我們自己實現的,而是引入第三方開源代碼,這里的選擇有很多,我了解到的有

  1. ffmeg,很常用,就連暴風影音和QQ音樂據說用了他們的開源庫,而沒有遵守開源協議而進入了他們的黑名單。

  2. speex,是國外的開源庫,現已被Opus取代,但是speex多了一個預處理功能,例如降噪、自動增益、迴音消除等等。

  3. Superpowered,跨平台的,低延遲,功能多。

補充一點,Android現已支持純C++的開發了,這個就需要NDK的配合,寫出NativeActivity,然後就可以直接在C++中調用第三方的庫了,而不用JNI這樣繁瑣,但是由於剛出來,教程不多,需要具備很多嵌入式、音視頻採集處理的開發經驗。

❷ speex降噪android,怎麼提取電影中的音樂

粗提取可以通過視屏截取軟體截取含音樂的那個片段然後再提取音頻,例如用格式工廠截取片段後再將片段直接轉mp3之類的音頻格式

❸ android 用WebRTC做迴音消除

之前使用speex做迴音消除,不知道是沒有用對還是其他什麼原因,導致迴音消除的效果非常差。

好在在GitHub找到了一個使用WebRTC做迴音消除的例子 Android-Audio-Processing-Using-WebRTC


經過一頓改吧改吧的,終於在自己的項目中使用成功。 迴音消除的效果比之前好了不止百倍。

其中的 Apm和ApmViewModel照抄Demo的。

但是迴音消除的部分使用Demo中的方法,導致聲音出現問題。

播放聲音之前執行:

錄音之後執行:

至於Android中使用到的庫文件,可以按照GitHub上的步驟編譯

❹ 求助android 處理 雙通道實時對講 消除回聲

  1. 問題

  2. 我們在做語音實時對講的時候往往會碰到一個瓶頸,這個瓶頸就是在不戴耳機的情況下會有很大的迴音,本文就討論如何解決。

  3. 解決方式:

  4. (1)其實有做了同一時間只有一端能夠說或者聽,類似於對講機,這種雖然是實時的,但是體驗不好,還不如微信;

  5. (2)兩邊戴上耳機,這樣也沒迴音,但是也不可能一直帶著耳機吧,而且有時還不只一個人聽呢;

  6. (3)將這個回應消除,這個也是本文的重點。

  7. 3.speex迴音消除

  8. 做迴音消除有硬體消除和軟體消除,這里採用硬體消除,通過三方開源庫speex消除,對於speex可以查看下相關資料,我也是略懂,只是會用它而已;

  9. speex不僅僅可以做迴音消除,它本身也是一個音頻的編解碼庫,但是它只能解碼自己編碼的音頻文件,但這在做語音通信已經足夠了。

  10. 經過實際測試,在不開外音的情況下可以消除百分之八十以上的迴音,但是開外音的話還是有迴音,畢竟是軟體消除,不可能那麼干凈的;

❺ android中如何計算speex音頻多長時間

g729是一種itu制定的語音編碼的標准,碼率為8kbps/s,如果在android上找不到合適的解碼器,可以轉換成adpcm或gsm的格式,這兩個比較常見,應該比較好找。 mp3,在低碼率的情況下,音質太差。碼率高了,文件就太大。 源碼有,怎麼給你

❻ Android錄音如何用Speex轉碼壓縮

你一放假沒你還敢已經沒有和

❼ android用speex做實時錄音功能,對OGG封裝有些疑問

我的做法就是speex.encode()成byte[],然後通過網路發出去,接收到了之後再speex.decode()完就可以播放了。你說邊錄制變播放有點奇怪呀,自己錄制自己的聲音,為什麼自己還要同時要播出來?邊錄邊聽不奇怪嗎?存成ogg估計是為了錄制完了再聽吧。比如微信。

❽ 為什麼用androidstudio編譯speex

方法/步驟 把eclipse的代碼工具進行打開,然後進行點擊菜單中的file》》export的選項。 進入到export的選項框中,在select的可以找到為Android的generate gradle build files的選項。 對improt instead的信息相關的確認,確認完成之後,進行點擊「next」。 選擇需要導出的項目的文件,可以進行選擇多個的項目的文件,然後進行點擊「next」的選項。 需要進行導出的文件有哪些,包含的了項目的依賴包,可以進行點擊「next」,這樣就生成了gradle相關文件 就可以使用Android studio的進行導入eclipse的文件,打開的Android studio的應用程序。進入到界面中「import Non-Android studio project」。 進入到電腦中文件,找到剛才導出的gradle的文件,直接進行雙擊選中即可。 這樣就可以直接導入到Android studio中,這樣完成代碼的遷移的工作,就可以進行使用Android studio的進行開發代碼了。

❾ speex在android錄音效果怎麼樣

由於項目需要做語音降噪處理,最近做了這方面的研究。但結果卻沒有達到,反而卻學得了基於Speex的語音壓縮和解壓,也算沒有白白浪費時間(300K的語音文件經過Speex壓縮後文件大小變為了30K左右,對於網路傳輸非常好)。

❿ 移動端短語音消息音頻格式選擇

1. 移動端原生音頻支持

1.1 android Supported media formats

https://developer.android.com/guide/topics/media/media-formats

Format / File Type(s) / Container Formats

AAC LC••Support for mono/stereo/5.0/5.1 content with standard sampling rates from 8 to 48 kHz.• 3GPP (.3gp)

• MPEG-4 (.mp4, .m4a)

• ADTS raw AAC (.aac, decode in Android 3.1+, encode in Android 4.0+, ADIF not supported)

• MPEG-TS (.ts, not seekable, Android 3.0+)

HE-AACv1 (AAC+)•

(Android 4.1+)



HE-AACv2 (enhanced AAC+)•Support for stereo/5.0/5.1 content with standard sampling rates from 8 to 48 kHz.

AAC ELD (enhanced low delay AAC)•

(Android 4.1+)



(Android 4.1+)

Support for mono/stereo content with standard sampling rates from 16 to 48 kHz

AMR-NB••4.75 to 12.2 kbps sampled @ 8kHz3GPP (.3gp)

AMR-WB••9 rates from 6.60 kbit/s to 23.85 kbit/s sampled @ 16kHz3GPP (.3gp)

FLAC•

(Android 4.1+)



(Android 3.1+)

Mono/Stereo (no multichannel). Sample rates up to 48 kHz (but up to 44.1 kHz is recommended on devices with 44.1 kHz output, as the 48 to 44.1 kHz downsampler does not include a low-pass filter). 16-bit recommended; no dither applied for 24-bit.FLAC (.flac) only

MIDI•MIDI Type 0 and 1. DLS Version 1 and 2. XMF and Mobile XMF. Support for ringtone formats RTTTL/RTX, OTA, and iMelody• Type 0 and 1 (.mid, .xmf, .mxmf)

• RTTTL/RTX (.rtttl, .rtx)

• OTA (.ota)

• iMelody (.imy)

MP3•Mono/Stereo 8-320Kbps constant (CBR) or variable bit-rate (VBR)MP3 (.mp3)

Opus•

(Android 5.0+)

Matroska (.mkv)

PCM/WAVE•

(Android 4.1+)

•8- and 16-bit linear PCM (rates up to limit of hardware). Sampling rates for raw PCM recordings at 8000, 16000 and 44100 Hz.WAVE (.wav)

Vorbis•• Ogg (.ogg)

• Matroska (.mkv, Android 4.0+)

1.2 Supported Audio File and Data Formats in OS X

https://developer.apple.com/library/content/documentation/MusicAudio/Conceptual/CoreAudioOverview/SupportedAudioFormatsMacOSX/SupportedAudioFormatsMacOSX.html

Allowable data formats for each file format.

File FormatData Formats

AAC (.aac, .adts)'aac '

AC3 (.ac3)'ac-3'

AIFC (.aif, .aiff,.aifc)BEI8, BEI16, BEI24, BEI32, BEF32, BEF64, 'ulaw', 'alaw', 'MAC3', 'MAC6', 'ima4' , 'QDMC', 'QDM2', 'Qclp', 'agsm'

AIFF (.aiff)BEI8, BEI16, BEI24, BEI32

Apple Core Audio Format (.caf)'.mp3', 'MAC3', 'MAC6', 'QDM2', 'QDMC', 'Qclp', 'Qclq', 'aac ', 'agsm', 'alac', 'alaw', 'drms', 'dvi ', 'ima4', 'lpc ', BEI8, BEI16, BEI24,BEI32, BEF32, BEF64, LEI16, LEI24, LEI32, LEF32, LEF64, 'ms\x00\x02', 'ms\x00\x11', 'ms\x001', 'ms\x00U', 'ms \x00', 'samr', 'ulaw'

MPEG Layer 3 (.mp3)'.mp3'

MPEG 4 Audio (.mp4)'aac '

MPEG 4 Audio (.m4a)'aac ', alac'

NeXT/Sun Audio (.snd, .au)BEI8, BEI16, BEI24, BEI32, BEF32, BEF64, 'ulaw'

Sound Designer II (.sd2)BEI8, BEI16, BEI24, BEI32

WAVE (.wav)LEUI8, LEI16, LEI24, LEI32, LEF32, LEF64, 'ulaw', 'alaw'

Core Audio includes a number of audio codecs that translate audio data to and from Linear PCM. Codecs for the following audio data type are available in OS X v10.4. Audio applications may install additional encoders and decoders.

Audio data typeEncode from linear PCM?Decode to linear PCM?

MPEG Layer 3 ('.mp3')NoYes

MACE 3:1 ('MAC3')YesYes

MACE 6:1 ('MAC6')YesYes

QDesign Music 2 ('QDM2')YesYes

QDesign ('QDMC')NoYes

Qualcomm PureVoice ('Qclp')YesYes

Qualcomm QCELP ('qclq')NoYes

AAC ('aac ')YesYes

Apple Lossless ('alac')YesYes

Apple GSM 10:1 ('agsm')NoYes

ALaw 2:1 'alaw')YesYes

Apple DRM Audio Decoder ('drms')NoYes

AC-3NoNo

DVI 4:1 ('dvi ')NoYes

Apple IMA 4:1 ('ima4')YesYes

LPC 23:1 ('lpc ')NoYes

Microsoft ADPCMNoYes

DVI ADPCMYesYes

GSM610NoYes

AMR Narrowband ('samr')YesYes

µLaw 2:1 ('ulaw')YesYes

1.3 總結:

android/ios都可以對mp3解碼,但不能編碼,編碼依賴lame;

android/ios支持對aac進行編解碼;

mp3,aac均是音樂編碼器,android支持對amr窄帶與寬頻編解碼,ios文檔顯示對窄帶支持編解碼,但有人說ios4.3.x版本之後不再支持AMR,剔除了AMR的硬解,如需使用依賴libopencore庫;

結論:

h5 audio標簽對mp3支持最好(audio標簽除了firefox與opera都支持mp3,ogg,wav;flash播放器可以支持到mp3,aac,speex,nellymoser),考慮對純web的兼容性,使用mp3;

android,ios硬體對aac支持最好,考慮硬編碼的性能與效率,使用aac;

amr是語音編碼器,考慮使用場景,推薦amr.

對比微信,微信短語音,6.0之前用的amr,6.0之後用的silk_v3.

2.音頻基礎概念

2.1聲音三要素

聲音的特性可由三個要素來描述,即響度、音調和音色。

響度:人耳對聲音強弱的主觀感覺稱為響度。響度和聲波振動的幅度有關。一般說來,聲波振動幅度越大則響度也越大。當我們用較大的力量敲鼓時,鼓膜振動的幅度大,發出的聲音響;輕輕敲鼓時,鼓膜振動的幅度小,發出的聲音弱。音叉振動時發出的聲波為單音,即只有一個頻率成分。若設法將音叉的振動規律記錄下來,可發現其振動波形為一正弦波。當用不同力量敲擊某個音叉時,音叉發出的聲波幅度不同,這意味著聲音的響度不同。給出了兩個聲音波形,其幅度一大一小,幅度大的波形其聲音響度大,幅度小的波形其聲音響度小。另外,人們對響度的感覺還和聲波的頻率有關,同樣強度的聲波,如果其頻率不同,人耳感覺到的響度也不同。

音調:人耳對聲音高低的感覺稱為音調。音調主要與聲波的頻率有關。聲波的頻率高,則音調也高。當我們分別敲擊一個小鼓和一個大鼓時,會感覺它們所發出的聲音不同。小鼓被敲擊後振動頻率快,發出的聲音比較清脆,即音調較高;而大鼓被敲擊後振動頻率較慢,發出的聲音比較低沉,即音調較低。如果分別敲擊一個小音叉和一個大音叉時,同樣會感覺到小音叉所發聲音的音調較高,大音叉所發聲音音調較低。如果設法把大、小音叉所發出的聲波記錄下來,可發現小音叉在單位時間內振動的次數多,即頻率高,大音叉在單位時間內振動的次數少,即頻率低。給出了兩個頻率不同的聲音波形,從聲音可聽出,頻率高的聲音波形聽起來音調較高,而頻率低的聲音波形聽起來則音調較低。

音色:音色是人們區別具有同樣響度、同樣音調的兩個聲音之所以不同的特性,或者說是人耳對各種頻率、各種強度的聲波的綜合反應。音色與聲波的振動波形有關,或者說與聲音的頻譜結構有關。前面說過,音叉可產生一個單一頻率的聲波,其波形為正弦波。但實際上人們在自然界中聽到的絕大部分聲音都具有非常復雜的波形,這些波形由基波和多種諧波構成。諧波的多少和強弱構成了不同的音色。各種發聲物體在發出同一音調聲音時,其基波成分相同。但由於諧波的多少不同,並且各次諧波的幅度各異,因而產生了不同的音色。例如當我們聽胡琴和揚琴等樂器同奏一個曲子時,雖然它們的音調相同,但我們卻能把不同樂器的聲音區別開來。這是因為,各種樂器的發音材料和結構不同,它們發出同一個音調的聲音時,雖然基波相同,但諧波構成不同,因此產生的波形不同,從而造成音色不同。給出了小提琴和鋼琴的波形和聲音,這兩個聲音的響度和音調都是相同的,但聽起來卻不一樣,這就是因為這兩個聲音的音色不同(波形不同)。

2.2采樣率和采樣大小

聲音其實是一種能量波,因此也有頻率和振幅的特徵,頻率對應於時間軸線,振幅對應於電平軸線。波是無限光滑的,弦線可以看成由無數點組成,由於存儲空間是相對有限的,數字編碼過程中,必須對弦線的點進行采樣。采樣的過程就是抽取某點的頻率值,很顯然,在一秒中內抽取的點越多,獲取得頻率信息更豐富,**為了復原波形,一次振動中,必須有2個點的采樣**,人耳能夠感覺到的最高頻率為20kHz,因此要滿足人耳的聽覺要求,則需要至少每秒進行40k次采樣,用40kHz表達,這個40kHz就是采樣率。我們常見的CD,采樣率為44.1kHz。光有頻率信息是不夠的,我們還必須獲得該頻率的能量值並量化,用於表示信號強度。量化電平數為2的整數次冪,我們常見的CD位16bit的采樣大小,即2的16次方。采樣大小相對采樣率更難理解,因為要顯得抽象點,舉個簡單例子:假設對一個波進行8次采樣,采樣點分別對應的能量值分別為A1-A8,但我們只使用2bit的采樣大小,結果我們只能保留A1-A8中4個點的值而舍棄另外4個。如果我們進行3bit的采樣大小,則剛好記錄下8個點的所有信息。采樣率和采樣大小的值越大,記錄的波形更接近原始信號。

2.3有損和無損

根據采樣率和采樣大小可以得知,相對自然界的信號,音頻編碼最多隻能做到無限接近,至少目前的技術只能這樣了,相對自然界的信號,任何數字音頻編碼方案都是有損的,因為無法完全還原。在計算機應用中,能夠達到最高保真水平的就是PCM編碼,被廣泛用於素材保存及音樂欣賞,CD、DVD以及我們常見的WAV文件中均有應用。因此,PCM約定俗成了無損編碼,因為PCM代表了數字音頻中最佳的保真水準,並不意味著PCM就能夠確保信號絕對保真,PCM也只能做到最大程度的無限接近。我們而習慣性的把MP3列入有損音頻編碼范疇,是相對PCM編碼的。強調編碼的相對性的有損和無損,是為了告訴大家,要做到真正的無損是困難的,就像用數字去表達圓周率,不管精度多高,也只是無限接近,而不是真正等於圓周率的值。

2.4頻率與采樣率的關系

采樣率表示了每秒對原始信號采樣的次數,我們常見到的音頻文件采樣率多為44.1KHz,這意味著什麼呢?假設我們有2段正弦波信號,分別為20Hz和20KHz,長度均為一秒鍾,以對應我們能聽到的最低頻和最高頻,分別對這兩段信號進行40KHz的采樣,我們可以得到一個什麼樣的結果呢?結果是:20Hz的信號每次振動被采樣了40K/20=2000次,而20K的信號每次振動只有2次采樣。顯然,在相同的采樣率下,記錄低頻的信息遠比高頻的詳細。這也是為什麼有些音響發燒友指責CD有數碼聲不夠真實的原因,CD的44.1KHz采樣也無法保證高頻信號被較好記錄。要較好的記錄高頻信號,看來需要更高的采樣率,於是有些朋友在捕捉CD音軌的時候使用48KHz的采樣率,這是不可取的!這其實對音質沒有任何好處,對抓軌軟體來說,保持和CD提供的44.1KHz一樣的采樣率才是最佳音質的保證之一,而不是去提高它。較高的采樣率只有相對模擬信號的時候才有用,如果被采樣的信號是數字的,請不要去嘗試提高采樣率。

亨利·奈奎斯特(Harry Nyquist)采樣定理:當對連續變化的信號波形進行采樣時,若采樣率fs高於該信號所含最高頻率的兩倍,那麼可以由采樣值通過插補技術正確的回復原信號中的波形,否則將會引起頻譜混疊(Aliasing),產生混疊噪音(Aliasing Noise),而重疊的部分是不能恢復的.(同樣適用於模擬視頻信號的采樣)

根據人聲語音的特點,人類的聽力感知范圍是從20Hz到20kHz。這個頻寬范圍被劃分成四個頻寬類別:窄帶、寬頻、超寬頻和全帶。

窄帶(narrowband)普通電話所覆蓋的頻寬,從300Hz到3.4kHz,對應采樣率6.8kHz。普通電話的采樣率是8kHz,對應頻寬4kHz,對於人聲語音是足夠的。

寬頻(wideband)從50Hz到7kH的頻寬,對應采樣率14khz,可以很好地捕捉和還原人聲,然而對於音樂聲還是不夠的。這是在人聲語音通話場景下的所謂高清語音。

超寬頻(super-wideband)從50Hz到14kHz,對應采樣率28kHz,基本可以覆蓋人聲和音樂聲,對於非專業音樂人的用戶來說,不管是人聲通話還是音樂直播,這樣的頻寬都是足夠的。

全帶(fullband)從20Hz到20kHz,對應40kHz采樣率,全面覆蓋人類的聽覺范圍,能夠滿足音樂發燒友或者專業音樂人的需求。超過40Hz都可以稱作全帶語音。CD的采樣率就是44.1kHz。

因此,窄帶(narrowband)的音質是能滿足人聲錄制回放的。

從四個角度衡量音頻編碼:

成本:開發成本,伺服器流量成本

音質:

系統影響:對系統資源的暫用,軟編解碼器比硬編解碼器佔用更多cpu

兼容性:對移動端以及web端的兼容

適合產品場景的編碼器具備以下四個特點

碼率相對低,滿足成本可控的要求,一般不要超過16kbps。一個sample用1bit就能編好,那麼8kHz采樣率(narrowband)對應8kbps的碼率,16kHz采樣率(wideband)對應16kbps的碼率。碼率的本質就是成本。

演算法復雜度要比較低,對系統CPU、內存和電量消耗少,對系統影響要盡量低。

音質可以適當作出犧牲,以保障上面三個因素,8kHz采樣率對人聲場景是夠用的,16kHz采樣率可以提供高清語音。

兼顧兼容性

3.主流音頻編碼器

音頻編碼格式的比較: https://zh.wikipedia.org/wiki/%E9%9F%B3%E9%A2%91%E7%BC%96%E7%A0%81%E6%A0%BC%E5%BC%8F%E7%9A%84%E6%AF%94%E8%BE%83

下圖列舉一組主流的音頻編解碼器,展示了隨著碼率變化,音質相應變化的情況。這是基於編解碼器聽音測試的結果繪畫出來的,對選取音頻編解碼器有參考意義。根據上面的分析並且參照下圖,發現碼率低於16kbps的低碼率人聲編解碼器(speech codecs)包含:Opus(SILK),Speex,AMR-NB,AMR-WB,和iLBC。

下圖是另外一組主流的音頻編解碼器,展示了隨著碼率的變化,演算法延遲時間相應變化的情況。根據上面的分析並且參照下圖,發現演算法延遲時間低於60毫秒,碼率低於16kbps的人聲編解碼器(speech codecs)包含:Opus(SILK)、Speex(NB,WB)、G.729、和G.729.1。

從圖中我們可以獲得如下幾方面信息:

對於固定碼率的編碼標准:如G.711或者G.722,圖中採用單點表示,說明這兩個編碼標準是固定碼率編碼標准。其他如Opus、Speex,它們的曲線是連續的,說明這類編碼標準是可變碼率的編碼標准。

從頻帶方面看:G.711、G.722、AMR和iLBC等標准適用於narrowband(8khz采樣率)和wideband(16khz采樣率)范圍,針對普通的語音通話場景。AAC和MP3適用於fullband(48khz采樣率)范圍,針對特殊的音樂場景。而Opus適用於整個頻帶,可以進行最大范圍的動態調節,適用范圍最廣。

從標準的收費情況看:適用於互聯網傳輸的iLBC、Speex和Opus都是免費且開源的;適用於音樂場景的MP3和AAC,需要license授權,而且不開源。

綜合上面的兩個圖,我們可以大致總結,比較適合人聲短語音的音頻編解碼器包含Opus(SILK)、Speex(NB,WB)、AMR-NB、AMR-WB、iLBC、G.729、和G.729.1。

碼率采樣率演算法延遲

OPUS(SILK)6-12,7-25,

8-30,12-40kbps

8,12,

16,24kHz

25ms

Speex2.15–24.6 kbps (NB)

4–44.2 kbps (WB)

8, 16,

32, 48kHz

30 ms(NB)

34 ms (WB)

AMR-NB4.75, 5.15, 5.90,

6.70, 7.40, 7.95,

10.20, 12.20 kbps

8kHz25ms (20ms per frame

plus 5ms look-ahead,

20ms for 12.2 kbps)

AMR-WB6.60, 8.85, 12.65,14.25, 15.85, 18.25, 19.85, 23.05, 23.85 kbps16kHz25ms (20ms per frame

plus 5ms look-ahead)

iLBC13.33 kbps

15.20 kbps

8kHz25 ms

40 ms

G.7298kbps8kHz15 ms

G.729.18 kbps,

12–32 kbps

8kHz

16kHz

48.94ms

Codec20.7, 1.2, 1.3, 1.4,

1.6, 2.4, 3.2 kbps

8kHz20–40 ms

(額外增加的,超低碼率)

短語音不同於實時語音,可以忽略延遲

上面都是為人聲場景設計的低碼率音頻編解碼器,具有碼率低(16kbps以下),演算法延遲低(大部分在40ms以下),和采樣率在8kHz和16kHz之間的特點,都可供短語音編碼方案選擇。其中,有幾個語音編解碼器值得在這里稍作介紹:

Opus(SILK)

https://en.wikipedia.org/wiki/Opus_(audio_format)

完全開源而且免費,包含了SILK、CELT、以及兩者的混合模式,是目前最為兼容並包的音頻編解碼器。在處理窄帶和寬頻人聲語音(speech)的時候,採用SILK; 在處理超寬頻和全帶音樂聲音(music)的時候,採用CELT。在人聲和音樂聲混合的場景中,甚至可以智能切換兩個編解碼器。WebRTC就採用了Opus作為語音編解碼器。而SILK是Skype網路電話所用的語音編解碼器。Opus真可謂是久經考驗的名門精品。根據即構科技的測試結果,Opus雖然在音樂場景中表現並非首選,但是在人聲場景中表現十分出色。

iLBC

完全開源而且免費的,由GIPS開發並被IETF標准化,曾經被QQ和Skype使用過,現在被WebRTC使用,是被世界頂級產品證明過的窄帶實時語音編解碼器。iLBC能夠通過平滑降低語音質量的方式來處理IP網路丟包。由於iLBC的語音幀塊之間是相互獨立的,在丟幀出現的時候也不會導致錯誤蔓延,因此具有較強的抗丟包能力。在窄帶應用環境中,iLBC具有延遲低,無斷續或雜音的特點,通話效果可以和行動電話媲美。

Speex

免費的人聲音頻編解碼器。因為Speex是為VoIP專門設計的,所以Speex對IP網路有很強的抗丟包能力。為了達到這個目的,Speex採用了CELP演算法。市場上狼人殺產品的游戲實時語音技術,廠商自研的方案採用了Speex。

Codec2

開源並且專利免費,碼率超低的人聲語音編解碼器。碼率在0.7 kbps至3.2 kbps。Codec2填補了開源編碼器在5 kbps碼率以下的空白。

評估音頻編碼指標,除碼率、采樣率、和演算法延遲以外,還要參考MOS、VBR/CBR、和基礎演算法等。其中,MOS (Mean Opinion Score)是語音編解碼器的主觀評估指標。MOS是一個廣為接受的有統計意義的主觀聽音指標。上面音視頻編解碼器的列表沒有把它包含進去,是因為同一個編解碼器,在不同碼率下,表現出來的MOS值是會變化的。對一個音頻編解碼器給出一個固定的MOS值,反而會起誤導的作用。另外,雖然MOS值已經是主觀的聽覺測試評估結果,但是音頻工程師在選用音頻編解碼器的時候,還要以自己親身的聽感作為最終的依據。

下圖是Nokia在2011年的時候對Opus、AMR、和G.722.1C等音頻編解碼器在無噪音和有噪音的環境里做的MOS語音測試的結果。我們可以從語音測試的結果看出:

1)MOS值會隨著碼率變化。固定的MOS值並沒有絕對的參考意義。

2)在低碼率情況下,AMR-NB和AMR-WB都表現相對出色。

參考:

1.Getting Started with Audio & Video: https://developer.apple.com/library/content/referencelibrary/GettingStarted/GS_MusicAudio/_index.html

2.Opus ios: https://github.com/chrisballinger/Opus-iOS

3.android opus: https://gitlab.com/axet/android-opus

4.opus_android: https://github.com/louisyonge/opus_android

5.opuscodec: https://github.com/martoreto/opuscodec

6.與大家討論如何用opencore amr在iOS上decode: https://blog.csdn.net/devday/article/details/6804553

7. ios支持 https://developer.apple.com/library/archive/documentation/MusicAudio/Conceptual/CoreAudioOverview/CoreAudioEssentials/CoreAudioEssentials.html#//apple_ref/doc/uid/TP40003577-CH10-SW13

熱點內容
scratch少兒編程課程 發布:2025-04-16 17:11:44 瀏覽:624
榮耀x10從哪裡設置密碼 發布:2025-04-16 17:11:43 瀏覽:355
java從入門到精通視頻 發布:2025-04-16 17:11:43 瀏覽:69
php微信介面教程 發布:2025-04-16 17:07:30 瀏覽:294
android實現陰影 發布:2025-04-16 16:50:08 瀏覽:786
粉筆直播課緩存 發布:2025-04-16 16:31:21 瀏覽:336
機頂盒都有什麼配置 發布:2025-04-16 16:24:37 瀏覽:201
編寫手游反編譯都需要學習什麼 發布:2025-04-16 16:19:36 瀏覽:796
proteus編譯文件位置 發布:2025-04-16 16:18:44 瀏覽:353
土壓縮的本質 發布:2025-04-16 16:13:21 瀏覽:581