自動增益控制agc課程設計(自動增益控制英文縮寫)
本文主要介紹自動增益控制agc課程設計(自動增益控制英文縮寫)，下面一起看看自動增益控制agc課程設計(自動增益控制英文縮寫)相關資訊。
音視頻會議、麥子直播、短視頻已經成為人們 人們的工作、教學和娛樂都離不開音視頻實時通信等關鍵技術的廣泛應用。在音頻方面，可以預見的是，客戶的多樣性 業務形式、環境的復雜性和接入設備的差異會帶來一系列問題。我們意識到單一場景的技術和策略已經不能滿足日益暴露的在線問題，唯一的出路就是音頻預處理3a(aec，ans，agc)算法走向全場景適配。為了解決復雜環境下的噪聲問題，我們推出了阿里云降噪-語音增強算法，強化了傳統降噪技術在非穩態噪聲抑制方面的缺陷；為了解決音量問題，我們推出了ali agc-自動增益控制算法，大大改善了不同環境、設備、場景下音量不均勻的問題，比傳統的webrtc agc更加智能。
什么？;現有的webrtc agc算法有什么問題？在《詳解 webrtc 高音質低延時的背后 — agc（自動增益控制）》 ;的文章，深入解讀了webrtc agc不同模式的核心原理。基于固定增益模式的擴展數/模自適應模式存在響應過度和不及時、補償增益估計不準確等穩定性問題。我贏了。;這里不展開技術細節。從方向看，webrtc agc s追求改編的目標是對的，也是我們首先需要優化的部分。我先來看看我們在網上遇到過哪些痛點:
(1)音量不均勻的問題在多人會議中，音頻采集的效果受到設備差異、環境、發言者本人等多種因素的影響。如果只采用固定增益的方案，在聽感上會出現不同揚聲器音量不均勻的問題，持續的音量過低或突然的音量過大只能通過頻繁調節設備播放音量按鈕來解決。在直播/短視頻之間切換時，難免會遇到類似的問題。
(2)環境中的噪音被過度放大。在開放的環境中，如辦公室和商場，當說話者打開麥克風，但沒有。;t說話時，周圍的噪聲很可能被認為是揚聲器 的聲音。傳統的自適應方案會觸發增益補償，導致整個過程噪聲明顯，嚴重影響會議和直播的體驗。
(3)連麥等娛樂場景的直播，背景音樂波動的問題。在連麥等娛樂場景播放背景音樂是很常見的。很多主播會用聲卡，一般業務層選擇關閉agc，把調節音量的權利交給主播。宏觀上，它可以 t解決不同直播之間音量差異大的問題，主播可以 甚至檢測不到音爆和低音量。所以這類場景需要開啟agc。而傳統的增益補償策略并沒有區分人聲和背景音樂，必然會帶來未來音樂音量的波動是觀眾無法接受的，用音樂控制現場是agc面臨的最大挑戰。
因此，魯棒自適應模擬/數字增益是非常基本的，它只能解決(1)中的非均勻音量問題。我們需要添加其他方法或模塊來處理特定場景下的音量問題。
aliagc算法優化方向阿里云視頻云音頻技術團隊為了追求極致的音視頻通話體驗，agc是音頻3a算法中的最后一個環節，我們提出以下要求:
(1)增益補償和自適應調整策略響應迅速，實現二階收斂；
②增益范圍大，可以覆蓋大部分移動和pc設備；
③在噪音、音樂等復雜場景下，穩定性好，不觸發失調；
(4)功耗低，音質無損；
為了實現上述目標，我們在webrtc中基于agc框架進行了以下主要優化(詳見《詳解 webrtc 高音質低延時的背后 — agc（自動增益控制）》):
①數字增益自適應方案:新增vad/包絡檢測模塊，實時計算音頻信號音量，用于快速確定最大增益上限，從而指導當前數字增益調整；
②模擬增益自適應方案:基于檢測到的人聲/噪底量，用于指導模擬增益調整，使采集到的噪底和人聲音量控制在目標范圍內；
③場景自適應方案:增加語音/噪音/音樂等多任務檢測模塊，動態估計當前噪音水平、音樂等狀態，用于激活相應的調整策略，使算法適應當前大多數應用場景。
④音頻統計數據的構建:增加了語音/噪音音量統計、事件檢測等數據，為其他模塊提供準確的數據支持。同時，通過數據上報渠道完善了埋點，豐富了后臺儀表盤。
aliagc算法的效果就是基于以上難題。讓 讓我們來看看優化的aliagc的效果:
(1)收斂速度快，采集量極小時，需要5s-8s；對于-30db →- 3db；正常情況下:-20db →-3db只需要3s-5s。
反之，當采集量較大，數字增益嚴重過剩時，向下調整的收斂速度也很快。絕大多數場景基本都是一句話就收斂了。
(2)數字增益自適應更新能力從前面的案例可以看出，初期音量極小(-34db)，中后期音量比較大。從輸出結果可以看出，最終的輸出音量基本都在[-1db，-3db]的目標范圍內，聽感上沒有差別。
讓 讓我們看一個更極端的例子:聲音由大到小交替變化。如果增益沒有及時自適應調整，我們會看到峰值被限幅器拉平，小音量沒有及時調高。要在簡單的文章里看到)。優化后可以看到整體輸出音量穩定，波形保持完好。
同時我們錄制了一個多人會議中參與者f在本地播放的音頻數據，參與者a到e的最終推送音量基本平衡到-3db左右。對于參與者f來說，他的主觀聽覺基本相同。
(3)噪聲環境下的增益控制。類似地，我們選擇了一段在真實會議中錄制的流式音頻數據。在演講者發言之前，其他同事正在環境中開會。由于傳統自適應方案缺乏對嘈雜環境的監控，其他同事的聲音也大大增加。優化后的方案避免了這種情況，自適應邏輯只在說話人開始說話時才被激活，從而避免了周圍嘈雜聲音增益過大的問題。
同時，對于原始采集的本底噪聲較大，存在嘈雜語音的情況，說話人在說話前增益保持相對較好，不存在因為agc的增益而導致本底噪聲被大幅放大的問題。當說話人開始說話時，觸發增益的自適應調整，最終增益到合適的位置。
(4)在娛樂現場獲得控制權。我們選擇了一段主播和背景音樂交替出現的素材。在傳統的增益補償方案中，人聲和音樂是一視同仁的，最終都得到改善，會發現背景音樂有波動。在優化后的方案中，由于音樂檢測模塊性能良好，會引導agc控制音樂部分的增益，輸出結果符合預期。整體來說，增益只是根據主播聲音的部分自適應的。
全場景適配，aliagc算法的后續優化目標。阿里云視頻云音頻技術團隊提供的音頻3a算法(不限于3a)是alirtc 的推送流。所有的音頻指標都不能有明顯的缺點，三者在復雜的應用場景中缺一不可，共同影響音頻質量和主觀體驗。我們可以 不要單獨優化某個算法。比如agc增益過大，不僅會增加噪聲，還會增加對端收集的回波的非線性成分，影響回波抵消的效果。另外，降噪能力差也會限制agc能達到的最大增益上限。同時，在嘈雜的環境中，我們可以 t單純依靠agc來控制嘈雜的聲音。畢竟檢測中存在誤檢的可能。如果默認使用智能降噪，這類場景下agc的壓力會大大降低。
在后續的優化中，我們會根據場景逐步細化3a的配置，整體看3a的最終效果。對于單個算法的優化，各大廠商的差距在縮小，個性化、差異化的創新顯得尤為重要。一方面，aliagc算法需要積極探索在線badcase，不斷加強穩定性建設；另一方面，要深化機器學習、陣列等技術的探索和應用，豐富產品的亮點。
視頻云技術與應用；是你最應得的。關注音視頻技術的官方賬號，每周推送來自阿里云的實用技術文章，在這里與音視頻領域的一流工程師交流。官方賬號后臺回復【技術】可以加入阿里云視頻云產品技術交流群，與行業大咖探討音視頻技術，獲取更多行業最新資訊。
標簽:
增益音量
了解更多自動增益控制agc課程設計(自動增益控制英文縮寫)相關內容請關注本站點。
華為手環b2商務版怎么查找手機，華為手環2丟了可以定位找回嗎
學電子商務需要電腦嗎-(電子商務專業需不需要電腦)
hpstatusbl.dll(hppatusg01.dll)
平板怎么切換中英文(平板怎么切換成中文)
手機怎么刷第三方rec，紅米note2 怎么刷第三方recovery
自動增益控制agc課程設計(自動增益控制英文縮寫)
西安華為電腦維修點查詢,華為電腦維修點查詢附近的地址
怎樣用手機使用u盤(如何用手機使用u盤)
小程序意外退出怎么辦理(小程序意外退出怎么解決)
徹底win10關閉自動更新方法(聯想win10關閉自動更新方法)
什么播放器可以免費下載音樂,現在什么播放器可以免費下載歌曲
組裝一臺3000左右的主機配置(3000價位的組裝電腦主機)
windows10環境變量設置(w10的環境變量在哪)
2020年什么牌子的電腦好(2021電腦牌子排行榜)
豐田電池價格，豐田k羅拉電瓶多少錢
大學生筆記本電腦多少錢合適用，上大學買筆記本買什么價位的
windows7專業版32位激活密鑰(win7專業版32位永久激活碼)
三星fold和zflip區別(三星zflip和三星fold哪個好)
蘋果6電池怎么保養好(蘋果6電池怎么保養和維護)
系統之家win7系統安裝教程(系統之家win7安裝步驟)
音視頻會議、麥子直播、短視頻已經成為人們 人們的工作、教學和娛樂都離不開音視頻實時通信等關鍵技術的廣泛應用。在音頻方面，可以預見的是，客戶的多樣性 業務形式、環境的復雜性和接入設備的差異會帶來一系列問題。我們意識到單一場景的技術和策略已經不能滿足日益暴露的在線問題，唯一的出路就是音頻預處理3a(aec，ans，agc)算法走向全場景適配。為了解決復雜環境下的噪聲問題，我們推出了阿里云降噪-語音增強算法，強化了傳統降噪技術在非穩態噪聲抑制方面的缺陷；為了解決音量問題，我們推出了ali agc-自動增益控制算法，大大改善了不同環境、設備、場景下音量不均勻的問題，比傳統的webrtc agc更加智能。
什么？;現有的webrtc agc算法有什么問題？在《詳解 webrtc 高音質低延時的背后 — agc（自動增益控制）》 ;的文章，深入解讀了webrtc agc不同模式的核心原理。基于固定增益模式的擴展數/模自適應模式存在響應過度和不及時、補償增益估計不準確等穩定性問題。我贏了。;這里不展開技術細節。從方向看，webrtc agc s追求改編的目標是對的，也是我們首先需要優化的部分。我先來看看我們在網上遇到過哪些痛點:
(1)音量不均勻的問題在多人會議中，音頻采集的效果受到設備差異、環境、發言者本人等多種因素的影響。如果只采用固定增益的方案，在聽感上會出現不同揚聲器音量不均勻的問題，持續的音量過低或突然的音量過大只能通過頻繁調節設備播放音量按鈕來解決。在直播/短視頻之間切換時，難免會遇到類似的問題。
(2)環境中的噪音被過度放大。在開放的環境中，如辦公室和商場，當說話者打開麥克風，但沒有。;t說話時，周圍的噪聲很可能被認為是揚聲器 的聲音。傳統的自適應方案會觸發增益補償，導致整個過程噪聲明顯，嚴重影響會議和直播的體驗。
(3)連麥等娛樂場景的直播，背景音樂波動的問題。在連麥等娛樂場景播放背景音樂是很常見的。很多主播會用聲卡，一般業務層選擇關閉agc，把調節音量的權利交給主播。宏觀上，它可以 t解決不同直播之間音量差異大的問題，主播可以 甚至檢測不到音爆和低音量。所以這類場景需要開啟agc。而傳統的增益補償策略并沒有區分人聲和背景音樂，必然會帶來未來音樂音量的波動是觀眾無法接受的，用音樂控制現場是agc面臨的最大挑戰。
因此，魯棒自適應模擬/數字增益是非常基本的，它只能解決(1)中的非均勻音量問題。我們需要添加其他方法或模塊來處理特定場景下的音量問題。
aliagc算法優化方向阿里云視頻云音頻技術團隊為了追求極致的音視頻通話體驗，agc是音頻3a算法中的最后一個環節，我們提出以下要求:
(1)增益補償和自適應調整策略響應迅速，實現二階收斂；
②增益范圍大，可以覆蓋大部分移動和pc設備；
③在噪音、音樂等復雜場景下，穩定性好，不觸發失調；
(4)功耗低，音質無損；
為了實現上述目標，我們在webrtc中基于agc框架進行了以下主要優化(詳見《詳解 webrtc 高音質低延時的背后 — agc（自動增益控制）》):
①數字增益自適應方案:新增vad/包絡檢測模塊，實時計算音頻信號音量，用于快速確定最大增益上限，從而指導當前數字增益調整；
②模擬增益自適應方案:基于檢測到的人聲/噪底量，用于指導模擬增益調整，使采集到的噪底和人聲音量控制在目標范圍內；
③場景自適應方案:增加語音/噪音/音樂等多任務檢測模塊，動態估計當前噪音水平、音樂等狀態，用于激活相應的調整策略，使算法適應當前大多數應用場景。
④音頻統計數據的構建:增加了語音/噪音音量統計、事件檢測等數據，為其他模塊提供準確的數據支持。同時，通過數據上報渠道完善了埋點，豐富了后臺儀表盤。
aliagc算法的效果就是基于以上難題。讓 讓我們來看看優化的aliagc的效果:
(1)收斂速度快，采集量極小時，需要5s-8s；對于-30db →- 3db；正常情況下:-20db →-3db只需要3s-5s。
反之，當采集量較大，數字增益嚴重過剩時，向下調整的收斂速度也很快。絕大多數場景基本都是一句話就收斂了。
(2)數字增益自適應更新能力從前面的案例可以看出，初期音量極小(-34db)，中后期音量比較大。從輸出結果可以看出，最終的輸出音量基本都在[-1db，-3db]的目標范圍內，聽感上沒有差別。
讓 讓我們看一個更極端的例子:聲音由大到小交替變化。如果增益沒有及時自適應調整，我們會看到峰值被限幅器拉平，小音量沒有及時調高。要在簡單的文章里看到)。優化后可以看到整體輸出音量穩定，波形保持完好。
同時我們錄制了一個多人會議中參與者f在本地播放的音頻數據，參與者a到e的最終推送音量基本平衡到-3db左右。對于參與者f來說，他的主觀聽覺基本相同。
(3)噪聲環境下的增益控制。類似地，我們選擇了一段在真實會議中錄制的流式音頻數據。在演講者發言之前，其他同事正在環境中開會。由于傳統自適應方案缺乏對嘈雜環境的監控，其他同事的聲音也大大增加。優化后的方案避免了這種情況，自適應邏輯只在說話人開始說話時才被激活，從而避免了周圍嘈雜聲音增益過大的問題。
同時，對于原始采集的本底噪聲較大，存在嘈雜語音的情況，說話人在說話前增益保持相對較好，不存在因為agc的增益而導致本底噪聲被大幅放大的問題。當說話人開始說話時，觸發增益的自適應調整，最終增益到合適的位置。
(4)在娛樂現場獲得控制權。我們選擇了一段主播和背景音樂交替出現的素材。在傳統的增益補償方案中，人聲和音樂是一視同仁的，最終都得到改善，會發現背景音樂有波動。在優化后的方案中，由于音樂檢測模塊性能良好，會引導agc控制音樂部分的增益，輸出結果符合預期。整體來說，增益只是根據主播聲音的部分自適應的。
全場景適配，aliagc算法的后續優化目標。阿里云視頻云音頻技術團隊提供的音頻3a算法(不限于3a)是alirtc 的推送流。所有的音頻指標都不能有明顯的缺點，三者在復雜的應用場景中缺一不可，共同影響音頻質量和主觀體驗。我們可以 不要單獨優化某個算法。比如agc增益過大，不僅會增加噪聲，還會增加對端收集的回波的非線性成分，影響回波抵消的效果。另外，降噪能力差也會限制agc能達到的最大增益上限。同時，在嘈雜的環境中，我們可以 t單純依靠agc來控制嘈雜的聲音。畢竟檢測中存在誤檢的可能。如果默認使用智能降噪，這類場景下agc的壓力會大大降低。
在后續的優化中，我們會根據場景逐步細化3a的配置，整體看3a的最終效果。對于單個算法的優化，各大廠商的差距在縮小，個性化、差異化的創新顯得尤為重要。一方面，aliagc算法需要積極探索在線badcase，不斷加強穩定性建設；另一方面，要深化機器學習、陣列等技術的探索和應用，豐富產品的亮點。
視頻云技術與應用；是你最應得的。關注音視頻技術的官方賬號，每周推送來自阿里云的實用技術文章，在這里與音視頻領域的一流工程師交流。官方賬號后臺回復【技術】可以加入阿里云視頻云產品技術交流群，與行業大咖探討音視頻技術，獲取更多行業最新資訊。
標簽:
增益音量
了解更多自動增益控制agc課程設計(自動增益控制英文縮寫)相關內容請關注本站點。
華為手環b2商務版怎么查找手機，華為手環2丟了可以定位找回嗎
學電子商務需要電腦嗎-(電子商務專業需不需要電腦)
hpstatusbl.dll(hppatusg01.dll)
平板怎么切換中英文(平板怎么切換成中文)
手機怎么刷第三方rec，紅米note2 怎么刷第三方recovery
自動增益控制agc課程設計(自動增益控制英文縮寫)
西安華為電腦維修點查詢,華為電腦維修點查詢附近的地址
怎樣用手機使用u盤(如何用手機使用u盤)
小程序意外退出怎么辦理(小程序意外退出怎么解決)
徹底win10關閉自動更新方法(聯想win10關閉自動更新方法)
什么播放器可以免費下載音樂,現在什么播放器可以免費下載歌曲
組裝一臺3000左右的主機配置(3000價位的組裝電腦主機)
windows10環境變量設置(w10的環境變量在哪)
2020年什么牌子的電腦好(2021電腦牌子排行榜)
豐田電池價格，豐田k羅拉電瓶多少錢
大學生筆記本電腦多少錢合適用，上大學買筆記本買什么價位的
windows7專業版32位激活密鑰(win7專業版32位永久激活碼)
三星fold和zflip區別(三星zflip和三星fold哪個好)
蘋果6電池怎么保養好(蘋果6電池怎么保養和維護)
系統之家win7系統安裝教程(系統之家win7安裝步驟)