對(duì)于習(xí)慣了佩戴支持主動(dòng)式降噪(ANC)耳機(jī)的用戶們來(lái)說(shuō),你會(huì)發(fā)現(xiàn)市售產(chǎn)品的解決方案仍有一定的改進(jìn)空間 —— 麥克風(fēng)會(huì)拾取諸多音頻,而不是你想要集中注意力的那部分。好消息是,來(lái)自華盛頓大學(xué)的一支研究團(tuán)隊(duì),介紹了一款名叫 ClearBuds 的真無(wú)線耳機(jī),特點(diǎn)是能夠利用實(shí)時(shí)機(jī)器學(xué)習(xí)來(lái)增強(qiáng)語(yǔ)言體驗(yàn)。
ClearBuds 是華盛頓大學(xué)三名研究人員(COVID 大流行期間的室友們)的一個(gè)項(xiàng)目成果。
作為一個(gè)開(kāi)源項(xiàng)目,ClearBuds 旨在通過(guò)引入深度學(xué)習(xí)和音頻處理層,來(lái)化解這方面的問(wèn)題。
可知其系統(tǒng)中包含了一套麥克風(fēng)系統(tǒng)、以及能夠在智能手機(jī)上運(yùn)行的實(shí)時(shí)機(jī)器學(xué)習(xí)系統(tǒng)。
盡管大多數(shù)耳機(jī)僅使用了其中一個(gè)耳塞將音頻發(fā)送到手機(jī),但 ClearBuds 系統(tǒng)卻能夠發(fā)送兩路音頻流。
通過(guò)快速分析和處理,其相關(guān)信息能夠被用于視頻 / 電話呼叫等實(shí)時(shí)音頻的體驗(yàn)改進(jìn)。算法會(huì)抑制非語(yǔ)音信息,以增強(qiáng)用戶通話時(shí)的聲音。
Paul G. Allen 計(jì)算機(jī)科學(xué)與工程學(xué)院博士生 Maruchi Kim 表示,ClearBuds 有兩個(gè)關(guān)鍵特性。
首先,這款真無(wú)線耳機(jī)使用了雙麥克風(fēng)陣列,用于創(chuàng)建兩個(gè)同步音頻流,提供信息并允許我們?cè)诟呓馕隽Φ目臻g上分離來(lái)自不同方向的聲音。
其次,通過(guò)引入輕量級(jí)的神經(jīng)網(wǎng)絡(luò),ClearBuds 得以進(jìn)一步增強(qiáng)通話者的聲音。研究合著者 Ishan Chatterjee 補(bǔ)充道:由于講述者的聲音離兩個(gè)耳機(jī)很近、且距離大致相等,因而神經(jīng)網(wǎng)絡(luò)訓(xùn)練可專注于其語(yǔ)音并消除其它背景噪聲。
這種方法與人耳的工作方式非常相似,即利用聲音傳入左右耳的時(shí)間差,來(lái)判斷聲音到底來(lái)自哪個(gè)方向。
展望未來(lái),我們希望該研究團(tuán)隊(duì)能夠很快將 ClearBuds 或其實(shí)時(shí)機(jī)器學(xué)習(xí)音頻增強(qiáng)技術(shù)推向市場(chǎng)。
原標(biāo)題:ClearBuds團(tuán)隊(duì)介紹基于實(shí)時(shí)機(jī)器學(xué)習(xí)的通話音頻增強(qiáng)技術(shù)
昵稱 驗(yàn)證碼 請(qǐng)輸入正確驗(yàn)證碼
所有評(píng)論僅代表網(wǎng)友意見(jiàn),與本站立場(chǎng)無(wú)關(guān)