移動(dòng)端


當(dāng)前位置：興旺寶>資訊首頁> 技術(shù)前沿
閱讀排行 更多
企業(yè)直播 更多
推薦展會(huì) 更多

光谷再添一家A I大模型

2023-12-23 08:34:07來源：武漢經(jīng)信 閱讀量：73 評(píng)論

分享：

導(dǎo)讀：近日，華中科技大學(xué)軟件學(xué)院白翔教授領(lǐng)銜的VLRLab團(tuán)隊(duì)聯(lián)合金山辦公，發(fā)布了多模態(tài)大模型——“Monkey”。該模型能夠?qū)崿F(xiàn)對(duì)世界的“觀察”，對(duì)圖片進(jìn)行深入的問答交流和精確描述。

　　近日，華中科技大學(xué)軟件學(xué)院白翔教授領(lǐng)銜的VLRLab團(tuán)隊(duì)聯(lián)合金山辦公，發(fā)布了多模態(tài)大模型——“Monkey”。該模型能夠?qū)崿F(xiàn)對(duì)世界的“觀察”，對(duì)圖片進(jìn)行深入的問答交流和精確描述。
 
　　多模態(tài)大模型是一類可以同時(shí)處理和整合多種感知數(shù)據(jù)(例如文本、圖像、音頻等)的AI架構(gòu)，近年來在眾多場景中展現(xiàn)了驚人的能力。
 
　　Monkey模型在18個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)中表現(xiàn)出色，特別是在圖像描述和視覺問答任務(wù)方面，超越了眾多現(xiàn)有知名的模型如微軟的LLAVA、谷歌的PALM-E、阿里的Mplug-owl等。此外，Monkey在文本密集的問答任務(wù)中顯示出顯著的優(yōu)勢，甚至在某些樣本上超越了業(yè)界公認(rèn)的領(lǐng)先者——OpenAI的多模態(tài)大模型GPT-4V。
 
　　Monkey的一個(gè)顯著特點(diǎn)是其出色的“看圖說話”能力。在詳細(xì)描述任務(wù)中，Monkey展現(xiàn)了對(duì)圖像細(xì)節(jié)的感知能力，能夠察覺到其他多模態(tài)大模型所忽略的內(nèi)容。如對(duì)下圖進(jìn)行的文本描述中，Monkey正確地將其識(shí)別為埃菲爾鐵塔的繪畫，并提供了構(gòu)圖和配色方案的詳細(xì)描述。而對(duì)左下角的文字，只有Monkey和GPT-4V能將其準(zhǔn)確地識(shí)別為作者名。
 
　　這樣驚人的描述能力是怎么做到的？目前，幾乎所有多模態(tài)大模型都需要運(yùn)用網(wǎng)上爬取的圖文對(duì)數(shù)據(jù)集，這些數(shù)據(jù)集只能進(jìn)行簡單的圖文描述，無法大分辨率圖片的需求。Monkey巧妙利用現(xiàn)有的工具構(gòu)建了一種多層級(jí)的描述生成方法，即通過五個(gè)步驟依次對(duì)圖片進(jìn)行整體簡述、空間定位、模塊化識(shí)別、描述賦分選取和最終總結(jié)，此舉可以充分結(jié)合不同工具的特性，打出一套威力十足的“組合拳”，大幅度提升描述的準(zhǔn)確性和豐富程度。
 
　　“一個(gè)個(gè)工具就好比不同的零件，合理的排列組合才能使其發(fā)揮最大作用，”白翔教授說，“我們團(tuán)隊(duì)從2003年開始便從事圖像識(shí)別研究，去年我們又從海外引進(jìn)了專攻多模態(tài)大模型的青年人才，Monkey的最終方案是大家一起反復(fù)討論，嘗試了10余種方案后最終確定的。”白翔教授說。
 
　　Monkey的另一亮點(diǎn)是能夠處理分辨率高達(dá)1344×896像素的圖像，這是目前其他多模態(tài)大模型所能處理的最大尺寸的6倍。這意味著Monkey能對(duì)更大尺寸的圖片進(jìn)行更準(zhǔn)確、豐富、細(xì)致的描述甚至推理。
 
　　目前，業(yè)內(nèi)能處理的圖片最大分辨率為448×448像素。而想要進(jìn)一步提升處理能力，需投入十分高昂的算力成本。如何更低成本擴(kuò)大輸入分辨率？該團(tuán)隊(duì)骨干青年教師劉禹良向記者介紹，團(tuán)隊(duì)采用了創(chuàng)新性的“裁剪”方法，將原始輸入圖片分割成多個(gè)塊，每塊尺寸小于448×448像素，并為每個(gè)塊配備了一個(gè)“放大鏡”，放到合適的位置可以“看”清更多細(xì)節(jié)。多個(gè)“放大鏡”同時(shí)工作，分別“放大”不同的圖片塊，就能提取更多局部特征。
 
　　“未來，我們希望Monkey更強(qiáng)大，真正成為神通廣大的‘孫悟空’！”對(duì)這“只”小猴子，白翔教授信心滿滿。
 
　　以光谷為核心承載，目前，武漢已成功推出并商業(yè)化落地“紫東太初”多模態(tài)大模型、東湖靈境SoulGPT等大模型，已落地應(yīng)用“星火”大模型、金山辦公WPS AI，并推出“武漢.LuoJia”遙感大模型，還有幾款行業(yè)大模型正在開發(fā)。
 
　　近期，光谷還發(fā)布了“軟件十條”，開源平臺(tái)建設(shè)最高補(bǔ)貼3000萬元，鼓勵(lì)各類主體進(jìn)行重大開源項(xiàng)目軟件開發(fā)，孕育原創(chuàng)性、爆炸性、轟動(dòng)性的具有全球影響力的大模型。
 
版權(quán)與免責(zé)聲明：1.凡本網(wǎng)注明“來源：興旺寶裝備總站”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：興旺寶裝備總站”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來源（非興旺寶裝備總站）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。 3.如涉及作品內(nèi)容、版權(quán)等問題，請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。
我來評(píng)論

昵稱 驗(yàn)證碼

文明上網(wǎng)，理性發(fā)言。（您還可以輸入200個(gè)字符)

所有評(píng)論僅代表網(wǎng)友意見，與本站立場無關(guān)

    相關(guān)新聞