移動(dòng)端


當(dāng)前位置:興旺寶>資訊首頁> 技術(shù)前沿
閱讀排行 更多
企業(yè)直播 更多
推薦展會(huì) 更多

上??萍即髮W(xué)信息學(xué)院系統(tǒng)與安全中心在大語言模型(LLMs)研究方面取得系列成果

2025-03-28 14:17:11來源:上??萍即髮W(xué) 閱讀量:5713 評(píng)論

分享:

  隨著人工智能技術(shù)的快速發(fā)展,大語言模型(Large Language Models,LLMs)成為科研領(lǐng)域的熱點(diǎn)話題。上??萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院系統(tǒng)與安全中心(Systems and Security Center,以下簡(jiǎn)稱SSC)在這一領(lǐng)域持續(xù)發(fā)力,課題組各有側(cè)重,為推動(dòng)大語言模型的應(yīng)用和部署發(fā)揮積極作用。近日,中心多個(gè)課題組在相關(guān)方面取得了一系列進(jìn)展。
 
  陳宇奇課題組題為“DistillSeq: A Framework for Safety Alignment Testing in Large Language Models using Knowledge Distillation”的論文在第33屆ACM國(guó)際軟件測(cè)試與分析大會(huì)(The 33rd ACM SIGSOFT International Symposium on Software Testing and Analysis,ISSTA 2024)發(fā)表,上??萍即髮W(xué)為論文第一完成單位。該工作提出了一種名為DistillSeq的框架,旨在利用知識(shí)蒸餾技術(shù),針對(duì)大型語言模型展開高效且全面的安全對(duì)齊測(cè)試。鑒于LLMs可能生成有害內(nèi)容,對(duì)其安全性進(jìn)行全面評(píng)估至關(guān)重要。然而,傳統(tǒng)的測(cè)試方法需要大量的計(jì)算資源,成本高昂。DistillSeq 框架通過知識(shí)蒸餾顯著減少了測(cè)試 LLMs 所需的資源和時(shí)間,同時(shí)提高了測(cè)試的有效性。圖1展示了DistillSeq的工作流程。陳宇奇團(tuán)隊(duì)今后將繼續(xù)深入研究,進(jìn)一步優(yōu)化蒸餾模型性能,以應(yīng)對(duì)更復(fù)雜的測(cè)試場(chǎng)景。
 
圖1 DistillSeq的基于知識(shí)蒸餾的測(cè)試過程示意
 
  陳宇奇課題組另一篇題為“Efficient Detection of Toxic Prompts in Large Language Models”的論文在第39屆IEEE/ACM國(guó)際自動(dòng)化軟件工程大會(huì)(The 39th IEEE/ACM International Conference on Automated Software Engineering, ASE 2024)發(fā)表,上??萍即髮W(xué)為論文第一完成單位。值得一提的是,該論文的共同第一作者是上科大信息學(xué)院2021級(jí)本科生郁鈞哲。陳宇奇、郁鈞哲和新加坡南洋理工大學(xué)的研究者合作提出了一種名為 ToxicDetector 的輕量級(jí)灰盒方法,旨在高效檢測(cè)大型語言模型中的毒性提示,開發(fā)一種兼具高效性、可擴(kuò)展性和魯棒性的解決方案。圖2展示了ToxicDetector的工作原理。在多個(gè)數(shù)據(jù)集上,ToxicDetector 的平均 F1 分?jǐn)?shù)分別為 96.35% 和 96.28%,均優(yōu)于基線方法。即使在提示被偽裝或篡改的情況下,ToxicDetector 仍能有效檢測(cè)毒性提示。
 
圖2 ToxicDetector工作原理示意
 
  何靜竹課題組研究成果“Artemis: Toward Accurate Detection of Server-Side Request Forgeries through LLM-Assisted Inter-procedural Path-Sensitive Taint Analysis”近日被ACM面向?qū)ο缶幊滔到y(tǒng)、語言和應(yīng)用大會(huì)(ACM International Conference on Object Oriented Programming Systems Languages and Applications,OOPSLA 2025)錄用,第一作者為2022級(jí)碩士研究生季宇辰,何靜竹教授為通訊作者,上海科技大學(xué)為論文第一完成單位。當(dāng)前,服務(wù)器端請(qǐng)求偽造(SSRF)漏洞在PHP Web應(yīng)用程序中是不可避免的?,F(xiàn)有的靜態(tài)分析工具在檢測(cè)相關(guān)程序漏洞時(shí),存在兩方面問題:一是缺乏與SSRF有關(guān)的功能來提高檢測(cè)準(zhǔn)確性,二是沒有充分考慮PHP的動(dòng)態(tài)類型特性。該研究提出了名為Artemis的靜態(tài)污點(diǎn)分析工具(圖3),其中使用了大語言模型作為輔助方法。在 250個(gè)PHP Web應(yīng)用程序上進(jìn)行了評(píng)估,Artemis報(bào)告了207條真實(shí)漏洞路徑(其中106條為真實(shí)SSRF),僅產(chǎn)生了15個(gè)誤報(bào)。在檢測(cè)到的106個(gè)SSRF漏洞中,35個(gè)是首次發(fā)現(xiàn)。這些結(jié)果彰顯了Artemis的優(yōu)秀效力。
 
圖3 Artemis系統(tǒng)架構(gòu)示意
 
  張良峰課題組關(guān)于評(píng)估ChatGPT生成代碼質(zhì)量的研究發(fā)表于國(guó)際期刊IEEE Transactions on Software Engineering (IEEE TSE)。使用大語言模型自動(dòng)生成代碼能夠提高開發(fā)效率,減少開發(fā)時(shí)間,使開發(fā)者能夠?qū)W⒂诟邔哟蔚倪壿嫼腿蝿?wù)。但使用LLMs生成的代碼在功能性、復(fù)雜性和安全性方面的質(zhì)量仍需評(píng)估。圖4展示了與ChatGPT的交互生成代碼的流程。該工作通過系統(tǒng)性實(shí)證評(píng)估,揭示了ChatGPT在代碼生成方面的潛力與局限性。結(jié)果顯示,未來研究可以探索更高效的提示設(shè)計(jì)方法,結(jié)合更多的代碼質(zhì)量和安全性評(píng)估工具,以優(yōu)化LLMs在代碼生成任務(wù)中的應(yīng)用。該論文題為“No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT”,第一作者是碩士研究生劉志杰,論文由張良峰教授與英國(guó)、中國(guó)香港的合作者等聯(lián)合指導(dǎo),上??萍即髮W(xué)為論文第一完成單位。
 
圖4與ChatGPT交互生成代碼的過程示意
 
  殷樹課題組在大規(guī)模人工智能網(wǎng)絡(luò)(例如大語言模型)的檢查點(diǎn)(checkpoint)方法方面,提出了Portus算法。該算法通過優(yōu)化的數(shù)據(jù)傳輸路徑和索引結(jié)構(gòu),顯著提升了DNN檢查點(diǎn)的效率,支持更細(xì)粒度的檢查點(diǎn)機(jī)制,并為大規(guī)模模型訓(xùn)練提供了高效的容錯(cuò)解決方案。該成果以“Portus: Efficient DNN Checkpointing to Persistent Memory with Zero-Copy”為題發(fā)表在IEEE第44屆國(guó)際分布式計(jì)算系統(tǒng)大會(huì)(IEEE 44th International Conference on Distributed Computing Systems ,ICDCS 2024)。
 
  王春東課題組就加速圖神經(jīng)網(wǎng)絡(luò)(GNN)訓(xùn)練等做了系統(tǒng)性優(yōu)化,提出了GNNDrive算法。該算法旨在減少內(nèi)存競(jìng)爭(zhēng)、緩解I/O擁塞和優(yōu)化數(shù)據(jù)準(zhǔn)備等,以實(shí)現(xiàn)在普通經(jīng)濟(jì)型硬件上處理大規(guī)模數(shù)據(jù)的目標(biāo),具有一定的實(shí)用價(jià)值。該論文以“GNNDrive: Reducing Memory Contention and I/O Congestion for Disk-based GNN Training”為題發(fā)表在第53屆國(guó)際并行處理大會(huì)上(53rd International Conference on Parallel Processing,ICPP 2024)。
版權(quán)與免責(zé)聲明:1.凡本網(wǎng)注明“來源:興旺寶裝備總站”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來源:興旺寶裝備總站”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來源(非興旺寶裝備總站)的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé),不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品第一來源,并自負(fù)版權(quán)等法律責(zé)任。 3.如涉及作品內(nèi)容、版權(quán)等問題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
我來評(píng)論

昵稱 驗(yàn)證碼

文明上網(wǎng),理性發(fā)言。(您還可以輸入200個(gè)字符)

所有評(píng)論僅代表網(wǎng)友意見,與本站立場(chǎng)無關(guān)

    相關(guān)新聞