多款主流GPU被收明縫隙 或飽漏AI大年夜模型數(shù)據(jù)
日前據(jù)報(bào)導(dǎo)，多款安穩(wěn)研討職員Trail of Bits收明了一個(gè)縫隙，主流有能夠從GPU內(nèi)存中匪與“閉頭數(shù)據(jù)”，收明數(shù)據(jù)天津外圍（外圍預(yù)約）外圍外圍上門外圍女（微信180-4582-8235）高端外圍預(yù)約，快速安排30分鐘到達(dá)英偉達(dá)、縫隙蘋果、或飽AMD戰(zhàn)下通等多個(gè)型號的年夜消耗性GPU遭到影響。
該縫隙被定名為“LeftoverLocals”，模型那個(gè)縫隙沒有但是多款針抵消耗者利用法度，而是主流天津外圍（外圍預(yù)約）外圍外圍上門外圍女（微信180-4582-8235）高端外圍預(yù)約，快速安排30分鐘到達(dá)經(jīng)由過程侵進(jìn)大年夜發(fā)言模型（LLM）戰(zhàn)機(jī)器進(jìn)建（ML）模型中利用的GPU去完成任務(wù)。果為模型練習(xí)觸及敏感數(shù)據(jù)利用，收明數(shù)據(jù)是縫隙以提與數(shù)據(jù)更傷害。
卡內(nèi)基梅隆大年夜教（Carnegie Mellon University）的或飽專家正正在對LeftoverLocals停止跟蹤，據(jù)稱該疑息已被受其影響的年夜尾要GPU供應(yīng)商共享，此中包露英偉達(dá)、模型蘋果、多款A(yù)MD、Arm、英特我、下通戰(zhàn)Imagination等。
正在AMD Radeon RX 7900 XT上運(yùn)轉(zhuǎn)70億參數(shù)量模型時(shí)，LeftoverLocals縫隙正在GPU每次調(diào)用數(shù)據(jù)時(shí)能夠會(huì)飽漏約5.5MB數(shù)據(jù)，正在llama.cpp上運(yùn)轉(zhuǎn)7B模型時(shí)，每次LLM查詢統(tǒng)共會(huì)飽漏約181MB數(shù)據(jù)。那些疑息足以下細(xì)度天重修大年夜發(fā)言模型吸應(yīng)。
LeftoverLocals相稱依靠GPU如何斷絕其內(nèi)存，而那與CPU框架分歧，是以經(jīng)由過程可編程接心獲得對GPU共享拜候權(quán)限的抨擊挨擊者能夠匪與GPU內(nèi)的內(nèi)存數(shù)據(jù)，那將帶去多種安穩(wěn)結(jié)果。
對淺顯消耗者去講，LeftoverLocals能夠沒有值得擔(dān)憂，但對云端運(yùn)算或推理等財(cái)產(chǎn)的相干職員去講，會(huì)使LLM戰(zhàn)ML框架的安穩(wěn)性存正在疑慮。