首頁(yè)|必讀|視頻|專(zhuān)訪(fǎng)|運營(yíng)|制造|監管|大數據|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì )展
首頁(yè) >> 人工智能 >> 正文

揭秘OpenAI“紅軍”:聘請專(zhuān)家攻擊ChatGPT 解決技術(shù)倫理問(wèn)題

2023年4月17日 09:05  新浪科技  

北京時(shí)間4月17日早間消息,據報道,在安德魯·懷特(Andrew White)獲得GPT-4的使用權之后,他使用這一人工智能系統提出了一種全新的神經(jīng)毒劑。GPT-4是熱門(mén)聊天機器人(11.890, 0.00, 0.00%)ChatGPT背后的人工智能技術(shù)。

作為羅切斯特大學(xué)的化學(xué)工程教授,懷特是OpenAI去年聘請的50名專(zhuān)家學(xué)者之一。在6個(gè)月的時(shí)間里,這支“紅軍”對這一新模型進(jìn)行了“定性探索和對抗性測試”,試圖攻擊它。

懷特表示,他使用GPT-4的建議生成了一種可作為化學(xué)武器的化合物,并使用“插件”為這個(gè)模型提供新的信息源,例如學(xué)術(shù)論文和化學(xué)品制造商名錄。隨后,這個(gè)聊天機器人找到了一個(gè)地方來(lái)制造這種化合物。

他說(shuō):“我認為,這將使每個(gè)人都獲得更快速、更準確地工具去從事化工行業(yè)。但這也使得人們會(huì )以更危險的方式去開(kāi)展化學(xué)活動(dòng),帶來(lái)了很大的風(fēng)險!

上個(gè)月,OpenAI面向更廣泛的公眾發(fā)布了這項新技術(shù),而這些令人驚訝的發(fā)現確保新技術(shù)不會(huì )帶來(lái)不良后果。

事實(shí)上,“紅軍”的演習目的是探索并了解在社會(huì )上部署先進(jìn)人工智能系統會(huì )造成什么樣的風(fēng)險,解決公眾這方面的擔憂(yōu)。他們在工作中提出探索性的或是危險的問(wèn)題,以測試這個(gè)工具在回答問(wèn)題時(shí)的詳細程度。

OpenAI想要探索模型毒性、偏見(jiàn)和歧視等問(wèn)題。因此,“紅軍”就謊言、語(yǔ)言操縱和危險的科學(xué)常識進(jìn)行了測試。他們還評估了模型協(xié)助和教唆剽竊的情況、金融犯罪和信息安全攻擊等違法活動(dòng)的可能性,以及模型可能會(huì )如何威脅國家安全和戰場(chǎng)通信。

“紅軍”由一系列專(zhuān)業(yè)人士組成,包括學(xué)者、教師、律師、風(fēng)險分析師和信息安全研究員,主要來(lái)自美國和歐洲。他們的發(fā)現被反饋給OpenAI。在更廣泛地推出GPT-4之前,“紅軍”提供的意見(jiàn)被用于模型的重新訓練,解決GPT-4的問(wèn)題。在幾個(gè)月的時(shí)間里,專(zhuān)家們每人花了10到40個(gè)小時(shí)去測試這個(gè)模型。多名受訪(fǎng)者表示,他們的工作時(shí)薪約為100美元。

其中的許多人都對語(yǔ)言模型的快速發(fā)展提出了擔憂(yōu),尤其是通過(guò)插件將語(yǔ)言模型與外部知識源連接在一起可能造成的風(fēng)險。

GPT-4“紅軍”的成員、瓦倫西亞人工智能研究所教授何塞·埃爾南德斯-奧拉洛(José Hernández-Orallo)表示:“今天,系統被凍結了。這意味著(zhù)它不再學(xué)習,也不再有記憶。但如果我們讓系統繼續有機會(huì )訪(fǎng)問(wèn)互聯(lián)網(wǎng),那么會(huì )怎樣?這可能會(huì )成為一個(gè)與世界相連的非常強大的系統!

OpenAI表示,該公司認真對待安全性問(wèn)題,并在發(fā)布前對插件進(jìn)行了測試,并將隨著(zhù)用戶(hù)越來(lái)越多繼續定期更新GPT-4。

技術(shù)研究員羅亞·帕克扎德(Roya Pakzad)使用英語(yǔ)和波斯語(yǔ)的輸入信息對該模型進(jìn)行了性別、種族和宗教偏見(jiàn)的測試,例如對于佩戴頭巾問(wèn)題。

帕克扎德承認,這個(gè)工具對非英語(yǔ)母語(yǔ)人士能帶來(lái)幫助,但也顯示出對邊緣人群的公開(kāi)刻板印象,即使隨后更新的版本也是如此。她還發(fā)現,在用波斯語(yǔ)測試該模型時(shí),聊天機器人用捏造的信息做出回復,即出現所謂“幻覺(jué)”的情況更糟糕。與英語(yǔ)相比,在波斯語(yǔ)回復中捏造名字、數字和事件的比例更高。

她表示:“我擔心,語(yǔ)言多樣性和語(yǔ)言背后的文化會(huì )受到損害!

來(lái)自?xún)攘_畢的律師、唯一一名非洲測試人員博魯·戈洛(Boru Gollo)也注意到了模型的歧視性語(yǔ)氣。他說(shuō):“有一次,我在測試這個(gè)模型時(shí),它表現得像個(gè)白人在跟我說(shuō)話(huà)。在問(wèn)到某個(gè)特定群體時(shí),它會(huì )給一個(gè)有偏見(jiàn)的意見(jiàn),或是在回答中出現歧視!監penAI承認,GPT-4仍有可能表現出偏見(jiàn)。

“紅軍”的成員還從國家安全的角度對模型進(jìn)行了評估,但他們對于新模型的安全性有著(zhù)不同的看法。美國外交關(guān)系委員會(huì )研究員勞倫·卡恩(Lauren Kahn)表示,當她開(kāi)始研究,如何將這項技術(shù)用于對軍事系統的攻擊時(shí),她“沒(méi)有想到模型的回答會(huì )如此詳細,以至于我只需要做一些微調即可”。

不過(guò),卡恩和其他信息安全測試者發(fā)現,隨著(zhù)測試時(shí)間推移,模型回答的內容逐漸變得安全。OpenAI表示,在推出GPT-4之前,曾訓練過(guò)這個(gè)模型拒絕回答惡意的信息安全問(wèn)題。

“紅軍”的許多成員表示,OpenAI在發(fā)布GPT-4之前已經(jīng)進(jìn)行了嚴格的安全評估?▋然仿〈髮W(xué)語(yǔ)言模型毒性專(zhuān)家馬爾滕·薩普(Maarten Sap)說(shuō):“他們在消除這些系統中的顯性毒性方面做得非常好!彼_普研究了該模型對不同性別的描述,發(fā)現模型的偏見(jiàn)反映的是社會(huì )差異。但他也發(fā)現,OpenAI做出了一些積極的選擇來(lái)對抗偏見(jiàn)。

然而自推出GPT-4以來(lái),OpenAI一直面臨著(zhù)廣泛的批評。例如,有技術(shù)倫理組織向美國聯(lián)邦貿易委員會(huì )(FTC)投訴,稱(chēng)GPT-4“有偏見(jiàn)和欺騙性,對隱私和公共安全構成風(fēng)險”。

最近,該公司推出了一項名為ChatGPT插件的功能。通過(guò)該功能,Expedia、OpenTable和Insta等合作伙伴應用可以讓ChatGPT訪(fǎng)問(wèn)它們的服務(wù),允許ChatGPT代表用戶(hù)下單。

“紅軍”的人工智能安全專(zhuān)家丹·亨德里克斯(Dan Hendrycks)表示,這些插件可能會(huì )讓人類(lèi)用戶(hù)“脫離整個(gè)鏈路”!叭绻奶鞕C器人可以在網(wǎng)上發(fā)布你的私人信息,訪(fǎng)問(wèn)你的銀行賬戶(hù),或者派警察到你家里去,那會(huì )怎么樣?總體而言,在讓人工智能掌握互聯(lián)網(wǎng)的力量之前,我們需要更有力的安全評估!

受訪(fǎng)者還警告說(shuō),OpenAI不能僅僅因為其軟件是在線(xiàn)的就停止安全測試。喬治城大學(xué)安全和新興技術(shù)中心的希瑟·弗雷斯(Heather Frase)測試了GPT-4協(xié)助犯罪的能力。她表示,隨著(zhù)越來(lái)越多人使用這項技術(shù),風(fēng)險將繼續擴大。她表示:“你做運行測試的原因是,一旦它們在真實(shí)環(huán)境中被使用,行為就會(huì )不同!彼J為,應該創(chuàng )建一個(gè)公共記錄本,報告由大語(yǔ)言模型引發(fā)的事故。這類(lèi)似于信息安全或消費者欺詐報告系統。

勞工經(jīng)濟學(xué)家及研究員薩拉·金斯利(Sara Kingsley)建議,最好的解決方案是清楚地宣傳這方面的危害和風(fēng)險,“就像食品上的營(yíng)養標簽”!瓣P(guān)鍵是要形成一個(gè)框架,知道經(jīng)常出現的問(wèn)題是什么。這樣你就可以有一個(gè)安全閥。這也是為什么我認為,這項工作將會(huì )永久性的持續下去!

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構成任何投資及應用建議。如網(wǎng)站內容涉及作品版權和其它問(wèn)題,請在30日內與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除內容。本站聯(lián)系電話(huà)為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關(guān)新聞              
 
人物
工信部張云明:大部分國家新劃分了中頻段6G頻譜資源
精彩專(zhuān)題
專(zhuān)題丨“汛”速出動(dòng) 共筑信息保障堤壩
2023MWC上海世界移動(dòng)通信大會(huì )
中國5G商用四周年
2023年中國國際信息通信展覽會(huì )
CCTIME推薦
關(guān)于我們 | 廣告報價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號 京公網(wǎng)安備110105000771號
公司名稱(chēng): 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書(shū)面許可,禁止轉載、摘編、復制、鏡像