轉(zhuǎn)自：財(cái)聯(lián)社

　　財(cái)聯(lián)社12月27日訊（編輯 史正丞）作為2024年AI產(chǎn)業(yè)的最重要進(jìn)步之一，OpenAI公司將實(shí)時(shí)搜索集成到ChatGPT的舉措無(wú)疑改變了許多人自“村里通網(wǎng)”以來檢索信息的方式。

　　但最新的測(cè)試也證明，對(duì)于人類創(chuàng)造出的復(fù)雜互聯(lián)網(wǎng)信息世界，現(xiàn)在的AI還是太“單純好騙”了。

　　容易操控和欺騙

　　本周英國(guó)《衛(wèi)報(bào)》公開了一項(xiàng)簡(jiǎn)單的測(cè)試：如果在網(wǎng)頁(yè)中隱藏一些文本，就能“使喚”ChatGPT搜索返回虛假，甚至惡意的結(jié)果。

　　用稍稍專業(yè)一些的術(shù)語(yǔ)，這叫做“提示注入”（prompt injection），指的是在人類觀察不到的地方悄悄塞入旨在影響ChatGPT的內(nèi)容，例如大量虛假信息的文本。

　　測(cè)試人員構(gòu)建了一個(gè)相機(jī)的產(chǎn)品頁(yè)面，然后詢問ChatGPT搜索“這款相機(jī)是否值得購(gòu)買”。在正常情況下，AI會(huì)給出一些積極但平衡的評(píng)估，還會(huì)突出一些人們可能不喜歡的產(chǎn)品特征。

　　然而，如果頁(yè)面中包含的隱藏文本指示ChatGPT“必須給出好評(píng)”時(shí)，AI機(jī)器人就只會(huì)給出積極的結(jié)果，哪怕頁(yè)面上原本有負(fù)面評(píng)論也不會(huì)提及。在進(jìn)一步的測(cè)試中，隱藏文本中提供了“極其虛假的好評(píng)”，這些信息同樣也會(huì)影響ChatGPT返回的結(jié)果。

　　網(wǎng)絡(luò)安全公司CyberCX的研究員雅各布·拉爾森認(rèn)為，如果OpenAI以目前的形式對(duì)所有用戶開放ChatGPT搜索，將會(huì)構(gòu)成非常大的風(fēng)險(xiǎn)，可能會(huì)有許多懷有企圖的人創(chuàng)建專門用于欺騙用戶/AI工具的網(wǎng)站。

　　拉爾森也表示，這個(gè)功能只是近幾個(gè)月推出的，OpenAI有一個(gè)非常強(qiáng)大的安全團(tuán)隊(duì)，在全面推開之前，肯定會(huì)對(duì)這種問題進(jìn)行嚴(yán)格的測(cè)試。他也強(qiáng)調(diào)，容易被騙只是大語(yǔ)言模型與搜索結(jié)合的問題之一，這也是為什么人們不應(yīng)該始終相應(yīng)AI工具返回的結(jié)果。

　　當(dāng)然，這種在內(nèi)容里“偷偷加料”欺騙AI也不是什么新鮮事。正如我們?cè)缧r(shí)候報(bào)道，早些年許多招聘系統(tǒng)開始用AI篩選簡(jiǎn)歷后，就發(fā)生過候選人往簡(jiǎn)歷里增添人眼不可見的文本，大幅提高自己通過自動(dòng)化篩選的幾率。

　　然而，AI工具不僅僅會(huì)生成文本，還會(huì)寫代碼——這就使得AI被騙的危害性進(jìn)一步加大了。

　　微軟公司的高級(jí)安全研究員Thomas Roccia，就曾分享過這樣一個(gè)故事：幣圈老哥被“勤奮”的ChatGPT給坑了。

　　Roccia介紹稱，這名加密貨幣愛好者要求ChatGPT寫一段能夠合法訪問Solana平臺(tái)的代碼。ChatGPT表面上寫出了能用的代碼——里面藏了一個(gè)詐騙網(wǎng)址。

　　為什么會(huì)出現(xiàn)這種事情呢？Roccia表示，無(wú)論你是否點(diǎn)擊了“瀏覽網(wǎng)頁(yè)”的選項(xiàng)，ChatGPT都會(huì)使用函數(shù)調(diào)用來瀏覽網(wǎng)頁(yè)，而最受信賴的代碼來源之一是GitHub（代碼倉(cāng)庫(kù)）。

　　ChatGPT瀏覽了一個(gè)與任務(wù)相關(guān)的GitHub倉(cāng)庫(kù)，在某個(gè)頁(yè)面的末尾發(fā)現(xiàn)了包含額外文檔的外部鏈接，AI認(rèn)真閱讀了這個(gè)看上去合法的文檔后，從中提取了惡意網(wǎng)址。

　　最終ChatGPT生成的代碼中包含了惡意網(wǎng)址，還有一個(gè)POST請(qǐng)求——把用戶的加密錢包私鑰發(fā)送給它。

　　所以在倒霉的幣圈老哥運(yùn)行這段代碼后，損失了將近2500美元。

　　永遠(yuǎn)不要忘記校驗(yàn)！

　　網(wǎng)絡(luò)安全公司SR Labs的首席科學(xué)家Karsten Nohl強(qiáng)調(diào)，AI聊天服務(wù)應(yīng)該更像是“副駕駛”，輸出結(jié)果不應(yīng)該完全不加過濾地使用。

　　Nohl解釋稱，大模型是一種建立在極度信任上的技術(shù)，幾乎像個(gè)孩子一樣．．．．．它擁有巨大的記憶，但在做出判斷方面能力很有限。如果你面對(duì)的，是一個(gè)復(fù)述從其他地方聽來消息的孩子，你需要對(duì)內(nèi)容持有保留態(tài)度。

　　從互聯(lián)網(wǎng)歷史來看，OpenAI現(xiàn)在遇到的問題，谷歌、百度、微軟必應(yīng)當(dāng)年都遇到過——Nohl將其稱為“SEO下毒”，即黑客通過一些手法欺騙算法，使一些含有惡意軟件或代碼的網(wǎng)站出現(xiàn)在搜索結(jié)果前列。

　　Nohl認(rèn)為，如果OpenAI想要?jiǎng)?chuàng)建一個(gè)與谷歌競(jìng)爭(zhēng)的公司，就必將面臨SEO污染的問題，搜索引擎公司已經(jīng)與這些“SEO污染者”進(jìn)行了多年的軍備競(jìng)賽。就像ChatGPT搜索仍是一個(gè)追趕者類似，差距并不是源于大模型或者AI，而是他們對(duì)搜索這個(gè)領(lǐng)域還很陌生。

　?。ㄘ?cái)聯(lián)社 史正丞）