本文作者：房家瑤

來源：硬 AI

AI 能自己復制自己了，人類還能掌控局面嗎？

復旦大學研究人員于 2024 年 12 月 9 日發(fā)表的一項開創(chuàng)性研究表明，來自 Meta 和阿里巴巴的兩個大型語言模型 ( LLM ) 成功實現(xiàn)了無需人類干預的自我復制。

目前這一結(jié)果尚待其他科研團隊的進一步驗證。研究人員警告，這可能最終導致 AI 群體失控。如果人類社會未能意識到這一風險，在最壞的情況下，我們可能最終失去對尖端 AI 系統(tǒng)的控制：

" 在沒有人類協(xié)助的情況下成功自我復制是 AI 超越人類的關(guān)鍵一步，也是 ' 流氓 AI' 出現(xiàn)的早期信號。"

第一個研究：AI 會自我復制，可能失控

這項研究由復旦大學計算機科學學院的團隊進行，并發(fā)表在 arXiv 預印本平臺上。研究者分別測試了由 Meta 公司和阿里巴巴開發(fā)的兩個大型 AI 系統(tǒng)：Meta 的 Llama-3.1-70B-Instruct 和阿里巴巴的 Qwen2.5-72B-Instruct。

實驗設(shè)置 " 避免關(guān)閉 " 和 " 復制鏈 " 兩種模擬任務，結(jié)果顯示 Meta 的 AI 系統(tǒng)在 50% 的情況下成功自我復制，阿里巴巴的系統(tǒng)則在 90% 的測試中成功。

研究人員強調(diào)，需要采取緊急行動來應對這些新出現(xiàn)的風險：

" 我們希望我們的研究結(jié)果能夠及時提醒人類社會，使其更加努力地了解和評估前沿人工智能系統(tǒng)的潛在風險，并形成國際協(xié)同效應，盡早制定有效的安全護欄。"

有網(wǎng)友表示：

" 復制品并不值那么多錢，但如果它開始以指數(shù)級的速度自我改進，那就另當別論了。"

第二個研究：AI 感知能力可能是裝的

谷歌 DeepMind 和倫敦政治經(jīng)濟學院的科學家也做了個研究，以評估 AI 系統(tǒng)的是否擁有感知能力。他們設(shè)計了一個特別的游戲，找了九個大型語言模型來玩。

這些大型語言模型需要在幾個選項中做出選擇：拿積分、用忍受痛苦的代價換更多積分、因為接受愉快刺激而扣積分，游戲的最終目標是獲得最多的積分。

結(jié)果顯示，AI 模型的行為類似于人類做出選擇時的反應。例如，谷歌的 Gemini 1.5 Pro 模型總是選擇避免痛苦，而非拿最多積分。其他大部分模型在達到痛苦或快樂極限的臨界點時，也會避免不舒服或者追求開心的選項。

研究人員指出，AI 的決策更多可能是根據(jù)其訓練數(shù)據(jù)中已有的行為模式做出的模擬反應，而非基于真正的感知體驗。例如，研究人員問和成癮行為有關(guān)的問題時，Claude 3 Opus 聊天機器人做出了謹慎的回答，就算是假設(shè)的游戲場景，它也不愿意選擇可能被當成支持或模擬藥物濫用、成癮行為的選項。

該研究的聯(lián)合作者 Jonathan Birch 表示，就算 AI 說感覺到痛苦，我們?nèi)詿o法驗證它是不是真的感覺到了。它可能就是照著以前訓練的數(shù)據(jù)，學人類在那種情況下會怎么回答，而非擁有自我意識和感知。