一位外國(guó)up主，用ChatGPT給AI智能體注入了自我意識(shí)。產(chǎn)生「生命」的勞拉覺(jué)醒了，開(kāi)始自己在「古墓麗影」中闖關(guān)。
如果游戲角色被注入生命，電子游戲會(huì)發(fā)展成什么樣？
曾經(jīng)，這是不少人的暢想，而如今，隨著AI智能體的發(fā)展，這種想象已經(jīng)開(kāi)始走入現(xiàn)實(shí)。
最近，一位YouTube作者Foxmaster制作了一個(gè)經(jīng)典游戲「古墓麗影」的原版視頻。
而其中的女主角勞拉，居然是一個(gè)能控制自己角色的AI智能體！
可以說(shuō)，利用機(jī)器視覺(jué)、定位、物體識(shí)別、動(dòng)畫(huà)、文本和語(yǔ)音等各種AI工具，F(xiàn)oxmaster為游戲角色注入了數(shù)字生命。
就在前幾天，爆火AI社區(qū)的斯坦福智能體小鎮(zhèn)正式開(kāi)源。25個(gè)各具個(gè)性的AI智能體，在「西部世界」一般的沙盒虛擬城鎮(zhèn)中生活、上班、交友。
所以，或許這就是電子游戲的未來(lái)？
01 「古墓麗影」女主有了意識(shí)
構(gòu)建可以玩游戲的虛擬AI，這個(gè)概念已經(jīng)很常見(jiàn)。不過(guò)，F(xiàn)ormaster想做的，是讓這個(gè)角色如同真人一樣。
因此，他選擇了「古墓麗影」這款游戲，游戲主角勞拉是一個(gè)人物性格鮮明、定義明確的角色。
而Formaste希望，這種個(gè)性會(huì)對(duì)游戲的最終結(jié)局產(chǎn)生影響。
如何讓這個(gè)AI智能體Lara Croft在游戲中真正產(chǎn)生自我意識(shí)？
Formaster經(jīng)過(guò)以下幾個(gè)步驟的探索，終于成功了。
學(xué)習(xí)游戲規(guī)則
首先第一步，叫她學(xué)會(huì)游戲規(guī)則?！腹拍果愑啊挂呀?jīng)給出了教程，解釋了所有的游戲控制過(guò)程。
作者讓Lara按照給出的方式去練習(xí)，像人類玩家一樣完成各個(gè)階段的教程。
教程在Lara離開(kāi)泳池時(shí)結(jié)束，所以可以在那時(shí)重啟程序，做出改進(jìn)。
開(kāi)始時(shí)，改進(jìn)Lara非常困難。
她有時(shí)會(huì)出現(xiàn)混亂，在地圖中隨意走動(dòng)，甚至有時(shí)候會(huì)卡在菜單欄中，一遍遍盯著她的指南針。
為了解決這個(gè)問(wèn)題， 作者在一臺(tái)虛擬機(jī)上，重新調(diào)整了主時(shí)鐘，將游戲進(jìn)程加速了40倍。這個(gè)辦法起作用力，AI智能體終于在相對(duì)不錯(cuò)的時(shí)間內(nèi)，完成了教程。
然而，還存在一個(gè)問(wèn)題：Lara經(jīng)?？ㄔ谝粋€(gè)位置，而且每個(gè)關(guān)卡都是由靜態(tài)元素組成，因此只有一條優(yōu)化路徑。
這會(huì)導(dǎo)致她只知道不走哪些路徑，而不是想出更全面的方法來(lái)解題。但作者希望的是，Lara學(xué)會(huì)自己去發(fā)掘探險(xiǎn)過(guò)程。
考慮到Lara唯一掌握的知識(shí)，僅僅是每道關(guān)卡顯示的屏幕上的內(nèi)容，作者觀察了從未玩過(guò)游戲的人類玩家的行為。
有的人會(huì)看完整個(gè)教程，有的人先會(huì)探索周圍的環(huán)境，而這些選擇的差異，就是由不同人的「?jìng)€(gè)性」決定的。
而Lara需要學(xué)習(xí)的，恰恰就是這種態(tài)度。
識(shí)別角色
為了給AI建立與Lara的聯(lián)系，就需要讓AI明白，她是一堆像素。人類玩家進(jìn)入游戲后，一下子有了這樣的意識(shí)。
對(duì)此，作者從各個(gè)角度，錄制了24個(gè)小時(shí)，Lara朝著不同方向活動(dòng)的視頻，以便AI智能體能夠識(shí)別任何給定角色。
就像自動(dòng)駕駛汽車一樣，能夠以每秒30幀速度拍攝24小時(shí)視頻，得到2592000張參考圖像，以識(shí)別道路標(biāo)志。
首先，作者跟蹤頭部主要像素，然后是身體主要像素，來(lái)選擇相關(guān)區(qū)域。
為了確保Lara出現(xiàn)在每張圖像中，作者要求程序去識(shí)別那些不包含任何突出顯示的圖片。
當(dāng)Lara占據(jù)整個(gè)屏幕時(shí)，或當(dāng)一個(gè)二維物體擋在她面前，作者使用AI視覺(jué)捕獲來(lái)幫助識(shí)別Lara，結(jié)果非常準(zhǔn)確，足以識(shí)別屏幕上的角色。
環(huán)境互動(dòng)
能夠識(shí)別Lara后，需要讓AI與環(huán)境互動(dòng)。
整個(gè)游戲環(huán)境都是由同樣的區(qū)塊組成，作者將其導(dǎo)入到立方體上，然后從各個(gè)角度捕獲環(huán)境，再運(yùn)行識(shí)別過(guò)程，這樣AI智能體就能識(shí)別出環(huán)境，就像人類玩家解釋圖像的過(guò)程。
紅色突出顯示的區(qū)域是，未能識(shí)別的紋理。但是，AI仍舊缺乏想去某個(gè)地方的意識(shí)，還需要知道自己距離周圍環(huán)境的距離。
有趣的是，這些未能識(shí)別的區(qū)域，通常是遠(yuǎn)離Lara的位置，或被其他2D物體遮擋的位置。
當(dāng)我們觀察人類玩家的行為，看到這張圖像后，我們能夠立即明白，箭頭所指向區(qū)域是一個(gè)入口。
我們可能不知道下一個(gè)房間的大小，但我們知道這是存在的。
但是，這也可能是一種視覺(jué)錯(cuò)覺(jué)。當(dāng)我們?nèi)ヒ苿?dòng)，入口區(qū)域的紋理與其他地方不同，這是3D空間的特征。
因此，AI智能體還得學(xué)會(huì)移動(dòng)，并進(jìn)行比較。從計(jì)算角度來(lái)看，可以使用多個(gè)圖像來(lái)確定哪些紋理尺寸的變化最小。
這里可以使用主多邊形的面積來(lái)算，它們的變化主要基于彼此之間距離成比例的概率。
想象
現(xiàn)在，AI已經(jīng)知道自己身在何處了，她必須做出決定，自己下一步要去哪里。
通過(guò)識(shí)別紋理，可以讓她到達(dá)特定的位置，然而在關(guān)卡中導(dǎo)航，需要更簡(jiǎn)單的東西。
最快的方法，就是簡(jiǎn)化對(duì)比度，識(shí)別區(qū)域中光線的突然變化。但是，人類玩家不一定會(huì)去這些地方。
當(dāng)有多個(gè)開(kāi)口時(shí)，AI必須表現(xiàn)出足夠興趣，但不能導(dǎo)致她死亡。
比如，如果一個(gè)洞太深，就無(wú)法在不抓住周圍壁架的情況下跳下去。假如下面有水存在，倒是有可能值得這種冒險(xiǎn)。
人類玩家知道什么時(shí)候可以跳，但Lara的行動(dòng)方針都是來(lái)源于教程，它必須準(zhǔn)確估計(jì)自己和目標(biāo)之間有多少個(gè)方塊，是否應(yīng)該聚集自己的動(dòng)量，以及在放手之前是否應(yīng)該暫停一下。
總之，她必須像人類玩家一樣，做出準(zhǔn)確評(píng)估。
如果她提前知道一個(gè)洞的大小，就會(huì)跑得非?？?，這就并不符合我們的期望。
為了讓她多收集環(huán)境信息，作者鼓勵(lì)A(yù)I，如果有疑惑，就應(yīng)該旋轉(zhuǎn)相機(jī)，收集更多的信息。
但真實(shí)情況下，即便如此，AI也可能卡在房間里。
為了鼓勵(lì)她走出房間，作者補(bǔ)充了一些收集規(guī)則。
比如，每次遇到在該區(qū)域成為優(yōu)先級(jí)前從未見(jiàn)過(guò)的紋理時(shí)，她都必須以增加屏幕上這種紋理大小的方式來(lái)移動(dòng)。
這樣，她就只能在關(guān)卡中前進(jìn)。因?yàn)槊總€(gè)關(guān)卡中都有獨(dú)特的紋理，解鎖的唯一方式，就是進(jìn)入下一個(gè)關(guān)卡。
總之，Lara會(huì)不斷分析自己在屏幕上看到的內(nèi)容——不同表面的紋理，她會(huì)移動(dòng)自己的身體，定義新的興趣點(diǎn)（即目錄中尚未存在的紋理）。
在這個(gè)過(guò)程中，她會(huì)不斷驗(yàn)證，去尋找丟失的紋理。
運(yùn)動(dòng)
然而，即使經(jīng)過(guò)了上述改進(jìn)，這個(gè)AI還是太像個(gè)機(jī)器人了，行動(dòng)模式是顯而易見(jiàn)的。
為了改進(jìn)它，作者再次觀察了人類玩家。
是什么決定了人類玩家在游戲中如何行動(dòng)？就是我們的記憶，我們會(huì)記住動(dòng)作是如何組合的。
因此，這個(gè)過(guò)程也需要植入到AI中，因?yàn)長(zhǎng)ara必須意識(shí)到她自己的運(yùn)動(dòng)能力。
為此，作者把AI每一秒的動(dòng)作都保存起來(lái)，來(lái)訓(xùn)練它，然后添加一條規(guī)則，允許它同時(shí)執(zhí)行這些保存的動(dòng)作。
這樣，AI的動(dòng)作就變得平滑多了。
另外，因?yàn)槊總€(gè)動(dòng)作的冷卻時(shí)間是已知的，就可以防止AI在執(zhí)行不必要的動(dòng)作時(shí)，仍然處于活動(dòng)狀態(tài)。
在下圖中，火焰重新激活的速度如此之快，需要完成很大的跳躍才能穿過(guò)。
幸運(yùn)的是，這些通道在視覺(jué)上被簡(jiǎn)化了，很容易識(shí)別塊的邊緣。
AI知道，Lara總是會(huì)在方塊的第一部分激活時(shí)完成正確的跳躍，就像人類玩家理解的一樣。
02 ChatGPT注入人格
接下來(lái)，就需要將Lara的個(gè)性灌輸給AI智能體。個(gè)性取決于經(jīng)驗(yàn)和記憶，這些因素的結(jié)合決定了Lara角色。
根據(jù)游戲設(shè)定，她是一個(gè)著名的考古學(xué)家，從不畏懼冒險(xiǎn)，愿意接受分配的山區(qū)任務(wù)，甚至不要獎(jiǎng)賞，完全出于熱愛(ài)。
另外，Lara還特別有錢，剛剛搬進(jìn)一座豪宅，屋內(nèi)裝飾非常優(yōu)雅，屋子里還有一個(gè)訓(xùn)練室。她還特別擅長(zhǎng)教學(xué)，游泳，攀爬，耐力非常強(qiáng)。
當(dāng)冒險(xiǎn)途中遇到危險(xiǎn)，她能夠保持鎮(zhèn)靜，而且非常勇敢，會(huì)毫不猶豫幫助同伴。
面對(duì)狼群包圍，她用槍準(zhǔn)確地射殺，還能用匕首殺死兇險(xiǎn)的狼。她唯一拒絕的是，主動(dòng)強(qiáng)行開(kāi)鎖。
以上的一切，都是從游戲設(shè)定中，了解到的Lara個(gè)性。
接下來(lái)，就是以真實(shí)的方式去評(píng)論她所看到的一切，對(duì)此，作者在數(shù)據(jù)庫(kù)中已經(jīng)編譯Lara的性格特征。
為了使評(píng)論對(duì)實(shí)際情況有意義，程序需要將游戲圖像與現(xiàn)實(shí)生活中可識(shí)別的東西相關(guān)聯(lián)。
對(duì)于紋理細(xì)節(jié)通常較少的圖像，可以通過(guò)谷歌逆向圖像搜索進(jìn)行匹配。
因此，當(dāng)AI智能體檢測(cè)到足夠大的紋理，它就會(huì)啟動(dòng)搜素。
為了識(shí)別單詞，作者將整個(gè)頁(yè)面復(fù)制到ChatGPT。然后要求ChatGPT根據(jù)出現(xiàn)的次數(shù)對(duì)其進(jìn)行分類，再將識(shí)別出的單詞添加到列表中。
最后要求ChatGPT根據(jù)這些單詞創(chuàng)建一個(gè)句子，并且要考慮到Lara個(gè)性。
這樣做，就是要ChatGPT去真是地評(píng)論，Lara在現(xiàn)實(shí)生活中看到的東西。
比如，如果紋理被識(shí)別為海獅，ChatGPT能夠?qū)⒑＊{與Lara個(gè)性特征聯(lián)系起來(lái)做出評(píng)論。
總得來(lái)說(shuō)，Lara智能體的人格是通過(guò)ChatGPT使用「勇敢」、「友好」或「聰明」等各種屬性設(shè)定。
Lara在游戲中，感知和評(píng)論的所有物體都會(huì)通過(guò)這個(gè)人格過(guò)濾器，并由Lara根據(jù)既定的性格反應(yīng)出來(lái)。
就比如，如上的海豹，Lara會(huì)提及海獅化石，或者出色的游泳能力，并不會(huì)對(duì)其在馬戲團(tuán)發(fā)表言論。
03 網(wǎng)友：AI智能體讓電子游戲變成了藝術(shù)品
有網(wǎng)友表示，這是讓角色自我發(fā)展最酷、最自然的感覺(jué)方式之一。當(dāng)角色能夠活靈活現(xiàn)，你才可以真正體驗(yàn)到電子游戲是一件藝術(shù)品。
「她說(shuō)話和分析周圍環(huán)境的方式非?？蓯?ài)。讓AI機(jī)器人有能力評(píng)論周圍環(huán)境，無(wú)論它的實(shí)際水平如何，都會(huì)讓人覺(jué)得她是個(gè)活生生的人?！?/p>
「這太迷人了。她那超然的好奇心和一絲異想天開(kāi)的想法，與我想象中的Lara的內(nèi)心獨(dú)白驚人地相似?！?/p>
有人說(shuō)，讓我感到驚奇的是，她的對(duì)話與她的行為相吻合。
這讓人覺(jué)得，寫(xiě)對(duì)話的人工智能和控制角色的人工智能是同一個(gè)人。
前不久在斯坦福AI智能體小鎮(zhèn)開(kāi)源時(shí)，網(wǎng)友們就十分激動(dòng)，覺(jué)得AGI已來(lái)，各種RPG和模擬類游戲都會(huì)很快用上這種技術(shù)。
而現(xiàn)在，F(xiàn)oxmaster將ChatGPT、計(jì)算機(jī)視覺(jué)和物體識(shí)別的結(jié)合，讓電子游戲變得更有趣了。
或許在未來(lái)，電子游戲角色可以被賦予更深、更靈活的個(gè)性，對(duì)環(huán)境做出更快的反應(yīng)，以及許多我們無(wú)法想象的變化。