逆天,重生之的做山太逆天。世界 一老哥在《我的姆奧免費(fèi)看裸體??????一起草世界》上手搓了一個ChatGPT! 這你敢信?網(wǎng)友 這款手搓GPT不僅經(jīng)過英語對話訓(xùn)練,有500萬個參數(shù),線手還能在像素世界里的重生之的做山小電腦上跟你對話。 而且手搓這么一個GPT竟然沒用指令集,世界完全是姆奧用紅石電路(0/1)和存儲單元手搓出來的。 怎么說呢,網(wǎng)友這難度不亞于你在60年代用IBM的線手超級計(jì)算機(jī)打《王者榮耀》。 這一出整的重生之的做山,在《我的世界世界》上跑GPT居然比在本地跑還靠譜。 也難怪網(wǎng)友說宇宙是姆奧免費(fèi)看裸體??????一起草紅石模擬出來的。 這是網(wǎng)友怎么一回事? 從邏輯電門到GPT 這一切的開始源自《我的世界》大神sammyuri與GPT的一次對話: 我能在《我的世界》造一個你嗎?絕對可…… (GPT可能也沒想到,這順嘴一說,線手直接把自己送進(jìn)了《我的世界》。) 總的來說,這500萬參數(shù)的GPT雖小,但五臟俱全。 詞嵌入、位置編碼、歸一化、矩陣乘法、多頭注意力、KV cache、激活函數(shù)(ReLU)、層數(shù)x6、輸出單元應(yīng)有盡有。 在具體的數(shù)據(jù)上,模型一共有5087280(約500萬)個參數(shù),在Python中用TinyChat數(shù)據(jù)集進(jìn)行訓(xùn)練。 嵌入維度為240,詞匯量為1920個token,包含6層和5個注意力頭。 上下文窗口大小為64個token,足夠應(yīng)對(非常)簡短的對話。 當(dāng)使用MCHPRS(Minecraft高性能紅石服務(wù)器)將tick速率提升到約40000倍時,它大約可以在2小時內(nèi)生成一個回復(fù)。 (就是不怎么快) 模型的大部分權(quán)重被量化到8位,不過嵌入層和LayerNorm的權(quán)重分別以18位和24位存儲。 整個建造占據(jù)了1020 x 260×1656方塊的體積,所以視頻里有些地方會有些變形。 那,這是怎么做到呢? 據(jù)一位網(wǎng)友分享,大概的流程可能是這樣的: 首先,在自己的電腦上訓(xùn)練一個小型GPT,把權(quán)重壓縮到低精度(int8、int4,或者 0–15 的模擬值),并導(dǎo)出權(quán)重和網(wǎng)絡(luò)結(jié)構(gòu)(NumPy數(shù)組等)。 接下來,把這些計(jì)算方法翻譯成像素積木語言,選擇合適的紅石編碼方式。 然后,定義可復(fù)用的電路模塊,比如MAC Tile(乘加模塊):輸入激活值加權(quán)重→輸出部分和。 之后,寫一個“編譯器”腳本,把訓(xùn)練好的模型映射到紅石模塊,安排好線路和時序。 最后,借助WorldEdit、Litematica、Amulet/MCEdit批量鋪設(shè),迅速完成整個搭建。 這樣一來,聊天信息就能變成紅石信號,時鐘脈沖推動信號穿過電路,最后通過命令塊、告示牌或燈光生成輸出。 不過,也有網(wǎng)友表示,建造模型固然很難,但要是能在《我的世界》里訓(xùn)練模型可就真太牛了。 說到這,這就不得不提《我的世界》中最大的天才之舉——紅石電路了。 紅石電路的基礎(chǔ),其實(shí)就是數(shù)字邏輯。 在游戲里,每個紅石信號只有兩種狀態(tài):通電(1)和不通電(0),對應(yīng)現(xiàn)實(shí)中的二進(jìn)制。 玩家可以利用這些信號構(gòu)建各種邏輯門——如與門(AND)、或門(OR)、非門(NOT)——實(shí)現(xiàn)信號的組合和控制。 而邏輯門的組合,就能構(gòu)成更復(fù)雜的電路:加法器、計(jì)數(shù)器,甚至可以搭建簡單的CPU,實(shí)現(xiàn)二進(jìn)制加減運(yùn)算,甚至是自動化裝置和小游戲。 這意味著,《我的世界》的玩家不僅在搭積木,更在進(jìn)行一場微型的數(shù)字計(jì)算實(shí)驗(yàn),從0/1的基礎(chǔ)信號,一步步搭建出完整的運(yùn)算系統(tǒng)。 而有了這些基礎(chǔ),什么手搓GPU、CPU、神經(jīng)網(wǎng)絡(luò)就只是時間問題了。 人類對《我的世界》的開發(fā)程度不及1% 除了這次的手搓GPT以外,sammyuri以及其他網(wǎng)友其實(shí)還在《我的世界》里倒騰了不少東西—— 堪稱一整個《我的世界》計(jì)算機(jī)宇宙,比如: 在《我的世界》里造CNN,識別數(shù)字,重走LeCun的LeNet之路。 在《我的世界》中手搓能玩俄羅斯方塊、貪吃蛇、四子棋、圖形渲染……以及更多游戲的CPU。 在《我的世界》里套娃《我的世界》。 在《我的世界》里的搭建神經(jīng)網(wǎng)絡(luò)。 在《我的世界》造互聯(lián)網(wǎng)。 甚至還專門有教程教你怎么用《我的世界》搓電腦。 就說還有啥不能造吧! 2025年,當(dāng)GPT還不能玩《我的世界》時,《我的世界》已經(jīng)能玩GPT了。 那么,《我的世界》的玩家們會在OpenAI前發(fā)明AGI嗎? |