克雷西 發自 凹非寺
OpenAI神秘的Q*計劃，又有新鮮爆料。
今天淩晨，一篇53頁google文件開始在網絡上熱傳，透露OpenAI「計劃在2027年前實作完全AGI」。
爆料者稱，自己選擇釋出這篇文件是不想讓馬斯克繼續「造成傷害」，他認為後者發起的訴訟造成了AGI的推遲。
△文件封面由爆料者制作，並非來自OpenAI官方
訊息一經釋出，就在網絡上引起了軒然大波，甚至有人認為實作AGI可能不需要等那麽久……
當然也有人對其真實性表示質疑，認為文件來源不明且無法證實真偽。
那麽，這份被熱議的爆料文件，都說了些什麽呢？
文件顯示，OpenAI訓練了一個125T（萬億）參數的多模態大模型，而Q*就是該模型的第一個階段。
據稱，該模型就是原計劃在2025年釋出的GPT-5，訓練於2023年12月完成，智商達到了48。
而之後的Q* 2024和Q* 2025（計劃釋出時間分別為2026和2027年），智商被認為將達到96和145。
96分的IQ已經是普通的人類的水準，而145分則是達到了天才水平。
但壞訊息是，由於推理成本過高，加上馬斯克訴訟的影響，這一系列計劃被推遲，相應模型的名字也換了一圈。
而按照爆料者的說法，AGI在GPT-4完成訓練時，也就是2022年8月就已初現端倪。
爆料者說，神經網絡的參數就如同生物體的突觸，參數量越大（突觸數量越多），表現也會更智能。
GPT-2有15億個連線，這比老鼠的大腦（大約100億個突觸）還要少；而GPT-3有1750億個連線，已經與貓接近。
2020年，GPT-3釋出後，許多人開始推測一個大約大600倍、擁有百萬億參數的模型可能會有怎樣效能，因為這個參數量接近了人類大腦的突觸數量。
文件作者參照了英國Open Philanthropy學者Lukas Finnveden（Lanrain）的觀點，表示根據模型的參數量，人們將能夠預測AI的效能。
人類大腦大約有2×10^14（200萬億）個突觸，大致相當於神經網絡中的參數數量（綠線）。
而Lanrian展示的外推預測顯示，AI效能似乎隨著參數量一同達到了人類水平。
在假定AI效能確實可以根據參數量來預測，而且大約100萬億參數就足以與人類相當的前提下，何時出現AGI的問題就變成了什麽時候會出現百萬億參數的AI模型。
而OpenAI開發百萬億參數模型的傳聞，最早出現在在2021年夏天，這是柯曼參投的Cerebras公司CEO Andrew Feldman在Wired雜誌的一次訪談中透露的。
同年9月，柯曼在AC10線上聚會和問答環節中，承認了該計劃的存在。
不久之後，網絡上又產生了GPT-4即是該模型的傳聞，導致包括柯曼在內的OpenAI員工不得不緊急辟謠。
OpenAI的官方立場，是認為GPT-4具有百萬億參數的說法純屬無稽之談，但文件作者認為其說法亦非完全屬實——在他看來，GPT-4是這個百萬億參數模型的一個子集。
爆料者還稱，OpenAI聲稱GPT-4在2022年8月份「完成了訓練」，但有一個「龐大」的多模態模型據信在8-10月正在接受訓練。
他推測，要麽是OpenAI撒了謊，要麽是GPT-4完成第一圈訓練後在8月至10月之間進行了額外訓練，關鍵是這段時間與訓練百萬億模型所需要的時間十分接近。
但是，2022年DeepMind釋出的Chinchilla，用相對較小的參數量擊敗了較大參數量的模型，說明單靠參數量預測模型表現的方式不夠準確。
對此，OpenAI總裁Greg Brockman表示已經意識到此前認為的Scaling Law存在缺陷，並已采取措施進行適應。
進一步地，爆料者認為，有了新的補充，這個百萬億模型將能夠達到與人類同等的水平……
而至於這份爆料的真實度，一方面看，其中參照的一些人，的確曾對OpenAI的行動做出過準確預測。
但另一方面，爆料這個訊息的推特博主，總共就只有兩條推文，而且還是在同一天發出的。
所以，這份文件中的內容可信度究竟有幾分，讀者朋友們還是理性吃瓜為好。
文件地址：
