前不久,OpenAI的行政總裁山姆·柯曼宣稱,AI未來發展的限制因素將會是能源,為此急需發展核聚變。實際上早在2021年他就向一家核聚變公司投資3.75億美元,該公司近日稱其首家發電廠預計在2028年上線。
計算的能耗問題並非第一次引發關註了。 在區塊鏈和加密貨幣興盛的時期,就有很多人對區塊鏈的能耗表示過擔憂。現在雖然熱度略有消退,但能耗依然可觀,比特幣挖礦的年耗能大約相當於荷蘭全國,2024年美國能源部的報告認為美國約0.6%~2.4%的全年能耗用在了加密貨幣上。
目前看來,加密貨幣似乎不太可能無限增長,吞沒整個電網。但人工智能是否會走上這條路線呢?此刻ChatGPT每天提供約2億條回答,消耗50萬千瓦時電力(戳此詳細了解→ChatGPT 日耗電超50萬度,卡死AI發展的竟然是能源?),在電網中占比還不大,柯曼的預測有自吹自擂之嫌。但 如果他的預測成真,人工智能的規模和耗能長期飛速增長,那引發能源危機確實是有可能的。
圖庫版權圖片,轉載使用可能引發版權糾紛
人腦到底有多「高效」?
相比之下,傳統的天然智能(人腦)似乎就強多了。但其實, 人腦到底多高效,誰也說不清——因為很難找到比較的基準。
舉個例子,衡量電腦速度的常用指標是主頻,也即處理器時鐘每秒能產生多少個電脈沖,這在很大程度上決定了處理器每秒能完成多少個基本運算。
如果 用這個標準來考慮人腦,那麽人腦的主頻似乎應該低於一千赫, 因為神經元發放的神經沖動最快能到每秒1000個峰值,而突觸傳遞訊息最快也需要千分之一秒。一千赫的主頻以電腦標準而言是非常可憐的,七十年代的第一個商業微處理器的主頻就已經是它的700倍了, 今天主流處理器的主頻隨便都是它的幾百萬倍。
這是否意味著人腦的執行速度只有當代電腦的百萬分之一呢?顯然不是,因為二者在基本架構上存在根本差異。 比如說人腦的每個神經元往往和上千個其他神經元相連,也即一個「基本運算」往往要涉及超過一千個輸入,這和只能處理三個輸入-輸出的晶體管完全沒有可比性。實際上,就算只限定在電腦內部,不同架構的處理器之間的主頻也不能隨便比較。
那麽腦和其他生物器官相比呢?靜息狀態下人類腦的重量約占人體重的2%,但消耗的能量占人體的19%。這聽起來有點誇張,實際上並沒有很特別。
肝和脾的重量只比腦大一點,消耗能量卻占到了27%。兩腎的重量加起來只有腦的不到五分之一,但消耗的能量占人體10%,折合腦的一半。心臟的重量同樣是不足腦的五分之一,消耗能量占人體7%,折合腦的三分之一。少數活躍器官消耗大部份能量,本來就是意料之中的事情,腦在這些器官裏只是常規水準。
圖庫版權圖片,轉載使用可能引發版權糾紛
如今神經網絡成為了人工智能的主流,也提供了一個比較的新思路:不是進行純粹硬件級別的比較,而是 把人腦和具體的神經網絡相比 。
當然,現在並不存在可以和人腦在功能上相提並論的神經網絡,但僅從規模上看,如果未來人類能解開人腦的秘密,那大約1000個智能體(agent)執行在1000個GPU上,就可以實作人腦尺度的模型。每個智能體需要1千瓦左右的功率,1000個就需要1兆瓦,是對應人腦的5萬倍。(順便說,此刻全世界的浮點運算力大約能支持500萬個這樣的腦模型。)再次強調, 這一比較依賴於未來的理論進步,此刻的神經網絡依然缺乏可比性。
不管怎樣, 人腦看起來效率確實是比電腦高 。這當然是幾十億年自然選擇累積的產物——原始的神經系統一定是受制於能量的,隨著能量效率的提升,腦的出現才成為可能。不過,此刻的人腦不一定就抵達了理論的極限。
人腦一定是「最優解」嗎?
關於 演化的一個常見誤解是它必定能產出最優解 。這個誤解有多重意義:
第一, 一般意義上的最優解是不存在的 ,所有的優劣判斷都只有在給定的環境下才有得談,而環境時刻在發生改變。
第二,就算 在一個穩定的環境下,全域的最優解也未必可以抵達 。演化在絕大多數情況下都是漸變和短視的,往往會被困在局部最優點,就像是一個堅持每一步都必須是上山的登山者,最後可能會停留在一個小山包上而無法抵達真正的最高峰。
第三,演化的速度和選擇壓成正比, 當選擇壓不大時,抵達局部的最優解也需要漫長的時間 ,沒有理由認為此刻的人腦就已經登頂了。
第四,演化裏有 海量的偶然因素 ,這些偶然因素的重要性至今沒有定論,但阻止一個最優解的實作應該還是足夠的。
一些AI理論家對於 人腦是否抵達了神經網絡的能量效率極限 非常關心,因為這一事實決定了通用人工智能(AGI)的遠期發展方向:如果人腦距離理論極限還很遠,那麽AGI未來就可以超越人腦,引發技術的加速進步,甚至可能導致技術奇異點的誕生。
但如果人腦就是極限,那AGI就會嚴重受限於此刻人類的能量產出,起飛速度就會非常緩慢,奇異點到來的可能性也會大幅降低,也意味著模擬人腦會成為實用AGI的唯一路線。
不過截至現在, 論爭雙方都缺乏實質性的證據 。有可能AI領域的未來進展會證明神經網絡這條路線其實是死路,真正的AGI來自其他方向,那樣的話這些討論也就失去意義了。
圖庫版權圖片,轉載使用可能引發版權糾紛
無論如何,糾結計算效率是人類文明的巨大進步,因為拋開神經網絡的限定,計算本身距離極限還很遠。這和人類過去掌控的幾乎所有自然力都截然不同。
你要擡起多少貨物就要施加多少力,要讓車有多少速度就要給它多少動能。操縱實體物質都有最基本的保底能量需求,可供節約的余地並不大,此刻人類最低效的動力來源基本上也已經有百分之十幾了,留下的改進空間不足十倍。這些空間並非不重要,它們或許足以扭轉此刻我們遭遇的氣候危機,但遠不足以支持一個無限增長的文明。
但是 計算所操縱的並非實體,而是資訊。計算所消耗的能量確實也有理論下限,但小到微乎其微 ,在室溫下這一極限大約是2.9 × 10^-21焦耳。因此,這個領域的進展是破天荒的。
1951年的 UNIVAC I 消耗一焦耳能量可以完成0.015次運算,而2022年的超算「亨利」消耗同樣能量可以完成650億次運算,七十年來已經提升了十幾個數量級,但距離室溫極限還有十個數量級。
如果放棄室溫這一限定,效率還可進一步提升。 計算的能耗下限和環境溫度成正比 ,一個高度發達的技術文明的絕大部份運算很可能會在宇宙空間裏進行,以微波背景輻射的溫度2.7K作為下限的基準。
如果一個文明存在的時間足夠漫長,它甚至可以選擇等待宇宙膨脹冷卻來獲取更高的計算效率——在10^12年後,計算的效率極限會比今天的極限再增加30個數量級。
圖庫版權圖片,轉載使用可能引發版權糾紛
換個角度說,就是 在計算能耗問題上人類還有很長的路要走 。或許,過去幾十年裏人類被摩爾定律慣壞了,沈迷於芯片的廉價和高速,而在很多層面都忽視了計算的效率——哪怕只是調調溫度也要跑上一個安卓系統。
但摩爾定律並不是自然定律,倒不如說是一條KPI——實際的芯片進步速度從2010年開始就有點跟不上腳步了。此刻神經網絡還不是人類能耗的主體,但總有一天計算會抵達這個位置,我們應該在那一天到來之前,就做好一切可能的準備。
策劃制作
作者丨範崗 科普作家
稽核丨 於旸 騰訊玄武實驗室負責人
策劃丨徐來
責編丨王夢如
審校丨徐來 林林