在現代科技的舞台上，「視覺感知技術」正扮演著至關重要的角色。從自動駕駛汽車到靈巧的機器人，再到無處不在的智能監控系統，影像傳感器的表現直接決定了這些技術的成功與否。
然而，當面對動態、多變且不可預測的環境時，傳統影像傳感器往往力不從心，面臨諸多挑戰。這些挑戰主要包括動態範圍有限、數據冗余、感知延遲等幾個主要的方面。
動態範圍 指在影像或影片中能夠捕捉到的最暗到最亮的可見範圍內的所有像素範圍。動態範圍越大，器材可以捕捉到更多的像素變化，從深黑到明亮的細節都可以更清晰地展示出來。然而傳統傳感器的動態範圍非常有限，難以在強光和弱光環境下同時捕捉到清晰的影像。
數據冗余則是指高分辨率和高速傳感器會產生大量數據，增加了處理和傳輸的負擔。感知延遲是指由於處理速度的限制，傳感器在快速變化的環境中容易出現感知延遲，影響決策的及時性。
由於動態範圍有限，導致相機在弱光環境下（第三幅）影像中無法捕捉到清晰的人像（圖片來源：參考文獻1）
在自動駕駛、機器人和人工智能等領域，這些問題尤為明顯。例如，在自動駕駛中，傳感器必須能夠迅速而準確地辨識路況和潛在危險，但傳統傳感器在處理復雜場景（如突然出現的行人或車輛）時常常表現不佳。
這些技術障礙限制了影像傳感器在復雜環境下的套用，也催生了對更先進的視覺感知技術的迫切需求。科學家正在透過不斷研究人類出色的視覺系統來試圖尋找到解決方案。
人類視覺系統的啟示
人類視覺系統（Human Visual System, HVS）在處理復雜視覺資訊方面表現出色。即，初級視覺皮層作為視覺資訊的初步處理區域，將視覺資訊分解為原始的成分，如顏色、方向和運動，並將這些資訊傳遞到背側流和腹側流，然後透過兩條主要路徑進行處理：
1
認知路徑
腹側流（Ventral stream）連線到顳葉（temporal lobe），主要負責高精度的認知和細節辨識，如顏色和形狀。這條路徑使我們能夠清晰地看到物體的細節和顏色，並對環境進行準確的認知。
2
動作路徑
背側流（Dorsal stream）連線到頂葉（parietal lobe），主要負責快速反應和運動檢測，如方向和速度。透過這條路徑，我們可以迅速辨識運動的物體，並作出相應的反應，如避讓障礙物或追逐目標。
背側流（Dorsal stream）、腹側流（Ventral stream）和初級視覺皮層（Primary visual cortex）（圖片來源：VISUAL SYSTEM: CENTRAL PROCESSING）
這種雙路徑的處理方式使得人類能夠在各種復雜環境中高效、準確地感知和反應。基於對人類視覺系統的模仿，清華大學的研究團隊研發出了世界首款類腦互補視覺芯片——天眸芯片，突破了傳統視覺感知芯片的缺點，提供了前所未有的高效、精準的視覺感知解決方案。
天眸芯片的誕生
天眸芯片的設計理念基於對人類視覺系統的深入研究，采用了混合像素陣列和並列異構讀出架構。
混合像素陣列模仿了人類視覺系統中的錐狀細胞和桿狀細胞，分別用於顏色和運動檢測。其中，上皮細胞（Epithelial cells）支持和保護感光細胞的細胞層。錐狀細胞（Cone）主要負責捕捉顏色資訊，使我們能夠在明亮光線下看到豐富的顏色細節。而桿狀細胞則對光線的強弱變化極為敏感，特別適用於低光環境，幫助我們在昏暗條件下看到物體的輪廓和運動。
錐狀細胞、桿狀細胞和上皮細胞（圖片來源：Seeing color）
並列異構讀出架構是天眸芯片的核心部份 。它的作用是將來自不同像素（如錐體和桿狀像素）的電訊號以高速度和高精度轉換為數碼數據。這種架構的優勢在於能夠同時處理高動態範圍和高速度的感知需求，有效減少數據冗余，並在復雜光照條件下保持高效能。
天眸芯片的架構，包括混合像素陣列及其與多條路徑的互動（圖片來源：參考文獻2）
透過這些新技術的套用，天眸芯片同時具備了高速感知能力、寬動態範圍和頻寬最佳化這三個特點，解決了傳統傳感器的缺點。
1
高速感知能力
天眸芯片能夠實作每秒高達 10,000 幀的速度，確保在快速變化的環境中依然能夠捕捉到清晰的圖。這種高幀率感知能力對於自動駕駛和機器人等需要即時感知和反應的套用場景至關重要。
2
寬動態範圍
動態範圍的計算單位是 dB（分貝），傳統傳感器的動態範圍通常在 60 至 80dB 之間，而人眼的動態範圍約為 120dB。天眸芯片擁有高達 130dB 的動態範圍，能夠在強光和弱光環境下同時提供清晰的影像。這意味著即使在陽光直射和陰影並存的復雜光照環境下，天眸芯片也能提供細膩的畫面細節。
天眸芯片在不同光功率密度下的訊噪比，透過結合動作路徑和認知路徑的高增益和低增益模式，天眸芯片實作了 130dB 的寬動態範圍。這表明該芯片能在極強和極弱光照條件下提供高質素的影像。（圖片來源：參考文獻2）
3
頻寬最佳化
透過自適應技術，天眸芯片能夠減少 90% 的頻寬需求，有效降低了數據傳輸和處理的負擔。這種頻寬最佳化技術不僅提高了數據傳輸效率，還降低了能耗，使得天眸芯片更適合流動通訊器材和物聯網套用。
天眸芯片在快速運動和光閃幹擾下的高效能表現。透過動作路徑的高速響應，芯片能迅速處理不可預測的光閃事件，同時保持低頻寬消耗。天眸芯片在功耗和頻寬方面相對於傳統和神經形態視覺傳感器展現了優越的效能。（圖片來源：參考文獻2）
天眸芯片的套用案例
天眸芯片在自動駕駛系統中的套用是其強大效能的一個重要展示。它能夠在復雜的道路環境中提供準確、快速和穩健的感知，即使在角落情況下也能做出迅速反應。這對於提高自動駕駛系統的安全性和可靠性具有重要意義。
例如，天眸芯片在自動駕駛測試中展示了其在應對突然出現的行人和車輛時的優越效能，顯著降低了事故發生的概率。
除了自動駕駛，天眸芯片還可以廣泛套用於無人機、安防監控等領域。 例如，在安防監控中，天眸芯片能夠在光線變化劇烈的環境下提供高質素的影片影像，有助於及時發現潛在的安全威脅。在無人機套用中，天眸芯片的高動態範圍和高速感知能力使得無人機能夠在復雜地形和光照條件下進行高效地導航和監控。
天眸芯片在長途駕駛測試中的表現。測試中，車輛遇到日夜、隧道、高動態範圍、異常物體和復雜場景等極端情況。天眸芯片透過認知路徑和動作路徑檢測結果的無縫同步，確保了高精度感知。（圖片來源：參考文獻2）
多種實驗的結果表明，天眸芯片不僅具有高動態範圍和高分辨率，還能在高速運動和極端光照條件下保持優異的感知性，在極端環境下的表現遠優於傳統傳感器。
天眸芯片在未來科技發展中擁有無限的可能。隨著技術不斷進步，它將在更多領域中扮演不可或缺的角色。試想在增強現實（AR）和虛擬現實（VR）中，天眸芯片帶來的超高質素視覺體驗，將如何徹底改變我們的感知和互動方式？這僅僅是開始。
未來，當天眸芯片與人工智能技術深度融合，會為智能城市建設、醫療影像分析、工業自動化等領域帶來哪些顛覆性的變革？它將如何引領我們進入一個更加智能和互聯的世界？懸念依舊，我們拭目以待。
參考文獻
[1]Han, Yuqi & Yu, Xiaohang & Luan, Heng & Suo, Jinli. (2023). Event-Assisted Object Tracking on High-Speed Drones under Harsh Illumination Environment. 10.20944/preprints202312.1056.v1.
[2]Yang, Z., Wang, T., Lin, Y. et al. A vision chip with complementary pathways for open-world sensing. Nature 629, 1027–1033 (2024).
策劃制作
出品丨科普中國
作者丨鄭勝傑 計算與神經系統學博士生
稽核丨中國科普博覽
責編丨楊雅萍
審校丨徐來 林林
