本計畫從模仿生物體視覺系統出發，設計、開發、並整合一個低電壓、低功耗、即時處理、具辨識及軌跡預測功能之移動式仿生智慧視覺系統，包括視覺感測器陣列(Image Senor Array)、注意力調整單元(Attention Modulation Module)、基於空間資訊之深度學習推斷單元(DNN Inference Module Based on Spatial Information)及基於時間信息之突波神經網路單元(SNN Module Based on Temporal Information)。
綜上所述，模仿生物體之神經系統及架構也許是突破目前智慧視覺系統限制的有效方式。本計畫將分為兩個階段：第一階段進行對仿神經之架構及演算法進行研究，將視覺分為兩條路徑分別執行對靜態訊息和動態訊息的處理，從系統層級降低系統內數據輸送量和相應之網路模型；第二階段在仿神經之架構及系統上進一步研究仿神經之電路及系統，使用突波訊號進行資訊傳遞及溝通，進一步降低系統功耗。通過兩階段的研究，整合出仿神經智慧視覺系統晶片，突破目前之智慧型視覺系統限制。
THEME1低功耗智慧視覺影像感測晶片
現今的人工智慧機器視覺感測大都由互補式金氧半導體影像感測器CMOS Image Sensor (CIS)、初步影像信號處理器Image Signal Process (ISP)、以及後端仿神經網路Neural Network (NN)多維度運算方式共同完成。傳統上CMOS影像感測器主要用於環境影像擷取並將原始資料提供後端影像信號處理器進行資料壓縮或是特定功能之運算，在此種兩個獨立晶片單元的架構下，前級感測器傳輸大量的影像原始資料至處理器，其所需消耗的能源與時間頻寬將非常可觀，且晶片系統複雜度也相對提高。因此本計畫研究內容將著重於提升CMOS影像感測器之運算處理能力並降低晶片單元間資料傳輸量與頻寬大小，來達到高效率、低功耗與低延遲的人工智慧視覺晶片。而此晶片可將這些陣列運算應用於不同的演算法或應用，例如：Deep Neural Network (DNN)、Convolution Neural Network (CNN)與Spiking Neural Network (SNN)等等，來降低後端處理單元之運算量。同時，在不同的演算法下，資料將會使用不同的維度來進行初步運算，例如：電壓(voltage)、電流(current)、電荷(charge)、時間(time)、脈衝(pulse)、突波(Spike)、等等。因此，此計畫欲提出一套可執行前級運算並應用於人工智慧網絡的多功能影像感測器，並能依照演算法提供多維度的資料傳出介面，以方便後端的網絡進行運算與學習。
子計劃目標
此感測器的目的在於可將人工視覺晶片所需之訊號進行多方面的處理，來達到各種應用，例如：機器人視覺、手勢偵測、無人機、等等。其中，本子計畫呼應總計畫之目的，將於子計畫中達成之目標整理如下:
(1) 初步陣列運算之影像感測器設計
A) ：具備低功耗之影像感測器：無線充電或使用電池來達到可移動、可穿戴的便利性。
B) ：具備陣列運算之影像感測器：應用於物件追蹤、辨識且向後端處理器傳送包含特徵的影像。
C) ：距離感測之影像深度感測器：在立體相度上提供更多空間資訊
(2) 適用初步陣列運算影像感測器之類比數位轉換器
A) ：平行讀出之影像感測系統：提供巨量資料的類比數位轉換
B) ：低壓低功耗之影像感測系統：連續漸進逼近式(successive-approximation-register, SAR)類比數位轉換器來進行低壓操作的類比數位轉換
初步研究成果
本團隊在前期已經開發低功耗感測晶片、物體追蹤感測晶片、以及深度感測晶片，並在其內部實現了可對應其影像感測器訊號的多功能類比數位轉換器。若於此計畫下，針對人工智慧所需之初步影像陣列處理進行架構上的改變以及設計，可以達成前級運算的多功能影像感測器，並依演算法提供多維度的資料傳出介面
THEME2深度學習之模型架構化簡與低延遲低功耗積體電路實現
本計畫以降低延遲以及功耗為考量，協同設計樣型識別的演算法以及硬體。本計畫的樣型識別單元將會接收子計畫一CIS感測並經過前處理的影像資料，對其進行識別，並配合子計畫三的軌跡預測單元，整合成低功耗、低延遲、高效能功耗比的仿生智慧視覺系統，以應用於對功耗敏感的移動式設備。本計畫將循序漸進，第一階段利用記憶體內運算來實現單一bit乘加運算，並搭配周邊數位電路以實現樣型識別單元；第二階段使用記憶體實現多bit乘加運算，並省去數位介面直接搭配類比電路實現其他運算(activation, pooling, softmax)，並根據類比以及數位電路不同的特性修改模型；最後階段將研究突波神經網路，利用其不需要靜態電流(static current)以及較傳統類比電路抗雜訊的特性，達成更低的功耗、更高的效能功耗比以及更高的可靠性，另一方面，突波神經網路的運作機制與傳統類神經網路有一定差異，因此演算法要做比較大的調整。
子計劃目標
本子計畫呼應總計畫之目的，將於子計畫中達成之目標整理如下：
(1)利用記憶體內運算設計出高效能功耗比的乘加運算加速器。
(2)充分利用電路元件本身電壓電流物理關係，設計比數位運算低功耗的類比運算電路，並省去數位介面電路。
(3)設計突波神經網路所需的相關電路(neuron、synapse)。
(4)設計有實用價值的突波神經網路訓練演算法。
初步研究成果
本團隊已有模型壓縮以及客製化經驗，成功以三值權重({+1, 0, -1})以及一位元輸入({1, 0})的架構，設計出適合記憶體運算的模型，並將參數容量控制在1 Mb以下，並達到98.5%以上正確率。本團隊亦有以類比電路實現多層感知器的經驗，並經過下線驗證，其晶片圖如圖4.a。該晶片實現的模型大小較小，且並未與RRAM整合，因此還需要很多調整。本團隊之突波神經網路也已經設計了能以梯度下降演算法訓練的突波神經網路，也已經過下線驗證，其晶片圖如圖4.b。該突波神經網路以突波發生機率編碼 ，必須統計一段時間的突波數量，因此要在正確率與延遲之間權衡，這方面也是要改進的地方。
THEME 3模擬昆蟲視覺與空間感知系統之仿神經網路與晶片
本計畫以降低延遲以及功耗為考量，協同設計樣型識別的演算法以及硬體。機器視覺是目前人工智慧最重要的一個應用領域之一，而各種機器視覺的應用場合常會遇到攝影機與目標物皆在移動的情況，如何校正這些移動以及進一步預測目標物的軌跡成為一棘手的問題。使用傳統的演算法雖可用來解決部份的問題，但是需要耗費大量計算資源，導致無法將設備微型化而阻礙許多可能的應用。反觀昆蟲，卻能以極少的神經元數目達到極強的視覺能力以及空間感知能力。視覺能力讓昆蟲可在各種飛行姿態中辨識其他移動的物體，而空間感知能力讓昆蟲可以建構自身與目標物在三維空間中的相對關係及預測目標的軌跡。本子計畫的目的即是發展一個可以模擬昆蟲視覺與空間感知系統的仿神經軟體(網路模型)，並進一步實現成仿神經晶片系統。此研究可協助總計畫欲發展的視覺辨識系統，加強其在背景與目標物皆在移動的狀況下的辨識能力。此外也可模擬大腦的注意力，特別標定移動中的物體並交由深度網路(子計畫二與四)做辨識，以解決在複雜的大範圍視野中要辨識小範圍物體的問題。
子計劃目標
(1)果蠅前級視覺神經網路：發展可捕捉及偵測視野中數個運動物體及其方向與速度的神經網路
(2)果蠅後級視覺神經網路：發展可從視覺輸入建構空間觀念以及預測目標物的運動軌跡的神經網路
(3)仿神經晶片系統：設計參數與網路架構可程式化之突波式神經網路單晶片
(4)軟硬體整合：設計連結多晶片構成大型突波式神經網路之軟硬體，將神經網路模型優化以及簡化，並移植到仿神經晶片中。
初步研究成果
神經網路分析與計算模型(計畫主持人)：計畫主持人在相關神經功能的網路模型上已有豐碩成果。與本計畫直接相關的成果簡述如下：在果蠅後級視覺系統上，中央複合體(central complex)扮演著整合視覺與各種知覺並建立空間方向感與記憶的功能。計畫主持人最近發表一篇描述中央複合體網路結構的論文(Chang PY et al. Front. Neuroinfo. 11:26, 2017)以及一篇模擬該腦區空間方向感記憶功能的論文(Su TS et al. Nat Comm 8:139, 2017) (圖5a)。另外計畫主持人與腦科學中心合作研究果蠅全腦的訊號傳遞與網路結構(Shih CT et al. Curr Biol 25:1, 2015)，此研究大幅增進我們對於前後級視覺網路系統的結構與關聯性 (圖5b)。計畫主持人也曾建構果蠅前級視覺系統中的抑制調控網路模型(尚未發表)。除了視覺系統，本子計畫將會使用多個決策神經網路(decision-making neural network)以讓系統在不同目標物間切換並避免訊號衝突。計畫主持人在此領域耕耘多年，有多篇重要論文發表(Lo CC & Wang XJ. Nat Neurosci. 9:957, 2006; Lo CC et al. J Neurosci. 29:9059, 2009; Wang CT. PLoS One 8:4, 2013; Lo CC et al. J Neurophys. 114:650, 2015; Lo CC & Wang XJ. PLoS Comp Biol. 12:8, 2016)(圖5c)。這些研究讓計畫主持人在大腦如何選擇與切換訊號、如何最佳化決策以及如何抵抗雜訊等問題上有豐富的經驗，對於整合前後級神經網路模型極端重要。
THEME 4融合數位與類比之仿神經智慧晶片架構
本計畫預想未來二至四年最前瞻之人工智慧晶片架構及研究主題，考量數位神經網路與類比神經網路各有優勢，故研究融合數位與類比之仿生智慧晶片架構。 數位神經網路有高度可程式彈性及最大的雜訊邊界，適合負擔叢發性(bursty)、暴力式(brutal-force)運算；類比神經網路有仿生的本質及低功率特性，適合負擔常駐式、直覺式功能。因此結合兩者才是最佳解決方案。以人腦與電腦為例，在進行影像識別、遊戲對弈、機智問答時，人腦的能源效率高過電腦十到百倍，讓設計電腦的專家折服。但若要進行數字運算、邏輯推演、高維度資料處理、多變數最佳化這類型工作，就算全世界75億人一條心、每個腦20瓦、全部耗費1500億瓦，效能也比不上一台300W、4-core、3.2 GHz的桌上型電腦。
子計劃目標
本計畫著重結合數位與類比之仿生智慧晶片架構，與子計畫一、二、三開發之DNN、SNN、imager整合。此外，本計畫也研發高速、低功耗、高可靠度之訓練策略、晶片管理策略。羅列本計畫的目標如下：
(1)加速神經網路訓練之固態硬碟架構：開發人工智慧晶片之公司與研究單位需訓練類神經網路。訓練過程大量存取資料，因此需高速儲存系統避免速度瓶頸。本計畫將針對此一需求設計固態硬碟架構。
(2)數位突波神經網路陣列及晶片上網路：數位元元電路密度高，類比電路行為精巧。本計畫因此研製數位突波神經網路(SNN)陣列，也研製晶片上網路，與子計畫三的類比突波神經元陣列整合。
(3)記憶體內計算處理器架構：結合RRAM仿神經記憶體內計算能力與處理器可程式彈性。
(4)高可靠度設計：考慮實際神經網路晶片元件(例如RRAM)缺陷，研發提升壽命與可靠度之策略。
(5)仿生焦點控制策略：生物識別追蹤物體時，會強化視野內特定圖案、特定景深、有移動的部份…等。本計畫依此觀察設計能整合調控DNN、SNN、影像感測器…等各子系統精確度與靈敏度之策略，降低整體功率、提升速度。
初步研究成果
本團隊在開發低功率類神經網路方面已有初步成果。我們提出新神經元模型，有別於傳統神經元總是不停地運算數百至數千個從樹突輸入的資訊，我們提出的神經元會依自身隨機參數，以一定機率維持靜止。此一神經元模型提供新的網路設計參數，且特別適合用於卷積神經網路。它每維持靜止一次，便替晶片節省數百到數千個乘法及加法運算工作，能以少量精確度換取大幅降低整體神經網路的功耗。 卷積神經網路由數十萬神經元構成，我們觀察到每個神經元的最佳靜止機率不同，因此整個神經網路採用單一靜止機率不是最佳設定。然而要測試各種靜止機率的組合，找出最佳設定，複雜度又過高無法執行。我們因此發展系統式搜尋最佳靜止機率的策略，包括(1)深度分層策略及(2)視覺焦點分區策略。深度不同的神經元樹突數量不同，每次運算的功耗不同；離視覺焦點遠近不同的神經元的訊號重要程度不同。利用此線索，我們大幅削減參數組合，已可在有限時間內搜尋出近似最佳設定。
