Page 41 - My FlipBook
P. 41
Brochure 2020
不遺忘之永續深度學習
監督式深度學習的進展，除了利用已蒐集完成的資料集 法的特色是可完全避免遺忘，並在維持深度模型緊緻性
來進行學習外，也面對另一個困難 ─ 資料並非一次性即 (compactness) 的狀況下來進行擴充。成果發表於 ICMR
可蒐集與建構完成，而是分批獲得；而學習的任務或技 2019。接著我們改良此方法，在壓縮 (compacting) 與 擴
能也並非一次可達成，而是在過去以某些資料集學習完 張 (growing) 的交替步驟外，另增選擇 (picking) 的步驟，
相對應任務後，接著再以新的資料集學習新的任務。因
此永續性 (continuous) 或終身 (life-long) 學習變得益加重 以便類似人一般在鞏固過去知識的同時，也能藉由選擇
要。這部分的方法最大的困難是如何避免災難性地遺忘
了過去已習得的任務與技能。我們發展了濃縮化 (shrink) 過去的關鍵知識來對於目前要學習的新任務有所助益。
與擴張化 (expand) 的交替步驟，能夠在避免任務遺忘的 我們使用可微分的選擇遮罩 (selection mask) 連同模型
情況下，發展出實現多工任務的緊緻模型。達成在學習
新任務的同時，持續完整地保有舊任務的功能。我們方 的保留或擴充權重同時訓練，達成學習新任務但不遺忘
舊任務的效果。成果發表 AI 領域頂尖國際會議 NeurIPS
2019。
圖二：藉由模型壓縮、權重檢選、以及模型擴充之原理，達成不遺忘並可借重過去經驗的永續深度學習。
( 二 ) 多功能深度模型之整合應用
快速檢索碼之深度學習
我們發展無監督與半監督式的二元檢索碼的深度學習技 發掘出類別的相關性，更容易將具標籤資料的學習結果
推展給無標籤資料使用。相關成果發表於 ICIP 2019。
術，以利於在大型資料庫中的快速搜尋與檢索。在半監 無監督二元檢索碼的深度學習技術發表於AI 領域頂尖
督式學習中，只有部分的資料被標註，因此以標註的資 期刊 IEEE Transactions on Pattern Analysis and Machine
料為基礎，透過自我學習的方式逐步擴充至未標註的資 Intelligence 2019。其影響因子 (IF: 17.73)為目前AI 領域最
料，進而達成完整的學習。我們的方法考慮類別之間的
關連性，類別的標籤值也是變數中的一環，可在學習網 高。
路權重的時一同被調整。由於我們可以在學習的過程中
圖三：速搜特徵之深度學習。研發二元檢索碼之深度學習技術，以利於大型資料庫中的快速搜尋。標籤值在
學習網路權重時可一併調整，自動發掘出類別間的相關性。
39
不遺忘之永續深度學習
監督式深度學習的進展，除了利用已蒐集完成的資料集 法的特色是可完全避免遺忘，並在維持深度模型緊緻性
來進行學習外，也面對另一個困難 ─ 資料並非一次性即 (compactness) 的狀況下來進行擴充。成果發表於 ICMR
可蒐集與建構完成，而是分批獲得；而學習的任務或技 2019。接著我們改良此方法，在壓縮 (compacting) 與 擴
能也並非一次可達成，而是在過去以某些資料集學習完 張 (growing) 的交替步驟外，另增選擇 (picking) 的步驟，
相對應任務後，接著再以新的資料集學習新的任務。因
此永續性 (continuous) 或終身 (life-long) 學習變得益加重 以便類似人一般在鞏固過去知識的同時，也能藉由選擇
要。這部分的方法最大的困難是如何避免災難性地遺忘
了過去已習得的任務與技能。我們發展了濃縮化 (shrink) 過去的關鍵知識來對於目前要學習的新任務有所助益。
與擴張化 (expand) 的交替步驟，能夠在避免任務遺忘的 我們使用可微分的選擇遮罩 (selection mask) 連同模型
情況下，發展出實現多工任務的緊緻模型。達成在學習
新任務的同時，持續完整地保有舊任務的功能。我們方 的保留或擴充權重同時訓練，達成學習新任務但不遺忘
舊任務的效果。成果發表 AI 領域頂尖國際會議 NeurIPS
2019。
圖二：藉由模型壓縮、權重檢選、以及模型擴充之原理，達成不遺忘並可借重過去經驗的永續深度學習。
( 二 ) 多功能深度模型之整合應用
快速檢索碼之深度學習
我們發展無監督與半監督式的二元檢索碼的深度學習技 發掘出類別的相關性，更容易將具標籤資料的學習結果
推展給無標籤資料使用。相關成果發表於 ICIP 2019。
術，以利於在大型資料庫中的快速搜尋與檢索。在半監 無監督二元檢索碼的深度學習技術發表於AI 領域頂尖
督式學習中，只有部分的資料被標註，因此以標註的資 期刊 IEEE Transactions on Pattern Analysis and Machine
料為基礎，透過自我學習的方式逐步擴充至未標註的資 Intelligence 2019。其影響因子 (IF: 17.73)為目前AI 領域最
料，進而達成完整的學習。我們的方法考慮類別之間的
關連性，類別的標籤值也是變數中的一環，可在學習網 高。
路權重的時一同被調整。由於我們可以在學習的過程中
圖三：速搜特徵之深度學習。研發二元檢索碼之深度學習技術，以利於大型資料庫中的快速搜尋。標籤值在
學習網路權重時可一併調整，自動發掘出類別間的相關性。
39
