Page 25 - 2017 Brochure
P. 25
CVPRW 2015，完整成果並於 2017 年被期刊 IEEE TPAMI 接受。另一方面， 研究人員
我們也將分類損失函數改良為檢索損失函數，並發展跨批次的學習方法，以
訓練出同時具備異類與同類（或相關）樣本集中之特徵空間，讓檢索結果更 廖弘源 Hong-Yuan Mark Liao
準確，此成果發表於國際會議 ACM MM 2016 之長篇論文。
2. 群眾行為分析：群眾行為分析牽涉到許多人在時間軸上的位置變化，要利用 Distinguished Research Fellow
深度學習網路原本慣用的架構去分析群眾並非易事。我們打算設計適當的深
層網路去分析動態的群眾行為。 王新民 Hsin-Min Wang
3. 音樂資訊檢索：音樂訊號往往包涵多種樂器、階層式的拍號結構和混雜的曲
風，通常皆以多重標記描述。因此，音樂資訊檢索問題可以利用多重任務學 Research Fellow
習架構之下的深度神經網路來處理。此方法已經被證實在音樂和弦辨識的問
題上（即同時處理和弦名稱和根音名稱）有其實用性。 呂俊賢 Chun-Shien Lu
此外，我們正在進行的研究還包括用於視聽語音增強和用戶識別的多模式深度學習。 Research Fellow
未來我們將開發於視訊中結合影像與自然語言，挖掘出人物相關資訊的方法，以利
於更高階的語意檢索。 陳祝嵩 Chu-Song Chen
圖：以 AlexNet 為例，我們於原本網路的特徵層與輸出層間嵌入一個潛在的 0-1 表示層， Research Fellow
並令其輸出值接近 0 或 1。輸出的分類或標籤則依賴於這些 0 或 1 的隱觀念來加以學
習，藉此以獲得涵蓋語意資訊的二元特徵碼。此處雖以 AlexNet 為例，本法亦可與其 黃文良 Wen-Liang Hwang
它深層網路配合以有效獲取二元雜湊碼。
Research Fellow
劉庭祿 Tyng-Luh Liu
Research Fellow
蘇⺾黎 Li Su
Assistant Research Fellow
23
我們也將分類損失函數改良為檢索損失函數，並發展跨批次的學習方法，以
訓練出同時具備異類與同類（或相關）樣本集中之特徵空間，讓檢索結果更 廖弘源 Hong-Yuan Mark Liao
準確，此成果發表於國際會議 ACM MM 2016 之長篇論文。
2. 群眾行為分析：群眾行為分析牽涉到許多人在時間軸上的位置變化，要利用 Distinguished Research Fellow
深度學習網路原本慣用的架構去分析群眾並非易事。我們打算設計適當的深
層網路去分析動態的群眾行為。 王新民 Hsin-Min Wang
3. 音樂資訊檢索：音樂訊號往往包涵多種樂器、階層式的拍號結構和混雜的曲
風，通常皆以多重標記描述。因此，音樂資訊檢索問題可以利用多重任務學 Research Fellow
習架構之下的深度神經網路來處理。此方法已經被證實在音樂和弦辨識的問
題上（即同時處理和弦名稱和根音名稱）有其實用性。 呂俊賢 Chun-Shien Lu
此外，我們正在進行的研究還包括用於視聽語音增強和用戶識別的多模式深度學習。 Research Fellow
未來我們將開發於視訊中結合影像與自然語言，挖掘出人物相關資訊的方法，以利
於更高階的語意檢索。 陳祝嵩 Chu-Song Chen
圖：以 AlexNet 為例，我們於原本網路的特徵層與輸出層間嵌入一個潛在的 0-1 表示層， Research Fellow
並令其輸出值接近 0 或 1。輸出的分類或標籤則依賴於這些 0 或 1 的隱觀念來加以學
習，藉此以獲得涵蓋語意資訊的二元特徵碼。此處雖以 AlexNet 為例，本法亦可與其 黃文良 Wen-Liang Hwang
它深層網路配合以有效獲取二元雜湊碼。
Research Fellow
劉庭祿 Tyng-Luh Liu
Research Fellow
蘇⺾黎 Li Su
Assistant Research Fellow
23
