Page 48 - My FlipBook
P. 48
人
智慧
計
畫 深度學習於多媒體資料處理的相關研究及應用
Arti cial Intelligence Projects 計畫主持人：廖弘源博士
計畫期程：2018/1~2021/12
從 2018 年 開 始， 我 的 研 究 團 隊 開 始 接 受 科 技 部 式微。由於準備的時間短促，我們一開始就以多媒體訊
補 助， 啟 動 一 個 四 年 期 的 人 工 智 慧 相 關 研 究 計 畫 號資料處理結合深度學習做為題目。科技部擔心各研發
（2018/1~2021/12），每年的經費大約台幣 850 萬元。 團隊只以做純研究及發表論文做為計畫的目標，就表明
原本我們團隊的專長是多媒體訊號及資料處理，而科技 將是否能與台灣產業合作做為一項評估指標。其中一項
部也嘗試鼓勵各個不同訓練背景的研究團隊，由各個角 最重要的指標就是「業界出題，學界解題」。我的團隊
度切入人工智慧相關的理論或應用研究，因為科技部已 於是選擇上市的 IC 公司義隆電子合作，希望能整合各自
看出這是一個未來非常重要的方向，如果此時不挹注經 擅長的軟硬體優勢，發展不僅能適用於台灣，且能輸出
費投入，未來台灣不管在科學上或產業上的競爭力勢必 國際的「智慧城市交通車流解決方案」。
我們的目標是完成下列項目：
一、在十字路口直接執行邊緣運算 (edge computing)，計算出車流的各項參數；
二、利用電腦視覺的技術，計算鄰近路口之間其他的車流參數，例如：車速、停等車列長度；
三、利用前述獲得之交通流量參數，用增強式學習 (reinforcement learning)，動態調整被某一範圍涵蓋的所有十字路口
之交通號誌。
在計畫的第一年，我們團隊利用一個 360 度的魚眼相機 圖一：利用魚眼攝影機所偵測到的十字路口車流狀況。
放在十字路口，並由 YOLOv3 的模型開始做偵測並計算
車流。這個議題有兩個最大的困難處：
（1） 要 用 邊 緣 端 的 簡 易 計 算 處 理 器， 例 如：Nvidia
Jetson TX-2 來執行運算。TX2 的計算能力只有 GTX1080
Ti 顯示卡的二十分之一，要計算資料量很龐大的視訊，
又要維持相當的準確度，本來就極困難；
（2）為了只要用最少量的攝影機去涵蓋整個十字路口，
我們決定採用 360 度的魚眼攝影機來符合上述要求。但
魚眼攝影機的影像空間其實是一個扭曲的空間，當我們
需要引入機器學習去學習所有可能的樣本時，它們的樣
態會因為扭曲的關係與傳統的正常空間完全不同。
我們團隊用 YOLOv3-tiny 當起頭去修改模型，讓它能符合
我們在扭曲空間執行車流偵測及計算的目的。此一成果
讓義隆電子參展台北國際電腦展 (Computex Taipei) 並由
550 件以上的參展產品中奪得 Best Choice Award 的金獎
（只有 8 件產品獲金獎）。圖一所示為利用魚眼攝影機
所偵測到的十字路口車流狀況。
46
智慧
計
畫 深度學習於多媒體資料處理的相關研究及應用
Arti cial Intelligence Projects 計畫主持人：廖弘源博士
計畫期程：2018/1~2021/12
從 2018 年 開 始， 我 的 研 究 團 隊 開 始 接 受 科 技 部 式微。由於準備的時間短促，我們一開始就以多媒體訊
補 助， 啟 動 一 個 四 年 期 的 人 工 智 慧 相 關 研 究 計 畫 號資料處理結合深度學習做為題目。科技部擔心各研發
（2018/1~2021/12），每年的經費大約台幣 850 萬元。 團隊只以做純研究及發表論文做為計畫的目標，就表明
原本我們團隊的專長是多媒體訊號及資料處理，而科技 將是否能與台灣產業合作做為一項評估指標。其中一項
部也嘗試鼓勵各個不同訓練背景的研究團隊，由各個角 最重要的指標就是「業界出題，學界解題」。我的團隊
度切入人工智慧相關的理論或應用研究，因為科技部已 於是選擇上市的 IC 公司義隆電子合作，希望能整合各自
看出這是一個未來非常重要的方向，如果此時不挹注經 擅長的軟硬體優勢，發展不僅能適用於台灣，且能輸出
費投入，未來台灣不管在科學上或產業上的競爭力勢必 國際的「智慧城市交通車流解決方案」。
我們的目標是完成下列項目：
一、在十字路口直接執行邊緣運算 (edge computing)，計算出車流的各項參數；
二、利用電腦視覺的技術，計算鄰近路口之間其他的車流參數，例如：車速、停等車列長度；
三、利用前述獲得之交通流量參數，用增強式學習 (reinforcement learning)，動態調整被某一範圍涵蓋的所有十字路口
之交通號誌。
在計畫的第一年，我們團隊利用一個 360 度的魚眼相機 圖一：利用魚眼攝影機所偵測到的十字路口車流狀況。
放在十字路口，並由 YOLOv3 的模型開始做偵測並計算
車流。這個議題有兩個最大的困難處：
（1） 要 用 邊 緣 端 的 簡 易 計 算 處 理 器， 例 如：Nvidia
Jetson TX-2 來執行運算。TX2 的計算能力只有 GTX1080
Ti 顯示卡的二十分之一，要計算資料量很龐大的視訊，
又要維持相當的準確度，本來就極困難；
（2）為了只要用最少量的攝影機去涵蓋整個十字路口，
我們決定採用 360 度的魚眼攝影機來符合上述要求。但
魚眼攝影機的影像空間其實是一個扭曲的空間，當我們
需要引入機器學習去學習所有可能的樣本時，它們的樣
態會因為扭曲的關係與傳統的正常空間完全不同。
我們團隊用 YOLOv3-tiny 當起頭去修改模型，讓它能符合
我們在扭曲空間執行車流偵測及計算的目的。此一成果
讓義隆電子參展台北國際電腦展 (Computex Taipei) 並由
550 件以上的參展產品中奪得 Best Choice Award 的金獎
（只有 8 件產品獲金獎）。圖一所示為利用魚眼攝影機
所偵測到的十字路口車流狀況。
46
