Page 42 - My FlipBook

工
智
慧
計
畫

Arti cial Intelligence Projects 文字故事及影像故事之語意抽取及後端生成

影像故事生成為整合影像與文字資訊的多模式議 圖四：整合影像與文字資訊之故事生成方法流程圖。
題，給定一組圖片，需生成一個搭配圖片的最佳故
事。在故事生成問題上，要使得上下文通順如真人
所述說，原本就不容易。然而，若要能符合某些關
鍵元素來說事，將使此任務更加困難，影像故事生
成 就 是 這 樣 一 個 極 具 挑 戰 性 的 任 務。 我 們 從 語 意
出發探討這個問題，經由影像語意簡化 (reduction,
summarization) 到 一 個 共 同 的 語 意 架 構 (semantic
frames) 接著再以生成模型進行語意擴增 (generation
and enrichment)，達到生成通順而豐富的故事之目
標。目前本研究朝向增進前後文通順度 (coherence)
及可生成動態長度故事的方向研發，利用額外的知
識 (knowledge graph or ontology) 來補充圖片內及圖
片間元素的連結。所發展的模型經由真人閱讀實驗
驗證，與其他模型比較能產生目前最佳的故事。成
果發表於 AI 頂尖國際會議 AAAI 2020。

角度思路導引之新聞推薦

本研究整合影像與文字資訊的多模式議題。傳統在
新聞推薦上，多是利用讀者過去看過的新聞推測未
來會有興趣的新聞，或是推薦熱門新聞給讀者，忽
略了讀者之所以會被某些新聞主題吸引的真正原因
也包括他們本來就關心的議題，或是新聞圖片中吸
睛的主題。本研究同時利用文字及新聞附圖中所提
示的語意重點，搭配自動從大量新聞語料學得的先
驗知識概念，模擬讀者腦中的世界觀，導引模型推
理出讀者最可能有興趣的新聞並加以推薦。實驗結
果顯示，此一多模式新聞推薦模型，能有效同時利
用圖文提示的重點，抓住讀者有興趣的概念並推薦
出下一個被點閱的新聞。

圖五：整合影像與文字資訊的多模式新聞推薦方法流程圖。

40