[Most-ai-contest] 關於multi-span extractions 說明

[kysu]

The way to decide K based on the question seems strange. I think it should be judged based on the related content.

 

KY

 

From: most-ai-contest-bounces at iis.sinica.edu.tw [mailto:most-ai-contest-bounces at iis.sinica.edu.tw] On Behalf Of 闍怵羅
Sent: Monday, December 23, 2019 7:20 PM
To: Most-ai-contest at iis.sinica.edu.tw
Subject: [Most-ai-contest] 關於multi-span extractions 說明

 

大家好，今日下午都在飛機上，無法即時回答問題非常抱歉

 

Multi-span的列舉題

現階段就是採取非常手段的做法

就是single-span採取topk

K從問題來提取

 

所以在問題表示 那些？ 什麼？的情況下

我也沒辦法有效評估 到底要取幾個

 

現在效能低落的原因還包含

他答案是不統一性的

像是 

預測答案民主與經濟

答案可能會寫

「民主」與「經濟」

或是答案 預測的順序相反

我預測A、B與C

 答案是B、C與A

甚至有一題

預測跟文本寫銅鋁

答案是銅與鋁

 

還有我自己在跑全部FGC data的時候

並沒有發生過error exception 等情況

 

再來 multi-span只有所謂的accuracy 

沒有所謂的F1

如果從F1的觀點來說

多數 要列舉並有給定數量的題目 

也有抓到期中是答案的2-3個

但是在真正整個列舉的時候 

少一個即為錯

 

 

 

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20191223/562288cb/attachment.html>