[Most-ai-contest] Multi-spans extraction v18_b20

[kysu]

Sorry. I have already found your error cases on the training-set. Just training-set performance is enough. Thanks.

 

KY

 

From: most-ai-contest-bounces at iis.sinica.edu.tw [mailto:most-ai-contest-bounces at iis.sinica.edu.tw] On Behalf Of kysu
Sent: Wednesday, April 1, 2020 10:08 PM
To: '闍怵羅' <s2w81234 at gmail.com>; 'Most-ai Contest' <Most-ai-contest at iis.sinica.edu.tw>
Subject: Re: [Most-ai-contest] Multi-spans extraction v18_b20

 

Thanks! Could you please also show us the performance (also the error cases) on the training-set?

 

KY

 

From: most-ai-contest-bounces at iis.sinica.edu.tw <mailto:most-ai-contest-bounces at iis.sinica.edu.tw>  [mailto:most-ai-contest-bounces at iis.sinica.edu.tw] On Behalf Of 闍怵羅
Sent: Wednesday, April 1, 2020 6:31 PM
To: Most-ai Contest <Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> >
Subject: [Most-ai-contest] Multi-spans extraction v18_b20

 

各位好，

抱歉拖了這麼久才更新。

附件包含兩個檔案：

MSPE_v18_branchy20.py <整合的時候，只要把之前的檔案覆蓋即可>

MSPE_error.pdf <包含目前的整體情況，以及錯誤的每一題的文章、題目、預測、答案。>

<由於包含文章，所以頁數非常多，已經有做整理。>

 

=================

目前MSPE的情況如下：

一：已有採用gold support evidence 去取答案的版本，但是效果是幾乎沒有差別的。

原因是：在原本的5種模型去ensemble的情況，就幾乎都包含原本的 gold support evidence的句子。
也就是說，當我從每個 gold support evidence 去取answer的時候，對於原本的模型來說，是幾乎取出差不多的答案的。
二：從問題直接提取相關的答案，還在撰寫，但是目前能救的題目，也幾乎被新版的MSPE解決了，所以可能不會有更好的效果。
三：目前剩下錯誤的題目，幾乎都是沒有夠多的答案。

 

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20200402/7b7965ca/attachment.html>