[Most-ai-contest] Date-duration模組 ver4.0

[kysu]

Thanks a lot for your great effort. Could you please show us those remaining errors (so that we can check if they can be further improved)? Thanks.

 

KY

 

From: most-ai-contest-bounces at iis.sinica.edu.tw [mailto:most-ai-contest-bounces at iis.sinica.edu.tw] On Behalf Of 郭家銍
Sent: Thursday, April 2, 2020 3:45 PM
To: Most-ai Contest <Most-ai-contest at iis.sinica.edu.tw>
Subject: [Most-ai-contest] Date-duration模組 ver4.0

 

各位好：

 

https://drive.google.com/file/d/1bWgBWuuLtLUHiHnUEiC9j7Q32jYxior8/view?usp=sharing

以上是最新版的date-duration模組

 

目前的EM成績如下：

訓練集 - 76.58

驗證集 - 84.62

測試集 - 77.42

 

註：部分rules會利用到當前日期，而上述EM是模擬初賽時的日期做測試

　　打包好的模組是直接使用datetime.today()回傳的當前日期，因此EM會稍微降低

 

 

模組有以下三點改善：

 

一、NN模型的訓練採用較高的dropout(0.5)與curriculum learning

 

   step 1. 混和DRCD/Lee/Kaggle/ASR/DROP/FGC的訓練集，預訓練一個epoch

   step 2. 承上，訓練集拔掉ASR與DROP這兩個品質較差的dataset，

　　　　在混合DRCD/Lee/Kaggle/FGC的驗證集上訓練至F1 earlystop (patience = 0)

   step 3. 單獨在FGC訓練集上finetune，直到FGC驗證集的EM earlystop (patience = 5)

 

　　以上方法雖然沒辦法讓single-span成績再提高

　　但可以避免模型預測值被top-1的答案給dominate住

 

二、承上NN模型，把可行的rule皆添加進規則庫中

三、修正規則庫中的規則衝突與一些bug

（規則衝突無法修正時，採用能讓整體EM較高者，e.g. 年齡取四捨五入會比無條件進位對更多題）

 

 

我目前正在以同樣的手法，趕工arithmetic模組

 

Best regards,

郭家銍

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20200403/29ad4e6d/attachment.html>