[Most-ai-contest] Date-duration模組 ver4.0

[郭家銍]

各位好：

https://drive.google.com/file/d/1bWgBWuuLtLUHiHnUEiC9j7Q32jYxior8/view?usp=sharing
以上是最新版的date-duration模組

目前的EM成績如下：
訓練集 - 76.58
驗證集 - 84.62
測試集 - 77.42

註：部分rules會利用到當前日期，而上述EM是模擬初賽時的日期做測試
打包好的模組是直接使用datetime.today()回傳的當前日期，因此EM會稍微降低


模組有以下三點改善：

一、NN模型的訓練採用較高的dropout(0.5)與curriculum learning

   step 1. 混和DRCD/Lee/Kaggle/ASR/DROP/FGC的訓練集，預訓練一個epoch
   step 2. 承上，訓練集拔掉ASR與DROP這兩個品質較差的dataset，
在混合DRCD/Lee/Kaggle/FGC的驗證集上訓練至F1 earlystop (patience = 0)
   step 3. 單獨在FGC訓練集上finetune，直到FGC驗證集的EM earlystop (patience = 5)

以上方法雖然沒辦法讓single-span成績再提高
但可以避免模型預測值被top-1的答案給dominate住

二、承上NN模型，把可行的rule皆添加進規則庫中
三、修正規則庫中的規則衝突與一些bug
（規則衝突無法修正時，採用能讓整體EM較高者，e.g. 年齡取四捨五入會比無條件進位對更多題）


我目前正在以同樣的手法，趕工arithmetic模組

Best regards,
郭家銍
-------------- 下一部份 --------------
抹去了一個 HTML 附加檔...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20200402/fbc68bf1/attachment.html>