<div dir="ltr"><div>各位好：</div><div><br></div><a href="https://drive.google.com/file/d/1bWgBWuuLtLUHiHnUEiC9j7Q32jYxior8/view?usp=sharing" target="_blank">https://drive.google.com/file/d/1bWgBWuuLtLUHiHnUEiC9j7Q32jYxior8/view?usp=sharing</a><div>以上是最新版的date-duration模組</div><div><br></div><div>目前的EM成績如下：</div><div>訓練集 - 76.58</div><div>驗證集 - 84.62</div><div>測試集 - 77.42</div><div><br></div><div>註：部分rules會利用到當前日期，而上述EM是模擬初賽時的日期做測試</div><div>　　打包好的模組是直接使用datetime.today()回傳的當前日期，因此EM會稍微降低</div><div><br></div><div><br></div><div>模組有以下三點改善：</div><div><br></div><div>一、NN模型的訓練採用較高的dropout(0.5)與curriculum learning</div><div><br></div><div>   step 1. 混和DRCD/Lee/Kaggle/ASR/DROP/FGC的訓練集，預訓練一個epoch</div><div>   step 2. 承上，訓練集拔掉ASR與DROP這兩個品質較差的dataset，</div><div>　　　　在混合DRCD/Lee/Kaggle/FGC的驗證集上訓練至F1 earlystop (patience = 0)</div><div>   step 3. 單獨在FGC訓練集上finetune，直到FGC驗證集的EM earlystop (patience = 5)</div><div><br></div><div>　　以上方法雖然沒辦法讓single-span成績再提高</div><div>　　但可以避免模型預測值被top-1的答案給dominate住</div><div><br></div><div>二、承上NN模型，把可行的rule皆添加進規則庫中</div><div>三、修正規則庫中的規則衝突與一些bug</div><div>（規則衝突無法修正時，採用能讓整體EM較高者，e.g. 年齡取四捨五入會比無條件進位對更多題）</div><div><br></div><div><br></div><div>我目前正在以同樣的手法，趕工arithmetic模組</div><div><br></div><div>Best regards,</div><div>郭家銍</div></div>