[Most-ai-contest] Ensemble analysis of date-duration questions

[郭家銍]

蘇老師好：

狀況會是前者，例如以下例子：
問題問的是「哪一年」，答案的計算公式為「1057年 - 20歲 = 1037年」

文章：
嘉佑二年（1057年），苏轼才20岁，与弟弟苏辙一同进京参加会考，苏轼中进士第2名。当时主试官是欧阳修，苏轼以一篇《刑赏忠厚之至论》的论文得到考官梅尧臣的青睐，并推荐给主试官欧阳修。欧阳修亦十分赞赏，原本欲拔擢为第一，但又怕该文为自己的门生曾巩所作，为了避嫌，列为第二。结果试卷拆封后才发现该文为苏轼所作，而取为第一的是曾巩，正是阴错阳差，弄巧成拙。到了礼部复试时，苏轼再以《春秋对义》居曾巩之前，中乙科。\n治平三年（1066年），父苏洵过世，苏轼回蜀守丧，英宗怜之，同意以官船载运苏轼一家。\n熙宁二年（1069年），任祠部员外郎，反对王安石变法中的一些作为，王安石于是屡次在神宗面前诋毁苏轼，司马光、范镇举荐苏轼作谏官，王安石力反之，神宗想让苏轼写起居注，王安石向神宗进言，说苏轼在回家守丧时，乘机贩运苏木（一种染料），最后神宗放弃这个任命。三年，因为苏轼一直反对王安石，王安石门下的御史谢景温又诬陷苏轼贩卖私盐，范镇极辩苏轼贩盐之诬，并愿意退休负责。

題目：
苏东坡出生于哪一年?

答案：
1037年

Respectfully yours,
郭家銍


kysu <kysu於iis.sinica.edu.tw> 於 2019年12月25日 週三 下午10:09寫道：

> >因為AMODE是date-duration的問題，計算時的單位常常與問題不一致
>
>
>
> Do you mean that the desired math-formula will include a unit which is
> inconsistent with that is asked in the question? Or, an incorrect answer is
> generated due to involving two quantities with unmatched units? If it is
> the latter case, maybe we can add a checking-procedure to filter out those
> unmatched candidates. Could you please give an example with more details?
> Thanks.
>
>
>
> KY
>
>
>
> *From:* 郭家銍 [mailto:jerrykuo7727於gmail.com]
> *Sent:* Wednesday, December 25, 2019 9:32 PM
> *To:* Most-ai Contest <Most-ai-contest於iis.sinica.edu.tw>; kysu <
> kysu於iis.sinica.edu.tw>
> *Subject:* [Most-ai-contest] Ensemble analysis of date-duration questions
>
>
>
> 蘇老師您好：
>
>
>
> 目前在date-duration上實驗了用三個不同的模型作ensemble
>
> 對於AMODE是date-duration的問題，EM會從42.0下降到39.1
>
> 對於ATYPE是date-duration的single-span問題，EM則從57.0上升到60.7
>
>
>
> 初步的分析，是因為ensemble會讓模型預測的答案與問題更加吻合
>
> (e.g. question問「幾年」，則ensemble後的N-best預測幾乎都是「XX年」)
>
>
>
> 這對single-span問題有正面效益，但對AMODE是date-duration時卻有害
>
> 因為AMODE是date-duration的問題，計算時的單位常常與問題不一致
>
> 以問題問「幾年？」的例子來說，可能出現以下的計算形式：
>
> 1037年 + 20歲 = 1057年
>
> 24歲 - 18歲 = 6年
>
>
>
> Respectfully yours,
>
> 郭家銍
>
-------------- 下一部份 --------------
抹去了一個 HTML 附加檔...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20191225/4518107c/attachment-0001.html>