[Most-ai-contest] Multi-spans extraction v18_b27

闍怵羅 s2w81234於gmail.com
Fri 4月 3 04:31:52 CST 2020


各位好,
這是針對可解的題目,去改善的rule。
MSPE_v18_branchy27.py <整合的時候,只要把之前的檔案覆蓋即可>
MSPE_error2.pdf <包含目前的整體情況,以及錯誤的每一題的文章、題目、預測、答案。>
<由於包含文章,所以頁數非常多,已經有做整理。>



===========================
  ※ 採用list result來當作評估基準。
EX:

預測: ['中国', '新加坡', '马来西亚']

真實輸出: 中国、 新加坡及马来西亚
但是評估的時候是採用預測那一個結果來評估。
※※在用list result當做評估的時候,記得Gold answer答案也要刪掉特殊符號。

※評估此模型時,請忽略這幾題直接算正確:
correct_id=['D082Q03','D086Q01','D126Q03','D210Q01','D268Q10','D126Q01','D015Q01','D087Q03','D093Q04','D072Q08','D092Q02','D179Q04']




分別為 上次開會所爭吵的幾題 加上 Benchmark error。
下面呈現微correct_id的答案跟預測差別。

================================================
問題: 莎士比亚的悲剧作品有哪些?(在文本中)
答案: ['罗密欧', '朱丽叶', '马克白']
預測: ['罗密欧与朱丽叶', '马克白']
問題: 根据新闻文本,第二届科技大擂台的测验有哪两大类?
答案: ['语音阅', '连续对话']
預測: ['语音阅读', '连续对话']
問題: 自然界中的能源常以哪些型式存在?
答案: ['热。电。辐射', '化学能']
預測: ['輻射', '热', '电', '化学能']
問題: 繁体字有哪些不同称呼?
答案: ['繁体字', '传承字', '正体中文', '繁体中文', '传统中文', '正体字', '原体字', '深笔字']
預測: ['传承字', '正体中文', '繁体中文', '传统中文', '正体字', '原体字', '深笔字']
問題: 这起事故发生地段位于哪里?
答案: ['云林158线平', '桥附近']
預測: ['云林158线平', '桥']
問題: 这起事故的受害者其姓氏分别为何?
答案: ['张', '魏']
預測: ['张姓', '魏姓']
問題: 三级座舱设计的波音747客机的舱等是哪三个?
答案: ['经济。商务', '头等舱']
預測: ['经济', '商务', '头等舱']
問題: 克莱斯勒大厦位于哪两条街道的交叉口?
答案: ['曼哈顿东部42街', '莱辛顿大道的交叉口']
預測: ['曼哈顿东部42街', '莱辛顿大道']
問題: 在张骞通西域的两次路程中,西域的音乐和什么传到了中土,促成中西文化的交流?
答案: ['葡萄', '音乐', '美术']
預測: ['葡萄', '美术']


問題: 请列举出三项高雄的地标建物?
答案: ['高雄85大楼', '梦时代购物中心的高雄之眼摩天轮', '高雄巨蛋']
預測: ['高雄85大楼', '高雄之眼摩天轮', '高雄巨蛋']
問題: 目前台湾有哪些县市有提供双层观光巴士服务?
答案: ['台北', '高雄', '屏东县']
預測: ['高雄县', '台北县', '屏东县']
問題: 有哪些国家是使用简体字中文的?
答案: ['中华人民共和国', '新加坡', '马来西亚']
預測: ['中国', '新加坡', '马来西亚']
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20200403/87845711/attachment-0001.html>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: MSPE_v18_branchy27.py
Type: application/octet-stream
Size: 50192 bytes
Desc: not available
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20200403/87845711/attachment-0001.obj>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: MSPE_error2.pdf
Type: application/pdf
Size: 1392800 bytes
Desc: not available
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20200403/87845711/attachment-0001.pdf>


More information about the Most-ai-contest mailing list