[Most-ai-contest] multi-span Extraction

Wed 12月 25 16:52:50 CST 2019

我來給予現在這些問題的個別解釋

=========================
data_number: D008Q06
Question 「阿拉伯之春」运动中，有哪六个国家政权被推翻？
Prediction: 突尼西亚和6个
Answer: 突尼西亚、埃及、利比亚、叶门、阿尔及利亚及苏丹

這種有特別指定數樣的問題，的確在本程式中，是有抓到是需要6個國家的，
程式會開始去計算出top-50的answer-span出來，但是這題就是前top-50的結果中，只有2個沒有超過*25長度*的answer，所以最終只有取出
突尼西亚跟6個。

data_number: D031Q03
Question 新版的北美贸易协定涉及哪三个国家?
Prediction: 美国总统川普今天宣布。撤销对加拿大和墨西哥
Answer: 美国、墨西哥及加拿大

這題與上提的解釋一致，top-50的結果中，並沒有有效的答案出現[換言之，top-50的結果沒有包含任何有效的回答]，並且*只有1個結果小於25長度*。

data_number: D071Q04
Question 有「渡海三家」之称的是哪三位艺术家?
Prediction: 齐白石、徐悲鸿、黄君璧、黄宾虹、溥心畬、郎静山
Answer: 黄君璧、溥心畬与张大千

這題的問題是，在、的規則延伸中，top-1是『黄宾虹』，所以透過左右延伸，跑出【齐白石、徐悲鸿、黄君璧、黄宾虹、溥心畬、郎静山 】。
在於三位藝術家的判斷中，非常用rule去決定說，到底是要前三個還是後三個。[並且從事實上來說，這6個答案只有2個包含正確答案。]

data_number: D113Q07 [Formatting problem]
Question 根据文本的数据，男性癌症前三名是哪三种？
Prediction: 肺癌、前列腺癌摄护腺癌、大肠直肠癌
Answer: 肺癌、前列腺癌（摄护腺癌）及大肠直肠癌

關於認為Formatter的問題，都非常尷尬，jieba會把大肠直肠癌切成『大腸』、『 直肠癌 』，在我自己formatter輸出的話會變成
*肺癌、前列腺癌摄护腺癌、大肠與直肠癌  *
有趣的事情就是，只有透過、去延伸出來的答案，會有這種不能透過一般formatter的情況去處理，
*我決定交給output formatter去幫我統一輸出。*

data_number: D113Q08
Question 根据文本的数据，女性癌症前三名是哪三种？
Prediction: 乳癌、大肠直肠癌、肺癌和子宫颈癌
Answer: 乳癌、大肠直肠癌及肺癌

這題其實也是很尷尬，在於內文的判斷中，並無法正確得知是否就是代表前三名？內文也沒說明說，從大排到小。
抓到的段落為：『在女性身上最常见的则是乳癌、大肠直肠癌、肺癌和子宫颈癌。』
不過是可以以優先的出現為基準去修正答案。

data_number: D242Q03
Question 罗马有四间特级宗座圣殿，分别是哪四所？
Prediction: 大殿、圣伯多禄大殿、圣母大殿和城外
Answer: 圣若望拉特朗大殿、圣伯多禄大殿、圣母大殿和城外圣保禄大殿

這題是斷詞問題，由於是character-based的BERT的關係，
top-1抓到 圣伯多禄大殿
所以左右延伸，透過jieba的斷詞來抓答案
以致於出現『 大殿、圣伯多禄大殿、圣母大殿和城外』。

data_number: D278Q05
Question 寒浞杀了夏朝的哪两位君王？
Prediction: 帝相
Answer: 相和后羿

同最剛開始的解釋一樣，top-50裡面 只有1個是小於25長度的答案。

data_number: D282Q07
Question 文中提及有哪三道菜是小真第一次吃到？
Prediction: 丝瓜炒蛋
Answer: 丁香鱼、澎湖龙虾和丝瓜炒蛋

這題是需要推論的，從single-span的角度來看，top-50的結果，是大量重新框絲瓜炒蛋，然後透過overrap的規則去框出的答案。
所以就變成了只有一個。

data_number: D282Q09
Question 澎湖旅行团安排了哪五个景点？
Prediction: 天后宫
Answer: 天后宫、通梁古榕、跨海大桥、西台古堡和桶盘屿

這題一樣， top-50裡面 只有1個是小於25長度的答案。

data_number: D292Q03 [suffix ending should be consistent]
Question 文中提及，三峡是由哪三个峡谷组成？
Prediction: 峡、巫峡與西
Answer: 瞿塘峡、巫峡及西陵峡

斷詞問題，難處理。

data_number: D046Q06
Question 六大通勤方式的细悬浮微粒（PM2.5）平均浓度暴露由高至低前三名是哪三种交通工具?
Prediction: 捷运、公车、汽车、机车、步行、脚踏车
Answer: 机车、公车及捷运

這題是需要推論，並不能從簡單的取前三個來當作答案。

data_number: D090Q09 [output seems strange]
Question 生物医学所使用的奈米结晶金属是哪两种?(在本文中)
Prediction: 奈米技术英语N
Answer: 奈米结晶银与奈米结晶钛

這題基本上，是DNN已經完全無法理解再問什麼，top-50已經全部亂框所跑出的答案。

data_number: D310Q02
Question 台湾地区排名前三名的死亡原因是哪些?
Prediction: 肺炎和恶性肿瘤
Answer: 恶性肿瘤、心脏疾病及肺炎

這題也是，top-50只有2個是長度小於25的結果。

data_number: D318Q01 [Do we follow the order appearing in the text?]
Question 流行感冒盛行的季节是哪两季?
Prediction: 冬季和夏季
Answer: 夏季与冬季

基本上，這有爭議。
從內文來看
是先出現冬季來出現夏季。

data_number: D032Q04
Question 北美贸易协定涉及哪三个国家?
Prediction: 国、加拿大及墨
Answer: 美国、墨西哥及加拿大

斷詞問題，以及擴散規則無法試用。

data_number: D088Q06 [output seems strange]
Question 试举出文本中五项作为生质燃料原料的粮食作物。
Prediction: 生物燃料、Biofuel及料英语Bi
Answer: 玉米、黄豆、木薯、亚麻籽和油菜籽

DNN無法理解再問什麼 。

data_number: D107Q01 [seems we can check suffix ending]
Question 健康照护体系有哪三种保险制?
Prediction: 三种不同的体系。社会保险制
Answer: 社会保险制、公医制及自由市场

data_number: D062Q04
Question 陈由豪名列台湾十大通缉要犯主要因为那两大案件？
Prediction: 损害债权案
Answer: 东华掏空与东鼎侵占

DNN無法理解再問什麼、top-50沒有第二個有效長度的答案出現。

data_number: D082Q03
Question 根据新闻文本，第二届科技大擂台的测验有哪两大类?
Prediction: 语音
Answer: 语音阅与连续对话

top-50沒有第二個有效長度的答案出現。

data_number: D322Q02 [Prefer the string that contains “、”, which could be a
useful hint/feature]
Question 目前在台湾出现的肠病毒有哪几型?
Prediction: 71型71型
Answer: 71型、D68型、克沙奇A6型、A10型、克沙奇A9型、B5型及伊科病毒11型

關於數字的回答，在目前的觀察中，沒有辦法救，這要追究到pre-trained MLM的時候，對於數字跟英文的處理問題。

--------------------------------

kysu <kysu at iis.sinica.edu.tw> 於 2019年12月25日 週三 下午4:27寫道：

> Some questions have specified the desired numbers. It seems that we can
> also
> tailored our output according to the specified number (not just locating
> the
> regions according to the specified number). I list some examples as follows
> for your information. Besides, some outputs still have boundary problems.
> Please take a look.
>
>
>
> KY
>
>
>
> -----------------------------
>
> data_number: D008Q06
>
> Question 「阿拉伯之春」运动中，有哪六个国家政权被推翻？
>
> Prediction: 突尼西亚和6个
>
> Answer: 突尼西亚、埃及、利比亚、叶门、阿尔及利亚及苏丹
>
>
>
> data_number: D031Q03
>
> Question 新版的北美贸易协定涉及哪三个国家?
>
> Prediction: 美国总统川普今天宣布。撤销对加拿大和墨西哥
>
> Answer: 美国、墨西哥及加拿大
>
>
>
> data_number: D071Q04
>
> Question 有「渡海三家」之称的是哪三位艺术家?
>
> Prediction: 齐白石、徐悲鸿、黄君璧、黄宾虹、溥心畬、郎静山
>
> Answer: 黄君璧、溥心畬与张大千
>
>
>
> data_number: D113Q07 [Formatting problem]
>
> Question 根据文本的数据，男性癌症前三名是哪三种？
>
> Prediction: 肺癌、前列腺癌摄护腺癌、大肠直肠癌
>
> Answer: 肺癌、前列腺癌（摄护腺癌）及大肠直肠癌
>
>
>
> data_number: D113Q08
>
> Question 根据文本的数据，女性癌症前三名是哪三种？
>
> Prediction: 乳癌、大肠直肠癌、肺癌和子宫颈癌
>
> Answer: 乳癌、大肠直肠癌及肺癌
>
>
>
> data_number: D242Q03
>
> Question 罗马有四间特级宗座圣殿，分别是哪四所？
>
> Prediction: 大殿、圣伯多禄大殿、圣母大殿和城外
>
> Answer: 圣若望拉特朗大殿、圣伯多禄大殿、圣母大殿和城外圣保禄大殿
>
>
>
> data_number: D278Q05
>
> Question 寒浞杀了夏朝的哪两位君王？
>
> Prediction: 帝相
>
> Answer: 相和后羿
>
>
>
> data_number: D282Q07
>
> Question 文中提及有哪三道菜是小真第一次吃到？
>
> Prediction: 丝瓜炒蛋
>
> Answer: 丁香鱼、澎湖龙虾和丝瓜炒蛋
>
>
>
> data_number: D282Q09
>
> Question 澎湖旅行团安排了哪五个景点？
>
> Prediction: 天后宫
>
> Answer: 天后宫、通梁古榕、跨海大桥、西台古堡和桶盘屿
>
>
>
> data_number: D292Q03 [suffix ending should be consistent]
>
> Question 文中提及，三峡是由哪三个峡谷组成？
>
> Prediction: 峡、巫峡與西
>
> Answer: 瞿塘峡、巫峡及西陵峡
>
>
>
> data_number: D046Q06
>
> Question 六大通勤方式的细悬浮微粒（PM2.5）平均浓度暴露由高至低前三名是哪三种交通工具?
>
> Prediction: 捷运、公车、汽车、机车、步行、脚踏车
>
> Answer: 机车、公车及捷运
>
>
>
> data_number: D090Q09 [output seems strange]
>
> Question 生物医学所使用的奈米结晶金属是哪两种?(在本文中)
>
> Prediction: 奈米技术英语N
>
> Answer: 奈米结晶银与奈米结晶钛
>
>
>
> data_number: D310Q02
>
> Question 台湾地区排名前三名的死亡原因是哪些?
>
> Prediction: 肺炎和恶性肿瘤
>
> Answer: 恶性肿瘤、心脏疾病及肺炎
>
>
>
> data_number: D318Q01 [Do we follow the order appearing in the text?]
>
> Question 流行感冒盛行的季节是哪两季?
>
> Prediction: 冬季和夏季
>
> Answer: 夏季与冬季
>
>
>
> data_number: D032Q04
>
> Question 北美贸易协定涉及哪三个国家?
>
> Prediction: 国、加拿大及墨
>
> Answer: 美国、墨西哥及加拿大
>
>
>
> data_number: D008Q06
>
> Question 「阿拉伯之春」运动中，有哪六个国家政权被推翻？
>
> Prediction: 突尼西亚和6个
>
> Answer: 突尼西亚、埃及、利比亚、叶门、阿尔及利亚及苏丹
>
>
>
> data_number: D088Q06 [output seems strange]
>
> Question 试举出文本中五项作为生质燃料原料的粮食作物。
>
> Prediction: 生物燃料、Biofuel及料英语Bi
>
> Answer: 玉米、黄豆、木薯、亚麻籽和油菜籽
>
>
>
> data_number: D107Q01 [seems we can check suffix ending]
>
> Question 健康照护体系有哪三种保险制?
>
> Prediction: 三种不同的体系。社会保险制
>
> Answer: 社会保险制、公医制及自由市场
>
>
>
> data_number: D062Q04
>
> Question 陈由豪名列台湾十大通缉要犯主要因为那两大案件？
>
> Prediction: 损害债权案
>
> Answer: 东华掏空与东鼎侵占
>
>
>
> data_number: D082Q03
>
> Question 根据新闻文本，第二届科技大擂台的测验有哪两大类?
>
> Prediction: 语音
>
> Answer: 语音阅与连续对话
>
>
>
> data_number: D322Q02 [Prefer the string that contains “、”, which could be a
> useful hint/feature]
>
> Question 目前在台湾出现的肠病毒有哪几型?
>
> Prediction: 71型71型
>
> Answer: 71型、D68型、克沙奇A6型、A10型、克沙奇A9型、B5型及伊科病毒11型
>
> --------------------------------
>
>
>
> From: kysu [mailto:kysu at iis.sinica.edu.tw]
> Sent: Wednesday, December 25, 2019 3:47 PM
> To: '闍怵羅' <s2w81234 at gmail.com>; '范正忠' <jjfan at iis.sinica.edu.tw>
> Cc: 'Most-ai Contest' <Most-ai-contest at iis.sinica.edu.tw>; 'Menphis Chen'
> <kychen at mail.ntust.edu.tw>; 'kysu' <kysu at iis.sinica.edu.tw>
> Subject: RE: [Most-ai-contest] multi-span Extraction
>
>
>
> Thanks a lot! We now get back two more answers. I have quickly scan your
> output. It seems there is still a chance to recover more error cases (i.e.,
> once your DNN can locate the desired region, then we can adjust the desired
> boundary with rules). Please keep going to further improve the performance.
> Thanks for your effort in advance.
>
>
>
> KY
>
>
>
> From: most-ai-contest-bounces at iis.sinica.edu.tw
> <mailto:most-ai-contest-bounces at iis.sinica.edu.tw>
> [mailto:most-ai-contest-bounces at iis.sinica.edu.tw] On Behalf Of 闍怵羅
> Sent: Wednesday, December 25, 2019 3:35 PM
> To: 范正忠 <jjfan at iis.sinica.edu.tw <mailto:jjfan at iis.sinica.edu.tw> >
> Cc: Most-ai Contest <Most-ai-contest at iis.sinica.edu.tw
> <mailto:Most-ai-contest at iis.sinica.edu.tw> >
> Subject: Re: [Most-ai-contest] multi-span Extraction
>
>
>
> 大家好，
> 這是第四版把、的整個擴充
> 擴的更有邏輯性一點
> result檔案就是v4對於training test dev 跟w3題目的回答狀況
> MSPE_v4.py就是第四版的檔案
> 麻煩在merge上去。
>
>
>
> 闍怵羅 <s2w81234 at gmail.com <mailto:s2w81234 at gmail.com> > 於 2019年12月25日 週三 下
> 午3:18寫道：
>
>
> <
> https://drive.google.com/file/d/1AXo2RVaeqDFPxzLR5GIVc5u8tiniDu3a/view?usp=
> drive_web>  MSPE.rar
>
> 其實 load的model應該都一樣才對，
>
> 後續的改種都是MSPE.py的檔案
>
> 我再把現在環境的檔案全部傳一次給您
>
>
>
> 范正忠 <jjfan at iis.sinica.edu.tw <mailto:jjfan at iis.sinica.edu.tw> > 於
> 2019年12月25日 週三 下午2:59寫道：
>
> 看起來還不錯, 我需要跟你比對一下, 雙方的 model data 是否一樣 ?
>
>
>
> e.g. ./bao_bert_lin
>
>
>
> jjfan
>
>
>
>
>   _____
>
>
> From: "闍怵羅" < <mailto:s2w81234 at gmail.com> s2w81234 at gmail.com>
> To: "Menphis Chen" < <mailto:kychen at mail.ntust.edu.tw>
> kychen at mail.ntust.edu.tw>
> Cc: "Most-ai Contest" < <mailto:Most-ai-contest at iis.sinica.edu.tw>
> Most-ai-contest at iis.sinica.edu.tw>
> Sent: Wednesday, December 25, 2019 2:49:36 PM
> Subject: Re: [Most-ai-contest] multi-span Extraction
>
>
>
> 大家好，
>
> 附檔是整個題目的回答情況
>
> 包含
>
> Question_ID：
>
> Question：
>
> Prediction：
>
> Answer：
>
> ==================
>
> 勞煩確認
>
>
>
>
>
> Menphis Chen < <mailto:kychen at mail.ntust.edu.tw> kychen at mail.ntust.edu.tw>
> 於 2019年12月25日 週三 下午2:24寫道：
>
> Hi 上堡,
>
>
>
> 可否提供一下你自己執行的結果?
>
> 至少昨天投影片上那幾題的結果
>
>
>
> to 范博士,
>
> 有沒有可能單獨測試阿堡的程式在你那邊的執行結果?
>
>
>
>
>
> 謝謝
>
> Best, Menphis.
>
>
>
> ----
>
> Kuan-Yu Menphis Chen
>
> Assistant Professor, Computer Science and Information Engineering
>
> National Taiwan University of Science and Technology
>
> TEL: +886-2-2737-6377
>
> Web:  <http://faculty.csie.ntust.edu.tw/~kychen>
> http://faculty.csie.ntust.edu.tw/~kychen
>
> ----
>
>
>
> On Wed, 25 Dec 2019 14:20:27 +0800
>
> 闍怵羅 < <mailto:s2w81234 at gmail.com> s2w81234 at gmail.com> wrote:
>
>
>
> 范博士好，
>
> 在多次確認後，
>
> 這個版本應該可以正常執行才對。\
>
> 麻煩確認
>
>
> _______________________________________________
> Most-ai-contest mailing list
>  <mailto:Most-ai-contest at iis.sinica.edu.tw>
> Most-ai-contest at iis.sinica.edu.tw
>  <https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest>
> https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20191225/fa901ba7/attachment-0001.html>