[Most-ai-contest] multi-span Extraction

[kysu]

Thanks for the detailed explanation. Would it be helpful if you know which strings are NEs (provided by linguistic analysis result)? That is, integrating NE-indicators into your DNN model so that the desired regions could be included in your Top-50 prediction.

 

KY

 

From: 闍怵羅 [mailto:s2w81234 at gmail.com] 
Sent: Wednesday, December 25, 2019 4:53 PM
To: kysu <kysu at iis.sinica.edu.tw>
Cc: 范正忠 <jjfan at iis.sinica.edu.tw>; Most-ai Contest <Most-ai-contest at iis.sinica.edu.tw>; Menphis Chen <kychen at mail.ntust.edu.tw>
Subject: Re: [Most-ai-contest] multi-span Extraction

 

我來給予現在這些問題的個別解釋

 

=========================

data_number: D008Q06
Question 「阿拉伯之春」运动中，有哪六个国家政权被推翻？
Prediction: 突尼西亚和6个
Answer: 突尼西亚、埃及、利比亚、叶门、阿尔及利亚及苏丹

這種有特別指定數樣的問題，的確在本程式中，是有抓到是需要6個國家的，

程式會開始去計算出top-50的answer-span出來，但是這題就是前top-50的結果中，只有2個沒有超過25長度的answer，所以最終只有取出 突尼西亚跟6個。


data_number: D031Q03
Question 新版的北美贸易协定涉及哪三个国家?
Prediction: 美国总统川普今天宣布。撤销对加拿大和墨西哥
Answer: 美国、墨西哥及加拿大

這題與上提的解釋一致，top-50的結果中，並沒有有效的答案出現[換言之，top-50的結果沒有包含任何有效的回答]，並且只有1個結果小於25長度。

data_number: D071Q04
Question 有「渡海三家」之称的是哪三位艺术家?
Prediction: 齐白石、徐悲鸿、黄君璧、黄宾虹、溥心畬、郎静山
Answer: 黄君璧、溥心畬与张大千

這題的問題是，在、的規則延伸中，top-1是『黄宾虹』，所以透過左右延伸，跑出【齐白石、徐悲鸿、黄君璧、黄宾虹、溥心畬、郎静山 】。

在於三位藝術家的判斷中，非常用rule去決定說，到底是要前三個還是後三個。[並且從事實上來說，這6個答案只有2個包含正確答案。]


data_number: D113Q07 [Formatting problem]
Question 根据文本的数据，男性癌症前三名是哪三种？
Prediction: 肺癌、前列腺癌摄护腺癌、大肠直肠癌
Answer: 肺癌、前列腺癌（摄护腺癌）及大肠直肠癌

關於認為Formatter的問題，都非常尷尬，jieba會把大肠直肠癌切成『大腸』、『 直肠癌 』，在我自己formatter輸出的話會變成

肺癌、前列腺癌摄护腺癌、大肠與直肠癌  

有趣的事情就是，只有透過、去延伸出來的答案，會有這種不能透過一般formatter的情況去處理，我決定交給output formatter去幫我統一輸出。



data_number: D113Q08
Question 根据文本的数据，女性癌症前三名是哪三种？
Prediction: 乳癌、大肠直肠癌、肺癌和子宫颈癌
Answer: 乳癌、大肠直肠癌及肺癌

這題其實也是很尷尬，在於內文的判斷中，並無法正確得知是否就是代表前三名？內文也沒說明說，從大排到小。

抓到的段落為：『在女性身上最常见的则是乳癌、大肠直肠癌、肺癌和子宫颈癌。』

不過是可以以優先的出現為基準去修正答案。



data_number: D242Q03
Question 罗马有四间特级宗座圣殿，分别是哪四所？
Prediction: 大殿、圣伯多禄大殿、圣母大殿和城外
Answer: 圣若望拉特朗大殿、圣伯多禄大殿、圣母大殿和城外圣保禄大殿

這題是斷詞問題，由於是character-based的BERT的關係，

top-1抓到 圣伯多禄大殿 

所以左右延伸，透過jieba的斷詞來抓答案

以致於出現『 大殿、圣伯多禄大殿、圣母大殿和城外』。



data_number: D278Q05
Question 寒浞杀了夏朝的哪两位君王？
Prediction: 帝相
Answer: 相和后羿

同最剛開始的解釋一樣，top-50裡面 只有1個是小於25長度的答案。

data_number: D282Q07
Question 文中提及有哪三道菜是小真第一次吃到？
Prediction: 丝瓜炒蛋
Answer: 丁香鱼、澎湖龙虾和丝瓜炒蛋

這題是需要推論的，從single-span的角度來看，top-50的結果，是大量重新框絲瓜炒蛋，然後透過overrap的規則去框出的答案。

所以就變成了只有一個。

data_number: D282Q09
Question 澎湖旅行团安排了哪五个景点？
Prediction: 天后宫
Answer: 天后宫、通梁古榕、跨海大桥、西台古堡和桶盘屿

這題一樣， top-50裡面 只有1個是小於25長度的答案。 


data_number: D292Q03 [suffix ending should be consistent]
Question 文中提及，三峡是由哪三个峡谷组成？
Prediction: 峡、巫峡與西
Answer: 瞿塘峡、巫峡及西陵峡

斷詞問題，難處理。


data_number: D046Q06
Question 六大通勤方式的细悬浮微粒（PM2.5）平均浓度暴露由高至低前三名是哪三种交通工具?
Prediction: 捷运、公车、汽车、机车、步行、脚踏车
Answer: 机车、公车及捷运

這題是需要推論，並不能從簡單的取前三個來當作答案。


data_number: D090Q09 [output seems strange]
Question 生物医学所使用的奈米结晶金属是哪两种?(在本文中)
Prediction: 奈米技术英语N
Answer: 奈米结晶银与奈米结晶钛

這題基本上，是DNN已經完全無法理解再問什麼，top-50已經全部亂框所跑出的答案。

data_number: D310Q02
Question 台湾地区排名前三名的死亡原因是哪些?
Prediction: 肺炎和恶性肿瘤
Answer: 恶性肿瘤、心脏疾病及肺炎

這題也是，top-50只有2個是長度小於25的結果。



data_number: D318Q01 [Do we follow the order appearing in the text?]
Question 流行感冒盛行的季节是哪两季?
Prediction: 冬季和夏季
Answer: 夏季与冬季

基本上，這有爭議。
從內文來看

是先出現冬季來出現夏季。

data_number: D032Q04
Question 北美贸易协定涉及哪三个国家?
Prediction: 国、加拿大及墨
Answer: 美国、墨西哥及加拿大

斷詞問題，以及擴散規則無法試用。



data_number: D088Q06 [output seems strange]
Question 试举出文本中五项作为生质燃料原料的粮食作物。
Prediction: 生物燃料、Biofuel及料英语Bi
Answer: 玉米、黄豆、木薯、亚麻籽和油菜籽

DNN無法理解再問什麼 。 

data_number: D107Q01 [seems we can check suffix ending]
Question 健康照护体系有哪三种保险制?
Prediction: 三种不同的体系。社会保险制
Answer: 社会保险制、公医制及自由市场

data_number: D062Q04
Question 陈由豪名列台湾十大通缉要犯主要因为那两大案件？
Prediction: 损害债权案
Answer: 东华掏空与东鼎侵占

DNN無法理解再問什麼、top-50沒有第二個有效長度的答案出現。

data_number: D082Q03
Question 根据新闻文本，第二届科技大擂台的测验有哪两大类?
Prediction: 语音
Answer: 语音阅与连续对话

top-50沒有第二個有效長度的答案出現。  

data_number: D322Q02 [Prefer the string that contains “、”, which could be a
useful hint/feature]
Question 目前在台湾出现的肠病毒有哪几型?
Prediction: 71型71型
Answer: 71型、D68型、克沙奇A6型、A10型、克沙奇A9型、B5型及伊科病毒11型

關於數字的回答，在目前的觀察中，沒有辦法救，這要追究到pre-trained MLM的時候，對於數字跟英文的處理問題。


--------------------------------  

 

kysu <kysu at iis.sinica.edu.tw <mailto:kysu at iis.sinica.edu.tw> > 於 2019年12月25日 週三 下午4:27寫道：

Some questions have specified the desired numbers. It seems that we can also
tailored our output according to the specified number (not just locating the
regions according to the specified number). I list some examples as follows
for your information. Besides, some outputs still have boundary problems.
Please take a look.



KY



-----------------------------

data_number: D008Q06

Question 「阿拉伯之春」运动中，有哪六个国家政权被推翻？

Prediction: 突尼西亚和6个

Answer: 突尼西亚、埃及、利比亚、叶门、阿尔及利亚及苏丹



data_number: D031Q03

Question 新版的北美贸易协定涉及哪三个国家?

Prediction: 美国总统川普今天宣布。撤销对加拿大和墨西哥

Answer: 美国、墨西哥及加拿大



data_number: D071Q04

Question 有「渡海三家」之称的是哪三位艺术家?

Prediction: 齐白石、徐悲鸿、黄君璧、黄宾虹、溥心畬、郎静山

Answer: 黄君璧、溥心畬与张大千



data_number: D113Q07 [Formatting problem]

Question 根据文本的数据，男性癌症前三名是哪三种？

Prediction: 肺癌、前列腺癌摄护腺癌、大肠直肠癌

Answer: 肺癌、前列腺癌（摄护腺癌）及大肠直肠癌



data_number: D113Q08

Question 根据文本的数据，女性癌症前三名是哪三种？

Prediction: 乳癌、大肠直肠癌、肺癌和子宫颈癌

Answer: 乳癌、大肠直肠癌及肺癌



data_number: D242Q03

Question 罗马有四间特级宗座圣殿，分别是哪四所？

Prediction: 大殿、圣伯多禄大殿、圣母大殿和城外

Answer: 圣若望拉特朗大殿、圣伯多禄大殿、圣母大殿和城外圣保禄大殿



data_number: D278Q05

Question 寒浞杀了夏朝的哪两位君王？

Prediction: 帝相

Answer: 相和后羿



data_number: D282Q07

Question 文中提及有哪三道菜是小真第一次吃到？

Prediction: 丝瓜炒蛋

Answer: 丁香鱼、澎湖龙虾和丝瓜炒蛋



data_number: D282Q09

Question 澎湖旅行团安排了哪五个景点？

Prediction: 天后宫

Answer: 天后宫、通梁古榕、跨海大桥、西台古堡和桶盘屿



data_number: D292Q03 [suffix ending should be consistent]

Question 文中提及，三峡是由哪三个峡谷组成？

Prediction: 峡、巫峡與西

Answer: 瞿塘峡、巫峡及西陵峡



data_number: D046Q06

Question 六大通勤方式的细悬浮微粒（PM2.5）平均浓度暴露由高至低前三名是哪三种交通工具?

Prediction: 捷运、公车、汽车、机车、步行、脚踏车

Answer: 机车、公车及捷运



data_number: D090Q09 [output seems strange]

Question 生物医学所使用的奈米结晶金属是哪两种?(在本文中)

Prediction: 奈米技术英语N

Answer: 奈米结晶银与奈米结晶钛



data_number: D310Q02

Question 台湾地区排名前三名的死亡原因是哪些?

Prediction: 肺炎和恶性肿瘤

Answer: 恶性肿瘤、心脏疾病及肺炎



data_number: D318Q01 [Do we follow the order appearing in the text?]

Question 流行感冒盛行的季节是哪两季?

Prediction: 冬季和夏季

Answer: 夏季与冬季



data_number: D032Q04

Question 北美贸易协定涉及哪三个国家?

Prediction: 国、加拿大及墨

Answer: 美国、墨西哥及加拿大



data_number: D008Q06

Question 「阿拉伯之春」运动中，有哪六个国家政权被推翻？

Prediction: 突尼西亚和6个

Answer: 突尼西亚、埃及、利比亚、叶门、阿尔及利亚及苏丹



data_number: D088Q06 [output seems strange]

Question 试举出文本中五项作为生质燃料原料的粮食作物。

Prediction: 生物燃料、Biofuel及料英语Bi

Answer: 玉米、黄豆、木薯、亚麻籽和油菜籽



data_number: D107Q01 [seems we can check suffix ending]

Question 健康照护体系有哪三种保险制?

Prediction: 三种不同的体系。社会保险制

Answer: 社会保险制、公医制及自由市场



data_number: D062Q04

Question 陈由豪名列台湾十大通缉要犯主要因为那两大案件？

Prediction: 损害债权案

Answer: 东华掏空与东鼎侵占



data_number: D082Q03

Question 根据新闻文本，第二届科技大擂台的测验有哪两大类?

Prediction: 语音

Answer: 语音阅与连续对话



data_number: D322Q02 [Prefer the string that contains “、”, which could be a
useful hint/feature]

Question 目前在台湾出现的肠病毒有哪几型?

Prediction: 71型71型

Answer: 71型、D68型、克沙奇A6型、A10型、克沙奇A9型、B5型及伊科病毒11型

--------------------------------



From: kysu [mailto:kysu at iis.sinica.edu.tw <mailto:kysu at iis.sinica.edu.tw> ] 
Sent: Wednesday, December 25, 2019 3:47 PM
To: '闍怵羅' <s2w81234 at gmail.com <mailto:s2w81234 at gmail.com> >; '范正忠' <jjfan at iis.sinica.edu.tw <mailto:jjfan at iis.sinica.edu.tw> >
Cc: 'Most-ai Contest' <Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> >; 'Menphis Chen'
<kychen at mail.ntust.edu.tw <mailto:kychen at mail.ntust.edu.tw> >; 'kysu' <kysu at iis.sinica.edu.tw <mailto:kysu at iis.sinica.edu.tw> >
Subject: RE: [Most-ai-contest] multi-span Extraction



Thanks a lot! We now get back two more answers. I have quickly scan your
output. It seems there is still a chance to recover more error cases (i.e.,
once your DNN can locate the desired region, then we can adjust the desired
boundary with rules). Please keep going to further improve the performance.
Thanks for your effort in advance.



KY



From: most-ai-contest-bounces at iis.sinica.edu.tw <mailto:most-ai-contest-bounces at iis.sinica.edu.tw> 
<mailto:most-ai-contest-bounces at iis.sinica.edu.tw <mailto:most-ai-contest-bounces at iis.sinica.edu.tw> >
[mailto:most-ai-contest-bounces at iis.sinica.edu.tw <mailto:most-ai-contest-bounces at iis.sinica.edu.tw> ] On Behalf Of 闍怵羅
Sent: Wednesday, December 25, 2019 3:35 PM
To: 范正忠 <jjfan at iis.sinica.edu.tw <mailto:jjfan at iis.sinica.edu.tw>  <mailto:jjfan at iis.sinica.edu.tw <mailto:jjfan at iis.sinica.edu.tw> > >
Cc: Most-ai Contest <Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> 
<mailto:Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> > >
Subject: Re: [Most-ai-contest] multi-span Extraction



大家好，
這是第四版把、的整個擴充 
擴的更有邏輯性一點
result檔案就是v4對於training test dev 跟w3題目的回答狀況
MSPE_v4.py就是第四版的檔案
麻煩在merge上去。



闍怵羅 <s2w81234 at gmail.com <mailto:s2w81234 at gmail.com>  <mailto:s2w81234 at gmail.com <mailto:s2w81234 at gmail.com> > > 於 2019年12月25日 週三 下
午3:18寫道：


<https://drive.google.com/file/d/1AXo2RVaeqDFPxzLR5GIVc5u8tiniDu3a/view?usp=
drive_web>  MSPE.rar

其實 load的model應該都一樣才對，

後續的改種都是MSPE.py的檔案

我再把現在環境的檔案全部傳一次給您



范正忠 <jjfan at iis.sinica.edu.tw <mailto:jjfan at iis.sinica.edu.tw>  <mailto:jjfan at iis.sinica.edu.tw <mailto:jjfan at iis.sinica.edu.tw> > > 於
2019年12月25日 週三 下午2:59寫道：

看起來還不錯, 我需要跟你比對一下, 雙方的 model data 是否一樣 ?



e.g. ./bao_bert_lin



jjfan




  _____  


From: "闍怵羅" < <mailto:s2w81234 at gmail.com <mailto:s2w81234 at gmail.com> > s2w81234 at gmail.com <mailto:s2w81234 at gmail.com> >
To: "Menphis Chen" < <mailto:kychen at mail.ntust.edu.tw <mailto:kychen at mail.ntust.edu.tw> >
kychen at mail.ntust.edu.tw <mailto:kychen at mail.ntust.edu.tw> >
Cc: "Most-ai Contest" < <mailto:Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> >
Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> >
Sent: Wednesday, December 25, 2019 2:49:36 PM
Subject: Re: [Most-ai-contest] multi-span Extraction



大家好，

附檔是整個題目的回答情況

包含

Question_ID：

Question：

Prediction：

Answer：

==================

勞煩確認





Menphis Chen < <mailto:kychen at mail.ntust.edu.tw <mailto:kychen at mail.ntust.edu.tw> > kychen at mail.ntust.edu.tw <mailto:kychen at mail.ntust.edu.tw> >
於 2019年12月25日 週三 下午2:24寫道：

Hi 上堡,



可否提供一下你自己執行的結果?

至少昨天投影片上那幾題的結果



to 范博士,

有沒有可能單獨測試阿堡的程式在你那邊的執行結果?





謝謝

Best, Menphis.



----

Kuan-Yu Menphis Chen

Assistant Professor, Computer Science and Information Engineering 

National Taiwan University of Science and Technology

TEL: +886-2-2737-6377

Web:  <http://faculty.csie.ntust.edu.tw/~kychen>
http://faculty.csie.ntust.edu.tw/~kychen

----



On Wed, 25 Dec 2019 14:20:27 +0800

闍怵羅 < <mailto:s2w81234 at gmail.com <mailto:s2w81234 at gmail.com> > s2w81234 at gmail.com <mailto:s2w81234 at gmail.com> > wrote:



范博士好， 

在多次確認後，

這個版本應該可以正常執行才對。\

麻煩確認


_______________________________________________
Most-ai-contest mailing list
 <mailto:Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> >
Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> 
 <https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest>
https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20191225/f1bccde4/attachment-0001.html>