OVERALL ACC: (BEFORE OUTPUT FORMATTER) 616 / 882 = 0.6984126984126984 -------------------------------------------------------------------------------- OVERALL ACC: (AFTER OUTPUT FORMATTER) 629 / 882 = 0.7131519274376418 Formatter Errors: ['D244Q05', 'D282Q04', 'D292Q02', 'D292Q07'] -------------------------------------------------------------------------------- AGGREGATOR PERFORMANCE: EASY: 605 / 606 = 0.9983498349834984 HARD: 11 / 96 = 0.11458333333333333 -------------------------------------------------------------------------------- DISPATCHER AMODE TOP-3 PERFORMANCE: (COVERAGE) 880 / 882 = 0.9977324263038548 -------------------------------------------------------------------------------- DISPATCHER ATYPE-3 PERFORMANCE: (COVERAGE) 880 / 882 = 0.9977324263038548 -------------------------------------------------------------------------------- ANSWER MODULE STATS (WHEN CORRECTLY ACTIVATED ACCORDING TO THE DISPATCHER): ACC Single-Span-Extraction 335 / 450 = 0.7444 Single-Span-Multi-Hop-Extraction 335 / 450 = 0.7444 Multi-Spans-Extraction 4 / 75 = 0.0533 YesNo 84 / 87 = 0.9655 Arithmetic-Operations 30 / 44 = 0.6818 Counting 0 / 0 = NaN Date-Duration 83 / 145 = 0.5724 Kinship 48 / 56 = 0.8571 Wiki-Json-Inference 0 / 0 = NaN Summarize 0 / 7 = 0.0000 -------------------------------------------------------------------------------- ANSWER MODULE STATS (WHEN WRONGLY ACTIVATED ACCORDING TO THE DISPATCHER): ACC Single-Span-Extraction 144 / 432 = 0.3333 Single-Span-Multi-Hop-Extraction 158 / 432 = 0.3657 Multi-Spans-Extraction 91 / 807 = 0.1128 YesNo 1 / 795 = 0.0013 Arithmetic-Operations 13 / 838 = 0.0155 Counting 0 / 0 = NaN Date-Duration 15 / 737 = 0.0204 Kinship 1 / 826 = 0.0012 Wiki-Json-Inference 0 / 0 = NaN Summarize 1 / 875 = 0.0011 -------------------------------------------------------------------------------- ANSWER MODULE ERRORS (WHEN CORRECTLY ACTIVATED): Single-Span-Extraction: ['D002Q10', 'D004Q03', 'D004Q07', 'D010Q04', 'D010Q06', 'D011Q05', 'D032Q01', 'D032Q02', 'D035Q04', 'D035Q05', 'D042Q12', 'D042Q14', 'D046Q02', 'D046Q08', 'D048Q02', 'D048Q03', 'D058Q11', 'D058Q13', 'D058Q14', 'D058Q15', 'D058Q17', 'D064Q06', 'D064Q07', 'D064Q09', 'D068Q05', 'D070Q01', 'D070Q10', 'D070Q11', 'D071Q13', 'D071Q15', 'D071Q16', 'D072Q02', 'D072Q04', 'D076Q04', 'D082Q06', 'D083Q03', 'D086Q02', 'D088Q08', 'D090Q10', 'D090Q11', 'D092Q12', 'D095Q01', 'D095Q06', 'D096Q01', 'D100Q07', 'D104Q03', 'D104Q04', 'D116Q03', 'D116Q04', 'D120Q07', 'D124Q05', 'D160Q02', 'D160Q07', 'D179Q03', 'D179Q07', 'D210Q01', 'D214Q06', 'D215Q08', 'D242Q03', 'D248Q05', 'D248Q06', 'D248Q08', 'D251Q05', 'D251Q07', 'D252Q10', 'D254Q06', 'D256Q03', 'D256Q04', 'D256Q06', 'D256Q07', 'D256Q08', 'D257Q04', 'D257Q05', 'D260Q01', 'D260Q05', 'D260Q06', 'D263Q05', 'D264Q06', 'D268Q03', 'D269Q02', 'D269Q09', 'D270Q05', 'D272Q05', 'D272Q09', 'D274Q08', 'D278Q02', 'D278Q04', 'D278Q06', 'D278Q08', 'D281Q04', 'D281Q08', 'D282Q12', 'D282Q13', 'D286Q03', 'D286Q05', 'D288Q04', 'D290Q07', 'D290Q08', 'D290Q11', 'D293Q07', 'D296Q07', 'D298Q05', 'D299Q05', 'D299Q06', 'D302Q06', 'D305Q05', 'D305Q10', 'D308Q05', 'D311Q01', 'D311Q04', 'D312Q06', 'D314Q03', 'D318Q06', 'D322Q05', 'D324Q03'] Single-Span-Multi-Hop-Extraction: ['D002Q04', 'D002Q10', 'D004Q08', 'D008Q08', 'D010Q04', 'D010Q06', 'D011Q03', 'D011Q05', 'D032Q03', 'D035Q05', 'D035Q06', 'D038Q01', 'D038Q02', 'D042Q05', 'D042Q12', 'D042Q13', 'D042Q14', 'D046Q02', 'D046Q04', 'D046Q07', 'D046Q08', 'D048Q05', 'D058Q11', 'D058Q13', 'D058Q14', 'D058Q15', 'D058Q17', 'D064Q01', 'D064Q06', 'D064Q11', 'D068Q03', 'D068Q04', 'D068Q05', 'D070Q05', 'D071Q13', 'D071Q16', 'D072Q01', 'D076Q11', 'D077Q03', 'D083Q01', 'D086Q02', 'D088Q08', 'D090Q10', 'D092Q10', 'D092Q11', 'D092Q12', 'D100Q07', 'D104Q03', 'D104Q04', 'D106Q02', 'D107Q06', 'D107Q07', 'D116Q03', 'D116Q04', 'D120Q03', 'D124Q05', 'D124Q06', 'D126Q09', 'D138Q07', 'D160Q02', 'D160Q03', 'D160Q04', 'D160Q07', 'D179Q03', 'D179Q07', 'D210Q01', 'D242Q03', 'D242Q05', 'D244Q04', 'D248Q06', 'D248Q07', 'D248Q08', 'D251Q07', 'D256Q01', 'D260Q01', 'D263Q02', 'D263Q07', 'D264Q02', 'D266Q06', 'D266Q07', 'D268Q03', 'D269Q02', 'D269Q05', 'D270Q01', 'D270Q05', 'D272Q02', 'D272Q03', 'D272Q05', 'D272Q09', 'D274Q03', 'D275Q02', 'D278Q04', 'D278Q06', 'D282Q12', 'D282Q14', 'D286Q03', 'D287Q02', 'D288Q02', 'D290Q03', 'D290Q11', 'D293Q07', 'D298Q01', 'D298Q05', 'D299Q06', 'D302Q02', 'D302Q05', 'D305Q05', 'D308Q05', 'D311Q01', 'D311Q02', 'D311Q06', 'D312Q06', 'D314Q03', 'D322Q05', 'D322Q06'] Multi-Spans-Extraction: ['D004Q01', 'D004Q02', 'D008Q06', 'D010Q05', 'D014Q05', 'D014Q08', 'D016Q01', 'D016Q02', 'D016Q04', 'D032Q04', 'D042Q09', 'D046Q01', 'D046Q06', 'D048Q07', 'D058Q07', 'D058Q10', 'D062Q04', 'D064Q08', 'D070Q02', 'D071Q04', 'D071Q05', 'D071Q06', 'D071Q07', 'D071Q08', 'D071Q09', 'D072Q07', 'D072Q08', 'D072Q09', 'D076Q09', 'D082Q03', 'D086Q01', 'D088Q05', 'D088Q06', 'D088Q07', 'D090Q09', 'D092Q01', 'D092Q02', 'D094Q04', 'D095Q02', 'D096Q02', 'D100Q06', 'D107Q01', 'D107Q02', 'D107Q04', 'D113Q01', 'D113Q07', 'D113Q08', 'D120Q02', 'D126Q01', 'D126Q03', 'D126Q05', 'D126Q06', 'D138Q02', 'D215Q07', 'D268Q09', 'D268Q10', 'D275Q09', 'D278Q05', 'D282Q07', 'D282Q08', 'D282Q09', 'D290Q01', 'D296Q05', 'D299Q03', 'D300Q06', 'D302Q07', 'D314Q01', 'D318Q01', 'D318Q04', 'D322Q01', 'D322Q02'] YesNo: ['D014Q06', 'D116Q05', 'D116Q08'] Arithmetic-Operations: ['D035Q03', 'D042Q15', 'D083Q05', 'D094Q06', 'D096Q03', 'D113Q05', 'D182Q04', 'D204Q04', 'D244Q05', 'D246Q08', 'D248Q04', 'D248Q09', 'D252Q01', 'D275Q06'] Counting: [] Date-Duration: ['D002Q02', 'D032Q07', 'D032Q10', 'D035Q01', 'D035Q07', 'D035Q08', 'D035Q09', 'D035Q10', 'D038Q09', 'D042Q10', 'D042Q11', 'D064Q03', 'D064Q14', 'D064Q15', 'D068Q02', 'D070Q07', 'D070Q08', 'D071Q03', 'D071Q14', 'D076Q01', 'D076Q10', 'D077Q01', 'D082Q01', 'D082Q05', 'D082Q07', 'D083Q02', 'D092Q05', 'D092Q08', 'D100Q01', 'D100Q02', 'D104Q01', 'D104Q02', 'D104Q05', 'D104Q06', 'D108Q01', 'D108Q02', 'D108Q03', 'D108Q04', 'D108Q05', 'D108Q07', 'D124Q07', 'D214Q05', 'D215Q05', 'D215Q09', 'D215Q10', 'D215Q11', 'D238Q07', 'D245Q03', 'D252Q05', 'D256Q05', 'D266Q02', 'D270Q11', 'D304Q01', 'D310Q03', 'D310Q05', 'D310Q06', 'D310Q07', 'D311Q07', 'D311Q08', 'D312Q01', 'D312Q02', 'D312Q03'] Kinship: ['D036Q15', 'D036Q18', 'D040Q14', 'D040Q15', 'D078Q07', 'D282Q10', 'D282Q11', 'D324Q09'] Wiki-Json-Inference: [] Summarize: ['D006Q02', 'D048Q09', 'D086Q03', 'D094Q01', 'D245Q05', 'D288Q12', 'D322Q07'] --------------------------------------------------------------------------------