
<html><body><div style="font-family: arial, helvetica, sans-serif; font-size: 12pt; color: #000000"><div>Dear all,</div><div><br data-mce-bogus="1"></div><div>To help you implement models that adds new features/embeddings to BERT's attention layers, we have create a short guide (guide_bert_add_feature_to_attention.pptx) for it.</div><div>You can also refer to the code of the single-span-multi-hop module (run_ssmh.py), which uses many kinds of features.</div><div>You may ask me if you have any problem.</div><div><br data-mce-bogus="1"></div><div>Regards,</div><div>張光瑜</div><div><br data-mce-bogus="1"></div></div></body></html>