<div dir="ltr"><font face="microsoft jhenghei, sans-serif">各位好，</font><div><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt"><span lang="EN-US"><font face="microsoft jhenghei, sans-serif"><a href="https://drive.google.com/drive/folders/1Gbpg5Idu40wRWooXKJbVBm4g4BZKFVHs?usp=sharing">https://drive.google.com/drive/folders/1Gbpg5Idu40wRWooXKJbVBm4g4BZKFVHs?usp=sharing</a>  </font></span></p>

<p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt"><font face="microsoft jhenghei, sans-serif">以上連結為Finetune後</font><span style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">的</span><span lang="EN-US" style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">bert</span><span style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">模型，</span></p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt"><font face="microsoft jhenghei, sans-serif"><span lang="EN-US">roberta</span>的版本會訓練完成再釋出於此雲端資料夾，有需要roberta的可能需要先用bert來進行測試。</font></p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt"><span style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">在開會期間，有調查用</span><span lang="EN-US" style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">pytorch</span><span style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">的開發人員都是透過</span><span lang="EN-US" style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">from_pretrained</span><span style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">的方式去</span><span lang="EN-US" style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">load</span><span style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">預訓練模型，</span><span style="font-family:"microsoft jhenghei",sans-serif;font-size:12pt">所以使用方法一樣，把資料夾下載下來後透過path的方式讓你的libarary幫你自動載入。</span></p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt"><font face="microsoft jhenghei, sans-serif">Ex：<br>bert_model = </font><span style="font-size:small">BertModel.from_pretrained('download_path/bert_chinese/')</span></p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt"><font face="microsoft jhenghei, sans-serif">基本上都可以順利加載。</font></p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt"><font face="microsoft jhenghei, sans-serif">記住tokenize也要用此種方式，不然embedding的index也會對不上。</font></p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">=======================================</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">補充一下</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">bert_chinese是將整體資料切90%為Training set剩下的為Test set的結果。</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">bert_chinese_total是將整體資料拿去training並且在Test set的結果。</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">昨天ppt的ppl的計算有錯誤</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">修正後的數據如下</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">bert-chinese ppl = 2.5567 [簡體]

</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">bert-chinese_total ppl = 2.4514 [簡體]

</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">original bert-chinese ppl = 3.4818 [簡體]</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">original bert-chinese ppl = 3.4816 [繁體]</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">======</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt">※所有訓練流程都是先轉為簡體來執行的</p><p class="MsoNormal" style="margin:0cm 0cm 0.0001pt;font-size:12pt"><br></p></div></div>