現在,你可以用 GitHub 上最火的 NLP 項目做機器翻譯了。沒錯,就是 Hugging Face (抱抱臉)標星 26 9k 的 Transformer 項目。在最新更新的版本
現在,你可以用 GitHub 上最火的 NLP 項目做機器翻譯了。
沒錯,就是 Hugging Face (抱抱臉)標星 26.9k 的 Transformer 項目。在最新更新的版本里,抱抱臉發(fā)布了 1008 種模型,正式涉足機器翻譯領域。
模型涵蓋 140 種不同語言組合,中文翻英文,英文譯法語,法語翻阿拉伯語……還能一對多翻譯。
就像這樣:
抱抱臉創(chuàng)始人 Clement Delangue 表示:
全世界有那么多人在使用我們的開源項目,越來越多使用不同語言的人聚集在NLP社區(qū)。
這讓我們意識到,應該在模型中提供更多其他語言的接入,同時也提供翻譯。
1008種機器翻譯模型
據抱抱臉介紹,這1000+模型,是研究人員使用無監(jiān)督學習和 OPUS 數據集訓練的。
OPUS 項目來自赫爾辛基大學及其全球合作伙伴,旨在收集和開源各種語言數據集,尤其是低資源(小語種)語言數據集。
△部分模型
并且,抱抱臉也在 Transformer 項目中增加了喜聞樂見的 Seq2Seq 模型。
比如谷歌 AI 的 T5,Facebook 的 BART。
使用方法,一如既往的簡單。
比如用 opus-mt-en-ROMANCE 這個模型同時進行英語翻法語、英語翻葡萄牙語和英語翻西班牙語,一個 API 就搞定了。
就有網友評價道:節(jié)約時間的利器。 關于 Hugging Face Transformer
抱抱臉的 Transformer Python 庫目前已有超過 50 萬 pip 安裝量,SQuAD排行榜上的最佳語言模型們通通被收編其中。
比如谷歌 AI 的 BERT、XLNet,Facebook AI 的 RoBERTa,OpenAI 的 GPT-2。
使用簡單,只需一個 import。
支持 TensorFlow 2.0 和 PyTorch 之間的深度互操作。
還有在線 Demo 供你實時調戲。
這樣的萬星項目,NLPer 用了都說好。
關鍵詞: 抱抱臉