SberDevices的語(yǔ)言模型被認(rèn)為是理解俄語(yǔ)文本的最佳選擇

2021-09-01 09:07:16 編輯：來(lái)源：

導(dǎo)讀 Sber 的新聞服務(wù)部門告訴 Durov 的代碼，根據(jù)評(píng)估大型文本模型俄羅斯 SuperGLUE 的主要俄語(yǔ)基準(zhǔn)的評(píng)估，由 SberDevices 開發(fā)的 ruR

Sber 的新聞服務(wù)部門告訴 Durov 的代碼，根據(jù)評(píng)估大型文本模型俄羅斯 SuperGLUE 的主要俄語(yǔ)基準(zhǔn)的評(píng)估，由 SberDevices 開發(fā)的 ruRoberta-large 微調(diào)文本模型被認(rèn)為是文本理解方面的最佳選擇。在這個(gè)評(píng)級(jí)中，該模型的準(zhǔn)確性僅次于人類。

該公司解釋說(shuō)，ruRoBERTa 在架構(gòu)上與 BERT 相同，在大量文本上進(jìn)行訓(xùn)練，僅用于恢復(fù)屏蔽標(biāo)記的任務(wù)，使用來(lái)自 ruGPT-3 神經(jīng)網(wǎng)絡(luò)的 BBPE 標(biāo)記器。值得注意的是，在 Christophari 超級(jí)計(jì)算機(jī)上訓(xùn)練模型需要三周時(shí)間。

標(biāo)簽：

免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！