在近期的一次技術(shù)分享會上，亞馬遜云科技解決方案開發(fā)團(tuán)隊(duì)的專家胡一凱，深入探討了智能文檔翻譯領(lǐng)域的實(shí)踐探索，特別是在確保術(shù)語精準(zhǔn)翻譯、維持企業(yè)文風(fēng)一致性以及解決PDF和Word文檔翻譯中的技術(shù)難題等方面的經(jīng)驗(yàn)。

胡一凱首先提到，盡管機(jī)器翻譯技術(shù)已有50多年的研究歷史，但在實(shí)際應(yīng)用中，尤其是面對大型醫(yī)療器械公司的專業(yè)文檔翻譯需求時(shí)，仍面臨諸多挑戰(zhàn)。例如，一家跨國企業(yè)需要將200頁的核磁共振說明書從英文譯成中文，盡管他們擁有內(nèi)部術(shù)語庫，但外包給專業(yè)翻譯機(jī)構(gòu)的結(jié)果仍未能達(dá)到90%的術(shù)語準(zhǔn)確率要求。

針對這一挑戰(zhàn)，亞馬遜云科技團(tuán)隊(duì)首先嘗試了最直接的方法，即將術(shù)語直接嵌入翻譯模型的上下文中。這種方法在處理少量術(shù)語時(shí)效果尚可，但當(dāng)術(shù)語數(shù)量激增至上千條時(shí)，模型的術(shù)語遵循能力和PDF格式的渲染效果均受到影響。為了克服這一限制，團(tuán)隊(duì)引入了AC自動機(jī)算法，通過內(nèi)存中的鍵值匹配實(shí)現(xiàn)快速檢索，有效解決了術(shù)語數(shù)量和大模型上下文長度的限制。

然而，隨著數(shù)據(jù)量進(jìn)一步增加，AC自動機(jī)在內(nèi)存消耗和搜索效率上的不足逐漸顯現(xiàn)，特別是無法處理術(shù)語中的特殊符號等復(fù)雜情況。為此，亞馬遜云科技團(tuán)隊(duì)創(chuàng)新性地使用了OpenSearch Percolator緩存技術(shù)。這一技術(shù)以術(shù)語為索引，能夠快速檢索出與輸入文本匹配的術(shù)語，不僅解決了大規(guī)模術(shù)語庫的匹配問題，還支持模糊匹配，極大地提升了翻譯效率和準(zhǔn)確性。

在解決術(shù)語翻譯準(zhǔn)確性的同時(shí)，如何遵循企業(yè)內(nèi)部文風(fēng)也是一大難題。胡一凱介紹，團(tuán)隊(duì)嘗試了微調(diào)大模型、訓(xùn)練羅拉（LORA）以及在提示詞中明確文風(fēng)要求等多種方法，但都存在成本較高或效果有限的問題。最終，他們采用了一種結(jié)合RAG（檢索增強(qiáng)生成）和FuseShot的方案，通過構(gòu)建Web知識庫，將客戶的歷史翻譯文檔和內(nèi)部術(shù)語庫進(jìn)行向量化處理，實(shí)現(xiàn)了翻譯文風(fēng)的一致性。

在工程化方面，胡一凱分享了處理PDF和Word文檔翻譯時(shí)的技術(shù)挑戰(zhàn)和解決方案。由于PDF文檔的復(fù)雜格式和不同語言的信息濃度差異，團(tuán)隊(duì)在渲染翻譯后的PDF時(shí)遇到了空間折疊、格式錯(cuò)亂等問題。通過引入高度限制、動態(tài)遞歸算法以及雙指針?biāo)惴ǖ燃夹g(shù)手段，他們成功解決了這些問題，確保了翻譯后的文檔格式正確、易于閱讀。

相比之下，Word文檔的翻譯過程則相對簡單。由于Word文檔底層采用XML結(jié)構(gòu)，團(tuán)隊(duì)只需將文檔解析為XML文件，進(jìn)行翻譯后再渲染回Word格式即可。

為了讓客戶能夠便捷地使用這些技術(shù)成果，亞馬遜云科技團(tuán)隊(duì)開發(fā)了一個(gè)前端系統(tǒng)。用戶可以通過該系統(tǒng)上傳術(shù)語庫和待翻譯文檔，系統(tǒng)會在后臺自動處理并生成翻譯結(jié)果。整個(gè)系統(tǒng)基于Amazon CDK構(gòu)建，可在用戶的云環(huán)境中一鍵部署，大大縮短了部署時(shí)間。

胡一凱還提到了專業(yè)翻譯領(lǐng)域的飛輪效應(yīng)。他指出，通過將內(nèi)部語料、文風(fēng)歷史語料整理成數(shù)據(jù)資產(chǎn)，并使用翻譯工具進(jìn)行翻譯，再將翻譯結(jié)果反饋給業(yè)務(wù)方進(jìn)行人工標(biāo)注和豐富，可以形成一個(gè)正向循環(huán)，不斷積累和優(yōu)化內(nèi)部語料資產(chǎn)。這些資產(chǎn)不僅可以用于智能文檔翻譯，還可以拓展應(yīng)用到智能寫作審核、AI校對等新的領(lǐng)域。

在分享的最后，胡一凱強(qiáng)調(diào)，亞馬遜云科技將繼續(xù)投入AI算力、云基礎(chǔ)設(shè)施等領(lǐng)域，通過領(lǐng)先的技術(shù)實(shí)力和豐富的行業(yè)經(jīng)驗(yàn)，助力企業(yè)在AI時(shí)代實(shí)現(xiàn)創(chuàng)新驅(qū)動和全球化發(fā)展。