专利翻译模板 一种基于翻译模板的神经机器翻译方法技术

本发明专利技术涉及一种基于翻译模板的神经机器翻译方法，属于自然语言处理中的机器翻译技术领域。该方法通过引入匹配的高度相似的翻译模板来引导和约束模型的解码过程，从而提高翻译质量。首先，构建翻译模板库和相应的模板匹配算法。然后，构建基于模板的神经机器翻译模型。之后，采用两阶段训练策略将翻译模板引入模型中，构建的模型参数不断迭代更新，指导训练过程。*后专利翻译模板，训练好的神经机器翻译模型用于分别翻译匹配高度相似翻译模板的句子。与现有技术相比，该方法简化了翻译模板的构建过程，更侧重于提高部分句子的翻译效果，这些句子可以匹配高度相似的翻译模板，而不是所有的句子。匹配的高度相似的翻译模板用于改进翻译。质量。数量。数量。匹配的高度相似的翻译模板用于改进翻译。质量。数量。数量。匹配的高度相似的翻译模板用于改进翻译。质量。数量。数量。

下载所有详细的技术数据

【技术实现步骤总结】

一种基于翻译模板的神经机器翻译方法

[0001] 本专利技术涉及神经机器翻译中构建翻译模板库，并将翻译模板引入与翻译性能对应的神经机器翻译优化器的技术，具体涉及一种基于神经机器翻译的神经机器翻译方法。翻译模板，属于语言处理中的自然机器翻译

技术介绍

[0002] 目前，由于神经机器翻译在多种自然语言方面优于传统的统计机器翻译，在工业领域，谷歌、有道、百度等各大公司已成功部署神经机器翻译作为基本翻译服务。这些方便快捷的翻译服务被人们广泛使用。

[0003] 然而，神经机器翻译主要是通过双语并行语料库数据训练来获得源语言和目标语言的语言特征知识以及两者之间的对应关系。因此，神经机器翻译对训练数据有很大的依赖性。性别。当训练语料数据不包含某些特征信息或仅包含较少的特征信息时，模型将很难学习到相应的知识，从而导致模型无法捕捉到这部分信息。在翻译包含这部分待翻译知识的句子时，神经机器翻译会产生低质量的翻译。

[0004] 在计算机辅助翻译场景中，人工翻译接收机器翻译模型生成的翻译，首先检查翻译中是否存在错误并进行必要的更正，然后对翻译错误进行后期编辑以确保*终的翻译质量。衡量审校和译后编辑时间是量化人工翻译工作量*直接、*有效的方法。在使用传统的神经机器翻译方法时，人工翻译并不了解翻译的质量，这意味着人工翻译必须花费相同的工作量来审核每个翻译。在这种情况下，只有研究如何提高整个测试集的翻译性能，只能减少翻译后的编辑时间。

[0005] 在现实场景中，现有的翻译知识有很多，例如固定的翻译句型、固有的翻译搭配、专业领域的双语词典等。人类语言专家总结的翻译知识是完全正确的，人类翻译人员可以直接利用这些固定的翻译知识来辅助翻译工作。因此，利用外部知识来提高机器翻译模型的翻译质量具有很高的研究价值。一般来说，大部分研究工作主要集中在使用双语词典和双语翻译示例进行解码约束或数据增强，但将翻译模板作为外部知识整合到神经机器翻译中的研究相对较少。翻译模板保留了句子和一些目标词的句法结构信息。在知识粒度上，模板介于翻译规则和翻译实例之间。与翻译实例相比，翻译模板具有更高的抽象度，从而具有更高的匹配率。与翻译规则相比，翻译模板包含更多的词汇信息。

[0006] 综上所述，如果能够构建出适合神经机器翻译的高质量翻译模板库，并将翻译模板的知识引入神经机器翻译中，就可以获得高质量的翻译。

[0007] 然而，目前还没有发表比较完整的机器翻译系统或相关技术将翻译模板引入到神经机器翻译中。

技术实现思路

[0008] 本专利技术的目的是为了解决现有机器翻译系统在语料库的大小和质量上的限制，导致

针对由此产生的翻译质量差的技术问题，创造性地提出了一种基于翻译模板的神经机器翻译方法。该方法通过引入匹配的高度相似的翻译模板来引导和约束模型的解码过程，从而提高翻译质量。

[0009] 该专利技术的创新之处在于：首先，构建了翻译模板库和相应的模板匹配算法。然后，构建基于模板的神经机器翻译模型。之后，采用两阶段训练策略将翻译模板引入模型中，构建的模型参数不断迭代更新，指导训练过程。*后，使用训练好的神经机器翻译模型对匹配高度相似翻译模板的句子进行单独翻译。

[0010] 为实现上述目的，本专利技术采用以下技术方案。

[0011] 一种基于翻译模板的神经机器翻译方法，包括以下步骤:

[0012] 步骤1：基于*长名词短语的翻译模板构建方法，构建翻译模板库。

[0013] 步骤2：构建多策略模板匹配算法，检索高度相似的翻译模板。

[0014] 第三步：构建基于模板的神经机器翻译模型，将翻译模板引入神经机器翻译中。

[0015] 步骤4：采用两阶段模型训练策略训练基于模板的神经机器翻译模型。

[0016] 步骤5：利用训练模型的翻译神经模型对匹配高度相似翻译模板的句子进行翻译。

[0017] 好处

[0018] 与现有技术相比，本专利技术具有以下有益效果和优点：

[0019] 1. 本专利技术采用自定义翻译模板提取算法，构建高质量翻译模板。通过提取*长的名词短语，可以省略双语词对齐信息，简化翻译模板的构建过程。

[0020]2.这项专利技术不同于现有的机器翻译系统，更侧重于提高部分句子的翻译效果，这些句子可以匹配高度相似的翻译模板而不是所有句子，使用匹配的高度相似的翻译模板翻译 该模板提高了翻译质量。

图纸说明

[0021] 图 图1是专利技术的翻译模板构建算法示意图；

[0022] 图 图2是基于专利技术模板的神经机器翻译模型示意图；

[0023] 图 图3为专利技术的两阶段模型训练策略图。

详细方法

[0024] 下面结合附图和实施例对本专利的技术方法作进一步详细说明。

[0025] 一种基于翻译模板的神经机器翻译方法，包括以下步骤:

[0026] 步骤一：基于*长名词短语的翻译模板构建方法，构建翻译模板库。

[0027] 如图1所示，具体方法如下：

[0028] 步骤1.1：利用成分句法树分析方法，在平行句对上构建双句法树；

[0029] 步骤1.2：识别提取*长名词短语，构建翻译模板。

[0030] 其中，*长的名词短语（maximal

－

长度名词短语，MNP），是指没有被任何其他名词短语嵌套的名词短语。在句法树中，*长的名词短语是指从根节点开始的第一个标签为“NP”的子树。*长的名词短语比基本名词短语具有更多的粒度信息。这项专利技术使用*长的名词短语包括普通名词（NN）、专有名词（NR）、时间名词（NT）和人称代词（PRP）作为模板变量，其余部分作为模板常量构建翻译模板。

[0031] 翻译模板包括模板常量和模板变量；模板常量是指​​模板中的固定词，表示源句的句子结构信息；模板变量是一类词或名词短语，是模板中的概括信息。模板常量在模板匹配中作为检索到的信息，在翻译过程中作为翻译产生的约束信息；在翻译过程中，翻译模板变量根据源句信息替换翻译模板变量，得到相应的译文。

[0032] 步骤1.3：利用翻译模板的长度和模板抽象化对翻译模板进行过滤，保留满足设定的长度阈值和抽象化阈值的翻译模板。

[0033] 具体地，步骤1.3包括以下步骤：

[0034] 步骤1.3.1：设置长度阈值，丢弃不满足长度阈值的翻译模板。

[0035] 步骤1.3.2：设置抽象级别的上下阈值，计算翻译模板的抽象级别，丢弃不在阈值范围内的翻译模板。

[0036] 其中，翻译模板抽象Score

腹肌

计算如下：

[0037] [0038] 其中专利翻译模板，Num

VA

表示翻译模板变量的个数，lt表示翻译模板中包含的单词数。

[0039] 步骤2：构建多策略模板匹配算法以检索高度相似的翻译模板。

[0040] 具体地，步骤2包括以下步骤：

[0041] 步骤2.1：使用步骤1中描述的翻译模板构建算法对待翻译句子进行处理，得到待匹配模板。

[0

【技术保护点】

【技术特点摘要】

1. 一种基于翻译模板的神经机器翻译方法，其特点包括以下步骤： 步骤1：基于*长名词短语的翻译模板构建方法构建翻译模板库；Step 2：构建多策略模板 检索高度相似翻译模板的匹配算法包括以下步骤： Step 2.1：使用Step 1中描述的翻译模板构建算法对待翻译句子进行处理，得到要匹配的模板；步骤2.2：使用基于词命中率的粗粒度匹配策略，从步骤1构建的翻译模板库中获取候选集。其中，基于单词命中率的粗粒度匹配策略定义如下： 粗粒度匹配策略使用待匹配模板和模板库源翻译模板的单词共现频率来衡量匹配程度两者之间的相似性。相似度函数FM定义如下： 其中word(

·

) 表示字符串中包含的单词；Tm值

源文件

表示匹配的源翻译模板；X

′

表示待翻译的句子使用步骤1中得到的待匹配模板；连（

·

) 表示要匹配的模板的长度；Step 2.3：使用基于字符串相似度的细粒度匹配策略对候选集进行匹配；其中，基于字符串相似度的细粒度匹配策略定义如下：细粒度匹配策略使用Levinstein编辑距离来衡量候选集中每个模板与检索到的目标的相似度；Levinstein 编辑距离是指一个模板可以通过添加、插入、删除操作转化为另一个模板的*小编辑次数；细粒度匹配相似度函数Lev定义如下：编辑次数少；细粒度匹配相似度函数Lev定义如下：表示将要匹配的模板转换为模板库中匹配的源端翻译模板所需的*小编辑距离；分数

Tm值

表示要匹配的模板X

′

匹配模板库中的源翻译模板X

′

Tm值

之间的模糊匹配分数；i 和 j 分别表示 X

′

和 X

′

Tm值

中间的第 i 个和第 j 个位置；Step 3：构建基于模板的神经机器翻译模型，将翻译模板引入到神经机器翻译中，包括以下步骤： Step 3.1：在编码端，添加额外的模板编码器对检索到的进行编码目标翻译模板；模板编码器如下：模板编码器采用Transformer编码器结构，由若干相同子层堆叠而成，每个子层包括一个自注意力层子层和前馈神经网络子层层; 模板编码器与原始 Transformer 编码器具有相同的结构；模板编码器和源编码器在编码过程中相互独立，并且在呈现过程中没有两种信息相互交互的情况下融合，*终得到源句和目标翻译模板在高维语义空间中的向量表示；源编码器和目标模板编码器的编码表示如下：

H

秒

=Enc

源文件

(X,θ

源文件

)

ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ

（4)其中，Enc

源文件

表示源语句编码器；X 代表要翻译的句子；编码器

Tm值

代表模板编码器；θ

源文件

和 θ

Tm值

分别代表源句编码器和模板编码器的参数，源句编码器和模板编码器的参数不共享；H

秒

表示源语句编码器对源语句进行编码得到的包含源语句信息的向量表示，表示模板编码器对目标翻译模板进行编码得到的包含目标翻译模板信息的向量表示；Tm值

时间

表示匹配的目标翻译模板；步骤3.2：在解码端，添加模板代码

－

解码attention子层，将模板知识引入解码器，引导和约束模型的解码过程，从而获得高质量的翻译；其中解码器如下：在Transformer解码器的基础上，增加模板编码

－

解码注意力子层；新的解码器包含四个子层：掩码多头注意力子层、模板编码

－

解码注意力子层，源码

－

解码注意力子层和前馈神经网络子层；编码模板

－

解码attention子层，放在源码上

...

【专利技术属性】

技术研发人员：冯冲、尚伟、

申请人（专利权）：北京理工大学，

类型：发明

国家省市：

下载所有详细的技术资料 我是此专利的拥有者