特許7299317言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-19
(45)【発行日】2023-06-27
(54)【発明の名称】言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法及び装置
(51)【国際特許分類】
G06F 40/216 20200101AFI20230620BHJP
G06F 40/44 20200101ALI20230620BHJP
【ＦＩ】
G06F40/216
G06F40/44
【請求項の数】
6
(21)【出願番号】P 2021525643
(86)(22)【出願日】2020-03-25
(65)【公表番号】
(43)【公表日】2022-01-18
(86)【国際出願番号】 CN2020081177
(87)【国際公開番号】W WO2020211611
(87)【国際公開日】2020-10-22
【審査請求日】2021-05-11
(31)【優先権主張番号】201910309929.5
(32)【優先日】2019-04-17
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】孟 凡▲東▼
(72)【発明者】
【氏名】▲張▼ 金超
(72)【発明者】
【氏名】周 杰
【審査官】成瀬 博之
(56)【参考文献】
【文献】特開２０１９－０４６１８８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２２５５５３（ＵＳ，Ａ１）
【文献】Ashish Vaswani他7名，Attention Is All You Need[online]，2017年12月06日，（検索日2022年06月27日），ＵＲＬ：https://arxiv.org/pdf/1706.03762v5.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／００－４０／５８
(57)【特許請求の範囲】
【請求項1】
コンピュータ機器が実行する、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法であって、最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップであって、
前記領域単語ベクトルは、１つの次元の単語ベクトルに対応する各異なる次元の単語ベクトルを示し、
少なくとも２つの第１重み行列を取得するステップであって、各前記第１重み行列は、対応する領域単語ベクトルを生成するために使用される、事前にトレーニングされた行列の形の重みパラメータである、ステップと、
最初の瞬間に入力されたターゲット単語ベクトルを決定し、前の瞬間の履歴単語ベクトルに対応する履歴隠れ状態を取得するステップと、
前記第１重み行列及び前記履歴隠れ状態に基づき、前記ターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップと、を含み、
前記隠れ状態はベクトルで表現され、前記第１重み行列及び前記履歴隠れ状態に基づき、前記ターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップは、
前記ターゲット単語ベクトルと前記履歴隠れ状態を連結して、連結単語ベクトルを取得するステップと、
前記連結単語ベクトルをそれぞれ、各前記第１重み行列と乗算して、領域単語ベクトル行列を取得するステップと、を含み、前記領域単語ベクトル行列は、前記少なくとも２つの次元の領域単語ベクトルを含む、ステップと、
所定の領域ベクトル組み合わせ方式に従って、各前記領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するステップであって、
前記組み合わせ領域単語ベクトルは、各前記領域単語ベクトルに対して組み合わせ計算を実行して取得した単語ベクトルを示し、
各前記領域単語ベクトルをベクトルノードとし、各前記ベクトルノード間の類似度を、対応する各前記ベクトルノード間のエッジのエッジ重みとして決定するステップと、
決定された各前記エッジ重みを行列要素として、各前記領域単語ベクトルに共に対応する隣接行列を生成するステップであって、前記隣接行列は、ベクトルノード間の隣接関係を示すための行列である、ステップと、
前記隣接行列の各次元の各前記エッジ重みをそれぞれ加算して、次数行列を取得するステップであって、前記次数行列は、前記隣接行列の各行または各列のベクトルノードの次数によって形成された行列を示し、前記隣接行列の各行または各列のベクトルノードの次数は、前記隣接行列内の各行または各列に含まれた行列要素の合計である、ステップと、
前記隣接行列及び前記次数行列に基づき、前記少なくとも２つの次元の組み合わせ領域単語ベクトルを生成するステップであって、
各前記領域単語ベクトルに含まれるベクトル要素を行列要素として、各前記領域単語ベクトルに共同に対応する領域単語ベクトル行列を生成するステップと、
第２重み行列を取得するステップであって、前記第２重み行列は、組み合わせ領域単語ベクトル行列を生成するために使用される、事前にトレーニングされた行列の形の重みパラメータである、ステップと、
第３活性化関数に基づき、前記隣接行列、前記次数行列、前記領域単語ベクトル行列及び前記第２重み行列に従って、前記組み合わせ領域単語ベクトル行列を生成するステップと、を含み、前記組み合わせ領域単語ベクトル行列には、前記少なくとも２つの次元の領域単語ベクトルが含まれる、ステップと、を含む、ステップと、
フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルに対して集合変換処理を実行して、前記ターゲット単語ベクトルに対応する集合単語ベクトルを取得するステップであって
フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルを線形変換して、線形変換後の組み合わせ領域単語ベクトルを取得するステップと、
各変換後の組み合わせ領域単語ベクトルを連結して、連結された単語ベクトルを取得するステップと、
連結された単語ベクトルに対して線形変換を実行して、前記ターゲット単語ベクトルに対応する集合単語ベクトルを取得するステップと、を含む、ステップと、
前記集合単語ベクトル及び前の瞬間の履歴単語ベクトルの履歴隠れ状態に基づき、前記ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するステップであって、
前記ターゲット隠れ状態は、前記最初の瞬間における前記リカレントニューラルネットワークのシステム状態を示し、前記履歴単語ベクトルは、前記最初の瞬間の前の瞬間に入力した単語ベクトルを示し、前記履歴隠れ状態は、前記最初の瞬間の前の瞬間における前記リカレントニューラルネットワークのシステム状態を示し、
前記隠れ状態はベクトルで表現され、前記集合単語ベクトルは、第１集合単語ベクトルと第２集合単語ベクトルとを含み、前記第１集合単語ベクトルと前記第２集合単語ベクトルは異なり、
前記第１集合単語ベクトル（Ｍ ｈ ）及び対応する第１活性化関数（ｔａｎｈ）に基づき、前記ターゲット単語ベクトルに対応する候補隠れ状態（ｈ ～ ｔ ）を決定するステップであって、前記候補隠れ状態は、ｈ ～ ｔ ＝ｔａｎｈ（Ｍ ｈ ）および
【数1】
前記第２集合単語ベクトル（Ｍ ｇ ）及び対応する第２活性化関数（σ）に基づき、前記ターゲット単語ベクトルに対応するゲーティングパラメータ（ｇ ｔ ）を決定するステップであって、前記ゲーティングパラメータは、ｇ ｔ ＝σ（Ｍ ｇ ）および
【数2】
プリセット関数に基づき、前記候補隠れ状態、前記ゲーティングパラメータ、及び前の瞬間の履歴単語ベクトルの履歴隠れ状態に従って、前記ターゲット単語ベクトルに対応するターゲット隠れ状態（ｈ ｔ ）を生成するステップであって、前記ターゲット隠れ状態は、
【数3】
【数4】
【数5】
【数6】
を含む、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法。
【請求項2】
前記フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルを変換して、変換後の組み合わせ領域単語ベクトルを取得する前記ステップは、第４重み行列及び第１オフセットベクトルに従って、各前記組み合わせ領域単語ベクトルに対して最初の線形変換を実行して、各組み合わせ領域単語ベクトルに対応する一時的な単語ベクトルを取得するステップであって、前記第４重み行列は、前記フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して最初の線形変換を実行するために使用される行列の形の重みパラメータであり、前記第１オフセットベクトルは、前記フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して最初の線形変換を実行するために使用されるベクトルの形のオフセットパラメータである、ステップと、
各前記一時的な単語ベクトルとベクトル閾値のうちの最大ベクトル値をそれぞれ選択するステップと、
第５重み行列及び第２オフセットベクトルに従って、各前記最大ベクトル値に対してそれぞれ２番目の線形変換を実行して、前記変換後の組み合わせ領域単語ベクトルを取得するステップであって、前記第５重み行列は、前記フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して２番目の線形変換を実行するために使用される行列の形の重みパラメータであり、前記第２オフセットベクトルは、前記フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して２番目の線形変換を実行するために使用されるベクトルの形のオフセットパラメータである、ステップと、
を含む、請求項１に記載の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法。
【請求項3】
言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置であって、最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するように構成される領域単語ベクトル生成モジュールであって、
前記領域単語ベクトルは、１つの次元の単語ベクトルに対応する各異なる次元の単語ベクトルを示し、
少なくとも２つの第１重み行列を取得することであって、各前記第１重み行列は、対応する領域単語ベクトルを生成するために使用される、事前にトレーニングされた行列の形の重みパラメータであり、
最初の瞬間に入力されたターゲット単語ベクトルを決定し、前の瞬間の履歴単語ベクトルに対応する履歴隠れ状態を取得することと、
前記第１重み行列及び前記履歴隠れ状態に基づき、前記ターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成することと、を行うように構成され、
前記隠れ状態はベクトルで表現され、前記第１重み行列及び前記履歴隠れ状態に基づき、前記ターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成することは、
前記ターゲット単語ベクトルと前記履歴隠れ状態を連結して、連結単語ベクトルを取得することと、
前記連結単語ベクトルをそれぞれ、各前記第１重み行列と乗算して、領域単語ベクトル行列を取得することと、を含み、前記領域単語ベクトル行列は、前記少なくとも２つの次元の領域単語ベクトルを含む、領域単語ベクトル生成モジュールと、
所定の領域ベクトル組み合わせ方式に従って、各前記領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するように構成される領域単語ベクトル組み合わせモジュールであって、
前記組み合わせ領域単語ベクトルは、各前記領域単語ベクトルに対して組み合わせ計算を実行して取得した単語ベクトルを示し、
各前記領域単語ベクトルをベクトルノードとし、各前記ベクトルノード間の類似度を、対応する各前記ベクトルノード間のエッジのエッジ重みとして決定し、
決定された各前記エッジ重みを行列要素として、各前記領域単語ベクトルに共に対応する隣接行列を生成し、前記隣接行列は、ベクトルノード間の隣接関係を示すための行列であり、
前記隣接行列の各次元の各前記エッジ重みをそれぞれ加算して、次数行列を取得し、前記次数行列は、前記隣接行列の各行または各列のベクトルノードの次数によって形成された行列を示し、前記隣接行列の各行または各列のベクトルノードの次数は、前記隣接行列内の各行または各列に含まれた行列要素の合計であり、
前記隣接行列及び前記次数行列に基づき、前記少なくとも２つの次元の組み合わせ領域単語ベクトルを生成し、
各前記領域単語ベクトルに含まれるベクトル要素を行列要素として、各前記領域単語ベクトルに共同に対応する領域単語ベクトル行列を生成し、
第２重み行列を取得し、前記第２重み行列は、組み合わせ領域単語ベクトル行列を生成するために使用される、事前にトレーニングされた行列の形の重みパラメータであり、
第３活性化関数に基づき、前記隣接行列、前記次数行列、前記領域単語ベクトル行列及び前記第２重み行列に従って、前記組み合わせ領域単語ベクトル行列を生成するように構成され、前記組み合わせ領域単語ベクトル行列には、前記少なくとも２つの次元の領域単語ベクトルが含まれる、ように構成される、領域単語ベクトル組み合わせモジュールと、
フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルに対して集合変換処理を実行して、前記ターゲット単語ベクトルに対応する集合単語ベクトルを取得するように構成される集合変換処理モジュールであって、
フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルを線形変換して、線形変換後の組み合わせ領域単語ベクトルを取得し、
各変換後の組み合わせ領域単語ベクトルを連結して、連結された単語ベクトルを取得し、
連結された単語ベクトルに対して線形変換を実行して、前記ターゲット単語ベクトルに対応する集合単語ベクトルを取得するように構成される、集合変換処理モジュールと、
前記集合単語ベクトル及び前の瞬間の履歴単語ベクトルの履歴隠れ状態に基づき、前記ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するように構成されるターゲット隠れ状態生成モジュールであって、
前記ターゲット隠れ状態は、前記最初の瞬間における前記リカレントニューラルネットワークのシステム状態を示し、前記履歴単語ベクトルは、前記最初の瞬間の前の瞬間に入力した単語ベクトルを示し、前記履歴隠れ状態は、前記最初の瞬間の前の瞬間における前記リカレントニューラルネットワークのシステム状態を示し、
前記隠れ状態はベクトルで表現され、前記集合単語ベクトルは、第１集合単語ベクトルと第２集合単語ベクトルとを含み、前記第１集合単語ベクトルと前記第２集合単語ベクトルは異なり、
前記第１集合単語ベクトル（Ｍ ｈ ）及び対応する第１活性化関数（ｔａｎｈ）に基づき、前記ターゲット単語ベクトルに対応する候補隠れ状態（ｈ ～ ｔ ）を決定することであって、前記候補隠れ状態は、ｈ ～ ｔ ＝ｔａｎｈ（Ｍ ｈ ）および
【数7】
前記第２集合単語ベクトル（Ｍ ｇ ）及び対応する第２活性化関数（σ）に基づき、前記ターゲット単語ベクトルに対応するゲーティングパラメータ（ｇ ｔ ）を決定することであって、前記ゲーティングパラメータは、ｇ ｔ ＝σ（Ｍ ｇ ）および
【数8】
プリセット関数に基づき、前記候補隠れ状態、前記ゲーティングパラメータ、及び前の瞬間の履歴単語ベクトルの履歴隠れ状態に従って、前記ターゲット単語ベクトルに対応するターゲット隠れ状態（ｈ ｔ ）を生成することであって、前記ターゲット隠れ状態は、
【数9】
【数10】
【数11】
【数12】
を備える、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置。
【請求項4】
前記集合変換処理モジュールは、さらに、第４重み行列及び第１オフセットベクトルに従って、各前記組み合わせ領域単語ベクトルに対して最初の線形変換を実行して、各組み合わせ領域単語ベクトルに対応する一時的な単語ベクトルを取得し、前記第４重み行列は、前記フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して最初の線形変換を実行するために使用される行列の形の重みパラメータであり、前記第１オフセットベクトルは、前記フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して最初の線形変換を実行するために使用されるベクトルの形のオフセットパラメータであり、
各前記一時的な単語ベクトルとベクトル閾値のうちの最大ベクトル値をそれぞれ選択し、
第５重み行列及び第２オフセットベクトルに従って、各前記最大ベクトル値に対してそれぞれ２番目の線形変換を実行して、前記変換後の組み合わせ領域単語ベクトルを取得するように構成され、前記第５重み行列は、前記フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して２番目の線形変換を実行するために使用される行列の形の重みパラメータであり、前記第２オフセットベクトルは、前記フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して２番目の線形変換を実行するために使用されるベクトルの形のオフセットパラメータである、
請求項３に記載の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置。
【請求項5】
コンピュータプログラムであって、コンピュータに、請求項１または２に記載の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法を実行させる、コンピュータプログラム。
【請求項6】
メモリとプロセッサとを備える、コンピュータ機器であって、前記メモリにコンピュータプログラムが記憶され、前記コンピュータプログラムが前記プロセッサによって実行されるとき、前記プロセッサに請求項１または２に記載の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップを実行させる、コンピュータ機器。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１９年０４月１７日に中国特許局に提出された、出願番号が２０１９１０３０９９２９．５であり、発明の名称が「言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法及び装置」である中国特許出願の優先権を主張するものであり、その全ての内容が参照により本願に組み込まれている。
【0002】
本願は、コンピュータ技術分野に関し、特に、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法、装置、コンピュータ可読記憶媒体及びコンピュータ機器に関する。
【背景技術】
【0003】
コンピュータ技術の発展に伴い、自然言語処理（ＮＬＰ：Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）技術が登場した。自然言語処理（ＮＬＰ）技術は、人々が長年追求してきた「自然言語を使ったコンピュータとのコミュニケーション」のことを実現する。しかし、自然言語処理（ＮＬＰ）技術に対して、可変長の単語シーケンスの処理は、依然として大きな課題である。
【0004】
その結果、リカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が登場した。リカレントニューラルネットワークは、シーケンス（ｓｅｑｕｅｎｃｅ）データを入力とし、シーケンスの進化方向に再帰（ｒｅｃｕｒｓｉｏｎ）し、且つすべてのノード（リカレントユニット）がチェーンの形で接続された再帰型ニューラルネットワーク（ｒｅｃｕｒｓｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。リカレントニューラルネットワークの登場は、可変長の単語シーケンスの処理を解決する。
【0005】
しかしながら、従来のリカレントニューラルネットワークは、すべて単一な空間の組み合わせ計算を使用して各瞬間の隠れ状態を生成する。例えば、単一な空間における最初の瞬間の単語ベクトル及び前の瞬間の隠れ状態の組み合わせのみを使用して最初の瞬間の隠れ状態を生成するため、複雑な言語法則に対するキャプチャ率が低くなる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本願は、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法、装置、コンピュータ可読記憶媒体及びコンピュータ機器を提供し、当該技術的解決策の複雑な言語法則に対するキャプチャ率は高い。
【課題を解決するための手段】
【0007】
一態様において、コンピュータ機器が実行する、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法を提供し、当該方法は、
最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップと、
各前記領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するステップと、
フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルに対して集合変換処理を実行して、前記ターゲット単語ベクトルに対応する集合単語ベクトルを取得するステップと、
前記集合単語ベクトルに基づき、前記ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するステップと、を含む。
最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップと、
各前記領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するステップと、
フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルに対して集合変換処理を実行して、前記ターゲット単語ベクトルに対応する集合単語ベクトルを取得するステップと、
前記集合単語ベクトルに基づき、前記ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するステップと、を含む。
【0008】
別の態様において、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置を提供し、当該装置は、
最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するように構成される、領域単語ベクトル生成モジュールと、
各前記領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するように構成される、領域単語ベクトル組み合わせモジュールと、
フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルに対して集合変換処理を実行して、前記ターゲット単語ベクトルに対応する集合単語ベクトルを取得するように構成される、集合変換処理モジュールと、
前記集合単語ベクトルに基づき、前記ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するように構成される、ターゲット隠れ状態生成モジュールと、を備える。
最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するように構成される、領域単語ベクトル生成モジュールと、
各前記領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するように構成される、領域単語ベクトル組み合わせモジュールと、
フィードフォワードニューラルネットワークに基づき、各前記組み合わせ領域単語ベクトルに対して集合変換処理を実行して、前記ターゲット単語ベクトルに対応する集合単語ベクトルを取得するように構成される、集合変換処理モジュールと、
前記集合単語ベクトルに基づき、前記ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するように構成される、ターゲット隠れ状態生成モジュールと、を備える。
【0009】
別の態様において、コンピュータプログラムが記憶される、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラムは、プロセッサによって実行されるとき、プロセッサに上記の態様及びその代替実施例のいずれか一項に記載の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法を実行させる。
【0010】
別の態様において、メモリとプロセッサとを備える、コンピュータ機器を提供し、前記メモリには、コンピュータプログラムが記憶され、前記コンピュータプログラムは、前記プロセッサによって実行されるとき、プロセッサに上記の態様及びその代替実施例のいずれか一項に記載の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法を実行させる。
【発明の効果】
【0011】
以上の技術的解決策から分かるように、本願実施例は、少なくとも以下の利点を有する。
【0012】
当該方法は、最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成することにより、単一な次元のターゲット単語ベクトルに、多次元の領域単語ベクトルが対応され、各領域単語ベクトルに対して領域組み合わせを実行して、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するようにし、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルに対して集合変換処理を実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得することにより、各瞬間のターゲット単語ベクトルに、いずれも対応する集合単語ベクトルを持たせる。これにより、集合単語ベクトルに基づいて、ターゲット単語ベクトルに対応するターゲット隠れ状態を生成し、且つ、集合単語ベクトルはターゲット単語ベクトルに対して多次元の変換処理を実行して取得されたものであるため、当該集合単語ベクトルを使用して生成されたターゲット隠れ状態は、複雑な言語法則に対して高いキャプチャ率を持つ。
【0013】
つまり、当該方法は、ターゲット単語ベクトルに対して深層の多領域組み合わせ計算を実行することにより、多次元変換後の集合単語ベクトルを取得し、単語ベクトルにキャプチャされた言語法則、例えば、単語ベクトルの長距離依存を強化して、それにより、集合単語ベクトルを使用して生成されたターゲット隠れ状態は、より大きな確率で複雑な言語法則をキャプチャできる。
【図面の簡単な説明】
【0014】
本願実施例の技術的解決策をより明確に説明するために、以下は、実施例の説明で使用される図面について簡単に紹介する。以下に説明される図面は、本願のいくつかの実施例に過ぎず、当業者にとっては、創造的な作業なしに、これらの図面に従って他の図面を得ることもできることは自明である。
【0015】
【図1】本願の一例示的な実施例によるコンピュータ機器の構造のブロック図である。
【図2】本願の一例示的な実施例による言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のフローチャートである。
【図3】本願の別の例示的な実施例による言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のフローチャートである。
【図4】本願の一例示的な実施例によるベクトルノードの概略図である。
【図5】本願の一例示的な実施例による隣接行列の概略図である。
【図6】本願の一例示的な実施例による次数行列の概略図である。
【図7】本願の一例示的な実施例による領域単語ベクトル行列の概略図である。
【図8】本願の別の例示的な実施例による言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のフローチャートである。
【図9】本願の一例示的な実施例による領域単語ベクトルの計算方法の概略図である。
【図10】本願の別の例示的な実施例による言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のフローチャートである。
【図11】本願の一例示的な実施例による集合単語ベクトルの生成方法の概略図である。
【図12】本願の一例示的な実施例による言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置の構造のブロック図である。
【発明を実施するための形態】
【0016】
本願の目的、技術的解決策及び利点をより明確にするために、以下、図面及び実施例を参照して、本願をより詳しく説明する。ここで説明した具体的な実施例は、本願を説明するためにのみ使用され、本願を限定するために使用されないことを理解されたい。
【0017】
本願に係る言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法は、図１に示されたコンピュータ機器１００で適用できる。当該コンピュータ機器１００は、メモリ１０１とプロセッサ１０２とを備える。例示的に、メモリ１０１は、不揮発性記憶媒体と内部メモリとを備えることができる。メモリ１０１には、コンピュータプログラムが記憶され、コンピュータプログラムは、プロセッサ１０２によって実行されるとき、本願に係る言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法を実現できる。例示的に、当該コンピュータ機器１００は、さらに、ネットワークインターフェース１０３を備え、当該ネットワークインターフェース１０３は、コンピュータ機器１００を有線または無線ネットワークにアクセスするように構成される。例示的に、当該コンピュータ機器１００は、さらに、システムバス１０４を備え、ここで、メモリ１０１は、システムバス１０４を介して、プロセッサ１０２、ネットワークインターフェース１０３間でそれぞれ電気的に接続される。当該コンピュータ機器１００は、端末であってもよく、サーバであってもよい。コンピュータ機器１００が端末である場合、当該コンピュータ機器１００は、さらに、スクリーンと入力装置などを備えることができることを理解されたい。ここで、端末は、様々なパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ及びポータブルウェアラブル機器であり得るがこれに限定されなく、サーバは、独立したサーバまたは複数のサーバによって構成されたサーバクラスタを使用して実現できる。
【0018】
図２に示されたように、一実施例において、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法を提供する。本実施例は、主に、当該方法を前記図１内のコンピュータ機器に適用することを例として説明する。図２を参照して、当該言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法は、具体的に、以下のステップを含む。
【0019】
ステップＳ２０２において、最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成する。
【0020】
ここで、単語ベクトルは、事前に定義されたベクトル空間における対応する単語の実数ベクトルを示す。例えば、事前に定義されたベクトル空間における「犬」の実数ベクトルは、（０．２ ０．２ ０．４）であると、（０．２ ０．２ ０．４）が「犬」の単語ベクトルである。ターゲット単語ベクトルは、最初の瞬間に入力された単語ベクトルを示す。領域単語ベクトルは、１つの次元の単語ベクトルに対応する各異なる次元の単語ベクトルを示す。最初の瞬間は、ターゲット単語ベクトルに入力する瞬間にあり、例示的に、最初の瞬間は、現在瞬間、即ち、時計が現在指示している瞬間を含み得る。
【0021】
具体的に、コンピュータ機器が、最初の瞬間にターゲット単語ベクトルが入力されたと検出する場合、コンピュータ機器は、最初の瞬間に入力されたターゲット単語ベクトルを読み取り、当該ターゲット単語ベクトルの領域単語ベクトル生成命令をトリガする。コンピュータ機器は、当該領域単語ベクトル生成命令に従って、低次元のターゲット単語ベクトルを少なくとも２つの次元の領域単語ベクトルに変換する。このようにして、コンピュータ機器が各瞬間に入力するターゲット単語ベクトルは、すべて少なくとも２つの次元の領域単語ベクトルに対応する。
【0022】
一実施例において、コンピュータ機器がＴ瞬間に入力するターゲット単語ベクトルの全体は、１つのベクトルシーケンスＸ＝｛Ｘ１，Ｘ２，……，ＸＴ｝であり、ここで、Ｘ１は、ベクトルシーケンスＸの最初のターゲット単語ベクトルであり、Ｘ１は、コンピュータ機器が最初の瞬間に入力した単語ベクトルを表示し、Ｘ２は、ベクトルシーケンスＸの２番目のターゲット単語ベクトルであり、Ｘ２は、コンピュータ機器が２番目の瞬間に入力した単語ベクトルを表示し、……、ＸＴは、ベクトルシーケンスＸＴのＴ番目のターゲット単語ベクトルであり、ＸＴは、コンピュータ機器がＴ番目の瞬間に入力した単語ベクトルを表示し、ここで、Ｔは、正の整数である。ベクトルシーケンスＸにおけるコンピュータ機器の瞬間ごとに、すべて、当該瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成する。
【0023】
一実施例において、ベクトルシーケンスＸ＝｛Ｘ１，Ｘ２，……，ＸＴ｝の各１つの単語ベクトルは、すべて、事前にテキストを変換して取得される。例えば、コンピュータ機器が端末である場合、コンピュータ機器には、通信するために使用されるソーシャルアプリケーションプログラムが実装され、人間とコンピュータの対話のためのサブアプリケーションプログラムは、当該通信のためのソーシャルアプリケーションプログラムで実行される。コンピュータ機器が、人間とコンピュータの対話のためのサブアプリケーションプログラムが、可変長の音声情報を受信したと検出した場合、各瞬間に受信された音声情報をテキスト情報に変換し、当該テキスト情報をターゲット単語ベクトルにマッピングし、このようにして、可変長の音声情報は、最終的に１つのベクトルシーケンスを形成し、ベクトルシーケンスには、各瞬間に受信された音声情報のテキスト情報に対応するターゲット単語ベクトルが含まれる。
【0024】
もちろん、コンピュータ機器がサーバである場合、当該サーバは、他の端末によって変換して得た各ターゲット単語ベクトルを受信して、瞬間ごとに入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成することができる。または、コンピュータ機器がサーバである場合、当該サーバは、他の端末が人間とコンピュータの対話のためのサブアプリケーションプログラムを介して受信された可変長の音声情報を直接に受信し、各瞬間に受信された音声情報をテキスト情報に変換し、当該テキスト情報をターゲット単語ベクトルにマッピングすることもでき、このようにして、可変長の音声情報は、最終的に１つのベクトルシーケンスを形成し、ベクトルシーケンスには、各瞬間に受信された音声情報のテキスト情報に対応するターゲット単語ベクトルが含まれ、瞬間ごとに入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成する。
【0025】
一実施例において、領域単語ベクトル生成命令には、第１プリセットの次元が搬送され、コンピュータ機器は、領域単語ベクトル生成命令に従って、低次元のターゲット単語ベクトルを少なくとも２つの次元の領域単語ベクトルに変換するとき、第１プリセットの次元に従って、低次元のターゲット単語ベクトルを第１プリセットの次元の領域単語ベクトルに変換することができる。
【0026】
例えば、最初の瞬間がＴであり、第１プリセットの次元がＮである場合、コンピュータ機器が、最初の瞬間Ｔでターゲット単語ベクトルＸＴが入力されたと検出する。こうして、コンピュータ機器は、単一な次元のターゲット単語ベクトルＸＴをＮ個の次元の領域単語ベクトルに変換する必要がある。コンピュータ機器は、ターゲット単語ベクトルＸＴのＮ個の領域単語ベクトルＺ＝｛Ｚ１，Ｚ２，……，ＺＮ｝を生成でき、ここでのＺ１～ＺＮは、すべてターゲット単語ベクトルＸＴの領域単語ベクトルである。ここで、Ｎは、１より大きい。
【0027】
ステップＳ２０４において、各領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得する。
【0028】
ここで、組み合わせ領域単語ベクトルは、各領域単語ベクトルに対して組み合わせ計算を実行して取得した単語ベクトルを示す。例えば、ターゲット単語ベクトルがＮ個の次元の領域単語ベクトルを持つと、コンピュータ機器は、Ｎ個の次元の領域単語ベクトルに対して組み合わせ計算を実行してＪ個の次元の組み合わせ領域単語ベクトルを取得でき、Ｊは、２より大きいか等しい。
【0029】
具体的に、コンピュータ機器には、領域ベクトル組み合わせ方式が事前に設定されている。コンピュータ機器が、ターゲット単語ベクトルの領域単語ベクトルを生成した後、プリセットの領域ベクトル組み合わせ方式を取得し、領域ベクトル組み合わせ方式には、第２プリセットの次元が含まれる。コンピュータ機器は、プリセットの領域ベクトル組み合わせ方式に従って、ターゲット単語ベクトルの領域単語ベクトルに対して組み合わせ計算を実行して、第２プリセットの次元の組み合わせ領域単語ベクトルを取得する。領域ベクトル組み合わせ方式は、各領域単語ベクトルに対して組み合わせ計算を実行する方式を示す。
【0030】
ステップＳ２０６において、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルに対して集合変換処理を実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得する。
【0031】
ここで、フィードフォワードニューラルネットワークは、各ニューロンが階層的に配列されたニューラルネットワークである。集合変換処理は、各組み合わせ領域単語ベクトルに対して集合処理及び変換処理を実行するプロセスを示す。集合単語ベクトルは、各組み合わせ領域単語ベクトルに対して集合処理及び変換処理を実行して得た単語ベクトルを示す。
【0032】
具体的に、コンピュータ機器は、フィードフォワードニューラルネットワークに基づき、それぞれ、各組み合わせ領域単語ベクトルに対して一回の変換を実行して、組み合わせ領域単語ベクトルの次元と同じである中間領域単語ベクトルを取得することができる。例えば、ターゲット単語ベクトルがＪ個の次元の組み合わせ領域単語ベクトルＯ＝｛Ｏ１，Ｏ２，……，ＯＪ｝を持つと、コンピュータ機器は、フィードフォワードニューラルネットワークに基づき、まず、各組み合わせ領域単語ベクトルに対して一回の変換を実行するとき、Ｊ個の次元の中間領域ベクトルＦ＝｛Ｆ１，Ｆ２，……，ＦＪ｝を取得することもできる。コンピュータ機器は、取得された各中間領域単語ベクトルに対して集合処理を実行して、１つの中間集合単語ベクトルを取得する。コンピュータ機器は、取得された中間集合単語ベクトルに対して線形変換を一回実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得することができる。
【0033】
ステップＳ２０８において、集合単語ベクトルに基づきターゲット単語ベクトルに対応するターゲット隠れ状態を生成する。
【0034】
ここで、隠れ状態は、リカレントニューラルネットワークの隠された層で出力された隠された状態を示し、隠された状態は、リカレントニューラルネットワークのシステム状態（ｓｙｓｔｅｍ ｓｔａｔｕｓ）を示す。ターゲット隠れ状態は、リカレントニューラルネットワークが最初の瞬間のシステム状態（ｓｙｓｔｅｍ ｓｔａｔｕｓ）を示す。
【0035】
具体的に、コンピュータ機器は、前の瞬間の履歴単語ベクトルの履歴隠れ状態を取得でき、コンピュータ機器は、履歴隠れ状態の基でターゲット単語ベクトルの集合単語ベクトルを追加して、ターゲット単語ベクトルのターゲット隠れ状態を計算して、ターゲット単語ベクトルのターゲット隠れ状態を生成することができる。前の瞬間の履歴単語ベクトルの履歴隠れ状態も、履歴単語ベクトルの集合単語ベクトルに基づき生成され、集合単語ベクトルは、履歴単語ベクトルに対して多次元の変換処理を実行して取得されたものであることを理解されたい。
【0036】
前記言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法は、最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成して、単一な次元のターゲット単語ベクトルに、多次元の領域単語ベクトルに対応させ、各領域単語ベクトルに対して領域組み合わせを実行して、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得する。その後、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルに対して集合変換処理を実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得する。
【0037】
本願による技術案を採用して、各瞬間のターゲット単語ベクトルに、対応する集合単語ベクトルをすべて有するようにし、これにより、集合単語ベクトルの基でターゲット単語ベクトルに対応するターゲット隠れ状態を生成することができる。集合単語ベクトルは、ターゲット単語ベクトルに対して多次元の変換処理を実行して取得されるものであるため、当該集合単語ベクトルを使用して生成されたターゲット隠れ状態は、複雑な言語法則に対して高いキャプチャ率を持つ。例えば、コンピュータ機器が、手書き認識、シーケンスラベリング、感情分析、言語モデルトレーニング及び機械翻訳などのタスクを処理するとき、長距離依存の言語構造に遭遇した場合でも、タスクを効率的に完了することができる。
【0038】
一実施例において、最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップは、少なくとも２つの第１重み行列を取得するステップであって、各第１重み行列は、対応する領域単語ベクトルを生成するために使用されるステップと、最初の瞬間に入力されたターゲット単語ベクトルを決定し、前の瞬間の履歴単語ベクトルに対応する履歴隠れ状態を取得するステップと、第１重み行列及び履歴隠れ状態に基づき、ターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップと、を含む。
【0039】
ここで、第１重み行列は、システムに伴ってトレーニングされる行列の形の重みパラメータを示し、対応する領域単語ベクトルを生成するために使用される。即ち、第１重み行列は、サンプル数でシステムをトレーニングして得た行列の形のシステムパラメータである。履歴単語ベクトルは、コンピュータ機器が最初の瞬間の前の瞬間に入力した単語ベクトルを示す。履歴隠れ状態はコンピュータ機器が最初の瞬間の前の瞬間に入力した単語ベクトルに対応する隠れ状態を示す。
【0040】
具体的に、コンピュータ機器が、最初の瞬間にターゲット単語ベクトルが入力されたと検出する場合、コンピュータ機器は、最初の瞬間に入力されたターゲット単語ベクトルを読み取り、当該ターゲット単語ベクトルの領域単語ベクトル生成命令をトリガする。コンピュータ機器は、当該領域単語ベクトル生成命令に従って、領域単語ベクトルを生成するための第１重み行列を取得し、取得された第１重み行列の数と、コンピュータ機器が生成する必要がある領域単語ベクトルの次元の数は、同じである。
【0041】
例えば、コンピュータ機器が生成する必要のある領域単語ベクトルの第１プリセットの次元がＮであると、コンピュータ機器が取得した第１重み行列の数はＮである。コンピュータ機器が、各１つの次元の領域単語ベクトルを生成するとき、すべて、対応する第１重み行列を持つ。コンピュータ機器が、最初の次元の領域単語ベクトルＺ１を生成するとき、対応する第１重み行列Ｗ１を持ち、コンピュータ機器が２番目の次元の領域単語ベクトルＺ２を生成するとき、対応する第１重み行列Ｗ２を持ち、……、コンピュータ機器がＮ番目の次元の領域単語ベクトルＺＮを生成するとき、対応する第１重み行列ＷＮを持つ。
【0042】
コンピュータ機器は、最初の瞬間に入力されたターゲット単語ベクトルを決定し、コンピュータ機器が最初の瞬間の前の瞬間に入力した履歴単語ベクトルに対応する履歴隠れ状態を取得する。前の瞬間は、必ずしも最初の瞬間に密接に隣接する瞬間にある必要はなく、前の瞬間は、コンピュータ機器がターゲット単語ベクトルを入力する前に単語ベクトルを入力するときに対応する瞬間にあることを理解されたい。
【0043】
例えば、コンピュータ機器が、Ｔ個の瞬間に入力したターゲット単語ベクトルの全体が、１つのベクトルシーケンスＸ＝｛Ｘ１，Ｘ２，……，ＸＴ｝であると、Ｘ１は、コンピュータ機器が最初の瞬間に入力した単語ベクトルを表示し、Ｘ２は、コンピュータ機器が２番目の瞬間に入力した単語ベクトルを表示する。最初の瞬間と２番目の瞬間の間に長い時間間隔がある可能性があり、短い時間間隔しかない可能性もあるため、最初の瞬間と２番目の瞬間は、必ずしもタイムテーブルで互いに対応する密接に隣接する瞬間にある必要はない。
【0044】
コンピュータ機器は、取得された履歴隠れ状態及び第１プリセットの数の第１重み行列に基づき、第１プリセットの次元の領域単語ベクトルを生成することができる。第１プリセットの数と第１プリセットの次元の数は同じである。第１プリセットの次元の領域単語ベクトルの全体は、１つの領域単語ベクトル行列であり得る。例えば、コンピュータ機器が、ターゲット単語ベクトルＸＴをＮ個の次元の領域単語ベクトルに変換する必要があると、取得されたＮ個の次元の領域単語ベクトルは、領域単語ベクトル行列
に表示でき、領域単語ベクトル行列内のＺ１～ＺＮは、すべてターゲット単語ベクトルＸＴの領域単語ベクトルである。
【数1】
【0045】
上述した実施例において、コンピュータ機器は、対応する領域単語ベクトルを生成するための第１重み行列を直接に使用して、単一な次元のターゲット単語ベクトルを少なくとも２つの次元の領域単語ベクトルに効率的に変換する。そして、前の瞬間の履歴隠れ状態の基で少なくとも２つの次元の領域単語ベクトルを生成して、取得された領域単語ベクトルがより正しくなる。
【0046】
一実施例において、第１重み行列及び履歴隠れ状態に基づき、ターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップは、ターゲット単語ベクトル及び履歴隠れ状態を連結して、連結単語ベクトルを取得するステップと、連結単語ベクトル及び第１重み行列に従って領域単語ベクトル行列を生成するステップと、を含み、領域単語ベクトル行列は、少なくとも２つの次元の領域単語ベクトルを含む。
【0047】
具体的に、コンピュータ機器が生成した各瞬間の隠れ状態の形はすべてベクトルであるため、コンピュータ機器がターゲット単語ベクトルを決定し前の瞬間の履歴単語ベクトルに対応する履歴隠れ状態を取得した後、最初の瞬間のターゲット単語ベクトル及び前の瞬間の履歴隠れ状態を連結して、連結単語ベクトルを取得することができる。例えば、ターゲット単語ベクトルに８つのベクトル要素を含み、履歴隠れ状態に５つのベクトル要素を含み、コンピュータ機器は、ターゲット単語ベクトル及び履歴隠れ状態を直接に連結した後、取得された連結単語ベクトルは、１３個のベクトル要素を含む。コンピュータ機器は、取得した連結単語ベクトルをそれぞれ、各第１重み行列と乗算して、領域ベクトル行列を取得することができる。領域ベクトル行列には、多次元の領域単語ベクトルが含まれる。
【0048】
一実施例において、ターゲット単語ベクトル及び履歴隠れ状態を連結して［Ｘｔ，ｈｔ－１］と表示し、ここで、Ｘｔは、コンピュータ機器が最初の瞬間に入力したターゲット単語ベクトルであり、ｈｔ－１は、最初の瞬間の前の瞬間の履歴単語ベクトルに対応する履歴隠れ状態である。こうして、コンピュータ機器は、式Ｚｉ＝Ｗｉ［Ｘｔ，ｈｔ－１］に従ってターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトル、を生成することができる。
【0049】
ここで、Ｗｉは、第１重み行列を表示する。例えば、コンピュータ機器がＮ個の領域単語ベクトルを生成する必要があると、ｉは１～Ｎであり、ＺｉはＺ１～ＺＮであり、ＷｉはＷ１～ＷＮである。Ｚ１を計算するとき、Ｚｉ＝Ｗｉ［Ｘｔ，ｈｔ－１］は、Ｚ１＝Ｗ１［Ｘｔ，ｈｔ－１］であり、Ｚ２を計算するとき、Ｚｉ＝Ｗｉ［Ｘｔ，ｈｔ－１］はＺ２＝Ｗ２［Ｘｔ，ｈｔ－１］であり、……、ＺＮを計算するとき、Ｚｉ＝Ｗｉ［Ｘｔ，ｈｔ－１］は、ＺＮ＝ＷＮ［Ｘｔ，ｈｔ－１］であることを理解されたい。このようにして、コンピュータ機器は、領域単語ベクトル行列
を取得でき、１～Ｎは、それぞれ、対応する領域単語ベクトルＺ１～ＺＮが位置する次元を表示する。ここで、ｔは、１より大きい整数である。
【数2】
【0050】
領域単語ベクトル行列内の各１つの領域単語ベクトルは、それぞれ異なる次元に位置し、各１つの領域単語ベクトルは、複数のベクトル要素を含み、各ベクトル要素は、すべて、属する領域単語ベクトルが位置する次元の行列要素であることを理解されたい。例えば、Ｚ１が０．３、０．８及び０．７の３つのベクトル要素を含むと、０．３は、Ｚ１が位置する第１次元の行列要素Ｚ１１であり、０．８は、Ｚ１が位置する第１次元の行列要素Ｚ１２であり、０．７は、Ｚ１が位置する第１次元の行列要素Ｚ１３である。各領域ベクトルがすべて３つのベクトル要素を含むことを例として、領域単語ベクトル行列は、具体的に
に表示する。
【数3】
【0051】
上述した実施例において、コンピュータ機器は、ターゲット単語ベクトル及び前の瞬間の隠れ状態を直接に連結して、連結単語ベクトルを取得し、連結単語ベクトルと少なくとも２つの第１重み行列をそれぞれ直接に乗算し、それにより、少なくとも２つの次元の領域単語ベクトルをより効率的且つ迅速に取得する。
【0052】
一実施例において、図３に示されたように、各領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するステップは、以下のステップを含む。
【0053】
ステップＳ３０２において、各領域単語ベクトル間のエッジ重みを決定する。
【0054】
ここで、エッジ重みは、各領域単語ベクトルをベクトルノードとするとき、各ベクトルノードのエッジを接続するための重みを示す。
【0055】
具体的に、コンピュータ機器がプリセットした領域ベクトル組み合わせ方式は、グラフ畳み込み（ｇｒａｐｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ）に基づく領域ベクトル組み合わせ方式であり得、コンピュータ機器は、グラフ畳み込みに基づく領域ベクトル組み合わせ方式に従って、各領域単語ベクトルをベクトルノードとして決定し、各ベクトルノード間は接続されたエッジがあり、１つの図、Ｇ＝（Ｖ，Ｅ）を構築し、ここで、Ｖは、ベクトルノードセットを表示し、Ｅは、エッジセットを表示する。
【0056】
図４に示されたように、コンピュータ機器が、Ｚ１、Ｚ２及びＺ３の、ターゲット単語ベクトルの３つの次元の領域単語ベクトルを生成すると、コンピュータ機器は、Ｚ１、Ｚ２及Ｚ３を、それぞれ、ベクトルノード４０１として決定する。各ベクトルノード間で接続されたエッジ４０２は、接続された２つのベクトルノード間の関係を表す。コンピュータ機器は、各ベクトルノード間の類似度を計算して、各ベクトルノード間の類似度を、対応する各ベクトルノード間のエッジのエッジ重みとして決定することができる。
一実施例において、コンピュータ機器は、式
に従って各領域単語ベクトル間のエッジ重みを計算して決定することができる。ここで、Ｚｉ及びＺｊは、両方ともターゲット単語ベクトルの任意１つの領域単語ベクトルである。Ｚｉ
Ｔは、領域単語ベクトルＺｉの転置ベクトルを示す。「||Ｚｉ||」は、領域単語ベクトルＺｉのＬ２ノルムを示し、「||Ｚｊ||」は、領域単語ベクトルＺｊのＬ２ノルムを示す。このようにして、コンピュータ機器は、上記の式に従って各領域単語ベクトル間の類似度を取得して、各ベクトルノード間の類似度を、対応する各ベクトルノード間のエッジのエッジ重みとして決定することができる。ここで、ｊは、正の整数である。
一実施例において、コンピュータ機器は、式
【数4】
【0057】
ステップＳ３０４において、決定された各エッジ重みに従って、各領域単語ベクトルに共に対応する隣接行列を生成する。
【0058】
ここで、隣接行列（Ａｄｊａｃｅｎｃｙ Ｍａｔｒｉｘ）は、ベクトルノード間の隣接関係を表示するための行列である。
【0059】
具体的に、コンピュータ機器は、決定された各エッジ重みを行列要素として、１つの隣接行列を形成することができる。例えば、コンピュータ機器がターゲット単語ベクトルのＮ個の次元の領域単語ベクトルを生成すると、コンピュータ機器は、Ｎ個の領域単語ベクトルを、それぞれ、ベクトルノードとして決定して、Ｎ個のベクトルノードの各ベクトルノード間のエッジ重みを計算する。このようにして、コンピュータ機器は、決定された各エッジ重みを行列要素として形成された隣接行列Ａは図５に示されたようであってもよい。
【0060】
ステップＳ３０６において、隣接行列の各次元の各エッジ重みをそれぞれ加算して、次数行列を取得する。
【0061】
ここで、次数行列は、隣接行列の各行または各列のベクトルノードの次数によって形成された行列を示し、各行または各列のベクトルノードの次数は、隣接行列内の各行または各列に含まれた行列要素の合計である。
【0062】
具体的に、図５に示されたように、隣接行列Ａ内の各行は、すべて、ある１つのベクトルノードと他のベクトルノード間のエッジのエッジ重みを含む。例えば、図５内のＷ１２は、各ベクトルノード内の最初のノードと２番目のノード間のエッジのエッジ重みを表示する。コンピュータ機器が隣接行列を取得した後、隣接行列の各行に含まれたエッジ重みを加算して、各行に対応するベクトルノードの次数を取得することができる。例えば、隣接行列内の最初の行にベクトルノードＺ１と他のベクトルノード間のエッジ重みＷ１１、Ｗ１２、Ｗ１３、……、Ｗ１Ｎを含むと、コンピュータ機器は、Ｗ１１～Ｗ１Ｎを加算して、ベクトルノードＺ１の次数Ｄ１１を取得することができる。
【0063】
さらに、コンピュータ機器は、式Ｄｉｉ＝ΣｊＷｉｊに従って各行に対応するベクトルノードの次数を計算することができ、ここで、Ｗｉｊは、隣接行列の第ｉ行第ｊ列の行列パラメータ（当該行列パラメータは、ベクトルノード内のｉ番目のベクトルノードとｊ番目のベクトルノード間のエッジ重みである）を示す。例えば、図４内の隣接行列Ａの第１行が表示するベクトルノードの次数を計算するとき、Ｄ１１＝ΣｊＷｉｊ内のｊは１～Ｎであると、Ｄ１１＝Ｗ１１＋Ｗ１２＋Ｗ１３＋……＋Ｗ１Ｎである。
【0064】
コンピュータ機器が取得した隣接行列内の各行のベクトルノードの次数は、Ｄ１１、Ｄ２２、Ｄ３３、……、ＤＮＮに表示し、コンピュータ機器は、「Ｄ１１、Ｄ２２、Ｄ３３、……、ＤＮＮ」に基づき次数行列Ｄを形成でき、形成された次数行列ＤのＤ１１、Ｄ２２、Ｄ３３、……、ＤＮＮ以外の他の行列要素は、すべて０であり、図６に示されたようである。
【0065】
ステップＳ３０８において、隣接行列及び次数行列に基づき、少なくとも２つの次元の組み合わせ領域単語ベクトルを生成する。
【0066】
具体的に、コンピュータ機器は、取得された隣接行列及び次数行列に基づき、第２プリセットの次元の組み合わせ領域単語ベクトルを生成することができ、本実施例における第２プリセットの次元の数と、ターゲット単語ベクトルの領域単語ベクトルの数は同じである。
【0067】
上述した実施例において、コンピュータ機器は、ターゲット単語ベクトルの各領域単語ベクトルを、グラフ畳み込みネットワークのグラフ構造のベクトルノードとして使用して、各ベクトルノード間のエッジ重みを計算することができ、各領域単語ベクトル間のエッジ重みを取得し、取得されたエッジ重みを使用して隣接行列を生成し、隣接行列に基づき次数行列を計算することができる。このようにして、コンピュータ機器は、隣接行列及び次数行列を直接に使用して、組み合わせ領域単語ベクトルを効率的に生成することができる。
【0068】
一実施例において、隣接行列及び次数行列に基づき、少なくとも２つの次元の組み合わせ領域単語ベクトルを生成するステップは、各領域単語ベクトルが共同に対応する領域単語ベクトル行列を決定するステップと、組み合わせ領域単語ベクトル行列を生成するための第２重み行列を取得するステップと、隣接行列、次数行列、領域単語ベクトル行列及び第２重み行列に従って、組み合わせ領域単語ベクトル行列を生成するステップと、を含み、組み合わせ領域単語ベクトル行列には、少なくとも２つの次元の領域単語ベクトルが含まれる。
【0069】
ここで、領域単語ベクトル行列は、各領域単語ベクトルに含まれるベクトル要素を行列要素とする行列を示す。第２重み行列は、グラフ畳み込みネットワークでのシステムに伴ってトレーニングされる行列の形の重みパラメータを示し、組み合わせ領域単語ベクトル行列を生成するために使用される。即ち、第２重み行列は、サンプルデータを介して、システムをトレーニングして得るシステムパラメータである。
【0070】
具体的に、コンピュータ機器は、各領域単語ベクトルに含まれるベクトル要素を行列要素として、１つの領域単語ベクトル行列を形成する。例えば、コンピュータ機器がターゲット単語ベクトルＸＴのＮ個の領域単語ベクトルＺ＝｛Ｚ１，Ｚ２，……，ＺＮ｝を生成し、各領域ベクトルにＭ個のベクトル要素が含まれると、コンピュータ機器は、Ｎ個の領域単語ベクトルＺ内の各領域単語ベクトルに含まれるベクトル要素を行列要素として、領域単語ベクトル行列Ｚを形成し、領域単語ベクトル行列Ｚは図７内の７００に示されたようである。ここで、Ｍは、整数である。
【0071】
コンピュータ機器は、組み合わせ領域単語ベクトル行列を生成するための第２重み行列Ｗｇを取得し、式
に従って組み合わせ領域単語ベクトル行列Ｏを生成する。ここで、Ｄは、次数行列を示し、Ａは、隣接行列を示し、Ｚは、領域単語ベクトル行列を示し、σは、活性化関数を示す。さらに、活性化関数σは、具体的に、ｓｉｇｍｏｉｄ関数「ｓｉｇｍｏｉｄ（ｘ）」であり得る。ｓｉｇｍｏｉｄ関数は、生物学で一般的なシグモイド関数であり、シグモイド成長曲線とも称し得、本実施例では、ｓｉｇｍｏｉｄ関数は、リカレントニューラルネットワークの閾値関数として使用される。
【数5】
【0072】
コンピュータ機器は、活性化関数σを使用して、ターゲット単語ベクトルの領域単語ベクトル次元と同じである組み合わせ領域単語ベクトル行列Ｏを取得することができ、組み合わせ領域単語ベクトル行列Ｏの各行は、１つの次元として使用され、各１つの次元は、１つの組み合わせ領域単語ベクトルを有する。例えば、Ｎ個の領域単語
ベクトルに対応する組み合わせ領域単語ベクトル行列
は、Ｊ個の組み合わせ領域単語ベクトルを含み、ＪとＮのサイズは、同じである。こうして、コンピュータ機器は、Ｊ個の組み合わせ領域単語ベクトルＯ＝｛Ｏ１，Ｏ２，……，ＯＪ｝を取得できる。
ベクトルに対応する組み合わせ領域単語ベクトル行列
【数6】
【0073】
上述した実施例において、各領域単語ベクトルの全体を、１つの領域単語ベクトル行列として使用し、組み合わせ領域単語ベクトル行列を生成するための第２重み行列を使用して、隣接行列及び次数行列に基づき領域単語ベクトル行列に対応する組み合わせ領域単語ベクトル行列を生成し、生成された組み合わせ領域単語ベクトル行列は、少なくとも２つの次元の領域単語ベクトルを含み、さらに、組み合わせ領域単語ベクトルを生成する効率を向上させる。
【0074】
一実施例において、図８に示されたように、各領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するステップは、以下のステップを含む。
【0075】
ステップＳ８０２において、組み合わせ領域単語ベクトルを生成するために使用される第３重み行列に従って、各領域単語ベクトルに対応する少なくとも２つの予測ベクトルを決定する。
【0076】
ここで、第３重み行列は、カプセルネットワーク（ｃａｐｓｕｌｅ ｎｅｔｗｏｒｋｓ）でのシステムに伴ってトレーニングされる行列の形の重みパラメータを示し、組み合わせ領域単語ベクトル行列を生成するために使用される。即ち、第３重み行列は、サンプルデータを介して、システムをトレーニングして得るシステムパラメータである。予測ベクトルは、組み合わせ領域単語ベクトル行列を生成するプロセスにおけるベクトルの形の中間変数を示す。
【0077】
具体的に、コンピュータ機器がプリセットした領域ベクトル組み合わせ方式は、カプセルネットワークに基づく領域ベクトル組み合わせ方式であり得、コンピュータ機器は、カプセルネットワークに基づく領域ベクトル組み合わせ方式に従って、各領域単語ベクトルをカプセルネットワークのカプセルとして使用し、コンピュータ機器が、ターゲット単語ベクトルのＮ個の領域単語ベクトルＺ＝｛Ｚ１，Ｚ２，……，ＺＮ｝を生成した場合、Ｚ１、Ｚ２、……、ＺＮのＮ個のカプセルがある。
【0078】
コンピュータ機器は、組み合わせ領域単語ベクトルを生成するための第３重み行列ＷＣ内の各行列要素ＷＣ
ｉｊを取得し、ここで、ｉは、１～Ｎであり、Ｎは、カプセルの総数であり、ｊは、１～第２プリセットの次元の数であり、本実施例の第２プリセットの次元の数は、２より大きいか等しいで、且つ、Ｎより小さいか等しいであり、ｉｊは、第３重み行列ＷＣの第ｉ行第ｊ列を表示する。
【0079】
図９に示されたように、図９内の９０１～９０４は、コンピュータ機器が、カプセルネットワークに基づく領域ベクトル組み合わせ方式に従って、ターゲット単語ベクトルの領域単語ベクトルに対して組み合わせ計算を実行する初期化段階であり、９０５～９１０は、コンピュータ機器に従ってに基づきカプセルネットワークのが、カプセルネットワークに基づく領域ベクトル組み合わせ方式に従って、ターゲット単語ベクトルの領域単語ベクトルに対して組み合わせ計算を実行する反復計算段階である。初期化段階では、図９内の９０３に示されたように、コンピュータ機器は、カプセルネットワーク内の各カプセルに基づき、取得された第３重み行列内の各行列要素ＷＣ
ｉｊに対応する予測ベクトルＺｊ|ｉを生成することができる。
【0080】
ステップとＳ８０４において、各領域単語ベクトルに対応する少なくとも２つの事前確率対数を決定する。
【0081】
ここで、事前確率対数は、組み合わせ領域単語ベクトル行列を生成するプロセスにおけるベクトルの形の一時的な変数を示す。
【0082】
具体的に、コンピュータ機器は、事前確率対数行列Ｂから各事前確率対数ｂｉｊを取得し、事前確率対数行列Ｂに含まれる事前確率対数ｂｉｊの数は、カプセルの総数＊第２プリセットの次元の数である。図９内の９０２に示されたように、現在初期化段階であるため、事前確率対数行列Ｂのすべての事前確率対数ｂｉｊは、すべて０である。
【0083】
ステップＳ８０６において、事前確率対数に従って、各領域単語ベクトルに対応する結合係数を決定する。
【0084】
具体的に、コンピュータ機器は、反復計算段階に入る。反復計算段階では、図９内の９０５に示されたように、コンピュータ機器は、取得された各事前確率対数ｂｉｊに対して正規化処理を実行し、式は、
であり、各領域単語ベクトルがそれぞれ対応する各生成対象となる組み合わせ領域単語ベクトル間の結合係数Ｃｉｊを取得する。ここで、ｅｘｐ（）は、ｅをベースとする指数関数を示す。
【数7】
【0085】
ステップＳ８０８において、結合係数及び予測ベクトルに基づき、少なくとも２つの次元の候補組み合わせ領域単語ベクトルを生成する。
【0086】
具体的に、コンピュータ機器が結合係数Ｃｉｊを取得した後、図９内の９０６に示されたように、式Ｓｊ＝ΣｉＣｉｊＺｊ|ｉに従って加重の和Ｓｊを計算する。ここで、Σは、合計シンボルである。図９内の９０７に示されたように、コンピュータ機器は、非線形活性化関数ｓｑｕａｓｈ（Ｓｊ）を介して第２プリセットの次元の組み合わせ領域単語ベクトルＯｊを生成する。ここで、
である。ここで、「||Ｓｊ||」は、Ｓｊを計算するノルムを示す。
【数8】
【0087】
ステップＳ８１０において、以上のステップＳ８０４～Ｓ８０８を繰り返して実行して、候補組み合わせ領域単語ベクトルに対して反復計算を実行し、プリセットの反復条件が満たされると、反復を停止し、反復が停止されるときの少なくとも２つの次元の候補組み合わせ領域単語ベクトルを少なくとも２つの次元の組み合わせ領域単語ベクトルとして決定する。
【0088】
つまり、コンピュータ機器は、以上のステップＳ８０４ないしステップＳ８０８の３つのステップを繰り返して実行して、候補組み合わせ領域単語ベクトルに対して反復計算を実行し、プリセットの反復条件が満たされると、反復を停止し、反復が停止されるときの少なくとも２つの次元の候補組み合わせ領域単語ベクトルを少なくとも２つの次元の組み合わせ領域単語ベクトルとして決定する。
【0089】
候補組み合わせ領域単語ベクトルに対して反復計算を実行するとき、領域単語ベクトルと、組み合わせ領域単語ベクトル間の事前確率対数を再決定する必要があることに留意されたい。具体的に、図９内のステップ９０８に示されたように、コンピュータ機器は、組み合わせ領域単語ベクトルＯｊを取得した後、ステップ９０９を実行し、式ｂｉｊ＝ｂｉｊ＋Ｚｊ|ｉＯｊに従って各領域単語ベクトルが、それぞれ各組み合わせ領域単語ベクトル間との事前確率対数を再決定する。
【0090】
具体的に、事前確率対数ｂｉｊを再決定した後、図９内の９０５のステップに戻り、プリセットの反復条件が満たされると、反復を停止し、最後の一回で生成された各組み合わせ領域単語ベクトルを出力する。例示的に、プリセットの反復条件は、プリセットの反復回数であり得、例えば、プリセットの反復回数が３回であると、コンピュータ機器が現在の反復回数がプリセットの反復回数に達したと検出するとき、反復を停止し、第３回で生成された各組み合わせ領域単語ベクトルを出力する。
【0091】
例えば、プリセットの反復回数が５回であると、前記ステップＳ８０４～Ｓ８０８の３つのステップを５回繰り返して実行し、ステップＳ８０４～Ｓ８０８を５回実行した後、再実行を停止し、ステップＳ８０４～Ｓ８０８を５回実行して取得した候補組み合わせ領域単語ベクトルを、少なくとも２つの次元の組み合わせ領域単語ベクトルとして使用する。
【0092】
上述した実施例において、コンピュータ機器は、ターゲット単語ベクトルの各領域単語ベクトルをカプセルネットワークのカプセルとして使用し、カプセルネットワークの組み合わせ領域単語ベクトルを生成するための第３重み行列を使用して各領域単語ベクトルに対応する少なくとも２つの予測ベクトルを生成し、各領域単語ベクトルに対応する初期化された少なくとも２つの事前確率対数を取得する。事前確率対数に基づき少なくとも２つの次元の組み合わせ領域単語ベクトルを生成するプロセスでは、カプセルネットワークの事前確率対数に対する反復アルゴリズムを使用して、最終的の組み合わせ領域単語ベクトルをより効率的で且つ正しく生成する。
【0093】
即ち、事前確率対数に基づき少なくとも２つの次元の組み合わせ領域単語ベクトルを生成するプロセスでは、カプセルネットワークの事前確率対数に対する反復アルゴリズムを使用して、組み合わせ間隔単語ベクトルに対して複数の反復計算を効率的に実行する同時に、複数の反復を介して複雑な言語法則をよりよくキャプチャする。
【0094】
一実施例において、各前記領域単語ベクトルに対応する少なくとも２つの事前確率対数を決定するステップは、各組み合わせ領域単語ベクトルと、対応する各予測ベクトルとのスカラ積を決定するステップと、各スカラ積及び対応する事前確率対数を加算して、再決定された各領域単語ベクトルに対応する事前確率対数を取得するステップと、をさらに含む。
【0095】
具体的に、図９内のステップ９０８に示されたように、「Ｚｊ|ｉ・Ｏｊ」は、予測ベクトルＺｊ|ｉと、組み合わせ領域単語ベクトルＯｊとのスカラ積を示し、取得されたスカラ積をそれぞれ、現在の各事前確率対数と加算して、複数の事前確率対数を再取得する。
【0096】
例えば、予測ベクトルＺ１|１＝（ａ１，ａ２，……，ａｎ）であり、現在取得された組み合わせ領域単語ベクトルＯ１＝（ｃ１，ｃ２，……，ｃｎ）であり、対応的に、スカラ積Ｚ１|１・Ｏ１＝ａ１ｃ１＋ａ２ｃ２＋……＋ａｎｃｎであり、現在のｂ１１とＺ１|１・Ｏ１を加算して、新しい事前確率対数ｂ１１＝ｂ１１＋Ｚ１|１・Ｏ１を取得する。
【0097】
上述した実施例において、コンピュータ機器は、各組み合わせ領域単語ベクトルと対応する各予測ベクトルとのスカラ積と、現在の事前確率対数を加算して、複数の再決定された事前確率対数を取得し、複数回の反復の後、事前確率対数の精度が更に高く、これにより、最終的な組み合わせ領域単語ベクトルをより効率的で且つ正しく生成できる。
【0098】
一実施例において、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルに対して集合変換処理を実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得するステップは、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルを変換して、変換後の組み合わせ領域単語ベクトルを取得するステップと、各変換後の組み合わせ領域単語ベクトルを連結して、連結された単語ベクトルを取得するステップと、連結された単語ベクトルに対して線形変換を実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得するステップと、を含む。
【0099】
具体的に、コンピュータ機器フィードフォワードニューラルネットワークに基づくプリセットの式に従って、各組み合わせ領域単語ベクトルＯ＝｛Ｏ１，Ｏ２，……，ＯＪ｝に対してより深層の変換を実行して、変換後の組み合わせ領域単語ベクトルＦ＝｛ｆ１，ｆ２，……，ｆＪ｝を取得する。コンピュータ機器は、Ｆのすべての変換後の組み合わせ領域単語ベクトルを連結して、１つの連結された単語ベクトル（ｆ１ｆ２……ｆＪ）を取得する。その後、連結結された単語ベクトル（ｆ１ｆ２……ｆＪ）に対して線形変換を一回実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得する。
【0100】
上述した実施例において、コンピュータ機器は、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルに対してより深層の変換を実行して、集合単語ベクトルを取得して、集合単語ベクトルに基づき生成されたターゲット隠れ状態を使用して複雑な言語法則をキャプチャするとき、複雑な言語法則に対して高いキャプチャ率を持たせる。
【0101】
一実施例において、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルを変換して、変換後の組み合わせ領域単語ベクトルを取得するステップは、第４重み行列及び第１オフセットベクトルに従って、各組み合わせ領域単語ベクトルに対して線形変換を実行して、各組み合わせ領域単語ベクトルに対応する一時的な単語ベクトルを取得するステップと、各一時的な単語ベクトルとベクトル閾値のうちの最大ベクトル値をそれぞれ選択するステップと、第５重み行列及び第２オフセットベクトルに従って、各最大ベクトル値に対して、それぞれ、線形変換を実行して、変換後の組み合わせ領域単語ベクトルを取得するステップと、を含む。
【0102】
ここで、第４重み行列は、フィードフォワードニューラルネットワークでのシステムに伴ってトレーニングされる行列の形の重みパラメータを示しフィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して最初の線形変換を実行するために使用される。第５重み行列は、フィードフォワードニューラルネットワークでのシステムに伴ってトレーニングされる行列の形の重みパラメータを示しフィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して２番目の線形変換を実行するために使用される。第１オフセットベクトルは、フィードフォワードニューラルネットワークでのシステムに伴ってトレーニングされるベクトルの形のオフセットパラメータを示し、フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して最初の線形変換を実行するために使用される。第２オフセットベクトルは、フィードフォワードニューラルネットワークでのシステムに伴ってトレーニングされるベクトルの形のオフセットパラメータを示し、フィードフォワードニューラルネットワークで各組み合わせ領域ベクトルに対して２番目の線形変換を実行するために使用される。ここで、第４重み行列及び第５重み行列は、サンプル数でシステムをトレーニングして得た行列の形のシステムパラメータである。
【0103】
具体的に、コンピュータ機器は、フィードフォワードニューラルネットワーク内の第４重み行列Ｗ１及び第１オフセットベクトルｂ１を取得し、第４重み行列Ｗ１及び第１オフセットベクトルｂ１を使用して、各組み合わせ領域単語ベクトルＯｊに対して最初の線形変換ＯｊＷ１＋ｂ１を実行して、各組み合わせ領域単語ベクトルに対応する一時的な単語ベクトルを取得する。各一時的な単語変数とベクトル閾値とそれぞれ比較して、各一時的な単語変数とベクトル閾値のうちの最大ベクトル値を選択する。
【0104】
例えば、ベクトル閾値が０であると、コンピュータ機器は、各一時的な単語変数とベクトル閾値０をそれぞれ比較し、Ｒｅｌｕ関数「ｍａｘ（０，Ｘ）」を介して最大ベクトル値ｍａｘ（０，ＯｊＷ１＋ｂ１）を選択し、ベクトル閾値０より大きい一時的な単語変数を当該一時的な単語変数とベクトル閾値０のうちの最大ベクトル値として使用し、一時的な単語変数より大きいベクトル閾値０を当該一時的な単語変数とベクトル閾値０のうちの最大ベクトル値として使用する。
【0105】
コンピュータ機器は、フィードフォワードニューラルネットワークの第５重み行列Ｗ２及び第２オフセットベクトルｂ２を取得し、第５重み行列Ｗ２、及び第２オフセットベクトルｂ２を使用して各組み合わせ領域単語ベクトルＯｊに対して２番目の線形変換を実行して、二回線形変換後の組み合わせ領域ベクトルｆＪ：ｆＪ＝ｍａｘ（０，ＯｊＷ１＋ｂ１）Ｗ２＋ｂ２を取得し、さらに、変換後の組み合わせ領域単語ベクトルＦ＝｛ｆ１，ｆ２，……，ｆＪ｝を取得する。
【0106】
上述した実施例において、コンピュータ機器は、フィードフォワードニューラルネットワークの第４重み行列及び第１オフセットベクトルを使用して各組み合わせ領域単語ベクトルに対して最初の線形変換を実行した後、一時的な単語ベクトルを取得し、一時的な単語ベクトルとベクトル閾値のうちの最大ベクトル値を選択し、フィードフォワードニューラルネットワークの第５重み行列及び第２オフセットベクトルを使用して最大ベクトル値に対して２番目の線形変換を実行して、変換後の組み合わせ領域単語ベクトルを取得する。コンピュータ機器は、当該組み合わせ領域単語ベクトルを使用して集合単語ベクトルを生成して、集合単語ベクトルに基づき生成されたターゲット隠れ状態を使用して複雑な言語法則をキャプチャするとき、複雑な言語法則に対して高いキャプチャ率を持たせる。
【0107】
一実施例において、集合単語ベクトルは、第１集合単語ベクトルと第２集合単語ベクトルとを含み、第１集合単語ベクトルと第２集合単語ベクトルは異なり、集合単語ベクトルに基づきターゲット単語ベクトルに対応するターゲット隠れ状態を生成するステップは、第１集合単語ベクトル及び対応する第１活性化関数に基づき、ターゲット単語ベクトルに対応する候補隠れ状態を決定するステップと、第２集合単語ベクトル及び対応する第２活性化関数に基づき、ターゲット単語ベクトルに対応するゲーティングパラメータを決定するステップと、候補隠れ状態、ゲーティングパラメータ及び前の瞬間の履歴単語ベクトルの履歴隠れ状態に従って、ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するステップと、を含む。
【0108】
具体的に、コンピュータ機器は、ターゲット単語ベクトルの領域単語ベクトルを生成するとき、それぞれ、第１集合単語ベクトルに対応する第１重み行列及び第２集合単語ベクトルに対応する第１重み行列に基づき集合単語ベクトルを生成する必要がある。コンピュータ機器が、第１集合単語ベクトルに対応する第１重み行列に基づき領域単語ベクトルを生成するとき、コンピュータ機器が最後に取得したターゲット単語ベクトルに対応する集合単語ベクトルは、第１集合単語ベクトルＭｈである。コンピュータ機器が、第２集合単語ベクトルに対応する第１重み行列に基づき領域単語ベクトルを生成するとき、コンピュータ機器が最後に取得したターゲット単語ベクトルに対応する集合単語ベクトルは、第２集合単語ベクトルＭｇである。
【0109】
コンピュータ機器は、第１活性化関数ｔａｎｈ、即ち、ｈ～
ｔ＝ｔａｎｈ（Ｍｈ）を介してターゲット単語ベクトルの候補隠れ状態ｈ～
ｔを決定する。コンピュータ機器は、第２活性化関数σを介してターゲット単語ベクトルのゲーティングパラメータｇｔ：ｇｔ＝σ（Ｍｇ）を決定する。
さらに、
である。
さらに、
【数9】
【数10】
【0110】
コンピュータ機器がターゲット単語ベクトルに対応する候補隠れ状態ｈ～
ｔ及びゲーティングパラメータｇｔを取得した後、式
に従ってターゲット単語ベクトルのターゲット隠れ状態ｈｔを計算する。ここで、
は、要素の積のオペレータであり、
は、（１－ｇｔ）及びｈｔ－１に対して要素の積を実行する演算を示し、
は、ｇｔ及びｈ～
ｔに対して要素の積を実行する演算を示す。
【数11】
【数12】
【数13】
【数14】
【0111】
上述した実施例において、第１集合単語ベクトル及び第２集合単語ベクトルは、両方ともターゲット単語ベクトルに対して多次元の変換処理を実行いて取得され、このようにして、第１集合単語ベクトルに基づき取得された候補隠れ状態及び第２集合単語ベクトルに基づき取得されたゲーティングパラメータはより正確であり、このようにして、より正確な候補隠れ状態及びゲーティングパラメータに基づき取得されたターゲット隠れ状態を使用して複雑な言語法則をキャプチャするとき、複雑な言語法則に対して高いキャプチャ率を持たせる。
【0112】
一実施例において、図１０に示されたように、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法は、以下のステップを含み得る。
【0113】
ステップＳ１００２において、コンピュータ機器が、領域単語ベクトル生成式に従って第１プリセットの次元の領域単語ベクトルを生成する。
【0114】
具体的に、図１１内の１１０１に示されたように、領域単語ベクトル生成式は、Ｚｉ＝Ｗｉ［Ｘｔ，ｈｔ－１］である。例えば、第１プリセットの次元がＮであると、ｉは１～Ｎであり、コンピュータ機器によって取得されたＮ個の次元の領域単語ベクトルは、Ｚ＝｛Ｚ１，Ｚ２，……，ＺＮ｝に表示する。
【0115】
ステップＳ１００４において、コンピュータ機器は、プリセットの領域ベクトル組み合わせ方式に従って、第１プリセットの次元の領域単語ベクトルに対して組み合わせ計算を実行して、第２プリセットの次元の組み合わせ領域単語ベクトルを取得する。
【0116】
具体的に、図１１内の１１０２に示されたように、コンピュータ機器は、取得されたＮ個の次元の領域単語ベクトルＺ＝｛Ｚ１，Ｚ２，……，ＺＮ｝に対して組み合わせ計算を実行し、第２プリセットの次元がＪであると、コンピュータ機器は、Ｊ個の組み合わせ領域単語ベクトルＯ＝｛Ｏ１，Ｏ２，……，ＯＪ｝を取得できる。ＪはＮと等しいであってもよく、Ｎと異なってもよい。例えば、プリセットの領域ベクトル組み合わせ方式が、グラフ畳み込みに基づく領域ベクトル組み合わせ方式である場合、第２プリセットの次元Ｊは、第１プリセットの次元Ｎと等しい。プリセットの領域ベクトル組み合わせ方式が、カプセルネットワークに基づく領域ベクトル組み合わせ方式である場合、第２プリセットの次元Ｊは、２より大きいか等しいで、且つ、第１プリセットの次元Ｎより小さいか等しい。
【0117】
ステップＳ１００６において、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルに対して深層変換を実行して、第２プリセットの次元の中間領域単語ベクトルを取得する。
【0118】
具体的に、図１１内の１１０３に示されたように、コンピュータ機器は、フィードフォワードニューラルネットワーク（ＦＮＮ：Ｆｅｅｄｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を介して、各組み合わせ領域単語ベクトルを処理するとき、具体的に、式ｆＪ＝ｍａｘ（０，ＯｊＷ１＋ｂ１）Ｗ２＋ｂ２に従って各中間領域単語ベクトルｆＪを生成することができる。例えば、第２プリセットの次元がＪであると、コンピュータ機器は、Ｊ個の中間領域単語ベクトルＦ＝｛ｆ１，ｆ２，……，ｆＪ｝を生成できる。
【0119】
ステップＳ１００８において、コンピュータ機器は、第２プリセットの次元の中間領域単語ベクトルを連結して、連結単語ベクトルを取得し、連結単語ベクトルに対して線形変換を一回実行して、集合単語ベクトルを取得する。
【0120】
具体的に、図１１内の１１０３に示されたように、「Ｃｏｎｃａｔ＆Ｌｉｎｅａｒ」は、コンピュータ機器がＪ個の中間領域単語ベクトルＦ＝｛ｆ１，ｆ２，……，ｆＪ｝を連結（Ｃｏｎｃａｔ）した後、また一回の線形変換（Ｌｉｎｅａｒ）を実行することを示す。
【0121】
ステップＳ１０１０において、コンピュータ機器は、集合単語ベクトルに基づき、ターゲット単語ベクトルに対応するターゲット隠れ状態を生成する。
具体的に、集合単語ベクトルは、第１集合単語ベクトルＭｈと第２集合単語ベクトルＭｇに分ける。コンピュータ機器は、第１集合単語ベクトルＭｈ及び第２集合単語ベクトルＭｇに基づき、候補隠れ状態ｈ～ ｔ及びゲーティングパラメータｇｔを計算することができる。即ち、候補隠れ状態ｈ～ ｔ＝ｔａｎｈ（Ｍｈ）、ゲーティングパラメータｇｔ＝σ（Ｍｇ）である。このようにして、コンピュータ機器は、候補隠れ状態ｈ～ ｔ及びゲーティングパラメータｇｔに基づき、ターゲット単語ベクトルのターゲット隠れ状態ｈｔを計算することができる。ターゲット隠れ状態は、
である。
具体的に、集合単語ベクトルは、第１集合単語ベクトルＭｈと第２集合単語ベクトルＭｇに分ける。コンピュータ機器は、第１集合単語ベクトルＭｈ及び第２集合単語ベクトルＭｇに基づき、候補隠れ状態ｈ～ ｔ及びゲーティングパラメータｇｔを計算することができる。即ち、候補隠れ状態ｈ～ ｔ＝ｔａｎｈ（Ｍｈ）、ゲーティングパラメータｇｔ＝σ（Ｍｇ）である。このようにして、コンピュータ機器は、候補隠れ状態ｈ～ ｔ及びゲーティングパラメータｇｔに基づき、ターゲット単語ベクトルのターゲット隠れ状態ｈｔを計算することができる。ターゲット隠れ状態は、
【数15】
【0122】
一実施例において、人間とコンピュータの対話の適用シナリオでは、コンピュータ機器が可変長の音声情報を受信すると、コンピュータ機器は、各瞬間に受信された音声情報をテキスト情報に変換し、当該テキスト情報をターゲット単語ベクトルにマッピングし、前記任意の実施例における言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップを介して、各ターゲット単語ベクトルのターゲット隠れ状態を生成する。
【0123】
コンピュータ機器は、生成された複数のターゲット隠れ状態の平均隠れ状態を計算し、当該平均隠れ状態をｈｔ－１として使用することができ、Ｘｔは０ベクトルである。ｈｔ－１及びＸｔに基づき第１集合単語ベクトルＭｈ及び第２集合単語ベクトルＭｇを計算する。コンピュータ機器は、第１集合単語ベクトルＭｈ及び第２集合単語ベクトルＭｇに基づき、候補隠れ状態ｈ～
ｔ及びゲーティングパラメータｇｔを計算する。候補隠れ状態ｈ～
ｔ＝ｔａｎｈ（Ｍｈ）、ゲーティングパラメータｇｔ＝σ（Ｍｇ）であり、式
に従って、中間隠れ状態ｈｔを取得する。例えば、中間隠れ状態ｈｔが１００個のベクトル要素を含むベクトルであると、中間隠れ状態ｈｔと１００＊Ｙを含む重み行列Ｗｖを乗算して、Ｙ個のベクトル要素を含む中間ベクトルを取得する。ｓｏｆｔｍａｘ（中間ベクトル）を介して、Ｙ個の確率値を取得でき、各１つの確率値は、単語リスト内の１つの単語に対応する確率を表す。例えばＹが１００００であると、コンピュータ機器は、１００００個の確率値を取得できる。
【数16】
【0124】
コンピュータ機器は、Ｙ個の確率値のうちの最大確率値に対応する単語を、現在の人間とコンピュータの対話コンピュータ機器が応答する必要がある最初の単語として使用する。コンピュータ機器は、コンピュータ機器が応答する必要がある最初の単語の単語ベクトルをＸｔとし、中間隠れ状態ｈｔをｈｔ－１として、ｈｔ－１及びＸｔに基づき第１集合単語ベクトルＭｈ及び第２集合単語ベクトルＭｇを計算するステップを実行し続け、同じ計算ステップに従って、コンピュータ機器は、応答する必要がある２番目の単語、３番目の単語、４番目の単語……を取得できる。取得された最大確率値が終了条件を満たされると、反復を終了する。さらに、終了条件は、最大確率値に対応する単語が指定された終了シンボルであることであり得る。
【0125】
図２、３、８及び１０は、一実施例の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法の例示的なフローチャートである。図２、３、８及び１０のフローチャートにおける各ステップは、矢印の指示に従って順次に表示されたが、これらのステップは、必ずしも矢印指示の順序に従って順次に実行することではないことを理解されたい。本明細書で明確に説明していない限り、これらのステップの実行には、厳密な順序制限はなく、これらのステップは、他の順序で実行できる。さらに、図２、３、８及び１０における少なくとも一部のステップは、複数のサブステップまたは複数の段階を含み、これらのサブステップまたは段階は、必ずしも同じ時間で実行して完成することではなく、異なる時間で実行でき、これらのサブステップまたは段階の実行順序も、順次に実行することではなく、他のステップまたは他のステップのサブステップまたは段階の少なくとも一部と順番にまたは交互に実行することができる。
【0126】
一実施例において、図１２に示されたように、言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置１２００を提供し、当該装置は、ソフトウェア、ハードウェア、または両者の組み合わせを介して、コンピュータ機器の一部またはすべてに実現でき、当該装置は、領域単語ベクトル生成モジュール１２０１と、領域単語ベクトル組み合わせモジュール１２０２と、集合変換処理モジュール１２０３と、ターゲット隠れ状態生成モジュール１２０４と、を備える。
【0127】
領域単語ベクトル生成モジュール１２０１は、最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するように構成される。
【0128】
領域単語ベクトル組み合わせモジュール１２０２は、各領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するように構成される。
【0129】
集合変換処理モジュール１２０３は、フィードフォワードニューラルネットワークに基づき各組み合わせ領域単語ベクトルに対して集合変換処理を実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得するように構成される。
【0130】
ターゲット隠れ状態生成モジュール１２０４は、集合単語ベクトルに基づきターゲット単語ベクトルに対応するターゲット隠れ状態を生成するように構成される。
【0131】
一実施例において、領域単語ベクトル生成モジュールは、さらに、少なくとも２つの第１重み行列を取得し、最初の瞬間に入力されたターゲット単語ベクトルを決定し、前の瞬間の履歴単語ベクトルに対応する履歴隠れ状態を取得し、第１重み行列及び履歴隠れ状態に基づき、ターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するように構成され、各第１重み行列は、対応する領域単語ベクトルを生成するために使用される。
【0132】
一実施例において、領域単語ベクトル生成モジュールは、さらに、ターゲット単語ベクトル及び履歴隠れ状態を連結して、連結単語ベクトルを取得し、連結単語ベクトル及び第１重み行列に従って領域単語ベクトル行列を生成するように構成され、領域単語ベクトル行列は、少なくとも２つの次元の領域単語ベクトルを含む。
【0133】
一実施例において、領域単語ベクトル組み合わせモジュールは、さらに、各領域単語ベクトル間のエッジ重みを決定し、決定された各エッジ重みに従って、各領域単語ベクトルに共に対応する隣接行列を生成し、それぞれ隣接行列の各次元の各エッジ重みをそれぞれ加算して、次数行列を取得し、隣接行列及び次数行列に基づき、少なくとも２つの次元の組み合わせ領域単語ベクトルを生成するように構成される。
【0134】
一実施例において、領域単語ベクトル組み合わせモジュールは、さらに、各領域単語ベクトルが共同に対応する領域単語ベクトル行列を決定し、組み合わせ領域単語ベクトル行列を生成するための第２重み行列を取得し、隣接行列、次数行列、領域単語ベクトル行列及び第２重み行列に従って、組み合わせ領域単語ベクトル行列を生成するように構成され、組み合わせ領域単語ベクトル行列には、少なくとも２つの次元の領域単語ベクトルが含まれる。
【0135】
一実施例において、領域単語ベクトル組み合わせモジュールは、さらに、
組み合わせ領域単語ベクトルを生成するために使用される第３重み行列に従って、各領域単語ベクトルに対応する少なくとも２つの予測ベクトルを決定し、
各領域単語ベクトルに対応する少なくとも２つの事前確率対数を決定し、事前確率対数に従って各領域単語ベクトルに対応する結合係数を決定し、結合係数及び予測ベクトルに基づき、少なくとも２つの次元の候補組み合わせ領域単語ベクトルを生成し、
再び前記各領域単語ベクトルに対応する少なくとも２つの事前確率対数を決定するステップから実行し始め、候補組み合わせ領域単語ベクトルを反復計算し、プリセットの反復条件が満たされると、反復を停止し、反復が停止されるときの少なくとも２つの次元の候補組み合わせ領域単語ベクトルを少なくとも２つの次元の組み合わせ領域単語ベクトルとして決定するように構成される。
組み合わせ領域単語ベクトルを生成するために使用される第３重み行列に従って、各領域単語ベクトルに対応する少なくとも２つの予測ベクトルを決定し、
各領域単語ベクトルに対応する少なくとも２つの事前確率対数を決定し、事前確率対数に従って各領域単語ベクトルに対応する結合係数を決定し、結合係数及び予測ベクトルに基づき、少なくとも２つの次元の候補組み合わせ領域単語ベクトルを生成し、
再び前記各領域単語ベクトルに対応する少なくとも２つの事前確率対数を決定するステップから実行し始め、候補組み合わせ領域単語ベクトルを反復計算し、プリセットの反復条件が満たされると、反復を停止し、反復が停止されるときの少なくとも２つの次元の候補組み合わせ領域単語ベクトルを少なくとも２つの次元の組み合わせ領域単語ベクトルとして決定するように構成される。
【0136】
一実施例において、領域単語ベクトル組み合わせモジュールは、さらに、各組み合わせ領域単語ベクトルと、対応する各予測ベクトルとのスカラ積を決定し、各スカラ積及び対応する事前確率対数を加算して、再決定された各領域単語ベクトルに対応する事前確率対数を取得するように構成される。
【0137】
一実施例において、集合変換処理モジュールは、さらに、フィードフォワードニューラルネットワークに基づき、各組み合わせ領域単語ベクトルを変換して、変換後の組み合わせ領域単語ベクトルを取得し、各変換後の組み合わせ領域単語ベクトルを連結して、連結された単語ベクトルを取得し、連結された単語ベクトルに対して線形変換を実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得するように構成される。
【0138】
一実施例において、集合変換処理モジュールは、さらに、第４重み行列及び第１オフセットベクトルに従って、各組み合わせ領域単語ベクトルに対して線形変換を実行して、各組み合わせ領域単語ベクトルに対応する一時的な単語ベクトルを取得し、各一時的な単語ベクトルとベクトル閾値のうちの最大ベクトル値をそれぞれ選択し、第５重み行列及び第２オフセットベクトルに従って、各最大ベクトル値に対して、それぞれ、線形変換を実行して、変換後の組み合わせ領域単語ベクトルを取得するように構成される。
【0139】
一実施例において、集合単語ベクトルは、第１集合単語ベクトルと第２集合単語ベクトルとを含み、第１集合単語ベクトルと第２集合単語ベクトルは異なり、
ターゲット隠れ状態生成モジュールは、さらに、第１集合単語ベクトル及び対応する第１活性化関数に基づき、ターゲット単語ベクトルに対応する候補隠れ状態を決定し、第２集合単語ベクトル及び対応する第２活性化関数に基づき、ターゲット単語ベクトルに対応するゲーティングパラメータを決定し、候補隠れ状態、ゲーティングパラメータ及び前の瞬間の履歴単語ベクトルの履歴隠れ状態に従って、ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するように構成される。
ターゲット隠れ状態生成モジュールは、さらに、第１集合単語ベクトル及び対応する第１活性化関数に基づき、ターゲット単語ベクトルに対応する候補隠れ状態を決定し、第２集合単語ベクトル及び対応する第２活性化関数に基づき、ターゲット単語ベクトルに対応するゲーティングパラメータを決定し、候補隠れ状態、ゲーティングパラメータ及び前の瞬間の履歴単語ベクトルの履歴隠れ状態に従って、ターゲット単語ベクトルに対応するターゲット隠れ状態を生成するように構成される。
【0140】
図１は、一実施例によるコンピュータ機器の内部構造図を示す。当該コンピュータ機器は、具体的に、端末またはサーバであり得る。図１に示されたように、当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインターフェースを備える。コンピュータ機器が端末である場合、当該コンピュータ機器は、さらに、スクリーンと入力装置などを備えることができることを理解されたい。ここで、メモリは、不揮発性記憶媒体と内部メモリとを含む。当該コンピュータ機器の不揮発性記憶媒体には操作システムが記憶され、コンピュータプログラムも記憶でき、当該コンピュータプログラムがプロセッサによって実行されるとき、プロセッサに言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法を実現させることができる。
【0141】
当該内部メモリにもコンピュータプログラムが九九されることができ、当該コンピュータプログラムがプロセッサによって実行されるとき、プロセッサに言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法を実行させることができる。コンピュータ機器が端末である場合、コンピュータ機器のスクリーンは、液晶スクリーンまたは電子インクスクリーンであり得、コンピュータ機器の入力装置は、スクリーン上でカバーされたタッチレイヤであってもよいし、コンピュータ機器のハウジングで設置されたボタン、トラックボールまたはタッチパッドであってもよいし、外部キーボード、トラックパッドまたはマウスなどであってもよい。
【0142】
当業者は、図１に示された構造は、本願技術案と関連する構造の一部のブロック図に過ぎず、本願技術案がそれに適用されるコンピュータ機器に対して制限を構成するものではない。具体的なコンピュータ機器は、図面で示されたものより多くまたは少ない部品を備えるか、またはある部品を組み合わせるか、または異なる部品配置を有する場合がある。
【0143】
一実施例において、本願に係る言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置は、コンピュータプログラムの形で実現でき、コンピュータプログラムは、図１に示されたコンピュータ機器で実行されることができる。コンピュータ機器のメモリには、例えば、図１２に示された領域単語ベクトル生成モジュール１２０１、領域単語ベクトル組み合わせモジュール１２０２、集合変換処理モジュール１２０３及びターゲット隠れ状態生成モジュール１２０４などの、当該言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置を構成する各プログラムモジュールを記憶できる。各プログラムモジュールによって構成されたコンピュータプログラムは、プロセッサに本明細書に説明された本願各実施例の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップを実行させる。
【0144】
例えば、図１に示されたコンピュータ機器は、図１２に示された言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置１２００内の領域単語ベクトル生成モジュール１２０１を介して、最初の瞬間に入力されたターゲット単語ベクトルの少なくとも２つの次元の領域単語ベクトルを生成するステップを実行することができる。コンピュータ機器は、領域単語ベクトル組み合わせモジュール１２０２を介して、領域単語ベクトル組み合わせモジュール１２０２は、各領域単語ベクトルを組み合わせて、少なくとも２つの次元の組み合わせ領域単語ベクトルを取得するステップを実行することができる。コンピュータ機器は、集合変換処理モジュール１２０３を介して、フィードフォワードニューラルネットワークに基づき各組み合わせ領域単語ベクトルに対して集合変換処理を実行して、ターゲット単語ベクトルに対応する集合単語ベクトルを取得するステップを実行することができる。コンピュータ機器は、ターゲット隠れ状態生成モジュール１２０４を介して集合単語ベクトルに基づきターゲット単語ベクトルに対応するターゲット隠れ状態を生成するステップを実行することができる。
【0145】
一実施例において、メモリとプロセッサとを備える、コンピュータ機器を提供し、メモリには、コンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されるとき、プロセッサに上記の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップを実行させる。ここでの言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップは、上述した各実施例の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップであり得る。
【0146】
一実施例において、コンピュータプログラムが記憶される、コンピュータ可読記憶媒体を提供し、コンピュータプログラムがプロセッサによって実行されるとき、プロセッサに上記の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップを実行させる。ここでの言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップは、上述した各実施例の言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成方法のステップであり得る。
【0147】
当業者なら自明であるが、前記実施例の方法のプロセスの全部または一部を実現することは、コンピュータプログラムによって関連するハードウェアを命令することを介して完了でき、上述したプログラムは、不揮発性コンピュータ可読取記憶媒体に記憶でき、当該プログラムが実行されるとき、上記の各方法の実施例のプロセスを含み得る。ここで、本願による各実施例に使用されるメモリ、記憶、データベースまたは他の媒体に対する任意の参照は、すべて不揮発性及び／または揮発性メモリに含まれることができる。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、電気的プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）またはフラッシュメモリを含み得る。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）または外部キャッシュメモリ。を含み得る制限ではなく説明として、ＲＡＭは、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、強化されたＳＤＲＡＭ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ）、同期リンクＤＲＡＭ（ＳＬＤＲＡＭ：ＳｙｎｃｈＬｉｎｋ ＤＲＡＭ）、ラムバスＤＲＡＭ（ＲＤＲＡＭ：Ｒａｍｂｕｓ ＤＲＡＭ）、及びインターフェースダイナミックランダムメモリ（ＤＲＤＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＤＲＡＭ）などの複数の形で取得できる。
【0148】
以上の実施例における様々な技術特徴は、任意に組み合わせることができ、説明の簡潔にために、上述した実施例における各技術特徴のすべての可能な組み合わせを説明していないが、特徴の間の組み合わせに矛盾がない限り、全て本明細書に記載の範囲と見なすべきである。
【0149】
以上に記載の実施例は、本願のいくつかのプリセットによって実施されることのみを表し、その説明は、具体的で詳細であるが、本願の特許の範囲に対する制限として理解されるべきではない。当業者にとって、本願の概念から逸脱することなく、いくつかの変形及び改善を加えることもでき、これらは全て本願の保護範囲に含まれると見なされるべきであることに留意されたい。したがって、本願の保護範囲は、添付の特許請求を基準とするべきである。
【符号の説明】
【0150】
100 コンピュータ機器
101 メモリ
102 プロセッサ
103 ネットワークインターフェース
104 システムバス
1200 言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置
1201 領域単語ベクトル生成モジュール
1202 領域単語ベクトル組み合わせモジュール
1203 集合変換処理モジュール
1204 ターゲット隠れ状態生成モジュール
101 メモリ
102 プロセッサ
103 ネットワークインターフェース
104 システムバス
1200 言語処理のためのリカレントニューラルネットワークにおける隠れ状態の生成装置
1201 領域単語ベクトル生成モジュール
1202 領域単語ベクトル組み合わせモジュール
1203 集合変換処理モジュール
1204 ターゲット隠れ状態生成モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】