▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
特開2022-110134特徴決定モデルのトレーニング方法、語意解析方法、装置、電子機器、記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022110134
(43)【公開日】2022-07-28
(54)【発明の名称】特徴決定モデルのトレーニング方法、語意解析方法、装置、電子機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06F 40/44 20200101AFI20220721BHJP
G06N 3/04 20060101ALI20220721BHJP
G06F 40/30 20200101ALI20220721BHJP
【ＦＩ】
G06F40/44
G06N3/04 154
G06F40/30
【審査請求】有
【請求項の数】18
【出願形態】ＯＬ
【公開請求】
(21)【出願番号】P 2022083062
(22)【出願日】2022-05-20
(31)【優先権主張番号】202110746978.2
(32)【優先日】2021-06-30
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】尚 駿 遠
(72)【発明者】
【氏名】王 碩 寰
(72)【発明者】
【氏名】丁 思 宇
【テーマコード（参考）】
5B091
【Ｆターム（参考）】
5B091AA15
5B091CA12
5B091EA01
(57)【要約】 （修正有）
【課題】特徴決定モデルのトレーニング方法、目標タスクに対して特徴決定モデルをトレーニングする方法及び目標タスクに対する語意解析方法を提供する。
【解決手段】特徴決定モデルのトレーニング方法は、特徴決定モデルが含む複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することと、特徴ベクトルに基づいて特徴決定モデルに対する事前トレーニングを実行することと、を含む。複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することは、現在段特徴決定層により、現在段特徴決定層により前セグメントに対して決定された前セグメント特徴ベクトルと前段特徴決定層により一つのセグメントに対して決定された前段特徴ベクトルに基づいて、一つのセグメントに対する現在段特徴ベクトルを決定することを含む。
【選択図】図１
【解決手段】特徴決定モデルのトレーニング方法は、特徴決定モデルが含む複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することと、特徴ベクトルに基づいて特徴決定モデルに対する事前トレーニングを実行することと、を含む。複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することは、現在段特徴決定層により、現在段特徴決定層により前セグメントに対して決定された前セグメント特徴ベクトルと前段特徴決定層により一つのセグメントに対して決定された前段特徴ベクトルに基づいて、一つのセグメントに対する現在段特徴ベクトルを決定することを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数段特徴決定層を含む特徴決定モデルを事前にトレーニングする方法であって、
複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することと、
前記特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行することとを含み、
前記複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することは、
現在段特徴決定層により複数のセグメントの一つのセグメントに対して、
前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定することを含む
特徴決定モデルの事前トレーニング方法。
複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することと、
前記特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行することとを含み、
前記複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することは、
現在段特徴決定層により複数のセグメントの一つのセグメントに対して、
前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定することを含む
特徴決定モデルの事前トレーニング方法。
【請求項2】
前記一つのセグメントに対する現在段特徴ベクトルを決定することは、
リカレントニューラルネットワーク ＲＮＮモデルやｔｒａｎｓｆｏｒｍｅｒモデルにより前セグメント特徴ベクトルをパラメータ化して前セグメント特徴ベクトルのパラメータ化結果を取得することと、
前記パラメータ化結果と前段特徴ベクトルに基づいて前記一つのセグメントに対する現在段特徴ベクトルを決定することと、を含む
請求項１に記載の方法。
リカレントニューラルネットワーク ＲＮＮモデルやｔｒａｎｓｆｏｒｍｅｒモデルにより前セグメント特徴ベクトルをパラメータ化して前セグメント特徴ベクトルのパラメータ化結果を取得することと、
前記パラメータ化結果と前段特徴ベクトルに基づいて前記一つのセグメントに対する現在段特徴ベクトルを決定することと、を含む
請求項１に記載の方法。
【請求項3】
前記一つのセグメントに対する現在段特徴ベクトルを決定することは、
第ｑ段の特徴決定層によりｐ番目のセグメントに対して、第ｑ段の特徴決定層によりｐ－１番目のセグメントに対して決定された前セグメント特徴ベクトルと第ｑ－１段の特徴決定層によりｐ番目のセグメントに対して決定された前段特徴ベクトルに基づいて、ｐ番目のセグメントの前段特徴ベクトルを決定することを含み、ここで１＜ｐ≦Ｍかつ１＜ｑ≦Ｎであり、Ｍが複数のセグメントの数であり、Ｎが特徴決定層の数である
請求項１に記載の方法。
第ｑ段の特徴決定層によりｐ番目のセグメントに対して、第ｑ段の特徴決定層によりｐ－１番目のセグメントに対して決定された前セグメント特徴ベクトルと第ｑ－１段の特徴決定層によりｐ番目のセグメントに対して決定された前段特徴ベクトルに基づいて、ｐ番目のセグメントの前段特徴ベクトルを決定することを含み、ここで１＜ｐ≦Ｍかつ１＜ｑ≦Ｎであり、Ｍが複数のセグメントの数であり、Ｎが特徴決定層の数である
請求項１に記載の方法。
【請求項4】
前記複数段特徴決定層により前記複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定する前に、仮想セグメントを挿入することと、
前記複数段特徴決定層により前記仮想セグメントの特徴ベクトルを決定することと、をさらに含み、
前記複数段特徴決定層により前記複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定することは、
現在段特徴決定層により、前記現在段特徴決定層により前記仮想セグメントに対して決定された仮想セグメント特徴ベクトル及び前記前段特徴決定層により前記一番目のセグメントに対して決定された前段特徴ベクトルに基づいて、前記一番目のセグメントに対する現在段特徴ベクトルを決定することを含む
請求項１に記載の方法。
前記複数段特徴決定層により前記仮想セグメントの特徴ベクトルを決定することと、をさらに含み、
前記複数段特徴決定層により前記複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定することは、
現在段特徴決定層により、前記現在段特徴決定層により前記仮想セグメントに対して決定された仮想セグメント特徴ベクトル及び前記前段特徴決定層により前記一番目のセグメントに対して決定された前段特徴ベクトルに基づいて、前記一番目のセグメントに対する現在段特徴ベクトルを決定することを含む
請求項１に記載の方法。
【請求項5】
前記複数のセグメントは順に配列される
請求項１に記載の方法。
請求項１に記載の方法。
【請求項6】
目標タスクに対して特徴決定モデルをトレーニングする方法であって、
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を予測することと、
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させることと、を含み、
前記特徴決定モデルは複数段特徴決定層を含み、前記処理すべきテキストは複数のセグメントを含み、
前記特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することは、
現在段特徴決定層により複数のセグメントの一つのセグメントに対して、
前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトル及び前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定することを含む
目標タスクに対する特徴決定モデルのトレーニング方法。
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を予測することと、
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させることと、を含み、
前記特徴決定モデルは複数段特徴決定層を含み、前記処理すべきテキストは複数のセグメントを含み、
前記特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することは、
現在段特徴決定層により複数のセグメントの一つのセグメントに対して、
前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトル及び前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定することを含む
目標タスクに対する特徴決定モデルのトレーニング方法。
【請求項7】
前記一つのセグメントに対する現在段特徴ベクトルを決定することは、
リカレントニューラルネットワーク ＲＮＮモデルやｔｒａｎｓｆｏｒｍｅｒモデルにより前セグメント特徴ベクトルをパラメータ化して前セグメント特徴ベクトルのパラメータ化結果を取得することと、
前記パラメータ化結果と前段特徴ベクトルに基づいて前記一つのセグメントに対する現在段特徴ベクトルを決定することと、を含む
請求項６に記載の方法。
リカレントニューラルネットワーク ＲＮＮモデルやｔｒａｎｓｆｏｒｍｅｒモデルにより前セグメント特徴ベクトルをパラメータ化して前セグメント特徴ベクトルのパラメータ化結果を取得することと、
前記パラメータ化結果と前段特徴ベクトルに基づいて前記一つのセグメントに対する現在段特徴ベクトルを決定することと、を含む
請求項６に記載の方法。
【請求項8】
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させることは、
前記解析結果に基づいて前記リカレントニューラルネットワークＲＮＮモデル又はｔｒａｎｓｆｏｒｍｅｒモデルにおける重みを調整することにより、前記パラメータ化結果を調整し、それにより前記現在段特徴決定層により前記一つのセグメントに対して決定された現在段特徴ベクトルを変更すること、を含む
請求項７に記載の方法。
前記解析結果に基づいて前記リカレントニューラルネットワークＲＮＮモデル又はｔｒａｎｓｆｏｒｍｅｒモデルにおける重みを調整することにより、前記パラメータ化結果を調整し、それにより前記現在段特徴決定層により前記一つのセグメントに対して決定された現在段特徴ベクトルを変更すること、を含む
請求項７に記載の方法。
【請求項9】
前記一つのセグメントに対する現在段特徴ベクトルを決定することは、
第ｑ段の特徴決定層によりｐ番目のセグメントに対して、第ｑ段の特徴決定層によりｐ－１番目のセグメントに対して決定された前セグメント特徴ベクトルと第ｑ－１段の特徴決定層によりｐ番目のセグメントに対して決定された前段特徴ベクトルに基づいて、ｐ番目のセグメントの前段特徴ベクトルを決定することを含み、ここで１＜ｐ≦Ｍかつ１＜ｑ≦Ｎであり、Ｍが複数のセグメントの数であり、Ｎが特徴決定層の数である
請求項６に記載の方法。
第ｑ段の特徴決定層によりｐ番目のセグメントに対して、第ｑ段の特徴決定層によりｐ－１番目のセグメントに対して決定された前セグメント特徴ベクトルと第ｑ－１段の特徴決定層によりｐ番目のセグメントに対して決定された前段特徴ベクトルに基づいて、ｐ番目のセグメントの前段特徴ベクトルを決定することを含み、ここで１＜ｐ≦Ｍかつ１＜ｑ≦Ｎであり、Ｍが複数のセグメントの数であり、Ｎが特徴決定層の数である
請求項６に記載の方法。
【請求項10】
前記複数段特徴決定層により前記複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定する前に、仮想セグメントを挿入することと、
前記複数段特徴決定層により前記仮想セグメントの特徴ベクトルを決定することと、をさらに含み、
前記複数段特徴決定層により前記複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定することは、
現在段特徴決定層により、前記現在段特徴決定層により前記仮想セグメントに対して決定された仮想セグメント特徴ベクトル及び前記前段特徴決定層により前記一番目のセグメントに対して決定された前段特徴ベクトルに基づいて、前記一番目のセグメントに対する現在段特徴ベクトルを決定することを含む
請求項６に記載の方法。
前記複数段特徴決定層により前記仮想セグメントの特徴ベクトルを決定することと、をさらに含み、
前記複数段特徴決定層により前記複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定することは、
現在段特徴決定層により、前記現在段特徴決定層により前記仮想セグメントに対して決定された仮想セグメント特徴ベクトル及び前記前段特徴決定層により前記一番目のセグメントに対して決定された前段特徴ベクトルに基づいて、前記一番目のセグメントに対する現在段特徴ベクトルを決定することを含む
請求項６に記載の方法。
【請求項11】
前記複数のセグメントは順に配列される
請求項６に記載の方法。
請求項６に記載の方法。
【請求項12】
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの目標タスクに対する解析結果を取得することと、を含み、
前記特徴決定モデルは、請求項６～１１に記載された方法によりトレーニングされる
目標タスクに対する語意解析方法。
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの目標タスクに対する解析結果を取得することと、を含み、
前記特徴決定モデルは、請求項６～１１に記載された方法によりトレーニングされる
目標タスクに対する語意解析方法。
【請求項13】
複数段特徴決定層を含む特徴決定モデルを事前にトレーニングする装置であって、
複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行するように構成される事前トレーニングモジュールとを含み、
前記特徴ベクトル決定モジュールは、さらに
現在段特徴決定層により、前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定するように構成される
特徴決定モデルの事前トレーニング装置。
複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行するように構成される事前トレーニングモジュールとを含み、
前記特徴ベクトル決定モジュールは、さらに
現在段特徴決定層により、前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定するように構成される
特徴決定モデルの事前トレーニング装置。
【請求項14】
目標タスクに対して特徴決定モデルをトレーニングする装置であって、
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を予測するように構成される解析結果予測モジュールと、
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させるように構成される調整モジュールと、を含み、
前記特徴決定モデルは複数段特徴決定層を含み、前記処理すべきテキストは複数のセグメントを含み、
前記特徴ベクトル決定モジュールはさらに、
現在段特徴決定層により、前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定するように構成される
目標タスクに対する特徴決定モデルのトレーニング装置。
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を予測するように構成される解析結果予測モジュールと、
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させるように構成される調整モジュールと、を含み、
前記特徴決定モデルは複数段特徴決定層を含み、前記処理すべきテキストは複数のセグメントを含み、
前記特徴ベクトル決定モジュールはさらに、
現在段特徴決定層により、前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定するように構成される
目標タスクに対する特徴決定モデルのトレーニング装置。
【請求項15】
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を取得するように構成される解析結果取得モジュールと、を含み、
前記特徴決定モデルは、請求項６～１１に記載された方法によりトレーニングされる
目標タスクに対する語意解析装置。
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を取得するように構成される解析結果取得モジュールと、を含み、
前記特徴決定モデルは、請求項６～１１に記載された方法によりトレーニングされる
目標タスクに対する語意解析装置。
【請求項16】
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信接続されたメモリとを備え、
前記メモリには、前記少なくとも一つのプロセッサにより実行可能な命令を記憶しており、
前記少なくとも一つのプロセッサが請求項１～１２のいずれか一項に記載の方法を実行することができるように、前記命令は、前記少なくとも一つのプロセッサにより実行される
電子機器。
前記少なくとも一つのプロセッサと通信接続されたメモリとを備え、
前記メモリには、前記少なくとも一つのプロセッサにより実行可能な命令を記憶しており、
前記少なくとも一つのプロセッサが請求項１～１２のいずれか一項に記載の方法を実行することができるように、前記命令は、前記少なくとも一つのプロセッサにより実行される
電子機器。
【請求項17】
コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、
前記コンピュータ命令は、前記コンピュータに請求項１～１２のいずれか一項に記載の方法を実行させる記憶媒体。
前記コンピュータ命令は、前記コンピュータに請求項１～１２のいずれか一項に記載の方法を実行させる記憶媒体。
【請求項18】
プロセッサにより実行される場合に、請求項１～１２のいずれか一項に記載の方法を実現するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はディープラーニングと自然言語処理の技術分野に関し、具体的には、テキスト解析に関し、より具体的には、特徴決定モデルのトレーニング方法、目標タスクに対して特徴決定モデルをトレーニングする方法、目標タスクに対する語意解析方法、装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラムに関する。
【背景技術】
【0002】
人工知能分野の急速な発展に伴い、自然言語処理技術は人工知能分野の岩として、ますます多くの注目を集めている。超強計算力により大量のテキストデータに超大パラメータ量のモデルをトレーニングすることにより、トレーニングされたモデルは多いタスク、少ないサンプルの汎用語意処理能力を有することができる。しかしながら、システムの計算能力が限られるため、このような膨大なモデルでのパラメータ調整が困難になる。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示は、特徴決定モデルのトレーニング方法、目標タスクに対して特徴決定モデルをトレーニングする方法、目標タスクに対する語意解析方法、装置、電子装置、コンピュータ記憶媒体及びコンピュータプログラムを提供した。
【0004】
本開示の一方面によれば、複数段特徴決定層を含む特徴決定モデルを事前にトレーニングする方法であって、
複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することと、
前記特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行することとを含み、
前記複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することは、
現在段特徴決定層により複数のセグメントの一つのセグメントに対して、
前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定することを含む
特徴決定モデルの事前トレーニング方法を提供した。
複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することと、
前記特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行することとを含み、
前記複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定することは、
現在段特徴決定層により複数のセグメントの一つのセグメントに対して、
前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定することを含む
特徴決定モデルの事前トレーニング方法を提供した。
【0005】
本開示の他の方面によれば、目標タスクに対して特徴決定モデルをトレーニングする方法であって、
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を予測することと、
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させることと、を含み、
前記特徴決定モデルは複数段特徴決定層を含み、前記処理すべきテキストは複数のセグメントを含み、
前記特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することは、
現在段特徴決定層により複数のセグメントの一つのセグメントに対して、
前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトル及び前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定することを含む
目標タスクに対する特徴決定モデルのトレーニング方法を提供した。
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を予測することと、
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させることと、を含み、
前記特徴決定モデルは複数段特徴決定層を含み、前記処理すべきテキストは複数のセグメントを含み、
前記特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することは、
現在段特徴決定層により複数のセグメントの一つのセグメントに対して、
前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトル及び前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定することを含む
目標タスクに対する特徴決定モデルのトレーニング方法を提供した。
【0006】
本開示のさらに別の方面によれば、特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定することと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの目標タスクに対する解析結果を取得することと、を含み、
前記特徴決定モデルは、上記例示的な実施例に記載された方法によりトレーニングされる
目標タスクに対する語意解析方法を提供した。
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの目標タスクに対する解析結果を取得することと、を含み、
前記特徴決定モデルは、上記例示的な実施例に記載された方法によりトレーニングされる
目標タスクに対する語意解析方法を提供した。
【0007】
本開示の他の方面によれば、複数段特徴決定層を含む特徴決定モデルを事前にトレーニングする装置であって、
複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行するように構成される事前トレーニングモジュールとを含み、
前記特徴ベクトル決定モジュールは、さらに
現在段特徴決定層により、前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定するように構成される
特徴決定モデルの事前トレーニング装置を提供した。
複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行するように構成される事前トレーニングモジュールとを含み、
前記特徴ベクトル決定モジュールは、さらに
現在段特徴決定層により、前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定するように構成される
特徴決定モデルの事前トレーニング装置を提供した。
【0008】
本開示の他の方面によれば、目標タスクに対して特徴決定モデルをトレーニングする装置であって、
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を予測するように構成される解析結果予測モジュールと、
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させるように構成される調整モジュールと、を含み、
前記特徴決定モデルは複数段特徴決定層を含み、前記処理すべきテキストは複数のセグメントを含み、
前記特徴ベクトル決定モジュールはさらに、
現在段特徴決定層により、前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定するように構成される
目標タスクに対する特徴決定モデルのトレーニング装置を提供した。
特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を予測するように構成される解析結果予測モジュールと、
前記解析結果に基づいて、前記特徴決定モデルを調整して、前記解析結果の損失値を収束させるように構成される調整モジュールと、を含み、
前記特徴決定モデルは複数段特徴決定層を含み、前記処理すべきテキストは複数のセグメントを含み、
前記特徴ベクトル決定モジュールはさらに、
現在段特徴決定層により、前記現在段特徴決定層により前記一つのセグメントの前セグメントに対して決定された前セグメント特徴ベクトルと前記現在段特徴決定層の前段特徴決定層により前記一つのセグメントに対して決定された前段特徴ベクトルに基づいて、前記一つのセグメントに対する現在段特徴ベクトルを決定するように構成される
目標タスクに対する特徴決定モデルのトレーニング装置を提供した。
【0009】
本開示のさらに他の方面によれば、特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を取得するように構成される解析結果取得モジュールと、を含み、
前記特徴決定モデルは、上記例示的な実施例に記載された方法によりトレーニングされる
目標タスクに対する語意解析装を提供した。
前記処理すべきテキストの特徴ベクトルに基づいて、前記処理すべきテキストの前記目標タスクに対する解析結果を取得するように構成される解析結果取得モジュールと、を含み、
前記特徴決定モデルは、上記例示的な実施例に記載された方法によりトレーニングされる
目標タスクに対する語意解析装を提供した。
【0010】
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の明細書により容易に理解される。
【0011】
図面の簡単な説明
図面は、本技術案をよりよく理解するためのものであり、本願を限定するものではない。
図面は、本技術案をよりよく理解するためのものであり、本願を限定するものではない。
【図面の簡単な説明】
【0012】
【図1】本開示の例示的な実施例に係る特徴決定モデルに事前トレーニングを行う方法のフローチャートである。
【図2A】本開示の例示的な実施例に係る特徴決定モデルの一例の概略図である。
【図3A】本開示の例示的な実施例に係る特徴決定モデルの他の例の概略図である。
【図4】本開示の例示的な実施例に係る目標タスクに対して特徴決定モデルをトレーニングする方法のフローチャートである。
【図5】本開示の例示的な実施例に係る目標タスクに対する語意解析方法のフローチャートである。
【図6】本開示の例示的な実施例に係る特徴決定モデルに事前トレーニングを行う装置のブロック図である。
【図7】本開示の例示的な実施例に係る目標タスクに対して特徴決定モデルをトレーニングする装置のブロック図である。
【図8】本開示の例示的な実施例に係る目標タスクに対する語意解析装置のブロック図である。
【図9】本開示の実施例に係る電子機器の他の例を実現するためのブロック図である。
【発明を実施するための形態】
【0013】
以下に図面を参照して本開示の例示的な実施例を説明し、ここで、理解するように、本開示の実施例の様々な詳細を含み、それらを例示的なものと考えるべきである。したがって、当業者であれば、ここで説明した実施例に対して様々な変更及び修正を行うことができ、本開示の範囲及び精神から逸脱することはない。同様に、明確かつ簡単に説明するために、以下の説明において公知の機能及び構造に対する説明を省略する。
【0014】
超強計算力により、大量のテキストデータに超大パラメータ量のモデルをトレーニングすることにより、事前にトレーニングされたモデルは多いタスク、少ないサンプルの汎用語意処理能力を有することができる。
【0015】
本開示の例示的な実施例は、特徴決定モデルに事前トレーニングを行う方法を提供した。図１は本開示の例示的な実施例に係る特徴決定モデルに事前トレーニングを行う方法のフローチャートである。特徴決定モデルは複数段特徴決定層を含むモデルであってもよく、例えば、ＥＲＮＩＥ－ＤＯＣモデル、ＢＥＲＴモデル等である。複数段特徴決定層は、特徴ベクトルを段階的に抽出するための複数の符号化層であってもよい。
【0016】
図１に示すように、特徴決定モデルに事前トレーニングを行う方法１００はステップＳ１１０及びステップＳ１２０を含むことができる。
【0017】
ステップＳ１１０において、特徴決定モデルに含まれる複数段特徴決定層により事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定する。例えば、事前トレーニングテキストに含まれる複数のセグメントは、順に配列され、特徴決定モデルの複数段特徴決定層に順次入力されてもよい。事前トレーニングテキストはラベル無し又は弱いラベルのテキストデータであってもよい。換言すれば、事前トレーニングテキストは様々な経路を介して収集された各分野に用いられる大量のテキストデータであってもよく、特定のトレーニング目標に対して用意されたトレーニングデータである必要がない。ラベル無し又は弱いラベルのテキストデータを用いてトレーニングすることにより、本開示の例示的な実施例に記載のトレーニング方法に基づいてトレーニングされた特徴決定モデルは汎用の語意解析能力を有する。
【0018】
一例において、特徴決定モデルに含まれる複数段特徴決定層により事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定するステップは、現在段特徴決定層により、現在段特徴決定層により現在セグメントの前セグメントに対して決定された前セグメント特徴ベクトルと、現在段特徴決定層の前段特徴決定層により現在セグメントに対して決定された前段特徴ベクトルに基づいて、現在セグメントに対する現在段特徴ベクトルを決定することを含むことができる。
【0019】
例えば、第ｑ段の特徴決定層の現在段特徴決定層によりｐ番目のセグメントの現在セグメントに対する現在段特徴ベクトルを決定する場合、第ｑ段の特徴決定層は第ｑ段の特徴決定層によりｐ－１番目のセグメントに対して決定された前セグメント特徴ベクトルと第ｑ－１段の特徴決定層によりｐ番目のセグメントに対して決定された第ｑ－１段の特徴ベクトルに基づいて、ｐ番目のセグメントの第ｑ段の特徴ベクトルを決定することができ、ここで１＜ｐ≦Ｍかつ１＜ｑ≦Ｎであり、かつＭは複数のセグメントの数であり、Ｎは特徴決定層の数である。該例では前セグメントを現在セグメントに隣接する前セグメントに例示的に示し、前段を現在段に隣接する前段に例示的に示すが、本開示はこれに限定されるものではなく、前セグメントは現在セグメントといくつかのセグメントを隔てるセグメントであってもよく、前段は現在段といくつかの段を隔てる段階であってもよい。
【0020】
ステップＳ１２０において、決定された特徴ベクトルに基づいて前記特徴決定モデルに対する事前トレーニングを実行する。例えば、事前に設定された符号化層に対応する復号化ネットワークに基づいて、特徴ベクトルを予測して、特徴ベクトルに対応する予測解析結果を得て、それにより事前トレーニングを実行することができる。
【0021】
前セグメント特徴ベクトルと前段特徴ベクトルとの両者に基づいて現在段特徴ベクトルを決定するため、本開示の例示的な実施例のトレーニング方法に基づいてトレーニングされた特徴決定モデルはコンテキストを組み合わせる能力を有し、それにより現在段特徴ベクトルをより正確に決定することができる。このように、提示ワードを手動で入力するという問題を回避することができ、効率及び正確率を向上させる。
【0022】
図２Ａは、本開示の例示的な実施例に係る特徴決定モデルの一例を示す図である。
図２Ａに示すように、特徴決定モデルは、例えば、第一段の特徴決定層２０１、第二段の特徴決定層２０２及び第三段の特徴決定層２０３ような複数段特徴決定層を含むことができる。当業者であれば、本明細書において特徴決定モデルを、三つ段の特徴決定層を含むとして例示的に示すが、本開示はこれに限定されるものではなく、本開示の例示的な実施例に係る特徴決定モデルはより多い又はより少ない特徴決定層を含むことができる。
図２Ａに示すように、特徴決定モデルは、例えば、第一段の特徴決定層２０１、第二段の特徴決定層２０２及び第三段の特徴決定層２０３ような複数段特徴決定層を含むことができる。当業者であれば、本明細書において特徴決定モデルを、三つ段の特徴決定層を含むとして例示的に示すが、本開示はこれに限定されるものではなく、本開示の例示的な実施例に係る特徴決定モデルはより多い又はより少ない特徴決定層を含むことができる。
【0023】
また、図２Ａに示す特徴決定モデルにおいて、第ｑ段の特徴決定層について、ｐ番目のセグメントに対する第ｑ段の特徴ベクトルを決定する場合、第ｑ段の特徴決定層は、第ｑ－１段の特徴決定層により第ｐ番目のセグメントに対して決定された第ｑ－１段の特徴ベクトルを受信するだけでなく、さらに第ｑ段の特徴決定層によりｐ－１番目のセグメントに対して決定された第ｑ段の特徴ベクトルを取得し、かつこれに基づいて第ｐ番目のセグメントの第ｑ段の特徴ベクトルを決定することができ、ここで１＜ｐ≦Ｍかつ１＜ｑ≦Ｎであり、かつＭは複数のセグメントの数であり、Ｎは特徴決定層の数である。以上により、図２Ａに示す特徴決定モデルにおいて、現在段特徴決定層は、自身の現在セグメントの特徴ベクトルに対する記憶を結合して、現在セグメントに対する現在段特徴ベクトルを決定することができる。
【0024】
図２Ｂは、図２Ａに示した特徴決定モデルに対して事前トレーニングを行う例の概略図を示す。図２Ｂに示すように、事前トレーニングテキスト２０は、まず、複数のセグメントＳ１～Ｓ４に分割される。セグメントＳ１～Ｓ４は、例えば、長いテキストの事前トレーニングテキスト２０をスライディングシャードすることにより生成された短いテキストであってもよい。セグメントＳ１～Ｓ４は、特徴決定モデルを順次に入力することにより、セグメントＳ１～Ｓ４に対応する特徴ベクトルを決定することができる。当業者であれば理解できるように、図２Ｂに示すのは単に例示であり、本開示の実施例はこれに限定されるものではない。
【0025】
例えば、セグメントＳ１を特徴決定モデルに入力する場合、まず、第一段の特徴決定層２０１はセグメントＳ１に対する第一段の特徴ベクトルＰ（Ｓ１、１）を取得することができる。続いて、第二段の特徴決定層２０２は第一段の特徴決定層２０１からの第一段の特徴ベクトルＰ（Ｓ１、１）に基づいて第二段の特徴ベクトルＰ（Ｓ１、２）を取得することができる。第三段の特徴決定層２０３は第二段の特徴決定層２０２からの第二段の特徴ベクトルＰ（Ｓ１、２）に基づいて、第三段の特徴ベクトルＰ（Ｓ１、３）を取得することができる。
【0026】
セグメントＳ２を特徴決定モデルに入力する場合、第一段の特徴決定層２０１はセグメントＳ２に対する第一段の特徴ベクトルＰ（Ｓ２、１）を取得することができる；次に、第二段の特徴決定層２０２は、セグメントＳ２に対する第一段の特徴ベクトルＰ（Ｓ２、１）（又は「前段特徴ベクトル」と呼ばれる）及びセグメントＳ１に対する第二段の特徴ベクトルＰ（Ｓ１、２）（又は「前セグメント特徴ベクトル」と呼ばれる）に基づいて、セグメントＳ２に対する第二段の特徴ベクトルＰ（Ｓ２、２）を取得することができる；第三段の特徴決定層２０３は、セグメントＳ２に対する第二段の特徴ベクトルＰ（Ｓ２、２）及びセグメントＳ１に対する第三段の特徴ベクトルＰ（Ｓ１、３）に基づいて、セグメントＳ２に対する第三段の特徴ベクトルＰ（Ｓ２、３）を取得することができる。
【0027】
同様に、セグメントＳ３を特徴決定モデルに入力する場合、第一段の特徴決定層２０１はセグメントＳ３に対する第一段の特徴ベクトルＰ（Ｓ３、１）を取得することができる；次に、第二段の特徴決定層２０２はセグメントＳ３に対する第一段の特徴ベクトルＰ（Ｓ３、１）及びセグメントＳ２に対する第二段の特徴ベクトルＰ（Ｓ２、２）に基づいて、セグメントＳ３に対する第二段の特徴ベクトルＰ（Ｓ３、２）を取得することができる；第三段の特徴決定層２０３はセグメントＳ３に対する第二段の特徴ベクトルＰ（Ｓ３、２）及びセグメントＳ２に対する第三段の特徴ベクトルＰ（Ｓ２、３）に基づいて、セグメントＳ３に対する第三段の特徴ベクトルＰ（Ｓ３、３）を取得することができる。
【0028】
セグメントＳ４を特徴決定モデルに入力する場合、第一段の特徴決定層２０１はセグメントＳ４に対する第一段の特徴ベクトルＰ（Ｓ４、１）を取得することができる。続いて、第二段の特徴決定層２０２はセグメントＳ４に対する第一段の特徴ベクトルＰ（Ｓ４、１）及びセグメントＳ３に対する第二段の特徴ベクトルＰ（Ｓ３、２）に基づいて、セグメントＳ４に対する第二段の特徴ベクトルＰ（Ｓ４、２）を取得することができる。第三段の特徴決定層２０３はセグメントＳ４に対する第二段の特徴ベクトルＰ（Ｓ４、２）及びセグメントＳ３に対する第三段の特徴ベクトルＰ（Ｓ３、３）に基づいて、セグメントＳ４に対する第三段の特徴ベクトルＰ（Ｓ４、３）を取得することができる。
【0029】
このようにして得られたセグメントＳ４に対する第三段の特徴ベクトルＰ（Ｓ４、３）は、全ての前セグメントの情報を含むことができる。したがって、本開示の例示的な実施例に記載のトレーニング方法に基づいてトレーニングされた特徴決定モデルは、コンテキストを組み合わせる能力を有し、それにより現在段特徴ベクトルをより正確に決定することができる。したがって、提示ワードを手動で入力するという問題を回避し、効率及び正確率を向上させることができる。
【0030】
図３Ａは、本開示の例示的な実施例に係る特徴決定モデルの他の例を示す概略図である。図２Ａと同様に、図３Ａに示す特徴決定モデルは、例えば、第一段の特徴決定層３０１、第二段の特徴決定層３０２及び第三段の特徴決定層３０３ような複数段特徴決定層を含むことができる。
【0031】
図２Ａに示す例とは異なり、前セグメントが記憶された特徴ベクトルのリストをパラメータ化するように、図３Ａに示す特徴決定モデルは、複数のパラメータ化モデルを付加的に含むことができ、これにより特徴決定モデルを調整する必要がある場合、パラメータ化モデルのパラメータを調整することにより特徴決定モデルを調整することを実現することができる。前セグメントが記憶された特徴ベクトルのリストは、ストレージ構造やＭｅｍｏｒｙ構造と呼ばれてもよい。パラメータ化モデルは、Ｍｅｍｏｒｙ構造をパラメータ化することにより、パラメータ化モデルのパラメータを調整することにより特徴決定モデルを調整することを実現することができる。また、パラメータ化モデルの規模を制御することにより、パラメータ化モデルの少量のパラメータを調整するだけで特定の目標タスクを適応する効果を実現することができる。
【0032】
リカレントニューラルネットワーク （ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＲＮＮ）モデルや変換（ｔｒａｎｓｆｏｒｍｅｒ）モデル等の複数のモデルを利用して、パラメータ化モデルを実現することができる。
【0033】
特徴決定モデルの下位の特徴決定層は、一般的により汎用の特徴ベクトル又はより汎用の知識を学習することができ、上位の特徴決定層は、通常、特定のタスクに関連する特徴ベクトル又は知識を学習することができるため、異なる特徴決定層に対するパラメータ化モデルを区別して配置することができる。例えば、下位の特徴決定層に対するパラメータ化モデルを、少ないパラメータを有するように設計し、上位の特徴決定層に対するパラメータ化モデルを、多いパラメータを有するように設計することにより、特徴決定モデルの汎用の語意解析能力をを破壊さずに、様々なタスクの需要を適応させることをサポートする。
【0034】
図３Ａに示すように、複数のパラメータ化モデルは、下位の特徴決定層に対する第一パラメータ化モデル３０４及び上位の特徴決定層に対する第二パラメータ化モデル３０５を含むことができる。前記のように、第一パラメータ化モデル３０４と第二パラメータ化モデル３０５は異なる配置であってもよく、ここで第一パラメータ化モデル３０４は少ないパラメータを有するように配置され、第二パラメータ化モデル３０５は第一パラメータ化モデル３０４よりも多くのパラメータを有するように配置される。
【0035】
図３Ｂは、図３Ａに示した特徴決定モデルに対して事前トレーニングを行う例を示す概略図である。図３Ｂに示すように、事前トレーニングテキスト３０のセグメントＳ１を特徴決定モデルに入力する場合、図２Ｂに示されているものと同様に、セグメントＳ１に対する第一段の特徴ベクトルＰ（Ｓ１、１）、第二段の特徴ベクトルＰ（Ｓ１、２）及び第三段の特徴ベクトルＰ（Ｓ１、３）を取得することができる。
【0036】
セグメントＳ２を特徴決定モデルに入力する場合、第一段の特徴決定層３０１はセグメントＳ２に対する第一段の特徴ベクトルＰ（Ｓ２、１）を取得することができる。続いて、第二段の特徴決定層３０２は特徴ベクトルＰ（Ｓ２、１）及び第一パラメータ化モデル３０４からのセグメントＳ１に対する第二段の特徴ベクトルのパラメータ化結果Ｐ（Ｓ１、２）Ｐに基づいて、セグメントＳ２に対する第二段の特徴ベクトルＰ’（Ｓ２、２）を取得することができる。第三段の特徴決定層３０３はセグメントＳ２に対する第二段の特徴ベクトルＰ’（Ｓ２、２）及び第二パラメータ化モデル３０５からのセグメントＳ１に対する第三段の特徴ベクトルのパラメータ化結果Ｐ（Ｓ１、３）Ｐに基づいて、セグメントＳ２に対する第三段の特徴ベクトルＰ’（Ｓ２、３）を取得することができる。
【0037】
同様に、セグメントＳ３を特徴決定モデルに入力する場合、第一段の特徴決定層３０１はセグメントＳ３に対する第一段の特徴ベクトルＰ（Ｓ３、１）を取得することができる。第二段の特徴決定層３０２は特徴ベクトルＰ（Ｓ３、１）及びパラメータ化結果Ｐ（Ｓ２、２）Ｐに基づいて、セグメントＳ３に対する第二段の特徴ベクトルＰ’（Ｓ３、２）を取得することができる；第三段の特徴決定層３０３は特徴ベクトルＰ’（Ｓ３、２）及びパラメータ化結果Ｐ（Ｓ２、３）Ｐに基づいて、セグメントＳ３に対する第三段の特徴ベクトルＰ’（Ｓ３、３）を取得することができる。
【0038】
セグメントＳ４を特徴決定モデルに入力する場合、第一段の特徴決定層３０１はセグメントＳ４に対する第一段の特徴ベクトルＰ（Ｓ４、１）を取得することができる；第二段の特徴決定層３０２は特徴ベクトルＰ（Ｓ４、１）及びパラメータ化結果Ｐ（Ｓ３、２）Ｐに基づいて、セグメントＳ４に対する第二段の特徴ベクトルＰ’（Ｓ４、２）を取得することができる。第三段の特徴決定層３０３は特徴ベクトルＰ’（Ｓ４、２）及びパラメータ化結果Ｐ（Ｓ３、３）Ｐに基づいて、セグメントＳ４に対する第三段の特徴ベクトルＰ’（Ｓ４、３）を取得することができる。
【0039】
以上のように、上記例示的な実施例に記載の方法に基づいてトレーニングされた特徴決定モデルは、コンテキストを組み合わせる能力を有するだけでなく、下流タスクに適応する場合、パラメータ化モデルのパラメータを調整することにより特徴決定モデルの調整を実現することができる。また、パラメータ化モデルの少量のパラメータを制御することにより、特徴決定モデルを調整して特定の目標タスクに適応する効果を実現することができる。
【0040】
別の例において、本開示の例示的な実施例に係るトレーニング方法は以下のことをさらに含む。複数段特徴決定層により複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定する前に、仮想セグメントを挿入し、一番目のセグメントの前セグメントとすることにより、一番目のセグメントが同様に前セグメントの情報を参照することをサポートすることができる。このような状況で、複数段特徴決定層により仮想セグメントの特徴ベクトルを決定し、複数段特徴決定層により複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定する場合、現在段特徴決定層により現在段特徴決定層で仮想セグメントに対して決定された仮想セグメント特徴ベクトル及び前段特徴決定層で一番目のセグメントに対して決定された前段特徴ベクトルに基づいて、一番目のセグメントに対する現在段特徴ベクトルを決定する。仮想セグメントを設定することにより、一番目のセグメントをサポートしても前セグメントの情報を利用することができ、それにより事前トレーニング及び微調整の入力ノルムを統一することができる。
【0041】
本開示の例示的な実施例はさらに目標タスクに対して特徴決定モデルをトレーニングする方法を提供した。図４は本開示の例示的な実施例に係る目標タスクに対して特徴決定モデルをトレーニングする方法のフローチャートである。
【0042】
図４に示すように、前記方法４００は以下の操作を含むことができる。
ステップＳ４１０において、特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定する。前記のように、特徴決定モデルは複数段特徴決定層を含み、処理すべきテキストは複数のセグメントを含む。複数のセグメントは、順次に配列され、特徴決定モデルに順次に入力される。
ステップＳ４１０において、特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定する。前記のように、特徴決定モデルは複数段特徴決定層を含み、処理すべきテキストは複数のセグメントを含む。複数のセグメントは、順次に配列され、特徴決定モデルに順次に入力される。
【0043】
現在段特徴決定層によりあるセグメントに対する現在段特徴ベクトルを決定する場合、現在段特徴決定層により前セグメントに対して決定された前セグメント特徴ベクトルと前段特徴決定層により該セグメントに対して決定された前段特徴ベクトルに基づいて、該セグメントに対する現在段特徴ベクトルを決定することができる。例えば、第ｑ段の特徴決定層はｐ番目のセグメントに対する第ｑ段の特徴ベクトルを決定する場合、第ｑ段の特徴決定層により第ｐ－１段のセグメントに対して決定された第ｑ段の特徴ベクトルと第ｑ－１段の特徴決定層によりｐ番目のセグメントに対して決定された第ｑ－１段の特徴ベクトルに基づいて、第ｐ番目のセグメントの第ｑ段の特徴ベクトルを決定することができ、ここで１＜ｐ≦Ｍかつ１＜ｑ≦Ｎであり、Ｍは複数のセグメントの数であり、Ｎは特徴決定層の数である。
【0044】
別の例において、特徴決定モデルがさらにパラメータ化モデルを含む場合、さらにパラメータ化モデルにより前セグメント特徴ベクトルをパラメータ化することにより、前セグメント特徴ベクトルのパラメータ化結果を得て、パラメータ化結果及び前段特徴ベクトルに基づいて、該セグメントに対する現在段特徴ベクトルを決定することができる。
【0045】
ステップＳ４２０において、処理すべきテキストの特徴ベクトルに基づいて、処理すべきテキストの該目標タスクに対する解析結果を予測する。例えば、目標タスクの解析モデルに対して処理すべきテキストの特徴ベクトルを解析することにより、処理すべきテキストの該目標タスクに対する解析結果を予測することができる。
【0046】
ステップＳ４３０において、解析結果に基づいて、特徴決定モデルを調整することにより、予測された解析結果の損失値を収束させる。例えば、特徴決定モデルがさらにＲＮＮモデル又はＴｒａｎｓｆｏｒｍｅｒモデルのパラメータ化モデルを含む場合に、該解析結果に基づいてリカレントニューラルネットワークＲＮＮモデル又はｔｒａｎｓｆｏｒｍｅｒモデルにおける重みを調整することにより、パラメータ化結果を調整し、それにより現在段特徴決定層により該セグメントに対して決定された現在段特徴ベクトルを変更し、特徴決定モデルを調整して下流目標タスクに適応するという目的を達成することができる。
【0047】
別の例において、本開示の例示的な実施例に係るトレーニング方法はさらに以下のことを付加的に含むことができる。複数段特徴決定層により複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定する前に、仮想セグメントを挿入する；複数段特徴決定層により仮想セグメントの特徴ベクトルを決定する。このような状況で、複数段特徴決定層により複数のセグメントのうちの一番目のセグメントの特徴ベクトルを決定する場合、現在段特徴決定層は現在段特徴決定層により仮想セグメントに対して決定された仮想セグメントの特徴ベクトル及び前段特徴決定層により一番目のセグメントに対して決定された前段特徴ベクトルに基づいて、一番目のセグメントに対する現在段特徴ベクトルを決定することができる。
【0048】
以上、目標タスクについて特徴決定モデルをトレーニングする方法について説明した。目標タスクを組み合わせて前セグメント特徴ベクトルと前段特徴ベクトルの両者に基づいて現在段特徴ベクトルを決定し、本開示の例示的な実施例に記載の方法でトレーニングされた特徴決定モデルがコンテキストの情報を組み合わせることができ、それにより、特定の目標タスクに対して迅速に収束することができる。また、パラメータ化モデルを介して特徴決定モデルを調整することにより、調整する必要があるパラメータ量を減少させることができ、それにより元のモデル構造を破壊しなく、特徴決定モデルを特定の目標タスクに適応させる。また、仮想セグメントを設定することにより、本開示の例示的な実施例に記載のトレーニング方法によって事前トレーニングと微調整入力の一致性を保持することができる。本開示の例示的な実施例によれば、さらに目標タスクに対する語意解析方法が提供される。図５は本発明の例示的な実施例に係る目標タスクに対する語意解析方法５００のフローチャートである。図５に示すように、本開示の例示的な実施例に係る目標タスクに対する語意解析方法５００の方法は以下の操作を含むことができる。
【0049】
ステップＳ５１０において、特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定する。
【0050】
ステップＳ５２０において、処理すべきテキストの特徴ベクトルに基づいて、処理すべきテキストの目標タスクに対する解析結果を取得する。特徴決定モデルは、上述した本開示の実施例に記載の方法によりトレーニングされる。
【0051】
本開示の例示的な実施例に係る目標タスクに対する語意解析方法によれば、目標タスクを組み合わせて前セグメント特徴ベクトルと前段特徴ベクトルの両者に基づいて現在段特徴ベクトルを決定することにより、コンテキスト情報を組み合わせ、より正確な解析結果を取得することができる。
【0052】
また、本開示の例示的な実施例はさらに特徴決定モデルに事前トレーニングを行う装置を提供する。図６は本開示の例示的な実施例に係る特徴決定モデルに対して事前トレーニングを行う装置のブロック図である。特徴決定モデルは複数段特徴決定層を含むモデルであってもよく、例えば、ＥＲＮＩＥ－ＤＯＣモデル、ＢＥＲＴモデル等である。複数段特徴決定層は、特徴ベクトルを段階的に抽出するための複数の符号化層であってもよい。
【0053】
図６に示すように、装置６００は特徴ベクトル決定モジュール６１０及び事前トレーニングモジュール６２０を含むことができる。
【0054】
特徴ベクトル決定モジュール６１０は、複数段特徴決定層により、事前トレーニングテキストに含まれる複数のセグメントのそれぞれの特徴ベクトルを決定するように構成されていてもよい。事前トレーニングテキストに含まれる複数のセグメントは順に配列されてもよく、特徴決定モデルの複数段特徴決定層に順次に入力される。事前トレーニングテキストはラベル無し又は弱いラベルのテキストデータであってもよい。換言すれば、事前トレーニングテキストは、特定のトレーニング目標に対して用意されたトレーニングデータである必要がなく、様々な経路を介して収集された各分野に用いられる大量のテキストデータであってもよい。
【0055】
事前トレーニングモジュール６２０は決定された特徴ベクトルに基づいて特徴決定モデルに対する事前トレーニングを実行するように構成されてもよい。例えば、事前に設定された符号化層に対応する復号化ネットワークに基づいて、特徴ベクトルを予測して、特徴ベクトルに対応する予測解析結果を取得することができる。
【0056】
一例において、特徴ベクトル決定モジュール６１０はさらに以下のように構成されてもよい。現在段特徴決定層により、現在段特徴決定層により該セグメントの前セグメントに対して決定された前セグメント特徴ベクトルと現在段特徴決定層の前段特徴決定層により該セグメントに対して決定された前段特徴ベクトルに基づいて、該セグメントに対する現在段特徴ベクトルを決定する。例えば、第ｑ段の特徴決定層の現在段特徴決定層によりｐ番目のセグメントの現在セグメントに対する現在段特徴ベクトルを決定する場合、第ｑ段の特徴決定層は第ｑ段の特徴決定層によりｐ－１番目のセグメントに対して決定された前セグメント特徴ベクトルと第ｑ－１段の特徴決定層によりｐ番目のセグメントに対して決定された第ｑ－１段の特徴ベクトルに基づいて、ｐ番目のセグメントの第ｑ段の特徴ベクトルを決定することができ、ここで１＜ｐ≦Ｍかつ１＜ｑ≦Ｎであり、かつＭは複数のセグメントの数であり、Ｎは特徴決定層の数である。
【0057】
別の例において、特徴決定モデルは前セグメントが記憶された特徴ベクトルのリストをパラメータ化するための複数のパラメータ化モデルを付加的に含む場合、特徴ベクトル決定モジュール６１０はさらに、パラメータ化モデルにより前セグメント特徴ベクトルをパラメータ化し、それにより前セグメント特徴ベクトルのパラメータ化結果を取得する；パラメータ化結果及び前段特徴ベクトルに基づいて、該セグメントに対する現在段特徴ベクトルを決定するように構成されてもよい。
【0058】
以上のように、上記例示的な実施例の装置によりトレーニングされた特徴決定モデルに基づいてコンテキストを組み合わせる能力を有するだけでなく、下流タスクに適応する場合、パラメータ化モデルのパラメータを調整することにより特徴決定モデルの調整を実現することができる。また、パラメータ化モデルの少量のパラメータを制御するにより、特徴決定モデルを調整して特定の目標タスクに適応する効果を実現することができる。
【0059】
本開示の例示的な実施例はさらに目標タスクに対して特徴決定モデルをトレーニングする装置を提供した。図７は本開示の例示的な実施例に係る目標タスクについて特徴決定モデルをトレーニングする装置のブロック図である。特徴決定モデルは複数段特徴決定層を含み、処理すべきテキストは複数のセグメントを含む。
【0060】
前記装置７００は特徴ベクトル決定モジュール７１０、解析結果予測モジュール７２０及び調整モジュール７３０を含むことができる。
【0061】
特徴ベクトル決定モジュール７１０は、特徴決定モデルにより、処理すべきテキストの特徴ベクトルを決定するように構成されていてもよい。特徴ベクトル決定モジュール７１０はさらに、現在段特徴決定層により、現在段特徴決定層により現在セグメントの前セグメントに基づいて決定された前セグメント特徴ベクトルと現在段特徴決定層の前段特徴決定層により該セグメントに対して決定された前段特徴ベクトルに基づいて、該セグメントに対する現在段特徴ベクトルを決定するように構成されてもよい。別の例において、特徴決定モデルがさらにパラメータ化モデルを含む場合、特徴ベクトル決定モジュール７１０はさらにパラメータ化モデルにより前セグメント特徴ベクトルをパラメータ化することにより、前セグメント特徴ベクトルのパラメータ化結果を得て、パラメータ化結果及び前段特徴ベクトルに基づいて、現在セグメントに対する現在段特徴ベクトルを決定することができる。
【0062】
解析結果予測モジュール７２０は処理すべきテキストの特徴ベクトルに基づいて、処理すべきテキストの該目標タスクに対する解析結果を予測するように構成されてもよい。例えば、目標タスクに対する解析モデルで処理すべきテキストの特徴ベクトルを解析することにより、処理すべきテキストの該目標タスクに対する解析結果を予測することができる。
【0063】
調整モジュール７３０は予測された解析結果に基づいて、特徴決定モデルを調整し、これにより解析結果の損失値を収束させるように構成されてもよい。例えば、特徴決定モデルがさらにパラメータ化モデルを含む場合、解析結果に基づいてリカレントニューラルネットワークＲＮＮモデル又はｔｒａｎｓｆｏｒｍｅｒモデルにおける重みを調整することにより、パラメータ化結果を調整することができ、それにより現在段特徴決定層により現在セグメントに対して決定された現在段特徴ベクトルを変更し、特徴決定モデルを調整して下流目標タスクに適応するという目的を達成する。
【0064】
以上、目標タスクに対して特徴決定モデルをトレーニングする装置について説明した。目標タスクを組み合わせて前セグメント特徴ベクトルと前段特徴ベクトルとの両者に基づいて現在段特徴ベクトルを決定し、本開示の例示的な実施例に記載の装置がトレーニングした特徴決定モデルに基づいて、コンテキストの情報を組み合わせ、特定の目標タスクに対して迅速に収束することができる。また、パラメータ化モデルを介して特徴決定モデルを調整することにより、調整する必要があるパラメータ量を減少させることができ、それにより元のモデル構造を破壊しなく、特徴決定モデルを特定の目標タスクに適応させる。
【0065】
本開示の例示的な実施例はさらに目標タスクに対する語彙語意解析装置を提供した。図８は本開示の例示的な実施例に係る目標タスクに対する語意解析装置のブロック図である。
【0066】
図８に示すように、前記装置８００は、特徴ベクトル決定モジュール８１０及び解析結果取得モジュール８２０を含むことができる。
【0067】
特徴ベクトル決定モジュール８１０は、特徴決定モデルにより処理すべきテキストの特徴ベクトルを決定するように構成されていてもよい。解析結果取得モジュール８２０は、処理すべきテキストの特徴ベクトルに基づいて、処理すべきテキストの目標タスクに対する解析結果を取得することができ、ここで前記特徴決定モデルは本開示の上記例示的な実施例に記載の方法に基づいてトレーニングされる。
【0068】
本開示の実施例に係る目標タスクに対する語意解析装置は、目標タスクを組み合わせて前セグメント特徴ベクトルと前段特徴ベクトルとの両者に基づいて現在段特徴ベクトルを決定することにより、コンテキスト情報を組み合わせ、より正確な解析結果を取得することができる。
【0069】
本開示の技術案において、係るユーザの個人情報の記録、記憶及び応用等は、いずれも関連法律・法規の規定に適合し、かつ公序良俗に反するものではない。
【0070】
本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体及びコンピュータプログラムをさらに提供した。
【0071】
図９は、本開示の実施例を実施可能な例示的な電子機器９００の概略的なブロック図を示す。電子機器は、例えば、ラップトップ型コンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータという様々な形式のデジタルコンピュータを表示する。電子機器は、さらに、例えば、個人デジタルプロセス、携帯電話、スマートフォン、ウェアラブル装置及び他の類似の計算装置という様々な形式の移動装置を表示することができる。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定するものではない。
【0072】
図９に示すように、機器９００は計算ユニット９０１を含み、リードオンリーメモリ（ＲＯＭ）９０２に記憶されたコンピュータプログラム又は記憶ユニット９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる。ＲＡＭ ９０３には、さらに機器９００の操作に必要な様々なプログラム及びデータをさらに記憶することができる。計算ユニット９０１、ＲＯＭ ９０２、およびＲＡＭ ９０３は、バス９０４により相互に接続されている。入出力（Ｉ／Ｏ）インタフェース９０５もバス９０４に接続されている。
【0073】
機器９００における複数の部品は、Ｉ／Ｏインタフェース９０５に接続され、例えばキーボード、マウス等の入力ユニット９０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力ユニット９０７と、例えば磁気ディスク、光ディスク等の記憶ユニット９０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット９０９と、を含む。通信ユニット９０９は、機器９００は、例えばインターネット等のコンピュータネットワーク及び／又は様々な電気通信網を介して他の機器と情報／データをやり取りすることを許可する。
【0074】
計算ユニット９０１は、処理及び計算能力を有する各種の汎用及び／又は専用の処理モジュールであることができる。計算ユニット９０１のいくつかの例示として、中央処理ユニット（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）計算チップ、各種の運行機械学習モデルアルゴリズムの計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を含むが、これらに限定されるものではない。計算ユニット９０１は、上記説明した各方法及び処理、例えば図２Ａ～図５に示す方法とステップを実行する。例えば、いくつかの実施例において、図２Ａ～図５に示す方法とステップは、コンピュータソフトウェアプログラムとして実現され、例えば記憶ユニット９０８という機械可読媒体に有形的に含まれる。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ ９０２及び／又は通信ユニット９０９を介して機器９００にロード及び／又はインストールされることができる。コンピュータプログラムがＲＡＭ ９０３にロードされ計算ユニット９０１により実行される場合、上記説明した方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例において、計算ユニット９０１は他の任意の適切な方式（例えば、ファームウェア）により前記説明した方法とステップを実行するように配置されてもよい。
【0075】
本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、チップ上システムのシステム（ＳＯＣ）、負荷プログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行され及び／又は解釈される一つ又は複数のコンピュータプログラムに実施され、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができる、ということを含むことができる。
【0076】
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することができ、それによりプログラムコードがプロセッサ又はコントローラにより実行される際に、フローチャート及び／又はブロック図に規定された機能／操作が実施される。プログラムコードは機械に完全に実行されてもよく、部分的に機械で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され遠隔機械で部分的に実行され、又は完全に遠隔機械又はサーバで実行されてもよい。
【0077】
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は機器により使用され又は命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか又は記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外的、又は半導体システム、装置又は機器、又は上記内容の任意の適切な組み合わせを含むが、それらに限定されない。機械可読記憶媒体のより具体的な例示は、一つ又は複数の線に基づく電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、便利式コンパクトリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記コンテンツの任意の適切な組み合わせを含む。
【0078】
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）と、を有し、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供する。他の種類の装置は、さらにユーザとの対話を提供することもできる。例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であることができ、そして、いかなる形式（音声入力、語音入力、又は、触覚入力を含む）でユーザからの入力を受信することができる。
【0079】
ここで説明されたシステム及び技術を、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品の任意の組み合わせを含むコンピューティングシステムに実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例示は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。
【0080】
コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバとは一般的に互いに離れており、通常、通信ネットワークを介して対話する。相応的なコンピュータで運行し、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムにより、クライアント－サーバの関係を生成する。
【0081】
理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、各ステップを改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各ステップは、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示が開示された技術案の所望の結果を実現することができれば、本明細書はここで限定されない。
【0082】
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】