特許 7594571 クロスモーダル情報に基づく文書読解モデルトレーニング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-26

(45)【発行日】2024-12-04

(54)【発明の名称】クロスモーダル情報に基づく文書読解モデルトレーニング方法及び装置

(51)【国際特許分類】

   G06F 16/30 20190101AFI20241127BHJP

   G06F 40/56 20200101ALI20241127BHJP

   G06F 40/289 20200101ALI20241127BHJP

   G06F 40/216 20200101ALI20241127BHJP

【ＦＩ】

G06F16/30

G06F40/56

G06F40/289

G06F40/216

【請求項の数】 30

(21)【出願番号】P 2022176330

(22)【出願日】2022-11-02

(65)【公開番号】P2023012522

(43)【公開日】2023-01-25

【審査請求日】2022-11-02

(31)【優先権主張番号】202111618355.3

(32)【優先日】2021-12-27

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】リュ， シャンウェン

(72)【発明者】

【氏名】リ， ホンギュ

(72)【発明者】

【氏名】リウ， ジン

(72)【発明者】

【氏名】ウー， ファ

(72)【発明者】

【氏名】ワン， ハイフェン

【審査官】酒井 恭信

(56)【参考文献】

【文献】欧州特許出願公開第０３８１６８１８（ＥＰ，Ａ２）

【文献】国際公開第２０２１／１７１７３２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２１／０３２６５２４（ＵＳ，Ａ１）

【文献】特開２０１４－１２００５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００ － １６／９５８

Ｇ０６Ｆ ４０／２０ － ４０／５８

(57)【特許請求の範囲】

【請求項1】

クロスモーダル情報に基づく文書読解モデルトレーニング装置によって実行されるクロスモーダル情報に基づく文書読解モデルトレーニング方法であって、
質問サンプルとリッチテキスト文書サンプルとを取得するステップであって、前記リッチテキスト文書サンプルには、前記質問サンプルの実回答が含まれるステップと、
前記リッチテキスト文書サンプルの画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、前記リッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得するステップと、
前記リッチテキスト文書サンプルのテキスト情報、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力して、前記質問サンプルの予測回答を取得するステップと、
前記実回答と前記予測回答とに基づいて、前記読解モデルをトレーニングするステップと、
を含み、
前記リッチテキスト文書サンプルは長いリッチテキスト文書サンプルであり、
前記リッチテキスト文書サンプルのテキスト情報、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力して、前記質問サンプルの予測回答を取得するステップが、
前記長いリッチテキスト文書サンプルのテキスト情報を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、前記質問サンプルを各前記段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得するステップと、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力して、前記質問サンプルの予測回答を取得するステップと、
を含む、クロスモーダル情報に基づく文書読解モデルトレーニング方法。

【請求項2】

前記読解モデルには、段落エンコーダー、文書エンコーダー、画像エンコーダー及び条件付きランダムフィールド（ＣＲＦ）モジュールが備えられ、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力して、前記質問サンプルの予測回答を取得するステップが、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力するステップと、
前記段落エンコーダーによって各前記段落スプライステキストと前記レイアウト情報とをエンコードして、各前記段落スプライステキストのテキストコードを取得するステップと、
前記文書エンコーダーによって各前記段落スプライステキストのテキストコードに対してスプライス処理を行って、前記長いリッチテキスト文書サンプルの文書コードを取得するステップと、
前記画像エンコーダーによって前記画像情報をエンコードして、前記長いリッチテキスト文書サンプルの視覚的特徴を取得するステップと、
前記長いリッチテキスト文書サンプルの文書コードと前記視覚的特徴とに対して融合処理を行って、前記長いリッチテキスト文書サンプルのマルチモーダル融合コードを取得し、前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力して、前記質問サンプルの予測回答を取得するステップと、
を含む請求項１に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法。

【請求項3】

前記読解モデルが分類器を備え、
前記クロスモーダル情報に基づく文書読解モデルトレーニング方法が、
前記マルチモーダル融合コードと前記質問サンプルのコードとをスプライスして、スプライスコードを取得するステップと、
前記スプライスコードを前記分類器に入力して、前記質問サンプルと前記長いリッチテキスト文書サンプルとの間の類似度の予測値を取得するステップと、
を含む請求項２に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法。

【請求項4】

前記実回答と前記予測回答とに基づいて、前記読解モデルをトレーニングするステップが、
前記実回答と前記予測回答とに基づいて、第１の損失値を生成するステップと、
前記類似度の予測値、及び前記質問サンプルと前記長いリッチテキスト文書サンプルとの間の類似度の真の値に基づいて、第２の損失値を生成するステップと、
前記第１の損失値と前記第２の損失値とに基づいて、前記読解モデルをトレーニングするステップと、
を含む請求項３に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法。

【請求項5】

前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力して、前記質問サンプルの予測回答を取得するステップが、
前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力するステップと、
前記ＣＲＦモジュールから出力された回答シーケンスラベルを取得するステップであって、前記回答シーケンスラベルには、回答開始ラベル、回答内部ラベル、回答外部ラベル、回答終了ラベル及び単一文字の回答ラベルが含まれるステップと、
前記回答シーケンスラベルに基づいて、前記長いリッチテキスト文書サンプルから、前記質問サンプルの予測回答を抽出するステップと、
を含む請求項２に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法。

【請求項6】

前記回答シーケンスラベルが、回答セグメント内の非回答テキストラベルを含む請求項５に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法。

【請求項7】

文書の視覚的質問応答装置によって実行される文書の視覚的質問応答方法であって、
受信された質問情報に応答して、前記質問情報に対応する候補リッチテキスト文書を取得するステップと、
前記候補リッチテキスト文書の画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、前記候補リッチテキスト文書のテキスト情報とレイアウト情報とを取得するステップと、
前記候補リッチテキスト文書を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、前記質問情報を各前記段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得するステップと、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報に基づいて、前記質問情報に対応する回答情報を生成するステップと、
を含み、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報に基づいて、前記質問情報に対応する回答情報を生成するステップが、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を予め確立された読解モデルに入力して、前記質問情報に対応する回答情報を取得するステップであって、前記予め確立された読解モデルは、請求項１に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法によってトレーニングされて得られる前記読解モデルであるステップを含む、文書の視覚的質問応答方法。

【請求項8】

前記読解モデルには、段落エンコーダー、文書エンコーダー、画像エンコーダー及び条件付きランダムフィールド（ＣＲＦ）モジュールが備えられ、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を予め確立された読解モデルに入力して、前記質問情報に対応する回答情報を取得するステップが、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を前記読解モデルに入力するステップと、
前記段落エンコーダーによって各前記段落スプライステキストと前記レイアウト情報とをエンコードして、各前記段落スプライステキストのテキストコードを取得するステップと、
前記文書エンコーダーによって各前記段落スプライステキストのテキストコードに対してスプライス処理を行って、前記候補リッチテキスト文書の文書コードを取得するステップと、
前記画像エンコーダーによって前記画像情報をエンコードして、前記候補リッチテキスト文書の視覚的特徴を取得するステップと、
前記候補リッチテキスト文書の文書コードと前記視覚的特徴とに対して融合処理を行って、前記候補リッチテキスト文書のマルチモーダル融合コードを取得し、前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力して、前記質問情報に対応する回答情報を取得するステップと、
を含む請求項７に記載の文書の視覚的質問応答方法。

【請求項9】

前記読解モデルが分類器を備え、前記文書の視覚的質問応答方法が、
前記マルチモーダル融合コードと前記質問サンプルのコードとをスプライスして、スプライスコードを取得するステップと、
前記スプライスコードを前記分類器に入力して、前記質問情報と前記候補リッチテキスト文書との間の類似度の予測値を取得するステップと、
を含む請求項８に記載の文書の視覚的質問応答方法。

【請求項10】

前記類似度の予測値が閾値以上であることに応答して、前記回答情報を出力するステップを含む請求項９に記載の文書の視覚的質問応答方法。

【請求項11】

前記回答情報を出力するステップが、
前記レイアウト情報に基づいて、前記回答情報の各文字の座標情報を決定するステップと、
前記座標情報に基づいて、前記候補リッチテキスト文書において前記回答情報を強調表示するステップと、
を含む請求項１０に記載の文書の視覚的質問応答方法。

【請求項12】

前記類似度の予測値が前記閾値よりも小さいことに応答して、前記回答情報を無視するステップを含む請求項１０に記載の文書の視覚的質問応答方法。

【請求項13】

前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力して、前記質問情報に対応する回答情報を取得するステップが、
前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力するステップと、
前記ＣＲＦモジュールから出力された回答シーケンスラベルを取得するステップであって、回答シーケンスラベルには、回答開始ラベル、回答内部ラベル、回答外部ラベル、回答終了ラベル及び単一文字の回答ラベルが含まれるステップと、
前記回答シーケンスラベルに基づいて、前記候補リッチテキスト文書から前記質問情報に対応する回答情報を抽出するステップと、
を含む請求項８に記載の文書の視覚的質問応答方法。

【請求項14】

前記回答シーケンスラベルが、回答セグメント内の非回答テキストラベルを含む請求項１３に記載の文書の視覚的質問応答方法。

【請求項15】

質問サンプルとリッチテキスト文書サンプルとを取得する取得モジュールであって、 前記リッチテキスト文書サンプルには、前記質問サンプルの実回答が含まれる取得モジュールと、
前記リッチテキスト文書サンプルの画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、前記リッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得する第１の処理モジュールと、
前記リッチテキスト文書サンプルのテキスト情報、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力して、前記質問サンプルの予測回答を取得する第２の処理モジュールと、
前記実回答と前記予測回答とに基づいて、前記読解モデルをトレーニングするトレーニングモジュールと、
を備え、
前記リッチテキスト文書サンプルは長いリッチテキスト文書サンプルであり、
前記第２の処理モジュールが、
前記長いリッチテキスト文書サンプルのテキスト情報を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、前記質問サンプルを各前記段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得し、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力して、前記質問サンプルの予測回答を取得する、クロスモーダル情報に基づく文書読解モデルトレーニング装置。

【請求項16】

前記読解モデルには、段落エンコーダー、文書エンコーダー、画像エンコーダー及び条件付きランダムフィールド（ＣＲＦ）モジュールが備えられ、
前記第２の処理モジュールが、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力し、
前記段落エンコーダーによって各前記段落スプライステキストと前記レイアウト情報とをエンコードして、各前記段落スプライステキストのテキストコードを取得し、
前記文書エンコーダーによって各前記段落スプライステキストのテキストコードに対してスプライス処理を行って、前記長いリッチテキスト文書サンプルの文書コードを取得し、
前記画像エンコーダーによって前記画像情報をエンコードして、前記長いリッチテキスト文書サンプルの視覚的特徴を取得し、
前記長いリッチテキスト文書サンプルの文書コードと前記視覚的特徴とに対して融合処理を行って、前記長いリッチテキスト文書サンプルのマルチモーダル融合コードを取得し、前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力して、前記質問サンプルの予測回答を取得する請求項１５に記載のクロスモーダル情報に基づく文書読解モデルトレーニング装置。

【請求項17】

前記読解モデルが分類器を備え、
前記クロスモーダル情報に基づく文書読解モデルトレーニング装置が、
前記マルチモーダル融合コードと前記質問サンプルのコードとをスプライスして、スプライスコードを取得し、前記スプライスコードを前記分類器に入力して、前記質問サンプルと前記長いリッチテキスト文書サンプルとの間の類似度の予測値を取得する第３の処理モジュールを備える請求項１６に記載のクロスモーダル情報に基づく文書読解モデルトレーニング装置。

【請求項18】

前記トレーニングモジュールが、
前記実回答と前記予測回答とに基づいて、第１の損失値を生成し、
前記類似度の予測値、及び前記質問サンプルと前記長いリッチテキスト文書サンプルとの間の類似度の真の値に基づいて、第２の損失値を生成し、
前記第１の損失値と前記第２の損失値とに基づいて、前記読解モデルをトレーニングする請求項１７に記載のクロスモーダル情報に基づく文書読解モデルトレーニング装置。

【請求項19】

前記第２の処理モジュールが、
前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力し、
前記ＣＲＦモジュールから出力された回答シーケンスラベルを取得し、前記回答シーケンスラベルには、回答開始ラベル、回答内部ラベル、回答外部ラベル、回答終了ラベル及び単一文字の回答ラベルが含まれ、
前記回答シーケンスラベルに基づいて、前記長いリッチテキスト文書サンプルから、前記質問サンプルの予測回答を抽出する請求項１６に記載のクロスモーダル情報に基づく文書読解モデルトレーニング装置。

【請求項20】

前記回答シーケンスラベルが、回答セグメント内の非回答テキストラベルを含む請求項１９に記載のクロスモーダル情報に基づく文書読解モデルトレーニング装置。

【請求項21】

受信された質問情報に応答して、前記質問情報に対応する候補リッチテキスト文書を取得する取得モジュールと、
前記候補リッチテキスト文書の画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、前記候補リッチテキスト文書のテキスト情報とレイアウト情報とを取得する第１の処理モジュールと、
前記候補リッチテキスト文書を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、前記質問情報を各前記段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得する第２の処理モジュールと、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報に基づいて、前記質問情報に対応する回答情報を生成する生成モジュールと、
を備え、
前記生成モジュールが、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を予め確立された読解モデルに入力して、前記質問情報に対応する回答情報を取得し、前記予め確立された読解モデルは、請求項１５から２０のいずれか一項に記載のクロスモーダル情報に基づく文書読解モデルトレーニング装置によってトレーニングされて得られる前記読解モデルである、文書の視覚的質問応答装置。

【請求項22】

前記読解モデルには、段落エンコーダー、文書エンコーダー、画像エンコーダー及び条件付きランダムフィールド（ＣＲＦ）モジュールが備えられ、
前記生成モジュールが、
前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報を前記読解モデルに入力し、
前記段落エンコーダーによって各前記段落スプライステキストと前記レイアウト情報とをエンコードして、各前記段落スプライステキストのテキストコードを取得し、
前記文書エンコーダーによって各前記段落スプライステキストのテキストコードに対してスプライス処理を行って、前記候補リッチテキスト文書の文書コードを取得し、
前記画像エンコーダーによって前記画像情報をエンコードして、前記候補リッチテキスト文書の視覚的特徴を取得し、
前記候補リッチテキスト文書の文書コードと前記視覚的特徴とに対して融合処理を行って、前記候補リッチテキスト文書のマルチモーダル融合コードを取得し、前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力して、前記質問情報に対応する回答情報を取得する請求項２１に記載の文書の視覚的質問応答装置。

【請求項23】

前記読解モデルが分類器を備え、
前記文書の視覚的質問応答装置が、
前記マルチモーダル融合コードと前記質問サンプルのコードとをスプライスして、スプライスコードを取得し、前記スプライスコードを前記分類器に入力して、前記質問情報と前記候補リッチテキスト文書との間の類似度の予測値を取得する第３の処理モジュールを備える請求項２２に記載の文書の視覚的質問応答装置。

【請求項24】

前記類似度の予測値が閾値以上であることに応答して、前記回答情報を出力する表示モジュールを備える請求項２３に記載の文書の視覚的質問応答装置。

【請求項25】

前記表示モジュールが、
前記レイアウト情報に基づいて、前記回答情報の各文字の座標情報を決定し、
前記座標情報に基づいて、前記候補リッチテキスト文書において前記回答情報を強調表示する請求項２４に記載の文書の視覚的質問応答装置。

【請求項26】

前記生成モジュールが、
前記マルチモーダル融合コードを前記ＣＲＦモジュールに入力し、
前記ＣＲＦモジュールから出力された回答シーケンスラベルを取得し、回答シーケンスラベルには、回答開始ラベル、回答内部ラベル、回答外部ラベル、回答終了ラベル及び単一文字の回答ラベルが含まれ、
前記回答シーケンスラベルに基づいて、前記候補リッチテキスト文書から前記質問情報に対応する回答情報を抽出する請求項２２に記載の文書の視覚的質問応答装置。

【請求項27】

前記回答シーケンスラベルは、回答セグメント内の非回答テキストラベルを含む請求項２６に記載の文書の視覚的質問応答装置。

【請求項28】

少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも１つのプロセッサに請求項１から６のいずれか一項に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法、または請求項７から１４のいずれか一項に記載の文書の視覚的質問応答方法を実行させるためのプログラムが記憶されている電子機器。

【請求項29】

非一時的なコンピュータ読み取り可能な記憶媒体であって、
コンピュータに請求項１から６のいずれか一項に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法、または請求項７から１４のいずれか一項に記載の文書の視覚的質問応答方法を実行させるためのコンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項30】

プロセッサに、請求項１から６のいずれか一項に記載のクロスモーダル情報に基づく文書読解モデルトレーニング方法、または請求項７から１４のいずれか一項に記載の文書の視覚的質問応答方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、データ処理の分野に関し、特に自然言語処理ＮＬＰ及び深層学習技術に関し、特にクロスモーダル情報に基づく文書読解モデルトレーニング方法及び文書の視覚的質問応答方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

関連技術において、プレーンテキストに基づく読解技術は、文書からテキスト情報を取得するために、文書テキストに対して事前に情報抽出を実行する必要がある。ただし、文書のソースによって、異なる抽出スキームを設計する必要があるため、非常に時間と労力を要する。

【発明の概要】

【0003】

本願は、クロスモーダル情報に基づく文書読解モデルトレーニング方法、装置、電子機器及び記憶媒体を提供する。

【0004】

本願の第１の態様によれば、クロスモーダル情報に基づく文書読解モデルトレーニング方法を提供し、質問サンプルとリッチテキスト文書サンプルとを取得するステップであって、前記リッチテキスト文書サンプルには、前記質問サンプルの実回答が含まれるステップと、前記リッチテキスト文書サンプルの画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、前記リッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得するステップと、前記リッチテキスト文書サンプルのテキスト情報、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力して、前記質問サンプルの予測回答を取得するステップと、前記実回答と前記予測回答とに基づいて、前記読解モデルをトレーニングするステップと、を含む。

【0005】

本願の第２の態様によれば、文書の視覚的質問応答方法を提供し、受信された質問情報に応答して、前記質問情報に対応する候補リッチテキスト文書を取得するステップと、前記候補リッチテキスト文書の画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、前記候補リッチテキスト文書のテキスト情報とレイアウト情報とを取得するステップと、前記候補リッチテキスト文書を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、前記質問情報を各前記段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得するステップと、前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報に基づいて、前記質問情報に対応する回答情報を生成するステップと、を含む。

【0006】

本願の第３の態様によれば、クロスモーダル情報に基づく文書読解モデルトレーニング装置を提供し、質問サンプルとリッチテキスト文書サンプルとを取得する取得モジュールであって、前記リッチテキスト文書サンプルには、前記質問サンプルの実回答が含まれる取得モジュールと、前記リッチテキスト文書サンプルの画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、前記リッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得する第１の処理モジュールと、前記リッチテキスト文書サンプルのテキスト情報、前記レイアウト情報及び前記画像情報を予め設定された読解モデルに入力して、前記質問サンプルの予測回答を取得する第２の処理モジュールと、前記実回答と前記予測回答とに基づいて、前記読解モデルをトレーニングするトレーニングモジュールと、を備える。

【0007】

本願の第４の態様によれば、文書の視覚的質問応答装置を提供し、受信された質問情報に応答して、前記質問情報に対応する候補リッチテキスト文書を取得する取得モジュールと、前記候補リッチテキスト文書の画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、前記候補リッチテキスト文書のテキスト情報とレイアウト情報とを取得する第１の処理モジュールと、前記候補リッチテキスト文書を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、前記質問情報を各前記段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得する第２の処理モジュールと、前記複数の段落スプライステキスト、前記レイアウト情報及び前記画像情報に基づいて、前記質問情報に対応する回答情報を生成する生成モジュールと、を備える。

【0008】

本願の第５の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが第１の態様又は第２の態様に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0009】

本願の第６の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに第１の態様又は第２の態様に記載の方法を実行させる。

【0010】

本願の第７の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサによって実行される場合、第１の態様又は第２の態様に記載の方法が実現される。

【発明の効果】

【0011】

本願の技術案によれば、クロスモーダル情報（テキスト、レイアウト、および視覚）を用いてモデリングすることができ、文書理解の能力を向上させることができる。リッチテキスト文書サンプルを用いてモデリングすることで、リッチテキスト文書を理解する読解モデルの能力を向上させることができる。また、本願は、情報抽出の代わりに、ＯＣＲ認識技術を使用することで、文書のソースによって特定の情報抽出スキームを設計する必要がないため、プロセス全体がよりエンドツーエンドになり、人件費が節約される。

【0012】

なお、この部分に記載の内容は、本開示の実施例の肝心または重要な特徴を特定することを意図しておらず、本開示の範囲を限定することも意図していない。本出願の他の特徴は下記の明細書の記載を通して理解しやすくなる。

【図面の簡単な説明】

【0013】

図面は、本出願をより良く理解するためのものであり、本開示を限定するものではない。

【図1】本願の第１の実施例による模式図である。

【図2】本願の第２の実施例による模式図である。

【図3】本願の第３の実施例による模式図である。

【図4】本願の第４の実施例による模式図である。

【図5】本願の実施例によるクロスモーダル情報に基づく文書読解モデルトレーニング装置の模式図である。

【図6】本願の実施例による別のクロスモーダル情報に基づく文書読解モデルトレーニング装置の模式図である。

【図7】本願の実施例による文書の視覚的質問応答装置の模式図である。

【図8】本願の実施例による別の文書の視覚的質問応答装置の模式図である。

【図9】本願の実施例によるさらに別の文書の視覚的質問応答装置の模式図である。

【図10】本願の実施例のクロスモーダル情報に基づく文書読解モデルトレーニング方法、又は文書の視覚的質問応答方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0014】

以下、図面と組み合わせて本出願の例示的な実施例を説明する。理解を容易にするために、その中には本発明の実施例の様々な詳細が含まれ、それらは単なる例示と見なされるべきである。したがって、当業者は、本発明の範囲及び精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更及び修正を行うことができる。また、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

【0015】

図１を参照し、図１は本願の第１の実施例によるクロスモーダル情報に基づく文書読解モデルトレーニング方法のフローチャートであり、この方法は、質問応答アプリケーションで必要な読解モデルをトレーニングするために適用可能である。図１に示すように、このクロスモーダル情報に基づく文書読解モデルトレーニング方法は以下のステップＳ１０１～Ｓ１０４を含むことができる。

【0016】

ステップＳ１０１では、質問サンプルとリッチテキスト文書サンプルとを取得する。

【0017】

ここで、長いリッチテキスト文書サンプルには、質問サンプルの実回答が含まれる。長いリッチテキスト文書とは、より多くの文字情報と複数のフォーマット（例えばフォントの色、画像、及び表など）を含む文書を指し、そのソースは、Ｗｅｂページ、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ；ポータブルドキュメントフォーマット）、および紙の文書のスキャンされたコピーを含むが、これらに限定されない。

【0018】

例えば、質疑応答アプリケーションを使用するユーザが提起した質問に応答して、その質問を質問サンプルとして、その質問に対応する長いリッチテキスト文書を長いリッチテキスト文書サンプルとして取得することができ、この長いリッチテキスト文書サンプルには、この質問の回答内容が含まれている。

【0019】

ステップＳ１０２では、リッチテキスト文書サンプルの画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、リッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得する。

【0020】

例えば、画像取得装置によって、長いリッチテキスト文書サンプルの画像データを取得し、この画像データに対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ；光学式文字認識）処理を実行して、長いリッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得することができる。例えば、この長いリッチテキスト文書サンプルは文書画像と見なすことができ、ＯＣＲ認識技術を用いて文書画像を解析して、そのテキスト情報とレイアウト情報とを取得することができる。

【0021】

ステップＳ１０３では、リッチテキスト文書サンプルのテキスト情報、レイアウト情報及び画像情報を予め設定された読解モデルに入力して、質問サンプルの予測回答を取得する。

【0022】

例えば、リッチテキスト文書サンプルのテキスト情報、レイアウト情報及び画像情報を入力データとして読解モデルに入力し、この読解モデルの出力を質問サンプルの予測回答とすることができる。

【0023】

ステップＳ１０４では、実回答と予測回答とに基づいて、読解モデルをトレーニングする。

【0024】

例えば、実回答と予測回答の差異に基づいて、実回答と予測回答との偏差を減らすように読解モデルの関連パラメーターを調整することにより、読解モデルをトレーニングすることができる。

【0025】

本願の実施例を実施することにより、クロスモーダル情報（テキスト、レイアウト、および視覚）を用いてモデリングすることができ、文書理解の能力を向上させることができる。リッチテキスト文書サンプルを用いてモデリングすることで、リッチテキスト文書を理解する読解モデルの能力を向上させることができる。また、本願は、情報抽出の代わりに、ＯＣＲ認識技術を使用することで、文書のソースによって特定の情報抽出スキームを設計する必要がないため、プロセス全体がよりエンドツーエンドになり、人件費が節約される。

【0026】

図２を参照し、図２は、本願の第２の実施例によるクロスモーダル情報に基づく文書読解モデルトレーニング方法のフローチャートであり、本願の実施例では、リッチテキストは長いリッチテキストであり、長いリッチテキストを分割し処理することができる。このクロスモーダル情報に基づく文書読解モデルトレーニング方法は、以下のステップＳ２０１～Ｓ２０４を含む。

【0027】

ステップＳ２０１では、質問サンプルと長いリッチテキスト文書サンプルとを取得する。

【0028】

ここで、長いリッチテキスト文書サンプルには、質問サンプルの実回答が含まれる。

【0029】

本願の実施例では、ステップＳ２０１は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0030】

ステップＳ２０２では、長いリッチテキスト文書サンプルの画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、長いリッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得する。

【0031】

本願の実施例では、ステップＳ２０２は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0032】

ステップＳ２０３では、長いリッチテキスト文書サンプルのテキスト情報を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、質問サンプルを各段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得する。

【0033】

例えば、得られた長いリッチテキスト文書サンプルのテキスト情報を複数の段落に順に分割し、各段落には、予め設定された同じ文字数が含まれる。例えば、予め設定されたステップサイズ５１２を例にとると、ステップサイズ５１２で長いリッチテキスト文書サンプルを複数の段落テキストに分割することができる。各段落をそれぞれ質問サンプルとスプライスして、段落スプライステキストを取得する。

【0034】

ステップＳ２０４では、複数の段落スプライステキスト、レイアウト情報及び画像情報を予め設定された読解モデルに入力して、質問サンプルの予測回答を取得する。

【0035】

例えば、複数の段落スプライステキスト、レイアウト情報及び画像情報を入力データとして読解モデルに入力し、この読解モデルの出力を質問サンプルの予測回答とすることができる。

【0036】

ステップＳ２０５では、実回答と予測回答とに基づいて、読解モデルをトレーニングする。

【0037】

本願の実施例では、ステップＳ２０５は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0038】

本願の実施例を実施することにより、長いリッチテキスト文書を分割し、分割された文書を用いてモデリングすることで、長いリッチテキスト文書を理解する読解モデルの能力を向上させることができる。

【0039】

図３を参照し、図３は、本願の第３の実施例によるクロスモーダル情報に基づく文書読解モデルトレーニング方法のフローチャートであり、本願の実施例では、読解モデルには、段落エンコーダー、文書エンコーダー、画像エンコーダー及びＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ、条件付きランダムフィールド）モジュールが備えられる。図３に示すように、このクロスモーダル情報に基づく文書読解モデルトレーニング方法は、以下のステップＳ３０１～Ｓ３０９を含む。

【0040】

ステップＳ３０１では、質問サンプルと長いリッチテキスト文書サンプルとを取得する。

【0041】

本願の実施例では、ステップＳ３０１は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0042】

ステップＳ３０２では、長いリッチテキスト文書サンプルの画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、長いリッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得する。

【0043】

本願の実施例では、ステップＳ３０２は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0044】

ステップＳ３０３では、長いリッチテキスト文書サンプルを予め設定されたステップサイズで分割して、複数の段落テキストを取得し、質問サンプルを各段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得する。

【0045】

本願の実施例では、ステップＳ３０３は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0046】

ステップＳ３０４では、複数の段落スプライステキスト、レイアウト情報及び画像情報を予め設定された読解モデルに入力する。

【0047】

本願の実施例では、ステップＳ３０４は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0048】

ステップＳ３０５では、段落エンコーダーによって各段落スプライステキストとレイアウト情報とをエンコードして、各段落スプライステキストのテキストコードを取得する。

【0049】

例えば、段落エンコーダーによって、各段落スプライステキストと、この段落スプライステキストに対応するレイアウト情報とを統合してエンコードして、各段落スプライステキストのテキストコードを生成することができる。

【0050】

ステップＳ３０６では、文書エンコーダーによって各段落スプライステキストのテキストコードに対してスプライス処理を行って、長いリッチテキスト文書サンプルの文書コードを取得する。

【0051】

例えば、文書エンコーダーによって、複数の段落スプライステキストのテキストコードを順にスプライスして、長いリッチテキスト文書サンプルの文書コードを取得するすることができる。

【0052】

ステップＳ３０７では、画像エンコーダーによって画像情報をエンコードして、長いリッチテキスト文書サンプルの視覚的特徴を取得する。

【0053】

ここで、本願の実施例では、文書サンプルの視覚的特徴は、文書における他の部分とは異なる、特定の部分が有する外観の特徴を指し、太字フォント、フォントの色の変更、及び下線などを含んでいるが、これらに限定されない。

【0054】

例えば、画像エンコーダによって、予め設定されたルールに基づいて、画像情報を変換して組み合わせて、コンピュータで処理できるデジタル情報データに変換することにより、長いリッチテキスト文書サンプルの視覚的特徴を取得することができる。

【0055】

ステップＳ３０８では、長いリッチテキスト文書サンプルの文書コードと視覚的特徴に対して融合処理を行って、長いリッチテキスト文書サンプルのマルチモーダル融合コードを取得し、マルチモーダル融合コードをＣＲＦモジュールに入力して、質問サンプルの予測回答を取得する。

【0056】

例えば、予め設定された特徴融合アルゴリズムモデルを使用して、長いリッチテキスト文書サンプルの文書コードと視覚的特徴とを処理して、長いリッチテキスト文書サンプルのマルチモーダル融合コードを取得し、このマルチモーダル融合コードを入力データとしてＣＲＦモジュールに入力し、ＣＲＦモジュールの出力データを質問サンプルの予測回答とする。

【0057】

一例として、特徴融合アルゴリズムモデルは、変換Ｔｒａｎｓｆｏｒｍｅｒモデルにすることができ、マルチモーダル融合の具体的な方法は、文書コードと視覚的特徴との特徴ベクトルを線形に融合することと、文書コードと視覚的特徴との類似度マトリックスをそれぞれ計算し、類似度に基づいてそれらを融合することと、文書コードと視覚的特徴との特徴ベクトルを直接にスプライスすることとを含み得るが、これらに限定されない。

【0058】

例えば、マルチモーダル融合コードにシーケンスラベルを付けることにより、サブセグメントの帰属を区別し、同じ帰属の回答サブフラグメントをフィルタリングして、回答フラグメントに属していない部分を除去し、回答サブセグメントに含まれない他の部分と統合して、不連続回答セグメントを連続セグメントに変換することにより、質問情報に対応する回答情報を取得する。

【0059】

ステップＳ３０９では、実回答と予測回答とに基づいて、読解モデルをトレーニングする。

【0060】

本願の実施例では、ステップＳ３０９は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0061】

本願の実施例を実施することにより、質問サンプルと長いリッチテキスト文書サンプルとに基づいて処理を行って、マルチモーダル融合コードを取得することができ、マルチモーダル融合コードに基づいて文書情報を抽出することにより、文書を理解する能力が向上し、さまざまなソースからの文書に対して、特定の情報抽出スキームを設計する必要がないため、人件費を節約することができる。

【0062】

本願のいくつかの実施例では、読解モデルは分類器をさらに備え、このクロスモーダル情報に基づく文書読解モデルトレーニング方法は、マルチモーダル融合コードと質問サンプルのコードをスプライスして、スプライスコードを取得するステップと、スプライスコードを分類器に入力して、質問サンプルと長いリッチテキスト文書サンプルとの間の類似度の予測値を取得するステップとをさらに含む。

【0063】

選択的に、実回答と予測回答とに基づいて、読解モデルをトレーニングするステップは、実回答と予測回答とに基づいて、第１の損失値を生成するステップと、類似度の予測値、及び質問サンプルと長いリッチテキスト文書サンプルとの間の類似度の真の値に基づいて、第２の損失値を生成するステップと、第１の損失値と第２の損失値とに基づいて、読解モデルをトレーニングするステップと、を含む。

【0064】

例えば、実回答と予測回答の類似度の真の値に基づいて、予め設定された第１の損失関数に基づいて、第１の損失値を生成し、類似度の予測値、及び質問サンプルと長いリッチテキスト文書サンプルとの間の類似度の真の値を、予め設定された第２の損失関数に取り込んで、第２の損失値を取得し、第１の損失値と第２の損失値とに基づいて、損失値を減らすように読解モデルの関連パラメーターを調整することにより、読解モデルをトレーニングすることができる。

【0065】

本願の実施例を実施することにより、損失値に基づいて、読解モデルをトレーニングすることで、この読解モデルによって生成される回答情報の精度を向上させることができる。

【0066】

選択的な実施形態では、マルチモーダル融合コードをＣＲＦモジュールに入力して、質問情報に対応する回答情報を取得するステップは、マルチモーダル融合コードをＣＲＦモジュールに入力するステップと、ＣＲＦモジュールから出力された回答シーケンスラベルを取得するステップであって、回答シーケンスラベルには、回答開始ラベル、回答内部ラベル、回答外部ラベル、回答終了ラベル及び単一文字の回答ラベルが含まれるステップと、回答シーケンスラベルに基づいて、候補リッチテキスト文書から質問情報に対応する回答情報を抽出するステップと、を含む。

【0067】

回答シーケンスラベルは、ＣＲＦモジュールによって、Ｂ（Ｂｅｇｉｎ；開始）Ｉ（Ｉｎｓｉｄｅ；内部）Ｏ（ｏｕｔｓｉｄｅ；外部）Ｅ（Ｅｎｄ；終了）Ｓ（Ｓｉｎｇｌｅ；単一）のシーケンスラベリング方式に基づいて、長いリッチテキスト文書サンプルから回答シーケンスをラベリングすることによって得られ、回答シーケンスラベルは、回答開始ラベルＢ、回答内部ラベルＩ、回答外部ラベルＯ、回答終了ラベルＥ及び単一文字の回答ラベルＳを含む。

【0068】

なお、回答セグメントは不連続である可能性があるため、回答セグメントには複数の回答サブセグメントが含まれる可能性があり、後続の処理のために複数の回答サブセグメントをラベリングする必要がある。ここで、回答開始ラベルは、回答シーケンス内の回答サブセグメントの開始文字位置をラベリングするために使用され、回答セグメント内の非回答テキストラベルは、回答情報に属さない回答サブセグメント内の文字をラベリングするために使用され、回答外部ラベルは、回答サブセグメントにない回答情報に関連する文字をラベリングするために使用され、回答終了ラベルは、回答シーケンスの回答サブセグメントの終了位置の文字をラベリングするために使用され、単一文字の回答ラベルは、回答情報の個別のエンティティを表す文字をラベリングするために使用される。

【0069】

選択的に、回答シーケンスラベルは、回答セグメント内の非回答テキストラベルをさらに含む。

【0070】

なお、回答セグメント内の非回答テキストラベルは、中断された回答を処理するように、回答情報に属さない回答サブセグメント内の他のノイズ情報をラベリングするために使用される。

【0071】

例えば、表やページのレイアウトなどによる回答情報の不連続による同じ回答テキストの中断をラベリングすることができる。

【0072】

図４を参照し、図４は、本願の第３の実施例による文書の視覚的質問応答方法のフローチャートであり、図４に示すように、この文書の視覚的質問応答方法は、以下のステップＳ４０１～Ｓ４０４を含む。

【0073】

ステップＳ４０１では、受信された質問情報に応答して、質問情報に対応する候補リッチテキスト文書を取得する。

【0074】

例えば、質問応答アプリケーションで受信されたユーザが提起した質問情報に応じて、質問情報に関連する情報を含むリッチテキスト文書を取得し、このリッチテキスト文書を候補リッチテキスト文書とすることができる。

【0075】

ステップＳ４０２では、候補リッチテキスト文書の画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、候補リッチテキスト文書のテキスト情報とレイアウト情報とを取得する。

【0076】

本願の実施例では、ステップＳ４０２は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0077】

ステップＳ４０３では、候補リッチテキスト文書を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、質問情報を各段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得する。

【0078】

本願の実施例では、ステップＳ４０３は、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0079】

ステップＳ４０４では、複数の段落スプライステキスト、レイアウト情報及び画像情報に基づいて、質問情報に対応する回答情報を生成する。

【0080】

１つの実施形態では、複数の段落スプライステキスト、レイアウト情報及び画像情報に基づいて、質問情報に対応する回答情報を生成するステップは、複数の段落スプライステキスト、レイアウト情報及び画像情報を予め確立された読解モデルに入力して、質問情報に対応する回答情報を取得するステップを含む。

【0081】

本願の実施例では、読解モデルは、本願の実施例のいずれか１つによって取得することができ、本願の実施例はこれを限定せず、説明を省略する。

【0082】

例えば、複数の段落スプライステキスト、レイアウト情報及び画像情報を入力データとして、予め確立された読解モデルに入力し、このモデルの出力データを質問情報に対応する回答情報とすることができる。

【0083】

選択的な実施形態では、読解モデルには段落エンコーダー、文書エンコーダー、画像エンコーダー及びＣＲＦモジュールが備えられ、複数の段落スプライステキスト、レイアウト情報及び画像情報を予め確立された読解モデルに入力して、質問情報に対応する回答情報を取得するステップは、複数の段落スプライステキスト、レイアウト情報及び画像情報を読解モデルに入力するステップと、段落エンコーダーによって各段落スプライステキストとレイアウト情報とをエンコードして、各段落スプライステキストのテキストコードを取得するステップと、文書エンコーダーによって各段落スプライステキストのテキストコードに対してスプライス処理を行って、候補リッチテキスト文書の文書コードを取得するステップと、画像エンコーダーによって画像情報をエンコードして、候補リッチテキスト文書の視覚的特徴を取得するステップと、候補リッチテキスト文書の文書コードと視覚的特徴とに対して融合処理を行って、候補リッチテキスト文書のマルチモーダル融合コードを取得し、マルチモーダル融合コードをＣＲＦモジュールに入力して、質問情報に対応する回答情報を取得するステップと、を含む。

【0084】

本願のいくつかの実施例では、読解モデルは分類器をさらに備え、方法は、マルチモーダル融合コードと質問サンプルのコードをスプライスして、スプライスコードを取得するステップと、スプライスコードを分類器に入力して、質問情報と候補リッチテキスト文書との間の類似度の予測値を取得するステップと、を含む。

【0085】

選択的に、類似度の予測値が閾値以上であることに応答して、回答情報を出力する。

【0086】

例えば、質問情報と候補リッチテキスト文書との間の類似度の予測値が予め設定された類似度閾値以上であることに応答して、生成された回答情報を文書の質問の回答情報として出力する。

【0087】

選択的に、ここで、回答情報を出力するステップは、レイアウト情報に基づいて、回答情報の各文字の座標情報を決定するステップと、座標情報に基づいて、候補リッチテキスト文書において回答情報を強調表示するステップとを含む。

【0088】

例えば、座標情報に基づいて、回答情報内の各文字の候補リッチテキスト文書における具体的な座標を決定し、座標情報に基づいて、候補リッチテキスト文書において回答情報に対応するテキストを強調表示し、ユーザーがこの候補リッチテキスト文書を開いた後、強調表示された回答テキストに直接ジャンプする。

【0089】

選択的に、類似度の予測値が閾値よりも小さいことに応答して、回答情報を無視する。

【0090】

例えば、質問情報と候補リッチテキスト文書との間の類似度の予測値が予め設定された類似度閾値よりも小さいことに応答して、生成された回答情報を無視する。

【0091】

本願の実施例を実施することにより、回答情報が生成された後、類似度に基づいて、生成されたこの回答をユーザに提供するか否かを決定することにより、回答情報を含まない文書サンプルを抑制し、生成された回答の精度を向上させることができる。

【0092】

選択的に、マルチモーダル融合コードをＣＲＦモジュールに入力して、質問情報に対応する回答情報を取得するステップは、マルチモーダル融合コードをＣＲＦモジュールに入力するステップと、ＣＲＦモジュールから出力された回答シーケンスラベルを取得するステップであって、回答シーケンスラベルには、回答開始ラベル、回答内部ラベル、回答外部ラベル、回答終了ラベル及び単一文字の回答ラベルが含まれるステップと、回答シーケンスラベルに基づいて、候補リッチテキスト文書から質問情報に対応する回答情報を抽出するステップと、を含む。

【0093】

選択的に、回答シーケンスラベルは、回答セグメント内の非回答テキストラベルをさらに含む。

【0094】

本願の実施例では、以上のステップは、本願の実施例のいずれか１つで実施することができ、本願の実施例はこれを限定せず、説明を省略する。

【0095】

本願の実施例を実施することにより、候補リッチテキスト文書をモデリングし、クロスモーダル情報（テキスト、レイアウト、及び視覚）に基づいて、予めトレーニングされた読解モデルによって、文書をより正確に理解して質問と回答を行うことができる。同時に、情報抽出の代わりに、ＯＣＲ認識技術を使用することで、さまざまなソースからの文書に対して、特定の情報抽出スキームを設計する必要がないため、プロセス全体がよりエンドツーエンドになり、人件費が節約される。

【0096】

図５を参照し、図５は、本願の実施例によるクロスモーダル情報に基づく文書読解モデルトレーニング装置の模式図である。このクロスモーダル情報に基づく文書読解モデルトレーニング装置は、取得モジュール５０１、第１の処理モジュール５０２、第２の処理モジュール５０３及びトレーニングモジュール５０４を備える。

【0097】

取得モジュール５０１は、質問サンプルとリッチテキスト文書サンプルとを取得するために使用され、リッチテキスト文書サンプルには、質問サンプルの実回答が含まれ、第１の処理モジュール５０２は、リッチテキスト文書サンプルの画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、リッチテキスト文書サンプルのテキスト情報とレイアウト情報とを取得するために使用され、第２の処理モジュール５０３は、リッチテキスト文書サンプルのテキスト情報、複数の段落スプライステキスト、レイアウト情報および画像情報を予め設定された読解モデルに入力して、質問サンプルの予測回答を取得するために使用され、トレーニングモジュール５０４は、実回答と予測回答とに基づいて、読解モデルをトレーニングするために使用される。

【0098】

１つの実施形態では、リッチテキストは長いリッチテキストであり、第２の処理モジュール５０３は、具体的に、長いリッチテキスト文書サンプルのテキスト情報を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、質問サンプルを各段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得し、複数の段落スプライステキスト、レイアウト情報及び画像情報を予め設定された読解モデルに入力して、質問サンプルの予測回答を取得するために使用される。１つの実施形態では、読解モデルは、段落エンコーダー、文書エンコーダー、画像エンコーダー及びＣＲＦモジュールを備え、第２の処理モジュール５０３は、具体的に、複数の段落スプライステキスト、レイアウト情報及び画像情報を予め設定された読解モデルに入力し、段落エンコーダーによって各段落スプライステキストとレイアウト情報とをエンコードして、各段落スプライステキストのテキストコードを取得し、文書エンコーダーによって各段落スプライステキストのテキストコードに対してスプライス処理を行って、長いリッチテキスト文書サンプルの文書コードを取得し、画像エンコーダーによって画像情報をエンコードして、長いリッチテキスト文書サンプルの視覚的特徴を取得し、長いリッチテキスト文書サンプルの文書コードと視覚的特徴とに対して融合処理を行って、長いリッチテキスト文書サンプルのマルチモーダル融合コードを取得し、マルチモーダル融合コードをＣＲＦモジュールに入力して、質問サンプルの予測回答を取得するために使用される。

【0099】

選択的な実施形態では、読解モデルは分類器をさらに備え、このクロスモーダル情報に基づく文書読解モデルトレーニング装置は、第３の処理モジュールをさらに備える。一例として、図６に示すように、このクロスモーダル情報に基づく文書読解モデルトレーニング装置は、マルチモーダル融合コードと質問サンプルのコードとをスプライスして、スプライスコードを取得し、スプライスコードを分類器に入力して、質問サンプルと長いリッチテキスト文書サンプルとの間の類似度の予測値を取得するための第３の処理モジュール６０５をさらに備える。ここで、図６のステップＳ６０１－Ｓ６０４は図５のステップＳ５０１－Ｓ５０４と同じ機能および構造を有する。

【0100】

選択的に、トレーニングモジュール５０４は、具体的に、実回答と予測回答とに基づいて、第１の損失値を生成し、類似度の予測値、及び質問サンプルと長いリッチテキスト文書サンプルとの間の類似度の真の値に基づいて、第２の損失値を生成し、第１の損失値と第２の損失値とに基づいて、読解モデルをトレーニングするために使用される。

【0101】

選択的な実施形態では、第２の処理モジュール５０３は、具体的に、マルチモーダル融合コードをＣＲＦモジュールに入力して、ＣＲＦモジュールから出力された回答シーケンスラベルを取得し、回答シーケンスラベルには、回答開始ラベル、回答内部ラベル、回答外部ラベル、回答終了ラベル及び単一文字の回答ラベルが含まれ、回答シーケンスラベルに基づいて、長いリッチテキスト文書サンプルから、質問サンプルの予測回答を抽出するために使用される。

【0102】

選択的に、回答シーケンスラベルは、回答セグメント内の非回答テキストラベルをさらに含む。

【0103】

図７を参照し、図７は、本願の実施例による文書の視覚的質問応答装置の模式図であり、この文書の視覚的質問応答装置は、取得モジュール７０１、第１の処理モジュール７０２、第２の処理モジュール７０３及び生成モジュール７０４を備える。ここで、取得モジュール７０１は、受信された質問情報に応答して、質問情報に対応する候補リッチテキスト文書を取得するために使用され、第１の処理モジュール７０２は、候補リッチテキスト文書の画像情報に対して光学式文字認識（ＯＣＲ）処理を行って、候補リッチテキスト文書のテキスト情報とレイアウト情報とを取得するために使用され、第２の処理モジュール７０３は、候補リッチテキスト文書を予め設定されたステップサイズで分割して、複数の段落テキストを取得し、質問情報を各段落テキストとそれぞれスプライスして、複数の段落スプライステキストを取得するために使用され、生成モジュール７０４は、複数の段落スプライステキスト、レイアウト情報及び画像情報に基づいて、質問情報に対応する回答情報を生成するために使用される。

【0104】

１つの実施形態では、生成モジュール７０４は、具体的に、複数の段落スプライステキスト、レイアウト情報及び画像情報を予め確立された読解モデルに入力して、質問情報に対応する回答情報を取得するために使用され、ここで、読解モデルは、本願の実施例のいずれかのモデルトレーニング方法によってトレーニングされて得られる。

【0105】

選択的な実施形態では、読解モデルは段落エンコーダー、文書エンコーダー、画像エンコーダー及びＣＲＦモジュールを備え、生成モジュール７０４は、具体的に、複数の段落スプライステキスト、レイアウト情報及び画像情報を読解モデルに入力し、段落エンコーダーによって各段落スプライステキストとレイアウト情報とをエンコードして、各段落スプライステキストのテキストコードを取得し、文書エンコーダーによって各段落スプライステキストのテキストコードに対してスプライス処理を行って、候補リッチテキスト文書の文書コードを取得し、画像エンコーダーによって画像情報をエンコードして、候補リッチテキスト文書の視覚的特徴を取得し、候補リッチテキスト文書の文書コードと視覚的特徴とに対して融合処理を行って、候補リッチテキスト文書のマルチモーダル融合コードを取得し、マルチモーダル融合コードをＣＲＦモジュールに入力して、質問情報に対応する回答情報を取得するために使用される。

【0106】

選択的に、読解モデルは分類器をさらに備え、文書の視覚的質問応答装置は、第３の処理モジュールをさらに備える。一例として、図８を参照し、図８に示すように、この文書の視覚的質問応答装置は、マルチモーダル融合コードと質問サンプルのコードとをスプライスして、スプライスコードを取得し、スプライスコードを分類器に入力して、質問情報と候補リッチテキスト文書との間の類似度の予測値を取得するための第３の処理モジュール８０５をさらに備える。ここで、図８のステップＳ８０１－Ｓ８０４は図７のステップＳ７０１－Ｓ７０４と同じ機能および構造を有する。

【0107】

選択的に、この文書の視覚的質問応答装置は、表示モジュールをさらに備える。一例として、図９を参照し、図９に示すように、この文書の視覚的質問応答装置は、類似度の予測値が閾値以上であることに応答して、回答情報を出力するための表示モジュール９０５をさらに備える。ここで、図９のステップＳ９０１－Ｓ９０４は図７のステップＳ７０１－Ｓ７０４と同じ機能および構造を有する。

【0108】

選択的に、表示モジュールは、具体的には、レイアウト情報に基づいて、回答情報の各文字の座標情報を決定し、座標情報に基づいて、候補リッチテキスト文書において回答情報を強調表示するために使用される。

【0109】

選択的に、生成モジュール７０４は、具体的に、マルチモーダル融合コードをＣＲＦモジュールに入力し、ＣＲＦモジュールから出力された回答シーケンスラベルを取得し、ここで、回答シーケンスラベルには、回答開始ラベル、回答内部ラベル、回答外部ラベル、回答終了ラベル及び単一文字の回答ラベルが含まれ、回答シーケンスラベルに基づいて、候補リッチテキスト文書から質問情報に対応する回答情報を抽出するために使用される。選択的に、回答シーケンスラベルは、回答セグメント内の非回答テキストラベルをさらに含む。

【0110】

本願の実施例を実施することにより、クロスモーダル情報（テキスト、レイアウト、および視覚）を用いてモデリングすることができ、文書理解の能力を向上させることができる。リッチテキスト文書サンプルを用いてモデリングすることで、リッチテキスト文書を理解する読解モデルの能力を向上させることができる。また、本願は、情報抽出の代わりに、ＯＣＲ認識技術を使用することで、文書のソースによって特定の情報抽出スキームを設計する必要がないため、プロセス全体がよりエンドツーエンドになり、人件費が節約される。

【0111】

上記実施例における装置については、各モジュールが動作を実行する具体的な方法が、この方法に関する実施形態において詳細に説明されているが、ここでは詳細に説明されない。

【0112】

本願の実施例によれば、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
本願の実施例によれば、本願は、コンピュータプログラムを提供し、コンピュータプログラムがプロセッサによって実行される場合、本願の実施例によって提供されるクロスモーダル情報に基づく文書読解モデルトレーニング方法、又は文書の視覚的質問応答方法が実現される。

【0113】

図１０に示すように、それは本願の実施例によるクロスモーダル情報に基づく文書読解モデルトレーニング方法、又は文書の視覚的質問応答方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを指す。電子機器はまた、パーソナルデジタルプロセシング、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書に示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は、単なる例であり、本明細書に記載及び/又は主張の本願の実現を限定することを意図しない。

【0114】

図１０に示すように、この電子機器は、１つ又は複数のプロセッサ１００１、メモリ１００２及び高速インタフェースと低速インタフェースを備える各々のコンポーネントを接続するためのインタフェースを備える。各コンポーネントは、異なるバスで接続され、共通のマザーボード上に実装されてもよいし、必要に応じてその他の方式によって実装されてもよい。プロセッサは、メモリ内またはメモリ上に記憶された、外部入力/出力装置上(例えば、インタフェースに結合されたディスプレイデバイス)にＧＵＩのグラフィカル情報を表示するための命令を含む電子機器内で実行される命令を処理することができる。他の実施形態では、必要に応じて、複数のプロセッサおよび/または複数のバスが、複数のメモリおよび複数のメモリとともに使用され得る。同様に、複数の電子機器が接続されてもよく、各機器が必要な操作の一部(例えば、サーバアレイ、１組のブレードサーバ、あるいはマルチプロセッサシステムとする)を提供する。図１０では、１つのプロセッサ１００１を例としている。

【0115】

メモリ１００２は、本願による非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、このメモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、少なくとも１つのプロセッサが本願によるクロスモーダル情報に基づく文書読解モデルトレーニング方法、又は文書の視覚的質問応答方法を実行するようにする。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータ命令が記憶され、当該コンピュータ命令が、クロスモーダル情報に基づく文書読解モデルトレーニング方法、又は文書の視覚的質問応答方法を実行させることに用いられる。

【0116】

メモリ１００２は、非一時的なコンピュータ読み取り可能な記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能プログラム、及びモジュール、例えば、本願の実施例におけるクロスモーダル情報に基づく文書読解モデルトレーニング方法、又は文書の視覚的質問応答方法に対応するプログラム命令/モジュール(例えば、図５に示す取得モジュール５０１、第１の処理モジュール５０２、第２の処理モジュール５０３及びトレーニングモジュール５０４、又は図６に示す第３の処理モジュール６０５、又は図７に示す取得モジュール７０１、第１の処理モジュール７０２、第２の処理モジュール７０３及び生成モジュール７０４、又は図８に示す第３の処理モジュール８０５、又は図９に示す表示モジュール９０５)を記憶することができる。プロセッサ１００１は、メモリ１００２に記憶されている非一時的なソフトプログラム、命令及びモジュールを実行することにより、サーバの各種の機能応用及びデータ処理を実行し、即ち、上記の方法の実施例におけるクロスモーダル情報に基づく文書読解モデルトレーニング方法、又は文書の視覚的質問応答方法を実施する。

【0117】

メモリ１００２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶することができるプログラム記憶領域と、クロスモーダル情報に基づく文書読解モデルのトレーニング、又は文書の視覚的質問および応答のための電子機器の使用に基づいて作成されたデータなどを記憶することができるデータ記憶領域を含む。なお、メモリ１００２は、高速ランダムアクセスメモリを備えてもよく、また、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイス、または他の非一時的固体記憶デバイスなどの、非一時的メモリを備えてもよい。いくつかの実施例において、メモリ１００２は、プロセッサ１００１に対して遠隔設置されるメモリを備えてもよく、これらの遠隔メモリは、ネットワークを通じて、クロスモーダル情報に基づく文書読解モデルのトレーニング、又は文書の視覚的質問および応答のための電子機器に接続されることができる。上記ネットワークの実例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びこれらの組み合わせが含まれるが、それらに限定されない。

【0118】

クロスモーダル情報に基づく文書読解モデルトレーニング方法、又は文書の視覚的質問応答方法のための電子機器はまた、入力装置１００３と出力装置１００４とをさらに備えることができる。プロセッサ１００１、メモリ１００２、入力装置１００３及び出力装置１００４は、バス又はほかの方式によって接続されることができ、図１０では、バスによる接続を例としている。

【0119】

入力装置１００３は、入力された数字又は文字情報を受信し、クロスモーダル情報に基づく文書読解モデルのトレーニング、又は文書の視覚的質問および応答のための電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インディケータロッド、１つ又は複数のマウスボタン、トラックボール、操作レバーなどの入力装置である。出力装置１００４は、ディスプレイデバイス、補助照明装置(例えば、ＬＥＤ)、及び触感フィードバック装置(例えば、振動モータ)等を備えてもよい。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含んでよいが、それらに限定されない。いくつかの実施形態では、ディスプレイデバイスはタッチスクリーンであってよい。

【0120】

本明細書で説明するシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせにおいて実現され得る。これらの様々な実施形態は、少なくとも１つのプログラマブルプロセッサを備えるプログラマブルシステム上で実行および/または解釈可能な１つ以上のコンピュータプログラムで実施することを含み得て、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、且つデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に送信することができる。

【0121】

これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる)は、プログラマブルプロセッサの機械命令を含み、これらのコンピュータプログラムは、高レベルの手続きおよび/またはオブジェクト指向プログラミング言語、および/またはアセンブリ/機械語で実施され得る。本明細書で使用された用語「機械読み取り可能な媒体」および「コンピュータ読み取り可能な媒体」とは、プログラマブルプロセッサに機械命令および/またはデータを提供するための任意のコンピュータプログラム製品、機器、および/または装置(例えば、磁気ディスク、光学ディスク、メモリ、プログラム可能論理装置(ＰＬＤ))を指し、機械読み取り可能な信号としての機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するための任意の信号を指す。

【0122】

ユーザとの対話を提供するために、本明細書に記載されたシステムおよび技術は、コンピュータ上で実施され得て、該コンピュータは、ユーザに情報を表示するための表示装置(例えば、陰極線管(ＣＲＴ)またはＬＣＤ(液晶ディスプレイ)モニタ)と、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティング装置(例えば、マウスまたはトラックボール)と、を有する。他の種類の装置は、ユーザとの対話を提供することに使用されてもよく、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、ユーザからの入力は、(サウンド入力、音声入力、または触覚入力を含む)任意の形態で受信され得る。

【0123】

本明細書に記載のシステム及び技術は、バックエンド部材を備えるコンピューティングシステム(例えば、データサーバとして)、又はミドルウェア部材を備えるコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンド部材を備えるコンピューティングシステム(例えば、ユーザが本明細書に記載のシステム及び技術の実施形態と対話できるグラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータ)、又はこのようなバックエンド部材、ミドルウェア部材、又はフロントエンド部材の任意の組み合わせを備えるコンピューティングシステムにおいて実施され得る。システムの部材は、任意の形式または媒体(例えば、通信ネットワーク)のデジタルデータ通信によって互いに接続され得る。通信ネットワークの例としては、例えば、ローカルエリアネットワーク(ＬＡＮ)、ワイドエリアネットワーク(ＷＡＮ)、インターネット等が挙げられる。

【0124】

コンピュータシステムは、クライアントとサーバとを備えることができる。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータで実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービス体系のうちのホスト製品であり、従来の物理ホストとＶＰＳサービス（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ、また、「ＶＰＳ」と略記する）では、管理が難しく、業務拡張性が弱いという欠点を解決している。サーバーは、分散システムのサーバー、またはブロックチェーンを結合したサーバーであってもよい。

【0125】

本願の実施例の技術案によれば、長いリッチテキスト文書を理解する文書読解モデルの能力を向上させ、さまざまなソースからの文書に対して、特定の情報抽出スキームを設計する必要がないため、人件費を節約することができる。

【0126】

上記に示された様々な形態のフローが、ステップの順序変更、追加、または削除のために使用され得ることが理解されるべきである。例えば、本願に記載された各ステップは、並列に実行されても、順次的に実行されても、異なる順序で実行されてもよく、本願に開示された技術的解決手段の所望の結果を実現できる限り、本明細書はここで限定しない。

【0127】

上記の実施形態は、本願の保護範囲を制限するように構成されない。当業者は、設計要件と他の要素に従って、各種の修正、組合せ、サブコンビネーションまたは代替を行うことが可能であることは明らかである。本願の思想及び原理から逸脱しない限り、行ったあらゆる修正、等価置換及び改良等は、本願の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】