ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-26469学習装置、生成装置、出力装置、学習方法、生成方法、プログラム、及び学習済み機械学習モデルの製造方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024026469
(43)【公開日】2024-02-28
(54)【発明の名称】学習装置、生成装置、出力装置、学習方法、生成方法、プログラム、及び学習済み機械学習モデルの製造方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20240220BHJP
G06F 40/56 20200101ALI20240220BHJP
【ＦＩ】
G06N20/00 130
G06F40/56
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023216105
(22)【出願日】2023-12-21
(62)【分割の表示】P 2022503103の分割
【原出願日】2020-12-09
(31)【優先権主張番号】PCT/JP2020/008390
(32)【優先日】2020-02-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100124844
【弁理士】
【氏名又は名称】石原 隆治
(72)【発明者】
【氏名】西田 京介
(72)【発明者】
【氏名】田中 涼太
(72)【発明者】
【氏名】吉田 仙
(72)【発明者】
【氏名】富田 準二
(57)【要約】
【課題】視覚情報を考慮した機械読解を実現すること。
【解決手段】一実施形態に係る学習装置は、視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部と、前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部と、を有することを特徴とする。
【選択図】図１
【解決手段】一実施形態に係る学習装置は、視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部と、前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部と、を有することを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部と、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部と、
を有することを特徴とする学習装置。
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部と、
を有することを特徴とする学習装置。
【請求項2】
前記生成部は、
前記領域の特徴を表す情報と前記第１の情報との特徴量を作成し、前記特徴量から前記第２の情報を生成する、請求項１に記載の学習装置。
前記領域の特徴を表す情報と前記第１の情報との特徴量を作成し、前記特徴量から前記第２の情報を生成する、請求項１に記載の学習装置。
【請求項3】
前記領域には、画像又は図表が少なくとも含まれる、請求項１又は２に記載の学習装置。
【請求項4】
前記第１の情報は、前記データに関連する内容を表すテキスト情報である、請求項１乃至３の何れか一項に記載の学習装置。
【請求項5】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域と、前記第１の情報に対応する第２の情報との関連度を算出する算出部と、
前記関連度と、前記関連度の正解を表す情報とに基づいて、前記モデルパラメータを学習する学習部と、
を有することを特徴とする学習装置。
前記関連度と、前記関連度の正解を表す情報とに基づいて、前記モデルパラメータを学習する学習部と、
を有することを特徴とする学習装置。
【請求項6】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部、
を有することを特徴とする生成装置。
を有することを特徴とする生成装置。
【請求項7】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域に関して、前記領域と前記第１の情報に対応する第２の情報との関連度に基づく所定の評価値を出力する出力部、
を有することを特徴とする出力装置。
を有することを特徴とする出力装置。
【請求項8】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成手順と、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習手順と、
をコンピュータが実行することを特徴とする学習方法。
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習手順と、
をコンピュータが実行することを特徴とする学習方法。
【請求項9】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成手順、
をコンピュータが実行することを特徴とする生成方法。
をコンピュータが実行することを特徴とする生成方法。
【請求項10】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部、
としてコンピュータを機能させることを特徴とするプログラム。
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部、
としてコンピュータを機能させることを特徴とするプログラム。
【請求項11】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部、
としてコンピュータを機能させることを特徴とするプログラム。
としてコンピュータを機能させることを特徴とするプログラム。
【請求項12】
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成手順と、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習手順と、
をコンピュータが実行することを特徴とする、学習済み機械学習モデルの製造方法。
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習手順と、
をコンピュータが実行することを特徴とする、学習済み機械学習モデルの製造方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習装置、生成装置、出力装置、学習方法、生成方法、プログラム、及び学習済み機械学習モデルの製造方法に関する。
【背景技術】
【0002】
与えられた文書の集合に基づいて、質問に対する回答を生成する「機械読解」を人工知能により正確に行うことができれば、質問応答や知的エージェント対話等の幅広いサービスに応用することができる。機械読解には抽出型と生成型があるが、生成型の機械読解を行うための従来技術として、例えば、非特許文献１に開示された技術が知られている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Kyosuke Nishida, Itsumi Saito, Kosuke Nishida, Kazutoshi Shinoda, Atsushi Otsuka, Hisako Asano, Junji Tomita: Multi-style Generative Reading Comprehension. ACL (1) 2019: 2273-2284
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の機械読解技術はテキストのみを扱っており、文書中におけるテキストの位置や大きさ等の視覚的な情報を扱うことができなかった。このため、複数個のテキストがレイアウトされた文書（例えば、ＨＴＭＬ（HyperText Markup Language）文書やＰＤＦ（Portable Document Format）文書等）を機械読解により理解する場合、テキストの内容以外の情報はすべて欠落した状態で扱われていた。
【0005】
本発明の一実施形態は、上記の点に鑑みてなされたもので、視覚的な情報を考慮した機械読解を実現することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、一実施形態に係る学習装置は、視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する生成部と、前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する学習部と、を有することを特徴とする。
【発明の効果】
【0007】
視覚情報を考慮した機械読解を実現することができる。
【図面の簡単な説明】
【0008】
【図1】第一の実施形態に係る質問応答装置の全体構成（学習時）の一例を示す図である。
【図2】第一の実施形態に係る学習処理の一例を示すフローチャートである。
【図3】第一の実施形態に係るモデルパラメータ更新処理の一例を示すフローチャートである。
【図4】特徴領域の抽出の一例を説明するための図である。
【図5】第一の実施形態に係る視覚効果付き言語理解処理の一例を示すフローチャートである。
【図6】第一の実施形態に係る回答テキスト生成確率算出処理の一例を示すフローチャートである。
【図7】第一の実施形態に係る質問応答装置の全体構成（推論時）の一例を示す図である。
【図8】第一の実施形態に係る推論処理の一例を示すフローチャートである。
【図9】第一の実施形態に係る回答テキスト生成処理の一例を示すフローチャートである。
【図10】第二の実施形態に係る質問応答装置の全体構成（学習時）の一例を示す図である。
【図11】第二の実施形態に係るモデルパラメータ更新処理の一例を示すフローチャートである。
【図12】第二の実施形態に係る視覚効果付き言語理解処理の一例を示すフローチャートである。
【図13】第二の実施形態に係る回答テキスト生成確率算出処理の一例を示すフローチャートである。
【図14】第二の実施形態に係る質問応答装置の全体構成（推論時）の一例を示す図である。
【図15】第二の実施形態に係る推論処理の一例を示すフローチャートである。
【図16】第二の実施形態に係る回答テキスト生成処理の一例を示すフローチャートである。
【図17】一実施形態に係る質問応答装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について説明する。
【0010】
・第一の実施形態
本実施形態では、テキストを含む画像とこの画像に関連する質問テキストとが与えられたときに、この画像中の視覚的な情報（例えば、画像中におけるテキストの位置や大きさ等）を考慮した回答テキストを生成することができる質問応答装置１０について説明する。また、本実施形態に係る質問応答装置１０は、画像中におけるテキストの位置や大きさだけでなく、画像中に含まれるグラフや写真等の視覚的な情報（言い換えれば、テキストの理解を助ける補助的な情報）も考慮して回答テキストを生成することができる。
本実施形態では、テキストを含む画像とこの画像に関連する質問テキストとが与えられたときに、この画像中の視覚的な情報（例えば、画像中におけるテキストの位置や大きさ等）を考慮した回答テキストを生成することができる質問応答装置１０について説明する。また、本実施形態に係る質問応答装置１０は、画像中におけるテキストの位置や大きさだけでなく、画像中に含まれるグラフや写真等の視覚的な情報（言い換えれば、テキストの理解を助ける補助的な情報）も考慮して回答テキストを生成することができる。
【0011】
なお、上述したように、質問応答装置１０にはテキストが含まれる画像が与えられるものとするが、これに限られず、テキストが含まれる任意のデータが与えられた場合にも、本実施形態を同様に適用することが可能である。したがって、例えば、ＨＴＭＬやＰＤＦ等のフォーマットに依存することなく、テキストが含まれるデータであれば同様に適用することが可能である。テキストが含まれるデータとしては、例えば、テキストが含まれるＨＴＭＬ文書（Ｗｅｂページ）、テキストが含まれるＰＤＦ文書、説明文等が含まれる風景画像、文書データ等が挙げられる。
【0012】
ここで、本実施形態に係る質問応答装置１０は、ニューラルネットワークモデルにより機械読解を実現する。このため、本実施形態に係る質問応答装置１０には、このニューラルネットワークモデルのパラメータ（以下、「モデルパラメータ」ともいう。）を学習する学習時と、学習済みモデルパラメータを用いたニューラルネットワークモデルにより機械読解を行う推論時とがある。そこで、以降では、質問応答装置１０の学習時と推論時について説明する。
【0013】
［学習時］
まず、学習時について説明する。学習時における質問応答装置１０には、テキストを含む画像とこの画像に関連する質問テキストとこの質問テキストに対する正解を表す正解回答テキストとが含まれる訓練データの集合（訓練データセット）が入力される。
まず、学習時について説明する。学習時における質問応答装置１０には、テキストを含む画像とこの画像に関連する質問テキストとこの質問テキストに対する正解を表す正解回答テキストとが含まれる訓練データの集合（訓練データセット）が入力される。
【0014】
＜学習時おける質問応答装置１０の全体構成＞
学習時における質問応答装置１０の全体構成について、図１を参照しながら説明する。図１は、第一の実施形態に係る質問応答装置の全体構成（学習時）の一例を示す図である。
学習時における質問応答装置１０の全体構成について、図１を参照しながら説明する。図１は、第一の実施形態に係る質問応答装置の全体構成（学習時）の一例を示す図である。
【0015】
図１に示すように、学習時における質問応答装置１０は、特徴領域抽出部１０１と、テキスト認識部１０２と、テキスト解析部１０３と、視覚効果付言語理解部１０４と、回答テキスト生成部１０５と、パラメータ学習部１０６と、パラメータ記憶部１０７とを有する。
【0016】
特徴領域抽出部１０１は、入力された画像から特徴領域を抽出する。テキスト認識部１０２は、特徴領域抽出部１０１により抽出された特徴領域のうち、テキストが含まれる特徴領域に対してテキスト認識を行って、テキストを出力する。テキスト解析部１０３は、テキスト認識部１０２により出力されたテキストと、入力された質問テキストとをそれぞれトークン系列に分割する。また、テキスト解析部１０３は、正解回答テキストもトークン系列に分割する。
【0017】
視覚効果付言語理解部１０４はニューラルネットワークで実現され、パラメータ記憶部１０７に記憶されている学習中モデルパラメータを用いて、テキスト解析部１０３により得られたトークン系列を符号化する。これにより、視覚的な情報が考慮された符号化系列が得られる。すなわち、画像中の視覚的な効果も考慮した言語理解が得られる。
【0018】
回答テキスト生成部１０５はニューラルネットワークで実現され、パラメータ記憶部１０７に記憶されている学習中モデルパラメータを用いて、視覚効果付言語理解部１０４により得られた符号化系列から回答テキストの生成確率を表す確率分布を算出する。
【0019】
パラメータ学習部１０６は、回答テキスト生成部１０５により生成された回答テキストと、入力された正解回答テキストとの損失を用いて、パラメータ記憶部１０７に記憶されている学習中モデルパラメータを更新する。これにより、モデルパラメータが学習される。
【0020】
パラメータ記憶部１０７には、視覚効果付言語理解部１０４及び回答テキスト生成部１０５を実現するニューラルネットワークモデルの学習中モデルパラメータ（つまり、学習対象のモデルパラメータ）が記憶される。なお、学習中モデルパラメータとは、学習済みでないモデルパラメータのことを意味する。
【0021】
＜学習処理＞
次に、本実施形態に係る学習処理について、図２を参照しながら説明する。図２は、第一の実施形態に係る学習処理の一例を示すフローチャートである。なお、以降では、一例として、確率的勾配降下法により学習中モデルパラメータを学習する場合について説明する。ただし、確率的勾配降下法以外の他の最適化手法により学習中モデルパラメータが学習されてもよい。
次に、本実施形態に係る学習処理について、図２を参照しながら説明する。図２は、第一の実施形態に係る学習処理の一例を示すフローチャートである。なお、以降では、一例として、確率的勾配降下法により学習中モデルパラメータを学習する場合について説明する。ただし、確率的勾配降下法以外の他の最適化手法により学習中モデルパラメータが学習されてもよい。
【0022】
まず、パラメータ学習部１０６は、エポック数を表す変数ｎｅを１に初期化する（ステップＳ１０１）。
【0023】
次に、パラメータ学習部１０６は、入力された訓練データセットを、最大でＮｂ個の訓練データが含まれるミニバッチに分割する（ステップＳ１０２）。Ｎｂは予め設定される値であり、任意の値を設定することが可能であるが、例えば、Ｎｂ＝６０等とすることが考えられる。
【0024】
次に、質問応答装置１０は、ミニバッチ毎にモデルパラメータ更新処理を実行する（ステップＳ１０３）。モデルパラメータ更新処理の詳細については後述する。
【0025】
次に、パラメータ学習部１０６は、ｎｅ＞Ｎｅ－１であるか否かを判定する（ステップＳ１０４）。Ｎｅは予め設定されるエポック数であり、任意の値を設定することが可能であるが、例えば、Ｎｅ＝１５等とすることが考えられる。
【0026】
上記のステップＳ１０４でｎｅ＞Ｎｅ－１であると判定された場合、パラメータ学習部１０６は学習処理を終了する。これにより、パラメータ記憶部１０７に記憶されているモデルパラメータの学習が完了する。
【0027】
一方で、上記のステップＳ１０４でｎｅ＞Ｎｅ－１でないと判定された場合、パラメータ学習部１０６は、ｎｅに１を加算（ステップＳ１０５）して、上記のステップＳ１０２に戻る。これにより、エポック数Ｎｅ分、上記のステップＳ１０２及びステップＳ１０３が繰り返し実行される。
【0028】
≪モデルパラメータ更新処理≫
次に、上記のステップＳ１０３のモデルパラメータ更新処理の詳細について、図３を参照しながら説明する。図３は、第一の実施形態に係るモデルパラメータ更新処理の一例を示すフローチャートである。なお、以降では、或るミニバッチに関するモデルパラメータ更新処理について説明する。
次に、上記のステップＳ１０３のモデルパラメータ更新処理の詳細について、図３を参照しながら説明する。図３は、第一の実施形態に係るモデルパラメータ更新処理の一例を示すフローチャートである。なお、以降では、或るミニバッチに関するモデルパラメータ更新処理について説明する。
【0029】
まず、パラメータ学習部１０６は、ミニバッチ中の訓練データを１件読み込む（ステップＳ２０１）。
【0030】
次に、特徴領域抽出部１０１は、読み込まれた訓練データに含まれる画像からＫ個の特徴領域を抽出する（ステップＳ２０２）。特徴領域とは視覚的な特徴に基づく領域のことであり、本実施形態では矩形領域で表されるものとする。また、ｋ番目の特徴領域は、左上座標、右下座標、幅、高さ及び面積を含む位置情報（計７次元）と、矩形画像表現（Ｄ次元）と、領域タイプ（Ｃ種類）とを持つ画像トークンｉｋとして表されるものとする。ただし、位置情報は特徴領域の位置を特定可能であれば任意の情報が用いられてもよい（例えば、幅、高さ及び面積の少なくとも１つの情報はなくてもよいし、左上座標及び右下座標の代わりに、右上座標及び左下座標が用いられてもよいし、中心座標が用いられてもよい、）。また、矩形画像表現又は領域タイプのいずれかの情報はなくてもよい。なお、例えば、特徴領域がポリゴン（多角形領域）である場合には、このポリゴンを囲む矩形領域を改めて特徴領域とすればよい。
【0031】
ここで、本実施形態では、領域タイプとして、例えば、「画像」、「データ（図表）」、「段落／本文」、「サブデータ」、「見出し／タイトル」、「キャプション」、「サブタイトル／著者名」、「リスト」、「その他テキスト」の９種類を扱うものとする。また、「画像」及び「データ（図表）」以外は、テキストを含む領域タイプであるものとする。ただし、これらの領域タイプは一例であって、他の領域タイプが設定されてもよい。例えば、「画像」と「データ（図表）」とを１つにまとめた領域タイプ「画像情報」が設定されてもよいし、「段落／本文」と「サブデータ」と「見出し／タイトル」と「キャプション」と「サブタイトル／著者名」と「リスト」と「その他テキスト」とを１つにまとめた領域タイプ「テキスト情報」が設定されてもよい。このように領域タイプには、特徴領域にテキストが含まれないことを示す領域タイプと、特徴領域にテキストが含まれることを示す領域タイプとの２種類が少なくとも設定されていればよい。
【0032】
特徴領域抽出部１０１による特徴領域の抽出の一例を図４に示す。図４に示す例では、テキストを含む画像１０００から特徴領域１１００、特徴領域１２００、特徴領域１３００、特徴領域１４００及び特徴領域１５００の５つの特徴領域が抽出された場合を示している。また、図４に示す例では、特徴領域１１００の領域タイプは「画像」、特徴領域１２００の領域タイプは「段落／本文」、特徴領域１３００の領域タイプは「見出し／タイトル」、特徴領域１４００の領域タイプは「リスト」、特徴領域１５００の領域タイプは「リスト」である。
【0033】
なお、このような特徴領域の抽出には、例えば、参考文献１「Shaoqing Ren, Kaiming He, Ross B. Girshick, Jian Sun: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. NIPS 2015: 91-99」に記載されているFaster R-CNN等を用いることが可能である。ただし、視覚的な特徴に基づく領域を抽出可能な手法であれば、他の手法（例えば、オブジェクト識別技術等）を用いることも可能である。これ以外にも、例えば、入力された画像から人手で特徴領域が抽出（つまり、例えば、左上座標や右下座標、領域タイプ等を人手で設定した画像トークンが作成）されてもよい。
【0034】
次に、テキスト認識部１０２は、上記のステップＳ２０２で抽出された特徴領域のうち、テキストが含まれることを示す領域タイプの特徴領域に対してテキスト認識を行って、テキストを出力する（ステップＳ２０３）。なお、このテキスト認識には、例えば、参考文献２「Google: Tesseract Manual. 2018. インターネット＜ＵＲＬ：https://github.com/tesseract-ocr/tesseract/blob/master/doc/tesseract.1.asc＞」に記載されているTesseract等を用いることが可能である。
【0035】
次に、テキスト解析部１０３は、上記のステップＳ２０３で出力されたテキストをテキストトークン系列に分割する（ステップＳ２０４）。以降では、或るｋ番目の特徴領域にテキストが含まれるものとして、このテキストを分割したテキストトークン系列を
【0036】
【数1】
【0037】
なお、上記のByte-level BPEを用いることでテキストはサブワードトークン系列に分割されるが、サブワードトークンの代わりに、例えば、空白等で区切られた単語の系列がテキストトークン系列として用いられてもよい。
【0038】
次に、テキスト解析部１０３は、上記のステップＳ２０４と同様に、読み込まれた訓練データに含まれる質問テキストを質問トークン系列（ｘ１
ｑ，ｘ２
ｑ，・・・，ｘＪ
ｑ）に分割する（ステップＳ２０５）。Ｊは質問テキストのトークン数である。なお、質問トークン系列は、サブワードのトークン系列である。
【0039】
次に、質問応答装置１０は、視覚効果付き言語理解処理を実行して、視覚的な情報が考慮された符号化系列を得る（ステップＳ２０６）。ここで、視覚効果付き言語理解処理の詳細について、図５を参照しながら説明する。図５は、第一の実施形態に係る視覚効果付き言語理解処理の一例を示すフローチャートである。
【0040】
まず、視覚効果付言語理解部１０４は、画像トークンとテキストトークン系列と質問トークン系列とを用いて、以下の入力トークン系列
【0041】
【数2】
【0042】
【数3】
【0043】
以降では、入力トークン系列の長さをＬとする。このＬは所定の長さ（例えば、Ｌ＝５１２等）となるように調整されることが一般的である。もし入力トークン系列の長さがＬを超える場合、各特徴領域に含まれるテキストのうち、最も長いテキストを削除したり、各テキストを均等に削除したり等することで、入力トークン系列の長さＬが所定の長さとなるようにする。一方で、入力トークン系列の長さＬが所定の長さに不足する場合は、特殊なトークンでパディングすればよい。
【0044】
次に、視覚効果付言語理解部１０４は、入力トークン系列中の先頭のトークンを処理対象に設定する（ステップＳ３０２）。
【0045】
次に、視覚効果付言語理解部１０４は、処理対象として設定されているトークンがテキストトークンであるか否かを判定する（ステップＳ３０３）。ここで、テキストトークンとは、質問トークン系列に含まれるトークン、テキストトークン系列に含まれるトークン及び［ＣＬＳ］，［ＳＥＰ］，［ＥＯＳ］等の特殊トークンのこと（つまり、サブワードトークンのこと）である。
【0046】
上記のステップＳ３０３で処理対象トークンがテキストトークンであると判定された場合、視覚効果付言語理解部１０４は、処理対象トークンを符号化する（ステップＳ３０４）。ここで、本実施形態では、BERT（Bidirectional Encoder Representations from Transformers）を含むニューラルネットワークモデルにより視覚効果付言語理解部１０４が実現されるものとして、視覚効果付言語理解部１０４は、以下により処理対象トークンを符号化するものとする。
【0047】
ｈ＝LayerNorm（TokenEmb（ｘ）＋PositionEmb（ｘ）＋SegmentEmb（ｘ））
ｘは処理対象トークン（つまり、サブワードトークン）、ｈは符号化後の処理対象トークンを表す。なお、BERTについては、例えば、参考文献４「Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language」を参照されたい。
ｘは処理対象トークン（つまり、サブワードトークン）、ｈは符号化後の処理対象トークンを表す。なお、BERTについては、例えば、参考文献４「Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language」を参照されたい。
【0048】
TokenEmbは、ニューラルネットワークモデルにより、サブワードトークンを対応するＧ次元のベクトルに変換する処理である。本実施形態では、参考文献５「Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlemoyer: BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension, arXiv, 2019.」により学習済みの埋め込みベクトル（Ｇ＝１０２４）をニューラルネットワークモデルのモデルパラメータの初期値とし、学習対象のモデルパラメータとする。なお、参考文献５以外の事前学習済み言語モデルのパラメータを学習対象としてもよい。
【0049】
PositionEmbは、ニューラルネットワークモデルにより、入力トークン系列中における処理対象トークンの位置に応じてＧ次元のベクトルに変換する処理である。本実施形態では、参考文献６「Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.」に記載されている手法を用いる。
【0050】
SegmentEmbは、入力トークン系列中における処理対象トークンのセグメントに応じてＧ次元のベクトルに変換する処理である。本実施形態では、セグメントを区別せずに、変換後のベクトルをＧ次元の零ベクトルとして扱う。セグメントとは、BERTに入力されるテキストを区別するための情報である。本実施形態では、画像トークンｉｋがセグメントの役割を果たすため、SegmentEmbではセグメントを区別していない。なお、BERTではSegmentEmbが必要であるため、本実施形態でもSegmentEmbを用いているが、BERTを用いない場合には、SegmentEmbは不要である。
【0051】
LayerNormは、Ｇ次元のベクトルを入力として、参考文献７「Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton: Layer Normalization. Arxiv, 2016.」に記載されている正規化手法によりＧ次元のベクトルを出力する。
【0052】
一方で、上記のステップＳ３０３で処理対象トークンがテキストトークンでないと判定された場合（つまり、処理対象トークンが画像トークンである場合）、視覚効果付言語理解部１０４は、処理対象トークンを以下により符号化する（ステップＳ３０５）。
【0053】
ｈ＝LayerNorm（ImgfEmb（ｉ）＋LocationEmb（ｉ）＋SegmentEmb（ｉ））
ｉは処理対象トークン（つまり、画像トークン）、ｈは符号化後の処理対象トークンを表す。また、SegmentEmb及びLayerNormは上記のステップＳ３０４で説明した通りである。
ｉは処理対象トークン（つまり、画像トークン）、ｈは符号化後の処理対象トークンを表す。また、SegmentEmb及びLayerNormは上記のステップＳ３０４で説明した通りである。
【0054】
ImgfEmbは、画像トークンに含まれる矩形画像表現を全結合層で構成されるフィードフォワードネットワークモデルによりＤ次元からＧ次元に変換する処理である。本実施形態では、１層の全結合層で構成されるフィードフォワードネットワークモデルを用いるものとして、このフィードフォワードネットワークモデルのモデルパラメータを学習対象のモデルパラメータとする。
【0055】
LocationEmbは、画像トークンに含まれる位置情報を全結合層で構成されるフィードフォワードネットワークモデルにより７次元からＤ次元に変換する処理である。本実施形態では、１層の全結合層で構成されるフィードフォワードネットワークモデルを用いるものとして、このフィードフォワードネットワークモデルのモデルパラメータを学習対象のモデルパラメータとする。
【0056】
上記のステップＳ３０４又はステップＳ３０５に続いて、視覚効果付言語理解部１０４は、処理対象トークンが、入力トークン系列の最終トークンであるか否かを判定する（ステップＳ３０６）。
【0057】
上記のステップＳ３０６で処理対象トークンが最終トークンでないと判定された場合、視覚効果付言語理解部１０４は、入力トークン系列中で現在の処理対象トークンの次のトークンを処理対象に設定し（ステップＳ３０７）、上記のステップＳ３０３に戻る。これにより、入力トークン系列中の各トークンが符号化され、符号化系列Ｈ＝（ｈ１，ｈ２，・・・，ｈＬ）が得られる。なお、ｈｒは入力トークン系列中のｒ（ｒ＝１，２，・・・，Ｌ）番目のトークンを符号化したものである。
【0058】
一方で、上記のステップＳ３０６で処理対象トークンが最終トークンであると判定された場合、視覚効果付言語理解部１０４は、入力トークン系列の符号化系列ＨをＭ層のTransformerEncoderによりＨ'に変換する（ステップＳ３０８）。すなわち、視覚効果付言語理解部１０４は、Ｈ'＝TransformerEncoder（Ｈ）とする。なお、TransformerEncoderについては、例えば、上記の参考文献５等を参照されたい。本実施形態では、Ｍ＝１２、上記の参考文献５により学習済みのTransformerEncoderを初期値として、このTransformerEncoderのパラメータを学習対象のモデルパラメータとする。
【0059】
図３に戻る。ステップＳ２０６に続いて、質問応答装置１０は、回答テキストの生成確率算出処理を実行して、回答テキストの生成確率を表す確率分布を算出する（ステップＳ２０７）。ここで、回答テキストの生成確率算出処理の詳細について、図６を参照しながら説明する。図６は、第一の実施形態に係る回答テキスト生成確率算出処理の一例を示すフローチャートである。
【0060】
まず、テキスト解析部１０３は、上記のステップＳ２０４と同様に、読み込まれた訓練データに含まれる正解回答テキストを正解回答トークン系列
【0061】
【数4】
【0062】
次に、視覚効果付言語理解部１０４は、上記のステップＳ４０１で得られた正解回答トークン系列を用いて、正解出力トークン系列
【0063】
【数5】
【0064】
次に、視覚効果付言語理解部１０４は、ｔ＝２として、正解出力トークン系列Ｙ＊中の先頭のトークンを処理対象（ｔ－１番目の処理対象トークン）に設定する（ステップＳ４０３）。
【0065】
次に、視覚効果付言語理解部１０４は、図５のステップＳ３０４と同様に、以下により処理対象トークンを符号化する（ステップＳ４０４）。
【0066】
ｈｙ*＝LayerNorm（TokenEmb（ｙ*）＋PositionEmb（ｙ*）＋SegmentEmb（ｙ*））
ｙ*は処理対象トークン（つまり、サブワードトークン）、ｈｙ*は符号化後の処理対象トークンを表す。
ｙ*は処理対象トークン（つまり、サブワードトークン）、ｈｙ*は符号化後の処理対象トークンを表す。
【0067】
以降では、ｔ－１番目までの処理対象トークンの符号化結果を表す符号化系列をＨｙ*＝（ｈ１
ｙ*，ｈ２
ｙ*，・・・，ｈｔ－１
ｙ*）と表す。
【0068】
次に、視覚効果付言語理解部１０４は、視覚効果付き言語理解処理で得られた符号化系列Ｈ'と、上記のステップＳ４０４で得られた符号化系列Ｈｙ*＝（ｈ１
ｙ*，ｈ２
ｙ*，・・・，ｈｔ－１
ｙ*）とをＭ層のTransformerDecoderにより変換する（ステップＳ４０５）。すなわち、視覚効果付言語理解部１０４は、ｈｔ
ｙ＝TransformerDecoder（Ｈｙ*，Ｈ'）とする。
【0069】
なお、TransformerDecoderについては、例えば、上記の参考文献５等を参照されたい。本実施形態では、Ｍ＝１２、上記の参考文献５により学習済みのTransformerDecoderを初期値として、このTransformerDecoderのパラメータを学習対象のモデルパラメータとする。なお、参考文献５以外の事前学習済み言語モデルのパラメータを学習対象としてもよい。
【0070】
次に、回答テキスト生成部１０５は、ｔ番目の単語が生成される確率分布ｐ（ｙｔ｜ｙ＜ｔ*）を算出する（ステップＳ４０６）。予め設定された出力語彙（語彙数Ｖ）における単語ｙｔの確率分布は、ｐ（ｙｔ｜ｙ＜ｔ*）＝softmax（Ｗｈｔ
ｙ＋ｂ）により算出される。ここで、Ｗ∈ＲＶ×Ｇ、ｂ∈ＲＶは学習対象のモデルパラメータである。なお、語彙数Ｖとしては任意の値を設定することが可能であるが、例えば、５０２５７等とすることが考えられる。
【0071】
次に、視覚効果付言語理解部１０４は、正解単語ｙｔ
＊が最終単語であるか否かを判定する（ステップＳ４０７）。最終単語とは、ｔ＝ＬＴ番目の単語又は文末を示す特殊単語［ＥＯＳ］のことである。なお、正解単語ｙｔ
＊が文末を示す単語で、かつ、ｔ＜ＬＴである場合、回答テキスト生成部１０５は、ｔ＋１からＬＴまでを特殊な単語でパディングする。
【0072】
上記のステップＳ４０７で正解単語ｙｔ
＊が最終単語でないと判定された場合、視覚効果付言語理解部１０４は、ｔに１を加算（ステップＳ４０８）し、ステップＳ４０４に戻る。これにより、上記のステップＳ４０４～ステップＳ４０６が繰り返し実行される。
【0073】
図３に戻る。ステップＳ２０７に続いて、パラメータ学習部１０６は、図６のステップＳ４０６で算出された確率分布ｐ（ｙｔ｜ｙ＜ｔ*）を用いて、損失Lossを算出する（ステップＳ２０８）。パラメータ学習部１０６は、例えば、以下により損失Lossを算出すればよい。
【0074】
【数6】
【0075】
次に、パラメータ学習部１０６は、ミニバッチ中の全ての訓練データを読み込んだか否かを判定する（ステップＳ２０９）。
【0076】
上記のステップＳ２０９でミニバッチ中に未だ読み込んでない訓練データが存在すると判定された場合、パラメータ学習部１０６は、未だ読み込んでいない訓練データ１件読み込んで（ステップＳ２１０）、上記のステップＳ２０２に戻る。これにより、ミニバッチに含まれる各訓練データに対して、上記のステップＳ２０２～ステップＳ２０８が繰り返し実行される。
【0077】
一方で、上記のステップＳ２０９でミニバッチ中の全ての訓練データを読み込んだと判定された場合、パラメータ学習部１０６は、各訓練データに関して上記のステップＳ２０８で算出された損失Lossを用いて、モデルパラメータを更新する（ステップＳ２１１）。すなわち、既知の最適化手法により、損失Lossが最小となるように、モデルパラメータを更新する。
【0078】
以上により、本実施形態に係る質問応答装置１０では、テキストを含む画像とこの画像に関連する質問テキストとが与えられたときに、この画像中の視覚的な情報を考慮した回答テキストが生成されるようにモデルパラメータが学習される。すなわち、視覚的な情報を考慮した機械読解が可能なようにモデルパラメータが学習される。
【0079】
［推論時］
次に、推論時について説明する。推論時における質問応答装置１０には、テキストを含む画像とこの画像に関連する質問テキストとが含まれるテストデータが入力される。
次に、推論時について説明する。推論時における質問応答装置１０には、テキストを含む画像とこの画像に関連する質問テキストとが含まれるテストデータが入力される。
【0080】
＜推論時における質問応答装置１０の全体構成＞
推論時における質問応答装置１０の全体構成について、図７を参照しながら説明する。図７は、第一の実施形態に係る質問応答装置の全体構成（推論時）の一例を示す図である。
推論時における質問応答装置１０の全体構成について、図７を参照しながら説明する。図７は、第一の実施形態に係る質問応答装置の全体構成（推論時）の一例を示す図である。
【0081】
図７に示すように、推論時における質問応答装置１０は、特徴領域抽出部１０１と、テキスト認識部１０２と、テキスト解析部１０３と、視覚効果付言語理解部１０４と、回答テキスト生成部１０５と、パラメータ記憶部１０７とを有する。これら各部のうち、特徴領域抽出部１０１、テキスト認識部１０２及びテキスト解析部１０３は、学習時と同様である。一方で、視覚効果付言語理解部１０４及び回答テキスト生成部１０５は、パラメータ記憶部１０７に記憶されている学習済みモデルパラメータを用いる。また、回答テキスト生成部１０５は、視覚効果付言語理解部１０４により得られた符号化系列から算出した確率分布を用いて回答テキストを生成する。
【0082】
＜推論処理＞
次に、本実施形態に係る推論処理について、図８を参照しながら説明する。図８は、第一の実施形態に係る推論処理の一例を示すフローチャートである。なお、以降では、質問応答装置１０に与えられたテストデータが読み込まれたものとする。
次に、本実施形態に係る推論処理について、図８を参照しながら説明する。図８は、第一の実施形態に係る推論処理の一例を示すフローチャートである。なお、以降では、質問応答装置１０に与えられたテストデータが読み込まれたものとする。
【0083】
まず、特徴領域抽出部１０１は、図３のステップＳ２０２と同様に、読み込まれたテストデータに含まれる画像からＫ個の特徴領域を抽出する（ステップＳ５０１）。
【0084】
次に、テキスト認識部１０２は、図３のステップＳ２０３と同様に、上記のステップＳ５０１で抽出された特徴領域のうち、テキストが含まれることを示す領域タイプの特徴領域に対してテキスト認識を行って、テキストを出力する（ステップＳ５０２）。
【0085】
次に、テキスト解析部１０３は、図３のステップＳ２０４と同様に、上記のステップＳ５０２で出力されたテキストをテキストトークン系列に分割する（ステップＳ５０３）。
【0086】
次に、テキスト解析部１０３は、図３のステップＳ２０５と同様に、読み込まれたテストデータに含まれる質問テキストを質問トークン系列に分割する（ステップＳ５０４）。
【0087】
次に、質問応答装置１０は、視覚効果付き言語理解処理を実行して、視覚的な情報が考慮された符号化系列を得る（ステップＳ５０５）。視覚効果付き言語処理は、図３のステップＳ２０６と同様であるため、その説明を省略する。以降では、符号化系列Ｈ'が得られたものとして説明を続ける。
【0088】
次に、質問応答装置１０は、回答テキスト生成処理を実行して、回答テキストを生成する（ステップＳ５０６）。ここで、回答テキスト生成処理の詳細について、図９を参照しながら説明する。図９は、第一の実施形態に係る回答テキスト生成処理の一例を示すフローチャートである。
【0089】
まず、回答テキスト生成部１０５は、出力トークン系列の先頭のトークンを［ＣＬＳ］とする（ステップＳ６０１）。なお、この時点では、出力トークン系列に含まれるトークンは［ＣＬＳ］のみである。
【0090】
次に、視覚効果付言語理解部１０４は、ｔ＝２として、出力トークン系列の先頭のトークンを処理対象（ｔ－１番目の処理対象トークン）に設定する（ステップＳ６０２）。
【0091】
次に、視覚効果付言語理解部１０４は、図６のステップＳ４０４と同様に、以下により処理対象トークンを符号化する（ステップＳ６０３）。
【0092】
ｈｙ＝LayerNorm（TokenEmb（ｙ）＋PositionEmb（ｙ）＋SegmentEmb（ｙ））
ｙは処理対象トークン（つまり、サブワードトークン）、ｈｙは符号化後の処理対象トークンを表す。
ｙは処理対象トークン（つまり、サブワードトークン）、ｈｙは符号化後の処理対象トークンを表す。
【0093】
以降では、ｔ－１番目までの処理対象トークンの符号化結果を表す符号化系列をＨｙ＝（ｈ１
ｙ，ｈ２
ｙ，・・・，ｈｔ－１
ｙ）と表す。
【0094】
次に、視覚効果付言語理解部１０４は、図６のステップＳ４０５と同様に、視覚効果付き言語理解処理で得られた符号化系列Ｈ'と、上記のステップＳ６０３で得られた符号化系列ＨｙとをＭ層のTransformerDecoderにより変換する（ステップＳ６０４）。すなわち、視覚効果付言語理解部１０４は、ｈｔ
ｙ＝TransformerDecoder（Ｈｙ，Ｈ'）とする。これにより、Ｈｙ'＝ （ｈ１
ｙ，ｈ２
ｙ，・・・，ｈｔ－１
ｙ，ｈｔ
ｙ）が得られる。
【0095】
次に、回答テキスト生成部１０５は、ｔ番目の単語が生成される確率分布ｐ（ｙｔ｜ｙ＜ｔ）を算出する（ステップＳ６０５）。予め設定された出力語彙（語彙数Ｖ）における単語ｙｔの確率分布は、ｐ（ｙｔ｜ｙ＜ｔ）＝softmax（Ｗｈｔ
ｙ＋ｂ）により算出される。ここで、Ｗ∈ＲＶ×Ｇ、ｂ∈ＲＶは学習済みモデルパラメータである。
【0096】
次に、回答テキスト生成部１０５は、上記のステップＳ６０５で算出された確率分布ｐ（ｙｔ｜ｙ＜ｔ）に基づいて、ｔ番目の単語を生成する（ステップＳ６０６）。回答テキスト生成部１０５は、確率が最大となる単語をｔ番目の単語として生成してもよいし、確率分布に従ってサンプリングすることでｔ番目の単語を生成してもよい。
【0097】
次に、回答テキスト生成部１０５は、上記のステップＳ６０６で生成されたｔ番目の単語を出力トークン系列の末尾に連結する（ステップＳ６０７）。
【0098】
次に、視覚効果付言語理解部１０４は、上記のステップＳ６０６で生成されたｔ番目の単語が最終単語であるか否かを判定する（ステップＳ６０８）。最終単語とは文末を示す特殊単語［ＥＯＳ］のことである。
【0099】
上記のステップＳ６０８でｔ番目の単語が最終単語でないと判定された場合、視覚効果付言語理解部１０４は、ｔに１を加算（ステップＳ６０９）し、ステップＳ６０３に戻る。これにより、上記のステップＳ６０３～ステップＳ６０７が繰り返し実行され、単語系列が得られる。
【0100】
以上により、本実施形態に係る質問応答装置１０では、テキストを含む画像とこの画像に関連する質問テキストとが与えられたときに、この画像中の視覚的な情報を考慮した回答テキスト（単語系列）を生成することができる。
【0101】
・第二の実施形態
本実施形態では、特徴領域抽出部１０１により抽出された特徴領域が、質問に対して回答するために必要な情報であるか否かも考慮して回答テキストを生成する場合について説明する。
本実施形態では、特徴領域抽出部１０１により抽出された特徴領域が、質問に対して回答するために必要な情報であるか否かも考慮して回答テキストを生成する場合について説明する。
【0102】
なお、本実施形態では、主に、第一の実施形態との相違点について説明し、第一の実施形態と同様の構成要素についてはその説明を省略するものとする。
【0103】
［学習時］
まず、学習時について説明する。学習時における質問応答装置１０に入力される訓練データには、テキストを含む画像、質問テキスト及び正解回答に加えて、正解特徴領域集合が含まれるものとする。正解特徴領域集合とは、当該画像から抽出された特徴領域のうち、正解回答を得るために必要な特徴領域の集合のことである。
まず、学習時について説明する。学習時における質問応答装置１０に入力される訓練データには、テキストを含む画像、質問テキスト及び正解回答に加えて、正解特徴領域集合が含まれるものとする。正解特徴領域集合とは、当該画像から抽出された特徴領域のうち、正解回答を得るために必要な特徴領域の集合のことである。
【0104】
＜学習時における質問応答装置１０の全体構成＞
学習時における質問応答装置１０の全体構成について、図１０を参照しながら説明する。図１０は、第二の実施形態に係る質問応答装置１０の全体構成（学習時）の一例を示す図である。
学習時における質問応答装置１０の全体構成について、図１０を参照しながら説明する。図１０は、第二の実施形態に係る質問応答装置１０の全体構成（学習時）の一例を示す図である。
【0105】
図１０に示すように、学習時における質問応答装置１０は、特徴領域抽出部１０１と、テキスト認識部１０２と、テキスト解析部１０３と、視覚効果付言語理解部１０４と、回答テキスト生成部１０５と、パラメータ学習部１０６と、関連特徴領域判定部１０８と、パラメータ記憶部１０７とを有する。第二の実施形態では、主に、質問応答装置１０が関連特徴領域判定部１０８を有する点が第一の実施形態と異なる。
【0106】
関連特徴領域判定部１０８はニューラルネットワークで実現され、パラメータ記憶部１０７に記憶されている学習中モデルパラメータを用いて、特徴領域抽出部１０１により抽出された特徴領域が、質問に対して回答するために必要な情報であるか否かを表す確率を算出する。したがって、パラメータ記憶部１０７に記憶されている学習中モデルパラメータには、関連特徴領域判定部１０８を実現するニューラルネットワークモデルの学習中モデルパラメータも含まれる。
【0107】
また、パラメータ学習部１０６は、関連特徴領域判定部１０８により算出された確率と正解特徴領域集合も用いて損失を計算し、パラメータ記憶部１０７に記憶されている学習中モデルパラメータを更新する。
【0108】
＜学習処理＞
次に、本実施形態に係る学習処理について説明する。学習処理の全体的な流れは、図２で説明した学習処理と同様でよいため、以降では、図２のステップＳ１０３のモデルパラメータ更新処理の詳細について説明する。ただし、エポック数Ｎｅ及びミニバッチに含まれる最大訓練データ数Ｎｂを第一の実施形態と異ならせてもよい。例えば、ミニバッチに含まれる最大訓練データ数Ｎｂを、Ｎｂ＝３２等としてもよい。
次に、本実施形態に係る学習処理について説明する。学習処理の全体的な流れは、図２で説明した学習処理と同様でよいため、以降では、図２のステップＳ１０３のモデルパラメータ更新処理の詳細について説明する。ただし、エポック数Ｎｅ及びミニバッチに含まれる最大訓練データ数Ｎｂを第一の実施形態と異ならせてもよい。例えば、ミニバッチに含まれる最大訓練データ数Ｎｂを、Ｎｂ＝３２等としてもよい。
【0109】
≪モデルパラメータ更新処理≫
図２のステップＳ１０３のモデルパラメータ更新処理の詳細について、図１１を参照しながら説明する。図１１は、第二の実施形態に係るモデルパラメータ更新処理の一例を示すフローチャートである。なお、以降では、或るミニバッチに関するモデルパラメータ更新処理について説明する。
図２のステップＳ１０３のモデルパラメータ更新処理の詳細について、図１１を参照しながら説明する。図１１は、第二の実施形態に係るモデルパラメータ更新処理の一例を示すフローチャートである。なお、以降では、或るミニバッチに関するモデルパラメータ更新処理について説明する。
【0110】
まず、パラメータ学習部１０６は、ミニバッチ中の訓練データを１件読み込む（ステップＳ７０１）。
【0111】
次に、特徴領域抽出部１０１は、読み込まれた訓練データに含まれる画像からＫ個の特徴領域を抽出する（ステップＳ７０２）。本実施形態では第一の実施形態と同様に特徴領域が矩形領域で表されるものとして、ｋ番目の特徴領域は、左上座標及び右下座標を含む位置情報（計４次元）と、矩形画像表現（Ｄ次元）と、領域タイプ（Ｃ種類）とを持つものとする。ただし、位置情報は特徴領域の位置を特定可能であれば任意の情報が用いられてもよいし、矩形画像表現又は領域タイプのいずれかの情報はなくてもよい。この他、第一の実施形態と同様に、例えば、特徴領域がポリゴン（多角形領域）である場合には、このポリゴンを囲む矩形領域を改めて特徴領域とすればよい。
【0112】
また、領域タイプも、第一の実施形態と同様の９種類を扱うものとする。ただし、これら９種類の領域タイプは一例であり、他の領域タイプが設定されてもよいことは言うまでもない。本実施形態でも、第一の実施形態と同様に、特徴領域にテキストが含まれないことを示す領域タイプと、特徴領域にテキストが含まれることを示す領域タイプとの２種類が少なくとも設定されていればよい。
【0113】
なお、特徴領域の抽出には、第一の実施形態と同様に、例えば、上記の参考文献１に記載されたFaster R-CNN等を用いればよい。また、本実施形態では、例えば、Ｄ＝２０４８等とする。
【0114】
次に、テキスト認識部１０２は、上記のステップＳ７０２で抽出された特徴領域のうち、テキストが含まれることを示す領域タイプの特徴領域に対してテキスト認識を行って、当該テキスト認識の結果である単語が含まれる領域である単語領域で構成される単語領域系列を出力する（ステップＳ７０３）。以降では、各単語領域は矩形領域であるものとして、当該単語領域の左上座標及び右下座標を含む位置情報（計４次元）と、テキスト認識で得られた単語とを持つものとする。テキスト認識は、第一の実施形態と同様に、例えば、上記の参考文献２に記載されているTesseract等を用いればよい。なお、単語領域は、テキスト認識の結果である単語を含むような、特徴領域の部分領域である。
【0115】
次に、特徴領域抽出部１０１は、上記のステップＳ７０３で得られた各単語領域に対して、当該単語領域の矩形画像表現（Ｄ次元）を出力する（ステップＳ７０４）。なお、この矩形画像表現は、上記のステップＳ７０２で特徴領域の矩形画像表現を得たときと同様の方法で出力すればよい。これにより、各単語領域は、当該単語領域の左上座標及び右下座標を含む位置情報（計４次元）と、テキスト認識で得られた単語と、当該単語領域の矩形画像表現（Ｄ次元）とを持つことになる。
【0116】
次に、テキスト解析部１０３は、上記のステップＳ７０４で得られた単語領域系列をサブワードトークン系列に分割する（ステップＳ７０５）。以降では、或るｋ番目の特徴領域から得られた単語領域系列を分割したサブワードトークン系列を、
【0117】
【数7】
【0118】
なお、１つの単語領域が持つ単語が、複数のサブワードに分割された場合、各サブワードの単語領域は分割前の単語の単語領域と同じとする。
【0119】
次に、テキスト解析部１０３は、読み込まれた訓練データに含まれる質問テキストをサブワードトークン系列（ｘ１
ｑ，ｘ２
ｑ，・・・，ｘＪ
ｑ）に分割する（ステップＳ７０６）。Ｊは質問テキストのサブワードトークン数である。
【0120】
次に、質問応答装置１０は、視覚効果付き言語理解処理を実行して、視覚的な情報が考慮された符号化系列を得る（ステップＳ７０７）。ここで、視覚効果付き言語理解処理の詳細について、図１２を参照しながら説明する。図１２は、第二の実施形態に係る視覚効果付き言語理解処理の一例を示すフローチャートである。
【0121】
まず、視覚効果付言語理解部１０４は、単語領域系列のサブワードトークン系列と、質問テキストのサブワードトークン系列とを用いて、以下の入力トークン系列
【0122】
【数8】
【0123】
なお、ｋ番目の特徴領域にテキストが含まれない場合、ｋ番目の特徴領域から得られた単語領域系列のサブワードトークン系列の長さは０（つまり、Ｌｋ＝０）となる。
【0124】
以降では、第一の実施形態と同様に、入力トークン系列の長さをＬとする。もし入力トークン系列の長さがＬを超える場合、各特徴領域に含まれるテキストのうち、最も長いテキストを削除したり、各テキストを均等に削除したり等することで、入力トークン系列の長さＬが所定の長さとなるようにする。一方で、入力トークン系列の長さＬが所定の長さに不足する場合は、特殊なトークンでパディングすればよい。
【0125】
次に、視覚効果付言語理解部１０４は、入力トークン系列中の各トークン（サブワードトークン）を符号化する（ステップＳ８０２）。ここで、本実施形態では、視覚効果付言語理解部１０４は、各トークンｘを以下により符号化するものとする。
【0126】
ｈ＝LayerNorm（TokenEmb（ｘ）＋PositionEmb（ｘ）＋SegmentEmb（ｘ）＋ROIEmb（ｘ）＋LocationEmb（ｘ））
TokenEmbは、サブワードトークン（特殊トークンも含む）を対応するＧ次元のベクトルに変換する処理である。本実施形態では、第一の実施形態と同様に、上記の参考文献５により事前学習済みの埋め込みベクトル（Ｇ＝１０２４）を初期値とし、学習対象のモデルパラメータとする。なお、参考文献５以外の事前学習済み言語モデルのパラメータを学習対象としてもよい。ただし、学習されていない特殊トークンについては、正規分布Ｎ（０，０．０２）に従う乱数にて初期化する。
TokenEmbは、サブワードトークン（特殊トークンも含む）を対応するＧ次元のベクトルに変換する処理である。本実施形態では、第一の実施形態と同様に、上記の参考文献５により事前学習済みの埋め込みベクトル（Ｇ＝１０２４）を初期値とし、学習対象のモデルパラメータとする。なお、参考文献５以外の事前学習済み言語モデルのパラメータを学習対象としてもよい。ただし、学習されていない特殊トークンについては、正規分布Ｎ（０，０．０２）に従う乱数にて初期化する。
【0127】
PositionEmbは、入力トークン系列中におけるサブワードトークンの位置に応じてＧ次元のベクトルに変換する処理である。本実施形態では、上記の参考文献５により学習済みの埋め込みベクトル（Ｇ＝１０２４）を初期値とし、学習対象のモデルパラメータとする。ただし、第一の実施形態と同様に、上記の参考文献６に記載されている手法を用いて、Ｇ次元のベクトルに変換してもよい。
【0128】
SegmentEmbは、サブワードトークンが属するセグメントに応じてＧ次元ベクトルに変換する処理である。本実施形態では、セグメントとして領域タイプの９種類と質問の計１０種類を用いる。そして、それぞれのセグメントに対して埋め込みベクトル（Ｇ＝１０２４）を用意した上で、正規分布Ｎ（０，０．０２）に従う乱数にて初期化し、学習対象のモデルパラメータとする。
【0129】
ROIEmbは、サブワードトークンに対応する矩形画像表現からＧ次元のベクトルに変換する処理である。矩形画像表現は、入力された画像中の或る矩形領域を、特徴領域抽出部１０１を実現するニューラルネットワークに入力することで得られるＤ次元ベクトルである。サブワードトークンが領域トークンｉｋである場合はｋ番目の特徴領域が持つ矩形画像表現のことであり、サブワードトークンが文書トークンｘｊ
ｋである場合はｋ番目の特徴領域から得られたｉ番目の単語領域が持つ矩形画像表現のことである。一方で、サブワードトークンが文書トークンｘｊ
ｋである場合は、ROIEmbの出力はＧ次元の零ベクトルであるものとする。本実施形態では、Ｄ＝２０４８として、ROIEmbは全結合層で構成されるフィードフォワードネットワークによりＧ次元（Ｇ＝１０２４）のベクトルに変換するものとする。また、本実施形態では、当該フィードフォワードネットワークは１層の全結合層で構成されており、そのパラメータを正規分布Ｎ（０，０．０２）に従う乱数で初期化し、学習対象のモデルパラメータとする。
【0130】
LocationEmbは、サブワードトークン（ただし、領域トークン又は文書トークンいずれか）に対応する領域（特徴領域又は単語領域）が持つ位置情報を全結合層で構成されるフィードフォワードネットワークにより４次元からＧ次元（Ｇ＝１０２４）のベクトルに変換する処理である。LocationEmbは、当該領域が持つ位置情報のｘ座標を、入力された画像の幅で割ると共に、当該領域が持つ位置情報のｙ座標を当該画像の高さで割ることで正規化した後に、フィードフォワードネットワークに入力する。本実施形態では、当該フィードフォワードネットワークは１層の全結合層で構成されており、そのパラメータを正規分布Ｎ（０，０．０２）に従う乱数で初期化し、学習対象のモデルパラメータとする。なお、サブワードトークンが領域トークン及び文書トークン以外である場合は、LocationEmbの出力はＧ次元の零ベクトルであるものとする。
【0131】
LayerNormは、第一の実施形態と同様に、Ｇ次元のベクトルを入力として、上記の参考文献７に記載されている正規化手法によりＧ次元のベクトルを出力する。
【0132】
以上により、入力トークン系列中のｒ番目のサブワードトークンを符号化したものをｈｒと表せば、符号化系列Ｈ＝（ｈ１，ｈ２，・・・，ｈＬ）が得られる。なお、各ｈｒはＧ次元のベクトルであるため、Ｈはベクトル系列である。
【0133】
次に、視覚効果付言語理解部１０４は、上記のステップＳ８０２で得られた符号化系列ＨをＭ層のTransformerEncoderによりベクトル系列Ｈ'に変換する（ステップＳ８０３）。すなわち、視覚効果付言語理解部１０４は、Ｈ'＝TransformerEncoder（Ｈ）とする。なお、TransformerEncoderについては、例えば、上記の参考文献５等を参照されたい。本実施形態では、Ｍ＝１２、上記の参考文献５により学習済みのTransformerEncoderを初期値として、このTransformerEncoderのパラメータを学習対象のモデルパラメータとする。
【0134】
次に、関連特徴領域判定部１０８は、特徴領域が回答生成に必要な領域であるか否かを表す確率を算出する（ステップＳ８０４）。すなわち、入力トークン系列中のサブワードトークンｘ（ただし、領域トークン又は文書トークンのいずれか）に対応するＨ'の要素をｈ'とすれば、関連特徴領域判定部１０８は、当該サブワードトークンｘに対応する特徴領域が正解回答に必要である確率を以下により算出する。
【0135】
ｐ＝sigmoid（ｗ１
τｈ'＋ｂ１）
ここで、ｗ１∈ＲＧ、ｂ１∈Ｒは学習対象のモデルパラメータであり、τは転置を表す。
ここで、ｗ１∈ＲＧ、ｂ１∈Ｒは学習対象のモデルパラメータであり、τは転置を表す。
【0136】
次に、関連特徴領域判定部１０８は、上記のステップＳ８０４で得られた確率を用いて、ベクトル系列Ｈ'をベクトル系列Ｈ''に変換する（ステップＳ８０５）。すなわち、関連特徴領域判定部１０８は、ｈｒ''＝ｈｒ'ａｒによりベクトル系列Ｈ'をベクトル系列Ｈ''に変換する。ここで、ｈｒ''はベクトル系列Ｈ''のｒ番目の要素、ｈｒ'はベクトル系列Ｈ'のｒ番目の要素である。また、ａｒは重みであり、その値は、入力トークン系列中のｒ番目のサブワードトークンが領域トークンｉｋ又は文書トークンｘｊ
ｋである場合はｐｋ、それ以外の場合は１．０とする。なお、ｐｋは領域トークンｉｋに対して上記のステップＳ８０４で算出された確率である。
【0137】
図１１に戻る。ステップＳ７０７に続いて、質問応答装置１０は、回答テキストの生成確率算出処理を実行して、回答テキストの生成確率を表す確率分布を算出する（ステップＳ７０８）。ここで、、回答テキストの生成確率算出処理の詳細について、図１３を参照しながら説明する。図１３は、第二の実施形態に係る回答テキスト生成確率算出処理の一例を示すフローチャートである。
【0138】
まず、テキスト解析部１０３は、図６のステップＳ４０１と同様に、読み込まれた訓練データに含まれる正解回答テキストを正解回答トークン系列
【0139】
【数9】
【0140】
次に、視覚効果付言語理解部１０４は、繰り返し数を表すインデックスをｔとして、ｔを０に初期化する（ステップＳ９０２）。以降では、或るｔ回目の繰り返し時における処理について説明する。
【0141】
視覚効果付言語理解部１０４は、以下によりデコーダ入力トークン系列ｙ＜ｔを作成する（ステップＳ９０３）。
【0142】
ｙ＜ｔ＝（［ＣＬＳ］，ｙ１
＊，・・・，ｙｔ－１
＊）＝（ｙ０，ｙ１，・・・，ｙｔ－１）
ただし、ｔ＝０のときはｙ＜ｔ＝（［ＣＬＳ］）とする。また、最終ステップであるｔ＝ＬＴ＋１のときはｙｔ＝［ＥＯＳ］とする。
ただし、ｔ＝０のときはｙ＜ｔ＝（［ＣＬＳ］）とする。また、最終ステップであるｔ＝ＬＴ＋１のときはｙｔ＝［ＥＯＳ］とする。
【0143】
次に、視覚効果付言語理解部１０４は、デコーダ入力トークン系列ｙ＜ｔに含まれる各サブワードトークンｙを以下により符号化する（ステップＳ９０４）。
【0144】
ｈｙ＝LayerNorm（TokenEmb（ｙ）＋PositionEmb（ｙ））
これにより、サブワードトークンｙｔを符号化したものをｈｔ ｙとすれば、符号化系列Ｈｙ＝（ｈ０ ｙ，ｈ１ ｙ，・・・，ｈｔ－１ ｙ）が得られる。
これにより、サブワードトークンｙｔを符号化したものをｈｔ ｙとすれば、符号化系列Ｈｙ＝（ｈ０ ｙ，ｈ１ ｙ，・・・，ｈｔ－１ ｙ）が得られる。
【0145】
次に、視覚効果付言語理解部１０４は、上記のステップＳ９０４で得られた符号化系列ＨｙをＭ層のTransformerDecoderによりＨｙ'に変換する（ステップＳ９０５）。すなわち、視覚効果付言語理解部１０４は、Ｈｙ'＝TransformerDecoder（Ｈｙ，Ｈ''）とする。これにより、Ｈｙ'＝（ｈ０
ｙ'，ｈ１
ｙ'，・・・，ｈｔ－１
ｙ'）が得られる。
【0146】
なお、TransformerDecoderについては、例えば、上記の参考文献５等を参照されたい。本実施形態では、Ｍ＝１２、上記の参考文献５により学習済みのTransformerDecoderを初期値として、このTransformerDecoderのパラメータを学習対象のモデルパラメータとする。なお、参考文献５以外の事前学習済み言語モデルのパラメータを学習対象としてもよい。
【0147】
次に、回答テキスト生成部１０５は、ｔ番目の単語が生成される確率分布ｐ（ｙｔ｜ｙ＜ｔ）を算出する（ステップＳ９０６）。予め設定された出力語彙（語彙数Ｖ）における単語ｙｔの確率分布は、ｐ（ｙｔ｜ｙ＜ｔ）＝softmax（Ｗｈｔ－１
ｙ'＋ｂ）により算出される。ここで、Ｗ∈ＲＶ×Ｇ、ｂ∈ＲＶは学習対象のモデルパラメータである。なお、語彙数Ｖとしては任意の値を設定することが可能であるが、例えば、５０２５７等とすることが考えられる。
【0148】
次に、視覚効果付言語理解部１０４は、ｔ＝ＬＴ＋１であるか否かを判定する（ステップＳ９０７）。
【0149】
上記のステップＳ９０７でｔ＝ＬＴ＋１でないと判定された場合、視覚効果付言語理解部１０４は、ｔに１を加算（ステップＳ９０８）し、ステップＳ９０３に戻る。これにより、上記のステップＳ９０３～ステップＳ９０６がｔ＝０，１，・・・，ＬＴ＋１に対して繰り返し実行される。
【0150】
図１１に戻る。ステップＳ７０８に続いて、パラメータ学習部１０６は、図１３のステップＳ９０６で算出された確率分布ｐ（ｙｔ｜ｙ＜ｔ）と、読み込んだ訓練データに含まれる正解特徴領域集合とを用いて、損失Lossを算出する（ステップＳ７０９）。パラメータ学習部１０６は、例えば、以下により損失Lossを算出すればよい。
【0151】
【数10】
【0152】
以降のステップＳ７１０～ステップＳ７１２は、図３のステップＳ２０９～ステップＳ２１１と同様であるため、その説明を省略する。
【0153】
以上により、本実施形態に係る質問応答装置１０では、テキストを含む画像とこの画像に関連する質問テキストと正解特徴領域集合とが与えられたときに、この画像中の視覚的な情報を考慮した回答テキストが生成されるようにモデルパラメータが学習される。すなわち、視覚的な情報を考慮した機械読解が可能なようにモデルパラメータが学習される。
【0154】
［推論時］
次に、推論時について説明する。推論時における質問応答装置１０には、テキストを含む画像とこの画像に関連する質問テキストとが含まれるテストデータが入力される。
次に、推論時について説明する。推論時における質問応答装置１０には、テキストを含む画像とこの画像に関連する質問テキストとが含まれるテストデータが入力される。
【0155】
＜推論時における質問応答装置１０の全体構成＞
推論時における質問応答装置１０の全体構成について、図１４を参照しながら説明する。図１４は、第二の実施形態に係る質問応答装置１０の全体構成（推論時）の一例を示す図である。
推論時における質問応答装置１０の全体構成について、図１４を参照しながら説明する。図１４は、第二の実施形態に係る質問応答装置１０の全体構成（推論時）の一例を示す図である。
【0156】
図１４に示すように、推論時における質問応答装置１０は、特徴領域抽出部１０１と、テキスト認識部１０２と、テキスト解析部１０３と、視覚効果付言語理解部１０４と、回答テキスト生成部１０５と、関連特徴領域判定部１０８と、パラメータ記憶部１０７とを有する。これら各部のうち、特徴領域抽出部１０１、テキスト認識部１０２及びテキスト解析部１０３は、学習時と同様である。一方で、視覚効果付言語理解部１０４、回答テキスト生成部１０５及び関連特徴領域判定部１０８は、パラメータ記憶部１０７に記憶されている学習済みモデルパラメータを用いる。また、回答テキスト生成部１０５は、視覚効果付言語理解部１０４により得られた符号化系列から算出した確率分布を用いて回答テキストを生成する。なお、関連特徴領域判定部１０８は、特徴領域抽出部１０１により抽出された特徴領域が、質問に対して回答するために必要な情報であるか否かを表す確率から計算又は決定されるスコア（関連特徴領域スコア）を出力してもよい。
【0157】
＜推論処理＞
次に、本実施形態に係る推論処理について、図１５を参照しながら説明する。図１５は、第二の実施形態に係る推論処理の一例を示すフローチャートである。なお、以降では、質問応答装置１０に与えられたテストデータが読み込まれたものとする。
次に、本実施形態に係る推論処理について、図１５を参照しながら説明する。図１５は、第二の実施形態に係る推論処理の一例を示すフローチャートである。なお、以降では、質問応答装置１０に与えられたテストデータが読み込まれたものとする。
【0158】
まず、特徴領域抽出部１０１は、図１１のステップＳ７０２と同様に、読み込まれたテストデータに含まれる画像からＫ個の特徴領域を抽出する（ステップＳ１００１）。
【0159】
次に、テキスト認識部１０２は、図１１のステップＳ７０３と同様に、上記のステップＳ１００１で抽出された特徴領域のうち、テキストが含まれることを示す領域タイプの特徴領域に対してテキスト認識を行って、単語領域系列を出力する（ステップＳ１００２）。
【0160】
次に、特徴領域抽出部１０１は、図１１のステップＳ７０４と同様に、上記のステップＳ１００２で得られた各単語領域に対して、当該単語領域の矩形画像表現（Ｄ次元）を出力する（ステップＳ１００３）。これにより、左上座標及び右下座標を含む位置情報（計４次元）と、テキスト認識で得られた単語と、矩形画像表現（Ｄ次元）とを持つ単語領域の系列が得られる。
【0161】
次に、テキスト解析部１０３は、図１１のステップＳ７０５と同様に、上記のステップＳ１００３で得られた単語領域系列をサブワードトークン系列に分割する（ステップＳ１００４）。
【0162】
次に、テキスト解析部１０３は、図１１のステップＳ７０６と同様に、読み込まれたテストデータに含まれる質問テキストをサブワードトークン系列（ｘ１
ｑ，ｘ２
ｑ，・・・，ｘＪ
ｑ）に分割する（ステップＳ１００５）。
【0163】
次に、質問応答装置１０は、視覚効果付き言語理解処理を実行して、視覚的な情報が考慮された符号化系列を得る（ステップＳ１００６）。視覚効果付き言語理解処理は、図１１のステップＳ７０７と同様であるため、その説明を省略する。以降では、ベクトル系列Ｈ''が得られたものとして説明を続ける。
【0164】
次に、質問応答装置１０は、回答テキスト生成処理を実行して、回答テキストを生成する（ステップＳ１００７）。ここで、回答テキスト生成処理の詳細について、図１６を参照しながら説明する。図１６は、第二の実施形態に係る回答テキスト生成処理の一例を示すフローチャートである。
【0165】
まず、視覚効果付言語理解部１０４は、繰り返し数を表すインデックスをｔとして、ｔを０に初期化する（ステップＳ１１０１）。以降では、或るｔ回目の繰り返し時における処理について説明する。
【0166】
視覚効果付言語理解部１０４は、デコーダ入力トークン系列をｙ＜ｔ＝（［ＣＬＳ］）と初期化する（ステップＳ１１０２）。すなわち、視覚効果付言語理解部１０４は、ｔ＝０のときのデコーダ入力トークン系列ｙ＜ｔを［ＣＬＳ］のみが含まれる系列とする。
【0167】
以降では、或るｔ回目の繰り返し時における処理について説明する。
【0168】
視覚効果付言語理解部１０４は、図１３のステップＳ９０４と同様に、デコーダ入力トークン系列ｙ＜ｔに含まれる各サブワードトークンｙを以下により符号化する（ステップＳ１１０３）。
【0169】
ｈｙ＝LayerNorm（TokenEmb（ｙ）＋PositionEmb（ｙ））
これにより、サブワードトークンｙｔを符号化したものをｈｔ ｙとすれば、符号化系列Ｈｙ＝（ｈ０ ｙ，ｈ１ ｙ，・・・，ｈｔ－１ ｙ）が得られる。
これにより、サブワードトークンｙｔを符号化したものをｈｔ ｙとすれば、符号化系列Ｈｙ＝（ｈ０ ｙ，ｈ１ ｙ，・・・，ｈｔ－１ ｙ）が得られる。
【0170】
次に、視覚効果付言語理解部１０４は、図１３のステップＳ９０５と同様に、上記のステップＳ１１０３で得られた符号化系列ＨｙをＭ層のTransformerDecoderによりＨｙ'に変換する（ステップＳ１１０４）。すなわち、視覚効果付言語理解部１０４は、Ｈｙ'＝TransformerDecoder（Ｈｙ，Ｈ''）とする。これにより、Ｈｙ'＝（ｈ０
ｙ'，ｈ１
ｙ'，・・・，ｈｔ－１
ｙ'）が得られる。
【0171】
次に、回答テキスト生成部１０５は、図１３のステップＳ９０６と同様に、ｔ番目の単語が生成される確率分布ｐ（ｙｔ｜ｙ＜ｔ）を算出する（ステップＳ１１０５）。予め設定された出力語彙（語彙数Ｖ）における単語ｙｔの確率分布は、ｐ（ｙｔ｜ｙ＜ｔ）＝softmax（Ｗｈｔ－１
ｙ'＋ｂ）により算出される。ここで、Ｗ∈ＲＶ×Ｇ、ｂ∈ＲＶは学習済みモデルパラメータである。
【0172】
次に、回答テキスト生成部１０５は、上記のステップＳ１１０５で算出された確率分布ｐ（ｙｔ｜ｙ＜ｔ）に基づいて、ｔ番目の単語を生成する（ステップＳ１１０６）。回答テキスト生成部１０５は、確率が最大となる単語をｔ番目の単語として生成してもよいし、確率分布に従ってサンプリングすることでｔ番目の単語を生成してもよい。
【0173】
次に、回答テキスト生成部１０５は、上記のステップＳ１１０６で生成されたｔ番目の単語をデコーダ入力トークン系列ｙ＜ｔの末尾に連結する（ステップＳ１１０７）。
【0174】
次に、視覚効果付言語理解部１０４は、上記のステップＳ１１０６で生成されたｔ番目の単語が最終単語であるか否かを判定する（ステップＳ１１０８）。
【0175】
上記のステップＳ１１０８でｔ番目の単語が最終単語でないと判定された場合、視覚効果付言語理解部１０４は、ｔに１を加算（ステップＳ１１０９）し、ステップＳ１１０３に戻る。これにより、上記のステップＳ１１０３～ステップＳ１１０７が繰り返し実行され、単語系列が得られる。
【0176】
以上により、本実施形態に係る質問応答装置１０では、テキストを含む画像とこの画像に関連する質問テキストとが与えられたときに、この画像中の視覚的な情報を考慮した回答テキスト（単語系列）を生成することができる。
【0177】
［本実施形態の評価］
次に、特徴領域が、質問に対して回答するために必要な情報であるか否かを考慮することに対する評価について説明する。
次に、特徴領域が、質問に対して回答するために必要な情報であるか否かを考慮することに対する評価について説明する。
【0178】
本実施形態を評価するため、ベースラインと性能比較を行った。本実施形態のモデルとしては、上記の参考文献５に記載されているＢＡＲＴを事前学習済みモデルに用いたモデルと、参考文献８「Raffel, C.; Shazeer, N.; Roberts, A.; Lee, K.; Narang, S.; Matena, M.; Zhou, Y.; Li,W.; and Liu, P. J. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. J. Mach. Learn. Res. 21(140): 1-67.」に記載されているＴ５を事前学習済みモデルに用いたモデルとを使用した。以下、ＢＡＲＴを使用したモデルを「ＬａｙｏｕｔＢＡＲＴ」、Ｔ５を使用したモデルを「ＬａｙｏｕｔＴ５」という。また、特に、ＢＥＲＴとしてＬＡＲＧＥを使用したものをそれぞれ「ＬａｙｏｕｔＢＡＲＴＬＡＲＧＥ」、「ＬａｙｏｕｔＴ５ＬＡＲＧＥ」と表記する。
【0179】
また、ベースラインには参考文献９「Hu, R.; Singh, A.; Darrell, T.; and Rohrbach, M. 2020. Iterative Answer Prediction with Pointer-Augmented Multi-modal Transformers for TextVQA. In CVPR, 9992-10002.」に記載されているＭ４Ｃと呼ばれるモデルを採用した。Ｍ４Ｃは質問文、特徴領域、ＯＣＲトークン（本実施形態の文書トークンに相当）のトークンを入力として質問文に対する回答を生成するモデルであり、高い性能が実現可能であることが確認されている。
【0180】
評価指標としては、ＢＬＥＵ、ＭＥＴＥＯＲ、ＲＯＵＧＥ－Ｌ、ＣＩＤＥｒ及びＢＥＲＴｓｃｏｒｅの５つを用いた。予め準備した実験用の訓練データセットを用いてモデルの学習を行った上で、テストデータを用いて、上記の４つの評価指標を算出した。以下の表１にその結果を示す。
【0181】
【表1】
【0182】
＜ハードウェア構成＞
最後に、第一及び第二の実施形態に係る質問応答装置１０のハードウェア構成について、図１７を参照しながら説明する。図１７は、一実施形態に係る質問応答装置１０のハードウェア構成の一例を示す図である。
最後に、第一及び第二の実施形態に係る質問応答装置１０のハードウェア構成について、図１７を参照しながら説明する。図１７は、一実施形態に係る質問応答装置１０のハードウェア構成の一例を示す図である。
【0183】
図１７に示すように、一実施形態に係る質問応答装置１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これらの各ハードウェアは、それぞれがバス２０７を介して通信可能に接続されている。
【0184】
入力装置２０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置２０２は、例えば、ディスプレイ等である。なお、質問応答装置１０は、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。
【0185】
外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。質問応答装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、質問応答装置１０が有する各機能部（特徴領域抽出部１０１、テキスト認識部１０２、テキスト解析部１０３、視覚効果付言語理解部１０４、回答テキスト生成部１０５、パラメータ学習部１０６及び関連特徴領域判定部１０８）を実現する１以上のプログラムが格納されていてもよい。
【0186】
なお、記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
【0187】
通信Ｉ／Ｆ２０４は、質問応答装置１０が通信ネットワークに接続するためのインタフェースである。なお、質問応答装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。
【0188】
プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。質問応答装置１０が有する各機能部は、例えば、メモリ装置２０６に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。
【0189】
メモリ装置２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。質問応答装置１０が有するパラメータ記憶部１０７は、例えば、メモリ装置２０６を用いて実現可能である。なお、パラメータ記憶部１０７は、質問応答装置１０と通信ネットワークを介して接続される記憶装置（例えば、データベースサーバ等）を用いて実現されていてもよい。
【0190】
第一及び第二の実施形態に係る質問応答装置１０は、図１７に示すハードウェア構成を有することにより、上述した学習処理や推論処理を実現することができる。なお、図１７に示すハードウェア構成は一例であって、質問応答装置１０は、他のハードウェア構成を有していてもよい。例えば、質問応答装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。
【0191】
以上の実施形態に関し、更に以下の付記を開示する。
【0192】
（付記１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成し、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する、学習装置。
（付記２）
前記プロセッサは、
前記領域の特徴を表す情報と前記第１の情報との特徴量を作成し、前記特徴量から前記第２の情報を生成する、付記１に記載の学習装置。
（付記３）
前記領域には、画像又は図表が少なくとも含まれる、付記１又は２に記載の学習装置。
（付記４）
前記第１の情報は、前記データに関連する内容を表すテキスト情報である、付記１乃至３の何れか一項に記載の学習装置。
（付記５）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域と、前記第１の情報に対応する第２の情報との関連度を算出し、
前記関連度と、前記関連度の正解を表す情報とに基づいて、前記モデルパラメータを学習する、学習装置。
（付記６）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する、生成装置。
（付記７）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域に関して、前記領域と前記第１の情報に対応する第２の情報との関連度に基づく所定の評価値を出力する、出力装置。
（付記８）
学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記学習処理は、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成し、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する、非一時的記憶媒体。
（付記９）
生成処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記生成処理は、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する、非一時的記憶媒体。
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成し、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する、学習装置。
（付記２）
前記プロセッサは、
前記領域の特徴を表す情報と前記第１の情報との特徴量を作成し、前記特徴量から前記第２の情報を生成する、付記１に記載の学習装置。
（付記３）
前記領域には、画像又は図表が少なくとも含まれる、付記１又は２に記載の学習装置。
（付記４）
前記第１の情報は、前記データに関連する内容を表すテキスト情報である、付記１乃至３の何れか一項に記載の学習装置。
（付記５）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域と、前記第１の情報に対応する第２の情報との関連度を算出し、
前記関連度と、前記関連度の正解を表す情報とに基づいて、前記モデルパラメータを学習する、学習装置。
（付記６）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する、生成装置。
（付記７）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域に関して、前記領域と前記第１の情報に対応する第２の情報との関連度に基づく所定の評価値を出力する、出力装置。
（付記８）
学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記学習処理は、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成し、
前記第２の情報と、前記第２の情報の正解を表す第３の情報とに基づいて、前記モデルパラメータを学習する、非一時的記憶媒体。
（付記９）
生成処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記生成処理は、
視覚的な領域が含まれるデータと、前記データに関連する第１の情報とを入力として、学習済みの機械学習モデルのモデルパラメータを用いて、前記領域の特徴を表す情報から、前記第１の情報に対応する第２の情報を生成する、非一時的記憶媒体。
【0193】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
【0194】
本願は、日本国に２０２０年２月２８日に出願された基礎出願ＰＣＴ／ＪＰ２０２０／００８３９０に基づくものであり、その全内容はここに参照をもって援用される。
【符号の説明】
【0195】
１０ 質問応答装置
１０１ 特徴領域抽出部
１０２ テキスト認識部
１０３ テキスト解析部
１０４ 視覚効果付言語理解部
１０５ 回答テキスト生成部
１０６ パラメータ学習部
１０７ パラメータ記憶部
１０８ 関連特徴領域判定部
１０１ 特徴領域抽出部
１０２ テキスト認識部
１０３ テキスト解析部
１０４ 視覚効果付言語理解部
１０５ 回答テキスト生成部
１０６ パラメータ学習部
１０７ パラメータ記憶部
１０８ 関連特徴領域判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】