▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
特許7167216画像質問応答方法、装置、コンピュータ装置、媒体およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-28
(45)【発行日】2022-11-08
(54)【発明の名称】画像質問応答方法、装置、コンピュータ装置、媒体およびプログラム
(51)【国際特許分類】
G06N 5/04 20060101AFI20221031BHJP
G06T 7/00 20170101ALI20221031BHJP
G06N 3/02 20060101ALI20221031BHJP
【ＦＩ】
G06N5/04
G06T7/00 350C
G06N3/02
【請求項の数】
20
(21)【出願番号】P 2021035347
(22)【出願日】2021-03-05
(65)【公開番号】P2022013645
(43)【公開日】2022-01-18
【審査請求日】2021-03-05
(31)【優先権主張番号】202010616310.1
(32)【優先日】2020-06-30
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(72)【発明者】
【氏名】李 ▲ユウ▼林
(72)【発明者】
【氏名】欽 夏孟
(72)【発明者】
【氏名】黄 聚
(72)【発明者】
【氏名】謝 群義
(72)【発明者】
【氏名】韓 鈞宇
【審査官】石川 亮
(56)【参考文献】
【文献】TENEY Damien et al.，Graph-Structured Representations for Visual Question Answering，arXiv[オンライン]，2017年，[２０２２年２月２８日検索], インターネット<URL : https://arxiv.org/abs/1609.05600v2>
【文献】LI Linjie et al.，Relation-Aware Graph Attention Network for Visual Question Answering，2019 IEEE/CVF International Conference on Computer Vision (ICCV) [オンライン]，IEEE，2019年，[２０２２年２月２８日検索], インターネット<URL : https://ieeexplore.ieee.org/document/9010056>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ５／０４
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ３／０２
Ｇ０６Ｆ １６／９０
(57)【特許請求の範囲】
【請求項1】
入力画像及び入力質問を取得することと、前記入力画像に基づいて、第１のノード特徴及び第１のエッジ特徴を含む視覚図を構築することと、
前記入力質問に基づいて、第２のノード特徴及び第２のエッジ特徴を含む質問図を構築することと、
前記視覚図と前記質問図とをマルチモダリティ融合し、更新視覚図と更新質問図を取得することと、
前記入力質問に基づいて質問特徴を決定することと、
前記更新視覚図と、前記更新質問図と、前記質問特徴とに基づいて、融合特徴を決定することと、
前記融合特徴に基づいて、前記入力画像と前記入力質問とに対する予測解答を生成することと、を含む
画像質問応答方法。
【請求項2】
前記入力画像に基づいて視覚図を構築することは、目標検出ネットワークの中間層から前記入力画像における複数の目標対象に対する表現特徴および空間特徴を抽出するように、前記目標検出ネットワークによって前記入力画像を処理することと、
前記表現特徴および前記空間特徴に基づいて前記第１のノード特徴を決定することと、
前記目標検出ネットワークの出力層により出力された処理結果に基づいて、前記複数の目標対象のそれぞれの位置情報を決定することと、
前記複数の目標対象のそれぞれの位置情報に基づいて、前記複数の目標対象のうちの任意の２つの目標対象間の位置関係を決定することと、
前記任意の２つの目標対象間の位置関係に基づいて前記第１のエッジ特徴を決定することと、
前記第１のノード特徴および前記第１のエッジ特徴から前記視覚図を構成することと、を含む
請求項１に記載の画像質問応答方法。
【請求項3】
前記複数の目標対象のそれぞれの位置情報に基づいて、前記複数の目標対象のうちの任意の２つの目標対象間の位置関係を決定することは、前記任意の２つの目標対象のそれぞれの位置情報に基づいて、前記任意の２つの目標対象の位置領域間の共通集合および併合集合を計算することと、
前記共通集合と前記併合集合の比率を計算することと、
前記比率が所定の閾値よりも大きい場合、前記任意の２つの目標対象間の位置関係を１として表することと、
前記比率が所定の閾値以下である場合には、前記任意の２つの目標対象間の位置関係を０と表すことと、を含む
請求項２に記載の画像質問応答方法。
【請求項4】
前記入力質問に基づいて質問図を構築することは、 単語符号化アルゴリズム及び特徴符号化アルゴリズムを用いて前記入力質問を順次処理して、前記入力質問から、前記入力質問における複数の単語のそれぞれの特徴情報を示すための複数の単語ノード特徴を抽出することと、
依存分析アルゴリズムを用いて、前記複数の単語のうちの任意の２つの単語間の依存関係を決定することと、
前記任意の２つの単語間の依存関係に基づいて、第２のエッジ特徴を決定すること、
前記複数の単語ノード特徴から前記第２のノード特徴を構成し、前記第２のノード特徴と前記第２のエッジ特徴から前記質問図を構成することと、を含む
請求項１に記載の画像質問応答方法。
【請求項5】
前記視覚図と前記質問図とをマルチモダリティ融合することは、マルチモダリティ融合操作を少なくとも１回実行することを含み、少なくとも１回のマルチモダリティ融合操作における各マルチモダリティ融合操作は、
前記第１のノード特徴および前記第１のエッジ特徴に基づいて、第１の予定ネットワークを用いて前記第１のノード特徴を符号化して、符号化視覚図を取得することと、
前記第２のノード特徴及び前記第２のエッジ特徴に基づいて、第２の予定ネットワークを用いて前記第２のノード特徴を符号化して、符号化質問図を取得することと、
画像マッチングアルゴリズムを用いて、前記符号化視覚図及び前記符号化質問図をマルチモダリティ融合し、前記更新視覚図及び前記更新質問図を取得することと、を含む
請求項１に記載の画像質問応答方法。
【請求項6】
前記第１の予定ネットワークは、第１の完全接続層、第１の画像畳み込み層及び第２の画像畳み込み層を含み、前記第１のノード特徴を符号化することは、
第１の完全接続層によって、前記第１のノード特徴を、予定数に等しい空間次元数を有する第１の特徴にマッピングすることと、
第１の画像畳み込み層によって、前記第１の特徴を処理し、第２の特徴を取得することと、
第２の画像畳み込み層によって、前記第２の特徴を処理し、符号化された第１のノード特徴を取得することと、
前記符号化された第１のノード特徴と前記第１のエッジ特徴とから前記符号化視覚図を構成することと、を含む
請求項５に記載の画像質問応答方法。
【請求項7】
前記第１のノード特徴を符号化することは、前記第１のエッジ特徴に基づいて第１のラプラス行列を構築することをさらに含み、第１の画像畳み込み層によって前記第１の特徴を処理することは、前記第１の画像畳み込み層によって、前記第１のラプラス行列に基づいて、前記第１の特徴を処理し、複数の第１のサブ特徴を含む前記第２の特徴を取得することを含む
請求項６に記載の画像質問応答方法。
【請求項8】
前記第１の予定ネットワークは第１の関連層をさらに含み、前記第１のノード特徴を符号化することは、第１の関連層によって、前記複数の第１のサブ特徴のうちの任意の２つの第１のサブ特徴間の関連関係を計算し、前記任意の２つの第１のサブ特徴間の関連関係に基づいて、第１の関係行列を決定することをさらに含み、
第２の画像畳み込み層によって前記第２の特徴を処理することは、前記第２の画像畳み込み層によって、前記第１の関係行列に基づいて、前記第２の特徴を処理し、前記符号化された第１のノード特徴を取得することを含む
請求項７に記載の画像質問応答方法。
【請求項9】
前記第２の予定ネットワークは、第２の完全接続層、第３の画像畳み込み層及び第４の画像畳み込み層を含み、前記第２のノード特徴を符号化することは、
第２の完全接続層を用いて、前記第２のノード特徴を、予定数に等しい空間次元数を有する第３の特徴にマッピングすることと、
第３の画像畳み込み層によって、前記第３の特徴を処理し、第４の特徴を取得することと、
第４の画像畳み込み層によって、前記第４の特徴を処理し、符号化された第２のノード特徴を取得することと、
前記符号化された第２のノード特徴と前記第２のエッジ特徴とから前記符号化質問図を構成することと、を含む
請求項５に記載の画像質問応答方法。
【請求項10】
前記第２のノード特徴を符号化することは、前記第２のエッジ特徴に基づいて第２のラプラス行列を構築することをさらに含み、第３の画像畳み込み層によって前記第３の特徴を処理することは、前記第３の画像畳み込み層によって、前記第２のラプラス行列に基づいて、前記第３の特徴を処理し、複数の第２のサブ特徴を含む前記第４の特徴を取得することを含む
請求項９に記載の画像質問応答方法。
【請求項11】
前記第２の予定ネットワークは第２の関連層をさらに含み、前記第２のノード特徴を符号化することは、第２の関連層によって、前記複数の第２のサブ特徴のうちの任意の２つの第２のサブ特徴間の関連関係を計算し、前記任意の２つの第２のサブ特徴間の関連関係に基づいて、第２の関係行列を決定することをさらに含み、
第４の画像畳み込み層によって前記第４の特徴を処理することは、前記第４の画像畳み込み層によって、前記第２の関係行列に基づいて、前記第４の特徴を処理し、前記符号化された第２のノード特徴を取得することを含む
請求項１０に記載の画像質問応答方法。
【請求項12】
前記符号化視覚図における符号化された第１のノード特徴は、複数の第３のサブ特徴を含み、前記符号化質問図における符号化された第２のノード特徴は、複数の第４のサブ特徴を含み、前記画像マッチングアルゴリズムを用いて、前記符号化視覚図及び前記符号化質問図をマルチモダリティ融合することは、
画像マッチングアルゴリズムを用いて前記符号化された第１のノード特徴及び前記符号化された第２のノード特徴に対してマッチング処理を行い、前記複数の第３のサブ特徴のうちのいずれかの第３のサブ特徴と前記複数の第４のサブ特徴のうちのいずれかの第４のサブ特徴との間のマッチング関係を決定することと、
前記いずれかの第３のサブ特徴と前記いずれかの第４のサブ特徴との間のマッチング関係に基づいて、マッチング行列を決定することと、
注意力メカニズムおよび前記マッチング行列に基づいて、第１の注意力重みセットおよび第２の注意力重みセットをそれぞれ決定することと、
前記第１の注意力重みセットと、前記符号化された第１のノード特徴と、前記符号化された第２のノード特徴とに基づいて、更新された第２のノード特徴を決定することと、
前記第２の注意力重みセットと、前記符号化された第１のノード特徴と、前記符号化された第２のノード特徴とに基づいて、更新された第１のノード特徴を決定することと、
前記更新された第１のノード特徴と前記第１のエッジ特徴とから前記更新視覚図を構成し、前記更新された第２のノード特徴と前記第２のエッジ特徴とから前記更新質問図を構成することと、を含む
請求項５に記載の画像質問応答方法。
【請求項13】
前記入力質問に基づいて質問特徴を決定することは、予定単語符号化アルゴリズム及び予定特徴符号化アルゴリズムによって、前記入力質問を順次符号化処理して前記質問特徴を取得することを含む
請求項１２に記載の画像質問応答方法。
【請求項14】
前記更新視覚図と、前記更新質問図と、前記質問特徴とに基づいて融合特徴を決定することは、前記更新された第１のノード特徴と前記更新された第２のノード特徴とを連結して併合し、併合特徴を取得することと、
前記併合特徴に対して予定プール化操作を行い、推論特徴を取得することと、
前記推論特徴と前記質問特徴とを融合処理して前記融合特徴を取得することと、を含む
請求項１２に記載の画像質問応答方法。
【請求項15】
前記推論特徴および前記質問特徴を融合処理することは、前記推論特徴と前記質問特徴とを要素毎に点乗算操作して前記融合特徴を取得することを含む
請求項１４に記載の画像質問応答方法。
【請求項16】
前記融合特徴に基づいて前記入力画像及び前記入力質問に対する予測解答を生成することは、マルチレイヤ感知機によって前記融合特徴を処理し、前記融合特徴に対する予測解答を取得することを含む
請求項１に記載の画像質問応答方法。
【請求項17】
入力画像及び入力質問を取得する取得モジュールと、前記入力画像に基づいて、第１のノード特徴及び第１のエッジ特徴を含む視覚図を構築する第１の画像構築モジュールと、
前記入力質問に基づいて、第２のノード特徴及び第２のエッジ特徴を含む質問図を構築する第２の画像構築モジュールと、
前記視覚図と前記質問図とをマルチモダリティ融合し、更新視覚図と更新質問図を取得する更新モジュールと、
前記入力質問に基づいて質問特徴を決定する質問特徴抽出モジュールと、
前記更新視覚図と、前記更新質問図と、前記質問特徴とに基づいて、融合特徴を決定する融合モジュールと、
前記融合特徴に基づいて、前記入力画像と前記入力質問とに対する予測解答を生成する予測モジュールと、を含む
画像質問応答装置。
【請求項18】
コンピュータ命令が記憶されたメモリと、少なくとも１つのプロセッサと、を含み、
前記プロセッサは、前記コンピュータ命令を実行する場合、請求項１～１６のいずれか一つ項による方法を実現する
コンピュータ装置。
【請求項19】
プロセッサによって実行される際に、請求項１～１６のいずれか一つ項による方法を実現するコンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項20】
実行される際に、請求項１～１６のいずれか一つ項による方法を実現するコンピュータ命令を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（相互参照）
本出願は、２０２０年６月３０日に出願された中国特許出願第２０２０１０６１６３１０．１号の優先権を主張し、その内容を参照としてここに組み込む。
本出願は、２０２０年６月３０日に出願された中国特許出願第２０２０１０６１６３１０．１号の優先権を主張し、その内容を参照としてここに組み込む。
【0002】
本開示は、コンピュータ視覚、自然言語処理の分野に関し、より具体的には、画像質問応答方法、装置、コンピュータ装置、媒体およびプログラムに関する。
【背景技術】
【0003】
画像質問応答（Ｖｉｓｕａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ、ＶＱＡ）は、コンピュータ視覚と自然言語処理を関連付けることを目的とした非常に困難なタスクである。画像質問応答タスクでは、例えば、画像および関連質問が与えられ、機械が画像の内容に基づいて幾つかの常識と組み合わせて質問に対する解答を推論することが要求される。この画像質問応答タスクを完成するために、機械は、視覚及び言語という２つの異なるモダリティ（Ｍｏｄａｌｉｔｙ）でのデータを総合的に理解するように、クロスモーダル（Ｃｒｏｓｓ－Ｍｏｄａｌ）の理解能力を有していなければならない。画像質問応答タスクは他の単一モダリティでのタスク（例えば画像識別、ドキュメント分類等）よりも高い要求を有する。
【発明の概要】
【0004】
本発明は、上記課題に鑑みてなされたものであり、画像質問応答方法、装置、コンピュータ装置、媒体及びプログラムを提供している。
【0005】
本開示の一態様は、画像質問応答方法を提供し、入力画像及び入力質問を取得することと、入力画像に基づいて、第１のノード特徴及び第１のエッジ特徴を含む視覚図を構築することと、入力質問に基づいて、第２のノード特徴及び第２のエッジ特徴を含む質問図を構築することと、視覚図と質問図とをマルチモダリティ融合し、更新視覚図と更新質問図を取得することと、入力質問に基づいて質問特徴を決定することと、更新視覚図と、更新質問図と、質問特徴とに基づいて、融合特徴を決定することと、融合特徴に基づいて、入力画像と入力質問とに対する予測解答を生成することと、を含む。
【0006】
本開示の実施例によれば、入力画像に基づいて視覚図を構築することは、目標検出ネットワークの中間層から入力画像における複数の目標対象に対する表現特徴および空間特徴を抽出するように、目標検出ネットワークによって入力画像を処理することと、上記表現特徴および空間特徴に基づいて第１のノード特徴を決定することと、目標検出ネットワークの出力層により出力された処理結果に基づいて、複数の目標対象のそれぞれの位置情報を決定することと、複数の目標対象のそれぞれの位置情報に基づいて、複数の目標対象のうちの任意の２つの目標対象間の位置関係を決定することと、任意の２つの目標対象間の位置関係に基づいて第１のエッジ特徴を決定することと、第１のノード特徴および第１のエッジ特徴から視覚図を構成することと、を含む。
【0007】
本開示の実施例によれば、複数の目標対象のそれぞれの位置情報に基づいて、複数の目標対象のうちの任意の２つの目標対象間の位置関係を決定することは、任意の２つの目標対象のそれぞれの位置情報に基づいて、任意の２つの目標対象の位置領域間の共通集合および併合集合を計算することと、共通集合と併合集合の比率を計算することと、比率が所定の閾値よりも大きい場合、任意の２つの目標対象間の位置関係を１として表することと、比率が所定の閾値以下である場合には、任意の２つの目標対象間の位置関係を０と表すことと、を含む。
【0008】
本開示の実施例によれば、入力質問に基づいて質問図を構築することは、単語符号化アルゴリズム及び特徴符号化アルゴリズムを用いて入力質問を順次処理して、入力質問から、入力質問における複数の単語のそれぞれの特徴情報を示すための複数の単語ノード特徴を抽出することと、依存分析アルゴリズムを用いて、複数の単語のうちの任意の２つの単語間の依存関係を決定することと、任意の２つの単語間の依存関係に基づいて、第２のエッジ特徴を決定すること、複数の単語ノード特徴から第２のノード特徴を構成し、第２のノード特徴と第２のエッジ特徴から質問図を構成することと、を含む。
【0009】
本開示の実施例によれば、視覚図と質問図とをマルチモダリティ融合することは、マルチモダリティ融合操作を少なくとも１回実行することを含む。上記少なくとも１回のマルチモダリティ融合操作における各マルチモダリティ融合操作は、第１のノード特徴および第１のエッジ特徴に基づいて、第１の予定ネットワークを用いて第１のノード特徴を符号化して、符号化視覚図を取得することと、第２のノード特徴及び第２のエッジ特徴に基づいて、第２の予定ネットワークを用いて第２のノード特徴を符号化して、符号化質問図を取得することと、画像マッチングアルゴリズムを用いて、符号化視覚図及び符号化質問図をマルチモダリティ融合し、更新視覚図及び更新質問図を取得することと、を含む。
【0010】
本開示の実施例によれば、第１の予定ネットワークは、第１の完全接続層、第１の画像畳み込み層及び第２の画像畳み込み層を含む。上記第１のノード特徴を符号化することは、第１の完全接続層によって、第１のノード特徴を、予定数に等しい空間次元数を有する第１の特徴にマッピングすることと、第１の画像畳み込み層によって、第１の特徴を処理し、第２の特徴を取得することと、第２の画像畳み込み層によって、第２の特徴を処理し、符号化された第１のノード特徴を取得することと、符号化された第１のノード特徴と第１のエッジ特徴とから符号化視覚図を構成することと、を含む。
【0011】
本開示の実施例によれば、第１のノード特徴を符号化することは、第１のエッジ特徴に基づいて第１のラプラス行列を構築することをさらに含む。第１の画像畳み込み層によって第１の特徴を処理することは、第１の画像畳み込み層によって、第１のラプラス行列に基づいて、第１の特徴を処理し、複数の第１のサブ特徴を含む第２の特徴を取得することを含む。
【0012】
本開示の実施例によれば、第１の予定ネットワークは第１の関連層をさらに含む。第１のノード特徴を符号化することは、第１の関連層によって、複数の第１のサブ特徴のうちの任意の２つの第１のサブ特徴間の関連関係を計算し、任意の２つの第１のサブ特徴間の関連関係に基づいて、第１の関係行列を決定することをさらに含む。第２の画像畳み込み層によって第２の特徴を処理することは、第２の画像畳み込み層によって、第１の関係行列に基づいて、第２の特徴を処理し、符号化された第１のノード特徴を取得することを含む。
【0013】
本開示の実施例によれば、第２の予定ネットワークは、第２の完全接続層、第３の画像畳み込み層及び第４の画像畳み込み層を含む。第２のノード特徴を符号化することは、第２の完全接続層を用いて、第２のノード特徴を、予定数に等しい空間次元数を有する第３の特徴にマッピングすることと、第３の画像畳み込み層によって、第３の特徴を処理し、第４の特徴を取得することと、第４の画像畳み込み層によって、第４の特徴を処理し、符号化された第２のノード特徴を取得することと、符号化された第２のノード特徴と第２のエッジ特徴とから符号化質問図を構成することと、を含む。
【0014】
本開示の実施例によれば、第２のノード特徴を符号化することは、第２のエッジ特徴に基づいて第２のラプラス行列を構築することをさらに含む。第３の画像畳み込み層によって第３の特徴を処理することは、第３の画像畳み込み層によって、第２のラプラス行列に基づいて、第３の特徴を処理し、複数の第２のサブ特徴を含む第４の特徴を取得することを含む。
【0015】
本開示の実施例によれば、第２の予定ネットワークは第２の関連層をさらに含む。第２のノード特徴を符号化することは、第２の関連層によって、複数の第２のサブ特徴のうちの任意の２つの第２のサブ特徴間の関連関係を計算し、任意の２つの第２のサブ特徴間の関連関係に基づいて、第２の関係行列を決定することをさらに含む。第４の画像畳み込み層によって第４の特徴を処理することは、第４の画像畳み込み層によって、第２の関係行列に基づいて、第４の特徴を処理し、符号化された第２のノード特徴を取得することを含む。
【0016】
本開示の実施例によれば、符号化視覚図における符号化された第１のノード特徴は、複数の第３のサブ特徴を含み、符号化質問図における符号化された第２のノード特徴は、複数の第４のサブ特徴を含む。画像マッチングアルゴリズムを用いて、符号化視覚図及び符号化質問図をマルチモダリティ融合することは、画像マッチングアルゴリズムを用いて符号化された第１のノード特徴及び符号化された第２のノード特徴に対してマッチング処理を行い、複数の第３のサブ特徴のうちのいずれかの第３のサブ特徴と複数の第４のサブ特徴のうちのいずれかの第４のサブ特徴との間のマッチング関係を決定することと、いずれかの第３のサブ特徴といずれかの第４のサブ特徴との間のマッチング関係に基づいて、マッチング行列を決定することと、注意力メカニズムおよびマッチング行列に基づいて、第１の注意力重みセットおよび第２の注意力重みセットをそれぞれ決定することと、第１の注意力重みセット、符号化された第１のノード特徴、及び符号化された第２のノード特徴に基づいて、更新された第２のノード特徴を決定することと、第２の注意力重みセット、符号化された第１のノード特徴、及び符号化された第２のノード特徴に基づいて、更新された第１のノード特徴を決定することと、更新された第１のノード特徴と第１のエッジ特徴とから更新視覚図を構成し、更新された第２のノード特徴と第２のエッジ特徴とから更新質問図を構成することと、を含む。
【0017】
本開示の実施例によれば、前記入力質問に基づいて質問特徴を決定することは、予定単語符号化アルゴリズム及び予定特徴符号化アルゴリズムによって、入力質問を順次符号化処理して質問特徴を取得することを含む。
【0018】
本開示の実施例によれば、更新視覚図、更新質問図および質問特徴に基づいて融合特徴を決定することは、更新された第１のノード特徴と更新された第２のノード特徴とを連結して併合し、併合特徴を取得することと、併合特徴に対して予定プール化操作を行い、推論特徴を取得することと、推論特徴と質問特徴とを融合処理して融合特徴を取得することと、を含む。
【0019】
本開示の実施例によれば、推論特徴および質問特徴を融合処理することは、推論特徴と質問特徴とを要素毎に点乗算操作して融合特徴を取得することを含む。
【0020】
本開示の実施例によれば、融合特徴に基づいて入力画像と入力質問とに対する予測解答を生成することは、マルチレイヤ感知機によって融合特徴を処理し、融合特徴に対する予測解答を取得することを含む。
【0021】
本開示の別の態様は、画像質問応答装置を提供しており、入力画像及び入力質問を取得する取得モジュールと、入力画像に基づいて、第１のノード特徴及び第１のエッジ特徴を含む視覚図を構築する第１の画像構築モジュールと、入力質問に基づいて、第２のノード特徴及び第２のエッジ特徴を含む質問図を構築する第２の画像構築モジュールと、視覚図と質問図とをマルチモダリティ融合し、更新視覚図と更新質問図を取得する更新モジュールと、入力質問に基づいて質問特徴を決定する質問特徴抽出モジュールと、更新視覚図、更新質問図および質問特徴に基づいて、融合特徴を決定する融合モジュールと、融合特徴に基づいて、入力画像及び入力質問に対する予測解答を生成する予測モジュールと、を含む。
【0022】
本開示の実施例によれば、第１の画像構築モジュールは、目標検出ネットワークの中間層から入力画像における複数の目標対象に対する表現特徴および空間特徴を抽出するように、目標検出ネットワークによって入力画像を処理する検出サブモジュールを含む。第１のノード特徴決定サブモジュールは、上記表現特徴および空間特徴に基づいて第１のノード特徴を決定する。第１のエッジ特徴決定サブモジュールは、目標検出ネットワークの出力層により出力された処理結果に基づいて、複数の目標対象のそれぞれの位置情報を決定する；複数の目標対象のそれぞれの位置情報に基づいて、複数の目標対象のうちの任意の２つの目標対象間の位置関係を決定する；任意の２つの目標対象間の位置関係に基づいて第１のエッジ特徴を決定する。第１の画像構築サブモジュールは、上記第１のノード特徴および第１のエッジ特徴から視覚図を構成する。
【0023】
本開示の実施例によれば、第１のエッジ特徴決定サブモジュールが複数の目標対象のそれぞれの位置情報に基づいて、複数の目標対象のうちの任意の２つの目標対象間の位置関係を決定することは、第１のエッジ特徴決定サブモジュールが、任意の２つの目標対象のそれぞれの位置情報に基づいて、任意の２つの目標対象の位置領域間の共通集合および併合集合を計算することと、共通集合と併合集合の比率を計算することと、比率が所定の閾値よりも大きい場合、任意の２つの目標対象間の位置関係を１として表することと、比率が所定の閾値以下である場合には、任意の２つの目標対象間の位置関係を０と表すことと、を含む。
【0024】
本開示の実施例によれば、第２の画像構築モジュールは、単語符号化アルゴリズム及び特徴符号化アルゴリズムを用いて入力質問を順次処理して、入力質問から入力質問における複数の単語のそれぞれの特徴情報を示すための複数の単語ノード特徴を抽出する第２のノード特徴決定サブモジュールを含む。第２のエッジ特徴決定サブモジュールは、依存分析アルゴリズムを用いて、複数の単語のうちの任意の２つの単語間の依存関係を決定することと、任意の２つの単語間の依存関係に基づいて、第２のエッジ特徴を決定する。第２の画像構築サブモジュールは、複数の単語ノード特徴から第２のノード特徴を構成し、第２のノード特徴と第２のエッジ特徴から質問図を構成することと、を含む。
【0025】
本開示の実施例によれば、更新モジュールは、視覚図と質問図に対して、マルチモダリティ融合操作を少なくとも１回実行する。更新モジュールが実行される少なくとも１回のマルチモダリティ融合操作における各マルチモダリティ融合操作は、第１のノード特徴および第１のエッジ特徴に基づいて、第１の予定ネットワークを用いて第１のノード特徴を符号化して、符号化視覚図を取得する第１の画像符号化サブモジュールと、第２のノード特徴及び第２のエッジ特徴に基づいて、第２の予定ネットワークを用いて第２のノード特徴を符号化して、符号化質問図を取得する第２の画像符号化サブモジュールと、画像マッチングアルゴリズムを用いて、符号化視覚図及び符号化質問図をマルチモダリティ融合し、更新視覚図及び更新質問図を取得する画像マッチングサブモジュールと、を含む。
【0026】
本開示の実施例によれば、第１の予定ネットワークは、第１の完全接続層、第１の画像畳み込み層及び第２の画像畳み込み層を含む。第１の画像符号化サブモジュールは、第１の完全接続層によって、第１のノード特徴を、予定数に等しい空間次元数を有する第１の特徴にマッピングする第１のマッチング手段と、第１の画像畳み込み層によって、第１の特徴を処理し、第２の特徴を取得する第１の画像畳み込み手段と、第２の画像畳み込み層によって、第２の特徴を処理し、符号化された第１のノード特徴を取得する第２の画像畳み込み手段と、符号化された第１のノード特徴と第１のエッジ特徴とから符号化視覚図を構成する第１の符号化手段と、を含む。
【0027】
本開示の実施例によれば、第１の画像符号化サブモジュールは、第１のエッジ特徴に基づいて第１のラプラス行列を構築する第１の構築手段をさらに含む。第１の画像畳み込み手段は、第１の画像畳み込み層によって、第１のラプラス行列に基づいて、第１の特徴を処理し、複数の第１のサブ特徴を含む第２の特徴を取得する。
【0028】
本開示の実施例によれば、第１の予定ネットワークは第１の関連層をさらに含む。第１の画像符号化サブモジュールは、第１の関連層によって、複数の第１のサブ特徴のうちの任意の２つの第１のサブ特徴間の関連関係を計算し、任意の２つの第１のサブ特徴間の関連関係に基づいて、第１の関係行列を決定する第２の構築手段をさらに含む。第２の画像畳み込み手段は、第２の画像畳み込み層によって、第１の関係行列に基づいて、第２の特徴を処理し、符号化された第１のノード特徴を取得する。
【0029】
本開示の実施例によれば、第２の予定ネットワークは、第２の完全接続層、第３の画像畳み込み層及び第４の画像畳み込み層を含む。第２の画像符号化サブモジュールは、第２の完全接続層を用いて、第２のノード特徴を、予定数に等しい空間次元数を有する第３の特徴にマッピングする第２のマッチング手段と、第３の画像畳み込み層によって、第３の特徴を処理し、第４の特徴を取得する第３の画像畳み込み手段と、第４の画像畳み込み層によって、第４の特徴を処理し、符号化された第２のノード特徴を取得する第４の画像畳み込み手段と、符号化された第２のノード特徴と第２のエッジ特徴とから符号化質問図を構成する第２の符号化手段と、を含む。
【0030】
本開示の実施例によれば、第２の画像符号化サブモジュールは、第２のエッジ特徴に基づいて第２のラプラス行列を構築する第３の構築手段をさらに含む。第３の画像畳み込み手段は、第３の画像畳み込み層によって、第２のラプラス行列に基づいて、第３の特徴を処理し、複数の第２のサブ特徴を含む第４の特徴を取得する。
【0031】
本開示の実施例によれば、第２の予定ネットワークは第２の関連層をさらに含む。第２の画像符号化サブモジュールは、第２の関連層によって、複数の第２のサブ特徴のうちの任意の２つの第２のサブ特徴間の関連関係を計算し、任意の２つの第２のサブ特徴間の関連関係に基づいて、第２の関係行列を決定する第４の構築手段をさらに含む。第４の画像畳み込み手段は、第４の画像畳み込み層によって、第２の関係行列に基づいて、第４の特徴を処理し、符号化された第２のノード特徴を取得する。
【0032】
本開示の実施例によれば、符号化視覚図における符号化された第１のノード特徴は、複数の第３のサブ特徴を含み、符号化質問図における符号化された第２のノード特徴は、複数の第４のサブ特徴を含む。画像マッチングサブモジュールは、画像マッチングアルゴリズムを用いて符号化された第１のノード特徴及び符号化された第２のノード特徴に対してマッチング処理を行い、複数の第３のサブ特徴のうちのいずれかの第３のサブ特徴と複数の第４のサブ特徴のうちのいずれかの第４のサブ特徴との間のマッチング関係を決定し、いずれかの第３のサブ特徴といずれかの第４のサブ特徴との間のマッチング関係に基づいて、マッチング行列を決定するマッチング手段と、注意力メカニズムおよびマッチング行列に基づいて、第１の注意力重みセットおよび第２の注意力重みセットをそれぞれ決定し、第１の注意力重みセット、符号化された第１のノード特徴、及び符号化された第２のノード特徴に基づいて、更新された第２のノード特徴を決定し、第２の注意力重みセットと、符号化された第１のノード特徴と、符号化された第２のノード特徴とに基づいて、更新された第１のノード特徴を決定し、更新された第１のノード特徴と第１のエッジ特徴とから更新視覚図を構成し、更新された第２のノード特徴と第２のエッジ特徴とから更新質問図を構成する更新手段と、を含む。
【0033】
本開示の実施例によれば、質問特徴抽出モジュールは、予定単語符号化アルゴリズム及び予定特徴符号化アルゴリズムによって、入力質問を順次符号化処理して質問特徴を取得する。
【0034】
本開示の実施例によれば、融合モジュールは、更新された第１のノード特徴と更新された第２のノード特徴とを連結して併合し、併合特徴を取得する併合サブモジュールと、併合特徴に対して予定プール化操作を行い、推論特徴を取得する処理サブモジュールと、推論特徴と質問特徴とを融合処理して融合特徴を取得する融合サブモジュールと、を含む。
【0035】
本開示の実施例によれば、融合サブモジュールは、推論特徴と質問特徴とを要素毎に点乗算操作して融合特徴を取得する。
【0036】
本開示の実施例によれば、予測モジュールは、マルチレイヤ感知機によって融合特徴を処理し、融合特徴に対する予測解答を取得する。
【0037】
本開示の別の態様は、コンピュータ装置を提供しており、メモリと、プロセッサと、メモリに記憶されたプロセッサに実行されるコンピュータプログラムとを含み、前記プロセッサが前記プログラムを実行する場合、上記方法を実現する。
【0038】
本開示の別の態様は、非一時的なコンピュータ読み取り可能な記憶媒体を提供しており、実行される際に、上記方法を実現するコンピュータ実行可能な命令が記憶される。
【0039】
本開示の別の態様は、コンピュータプログラムを提供しており、実行される際に、上記方法を実現するコンピュータ実行可能な命令を含む。
【0040】
本発明の実施例による画像質問応答方法は、入力画像及び入力質問を取得した後、入力画像のトポロジー（視覚図）を構築することにより、画像における目標対象の特徴情報と目標対象との間の潜在的な関係を表し、入力質問のトポロジー（質問図）を構築することにより、質問における単語の特徴情報と単語との間の潜在的な関係を表し、マルチ目標画像及び複雑な質問によるノイズの影響を低減する。視覚図と問題図とのマルチモダリティ融合を通して、視覚図と問題図とのノード特徴の整列および更新を可能にすることによって、モダリティ間の語義ギャップを短縮する。その上で、更新視覚図、更新質問図及び質問特徴から融合特徴を得て、融合特徴に基づいて最終解答の予測を行う。入力画像及び入力質問の特徴表現に対する事前の最適化、並びに視覚図及び質問図に対する中間のマルチモダリティ融合により、複雑な入力に対する画像質問応答過程の推論能力を効果的に向上させることができ、本開示の実施例による画像質問応答過程はより解釈性が高くなる。
【図面の簡単な説明】
【0041】
以下、図面を参照して本開示の実施例を説明することにより、本開示の上記および他の目的、特徴や利点は、より明らかになる。
【0042】
【発明を実施するための形態】
【0043】
以下、本開示の実施例について、図面を参照しながら説明する。しかしながら、これらの説明が例示的なものであり、本開示の範囲を限定するものではないことを理解されたい。以下の詳細な説明では、説明を容易にするために、本開示の実施例に対する全面的な理解を提供するように、多数の具体的な詳細が記載される。しかしながら、これらの具体的な詳細なしに１つ以上の実施例が実施されてもよいことは明らかである。また、以下の説明において、本開示の概念を不必要に混乱させることを避ける不明瞭にしないように、周知の構造及び技術に対する説明は省略する。
【0044】
ここで使用される用語は、具体的な実施例を説明するためのものに過ぎず、本開示を限定することを意図しない。「備える」、「含む」などのここで使用される用語は、前記特徴、ステップ、操作、および／または部品の存在を示すが、１つまたは複数の他の特徴、ステップ、操作または部品の存在または追加を除外しない。
【0045】
ここで使用される全ての用語（技術的及び科学的用語を含む）は、別途定義されない限り、当業者によって一般的に理解される意味を有する。ここで使用される用語は、本明細書の文脈と一致する意味を有すると解釈されるべきであり、理想的または過度に形式的に解釈されるべきではないことに留意されたい。
【0046】
「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類似する表現を使用する場合、その表現の意味が当業者によって一般的に理解されるように解釈されるべきである（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、Ａを単独で有するシステム、Ｂを単独で有するシステム、Ｃを単独で有するシステム、Ａ及びＢを有するシステム、Ａ及びＣを有するシステム、Ｂ及びＣを有するシステム、及び／又はＡ、Ｂ、Ｃを有するシステムなどを含むが、これらに限定されない）。「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類似する表現を使用する場合、その表現の意味が当業者によって一般的に理解されるように解釈されるべきである（例えば、「Ａ、Ｂ又はＣのうちの少なくとも１つを有するシステム」は、Ａを単独で有するシステム、Ｂを単独で有するシステム、Ｃを単独で有するシステム、Ａ及びＢを有するシステム、Ａ及びＣを有するシステム、Ｂ及びＣを有するシステム、及び／又はＡ、Ｂ、Ｃを有するシステムなどを含むが、これらに限定されない）。
【0047】
本開示の実施例は、画像質問応答方法、装置、コンピュータ装置、媒体及びプログラムを提供している。画像質問応答方法は、取得過程、第１の画像構築過程、第２の画像構築過程、更新過程、質問特徴抽出過程、融合過程及び予測過程を含み得る。取得過程では、入力画像と入力質問を取得する。入力画像に対して第１の画像構築過程を行い、第１のノード特徴及び第１のエッジ特徴を含む視覚図を構築する。入力質問に対して第２の画像構築処理を行い、第２のノード特徴及び第２のエッジ特徴を含む質問図を構築する。更新過程において、視覚図及び質問図に対して、マルチモダリティ融合を行い、更新視覚図及び更新質問図を取得する。入力質問に対して質問抽出過程を行い、質問特徴を決定する。次に、融合過程を行い、更新視覚図、更新質問図及び質問特徴に基づいて、融合特徴を決定する。融合特徴に基づいて予測過程を行い、入力画像及び入力質問に対する予測解答を生成することができる。
【0048】
現在、インターネット技術の急速な発展に伴い、データの種類も豊富になってきている。「クロスモーダル」データが主流のデータ形式となってきている。クロスモーダル特徴整列は、マルチメディアの分野およびディープラーニングの分野における重要な研究方向であり、異なるメディア（例えば、画像、ビデオおよびテキストなど）間の語義ギャップを開通させ、統一的な語義表現を確立することを目的とした。視覚問答技術において、クロスモーダル特徴の整列及び融合もこの研究の現在の困難点である。視覚問答は、視覚画像に対する自然言語問答であり、視覚理解の研究方向の１つとして、視覚と言語が連結されており、モデルは、画像を理解した上で、具体的な質問に応じて回答する必要がある。現在、画像質問応答システムは、学術界及び産業界の両方で広く研究されており、画像質問応答システムは、任意の自然言語で記述された質問及び所与の画像に対して、十分な理解及び推論を行った後、自然言語で正確に回答するように、適切なモデルを設計することを目標とする。しかし、現在の画像質問応答システムは、例えばクロスモーダルデータの融合や効果的な関係推論などの課題がまだ解決されていない。
【0049】
図１は、本開示の実施例による画像質問応答方法および装置を適用できる例示的なシステムアーキテクチャ１００を概略的に示している。図１は、当業者が本開示の技術内容を理解させるように、本開示の実施例を適用できるシステムアーキテクチャの例示に過ぎず、本開示の実施例が他の装置、システム、環境又はシナリオで使用できないことを意味するものではないことに留意されたい。
【0050】
図１に示すように、本実施例によるシステムアーキテクチャ１００は、複数の端末装置１１０、ネットワーク１２０、及びサーバ１３０を含むことができる。ここで、端末装置１１０は、例えば、デスクトップ型コンピュータ、携帯型コンピュータ、スマートフォン、タブレット型コンピュータなどの各種端末装置であってもよいが、ここでは限定されない。サーバ１３０は、様々な計算能力を有する電子デバイスであってもよく、例えば、サーバまたはサーバクラスタであってもよく、ここでは限定されない。端末装置１１０は、様々な機能のソフトウェアクライアントをロードして、ソフトウェアクライアントを介してサーバ１３０と対話することができる。
【0051】
なお、一実施例において、本開示の実施例による画像質問応答方法は、端末装置１１０によって実施されることができ、相応的には、画像質問応答装置は、端末装置１１０に設けられることができる。別の実施例において、本開示の実施例による画像質問応答方法は、サーバ１３０によって実施されることができ、相応的には、画像質問応答装置は、サーバ１３０に設けられることができる。さらに別の実施例において、本発明の実施例による画像質問応答方法は、端末装置１１０及び／又はサーバ１３０と相互通信可能な他の装置によって実施されることができ、相応的には、画像質問応答装置は、他の装置に設けられることができる。
【0052】
近年、画像質問応答の進展は目覚ましく、コンピュータ視覚や自然言語処理の分野から注目を集めている。画像質問応答タスクを解決するための提案が各分野で数多くなされている。ほとんどの提案は、エンドツーエンドの手順を採用しており、例えば、事前にトレーニングされた畳み込みニューラルネットワークを用いて画像特徴を抽出し、再帰ニューラルネットワークを用いて質問を示し、そして、画像特徴と質問特徴を関連して解答を予測する。現在の画像質問応答提案は、（１）粗粒度クロスモーダル表現による画像質問応答モデル、（２）注意力メカニズムに基づく細粒度クロスモーダル表現モデル、（３）外部知識又は知識ネットワークに基づく画像質問応答モデルという３つのモデルを利用することが普通である。
【0053】
モデル（１）は、最も直接的な画像質問応答モデルである。クロスモーダル特徴融合がこのモデルの中心であるが、処理内容が比較的複雑で、主体が多数存在する画像である場合、解答予測の正確性に影響を与える可能性のあるノイズが必然的により多く導入される。質問テキストに対する処理においても同様な課題があり、質問が長く、画像に関連する単語が多数存在する場合、このモデルで、質問者が所望するキーワードを捕捉し難く、最終的に解答の予測の正確性が悪くなる。モデル（２）は、上記した粗粒度クロスモーダル表現モデルに基づいて、注意力メカニズムを導入したものであり、これは、細粒度クロスモーダルの表現能力を大きく向上させる。しかし、現在、画像質問応答モデルに用いられる注意力モデルは、質問の特徴に基づいて画像の注目領域を学習することが多く、質問自体の注目点学習を無視し、すなわち、質問におけるキーワード又はフレーズに対する注意力学習を無視しているため、解答の予測正確性が悪い。モデル（３）の難点は、従来のモデルは、外部知識と画像質問応答データセットにおけるすべての質問とをマッピングすることが困難であり、一部の問題しか解決できず、汎用性に乏しい点である。
【0054】
上記分析から分かるように、従来の画像質問応答提案は、以下の問題がある。一、クロスモーダルの融合戦略が不十分であり、複雑な融合モデルを導入するとともに、モデルの計算効率も大きく低下している。そのため、如何にして効果的な特徴融合を保障するとともに計算コストを低減するかのアルゴリズムを検討することは、画像質問応答の重要な開発方向である。二、関係推論の能力が不足する。多くの実際な画像質問応答過程では、モデルが多段階の関係推論によって最終的な解答を見つける必要があるが、現在のモデルは、複数のモダリティ特徴融合によって質問に回答し、複雑な質問に対する理解および推論の効果を不十分にしている。
【0055】
本開示の実施例によれば、画像質問応答方法が提供される。この方法を、図面を用いて例示的に説明する。なお、以下の方法における各操作の番号は、説明の便宜上、その操作を示したものであり、各操作の実行順序を示すものと解釈してはならない。特に明記しない限り、この方法は、示された順序で完全に実行される必要はない。
【0056】
図２は、本開示の実施例による画像質問応答方法のフローチャートを概略的に示している。
【0057】
図２に示すように、この方法は、操作Ｓ２０１～操作Ｓ２０７を含む。
【0058】
操作Ｓ２０１において、入力画像及び入力質問を取得する。
【0059】
操作Ｓ２０２において、入力画像に基づいて、視覚図（Ｖｉｓｕａｌ Ｇｒａｐｈ）を構築する。
【0060】
本開示の実施例によれば、視覚図は、入力画像のトポロジー表現であり、入力画像の特徴情報をより完全に正確に示している。例示的に、視覚図は、第１のノード（Ｎｏｄｅ）特徴及び第１のエッジ（Ｅｄｇｅ）特徴を含むことができる。第１のノード特徴は、入力画像内の１つ以上の目標対象の特徴情報を示し、第１のエッジ特徴は、入力画像における目標対象間の潜在的な関係を示している。
【0061】
操作Ｓ２０３において、入力質問に基づいて、質問図（Ｑｕｅｓｔｉｏｎ Ｇｒａｐｈ）を構築する。
【0062】
本開示の実施例によれば、質問図は、入力質問のトポロジー表現であり、入力質問の特徴情報をより完全に正確に表現するために使用される。例示的に、質問図は、第２のノード特徴及び第２のエッジ特徴を含み得る。第２のノード特徴は、入力質問における１つ以上の単語の特徴情報を示し、第２のエッジ特徴は、入力質問における単語間の潜在的な関係を示す。
【0063】
操作Ｓ２０４において、視覚図及び質問図に対してマルチモダリティ融合（Ｍｕｌｔｉｍｏｄａｌ Ｆｕｓｉｏｎ）を行い、更新視覚図及び更新質問図を取得する。
【0064】
例示的に、本操作Ｓ２０４のマルチモダリティ融合により、画像データとテキストデータとの間の語義ギャップ（Ｓｅｍａｎｔｉｃ Ｇａｐ）を小さくすることができ、得られた更新視覚図及び更新質問は、２つの異なるモダリティ特徴の整列及び更新を実現する。
【0065】
操作Ｓ２０５において、入力質問に基づいて質問特徴を決定する。
【0066】
操作Ｓ２０６において、更新視覚図、更新質問図および質問特徴に基づいて、融合特徴を決定する。
【0067】
操作Ｓ２０７において、融合特徴に基づいて入力画像及び入力質問に対する予測解答を生成する。
【0068】
本開示の実施例による画像質問応答方法が、入力画像と入力質問を取得した後、入力画像のトポロジー（視覚図）を構築することにより、画像における目標対象の特徴情報と目標対象間の潜在的な関係を表し、入力質問のトポロジー（質問図）を構築することにより、質問における単語の特徴情報と単語間の潜在的な関係を表し、複数の目標画像および複雑な質問によるノイズの影響を低減することが当業者に理解される。視覚図と問題図に対するマルチモダリティ融合を通して、視覚図と質問図とのノード特徴の整列および更新を実現し、モダリティ間の語義ギャップを小さくする。これに基づいて、更新視覚図、更新質問図及び質問特徴によって、融合特徴を得て、融合特徴に基づいて、最終解答の予測を行う。入力画像及び入力質問の特徴表現に対する前期の最適化、並びに視覚図及び質問図に対する中間のマルチモダリティ融合により、画像質問応答過程に複雑な入力に対する推論能力を効果的に向上させることができ、本開示の実施例による画像質問応答過程をより解釈可能にする。
【0069】
【0070】
【0071】
図３Ａに示す例では、ネットワークモデル３００を予め構築することができ、当該ネットワークモデル３００は、順次に接続された画像構築モジュール３０１と、画像符号化モジュール３０２と、画像マッチング更新モジュール３０３と、画像融合（Ｇｒａｐｈ Ｆｕｓｉｏｎ）モジュール３０４と、問答モジュール３０５とを含む。ここでは、画像符号化モジュール３０２は、例えば画像畳み込み符号化モジュール（ＧＣＮ Ｅｎｃｏｄｅｒ）３０２であってもよい。画像畳み込み符号化モジュール３０２及び画像マッチング更新モジュール３０３は、直列に接続して１つの全体の更新ジュールを構成することができ、ネットワークモジュール３００に１つ以上の当該全体の更新モジュールが含まれることができる。本開示の実施例によれば、上記のネットワークモデル３００を訓練することによって、当該ネットワークモデル３００が図２に示すような画像質問応答タスクを実行する能力を有する必要がある。訓練過程では、サンプル画像及びサンプル質問を上記ネットワークモデル３００に入力し、ネットワークモデル３００の目的関数が収束するまで、ネットワークモデル３００の出力とサンプルラベルとの差異に応じてネットワークモデル３００のパラメータを最適化する。ここで、サンプルラベルは、サンプル画像及びサンプル質問に対する真実解答である。ネットワークモデル３００に対する訓練を完了し、本開示の実施例による画像質問応答方法は、訓練されたネットワークモデル３００によって実施することができる。以下、実施手順を例示的に説明する。
【0072】
本開示の実施例によれば、図３Ａに示すように、ネットワークモデル３００における画像構築モジュール３０１は、入力画像Ｉ３０６及び入力質問Ｑ３０７を取得する。画像構築モジュール３０１は、上記操作Ｓ２０２における入力画像に基づいて、視覚図を構築する過程を実行することができる。例示的に、画像構築モジュール３０１は、目標検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）ネットワークの中間層から入力画像における複数の目標対象に対する表現特徴及び空間特徴を抽出し、上記表現特徴及び空間特徴に基づいて第１のノード特徴を決定するように、目標検出ネットワークによって入力画像Ｉ３０６を処理することができる。そして、目標検出ネットワークの出力層によって出力される処理結果に基づいて、複数の目標対象のそれぞれの位置情報を決定する。複数の目標対象のそれぞれの位置情報に基づいて、複数の目標対象のうちの任意の２つの目標対象間の位置関係を決定する。任意の２つの目標対象間の位置関係に基づいて、第１のエッジ特徴を決定する。上記第１のノード特徴と第１のエッジ特徴とから視覚図を構成する。
【0073】
図３Ｂに示す例において、画像構築モジュール３０１は、Ｆａｓｔｅｒ ＲＣＮＮ（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、より高速領域畳み込みニューラルネットワーク）３０１１を利用して、入力画像Ｉ３０６におけるＫ１個の目標対象を検出し、特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）全体にわたって関心領域プール化操作（ＲＯＩ Ｐｏｏｌｉｎｇ ）を経た
及び
を抽出する。そのうち、表現特徴Ｆは、Ｋ１個の目標対象に対するＫ１個のサブ特徴を含め、各サブ特徴は、空間次元数が２０４８であるベクトルとして表すことができ、空間次元数は、需要に応じて設定することができる。ここでは、単に例である。空間特徴Ｓはまた、Ｋ１個の目標対象に対するＫ１個のサブ特徴を含め、各サブ特徴は、空間次元数が４であるベクトルとして表され得る。例えば、目標対象に対する外枠（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）の高さ値、幅値、および中心点の座標を含む。表現特徴Ｆと空間特徴Ｓとを加えて視覚図Ｇ１３０８の第１のノード特徴Ｖｍ＝｛Ｆ｜｜Ｓ｝として、併合方式は、例えば、連結併合であってもよい。
【0074】
視覚マップＧ１３０８の第１のエッジ特徴は、例えば、
というバイナリ表現であり得る。第１のエッジ特徴は、入力画像Ｉ３０６における任意の２つの目標対象間の位置関係により決定することができる。本開示の実施例によれば、上記任意の２つの目標対象は、異なる目標対象を含んでもよいし、同じ目標対象を含んでもよい。上記目標検出ネットワークの処理により、入力画像Ｉ３０６における各目標対象の位置座標、すなわち、各目標対象が占める位置領域を決定することができる。
【0075】
例示的には、任意の２つの目標対象の位置領域の重なり度合い（Ｉｎｔｅｒｓｅｃｔｉｏｎ－ｏｖｅｒ－Ｕｎｉｏｎ，ＩｏＵ ）が所定の閾値よりも大きいか否かによって、第１のエッジ特徴Ｅｍにおける各要素の値を判定してもよい。例えば、所定の閾値を０．３にし、入力画像におけるｉ番目の目標対象およびｊ番目の目標対象に対して、ｉ番目の目標対象の位置領域とｊ番目の目標対象の位置領域との間のＩｏＵ値を計算し、当該ＩｏＵ値が所定の閾値より大きい場合、第１のエッジ特徴Ｅｍの要素ｅｉｊを１として表し、当該ＩｏＵ値が所定の閾値以下である場合、第１のエッジ特徴Ｅｍの要素ｅｉｊを０として表す。本例では、ｉ及びｊは、いずれも１以上Ｋ１以下の正の整数であり、ｉ及びｊは、同一であっても異なっていてもよい。
【0076】
上記例示的な実施形態により、視覚図Ｇ１＝｛Ｖｍ，Ｅｍ｝を構築することができる。
【0077】
本開示の実施例によれば、図３Ａに示すように、ネットワークモデル３００における画像構築モジュール３０１は、入力質問Ｑ３０７も取得する。画像構築モジュール３０１は、上記操作Ｓ２０３における入力質問に基づいて質問図を構築する過程を実行するためにも使用される。例示的には、画像構築モジュール３０１は、入力問題Ｑにおける各単語を単語ノードとして、単語符号化（Ｗｏｒｄ Ｅｍｂｅｄｄｉｎｇ、単語埋め込み）アルゴリズム及び特徴符号化アルゴリズムを用いて入力問題を順次処理し、入力問題Ｑから、入力問題Ｑにおける複数の単語のそれぞれの特徴情報を示す複数の単語ノード特徴（例えば、Ｋ２個の単語ノード特徴を有する）を抽出してもよい。次に、依存分析（Ｄｅｐｅｎｄｅｎｃｙ ＰａｒＳｉｎｇ）アルゴリズム３０１２によって、複数の単語のうちの任意の２つの単語間の依存関係を決定し、任意の２つの単語間の依存関係に基づいて、
を決定する。上記複数の単語のノード特徴から
を構成し、第２のノード特徴Ｖｎと第２のエッジ特徴Ｅｎから質問図Ｇ２３０９を構成する。
【0078】
以上の例示的な実施形態により、視覚図Ｇ２＝｛Ｖｎ，Ｅｎ｝を構築することができる。
【0079】
本発明の実施例によれば、上述操作Ｓ２０４における視覚図及び質問図に対してマルチモダリティ融合を行う過程は、少なくとも１回のマルチモダリティ融合操作を実行することを含む。ここで、上記少なくとも１回のマルチモダリティ融合操作におけるそれぞれのマルチモダリティ融合操作は、画像畳み込み符号化モジュール３０２が、第１のノード特徴と第１のエッジ特徴に基づいて、第１の予定ネットワークによって、第１のノード特徴を符号化し、符号化視覚図を取得することを含むことができる。画像畳み込み符号化モジュール３０２は、第２のノード特徴と第２のエッジ特徴に基づいて、第２の予定ネットワークを用いて、第２のノード特徴を符号化し、符号化質問図を取得する。画像マッチング更新モジュール３０３は、画像マッチングアルゴリズムによって、符号化視覚図と符号化質問図に対してマルチモダリティ融合を行い、更新視覚図と更新質問図とを取得する。
【0080】
図３Ｂに示すように、視覚図Ｇ１３０８は第１の予定ネットワークに入力され、質問図Ｇ２３０９は第２の予定ネットワークに入力され、この例では、第１の予定ネットワークと第２の予定ネットワークは、いずれも画像畳み込み符号化モジュール３０２であってもよい。画像畳み込み符号化モジュール３０２は、画像畳み込み（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ、ＧＣＮ）方法に基づいて、異なる画像（視覚図と質問図）のノード特徴の更新および各画像の内部関係の学習を行う。画像畳み込み符号化モジュール３０２による視覚図に対する符号化過程と質問図に対する符号化過程は、原理的に同一であるので、以下では、画像畳み込み符号化モジュール３０２による視覚図Ｇ１３０８に対する符号化過程を例に、例示的に説明する。
【0081】
図３Ｃは、本開示の実施例による画像畳み込み符号化モジュールの例示的な構造図を概略的に示している。図３Ｃに示すように、第１の予定ネットワークとする画像畳み込み符号化モジュール３０２は、第１の完全接続層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ、ＦＣ ）３０２１、第１の画像畳み込み層（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ、Ｇｃｏｎｖ１）３０２２、及び第２の画像畳み込み層（Ｇｃｏｎｖ２）３０２３を含むことができる。例示的には、上述した視覚図Ｇ１３０８に対する編集操作は、第１の完全接続層３０２１を用いて、視覚図Ｇ１３０８の第１のノード特徴Ｖｍ３０８１を所定数ｄと等しい空間次元数を有する第１の特徴Ｘ３０８１１にマッピングすることを含む。第１の画像畳み込み層３０２２によって第１の特徴Ｘ３０８１１を処理し、第２の特徴Ｘ’３０８１２を取得する。第２の画像畳み込み層３０２３によって第２の特徴Ｘ’３０８１２を処理し、符号化された第１のノード特徴Ｘ’’を取得する。符号化された第１のノード特徴Ｘ’’と第１のエッジ特徴Ｅｍ３０８２から符号化視覚図Ｇ１’３０８’を構成する。
【0082】
例えば、上記した第１の完全接続層３０２１によって視覚図Ｇ１３０８の第１のノード特徴Ｖｍ３０８１を空間次元数がｄである第１の特徴Ｘ３０８１１にマッピングする過程は、数（１）のように表現される。
【0083】
【数1】
【0084】
σは非線形関数であり、Ｗ１は第１の完全接続層の重みパラメータである。
【0085】
本発明の実施例によれば、視覚図Ｇ１３０８の第１のエッジ特徴Ｅｍ３０８２に応じて、第１の画像畳み込み層３０２２を用いてノード特徴の更新及び明示的な関係の学習を行うことができる。図３Ｃに示すように、上記した第１のノード特徴に対する符号化は、第１のエッジ特徴Ｅｍ３０８２に基づいて、第１のラプラス行列（Ｇｒａｐｈ Ｌａｐｌａｃｉａｎｓ）Ｌ３０８２１を構築することをさらに含んでもよい。上記した第１の画像畳み込み層３０２２を用いて第１の特徴Ｘ３０８１１を処理する過程は、第１の画像畳み込み層３０２２を用いて第１のラプラス行列Ｌ３０８２１に基づいて第１の特徴Ｘ３０８１１を処理して、第２の特徴Ｘ’３０８１２を取得することを含むことができる。第２の特徴Ｘ’３０８１２は複数の第１のサブ特徴ｘｉ’を含み、ｉは１以上Ｋ１以下の整数であり、ｘｉ’はｄ個の空間次元を有するベクトルとして表現される。上記した第２の特徴Ｘ’を算出する過程および第１のラプラス行列を構築する過程は、それぞれ数（２）および数（３）のように表すことができる。
【0086】
【数2】
【0087】
【数3】
【0088】
ただし、
は対角行列であり、
σは非線形関数であり、Ｗ２およびＷ３は第１の画像畳み込み層の重みパラメータである。
【0089】
入力画像における暗示的な関係を更に学習するために、本開示の実施例によれば、図３Ｃに示すように、第１の予定ネットワークである画像畳み込み符号化モジュール３０２は、第１の関連層（Ａｄｊ）３０２４を更に含むことができる。第１の画像畳み込み層３０２２の処理が終了した後に、第１の関連層３０２４を用いて、複数の第１のサブ特徴のうち任意の２つの第１のサブ特徴ｘｉ’とｘｊ’間の関連関係を計算し、任意の２つの第１のサブ特徴間の関連関係に基づいて第１の関係行列Ａ’３０８１２’を決定することができる。但し、
【0090】
具体的には、数（４）のように示している。
【0091】
【数4】
【0092】
数（４）から分かるように、本例では、ｘｉ’とｘｊ’との間のＬ－２距離（ユークリッド距離）を算出することにより、ｘｉ’とｘｊ’との間の関連関係を決定する。他の例では、任意の類似度計算方法を用いて、ｘｉ’とｘｊ’との間の関連関係を決定することができ、例えばコサイン類似度などを用いることができるが、ここでは限定しない。本実施例によれば、関連層によって画像ノード間の暗示的な関係行列を学習する。
【0093】
これに基づき、第２の画像畳み込み層３０２３によって第２の特徴Ｘ’３０８１２を処理することができる。例示的には、第２の画像畳み込み層３０２３により、学習した第１の関係行列Ａ’から深いノード特徴の更新および学習を行い、符号化した第１のノード特徴Ｘ’’を取得する。第２の画像畳み込み層３０２３の更新戦略は、数（５）のように定義することができる。
【0094】
【数5】
【0095】
ただし、Ｗ４は、第２の画像畳み込み層の重みパラメータである。
【0096】
本開示の実施例によれば、第２の予定ネットワークである画像畳み込み符号化モジュール３０２は、第２の完全接続層、第３の画像畳み込み層、および第４の画像畳み込み層を含み得る。質問図Ｇ２３０９における第２のノード特徴Ｖｎを符号化する上記過程は、第２の完全接続層を用いて、第２のノード特徴Ｖｎを所定数ｄに等しい空間次元数の第３の特徴Ｙにマッピングすることと、第３の画像畳み込み層によって第３の特徴Ｙを処理して第４の特徴Ｙ’を取得することと、第４の画像畳み込み層によって第４の特徴Ｙ’を処理して符号化された第２のノード特徴Ｙ’’を取得することと、を含むことができる。符号化された第２のノード特徴と第２のエッジ特徴とから符号化質問図Ｇ２’３０９’が構成される。この過程は、上記において画像畳み込み符号化モジュール３０２を用いて視覚図を符号化する過程の原理と同じであり、ここでは贅言しない。
【0097】
例示的には、質問図の表示関係を学習するために、上記の第２のノード特徴Ｖｎを符号化することは、第２のエッジ特徴Ｅｎに基づいて第２のラプラス行列を構築することをさらに含むことができる。上記第３の画像畳み込み層を用いて第３の特徴を処理することは、第３の画像畳み込み層を用いて第２のラプラス行列に基づいて第３の特徴Ｙを処理して、複数の第２のサブ特徴ｙｊ’を含む第４の特徴Ｙ’を得ることを含み、このとき、ｊは１以上且つＫ２以下の整数である。当該過程は、上記において第１の画像畳み込み層を用いて視覚図を処理する過程の原理と同じであり、ここでは贅言しない。
【0098】
さらに、質問図における暗示的な関係を学習するために、例示的には、第２の予定ネットワークである画像畳み込み符号化モジュール３０２は、第２の関連層をさらに含むことができる。第２のノード特徴を符号化することは、第２の相関層を用いて、複数の第２のサブ特徴のうちの任意の２つのサブ特徴間の相関関係を計算し、任意の２つの第２のサブ特徴間の相関関係に基づいて第２の関係行列を決定することを更に含み得る。第４の画像畳み込み層を用いて第４の特徴を処理することは、第４の画像畳み込み層を用いて第２の関係行列に基づいて第４の特徴を処理して、符号化された第２のノード特徴を取得することを含み得る。当該過程は、上記において第２の画像畳み込み層を用いて視覚図を処理する過程の原理と同じであり、ここでは贅言しない。
【0099】
本開示の実施例によれば、２つの並列な画像畳み込み符号化モジュール３０２を用いて視覚図と質問図に対してそれぞれ符号化処理を行うため、２層の画像畳み込みネットワークを経た後、第１の予定ネットワークである画像畳み込み符号化モジュール３０２の出力は１つの符号化視覚図Ｇ１’＝｛Ｘ’’，Ｅｍ｝である。第２の予定ネットワークである画像畳み込み符号化モジュール３０２の出力は、１つの符号化質問図Ｇ２'＝｛Ｙ’’，Ｅｎ｝である。ここで、符号化された第１のノード特徴Ｘ’’は複数の第３のサブ特徴ｘｉ’’を含み、ｉは１以上且つＫ１以下の整数である。符号化された第２のノード特徴Ｙ’’、複数の第４のサブ特徴ｙｊ’’を含み、ｊは、１以上且つＫ２以下の整数である。
【0100】
図３Ｂ及び図３Ｃに示すように、本開示の実施例による画像質問応答方法は、２つの並列な画像畳み込み符号化モジュールを用いて視覚図及び質問図をそれぞれ符号化し、２つの並列な符号化モジュールにおいて、視覚図を処理する第１の畳み込み層と質問図を処理する第２の畳み込み層とが重み共有であり、視覚図を処理する第２の畳み込み層と質問図を処理する第４の畳み込み層とが重み共有である。重み共有とは、訓練過程において、同じ画像畳み込み層を用いて２つの画像を更新することであり、当該図畳み込み層の重みパラメータ及び更新は一致である。
【0101】
引き続き図３Ａ及び図３Ｂを参照すると、画像畳み込み符号化モジュール３０２を紹介した後、画像マッチング更新モジュール３０３に基づく実装形態を例示的に説明する。画像畳み込み符号化モジュールを経た後、符号化視覚図上の各ノード特徴は、学習した関係に基づいて関連ノードの特徴を融合し、符号化質問図上の各ノード特徴は、学習した関係に基づいて関連ノードの特徴を融合し、ある程度に深い語義特徴を含んでいる。次に、画像マッチング更新モジュール３０３を用いて２つの異なる画像のノード間のマッチングを行い、２つの異なるモダリティでの特徴を整列させ、モダリティ間の語義ギャップを短縮し、効果的なクロスモーダルの特徴融合を実現する。
【0102】
図３Ｄは、本開示の実施例による画像マッチング更新モジュールの処理過程の例示的な概略図を概略的に示している。
【0103】
図３Ｄに示すように、本開示の実施例によれば、上記画像マッチング更新モジュール３０３が画像マッチングアルゴリズムを用いて符号化視覚図及び符号化質問図をマルチモダリティ融合する過程は、まず画像マッチング（Ｇｒａｐｈ Ｍａｔｃｈ）アルゴリズムを用いて符号化された第１のノード特徴及び符号化された第２のノード特徴に対してマッチング処理を行い、複数の第３のサブ特徴の何れかの第３のサブ特徴ｘｉ’’と複数の第４のサブ特徴の何れかの第４のサブ特徴ｙｊ’’との間のマッチング関係を決定し、何れかの第３のサブ特徴ｘｉ’’と何れかの第４のサブ特徴ｙｊ’’との間のマッチング関係に基づいて、マッチング行列Ｓ３０３１を決定し、
である。数（６）のように表すことができる。
【0104】
【数6】
【0105】
ここで、ｘｉ’’∈Ｘ’’であり、ｙｊ’’∈Y’’であり、Ｋ１とＫ２は、それぞれマッチングを行う２つの画像（視覚図符号化と符号化質問図）のノード数を示す。ｆａは、双線形マッチングを設置し、例えば、数（７）のように示すことができる。
【0106】
【数7】
【0107】
ただし、
は、学習可能な行列パラメータであり、τは、数値質問のハイパーパラメータである。
【0108】
上記画像マッチング過程により、２つの画像ノード間の
が得られる。そして、注目力メカニズムとマッチング行列Ｓに基づいて、第１の注目力重みセットＳ１３０３２と第２の注目力重みセットＳ２３０３３とがそれぞれ決定される。
【0109】
例示的には、図３Ｄに示すように、Ｓ１とＳ２は、異なる次元でマッチング行列Ｓに対してＳｏｆｔｍａｘ操作を行って得られる視覚図特徴次元における注意力マッチング（ａｔｔｅｎｔｉｏｎ ｍａｐ）と、質問図特徴次元における注意力マッチングである。例えば、マッチング行列Ｓの１－Ｋ１次元に対してＳｏｆｔｍａｘ操作を行い、Ｓ１を取得し、マッチング行列Ｓの１－Ｋ２次元に対してＳｏｆｔｍａｘ操作を行い、Ｓ２を取得する。
【0110】
次に、第１の注意力重みセットＳ１、符号化された第１のノード特徴Ｘ’’、及び符号化された第２のノード特徴Ｙ’’に基づいて、更新された第２のノード特徴Ｖｎ’を決定し、第２の注意力重みセットＳ２、符号化された第１のノード特徴Ｘ’’、及び符号化された第２のノード特徴Ｙ’’に基づいて、更新された第１のノード特徴Ｖｍ’決定する。更新された第１のノード特徴Ｖｍ’と第１のエッジ特徴Ｅｍとから更新視覚図Ｇ１’’３０８’’を構成し、Ｇ１’’＝｛Ｖｍ’，Ｅｍ｝であり、更新された第２のノード特徴Ｖｎ’と第２のエッジ特徴Ｅｎとから更新質問図Ｇ２’’３０９’’を構成し、Ｇ２’’＝｛Ｖｎ’，Ｅｎ｝である。
【0111】
図３Ｄに示される例では、Ｓ１とＳ２を２つの画像ノード特徴の更新に用いられ、具体的な更新ポリシーは、数（８）のようになり得る。
【0112】
【数8】
【0113】
ただし、Ｖｍ’とＶｎ’は、更新された２つの画像のノード特徴であり、画像マッチング更新モジュールによって出力された２つの新しい画像表現Ｇ１’’＝｛Ｖｍ’，Ｅｍ｝とＧ２’’＝｛Ｖｎ’，Ｅｎ｝を得ることができる。この例では、画像マッチング更新モジュール３０３は、第３の完全接続層３０３４と第４の完全接続層３０３５をさらに含み、数（８）において、Ｗ５は、第３の完全接続層３０３４と第４の完全接続層３０３５の重みパラメータである。
【0114】
よりよい更新効果を実現するために、本開示の実施例によれば、画像畳み込み符号化モジュール３０２と画像マッチング更新モジュール３０３とを直列に接続して１つの全体更新モジュールを構成することができ、予め構築されたネットワークモデルにおいていくつかの全体更新モジュールを直列に接続して画像ノード特徴に対する複数の更新を実現することができ、それにより、より深い語義関係を学習することができる。例えば、ｐ個の全体更新モジュールによってｐ回の更新を実現し、更新視覚図Ｇ１
ｐ３０８’’及び更新質問図Ｇ２
ｐ３０９’’を取得することができ、ｐは正の整数である。
【0115】
本開示の実施例によれば、上記操作Ｓ２０６において、更新視覚図、更新質問図及び質問特徴に基づいて融合特徴を決定する過程は、画像融合モジュール３０４が、更新された第１のノード特徴と更新された第２のノード特徴とを連結して併合して併合特徴を取得し、且つ併合特徴に対して予定のプール化操作を行って、推論特徴を取得することを含むことができる。そして、問答モジュール３０５は、推論特徴と質問特徴とを融合処理して融合特徴を取得する。問答モジュール３０５が融合処理を行う前に、問答モジュール３０５は、入力質問Ｑ３０７を取得し、上記操作Ｓ２０５を実行し、入力質問に基づいて質問特徴を決定することができる。
【0116】
例示的に、画像マッチング更新モジュール３０３の後、本開示の実施例は、２つの画像の融合のための新しい画像融合モジュール３０４を設計し、最終的に質問推論に使用される推論特徴（Ｒｅａｓｏｎｉｎｇ Ｆｅａｔｕｒｅ）を取得することができる。例えば、まず、単純に２つの画像のノード特徴を連結（Ｃｏｎｃａｔｅｎａｔｅ）して併合してから、例えば最大プール化（Ｍａｘｐｏｏｌ）操作を用いて推論特徴ｒ３１０を求め、
である。具体的な融合方法は、数（９）のように表すことができる。
【0117】
【数9】
【0118】
次に、図３Ｂに示すように、問答モジュール３０５を利用して質問の最終的な推論と解答の予測を行うことができる。例えば、まず、入力質問Ｑ３０７の各単語をＧｌｏｖｅワード符号化３０５１とＢｉ－ＧＲＵ特徴符号化３０５２により、入力質問全体の質問特徴ｑ３０７’を得て、本例では、
であり、画像融合モジュール３０５が出力する推論特徴ｒ３１０を再取得し、本例では、
である。推論特徴ｒと質問特徴ｑに対して要素毎に（Ｅｌｅｍｅｎｔ－ｗｉｓｅ）点乗算を行い、両者を融合する。融合結果をＭＬＰ３０５３に送って最終的な
を取得する。この例では、２層のＭＬＰを用いており、処理過程は、数（１０）のように表すことができる。
【0119】
【数10】
【0120】
訓練済みのネットワークモデル３００を使用するとき、予測待ちの入力画像および入力質問を上記ネットワークモデル３００に入力して、ネットワークモデル３００から相応的な解答カテゴリおよび信頼度を出力し、最も信頼度の高い解答カテゴリを、予測待ちの入力画像および入力質問に対して得られる予測解答とすることが理解され得る。上記入力画像と入力問題に対する処理過程は、訓練段階のサンプル画像およびサンプル質問に対する処理過程と同様であるため、ここでは贅言しない。
【0121】
上記各実施例に基づいて分かるように、本開示の実施例による画像質問応答方法は、視覚図及び質問図を構築することによって異なるモダリティ上の注目点を学習し、それにより、複数の目標がある画像及び複雑な質問によるノイズを低減する。同時に、各モダリティにおける明示的な関係と暗示的な関係を効果的に学習する画像畳み込みに基づく画像符号化モジュールが設計され、また、２つの異なるモダリティ特徴の整列と更新を行う画像マッチング更新モジュール設計され、それによって、モダリティ間の語義ギャップを短縮し、クロスモーダル特徴の融合をより効果的にする。本発明はまた、画像符号化モジュールと画像マッチング更新モジュールとを直列に接続し複数回繰り返すことによって、質問に対するモデルの多段階推論を実現する。
【0122】
図４は、本開示の実施例による画像質問応答装置のブロック図を概略的に示している。
【0123】
図４に示すように、画像質問応答装置４００は、取得モジュール４１０、第１の画像構築モジュール４２０、第２の画像構築モジュール４３０、更新モジュール４４０、質問特徴抽出モジュール４５０、融合モジュール４６０、及び予測モジュール４７０を含むことができる。
【0124】
取得モジュール４１０は、入力画像及び入力質問を取得するために使用される。
【0125】
第１の画像構築モジュール４２０は、入力画像に基づいて、第１のノード特徴及び第１のエッジ特徴を含む視覚図を構築するために使用される。
【0126】
第２の画像構築モジュール４３０は、入力質問に基づいて、第２のノード特徴及び第２のエッジ特徴を含む質問図を構築するために使用される。
【0127】
更新モジュール４４０は、更新視覚図および更新質問図を得るように、視覚図及び質問図に対してマルチモダリティ融合を行うために使用される。
【0128】
質問特徴抽出モジュール４５０は、入力質問に基づいて質問特徴を決定するために使用される。
【0129】
融合モジュール４６０は、更新視覚図、更新質問図および質問特徴に基づいて、融合特徴を決定するために使用される。
【0130】
予測モジュール４７０は、融合特徴に基づいて入力画像及び入力質問に対する予測解答を生成するために使用される。
【0131】
なお、装置部分の実施例における各モジュール／ユニット／サブユニット等の実施形態、解決された技術的課題、実現された機能、及び達成された技術効果は、それぞれ方法部分の実施例における各対応するステップの実施形態、解決された技術的課題、実現された機能、及び達成された技術的効果と同一又は類似であり、ここでは贅言しない。
【0132】
本発明の実施例によるモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか複数、またはこれらのうちの少なくとも一部の機能は、１つのモジュールで実現されることができる。本発明の実施例によるモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか１つ以上は、複数のモジュールに分割して実現することができる。本開示の実施例によるモジュール、サブモジュール、ユニット、サブユニットのうちの任意の１つ以上は、少なくとも部分的に、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）、システムオンチップ、基板上システム、パッケージ上システム、特定用途向け集積回路（ＡＳＩＣ）などのハードウェア回路として実装されてもよく、または回路を集積またはパッケージ化する他の合理的な方式のハードウェアもしくはファームウェアによって、またはソフトウェア、ハードウェア、およびファームウェアの３つの実装形態のうちの任意の１つもしくはそれらのうちの任意のいくつかの適切な組み合わせによって実装されてもよい。あるいは、本開示の実施例によるモジュール、サブモジュール、ユニット、サブユニットのうちの１つ以上は、少なくとも部分的に、実行されたときに相応的な機能を実行可能なコンピュータプログラムモジュールとして実現されてもよい。
【0133】
例えば、取得モジュール４１０、第１の画像構築モジュール４２０、第２の画像構築モジュール４３０、更新モジュール４４０、質問特徴抽出モジュール４５０、融合モジュール４６０および予測モジュール４７０のうちのいずれか複数を１つのモジュールに統合してもよいし、いずれか１つのモジュールを複数のモジュールに分割してもよい。あるいは、これらのモジュールのうちの１つ以上のモジュールの機能の少なくとも一部は、他のモジュールの機能の少なくとも一部と組み合わされて、１つのモジュールに実現され得る。本開示の実施例によれば、取得モジュール４１０、第１の画像構築モジュール４２０、第２の画像構築モジュール４３０、更新モジュール４４０、質問特徴抽出モジュール４５０、融合モジュール４６０及び予測モジュール４７０のうちの少なくとも１つは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）、システムオンチップ、基板上システム、パッケージ上システム、特定用途向け集積回路（ＡＳＩＣ）などのハードウェア回路として少なくとも部分的に実現されてもよく、又は、回路を集積又はパッケージ化する任意の他の合理的な方法などのハードウェア若しくはファームウェア、又は、ソフトウェア、ハードウェア、及びファームウェアの３つの実現形態のうちの任意の１つ、又は、これらのうちの任意のいくつかの適切な組み合わせで実現されてもよい。あるいは、取得モジュール４１０、第１の画像構築モジュール４２０、第２の画像構築モジュール４３０、更新モジュール４４０、質問特徴抽出モジュール４５０、融合モジュール４６０及び予測モジュール４７０のうちの少なくとも１つは、少なくとも部分的に、実行されたときに相応的な機能を実行可能なコンピュータプログラムモジュールとして実装されてもよい。
【0134】
図５は、本開示の実施例による、上記の方法を実施するように適合されたコンピュータ装置のブロック図を概略的に示している。図５に示すコンピュータ装置は一例に過ぎず、本開示の実施例の機能及び使用範囲に何ら制限を課すものではない。
【0135】
図５に示すように、本開示の実施例によるコンピュータ装置５００は、リードオンリーメモリ（ＲＯＭ）５０２に記憶されたプログラム、又は記憶部分５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたプログラムに従って様々な適切な操作及び処理を実行することができるプロセッサ５０１を含む。プロセッサ５０１は、例えば、汎用マイクロプロセッサ（例えば、ＣＰＵ ）、命令セットプロセッサ、および／または関連チップセット、および／または特定用途向けマイクロプロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ））などを含み得る。プロセッサ５０１は、キャッシュ用途のためのオンボードメモリも含み得る。プロセッサ５０１は、本開示の実施例による方法フローの異なる操作を実行するための単一の処理ユニット又は複数の処理ユニットを含んでもよい。
【0136】
ＲＡＭ５０３には、装置５００の操作に必要な各種プログラムやデータが記憶される。プロセッサ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４を介して互いに接続されている。プロセッサ５０１は、ＲＯＭ５０２及び／又はＲＡＭ５０３のプログラムを実行することにより、本発明の実施例による方法の流れによる様々な操作を実行する。なお、前記プログラムは、ＲＯＭ５０２およびＲＡＭ５０３以外のメモリに格納されていてもよい。プロセッサ５０１は、前記１つ以上のメモリに記憶されたプログラムを実行することにより、本発明の実施例による方法フローの様々な操作を実行することもできる。
【0137】
本開示の実施例によれば、装置５００は、バス５０４に接続された入出力（Ｉ／Ｏ）インタフェース５０５をさらに含むことができる。また、装置５００は、Ｉ／Ｏインタフェース５０５に接続された、キーボード、マウスなどを含む入力部分５０６、例えばカソード線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカなどを含む出力部分５０７、ハードディスクなどを含む記憶部分５０８、例えばＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部分５０９のうちの１つ以上を含んでもよい。通信部分５０９は、インターネットなどのネットワークを介して通信処理を行う。ドライバ５１０は、必要に応じて、Ｉ／Ｏインタフェース５０５に接続される。読み出されたコンピュータプログラムが、必要に応じて記憶部分５０８にインストールされるように、例えば磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１は、需要に応じてドライブ５１０に実装される。
【0138】
本開示の実施例によれば、本開示の実施例による方法のフローは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、コンピュータ読み取り可能な記憶媒体にインストールされたコンピュータプログラムを含むコンピュータプログラム製品を含み、このコンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例で、このコンピュータプログラムは、通信部分５０９によってネットワークからダウンロードしてインストールされてもよいし、取り外し可能な媒体５１１からインストールされてもよい。このコンピュータプログラムがプロセッサ５０１によって実行されると、本開示の実施例のシステムにおいて限定した上記機能が実行される。本開示の実施例によれば、前述したシステム、デバイス、装置、モジュール、ユニット等は、コンピュータプログラムモジュールにより実現することができる。
【0139】
本開示は、さらに、非一時的なコンピュータ読み取り可能な記憶媒体を提供しており、当該非一時的なコンピュータ読み取り可能な記憶媒体は、上記実施例に記載のデバイス／装置／システムに含まれてもよく、デバイス／装置／システムに組み込まれずに単独で存在してもよい。上記非一時的なコンピュータ読み取り可能な記憶媒体には、一つ又は複数のプログラムが記録されており、上記一つ又は複数のプログラムが実行されると、本開示の実施例による方法を実現する。
【0140】
本開示の実施例によれば、非一時的なコンピュータ読み取り可能な記憶媒体は、不揮発性のコンピュータ読み取り可能な記憶媒体であってもよく、例えば、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯型コンパクトディスクＲＯＭ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含み得るが、これらに限定されない。本開示において、非一時的なコンピュータ読み取り可能な記憶媒体は、プログラムを含む又は記憶する、任意の有形媒体であってもよく、このプログラムは、命令実行システム、装置又はデバイスによって又はそれらと関連して使用される。例えば、本開示の実施例によれば、非一時的なコンピュータ読み取り可能な記憶媒体は、前記したＲＯＭ５０２および／またはＲＡＭ５０３およびＲＡＭ５０３以外の１つ以上のメモリを含むことができる。
【0141】
図面におけるフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラム製品の実現可能な構造、機能及び操作を示している。この点に関して、フローチャート又はブロック図における各ブロックは、モジュール、セグメント、又はコードの一部を表すことができ、モジュール、セグメント、又はコードの一部は、特定な論理機能を実現するための１つ又は複数の実行可能命令を含む。これに代えて、別の実現では、ブロックに表記された機能は、図面に示す順序とは異なる順序で生じ得ることにも留意すべきである。例えば、連続して示される２つのブロックは、実際には、機能に応じて、実質的に並列に実行されてもよく、逆順に実行されてもよい。ブロック図又はフローチャートの各ブロック、及びブロック図又はフローチャートのブロックの組合せは、特定な機能又は操作を実行する専用ハードウェアベースのシステムで実現されてもよく、又は専用ハードウェアとコンピュータ命令との組合せにより実現されてもよいことにも留意すべきである。
【0142】
当業者は、本開示に明示的に記載されていなくても、本開示の様々な実施例及び／又は特許請求の範囲に記載された特徴について様々な組合せ及び／又は結合で実施してもよいことを理解するだろう。特に、本開示の様々な実施例及び／又は特許請求の範囲に記載された特徴は、本開示の精神及び教示から逸脱することなく、様々な組合せ及び／又は結合を行うことができる。これらの組合せ及び／又は結合はいずれも本開示の範囲に含まれる。
【0143】
以上、本開示の実施例を説明した。しかしながら、これらの実施例は、説明のためのものであり、本開示の範囲を限定するものではない。以上、各実施例を個別に説明したが、各実施例における各手段を適宜組み合わせて用いることができないことを意味するわけではない。本開示の範囲は、添付の特許請求の範囲及びその均等物によって限定される。当業者は、本開示の範囲から逸脱することなく、様々な変更及び修正を行うことができ、これらの変更及び修正も本開示の範囲に属する。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5】