知財求人 - 知財ポータルサイト「IP Force」
特許7628933グラフ構造を用いた画像記述子更新モデル及び方法、並びに画像マッチング装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-03
(45)【発行日】2025-02-12
(54)【発明の名称】グラフ構造を用いた画像記述子更新モデル及び方法、並びに画像マッチング装置及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250204BHJP
G06T 7/60 20170101ALI20250204BHJP
【ＦＩ】
G06T7/00 300F
G06T7/60 180
【請求項の数】
8
(21)【出願番号】P 2021173775
(22)【出願日】2021-10-25
(65)【公開番号】P2023063768
(43)【公開日】2023-05-10
【審査請求日】2024-01-17
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】スワンウィモンクン スウィーチャヤ
(72)【発明者】
【氏名】小森田 賢史
【審査官】小池 正彦
(56)【参考文献】
【文献】国際公開第２０２１／０９７３１８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／６０
(57)【特許請求の範囲】
【請求項1】
２つの画像のマッチングに使用される記述子（descriptor）を更新するようにコンピュータを機能させる画像記述子更新モデルであって、当該２つの画像の各々について、キーポイント群及び記述子群を受け取り、受け取ったキーポイントをノードとして、ノードとしたキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報、及び／又は、ノードとしたキーポイントと、該キーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をエッジとしたグラフを生成するグラフ生成手段と、
当該２つの画像の各々について、記述子群を受け取り、受け取った記述子に対し、当該グラフを用いたグラフアテンション（graph attention）処理を施して、更新された記述子を生成する記述子更新手段と
してコンピュータを機能させることを特徴とする画像記述子更新モデル。
【請求項2】
当該２つの画像の各々についてのキーポイント群及び記述子群を受け取って、当該２つの画像のマッチング処理を実施し、受け取ったキーポイントのうちマッチしているキーポイントを選択して、選択したキーポイントとそれに対応する記述子とを前記グラフ生成手段に受け取らせるキーポイントマッチング手段としてコンピュータを更に機能させることを特徴とする請求項１に記載の画像記述子更新モデル。
【請求項3】
前記記述子更新手段は、受け取った記述子に対し当該グラフアテンション処理を複数回実施し、２回目以降の各回において、１つ前の回で生成された更新された記述子と、初回で生成された更新された記述子である又は予め設定された安定化バイアス項と、当該グラフアテンション処理により生成された記述情報とを用いて、当該回の更新された記述子を生成することを特徴とする請求項１又は２に記載の画像記述子更新モデル。
【請求項4】
前記画像記述子更新モデルは、当該更新された記述子を前記グラフ生成手段に受け取らせて、前記グラフ生成手段による当該エッジを有するグラフを更新する処理と、前記記述子更新手段による、更新された当該グラフを用いて更新された記述子をさらに生成する処理との処理ペアを少なくとも１回、実施することを特徴とする請求項１から３のいずれか１項に記載の画像記述子更新モデル。
【請求項5】
前記グラフ生成手段は、当該受け取ったキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報をセルフアテンション用エッジとし、また、当該受け取ったキーポイントと、該キーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をクロスアテンション用エッジとし、前記記述子更新手段は、
当該２つの画像の各々について、受け取った記述子に対し、当該セルフアテンション用エッジを用いたグラフアテンション処理であるセルフアテンション処理を施して、セルフアテンション処理済みの記述子を生成するセルフアテンション処理手段と、
当該２つの画像の各々において、当該セルフアテンション処理済みの記述子に対し、当該クロスアテンション用エッジを用いたグラフアテンション処理であるクロスアテンション処理を施して、クロスアテンション処理済みの更新された記述子を生成するクロスアテンション処理手段と
を有し、当該セルフアテンション処理と当該クロスアテンション処理との処理ペアとしての当該グラフアテンション処理を１回、又は当該クロスアテンション処理済みの更新された記述子を前記セルフアテンション処理手段に受け取らせて、当該処理ペアとしての当該グラフアテンション処理を複数回、実施する
ことを特徴とする請求項１から４のいずれか１項に記載の画像記述子更新モデル。
【請求項6】
当該２つの画像の各々から、キーポイント群及び記述子群を抽出する画像特徴量抽出手段と、請求項１から５のいずれか１項に記載された画像記述子更新モデルを用いて、抽出された当該記述子群を更新する画像記述子更新手段と、
抽出された当該キーポイント群及び更新された当該記述子群を用いて、当該２つの画像のマッチングを実施する画像マッチング手段と
を有することを特徴とする画像マッチング装置。
【請求項7】
当該２つの画像の各々から、キーポイント群及び記述子群を抽出する画像特徴量抽出手段と、請求項１から５のいずれか１項に記載された画像記述子更新モデルを用いて、抽出された当該記述子群を更新する画像記述子更新手段と、
抽出された当該キーポイント群及び更新された当該記述子群を用いて、当該２つの画像のマッチングを実施する画像マッチング手段と
としてコンピュータを機能させることを特徴とする画像マッチングプログラム。
【請求項8】
２つの画像のマッチングに使用される記述子を更新するコンピュータによって実施される画像記述子更新方法であって、当該２つの画像の各々について、キーポイント群及び記述子群を受け取り、受け取ったキーポイントをノードとして、ノードとしたキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報、及び／又は、ノードとしたキーポイントと、該キーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をエッジとしたグラフを生成するステップと、
当該２つの画像の各々について、記述子群を受け取り、受け取った記述子に対し、当該グラフを用いたグラフアテンション処理を施して、更新された記述子を生成するステップと
を有することを特徴とする画像記述子更新方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像マッチング技術に関する。
【背景技術】
【0002】
画像マッチングは、画像検索、視覚的探索や、３次元（３Ｄ）画像構築といったような、画像から視覚にかかわる成果物を選択・生成するのに重要な技術となっている。
【0003】
多くの場合、画像マッチングは、SIFT（Scale-Invariant Feature Transform）といったような画像特徴量（キーポイントとその記述子）を用い、画像間の視覚的な類似性や、画像特徴量としてのキーポイントの位置が一致する度合いに基づいて実施される。具体的には、一方の画像の各キーポイントの記述子と他方の画像における最近傍となるキーポイントの記述子との間の距離に基づいて視覚的類似性が判断され、さらに、マッチしたキーポイントにおける位置の一致の度合いが検証されるのである。
【0004】
従来、このような画像マッチングにおいては、例えば特許文献１、特許文献２や、非特許文献１に開示された手法のように、キーポイント位置の一致の度合いの検証に人手の介入することが一般的であった。これに対し最近、例えば非特許文献２や非特許文献３に開示された手法のように、局所的な画像特徴量における記述性（descriptiveness，画像の特徴を漏らすことなく的確に記述している程度）を向上させ、より正確な視覚的類似性の判断を行うべく、機械学習ベースで画像マッチングを実施する手法が提案されている。
【0005】
ここで、非特許文献２に開示された画像マッチング手法は、異なる入力画像部分の影響を重み付けして考慮するアテンション（attention）機構を用いた深層学習モデルであるトランスフォーマ（Transformer）を採用している。このトランスフォ－マは、記述子とキーポイントの位置との両方に基づき画像マッチングを実施するように訓練されており、（ａ）キーポイントの位置を把握するキーポイントエンコーダと、（ｂ）キーポイントと記述子における各画像内の若しくは画像間の特徴とに係るセルフ／クロスアテンション層（9層構成）と、（ｃ）２つの埋め込み表現特徴量のマッチングをとるためのシンクホーン（Sinkhorn）アルゴリズムを含むマッチング層とを備えている。
【0006】
また、非特許文献３に開示された画像マッチング手法も、非特許文献２の手法と同様、トランスフォ－マ構成をとっている。しかしながらこの画像マッチング手法では、キーポイントのマッチングをとるのではなく、２つの画像内の高さ及び幅に沿って画素毎にマッチングを実施している。そのため具体的に、画像から局所特徴量を抽出するResNet backboneと、それぞれ低解像度及び高解像度の画素をマッチングする２つのトランスフォ－マとが採用されている。
【0007】
ここで低解像度トランスフォ－マは、（ａ）各ピクセルの位置を把握する位置エンコーダと、（ｂ）マルチヘッド構成のセルフ／クロスアテンション層（4層構成）と、（ｃ）低解像度のピクセルのマッチングを行う最近傍層とを備えている。一方、高解像度トランスフォ－マは、セルフ／クロスアテンション層（4層構成）のみからなり、ここから高解像度のマッチング結果を引き出しているのである。
【先行技術文献】
【特許文献】
【0008】
【文献】中国特許第１０２１９４１３３号明細書
【文献】米国特許第８８０５０６７号明細書
【非特許文献】
【0009】
【文献】Luca Cavalli et al., “Revisiting Handcrafted Outlier Detection”, Conference: European Conference on Computer Vision, ＜https://arxiv.org/pdf/2006.04250.pdf＞, ２０２０年
【文献】Paul-Edouard Sarlin et al., “SuperGlue: Learning Feature Matching with Graph Neural Networks”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, ＜https://arxiv.org/pdf/1911.11763.pdf＞, ２０２０年
【文献】Jiaming Sun et al., “LoFTR: Detector-Free Local Feature Matching with Transformers”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, ＜https://arxiv.org/pdf/2104.00680.pdf＞, ２０２１年
【発明の概要】
【発明が解決しようとする課題】
【0010】
以上説明したように、人手の介入する画像マッチング手法では、人為的な初期設計内容によって処理精度が限定されてしまうところ、機械学習ベースの画像マッチング手法では、エンドツーエンド（end-to-end）機械学習によって、人為的な設計を極力排除し、特徴量の抽出・更新、特徴量のマッチング処理や、キーポイントの位置検証を一貫して高精度で実施することが可能となるのである。
【0011】
しかしながら、非特許文献２や非特許文献３に開示されたような従来のエンドツーエンド機械学習ベースの画像マッチング手法は、計算コストが増大し、特にトランスフォ－マを採用することによって膨大なメモリ量や演算時間を費やしてしまう問題を抱えている。
【0012】
例えば、非特許文献２に記載された具体例では、バッチサイズを16とした場合に約56ギガバイトのＧＰＵ（Graphics Processing Unit）メモリを必要とし、また推測ではあるがこの場合、例えば2048個のキーポイントのマッチングに120ミリ秒程度の演算時間がかかってしまうと考えられる。さらに、非特許文献３の手法では、例えば640ピクセル×480ピクセルの小サイズの画像についても約116ミリ秒の演算時間を必要とするのである。
【0013】
そこで、本発明は、より計算コストの抑えられた機械学習ベースの画像マッチング処理を実現することになる記述子の更新処理を可能にする画像記述子更新モデル及び画像記述子更新方法、並びに、そのような画像マッチング処理を可能にする画像マッチング装置及び画像マッチングプログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明によれば、２つの画像のマッチングに使用される記述子（descriptor）を更新するようにコンピュータを機能させる画像記述子更新モデルであって、
当該２つの画像の各々について、キーポイント群及び記述子群を受け取り、受け取ったキーポイントをノードとして、ノードとしたキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報、及び／又は、ノードとしたキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をエッジとしたグラフを生成するグラフ生成手段と、
当該２つの画像の各々について、記述子群を受け取り、受け取った記述子に対し、当該グラフを用いたグラフアテンション（graph attention）処理を施して、更新された記述子を生成する記述子更新手段と
してコンピュータを機能させる画像記述子更新モデルが提供される。
当該２つの画像の各々について、キーポイント群及び記述子群を受け取り、受け取ったキーポイントをノードとして、ノードとしたキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報、及び／又は、ノードとしたキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をエッジとしたグラフを生成するグラフ生成手段と、
当該２つの画像の各々について、記述子群を受け取り、受け取った記述子に対し、当該グラフを用いたグラフアテンション（graph attention）処理を施して、更新された記述子を生成する記述子更新手段と
してコンピュータを機能させる画像記述子更新モデルが提供される。
【0015】
この本発明による画像記述子更新モデルの一実施形態として、本画像記述子更新モデルは、当該２つの画像の各々についてのキーポイント群及び記述子群を受け取って、当該２つの画像のマッチング処理を実施し、受け取ったキーポイントのうちマッチしているキーポイントを選択して、選択したキーポイントとそれに対応する記述子とをグラフ生成手段に受け取らせるキーポイントマッチング手段としてコンピュータを更に機能させることも好ましい。
【0016】
また、本発明による画像記述子更新モデルの他の実施形態として、記述子更新手段は、受け取った記述子に対し当該グラフアテンション処理を複数回実施し、２回目以降の各回において、１つ前の回で生成された更新された記述子と、初回で生成された更新された記述子である又は予め設定された安定化バイアス項と、当該グラフアテンション処理により生成された記述情報とを用いて、当該回の更新された記述子を生成することも好ましい。
【0017】
さらに、本発明による画像記述子更新モデルの好適な更なる他の実施形態として、画像記述子更新モデルは、当該更新された記述子を前記グラフ生成手段に受け取らせて、グラフ生成手段による当該エッジを有するグラフを更新する処理と、記述子更新手段による、更新された当該グラフを用いて更新された記述子をさらに生成する処理との処理ペアを少なくとも１回、実施することも好ましい。
【0018】
また、本発明による画像記述子更新モデルの好適な更なる他の実施形態として、
グラフ生成手段は、当該受け取ったキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報をセルフアテンション用エッジとし、また、当該受け取ったキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をクロスアテンション用エッジとし、
記述子更新手段は、
当該２つの画像の各々について、受け取った記述子に対し、当該セルフアテンション用エッジを用いたグラフアテンション処理であるセルフアテンション処理を施して、セルフアテンション処理済みの記述子を生成するセルフアテンション処理手段と、
当該２つの画像の各々において、当該セルフアテンション処理済みの記述子に対し、当該クロスアテンション用エッジを用いたグラフアテンション処理であるクロスアテンション処理を施して、クロスアテンション処理済みの更新された記述子を生成するクロスアテンション処理手段と
を有し、当該セルフアテンション処理と当該クロスアテンション処理との処理ペアとしての当該グラフアテンション処理を１回、又は当該クロスアテンション処理済みの更新された記述子をセルフアテンション処理手段に受け取らせて、当該処理ペアとしての当該グラフアテンション処理を複数回、実施する
ことも好ましい。
グラフ生成手段は、当該受け取ったキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報をセルフアテンション用エッジとし、また、当該受け取ったキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をクロスアテンション用エッジとし、
記述子更新手段は、
当該２つの画像の各々について、受け取った記述子に対し、当該セルフアテンション用エッジを用いたグラフアテンション処理であるセルフアテンション処理を施して、セルフアテンション処理済みの記述子を生成するセルフアテンション処理手段と、
当該２つの画像の各々において、当該セルフアテンション処理済みの記述子に対し、当該クロスアテンション用エッジを用いたグラフアテンション処理であるクロスアテンション処理を施して、クロスアテンション処理済みの更新された記述子を生成するクロスアテンション処理手段と
を有し、当該セルフアテンション処理と当該クロスアテンション処理との処理ペアとしての当該グラフアテンション処理を１回、又は当該クロスアテンション処理済みの更新された記述子をセルフアテンション処理手段に受け取らせて、当該処理ペアとしての当該グラフアテンション処理を複数回、実施する
ことも好ましい。
【0019】
本発明によれば、また、当該２つの画像の各々から、キーポイント群及び記述子群を抽出する画像特徴量抽出手段と、
以上に述べた画像記述子更新モデルを用いて、抽出された当該記述子群を更新する画像記述子更新手段と、
抽出された当該キーポイント群及び更新された当該記述子群を用いて、当該２つの画像のマッチングを実施する画像マッチング手段と
を有する画像マッチング装置が提供される。
以上に述べた画像記述子更新モデルを用いて、抽出された当該記述子群を更新する画像記述子更新手段と、
抽出された当該キーポイント群及び更新された当該記述子群を用いて、当該２つの画像のマッチングを実施する画像マッチング手段と
を有する画像マッチング装置が提供される。
【0020】
本発明によれば、さらに、当該２つの画像の各々から、キーポイント群及び記述子群を抽出する画像特徴量抽出手段と、
以上に述べた画像記述子更新モデルを用いて、抽出された当該記述子群を更新する画像記述子更新手段と、
抽出された当該キーポイント群及び更新された当該記述子群を用いて、当該２つの画像のマッチングを実施する画像マッチング手段と
としてコンピュータを機能させる画像マッチングプログラムが提供される。
以上に述べた画像記述子更新モデルを用いて、抽出された当該記述子群を更新する画像記述子更新手段と、
抽出された当該キーポイント群及び更新された当該記述子群を用いて、当該２つの画像のマッチングを実施する画像マッチング手段と
としてコンピュータを機能させる画像マッチングプログラムが提供される。
【0021】
本発明によれば、またさらに、２つの画像のマッチングに使用される記述子を更新するコンピュータによって実施される画像記述子更新方法であって、
当該２つの画像の各々について、キーポイント群及び記述子群を受け取り、受け取ったキーポイントをノードとして、ノードとしたキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報、及び／又は、ノードとしたキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をエッジとしたグラフを生成するステップと、
当該２つの画像の各々について、記述子群を受け取り、受け取った記述子に対し、当該グラフを用いたグラフアテンション処理を施して、更新された記述子を生成するステップと
を有する画像記述子更新方法が提供される。
当該２つの画像の各々について、キーポイント群及び記述子群を受け取り、受け取ったキーポイントをノードとして、ノードとしたキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報、及び／又は、ノードとしたキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報をエッジとしたグラフを生成するステップと、
当該２つの画像の各々について、記述子群を受け取り、受け取った記述子に対し、当該グラフを用いたグラフアテンション処理を施して、更新された記述子を生成するステップと
を有する画像記述子更新方法が提供される。
【発明の効果】
【0022】
本発明の画像記述子更新モデル及び画像記述子更新方法によれば、より計算コストの抑えられた機械学習ベースの画像マッチング処理を実現することになる記述子の更新処理が可能になる。また、本発明の画像マッチング装置及び画像マッチングプログラムによれば、より計算コストの抑えられた機械学習ベースの画像マッチング処理が可能となる。
【図面の簡単な説明】
【0023】
【図1】本発明による画像記述子更新モデルの一実施形態を示す模式図である。
【図2】元画像Ａ及び対象画像Ｂの間のマッチしたキーポイント、及びその近傍領域を説明するための具体例を示した模式図である。
【図3】本発明による画像記述子更新方法の一実施形態における概略を示すフローチャートである。
【発明を実施するための形態】
【0024】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0025】
［画像記述子更新モデル］
図１は、本発明による画像記述子更新モデルの一実施形態を示す模式図である。
図１は、本発明による画像記述子更新モデルの一実施形態を示す模式図である。
【0026】
図１に示した本実施形態の画像記述子更新モデル１は、
（ａ）画像マッチングの対象である元画像Ａ及び対象画像Ｂのそれぞれにおける、予め抽出されたキーポイント群AK及び記述子群AD、並びにキーポイント群BK及び記述子群BDを入力とし、
（ｂ）元画像Ａ及び対象画像Ｂのマッチングに使用される記述子（descriptor）であって、より高い精度での画像マッチング処理を可能にする、更新された記述子群AD*及び記述子群BD*を出力する
機械学習モデルとなっている。
（ａ）画像マッチングの対象である元画像Ａ及び対象画像Ｂのそれぞれにおける、予め抽出されたキーポイント群AK及び記述子群AD、並びにキーポイント群BK及び記述子群BDを入力とし、
（ｂ）元画像Ａ及び対象画像Ｂのマッチングに使用される記述子（descriptor）であって、より高い精度での画像マッチング処理を可能にする、更新された記述子群AD*及び記述子群BD*を出力する
機械学習モデルとなっている。
【0027】
ここで、キーポイントは、設定された所定の観点から対象となる画像を見た場合に、画像中において特徴的と判断される部分（画像識別の際に重要となる部分）のことである。また、記述子は、キーポイントの周囲の画像領域から取り出された特徴量であり、このキーポイントの意味情報を記述する高次元ベクトルとなっている。
【0028】
以上述べたような処理を実現するべく、画像記述子更新モデル１は具体的に、
（Ａ）元画像Ａ及び対象画像Ｂの各々について、キーポイント群（AK，BK）及び記述子群（AD，BD）を受け取り、受け取ったキーポイントをノードとして、
（ａ１）ノードとしたキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報、及び
（ａ２）ノードとしたキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報
のうちのいずれか一方又は両方をエッジとした「グラフ」を生成するグラフ生成部１２と、
（Ｂ）元画像Ａ及び対象画像Ｂの各々について、記述子群（AD，BD）を受け取り、受け取った記述子に対し、生成された「グラフ」を用いたグラフアテンション（Graph Attention，ＧＡＴ）処理を施して、更新された記述子を生成する記述子更新部１３と
してコンピュータを機能させるのである。
（Ａ）元画像Ａ及び対象画像Ｂの各々について、キーポイント群（AK，BK）及び記述子群（AD，BD）を受け取り、受け取ったキーポイントをノードとして、
（ａ１）ノードとしたキーポイントと同じ画像内で近傍となるキーポイントとのペアに係る情報、及び
（ａ２）ノードとしたキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報
のうちのいずれか一方又は両方をエッジとした「グラフ」を生成するグラフ生成部１２と、
（Ｂ）元画像Ａ及び対象画像Ｂの各々について、記述子群（AD，BD）を受け取り、受け取った記述子に対し、生成された「グラフ」を用いたグラフアテンション（Graph Attention，ＧＡＴ）処理を施して、更新された記述子を生成する記述子更新部１３と
してコンピュータを機能させるのである。
【0029】
このように画像記述子更新モデル１は、従来その膨大な計算コストが問題となっていたトランスフォーマ（Transformer）に頼ることなく、比較的小さな計算コストで済むＧＡＴ処理を用いた記述子の更新を実現している。また、そのために、ＧＡＴ処理用の「グラフ」を、キーポイント位置の一致の度合いに基づき予め別に生成しているのである。
【0030】
例えば実際に、画像記述子更新モデル１で1024個のキーポイントを取り扱い、（後述するクロスアテンション処理である）ＧＡＴ処理によって記述子更新処理を実施したところ、演算時間は18ミリ秒であった。これに対し、同条件下で既存のトランスフォーマを用い、記述子を更新したところ、演算時間は約80ミリ秒となってしまうことが確認されている。また、この画像記述子更新モデル１では、バッチサイズが1である場合に必要となるメモリ量は、2ギガバイト未満に抑えられるのに対し、既存のトランスフォーマでは同条件下で約3.7ギガバイトのメモリ量を必要とすることが分かっている。
【0031】
さらに、ここで更新された記述子には、ＧＡＴ処理の結果として、「グラフ」のエッジ情報としてのキーポイント（ノード）の位置関係やその周囲の状況の一致の度合いに係る情報も埋め込まれており、その結果、この更新された記述子を用いることによって、より高い精度の画像マッチング処理を行うことも可能となる。また、この最後の画像マッチング処理は、従来の最近傍マッチング（nearest neighbor matching）といったような軽量であって高速度の手法で済むのである。
【0032】
以上、画像記述子更新モデル１によれば、より計算コストの抑えられた機械学習ベースの画像マッチング処理を実現することになる記述子更新処理を実施可能となることが理解される。これにより例えば、リアルタイムで画像検索、視覚的探索や、３Ｄ画像構築等を行う画像マッチングアプリケーションも提供可能となるのである。
【0033】
なお、上記（Ｂ）のＧＡＴ処理として以下に示す実施形態では、セルフアテンション処理とクロスアテンション処理とを実施しているが、いずれか一方のみの処理を実施する形態をとることも可能である。例えばグラフ生成処理とクロスアテンション処理との処理ペアを１回又は複数回実施するものであってもよい。しかしながら、セルフアテンション処理とクロスアテンション処理とを両方採用することによって、より記述性（descriptiveness，画像の特徴を漏らすことなく的確に記述している程度）の高い更新された記述子を得ることができるのである。
【0034】
［モデル構成］
以下、本実施形態の画像記述子更新モデル１の構成について、より詳細に説明を行う。同じく図１によれば、画像記述子更新モデル１は本実施形態において、
（ア）キーポイントマッチング部１１、
（イ）グラフ生成部１２、及び
（ウ）セルフアテンション処理部１３１とクロスアテンション処理部１３２とを有する記述子更新部１３
を（コンピュータに搭載されたプログラムによって具現される）機能構成部として備えている。言い換えるとこれらの機能構成部としてコンピュータを機能させるモデルとなっているのである。以下、上述した各機能構成部について具体的に説明を行う。
以下、本実施形態の画像記述子更新モデル１の構成について、より詳細に説明を行う。同じく図１によれば、画像記述子更新モデル１は本実施形態において、
（ア）キーポイントマッチング部１１、
（イ）グラフ生成部１２、及び
（ウ）セルフアテンション処理部１３１とクロスアテンション処理部１３２とを有する記述子更新部１３
を（コンピュータに搭載されたプログラムによって具現される）機能構成部として備えている。言い換えるとこれらの機能構成部としてコンピュータを機能させるモデルとなっているのである。以下、上述した各機能構成部について具体的に説明を行う。
【0035】
＜キーポイントマッチング手段＞
同じく図１において、キーポイントマッチング部１１は、元画像Ａ及び対象画像Ｂの各々についてキーポイント群（AK，BK）及び記述子群（AD，BD）を受け取り、これらを用いて両画像のマッチング処理を実施し、受け取ったキーポイントのうちマッチしているキーポイントを選択して、選択したキーポイントとそれに対応する記述子とをグラフ生成部１２に受け取らせる。
同じく図１において、キーポイントマッチング部１１は、元画像Ａ及び対象画像Ｂの各々についてキーポイント群（AK，BK）及び記述子群（AD，BD）を受け取り、これらを用いて両画像のマッチング処理を実施し、受け取ったキーポイントのうちマッチしているキーポイントを選択して、選択したキーポイントとそれに対応する記述子とをグラフ生成部１２に受け取らせる。
【0036】
ここで、このキーポイントマッチング部１１におけるマッチング処理は、公知の軽量であって高速度の手法、例えば、キーポイント位置の一致度合いに基づくいわゆる最近傍マッチングによって実施されることも好ましい。いずれにしても、このマッチング処理は、この後のグラフ生成のための前処理に相当するものとなっている。
【0037】
ちなみに、キーポイントマッチング部１１は省略することも可能であるが、このキーポイントマッチング部１１において、この後のグラフ生成部１２で使用されるキーポイントを（マッチしたものに）選定し、その数を限定することよって、モデル１全体の訓練のための計算コストをより抑えることも可能となっているのである。例えば、画像記述子更新モデル１内における隠れ特徴量の次元数は実際に、例えば64や128に抑えることが可能であるが、トランスフォーマでは実際、それよりも多い例えば256とする必要が生じる。
【0038】
また、本実施形態においてキーポイントマッチング部１１が受け取る、元画像Ａ及び対象画像Ｂのキーポイント群（AK，BK）及び記述子群（AD，BD）は、外部の画像特徴量抽出手段によって、元画像Ａ及び対象画像Ｂから抽出されたものとすることができる。例えば、公知のSIFT（Scale-Invariant Feature Transform）やSuperPointであってもよい。ここでSuperPointは、非特許文献：D. DeTone, T. Malisiewicz, and A. Rabinovich, “Superpoint: Self-supervised interest point detection and description”, In IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, ＜https://arxiv.org/pdf/1712.07629.pdf＞,２０１８年 に開示された画像特徴量である。
【0039】
さらに変更態様として、これらのキーポイント群（AK，BK）及び記述子群（AD，BD）は、エンドツーエンドの学習済みＤＮＮ（Deep Neural Network）で生成されたものとすることも可能である。
【0040】
＜グラフ生成手段＞
同じく図１において、グラフ生成部１２は本実施形態において、キーポイントマッチング部１１から元画像Ａ及び対象画像Ｂのマッチしたキーポイント群及び記述子群を受け取り、各画像について、
（ａ１）ノードとしたキーポイントと、同じ画像内でその近傍となるキーポイントとのペアに係る情報を「セルフアテンション用エッジ」（Aεself，Bεself）としたセルフアテンション用グラフを生成し、さらに、
（ａ２）ノードとしたキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報を「クロスアテンション用エッジ」（Aεcros，Bεcros）としたクロスアテンション用グラフを生成する。
同じく図１において、グラフ生成部１２は本実施形態において、キーポイントマッチング部１１から元画像Ａ及び対象画像Ｂのマッチしたキーポイント群及び記述子群を受け取り、各画像について、
（ａ１）ノードとしたキーポイントと、同じ画像内でその近傍となるキーポイントとのペアに係る情報を「セルフアテンション用エッジ」（Aεself，Bεself）としたセルフアテンション用グラフを生成し、さらに、
（ａ２）ノードとしたキーポイントと、このキーポイントに所定の誤差内で若しくは所定以上の類似度で対応している他方の画像内のキーポイントとのペアに係る情報を「クロスアテンション用エッジ」（Aεcros，Bεcros）としたクロスアテンション用グラフを生成する。
【0041】
ここで以下、元画像Ａ及び対象画像Ｂの間のマッチしたキーポイント、及びその近傍領域を説明するべく図２も参照しながら、グラフ生成部１２におけるグラフ生成処理の説明を行う。
【0042】
最初に、上記（ａ１）のセルフアテンション用エッジAεselfは本実施形態において、キーポイントマッチング部１１から受け取ったマッチしたキーポイント群をシードポイント群とした上で、シードポイントiと、このシードポイントiの予め設定された近傍領域内に位置するシードポイントjとのペア(i, j)の集合とする。すなわち、次式
（１） Aεself (l)＝∪i∈AS∪j∈AN_i(i, j)
によってセルフアテンション用エッジAεself (l)が算出される。
（１） Aεself (l)＝∪i∈AS∪j∈AN_i(i, j)
によってセルフアテンション用エッジAεself (l)が算出される。
【0043】
なお後に詳細に説明するが、本実施形態ではこのグラフ生成処理と後述する記述子更新処理との処理セットが複数回実施される。ここで、上式（１）のAεself
(l)の上添え字(l)は、このエッジがl番目のグラフ生成処理で生成されl番目の記述子更新処理で使用されるものであることを示している。
【0044】
また、上式（１）のASは、元画像Ａのシードポイント（のインデックスi）の集合であって、AN_iは、シードポイントiの近傍領域内に位置するシードポイントjの（インデックスの）集合である。またさらに、∪i∈AS∪j∈ANiは、全てのシードポイントiの各々と当該シードポイントiの近傍領域内に位置する全てのシードポイントjの各々との全ての（インデックスの）ペア(i, j)を包含する集合を形成するユニオン演算子を示している。なお、対象画像Ｂのセルフアテンション用エッジBεself
(l)も、以上と同様に算出される。
【0045】
また、上述したシードポイントの近傍領域は本実施形態において、図２に示した領域A.1及びA.2（元画像Ａ）や領域B.1及びB.2（対象画像Ｂ）のように円領域となっている。ここで図２において、円領域A.1及びA.2に係るシードポイントはそれぞれ、円領域B.1及びB.2に係るシードポイントとマッチしている。なお勿論、この近傍領域として円領域以外の領域、例えば楕円領域や方形領域を採用することも可能である。
【0046】
次いで、上記（ａ２）の元画像Ａのクロスアテンション用エッジAεcros（対象画像ＢのBεcrosも以下と同様）は本実施形態において、キーポイントマッチング部１１から受け取ったマッチしたキーポイント群をシードポイント群とした上で、シードポイントiと、このシードポイントiに所定の誤差内で対応している他方の画像（ここでは対象画像Ｂ）内のシードポイントjとのペア(i, j)の集合とする。
【0047】
ここで本実施形態では、このクロスアテンション用エッジ生成のために所定のキーポイントマッチング処理を実施し、異なる視点位置から見た各画像のキーポイントの対応関係、具体的には元画像Ａのシードポイントを対象画像Ｂのシードポイントに変換するアフィン（affine）変換Φを導出しておく。クロスアテンション用エッジAεcros
(l)は、このアフィン変換Φを用いて、次式
（２） Aεcros (l)＝∪(i, j):|ΦAP_i－BP_j|≦ε(i, j)
により算出されるのである。
（２） Aεcros (l)＝∪(i, j):|ΦAP_i－BP_j|≦ε(i, j)
により算出されるのである。
【0048】
上式（２）において、AP_i及びBP_jはそれぞれ、元画像Ａのシードポイントiの位置（座標値）及び対象画像Ｂのシードポイントjの位置（座標値）である。また、∪(i, j):|ΦAP_i－BP_j|≦εは、元画像Ａのシードポイントiと、このシードポイントiに対し所定の誤差ε内でアフィン変換Φにより対応付けられている対象画像Ｂのシードポイントjとの全ての（インデックスの）ペア(i, j)を包含する集合を形成するユニオン演算子を示している。
【0049】
また、このようなペア（(i, j):|ΦAP_i－BP_j|≦ε）の具体例として、図２では、ラインＣの両端の２つのシードポイント（丸印）、ラインＤの両端の２つのシードポイント（菱形印）や、ラインＥの両端の２つのシードポイント（四角印）が示されている。ちなみに、図２の具体例では、クロスアテンション用エッジ生成のための所定のキーポイントマッチング処理（アフィン変換Φの導出処理）として、非特許文献１に開示されているAdaLAMが使用されている。
【0050】
さらに、上記（ａ２）のクロスアテンション用エッジ生成の他の実施形態として、元画像Ａのクロスアテンション用エッジAεcros（対象画像ＢのBεcrosも以下と同様）を、キーポイントマッチング部１１から受け取ったマッチしたキーポイントをシードポイントiとした上で、シードポイントiと、このシードポイントiに所定以上の類似度で対応している他方の画像（ここでは対象画像Ｂ）内のシードポイントjとのペア(i, j)の集合とすることも可能である。すなわちこの実施形態では、視覚的類似性に基づきクロスアテンション用エッジを生成するのであり、上式（２）の方法よりも計算コストが小さく、より短い演算時間でクロスアテンション用エッジを生成することができる。
【0051】
具体的には、S(i, j)を、元画像Ａのシードポイントiの記述子と対象画像Ｂのシードポイントjの記述子との類似スコア（類似度）とし、MNN(AS)を、元画像Ａのシードポイントiの集合（AS）を受けて最近傍関係にあるシードポイントのペア(i, j)を導出する演算子として、次式
（３） Aεcros (l)＝{(i, j)|(i, j)∈MNN(AS), S(i, j)＞θ}
によりクロスアテンション用エッジAεcros (l)が算出される。ここで、θは所定の類似度スコア閾値である。
（３） Aεcros (l)＝{(i, j)|(i, j)∈MNN(AS), S(i, j)＞θ}
によりクロスアテンション用エッジAεcros (l)が算出される。ここで、θは所定の類似度スコア閾値である。
【0052】
以上、元画像Ａのクロスアテンション用エッジAεcrosの生成処理を説明し、また、対象画像Ｂのクロスアテンション用エッジBεcrosも同様に生成される旨を述べたが、変更態様としてAεcros（又はBεcros）を、元画像Ａと対象画像Ｂとにおける共通のクロスアテンション用エッジとしてもよい。この場合、Aεcros及びBεcrosの両方を算出する必要がないのでグラフ生成処理の計算コストをより抑えることが可能となる。
【0053】
＜記述子更新手段＞
同じく図１に示すように、記述子更新部１３は本実施形態において、セルフアテンション処理部１３１及びクロスアテンション処理部１３２を有している。このうちセルフアテンション処理部１３１は、当初、外部からの入力として元画像Ａ及び対象画像Ｂの各々の記述子群（AD，BD）を受け取り、受け取った記述子に対し、グラフ生成部１２から受け取ったセルフアテンション用エッジ（Aεself，Bεself）を用いた（ＧＡＴ処理としての）セルフアテンション処理を施して、セルフアテンション処理済みの更新された記述子を生成する。
同じく図１に示すように、記述子更新部１３は本実施形態において、セルフアテンション処理部１３１及びクロスアテンション処理部１３２を有している。このうちセルフアテンション処理部１３１は、当初、外部からの入力として元画像Ａ及び対象画像Ｂの各々の記述子群（AD，BD）を受け取り、受け取った記述子に対し、グラフ生成部１２から受け取ったセルフアテンション用エッジ（Aεself，Bεself）を用いた（ＧＡＴ処理としての）セルフアテンション処理を施して、セルフアテンション処理済みの更新された記述子を生成する。
【0054】
なお、ここで実施されるセルフアテンション処理を含めアテンション処理の詳細は、例えば非特許文献：Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. ukasz, & Polosukhin, I., “Attention is All you Need”, In Advances in Neural Information Processing Systems (Vol. 30). Curran Associates, Inc. ＜https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf＞, ２０１７年に開示されている。
【0055】
本実施形態において最初に、セルフアテンション処理部１３１のConv1D部１３１ａは、セルフアテンション処理の前処理として、受け取った元画像Ａの記述子x_iを、クエリQi（＝x_i）、バリューVi（＝x_i）、及びキーKi（＝x_i）とした上で、これらに対し、畳み込み処理を施し、特徴量化（エンコード化）したQ_i、V_i及びK_i、すなわち
（４） Q_i＝CONV1D(Qi)， V_i＝CONV1D(Vi)， K_i＝CONV1D(Ki)
を生成する。
（４） Q_i＝CONV1D(Qi)， V_i＝CONV1D(Vi)， K_i＝CONV1D(Ki)
を生成する。
【0056】
次いで、セルフアテンション処理部１３１のAttention部１３１ｂは、受け取った元画像Ａの記述子に対し、グラフ生成部１２から入力されたセルフアテンション用エッジAεself
(l)を用いたセルフアテンション処理を実施する。
【0057】
具体的には、記述子x_iについて、Aεself
(l)で規定されるその周囲の記述子x_jの影響を（x_jのx_iに対する関係によって決定した）その重みを用いて加算した「記述情報」をメッセージ（message）とし、このメッセージmε→iを、次式
（５） mε→i＝Σj:(i,j)∈Aεself(l)V_j×Softmaxj(Q_i, K_j)
によって算出する。ここでΣj:(i,j)∈Aεself(l)は、(i, j)がAεself (l)の要素となるようなjについての総和であり、またSoftmaxjは、jについてのソフトマックス（softmax）関数である。
（５） mε→i＝Σj:(i,j)∈Aεself(l)V_j×Softmaxj(Q_i, K_j)
によって算出する。ここでΣj:(i,j)∈Aεself(l)は、(i, j)がAεself (l)の要素となるようなjについての総和であり、またSoftmaxjは、jについてのソフトマックス（softmax）関数である。
【0058】
次いで、セルフアテンション処理部１３１のconcatenation部１３１ｃ、ＭＬＰ部１３１ｄ及び加算部１３１ｆは、今回のセルフアテンション処理で更新される記述子x_i(l)を、次式
（６） x_i(l)＝x_i(l-1)＋MLP(Concat(Q_i, mε→i))
を用いて算出するのである。ここで、後に詳細に説明するが、本実施形態では上述したグラフ生成処理とこの記述子更新処理との処理セットが複数回実施される。上式（６）の上添え字(l)のlは、添え字対象の量が、l番目の記述子更新処理（セルフアテンション処理）で生成される量であることを示している。
（６） x_i(l)＝x_i(l-1)＋MLP(Concat(Q_i, mε→i))
を用いて算出するのである。ここで、後に詳細に説明するが、本実施形態では上述したグラフ生成処理とこの記述子更新処理との処理セットが複数回実施される。上式（６）の上添え字(l)のlは、添え字対象の量が、l番目の記述子更新処理（セルフアテンション処理）で生成される量であることを示している。
【0059】
また上式（６）において、x_i(l-1)は、l（≧2）番目である今回の記述子更新処理（セルフアテンション処理）よりも１つ前の（(l－1)番目の）処理によって更新された記述子である。なお、x_i(0)は、当初（外部からの入力として）受け取った記述子に設定される。また、Concat(Q_i, mε→i)は、concatenation部１３１ｃによるQ_iとmε→iとの連結処理の結果を表し、さらにMLP(Concat(Q_i, mε→i))は、この連結処理結果をＭＬＰ部１３１ｄにおける多層パーセプトロン（Multilayer perceptron，MLP）で処理した結果を表す。
【0060】
また、以上に述べたような更新された記述子x_i(l)を導出する他の好適な実施形態として、l（≧1）番目のセルフアテンション処理で更新される記述子x_i(l)を、次式
（７） x_i(l)＝α(l)×x_ibias＋β(l)×x_i(l-1)＋MLP(Concat(Q_i, mε→i))
を用いて算出することも好ましい。
（７） x_i(l)＝α(l)×x_ibias＋β(l)×x_i(l-1)＋MLP(Concat(Q_i, mε→i))
を用いて算出することも好ましい。
【0061】
ここでx_ibiasは、本願発明者等が考案した安定化バイアス項であり、動的に更新処理の繰り返される本実施形態における更新された記述子x_i(l)の算出結果を安定させる効果を奏する。本実施形態において、x_ibiasは、外部からの入力として受け取った記述子に設定され、すなわちx_i(0)と同値に設定される（x_ibias＝x_i(0)）。これにより、l（≧2）番目のセルフアテンション処理で更新される記述子x_i(l)は具体的に、外部からの入力として受け取った記述子（すなわちx_ibias）と、memory部１３１ｅに保存されていた前回の（l-1回目の）更新された記述子x_i(1-1)と、ＭＬＰ部１３１ｄの出力とを加算器１３１ｆへ渡して処理することにより生成されるのである。
【0062】
また上式（７）において、α(l)及びβ(l)はそれぞれ、安定化バイアス項x_ibias及び前回の更新された記述子の重みであって、モデル１全体の訓練によって学習されるパラメータとなっている。ここで変更態様として、MLP(Concat(Q_i, mε→i))項にも、学習される重みγ(l)を掛けてもよく、または重みβ(l)を、{x_i(l-1)＋MLP(Concat(Q_i, mε→i))}項に掛けることも可能である。
【0063】
以上、受け取った元画像Ａの記述子に対し順次処理を行い更新した記述子を生成する、セルフアテンション処理部１３１のConv1D部１３１ａ、Attention部１３１ｂ、Concatenation部１３１ｃ、ＭＬＰ部１３１ｄ、Memory部１３１ｅ及び加算器１３１ｆの説明を行った。一方、同じく図１に示したセルフアテンション処理部１３１のConv1D部１３１ｇ、Attention部１３１ｈ、Concatenation部１３１ｉ、ＭＬＰ部１３１ｊ、Memory部１３１ｋ及び加算器１３１lは、受け取った対象画像Ｂの記述子に対し、上述した同名の機能構成部と同様の処理を順次行って、更新した記述子を生成するのである。
【0064】
だたし、Attention部１３１ｈは、Attention部１３１ｂとは異なり、グラフ生成部１２から入力されたセルフアテンション用エッジBεself
(l)を用いたセルフアテンション処理を実施する。具体的には、対象画像Ｂの記述子x_iについて、Bεself
(l)で規定されるその周囲の記述子x_jの影響を（x_jのx_iに対する関係によって決定した）その重みを用いて加算した「記述情報」をメッセージ（message）とし、このメッセージmε→iを、次式
（８） mε→i＝Σj:(i,j)∈Bεself(l)V_j×Softmaxj(Q_i, K_j)
によって算出するのである。ここでΣj:(i,j)∈Bεself(l)は、(i, j)がBεself (l)の要素となるようなjについての総和となっている。
（８） mε→i＝Σj:(i,j)∈Bεself(l)V_j×Softmaxj(Q_i, K_j)
によって算出するのである。ここでΣj:(i,j)∈Bεself(l)は、(i, j)がBεself (l)の要素となるようなjについての総和となっている。
【0065】
次に、記述子更新部１３のクロスアテンション処理部１３２の説明を行う。
【0066】
同じく図１において、クロスアテンション処理部１３２は本実施形態において、セルフアテンション処理部１３１から、元画像Ａ及び対象画像Ｂの各々の更新された記述子群を受け取り、受け取ったセルフアテンション処理済みの記述子に対し、グラフ生成部１２から受け取ったクロスアテンション用エッジ（Aεcros，Bεcros）を用いた（ＧＡＴ処理としての）クロスアテンション処理を施して、クロスアテンション処理済みのさらに更新した記述子を生成する。
【0067】
具体的に、クロスアテンション処理部１３２のConv1D部１３２ａ、Attention部１３２ｂ、Concatenation部１３２ｃ、ＭＬＰ部１３２ｄ、Memory部１３２ｅ及び加算器１３２ｆは、セルフアテンション処理部１３１から受け取った元画像Ａの更新された記述子に対し、セルフアテンション処理部１３１における上述した同名の機能構成部（１３１ａ，１３１ｂ，１３１ｃ，１３１ｄ，１３１ｅ，１３１ｆ）と同様の処理を順次行って、さらに更新した記述子を生成するのである。
【0068】
ただし、Conv1D部１３２ａは、Conv1D部１３１ａとは異なり、クロスアテンション処理の前処理として、受け取った元画像Ａの更新された記述子x_iをクエリQi（＝x_i）とし、さらに、セルフアテンション処理部１３１から受け取っ対象画像Ｂの更新された記述子x_jをバリューVj（＝x_j）及びキーKj（＝x_j）とした上で、これらに対し、畳み込み処理を施し、特徴量化（エンコード化）したQ_i、V_j及びK_j、すなわち
（９） Q_i＝CONV1D(Qi)， V_j＝CONV1D(Vj)， K_j＝CONV1D(Kj)
を生成する。
（９） Q_i＝CONV1D(Qi)， V_j＝CONV1D(Vj)， K_j＝CONV1D(Kj)
を生成する。
【0069】
次いで、Attention部１３２ｂは、元画像Ａの更新された記述子に対し、グラフ生成部１２から入力されたクロスアテンション用エッジAεcros
(l)を用いたクロスアテンション処理を実施し、次式
（１０） mε→i＝Σj:(i,j)∈Aεcros(l)V_j×Softmaxj(Q_i, K_j)
によってメッセージ（記述情報）mε→iを算出する。ここでΣj:(i,j)∈Aεcros(l)は、(i, j)がAεcros (l)の要素となるようなjについての総和である。
（１０） mε→i＝Σj:(i,j)∈Aεcros(l)V_j×Softmaxj(Q_i, K_j)
によってメッセージ（記述情報）mε→iを算出する。ここでΣj:(i,j)∈Aεcros(l)は、(i, j)がAεcros (l)の要素となるようなjについての総和である。
【0070】
一方、同じく図１に示したクロスアテンション処理部１３２のConv1D部１３２ｇ、Attention部１３２ｈ、Concatenation部１３２ｉ、ＭＬＰ部１３２ｊ、Memory部１３２ｋ及び加算器１３２lは、受け取った対象画像Ｂの更新された記述子に対し、クロスアテンション処理部１３２における上述した同名の機能構成部（１３２ａ，１３２ｂ，１３２ｃ，１３２ｄ，１３２ｅ，１３２ｆ）と同様の処理を順次行って、さらに更新した記述子を生成するのである。
【0071】
だたし、Conv1D部１３２ｇは、Conv1D部１３２ａとは異なり、クロスアテンション処理の前処理として、受け取った対象画像Ｂの更新された記述子x_iをクエリQi（＝x_i）とし、さらに、セルフアテンション処理部１３１から受け取った元画像Ａの更新された記述子x_jをバリューVj（＝x_j）及びキーKj（＝x_j）とした上で、これらに対し、畳み込み処理を施し、特徴量化（エンコード化）したQ_i、V_j及びK_j、すなわち
（１１） Q_i＝CONV1D(Qi)， V_j＝CONV1D(Vj)， K_j＝CONV1D(Kj)
を生成する。
（１１） Q_i＝CONV1D(Qi)， V_j＝CONV1D(Vj)， K_j＝CONV1D(Kj)
を生成する。
【0072】
次いで、Attention部１３２ｈは、対象画像Ｂの更新された記述子に対し、グラフ生成部１２から入力されたクロスアテンション用エッジBεcros
(l)を用いたクロスアテンション処理を実施し、次式
（１２） mε→i＝Σj:(i,j)∈Bεcros(l)V_j×Softmaxj(Q_i, K_j)
によってメッセージ（記述情報）mε→iを算出するのである。ここでΣj:(i,j)∈Bεcros(l)は、(i, j)がBεcros (l)の要素となるようなjについての総和である。
（１２） mε→i＝Σj:(i,j)∈Bεcros(l)V_j×Softmaxj(Q_i, K_j)
によってメッセージ（記述情報）mε→iを算出するのである。ここでΣj:(i,j)∈Bεcros(l)は、(i, j)がBεcros (l)の要素となるようなjについての総和である。
【0073】
以上、記述子更新部１３のセルフアテンション処理部１３１及びクロスアテンション処理部１３２について詳細に説明を行った。ここで、記述子更新処理として、セルフアテンション処理部１３１によるセルフアテンション処理と、クロスアテンション処理部１３２によるクロスアテンション処理との処理ペアとしての「ＧＡＴ処理」を１回だけ実施することも可能である。
【0074】
しかしながらより記述性の高い記述子を生成するべく、本実施形態では、クロスアテンション処理済みの更新された記述子をセルフアテンション処理部１３１に受け取らせて、当該処理ペアとしての「ＧＡＴ処理」をL（≧2）回、実施するのである。なおこの場合、上述したAεself
(l)やx_i(l)等の上添え字(l)のlは、1以上であってL以下の整数（l＝1, 2, ・・・, L）となる。
【0075】
具体的には、１回目（l＝1）の処理終了後、
（ａ）クロスアテンション処理部１３２の加算器１３２ｆからの出力（クロスアテンション処理済みの元画像Ａの記述子）を、セルフアテンション処理部１３１のConv1D部１３１ａへ入力し、またクロスアテンション処理部１３２の加算器１３２ｌからの出力（クロスアテンション処理済みの対象画像Ｂの記述子）を、セルフアテンション処理部１３１のConv1D部１３１ｇへ入力して再度、セルフアテンション処理を実施し、
（ｂ）その後、セルフアテンション処理部１３１の加算器１３１ｆからの出力（セルフアテンション処理済みの元画像Ａの記述子）と、加算器１３１ｌからの出力（セルフアテンション処理済みの対象画像Ｂの記述子）とを、クロスアテンション処理部１３２のConv1D部１３２ａ及びConv1D部１３２ｇへ入力して再度、クロスアテンション処理を実施し、
これら（ａ）及び（ｂ）の処理を少なくとも１回（２回目以降分として(L－1)回）繰り返すのである。
（ａ）クロスアテンション処理部１３２の加算器１３２ｆからの出力（クロスアテンション処理済みの元画像Ａの記述子）を、セルフアテンション処理部１３１のConv1D部１３１ａへ入力し、またクロスアテンション処理部１３２の加算器１３２ｌからの出力（クロスアテンション処理済みの対象画像Ｂの記述子）を、セルフアテンション処理部１３１のConv1D部１３１ｇへ入力して再度、セルフアテンション処理を実施し、
（ｂ）その後、セルフアテンション処理部１３１の加算器１３１ｆからの出力（セルフアテンション処理済みの元画像Ａの記述子）と、加算器１３１ｌからの出力（セルフアテンション処理済みの対象画像Ｂの記述子）とを、クロスアテンション処理部１３２のConv1D部１３２ａ及びConv1D部１３２ｇへ入力して再度、クロスアテンション処理を実施し、
これら（ａ）及び（ｂ）の処理を少なくとも１回（２回目以降分として(L－1)回）繰り返すのである。
【0076】
ここで、上記（ａ）におけるl番目のセルフアテンション処理においては、同じくクロスアテンション処理部１３２の加算器１３２ｆからの出力（(l－1)番目のクロスアテンション処理済みの元画像Ａの記述子）及び加算器１３２ｌからの出力（(l－1)番目のクロスアテンション処理済みの対象画像Ｂの記述子）を受け取ったグラフ生成部１２から出力されるセルフアテンション用エッジ（Aεself
(l)，Bεself
(l)）が使用される。
【0077】
また、上記（ｂ）におけるl番目のクロスアテンション処理においても、同様にしてグラフ生成部１２から出力されるクロスアテンション用エッジ（Aεcros
(l)，Bεcros
(l)）が使用される。すなわち、本実施形態では、更新された記述子をグラフ生成部１２に受け取らせて、グラフ生成部１２によるグラフ（エッジ）を更新する処理と、記述子更新部１３（セルフアテンション処理部１３１及びクロスアテンション処理部１３２）による、更新されたグラフ（エッジ）を用いて更新された記述子をさらに生成する処理との処理ペアを少なくとも１回（L－1)回）、追加して実施するのである。
【0078】
これにより、繰り返し更新されたキーポイント（ノード）の位置関係やその周囲の状況の一致の度合いに係る情報が更新エッジ情報として逐次埋め込まれた、より記述性の高い且つミスマッチの原因となる情報が適宜取り除かれた記述子を生成することもできるのである。さらに、このような記述子を用いて画像マッチング処理を行うことによって、より精度の高い且つより多くの真にマッチしたキーポイントを含む画像マッチング結果を得ることが可能となる。
【0079】
また、セルフアテンション処理部１３１及びクロスアテンション処理部１３２はいずれも、（上式（７）に示した）安定化バイアス項を用いた記述子更新処理を実施する場合、２回目（l＝2）以降の各回において、１つ前の回で生成された更新された記述子x_i(l-1)と、初回で生成された更新された記述子x_i(1)である（又は予め設定された）安定化バイアス項x_ibiasと、生成されたメッセージ（記述情報）mε→iとを用いて、当該回の更新された記述子x_i(l)を生成する。その結果、動的に更新処理の繰り返される中、更新された記述子x_i(l)の導出をより安定させ、これにより信頼性の高い最終的な出力（x_i(L)）を得ることも可能となるのである。
【0080】
いずれにしても、記述子更新部１３（画像記述子更新モデル１）は、最終的に更新された記述子群（AD*，BD*）を出力する。これらは、記述性のより高い、元画像Ａと対象画像Ｂとの好適な画像マッチングを実現可能な記述子となっているのである。
【0081】
また、以上説明したように、記述子更新部１３（画像記述子更新モデル１）は、従来その膨大な計算コストが問題となっていたトランスフォーマに頼ることなく、比較的小さな計算コストで済むＧＡＴ処理を用いた記述子の更新を実現している。また、そのために、ＧＡＴ処理用のグラフを、グラフ生成部１２にて予め別に生成しているのである。これにより、計算コストのより抑えられた記述子更新処理を実施することが可能となる。
【0082】
ちなみに、画像記述子更新モデル１、特に記述子更新部１３の訓練は、出力（更新）された記述子の損失関数を用いて、通常の誤差逆伝播に準じた手法に従い、例えば上式（７）のα(l)及びβ(l)や繰り返し回数Lも含めた各種パラメータの学習を行うことによって、実施可能となっている。なお、繰り返し回数Lは、学習対象とせず、予め設定された値とすることも可能である。
【0083】
［画像記述子更新方法］
図３は、本発明による画像記述子更新方法の一実施形態における概略を示すフローチャートである。以下、本方法のステップＳ１０１～Ｓ１０６における処理の流れを説明する。
図３は、本発明による画像記述子更新方法の一実施形態における概略を示すフローチャートである。以下、本方法のステップＳ１０１～Ｓ１０６における処理の流れを説明する。
【0084】
（Ｓ１０１）元画像Ａ及び対象画像Ｂのキーポイント群（AK，BK）及び記述子群（AD，BD）を、外部から取得する。
（Ｓ１０２）取得されたこれらの画像特徴量を用いてキーポイントマッチング処理を実施する。
（Ｓ１０２）取得されたこれらの画像特徴量を用いてキーポイントマッチング処理を実施する。
【0085】
次いで以下、ステップＳ１０３～Ｓ１０５を所定回数（L回）繰り返すグラフ生成・記述子更新処理を実施する。ちなみに、この所定回数を、例えば4～8回（4≦L≦8）とすることによって、良好な結果の得られることが確認されている。
（Ｓ１０３）初回はステップＳ１０２のキーポイントマッチング結果を用い、２回目以降は後述するステップＳ１０５の処理結果（更新された記述子）を用い、元画像Ａ及び対象画像Ｂの各々について、セルフアテンション用エッジを含むセルフアテンション用グラフ、及びクロスアテンション用エッジを含むクロスアテンション用グラフを生成する。
（Ｓ１０３）初回はステップＳ１０２のキーポイントマッチング結果を用い、２回目以降は後述するステップＳ１０５の処理結果（更新された記述子）を用い、元画像Ａ及び対象画像Ｂの各々について、セルフアテンション用エッジを含むセルフアテンション用グラフ、及びクロスアテンション用エッジを含むクロスアテンション用グラフを生成する。
【0086】
（Ｓ１０４）生成されたセルフアテンション用グラフを用いて、元画像Ａ及び対象画像Ｂの各々の記述子に対し、セルフアテンション処理を実施する。
（Ｓ１０５）セルフアテンション処理済みの元画像Ａ及び対象画像Ｂの各々の記述子に対し、クロスアテンション処理を実施し、更新された記述子を生成する。
（Ｓ１０５）セルフアテンション処理済みの元画像Ａ及び対象画像Ｂの各々の記述子に対し、クロスアテンション処理を実施し、更新された記述子を生成する。
【0087】
（Ｓ１０６）所定回数（L回）終了後のステップＳ１０５において生成された更新された記述子を、元画像Ａ及び対象画像Ｂの更新された記述子群（AD*，BD*）として出力する。
【0088】
［画像マッチング装置・プログラム］
図１に戻って、同図の下部に示した本実施形態の画像マッチング装置９は、
（ａ）画像マッチング対象である元画像Ａ及び対象画像Ｂを取り入れる入力部９１と、
（ｂ）取り入れられた元画像Ａ及び対象画像Ｂの各々から、キーポイント群（AK，BK）及び記述子群（AD，BD）を抽出する画像特徴量抽出部９２と、
（ｃ）以上に詳細に説明した画像記述子更新モデル１を用いて、抽出された記述子群（AD，BD）を更新し、更新された記述子群（AD*，BD*）を出力する画像記述子更新部９３と、
（ｄ）抽出されたキーポイント群（AK，BK）及び更新された記述子群（AD*，BD*）を用いて、元画像Ａ及び対象画像Ｂの画像マッチング処理を実施する画像マッチング部９４と、
（ｅ）上記（ｄ）の画像マッチング結果（マッチするキーポイントの組）を外部に提供する出力部９５と
を有している。
図１に戻って、同図の下部に示した本実施形態の画像マッチング装置９は、
（ａ）画像マッチング対象である元画像Ａ及び対象画像Ｂを取り入れる入力部９１と、
（ｂ）取り入れられた元画像Ａ及び対象画像Ｂの各々から、キーポイント群（AK，BK）及び記述子群（AD，BD）を抽出する画像特徴量抽出部９２と、
（ｃ）以上に詳細に説明した画像記述子更新モデル１を用いて、抽出された記述子群（AD，BD）を更新し、更新された記述子群（AD*，BD*）を出力する画像記述子更新部９３と、
（ｄ）抽出されたキーポイント群（AK，BK）及び更新された記述子群（AD*，BD*）を用いて、元画像Ａ及び対象画像Ｂの画像マッチング処理を実施する画像マッチング部９４と、
（ｅ）上記（ｄ）の画像マッチング結果（マッチするキーポイントの組）を外部に提供する出力部９５と
を有している。
【0089】
ここで、画像特徴量抽出部９２、画像記述子更新部９３及び画像マッチング部９４は、本発明による画像マッチング方法の一実施形態を実施する主要機能構成部であり、さらに、本発明による画像マッチングプログラムの一実施形態を保存したプロセッサ・メモリの機能となっている。またこのことから、画像マッチング装置９は、画像マッチング処理の専用装置であってもよいが、本発明による画像マッチングプログラムを搭載した、例えばクラウドサーバ、非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等とすることも可能である。
【0090】
さらに、入力部９１は、例えば通信機能を備えていて外部の情報処理装置、例えばカメラ画像管理サーバ等から元画像Ａ及び対象画像Ｂを受信するものであってもよく、または、ユーザが直接元画像Ａ及び対象画像Ｂを入力可能なＵＳＢ（Universal Serial Bus）等のインタフェースとすることもできる。また、出力部９５も、例えば通信機能を備えていて外部の情報処理装置、例えば画像提供元のカメラ画像管理サーバ等へ画像マッチング結果を送信するものとすることができ、または、画像マッチング結果を表示可能なディスプレイであってもよい。
【0091】
また、画像特徴量抽出部９２は、元画像Ａ及び対象画像Ｂから、SIFTやSuperPointといったような公知の画像特徴量を抽出するものとすることができ、または、エンドツーエンドの学習済みＤＮＮ（Deep Neural Network）を用いてキーポイント群（AK，BK）及び記述子群（AD，BD）を生成（抽出）するものであってよい。
【0092】
さらに、画像マッチング部９４は本実施形態において、抽出されたキーポイント群（AK，BK）及び更新された記述子群（AD*，BD*）を用い、軽量であって高速度のキーポイントマッチング手法、例えば最近傍マッチング法を実施して、元画像Ａ及び対象画像Ｂの画像マッチング結果（マッチするキーポイントの組）を出力する。このように、軽量で高速のキーポイントマッチング手法によっても、使用する記述子が、画像記述子更新モデル１で更新されたものであって記述性のより向上した記述子となっているので、より高い精度の画像マッチングを実施することが可能となるのである。
【0093】
例えば１つの典型例として、元画像Ａと対象画像Ｂとが、１つの建造物を互いに異なる視点から撮影したカメラ画像であって、光（日光）の当たり具合い、例えば陰影の具合いも互いに異なったものとなっている場合であっても、本実施形態の画像マッチング装置９によれば、このような両画像のマッチング処理を良好に実施することが可能となるのである。
【0094】
以上詳細に説明したように、本発明によれば、従来その膨大な計算コストが問題となっていたトランスフォーマに頼ることなく、比較的小さな計算コストで済むＧＡＴ処理を用いて記述子の更新を行うことができる。すなわち、本発明によれば、より計算コストの抑えられた機械学習ベースの画像マッチング処理を実現することになる記述子更新処理を実施することができる。またその結果、そのような画像マッチング処理も実施可能となるのである。さらにこれにより、例えばリアルタイムで画像検索、視覚的探索や、３Ｄ画像構築等を行う画像マッチングアプリケーションも提供可能となる。
【0095】
また、本発明による高精度の画像マッチング処理を、都市内に設置された多数の防犯カメラによる膨大な量のカメラ画像の解析に活かし、トラブル・犯罪発生の予測・検出や、さらには犯人の検挙等を促進することもできる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標１１「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することも可能となるのである。
【0096】
さらに、本発明による高精度の画像マッチング処理を、対象地域、特に農作地帯、森林地帯や、乾燥地帯の衛星写真や航空写真、さらには対象海域の衛星写真や航空写真の解析に活かし、そのような地域・海域における各種状態、例えば作物の生育状況、生態系の現状や、気候変動の影響の調査を行うこともできる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）における目標１３「気候変動とその影響に立ち向かうため、緊急対策を取る」、目標１４「海洋と海洋資源を保全し、持続可能な形で利用する」、及び目標１５「森林の持続可能な管理、砂漠化への対処、土地劣化の阻止および逆転、ならびに生物多様性損失の阻止を図る」に貢献することも可能となるのである。
【0097】
上述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0098】
１ 画像記述子更新モデル
１１ キーポイントマッチング部
１２ グラフ生成部
１３ 記述子更新部
１３１ セルフアテンション処理部
１３１ａ、１３１ｇ、１３２ａ、１３２ｇ Conv1D部
１３１ｂ、１３１ｈ、１３２ｂ、１３２ｈ Attention部
１３１ｃ、１３１ｉ、１３２ｃ、１３２ｉ Concatenation部
１３１ｄ、１３１ｊ、１３２ｄ、１３２ｊ ＭＬＰ部
１３１ｅ、１３１ｋ、１３２ｅ、１３２ｋ Memory部
１３１ｆ、１３１ｌ、１３２ｆ、１３２ｌ 加算器
１３２ クロスアテンション処理部
９ 画像マッチング装置
９１ 入力部
９２ 画像特徴量抽出部
９３ 画像記述子更新部
９４ 画像マッチング部
９５ 出力部
１１ キーポイントマッチング部
１２ グラフ生成部
１３ 記述子更新部
１３１ セルフアテンション処理部
１３１ａ、１３１ｇ、１３２ａ、１３２ｇ Conv1D部
１３１ｂ、１３１ｈ、１３２ｂ、１３２ｈ Attention部
１３１ｃ、１３１ｉ、１３２ｃ、１３２ｉ Concatenation部
１３１ｄ、１３１ｊ、１３２ｄ、１３２ｊ ＭＬＰ部
１３１ｅ、１３１ｋ、１３２ｅ、１３２ｋ Memory部
１３１ｆ、１３１ｌ、１３２ｆ、１３２ｌ 加算器
１３２ クロスアテンション処理部
９ 画像マッチング装置
９１ 入力部
９２ 画像特徴量抽出部
９３ 画像記述子更新部
９４ 画像マッチング部
９５ 出力部
【図1】
【図2】
【図3】