特許 7417504 類似画像差分抽出装置、類似画像差分抽出方法、プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-10

(45)【発行日】2024-01-18

(54)【発明の名称】類似画像差分抽出装置、類似画像差分抽出方法、プログラム及び記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240111BHJP

【ＦＩ】

G06T7/00 300F

【請求項の数】 11

(21)【出願番号】P 2020177786

(22)【出願日】2020-10-23

(65)【公開番号】P2022068941

(43)【公開日】2022-05-11

【審査請求日】2023-02-03

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】中山 晃治

(72)【発明者】

【氏名】西田 康二

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２００６－３３１４６０（ＪＰ，Ａ）

【文献】特開平１１－３１２２４８（ＪＰ，Ａ）

【文献】特開２００５－００４６１２（ＪＰ，Ａ）

【文献】特開２００２－３０４４１５（ＪＰ，Ａ）

【文献】特開２０１２－１４６２２１（ＪＰ，Ａ）

【文献】特開２０１２－０７９１８６（ＪＰ，Ａ）

【文献】特開２００９－２５１６６７（ＪＰ，Ａ）

【文献】特開２００９－０８６７６２（ＪＰ，Ａ）

【文献】特開２００６－３３８３１３（ＪＰ，Ａ）

【文献】特開２００３－１８７２８９（ＪＰ，Ａ）

【文献】特開平０８－１８０１７６（ＪＰ，Ａ）

【文献】国際公開第２０１２／１１１２３６（ＷＯ，Ａ１）

【文献】国際公開第２００７／０６９３９３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｆ １６／５０

(57)【特許請求の範囲】

【請求項1】

複数の対象画像のそれぞれの特徴を示す特徴マップである複数の対象特徴マップを生成する特徴抽出部と、
各対象特徴マップの位置ごとの類似度を示す類似度マップを生成する類似度算出部と、
前記類似度マップに応じた差分抽出画像を生成する画像処理部と、
複数の指定画像に対して幾何学的な差異を補正する画像レジストレーション処理を行って前記対象画像を生成する画像レジストレーション部と、を有し、
前記画像レジストレーション部は、
前記複数の指定画像のそれぞれの特徴マップである複数の指定特徴マップを生成する指定特徴抽出部と、
各指定特徴マップに基づいて、複数の画像の幾何学的な差異を補正するための変換モデルの変換パラメータを推定するパラメータ推定部と、
前記変換パラメータを用いて前記画像レジストレーション処理を行う実行部と、を有する、類似画像差分抽出装置。

【請求項2】

前記特徴抽出部は、画像の特徴マップを生成する学習モデルを用いて、前記対象特徴マップを生成する、請求項１に記載の類似画像差分抽出装置。

【請求項3】

前記指定特徴抽出部は、画像の特徴マップを生成する学習モデルを用いて、前記指定特徴マップを生成する、請求項１に記載の類似画像差分抽出装置。

【請求項4】

前記特徴抽出部は、画像の特徴マップを生成する学習モデルを用いて、前記対象特徴マップを生成し、
前記指定特徴抽出部が用いる学習モデルと前記特徴抽出部が用いる学習モデルとは、同じモデルである、請求項３に記載の類似画像差分抽出装置。

【請求項5】

ランダムに生成した前記変換パラメータである第１の変換パラメータと、第１の学習用画像と当該第１の学習用画像を前記第１の変換パラメータで変換した第２の学習用画像とを前記複数の指定画像としたときに前記画像レジストレーション部にて推定される前記変換パラメータである第２の変換パラメータと、の差を示す損失値に基づいて、前記学習モデルを構築する学習管理部をさらに有する、請求項３に記載の類似画像差分抽出装置。

【請求項6】

ランダムに生成した前記変換パラメータである第１の変換パラメータと、第１の学習用画像と当該第１の学習用画像に対して予め対応付けられた対応類似画像を前記第１の変換パラメータで変換した第２の学習用画像とを前記複数の指定画像としたときに前記画像レジストレーション部にて推定される前記変換パラメータである第２の変換パラメータと、
の差を示す損失値に基づいて、前記学習モデルを構築する学習管理部をさらに有する、請求項３に記載の類似画像差分抽出装置。

【請求項7】

前記特徴抽出部は、前記複数の対象画像のそれぞれについて、当該対象画像を分割した複数の部分画像のそれぞれの特徴を示す特徴マップである部分特徴マップを生成し、各部分特徴マップの位置関係が当該部分特徴マップに対応する各部分画像の位置関係と同じになるように、各部分特徴マップを結合して、前記対象特徴マップを生成する、請求項１に記載の類似画像差分抽出装置。

【請求項8】

前記差分抽出画像は、前記類似度マップの各値を色又は濃淡で表したヒートマップ画像である、請求項１に記載の類似画像差分抽出装置。

【請求項9】

類似画像差分抽出装置による類似画像差分抽出方法であって、
複数の指定画像に対して幾何学的な差異を補正する画像レジストレーション処理を行って複数の対象画像を生成し、
前記複数の対象画像のそれぞれの特徴を示す特徴マップである複数の対象特徴マップを生成し、
各対象特徴マップの位置ごとの類似度を示す類似度マップを生成し、
前記類似度マップに応じた差分抽出画像を生成し、
前記対象画像の生成では、
前記複数の指定画像のそれぞれの特徴マップである複数の指定特徴マップを生成し、
各指定特徴マップに基づいて、複数の画像の幾何学的な差異を補正するための変換モデルの変換パラメータを推定し、
前記変換パラメータを用いて前記画像レジストレーション処理を行う、類似画像差分抽出方法。

【請求項10】

コンピュータに、
複数の指定画像に対して幾何学的な差異を補正する画像レジストレーション処理を行って複数の対象画像を生成する手順と、
前記複数の対象画像のそれぞれの特徴を示す特徴マップである複数の対象特徴マップを生成する手順と、
各対象特徴マップの位置ごとの類似度を示す類似度マップを生成する手順と、
前記類似度マップに応じた差分抽出画像を生成する手順と、を実行させ、
前記対象画像を生成する手順は、
前記複数の指定画像のそれぞれの特徴マップである複数の指定特徴マップを生成する手順と、
各指定特徴マップに基づいて、複数の画像の幾何学的な差異を補正するための変換モデルの変換パラメータを推定する手順と、
前記変換パラメータを用いて前記画像レジストレーション処理を行う手順と、を含む、プログラム。

【請求項11】

請求項１０に記載のプログラムを記録した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、類似画像差分抽出装置に関する。

【背景技術】

【0002】

近年、ユーザが指定した画像と類似する類似画像を検索する類似画像検索技術が注目されている。例えば、製造業などの分野では、製品の設計を行う際に、設計図面と類似する図面を検索することで、過去に設計した図面を参照することができ、製品設計及びその見積などの効率化を図ることが可能となる。

【0003】

また、類似画像検索技術では、更なる効率化のために、指定された画像と検索された類似画像との差分を直感的に把握できるようにする技術が望まれている。

【0004】

これに対して特許文献１には、２つの画像のそれぞれに対して所定のバイナリー記述子を算出し、それらのバイナリー記述子に基づいて、各画像のオブジェクトの位置、サイズ、角度及び歪みなどの差異を補正して、各画像を比較しやすいように変形する画像レジストレーションの方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－２８８９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１では、２つの画像を比較しやすいように変形しているだけなので、ユーザはそれらを目視で比較して差分を特定しなければならず、差分を把握する効率は十分とはいえない。また、特許文献１には、ユーザがバイナリー記述子の種類を画像に応じて指定しなければならないという問題点もある。

【0007】

本開示の目的は、画像間の差分を効率よく把握することが可能な類似画像差分抽出装置、類似画像差分抽出方法、プログラム及び記録媒体を提供することにある。

【課題を解決するための手段】

【0008】

本開示の一態様に従う類似画像差分抽出装置は、複数の対象画像のそれぞれの特徴を示す特徴マップである複数の対象特徴マップを生成する特徴抽出部と、各対象特徴マップの位置ごとの類似度を示す類似度マップを生成する類似度算出部と、前記類似度マップに応じた差分抽出画像を生成する画像処理部と、を有する。

【発明の効果】

【0009】

本発明によれば、画像間の差分を効率よく把握することが可能になる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態による類似画像差分抽出システムを示す図である。

【図2】画像レジストレーションモデルの一例を示す図である。

【図3】画像特徴抽出モデルの一例を示す図である。

【図4】変換パラメータ回帰モデルの一例を示す図である。

【図5】画像レジストレーション部の動作の一例を説明するための図である。

【図6】画像レジストレーション部の動作の一例を説明するためのフローチャートである。

【図7】画像差分抽出モデルの一例を示す図である。

【図8】画像差分抽出部の動作の動作の一例を説明するためのフローチャートである。

【図9】画像差分抽出部フローを示す図である。

【図10】類似画像差分抽出システム全体の動作の一例を説明するためのフローチャートである。

【図11】類似検索結果の一例を示す図である。

【図12】画像レジストレーション処理の結果の一例を示す図である。

【図13】画像差分抽出処理の結果の一例を示す図である。

【図14】分割画像差分抽出処理の一例を説明するためのフローチャートである。

【図15】分割画像差分抽出処理の結果の一例を示す図である。

【図16】学習処理の一例を説明するためのフローチャートである。

【図17】学習処理の他の例を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態について図面を参照して説明する。

【0012】

＜システム構成＞
図１は、本開示の一実施形態による類似画像差分抽出システムを示す図である。図１に示すように類似画像差分抽出システムは、利用者端末１００と、画像処理サーバ１０４とを有する。利用者端末１００及び画像処理サーバ１０４は、ネットワーク１１１を介して、互いに通信可能に接続される。

【0013】

＜利用者端末＞
利用者端末１００は、入出力部１０１と、端末管理部１０２と、ネットワーク部１０３とを備える。利用者端末１００は、例えば、汎用的なＰＣ（Personal Computer）などで構成できる。

【0014】

＜入出力部＞
入出力部１０１は、例えば、マウス、キーボード及びディスプレイなどのユーザインターフェース装置で構成される。入出力部１０１は、ユーザから画像処理コマンドを受け付ける機能と、画像処理コマンドに応じた応答情報を表示する機能とを有する。応答情報は、例えば、ブラウザのようなアプリケーションプログラムを用いて表示される。

【0015】

＜端末管理部＞
端末管理部１０２は、入出力部１０１が受け付けた画像処理コマンドを、ネットワーク部１０３を介して画像処理サーバ１０４に送信する機能と、画像処理サーバ１０４からの応答情報を、ネットワーク部１０３を介して受信する機能とを有する。画像処理コマンドの送信及び応答情報の受信は、ここでは、ブラウザのようなアプリケーションプログラムを用いて、ＨＴＴＰなどのプロトコルにて行われるが、別の方法でもよい。なお、ネットワーク部１０３は、画像処理サーバ１０４と通信可能に接続する通信機能を有する通信部である。

【0016】

上記の画像処理コマンドは、本実施形態では、画像検索コマンド、画像レジストレーションコマンド、差分抽出コマンド及び学習実行コマンドを含む。

【0017】

＜画像検索コマンド＞
画像検索コマンドは、ユーザが指定したクエリ画像と類似する類似画像の検索である画像検索処理の実行を指示するコマンドである。画像検索処理では、複数の類似画像が検索されてもよい。

【0018】

＜画像レジストレーションコマンド＞
画像レジストレーションコマンドは、クエリ画像と類似画像とを含む画像群から指定された複数の指定画像に対する画像レジストレーション処理の実行を指示するコマンドである。画像レジストレーションについては、後述する。本実施形態では、複数の指定画像として２つの指定画像を例示するが、指定画像が３つ以上の場合でも適用可能である。

【0019】

＜差分抽出コマンド＞
差分抽出コマンドは、複数の対象画像間の差分を抽出して可視化する画像差分抽出処理の実行を指示するコマンドである。本実施形態では、複数の対象画像として２つの対象画像を例示するが、対象画像が３つ以上の場合でも適用可能である。また、その２つ対象画像は、画像レジストレーション処理が実行された２つの指定画像である。なお、類似画像差分抽出システムは、画像レジストレーションコマンドと差分抽出コマンドとを自動的に連続して実行する連続モードと、それらのコマンドをユーザの指示に従って独立して実行する個別モードとを有し、ユーザがそれらのモードのいずれかを設定できる構成でもよい。本実施形態では、個別モードが設定されているものとする。

【0020】

＜学習実行コマンド＞
学習実行コマンドは、画像レジストレーション処理及び画像差分抽出処理で使用される学習モデルを構築する学習処理の実行を指示するコマンドである。学習モデルについては、後述する。

【0021】

＜画像処理サーバ＞
画像処理サーバ１０４は、利用者端末１００からの画像処理コマンドに応じた種々の処理を行う類似画像差分抽出装置であり、サーバ管理部１０５、画像検索部１０６、画像レジストレーション部１０７、画像差分抽出部１０８、ネットワーク部１０９、及び、画像データベース１１０を有する。なお、以下で説明する画像処理サーバ１０４の各部が行う処理は、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラムを実行することで実現されてもよい。また、プログラムは、例えば、半導体メモリ、磁気ディスク、光ディスク、磁気テープ及び光磁気ディスクなどのような、非一時的にデータを記憶する記録媒体１１２に記録させることもできる。なお、記録媒体１１２は、図１では、画像処理サーバ１０４とは別に設けられているが、画像処理サーバ１０４内に備わっていてもよい。

【0022】

＜サーバ管理部＞
サーバ管理部１０５は、利用者端末１００からネットワーク部１０９を介して画像処理コマンドを受信し、その画像処理コマンドに従って、画像検索部１０６、画像レジストレーション部１０７及び画像差分抽出部１０８に種々の処理を実行させる機能を有する。また、サーバ管理部１０５は、画像検索部１０６、画像レジストレーション部１０７及び画像差分抽出部１０８の処理結果を応答情報として、ネットワーク部１０９を介して利用者端末１００に送信する機能を有する。また、サーバ管理部１０５は、学習処理を実行して学習モデルを構築する学習管理部としての機能も有する。

【0023】

＜画像検索部＞
画像検索部１０６は、画像検索コマンドに従って、ユーザが指定したクエリ画像と類似する類似画像を画像データベース１１０から検索する画像検索処理を実行する機能を有する。画像データベース１１０は、複数の画像を予め記憶している。なお、画像データベース１１０は、画像処理サーバ１０４とは別のストレージ装置などに搭載されていてもよい。また、画像検索処理の具体的な方法については、種々の公知技術が存在するため、その詳細な説明は省略する。

【0024】

＜画像レジストレーション部＞
画像レジストレーション部１０７は、クエリ画像と画像検索部１０６にて検索された類似画像とを含む画像群の中から指定された２つの指定画像に対して画像レジストレーション処理を実行する機能を有する。画像レジストレーション処理は、２つの画像の間に存在する幾何学的な変換モデルを推定し、その変換モデルを用いて各画像間のサイズ、位置、角度及び歪みなどの幾何学的な差異を補正する処理である。画像レジストレーション処理を行うことで、２つの画像の差異の抽出が容易となる。

【0025】

本実施形態では、画像レジストレーション部１０７は、一般的な画像処理による特徴量の算出とマッピングとを用いた変換モデルの推定を行わず、学習モデル（具体的には、ニューラルネットワークを用いた機械学習モデル）による変換モデルの推定を行う。以下、画像レジストレーション部１０７が使用する学習モデルを画像レジストレーションモデルと呼ぶこともある。

【0026】

＜画像差分抽出部＞
画像差分抽出部１０８は、画像レジストレーション部１０７による画像レジストレーション処理が行われた２つの指定画像を対象画像として、それらの対象画像の差異を抽出して可視化する画像差分抽出処理を実行する機能を有する。本実施形態では、画像差分抽出部１０８は、画像レジストレーション部１０７と同様に、学習モデルとしてニューラルネットワークを用いた機械学習モデルを用いて、画像差分抽出処理を実行する。以下、画像差分抽出部１０８が使用する機械学習モデルを画像差分抽出モデルと呼ぶこともある。

【0027】

以下、画像レジストレーション部１０７についてより詳細に説明する。

【0028】

＜画像レジストレーションモデル＞
図２は、画像レジストレーション部１０７が使用する画像レジストレーションモデルの一例を示す図である。図２に示す画像レジストレーションモデル２００は、画像特徴抽出モデル２０１ａ及び２０１ｂと、変換パラメータ回帰モデル２０２と、特徴関連性マップ算出部２０３とを有する。また、画像レジストレーション部１０７は、画像レジストレーションモデルの処理結果に基づいて、画像レジストレーション処理を実際に実行する実行部２０４を有する。

【0029】

画像レジストレーションモデル２００は、２つの指定画像を入力とし、その２つの指定画像に対して画像レジストレーション処理を実行するための変換モデルのパラメータである変換パラメータを推定する。変換モデルは、例えば、アフィン変換モデル又はホモグラフィ変換モデルなどである。画像レジストレーション処理では、変換モデルを用いて画像の拡大縮小、回転及び平行移動などの変形を行うことで、２つの指定画像の幾何学的な差異を補正することが可能となる。なお、２つの指定画像の一方が画像特徴抽出モデル２０１ａに入力され、他方が画像特徴抽出モデル２０１ａに入力される。

【0030】

＜画像特徴抽出モデル＞
図３は、画像特徴抽出モデルの一例を示す図である。画像特徴抽出モデル２０１ａ及び２０１ｂは、入力された２つの指定画像のそれぞれの特徴を示す２つの特徴マップである指定特徴マップを生成する指定特徴抽出部を構成する。また、画像特徴抽出モデル２０１ａ及び２０１ｂは、同一のモデルであり、図３では、画像特徴抽出モデル３００として示されている。

【0031】

図３に示す画像特徴抽出モデル３００は、入力された指定画像から、その指定画像の特徴を示す指定特徴マップを算出するための学習モデルである。画像特徴抽出モデル３００は、例えば、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）のようなニューラルネットワークにて実現することが可能である。指定画像は、ここでは、横幅成分（水平画素成分）と縦幅成分（垂直画素成分）と色成分とを含む３階のテンソルで表されるとする。また、横幅成分と縦幅成分とで示される位置を画素位置、横幅（横幅成分の数）及び縦幅（縦幅成分の数）を画像サイズ、色成分ｃをチャネル、色成分の数をチャネル数と呼ぶこともある。

【0032】

画像特徴抽出モデル３００は、畳み込み層（図では、Convと表記）３０２とプーリング層（図では、Poolと表記）３０３とを含む処理層３０１を複数備える。複数の処理層３０１は互いに直列に接続される。各処理層３０１の畳み込み層３０２は、入力テンソルに対して畳み込み処理を行い、プーリング層３０３は、前段の畳み込み層３０２の出力テンソルに対して画像サイズを削減するプーリング処理を行って入力テンソルの特徴を示す特徴マップとして処理層３０１から出力する。処理層３０１から出力される特徴マップもテンソルである。ここでは、入力テンソルは、各処理層３０１において、チャネル数が入力前の２倍となり、画像サイズが入力前の１／２倍となって出力されるものとするが、この例に限定されない。ただし、最前段の処理層３０１では、チャネル数が入力前の２倍とはならない。

【0033】

なお、各処理層３０１は、複数の畳み込み層３０２を備え、畳み込み処理を複数回行ってもよいが、ここでは、畳み込み層３０２は１つだけであるとしている。また、処理層３０１は、図３では、２つ示されているが、本実施形態では、４つあるとする。ただし、処理層３０１の数は４つに限定されない。また、畳み込み処理の後に、一般的なニューラルネットワークと同様に、バッチノーマライゼーション処理又は活性化関数（例えば、ランプ関数）処理などの後処理が行われてもよい。

【0034】

＜特徴関連性マップ算出部＞
図２の特徴関連性マップ算出部２０３は、画像特徴抽出モデル２０１ａ及び２０１ｂのそれぞれから出力された指定特徴マップの内積を算出して、指定特徴マップ間の関連性を示す特徴関連性マップとして出力する演算部である。

【0035】

＜変換パラメータ回帰モデル＞
図４は、変換パラメータ回帰モデル２０２の一例を示す図である。変換パラメータ回帰モデル２０２は、特徴関連性マップ算出部２０３から出力された特徴関連性マップに基づいて、変換モデルのパラメータである変換パラメータを推定するモデルである。

【0036】

ここでは、変換モデルを、アフィン変換を行うアフィン変換モデルとする。アフィン変換は、平行移動と線形変換をと組み合わせた変換である。線形変換とは、画像の拡大縮小、剪断及び回転を含む変換である。同次座標系を用いると、アフィン変換の変換行列は、以下の数式（１）で表される。

【数1】

数式（１）は、画像の（Ｘ，Ｙ）座標の点がアフィン変換により（Ｘ’、Ｙ’）の点に変換されることを示す。また、数（１）のａ，ｂ，ｔ_ｘ，ｃ，ｄ及びｔ_ｙが変換パラメータである。なお、推定する変換パラメータを変更することでホモグラフィ変換モデルなどの他の変換モデルに適用することができる。

【0037】

変換パラメータ回帰モデル４００は、畳み込み層（図では、Convと表記）４０２とプーリング層（図では、Poolと表記）４０３とを含む処理層４０１と、ＦＣ（Fully Conneted）層４０４とを含む。処理層４０１は、複数あり、それらの処理層４０１は互いに直接に接続される。ＦＣ層４０４は、最終層として最後段の処理層４０１の後に設けられる。

【0038】

各処理層４０１では、畳み込み層４０２が入力テンソルに対して畳み込み処理を行い、プーリング層４０３が畳み込み層４０２の出力テンソルに対してプーリング処理を行って特徴マップとして出力する。ここでは、入力テンソルは、各処理層４０１において、チャネル数が入力前の２倍となり、画像サイズが入力前の１／２倍となって出力されるものとするが、この例に限定されない。ただし、最前段の処理層４０１では、チャネル数が入力前の２倍とはならない。

【0039】

なお、各処理層４０１は、複数の畳み込み層４０２を備え、畳み込み処理を複数回行ってもよいが、ここでは、畳み込み層４０２は１つだけであるとしている。また、処理層４０１は、図４では、２つ示されているが、本実施形態では、４つあるとする。ただし、処理層４０１の数は４つに限定されない。また、畳み込み処理の後に上述した後処理が行われてもよい。

【0040】

ＦＣ層４０４は、最後段の処理層４０１から出力された特徴マップに対して全結合処理を行うことで、特徴マップを１次元の出力ベクトルに変換して出力する。出力ベクトルの各要素が変換モデルの変換パラメータと対応する。このため、出力ベクトルの要素の数は、変換モデルの変換パラメータの数と同じであり、ここでは、変換モデルとしてアフィン変換モデルを使用しているため、出力ベクトルの要素の数は６となる。

【0041】

以上説明した変換パラメータ回帰モデル２０２及び特徴関連性マップ算出部２０３が画像特徴抽出モデルにて生成された指定特徴マップに基づいて変換パラメータを推定するパラメータ推定部を構成する。

【0042】

＜実行部＞
実行部２０４は、変換パラメータ回帰モデル２０２からの出力ベクトルの要素に応じた変換パラメータに基づいて、２つの指定画像のいずれかに対してアフィン変換を実行することで、画像レジストレーション処理を実行する。

【0043】

＜画像レジストレーション部の動作＞
図５は、画像レジストレーション部１０７の動作の一例を説明するための図であり、図６は、画像レジストレーション部１０７の動作の一例を説明するためのフローチャートである。

【0044】

先ず、画像レジストレーション部１０７は、ユーザにて指定された２つの指定画像５０１ａ及び５０１ｂを受け付け、指定画像５０１ａを画像特徴抽出モデル２０１ａに入力し、指定画像５０１ｂを画像特徴抽出モデル２０１ｂに入力する（ステップＳ６００）。指定画像５０１ａ及び５０１ｂは、互いに類似しているとする。図５の「ｗ」、「ｈ」及び「ｃ」はそれぞれ、指定画像５０１ａ及び５０１ｂの横幅、縦幅及びチャネル数を表している。

【0045】

続いて、画像特徴抽出モデル２０１ａ及び２０１ｂは、指定画像５０１ａ及び５０１ｂに対して畳み込み層３０２による畳み込み処理とプーリング層３０３によるプーリング処理とを４回繰り返し実行し、指定特徴マップ５０２ａ及び５０２ｂを生成する（ステップＳ６０１）。図５では、各処理層３０１によって、指定画像５０１ａ及び５０１ｂが画像サイズを半減させながら、チャネル数を２倍にしていく過程が直方体５１２ａ及び５１２ｂで示されている。

【0046】

そして、特徴関連性マップ算出部２０３は、画像特徴抽出モデル２０１ａ及び２０１ｂから出力された指定特徴マップ５０２ａ及び５０２ｂの内積を特徴関連性マップ５０３として算出する内積処理を行う（ステップＳ６０２）。

【0047】

ここで、指定特徴マップ５０２ａをｆ_ａ、指定特徴マップ５０２ｂをｆ_ｂとし、指定特徴マップｆ_ａ及びｆ_ｂの画素位置を表すインデックスを（ｉ，ｊ）及び（ｉ_ｋ，ｊ_ｋ）とし、
ｆ_ｂ（ｉ，ｊ）を指定特徴マップｆ_ｂの（ｉ，ｊ）成分の特徴ベクトル（色成分からなるベクトル）、ｆ_ａ（ｉ_ｋ，ｊ_ｋ）を指定特徴マップｆ_ａの（ｉ_ｋ，ｊ_ｋ）成分の特徴ベクトルとすると、特徴関連性マップ５０３であるｃ_ａｂ（ｉ，ｊ，ｋ）は、以下の式（２）から算出することができる。

【数2】

【0048】

式（２）において、「^Ｔ」はベクトルの転置、「・」はベクトルの内積を示す。したがって、特徴関連性マップｃ_ａｂ（ｉ，ｊ，ｋ）では、指定特徴マップｆ_ｂの（ｉ，ｊ）成分の特徴ベクトルと、指定特徴マップｆ_ａの（ｉ_ｋ，ｊ_ｋ）で表される画素位置の特徴ベクトルとの内積が（ｉ，ｊ，ｋ）成分となることを示す。換言すれば、特徴関連性マップｃ_ａｂ（ｉ，ｊ，ｋ）の（ｉ，ｊ）成分の特徴ベクトルは、指定特徴マップｆ_ｂの（ｉ，ｊ）成分が対応する指定画像５０１ａの画素領域と、指定画像５０２ｂ全体との関連性を示す。

【0049】

例えば、指定画像５０１ａが次元（ｗ，ｈ，ｃ）＝（２４０，２４０，３）のＲＧＢ画像の場合、画像特徴抽出モデル２０１ａでは、４つの処理層３０１により特徴マップの画像サイズは、元の指定画像５０１ａの画像サイズの１／１６となる。また、最前段の処理層３０１の出力テンソルのチャネル数を６４とすると、４つの処理層３０１にてチャネル数は、６４→１２８→２５６→５１２と変化する。このため、特徴マップｆ_ａ及びｆ_ｂは、それぞれ次元（ｗ，ｈ，ｃ）＝（１５，１５，５１２）となり、特徴関連性マップｃ_ａｂは（１５，１５，１５×１５）＝（１５，１５，２２５）次元のテンソルとなる。

【0050】

特徴関連性マップ５０３を算出すると、画像レジストレーション部１０７は、特徴関連性マップ５０３を変換パラメータ回帰モデル４００に入力する（ステップＳ６０３）。変換パラメータ回帰モデル４００は、入力された特徴関連性マップ５０３に対して畳み込み層４０２による畳み込み処理とプーリング層４０３によるプーリング処理とを４回繰り返し実行し、画像特徴マップ５０４を生成し、さらに画像特徴マップ５０４に対してＦＣ層４０４による全結合処理５１０を行い、６つの変換パラメータ５０５を生成する（ステップＳ６０４）。なお、ステップＳ６００～Ｓ６０４までの処理が画像レジストレーションモデルの処理である。

【0051】

さらに実行部２０４は、６つの変換パラメータ５０５に基づいて、画像５０１ａ及び５０１ｂのいずれかに対してアフィン変換を実行することで、画像レジストレーション処理を実行し（ステップＳ６０５）、処理を終了する。

【0052】

次に画像差分抽出部１０８による画像差分抽出処理ついてより詳細に説明する。

【0053】

＜画像差分抽出モデル＞
図７は、画像差分抽出部１０８で使用する画像差分抽出モデルの一例を示す図である。図７に示す画像差分抽出モデル７００は、画像特徴抽出モデル７０１ａ及び７０１ｂと、類似度算出部７０２と、画像処理部７０３とを備える。画像特徴抽出モデル７０１ａ及び７０１ｂは、画像レジストレーション部１０７が使用する画像レジストレーションモデルの画像特徴抽出モデル２０１ａ及び２０１ｂと同じモデルであり、入力された２つの対象画像のそれぞれの特徴を示す特徴マップである対象特徴マップを生成する特徴抽出部を構成する。

【0054】

類似度算出部７０２は、画像特徴抽出モデル７０１ａ及び７０１ｂで算出された２つの対象特徴マップ間の位置（具体的には、画素位置）ごとの類似度を示す類似度マップを生成する。本実施形態では、類似度は、コサイン類似度である。

【0055】

画像処理部７０３は、類似度算出部７０２にて算出された類似度マップに応じた差分抽出画像を生成する画像処理を行う。画像処理は、ここでは、差分抽出画像として、類似度マップの各値を色又は濃淡で表すヒートマップ画像を生成するヒートマップ化処理である。また、画像処理は、差分抽出画像を対象画像と同じサイズに拡大する処理を含んでもよい。

【0056】

＜画像差分抽出部の動作＞

【0057】

図８は、画像差分抽出部１０８の動作の一例を説明するための図であり、図９は、画像差分抽出部１０８の動作の一例を説明するためのフローチャートである。

【0058】

先ず、画像差分抽出部１０８は、ユーザにて指定された２つの対象画像８０１ａ及び８０１ｂを受け付け、対象画像８０１ａを画像特徴抽出モデル７０１ａに入力し、対象画像８０１ｂを画像特徴抽出モデル７０１ｂに入力する（ステップＳ９００）。対象画像８０１ａ及び８０１ｂは、画像レジストレーション部１０７により画像レジストレーション処理が行われた指定画像である。

【0059】

続いて、画像特徴抽出モデル７０１ａ及び７０１ｂは、対象画像８０１ａ及び８０１ｂに対して畳み込み層４０２による畳み込み処理とプーリング層４０３によるプーリング処理とを４回繰り返し実行し、対象特徴マップ８０２ａ及び８０２ｂを生成する（ステップＳ９０１）。図５では、各処理層３０１によって、対象画像８０１ａ及び８０１ｂが画像サイズを半減させながら、チャネル数を２倍にしていく過程が直方体８１２ａ及び８１２ｂで示されている。

【0060】

類似度算出部７０２は、画像特徴抽出モデル７０１ａ及び７０１ｂで算出された対象特徴マップ８０２ａ及び８０２ｂの間の類似度を示す類似度マップ８０３を算出する類似度算出処理を行う（ステップＳ９０２）。

【0061】

ここで、対象特徴マップ８０２ａをｇ_ａ、対象特徴マップ８０２ｂをｇ_ｂとし、対象特徴マップｇ_ａ及びｇ_ｂの画素位置を表すインデックスを（ｉ，ｊ）及び（ｉ_ｋ，ｊ_ｋ）とし、対象特徴マップｇ_ａ及びｇ_ｂの（ｉ，ｊ）成分の特徴ベクトルをｇ_ａ（ｉ，ｊ）及びｇ_ｂ（ｉ，ｊ）とすると、類似度マップ８０３であるＣ_ｓｉｍ（ｉ，ｊ）は、以下の式（３）から算出することができる。

【数3】

【0062】

式（３）において、「^Ｔ」はベクトルの転置、「・」はベクトルの内積、「｜｜」は、ベクトルのユークリッド距離を示す。したがって、類似度マップＣ_ｓｉｍ（ｉ，ｊ）では、画素位置（ｉ，ｊ）ごとに対象特徴マップｇ_ａ及びｇ_ｂのコサイン類似度が示されることとなる。なお、コサイン類似度はスカラ値であるため、類似度マップは、１チャネルのテンソル（画像）となる。また、コサイン類似度は、２つのベクトルがどの程度同じ向きを向いているかを示す指標であり、－１から１までの値を取る。コサイン類似度は、値が１に近づくほど、２つのベクトルが類似しており、－１に近づくほど、２つのベクトルが類似していないことを示す。

【0063】

類似度マップを算出すると、画像処理部７０３は、類似度マップ８０３に対してヒートマップ化処理を行い、類似度マップ８０３をヒートマップ画像８０４に変換する（ステップＳ９０３）。ヒートマップ画像は、ここでは、類似度マップの値が１に近づくほど赤く、－１に近づくほど青くなるＲＧＢ画像であるとするが、ヒートマップ画像はこの例に限らない。

【0064】

そして、画像処理部７０３は、ヒートマップ画像８０４を対象画像と同じサイズに拡大し（ステップＳ９０４）、処理を終了する。

【0065】

＜全体フロー＞
図１０は、本実施形態の類似画像差分抽出システム全体の動作の一例を説明するためのフローチャートである。図１１～図１３は、類似画像差分抽出システムで扱われる画像の具体例を示す図である。具体的には、図１１は、画像検索処理の結果の一例を示す図であり、図１２は、画像レジストレーション処理の結果の一例を示す図であり、図１３は、画像差分抽出処理の結果の一例を示す図である。

【0066】

先ず、利用者端末１００の入出力部１０１は、ユーザから画像検索の対象となるクエリ画像を選択する操作を受け付ける（ステップＳ１０００）。ここでは、図１１に示す画像１１００がクエリ画像として選択されたとする。

【0067】

続いて、入出力部１０１は、ユーザから画像検索コマンドを受け付ける。端末管理部１０２は、画像検索コマンドにクエリ画像を示す情報を加え、その画像検索コマンドを、ネットワーク部１０３を介して画像処理サーバ１０４に送信する（ステップＳ１００１）。

【0068】

画像処理サーバ１０４のサーバ管理部１０５は、ネットワーク部１０９を介して画像検索コマンドを受信し、その画像検索コマンドに従って画像検索部１０６に画像検索処理の実行を指示する。画像検索部１０６は、画像検索コマンドに基づいて、クエリ画像と類似する類似画像を画像データベース１１０から検索する。サーバ管理部１０５は、検索された類似画像を検索結果として、ネットワーク部１０９を介して利用者端末１００に送信する（ステップＳ１００２）。

【0069】

ここでは、図１１に示す類似画像群１１０１に含まれる画像１１０２～１１０５が類似画像として検索されたとする。画像１１０２はクエリ画像である画像１１００に対して位置ずれがあり、画像１１０３は画像１１００とはサイズが異なり、画像１１０４は画像１１００に対して角度が異なる。また、画像１１０５は、位置、サイズ及び角度などの幾何学的な特徴に関しては画像１１００と一致している。

【0070】

利用者端末１００の端末管理部１０２は、ネットワーク部１０３を介して検索結果を受信し、その検索結果を入出力部１０１に表示する。入出力部１０１は、ユーザから、検索結果に含まれる類似画像とクエリ画像とのうち、互いに比較する２つの画像を指定する操作を受け付ける（ステップＳ１００３）。ここでは、クエリ画像である画像１１００と類似画像である画像１１０２とが指定されたとする。なお、本操作において２つの類似画像が指定されてもよい。

【0071】

続いて、入出力部１０１は、ユーザから画像レジストレーションコマンドを受け付ける。端末管理部１０２は、画像レジストレーションコマンドに、指定された２つの指定画像を示す情報を加え、その画像検索コマンドを、ネットワーク部１０３を介して画像処理サーバ１０４に送信する（ステップＳ１００４）。

【0072】

画像処理サーバ１０４のサーバ管理部１０５は、ネットワーク部１０９を介して画像レジストレーションコマンドを受信し、その画像レジストレーションコマンドに従って画像レジストレーション部１０７に画像レジストレーション処理の実行を指示する。画像レジストレーション部１０７は、画像レジストレーションコマンドに基づいて、画像レジストレーション処理を実行する。サーバ管理部１０５は、画像レジストレーション処理の処理結果であるレジストレーション結果を、ネットワーク部１０９を介して利用者端末１００に送信する（ステップＳ１００５）。画像レジストレーション処理は、具体的には、図５及び図６を用いて説明した処理である。ここでは、図１２に示す２つの画像１１００及び画像１１０２のうち画像１１００に対してアフィン変換が施されて、画像１２００がレジストレーション結果として取得されたとする。

【0073】

その後、利用者端末１００の端末管理部１０２は、ネットワーク部１０３を介してレジストレーション結果を受信し、そのレジストレーション結果を入出力部１０１に表示する。入出力部１０１は、レジストレーション結果を確認したユーザから、差分抽出コマンドを受け付ける。端末管理部１０２は、差分抽出コマンドに画像１１００及び１２００を対象画像として示す情報を加え、その差分抽出コマンドを、ネットワーク部１０３を介して画像処理サーバ１０４に送信する（Ｓ１００６）。

【0074】

画像処理サーバ１０４のサーバ管理部１０５は、ネットワーク部１０９を介して差分抽出コマンドを受信し、その差分抽出コマンドに従って画像差分抽出部１０８に画像差分抽出処理の実行を指示する。画像差分抽出部１０８は、差分抽出コマンドに基づいて、２つの対象画像に対して画像差分抽出処理を実行して、ヒートマップ画像を生成する（ステップＳ１００７）。画像差分抽出処理は、具体的には、図７及び図８を用いて説明した処理である。ここでは、図１３に示す２つの画像１１００及び画像１２００に対して画像差分抽出処理が実行され、画像１３００がヒートマップ画像として生成されたとする。

【0075】

サーバ管理部１０５は、画像差分抽出処理の処理結果であるヒートマップ画像を、ネットワーク部１０９を介して利用者端末１００に送信する。利用者端末１００の端末管理部１０２は、ネットワーク部１０３を介してヒートマップ画像を受信し、そのヒートマップ画像を入出力部１０１に表示し（ステップＳ１００８）、処理を終了する。ユーザは、ヒートマップ画像を確認することにより、２つ画像のどの部分がどの程度異なるかを確認することが可能になる。

【0076】

＜分割画像差分抽出処理＞
次に、画像差分抽出部１０８による画像差分抽出処理の変形例である分割画像差分抽出処理について説明する。図１４は、分割画像差分抽出処理の一例を説明するためのフローチャートである。図１５は、分割画像差分抽出処理の結果の一例を示す図である。

【0077】

分割画像差分抽出処理では、先ず、図１０のステップＳ１０００～Ｓ１００５の処理が実行される。続いて、利用者端末１００の端末管理部１０２は、ネットワーク部１０３を介してレジストレーション結果を受信し、そのレジストレーション結果を入出力部１０１に表示する。入出力部１０１は、レジストレーション結果を確認したユーザから、画像レジストレーション処理が実行された指定画像である対象画像を複数の部分画像に分割するグリッド分割するグリッド分割操作を受け付ける（ステップＳ１４００）。グリッド分割操作は、分割内容（例えば、部分画像の数、縦横比及び分割位置など）を指定するものでもよい。

【0078】

入出力部１０１は、レジストレーション結果を確認したユーザから、差分抽出コマンドを受け付ける。端末管理部１０２は、差分抽出コマンドに対象画像とグリッド分割操作に応じた分割内容とを示す情報を加え、その差分抽出コマンドを、ネットワーク部１０３を介して画像処理サーバ１０４に送信する（ステップＳ１４０１）。

【0079】

画像処理サーバ１０４のサーバ管理部１０５は、ネットワーク部１０９を介して差分抽出コマンドを受信し、その差分抽出コマンドに従って画像差分抽出部１０８に画像差分抽出処理の実行を指示する。画像差分抽出部１０８は、差分抽出コマンドに基づいて、対象画像を、指定された分割内容に従って複数の部分画像にグリッド分割する（ステップＳ１４０２）。ここでは、図１５に示すように画像１５００及び１５０２が対象画像としてグリッド分割されたとする。なお、図１５では、説明のためにグリッド線１５０１が表記されているが、実際には、画像にグリッド線１５０１を引く必要はない。

【0080】

画像差分抽出部１０８は、グリッド分割された部分画像ごとにステップＳ１４０３～１４０４を繰り返すループ処理（Ａ）を実行する。

【0081】

ループ処理（Ａ）では、画像差分抽出部１０８は、各対象画像の互いに対応する位置の部分画像を画像差分抽出モデル７００の特徴量抽出モデル７０１ａ及び７０１ｂに入力する（ステップＳ１４０３）。特徴量抽出モデル７０１ａ及び７０１ｂは、入力された部分画像の特徴マップである部分特徴マップを算出する（ステップＳ１４０４）。

【0082】

画像差分抽出部１０８は、全ての部分画像に対してステップＳ１４０３～１４０４処理を行うと、ループ処理（Ａ）を抜ける。そして、類似度算出部７０２は、各部分特徴マップの位置関係が各部分特徴マップに対応する各部分画像の位置関係と同じになるように、各部分特徴マップを結合して対象特徴マップとして生成する（ステップＳ１４０５）。

【0083】

続いて、画像差分抽出部１０８の類似度算出部７０２は、各対象特徴マップの間の類似度を示す類似度マップを算出する類似度算出処理を行う（ステップＳ１４０６）。画像処理部７０３は、類似度マップに対してヒートマップ化処理を行い、類似度マップをヒートマップ画像に変換する（ステップＳ１４０７）。画像処理部７０３は、ヒートマップ画像を入力画像と同じサイズに拡大し（ステップＳ１４０８）、処理を終了する。これにより、図１５に示す画像１５０４がヒートマップ画像として生成される。なお、ステップＳ１４０８の処理の後に、図１０のステップＳ１００８の処理が実行される。

【0084】

＜学習処理の一例＞
図１６は、画像レジストレーションモデル２００及び画像差分抽出モデル７００に対して行う学習処理の一例を説明するためのフローチャートである。

【0085】

学習処理では、先ず、入出力部１０１がユーザから学習コマンドを受け付けると、端末管理部１０２は、その学習コマンドを、ネットワーク部１０３を介して画像処理サーバ１０４に送信する。画像処理サーバ１０４のサーバ管理部１０５は、ネットワーク部１０９を介して学習コマンドを受信する（ステップＳ１６００）。

【0086】

サーバ管理部１０５は、所定の条件を満たすまで、ステップＳ１６０１～Ｓ１６０７の処理を繰り返すループ処理（Ｂ）を実行する。所定の条件は、学習回数（ループ回数）が所定回数に到達すること、又は、学習時間が所定時間に到達することなどである。

【0087】

ループ処理（Ｂ）では、サーバ管理部１０５は、画像データベース１１０から第１の学習用画像として任意の画像を取得する（ステップＳ１６０１）。ここで取得された画像を画像Ａと呼ぶ。

【0088】

サーバ管理部１０５は、ランダムな変換パラメータである第１の変換パラメータを生成する（ステップＳ１６０２）。第１の変換パラメータの数は変換モデルに応じて予め定められている。例えば、変換モデルがアフィン変換モデルの場合、第１の変換パラメータの数は６である。

【0089】

サーバ管理部１０５は、第１の変換パラメータを設定した変換モデルを用いて画像Ａを第２の学習用画像である画像Ｂに変換する（ステップＳ１６０３）。サーバ管理部１０５は、画像Ａ及びＢを指定画像として画像レジストレーションモデル２００に入力する（ステップＳ１６０４）。画像レジストレーションモデル２００は、画像Ａ及びＢに基づく変換パラメータを第２の変換パラメータとして推定する（ステップＳ１６０５）。

【0090】

サーバ管理部１０５は、所定の損失関数を用いて、ステップＳ１６０５で推定された第２の変換パラメータと、ステップＳ１６０２で生成された第１の変換パラメータとの差を示す損失値を算出する（ステップＳ１６０６）。なお、損失関数は、例えば、ＭＳＥ（Mean Square Error）などである。

【0091】

サーバ管理部１０５は、損失値が減少するように、画像レジストレーションモデル２００の重み値を調整する（ステップＳ１６０７）。

【0092】

そして、所定の条件が満たされると、サーバ管理部１０５は、ループ処理（Ｂ）を抜けて、処理を終了する。これにより、画像レジストレーションモデル２００が学習モデルとして構築される。画像レジストレーションモデル２００が学習されることで、内部の画像特徴抽出モデル２０１ａ及び２０１ｂが学習される。これにより、本実施形態では、画像差分抽出モデル７００の内部の画像特徴抽出モデル７０１ａ及び７０１ｂとして、画像特徴抽出モデル２０１ａ及び２０１ｂと同じモデルを使用するため、画像特徴抽出モデル２０１ａ及び２０１ｂも学習されることとなる。

【0093】

＜学習処理の他の例＞
図１７は、画像レジストレーションモデル２００及び画像差分抽出モデル７００に対して行う学習処理の他の例を説明するためのフローチャートである。本学習処理を用いることで、図１６で示した学習処理よりもさらに精度の良いモデルを構築することが可能となる。

【0094】

まず、画像処理サーバ１０４のサーバ管理部１０５は、位置、サイズ及び角度などの幾何学的な特徴が類似する２つの画像のセットの集合を画像データベース１１０に登録する（ステップＳ１７００）。類似する２つの画像のセットとしては、例えば、図１１の画像１１００と画像１１０５とのセットが挙げられる。画像のセットはユーザにて作成されてもよい。また、画像のセットは、一般的な画像処理ライブラリなどの既存のプログラムなどを用いて生成されてもよい。また、既存のプログラムにて生成された画像からユーザが画像のセットを選択する構成でもよい。

【0095】

続いて、入出力部１０１がユーザから学習コマンドを受け付けると、端末管理部１０２は、その学習コマンドを、ネットワーク部１０３を介して画像処理サーバ１０４に送信する。画像処理サーバ１０４のサーバ管理部１０５は、ネットワーク部１０９を介して学習コマンドを受信する（ステップＳ１７０１）。

【0096】

サーバ管理部１０５は、画像のセットごとに、ステップＳ１７０２～Ｓ１７０８の処理を繰り返すループ処理（Ｃ）を実行する。

【0097】

ループ処理（Ｃ）では、サーバ管理部１０５は、画像データベース１１０から任意の画像のセットに含まれる２つの画像を、第１の学習用画像及び第１の学習用画像に対応する対応類似画像として取得する（Ｓ１７０２）。ここで取得された第１の学習用画像を画像Ｃ、対応類似画像を画像Ｄと呼ぶ。

【0098】

サーバ管理部１０５は、ランダムな変換パラメータである第１の変換パラメータを生成する（ステップＳ１７０３）。

【0099】

サーバ管理部１０５は、第１の変換パラメータを設定した変換モデルを用いて画像Ｄを第２の学習用画像である画像Ｄ’に変換する（ステップＳ１７０４）。サーバ管理部１０５は、画像Ｃ及びＤ’を指定画像として画像レジストレーションモデル２００に入力する（ステップＳ１７０５）。画像レジストレーションモデル２００は、画像Ｃ及びＤ’に基づく変換パラメータを第２の変換パラメータとして推定する（ステップＳ１７０６）。

【0100】

サーバ管理部１０５は、所定の損失関数を用いて、ステップＳ１７０６で推定された第２の変換パラメータと、ステップＳ１７０３で生成された第１の変換パラメータとの差を示す損失値を算出する（ステップＳ１７０７）。

【0101】

サーバ管理部１０５は、損失値が減少するように、画像レジストレーションモデル２００の重み値を調整する（ステップＳ１７０８）。

【0102】

そして、全ての対応類似画像のセットについてステップＳ１７０２～Ｓ１７０８の処理を実行すると、サーバ管理部１０５は、ループ処理（Ｃ）を抜けて、処理を終了する。これにより、画像レジストレーションモデル２００が学習モデルとして構築される。

【0103】

以上説明したように本実施形態では、画像特徴抽出モデル７０１ａ及び７０１ｂで構成される特徴抽出部は、２つの対象画像のそれぞれの特徴を示す特徴マップである対象特徴マップを生成する。類似度算出部７０２は、各対象特徴マップの位置ごとの類似度を示す類似度マップを生成する。画像処理部７０３は、類似度マップに応じた差分抽出画像を生成する。

【0104】

したがって、２つの対象画像の特徴の類似度を示す類似度マップに応じた差分抽出画像が生成されるため、ユーザは、２つの対象画像を目視で比較しなくても、差分抽出画像を目視するだけで、２つの対象画像の差を把握することが可能となる。このため、画像間の差分を効率よく把握することが可能になる。また、ユーザは、バイナリー記述子の種類などを画像に応じて指定する必要もないため、その観点からも、画像間の差分を効率よく把握することが可能になる。

【0105】

また、本実施形態では、学習モデルである画像特徴抽出モデル７０１ａ及び７０１ｂを用いて対象特徴マップが生成されるため、対象画像間の類似度を適切に反映した差分抽出画像を生成することが可能となる。

【0106】

また、本実施形態では、画像レジストレーション部１０７が２つの指定画像に対して画像レジストレーション処理を行って対象画像を生成するため、対象画像間の類似度を適切に反映した差分抽出画像を生成することが可能となる。

【0107】

また、本実施形態では、画像レジストレーション処理の変換モデルの変換パラメータが２つの指定画像の特徴マップである２つの指定特徴マップに基づいて推定されるため、各指定画像の特徴に応じた適切な変換パラメータを推定することが可能となる。

【0108】

また、本実施形態では、学習モデルである画像特徴抽出モデル２０１ａ及び２０１ｂを用いて指定特徴マップが生成されるため、各指定画像の特徴を適切に反映した変換パラメータを推定することが可能となる。

【0109】

また、本実施形態では、画像レジストレーション部１０７が用いる画像特徴抽出モデル２０１ａ及び２０１ｂと、画像差分抽出部１０８が用いる画像特徴抽出モデル７０１ａ及び７０１ｂとが同じモデルであるため、効率の良い学習が可能となる。

【0110】

また、本実施形態では、サーバ管理部１０５は、ランダムに生成した第１の変換パラメータと、画像Ａと画像Ａを第１の変換パラメータで変換した画像Ｂとを指定画像としたときに画像レジストレーション部１０７にて推定される第２の変換パラメータとの差を示す損失値に基づいて、画像特徴抽出モデル２０１ａ及び２０１ｂが構築される。このため、精度の良い画像特徴抽出モデル２０１ａ及び２０１ｂを構築することが可能になる。

【0111】

また、本実施形態では、サーバ管理部１０５は、ランダムに生成した第１の変換パラメータと、画像Ｃと画像Ｃに対して予め対応付けられた画像Ｄを第１の変換パラメータで変換した画像Ｄ’とを指定画像としたときに画像レジストレーション部１０７にて推定される第２の変換パラメータとの差を示す損失値に基づいて、画像特徴抽出モデル２０１ａ及び２０１ｂが構築される。このため、より精度の良い画像特徴抽出モデル２０１ａ及び２０１ｂを構築することが可能になる。

【0112】

また、本実施形態では、特徴抽出部は、２つの対象画像のそれぞれについて、当該対象画像を分割した複数の部分画像のそれぞれの特徴を示す特徴マップである部分特徴マップを生成し、各部分特徴マップの位置関係が各部分画像に対応する各部分画像の位置関係と同じになるように各部分特徴マップを結合して、対象特徴マップを生成する。このため、精度の良い対象特徴マップを生成することができる。

【0113】

また、本実施形態では、差分抽出画像は、類似度マップの各値を色又は濃淡で表したヒートマップ画像であるため、２つの画像の差を直感的に素早く把握することが可能となる。

【0114】

上述した本開示の実施形態は、本開示の説明のための例示であり、本開示の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本開示の範囲を逸脱することなしに、他の様々な態様で本開示を実施することができる。

【符号の説明】

【0115】

１００：利用者端末、１０１：入出力部、１０１：処理フロー作成サーバ、１０２：端末管理部、１０３：ネットワーク部、１０４：画像処理サーバ、１０５：サーバ管理部、１０６：画像検索部、１０７：画像レジストレーション部、１０８：画像差分抽出部、１０９：ネットワーク部、１１０：画像データベース、１１１：ネットワーク、１１２：メモリ、２０１：指定特徴抽出部、２０１ａ～２０１ｂ：画像特徴抽出モデル、２０２：変換パラメータ回帰モデル、２０３：特徴関連性マップ算出部、２０４：実行部、３００：画像特徴抽出モデル、３０１：処理層、３０２：畳み込み層、３０３：プーリング層、４００：変換パラメータ回帰モデル、４０１：処理層、４０２：畳み込み層、４０３：プーリング層、４０４：ＦＣ層、７００：画像差分抽出モデル、７０１：特徴抽出部、７０１ａ～７０１ｂ：画像特徴抽出モデル、７０２：類似度算出部、７０３：画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】