特表 2022-531938 ピクチャ検索方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-12

(54)【発明の名称】ピクチャ検索方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220705BHJP

   G06F 16/53 20190101ALI20220705BHJP

【ＦＩ】

G06T7/00 300F

G06F16/53

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021566478

(86)(22)【出願日】2020-04-23

(85)【翻訳文提出日】2021-11-09

(86)【国際出願番号】 CN2020086455

(87)【国際公開番号】W WO2021036304

(87)【国際公開日】2021-03-04

(31)【優先権主張番号】201910806958.2

(32)【優先日】2019-08-29

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519453342

【氏名又は名称】深▲せん▼市商▲湯▼科技有限公司

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２０１， Ｂｕｉｌｄｉｎｇ Ａ， Ｎｏ． １， Ｑｉａｎｗａｎ Ｒｏａｄ， Ｑｉａｎｈａｉ Ｓｈｅｎｚｈｅｎ－Ｈｏｎｇｋｏｎｇ Ｍｏｄｅｒｎ Ｓｅｒｖｉｃｅ Ｉｎｄｕｓｔｒｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｚｏｎｅ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ （ＣＮ）

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】▲曠▼章▲輝▼

(72)【発明者】

【氏名】▲張▼▲偉▼

(72)【発明者】

【氏名】宋泓臻

(72)【発明者】

【氏名】▲陳▼益民

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175FA01

5B175HB03

5B175KA12

5L096AA06

5L096BA08

5L096DA02

5L096HA11

5L096JA03

5L096JA11

5L096JA18

(57)【要約】

本願は、ピクチャ検索方法及び装置を提供する。該方法は、所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることと、前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出することと、各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することと、前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することと、を含む。

【特許請求の範囲】

【請求項1】

ピクチャ検索方法であって、前記方法は、所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることであって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、ことと、
前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出することであって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、ことと、
各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することと、
前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することと、を含むことを特徴とする、ピクチャ検索方法。

【請求項2】

前記所定の複数のスケールは、第１ピクチャにおける全ての画素点を含むスケールであることを特徴とする
請求項１に記載の方法。

【請求項3】

所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることは、
前記所定の複数のスケールのうちの各スケールに応じて、前記第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記各スケールで前記第１ピクチャに対応する複数の第１特徴点及び前記第２ピクチャに対応する複数の第２特徴点を得ることと、
前記各スケールで前記第１ピクチャに対応する前記複数の第１特徴点のうち、各所定のプーリングウィンドウ内に位置する全ての第１特徴点のうちの特徴値が最も大きい前記第１特徴点を第１ターゲット特徴点とすることと、
前記各スケールで前記第２ピクチャに対応する前記複数の第２特徴点のうち、前記各所定のプーリングウィンドウ内に位置する全ての第２特徴点のうちの特徴値が最も大きい前記第２特徴点を第２ターゲット特徴点とすることと、
前記各スケールに対応する、前記第１ターゲット特徴点からなる第１特徴マップ及び前記第２ターゲット特徴点からなる第２特徴マップをそれぞれ得ることと、を含むことを特徴とする
請求項１又は２に記載の方法。

【請求項4】

前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出することは、
第１空間位置での、前記第１スケールに対応する前記第１特徴マップの特徴値と、第２空間位置での、前記第２スケールに対応する前記第２特徴マップの特徴値との差の平方和を算出することであって、前記第１空間位置は、前記第１特徴マップの任意のプーリングウィンドウ位置を表し、前記第２空間位置は、前記第２特徴マップの任意のプーリングウィンドウ位置を表す、ことと、
前記平方和と所定の投影行列との積を算出することであって、前記所定の投影行列は、特徴差分ベクトル次元を低減させるための投影行列である、ことと、
前記積のユークリッドノルムを算出することと、
前記積と前記ユークリッドノルムとの商をターゲットスケール組み合わせに対応する前記類似度値とすることと、を含むことを特徴とする
請求項１－３のうちいずれか一項に記載の方法。

【請求項5】

各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することは、
各前記ターゲットスケール組み合わせに対応する前記類似度値のうちの任意の２つの前記類似度値の間の重み値を決定することと、
前記重み値を正規化処理した後、正規化重み値を得ることと、
各前記ターゲットスケール組み合わせに対応する前記類似度値をそれぞれ前記無向グラフのノードとし、前記正規化重み値を前記無向グラフの辺とし、前記無向グラフを作成することと、を含むことを特徴とする
請求項１－４のうちいずれか一項に記載の方法。

【請求項6】

前記グラフニューラルネットワークの前記出力結果は、前記無向グラフの前記ノードの間の類似度の確率値を含み、
前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することは、
前記類似度の確率値が所定の閾値より大きい場合、前記第２ピクチャが前記第１ピクチャとマッチングすると決定することを含むことを特徴とする
請求項１－５のうちいずれか一項に記載の方法。

【請求項7】

ピクチャ検索装置であって、前記装置は、
所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得るように構成される特徴抽出モジュールであって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、特徴抽出モジュールと、
前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出するように構成される算出モジュールであって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、算出モジュールと、
各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成するように構成される無向グラフ作成モジュールと、
前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定するように構成されるマッチング結果決定モジュールと、を備えることを特徴とする、ピクチャ検索装置。

【請求項8】

前記所定の複数のスケールは、第１ピクチャにおける全ての画素点を含むスケールであることを特徴とする
請求項７に記載の装置。

【請求項9】

前記特徴抽出モジュールは、
前記所定の複数のスケールのうちの各スケールに応じて、前記第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記各スケールで前記第１ピクチャに対応する複数の第１特徴点及び前記第２ピクチャに対応する複数の第２特徴点を得るように構成される特徴抽出サブモジュールと、
前記各スケールで前記第１ピクチャに対応する前記複数の第１特徴点のうち、各所定のプーリングウィンドウ内に位置する全ての第１特徴点のうちの特徴値が最も大きい前記第１特徴点を第１ターゲット特徴点とするように構成される第１決定サブモジュールと、
前記各スケールで前記第２ピクチャに対応する前記複数の第２特徴点のうち、前記各所定のプーリングウィンドウ内に位置する全ての第２特徴点のうちの特徴値が最も大きい前記第２特徴点を第２ターゲット特徴点とするように構成される第２決定サブモジュールと、
前記各スケールに対応する、前記第１ターゲット特徴点からなる第１特徴マップ及び前記第２ターゲット特徴点からなる第２特徴マップをそれぞれ得るように構成される取得サブモジュールと、を備えることを特徴とする
請求項７又は８に記載の装置。

【請求項10】

前記算出モジュールは、
第１空間位置での、前記第１スケールに対応する前記第１特徴マップの特徴値と、第２空間位置での、前記第２スケールに対応する前記第２特徴マップの特徴値との差の平方和を算出するように構成される第１算出サブモジュールであって、前記第１空間位置は、前記第１特徴マップの任意のプーリングウィンドウ位置を表し、前記第２空間位置は、前記第２特徴マップの任意のプーリングウィンドウ位置を表す、第１算出サブモジュールと、
前記平方和と所定の投影行列との積を算出するように構成される第２算出サブモジュールであって、前記所定の投影行列は、特徴差分ベクトル次元を低減させるための投影行列である、第２算出サブモジュールと、
前記積のユークリッドノルムを算出するように構成される第３算出サブモジュールと、
前記積と前記ユークリッドノルムとの商をターゲットスケール組み合わせに対応する前記類似度値とするように構成される第４算出サブモジュールと、を備えることを特徴とする
請求項７－９のうちいずれか一項に記載の装置。

【請求項11】

前記無向グラフ作成モジュールは、
各前記ターゲットスケール組み合わせに対応する前記類似度値のうちの任意の２つの前記類似度値の間の重み値を決定するように構成される第３決定サブモジュールと、
前記重み値を正規化処理した後、正規化重み値を得るように構成される正規化処理サブモジュールと、
各前記ターゲットスケール組み合わせに対応する前記類似度値をそれぞれ前記無向グラフのノードとし、前記正規化重み値を前記無向グラフの辺とし、前記無向グラフを作成するように構成される無向グラフ作成サブモジュールと、を備えることを特徴とする
請求項７－１０のうちいずれか一項に記載の装置。

【請求項12】

前記グラフニューラルネットワークの前記出力結果は、前記無向グラフの前記ノードの間の類似度の確率値を含み、
前記マッチング結果決定モジュールは、
前記類似度の確率値が所定の閾値より大きい場合、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定するように構成される第４決定サブモジュールを備えることを特徴とする
請求項７－１１のうちいずれか一項に記載の装置。

【請求項13】

機器可読記憶媒体であって、前記記憶媒体に機器による実行可能な命令が記憶されており、前記機器による実行可能な命令は、請求項１－６のうちいずれか一項に記載のピクチャ検索方法を実行するように構成されることを特徴とする、機器可読記憶媒体。

【請求項14】

ピクチャ検索装置であって、前記装置は、
プロセッサと、
前記プロセッサによる実行可能な命令を記憶するための記憶媒体と、を備え、
前記プロセッサは、前記記憶媒体に記憶される実行可能な命令を呼び出して、請求項１－６のうちいずれか一項に記載のピクチャ検索方法を実現させるように構成されることを特徴とする、ピクチャ検索装置。

【請求項15】

コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器におけるプロセッサは、請求項１－６のうちいずれか一項に記載の方法を実行することを特徴とする、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像処理分野に関し、特にピクチャ検索方法及び装置に関する。

【背景技術】

【0002】

既存のピクチャとピクチャライブラリにおけるピクチャに対してマッチングサーチを行う場合、ニューラルネットワークを利用して２枚のピクチャのグローバルな類似度を算出し、既存のピクチャとマッチングするピクチャをピクチャライブラリから見付けることができる。

【0003】

しかしながら、２枚のピクチャのグローバルな類似度を算出する場合、ピクチャにおける背景干渉情報は、算出結果に大きな影響を与えてしまう。例えば、ピクチャの角度の相違、、ピクチャのコンテンツ情報の相違又は遮蔽などの要因により、最終的なサーチ結果が正確でないことを引き起こしてしまう。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、ピクチャ検索方法及び装置を提供する。

【課題を解決するための手段】

【0005】

本願の実施例の第１態様によれば、ピクチャ検索方法を提供する。前記方法は、所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることであって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、ことと、前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出することであって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、ことと、各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することと、前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することと、を含む。上記実施例において、所定の複数のスケールに応じて、第１ピクチャ及びピクチャライブラリにおける第２ピクチャに対して特徴抽出を行い、第１ピクチャに対応する第１特徴マップ及び第２ピクチャに対応する第２特徴マップを得て、任意の２つの空間位置に位置する第１特徴マップと第２特徴マップとの間の類似度値を算出し、ターゲットスケール組み合わせに対応する類似度値を得ることができる。各ターゲットスケール組み合わせに対応する類似度値に基づいて、無向グラフを作成する。無向グラフを事前構築されたグラフニューラルネットワークに入力することで、第２ピクチャが第１ピクチャとマッチングするターゲットピクチャに属するかどうかを決定することができる。上記プロセスにより、２枚のピクチャの全体スケールによりグローバルな類似度の分析することに限定されず、所定の複数のスケールにより、類似度の分析を行い、任意の２つの空間位置に位置する、第１スケールの第１ピクチャに対応する第１特徴マップと第２スケールの第２ピクチャに対応する第２特徴マップとの局所的類似度値に基づいて、２枚のピクチャがマッチングするかどうかを決定する。従って、マッチング精度がより高く、ロバスト性がより高い。

【0006】

幾つかの任意選択的な実施例において、前記所定の複数のスケールは、第３スケール及び少なくとも１つの第４スケールを含み、前記第３スケールは、前記第１ピクチャにおける全ての画素点を含むスケールであり、前記第４スケールは、前記第３スケールより小さい。上記実施例において、所定の複数のスケールは、第３スケール及び少なくとも１つの第４スケールを含み、第３スケールは、第１ピクチャの全体スケールであり、第４スケールは、第３スケールより小さくてもよい。従って、第１ピクチャと第２ピクチャとの類似度を算出する場合、２枚のピクチャの全体類似度に限定されず、異なるスケールでのピクチャの間の類似度を考慮する。従って、マッチング結果の精度を向上させることができ、ロバスト性がより高い。

【0007】

幾つかの任意選択的な実施例において、所定の複数のスケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることは、前記所定の複数のスケールのうちの各スケールに応じて、前記第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記各スケールで前記第１ピクチャに対応する複数の第１特徴点及び前記第２ピクチャに対応する複数の第２特徴点を得ることと、前記各スケールで前記第１ピクチャに対応する前記複数の第１特徴点のうち、各所定のプーリングウィンドウ内に位置する全ての第１特徴点のうちの特徴値が最も大きい前記第１特徴点を第１ターゲット特徴点とすることと、前記各スケールで前記第２ピクチャに対応する前記複数の第２特徴点のうち、前記各所定のプーリングウィンドウ内に位置する全ての第２特徴点のうちの特徴値が最も大きい前記第２特徴点を第２ターゲット特徴点とすることと、前記各スケールに対応する、前記第１ターゲット特徴点からなる第１特徴マップ及び前記第２ターゲット特徴点からなる第２特徴マップをそれぞれ得ることと、を含む。上記実施例において、最大プーリング化の方式で、各スケールでの第１ピクチャの複数の第１特徴点及び第２ピクチャの複数の第２特徴点に対して処理を行い、第１ピクチャ及び第２ピクチャにおける重要な要素情報に更に注目する。これにより、後続で第１特徴マップと第２特徴マップとの間の類似度値の算出の正確性を向上させると共に、演算量を低減させる。

【0008】

幾つかの任意選択的な実施例において、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出し、ターゲットスケール組み合わせに対応する前記類似度値を得ることは、第１空間位置での、前記第１スケールに対応する前記第１特徴マップの特徴値と、第２空間位置での、前記第２スケールに対応する前記第２特徴マップの特徴値との差の平方和を算出することであって、前記第１空間位置は、前記第１特徴マップの任意のプーリングウィンドウ位置を表し、前記第２空間位置は、前記第２特徴マップの任意のプーリングウィンドウ位置を表す、ことと、前記平方和と所定の投影行列との積を算出することであって、前記所定の投影行列は、特徴差分ベクトル次元を低減させるための投影行列である、ことと、前記積のユークリッドノルムを算出することと、前記積と前記ユークリッドノルムとの商をターゲットスケール組み合わせに対応する前記類似度値とすることと、を含む。上記実施例において、任意の２つの空間位置での、第１スケールに対応する第１特徴マップと第２スケールに対応する第２特徴マップとの間の類似度値を算出することができる。ここで、第１スケールと第２スケールは同じであっても異なってもよく、利用可能性が高い。

【0009】

幾つかの任意選択的な実施例において、各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することは、各前記ターゲットスケール組み合わせに対応する前記類似度値のうちの任意の２つの前記類似度値の間の重み値を決定し、前記重み値を正規化処理した後、正規化重み値を得ることと、各前記ターゲットスケール組み合わせに対応する前記類似度値をそれぞれ前記無向グラフのノードとし、前記正規化重み値を前記無向グラフの辺とし、前記無向グラフを作成することと、を含む。上記実施例において、無向グラフを作成する場合、各ターゲットスケール組み合わせに対応する前記類似度値を無向グラフのノードとし、任意の２つのノードの間の重み値を正規化処理した後に得られた正規化重み値を無向グラフの辺とし、無向グラフにより、複数のスケールでの２枚のピクチャの類似度を融合することで、マッチング結果の精度を向上させ、ロバスト性がより高い。

【0010】

幾つかの任意選択的な実施例において、前記グラフニューラルネットワークの前記出力結果は、前記無向グラフの前記ノードの間の類似度の確率値を含み、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することは、前記類似度の確率値が所定の閾値より大きい場合、前記第２ピクチャが前記第１ピクチャとマッチングすると決定することを含む。上記実施例において、無向グラフをグラフニューラルネットワークに入力し、グラフニューラルネットワークから出力された無向グラフのノードの間の類似度の確率値が所定の閾値より大きいかどうかに基づいて、第２ピクチャが第１ピクチャとマッチングするかどうかを決定することができる。ノードの間の類似度の確率値が大きい場合、第２ピクチャを第１ピクチャとマッチングするターゲットピクチャとする。上記プロセスにより、ピクチャライブラリから、第１ピクチャとマッチングするターゲットピクチャをより正確に見付けることができ、サーチ結果がより正確である。

【0011】

本願の実施例の第２態様によれば、ピクチャ検索装置を提供する。前記装置は、所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得るように構成される特徴抽出モジュールであって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、特徴抽出モジュールと、前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出するように構成される算出モジュールであって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、算出モジュールと、各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成するように構成される無向グラフ作成モジュールと、前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定するように構成されるマッチング結果決定モジュールと、を備える。上記実施例において、２枚のピクチャの全体スケールによりグローバルな類似度の分析することに限定されず、所定の複数のスケールにより、類似度の分析を行い、任意の２つの空間位置に位置する、第１スケールの第１ピクチャに対応する第１特徴マップと第２スケールの第２ピクチャに対応する第２特徴マップとの局所的類似度値に基づいて、２枚のピクチャがマッチングするかどうかを決定する。従って、マッチング精度がより高く、ロバスト性がより高い。

【0012】

本願の実施例の第３態様によれば、機器可読記憶媒体を提供する。前記記憶媒体に機器による実行可能な命令が記憶されており、前記機器による実行可能な命令は、上記第１態様のいずれか一項に記載のピクチャ検索方法を実行するように構成される。

【0013】

本願の実施例の第４態様によれば、ピクチャ検索装置を提供する。前記装置は、プロセッサと、前記プロセッサによる実行可能な命令を記憶するための記憶媒体と、を備え、前記プロセッサは、前記記憶媒体に記憶される実行可能な命令を呼び出して、第１態様のいずれか一項に記載のピクチャ検索方法を実現させるように構成される。

【0014】

本願の実施例の第５態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器におけるプロセッサは、第１態様のいずれか一項に記載の方法を実行する。

【0015】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

【図面の簡単な説明】

【0016】

【図1】本願の一例示的な実施例によるピクチャ検索方法を示すフローチャートである。

【図2A】本願の一例示的な実施例による異なるスケールに対応する第１ピクチャを示す概略図である。

【図2B】本願の一例示的な実施例による異なるスケールに対応する第１ピクチャを示す概略図である。

【図2C】本願の一例示的な実施例による異なるスケールに対応する第１ピクチャを示す概略図である。

【図3A】本願の一例示的な実施例による異なるスケールに対応する第２ピクチャを示す概略図である。

【図3B】本願の一例示的な実施例による異なるスケールに対応する第２ピクチャを示す概略図である。

【図3C】本願の一例示的な実施例による異なるスケールに対応する第２ピクチャを示す概略図である。

【図4】本願の一例示的な実施例によるピクチャのピラミッド構造を示す概略図である。

【図5A】本願の一例示的な実施例によるピクチャに対する空間ウィンドウの分割を示す概略図である。

【図5B】本願の一例示的な実施例によるピクチャに対する空間ウィンドウの分割を示す概略図である。

【図6】本願の一例示的な実施例による類似度値のピラミッド構造を示す概略図である。

【図7】本願の一例示的な実施例によるターゲット無向グラフの構造を示す概略図である。

【図8】本願の一例示的な実施例によるスケールに応じてピクチャを分割することを示す概略図である。

【図9】本願の一例示的な実施例によるもう１つのピクチャ検索方法を示すフローチャートである。

【図10A】本願の一例示的な実施例によるプーリング化処理を示す概略図である。

【図10B】本願の一例示的な実施例によるプーリング化処理を示す概略図である。

【図11】本願の一例示的な実施例によるもう１つのピクチャ検索方法を示すフローチャートである。

【図12】本願の一例示的な実施例によるピクチャ検索ネットワークの構造を示す図である。

【図13】本願の一例示的な実施例によるピクチャ検索装置を示すブロック図である。

【図14】本願の一例示的な実施例によるピクチャ検索装置に用いられる構造を示す概略図である。

【0017】

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。

【発明を実施するための形態】

【0018】

ここで、例示的な実施例を説明し、その例を図面に示す。下記記述が図面に係る場合、別途明記されない限り、異なる図面における同一の数字は、同一又は類似する要素を表す。下記例示的な実施例に記載の実施形態は、本願と一致した全ての実施形態を表すものではない。逆に、それらは、添付の特許請求の範囲に詳述したような本願のいくつかの態様と一致する装置及び方法の例だけである。

【0019】

本願において使用される用語は、特定の実施例を説明することだけを目的としており、本願を限定することは意図されていない。本願及び添付の特許請求の範囲で使用されるとき、単数形の「１つの」、「前記」及び「該」は、文脈が明らかに違うように示さない限り、複数形も含む意図である。本明細書において使用される「及び／又は」という用語は、列挙された１つ以上の関連する対象物の任意の又は全ての可能的な組み合わせを参照かつ包含することも理解されるべきである。

【0020】

本願では、用語である第１、第２、第３などを用いて各種情報を記述する可能性があるが、これらの情報はこれらの用語に限定されないことが理解されるべきである。これらの用語は、同一種類の情報をお互いに区別するためだけに用いられる。例えば、本願の範囲を逸脱しない限り、第１情報は第２情報と称されてもよく、同様に、第２情報は第１情報と称されてもよい。文脈によっては、ここで使用される語句「とすれば」は「…場合」、「…時」又は「と決定されるのに応答して」と解釈される。

【0021】

本願の実施例は、ピクチャ検索方法を提供する。該方法は、ピクチャ検索を行う機器又は装置に適用可能である。又は、該方法は、プロセッサによりコンピュータによる実行可能なコードを実行することで実行される。一例示的な実施例によるピクチャ検索方法を示す図１を参照すると、前記方法は、下記ステップを含む。

【0022】

ステップ１０１において、所定の複数のスケール（ｓｃａｌｅ）のうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得る。

【0023】

第１ピクチャは、マッチングサーチを必要とするターゲットピクチャであり、第２ピクチャは、ピクチャライブラリにおけるいずれか１枚のピクチャである。該ピクチャライブラリは、例えば、第１ピクチャのコンテンツに関連するピクチャライブラリである。ここで、第１ピクチャ及び第２ピクチャの大きさは、同じであってもよく、異なってもよい。本願は、これを限定しない。

【0024】

例えば、第１ピクチャは、衣類に関わるピクチャである場合、ピクチャライブラリは、よく知られているＤｅｅｐＦａｓｈｉｏｎ及びＳｔｒｅｅｔ２Ｓｈｏｐピクチャライブラリ、又は衣類に関連する他のピクチャライブラリであってもよい。第２ピクチャは、該ピクチャライブラリにおけるいずれか一枚のピクチャである。

【0025】

特徴抽出を行う前に、まず、前記複数のスケールのうちの各スケールに対して、該スケールでの第１ピクチャ及び第２ピクチャに対応するピクチャをそれぞれ得ることができる。

【0026】

例えば、得られた第１ピクチャの、スケール１（例えば、１ × １）に対応するピクチャは、図２Ａに示すとおりであり、スケール２（例えば、２ × ２）に対応するピクチャは、図２Ｂに示すとおりであり、スケール３（例えば、３ × ３）に対応するピクチャは、図２Ｃに示すとおりである。同様に、得られた第２ピクチャの、スケール１に対応するピクチャは、図３Ａに示すとおりであり、スケール２に対応するピクチャは、図３Ｂに示すとおりであり、スケール３に対応するピクチャは、図３Ｃに示すとおりである。

【0027】

この場合、例えば、図４に示すように、第１ピクチャ及び第２ピクチャに対してピクチャピラミッドをそれぞれ形成することができる。図２Ａのピクチャを第１ピクチャのピクチャピラミッドの第１層とし、図２Ｂのピクチャを第１ピクチャのピクチャピラミッドの第２層とし、図２Ｃのピクチャを第１ピクチャのピクチャピラミッドの第３層とする。このように類推すると、第１ピクチャのピクチャピラミッドを得る。同様に、第２ピクチャのピクチャピラミッドを得ることができる。ピクチャピラミッドの各層はいずれも１つのスケールに対応する。

【0028】

続いて、第１ピクチャのピクチャピラミッド及び第２ピクチャのピクチャピラミッドに対して、各スケールで第１ピクチャに対応する第１特徴マップ及び第２ピクチャに対応する第２特徴マップをそれぞれ取得する。

【0029】

例えば、スケール集合｛１，２，……Ｌ｝におけるいずれか１つのスケールに対して、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ：スケール不変特徴変換）の方式又は訓練されたニューラルネットワークを利用して、第１ピクチャのピクチャピラミッドの第

【0030】

【化1】

【0031】

層のピクチャ及び第２ピクチャのピクチャピラミッドの第

【0032】

【化2】

【0033】

層のピクチャに対してそれぞれ特徴抽出を行い、スケール

【0034】

【化3】

【0035】

での第１ピクチャに対応する第１特徴マップ及びスケール

【0036】

【化4】

【0037】

での第２ピクチャに対応する第２特徴マップを得る。ここで、

【0038】

【化5】

【0039】

は、上記スケール集合におけるいずれか１つのスケールである。任意選択的に、訓練されたニューラルネットワークとしてｇｏｏｇｌｅｎｅｔネットワークを用いることができる。本願は、これを限定するものではない。

【0040】

例えば、図５Ａに示すように、スケール集合におけるスケール２を利用して、第１ピクチャに対して、左上隅、左下隅、右上隅及び右下隅という４つの空間ウィンドウにそれぞれ対応する４つの第１特徴マップを抽出することができる。例えば、図５Ｂに示すように、スケール集合におけるスケール３を利用して、第２ピクチャに対して、９個の空間ウィンドウにそれぞれ対応する９個の第２特徴マップを抽出することができる。

【0041】

ステップ１０２において、前記所定の複数のスケールのうちの各スケールに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出する。

【0042】

本願の実施例において、任意の２つの空間位置は、同じであってもよく、異なってもよい。ターゲットスケール組み合わせは、所定の複数のスケールのうちのいずれか１つの第１スケール及びいずれか１つの第２スケールを含み、第１スケールと第２スケールは、同じであってもよく、異なってもよい。ここで、第１特徴マップは、第１スケールに対応し、第２特徴マップは、第２スケールに対応する。

【0043】

例えば、第１スケールをスケール２とすれば、第１ピクチャに対して、現在のスケールで、４つの空間ウィンドウにそれぞれ対応する４つの第１特徴マップをそれぞれ抽出することができる。第２スケールをスケール３とすれば、第２ピクチャに対して、９個の空間ウィンドウにそれぞれ対応する９個の第２特徴マップをそれぞれ抽出することができる。

【0044】

この場合、スケール２及びスケール３からなるターゲットスケール組み合わせで、第１ピクチャの任意の１つの空間位置の第１特徴マップと第２ピクチャの任意の１つの空間位置の第２特徴マップとの間の類似度値を算出する必要がある。計４×９＝３６個の類似度値を算出する。

【0045】

勿論、第２スケールと第１スケールが同じであり、いずれもスケール２であると、４×４＝１６個の類似度値を得る。

【0046】

本願の実施例において、第１スケールと第２スケールが同じであることを例として、類似度値ピラミッドを得ることができる。例えば、図６に示すように、第１スケールと第２スケールがいずれもスケール１である場合、１つの類似度値を得て、即ち、グローバルな類似度値を得る。該類似度値は、類似度値ピラミッドの第１層とする。第１スケールと第２スケールがいずれもスケール２である場合、１６個の局所的類似度値を得る。該１６個の類似度値は、類似度値ピラミッドの第２層とする。第１スケールと第２スケールがいずれもスケール３である場合、８１個の局所的類似度値を得る。該８１個の類似度値は、類似度値ピラミッドの第３層とする。類推すると、類似度値ピラミッドを得ることができる。

【0047】

ステップ１０３において、各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成する。

【0048】

本願の実施例において、例えば図７に示すように、ターゲット無向グラフの各ノードは、１つの類似度値に対応し、各類似度値は、１つのターゲットスケール組み合わせに対応し、ターゲット無向グラフの辺は、２つノードの間の重み値であらわされてもよく、該重み値は、正規化処理された正規化重み値であってもよい。ターゲット無向グラフにより、２枚のピクチャの間の類似度をより直観的に表すことができる。

【0049】

ステップ１０４において、前記ターゲット無向グラフを事前構築されたターゲットグラフニューラルネットワークに入力し、前記ターゲットグラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするターゲットピクチャに属するかどうかを決定する。

【0050】

本願の実施例において、ターゲットグラフニューラルネットワークは、事前構築された、複数のグラフ畳み込み層及び非線形活性化関数ＲｅＬＵ層を含むグラフニューラルネットワークであってもよい。該グラフニューラルネットワークの出力結果は、無向グラフのノードの間の類似度の確率値である。

【0051】

グラフニューラルネットワークを訓練する場合、サンプルピクチャライブラリにおける任意の２枚のタグ付きサンプルピクチャを用いて、まず、所定の複数のスケールのうちの各スケールで２枚のサンプルピクチャにそれぞれ対応するピクチャを得て、続いて、得られたピクチャに対してそれぞれ特徴抽出を行い、２枚のサンプルピクチャの、各スケールに対応する複数のサンプル特徴マップをそれぞれ得て、各ターゲットスケール組み合わせで、２枚のサンプル特徴マップの間の類似度値を算出し、各前記ターゲットスケール組み合わせに対応するサンプル特徴マップの間の前記類似度値に基づいて、サンプル無向グラフを作成する。上記プロセスは、ステップ１０１から１０３と同じであり、ここで、詳細な説明を省略する。

【0052】

該２枚のサンプルピクチャがタグ又は他の情報を持つため、該２枚のサンプルピクチャがマッチングするかどうかを決定することができる。該２枚のサンプルピクチャがマッチングすると仮定すれば、サンプル無向グラフをグラフニューラルネットワークの入力値として、グラフニューラルネットワークを訓練し、マッチングする該２枚のサンプルピクチャにより、グラフニューラルネットワークから出力されたサンプル無向グラフのノードの間の類似度の確率値を所定の閾値より大きくすることで、本願の実施例に必要なターゲットグラフニューラルネットワークを得る。

【0053】

本願の実施例において、ターゲットグラフニューラルネットワークが事前構築された後、ステップ１０３で得られたターゲット無向グラフをターゲットグラフニューラルネットワークに直接的に入力し、ターゲットグラフニューラルネットワークから出力されたターゲット無向グラフのノードの間の類似度の確率値に基づいて、第２ピクチャが第１ピクチャとマッチングするターゲットピクチャであるかどうかを決定することができる。

【0054】

任意選択的に、ターゲット無向グラフのノードの間の類似度の確率値が所定の閾値より大きいと、第２ピクチャは、第１ピクチャとマッチングするターゲットピクチャであり、そうでなければ、第２ピクチャは、第１ピクチャとマッチングするターゲットピクチャではない。

【0055】

本願の実施例において、ピクチャライブラリにおける各第２ピクチャに対して上記方式でサーチした後、該ピクチャライブラリにおける、第１ピクチャとマッチングするターゲットピクチャを得ることができる。

【0056】

上記実施例において、所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及びピクチャライブラリにおける第２ピクチャに対して特徴抽出を行い、第１ピクチャに対応する複数の第１特徴マップ及び第２ピクチャに対応する複数の第２特徴マップを得る。前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する第１特徴マップと第２特徴マップとの間の類似度値を算出する。これにより、各ターゲットスケール組み合わせに対応する類似度値に基づいて、ターゲット無向グラフを作成する。ターゲット無向グラフを事前構築されたターゲットグラフニューラルネットワークに入力することで、第２ピクチャが第１ピクチャとマッチングするターゲットピクチャに属するかどうかを決定することができる。上記プロセスにより、２枚のピクチャの全体スケールによりグローバルな類似度の分析することに限定されず、所定の複数のスケールにより、類似度の分析を行い、任意の２つの空間位置に位置する、第１スケールの第１ピクチャに対応する第１特徴マップと第２スケールの第２ピクチャに対応する第２特徴マップとの局所的類似度値に基づいて、ピクチャの間がマッチングするかどうかを決定する。従って、マッチング精度がより高く、ロバスト性がより高い。

【0057】

幾つかの任意選択的な実施例において、所定の複数のスケールは、第３スケール及び少なくとも１つの第４スケールを含む。ここで、第３スケールは、前記第１ピクチャにおける全ての画素点を含むスケールである。例えば、第３スケールは、スケール集合におけるスケール１であり、ピクチャの全体スケールに対応する。

【0058】

第４スケールは、前記第３スケールより小さく、例えば、第４スケールはスケール２である。例えば、図８に示すように、対応的に、第１ピクチャ又は第２ピクチャを２×２個の小スケールのピクチャに分割する。

【0059】

本願の実施例において、第１ピクチャと第２ピクチャとの全体類似度に限定されず、異なるスケールでのピクチャの間の類似度を考慮することで、マッチング結果の精度を向上させることができ、ロバスト性がより高い。

【0060】

幾つかの任意選択的な実施例において、例えば図９に示すように、ステップ１０１は、下記ステップを含んでもよい。

【0061】

ステップ１０１－１において、前記所定の複数のスケールのうちの各スケールに応じて、前記第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記各スケールで前記第１ピクチャに対応する複数の第１特徴点及び前記第２ピクチャに対応する複数の第２特徴点を得る。

【0062】

本願の実施例において、まず、例えばスケール集合｛１，２，…Ｌ｝における各スケールのような所定の複数のスケールに応じて、第１ピクチャに対応するピクチャ及び第２ピクチャに対応するピクチャをそれぞれ得る。例えば、スケール２で、第１ピクチャは、４つのピクチャに対応し、第２ピクチャも４つのピクチャに対応する。

【0063】

更に、例えばＳＩＦＴ又は訓練されたニューラルネットワークを利用して、各スケールで第１ピクチャに対応するピクチャ及び第２ピクチャに対応するピクチャに対してそれぞれ特徴抽出を行い、各スケールで第１ピクチャに対応する複数の第１特徴点及び第２ピクチャに対応する複数の第２特徴点を得る。例えば、スケール２で、第１ピクチャに対応する４つのピクチャに対してそれぞれ特徴抽出を行い、スケール２で、第１ピクチャに対応する複数の第１特徴点を得ることができる。

【0064】

任意選択的に、訓練されたニューラルネットワークとしてｇｏｏｇｌｅｎｅｔネットワークを用いることができる。本願は、これを限定するものではない。

【0065】

ステップ１０１－２において、前記各スケールで前記第１ピクチャに対応する前記複数の第１特徴点のうち、各所定のプーリングウィンドウ内に位置する全ての第１特徴点のうちの特徴値が最も大きい前記第１特徴点を第１ターゲット特徴点とする。

【0066】

所定のプーリングウィンドウは、複数の特徴点を含む事前設定されたプーリングウィンドウである。本願の実施例において、各所定のプーリングウィンドウ内で、各所定のプーリングウィンドウに含まれる全ての特徴点に対して特徴次元低減を行うことができる。例えば、最大プーリング化の方式で、各所定のプーリングウィンドウに含まれる全ての特徴点から特徴値が最も大きい特徴点を選択して該所定のプーリングウィンドウに対応するターゲット特徴点とする。該所定のプーリングウィンドウ内の他の特徴点は捨てられてもよい。

【0067】

例えば、所定のプーリングウィンドウ内に含まれる特徴点の数は、４であると、各スケールで第１ピクチャに対応する複数の第１特徴点のうち、図１０Ａに示すように、各所定のプーリングウィンドウ内の全ての第１特徴点のうちの特徴値が最も大きい第１特徴点を第１ターゲット特徴点とすることができる。例えば、図１０Ａにおいて、第１特徴点３を最初の所定のプーリングウィンドウ内の第１ターゲット特徴点とし、第１特徴点５を２番目の所定のプーリングウィンドウ内の第１ターゲット特徴点とする。

【0068】

ステップ１０１－３において、前記各スケールで前記第２ピクチャに対応する前記複数の第２特徴点のうち、前記各所定のプーリングウィンドウ内に位置する全ての第２特徴点のうちの特徴値が最も大きい前記第２特徴点を第２ターゲット特徴点とする。

【0069】

各スケールでの第１ピクチャに対してステップ１０１－２と同様な方式で、第２ターゲット特徴点を決定する。

【0070】

上記ステップ１０１－２及び１０１－３は、各スケールでの第１ピクチャに対応する複数の第１特徴点及び第２ピクチャに対応する複数の第２特徴点に対してそれぞれ最大プーリング化処理を行う。本願の実施例において、最大プーリング化処理に限定されず、各スケールでの第１ピクチャに対応する複数の第１特徴点及び第２ピクチャに対応する複数の第２特徴点に対してそれぞれ平均プーリング化処理などを行うこともできる。ここで、平均プーリング化処理は、各所定のプーリングウィンドウ内の全ての特徴点の特徴値の平均値を求め、該平均値を該所定のプーリングウィンドウ内の画像領域に対応する特徴値とすることである。

【0071】

例えば、図１０Ｂに示すように、ある所定のプーリングウィンドウ内に４つの第１特徴点が含まれ、対応する特徴値は、それぞれ７、８、２、７である。４つの値の平均値は、６である。平均プーリング化処理を行う場合、該所定のプーリングウィンドウ内の画像領域の特徴値を平均値６と決定することができる。

【0072】

ステップ１０１－４において、前記各スケールに対応する、前記第１ターゲット特徴点からなる第１特徴マップ及び前記第２ターゲット特徴点からなる第２特徴マップをそれぞれ得る。

【0073】

各スケールに対して決定された全ての第１ターゲット特徴点は、各スケールに対応する第１特徴マップを構成し、全ての第２ターゲット特徴点は、各スケールに対応する第２特徴マップを構成する。

【0074】

幾つかの任意選択的な実施例において、ステップ１０２に対して、下記式１により、ターゲットスケール組み合わせに対応する前記類似度値

【0075】

【化6】

【0076】

を算出することができる。

【0077】

【数1】

【0078】

ただし、

【0079】

【化7】

【0080】

は、第１スケール

【0081】

【化8】

【0082】

での第

【0083】

【化9】

【0084】

個の前記空間位置での、第１ピクチャの特徴値であり、

【0085】

【化10】

【0086】

は、第２スケール

【0087】

【化11】

【0088】

での第

【0089】

【化12】

【0090】

個の前記空間位置での、第２ピクチャの特徴値である。

【0091】

【化13】

【0092】

は、所定の投影行列であり、特徴差分ベクトルをＣ次元からＤ次元に低減させることができる。

【0093】

【化14】

【0094】

は、実数集合を表す。

【0095】

【化15】

【0096】

は、実数からなるＤ次元×Ｃ次元の行列を表す。

【0097】

【化16】

【0098】

は、＊のＬ２ノルムであり、つまり、ユークリッドノルムである。ｉ及びｊはそれぞれプーリングウィンドウのインデックスを表す。例えば、第１スケールが３×３であると、ｉは、［１，９］にある任意の自然数であってもよく、第２スケールが２×２であると、ｊは、［１，４］にある任意の自然数であってもよい。

【0099】

本願の実施例において、第１スケールと第２スケールが同じであるかどうかに関わらず、上記式１により、ターゲットスケール組み合わせに対応する前記類似度値を算出することもできる。ここで、ターゲットスケール組み合わせは、上記第１スケール及び第２スケールを含む。

【0100】

幾つかの任意選択的な実施例において、例えば、図１１に示すように、上記ステップ１０３は、下記ステップを含んでもよい。

【0101】

ステップ１０３－１において、各前記ターゲットスケール組み合わせに対応する前記類似度値のうちの任意の２つの類似度値の間の重み値を決定する。

【0102】

本願の実施例において、下記式２により、任意の２つの類似度値の間の重み値

【0103】

【化17】

【0104】

を直接的に算出することができる。

【0105】

【数2】

【0106】

ただし、

【0107】

【化18】

【0108】

である。

【0109】

【化19】

【0110】

は、各ノードの出力辺の線形変換行列に対応する。

【0111】

【化20】

【0112】

は、各ノードの入力辺の線形変換行列に対応する。

【0113】

【化21】

【0114】

は、実数集合を表す。

【0115】

【化22】

【0116】

は、実数からなるＤ次元ｘＤ次元の行列を表す。任意選択的に、スケール

【0117】

【化23】

【0118】

は、同じであってもよく、異なってもよい。

【0119】

本願の実施例において、ターゲット無向グラフにおけるノードが同一のスケール

【0120】

【化24】

【0121】

の第１特徴マップと第２特徴マップとの間の類似度値であると、該ノードの重み値の算出方式は、式３に示すとおりである。

【0122】

【数3】

【0123】

ただし、ａｒｇｍａｘは、最大値を求めるための演算である。

【0124】

ターゲット無向グラフにおけるノードがスケール

【0125】

【化25】

【0126】

に対応する第１特徴マップとスケール

【0127】

【化26】

【0128】

に対応する第２特徴マップとの間の類似度値であり、

【0129】

【化27】

【0130】

が異なる場合、上記式３に対して適応的変換を行うことができる。式３を基礎として変換を行うことで得られた重み値の如何なる演算方式は、いずれも本願の保護範囲内に含まれる。

【0131】

ステップ１０３－２において、前記重み値を正規化処理した後、正規化重み値を得る。

【0132】

例えば、ｓｏｆｔｍａｘ関数のような正規化関数を利用して、２つの類似度値

【0133】

【化28】

【0134】

との間の重み値

【0135】

【化29】

【0136】

の正規化値を算出することができる。

【0137】

ステップ１０３－３において、各前記ターゲットスケール組み合わせに対応する前記類似度値をそれぞれ前記ターゲット無向グラフのノードとし、前記正規化重み値を前記ターゲット無向グラフの辺とし、前記ターゲット無向グラフを作成する。

【0138】

例えば、

【0139】

【化30】

【0140】

をターゲット無向グラフの２つのノードとすると、該２つのノード間の辺は、

【0141】

【化31】

【0142】

との間の正規化重み値である。上記方式でターゲット無向グラフを得ることができる。

【0143】

幾つかの任意選択的な実施例において、上記ステップ１０４に対して、ステップ１０３で作成されたターゲット無向グラフを事前構築されたターゲットグラフニューラルネットワークに入力することができる。

【0144】

本願の実施例において、ターゲットグラフニューラルネットワークを構築する場合、まず、複数のグラフ畳み込み層及び非線形活性化関数ＲｅＬＵ層を含むグラフニューラルネットワークを構築し、サンプルピクチャライブラリにおける任意の２枚のタグ付きサンプルピクチャを利用して、上記ステップ１０１から１０３と同様な方式でサンプル無向グラフを構築することができる。ここで、詳細な説明を省略する。

【0145】

該２枚のサンプルピクチャがタグ又は他の情報を持つため、該２枚のサンプルピクチャがマッチングするかどうかを決定することができる。該２枚のサンプルピクチャがマッチングすると仮定すれば、サンプル無向グラフを該グラフニューラルネットワークの入力値として、グラフニューラルネットワークを訓練し、マッチングする該２枚のサンプルピクチャにより、グラフニューラルネットワークから出力されたサンプル無向グラフのノードの間の類似度の確率値を所定の閾値より大きくすることで、本願の実施例に必要なターゲットグラフニューラルネットワークを得る。

【0146】

ターゲットグラフニューラルネットワークにおいて、例えばｓｏｆｔｍａｘ関数のような正規化関数により、類似度の確率値を出力することができる。

【0147】

本願の実施例において、ターゲット無向グラフを上記ターゲットグラフニューラルネットワークに入力することができる。スケール集合にスケールを追加する毎に得られたターゲット無向グラフは、異なる。例えば、スケール集合にスケール１及びスケール２のみが含まれる場合、ターゲット無向グラフ１を得る。スケール集合にスケール１、スケール２及びスケール３が含まれる場合、ターゲット無向グラフ２を得る。ターゲット無向グラフ１とターゲット無向グラフ２は異なる。ターゲットグラフニューラルネットワークは、スケール集合におけるスケールの数に応じてターゲット無向グラフを随時に更新することができる。

【0148】

更に、上記ステップ１０４は、
前記類似度の確率値が所定の閾値より大きい場合、前記第２ピクチャが前記第１ピクチャとマッチングする前記ターゲットピクチャに属すると決定することを含んでもよい。

【0149】

ターゲットグラフニューラルネットワークを利用して、入力されたターゲット無向グラフを分析し、出力されたターゲット無向グラフのノードの間の類似度の確率値に基づいて、類似度の確率値が所定の閾値より大きい第２ピクチャを第１ピクチャとマッチングするターゲットピクチャとする。

【0150】

上記方式で、ピクチャライブラリにおける全てのピクチャをサーチし、第１ピクチャとマッチングするターゲットピクチャを得ることができる。

【0151】

上記実施例において、異なるスケールでの第１ピクチャと第２ピクチャの局所的特徴を結合して、ピクチャの間の類似度を評価することができる。マッチング精度がより高く、ロバスト性がより高い。

【0152】

幾つかの任意選択的な実施例において、例えば、ユーザがあるＡｐｐを閲覧する場合、該Ａｐｐが当季の新しく登場された服装を推奨したことを発見した。ユーザは、もう１つのショッピングウェブサイトから、新しく登場された服装と類似する服装を購入したい。この場合、Ａｐｐで提供された新しく登場された服装のピクチャを第１ピクチャとし、ショッピングウェブサイトで提供された全ての服装のピクチャを第２ピクチャとすることができる。

【0153】

本願の実施例の上記ステップ１０１から１０４の方法により、ショッピングウェブサイトにおいて、ユーザの購入したい新しく登場された服装と類似する服装のピクチャが直接的に見つかることができる。ユーザは、発注して購入することができる。

【0154】

また例えば、ユーザは、オフラインの実店舗で一台の家電が気に入った。ユーザは、ウェブサイトから類似する製品をサーチしたい。この場合、ユーザは、携帯電話などの端末により実店舗における家電の写真を撮り、撮られたピクチャを第１ピクチャとして、サーチしたいウェブサイトを開き、該ウェブサイトにおける全てのピクチャをいずれも第２ピクチャとする。

【0155】

同様に、本願の実施例の上記ステップ１０１から１０４の方法により、該ウェブサイトにおいて、類似する家電のピクチャ及び該家電の価格が見つかることができる。ユーザは、価格がより低い家電を選択して購入することができる。

【0156】

幾つかの任意選択的な実施例において、例えば、図１２は、本願で提供されるピクチャ検索ネットワークの構造図である。

【0157】

該ピクチャ検索ネットワークは、特徴抽出部と、類似度算出部と、マッチング結果決定部と、を備える。

【0158】

ここで、第１ピクチャ及びピクチャライブラリにおける第２ピクチャに対して特徴抽出部により、特徴抽出を行い、複数のスケールでの第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることができる。任意選択的に、特徴抽出部としてｇｏｏｇｌｅｎｅｔネットワークを用いることができる。ここで、第１ピクチャ及び第２ピクチャは、同一の特徴抽出器を共有してもよく、又は２つの特徴抽出器は、同一組のパラメータを共有してもよい。

【0159】

更に、類似度算出部により、上記式１を用いて、同一の前記スケールで、同一の空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出し、複数の類似度値を得ることができる。

【0160】

更に、マッチング結果決定部により、まず、複数の類似度値に基づいて、ターゲット無向グラフを作成し、ターゲット無向グラフを事前構築されたターゲットグラフニューラルネットワークに入力し、ターゲットグラフニューラルネットワークに基づいて、図形推論を行い、最後に出力されたターゲット無向グラフの前記ノードの間の類似度の確率値に基づいて、第２ピクチャが第１ピクチャとマッチングするターゲットピクチャに属するかどうかを決定する。

【0161】

上記実施例において、異なるスケールでの第１ピクチャと第２ピクチャの局所的特徴を結合して、ピクチャの間の類似度を評価することができ、マッチング精度がより高く、ロバスト性がより高い。

【0162】

上記方法実施例に対応するように、本願は、装置の実施例を更に提供する。

【0163】

図１３に示すように、図１３は、本願の一例示的な実施例によるピクチャ検索装置を示すブロック図である。装置は、所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得るように構成される特徴抽出モジュール２１０であって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、特徴抽出モジュール２１０と、前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出するように構成される算出モジュール２２０であって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、算出モジュール２２０と、各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成するように構成される無向グラフ作成モジュール２３０と、前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定するように構成されるマッチング結果決定モジュール２４０と、を備える。

【0164】

上記実施例において、２枚のピクチャの全体スケールによりグローバルな類似度の分析することに限定されず、所定の複数のスケールにより、類似度の分析を行い、任意の２つの空間位置に位置する、第１スケールの第１ピクチャに対応する第１特徴マップと第２スケールの第２ピクチャに対応する第２特徴マップとの局所的類似度値に基づいて、２枚のピクチャがマッチングするかどうかを決定する。従って、マッチング精度がより高く、ロバスト性がより高い。

【0165】

幾つかの任意選択的な実施例において、前記所定の複数のスケールは、第３スケール及び少なくとも１つの第４スケールを含み、前記第３スケールは、前記第１ピクチャにおける全ての画素点を含むスケールであり、前記第４スケールは、前記第３スケールより小さい。

【0166】

上記実施例において、所定の複数のスケールは、第３スケール及び少なくとも１つの第４スケールを含み、第３スケールは、第１ピクチャの全体スケールであり、第４スケールは、第３スケールより小さくてもよい。従って、第１ピクチャと第２ピクチャとの類似度を算出する場合、２枚のピクチャの全体類似度に限定されず、異なるスケールでのピクチャの間の類似度を考慮する。従って、マッチング結果の精度を向上させることができ、ロバスト性がより高い。

【0167】

幾つかの任意選択的な実施例において、前記特徴抽出モジュール２１０は、前記所定の複数のスケールのうちの各スケールに応じて、前記第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記各スケールで前記第１ピクチャに対応する複数の第１特徴点及び前記第２ピクチャに対応する複数の第２特徴点を得るように構成される特徴抽出サブモジュールと、前記各スケールで前記第１ピクチャに対応する前記複数の第１特徴点のうち、各所定のプーリングウィンドウ内に位置する全ての第１特徴点のうちの特徴値が最も大きい前記第１特徴点を第１ターゲット特徴点とするように構成される第１決定サブモジュールと、前記各スケールで前記第２ピクチャに対応する前記複数の第２特徴点のうち、前記各所定のプーリングウィンドウ内に位置する全ての第２特徴点のうちの特徴値が最も大きい前記第２特徴点を第２ターゲット特徴点とするように構成される第２決定サブモジュールと、前記各スケールに対応する、前記第１ターゲット特徴点からなる第１特徴マップ及び前記第２ターゲット特徴点からなる第２特徴マップをそれぞれ得るように構成される取得サブモジュールと、を備える。

【0168】

上記実施例において、最大プーリング化の方式で、各スケールでの第１ピクチャの複数の第１特徴点及び第２ピクチャの複数の第２特徴点に対して処理を行い、第１ピクチャ及び第２ピクチャにおける重要な要素情報に更に注目する。これにより、後続で第１特徴マップと第２特徴マップとの間の類似度値の算出の正確性を向上させると共に、演算量を低減させる。

【0169】

幾つかの任意選択的な実施例において、前記算出モジュール２２０は、第ｉ個の空間位置での、前記第１スケールに対応する前記第１特徴マップの特徴値と、第ｊ個の空間位置での、前記第２スケールに対応する前記第２特徴マップの特徴値との差の平方和を算出するように構成される第１算出サブモジュールと、前記平方和と所定の投影行列との積を算出するように構成される第２算出サブモジュールであって、前記所定の投影行列は、特徴差分ベクトル次元を低減させるための投影行列である、第２算出サブモジュールと、前記積のユークリッドノルムを算出するように構成される第３算出サブモジュールと、前記積と前記ユークリッドノルムとの商をターゲットスケール組み合わせに対応する前記類似度値とするように構成される第４算出サブモジュールと、を備える。

【0170】

上記実施例において、任意の２つの空間位置での、第１スケールに対応する第１特徴マップと第２スケールに対応する第２特徴マップとの間の類似度値を算出することができる。ここで、第１スケールと第２スケールは同じであってもよく、異なってもよく、利用可能性が高い。

【0171】

幾つかの任意選択的な実施例において、前記無向グラフ作成モジュール２３０は、各前記ターゲットスケール組み合わせに対応する前記類似度値のうちの任意の２つの前記類似度値の間の重み値を決定するように構成される第３決定サブモジュールと、前記重み値を正規化処理した後、正規化重み値を得るように構成される正規化処理サブモジュールと、各前記ターゲットスケール組み合わせに対応する前記類似度値をそれぞれ前記無向グラフのノードとし、前記正規化重み値を前記無向グラフの辺とし、前記無向グラフを作成するように構成される無向グラフ作成サブモジュールと、を備える。

【0172】

上記実施例において、無向グラフを作成する場合、各ターゲットスケール組み合わせに対応する前記類似度値を無向グラフのノードとし、任意の２つのノードの間の重み値を正規化処理した後に得られた正規化重み値を無向グラフの辺とし、ターゲット無向グラフにより、複数のスケールでの２枚のピクチャの類似度を融合することで、マッチング結果の精度を向上させ、ロバスト性がより高い。

【0173】

幾つかの任意選択的な実施例において、前記ターゲットグラフニューラルネットワークの前記出力結果は、前記ターゲット無向グラフの前記ノードの間の類似度の確率値を含み、前記マッチング結果決定モジュール２４０は、前記類似度の確率値が所定の閾値より大きい場合、前記第２ピクチャが前記第１ピクチャとマッチングする前記ターゲットピクチャに属すると決定するように構成される第４決定サブモジュールを備える。

【0174】

上記実施例において、ターゲット無向グラフをターゲットグラフニューラルネットワークに入力し、ターゲットグラフニューラルネットワークから出力されたターゲット無向グラフのノードの間の類似度の確率値が所定の閾値より大きいかどうかに基づいて、第２ピクチャが第１ピクチャとマッチングするターゲットピクチャであるかどうかを決定することができる。ノードの間の類似度の確率値が大きい場合、第２ピクチャを第１ピクチャとマッチングするターゲットピクチャとする。上記プロセスにより、ピクチャライブラリから、第１ピクチャとマッチングするターゲットピクチャをより正確に見付けることができ、サーチ結果がより正確である。

【0175】

装置実施例にとって、それは、ほぼ方法実施例に対応する。従って、関連する部分は方法実施例の部分的な説明を参照すればよい。以上に記載した装置の実施例はただ例示的なものである。分離部材として説明したユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本願の方策の目的を実現することができる。当業者は創造的な労働を経ずに、理解し実施することができる。

【0176】

本願の実施例は、機器可読記憶媒体を更に提供する。前記記憶媒体に、機器による実行可能な命令が記憶されており、前記機器による実行可能な命令は、上記いずれか一項に記載のピクチャ検索方法を実行するように構成される。

【0177】

本願の実施例は、ピクチャ検索装置を更に提供する。前記装置は、プロセッサと、前記プロセッサによる実行可能な命令を記憶するための記憶媒体と、を備え、前記プロセッサは、前記記憶媒体に記憶される実行可能な命令を呼び出して、上記いずれか一項に記載のピクチャ検索方法を実現させるように構成される。

【0178】

幾つかの任意選択的な実施例において、本願の実施例は、コンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが装置で実行される場合、装置におけるプロセッサは、上記いずれか１つの実施例で提供されるピクチャ検索方法を実現するための命令を実行する。

【0179】

幾つかの任意選択的な実施例において、本願の実施例は、もう１つのコンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読命令を記憶するためのものであり、命令が実行される場合、コンピュータに、上記いずれか１つの実施例で提供されるピクチャ検索方法を実行させる。

【0180】

該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はそれらの組み合わせにより実現することができる。任意選択的な実施例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体として具現化され、もう１つの任意選択的な実施例において、コンピュータプログラム製品は具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）などのようなソフトウェア製品として具現化される。

【0181】

幾つかの任意選択的な実施例において、幾つかの実施例によるピクチャ検索装置１４００の構造を示す概略図である図１４に示すように、装置１４００は、処理コンポーネント１４２２とメモリ１４３２で表されるメモリリソースとを備え、処理コンポーネント１４２２は、1つ又は複数のプロセッサを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント１４２２により実行される命令を記憶するためのものである。メモリ１４３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理コンポーネント１４２２は、命令を実行して、上記いずれか１つのピクチャ検索方法を実行するように構成される。

【0182】

装置１４００は、装置１４００の電源管理を実行するように構成される電源コンポーネント１４２６と、装置１４００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１４５０と、入力出力（Ｉ／Ｏ）インタフェース１４５８を更に備えてもよい。装置１４００は、Ｗｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭ又は類似するものような、メモリ１４３２に記憶されているオペレーティングシステムを実行することができる。

【0183】

本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器におけるプロセッサは、前記方法を実行する。

【0184】

当業者は明細書を検討し、ここで開示した発明を実践した後、本発明のその他の実施方案を容易に思いつくことができる。本願は、本願の実施例のいかなる変形、用途または適応的変化を含むことを目指し、これらの変化、変形、用途または適応的変化が、本開示の一般的な原理に従いかつ本開示に開示されない本技術分野の周知常識と慣用技術手段を含む。明細書と実施例は、ただ例示的なものであって、本願の本当の範囲と主旨は、以下の特許請求の範囲によって示される。

【0185】

以上は、本願の好適な実施例に過ぎず、本願を限定するものではない。本発明の主旨及び原則内でのいずれの修正、等同の交換、改進などのすべてが本発明の保護範囲内に含まれる。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2021-11-09

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ピクチャ検索方法であって、前記方法は、所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることであって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、ことと、
前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出することであって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、ことと、
各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することと、
前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することと、を含むことを特徴とする、ピクチャ検索方法。

【請求項2】

前記所定の複数のスケールは、第１ピクチャにおける全ての画素点を含むスケールであることを特徴とする
請求項１に記載の方法。

【請求項3】

所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることは、
前記所定の複数のスケールのうちの各スケールに応じて、前記第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記各スケールで前記第１ピクチャに対応する複数の第１特徴点及び前記第２ピクチャに対応する複数の第２特徴点を得ることと、
前記各スケールで前記第１ピクチャに対応する前記複数の第１特徴点のうち、各所定のプーリングウィンドウ内に位置する全ての第１特徴点のうちの特徴値が最も大きい前記第１特徴点を第１ターゲット特徴点とすることと、
前記各スケールで前記第２ピクチャに対応する前記複数の第２特徴点のうち、前記各所定のプーリングウィンドウ内に位置する全ての第２特徴点のうちの特徴値が最も大きい前記第２特徴点を第２ターゲット特徴点とすることと、
前記各スケールに対応する、前記第１ターゲット特徴点からなる第１特徴マップ及び前記第２ターゲット特徴点からなる第２特徴マップをそれぞれ得ることと、を含むことを特徴とする
請求項１又は２に記載の方法。

【請求項4】

前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出することは、
第１空間位置での、前記第１スケールに対応する前記第１特徴マップの特徴値と、第２空間位置での、前記第２スケールに対応する前記第２特徴マップの特徴値との差の平方和を算出することであって、前記第１空間位置は、前記第１特徴マップの任意のプーリングウィンドウ位置を表し、前記第２空間位置は、前記第２特徴マップの任意のプーリングウィンドウ位置を表す、ことと、
前記平方和と所定の投影行列との積を算出することであって、前記所定の投影行列は、特徴差分ベクトル次元を低減させるための投影行列である、ことと、
前記積のユークリッドノルムを算出することと、
前記積と前記ユークリッドノルムとの商をターゲットスケール組み合わせに対応する前記類似度値とすることと、を含むことを特徴とする
請求項１－３のうちいずれか一項に記載の方法。

【請求項5】

各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することは、
各前記ターゲットスケール組み合わせに対応する前記類似度値のうちの任意の２つの前記類似度値の間の重み値を決定することと、
前記重み値を正規化処理した後、正規化重み値を得ることと、
各前記ターゲットスケール組み合わせに対応する前記類似度値をそれぞれ前記無向グラフのノードとし、前記正規化重み値を前記無向グラフの辺とし、前記無向グラフを作成することと、を含むことを特徴とする
請求項１－４のうちいずれか一項に記載の方法。

【請求項6】

前記グラフニューラルネットワークの前記出力結果は、前記無向グラフの前記ノードの間の類似度の確率値を含み、
前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することは、
前記類似度の確率値が所定の閾値より大きい場合、前記第２ピクチャが前記第１ピクチャとマッチングすると決定することを含むことを特徴とする
請求項１－５のうちいずれか一項に記載の方法。

【請求項7】

ピクチャ検索装置であって、前記装置は、
所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得るように構成される特徴抽出モジュールであって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、特徴抽出モジュールと、
前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出するように構成される算出モジュールであって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、算出モジュールと、
各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成するように構成される無向グラフ作成モジュールと、
前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定するように構成されるマッチング結果決定モジュールと、を備えることを特徴とする、ピクチャ検索装置。

【請求項8】

機器可読記憶媒体であって、前記記憶媒体に機器による実行可能な命令が記憶されており、前記機器による実行可能な命令は、請求項１－６のうちいずれか一項に記載のピクチャ検索方法を実行するように構成されることを特徴とする、機器可読記憶媒体。

【請求項9】

ピクチャ検索装置であって、前記装置は、
プロセッサと、
前記プロセッサによる実行可能な命令を記憶するための記憶媒体と、を備え、
前記プロセッサは、前記記憶媒体に記憶される実行可能な命令を呼び出して、請求項１－６のうちいずれか一項に記載のピクチャ検索方法を実現させるように構成されることを特徴とする、ピクチャ検索装置。

【請求項10】

コンピュータプログラムであって、前記コンピュータプログラムが電子機器で実行される場合、前記電子機器におけるプロセッサに、請求項１－６のうちいずれか一項に記載の方法を実行させることを特徴とする、コンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正の内容】

【0015】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
例えば、本願は以下の項目を提供する。
（項目１）
ピクチャ検索方法であって、前記方法は、所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることであって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、ことと、
前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出することであって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、ことと、
各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することと、
前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することと、を含むことを特徴とする、ピクチャ検索方法。
（項目２）
前記所定の複数のスケールは、第１ピクチャにおける全ての画素点を含むスケールであることを特徴とする
項目１に記載の方法。
（項目３）
所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得ることは、
前記所定の複数のスケールのうちの各スケールに応じて、前記第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記各スケールで前記第１ピクチャに対応する複数の第１特徴点及び前記第２ピクチャに対応する複数の第２特徴点を得ることと、
前記各スケールで前記第１ピクチャに対応する前記複数の第１特徴点のうち、各所定のプーリングウィンドウ内に位置する全ての第１特徴点のうちの特徴値が最も大きい前記第１特徴点を第１ターゲット特徴点とすることと、
前記各スケールで前記第２ピクチャに対応する前記複数の第２特徴点のうち、前記各所定のプーリングウィンドウ内に位置する全ての第２特徴点のうちの特徴値が最も大きい前記第２特徴点を第２ターゲット特徴点とすることと、
前記各スケールに対応する、前記第１ターゲット特徴点からなる第１特徴マップ及び前記第２ターゲット特徴点からなる第２特徴マップをそれぞれ得ることと、を含むことを特徴とする
項目１又は２に記載の方法。
（項目４）
前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出することは、
第１空間位置での、前記第１スケールに対応する前記第１特徴マップの特徴値と、第２空間位置での、前記第２スケールに対応する前記第２特徴マップの特徴値との差の平方和を算出することであって、前記第１空間位置は、前記第１特徴マップの任意のプーリングウィンドウ位置を表し、前記第２空間位置は、前記第２特徴マップの任意のプーリングウィンドウ位置を表す、ことと、
前記平方和と所定の投影行列との積を算出することであって、前記所定の投影行列は、特徴差分ベクトル次元を低減させるための投影行列である、ことと、
前記積のユークリッドノルムを算出することと、
前記積と前記ユークリッドノルムとの商をターゲットスケール組み合わせに対応する前記類似度値とすることと、を含むことを特徴とする
項目１－３のうちいずれか一項に記載の方法。
（項目５）
各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成することは、
各前記ターゲットスケール組み合わせに対応する前記類似度値のうちの任意の２つの前記類似度値の間の重み値を決定することと、
前記重み値を正規化処理した後、正規化重み値を得ることと、
各前記ターゲットスケール組み合わせに対応する前記類似度値をそれぞれ前記無向グラフのノードとし、前記正規化重み値を前記無向グラフの辺とし、前記無向グラフを作成することと、を含むことを特徴とする
項目１－４のうちいずれか一項に記載の方法。
（項目６）
前記グラフニューラルネットワークの前記出力結果は、前記無向グラフの前記ノードの間の類似度の確率値を含み、
前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定することは、
前記類似度の確率値が所定の閾値より大きい場合、前記第２ピクチャが前記第１ピクチャとマッチングすると決定することを含むことを特徴とする
項目１－５のうちいずれか一項に記載の方法。
（項目７）
ピクチャ検索装置であって、前記装置は、
所定の複数のスケールのうちの各スケールに応じて、第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記第１ピクチャに対応する第１特徴マップ及び前記第２ピクチャに対応する第２特徴マップを得るように構成される特徴抽出モジュールであって、前記第２ピクチャは、ピクチャライブラリにおけるいずれか１つのピクチャである、特徴抽出モジュールと、
前記所定の複数のスケールのいずれか１つのターゲットスケール組み合わせに対して、任意の２つの空間位置に位置する前記第１特徴マップと前記第２特徴マップとの間の類似度値を算出するように構成される算出モジュールであって、前記ターゲットスケール組み合わせは、前記第１特徴マップに対応する第１スケール及び前記第２特徴マップに対応する第２スケールを含み、前記第１スケール及び前記第２スケールはそれぞれ、前記所定の複数のスケールのうちの任意のスケールである、算出モジュールと、
各前記ターゲットスケール組み合わせに対応する前記類似度値に基づいて、無向グラフを作成するように構成される無向グラフ作成モジュールと、
前記無向グラフを事前構築されたグラフニューラルネットワークに入力し、前記グラフニューラルネットワークの出力結果に基づいて、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定するように構成されるマッチング結果決定モジュールと、を備えることを特徴とする、ピクチャ検索装置。
（項目８）
前記所定の複数のスケールは、第１ピクチャにおける全ての画素点を含むスケールであることを特徴とする
項目７に記載の装置。
（項目９）
前記特徴抽出モジュールは、
前記所定の複数のスケールのうちの各スケールに応じて、前記第１ピクチャ及び第２ピクチャに対してそれぞれ特徴抽出を行い、前記各スケールで前記第１ピクチャに対応する複数の第１特徴点及び前記第２ピクチャに対応する複数の第２特徴点を得るように構成される特徴抽出サブモジュールと、
前記各スケールで前記第１ピクチャに対応する前記複数の第１特徴点のうち、各所定のプーリングウィンドウ内に位置する全ての第１特徴点のうちの特徴値が最も大きい前記第１特徴点を第１ターゲット特徴点とするように構成される第１決定サブモジュールと、
前記各スケールで前記第２ピクチャに対応する前記複数の第２特徴点のうち、前記各所定のプーリングウィンドウ内に位置する全ての第２特徴点のうちの特徴値が最も大きい前記第２特徴点を第２ターゲット特徴点とするように構成される第２決定サブモジュールと、
前記各スケールに対応する、前記第１ターゲット特徴点からなる第１特徴マップ及び前記第２ターゲット特徴点からなる第２特徴マップをそれぞれ得るように構成される取得サブモジュールと、を備えることを特徴とする
項目７又は８に記載の装置。
（項目１０）
前記算出モジュールは、
第１空間位置での、前記第１スケールに対応する前記第１特徴マップの特徴値と、第２空間位置での、前記第２スケールに対応する前記第２特徴マップの特徴値との差の平方和を算出するように構成される第１算出サブモジュールであって、前記第１空間位置は、前記第１特徴マップの任意のプーリングウィンドウ位置を表し、前記第２空間位置は、前記第２特徴マップの任意のプーリングウィンドウ位置を表す、第１算出サブモジュールと、
前記平方和と所定の投影行列との積を算出するように構成される第２算出サブモジュールであって、前記所定の投影行列は、特徴差分ベクトル次元を低減させるための投影行列である、第２算出サブモジュールと、
前記積のユークリッドノルムを算出するように構成される第３算出サブモジュールと、
前記積と前記ユークリッドノルムとの商をターゲットスケール組み合わせに対応する前記類似度値とするように構成される第４算出サブモジュールと、を備えることを特徴とする
項目７－９のうちいずれか一項に記載の装置。
（項目１１）
前記無向グラフ作成モジュールは、
各前記ターゲットスケール組み合わせに対応する前記類似度値のうちの任意の２つの前記類似度値の間の重み値を決定するように構成される第３決定サブモジュールと、
前記重み値を正規化処理した後、正規化重み値を得るように構成される正規化処理サブモジュールと、
各前記ターゲットスケール組み合わせに対応する前記類似度値をそれぞれ前記無向グラフのノードとし、前記正規化重み値を前記無向グラフの辺とし、前記無向グラフを作成するように構成される無向グラフ作成サブモジュールと、を備えることを特徴とする
項目７－１０のうちいずれか一項に記載の装置。
（項目１２）
前記グラフニューラルネットワークの前記出力結果は、前記無向グラフの前記ノードの間の類似度の確率値を含み、
前記マッチング結果決定モジュールは、
前記類似度の確率値が所定の閾値より大きい場合、前記第２ピクチャが前記第１ピクチャとマッチングするかどうかを決定するように構成される第４決定サブモジュールを備えることを特徴とする
項目７－１１のうちいずれか一項に記載の装置。
（項目１３）
機器可読記憶媒体であって、前記記憶媒体に機器による実行可能な命令が記憶されており、前記機器による実行可能な命令は、項目１－６のうちいずれか一項に記載のピクチャ検索方法を実行するように構成されることを特徴とする、機器可読記憶媒体。
（項目１４）
ピクチャ検索装置であって、前記装置は、
プロセッサと、
前記プロセッサによる実行可能な命令を記憶するための記憶媒体と、を備え、
前記プロセッサは、前記記憶媒体に記憶される実行可能な命令を呼び出して、項目１－６のうちいずれか一項に記載のピクチャ検索方法を実現させるように構成されることを特徴とする、ピクチャ検索装置。
（項目１５）
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器におけるプロセッサは、項目１－６のうちいずれか一項に記載の方法を実行することを特徴とする、コンピュータプログラム。

【国際調査報告】