知財求人 - 知財ポータルサイト「IP Force」
特表2022-539423画像特徴抽出及びネットワークの訓練方法、装置並びに機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-08
(54)【発明の名称】画像特徴抽出及びネットワークの訓練方法、装置並びに機器
(51)【国際特許分類】
G06V 10/82 20220101AFI20220901BHJP
G06T 7/00 20170101ALI20220901BHJP
G06V 10/771 20220101ALI20220901BHJP
G06F 16/532 20190101ALI20220901BHJP
G06F 16/56 20190101ALI20220901BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06T7/00 300F
G06V10/771
G06F16/532
G06F16/56
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022500674
(86)(22)【出願日】2019-11-21
(85)【翻訳文提出日】2022-01-06
(86)【国際出願番号】 CN2019120028
(87)【国際公開番号】W WO2021036028
(87)【国際公開日】2021-03-04
(31)【優先権主張番号】201910782629.9
(32)【優先日】2019-08-23
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519453342
【氏名又は名称】深▲せん▼市商▲湯▼科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２０１， Ｂｕｉｌｄｉｎｇ Ａ， Ｎｏ． １， Ｑｉａｎｗａｎ Ｒｏａｄ， Ｑｉａｎｈａｉ Ｓｈｅｎｚｈｅｎ－Ｈｏｎｇｋｏｎｇ Ｍｏｄｅｒｎ Ｓｅｒｖｉｃｅ Ｉｎｄｕｓｔｒｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｚｏｎｅ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ （ＣＮ）
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】李▲歳▼▲纏▼
(72)【発明者】
【氏名】▲陳▼大▲鵬▼
(72)【発明者】
【氏名】▲趙▼瑞
【テーマコード（参考）】
5B175
5L096
【Ｆターム（参考）】
5B175DA02
5B175HB03
5L096AA06
5L096BA02
5L096BA18
5L096CA01
5L096DA02
5L096EA39
5L096GA30
5L096HA09
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
本願の実施例は、画像特徴抽出及びネットワークの訓練方法、装置並びに機器を提供する。前記方法は、第１関連マップを取得することであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、ことと、前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることと、を含む。
【特許請求の範囲】
【請求項1】
画像特徴抽出方法であって、前記方法は、第１関連マップを取得することであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、ことと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることと、を含む、画像特徴抽出方法。
【請求項2】
第１関連マップを取得する前に、前記方法は、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することを更に含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することは、特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記ターゲット画像の画像特徴と画像ライブラリにおける各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ターゲット画像と類似する近隣画像を決定することは、前記ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付けることと、
先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とすることと、を含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することは、前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得することと、
前記第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得することと、
前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とすることと、を含むことを特徴とする
請求項３に記載の方法。
【請求項6】
前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数であることを特徴とする
請求項１に記載の方法。
【請求項7】
前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることは、前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定することと、
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることと、
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることと、を含むことを特徴とする
請求項１に記載の方法。
【請求項8】
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることは、前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得ることを含むことを特徴とする
請求項７に記載の方法。
【請求項9】
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることは、マスターノードの画像特徴と前記加重特徴を結合することと、
結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得ることと、を含むことを特徴とする
請求項７に記載の方法。
【請求項10】
前記第１関連マップにおける前記マスターノードと前記近隣ノードとの重みを決定することは、前記マスターノード及び前記近隣ノードに対して線形マッピングを行うことと、
線形マッピング後の前記マスターノード及び前記近隣ノードに対して内積を決定することと、
非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項11】
前記ターゲット画像は、検索対象クエリ用画像及び画像ライブラリにおける各ライブラリ画像を含み、前記更新され後の前記ターゲット画像の画像特徴を得た後、前記方法は、
更新後のターゲット画像の画像特徴と前記各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ライブラリ画像から、前記ターゲット画像と類似する画像を得て検索結果とすることを更に含むことを特徴とする
請求項１～１０のうちいずれか一項に記載の方法。
【請求項12】
特徴更新ネットワークの訓練方法であって、前記特徴更新ネットワークは、画像の画像特徴を更新するためのものであり、前記方法は、第２関連マップを取得することであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、ことと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得ることと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得ることと、
前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整することと、を含む、特徴更新ネットワークの訓練方法。
【請求項13】
前記第２関連マップを取得する前に、前記方法は、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することを更に含むことを特徴とする
請求項１２に記載の方法。
【請求項14】
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得する前に、前記方法は、特徴抽出ネットワークにより、訓練画像の画像特徴を抽出することと、
前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得ることと、
前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整することと、を更に含み、
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することは、
前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、
前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定することと、を含むことを特徴とする
請求項１３に記載の方法。
【請求項15】
画像特徴抽出装置であって、第１関連マップを取得するように構成されるマップ取得モジュールであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、マップ取得モジュールと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得るように構成される特徴更新モジュールと、を備える、画像特徴抽出装置。
【請求項16】
前記装置は、前記マップ取得モジュールが第１関連マップを取得する前に、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得するように構成される近隣取得モジュールを更に備えることを特徴とする
請求項１５に記載の装置。
【請求項17】
前記近隣取得モジュールは、特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定するように構成されることを特徴とする
請求項１６に記載の装置。
【請求項18】
前記近隣取得モジュールは更に、ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付け、
先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とするように構成されることを特徴とする
請求項１７に記載の装置。
【請求項19】
前記近隣取得モジュールは更に、前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各前記ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得し、
第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得し、
前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とするように構成されることを特徴とする
請求項１７に記載の装置。
【請求項20】
前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数であることを特徴とする
請求項１５に記載の装置。
【請求項21】
前記特徴更新モジュールは、前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定し、
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得て、
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得るように構成されることを特徴とする
請求項１５に記載の装置。
【請求項22】
前記特徴更新モジュールは更に、前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得るように構成されることを特徴とする
請求項２１に記載の装置。
【請求項23】
前記特徴更新モジュールは更に、前記マスターノードの画像特徴と前記加重特徴を結合し、
結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得るように構成されることを特徴とする
請求項２１に記載の装置。
【請求項24】
前記特徴更新モジュールは更に、前記マスターノード及び前記近隣ノードに対して線形マッピングを行い、
線形マッピング後の前記マスターノード及び前記近隣ノードに対して内積を決定し、
非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定するように構成されることを特徴とする
請求項２１に記載の装置。
【請求項25】
特徴更新ネットワーク訓練装置であって、第２関連マップを取得するように構成される関連マップ取得モジュールであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、関連マップ取得モジュールと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得るように構成される更新処理モジュールと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得て、前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、特徴更新ネットワーク訓練装置。
【請求項26】
前記装置は、前記関連マップ取得モジュールが第２関連マップを取得する前に、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得するように構成される画像取得モジュールを更に備えることを特徴とする
請求項２５に記載の装置。
【請求項27】
前記装置は、特徴抽出ネットワークにより、訓練画像の画像特徴を抽出し、前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得て、前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整するように構成される事前訓練モジュールであって、前記訓練画像は、前記特徴抽出ネットワークを訓練するために用いられる画像であり、前記サンプル画像は、特徴抽出ネットワークの訓練が完了した後に前記特徴更新ネットワークを訓練するために用いられる画像である、事前訓練モジュールを更に備え、
前記画像取得モジュールは、
前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、
前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定するように構成されることを特徴とする
請求項２５に記載の装置。
【請求項28】
電子機器であって、メモリと、プロセッサと、を備え、前記メモリは、プロセッサで実行可能なコンピュータ命令を記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行する時、請求項１から１１のうちいずれか一項に記載の方法を実現させるか、又は請求項１２から１４のうちいずれか一項に記載の方法を実現させるように構成される、電子機器。
【請求項29】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、前記プログラムはプロセッサにより実行される時、請求項１から１１のうちいずれか一項に記載の方法を実現させるか、又は請求項１２から１４のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項30】
コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサに、請求項１から１１のうちいずれか一項に記載の方法のステップを実行させるか、又は請求項１２から１４のうちいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年８月２３日にに提出された、出願番号が２０１９１０７８２６２９．９であり、発明名称が「画像特徴抽出及びネットワークの訓練方法、装置並びに機器」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０１９年８月２３日にに提出された、出願番号が２０１９１０７８２６２９．９であり、発明名称が「画像特徴抽出及びネットワークの訓練方法、装置並びに機器」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、コンピュータビジョン技術に関し、具体的には画像特徴抽出及びネットワークの訓練方法、装置並びに機器に関する。
【背景技術】
【0003】
画像検索は、画像コンテンツの記述方式によれば、テキストベースの画像検索及びコンテンツベースの画像検索（ＣＢＩＲ：Ｃｏｎｔｅｎｔ Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ）を含んでもよい。ここで、コンテンツベースの画像検索技術は、電子商取引、皮革布地、著作権保護、医療診断、公衆安全、ストリートビューマップなどの産業分野で広く応用される。
【発明の概要】
【発明が解決しようとする課題】
【0004】
これに鑑み、本願は少なくとも、画像特徴抽出及びネットワークの訓練方法、装置並びに機器を提供する。
【課題を解決するための手段】
【0005】
第１態様によれば、画像特徴抽出方法を提供する。前記方法は、
第１関連マップを取得することであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、ことと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることと、を含む。
第１関連マップを取得することであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、ことと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることと、を含む。
【0006】
幾つかの実施例において、第１関連マップを取得する前に、前記方法は、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することを更に含む。
【0007】
幾つかの実施例において、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することは、特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することと、を含む。
【0008】
幾つかの実施例において、前記ターゲット画像の画像特徴と画像ライブラリにおける各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ターゲット画像と類似する近隣画像を決定することは、前記ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付けることと、先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とすることと、を含む。
【0009】
幾つかの実施例において、前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することは、前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得することと、前記第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得することと、前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とすることと、を含む。
【0010】
幾つかの実施例において、前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数である。
【0011】
幾つかの実施例において、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることは、前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定することと、前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることと、前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることと、を含む。
【0012】
幾つかの実施例において、前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることは、前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得ることを含む。
【0013】
幾つかの実施例において、前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることは、マスターノードの画像特徴と前記加重特徴を結合することと、結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得ることと、を含む。
【0014】
幾つかの実施例において、前記第１関連マップにおける前記マスターノードと前記近隣ノードとの重みを決定することは、前記マスターノード及び前記近隣ノードに対して線形マッピングを行うことと、線形マッピング後の前記マスターノード及び前記近隣ノードに対して内積を決定することと、非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定することと、を含む。
【0015】
幾つかの実施例において、前記ターゲット画像は、検索対象クエリ用画像及び画像ライブラリにおける各ライブラリ画像を含み、前記更新され後の前記ターゲット画像の画像特徴を得た後、前記方法は、更新後のターゲット画像の画像特徴と前記各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ライブラリ画像から、前記ターゲット画像と類似する画像を得て検索結果とすることを更に含む。
【0016】
第２態様によれば、特徴更新ネットワークの訓練方法を提供する。前記特徴更新ネットワークは、画像の画像特徴を更新するためのものであり、前記方法は、
第２関連マップを取得することであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、ことと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得ることと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得ることと、
前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整することと、を含む。
第２関連マップを取得することであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、ことと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得ることと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得ることと、
前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整することと、を含む。
【0017】
幾つかの実施例において、第２関連マップを取得する前に、前記方法は、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することを更に含む。
【0018】
幾つかの実施例において、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得する前に、前記方法は、特徴抽出ネットワークにより、訓練画像の画像特徴を抽出することと、前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得ることと、前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整することと、を更に含む。幾つかの実施例において、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することは、前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定することと、を含む。
【0019】
第３態様によれば、画像特徴抽出装置を提供する。前記装置は、
第１関連マップを取得するように構成されるマップ取得モジュールであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、マップ取得モジュールと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得るように構成される特徴更新モジュールと、を備える。
第１関連マップを取得するように構成されるマップ取得モジュールであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、マップ取得モジュールと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得るように構成される特徴更新モジュールと、を備える。
【0020】
幾つかの実施例において、前記装置は、前記マップ取得モジュールが第１関連マップを取得する前に、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得するように構成される近隣取得モジュールを更に備える。
【0021】
幾つかの実施例において、前記近隣取得モジュールは、特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定するように構成される。
【0022】
幾つかの実施例において、前記近隣取得モジュールは更に、ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付け、先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とするように構成される。
【0023】
幾つかの実施例において、前記近隣取得モジュールは更に、前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各前記ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得し、第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得し、前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とするように構成される。
【0024】
幾つかの実施例において、前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数である。
【0025】
幾つかの実施例において、前記特徴更新モジュールは、前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定し、前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得て、前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得るように構成される。
【0026】
幾つかの実施例において、前記特徴更新モジュールは更に、前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得るように構成される。
【0027】
幾つかの実施例において、前記特徴更新モジュールは更に、前記マスターノードの画像特徴と前記加重特徴を結合し、結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得るように構成される。
【0028】
幾つかの実施例において、前記特徴更新モジュールは更に、前記マスターノード及び前記近隣ノードに対して線形マッピングを行い、線形マッピング後の前記マスターノード及び前記近隣ノードに対して内積を決定し、非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定するように構成される。
【0029】
第４態様によれば、特徴更新ネットワーク訓練装置を提供する。前記装置は、
第２関連マップを取得するように構成される関連マップ取得モジュールであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、関連マップ取得モジュールと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得るように構成される更新処理モジュールと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得て、前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える。
第２関連マップを取得するように構成される関連マップ取得モジュールであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、関連マップ取得モジュールと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得るように構成される更新処理モジュールと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得て、前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える。
【0030】
幾つかの実施例において、前記装置は、前記関連マップ取得モジュールが第２関連マップを取得する前に、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得するように構成される画像取得モジュールを更に備える。
【0031】
幾つかの実施例において、前記装置は、特徴抽出ネットワークにより、訓練画像の画像特徴を抽出し、前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得て、前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整するように構成される事前訓練モジュールであって、前記訓練画像は、前記特徴抽出ネットワークを訓練するために用いられる画像であり、前記サンプル画像は、特徴抽出ネットワークの訓練が完了した後に前記特徴更新ネットワークを訓練するために用いられる画像である、事前訓練モジュールを更に備える。幾つかの実施例において、前記画像取得モジュールは、前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定するように構成される。
【0032】
第５態様によれば、電子機器を提供する。前記機器は、メモリと、プロセッサと、を備え、前記メモリは、プロセッサで実行可能なコンピュータ命令を記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行する時、本願のいずれか１つの実施例に記載の画像特徴抽出方法を実現させるか、又は本願のいずれか１つの実施例に記載の特徴更新ネットワークの訓練方法を実現させる。
【0033】
第６態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、前記プログラムはプロセッサにより実行される時、本願のいずれか１つの実施例に記載の画像特徴抽出方法を実現させるか、又は本願のいずれか１つの実施例に記載の特徴更新ネットワークの訓練方法を実現させる。
【0034】
第７態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、プロセッサに、本願のいずれか１つの実施例に記載の画像特徴抽出方法を実行させるか、又は本願のいずれか１つの実施例に記載の特徴更新ネットワークの訓練方法を実行させる。
【図面の簡単な説明】
【0035】
【図1】本願の少なくとも１つの実施例による画像特徴抽出方法を示す図である。
【図2】本願の少なくとも１つの実施例による特徴更新ネットワークの処理プロセスを示す図である。
【図3】本願の少なくとも１つの実施例による特徴更新ネットワークの訓練方法を示す図である。
【図4】本願の少なくとも１つの実施例による特徴更新ネットワークの訓練方法を示す図である。
【図5】本願の少なくとも１つの実施例による取得された近隣画像を示す概略図である。
【図6】本願の少なくとも１つの実施例による関連マップを示す概略図である。
【図7】本願の少なくとも１つの実施例による画像検索方法を示す図である。
【図8】本願の少なくとも１つの実施例によるサンプル画像及びライブラリ画像を示す概略図である。
【図9】本願の少なくとも１つの実施例による近隣画像の検索を示す概略図である。
【図10】本願の少なくとも１つの実施例による特徴更新ネットワークのネットワーク構造を示す図である。
【図11】本願の少なくとも１つの実施例による画像特徴抽出装置を示す図である。
【図12】本願の少なくとも１つの実施例による画像特徴抽出装置を示す図である。
【図13】本願の少なくとも１つの実施例による特徴更新ネットワーク訓練装置を示す図である。
【図14】本願の少なくとも１つの実施例による特徴更新ネットワーク訓練装置を示す図である。
【0036】
本願の１つ又は複数の実施例又は関連技術における技術的解決手段をより明確に説明するために、以下、実施例又は関連技術の説明に必要な図面を説明する。勿論、下記記述における図面は、本願の１つ又は複数の実施例に記載の幾つかの実施例に過ぎず、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。
【発明を実施するための形態】
【0037】
当業者に本願の１つ又は複数の実施例における技術的解決手段をより良く理解させるために、以下、本願の１つ又は複数の実施例における図面を参照しながら、本願の１つ又は複数の実施例における技術的解決手段を明瞭且つ完全に説明する。勿論、説明される実施例は、全ての実施例ではなく、本願の一部の実施例に過ぎない。本願の１つ又は複数の実施例に基づいて、当業者が創造的労働を行わずに取得したその他すべての実施例は、いずれも本願の保護範囲に属する。
【0038】
画像検索は、画像コンテンツの記述方式によれば、テキストベースの画像検索及びコンテンツベースの画像検索を含んでもよい。一実施例において、コンテンツに基づいて画像検索を行う時に、コンピュータを利用して画像特徴を抽出し、画像特徴ベクトル記述を確立して画像特徴ライブラリに記憶する。ユーザは、クエリ用画像を入力した時に、同じ特徴抽出方法で、クリエ画像の画像特徴を抽出してクエリ用ベクトルを得て、続いて、類似性評価ルールで、クエリ用ベクトルと画像特徴ライブラリにおける各画像特徴との類似性を算出し、最後に、類似性の大きさに応じて順序付け、対応するピクチャを順次出力する。該実施例において、ターゲット対象を検索する時に、撮影環境による影響を受けやすく、例えば、照明の変動、スケールの変動、視角の変動、遮蔽及び背景の乱雑さがいずれも検索結果に影響を与える可能性がある。
【0039】
これに鑑み、画像検索の正確性を向上させるために、本願の実施例は、画像特徴抽出方法を提供する。図１は、本願の少なくとも１つの実施例による画像特徴抽出方法を示す。図１に示すように、該方法は、下記処理プロセスを含んでもよい。
【0040】
ステップ１００において、第１関連マップを取得し、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である。
【0041】
該ステップにおいて、前記ターゲット画像は、画像特徴抽出をしようとする画像であり、該画像は、異なる適用シーンにおける画像であってもよい。例示的には、画像検索アプリケーションにおける検索対象画像であってもよく、下記の画像ライブラリは、画像検索アプリケーションにおける検索画像ライブラリであってもよい。
【0042】
例えば、近隣画像の取得は、第１関連マップを取得する前に、ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することであってもよい。例示的には、画像特徴類似の評価ルールに応じて近隣画像を決定することができる。例えば、特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定する。
【0043】
一実施例において、前記ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付け、先頭からのＮ個の特徴類似度に対応するライブラリ画像を選択して前記ターゲット画像と類似する近隣画像とする。該Ｎは、所定の数値であってもよく、例えば、先頭の１０個である。
【0044】
もう１つの実施例において、まず、画像特徴の間の類似度に基づいて、ターゲット画像と類似する第１画像を取得し、続いて、第１画像と類似する第２画像を取得し、該第１画像及び第２画像をターゲット画像の近隣画像とすることもできる。
【0045】
ステップ１０２において、前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得る。
【0046】
例えば、特徴更新ネットワークは、アテンションベースのグラフ畳み込みモジュール（Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｇｒａｐｈ ｃｏｎｖｏｌｕｔｉｏｎ：ＡＧＣＮと略称される）であってもよく、他のモジュールであってもよく、これを限定しない。
【0047】
特徴更新ネットワークがグラフ畳み込みモジュールであることを例として、本ステップにおけるグラフ畳み込みモジュールは、近隣ノードのノード値に基づいて、マスターノードのノード値を更新することができる。例えば、第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定し、該重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得て、前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得る。後続の図２に示すフローは、グラフ畳み込みモジュールによりマスターノードのノード値を更新する具体的なプロセスを例示的に説明する。
【0048】
実際の実施において、前記グラフ畳み込みモジュールの数は１つであってもよいか又は順次に積み重ねる複数であってもよい。例示的には、グラフ畳み込みモジュールの数が２つである場合、第１関連マップを最初のグラフ畳み込みモジュールに入力する。該最初のグラフ畳み込みモジュールは、各近隣ノードの画像特徴に基づいてマスターノードの画像特徴を更新する。該最初のグラフ畳み込みモジュールから出力された第１関連マップは、マスターノードの画像特徴が更新されており、更新後の第１関連マップである。該更新後の第１関連マップを引き続き２番目のグラフ畳み込みモジュールに入力し、該２番目のグラフ畳み込みモジュールにより、各近隣ノードの画像特徴に基づいてマスターノードの画像特徴を更新し、再度更新後の第１関連マップを出力する。ここでのマスターノードの画像特徴も再度更新される。
【0049】
本実施例における第１関連マップに、複数のノード（例えば、マスターノード、近隣ノード）が含まれる。各ノードのノード値は、該ノードで表される画像の画像特徴を表す。また、第１関連マップにおける各ノードをマスターノードとして、本実施例の図１に記載の方法により、該ノードに対応する画像の画像特徴を更新することができる。例えば、該ノードをマスターノードとする場合、該ノードをマスターノードとしての第１関連マップを取得し、該第１関連マップを特徴更新ネットワークに入力し、該ノードの画像特徴の更新を行う。
【0050】
本実施例の画像特徴抽出方法は、本願の実施例の特徴更新ネットワークにより、抽出された画像特徴を更新し、該特徴更新ネットワークにより、マスターノードの近隣ノードの画像特徴に基づいてマスターノードの画像特徴を更新する。従って、更新後のターゲット画像の画像特徴は、ターゲット画像をより正確に表すことができる。これにより、画像認識過程において、より高いロバスト性及び判別能力を持たせる。
【0051】
図２は、一実施例における特徴更新ネットワークの処理プロセスを示す。該プロセスは、特徴更新ネットワークが、該ネットワークに入力された画像の画像特徴を如何に更新するかを説明する。図２に示すように、該特徴更新ネットワークがグラフ畳み込みモジュールであることを例として、該特徴更新ネットワークの処理プロセスは、下記ステップ２００－２０４を含んでもよい。
【0052】
ステップ２００において、マスターノード及び近隣ノードの画像特徴に基づいて、マスターノードと各近隣ノードとの重みを決定する。
【0053】
本ステップにおいて、マスターノードは、ネットワーク応用段階のターゲット画像であってもよく、近隣ノードは、該ターゲット画像の近隣画像であってもよい。
【0054】
例えば、下記方式で、マスターノードと近隣ノードとの重みを決定する。式（１）に示す通りである。
【0055】
【数1】
【0056】
まず、マスターノードの画像特徴ｚｕ及び近隣ノードの画像特徴ｚｖｉに対して線形変換を行うことができる。ここで、ｖｉは、マスターノードの１つの近隣ノードを表し、ｋは、近隣ノードの数を表す。Ｗｉ及びＷｕは、線形変換の係数である。
【0057】
次に、線形変換後のマスターノード及び近隣ノードの画像特徴に対して内積を決定する。ここで、関数Ｆにより、内積を算出する。続いて、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）により、非線形変換を実現させる。最後に、ｓｏｆｔｍａｘ操作を行った後に重みを得る。式（１）に示すように、重みａｉは、マスターノードｕと近隣ノードｖｉとの重みである。
【0058】
また、本ステップにおけるマスターノードと近隣ノードとの重みの算出は、上記の式（１）に限定されない。例えば、マスターノードと近隣ノードとの画像特徴の類似度の値を両者間の重みとすることもできる。
【0059】
ステップ２０２において、前記重みに基づいて、前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得る。
【0060】
例えば、マスターノードの各近隣ノードの画像特徴に対して非線形マッピングを行い、続いて、ステップ２００で得られた重みを利用して、非線形マッピング後の各近隣ノードの画像特徴を加重加算することで得られた特徴は、加重特徴と呼ばれてもよい。例えば、式（２）に示すとおりである。
【0061】
【数2】
【0062】
式（２）において、ｎｕは、加重特徴であり、ｚｖｉは、近隣ノードの画像特徴であり、ａｉは、ステップ２００で算出された前記重みである。Ｑ及びｑは、非線形マッピングの係数である。
【0063】
ステップ２０４において、前記マスターノードの画像特徴及び前記加重特徴に基づいて、更新後のターゲット画像の更新特徴を得る。
【0064】
本ステップにおいて、最初に得られた関連マップにおけるマスターノードの画像特徴と加重特徴を結合（ｃｏｎｔａｃｔ）し、続いて、非線形マッピングを行うことができる。例えば、式（３）に示すとおりである。
【0065】
【数3】
【0066】
ただし、ｚｕは、関連マップにおけるマスターノードの画像特徴であり、ｎｕは、加重特徴である。ＲｅＬＵにより非線形マッピングを行う。Ｗ及びｗは、非線形マッピングの係数である。
【0067】
最後に、式（３）で得られた特徴を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）し、式（４）に示すおように、最終的な更新後のマスターノードの画像特徴
【0068】
【化1】
【0069】
を得る。
【0070】
【数4】
【0071】
上記のステップ２００～２０４により、第１関連マップにおけるマスターノードのノード値が更新され、更新後のマスターノードの画像特徴が得られる。
【0072】
本実施例の特徴更新ネットワークの処理プロセスは、グラフ畳み込みモジュールにより、マスターノードの近隣ノードの画像特徴を加重加算し、マスターノードの加重特徴を決定する。ターゲット画像自体の画像特徴及びそれに関連する近隣画像の画像特徴を総合的に考慮できるようになる。従って、更新後のターゲット画像の画像特徴は、より高いロバスト性及び弁別能力を持ち、画像検索の正確性を向上させる。
【0073】
【0074】
ステップ３００において、前記特徴更新ネットワークを訓練するためのサンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する訓練近隣画像を取得する。
【0075】
本実施例における「訓練画像ライブラリ」、「訓練近隣画像」について、ここでの「訓練」は、ネットワークの訓練段階に用いられることを表し、ネットワーク応用段階で言及した近隣画像及び画像ライブラリとは、名称の点で区別するために用いられ、如何なる制限の役割を果たしないものであることに留意されたい。同様に、下記記述で言及した「訓練マスターノード」、「訓練近隣ノード」も、名称の点で、ネットワーク応用段階で出現した同一の概念と区別するために用いられ、如何なる制限の役割を果たしないものである。
【0076】
特徴更新ネットワークを訓練する時に、グループ化訓練の方式を用いることができる。例えば、訓練サンプルを複数の画像バッチ（ｂａｔｃｈ）に分け、反復訓練を行うたびに、特徴更新ネットワークに１つの画像バッチを入力し、該画像バッチに含まれる各サンプル画像の損失値を利用し、損失値逆伝播ネットワークの方式でネットワークパラメータを調整する。一回の反復訓練が完了した後、特徴更新ネットワークに次の画像バッチを入力し、次回の反復訓練を行う。
【0077】
本ステップにおいて、１つの画像バッチｂａｔｃｈにおける各画像は、１つのサンプル画像と呼ばれてもよい。且つ各サンプル画像について、ステップ３００～３０６の処理を行い、且つ、予測情報及びラベル情報に基づいて損失値ｌｏｓｓを得ることができる。
【0078】
例示的に、画像検索の適用シーンにおいて、前記訓練画像ライブラリは、検索画像ライブラリであってもよい。つまり、該検索画像ライブラリから、サンプル画像と類似する画像を検索して取得することができる。前記類似は、サンプル画像と同一の物体を含むことを指すか又はサンプル画像と同一のカテゴリに属することを指す。
【0079】
本ステップにおいて、サンプル画像と類似する画像は、「訓練近隣画像」と呼ばれてもよい。
【0080】
該訓練近隣画像の取得方式は、例えば、画像の間のの特徴類似度に基づいて、類似度の高い画像を前記訓練近隣画像と決定することであってもよい。
【0081】
ステップ３０２において、第２関連マップを取得し、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である。
【0082】
例えば、ネットワーク訓練段階の関連マップは、第２関連マップと呼ばれてもよい。上記において、ネットワーク応用段階で出現した関連マップは、第１関連マップとよばれてもよい。
【0083】
本ステップにおいて、第２関連マップに、複数のノードが含まれてもよい。
【0084】
ここで、前記第２関連マップにおけるノードは、１つの訓練マスターノード、及び少なくとも１つの訓練近隣ノードを含んでもよい。該訓練マスターノードは、サンプル画像を表す。各訓練近隣ノードは、ステップ３００で決定された１つの訓練近隣画像を表す。各ノードのノード値は、画像特徴である。例えば、訓練マスターノードのノード値は、サンプル画像の画像特徴であり、訓練近隣ノードのノード値は、訓練近隣画像の画像特徴である。
【0085】
ステップ３０４において、第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて訓練マスターノードのノード値を更新する。
【0086】
例えば、該特徴更新ネットワークは、グラフ畳み込みモジュールであってもよく、他のタイプのモジュールであってもよく、ここで限定しない。本ステップにおいて、前記グラフ畳み込みモジュールは、アテンションベースのグラフ畳み込みモジュール（Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｇｒａｐｈ ｃｏｎｖｏｌｕｔｉｏｎ：ＡＧＣＮと略称される）である。該モジュールは、第２関連マップにおける訓練近隣ノードの画像特徴に基づいて、訓練マスターノードの画像特徴を更新するためのものである。例えば、各訓練近隣ノードの画像特徴を加重加算した後に、訓練マスターノードの画像特徴を更新することができる。
【0087】
実際の実施において、前記グラフ畳み込みモジュールの数は１つであってもよいか又は順次に積み重ねる複数であってもよい。例示的には、グラフ畳み込みモジュールの数が２つである場合、第２関連マップを最初のグラフ畳み込みモジュールに入力する。該最初のグラフ畳み込みモジュールは、各訓練近隣ノードの画像特徴に基づいて訓練マスターノードの画像特徴を更新する。該最初のグラフ畳み込みモジュールから出力された第２関連マップにおいて、訓練マスターノードの画像特徴が更新されており、更新後の第２関連マップである。該更新後の第２関連マップを引き続き２番目のグラフ畳み込みモジュールに入力し、該２番目のグラフ畳み込みモジュールにより各訓練近隣ノードの画像特徴に基づいて訓練マスターノードの画像特徴を更新し、再度更新後の訓練マスターノードの画像特徴を出力する。
【0088】
ステップ３０６において、特徴更新ネットワークにより抽出されたサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得る。
【0089】
本ステップにおいて、グラフ畳み込みモジュールにより抽出された画像特徴に基づいて、サンプル画像の予測情報を更に決定することができる。例えば、グラフ畳み込みモジュールの後に分類器が接続されてもよく、分類器により、該画像特徴に基づいて、サンプル画像がそれぞれ各所定のカテゴリに属する確率を得る。
【0090】
ステップ３０８において、前記予測情報に基づいて、特徴更新ネットワークのネットワークパラメータを調整する。
【0091】
本ステップにおいて、特徴更新ネットワークから出力された予測情報とラベル情報との差異に基づいて、サンプル画像に対応する損失値ｌｏｓｓを決定することができる。上記のように、グラフ畳み込みモジュールを例として、複数のｂａｔｃｈによるグループ化訓練方式において、１つのｂａｔｃｈにおける各サンプル画像の損失に基づいて、グラフ畳み込みモジュールのネットワークパラメータを逆伝播調整する。これにより、グラフ畳み込みモジュールは、調整されたネットワークパラメータに基づいて、画像特徴をより正確に抽出することができる。
【0092】
例えば、損失値ｌｏｓｓに基づいてグラフ畳み込みモジュールのネットワークパラメータを逆伝播調整する時に、図２に示したフローに記載のグラフ畳み込みモジュールのＷｉ、Ｗｕ、Ｑ、ｑ、Ｗ及びｗなどの係数を調整することができる。
【0093】
本実施例の特徴更新ネットワークの訓練方法は、ネットワークを訓練する時に、サンプル画像と類似する画像により、サンプル画像の画像特徴を更新する。従って、サンプル画像自体の画像特徴及びそれに関連した訓練近隣画像の画像特徴を総合的に考慮することができ、訓練された特徴更新ネットワークにより得られたサンプル画像の画像特徴は、より高いロバスト性及び弁別能力を持ち、画像検索の正確性を向上させる。例えば、照明の変動、スケールの変動、視角の変動などによる影響を受けても、相対的正確な画像特徴を得ることもできる。
【0094】
図４は、もう１つの実施例による特徴更新ネットワークの訓練方法を示す。該方法において、事前訓練された特徴抽出用のネットワーク（特徴抽出ネットワークと呼ばれてもよい）により、画像特徴を抽出し、画像特徴に基づいて類似性評価を行い、訓練画像ライブラリから、サンプル画像と類似する訓練近隣画像を取得することができる。図４に示すように、該方法は、以下を含んでもよい。
【0095】
ステップ４００において、訓練セットを利用して特徴抽出用のネットワークを訓練する。
【0096】
例えば、該事前訓練された特徴抽出用のネットワークは、特徴抽出ネットワークと呼ばれてもよく、畳み込みニューラルネットワークＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＢＰ（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ：逆伝播）ニューラルネットワーク、離散Ｈｏｐｆｉｅｌｄネットワーク等を含むが、これらに限定されない。
【0097】
訓練セットにおける画像は、訓練画像と呼ばれてもよい。該特徴抽出ネットワークの訓練プロセスは、特徴抽出ネットワークにより、訓練画像の画像特徴を抽出することと、前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得ることと、前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整することと、を含んでもよい。
【0098】
ここで、上記の訓練画像は、前記特徴抽出ネットワークを訓練するために用いられる画像を指し、上記で言及した前記サンプル画像は、該特徴抽出ネットワークの訓練が完了した後に特徴更新ネットワークの訓練プロセスに用いられるものを指し、例えば、事前訓練された特徴抽出ネットワークにより、まずサンプル画像及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴を抽出し、続いて、関連マップを生成した後、特徴更新ネットワークに入力して画像特徴更新を行い、該特徴更新ネットワークの訓練プロセスに用いられる入力画像は、サンプル画像であることに留意されたい。サンプル画像と訓練画像は、同じであってもよく、異なってもよい。
【0099】
ステップ４０２において、特徴抽出ネットワークにより、前記サンプル画像及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得する。
【0100】
ステップ４０４において、前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、各ライブラリ画像から、前記サンプル画像と類似する第１画像を得る。
【0101】
本ステップにおいて、前記ライブラリ画像は、検索画像ライブラリにおける画像である。
【0102】
例示的に、サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度をそれぞれ算出し、該類似度に応じて各ライブラリ画像を順序付けることができる。例えば、類似度の降順に従って順序付ける。更に、順序付け結果から、先頭からのＫ個のライブラリ画像を選択してサンプル画像の第１画像とする。例えば、図５に示すように、ノード３１は、サンプル画像を表し、ノード３２、ノード３３及びノード３４で表されるライブラリ画像はいずれも該サンプル画像と類似する第１画像である。
【0103】
ステップ４０６において、第１画像の画像特徴とライブラリ画像の画像特徴との特徴類似度に基づいて、前記ライブラリ画像から、前記第１画像と類似する第２画像を取得する。
【0104】
本ステップにおいて、第１画像の画像特徴とライブラリ画像の画像特徴との特徴類似度を算出し、ライブラリ画像から、第１画像と類似するライブラリ画像を取得して第２画像とすることができる。例えば、図５に示すように、画像特徴の類似度に基づいて評価し、ノード３５～ノード３７は、ノード３２と類似するライブラリ画像であり、該ノード３５～ノード３７は、ノード３１と類似する第２画像である。同様に、ノード３４と類似するノード３８～ノード４０も、ノード３１と類似する第２画像である。
【0105】
また、図５は、例を示す。実際の実施において、サンプル画像に対応するマスターノードと類似する第１画像を見付けると、近隣画像の検索を中止してもよい。又は、第３画像又は第４画像などのより多くの近隣画像を見付けることもできる。具体的には、幾つの近隣画像を検索するかは、異なる適用シーンにおける実際の試験効果によって決まってもよい。上記の第１画像、第２画像などは、いずれも近隣画像と呼ばれてもよい。ネットワーク訓練段階で、訓練近隣画像と呼ばれてもよい。ネットワーク応用段階で、近隣画像と呼ばれてもよい。
【0106】
なお、本ステップに示した例以外の他の方式で、近隣画像を取得することもできることに留意されたい。例えば、類似度閾値を設定し、特徴類似度が該閾値より高いライブラリ画像の全て又は一部を直接的にサンプル画像の近隣画像とすることができる。また、例えば、画像特徴を抽出するために特徴抽出ネットワークを用いることなく、画像の複数の次元の値に基づいて画像特徴を決定することもできる。
【0107】
ステップ４０８において、サンプル画像及び近隣画像に基づいて、第２関連マップを生成し、前記第２関連マップにおけるノードは、前記サンプル画像を表す訓練マスターノード、及び近隣画像を表す少なくとも１つの訓練近隣ノードを含み、前記訓練マスターノードのノード値は、前記サンプル画像の画像特徴であり、前記訓練近隣ノードのノード値は、前記近隣画像の画像特徴である。一実施例において、本ステップにおける近隣画像は、ステップ４０４で得られた第１画像及びステップ４０６で得られた第２画像を含む。
【0108】
本ステップで生成された第２関連マップは、複数のノードを含むマップである。これは、図６に示した例を参照されたい。図６におけるノード３１は、訓練マスターノードであり、他の全てのノードはいずれも訓練近隣ノードである。ノード値は、該ノードで表される画像の画像特徴であってもよい。該画像特徴は例えば、ステップ４０２で抽出されてもよい。
【0109】
ステップ４１０において、前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードの画像特徴に基づいて、訓練マスターノードの画像特徴を更新し、更新後のサンプル画像の画像特徴を得て、該更新後の画像特徴に基づいて、サンプル画像の予測情報を得る。
【0110】
ステップ４１２において、サンプル画像の予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータ及び特徴抽出ネットワークのネットワークパラメータを調整する。
【0111】
本ステップにおけるネットワークパラメータ調整において、特徴抽出ネットワークのネットワークパラメータを調整してもよく、特徴抽出ネットワークのネットワークパラメータを調整しなくてもよく、実際の訓練状況に応じて決定されてもよい。
【0112】
本実施例の特徴更新ネットワークの訓練方法は、ネットワークを訓練する時、サンプル画像と類似する画像により、サンプル画像の画像特徴を更新することで、サンプル画像自体の画像特徴及びそれに関連する他の画像の画像特徴を総合的に考慮できるようになる。従って、訓練された特徴によりネットワークを更新することで得られたサンプル画像の画像特徴は、より高いロバスト性及び弁別能力を持ち、画像検索の正確性を向上させる。また、特徴抽出ネットワークにより画像特徴を抽出することで、画像特徴の抽出効率を向上させ、更に、ネットワーク訓練速度を向上させることができるだけでなく、損失値に基づいて特徴抽出ネットワークのネットワークパラメータを調整し、特徴抽出ネットワークにより抽出された画像特徴をより正確にする。
【0113】
本願の実施例は、画像検索方法を更に提供する。該方法は、画像ライブラリから、ターゲット画像と類似する画像を検索する。図７に示すように、該方法は、下記処理プロセスを含んでもよい。
【0114】
ステップ７００において、検索対象ターゲット画像を取得する。
【0115】
例えば、画像ライブラリから、画像Ｍに含まれる物体と同じである画像を検索しようとすれば、画像Ｍをターゲット画像と称する。つまり、画像ライブラリから、ターゲット画像と何んらかの関連のある画像を検出する。この関連は、同一の物体を含むことであってもよく、又は同一のカテゴリに属することであってもよい。
【0116】
ステップ７０２において、前記ターゲット画像の画像特徴を抽出する。
【0117】
本ステップにおいて、本願のいずれか１つの実施例に記載の画像特徴抽出方法を利用してもよい。
【0118】
ステップ７０４において、前記画像ライブラリにおける各ライブラリ画像の画像特徴を抽出する。
【0119】
本ステップにおいて、例えば、図１に示した抽出方法のような、本願のいずれか１つの実施例に記載の画像特徴抽出方法を利用して、画像ライブラリにおける各ライブラリ画像の画像特徴を抽出することができる。
【0120】
ステップ７０６において、前記ターゲット画像の画像特徴と前記各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ターゲット画像と類似する画像を得て検索結果とする。
【0121】
本ステップにおいて、ターゲット画像の画像特徴と前記各ライブラリ画像の画像特徴との特徴類似度を評価し、類似したライブラリ画像を検索結果とすることができる。
【0122】
本実施例の画像検索方法において、該抽出されたサンプル画像の特徴がより高いロバスト性及び弁別能力を持つため、検索結果の正確性を向上させる。
【0123】
画像検索は、例えば、医療診断、ストリートビューマップ、インテリジェントビデオ分析、防犯監視などのような種々のシーンに適用可能である。以下、防犯監視における人物検索（ｐｅｒｓｏｎ ｓｅａｒｃｈ）を例として、如何に本願の実施例の方法を利用して検索用ネットワークを訓練するか、如何に該ネットワークを利用して画像検索を行うかを説明する。以下の説明において、ネットワーク訓練及びその適用をそれぞれ説明する。
【0124】
ネットワーク訓練
該ネットワークを訓練する時に、グループ化訓練方式を用いることができる。例えば、訓練サンプルを複数の画像バッチ（ｂａｔｃｈ）に分け、反復訓練を行うたびに、訓練されるべき特徴更新ネットワークに１つのｂａｔｃｈにおける各サンプル画像を次々に入力し、最後に、画像バッチに含まれる各サンプル画像の損失値により、特徴更新ネットワークのネットワークパラメータを調整する。
該ネットワークを訓練する時に、グループ化訓練方式を用いることができる。例えば、訓練サンプルを複数の画像バッチ（ｂａｔｃｈ）に分け、反復訓練を行うたびに、訓練されるべき特徴更新ネットワークに１つのｂａｔｃｈにおける各サンプル画像を次々に入力し、最後に、画像バッチに含まれる各サンプル画像の損失値により、特徴更新ネットワークのネットワークパラメータを調整する。
【0125】
以下、１つのサンプル画像を例として、該サンプル画像に対応する損失値を如何に得るかを説明する。
【0126】
図８に示すように、サンプル画像８１に１つの人物８２が含まれる。本実施例における人物検索の目的は、検索画像ライブラリから、同一の人物８２を含むライブラリ画像を検索することである。
【0127】
画像特徴抽出用のネットワークの事前訓練が完了したと仮定する。該ネットワークは、例えば、ＣＮＮネットワークであり、特徴抽出ネットワークと呼ばれてもよい。該特徴抽出ネットワークにより、サンプル画像８１及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ抽出する。続いて、サンプル画像８１と各ライブラリ画像との特徴類似度を算出し、類似度に応じて順序付け、先頭からの所定数量（例えば、類似度の降順に従って順序付けされた結果は、先頭からの１０個である）のライブラリ画像を選択してサンプル画像８１と類似する画像とする。該画像は、サンプル画像８１の近隣画像と呼ばれてもよい。図８を参照すると、ライブラリ画像８３、ライブラリ画像８４、ライブラリ画像８５はいずれも近隣画像である。これらの近隣画像に含まれる人物は、確かに人物８２と同じであってもよく、人物８２と異なるが非常に類似してもよい。
【0128】
続いて、ライブラリ画像８３、ライブラリ画像８４からライブラリ画像８５という１０個の近隣画像を含むことを基礎として、画像ライブラリから、各近隣画像と類似するライブラリ画像をそれぞれ検索する。例示的に、ライブラリ画像８３を例として、画像特徴の類似度評価に基づいて、ライブラリ画像から、類似度が先頭からの１０個であるライブラリ画像を選択して該ライブラリ画像８３の１０個の近隣画像とする。図９を参照すると、集合９１に１０個のライブラリ画像が含まれる。これらの画像は、ライブラリ画像８３の１０個の近隣画像である。同様な方式で、ライブラリ画像８４と類似する１０個の近隣画像である図９における集合９２を検索することもできる。ライブラリ画像８３、ライブラリ画像８４からライブラリ画像８５という１０個の近隣画像について、同様な類似画像の検索を行う必要がある。ここで、詳細な説明を省略する。上記のライブラリ画像８３、ライブラリ画像８４等は、サンプル画像８１と類似する第１画像と呼ばれてもよい。集合９１、集合９２におけるライブラリ画像は、いずれも、サンプル画像８１と類似する第２画像と呼ばれてもよい。本実施例は、第１画像及び第２画像を例とするが、他の適用例において、引き続き、第２画像と類似する第３画像を検索してもよい。
【0129】
続いて、サンプル画像及び検索で得られた近隣画像に基づいて、関連マップを生成することができる。該関連マップは、図６に示したものと類似する。図に１つのマスターノード及び複数の近隣ノードが含まれる。ここで、該マスターノードは、サンプル画像８１を表す。各近隣ノードは、１つの近隣画像を表す。これらの近隣ノードに第１画像が含まれ、第２画像も含まれる。各ノードのノード値は、それで表される画像の画像特徴である。該画像特徴は、近隣画像を取得して特徴類似度の比較を行う場合に抽出された画像特徴である。例えば、上記の特徴抽出ネットワークにより抽出された画像特徴であってもよい。
【0130】
図１０を参照すると、図１０は、画像特徴抽出用特徴更新ネットワークのネットワーク構造を示す。該ネットワーク構造に、特徴抽出ネットワーク１００１が含まれてもよい。特徴抽出ネットワーク１００１により、サンプル画像及び画像ライブラリにおける各ライブラリ画像の画像特徴１００２をそれぞれ抽出し、画像特徴の類似度比較などの処理により、関連マップ１００３（図面に一部の近隣ノードが示される。実際に用いられる近隣ノードの数は、より多くてもよい）を最終的に得た。該関連マップ１００３をグラフ畳み込みネットワーク１００４に入力される。該グラフ畳み込みネットワーク１００４は、積み重ねる（ｓｔａｃｋ）複数のグラフ畳み込みモジュール１００５を備え、各グラフ畳み込みモジュール１００５は、いずれも、図２に示したプロセスに応じて、マスターノードの画像特徴を更新することができる。
【0131】
グラフ畳み込みネットワーク１００４は、マスターノードの最終的に更新後の画像特徴を出力して該サンプル画像の更新後の画像特徴とすることができる。また、引き続き、該更新後の画像特徴に基づいて、サンプル画像に対応する予測情報を決定し、予測情報及び前記サンプル画像のラベル情報に基づいて、サンプル画像に対応する損失値ｌｏｓｓを算出することができる。
【0132】
各サンプル画像に対して、上記の処理プロセスに応じて、損失値を算出することができる。最後に、これらのサンプル画像の損失値に基づいて、特徴更新ネットワークのネットワークパラメータを調整することができる。例えば、グラフ畳み込みモジュールにおけるパラメータ及び特徴抽出ネットワークのパラメータを調整することができる。他の実施例において、図１０に示したネットワーク構造は、特徴抽出ネットワークを備えず、他の方式で関連マップを取得してもよい。
【0133】
訓練された特徴更新ネットワークを利用して人物検索を行う
１）において、図１０に示したネットワーク構造を例として、例えば、図１０における特徴抽出ネットワーク１００１により、画像ライブラリにおける各ライブラリ画像の画像特徴を抽出し、抽出された画像特徴を保存する。
１）において、図１０に示したネットワーク構造を例として、例えば、図１０における特徴抽出ネットワーク１００１により、画像ライブラリにおける各ライブラリ画像の画像特徴を抽出し、抽出された画像特徴を保存する。
【0134】
２）において、検索対象ターゲット画像を受信した場合、例えば、該ターゲット画像は、人物画像である。下記方式で、特徴更新ネットワークにより、ターゲット画像の画像特徴を抽出する。
【0135】
まず、ターゲット画像に対して、図１０に示した特徴抽出ネットワーク１００１により、画像特徴を抽出する。
【0136】
続いて、ターゲット画像の画像特徴と前記各ライブラリ画像の画像特徴との特徴類似度に基づいて、ターゲット画像の近隣画像を取得する。ターゲット画像及びその近隣画像に基づいて関連マップを得ることができる。該関連マップに、ターゲット画像を表すマスターノード、及び近隣画像を表す複数の近隣ノードが含まれてもよい。関連マップを図１０に示したグラフ畳み込みネットワーク１００４に入力し、グラフ畳み込みモジュール１００５によりターゲット画像におけるマスターノードの画像特徴を更新することで、最終的に得られたマスターノードの画像特徴は、更新後のターゲット画像の画像特徴である。
【0137】
３）において、各ライブラリ画像に対して、２）と同様な処理方式で、グラフ畳み込みネットワーク１００４から出力された、更新後の各ライブラリ画像の画像特徴を得ることもできる。
【0138】
４）において、更新後のターゲット画像の画像特徴と更新後の各ライブラリ画像の画像特徴との特徴類似度を算出し、類似度に応じて順序付け、最終的な検索結果を得る。例えば、類似度が高い幾つかのライブラリ画像を検索結果とすることができる。
【0139】
本実施例の画像検索方法は、画像特徴抽出を行う時に、ターゲット画像と関連した近隣画像の画像特徴を総合的に考慮する。従って、訓練後の特徴更新ネットワークをにより学習して得られた画像特徴を、より高いロバスト性及び弁別能力を持たせ、画像検索の正確率を向上させる。また、グラフ畳み込みモジュールに複数層で積み重ねられてもよく、高い拡張可能性を有する。グループ化訓練を行う時に、１つのｂａｔｃｈにおける各サンプル画像は、深層学習フレームワーク及びハードウェアを利用して並行演算を行うことができる。ネットワーク訓練効率は高い。
【0140】
図１１は、画像特徴抽出装置を提供する。該方法は、本願のいずれか１つの実施例の画像特徴抽出方法を実行するように構成される。図１１に示すように、該装置は、マップ取得モジュール１１０１と、特徴更新モジュール１１０２と、を備えてもよい。
【0141】
マップ取得モジュール１１０１は、第１関連マップを取得するように構成され、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、ターゲット画像と類似する画像である。
【0142】
特徴更新モジュール１１０２は、前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得るように構成される。
【0143】
一例において、図１２に示すように、前記装置は、前記マップ取得モジュールが第１関連マップを取得する前に、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得するように構成される近隣取得モジュール１１０３を更に備える
一例において、前記近隣取得モジュール１１０３は、特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定するように構成される。
一例において、前記近隣取得モジュール１１０３は、特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定するように構成される。
【0144】
一例において、前記近隣取得モジュール１１０３は更に、ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付け、先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とするように構成される。
【0145】
一例において、前記近隣取得モジュール１１０３は更に、前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各前記ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得し、前記第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得し、前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とするように構成される。
【0146】
一例において、前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数である。
【0147】
一例において、前記特徴更新モジュール１１０２は、前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定し、前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得て、前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得るように構成される
一例において、前記特徴更新モジュール１１０２は更に、前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得るように構成される。
一例において、前記特徴更新モジュール１１０２は更に、前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得るように構成される。
【0148】
一例において、前記特徴更新モジュール１１０２は更に、前記マスターノードの画像特徴と前記加重特徴を結合し、結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得るように構成される。
【0149】
一例において、前記特徴更新モジュール１１０２は更に、前記マスターノード及び前記近隣ノードに対して線形マッピングを行い、線形マッピング後の前記マスターノード及び近隣ノードに対して内積を決定し、非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定するように構成される。
【0150】
図１３は、特徴更新ネットワーク訓練装置を提供する。該装置は、本願のいずれか１つの実施例の特徴更新ネットワークの訓練方法を実行するように構成される。図１３に示すように、該装置は、関連マップ取得モジュール１３０１と、更新処理モジュール１３０２と、パラメータ調整モジュール１３０３と、を備える。
【0151】
関連マップ取得モジュール１３０１は、第２関連マップを取得するように構成され、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である。
【0152】
更新処理モジュール１３０２は、前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得るように構成される。
【0153】
パラメータ調整モジュール１３０３は、更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得て、前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整するように構成される。
【0154】
一例において、図１４に示すように、前記装置は、前記関連マップ取得モジュールが第２関連マップを取得する前に、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得するように構成される画像取得モジュール１３０４を更に備える。
【0155】
一例において、図１４に示すように、前記装置は、事前訓練モジュール１３０５を更に備える。
【0156】
事前訓練モジュール１３０５は、、特徴抽出ネットワークにより、訓練画像の画像特徴を抽出し、前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得て、前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整するように構成され、前記訓練画像は、前記特徴抽出ネットワークを訓練するために用いられる画像であり、前記サンプル画像は、特徴抽出ネットワークの訓練が完了した後に前記特徴更新ネットワークを訓練するために用いられる画像である。
【0157】
前記画像取得モジュール１３０４は、前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定するように構成される。
【0158】
幾つかの実施例において、本願の実施例で提供される装置における機能又はモジュールは、上記の方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記の方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【0159】
本願の少なくとも１つの実施例は、電子機器を提供する。該機器は、メモリと、プロセッサと、を備え、前記メモリは、プロセッサで実行可能なコンピュータ命令を記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行する時、本願のいずれか１つの実施例に記載の画像特徴抽出方法又は特徴更新ネットワークの訓練方法を実現させるように構成される。
【0160】
本願の少なくとも１つの実施例は、コンピュータ可読記憶媒体を提供する。該記憶媒体にコンピュータプログラムが記憶されており、前記プログラムがプロセッサにより実行される時、本願のいずれか１つの実施例に記載の画像特徴抽出方法又は特徴更新ネットワークの訓練方法を実現させる。
【0161】
本願の少なくとも１つの実施例は、コンピュータプログラムを提供する。該コンピュータプログラムは、プロセッサに、本願のいずれか１つの実施例に記載の画像特徴抽出方法のステップ又は特徴更新ネットワークの訓練方法のステップを実行させるように構成される。
【0162】
当業者であれば、本願の１つ又は複数の実施例は、方法、システム、または、コンピュータプログラム製品として提供され得ることを理解すべきである。従って、本願の１つ又は複数の実施例は、全体的にハードウェアの実施例、全体的にソフトウェアの実施例、またはハードウェアの要素およびソフトウェアの要素の両方を含む実施例の形を取り得る。また、本願の１つ又は複数の実施例は、コンピュータ使用可能プログラムコードが含まれる１つ以上のコンピュータ使用可能な記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光メモリなどを含むがこれらに限られない）で実施されるコンピュータプログラム製品の形態を採用することができる。
【0163】
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該記憶媒体にコンピュータプログラムが記憶されており、前記プログラムがプロセッサにより実行される時、本願のいずれか１つの実施例に記載の画像特徴抽出方法のステップを実現させるか、及び／又は、本願のいずれか１つの実施例に記載の特徴更新ネットワークの訓練方法のステップを実現させる。ここで、前記「及び／又は」は、少なくとも両者のうちの１つを備えることを表す。例えば、「Ａ及び／又はＢ」は、Ａ、Ｂ、及び「Ａ及びＢ」という３つの形態を含む。
【0164】
本願における各実施例は漸進的方式で説明され、各実施例の同じ又は類似する部分は互いに参照することができる。各実施例が重点的に説明したのは、その他の実施例と異なる点である。特に、データ処理装置の実施例にとっては、基本的に方法の実施例と類似するため、説明は簡単になり、関連の場所は方法の実施例の関連説明を参照すれば良い。
【0165】
上記において、本願の特定の実施例を説明した。他の実施例は、添付の特許請求の範囲の範囲内にある。場合によっては、特許請求の範囲に記載した動作又は工程は、実施例に記載の順序と異なる順序で実施され得るし、さらに望ましい結果を実現し得る。なお、図面に示した流れは、所望の結果を達成するために、示された特定の順序または連続した順序を必要としない。幾つかの実施形態において、マルチタスク及び並行処理が有利な場合もある。
【0166】
本願に記載の要旨及び機能的な工程の実施例は、本願に開示される構造及びその構造等価物を含む、デジタル電子回路、有形に実施されたコンピュータソフトウェア若しくはファームウェア、コンピュータハードウェア、又はこれらの1つ以上の組み合わせとして実施することができる。本願に記載の要旨の実施例は、１つ以上のコンピュータプログラムとして、すなわち、データ処理装置による実行のために、または、データ処理装置の動作を制御するために有形の非一時的なプログラム担体上でエンコードされたコンピュータプログラム命令の１つ以上のモジュールとして実現され得る。代替的に又は付加的に、プログラム命令は、例えば、機械生成の電気、光、または電磁気信号など、人工的に生成される伝搬信号上に符号化することができ、人工的に生成される伝搬信号は、適切な受信機装置に送信し、データ処理装置によって実行するために、情報を符号化するために生成される。コンピュータ記憶媒体は、機器可読記憶デバイス、機器可読記憶基板、ランダム又はシリアルアクセスメモリデバイス又はそれらのうちの１つ又は複数の組み合わせであってもよい。
【0167】
本願で述べる処理および論理流れは、１つまたは複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルコンピュータによって実施することができ、プログラマブルコンピュータは、入力データを処理して出力を生成することによって対応する機能を実施する。前記処理および論理流れは、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）のような専用論理回路により実行されてもよく、装置は、専用論理回路として実現されてもよい。
【0168】
コンピュータプログラムの実行に適するコンピュータは、例えば、汎用及び／又は専用マイクロプロセッサ、又は如何なる他のタイプの中央処理ユニットを含む。一般的には、中央処理ユニットは、読み出し専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受信する。コンピュータの基本的なユニットは、命令を実施又は実行するための中央処理ユニットと、命令及びデータを記憶するための１つ又は複数のメモリデバイスと、を含む。一般的には、コンピュータは、例えば、磁気ディスク、磁気光ディスク又は光ディスクなどのような、データを記憶するための１つ又は複数の大容量記憶装置を更に備える。又は、コンピュータは、大容量記憶装置からデータを受信するか又は大容量記憶装置にデータを送信するために、該大容量記憶装置に操作可能に結合されてもよい。又は、上記の２つの形態を含んでもよい。しかしながら、コンピュータは、このような装置を備えることは必須ではない。など、コンピュータは、わずかながら例を挙げると、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、携帯型オーディオビデオプレイヤー、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又はユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブのような携帯型記憶装置に埋設されてもよい。
【0169】
コンピュータプログラム命令及びデータの記憶に適するコンピュータ可読媒体は、全ての形態の不揮発性メモリ、媒体及びメモリデバイスを含む。例えば、半導体記憶装置（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュデバイス）、磁気ディスク（例えば、内蔵ハードディスク又はリムーバブルディスク）、磁気光ディスク及びＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む。プロセッサ及びメモリは、専用論理回路内によって補充され、またはその内部に設けてもよい。
【0170】
本願は、多くの具体的な実施細部を含むが、これらは、本願の如何なる範囲又は保護範囲を限定するものと解釈されるべきではなく、特定の具体的な実施例の特徴を説明するためのものと解釈すべきである。本願において複数の実施例で説明された幾つかの特徴は、単一の実施例において組み合わせられて実行されてもよい。なお、単一の実施例に記載の種々の特徴を複数の実施例に分けて実行されてもよく、又は、如何なる適切なサブ組み合わせで実行されてもよい。なお、特徴は、上記のように、幾つかの実施例で役割を果たし、且つ延いては最初から特許請求されているが、特許請求された組み合わせからの１つ又は複数の特徴は、場合によっては、該組み合わせから除去されてもよく、また、特許請求される組み合わせにより、サブ組み合わせ又はサブ組み合わせの変形を得ることもできる。
【0171】
同様に、図面において、特定の順序で操作を説明したが、これは、所望の結果を得るために、これらの操作を示された特定の順序で実行するか又は順次実行することを要求するもの、又は例示された全ての操作を実行することを要求するものと理解されるべきではない。場合によっては、マルチタスク及び並行処理が有利な場合もある。なお、上記の実施例における種々のシステムモジュール及びユニットの分離について、全ての実施例においていずれもこのような分離を必要とすると理解されるべきではなく、また、記述したプログラムユニット及びシステムは一般的には単一のソフトウェア製品に集積されてもよく、又は複数のソフトウェアとなるようにパッケージされてもよいことを理解すべきである。
【0172】
従って、主旨の特定の実施例を説明した。他の実施例は、添付の特許請求の範囲内に含まれる。場合によっては、特許請求の範囲で記載した動作を異なる順序で実施して、依然として所望の結果を実現することができる。なお、所望の結果を実現するために、図面に示した処理を示された特定の順序で実行するか又は順次実行することは必須ではない。場合によっては、マルチタスク及び並行処理が有利な場合もある。
【0173】
以上は、本願の１つ又は複数の実施例の好適な例に過ぎず、本願の１つ又は複数の実施例を限定するものではない。本願の１つ又は複数の実施例の精神又は原則を逸脱しない範囲で行われる如何なる修正、同等物による置換え、改良などは、いずれも本願の１つ又は複数の実施例の保護範囲内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2022-01-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像特徴抽出方法であって、前記方法は、第１関連マップを取得することであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、ことと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることと、を含む、画像特徴抽出方法。
【請求項2】
第１関連マップを取得する前に、前記方法は、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することを更に含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することは、特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記ターゲット画像の画像特徴と画像ライブラリにおける各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ターゲット画像と類似する近隣画像を決定することは、前記ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付けることと、
先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とすることと、を含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することは、前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得することと、
前記第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得することと、
前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とすることと、を含むことを特徴とする
請求項３に記載の方法。
【請求項6】
前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数であることを特徴とする
請求項１に記載の方法。
【請求項7】
前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることは、前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定することと、
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることと、
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることと、を含むことを特徴とする
請求項１に記載の方法。
【請求項8】
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることは、前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得ることを含むことを特徴とする
請求項７に記載の方法。
【請求項9】
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることは、マスターノードの画像特徴と前記加重特徴を結合することと、
結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得ることと、を含むことを特徴とする
請求項７に記載の方法。
【請求項10】
前記第１関連マップにおける前記マスターノードと前記近隣ノードとの重みを決定することは、前記マスターノードの画像特徴及び前記少なくとも１つの近隣ノードのうちの各近隣ノードの画像特徴に対して線形変換を行うことと、
線形変換後の前記マスターノードの画像特徴及び前記少なくとも１つの近隣ノードのうちの各近隣ノードの画像特徴に対して内積を決定することと、
前記内積に対して非線形処理を行い、非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項11】
前記ターゲット画像は、検索対象クエリ用画像及び画像ライブラリにおける各ライブラリ画像を含み、前記更新され後の前記ターゲット画像の画像特徴を得た後、前記方法は、
更新後のターゲット画像の画像特徴と前記各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ライブラリ画像から、前記ターゲット画像と類似する画像を得て検索結果とすることを更に含むことを特徴とする
請求項１～１０のうちいずれか一項に記載の方法。
【請求項12】
特徴更新ネットワークの訓練方法であって、前記特徴更新ネットワークは、画像の画像特徴を更新するためのものであり、前記方法は、第２関連マップを取得することであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、ことと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得ることと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得ることと、
前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整することと、を含む、特徴更新ネットワークの訓練方法。
【請求項13】
前記第２関連マップを取得する前に、前記方法は、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することを更に含むことを特徴とする
請求項１２に記載の方法。
【請求項14】
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得する前に、前記方法は、特徴抽出ネットワークにより、訓練画像の画像特徴を抽出することと、
前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得ることと、
前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整することと、を更に含み、
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することは、
前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、
前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定することと、を含むことを特徴とする
請求項１３に記載の方法。
【請求項15】
画像特徴抽出装置であって、第１関連マップを取得するように構成されるマップ取得モジュールであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、マップ取得モジュールと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得るように構成される特徴更新モジュールと、を備える、画像特徴抽出装置。
【請求項16】
特徴更新ネットワーク訓練装置であって、第２関連マップを取得するように構成される関連マップ取得モジュールであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、関連マップ取得モジュールと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得るように構成される更新処理モジュールと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得て、前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、特徴更新ネットワーク訓練装置。
【請求項17】
電子機器であって、メモリと、プロセッサと、を備え、前記メモリは、プロセッサで実行可能なコンピュータ命令を記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行する時、請求項１から１１のうちいずれか一項に記載の方法を実現させるか、又は請求項１２から１４のうちいずれか一項に記載の方法を実現させるように構成される、電子機器。
【請求項18】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、前記プログラムはプロセッサにより実行される時、請求項１から１１のうちいずれか一項に記載の方法を実現させるか、又は請求項１２から１４のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項19】
コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサに、請求項１から１１のうちいずれか一項に記載の方法のステップを実行させるか、又は請求項１２から１４のうちいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【0034】
第７態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、プロセッサに、本願のいずれか１つの実施例に記載の画像特徴抽出方法を実行させるか、又は本願のいずれか１つの実施例に記載の特徴更新ネットワークの訓練方法を実行させる。
例えば、本願は以下の項目を提供する。
（項目１）
画像特徴抽出方法であって、前記方法は、
第１関連マップを取得することであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、ことと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることと、を含む、画像特徴抽出方法。
（項目２）
第１関連マップを取得する前に、前記方法は、
前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することを更に含むことを特徴とする
項目１に記載の方法。
（項目３）
前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することは、
特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記ターゲット画像の画像特徴と画像ライブラリにおける各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ターゲット画像と類似する近隣画像を決定することは、
前記ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付けることと、
先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とすることと、を含むことを特徴とする
項目３に記載の方法。
（項目５）
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することは、
前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得することと、
前記第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得することと、
前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とすることと、を含むことを特徴とする
項目３に記載の方法。
（項目６）
前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、
前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数であることを特徴とする
項目１に記載の方法。
（項目７）
前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることは、
前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定することと、
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることと、
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることと、を含むことを特徴とする
項目１に記載の方法。
（項目８）
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることは、
前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得ることを含むことを特徴とする
項目７に記載の方法。
（項目９）
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることは、
マスターノードの画像特徴と前記加重特徴を結合することと、
結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得ることと、を含むことを特徴とする
項目７に記載の方法。
（項目１０）
前記第１関連マップにおける前記マスターノードと前記近隣ノードとの重みを決定することは、
前記マスターノード及び前記近隣ノードに対して線形マッピングを行うことと、
線形マッピング後の前記マスターノード及び前記近隣ノードに対して内積を決定することと、
非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定することと、を含むことを特徴とする
項目７に記載の方法。
（項目１１）
前記ターゲット画像は、検索対象クエリ用画像及び画像ライブラリにおける各ライブラリ画像を含み、
前記更新され後の前記ターゲット画像の画像特徴を得た後、前記方法は、
更新後のターゲット画像の画像特徴と前記各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ライブラリ画像から、前記ターゲット画像と類似する画像を得て検索結果とすることを更に含むことを特徴とする
項目１～１０のうちいずれか一項に記載の方法。
（項目１２）
特徴更新ネットワークの訓練方法であって、前記特徴更新ネットワークは、画像の画像特徴を更新するためのものであり、前記方法は、
第２関連マップを取得することであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、ことと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得ることと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得ることと、
前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整することと、を含む、特徴更新ネットワークの訓練方法。
（項目１３）
前記第２関連マップを取得する前に、前記方法は、
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することを更に含むことを特徴とする
項目１２に記載の方法。
（項目１４）
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得する前に、前記方法は、
特徴抽出ネットワークにより、訓練画像の画像特徴を抽出することと、
前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得ることと、
前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整することと、を更に含み、
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することは、
前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、
前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定することと、を含むことを特徴とする
項目１３に記載の方法。
（項目１５）
画像特徴抽出装置であって、
第１関連マップを取得するように構成されるマップ取得モジュールであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、マップ取得モジュールと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得るように構成される特徴更新モジュールと、を備える、画像特徴抽出装置。
（項目１６）
前記装置は、
前記マップ取得モジュールが第１関連マップを取得する前に、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得するように構成される近隣取得モジュールを更に備えることを特徴とする
項目１５に記載の装置。
（項目１７）
前記近隣取得モジュールは、
特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定するように構成されることを特徴とする
項目１６に記載の装置。
（項目１８）
前記近隣取得モジュールは更に、
ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付け、
先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とするように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記近隣取得モジュールは更に、
前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各前記ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得し、
第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得し、
前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とするように構成されることを特徴とする
項目１７に記載の装置。
（項目２０）
前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、
前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数であることを特徴とする
項目１５に記載の装置。
（項目２１）
前記特徴更新モジュールは、
前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定し、
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得て、
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得るように構成されることを特徴とする
項目１５に記載の装置。
（項目２２）
前記特徴更新モジュールは更に、
前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得るように構成されることを特徴とする
項目２１に記載の装置。
（項目２３）
前記特徴更新モジュールは更に、
前記マスターノードの画像特徴と前記加重特徴を結合し、
結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得るように構成されることを特徴とする
項目２１に記載の装置。
（項目２４）
前記特徴更新モジュールは更に、
前記マスターノード及び前記近隣ノードに対して線形マッピングを行い、
線形マッピング後の前記マスターノード及び前記近隣ノードに対して内積を決定し、
非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定するように構成されることを特徴とする
項目２１に記載の装置。
（項目２５）
特徴更新ネットワーク訓練装置であって、
第２関連マップを取得するように構成される関連マップ取得モジュールであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、関連マップ取得モジュールと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得るように構成される更新処理モジュールと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得て、前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、特徴更新ネットワーク訓練装置。
（項目２６）
前記装置は、
前記関連マップ取得モジュールが第２関連マップを取得する前に、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得するように構成される画像取得モジュールを更に備えることを特徴とする
項目２５に記載の装置。
（項目２７）
前記装置は、
特徴抽出ネットワークにより、訓練画像の画像特徴を抽出し、前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得て、前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整するように構成される事前訓練モジュールであって、前記訓練画像は、前記特徴抽出ネットワークを訓練するために用いられる画像であり、前記サンプル画像は、特徴抽出ネットワークの訓練が完了した後に前記特徴更新ネットワークを訓練するために用いられる画像である、事前訓練モジュールを更に備え、
前記画像取得モジュールは、
前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、
前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定するように構成されることを特徴とする
項目２５に記載の装置。
（項目２８）
電子機器であって、メモリと、プロセッサと、を備え、前記メモリは、プロセッサで実行可能なコンピュータ命令を記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行する時、項目１から１１のうちいずれか一項に記載の方法を実現させるか、又は項目１２から１４のうちいずれか一項に記載の方法を実現させるように構成される、電子機器。
（項目２９）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、前記プログラムはプロセッサにより実行される時、項目１から１１のうちいずれか一項に記載の方法を実現させるか、又は項目１２から１４のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
（項目３０）
コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサに、項目１から１１のうちいずれか一項に記載の方法のステップを実行させるか、又は項目１２から１４のうちいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
画像特徴抽出方法であって、前記方法は、
第１関連マップを取得することであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、ことと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることと、を含む、画像特徴抽出方法。
（項目２）
第１関連マップを取得する前に、前記方法は、
前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することを更に含むことを特徴とする
項目１に記載の方法。
（項目３）
前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得することは、
特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記ターゲット画像の画像特徴と画像ライブラリにおける各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ターゲット画像と類似する近隣画像を決定することは、
前記ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付けることと、
先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とすることと、を含むことを特徴とする
項目３に記載の方法。
（項目５）
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定することは、
前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得することと、
前記第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得することと、
前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とすることと、を含むことを特徴とする
項目３に記載の方法。
（項目６）
前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、
前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数であることを特徴とする
項目１に記載の方法。
（項目７）
前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得ることは、
前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定することと、
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることと、
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることと、を含むことを特徴とする
項目１に記載の方法。
（項目８）
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得ることは、
前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得ることを含むことを特徴とする
項目７に記載の方法。
（項目９）
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得ることは、
マスターノードの画像特徴と前記加重特徴を結合することと、
結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得ることと、を含むことを特徴とする
項目７に記載の方法。
（項目１０）
前記第１関連マップにおける前記マスターノードと前記近隣ノードとの重みを決定することは、
前記マスターノード及び前記近隣ノードに対して線形マッピングを行うことと、
線形マッピング後の前記マスターノード及び前記近隣ノードに対して内積を決定することと、
非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定することと、を含むことを特徴とする
項目７に記載の方法。
（項目１１）
前記ターゲット画像は、検索対象クエリ用画像及び画像ライブラリにおける各ライブラリ画像を含み、
前記更新され後の前記ターゲット画像の画像特徴を得た後、前記方法は、
更新後のターゲット画像の画像特徴と前記各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記ライブラリ画像から、前記ターゲット画像と類似する画像を得て検索結果とすることを更に含むことを特徴とする
項目１～１０のうちいずれか一項に記載の方法。
（項目１２）
特徴更新ネットワークの訓練方法であって、前記特徴更新ネットワークは、画像の画像特徴を更新するためのものであり、前記方法は、
第２関連マップを取得することであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、ことと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得ることと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得ることと、
前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整することと、を含む、特徴更新ネットワークの訓練方法。
（項目１３）
前記第２関連マップを取得する前に、前記方法は、
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することを更に含むことを特徴とする
項目１２に記載の方法。
（項目１４）
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得する前に、前記方法は、
特徴抽出ネットワークにより、訓練画像の画像特徴を抽出することと、
前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得ることと、
前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整することと、を更に含み、
前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得することは、
前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得することと、
前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定することと、を含むことを特徴とする
項目１３に記載の方法。
（項目１５）
画像特徴抽出装置であって、
第１関連マップを取得するように構成されるマップ取得モジュールであって、前記第１関連マップに、マスターノード及び少なくとも１つの近隣ノードが含まれ、前記マスターノードのノード値は、ターゲット画像の画像特徴を表し、前記近隣ノードのノード値は、近隣画像の画像特徴を表し、前記近隣画像は、前記ターゲット画像と類似する画像である、マップ取得モジュールと、
前記第１関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第１関連マップにおける近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のターゲット画像の画像特徴を得るように構成される特徴更新モジュールと、を備える、画像特徴抽出装置。
（項目１６）
前記装置は、
前記マップ取得モジュールが第１関連マップを取得する前に、前記ターゲット画像に基づいて、画像ライブラリから、前記ターゲット画像と類似する近隣画像を取得するように構成される近隣取得モジュールを更に備えることを特徴とする
項目１５に記載の装置。
（項目１７）
前記近隣取得モジュールは、
特徴抽出ネットワークにより、前記ターゲット画像の画像特徴及び画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、
前記ターゲット画像の画像特徴と画像ライブラリにおける各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記画像ライブラリから、前記ターゲット画像と類似する近隣画像を決定するように構成されることを特徴とする
項目１６に記載の装置。
（項目１８）
前記近隣取得モジュールは更に、
ターゲット画像と各前記ライブラリ画像との特徴類似度を、特徴類似度の数値の降順に従って順序付け、
先頭からの所定数量の特徴類似度に対応するライブラリ画像を選択し、前記ターゲット画像と類似する近隣画像とするように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記近隣取得モジュールは更に、
前記ターゲット画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、前記各前記ライブラリ画像から、前記ターゲット画像と類似する第１画像を取得し、
第１画像の画像特徴と各前記ライブラリ画像の画像特徴との特徴類似度に基づいて、各前記ライブラリ画像から、前記第１画像と類似する第２画像を取得し、
前記第１画像及び前記第２画像を前記ターゲット画像の近隣画像とするように構成されることを特徴とする
項目１７に記載の装置。
（項目２０）
前記特徴更新ネットワークの数は、１つであるか又は順次に積み重ねるＮ個であり、Ｎは、１より大きい整数であり、
前記特徴更新ネットワークの数がＮ個である場合、第ｉ特徴更新ネットワークへの入力は、第ｉ－１特徴更新ネットワークから出力された、更新後の第１関連マップであり、ｉは、１より大きく、且つＮ以下の整数であることを特徴とする
項目１５に記載の装置。
（項目２１）
前記特徴更新モジュールは、
前記第１関連マップにおける前記マスターノードと各前記近隣ノードとの重みを決定し、
前記重みに基づいて、各前記近隣ノードの画像特徴を結合し、前記マスターノードの加重特徴を得て、
前記マスターノードの画像特徴及び前記加重特徴に基づいて、前記更新後のターゲット画像の画像特徴を得るように構成されることを特徴とする
項目１５に記載の装置。
（項目２２）
前記特徴更新モジュールは更に、
前記重みに基づいて、各前記近隣ノードの画像特徴を加重加算し、前記マスターノードの加重特徴を得るように構成されることを特徴とする
項目２１に記載の装置。
（項目２３）
前記特徴更新モジュールは更に、
前記マスターノードの画像特徴と前記加重特徴を結合し、
結合後の特徴に対して非線形マッピングを行い、更新後のターゲット画像の画像特徴を得るように構成されることを特徴とする
項目２１に記載の装置。
（項目２４）
前記特徴更新モジュールは更に、
前記マスターノード及び前記近隣ノードに対して線形マッピングを行い、
線形マッピング後の前記マスターノード及び前記近隣ノードに対して内積を決定し、
非線形処理後の前記内積に基づいて、前記マスターノードと前記近隣ノードとの重みを決定するように構成されることを特徴とする
項目２１に記載の装置。
（項目２５）
特徴更新ネットワーク訓練装置であって、
第２関連マップを取得するように構成される関連マップ取得モジュールであって、前記第２関連マップに、訓練マスターノード及び少なくとも１つの訓練近隣ノードが含まれ、前記訓練マスターノードのノード値は、サンプル画像の画像特徴を表し、前記訓練近隣ノードのノード値は、訓練近隣画像の画像特徴を表し、前記訓練近隣画像は、前記サンプル画像と類似する画像である、関連マップ取得モジュールと、
前記第２関連マップを特徴更新ネットワークに入力し、前記特徴更新ネットワークにより、前記第２関連マップにおける訓練近隣ノードのノード値に基づいて、前記マスターノードのノード値を更新し、更新後のサンプル画像の画像特徴を得るように構成される更新処理モジュールと、
更新後のサンプル画像の画像特徴に基づいて、前記サンプル画像の予測情報を得て、前記予測情報に基づいて、前記特徴更新ネットワークのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、特徴更新ネットワーク訓練装置。
（項目２６）
前記装置は、
前記関連マップ取得モジュールが第２関連マップを取得する前に、前記サンプル画像に基づいて、訓練画像ライブラリから、前記サンプル画像と類似する前記訓練近隣画像を取得するように構成される画像取得モジュールを更に備えることを特徴とする
項目２５に記載の装置。
（項目２７）
前記装置は、
特徴抽出ネットワークにより、訓練画像の画像特徴を抽出し、前記訓練画像の画像特徴に基づいて、前記訓練画像の予測情報を得て、前記訓練画像の予測情報及びラベル情報に基づいて、前記特徴抽出ネットワークのネットワークパラメータを調整するように構成される事前訓練モジュールであって、前記訓練画像は、前記特徴抽出ネットワークを訓練するために用いられる画像であり、前記サンプル画像は、特徴抽出ネットワークの訓練が完了した後に前記特徴更新ネットワークを訓練するために用いられる画像である、事前訓練モジュールを更に備え、
前記画像取得モジュールは、
前記特徴抽出ネットワークにより、前記サンプル画像の画像特徴及び訓練画像ライブラリにおける各ライブラリ画像の画像特徴をそれぞれ取得し、
前記サンプル画像の画像特徴と各ライブラリ画像の画像特徴との特徴類似度に基づいて、前記サンプル画像と類似する前記訓練近隣画像を決定するように構成されることを特徴とする
項目２５に記載の装置。
（項目２８）
電子機器であって、メモリと、プロセッサと、を備え、前記メモリは、プロセッサで実行可能なコンピュータ命令を記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行する時、項目１から１１のうちいずれか一項に記載の方法を実現させるか、又は項目１２から１４のうちいずれか一項に記載の方法を実現させるように構成される、電子機器。
（項目２９）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、前記プログラムはプロセッサにより実行される時、項目１から１１のうちいずれか一項に記載の方法を実現させるか、又は項目１２から１４のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
（項目３０）
コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサに、項目１から１１のうちいずれか一項に記載の方法のステップを実行させるか、又は項目１２から１４のうちいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。
【国際調査報告】