特表 2023-536761 画像検索のためのニューラルネットワークのトレーニング方法、装置および電子装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-29

(54)【発明の名称】画像検索のためのニューラルネットワークのトレーニング方法、装置および電子装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230822BHJP

   G06V 10/82 20220101ALI20230822BHJP

   G06V 10/778 20220101ALI20230822BHJP

   G06F 16/53 20190101ALI20230822BHJP

   G06F 16/56 20190101ALI20230822BHJP

   G06N 3/09 20230101ALI20230822BHJP

   G06N 3/045 20230101ALI20230822BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06V10/778

G06F16/53

G06F16/56

G06N3/09

G06N3/045

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023509754

(86)(22)【出願日】2020-08-25

(85)【翻訳文提出日】2023-03-10

(86)【国際出願番号】 CN2020111121

(87)【国際公開番号】W WO2022032725

(87)【国際公開日】2022-02-17

(31)【優先権主張番号】202010813927.2

(32)【優先日】2020-08-13

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522239476

【氏名又は名称】馭勢科技（浙江）有限公司

【氏名又は名称原語表記】ＵＩＳＥＥ ＴＥＣＨＮＯＬＯＧＩＥＳ （ＺＨＥＪＩＡＮＧ） ＬＴＤ．

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】任 豪

(72)【発明者】

【氏名】李 思洋

(72)【発明者】

【氏名】路 紅

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175HB03

5L096EA39

5L096HA11

5L096JA22

5L096KA04

5L096KA09

(57)【要約】

画像検索のためのニューラルネットワークのトレーニング方法、装置および電子装置である。ニューラルネットワークは、特徴抽出器と複数の学習器を含む。トレーニング方法は、各トレーニング画像群について、トレーニング画像群の３枚の画像を特徴抽出器に入力して、３枚の画像の特徴を決定するステップ（５０１）と、各トレーニング画像群中の各枚の画像について、該画像の特徴に各学習器に対応するランダム重みをそれぞれ乗じて、各学習器に対応する重み付け特徴を得るステップ（５０２）と、各トレーニング画像群中の各枚の画像について、該画像の各学習器に対応する重み付け特徴を対応の学習器に入力して、該画像の複数の特徴ベクトルを決定するステップ（５０３）と、複数のトレーニング画像群中の各枚の画像の複数の特徴ベクトルに基づいて、ニューラルネットワークのパラメータを調整するステップ（５０４）とを含む。トレーニングデータ間の情報差異がネットワークに与える影響を削減することができる。
【選択図】図５

【特許請求の範囲】

【請求項1】

画像検索のためのニューラルネットワークのトレーニング方法であって、
前記ニューラルネットワークは特徴抽出器と複数の学習器を含み、前記複数の学習器は前記特徴抽出器によって抽出された特徴を共有し、
複数のトレーニング画像群を予め決定し、各前記トレーニング画像群は、同じカテゴリの画像２枚、異なるカテゴリの画像１枚という３枚の画像を含み、
前記方法は、
各前記トレーニング画像群について、各学習器にランダム重みを割り当てるステップと、
前記トレーニング画像群の３枚の画像を特徴抽出器に入力し、前記３枚の画像の特徴を決定するステップと、
各枚の画像について、該画像の特徴に各学習器に対応するランダム重みをそれぞれ乗じて、該画像の各学習器に対応する重み付け特徴を得るステップであって、各学習器について、前記トレーニング画像群中の３枚の画像は同じランダム重みに対応するステップと、
各枚の画像について、該画像の各学習器に対応する重み付け特徴を対応の学習器に入力し、該画像の複数の特徴ベクトルを決定するステップと、
複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルに基づいて、前記ニューラルネットワークのパラメータを調整するステップとを含む、ことを特徴とする画像検索のためのニューラルネットワークのトレーニング方法。

【請求項2】

前記複数のトレーニング画像群を予め決定することは、
トレーニングサンプル集合を取得し、前記トレーニングサンプル集合は、複数のカテゴリの画像を含み、各カテゴリでは少なくとも２枚の画像を含む、ステップと、
前記トレーニングサンプル集合から、複数枚の参照画像Ａ、各枚の参照画像Ａと同じカテゴリの画像Ｐおよび異なるカテゴリの画像Ｎを決定し、複数のトレーニング画像群を得、各前記トレーニング画像群は、参照画像Ａ、同じカテゴリの画像Ｐおよび異なるカテゴリの画像Ｎを含む、ステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルに基づいて、前記ニューラルネットワークのパラメータを調整するステップは、
各トレーニング画像群中の各枚の画像について、該画像の複数の特徴ベクトルを、完全連結層を介して埋め込み特徴ベクトルにマッピングするステップと、
各トレーニング画像群について、３枚の画像に対応する３つの埋め込み特徴ベクトルと３枚の画像のカテゴリに基づいて、前記トレーニング画像群の損失関数値を算出するステップと、
前記複数のトレーニング画像群について、前記複数のトレーニング画像群の平均損失関数値を決定するステップと、
前記平均損失関数値に基づき、前記ニューラルネットワークのパラメータを調整するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記平均損失関数値に基づき、前記ニューラルネットワークのパラメータを調整するステップは、
前記平均損失関数値に基づき、バックプロパゲーションにより前記ニューラルネットワークのパラメータを調整するステップを含むことを特徴とする請求項３に記載の方法。

【請求項5】

画像検索のためのニューラルネットワークトレーニング装置であって、
前記ニューラルネットワークは特徴抽出器と複数の学習器を含み、前記複数の学習器は前記特徴抽出器によって抽出された特徴を共有し、前記装置は複数のトレーニング画像群を予め決定し、各前記トレーニング画像群は、同じカテゴリの画像２枚、異なるカテゴリの画像１枚という３枚の画像を含み、各前記トレーニング画像群について、各学習器にランダム重みを割り当て、前記装置は、
各前記トレーニング画像群について、前記トレーニング画像群の３枚の画像を特徴抽出器に入力し、前記３枚の画像の特徴を決定するための抽出ユニットと、
各前記トレーニング画像群について、各枚の画像につき、該画像の特徴に各学習器に対応するランダム重みをそれぞれ乗じて、該画像の各学習器に対応する重み付け特徴を得、各学習器について、前記トレーニング画像群中の３枚の画像は同じランダム重みに対応するための重み付けユニットと、
各前記トレーニング画像群について、各枚の画像につき、該画像の各学習器に対応する重み付け特徴を対応の学習器に入力し、該画像の複数の特徴ベクトルを決定するためのマッピングユニットと、
複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルに基づいて、前記ニューラルネットワークのパラメータを調整するための調整ユニットと、を含む、ことを特徴とする画像検索のためのニューラルネットワークトレーニング装置。

【請求項6】

前記装置は複数のトレーニング画像群を予め決定することは、
前記装置はトレーニングサンプル集合を取得し、前記トレーニングサンプル集合は複数のカテゴリの画像を含み、各カテゴリでは少なくとも２枚の画像を含む、ステップと、
前記装置は前記トレーニングサンプル集合から、複数枚の参照画像Ａ、各枚の参照画像Ａと同じカテゴリの画像Ｐおよび異なるカテゴリの画像Ｎを決定し、複数のトレーニング画像群を得、各前記トレーニング画像群は参照画像Ａ、同じカテゴリの画像Ｐおよび異なるカテゴリの画像Ｎを含む、ステップと、を含むことを特徴とする請求項５に記載の装置。

【請求項7】

前記調整ユニットは、
各トレーニング画像群中の各枚の画像について、該画像の複数の特徴ベクトルを、完全連結層を介して埋め込み特徴ベクトルにマッピングし、
各トレーニング画像群について、３枚の画像に対応する３つの埋め込み特徴ベクトルと３枚の画像のカテゴリに基づいて、前記トレーニング画像群の損失関数値を算出し、
前記複数のトレーニング画像群について、前記複数のトレーニング画像群の平均損失関数値を決定し、
前記平均損失関数値に基づき、前記ニューラルネットワークのパラメータを調整するために用いられる、ことを特徴とする請求項５に記載の装置。

【請求項8】

前記調整ユニットは前記平均損失関数値に基づき、前記ニューラルネットワークのパラメータを調整することは、
前記平均損失関数値に基づき、バックプロパゲーションにより前記ニューラルネットワークのパラメータを調整することを含むことを特徴とする請求項７に記載の装置。

【請求項9】

プロセッサとメモリを含み、
前記プロセッサは前記メモリに記憶されたプログラムまたは指令を呼び出して、請求項１～４のいずれか１項に記載の方法のステップを実行する、ことを特徴とする電子装置。

【請求項10】

プログラムまたは指令を格納し、前記プログラムまたは指令はコンピューターに請求項１～４のいずれか１項に記載の方法のステップを実行させる、ことを特徴とする非一時的なコンピューター可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、画像処理技術の分野に関し、特に画像検索のためのニューラルネットワークのトレーニング方法、装置および電子装置に関する。

【0002】

＜関連出願＞
本出願は、２０２０年０８月１３日に中国特許庁に出願された、出願番号２０２０１０８１３９２７２、発明名称「画像検索のためのニューラルネットワークのトレーニング方法、装置および電子装置」の中国特許出願の優先権を主張し、そのすべての内容が参照によって本出願に組み込まれる。

【背景技術】

【0003】

インターネット経済の発展に伴い、画像による画像検索の需要が高まっており、画像による画像検索を実現する画像検索技術の重要性が高まっている。画像検索とは、データベースから検索対象の画像と同じカテゴリの画像を検索することであり、データベース内の同じカテゴリの画像をより正確に想起することを主目的とする。例えば、知能運転（無人運転や運転支援を含む）では、現在のシーンに特化した判断をするために、撮影画像に対応するシーンを特定する必要がある。

【0004】

既存の画像検索技術は、主に畳み込みニューラルネットワークの多枝（すなわち学習機）ネットワークモデルに基づいており、画像中の異なる属性の情報特徴を異なるネットワーク枝を介して埋め込み特徴ベクトルにマッピングし、これらの埋め込み特徴ベクトルに基づいて距離メトリックの下で画像の空間位置を記述し、異なる画像の空間位置を通じて類似画像を検索するものである。

【0005】

上記多枝ネットワークモデルは、多数の枝に対して差分モデルを学習させることで得られ、
このモデルは、３つの画像のトライアドを最小単位として、そのうちの１つを検索対象の画像Ａ、残りの２つを画像Ａと同じカテゴリに属する画像Ｐ、Ａとは異なるカテゴリに属する画像Ｎとして、それぞれ学習させるものである。図１を参照して、３つの分枝（学習機）を含む多枝ネットワークモデルを例にとると、既存の多枝ネットワークモデルの直列化学習方法の主な処理は、トライアド中の画像Ａをそれぞれ３つの畳み込みニューラルネットワークＣＮＮに入力し、３つのＣＮＮはそれぞれこの画像の特徴を抽出し、３つのＣＮＮが抽出した特徴をそれぞれ対応の学習器１、学習器２および学習器３に入力して、この画像に対応する３つの特徴ベクトルを得、画像Ｐと画像Ｎについて同じ操作を実行して、画像Ｐと画像Ｎのそれぞれに対応する３つの特徴ベクトルを得た後、画像Ａと画像Ｐが類似し（距離が近い）、画像Ａと画像Ｎが類似しない（距離が大きい）という目的に基づき、３枚の画像のカテゴリと各枚の画像のそれぞれに対応する３つの特徴ベクトルによって分類し、Ｔｒｉｐｌｅｔ Ｌｏｓｓ損失関数を用いて各分枝の損失値を順に算出し、該損失値をバックプロパゲーションして各分枝の学習器とＣＮＮの重みを調整し、前枝の損失値が後枝の重み調整に影響することにより、分枝を差別化して画像の異なる属性へのマッピング能力を得ることができる。

【0006】

上記多枝ネットワークモデルおよびその直列化トレーニング方法は主に以下の問題があり、（１）ある分枝上の情報誤差が後の分枝に蓄積され、分枝性能が低下し、さらにはネットワークオーバーフィッティングを引き起こし、（２）トレーニング効果が低い分枝が他の分枝、さらにはモデル全体の性能に影響を与え、（３）異なるトライアドにある情報差異に対して、異なる分枝は同一属性に対する敏感度が異なるため、ある分枝がある属性を良好にマッピングできなく、バックプロパゲーションにおける特徴抽出器の効果にさえ影響を与える。

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記の技術的問題または少なくとも一部の上記技術的問題を解決するために、本出願は、画像検索のためのニューラルネットワークのトレーニング方法、装置および電子装置を提供する。

【課題を解決するための手段】

【0008】

第１側面において、本出願は、画像検索のためのニューラルネットワークのトレーニング方法を提供し、前記ニューラルネットワークは特徴抽出器と複数の学習器を含み、前記複数の学習器は前記特徴抽出器によって抽出された特徴を共有し、複数のトレーニング画像群を予め決定し、各前記トレーニング画像群は、同じカテゴリの画像２枚、異なるカテゴリの画像１枚という３枚の画像を含み、前記方法は、
各前記トレーニング画像群について、各学習器にランダム重みを割り当てるステップと、
前記トレーニング画像群の３枚の画像を特徴抽出器に入力し、前記３枚の画像の特徴を決定するステップと、
各枚の画像について、該画像の特徴に各学習器に対応するランダム重みをそれぞれ乗じて、該画像の各学習器に対応する重み付け特徴を得、各学習器について、前記トレーニング画像群中の３枚の画像は同じランダム重みに対応するステップと、
各枚の画像について、該画像の各学習器に対応する重み付け特徴を対応の学習器に入力し、該画像の複数の特徴ベクトルを決定するステップと、
複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルに基づいて、前記ニューラルネットワークのパラメータを調整するステップとを含む。

【0009】

第２側面において、本出願は、画像検索のためのニューラルネットワークトレーニング装置を提供し、前記ニューラルネットワークは特徴抽出器と複数の学習器を含み、前記複数の学習器は前記特徴抽出器によって抽出された特徴を共有し、前記装置は複数のトレーニング画像群を予め決定し、各前記トレーニング画像群は、同じカテゴリの画像２枚、異なるカテゴリの画像１枚という３枚の画像を含み、各前記トレーニング画像群について、各学習器にランダム重みを割り当て、前記装置は、
各前記トレーニング画像群について、前記トレーニング画像群の３枚の画像を特徴抽出器に入力し、前記３枚の画像の特徴を決定するための抽出ユニットと、
各前記トレーニング画像群について、各枚の画像について、該画像の特徴に各学習器に対応するランダム重みをそれぞれ乗じて、該画像の各学習器に対応する重み付け特徴を得、各学習器について、前記トレーニング画像群中の３枚の画像は同じランダム重みに対応するための重み付けユニットと、
各前記トレーニング画像群について、各枚の画像について、該画像の各学習器に対応する重み付け特徴を対応の学習器に入力し、該画像の複数の特徴ベクトルを決定するためのマッピングユニットと、
複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルに基づいて、前記ニューラルネットワークのパラメータを調整するための調整ユニットとを含む。

【0010】

第３側面において、本出願は、電子装置を提供し、該電子装置はプロセッサおよびメモリを含み、
前記プロセッサは前記メモリに記憶されたプログラムまたは指令を呼び出して、いずれか１つの実施例中の上記画像検索のためのニューラルネットワークのトレーニング方法のステップを実行する。

【0011】

第４側面において、本出願は、非一時的なコンピューター可読記憶媒体を提供し、前記非一時的なコンピューター可読記憶媒体はプログラムまたは指令を格納し、前記プログラムまたは指令は、コンピューターにいずれか１つの実施例中の上記画像検索のためのニューラルネットワークのトレーニング方法のステップを実行させる。

【発明の効果】

【0012】

本出願の実施例が提供する技術的解決策は従来技術と比較して以下の利点を有し、
一、各学習器は特徴抽出器によって抽出された特徴を共有し、分枝の独立性を高め、上位の分枝が下位の分枝に与える影響を弱め、ネットワークのオーバーフィッティング問題を最適化する。

【0013】

二、各学習器にランダム重みを追加し、トレーニングデータ間の情報差異に対する多枝の適応性を最適化し、トレーニングデータ間の情報差異がある分枝に与える継続的な影響および低性能の分枝が全体モデルに与える影響を弱めて、モデル頑健性を向上させることができる。

【図面の簡単な説明】

【0014】

ここでの図面は明細書の一部として明細書に組み込まれ、本出願と一致する実施例を示し、明細書とともに本出願の原理を解釈するために使用される。

【0015】

本出願の実施例または従来技術中の技術的解決策をより明確に説明するために、以下、実施例または従来技術の説明で使用される図面を簡単に説明するが、明らかに、当業者にとって、創造的な労働をすることなく、これらの図面に基づいて他の図面を得ることができる。

【図1】従来技術中の画像検索のためのニューラルネットワークのネットワーク構造を示すブロック図である。

【図2】本出願の実施例が提供する画像検索のためのニューラルネットワークのネットワーク構造を示すブロック図である。

【図3】本出願の実施例が提供する画像検索のためのニューラルネットワークトレーニング装置の構造を示す模式図である。

【図4】本出願の実施例が提供する電子装置の構造を示す模式図である。

【図5】本出願の実施例が提供する画像検索のためのニューラルネットワークのトレーニング方法のフローチャートである。

【図6】本出願の実施例が提供する画像検索のためのニューラルネットワークのトレーニング方法中の調整パラメータの過程フローチャートである。

【発明を実施するための形態】

【0016】

本出願の上記目的、特徴および利点をより明確に理解するために、以下、本出願の解決策をさらに説明する。なお、互いに矛盾しない限り、本出願の実施例と実施例中の特徴を組み合わせることができることに留意されたい。

【0017】

以下の説明において、本出願を十分に理解するために多くの具体的な詳細を説明するが、本出願は他の異なる方法で実施することもでき、明らかに、明細書中の実施例は本出願の一部の実施例に過ぎず、すべての実施例ではない。

【0018】

現在、直列化トレーニング方法に基づいて得られた画像検索のための多枝ネットワークモデルは、上位の分枝の情報誤差が下位の分枝に蓄積され、特定の属性をうまくマッピングできない特定の枝が、枝間や異なるトライアド間の情報変動の直列差学習により、モデル全体の性能、あるいは逆伝播における特徴抽出器の性能に影響を与えるという問題を抱えている。この問題を解決するために、本出願の実施例は画像検索のためのニューラルネットワークトレーニング方法を提供し、複数の学習器が同一の特徴抽出器によって抽出された特徴を共有し、分枝独立性を高め、上位の分枝が下位の分枝に対する影響、およびバックプロパゲーションによる特徴抽出器に対する影響を弱め、ネットワークのオーバーフィッティングを促進し、さらに、ネットワーク中の各学習器にランダム重みを付加し、トレーニング画像群ごとに、各学習器に１つのランダム重みを配置し、各学習器に対応するランダム重みが同一の画像群の３枚の画像のトレーニング過程中変化せず、同一トレーニング画像群の３枚の画像のニューラルネットワークの不変性を確保することができる同時に、各トレーニング画像群の特徴情報のニューラルネットワークトレーニング中のランダム性影響を増加して、ニューラルネットワークの正確的なトレーニングを確保する基に、異なるトレーニング画像群の情報差異がある分枝に対する継続的な影響、分枝の情報誤差蓄積および低性能の分枝が全体モデルに対する影響を弱めて、モデル頑健性を向上させる。

【0019】

本出願の実施例が提供する画像検索のためのニューラルネットワークトレーニング方法は、画像検索に依存するアプリケーションシナリオに適用することができる。図２は本出願の実施例が提供する画像検索のためのニューラルネットワークのネットワーク構造を示すブロック図である。図２に示すように、画像検索のためのニューラルネットワーク２００は特徴抽出器２１０と複数の学習器２２０を含むが、これらに限定されない。該画像検索のためのニューラルネットワーク２００はトレーニング過程での入力はトレーニング画像群であり、各トレーニング画像群は、同じカテゴリに属する２枚の画像、例えば画像Ａと画像Ｐ、前記カテゴリと異なるカテゴリに属する１枚の画像、例えば画像Ｎという３枚の画像を含む。

【0020】

ここで、特徴抽出器２１０は、入力画像の特徴を抽出して該画像の特徴を得るために使用される。いくつかの実施例では、特徴抽出器２１０は畳み込みニューラルネットワークＣＮＮであり得る。

【0021】

ここで、学習器２２０は、特徴抽出器２１０によって抽出された特徴を特徴ベクトルにマッピングするために使用される。学習器２２０の数は少なくとも２つであり、図２では３つの学習器を例にして説明する。該複数の学習器２２０は特徴抽出器２１０によって抽出された特徴を共有し、すなわち各学習器２２０の入力はいずれも特徴抽出器２１０によって抽出された特徴である。各学習器２２０の出力は１つの特徴ベクトルである。そうすると、入力した１枚の画像について、得られた特徴ベクトルの数が学習器２２０の数と一致である。いくつかの実施例では、複数の学習器２２０の後に、複数の特徴ベクトルを埋め込み特徴ベクトルにマッピングするための完全連結層を追加してもよい。

【0022】

いくつかの実施例では、異なるトレーニング画像群間の情報差異が各分枝トレーニング効果に対する影響を削減するために、特徴抽出器２１０と各学習器２２０間にランダム重みＷｉを適用し、Ｗｉは０と１間の値であり、すなわち０＜Ｗｉ＜１となり、いくつかの実施例では、Ｗｉは乱数発生器によって生成されてもよい。ランダム重みＷｉの数は学習器２２０の数と一致であり、図２では３つのランダム重みＷ１、Ｗ２およびＷ３を適用して、特徴抽出器２１０によって抽出された特徴をさらに処理し、特徴にランダム情報を付加する。いくつかの実施例では、ランダム重みの処理方法は、抽出された特徴と各学習器２２０に対応するランダム重みを乗じて、各学習器２２０に対応する重み付け特徴を得てもよい。いくつかの実施例では、同一のトレーニング画像群中の３枚の画像について、各学習器２２０に対応するランダム重みは同じであるが、異なるトレーニング画像群について、各学習器２２０に再びランダム重みをランダムに分配する必要がある。すなわち、各トレーニング画像群について、１組のランダム重みＷｉをランダムに割り当て、１組のランダム重みＷｉは対応のトレーニング画像群のトレーニング過程中で変化しない。

【0023】

いくつかの実施例では、特徴抽出器２１０と各学習器２２０は同一電子装置に統合されて実現する。いくつかの実施例では、特徴抽出器２１０と各学習器２２０は少なくとも２つの電子装置に分散して配置されて実現し、これらの装置間は互いに通信可能に接続されて、異なるネットワーク構造間の処理データを転送する。上記電子装置は、大量の演算機能を有する装置、例えばノートパソコン、デスクトップコンピューター、サーバーまたはサービスクラスタなどであってもよい。

【0024】

図３は、本出願の実施例が提供する画像検索のためのニューラルネットワークトレーニング装置の構造を示す模式図である。画像検索のためのニューラルネットワークトレーニング装置３００は、図２中の画像検索のためのニューラルネットワークをトレーニングするために使用される。いくつかの実施例では、画像検索のためのニューラルネットワークトレーニング装置３００は、特徴抽出器２１０と学習器２２０を別々にトレーニングするのではなく、特徴抽出器２１０と複数の学習器２２０を同時にトレーニングして、各モデルパラメータを得る。

【0025】

いくつかの実施例では、画像検索のためのニューラルネットワークトレーニング装置３００は複数のトレーニング画像群を予め決定し、各トレーニング画像群は、同じカテゴリの画像２枚、異なるカテゴリの画像１枚という３枚の画像を含む。具体的に、一回のネットワークトレーニングのために、画像検索のためのニューラルネットワークトレーニング装置３００は複数のトレーニング画像群を予め決定する必要があり、各画像トレーニング組は、同じカテゴリの２枚、例えば画像Ａと画像Ｐ、前記カテゴリと異なるカテゴリの１枚、例えば画像Ｎという３枚の画像を含む。例えば、１０個のトレーニング画像群を予め決定し、各トレーニング画像群は３枚の画像、合計３０枚のトレーニングサンプル画像を用意する。

【0026】

いくつかの実施例では、画像検索のためのニューラルネットワークトレーニング装置３００は複数のトレーニング画像群を予め決定する過程は、以下のとおりであり、トレーニングサンプル集合を取得し、該トレーニングサンプル集合は複数のカテゴリの画像を含み、各カテゴリは少なくとも２枚の画像を含む。その後、該トレーニングサンプル集合から複数枚の参照画像Ａを検索する画像として選択する。同時に、各枚の参照画像Ａについて、トレーニングサンプル集合から該参照画像Ａと同じカテゴリに属する画像Ｐ、および該参照画像Ａと異なるカテゴリに属する画像Ｎを選択する。このように、複数のトレーニング画像群を得、トレーニング画像群の数が参照画像Ａの数と一致である。

【0027】

いくつかの実施例では、画像検索のためのニューラルネットワークトレーニング装置３００は複数の画像トレーニング組を予め決定することに加えて、各トレーニング画像群について、各学習器にランダム重みを予め分配する必要がある。いくつかの実施例では、１回のトレーニングが完了した後、画像検索のためのニューラルネットワークトレーニング装置３００は、次回のネットワークトレーニングのために、トレーニングサンプル集合から再び複数のトレーニング画像群を決定する。１回のネットワークトレーニング過程中、各トレーニング画像群はいずれもネットワークに入力されてトレーニングされ、変換されたトレーニング画像群ごとに、各学習器にランダム重みを再びに分配して、ネットワークトレーニング過程中抽出された特徴処理のランダム性をさらに増加させ、異なるトレーニング画像群の情報差異が各分枝に与える影響をさらに弱める。

【0028】

図３に示すように、画像検索のためのニューラルネットワークトレーニング装置３００は、抽出ユニット３１０、重み付けユニット３２０、マッピングユニット３３０および調整ユニット３４０を含むが、これらに限定されない。１回のネットワークトレーニング過程中、抽出ユニット３１０、重み付けユニット３２０およびマッピングユニット３３０は繰り返して実行され、その度に複数のトレーニング画像群中の１つを処理し、調整ユニット３４０は１回実行される。各ユニットは具体的に以下のように説明される。

【0029】

抽出ユニット３１０は、各トレーニング画像群について、トレーニング画像群の３枚の画像を特徴抽出器に入力し、３枚の画像の特徴を決定するために使用される。１回のネットワークトレーニング過程中、抽出ユニット３１０はそれぞれ各トレーニング画像群に対して特徴抽出操作を行う。具体的に実施する時、特徴抽出ユニット３１０は、一度に１つのトレーニング画像群を特徴抽出器に入力し、特徴抽出器によって処理されて、対応のトレーニング画像群中の３枚の画像に対応して抽出された３つの特徴を得る。

【0030】

重み付けユニット３２０は、各トレーニング画像群中の各枚の画像について、該画像の特徴に各学習器に対応するランダム重みをそれぞれ乗じて、該画像に対応する各学習器の重み付け特徴を得るために使用される。ここで、各学習器について、トレーニング画像群中の３枚の画像は同じランダム重みに対応する。１回のネットワークトレーニング過程中、重み付けユニット３２０はそれぞれ各トレーニング画像群に対して特徴重み付け操作を行う。具体的に実施する時、あるトレーニング画像群について、重み付けユニット３２０は該トレーニング画像群中の各枚の画像の特徴に各学習器に対応するランダム重みをそれぞれ乗じて、対応の画像に対応する各学習器の重み付け特徴を得る。いくつかの実施例では、図２中のネットワーク構造を例にして、画像Ａの特徴にランダム重みＷ１、Ｗ２およびＷ３をそれぞれ乗じて、画像Ａに対応する学習器１、学習器２および学習器３の３つの重み付け特徴を得、同様に、画像Ｐに対応する学習器１、学習器２および学習器３の３つの重み付け特徴、および画像Ｎに対応する学習器１、学習器２および学習器３の３つの重み付け特徴を得る。上記過程に従って、各トレーニング画像群中の３枚の画像に対応する各学習器の重み付け特徴を得る。本実施例では、より容易に理解するために、３枚の画像の処理を分割して説明するが、いくつかの実施例では、トレーニング画像群中の３枚の画像を合わせて処理してもよい。

【0031】

マッピングユニット３３０は、各トレーニング画像群について、各枚の画像について、該画像の各学習器に対応する重み付け特徴を対応の学習器に入力し、該画像の複数の特徴ベクトルを決定するために使用される。１回のネットワークトレーニング過程中、マッピングユニット３３０はそれぞれ各トレーニング画像群に対して特徴マッピング操作を行い、対応のトレーニング画像群に対応する複数の特徴ベクトルを得る。具体的に実施する時、重み付け特徴および学習器間は対応関係を有し、あるトレーニング画像群中の各画像について、マッピングユニット３３０は該画像に対応する各重み付け特徴を対応の学習器に入力して、対応の重み付け特徴に対応する特徴ベクトルを得る。いくつかの実施例では、図２中のネットワーク構造を例にして、マッピングユニット３３０は画像Ａに対応する３つの重み付け特徴をそれぞれ対応の学習器１、学習器２および学習器３に入力し、学習器によってマッピング処理されて、重み付け特徴に対応する３つの特徴ベクトルを得、同様に、画像Ｐに対応する３つの特徴ベクトル、および画像Ｎに対応する３つの特徴ベクトルを得る。上記過程に従って、各トレーニング画像群中の３枚の画像に対応する複数の特徴ベクトルを得る。

【0032】

調整ユニット３４０は、複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルに基づいて、ニューラルネットワークのパラメータを調整するために使用される。各トレーニング画像群中の各枚の画像は対応して複数の特徴ベクトルを有し、これらの特徴ベクトルは距離メトリック下での対応の画像の空間位置を特徴付け、各画像の空間位置は任意の２つの画像間の距離を特徴付けることができ、距離が近いほど、２つの画像が同一カテゴリに属する確率が大きくなる。したがって、調整ユニット３４０は複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルを用いて、本回のトレーニングの損失関数値を算出し、さらに得られた損失関数値に基づいて画像検索のためのニューラルネットワークのパラメータを調整してもよい。

【0033】

いくつかの実施例では、調整ユニット３４０はニューラルネットワークパラメータを調整する過程は以下のとおりであり、各トレーニング画像群中の各枚の画像について、調整ユニット３４０は該画像に対応する複数の特徴ベクトルを完全連結層に入力し、完全連結層のマッピング処理を経って、該画像に対応する１つの埋め込み特徴ベクトルを得る。そうすると、各トレーニング画像群は対応して３つの埋め込み特徴ベクトルを有する。このように、すべての特徴ベクトルを埋め込み特徴ベクトルにマッピングして、距離メトリック下での画像の空間位置を特徴付ける。図２を例にすると、１つのトレーニング画像群について、画像Ａ、画像Ｐと画像Ｎはいずれも対応して１つの埋め込み特徴ベクトルを有する。その後、調整ユニット３４０は画像Ａと画像Ｐの距離を近づけ、画像Ａと画像Ｎの距離を遠ざけることを目的とし、１つのトレーニング画像群中の３枚の画像に対応する３つの埋め込み特徴ベクトルと該３枚の画像のカテゴリをデータ基礎とし、予め選択された損失関数、例えばＴｒｉｐｌｅｔ Ｌｏｓｓ損失関数により、該トレーニング画像群中の３枚の画像に対する画像検索の損失関数値を算出する。このように、１つのトレーニング画像群に対して１つの損失関数値を得ることができる。該過程に従って、調整ユニット３４０は複数のトレーニング画像群に基づいて複数の損失関数値を得る。その後、複数の損失関数値の平均値を算出して、複数のトレーニング画像群に対応する平均損失関数値を得る。最後に、該平均損失関数値を用いて画像検索のためのニューラルネットワークのパラメータを調整することができる。このような設定の利点は、１つのトレーニング画像群の損失関数値にランダム重みの影響が含まれるが、ニューラルネットワークのパラメータの調整に使用でき、３枚の画像の情報差異がニューラルネットワークに与える影響をある程度低減するが、平均損失関数値には複数のトレーニング画像群に対応する複数組のランダム重みの影響が含まれ、複数組のランダム重みの影響をさらに結合して、異なるトレーニング画像群の情報差異による影響をさらに弱ることができる。

【0034】

いくつかの実施例では、調整ユニット３４０は平均損失関数値に基づいて上記ニューラルネットワークのパラメータを調整する過程は以下の通りであり、平均損失関数値に基づいて、バックプロパゲーションにより上記ニューラルネットワークのパラメータを調整する。調整ユニット３４０は１回のトレーニング過程で得られたニューラルネットワークの平均損失関数値を用いて、バックプロパゲーションにより対応の学習器と特徴抽出器のパラメータを調整する。いくつかの実施例では、図２では学習器１、学習器２および学習器３はいずれも対応して１２８ビットの埋め込み特徴ベクトル（ハードウェア演算を容易にするために１つの埋め込み特徴ベクトルとして接続できる）および１つの平均損失関数値を有する。平均損失関数を直接バックプロパゲーションして対応の学習器のパラメータを調整することで、学習器へのバックプロパゲーションから見て、各分枝は独立し、前後分枝の影響を弱めることができる。ＣＮＮのパラメータ調整について、学習器１、学習器２および学習器３はそれぞれ勾配を持ち、例えば学習器１は一連の演算としてみることができ、ｙ＝ａ１ｘ＋ｂを例にすると、勾配はａ１（すなわち傾き）であり、学習器１はバックプロパゲーション調整によるＣＮＮパラメータへの影響は１２８＊ａ１であり、学習器２および学習器３の勾配ａ２およびａ３をそれぞれ算出し、平均損失関数値によるバックプロパゲーション調整のＣＮＮパラメータへの影響は１２８＊（ａ１＋ａ２＋ａ３）である。

【0035】

図４は、本出願の実施形態による電子装置の構造を示す模式図である。図４に示すように、電子装置４００は、リードオンリーメモリ（ＲＯＭ）４０２に記憶されたプログラムまたは記憶部４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされたプログラムに従って、前記の実施形態中の各種処理を実行する中央処理ユニット（ＣＰＵ）４０１を含む。ＲＡＭ４０３には、電子装置４００の操作に必要な各種プログラムやデータが格納される。ＣＰＵ４０１、ＲＯＭ４０２およびＲＡＭ４０３はバス４０４を介して互いに接続される。入力／出力インタフェース（Ｉ／Ｏインタフェース）４０５もバス４０４に接続される。

【0036】

キーボード、マウスなどの入力部分４０６、カソードレイチューブ（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカなどの出力部分４０７、ハードディスクなどの記憶部分４０８、およびＬＡＮカード、モデムなどのネットワークインタフェースカードの通信部分４０９がＩ／Ｏインタフェース４０５に接続される。通信部分４０９はインターネットのネットワークによって通信処理を行う。ドライブ４１０も必要に応じてＩ／Ｏインタフェース４０５に接続される。磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどのリムーバブルメディア４１１は必要に応じてドライブ４１０に取り付けられて、そこから読みだされたコンピュータープログラムが必要に応じて記憶部分４０８に搭載される。

【0037】

特に、本出願の実施形態によれば、本出願で説明した画像検索のためのニューラルネットワークのトレーニング方法は、コンピューターソフトウェアプログラム。例えば、本出願の実施形態は、コンピュータープログラム製品であって、可読媒体に記憶されたコンピュータープログラムを含み、該コンピュータープログラムは画像検索のためのニューラルネットワークのトレーニング方法を実行するプログラムコードを含む。このような実施形態では、該コンピュータープログラムは通信部分４０９を介してネットワークからダウンロードされインストールされてもよく、および／またはリムーバブルメディア４１１からインストールされてもよい。

【0038】

別の側面として、本出願は、非一時的なコンピューター可読記憶媒体を提供し、該コンピューター可読記憶媒体は、上記実施形態中の電子装置に含まれるコンピューター可読記憶媒体であってもよく、別々に存在し電子装置に組み込まれていないコンピューター可読記憶媒体であってもよい。コンピューター可読記憶媒体に、１つ以上のプログラムが記憶され、該プログラムは１つ以上のプロセッサに本出願の注意メカニズムに基づくターゲット検出方法を実行させる。

【0039】

図５は、本出願の実施例が提供する画像検索のためのニューラルネットワークのトレーニング方法のフローチャートである。該方法中のニューラルネットワークは特徴抽出器と複数の学習器を含み、複数の学習器は１つの特徴抽出器によって抽出された特徴を共有する。

【0040】

いくつかの実施例では、該方法は複数のトレーニング画像群を予め決定し、各トレーニング画像群は、同じカテゴリの画像２枚、異なるカテゴリの画像１枚という３枚の画像を含む。具体的に、１回のネットワークトレーニングについて、複数のトレーニング画像群を予め決定し、各画像トレーニング組は、同じカテゴリに属する２枚、例えば画像Ａと画像Ｐ、前記カテゴリと異なるカテゴリに属する１枚、例えば画像Ｎという３枚の画像を含む。例えば、１０個のトレーニング画像群を予め決定し、各トレーニング画像群は３枚の画像、合計３０枚のトレーニングサンプル画像を含む。

【0041】

いくつかの実施例では、複数のトレーニング画像群を予め決定することは以下を含み、トレーニングサンプル集合を取得し、トレーニングサンプル集合は、少なくとも２枚の画像からなる複数のカテゴリの画像を含み、トレーニングサンプル集合から複数枚の参照画像Ａ、各枚の参照画像Ａと同じカテゴリの画像Ｐおよび異なるカテゴリの画像Ｎを決定し、複数のトレーニング画像群を得、各トレーニング画像群は、参照画像Ａ、同じカテゴリの画像Ｐおよび異なるカテゴリの画像Ｎを含む。具体的に、まずトレーニングサンプル集合を取得し、該トレーニングサンプル集合は、少なくとも２枚の画像からなる複数のカテゴリの画像を含む。その後、該トレーニングサンプル集合から複数枚の参照画像Ａを検索する画像として選択する。同時に、各枚の参照画像Ａについて、トレーニングサンプル集合から、該参照画像Ａと同じカテゴリに属する画像Ｐ、および該参照画像Ａと異なるカテゴリに属する画像Ｎを選択する。このように、複数のトレーニング画像群を得ることができ、トレーニング画像群の数が参照画像Ａの数と一致である。

【0042】

いくつかの実施例では、複数の画像トレーニング組を予め決定することに加えて、各トレーニング画像群について、各学習器にランダム重みを分配する必要がある。いくつかの実施例では、１回のトレーニングが完了した後、次回のネットワークトレーニングのために、トレーニングサンプル集合から複数のトレーニング画像群を再び決定する。１回のネットワークトレーニング過程中、各トレーニング画像群はいずれもネットワークに入力されてトレーニングされ、変換されたトレーニング画像群ごとに、各学習器に再びランダム重みを分配し、ネットワークトレーニング過程中抽出された特徴処理のランダム性を増加させ、異なるトレーニング画像群の情報差異が各分枝に与える影響をさらに弱めることができる。

【0043】

図５を参照すると、該方法は、以下のステップ５０１～５０４を含み、
５０１、各トレーニング画像群について、トレーニング画像群の３枚の画像を特徴抽出器に入力し、３枚の画像の特徴を決定する。

【0044】

具体的に、１回のネットワークトレーニング過程中、それぞれ各トレーニング画像群に対して特徴抽出操作を行う。具体的に実施する時、一度１つのトレーニング画像群を特徴抽出器に入力し、特徴抽出器の処理を経って、対応のトレーニング画像群中の３枚の画像に対応して抽出された３つの特徴を得る。

【0045】

５０２、各トレーニング画像群中の各枚の画像について、該画像の特徴に各学習器に対応するランダム重みをそれぞれ乗じて、該画像に対応する各学習器の重み付け特徴を得る。ここで、各学習器について、トレーニング画像群中の３枚の画像は同じランダム重みに対応する。

【0046】

具体的に、１回のネットワークトレーニング過程中、それぞれ各トレーニング画像群に対して特徴重み付け操作を行う。具体的に実施する時、あるトレーニング画像群について、該トレーニング画像群中の各枚の画像の特徴にそれぞれ各学習器に対応するランダム重みを乗じて、対応の画像に対応する各学習器の重み付け特徴を得る。いくつかの実施例では、図２中のネットワーク構造を例にすると、画像Ａの特徴にそれぞれランダム重みＷ１、Ｗ２およびＷ３を乗じて、画像Ａに対応する学習器１、学習器２および学習器３の３つの重み付け特徴を得、同様に、画像Ｐに対応する学習器１、学習器２および学習器３の３つの重み付け特徴、および画像Ｎに対応する学習器１、学習器２および学習器３の３つの重み付け特徴を得る。上記過程に従って、各トレーニング画像群中の３枚の画像に対応する各学習器の重み付け特徴を得る。本実施例では、理解を容易にするために、３枚の画像の処理を分割して説明するが、いくつかの実施例では、トレーニング画像群中の３枚の画像を合わせて処理してもよい。

【0047】

５０３、各トレーニング画像群中の各枚の画像について、該画像の各学習器に対応する重み付け特徴を対応の学習器に入力し、該画像の複数の特徴ベクトルを決定する。

【0048】

具体的に、１回のネットワークトレーニング過程中、それぞれ各トレーニング画像群に対して特徴マッピング操作を行い、対応のトレーニング画像群に対応する複数の特徴ベクトルを得る。具体的に実施する時、重み付け特徴および学習器間は対応関係を有し、あるトレーニング画像群中の各画像について、該画像に対応する各重み付け特徴を対応の学習器に入力して、対応の重み付け特徴に対応する特徴ベクトルを得る。いくつかの実施例では、図２中のネットワーク構造を例にすると、画像Ａに対応する３つの重み付け特徴をそれぞれ対応の学習器１、学習器２および学習器３に入力し、学習器のマッピング処理を経って、重み付け特徴に対応する３つの特徴ベクトルを得、同様に、画像Ｐに対応する３つの特徴ベクトル、および画像Ｎに対応する３つの特徴ベクトルを得ることができる。上記過程に従って、各トレーニング画像群中の３枚の画像に対応する複数の特徴ベクトルを得ることができる。

【0049】

５０４、複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルに基づいて、ニューラルネットワークのパラメータを調整する。

【0050】

具体的に、各トレーニング画像群中の各枚の画像は対応して複数の特徴ベクトルを有し、これらの特徴ベクトルは距離メトリック下での対応の画像の空間位置を特徴付け、各画像の空間位置は任意２つの画像間の距離を特徴付けることができ、距離が近いほど、２つの画像が同一カテゴリに属する確率が大きくなる。したがって、複数のトレーニング画像群中の各トレーニング画像群の各枚の画像の複数の特徴ベクトルに基づいて本回のトレーニングの損失関数値を算出し、得られた損失関数値に基づいて画像検索のためのニューラルネットワークのパラメータを調整する。

【0051】

いくつかの実施例では、図６を参照すると、ステップ５０４は以下のステップ６０１～６０４を含み、
６０１、各トレーニング画像群中の各枚の画像について、該画像の複数の特徴ベクトルを、完全連結層を介して埋め込み特徴ベクトルにマッピングする。

【0052】

具体的に、各トレーニング画像群中の各枚の画像について、該画像に対応する複数の特徴ベクトルを完全連結層に入力し、完全連結層のマッピング処理を経って、該画像に対応する埋め込み特徴ベクトルを得る。そうすると、各トレーニング画像群は対応して３つの埋め込み特徴ベクトルを有する。このように、すべての特徴ベクトルを埋め込み特徴ベクトルにマッピングして、距離メトリック下での画像の空間位置を特徴付けることができる。図２を例にすると、１つのトレーニング画像群について、画像Ａ、画像Ｐおよび画像Ｎはいずれも対応して１つの埋め込み特徴ベクトルを有する。

【0053】

６０２、各トレーニング画像群について、３枚の画像に対応する３つの埋め込み特徴ベクトルと３枚の画像のカテゴリに基づいて、トレーニング画像群の損失関数値を算出する。

【0054】

具体的に、画像Ａと画像Ｐの距離を近づけ、画像Ａと画像Ｎの距離を遠ざけることを目的として、１つのトレーニング画像群中の３枚の画像に対応する３つの埋め込み特徴ベクトルと該３枚の画像のカテゴリをデータ基礎とし、予め選択された損失関数、例えばＴｒｉｐｌｅｔ Ｌｏｓｓ損失関数を用いて、該トレーニング画像群中の３枚の画像に対する画像検索の損失関数値を算出する。このように、１つのトレーニング画像群について１つ損失関数値を得ることができる。該過程に従って、複数のトレーニング画像群に基づいて複数の損失関数値を得ることができる。

【0055】

６０３、複数のトレーニング画像群について、複数のトレーニング画像群の平均損失関数値を決定する。

【0056】

具体的に、複数の損失関数値の平均値を算出し、複数のトレーニング画像群に対応する平均損失関数値を得る。

【0057】

６０４、平均損失関数値に基づいてニューラルネットワークのパラメータを調整する。

【0058】

具体的に、該平均損失関数値を用いて画像検索のためのニューラルネットワークのパラメータを調整することができる。このような設定は以下の利点を有し、１つのトレーニング画像群の損失関数値にランダム重みの影響が含まれ、ニューラルネットワークのパラメータを調整して、３枚の画像の情報差異がニューラルネットワークに与える影響をある程度弱めるが、平均損失関数値に複数のトレーニング画像群に対応する複数組のランダム重みの影響が含まれ、複数組のランダム重みの影響をさらに組み合わせて、異なるトレーニング画像群の情報差異による影響をさらに弱めることができる。

【0059】

いくつかの実施例では、ステップ６０４は、平均損失関数値に基づいて、バックプロパゲーションにより上記ニューラルネットワークのパラメータを調整することを含む。具体的に、１回のトレーニング過程中で得られたニューラルネットワークの平均損失関数値を用いて、バックプロパゲーションにより対応の学習器と特徴抽出器のパラメータを調整する。いくつかの実施例では、図２では、学習器１、学習器２および学習器３はいずれも対応して１２８ビットの埋め込み特徴ベクトル（ハードウェア算出のために１つの埋め込み特徴ベクトルとして接続できる）と１つの平均損失関数値を有する。平均損失関数を直接バックプロパゲーションして対応の学習器のパラメータを調整することができるため、学習器のバックプロパゲーションから見て、各分枝は独立し、前後分枝の影響を弱めることができる。ＣＮＮのパラメータ調整について、学習器１、学習器２および学習器３はそれぞれ勾配を有し、例えば学習器１は一連の演算としてみることができ、ｙ＝ａ１ｘ＋ｂを例にすると、勾配はａ１（すなわち傾き）であり、学習器１はバックプロパゲーション調整によるＣＮＮパラメータへの影響は１２８＊ａ１であり、それぞれ学習器２および学習器３の勾配ａ２とａ３を算出し、平均損失関数値のバックプロパゲーション調整によるＣＮＮパラメータへの影響は１２８＊（ａ１＋ａ２＋ａ３）である。

【0060】

以上のように、本出願が提供する画像検索のためのニューラルネットワークのトレーニング方法は、複数の学習器が同一特徴抽出器によって抽出された特徴を共有し、分枝独立性を高め、上位の分枝が下位の分枝に与える影響、およびバックプロパゲーションの特徴抽出器への影響を弱め、ネットワークのオーバーフィッティング問題の最適化を促し、かつ、ネットワーク中の各学習器にランダム重みを付加し、変換されたトレーニング画像群ごとに、各学習器に再びランダム重みを割り当て、各学習器に対応するランダム重みは同一のトレーニング画像群の３枚の画像を処理する過程中変化することなく、同一トレーニング画像群の３枚の画像を処理するニューラルネットワークの不変性を確保し、同時に各トレーニング画像群の特徴情報のニューラルネットワークトレーニング中のランダム性影響を増加させて、ニューラルネットワークの正確なトレーニングを確保する基に、異なるトレーニング画像群の情報差異がある分枝に与える継続的な影響、分枝の情報誤差蓄積および低性能の分枝が全体モデルに与える影響を弱めて、モデル頑健性を向上させる。

【0061】

なお、本明細書では、「第１」、「第２」などの関係用語はある実体や操作を他の実体または操作と区別するためにのみ使用され、これらの実体または操作間に必ずしもそうした実際の関係または順序を要求または暗示するこのではないことに留意されたい。また、「含む」、「備える」または他の任意の変形は、非排他的な包含を含み、一連の要素からなるプロセス、方法、物品または装置はそれらの要素のみならず、明示的に記載されていない他の要素、またはこのプロセス、方法、物品または装置の固有要素も含む。さらに限定することなく、「１つの……を含む」という記述によって限定された要素は、前記要素を含むプロセス、方法、物品または装置における追加の同一要素の存在を排除するものではない。

【0062】

添付図面中のフローチャートおよびブロック図は、本出願の各種実施形態による装置、方法およびコンピュータープログラム製品の可能なアーキテクチャ、機能および操作を示している。この点で、フローチャートまたはブロック図中の各ブロックは１つのモジュール、プログラムセグメントまたはコードの一部を示し、前記モジュール、プログラムセグメントまたはコードの一部は所定の論理機能を実現する１つまたは複数の実行可能な指令を含んでいる。また、代替品としてのいくつかの実装では、ブロック内に示された機能も図面にしめされたものとは異なる順序で発生する可能性があることに留意されたい。例えば、２つのブロックを次々に表現することは、実際には実質的に並行して実行されることもあるし、関係する機能によって逆の順序で実行されることもある。また、ブロック図および／またはフローチャート中の各ブロック、およびブロック図および／またはフローチャート中のブロックの組み合わせは、所定の機能または操作を行う専用のハードウェアベースのシステムで実現してもよいし、または専用のハードウェアとコンピューター指令の組み合わせで実現してもよいことに留意する必要がある。

【0063】

以上、当業者が本出願を理解または実現するために、本出願の具体的な実施形態を説明する。これらの実施例に対する様々な修正は当業者にとって自明なことであり、本文で定義された一般原理は、本出願の精神または範囲から逸脱することなく他の実施例で実施することができる。したがって、本願は、本明細書に記載された実施例に限定されるものではなく、本明細書に適用される原理および新規な特徴と整合する最も広い範囲に従うものとする。

【0064】

＜産業上の利用可能性＞
本出願では、各学習器は特徴抽出器によって抽出された特徴を共有し、分枝独立性を高め、上位の分枝が下位の分枝に与える影響を弱め、ネットワークのオーバーフィッティング問題を最適化し、また、各学習器にランダム重みを付加し、トレーニングデータ間の情報差異に対する多枝の適応性を最適化し、トレーニングデータ間の情報差異がある分枝への継続的な影響、および低性能の分枝が全体モデルに与える影響を弱めて、モデル頑健性を向上させ、産業上の実用性がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】