特許 7588986 画像処理方法、装置、電子機器、及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】画像処理方法、装置、電子機器、及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241118BHJP

   G06N 3/08 20230101ALI20241118BHJP

【ＦＩ】

G06T7/00 350C

G06N3/08

【請求項の数】 8

(21)【出願番号】P 2020139933

(22)【出願日】2020-08-21

(65)【公開番号】P2021064354

(43)【公開日】2021-04-22

【審査請求日】2023-07-19

(31)【優先権主張番号】201910959233.7

(32)【優先日】2019-10-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100158528

【弁理士】

【氏名又は名称】守屋 芳隆

(74)【代理人】

【識別番号】100137903

【弁理士】

【氏名又は名称】菅野 亨

(72)【発明者】

【氏名】ジュ メンユェン

(72)【発明者】

【氏名】グオ シンユ

(72)【発明者】

【氏名】リ アンシン

(72)【発明者】

【氏名】チェン ラン

(72)【発明者】

【氏名】山谷 佳祐

(72)【発明者】

【氏名】小島 誠也

(72)【発明者】

【氏名】杉村 利明

(72)【発明者】

【氏名】酒井 俊樹

【審査官】高野 美帆子

(56)【参考文献】

【文献】US，Guanshuo Wang, Yufeng Yuan, Xiong Chen, Ji wei Li, Xi Zhou,Learning Discriminative Features with Multiple Granularities for Person Re-Identification，外国雑誌，発行日 20180814，arxiv，https://arxiv.org/pdf/1804.01438.pdf

【文献】US，CA3Net: Contextual-Attentional Attribute-Appearance Network for Person Re-Identification，外国雑誌，発行日 20181119，arxiv，https://arxiv.org/pdf/1811.07544.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークシステムを使用して入力画像を処理する画像処理装置であって、
前記入力画像を受信し、また前記入力画像の初期特徴マップを抽出する入力層ユニットと、
前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得する中間層ユニットと、
前記中間層特徴マップに基づいて、前記入力画像に対する処理結果を出力する出力層ユニットと、を含み、
前記中間層ユニットは、少なくとも二つの分岐を含み、前記少なくとも二つの分岐は、異なるスケールを有する及び／又は前記初期特徴マップの異なる領域に対応する、中間層特徴マップを生成し、
前記中間層ユニットは、
前記中間層ユニットにおける第１分岐の第１サブ層において、第１ステップサイズで前記初期特徴マップを畳み込んで、第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、前記第１サブ特徴マップに対して第１分割を実行して、第２サブ特徴マップを取得し、
前記中間層ユニットにおける第２分岐の第１サブ層において、第２ステップサイズで前記初期特徴マップを畳み込んで、第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、前記第３サブ特徴マップに対して第２分割を実行して、第４サブ特徴マップを取得し、
前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である、画像処理装置。

【請求項2】

ニューラルネットワークシステムを使用して入力画像を処理する画像処理装置であって、
前記入力画像を受信し、また前記入力画像の初期特徴マップを抽出する入力層ユニットと、
前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得する中間層ユニットと、
前記中間層特徴マップに基づいて、前記入力画像に対する処理結果を出力する出力層ユニットと、を含み、
前記中間層ユニットは、少なくとも二つの分岐を含み、前記少なくとも二つの分岐は、異なるスケールを有する及び／又は前記初期特徴マップの異なる領域に対応する、中間層特徴マップを生成し、
前記中間層ユニットは、
前記中間層ユニットにおける第１分岐の第１サブ層において、前記初期特徴マップに対して第１分割を実行して第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、第１ステップサイズで前記第１サブ特徴マップを畳み込んで第２サブ特徴マップを取得し、
前記中間層ユニットにおける第２分岐の第１サブ層において、前記初期特徴マップに対して第２分割を実行して第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、第２ステップサイズで前記第３サブ特徴マップを畳み込んで第４サブ特徴マップを取得し、
前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である、画像処理装置。

【請求項3】

損失関数により前記ニューラルネットワークシステムを訓練する訓練ユニットをさらに含み、
前記損失関数は、前記少なくとも二つの分岐のそれぞれによって取得された全部の特徴マップに関する、請求項１又は２に記載の画像処理装置。

【請求項4】

入力層と、中間層と、出力層とを含むニューラルネットワークシステムを使用して入力画像を処理する画像処理方法であって、
前記入力層を介して、前記入力画像を受信し、また前記入力画像の初期特徴マップを抽出するステップと、
前記中間層を介して、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得するステップと、
前記出力層を介して、前記中間層特徴マップに基づいて、前記入力画像に対する処理結果を出力するステップと、を含み、
前記中間層は、少なくとも二つの分岐を含み、前記少なくとも二つの分岐は、異なるスケールを有する及び／又は前記初期特徴マップの異なる領域に対応する、中間層特徴マップを生成し、
前記中間層を介して、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得するステップは、
前記中間層における第１分岐の第１サブ層において、第１ステップサイズで前記初期特徴マップを畳み込んで、第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、前記第１サブ特徴マップに対して第１分割を実行して、第２サブ特徴マップを取得するステップと、
前記中間層における第２分岐の第１サブ層において、第２ステップサイズで前記初期特徴マップを畳み込んで、第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、前記第３サブ特徴マップに対して第２分割を実行して、第４サブ特徴マップを取得するステップと、を含み、
前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である、画像処理方法。

【請求項5】

入力層と、中間層と、出力層とを含むニューラルネットワークシステムを使用して入力画像を処理する画像処理方法であって、
前記入力層を介して、前記入力画像を受信し、また前記入力画像の初期特徴マップを抽出するステップと、
前記中間層を介して、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得するステップと、
前記出力層を介して、前記中間層特徴マップに基づいて、前記入力画像に対する処理結果を出力するステップと、を含み、
前記中間層は、少なくとも二つの分岐を含み、前記少なくとも二つの分岐は、異なるスケールを有する及び／又は前記初期特徴マップの異なる領域に対応する、中間層特徴マップを生成し、
前記中間層を介して、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得するステップは、
前記中間層における第１分岐の第１サブ層において、前記初期特徴マップに対して第１分割を実行して第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、第１ステップサイズで前記第１サブ特徴マップを畳み込んで第２サブ特徴マップを取得するステップと、
前記中間層における第２分岐の第１サブ層において、前記初期特徴マップに対して第２分割を実行して第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、第２ステップサイズで前記第３サブ特徴マップを畳み込んで第４サブ特徴マップを取得するステップと、を含み、
前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である、画像処理方法。

【請求項6】

損失関数により前記ニューラルネットワークシステムを訓練するステップをさらに含み、
前記損失関数は、前記少なくとも二つの分岐のそれぞれによって取得された全部の特徴マップに関する、請求項４又は５に記載の画像処理方法。

【請求項7】

コンピュータ読み取り可能な命令を記憶するメモリと、
前記コンピュータ読み取り可能な命令を実行して、請求項４～６のいずれか一項に記載の画像処理方法を電子機器に実行させるプロセッサと、を含む、電子機器。

【請求項8】

コンピュータ読み取り可能な命令を記憶するコンピュータ記憶媒体であって、
前記コンピュータ読み取り可能な命令がコンピュータにより実行される場合、前記コンピュータが請求項４～６のいずれか一項に記載の画像処理方法を実行する、コンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は画像処理分野に関し、更に具体的には、本開示は畳み込みニューラルネットワークシステムを使用して入力画像を処理する画像処理方法及び装置、並びにコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

ニューラルネットワークは、大規模なマルチパラメータ最適化のツールである。ニューラルネットワークは、大量のトレーニングデータに依存して、データにおける要約するのが難しい隠れた特徴を学習でき、顔検出、画像セマンティックセグメンテーション、物体検出、動作追従、自然言語翻訳など、多くの複雑なタスクを完成できる。ニューラルネットワークは、既に人工知能業界で広く応用されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

画像処理の分野でニューラルネットワークを使用する場合、顔認識技術の重要な補足として、歩行者再認識（Ｒｅ－ＩＤ）は、異なるカメラでキャプチャされた画像またはビデオに特定の人物が存在するか否かを決定する処理タスクである。異なるカメラデバイス間の撮影の違い、及び歩行者対象が姿勢、アクセサリ、遮蔽物などの複数の要因の影響を受けやすいことから見ると、歩行者再認識はチャレンジのある画像処理タスクである。歩行者再認識用方法は、ＲｅｓＮｅｔ、ＧｏｏｇｌｅＮｅｔなどの基本モデル、アテンションメカニズムモデル、及び事前知識モデルなどに基づく処理方法を含む。基本モデルに基づく処理方法は比較的に簡単な一方、抽出された画像の特徴が粗すぎるため、歩行者再認識タスクを効果的に完成できないことがよくある。アテンションメカニズムモデルに基づく処理方法は、ネットワークモデル自体の設計に対する要求が高く、不適切なネットワーク構成によりアテンションメカニズムを無効にする可能性がある。事前知識モデルに基づく処理方法は、一旦前処理モデルが間違った場合、後続の特徴学習に重大な妨害を及ぼす。

【課題を解決するための手段】

【0004】

上記の課題を鑑みて本開示を提出する。本開示は、ニューラルネットワークシステムを使用して入力画像を処理する画像処理方法及び装置、並びにコンピュータ読み取り可能な記憶媒体を提供する。

【0005】

本開示の一つの態様によると、ニューラルネットワークシステムを使用して入力画像を処理する画像処理装置であって、前記入力画像を受信し、また前記入力画像の初期特徴マップを抽出する入力層ユニットと、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得する中間層ユニットと、前記中間層特徴マップに基づいて、前記入力画像に対する処理結果を出力する出力層ユニットと、を含み、前記中間層ユニットは、少なくとも二つの分岐を含み、前記少なくとも二つの分岐は、異なるスケールを有する及び／又は前記初期特徴マップの異なる領域に対応する中間層特徴マップを生成する、画像処理装置が提供される。

【0006】

なお、本開示の一つの態様の画像処理装置によると、前記中間層ユニットは、前記中間層ユニットにおける第１分岐の第１サブ層において、第１ステップサイズで前記初期特徴マップを畳み込んで、第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、前記第１サブ特徴マップに対して第１分割を実行して、第２サブ特徴マップを取得し、前記中間層ユニットにおける第２分岐の第１サブ層において、第２ステップサイズで前記初期特徴マップを畳み込んで、第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、前記第３サブ特徴マップに対して第２分割を実行して、第４サブ特徴マップを取得し、前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である。

【0007】

なお、本開示の一つの態様の画像処理装置によると、前記中間層ユニットは、前記中間層ユニットにおける第１分岐の第１サブ層において、前記初期特徴マップに対して第１分割を実行して第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、第１ステップサイズで前記第１サブ特徴マップを畳み込んで第２サブ特徴マップを取得し、前記中間層ユニットにおける第２分岐の第１サブ層において、前記初期特徴マップに対して第２分割を実行して第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、第２ステップサイズで前記第３サブ特徴マップを畳み込んで第４サブ特徴マップを取得し、前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である。

【0008】

なお、本開示の一つの態様の画像処理装置によると、損失関数により前記ニューラルネットワークシステムを訓練する訓練ユニットをさらに含み、前記損失関数は、前記少なくとも二つの分岐のそれぞれによって取得された全部の特徴マップに関する。

【0009】

本開示のもう一つの態様によると、入力層と、中間層と、出力層とを含むニューラルネットワークシステムを使用して入力画像を処理する画像処理方法であって、前記入力層を介して、前記入力画像を受信し、また前記入力画像の初期特徴マップを抽出するステップと、前記中間層を介して、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得するステップと、前記出力層を介して、前記中間層特徴マップに基づいて、前記入力画像に対する処理結果を出力するステップと、を含み、前記中間層は、少なくとも二つの分岐を含み、前記少なくとも二つの分岐は、異なるスケールを有する及び／又は前記初期特徴マップの異なる領域に対応する、中間層特徴マップを生成する。

【0010】

なお、本開示のもう一つの態様の画像処理方法によると、前記中間層を介して、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得するステップは、前記中間層ユニットにおける第１分岐の第１サブ層において、第１ステップサイズで前記初期特徴マップを畳み込んで、第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、前記第１サブ特徴マップに対して第１分割を実行して、第２サブ特徴マップを取得するステップと、前記中間層ユニットにおける第２分岐の第１サブ層において、第２ステップサイズで前記初期特徴マップを畳み込んで、第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、前記第３サブ特徴マップに対して第２分割を実行して、第４サブ特徴マップを取得するステップと、を含み、前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である。

【0011】

なお、本開示のもう一つの態様の画像処理方法によると、前記中間層を介して、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得するステップは、前記中間層ユニットにおける第１分岐の第１サブ層において、前記初期特徴マップに対して第１分割を実行して第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、第１ステップサイズで前記第１サブ特徴マップを畳み込んで第２サブ特徴マップを取得するステップと、前記中間層ユニットにおける第２分岐の第１サブ層において、前記初期特徴マップに対して第２分割を実行して第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、第２ステップサイズで前記第３サブ特徴マップを畳み込んで第４サブ特徴マップを取得するステップと、を含み、前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である。

【0012】

なお、本開示のもう一つの態様の画像処理方法によると、損失関数により前記ニューラルネットワークシステムを訓練するステップをさらに含み、前記損失関数は、前記少なくとも二つの分岐のそれぞれによって取得された全部の特徴マップに関する。

【0013】

本開示のさらにもう一つの態様によると、コンピュータ読み取り可能な命令を記憶するメモリと、前記コンピュータ読み取り可能な命令を実行して、前記電子機器に上記のような画像処理方法を実行させるプロセッサと、を含む電子機器が提供される。

【0014】

本開示のさらにもう一つの態様によると、コンピュータ読み取り可能な命令を記憶するコンピュータ記憶媒体であって、前記コンピュータ読み取り可能な命令がコンピュータにより実行される場合、前記コンピュータが上記のような画像処理方法を実行するコンピュータ記憶媒体が提供される。

【0015】

以下で詳しく説明する、本開示の実施例による、ニューラルネットワークシステムを使用して入力画像を処理する画像処理方法及び装置、並びにコンピュータ読み取り可能な記憶媒体は、複数の分岐によって、異なるスケールと、水平方向や垂直方向のような異なる粒度とで、画像の特徴を抽出するように設計することで、全域及び局所特徴をより効果的に抽出することを実現し、ネットワークにおける全部の分岐によって抽出された特徴に関する損失関数を構成して、ニューラルネットワークシステム全体を訓練することで、各分岐の特徴間の相関性を強化し、また、ニューラルネットワークシステムにおける一つの分岐によって前層から抽出された特徴が分割されていないまま、後層に直接出力するため、分岐全体で全部の初期特徴を維持する。本開示の実施例の、ニューラルネットワークシステムを使用して入力画像を処理する画像処理方法によると、歩行者再認識（Ｒｅ－ＩＤ）のような画像処理タスクで、より良好な認識効果を達成する。

【0016】

なお、前述の一般的な説明と以下の詳細的な説明はいずれも例示的なもので、保護を要求されている技術のさらなる説明を提供することを意図している。

【図面の簡単な説明】

【0017】

図面に組み合わせて本発明の実施例をより詳細に説明することで、本発明の上記及び他の目的、特徴、及びメリットがさらに明確になる。図面は、本発明の実施例をさらに理解させるためであり、明細書の一部となり、本発明の実施例とともに、本発明を説明するのも用いられ、本発明を限定するものではない。図面で、同じ符号は一般的に同じ部材またはステップを表す。

【図1】本開示の実施例による画像処理方法のフローチャートを示す。

【図2】本開示の実施例による画像処理方法の概略図を示す。

【図3】本開示の実施例によるニューラルネットワークシステムの概略図を示す。

【図4】本開示の実施例によるニューラルネットワークシステムの概略図を示す。

【図5】本開示の実施例によるニューラルネットワークシステムの概略図を示す。

【図6】本開示の実施例によるニューラルネットワークシステムの概略図を示す。

【図7】本開示の実施例による画像処理装置のブロック図である。

【図8】本開示の実施例による電子機器のハードウェアブロック図を示す。

【図9】本開示の実施例によるコンピュータ読み取り可能な記憶媒体の概略図を示す。

【発明を実施するための形態】

【0018】

本開示の目的、技術案、及びメリットをさらに明確に説明するために、以下において図面を参照して、本開示の実施例を詳細に記載する。明らかなように、記載した実施例は本開示の一部の実施例であり、全ての実施例ではない。なお、本開示は以下で記載された実施例により限定されるものではない。

【0019】

本開示はニューラルネットワークシステムを使用して入力画像を処理する画像処理方法及び装置に関する。一般的に、ニューラルネットワークシステムを利用して画像を処理する方法は、二つの段階、すなわち、訓練段階と画像処理段階とに分けることができる。いわゆる訓練段階とは、まず、訓練画像を利用してニューラルネットワークを訓練して、ニューラルネットワークの重み（パラメータとも称する）を調整する。いわゆる画像処理段階とは、その後、訓練されたニューラルネットワークにより、処理すべき画像から特徴を抽出し、画像に対する対象決定、分類など処理を実行する。本開示で、歩行者再認識（Ｒｅ－ＩＤ）のような画像処理タスクでより優れた画像特徴の抽出を実現して、認識効果を高めるために、ニューラルネットワークシステムの複数の分岐によって、異なるスケールと、水平方向や垂直方向のような異なる粒度とで、画像の特徴を抽出するように設計することで、全域及び局所特徴をより効果的に抽出することを実現し、ニューラルネットワークシステムにおける一つの分岐によって前層から抽出された特徴は、分割されていないまま後層に直接出力するため、分岐全体で全部の初期特徴を維持する。なお、対応的に、訓練段階でネットワークにおける全部の分岐によって抽出された特徴に関する損失関数を構成して、ニューラルネットワークシステム全体を訓練することで、各分岐の特徴間の相関性を強化する。以下において、図面を参照しながら本開示の各実施例を説明する。

【0020】

まず、図１及び図２を参照しながら本開示の実施例による画像処理方法を説明する。図１は本開示の実施例による画像処理方法のフローチャートを示す。図２は本開示の実施例による画像処理方法の概略図を示す。

【0021】

図１及び図２に示すように、ステップＳ１０１において、入力層１１を介して入力画像２０を受信し、また入力画像２０の初期特徴マップを抽出する。図２に概略的に示したように、本開示の実施例におけるニューラルネットワークシステム１０は、入力層１１と、中間層１２と、出力層１３とを含む。例えば、入力層１１は、ＲｅｓＮｅｔ－５０ニューラルネットワークシステムにおける最初の三つの層であり、入力画像２０の基礎特徴を抽出して、前記初期特徴マップを取得する。入力層１１は、ＲｅｓＮｅｔ－５０ニューラルネットワークシステムの最初の三つの層に限定されず、任意の他のタイプのニューラルネットワークシステムにおいて、入力画像の基礎特徴を抽出し、且つ、まだ異なるスケールと、水平方向や垂直方向のような粒度とで画像の特徴を抽出することが発生していない複数の分岐の各層を含む。

【0022】

ステップＳ１０２において、中間層１２を介して、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得する。図３乃至図６を参照しながらさらに説明したように、本開示の実施例によるニューラルネットワークシステム１０の中間層１２は少なくとも二つの分岐を含み、前記少なくとも二つの分岐は、異なるスケールを有する及び／又は前記初期特徴マップの異なる領域に対応する、中間層特徴マップを生成する。

【0023】

ステップＳ１０３において、出力層１３を介して、中間層特徴マップに基づいて、前記入力画像２０に対する処理結果２１を出力する。例示的に、当該処理結果は分類結果であってもよく、図２に例示的に示したように、出力層１３は、例えば、全域プーリング、フルコネクション等の処理を行った後、分類結果２１を出力する。本開示の実施例による画像処理方法は、画像中の対象分類を行うことに限定されず、対象物体の検出、分割、対象物体の動き予測、及び対象物体の類似度の比較等をさらに含む。例示的に、ニューラルネットワークシステムの出力層を介して出力された処理結果は、対象物体の位置情報、画像分割結果、対象物体の動き予測結果、対象物体の類似度などであってもよい。

【0024】

上記のような、本開示の実施例による画像処理方法は、ニューラルネットワークの複数の分岐によって、異なるスケールと、水平方向や垂直方向のような異なる粒度とで、画像の特徴を抽出し、全域及び局所特徴をより効果的に抽出することを実現する。以下において、図３乃至図６を参照して、本開示の実施例による画像処理方法で、異なるスケールと、水平方向や垂直方向のような異なる粒度とで、画像の特徴を抽出するのに用いられるニューラルネットワーク構造をさらに詳細に説明する。

【0025】

図３は本開示の実施例によるニューラルネットワークシステムの概略図を示す。説明の便宜上、図３乃至図６は、主に本開示の実施例によるニューラルネットワークシステムの中間層の例示的な構造を示す。

【0026】

図３に示すように、中間層３００は、入力層（未図示）によって抽出された入力画像の初期特徴マップ３０１に対して、画像特徴をさらに抽出する。中間層３００は二つの分岐を含み、すなわち、第１分岐３０２と第２分岐３０３とを含む。なお、本開示の実施例によるニューラルネットワークシステムの中間層は、二つの分岐のみ含むものに限定されず、異なるスケール及び／又は水平方向や垂直方向のような異なる粒度で、画像の特徴を抽出する複数の分岐を含んでもよい。

【0027】

前記中間層３００における第１分岐３０２の第１サブ層において、第１ステップサイズで前記初期特徴マップ３０１を畳み込んで、第１サブ特徴マップ３０４を取得し、また前記第１分岐３０２の第２サブ層において、前記第１サブ特徴マップ３０４に対して第１分割を実行して、第２サブ特徴マップ３０５を取得する。

【0028】

前記中間層３００における第２分岐３０３の第１サブ層において、第２ステップサイズで前記初期特徴マップ３０１を畳み込んで、第３サブ特徴マップ３０６を取得し、また前記第２分岐３０３の第２サブ層において、前記第３サブ特徴マップ３０６に対して第２分割を実行して、第４サブ特徴マップ３０７を取得する。

【0029】

本開示の一つの実施例において、前記第１ステップサイズは前記第２ステップサイズと異なるため、第１分岐３０２と第２分岐３０３とによって抽出された第１サブ特徴マップ３０４と第３サブ特徴マップ３０６とは、異なるスケールを有する。本開示のもう一つの実施例において、第１分岐３０２と第２分岐３０３とは、スケールの異なる畳み込みカーネルにより、前記初期特徴マップ３０１を畳み込んで、異なるスケールを有する第１サブ特徴マップ３０４と第３サブ特徴マップ３０６とを取得してもよい。なお、本開示の実施例によるニューラルネットワークシステムは、これに限られず、異なる分岐で同一な初期特徴マップから異なるスケールで特徴をさらに抽出する他の状況を含む。

【0030】

本開示の一つの実施例において、前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である。例えば、図３に示すように、前記第１分割は第１サブ特徴マップ３０４に対する水平分割で、第１サブ特徴マップ３０４を上下の二つの部分に分け、画像全体と異なるさらに小さい粒度で、画像の局所特徴をさらに抽出する。前記第２分割は第３サブ特徴マップ３０６に対する垂直分割で、第３サブ特徴マップ３０６を左右の二つの部分に分け、画像全体と異なるさらに小さい粒度で、画像の局所特徴をさらに抽出する。前記第１分割と前記第２分割とは、お互いに異なる分割方式であるため、取得された第２サブ特徴マップ３０５と第４サブ特徴マップ３０７とは、異なる粒度で特徴をさらに抽出することができる。なお、本開示の実施例によるニューラルネットワークシステムは、これに限られず、異なる粒度で画像特徴をさらに抽出できれば、前工程特徴マップをさらに三つの部分や複数の部分に分ける方式、前工程特徴マップを均一に分割、不均一に分割する方式、前工程特徴マップに対して水平／垂直の規則分割、非水平／垂直の不規則分割を行う方式を全部含んでもよい。

【0031】

図４は本開示の実施例によるニューラルネットワークシステムの概略図を示す。図３に示した、異なる分岐で、異なるスケールで画像特徴を抽出し、そして異なる粒度で画像特徴を抽出することと異なり、図４は、異なる分岐で、まず異なる粒度で画像特徴を抽出し、そして異なるスケールで画像特徴を抽出する実施形態を示している。

【0032】

図４に示すように、中間層４００は、入力層（未図示）によって抽出された入力画像の初期特徴マップ４０１に対して画像特徴をさらに抽出する。図４に示すように、中間層４００は二つの分岐を含み、すなわち、第１分岐４０２と第２分岐４０３とを含む。なお、本開示の実施例によるニューラルネットワークシステムの中間層は、二つの分岐のみ含むことに限られず、異なるスケール及び／又は水平方向や垂直方向のような異なる粒度で、画像の特徴を抽出する複数の分岐を含んでもよい。

【0033】

前記中間層４００における第１分岐４０２の第１サブ層において、前記初期特徴マップ４０１に対して第１分割を実行して、第１サブ特徴マップ４０４を取得し、また前記第１分岐４０２の第２サブ層において、第１ステップサイズで前記第１サブ特徴マップ４０４を畳み込んで、第２サブ特徴マップ４０５を取得する。図４に示した二つの第２サブ特徴マップ４０５は、それぞれ第１サブ特徴マップ４０４の上下の二つの領域に対応する。なお、異なるステップサイズ又は畳み込みカーネルで、第１サブ特徴マップ４０４の上下の二つの領域にたいして畳み込んで、異なるスケールを有する二つの第２サブ特徴マップ４０５を取得してもよい。

【0034】

前記中間層４００における第２分岐４０３の第１サブ層において、前記初期特徴マップ４０１に対して第２分割を実行して、第３サブ特徴マップ４０６を取得し、また前記第２分岐４０３の第２サブ層において、第２ステップサイズで前記第３サブ特徴マップ４０６を畳み込んで、第４サブ特徴マップ４０７を取得する。図４に示した二つの第４サブ特徴マップ４０７は、それぞれ第３サブ特徴マップ４０６の左右の二つの領域に対応する。なお、異なるステップサイズ又は畳み込みカーネルで、第３サブ特徴マップ４０６の左右の二つの領域を畳み込んで、異なるスケールを有する二つの第４サブ特徴マップ４０７を取得してもよい。

【0035】

本開示の一つの実施例において、前記第１ステップサイズは前記第２ステップサイズと異なるため、第１分岐４０２と第２分岐４０３とによって抽出された第２サブ特徴マップ４０５と第４サブ特徴マップ４０７とは、異なるスケールを有する。本開示のもう一つの実施例において、第１分岐４０２と第２分岐４０３とは、スケールの異なる畳み込みカーネルで前記第１サブ特徴マップ４０４と前記第３サブ特徴マップ４０６とに対して畳み込み、異なるスケールを有する第２サブ特徴マップ４０５と第４サブ特徴マップ４０７とを取得してもよい。なお、本開示の実施例によるニューラルネットワークシステムは、これに限られず、異なる分岐で同一な初期特徴マップから異なるスケールで特徴をさらに抽出する他の状況を含む。

【0036】

本開示の一つの実施例において、前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である。例えば、図４に示すように、前記第１分割は初期特徴マップ４０１に対する水平分割で、初期特徴マップ４０１を上下の二つの部分に分け、画像全体と異なるさらに小さい粒度で、画像の局所特徴をさらに抽出する。前記第２分割は初期特徴マップ４０１に対する垂直分割で、初期特徴マップ４０１を左右の二つの部分に分け、画像全体と異なるさらに小さい粒度で、画像の局所特徴をさらに抽出する。前記第１分割と前記第２分割とは、お互いに異なる分割方式であるため、取得された第１サブ特徴マップ４０４と第３サブ特徴マップ４０６とは、異なる粒度で特徴をさらに抽出することができる。なお、本開示の実施例によるニューラルネットワークシステムは、これに限られず、異なる粒度で画像特徴をさらに抽出できれば、前工程特徴マップをさらに三つの部分や複数の部分に分ける方式、前工程特徴マップを均一に分割、不均一に分割する方式、前工程特徴マップに対して水平／垂直の規則分割、非水平／垂直の不規則分割を行う方式を全部含んでもよい。

【0037】

なお、図３及び図４のいずれも、一つの分岐でそれぞれ異なるスケールと異なる粒度とで画像特徴を抽出することが概略的に示している。しかし、本開示の実施例は、これに限られず、一つの分岐で異なるスケール又は異なる粒度で画像特徴を抽出する状況を含んでもよく、さらに、異なるスケール又は異なる粒度で画像特徴を抽出することを実行しない一つの分岐が存在する状況を含んでもよく、中間層全体で異なるスケール又は異なる粒度で画像特徴を抽出すればよい。

【0038】

図５及び図６は中間層がさらなる分岐を含む例示的な実施例をさらに示す。なお、図３及び図４と異なり、図５及び図６は、さらに、分岐毎に初期特徴マップから異なるスケール及び異なる粒度で特徴を抽出してから、さらに一つのプーリング操作（例えば、全域最大プーリング）を行って、当該分岐の最終的な出力特徴マップを取得することを別途に示している。

【0039】

図５に示すように、示された中間層５００は、第１分岐５０１乃至第６分岐５０６を含む。中間層５００は、入力層（未図示）によって抽出された入力画像５０の初期特徴マップ６０に対して、画像特徴をさらに抽出する。

【0040】

前記中間層５００における第１サブ層において、異なるステップサイズで前記初期特徴マップ６０を畳み込んで、第１サブ特徴マップ５０１１と、第１サブ特徴マップ５０１２と、第１サブ特徴マップ５０１３とを取得する。第１サブ特徴マップ５０１１、第１サブ特徴マップ５０１２と、第１サブ特徴マップ５０１３とに対して、さらに異なるスケールで特徴を抽出してから、さらに異なる分割方式で分割して、異なる粒度で特徴を抽出することができる。なお、一つの分岐に対して、分割せずに入力画像５０の全域特徴マップとして入力してもよい。

【0041】

具体的に、第１分岐５０１は、異なる粒度で分割することが行っていない全域特徴マップｆｇ１を取得する。第２分岐５０２は、異なるスケール及び水平に二つに分けることで、全域特徴マップｆｇ２と、局所特徴マップｆｐ２１と、局所特徴マップｆｐ２２とを取得する。第３分岐５０３は、異なるスケール及び垂直に二つに分けることで、全域特徴マップｆｇ３と、局所特徴マップｆｐ３１と、局所特徴マップｆｐ３２とを取得する。第４分岐５０４は、異なるスケール及び水平に三つに分けることで、全域特徴マップｆｇ４と、局所特徴マップｆｐ４１乃至ｆｐ４３を取得する。第五分岐５０５は、異なるスケール及び水平に二つに分けることで、全域特徴マップｆｇ５と、局所特徴マップｆｐ５１と、局所特徴マップｆｐ５２とを取得する。第６分岐５０６は、異なるスケール及び水平に二つに分けることで、全域特徴マップｆｇ６と、局所特徴マップｆｐ６１と、局所特徴マップｆｐ６２と、局所特徴マップｆｐ７とを取得する。

【0042】

なお、上記の各分岐に、いずれも、ニューラルネットワークシステムにおける一つの分岐によって前層から抽出された特徴が分割されていないまま、後層に直接出力することが存在し、分岐全体で全部の初期特徴を維持する（例えば、ｆｇ１乃至ｆｇ６）。

【0043】

図３及び図４と類似に、図５及び図６は、それぞれ、まず異なるスケールで後に異なる粒度で特徴を抽出する状況と、まず異なる粒度で後に異なるスケールで特徴を抽出する状況を示している。よって、図６に関する繰り返しの説明を省略する。

【0044】

図５及び図６に示された中間層は、図３及び図４の例に比べて、より豊富なスケール及び粒度配置方式を提供する。なお、図３乃至図６に示された中間層は、いずれも例示的なもののみで、本開示の実施例はこれに限られず、全体的に、実際の画像処理ニーズに基づいて、異なるスケール又は異なる粒度で画像特徴を抽出することを実現するができる、あらゆる中間層配置を含むことができる。

【0045】

図５及び図６はニューラルネットワークシステムを訓練するための損失関数の配置をさらに例示的に示している。ニューラルネットワークシステムによって歩行者再認識のような画像処理タスクを実行する前に、損失関数により、前記ニューラルネットワークシステムを訓練する必要がある。本開示の実施例によるニューラルネットワークシステムは、異なるスケール又は異なる粒度で画像特徴を抽出した中間層分岐を含むため、各中間層分岐によって抽出された特徴の相関性を高めて画像処理性能を高めるために、中間層分岐のそれぞれによって取得された全部の特徴マップに関する前記損失関数を配置する。

【0046】

図５及び図６に示すように、各分岐に対して、いずれもＳｏｆｔｍａｘ損失関数を配置し、全体的なＳｏｆｔｍａｘ損失関数は、以下の式で表すことができる。

【数1】

【0047】

各中間層分岐によって抽出された特徴の相関性を高めるために、Ｌ２規則化してから各分岐からの各特徴に対して、トリプレット（Ｔｒｉｐｌｅｔ）損失関数を応用し、その全体的な式は以下のように表すことができる。

【数2】

【0048】

なお、各中間層分岐によって抽出された直列特徴に対して、さらにトリプレット（Ｔｒｉｐｌｅｔ）損失関数を応用し、その全体的な式は以下のように表すことができる。

【数3】

【0049】

最終的に訓練に用いる総体的な損失関数は、すべてのＳｏｆｔｍａｘ損失関数の平均値とトリプレット損失関数の平均値との合計にすることができる。

【数4】

【0050】

以上において、図面を参照しながら本開示の実施例による画像処理方法を説明し、特に本開示の実施例による画像処理方法におけるニューラルネットワークシステムのネットワーク構造を、主に説明している。以下において、当該画像処理方法を実行する画像処理装置をさらに説明する。

【0051】

図７は本開示の実施例による画像処理装置のブロック図である。図７に示された本開示の実施例による画像処理装置７００は、図１に示された本開示の実施例による画像処理方法を実行することができる。図７に示すように、本開示の実施例による画像処理装置７００は、入力層ユニット７０１と、中間層ユニット７０２と、出力層ユニット７０３と、訓練ユニット７０４とを含む。上記の各モジュールは、それぞれ、図１を参照して説明した本開示の実施例による画像処理方法の各ステップを実行することができる。当業者は、これらのユニットモジュールが、ハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによって様々な方式で実現することができ、本開示がそれらのいずれにも限定されないことを理解するべきである。

【0052】

入力層ユニット７０１は、前記入力画像を受信し、また前記入力画像の初期特徴マップを抽出する。中間層ユニット７０２は、前記初期特徴マップから画像特徴をさらに抽出して、中間層特徴マップを取得する。出力層ユニット７０３は、前記中間層特徴マップに基づいて、前記入力画像に対する処理結果を出力する。

【0053】

中間層ユニット７０２は、少なくとも二つの分岐を含み、前記少なくとも二つの分岐は、異なるスケールを有する及び／又は前記初期特徴マップの異なる領域に対応する、中間層特徴マップを生成する。前記中間層ユニット７０２は、図３乃至図６を参照して説明した中間層を有する構造配置であってもよい。

【0054】

一つの実施例において、前記中間層ユニット７０２における第１分岐の第１サブ層において、第１ステップサイズで前記初期特徴マップを畳み込んで、第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、前記第１サブ特徴マップに対して第１分割を実行して、第２サブ特徴マップを取得し、前記中間層ユニット７０２における第２分岐の第１サブ層において、第２ステップサイズで前記初期特徴マップを畳み込んで、第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、前記第３サブ特徴マップに対して第２分割を実行して、第４サブ特徴マップを取得する。前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割である。

【0055】

もう一つの実施例において、前記中間層ユニット７０２における第１分岐の第１サブ層において、前記初期特徴マップに対して第１分割を実行して、第１サブ特徴マップを取得し、また前記第１分岐の第２サブ層において、第１ステップサイズで前記第１サブ特徴マップを畳み込んで、第２サブ特徴マップを取得し、前記中間層ユニット７０２における第２分岐の第１サブ層において、前記初期特徴マップに対して第２分割を実行して、第３サブ特徴マップを取得し、また前記第２分岐の第２サブ層において、第２ステップサイズで前記第３サブ特徴マップを畳み込んで、第４サブ特徴マップを取得する。前記第１ステップサイズは前記第２ステップサイズと異なり、また前記第１分割と前記第２分割のうち一方は水平分割であり、他方は垂直分割であり。

【0056】

訓練ユニット７０４は、損失関数によって前記画像処理装置７００におけるニューラルネットワークシステムを訓練する。前記損失関数は、前記中間層ユニット７０２における前記少なくとも二つの分岐のそれぞれによって取得された全部の特徴マップに関する。

【0057】

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。

【0058】

例えば、本発明の一つの実施形態における電子機器は、本発明のテキスト処理方法の処理を行うコンピュータとして機能してもよい。図８は本開示の実施例による電子機器のハードウェアブロック図を示す。図８に示すように、電子機器８００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0059】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。電子機器８００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0060】

例えば、プロセッサ１００１は一つのみ示しているが、複数のプロセッサでもよい。また、上述の各種処理は、１つのプロセッサで実行されているが、一つ以上のプロセッサにより同時又は逐次又はほかの方法で実行・処理されてもよい。なお、プロセッサ１００１は、１以上のチップで実装されてもよい。

【0061】

電子機器８００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

【0062】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されてもよい。

【0063】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。

【0064】

メモリ１００２は、コンピュータ読み取り可能な記憶媒体であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、他の適切な記憶媒体のうち、少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0065】

ストレージ１００３は、コンピュータ読み取り可能な記憶媒体であり、例えば、フレキシブルディスク（ｆｌｅｘｉｂｌｅ ｄｉｓｋ）、フロッピー（登録商標）ディスク、光磁気ディスク（例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、リムーバブルディスク、ハードディスクドライブ、スマートカード、フラッシュメモリ（例えば、カード、スティック（ｓｔｉｃｋ）、キードライブ（ｋｅｙ ｄｒｉｖｅｒ））、磁気ストリップ、データベース 、サーバ、その他の適切な記憶媒体のうち、少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。

【0066】

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0067】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0068】

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0069】

また、電子機器８００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

【0070】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーションプログラム、ソフトウェアアプリケーションプログラム、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0071】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線及びマイクロ波などの無線技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0072】

図９は本開示の実施例によるコンピュータ読み取り可能な記憶媒体の概略図を示す。図９に示すように、本開示の実施例によるコンピュータ読み取り可能な記憶媒体９００には、コンピュータ読み取り可能な命令９０１が記憶されている。前記コンピュータ読み取り可能な命令９０１がプロセッサによって実行される場合、上記図面を参照して説明した本開示の実施例による画像処理方法を実行する。

【0073】

本発明の実施例によると、コンピュータプログラムをさらに提供し、当該コンピュータプログラムは、クラウド側またはローカル記憶媒体に格納されている。当該コンピュータプログラムがコンピュータまたはプロセッサによって実行される場合、本発明の実施例の画像処理方法に対応するステップを実行し、本発明の実施例による画像処理装置に対応するモジュールを実現する。

【0074】

以上において、図面を参照して、本開示の実施例によるニューラルネットワークシステムを使用して入力画像を処理する画像処理方法及び装置、並びにコンピュータ読み取り可能な記憶媒体を説明し、複数の分岐によって、異なるスケールと、水平方向や垂直方向のような異なる粒度とで、画像の特徴を抽出するように設計することで、全域及び局所特徴をより効果的に抽出することを実現し、ネットワークにおける全部の分岐によって抽出された特徴に関する損失関数を構成して、ニューラルネットワークシステム全体を訓練することで、各分岐の特徴間の相関性を強化し、また、ニューラルネットワークシステムにおける一つの分岐によって前層から抽出された特徴が分割されていないまま、後層に直接出力するため、分岐全体で全部の初期特徴を維持する。本開示の実施例のニューラルネットワークシステムを使用して入力画像を処理する画像処理方法によると、歩行者再認識（Ｒｅ－ＩＤ）のような画像処理タスクで、より良好な認識効果を達成する。

【0075】

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0076】

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0077】

本明細書で使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0078】

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（ｏｒ）」は、排他的論理和ではないことが意図される。

【0079】

当業者は、本願の様々な態様が、あらゆる新規で有用な工程、機械、製品又は材料の組み合わせ、又はこれらのあらゆる新規で有用な改善を含む、いくつかの特許可能な種類又は状況によって説明・解釈できることを理解するべきである。それに応じて、本願の様々な態様は、完全にハードウェアによって実行されてもよく、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）によって実行してもよく、又はハードウェアとソフトウェアの組み合わせによって実行されてもよい。上記のハードウェア又はソフトウェアは、「データブロック」、「モジュール」、「エンジン」、「ユニット」、「コンポーネント」、又は「システム」と呼ばれてもよい。また、本願の様々な態様が、１つまたは複数のコンピュータ可読媒体に配置され且つコンピュータ読み取り可能なプログラムコードを含むコンピュータ製品として表われる。

【0080】

本願では本願の実施例を説明するために特定の単語を使用している。例えば、「一実施例」、「一実施形態」、及び／又は「いくつかの実施例」は、本願の少なくとも１つの実施例に関連するある特徴、構造、又は特性を意味する。したがって、本明細書の異なる位置で２回以上言及された「一実施例」又は「一実施形態」又は「一代替型実施形態」は、必ずしも同じ実施例を指しているわけではないことを強調し、留意すべきである。また、本願の１つまたは複数の実施例におけるある特徴、構造、又は特性は、適切に組み合わせることができる。

【0081】

特に定義されていない限り、本明細書で使用されるすべての用語（技術用語及び科学用語を含む）は、本開示の当業者によって一般的に理解されるのと同じ意味を有する。さらに、通常の辞書で定義されているような用語は、関連技術の文脈での意味と一致する意味を持つものとして解釈されるべきであり、ここで明示的に述べられていない限り、理想的又は極端に形式化的な意味で解釈されるべきではないことも理解されたい。

【0082】

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】