特許7041284画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-14
(45)【発行日】2022-03-23
(54)【発明の名称】画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220315BHJP
【ＦＩ】
G06T7/00 300F
G06T7/00 350C
【請求項の数】
14
(21)【出願番号】P 2020568672
(86)(22)【出願日】2019-11-08
(65)【公表番号】
(43)【公表日】2021-12-02
(86)【国際出願番号】 CN2019116617
(87)【国際公開番号】W WO2021008023
(87)【国際公開日】2021-01-21
【審査請求日】2020-12-10
(31)【優先権主張番号】201910652025.2
(32)【優先日】2019-07-18
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519454811
【氏名又は名称】北京市商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ７１０－７１２， ７ｔｈ Ｆｌｏｏｒ， ３ｒｄ Ｂｕｉｌｄｉｎｇ， １ｓｔ Ｃｏｕｒｔｙａｒｄ， Ｚｈｏｎｇｇｕａｎｃｕｎ Ｅａｓｔ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８４ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】特許業務法人後藤特許事務所
(72)【発明者】
【氏名】楊 昆霖
(72)【発明者】
【氏名】候 軍
(72)【発明者】
【氏名】蔡 暁聡
(72)【発明者】
【氏名】伊 帥
【審査官】真木 健彦
(56)【参考文献】
【文献】特開２０１９－１０１５１９（ＪＰ，Ａ）
【文献】特開２０１２－０４３３５７（ＪＰ，Ａ）
【文献】特開２０１１－０５４０７１（ＪＰ，Ａ）
【文献】中国特許出願公開第１０５６３１８８０（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｇ０６Ｎ ３／００
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
処理対象となる画像に対して特徴抽出を行い、前記処理対象となる画像の第１特徴マップを取得することと、前記第１特徴マップの次元及び各次元のサイズを含む前記第１特徴マップの次元情報及び予め設定された分割規則に基づいて、前記第１特徴マップを複数の第１サブ特徴マップに分割することと、
前記複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得することと、
前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得することと、を含むことを特徴とする画像処理方法。
【請求項2】
前記第１特徴マップの次元情報及び予め設定された分割規則に基づいて、前記第１特徴マップを複数の第１サブ特徴マップに分割することは、前記第１特徴マップの空間次元のサイズ及び予め設定された分割規則に基づいて、空間次元において前記第１特徴マップを分割し、複数の第１サブ特徴マップを取得することを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得することは、チャネル次元において各第１サブ特徴マップをグループ化し、前記第１サブ特徴マップの各グループのチャネルをそれぞれ正規化処理して、前記第１サブ特徴マップの第２サブ特徴マップを取得することを含むことを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得することは、前記複数の第１サブ特徴マップの前記第１特徴マップにおける位置に応じて、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得することを含むことを特徴とする請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記分割規則は、特徴マップの分割対象となる次元、各分割対象となる次元の分割位置、各分割対象となる次元の分割数、各分割対象となる次元の分割サイズ、分割後のサブ特徴マップの数のうちの少なくとも１つを含むことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行い、各特徴マップのスケールが異なる符号化後の複数の特徴マップを取得することと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行い、前記処理対象となる画像の分類予測結果を取得することと、をさらに含むことを特徴とする請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合処理を行い、符号化後の複数の特徴マップを取得することは、ｍ個（ｍは正の整数）の第２特徴マップをスケールダウンし、スケールダウン後のｍ個の特徴マップを取得することと、
前記スケールダウン後のｍ個の特徴マップに対して特徴融合を行い、スケールが前記スケールダウン後のｍ個の特徴マップのスケールと同じであるｍ＋１番目の特徴マップを取得することと、
前記ｍ個の第２特徴マップ及び前記ｍ＋１番目の特徴マップに対してそれぞれ特徴最適化及び融合を行い、符号化後のｍ＋１個の特徴マップを取得することと、を含むことを特徴とする請求項６に記載の方法。
【請求項8】
前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行い、前記処理対象となる画像の分類予測結果を取得することは、符号化後のｍ＋１個（ｍは正の整数）の特徴マップに対して融合及びスケールアップを行い、スケールアップ後のｍ個の特徴マップを取得することと、
前記スケールアップ後のｍ個の特徴マップに対して特徴最適化及び融合を行い、前記処理対象となる画像の分類予測結果を取得することと、を含むことを特徴とする請求項６又は７に記載の方法。
【請求項9】
処理対象となる画像に対して特徴抽出を行うための特徴抽出ネットワークと、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行うための符号化ネットワークと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行うための復号化ネットワークとを含むニューラルネットワークによって実現されることを特徴とする請求項１～８のいずれか１項に記載の方法。
【請求項10】
複数のラベル付きのサンプル画像を含む予め設定されたトレーニング群に基づいて、前記ニューラルネットワークをトレーニングすることをさらに含むことを特徴とする請求項９に記載の方法。
【請求項11】
処理対象となる画像に対して特徴抽出を行い、前記処理対象となる画像の第１特徴マップを取得するための特徴抽出モジュールと、前記第１特徴マップの次元及び各次元のサイズを含む前記第１特徴マップの次元情報及び予め設定された分割規則に基づいて、前記第１特徴マップを複数の第１サブ特徴マップに分割するための分割モジュールと、
前記複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得するための正規化モジュールと、
前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得するためのつなぎ合わせモジュールと、を含むことを特徴とする画像処理装置。
【請求項12】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、請求項１～１０のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項13】
コンピュータプログラム命令を記憶しているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、請求項１～１０のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項14】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードは、電子機器において実行されると、前記電子機器のプロセッサに請求項１～１０のいずれか１項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はコンピュータテクノロジーの分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0002】
ディープラーニングネットワークにおいて、入力された特徴マップに対してある特定の次元で正規化計算を行うことができる。これにより、モデルの収束速度を加速できるだけでなく、ディープネットワークでの「勾配消失」の問題を緩和して、ディープニューラルネットワークのトレーニングを容易にし、より安定したネットワークを取得することができる。
【発明の概要】
【0003】
本開示は画像処理の発明を提案する。
【0004】
本開示の一側面では、処理対象となる画像に対して特徴抽出を行い、前記処理対象となる画像の第１特徴マップを取得することと、前記第１特徴マップの次元及び各次元のサイズを含む前記第１特徴マップの次元情報及び予め設定された分割規則に基づいて、前記第１特徴マップを複数の第１サブ特徴マップに分割することと、前記複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得することと、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得することと、を含む画像処理方法を提供する。
【0005】
１つの可能な実施形態では、前記第１特徴マップの次元情報及び予め設定された分割規則に基づいて、前記第１特徴マップを複数の第１サブ特徴マップに分割することは、前記第１特徴マップの空間次元のサイズ及び予め設定された分割規則に基づいて、空間次元において前記第１特徴マップを分割し、複数の第１サブ特徴マップを取得することを含む。
【0006】
１つの可能な実施形態では、前記複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得することは、チャネル次元において各第１サブ特徴マップをグループ化し、前記第１サブ特徴マップの各グループのチャネルをそれぞれ正規化処理して、前記第１サブ特徴マップの第２サブ特徴マップを取得することを含む。
【0007】
１つの可能な実施形態では、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得することは、前記複数の第１サブ特徴マップの前記第１特徴マップにおける位置に応じて、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得することを含む。
【0008】
１つの可能な実施形態では、前記分割規則は、特徴マップの分割対象となる次元、各分割対象となる次元の分割位置、各分割対象となる次元の分割数、各分割対象となる次元の分割サイズ、分割後のサブ特徴マップの数のうちの少なくとも１つを含む。
【0009】
１つの可能な実施形態では、前記方法は、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行い、各特徴マップのスケールが異なる符号化後の複数の特徴マップを取得することと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行い、前記処理対象となる画像の分類予測結果を取得することと、をさらに含む。
【0010】
１つの可能な実施形態では、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合処理を行い、符号化後の複数の特徴マップを取得することは、ｍ個（ｍは正の整数）の第２特徴マップをスケールダウンし、スケールダウン後のｍ個の特徴マップを取得することと、前記スケールダウン後のｍ個の特徴マップに対して特徴融合を行い、スケールが前記スケールダウン後のｍ個の特徴マップのスケールと同じであるｍ＋１番目の特徴マップを取得することと、前記ｍ個の第２特徴マップ及び前記ｍ＋１番目の特徴マップに対してそれぞれ特徴最適化及び融合を行い、符号化後のｍ＋１個の特徴マップを取得することと、を含む。
【0011】
１つの可能な実施形態では、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行い、前記処理対象となる画像の分類予測結果を取得することは、符号化後のｍ＋１個（ｍは正の整数）の特徴マップに対して融合及びスケールアップを行い、スケールアップ後のｍ個の特徴マップを取得することと、前記スケールアップ後のｍ個の特徴マップに対して特徴最適化及び融合を行い、前記処理対象となる画像の分類予測結果を取得することと、を含む。
【0012】
１つの可能な実施形態では、前記方法は、処理対象となる画像に対して特徴抽出を行うための特徴抽出ネットワークと、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行うための符号化ネットワークと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行うための復号化ネットワークとを含むニューラルネットワークによって実現される。
【0013】
１つの可能な実施形態では、前記方法は、複数のラベル付きのサンプル画像を含む予め設定されたトレーニング群に基づいて、前記ニューラルネットワークをトレーニングすることをさらに含む。
【0014】
本開示の別の側面では、処理対象となる画像に対して特徴抽出を行い、前記処理対象となる画像の第１特徴マップを取得するための特徴抽出モジュールと、前記第１特徴マップの次元及び各次元のサイズを含む前記第１特徴マップの次元情報及び予め設定された分割規則に基づいて、前記第１特徴マップを複数の第１サブ特徴マップに分割するための分割モジュールと、前記複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得するための正規化モジュールと、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得するためのつなぎ合わせモジュールと、を含む画像処理装置を提供する。
【0015】
１つの可能な実施形態では、前記分割モジュールは、前記第１特徴マップの空間次元のサイズ及び予め設定された分割規則に基づいて、空間次元において前記第１特徴マップを分割し、複数の第１サブ特徴マップを取得するための分割サブモジュールを含む。
【0016】
１つの可能な実施形態では、前記正規化モジュールは、チャネル次元において各第１サブ特徴マップをグループ化し、前記第１サブ特徴マップの各グループのチャネルをそれぞれ正規化処理して、前記第１サブ特徴マップの第２サブ特徴マップを取得するための正規化サブモジュールを含む。
【0017】
１つの可能な実施形態では、前記つなぎ合わせモジュールは、前記複数の第１サブ特徴マップの前記第１特徴マップにおける位置に応じて、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得するためのつなぎ合わせサブモジュールを含む。
【0018】
１つの可能な実施形態では、前記分割規則は、特徴マップの分割対象となる次元、各分割対象となる次元の分割位置、各分割対象となる次元の分割数、各分割対象となる次元の分割サイズ、分割後のサブ特徴マップの数のうちの少なくとも１つを含む。
【0019】
１つの可能な実施形態では、前記装置は、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行い、各特徴マップのスケールが異なる符号化後の複数の特徴マップを取得するための符号化モジュールと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行い、前記処理対象となる画像の分類予測結果を取得するための復号化モジュールとをさらに含む。
【0020】
１つの可能な実施形態では、前記符号化モジュールは、ｍ個（ｍは正の整数）の第２特徴マップをスケールダウンし、スケールダウン後のｍ個の特徴マップを取得するための縮小サブモジュールと、前記スケールダウン後のｍ個の特徴マップに対して特徴融合を行い、スケールが前記スケールダウン後のｍ個の特徴マップのスケールと同じであるｍ＋１番目の特徴マップを取得するための第１融合サブモジュールと、前記ｍ個の第２特徴マップ及び前記ｍ＋１番目の特徴マップに対してそれぞれ特徴最適化及び融合を行い、符号化後のｍ＋１個の特徴マップを取得するための第２融合サブモジュールと、を含む。
【0021】
１つの可能な実施形態では、前記復号化モジュールは、符号化後のｍ＋１個（ｍは正の整数）の特徴マップに対して融合及びスケールアップを行い、スケールアップ後のｍ個の特徴マップを取得するための拡大サブモジュールと、前記スケールアップ後のｍ個の特徴マップに対して特徴最適化及び融合を行い、前記処理対象となる画像の分類予測結果を取得するための第３融合サブモジュールと、を含む。
【0022】
１つの可能な実施形態では、前記装置は、処理対象となる画像に対して特徴抽出を行うための特徴抽出ネットワークと、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行うための符号化ネットワークと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行うための復号化ネットワークとを含むニューラルネットワークによって実現される。
【0023】
１つの可能な実施形態では、前記装置は、複数のラベル付きのサンプル画像を含む予め設定されたトレーニング群に基づいて、前記ニューラルネットワークをトレーニングするトレーニングモジュールをさらに含む。
【0024】
本開示の別の側面では、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記方法を実行するように構成される電子機器を提供する。
【0025】
本開示の別の側面では、コンピュータプログラム命令を記憶しているコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム命令は、プロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。
【0026】
本開示の別の側面では、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードは、電子機器において実行されると、前記電子機器のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムを提供する。
【0027】
本開示の実施例において、特徴マップを分割しかつそれぞれ正規化処理して正規化後の複数のサブ特徴マップを取得し、正規化後の複数のサブ特徴マップを完全な特徴マップにつなぎ合わせることにより、ローカル特徴情報を保留し、完全な特徴マップを正規化する場合の統計誤差を減らし、抽出された特徴の有効性を向上させることができる。
【0028】
なお、以上の一般的な説明及び後述の詳細な説明は例示的・解釈的なものにすぎず、本開示を制限するものではないことが理解すべきである。以下に図面を参照しながら例示的な実施例を詳しく説明することにより、本開示のその他の特徴及び側面がより明確になる。
【図面の簡単な説明】
【0029】
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
【図1】本開示の実施例に係る画像処理方法のフローチャートを示す。
【図2】本開示の実施例に係る画像処理方法の処理手順の模式図を示す。
【図3A】本開示の実施例に係る画像処理方法のマルチスケール融合手順の模式図を示す。
【図3B】本開示の実施例に係る画像処理方法のマルチスケール融合手順の模式図を示す。
【図3C】本開示の実施例に係る画像処理方法のマルチスケール融合手順の模式図を示す。
【図4】本開示の実施例に係る画像処理装置のブロック図を示す。
【図5】本開示の実施例に係る電子機器のブロック図を示す。
【図6】本開示の実施例に係る電子機器のブロック図を示す。
【発明を実施するための形態】
【0030】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴及び側面を詳細に説明する。図面において、同じ符号は同じまたは類似の機能の要素を表す。図面において実施例の様々な側面を示すが、特に断りがない限り、比例に従って図面を描く必要がない。
【0031】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【0032】
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
【0033】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
【0034】
図１は本開示の実施例に係る画像処理方法のフローチャートを示す。図１に示すように、前記画像処理方法は、処理対象となる画像に対して特徴抽出を行い、前記処理対象となる画像の第１特徴マップを取得するステップＳ１１と、前記第１特徴マップの次元及び各次元のサイズを含む前記第１特徴マップの次元情報及び予め設定された分割規則に基づいて、前記第１特徴マップを複数の第１サブ特徴マップに分割するステップＳ１２と、前記複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得するステップＳ１３と、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得するステップＳ１４と、を含む。
【0035】
１つの可能な実施形態では、前記画像処理方法は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち装置、計算装置、車載装置、ウエアラブルデバイス等の端末装置、サーバなどの他の種類の電子機器により実行されてもよい。前記方法はプロセッサによってメモリに記憶されているコンピュータ読取可能な命令を呼び出して実現されてもよい。あるいは、サーバーによって前記方法を実行してもよい。
【0036】
１つの可能な実施形態では、処理対象となる画像は、画像取得装置（例えば、カメラ）によって撮影された監視領域（例えば、交差点、ショッピングモールなどの領域）の画像であっもよいし、他の方法で取得された画像（例えば、ネットワークを介してダウンロードされた画像）であってもよい。処理対象となる画像には、一定数の対象物（例えば、歩行者、車両、顧客など）が含まれてもよい。本開示では、処理対象となる画像の種類、取得方法及び画像における対象物の種類については限定しない。
【0037】
１つの可能な実施形態では、ステップＳ１１において、特徴抽出ネットワークによって処理対象となる画像に対して特徴抽出を行い、処理対象となる画像の第１特徴マップを取得するようにしてもよい。当該特徴抽出ネットワークは、例えば、畳み込みニューラルネットワークを含んでもよく、本開示では、特徴抽出ネットワークの具体的なネットワーク種類については限定しない。
【0038】
１つの可能な実施形態では、第１特徴マップは次元情報を有し、当該次元情報は、第１特徴マップの次元及び各次元のサイズを含むようにしてもよい。例えば、第１特徴マップは、高さＨ、幅Ｗ及びチャネルＣという３つの次元を含み、ここで、高さＨと幅Ｗは空間次元であり、チャネルＣはチャネル次元である。各次元のサイズについて、例えば、高さＨと幅Ｗをいずれも２５６とし、チャネルＣを１６（すなわち、１６個のチャネル）とすると、Ｈ×Ｗ×Ｃ＝２５６×２５６×１６と表すことができる。本開示では、第１特徴マップの次元の数及び各次元の具体的なサイズについては限定しない。
【0039】
１つの可能な実施形態では、処理対象となる画像において各領域同士には差異があり、例えば、各領域の対象物（歩行者）の数が異なる場合、第１特徴マップを直接に正規化処理すれば、統計誤差が生じる可能性がある。この場合、第１特徴マップを分割し、領域毎に正規化処理して、誤差を減らすようにしてもよい。
【0040】
１つの可能な実施形態では、特徴マップに対する分割規則を予め設定して、分割規則に基づいて特徴マップを分割するようにしてもよく、例えば、特徴マップを複数のブロックに均一に分割したり、特定のサイズのブロックに分割したりするなどが挙げられる。全ての特徴マップに対して同一の分割規則を用いてもよいし、異なる特徴マップに対して異なる分割規則を用いてもよく、本開示では限定しない。
【0041】
１つの可能な実施形態では、分割規則は、特徴マップの分割対象となる次元、各分割対象となる次元の分割位置、各分割対象となる次元の分割数、各分割対象となる次元の分割サイズ、分割後のサブ特徴マップの数のうちの少なくとも１つを含んでもよい。
【0042】
１つの可能な実施形態では、分割対象となる次元は、特徴マップの分割べき次元を指示するためのものであり、例えば、空間次元における高さＨと幅Ｗを分割する。各分割対象となる次元の分割位置は、特徴マップの各分割対象となる次元を分割する分割点の位置を指示するためのものであり、例えば、高さＨ（サイズが２５６）の分割位置は５２、１０８及び１６０などを含む。各分割対象となる次元の分割数は、特徴マップの各分割対象となる次元を分割する数を指示するためのものであり、例えば、高さＨ（サイズが２５６）の次元方向に３つのブロックに均一に分割する。各分割対象となる次元の分割サイズは特徴マップの各分割対象となる次元を分割するサイズを指示するためのものであり、例えば、高さＨ（サイズが２５６）の次元方向にサイズの６４で分割する。分割後のサブ特徴マップの数は、特徴マップを分割して取得したサブ特徴マップの数を指示するためのものであり、例えば、サブ特徴マップの数が９であれば、高さＨと幅Ｗの次元方向にそれぞれ３つのブロックに分割するようにしてもよい。
【0043】
なお、当業者は実際の状況に応じて具体的な分割規則及びその内容を設定できると理解すべき、本開示では限定しない。
【0044】
１つの可能な実施形態では、ステップＳ１２において、第１特徴マップの次元情報及び予め設定された分割規則に基づいて、第１特徴マップを複数の第１サブ特徴マップに分割するようにしてもよい。例えば、分割規則は、分割対象となる次元が高さＨと幅Ｗであり、高さＨと幅Ｗの次元方向にそれぞれ２つのブロックに分割することを指示すれば、第１特徴マップを４つの第１サブ特徴マップ（１２８×１２８×１６）に分割することができる。
【0045】
１つの可能な実施形態では、ステップＳ１３において、複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得するようにしてもよい。本開示では、正規化の具体的な方法については限定しない。
【0046】
１つの可能な実施形態では、ステップＳ１４において、複数の第２サブ特徴マップをつなぎ合わせて、処理対象となる画像の第２特徴マップを取得するようにしてもよい。すなわち、正規化後の各サブ特徴マップの位置に応じて、複数のサブ特徴マップをつなぎ合わせて、完全な特徴マップ（第２特徴マップ）を取得して、後続の処理を行う。
【0047】
本開示の実施例によれば、特徴マップを分割しかつそれぞれ正規化処理して正規化後の複数のサブ特徴マップを取得し、正規化後の複数のサブ特徴マップを完全な特徴マップにつなぎ合わせることにより、ローカル特徴情報を保留し、完全な特徴マップを正規化する場合の統計誤差を減らし、抽出された特徴の有効性を向上させることができる。
【0048】
１つの可能な実施形態では、ステップＳ１２は、前記第１特徴マップの空間次元のサイズ及び予め設定された分割規則に基づいて、空間次元において前記第１特徴マップを分割し、複数の第１サブ特徴マップを取得することを含んでもよい。
【0049】
例えば、予め設定された分割規則として、空間次元（ＨとＷ）において第１特徴マップを分割し、例えば、各次元方向にそれぞれ４つのブロックに均一に分割するように設定されてもよい。この場合、第１特徴マップの空間次元（ＨとＷ）のサイズ（２５６×２５６）に応じて、空間次元（ＨとＷ）において第１特徴マップをサイズが６４×６４の１６個の第１サブ特徴マップに分割することができる。各第１サブ特徴マップの他の次元と第１特徴マップの他の次元とはスケールが同一である（例えば、チャネル数が共に１６）。
【0050】
このような方法によれば、空間次元において特徴マップに対して領域分割を行って特徴マップを各空間領域のサブ特徴マップに分割し、特徴マップの各空間領域をそれぞれ正規化処理することにより、完全な特徴マップを正規化する場合の統計誤差を減らすことができる。
【0051】
１つの可能な実施形態では、ステップＳ１３は、チャネル次元において各第１サブ特徴マップをグループ化し、前記第１サブ特徴マップの各グループのチャネルをそれぞれ正規化処理して、前記第１サブ特徴マップの第２サブ特徴マップを取得することを含んでもよい。
【0052】
例えば、関連技術では、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）によって各バッチのデータを正規化することができる。しかし、トレーニング時に大きなバッチサイズ（ｂａｔｃｈ ｓｉｚｅ）を使用できないタスク、例えば、物体検出、セマンティックセグメンテーション、人込み密度推定では、バッチ正規化の効果が悪い。この場合、グループ正規化（Ｇｒｏｕｐ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＧＮ）の方法で特徴マップを正規化処理することができる。
【0053】
１つの可能な実施形態では、複数のサブ特徴マップを取得した後、チャネル（ｃｈａｎｎｅｌ）次元Ｃにおいて各第１サブ特徴マップをグループ化するようにしてもよく、例えば、第１サブ特徴マップの１６個のチャネルを２つのグループに分け、各グループは８個のチャネルを含む。その後、各グループのチャネルにおいてそれぞれ正規化処理を行う。すなわち、第１サブ特徴マップの各グループのチャネルの平均値と分散をそれぞれ統計し、さらに、第１サブ特徴マップの各グループのチャネルの各位置の値を正規化計算して正規化後の結果（第１サブ特徴マップの第２サブ特徴マップ）を取得する。これにより、複数の第１サブ特徴マップに対応する複数の第２サブ特徴マップを取得することができる。本開示では、チャネルのグループ化数及び各グループに含まれるチャネルの数については限定しない。
【0054】
このような方法によれば、サブ特徴マップの各グループのチャネルをそれぞれ正規化することにより、正規化時の統計誤差をさらに減らし、抽出された特徴の有効性を向上させることができる。
【0055】
１つの可能な実施形態では、ステップＳ１４は、前記複数の第１サブ特徴マップの前記第１特徴マップにおける位置に応じて、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得することを含んでもよい。
【0056】
例えば、正規化後の複数の第２サブ特徴マップを取得した後、各第１サブ特徴マップの第１特徴マップにおける位置を対応する各第２サブ特徴マップの位置として決定し、つまり、つなぎ合わせる順序が分割順序と同じであるようにしてもよい。各第２サブ特徴マップの位置に応じて各第２サブ特徴マップをつなぎ合わせ、つなぎ合わせた後の第２特徴マップを取得する。
【0057】
このような方法によれば、第２特徴マップと第１特徴マップのローカル特徴情報の分布の一致性を確保できる。
【0058】
図２は本開示の実施例に係る画像処理方法の処理手順の模式図を示す。図２に示すように、第１特徴マップ２１は、高さＨ、幅Ｗ及びチャネルＣという３つの次元を含んでもよく、予め設定された分割規則は、空間次元Ｈにおいて２つのブロックに分割し、空間次元Ｗにおいて２つのブロックに分割するとされてもよい。第１特徴マップ２１の次元情報及び当該分割規則に基づいて、第１特徴マップ２１を４つの第１サブ特徴マップ２２に分割するようにしてもよい。４つの第１サブ特徴マップ２２をそれぞれグループ正規化処理し（チャネルＣのグループ化）、取得された結果（４つの第２サブ特徴マップ）を分割順序につなぎ合わせて完全な第２特徴マップ２３を取得して、後の操作を行うようにしてもよい。
【0059】
１つの可能な実施形態では、前記方法は、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行い、各特徴マップのスケールが異なる符号化後の複数の特徴マップを取得することと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行い、前記処理対象となる画像の分類予測結果を取得することと、を含んでもよい。
【0060】
例えば、処理対象となる画像に対して特徴抽出を行ってスケールが異なる複数の第１特徴マップを取得してもよく、ステップＳ１２～１４の分割、正規化及びつなぎ合わせ処理を経て、複数の第２特徴マップを取得するようにしてもよい。後続の処理において、ニューラルネットワークの符号化ネットワークによって処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行い、各特徴マップのスケールが異なる符号化後の複数の特徴マップを取得するようにしてもよい。これにより、各スケールにおいてグローバル情報とローカル情報を融合させることができ、抽出された特徴の有効性を高めることができる。
【0061】
１つの可能な実施形態では、符号化ネットワークは、例えば、畳み込み層、残差層、アップサンプリング層、融合層などを含んでもよい。符号化ネットワークの第１畳み込み層（ストライド＞１）によって第２特徴マップをスケールダウンしてスケールダウン後の特徴マップを取得する。第２畳み込み層（ストライド＝１）及び／又は残差層によって第２特徴マップ及びスケールダウン後の特徴マップに対して特徴最適化を行い、特徴最適化後の複数の特徴マップを取得する。さらに、符号化ネットワークのアップサンプリング層、畳み込み層（ストライド＞１）及び／又は融合層などによって特徴最適化後の複数の特徴マップを融合させて符号化後の複数の特徴マップを取得するようにしてもよい。
【0062】
１つの可能な実施形態では、符号化後の複数の特徴マップを取得した後、復号化ネットワークによって符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合処理を行い、処理対象となる画像の分類予測結果を取得するようにしてもよい。
【0063】
１つの可能な実施形態では、復号化ネットワークは、例えば、融合層、逆畳み込み層、畳み込み層、残差層、アップサンプリング層などを含んでもよい。復号化ネットワークの融合層によって符号化後の複数の特徴マップを融合させて融合後の複数の特徴マップを取得する。さらに、逆畳み込み層によって融合後の複数の特徴マップをスケールアップし、スケールアップ後の複数の特徴マップを取得する。融合層、畳み込み層（ストライド＝１）及び／又は残差層などによって複数の特徴マップをそれぞれ融合、最適化して復号化後の特徴マップ（分類予測結果）を取得するようにしてもよい。本開示では、符号化ネットワーク及び復号化ネットワークの具体的なネットワーク構造については限定しない。
【0064】
１つの可能な実施形態では、各ネットワーク層の操作結果を正規化してネットワーク層の操作結果のロバスト性を高めるように、ステップＳ１２～１４の分割、正規化及びつなぎ合わせ処理は、符号化ネットワーク及び復号化ネットワークの任意のネットワーク層（融合層、逆畳み込み層、畳み込み層、残差層、アップサンプリング層など）の後に行われてもよい。
【0065】
このように、符号化ネットワークによって画像の特徴マップに対してスケールダウン及びマルチスケール融合を行い、かつ復号化ネットワークによって符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行うことにより、符号化及び復号化過程においてマルチスケールのグローバル情報とローカルの情報を複数回融合させ、より有効なマルチスケール情報を保留し、予測結果の品質及びロバスト性を向上させることができる。
【0066】
１つの可能な実施形態では、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合処理を行い、符号化後の複数の特徴マップを取得するステップは、ｍ個（ｍは正の整数）の第２特徴マップをスケールダウンし、スケールダウン後のｍ個の特徴マップを取得することと、前記スケールダウン後のｍ個の特徴マップに対して特徴融合を行い、スケールが前記スケールダウン後のｍ個の特徴マップのスケールと同じであるｍ＋１番目の特徴マップを取得することと、前記ｍ個の第２特徴マップ及び前記ｍ＋１番目の特徴マップに対してそれぞれ特徴最適化及び融合を行い、符号化後のｍ＋１個の特徴マップを取得することと、を含んでもよい。
【0067】
例えば、処理対象となる第２特徴マップがｍ個（ｍは任意の正の整数）であるとしてもよい。符号化ネットワークのｍ個の畳み込みサブネットワーク（各畳み込みサブネットワークは少なくとも１つの第１畳み込み層を含む）によってｍ個の第２特徴マップをそれぞれスケールダウンし、スケールダウン後のｍ個の特徴マップを取得し、当該スケールダウン後のｍ個の特徴マップはスケールが同一であり、かつｍ番目の第２特徴マップのスケールよりも小さい（ｍ＋１番目の特徴マップのスケールと同じである）。融合層によって当該スケールダウン後のｍ個の特徴マップに対して特徴融合を行い、ｍ＋１番目の特徴マップを取得するようにしてもよい。
【0068】
１つの可能な実施形態では、各畳み込みサブネットワークは、少なくとも１つの第１畳み込み層を含み、第１畳み込み層は、畳み込みカーネルサイズが３×３で、ストライドが２であり、特徴マップをスケールダウンするのに用いられる。畳み込みサブネットワークの第１畳み込み層の数は、対応する特徴マップのスケールに関連付けられており、例えば、符号化後の１番目の第２特徴マップのスケールが４ｘ（幅と高さはそれぞれ処理対象となる画像の１／４）で、生成対象であるｍ個の特徴マップのスケールが１６ｘ（幅と高さはそれぞれ処理対象となる画像の１／１６）であれば、１番目の畳み込みサブネットワークは２つの第１畳み込み層を含む。なお、当業者は実際の状況に応じて畳み込みサブネットワークの第１畳み込み層の数、畳み込みカーネルサイズ及びストライドを設定してもよく、本開示では限定しない。
【0069】
１つの可能な実施形態では、符号化ネットワークの融合層によって符号化されたｍ個の第２特徴マップに対してマルチスケール融合を行って融合後のｍ個の特徴マップを取得する。ｍ＋１個の特徴最適化サブネットワーク（各特徴最適化サブネットワークは第２畳み込み層及び／又は残差層を含む）によって融合後のｍ個の特徴マップとｍ＋１番目の特徴マップに対してそれぞれ特徴最適化を行い、特徴最適化後のｍ＋１個の特徴マップを取得する。その後、ｍ＋１個の融合サブネットワークによって特徴最適化後のｍ＋１個の特徴マップに対してそれぞれマルチスケール融合を行い、符号化後のｍ＋１個の特徴マップを取得するようにしてもよい。
【0070】
１つの可能な実施形態では、マルチスケール融合後のｍ＋１個の特徴マップに対して特徴最適化及びマルチスケール融合を再度行うことにより、抽出されたマルチスケール特徴の有効性をさらに高めるようにしてもよい。本開示では、特徴最適化及びマルチスケール融合の回数については限定しない。
【0071】
１つの可能な実施形態では、第２畳み込み層によって特徴マップを直接最適化するようにしてもよく、第２畳み込み層は畳み込みカーネルサイズが３×３で、ストライドが１である。第２畳み込み層及び残差層からなる基本ブロック（ｂａｓｉｃ ｂｌｏｃｋ）によって特徴マップを最適化するようにしてもよい。当該基本ブロックは、最適化を行う基本ユニットとして、２つの連続する第２畳み込み層を含み、残差層によって、入力された特徴マップと畳み込みによって取得された特徴マップとを加算して結果として出力するようにしてもよい。本開示では、特徴最適化の具体的な方法については限定しない。
【0072】
１つの可能な実施形態では、各特徴最適化サブネットワークは、少なくとも１つの基本ブロックを含んでもよい。各特徴最適化サブネットワークの基本ブロックによってｍ個の第２特徴マップとｍ＋１番目の特徴マップに対してそれぞれ特徴最適化を行って特徴最適化後のｍ＋１個の特徴マップを取得するようにしてもよい。なお、当業者は実際の状況に応じて第２畳み込み層の数及び畳み込みカーネルサイズを設定してもよく、本開示では限定しない。
【0073】
このような方法によれば、抽出されたマルチスケール特徴の有効性をさらに高めることができる。
【0074】
１つの可能な実施形態では、符号化ネットワークのｍ＋１個の融合サブネットワークはそれぞれ特徴最適化後のｍ＋１個の特徴マップを融合させるようにしてもよい。ｍ＋１個の融合サブネットワークのｋ番目の融合サブネットワーク（ｋは整数で１≦ｋ≦ｍ＋１）を例とすると、まず、当該ｋ番目の融合サブネットワークは、ｍ＋１個の特徴マップのスケールを特徴最適化後のｋ番目の特徴マップのスケールに調整してもよい。１＜ｋ＜ｍ＋１の場合、特徴最適化後のｋ番目の特徴マップよりも前のｋ－１個の特徴マップのスケールはいずれも特徴最適化後のｋ番目の特徴マップよりも大きく、例えば、ｋ番目の特徴マップのスケールは１６ｘ（幅と高さはそれぞれ処理対象となる画像の１／１６）であり、ｋ番目の特徴マップよりも前の特徴マップのスケールは４ｘと８ｘである。この場合、少なくとも１つの第１畳み込み層によってスケールが特徴最適化後のｋ番目の特徴マップよりも大きいｋ－１個の特徴マップをスケールダウンしてスケールダウン後のｋ－１個の特徴マップを取得するようにしてもよい。すなわち、スケールが４ｘと８ｘの特徴マップのそれぞれを１６ｘの特徴マップに縮小するために、２つの第１畳み込み層によって４ｘの特徴マップをスケールダウンしてもよく、１つの第１畳み込み層によって８ｘの特徴マップをスケールダウンしてもよい。これにより、スケールダウン後のｋ－１個の特徴マップを取得することができる。
【0075】
１つの可能な実施形態では、１＜ｋ＜ｍ＋１の場合、特徴最適化後のｋ番目の特徴マップよりも後のｍ＋１－ｋ個の特徴マップのスケールはいずれも特徴最適化後のｋ番目の特徴マップよりも小さく、例えば、ｋ番目の特徴マップのスケールは１６ｘ（幅と高さはそれぞれ処理対象となる画像の１／１６）であり、ｋ番目の特徴マップよりも後のｍ＋１－ｋ個の特徴マップは３２ｘである。この場合、アップサンプリング層によって３２ｘの特徴マップをスケールアップし、かつ第３畳み込み層（畳み込みカーネルサイズは１×１）によってスケールアップ後の特徴マップに対してチャネル調整を行ってスケールアップ後の特徴マップのチャネル数をｋ番目の特徴マップのチャネル数と同一にして、スケールが１６ｘの特徴マップを取得するようにしてもよい。これにより、スケールアップ後のｍ＋１－ｋ個の特徴マップを取得することができる。
【0076】
１つの可能な実施形態では、ｋ＝１の場合、特徴最適化後の１番目の特徴マップよりも後のｍ個の特徴マップのスケールはいずれも特徴最適化後の１番目の特徴マップよりも小さく、後のｍ個の特徴マップのそれぞれに対してスケールアップ及びチャネル調整を行ってスケールアップ後のｍ個の特徴マップを取得するようにしてもよい。ｋ＝ｍ＋１の場合、特徴最適化後のｍ＋１番目の特徴マップよりも前のｍ個の特徴マップのスケールはいずれも特徴最適化後のｍ＋１番目の特徴マップよりも大きく、前のｍ個の特徴マップのそれぞれをスケールダウンしてスケールダウン後の前のｍ個の特徴マップを取得するようにしてもよい。
【0077】
１つの可能な実施形態では、ｋ番目の融合サブネットワークはスケール調整後のｍ＋１個の特徴マップを融合させるようにしてもよい。１＜ｋ＜ｍ＋１の場合、スケール調整後のｍ＋１個の特徴マップは、スケールダウン後のｋ－１個の特徴マップ、特徴最適化後のｋ番目の特徴マップ及び前記スケールアップ後のｍ＋１－ｋ個の特徴マップを含む。スケールダウン後のｋ－１個の特徴マップ、特徴最適化後のｋ番目の特徴マップ及び前記スケールアップ後のｍ＋１－ｋ個の特徴マップの三者を融合（加算）させて符号化後のｋ番目の特徴マップを取得するようにしてもよい。
【0078】
１つの可能な実施形態では、ｋ＝１の場合、スケール調整後のｍ＋１個の特徴マップは、特徴最適化後の１番目の特徴マップとスケールアップ後のｍ個の特徴マップを含む。特徴最適化後の１番目の特徴マップとスケールアップ後のｍ個の特徴マップの両者を融合（加算）させて符号化後の１番目の特徴マップを取得するようにしてもよい。
【0079】
１つの可能な実施形態では、ｋ＝ｍ＋１の場合、スケール調整後のｍ＋１個の特徴マップはスケールダウン後のｍ個の特徴マップと特徴最適化後のｍ＋１番目の特徴マップを含む。スケールダウン後のｍ個の特徴マップと特徴最適化後のｍ＋１番目の特徴マップの両者を融合（加算）させて符号化後のｍ＋１番目の特徴マップを取得するようにしてもよい。
【0080】
【0081】
図３Ａに示すように、ｋ＝１の場合、２番目と３番目の特徴マップのそれぞれに対してスケールアップ（アップサンプリング）及びチャネル調整（１×１畳み込み）を行って１番目の特徴マップのスケール及びチャネル数と同一の２つの特徴マップを取得して、さらに、この３個の特徴マップを加算して融合後の特徴マップを取得するようにしてもよい。
【0082】
図３Ｂに示すように、ｋ＝２の場合、１番目の特徴マップをスケールダウンし（畳み込みカーネルサイズが３×３、ストライドが２の畳み込み）、３番目の特徴マップに対してスケールアップ（アップサンプリング）及びチャネル調整（１×１畳み込み）を行って、２番目の特徴マップのスケール及びチャネル数と同一の２つの特徴マップを取得して、さらに、この３つの特徴マップを加算して融合後の特徴マップを取得するようにしてもよい。
【0083】
図３Ｃに示すように、ｋ＝３の場合、１番目と２番目の特徴マップをスケールダウンする（畳み込みカーネルサイズが３×３、ストライドが２の畳み込み）ようにしてもよい。１番目の特徴マップと３番目の特徴マップとのスケール差は４倍であるため、２回の畳み込み（畳み込みカーネルサイズは３×３、ストライドは２）を行ってもよい。スケールダウン後、３番目の特徴マップのスケール及びチャネル数と同一の２個の特徴マップを取得して、さらに、この３個の特徴マップを加算して融合後の特徴マップを取得するようにしてもよい。
【0084】
このような方法によれば、スケールの異なる複数の特徴マップ間のマルチスケール融合を実現でき、各スケールにおいてグローバル情報とローカル情報を融合させ、より有効なマルチスケール特徴を抽出する。
【0085】
１つの可能な実施形態では、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行い、前記処理対象となる画像の分類予測結果を取得することは、符号化後のｍ＋１個（ｍは正の整数）の特徴マップに対して融合及びスケールアップを行い、スケールアップ後のｍ個の特徴マップを取得することと、前記スケールアップ後のｍ個の特徴マップに対して特徴最適化及び融合を行い、前記処理対象となる画像の分類予測結果を取得することと、を含んでもよい。
【0086】
例えば、先に符号化後のｍ＋１個の特徴マップを融合させて、マルチスケール情報を融合させるとともに特徴マップの数を減らすようにしてもよい。符号化後のｍ＋１個の特徴マップのうちの前のｍ個の特徴マップに対応するｍ個の第１融合サブネットワークを設置してもよい。例えば、融合対象となる特徴マップは、スケールが４ｘ、８ｘ、１６ｘ及び３２ｘである４個の特徴マップを含めば、融合によってスケールが４ｘ、８ｘ及び１６ｘである３つの特徴マップを取得するように、３個の第１融合サブネットワークを設置してもよい。
【0087】
１つの可能な実施形態では、復号化ネットワークのｍ個の第１融合サブネットワークのネットワーク構造は符号化ネットワークの融合サブネットワークのネットワーク構造と類似してもよい。ｑ番目の第１融合サブネットワーク（１≦ｑ≦ｍ）については、ｑ番目の第１融合サブネットワークはまずｍ＋１個の特徴マップのスケールを復号化後のｑ番目の特徴マップのスケールに調整し、さらに、スケール調整後のｍ＋１個の特徴マップを融合させ、融合後のｑ番目の特徴マップを取得するようにしてもよい。これにより、融合後のｍ個の特徴マップを取得することができる。スケールの調整及び融合の具体的な過程については、ここで詳細な説明を省略する。
【0088】
１つの可能な実施形態では、復号化ネットワークの逆畳み込みサブネットワークによって融合後のｍ個の特徴マップをそれぞれスケールアップし、例えば、スケールが４ｘ、８ｘ及び１６ｘである３個の融合後の特徴マップを２ｘ、４ｘ及び８ｘの３個の特徴マップに拡大するようにしてもよい。拡大した結果、スケールアップ後のｍ個の特徴マップを取得する。
【0089】
１つの可能な実施形態では、スケールアップ後のｍ個の特徴マップを取得した後、ｍ個の第２融合サブネットワークによって当該ｍ個の特徴マップに対してそれぞれスケール調整及び融合を行い、融合したｍ個の特徴マップを取得するようにしてもよい。スケールの調整及び融合の具体的な過程については、ここで詳細な説明を省略する。
【0090】
１つの可能な実施形態では、復号化ネットワークの特徴最適化サブネットワークによって融合したｍ個の特徴マップをそれぞれ最適化してもよく、各特徴最適化サブネットワークはいずれも少なくとも１つの基本ブロックを含んでもよい。特徴最適化した結果、復号化されたｍ個の特徴マップを取得することができる。特徴最適化の具体的な過程については、ここで詳細な説明を省略する。
【0091】
１つの可能な実施形態では、スケールの異なるグローバル特徴とローカル特徴をさらに融合させるように、復号化ネットワークのマルチスケール融合及び特徴最適化の過程を複数回繰り返してもよい。本開示では、マルチスケール融合及び特徴最適化の回数については限定しない。
【0092】
１つの可能な実施形態では、スケールが処理対象となる画像と一致する対象物特徴マップを取得するように、復号化ネットワークの融合及びスケールアップの過程を複数回繰り返してもよい。さらに、対象物特徴マップを最適化し、前記処理対象となる画像の予測密度マップを取得するようにしてもよい。
【0093】
１つの可能な実施形態では、当該予測密度マップをそのまま処理対象となる画像の予測結果としてもよいし、当該予測密度マップをさらに処理（例えば、ｓｏｆｔｍａｘ層などによる処理）して処理対象となる画像の分類予測結果を取得してもよい。
【0094】
これにより、復号化ネットワークはスケールアップ過程においてグローバル情報とローカル情報を複数回融合させ、予測結果の品質を向上させる。
【0095】
１つの可能な実施形態では、本開示の実施例に係る画像処理方法は、処理対象となる画像に対して特徴抽出を行うための特徴抽出ネットワークと、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行うための符号化ネットワークと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行うための復号化ネットワークとを含むニューラルネットワークによって実現されてもよい。特徴抽出ネットワーク、符号化ネットワーク及び復号化ネットワークの処理手順について、既に説明したので、ここで詳細な説明を省略する。
【0096】
１つの可能な実施形態では、本開示のニューラルネットワークを適用する前に、当該ニューラルネットワークをトレーニングするようにしてもよい。本開示の実施例に係る画像処理方法は、複数のラベル付きのサンプル画像を含む予め設定されたトレーニング群に基づいて、前記ニューラルネットワークをトレーニングすることをさらに含む。
【0097】
例えば、複数のサンプル画像を予め設置してもよく、各サンプル画像は、例えば、サンプル画像における歩行者の位置、数などのラベル情報が付けられた。複数のラベル情報付きのサンプル画像でトレーニング群を構成して前記ニューラルネットワークをトレーニングするようにしてもよい。
【0098】
１つの可能な実施形態では、サンプル画像を特徴抽出ネットワークに入力し、特徴抽出ネットワーク、符号化ネットワーク及び復号化ネットワークの処理により、サンプル画像の予測結果を出力する。サンプル画像の予測結果とラベル情報に基づいてニューラルネットワークのネットワーク損失を決定する。ネットワーク損失に応じて、ニューラルネットワークのネットワークパラメータを調整する。予め設定されたトレーニング条件を満たしている場合、トレーニングされたニューラルネットワークを得るようにしてもよい。本開示では、具体的なトレーニング方法については限定しない。
【0099】
これにより、高精度のニューラルネットワークが得られる。
【0100】
本開示の実施例の正規化方法によれば、空間次元において特徴マップに対して領域分割を行い、各空間領域をそれぞれ正規化することにより、特徴マップの局所の差異性を保留し、完全な特徴マップを正規化する場合の統計誤差を減らすことができる。本開示の実施例によれば、トレーニング時に小さなバッチサイズを使用してもネットワークの性能を確保でき、トレーニング時に小さなバッチサイズしか使用できないタスク（例えば、人込み密度推定、セマンティックセグメンテーションなど）に適用し、例えば人込み密度推定タスクのトレーニング時に正規化層を使用しないことによる勾配消失／爆発などの問題を解消することができる。
【0101】
本開示の実施例の画像処理方法によれば、ストライドを持った畳み込み操作によりスケールが小さな特徴マップを取得し、ネットワーク構造において、グローバル情報とローカルとの融合を継続的に行ってより有効なマルチスケール情報を抽出し、かつ他のスケールの情報により現在のスケール情報の抽出を促進し、ネットワークのマルチスケールの対象物（例えば、歩行者）への識別のロバスト性を向上させることができる。復号化ネットワークにおいて特徴マップを拡大するとともに、マルチスケール情報の融合を行って、マルチスケール情報を保留し、生成された密度マップの品質を向上させ、モデル予測の正確率を向上させることができる。
【0102】
本開示の実施例の画像処理方法によれば、スマートビデオ解析や防犯監視などの応用場面に適用でき、場面内の対象物（例えば、歩行者、車両など）を識別し、場面内の対象物の数や分布状況などを予測して、現在の場面における人込みの動作を解析することができる。
【0103】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。また、当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの具体的な実行順序は、その機能と内部の可能な論理によって決定されることが理解される。
【0104】
また、本開示はさらに、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを提供する。これらはいずれも、本開示のいずれかの画像処理方法の実施に用いられることができる。かかる発明及び説明は、方法に関する説明のかかる記載を参照すればよく、詳細な説明を省略する。
【0105】
図４は本開示の実施例に係る画像処理装置のブロック図を示す。図４に示すように、前記画像処理装置は、処理対象となる画像に対して特徴抽出を行い、前記処理対象となる画像の第１特徴マップを取得するための特徴抽出モジュール４１と、前記第１特徴マップの次元及び各次元のサイズを含む前記第１特徴マップの次元情報及び予め設定された分割規則に基づいて、前記第１特徴マップを複数の第１サブ特徴マップに分割するための分割モジュール４２と、前記複数の第１サブ特徴マップをそれぞれ正規化処理し、複数の第２サブ特徴マップを取得するための正規化モジュール４３と、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得するためのつなぎ合わせモジュール４４と、を含む。
【0106】
１つの可能な実施形態では、前記分割モジュールは、前記第１特徴マップの空間次元のサイズ及び予め設定された分割規則に基づいて、空間次元において前記第１特徴マップを分割し、複数の第１サブ特徴マップを取得するための分割サブモジュールを含む。
【0107】
１つの可能な実施形態では、前記正規化モジュールは、チャネル次元において各第１サブ特徴マップをグループ化し、前記第１サブ特徴マップの各グループのチャネルをそれぞれ正規化処理して、前記第１サブ特徴マップの第２サブ特徴マップを取得するための正規化サブモジュールを含む。
【0108】
１つの可能な実施形態では、前記つなぎ合わせモジュールは、前記複数の第１サブ特徴マップの前記第１特徴マップにおける位置に応じて、前記複数の第２サブ特徴マップをつなぎ合わせて、前記処理対象となる画像の第２特徴マップを取得するためのつなぎ合わせサブモジュールを含む。
【0109】
１つの可能な実施形態では、前記分割規則は、特徴マップの分割対象となる次元、各分割対象となる次元の分割位置、各分割対象となる次元の分割数、各分割対象となる次元の分割サイズ、分割後のサブ特徴マップの数のうちの少なくとも１つを含む。
【0110】
１つの可能な実施形態では、前記装置は、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行い、各特徴マップのスケールが異なる符号化後の複数の特徴マップを取得するための符号化モジュールと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行い、前記処理対象となる画像の分類予測結果を取得するための復号化モジュールとをさらに含む。
【0111】
１つの可能な実施形態では、前記符号化モジュールは、ｍ個（ｍは正の整数）の第２特徴マップをスケールダウンし、スケールダウン後のｍ個の特徴マップを取得するための縮小サブモジュールと、前記スケールダウン後のｍ個の特徴マップに対して特徴融合を行い、スケールが前記スケールダウン後のｍ個の特徴マップのスケールと同じであるｍ＋１番目の特徴マップを取得するための第１融合サブモジュールと、前記ｍ個の第２特徴マップ及び前記ｍ＋１番目の特徴マップに対してそれぞれ特徴最適化及び融合を行い、符号化後のｍ＋１個の特徴マップを取得するための第２融合サブモジュールとを含む。
【0112】
１つの可能な実施形態では、前記復号化モジュールは、符号化後のｍ＋１個（ｍは正の整数）の特徴マップに対して融合及びスケールアップを行い、スケールアップ後のｍ個の特徴マップを取得するための拡大サブモジュールと、前記スケールアップ後のｍ個の特徴マップに対して特徴最適化及び融合を行い、前記処理対象となる画像の分類予測結果を取得するための第３融合サブモジュールとを含む。
【0113】
１つの可能な実施形態では、前記装置は、処理対象となる画像に対して特徴抽出を行うための特徴抽出ネットワークと、前記処理対象となる画像の少なくとも１つの第２特徴マップに対してスケールダウン及びマルチスケール融合を行うための符号化ネットワークと、前記符号化後の複数の特徴マップに対してスケールアップ及びマルチスケール融合を行うための復号化ネットワークとを含むニューラルネットワークによって実現される。
【0114】
１つの可能な実施形態では、前記装置は、複数のラベル付きのサンプル画像を含む予め設定されたトレーニング群に基づいて、前記ニューラルネットワークをトレーニングするトレーニングモジュールをさらに含む。
【0115】
いくつかの実施例において、本開示の実施例による装置の機能又は手段は、上記方法実施例に記載の方法を実行するために用いられる。具体的な実施は上記方法実施例の記載を参照すれば明らかになり、簡潔さのため、詳細な説明を省略する。
【0116】
本開示の実施例はさらに、コンピュータプログラム命令を記憶しているコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム命令は、プロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な不揮発性記憶媒体であってもよく、またはコンピュータ読み取り可能な揮発性記憶媒体であってもよい。
【0117】
本開示の実施例はさらに、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記方法を実行するように構成される電子機器を提供する。
【0118】
本開示の実施例はさらに、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードは、電子機器において実行されると、前記電子機器のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムを提供する。
【0119】
電子機器は、端末、サーバー又はその他の形態の機器として提供できる。
【0120】
図５は本開示の実施例に係る電子機器８００のブロック図を示す。電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
【0121】
図５参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【0122】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【0123】
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
【0124】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0125】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0126】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【0127】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【0128】
センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【0129】
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標／ＢＴ）技術および他の技術によって実現できる。
【0130】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【0131】
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されと、上記方法を実行させることができる。
【0132】
図６は本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバーとして提供されてもよい。図６を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【0133】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【0134】
例示的な実施例では、さらに、不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されと、上記方法を実行させることができる。
【0135】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令が有しているコンピュータ可読記憶媒体を含んでもよい。
【0136】
コンピュータ可読記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【0137】
ここで記述したコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。
【0138】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
【0139】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
【0140】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現ように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
【0141】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【0142】
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【0143】
論理に反することなく、本開示の異なる実施例を互いに組み合わせることができ、異なる実施例には重点を置いて説明したが、重点を置いて説明しなかった部分については、他の実施例の記載を参照すれば明らかである。
【0144】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【0145】
本願は２０１９年７月１８日に中国特許庁に出願された、出願番号が２０１９１０６５２０２５．２で、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その内容全体が援用により本開示に組み込まれる。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】