特許 7177878 画像処理方法、画像処理装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-15

(45)【発行日】2022-11-24

(54)【発明の名称】画像処理方法、画像処理装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221116BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 9

(21)【出願番号】P 2021049222

(22)【出願日】2021-03-23

(65)【公開番号】P2021103558

(43)【公開日】2021-07-15

【審査請求日】2021-03-23

(31)【優先権主張番号】202010309211.9

(32)【優先日】2020-04-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】リー， インイン

(72)【発明者】

【氏名】タン， シャオ

(72)【発明者】

【氏名】ジャン， ミンユェ

(72)【発明者】

【氏名】スン， ハオ

【審査官】山田 辰美

(56)【参考文献】

【文献】山内 良介 他，色彩と輪郭線ならびにＤＮＮ特徴量を組合せた特徴量による画家推定，第１１回データ工学と情報マネジメントに関するフォーラム （第１７回日本データベース学会年次大会） ［ｏｎｌｉｎｅ］，日本，2019年03月06日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するステップであって、前記Ｎ次元の特徴とは、分類対象の画像に対応する特徴マップの空間次元における空間的特徴を指すステップと、
融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するステップと、
前記Ｎ次元の特徴のうちの他の未融合特徴と前記Ｍ次元の融合特徴に基づいて画像処理を行うステップと、
を含み、
前記融合されたＭ次元の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するステップが、
前記Ｎ次元の特徴の次元数に基づいて、前記Ｎ次元の特徴から前記Ｍ個の特徴を選択するステップと、
融合されたＭ次元の融合特徴を取得するように前記Ｍ個の特徴をそれぞれ次元融合するステップと、
を含み、
前記融合されたＭ次元の融合特徴を取得するように前記Ｍ個の特徴をそれぞれ次元融合するステップが、
Ｍ次元の特徴を形成するように前記Ｍ個の特徴を変換するステップと、
前記Ｍ次元の融合特徴を取得するように前記Ｍ次元の特徴を畳み込むステップと、
を含む画像処理方法。

【請求項2】

前記Ｎ次元の特徴の次元数に基づいて、前記Ｎ次元の特徴から前記Ｍ個の特徴を選択するステップが、前記Ｎ次元の特徴のうちの第１の次元の範囲及び第２の次元の範囲から、前記Ｍ個の特徴をそれぞれ選択するステップであって、前記第２の次元の範囲が前記第１の次元の範囲よりも大きいステップを含む請求項１に記載の画像処理方法。

【請求項3】

前記Ｍ次元の融合特徴を取得するように前記Ｍ次元の特徴を畳み込むステップが、
前記Ｍ次元の特徴に対して、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、第１の畳み込み結果及び第２の畳み込み結果を形成するように、第１の畳み込み及び第２の畳み込みを行うステップＳ１と、
第ｉの融合結果（ｉ＝１）を生成するように、前記第１の畳み込み結果と前記第２の畳み込み結果を融合するステップＳ２と、
第ｉ＋２の畳み込み結果を形成するように、前記予め設定されたチャンネル及び前記予め設定された畳み込みカーネル値に従って前記第ｉの融合結果を畳み込むステップＳ３と、
第ｉ＋１の融合結果を生成するように、前記第１の畳み込み結果乃至前記第ｉ＋２の畳み込み結果を融合するステップＳ４と、
前記ｉが（前記予め設定された畳み込みカーネル値－２）よりも小さい場合、前記ｉをｉ＝ｉ＋１に更新し、ステップＳ３～Ｓ４に戻って実行するステップＳ５と、
前記ｉが（前記予め設定された畳み込みカーネル値－２）に等しい場合、前記第ｉ＋１の融合結果を前記Ｍ次元の融合特徴として決定するステップＳ６と、
を含む請求項１に記載の画像処理方法。

【請求項4】

Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するための特徴生成モジュールであって、前記Ｎ次元の特徴とは、分類対象の画像に対応する特徴マップの空間次元における空間的特徴を指す特徴生成モジュールと、
融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するための融合モジュールと、
前記Ｎ次元の特徴のうちの他の未融合特徴と前記Ｍ次元の融合特徴に基づいて画像処理を行うための処理モジュールと、
を備え、
前記融合モジュールが、
前記Ｎ次元の特徴の次元数に基づいて、前記Ｎ次元の特徴から前記Ｍ個の特徴を選択するための選択ユニットと、
融合されたＭ次元の融合特徴を取得するように、前記Ｍ個の特徴をそれぞれ次元融合するための融合ユニットと、
を備え、
前記融合ユニットが、
Ｍ次元の特徴を形成するように前記Ｍ個の特徴を変換するための変換サブユニットと、
前記Ｍ次元の融合特徴を取得するように前記Ｍ次元の特徴を畳み込むための処理サブユニットと、
を備える画像処理装置。

【請求項5】

前記選択ユニットが、前記Ｎ次元の特徴のうちの第１の次元の範囲及び第２の次元の範囲から、前記Ｍ個の特徴をそれぞれ選択し、前記第２の次元の範囲が前記第１の次元の範囲よりも大きい請求項４に記載の画像処理装置。

【請求項6】

前記処理サブユニットが、
前記Ｍ次元の特徴に対して、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、第１の畳み込み結果及び第２の畳み込み結果を形成するように、第１の畳み込み及び第２の畳み込みを行うステップＳ１と、
第ｉの融合結果（ｉ＝１）を生成するように、前記第１の畳み込み結果と前記第２の畳み込み結果を融合するステップＳ２と、
第ｉ＋２の畳み込み結果を形成するように、前記予め設定されたチャンネル及び前記予め設定された畳み込みカーネル値に従って前記第ｉの融合結果を畳み込むステップＳ３と、
第ｉ＋１の融合結果を生成するように、前記第１の畳み込み結果乃至前記第ｉ＋２の畳み込み結果を融合するステップＳ４と、
前記ｉが（前記予め設定された畳み込みカーネル値－２）よりも小さい場合、前記ｉをｉ＝ｉ＋１に更新し、ステップＳ３～Ｓ４に戻って実行するステップＳ５と、
前記ｉが（前記予め設定された畳み込みカーネル値－２）に等しい場合、前記第ｉ＋１の融合結果を前記Ｍ次元の融合特徴として決定するステップＳ６と、
を実行する請求項４に記載の画像処理装置。

【請求項7】

少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが請求項１から３のいずれか一項に記載の画像処理方法を実行するように、前記少なくとも１つのプロセッサによって実行される電子機器。

【請求項8】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令がコンピュータに請求項１から３のいずれか一項に記載の画像処理方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項9】

コンピュータに請求項１から３のいずれか一項に記載の画像処理方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願の実施例は、概して、画像処理技術の分野に関し、より具体的には、コンピュータビジョンの分野に関する。

【背景技術】

【0002】

現在、深層学習画像分類ネットワークは、既に成熟している。従来の画像分類ネットワークは、主に畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）に基づいて画像特徴を抽出し、抽出された画像特徴に基づいて学習を行う。

【0003】

しかしながら、画像特徴に基づく学習は、画像分類ネットワークに空間次元上の特徴を融合させるだけであるため、画像分類ネットワークの学習効果が低く、画像分類ネットワークの正確性の高くなく、従って画像処理の正確性が高くない。

【発明の概要】

【0004】

画像分類ネットワークの学習効果を高め、画像処理の正確性を向上させるための画像処理方法、画像処理装置、電子機器及び記憶媒体を提供する。

【0005】

第１の態様によれば、画像処理方法を提供し、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するステップと、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するステップと、前記Ｎ次元の特徴のうちの他の未融合特徴と前記Ｍ次元の融合特徴に基づいて画像処理を行うステップと、を含む。

【0006】

第２の態様によれば、画像処理装置を提供し、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するための特徴生成モジュールと、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するための融合モジュールと、前記Ｎ次元の特徴のうちの他の未融合特徴と前記Ｍ次元の融合特徴に基づいて画像処理を行うための処理モジュールと、を備える。

【0007】

第３の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されたメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが第１の態様に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0008】

本出願の第４の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記第１の態様に記載の方法を実行させる。
本出願の第５の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに上記第１の態様に記載の方法を実行させる。

【発明の効果】

【0009】

本出願にて提供される画像処理方法、画像処理装置、電子機器及び記憶媒体は、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、前記Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができ、従来技術において画像特徴に基づく学習は、画像分類ネットワークに空間次元上の特徴を融合させるだけで、画像分類ネットワークの学習効果が不良であり、画像分類ネットワークの正確性が高くなく、画像処理の正確性が高くないという技術的課題を解決する、という有益な効果を奏する。

【0010】

なお、このセクションに記載された内容は、本出願の実施例の主要な特徴又は重要な特徴を識別することを意図したものではなく、また、本出願の範囲を限定することを意図したものでもないことを理解されたい。本出願のその他の特徴は以下の明細書によって容易に理解される。

【図面の簡単な説明】

【0011】

図面は、本実施形態をより良く理解するために使用され、本出願の制限を構成するものではない。

【図1】本出願の第１の実施例に係る画像処理方法のフローチャートである。

【図2】本出願の第２の実施例に係る画像処理方法のフローチャートである。

【図3】本出願の第３の実施例に係る画像処理方法のフローチャートである。

【図4】本出願の第４の実施例に係る画像処理装置の構造概略図である。

【図5】本出願の第５の実施例に係る画像処理装置の構造概略図である。

【図6】本出願の第６の実施例に係る画像処理装置の構造概略図である。

【図7】本出願の実施例の画像処理方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0012】

本出願の例示的な実施例は、理解を容易にするために、本出願の実施例の様々な詳細を含む添付の図面と関連して以下に説明され、それらは単に例示的なものとみなされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができることを認識すべきである。また、以下の説明では、説明の明確化のため、周知の機能及び構成についての記載は省略する。

【0013】

本出願の画像処理方法、画像処理装置、電子機器及び記憶媒体を、図面を参照しながら以下に説明する。

【0014】

従来の深度学習画像分類ネットワークは、主にＣＮＮに基づいて画像特徴を抽出し、全結合層などのコンポーネントと組み合わせて、ｓｏｆｔｍａｘ多クラス分類器と多クラスの交差エントロピー損失関数を用いて学習を行い、画像を処理するためのネットワークモデルを取得する。

【0015】

しかし、既存のネットワーク構造設計のほとんどは、画像空間の特徴抽出及び融合に注目し、例えば、高解像度ネットワークＨＲＮｅｔは、空間解像度を保持する特徴融合スキームを提案し、ＥｆｆｉｃｉｅｎｔＮｅｔネットワークは、解像度の異なる画像に応じて異なるネットワーク深度と幅を設計して特徴抽出を行い、深度残差ネットワークＲｅｓＮｅｔは、ネットワークが特徴情報をより良く抽出するようにスキップ構造を提案し、深層集約ネットワークＤＬＡは、異なる畳み込みブロック、異なる深度間の特徴融合を実現するなどがある。上記ネットワーク構造設計の畳み込み操作は、いずれもネットワークが画像空間次元において特徴の抽出融合をより良く行い、異なる次元間の特徴の関係を無視するため、ネットワークの学習効果が不良であり、正確性が高くなく、画像処理の正確性が高くない。

【0016】

上記問題について、本出願は、画像処理方法を開示し、Ｎ次元の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、ＭはＮ以下の正の整数であり、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができる。

【0017】

図１は、本出願の第１の実施例に係る画像処理方法のフローチャートであり、この方法は、本出願により提供される画像処理装置で実行されてもよいし、サーバ、デスクトップ型コンピュータ、ラップトップ型コンピュータなどの端末機器などの電子機器で実行されてもよく、本出願はこれに限定されない。以下、本出願により提供される画像処理装置が本出願の画像処理方法を実行することを例に挙げて、本出願を説明する。

【0018】

図１に示すように、この画像処理方法は、ステップ１０１と、ステップ１０２と、ステップ１０３と、を含む。

【0019】

ステップ１０１において、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力する。

【0020】

本出願では、画像に含まれる物体の分類、検出、分割などの処理操作が必要な場合、分類対象の画像を対応する特徴抽出モデルに入力することができ、例えば、画像内の物体の分類が必要な場合、画像内の物体を分類するための特徴抽出モデルに分類対象の画像を入力して、画像分類処理を行うことができる。

【0021】

ここで、特徴抽出モデルは、ＨＲＮｅｔネットワーク、ＲｅｓＮｅｔネットワーク、ＥｆｆｉｃｉｅｎｔＮｅｔネットワークなど、任意の画像分類ネットワークであってもよい。

【0022】

通常、各種の画像分類ネットワークは、いずれも多層の畳み込み層を有し、特徴の抽出と融合を行うように、入力された画像に対して特徴マップ上で畳み込み操作を行うためであり、各畳み込み層の出力は、入力された画像の空間的特徴である。従って、本出願の実施例では、複数の空間的特徴を生成するように、分類対象の画像を画像分類ネットワークに入力することができ、生成された空間的特徴の個数は、例えば、Ｎと記すことができ、Ｎは正の整数である。すなわち、本出願では、Ｎ次元の特徴を生成するように、分類対象の画像を画像分類ネットワークに入力することができ、Ｎの個数は、画像分類ネットワークにおける畳み込み層の層数に関連し、このＮ次元の特徴とは、分類対象の画像に対応する特徴マップの空間次元における空間的特徴を指す。

【0023】

ステップ１０２において、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合する。

【0024】

本実施例では、分類対象の画像のＮ個の特徴を得た後、これらＮ個の特徴からＭ個の特徴を選択して次元融合を行うことで、Ｍ次元の融合特徴を取得することができ、ここで、ＭはＮ以下の正の整数である。Ｍ個の特徴を選択する際、Ｎ個の特徴からＭ個の特徴をランダムに選択してもよく、連続的なＭ個の特徴を選択してもよく、又は、上位畳み込み層から一部の特徴を選択し、下位畳み込み層から一部の特徴を選択して、合わせてＭ個の特徴を選択してもよく、本出願はＭ個の特徴の選択方式を限定しない。

【0025】

次元融合を行う際、Ｍ個の特徴の各々に対して次元融合を行い、具体的には、各特徴に対して、予め設定された畳み込みカーネルサイズと予め設定されたチャンネル数により、この特徴の次元空間上で複数回の畳み込み及び融合を行い、この特徴に対応する次元融合特徴を取得することができる。ここで、各特徴に対して畳み込み及び融合を行う回数は、畳み込みカーネルサイズに関連する。

【0026】

なお、Ｍ次元の融合特徴を取得するように、Ｍ個の特徴を次元融合する詳細な過程は、後の実施例で説明し、ここでは詳しい説明を省略する。

【0027】

ステップ１０３において、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行う。

【0028】

本実施例では、選択されたＭ個の特徴を次元融合して、対応するＭ次元の融合特徴を得た後、分類対象の画像に対する分類、検出などの処理操作を完了させるように、残りのＮ－Ｍ個の未融合特徴と融合して得たＭ次元の融合特徴に基づいて画像処理を行うことができる。

【0029】

本出願の実施例では、画像処理は、画像分類、画像分割又は画像検出などの画像処理操作のいずれかを含むが、これらに限定されない。すなわち、本出願にて提供される画像処理方法は、分類、分割、検出などの多様な画像処理タスクに適用可能であり、柔軟性が高く、適用範囲が広い。

【0030】

画像処理を画像分類とした例をあげてみると、Ｎ次元の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合された次元融合特徴を取得するようにＮ個の特徴の一部又は全部を次元融合し、Ｎ個の特徴のうちの残りの特徴と生成した次元融合特徴を用いて画像分類処理を行うことで、画像分類を完了させる。次元融合特徴は、特徴の次元空間を畳み込み融合して得られたもので、特徴の異なる次元空間間の関係を考慮し、特徴マップの画像空間上で特徴の抽出と融合を単に行うだけではないため、次元融合特徴と残りの未融合特徴を用いて画像分類を行うことで、画像特徴の学習能力と学習効果を向上させ、画像分類の正確度を向上させることができる。

【0031】

本実施例の画像処理方法は、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができる。

【0032】

以下、上記実施例において、融合されたＭ次元の融合特徴を取得するように、Ｎ次元の特徴のうちのＭ個の特徴を次元融合する具体的な実施過程をより明確に説明するために、図２を参照して詳細に説明する。

【0033】

図２は、本出願の第２の実施例に係る画像処理方法のフローチャートである。図２に示すように、図１に示す実施例を基に、ステップ１０２は、ステップ２０１と、ステップ２０２と、を含み取得する。

【0034】

ステップ２０１において、Ｎ次元の特徴の次元数に基づいて、Ｎ次元の特徴からＭ個の特徴を選択する。

【0035】

本実施例では、次元融合対象のＭ個の特徴を選択する際に、Ｎ次元の特徴の次元数に基づいて選択することができる。ここで、ここでいう次元数とは、Ｎ次元の特徴を出力する畳み込み層の層数をいう。

【0036】

例えば、特徴抽出モデルをＲｅｓＮｅｔネットワークとした例をあげてみると、ＲｅｓＮｅｔネットワークについて、ネットワーク全体がｃｏｎｖ１、ｃｏｎｖ２＿ｘ、ｃｏｎｖ３＿ｘ、ｃｏｎｖ４＿ｘ、ｃｏｎｖ５＿ｘ及びｆｃ層（分類用）を含み、このネットワークが５つの畳み込み層を含むとすると、ＲｅｓＮｅｔネットワークにより生成されたＮ次元の特徴の次元数は５となる。

【0037】

本実施例では、Ｎ次元の特徴の次元数に基づいてＭ個の特徴を選択する場合に、タスクの特徴とデータの相違に応じて、異なる方式で選択することができるが、本出願ではＭ個の特徴の選択方式を限定しない。

【0038】

可能な一実現形態として、Ｎ個の特徴の上位層から選択することができ、Ｎ個の特徴からＭ個の上位層の特徴を選択することができる。通常、下位層の特徴はより詳細な情報を学習し、上位層の特徴はより意味のある情報を学習し、画像分類タスクについて、画像がどのクラスに属するかを判断するのにより意味のある情報が必要となるため、画像処理が画像分類である場合、Ｍ個の上位層の特徴を選択して次元融合を行うことができる。ＲｅｓＮｅｔネットワークを例にとると、ｃｏｎｖ３＿ｘ、ｃｏｎｖ４＿ｘ及びｃｏｎｖ５＿ｘの３つの畳み込み層により出力された特徴を、最終的に選択するＭ個の特徴として選択して、Ｍ個の特徴を次元融合する際により多くの意味のある情報を学習することを保証することで、画像分類の正確性を向上させることができる。

【0039】

可能な他の実現形態として、Ｎ個の特徴は、Ｎ個の特徴の次元数に基づいて、第１の次元の範囲と、第１の次元の範囲よりも大きい第２の次元の範囲に分けられ、Ｎ次元の特徴のうちの第１の次元の範囲及び第２の次元の範囲から、Ｍ個の特徴をそれぞれ選択することができる。すなわち、本実施形態では、Ｎ個の特徴は、下位層の特徴範囲（すなわち、第１の次元の範囲）と上位層の特徴範囲（すなわち、第２の次元の範囲）に分けられ、下位層の特徴範囲と上位層の特徴範囲からそれぞれ選択し、合わせてＭ個の特徴を選択することができる。なお、ＲｅｓＮｅｔネットワークを例にとると、ｃｏｎｖ１とｃｏｎｖ２＿ｘにより出力された特徴が下位層の特徴範囲に対応し、ｃｏｎｖ３＿ｘ、ｃｏｎｖ４＿ｘ及びｃｏｎｖ５＿ｘにより出力された特徴が上位層の特徴範囲に対応すると仮定して、ｃｏｎｖ１、ｃｏｎｖ４＿ｘ及びｃｏｎｖ５＿ｘの３つの畳み込み層により出力された特徴を最終的に選択するＭ個の特徴として選択することができる。これにより、下位層の特徴と上位層の特徴の両方を選択することで、Ｍ個の特徴を次元融合する際に、上下層の情報を融合することを保証でき、細粒度識別タスクの完成を容易にし、画像詳細特徴識別の正確度を保証することができる。

【0040】

ステップ２０２において、融合されたＭ次元の融合特徴を取得するように、Ｍ個の特徴を次元融合する。

【0041】

本実施例では、Ｎ個の特徴からＭ個の特徴を抽出した後、対応するＭ次元の融合特徴を取得するように、Ｍ個の特徴をそれぞれ次元融合することができる。

【0042】

具体的には、まず、Ｍ次元の特徴を形成するように、Ｍ個の特徴を変換し、次にＭ次元の融合特徴を取得するように、Ｍ個の次元の特徴を畳み込むことで、Ｍ個の特徴の次元融合を完了させることができる。

【0043】

ここで、Ｍ個の特徴を変換することは、Ｍ個の特徴の各々について、特徴の特徴マップの次元数と、特徴マップのサイズを変換することであり、変換により得られた特徴を次元の特徴という。

【0044】

ＲｅｓＮｅｔ１０１ネットワークを例にとると、ｃｏｎｖ３＿ｘの特徴出力は（５１２，２８＊２８）、ｃｏｎｖ４＿ｘの特徴出力は（１０２４，１４＊１４）、ｃｏｎｖ５＿ｘの特徴出力は（２０４８，７＊７）であり、ここで、５１２、１０２４、２０４８によって示されたのは特徴マップの次元数であり、２８＊２８、１４＊１４、７＊７によって示されたのは特徴マップサイズである。次元融合のために選択されたＭ個の特徴が（５１２，２８＊２８）、（１０２４，１４＊１４）、及び（２０４８，７＊７）であると仮定すると、選択された各特徴を変換し、それぞれ（２８＊２８，５１２）、（１４＊１４，１０２４）、及び（７＊７，２０４８）の対応する次元の特徴が得られる。

【0045】

変換により、特徴マップ空間と次元空間を変換することが可能になり、その後、次元空間における畳み込み演算を行って、次元空間の特徴抽出と融合を実現するために基盤を築く。

【0046】

次に、Ｍ個の特徴を変換してＭ個の次元の特徴を形成した後、Ｍ次元の融合特徴を取得するようにＭ次元の特徴を畳み込むことができる。以下、図３を参照して、Ｍ次元の融合特徴を取得する具体的な手順について詳細に説明する。

【0047】

図３は、本出願の第３の実施例に係る画像処理方法のフローチャートである。図３に示すように、Ｍ次元の融合特徴を取得するようにＭ次元の特徴を畳み込むことは、以下のステップ３０１と、ステップ３０２と、ステップ３０３と、ステップ３０４と、ステップ３０５と、ステップ３０６と、を含み取得する。

【0048】

ステップ３０１において、Ｍ次元の特徴に対して、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、第１の畳み込み結果及び第２の畳み込み結果を形成するように、第１の畳み込み及び第２の畳み込みを行う。

【0049】

ここで、予め設定されたチャンネル及び予め設定された畳み込みカーネル値はタスクの要求に応じて設定することができ、チャンネルと畳み込みカーネル値の柔軟な設定を実現して、方法の柔軟性と適用性を向上させる。

【0050】

ステップ３０２において、第ｉの融合結果（ｉ＝１）を生成するように、第１の畳み込み結果と第２の畳み込み結果を融合する。

【0051】

ステップ３０３において、第ｉ＋２の畳み込み結果を形成するように、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って第ｉの融合結果を畳み込む。

【0052】

ステップ３０４において、第ｉ＋１の融合結果を生成するように、第１の畳み込み結果乃至第ｉ＋２の畳み込み結果を融合する。

【0053】

ステップ３０５において、ｉが（予め設定された畳み込みカーネル値－２）よりも小さい場合、ｉをｉ＝ｉ＋１に更新し、ステップ３０３～ステップ３０４に戻って実行する。

【0054】

ステップ３０６において、ｉが（予め設定された畳み込みカーネル値－２）に等しい場合、第ｉ＋１の融合結果をＭ次元の融合特徴として決定する。

【0055】

本実施例では、Ｍ次元の融合特徴を取得するようにＭ次元の特徴を畳み込む場合、畳み込み操作を行う回数と融合操作を行う回数は、予め設定された畳み込みカーネル値に関連し、より良い学習効果を取得するために、予め設定された畳み込みカーネル値は３以上に設定され、次元の融合特徴を生成する際に、畳み込み操作を行う回数は、予め設定された畳み込みカーネル値と同じであり、融合操作を行う回数は、（予め設定された畳み込みカーネル値－１）回である。

【0056】

（５，４＊４）畳み込みを例にとると、ここで、５はチャンネル、４＊４は畳み込みカーネルのサイズであり、Ｍ次元の特徴の各々に対して、次元の特徴（２８＊２８，５１２）を例にとると、まず、予め設定されたチャンネルと畳み込みカーネルに従って、それに対して第１回の畳み込みと第２回の畳み込みを行い、第１の畳み込み結果と第２の畳み込み結果を得て、いずれも（５，５１２）であり、得られた２つの畳み込み結果を融合し、第１の融合結果（１０，５１２）を得て、次に、予め設定されたチャンネル及び畳み込みカーネル値に従って、第１の融合結果を融合し、第３の畳み込み結果（５，５１２）を得て、３つの畳み込み結果を融合し、第２の融合結果（１５，５１２）を得て、このとき、ｉ＝１であり、ｉの値が（畳み込みカーネル値－２＝２）よりも小さい場合、ｉの値をｉ＝ｉ＋１＝２に更新し、第４の畳み込み結果を形成するように、予め設定されたチャンネル及び畳み込みカーネル値に従って、第２の融合結果を畳み込み、第４の畳み込み結果が（５，５１２）であり、第４の畳み込み結果を融合し、第３の融合結果（２０，５１２）を得て、この時、ｉ＝２であり、ｉの値が（畳み込みカーネル値－２）に等しい場合、第３の融合結果（２０，５１２）を、次元の特徴（２８＊２８，５１２）を次元融合した次元融合特徴として決定する。

【0057】

なお、予め設定された畳み込みカーネル値が３以上である場合、上記実施過程を使用してＭ次元の特徴に対応するＭ次元の融合特徴を取得することができ、予め設定された畳み込みカーネル値が１である場合、融合することなく、Ｍ次元の特徴に対して１回の畳み込みを行うだけで、得られた畳み込み結果は次元の融合特徴であり、予め設定された畳み込みカーネル値が２である場合、各次元の特徴について、次元の特徴に対して２回の畳み込みを行って２つの畳み込み結果を得て、さらに２つの畳み込み結果を融合して融合結果を得て、この融合結果が次元の特徴に対応する次元融合特徴である。

【0058】

予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、Ｍ次元の融合特徴を取得するように、Ｍ次元の特徴を畳み込むことで、次元の特徴を十分に抽出して融合し、次元間の関係を十分に学習し、画像処理効果を高めることに寄与する。

【0059】

本実施例に係る画像処理方法は、Ｎ次元の特徴の次元数に応じて、Ｎ次元の特徴からＭ個の特徴を選択し、融合されたＭ次元の融合特徴を取得するように、Ｍ個の特徴をそれぞれ次元融合することで、実際のタスクの要求に応じて、次元融合対象の特徴を選択することに寄与し、方法の柔軟性及び適応性を向上させ、次元の融合特徴を取得するように特徴を次元融合することで、異なる次元間の関係を十分に学習することに寄与し、学習効果及び画像処理の正確性を向上させる。

【0060】

実際の応用では、本出願で提供される画像処理方法をネットワークモデルの訓練に応用することができ、既存のネットワークモデルを基に、次元の特徴学習を追加して、モデルの学習能力を向上させ、モデル効果を向上させ、訓練されたモデルを利用して画像処理、例えば、画像分類、分割、検出などを行うことで、画像処理の正確度を向上させることができる。

【0061】

ＲｅｓＮｅｔ１０１ネットワークを例にとると、ｃｏｎｖ３＿ｘの特徴出力は（５１２、２８＊２８）、ｃｏｎｖ４＿ｘの特徴出力は（１０２４、１４＊１４）、ｃｏｎｖ５＿ｘの特徴出力は（２０４８、７＊７）であり、これら３つの特徴を次元融合し、ｃｏｎｖ３＿ｘを例にとると、（５１２、２８＊２８）を（２８＊２８，５１２）に変換し、（４、３＊３）畳み込みを例にとると、それぞれ２回の畳み込みを行って２つの（４，５１２）の特徴を得て、得られた２つの（４，５１２）を（８，５１２）として融合し、さらに（８，５１２、）に対して１回の畳み込みを行って（４，５１２）を得て、その後、３回の畳み込みを行って得られた（４，５１２）を融合して次元の融合特徴（１２，５１２）を取得する。以下、ｃｏｎｖ３＿ｘ、ｃｏｎｖ４＿ｘ、ｃｏｎｖ５＿ｘについて、それぞれ上記手順で説明した特徴抽出と融合を行い、対応する次元の融合特徴としてそれぞれ（１２，５１２）、（１２，１０２４）、（１２，２０４８）を得た。さらに、３つの層の抽出融合で得られた次元の融合特徴をそれぞれ全結合層に送り込み、損失関数と合わせてモデルを訓練し、複数回の反復を経て、訓練されたネットワークモデルを取得する。ここで、モデル訓練プロセスは、深層学習分野の従来技術であり、ここでは詳しく説明しない。なお、予測過程では、３回の出力を単純に統合してもよく、例えば、３回の出力を加算したり、重み付けをして加算したりして最終的な処理結果を取得するようにしてもよい。

【0062】

さらに、処理対象の画像を訓練されたモデルに入力すれば、正確な処理結果を取得することができる。訓練されたモデルは、画像空間特徴を抽出するだけでなく、特徴次元間の関係も十分に学習し、モデル学習効果が高いため、訓練されたモデルを用いて画像処理を行うことで、画像処理の正確率を向上させることができる。

【0063】

上記実施例を実現するために、本出願は、画像処理装置をさらに提供する。

【0064】

図４は、本出願の第４の実施例に係る画像処理装置の構造概略図である。図４に示すように、この画像処理装置４０は、特徴生成モジュール４１０と、融合モジュール４２０と、処理モジュール４３０と、を備える。

【0065】

特徴生成モジュール４１０は、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するために用いられる。

【0066】

融合モジュール４２０は、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合するために用いられる。

【0067】

処理モジュール４３０は、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うために用いられる。

【0068】

ここで、画像処理は、画像分類、画像分割又は画像検出などの画像処理操作のいずれかを含むが、これらに限定されない。

【0069】

本出願の実施例の可能な一実現形態では、図５に示すように、図４に示す実施例を基に、融合モジュール４２０は、選択ユニット４２１と、融合ユニット４２２と、を備える。

【0070】

可能な一実現形態としては、選択ユニット４２１は、具体的には、Ｎ次元の特徴のうちの第１の次元の範囲及び第２の次元の範囲から、Ｍ個の特徴をそれぞれ選択するために用いられ、第２の次元の範囲が第１の次元の範囲よりも大きい。

【0071】

第１の次元の範囲及び第２の次元の範囲から、Ｍ個の特徴を選択し、第２の次元の範囲が第１の次元の範囲よりも大きく、これにより、下位層の特徴と上位層の特徴の両方を選択することで、Ｍ個の特徴を次元融合する際に、上下層の情報を融合することを保証でき、細粒度識別タスクの完成を容易にし、画像詳細特徴識別の正確度を保証することができる。

【0072】

融合ユニット４２２は、融合されたＭ次元の融合特徴を取得するように、Ｍ個の特徴をそれぞれ次元融合するために用いられる。

【0073】

本出願の実施例の可能な一実現形態では、図６に示すように、図５に示す実施例を基に、融合ユニット４２２は、変換サブユニット４２２１と、処理サブユニット４２２２と、を備える。

【0074】

変換サブユニット４２２１は、Ｍ次元の特徴を形成するようにＭ個の特徴を変換するために用いられる。

【0075】

処理サブユニット４２２２は、Ｍ次元の融合特徴を取得するようにＭ次元の特徴を畳み込むために用いられる。

【0076】

本実施例では、処理サブユニット４２２２は、具体的には、以下のＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５及びＳ６を実行するために用いられる。

【0077】

Ｓ１において、Ｍ次元の特徴に対して、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、第１の畳み込み結果及び第２の畳み込み結果を形成するように、第１の畳み込み及び第２の畳み込みを行う。

【0078】

Ｓ２において、第ｉの融合結果（ｉ＝１）を生成するように、第１の畳み込み結果と第２の畳み込み結果を融合する。

【0079】

Ｓ３において、第ｉ＋２の畳み込み結果を形成するように、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って第ｉの融合結果を畳み込む。

【0080】

Ｓ４において、第ｉ＋１の融合結果を生成するように、第１の畳み込み結果乃至第ｉ＋２の畳み込み結果を融合する。

【0081】

Ｓ５において、ｉが（予め設定された畳み込みカーネル値－２）よりも小さい場合、ｉをｉ＝ｉ＋１に更新し、ステップＳ３～ステップＳ４に戻って実行する。

【0082】

Ｓ６において、ｉが（予め設定された畳み込みカーネル値－２）に等しい場合、第ｉ＋１の融合結果をＭ次元の融合特徴として決定する。

【0083】

なお、予め設定された畳み込みカーネル値が３以上である場合、処理サブユニット４２２２は、上記処理操作を実行して、Ｍ次元の特徴に対応するＭ次元の融合特徴を得てもよく、予め設定された畳み込みカーネル値が１である場合、処理サブユニット４２２２は、融合することなく、Ｍ次元の特徴に対して１回の畳み込みを行うだけで、得られた畳み込み結果は次元の融合特徴であり、予め設定された畳み込みカーネル値が２である場合、各次元の特徴について、処理サブユニット４２２２は、次元の特徴に対して２回の畳み込みを行って２つの畳み込み結果を得て、さらに、２つの畳み込み結果を融合して融合結果を得て、この融合結果は、すなわち、次元の特徴に対応する次元の融合特徴である。

【0084】

予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、Ｍ次元の融合特徴を取得するように、Ｍ次元の特徴を畳み込むことで、次元の特徴を十分に抽出して融合し、次元間の関係を十分に学習し、画像処理効果を高めることに寄与する。

【0085】

本実施例の画像処理装置は、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができる。

【0086】

本出願の実施例によれば、本出願は、電子機器、及びコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供する。
本出願の実施例によれば、本出願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本出願によって提供される画像処理方法を実行させる。

【0087】

図７に示すように、本出願の実施例の画像処理方法を実現するための電子機器のブロック図である。電子機器は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図される。電子機器は、さらに、例えば、携帯情報端末、携帯電話、スマートフォン、ウェアラブル機器、及び他の同様のコンピューティング装置などの様々な形態のモバイル装置を表すことができる。本明細書に示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は、単なる例であり、本明細書に記述及び／又は要求される本出願の実現を限定することを意図しない。

【0088】

図７に示すように、この電子機器は、１つ又は複数のプロセッサ７０１と、メモリ７０２と、高速インタフェースと低速インタフェースとを備える、各コンポーネントを接続するためのインタフェースとを備える。各コンポーネントは、異なるバスで接続され、共通のマザーボードに実装されてもよいし、又は必要に応じて他の方式で実装されてもよい。プロセッサは、電子機器内で実行される命令を処理することができ、前記命令は外部入力／出力装置（例えば、インタフェースに結合されたディスプレイ機器）にＧＵＩのグラフィック情報を表示させるようにメモリ内又はメモリ上に記憶された命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリと共に使用することができる。同様に、それぞれが必要な動作の一部（例えば、サーバアレイ、ブレードサーバ群、又はマルチプロセッサシステムとする）を提供する複数の電子機器を接続することができる。図７では、１つのプロセッサ７０１を例にする。

【0089】

メモリ７０２は、本出願にて提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、前記少なくとも１つのプロセッサが本出願にて提供される画像処理方法を実行するように、少なくとも１つのプロセッサによって実行可能な命令が記憶される。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、本出願にて提供される画像処理方法をコンピュータに実行させるために用いられるコンピュータ命令が記憶されている。

【0090】

メモリ７０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、例えば、本出願の実施例における画像処理方法に対応するプログラム命令／モジュール（例えば、図４に示される特徴生成モジュール４１０、融合モジュール４２０及び処理モジュール４３０）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、を記憶するために用いられる。プロセッサ７０１は、メモリ７０２に記憶された非一時的なソフトウェアプログラム、命令及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法の実施例における画像処理方法を実現する。

【0091】

メモリ７０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、画像処理方法を実行するための電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを備えることができ、非一時的なメモリをさらに備えることができ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的な固体記憶デバイスである。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔に配置されたメモリを選択的に備えることができ、これらの遠隔メモリは、ネットワークを介して画像処理方法を実行するための電子機器に接続することができる。上記ネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。

【0092】

画像処理方法を実行するための電子機器は、入力装置７０３と出力装置７０４とをさらに備えることができる。プロセッサ７０１、メモリ７０２、入力装置７０３、及び出力装置７０４は、バス又は他の方式で接続することができ、図７では、バスによる接続を例にする。

【0093】

入力装置７０３は、入力された数字又は文字情報を受信し、画像処理方法を実行するための電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又はそれ以上のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置７０４は、表示機器、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを備えることができる。この表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを備え得るが、これらに限定されない。いくつかの実施形態では、表示機器はタッチパネルであってもよい。

【0094】

本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行及び／又は解釈することができ、このプログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令をこの記憶システム、この少なくとも１つの入力装置、及びこの少なくとも１つの出力装置に伝送することができる。

【0095】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高度プロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語で実施される。本明細書で使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。

【0096】

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、このキーボード及びこのポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信することができる。

【0097】

ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、このグラフィカルユーザインタフェース又はこのウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

【0098】

コンピュータシステムは、クライアント及びサーバを備えることができる。クライアント及びサーバは、一般的に、互いに離れ、通常、通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。

【0099】

本出願の実施例の技術案によれば、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができる。

【0100】

なお、上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることが理解されるであろう。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。

【0101】

上記具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者であれば、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本出願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】