▶ ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-20
(54)【発明の名称】画像処理方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20220413BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2020568498
(86)(22)【出願日】2020-03-26
(85)【翻訳文提出日】2020-12-04
(86)【国際出願番号】 CN2020081376
(87)【国際公開番号】W WO2021155632
(87)【国際公開日】2021-08-12
(31)【優先権主張番号】202010078672.X
(32)【優先日】2020-02-03
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】520479331
【氏名又は名称】ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド
(74)【代理人】
【識別番号】110001416
【氏名又は名称】特許業務法人 信栄特許事務所
(72)【発明者】
【氏名】ソン， コアンルー
(72)【発明者】
【氏名】リウ， ユイ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096FA69
5L096GA34
5L096GA51
5L096HA08
5L096HA11
5L096JA11
5L096JA18
5L096KA04
5L096KA15
(57)【要約】
本開示は、被処理画像に対して特徴抽出を行って、前記被処理画像の第１の特徴マップを得ることと、前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定することと、前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定することと、を含む画像処理方法及び装置、電子機器並びに記憶媒体に関する。本開示の実施例は、高速且つ正確な目標キーポイント検出を実現することができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
被処理画像に対して特徴抽出を行って、前記被処理画像の第１の特徴マップを得ることと、前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定することと、
前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定することと、を含むことを特徴とする画像処理方法。
【請求項2】
前記被処理画像における各目標の前記目標キーポイント情報に対してそれぞれバウンディングボックス回帰を行って、前記各目標の第２の領域を決定することと、前記各目標の第２の領域に基づいて、前記被処理画像の目標認識結果を決定することと、を更に含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定することは、前記第１の特徴マップに対して中心点特徴抽出を行って、第２の特徴マップを得ることと、
前記第２の特徴マップの複数の特徴点から、特徴値が第１の閾値以上である特徴点を含む少なくとも１つの領域中心点を決定することと、
前記少なくとも１つの領域中心点のうちの各領域中心点に対応するチャンネル番号に基づいて、前記各領域中心点に対応する前記第１の領域のスケールを決定することと、
前記各領域中心点の位置、及び前記各領域中心点に対応する前記第１の領域のスケールに基づいて、各前記第１の領域をそれぞれ決定することと、を含むことを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定することは、前記第１の特徴マップに対してキーポイント特徴抽出を行って、第３の特徴マップを得ることと、
前記第３の特徴マップの、前記第１の領域に対応する特徴領域において、前記目標の複数のキーポイントを決定することと、
前記第３の特徴マップにおける前記複数のキーポイントの位置に基づいて、前記被処理画像の目標キーポイント情報を決定することと、を含むことを特徴とする請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記第３の特徴マップの、前記第１の領域に対応する特徴領域において、前記目標の複数のキーポイントを決定することは、前記特徴領域の各チャンネルに対してそれぞれキーポイント検出を行って、前記各チャンネルに対応するキーポイントを取得することを含むことを特徴とする請求項４に記載の方法。
【請求項6】
前記各目標の第２の領域に基づいて、前記被処理画像の目標認識結果を決定することは、前記第２の領域に対応する前記第１の領域の第１の信頼度スコア、及び前記第２の領域の全て又は一部の目標キーポイント情報の第２の信頼度スコアを決定することと、
前記第１の信頼度スコア及び前記第２の信頼度スコアに基づいて、前記第２の領域の第３の信頼度スコアを決定することと、
各第２の領域の第３の信頼度スコアに基づいて、第３の信頼度スコアが第２の閾値以上である前記第２の領域を含む被処理画像の目標認識結果を決定することと、を含むことを特徴とする請求項２に記載の方法。
【請求項7】
前記方法は、ニューラルネットワークによって実現されるものであり、複数のサンプル画像、前記複数のサンプル画像のラベリング領域情報及び前記複数のサンプル画像のラベリングキーポイント情報を含む予め設定されたトレーニングセットにより、前記ニューラルネットワークを訓練することを更に含むことを特徴とする請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記ニューラルネットワークは、特徴抽出ネットワーク、領域予測ネットワーク及びキーポイント検出ネットワークを含み、予め設定されたトレーニングセットにより、前記ニューラルネットワークを訓練することは、
前記特徴抽出ネットワークによってサンプル画像を処理して、第１のサンプル特徴マップを決定することと、
前記領域予測ネットワークによって前記第１のサンプル特徴マップを処理して、第２のサンプル特徴マップ及び前記第２のサンプル特徴マップにおける少なくとも１つのサンプル領域を決定することと、
前記キーポイント検出ネットワークによって前記第１のサンプル特徴マップを処理して、前記第２のサンプル特徴マップと同様な幅及び高さを有する第３のサンプル特徴マップを決定することと、
前記少なくとも１つのサンプル領域に基づいて、前記第３のサンプル特徴マップのサンプル領域のサンプルキーポイント情報を決定することと、
前記サンプル画像のラベリング領域情報に基づいて、前記サンプル画像の第１のラベリング特徴マップを決定し、前記第１のラベリング特徴マップのスケールが前記第２のサンプル特徴マップと同様であり、前記第１のラベリング特徴マップのチャンネル番号が前記ラベリング領域情報のスケールを表すことと、
前記第１のラベリング特徴マップと前記第２のサンプル特徴マップとの間の差に基づいて、前記領域予測ネットワークに対する前記サンプル画像の第１の損失を決定することと、
前記ラベリングキーポイント情報と前記サンプルキーポイント情報との間の差に基づいて、前記キーポイント検出ネットワークに対する前記サンプル画像の第２の損失を決定することと、
前記複数のサンプル画像の第１の損失と第２の損失に基づいて、前記ニューラルネットワークを訓練することと、を含むことを特徴とする請求項７に記載の方法。
【請求項9】
前記被処理画像における目標には、顔、人体及び手のいずれか1つを含むことを特徴とする請求項１～８のいずれか１項に記載の方法。
【請求項10】
被処理画像に対して特徴抽出を行って、前記被処理画像の第１の特徴マップを得るための特徴抽出モジュールと、前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定するための領域予測モジュールと、
前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定するためのキーポイント検出モジュールと、を含むことを特徴とする画像処理装置。
【請求項11】
プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されているコマンドを呼び出して、請求項１～９のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項12】
コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項１～９のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項13】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項１～９のいずれか１項に記載の方法を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
＜関連出願の相互参照＞
本願は、２０２０年２月３日に中国特許庁に提出された、出願番号が２０２０１００７８６７２．Ｘで、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その開示の全てが援用することによって本願に組み込まれる。
本開示は、コンピュータ技術の分野に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
本願は、２０２０年２月３日に中国特許庁に提出された、出願番号が２０２０１００７８６７２．Ｘで、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その開示の全てが援用することによって本願に組み込まれる。
本開示は、コンピュータ技術の分野に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0002】
コンピュータビジョン、目標認識等の分野では、画像における目標（例えば、顔）を検出することが一般である。
【発明の概要】
【0003】
本開示は、画像処理の技術的手段を提供する。
【0004】
本開示の一方面によれば、被処理画像に対して特徴抽出を行って、前記被処理画像の第１の特徴マップを得ることと、前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定することと、前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定することと、を含む画像処理方法を提供する。
【0005】
可能な一実施形態では、前記方法は、前記被処理画像における各目標の前記目標キーポイント情報に対してそれぞれバウンディングボックス回帰を行って、前記各目標の第２の領域を決定することと、前記各目標の第２の領域に基づいて、前記被処理画像の目標認識結果を決定することと、を更に含む。
【0006】
可能な一実施形態では、前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定することは、前記第１の特徴マップに対して中心点特徴抽出を行って、第２の特徴マップを得ることと、前記第２の特徴マップの複数の特徴点から、特徴値が第１の閾値以上である特徴点を含む少なくとも１つの領域中心点を決定することと、前記少なくとも１つの領域中心点のうちの各領域中心点に対応するチャンネル番号に基づいて、前記各領域中心点に対応する前記第１の領域のスケールを決定することと、前記各領域中心点の位置、及び前記各領域中心点に対応する前記第１の領域のスケールにより、各前記第１の領域をそれぞれ決定することと、を含む。
【0007】
可能な一実施形態では、前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定することは、前記第１の特徴マップに対してキーポイント特徴抽出を行って、第３の特徴マップを得ることと、前記第３の特徴マップの、前記第１の領域に対応する特徴領域において、前記目標の複数のキーポイントを決定することと、前記第３の特徴マップにおける前記複数のキーポイントの位置に基づいて、前記被処理画像の目標キーポイント情報を決定することと、を含む。
【0008】
可能な一実施形態では、前記第３の特徴マップの、前記第１の領域に対応する特徴領域において、前記目標の複数のキーポイントを決定することは、前記特徴領域の各チャンネルに対してそれぞれキーポイント検出を行って、前記各チャンネルに対応するキーポイントを取得することを含む。
【0009】
可能な一実施形態では、各目標の第２の領域に基づいて、前記被処理画像の目標認識結果を決定することは、前記第２の領域に対応する前記第１の領域の第１の信頼度スコア、及び前記第２の領域の全て又は一部の目標キーポイント情報の第２の信頼度スコアを決定することと、前記第１の信頼度スコア及び前記第２の信頼度スコアに基づいて、前記第２の領域の第３の信頼度スコアを決定することと、各第２の領域の第３の信頼度スコアに基づいて、第３の信頼度スコアが第２の閾値以上である前記第２の領域を含む被処理画像の目標認識結果を決定することと、を含む。
【0010】
可能な一実施形態では、前記方法は、ニューラルネットワークによって実現されるものであり、複数のサンプル画像、前記複数のサンプル画像のラベリング領域情報及び前記複数のサンプル画像のラベリングキーポイント情報を含む予め設定されたトレーニングセットにより、前記ニューラルネットワークを訓練することを更に含む。
【0011】
可能な一実施形態では、前記ニューラルネットワークは、特徴抽出ネットワーク、領域予測ネットワーク及びキーポイント検出ネットワークを含み、前記予め設定されたトレーニングセットにより、前記ニューラルネットワークを訓練することは、前記特徴抽出ネットワークによってサンプル画像を処理して、第１のサンプル特徴マップを決定することと、前記領域予測ネットワークによって前記第１のサンプル特徴マップを処理して、第２のサンプル特徴マップ及び前記第２のサンプル特徴マップにおける少なくとも１つのサンプル領域を決定することと、前記キーポイント検出ネットワークによって前記第１のサンプル特徴マップを処理して、前記第２のサンプル特徴マップと同様な幅及び高さを有する第３のサンプル特徴マップを決定することと、前記少なくとも１つのサンプル領域に基づいて、前記第３のサンプル特徴マップのサンプル領域のサンプルキーポイント情報を決定することと、前記サンプル画像のラベリング領域情報に基づいて、前記サンプル画像の第１のラベリング特徴マップを決定し、前記第１のラベリング特徴マップのスケールが前記第２のサンプル特徴マップと同様であり、前記第１のラベリング特徴マップのチャンネル番号が前記ラベリング領域情報のスケールを表すことと、前記第１のラベリング特徴マップと前記第２のサンプル特徴マップとの間の差に基づいて、前記領域予測ネットワークに対する前記サンプル画像の第１の損失を決定することと、前記ラベリングキーポイント情報と前記サンプルキーポイント情報との間の差に基づいて、前記キーポイント検出ネットワークに対する前記サンプル画像の第２の損失を決定することと、前記複数のサンプル画像の第１の損失と第２の損失に基づいて、前記ニューラルネットワークを訓練することと、を含む。
【0012】
可能な一実施形態では、前記被処理画像における目標には、顔、人体及び手のいずれか1つを含む。
【0013】
本開示の一方面によれば、被処理画像に対して特徴抽出を行って、前記被処理画像の第１の特徴マップを得るための特徴抽出モジュールと、前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定するための領域予測モジュールと、前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定するためのキーポイント検出モジュールと、を含む画像処理装置を提供する。
【0014】
可能な一実施形態では、前記装置は、前記被処理画像における各目標の前記目標キーポイント情報に対してそれぞれバウンディングボックス回帰を行って、前記各目標の第２の領域を決定するためのバウンディングボックス回帰モジュールと、前記各目標の第２の領域に基づいて、前記被処理画像の目標認識結果を決定するための結果決定モジュールと、を更に含む。
【0015】
可能な一実施形態では、前記領域予測モジュールは、前記第１の特徴マップに対して中心点特徴抽出を行って、第２の特徴マップを得るための中心点特徴抽出サブモジュールと、前記第２の特徴マップの複数の特徴点から、特徴値が第１の閾値以上である特徴点を含む少なくとも１つの領域中心点を決定するための中心点決定サブモジュールと、前記少なくとも１つの領域中心点のうちの各領域中心点に対応するチャンネル番号に基づいて、前記各領域中心点に対応する前記第１の領域のスケールを決定するためのスケール決定サブモジュールと、前記各領域中心点の位置、及び前記各領域中心点に対応する前記第１の領域のスケールにより、各前記第１の領域をそれぞれ決定するための領域決定サブモジュールと、を含む。
【0016】
可能な一実施形態では、前記キーポイント検出モジュールは、前記第１の特徴マップに対してキーポイント特徴抽出を行って、第３の特徴マップを得るためのキーポイント特徴抽出サブモジュールと、前記第３の特徴マップの、前記第１の領域に対応する特徴領域において、前記目標の複数のキーポイントを決定するためのキーポイント決定サブモジュールと、前記第３の特徴マップにおける前記複数のキーポイントの位置に基づいて、前記被処理画像の目標キーポイント情報を決定するためのキーポイント情報決定サブモジュールと、を含む。
【0017】
可能な一実施形態では、前記キーポイント決定サブモジュールは、前記特徴領域の各チャンネルに対してそれぞれキーポイント検出を行って、前記各チャンネルに対応するキーポイントを取得することに用いられる。
【0018】
可能な一実施形態では、前記結果決定モジュールは、前記第２の領域に対応する前記第１の領域の第１の信頼度スコア、及び前記第２の領域の全て又は一部の目標キーポイント情報の第２の信頼度スコアを決定するための第１のスコア決定サブモジュールと、前記第１の信頼度スコア及び前記第２の信頼度スコアに基づいて、前記第２の領域の第３の信頼度スコアを決定するための第２のスコア決定サブモジュールと、各第２の領域の第３の信頼度スコアに基づいて、第３の信頼度スコアが第２の閾値以上である前記第２の領域を含む被処理画像の目標認識結果を決定するための結果決定サブモジュールと、を含む。
【0019】
可能な一実施形態では、前記装置は、ニューラルネットワークによって実現され、複数のサンプル画像、前記複数のサンプル画像のラベリング領域情報及び前記複数のサンプル画像のラベリングキーポイント情報を含む予め設定されたトレーニングセットにより、前記ニューラルネットワークを訓練するための訓練モジュールを更に含む。
【0020】
可能な一実施形態では、前記ニューラルネットワークは、特徴抽出ネットワーク、領域予測ネットワーク及びキーポイント検出ネットワークを含み、前記訓練モジュールは、前記特徴抽出ネットワークによってサンプル画像を処理して、第１のサンプル特徴マップを決定することと、前記領域予測ネットワークによって前記第１のサンプル特徴マップを処理して、第２のサンプル特徴マップ及び前記第２のサンプル特徴マップにおける少なくとも１つのサンプル領域を決定することと、前記キーポイント検出ネットワークによって前記第１のサンプル特徴マップを処理して、前記第２のサンプル特徴マップと同様な幅及び高さを有する第３のサンプル特徴マップを決定することと、前記少なくとも１つのサンプル領域に基づいて、前記第３のサンプル特徴マップのサンプル領域のサンプルキーポイント情報を決定することと、前記サンプル画像のラベリング領域情報に基づいて、前記サンプル画像の第１のラベリング特徴マップを決定し、前記第１のラベリング特徴マップのスケールが前記第２のサンプル特徴マップと同様であり、前記第１のラベリング特徴マップのチャンネル番号が前記ラベリング領域情報のスケールを表すことと、前記第１のラベリング特徴マップと前記第２のサンプル特徴マップとの間の差に基づいて、前記領域予測ネットワークに対する前記サンプル画像の第１の損失を決定することと、前記ラベリングキーポイント情報と前記サンプルキーポイント情報との間の差に基づいて、前記キーポイント検出ネットワークに対する前記サンプル画像の第２の損失を決定するステップと、前記複数のサンプル画像の第１の損失と第２の損失に基づいて、前記ニューラルネットワークを訓練することとに用いられる。
【0021】
可能な一実施形態では、前記被処理画像における目標には、顔、人体及び手のいずれか1つを含む。
【0022】
本開示の一方面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されているコマンドを呼び出して上記方法を実行するように構成される電子機器を提供する。
【0023】
本開示の一方面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると上記方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。
【0024】
本開示の一方面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記方法を実行させるコンピュータプログラムを提供する。
【0025】
本開示の実施例では、被処理画像の特徴マップを取得し、特徴マップにおける目標の所在する領域を予測し、更に目標の所在する領域においてキーポイントを検出し、画像の目標キーポイント情報を決定することができることによって、検出速度と検出効果を高め、高速且つ正確な目標キーポイント検出を実現している。
【0026】
以上の一般的説明と以下の詳細な説明は、例示的および解釈的なものに過ぎず、本開示を限定するものではないと理解すべきである。本開示の他の特徴および方面は、以下の図面を参照して行う例示的な実施例に対する詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【0027】
ここで、明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的手段を説明するために用いられる。
【図1】本開示の実施例に係る画像処理方法のフローチャートを示す。
【図2】本開示の実施例に係る特徴抽出ネットワークの模式図を示す。
【図3】本開示の実施例に係る画像処理プロセスの模式図を示す。
【図4】本開示の実施例に係る画像処理装置のブロック図を示す。
【図5】本開示の実施例に係る電子機器のブロック図を示す。
【図6】本開示の実施例に係る電子機器のブロック図を示す。
【発明を実施するための形態】
【0028】
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および方面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【0029】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【0030】
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
【0031】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
【0032】
図１は本開示の実施例に係る画像処理方法のフローチャートを示す。図１に示すように、前記方法は、被処理画像に対して特徴抽出を行って、前記被処理画像の第１の特徴マップを得るステップＳ１１と、前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定するステップＳ１２と、前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定するステップＳ１３と、を含む。
【0033】
可能な一実現形態では、前記画像処理方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレスフォン電話機、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルドデバイス、計算装置、車載装置、ウェアラブル装置等の端末装置、又はサーバ等の電子機器によって実行されてよく、前記方法はプロセッサによってメモリに記憶されたコンピュータ読み取り可能なコマンドを呼び出す形態で実現されてよい。又は、サーバによって前記方法を実行してもよい。
【0034】
例を挙げると、顔認証によるロック解除、セキュリティ監視及びアクセスコントローラ等の応用シーンでは、被処理画像における目標を検出することが必要となる。被処理画像は、画像取得装置（例えば、カメラ）等によって取得された画像であってもよい。被処理画像には認識される目標が存在する可能性があり、当該目標が、例えば顔、人体及び手のいずれか１つを含んでもよい。本開示では、応用シーンの種類、被処理画像の取得形態及び目標の種類のいずれも限定されない。
【0035】
可能な一実現形態では、ステップＳ１１において軽量級の検出器によって被処理画像に対して特徴抽出を行って、被処理画像の第１の特徴マップを得ることによって、画像のスケールを低くすることができる。この検出器は、例えば、畳み込みニューラルネットワークであってもよく、本開示では限定されない。
【0036】
可能な一実現形態では、ステップＳ１２において第１の特徴マップに対して目標領域予測を行って、第１の特徴マップにおける目標が存在可能な領域位置及び当該領域のスケールを予測し、スケール領域提案枠、即ち、目標の所在する第１の領域を与えてよい。
【0037】
可能な一実現形態では、第１の領域が得られた後、ステップＳ１３において、第１の特徴マップに対して第１の領域に基づくキーポイント検出を行って、各第１の領域における目標キーポイントの位置を検出するようにしてよい。例えば、目標が顔である時に、顔の目、鼻、口等のキーポイントの位置を取得して、被処理画像の目標キーポイント情報を決定する。
【0038】
本開示の実施例によれば、画像の特徴マップを取得し、特徴マップにおける目標の所在する領域を予測し、領域提案枠を与え、更に領域提案枠でキーポイントを検出し、画像の目標キーポイント情報を決定することができることによって、検出速度や検出効果を高め、高速且つ正確な目標キーポイント検出を実現している。
【0039】
可能な一実現形態では、軽量級の検出器（特徴抽出ネットワークと呼ばれてよい）によって被処理画像に対して特徴抽出を行ってよい。この特徴抽出ネットワークは畳み込みニューラルネットワーク（ＣｏｎｖＮｅｔと略称する）であってよい。
【0040】
図２は本開示の実施例に係る特徴抽出ネットワークの模式図を示す。図２に示すように、この特徴抽出ネットワークは、複数の畳み込み層、プーリング層、アップサンプリング層、全結合層等を含む。画像（即ち、被処理画像）に対して畳み込み（ｃｏｎｖ）操作（畳み込みカーネルのサイズが３×３、チャンネル数が６４、サンプリング倍数が１／２（即ち、ダウンサンプリング倍数が２倍））を行って第１の操作結果（未図示）を得、第１の操作結果に対してプーリング（Ｐｏｏｌ）操作（サイズが２×２、サンプリング倍数が１／２）、複数回の畳み込み操作（畳み込みカーネルのサイズが３×３、チャンネル数が６４）及び特徴融合（即ち、重畳）を行って第２の操作結果（未図示）を得、第２の操作結果に対して複数回の畳み込み操作（畳み込みカーネルのサイズが３×３、チャンネル数が１２８、サンプリング倍数が１／２又は１）及び特徴融合を行って第３の操作結果（未図示）を得、第３の操作結果に対して２倍のアップサンプリングを行った後、第２の操作結果との結合（Ｃが全結合操作を示す）、畳み込み（畳み込みカーネルのサイズが３×３、チャンネル数が６４）、２倍のアップサンプリング、第１の操作結果との結合、畳み込み（畳み込みカーネルのサイズが３×３、チャンネル数が１２８）を行った後、最終的な特徴マップ（即ち、被処理画像の第１の特徴マップ）を得るようにしてよい。
【0041】
可能な一実現形態では、特徴抽出ネットワークに入力される被処理画像のスケールが２５６×２５６であってよく、取得された画像を前処理することによってこのスケールの被処理画像を得てよい。特徴抽出ネットワーク全体のダウンサンプリング倍数が２倍であり、このようにして、特徴抽出ネットワークによる処理後、スケールが１２８×１２８である第１の特徴マップが得られる。この軽量級の特徴抽出ネットワークによって、被処理画像の特徴を高速に抽出し、低いスケールの第１の特徴マップを得、後続の処理における基礎を提供することができる。
【0042】
可能な一実現形態では、ステップＳ１２において第１の特徴マップに対して目標領域予測を行ってよい。ここで、ステップＳ１２は、前記第１の特徴マップに対して中心点特徴抽出を行って、第２の特徴マップを得ることと、前記第２の特徴マップの複数の特徴点から、特徴値が第１の閾値以上である特徴点を含む少なくとも１つの領域中心点を決定することと、前記少なくとも１つの領域中心点のうちの各領域中心点に対応するチャンネル番号に基づいて、前記各領域中心点に対応する前記第１の領域のスケールを決定することと、前記各領域中心点の位置、及び前記各領域中心点に対応する前記第１の領域のスケールに基づいて、各前記第１の領域をそれぞれ決定することと、を含んでよい。
【0043】
例を挙げると、畳み込みニューラルネットワークによって第１の特徴マップの中心点特徴を抽出して第２の特徴マップ（細粒度スケール推定特徴マップと呼んでもよい）が得られ、この第２の特徴マップのスケールがＨ×Ｗ×Ｇであり、Ｈ、Ｗ、Ｇがそれぞれ第２の特徴マップの高さ、幅及びチャンネル数であり、チャンネル数Ｇが例えば６０である。第２の特徴マップには複数の特徴点を含み、いずれか１つの特徴点の特徴値はこの特徴点が目標所在領域の領域中心点となる確率又は信頼度を表してよく、この特徴点の所在するチャンネル番号はこの特徴点が領域中心点である時の対応領域のスケール（高さと幅）を表してよい。
【0044】
可能な一実現形態では、第１の閾値を予め設定し、特徴値が第１の閾値以上である特徴点を目標所在領域の領域中心点として決定するようにしてよい。このようにして、第２の特徴マップの複数の特徴点から１つ又は複数の領域中心点を決定してよい。本開示では、第１の閾値の具体的な値が制限されない。
【0045】
可能な一実現形態では、第２の特徴マップにおける領域中心点が決定された後、１つ又は複数の領域中心点のうちの各領域中心点に対応するチャンネル番号に基づいて、各領域中心点に対応する第１の領域のスケールを決定し、更に各領域中心点の位置、及び各領域中心点に対応する第１の領域のスケールに基づいて、各第１の領域をそれぞれ決定し、即ち、１つ又は複数の領域提案枠を推定するようにしてよい。
【0046】
例えば、ある領域中心点Ａの第２の特徴マップにおける座標が（｜ｘｖ／Ｎｓ｜，｜ｙｖ／Ｎｓ｜，ｂｖ）であり、Ｎｓが第１の特徴マップに対する第２の特徴マップのダウンサンプリング倍数を表し、ｂｖがチャンネル番号を表すと、領域中心点Ａの第１の特徴マップにおける位置が（ｘｖ，ｙｖ）であり、領域中心点Ａに対応する第１の領域の高さ及び幅がいずれもチャンネル番号ｂｖに対応するスケールｓｖであり、領域中心点Ａに対応する第１の領域を［ｘｖ，ｙｖ，ｓｖ，ｓｖ］で表してよい。チャンネル番号とスケールとの対応関係を実際の状況に応じて設定することができ、本開示で制限されないことが当業者に理解されるべきである。
【0047】
このような形態によれば、画像における目標が存在可能な位置及びスケールを予測し、目標所在領域の領域提案枠を得ることができることによって、後続の処理でキーポイント検出を行って、検出効果を高める。
【0048】
可能な一実現形態では、第１の領域が得られた後、Ｓ１３において前記第１の特徴マップに対してキーポイント検出を行ってよい。ここで、ステップＳ１３は、前記第１の特徴マップに対してキーポイント特徴抽出を行って、第３の特徴マップを得ることと、前記第３の特徴マップの、前記第１の領域に対応する特徴領域において、前記目標の複数のキーポイントを決定することと、前記第３の特徴マップにおける前記複数のキーポイントの位置に基づいて、前記被処理画像の目標キーポイント情報を決定することと、を含んでよい。
【0049】
例を挙げると、畳み込みニューラルネットワークによって第１の特徴マップのキーポイント特徴を抽出し、第３の特徴マップ（キーポイント応答特徴マップと呼ばれてもよい）を得ることができ、この第３の特徴マップのスケールがＨ×Ｗ×Ｋであり、Ｈ、Ｗ、Ｋがそれぞれ第３の特徴マップの高さ、幅及びチャンネル数である。ここで、第３の特徴マップの高さ及び幅が第２の特徴マップの高さ及び幅と同様であり、チャンネル数Ｋが各目標のキーポイント数量を表すためのものであり、チャンネル数Ｋが例えば５である。本開示ではチャンネル数Ｋの具体的な値が制限されない。
【0050】
可能な一実現形態では、上記ステップにおいて決定された第１の領域（即ち、領域提案枠）により、第１の領域に対応する特徴領域における目標の複数のキーポイントを決定してよい。例えば、目標が顔である時に、目、鼻、口元等の対応キーポイントを決定することができる。
【0051】
可能な一実現形態では、前記第３の特徴マップの、前記第１の領域に対応する特徴領域において、前記目標の複数のキーポイントを決定することは、前記特徴領域の各チャンネルに対してそれぞれキーポイント検出を行って、前記各チャンネルに対応するキーポイントを取得することを含む。
【0052】
例を挙げると、いずれか１つの特徴領域Ｒ［ｘ１，ｙ１，ｘ２，ｙ２］については、（ｘ１，ｙ１）と（ｘ２，ｙ２）がそれぞれ領域Ｒの左上頂点と右下頂点の座標を表し、先に第３の特徴マップに対して正規化を行ってよい（例えば、ｓｏｆｔｍａｘ関数によって正規化する）。特徴領域Ｒにおけるいずれか１つの特徴点ｈi,j,cについては、その正規化後の特徴値は、
で表れる。式（１）において、ｉ、ｊがそれぞれ特徴点の横座標と縦座標を表し、ｃが特徴点のチャンネル番号を表し、１≦ｃ≦Ｋであり、ｈｍ,ｎ,c がｈi,j,c と同じチャンネルにある任意の特徴点を表し、ｘ１≦ｍ≦ｘ２、ｙ１≦ｎ≦ｙ２である。
【数1】
で表れる。式（１）において、ｉ、ｊがそれぞれ特徴点の横座標と縦座標を表し、ｃが特徴点のチャンネル番号を表し、１≦ｃ≦Ｋであり、ｈｍ,ｎ,c がｈi,j,c と同じチャンネルにある任意の特徴点を表し、ｘ１≦ｍ≦ｘ２、ｙ１≦ｎ≦ｙ２である。
【0053】
特徴領域Ｒにおける各特徴点の特徴値が得られた後、この領域のチャンネルｃでのキーポイント横縦座標Ｐｃ＝（Ψｃ，ｘ， Ψｃ，ｙ）を計算してよい。
式（２）において、ｗ１、ｈ１がそれぞれ特徴領域Ｒの幅と高さを表し、関数については、
０≦ｐ≦ｑの場合にｐを戻り値とし、そうでないと０を戻り値とする。
【数2】
式（２）において、ｗ１、ｈ１がそれぞれ特徴領域Ｒの幅と高さを表し、関数については、
【数3】
０≦ｐ≦ｑの場合にｐを戻り値とし、そうでないと０を戻り値とする。
【0054】
式（１）と（２）の処理過程はｓｏｆｔ－ａｒｇｍａｘ操作と呼ばれてよく、即ち、指数正規化関数ｓｏｆｔｍａｘと組み合わせてａｒｇｍａｘ（パラメータ最大値のインデックスを探す）の目的を達成すると共に、過程を微分可能にする。
【0055】
このように、特徴領域ＲのＫ個のチャンネルに対してそれぞれ計算して、特徴領域ＲのＫ個のチャンネルでのＫ個の特徴点を得ることができ、更に、第３の特徴マップにおける全ての特徴領域を処理して各特徴領域におけるＫ個の特徴点を得ることができる。第３の特徴マップの各特徴領域におけるＫ個の特徴点の位置及び第３の特徴マップと被処理画像との対応関係に基づいて、被処理画像の目標キーポイント情報を決定できる。
【0056】
このような形態によれば、領域提案枠及びキーポイント応答特徴マップにより、スケール適応ｓｏｆｔ－ａｒｇｍａｘ操作と組み合わせて目標のキーポイントを生成し、キーポイント検出の効果を高めることができ、キーポイント数量に制限されない。
【0057】
可能な一実現形態では、前記方法は、前記被処理画像における各目標の前記目標キーポイント情報に対してそれぞれバウンディングボックス回帰を行って、前記各目標の第２の領域を決定することと、前記各目標の第２の領域に基づいて、前記被処理画像の目標認識結果を決定することと、を更に含む。
【0058】
例を挙げると、ステップＳ１３において目標キーポイントが得られた後、各目標の目標キーポイント情報に対してそれぞれバウンディングボックス回帰を行って、目標の所在する第２の領域を得ることができ、領域の範囲がより正確となるようにする。
【0059】
可能な一実現形態では、先に複数の画像（例えば、トレーニングセットの複数のサンプル画像）の平均目標キーポイント座標
を統計してよい。
式（３）において、Ｎが統計される画像におけるラベリングボックスの数を表し、例えばＮ＝１００００であり、
が任意の１つのラベリングボックスの目標キーポイント座標を表してよく、ｗｌとｈｌが対応する顔ラベリングボックスの幅と高さを表し、１≦ｌ≦Ｎである。データセットの顔キーポイント情報については、各キーポイントに対応する平均点座標
を求めてよく、ここで、１≦ｋ≦Ｋであり、Ｋがキーポイント数である。これによって、検出して得られた１組の目標キーポイントと対応の変換行列Ｔについては、
となってもよい。式（４）において
が任意の３つのキーポイントに対応する平均点座標を表し、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）が１組の目標キーポイントのうちの対応する３つの目標キーポイントを表す。式（４）によれば、この組の目標キーポイントに対応する変換行列Ｔを算出できる。この組の目標キーポイントに対応するバウンディングボックスの左上頂点と右下頂点の座標をそれぞれ（ｘ３，ｙ３）と（ｘ４，ｙ４）とすれば、
となる。式（５）によれば、この組の目標キーポイントに対応するバウンディングボックスの左上頂点と右下頂点の座標（ｘ３，ｙ３）と（ｘ４，ｙ４）を算出でき、即ち、バウンディングボックス回帰によって、目標の所在する第２の領域が得られる。これによって、被処理画像における各目標の目標キーポイントに対してそれぞれバウンディングボックス回帰処理を行って、各目標の第２の領域を決定することができ、更に各目標の第２の領域に基づいて、被処理画像の目標認識結果を決定することができる。
【数4】
を統計してよい。
【数5】
式（３）において、Ｎが統計される画像におけるラベリングボックスの数を表し、例えばＮ＝１００００であり、
【数6】
が任意の１つのラベリングボックスの目標キーポイント座標を表してよく、ｗｌとｈｌが対応する顔ラベリングボックスの幅と高さを表し、１≦ｌ≦Ｎである。データセットの顔キーポイント情報については、各キーポイントに対応する平均点座標
【数7】
を求めてよく、ここで、１≦ｋ≦Ｋであり、Ｋがキーポイント数である。これによって、検出して得られた１組の目標キーポイントと対応の変換行列Ｔについては、
【数8】
となってもよい。式（４）において
【数9】
が任意の３つのキーポイントに対応する平均点座標を表し、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）が１組の目標キーポイントのうちの対応する３つの目標キーポイントを表す。式（４）によれば、この組の目標キーポイントに対応する変換行列Ｔを算出できる。この組の目標キーポイントに対応するバウンディングボックスの左上頂点と右下頂点の座標をそれぞれ（ｘ３，ｙ３）と（ｘ４，ｙ４）とすれば、
【数10】
となる。式（５）によれば、この組の目標キーポイントに対応するバウンディングボックスの左上頂点と右下頂点の座標（ｘ３，ｙ３）と（ｘ４，ｙ４）を算出でき、即ち、バウンディングボックス回帰によって、目標の所在する第２の領域が得られる。これによって、被処理画像における各目標の目標キーポイントに対してそれぞれバウンディングボックス回帰処理を行って、各目標の第２の領域を決定することができ、更に各目標の第２の領域に基づいて、被処理画像の目標認識結果を決定することができる。
【0060】
このような形態によれば、検出された目標キーポイントに対してバウンディングボックス回帰を行って、バウンディングボックスの曖昧な定義による影響を効果的に低減でき、取得された目標所在領域の位置がより正確になる。
【0061】
可能な一実現形態では、前記各目標の第２の領域に基づいて、前記被処理画像の目標認識結果を決定することは、前記第２の領域に対応する前記第１の領域の第１の信頼度スコア、及び前記第２の領域の全て又は一部の目標キーポイント情報の第２の信頼度スコアを決定することと、前記第１の信頼度スコア及び前記第２の信頼度スコアに基づいて、前記第２の領域の第３の信頼度スコアを決定することと、各第２の領域の第３の信頼度スコアに基づいて、第３の信頼度スコアが第２の閾値以上である前記第２の領域を含む被処理画像の目標認識結果を決定することと、を含んでよい。
【0062】
例を挙げると、被処理画像における各目標の第２の領域が得られた後、第２の領域が実際目標所在領域となる確率を表すための各第２の領域の信頼度スコアを決定してよい。
【0063】
可能な一実現形態では、任意の１つの第２の領域については、この第２の領域に対応する第１の領域（即ち、領域提案枠）の第１の信頼度スコアを決定してよく、この第１の信頼度スコアは第１の領域の領域中心点の特徴値であってもよく、又は領域中心点の特徴値に対応するものであってもよい。同時に、第２の領域の全て又は一部の目標キーポイント情報の第２の信頼度スコアを決定してよく、即ち、全ての目標キーポイントを用いて計算してもよく、一部の重要な目標キーポイントを用いて計算してもよく、本開示では制限されない。
【0064】
可能な一実現形態では、第１の信頼度スコアと第２の信頼度スコアに基づいて、第２の領域の第３の信頼度スコアを決定してよい。任意の１つの第２の領域については、この第２の領域の第１の信頼度スコアをＰ１とし、第２の信頼度スコアを３つの重要な目標キーポイントの特徴値の和とし、第３の信頼度スコアをＰ３とすれば、
となる。式（６）において、Φ（ｈ＊，＊，ｃ）が第２の領域内の任意の点ｈ＊，＊，ｃの特徴値を表し、ｍａｘ（Φ（ｈ＊，＊，ｃ））が目標キーポイントの特徴値を表し、ｃがチャンネル番号である。
【数11】
となる。式（６）において、Φ（ｈ＊，＊，ｃ）が第２の領域内の任意の点ｈ＊，＊，ｃの特徴値を表し、ｍａｘ（Φ（ｈ＊，＊，ｃ））が目標キーポイントの特徴値を表し、ｃがチャンネル番号である。
【0065】
可能な一実現形態では、信頼度スコアの第２の閾値を予め設定してよい。第２の領域の第３の信頼度スコアがこの第２の閾値以上である場合に、この第２の領域が実際目標所在領域であると考えられ、目標認識結果としてよく、逆に、第２の領域の第３の信頼度スコアがこの第２の閾値未満である場合に、この第２の領域が実際目標所在領域ではないと考えられ、目標認識結果から除去してよい。本開示では第２の閾値の具体的な値が制限されない。
【0066】
このような形態によれば、バウンディングボックス回帰により得られた目標所在領域を選別して、画像における目標の認識精度を更に高めることができる。
【0067】
可能な一実現形態では、本開示の実施例に係る画像処理方法はニューラルネットワークによって実現されてよい。このニューラルネットワークは、それぞれ特徴抽出、目標領域予測及びキーポイント検出に用いられる特徴抽出ネットワーク、領域予測ネットワーク及びキーポイント検出ネットワークを含む。
【0068】
図３は本開示の実施例に係る画像処理プロセスの模式図を示す。図３に示すように、このニューラルネットワークは、特徴抽出ネットワーク３１、領域予測ネットワーク３２及びキーポイント検出ネットワーク３３を含む。画像のスケールを小さくするように、被処理画像３４を特徴抽出ネットワーク３１に入力して処理して、被処理画像３４の第１の特徴マップ（未図示）を得るようにしてよい。
【0069】
この例において、第１の特徴マップを領域予測ネットワーク３２の中心点特徴抽出サブネットワーク３２１に入力して処理して、スケールがＨ×Ｗ×Ｇである第２の特徴マップ（細粒度スケール推定特徴マップと呼ばれてもよい）Ｓを得、各チャンネルでの特徴点の特徴値に基づいて、特徴値が第１の閾値以上である特徴点を領域中心点として選択し、領域中心点の所在するチャンネルにより領域のスケールを決定して、複数の第１の領域（即ち、領域提案枠）３２２を得る。
【0070】
この例において、同時に第１の特徴マップをキーポイント検出ネットワーク３３のキーポイント特徴抽出サブネットワーク３３１に入力して処理して、スケールがＨ×Ｗ×Ｋである第３の特徴マップ（キーポイント応答特徴マップと呼ばれてもよい）Ｋを得てよく、上記ステップで決定された第１の領域３２２により、第１の領域に対応する特徴領域における特徴点に対してｓｏｆｔｍａｘ正規化を行って、更に目標の複数のキーポイント（チャンネルのそれぞれが１種類のキーポイントに対応する）を決定してよく、座標を（Ｘ，Ｙ）で表す。
【0071】
この例において、各目標の複数のキーポイントによりバウンディングボックス回帰を行って、より正確な目標領域（第２の領域と呼ばれる）を決定してよい。選別した後、最終的に被処理画像の目標認識結果３５が得られる。この目標認識結果３５は、認識された各目標の所在する領域枠及びキーポイント位置を含んでよい。目標が顔である場合に、複数の顔枠及び顔枠内の目、鼻、口元等の顔キーポイントの位置が得られる。
【0072】
可能な一実現形態では、本開示の実施例に係る画像処理方法のニューラルネットワークを用いる前に、ニューラルネットワークを訓練してもよい。ここで、前記方法は、複数のサンプル画像、前記複数のサンプル画像のラベリング領域情報及び前記複数のサンプル画像のラベリングキーポイント情報を含む予め設定されたトレーニングセットにより、前記ニューラルネットワークを訓練することを更に含む。
【0073】
例を挙げると、それぞれに被認識目標（例えば、顔）を含み且つ各目標のラベリング領域情報及びラベリングキーポイント情報がすでにラベリングされている複数のサンプル画像を含むトレーニングセットを予め設定してよい。トレーニングセットのサンプル画像をニューラルネットワークに入力して処理して、サンプル画像の目標認識結果を得、認識結果とラベリング情報との差に基づいて、ニューラルネットワークのパラメータを調整するようにしてよい。複数回反復した後、訓練済みのニューラルネットワークが得られる。
【0074】
可能な一実現形態では、予め設定されたトレーニングセットにより、前記ニューラルネットワークを訓練することは、前記特徴抽出ネットワークによってサンプル画像を処理して、第１のサンプル特徴マップを決定することと、前記領域予測ネットワークによって前記第１のサンプル特徴マップを処理して、第２のサンプル特徴マップ及び前記第２のサンプル特徴マップにおける少なくとも１つのサンプル領域を決定することと、前記キーポイント検出ネットワークによって前記第１のサンプル特徴マップを処理して、前記第２のサンプル特徴マップと同様な幅及び高さを有する第３のサンプル特徴マップを決定することと、前記少なくとも１つのサンプル領域に基づいて、前記第３のサンプル特徴マップのサンプル領域のサンプルキーポイント情報を決定することと、前記サンプル画像のラベリング領域情報に基づいて、前記サンプル画像の第１のラベリング特徴マップを決定し、前記第１のラベリング特徴マップのスケールが前記第２のサンプル特徴マップと同様であり、前記第１のラベリング特徴マップのチャンネル番号が前記ラベリング領域情報のスケールを表すことと、前記第１のラベリング特徴マップと前記第２のサンプル特徴マップとの差に基づいて、前記領域予測ネットワークに対する前記サンプル画像の第１の損失を決定することと、前記ラベリングキーポイント情報と前記サンプルキーポイント情報との差に基づいて、前記キーポイント検出ネットワークに対する前記サンプル画像の第２の損失を決定することと、前記複数のサンプル画像の第１の損失と第２の損失に基づいて、前記ニューラルネットワークを訓練することと、を含む。
【0075】
例を挙げると、トレーニングセットの任意の１つのサンプル画像については、図３における処理過程と類似するように、このサンプル画像を特徴抽出ネットワークに入力して処理して、第１のサンプル特徴マップを出力して、画像のスケールを低くすることができる。更に第１のサンプル特徴マップを領域予測ネットワークに入力して処理して、第２のサンプル特徴マップ及び第２のサンプル特徴マップにおける少なくとも１つのサンプル領域（即ち、領域提案枠）を得る。この第２のサンプル特徴マップのスケールがＨ×Ｗ×Ｇであり、Ｇが例えば６０である。
【0076】
可能な一実現形態では、このサンプル画像のラベリング領域情報（即ち、ラベリングボックス）に基づいて、前記サンプル画像の第１のラベリング特徴マップＭを決定でき、第１のラベリング特徴マップのスケールが前記第２のサンプル特徴マップと同様であり、Ｈ×Ｗ×Ｇであり、第１のラベリング特徴マップのチャンネル番号がラベリング領域情報のスケールを表す。つまり、このサンプル画像の任意の１つのラベリングボックスＲ０［ｘ０，ｙ０，ｈ０，ｗ０］については、（ｘ０，ｙ０）が中心点のサンプル画像での座標を表し、ｈ０とｗ０が長さと幅を表し、そのスケールコーディングが
により表れる。式（７）において、ｂがこのラベリングボックスＲ０のチャンネルインデックス（即ち、チャンネル番号）を表し、Ｉｍａｘがサンプル画像の最も長い辺を表す。ラベリングボックスＲ０のチャンネルインデックスを実際の状況に応じて設定してよく、本開示で制限されないことが当業者に理解されるべきである。
【数12】
により表れる。式（７）において、ｂがこのラベリングボックスＲ０のチャンネルインデックス（即ち、チャンネル番号）を表し、Ｉｍａｘがサンプル画像の最も長い辺を表す。ラベリングボックスＲ０のチャンネルインデックスを実際の状況に応じて設定してよく、本開示で制限されないことが当業者に理解されるべきである。
【0077】
この場合に、第１のラベリング特徴マップＭにおける各特徴点に値を与えてよい。まず、このラベリングボックスＲ０の中心特徴点に１を与えてよい。
式（８）において、ＮＧがサンプル画像に対する第１のラベリング特徴マップのダウンサンプリング倍数を表す。
【数13】
式（８）において、ＮＧがサンプル画像に対する第１のラベリング特徴マップのダウンサンプリング倍数を表す。
【0078】
可能な一実現形態では、ネットワーク学習の離散値の難度を低減するために、２Ｄガウス関数を導入して第１のラベリング特徴マップＭにおける中心特徴点の隣近点の値を調整する。
とし、
が整数を取ることを表すと、
となる。式（９）において、
がラベリングボックスＲ０の中心特徴点座標を表し、（ｘｕ，ｙｕ）中心特徴点の隣近点を表し、σが所定の分散を表す。式（８）～（９）によって第１のラベリング特徴マップＭにおける各ラベリングボックス内の特徴点に値を与えた後、値を与えられた第１のラベリング特徴マップＭが得られる。
【数14】
とし、
【数15】
が整数を取ることを表すと、
【数16】
となる。式（９）において、
【数17】
がラベリングボックスＲ０の中心特徴点座標を表し、（ｘｕ，ｙｕ）中心特徴点の隣近点を表し、σが所定の分散を表す。式（８）～（９）によって第１のラベリング特徴マップＭにおける各ラベリングボックス内の特徴点に値を与えた後、値を与えられた第１のラベリング特徴マップＭが得られる。
【0079】
この場合に、第１のラベリング特徴マップと第２のサンプル特徴マップとの差に基づいて、前記領域予測ネットワークに対するこのサンプル画像の第１の損失を決定でき、
式（１０）において、
が第１のラベリング特徴マップと第２のサンプル特徴マップにおける特徴点数を表し、任意の１つの特徴点ｔについては、ｐｔがこの特徴点ｔの第１のラベリング特徴マップでの値（教師値とする）を表し、
がこの特徴点ｔの第２のサンプル特徴マップでの値（即ち、ネットワーク予測値）を表す。式（１０）により、領域予測ネットワークに対するこのサンプル画像の第１の損失Ｌｓｃａｌｅを算出できる。更に、本開示の実施例に係るニューラルネットワークを訓練するように、複数のサンプル画像（例えば、１バッチの２５６個のサンプル）に対してそれぞれ計算して複数のサンプル画像の第１の損失を取得してよい。第１の損失の損失関数を実際の状況に応じて設定してよく、本開示では制限されないことが当業者に理解されるべきである。
【数18】
式（１０）において、
【数19】
が第１のラベリング特徴マップと第２のサンプル特徴マップにおける特徴点数を表し、任意の１つの特徴点ｔについては、ｐｔがこの特徴点ｔの第１のラベリング特徴マップでの値（教師値とする）を表し、
【数20】
がこの特徴点ｔの第２のサンプル特徴マップでの値（即ち、ネットワーク予測値）を表す。式（１０）により、領域予測ネットワークに対するこのサンプル画像の第１の損失Ｌｓｃａｌｅを算出できる。更に、本開示の実施例に係るニューラルネットワークを訓練するように、複数のサンプル画像（例えば、１バッチの２５６個のサンプル）に対してそれぞれ計算して複数のサンプル画像の第１の損失を取得してよい。第１の損失の損失関数を実際の状況に応じて設定してよく、本開示では制限されないことが当業者に理解されるべきである。
【0080】
可能な一実現形態では、サンプル画像の第２のサンプル特徴マップについては、所定の閾値（例えば、第１の閾値）に基づいて、第２のサンプル特徴マップで複数の中心特徴点を決定でき、中心特徴点の所在するチャンネルにより、式（７）で中心特徴点の所在する領域のスケールを算出でき、第２のサンプル特徴マップにおける少なくとも１つのサンプル領域（即ち、領域提案枠）を決定できる。
【0081】
可能な一実現形態では、第１のサンプル特徴マップをキーポイント検出ネットワークに入力して処理して、第３のサンプル特徴マップを得るようにしてよく、第３のサンプル特徴マップの幅及び高さが第２のサンプル特徴マップと同様であり、第３のサンプル特徴マップのスケールをＨ×Ｗ×Ｋで表してよく、チャンネル数Ｋが各目標のキーポイントの数を表すためのものであり、チャンネル数Ｋが例えば５である。
【0082】
可能な一実現形態では、各サンプル領域に基づいて、第３のサンプル特徴マップのサンプル領域におけるサンプルキーポイント情報を決定できる。即ち、式（１）によって各サンプル領域を正規化し、且つ式（２）によって各サンプル領域におけるサンプルキーポイントの位置を決定する。更に、このサンプル画像のラベリングキーポイント情報とサンプルキーポイント情報との差に基づいて、キーポイント検出ネットワークに対するこのサンプル画像の第２の損失を決定する。
式（１１）において、
がラベリングキーポイント（例えば、ＧＴラベリングキーポイント）を表し、Ψｃ，＊がサンプルキーポイントを表し、ｃがチャンネル番号を表す。式（１１）により、キーポイント検出ネットワークに対するこのサンプル画像の第２の損失Ｌｋｅｙｐｏｉｎｔを算出できる。更に、本開示の実施例に係るニューラルネットワークを訓練するように、複数のサンプル画像（例えば、１バッチの２５６個のサンプル）に対してそれぞれ計算して複数のサンプル画像の第２の損失を得てよい。第２の損失の損失関数を実際の状況に応じて設定してよく、本開示では制限されないことが当業者に理解されるべきである。
【数21】
式（１１）において、
【数22】
がラベリングキーポイント（例えば、ＧＴラベリングキーポイント）を表し、Ψｃ，＊がサンプルキーポイントを表し、ｃがチャンネル番号を表す。式（１１）により、キーポイント検出ネットワークに対するこのサンプル画像の第２の損失Ｌｋｅｙｐｏｉｎｔを算出できる。更に、本開示の実施例に係るニューラルネットワークを訓練するように、複数のサンプル画像（例えば、１バッチの２５６個のサンプル）に対してそれぞれ計算して複数のサンプル画像の第２の損失を得てよい。第２の損失の損失関数を実際の状況に応じて設定してよく、本開示では制限されないことが当業者に理解されるべきである。
【0083】
可能な一実現形態では、複数のサンプル画像の第１の損失と第２の損失に基づいてニューラルネットワークの総損失を決定してよく、例えば第１の損失と第２の損失の加重和をニューラルネットワークの総損失とする。ニューラルネットワークの総損失に基づいて逆伝播を行ってニューラルネットワークのネットワークパラメータを調整し、複数回繰り返して調整することで、所定の訓練条件（例えばネットワークが収束した）を満たす場合、訓練済みのニューラルネットワークが得られ、訓練全過程が完了されるようにしてよい。
【0084】
このような形態によれば、ニューラルネットワークの訓練過程を実現し、高精度のニューラルネットワークを得ることができる。
【0085】
本開示の実施例に係る画像処理方法によれば、低いスケールの画像入力及び軽量級モデル構造によって高効率な推定速度を達成でき、目標スケールコーディングによって畳み込みニューラルネットワークを用いて目標位置及びスケールの予測を行い、この方法ではａｎｃｈｏｒ－ｆｒｅｅ（アンカーフリーと呼ばれてもよい）機構を用い、顔スケール予測と微分可能なｓｏｆｔ－ａｒｇｍａｘ操作と組み合わせて、高速且つ正確な目標検出アルゴリズムを構築した。
【0086】
本開示の実施例に係る画像処理方法によれば、下位から上位への機構（ｂｏｔｔｏｍ－ｕｐ）を採用し、即ち、先に顔キーポイントの検出を行い、更にキーポイント情報に基づいて回帰により顔バウンディングボックスを得る。顔バウンディングボックスの曖昧な定義と比較して、顔キーポイントは正確な意味情報を表現することによって推定精度が高くなり、性能がＳＯＴＡ（現在の最適な一連のアルゴリズム）レベルに到達可能である。
【0087】
本開示の実施例に係る画像処理方法によれば、アクセスコントローラ、映像知能化分析、セキュリティ監視等の分野に用いて、高速且つ正確な顔検出、顔キーポイント検出を実現し、又は顔キーポイント検出と顔バウンディングボックス検出を合わせて実現することができる。そして、この方法のスケール予測結果を用いて画像における潜在的な顔目標スケールを予測することができる。
【0088】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。具体的な実施形態に係る上記方法では、各ステップの具体的な実行順序はその機能と可能な内在的論理によって決定されることが当業者に理解すべきである。
【0089】
また、本開示は画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを更に提供しており、それらはいずれも本開示で提供されるいずれか１つの画像処理方法を実現することに利用可能であり、対応する技術的手段及び説明については方法部分の対応の記載を参照すればよく、ここで詳細な説明を省略する。
【0090】
図４は本開示の実施例に係る画像処理装置のブロック図を示す。図４に示すように、前記装置は、被処理画像に対して特徴抽出を行って、前記被処理画像の第１の特徴マップを得るための特徴抽出モジュール４１と、前記第１の特徴マップに対して目標領域予測を行って、前記第１の特徴マップにおいて目標の所在する第１の領域を決定するための領域予測モジュール４２と、前記第１の特徴マップに対して前記第１の領域に基づくキーポイント検出を行って、前記被処理画像の目標キーポイント情報を決定するためのキーポイント検出モジュール４３と、を含む。
【0091】
可能な一実現形態では、前記装置は、前記被処理画像における各目標の前記目標キーポイント情報に対してそれぞれバウンディングボックス回帰を行って、前記各目標の第２の領域を決定するためのバウンディングボックス回帰モジュールと、前記各目標の第２の領域に基づいて、前記被処理画像の目標認識結果を決定するための結果決定モジュールと、を更に含む。
【0092】
可能な一実現形態では、前記領域予測モジュールは、前記第１の特徴マップに対して中心点特徴抽出を行って、第２の特徴マップを得るための中心点特徴抽出サブモジュールと、前記第２の特徴マップの複数の特徴点から、特徴値が第１の閾値以上である特徴点を含む少なくとも１つの領域中心点を決定するための中心点決定サブモジュールと、前記少なくとも１つの領域中心点のうちの各領域中心点に対応するチャンネル番号に基づいて、前記各領域中心点に対応する前記第１の領域のスケールを決定するためのスケール決定サブモジュールと、前記各領域中心点の位置及び前記各領域中心点に対応する前記第１の領域のスケールにより、各前記第１の領域をそれぞれ決定するための領域決定サブモジュールと、を含む。
【0093】
可能な一実現形態では、前記キーポイント検出モジュールは、前記第１の特徴マップに対してキーポイント特徴抽出を行って、第３の特徴マップを得るためのキーポイント特徴抽出サブモジュールと、前記第３の特徴マップの、前記第１の領域に対応する特徴領域において、前記目標の複数のキーポイントを決定するためのキーポイント決定サブモジュールと、前記第３の特徴マップにおける前記複数のキーポイントの位置に基づいて、前記被処理画像の目標キーポイント情報を決定するためのキーポイント情報決定サブモジュールと、を含む。
【0094】
可能な一実現形態では、前記キーポイント決定サブモジュールは、前記特徴領域の各チャンネルに対してそれぞれキーポイント検出を行って、前記各チャンネルに対応するキーポイントを取得するために用いられる。
【0095】
可能な一実現形態では、前記結果決定モジュールは、前記第２の領域に対応する前記第１の領域の第１の信頼度スコア、及び前記第２の領域の全て又は一部の目標キーポイント情報の第２の信頼度スコアを決定するための第１のスコア決定サブモジュールと、前記第１の信頼度スコア及び前記第２の信頼度スコアに基づいて、前記第２の領域の第３の信頼度スコアを決定するための第２のスコア決定サブモジュールと、各第２の領域の第３の信頼度スコアに基づいて、第３の信頼度スコアが第２の閾値以上である前記第２の領域を含む被処理画像の目標認識結果を決定するための結果決定サブモジュールと、を含む。
【0096】
可能な一実現形態では、前記装置は、ニューラルネットワークによって実現され、前記装置は、複数のサンプル画像、前記複数のサンプル画像のラベリング領域情報及び前記複数のサンプル画像のラベリングキーポイント情報を含む予め設定されたトレーニングセットにより、前記ニューラルネットワークを訓練するための訓練モジュールを更に含む。
【0097】
可能な一実現形態では、前記ニューラルネットワークは、特徴抽出ネットワーク、領域予測ネットワーク及びキーポイント検出ネットワークを含み、前記訓練モジュールは、前記特徴抽出ネットワークによってサンプル画像を処理して、第１のサンプル特徴マップを決定することと、前記領域予測ネットワークによって前記第１のサンプル特徴マップを処理して、第２のサンプル特徴マップ及び前記第２のサンプル特徴マップにおける少なくとも１つのサンプル領域を決定することと、前記キーポイント検出ネットワークによって前記第１のサンプル特徴マップを処理して、前記第２のサンプル特徴マップと同様な幅及び高さを有する第３のサンプル特徴マップを決定することと、前記少なくとも１つのサンプル領域に基づいて、前記第３のサンプル特徴マップのサンプル領域のサンプルキーポイント情報を決定することと、前記サンプル画像のラベリング領域情報に基づいて、前記サンプル画像の第１のラベリング特徴マップを決定し、前記第１のラベリング特徴マップのスケールが前記第２のサンプル特徴マップと同様であり、前記第１のラベリング特徴マップのチャンネル番号が前記ラベリング領域情報のスケールを表すことと、前記第１のラベリング特徴マップと前記第２のサンプル特徴マップとの差に基づいて、前記領域予測ネットワークに対する前記サンプル画像の第１の損失を決定することと、前記ラベリングキーポイント情報と前記サンプルキーポイント情報との差に基づいて、前記キーポイント検出ネットワークに対する前記サンプル画像の第２の損失を決定することと、前記複数のサンプル画像の第１の損失と第２の損失に基づいて、前記ニューラルネットワークを訓練することとに用いられる。
【0098】
可能な一実現形態では、前記被処理画像における目標には、顔、人体及び手のいずれか１つを含む。
【0099】
いくつかの実施例では、本開示の実施例で提供された装置が備える機能又はモジュールは、上記方法の実施例に説明される方法を実行するために用いられ、その具体的な実現形態について、上記方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明は割愛する。
【0100】
本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を更に提供する。コンピュータ読み取り可能な記憶媒体は、不揮発性のコンピュータ読み取り可能な記憶媒体であってもよいし、揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。
【0101】
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサが前記メモリに記憶されているコマンドを呼び出して上記方法を実行するように構成される電子機器を更に提供する。
【0102】
本開示の実施例は、コンピュータ読み取り可能なコードを含み、コンピュータ読み取り可能なコードが機器で動作すると、機器のプロセッサが上記のいずれか１つの実施例で提供された画像処理方法を実現するためのコマンドを実行するコンピュータプログラム製品を更に提供する。
【0103】
本開示の実施例は、コンピュータ読み取り可能なコマンドを記憶するためのコンピュータプログラム製品であって、コマンドが実行されると、コンピュータが上記のいずれか１つの実施例で提供された画像処理方法の操作を実行するコンピュータプログラム製品を更に提供する。
【0104】
電子機器は、端末、サーバ又は他の形態のデバイスとして提供されてもよい。
【0105】
図５は本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタントなどの端末であってもよい。
【0106】
図５を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【0107】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【0108】
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
【0109】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0110】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0111】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【0112】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【0113】
センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【0114】
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術および他の技術によって実現できる。
【0115】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【0116】
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【0117】
図６は本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図６を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【0118】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ（Ｕｎｉｘは登録商標）、ＬｉｎｕｘＴＭ（Ｌｉｎｕｘは登録商標）、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【0119】
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
【0120】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含んでもよい。
【0121】
コンピュータ読み取り可能記憶媒体は、命令実行機器により使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【0122】
ここで記述したコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶させる。
【0123】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各方面を実現できるようにしてもよい。
【0124】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【0125】
これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように、機械を製造してもよい。これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
【0126】
コンピュータ読み取り可能プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【0127】
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【0128】
該コンピュータプログラム製品は、具体的にはハードウェア、ソフトウェア又はそれらの組合せにより実現されてもよい。選択可能な一実施例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体として実現され、別の選択可能な一実施例において、コンピュータプログラム製品は具体的には、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品として実現されてもよい。
【0129】
論理に違反しない限り、本開示のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照してもよい。
【0130】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】