特表 2022-531029 画像認識方法、装置及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-06

(54)【発明の名称】画像認識方法、装置及び記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220629BHJP

【ＦＩ】

G06T7/00 660Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2020567592

(86)(22)【出願日】2020-09-09

(85)【翻訳文提出日】2020-12-02

(86)【国際出願番号】 IB2020058350

(87)【国際公開番号】W WO2021198753

(87)【国際公開日】2021-10-07

(31)【優先権主張番号】10202003027Q

(32)【優先日】2020-04-01

(33)【優先権主張国・地域又は機関】SG

(81)【指定国・地域】

(71)【出願人】

【識別番号】520176212

【氏名又は名称】センスタイム インターナショナル ピーティーイー．リミテッド

【氏名又は名称原語表記】ＳｅｎｓｅＴｉｍｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＰＴＥ．ＬＴＤ．

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】ジャン ミンユエン

(72)【発明者】

【氏名】ウー ジンイー

(72)【発明者】

【氏名】ジャオ ハイユー

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096BA18

5L096CA01

5L096FA16

5L096HA02

5L096JA11

(57)【要約】

本願の実施例は、顔と動作部位との関連付けの正確度を向上させることができる画像認識方法、装置及び記憶媒体を提供する。該方法は、認識されるべき画像に対して画像検出を行い、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得ることであって、１つの顔検出結果に、１つの顔検出用検出枠が含まれ、１つの動作部位検出結果に、１つの動作部位検出枠が含まれ、１つの胴体検出結果に、１つの胴体検出枠が含まれる、ことと、前記少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得ることと、各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得ることと、少なくとも１つの第１結果組み合わせと前記少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得ることと、を含む。

【特許請求の範囲】

【請求項1】

認識されるべき画像に対して画像検出を行い、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得ることであって、１つの顔検出結果に、１つの顔検出用検出枠が含まれ、１つの動作部位検出結果に、１つの動作部位検出枠が含まれ、１つの胴体検出結果に、１つの胴体検出枠が含まれる、ことと、
前記少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得ることと、
前記各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得ることと、
前記少なくとも１つの第１結果組み合わせと前記少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得ることと、を含む、画像認識方法。

【請求項2】

前記少なくとも１つの第１結果組み合わせと前記少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得ることは、
各胴体検出結果、各顔検出結果及び各動作部位検出結果に対してそれぞれ特徴抽出を行い、各胴体検出結果に対応する胴体特徴に対応する胴体特徴シーケンス、各顔検出結果に対応する顔特徴シーケンス及び各動作部位検出結果に対応する動作部位特徴シーケンスを得ることと、
前記胴体特徴シーケンス及び前記顔特徴シーケンスに基づいて、各第１結果組み合わせの胴体検出結果と顔検出結果を関連付け、各第１結果組み合わせに対応する第１サブ関連付け結果を得ることと、
前記胴体特徴シーケンス及び前記動作部位特徴シーケンスに基づいて、各第２結果組み合わせの胴体検出結果と動作部位検出結果を関連付け、各第２結果組み合わせに対応する第２サブ関連付け結果を得ることと、
各第１サブ関連付け結果及び各第２サブ関連付け結果に基づいて、前記関連付け結果を決定することと、を含む
請求項１に記載の方法。

【請求項3】

各第１サブ関連付け結果及び各第２サブ関連付け結果に基づいて前記関連付け結果を決定することは、
各第１サブ関連付け結果に基づいて、少なくとも１つの第１結果組み合わせにおける胴体検出結果と顔検出結果が関連付けられている関連付け第１結果組み合わせを決定することと、
各第２サブ関連付け結果に基づいて、少なくとも１つの第２結果組み合わせにおける胴体検出結果と動作部位検出結果が関連付けられている関連付け第２結果組み合わせを決定することと、
同一の胴体検出結果を有する関連付け第１結果組み合わせと関連付け第２結果組み合わせが関連づけられていると決定することであって、１つの関連付け第１結果組み合わせにおける顔検出結果で表される顔は、それに関連付けられている関連付け第２結果組み合わせにおける動作部位検出結果で表される動作部位に互いに関連付けられている、ことと、を含む
請求項２に記載の方法。

【請求項4】

前記胴体特徴シーケンス及び前記顔特徴シーケンスに基づいて、各第１結果組み合わせの胴体検出結果と顔検出結果を関連付け、各第１結果組み合わせに対応する第１サブ関連付け結果を得ることは、
１つの第１結果組み合わせにおける顔検出結果に対応する顔特徴シーケンス及び該第１結果組み合わせにおける胴体検出結果に対応する胴体特徴シーケンスに基づいて、スプライシングを行い、該第１結果組み合わせに対応する第１組み合わせ特徴を得ることと、
各第１結果組み合わせに対応する第１組み合わせ特徴を利用して各个第１結果組み合わせに対して分類を行い、各第１結果組み合わせに対応する第１サブ関連付け結果を得ることと、を含む
請求項２又は３に記載の方法。

【請求項5】

前記胴体特徴シーケンス及び前記動作部位特徴シーケンスに基づいて、各第２結果組み合わせの胴体検出結果と動作部位検出結果を関連付け、各第２結果組み合わせに対応する第２サブ関連付け結果を得ることは、
１つの第２結果組み合わせにおける胴体検出結果に対応する胴体特徴シーケンス及び該第２結果組み合わせにおける動作部位検出結果に対応する動作部位特徴シーケンスに基づいて、スプライシングを行い、該第２結果組み合わせに対応する第２組み合わせ特徴を得ることと、
各第２結果組み合わせに対応する第２組み合わせ特徴を利用して各第２結果組み合わせを分類し、各第２結果組み合わせの第２サブ関連付け結果を得ることと、を含む
請求項２又は３に記載の方法。

【請求項6】

各胴体検出結果、各顔検出結果及び各動作部位検出結果に対してそれぞれ特徴抽出を行い、各胴体検出結果に対応する胴体特徴シーケンス、各顔検出結果に対応する顔特徴シーケンス及び各動作部位検出結果に対応する動作部位特徴シーケンスを得ることは、
前記各胴体検出結果における胴体画像、前記各顔検出結果における顔画像及び前記各動作部位検出結果における動作部位画像に対してそれぞれ特徴抽出を行い、各胴体検出結果の胴体外観特徴、各顔検出結果の顔外観特徴及び各動作部位検出結果の動作部位外観特徴を得ることと、
各胴体検出結果における胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体位置特徴を決定し、各顔検出結果における顔検出枠の座標情報に基づいて、各顔検出結果の顔位置特徴を決定し、各動作部位検出結果における動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位位置特徴を決定することと、
各胴体検出結果の胴体外観特徴と胴体位置特徴をスプライシングし、各胴体検出結果の胴体特徴シーケンスを得、各顔検出結果の顔外観特徴と顔位置特徴をスプライシングし、各顔検出結果の顔特徴シーケンスを得、各動作部位検出結果の動作部位外観特徴と動作部位位置特徴をスプライシングし、各動作部位検出結果の動作部位特徴シーケンスを得ることと、を含む
請求項２に記載の方法。

【請求項7】

各胴体検出結果における胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体位置特徴を決定し、各顔検出結果における顔検出枠の座標情報に基づいて、各顔検出結果の顔位置特徴を決定し、各動作部位検出結果における動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位位置特徴を決定することは、
各胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体領域位置パラメータを生成し、各顔検出枠の座標情報に基づいて、各顔検出結果の顔領域位置パラメータを生成し、各動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位領域位置パラメータを生成することと、
所定の胴体シーケンスビット数、所定の胴体特徴構築モデル及び胴体特徴構築パラメータに基づいて、各胴体検出結果の胴体領域位置パラメータに応じて、各胴体検出結果の胴体位置シーケンスを構築し、各胴体検出結果の胴体位置シーケンスに応じて、各胴体検出結果の胴体位置特徴を生成することであって、前記胴体特徴構築パラメータは、所定の胴体シーケンスビット数に応じて生成される、ことと、
所定の顔シーケンスビット数、所定の顔特徴構築モデル及び顔特徴構築パラメータに基づいて、各顔検出結果の顔領域位置パラメータに応じて、各顔検出結果の顔位置シーケンスを構築し、各顔検出結果の顔位置シーケンスに応じて、各顔検出結果の顔位置特徴を生成することであって、前記顔特徴構築パラメータは、所定の顔シーケンスビット数に応じて生成される、ことと、
所定の動作部位シーケンスビット数、所定の動作部位特徴構築モデル及び動作部位特徴構築パラメータに基づいて、各動作部位検出結果の動作部位領域位置パラメータに応じて、各動作部位検出結果の動作部位位置シーケンスを構築し、各動作部位検出結果の動作部位位置シーケンスに応じて、各動作部位検出結果の動作部位位置特徴を生成することであって、前記動作部位特徴構築パラメータは、所定の動作部位シーケンスビット数に応じて生成される、ことと、を含む
請求項６に記載の方法。

【請求項8】

所定のシーケンスビット数が偶数ビットであり、所定の特徴構築モデルがサイン構築モデルである場合、前記位置シーケンスを決定することは、
各検出結果の領域位置パラメータを特徴構築パラメータと比較し、各検出結果の第１パラメータ比を得ることと、
前記サイン構築モデルを利用して各検出結果の第１パラメータ比に対して正弦値演算を行い、各検出結果の第１位置要素を得ることと、
各検出結果の第１位置要素に基づいて、各検出結果の位置シーケンスを決定することと、を含み、
所定のシーケンスビット数が所定の胴体シーケンスビット数である時、所定の特徴構築モデルは、所定の胴体特徴構築モデルであり、特徴構築パラメータは、胴体特徴構築パラメータであり、検出結果は、胴体検出結果であり、領域位置パラメータが胴体領域位置パラメータであり、位置シーケンスは、胴体位置シーケンスであり、
所定のシーケンスビット数が所定の顔シーケンスビット数である時、所定の特徴構築モデルは、所定の顔特徴構築モデルであり、特徴構築パラメータは、顔特徴構築パラメータであり、検出結果は、顔検出結果であり、領域位置パラメータは、顔領域位置パラメータであり、位置シーケンスは、顔位置シーケンスであり、
所定のシーケンスビット数が所定の動作部位シーケンスビット数である時、所定の特徴構築モデルは、所定の動作部位特徴構築モデルであり、特徴構築パラメータは、動作部位特徴構築パラメータであり、検出結果は、動作部位検出結果であり、領域位置パラメータは、動作部位領域位置パラメータであり、位置シーケンスは、動作部位位置シーケンスである
請求項７に記載の方法。

【請求項9】

所定のシーケンスビット数が奇数ビットであり、所定の特徴構築モデルがコサイン構築モデルである場合、前記位置シーケンスを決定することは、
各検出結果の領域位置パラメータを特徴構築パラメータと比較し、各検出結果の第２パラメータ比を得ることと、
前記コサイン構築モデルを利用して各検出結果の第２パラメータ比に対して余弦値演算を行い、各検出結果の第２位置要素を得ることと、
各検出結果の第２位置要素に基づいて、各検出結果の位置シーケンスを決定することと、を含み、
所定のシーケンスビット数が所定の胴体シーケンスビット数である時、所定の特徴構築モデルは、所定の胴体特徴構築モデルであり、特徴構築パラメータは、所定の胴体特徴構築パラメータであり、検出結果は、胴体検出結果であり、領域位置パラメータは、胴体領域位置パラメータであり、位置シーケンスは、胴体位置シーケンスであり、
所定のシーケンスビット数が所定の顔シーケンスビット数である時、所定の特徴構築モデルは、所定の顔特徴構築モデルであり、特徴構築パラメータは、所定の顔特徴構築パラメータであり、検出結果は、顔検出結果であり、領域位置パラメータは、顔領域位置パラメータであり、位置シーケンスは、顔位置シーケンスであり、
所定のシーケンスビット数が所定の動作部位シーケンスビット数である時、所定の特徴構築モデルは、所定の動作部位特徴構築モデルであり、特徴構築パラメータは、所定の動作部位特徴構築パラメータであり、検出結果は、動作部位検出結果であり、領域位置パラメータは、動作部位領域位置パラメータであり、位置シーケンスは、動作部位位置シーケンスである
請求項７に記載の方法。

【請求項10】

前記各胴体検出結果における胴体画像、前記各顔検出結果における顔画像及び前記各動作部位検出結果における動作部位画像に対してそれぞれ外観特徴抽出を行い、各胴体検出結果の胴体外観特徴、各顔検出結果の顔外観特徴及び各動作部位検出結果の動作部位外観特徴を得ることは、
前記認識されるべき画像に対応する少なくとも１つの特徴マップを得ることと、
前記少なくとも１つの特徴マップのうちの各特徴マップから、前記各胴体検出結果の胴体特徴マップを取得し、各胴体検出結果の胴体特徴マップに対して領域分割を行い、少なくとも１つの胴体特徴サブ領域を得て、各胴体特徴サブ領域に対して最大値特徴抽出を行い、各胴体検出結果に対応する少なくとも１つの胴体外観サブ特徴を得て、各胴体検出結果に対応する少なくとも１つの胴体外観サブ特徴を利用して、各胴体検出結果の胴体外観特徴を構築することと、
前記少なくとも１つの特徴マップのうちの各特徴マップから、前記各顔検出結果の顔特徴マップを取得し、各顔検出結果の顔特徴マップに対して領域分割を行い、少なくとも１つの顔特徴サブ領域を得て、各顔特徴サブ領域に対して最大値特徴抽出を行い、各顔検出結果に対応する少なくとも１つの顔外観サブ特徴を得て、各顔検出結果に対応する少なくとも１つの顔外観サブ特徴を利用して各顔検出結果の顔外観特徴を構築することと、
前記少なくとも１つの特徴マップのうちの各特徴マップから、前記各動作部位検出結果の動作部位特徴マップを取得し、各動作部位検出結果の動作部位特徴マップに対して領域分割を行い、少なくとも１つの動作部位特徴サブ領域を得て、各動作部位特徴サブ領域に対して最大値特徴抽出を行い、各動作部位検出結果に対応する少なくとも１つの動作部位外観サブ特徴を得て、各動作部位検出結果に対応する少なくとも１つの動作部位外観サブ特徴を利用して各動作部位検出結果の動作部位外観特徴を構築することと、を含む
請求項６に記載の方法。

【請求項11】

認識されるべき画像に対して画像検出を行い、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得るように構成される検出モジュールであって、１つの顔検出結果に、１つの顔検出用検出枠が含まれ、１つの動作部位検出結果に、１つの動作部位検出枠が含まれ、１つの胴体検出結果に、１つの胴体検出枠が含まれる、検出モジュールと、
前記少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得て、前記各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得るように構成される組み合わせモジュールと、
前記少なくとも１つの第１結果組み合わせと前記少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得るように構成される関連付けモジュールと、を備える、画像認識装置。

【請求項12】

電子機器であって、
コンピュータ実行可能な命令を記憶するように構成されるメモリと、
前記メモリに記憶されたコンピュータ実行可能な命令を実行させて、請求項１から１０のうちいずれか一項に記載の方法を実行するように構成されるプロセッサと、を備える、前記電子機器。

【請求項13】

コンピュータに、請求項１から１０のうちいずれか一項に記載の方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【請求項14】

コンピュータに、請求項１から１０のうちいずれか一項に記載の画像認識方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２０年０４月０１日に提出された出願番号１０２０２００３０２７Ｑ、名称「ＩＭＡＧＥ ＲＥＣＯＧＮＩＴＩＯＮ ＭＥＴＨＯＤ， ＡＰＰＡＲＡＴＵＳ， ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ（画像認識方法、装置及び記憶媒体）」のシンガポール特許出願に基づく優先権を主張し、該特許出願の全内容が参照として本願に組み込まれる。

【0002】

本願の実施例は、画像処理技術に関するが、これに限定されず、特に、画像認識方法、装置及び記憶媒体に関する。

【背景技術】

【0003】

画像認識技術の成長に伴い、画像認識装置は、画像画面における顔と、人物の手部などのような動作部位と、に対して連想マッチングを行い、顔と動作部位が同一の人物に属するかどうかを認識する。現在、一般的な、顔と動作部位との関連付け方法は、２つである。１つは、まず、画像から複数の顔及び複数の動作部位をそれぞれ認識し、続いて、深層学習モデルを利用して顔と動作部位との関係を推定することである。もう１つは、人体キーポイント関連付けアルゴリズムに基づいて、顔と動作部位とを関連付けることである。

【0004】

しかしながら、深層学習モデルを利用して、顔と動作部位との関係を推定する時、各顔、動作部位の組み合わせに対して、深層学習モデルを呼び出す必要がある。顔と動作部位との距離が大きい時、深層学習モデルにより、顔と動作部位との関係を直接的に判定することは、非常に困難である。これにより、顔と動作部位との関連付けの正確度が低い。人体キーポイント関連付けアルゴリズムを利用する場合、画像に複数の人体が存在すると、キーポイントにおける一部の人体情報が失われて、顔と動作部位との関連付けの正確度が低くなる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は、顔と動作部位との関連付けの正確度を向上させることができる画像認識方法、装置及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

本願の技術的解決手段は、以下のように実現する。

【0007】

本願の実施例は、画像認識方法を提供する。前記方法は、
認識されるべき画像に対して画像検出を行い、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得ることであって、１つの顔検出結果に、１つの顔検出用検出枠が含まれ、１つの動作部位検出結果に、１つの動作部位検出枠が含まれ、１つの胴体検出結果に、１つの胴体検出枠が含まれる、ことと、
前記少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得ることと、
前記各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得ることと、
前記少なくとも１つの第１結果組み合わせと前記少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得ることと、を含む。

【0008】

本願の実施例は、画像認識装置を提供する。前記装置は、
認識されるべき画像に対して画像検出を行い、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得るように構成される検出モジュールであって、１つの顔検出結果に、１つの顔検出用検出枠が含まれ、１つの動作部位検出結果に、１つの動作部位検出枠が含まれ、１つの胴体検出結果に、１つの胴体検出枠が含まれる、検出モジュールと、
前記少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得て、前記各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得るように構成される組み合わせモジュールと、
前記少なくとも１つの第１結果組み合わせと前記少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得るように構成される関連付けモジュールと、を備える。

【0009】

本願の実施例は、電子機器を提供する。前記電子機器は、
コンピュータ実行可能な命令を記憶するように構成されるメモリと、
前記メモリに記憶されたコンピュータ実行可能な命令を実行させて、本願の実施例で提供される画像認識方法を実行するように構成されるプロセッサと、を備える。

【0010】

本願の実施例は、コンピュータに、本願の実施例で提供される画像認識方法を実行させるためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供する。

【0011】

本願の実施例は、コンピュータに、本願の実施例で提供される画像認識方法を実行させるためのコンピュータプログラムを提供する。

【発明の効果】

【0012】

本願の実施例は、下記有益な効果を有する。

【0013】

本願の実施例において、認識されるべき画像に対して検出を行う時、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得る。続いて、少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得ると共に、各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得る。最後に、少なくとも１つの第１結果組み合わせと少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得る。上記方式により、胴体検出結果と顔検出結果との関係、及び胴体検出結果と動作部位検出結果との関係を判定する。これにより、胴体検出結果を利用して、顔検出結果と動作部位検出結果とを関連付けることで、顔及び動作部位の判定難度を低下させると共に、画像における人体のキーポイント情報を失うことがなく、顔と動作部位との関連付けの正確度を向上させる。

【図面の簡単な説明】

【0014】

【図1】本願の実施例による画像認識シーン１００を示す概略図である。

【図2】本願の実施例による画像認識方法を示す１つの任意選択的な第１フローチャートである。

【図3】本願の実施例による画像認識方法を示す１つの任意選択的な第２フローチャートである。

【図4】本願の実施例による画像認識方法を示す１つの任意選択的な第３フローチャートである。

【図5】本願の実施例による画像認識方法を示す１つの任意選択的な第４フローチャートである。

【図6】本願の実施例による胴体検出領域の幅、高さ及び面積を示す概略図である。

【図7】本願の実施例による画像認識方法を示す１つの任意選択的な第５フローチャートである。

【図8】本願の実施例による画像認識装置の構造を示す第１概略図である。

【図9】本願の実施例による電子機器の構造を示す第２概略図である。

【発明を実施するための形態】

【0015】

以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。

【0016】

本願の実施例は、画像認識シーンを提供する。本願の実施例による画像認識シーン１００を示す概略図である図１に示すように、画像認識シーン１００に、認識されるべき領域２００に対して画像認識を行うための画像認識装置３００が含まれる。認識されるべき領域２００に、少なくとも１つの人物対象（例示的に、人物対象４００－１、人物対象４００－２及び人物対象４００－３が示される）が含まれる。ここで、各人物対象４００を顔により区別することができる。画像認識装置３００は、認識されるべき領域２００の正面又は側面に設けられて、平行角度で認識されるべき領域２００に対して画像認識を行うためのものであってもよい。具体的には、画像認識装置３００は、まず、認識されるべき領域２００に対して画像収集を行い、続いて、収集された画像から、胴体検出結果５００（例示的に、胴体検出結果５００－１、胴体検出結果５００－２及び胴体検出結果５００－３が示される）、顔検出結果６００（例示的に、顔検出結果６００－１、顔検出結果６００－２及び顔検出結果６００－３が示される）、及び動作部位検出結果７００（例示的に、動作部位検出結果７００－１、動作部位検出結果７００－２及び動作部位検出結果７００－３が示される）を検出する。続いて、これらの検出結果に対して関連付け分析を行い、更に、画像画面における顔と動作部位との関係を決定する。つまり、動作部位検出結果７００が人物対象４００のうちのどの人物対象に属するかを決定する。これにより、動作部位検出結果７００のうちのいずれか１つの動作部位検出結果が活動した時、画像認識装置は、人物対象４００のうちのどの人物対象が該動作部位により活動したかを判定することもできる。

【0017】

本願の幾つかの実施例において、動作部位は、人物対象４００の手部を指してもよく、他の部位を指してもよいことが理解されるべきである。

【0018】

本願の実施例による画像認識方法を示す１つの任意選択的な第１フローチャートである図２に示すように、本願の実施例で提供される画像認識方法は、以下を含む。

【0019】

Ｓ１０１において、認識されるべき画像に対して画像検出を行い、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得、１つの顔検出結果に、１つの顔検出枠が含まれ、１つの動作部位検出結果に、１つの動作部位検出枠が含まれ、１つの胴体検出結果に、１つの胴体検出枠が含まれる。

【0020】

本願の実施例は、画像画面を認識し、更に画像画面における顔と動作部位を関連付けるシーンで実現される。例えば、教室における各生徒の顔と動作部位とを関連付け、教室における様々な生徒の行為を区別するためのシーンで実現される。また例えば、バスにおける各乗客の顔と動作部位とを関連付け、バスにおける様々な乗客の行為を区別するためのシーンなどで実現される。画像認識を行う場合、まず、設けられた画像収集装置により、検出領域の画像画面をリアルタイムに収集し、リアルタイムに収集された画像画面を認識されるべき画像とする。リアルタイムに収集された画像において、多くの人物の影像が含まれる。しかしながら、人物間の遮蔽により、顔と動作部位との対応関係を確認できない。つまり、どの動作部位がその顔に属するかを見分けることができない。認識されるべき画像を得た後、事前記憶された検出モデルを利用して、認識されるべき画像における全ての顔、全ての動作部位及び全ての胴体を検出し、顔検出枠により、顔画像を囲み、動作部位検出枠により、動作部位画像を囲み、胴体検出枠により、胴体画像を囲む。これにより、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得る。

【0021】

検出領域は、画像認識シーンにおけるいずれか１つの画像認識されるべき領域を指し、検出領域は、手動で設定されたものであってもよく、画像処理技術により自動的に分析したものであってもよいことに留意されたい。実際に、複数の画像収集装置により、各検出領域の画像を収集することができる。

【0022】

上記画像収集装置は、ハイビジョンカメラ等であってもよく、この場合、取得された認識されるべき画像は、単一枚の検出領域の写真であり、画像収集装置は、ビデオカメラであってもよく、取得された認識されるべき画像は、検出領域のビデオシーケンスであることが理解されるべきである。

【0023】

本願の幾つかの実施例において、画像収集装置は、カラー画像を収集するための収集装置であってもよく、収集された認識されるべき画像は、カラー画像である。グレースケール画像を収集するための収集装置であってもよく、収集された認識されるべき画像は、グレースケール画像である。

【0024】

上記検出モデルは、訓練された検出モデルであり、該モデルは、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）のような画像を処理する深層学習モデルであってもよく、他のネットワークモデルであってもよく、本願の実施例は、これを限定するものではないことが理解されるべきである。

【0025】

本願の実施例における検出モデルは、顔訓練画像、動作部位訓練画像及び胴体訓練画像を利用して訓練されたモデルであってもよいことに留意されたい。この場合、１つの検出モデルを利用して、認識されるべき画像における顔検出結果、動作部位検出結果及び胴体検出結果を全て検出する必要がある。勿論、本願の実施例における検出モデルは、３つの異なるモデルであってもよい。該３つのモデルは、それぞれ顔訓練画像、動作部位訓練画像及び胴体訓練画像により訓練されたものである。この場合、認識されるべき画像をそれぞれ該３つの検出モデルに入力し、顔検出結果、動作部位検出結果及び胴体検出結果をそれぞれ得ることができる。

【0026】

本願の実施例において、動作部位は、例えば、人物の手、足などのような、人物の影像における種々の動作を行う部位を指す。胴体部位は、人物の影像における動作部位及び顔以外の部分を指す。

【0027】

Ｓ１０２において、少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得る。

【0028】

少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得た後、少なくとも１つの胴体検出結果のうちの各胴体検出結果を少なくとも１つの顔検出結果のうちの各顔検出結果と組み合わせ、胴体検出結果と顔検出結果との組み合わせを得て、該組み合わせを第１結果組み合わせとする。少なくとも１つの胴体検出結果に、１つ又は複数の胴体検出結果が含まれ、少なくとも１つの顔検出結果にも１つ又は複数の顔検出結果が含まれるため、少なくとも１つの第１結果組み合わせを得ることができる。

【0029】

更に、得られた第１結果組み合わせの数は、胴体検出結果の数と顔検出結果の数との積に等しい。１つの胴体検出結果を各顔検出結果と組み合わせる時、数が顔検出結果の数に等しい第１結果組み合わせを得ることができる。胴体検出結果の数が少なくとも１つであるため、数が胴体検出結果の数と顔検出結果の数との積に等しい第１結果組み合わせを得る。

【0030】

例示的に、検出領域から、２個の胴体検出結果、３個の顔検出結果（遮蔽により、１つの人物の胴体部位が検出されなかった）が検出された。ここで、２個の胴体検出結果はそれぞれ胴体結果－１、胴体結果－２であり、３個の顔検出結果はそれぞれ顔結果－１、顔結果－２及び顔結果－３である。この場合、胴体結果－１をそれぞれ、顔結果－１、顔結果－２及び顔結果－３と組み合わせ、３個の第１結果組み合わせを得る。即ち、＜胴体結果－１，顔結果－１＞、＜胴体結果－１，顔結果－２＞及び＜胴体結果－１，顔結果－３＞を得る。続いて、胴体結果－２をそれぞれ、顔結果－１、顔結果－２及び顔結果－３と組み合わせ、３個の第１結果組み合わせを更に得る。即ち、＜胴体結果－２，顔結果－１＞、＜胴体結果－２，顔結果－２＞及び＜胴体結果－２，顔結果－３＞を得る。従って、計６個の第１結果組み合わせを得る。

【0031】

Ｓ１０３において、各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得る。

【0032】

各胴体検出結果を少なくとも１つの動作部位検出結果のうちの各動作部位検出結果と組み合わせ、胴体検出結果と動作部位検出結果との組み合わせを得て、該組み合わせを第２結果組み合わせとする。また、第１組み合わせ結果と同様に、少なくとも１つの胴体検出結果に１つ又は複数の胴体検出結果が含まれ、少なくとも１つの動作部位検出結果にも１つ又は複数の動作部位検出結果が含まれるため、少なくとも１つの第２結果組み合わせを得ることができる。

【0033】

第１組み合わせ結果と同様に、画像認識装置により得られた第２結果組み合わせの数は、胴体検出結果の数と動作部位検出結果の数との積に等しい。

【0034】

例示的に、画像認識装置により、検出領域から、２個の胴体検出結果、４個の動作部位検出結果が検出された。ここで、胴体検出結果はそれぞれ胴体結果－１、胴体結果－２であり、動作部位検出結果はそれぞれ動作部位結果－１、動作部位結果－２、動作部位結果－３及び動作部位結果－４である。この場合、胴体結果－１をそれぞれ動作部位結果－１、動作部位結果－２、動作部位結果－３及び動作部位結果－４と組み合わせ、４個の第２結果組み合わせを得る。即ち、＜胴体結果－１，動作部位結果－１＞、＜胴体結果－１，動作部位結果－２＞、＜胴体結果－１，動作部位結果－３＞及び＜胴体結果－１，動作部位結果－４＞を得る。続いて、胴体結果－２をそれぞれ、動作部位結果－１、動作部位結果－２、動作部位結果－３及び動作部位結果－４と組み合わせ、４個の第２結果組み合わせを更に得る。即ち、＜胴体結果－２，動作部位結果－１＞、＜胴体結果－２，動作部位結果－２＞、＜胴体結果－２，動作部位結果－３＞及び＜胴体結果－２，動作部位結果－４＞を得る。これにより、計８個の第２結果組み合わせを得る。

【0035】

Ｓ１０４において、少なくとも１つの第１結果組み合わせと少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得る。

【0036】

少なくとも１つの第１結果組み合わせ及び少なくとも１つの第２結果組み合わせを得た後、少なくとも１つの結果組み合わせのうちの各第１結果組み合わせを少なくとも１つの第２結果組み合わせのうちの各第２結果組み合わせと関連付けることができる。つまり、顔検出結果と動作部位検出結果が同一の人物に属するかどうかを判定し、判定結果を関連付け結果とする。これにより、検出領域に対する画像認識を完了し、更に、検出領域における各顔と各動作部位との関係を判定する。ここで、関連付け結果は、同一の胴体にそれぞれ対応する１つの顔及び１つの手を指す。つまり、同一の人物に属する胴体、顔及び手を得る。

【0037】

本願の実施例において、第１結果組み合わせと第２結果組み合わせを関連付ける時、まず、各第１結果組み合わせにおける胴体検出結果と顔検出結果が同一の人物に属するかどうかを判定し、続いて、各第２結果組み合わせにおける胴体検出結果と動作部位検出結果が同一の人物に属するかどうかを判定することに留意されたい。１つの第１結果組み合わせにおける胴体検出結果と顔検出結果が同一の人物に属し、且つ、該第１結果組み合わせにおける胴体検出結果を含む第２結果組み合わせにおける胴体検出結果と動作部位検出結果が同一の人物に属する場合、該第１結果組み合わせは、該第２結果組み合わせに関連する。つまり、該第１結果組み合わせにおける顔検出結果と該第２結果組み合わせにおける動作部位検出結果も同一の人物に属する。胴体検出結果を利用して、顔検出結果と動作部位検出結果を関連付けることができる。

【0038】

本願の実施例において、認識されるべき画像に対して検出を行い、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得る。続いて、少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得ると共に、各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得る。最後に、少なくとも１つの第１結果組み合わせと少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得て、検出領域に対する画像認識を完了する。上記方式により、胴体検出結果と顔検出結果との関係、及び胴体検出結果と動作部位検出結果との関係を判定する。これにより、胴体検出結果を利用して、顔検出結果と動作部位検出結果とを関連付けることで、顔及び動作部位の判定難度を低下させると共に、画像における人体のキーポイント情報を失うことがなく、顔と動作部位との関連付けの正確度を向上させる。

【0039】

本願の実施例による画像認識方法を示す１つの任意選択的な第２フローチャートである図３に示すように、本願の幾つかの実施例において、少なくとも１つの第１結果組み合わせと少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得るステップＳ１０４の具体的な実現プロセスは、Ｓ１０４１－Ｓ１０４４を含んでもよい。

【0040】

Ｓ１０４１において、各胴体検出結果、各顔検出結果及び各動作部位検出結果に対してそれぞれ特徴抽出を行い、各胴体検出結果に対応する胴体特徴に対応する胴体特徴シーケンス、各顔検出結果に対応する顔特徴シーケンス及び各動作部位検出結果に対応する動作部位特徴シーケンスを得る。

【0041】

少なくとも１つの第１結果組み合わせと少なくとも１つの第２結果組み合わせを関連付ける時、まず、第１結果組み合わせにおける胴体検出結果に対応する特徴シーケンス及び顔検出結果に対応する特徴シーケンスを知る必要がある。同様に、第２結果組み合わせにおける動作部位検出結果に対応する特徴シーケンスを知る必要がある。これにより、これらの特徴シーケンスに基づいて、胴体検出結果と顔検出結果が関連付けられているかどうか、胴体検出結果と動作部位検出結果が関連付けられているかどうかをそれぞれ判定する。従って、まず、各胴体検出結果、各顔検出結果及び各動作部位検出結果に対して特徴抽出を行い、各胴体検出結果に対応する胴体特徴シーケンス、各顔検出結果に対応する顔特徴シーケンス及び各動作部位検出結果に対応する動作部位特徴シーケンスを得る。

【0042】

本願の幾つかの実施例において、特徴シーケンスは、位置特徴及び外観特徴からなるものであり、つまり、胴体特徴シーケンスは、胴体位置特徴及び胴体外観特徴からなるものであり、顔特徴シーケンスは、顔位置特徴及び顔外観特徴からなるものであり、同様に、動作部位特徴シーケンスは、動作部位位置特徴及び動作部位外観特徴からなるものであることに留意されたい。

【0043】

Ｓ１０４２において、胴体特徴シーケンス及び顔特徴シーケンスに基づいて、各第１結果組み合わせの胴体検出結果と顔検出結果を関連付け、各第１結果組み合わせに対応する第１サブ関連付け結果を得る。

【0044】

得られた胴体特徴シーケンス及び顔特徴シーケンスを利用して、各第１結果組み合わせにおける胴体検出結果と顔検出結果が同一の人物に属するかどうかを判定し、判定結果を第１サブ関連付け結果とする。これにより、各第１結果組み合わせに対応する第１サブ関連付け結果を得る。つまり、少なくとも１つの第１サブ関連付け結果を得る。

【0045】

同一の人物の胴体検出結果及び顔検出結果について、位置関係で、一定の規律が存在する。例えば、人物の顔部と人物の胴体との距離は、所定の範囲内にある。該距離は、大きすぎることがなく、小さすぎることもない。また、同一の人物の胴体検出結果及び顔検出結果について言えば、外観の点においても、類似性を有する。例えば、顔部の肌色は、胴体の頸部の肌色と類似する。胴体特徴シーケンスは、胴体位置特徴及び胴体外観特徴からなるものであり、顔特徴シーケンスが顔位置特徴及び顔外観特徴からなるものであるため、胴体特徴シーケンス及び顔特徴シーケンスを利用して、胴体検出結果と顔検出結果が同一の人物に属するかどうかを判定し、第１サブ関連付け結果を更に得ることができる。

【0046】

Ｓ１０４３において、胴体特徴シーケンス及び動作部位特徴シーケンスに基づいて、各第２結果組み合わせの胴体検出結果と動作部位検出結果を関連付け、各第２結果組み合わせに対応する第２サブ関連付け結果を得る。

【0047】

更に、胴体特徴シーケンス及び動作部位特徴シーケンスを利用して、胴体検出結果と動作部位検出結果が同一の人物に属するかどうかを判定し、判定結果を第２サブ関連付け結果とする。これにより、各第２結果組み合わせに一対一に対応する少なくとも１つの第２サブ関連付け結果を得ることができる。

【0048】

Ｓ１０４２と同様に、同一の人物の胴体検出結果及び動作部位検出結果について、位置関係で、一定の規律が存在する。例えば、手部のような人物の動作部位と人物の胴体との距離は、所定の範囲内にある。同様に、同一の人物の胴体検出結果及び動作部位検出結果について言えば、外観の点においても、類似性を有する。例えば、手首、腕のような動作部位と胴体の一部の肌色は、類似する。同様に、動作部位特徴シーケンスは、動作部位位置特徴及び動作部位外観特徴からなるものであるため、胴体特徴シーケンス及び動作部位特徴シーケンスを利用して、胴体検出結果と動作部位検出結果が同一の人物に属するかどうかを判定し、第２サブ関連付け結果を更に得ることができる。

【0049】

Ｓ１０４４において、各第１サブ関連付け結果及び各第２サブ関連付け結果に基づいて、関連付け結果を決定する。

【0050】

第１サブ関連付け結果及び第２サブ関連付け結果を得た後、第１サブ関連付け結果及び第２サブ関連付け結果に対して分析を行い、最終的な分析結果を関連付け結果とする。これにより、顔検出結果と動作部位検出結果が同一の人物に属するかどうかを判定し、検出領域に対する画像認識プロセスを完了することができる。

【0051】

本願の実施例において、まず、各胴体検出結果に対応する胴体特徴シーケンス、各顔検出結果に対応する顔特徴シーケンス及び各動作部位検出結果に対応する動作部位特徴シーケンスをそれぞれ抽出し、続いて、胴体特徴シーケンス及び顔特徴シーケンスに基づいて、各第１結果組み合わせにおける胴体検出結果と顔検出結果を関連付け、各第１結果組み合わせに対応する第１サブ関連付け結果を得て、胴体特徴シーケンス及び動作部位特徴シーケンスに基づいて、各第２結果組み合わせにおける胴体検出結果と動作部位検出結果を関連付け、各第２結果組み合わせに対応する第２サブ関連付け結果を得る。最後に、各第１サブ関連付け結果及び各第２サブ関連付け結果に基づいて、最終的な関連付け結果を決定する。これにより、少なくとも１つの第１結果組み合わせと少なくとも１つの第２結果組み合わせとの関連付けを完了すし、認識されるべき画像における胴体検出結果、顔検出結果及び動作部位検出結果間の関係を判定し、検出領域に対する画像認識プロセスを完了する。

【0052】

本発明の幾つかの実施例において、各第１サブ関連付け結果及び各第２サブ関連付け結果に基づいて関連付け結果を決定するステップＳ１０４４の具体的な実現プロセスは、Ｓ１０４４ａ－Ｓ１０４４ｃを含んでもよい。

【0053】

Ｓ１０４４ａにおいて、各第１サブ関連付け結果に基づいて、少なくとも１つの第１結果組み合わせにおける胴体検出結果と顔検出結果が関連付けられている関連付け第１結果組み合わせを決定する。

【0054】

各第１サブ関連付け結果を得た後、各第１サブ関連付け結果に基づいて、各第１結果組み合わせにおける胴体検出結果と顔検出結果が関連付けられているかどうかを判定することができる。つまり、各第１結果組み合わせにおける胴体検出結果と顔検出結果が同一の人物に属するかどうかを判定する。続いて、各第１結果組み合わせから、胴体検出結果と顔検出結果が関連付けられている第１結果組み合わせを選択して、関連付け第１結果組み合わせとする。

【0055】

Ｓ１０４４ｂにおいて、各第２サブ関連付け結果に基づいて、少なくとも１つの第２結果組み合わせにおける胴体検出結果と動作部位検出結果が関連付けられている関連付け第２結果組み合わせを決定する。

【0056】

同様に、各第２サブ関連付け結果を得た後、各第２サブ関連付け結果に基づいて、各第２結果組み合わせにおける胴体検出結果と動作部位検出結果が関連付けられているかどうかを判定することができる。つまり、各第２結果組み合わせにおける胴体検出結果と動作部位検出結果が同一の人物に属するかどうかを判定する。続いて、各第２結果組み合わせから、胴体検出結果と動作部位検出結果が関連づけられている第２結果組み合わせを選択し、関連付け第２結果組み合わせとすることができる。

【0057】

Ｓ１０４４ｃにおいて、同一の胴体検出結果を有する関連付け第１結果組み合わせと関連付け第２結果組み合わせが関連づけられていると決定し、前記関連付け結果を得て、１つの関連付け第１結果組み合わせにおける顔検出結果で表される顔は、それに関連付けられている関連付け第２結果組み合わせにおける動作部位検出結果で表される動作部位に互いに関連付けられている。

【0058】

胴体検出結果に応じて、関連付け第１結果組み合わせ及び関連付け第２結果組み合わせに対して分類を行う。同一の胴体検出結果を有する関連付け第１結果組み合わせと関連付け第２結果組み合わせは、必然的に関連付けられている。この場合、関連付け結果は、同一の胴体検出結果を有する関連付け第１結果組み合わせにおける顔検出結果と、関連付け第２結果組み合わせにおける動作部位検出結果と、が関連づけられていることである。

【0059】

本願の実施例において、第１サブ関連付け結果及び第２サブ関連付け結果に基づいて、関連付け第１結果組み合わせ及び関連付け第２結果組み合わせを選択し、更に、同一の胴体検出結果を有する関連付け第１結果組み合わせと関連付け第２結果組み合わせを互いに関連付ける。これにより、顔検出結果と動作部位検出結果が同一の人物に属するかどうかを判定し、更に、関連付け結果を得る。

【0060】

本願の幾つかの実施例において、胴体特徴シーケンス及び顔特徴シーケンスに基づいて、各第１結果組み合わせの胴体検出結果と顔検出結果を関連付け、各第１結果組み合わせに対応する第１サブ関連付け結果を得るステップＳ１０４２の具体的な実現プロセスは、Ｓ１０４２ａ－Ｓ１０４２ｂを含んでもよい。

【0061】

Ｓ１０４２ａにおいて、１つの第１結果組み合わせにおける顔検出結果に対応する顔特徴シーケンス及び該第１結果組み合わせにおける胴体検出結果に対応する胴体特徴シーケンスに基づいて、スプライシングを行い、該第１結果組み合わせに対応する第１組み合わせ特徴を得る。

【0062】

１つの第１結果組み合わせにおける胴体検出結果と顔検出結果を関連付ける場合、まず、該第１結果組み合わせにおける胴体検出結果に対応する胴体特徴シーケンスと顔検出結果に対応する顔特徴シーケンスをスプライシングし、得られたスプライシング結果を第１組み合わせ特徴とする。従って、第１組み合わせ特徴と第１結果組み合わせは、一対一に対応する。

【0063】

勿論、胴体特徴シーケンスと顔特徴シーケンスを首尾で接続することでスプライシングしてもよい。これにより得られた第１組み合わせ特徴は、一次元特徴シーケンスである。又は、胴体特徴シーケンス及び顔特徴シーケンスをそれぞれ行列要素としてスプライシングを行い、特徴行列を得る。この場合、第１組み合わせ特徴は、生成された特徴行列である。勿論、他の方式により、胴体特徴シーケンスと顔特徴シーケンスをスプライシングし、第１組み合わせ特徴を得ることもできる。本願の実施例は、これを限定するものではない。

【0064】

Ｓ１０４２ｂにおいて、各第１結果組み合わせに対応する第１組み合わせ特徴を利用して各个第１結果組み合わせに対して分類を行い、各第１結果組み合わせに対応する第１サブ関連付け結果を得る。

【0065】

つまり、組み合わせ特徴を分類するための所定の分類モデルを利用して、各第１結果組み合わせに対応する第１組み合わせ特徴を所定の分類モデルに入力し、分類を行い、最後に、所定の分類モデルから出力された結果を第１サブ関連付け結果とする。

【0066】

所定の分類モデルから出力された結果は、２つのタイプのみであることに留意されたい。１つは、関連付けたことである。これは、第１結果組み合わせにおける胴体と顔が関連付けられていることを表す。もう１つは、関連付けられていないことである。これは、第１結果組み合わせにおける胴体と顔が関連付けられていないことを表す。

【0067】

本願の幾つかの実施例において、所定の分類モデルから出力された結果は、具体的な数値で表されてもよい。例えば、第１結果組み合わせにおける胴体と顔が関連づけられていることを１で表す。第１結果組み合わせにおける胴体と顔が関連付けられていないことを０で表す。

【0068】

所定の分類モデルは、大量の組み合わせ特徴シーケンスを訓練データとして、これらの組み合わせ特徴シーケンスの関連付け結果を監督要素とすることで訓練された二値分類モデルであることが理解されるべきである。所定の分類モデルは、多層パーセプトロンであってもよく、他のモデルであってもよく、本願の実施例は、これを限定するものではない。

【0069】

本願の実施例において、各第１結果組み合わせにおける胴体特徴シーケンスと顔特徴シーケンスをスプライシングし、各第１結果組み合わせに対応する第１組み合わせ特徴を得る。更に、所定の分類モデルを利用して、第１組み合わせ特徴に基づいて、第１結果組み合わせを分類し、各第１結果組み合わせに対応する第１サブ関連付け結果を得る。これにより、胴体検出結果と顔検出結果が関連付けられているかどうかを判定し、第１サブ関連付け結果を得ることができる。

【0070】

本願の幾つかの実施例において、胴体特徴シーケンス及び動作部位特徴シーケンスに基づいて、各第２結果組み合わせの胴体検出結果と動作部位検出結果を関連付け、各第２結果組み合わせに対応する第２サブ関連付け結果を得るステップＳ１０４３の具体的な実現プロセスは、Ｓ１０４３ａ－Ｓ１０４３ｂを含んでもよい。

【0071】

Ｓ１０４３ａにおいて、１つの第２結果組み合わせにおける胴体検出結果に対応する胴体特徴シーケンス及び該第２結果組み合わせにおける動作部位検出結果に対応する動作部位特徴シーケンスに基づいて、スプライシングを行い、該第２結果組み合わせに対応する第２組み合わせ特徴を得る。

【0072】

実際の適用において、首尾スプライシング又はスプライシング行列の方式により、１つの第２結果組み合わせにおける胴体特徴シーケンスと動作部位特徴シーケンスをスプライシングし、得られたスプライシング結果を該第２結果組み合わせに対応する第２組み合わせ特徴とする。各第２結果組み合わせにおける胴体特徴シーケンス及び動作部位特徴シーケンスに対して上記操作を行い、各第２結果組み合わせに対応する第２組み合わせ特徴を得る。

【0073】

胴体特徴シーケンスと顔特徴シーケンスとのスプライシング方式と同様な方式で、胴体特徴シーケンスと動作部位特徴シーケンスをスプライシングしてもよく、胴体特徴シーケンスと顔特徴シーケンスとのスプライシング方式と異なる方式で、胴体特徴シーケンスと動作部位特徴シーケンスをスプライシングしてもよいことに留意されたい。

【0074】

Ｓ１０４３ｂにおいて、各第２結果組み合わせに対応する第２組み合わせ特徴を利用して各第２結果組み合わせを分類し、各第２結果組み合わせの第２サブ関連付け結果を得る。

【0075】

続いて、第２組み合わせ特徴を所定の分類モデルに入力して分類演算を行い、所定の分類モデルから出力された演算結果を第２結果組み合わせに対応する第２サブ関連付け結果とする。これにより、第２結果組み合わせにおける胴体検出結果と動作部位検出結果との関連付けプロセスを完了する。

【0076】

本願の実施例において、各第２結果組み合わせにおける胴体特徴シーケンスと動作部位特徴シーケンスをスプライシングして第２組み合わせ特徴を得て、所定の分類モデルを利用して第２組み合わせ特徴を分類し、各第２結果組み合わせに対応する第２サブ関連付け結果を得る。これにより、第２結果組み合わせにおける胴体検出結果と動作部位検出結果が関連付けられているかどうかを判定することができる。

【0077】

本願の実施例による画像認識方法を示す１つの任意選択的な第３フローチャートである図４に示すように、本願の幾つかの実施例において、各胴体検出結果、各顔検出結果及び各動作部位検出結果に対してそれぞれ特徴抽出を行い、各胴体検出結果に対応する胴体特徴シーケンス、各顔検出結果に対応する顔特徴シーケンス及び各動作部位検出結果に対応する動作部位特徴シーケンスを得るステップＳ１０４１の具体的な実現プロセスは、Ｓ１０４１ａ－Ｓ１０４１ｃを含んでもよい。

【0078】

Ｓ１０４１ａにおいて、各胴体検出結果における胴体画像、各顔検出結果における顔画像及び各動作部位検出結果における動作部位画像に対してそれぞれ特徴抽出を行い、各胴体検出結果の胴体外観特徴、各顔検出結果の顔外観特徴及び各動作部位検出結果の動作部位外観特徴を得る。

【0079】

各胴体検出結果、各顔検出結果及び各動作部位検出結果に対して特徴抽出を行う場合、まず、各胴体検出結果における胴体画像を切り出し、各顔検出結果における顔画像を切り出し、各動作部位検出結果における動作部位画像を切り出し、続いて、これらの胴体画像、顔画像及び動作部位画像に対して特徴抽出を行い、胴体画像に対応する胴体外観特徴、顔画像に対応する顔外観特徴及び動作部位画像に対応する動作部位外観特徴をそれぞれ得る。

【0080】

本願の実施例において、認識されるべき画像の特徴マップから、胴体外観特徴、顔外観特徴及び動作部位外観特徴をそれぞれ得ることができ、他の外観特徴抽出アルゴリズムを利用して、胴体画像、顔画像及び動作部位画像から、胴体外観特徴、顔外観特徴及び動作部位外観特徴をそれぞれ得ることもできることが理解されるべきである。外観特徴を得るための具体的な方法は、実際の状況に応じて設定されてもよく、本願の実施例は、これを限定するものではない。

【0081】

本願の実施例において、各胴体検出結果における胴体画像、各顔検出結果における顔画像及び各動作部位検出結果における動作部位画像に対していずれも特徴抽出を行うため、得られた胴体外観特徴の数は、胴体検出結果の数と同じである。同様に、顔外観特徴の数は、顔検出結果の数と同じであり、動作部位外観特徴の数は、動作部位検出結果の数と同じである。

【0082】

本願の実施例において、得られた胴体外観特徴、顔外観特徴及び動作部位外観特徴は、一次元特徴ベクトルであってもよく、他の態様の特徴であってもよく、本願の実施例は、これを限定するものではない。

【0083】

Ｓ１０４１ｂにおいて、各胴体検出結果における胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体位置特徴を決定し、各顔検出結果における顔検出枠の座標情報に基づいて、各顔検出結果の顔位置特徴を決定し、各動作部位検出結果における動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位位置特徴を決定する。

【0084】

認識されるべき画像から、各胴体検出結果における胴体検出枠の座標情報を取得し、続いて、胴体検出枠の座標情報に基づいて、各胴体検出結果に対応する胴体位置特徴を構築する。同様に、認識されるべき画像から、各顔検出結果における顔検出枠の座標情報、及び各動作部位検出結果における動作部位検出枠の座標情報を取得し、これらの座標情報に基づいて、各顔検出結果に対応する顔位置特徴及び各動作部位検出結果に対応する動作部位位置特徴を構築する。

【0085】

本願の実施例において、得られた胴体位置特徴の数は、胴体検出結果の数と同じであり、得られた顔位置特徴の数は、顔検出結果の数と同じであり、得られた動作部位位置特徴の数は、動作部位検出結果の数と同じであることが理解されるべきである。

【0086】

本願の幾つかの実施例において、直接的に座標情報を利用して位置特徴を構築することができる。更に、まず、座標情報を利用して、検出領域の高さ、幅、面積などのパラメータを算出し、これらのパラメータを利用して位置特徴を構築することもできる。本願の実施例は、これを限定するものではない。

【0087】

Ｓ１０４１ｃにおいて、各胴体検出結果の胴体外観特徴と胴体位置特徴をスプライシングし、各胴体検出結果の胴体特徴シーケンスを得、各顔検出結果の顔外観特徴と顔位置特徴をスプライシングし、各顔検出結果の顔特徴シーケンスを得、各動作部位検出結果の動作部位外観特徴と動作部位位置特徴をスプライシングし、各動作部位検出結果の動作部位特徴シーケンスを得る。

【0088】

胴体外観特徴の数及び胴体位置特徴の数は、いずれも胴体検出結果の数と同じであるため、得られた胴体特徴シーケンスの数は、必然的に胴体検出結果の数と同じである。同様に、顔特徴シーケンスの数は、顔検出結果の数と同じであり、動作部位特徴シーケンスの数は、動作部位検出結果の数と同じである。

【0089】

本願の実施例において、各胴体検出結果の胴体外観特徴、各顔検出結果の顔外観特徴及び各動作部位検出結果の動作部位外観特徴をそれぞれ抽出し、各胴体検出結果の胴体検出枠の座標情報、各顔検出結果の顔検出枠の座標情報、及び各動作部位検出結果の動作部位検出枠の座標情報に基づいて、胴体位置特徴、顔位置特徴及び動作部位位置特徴を生成する。最後に、これらの外観特徴と位置特徴をスプライシングし、各胴体検出結果の胴体特徴シーケンス、各顔検出結果の顔特徴シーケンス及び各動作部位検出結果の動作部位特徴シーケンスを得る。これにより、各胴体検出結果、各顔検出結果及び各動作部位検出結果に対する特徴抽出プロセスを完了する。

【0090】

本願の実施例による画像認識方法を示す１つの任意選択的な第４フローチャートである図５に示すように、本願の幾つかの実施例において、各胴体検出結果における胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体位置特徴を決定し、各顔検出結果における顔検出枠の座標情報に基づいて、各顔検出結果の顔位置特徴を決定し、各動作部位検出結果における動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位位置特徴を決定するステップＳ１０４１ｂの具体的な実現プロセスは、Ｓ２０１－Ｓ２０４を含んでもよい。

【0091】

Ｓ２０１において、各胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体領域位置パラメータを生成し、各顔検出枠の座標情報に基づいて、各顔検出結果の顔領域位置パラメータを生成し、各動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位領域位置パラメータを生成する。

【0092】

本発明の幾つかの実施例において、１つの胴体検出結果の胴体領域位置パラメータは、該胴体検出結果における胴体検出枠の座標情報、該胴体検出結果における胴体検出枠の幅、高さ及び面積のうちの少なくとも1つを含む。１つの顔検出結果における顔領域位置パラメータは、該顔検出結果における顔検出枠の座標情報、該顔検出結果における顔検出枠の幅、高さ及び面積のうちの少なくとも１つを含む。同様に、１つの動作部位検出結果における動作部位領域位置パラメータは、該動作部位検出結果における動作部位検出枠の座標情報、該動作部位検出結果における動作部位検出枠の幅、高さ及び面積のうちの少なくとも１つを含む。

【0093】

続いて、取得された胴体検出枠の４つの座標情報を利用して、胴体検出枠の長さ、幅及び面積を算出する。続いて、胴体検出枠の４つの座標情報、胴体検出枠の長さ、胴体検出枠の幅及び胴体検出枠の面積から、１つ又は複数のパラメータを選択して胴体検出枠の位置パラメータとする。同様に、胴体検出領域位置パラメータと同様な方式で、顔領域位置パラメータ及び動作部位検出領域位置パラメータを得ることができる。

【0094】

Ｓ２０２において、所定の胴体シーケンスビット数、所定の胴体特徴構築モデル及び胴体特徴構築パラメータに基づいて、各胴体検出結果の胴体領域位置パラメータに応じて、各胴体検出結果の胴体位置シーケンスを構築し、各胴体検出結果の胴体位置シーケンスに応じて、各胴体検出結果の胴体位置特徴を生成し、胴体特徴構築パラメータは、所定の胴体シーケンスビット数に応じて生成される。

【0095】

つまり、所定の胴体シーケンスビット数に応じて、構築されるべき胴体の位置シーケンスの長さを決定し、更に、胴体の位置シーケンスの長さに応じて、胴体サブ構築パラメータを決定し、続いて、例えば、全ての偶数ビット、全ての奇数ビットなどのような、所定の胴体シーケンスビット数における幾つかの添え字を選び出し、続いて、これらのビット数の添え字及びサブ構築パラメータに応じて、胴体特徴構築パラメータを生成する。続いて、胴体特徴構築パラメータ及び胴体特徴構築モデルを利用して各胴体検出結果の胴体位置特徴を構築する。更に、胴体位置特徴を利用してスプライシングを行い、各胴体検出結果の胴体位置特徴を生成する。ここで、所定の胴体シーケンスビット数は、設定された胴体シーケンス添え字のビット数を指す。

【0096】

本願の実施例において、選び出された添え字を胴体サブ構築パラメータと比較することで、添え字の比を得て、続いて、添え字の比を指数として、胴体サブ構築パラメータの倍数を基数として、指数演算を行い、指数演算の結果を胴体特徴構築パラメータとすることができることに留意されたい。

【0097】

例示的に、本願の実施例は、胴体特徴構築パラメータの構築式を提供する。式（１）に示すとおりである。

（１）
ここで、

は、倍数であり、実際の状況に応じて設定してもよい。

は、胴体サブ構築パラメータであり、

は、所定の胴体シーケンスビット数における偶数ビットであり、

は、胴体特徴構築パラメータである。画像認識装置が所定の胴体シーケンスビット数を取得し、胴体の位置シーケンスの長さを決定した後、胴体の位置シーケンスの長さに応じて、胴体サブ構築パラメータ

を決定し、所定の胴体シーケンスビット数における全ての偶数ビット添え字を取得することができる。続いて、これらのパラメータを式（１）に代入し、胴体特徴構築パラメータを得る。

【0098】

本願の実施例において、所定の胴体シーケンスビット数は、実際の状況に応じて決定されたものであってもよく、本願の実施例は、これを限定するものではないことが理解されるべきである。例示的に、所定の胴体シーケンスビット数は、０，１，２，……，２５５であってもよく、この場合、計２５６個の添え字がある。所定の胴体シーケンスビット数は、１，２，……１２８であってもよく、この場合、計１２８個の添え字がある。

【0099】

画像認識装置が所定の胴体シーケンスビット数を取得した時、構築されるべき胴体の位置シーケンスは、実際に決まったものであることに留意されたい。構築される位置シーケンスの長さは、所定の胴体シーケンスビット数の最後の添え字に関わる。本願の実施例において、シーケンス添え字のビット数が０から始まる時、胴体の位置シーケンスの長さは、所定のシーケンスビット数の最後の添え字－１である。シーケンス添え字のビット数が１から始まる時、胴体の位置シーケンスの長さは、所定のシーケンスビット数の最後の添え字と同じである。更に、胴体の位置シーケンスの長さが決まった後、胴体特徴構築パラメータにおける胴体サブ構築パラメータも決まったものである。

【0100】

本願の幾つかの実施例において、胴体特徴構築パラメータにおける胴体サブ構築パラメータは、胴体の位置シーケンスと同じである。例えば、胴体の位置シーケンスの長さが２５６である場合、胴体のサブ構築パラメータも２５６である。胴体特徴構築パラメータにおける胴体サブ構築パラメータは、胴体の位置シーケンスの長さの半分であってもよい。例えば、胴体の位置シーケンスの長さが２５６である場合、胴体サブ構築パラメータは、１２８である。本願の実施例は、これを限定するものではない。

【0101】

胴体領域位置パラメータは、胴体検出枠の座標、長さ、幅及び面積のうちの少なくとも１つを含み、各胴体領域位置パラメータに対して位置シーケンスを構築するため、位置シーケンスの数は、領域位置パラメータの数と同じである。

【0102】

例示的に、胴体検出領域の４つの座標（胴体検出枠の４つの隅部の座標であってもよい）のみを胴体領域位置パラメータとした時、１つの胴体検出領域について、４つの位置シーケンスを得ることができる。また、該４つの位置シーケンスは、該４つの座標に一対一に対応する。４つの座標、高さ、幅及び面積を胴体領域位置パラメータとした時、１つの胴体検出領域について、７個の胴体位置シーケンスを得ることができる。また、該７個の位置シーケンスは、それぞれ４つの座標、高さ、幅及び面積に対応する。

【0103】

所定の胴体特徴構築モデルは、所定の胴体シーケンスビット数における各添え字ビット数に対して位置要素を構築するためのものである。所定の胴体特徴構築モデルは、コサイン構築モデルであってもよく、サイン構築モデルであってもよく、他の構築モデルであってもよく、本願の実施例は、これを限定するものではない。

【0104】

胴体位置シーケンスの数が胴体領域位置パラメータの数と同じであるため、胴体領域位置パラメータが１つだけである場合、胴体位置シーケンスも１つだけである。この場合、胴体位置シーケンスを直接的に胴体位置特徴とすることができる。胴体領域位置パラメータに複数のパラメータが含まれる場合、胴体位置シーケンスも複数である。この場合、複数の胴体位置シーケンスを首尾で接続することでスプライシングし、胴体位置特徴を得る。

【0105】

１つ又は複数の胴体位置シーケンスが得られたため、胴体位置特徴の長さは、胴体位置シーケンスの長さと位置シーケンスの数との積であることが理解されるべきである。

【0106】

Ｓ２０３において、所定の顔シーケンスビット数、所定の顔特徴構築モデル及び顔特徴構築パラメータに基づいて、各顔検出結果の顔領域位置パラメータに応じて、各顔検出結果の顔位置シーケンスを構築し、各顔検出結果の顔位置シーケンスに応じて、各顔検出結果の顔位置特徴を生成し、顔特徴構築パラメータは、所定の顔シーケンスビット数に応じて生成される。

【0107】

Ｓ２０４において、所定の動作部位シーケンスビット数、所定の動作部位特徴構築モデル及び動作部位特徴構築パラメータに基づいて、各動作部位検出結果の動作部位領域位置パラメータに応じて、各動作部位検出結果の動作部位位置シーケンスを構築し、各動作部位検出結果の動作部位位置シーケンスに応じて、各動作部位検出結果の動作部位位置特徴を生成し、動作部位特徴構築パラメータは、所定の動作部位シーケンスビット数に応じて生成される。

【0108】

Ｓ２０１と同様な方式で、各顔検出結果の顔位置特徴及び各動作部位検出結果の動作部位位置特徴を得ることができる。所定の胴体シーケンスビット数、所定の顔シーケンスビット数及び所定の動作部位シーケンスビット数は、同じであって異なってもよく、本発明の実施例はこれを限定するものではないことに留意されたい。

【0109】

本願の実施例において、胴体検出枠の座標情報、顔検出枠の座標情報及び動作部位検出枠の座標情報に基づいて、胴体領域位置パラメータ、顔領域位置パラメータ及び動作部位領域位置パラメータをそれぞれ生成し、これらの位置パラメータ、所定のシーケンスビット数、所定の特徴構築モデル及び生成された特徴構築パラメータに基づいて、胴体位置シーケンス、顔位置シーケンス及び動作部位位置シーケンスを得て、更に、胴体位置特徴、顔位置特徴及び動作部位位置特徴を得ることができる。これにより、胴体位置特徴、顔位置特徴及び動作部位位置特徴の生成を完了することができる。

【0110】

本願の幾つかの実施例において、所定のシーケンスビット数が偶数ビットである時、所定の特徴構築モデルは、サイン構築モデルであってもよい。前記位置シーケンスは、ステップＳ２０５－Ｓ２０８により決定される。具体的には以下のとおりである。

【0111】

Ｓ２０５において、各検出結果の領域位置パラメータを特徴構築パラメータと比較し、各検出結果の第１パラメータ比を得る。

【0112】

例示的に、本願の実施例は、第１パラメータ比の生成プロセスを提供する。式（２）に示すとおりである。

（２）
ここで、

は、領域位置パラメータであり、

は、算出された特徴構築パラメータであり、

は、第１パラメータ比である。各検出結果の領域位置パラメータを得て特徴構築パラメータを算出した後、これらのパラメータを式（２）に代入し、各検出結果の第１パラメータ比をそれぞれ得ることができる。

【0113】

１つの検出結果の領域位置パラメータに検出領域の座標、長さ、幅及び面積のうちの少なくとも１つが含まれるため、該検出結果の１つ又は複数の第１パラメータ比をそれぞれ決定することができ、またこれらの第１パラメータ比は、いずれも領域位置パラメータに対応することに留意されたい。

【0114】

Ｓ２０６において、サイン構築モデルを利用して各検出結果の第１パラメータ比に対して正弦値演算を行い、第１位置要素を得る。

【0115】

第１パラメータ比を得た後、所定のシーケンスビット数における各添え字に対して位置要素構築を行う。本願の実施例において、位置添え字が偶数である場合、即ち、所定のシーケンスビット数が偶数ビットである場合、第１パラメータ比をサイン構築モデルに代入し、正弦値演算を行い、得られた正弦値を第１位置要素とマークする。これにより、所定のシーケンスビット数における全ての偶数ビットの第１位置要素の演算を完了する。

【0116】

例示的に、本願の実施例は、偶数ビットでの第１位置要素の演算プロセスを提供する。式（３）に示すとおりである。

（３）
ここで、

は、第１パラメータ比であり、

は、所定のシーケンスビット数における偶数ビットであり、

は、算出された第１位置要素である。第１パラメータ比を得た後、第１パラメータ比を式（３）に代入し、第１位置要素を算出することができる。

【0117】

第１位置要素は、偶数ビットでの位置要素を指し、所定のシーケンスビット数において複数の偶数ビットが存在することがあるため、第１位置要素は、１つの要素を特に指すものではなく、全ての偶数ビットでの第１位置要素を広範に指すことに留意されたい。

【0118】

Ｓ２０７において、各検出結果の第１位置要素に基づいて、各検出結果の位置シーケンスを決定する。

【0119】

１つの検出結果に対して、該検出結果の第１位置要素を得た後、添え字の順番に応じて、該検出結果の全ての第１位置要素を配列して整合し、整合結果を該検出結果の位置シーケンスとする。

【0120】

Ｓ２０８において、所定のシーケンスビット数が所定の胴体シーケンスビット数である時、所定の特徴構築モデルは、所定の胴体特徴構築モデルであり、特徴構築パラメータは、胴体特徴構築パラメータであり、検出結果は、胴体検出結果であり、領域位置パラメータが胴体領域位置パラメータであり、位置シーケンスは、胴体位置シーケンスである。所定のシーケンスビット数が所定の顔シーケンスビット数である時、所定の特徴構築モデルは、所定の顔特徴構築モデルであり、特徴構築パラメータは、顔特徴構築パラメータであり、検出結果は、顔検出結果であり、領域位置パラメータは、顔領域位置パラメータであり、位置シーケンスは、顔位置シーケンスである。所定のシーケンスビット数が所定の動作部位シーケンスビット数である時、所定の特徴構築モデルは、所定の動作部位特徴構築モデルであり、特徴構築パラメータは、動作部位特徴構築パラメータであり、検出結果は、動作部位検出結果であり、領域位置パラメータは、動作部位領域位置パラメータであり、位置シーケンスは、動作部位位置シーケンスである。

【0121】

本願の実施例において、サイン構築モデルを利用して、所定のシーケンスビット数における偶数ビットに対して第１位置要素を生成し、第１位置要素を利用して位置シーケンスを得て、更に、位置特徴を得る。これにより、位置シーケンスを得るための方式で、胴体位置特徴、顔位置特徴及び動作部位位置特徴を構築することができる。

【0122】

本願の幾つかの実施例において、所定のシーケンスビット数が奇数ビットである場合、所定の特徴構築モデルは、コサイン構築モデルであってもよく、前記位置シーケンスは、ステップＳ２０９－Ｓ２１２により決定される。具体的には、以下のとおりである。

【0123】

Ｓ２０９において、各検出結果の領域位置パラメータを特徴構築パラメータと比較し、各検出結果の第２パラメータ比を得る。

【0124】

Ｓ２１０において、コサイン構築モデルを利用して各検出結果の第２パラメータ比に対して余弦値演算を行い、第２位置要素を得る。

【0125】

添え字が奇数である場合、即ち、所定のシーケンスビット数が奇数ビットである場合、第２パラメータ比をコサイン構築モデルに代入して演算を行い、得られた余弦値を第２位置要素とマークする。

【0126】

例示的に、本願の実施例は、奇数ビットでの第２位置要素の演算プロセスを提供する。式（４）に示すとおりである。

（４）
ここで、

は、第１パラメータ比であり、

は、所定のシーケンスビット数における奇数ビットを指す。

は、算出された第２位置要素である。第２パラメータ比を式（４）に代入し、第２位置要素を算出する。

【0127】

第１位置要素と同様に、第２位置要素は、１つの胴体位置要素を特に指すものではなく、全ての奇数ビットでの位置要素を広範に指すことが理解されるべきである。

【0128】

Ｓ２１１において、各検出結果の第２位置要素に基づいて、各検出結果の位置シーケンスを決定する。

【0129】

Ｓ２１２において、所定のシーケンスビット数が所定の胴体シーケンスビット数である時、所定の特徴構築モデルは、所定の胴体特徴構築モデルであり、特徴構築パラメータは、所定の胴体特徴構築パラメータであり、検出結果は、胴体検出結果であり、領域位置パラメータは、胴体領域位置パラメータであり、位置シーケンスは、胴体位置シーケンスである。

【0130】

所定のシーケンスビット数が所定の顔シーケンスビット数である時、所定の特徴構築モデルは、所定の顔特徴構築モデルであり、特徴構築パラメータは、所定の顔特徴構築パラメータであり、検出結果は、顔検出結果であり、領域位置パラメータは、顔領域位置パラメータであり、位置シーケンスは、顔位置シーケンスである。所定のシーケンスビット数が所定の動作部位シーケンスビット数である時、所定の特徴構築モデルは、所定の動作部位特徴構築モデルであり、特徴構築パラメータは、所定の動作部位特徴構築パラメータであり、検出結果は、動作部位検出結果であり、領域位置パラメータは、動作部位領域位置パラメータであり、位置シーケンスは、動作部位位置シーケンスである。

【0131】

本願の実施例において、コサイン構築モデルを利用して、所定のシーケンスビット数における奇数ビットに対して第２位置要素を生成し、第２位置要素を利用して位置シーケンスを得ることができる。これにより、画像認識装置は、位置シーケンスを得る方式で、胴体位置特徴、顔位置特徴及び動作部位位置特徴を構築する。

【0132】

本願の幾つかの実施例において、各胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体領域位置パラメータを生成し、各顔検出枠の座標情報に基づいて、各顔検出結果の顔領域位置パラメータを生成し、各動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位領域位置パラメータを生成するステップＳ２０１の具体的な実現プロセスは、Ｓ２０１１－Ｓ２０１４を含んでもよい。

【0133】

Ｓ２０１１において、各胴体検出結果における胴体検出枠の座標情報に基づいて、各胴体検出結果における胴体検出枠の幅、高さ及び面積を算出し、各顔検出結果における顔検出枠の座標情報に基づいて、各顔検出結果における顔検出枠の幅、高さ及び面積を算出し、各動作部位検出結果における動作部位検出枠の座標情報に基づいて、各動作部位検出結果における動作部位検出枠の幅、高さ及び面積を算出する。

【0134】

胴体検出枠の左上隅の横軸座標と胴体検出枠の右上隅の横軸座標との差分値を求め、得られた差分値を胴体検出枠の幅とし、胴体検出枠の左下隅の縦軸座標と胴体検出枠の左上隅の縦軸座標との差分値を求め、得られた差分値を胴体検出枠の高さとする。最後に、幅と高さを乗算することで、胴体検出枠の面積を得る。また、胴体検出枠の幅を求めるための方法と同様な方法で、顔検出枠の幅及び動作部位検出枠の幅をそれぞれ求める。胴体検出枠の高さを求めるための方法と同様な方法で、顔検出枠の高さ及び動作部位検出枠の高さをそれぞれ求める。胴体検出枠の面積を求めるための方法と同様な方法で、顔検出枠の面積及び動作部位検出枠の面積をそれぞれ求める。

【0135】

例示的に、本願は、胴体検出枠の幅、高さ及び面積を示す概略図を提供する。図６に示すように、

は、胴体検出枠の左上隅の座標であり、

は、胴体検出枠の右上隅の座標であり、

は、胴体検出枠の左下隅の座標であり、

は、胴体検出枠の右下隅の座標である。この場合、胴体検出枠の幅は、

であり、胴体検出枠の高さは、

である。従って、胴体検出枠の面積は、

である。

【0136】

Ｓ２０１２において、各胴体検出結果における胴体検出枠の座標情報、幅、高さ及び面積のうちの少なくとも１つを利用して、各胴体検出結果の胴体領域位置パラメータを構築する。

【0137】

各胴体検出結果における胴体検出枠の４つの座標、胴体検出枠の幅、胴体検出枠の高さ及び胴体検出枠の面積を得た後、これらのパラメータから、１つ又は複数のパラメータを選択して胴体領域位置パラメータとする。これにより、画像認識装置は、各胴体検出結果の胴体領域位置パラメータを得る。

【0138】

Ｓ２０１３において、各顔検出結果における顔検出領域の座標情報、幅、高さ及び面積のうちの少なくとも１つを利用して、各顔検出結果の顔領域位置パラメータを構築する。

【0139】

同様に、各顔検出結果の顔検出枠の４つの座標、顔検出枠の幅、顔検出枠の高さ及び顔検出枠の面積を得た後、これらのパラメータから１つ又は複数のパラメータを選択して各顔検出結果の顔領域位置パラメータとすることができる。

【0140】

Ｓ２０１４において、各動作部位検出結果における動作部位検出枠の座標情報、幅、高さ及び面積のうちの少なくとも１つを利用して、各動作部位検出結果の動作部位領域位置パラメータを構築する。

【0141】

同様に、各動作部位検出結果の動作部位検出枠の４つの座標、動作部位検出枠の幅、動作部位検出枠の高さ及び動作部位検出枠の面積のうちの1つ又は複数のパラメータを用いて各動作部位検出結果の動作部位領域位置パラメータとする。

【0142】

本願の実施例において、胴体検出枠の座標情報、顔検出枠の座標情報及び動作部位検出枠の座標情報を利用して、胴体検出領域位置パラメータ、顔検出領域位置パラメータ及び動作部位検出領域位置パラメータをそれぞれ得る。これにより、後続で、これらの位置パラメータを利用して位置シーケンスを得ることができる。

【0143】

本願の実施例による画像認識方法を示す１つの任意選択的な第５フローチャートである図７に示すように、本願の幾つかの実施例において、各胴体検出結果における胴体画像、各顔検出結果における顔画像及び各動作部位検出結果における動作部位画像に対してそれぞれ外観特徴抽出を行い、各胴体検出結果の胴体外観特徴、各顔検出結果の顔外観特徴及び各動作部位検出結果の動作部位外観特徴を得るステップＳ１０４１ａの具体的な実現プロセスは、Ｓ３０１－Ｓ３０４を含んでもよい。

【0144】

Ｓ３０１において、認識されるべき画像に対応する少なくとも１つの特徴マップを得る。

【0145】

特徴抽出を行う場合、まず、認識されるべき画像に対して領域検出を行う時に生成された特徴マップを抽出する必要がある。これにより、後続で、特徴マップから外観特徴を直接的に抽出することができる。画像認識装置は、領域検出を行う場合、認識されるべき画像を複数の異なるチャネルに入力して畳み込み演算を行う。ここで、１つのチャネルは、１つの畳み込みカーネルに対応する。１つの畳み込みカーネルは、１つの特徴マップを得ることができる。従って、画像認識装置は、少なくとも１つの特徴マップを得ることができる。特徴マップの数は、チャネルの数と同じである。

【0146】

例示的に、画像認識装置は、認識されるべき画像をそれぞれ６４個のチャネルに入力して畳み込み演算を行う場合、６４個の特徴マップを得ることができる。

【0147】

Ｓ３０２において、少なくとも１つの特徴マップのうちの各特徴マップから、各胴体検出結果の胴体特徴マップを取得し、各胴体検出結果の胴体特徴マップに対して領域分割を行い、少なくとも１つの胴体特徴サブ領域を得て、各胴体特徴サブ領域に対して最大値特徴抽出を行い、各胴体検出結果に対応する少なくとも１つの胴体外観サブ特徴を得て、各胴体検出結果に対応する少なくとも１つの胴体外観サブ特徴を利用して、各胴体検出結果の胴体外観特徴を構築する。

【0148】

つまり、各特徴マップから、各胴体検出結果の胴体画像に対応する画像コンテンツをそれぞれ取得し、各胴体検出結果の胴体特徴マップを得る。所定のサブ領域分割ルールに応じて、胴体特徴マップをそれぞれ複数の胴体特徴サブ領域に分割する。胴体特徴サブ領域に１つ又は複数の特徴画素が存在する可能性があるため、これらの特徴画素から最大の特徴画素を取り出して該胴体サブ領域に対応する胴体外観サブ特徴として、更に各胴体検出結果に対応する少なくとも１つの胴体外観サブ特徴を得る。１つの胴体外観サブ特徴を得た時、該胴体外観サブ特徴を直接的に胴体外観特徴とすることができる。複数の胴体外観サブ特徴をそれぞれ得た時、複数の胴体外観サブ特徴のうちの各胴体外観サブ特徴を首尾で接続することでスプライシングし、胴体外観特徴を得ることができる。

【0149】

特徴マップは、認識されるべき画像に対して畳み込みを行うことで得られたものであるため、特徴マップの寸法は、認識されるべき画像の寸法と異なることが理解されるべきである。従って、胴体検出枠の座標情報に対して寸法変換を行い、胴体マッピング枠の座標情報を得て、更に、胴体マッピング枠の座標情報に基づいて、胴体マッピング枠により囲まれた画像コンテンツを得て、該コンテンツを胴体特徴マップとする。

【0150】

胴体検出枠の座標情報に対して寸法変換を行った後、得られた胴体マッピング枠の座標情報は、浮動小数点数である可能性があることに留意されたい。この場合、直接的に、浮動小数点数の座標情報を利用して胴体特徴マップを取得することができる。浮動小数点数の座標情報を整数の座標情報に変換して胴体特徴マップを得ることもできる。

【0151】

本願の幾つかの実施例において、胴体サブ領域に対して引き続き分割を行い、胴体サブ領域の分割結果を得て、分割結果の中間位置の特徴画素を取得し、更に、これらの中間位置の特徴画素を比較し、最大の中間位置の特徴画素を胴体サブ領域に対応する胴体外観サブ特徴とすることもできることに留意されたい。ここで、胴体サブ領域の座標情報は、浮動小数点数であってもよいため、分割結果の中間位置は、浮動小数点数であってもよい。つまり、特徴マップにおいて、分割結果の中間位置に対応する特徴画素を直接的に見付けることができない。この場合、画像認識装置は、双線形差分法を利用して、分割結果の中間位置に近い特徴画素に基づいて、分割結果の中間位置の特徴画素を算出し、更に、胴体外観サブ特徴を得ることができる。

【0152】

Ｓ３０３において、少なくとも１つの特徴マップのうちの各特徴マップから、各顔検出結果の顔特徴マップを取得し、各顔検出結果の顔特徴マップに対して領域分割を行い、少なくとも１つの顔特徴サブ領域を得て、各顔特徴サブ領域に対して最大値特徴抽出を行い、各顔検出結果に対応する少なくとも１つの顔外観サブ特徴を得て、各顔検出結果に対応する少なくとも１つの顔外観サブ特徴を利用して各顔検出結果の顔外観特徴を構築する。

【0153】

Ｓ３０４において、少なくとも１つの特徴マップのうちの各特徴マップから、各動作部位検出結果の動作部位特徴マップを取得し、各動作部位検出結果の動作部位特徴マップに対して領域分割を行い、少なくとも１つの動作部位特徴サブ領域を得て、各動作部位特徴サブ領域に対して最大値特徴抽出を行い、各動作部位検出結果に対応する少なくとも１つの動作部位外観サブ特徴を得て、各動作部位検出結果に対応する少なくとも１つの動作部位外観サブ特徴を利用して各動作部位検出結果の動作部位外観特徴を構築する。

【0154】

Ｓ３０３及びＳ３０４の実現プロセスは、Ｓ３０２と類似し、本願の実施例は、ここで、詳細な説明を省略することに留意されたい。

【0155】

本願の実施例において、特徴マップから、各胴体検出結果の胴体画像に対応する胴体外観特徴、各顔検出結果における顔画像に対応する顔外観特徴、及び各動作部位検出結果における動作部位画像に対応する動作部位外観特徴を得る。これにより、後続で、これらの外観特徴に基づいて、胴体特徴シーケンス、顔特徴シーケンス及び動作部位特徴シーケンスをそれぞれ得る。

【0156】

本願の幾つかの実施例において、認識されるべき画像に対して検出を行い、少なくとも１つの胴体検出結果、少なくとも１つの顔検出結果及び少なくとも１つの動作部位検出結果を得るステップＳ１０１の具体的な実現プロセスは、Ｓ１０１１－Ｓ１０１４を含んでもよい。

【0157】

Ｓ１０１１において、所定の検出領域生成ルールに応じて、認識されるべき画像に対して少なくとも１つの候補検出枠を生成する。

【0158】

認識されるべき画像に対して検出を行う場合、まず、事前記憶された所定の検出領域生成ルールに応じて、認識されるべき画像に対して複数の候補検出枠を生成する。これにより、画像認識装置が認識されるべき画像を複数のサイズの異なる画像ブロックに分割すると認められる。

【0159】

所定の検出領域生成ルールは、１つの初期検出枠に対してスケール変換を行い、複数の検出枠を得るためのルールであってもよく、例えば、スライドウィンドウ生成などのような他の検出枠生成ルールであってもよく、本願の実施例は、これを具体的に限定するものではないことが理解されるべきである。

【0160】

Ｓ１０１２において、少なくとも１つの候補検出枠のうちの各候補検出枠により囲まれた画像に対して、胴体確率を算出し、胴体確率及び所定の重なり度合い閾値に基づいて、少なくとも１つの候補検出枠から、少なくとも１つの胴体検出枠を選択し、更に、少なくとも１つの胴体検出結果を得る。

【0161】

各候補検出枠における画像コンテンツを抽出し、続いて、事前記憶された検出モデルを利用して、各画像コンテンツに対して認識を行い、各画像コンテンツがそれぞれ胴体画像である確率を得る。つまり、胴体確率を得る。各画像コンテンツの胴体確率及び所定の重なり度合い閾値に基づいて、全ての候補検出枠から、胴体検出枠を見出し、胴体検出枠における胴体画像と組み合わせて、胴体検出結果を得ることで、少なくとも１つの胴体検出結果を得る。

【0162】

Ｓ１０１３において、少なくとも１つの候補検出枠のうちの各候補検出枠により囲まれた画像に対して、顔確率を算出し、顔確率及び所定の重なり度合い閾値に基づいて、少なくとも１つの候補検出枠から、少なくとも１つの顔検出枠を選択し、更に、少なくとも１つの顔検出結果を得る。

【0163】

Ｓ１０１４において、少なくとも１つの候補検出枠のうちの各候補検出枠により囲まれた画像に対して、動作部位確率を算出し、動作部位確率及び所定の重なり度合い閾値に基づいて、少なくとも１つの候補検出枠から、少なくとも１つの動作部位検出枠を選択し、更に、少なくとも１つの動作部位検出結果を得る。

【0164】

所定の重なり度合い閾値は、距離が近い複数の検出枠から、１つの検出枠を選択するためのものである。つまり、得られた少なくとも１つの胴体検出枠は、検出枠選別操作を行うことで得られたものである。従って、候補検出枠の数は、胴体検出結果の数、顔検出結果の数及び動作部位検出結果の数の和以上である。

【0165】

本願の実施例において、認識されるべき画像における全ての候補検出枠により囲まれた画像コンテンツに対して認識を行い、胴体確率、顔確率及び動作部位確率を得る。更にこれらの確率に基づいて、少なくとも１つの胴体検出結果、少なくとも１つの顔検出結果及び少なくとも１つの動作部位検出結果を得る。これにより、後続で、少なくとも１つの胴体検出結果、少なくとも１つの顔検出結果及び少なくとも１つの動作部位検出結果を組み合わせることができる。

【0166】

本願の幾つかの実施例において、Ｓ１０１１における所定の検出領域生成ルールは、Ｓ１０１１ａ－Ｓ１０１１ｂを含んでもよい。

【0167】

Ｓ１０１１ａにおいて、所定の初期寸法に応じて、初期検出枠を生成する。

【0168】

Ｓ１０１１ｂにおいて、初期検出枠に対してスケール変換及び伸張変換を行い、少なくとも１つの候補検出枠を得る。

【0169】

つまり、まず、所定の初期寸法の検出枠を生成し、該検出枠を初期検出枠とする。続いて、初期検出枠のスケールを変換し、複数の候補検出枠を得る。それと同時に、初期検出枠の面積を不変のまま確保する上で、初期検出枠の幅及び高さに対して伸張を行い、引き続き、候補検出枠を得る。これにより、所定の検出枠生成ルールに応じて、更に少なくとも１つの候補検出枠を得ることができる。

【0170】

本願の実施例において、所定の初期寸法に応じて初期検出枠を生成する。続いて、初期検出枠に対して変換を行い、少なくとも１つの候補検出枠を得る。これにより、画像認識装置は、少なくとも１つの候補検出枠により画像コンテンツを囲み、これらの画像コンテンツの胴体確率、顔確率及び動作部位確率を算出し、更に、少なくとも１つの胴体検出結果、少なくとも１つの顔検出結果及び少なくとも１つの動作部位検出結果を得ることができる。

【0171】

本願の幾つかの実施例において、胴体確率、顔確率、動作部位確率及び所定の重なり度合い閾値に基づいて、少なくとも１つの候補検出枠から、少なくとも１つの胴体検出枠、少なくとも１つの顔検出枠及び少なくとも１つの動作部位検出枠を選択し、更に、少なくとも１つの胴体検出結果、少なくとも１つの顔検出結果及び少なくとも１つの動作部位検出結果を得るステップＳ１０１３の具体的な実現プロセスは、Ｓ１０１３ａ－Ｓ１０１３ｇを含んでもよい。

【0172】

Ｓ１０１３ａにおいて、胴体確率、顔確率及び動作部位確率に基づいて、少なくとも１つの候補検出枠から少なくとも１つの一時的胴体検出領域、少なくとも１つの一時的顔検出領域及び少なくとも１つの一時的動作部位検出領域をそれぞれ選択する。

【0173】

各候補検出枠はいずれも胴体確率、顔確率及び動作部位確率という３つの確率に対応する。この場合、各候補検出枠の胴体確率、顔確率及び動作部位確率を比較する。胴体確率が最も大きいと、該候補検出枠は、一時的胴体検出枠である。顔確率が最も大きいと、該候補検出枠は、一時的顔検出枠である。動作部位確率が最も大きいと、該候補検出枠は、一時的動作部位検出枠である。これにより、各候補検出枠胴体確率、顔確率及び動作部位確率を比較した後、少なくとも１つの一時的胴体検出枠、少なくとも１つの一時的顔検出枠及び少なくとも１つの一時的動作部位検出枠を得ることができる。

【0174】

Ｓ１０１３ｂにおいて、胴体確率が最も大きい一時的胴体検出枠を第１胴体検出枠とし、第１胴体検出枠及び第１胴体検出枠により囲まれた胴体画像を利用して、第１胴体検出結果を構成し、少なくとも１つの一時的胴体検出枠から、第１胴体検出枠との重なり度合いが所定の重なり度合い閾値より大きい一時的胴体検出枠を削除し、少なくとも１つの中間胴体検出枠を得て、少なくとも１つの中間胴体検出枠を少なくとも１つの一時的胴体検出枠とし、上記プロセスを引き続き実行し、少なくとも１つの胴体検出結果を得るまで継続する。

【0175】

つまり、全ての一時的胴体検出枠の胴体確率を比較し、胴体確率が最も大きい一時的胴体検出枠を選択して第１胴体検出枠とする。それと同時に、第１胴体検出枠及び第１胴体検出枠により囲まれた胴体画像を利用して、第１胴体検出結果を構成する。この場合、画像認識装置は、１つの胴体検出結果を得る。画像認識装置は、第１胴体検出枠と少なくとも１つの一時的胴体検出枠のうちの他の一時的検出枠との重なり度合いを算出し、重なり度合いが所定の重なり度合い閾値より大きいと、画像認識装置は、一時的検出枠が第一胴体検出枠に近く、それにより囲まれた胴体画像と第１胴体検出枠により囲まれた胴体画像との重なり度合いが高い可能性があると認める。この場合、該一時的検出枠を削除することができる。重なり度合いが所定の重なり度合い閾値より大きい全ての一時的胴体検出枠を削除した後、少なくとも１つの中間胴体検出枠を得ることができる。

【0176】

上記プロセスを実行した後、１つの胴体検出結果が得られ、該胴体検出枠に近い検出枠が削除された。この場合、引き続き少なくとも１つの中間胴体検出枠を少なくとも１つの一時的胴体検出枠として、上記プロセスを継続し、このように繰り返して実行すると、少なくとも１つの胴体検出結果を得ることができる。

【0177】

Ｓ１０１３ｃにおいて、顔確率が最も大きい一時的胴体検出枠を第１顔検出枠とし、第１顔検出枠及び第１顔検出枠により囲まれた顔画像を利用して、第１顔検出結果を構成し、少なくとも１つの一時的顔検出枠から、第１顔検出枠との重なり度合いが所定の重なり度合い閾値より大きい一時的顔検出枠を削除し、少なくとも１つの中間顔検出枠を得て、少なくとも１つの中間顔検出枠を少なくとも１つの一時的顔検出枠とし、上記プロセスを引き続き実行し、少なくとも１つの顔検出結果を得るまで継続する。

【0178】

Ｓ１０１３ｄにおいて、動作部位確率が最も大きい一時的動作部位検出枠を第１動作部位検出枠とし、第１動作部位検出枠及び第１動作部位検出枠により囲まれた動作部位画像を利用して、第１動作部位検出結果を構成し、少なくとも１つの一時的動作部位検出枠から、第１動作部位検出枠との重なり度合いが所定の重なり度合い閾値より大きい一時的動作部位検出枠を削除し、少なくとも１つの中間動作部位検出枠を得て、少なくとも１つの中間動作部位検出枠を少なくとも１つの一時的動作部位検出枠とし、上記プロセスを引き続き実行し、少なくとも１つの動作部位検出結果を得るまで継続する。

【0179】

Ｓ１０１３ｃ及びＳ１０１３ｄの実現プロセスは、Ｓ１０１３ｂと類似し、本願の実施例は、ここで、詳細な説明を省略することに留意されたい。

【0180】

本願の実施例において、まず、少なくとも１つの一時的胴体検出枠から第１胴体検出枠を選択し、第１胴体検出結果を得、少なくとも１つの一時的顔検出枠から第１顔検出枠を選択し、第１顔検出結果を得て、少なくとも１つの一時的動作部位検出枠から第１動作部位検出枠を選択し、第１動作部位検出結果を得て、第１胴体検出枠、第１顔検出枠及び第１動作部位検出枠に近い検出枠をそれぞれ削除し、このように繰り返して実行することで、少なくとも１つの胴体検出結果、少なくとも１つの顔検出結果及び少なくとも１つの動作部位検出結果を得ることができる。

【0181】

以下、実際の適用シーンにおける画像認識プロセスを例として、本願の実施例で提供される画像認識方法を説明する。本願の実施例は、図１で提供される実際の適用シーンを例として、画像認識方法に含まれるプロセスを説明する。

【0182】

Ｓ４０１において、畳み込みニューラルネットワークモデルを利用して実際の適用シーンの画像における胴体検出結果、顔検出結果及び動作部位検出結果を検出する。

【0183】

この場合、これらの胴体、顔及び動作部位間の関係が知られていないことに留意されたい。

【0184】

Ｓ４０２において、実際の適用シーンの画像の６４個の特徴マップを取得する。

【0185】

Ｓ４０３において、Ｓ４０１で得られた胴体画像、顔画像及び動作部位画像を６４個の特徴マップにマッピングし、胴体画像に対応する６４個の胴体特徴マップ、顔画像に対応する６４個の顔特徴マップ及び動作部位画像に対応する６４個の動作部位特徴マップを得る。

【0186】

Ｓ４０４において、各胴体特徴マップを４９個の胴体特徴サブ領域に分割し、各顔特徴マップを４９個の顔特徴サブ領域に分割し、各動作部位特徴マップを４９個の動作部位特徴サブ領域に分割する。

【0187】

画像認識装置は、計６４×４９＝３１３６個の胴体特徴サブ領域、６４×４９＝３１３６個の顔特徴サブ領域及び６４×４９＝３１３６個の動作部位特徴サブ領域を得ることができる。

【0188】

Ｓ４０５において、各胴体特徴サブ領域の胴体外観サブ特徴、各顔特徴サブ領域の顔外観サブ特徴、動作部位特徴サブ領域の動作部位外観サブ特徴をそれぞれ抽出する。

【0189】

画像認識装置は、１つの特徴サブ領域に対して１つの外観サブ特徴を抽出する。これにより、３１３６個の胴体外観サブ特徴、３１３６個の顔外観サブ特徴及び３１３６個の動作部位外観サブ特徴を得ることができる。

【0190】

Ｓ４０５において、胴体外観サブ特徴、顔外観サブ特徴及び動作部位外観サブ特徴に基づいて、胴体外観特徴、顔外観特徴及び動作部位外観特徴をそれぞれ得る。

【0191】

実際の適用において、各外観サブ特徴を０～９の間に量子化することができる。これにより、得られた胴体外観特徴、顔外観特徴及び動作部位外観特徴は、いずれも、長さが３１３６である一次元特徴ベクトルである。

【0192】

Ｓ４０６において、胴体検出領域、顔検出領域及び動作部位検出領域の座標を利用して、胴体検出領域の幅、高さ及び面積、顔検出領域の幅、高さ及び面積、動作部位検出領域の幅、高さ及び面積をそれぞれ求める。

【0193】

１つの検出領域の座標を（ｘ１，ｙ１，ｘ２，ｙ２）とする。ここで、ｘ１は、検出領域の左上隅の横軸座標であり、ｙ１は、検出領域の左上隅の縦軸座標であり、ｘ２は、検出領域の右下隅の横軸座標であり、ｙ２は、検出領域の右下隅の縦軸座標である。続いて、該４つの座標に基づいて、検出領域の寛度ｘ２－ｘ１を求め、検出領域の高度ｙ２－ｙ１を求め、検出領域の面積（ｘ２－ｘ２）×（ｙ２－ｙ１）を求める。画像認識装置は、幅、高さを求めた後、幅を利用してｘ１及びｘ２に対して正規化を行い、高さを利用してｙ１及びｙ２に対して正規化を行うことで、正規化された座標を得る。続いて、正規化された座標を利用して、検出領域に対応する正規化幅、正規化高さ及び正規化面積を求める。

【0194】

Ｓ４０７において、胴体検出領域の座標、幅、高さ及び面積を胴体領域位置パラメータとし、顔検出領域の座標、幅、高さ及び面積を顔領域位置パラメータとし、動作部位検出領域の座標、幅、高さ及び面積を動作部位領域位置パラメータとする。

【0195】

Ｓ４０８において、胴体領域位置パラメータにおける各パラメータ、顔領域位置パラメータにおける各パラメータ、動作部位領域位置パラメータにおける各パラメータに対して、長さが２５６である位置シーケンスを構築する。

【0196】

０，１，２，……，２５５を選択して所定のシーケンスビット数とし、長さが２５６であるシーケンスを構築する。ここで、所定の特徴構築モデルは、それぞれ式（５）及び式（６）に示すとおりである。

（５）

（６）
ここで、

は、位置パラメータであり、

は、偶数ビットであり、

は、偶数ビットでの位置要素であり、

は奇数ビットでの位置要素である。

【0197】

Ｓ４０９において、胴体領域位置パラメータにおける各パラメータの長さ２５６の位置シーケンスをスプライシングし、長さ１７９２の胴体位置特徴を得て、顔領域位置パラメータにおける各パラメータの長さ２５６の位置シーケンスをスプライシングし、長さ１７９２の顔位置特徴を得て、動作部位領域位置パラメータにおける各パラメータの長さ２５６の位置シーケンスをスプライシングし、長さ１７９２の動作部位位置特徴を得る。

【0198】

Ｓ４１０において、長さ１７９２の胴体位置特徴と長さ３１３６の胴体外観特徴をスプライシングし、長さ４９２８の胴体特徴シーケンスを得、長さ１７９２の顔位置特徴と長さ３１３６の顔外観特徴をスプライシングし、長さ４９２８の顔特徴シーケンスを得、長さ１７９２の動作部位位置特徴と長さ３１３６の動作部位外観特徴をスプライシングし、長さ４９２８の動作部位特徴シーケンスを得る。

【0199】

Ｓ４１１において、少なくとも１つの胴体検出結果と少なくとも１つの顔検出結果を２つずつ組み合わせ、少なくとも１つの第１結果組み合わせを得て、少なくとも１つの胴体検出結果と少なくとも１つの動作部位検出結果を２つずつ組み合わせ、少なくとも１つの第２結果組み合わせを得る。

【0200】

Ｓ４１２において、各第１結果組み合わせにおける長さ４９２８の胴体特徴シーケンスと長さ４９２８の顔特徴シーケンスをスプライシングし、長さ９８５６の第１組み合わせ特徴を得て、多層パーセプトロンにより、第１組み合わせ特徴に対して二値分類を行い、各第１結果組み合わせに対応する第１サブ関連付け結果を得る。

【0201】

つまり、各第１結果組み合わせにおける胴体検出結果と顔検出結果が同一の人物に属するかどうかを判定する。

【0202】

Ｓ４１３において、各第２結果組み合わせにおける長さ４９２８の胴体特徴シーケンスと長さ４９２８の動作部位特徴シーケンスをスプライシングし、長さ９８５６の第２組み合わせ特徴を得て、多層パーセプトロンにより、第２組み合わせ特徴に対して二値分類を行い、各第２結果組み合わせに対応する第２サブ関連付け結果を得る。

【0203】

つまり、各第２結果組み合わせにおける胴体検出結果と動作部位検出結果が同一の人物に属するかどうかを判定する。

【0204】

Ｓ４１４において、第１サブ関連付け結果及び第２サブ関連付け結果を利用して、顔検出結果と動作部位検出結果が同一の人物に属するかどうかを判定し、画像認識プロセスを完了する。

【0205】

第１サブ関連付け結果が、胴体検出結果と顔検出結果が同一の人物に属することであり、且つ第２サブ関連付け結果が、胴体検出結果と動作部位検出結果が同一の人物に属することである場合、顔検出結果と動作部位検出結果が関連付けられている。そうでなければ、顔検出結果と動作部位検出結果は、関連付けられていない。

【0206】

上記方式により、胴体検出結果と顔検出結果との関係、及び胴体検出結果と動作部位検出結果との関係を判定することができる。これにより、胴体検出結果を利用して、顔検出結果と動作部位検出結果とを関連付けることで、顔及び動作部位の判定難度を低下させると共に、画像における人体のキーポイント情報を失うことがなく、顔と動作部位との関連付けの正確度を向上させる。

【0207】

本願の実施例は、画像認識装置を提供する。該装置は、画像認識方法に対応する。本願の実施例による画像認識装置の構造を示す第１概略図である図８に示すように、本願の実施例で提供される画像認識装置３００は、
認識されるべき画像に対して画像検出を行い、少なくとも１つの顔検出結果、少なくとも１つの動作部位検出結果及び少なくとも１つの胴体検出結果を得るように構成される検出モジュールであって、１つの顔検出結果に、１つの顔検出用検出枠が含まれ、１つの動作部位検出結果に、１つの動作部位検出枠が含まれ、１つの胴体検出結果に、１つの胴体検出枠が含まれる、検出モジュール３１０と、
前記少なくとも１つの胴体検出結果のうちの各胴体検出結果をそれぞれ、各顔検出結果と組み合わせ、少なくとも１つの第１結果組み合わせを得て、前記各胴体検出結果をそれぞれ、各動作部位検出結果と組み合わせ、少なくとも１つの第２結果組み合わせを得るように構成される組み合わせモジュール３２０と、
前記少なくとも１つの第１結果組み合わせと前記少なくとも１つの第２結果組み合わせを関連付け、関連付け結果を得るように構成される関連付けモジュール３３０と、を備える。

【0208】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、前記各胴体検出結果、各顔検出結果及び各動作部位検出結果に対してそれぞれ特徴抽出を行い、各胴体検出結果に対応する胴体特徴に対応する胴体特徴シーケンス、各顔検出結果に対応する顔特徴シーケンス及び各動作部位検出結果に対応する動作部位特徴シーケンスを得、前記胴体特徴シーケンス及び前記顔特徴シーケンスに基づいて、各第１結果組み合わせの胴体検出結果と顔検出結果を関連付け、各第１結果組み合わせに対応する第１サブ関連付け結果を得て、前記胴体特徴シーケンス及び前記動作部位特徴シーケンスに基づいて、各第２結果組み合わせの胴体検出結果と動作部位検出結果を関連付け、各第２結果組み合わせに対応する少なくとも１つの第２サブ関連付け結果を得て、各第１サブ関連付け結果及び各第２サブ関連付け結果に基づいて、前記関連付け結果を決定するように構成される。

【0209】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、各第１サブ関連付け結果に基づいて、少なくとも１つの第１結果組み合わせにおける胴体検出結果と顔検出結果が関連付けられている関連付け第１結果組み合わせを決定し、各第２サブ関連付け結果に基づいて、前記少なくとも１つの第２結果組み合わせにおける胴体検出結果と動作部位検出結果が関連付けられている関連付け第２結果組み合わせを決定し、同一の胴体検出結果を有する関連付け第１結果組み合わせと関連付け第２結果組み合わせが関連づけられていると決定するように構成され、１つの関連付け第１結果組み合わせにおける顔検出結果で表される顔は、それに関連付けられている関連付け第２結果組み合わせにおける動作部位検出結果で表される動作部位に互いに関連付けられている。

【0210】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、１つの第１結果組み合わせにおける顔検出結果に対応する顔特徴シーケンス及び該第１結果組み合わせにおける胴体検出結果に対応する胴体特徴シーケンスに基づいて、スプライシングを行い、該第１結果組み合わせに対応する第１組み合わせ特徴を得て、各第１結果組み合わせに対応する第１組み合わせ特徴を利用して各个第１結果組み合わせに対して分類を行い、各第１結果組み合わせに対応する第１サブ関連付け結果を得るように構成される。

【0211】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、１つの第２結果組み合わせにおける胴体検出結果に対応する胴体特徴シーケンス及び該第２結果組み合わせにおける動作部位検出結果に対応する動作部位特徴シーケンスに基づいて、スプライシングを行い、該第２結果組み合わせに対応する第２組み合わせ特徴を得て、各第２結果組み合わせに対応する第２組み合わせ特徴を利用して各第２結果組み合わせを分類し、各第２結果組み合わせの第２サブ関連付け結果を得るように構成される。

【0212】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、前記各胴体検出結果における胴体画像、前記各顔検出結果における顔画像及び前記各動作部位検出結果における動作部位画像に対してそれぞれ特徴抽出を行い、各胴体検出結果の胴体外観特徴、各顔検出結果の顔外観特徴及び各動作部位検出結果の動作部位外観特徴を得て、各胴体検出結果における胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体位置特徴を決定し、各顔検出結果における顔検出枠の座標情報に基づいて、各顔検出結果の顔位置特徴を決定し、各動作部位検出結果における動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位位置特徴を決定し、各胴体検出結果の胴体外観特徴と胴体位置特徴をスプライシングし、各胴体検出結果の胴体特徴シーケンスを得、各顔検出結果の顔外観特徴と顔位置特徴をスプライシングし、各顔検出結果の顔特徴シーケンスを得、各動作部位検出結果の動作部位外観特徴と動作部位位置特徴をスプライシングし、各動作部位検出結果の動作部位特徴シーケンスを得るように構成される。

【0213】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、各胴体検出枠の座標情報に基づいて、各胴体検出結果の胴体領域位置パラメータを生成し、各顔検出枠の座標情報に基づいて、各顔検出結果の顔領域位置パラメータを生成し、各動作部位検出枠の座標情報に基づいて、各動作部位検出結果の動作部位領域位置パラメータを生成し、所定の胴体シーケンスビット数、所定の胴体特徴構築モデル及び胴体特徴構築パラメータに基づいて、各胴体検出結果の胴体領域位置パラメータに応じて、各胴体検出結果の胴体位置シーケンスを構築し、各胴体検出結果の胴体位置シーケンスに応じて、各胴体検出結果の胴体位置特徴を生成するように構成され、前記胴体特徴構築パラメータは、所定の胴体シーケンスビット数に応じて生成され、前記関連付けモジュール３３０は具体的には、所定の顔シーケンスビット数、所定の顔特徴構築モデル及び顔特徴構築パラメータに基づいて、各顔検出結果の顔領域位置パラメータに応じて、各顔検出結果の顔位置シーケンスを構築し、各顔検出結果の顔位置シーケンスに応じて、各顔検出結果の顔位置特徴を生成するように構成され、前記顔特徴構築パラメータは、所定の顔シーケンスビット数に応じて生成され、前記関連付けモジュール３３０は具体的には、所定の動作部位シーケンスビット数、所定の動作部位特徴構築モデル及び動作部位特徴構築パラメータに基づいて、各動作部位検出結果の動作部位領域位置パラメータに応じて、各動作部位検出結果の動作部位位置シーケンスを構築し、各動作部位検出結果の動作部位位置シーケンスに応じて、各動作部位検出結果の動作部位位置特徴を生成するように構成され、動作部位特徴構築パラメータは、所定の動作部位シーケンスビット数に応じて生成される。

【0214】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、前記所定のシーケンスビット数が偶数ビットであり、所定の特徴構築モデルがサイン構築モデルである場合、各検出結果の領域位置パラメータを特徴構築パラメータと比較し、各検出結果の第１パラメータ比を得て、前記サイン構築モデルを利用して各検出結果の第１パラメータ比に対して正弦値演算を行い、各検出結果の第１位置要素を得て、各検出結果の第１位置要素に基づいて、各検出結果の第１位置シーケンスを決定するように構成され、所定のシーケンスビット数が所定の胴体シーケンスビット数である時、所定の特徴構築モデルは、所定の胴体特徴構築モデルであり、特徴構築パラメータは、胴体特徴構築パラメータであり、検出結果は、胴体検出結果であり、領域位置パラメータが胴体領域位置パラメータであり、第１位置シーケンスは、胴体位置シーケンスであり、所定のシーケンスビット数が所定の顔シーケンスビット数である時、所定の特徴構築モデルは、所定の顔特徴構築モデルであり、特徴構築パラメータは、顔特徴構築パラメータであり、検出結果は、顔検出結果であり、領域位置パラメータは、顔領域位置パラメータであり、位置シーケンスは、顔位置シーケンスであり、所定のシーケンスビット数が所定の動作部位シーケンスビット数である時、所定の特徴構築モデルは、所定の動作部位特徴構築モデルであり、特徴構築パラメータは、動作部位特徴構築パラメータであり、検出結果は、動作部位検出結果であり、領域位置パラメータは、動作部位領域位置パラメータであり、位置シーケンスは、動作部位位置シーケンスである。

【0215】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、前記所定のシーケンスビット数が奇数ビットであり、所定の特徴構築モデルがコサイン構築モデルである場合、
各検出結果の領域位置パラメータを特徴構築パラメータと比較し、各検出結果の第２パラメータ比を得て、
前記コサイン構築モデルを利用して各検出結果の第２パラメータ比に対して余弦値演算を行い、各検出結果の第２位置要素を得て、
各検出結果の第２位置要素に基づいて、各検出結果の位置シーケンスを決定するように構成され、
所定のシーケンスビット数が所定の胴体シーケンスビット数である時、所定の特徴構築モデルは、所定の胴体特徴構築モデルであり、特徴構築パラメータは、所定の胴体特徴構築パラメータであり、検出結果は、胴体検出結果であり、領域位置パラメータは、胴体領域位置パラメータであり、位置シーケンスは、胴体位置シーケンスであり、
所定のシーケンスビット数が所定の顔シーケンスビット数である時、所定の特徴構築モデルは、所定の顔特徴構築モデルであり、特徴構築パラメータは、所定の顔特徴構築パラメータであり、検出結果は、顔検出結果であり、領域位置パラメータは、顔領域位置パラメータであり、位置シーケンスは、顔位置シーケンスであり、
所定のシーケンスビット数が所定の動作部位シーケンスビット数である時、所定の特徴構築モデルは、所定の動作部位特徴構築モデルであり、特徴構築パラメータは、所定の動作部位特徴構築パラメータであり、検出結果は、動作部位検出結果であり、領域位置パラメータは、動作部位領域位置パラメータであり、位置シーケンスは、動作部位位置シーケンスである。

【0216】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、各胴体検出結果における胴体検出枠の座標情報に基づいて、各胴体検出結果における胴体検出枠の幅、高さ及び面積を算出し、各顔検出結果における顔検出枠の座標情報に基づいて、各顔検出結果における顔検出枠の幅、高さ及び面積を算出し、各動作部位検出結果における動作部位検出枠の座標情報に基づいて、各動作部位検出結果における動作部位検出枠の幅、高さ及び面積を算出し、各胴体検出結果における胴体検出枠の座標情報、幅、高さ及び面積のうちの少なくとも１つを利用して、各胴体検出結果の胴体領域位置パラメータを構築し、各顔検出結果における顔検出領域の座標情報、幅、高さ及び面積のうちの少なくとも１つを利用して、各顔検出結果の顔領域位置パラメータを構築し、各動作部位検出結果における動作部位検出枠の座標情報、幅、高さ及び面積のうちの少なくとも１つを利用して、各動作部位検出結果の動作部位領域位置パラメータを構築するように構成される。

【0217】

本願の幾つかの実施例において、前記関連付けモジュール３３０は具体的には、前記認識されるべき画像に対応する少なくとも１つの特徴マップを得て、前記少なくとも１つの特徴マップのうちの各特徴マップから、前記各胴体検出結果の胴体特徴マップを取得し、各胴体検出結果の胴体特徴マップに対して領域分割を行い、少なくとも１つの胴体特徴サブ領域を得て、各胴体特徴サブ領域に対して最大値特徴抽出を行い、各胴体検出結果に対応する少なくとも１つの胴体外観サブ特徴を得て、各胴体検出結果に対応する少なくとも１つの胴体外観サブ特徴を利用して、各胴体検出結果の胴体外観特徴を構築し、前記少なくとも１つの特徴マップのうちの各特徴マップから、前記各顔検出結果の顔特徴マップを取得し、各顔検出結果の顔特徴マップに対して領域分割を行い、少なくとも１つの顔特徴サブ領域を得て、各顔特徴サブ領域に対して最大値特徴抽出を行い、各顔検出結果に対応する少なくとも１つの顔外観サブ特徴を得て、各顔検出結果に対応する少なくとも１つの顔外観サブ特徴を利用して各顔検出結果の顔外観特徴を構築し、前記少なくとも１つの特徴マップのうちの各特徴マップから、前記各動作部位検出結果の動作部位特徴マップを取得し、各動作部位検出結果の動作部位特徴マップに対して領域分割を行い、少なくとも１つの動作部位特徴サブ領域を得て、各動作部位特徴サブ領域に対して最大値特徴抽出を行い、各動作部位検出結果に対応する少なくとも１つの動作部位外観サブ特徴を得て、各動作部位検出結果に対応する少なくとも１つの動作部位外観サブ特徴を利用して各動作部位検出結果の動作部位外観特徴を構築するように構成される。

【0218】

本願の幾つかの実施例において、前記検出モジュール３１０は具体的には、所定の検出領域生成ルールに応じて、前記認識されるべき画像に対して少なくとも１つの候補検出枠を生成し、少なくとも１つの候補検出枠のうちの各候補検出枠により囲まれた画像に対して、胴体確率を算出し、胴体確率及び所定の重なり度合い閾値に基づいて、少なくとも１つの候補検出枠から、少なくとも１つの胴体検出枠を選択し、更に、少なくとも１つの胴体検出結果を得、少なくとも１つの候補検出枠のうちの各候補検出枠により囲まれた画像に対して、顔確率を算出し、顔確率及び所定の重なり度合い閾値に基づいて、少なくとも１つの候補検出枠から、少なくとも１つの顔検出枠を選択し、更に、少なくとも１つの顔検出結果を得て、少なくとも１つの候補検出枠のうちの各候補検出枠により囲まれた画像に対して、動作部位確率を算出し、動作部位確率及び所定の重なり度合い閾値に基づいて、少なくとも１つの候補検出枠から、少なくとも１つの動作部位検出枠を選択し、更に、少なくとも１つの動作部位検出結果を得るように構成される。

【0219】

本願の幾つかの実施例において、前記検出モジュール３１０は具体的には、所定の初期寸法に応じて、初期検出枠を生成し、初期検出枠に対してスケール変換及び伸張変換を行い、少なくとも１つの候補検出枠を得るように構成される。

【0220】

本願の幾つかの実施例において、前記検出モジュール３１０は具体的には、前記胴体確率、前記顔確率及び前記動作部位確率に基づいて、前記少なくとも１つの候補検出枠から少なくとも１つの一時的胴体検出領域、少なくとも１つの一時的顔検出領域及び少なくとも１つの一時的動作部位検出領域をそれぞれ選択し、胴体確率が最も大きい一時的胴体検出枠を第１胴体検出枠とし、第１胴体検出枠及び第１胴体検出枠により囲まれた胴体画像を利用して、第１胴体検出結果を構成し、少なくとも１つの一時的胴体検出枠から、第１胴体検出枠との重なり度合いが所定の重なり度合い閾値より大きい一時的胴体検出枠を削除し、少なくとも１つの中間胴体検出枠を得て、少なくとも１つの中間胴体検出枠を少なくとも１つの一時的胴体検出枠とし、上記プロセスを引き続き実行し、少なくとも１つの胴体検出結果を得るまで継続し、顔確率が最も大きい一時的胴体検出枠を第１顔検出枠とし、第１顔検出枠及び第１顔検出枠により囲まれた顔画像を利用して、第１顔検出結果を構成し、少なくとも１つの一時的顔検出枠から、第１顔検出枠との重なり度合いが所定の重なり度合い閾値より大きい一時的顔検出枠を削除し、少なくとも１つの中間顔検出枠を得て、少なくとも１つの中間顔検出枠を少なくとも１つの一時的顔検出枠とし、上記プロセスを引き続き実行し、少なくとも１つの顔検出結果を得るまで継続し、動作部位確率が最も大きい一時的動作部位検出枠を第１動作部位検出枠とし、第１動作部位検出枠及び第１動作部位検出枠により囲まれた動作部位画像を利用して、第１動作部位検出結果を構成し、少なくとも１つの一時的動作部位検出枠から、第１動作部位検出枠との重なり度合いが所定の重なり度合い閾値より大きい一時的動作部位検出枠を削除し、少なくとも１つの中間動作部位検出枠を得て、少なくとも１つの中間動作部位検出枠を少なくとも１つの一時的動作部位検出枠とし、上記プロセスを引き続き実行し、少なくとも１つの動作部位検出結果を得るまで継続するように構成される。

【0221】

実際の適用において、上記検出モジュール３１０、組み合わせモジュール３２０及び関連付けモジュール３３０は、電子機器８００に位置するプロセッサ８１０により実現することができる。具体的には、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ：ＭＰＵ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：ＤＳＰ）又はフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）等により実現することができる。

【0222】

本願の実施例は、本願の実施例で提供される画像認識方法を実行するように構成される電子機器を提供する。図９は、本願の実施例による電子機器の構造を示す第２概略図である。図９示すように、該画像認識装置８００は、プロセッサ８１０と、メモリ８２０と、通信バス８３０と、を備え、メモリ８２０は、通信バス８３０を経由してプロセッサ８１０と通信し、メモリ８２０は、プロセッサ８１０による実行可能な１つ又は複数のプログラムを記憶するように構成され、１つ又は複数のプログラムが実行される時、プロセッサ８１０は、上記実施例におけるいずれか１つの画像認識方法を実行する。

【0223】

本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に１つ又は複数のプログラムが記憶されており、前記１つ又は複数のプログラムが１つ又は複数のプロセッサ８１０により実行される。プログラムがプロセッサ８１０により実行される時、本願の実施例に記載の画像認識方法を実現させる。

【0224】

本願の実施例は、方法、システム又はコンピュータプログラム製品として提供されてもよい。従って、本願は、ハードウェア実施例、ソフトウェア実施例又は、ソフトウェアとハードウェアを組み合わせる実施例の形態を用いてもよいことが当業者であれ理解すべきである。また、本願は、コンピュータによる利用可能なコンピュータコードを含む１つ又は複数のコンピュータによる利用可能な記憶媒体（磁気ディスクメモリ及び光学メモリなどを含むが、これらに限定されない）で実行されるコンピュータプログラム製品の形態を利用することができる。

【0225】

本願は、本願の実施例の方法、機器（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、説明される。コンピュータプログラム命令により、フローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせを実現することができることが理解されるべきである。これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。

【0226】

これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ又は他のプログラマブルデータ処理装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能を実現する各態様の命令を含む製品を備える。

【0227】

これらのコンピュータプログラム命令をコンピュータ又は他のプログラマブルデータ処理装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能を実現させる。

【0228】

上記は、本願の好ましい実施例に過ぎず、本願の保護範囲を限定するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】