特許 7193006 画像形成装置、判定装置、画像形成方法、及び画像形成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】画像形成装置、判定装置、画像形成方法、及び画像形成プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221213BHJP

   G06T 7/70 20170101ALI20221213BHJP

【ＦＩ】

G06T7/00 660B

G06T7/70 Z

【請求項の数】 10

(21)【出願番号】P 2021549130

(86)(22)【出願日】2019-03-01

(65)【公表番号】

(43)【公表日】2022-04-04

(86)【国際出願番号】 JP2019007986

(87)【国際公開番号】W WO2020178876

(87)【国際公開日】2020-09-10

【審査請求日】2021-08-19

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】パン ヤドン

【審査官】合田 幸裕

(56)【参考文献】

【文献】国際公開第２０１２／０４６３９２（ＷＯ，Ａ１）

【文献】国際公開第２００８／００７４７１（ＷＯ，Ａ１）

【文献】国際公開第２０１０／１３５４５５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／００４５１３２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０２５０８８６７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像を形成する形成手段を具備し、
前記形成手段は、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップを形成する描線手段を含む、
画像形成装置。

【請求項2】

前記形成手段は、前記特徴マップから、前記複数の所定のキーポイントのうちの第１基準ポイントを所定位置に含み且つ所定のサイズルールに応じたサイズの部分画像を切り取るクロップ手段をさらに含む、
請求項１記載の画像形成装置。

【請求項3】

前記形成手段は、前記部分画像において前記複数の直線によって区切られた複数の部分領域にそれぞれ異なる色を付すことによって、前記特徴抽出画像を形成するペイント手段をさらに含む、
請求項２記載の画像形成装置。

【請求項4】

前記判定対象物は、人間であり、
前記複数の所定のキーポイントは、前記人間の頭部に対応する頭部グループ、前記人間の胴体に対応する胴体グループ、及び、前記人間の脚に対応する脚グループのいずれかにそれぞれ分類され、
前記複数の描線グループは、前記頭部グループに含まれる第１キーポイントと前記胴体グループに含まれる前記第１基準ポイントとを含む、第１描線グループを含む、
請求項２又は３に記載の画像形成装置。

【請求項5】

前記頭部グループは、鼻、左耳、及び右耳にそれぞれ対応する複数のキーポイントを含み、
前記胴体グループは、首、左肩、及び右肩にそれぞれ対応する複数のキーポイントを含み、
前記脚グループは、左膝及び右膝にそれぞれ対応する複数のキーポイントを含む、
請求項４記載の画像形成装置。

【請求項6】

前記第１キーポイントは、鼻に対応するキーポイントであり、
前記第１基準ポイントは、首に対応するキーポイントである、
請求項４又は５に記載の画像形成装置。

【請求項7】

前記処理対象画像は、前記判定対象物が写った撮像画像から抽出された正規化画像である、
請求項１から６のいずれか１項に記載の画像形成装置。

【請求項8】

請求項１から７のいずれか１項に記載の画像形成装置と、
ニューラルネットワークを含み、前記特徴抽出画像を用いて前記判定対象物の姿勢を判定する判定手段と、
を具備する判定装置。

【請求項9】

画像形成装置によって実行される画像形成方法であって、
姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像を形成することを含み、
前記特徴抽出画像を形成することは、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップを形成することを含む、
画像形成方法。

【請求項10】

姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像を形成することを画像形成装置に実行させ、
前記特徴抽出画像を形成することは、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップを形成することを含む、
画像形成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像形成装置、判定装置、画像形成方法、及び画像形成プログラムに関する。

【背景技術】

【0002】

ニューラルネットワークを用いて人間の動作を分類（判定）する技術が研究されている（例えば、非特許文献１）。非特許文献１に開示されている技術では、「人型の画像」を形成し、該人型画像の訓練を、カメラからの画像群及び人の動作を分類するためのオプティカルフロー（optical flow）を訓練する畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）に統合している。この非特許文献１の技術で用いられる人型画像は、人間の体の各部が特定の色でペイントされた画像であり、該各部は、人間の体において自由度を有する２つの関節の間の部分、又は、体の末端の部分である。

【先行技術文献】

【非特許文献】

【0003】

【文献】M. Zolfaghari et al., “Chained multi-stream networks exploiting pose, motion, and appearance for action classification and detection”. in 2017 IEEE International Conference on Computer Vision (ICCV), pp. 2923-2932, IEEE.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１の技術で用いられる上記人型画像は、特定のポーズ（姿勢）の特徴ではなく、体の特徴を強調している。このため、非特許文献１に開示されている技術では、人のポーズを精度良く分類（判定）することができない可能性がある。

【0005】

本開示の目的は、判定対象物のポーズの判定精度を向上させることができる、画像形成装置、判定装置、画像形成方法、及び画像形成プログラムを提供することにある。

【課題を解決するための手段】

【0006】

第１の態様にかかる画像形成装置は、姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像（Feature extracted image）を形成する形成手段を具備し、前記形成手段は、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップ（texture map）を形成する描線手段を含む。

【0007】

第２の態様にかかる画像形成方法は、姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像（Feature extracted image）を形成することを含み、前記特徴抽出画像を形成することは、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップ（texture map）を形成することを含む。

【0008】

第３の態様にかかる画像形成プログラムは、姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像（Feature extracted image）を形成することを画像形成装置に実行させ、前記特徴抽出画像を形成することは、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップ（texture map）を形成することを含む。

【発明の効果】

【0009】

本開示により、判定対象物の姿勢の判定精度を向上させることができる、画像形成装置、判定装置、画像形成方法、及び画像形成プログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における画像形成装置の一例を示すブロック図である。

【図2】オープンポーズで用いられるキーポイント群の説明に供する図である。

【図3】第２実施形態における画像形成装置を含む判定装置の一例を示すブロック図である。

【図4】撮像画像の一例を示す図である。

【図5】正規化画像の説明に供する図である。

【図6】特徴マップの形成方法の説明に供する図である。

【図7】特徴マップのタイプの説明に供する図である。

【図8】部分画像の切り取り方法及び部分画像のペイント方法の説明に供する図である。

【図9】ペイントルールテーブルの一例を示す図である。

【図10】第２実施形態における画像形成装置の処理動作の一例を示すフローチャートである。

【図11】人物画像及び肯定的なラベルの説明に供する図である。

【図12】人物画像及び否定的なラベルの説明に供する図である。

【図13】肯定的なラベルが付される特徴抽出画像の一例を示す図である。

【図14】否定的なラベルが付される特徴抽出画像の一例を示す図である。

【図15】画像形成装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。

【0012】

＜第１実施形態＞
図１は、第１実施形態における画像形成装置の一例を示すブロック図である。図１において画像形成装置１０は、特徴抽出画像形成部１１を有する。以下では、特徴抽出画像形成部１１を、単に「画像形成部１１」と呼ぶことがある。

【0013】

画像形成部１１は、「処理対象画像」に含まれる、ポーズ（姿勢）についての判定対象物の所定の複数の「キーポイント（部位ポイント）」に基づいて、「特徴抽出画像（Feature extracted image）」を形成する。

【0014】

判定対象物は、例えば、人間である。また、「処理対象画像」は、判定対象物が写っている「第１画像領域」、及び、判定対象物が写っていない、第１画像領域を囲む「第２画像領域」を含んでいる。すなわち、処理対象画像には、判定対象物の画像（第１画像領域）以外に、例えば判定対象物の背景に対応する画像（第２画像領域）が含まれている。また、処理対象画像は、例えば、撮像装置（不図示）によって撮像された、判定対象物が写った撮像画像から、抽出された「正規化画像」である。

【0015】

また、上記所定の複数の「キーポイント」は、判定するポーズに応じた複数のキーポイントである。該複数のキーポイントは、例えば、カーネギーメロン大学（ＣＭＵ）で開発された「オープンポーズ（OpenPose）」で用いられるキーポイント群のうちの一部であってもよい。

【0016】

図２は、オープンポーズで用いられるキーポイント群の説明に供する図である。図２に示すように、オープンポーズでは、キーポイントｋ００～ｋ１７が用いられる。キーポイントｋ００は、鼻に対応する。キーポイントｋ０１は、首に対応する。キーポイントｋ０２は、右肩に対応する。キーポイントｋ０３は、右肘に対応する。キーポイントｋ０４は、右手首に対応する。キーポイントｋ０５は、左肩に対応する。キーポイントｋ０６は、左肘に対応する。キーポイントｋ０７は、左手首に対応する。キーポイントｋ０８は、右臀部に対応する。キーポイントｋ０９は、右膝に対応する。キーポイントｋ１０は、右足首に対応する。キーポイントｋ１１は、左臀部に対応する。キーポイントｋ１２は、左膝に対応する。キーポイントｋ１３は、左足首に対応する。キーポイントｋ１４は、右目に対応する。キーポイントｋ１５は、左目に対応する。キーポイントｋ１６は、右耳に対応する。キーポイントｋ１７は、左耳に対応する。

【0017】

図１の説明に戻り、画像形成部１１は、描線部１１Ａを含む。描線部１１Ａは、処理対象画像を用いて、「特徴マップ（texture map）」を形成する。例えば、描線部１１Ａは、複数の「描線グループ」のそれぞれについて、各描線グループに含まれるすべてのキーポイント上を通り且つ少なくとも一端が処理対象画像の端まで延びる直線を引くことによって、特徴マップを形成する。各「描線グループ」は、上記の所定の複数のキーポイントに含まれる少なくとも２つのキーポイントを含んでいる。

【0018】

すなわち、このように形成された特徴マップにおいては、各直線の一端が判定対象物のボディ部分からはみ出して処理対象画像の端まで延びる複数の直線が引かれている。これにより、特徴マップは、判定対象物のボディ（本体）の特徴ではなく、判定対象物のポーズの特徴を強調することができている。従って、この特徴マップに基づく特徴抽出画像を用いて判定対象物のポーズを判定することによって、ポーズ判定の精度を向上させることができる。

【0019】

以上のように第１実施形態によれば、画像形成装置１０において特徴抽出画像形成部１１は、描線部１１Ａを有する。描線部１１Ａは、処理対象画像において、複数の「描線グループ」のそれぞれについて、各描線グループに含まれるすべてのキーポイント上を通り且つ少なくとも一端が処理対象画像の端まで延びる直線を引くことによって、特徴マップを形成する。各「描線グループ」は、上記の所定の複数のキーポイントに含まれる少なくとも２つのキーポイントを含んでいる。

【0020】

この画像形成装置１０の構成により、判定対象物のボディ（本体）の特徴ではなく、判定対象物のポーズの特徴（つまり、判定対象物の姿勢における空間的特徴（spatial feature））が強調された特徴マップを形成することができる。この特徴マップに基づく特徴抽出画像を用いて判定対象物のポーズを判定することによって、ポーズ判定の精度を向上させることができる。

【0021】

＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。

【0022】

＜画像形成装置の構成例＞
図３は、第２実施形態における画像形成装置を含む判定装置の一例を示すブロック図である。図３には、第２実施形態における判定装置３０の他に、撮像装置２０が示されている。

【0023】

撮像装置２０は、撮像画像を判定装置３０へ出力する。図４は、撮像画像の一例を示す図である。図４の撮像画像ＰＩ１には、二人の画像が写っている。すなわち、撮像画像ＰＩ１には、判定対象物ＤＴ１の画像及び判定対象物ＤＴ２の画像が含まれている。

【0024】

判定装置３０は、画像形成装置４０と、判定処理装置（判定手段）５０とを有している。

【0025】

画像形成装置４０は、キーポイント検出部４１と、グルーピング部４２と、正規化画像形成部４３と、特徴抽出画像形成部４４とを有している。以下では、特徴抽出画像形成部４４を、単に「画像形成部４４」と呼ぶことがある。

【0026】

キーポイント検出部４１は、撮像装置２０から受け取る撮像画像において、判定対象物のキーポイント群を検出する。ここでは、該検出されるキーポイント群は、上記オープンポーズで用いられるキーポイント群であるものとする。

【0027】

グルーピング部４２は、検出されたキーポイント群から、上記の所定の複数のキーポイントを選択すると共に、選択された複数のキーポイントを上記の複数の描線グループにグルーピングする。

【0028】

ここで、判定対象ポーズを「キョロポーズ（kyoro pose）」とする。本明細書では、日本語によって「キョロキョロ（kyoro-kyoro）」と表される人間の所定動作に含まれる１つのポーズを、「キョロポーズ」と呼んでいる。「キョロキョロ」と表される所定動作は、頭を振って人の前方向ではなく、別の方向を見る動作である。従って、「キョロポーズ」は、人間の頭部の延びる方向が体の伸びる方向と異なるときの瞬間姿勢と定義することができる。例えば不審者は「キョロキョロ」と表される動作を行う傾向にあるので、「キョロポーズ」は、例えば公共スペースにおいて不審者を特定するための特徴として用いることができる。

【0029】

判定対象のポーズが「キョロポーズ」である場合、複数の描線グループは、例えば次のように定義することができる。すなわち、「描線グループ１」は、キーポイントｋ００及びキーポイントｋ０１を含む。「描線グループ２」は、キーポイントｋ０１、キーポイントｋ０２、及びキーポイントｋ０５を含む。「描線グループ３」は、キーポイントｋ０１及びキーポイントｋ０９を含む。「描線グループ４」は、キーポイントｋ０１及びキーポイントｋ１２を含む。「描線グループ５」は、キーポイントｋ００、キーポイントｋ１６、及びキーポイントｋ１７を含む。

【0030】

正規化画像形成部４３は、キーポイント検出部４１及びグルーピング部４２による処理によって描線グループが検出されている撮像画像ＰＩ１から、「正規化画像」を抽出する。図５は、正規化画像の説明に供する図である。上記の通り、撮像画像ＰＩ１には、判定対象物ＤＴ１の画像及び判定対象物ＤＴ２の画像が含まれているため、撮像画像ＰＩ１からは、図５に示すように、２つの正規化画像ＰＴ１，ＰＴ２が抽出される。正規化画像ＰＴ１，ＰＴ２は、それぞれ、判定対象物が写っている「第１画像領域」、及び、判定対象物が写っていない、第１画像領域を囲む「第２画像領域」を含んでいる。これらの正規化画像ＰＴ１及び正規化画像ＰＴ２のそれぞれが、画像形成部４４において「処理対象画像」として用いられる。なお、正規化画像ＰＴ１及び正規化画像ＰＴ２を抽出する際には、オープンポーズで用いられるキーポイント群に基づいて算出可能な「矩形範囲（bounding box）」が用いられてもよい。

【0031】

画像形成部４４は、第１実施形態の画像形成部１１と同様に、「処理対象画像」に含まれる、ポーズについての判定対象物の所定の複数の「キーポイント」に基づいて、「特徴抽出画像（Feature extracted image）」を形成する。

【0032】

図３に示すように画像形成部４４は、描線部４４Ａと、クロップ（crop）部４４Ｂと、ペイント部４４Ｃとを有している。

【0033】

描線部４４Ａは、第１実施形態の描線部１１Ａと同様に、処理対象画像を用いて、「特徴マップ（texture map）」を形成する。この特徴マップの形成方法については、後に詳しく説明する。

【0034】

クロップ部４４Ｂは、描線部４４Ａにて形成された特徴マップから、所定の複数のキーポイントのうちの「第１基準ポイント」を所定位置に含み且つ「所定のサイズルール」に応じたサイズの「部分画像」を切り取る。この部分画像の切り取り方法については、後に詳しく説明する。

【0035】

ペイント部４４Ｃは、クロップ部４４Ｂにて切り取られた部分画像において、描線部４４Ａによって引かれた複数の直線によって区切られた複数の部分領域（zone）を複数の色でそれぞれペイントすることによって、「特徴抽出画像」を形成する。各部分領域は、描線部４４Ａによって引かれた複数の直線との位置関係によって定義され、ペイントされる色が予め定めされている。このペイント方法については、後に詳しく説明する。

【0036】

以上のようにして形成された特徴抽出画像は、判定処理装置５０の教師あり学習に用いられてもよいし、学習後の判定処理装置５０における判定対象物のポーズの判定に用いられてもよい。

【0037】

判定処理装置５０は、例えばニューラルネットワーク（不図示）を含んでいる。判定処理装置５０は、画像形成装置４０で形成された特徴抽出画像を用いて、ニューラルネットワークに対して教師あり学習を行う。また、判定処理装置５０は、学習されたニューラルネットワークに対して、画像形成装置４０で形成された特徴抽出画像を入力することにより、判定対象物のポーズを判定（分類）する。

【0038】

〈特徴マップの形成方法〉
まず、描線部４４Ａが特徴マップを形成するためには、次の条件（条件Ｉ）が満たされる必要がある。すなわち、「処理対象画像において、キーポイントｋ０９及びキーポイントｋ１２の両方が利用可能であること」、「キーポイントｋ０１、キーポイントｋ０２、及びキーポイントｋ０５のうちの少なくとも２つが利用可能であること」、及び、「キーポイントｋ００、キーポイントｋ１６、及びキーポイントｋ１７のうちの少なくとも２つが利用可能であること」が全て満たされる必要がある。すなわち、この条件が満たされずに形成された特徴マップに基づいて形成された特徴抽出画像は、ポーズ判定の精度を高めることができない可能性がある。

【0039】

描線部４４Ａは、上記の描線グループ１から描線グループ５のそれぞれについて、直線を引くことを試みる。図６は、特徴マップの形成方法の説明に供する図である。図６では、左及び中央の図に処理対象画像が示され、右の図に特徴マップが示されている。

【0040】

すなわち、描線部４４Ａは、直線Ｉ（ラインＩ）として、キーポイントｋ０１及びキーポイントｋ００を通る直線を引く。この直線Ｉの両端は共に処理対象画像の端（エッジ）まで延びている。ここで、処理対象画像においてキーポイントｋ０１が利用可能でない場合、キーポイントｋ０２とキーポイントｋ０５との中点を、キーポイントｋ０１として扱う。

【0041】

また、描線部４４Ａは、直線ＩＩとして、キーポイントｋ０１及びキーポイントｋ０２を通る直線、キーポイントｋ０１及びキーポイントｋ０５を通る直線、又は、キーポイントｋ０２及びキーポイントｋ０５を通る直線を引く。これらの３つの直線は、キーポイントｋ０１がキーポイントｋ０２とキーポイントｋ０５との中点として定義されるので、等価である。この直線ＩＩの両端は共に処理対象画像の端（エッジ）まで延びている。

【0042】

また、描線部４４Ａは、直線ＩＩＩとして、キーポイントｋ０１及びキーポイントｋ０９を通る直線を引く。ただし、直線ＩＩＩは、直線ＩＩよりも下の領域にのみ存在する。すなわち、直線ＩＩＩは、一端がキーポイントｋ０１であり、キーポイントｋ０１からキーポイントｋ０９へ延び、他端が処理対象画像の端となっている。

【0043】

また、描線部４４Ａは、直線ＩＶとして、キーポイントｋ０１及びキーポイントｋ１２を通る直線を引く。ただし、直線ＩＶは、直線ＩＩよりも下の領域にのみ存在する。すなわち、直線ＩＶは、一端がキーポイントｋ０１であり、キーポイントｋ０１からキーポイントｋ１２へ延び、他端が処理対象画像の端となっている。

【0044】

また、描線部４４Ａは、キーポイントｋ００、キーポイントｋ１６、及びキーポイントｋ１７のうちの２つのみが利用可能である場合に、直線Ｖを引く。描線部４４Ａは、この利用可能な２つのキーポイントを通る直線を、直線Ｖとして引く。直線Ｖの両端は共に処理対象画像の端まで延びている。

【0045】

このように４つ又は５つの直線が引かれた特徴マップは、３つの条件（条件ＩＩ、条件ＩＩＩ、条件ＩＶ）によって、５つのタイプ（タイプ１Ａ、タイプ１Ｂ、タイプ２Ａ、タイプ２Ｂ、タイプ３）に分類することができる。図７は、特徴マップのタイプの説明に供する図である。条件ＩＩは、「直線Ｉが利用可能であること」である。条件ＩＩＩは、「直線Ｖが利用可能であること」である。条件ＩＶは、「直線ＩＩＩ及び直線ＩＶが直線Ｉを基準として同じ側に存在すること」である。図６には、タイプ１Ａの例が示されている。タイプ１Ａは、「キョロポーズ」に対応する。

【0046】

〈部分画像の切り取り方法〉
図８は、部分画像の切り取り方法及び部分画像のペイント方法の説明に供する図である。図８には、特徴マップの一例と、該特徴マップから切り取られる部分画像と、該部分画像に色が付されたものである特徴抽出画像とが示されている。

【0047】

上記の通り、クロップ部４４Ｂは、描線部４４Ａにて形成された特徴マップから、所定の複数のキーポイントのうちの「第１基準ポイント」を所定位置に含み且つ「所定のサイズルール」に応じたサイズの「部分画像」を切り取る。

【0048】

例えば、クロップ部４４Ｂは、次のルールに従って、特徴マップから部分画像を切り取る。すなわち、該ルールは、「部分画像において、キーポイントｋ０１を中心にすること」、「部分画像の高さ（つまり、縦の長さ）が、特徴マップの上端からキーポイントｋ０１までの距離の２倍であること」、「部分画像の幅（つまり、横の長さ）に対する高さの割合が、３／２であること」である。このルールは、特定のポーズについての判定精度を高めるために、調整されてもよい。すなわち、該ルールでは、キーポイントｋ０１が上記の「第１基準ポイント」であり、部分画像の中心が上記の「所定位置」である。また、「部分画像の高さ（つまり、縦の長さ）が、特徴マップの上端からキーポイントｋ０１までの距離の２倍であること」、及び、「部分画像の幅（つまり、横の長さ）に対する高さの割合が、３／２であること」が、上記の「所定のサイズルール」に対応している。

【0049】

〈ペイント方法〉
図９は、ペイントルールテーブルの一例を示す図である。図９のペイントルールテーブルでは、部分画像において４つ又は５つの直線によって区切られた複数の領域と、各領域をペイントする色に関する情報とが対応づけられている。

【0050】

図９のペイントルールテーブルに従うと、ペイント部４４Ｃは、直線ＩＩよりも下で且つ直線Ｉに対して反時計回りに隣接するゾーンを、カラーコード「＃１０１０１０」の色でペイントする。直線ＩＩよりも下の各ゾーンは、１つのカラーコードと１対１で対応している。また、ペイント部４４Ｃは、直線ＩＩよりも上で、直線Ｖよりも上で、且つ、直線Ｉの左側のゾーンを、カラーコード「＃２０２０２０」、カラーコード「＃Ａ０Ａ０Ａ０」を足し合わせた色でペイントする。

【0051】

＜画像形成装置の動作例＞
以上の構成を有する画像形成装置の処理動作の一例について説明する。図１０は、第２実施形態における画像形成装置の処理動作の一例を示すフローチャートである。図１０のフローは、画像形成装置４０が撮像装置２０からの撮像画像を受け取ったときにスタートする。

【0052】

画像形成装置４０においてキーポイント検出部４１は、撮像画像において、判定対象物のキーポイント群を検出する（ステップＳ１０１）。

【0053】

グルーピング部４２は、検出されたキーポイント群から、所定の複数のキーポイントを選択すると共に、選択された複数のキーポイントを複数の描線グループにグルーピングする（ステップＳ１０２）。

【0054】

正規化画像形成部４３は、ステップＳ１０１及びステップＳ１０２の処理が施された撮像画像から、正規化画像を抽出する（ステップＳ１０３）。

【0055】

描線部４４Ａは、ステップＳ１０３で抽出された正規化画像を処理対象画像として、処理対象画像を用いて特徴マップを形成する（ステップＳ１０４）。

【0056】

クロップ部４４Ｂは、描線部４４Ａにて形成された特徴マップから、部分画像を切り取る（ステップＳ１０５）。

【0057】

ペイント部４４Ｃは、部分画像において、描線部４４Ａによって引かれた複数の直線によって区切られた複数の部分領域（zone）を複数の色でそれぞれペイントすることによって、特徴抽出画像を形成する（ステップＳ１０６）。

【0058】

このように形成された形成された特徴抽出画像は、上記の通り、判定処理装置５０の教師あり学習に用いられてもよいし、学習後の判定処理装置５０における判定対象物のポーズの判定に用いられてもよい。

【0059】

〈特徴抽出画像の有用性テスト〉
「キョロポーズ」の判定（認識）を通して、第２実施形態における特徴抽出画像の有用性をテストした。まず、４５０００個の撮像画像を用意した。これらの撮像画像は、ＲＧＢカメラによって撮影されたものであり、各撮像画像には、実際の人物の画像が含まれている。人物の画像において頭部の延びる方向が体の延びる方向と異なる、２５０００個の撮像画像に対して肯定的なラベルを付し、頭部の延びる方向と体の伸びる方向が略同じである、２００００個の撮像画像に否定的なラベルを付した。すなわち、図１１に示すような人の画像が撮像画像に含まれていれば、その撮像画像には肯定的なラベルが付される一方、図１２に示すような人の画像が撮像画像に含まれていれば、その撮像画像には否定的なラベルが付される。図１１は、人物画像及び肯定的なラベルの説明に供する図である。図１２は、人物画像及び否定的なラベルの説明に供する図である。

【0060】

そして、このように用意された４５０００個の撮像画像を用いて、上記の特徴抽出画像を形成した。図１１に示すような人の画像が含まれる撮像画像に基づいて形成された特徴抽出画像が、図１３に示されている。また、図１２に示すような人の画像が含まれる撮像画像に基づいて形成された特徴抽出画像が、図１４に示されている。こうして、肯定的なラベルが付された２５０００個の特徴抽出画像、及び、否定的なラベルが付された２００００個の特徴抽出画像の特徴抽出画像セットが得られた。

【0061】

同じ構成の２つのＣＮＮの一方のＣＮＮ（第１のＣＮＮ）を４５０００個の撮像画像そのもので学習させ、他方のＣＮＮ（第２のＣＮＮ）を４５０００個の特徴抽出画像で学習させた。

【0062】

そして、肯定的なラベルが付された３０００個の撮像画像及び否定的なラベルが付された３０００個の撮像画像を含む別の６０００個の撮像画像、及び、これらから形成された６０００個の特徴抽出画像を用意した。

【0063】

そして、上記の別の６０００個の撮像画像を上記の学習後の第１のＣＮＮによって判定した。すなわち、学習後の第１のＣＮＮに対して、上記の別の６０００個の撮像画像に含まれる人の画像のポーズがキョロポーズであるか否かを判定させた。同様に、上記の６０００個の特徴抽出画像を上記の学習後の第２のＣＮＮによって判定した。

【0064】

このようなテストによって、学習後の第１のＣＮＮによる判定の誤り率は、０．２９となり、学習後の第２のＣＮＮによる判定の誤り率は、０．２１となった。すなわち、上記の特徴抽出画像を用いることにより、ポーズの判定精度を向上することができることを示す結果が得られた。

【0065】

以上のように第２実施形態によれば、画像形成装置４０においてクロップ部４４Ｂは、描線部４４Ａにて形成された特徴マップから、所定の複数のキーポイントのうちの「第１基準ポイント」を所定位置に含み且つ「所定のサイズルール」に応じたサイズの「部分画像」を切り取る。

【0066】

この画像形成装置４０の構成により、正規化された部分画像を形成することができる。

【0067】

また、画像形成装置４０においてペイント部４４Ｃは、クロップ部４４Ｂにて切り取られた部分画像において、描線部４４Ａによって引かれた複数の直線によって区切られた複数の部分領域を複数の色でそれぞれペイントすることによって、特徴抽出画像を形成する。

【0068】

この画像形成装置４０により、ポーズの判定精度の向上に寄与する特徴抽出画像を形成することができる。なお、ペイントする前の部分画像を特徴抽出画像として用いてもよい。ただし、ペイントすることによって、特徴抽出画像によるポーズの判定精度をペイントしない場合に比べてさらに向上させることができる。

【0069】

＜他の実施形態＞
図１５は、画像形成装置のハードウェア構成例を示す図である。図１５において画像形成装置１００は、プロセッサ１０１と、メモリ１０２とを有している。第１実施形態及び第２実施形態の画像形成装置１０，４０の画像形成部１１，４４と、キーポイント検出部４１と、グルーピング部４２と、正規化画像形成部４３とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、画像形成装置１０，４０に供給することができる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって画像形成装置１０，４０に供給されてもよい。

【0070】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0071】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0072】

（付記１）
姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像（Feature extracted image）を形成する形成手段を具備し、
前記形成手段は、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップ（texture map）を形成する描線手段を含む、
画像形成装置。

【0073】

（付記２）
前記形成手段は、前記特徴マップから、前記複数の所定のキーポイントのうちの第１基準ポイントを所定位置に含み且つ所定のサイズルールに応じたサイズの部分画像を切り取るクロップ手段をさらに含む、
付記１記載の画像形成装置。

【0074】

（付記３）
前記形成手段は、前記部分画像において前記複数の直線によって区切られた複数の部分領域にそれぞれ異なる色を付すことによって、前記特徴抽出画像を形成するペイント手段をさらに含む、
付記２記載の画像形成装置。

【0075】

（付記４）
前記判定対象物は、人間であり、
前記複数の所定のキーポイントは、前記人間の頭部に対応する頭部グループ、前記人間の胴体に対応する胴体グループ、及び、前記人間の脚に対応する脚グループのいずれかにそれぞれ分類され、
前記複数の描線グループは、前記頭部グループに含まれる第１キーポイントと前記胴体グループに含まれる前記第１基準ポイントとを含む、第１描線グループを含む、
付記２又は３に記載の画像形成装置。

【0076】

（付記５）
前記頭部グループは、鼻、左耳、及び右耳にそれぞれ対応する複数のキーポイントを含み、
前記胴体グループは、首、左肩、及び右肩にそれぞれ対応する複数のキーポイントを含み、
前記脚グループは、左膝及び右膝にそれぞれ対応する複数のキーポイントを含む、
付記４記載の画像形成装置。

【0077】

（付記６）
前記第１キーポイントは、鼻に対応するキーポイントであり、
前記第１基準ポイントは、首に対応するキーポイントである、
付記４又は５に記載の画像形成装置。

【0078】

（付記７）
前記処理対象画像は、前記判定対象物が写った撮像画像から抽出された正規化画像である、
付記１から６のいずれか１項に記載の画像形成装置。

【0079】

（付記８）
付記１から７のいずれか１項に記載の画像形成装置と、
ニューラルネットワークを含み、前記特徴抽出画像（Feature extracted image）を用いて前記判定対象物の姿勢を判定する判定手段と、
を具備する判定装置。

【0080】

（付記９）
姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像（Feature extracted image）を形成することを含み、
前記特徴抽出画像を形成することは、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップ（texture map）を形成することを含む、
画像形成方法。

【0081】

（付記１０）
前記特徴抽出画像を形成することは、前記特徴マップから、前記複数の所定のキーポイントのうちの第１基準ポイントを所定位置に含み且つ所定のサイズルールに応じたサイズの部分画像を切り取ることをさらに含む、
付記９記載の画像形成方法。

【0082】

（付記１１）
前記特徴抽出画像を形成することは、前記部分画像において前記複数の直線によって区切られた複数の部分領域を複数の色でそれぞれペイントすることをさらに含む、
付記１０記載の画像形成方法。

【0083】

（付記１２）
前記判定対象物は、人間であり、
前記複数の所定のキーポイントは、前記人間の頭部に対応する頭部グループ、前記人間の胴体に対応する胴体グループ、及び、前記人間の脚に対応する脚グループのいずれかにそれぞれ分類され、
前記複数の描線グループは、前記頭部グループに含まれる第１キーポイントと前記胴体グループに含まれる前記第１基準ポイントとを含む、第１描線グループを含む、
付記１０又は１１に記載の画像形成方法。

【0084】

（付記１３）
前記頭部グループは、鼻、左耳、及び右耳にそれぞれ対応する複数のキーポイントを含み、
前記胴体グループは、首、左肩、及び右肩にそれぞれ対応する複数のキーポイントを含み、
前記脚グループは、左膝及び右膝にそれぞれ対応する複数のキーポイントを含む、
付記１２記載の画像形成方法。

【0085】

（付記１４）
前記第１キーポイントは、鼻に対応するキーポイントであり、
前記第１基準ポイントは、首に対応するキーポイントである、
付記１２又は１３に記載の画像形成方法。

【0086】

（付記１５）
前記処理対象画像は、前記判定対象物が写った撮像画像から抽出された正規化画像である、
付記９から１４のいずれか１項に記載の画像形成方法。

【0087】

（付記１６）
姿勢の判定対象物が写っている第１画像領域と、前記第１画像領域を囲み前記判定対象物が写っていない第２画像領域とを含む処理対象画像に含まれる、前記判定対象物の複数の所定のキーポイントに基づいて、特徴抽出画像（Feature extracted image）を形成することを画像形成装置に実行させ、
前記特徴抽出画像を形成することは、前記処理対象画像において、各描線グループが前記複数の所定のキーポイントに含まれる少なくとも２つのキーポイントを含む、複数の描線グループのそれぞれについて、各描線グループに含まれるキーポイント上を通り且つ少なくとも一端が前記処理対象画像の端まで延びる直線を引くことによって、特徴マップ（texture map）を形成することを含む、
画像形成プログラムが格納された非一時的なコンピュータ可読媒体。

【符号の説明】

【0088】

１０ 画像形成装置
１１ 特徴抽出画像形成部
１１Ａ 描線部
２０ 撮像装置
３０ 判定装置
４０ 画像形成装置
４１ キーポイント検出部
４２ グルーピング部
４３ 正規化画像形成部
４４ 特徴抽出画像形成部
４４Ａ 描線部
４４Ｂ クロップ部
４４Ｃ ペイント部
５０ 判定処理装置（判定手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】