特許 5983132 位置決定装置、位置決定システム、位置決定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5983132

(24)【登録日】2016年8月12日

(45)【発行日】2016年8月31日

(54)【発明の名称】位置決定装置、位置決定システム、位置決定方法及びプログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20160818BHJP

   G06T 7/60 20060101ALI20160818BHJP

【ＦＩ】

   G01B11/00 H

   G06T7/60 150D

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2012-161323(P2012-161323)

(22)【出願日】2012年7月20日

(65)【公開番号】特開2014-20986(P2014-20986A)

(43)【公開日】2014年2月3日

【審査請求日】2015年6月9日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】牧野 哲司

(72)【発明者】

【氏名】佐々木 雅昭

【審査官】 ▲うし▼田 真悟

(56)【参考文献】

【文献】 特開２００５−２５８８９１（ＪＰ，Ａ）

【文献】 特開２００２−２５９９８４（ＪＰ，Ａ）

【文献】 特開２００１−１３３２２２（ＪＰ，Ａ）

【文献】 特開２００７−００４７３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

複数のマーカーが付されたヒトが所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置において、
前記画像を取得する取得手段と、
この取得手段により取得された画像内のマーカーを検出する第１検出手段と、
前記画像に含まれる前記ヒトの画像の顔画像を検出する第２検出手段と、
前記第２検出手段により検出された顔画像の所定方向の軸を中心とする回動角度を算出する算出手段と、
この算出手段により算出された回動角度に基づいて、前記ヒトの前記所定方向の軸を中心とする回動動作に係る回動情報を生成する第１生成手段と、
前記回動情報に基づいて、前記第１検出手段により非検出のマーカーの位置を推定する推定手段と、
前記ヒトに付された全てのマーカーの位置を決定する決定手段と、を備え、
前記決定手段は、
前記第１検出手段によるマーカーの検出結果及び前記推定手段により推定されたマーカーの位置を用いて、前記ヒトに付された全てのマーカーの位置を決定することを特徴とする位置決定装置。

【請求項2】

前記マーカーは、前記ヒトの複数の可動部分に複数付されていることを特徴とする請求項１に記載の位置決定装置。

【請求項3】

前記回動情報に基づいて、前記ヒトが回動しているか否か判定する回動判定手段を備え、
前記推定手段は、前記回動判定手段により前記ヒトが回動していると判定された場合に、前記回動情報に基づいて、前記第１検出手段により非検出のマーカーの位置を推定することを特徴とする請求項２に記載の位置決定装置。

【請求項4】

前記取得手段は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像を取得し、
前記推定手段は、前記第１検出手段により前記複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの前記一の画像と異なる他の画像から検出された場合に、前記他の画像から検出されたマーカーの位置に基づいて前記非検出のマーカーの位置を推定することを特徴とする請求項２又は３に記載の位置決定装置。

【請求項5】

前記決定手段は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像について、前記ヒトに付された複数のマーカーの位置を決定し、
前記決定手段により決定された前記複数の画像に係る複数のマーカーの位置に基づいて、前記ヒトの動作を示す動作情報を生成する第２生成手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の位置決定装置。

【請求項6】

前記ヒトを前記所定の一方向から撮像する撮像手段を更に備え、
前記取得手段は、前記撮像手段により撮像された画像を取得することを特徴とする請求項１〜５の何れか一項に記載の位置決定装置。

【請求項7】

複数のマーカーが付されたヒトを所定の一方向から撮像する撮像装置と、
請求項１〜５の何れか一項に記載の位置決定装置と、を備える位置決定システムであって、
前記位置決定装置の前記取得手段は、前記撮像装置により撮像された画像を取得することを特徴とする位置決定システム。

【請求項8】

複数のマーカーが付されたヒトが所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置を用いた位置決定方法であって、
前記画像を取得するステップと、
取得された画像内のマーカーを検出するステップと、
前記画像に含まれる前記ヒトの画像の顔画像を検出するステップと、
検出された顔画像の所定方向の軸を中心とする回動角度を算出するステップと、
算出された回動角度に基づいて、前記ヒトの前記所定方向の軸を中心とする回動動作に係る回動情報を生成するステップと、
前記回動情報に基づいて、非検出のマーカーの位置を推定するステップと、
前記ヒトに付された全てのマーカーの位置を決定するステップと、を有し、
前記全てのマーカーの位置を決定するステップは、
前記取得された画像内のマーカーを検出するステップによるマーカーの検出結果及び前記非検出のマーカーの位置を推定するステップにより推定されたマーカーの位置を用いて、前記ヒトに付された全てのマーカーの位置を決定することを特徴とする位置決定方法。

【請求項9】

複数のマーカーが付されたヒトが所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置のコンピュータを、
前記画像を取得する手段、
取得された画像内のマーカーを検出する第１検出手段、
前記画像に含まれる前記ヒトの画像の顔画像を検出する手段、
検出された顔画像の所定方向の軸を中心とする回動角度を算出する手段、
算出された回動角度に基づいて、前記ヒトの前記所定方向の軸を中心とする回動動作に係る回動情報を生成する手段、
前記回動情報に基づいて、前記第１検出手段により非検出のマーカーの位置を推定する推定手段、
前記ヒトに付された全てのマーカーの位置を決定する決定手段、として機能させ、
前記決定手段は、
前記第１検出手段によるマーカーの検出結果及び前記推定手段により推定されたマーカーの位置を用いて、前記ヒトに付された全てのマーカーの位置を決定することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、位置決定装置、位置決定システム、位置決定方法及びプログラムに関する。

【背景技術】

【0002】

従来、被写体の動作を示す動作情報を生成する手法として、マーカーが付された被写体が複数の方向から撮像された複数の動画像データに基づいて動作情報を生成するモーションキャプチャシステムが知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０−２２２６６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、所定の一方向から被写体を撮像した画像から動作情報を生成する場合、被写体が回動動作等を行って当該被写体の一部分により撮像装置とマーカーとの間が遮られると、マーカーの位置の検出を検出することができなくなるといった問題がある。

【0005】

本発明の課題は、所定の一方向からヒトが撮像された画像に基づいて、ヒトに付された全てのマーカーの位置を決定することができる位置決定装置、位置決定システム、位置決定方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の位置決定装置は、複数のマーカーが付されたヒトが所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置において、前記画像を取得する取得手段と、この取得手段により取得された画像内のマーカーを検出する第１検出手段と、前記画像に含まれる前記ヒトの画像の顔画像を検出する第２検出手段と、前記第２検出手段により検出された顔画像の所定方向の軸を中心とする回動角度を算出する算出手段と、この算出手段により算出された回動角度に基づいて、前記ヒトの前記所定方向の軸を中心とする回動動作に係る回動情報を生成する第１生成手段と、前記回動情報に基づいて、前記第１検出手段により非検出のマーカーの位置を推定する推定手段と、前記ヒトに付された全てのマーカーの位置を決定する決定手段と、を備え、前記決定手段は、前記第１検出手段によるマーカーの検出結果及び前記推定手段により推定されたマーカーの位置を用いて、前記ヒトに付された全てのマーカーの位置を決定することを特徴とする。

【0007】

また、本発明の位置決定システムは、複数のマーカーが付されたヒトを所定の一方向から撮像する撮像装置と、請求項１〜５の何れか一項に記載の位置決定装置と、を備える位置決定システムであって、前記位置決定装置の前記取得手段は、前記撮像装置により撮像された画像を取得することを特徴とする。

【0008】

また、本発明の位置決定方法は、複数のマーカーが付されたヒトが所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置を用いた位置決定方法であって、前記画像を取得するステップと、取得された画像内のマーカーを検出するステップと、前記画像に含まれる前記ヒトの画像の顔画像を検出するステップと、検出された顔画像の所定方向の軸を中心とする回動角度を算出するステップと、算出された回動角度に基づいて、前記ヒトの前記所定方向の軸を中心とする回動動作に係る回動情報を生成するステップと、前記回動情報に基づいて、非検出のマーカーの位置を推定するステップと、前記ヒトに付された全てのマーカーの位置を決定するステップと、を有し、前記全てのマーカーの位置を決定するステップは、前記取得された画像内のマーカーを検出するステップによるマーカーの検出結果及び前記非検出のマーカーの位置を推定するステップにより推定されたマーカーの位置を用いて、前記ヒトに付された全てのマーカーの位置を決定することを特徴とする。

【0009】

また、本発明のプログラムは、複数のマーカーが付されたヒトが所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置のコンピュータを、前記画像を取得する手段、取得された画像内のマーカーを検出する第１検出手段、前記画像に含まれる前記ヒトの画像の顔画像を検出する手段、検出された顔画像の所定方向の軸を中心とする回動角度を算出する手段、算出された回動角度に基づいて、前記ヒトの前記所定方向の軸を中心とする回動動作に係る回動情報を生成する手段、前記回動情報に基づいて、前記第１検出手段により非検出のマーカーの位置を推定する推定手段、前記ヒトに付された全てのマーカーの位置を決定する決定手段、として機能させ、前記決定手段は、前記第１検出手段によるマーカーの検出結果及び前記推定手段により推定されたマーカーの位置を用いて、前記ヒトに付された全てのマーカーの位置を決定することを特徴とする。

【発明の効果】

【0010】

本発明によれば、所定の一方向からヒトを撮像した画像に基づいて、ヒトに付された全てのマーカーの位置を決定することができる。

【図面の簡単な説明】

【0011】

【図1】本発明を適用した一実施形態の位置決定システムの概略構成を示すブロック図である。

【図2】位置決定装置の概略構成を示すブロック図である。

【図3】動作情報生成処理に係る動作の一例を示すフローチャートである。

【図4】マーカー位置決定処理に係る動作の一例を示すフローチャートである。

【図5】複数の可動部分にマーカーが付された被写体の一例を示す図である。

【図6】顔画像と、顔画像の回動角度との対応関係の一例を示す図である。

【図7】回動動作を行う被写体が撮像された場合の被写体画像の一例を示す図である。図７（ａ）は被写体の回動角度が0［度］である場合を示す図である。図７（ｂ）は被写体の回動角度が−45［度］である場合を示す図である。図７（ｃ）は被写体の回動角度が−90［度］である場合を示す図である。

【図8】図７に示す被写体と撮像装置との関係を示す図である。図８（ａ）は被写体の回動角度が0［度］である場合を示す図である。図８（ｂ）は被写体の回動角度が−45［度］である場合を示す図である。図８（ｃ）は被写体の回動角度が−90［度］である場合を示す図である。

【図9】回動動作が行われていない被写体画像において非検出のマーカーがある場合の一例を示す図である。

【発明を実施するための形態】

【0012】

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の位置決定システム１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の位置決定システム１００は、撮像装置１と、位置決定装置２とを備える。

【0013】

先ず、撮像装置１について説明する。
撮像装置１は、複数の可動部分にマーカーが付された被写体Ｐ（図５参照）を所定の一方向から撮像する。
具体的には、撮像装置１は、例えば、撮像レンズの光軸を被写体Ｐが存する所定の一方向（例えば、方向Ｖ１；図８（ａ）〜（ｃ）参照）に向けるように、当該被写体Ｐを撮像可能な所定の位置に固定されている。被写体Ｐには、複数の可動部分にマーカー（例えば、マーカーＭ１〜Ｍ１６等；図５参照）が予め付されている。
そして、撮像装置１は、マーカーが付された被写体Ｐを撮像した画像データを生成して記録媒体Ｃに記録する。具体的には、撮像装置１は、被写体Ｐを所定の時間連続して撮像し、所定のフレームレートを有する動画像データを生成して記録媒体Ｃに記録する。
なお、撮像装置１は、例えば、所定の時間内においてそれぞれ異なる複数のタイミングで被写体Ｐを撮像し、各タイミングで撮像された静止画像データを生成して記録媒体Ｃに記録するようにしてもよい。

【0014】

ここで、マーカーについて説明する。
マーカーは、被写体に存する複数の可動部分に付される。例えば、マーカーは、被写体Ｐであるヒトの間接に対応する位置や、被写体Ｐの動作に応じて揺動する部分の先端又は当該先端の近傍等、被写体Ｐの動作に応じて位置が変化する複数の箇所に付される。
具体的には、マーカーは、例えば、図５に示すように、被写体Ｐの顔が面する側（正面側）の顔、肩、又、両脚及び両腕に付されている。ここで、顔には上下方向に並ぶように二つのマーカーＭ１、Ｍ２が付されている。また、首の付け根には一つのマーカーＭ３が付されている。また、股の上方には一つのマーカーＭ４が付されている。また、右脚の膝、脛の付け根及びつま先にはそれぞれ一つずつのマーカーＭ５、Ｍ６、Ｍ７が付されている。また、左脚の膝、脛の付け根及びつま先にはそれぞれ一つずつのマーカーＭ８、Ｍ９、Ｍ１０が付されている。また、右肩、右肘、右手の付け根にはそれぞれ一つずつのマーカーＭ１１、Ｍ１２、Ｍ１３が付されている。また、左肩、左肘、左手の付け根にはそれぞれ一つずつのマーカーＭ１４、Ｍ１５、Ｍ１６が付されている。

【0015】

また、マーカーは、例えば、所定の形状（例えば、円形等）や所定の色等をなし、互いに識別可能な特徴を有する指標である。形状や色等、マーカーが有する各種の特徴は、マーカーが付される被写体Ｐとの識別、特に、視覚的な識別が容易となるよう定められる。
また、上記のマーカーの各種の特徴や、被写体Ｐに付されたマーカーの数、マーカーどうしの位置関係、各マーカーが付された被写体Ｐの可動部分どうしの関係等、マーカーに係る各種の特徴を示す情報（マーカー情報）が、位置決定装置２の所定の記録手段（図示略）に記録されている。

【0016】

なお、撮像装置１は、公知のものを適用可能であり、例えば、主要な機能を撮像機能とするデジタルカメラ等だけでなく、主要な機能としないものの撮像機能を具備する携帯電話機等も含む。

【0017】

次に、位置決定装置２について図２を参照して説明する。
位置決定装置２は、例えば、パーソナルコンピュータ等により構成され、撮像装置１により記録された画像データを記録媒体Ｃから読み出して被写体Ｐの動作情報を生成する。

【0018】

図２は、位置決定装置２の概略構成を示すブロック図である。
図２に示すように、位置決定装置２は、具体的には、記録媒体制御部２０１と、画像取得部２０２と、マーカー検出部２０３と、回動角度算出部２０４と、回動情報生成部２０５と、マーカー位置決定部２０６と、動作情報生成部２０７と、表示部２０８と、操作入力部２０９と、中央制御部２１０等を備えている。

【0019】

記録媒体制御部２０１は、記録媒体Ｃが着脱自在に構成され、装着された記録媒体Ｃからのデータの読み出しや記録媒体Ｃに対するデータの書き込みを制御する。即ち、記録媒体制御部２０１は、撮像装置１から取り外されて装着された記録媒体Ｃからマーカー位置決定処理（後述）に係る画像データ（例えば、動画像データ等）を読み出して画像取得部２０２に出力する。

【0020】

画像取得部２０２は、記録媒体制御部２０１から出力された画像データに基づいて、複数の可動部分にマーカーが付された被写体Ｐが所定の一方向から撮像された画像データを取得する取得手段として機能する。
具体的には、画像取得部２０２は、例えば、被写体Ｐを所定の時間連続して撮像した複数のフレーム画像を有する動画像データを取得し、当該動画像データを構成する複数のフレーム画像の各々を静止画像データとして個別に抽出し、各フレーム画像に対応する静止画像データを取得する。ここで、静止画像データは、図７（ａ）〜（ｃ）や図９に示すように、動画像データの生成時に撮像された被写体画像（例えば、図７（ａ）〜（ｃ）及び図９に示す被写体画像Ｐ１〜Ｐ４）及び被写体Ｐに付されたマーカーの画像を含む。
また、マーカーが付された被写体Ｐを撮像した静止画像データが記録媒体Ｃに記録されている場合、画像取得部２０２は、記録媒体制御部２０１から出力された当該静止画像データを取得する。

【0021】

なお、画像取得部２０２が取得する静止画像データは、例えば、図９に示すように、互いに直交する二方向にそれぞれの解像度（水平解像度、垂直解像度）を有する画像領域Ｄを備えた画像データであり、画像領域Ｄ内に被写体画像（例えば、被写体画像Ｐ４）を含む。図７（ａ）〜（ｃ）では静止画像データの画像領域Ｄの図示を省略して被写体画像Ｐ１〜Ｐ３のみ図示しているが、被写体画像Ｐ１〜Ｐ３は、図９と同様の画像領域Ｄ内に含まれる。

【0022】

マーカー検出部２０３は、画像取得部２０２により取得された画像内のマーカーを検出する第１検出手段として機能する。
具体的には、マーカー検出部２０３は、マーカー情報により示されるマーカーの特徴（例えば、マーカーの形状や色等の視覚的特徴）に基づいて、マーカーとその周囲との画素値の差からマーカーの輪郭（エッジ）及び当該輪郭に囲まれた画像領域を検出するエッジ検出処理等を行う。そして、マーカー検出部２０３は、マーカーの検出結果をマーカー位置決定部２０６に出力する。
なお、マーカー検出部２０３によるマーカーの検出方法は一例であってこれに限られるものでなく、適宜任意に変更可能である。
また、エッジ検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

【0023】

回動角度算出部２０４は、画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出する。
具体的には、回動角度算出部２０４は、顔画像検出部２０４ａを具備し、この顔画像検出部２０４ａにより検出された顔画像の所定方向の軸を中心とする回動角度を算出する。

【0024】

顔画像検出部２０４ａは、被写体画像の顔画像を検出する第２検出手段として機能する。
具体的には、顔画像検出部２０４ａは、画像取得部２０２により取得された画像から、顔画像の候補領域として、所定サイズ（例えば、24×24［画素］）の検出候補領域を複数生成する。そして、顔画像検出部２０４ａは、例えば、各検出候補領域の画像データと所定の基準画像の画像データとの類似度を所定のアルゴリズム（例えば、adaboost（アダブースト）等）による出力計算を用いて算出し、算出された類似度が所定の閾値以上である検出候補領域の画像を顔画像として検出する。

【0025】

所定の基準画像の画像データは、例えば、所定の記録手段（図示略）に記録され、検出候補領域について顔画像であるか否かを判定するための各種の識別用情報である。識別用情報としては、例えば、「ヒトの目」や「ヒトの鼻」、「ヒトの口」などの形状を基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするもの等が挙げられる。
なお、顔画像検出部２０４ａによる顔画像の検出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

【0026】

回動角度算出部２０４は、画像に含まれる被写体画像の少なくとも一部分（例えば、顔画像）の所定方向の軸を中心とする回動角度を算出する算出手段として機能する。
具体的には、回動角度算出部２０４は、例えば、顔画像検出部２０４ａにより検出された顔画像の複数の特徴点（例えば、「ヒトの目」や「ヒトの鼻」、「ヒトの口」等）を特徴点検出処理により検出し、各特徴点どうしの位置関係を示す相関を特定する。そして、回動角度算出部２０４は、顔画像検出部２０４ａにより検出された顔画像において特定された各特徴点どうしの相関と所定の相関データとの照合結果に基づいて、地面に垂直な方向の軸を中心とする顔画像の回動角度を算出する。また、回動角度算出部２０４は、算出された回動角度を示す情報を回動情報生成部２０５に出力する。
ここで、所定の相関データは、例えば、所定の記録手段（図示略）に記録され、顔画像の回動角度と、顔画像の回動角度に応じて変化する顔画像の各特徴点どうしの位置関係の相関とを対応付けた情報等、顔画像の回動角度の算出に係る各種の情報を含むデータである（図６参照）。なお、被写体Ｐの顔が撮像装置１のレンズに対して正面を向いた状態で撮像された顔画像の回動角度を基準（0［度］）とし、一方の回動方向（例えば、図６の右方向）を＋の回動方向とし、他方の回動方向（例えば、図６の左方向）を−の回動方向とするが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

【0027】

また、回動角度算出部２０４による回動角度の算出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、特徴点検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

【0028】

回動情報生成部２０５は、回動角度算出部２０４により算出された回動角度に基づいて、被写体Ｐの所定方向の軸を中心とする回動動作に係る回動情報を生成する第１生成手段として機能する。
具体的には、回動情報生成部２０５は、例えば、地面に垂直な方向の軸（例えば、軸Ｏ；図８（ａ）等参照）を中心として被写体Ｐが回動しているか否かを示す情報や、被写体Ｐの回動角度とを示す情報等を含む回動情報を生成する。そして、回動情報生成部２０５は、生成された回動情報をマーカー位置決定部２０６に出力する。

【0029】

また、回動情報生成部２０５は、回動角度算出部２０４により算出された回動角度に基づいて、被写体Ｐの回動の有無を判定する。具体的には、回動情報生成部２０５は、例えば、回動角度算出部２０４により算出された回動角度の値と所定の角度の値との比較結果に基づいて、被写体Ｐが回動しているか否かを判定する。ここで、被写体Ｐが回動していると判定された場合、回動情報生成部２０５は、回動角度算出部２０４により算出された回動角度を被写体Ｐの回動角度として含む回動情報を生成する。一方、被写体Ｐが回動していないと判定された場合、回動情報生成部２０５は、回動角度算出部２０４により算出された回動角度を被写体Ｐの回動角度として含まない回動情報を生成する。
なお、所定の角度は、適宜任意に変更可能である。例えば、回動情報生成部２０５は、回動角度の絶対値が0［度］を上回る場合に、被写体Ｐが回動していると判定するようにしてもよいし、絶対値がより大きい所定の角度（例えば、45［度］等）に基づいて、被写体Ｐが回動しているか否かを判定するようにしてもよい。

【0030】

マーカー位置決定部２０６は、マーカー検出部２０３によるマーカーの検出結果及び回動情報生成部２０５により生成された回動情報に基づいて、被写体Ｐに付された全てのマーカーの位置を決定する決定手段として機能する。
具体的には、マーカー位置決定部２０６は、マーカー検出部２０３により検出されたマーカーの位置を決定する。ここで、マーカー位置決定部２０６は、例えば、画像取得部２０２により取得された画像の全画像領域（例えば、画像領域Ｄ；図９参照）に対するマーカーの画像領域位置を検出する。また、マーカー位置決定部２０６は、検出されたマーカーの位置を所定の形式の位置情報（例えば、画像領域Ｄ内の所定の一点を原点とした座標情報等）とする。
また、マーカー位置決定部２０６は、第１判定部２０６ａ、第２判定部２０６ｂ及び位置推定部２０６ｃを備える。

【0031】

第１判定部２０６ａは、全てのマーカーがマーカー検出部２０３により検出されたか否か判定する第１判定手段として機能する。
具体的には、第１判定部２０６ａは、マーカー検出部２０３から出力されたマーカーの検出結果を取得し、マーカー検出部２０３により検出済みのマーカーの数を特定する。そして、第１判定部２０６ａは、特定されたマーカーの数と、マーカー情報により示されるマーカーの数との比較結果に基づいて、被写体Ｐに付された全てのマーカー（例えば、マーカーＭ１〜Ｍ１６等）がマーカー検出部２０３により検出されたか否か判定する。
ここで、全てのマーカーが検出されたと判定された場合、マーカー位置決定部２０６は、マーカー検出部２０３によるマーカーの検出結果に基づいて、被写体Ｐに付された全てのマーカーの位置を決定する（図７（ａ）、（ｂ）参照）。即ち、マーカー位置決定部２０６は、マーカー検出部２０３により検出されたマーカーの各々の位置の検出によりマーカーの位置を決定する。

【0032】

一方、全てのマーカーが検出されていないと判定された場合、即ち、非検出のマーカーがあると判定された場合、マーカー位置決定部２０６は、マーカー検出部２０３によるマーカーの検出結果及び回動情報生成部２０５により生成された回動情報に基づいて、被写体Ｐに付された全てのマーカーの位置を決定する（図７（ｃ）参照）。具体的には、マーカー位置決定部２０６は、例えば、第２判定部２０６ｂによる被写体Ｐの回動動作に係る判定処理と、当該判定結果に基づく位置推定部２０６ｃによる非検出のマーカーの位置の推定処理とを順次行う。

【0033】

第２判定部２０６ｂは、回動情報に基づいて、被写体Ｐが回動しているか否か判定する第２判定手段として機能する。
具体的には、第２判定部２０６ｂは、回動情報生成部２０５から出力された回動情報を取得し、回動情報が被写体Ｐの回動を示す情報を含むか否かにより被写体が回動しているか否か判定する。例えば、図８（ｃ）に示すように、被写体Ｐの回動角度が−90［度］である場合、被写体画像Ｐ３（図７（ｃ））について、顔画像の回動角度が−90［度］であることが回動角度算出部２０４により算出される。そして、当該回動角度を含む回動情報が回動情報生成部２０５により生成されることから、第２判定部２０６ｂは、被写体が回動していると判定する。

【0034】

位置推定部２０６ｃは、全てのマーカーが検出されていないと判定された場合に、回動情報に基づいて、非検出のマーカーの位置を推定する。
即ち、位置推定部２０６ｃは、全てのマーカーがマーカー検出部２０３により検出されていないと判定され、かつ、被写体Ｐが回動していると判定された場合、回動情報に基づいて、非検出のマーカーの位置を推定する推定手段として機能する。
具体的には、位置推定部２０６ｃは、例えば、図８（ｃ）に示すように、マーカーＭ１、Ｍ７等、マーカー検出部２０３により検出され、マーカー位置決定部２０６により決定されたマーカーの位置に基づいて、非検出のマーカーが存すると推定される被写体Ｐの正面の位置（例えば、線Ｌ１により示される位置）を推定する。また、位置推定部２０６ｃは、回動情報に基づいて、被写体の正面側が向いている方向（例えば、方向Ｖ２）を推定する。そして、位置推定部２０６ｃは、マーカー情報により示される各マーカーどうしの位置関係等から、非検出のマーカーが存する可能性が最も高いとされる位置を非検出のマーカー（例えば、マーカーＭ３、Ｍ６等）の各々について推定する。
図７（ｃ）では、マーカーＭ３、Ｍ６の位置を矢印にて指し示している。また、図８（ｃ）では、検出済みのマーカーＭ１、Ｍ７を黒点で示し、位置が推定されたマーカーＭ１１〜Ｍ１６を白抜きの点で示している。

【0035】

また、位置推定部２０６ｃは、第２判定部２０６ｂにより被写体Ｐが回動していないと判定された場合、検出されたマーカーに基づいて、非検出のマーカーの位置を推定する。
例えば、図９に示すように、例えば、被写体画像Ｐ４における顔画像の回動角度は0［度］の状態で、被写体Ｐの動作により一部のマーカー（例えば、マーカーＭ４）が被写体Ｐの体の一部により隠されて撮像されなかった場合、第１判定部２０６ａは、全てのマーカーがマーカー検出部２０３により検出されていないと判定し、且つ、第２判定部２０６ｂは、被写体Ｐは回動していないと判定する。この場合、位置推定部２０６ｃは、例えば、上記のマーカーＭ４に隣接するマーカーＭ３、Ｍ５、Ｍ８の３つのマーカーの位置関係（例えば、図５に示す三角形Ｔ１）や、当該３つのマーカーの各々に対するマーカーＭ４の位置関係をマーカー情報から取得する。また、位置推定部２０６ｃは、マーカーＭ４が非検出の被写体画像Ｐ４から検出され、マーカー位置決定部２０６により位置が決定されたマーカーＭ３、Ｍ５、Ｍ８の位置関係（例えば、図９に示す三角形Ｔ２）を取得する。そして、位置推定部２０６ｃは、これらの位置関係に基づいて、被写体画像Ｐ４におけるマーカーＭ４の位置を推定する。

【0036】

マーカー位置決定部２０６は、位置推定部２０６ｃにより推定された非検出のマーカーの位置を用いて全てのマーカーの位置を決定する。即ち、マーカー位置決定部２０６は、位置推定部２０６ｃにより推定された非検出のマーカーの位置を当該非検出のマーカーが存するであろう位置として決定し、マーカー検出部２０３により検出されたマーカーの各々の位置の検出結果と合わせて全てのマーカーの位置を決定する。

【0037】

また、マーカー位置決定部２０６は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像について、被写体Ｐに付された全てのマーカーの位置を決定する。ここで、位置推定部２０６ｃは、マーカー検出部２０３により複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの一の画像と異なる他の画像から検出された場合に、他の画像から検出されたマーカーの位置に基づいて非検出のマーカーの位置を推定するようにしてもよい。

【0038】

ここで、回動動作を行う被写体Ｐを図８（ａ）〜（ｃ）の各々のタイミングで撮像した複数の静止画像データについて、全てのマーカーの位置を決定する場合について説明する。この場合に、画像取得部２０２により取得される複数の静止画像データの被写体画像は、図７（ａ）〜（ｃ）に示す被写体画像Ｐ１〜Ｐ３となる。
図８（ａ）のタイミングから図８（ｂ）のタイミングにかけて、被写体Ｐが軸Ｏを中心として0［度］の回動角度から−45［度］回動すると、当該回動動作及び回動角度を示す回動情報が生成される。この状態では、図７（ａ）、（ｂ）に示すように、被写体画像Ｐ１、Ｐ２に基づいて、マーカー検出部２０３により被写体Ｐに付された全てのマーカーが検出される。
さらに、図８（ｂ）のタイミングから図８（ｃ）のタイミングにかけて、被写体Ｐがさらに−45［度］回動すると、回動角度は−90［度］となって、当該回動動作及び回動角度を示す回動情報が生成される。この状態では、図７（ｃ）に示すように、被写体画像Ｐ３に基づいてマーカー検出部２０３により非検出とされるマーカー（例えば、マーカーＭ３、Ｍ６、Ｍ１１〜Ｍ１６）が生じる。この場合、位置推定部２０６ｃは、例えば、マーカー検出部２０３により検出された被写体画像Ｐ２におけるマーカーを基準とし、被写体画像Ｐ１から被写体画像Ｐ２にかけて変化したマーカーの位置の変化の度合いに基づいて、被写体画像Ｐ３にて非検出のマーカーの位置を推定するようにしてもよい。

【0039】

また、マーカー位置決定部２０６は、位置が決定された全てのマーカーについて、各々のマーカーの位置を示す情報（マーカー位置情報）を出力する。
具体的には、マーカー位置決定部２０６は、例えば、各々のマーカーの位置を所定の領域内の一点を原点とした座標領域内における座標情報とし、全てのマーカーの位置に対応する座標情報が含まれた情報をマーカー位置情報として動作情報生成部２０７に出力する。ここで、座標領域は、例えば、三次元空間に対応する座標を管理するためのものであってもよいし、他の次元（例えば、二次元等）に対応する座標を管理するためのものであってもよい。

【0040】

動作情報生成部２０７は、マーカー位置決定部２０６により決定された複数の画像に係る全てのマーカーの位置に基づいて、被写体Ｐの動作を示す動作情報を生成する第２生成手段として機能する。
具体的には、動作情報生成部２０７は、複数の静止画像データの各々についてマーカー位置決定部２０６により出力されたマーカー位置情報を、各々の静止画像データが撮像されたタイミングにおける被写体Ｐのポーズを示すデータとする。そして、動作情報生成部２０７は、各々の静止画像データの撮像タイミングの時間軸に沿って各々のタイミングにおける被写体Ｐのポーズを示すデータどうしを関連付けることで動作情報を含むデータ（モーションデータ）を生成する。
また、動作情報生成部２０７は、記録媒体Ｃ等の記録装置にモーションデータを記録させる。

【0041】

表示部２０８は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２１０のＣＰＵの制御下にて各種情報を表示画面に表示する。
即ち、表示部２０８は、例えば、画像取得部２０２により取得された静止画像データを表示する。また、表示部２０８は、マーカー検出部２０３により検出されたマーカーを示す情報を表示する。また、表示部２０８は、マーカー位置決定部２０６により決定された全てのマーカーの位置を示す情報を表示する。また、表示部２０８は、非検出のマーカーがある場合、マーカー位置決定部２０６により位置が推定されたマーカーの位置とマーカー検出部２０３により検出されたマーカーに対応する位置とを区別可能に表示するようにしてもよい。また、表示部２０８は、動作情報により示される被写体Ｐの動きをタイミングごとに並べて表示するようにしてもよいし、スライドショー等の画面遷移を用いて動作情報に応じた被写体Ｐの動作を再現する表示を行うようにしてもよい。

【0042】

操作入力部２０９は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部２１０のＣＰＵに出力する。
なお、操作入力部２０９としてタッチパネル（図示略）を表示部２０８の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。

【0043】

中央制御部２１０は、位置決定装置２の各部を制御するものである。具体的には、中央制御部２１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記録された位置決定装置２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０８に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、位置決定装置２で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記録する。

【0044】

次に、位置決定装置２による動作情報生成処理について、図３及び図４を参照して説明する。
図３は、動作情報生成処理に係る動作の一例を示すフローチャートである。また、図４は、マーカー位置決定処理に係る動作の一例を示すフローチャートである。

【0045】

まず、マーカー位置決定部２０６は、処理対象画像の枚数をカウントするカウンタＮを所定の初期値（例えば、Ｎ＝１）で設定する（ステップＳ１）。
次に、画像取得部２０２は、複数の可動部分にマーカーが付された被写体Ｐが所定の一方向から撮像された画像を取得する（ステップＳ２）。具体的には、画像取得部２０２は、例えば、記録媒体制御部２０１から出力された動画像データを構成する複数のフレーム画像の各々を静止画像データとして個別に抽出し、各フレーム画像に対応する静止画像データを取得する。

【0046】

次に、マーカー検出部２０３は、画像取得部２０２により取得された画像に含まれるマーカーを検出する（ステップＳ３）。具体的には、マーカー検出部２０３は、例えば、マーカーを識別するために予め定められた特徴（例えば、マーカーの形状や色等）に基づいて、マーカーの特徴を示す画像領域を抽出することで画像内に含まれるマーカーを特定する。

【0047】

次に、顔画像検出部２０４ａは、画像取得部２０２により取得された画像に含まれる顔画像を検出する（ステップＳ４）。具体的には、顔画像検出部２０４ａは、例えば、画像取得部２０２により取得された画像から、顔画像の候補領域として、所定サイズ（例えば、24×24［画素］）の検出候補領域を複数生成し、各検出候補領域の画像データと所定の基準画像の画像データとの類似度を所定のアルゴリズム（例えば、adaboost（アダブースト）等）による出力計算を用いて算出し、算出された類似度が所定の閾値以上である検出候補領域の画像を顔画像として検出する。
次に、回動角度算出部２０４は、顔画像検出部２０４ａにより検出された顔画像の所定方向の軸を中心とする回動角度を算出する（ステップＳ５）。具体的には、回動角度算出部２０４は、例えば、顔画像検出部２０４ａにより検出された顔画像の複数の特徴点（例えば、「ヒトの目」や「ヒトの鼻」、「ヒトの口」等）を特徴点検出処理により検出し、各特徴点どうしの位置関係を示す相関を特定し、特定された顔画像の相関と、所定の相関データとの照合結果に基づいて、顔画像検出部２０４ａにより検出された顔画像について、地面に垂直な方向の軸を中心とした回動角度を算出する（図６参照）。

【0048】

次に、回動情報生成部２０５は、回動角度算出部２０４により算出された回動角度に基づいて、被写体Ｐの所定方向の軸を中心とする回動動作に係る回動情報を生成する（ステップＳ６）。具体的には、回動情報生成部２０５は、例えば、地面に垂直な方向の軸を中心として被写体Ｐが回動しているか否かや被写体Ｐの回動角度を示す情報を含む回動情報を生成する。

【0049】

次に、マーカー位置決定部２０６は、マーカー位置決定処理を行う（ステップＳ７）。
以下に、マーカー位置決定部２０６について、図４のフローチャートを参照して説明する。
まず、マーカー位置決定部２０６は、マーカー検出部２０３に検出されたマーカーの位置を決定する（ステップＳ２１）。具体的には、マーカー位置決定部２０６は、例えば、画像取得部２０２により取得された画像の全画像領域に対するマーカーの画像領域位置を検出し、検出されたマーカーの位置を所定の形式の位置情報とする（図９等参照）。

【0050】

次に、第１判定部２０６ａは、被写体Ｐに付された全てのマーカーがマーカー検出部２０３により検出されたか否か判定する（ステップＳ２２）。具体的には、第１判定部２０６ａは、例えば、マーカー検出部２０３により検出済みのマーカーの数とマーカー検出部２０３により検出されたマーカーの数とを比較して、当該比較結果に基づいて全てのマーカーが検出されているか否か判定する。
ステップＳ２２にて、マーカー検出部２０３により被写体Ｐに付された全てのマーカーが検出されたと判定された場合（ステップＳ２２；ＹＥＳ）、マーカー位置決定部２０６は、マーカー検出部２０３によるマーカーの検出結果に基づいて、被写体Ｐに付された全てのマーカーの位置を決定する（ステップＳ２３）。即ち、マーカー位置決定部２０６は、マーカー検出部２０３により検出されたマーカーの各々の位置の検出によりマーカーの位置を決定する。

【0051】

一方、ステップＳ２２にて、マーカー検出部２０３により被写体Ｐに付された全てのマーカーが検出されていないと判定された場合（ステップＳ２２；ＮＯ）、マーカー位置決定部２０６は、カウンタＮの値が１（Ｎ＝１）であるか否か判定する（ステップＳ２４）。ここで、Ｎ＝１であると判定された場合（ステップＳ２４；ＹＥＳ）、第２判定部２０６ｂは、回動情報に基づいて、被写体Ｐが回動しているか否か判定する（ステップＳ２５）。即ち、第２判定部２０６ｂは、回動情報により被写体が回動していることが示されているか否か判定する。
ステップＳ２５にて、回動情報に基づいて、被写体Ｐが回動していると判定された場合（ステップＳ２５；ＹＥＳ）、位置推定部２０６ｃは、回動情報に基づいて、非検出のマーカーの位置を推定する（ステップＳ２６）。具体的には、位置推定部２０６ｃは、例えば、位置推定部２０６ｃは、被写体Ｐに付された全てのマーカーのうちマーカー検出部２０３により検出され、マーカー位置決定部２０６により決定されたマーカーの位置や、回動情報により示される被写体Ｐの回動角度、マーカー情報により示されるマーカーに係る各種情報から非検出のマーカーの位置を推定する（図７（ｃ）、図８（ｃ）参照）。
一方、ステップＳ２５にて、回動情報に基づいて、被写体Ｐが回動していないと判定された場合（ステップＳ２５；ＮＯ）、位置推定部２０６ｃは、検出されたマーカーに基づいて、非検出のマーカーの位置を推定する（ステップＳ２７）。具体的には、位置推定部２０６ｃは、例えば、マーカー検出部２０３により非検出のマーカーとマーカー検出部２０３により検出されたマーカーとの位置関係を取得し、当該位置関係と、マーカー検出部２０３により検出され、マーカー位置決定部２０６により決定されたマーカーの位置とに基づいて、非検出のマーカーの位置を推定する（図９参照）。
ステップＳ２６又はステップＳ２７のいずれかの処理後、マーカー位置決定部２０６は、位置推定部２０６ｃにより推定された非検出のマーカーの位置を用いて全てのマーカーの位置を決定する（ステップＳ２３）。即ち、マーカー位置決定部２０６は、位置推定部２０６ｃにより推定された非検出のマーカーの位置を当該非検出のマーカーが存するであろう位置として決定し、マーカー検出部２０３により検出されたマーカーの各々の位置の検出結果と合わせて全てのマーカーの位置を決定する。
ステップＳ２３の処理の完了により、マーカー位置決定部２０６は、マーカー位置決定処理を完了する。

【0052】

図３に戻り、マーカー位置決定処理（ステップＳ７）の完了後、マーカー位置決定部２０６は、処理対象となる全ての静止画像データについて全てのマーカーの位置の決定が完了したか否か判定する（ステップＳ８）。ここで、処理対象となる全ての静止画像データについて全てのマーカーの位置の決定が完了していないと判定された場合（ステップＳ８；ＮＯ）、マーカー位置決定部２０６は、カウンタＮの値の変更（例えば、＋１）によるカウント処理を行い（ステップＳ９）、ステップＳ２の処理に移行する。

【0053】

ステップＳ９のカウント処理を１回以上経てから行われたマーカー位置決定処理（図４参照）においては、ステップＳ２４にて、カウンタＮの値が１でないと判定される（ステップＳ２４；ＮＯ）。この場合、第２判定部２０６ｂは、回動情報に基づいて、被写体Ｐが回動しているか否か判定する（ステップＳ２８）。
ステップＳ２８にて、回動情報に基づいて、被写体Ｐが回動していると判定された場合（ステップＳ２８；ＹＥＳ）、位置推定部２０６ｃは、回動情報及び他の画像のマーカーの位置に基づいて、非検出のマーカーの位置を推定する（ステップＳ２９）。具体的には、位置推定部２０６ｃは、例えば、ステップＳ２６の処理と同様の流れで処理を行うに際して、更に、マーカー検出部２０３により複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの一の画像と異なる他の画像から検出された場合に、他の画像から検出されたマーカーの位置に基づいて非検出のマーカーの位置を推定する（図７（ａ）〜（ｃ）、図８（ａ）〜（ｃ）参照）。
一方、ステップＳ２８にて、回動情報に基づいて、被写体Ｐが回動していないと判定された場合（ステップＳ２８；ＮＯ）、位置推定部２０６ｃは、検出されたマーカー及び他の画像のマーカーの位置に基づいて、非検出のマーカーの位置を推定する（ステップＳ３０）。具体的には、位置推定部２０６ｃは、例えば、ステップＳ２７の処理と同様の流れで処理を行うに際して、更に、マーカー検出部２０３により複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの一の画像と異なる他の画像から検出された場合に、他の画像から検出されたマーカーの位置に基づいて非検出のマーカーの位置を推定する。
ステップＳ２９又はステップＳ３０のいずれかの処理後、マーカー位置決定部２０６は、位置推定部２０６ｃにより推定された非検出のマーカーの位置を用いて全てのマーカーの位置を決定し（ステップＳ２３）、マーカー位置決定処理を完了する。

【0054】

図３に戻り、マーカー位置決定処理（ステップＳ７）の完了後、マーカー位置決定部２０６は、処理対象となる全ての静止画像データについて全てのマーカーの位置の決定が完了したか否か判定する（ステップＳ８）。ここで、処理対象となる全ての静止画像データについて全てのマーカーの位置の決定が完了したと判定された場合（ステップＳ８；ＹＥＳ）、動作情報生成部２０７は、マーカー位置決定部２０６により決定された複数の画像に係る全てのマーカーの位置に基づいて、被写体Ｐの動作を示す動作情報を生成する（ステップＳ１０）。具体的には、動作情報生成部２０７は、例えば、マーカー位置決定処理の完了に伴い複数の静止画像データの各々についてマーカー位置決定部２０６により出力されたマーカー位置情報を、各々の静止画像データが撮像されたタイミングにおける被写体Ｐのポーズを示すデータとし、各々の静止画像データの撮像タイミングの時間軸に沿って各々のタイミングにおける被写体Ｐのポーズを示すデータどうしを関連付けることで動作情報を含むデータ（モーションデータ）を生成する。
ステップＳ１０の処理の完了により、位置決定装置２は、動作情報生成処理を完了する。

【0055】

以上のように、本実施形態の位置決定システム１００によれば、マーカーの検出結果及び回動情報に基づいて、被写体Ｐに付された全てのマーカーの位置を決定するので、被写体の回動動作に係る情報を踏まえてマーカーの位置の決定を行うことができる。即ち、一方向から被写体Ｐを撮像すると被写体Ｐに付された全てのマーカーが画像内に含まれずに当該全てのマーカーが検出されない場合があるが、この場合に、マーカーが検出されなかったものについても被写体Ｐの回動状態（回動動作の有無や回動角度等）を考慮することで当該マーカーの位置を決定することができる。従って、所定の一方向から被写体Ｐが撮像された画像に基づいて、被写体Ｐに付された全てのマーカーの位置を決定することができる。
さらに、従来のように複数の方向から被写体を撮像する場合に比べて、より低コストで全てのマーカーの位置を決定することができる。

【0056】

また、全てのマーカーが検出されていないと判定された場合に、回動情報に基づいて、非検出のマーカーの位置を推定するので、非検出のマーカーがある場合に、回動情報により示される被写体Ｐの回動動作の有無や回動角度に基づいて、マーカーの位置の推定により非検出のマーカーの位置を決定することができ、これにより、被写体Ｐに付された全てのマーカーの位置を決定することができる。
さらに、被写体Ｐが回動していると判定された場合に、回動情報に基づいて、非検出のマーカーの位置を推定するので、被写体Ｐの回動動作の有無を踏まえてマーカーの位置を推定することができ、回動動作の有無によって推定される位置が変化する非検出のマーカーの位置の推定をより高精度で行うことができる。

【0057】

また、複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの一の画像と異なる他の画像から検出された場合に、他の画像から検出されたマーカーの位置に基づいて非検出のマーカーの位置を推定するので、他の画像に存するマーカーの位置を基準として非検出のマーカーの位置を推定することができ、これにより、非検出のマーカーの位置の推定をより高精度で行うことができる。

【0058】

また、決定された複数の画像に係る全てのマーカーの位置に基づいて、被写体Ｐの動作を示す動作情報を生成するので、所定の一方向から被写体Ｐが撮像された画像に基づいて、より低コストで動作情報を生成することができる。

【0059】

また、顔画像の所定方向の軸を中心とする回動角度を算出するので、例えば、目、鼻、口等の特徴点を有する顔画像を用いて回動角度を算出することができ、回動角度の算出をより適正に行うことができる。

【0060】

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

【0061】

例えば、上記実施形態では、撮像装置１と位置決定装置２とが別個に設けられているが、位置決定装置２が撮像装置１と同様の撮像手段を備え、当該撮像手段により撮像された画像を取得するようにしてもよい。
位置決定装置２が撮像手段を備えることにより、撮像手段（例えば、撮像装置１）と取得手段（例えば、画像取得部２０２）との間でデータを受け渡すための手段（例えば、記録媒体Ｃ）や受け渡しの作業を省略することができ、より効率的に全てのマーカーの位置の決定に係る処理を行うことができる。

【0062】

また、上記実施形態では、記録媒体Ｃを介して撮像装置１と位置決定装置２との間のデータの受け渡しを行っているが、一例であってこれに限られるものでない。例えば、位置決定システムは、撮像装置１と位置決定装置２とを通信回線や所定のインタフェース等により接続する形態であってもよい。
また、上記実施形態において、顔画像検出部２０４ａは、回動角度算出部２０４に設けられているが、一例であってこれに限られるものでない。例えば、顔画像検出部２０４ａは、回動角度算出部２０４から独立して設けられてもよい。マーカー位置決定部２０６が備える各部も同様に、マーカー位置決定部２０６から独立して設けられてもよい。

【0063】

また、上記実施形態では、回動角度算出部２０４は、顔画像検出部２０４ａにより検出された顔画像の回動角度を算出しているが、一例であってこれに限られるものでなく、被写体画像の他の部分に基づいて、回動角度を算出してもよい。例えば、手の画像、足の画像や手足の一部分の画像、胴体の画像、その他、被写体Ｐのあらゆる部分の画像のいずれか又は複数に基づいて、回動角度を算出するようにしてもよい。
また、上記実施形態では、回動動作の中心となる所定方向の軸を地面に垂直な方向の軸としているが、一例であってこれに限られるものでなく、適宜任意に変更可能である。

【0064】

また、上記実施形態にあっては、位置推定部２０６ｃは、非検出のマーカーがある静止画像データよりも前のタイミングで撮像された静止画像データにおけるマーカーの位置に基づいて、非検出のマーカーの位置を推定しているが、一例であってこれに限られるものでない。例えば、位置推定部２０６ｃは、非検出のマーカーがある静止画像データよりも後のタイミングで撮像された静止画像データにおけるマーカーの位置に基づいて、非検出のマーカーの位置を推定するようにしてもよいし、前後の両方のタイミングにおけるマーカーの位置に基づいて、非検出のマーカーの位置を推定するようにしてもよい。

【0065】

また、位置推定部２０６ｃは、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像のうち、二以上の画像においてマーカー検出部２０３により非検出のマーカーがある場合に、当該二以上の画像のうち、いずれか一の画像について推定された非検出のマーカーの位置に基づいて、まだ位置の推定が完了していない他の画像の非検出のマーカーの位置を推定するようにしてもよい。

【0066】

また、マーカー位置決定部２０６は、マーカー位置情報の生成及び出力に係り、回動情報生成部２０５により生成された回動情報により示される被写体Ｐの回動動作に係る処理を加えて行ってもよい。
具体的には、マーカー位置決定部２０６は、例えば、マーカー検出部２０３により全てのマーカーが検出され、全てのマーカーの位置の決定に係り回動情報が用いられなかった静止画像データのマーカー位置情報に対して、当該静止画像データに対応する回動情報が示す被写体Ｐの回動角度に基づいて、三次元空間の座標領域内における各マーカーの位置の算出や各マーカーの位置の調整、補正等の各種の処理のいずれか又は複数を行うようにしてもよい。

【0067】

また、第２判定部２０６ｂによる判定を省略し、回動情報により示される回動角度に基づいて、非検出のマーカーの位置を推定するようにしてもよい。この場合、例えば、位置推定部２０６ｃは、非検出のマーカーの位置を推定する処理において、回動情報により示される回動角度の値を変数の一つとして取得するが、回動角度が0［度］である場合に、回動角度に基づく推定される非検出のマーカーの位置の補正をなくす（0にする）ことにより、被写体Ｐが回動していない場合のマーカーの位置を推定する。

【0068】

また、上記実施形態にあっては、中央制御部２１０のＣＰＵの制御下にて、画像取得部２０２、マーカー検出部２０３、回動角度算出部２０４、回動情報生成部２０５、マーカー位置決定部２０６、動作情報生成部２０７等が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵによって所定のプログラム等が実行されることにより実現される構成としてもよい。
即ち、プログラムを記録するプログラムメモリ（図示略）に、画像取得ルーチン、マーカー検出ルーチン、回動角度算出ルーチン、回動情報生成ルーチン、マーカー位置決定ルーチン、動作情報生成ルーチン等を含むプログラムを記録しておく。そして、画像取得ルーチンによりＣＰＵが、複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像を取得するようにしてもよい。また、マーカー検出ルーチンによりＣＰＵが、取得された画像内のマーカーを検出するようにしてもよい。また、回動角度算出ルーチンによりＣＰＵが、画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出するようにしてもよい。また、回動情報生成ルーチンによりＣＰＵが、算出された回動角度に基づいて、被写体の所定方向の軸を中心とする回動動作に係る回動情報を生成するようにしてもよい。また、マーカー位置決定ルーチンによりＣＰＵが、マーカーの検出結果及び回動情報に基づいて、被写体に付された全てのマーカーの位置を決定するようにしてもよい。また、動作情報生成ルーチンによりＣＰＵが、決定された複数の画像に係る全てのマーカーの位置に基づいて、被写体の動作を示す動作情報を生成するようにしてもよい。

【0069】

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

【0070】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置において、
前記画像を取得する取得手段と、
この取得手段により取得された画像内のマーカーを検出する第１検出手段と、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出する算出手段と、
この算出手段により算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成する第１生成手段と、
前記第１検出手段によるマーカーの検出結果及び前記第１生成手段により生成された前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定する決定手段と、
を備えることを特徴とする位置決定装置。
＜請求項２＞
前記決定手段は、
前記全てのマーカーが前記第１検出手段により検出されたか否か判定する第１判定手段と、
この第１判定手段により前記全てのマーカーが検出されていないと判定された場合に、前記回動情報に基づいて、前記第１検出手段により非検出のマーカーの位置を推定する推定手段と、を備えることを特徴とする請求項１に記載の位置決定装置。
＜請求項３＞
前記決定手段は、更に、前記回動情報に基づいて、被写体が回動しているか否か判定する第２判定手段を備え、
前記推定手段は、前記第２判定手段により被写体が回動していると判定された場合に、前記回動情報に基づいて、前記第１検出手段により非検出のマーカーの位置を推定することを特徴とする請求項２に記載の位置決定装置。
＜請求項４＞
前記取得手段は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像を取得し、
前記推定手段は、前記第１検出手段により前記複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの前記一の画像と異なる他の画像から検出された場合に、前記他の画像から検出されたマーカーの位置に基づいて前記非検出のマーカーの位置を推定することを特徴とする請求項２又は３に記載の位置決定装置。
＜請求項５＞
前記決定手段は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像について、前記被写体に付された全てのマーカーの位置を決定し、
前記決定手段により決定された前記複数の画像に係る全てのマーカーの位置に基づいて、前記被写体の動作を示す動作情報を生成する第２生成手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の位置決定装置。
＜請求項６＞
前記被写体画像の顔画像を検出する第２検出手段を備え、
前記算出手段は、前記第２検出手段により検出された顔画像の前記所定方向の軸を中心とする回動角度を算出することを特徴とする請求項１〜５の何れか一項に記載の位置決定装置。
＜請求項７＞
前記被写体を前記所定の一方向から撮像する撮像手段を更に備え、
前記取得手段は、前記撮像手段により撮像された画像を取得することを特徴とする請求項１〜６の何れか一項に記載の位置決定装置。
＜請求項８＞
複数の可動部分にマーカーが付された被写体を所定の一方向から撮像する撮像装置と、
請求項１〜６の何れか一項に記載の位置決定装置と、を備える位置決定システムであって、
前記位置決定装置の前記取得手段は、前記撮像装置により撮像された画像を取得することを特徴とする位置決定システム。
＜請求項９＞
複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置を用いた位置決定方法であって、
前記画像を取得するステップと、
取得された画像内のマーカーを検出するステップと、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出するステップと、
算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成するステップと、
マーカーの検出結果及び前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定するステップと、
を有することを特徴とする位置決定方法。
＜請求項１０＞
複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置のコンピュータを、
前記画像を取得する手段、
取得された画像内のマーカーを検出する手段、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出する手段、
算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成する手段、
マーカーの検出結果及び前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定する手段、
として機能させることを特徴とするプログラム。

【符号の説明】

【0071】

１００ 位置決定システム
１ 撮像装置
２ 位置決定装置
２０１ 記録媒体制御部
２０２ 画像取得部
２０３ マーカー検出部
２０４ 回動角度算出部
２０４ａ 顔画像検出部
２０５ 回動情報生成部
２０６ マーカー位置決定部
２０６ａ 第１判定部
２０６ｂ 第２判定部
２０６ｃ 位置推定部
２０７ 動作情報生成部
Ｃ 記録媒体
Ｍ１〜Ｍ１６ マーカー
Ｏ 軸
Ｐ 被写体
Ｐ１〜Ｐ４ 被写体画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】