特許 6906273 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6906273

(24)【登録日】2021年7月1日

(45)【発行日】2021年7月21日

(54)【発明の名称】映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210708BHJP

【ＦＩ】

   G06T7/20 300Z

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2018-115828(P2018-115828)

(22)【出願日】2018年6月19日

(65)【公開番号】特開2019-219836(P2019-219836A)

(43)【公開日】2019年12月26日

【審査請求日】2020年6月16日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】田坂 和之

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 国際公開第２０１８／０８７８５３（ＷＯ，Ａ１）

【文献】 特開２０１４−１５５６９３（ＪＰ，Ａ）

【文献】 特開２０１２−０６６０２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

映像データから人物の骨格位置の変位の軌跡を描写するようにコンピュータを機能させるプログラムであって、
人物の行動毎に、軌跡を描写すべき１つ以上の骨格を予め対応付けた骨格設定テーブルと、
前記映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第１の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
前記骨格設定テーブルを用いて、前記行動推定手段によって認識された行動に対応する１つ以上の骨格を特定する骨格特定手段と、
前記骨格特定手段によって特定された骨格について、前記骨格認識手段によって抽出された、第２の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
してコンピュータを機能させることを特徴とするプログラム。

【請求項2】

前記骨格変位描写手段は、前記映像データに、第２の所定期間の時系列の骨格位置の変位を軌跡として重畳的に描写する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。

【請求項3】

前記行動推定手段の第１の所定期間は、推定前時点t-n〜推定時点tであり、
前記骨格変位描写手段の第２の所定期間は、
推定後時点t+1〜t+kであるか、又は、
推定前時点t-m〜推定時点t〜推定後時点t+kである
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。

【請求項4】

人物の行動毎に、第１の所定期間における各骨格位置の変位量を時系列に並べた第１の骨格変位テーブルを更に有し、
前記行動推定手段は、行動毎の第１の骨格変位テーブルを用いて、第１の所定期間の時系列の骨格変位に類似する行動を検索する
ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。

【請求項5】

人物の行動毎に、第２の所定期間における各骨格位置の変位量を時系列に並べた第２の骨格変位テーブルを更に有し、
前記骨格設定テーブルは、推定された当該行動における第２の骨格変位テーブルを用いて、所定ルールに基づく時系列の変位量となる骨格を設定する
ようにコンピュータを機能させることを特徴とする請求項３又は４に記載のプログラム。

【請求項6】

前記骨格設定テーブルの前記所定ルールは、ユーザによって予め設定されたものである
ようにコンピュータを機能させることを特徴とする請求項５に記載のプログラム。

【請求項7】

前記骨格設定テーブルの前記所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する
ようにコンピュータを機能させることを特徴とする請求項６に記載のプログラム。

【請求項8】

映像データから人物の骨格位置の変位の軌跡を描写する装置であって、
人物の行動毎に、軌跡を描写すべき１つ以上の骨格を予め対応付けた骨格設定テーブルと、
前記映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第１の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
前記骨格設定テーブルを用いて、前記行動推定手段によって認識された行動に対応する１つ以上の骨格を特定する骨格特定手段と、
前記骨格特定手段によって特定された骨格について、前記骨格認識手段によって抽出された、第２の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
を有することを特徴とする装置。

【請求項9】

映像データから人物の骨格位置の変位の軌跡を描写する装置の骨格軌跡描写方法であって、
前記装置は、人物の行動毎に、軌跡を描写すべき１つ以上の骨格を予め対応付けた骨格設定テーブルを有し、
前記装置は、
前記映像データから、複数の骨格位置を時系列に抽出する第１のステップと、
第１の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する第２のステップと、
前記骨格設定テーブルを用いて、第２のステップによって認識された行動に対応する１つ以上の骨格を特定する第３のステップと、
第３のステップによって特定された骨格について、第１のステップによって抽出された、第２の所定期間の時系列の骨格位置の変位を軌跡として描写する第４のステップと
を実行することを特徴とする装置の骨格軌跡描写方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像データから、人物の行動を推定する技術に関する。

【背景技術】

【0002】

従来、人物間のオクルージョン中であるか否かにかかわらず、頑健かつ高精度な人物追跡を実現する画像処理の技術がある（例えば特許文献１参照）。この技術によれば、過去フレームの追跡結果と人物領域の検出結果とのマッチングの際に、単一人物の領域として比較する類似度基準とは別に、人物間オクルージョン状態の領域として比較する類似度基準を用いることによって、人物間オクルージョンが発生している場合でも頑強にマッチングできる。

【0003】

また、映像中の人物が密集している集団領域と、それ以外の個人領域とに区分して、映像中の人物を追跡する技術もある（例えば特許文献２参照）。この技術によれば、人物の追跡処理は、個人領域のみで実行され、集団領域では実行されない。即ち、ある人物が、個人領域から集団領域に吸収された際に、追跡処理を中止し、集団領域から個人領域へ分離した際に再度、追跡処理を開始する。特に、個人領域における人物の座標と着衣に記載の数字とに基づいて、その人物の集団領域における座標の軌跡を決定する。

【0004】

更に、人物とは異なって、物体の移動を追跡する技術もある（例えば特許文献３参照）。この技術によれば、時系列に連続した画像をニューラルネットワークに入力し、入力された画像それぞれの特徴量と、ニューラルネットワークに抽出させた特徴量とを比較して類似性を照合する。そして、前時点の画像に映る追跡候補となる１以上の物体に一致する、後の画像に映る１以上の物体の識別情報及び位置情報を、識別結果として出力する。これにより、物体の追跡をディスプレイ上に表示する。

【0005】

更に、人の各骨格の軌跡を表示する技術もある（例えば非特許文献１、特許文献４参照）。また、特定の部位として指先の軌跡を仮想空間上に表示する技術もある（例えば非特許文献２参照）。これらの技術によれば、抽出した骨格点の移動軌跡を表示することができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１７−１８２２９５号公報

【特許文献2】再表２０１６−１３９９０６号公報

【特許文献3】特開２０１８−０２６１０８号公報

【特許文献4】特開２０１５−０６１５７９号公報

【非特許文献】

【0007】

【非特許文献1】Zhe Cao etc.「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」、Carnegie Mellon University、[online]、［平成３０年６月１６日検索］、インターネット＜URL:https://arxiv.org/pdf/1611.08050.pdf＞

【非特許文献2】田中雄規，河野 恭之、「カメラ画像とセンサからの頭部位置・姿勢追跡による指先軌跡の空中描画システム」、関西学院大学、情報処理学会研究報告、Vol.2015-HCI-162 No.7、[online]、［平成３０年６月１６日検索］、インターネット＜URL:https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=141307&file_id=1&file_no=1＞

【非特許文献3】「動画や写真からボーンが検出できる OpenPoseを試してみた」、[online]、［平成３０年６月１６日検索］、インターネット＜URL:http://hackist.jp/?p=8285＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

前述した非特許文献１及び２並びに特許文献４に記載の技術によれば、全ての骨格の移動軌跡を表示することができる。
しかしながら、人物の行動によっては（例えば激しい動きの場合）、骨格同士の軌跡の重なりが多く、表示された移動軌跡は、ユーザにとって視覚的に見づらいものとなる。
これに対し、本願の発明者は、人物の行動に応じて、ユーザが注目したい骨格の移動軌跡は異なるのではないか、と考えた。

【0009】

そこで、本発明は、映像データから人物の行動を推定し、当該行動に応じた骨格位置の変位の軌跡を描写するプログラム、装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明によれば、映像データから人物の骨格位置の変位の軌跡を描写するようにコンピュータを機能させるプログラムであって、
人物の行動毎に、軌跡を描写すべき１つ以上の骨格を予め対応付けた骨格設定テーブルと、
映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第１の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
骨格設定テーブルを用いて、行動推定手段によって認識された行動に対応する１つ以上の骨格を特定する骨格特定手段と、
骨格特定手段によって特定された骨格について、骨格認識手段によって抽出された、第２の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
してコンピュータを機能させることを特徴とする。

【0011】

本発明のプログラムにおける他の実施形態によれば、
骨格変位描写手段は、映像データに、第２の所定期間の時系列の骨格位置の変位を軌跡として重畳的に描写する
ようにコンピュータを機能させることも好ましい。

【0012】

本発明のプログラムにおける他の実施形態によれば、
行動推定手段の第１の所定期間は、推定前時点t-n〜推定時点tであり、
骨格変位描写手段の第２の所定期間は、
推定後時点t+1〜t+kであるか、又は、
推定前時点t-m〜推定時点t〜推定後時点t+kである
ようにコンピュータを機能させることも好ましい。

【0013】

本発明のプログラムにおける他の実施形態によれば、
人物の行動毎に、第１の所定期間における各骨格位置の変位量を時系列に並べた第１の骨格変位テーブルを更に有し、
行動推定手段は、行動毎の第１の骨格変位テーブルを用いて、第１の所定期間の時系列の骨格変位に類似する行動を検索する
ようにコンピュータを機能させることも好ましい。

【0014】

本発明のプログラムにおける他の実施形態によれば、
人物の行動毎に、第２の所定期間における各骨格位置の変位量を時系列に並べた第２の骨格変位テーブルを更に有し、
骨格設定テーブルは、推定された当該行動における第２の骨格変位テーブルを用いて、所定ルールに基づく時系列の変位量となる骨格を設定する
ようにコンピュータを機能させることも好ましい。

【0015】

本発明のプログラムにおける他の実施形態によれば、
骨格設定テーブルの所定ルールは、ユーザによって予め設定されたものである
ようにコンピュータを機能させることも好ましい。

【0016】

本発明のプログラムにおける他の実施形態によれば、
骨格設定テーブルの所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する
ようにコンピュータを機能させることも好ましい。

【0017】

本発明によれば、映像データから人物の骨格位置の変位の軌跡を描写する装置であって、
人物の行動毎に、軌跡を描写すべき１つ以上の骨格を予め対応付けた骨格設定テーブルと、
映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第１の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
骨格設定テーブルを用いて、行動推定手段によって認識された行動に対応する１つ以上の骨格を特定する骨格特定手段と、
骨格特定手段によって特定された骨格について、骨格認識手段によって抽出された、第２の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
を有することを特徴とする。

【0018】

本発明によれば、映像データから人物の骨格位置の変位の軌跡を描写する装置の骨格軌跡描写方法であって、
装置は、人物の行動毎に、軌跡を描写すべき１つ以上の骨格を予め対応付けた骨格設定テーブルを有し、
装置は、
映像データから、複数の骨格位置を時系列に抽出する第１のステップと、
第１の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する第２のステップと、
骨格設定テーブルを用いて、第２のステップによって認識された行動に対応する１つ以上の骨格を特定する第３のステップと、
第３のステップによって特定された骨格について、第１のステップによって抽出された、第２の所定期間の時系列の骨格位置の変位を軌跡として描写する第４のステップと
を実行することを特徴とする。

【発明の効果】

【0019】

本発明のプログラム、装置及び方法によれば、映像データから人物の行動を推定し、当該行動に応じた骨格位置の変位の軌跡を描写することができる。

【図面の簡単な説明】

【0020】

【図1】本発明における認識装置の機能構成図である。

【図2】骨格認識部によって認識された骨格位置を表す説明図である。

【図3】本発明における骨格認識部及び行動推定部の第１の実施形態を表す説明図である。

【図4】本発明における骨格認識部及び行動推定部の第２の実施形態を表す説明図である。

【図5】本発明における骨格位置の時系列の変位を表す説明図である。

【図6】骨格設定テーブルを決定する第１の実施形態を表す説明図である。

【図7】骨格設定テーブルを決定する第２の実施形態を表す説明図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0022】

図１は、本発明における認識装置の機能構成図である。

【0023】

図１によれば、本発明の認識装置１は、映像データから人物の骨格位置の変位の軌跡を描写することができる。
認識装置１は、カメラを搭載したスマートフォンや携帯端末であってもよく、人物を撮影した映像データを入力する。また、認識装置１は、携帯電話網又は無線ＬＡＮのようなアクセスネットワークを介して映像データを受信するものであってもよい。
勿論、認識装置１は、スマートフォン等に限られず、例えば固定設置されたＷｅｂカメラであってもよい。また、Ｗｅｂカメラによって撮影された映像データがＳＤカードに記録され、その記録された映像データを認識装置１へ入力するものであってもよい。
尚、以下では、認識装置１は、カメラを搭載するスマートフォンとして説明するが、例えばインターネットに接続されたサーバとして機能するものであってもよい。

【0024】

図１によれば、認識装置１は、骨格設定テーブル１０と、骨格認識部１１と、行動推定部１２と、骨格特定部１３と、骨格変位描写部１４とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。また、これら機能構成部の処理の流れは、装置の骨格軌跡描写方法としても理解できる。

【0025】

［骨格認識部１１］
骨格認識部１１は、映像データから、人物の複数の骨格位置を時系列に抽出する。骨格を抽出する映像データは、２次元に基づくものであって、一般的なＷｅｂカメラで撮影したものであってもよい。抽出された骨格位置は、行動推定部１２へ出力される。

【0026】

図２は、骨格認識部によって認識された骨格位置を表す説明図である。

【0027】

骨格認識部１１は、具体的にはOpenPose（登録商標）のようなスケルトンモデルを用いて、人の骨格の特徴点を抽出する（例えば非特許文献３参照）。OpenPoseとは、画像から複数の人間の体／手／顔のキーポイントをリアルタイムに検出可能なソフトウェアであって、GitHubによって公開されている。撮影映像に映る人の身体全体であれば、例えば１８点のキーポイントを検出できる。
図２によれば、映像データに１人の人物が映り込んでいる。OpenPoseの場合、１８個の各骨格位置（Nose, Neck, RShoulder, RElbow,・・・）の２次元座標点及び信頼度が、各フレームで結び付けられている。

【0028】

［行動推定部１２］
行動推定部１２は、第１の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する。具体的には、行動推定部１２は、映像データの時系列の骨格位置の変位量に「行動」を対応付けた教師データに基づいて、深層学習の学習モデルを予め構築したものである。
そして、行動推定部１２は、学習モデルを用いて、映像データの時系列の骨格位置から、「行動」を認識する。行動推定部１２は、例えば「蹴る」「座る」「踊る」のような人物の行動を、人物の時系列の骨格位置から認識する。

【0029】

図３は、本発明における骨格認識部及び行動推定部の第１の実施形態を表す説明図である。
図３によれば、骨格認識部１１及び行動推定部１２の両方とも、例えばOpenPoseによって構成されたものであってもよい。OpenPoseの場合、クラス分類によって、行動毎にスコアが算出される。即ち、「映像データ」を入力することによって、最も高いスコアとなる「行動」を推定することができる。

【0030】

図４は、本発明における骨格認識部及び行動推定部の第２の実施形態を表す説明図である。

【0031】

図４によれば、骨格認識部１１のみ、例えばOpenPoseによって複数の骨格位置が認識される。また、行動推定部１２には、第１の骨格変位テーブル１２１が対応付けられている。

【0032】

［第１の骨格変位テーブル１２１］
第１の骨格変位テーブル１２１は、人物の「行動」毎に、当該行動を特定可能な第１の所定期間における各骨格位置の変位量を時系列に並べたものである。図４によれば、例えば３次元（x,y,z)座標における前時刻からの変位量が表されている。
図４によれば、第１の所定期間は、推定前時点t-n〜推定時点tである（[t-n]は、推定時点tよりも任意のn時間前の時点）。
行動推定部１２は、映像データにおける推定時点tまでの行動毎の各骨格位置の変位量の変化から、第１の骨格変位テーブル１２１を用いて、第１の所定期間の時系列の骨格変位に類似する最も類似する「行動」を選択する。勿論、１つの行動に限られず、類似度が高い順に複数の行動が選択されてもよい。

【0033】

図４の第１の骨格変位テーブルによれば、行動「蹴る」の場合、骨格１０「右足首(RAnkle)」の位置の変位量が最も大きいことが理解できる。
行動「座る」の場合、全体の骨格位置の変位量が比較的小さいことが理解できる。
行動「踊る」の場合、骨格８「右ヒップ(Hip)」の位置の変位量が比較的大きいことが理解できる。

【0034】

［骨格設定テーブル１０］
骨格設定テーブル１０は、人物の行動毎に、軌跡を描写すべき１つ以上の骨格を予め対応付けたものである。
前述した図１によれば、骨格設定テーブル１０には、人物の行動毎に、以下のように、骨格番号が対応付けられている。
行動「蹴る」−＞骨格番号１０「右足首」
行動「座る」−＞骨格番号４ 「右手首」
行動「踊る」−＞骨格番号０ 「鼻」

【0035】

［骨格特定部１３］
骨格特定部１３は、骨格設定テーブル１０を用いて、行動推定部１２によって認識された行動に対応する１つ以上の骨格を特定する。
例えば行動推定部１２によって行動「蹴る」と推定された場合、骨格設定テーブル１０を用いて、骨格番号１０「右足首」が選択される。

【0036】

［骨格変位描写部１４］
骨格変位描写部１４は、骨格特定部１３によって特定された骨格について、骨格認識部１１によって抽出された、第２の所定期間の時系列の骨格位置の変位を軌跡として描写する。
また、骨格変位描写部１４は、映像データに、骨格位置の時系列の変位を軌跡として重畳的に描写する。

【0037】

ここで、第２の所定期間は、以下のいずれであってもよい。
（１）推定後時点t+1〜t+k （[t+k]は、推定時点tよりも任意のk時間後の時点）
この場合、推定前時点t-n〜推定時点tで「行動」を推定し、その行動から特定される骨格番号について、推定後時点t+1〜時点t+kでその骨格位置の変位の軌跡を描写する。即ち、行動が推定された後段階から骨格位置の変位を描写する。
（２）推定前時点t-m〜推定時点t〜推定後時点t+k
この場合、推定前時点t-n〜推定時点tで「行動」を推定し、その行動から特定される骨格番号について、過去に遡った推定前時点t-m〜推定後時点t+kでその骨格位置の変位の軌跡を描写する。即ち、行動が推定される前段階から骨格位置の変位を描写する（[t-m]は、推定時点tよりも任意のm時間前の時点）。

【0038】

図５は、本発明における骨格位置の時系列の変位を表す説明図である。

【0039】

（１）推定前時点t-2〜推定時点tの間で、骨格位置の変位量から行動「蹴る」の推定スコアが徐々に高くなり、時点tで推定閾値を超えて、行動「蹴る」が出力される。このとき、骨格設定テーブル１０を用いて、行動「蹴る」に対応する骨格１０「右足首」が特定される。
（２）推定後時点t+1〜t+3の間で、骨格１０「右足首」の位置の軌跡が記録されていく。骨格１０「右足首」の軌跡の描写は、徐々に更新されるものであってもよいし、任意の時点t+4で表示されるものであってもよい。
図５によれば、骨格位置の変位は、２次元画像で描写されているが、勿論、３次元画像であってもよい。

【0040】

＜骨格設定テーブル１０への骨格の設定＞
骨格設定テーブル１０は、特定された当該行動における第２の骨格変位テーブル１０１を用いて、所定ルールに基づく時系列の変位量となる骨格を設定する

【0041】

図６は、骨格設定テーブルを決定する第１の実施形態を表す説明図である。

【0042】

図６によれば、骨格設定テーブル１０を決定するために、第２の骨格変位テーブル１０１と、所定ルールとが表されている。
［第２の骨格変位テーブル１０１］
第２の骨格変位テーブル１０１は、人物の行動毎に、第２の所定期間における各骨格位置の変位量を時系列に並べたものである。
第２の骨格変位テーブル１０１は、過去の統計データであって、行動毎に、経過時間に応じて各骨格位置の変位量を表したものである。図６によれば、行動「蹴る」「座る」「踊る」それぞれについて、経過時間に応じて、その人物の各骨格位置の変位量が記録されている。
［所定ルール］
所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する。
図６によれば、所定ルールとして、例えば「所定期間内の変位量が最も大きい骨格」と定義されているとする。

【0043】

この場合、骨格設定テーブル１０には、行動毎に、所定期間内の変位量が最も大きい骨格が登録される。
行動「蹴る」の場合、所定期間内の変位量が最も大きい骨格１０「右足首」が登録される。
行動「座る」の場合、所定期間内の変位量が最も大きい骨格４「右手首」が登録される。
行動「踊る」の場合、所定期間内の変位量が最も大きい骨格０「鼻」が登録される。
このように、所定ルールに応じて骨格設定テーブル１０が登録される。

【0044】

ここで、所定ルールを対応付けて判定する「所定期間」は、任意である。
例えば行動の推定時点t以降となる推定後時点t+1〜t+2であってもよい。
例えば行動の推定前時点t-1〜t+2であってもよい。
即ち、第２の骨格変位テーブル１０１における推定前時点t-n〜推定時点tの各骨格位置の変位量の数値は、第１の骨格変位テーブルと全く同じものであってもよい。

【0045】

図７は、骨格設定テーブルを決定する第２の実施形態を表す説明図である。

【0046】

図７によれば、図６と比較して、骨格設定テーブル１０の所定ルールは、ユーザによって予め設定されたものである。即ち、ユーザ毎に、異なるルールで、骨格設定テーブル１０が登録される。
尚、第２の骨格変位テーブル１０１は、図６と同様である。

【0047】

図７のユーザ毎の所定ルールによれば、以下のように設定している。
（ユーザＡ）
「蹴る」：第１の所定期間の変位量が最も大きい骨格
「座る」：第１の所定期間の変位量が最も小さい骨格
「踊る」：第２の所定期間の変位量が最も大きい骨格
（ユーザＢ）
「蹴る」：第１の所定期間の変位量が最も小さい骨格
「座る」：第１の所定期間の変位量が最も大きい骨格
「踊る」：第２の所定期間の変位量が最も大きい骨格
尚、所定期間も任意に設定することができる。これによって、短い時間内で激しい行動や静かな行動に基づく骨格番号を検出するだけでなく、長い時間で激しい行動や静かな行動に基づく骨格番号を検出することもできる。

【0048】

ユーザＡによれば、行動「蹴る」が推定された場合、第１の所定期間の変位量が最も大きい骨格１０「右足首」が選択される。この場合、骨格１０「右足首」の変位の軌跡が描写される。
また、ユーザＢによれば、行動「蹴る」が推定された場合、第１の所定期間の変位量が最も小さい骨格１「首」が選択される。この場合、骨格１「首」の変位の軌跡が描写される。

【0049】

以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、映像データから人物の行動を推定し、当該行動に応じた骨格位置の変位の軌跡を描写することができる。
また、本発明によれば、推定された行動に応じた骨格位置を、所定ルールに基づいて自動的に特定することができる。即ち、ユーザが注目すべき骨格位置の変位の軌跡を、所定ルールに応じて描写することができる。

【0050】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0051】

１ 認識装置
１０ 骨格設定テーブル
１０１ 第２の骨格変位テーブル
１１ 骨格認識部
１２ 行動推定部
１２１ 第１の骨格変位テーブル
１３ 骨格特定部
１４ 骨格変位描写部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】