特許 7397282 静止判定システム及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-05

(45)【発行日】2023-12-13

(54)【発明の名称】静止判定システム及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20231206BHJP

   A63B 71/06 20060101ALI20231206BHJP

   G06T 7/00 20170101ALI20231206BHJP

【ＦＩ】

G06T7/20 300Z

A63B71/06 M

G06T7/00 660Z

【請求項の数】 8

(21)【出願番号】P 2019165678

(22)【出願日】2019-09-11

(65)【公開番号】P2021043730

(43)【公開日】2021-03-18

【審査請求日】2022-07-05

(73)【特許権者】

【識別番号】500033117

【氏名又は名称】株式会社ＭＩＸＩ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】橋口 昂矢

【審査官】長谷川 素直

(56)【参考文献】

【文献】国際公開第２０１２／１４７９６１（ＷＯ，Ａ１）

【文献】特開２０１５－１７０２０６（ＪＰ，Ａ）

【文献】特開２０１２－０９８９８８（ＪＰ，Ａ）

【文献】特開２００１－０５６８６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ａ６３Ｂ ７１／００

(57)【特許請求の範囲】

【請求項1】

ユーザーの身体が静止しているか否かを判定するシステムであって、
撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、
前記撮影部は、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
前記部位特定部は、取得された前記撮影データについて、前記ユーザーの身体において手と手以外とを含む複数の特徴点のうち前記撮影データに基づく複数の特徴点に対応づけられている所定の部位を特定し、
前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、
前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定する、システム。

【請求項2】

ユーザーの身体が静止しているか否かを判定するシステムであって、
撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、
前記撮影部は、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
前記部位特定部は、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、
前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、
前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定し、
前記部位特定部は、前記撮影データから推定される姿勢モデルに基づいて、前記所定の部位を特定する、システム。

【請求項3】

ユーザーの身体が静止しているか否かを判定するシステムであって、
撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、
前記撮影部は、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
前記部位特定部は、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、
前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、
前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定し、
前記撮影データの複数フレームは、Ｍフレームで構成され、
前記静止判定部は、
前記撮影データの中から始点となるフレームが異なるＰ通りの連続するＬフレームに対して、フレーム間の差分に基づいて前記所定の部位の静止度合いについての判定値を算出し、
前記Ｐ通りの判定値を前記所定の部位の動きが小さい順に並べたときの順位がＱ位以内であるＬフレームに基づいて、特定された前記所定の部位が静止しているか否かを判定する、システム。

【請求項4】

ユーザーの身体が静止しているか否かを判定するシステムであって、
撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、
前記撮影部は、複数の方向から前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
前記部位特定部は、取得された前記撮影データに対してそれぞれ前記ユーザーの身体における所定の部位を特定し、
前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、
前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定する、システム。

【請求項5】

コンピュータに、撮影ステップと、部位特定ステップと、画像領域設定ステップと、静止判定ステップを備える、ユーザーの身体が静止しているか否かの判定方法を実行させるコンピュータプログラムであって、
前記撮影ステップでは、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
前記部位特定ステップでは、取得された前記撮影データについて、前記ユーザーの身体において手と手以外とを含む複数の特徴点のうち前記撮影データに基づく複数の特徴点に対応づけられている所定の部位を特定し、
前記画像領域設定ステップでは、特定された前記所定の部位に対応づけられる画像領域を設定し、
前記静止判定ステップでは、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定する、コンピュータプログラム。

【請求項6】

コンピュータに、撮影ステップと、部位特定ステップと、画像領域設定ステップと、静止判定ステップを備える、ユーザーの身体が静止しているか否かの判定方法を実行させるコンピュータプログラムであって、
前記撮影ステップでは、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
前記部位特定ステップでは、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、
前記画像領域設定ステップでは、特定された前記所定の部位に対応づけられる画像領域を設定し、
前記静止判定ステップでは、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定し、
前記部位特定ステップでは、前記撮影データから推定される姿勢モデルに基づいて、前記所定の部位を特定する、コンピュータプログラム。

【請求項7】

コンピュータに、撮影ステップと、部位特定ステップと、画像領域設定ステップと、静止判定ステップを備える、ユーザーの身体が静止しているか否かの判定方法を実行させるコンピュータプログラムであって、
前記撮影ステップでは、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
前記部位特定ステップでは、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、
前記画像領域設定ステップでは、特定された前記所定の部位に対応づけられる画像領域を設定し、
前記静止判定ステップでは、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定し、
前記撮影データの複数フレームは、Ｍフレームで構成され、
前記静止判定ステップでは、
前記撮影データの中から始点となるフレームが異なるＰ通りの連続するＬフレームに対して、フレーム間の差分に基づいて前記所定の部位の静止度合いについての判定値を算出し、
前記Ｐ通りの判定値を前記所定の部位の動きが小さい順に並べたときの順位がＱ位以内であるＬフレームに基づいて、特定された前記所定の部位が静止しているか否かを判定する、コンピュータプログラム。

【請求項8】

コンピュータに、撮影ステップと、部位特定ステップと、画像領域設定ステップと、静止判定ステップを備える、ユーザーの身体が静止しているか否かの判定方法を実行させるコンピュータプログラムであって、
前記撮影ステップでは、複数の方向から前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
前記部位特定ステップでは、取得された前記撮影データに対してそれぞれ前記ユーザーの身体における所定の部位を特定し、
前記画像領域設定ステップでは、特定された前記所定の部位に対応づけられる画像領域を設定し、
前記静止判定ステップでは、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、静止判定システム及びコンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、運動動作を行っているユーザーの画像を取得し、その画像に基づいて人間動作スクリーニングスコアを生成し、そのスコアに基づいてパーソナル化エクササイズプログラムを生成する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－７３７８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このようなユーザーの動作の評価を行う上で、身体の静止判定を安定的に行う必要が生じていた。

【0005】

本発明はこのような事情に鑑みてなされたものであり、ユーザー動作の静止判定を安定的に行うことを可能にする、静止判定システム及びコンピュータプログラムを提供するものである。

【課題を解決するための手段】

【0006】

本発明によれば、ユーザーの身体が静止しているか否かを判定するシステムであって、撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、前記撮影部は、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、前記部位特定部は、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定するシステムが提供される。

【0007】

このような構成とすることにより、ユーザーの身体における特定の部位について静止判定を安定的に行う事が可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の第１実施形態の判定システム１の構成図である。

【図2】携帯端末１０の外観を示す図である。

【図3】携帯端末１０のハードウェア構成を示すブロック図である。

【図4】判定システム１の機能ブロック図である。

【図5】判定方法の処理の流れを示すフローチャートである。

【図6】部位特定部３２による部位の特定を示す説明図である。

【図7】画像領域設定部３３による領域設定の一例を示す図である。

【図8】画像領域設定部３３による領域設定の他の例を示す図である。

【図9】静止判定部３４による静止判定を説明する図である。

【図10】本発明の第２実施形態の判定システム１の構成図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。

【0010】

＜１．第１実施形態＞
（１－１．判定システム１の全体構成）
図１に示すように、本発明の第１実施形態の判定システム１は、携帯端末１０を備える。携帯端末１０は、複数のアプリケーションプログラムをインストール可能な、スマートフォンやタブレット端末などを用いることができる。

【0011】

本実施形態では、携帯端末１０はカメラ２０を備え、ユーザーＵを前側から撮影するように配置されている。なお、図１に示す構成は例示であって、携帯端末１０は、ユーザーＵの前側以外の位置に配置されていてもよい。

【0012】

（１－２．携帯端末１０の構成）
図２に示すように、携帯端末１０の筐体１２には、その正面１２Ａに、画面に画像を表示する画像表示手段であるタッチパネルディスプレイ１４が備えられる。タッチパネルディスプレイ１４は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）及びタッチセンサを備える。ＬＣＤは、各種画像を表示し、タッチセンサは、指、スタイラス、又はペン等の指示体を用いて行われる各種入力操作を受け付ける。

【0013】

また、携帯端末１０の正面１２Ａには、音が入力されるマイクロフォン１６、音を出力するスピーカ１８、及び被写体を撮像するカメラ２０が備えられる。カメラ２０は、筐体１２の正面１２Ａだけでなく筐体１２の背面にも備えられる。さらに、筐体１２の側面１２Ｂには、携帯端末１０を起動又は停止させるための電源ボタンやスピーカ１８が出力する音のボリューム調整ボタン等の操作ボタン２２が備えられる。

【0014】

また、携帯端末１０の筐体１２には、メモリカードが挿入されるスロットやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子等が備えられる。

【0015】

図３は、携帯端末１０の電気的構成を示す機能ブロック図である。

【0016】

携帯端末１０は、上記構成に加え、制御部２４、記憶部２６、通信部２８を備える。

【0017】

制御部２４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等であり、携帯端末１０の全体の動作を制御する。

【0018】

記憶部２６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含み、制御部２４による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。

【0019】

記憶部２６は、さらに、フラッシュメモリ等の不揮発性メモリを含み、画像等の各種データ及び制御部２４の処理に利用されるプログラム等を保存する。記憶部２６に記憶されるプログラムは、例えば、携帯端末１０の基本的な機能を実現するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種ハードウェア制御するためのドライバ、電子メールやウェブブラウジング、その他各種機能を実現するためのアプリケーションプログラム等である。また、記憶部２６には、詳細を後述する本実施形態に係る判定方法を実行するためのプログラムが予め記憶されている。

【0020】

通信部２８は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）であり、携帯電話網等の通信網に接続する機能を有する。なお、通信部２８は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。

【0021】

これら制御部２４、記憶部２６、通信部２８、タッチパネルディスプレイ１４、マイクロフォン１６、スピーカ１８、カメラ２０、及び操作ボタン２２は、システムバス３０を介して相互に電気的に接続されている。従って、制御部２４は、記憶部２６へのアクセス、タッチパネルディスプレイ１４に対する画像の表示、ユーザーによるタッチパネルディスプレイ１４や操作ボタン２２に対する操作状態の把握、マイクロフォン１６への音の入力、スピーカ１８からの音の出力、カメラ２０に対する制御、及び通信部２８を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。

【0022】

（１－３．機能ブロック図）
図４は、本実施形態に係る判定機能に関する機能ブロック図である。

【0023】

図４に示すように、制御部２４は、撮影部３１と、部位特定部３２と、画像領域設定部３３と、静止判定部３４を含む。

【0024】

撮影部３１は、ユーザーＵの動作を撮影して複数のフレームを含む撮影データを取得する。部位特定部３２は、取得された撮影データについて、静止判定の対象となるユーザーＵの所定の部位を特定する。

【0025】

画像領域設定部３３は、特定された所定の部位に対応づけられる画像領域を設定する。静止判定部３４は、画像領域のフレーム間の差分に基づいて、特定された所定の部位が静止しているか否かを判定する。

【0026】

上述した制御部２４が備える各機能構成は、記憶部２６に記憶されているコンピュータプログラムによって実現される。また、コンピュータプログラムは、コンピュータ読み取り可能な非一時的な記録媒体に格納し、必要に応じて当該記録媒体から読み出してもよい。

【0027】

（１－４．判定処理の流れ）
図５を参照し、判定システム１を用いた静止判定の処理の流れを詳細に説明する。

【0028】

ステップＳ１１０において、撮影部３１は、ユーザーＵの動作を撮影する。ここで、当該撮影がＮフレーム／秒でＴ秒間行われた場合、撮影データに含まれるフレーム数Ｍは、Ｎ×Ｔで算出される。Ｎ，Ｔは正の実数であり、Ｍは自然数である。各フレームには静止画像が含まれる。Ｎは例えば６０であり、Ｔは例えば５である。この場合、撮影データには、３００枚（Ｍ＝６０×５＝３００）の静止画像が含まれることとなる。

【0029】

ステップＳ１２０において、部位特定部３２は、取得された撮影データについて、静止判定の対象となるユーザーＵの部位の特定を行う。この特定は、一例として、撮影データを構成する各静止画像に対する二次元姿勢推定による姿勢モデルに基づいて行うことができる。

【0030】

二次元姿勢推定では、例えば深層学習を用いたアルゴリズムによって、静止画像中のユーザーＵの複数の特徴点の座標を推定することで、ユーザーＵの姿勢を二次元的に推定することができる。さらに、複数の静止画像に対して二次元姿勢推定することで、ユーザーＵの骨格の動きを計測することも可能となる。

【0031】

図６に、複数の特徴点の配置例を示す。図６は、ユーザーＵが右足で片足立ちをしている場合の画像を例示している。ここで、特徴点０～１４は、それぞれ、頭（０）、首（１）、右肩（２）、右肘（３）、右手（４）、左肩（５）、左肘（６）、左手（７）、腰（８）、右股関節（９）、右膝（１０）、右足首（１１）、左股関節（１２）、左膝（１３）、左足首（１４）に対応する。

【0032】

このように、二次元姿勢推定によって各静止画像においてユーザーＵの特徴点０～１４の座標を取得すると、これらの座標に基づいて、ユーザーの姿勢を推定することができる。なお、特徴点の数や配置は、本実施形態のものに限定されず、適宜変更可能である。

【0033】

このように、各撮影データを構成する各静止画像について二次元姿勢推定で得られた複数の特徴点の座標を、計測データとして取得することができる。ここで、撮影データがＭフレームで構成される場合、その撮影データに対応する計測データもＭフレームで構成される。

【0034】

部位特定部３２は、取得した計測データ（すなわち、複数の特徴点の座標）に基づいて、ユーザーＵの身体における所定の部位を特定する。ここで、部位特定部３２は、ユーザーＵの動作に応じて、特定すべき部位を変更してもよい。この場合、部位特定部３２は、全ての特徴点について計測データを取得する必要はなく、ユーザーＵが行う動作毎に特定すべき部位のみについて計測データの取得を行ってもよい。

【0035】

ステップＳ１３０において、画像領域設定部３３は、特定された所定の部位に対応づけられる画像領域Ｄを設定する。画像領域Ｄの設定にあたり、ユーザーＵの動作ごとに対応する特徴点が記憶部２６に記憶されている。一例として、図７に示す右足で片足立ちをする動作については、上半身の部位である１～７の特徴点が所定の部位として対応づけられている。そこで、画像領域設定部３３は、記憶部２６を参照し、特徴点１～７を含む画像を画像領域Ｄとして設定する。また、画像領域設定部３３は、例えば、特定すべき部位が上半身である場合、特徴点８（腰）よりも上側の画像を画像領域Ｄとして設定してもよい。

【0036】

また、図８に示す他の例では、ユーザーＵが左腕を伸ばした場合が例示されている。このような場合に、左腕の位置を特徴点５～７の座標位置から推定するために、特徴点５～７を含む画像を画像領域Ｄとして設定してもよい。

【0037】

ステップＳ１４０において、静止判定部３４は、画像領域のフレーム間の差分に基づいて、特定された所定の部位が静止しているか否かを判定する。具体的には、静止判定部３４は、取得された撮影データにおける連続する３つのフレームについて、画像領域に含まれる各ピクセルに対する階調値の差分を算出し、特定された所定の部位が静止しているか否かを判定する。

【0038】

以下、図９を参照して具体的に説明する。図９には、取得された撮影データから選出された３つの連続する画像Ｇ１～Ｇ３が示されている。なお、当該撮影データは、３００枚の静止画像（Ｍ＝３００）で構成されているとし、始点フレームＦ１から終点フレームＦ３００で構成される。画像Ｇ１～Ｇ３は、それぞれ、フレームＦｎ～Ｆｎ＋２（１≦ｎ≦２９８）に対応する。

【0039】

画像Ｇ１～Ｇ３は、それぞれ、画像領域設定部３３によって設定された画像領域Ｄ１～Ｄ３を含む。ここで、画像領域Ｄ１～Ｄ３は、複数のピクセルごとに０～２５５までの階調値を有する。すなわち、以下の（式１）～（式３）で表すことができる。

【0040】

【数1】

【0041】

【数2】

【0042】

【数3】

【0043】

ここで、Ｄ１（ｉ，ｊ）は、画像領域Ｄ１に含まれる各ピクセルを意味する。演算子「∋」は、取りうる値を意味する。静止判定部３４は、フレームが連続する画像領域ごとの差分の絶対値を差分画像Ｆ１２，Ｆ２３として算出する。

【0044】

【数4】

【0045】

【数5】

【0046】

次に、静止判定部３４は、差分画像Ｆ１２およびＦ２３に対して、論理積を計算して論理積画像Ｆａを算出する。

【0047】

【数6】

【0048】

ここで、演算子「∩」は、積集合を意味する。次に、静止判定部３４は、任意の閾値Ｔと比較することにより二値化処理を行い、二値化された差分画像Ｆｔを算出する。

【0049】

【数7】

【0050】

上記処理により、画像領域Ｄ１～Ｄ３において、静止していると判定された部分（ピクセル）は階調値が２５５となり、静止していないと判定されたピクセルは階調値が０となる。なお、閾値Ｔは、静止判定において求める精度に応じて適宜設定すればよい。

【0051】

次に、差分画像Ｆｔにおけるピクセル値の総和Ｆを算出し、静止判定の判定値Ｆｖを算出する。

【0052】

【数8】

【0053】

以上のようにして、フレームＦｎ～Ｆｎ＋２（１≦ｎ≦２９８）について、複数（本実施形態では２９８個）の判定値Ｆｖが求まる。この判定値Ｆｖに対して、所定の統計処理を行い、予め定められた閾値と比較することにより、静止判定が行われる。ここでの統計処理とは、例えば、単純和、加重和、又はこれに基づく値（単純平均、加重平均）などの統計的に求まる値を算出する処理である。

【0054】

以上のようにして、本実施形態に係る判定システム１は、撮影部３１と、部位特定部３２と、画像領域設定部３３と、静止判定部３４を備える。撮影部３１は、ユーザーの動作を撮影して複数フレームを含む撮影データを取得する。部位特定部３２は、取得された撮影データについて、ユーザーの身体における所定の部位を特定する。

【0055】

画像領域設定部３３は、特定された所定の部位に対応づけられる画像領域を設定する。静止判定部３４は、画像領域のフレーム間の差分に基づいて所定の部位が静止しているか否かを判定する。

【0056】

このような構成とすることにより、ユーザーの身体の特定の部位について、検出時のブレなどの影響を抑制することができ、静止判定を安定的に行うことが可能となる。

【0057】

＜２．第２実施形態＞
図１０を参照し、第２実施形態に係る判定システム１について説明する。第２実施形態に係る判定システム１は、携帯端末１０としての親機１０ａおよび子機１０ｂを含む点で第１実施形態と異なる。以下、第１実施形態との相違点を中心に説明する。

【0058】

図１０に示すように、本実施形態においては、ユーザーＵの右側、左側、後側に子機１０ｂが配置される。子機１０ｂは、親機１０ａと同様に、携帯端末１０で構成される。親機１０ａと子機１０ｂは、通信部２８を通じて通信可能に構成されている。子機１０ｂは、撮影部３１として機能し、複数の方向からユーザーＵの動作を撮影し、撮影データを複数取得する。

【0059】

子機１０ｂで取得された撮影データは、親機１０ａに対して送信される。親機１０ａの部位特定部３２は、取得された複数の撮影データに対してそれぞれ所定の部位を特定する。

【0060】

静止判定部３４は、複数の方向から取得された撮影データに対して、ユーザーＵに対する撮影方向に基づく重み付けを設定する。静止判定部３４は、画像領域設定部３３によって設定された画像領域のフレーム間の差分と、当該重み付けとに基づいて、ユーザーの所定の部位が静止しているか否かを判定する。

【0061】

このような構成とすることにより、複数の撮影データに基づいてユーザーの身体が静止しているか否かを解析することとなり、より安定的に静止判定を行うことができる。

【0062】

ここで、好ましくは、静止判定部３４は、撮影するユーザーＵの動作に応じて、撮影方向に基づく重み付けを設定してもよい。撮影方向に基づく重み付けは、特定された所定の部位に対応づけられて設定される。すなわち、ユーザーＵの動作において、所定の部位ごとに動きが検知されやすい方向からの撮影データについて、重み付けを大きく設定することなどが考えられる。

【0063】

このような構成とすることにより、ユーザーの動作に応じて撮影方向に基づく重み付けを変化させることが可能となり、より安定的に静止判定を行うことができる。

【0064】

＜３．その他の実施形態＞
以上、実施形態について説明したが、本願の技術的範囲の適用範囲は、上記実施形態に限定されるものではない。

【0065】

たとえば、静止判定部３４は、取得した撮影データに含まれる連続したＬフレームの中から、静止判定の判定値に基づいて選択された３つのフレームを判定対象フレームとして選出する仕様としてもよい。

【0066】

この場合、静止判定部３４は、たとえば、始点となるフレームが異なるＰ通りの連続する３つのフレーム（Ｌ＝３）について静止判定の判定値を算出する。ここで、Ｐは自然数である。静止判定部３４は、Ｐ通りの判定値をユーザーＵの動きが小さい順に並べたときの順位がＱ位以内であることであるフレームを判定対象フレームとして選出してもよい。なお、Ｌは３以外の値とすることもできる。

【0067】

例えば、Ｐ＝９０で、Ｑ＝１０であれば、９０通りの判定値Ｆｖの中から値が小さい１０個の判定値Ｆｖを選出する。また、Ｐ＝９０で、Ｑ＝１であり、フレームＦ１２１から始まる連続する３つのフレーム（つまり、フレームＦ１２１～Ｆ１２３）の判定値Ｆｖが最小であれば、フレームＦ１２１～Ｆ１２３が判定対象フレームとなる。なお、フレームＦ０を始点とする連続する３つのフレームについて判定値Ｆｖを算出してもよいが、撮像開始直後のデータは信頼性が低い。つまり、計測データのうち最初の複数のフレームを除外して判定対象フレームを特定することによって判定の信頼性を高めてもよい。

【0068】

また、第２実施形態のように複数の方向から撮影する場合の評価対象フレームの選出にあたっては、重み付けが最も大きい撮影方向からの撮影データから、静止判定の判定値Ｆｖを算出して判定対象フレームを選出してもよい。この場合、選出された判定対象フレームに対応する他の撮影方向のフレームの判定値Ｆｖを算出し、各方向の判定値Ｆｖに撮影方向に基づく重み付けを考慮して静止判定を行うこととなる。

【0069】

また、上記実施形態では、スマートフォンやタブレットなどの携帯端末１０を用いて判定システム１を構成しているが、判定システム１を構成している装置の少なくとも１つは、通信可能で且つ撮影機能を有する任意の装置（例：Webカメラ）であってもよい。

【0070】

さらに、本発明は、上述の判定システムを実現させるための携帯端末を機能させるプログラムとして実現することもできる。

【0071】

さらに、本発明は、上述のプログラムを格納する、コンピュータが読み取り可能な非一時的な記録媒体として実現することもできる。

【0072】

＜４．実施形態の特徴＞
以下、本発明の実施形態の特徴をまとめる。

【0073】

判定システム１は、撮影部３１と、部位特定部３２と、画像領域設定部３３と、静止判定部３４を備える。撮影部３１は、ユーザーの動作を撮影して複数フレームを含む撮影データを取得する。部位特定部３２は、取得された撮影データについて、ユーザーの身体における所定の部位を特定する。画像領域設定部３３は、特定された所定の部位に対応づけられる画像領域を設定する。静止判定部３４は、画像領域のフレーム間の差分に基づいて所定の部位が静止しているか否かを判定する。

【0074】

このような構成とすることにより、ユーザーの身体の特定の部位について、検出時のブレなどの影響を抑制することができ、静止判定を安定的に行うことが可能となる。

【0075】

判定システム１の備える部位特定部３２は、撮影データから推定される姿勢モデルに基づいて、ユーザーＵの身体における所定の部位を特定してもよい。

【0076】

このような構成とすることにより、ユーザーの身体における部位の特定を安定的に実現することができる。

【0077】

部位特定部３２は、ユーザーＵの動作に基づいて所定の部位を特定してもよい。

【0078】

このような構成とすることにより、動作ごとに特定する部位を設定することとなり、より安定的に部位の特定を行うことができる。

【0079】

撮影データの複数フレームは、Ｍフレームで構成され、静止判定部３４は、撮影データの中から始点となるフレームが異なるＰ通りの連続するＬフレームに対して、フレーム間の差分に基づいて所定の部位の静止度合いについての判定値Ｆｖを算出し、Ｐ通りの判定値Ｆｖを所定の部位の動きが小さい順に並べたときの順位がＱ位以内であるＬフレームに基づいて、特定された所定の部位が静止しているか否かを判定してもよい。

【0080】

このような構成とすることにより、静止判定の対象を絞り込むこととなり、より安定的に静止判定を行うことができる。

【0081】

撮影部３１は、複数の方向から前記ユーザーの動作を撮影して撮影データを複数取得し、部位特定部３２は、取得された前記複数の撮影データに対してそれぞれ前記所定の部位を特定してもよい。

【0082】

このような構成とすることにより、複数の撮影データを解析することとなり、より安定的に静止判定を行うことができる。

【0083】

静止判定部３４は、複数の撮影データに対して、ユーザーＵに対する撮影方向に基づく重み付けを設定し、画像領域のフレーム間の差分と、撮影データの重み付けとに基づいて、所定の部位が静止しているか否かを判定してもよい。

【0084】

このような構成とすることにより、複数のデータに対して撮影方向での重み付けを行うこととなり、より安定的に静止判定を行うことができる。

【0085】

静止判定部３４は、ユーザーＵの動作に応じて、撮影方向に基づく重み付けを設定してもよい。

【0086】

このような構成とすることにより、動作に応じて撮影方向の重み付けを変化させることとなり、より安定的に静止判定を行うことができる。

【0087】

本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0088】

１ ：判定システム
１０ ：携帯端末
１０ａ ：親機
１０ｂ ：子機
１１ ：特徴点
１２ ：筐体
１２Ａ ：正面
１２Ｂ ：側面
１３ ：特徴点
１４ ：タッチパネルディスプレイ
１６ ：マイクロフォン
１８ ：スピーカ
２０ ：カメラ
２２ ：操作ボタン
２４ ：制御部
２６ ：記憶部
２８ ：通信部
３０ ：システムバス
３１ ：撮影部
３２ ：部位特定部
３３ ：画像領域設定部
３４ ：静止判定部
Ｕ ：ユーザー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】