(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明を実施するための形態(以下、本実施形態という)について詳細に説明する。なお、本実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【0012】
(実施形態の構成)
図1に示すように、本実施形態の運動状態計測装置20は、例えば、トレッドミル10に適用される。トレッドミル10は、屋内で走行や歩行を行うために使用される健康器具である。トレッドミル10は、ベルトコンベア状の踏み台をモータの動力で動かし、速度を調整できるようになっている。トレッドミル10により、傾斜調節、走行距離、時間表示、消費カロリー表示等を行うことができるようになっている。
【0013】
本実施形態の運動状態計測装置20は、例えば、携帯電話機で実現され、トレッドミル10上を走行または歩行する計測対象者30の顔をインカメラ(後述する
図2の撮像部23)でモニタできる位置に設置される。ここでは、トレッドミル10の操作パネル11近傍に立てかけて使用される。運動状態計測装置20は、被写体となる計測対象者30の顔を含む画像を逐次取得し、取得された各画像中の計測対象者30の顔の位置を検出し、検出された各画像中の計測対象者30の顔の位置に基づいて、計測対象者30の継続的な運動の状態を計測する。また、必要に応じて計測された計測対象者30の運動の状態を画面上に表示する。詳細は後述する。
【0014】
運動状態計測装置20は、
図2に示すように、制御部21と、記憶部22と、撮像部23と、通信部24と、操作部25と、表示部26と、音声入出力部27とが、アドレス、データ、コントロールのためのラインが複数本で構成されるバス28を介して接続されることにより、構成される。
【0015】
撮像部23は、被写体を撮影可能な上記したインカメラに相当するもので、光学レンズ、絞り、撮像素子を有し、光学レンズから絞りを通して撮像素子に結像される被写体を撮像する。絞りは、光学レンズと結像面の撮像素子との間に配置され、複数枚の板(絞り羽根)を重ね合わせて円形に近い開口部を有する構成となっている。撮像素子は、CCDやCMOSなどのイメージセンサである。この撮像部23には、光学レンズ、絞り、撮像素子の他、光学系駆動部、照明用のストロボ、アナログ処理回路、信号処理回路などが備えられている。絞り及び撮像素子は、光軸の垂直方向に対して平行に移動可能となっており、絞り及び撮像素子を平行移動させる駆動機構にそれぞれ連結されている。
【0016】
通信部24は、携帯電話機とは別の通信機器、あるいは図示省略したIP(Internet Protocol)ネットワークに接続されたウェブサーバ等の情報処理装置からの信号を基地局経由で受信する。通信部24は、その信号に対して増幅処理及びダウンコンバートを行って制御部21に出力する。このとき制御部21は、入力される信号に対して復調処理等を行って、当該受信信号に含まれる、音声や映像等を含むメディア情報を取得する。また通信部24は、制御部21で生成されたメディア情報に対してアップコンバート及び増幅処理を行って、処理後の信号を無線送信する。その信号は、図示省略した基地局を通じて、携帯電話機とは別の通信機器、あるいはIPネットワークに接続されたウェブサーバ等で受信される。通信部24は、更に、近距離無線通信によりトレッドミル10と通信を行ない、トレッドミル10から、トレッドミル10で測定した計測対象者30の歩数、走行又は歩行距離データ等を取得してもよい。
【0017】
操作部25は、複数のキースイッチからなり、これらキースイッチのそれぞれが計測対象者30によって押下されると、キースイッチが押下されたことを示す入力操作信号を制御部21に出力する。制御部21は、この入力操作信号に基づいて、複数のキースイッチのうちのどれが押下されたかを特定し、押下されたキースイッチに応じた動作を行う。操作部25は、後述するように、例えば、「計測開始ボタン」、「出力ボタン」等、押しボタン式のキースイッチを備えており、制御部21は、この操作部25からの入力操作信号に応じた処理として、例えば、撮影開始、計測結果の表示等の処理を実行する。
【0018】
表示部26は、制御部21により生成される、例えば、
図5,
図6に示す画像(画面)を表示する。表示部26は、例えば、高精細LCD(Liquid Crystal Device:液晶)、有機EL(Electro Luminescence)、電気泳動型ディスプレイ(電子ペーパ)等の表示デバイスを用い、上記した画像を高精細に表示する。なお、この表示部26の表示面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン(タッチ画面)を構成するようにしてもよい。
【0019】
音声入出力部27は、図示省略したマイクを介して入力される音声信号や、スピーカから出力される音声信号の入出力処理を行う。すなわち、マイクから入力される音声を増幅し、アナログ−デジタル変換を行い、更に符号化等の信号処理を施し、デジタルの音声データに変換して制御部21に出力する。また、制御部21から出力される音声データに復号化、デジタル−アナログ変換、増幅等の信号処理を施し、アナログの音声信号に変換してスピーカに出力する。
【0020】
なお、制御部21には、例えば、マイクロプロセッサが実装されており、マイクロプロセッサが、記憶部22の所定の領域に記憶された本実施形態のプログラム(後述する運動状態計測アプリ)にしたがい、画像を逐次取得し、取得された各画像中の計測対象者30の顔の位置を検出し、検出された各画像中の計測対象者30の顔の位置に基づいて、計測対象者30の継続的な運動の状態を計測する。このため、制御部21が実行するプログラムの構造を機能展開すれば、画像取得部211と、位置検出部212と、計測部213と、を含む。また、制御部21は、表示制御部214と、距離算出部215を含んでもよい。
【0021】
画像取得部211は、撮像部23により撮影される画像を逐次取得して位置検出部212へ出力する機能を有する。位置検出部212は、画像取得部211により逐次取得された各画像中の計測対象者30の顔の位置を検出して計測部213へ出力する機能を有する。計測部213は、位置検出部212により検出された各画像中の計測対象者30の顔の位置に基づいて、計測対象者30の継続的な運動の状態を計測する機能を有する。
【0022】
計測部213は、位置検出部212により検出された各画像中の計測対象者30の顔の位置の変化を運動の状態として計測する機能を有してもよい。また、計測部213は、各画像中の計測対象者30の顔の位置の上下方向の変化の周期により、運動の状態として計測対象者30のピッチ数を計測する機能を有してもよい。また、計測部213は、各画像中の計測対象者30の顔の位置の左右方向のずれを運動の状態の変化として計測する機能を有してもよい。
【0023】
表示制御部214は、計測部213により計測された計測対象者30の運動の状態を表示部26に表示させる機能を有する。具体的に、表示制御部214は、計測部213により生成され、記憶部22の所定の領域(VRAM領域)に書き込まれた、例えば、
図5(a),(b)に示す表示情報を表示部26の表示タイミングに同期して読み出し、表示デバイスに出力することにより所望の表示を行う。距離算出部215は、演算により計測対象者の走行又は歩行に関する距離を算出する機能を有する。このとき、表示制御部214は、距離算出部215により算出された走行または歩行に関する距離に対する運動の状態を表示部26に表示させる。
【0024】
記憶部22は、例えば、ROM、フラッシュメモリなどを有する構成で、例えば、
図3に示したフローチャート(処理手順)からなる本実施形態のプログラムや、上記したVRAM領域、あるいは、後述する運動状態の点数評価のためのデータテーブルが割り当てられている。記憶部22には、更に、撮像済み画像を保存する画像記憶領域の他、制御部21による本実施形態のプログラムの実行過程で生成される作業データ等を一時的に記憶するワーク領域も割り当てられている。なお、記憶部22は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよい。
【0025】
(実施形態の動作)
以下、本実施形態の運動状態計測装置20の動作について説明する。本実施形態の運動状態計測装置20は、
図1に示すように、例えば、携帯電話機のインカメラを用いることにより、トレッドミル10上を走行または歩行する計測対象者30を被写体とし、特に、顔の部位を連続的にモニタする。運動状態計測装置20は、画像処理による顔検出機能等を用いて計測対象者30の顔の周期的な動きを検出することで歩数の計測処理が可能である。なお、この計測処理実行中、携帯電話機の画面上には現在の走行または歩行状態を表示させ、あるいは、映画や音楽等、携帯電話機が有する別のアプリケーションによる画面を表示させてもよい。
【0026】
このように、顔の動きを監視することにより、例えば、時間当たりの歩数としてピッチ[bpm](歩数/分)を計測でき、また、携帯電話機に予め歩幅を入力しておけば、ストライド、速度および距離のデータを計測することができる。なお、予め、携帯電話機を持った状態で数歩の歩行を行い、携帯電話機に内蔵されたモーションセンサから得られる歩数とのキャリブレーションを行うことでより歩数計測の精度向上がはかれる。
【0027】
以下、
図3に示すフローチャートを参照しながら、
図2に示した本実施形態の運動状態計測装置20の動作について詳細に説明する。
図3によれば、計測対象者30は、まず、携帯する携帯電話機の運動状態計測アプリ(本実施形態に係るプログラム)を起動する。制御部21は、運動状態計測アプリが起動すると(ステップS101)、計測対象者30によるインカメラ(撮像部23)のセット終了を確認して(ステップS102“YES”)、操作部25による計測ボタンの押下の有無を検出する(ステップS103)。なお、インカメラのセット終了は、計測対象者30が、表示部26に表示されるメッセージ(インカメのセット終了?)に対し、計測対象者30が操作部25を操作することにより応答すること(YES/NOを入力)で実現される。
【0028】
計測ボタンの押下が検出されると(ステップS103“YES”)、制御部21(画像取得部211)は、撮像部23により撮影した撮影画像を逐次取得して位置検出部212へ出力する(ステップS104)。これを受けて位置検出部212は、画像取得部211により逐次取得された各画像中の計測対象者の顔の位置を検出して計測部213へ出力する(ステップS105)。計測部213は、位置検出部212により検出された各画像中の計測対象者30の顔の位置に基づいて、計測対象者30の継続的な運動の状態を計測する運動状態の計測処理を実行する(ステップS106)。運動状態の計測処理中は、現在の走行または歩行状態を表示させることができ、また、他のアプリによる、例えば、映画等の再生も可能である。すなわち、制御部21は、他のアプリの起動要求があれば(ステップS107“YES”)、音楽や動画再生アプリ等、他のアプリケーションプログラムへの切り替え処理を実行する(ステップS108)。
【0029】
運動状態の計測処理(ステップS106)について詳述する。計測部213は、位置検出部212により検出された各画像中の計測対象者30の顔の位置の変化を運動の状態として計測する。具体的に、
図4(a)に示すように、各画像中の計測対象者の顔の位置の上下方向の変化の周期により、運動の状態として計測対象者30のピッチ数を計測する。計測部213により歩数計測以外の計測も可能である。歩数計測の原理は
図4(a)に示されており、上記したように顔の周期的な動きを監視することにより計測可能である。また、走行や歩行が正しいフォームで行われているか否かの指標として、上下のぶれ(
図4(b))、左右のぶれ(
図4(c))が揚げられるが、これらのぶれも画像処理により計測可能である(単位はいずれも[cm])。
【0030】
計測対象としては、図示した平行的な動きの他にも回転等の動きも含まれる。すなわち、首振りによって生じる顔の傾き等や、上下方向の首振りの角度(
図4(d))、左右方向の首振りの角度(
図4(e))、および首の傾き検出(
図4(f))も計測可能である。さらに、顔検出の際の特徴点間距離の変化から前後方向の動きも検出可能である。また、画像処理により実現される計測項目として、他に、顔色の変化、口の開き方の変化を捉えた呼吸数、視線の動き等が挙げられる。視線の動きは、例えば、基準点を目頭とし、動点を虹彩とした場合の目頭に対する虹彩の位置に基づき目の動きを検出するものであり、既に実用化がなされている。
【0031】
説明を
図3のフローチャートに戻す。計測部213による計測結果の表示は、計測対象者30が操作部25を操作することによる「出力ボタン」の押下を検出(ステップS109“YES”)することにより実行される。すなわち、出力ボタンが押下され、再度運動状態計測アプリが起動されると、表示制御部214は、計測部213により計測された計測対象者の運動の状態を表示部26に表示させる(ステップS110)。
【0032】
計測結果の画面表示例が
図5(a),(b)示されている。計測結果を表示するにあたり、初期値、平均値を表示してもよいし、
図5(a),(b)に示すように、時間軸上に計測結果の時系列(時間変化)を表示させてもよい。また、
図5(b)に示すように、自分の他に、お手本になる上級者の計測結果を比較例として同時に表示させることで運動の質を向上させることができる。
図5(a),(b)に示す例では、ピッチと上下左右の動きにのみ留めたが、
図4(d),(e),(f)で示した回転方向の動きや、上記した顔色の変化、呼吸の変化等、運動状態計測装置20が計測した値の全てを表示することができる。
【0033】
また、表示の形態は、図示したようにグラフの他に、上下左右の動きを図柄化して表示することも可能である。この場合、計測対象者30の図柄に、手本となる上級者の図柄を比較表示させることもできる。この表示は、制御部21により生成されるそれぞれの表示データを、制御部21(表示制御部214)が重畳させて表示することによって実現される。
【0034】
なお、距離算出部215は、例えば、予め入力された計測対象者30の歩幅と計測されたピッチとにより歩行又は走行に関する距離を算出し、表示制御部214は、距離算出部215により算出された走行距離に対する運動の状態を表示部26に表示させてもよい。
【0035】
図6に他の表示例が示されている。
図6によれば、制御部21は、これらの計測項目を評価し、例えば、採点した結果を計測データと共に表示することで、計測対象者30は、運動状態の詳細を知ることができ、次回以降の運動の質向上がはかれる。採点は、理想(上級者)の上下動に対してどれくらいの乖離があるか、あるいは、ばらつきを制御部21が演算によって求め、記憶部22に記憶されている点数評価のためのデータテーブルを参照することにより得ることができる。
【0036】
図7は、本実施形態の運動状態計測装置20が適用されるトレッドミル10との連携動作を説明するために引用した図である。
図7によれば、計測項目を充実させるために、運動状態計測装置20とトレッドミル10との間で近距離無線通信を行なう。運動状態計測装置20(制御部21)が、通信部24経由でトレッドミル10からトレッドミル10で計測された項目(走行速度、距離、傾斜角等)を取得して自身が計測したデータをキャリブレーションすることで、計測項目の精度向上がはかれ、また、補完することによって計測項目の充実化がはかれる。
【0037】
(実施形態の効果)
以上説明のように本実施形態の運動状態計測装置20によれば、制御部21が、被写体となる計測対象者30の顔を含む画像を逐次取得し、取得された各画像中の計測対象者30の顔の位置を検出し、検出された各画像中の計測対象者30の顔の位置に基づいて、計測対象者30の継続的な運動の状態を計測する。具体的に、運動状態計測装置20として使用される、例えば、携帯電話機のインカメラを用いて計測対象者30の顔の周期的な動きを検出してピッチ計測を行い、あるいは、顔の上下動、左右動もあわせて計測することで、計測対象者30に疲労等の変化があっても継続的な運動の状態を正しく計測することができる。また、その計測結果を表示により計測対象者30にフィードバックすることで、運動の質向上につなげることができる。更に、計測対象者30は、運動状態を計測するために携帯電話機を装着せずに運動することができるため、煩わしさから解放され、また、画面に表示されるコンテンツを楽しみながら運動することができる。また、加速度センサーだけでは取得できない計測項目(上下左右のぶれと変化、顔色、呼吸状態等)も計測が可能であり、計測結果を表示により走行者にフィードバックすることで、より運動の質を向上させることができる。
【0038】
なお、本実施形態の運動状態計測装置20として、携帯電話機のみ例示したが、携帯電話機に限らず、タブレット端末、PC、携帯電話、PDA(Personal Digital Assistance)等、カメラ(撮像部23)を有する携帯電子機器であればいずれにも適用が可能である。また、本実施形態の運動状態計測装置20をトレッドミル10へ適用する場合についてのみ例示したが、トレッドミル10に限らず全ての健康器具への適用が可能である。また、
図3のS106では、S105での顔検出処理により運動状態の計測処理を行ったがこれに限られない。つまり、顔以外でのエッジ検出等で肩のラインを検出することにより、当該肩のラインの位置の変動から運動状態の計測を行っても良い。
【0039】
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0040】
以下に、本願出願時の特許請求の範囲を付記する。
[請求項1]
画像を逐次取得する画像取得手段と、
前記画像取得手段により逐次取得された各画像中の計測対象者の特定の部位の位置を検出する位置検出手段と、
前記位置検出手段により検出された各画像中の前記計測対象者の特定の部位の位置に基づいて、前記計測対象者の継続的な運動の状態を計測する計測手段と、
を備えたことを特徴とする計測装置。
[請求項2]
前記計測手段は、前記位置検出手段により検出された各画像中の前記計測対象者の特定の部位の位置の変化を前記運動の状態として計測することを特徴とする請求項1記載の計測装置。
[請求項3]
前記計測手段は、前記各画像中の前記計測対象者の特定の部位の位置の上下方向の変化の周期により、前記運動の状態として前記計測対象者のピッチ数を計測することを特徴とする請求項2記載の計測装置。
[請求項4]
前記計測手段は、前記各画像中の前記計測対象者の特定の部位の位置の左右方向のずれを前記運動の状態の変化として計測することを特徴とする請求項2記載の計測装置。
[請求項5]
前記計測手段により計測された前記計測対象者の運動の状態を表示手段に表示させる表示制御手段と
を更に備えたことを特徴とする請求項1〜4のいずれか1項記載の計測装置。
[請求項6]
前記計測対象者の歩行又は走行に関する距離を算出する距離算出手段を更に備え、
前記表示制御手段は、前記距離算出手段により算出された距離に対する前記運動の状態を前記表示手段に表示させることを特徴とする請求項5記載の計測装置。
[請求項7]
計測対象者の継続的な運動の状態を計測する計測方法であって、
画像を逐次取得する第1のステップと、
前記第1のステップで逐次取得された各画像中の計測対象者の特定の部位の位置を検出する第2のステップと、
前記第2のステップで検出された各画像中の前記計測対象者の特定の部位の位置に基づいて、前記計測対象者の継続的な運動の状態を計測する第3のステップと、
を有することを特徴とする計測方法。
[請求項8]
コンピュータに、
画像を逐次取得する手順と、
取得された各画像中の計測対象者の特定の部位の位置を検出する手順と、
前記検出された各画像中の前記計測対象者の特定の部位の位置に基づいて、前記計測対象者の継続的な運動の状態を計測する手順と、
を実行させるプログラム。