(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
[第1実施形態]
以下、第1実施形態の説明において、本実施形態とは、第1実施形態のことをいう。
[構成]
図1は、本発明の第1実施形態に係る情報表示装置のハードウェアの構成を示すブロック図である。
【0011】
情報表示装置1は、例えばデジタルカメラとして構成され、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、入力部16と、表示部17と、記憶部18と、通信部19と、撮像部20と、ドライブ21と、を備えている。
【0012】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムにしたがって各種の処理を実行する。
【0013】
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0014】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、入力部16、表示部17、記憶部18、通信部19、撮像部20及びドライブ21が接続されている。
【0015】
入力部16は、例えば、表示部17の表示画面に積層される静電容量式又は抵抗膜式の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、入力部16に対する物体(ユーザの指やタッチペン等)の接触又は近接の操作をいう。
表示部17は、ディスプレイにより構成され画像を表示する。
即ち、本実施形態では、入力部16と表示部17とにより、タッチパネルが構成されている。
記憶部18は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部19は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
撮像部20は、被写体を撮像し、当該被写体の像を含む画像(以下、「撮像画像」と称する)のデジタル信号(画像信号)をCPU11に供給する。ここで、撮像画像のデジタル信号(画像信号)を、「撮像画像のデータ」と適宜呼ぶ。
【0016】
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア31は、記憶部18に記憶されている画像のデータ等の各種データも、記憶部18と同様に記憶することができる。
【0017】
図2は、このような情報表示装置1の機能的構成のうち、第1指標表示処理を実行するための機能的構成を示す機能ブロック図である。
第1指標表示処理とは、例えば、ゴルフのスイングの動作を行う人物が被写体として写る動画像(連写画像も含む)を表示するに際し、当該被写体の体重移動を示す指標となる図形の画像を、動画像を構成する各フレームに対応付けて表示するまでに行われる一連の処理をいう。
なお、以下、被写体の体重移動を示す指標となる図形を、「指標図形」と呼ぶ。本実施形態では、指標図形として、被写体の股下に形成される三角形が採用されている。
【0018】
第1指標表示処理が実行される場合には、
図2に示すように、CPU11において、動画像取得部41と、動画像解析部42と、スタート画像表示制御部43と、ポイント選択部44と、再生制御部45と、指標生成部46と、指標表示制御部47と、比較部48と、報知情報生成部49と、報知制御部50と、が機能する。
【0019】
ただし、
図2の機能的構成は例示であり、例えば情報表示装置1がGA(Graphics Accelerator)等の画像処理を行うハードウェアを備えている場合、上述の機能ブロックの各機能のうち少なくとも一部を、CPU11から当該ハードウェアに委譲しても良い。
【0020】
また、第1指標表示処理が実行される場合、記憶部18の一領域として設けられた、動画像記憶部61と、比較情報記憶部62とが用いられる。
動画像記憶部61には、1以上の動画像(複数のフレームから構成される動画像)のデータが予め記憶されている。動画像記憶部61に記憶されている動画像のデータは、撮像部20により撮像された撮像画像のデータであってもよいし、図示せぬ他の装置から送信されて通信部19に受信された画像のデータであってもよい。本実施形態では、当該動画像の内容は、ゴルフのプレーヤにおける一連のゴルフのスイングの様子である。
比較情報記憶部62は、プロゴルファ等のゴルフの上級者における一連のスイングの動作の画像に基づいて作成された指標図形のデータが、予め、一連のスイング動作の夫々の画像と対応付けて記憶されている。
【0021】
動画像取得部41は、動画像記憶部61に記憶された動画像のデータを取得する。具体的には本実施形態では、動画像のデータは、フレームを単位としてエンコードされた状態で動画像記憶部61に記憶されている。そこで、動画像取得部41は、動画像記憶部61に記憶された動画像のデータを、フレームを単位としてデコードし、デコードされた動画像のデータを取得する。
【0022】
動画像解析部42は、動画像取得部41によって取得された動画像のデータを解析することで、当該動画像において、ゴルフのスイングの動作が映る区間のうち、セットアップからトップまでの動作が映る区間(以下、「第1区間」と呼ぶ)と、トップからフィニッシュまでの動作が映る区間(以下、「第2区間」と呼ぶ)とを識別する。
【0023】
第1区間と第2区間との識別の手法は、特に限定されないが、本実施形態では、
図3に示す手法が採用されている。
図3は、第1区間と第2区間との識別の手法を説明する図であって、一連のゴルフのスイングの動作におけるマーキング画像の位置を示す図である。
即ち、本実施形態では、動画像取得部41によって取得された動画像に被写体として映るゴルフのプレーヤは、カメラによる撮像時において、マーキング素材が左手の甲に巻かれた状態で、ゴルフのスイングの動作をしたものとする。この場合に当該カメラにより撮像された動画像を構成する複数のフレームのうち、代表的な何枚かのフレームが表示順番にしたがって配置された様子が、
図3に示されている。なお、マーキング素材は、カメラによる検出が可能なものであれば足りるが、本実施形態では、カメラの撮像素子によりコントラスト差が画面内で最大で検出されるように、コントラスト差の大きな色違いのマーキング素材が採用されている。
図3に示すように、各フレームには、マーキング素材を示すマーキング画像91が含まれており、動画像解析部42は、フレーム内におけるマーキング画像91の空間的位置を、フレーム毎に認識することができるものとする。
この場合、動画像解析部42は、マーキング画像91が、動画像の開始時点から所定時間静止していて、上方に移動を開始する直前のフレームを、セットアップのフレームとして特定する。また、動画像解析部42は、マーキング画像91が最初に極大値に到達した時点のフレームを、ゴルフのスイングにおけるトップのフレームとして特定する。
ここで、極大値とは、例えばフレームの左下端を原点として、横方向の軸をX軸として、縦方向の軸をY軸とした場合、連続する一連の複数のフレームにおいて、マーキング画像91がY軸方向に増加した後に減少する移動をしたときにおける、移動方向の変化時点のY座標の値、即ち移動中のY座標の最大値をいう。
また、動画像解析部42は、次に極大値に到達した時点のフレームを、ゴルフのスイングにおけるフィニッシュのフレームとして特定する。
そして、動画像解析部42は、
図3に示すように、セットアップのフレームからトップのフレームまでの区間を第1区間として識別し、トップのフレームからフィニッシュのフレームまでの区間を第2区間として識別する。
【0024】
図2に戻って、スタート画像表示制御部43は、動画像解析部42により解析された動画像を構成する各フレームのうちセットアップのフレームを、ゴルフのスイングがスタートする様子を示す静止画像(以下、「スタート画像」と呼ぶ)として表示部17に表示させる制御を実行する。
【0025】
図4は、第1指標表示処理が実行された場合のスタート画像の一例を示している。
ユーザは、
図4に示すようなスタート画像が表示部17に表示されている状態で、指標図形を形成するために必要な複数のポイント(以下、「ポイント群」と呼ぶ)を、入力部16に対するタッチ操作により指定する。
このように、複数のポイントはユーザにより任意に指定が可能とされている。例えば、プレーヤの両肩、及び両手の合わさった箇所の3つのポイントとして指定されてもよい。ただし、本実施形態では、上述したように、被写体の股下に形成される三角形が指標図形として採用されているので、当該三角形を形成するための3つのポイント、具体的には
図4の例ではプレーヤ(被写体)の股間と両足首とが夫々表示されている3つのポイントの組92がポイント群として指定されたものとする。
【0026】
図2に戻って、ポイント選択部44は、入力部16からの入力信号(ユーザのタッチ操作がなされた座標を示す信号)を受け付けて、ユーザにより指定された複数のポイント(
図4の例では3つのポイントの組92)を認識し、認識した複数のポイントを、スタート画像におけるポイント群として選択する。
なお、ポイント選択部44は、選択されたポイント群を示す部分画像(黒丸等のシンボル画像)を生成して、当該部分画像をスタート画像に重畳させて表示させてもよい。即ち、ポイント選択部44は、
図4に示すような、3つのポイントの組92を示す部分画像が重畳されたスタート画像を表示部17に表示させてもよい。これにより、ユーザは、指標図形を形成するためのポイントを容易に視認することができる。
なお、ポイント選択部44によるポイント群の選択の手法は、ユーザにより指定された複数のポイントの組を選択するといった上述の手法に特に限定されない。例えば、ポイント選択部44は、ユーザにより指定された複数のポイントに基づいて指標図形の候補を作成し、当該候補を適宜加工することで指標図形を完成させ、当該指標図形を形成するための複数のポイント(補正されたポイント)をポイント群として選択してもよい。また例えば、股下検出器(図示せず)が情報表示装置1に搭載されている場合には、ポイント選択部44は、スタート画像において、プレーヤの股間と両足首を結んだ線分で形成される三角形を検出し、当該三角形の各頂点をポイント群として選択してもよい。
【0027】
図2に戻って、再生制御部45は、動画像取得部41により取得された動画像のうち、ポイント選択部44によりポイント群が選択されたスタート画像から、フィニッシュのフレームまでの期間の動画像の再生を制御する。
【0028】
指標生成部46は、再生制御部45により当該動画像の再生が開始されると、各フレームに指標図形の画像のデータを生成する。
まず、指標生成部46は、ポイント選択部44により選択されたポイント群に基づいて、スタート画像における指標図形の画像のデータを生成する。
その後、指標生成部46は、当該動画像を構成する各フレームに対し、選択されたポイント群に対応する複数のポイントを追従していくことによって、指標図形の画像のデータを生成する。
例えば本実施形態では、指標生成部46は、公知の画像マッチング技術を適用して、選択されたポイント群に対応するポイントとして、動画像の再生に伴い移動していく複数のポイントを追従していく。具体的には、例えば、指標生成部46は、再生順で隣接するフレーム同士において、先のフレームに対応する複数のポイントを注目ポイント群として順次設定し、先のフレームの注目ポイント群における各ポイントを中心に含む周辺の画素群からなる領域を特定する。その後、指標生成部46は、特定された各領域とマッチングする領域を後のフレームから検索して、検索された各領域の中心を後のフレームの注目ポイント群における各ポイントとして認識する。そして、指標生成部46は、後のフレームにおいて、注目ポイント群を結んだ範囲内の画像のデータを、指標図形のデータとして生成する。
【0029】
指標表示制御部47は、指標生成部46によってフレーム毎に生成された指標図形のデータを、再生対象の動画像のデータに合成することによって、指標図形がフレーム毎に重畳された動画像を表示部17に表示させる制御を実行する。
図5は、指標図形がフレーム毎に重畳された動画像の表示例を示している。
なお、
図5に示すように、指標表示制御部47は、動画像解析部42によって識別された第1区間と第2区間ごとに分けて、指標画像が重畳された動画像を表示部17に表示させてもよい。
なお、指標表示制御部47は、指標図形の画像を表示部17に表示させれば足り、必ずしも指標図形と動画像とを同時に表示させなくてもよい。例えば図示はしないが、指標表示制御部47は、第1区間及び第2区間ごとに、指標図形が重畳されたフレームのうち代表的な何枚かを抽出して、抽出した何枚かを、表示部17に一画面に表示させたり、連続画像(静止画像が順次再生される画像)として表示部17に順次表示させてもよい。また、例えば図示はしないが、指標表示制御部47は、第1区間及び第2区間ごとに、指標図形のみを連続画像として表示部17に順次表示させてもよい。
【0030】
なお、
図2に戻って、再生制御部45により動画像の再生が実行されている間、指標生成部46及び指標表示制御部47の処理が再生対象のフレーム毎に繰り返して実行されることで、上述したように、指標図形のデータがフレーム毎に生成されて当該指標図形が表示される。
【0031】
比較部48は、比較情報記憶部62に記憶された、プロゴルファ等のゴルフの上級者における一連のスイングの動作の画像に基づいて作成された指標図形の画像のデータを、一連のスイング動作の夫々の画像ごとに読み出す。
更に、比較部48は、指標生成部46により生成された、フレーム毎の指標図形と、比較情報記憶部62から読み出した、一連のスイング動作における画像ごとの指標図形との各データを比較する。
この際、比較部48は、ゴルフのスイングの動作区間を第1区間と第2区間とに区切って、両者の指標図形のデータの比較をしてもよい。
【0032】
報知情報生成部49は、比較部48による比較結果に応じた報知情報を生成する。例えば、報知情報生成部49は、指標生成部46により生成された指標図形と、比較情報記憶部62から読み出した指標図形との形状の差異に応じて、プレーヤにアドバイスするための報知情報を作成する。報知情報の例としては、例えば「スイング全体で体重をもう少し右にかけるとよいでしょう」などが考えられる。
この際、報知情報生成部49は、第1区間及び第2区間ごとに分けて、プレーヤにアドバイスするための報知情報を作成してもよい。この場合の報知情報の例としては、テークバック期間に対しては「テークバックにおいて体重をもう少し右にかけるとよいでしょう」などがあり、第2区間に対しては「ダウンスイングにおいて体重をもう少し左にかけるとよいでしょう」などがある。
【0033】
報知制御部50は、報知情報生成部49により生成された報知情報を画像として表示部17に表示させることで、当該表示部を見るユーザに報知情報を報知する制御を実行する
【0034】
[第1指標表示処理]
続いて、情報表示装置1が実行する第1指標表示処理について説明する。
図6は、
図2の機能構成を有する
図1の情報表示装置1が実行する第1指標表示処理の流れの一例を示すフローチャートである。
【0035】
図6において、動画像のデータの取得が開始されるために、情報表示装置1の入力部16が操作されると、次のようなステップS1乃至S11の処理が実行される。
【0036】
ステップS1において、動画像取得部41は、動画像記憶部61に記憶された動画像のデータを取得する。
【0037】
ステップS2において、動画像解析部42は、ステップS1にて取得された動画像のデータを解析する。動画像解析部42は、解析結果に基づいて、ゴルフのスイングのうち、セットアップ、トップ、及びフィニッシュに対応するフレームを特定する。そして、動画像解析部42は、特定結果に基づいて、セットアップからトップまでの動作区間を第1区間と、トップからフィニッシュまでの動作区間を第2区間と、それぞれ識別する。
ステップS3において、スタート画像表示制御部43は、ステップS2にて特定されたセットアップのフレームをスタート画像として表示部17に表示させる。
【0038】
ステップS4において、ポイント選択部44は、ユーザによる入力部16に対するタッチ操作の内容(タッチ操作がなされた表示部17の画面位置)に基づいて、スタート画像表示制御部43にて表示されたスタート画像における、ポイント群を選択する。
【0039】
ステップS5において、再生制御部45は、ステップS4にてポイント群が選択されたスタート画像から、ステップS1にて取得された動画像の再生を開始する。
【0040】
ステップS6において、指標生成部46は、ステップS5にて再生が開始された当該動画像を構成する複数のフレームのうち、再生対象のフレームを注目フレームに設定し、注目フレームにおける指標図形の画像のデータを生成する。
ステップS7において、指標表示制御部47は、当該指標図形を、注目フレームに重畳して表示部17に表示させる。
【0041】
ステップS8において、再生制御部45は、再生が終了されるべきか否かを判断する。
ここで、本実施形態では、再生制御部45は、フィニッシュのフレームが表示されたか否かを判断する。
フィニッシュのフレームが未だ表示されていない場合には、ステップS8においてNOであると判定されて、処理はステップS6に戻され、それ以降の処理が繰り返される。即ち、次の再生対象のフレームが注目フレームに設定され、当該注目フレームにおける指標画像のデータが生成され(ステップS6)、当該指標画像が注目フレームに重畳されて表示される(ステップS7)。
指標画像が重畳された、フィニッシュのフレームが表示されると、ステップS8においてYESであると判定されて、処理はステップS9に進む。
【0042】
ステップS9において、比較部48は、ステップS1において取得された動画像と、プロゴルファ等のゴルフの上級者における一連のスイングの動作の画像との間で、指標図形を比較する。
【0043】
ステップS10において、報知情報生成部49は、ステップS9における比較結果に応じた報知情報を生成する。
ステップS11において、報知制御部50は、ステップS10にて生成された報知情報を画像として表示部17に表示させることで、報知を実行する。
これにより、第1指標表示処理は終了となる。
【0044】
以上説明したように、第1実施形態では、被写体の一連の動作の画像として、プレーヤ(被写体)のゴルフのスイングの動作が映る動画像が採用された。第1実施形態に係る情報表示装置1は、ポイント選択部44と、指標生成部46と、指標表示制御部47とを備える。
ポイント選択部44は、プレーヤのゴルフのスイング動作の動画像のうちの所定の画像としてスタート画像を選択し、当該スタート画像において、プレーヤの動作の基準となる複数のポイントをポイント群として選択する。
指標生成部46は、選択されたポイント群からなる指標図形のデータに基づいて、動画像を構成するスタート画像以降のフレーム毎に指標図形のデータを生成する。
指標表示制御部47は、フレーム毎に生成された指標図形を表示部17に表示させる。
したがって、第1実施形態に係る情報表示装置1は、荷重センサ等の特殊なデバイスを用いずに、プレーヤの姿勢の変化を、指標図形の変化として表示できる。
【0045】
指標表示制御部47は、指標生成部46により生成された各指標図形を当該各指標図形に対応する一連の動作の画像(例えば、動画像)に重畳して表示部17に表示させる制御を実行する。
したがって、第1実施形態に係る情報表示装置1は、プレーヤのスイングの動作と共に、プレーヤの姿勢の変化を指標図形の変化として表示できる。よって、プレーヤは、姿勢の変化を実際のスイングの動作と対比して把握することができる。
【0046】
情報表示装置1は、動画像解析部42を更に備える。
動画像解析部42は、ゴルフのスイング動作の中から特定の動作の区間(上述の例では第1区間及び第2区間)を識別する。
この場合、指標表示制御部47は、特定の動作の区間における指標図形を表示部17に表示させることができる。
したがって、第1実施形態に係る情報表示装置1は特定の動作の区間ごとに指標図形の変化を表示できるので、その表示を見るユーザは、特定の動作の区間における、プレーヤ(ユーザ自身の場合も含む)の姿勢の変化を容易に把握できる。
【0047】
情報表示装置1は、報知制御部50を更に備える。
報知制御部50は、指標生成部46により生成された指標図形に応じた報知情報を報知する制御を実行する。
この場合の報知情報としては、例えば、プロゴルファなどの上級者のスイング動作についての指標図形と、プレーヤのスイング動作についての指標図形との比較に基づく、プレーヤに対するアドバイス情報を採用することができる。したがって、このような報知情報を報知されたユーザは、被写体の一連の動作についての見識を高め、当該一連の動作の是正等各種各様の行動を起こすことができる。
【0048】
ポイント選択部は、ユーザによる入力部16に対するタッチ操作によりポイント群を選択する。
したがって、ユーザは、所望のポイント群を容易に選択できる。
【0049】
[第2実施形態]
次に、本発明の第2実施形態について説明する。
以下、第2実施形態の説明において、本実施形態とは、第2実施形態のことをいう。
【0050】
本発明の第2実施形態に係る情報表示装置1は、第1実施形態と同様のハードウェア構成を有している。即ち、
図1は、第2実施形態に係る情報表示装置1のハードウェア構成も示している。なお、
図1のハードウェア構成は説明済みであるので、ここではその説明は省略する。
【0051】
図7は、
図1に示した情報表示装置1の機能的構成のうち、第2指標表示処理を実行するための機能的構成を示す機能ブロック図である。
第2指標表示処理とは、例えば、走る動作を行う人物が被写体として写る動画像を表示するに際し、当該被写体の動き(例えば、体重移動)を示す指標となる形状の画像を、動画像を構成する各フレームに対応付けて表示するまでに行われる一連の処理をいう。
本実施形態において、被写体の動きを示す指標となる形状を、「指標形状」と呼ぶ。本実施形態では、指標形状として、被写体の首、腰、両膝、及び両足首といった被写体の各部位のうち、2以上の部位を点として結ぶ線分が採用されている。
【0052】
ここで、
図7において、
図2と対応する機能ブロックについては、
図2と同一の符号を付してある。
図2と
図7とを比較すれば容易にわかるが、第2指標表示処理が実行される場合には、第1指標表示処理が実行される場合に機能した機能ブロックのうち、動画像解析部42及び比較部48が機能せず、それ以外の機能ブロックが機能する。具体的には、第2指標表示処理が実行される場合には、
図7に示すように、CPU11において、動画像取得部41と、スタート画像表示制御部43と、ポイント選択部44と、再生制御部45と、指標生成部46と、指標表示制御部47と、報知情報生成部49と、報知制御部50と、が機能する。
なお、これらの機能ブロックが有する主要な機能については、
図2を参照して説明済みであるので、第2指標表示処理の実行に特有な機能についてのみ、以下説明する。
【0053】
また、第2指標表示処理が実行される場合、記憶部18の一領域として設けられた、動画像記憶部61が用いられる。
本実施形態では、動画像記憶部61に記憶されている動画像のデータの内容は、ランナーの走る動作の様子である。
【0054】
スタート画像表示制御部43が、スタート画像を表示部17に表示させる制御を実行する点は、第1指標表示処理と同様である。ただし、第2指標表示処理では、動画像取得部41により取得された動画像を構成する複数のフレームのうち、再生を開始するための任意のフレームが、スタート画像として選択され得る点が、第1指標表示処理とは異なる。
【0055】
図8は、第2指標表示処理が実行された場合のスタート画像の一例を示している。
ユーザは、
図8に示すようなスタート画像が表示部17に表示されている状態で、指標形状を形成するために必要な複数のポイントを、入力部16に対するタッチ操作により指定する。
このように、指標形状を形成するために必要な複数のポイントはユーザにより任意に指定が可能とされている。ただし、本実施形態では、ランナー(被写体)の首、腰、両膝、及び両足首の上が夫々表示されている6つのポイントの組93がとして指定されたものとする。
【0056】
図7に戻って、再生制御部45により動画像の再生が開始されると、指標生成部46が、各フレームに指標図形の画像のデータを生成する点は、第1指標表示処理と同様である。したがって、この点の詳細は、第1指標表示処理と同様であり説明済みであるので、ここでは説明を省略する。
なお、指標生成部46は、第1指標表示処理では指標図形の画像のデータをフレーム毎に生成したのに対して、第2指標表示処理では指標形状の画像のデータをフレーム毎に生成する。
【0057】
指標表示制御部47は、指標生成部46によってフレーム毎に生成された指標形状のデータを、再生対象の動画像のデータに合成することによって、指標形状がフレーム毎に重畳された動画像を表示部17に表示させる制御を実行する。
図9は、指標形状がフレーム毎に重畳された動画像の表示例を示している。
なお、指標表示制御部47は、指標形状の画像を表示部17に表示させれば足り、必ずしも指標形状と動画像とを同時に表示させなくてもよい。
図10は、複数フレームの各々における指標形状が表示部17の一画面に重畳されて同時に表示されている様子を示している。
また、指標表示制御部47は、指標形状の画像と共に、動画像以外の画像を同時に表示させてもよい。
図11は、指標形状の画像と共に、付帯情報の画像が表示部17の位置画面に表示されている様子を示している。
即ち、指標表示制御部47は、
図11に示すように、ランナーの首を示すポイント94と、ランナーの腰を示すポイント95とを結ぶ線分の、鉛直方向とのなす角θを、「傾きθ」として、各フレームにおいて、当該傾きθを示す画像を、指標形状(同図の例ではポイント94とポイント95を結ぶ線分)と共に表示部17に表示させてもよい。この際、指標表示制御部47は、フレーム毎の傾きθの情報をRAM13に記憶させる。
【0058】
なお、
図7に戻って、指標生成部46及び指標表示制御部47の処理は、再生制御部45により動画像の再生が実行されている間、再生対象のフレーム毎に繰り返して実行されることで、上述したように、フレーム毎に、指標形状のデータが生成されて当該指標形状が表示される。
【0059】
報知情報生成部49が報知情報を生成する点は、第1指標表示処理と同様である。ただし、生成される報知情報の内容が、第1指標表示処理とは異なる。即ち、報知情報生成部49は、例えば、指標表示制御部47によりRAM13に記憶されたフレーム毎の傾き角θの時間推移のグラフを報知情報として生成する。
なお、報知制御部50が報知情報をユーザに報知する制御を実行する点は、第1指標表示処理と同様である。
【0060】
[第2指標表示処理]
続いて、情報表示装置1が実行する第2指標表示処理について説明する。
図12は、
図7の機能構成を有する
図1の情報表示装置1が実行する第2指標表示処理の流れの一例を示すフローチャートである。
【0061】
図12において、動画像のデータの取得が開始されるために、情報表示装置1の入力部16が操作されると、次のようなステップS21乃至S29の処理が実行される。
【0062】
ステップS21において、動画像取得部41は、動画像記憶部61に記憶された動画像のデータを取得する。
【0063】
ステップS22において、スタート画像表示制御部43は、動画像を構成する複数のフレームのうち任意の1枚をスタート画像として選択して、当該スタート画像を表示部17に表示させる。
【0064】
ステップS23乃至ステップS27の各処理は、
図6の第1指標表示処理のステップS4乃至S8の各処理と基本的に同様である。
ただし、フレーム毎に生成されて表示される指標が、第1指標表示処理では指標図形であったものが、第2指標表示処理では指標形状である点が異なる。また、ステップS26において、指標形状と共に傾き角θが表示され、当該傾き角θのフレーム毎の情報がRAM13に記憶される点が、第1指標表示処理とは異なる。
【0065】
ステップS28において、報知情報生成部49は、ステップS26にてRAM13に記憶されたフレーム毎の傾き角θを示す情報を、報知情報として生成する。
ステップS29において、報知制御部50は、当該報知情報を表示部17に表示させることで、報知を実行する。
これにより、第2指標表示処理は終了となる。
【0066】
以上説明したように、第2実施形態では、被写体の一連の動作の画像として、ランナー(被写体)の走る動作が映る動画像が採用された。
第2実施形態に係る情報表示装置1は、ポイント選択部44と、指標生成部46と、指標表示制御部47とを備える。
ポイント選択部44は、ランナーの走る動作の動画像のうちの所定の画像としてスタート画像を選択し、当該スタート画像において、ランナーの動作の基準となる複数のポイントを選択する。
指標生成部46は、選択された複数のポイントからなる指標形状のデータに基づいて、動画像を構成する複数のフレーム毎に指標形状のデータを生成する。
指標表示制御部47は、フレーム毎に生成された指標形状を表示部17に表示させる。
したがって、第2実施形態に係る情報表示装置1は、荷重センサ等の特殊なデバイスを用いずに、ランナーの姿勢の変化を指標形状の変化として表示できる。
【0067】
指標表示制御部47は、指標生成部46により生成された各指標図形を当該各指標図形に対応する一連の動作の画像(例えば、動画像)に重畳して表示部17に表示させる制御を実行する。
したがって、第2実施形態に係る情報表示装置1は、ランナーの走る動作と共に、ランナーの姿勢の変化を指標図形の変化として表示できる。よって、ランナーは、姿勢の変化を実際の走る動作と対比して把握することができる。
【0068】
情報表示装置1は、報知制御部50を更に備える。
報知制御部50は、指標生成部46により生成された指標形状に基づいて、報知情報を報知する。
この場合の報知情報としては、例えば、指標形状としてのランナーの背中のラインと、鉛直方向とのなす角を傾き角として、当該傾き角を時系列に逐次並べた情報、即ちランナーについての当該傾き角時間的変化のグラフを採用することができる。したがって、このような報知情報を報知されたユーザは、傾き角につき、角度変化の周期や最大傾斜角度を把握できる。
【0069】
ポイント選択部は、ユーザによる入力部16に対するタッチ操作により複数のポイントを選択する。
したがって、ユーザは、所望する複数のポイントを容易に選択できる。
【0070】
なお、本発明は、上述の第1及び第2実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0071】
例えば、上述の第1実施形態ではゴルフのスイングの動作に対して、上述の第2実施形態ではランナーの走る動作に対して、夫々本発明を適用する場合を例に挙げて説明したが、特にこれに限定されず、本発明は種々の動作に適用することができる。例えば、本発明は、野球のバットのスイング、テニスのラケットのスイング、ダンスの振り付け等の各種スポーツの動作に適用することが可能である。また例えば、本発明は、歩く動作、ラジオ体操での体を動かす動作等に適用することが可能である。
また、上述の第2の実施形態では、
図10のように、複数フレームの各々における指標形状が表示部17の一画面に重畳されて同時に表示されているものとしたが、これに限らない。
つまり、複数フレームの各々における指標形状のみをフレーム毎に動画として表示させても良い。
【0072】
また、上述の第1及び第2実施形態では、本発明に係る情報表示装置として、デジタルカメラが採用されたが、特にこれに限定されない。本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【0073】
また、上述の第1実施形態では、複数のポイント(点)は、先ずスタート画像についてはユーザの操作により直接指定されたものが選択され、それ以降のフレームについては、前のフレームのポイントのポイントから追従されたものが選択された。しかしながら、複数のポイントの選択の手法は、このような第1実施形態で採用された手法に特に限定されない。例えば、
図13及び
図14に示される手法を、複数のポイントの選択の手法として採用することもできる。
図13及び
図14は、複数のポイントの選択の手法の別の例を説明する図である。
図13の例では、プレーヤ(被写体)がゴルフのスイングの動作をする様子が映る動画像が採用されている。このため、
図13及び
図14の例では、第1実施形態に対応して、三角形の指標図形が採用されている。そこで、以下、説明の便宜上、三角形の指標図形を形成する3つのポイントの選択の手法についての第1実施形態とは異なる例として説明する。
先ず、ユーザ(被写体自身であってもよい)が、入力部16を操作して、被写体についての基本情報として、
図13に示す情報、即ち、身長、股下長、及びスタンス幅を事前に情報表示装置1に入力しておく。
この場合、情報表示装置1は、被写体の両足に均等に体重がかかっているため、
図13に示すように、両足を結ぶ線分を底辺とする二等辺三角形がセットアップ時の指標図形として、当該二等辺三角形の3つの頂点座標を、基本情報に基づいて演算して算出し、これらの頂点座標に位置する3つの頂点をセットアップ時の3点のポイントとして選択する。
そして、情報表示装置1は、第1区間の指標図形の変化(体重移動の様子)を、
図14に示すように、徐々に右脚に体重がかかっていくように三角形が右側に徐々に移動していくものとして、次のように3つのポイントを演算していく。即ち、情報表示装置1は、セットアップ時の3つのポイントの各頂点座標を開始座標として、トップに至るまでの適当な時間間隔で時間分割して、当該開始座標から、三角形の頂点座標を少しずつ右側に移動させていくことで、それぞれの時点の3つの頂点座標を演算して算出し、これらの頂点座標に位置する3つの頂点を各時点における3つのポイントとして選択する。なお、この場合、各時点の頂点座標の移動量は、特に限定されず、ユーザによる入力部16の所定の操作によって任意に変更可能となっている。
また、スタート画像における3つのポイントを選択する手法として、顔画像検出技術の分野で公知である識別器の情報に3つのポイントを検出するためのパターンを記憶させることで、スタート画像における3つのポイントを選択するようにしても良い。
また、情報表示装置1は、第2区間の指標図形の変化(体重移動の様子)を、
図14に示すように、テークバック期間とは逆の変化とし、つまり、トップ時の三角形を開始の指標図形として、この開始の指標図形から、徐々に左脚に体重がかかっていくように三角形が左側に徐々に移動していくものとして、次のように3点のポイントを演算していく。即ち、情報表示装置1は、トップ時の3つのポイントの各頂点座標を開始座標として、インパクトに至るまでの適当な時間間隔で時間分割して、当該開始座標から、三角形の頂点座標を少しずつ左側に移動させていくことで、それぞれの時点の3つの頂点座標を演算して算出し、これらの頂点座標に位置する3つの頂点を各時点のポイント群として選択する。なお、この場合も、各時点の頂点座標の移動量は、特に限定されず、ユーザによる入力部16の所定の操作によって任意に変更可能となっている。
なお、
図13及び
図14の手法が適用されて選択された3つのポイントにより形成される三角形の変化(
図14参照)は、いわば被写体の体重移動の理想的な変化を示す指標図形(以下、「理想指標図形」と呼ぶ)である。一方、第1実施形態の手法が適用されて選択された3つのポイントにより形成される三角形の変化は、いわば被写体の体重移動の実際の変化を示す指標図形(以下、「実指標図形」と呼ぶ)である。
そこで、情報表示装置1は、これらの理想指標図形と実指標図形とを相互に独立して表示させてもよいが、理想指標図形と実指標図形とを同時に表示させてもよい。ユーザは、同時に表示された理想指標図形と実指標図形とを見比べることで、体重変化の実際と理想との差分を容易に視認することができる。
【0074】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、
図2及び
図7の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報表示装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図2及び
図7の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。
【0075】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
【0076】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される
図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている
図1のROM12や、
図1の記憶部18に含まれるハードディスク等で構成される。
【0077】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0078】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0079】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
被写体の一連の動作の画像のうちの所定の画像において、当該一連の動作の基準となる複数の点を選択する選択手段と、
前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する第1の特定手段と、
前記第1の特定手段により夫々特定された複数の点に対し、当該複数の点を含む指標を生成する指標生成手段と、
前記指標生成手段により生成された各指標を表示手段に表示させる制御を実行する表示制御手段と、
を備える表示制御装置。
[付記2]
前記表示制御手段は、前記指標生成手段により生成された各指標を当該各指標に対応する前記一連の動作の画像に重畳して前記表示手段に表示させる制御を実行する
付記1に記載された表示制御装置。
[付記3]
前記一連の動作のうち所定の動作の区間を特定する第2の特定手段を更に備え、
前記表示制御手段は、前記指標生成手段により生成された各指標のうち、前記第2の特定手段により特定された所定の動作の区間に対応する各指標を前記表示手段に表示させる制御を実行する
付記1又は2に記載の表示制御装置。
[付記4]
前記指標生成手段により生成された指標に基づいて、前記一連の動作に関する報知情報を報知する報知手段、を更に備える
付記1から3の何れかに記載の表示制御装置。
[付記5]
前記選択手段は、ユーザによる入力操作により前記複数の点を選択する付記1から4の何れかに記載の表示制御装置。
[付記6]
表示制御装置が実行する表示制御方法であって、
被写体の一連の動作の画像のうちの所定の画像において、前記一連の動作の基準となる複数の点を選択する選択ステップと、
前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する特定ステップと、
前記特定ステップにて夫々特定された前記複数の点に対し、当該複数の点を含む指標を生成する指標生成ステップと、
前記指標生成ステップにて生成された各指標を表示手段に表示させる制御を実行する表示制御ステップと、
を含む表示制御方法。
[付記7]
コンピュータを、
被写体の一連の動作の画像のうちの所定の画像において、当該一連の動作の基準となる複数の点を選択する選択手段、
前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する特定手段、
前記特定手段により夫々特定された複数の点に対し、当該複数の点を含む指標を生成する指標生成手段、
前記指標生成手段により生成された各指標を表示手段に表示させる制御を実行する表示制御手段、
として機能させることを特徴とするプログラム。