(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
<第1実施形態>
図1は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置1は、例えばデジタルカメラとして構成される。
【0011】
撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
【0012】
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
【0013】
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0014】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
【0015】
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【0016】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【0017】
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11等に適宜供給される。
また、撮像画像のデータは、撮像装置1に搭載される撮像部による撮像動作を開始させた結果、順次出力されライブビュー画像として出力部18に順次表示(以下、「ライブビュー表示」という)される。また、ライブビュー画像の撮影をライブビュー撮影という。
【0018】
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
【0019】
撮像装置1においては、撮像部16のイメージセンサの方向と、出力部18の表示面の方向とが同一の方向となるように配置される。なお、撮像装置1において、撮像部16と出力部18とは、撮像部16による撮影時に同一の方向となるように可変的に構成してもよい。
【0020】
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
【0021】
撮像装置1は、
図2に示すように、撮像部16のイメージセンサの方向と、出力部18の表示面の方向とをゴルフのスイングを行う者st(以下、「スイング対象者st」という)に向くように配置する。即ち、撮像装置1は、スイング対象者stを撮影可能であり、スイング対象者stに表示面が見えるように配置する。このように配置された状態で、撮像装置1は、スイング対象者stを撮影し、出力部18において画像をスイング対象者stに見えるように表示する。
なお、本実施形態において、撮像装置1は、スイング対象者stのスイング全体を撮影し、かつ、スイング対象者stから表示が見やすいように、三脚td上に固定されている。
【0022】
図3は、出力部18での表示の概要を示す模式図である。
本実施形態の撮像装置1においては、まず、スイング対象者stによる一連のスイング動作を動画像として記憶し、その後、スイング対象者stの指示により、記憶した動画像の再生を行う。
動画像の再生に際しては、撮像装置1においては、
図3に示すように、記憶した動画像の再生中又は停止中において、被写体であるスイング対象者stが所定の位置からスイングをしてクラブgcを動かして所望のスイング位置(所定のスイング動作)でポージングする。これにより撮像装置1では、当該ポージングした所定のスイング動作と同じスイング動作が表示されるところまで、動画像を早送り又は巻き戻しして、動画像を頭出しして再生を開始するように構成される。
なお、本実施例では、画像を頭出しして再生するとしたが、ユーザがポージングを解除しない限り当該ポージングに対応した画像を静止画として表示させ続けるようにしても良い。この場合、ユーザがスイングのポージングを変化させた場合は、当該変化したポージングに対応する静止画が新たに表示されることになる。
図3の例では、記憶した動画像を再生しているときに、スイング対象者stが「フォロー」の位置でポージングした場合に、動画像を「フォロー」の位置まで早送りして動画像の頭出しを行って再生(以下、「頭出し再生」という)を開始することを示している。
【0023】
図4は、頭出し再生の手法の具体例について説明する模式図である。
撮像装置1では、
図4に示すように、動画像の再生中に、平行してスイング対象者stのポージングの解析を行い、スイング動作を特定する。姿勢の解析は、例えば、被写体としてスイング対象者stを撮像部16によって撮影し、当該撮影した画像を解析したり、スイング対象者stやクラブgcにセンサ(図示せず)を取り付けて、当該センサからの情報を解析したりして行う。なお、本実施形態において、スイング動作は、スイング順に「アドレス」,「バック」,「トップ」,「ダウン」,「インパクト」,「フォロー」,「フィニッシュ」の7つのポイントで特定する。
【0024】
このようにして、解析したスイング対象者stのポージングから特定されたスイング動作と同一のスイング動作を、再生中の動画像の各フレームの中から検索する。そして、検索結果となるフレームから出力部18において順次表示を行うことで、動画像が再生していた部分よりも早送り又は巻き戻しされて頭出し再生が行われることとなる。スイング対象者stは、ポージングして指定した所望の位置から頭出し再生された動画像を見ることになる。このようにして、スイング対象者stは、例えば、動画像を参照して実際のスイングを確認することができるために、より効果的にスイングの修正等を行うことができる。また、スイング対象者stは、自身のスイングを確認できるために、他者を要せずにスイングの修正を行うことができる。
また、例えば、スイングを撮影した動画像と、現在のライブビュー画像とを同時に参照可能に2画面構成すれば、所望のスイング動作において、動画像における点を確認しながら、現在のスイングを客観視した視点から修正等を行うことができる。
【0025】
図4の例では、現在再生中の動画像が「フォロー」の部分まで再生されている状態において、スイング対象者stが「バック」のポージングを取ることで、再生中の動画像の各フレームを検索して、現在再生中の「フォロー」のフレーム(n+4フレーム目)よりも前の「バック」のフレーム(n+1フレーム目)を巻き戻して頭出し再生を行うことを示している。
このため、撮像装置1においては、スイング対象者stによるポージングに基づいて、再生中の動画像の検索を行って、当該ポージングに合致した部分から頭出し再生を行うことできる。
【0026】
図5は、このような撮像装置1の機能的構成のうち、頭出し再生処理を実行するための機能的構成を示す機能ブロック図である。なお、本実施形態の撮像装置1においては、各種モードが設定可能であり、単なる撮影を行う通常の撮影モードと、頭出し再生処理モードとに分かれる。頭出し再生処理モードは、さらに、動画像の撮影を行う動画像撮影モードと、撮影した動画像の再生を行う動画像再生モードとに分かれる。動画像撮影モードは、再生を行うための動画像を撮影するモードである。動画像再生モードは、動画像撮影モードで撮影された動画像等の映像を再生するモードであり、スイング対象者stのポージングに対応して頭出し再生も行うモードである。
【0027】
頭出し再生処理を実行する場合には、
図5に示すように、CPU11において、撮像制御部51と、画像取得部52と、位置特定部53と、存在領域判定部54と、動画像記憶制御部55と、表示制御部56と、フレーム検索部57と、が機能する。
【0028】
記憶部19の一領域には、動画像記憶部71が設けられる。
動画像記憶部71には、撮像部16において出力された複数のフレームからなる動画像のデータが、各フレームにスイング動作が対応付けられて記憶される。また、動画像記憶部71には、プロゴルファがスイングしている動画像において各フレームにスイング動作が対応付けられて記憶される。
【0029】
撮像制御部51は、ライブビュー撮影等の撮影を行うように撮像部16を制御する。
【0030】
画像取得部52は、撮像部16から出力されるライブビュー画像を、動画像を構成するフレームとして取得する。
【0031】
位置特定部53は、画像取得部52が取得したフレームを解析して、フレームにおけるクラブの位置を特定する。クラブの位置の特定は、例えば、各フレームからクラブのシャフトを抽出して、当該抽出したクラブのシャフトの向きからクラブの角度を算出する。そして、当該クラブの角度と、フレーム間の角度の変化からクラブの位置を特定する等の周知の技術を採用する。
【0032】
存在領域判定部54は、出力部18に表示されるライブビュー画像を所定の範囲に区画した各種の指示領域(スイング領域,モード切替領域,撮影開始領域)に存在しているか否かを判定する。ここで、「指示領域」とは、ライブビュー画像に写り込むクラブヘッドが当該指定領域に入り込むことにより、所定の指示を行うように設定される領域である。
【0033】
図6は、指定領域について説明するための模式図である。
スイング領域R1とは、
図6(a)に示すように、スイング対象者stを撮像領域の中央に配置して撮影を行ったときに、スイング対象者stのスイング(クラブヘッドch)の最大範囲以内を範囲とする領域である。スイング領域R1において、クラブヘッドchがどこに位置するかによって、スイング対象者stのスイング動作を特定することができる。
【0034】
モード切替領域R2とは、
図6(b)に示すように、スイング領域R1外に設定される所定の領域である。このモード切替領域R2は、動画像撮影モードと、動画像再生モードを切り替える領域である。即ち、クラブヘッドchを当該モード切替領域に位置させることにより、動画像撮影モードと動画像再生モードとを切り替えることができる。
本実施形態においては、モード切替領域R2は、出力部18の左上の隅に矩形状に設定される。従って、モード切替領域R2を指定する場合には、スイング対象者stは、通常の可動範囲であるスイング領域を超えて、手を伸ばして、クラブヘッドchを当該モード切替領域R2に位置させる。
【0035】
撮影開始領域R3とは、
図6(b)に示すように、スイング領域R1外に設定され、モード切替領域R2と対をなす位置の出力部18の右上の隅に矩形状に設定される。
この撮影開始領域R3は、動画像の撮影を開始する、即ち、撮像部16からの取得画像を動画像として記憶することを開始する指示を与える領域である。
また、撮影開始領域R3を指定する場合には、モード切替領域R2と同様に、スイング対象者stは、通常の可動範囲であるスイング領域を超えて、手を伸ばして、クラブヘッドchを当該撮影開始領域R3に位置させる。
【0036】
動画像記憶制御部55は、撮像部16から出力される画像を動画像として動画像記憶部71に記憶させて保存する。この際、動画像記憶制御部55は、動画像の各フレームに対してスイング動作(「アドレス」乃至「フィニッシュ」の各7つのスイング動作)を対応付けて記憶させて保存する。
【0037】
表示制御部56は、動画像記憶部71に記憶されている動画像を出力部18に表示させることで再生を開始する。また、表示制御部56は、フレーム検索部57により検索されたフレームを再生開始フレームとして、動画像の早送り又は巻き戻しをして、頭出し再生を開始する。
【0038】
フレーム検索部57は、再生中の動画像でクラブ位置に対応するフレームを検索する。即ち、フレーム検索部57は、スイング領域内におけるクラブ位置からスイングの状態を特定し、当該スイングの状態に対応したフレームを検索する。
【0039】
図7は、
図5の機能的構成を有する
図1の撮像装置1が実行する頭出し再生処理の流れを説明するフローチャートである。
「頭出し再生処理」とは、再生用の動画像を撮影すると共に、被写体の姿勢(スイング対象者stによる所定のスイング動作のポージング)に対応した位置で再生開始位置の早送り・巻き戻しを行って頭出し再生をするまでの一連の処理をいう。
【0040】
ステップS11において、撮像制御部51は、ライブビュー撮影を開始する。即ち、撮像制御部51は、ライブビュー撮影を行うように撮像部16を制御する。その結果、表示制御部56は、撮像部16から取得したライブビュー画像を表示するように出力部18を制御する。
【0041】
ステップS12において、画像取得部52は、撮像部16から出力されるライブビュー画像を、動画像を構成するフレームとして取得する。
【0042】
ステップS13において、位置特定部53は、画像取得部52が取得したフレームを解析して、フレームにおけるクラブの位置を特定する。
【0043】
ステップS14において、存在領域判定部54は、クラブがモード切替領域に存在しているか否かを判定する。
【0044】
クラブがモード切替領域に存在している場合には、ステップS14においてYESと判定されて、処理はステップS17に進む。ステップS17以降の処理は後述する。
【0045】
これに対して、クラブがモード切替領域に存在していない場合には、ステップS14においてNOと判定されて、処理はステップS15に進む。
【0046】
ステップS15において、存在領域判定部54は、クラブが撮影開始領域に存在しているか否かの判定を行う。
【0047】
クラブが撮影開始領域に存在していない場合には、ステップS15においてNOと判定されて、処理はステップS12に戻る。その後、ステップ12以降の処理が行われる。
【0048】
これに対して、クラブが撮影開始領域に存在している場合には、ステップS15においてYESと判定されて、処理はステップS16に進む。
【0049】
ステップS16において、動画像記憶制御部55は、撮像部16から出力される画像を動画像として動画像記憶部71に記憶させて保存する。この際、動画像記憶制御部55は、動画像の各フレームに対してスイング動作(「アドレス」乃至「フィニッシュ」の各7つのスイング動作)を対応付けて記憶させて保存する。その後、頭出し再生処理は終了する。
【0050】
ステップS17において、表示制御部56は、動画像記憶部71に記憶されている動画像を出力部18に表示させることで再生を開始する。この際、出力部18には、ライブビュー画像に変えて、動画像が表示される。
【0051】
ステップS18において、画像取得部52は、撮像部16から出力されるライブビュー画像をフレーム画像として取得する。
【0052】
ステップS19において、位置特定部53は、画像取得部52が取得したフレーム画像を解析して、フレーム画像におけるクラブの位置を特定する。
【0053】
ステップS20において、存在領域判定部54は、クラブがモード切替領域に存在しているか否かを判定する。
【0054】
クラブがモード切替領域に存在している場合には、ステップS20においてYESと判定されて、処理はステップS11に戻る。その後、ステップS11以降の処理が行われる。
【0055】
これに対して、クラブがモード切替領域に存在していない場合には、ステップS20においてNOと判定されて、処理はステップS21に進む。
【0056】
ステップS21において、存在領域判定部54は、クラブがスイング領域内に存在しているか否かの判定を行う。
【0057】
クラブがスイング領域内に存在していない場合には、ステップS21においてNOと判定されて、処理はステップS18に戻る。その後、ステップ18以降の処理が行われる。
【0058】
これに対して、クラブがスイング領域内に存在している場合には、ステップS21においてYESと判定されて、処理はステップS22に進む。
【0059】
ステップS22において、フレーム検索部57は、再生中の動画像でクラブ位置に対応するフレームを検索する。即ち、フレーム検索部57は、スイング領域内におけるクラブ位置からスイングの状態を特定し、当該スイングの状態に対応したフレームを検索する。具体的には、例えば、
図3に示すように、スイング対象者stのポージングがスイング領域内における「フォロー」のポージングである場合には、記憶される動画像の各フレームに対応付けられた「フォロー」のスイング動作のフレームを検索する。
【0060】
ステップS23において、表示制御部56は、フレーム検索部57により検索されたフレームを再生開始フレームとして、動画像の早送り又は巻き戻しをして、頭出し再生を開始する。その後、頭出し再生処理は終了する。
【0061】
<第2実施形態>
第1実施形態では、スイング対象者stのスイング動作に対応したフレームから頭出し再生するように構成していた。
これに対し、第2実施形態では、スイング対象者stのスイングのタイミングに合わせて、動画像を表示するように構成する。即ち、第2実施形態では、スイング対象者stのスイングに連動した動画像の再生を行うように構成する。
【0062】
図8は、本発明の第2実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
図1と
図8とを比較するに、第2実施形態に係る撮像装置1のハードウェアの構成は、マーカmと圧力センサpsa,psbが追加される点を除くと、第1実施形態に係る撮像装置1と基本的に同様であるため説明を省略する。
なお、マーカmは、撮像部16により撮像することにより、位置を特定可能に反射材等から構成される。
また、圧力センサpsa,psbは、気圧の算出や気圧の変化を検知することが可能に構成される。
【0063】
図9は、このようなハードウェア構成を有する撮像装置1の利用形態の概要を説明する模式図である。
撮像装置1においては、
図9(a)に示すように、出力部18にスイング対象者stを撮影したライブビュー画像と、当該ライブビュー画像と連動して表示する動画像とが並列的に2画面表示される。また、ライブビュー画像と連動して表示する動画像は、スイングのお手本となるプロゴルファのスイングの動画像(以下、「お手本動画像」という)が再生される。
【0064】
このような機能を有する撮像装置1は、表示を確認するスイング対象者stに見やすく、かつ、スイング対象者stを撮影しやすいように構成される。具体的には、撮像装置1は、
図9(b)に示すように、スイング対象者stに見やすい高さと角度に調整された大型のディスプレイにより構成される出力部18と、スイング対象者stのスイング全体を撮影可能に出力部18の上部に設けられた撮像部16とを備える。なお、本実施形態においては、撮像手段と出力手段を撮像部16と出力部18と撮像装置1に備えるように構成したがこれに限られない。例えば、撮像手段と出力手段とを別装置にして、通信を介して撮像画像や動画像のやり取りをするように構成して、撮像と出力を一体的に動作させるように構成してもよい。
【0065】
図10は、スイングの特定を説明するための模式図である。
スイングの特定は、
図10(a)に示すように、クラブヘッドchに貼り付けられたマーカmを含んでスイング対象者stを撮影した画像を解析することで、マーカmの撮像領域における相対的な位置を特定することにより行う。本実施形態においては、特定されたマーカmの相対的な位置から、アドレスの位置を中心として撮像領域におけるスイングのバック側(右利きの場合は左側)かフォロー側(右利きの場合は右側)かを特定する。
【0066】
また、本実施形態において、圧力センサpsa,psbは、クラブシャフトcsの端部と、スイング対象者stの腕に設けられる。このような場所に圧力センサpsa,psbを設けることにより、例えば、各圧力センサからクラブの高さの情報を取得することができる。また、前回の計測位置との差分から、移動方向を特定することができる。
【0067】
以上のように構成することで、マーカm及び圧力センサpsa,psbから取得される情報により、バック側・フォロー側の位置、高さ、クラブの移動方向から、スイング対象者stのスイング動作を特定する。
【0068】
また、スイング動作の特定にあたり、本実施形態においては、
図10(b)に示すように、スイングを行う撮像領域を6分割したスイング判別領域R4を設定する。このスイング判別領域R4では、バック側とフォロー側で最高位置,中間位置,最低位置の各3段ずつに分割する。
【0069】
図11は、スイング動作の特定の詳細について説明する模式図である。
スイング動作の特定は、詳細には、
図11に示すように、上述したようにスイングの遷移の状態に応じて、6カ所に分割されて決定され、弧を描くスイングの遷移の範囲において、バック方向側を3分割(最高位置、中間位置、最低位置)し、フォロー方向側を3分割するスイング判別領域R4において行われる。
【0070】
スイング判別領域R4は、スイング順に説明すると「アドレス」を特定する「バック方向側・最低位置」と、「バック」と「ダウン」を特定する「バック方向側・中間位置」と、「トップ」を特定する「バック方向側・最高位置」と、「インパクト」を特定する「フォロー方向側・最低位置」と、「フォロー」を特定する「フォロー方向側・中間位置」と、「フィニッシュ」を特定する「フォロー方向側・最高位置」との領域に分割される。
【0071】
スイング動作の特定の判断は、スイング判別領域R4のどの領域に属するか否かと、前回の状態、即ち、圧力センサの情報がどこからどの状態に遷移したか否かを加味することで行う。
具体的には、スイング順に、(1)「アドレス」の場合には、「前回の状態:なし,psa:最低位置,psb:最低位置」となっている。
(2)「バック」の場合には、「前回の状態:アドレス,psa:最低位置から中間位置への変化,psb:最低位置から中間位置への変化,マーカ:バック側」となっている。
(3)「トップ」の場合には、「前回の状態:バック,psa:最高位置,psb:最高位置」となっている。
(4)「ダウン」の場合には、「前回の状態:トップ,psa:最高位置から中間位置への変化,psb:最高位置から中間位置への変化,マーカ:バック側」となっている。
(5)「インパクト」の場合には、「前回の状態:ダウン,psa:最低位置,psb:最低位置」となっている。
(6)「フォロー」の場合には、「前回の状態:インパクト,psa:最低位置から中間位置への変化,psb:最低位置から中間位置への変化,マーカ:フォロー側」となっている。
(7)「フィニッシュ」の場合には、「前回の状態:フォロー,psa:最高位置,psb:最高位置」となっている。
【0072】
図12は、このような撮像装置1の機能的構成のうち、連動表示モード処理のスイング設定処理を実行するための機能的構成を示す機能ブロック図である。
「連動表示モード処理」とは、通常の撮影モードの他に設定されるモードの処理であり、被写体の動作に、連動して出力部18での表示を行うまでの一連の処理をいう。また、「連動表示モード処理」は、スイング設定処理及び連動表示処理を含む。
【0073】
「スイング設定処理」とは、センサとマーカにより特定される一連のスイング動作からクラブの位置情報(高さ及び位置)を取得して、スイングの領域を決定するまでの一連の処理である。決定されたスイングの領域におけるクラブの位置によってスイングの状態を特定することができる。
【0074】
スイング設定処理を実行する場合には、
図12に示すように、CPU11において、撮像制御部91と、画像取得部92と、方向位置特定部93と、高さ特定部94と、スイング判別領域設定部95と、が機能する。
記憶部19の一領域には、スイング設定記憶部72が設けられる。
スイング設定記憶部72には、スイング設定処理において設定されたスイング判別領域に関する情報が記憶される。
【0075】
撮像制御部91は、ライブビュー撮影を開始する。即ち、撮像制御部51は、ライブビュー撮影を行うように撮像部16を制御する。
【0076】
画像取得部92は、撮像部16から出力されるライブビュー画像をマーカ位置の解析用の画像(以下、「解析用画像」)として取り込んで取得する。
【0077】
方向位置特定部93は、取得した解析用画像を解析して、画像におけるマーカの位置を特定する。マーカの位置によって、例えば、
図11に示すように、クラブgcの「アドレス」から「インパクト」までの側の位置(バック方向の位置)と、「インパクト」から「フィニッシュ」までの側の位置(フォロー方向の位置)が特定することができる。
【0078】
高さ特定部94は、通信部20を介して、圧力センサからの情報(圧力センサpsa,psb)を取得して、例えば、
図11に示すように、圧力センサpsa,psbの配置からクラブの高さを特定する。
【0079】
スイング判別領域設定部95は、方向位置特定部93及び高さ特定部94が特定した一連のスイング動作におけるクラブの移動範囲に基づいて、スイング対象者stのスイング移動範囲に対応した
図10(b)に示すようなスイング判別領域R4を決定する。
【0080】
図13は、
図8の撮像装置1の機能的構成のうち、連動表示モード処理の連動表示処理を実行するための機能的構成を示す機能ブロック図である。
【0081】
「連動表示処理」とは、被写体のスイングに応じて、記憶されるスイング動作に対応した画像を表示させるまでの一連の処理である。また、「連動表示処理」では、スイング動作に対応した画像に加えて、ライブビュー画像も同時に表示させる。
【0082】
連動表示処理を実行する場合には、
図13に示すように、CPU11において、撮像制御部91と、画像取得部92と、方向位置特定部93と、高さ特定部94と、スイング状態判別部96と、フレーム検索部97と、表示制御部98と、が機能する。
記憶部19の一領域には、スイング設定記憶部72と、お手本動画像記憶部73が設けられる。
お手本動画像記憶部73には、プロゴルファのスイングが収められたお手本動画像のデータが記憶される。このお手本動画像は、フレーム毎にスイング動作と対応付けられて記憶されている。
【0083】
スイング状態判別部96は、スイング状態の判別を行う。
スイング状態の判別は、スイング設定処理において決定したスイング領域のどの領域にクラブが位置しているか否かを判別することにより行う。
具体的には、スイング状態判別部96は、「バック方向側・最低位置」にクラブが属していると判別された場合には「アドレス」とし、「バック方向側・中間位置」にクラブが属している判別された場合には「バック」又は「ダウン」とし、「バック方向側・最高位置」にクラブが属している判別された場合には「トップ」とし、「フォロー方向側・最低位置」にクラブが属している判別された場合には「インパクト」とし、「フォロー方向側・中間位置」にクラブが属している判別された場合には「フォロー」とし、「フォロー方向側・最高位置」にクラブが属している判別された場合には「フィニッシュ」とする。この場合、各スイングの状態は、前回の状態、即ち、圧力センサの情報がどこからどの状態に遷移したか否かを加味することで行われる。例えば、「バック」又は「ダウン」の判別は、「バック方向側・中間位置」であった場合、前回の状態が「アドレス」か「トップ」か否かを判断することで「バック」か「ダウン」かを判別する。前回の状態が「アドレス」であった場合には、「バック」と判別されて、前回の状態が「トップ」であった場合には、「ダウン」と判別される。
【0084】
フレーム検索部97は、お手本動画像記憶部73に記憶されるお手本動画を検索して、判別されたスイングの状態に対応するフレームを特定する。
また、フレーム検索部97は、先にお手本画像があるか否かを判断する。即ち、フレーム検索部97は、お手本動画像記憶部73に記憶されるお手本動画において、まだ先に連動表示を行うフレームがあるか否かを判断する。
【0085】
表示制御部98は、連動表示を行う。詳細には、表示制御部98は、フレーム検索部97によって検索されたお手本画像を出力部18に表示させる。さらに、表示制御部98は、ライブビュー画像もお手本画像に並列的に表示して2画面表示を行う。結果として、スイング対象者stのスイングを撮影したライブビュー画像に対応して、お手本動画から抽出された「アドレス」乃至「フィニッシュ」のフレームが表示されることとなる。なお、本実施形態においては、「アドレス」乃至「フィニッシュ」の7つのポイントでスイング動作を特定したがこれに限られない。さらに細かいポイントでスイング動作を特定することにより、ライブビュー画像に相応するフレームを提示することができ、動画像を表示しているかのような滑らかな表示を行うことができる。
【0086】
図14は、連動表示モード処理のうち、スイング設定処理の流れを説明するフローチャートである。
【0087】
ステップS111において、撮像制御部91は、ライブビュー撮影を開始する。即ち、撮像制御部51は、ライブビュー撮影を行うように撮像部16を制御する。
その結果、出力部18には、撮像部16から取得したライブビュー画像が表示される。
【0088】
ステップS112において、画像取得部92は、撮像部16から出力されるライブビュー画像を解析用画像として取り込んで取得する。
【0089】
ステップS113において、方向位置特定部93は、取得した解析用画像を解析して、画像におけるマーカの位置を特定する。マーカの位置によって、クラブのアドレスからインパクトまでの側の位置(バック方向の位置)と、インパクトからフィニッシュまでの側の位置(フォロー方向の位置)が特定できる。
【0090】
ステップS114において、高さ特定部94は、通信部20を介して、圧力センサからの情報(圧力センサpsa,psb)を取得して、圧力センサpsa,psbの配置からクラブの高さを特定する。
【0091】
ステップS115において、スイング判別領域設定部95は、スイングが終了しているか否かを判定する。スイングの終了は、例えば、所定時間状態が変化しないことや、クラブの位置がフォロー方向であり、高さが所定の高さになったことをもって判定する。
スイングが終了していない場合には、ステップS115においてNOと判定されて、処理はステップS112に戻る。そして、ステップS112以降の処理が行われる。
これに対して、スイングが終了している場合には、ステップS115においてYESと判定されて、処理はステップS116に進む。
【0092】
ステップS116において、スイング判別領域設定部95は、スイング判別領域の設定を行う。即ち、スイング判別領域設定部95は、スイング対象者stのクラブ移動範囲を考慮して、
図10(b)に示すようなスイング判別領域R4を設定する。そして、スイング判別領域設定部95は、スイング判別領域をスイング設定記憶部72に記憶させる。その後、スイング設定処理は終了する。
【0093】
図15は、連動表示モード処理のうち、連動表示処理の流れを説明するフローチャートである。
【0094】
ステップS121において、撮像制御部91は、ライブビュー撮影を開始する。即ち、撮像制御部51は、ライブビュー撮影を行うように撮像部16を制御する。
その結果、出力部18には、撮像部16から取得したライブビュー画像が表示される。
【0095】
ステップS122において、画像取得部92は、撮像部16から出力されるライブビュー画像を解析用画像として取り込んで取得する。
【0096】
ステップS123において、方向位置特定部93は、取得した解析用画像を解析して、画像におけるマーカの位置を特定する。
【0097】
ステップS124において、高さ特定部94は、通信部20を介して、圧力センサからの情報(圧力センサpsa,psb)を取得して、圧力センサpsa,psbの配置からクラブの高さを特定する。
【0098】
ステップS125において、スイング状態判別部96は、スイングの状態に変化があったか否かを判別する。即ち、スイング状態判別部96は、クラブの高さ及び方向に変化があったか否かを判別する。
状態が変化している場合には、ステップS125においてNOと判別されて、処理はステップS122に戻る。そして、ステップS122以降の処理が行われる。
これに対して、状態が変化している場合には、ステップS125においてYESと判別されて、処理はステップS126に進む。
【0099】
ステップS126において、スイング状態判別部96は、スイング状態の判別を行う。
スイング状態の判別は、スイング設定処理において決定したスイング判別領域のどの領域にクラブが位置しているか否かを判別することにより行う。具体的には、スイング状態判別部96は、
図11に示すように(1)乃至(7)のいずれかのパターンに属するかを判別する。
【0100】
ステップS127において、フレーム検索部97は、お手本動画像記憶部73に記憶されるお手本動画を検索して、判別されたスイングの状態に対応するスイング動作を含むフレームを特定する。
【0101】
ステップS127において、表示制御部98は、連動表示を行う。詳細には、表示制御部98は、フレーム検索部97によって検索されたお手本画像のフレームを出力部18に表示させる。さらに、表示制御部98は、ライブビュー画像もお手本画像のフレームに並列的に表示して2画面表示を行う。
【0102】
ステップS128において、フレーム検索部97は、先にお手本画像があるか否かを判断する。即ち、フレーム検索部97は、お手本動画像記憶部73に記憶されるお手本動画において、まだ先に連動表示を行うお手本画像のフレーム(スイング動作に対応したフレーム)があるか否かを判断する。例えば、フレーム検索部97は、連動表示したものが「バック」のお手本画像のフレームであって先に「トップ」のお手本画像以降の対応するフレームがある場合には、お手本画像があるとし、逆に、連動表示したものが「フィニッシュ」であってこれより先にお手本画像がない場合には、お手本画像ないと判断する。
【0103】
先にお手本画像がある場合には、ステップS128においてYESと判断されて、処理はステップS122に戻る。その後、ステップS122以降の処理が行われる。
【0104】
先にお手本画像がない場合には、ステップS128においてNOと判断されて、連動表示処理は終了する。
【0105】
以上のように構成される撮像装置1においては、フレーム検索部97と、スイング状態判別部96と、表示制御部98と、を備える。
スイング状態判別部96は、スイング対象者stの動作における複数の姿勢を特定する。
フレーム検索部97は、検索対象とした動画像からスイング状態判別部96により特定された所定の姿勢に対応する画像を検索する。
表示制御部98は、フレーム検索部97により検索された画像を出力部18に表示させる。
これにより、撮像装置1では、特定された所定の箇所に対応する画像を検索し、当該検索された画像を出力部18に表示させる。
従って、撮像装置1では、ユーザの動作に対応する情報を効果的なタイミングで表示できる。
【0106】
また、動画像を記憶するお手本動画像記憶部73を更に備える。
フレーム検索部97は、スイング状態判別部96により特定された所定の姿勢(スイング動作)に対応する画像をお手本動画像記憶部73に記憶されたお手本動画像から検索する。
また、フレーム検索部97は、検索された画像を所定の姿勢(スイング動作)に対応する画像として取得する。
これにより、撮像装置1では、所定の姿勢(スイング動作)に対応する画像をお手本動画像記憶部73に記憶されたお手本動画像から検索し、検索された画像を所定の姿勢(スイング動作)に対応する画像として取得する。
従って、撮像装置1では、ユーザの動作に対応する情報を効果的なタイミングで表示できる。
【0107】
また、撮像装置1は、連続して撮像される撮像画像を逐次取得する画像取得部92を更に備える。
スイング状態判別部96は、画像取得部92により逐次取得される画像から、所定の姿勢(スイング動作)を特定する。
これにより、撮像装置1では、連続して撮像される撮像画像から、所定の姿勢(スイング動作)を特定する。
従って、撮像装置1では、撮像画像を特定対象とすることができ、利用範囲の幅を広げることができる。
【0108】
また、スイング状態判別部96は、スイング対象者stに付けられた圧力センサpsa,psbの情報に基づいて、特定の箇所を特定する。
従って、撮像装置1では、ユーザの動作を精度高く特定することができる。
【0109】
また、フレーム検索部97により検索対象とされる動画像は、スイング対象者stの動作の手本となる動作が収められた動画像である。
従って、撮像装置1では、ユーザの動作の比較となる情報を効果的なタイミングで表示できる。
【0110】
また、撮像装置1は、特定対象者(スイング対象者st)を逐次撮像する撮像部16を更に備える。
フレーム検索部97は、撮像部16により逐次撮像された画像における特定対象者(スイング対象者st)の所定の姿勢(スイング)を特定する。
表示制御部98は、フレーム検索部97により取得された画像とともに、撮像部16により撮像された画像を出力部18に同時に表示させる。
従って、撮像装置1では、ユーザの動作との比較を容易に行うことができる。
【0111】
また、撮像部16により逐次撮像された画像は、リアルタイムに撮像された撮像画像である。
従って、撮像装置1では、ユーザの動作との比較を即時性をもって容易に行うことができる。
【0112】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0113】
上述の実施形態では、リアルタイムにポージングを解析して、当該解析結果に対応する画像を動画像から検索して表示するようにしたがこれに限られない。
例えば、予め記憶されている被写体の動画像を再生させ、当該再生された動画像中の被写体のポージングに対応する画像を他の動画像から検索してディスプレイに表示させるように構成してもよい。
この場合、例えば、互いに予め記憶されている検索対象の動画像と解析対象の動画像とを各々取得して所定のディスプレイに2画面で表示させておき、解析対象の動画像に対してユ−ザが早送りや巻き戻し等の送り操作をすると、当該操作後に表示される画像の被写体のポージングを解析し、解析結果に対応する画像をお手本動画像から検索して表示すると良い。即ち、スイング状態判別部96は、異なる動画像に対してユーザによる送り操作をすると、当該送り操作後の動画像中の画像における所定の姿勢を特定する。
また、ポージングの解析は、ユーザの操作を待たずとも検索対象の動画像と解析対象の動画像とがディスプレイに2画面表示された時点を始期として、解析対象の動画像への早送りや巻き戻しの操作がある度に当該操作後に表示される画像の被写体(スイング対象者st)のポージングを解析するようにしても良い。
また、検索対象の動画像と解析対象の動画像とがディスプレイに2画面で表示され、これらの動画像が再生される際に、解析対象の動画像中の各画像の被写体(スイング対象者st)のポージングに対応する検索対象の動画像中の画像を逐次検索して、ディスプレイに2画面で同期して再生するようにしても良い。
即ち、表示制御部98は、フレーム検索部97により取得された動画像と、当該動画像とは異なる動画像とを出力部18に同時に表示させる。
スイング状態判別部96は、表示制御部98により出力部18に表示された異なる動画像における被写体(スイング対象者st)の所定の姿勢を特定する。
以上の構成により、解析対象の動画像中の画像に対応する検索対象の動画像中の画像をディスプレイに自動的に表示させることができる。
【0114】
また、上述の実施形態におけるスイング対象者stのスイング動作の特定は、種々の周知の技術を採用することができる。
【0115】
また、上述の実施形態においては、ゴルフのスイングに対して説明を行ったがこれに限られず、動作を特定する対象者の動作であればよい。また、決められた動作でなくてもよく所定の動きを事前に登録しておくことで解析の対象としてもよい。
【0116】
また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、頭出し再生処理機能又は連動表示処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン(smartphone)、ポータブルゲーム機等に適用可能である。
【0117】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、
図5及び
図13の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図5及び
図13の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0118】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0119】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される
図1及び
図8のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),BD(Blu−ray Disc)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている
図1及び
図8のROM12や、
図1及び
図8の記憶部19に含まれるハードディスク等で構成される。
【0120】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0121】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0122】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
動画像を取得する動画像取得手段と、
特定対象者の動作における複数の姿勢から所定の姿勢を特定する特定手段と、
前記動画像取得手段により取得された動画像から前記特定手段により特定された所定の姿勢に対応する画像を取得する画像取得手段と、
前記画像取得手段により取得された画像を表示手段に表示させる第1の表示制御手段と、
を備えたことを特徴とする表示制御装置。
[付記2]
動画像を記憶する画像記憶手段を更に備え、
前記画像取得手段は、前記特定手段により特定された所定の姿勢に対応する画像を前記画像記憶手段に記憶された動画像から検索する検索手段を更に含み、
前記検索手段により検索された画像を前記所定の姿勢に対応する画像として取得することを特徴とする付記1に記載の表示制御装置。
[付記3]
連続して撮像される画像を逐次取得する撮像画像取得手段を更に備え、
前記特定手段は、前記撮像画像取得手段により逐次取得される画像から、前記所定の姿勢を特定することを特徴とする付記1又は2に記載の表示制御装置。
[付記4]
前記特定手段は、前記特定対象者の動作を検知するセンサからの情報に基づいて、前記所定の姿勢を特定すること、
を特徴とする付記1又は2に記載の表示制御装置。
[付記5]
前記動画像取得手段により取得された動画像と、当該動画像とは異なる動画像とを前記表示手段に同時に表示させる第2の表示制御手段を更に備え、
前記特定手段は、前記第2の表示制御手段により前記表示手段に表示された前記異なる動画像における特定対象者の所定の姿勢を特定することを特徴とする付記1又は2に記載の表示制御装置。
[付記6]
前記特定手段は、前記異なる動画像に対してユーザによる送り操作をすると、当該送り操作後の動画像中の画像における前記所定の姿勢を特定することを特徴とする付記5に記載の表示制御装置。
[付記7]
前記動画像取得手段により取得される前記動画像は、前記特定対象者の動作の手本となる動作が収められた動画像であること、
を特徴とする付記1乃至6の何れか1つに記載の表示制御装置。
[付記8]
前記特定対象者を逐次撮像する撮像手段を更に備え、
前記特定手段は、前記撮像手段により逐次撮像された画像における前記特定対象者の所定の姿勢を特定し、
前記第1の表示制御手段は、前記画像取得手段により取得された画像とともに、前記撮像手段により撮像された画像を前記表示手段に同時に表示させることを特徴とする付記1乃至7の何れか1つに記載の表示制御装置。
[付記9]
前記撮像手段により逐次撮像された画像は、リアルタイムに撮像された画像である
ことを特徴とする付記8に記載の表示制御装置。
[付記10]
動画像を取得する動画像取得ステップと、
特定対象者の動作における複数の姿勢から所定の姿勢を特定する特定ステップと、
前記動画像取得ステップによりされる動画像から前記特定ステップにより特定された所定の姿勢に対応する画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された画像を表示ステップに表示させる表示制御ステップと
を含むことを特徴とする表示制御方法。
[付記11]
コンピュータを、
動画像を取得する動画像取得手段、
特定対象者の動作における複数の姿勢から所定の姿勢を特定する特定手段、
前記動画像取得手段によりされる動画像から前記特定手段により特定された所定の姿勢に対応する画像を取得する画像取得手段、
前記画像取得手段により取得された画像を表示手段に表示させる表示制御手段
として機能させたことを特徴とするプログラム。