特許 6039500 映像再生装置及び映像再生プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6039500

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】映像再生装置及び映像再生プログラム

(51)【国際特許分類】

   H04N 5/93 20060101AFI20161128BHJP

   H04N 5/76 20060101ALI20161128BHJP

   G11B 27/34 20060101ALI20161128BHJP

【ＦＩ】

   H04N5/93 A

   H04N5/76 B

   G11B27/34 P

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2013-95881(P2013-95881)

(22)【出願日】2013年4月30日

(65)【公開番号】特開2014-217030(P2014-217030A)

(43)【公開日】2014年11月17日

【審査請求日】2015年8月27日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】三上 弾

(72)【発明者】

【氏名】松本 鮎美

(72)【発明者】

【氏名】川村 春美

(72)【発明者】

【氏名】小島 明

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２００７−３２４６６３（ＪＰ，Ａ）

【文献】 特開平１１−２４３５４２（ＪＰ，Ａ）

【文献】 特開２００７−１５７０６４（ＪＰ，Ａ）

【文献】 特開２００４−２６０７６５（ＪＰ，Ａ）

【文献】 特開２００７−３１８６８８（ＪＰ，Ａ）

【文献】 特開平０８−１０６５４３（ＪＰ，Ａ）

【文献】 特開２０１３−０３４４９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１１Ｂ２０／１０−２０／１６

２７／００−２７／３４

Ｈ０４Ｎ５／７６

５／７６５

５／８０−５／９１

５／９１５

５／９２

５／９２２

５／９２８−５／９３

５／９３７−５／９４

５／９５−５／９５６

(57)【特許請求の範囲】

【請求項1】

参照動作映像を読み込む参照動作映像読込手段と、
前記参照動作映像中において同期すべきタイミングを示す同期指定情報を読み込む同期指定情報読込手段と、
前記同期指定情報で特定される前記参照動作映像中の画像の特徴を取得する参照動作映像特徴取得手段と、
前記参照動作映像との比較対象である現在動作映像中の画像の特徴を取得する現在動作映像特徴取得手段と、
前記参照動作映像特徴取得手段により取得した前記参照動作映像中の画像の特徴と、前記現在動作映像特徴取得手段により取得した前記現在動作映像中の画像の特徴とを比較した結果求められる類似度に基づいて最も類似している類似度のピークを見つけ、前記現在動作映像中において同期タイミングを特定する同期タイミング特定手段と、
前記現在動作映像の遅延すべき遅延幅を取得する遅延幅取得手段と、
最大遅延幅に応じた配列数のメモリのそれぞれに格納された前記現在動作映像のフレーム毎の各画像を配列の順序が後ろの前記メモリに順に格納し、最初の前記メモリに新たに取得した前記現在動作映像のフレームの画像を格納することにより前記遅延幅に応じて遅延させた前記現在動作映像と、前記参照動作映像とを、前記同期タイミングにおいて同期させて再生する同期再生手段と
を備えることを特徴とする映像再生装置。

【請求項2】

前記同期タイミング特定手段は、
前記類似度に応じて、前記参照動作映像中の画像の特徴と前記現在動作映像中の画像の特徴とを比較して類似度を求める処理を間引くことを特徴とする請求項１に記載の映像再生装置。

【請求項3】

前記同期タイミング特定手段は、
前記同期タイミングに先行して起こる状態の検出結果に応じて、前記参照動作映像中の画像の特徴と前記現在動作映像中の画像の特徴とを比較して類似度を求める処理を間引くことを特徴とする請求項１に記載の映像再生装置。

【請求項4】

前記同期指定情報読込手段は、前記参照動作映像中において同期すべき２つの異なるタイミングを示す同期指定情報を読み込み、
前記同期再生手段は、
前記２つのタイミングにおいて、前記参照動作映像と、前記現在動作映像とが同期するように、再生時間を伸縮させて再生することを特徴とする請求項１から３のいずれか１項に記載の映像再生装置。

【請求項5】

前記同期タイミング特定手段は、
Ｍｏｔｉｏｎ Ｈｉｓｔｏｒｙ Ｉｍａｇｅによる画像特徴を用いることを特徴とする請求項１から４のいずれか１項に記載の映像再生装置。

【請求項6】

コンピュータを、請求項１から５のいずれか１項に記載の映像再生装置として機能させるための映像再生プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、２系統の映像を同期させて再生する映像再生装置及び映像再生プログラムに関する。

【背景技術】

【0002】

スポーツなどにおける動作の練習において撮影された自分の動作を確認することは極めて重要である。手本となる動作と自分の動作の比較、あるいは、自分の好調時の動作と現在の動作を比較することで、学習効果が高まることも予想される（例えば、非特許文献１参照）。

【0003】

なお、ビデオの映像により動体の動作を確認することをビデオフィードバックと呼ぶこととする。また、手本となる動作あるいは好調時の動作などを参照動作と呼び、参照動作の映像を参照動作映像と呼ぶ。また、参照動作映像との比較対象である人間等の動作を現在動作と呼び、現在動作の映像を現在動作映像と呼ぶこととする。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】寺井宏文，立正伸，映像フィードバックを用いた練習がバッティング技術に与える影響，スポーツパフォーマンス研究，３，１３８−１５２，２０１１

【発明の概要】

【発明が解決しようとする課題】

【0005】

前述したように、ビデオで動作を撮影して動作を確認することは可能であるが、一般的に、動作してからビデオの目視確認まで時間がかかるため、その間に動作の記憶が低下してしまう。その結果、ビデオフィードバックの効果が低下してしまうという問題がある。また、鏡を利用するということも考えられるが鏡を見ながら動作をすることで動作そのものが変ってしまう場合がある。

【0006】

また、参照動作を現在動作と比較することによるビデオフィードバックは、参照動作と現在動作とを比較しやすい状態に準備することが困難であるという問題がある。特に、背景の変化や、照明環境の変化、服装の変化により比較処理が複雑になるため、高速な動作の比較が困難であるという問題もある。

【0007】

さらに、２つの映像を比較する場合、短時間の遅延のうちに、同期処理を終了させる必要があるため、高速な計算処理を行なわなければならない。また、参照動作と現在動作の速度が異なる場合、単に同期再生しても比較が困難であるという問題がある。

【0008】

本発明は、このような事情に鑑みてなされたもので、容易に参照動作と現在動作とを比較することができる映像再生装置及び映像再生プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、参照動作映像を読み込む参照動作映像読込手段と、前記参照動作映像中において同期すべきタイミングを示す同期指定情報を読み込む同期指定情報読込手段と、前記同期指定情報で特定される前記参照動作映像中の画像の特徴を取得する参照動作映像特徴取得手段と、前記参照動作映像との比較対象である現在動作映像中の画像の特徴を取得する現在動作映像特徴取得手段と、前記参照動作映像特徴取得手段により取得した前記参照動作映像中の画像の特徴と、前記現在動作映像特徴取得手段により取得した前記現在動作映像中の画像の特徴とを比較した結果求められる類似度に応じて、前記現在動作映像中において同期タイミングを特定する同期タイミング特定手段と、前記現在動作映像の遅延すべき遅延幅を取得する遅延幅取得手段と、前記遅延幅に応じて遅延させた前記現在動作映像と、前記参照動作映像とを、前記同期タイミングにおいて同期させて再生する同期再生手段とを備えることを特徴とする。

【0010】

本発明は、前記同期タイミング特定手段は、前記類似度に応じて、前記参照動作映像中の画像の特徴と前記現在動作映像中の画像の特徴とを比較して類似度を求める処理を間引くことを特徴とする。

【0011】

本発明は、前記同期タイミング特定手段は、前記同期タイミングに先行して起こる状態の検出結果に応じて、前記参照動作映像中の画像の特徴と前記現在動作映像中の画像の特徴とを比較して類似度を求める処理を間引くことを特徴とする。

【0012】

本発明は、前記同期指定情報読込手段は、前記参照動作映像中において同期すべき２つの異なるタイミングを示す同期指定情報を読み込み、前記同期再生手段は、前記２つのタイミングにおいて、前記参照動作映像と、前記現在動作映像とが同期するように、再生時間を伸縮させて再生することを特徴とする。

【0013】

本発明は、前記同期タイミング特定手段は、Ｍｏｔｉｏｎ Ｈｉｓｔｏｒｙ Ｉｍａｇｅによる画像特徴を用いることを特徴とする。

【0014】

本発明は、コンピュータを、前記映像再生装置として機能させるための映像再生プログラムである。

【発明の効果】

【0015】

本発明によれば、容易に参照動作と現在動作を比較することが可能になるため、ビデオフィードバックの効果を最大限に発揮することができるという効果が得られる。

【図面の簡単な説明】

【0016】

【図1】本発明の第１実施形態の構成を示すブロック図である。

【図2】図１に示す映像遅延部３の動作を示す説明図である。

【図3】本発明の第２実施形態の構成を示すブロック図である。

【図4】図３に示す同期部９の動作を示すフローチャートである。

【図5】本発明の第４実施形態における同期部９の処理動作を示すフローチャートである。

【図6】図５に示す処理動作によって処理の間引きを行った際の類似度と類似度計算タイミングの関係を示す図である。

【図7】第５実施形態による映像再生装置の処理動作を示す説明図である。

【図8】第５実施形態による映像再生装置における同期部９の動作を示すフローチャートである。

【図9】第２実施形態における動作を示す説明図である。

【図10】第６実施形態における動作を示す説明図である。

【発明を実施するための形態】

【0017】

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像再生装置を説明する。図１は第１実施形態の構成を示すブロック図である。第１実施形態による映像再生装置は、所定時間の遅延を加えて再生するものである。図１において、符号１は、遅延させて再生を行うべき映像を入力する映像取得部である。符号２は、遅延させるべき遅延幅の情報を入力する遅延幅取得部である。符号３は、映像取得部１において入力した映像を遅延幅取得部２において入力した遅延幅だけ遅延させる映像遅延部である。符号４は、映像遅延部３において遅延させた映像を表示する映像表示部であり、ディスプレイ装置によって構成する。

【0018】

次に、図２を参照して、図１に示す映像再生装置の動作を説明する。図２は、図１に示す映像遅延部３の動作を示す説明図である。まず、映像取得部１は、カメラ等から映像をフレーム毎に受け取り、映像遅延部３へ送る。一方、遅延幅取得部２は、ユーザにより指定された遅延幅情報ｄを受け取る。遅延幅情報ｄは、映像を何秒間遅延させるかを示す情報である。

【0019】

次に、映像遅延部３は、内部にバッファとなるメモリ配列Ｂ（Ｂ［０］〜Ｂ［ＮＢ−１］を備え、以下の処理を行う。ここで、ＮＢは映像遅延部３において遅延させることが可能な最大遅延幅（配列Ｂの配列数に相当する）である。映像遅延部３は、配列Ｂ［０］〜Ｂ［ＮＢ−２］に蓄積されているフレーム画像をそれぞれ、配列Ｂ［１］〜Ｂ［ＮＢ−１］に順に複製する。続いて、映像遅延部３は、配列Ｂ［０］に新たに映像取得部１から取得した画像を格納する。そして、配列Ｂ［遅延幅情報ｄ×映像のフレームレート］のフレーム画像を映像表示部４へ出力することにより、ｄ秒遅延した映像が映像表示部４に映し出されることなる。図２に示す例では、配列Ｂ［ＮＢ−１］（最大遅延幅）から映像表示部４へ出力する例を示した。以上の各ステップにより、映像表示部では、ｄ秒遅れの映像が表示されることになる。

【0020】

このように、映像取得部１から取得したフレーム画像を映像遅延部３内のバッファに一時蓄え、所定の時間遅延させたフレーム画像を映像表示部４へ出力することにより、任意に遅延させた映像を再生することが可能となる。

【0021】

＜第２実施形態＞
次に、本発明の第２実施形態による映像再生装置を説明する。図３は第２実施形態の構成を示すブロック図である。第２実施形態による映像再生装置は、参照動作中で指定された同期タイミングの動作情報を用い、現在動作の映像中を検索することで、参照動作と現在動作を時間的に同期する。図３において、図１に示す映像再生装置と同一の部分には同一の符号を付し、その説明を省略する。符号５は、参照動作の製造を読み込み、内部に保持する参照動作読み込み部である。

【0022】

符号６は、参照動作読み込み部５において読み込まれた参照動作の映像に対して、現在動作の映像を同期させたい時間的なタイミングを指定する情報を受け取る同期タイミング情報取得部である。同期タイミング情報取得部６は、タイミングを指定する情報をファイルから読み込んでも構わないし、キーボードから入力しても構わない。

【0023】

符号７は、指定された同期タイミングの参照動作映像中の動作において画像特徴を取得する参照動作映像特徴取得部である。動作の画像特徴としては、オプティカルフロー、オプティカルフローのヒストグラム、モーションヒストリーイメージなど様々な手法が適用可能であるので特に限定しない。

【0024】

符号８は、参照動作映像特徴取得部７と同一の手法により、動作の画像特徴を取得する現在動作映像特徴取得部である。符号９は、現在動作映像特徴取得部８において取得した、現在動作映像中の動作の画像特徴と、参照動作映像特徴取得部７において取得した参照動作映像中の動作の画像特徴とを比較することで、現在動作と参照動作とで同じ動作を行ったタイミングを抽出する同期部である。これを同期タイミングと表すこととし、（ｔ_ｃ，ｔ_ｒ）の組で表すものとする。

【0025】

次に、図３に示す映像再生装置の動作を説明する。始めに、参照動作読み込み部５は、外部から参照動作の映像を読み込み、内部に保持しておく。次に、同期タイミング情報取得部６は、参照動作読み込み部５において読み込まれた参照動作の映像に対して、現在動作の映像を同期させたい時間的なタイミングを指定する情報を外部から受け取る。これを受けて、参照動作映像特徴取得部７は、指定された同期タイミングによって特定される参照動作映像中のフレーム画像の画像特徴を取得して同期部９へ出力する。

【0026】

一方、映像取得部１は、外部から現在動作の映像をフレーム毎に取得し、現在動作映像特徴取得部８と映像遅延部３へ出力する。現在動作映像特徴取得部８は、映像取得部１から出力されたフレームから画像特徴を取得して同期部９へ出力する。

【0027】

次に、同期部９は、参照動作映像特徴取得部７から出力する画像特徴と、現在動作映像特徴取得部８から出力する画像特徴とを比較して、参照動作と現在動作とで同じ動作を行ったタイミングを抽出する。同期部９の詳細な処理動作は、後述する。

【0028】

次に、映像表示部４は、同期部９で指定された同期タイミングが同じタイミングで表示されるよう、映像遅延部３により遅延された現在動作の映像と、参照動作読み込み部５で読み込まれた参照動作の映像とを同期させて表示する。

【0029】

次に、図４を参照して、図３に示す同期部９の詳細な動作を説明する。図４は、図３に示す同期部９の動作を示すフローチャートである。ここでは、現在時刻をｔ、また、参照動作同期タイミングをｔ_ｒとする。まず、同期部９は、現在動作映像の画像特徴と参照動作映像の画像特徴とを比較して、類似度をｓ_ｔを求める（ステップＳ１）。そして、同期部９は、類似度ｓ_ｔがしきい値ｔｈ_{ｄｅｔｅｃ}より大きいか否かを判定する（ステップＳ２）。この判定の結果、類似度ｓ_ｔがしきい値ｔｈ_{ｄｅｔｅｃ}より大きければ、同期部９は、前時刻（ｔ−１）の類似度ｓ_ｔ−１が現在の類似度ｓ_ｔより大きいか否かを判定する（ステップＳ３）。この判定の結果、類似度ｓ_ｔ−１が類似度ｓ_ｔより大きければ、（ｔ−１，ｔ_ｒ）を同期タイミングとして設定する（ステップＳ４）。この２つの判定処理によって、現在動作の類似度のピークを見つけることができる。ステップＳ２、Ｓ３の判定の結果、条件を満たさなければ何もせずに処理を終了する。図４に示す処理動作によって、参照動作同期タイミングをｔ_ｒに最も類似している現在動作を見つけ出すことができる。ここで設定した同期タイミングにおいて、参照動作と現在動作とが同期して、映像表示部４に表示されることになる。

【0030】

このように、手本となる参照動作の映像を読み込むとともに、参照動作中同期指定情報を読み込み、遅延再生中の現在動作の映像と、参照動作の映像とが、指定した同期ポイントにおいて、同期するように再生することが可能になる。

【0031】

＜第３実施形態＞
次に、本発明の第３実施形態による映像再生装置を説明する。第３実施形態による映像再生装置は、図３に示す参照動作映像特徴取得部７と現在動作映像特徴取得部８における画像特徴としてＭＨＩ（Motion History Image）を用いる。ＭＨＩは、動作の方向と履歴を表すものであり、文献「A. Bobick and J. Davis, The Representation and Recognition of Action Using Temporal Templates, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 3, 2001, pp.257-267.」等に記載されている公知の技術であるため、ここでは詳細な説明を省略する。

【0032】

ＭＨＩは次の処理により求める。まず、現在時刻ｔの画像Ｉ（ｔ）と１時刻前の画像Ｉ（ｔ−１）との差分２値化画像Ｄ（ｔ）を求める。差分がしきい値以上の場合には２５５、それ以外の場合には０の２値をとる。１時刻前のＭＨＩ Ｍ（ｔ−１）の各ピクセルから画素値をａだけ減算し、Ｍ’（ｔ−１）とする。そして、Ｍ（ｔ）←Ｍ’（ｔ−１）＋Ｄ（ｔ）により現在時刻のＭＨＩを求める。

【0033】

＜第４実施形態＞
次に、本発明の第４実施形態による映像再生装置を説明する。第４実施形態による映像再生装置は、類似度があらかじめ定められた閾値以下であった場合に、一定フレームの間類似度を求める処理を行わないことで計算負荷を低減させることで高速化するものである。

【0034】

本実施形態の映像再生装置では、間引き幅を調整する変数としてｆｌａｇを導入する。なお、ｆｌａｇの初期値は０である。そして、類似度の高い画像検出のしきい値ｔｈ_{ｄｅｔｅｃ}に加えて、処理を間引くか否かを判定するためのしきい値ｔｈ_ｓｋｉｐを新たに導入する。これによりｔｈ_ｓｋｉｐよりも類似度が小さい場合には、しばらく類似度の高い検出対象の画像が出現することはないと見なして、一定時間処理をスキップさせる。そして、しきい値ｔｈ_ｓｋｉｐよりも類似度が大きい場合には、近い将来に検出対象の画像がある可能性が高いのでスキップせずに次のフレームでも類似度計算を行う。

【0035】

図５は、図３に示す同期部９の処理動作を示すフローチャートである。まず、同期部９は、ｆｌａｇが０であるか否かを判定し（ステップＳ１１）、ｆｌａｇが０の場合、次へ進み。そうでない場合、ｆｌａｇを１減らし（ステップＳ１８）、同期の処理を終了する。

【0036】

次に、同期部９は、現在時刻の現在動作映像特徴と参照動作映像特徴とを比較し、類似度ｓ_ｔを求める（ステップＳ１２）。そして、同期部９は、類似度ｓ_ｔがあらかじめ定めたしきい値ｔｈ_ｓｋｉｐより小さいか否かを判定する（ステップＳ１３）。この判定の結果、類似度ｓ_ｔがしきい値ｔｈ_ｓｋｉｐより小さい場合、ｆｌａｇにＮをセットし、同期処理を終了する（ステップＳ１７）。Ｎは、実験等によって予め決めておく値であり、Ｎを大きくすれば、処理の間隔は広くなり、Ｎを小さくすれば処理の間隔が狭くなる。

【0037】

一方、類似度ｓ_ｔがしきい値ｔｈ_ｓｋｉｐより小さくない場合、同期部９は、類似度ｓ_ｔがしきい値ｔｈ_{ｄｅｔｅｃ}より大きいか否かを判定する（ステップＳ１４）。この判定の結果、類似度ｓ_ｔがしきい値ｔｈ_{ｄｅｔｅｃ}より大きければ、同期部９は、前時刻（ｔ−１）の類似度ｓ_ｔ−１が現在の類似度ｓ_ｔより大きいか否かを判定する（ステップＳ１５）。この判定の結果、類似度ｓ_ｔ−１が類似度ｓ_ｔより大きければ、（ｔ−１，ｔ_ｒ）を同期タイミングとして更新する（ステップＳ１６）。ステップＳ１４、Ｓ１５の判定の結果、条件を満たさなければ何もせずに処理を終了する。

【0038】

このように、同期のための動作が類似している画像検出にあたり、適切な時間幅の処理を間引くことで高速化することができる。

【0039】

＜第５実施形態＞
次に、本発明の第５実施形態による映像再生装置を説明する。第５実施形態による映像再生装置は、同期タイミングに先行するイベント（特徴的な状態）を利用し、処理の間引き効率を向上させることで高速化する。図６は、図５に示す処理動作によって処理の間引きを行った際の類似度と類似度計算タイミングの関係を示す図である。図６において、横軸は時間、縦軸は類似度を表す。また、横軸上の縦のラインは、類似度計算を行った時刻を表す。図６に示すように、類似度がｔｈ_ｓｋｉｐ以下の場合、処理が間引かれ、類似度がｔｈ_ｓｋｉｐ以上の場合は、フレーム毎に類似度計算が行われる。

【0040】

図７は、第５実施形態による映像再生装置の処理動作を示す説明図である。まず、同期タイミングに先行して起きる状態（先行状態）の検索を行う。そして、先行状態検索の類似度が一定以上になった場合、次の時刻でも先行状態の類似度を調べる（図７に示す符号Ａの丸で囲った部分）。先行状態の連続する２時刻での変化に基づいて、処理をスキップする。なお、先行状態の連続する２時刻での変化現在時刻から何時刻先に、同期タイミングのピークが現れるかをあらかじめ指定しておく。

【0041】

図８は、第５実施形態による映像再生装置における同期部９の動作を示すフローチャートである。まず、同期部９は、ＦｌａｇＢの値を判定する（ステップＳ２１）。この判定の結果、値が０であった場合、同期部９は、現在動作映像の画像特徴と参照動作映像の画像特徴とを比較して、類似度Ｓ_ｔを求める（ステップＳ２２）。

【0042】

次に、同期部９は、類似度ｓ_ｔがしきい値ｔｈ_{ｄｅｔｅｃ}より大きいか否かを判定する（ステップＳ２３）。この判定の結果、類似度ｓ_ｔがしきい値ｔｈ_{ｄｅｔｅｃ}より大きくなければ、ＦｌａｇＡに０をセットし、ＦｌａｇＢに−１をセットして処理を終了する（ステップＳ２４）。一方、類似度ｓ_ｔがしきい値ｔｈ_{ｄｅｔｅｃ}より大きければ、同期部９は、前時刻（ｔ−１）の類似度ｓ_ｔ−１が現在の類似度ｓ_ｔより大きいか否かを判定する（ステップＳ２５）。この判定の結果、類似度ｓ_ｔ−１が類似度ｓ_ｔより大きくなければ、ＦｌａｇＡに０をセットし、ＦｌａｇＢに−１をセットして処理を終了する（ステップＳ２７）。一方、類似度ｓ_ｔ−１が類似度ｓ_ｔより大きければ、（ｔ−１，ｔ_ｒ）を同期タイミングとして更新する（ステップＳ２６）。そして、ＦｌａｇＡとＦｌａｇＢに０をセットして処理を終了する（ステップＳ２８）。

【0043】

次に、ステップＳ２１において、ＦｌａｇＢの値が０より小さい場合、同期部９は、ＦｌａｇＡが０であるか否かを判定する（ステップＳ２９）。この判定の結果、ＦｌａｇＡが０でなければ、ＦｌａｇＡから１減算して処理を終了する（ステップＳ３０）。一方、ＦｌａｇＡが０であれば、同期部９は、現在動作映像の画像特徴と先行動作映像の画像特徴とを比較して、類似度ｐ_ｔを求める（ステップＳ３１）。そして、同期部９は、類似度ｐ_ｔ−１がしきい値ｔｈ_ｓｋｉｐより小さいか否かを判定する（ステップＳ３２）。この判定の結果、類似度ｐ_ｔ−１がしきい値ｔｈ_ｓｋｉｐより小さくなければ、ＦｌａｇＡにＮをセットし処理を終了する（ステップＳ３３）。このＮは、実験等によって決められた所定の値である。一方、類似度ｐ_ｔ−１がしきい値ｔｈ_ｓｋｉｐより小さければ、同期部９は、ｐ_ｔ−１−ｐ_ｔがしきい値ｔｈより大きいか否かを判定する（ステップＳ３４）。この判定の結果、ｐ_ｔ−１−ｐ_ｔがしきい値ｔｈより大きくなければ、ＦｌａｇＢにＮ_１をセットして処理を終了する（ステップＳ３５）。

【0044】

次に、ｐ_ｔ−１−ｐ_ｔがしきい値ｔｈより大きければ、同期部９は、ｐ_ｔ−１−ｐ_ｔがしきい値−ｔｈより小さいか否かを判定する（ステップＳ３６）。この判定の結果、ｐ_ｔ−１−ｐ_ｔがしきい値−ｔｈより小さくなければ、ＦｌａｇＢにＮ_２をセットして処理を終了する（ステップＳ３７）。一方、ｐ_ｔ−１−ｐ_ｔがしきい値−ｔｈより小さければ、ＦｌａｇＢにＮ_３をセットして処理を終了する（ステップＳ３８）。Ｎ_１、Ｎ_２、Ｎ_３は、いずれも実験等によって予め決められた値である。

【0045】

次に、ステップＳ２１において、ＦｌａｇＢの値が０より大きい場合、同期部９は、ＦｌａｇＢから１減算して処理を終了する（ステップＳ３９）。

【0046】

図８において、ＦｌａｇＡは、先行状態により規定される間引き幅を制御するためのフラグである。図７に示すように、第５実施形態では、先行するイベントの検出の類似度の変化（符号Ｂ、Ｃ、Ｄで示す矢印）により、間引き幅（符号Ｅ、Ｆ、Ｇで示す矢印）が変化する。これを実現するためフラグがＦｌａｇＡである。また、ＦｌａｇＢは、先行状態の検出を間引くためのフラグであり、第２実施形態におけるＦｌａｇと同様の役割を果たす。

【0047】

このように、同期のための動作検出にあたり、同期時刻に先行して起こる状態を検出することで、処理を高速化することができる。

【0048】

＜第６実施形態＞
次に、本発明の第６実施形態による映像再生装置を説明する。動作の速度が異なる場合、参照動作と現在の動作を比較することは困難となる。第６実施形態による映像再生装置は、これを解決するため、２つの同期タイミングを指定し、同期タイミング間を時間伸縮させることで、速度の異なる動作であっても比較しやすくするものである。

【0049】

図３に示す同期タイミング情報取得部６において２つの時刻の同期タイミング（ｔ_ｒｓ，ｔ_ｒｅ）を取得し、それぞれについて、参照動作映像特徴取得部７において参照動作映像の画像特徴を取得する。同期部９は、各々の参照動作映像の画像特徴について同期を行う。これは、第２〜第４実施形態の同期部９の処理を各同期タイミングについて行うことで実現することができる。この結果、第６実施形態の同期部９は、２組の同期タイミング｛（ｔ_１，ｔ_ｒｓ），（ｔ_２，ｔ_ｒｅ）｝を取得する。映像表示部４は、同期タイミングで同じ映像が再生されるよう、参照動作に時間伸縮を加えて表示する。

【0050】

この動作を、図９、１０を用いて説明する。図９は、第２実施形態における動作を示す説明図である。図１０は、第６実施形態における動作を示す説明図である。第２実施形態では、単一の同期タイミングを用いたため、図９に示すように、現在の動作が参照動作よりもゆっくりとした動きであった場合でも、同期タイミングでのみ同期する。そのため、現在の動作の開始後に、参照動作が開始されることとなり、動作の確認が困難となる。

【0051】

一方、第６実施形態によれば、図１０に示すように、動作開始時点および動作終了時点の２点で同期することが可能となるため、動作の速度が異なる場合であっても、動作を同期して確認することが可能となる。

【0052】

このように、手本となる参照動作の映像を読み込むとともに、参照動作中から２時刻の同期指定情報を読み込み、遅延再生中の現在動作と、手本動作とを、時間伸縮を伴って、同期するように再生することが可能になる。

【0053】

以上説明したように、容易に参照動作と現在動作を比較することが可能になるため、ビデオフィードバックの効果を最大限に発揮することができる。

【0054】

前述した実施形態における映像再生装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

【0055】

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

【産業上の利用可能性】

【0056】

２系統の映像を同期させて再生する際に、容易に参照動作と現在動作とを比較することが不可欠な用途にも適用できる。

【符号の説明】

【0057】

１・・・映像取得部、２・・・遅延幅取得部、３・・・映像遅延部、４・・・映像表示部、５・・・参照動作読み込み部、６・・・同期タイミング情報取得部、７・・・参照動作映像特徴取得部、８・・・現在動作映像特徴取得部、９・・・同期部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】