特許 6218296 動画再生装置、動画再生方法、そのプログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6218296

(24)【登録日】2017年10月6日

(45)【発行日】2017年10月25日

(54)【発明の名称】動画再生装置、動画再生方法、そのプログラム及び記録媒体

(51)【国際特許分類】

   H04N 5/93 20060101AFI20171016BHJP

   H04N 5/91 20060101ALI20171016BHJP

   H04N 5/225 20060101ALI20171016BHJP

   G11B 27/031 20060101ALI20171016BHJP

   G11B 27/10 20060101ALI20171016BHJP

【ＦＩ】

   H04N5/93

   H04N5/91

   H04N5/225

   G11B27/031

   G11B27/10 C

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2016-251384(P2016-251384)

(22)【出願日】2016年12月26日

【審査請求日】2016年12月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516388425

【氏名又は名称】株式会社ユニコーン

(74)【代理人】

【識別番号】100146020

【弁理士】

【氏名又は名称】田村 善光

(74)【代理人】

【識別番号】100062328

【弁理士】

【氏名又は名称】古田 剛啓

(72)【発明者】

【氏名】中島 勝幸

(72)【発明者】

【氏名】小川 忍

【審査官】 堀 洋介

(56)【参考文献】

【文献】 特開２００２−２８１４３３（ＪＰ，Ａ）

【文献】 特開２００７−１８４７４３（ＪＰ，Ａ）

【文献】 特開２００５−２７７７３３（ＪＰ，Ａ）

【文献】 特開２０１４−１７９８７０（ＪＰ，Ａ）

【文献】 特開２００６−１０１２７０（ＪＰ，Ａ）

【文献】 特開２００５−０８００２７（ＪＰ，Ａ）

【文献】 特開２００７−２８８６３７（ＪＰ，Ａ）

【文献】 特開２０１４−０９６７８６（ＪＰ，Ａ）

【文献】 特開２０１５−０８０１６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／９３

Ｇ１１Ｂ ２７／０３１

Ｇ１１Ｂ ２７／１０

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／９１

(57)【特許請求の範囲】

【請求項1】

取得した画像データを用いて動画を再生する動画再生装置であって、
表示画面に表示されている画像データを取得する画像データ取得・記憶手段と、
前記画像データによる動画を画面上に再生する動画再生手段と、
前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段と、
前記複数のコマ画像データにより表される複数のコマ画像群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段と、
動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段と、を備え、
前記動画再生範囲指定手段が、前記動画と前記複数のコマ画像を同一画面に表示し、前記画面内で、前記動画の開始時間を示す開始マーク、動画の終了時間を示す終了マーク、及び、再生中の動画の時間を示す再生時間マークを同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段とを備え、
前記画面上に前記動画の表示領域と前記コマ画像群の表示領域を分離状態で同時に表示させ、前記再生中の動画に対応するコマ画像を含んだ、時系列に並んだ前記コマ画像群を、再生時間マークを右端にドラッグすることにより自動的にスクロールさせ、
前記開始マーク及び前記終了マークを所望の時間に移動操作させることにより動画再生範囲が指定され、前記指定された範囲の動画を画面上に再生することを特徴とする動画再生装置。

【請求項2】

被視線検出者の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段と、
前記視線座標データを、前記画像データによる動画を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段と、を備え、
前記視線座標データ再生手段が、表示再生モードとして、動画の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする請求項１に記載の動画再生装置。

【請求項3】

前記第二の再生モード又は第三の再生モードの表示を前記動画の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマークを設定し表示させるマーク設定表示手段を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする請求項２に記載の動画再生装置。

【請求項4】

取得した画像データを用いて動画を再生する動画再生方法であって、
表示画面に表示されている画像データを取得する画像データ取得・記憶工程と、前記画像データ取得・記憶工程で取得し記憶した前記画像データによる動画を、前記動画を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程と、
前記画像データ取得・記憶工程で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程と、を備え、
前記動画再生工程が、前記画面上に前記動画の表示領域と前記コマ画像群の表示領域を分離状態で同時に表示させ、前記再生中の動画に対応するコマ画像を含んだ、時系列に並んだ前記コマ画像群を、再生時間マークを右端にドラッグすることにより自動的にスクロールさせる画面上で、動画の開始時間を示す開始マーク、動画の終了時間を示す終了マーク、及び、再生中の動画の時間を示す再生時間マークを同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を指定することを特徴とする動画再生方法。

【請求項5】

被視線検出者の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程と、
前記視線座標データを、前記画像データによる動画を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程と、を備え、
前記視線座標データ再生工程が、表示再生モードとして、動画の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする請求項４に記載の動画再生方法。

【請求項6】

前記第二の再生モード又は第三の再生モードの表示を前記動画の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマークを所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする請求項５に記載の動画再生方法。

【請求項7】

請求項４〜６のいずれかに記載の動画再生方法をコンピュータに実行させるためのプログラム。

【請求項8】

請求項７に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像した画像の再生を実施する動画再生装置、動画再生方法、そのプログラム及び記録媒体に関する。

【背景技術】

【0002】

撮像した画像の再生を実施する動画再生装置や方法については、例えば特許文献１に、再構成画像の生成が可能な画像データを取得する画像データ取得手段と、前記画像データに付与された視線検出情報を取得する視線検出情報取得手段と、前記視線検出情報に基づいて、前記画像データから再構成画像を生成して動画を生成する画像処理手段と、を備えた動画再生装置であって、前記視線検出情報は、視線位置と前記視線位置での注視時間を含み、前記画像処理手段は、前記視線位置の被写体にピントが合った再構成画像を生成し、前記視線位置での前記注視時間に基づいて前記生成された再構成画像の表示時間を設定して前記動画を生成し、前記画像処理手段は、前記注視時間が所定時間より長い前記視線位置についてのみ、前記再構成画像を生成し、前記動画再生装置は、前記所定時間を設定する注視時間閾値設定手段を備える動画再生装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−１７９８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の発明は、画像処理が注視時間の閾値を設定して閾値の注視時間より長い画像の再生をすることができるが、撮像したすべての動画の中から所望する限られた範囲の画像を閲覧したいという要望には応えられないという問題があった。

【0005】

本発明はこうした問題に鑑み創案されたもので、撮像した動画の中から再生したい範囲に限定した動画を再生できる画像処理ができ、さらに視線検出情報を含む再生画像の画像処理ができる動画再生装置、動画再生方法、プログラム及び記録媒体を提供することを課題とする。

【課題を解決するための手段】

【0006】

請求項１に記載の動画再生装置１は、取得した画像データを用いて動画１０を再生する動画再生装置１であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段３と、前記画像データによる動画１０を画面上に再生する動画再生手段４と、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段５と、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段６と、動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段７と、を備え、前記動画再生範囲指定手段７が、前記動画１０と前記複数のコマ画像１１を同一画面に表示し、前記画面内で、前記動画１０の開始時間を示す開始マーク２２、動画１０の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段２０と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段２１とを備え、前記画面上に前記動画１０の表示領域と前記コマ画像１１群の表示領域を分離状態で同時に表示させ、前記再生中の動画１０に対応するコマ画像１１を含んだ、時系列に並んだ前記コマ画像１１群を、再生時間マーク２４を右端にドラッグすることにより自動的にスクロールさせ、前記開始マーク２２及び前記終了マーク２３を所望の時間に移動操作させることにより動画再生範囲が指定され、前記指定された範囲の動画を画面上に再生することを特徴とする。

【0007】

請求項２に記載の動画再生装置１は、請求項１において、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段９と、を備え、前記視線座標データ再生手段９が、表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする。

【0008】

請求項３に記載の動画再生装置１は、請求項２において、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設定し表示させるマーク設定表示手段３０を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする。

【0009】

請求項４に記載の動画再生方法２は、取得した画像データを用いて動画１０を再生する動画再生方法２であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程１３と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データによる動画１０を、前記動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程１４と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程１５と、を備え、前記動画再生工程１４が、前記画面上に前記動画１０の表示領域と前記コマ画像１１群の表示領域を分離状態で同時に表示させ、前記再生中の動画１０に対応するコマ画像１１を含んだ、時系列に並んだ前記コマ画像１１群を、再生時間マーク２４を右端にドラッグすることにより自動的にスクロールさせる画面上で、動画１０の開始時間を示す開始マーク２２、動画の終了時間を示す終了マーク２３、及び、再生中の動画の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を指定することを特徴とする。

【0010】

請求項５に記載の動画再生方法２は、請求項４において、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程１９と、を備え、前記視線座標データ再生工程１９が、表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする。

【0011】

請求項６に記載の動画再生方法２は、請求項５において、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させることを特徴とする請求項９に記載の動画再生方法。

【0012】

請求項７に記載のプログラムは、請求項４〜６のいずれかに記載の動画再生方法２をコンピュータに実行させるためのプログラムである。

【0013】

請求項８に記載の記憶媒体は、請求項７に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体である。

【発明の効果】

【0014】

請求項１、４、７又は８に記載の発明は、動画１０の中から再生したい範囲を動画１０の時間帯を指定することで所望通りに再生させることが容易にできるという効果を奏する。

【0015】

請求項１、４、７又は８に記載の発明は、動画１０の中から再生したい動画１０の時間帯をコマ画像１１の表示を確認することにより所望通りに指定できるので、動画１０の画像の時間を把握していなくてもコマ画像１１のシーンを見て再生したい範囲を指定できるという効果を奏する。

【0016】

請求項１、４、７又は８に記載の発明は、動画１０の範囲を所望通りに指定する手段を画面上に表示でき、その表示されたマークを、マウスを使ってドラッグすれば開始マーク２２及び終了マーク２３を所望の時間に簡単に移動させることができ動画再生範囲が設定されるという効果を奏する。

【0017】

請求項２、５、７又は８に記載の発明は、画面に表示されている動画１０に対する被視線検出者６０の視線を経過時間とともに記録でき、様々な表示モードで再生できるという効果を奏する。

【0018】

請求項２、５、７又は８に記載の発明は、画面に表示されている動画１０に対する被視線検出者６０の視線を再生するときに、第一の再生モードとして、例えば被視線検出者６０の視線の先を示す視線座標データに基づく視線検出位置３２の一つ一つを円形の図形で表してその円形の図形の数を１０個となるように表示する時間帯を設定すると、被視線検出者６０が目をつぶっていない限り、現在表示されている時間に該当する視線座標データの円形の図形を含めて過去に遡った常時１０個の円形図形が順次表示される。これにより、画面上に現在表示されている時間に該当する視線座標データに基づく視線検出位置３２のみであると円形の図形が急にあちこち移動したときに円形の図形を見失うことが生じやすいが、過去の時間に該当する円形の図形を表示させることによって円形の図形を被視線検出者６０の視線が画面上であちこち移動しても見失うことがないという効果を奏する。

【0019】

第二のモードとして、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線を再生中の動画に経過時間順に開始時間のときを例えば「１」にして順に番号を付与して表示することができる。これにより、被視線検出者６０の関心先がどのように変わっていったかを容易に知ることができる。

【0020】

第三のモードとして、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２の数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた色や模様による識別表示をする。これにより、被視線検出者６０の関心の高さの分布を容易に知ることができる。

【0021】

請求項３、６、７又は８に記載の発明は、第二の再生モード又は第三の再生モードの表示を動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設けたことにより、動画１０は開始マーク２２で設定された時間から再生中であるが、途中に区切りマーク３１を追加して設定することにより、動画１０のシーンが変わったときに最初からの累計を表示していた第二の再生モード又は第三の再生モードの表示が途切れ、区切りマーク３１で設定された時間から、新たに表示される。例えば、第二の再生モードであれば区切りした時間から「１」からの番号が表示され、第三の再生モードであれば区切りした時間からの密度３４が識別表示される。これにより、変わる動画１０のシーンに合わせて第二の再生モード又は第三の再生モードの表示をすることができる。

【図面の簡単な説明】

【0022】

【図1】本願発明の動画再生装置の機能構成図である。

【図2】本願発明の動画再生装置のハードウエア構成図である。

【図3】本願発明の動画再生方法のフロー図である。

【図4】画面の表示装置の概要図である。

【図5】図４のＸ部の拡大図で、コマ画像や時間や各種マークの配置状況の概要説明図である。

【図6】スクロールの説明図で、スクロール前を示す図である。

【図7】スクロールの説明図で、スクロール後を示す図である。

【図8】第一の再生モードの説明図である。

【図9】第二の再生モードの説明図である。

【図10】第三の再生モードの説明図である。

【図11】視線検出位置を中心とした範囲を基に密度の高低の説明をする説明図である。

【図12】視線検出位置を中心とした範囲に重みづけをして密度の高低の説明をする説明図で、（ａ）が重みづけのやり方の説明図で、（ｂ）が重みづけの実施例である。

【図13】区切りマークによる区切りの説明図で、（ａ）及び（ｂ）が区切りマークを使用しない場合の説明図で、（ｃ）が区切りマークを使用した場合の説明図である。

【発明を実施するための形態】

【0023】

本発明の動画再生装置１は、図１に示すように、取得した画像データを用いて動画１０を再生する動画再生装置１であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段３と、前記画像データによる動画１０を画面上に再生する動画再生手段４と、動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段７と、を備え、前記動画再生範囲指定手段７により指定された範囲の動画を画面上に再生する。

【0024】

そして、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段５と、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段６と、を備えている。また、前記動画再生範囲指定手段７には動画１０を区切ることができる区切りマーク３１を設定し表示するマーク設定・表示手段３０を備えている。

【0025】

そして、動画再生装置１は、図２に示すように、前記種々の手段の制御を含む動画再生装置１の制御する制御部４０、マウスやキーボード等の操作部４１、外部から画像等を取得する取得部４２、画像データ等を記憶する記憶部４３、デスクトップ等の表示装置４４に動画１０などを表示する表示部４５、電源部４６等が備えられている。

【0026】

そして、動画再生装置１の表示装置４４の形態としては、例えば図４や図５に示すように、表示画面、表示画面の下方に帯状のコマ画像１１群、そのコマ画像１１群の下方に時間表示部２５がそれぞれ配設され表示されており、前記コマ画像１１及び時間表示部２５は同期させた状態でスクロールする。前記時間表示部２５の下方に、開始マーク２２、終了マーク２３及び再生時間マーク２４が表示され、区切りマーク３１が設定・表示される。開始マーク２２、終了マーク２３及び再生時間マーク２４はマウスでドラッグして移動操作することができ、区切りマーク３１はマウスで設定したり解除することができる。

【0027】

画像データ取得・記憶手段３は、被視線検出者６０に見させている被視線検出対象画像５０の画像データを取得して記憶部４３に記憶する。図２に示すように、被視線検出者６０が見ている被視線検出対象画像５０を制御部４０の画像データ取得・記憶手段３で取得部４２に取得させて記憶部４３に記憶させる。

【0028】

動画再生手段４は、前記記録部４３に記録された画像データに基づく動画１０を画面上に再生する。

【0029】

動画再生範囲指定手段７は、動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定する。前記動画再生範囲指定手段７は、動画１０と同一画面内で、前記動画１０の開始時間を示す開始マーク２２、動画１０の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段２０と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段２１とを備えている。そして、前記移動操作手段２１はマウスであり、前記開始マーク２２及び前記終了マーク２３をマウスでドラッグして所望の時間に移動操作させることにより動画再生範囲を設定する。

【0030】

前記記録部４３に記録された画像データに基づく動画１０を画面上に再生するときは、一般的に連続的に撮影され記録された画像データの記録開始時から記録終了時までが再生されるように、開始指示や終了指示が出される。この開始指示又は終了指示を変更できるようにすることにより、動画１０の再生範囲を一般的な記録開始時から記録終了時のみではなく、所望の開始時から終了時の範囲に変更することができた。この開始指示の変更は開始マーク２２を移動させてできるように、終了指示の変更は終了マーク２３を移動させてできるようにした。

【0031】

動画再生手段４は、前記記録部４３に記録された画像データの中から動画再生範囲指定手段７により定められた範囲に該当する画像データに基づく動画１０を画面上に再生する。例えば、記憶部４３に記憶された動画１０の記録開始時間が０．００分から記録終了時間が５．００分の場合に、所望する再生する動画１０の開始時間を１．００分に終了時間を２．００分にしたいときに、開始マーク２２を時間表示部２５の時間１．００分に移動し終了マーク２３を時間表示部２５の時間２．００分に移動して、開始及び終了の時間を変更して設定して動画１０全体の中から部分的に１．００分〜２．００分間の動画１０を再生する。

【0032】

コマ画像データ抽出手段５は、前記記録部４３に記録された前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出する。前記あらかじめ定めた時間間隔は動画の１コマごとの時間間隔より異なる設定をすることができ、動画１０の１コマごとの時間間隔より長く設定することもできる。前記抽出されたコマ画像データによるコマ画像１１は動画１０と同一画面に表示される。例えば、図４又は図５に示すように、動画１０は時間メモリごとに０．００１秒ごとに作成され、コマ画像１１は０．０１秒ごとに作成される。

【0033】

スクロール表示手段６は、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示する。動画１０とコマ画像１１の表示される位置関係の１形態としては、図４に示すように、動画１０の下方にコマ画像１０群を横長の帯状に表示させる形態がある。

【0034】

スクロールは、再生時間マーク２４を右端にドラッグさせると、コマ画像１１や時間表示部２５が自動的にスクロールされ、動画１０が進む。例えば、図６に示すように、再生時間マーク２４を右端の０．１１秒付近にドラッグすると、図７に示すように、コマ画像１１が図６に示すＡ〜ＫがスクロールされてＦ〜Ｐに順に自動的にスクロールされる。

【0035】

次に、本発明の動画再生装置１は、被視線検出者６０の前記表示画面に表示されている画像データである被視線検出対象画像５０に対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段１９と、を備える。

【0036】

市販されている視線検出装置５１が視線検出対象画像５０の画面の近傍に取り付けられており、前記視線座標データ記録手段１８は、前記視線検出装置５１からの視線検出情報をあらかじめ定めた時間間隔で、取得部４２で取得し、経過時間データを付与させて前記記憶部４３に記憶する。視線検出装置５１は視線を検出し視線検出情報を出力できるものであればよい。

【0037】

視線座標データ再生手段１９は、前記視線座標データ記録手段１８により記憶した視線座標データを、図８〜図１０に示すように、表示装置４４の表示画面に表示している動画１０の画像の経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生するとともに、動画１０の画像上の座標と視線の座標データの座標とを一致させて重ねて再生する。

【0038】

次に、前記視線座標データ再生手段１９による表示再生モードとして、第一の再生モードは、図８に示すように、動画１０の再生中の時間に該当する視線座標データによる表示画面上の視線検出位置３２と前記時間より前の予め定めた時間内の視線座標データの表示画面上の視線検出位置３２とを予め定めた図形でそれぞれ再生動画１０上に表示する再生モードである。

【0039】

例えば、視線座標データの記録された時間間隔が０．０１秒とし、予め定めた図形を円状の図形とし、視線座標データに基づく視線検出位置３２を示す円状の図形を表示する時間帯として予め定めた時間の長さを０．０９秒と設定すると、表示されている画面の時間が２．００分の場合には、図８に示すように、動画１０の画面上には視線検出位置３２を示す円状の図形が、時間２．０分から０．０９秒前の間の０．０９秒の時間帯に相当する１０個が表示される。視線検出位置３２を示す円状の図形は複数表示されているので前記円状の図形があちこちに移動しても動画１０の画面上で追跡確認がしやすい。円状等の図形は赤色等の色を付けて表示することもできる。

【0040】

ここで、表示された視線検出位置３２を示す円状の図形の数が設定した０．０９秒に相当する１０個の場合、表示されている動画１０が時間経過で移り変わっても目を開け続けて視線を検出し続けたときの視線検出位置３２を示す円状の図形の数は常時１０個であるが、もし被視線検出者が目を閉じた場合等の視線を検出できないときにはその閉じた時間に相当する円状の図形の数は減じられて表示される。例えば、目を閉じた時間が０．０２秒の場合には表示される円形の図形の数は８個となる。

【0041】

次に、第二の再生モードは、図９に示すように、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２に経過時間順に番号３３を付与して動画１０上に表示する再生モードであります。これは経過時間順に付けた番号３３を図９に示すように線で繋げて表示する。番号３３のみの表示であれば目で順番を負うのが難しくなるが線で結ぶことにより目で順番を容易に知ることができる。

【0042】

次に、第三の再生モードは、図１０に示すように、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２の数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた色や模様による識別表示をする再生モードであります。

【0043】

視線座標データに基づく動画１０上の視線検出位置３２を中心として予め定めた大きさの円状の範囲を、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までを累積させていき、前記円状の範囲の重なり数の最大と最小との差から密度を識別する区分を、又は、視線座標データに基づく動画１０上の視線検出位置３２を中心として予め定めた大きさの円状の範囲であって視線検出位置３２からの距離に応じた重みづけをした円状の範囲を、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までを累積させていき、前記重みづけを加算した数の最大と最小との差から密度を識別する区分を、決定する。そして、区分別に予め定めた色や模様等による識別表示をする。

【0044】

例えば、図１１に示すように、３つの視線座標データに基づく動画１０上の視線検出位置３２を中心とした円状の範囲が重なった場合には、３枚が重なった範囲を密度高ａとして黒色表示に、２枚が重なった範囲を密度中ｂとして斜線表示に、１枚のみの範囲を密度低ｃとして白色表示にして、密度３４の高低を視覚的にわかりやすくする。また、識別表示の他の例として、例えば最も密度が高い区域を赤色、密度が徐々に低くなるにつれて、橙色黄色、緑色、青色のように密度別に色を変えて表示することもでき、目で瞬時にどこを頻繁に見たかを知ることができる。

【0045】

図１１に示した密度３４表示の方法によって、図１０に示すように、表示装置４４の画面の動画１０に重ねて、密度３４の区分を決め、密度高ａの区域を黒色に、密度中ｂの区域を斜線表示に、密度低ｃの区域を白色表示にして、密度３４の高低を視覚的にわかりやすくする。

【0046】

また、図１２（ａ）に示すように、視線検出位置３２を中心とした円状の範囲を、視線検出位置３２からの距離に応じて重みづけをする。そして、図１２（ｂ）に示すように、各視線検出位置３２を中心とした範囲を積み重ねて、重みづけの数を加算した数の最大と最小との差から密度を識別する区分をする。加算された重みづけの数によって色を変えて識別表示する。密度３４の高低を視覚的にわかりやすくする。

【0047】

次に、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設定し表示させるマーク設定・表示手段３０を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させることができる。

【0048】

動画１０の再生開始時間〜再生終了時間までの間で、前記第二の再生モード又は第三の再生モードの再生を区切るために、時間表示部２５の区切りマーク３１を設定した時間で第二の再生モード又は第三の再生モードの再生を初期化しクリアするようにしている。そして初期化しクリアした後は、第二の再生モード又は第三の再生モードの再生が区切りマーク３１の時間から再開されるようにしている。また、前記区切りマーク３１の設定を解除すれば区切りが実行されないようにしている。

【0049】

被視線検出者６０の視線の動きを再生により調査するときに、動画１０の中で画像シーンが変わることがある。このときに第二の再生モード又は第三の再生モードの表示については動画１０のシーンごとに分離されて表示されることが視線の動きの分析に適している場合に視線の分析を効果的に行うことができる。

【0050】

例えば、図１３（ａ）に示すように、再生時間マーク２４がコマ画像１１の「Ａ」の時間を示している場合には、動画１０には被視線検出者６０の視線の順に視線検出位置３２を示す箇所に「１〜３」の番号が表示されている。このまま動画１０を進めていき図１３（ｂ）に示すように、再生時間マーク２４がコマ画像１１の「Ｂ」の時間を示した場合には、動画１０には「Ｂ」の文字周囲に被視線検出者６０の視線の順に「４〜５」の番号が表示される。ここで、図１３（ｃ）に示すように、区切りマーク３１をコマ画像１１の「Ａ」から「Ｂ」に動画１０のシーンが変わる時間に設定すると、再生時間マーク２４がコマ画像１１の「Ｂ」の時間を示した場合には、動画１０には「Ｂ」の文字周囲に被視線検出者６０の視線の順に「１〜２」の番号が表示される。このように、動画１０のシーンによって第二の再生モード又は第三の再生モードの表示を変えることができるので、所望するデータによって再生モードを使い分けることができる。

【0051】

次に、動画再生方法２について説明する。本願発明の動画再生方法２は、図３に示すように、取得した画像データを用いて動画１０を再生する動画再生方法２であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程１３と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データによる動画１０を、前記動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程１４と、を備える。

【0052】

そして、前記画像データ取得工程１３で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程１５を備える。

【0053】

そして、前記動画再生工程１４が、動画１０の開始時間を示す開始マーク２２、動画の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を設定する。

【0054】

また、動画再生方法２は、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程１９と、を備える。

【0055】

そして、前記視線座標データ再生工程１９における表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画１０上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画１０に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた識別表示をする第三の再生モードを選択する。

【0056】

前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を、マウスでドラッグして所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させる。

【0057】

また、本発明は以下の処理を実行することによっても実現される。前記動画再生方法をコンピュータで実行可能なプログラムであって、前記プログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータが前記プログラムを呼び出して実行する処置である。

【0058】

また、前記動画再生方法をコンピュータに実行させるプログラムを記憶した記憶媒体であって、コンピュータ読み取り可能な前記粒子数計測方法を実現するプログラムを記憶した記憶媒体に記憶した前記プログラムを呼び出して実行する処置である。前記記憶媒体としては、ＣＤ−ＲＯＭ、ハードディスク、フレキシブルディスク、磁気テープ、光磁気ディスクなどがある。

【符号の説明】

【0059】

１ 動画再生装置
２ 動画再生方法
３ 画像データ取得・記憶手段
４ 動画再生手段
５ コマ画像データ抽出手段
６ スクロール表示手段
７ 動画再生範囲指定手段
８ 視線座標データ記憶手段
９ 視線座標データ再生手段
１０ 動画
１１ コマ画像
１３ 画像データ取得・記憶工程
１４ 動画再生工程
１５ コマ画像表示工程
１８ 視線座標データ記憶工程
１９ 視線座標データ再生工程
２０ マーク表示手段
２１ 移動操作手段
２２ 開始マーク
２３ 終了マーク
２４ 再生時間マーク
２５ 時間表示部
３０ マーク設定・表示手段
３１ 区切りマーク
３２ 視線検出位置
３３ 番号
３４ 密度
４０ 制御部
４１ 操作部
４２ 取得部
４３ 記憶部
４４ 表示装置
４５ 表示部
５０ 視線検出対象画像
５１ 視線検出装置
６０ 被視線検出者

【要約】

【課題】撮像した動画の中から再生したい指定の画像から指定の画像間を再生できる画像処理の実現ができ、さらに視線検出情報を含む再生画像の画像処理ができる動画再生装置、動画再生方法、プログラム及び記録媒体を提供することを課題とする。
【解決手段】取得した画像データを用いて動画を再生する動画再生装置であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段と、前記画像データによる動画を画面上に再生する動画再生手段と、動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段と、を備え、前記動画再生範囲指定手段により指定された範囲の動画を画面上に再生する動画再生装置により課題解決できた。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】