特許 7655147 動画処理システム、動画再生装置、動画再生方法、および動画再生プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-25

(45)【発行日】2025-04-02

(54)【発明の名称】動画処理システム、動画再生装置、動画再生方法、および動画再生プログラム

(51)【国際特許分類】

   H04N 5/93 20060101AFI20250326BHJP

   H04N 5/765 20060101ALI20250326BHJP

   H04N 5/783 20060101ALI20250326BHJP

   H04N 23/60 20230101ALI20250326BHJP

   H04N 23/73 20230101ALI20250326BHJP

【ＦＩ】

H04N5/93

H04N5/765

H04N5/783

H04N23/60 300

H04N23/60 500

H04N23/73

【請求項の数】 5

(21)【出願番号】P 2021135630

(22)【出願日】2021-08-23

(65)【公開番号】P2023030475

(43)【公開日】2023-03-08

【審査請求日】2024-03-29

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】吉田 健二

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０２０－１０７９９１（ＪＰ，Ａ）

【文献】国際公開第２０１７／１５０２３７（ＷＯ，Ａ１）

【文献】特開２０１５－２２６３０６（ＪＰ，Ａ）

【文献】特開２０１６－２０１６１７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２２５４０５（ＵＳ，Ａ１）

【文献】国際公開第２０２１／１９３４０３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／８０－９／９５６

Ｈ０４Ｎ ５／７６－５／７７５

Ｈ０４Ｎ ２３／４０－２３／７６

(57)【特許請求の範囲】

【請求項1】

撮像装置と、動画再生装置とを備え、
前記撮像装置は、
被写体を撮影する撮像部と、
前記撮像部による撮影の露出度合いを切り替える露出度合い切替部と、
前記露出度合い切替部で実行された露出度合いの切り替え処理に基づいて、前記撮像部で撮影された動画データ内における露出度合い切替タイミングの情報および切替タイミングごとの切替後の露出度合いの情報を含む露出度合い切替タグ情報を生成する露出度合い切替タグ生成部とを有し、
前記動画再生装置は、
前記動画データ内における再生速度の切替タイミングの情報を含む再生速度切替タグ情報を記憶する再生速度切替タグ記憶部と、
前記動画データの中から、所定以上の動きがある前記被写体の領域部分を動き領域として検出する動き領域検出部と、
前記動画データを所定の再生速度で再生させ、再生中に前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点における露出度合いの情報を前記露出度合い切替タグ情報に基づいて取得し、取得した露出度合いの情報に基づいて前記動き領域検出部で検出された動き領域の輝度を変更して、切替後の再生速度で再生させる再生制御部と
を備えることを特徴とする動画処理システム。

【請求項2】

前記動画再生装置の再生制御部は、前記動画データを撮影速度に対応した速度で再生させ、前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、前記取得した露出度合いの情報に基づいて、前記動き領域検出部で検出された動き領域の輝度を上げて、撮影速度よりも遅い速度に切り替えて再生させる
ことを特徴とする請求項１に記載の動画処理システム。

【請求項3】

撮影された動画データ内における露出度合い切替タイミングの情報および切替タイミングごとの切替後の露出度合いの情報を含む露出度合い切替タグ情報を記憶する露出度合い切替タグ記憶部と、
前記動画データ内における再生速度の切替タイミングの情報を含む再生速度切替タグ情報を記憶する再生速度切替タグ記憶部と、
前記動画データの中から、所定以上の動きがある被写体の領域部分を動き領域として検出する動き領域検出部と、
前記動画データを所定の再生速度で再生させ、再生中に前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点における露出度合いの情報を前記露出度合い切替タグ情報に基づいて取得し、取得した露出度合いの情報に基づいて前記動き領域検出部で検出された動き領域の輝度を変更して、切替後の再生速度で再生させる再生制御部と
を有することを特徴とする動画再生装置。

【請求項4】

動画再生装置が、
撮影された動画データ内における露出度合い切替タイミングの情報および切替タイミングごとの切替後の露出度合いの情報を含む露出度合い切替タグ情報と、前記動画データ内における再生速度の切替タイミングの情報を含む再生速度切替タグ情報とを前記動画再生装置の記憶部に記憶し、
前記動画データの中から、所定以上の動きがある被写体の領域部分を動き領域として検出し、
前記動画データを所定の再生速度で再生する再生中に、前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点における露出度合いの情報を前記露出度合い切替タグ情報に基づいて取得し、取得した露出度合いの情報に基づいて、検出された前記動き領域の輝度を変更して、切替後の再生速度で再生する
ことを特徴とする動画再生方法。

【請求項5】

コンピュータに、
撮影された動画データ内における露出度合い切替タイミングの情報および切替タイミングごとの切替後の露出度合いの情報を含む露出度合い切替タグ情報を記憶する露出度合い切替タグ記憶機能と、
前記動画データ内における再生速度の切替タイミングの情報を含む再生速度切替タグ情報を記憶する再生速度切替タグ記憶機能と、
前記動画データの中から、所定以上の動きがある被写体の領域部分を動き領域として検出する動き領域検出機能と、
前記動画データを所定の再生速度で再生させ、再生中に前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点における露出度合いの情報を前記露出度合い切替タグ情報に基づいて取得し、取得した露出度合いの情報に基づいて前記動き領域検出機能により検出された動き領域の輝度を変更して、切替後の再生速度で再生させる再生制御機能と
を実現させるための動画再生プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画処理システム、動画再生装置、動画再生方法、および動画再生プログラムに関する。

【背景技術】

【0002】

スポーツ選手の指導などにおいて、ハイスピードカメラ装置により高いフレームレートで撮影した動画を、動画再生装置により一般的なフレームレートでスローモーション再生させて活用する機会が増加している。スローモーション再生を行うことで、肉眼では追うことができないスポーツ選手の素早い動きを把握することができる。

【0003】

その際に、撮影した動画をすべてスローモーション再生すると長時間を要するため、当該動画の中の所望のシーンのみをスローモーション再生させたい場合がある。

【0004】

動画の中の所望のシーンのみをスローモーション再生させるために、動画データ中の該当する位置にタグ情報を付加しておく技術がある。動画データの中にタグ情報を付加しておくことで、視聴時に所望のシーンのみをスローモーション再生させ、それ以外のシーンは通常速度で再生させることができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－２０１６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したように所望のシーンのみをスローモーション再生させるようにすると、視聴している際に、所望のシーンの位置で再生速度が通常速度からスローモーション再生に切り替わる。このとき、視聴しているユーザは、再生速度が急に変わったことにより画面内で注目したい被写体を即座に認識することが困難になるという問題があった。

【0007】

また、被写体の動きが速いシーンを撮影する際には、再生時に当該被写体の動きを鮮明に視認できるようにするためにシャッタースピードを上げる場合があるが、シャッタースピードを上げると撮像情報の輝度が低くなり、所望の被写体を視認しづらくなるという問題があった。

【0008】

本発明は、撮像装置で撮影された動画を、所望のシーン部分のみ再生速度を下げて再生させる際に、ユーザが注目する被写体を認識しやすい状態で再生させることが可能な、動画処理システム、動画再生装置、動画再生方法、および動画再生プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するための本発明の動画処理システムは、撮像装置と、動画再生装置とを備え、前記撮像装置は、被写体を撮影する撮像部と、前記撮像部による撮影の露出度合いを切り替える露出度合い切替部と、前記露出度合い切替部で実行された露出度合いの切り替え処理に基づいて、前記撮像部で撮影された動画データ内における露出度合い切替タイミングの情報および切替タイミングごとの切替後の露出度合いの情報を含む露出度合い切替タグ情報を生成する露出度合い切替タグ生成部とを有し、前記動画再生装置は、前記動画データ内における再生速度の切替タイミングの情報を含む再生速度切替タグ情報を記憶する再生速度切替タグ記憶部と、前記動画データの中から、所定以上の動きがある前記被写体の領域部分を動き領域として検出する動き領域検出部と、前記動画データを所定の再生速度で再生させ、再生中に前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点における露出度合いの情報を前記露出度合い切替タグ情報に基づいて取得し、取得した露出度合いの情報に基づいて前記動き領域検出部で検出された動き領域の輝度を変更して、切替後の再生速度で再生させる再生制御部とを備えることを特徴とする。

【0010】

また、本発明の動画再生装置は、撮影された動画データ内における露出度合い切替タイミングの情報および切替タイミングごとの切替後の露出度合いの情報を含む露出度合い切替タグ情報を記憶する露出度合い切替タグ記憶部と、前記動画データ内における再生速度の切替タイミングの情報を含む再生速度切替タグ情報を記憶する再生速度切替タグ記憶部と、前記動画データの中から、所定以上の動きがある被写体の領域部分を動き領域として検出する動き領域検出部と、前記動画データを所定の再生速度で再生させ、再生中に前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点における露出度合いの情報を前記露出度合い切替タグ情報に基づいて取得し、取得した露出度合いの情報に基づいて前記動き領域検出部で検出された動き領域の輝度を変更して、切替後の再生速度で再生させる再生制御部とを有することを特徴とする。

【0011】

また、本発明の動画再生方法は、動画再生装置が、撮影された動画データ内における露出度合い切替タイミングの情報および切替タイミングごとの切替後の露出度合いの情報を含む露出度合い切替タグ情報と、前記動画データ内における再生速度の切替タイミングの情報を含む再生速度切替タグ情報とを前記動画再生装置の記憶部に記憶し、前記動画データの中から、所定以上の動きがある被写体の領域部分を動き領域として検出し、前記動画データを所定の再生速度で再生する再生中に、前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点における露出度合いの情報を前記露出度合い切替タグ情報に基づいて取得し、取得した露出度合いの情報に基づいて、検出された前記動き領域の輝度を変更して、切替後の再生速度で再生することを特徴とする。

【0012】

また、本発明の動画再生プログラムはコンピュータに、撮影された動画データ内における露出度合い切替タイミングの情報および切替タイミングごとの切替後の露出度合いの情報を含む露出度合い切替タグ情報を記憶する露出度合い切替タグ記憶機能と、前記動画データ内における再生速度の切替タイミングの情報を含む再生速度切替タグ情報を記憶する再生速度切替タグ記憶機能と、前記動画データの中から、所定以上の動きがある被写体の領域部分を動き領域として検出する動き領域検出機能と、前記動画データを所定の再生速度で再生させ、再生中に前記再生速度切替タグ情報に基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点における露出度合いの情報を前記露出度合い切替タグ情報に基づいて取得し、取得した露出度合いの情報に基づいて前記動き領域検出機能により検出された動き領域の輝度を変更して、切替後の再生速度で再生させる再生制御機能と実現させることを特徴とする。

【発明の効果】

【0013】

本発明の動画処理システム、動画再生装置、動画再生方法、および動画再生プログラムによれば、撮像装置で撮影された動画を、所望のシーン部分のみ再生速度を下げて再生させる際に、ユーザが注目する被写体を認識しやすい状態で再生させることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態による動画処理システムのハイスピードカメラ装置の構成を示すブロック図である。

【図2】本発明の一実施形態による動画処理システムの動画再生装置の構成を示すブロック図である。

【図3】本発明の一実施形態によるハイスピードカメラ装置が実行する処理を示すフローチャートである。

【図4】本発明の一実施形態によるハイスピードカメラ装置が生成するシャッタースピード切替タグ情報テーブルの一例である。

【図5】本発明の一実施形態によるハイスピードカメラ装置が生成する再生速度切替タグ情報テーブルの一例である。

【図6】本発明の一実施形態による動画再生装置が実行する処理を示すフローチャートである。

【図7】本発明の一実施形態による動画再生装置で再生する動画データと、当該動画データに関するシャッタースピード切替タグの位置と、再生速度切替タグの位置との関係を示す説明図である。

【発明を実施するための形態】

【0015】

以下に、本発明の一実施形態による動画処理システムについて、図面を参照して説明する。

【0016】

〈一実施形態による動画処理システムの構成〉
図１および図２に示すように、本実施形態による動画処理システム１は、撮像装置としてのハイスピードカメラ装置１０と、動画再生装置２０とを備える。

【0017】

ハイスピードカメラ装置１０は、第１入力部１１と、撮像部１２と、第１ＣＰＵ１３と、第１記憶部１４と、第１通信部１５とを有する。

【0018】

第１入力部１１は、ユーザによる撮像開始操作、撮像停止操作、シャッタースピード切替操作、後述する再生速度切替タグを生成するためのタイミング指定操作、動画データ送信操作等の情報を入力する。撮像部１２は、再生時にスローモーションでなめらかに再生可能になるように予め設定された通常時よりも高いフレームレート、例えば120ＦＰＳ（frames per second）で、設定されたシャッタースピードで被写体を動画撮影する。本実施形態では撮像部１２による撮影時のフレームレートが120ＦＰＳの場合について説明するが、これには限定されず、240ＦＰＳ、300ＦＰＳ等、一般的な通常時のフレームレート60ＦＰＳよりも高い他の値のフレームレートでもよい。

【0019】

第１ＣＰＵ１３は、撮像制御部１３１と、露出度合い切替部としてのシャッタースピード切替部１３２と、露出度合い切替タグ生成部としてのシャッタースピード切替タグ生成部１３３と、再生速度切替タグ生成部１３４と、データ送信制御部１３５とを有する。

【0020】

撮像制御部１３１は、第１入力部１１から入力された情報に基づいて、撮像部１２による撮像処理の開始および停止の動作を制御する。シャッタースピード切替部１３２は、撮像部１２による撮影中に第１入力部１１から入力された指示に基づいて撮影のシャッタースピードを切り替える。

【0021】

シャッタースピード切替タグ生成部１３３は、シャッタースピード切替部１３２で実行されたシャッタースピードの切り替え処理に基づいて、撮影された動画データ内におけるシャッタースピードの切替タイミングを示す情報、および切替タイミングごとの切替後のシャッタースピード情報を含む露出度合いとしてのシャッタースピード切替タグの情報を生成する。動画データ内におけるシャッタースピード切替タイミングを示す情報は、例えば動画の撮影開始からの経過時間で示される。

【0022】

再生速度切替タグ生成部１３４は、撮像部１２による撮影中に第１入力部１１から入力された、動画データ内で再生速度を切り替えるタイミングを指定する操作の情報を含む再生速度切替タグの情報を生成する。動画データ内で再生速度を切り替えるタイミングを指定する操作の情報は例えば、動画の撮影開始からの経過時間で示される。

【0023】

データ送信制御部１３５は、第１入力部１１から入力された情報に基づいて、第１記憶部１４に記憶された情報を第１通信部１５から動画再生装置２０に送信させる。

【0024】

第１記憶部１４は、第１動画データ記憶部１４１と、第１シャッタースピード切替タグ記憶部１４２と、第１再生速度切替タグ記憶部１４３とを有する。

【0025】

第１動画データ記憶部１４１は、撮像部１２で撮影された動画データを記憶する。第１シャッタースピード切替タグ記憶部１４２は、シャッタースピード切替タグ生成部１３３で生成されたシャッタースピード切替タグの情報を記憶する。第１再生速度切替タグ記憶部１４３は、再生速度切替タグ生成部１３４で生成された再生速度切替タグの情報を記憶する。第１通信部１５は、有線または無線通信、例えば有線ＬＡＮ、無線ＬＡＮ等により動画再生装置２０と通信する。

【0026】

図２に示すように、動画再生装置２０は、第２通信部２１と、第２入力部２２と、第２記憶部２３と、表示部２４と、第２ＣＰＵ２５とを有する。第２通信部２１は、ハイスピードカメラ装置１０と通信する。第２入力部２２は、ユーザによる動画再生操作の情報を入力する。

【0027】

第２記憶部２３は、第２動画データ記憶部２３１と、第２シャッタースピード切替タグ記憶部２３２と、第２再生速度切替タグ記憶部２３３とを有する。第２動画データ記憶部２３１は、ハイスピードカメラ装置１０から送信された動画データを記憶する。第２シャッタースピード切替タグ記憶部２３２は、ハイスピードカメラ装置１０から送信されたシャッタースピード切替タグの情報を記憶する。第２再生速度切替タグ記憶部２３３は、ハイスピードカメラ装置１０から送信された再生速度切替タグの情報を記憶する。

【0028】

表示部２４は、第２ＣＰＵ２５の制御により、第２動画データ記憶部２３１に記憶された動画データを表示する。

【0029】

第２ＣＰＵ２５は、データ取得部２５１と、データ読み込み部２５２と、再生制御部２５３と、動きベクトル検出部２５４と、動き領域検出部２５５とを有する。

【0030】

データ取得部２５１は、ハイスピードカメラ装置１０から送信された情報を、第２通信部を介して取得し、第２記憶部に送出する。データ読み込み部２５２は、第２入力部２２から動画再生操作の情報が入力されると、第２動画データ記憶部２３１に記憶された動画データを読み込む。

【0031】

再生制御部２５３は、データ読み込み部２５２で読み込んだ動画データの再生を、撮影速度に対応した速度で開始させる。本実施形態では、当該動画データの撮影時のフレームレートを、撮影速度として用いる。再生制御部２５３は、動画データの再生中に再生速度切替タグに基づいて再生速度を切り替えるタイミングが到来したことを検知すると、当該検知した時点におけるシャッタースピードの情報を、シャッタースピード切替タグ情報に基づいて取得する。加えて、再生制御部２５３は、後述する動き領域検出部２５５で検出される動き領域の輝度を、動画データ内の該当するタイミングにおけるシャッタースピードに対する通常撮影時のシャッタースピードの比率分だけ上げて、所定時間スローモーション再生させる。

【0032】

動きベクトル検出部２５４は、データ読み込み部２５２で読み込んだ動画データのフレーム内の動きベクトルを検出する。動き領域検出部２５５は、動きベクトル検出部２５４で検出された動きベクトルに基づいて、動画データのフレームの中から、所定値以上の動きがある被写体の領域部分を動き領域として検出する。

【0033】

〈一実施形態による動画処理システムの動作〉
次に、本実施形態による動画処理システム１の動作について説明する。まず、図３のフローチャートを参照して、ハイスピードカメラ装置１０で実行される動画撮影処理について説明する。

【0034】

ユーザがハイスピードカメラ装置１０で撮影開始操作を行うと第１入力部１１から当該操作の情報が入力され（Ｓ１の「YES」）、撮像制御部１３１の制御により撮像部１２が撮影を開始する。このとき撮像部１２は、予め設定されたフレームレート120ＦＰＳの撮影速度、且つシャッタースピード1/120秒で撮影を開始する。撮像部１２が撮影を開始すると、撮影により生成された動画データＸが順次第１動画データ記憶部１４１に記憶される（Ｓ２）。また、撮像部１２が撮影を開始すると、シャッタースピード切替タグ生成部１３３は、撮影開始時のシャッタースピード1/120秒の情報を保持する。

【0035】

撮影中、ユーザはハイスピードカメラ装置１０で、被写体の動きに応じてシャッタースピードを切り替える操作を行う。例えばユーザは、被写体の動きが速くなるシーンの前に、動画データＸの被写体の動きをなめらかに再生させるためにシャッタースピードを1/240秒に上げる操作を行う。このときユーザは、下記式（１）において０＜ｎ≦１となる範囲の値Ｓで、シャッタースピードを切り替えることができる。

【0036】

Ｓ＝ｎ×（１／［撮影中のフレームレート＝１２０］） …（１）
ユーザがハイスピードカメラ装置１０でシャッタースピードを切り替える操作を行うと、第１入力部１１から当該操作の情報が入力される（Ｓ３の「YES」）。そして、入力された情報に基づいてシャッタースピード切替部１３２が、撮像部１２のシャッタースピードの設定を1/240秒に切り替える。撮像部１２は、切り替えられたシャッタースピードで、撮影を継続する。

【0037】

シャッタースピード切替部１３２によりシャッタースピードが切り替えられると、シャッタースピード切替タグ生成部１３３は、当該切替処理に関する、撮影された動画データＸ内におけるシャッタースピード切替タイミングおよび切替タイミングごとの切替後のシャッタースピードの情報を保持する（Ｓ４）。ステップＳ４の処理は、撮影停止操作の情報が入力されるまでの間、シャッタースピードの切替操作の情報が入力される都度、実行される（Ｓ５の「NO」→Ｓ３の「YES」）。

【0038】

また撮影中、ユーザはハイスピードカメラ装置１０で、被写体の動きに応じて再生時の再生速度を切り替えるタイミングを指定する操作を行う。例えばユーザは、被写体の動きが速くなるシーンが開始すると、再生時の再生速度を下げてスローモーション再生を開始させるタイミングを指定する操作を行う。

【0039】

ユーザがハイスピードカメラ装置１０で再生速度を切り替えるタイミングを指定する操作を行うと、第１入力部１１から当該操作の情報が入力される（Ｓ３の「NO」→Ｓ６の「YES」）。再生速度切替タグ生成部１３４は、入力された情報に基づいて、撮影された動画データＸ内における再生速度の切替タイミングの情報を保持する（Ｓ７）。この再生速度の切替タイミングの情報を保持する処理は、撮影停止操作の情報が入力されるまでの間、再生速度の切替タイミングの指定操作情報が入力される都度、実行される（Ｓ５の「NO」→Ｓ３の「NO」→Ｓ６の「YES」）。

【0040】

そして、ユーザがハイスピードカメラ装置１０で撮影停止操作を行うと、第１入力部１１から当該操作の情報が入力され（Ｓ５の「YES」）、撮像制御部１３１の制御により撮像部１２の撮影処理が停止する。

【0041】

撮影処理が停止すると、シャッタースピード切替タグ生成部１３３が、撮影中に保持した情報を含むシャッタースピード切替タグ情報テーブルを生成し、撮影開始時のシャッタースピード1/120秒の情報とともに第１記憶部１４の第１シャッタースピード切替タグ記憶部１４２に記憶させる。シャッタースピード切替タグ生成部１３３は、シャッタースピード切替タグ情報をＣＳＶファイルとして生成してもよい。

【0042】

第１シャッタースピード切替タグ記憶部１４２に記憶されたシャッタースピード切替タグ情報テーブルの一例を、図４に示す。図４のシャッタースピード切替タグ情報テーブルＴ1には、動画撮影中にユーザが行ったシャッタースピードを切り替える操作に基づいて生成された、第１のシャッタースピード切替タグ（第１Ｓタグ）および第２のシャッタースピード切替タグ（第２Ｓタグ）の情報が格納されている。

【0043】

第１Ｓタグの情報は、シャッタースピードの切替タイミングを示す情報である「10秒」、および当該切替タイミングによる切替後のシャッタースピードの情報「1/240秒」を含む。このシャッタースピードの切替タイミングを示す情報は、撮影開始からユーザによる切替操作までの経過時間である。つまり、第１Ｓタグは、撮影開始から10秒経過したタイミングでユーザが行った、シャッタースピードの設定を1/240秒に切り替える操作に基づいて生成されたタグである。

【0044】

同様に第２Ｓタグは、撮影開始から３０秒経過したタイミングでユーザが行った、シャッタースピードの設定を1/120秒に切り替える操作に基づいて生成されたタグである。

【0045】

また、撮影処理が停止すると、再生速度切替タグ生成部１３４が、撮影中に保持した情報を含む再生速度切替タグの情報テーブルを生成し、第１再生速度切替タグ記憶部１４３に記憶させる（Ｓ８）。再生速度切替タグ生成部１３４は、再生速度切替タグ情報をＣＳＶファイルとして生成してもよい。

【0046】

第１再生速度切替タグ記憶部１４３に記憶された再生速度切替タグ情報テーブルの一例を、図５に示す。図５の再生速度切替タグ情報テーブルＴ2には、動画撮影中にユーザが行った再生速度の切替タイミングを指定する操作に基づいて生成された、第１の再生速度切替タグ（第１Ｒタグ）の情報が格納されている。

【0047】

第１Ｒタグの情報は、再生速度の切替タイミングを示す情報である「12秒」、および切替後の速度による再生時間の情報「10秒」を含む。この再生速度の切替タイミングを示す情報は、撮影開始からのユーザにより切替操作までの経過時間である。つまり、撮影開始から12秒経過したタイミングでユーザが行った、再生時に10秒間のスローモーション再生を開始させるタイミングを指定する操作に基づいて生成されたタグである。

【0048】

これらの情報が記憶された後、ユーザが動画データ送信操作を行うと、データ送信制御部１３５の制御により第１通信部１５が、第１記憶部１４に記憶された動画データＸ、撮影開始時のシャッタースピードの情報、シャッタースピード切替タグの情報、および再生速度切替タグの情報を動画再生装置２０に送信する（Ｓ９）。

【0049】

動画再生装置２０では、ハイスピードカメラ装置１０から送信された情報を、第２通信部２１を介してデータ取得部２５１が取得する。データ取得部２５１は、取得した情報のうち、動画データＸを第２動画データ記憶部２３１に記憶させ、撮影開始時のシャッタースピードの情報およびシャッタースピード切替タグの情報を第２シャッタースピード切替タグ記憶部２３２に記憶させ、再生速度切替タグの情報を第２再生速度切替タグに記憶させる。以上で、動画撮影処理の説明を終了する。

【0050】

次に、動画再生装置２０で実行される動画再生処理について、図６のフローチャートを参照して説明する。

【0051】

ユーザが動画再生装置２０で動画再生を指示する操作を行うと第２入力部２２から当該操作の情報が入力され（Ｓ１１の「YES」）、データ読み込み部２５２が第２動画データ記憶部２３１から動画データＸの読み込みを開始する（Ｓ１２）。そして、再生制御部２５３が、読み込んだ動画データＸを表示部２４に表示させて再生を開始させる（Ｓ１３）。再生制御部２５３による通常の動画再生速度は60ＦＰＳ（frames per second）であるが、本実施形態において動画データＸを再生する際は、ハイスピードカメラ装置１０による撮影時の撮影速度と同じ速度である120ＦＰＳで再生を開始する。

【0052】

再生制御部２５３は、動画データＸの再生中に、第２再生速度切替タグ記憶部２３３に記憶された再生速度切替タグに基づいて、再生速度を切り替えるタイミングが到来したか否かを監視する。具体的には再生制御部２５３は、再生開始から、第１Ｒタグのシャッタースピードの切替タイミングで示される時間「12秒」が経過したか否かを監視する。

【0053】

再生開始から12秒が経過し、再生制御部２５３が再生速度を切り替えるタイミングが到来したことを検知すると（Ｓ１４の「YES」）、動きベクトル検出部２５４が、データ読み込み部２５２が読み込んだ動画データＸの再生中のフレームから、動きベクトルを検出する処理を開始する。

【0054】

そして、動き領域検出部２５５が、動きベクトル検出部２５４で検出された動きベクトルに基づいて、動画データＸの再生中のフレームの中から、所定値以上の動きがある被写体の領域部分を動き領域として検出する。

【0055】

ここで動き領域が検出されると（Ｓ１５の「YES」）再生制御部２５３は、当該第１Ｒタグで示されるタイミング（再生開始から12秒経過時）におけるシャッタースピードの情報を、第２シャッタースピード切替タグ記憶部２３２に記憶されたシャッタースピード切替タグ情報に基づいて取得する。

【0056】

ここでは図７に示すように、第１Ｒタグで示されるタイミングの直前である再生開始から10秒経過時に、第１Ｓタグで示されるようにシャッタースピードが切り替えられている。これにより、再生制御部２５３は、シャッタースピード切替タグ情報テーブルＴ1から、当該第１Ｒタグで示されるタイミングにおけるシャッタースピードの情報として、第１Ｓタグによる切替後のシャッタースピードの情報「1/240秒」を取得する。

【0057】

このとき、シャッタースピードが撮影開始時の1/120秒から、その1/2である1/240秒に切り替えられていることにより、動画データＸ内の該当するフレームの輝度は撮影開始時の1/2になっている。ここで再生制御部２５３は、動き領域の輝度を、取得したシャッタースピード1/240秒に対する、予め設定された通常撮影時のシャッタースピード1/60秒の比率である4倍分上げて設定する（Ｓ１６）。

【0058】

そして再生制御部２５３は、動き領域の輝度を4倍に上げた状態で、動画データＸの再生速度を通常の再生速度である60ＦＰＳに切り替えて、第１Ｒタグ情報テーブルＴ2に基づいて10秒間スローモーション再生を行う（Ｓ１７）。

【0059】

ステップＳ１５において、動画データＸの中に動き領域が検出されなかったときには（Ｓ１５の「NO」）、輝度の変更は行わずに、10秒間スローモーション再生を行う（Ｓ１７）。

【0060】

再生制御部２５３は、ステップＳ１５～Ｓ１７の処理を、スローモーション再生が終了するまで繰り返す（Ｓ１８の「NO」）。これにより、再生速度を切り替えるタイミングが到来した時点では動き領域が検出されなかったが、スローモーション再生中に動き領域が検出された場合にも、検出された時点から当該動き領域の輝度が高くなる。また、再生速度を切り替えるタイミングが到来した時点ではシャッタースピードが1/120秒であり、スローモーション再生中に1/240秒に切り替えられた場合には、スローモーション再生開始時は動き領域の輝度が2倍になり、シャッタースピード切替後は4倍になる。

【0061】

再生開始から22秒経過し、動画データＸ内の10秒間のスローモーション再生シーンが終了すると（Ｓ１８の「YES」）ステップＳ１３に戻り、再生制御部２５３は、撮影速度と同じ120ＦＰＳの速度で動画データＸの再生を継続する。その際、再生制御部２５３は、変更した輝度を通常状態に戻す。

【0062】

再生制御部２５３が動画データＸの再生を終了すると（Ｓ１４の「NO」→Ｓ１９の「NO」）、処理を終了する。

【0063】

以上の実施形態によれば、ハイスピードカメラ装置で撮影された動画を、通常のシーンは撮影時と同じフレームレートで再生させ、高速なシャッタースピードに切り替えられて撮影されたユーザの所望のシーンは、動きのある被写体の領域の輝度を上げてスローモーション再生させることで、ユーザが注目するシーンの所望の被写体の部分を認識しやすい状態で再生させることができる。

【0064】

上述した実施形態において、動画再生装置２０の再生制御部２５３は、第２再生速度切替タグ記憶部２３３に記憶された再生速度切替タグの情報を表示部２４に表示させてもよい。また、動画再生装置２０は、表示された再生速度切替タグの情報を視認したユーザの操作により、再生速度切替タグの位置を調整する機能を有していてもよい。一方、シャッタースピード切替タグの情報は、ユーザにより調整される情報ではないため、表示部２４には表示されない。

【0065】

また、上述した実施形態では、ユーザにより指定された再生速度を切り替えるタイミングにおけるシャッタースピードの設定値に基づいて、動画再生装置が動画データ内の動き領域の輝度を調整する場合について説明した。しかしこれには限定されず、動画再生装置２０は、シャッタースピードの設定値に替えて、露出度合いを調整する他の要素であるＩＳＯ感度または絞り値に基づいて動き領域の輝度を調整するようにしてもよい。

【0066】

上述した実施形態においては、ハイスピードカメラ装置１０から動画再生装置２０に動画データを送信する際に、有線または無線通信により送信する場合について説明した。しかしこれには限定されず、ハイスピードカメラ装置１０で第１記憶部１４に記憶された情報をメモリカードやＵＳＢメモリ等の記録媒体に保存し、この記録媒体を動画再生装置２０に装着して動画データを移行させるようにしてもよい。この場合、ハイスピードカメラ装置１０は、データ送信制御部１３５および第１通信部１５を有さない構成としてもよい。

【0067】

また、上述した動画再生装置２０の機能構成をプログラム化してコンピュータに組み込むことにより、当該コンピュータを動画再生装置２０として機能させる動画再生プログラムを構築することも可能である。

【符号の説明】

【0068】

１ 動画処理システム
１０ ハイスピードカメラ装置
１１ 第１入力部
１２ 撮像部
１３ 第１ＣＰＵ
１４ 第１記憶部
１５ 第１通信部
２０ 動画再生装置
２１ 第２通信部
２２ 第２入力部
２３ 第２記憶部
２４ 表示部
２５ 第２ＣＰＵ
１３１ 撮像制御部
１３２ シャッタースピード切替部
１３３ シャッタースピード切替タグ生成部
１３４ 再生速度切替タグ生成部
１３５ データ送信制御部
１４１ 第１動画データ記憶部
１４２ 第１シャッタースピード切替タグ記憶部
１４３ 第１再生速度切替タグ記憶部
２３１ 第２動画データ記憶部
２３２ 第２シャッタースピード切替タグ記憶部
２３３ 第２再生速度切替タグ記憶部
２３３ 再生速度切替タグ記憶部
２５１ データ取得部
２５２ データ読み込み部
２５３ 再生制御部
２５４ 動きベクトル検出部
２５５ 動き領域検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】