(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173586
(43)【公開日】2024-12-12
(54)【発明の名称】動画編集支援装置、動画編集支援方法およびコンピュータプログラム
(51)【国際特許分類】
H04N 5/91 20060101AFI20241205BHJP
H04N 5/92 20060101ALI20241205BHJP
H04N 23/60 20230101ALI20241205BHJP
【FI】
H04N5/91
H04N5/92 010
H04N23/60 300
H04N23/60 500
H04N23/60 100
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2023183448
(22)【出願日】2023-10-25
(31)【優先権主張番号】P 2023089858
(32)【優先日】2023-05-31
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000000310
【氏名又は名称】株式会社アシックス
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(72)【発明者】
【氏名】稲葉 龍一郎
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122EA48
5C122FH11
5C122FK37
5C122FK41
5C122GA01
5C122GA23
5C122HA13
5C122HA35
5C122HB05
(57)【要約】
【課題】スポーツをしている様子を撮影した動画の編集を支援する技術を提供する。
【解決手段】動画編集支援装置は、スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得する撮影動画取得部と、撮影動画に基づく素材動画を記憶する素材動画記憶部と、対象物に応じた複数の注目マーク付与条件を記憶する条件記憶部と、素材動画において注目マーク付与条件を満たす注目シーンを検出する注目シーン検出部と、検出された注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付ける注目マーク付与部と、素材動画を所定の表示装置に表示させる素材動画表示制御部であって、素材動画の注目シーンに関連付けられた注目マーク313を再生時間情報とともに素材動画上に表示させる素材動画表示制御部と、を備える
【選択図】
図6
【特許請求の範囲】
【請求項1】
スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得する撮影動画取得部と、
前記撮影動画に基づく素材動画を記憶する素材動画記憶部と、
前記対象物に応じた複数の注目マーク付与条件を記憶する条件記憶部と、
前記素材動画において注目マーク付与条件を満たす注目シーンを検出する注目シーン検出部と、
検出された前記注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付ける注目マーク付与部と、
前記素材動画を所定の表示装置に表示させる素材動画表示制御部であって、前記素材動画の注目シーンに関連付けられた注目マークを再生時間情報とともに前記素材動画上に表示させる素材動画表示制御部と、
を備える動画編集支援装置。
【請求項2】
前記注目シーン検出部は、前記複数の注目マーク付与条件のうち、撮影したスポーツの種類に応じた注目マーク付与条件を満たす注目シーンを検出する請求項1に記載の動画編集支援装置。
【請求項3】
前記注目シーン検出部は、前記条件記憶部に記憶される前記複数の注目マーク付与条件のそれぞれを満たす注目シーンをすべて検出する第1検出処理と、前記条件記憶部に記憶される前記複数の注目マーク付与条件のうちの特定の注目マーク付与条件を満たす注目シーンを検出する第2検出処理と、を実行可能であり、いずれの検出処理を実行するかを、前記素材動画の容量、前記素材動画の長さ、注目シーンを検出する処理速度および外部からの指示の少なくとも1つに基づいて決定する請求項1に記載の動画編集支援装置。
【請求項4】
前記注目シーン検出部は、前記条件記憶部に記憶される前記複数の注目マーク付与条件のそれぞれを満たす注目シーンをすべて検出し、
前記素材動画表示制御部は、検出された注目シーンのうち、ユーザに選択された注目マーク付与条件に係る注目シーンに関連付けられた注目マークのみを前記素材動画上に表示する請求項1に記載の動画編集支援装置。
【請求項5】
前記注目シーン検出部は、前記条件記憶部に記憶される前記複数の注目マーク付与条件のうち、ユーザに選択された注目マーク付与条件を満たす注目シーンのみを検出する請求項1に記載の動画編集支援装置。
【請求項6】
前記撮影動画における前記対象物を三次元の対象物に変換して前記素材動画を生成する三次元化処理部をさらに備える請求項1に記載の動画編集支援装置。
【請求項7】
前記注目シーン検出部は、前記注目マーク付与条件の種類に応じて、画像解析および姿勢解析のいずれかの方法により、注目シーンを検出する請求項1に記載の動画編集支援装置。
【請求項8】
前記スポーツはスケートボードであり、
前記対象物には、スケートボードのライダー、ライダーが使用するボードおよびライダーが滑走するセクションが含まれる請求項1に記載の動画編集支援装置。
【請求項9】
前記複数の注目マーク付与条件は、スケートボードのトリックに関連する注目マーク付与条件を含む請求項8に記載の動画編集支援装置。
【請求項10】
前記複数の注目マーク付与条件は、前記対象物に関する複数の評価項目の値に基づく評価値が所定の閾値以上もしくは最大であるシーン、または、当該評価値が所定の閾値以下もしくは最小であるシーンを注目シーンとする注目マーク付与条件を含む請求項8に記載の動画編集支援装置。
【請求項11】
前記複数の評価項目は、前記ライダーに関する評価項目である第1の評価項目および前記ボードに関する評価項目である第2の評価項目を含み、前記評価値は、前記第1の評価項目の値および前記第2の評価項目の値の合計値である請求項10に記載の動画編集支援装置。
【請求項12】
前記条件記憶部は、所定人数以上の閲覧者が所定の評価反応を示したシーンを注目シーンとする注目マーク付与条件をさらに記憶する請求項1に記載の動画編集支援装置。
【請求項13】
前記条件記憶部は、所定人数以上の閲覧者が所定の評価反応を示したシーンを注目シーンとする注目マーク付与条件をさらに記憶し、
前記注目シーン検出部は、前記素材動画を閲覧中の閲覧者による、トリックが行われたシーンの終了から所定時間以内に示された所定の評価反応は、当該トリックのシーンに対する評価反応として扱う請求項9に記載の動画編集支援装置。
【請求項14】
前記スポーツはマラソンであり、
前記対象物には、マラソンのランナーが含まれる請求項1に記載の動画編集支援装置。
【請求項15】
前記複数の注目マーク付与条件は、いずれも前記ランナーに関する評価項目である第1の評価項目および第2の評価項目の値が所定の関係を満たすシーンを注目シーンとする注目マーク付与条件を含む請求項14に記載の動画編集支援装置。
【請求項16】
前記所定の関係は、前記第2の評価項目の値が最小である時刻を中心とする所定の時間範囲において、前記第1の評価項目の値が最大となる関係である請求項15に記載の動画編集支援装置。
【請求項17】
動画編集支援装置が実行する動画編集支援方法であって、
スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得するステップと、
前記撮影動画に基づく素材動画を記憶するステップと、
前記対象物に応じた複数の注目マーク付与条件を記憶するステップと、
前記素材動画において注目マーク付与条件を満たす注目シーンを検出するステップと、
検出された前記注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付けるステップと、
前記素材動画を所定の表示装置に表示させるステップと、
を備え、
前記表示させるステップでは、前記素材動画の注目シーンに関連付けられた注目マークを再生時間情報とともに前記素材動画上に表示させる動画編集支援方法。
【請求項18】
スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得する機能と、
前記撮影動画に基づく素材動画を記憶する機能と、
前記対象物に応じた複数の注目マーク付与条件を記憶する機能と、
前記素材動画において注目マーク付与条件を満たす注目シーンを検出する機能と、
検出された注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付ける機能と、
前記素材動画を所定の表示装置に表示させる機能であって、前記素材動画の注目シーンに関連付けられた注目マークを再生時間情報とともに前記素材動画上に表示させる機能と、
をコンピュータに実現させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画編集支援装置、動画編集支援方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
特許文献1には、ダンスなどのユーザの動作の動画の編集を支援する情報処理装置が開示されている。情報処理装置は、編集された映像を、例えばSNSに投稿する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
スポーツの世界では、演技を動画撮影し、それをSNSに投稿して友人や不特定多数に共有することが多い。例えば投稿した動画に対して多くの肯定的な評価を得られれば、練習を継続するモチベーションにもなる。
【0005】
SNSに動画を投稿するに際して、動画を編集したい場合や編集を必要とされる場合は少なからずある。現状、スポーツをしている様子を撮影した動画の編集を支援する技術は十分に提案されていない。
【0006】
本発明はこうした状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、スポーツをしている様子を撮影した動画の編集を支援する技術を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある態様の動画編集支援装置は、スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得する撮影動画取得部と、撮影動画に基づく素材動画を記憶する素材動画記憶部と、対象物に応じた複数の注目マーク付与条件を記憶する条件記憶部と、素材動画において注目マーク付与条件を満たす注目シーンを検出する注目シーン検出部と、検出された注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付ける注目マーク付与部と、素材動画を所定の表示装置に表示させる素材動画表示制御部であって、素材動画の注目シーンに関連付けられた注目マークを再生時間情報とともに素材動画上に表示させる素材動画表示制御部と、を備える。
【0008】
本発明の別の態様は、動画編集支援方法である。この方法は、スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得するステップと、撮影動画に基づく素材動画を記憶するステップと、対象物に応じた複数の注目マーク付与条件を記憶するステップと、素材動画において注目マーク付与条件を満たす注目シーンを検出するステップと、検出された注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付けるステップと、素材動画を所定の表示装置に表示させるステップと、を備える。表示させるステップでは、素材動画の注目シーンに関連付けられた注目マークを再生時間情報とともに素材動画上に表示させる。
【0009】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0010】
本発明によれば、スポーツをしている様子を撮影した動画の編集を支援する技術を提供できる。
【図面の簡単な説明】
【0011】
【
図1】実施の形態に係る動画編集支援システムの全体構成を示す模式図である。
【
図2】
図1の動画編集支援装置の機能および構成を示すブロック図である。
【
図3】複合評価に関する注目マーク付与条件の一例を説明する図である。
【
図4】
図1のユーザ端末の機能および構成を示すブロック図である。
【
図10】編集動画の再生画面の一例を示す図である。
【
図11】編集動画の再生画面の別の例を示す図である。
【
図12】動画編集支援システムによる一連の処理の一例を説明するシーケンス図である。
【
図13】変形例に係る動画編集支援システムの全体構成を示す模式図である。
【
図14】複合評価に関する注目マーク付与条件の一例を説明する図である。
【
図16】変形例のユーザ端末の機能および構成を示すブロック図である。
【
図17】
図17(a)、(b)は、条件選択画面の一例を示す図である。
【
図18】
図18(a)、(b)は、条件選択画面の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明を好適な実施の形態をもとに各図面を参照しながら説明する。実施の形態、変形例では、同一または同等の構成要素には、同一の符号を付するものとし、適宜重複した説明は省略する。
【0013】
図1は、実施の形態に係る動画編集支援システム1の全体構成を示す模式図である。本実施形態では、スポーツの一例としてのスケートボードを対象とした撮影動画の編集を支援する動画編集支援システムについて説明する。動画編集支援システム1は、複数のカメラ10と、動画編集支援装置100と、複数のユーザ端末200と、を備える。動画編集支援装置100は、
図1ではスケートボードパーク2に設置されているが、これには限定されず、例えばデータセンタに設置されてもよい。
【0014】
スケートボードをする人(以下、ライダーという)は、スケートボードパーク2に着いたら、ユーザ端末200などで顔、ウェアを含む身体およびボード(特にデッキの裏面)の少なくとも1つの写真を撮影し、ユーザIDとともに動画編集支援装置100に送信する。なお、これらの写真は、スケートボードパーク2の外で予め撮影されてもよい。これらの写真は、ライダーが映っている動画を特定するのに使用される。ライダーは、ボード以外の荷物をプレイエリア4の外に置いて、プレイエリア4でプレイする。
【0015】
カメラ10は、スケートボードの演技の動画を撮影するためのビデオカメラである。カメラ10は、スケートボードパーク2のプレイエリア4に設置される。プレイエリア4には、バンク、手すり、ステアといったいわゆるセクション6が設置されている。
図1では、プレイエリア4にセクション6が1つのみ示されているが、実際には、プレイエリア4には、多数のセクション6が設置される。カメラ10の数および配置は特に限定されず、例えばプレイエリア4を環囲するように配置されてもよいし、また例えば各セクション6を環囲するように配置されてもよい。
【0016】
カメラ10が動画の撮影を開始および終了するタイミングは特に限定されないが、好ましくは、スケートボードの演技を漏れなく撮影するように動画の撮影を開始および終了する。例えばカメラ10は、ライダーがプレイエリア4にいる場合のみ動画を撮影してもよい。すなわちカメラ10は、ライダーがひとりでもプレイエリア4にいる間は動画を撮影し、ライダーがひとりもプレイエリア4にいない間は動画の撮影を停止してもよい。ライダーがプレイエリア4にいるか否かは、適宜のセンサで検知すればよい。また例えばカメラ10は、スケートボードパーク2の営業中は常に動画を撮影していてもよい。
【0017】
カメラ10は、撮影した動画を動画編集支援装置100に送信する。
【0018】
ユーザ端末200は、動画編集支援システム1のサービスを受けるためにユーザにより操作される情報処理端末であり、動画編集支援装置100に対するクライアントとして動作する。ユーザ端末200は、スマートフォン、タブレット端末などの携帯端末であってもよいし、パーソナルコンピュータなどの装置であってもよい。
【0019】
ユーザ端末200がカメラを備える場合、ユーザ端末200はそのカメラでスケートボードの演技の動画を撮影し、それを動画編集支援装置100に送信してもよい。ユーザ端末200は、専用のカメラで撮影したスケートボードの演技の動画を、動画編集支援装置100に送信してもよい。
【0020】
動画編集支援装置100は、スケートボードの演技を撮影した動画の閲覧および編集を支援する情報処理装置である。動画編集支援装置100は、スケートボードパーク2のカメラ10あるいはユーザ端末200のカメラがスケートボードの演技を撮影した動画(以下、「撮影動画」という)を記憶する。撮影動画には、スケートボードのライダー、ライダーが使用するボードおよびライダーが滑走しているあるいはトリックを行っているセクション6が含まれうる。
【0021】
動画編集支援装置100は、撮影動画に基づく素材動画を画像解析等して、素材動画において編集者あるいは閲覧者が注目するべきシーンである注目シーンを検出する。素材動画は、本実施の形態では、撮像動画における被写体としての対象物を三次元の対象物に変換した動画、すなわち自由視点動画化した動画である。動画編集支援装置は、素材動画を、その注目シーンを把握させるための注目シーン情報とともにユーザ端末200の表示部に表示させる。編集者としてのユーザは、注目シーンを中心に素材動画を編集して編集動画を作成すればよい。閲覧者としてのユーザは、注目シーンを中心に素材動画を閲覧すればよい。つまり、動画編集支援装置100を使用することによって、編集者は注目シーンについて簡便に編集することができ、一方、閲覧者は注目シーンについて簡便に閲覧することができる。
【0022】
図2は、
図1の動画編集支援装置100の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのCPU(Central Processing Unit)をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
図4の各ブロックについても同様である。
【0023】
動画編集支援装置100は、通信装置101と、処理装置140と、記憶装置160と、を備える。
【0024】
処理装置140は、各種データ処理を実行する。記憶装置160は、処理装置140により参照または更新されるデータを記憶する。記憶装置160は、半導体メモリ、ハードディスクなどであってもよい。通信装置101は、種々の通信プロトコルにしたがって外部装置と通信する。処理装置140は、通信装置101を介して、ユーザ端末200等の外部装置とデータを送受信する。
【0025】
記憶装置160は、撮影動画記憶部161と、素材動画記憶部162と、編集動画記憶部163と、条件記憶部164と、ユーザ情報記憶部165と、を含む。
【0026】
撮影動画記憶部161は、撮影動画IDと、撮影動画と、を対応付けて記憶する。撮影動画IDは、撮影動画を一意に識別するIDである。撮影動画は、上述したように、スケートボードの演技を撮影した動画である。
【0027】
素材動画記憶部162は、素材動画IDと、素材動画と、注目シーン情報と、を対応付けて記憶する。素材動画IDは、素材動画を一意に識別するIDである。素材動画は、上述したように、撮影動画に基づく動画であり、本実施の形態では自由視点動画である。注目シーン情報の詳細については後述する。
【0028】
編集動画記憶部163は、編集動画IDと、編集動画と、を対応付けて記憶する。編集動画IDは、編集動画を一意に識別するIDである。編集動画は、上述したように、素材動画を編集した動画である。
【0029】
ユーザ情報記憶部165は、ユーザIDと、ユーザ(ライダー)を撮影した写真と、を対応付けて記憶する。
【0030】
条件記憶部164は、複数の注目マーク付与条件を記憶する。複数の注目マーク付与条件はそれぞれ、注目マークが付与されるべきシーン、すなわち注目されるべきシーンである注目シーンを検出するための条件であり、複数の注目マーク付与条件のそれぞれを満たすシーンが、それぞれ注目シーンとして検出される。
【0031】
以下に、注目マーク付与条件の例を挙げる。なお、注目マーク付与条件は、これに限定されない。
【0032】
[ライダーに関する注目マーク付与条件]
・ライダーが地面もしくはボードから所定高さ以上飛んでいるシーン
・ライダーの膝の角度が所定角度以上または所定角度以下であるシーン
・ライダーの膝が最も曲がっているまたは最も伸びているシーン
・ライダーの肘の角度が所定角度以上または所定角度以下であるシーン
・ライダーがセクションを使ったトリックを行っているシーンであって、予め定められた視点位置から予め定められた視線方向に見た場合に当該ライダーの上着の前面が最も見えているシーン
【0033】
[ボードに関する注目マーク付与条件]
・ボードの角度が所定角度の範囲であるシーン
・ボードが地面から最も離れているシーン
・ボードが地面から所定距離以上離れているシーン
・ボードが縦に(ボードの短手方向に平行な軸周りに)所定回数以上回転しているシーン
・ボードが横に(ボードの流れ方向に平行な軸周りに)1回転以上しているシーン
・ライダーがセクションを使ったトリックを行っているシーンであって、セクションごとに予め定められた視点位置から予め定められた視線方向に見た場合にボードの裏面すなわち柄が最も見えているシーン
【0034】
[セクションに関する注目マーク付与条件]
・所定のセクションが使用されたシーン
【0035】
[トリックに関する注目マーク付与条件]
・所定のトリック(例えば、ライダーからボードが離れるトリックや所定のセクションを使ったトリック)が行われたシーン
【0036】
[評価反応に関する注目マーク付与条件]
・所定人数以上の閲覧者が所定の評価反応、例えば肯定的な評価反応を示したシーン
【0037】
[複合評価に関する注目マーク付与条件]
・ライダーまたはボードに関する複数の評価項目の値が所定の関係を満たすシーン
【0038】
「ライダーまたはボードに関する複数の評価項目の値が所定の関係を満たすシーン」は、例えば、ライダーまたはボードに関する複数の評価項目の値に基づく評価値が所定の閾値以上もしくは最大であるシーン、または、当該評価値が所定の閾値以下もしくは最小であるシーンであってもよい。
【0039】
図3は、複合評価に関する注目マーク付与条件の一例を説明する図である。ここでは、第1の評価項目の値としてのライダーの膝の角度α1と、第2の評価項目の値としてのボードの離陸角度α2との和(α1+α2)を評価値とする。なお、この実施形態において膝の角度α1は、
図3に示すように大腿と下腿とのなす角度である。またボードの離陸角度α2は、
図3に示すように水平面とボードとのなす角度である。
図3の上側のイラストは、ライダーがトリックを行っている様子を示す。
図3の下側のグラフにおいて、横軸は時間を示し、縦軸は角度を示す。グラフ400はライダーの膝の角度α1の時系列データであり、グラフ402はボードの離陸角度α2の時系列データであり、グラフ404は評価値(α1+α2)の時系列データである。
【0040】
この場合、例えば注目マーク付与条件として「評価値が最大であるシーン」が設定されている場合、時刻t4あるいは時刻t4の前後を含む時間帯が注目シーンとして検出される。また、例えば注目マーク付与条件として「評価値が最小であるシーン」が設定されている場合、時刻t1あるいは時刻t1の前後を含む時間帯が注目シーンとして検出される。また、注目マーク付与条件として「評価値が所定の閾値以上であるシーン」が設定されている場合、例えば「評価値が100°以上であるシーン」が設定されている場合、時刻t3から時刻t5までの時間帯が注目シーンとして検出される。また、注目マーク付与条件として「評価値が所定の閾値以下であるシーン」が設定されている場合、例えば「評価値が50°以下であるシーン」が設定されている場合、時刻t1から時刻t2までの時間帯および時刻t6から時刻t7までの時間帯が注目シーンとして検出される。
【0041】
処理装置140は、撮影動画取得部141と、素材動画生成部142と、注目シーン検出部143と、注目マーク付与部144と、素材動画表示制御部145と、編集部146と、編集動画表示制御部147と、SNS投稿部148と、評価反応登録部149と、を含む。
【0042】
撮影動画取得部141は、カメラ10あるいはユーザ端末200から撮影動画を取得する。撮影動画取得部141は、取得した撮影動画を、新たに採番する撮影動画IDとともに撮影動画記憶部161に格納する。
【0043】
素材動画生成部142は、1つまたは複数の撮影動画に基づいて素材動画を生成する。上述したように本実施の形態の素材動画は、撮像動画における被写体としての対象物を三次元の対象物に変換した動画、すなわち自由視点動画化した動画である。したがって本実施の形態の素材動画生成部142は、被写体としての対象物を三次元の対象物に変換する三次元化処理部であると捉えることもできる。素材動画生成部142は、公知の、あるいは将来利用可能な技術を用いて自由視点動画を生成すればよい。
【0044】
素材動画生成部142は、ユーザ端末200に選択された撮影動画に基づく素材動画を生成してもよい。この場合、素材動画生成部142は、撮影動画の一覧をユーザ端末200に送信し、素材動画を生成する撮影動画の選択をユーザ端末200から受け付ければよい。
【0045】
なお、ユーザ端末200のユーザに関連しない撮影動画の選択は、許容されてもよいし、許容されなくてもよい。ユーザに関連しない撮影動画は、例えば、そのユーザはライダーとして映っておらず、他のライダーが映っている撮影動画である。そのユーザが或る撮影動画に映っているか否かは、ユーザ情報記憶部165に記憶される写真に基づいて判断すればよい。
【0046】
あるいは素材動画生成部142は、ユーザ端末200による選択によらずに、つまり自動で、すべての撮影動画の素材動画を生成してもよい。素材動画生成部142は、生成した素材動画を、新たに採番する素材動画IDとともに素材動画記憶部162に格納する。
【0047】
スケートボードパーク2が複数のカメラ10を備える場合において、複数のカメラ10で撮影された同時間帯の複数の撮影動画は、一群の撮影動画として扱ってもよい。この場合、素材動画生成部142は、一群の撮影動画に含まれる複数の撮影動画に基づいて素材動画を生成してもよい。
【0048】
注目シーン検出部143は、素材動画の注目シーンを検出する。注目シーン検出部143は、すべての素材動画の注目シーンを検出してもよい。この場合、注目シーン検出部143は、素材動画生成部142によって素材動画が生成されると、適宜のタイミングで、例えば素材動画が生成されるとすぐに、注目シーンを検出する。注目シーン検出部143は、ユーザ端末200に指定された素材動画のみ、注目シーンを検出してもよい。この場合、注目シーン検出部143は、ユーザ端末200によって素材動画が指定されるとすぐに、注目シーンを検出してもよい。
【0049】
注目シーン検出部143は、素材動画における注目マーク付与条件を満たす時刻または時間帯を、注目シーンとして検出する。注目シーン検出部143は、注目シーンの検出処理として、第1検出処理および第2検出処理を実行可能である。
【0050】
第1検出処理は、条件記憶部164に記憶されるすべての注目マーク付与条件のそれぞれを満たすシーンを、それぞれ注目シーンとして検出する処理である。
【0051】
第2検出処理は、条件記憶部164に記憶される複数の注目マーク付与条件のうち、特定の注目マーク付与条件を満たすシーンのみを、注目シーンとして検出する処理である。つまり、特定の注目マーク付与条件のみが注目シーンの検出に使用される。第2検出処理は、第1検出処理に比べ、検出処理に要する計算量が少ないため、注目シーン検出部143による検出のための処理時間を短くできる。特定の注目マーク付与条件は、複数あってもよい。この場合、注目シーン検出部143は、複数の特定の注目マーク付与条件のそれぞれを満たすシーンを、それぞれ注目シーンとして検出すればよい。注目シーン検出部143は、特定の注目マーク付与条件の選択を、ユーザ端末200から受け付けてもよい。この場合、注目シーン検出部143は、素材動画の注目シーンの注目マーク付与条件の選択を、その素材動画の注目シーンの検出を開始するまでの任意のタイミングに受け付ければよい。
【0052】
注目シーン検出部143は、第1検出処理のみを実行可能であってもよいし、第2検出処理のみを実行可能であってもよい。
【0053】
あるいは注目シーン検出部143は、第1検出処理および第2検出処理の両方を実行可能であってもよい。この場合、第1検出処理および第2検出処理のいずれの検出処理により注目シーンを検出するかをユーザが指定可能であってもよい。あるいは、注目シーン検出部143が、第1検出処理および第2検出処理のいずれの検出処理により注目シーンを検出するかを、所定の判断要素に基づいて自動で決定してもよい。
【0054】
判断要素は、例えば、素材動画の容量である。この場合、注目シーン検出部143は、素材動画が所定の容量未満の場合、第1検出処理を採用するように決定し、素材動画が所定の容量以上の場合、第2検出処理を採用するように決定する。
【0055】
判断要素は、例えば、素材動画の長さ、素材動画の時間である。この場合、注目シーン検出部143は、素材動画が所定の長さ未満の場合、第1検出処理を採用するように決定し、素材動画が所定の長さ以上の場合、第2検出処理を採用するように決定する。
【0056】
判断要素は、例えば、動画編集支援装置100の処理能力である。この場合、注目シーン検出部143は、動画編集支援装置100の処理能力が所定値以上の場合、第1検出処理を採用するように決定し、動画編集支援装置100の処理能力が所定値未満の場合、第2検出処理を採用するように決定する。動画編集支援装置100の処理能力は、例えば、CPUの処理能力またはGPUの処理能力である。
【0057】
判断要素は、例えば、推定の処理時間である。この場合、注目シーン検出部143は、第1検出処理の推定所要時間が所定時間未満である場合、第1検出処理を採用するように決定し、推定所要時間が所定時間以上であると推定される場合、第2検出処理を採用するように決定する。この場合、第1検出処理の所要時間の推定方法は特に限定されない。
【0058】
判断要素は、外部、例えばユーザ端末200からの指示であってもよい。この場合、ユーザ端末200に注目シーン付与条件の選択画面を表示し、すべての注目シーン付与条件が選択された場合には、第1検出処理を採用するように決定し、特定の注目シーン付与条件のみが選択された場合には、第2検出処理を採用するように決定してもよい。
【0059】
注目シーン検出部143は、第1検出処理および第2検出処理のいずれの検出処理により注目シーンを検出するかを、複数の判断要素に基づいて決定してもよい。この場合、注目シーン検出部143は、複数の判断要素のうちの少なくとも1つの判断要素によって第2検出処理の採用が支持される場合、第2検出処理を採用するよう決定してもよい。例えば、注目シーン検出部143は、素材動画が所定の容量以上の場合、素材動画が所定の長さ以上の場合、動画編集支援装置100の処理能力が所定値未満の場合、第1検出処理の推定所要時間が所定時間以上の場合、または、ユーザ端末200によって第2検出処理が選択された場合、の少なくとも1つを満たす場合、第2検出処理を採用するよう決定してもよい。
【0060】
注目シーン検出部143は、公知の、あるいは将来利用可能な画像解析または姿勢解析の技術を用いて、ライダー、ボード、トリックまたはセクションに関する注目マーク付与条件を満たすシーンを検出する。
【0061】
注目シーン検出部143は、検出処理を実行する注目マーク付与条件の中に、ライダーに関する注目マーク付与条件であって、画像解析が必要な注目マーク付与条件が含まれる場合、素材動画の全シーンを画像解析してライダーを検出し、注目マーク付与条件を満たす時間を注目シーンとして検出する。例えば、その注目マーク付与条件が「ライダーの上着の前面が最も見えているシーン」である場合、注目シーン検出部143は、各時間における画像上で見えているライダーの上着の前面の面積を計算し、最も面積が大きい時刻あるいはその前後を含む時間帯を、注目シーンとして検出する。
【0062】
注目シーン検出部143は、検出処理を実行する注目マーク付与条件の中に、ライダーに関する注目マーク付与条件であって、姿勢解析が必要な注目マーク付与条件が含まれる場合、素材動画の全シーンに対して、骨格抽出技術を用いてライダーの姿勢を計算し、注目マーク付与条件を満たす時間を注目シーンとして検出する。例えば、その注目マーク付与条件が「ライダーの膝の角度が所定角度以上であるシーン」である場合、注目シーン検出部143は、各時間における膝の角度を特定し、膝の角度が所定角度以上である時間帯を、注目シーンとして検出する。
【0063】
注目シーン検出部143は、ボードについても同様に、検出処理を実行する注目マーク付与条件の中に、ボードに関する注目マーク付与条件であって、画像解析が必要な注目マーク付与条件が含まれる場合、素材動画の全シーンを画像解析してボードを検出し、注目マーク付与条件を満たす時間を特定する。また、注目シーン検出部143は、検出処理を実行する注目マーク付与条件の中に、ボードに関する注目マーク付与条件であって、姿勢解析が必要な注目マーク付与条件が含まれる場合、素材動画の全シーンに対して、骨格抽出技術を用いてボードの姿勢を計算し、注目マーク付与条件を満たす時間を特定する。
【0064】
注目シーン検出部143は、検出処理を実行する注目マーク付与条件の中に、セクションに関する注目マーク付与条件が含まれる場合、素材動画の全シーンを画像解析して注目マーク付与条件に係るセクションを検出し、注目マーク付与条件を満たす時間、すなわち当該セクションが出現する時間を特定する。
【0065】
注目シーン検出部143は、素材動画記憶部162に記憶される評価反応情報に基づいて、評価反応に関する注目マーク付与条件を満たす注目シーンを検出する。詳しくは、所定人数以上の閲覧者が評価反応を示したシーンを注目シーンとして検出する。注目シーン検出部143は、素材動画を閲覧中の閲覧者による、トリックが行われたシーンの終了から所定時間以内に示された評価反応を、当該トリックのシーンに対する評価反応として扱ってもよい。評価反応を示すタイミングが閲覧者ごとで異なること、通常、トリックを見終わってから評価反応が示されること、を考慮したものである。
【0066】
注目マーク付与部144は、注目シーン検出部143が素材動画から1つまたは複数の注目シーンを検出した場合、注目シーンの種類、つまりは注目シーンに係る注目マーク付与条件の種類に応じた注目マークを素材動画に関連付ける。注目マークは、詳しくは
図6を参照して後述するが、編集動画に重ねて表示されるマークであって、注目シーンの種類、すなわち注目シーンがどのようなシーンであるか、をひと目で識別させるためのマークである。
【0067】
詳しくは、注目マーク付与部144は、1つまたは複数の注目シーンのそれぞれの注目シーン情報を素材動画に対応付けて素材動画記憶部162に記憶させる。ここで注目シーン情報は、素材動画における注目シーンの時刻あるいは時間帯と注目シーンに係る注目マーク付与条件の種類に応じた注目マークとが対応付けられた情報である。
【0068】
注目マーク付与条件の種類は、本実施の形態では、以下の6つである。なお、注目マーク付与条件の種類は、これに限定されない。
・ライダーに関する注目マーク付与条件
・ボードに関する注目マーク付与条件
・セクションに関する注目マーク付与条件
・トリックに関する注目マーク付与条件
・評価反応に関する注目マーク付与条件
・その他の注目マーク付与条件(例えば複合評価に関する注目マーク付与条件)
【0069】
素材動画表示制御部145は、素材動画にその注目シーン情報を重ねてユーザ端末200に表示させる。詳しくは、素材動画表示制御部145は、ユーザ端末200から表示要求を受け付けると、表示要求に係る素材動画を、その素材動画における注目シーン情報とともにユーザ端末200に送信する。
【0070】
なお、ユーザ端末200のユーザに関連しない素材動画の表示は、許容されてもよいし、許容されなくてもよい。
【0071】
注目シーン検出部143が第1検出処理、すなわち、条件記憶部164に記憶されるすべての注目マーク付与条件のそれぞれを満たすシーンをそれぞれ注目シーンとして検出する処理を実行した場合、素材動画表示制御部145は、第1検出処理で検出された注目シーンのうち、ユーザ端末200によって選択された注目マーク付与条件に対応する注目シーン情報を素材動画に重ねて表示させる。第1検出処理が実行された場合、すべての注目マーク付与条件に対応する注目シーン情報が素材動画記憶部162に保存されているため、その後に注目マーク付与条件の選択が変更された場合であっても、注目シーンの検出処理の再度の実行を避けることができる。
【0072】
注目シーン検出部143が第2検出処理、すなわち、条件記憶部164に記憶される複数の注目マーク付与条件のうち、特定の注目マーク付与条件を満たすシーンのみを注目シーンとして検出する処理を実行した場合、素材動画表示制御部145は、第2検出処理で検出されたすべての注目シーン情報を、素材動画に重ねて表示させる。
【0073】
評価反応登録部149は、ユーザ端末200から送信される評価反応情報を取得する。評価反応情報は、素材動画を閲覧中の閲覧者が示した評価反応、例えばGoodボタンなどを押すことによって得られる肯定的な評価反応に関する情報であり、素材動画IDと、その素材動画において評価反応が示された再生時間と、を含む。評価反応登録部149は、評価反応が示された再生時間を、素材動画に対応付けて素材動画記憶部162に記憶させる。
【0074】
編集部146は、ユーザ端末200から素材動画の編集指示を受け付け、その編集指示にしたがって素材動画を編集する。編集部146は、素材動画を編集した編集動画を、編集動画記憶部163に記憶させる。なお、ユーザ端末200のユーザに関連しない素材動画の編集は、許容されてもよいし、許容されなくてもよい。
【0075】
本実施の形態では、編集指示には、基本編集指示、半自動編集指示および二次元動画化指示の3つのタイプがある。
【0076】
基本編集指示は、
図7の基本編集画面320において入力される編集指示である。基本編集指示は、種々の基本的な編集指示であり、例えばトリミング、再生スピードの変更、音量の調整、テキストの挿入、ズームイン、ズームアウトなどの指示である。
【0077】
半自動編集指示は、
図8の半自動編集画面330において入力される編集指示である。半自動編集指示には、注目シーンについて選択入力された編集指示が含まれる。選択入力される編集指示は、再生スピードの変更、ズームイン、ズームアウト、視点の回転などの指示である。視点の回転は、例えば、ライダーの周りを1回転するように視点が移動する。編集部146は、半自動編集指示を受け付けた場合、注目シーンについては選択入力された編集指示にしたがって編集し、それ以外のシーンについては、予め決められた通りに、例えばライダーと並走して視点が移動するように編集する。
【0078】
二次元動画化指示は、
図9の二次元動画化画面340において入力される編集指示である。編集部146は、二次元動画化指示を受け付けると、素材動画を二次元動画化する。これにより、自由視点動画に対応していないSNSに編集動画をアップロードすることができる。つまり、自由視点動画に対応していないSNSにアップロードするために二次元動画化する。
【0079】
本実施の形態では、特に限定されないが、第1の二次元動画化方法、第2の二次元動画化方法および第3の二次元動画化方法の3つの二次元動画化方法を選択可能である。
【0080】
(第1の二次元動画化方法)この場合、二次元動画化指示には、第1の二次元動画化方法が選択されたことを示す情報と、注目シーンについて選択入力された編集指示が含まれる。選択入力される編集指示は、ズームイン、ズームアウト、視点の回転などの視点に関する指示である。編集部146は、注目シーンについては選択入力された編集指示にしたがって視点が移動し、それ以外のシーンについては、予め決められた通りに、例えばライダーと並走して視点が移動する二次元動画を作成する。
【0081】
(第2の二次元動画化方法)この場合、二次元動画化指示には、第2の二次元動画化方法が選択されたことを示す情報が含まれる。編集部146は、注目シーンおよびそれ以外のシーンに対して、予め決められた通りに視点が移動する(言い換えるとおすすめの視点移動が行われる)二次元動画を作成する。この場合、編集が得意でない編集者でも、多くの閲覧者の高評価を期待できる編集動画を作成できる。
【0082】
(第3の二次元動画化方法)この場合、二次元動画化指示には、第3の二次元動画化方法が選択されたことを示す情報と、視点移動の操作内容が含まれる。視点移動の操作内容は、視点の軌跡を示すデータであってもよいし、視点移動を行った際の画面録画であってもよい。編集部146は、受け付けた操作内容の通りに視点が移動する二次元動画を作成する。
【0083】
編集動画表示制御部147は、編集動画をユーザ端末200に表示させる。詳しくは、編集動画表示制御部147は、編集指示にしたがった素材動画の編集が完了したら、例えば遅滞なく、編集指示の送信元のユーザ端末200に編集動画を送信する。また例えば、編集動画表示制御部147は、ユーザ端末200から編集動画の表示要求を受け付けると、表示要求に係る編集動画をユーザ端末200に送信する。
【0084】
SNS投稿部148は、ユーザ端末200により指定された編集動画を、ユーザ端末200により指定されたSNSに投稿すなわちアップロードする。
【0085】
図4は、
図1のユーザ端末200の機能および構成を示すブロック図である。ユーザ端末200は、通信装置201と、表示装置202と、入力装置203と、カメラ204と、処理装置240と、記憶装置260と、を含む。
【0086】
処理装置240は、各種データ処理を実行する。記憶装置260は、処理装置240により参照または更新されるデータを記憶する。記憶装置260は、半導体メモリ、ハードディスクなどであってもよい。通信装置201は、種々の通信プロトコルにしたがって外部装置と通信する。処理装置240は、通信装置201を介して、動画編集支援装置100等の外部装置とデータを送受信する。表示装置202は、処理装置240により生成される画面を表示する。表示装置202は、液晶ディスプレイ、有機ELディスプレイなどであってもよい。入力装置203は、ユーザ端末200の使用者による入力を処理装置240に伝達する。入力装置203は、物理キー、タッチパッドなどであってもよい。表示装置202および入力装置203は、タッチパネルとして実装されてもよい。カメラ204は、画像を撮像する。
【0087】
処理装置240は、カメラ起動部241と、撮影動画送信部242と、撮影動画選択部243と、条件選択部244と、素材動画表示部245と、編集指示部246と、編集動画表示部247と、SNS投稿指示部248と、評価反応送信部249と、を含む。これらの複数の機能ブロックの機能は、特に限定されないが、動画編集支援システム1のユーザ向けのアプリケーションプログラム(以下、「動画編集支援App」という)のモジュールとして実装される。ユーザ端末200は、動画編集支援Appを、デジタルコンテンツの配信サービスを提供するインターネット上のサイトからダウンロードしてもよい。また例えば、動画編集支援Appが記録媒体に格納され、その記録媒体から記憶装置260にインストールされてもよい。ユーザ端末200のプロセッサ(CPU、GPU等)は、記憶装置260にインストールされた動画編集支援Appをメインメモリへ読み出して実行することにより、処理装置240の各ブロックの機能を発揮してもよい。
【0088】
カメラ起動部241は、ユーザの操作に応じて、カメラ204を起動する。撮影動画送信部242は、カメラ204がスケートボードの演技を撮影した撮影動画を、動画編集支援装置100に送信する。
【0089】
撮影動画選択部243は、素材動画を生成する撮影動画をユーザに選択させる。このため撮影動画選択部243は、撮影動画の一覧を動画編集支援装置100から取得し、撮影動画の一覧画面(図示せず)を表示装置202に表示する。一覧画面には、例えば、撮影動画のサムネイル、撮影開始日時などの撮影動画に関する情報が表示される。ユーザは一覧画面上で撮影動画を選択する。撮影動画選択部243は、選択された撮影動画の撮影動画IDを動画編集支援装置100に通知する。なお、自動ですべての撮影動画の素材動画を生成する場合、撮影動画選択部243は不要である。
【0090】
条件選択部244は、注目マーク付与条件をユーザに選択させる。このため条件選択部244は、
図5で後述する条件選択画面300を表示装置202に表示する。ユーザは条件選択画面300上で注目マーク付与条件を選択する。条件選択部244は、選択された注目マーク付与条件を動画編集支援装置100に通知する。
【0091】
素材動画表示部245は、素材動画とその注目シーン情報を、表示装置202に表示する。このため素材動画表示部245は、素材動画の一覧を動画編集支援装置100から取得し、素材動画の一覧画面(図示せず)を表示装置202に表示する。素材動画表示部245は、注目シーンの検出処理が完了している素材動画のみの一覧を動画編集支援装置100から取得してもよい。一覧画面には、例えば、素材動画のサムネイル、撮影開始日時などの素材動画に関する情報が表示される。ユーザは一覧画面上で素材動画を選択する。素材動画表示部245は、選択された素材動画の素材動画IDを含む素材動画の表示要求を動画編集支援装置100に送信する。素材動画表示部245は、表示要求に応じて送信される素材動画を動画編集支援装置100から取得し、表示装置202に表示する。素材動画表示部245は特に、素材動画とともに送信される注目シーン情報を、素材動画に重ねて表示する。
【0092】
評価反応送信部249は、素材動画を閲覧中のユーザが示した評価反応を受け付け、素材動画IDと評価反応を受け付けた再生時間とを含む評価反応情報を動画編集支援装置100に送信する。なお、評価反応は、例えば
図6の評価反応アイコン317(後述)をタップすることで示される。
【0093】
編集指示部246は、動画編集支援装置100に対して、素材動画の編集を指示する。このため編集指示部246は、
図7~9で後述する編集画面を表示装置202に表示する。編集画面は、素材動画を編集モードで表示した画面と捉えることもできる。ユーザは、編集画面上で素材動画に対する編集指示を入力する。編集指示部246は、入力された編集指示を動画編集支援装置100に送信する。
【0094】
編集動画表示部247は、編集動画を表示装置202に表示する。例えば、編集動画表示部247は、素材動画の編集中に、編集指示部246が送信した編集指示に係る編集動画を動画編集支援装置100から取得する。また例えば、編集動画表示部247は、編集動画の一覧を動画編集支援装置100から取得し、編集動画の一覧画面(図示せず)を表示装置202に表示し、編集動画の選択を入力装置203を介してユーザから受け付け、選択された編集動画の表示要求を動画編集支援装置100に送信し、表示要求に応じて送信される編集動画を取得する。編集動画表示部247は、取得した編集動画を表示装置202に表示する。
【0095】
SNS投稿指示部248は、動画編集支援装置100に対して、編集動画のSNSへの投稿を指示する。例えばユーザは、編集動画の再生画面350上でその編集動画のSNSへの投稿指示を入力する。SNS投稿指示部248は、入力された投稿指示を動画編集支援装置100に送信する。
【0096】
図5は、条件選択画面300の一例を示す図である。条件選択画面300は、ライダー、ボード、トリック、セクション、評価反応および複合のそれぞれについてユーザがプルダウン形式により注目マーク付与条件を選択入力できるように構成された条件選択領域301と、OKボタン302と、を有する。条件選択領域301で注目マーク付与条件が選択入力され、OKボタン302が選択されると、条件選択部244は、条件選択領域301で選択入力された注目マーク付与条件を受け付け、受け付けた注目マーク付与条件の選択を動画編集支援装置100に送信する。
【0097】
図6は、素材動画の再生画面310の一例を示す図である。再生画面310には素材動画311が表示される。素材動画311は、本実施の形態では自由視点動画であるため、自由に視点を選択することができる。また、再生画面310には、素材動画311に重ねて、シークバー(再生時間情報)312と注目シーンの注目マーク313が表示される。
【0098】
注目マーク313は、シークバー312に基づいて注目シーンの再生タイミング、例えば注目シーンの再生が開始する時間を把握可能な位置に表示される。注目シーンの再生タイミングを把握可能な位置とは、例えば注目シーンの開始時間に対応するシークバー312の位置の真上であってもよいし、また例えば注目シーンの開始時間よりも所定の余裕時間(例えば3秒)だけ前の時間に対応するシークバー312の位置の真上であってもよい。
【0099】
注目マーク313は、注目シーンの種類ごとに異なる態様(例えば、色、形、またはその組み合わせ)で表示される。つまり、ライダー、ボード、トリック、セクション、評価反応および複合のそれぞれに関する注目シーンには、互いに異なる態様のマークが表示される。
図6では、注目マークは星の形をしたマークであり、注目シーンの種類ごとに色が異なる星の形のマークが表示されている。
【0100】
注目マーク313は、注目シーンの種類を把握できる形に構成されてもよい。例えば、ライダーに関する注目シーンの注目マークは人の形をしたマーク、ボードに関する注目シーンの注目マークはボードの形をしたマーク、トリックに関する注目シーンの注目マークはトリックを行っている人の形をしたマークであってもよい。
【0101】
評価反応アイコン317は、閲覧中のシーンに対して評価反応を示す場合にタップされる。評価反応送信部249は、評価反応アイコン317がタップされると、評価反応情報を動画編集支援装置100に送信する。
【0102】
また、
図6の例の再生画面310には、編集画面に遷移するための編集アイコンが表示されている。詳しくは、再生画面310には、基本編集アイコン314、半自動編集アイコン315および二次元動画化アイコン316の3つの編集アイコンが表示されている。
【0103】
図7は、基本編集画面320の一例を示す図である。基本編集画面320は、
図6の再生画面310において基本編集アイコン314が選択されると表示される。基本編集画面では、種々の基本的な編集指示、例えばトリミング、再生スピードの変更、音量の調整、テキストの挿入、ズームイン、ズームアウトなどの指示が入力される。編集指示部246は、反映アイコン321が選択されると、編集指示を受け付け、受け付けた編集指示を動画編集支援装置100に送信する。
【0104】
図8は、半自動編集画面330の一例を示す図である。半自動編集画面330は、
図6の再生画面310において半自動編集アイコン315が選択されると表示される。半自動編集画面330において注目シーンの注目マーク313が選択されると、その注目シーンでの演出効果をプルダウン形式などの選択形式で入力できるように構成された演出効果選択領域331が表示される。演出効果選択領域331で演出効果が選択され、反映アイコン321が選択されると、編集指示部246は、演出効果選択領域331で選択入力された演出効果を受け付け、受け付けた演出効果の選択を動画編集支援装置100に送信する。
【0105】
図9は、二次元動画化画面340の一例を示す図である。二次元動画化画面340は、
図6の再生画面310において二次元動画化アイコン316が選択されると表示される。二次元動画化画面340は、第1の二次元動画化アイコン341と、第2の二次元動画化アイコン342と、第3の二次元動画化アイコン343と、を含む。
【0106】
第1の二次元動画化アイコン341を選択されると、注目シーンとそれ以外のシーンのそれぞれの視点移動をプルダウン形式などの選択形式で入力できるように構成された視点移動選択領域344が表示される。視点移動選択領域344で注目シーンとそれ以外のシーンのそれぞれについての視点移動が選択され、反映アイコン321が選択されると、編集指示部246は、第1の二次元動画化方法が選択されたことを受け付けるとともに、視点移動選択領域344で選択入力された視点移動を受け付ける。編集指示部246は、第1の二次元動画化方法が選択されたことを示す情報とともに、受け付けた視点移動の選択を動画編集支援装置100に送信する。
【0107】
第2の二次元動画化アイコン342が選択され、反映アイコン321が選択されると、編集指示部246は、第2の二次元動画化方法が選択されたことを受け付け、第2の二次元動画化方法が選択されたことを示す情報を動画編集支援装置100に送信する。
【0108】
第3の二次元動画化アイコン343が選択された状態で実際に視点移動の操作を行い、反映アイコン321が選択されると、編集指示部246は、第3の二次元動画化方法が選択されたことを受け付けるとともに、視点移動の操作内容を受け付ける。編集指示部246は、第3の二次元動画化方法が選択されたことを示す情報とともに、受け付けた視点移動の操作内容を動画編集支援装置100に送信する。視点移動の操作内容は、視点の軌跡を示すデータであってもよいし、視点移動を行った際の画面録画であってもよい。
【0109】
図10は、編集動画の再生画面350の一例を示す図である。再生画面350には編集動画351が表示される。SNS投稿アイコン352が選択されると、SNS投稿指示部248は、表示されている編集動画のSNSへの投稿指示を動画編集支援装置100に送信する。再生画面350には編集アイコン314,315,316が表示されており、それらが選択された場合は編集画面に遷移し、再度、編集可能となる。
【0110】
図11は、編集動画の再生画面350の別の例を示す図である。この例では、再生画面350には2つの編集動画が並べて表示される。2つの編集動画は、
図11の例のように左右に並べられてもよいし、上下に並べられてもよい。2つの編集動画は、いずれもユーザ本人による演技の動画であってもよいし、いずれも他のユーザによる演技の動画であってもよいし、一方はユーザ本人による演技の動画で他方は他のユーザによる演技の動画であってもよい。
【0111】
以上のように構成された動画編集支援システム1の動作を説明する。
図12は、動画編集支援システム1による一連の処理の一例を説明するシーケンス図である。
【0112】
ユーザ端末200の撮影動画選択部243は、ユーザによる撮影動画の選択を受け付け、選択された撮影動画の識別情報を動画編集支援装置100に通知する(S10)。動画編集支援装置100の素材動画生成部142は、選択された撮影動画に基づいて素材動画、すなわち自由視点動画を生成する(S11)。ユーザ端末200の条件選択部244は、ユーザによる注目マーク付与条件の選択を受け付け、選択された注目マーク付与条件を動画編集支援装置100に通知する(S12)。なお、注目マーク付与条件の選択は、素材動画の生成完了後に実行されてもよいし、素材動画の生成完了前に実行されてもよいし、素材動画の生成開始前に実行されてもよい。動画編集支援装置100の注目シーン検出部143は、選択された注目マーク付与条件に基づいて素材動画の注目シーンを検出する(S13)。動画編集支援装置100の素材動画表示制御部145は、S11において生成された素材動画と、S13において検出された注目シーン情報とを、ユーザ端末200に送信する(S14)。ユーザ端末200の素材動画表示部245は、素材動画と注目シーン情報を取得し、表示装置202に表示する(S15)。ユーザ端末200の編集指示部246は、ユーザから素材動画の編集指示を受け付け、動画編集支援装置100に素材動画の編集指示を送信する(S16)。動画編集支援装置100の編集部146は、編集指示にしたがって素材動画を編集するすなわち編集動画を作成する(S17)。素材動画表示制御部145は、編集部146による素材動画の編集が完了したら、例えば遅滞なく、素材動画を編集した編集動画を、ユーザ端末200に送信する(S18)。編集動画表示部247は、編集動画を取得し、表示装置202に表示する(S19)。ユーザ端末200のSNS投稿指示部248は、編集動画を確認したユーザから、その編集動画のSNSへの投稿指示を受け付け、動画編集支援装置100に投稿指示を送信する(S20)。動画編集支援装置100のSNS投稿部148は、投稿指示された編集動画をSNSに登録する(S21)。
【0113】
図12の一連の処理はあくまでも一例であり、例えば編集するだけでSNSに投稿しない(すなわち動画編集支援システム1のユーザにのみ公開する)場合や、素材動画を編集しない場合もある。また、他のステップを追加したり、一部のステップを変更または削除したり、ステップの順序を入れ替えてもよい。
【0114】
本実施の形態によれば、注目シーンに関連付けられた注目マークが再生時間情報とともに素材動画上に表示される。これにより、編集者としてのユーザは、注目マークを目印に素材動画における注目シーンを容易に把握でき、注目シーンを中心に素材動画を編集して編集動画を作成することができる。つまり、編集者は、より簡便に動画編集できる。
【0115】
また、本実施の形態によれば、注目シーン検出部143による検出処理として第1検出処理が採用された場合、条件記憶部164に記憶されるすべての注目マーク付与条件のそれぞれを満たすシーンが、それぞれ注目シーンとして検出される。この場合、注目マーク付与条件の選択を変更したときの、注目シーンの検出処理の再度の実行を避けられる。
【0116】
また、本実施の形態によれば、注目シーン検出部143による検出処理として第2検出処理が採用された場合、条件記憶部164に記憶される複数の注目マーク付与条件のうち、特定の注目マーク付与条件を満たすシーンのみが注目シーンの検出に使用され、したがって特定の注目マーク付与条件を満たすシーンのみが注目シーンとして検出される。
【0117】
また、本実施の形態によれば、注目シーン検出部143が第1検出処理および第2検出処理を実行可能な場合において、いずれの検出処理により注目シーンを検出するかを、注目シーン検出部143が自動で決定できる。これにより、ユーザに余計な手間が掛かるのを避けられる。
【0118】
また、本実施の形態によれば、素材動画は自由視点動画であり、また編集動画も二次元動画化されたものでない限り自由視点動画である。したがって、仮に編集者が見せたいアングルと閲覧者が見たいアングルとが異なっていても、閲覧者は編集者が見せたいアングルに縛られずに閲覧者が見たいアングルで見ることができる。その結果、より多くの閲覧者からの評価反応(例えば肯定的な評価反応)を期待できる。また、閲覧者は見たいアングルで見ることができるため、編集者が高度な編集技術力を持ち合わせていなくても、閲覧者からの評価反応(特に肯定的な評価反応)を期待できる。また、スケートボードの演技は、スケートボードを初めて見る人やスケートボードに関する知識があまりない人などスケートボードに精通していない人にとって、トリックの凄さや迫力が伝わりにくい場合があるが、様々なアングルから見ることで、その凄さや迫力を理解しやすくなる効果が期待できる。
【0119】
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0120】
(変形例1)
実施の形態では、動画編集支援システム1を、スケートボードの演技を撮影した動画の編集の支援に適用したが、動画編集支援システム1は、スケートボード以外のスポーツをしている様子を撮影した動画の編集の支援にも適用できる。以下、スケートボード以外のスポーツに適用する場合について、実施の形態との相違点を中心に説明する。
【0121】
(変形例1-1)
動画編集支援システム1を、スポーツの一例としてのマラソンに適用する場合について説明する。
【0122】
図13は、変形例に係る動画編集支援システム1の全体構成を示す模式図である。
図13は、
図1に対応する。動画編集支援装置100は、特に限定されないが、データセンタに設置される。
【0123】
マラソンのランナーは、マラソン大会の会場に着いたら、ユーザ端末200などで顔およびゼッケンの少なくとも1つの写真を撮影し、ユーザIDとともに動画編集支援装置100に送信する。これらの写真は、ランナーが映っている動画を特定するのに使用される。ランナーは、荷物を適宜の場所に置いて、マラソンに参加する。
【0124】
なお、ゼッケンの数字や文字列は、あらかじめ動画編集支援装置100のユーザ情報記憶部165に、ユーザIDと対応付けて記憶されていてもよい。この場合、ゼッケンの写真を撮影しなくてもよい。また、顔の写真も撮影しなくてもよい。
【0125】
本変形例では、カメラ10は、マラソン大会のコースの撮影エリア8に設置される。撮影エリア8は、ここではゴールエリアであるが、スタートエリア、その他のエリアであってもよい。本変形例では、カメラ10およびユーザ端末200により撮影される撮影動画には、マラソンをしている様子、すなわちランナーが含まれうる。
【0126】
動画編集支援装置100は、基本的には実施の形態と同様に構成され、
図2と同じブロック図で表される。条件記憶部164は、マラソンに関する複数の注目マーク付与条件を記憶する。以下に、注目マーク付与条件の例を挙げる。なお、注目マーク付与条件は、これに限定されない。
【0127】
[ランナーの表情に関する注目マーク付与条件]
・ランナーが笑っているシーン
・ランナーが泣いているシーン
・ランナーが苦しい表情をしているシーン
・ランナーが悔しい表情をしているシーン
【0128】
[ランナーのポーズに関する注目マーク付与条件]
・ランナーがガッツポーズをしているシーン
・ランナーが万歳をしているシーン
・ランナーが手を振っているシーン
・ランナーが自分の胸を叩いているシーン
【0129】
[ランナーに関するその他の注目マーク付与条件]
・ランナーの片足が接地しているシーン
・ランナーの膝の角度が所定角度以上または所定角度以下であるシーン
【0130】
[評価反応に関する注目マーク付与条件]
・所定人数以上の閲覧者が所定の評価反応、例えば肯定的な評価反応を示したシーン
【0131】
[複合評価に関する注目マーク付与条件]
・ランナーに関する複数の評価項目の値が所定の関係を満たすシーン
【0132】
図14は、複合評価に関する注目マーク付与条件の一例を説明する図である。
図15は、評価項目を説明する図である。
図15では、マラソンのゴールシーンであってランナーが万歳をしている様子を示す。ここでは、第1の評価項目の値としてのランナーの肩関節の外転角度β1と、第2の評価項目の値としてのランナーの胸骨の高さ位置β2とを用いる。なお、この変形例においてランナーの肩関節の外転角度β1は、
図15に示すように上腕と鉛直線とのなす角度である。外転角度β1は、左右の肩関節の外転角度の平均であってもよいし、左右のいずれかの肩関節の外転角度であってもよい。ランナーの胸骨の高さ位置β2は、特に限定されないが、胸骨の中心の地面からの高さ位置であってもよいし、胸骨の所定部分、例えば胸骨柄の地面からの高さ位置であってもよい。胸骨の高さ位置β2は、ランナーの片足が地面に接地している時刻を検出するために用いられる。胸骨の高さ位置β2とは別の評価項目が採用されてもよい。
【0133】
図14のグラフにおいて、横軸は時刻を示し、左側の縦軸は肩関節の外転角度を示し、右側の縦軸は胸骨の高さ位置を示す。グラフ410はランナーの肩関節の外転角度β1の時系列データであり、グラフ412はランナーの胸骨の高さ位置β2の時系列データである。グラフ410,412は特に、ランナーが万歳している最中とその前後を含む時系列データである。
【0134】
ここでは、注目マーク付与条件として、ランナーがゴールするときのシーンであって片足が接地し、かつ、万歳しているシーンを検出するための条件が設定されているものとする。詳しくは、肩関節の外転角度β1が所定の角度以上であるすなわちランナーが万歳している時間範囲のうちの胸骨の高さ位置β2が最も低い位置にある時刻tβ2_minを中心とする所定の時間範囲Tにおいて、肩関節の外転角度β1が最大となる時刻tβ1_maxが注目シーンとして検出される。時間範囲Tは、例えば、0.2~0.3秒間である。なお、肩関節の外転角度β1が最大となる時刻が複数ある場合は、そのうちの時刻tβ2_minに最も近い時刻が注目シーンとして検出される。また、時刻tβ1_maxの前後を含む時間帯が注目シーンとして検出されてもよい。
【0135】
本変形例によれば、マラソンをしている様子を撮影した撮影動画の編集および閲覧について、実施の形態が奏する作用効果と同様の作用効果を奏することができる。
【0136】
(変形例1-2)
動画編集支援システム1を、スポーツの一例としてのバスケットボールに適用する場合について説明する。この場合、カメラ10は、例えばバスケットコートの周囲に配置される。動画編集支援装置100は、例えばデータセンサに設置される。本変形例では、カメラ10およびユーザ端末200により撮影される撮影動画には、バスケットボールをプレイしている様子、具体的には、バスケットボールのプレイヤーおよびバスケットボールのボールが含まれうる。
【0137】
動画編集支援装置100は、基本的に実施の形態と同様に構成される。条件記憶部164は、バスケットボールに関する複数の注目マーク付与条件を記憶する。以下に、注目マーク付与条件の例を挙げる。なお、注目マーク付与条件は、これに限定されない。
【0138】
[プレイヤーに関する注目付与条件]
・プレイヤーが最も高く飛んでいるシーン
・プレイヤーが所定距離以上飛んでいるシーン
・プレイヤーが最も沈んでいるシーン
・プレイヤーの膝の角度が最も大きいまたは最も小さいシーン
・プレイヤーの膝の角度が所定角度以上または所定角度以下であるシーン
・プレイヤーの肘の角度が所定角度以上または所定角度以下であるシーン
【0139】
[ボールに関する注目付与条件]
・ボールがコート面から高さ方向に最も離れているすなわち最も高い位置にあるシーン
・ボールが所定距離以上、コート面から高さ方向に離れているシーン
・ボールの移動速度が最速であるシーン
・ボールの移動速度が所定速度以上であるシーン
・ボールの回転速度が最も高いシーン
・ボールの回転速度が所定速度以上であるシーン
【0140】
[シュートに関する注目付与条件]
・ジャンプシュートをしているシーン
・レイアップシュートをしているシーン
・リバースレイアップシュートをしているシーン
・ダンクシュートをしているシーン
【0141】
[評価反応に関する注目マーク付与条件]
・所定人数以上の閲覧者が所定の評価反応、例えば肯定的な評価反応を示したシーン
【0142】
[複合評価に関する注目マーク付与条件]
・プレイヤーまたはボールに関する複数の評価項目の値が所定の関係を満たすシーン
【0143】
本変形例によれば、バスケットボールをプレイしている様子を撮影した撮影動画の編集および閲覧について、実施の形態が奏する作用効果と同様の作用効果を奏することができる。
【0144】
(変形例1-3)
動画編集支援システム1を、スポーツの一例としてのテニスに適用する場合について説明する。この場合、カメラ10は、例えばテニスコートの周囲に配置される。動画編集支援装置100は、例えばデータセンサに設置される。本変形例では、カメラ10およびユーザ端末200により撮影される撮影動画には、テニスをプレイしている様子、具体的には、テニスのプレイヤー、テニスラケットおよびテニスボールが含まれうる。
【0145】
動画編集支援装置100は、基本的に実施の形態と同様に構成される。条件記憶部164は、テニスに関する複数の注目マーク付与条件を記憶する。以下に、注目マーク付与条件の例を挙げる。なお、注目マーク付与条件は、これに限定されない。
【0146】
[プレイヤーに関する注目付与条件]
・プレイヤーが最も沈んでいるシーン
・プレイヤーの膝が最も曲がっているまたは伸びているシーン
・プレイヤーの膝の角度が所定角度以上または所定角度以下であるシーン
・プレイヤーの肘の角度が所定角度以上または所定角度以下であるシーン
【0147】
[テニスラケットに関する注目付与条件]
・テニスラケットのスイングスピードが最速のシーン
・テニスラケットのスイングスピードが所定速度以上のシーン
・テニスラケットがコート面から高さ方向に最も離れているすなわち最も高い位置にあるシーン
・テニスラケットがコート面から高さ方向に所定距離以上離れているシーン
【0148】
[テニスボールに関する注目付与条件]
・テニスボールがコート面から高さ方向に最も離れているすなわち最も高い位置にあるシーン
・テニスボールがコート面から高さ方向に所定距離以上離れているすなわち最も高い位置にあるシーン
・テニスボールの移動速度が最速であるシーン
・テニスボールの移動速度が所定速度以上であるシーン
・テニスボールの回転速度が最も高いシーン
・テニスボールの回転速度が所定速度以上であるシーン
【0149】
本変形例によれば、テニスをプレイしている様子を撮影した撮影動画の編集および閲覧について、実施の形態が奏する作用効果と同様の作用効果を奏することができる。
【0150】
(変形例2)
動画編集支援システム1は、複数のスポーツの撮影動画の編集および閲覧を支援可能に構成されてもよい。以下、実施の形態との相違点を中心に説明する。
【0151】
まず、カメラ10について説明する。カメラ10は、撮影動画を、撮影したスポーツの種類を示す情報とともに動画編集支援装置100に送信する。例えば、スケートボードパーク2のプレイエリア4に設置されたカメラ10は、撮影動画を、スケートボードを示す情報とともに動画編集支援装置100に送信する。例えば、マラソンコースのゴールエリアなどの撮影エリア8に設置されたカメラ10は、撮影動画を、マラソンを示す情報とともに動画編集支援装置100に送信する。
【0152】
続いて、動画編集支援装置100について説明する。動画編集支援装置100は、基本的には実施の形態と同様に構成され、
図2と同じブロック図で表される。
【0153】
撮影動画記憶部161は、撮影動画を、どのスポーツの撮影動画であるかを識別可能に記憶する。例えば、撮影動画記憶部161は、スポーツの種類と、撮影動画IDと、撮影動画と、を対応付けて記憶してもよい。あるいは、スポーツの種類ごとの撮影動画記憶部16が用意されてもよい。
【0154】
素材動画記憶部162は、素材動画を、どのスポーツの素材動画であるかを識別可能に記憶する。例えば、素材動画記憶部162は、スポーツの種類と、素材動画IDと、素材動画と、注目シーン情報と、を対応付けて記憶してもよい。あるいは、スポーツの種類ごとの素材動画記憶部162が用意されてもよい。
【0155】
編集動画記憶部163は、編集動画を、どのスポーツの編集動画であるかを識別可能に記憶する。例えば、編集動画記憶部163は、スポーツの種類と、編集動画IDと、編集動画と、を対応付けて記憶してもよい。あるいは、スポーツの種類ごとの編集動画記憶部163が用意されてもよい。
【0156】
条件記憶部164は、スポーツの種類ごとに、複数の注目マーク付与条件を記憶する。条件記憶部164は、注目マーク付与条件を、どのスポーツの注目マーク付与条件であるかを識別可能に記憶する。例えば、条件記憶部164は、スポーツの種類と、注目マーク付与条件と、を対応付けて記憶してもよい。あるいは、スポーツの種類ごとの条件記憶部164が用意されてもよい。
【0157】
撮影動画取得部141は、取得した撮影動画が、どのスポーツの撮影動画であるかを判別する。撮影動画取得部141は、その撮影動画を、スポーツの種類を識別可能に撮影動画取得部141に格納する。撮影動画取得部141は、カメラ10から、撮影動画とともにスポーツの種類を示す情報を取得し、その情報に基づいてスポーツの種類を判別してもよい。撮影動画取得部141は、ユーザ端末200から、撮影動画とともに、ユーザが選択したスポーツの種類を示す情報を取得し、その情報に基づいてスポーツの種類を判別してもよい。撮影動画取得部141は、取得した撮影動画がどのスポーツの撮影動画であるかを、公知の、あるいは将来利用可能な画像解析または姿勢解析の技術を用いて判別してもよい。
【0158】
注目シーン検出部143は、素材動画における、スポーツの種類が素材動画と一致する注目マーク付与条件を用いて注目シーンを検出する。例えば、第1検出処理には、条件記憶部164に記憶される複数のマーク付与条件のうち、スポーツの種類が素材動画と一致するすべての注目マーク付与条件を用いる。また、第2検出処理には、条件記憶部164に記憶される複数のマーク付与条件のうちの特定の注目マーク付与条件であって、スポーツの種類が素材動画と一致する特定の注目マーク付与条件を用いる。
【0159】
まとめると、動画編集支援装置100は、各種の動画をスポーツの種類を識別可能に記憶し、素材動画において注目シーンを検出する際にはスポーツの種類が素材動画と一致する注目マーク付与条件を用いて注目シーンを検出する。
【0160】
続いて、ユーザ端末200について説明する。
図16は、ユーザ端末200の機能および構成を示すブロック図である。本変形例のユーザ端末200の処理装置240は、スポーツ選択部250をさらに備える。
【0161】
スポーツ選択部250は、スポーツの種類をユーザに選択させる。このためスポーツ選択部250は、スポーツの種類の一覧画面(図示せず)を表示装置202に表示する。一覧画面には、「スケートボード」、「マラソン」、「バスケットボール」、「テニス」などのスポーツの種類が表示される。ユーザは一覧画面上で撮影動画を選択する。スポーツ選択部250は、選択されたスポーツの種類を取得する。
【0162】
スポーツ選択部250は、適宜のタイミングで、スポーツの種類を選択させる。スポーツ選択部250は、動画編集支援Appが起動された直後にスポーツの種類を選択させてもよいし、スポーツをしている様子をカメラ204で撮影する前または撮影した後にそのスポーツの種類を選択させてもよいし、動画を編集または閲覧するときにスポーツの種類を選択させてもよい。
【0163】
撮影動画送信部242は、撮影動画を、スポーツ選択部250が取得したスポーツの種類とともに動画編集支援装置100に送信する。なお、動画編集支援装置100が撮影動画のスポールの種類を画像解析等により判別可能な場合、撮影動画送信部242は、撮影動画のスポーツの種類を送信しなくてもよい。
【0164】
条件選択部244は、スポーツ選択部250が取得したスポーツの種類に対応する注目付与条件を選択可能な条件選択画面300を表示装置202に表示する。
【0165】
条件選択部244は、スケートボードが選択されている場合、
図5に示したように、以下の注目マーク付与条件を選択可能な条件選択画面300を表示装置202に表示してもよい。
・ライダーに関する注目マーク付与条件
・ボードに関する注目マーク付与条件
・セクションに関する注目マーク付与条件
・トリックに関する注目マーク付与条件
・評価反応に関する注目マーク付与条件
・複合評価に関する注目マーク付与条件
【0166】
条件選択部244は、マラソンが選択されている場合、以下の注目マーク付与条件を選択可能な条件選択画面300を表示装置202に表示してもよい。
・ランナーの表情に関する注目マーク付与条件
・ランナーのポーズに関する注目マーク付与条件
・ランナーに関するその他の注目マーク付与条件
・評価反応に関する注目マーク付与条件
・複合評価に関する注目マーク付与条件
【0167】
条件選択部244は、バスケットボールが選択されている場合、以下の注目マーク付与条件を選択可能な条件選択画面300を表示装置202に表示してもよい。
・プレイヤーに関する注目付与条件
・ボールに関する注目付与条件
・シュートに関する注目付与条件
・評価反応に関する注目マーク付与条件
・評価反応に関する注目マーク付与条件
・複合評価に関する注目マーク付与条件
【0168】
条件選択部244は、テニスが選択されている場合、以下の注目マーク付与条件を選択可能な条件選択画面300を表示装置202に表示してもよい。
・プレイヤーに関する注目付与条件
・テニスラケットに関する注目付与条件
・テニスボールに関する注目付与条件
【0169】
まとめると、ユーザ端末200は、適宜のタイミングでスポーツの種類を選択させる。これにより、ユーザ端末200は、撮影動画を、選択されたスポーツの種類とともに動画編集支援装置100に送信できる。また、ユーザは、選択されたスポーツの種類に対応する注目付与条件を選択できる。
【0170】
(変形例3)
実施の形態および上述の変形例では特に言及しなかったが、閾値を含む注目マーク付与条件については、ユーザがその閾値を指定可能であってもよい。スケートボードを例に説明すると、例えば「ボードが地面から所定距離以上離れているシーン」という注目マーク付与条件において、所定距離をユーザが指定可能であってもよい。閾値を含む注目マーク付与条件が選択された場合、特に限定されないが、閾値を入力可能な画面に遷移して、ユーザの入力を受け付けてもよい。
【0171】
図17(a)、(b)は、条件選択部244が表示装置202に表示する条件選択画面300の一例を示す図である。
図17(a)では、条件選択画面300において、ボードに関する注目マーク付与条件として「ボードが地面から所定距離以上離れているシーン」(画面上の表示は「地面からXXcm以上離れている」)との注目マーク条件が選択されている。これにより、条件選択画面300は、
図17(b)の状態に遷移する。
図17(b)では、条件選択画面300は、ボードに関する注目マーク付与条件の閾値を入力する入力欄303を含む。
図17(b)では、入力欄303に「50」が入力されている。この場合、条件選択部244は、「ボードが地面から50cm以上離れているシーン」との注目マーク付与条件が選択されたことを動画編集支援装置100に通知する。
【0172】
本変形例によれば、よりユーザ好みに注目シーンを検出できる。
【0173】
(変形例4)
実施の形態および上述の変形例では特に言及しなかったが、同じ対象に対して複数の注目マーク付与条件を設定可能であってもよい。スケートボードを例に説明すると、例えば、ボードに関する注目マーク付与条件を2つ以上設定可能であってもよい。
【0174】
図18(a)、(b)は、条件選択部244が表示装置202に表示する条件選択画面300の一例を示す図である。
図18(a)は遷移前の画面であり、
図18(b)は遷移後の画面である。
図18(a)において次へボタンが選択されると
図18(b)に遷移する。
図18(a)に示すように、本変形例の条件選択画面300では、注目マーク付与条件を設定する対象を選択できる。
図18(a)では、ライダーが2つ選択され、ボードが1つ選択されている。この場合、遷移後の
図18(b)に示すように、ライダーに関する注目マーク付与条件を2つ選択でき、ボードに関する注目マーク付与条件を1つ選択できる。
【0175】
本変形例によれば、よりユーザ好みに注目シーンを検出できる。
【0176】
(変形例5)
実施の形態および上述の変形例では素材動画が自由視点動画であったが、素材動画は、撮影動画そのものであってもよいし、1つまたは複数の撮影動画をカット、トリミングまたはつなぎ合わせた動画(非自由視点動画)であってもよい。つまり、素材動画は二次元動画であってもよい。さらなる変形例として、処理装置140が素材動画生成部を備えない構成も考えられる。この場合、撮影動画そのままを、素材動画としてもよい。これらの場合、編集部146は、二次元動画である素材動画を編集して二次元の編集動画を作成する。
【0177】
さらなる変形例として、素材動画が上述のように二次元動画である場合に、編集部146において、その二次元動画を編集して二次元の編集動画を作成した後、その二次元の編集動画における被写体としての対象物を三次元の対象物に変換することによって、自由視点動画化するようにしてもよい。このようにして生成された編集動画を、三次元動画がアップロード可能なSNSプラットホームに対してSNS投稿部148からアップロードしてもよい。
【0178】
(変形例6)
実施の形態および上述の変形例では特に言及しなかったが、1つの素材動画において多数の注目シーンが検出され、多数の注目マークが素材動画上に表示されると、画面が煩雑になる。このため、例えば注目シーン検出部143は、注目マーク付与条件の種類すなわち注目シーンの種類ごとに、時間的に隣り合う注目シーンの間隔が、所定の時間間隔であるT秒以上になるように、注目シーンを検出してもよい。
【0179】
上述した実施の形態および変形例を一般化すると以下の態様が得られる。
【0180】
〔態様1〕
スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得する撮影動画取得部と、
前記撮影動画に基づく素材動画を記憶する素材動画記憶部と、
前記対象物に応じた複数の注目マーク付与条件を記憶する条件記憶部と、
前記素材動画において注目マーク付与条件を満たす注目シーンを検出する注目シーン検出部と、
検出された注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付ける注目マーク付与部と、
前記素材動画を所定の表示装置に表示させる素材動画表示制御部であって、前記素材動画の注目シーンに関連付けられた注目マークを再生時間情報とともに前記素材動画上に表示させる素材動画表示制御部と、
を備える動画編集支援装置。
【0181】
〔態様2〕
前記注目シーン検出部は、前記複数の注目マーク付与条件のうち、撮影したスポーツの種類に応じた注目マーク付与条件を満たす注目シーンを検出する態様1に記載の動画編集支援装置。
【0182】
〔態様3〕
前記注目シーン検出部は、前記条件記憶部に記憶される前記複数の注目マーク付与条件のそれぞれを満たす注目シーンをすべて検出する第1検出処理と、前記条件記憶部に記憶される前記複数の注目マーク付与条件のうちの特定の注目マーク付与条件を満たす注目シーンを検出する第2検出処理と、を実行可能であり、いずれの検出処理を実行するかを、前記素材動画の容量、前記素材動画の長さ、注目シーンを検出する処理速度および外部からの指示の少なくとも1つに基づいて決定する態様1または2に記載の動画編集支援装置。
【0183】
〔態様4〕
前記注目シーン検出部は、前記条件記憶部に記憶される前記複数の注目マーク付与条件のそれぞれを満たす注目シーンをすべて検出し、
前記素材動画表示制御部は、検出された注目シーンのうち、ユーザに選択された注目マーク付与条件に係る注目シーンに関連付けられた注目マークのみを前記素材動画上に表示する態様1または2に記載の動画編集支援装置。
【0184】
〔態様5〕
前記注目シーン検出部は、前記条件記憶部に記憶される前記複数の注目マーク付与条件のうち、ユーザに選択された注目マーク付与条件を満たす注目シーンのみを検出する態様1または2に記載の動画編集支援装置。
【0185】
〔態様6〕
前記撮影動画における前記対象物を三次元の対象物に変換して前記素材動画を生成する三次元化処理部をさらに備える態様1から5に記載の動画編集支援装置。
【0186】
〔態様7〕
前記注目シーン検出部は、前記注目マーク付与条件の種類に応じて、画像解析および姿勢解析のいずれかの方法により、注目シーンを検出する態様1から6のいずれかに記載の動画編集支援装置。
【0187】
〔態様8〕
前記スポーツはスケートボードであり、
前記対象物には、スケートボードのライダー、ライダーが使用するボードおよびライダーが滑走するセクションが含まれる態様1から7のいずれかに記載の動画編集支援装置。
【0188】
〔態様9〕
前記複数の注目マーク付与条件は、スケートボードのトリックに関連する注目マーク付与条件を含む態様8に記載の動画編集支援装置。
【0189】
〔態様10〕
前記複数の注目マーク付与条件は、前記対象物に関する複数の評価項目の値に基づく評価値が最大または最小であるシーンを注目シーンとする注目マーク付与条件を含む態様8または9に記載の動画編集支援装置。
【0190】
〔態様11〕
前記複数の評価項目は、前記スケートボードのライダーに関する評価項目である第1の評価項目および前記ボードに関する評価項目である第2の評価項目を含み、前記評価値は、前記第1の評価項目の値および前記第2の評価項目の値の合計値である態様10に記載の動画編集支援装置。
【0191】
〔態様12〕
前記条件記憶部は、所定人数以上の閲覧者が所定の評価反応を示したシーンを注目シーンとする注目マーク付与条件をさらに記憶する態様1から11のいずれかに記載の動画編集支援装置。
【0192】
〔態様13〕
前記条件記憶部は、所定人数以上の閲覧者が所定の評価反応を示したシーンを注目シーンとする注目マーク付与条件をさらに記憶し、
前記注目シーン検出部は、前記素材動画を閲覧中の閲覧者による、トリックが行われたシーンの終了から所定時間以内に示された所定の評価反応は、当該トリックのシーンに対する評価反応として扱う態様9から11のいずれかに記載の動画編集支援装置。
【0193】
〔態様14〕
前記スポーツはマラソンであり、
前記対象物には、マラソンのランナーが含まれる態様1から7のいずれかに記載の動画編集支援装置。
【0194】
〔態様15〕
前記複数の注目マーク付与条件は、いずれも前記ランナーに関する評価項目である第1の評価項目および第2の評価項目の値が所定の関係を満たすシーンを注目シーンとする注目マーク付与条件を含む態様14に記載の動画編集支援装置。
【0195】
〔態様16〕
前記所定の関係は、前記第2の評価項目の値が最小である時刻を中心とする所定の時間範囲において、前記第1の評価項目の値が最大となる関係である態様15に記載の動画編集支援装置。
【0196】
〔態様17〕
動画編集支援装置が実行する動画編集支援方法であって、
スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得するステップと、
前記撮影動画に基づく素材動画を記憶するステップと、
前記対象物に応じた複数の注目マーク付与条件を記憶するステップと、
前記素材動画において注目マーク付与条件を満たす注目シーンを検出するステップと、
検出された注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付けるステップと、
前記素材動画を所定の表示装置に表示させるステップと、
を備え、
前記表示させるステップでは、前記素材動画の注目シーンに関連付けられた注目マークを再生時間情報とともに前記素材動画上に表示させる動画編集支援方法。
【0197】
〔態様18〕
スポーツをしている様子を撮影した撮影動画であって被写体としての対象物を含む撮影動画を取得する機能と、
前記撮影動画に基づく素材動画を記憶する機能と、
前記対象物に応じた複数の注目マーク付与条件を記憶する機能と、
前記素材動画において注目マーク付与条件を満たす注目シーンを検出する機能と、
検出された注目シーンに対して、その検出に係る注目マーク付与条件の種類に応じた注目マークを関連付ける機能と、
前記素材動画を所定の表示装置に表示させる機能であって、前記素材動画の注目シーンに関連付けられた注目マークを再生時間情報とともに前記素材動画上に表示させる機能と、
をコンピュータに実現させるコンピュータプログラム。
【符号の説明】
【0198】
1 動画編集支援システム、 100 動画編集支援装置、 141 撮影動画取得部、 143 注目シーン検出部、 144 注目マーク付与部、 145 素材動画表示制御部、 162 素材動画記憶部、 164 条件記憶部。