IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許7051406動画編集のための携帯端末、キャプチャ機器、情報処理システム、情報処理方法、情報生成方法及び情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-01
(45)【発行日】2022-04-11
(54)【発明の名称】動画編集のための携帯端末、キャプチャ機器、情報処理システム、情報処理方法、情報生成方法及び情報処理プログラム
(51)【国際特許分類】
   H04N 21/854 20110101AFI20220404BHJP
   H04N 21/436 20110101ALI20220404BHJP
   H04N 5/91 20060101ALI20220404BHJP
   H04N 5/77 20060101ALI20220404BHJP
   H04N 5/232 20060101ALI20220404BHJP
   G11B 27/02 20060101ALI20220404BHJP
   G11B 20/10 20060101ALI20220404BHJP
【FI】
H04N21/854
H04N21/436
H04N5/91
H04N5/77
H04N5/232 290
H04N5/232
G11B27/02 H
G11B27/02 A
G11B20/10 301Z
【請求項の数】 21
(21)【出願番号】P 2017234160
(22)【出願日】2017-12-06
(65)【公開番号】P2019103059
(43)【公開日】2019-06-24
【審査請求日】2020-11-13
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100189913
【氏名又は名称】鵜飼 健
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】福谷 佳之
(72)【発明者】
【氏名】神田 和男
(72)【発明者】
【氏名】志村 和彦
(72)【発明者】
【氏名】尾形 義久
(72)【発明者】
【氏名】志摩 伸之
(72)【発明者】
【氏名】野中 修
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2016-119600(JP,A)
【文献】特開平05-003561(JP,A)
【文献】特開2005-278212(JP,A)
【文献】特開平01-102791(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 - 21/858
H04N 5/76 - 5/956
H04N 5/222 - 5/257
G11B 27/00 - 27/06
G11B 20/10 - 20/16
(57)【特許請求の範囲】
【請求項1】
時間的に連続した複数の画像を含む第1の画像が時間分割されて、それぞれが第1の時間情報を有して単独で再生できる画像として生成された複数の画像片と、前記第1の画像に対応する第1の音声が時間分割されて、それぞれが第2の時間情報を有して単独で再生できる音声として生成された複数の音声片とを通信により取得する端末側通信制御部と、
前記第1の画像の時間範囲の中から第1の時間範囲を指定し、前記第1の音声の時間範囲の中から第2の時間範囲を指定するための端末側操作部と、
受信された複数の前記画像片の中から前記第1の時間範囲に含まれる前記画像片を選択するともに、受信された複数の前記音声片の中から前記第2の時間範囲に含まれる前記音声片を選択する端末側編集部と
を備える、動画編集のための携帯端末。
【請求項2】
前記第1の画像の時間範囲の中から前記第1の時間範囲を指定するための画像範囲選択バーと、前記第1の音声の時間範囲の中から前記第2の時間範囲を指定するための音声範囲選択バーとを表示させる表示情報を生成する端末側表示制御部をさらに備える、請求項に記載の携帯端末。
【請求項3】
それぞれの前記第1の時間情報は、前記第1の画像におけるそれぞれの前記画像片の時間位置であり、それぞれの前記第2の時間情報は、前記第1の音声におけるそれぞれの前記音声片の時間位置である、請求項に記載の携帯端末。
【請求項4】
前記画像片と、前記音声片とを、添付されている時間情報毎に仮記録する仮記録部をさらに備える、請求項に記載の携帯端末。
【請求項5】
前記端末側編集部は、選択した前記画像片と前記音声片とに基づいて、動画ファイルを生成する、請求項に記載の携帯端末。
【請求項6】
前記端末側編集部は、前記第1の時間範囲と、前記第2の時間範囲との各々の時間範囲を個別に編集できる分離編集を制御する、請求項に記載の携帯端末。
【請求項7】
時間的に連続した複数の画像を含む第1の画像と、前記第1の画像に対応する第1の音声とが記録された記録部と、
前記第1の画像を時間分割するとともに第1の時間情報を添付してそれぞれが単独で再生できる画像である複数の画像片を生成し、前記第1の音声を時間分割するとともに第2の時間情報を添付してそれぞれが単独で再生できる音声である複数の音声片を生成する分割部と、
前記画像片と前記音声片とを外部に送信させる機器側通信制御部と
を備える、動画編集のためのキャプチャ機器。
【請求項8】
対象を撮像して画像を出力する撮像部と、
前記対象の音声を収音して音声を出力する収音部と、
前記撮像部の出力する画像及び前記収音部の出力する音声に基づいて、前記第1の画像及び前記第1の音声を前記記録部に記録する記録制御部と
をさらに備える、請求項に記載のキャプチャ機器。
【請求項9】
前記第1の画像の時間範囲の中から第3の時間範囲を指定し、前記第1の音声の時間範囲の中から第4の時間範囲を指定するための機器側操作部をさらに備え、
前記機器側通信制御部は、前記第3の時間範囲に含まれる前記画像片と、前記第4の時間範囲に含まれる前記音声片とを外部に送信させる、請求項に記載のキャプチャ機器。
【請求項10】
前記第1の画像の時間範囲の中から前記第3の時間範囲を指定するための画像範囲選択バーと、前記第1の音声の時間範囲の中から前記第4の時間範囲を指定するための音声範囲選択バーとを表示させる表示情報を生成する機器側表示制御部をさらに備える、請求項に記載のキャプチャ機器。
【請求項11】
請求項乃至のうち何れか1項に記載の携帯端末と、
請求項乃至10のうち何れか1項に記載のキャプチャ機器と、
を備える、情報処理システム。
【請求項12】
時間的に連続した複数の画像を含む第1の画像が時間分割されて、それぞれが第1の時間情報を有して単独で再生できる画像として生成された複数の画像片と、前記第1の画像に対応する第1の音声が時間分割されて、それぞれが第2の時間情報を有して単独で再生できる音声として生成された複数の音声片とを通信により取得することと、
前記第1の画像の時間範囲の中から第1の時間範囲をユーザ操作に応じて指定することと、
受信された複数の前記画像片の中から前記第1の時間範囲に含まれる前記画像片を選択することと、
前記第1の音声の時間範囲の中から第2の時間範囲をユーザ操作に応じて指定することと、
受信された複数の前記音声片の中から前記第2の時間範囲に含まれる前記音声片を選択することと
を含む、動画編集のための情報処理方法。
【請求項13】
前記第1の画像の時間範囲の中から前記第1の時間範囲を指定するための画像範囲選択バーと、前記第1の音声の時間範囲の中から前記第2の時間範囲を指定するための音声範囲選択バーとを表示することをさらに含む、請求項12に記載の情報処理方法。
【請求項14】
選択した前記画像片と前記音声片とに基づいて、動画ファイルの生成を行うことをさらに含む、請求項12に記載の情報処理方法。
【請求項15】
前記第1の時間範囲と、前記第2の時間範囲との各々の時間範囲は、個別に編集される、請求項12に記載の情報処理方法。
【請求項16】
時間的に連続した複数の画像を含む第1の画像と、前記第1の画像に対応する第1の音声とが記録されているキャプチャ機器において、
前記第1の画像を時間分割して単独で再生できる複数の画像片を生成することと、
複数の前記画像片のそれぞれに第1の時間情報を添付することと、
前記第1の音声を時間分割して単独で再生できる複数の音声片を生成することと、
複数の前記音声片のそれぞれに第2の時間情報を添付することと、
前記画像片と前記音声片とを携帯端末へ送信することと
を含む、動画編集のための情報生成方法。
【請求項17】
対象を撮像して前記第1の画像を生成することと、
前記対象の音声を収音して前記第1の音声を生成することと、
前記第1の画像及び前記第1の音声を記録することと
をさらに含む、請求項16に記載の情報生成方法。
【請求項18】
時間的に連続した複数の画像を含む第1の画像が時間分割されて、それぞれが第1の時間情報を有して単独で再生できる画像として生成された複数の画像片と、前記第1の画像に対応する第1の音声が時間分割されて、それぞれが第2の時間情報を有して単独で再生できる音声として生成された複数の音声片とを通信により取得することと、
前記第1の画像の時間範囲の中から第1の時間範囲をユーザ操作に応じて指定することと、
受信された複数の前記画像片の中から前記第1の時間範囲に含まれる前記画像片を選択することと、
前記第1の音声の時間範囲の中から第2の時間範囲をユーザ操作に応じて指定することと、
受信された複数の前記音声片の中から前記第2の時間範囲に含まれる前記音声片を選択することと
をコンピュータに実行させる、動画編集のための情報処理プログラム。
【請求項19】
前記第1の画像の時間範囲の中から前記第1の時間範囲を指定するための画像範囲選択バーと、前記第1の音声の時間範囲の中から前記第2の時間範囲を指定するための音声範囲選択バーとを表示することをさらにコンピュータに実行させる、請求項18に記載の情報処理プログラム。
【請求項20】
選択した前記画像片と前記音声片とに基づいて、動画ファイルの生成を行うことをさらにコンピュータに実行させる、請求項18に記載の情報処理プログラム。
【請求項21】
前記第1の時間範囲と、前記第2の時間範囲との各々の時間範囲は、個別に編集される、請求項18に記載の情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画編集のための携帯端末、キャプチャ機器、情報処理システム、情報処理方法、情報生成方法及び情報処理プログラムに関する。
【背景技術】
【0002】
ユーザは、動画撮影を行うときに、決定的な瞬間を撮り逃すことがないように比較的に長い時間撮影に専念していたり、高画質及び高音質の動画を取得する設定としていたりする。このようにして撮影された動画は、記録に適した品質(画質又は音質)である。一方で、撮影により記録された動画は、冗長であるためにハイライトが分かりにくい動画であることが多い。このため、このような動画は、編集しない状態では、観賞に適さないことが多い。また、このような動画のデータ容量は大きくなる傾向にある。
【0003】
このような中、特に近年のインターネット回線を通じた動画共有においては、簡潔で、見ごたえのある動画に対するニーズが高い。そのため、動画データの送受信や編集に係る技術には需要がある。例えば、特許文献1には、静止画を連続的にモニタへ出力できる映像信号処理装置に係る技術が開示されている。また、例えば、特許文献2には、ビデオタイムスタンプVTSが付された複数の符号化ビデオフレームと、オーディオタイムスタンプATSが付された複数の符号化オーディオフレームとを受信して復号した結果得られる複数のビデオフレームVF1及び複数のオーディオフレームAF1を蓄積し、音声の連続性を保持したままリップシンクさせることができるコンテンツ受信装置に係る技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平2-93492号公報
【文献】特開2005-102192号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、簡易な動画編集を実現できる動画編集のための携帯端末、キャプチャ機器、情報処理システム、情報処理方法、情報生成方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様によれば、動画編集のための携帯端末は、時間的に連続した複数の画像を含む第1の画像が時間分割されて、それぞれが第1の時間情報を有して単独で再生できる画像として生成された複数の画像片と、前記第1の画像に対応する第1の音声が時間分割されて、それぞれが第2の時間情報を有して単独で再生できる音声として生成された複数の音声片とを通信により取得する端末側通信制御部と、前記第1の画像の時間範囲の中から第1の時間範囲を指定し、前記第1の音声の時間範囲の中から第2の時間範囲を指定するための端末側操作部と、受信された複数の前記画像片の中から前記第1の時間範囲に含まれる前記画像片を選択するともに、受信された複数の前記音声片の中から前記第2の時間範囲に含まれる前記音声片を選択する端末側編集部とを備える。
【0009】
本発明の一態様によれば、動画編集のためのキャプチャ機器は、時間的に連続した複数の画像を含む第1の画像と、前記第1の画像に対応する第1の音声とが記録された記録部と、前記第1の画像を時間分割するとともに第1の時間情報を添付してそれぞれが単独で再生できる画像である複数の画像片を生成し、前記第1の音声を時間分割するとともに第2の時間情報を添付してそれぞれが単独で再生できる音声である複数の音声片を生成する分割部と、前記画像片と前記音声片とを外部に送信させる機器側通信制御部とを備える。
【0010】
本発明の一態様によれば、動画編集のための情報処理システムは、前記携帯端末と、前記キャプチャ機器とを備える。
【0011】
本発明の一態様によれば、動画編集のための情報処理方法は、時間的に連続した複数の画像を含む第1の画像が時間分割されて、それぞれが第1の時間情報を有して単独で再生できる画像として生成された複数の画像片と、前記第1の画像に対応する第1の音声が時間分割されて、それぞれが第2の時間情報を有して単独で再生できる音声として生成された複数の音声片とを通信により取得することと、前記第1の画像の時間範囲の中から第1の時間範囲をユーザ操作に応じて指定することと、受信された複数の前記画像片の中から前記第1の時間範囲に含まれる前記画像片を選択することと、前記第1の音声の時間範囲の中から第2の時間範囲をユーザ操作に応じて指定することと、受信された複数の前記音声片の中から前記第2の時間範囲に含まれる前記音声片を選択することとを含む。
【0012】
本発明の一態様によれば、動画編集のための情報生成方法は、時間的に連続した複数の画像を含む第1の画像と、前記第1の画像に対応する第1の音声とが記録されているキャプチャ機器において、前記第1の画像を時間分割して単独で再生できる複数の画像片を生成することと、複数の前記画像片のそれぞれに第1の時間情報を添付することと、前記第1の音声を時間分割して単独で再生できる複数の音声片を生成することと、複数の前記音声片のそれぞれに第2の時間情報を添付することと、前記画像片と前記音声片とを携帯端末へ送信することとを含む。
【0013】
本発明の一態様によれば、動画編集のための情報処理プログラムは、時間的に連続した複数の画像を含む第1の画像が時間分割されて、それぞれが第1の時間情報を有して単独で再生できる画像として生成された複数の画像片と、前記第1の画像に対応する第1の音声が時間分割されて、それぞれが第2の時間情報を有して単独で再生できる音声として生成された複数の音声片とを通信により取得することと、前記第1の画像の時間範囲の中から第1の時間範囲をユーザ操作に応じて指定することと、受信された複数の前記画像片の中から前記第1の時間範囲に含まれる前記画像片を選択することと、前記第1の音声の時間範囲の中から第2の時間範囲をユーザ操作に応じて指定することと、受信された複数の前記音声片の中から前記第2の時間範囲に含まれる前記音声片を選択することとをコンピュータに実行させる。
【発明の効果】
【0014】
本発明によれば、簡易な動画編集を実現できる動画編集のための携帯端末、キャプチャ機器、情報処理システム、情報処理方法、情報生成方法及び情報処理プログラムを提供できる。
【図面の簡単な説明】
【0015】
図1A図1Aは、第1の実施形態に係る情報処理システムの構成例の概略を示すブロック図である。
図1B図1Bは、第1の実施形態に係るキャプチャ機器の構成例の概略を示すブロック図である。
図1C図1Cは、第1の実施形態に係る携帯端末の構成例の概略を示すブロック図である。
図2A図2Aは、第1の実施形態に係る情報処理システムの動作の概要について説明するための図である。
図2B図2Bは、第1の実施形態に係る情報処理システムの動作の概要について説明するための図である。
図2C図2Cは、第1の実施形態に係る情報処理システムの動作の概要について説明するための図である。
図2D図2Dは、第1の実施形態に係る情報処理システムの動作の概要について説明するための図である。
図2E図2Eは、第1の実施形態に係る情報処理システムの動作の概要について説明するための図である。
図3図3は、第1の実施形態に係るキャプチャ機器制御処理の一例を示すフローチャートである。
図4図4は、第1の実施形態に係る画像片及び音声片送信処理の一例を示すフローチャートである。
図5図5は、第1の実施形態に係る仮編集付き再生処理の一例を示すフローチャートである。
図6A図6Aは、第1の実施形態に係る携帯端末制御処理の一例を示すフローチャートである。
図6B図6Bは、第1の実施形態に係る携帯端末制御処理の一例を示すフローチャートである。
図7A図7Aは、第1の実施形態に係る携帯端末における表示の一例を示す模式図である。
図7B図7Bは、第1の実施形態に係る携帯端末及びキャプチャ機器における表示の一例を示す模式図である。
図7C図7Cは、第1の実施形態に係る携帯端末における表示の一例を示す模式図である。
図7D図7Dは、第1の実施形態に係る携帯端末における表示の一例を示す模式図である。
図7E図7Eは、第1の実施形態に係る携帯端末における表示の一例を示す模式図である。
図8図8は、第1の実施形態に係る分離編集処理の一例を示すフローチャートである。
図9A図9Aは、第1の実施形態に係る携帯端末における表示の一例を示す模式図である。
図9B図9Bは、第1の実施形態に係る携帯端末における表示の一例を示す模式図である。
図9C図9Cは、第1の実施形態に係る分離編集処理について説明するための模式図である。
図10A図10Aは、分離編集処理の変形例に係る携帯端末における表示の一例を示す模式図である。
図10B図10Bは、分離編集処理の変形例について説明するための模式図である。
図11A図11Aは、仮編集付き再生処理の別の一例を示すフローチャートである。
図11B図11Bは、仮編集付き再生処理の別の一例を示すフローチャートである。
図12A図12Aは、仮編集付き再生処理の変形例に係るキャプチャ機器における表示の一例を示す模式図である。
図12B図12Bは、仮編集付き再生処理の変形例に係るキャプチャ機器における表示の一例を示す模式図である。
図12C図12Cは、仮編集付き再生処理の変形例に係るキャプチャ機器における表示の一例を示す模式図である。
図12D図12Dは、仮編集付き再生処理の変形例に係るキャプチャ機器における表示の一例を示す模式図である。
図12E図12Eは、仮編集付き再生処理の変形例に係る携帯端末及びキャプチャ機器における表示の一例を示す模式図である。
図12F図12Fは、仮編集付き再生処理の変形例に係る携帯端末における表示の一例を示す模式図である。
【発明を実施するための形態】
【0016】
<構成>
本発明の第1の実施形態について図面を参照して説明する。本実施形態に係る情報処理システム1の構成例の概略をブロック図として図1Aに示す。情報処理システム1は、動画等の情報を取得する情報取得装置と、取得された動画等の情報を処理する情報処理装置としての機能を有する。本実施形態では、図1Aに示すように、情報取得装置と情報処理装置としての機能を有するキャプチャ機器100と、情報処理装置としての機能を有する携帯端末200とを備える情報処理システム1を例として説明をする。
【0017】
本実施形態に係るキャプチャ機器100の構成例の概略をブロック図として図1Bに示す。また、本実施形態に係る携帯端末200の構成例の概略をブロック図として図1Cに示す。キャプチャ機器100は、例えば4K、8Kといった高品質の動画撮影ができるデジタルカメラである。また、本実施形態に係る携帯端末200は、例えばスマートフォン、タブレットPC等の情報端末である。ユーザは、携帯端末200を操作して、キャプチャ機器100によって取得された高品質の動画に基づいて、データ容量が低減されていて他のユーザと共有し易く、気軽に観賞できる動画を簡易に作成する。
【0018】
キャプチャ機器100は、機器側制御部110と、機器側表示部120と、機器側音声再生部130と、機器側操作部140と、機器側記録部150と、機器側通信部160と、機器側撮像部170と、機器側収音部180と、機器側時計部190とを備える。キャプチャ機器100は、画像データに各種画像処理を施す画像処理回路をさらに備えていてもよい。
【0019】
機器側制御部110は、キャプチャ機器100の各部の動作を制御する。機器側制御部110は、機器側情報処理部111としての機能を有する。機器側情報処理部111は、機器側圧縮部112、機器側伸長部113、機器側分割部114、機器側通信制御部115及び機器側記録制御部116としての機能を有する。機器側圧縮部112は、静止画像データ、音声データ及び動画データの圧縮処理を行う。ここで、動画データは、時間的に連続した複数の画像を含む第1の画像と、第1の画像に対応する第1の音声とを含む。また、機器側圧縮部112は、画像データのリサイズ処理を行う。機器側伸長部113は、圧縮されている画像データ、音声データ及び動画データの伸張処理を行う。機器側分割部114は、動画データに含まれる第1の画像及び第1の音声を時間分割する。機器側分割部114は、動画データに含まれる第1の画像(動画コマ)を、特定のタイミング毎に画像化する。機器側分割部114は、動画データに含まれる第1の音声を、特定のタイミング毎に切り出す。以下、このようにして生成された画像データ及び音声データを、それぞれ、画像片及び音声片(音声クリップ)と記載する。機器側分割部114は、各々の画像片に第1の時間情報を添付する。ここで、第1の時間情報は、第1の画像におけるそれぞれの画像片の時間位置である。同様に、機器側分割部114は、各々の音声片に第2の時間情報を添付する。ここで、第2の時間情報は、第1の音声におけるそれぞれの音声片の時間位置である。機器側通信制御部115は、機器側通信部160の通信等の動作を制御する。機器側通信制御部115は、キャプチャ機器100で生成された画像片及び音声片等を携帯端末200へ送信させる。機器側記録制御部116は、機器側記録部150への各種情報の記録を制御する。機器側記録制御部116は、キャプチャ機器100で取得された動画データ(第1の画像及び第1の音声)を、それぞれ、機器側記録部150の画像記録部151及び音声記録部152に記録させる。機器側記録制御部116は、キャプチャ機器100で生成された画像片及び音声片等を、それぞれ、機器側記録部150の画像記録部151及び音声記録部152に仮記録又は記録させる。
【0020】
また、機器側制御部110は、機器側表示制御部と、機器側編集部としての機能をさらに備える。機器側表示制御部は、キャプチャ機器100の備える機器側表示部120に表示させる表示情報を生成する。動画編集時の機器側表示制御部の動作は、後述する端末側表示制御部218と同様である。機器側編集部は、動画編集に係る処理を行う。機器側編集部は、携帯端末200に送信する画像片及び音声片の範囲を設定する仮編集に係る処理を行う。
【0021】
機器側表示部120は、機器側表示制御部の生成する表示情報を表示する。表示情報は、画像データを含む。機器側表示部120は、例えば液晶ディスプレイ、有機ELディスプレイである。機器側表示部120は電子ビューファインダ(EVF)としての機能を有する。機器側音声再生部130は、機器側制御部110の生成する音声情報を再生する。機器側音声再生部130は、例えばスピーカである。機器側操作部140は、ユーザのキャプチャ機器100に対する各種の操作結果を取得するための操作部材を含む。機器側操作部140は、ユーザ操作を取得できる要素であればよく、例えば押しボタン、つまみ、スライダ、ダイヤル、レバー等の機械的な操作部材であってもよいし、タッチパネルであってもよい。
【0022】
機器側記録部150には、キャプチャ機器100が取得した情報、キャプチャ機器100の動作に係る情報等の各種情報が記録される。また、機器側記録部150には、キャプチャ機器100の備える各部で用いられるプログラム及びパラメータが記録される。このプログラムは、動画データを編集するための情報処理プログラムを含む。機器側記録部150には、動画編集時に各種編集画面を機器側表示部120に表示させるために必要な表示用データが記録される。また、機器側記録部150には、キャプチャ機器100の動作時の処理データを含む各種データが一時的に記録される。機器側記録部150は、画像記録部151と、音声記録部152とを備える。画像記録部151には、キャプチャ機器100で取得された静止画像データ、動画データに含まれる時間的に連続した画像を含む第1の画像、キャプチャ機器100で生成された画像片、これらの画像データを示すサムネイル画像等の各種画像データが記録される。音声記録部152には、キャプチャ機器100で取得された音声データ、第1の画像に対応した第1の音声、キャプチャ機器100で生成された音声片等の各種音声データが記録される。音声記録部152には、観賞用動画の生成に用いられる効果音等の音声データが記録されていてもよい。ここで、観賞用動画は、ユーザ等による後の観賞に適するように編集された動画のことである。
【0023】
機器側通信部160は、キャプチャ機器100が他の機器と通信するための回路を備える。キャプチャ機器100と携帯端末200との間の通信は、例えば無線通信によって行われる。機器側通信部160は、第1の機器側通信部161と、第2の機器側通信部162とを備える。第1の機器側通信部161は、Bluetooth(登録商標)通信又はBluetooth Low Energy(BLE)通信に対応した通信回路を備える。第2の機器側通信部162は、Wi-Fi(登録商標)通信に対応した通信回路を備える。例えば、画像データ、音声データ等の通信には比較的に大容量の通信であるWi-Fi通信を実行できる第1の機器側通信部161が用いられる。また、制御信号等の通信には比較的に低消費電力の通信であるBLE通信を実行できる第2の機器側通信部162が用いられる。
【0024】
なお、サムネイル画像等のデータ容量が小さい画像データは、BLE通信によって送受信されてもよい。なお、機器側通信部160は、携帯電話通信に対応した通信回路をさらに備えていてもよい。また、キャプチャ機器100と携帯端末200等のキャプチャ機器100の外部との間の通信は、有線通信によって行われてもよいし、互いにインターネット等の電気通信回線に接続されてインターネット等の電気通信回線を介して通信が行われてもよい。なお、キャプチャ機器100と携帯端末200等の間におけるデータの移動は、例えばUSBメモリ、CD-ROM、ネットワーク上のデータサーバ等の情報処理システム1の外部にある記録媒体を介して行われてもよい。
【0025】
機器側撮像部170は、対象を撮像し、被写体に係る画像データを取得する。機器側撮像部170は、レンズと、撮像素子とを備える。レンズは、対象からの光束を撮像素子の受光面上に結像させる。レンズは、ズームレンズ、フォーカスレンズ等を備えていてもよい。撮像素子は、例えばComplementary Metal-Oxide Semiconductor(CMOS)センサやCharge-Coupled Device(CCD)センサであり、受光面に入射した光束を電気信号(画像信号)に変換する。また、撮像素子は、画像信号を増幅し、デジタル化して画像データを生成するといった前処理も行う。
【0026】
機器側収音部180は、対象の音声を収音し、対象に係る音声データを取得する。機器側収音部180は、例えばマイクロフォンであり、機器側収音部180に入射した音波を電気信号(音声信号)に変換する。また、機器側収音部180は、音声信号を増幅し、デジタル化して音声データを生成したり、音声信号のノイズ除去をしたりするといった前処理も行う。なお、これら前処理は、ハードウェアによって実現されてもよいし、ソフトウェアによって実現されてもよい。
【0027】
機器側時計部190は、日付や時刻に係る情報を生成し、機器側制御部110へ出力する。
【0028】
携帯端末200は、図1Cに示すように、端末側制御部210と、端末側表示部220と、端末側音声再生部230と、端末側操作部240と、端末側記録部250と、端末側通信部260とを備える。
【0029】
端末側制御部210は、携帯端末200の各部の動作を制御する。端末側制御部210は、端末側情報処理部211としての機能を有する。端末側情報処理部211は、端末側圧縮部212と、端末側通信制御部215と、端末側記録制御部216と、端末側編集部217と、端末側表示制御部218としての機能を有する。端末側圧縮部212は、画像データ、音声データ及び動画データの圧縮処理を行う。ここで、動画データは、特定の時間範囲(第1の時間範囲)に含まれる時間的に連続した画像片と、特定の時間範囲(第2の時間範囲)に含まれる時間的に連続した音声片とに基づいて生成された観賞用動画の動画データを含む。また、端末側圧縮部212は、画像データのリサイズ処理を行う。端末側通信制御部215は、端末側通信部260の通信等の動作を制御する。端末側通信制御部215は、キャプチャ機器100で生成された画像片及び音声片等をキャプチャ機器100から受信させる。端末側記録制御部216は、端末側記録部250への各種情報の記録を制御する。端末側記録制御部216は、キャプチャ機器100から取得された画像片及び音声片を、それぞれ、添付されている時間情報毎に端末側記録部250に仮記録させる。端末側記録制御部216は、携帯端末200で生成された観賞用動画の動画データを端末側記録部250に記録させる。端末側編集部217は、観賞用動画の生成に係る各種処理を制御する。端末側編集部217は、端末側操作部240の出力に基づいて、観賞用動画の生成に用いる画像片の時間範囲(第1の時間範囲)と、音声片の時間範囲(第2の時間範囲)とを設定する。端末側編集部217は、画像(画像片)と音声(音声片)との時間範囲を分離して設定する分離編集と、画像(画像片)と音声(音声片)との時間範囲を分離せずに一括して設定する結合編集とを行う。分離編集において、端末側編集部217は、第1の時間範囲と、第2の時間範囲とを、それぞれ個別に設定する。端末側編集部217は、第1の時間範囲に含まれる画像片と、第2の時間範囲に含まれる音声片とに基づいて観賞用動画を生成する。端末側編集部217は、画像片へキャプションを追加する処理や、観賞用動画にタイトル画像等の挿入画像や効果音等を追加する処理を行う。端末側表示制御部218は、端末側表示部220に表示させる表示情報を生成する。表示情報には、動画編集のための表示画面を含む。ここで、動画編集のための表示画面には、分離編集のための表示画面と、結合編集のための表示画面とを含む。分離編集のための表示画面は、第1の時間範囲を設定するための画像範囲選択バーと、第2の時間範囲を設定するための音声範囲選択バーとを含む。結合編集のための表示画面は、画像と音声兼用の範囲選択バーである共通範囲選択バーを含む。
【0030】
端末側表示部220は、端末側表示制御部218の生成する表示情報を表示する。表示情報は、画像データを含む。端末側表示部220は、例えば液晶ディスプレイ、有機ELディスプレイである。
【0031】
端末側音声再生部230は、端末側制御部210の生成する音声情報を再生する。端末側音声再生部230は、例えばスピーカである。
【0032】
端末側操作部240は、ユーザの携帯端末200に対する各種の操作結果を取得するための操作部材を含む。端末側操作部240は、ユーザ操作を取得できる要素であればよく、例えば押しボタン、つまみ、スライダ、ダイヤル、レバー等の機械的な操作部材であってもよいし、タッチパネルであってもよい。なお、本実施形態に係る端末側操作部240は、少なくとも、端末側表示部220上に設けられたタッチパネルを含む。
【0033】
端末側記録部250には、携帯端末200が取得した情報、携帯端末200の動作に係る情報等の各種情報が記録される。また、端末側記録部250には、携帯端末200の備える各部で用いられるプログラム及びパラメータが記録される。このプログラムは、動画データを編集するための情報処理プログラムを含む。端末側記録部250には、動画編集時に各種編集画面を端末側表示部220に表示させるために必要な表示用データが記録される。端末側記録部250は、仮記録部251と、情報記録部252とを備える。仮記録部251には、携帯端末200の動作時の処理データを含む各種データが一時的に記録される。仮記録部251には、キャプチャ機器100から受信された画像片及び音声片が、添付されている時間情報毎に仮記録される。情報記録部252には、携帯端末200で生成された観賞用動画等の各種情報が記録される。情報記録部252には、観賞用動画の生成に用いられる挿入画像、効果音等が記録されていてもよい。
【0034】
端末側通信部260は、携帯端末200が他の機器と通信するための回路を備える。端末側通信部260は、キャプチャ機器100との間で通信を行う。端末側通信部260は、第1の端末側通信部261と、第2の端末側通信部262とを備える。第1の端末側通信部261は、Bluetooth通信又はBLE通信に対応した通信回路を備える。第2の端末側通信部262は、Wi-Fi通信に対応した通信回路を備える。なお、端末側通信部260は、携帯電話通信に対応した通信回路をさらに備えていてもよい。
【0035】
なお、機器側制御部110及び端末側制御部210は、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)又はField Programmable Gate Array(FPGA)等の集積回路等を含む。機器側制御部110及び端末側制御部210は、それぞれ、1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。これら集積回路の動作は、例えば機器側記録部150又は端末側記録部250や集積回路内の記録領域に記録されたプログラムに従って行われるが、集積回路の構成に応じて、ハードウェアによって実現されてもよい。
【0036】
なお、機器側記録部150及び端末側記録部250は、例えばフラッシュメモリ、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)のような不揮発性メモリである。機器側記録部150及び端末側記録部250は、Static Random Access Memory(SRAM)やDynamic Random Access Memory(DRAM)のような揮発性メモリをさらに有していてもよい。機器側記録部150及び端末側記録部250は、それぞれ、1つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。また、機器側記録部150及び端末側記録部250は、外部にあるデータサーバ等を、そのメモリの一部として利用してもよい。
【0037】
<動作の概要>
ここで、本実施形態に係る情報処理システム1の動作の概要について、図2A図2Eを参照して説明する。
【0038】
図2Aは、結婚式のキャンドルサービスのシーン(場面)において、ユーザUが、デジタルカメラ(キャプチャ機器100)を用いて動画撮影している様子を示す。このようなとき、ユーザUは、決定的な瞬間を撮り逃すことがないように比較的に長い時間に渡って動画撮影に専念していたり、高画質及び高音質の動画を取得する設定としていたりする。このようにして撮影された動画は、記録に適した品質(画質又は音質)である。一方で、撮影により記録された動画は、冗長であるためにハイライトが分かりにくい動画であることが多い。このため、このような動画は、編集しない状態では、観賞に適さないことが多い。特に、近年のインターネット等の電気通信回線を通じた動画共有においては、簡潔で、見ごたえのある動画に対するニーズが高い。
【0039】
ユーザUは、図2Bに示すように、例えば帰りの電車内等、動画撮影後に手元のスマートフォン(携帯端末200)を操作して、鞄の中にあるキャプチャ機器100に記録されている動画(元動画)を確認する。しかしながら、元動画は、比較的長時間に渡って高画質又は高音質で撮影された動画であり、データ容量が大きい傾向にある。このような動画が無線通信によってユーザUの手元にある携帯端末200へ送信されることは困難である。また、データ容量の大きい動画ファイルは、インターネット等を介した動画共有に適さないことが多い。
【0040】
そこで、本実施形態に係るキャプチャ機器100は、元動画を伸張し、特定タイミング毎に第1の画像(動画コマ)を1枚の画像(画像片)として生成する。また、各々の画像片には、時間情報(タイムスタンプ)が添付される。以下、画像片に添付される時間情報を第1の時間情報と記載する。図2Cには、時間的に連続した複数の画像片を含む一連の画像片F10として、第1の画像片F1と、第2の画像片F2と、第3の画像片F3と、第4の画像片F4と、第5の画像片F5とが生成された場合が例として示されている。同様に、キャプチャ機器100は、元動画を伸張し、特定タイミング毎に第1の音声を切り分けて、音声片(音声クリップ)を生成する。また、各々の音声片には、時間情報(タイムスタンプ)が添付される。以下、音声片に添付される時間情報を第2の時間情報と記載する。図2Cには、各々の画像片に対応する音声片を含む一連の音声片S10として、第1の音声片S1と、第2の音声片S2と、第3の音声片S3と、第4の音声片S4と、第5の音声片S5とが生成された場合が例として示されている。
【0041】
このように、本実施形態に係るキャプチャ機器100は、第1の画像を時間分割するとともに第1の時間情報を添付して単独で再生できる画像として画像片を生成する。なお、ここでの「単独で再生できる画像」とは、フレーム間圧縮(時間圧縮)された画像のように他の画像を参照することなく再生することができる画像のことである。また、キャプチャ機器100は、第1の画像に対応する第1の音声を時間分割するとともに第2の時間情報を添付して単独で再生できる音声として音声片を生成する。なお、ここでの「単独で再生できる音声」とは、隣接サンプル間の差分をとる等して時間圧縮された音声のように他の音声を参照することなく再生することができる音声のことである。ここで、第1の時間情報は、元動画(第1の画像)における画像片の時間位置を示す。同様に、第2の時間情報は、元動画(第1の音声)における音声片の時間位置を示す。
【0042】
本実施形態に係る携帯端末200は、生成された一連の画像片F10及び一連の音声片S10をキャプチャ機器100から受信し、各々の画像片又は音声片に添付されている時間情報毎に仮記録する。ユーザUは、手元のスマートフォン(携帯端末200)を操作して、時間情報毎に仮記録された一連の画像片F10及び一連の音声片S10に基づいて、共有に適した動画(観賞用動画)を作成する。
【0043】
このとき、図2Dに示すように、ユーザUは、一連の画像片F10の中から、素材画像F20として観賞用動画の作成に用いる画像片の範囲(第1の時間範囲)を選択する。ここで、素材画像F20は、第1の時間範囲内の時間的に連続した画像片である。そのシーン(元動画)を代表するような画像片が含まれる一連の画像片F10の範囲が第1の時間範囲として選択されればよい。例えば、キャンドルサービスの場面であれば、素材画像F20には、キャンドルに火が灯される直前を示す第4の画像片F4と、直後を示す第5の画像片F5とが含まれる。第1の時間範囲の時間幅を示す素材画像時間Tmは、5秒といった値が予め設定されていてもよいし、ユーザUが適宜調節して設定されてもよい。
【0044】
同様に、図2Eに示すように、ユーザUは、一連の音声片S10の中から、素材音声S20として観賞用動画の作成に用いる音声片の範囲(第2の時間範囲)を選択する。ここで、素材音声S20は、第2の時間範囲内の時間的に連続した音声片である。例えば、BGMが盛り上がったとき、皆が拍手したとき等の、そのシーン(元動画)を代表するような音声片が含まれる一連の音声片S10の範囲が第2の時間範囲として選択されればよい。例えば、キャンドルサービスの場面であれば、素材音声S20には、キャンドルに火が灯される前後の音声として、第4の音声片S4と第5の音声片S5とが含まれる。第2の時間範囲の時間幅を示す素材音声時間Tsは、第1の時間範囲(素材画像時間Tm)に合わせて設定されていてもよいし、ユーザUが適宜調節して設定されてもよい。
【0045】
このように、ユーザUは、元動画に由来する画像片及び音声片の各々について、個別に素材画像F20及び素材音声S20として用いる範囲を選択できる。このとき、第1の時間範囲と、第2の時間範囲とは、同一であってもよいし、異なっていてもよい。このため、本実施形態に係る情報処理システム1は、元動画において異なる時間位置に記録されている画像のハイライトと音声のハイライトとが用いられた見ごたえのある観賞用動画を生成できる。
【0046】
また、ユーザUは、生成された素材画像F20と素材音声S20とを適宜組み合わせて、観賞用動画を作成する。このとき、素材画像F20と素材音声S20とに加えて、さらにタイトル画像や効果音が用いられてもよいし、素材画像F20に含まれる画像片に画像処理が施されてもよい。画像片に対する画像処理は、画像片へキャプション等を追加する処理、画像片をモノトーン等に加工する処理等が含まれ得る。また、素材画像F20と素材音声S20とは、素材画像時間Tmと素材音声時間Tsとに応じて、何れか一方が繰り返し再生されるように組み合わせられてもよい。
【0047】
なお、観賞用動画の生成は、ユーザインターフェイス(UI)が豊富なスマートフォン等の携帯端末200で行われ得るが、キャプチャ機器100で行われてもよい。この場合には、例えば、キャプチャ機器100は、ユーザ操作に応じて、素材画像F20と素材音声S20とを、それぞれ生成する。携帯端末200は、ユーザ操作に応じて、キャプチャ機器100から受信した素材画像F20と素材音声S20とに基づいて、観賞用動画を生成する。
【0048】
<動作>
ここで、キャプチャ機器100で行われるキャプチャ機器制御処理の一例をフローチャートとして図3に示し、これを参照して本実施形態に係る情報処理システム1の動作について説明する。以下の処理は、キャプチャ機器100が、電源オフであり、かつ、低消費電力の通信である第1の通信について通信を待機している状態で開始される。
【0049】
ステップS101において、機器側制御部110は、キャプチャ機器100の電源をオンにするか否かを判定する。本判定では、例えば、電源スイッチがオンとされたり、第1の通信の開始要求がされたりしたときには、電源をオンにすると判定される。処理は、電源をオンすると判定された場合はステップS102へ進み、判定されなかった場合は観察装置制御処理を終了し、第1の通信について通信を待機する。なお、処理は、電源をオンすると判定されなかった場合はステップS112へ進んでもよい。
【0050】
ステップS102において、機器側制御部110は、キャプチャ機器100の電源をオンとして、現在のキャプチャ機器100の動作モードが撮影モードであるか否かを判定する。処理は、撮影モードであると判定された場合はステップS103へ進み、判定されなかった場合はステップS109へ進む。
【0051】
ステップS103において、機器側制御部110は、ライブビュー表示と、収音とを開始させる。機器側制御部110は、ライブビュー表示において、機器側撮像部170に撮像を開始させ、撮像して得られた画像に対してライブビュー表示用の画像処理を施し、画像処理後の画像を機器側表示部120に表示させる。機器側制御部110は、機器側収音部180に収音を開始させる。ステップS104において、機器側制御部110は、撮影パラメータに係る操作が行われたか否かを機器側操作部140の出力に基づいて判定する。処理は、撮影パラメータ操作があったと判定された場合はステップS105へ進み、判定されなかった場合はステップS106へ進む。ステップS105において、機器側制御部110は、入力された撮影パラメータに応じた機器側操作部140の出力に基づいて、各種撮影パラメータの値を設定する。
【0052】
ステップS106において、機器側制御部110は、撮影又は音声記録の開始操作が行われたか否かを機器側操作部140の出力に基づいて判定する。処理は、開始操作が行われたと判定された場合はステップS107へ進み、判定されなかった場合はステップS101へ戻る。なお、開始操作は、静止画像を取得する撮影の開始操作であってもよいし、音声データを取得する録音(音声記録)の開始操作であってもよいし、動画を取得する撮影(撮影及び録音)の開始操作であってもよい。ステップS107において、機器側制御部110は、撮影又は音声記録(動画撮影)を開始する。ステップS108において、機器側制御部110は、取得された画像、音声又は画像及び音声(動画)を圧縮してファイル化し、機器側記録部150に記録する。ここで記録される動画は、例えば、記録に適した画質又は音質の動画である。なお、ステップS107及びステップS108の処理は、例えば、撮影又は音声記録(動画撮影)の終了操作が行われるまで継続される。その後、処理はステップS101へ戻る。
【0053】
ステップS109において、機器側制御部110は、通信設定を行うか否かを機器側操作部140の出力に基づいて判定する。処理は、通信設定を行うと判定された場合はステップS110へ進み、判定されなかった場合はステップS111へ進む。ステップS110において、機器側制御部110は、キャプチャ機器100の電源をオンとして、通信に係る各種設定(通信設定)を行う。通信設定では、携帯端末200等のキャプチャ機器100の通信相手に係る情報が登録される。
【0054】
ステップS111において、機器側制御部110は、再生モードが選択されたか否かを機器側操作部140の出力に基づいて判定する。処理は、再生モードが選択されたと判定された場合はステップS117へ進み、判定されなかった場合はステップS112へ進む。
【0055】
ステップS112において、機器側制御部110は、携帯端末200から通信要求があったか否かを判定する。処理は、通信要求があったと判定された場合はステップS113へ進み、判定されなかった場合はステップS101へ戻る。ステップS113において、機器側制御部110は、第2の機器側通信部162に、携帯端末200との間で第2の通信を確立させる。機器側制御部110は、機器側記録部150に記録されている静止画像、音声及び動画の各々を示す代表画像を画像記録部151から読み出し、通信要求を行った携帯端末200へ送信する。ここで、代表画像は、アイコンやサムネイル画像を含む。
【0056】
ステップS114において、機器側制御部110は、携帯端末200から受信した制御信号に基づいて、動画(動画ファイル)が選択されたか否かを判定する。処理は、動画ファイルが選択されたと判定された場合はステップS115へ進み、判定されなかった場合はステップS116へ進む。ステップS115において、機器側制御部110は、画像片及び音声片送信処理を行う。画像片及び音声片送信処理は、上述したように、画像片及び音声片を生成する処理である。画像片及び音声片送信処理の詳細は後述する。処理は、画像片及び音声片送信処理の終了後、ステップS116へ進む。ステップS116において、機器側制御部110は、携帯端末200との間に確立された第2の通信を終了させるか否かを判定する。判定は、ユーザ操作に基づいて行われてもよいし、画像片及び音声片送信処理が終了したか否かに基づいて行われてもよいし、通信が行われていない時間が所定の時間に達したか否かに基づいて行われてもよい。処理は、終了すると判定された場合は第2の通信を終了させてステップS112へ戻り、判定されなかった場合はステップS114へ戻る。
【0057】
ステップS117において、機器側制御部110は、仮編集付き再生処理を実行する。仮編集付き再生処理は、機器側記録部150に記録されている静止画像、音声及び動画を再生する処理である。また、仮編集付き再生処理では、動画ファイルに基づいて、仮編集画像(仮編集コマ)及び仮編集音声が生成され得る。ここで、仮編集画像及び仮編集音声は、任意の時間範囲(仮編集時間範囲)に含まれる時間的に連続した画像片及び音声片である。仮編集付き再生処理の詳細は後述する。処理は、仮編集付き再生処理の終了後、ステップS111へ戻る。
【0058】
ここで、キャプチャ機器制御処理のステップS115で行われる画像片及び音声片送信処理の一例をフローチャートとして図4に示し、これを参照して情報処理システム1の動作について説明をする。
【0059】
ステップS201において、機器側制御部110は、画像片及び音声片を生成する際の元動画をユーザ操作の結果に応じて選択する。元動画の選択は、キャプチャ機器制御処理のステップS114で携帯端末200から受信した制御信号に基づく。その後、機器側制御部110は、選択された動画(動画データ)の伸張を開始する。
【0060】
ステップS202において、機器側制御部110は、動画データを伸張して、特定タイミング毎に第1の画像(動画コマ)を画像化(画像片化)する。画像片化する特定のタイミングは、例えば33msであるが、これに限らない。元の動画ファイルに応じて決定されてもよいし、音声片化のタイミングに応じて決定されてもよいし、通信容量に応じて決定されてもよい。ステップS203において、機器側制御部110は、画像片に時間情報(第1の時間情報)を関連付ける。機器側制御部110は、生成した画像片を携帯端末200へ送信させる。
【0061】
ステップS204において、機器側制御部110は、動画データを伸張して、特定タイミング毎に第1の音声を音声片化(音声クリップ化)する。音声片化する特定のタイミングは、例えば40msであるが、これに限らない。元の動画ファイルに応じて決定されてもよいし、画像片化のタイミングに応じて決定されてもよいし、通信容量に応じて決定されてもよい。ステップS205において、機器側制御部110は、音声片に時間情報(第2の時間情報)を関連付ける。機器側制御部110は、生成した音声片を携帯端末200へ送信させる。
【0062】
ステップS206において、機器側制御部110は、画像片及び音声片送信処理を終了するか否かを判定する。本判定では、例えば、選択された動画(元動画)について、一通り画像片及び音声片の生成及び送信が終了したときに、画像片及び音声片送信処理を終了すると判定される。処理は、終了すると判定されるまで、ステップS202乃至ステップS205の処理を繰り返し、終了すると判定された場合は画像片及び音声片送信処理を終了し、キャプチャ機器制御処理のステップS116へ進む。
【0063】
ここで、キャプチャ機器制御処理のステップS117で行われる仮編集付き再生処理の一例をフローチャートとして図5に示し、これを参照して情報処理システム1の動作について説明をする。
【0064】
ステップS301において、機器側制御部110は、機器側記録部150に記録されている再生可能なコンテンツの一覧を、機器側表示部120に表示させる。ここで、再生可能なコンテンツは、動画ファイルであってもよいし、画像ファイルであってもよいし、音声ファイルであってもよい。
【0065】
ステップS302において、機器側制御部110は、代表画像(サムネイル画像)を選択する操作があったか否かを判定する。本判定では、例えば機器側表示部120の上にタッチパネルが配置されている場合には、代表画像がタッチされたか否かが判定される。処理は、代表画像が選択されたと判定された場合にはステップS304へ進み、判定されなかった場合にはステップS303へ進む。ステップS303において、機器側制御部110は、仮編集付き再生処理(再生モード)を終了してモード選択へ戻るか否かを判定する。本判定は、例えばユーザ操作の結果に基づく。処理は、戻ると判定された場合は仮編集付き再生処理を終了してキャプチャ機器制御処理のステップS111へ戻り、判定されなかった場合はステップS301へ戻る。ステップS304において、機器側制御部110は、ステップS302で選択されたコンテンツを再生する。
【0066】
なお、ステップS302の判定において、動画ファイル以外の再生可能なコンテンツが選択されたと判定される場合もあり得る。この場合には、例えば、ステップS304で当該コンテンツの再生が開始された後、ステップS305で仮編集をしないと判定され続けて、ステップS312で再生を終了すると判定されるまで当該コンテンツに係る再生処理が行われればよい。以下、ステップS302で動画ファイルが選択され、ステップS304で動画ファイルの再生が開始される場合を例として説明を続ける。
【0067】
ステップS305において、機器側制御部110は、再生されている動画について仮編集を行うか否かを判定する。本実施形態に係る仮編集処理は、仮編集画像(仮編集コマ)及び仮編集音声を生成して、携帯端末200へ送信する処理である。ここで、本実施形態に係る仮編集画像は、ユーザによって選択された時間範囲(仮編集時間範囲)に含まれる、画像片である。同様に、本実施形態に係る仮編集音声は、仮編集時間範囲に含まれる、音声片である。本判定では、例えば、動画再生中にユーザが機器側操作部140(タッチディスプレイ)をタッチしたとき等、ユーザが仮編集を指示したときに仮編集を行うと判定される。なお、仮編集の開始位置は、再生に伴って伸張された動画データが仮記録される等して、ユーザが指示したタイミングより前に設定されてもよい。また、仮編集が行われる範囲は、ユーザが開始を指示したタイミングから終了を指示するタイミングまでの間であってもよいし、ユーザが開始を指示したタイミングから所定時間経過するまでの間であってもよい。所定時間は、予め5秒等の値が設定されていてもよいし、ユーザが適宜入力して設定されてもよい。処理は、仮編集を行うと判定された場合はステップS306へ進み、判定されなかった場合はステップS312へ進む。
【0068】
ステップS306において、機器側制御部110は、ステップS202と同様にして、再生のために伸張された元動画(第1の画像)から画像片を生成する。ステップS307において、機器側制御部110は、ステップS203と同様にして、画像片に第1の時間情報(タイムスタンプ)を添付する。ステップS308において、機器側制御部110は、ステップS204と同様にして、元動画(第1の音声)から音声片を生成する。ステップS309において、機器側制御部110は、ステップS205と同様にして、音声片に第2の時間情報(タイムスタンプ)を添付する。ステップS310において、機器側制御部110は、仮編集を終了するか否かを判定する。本判定は、ユーザ操作に基づいて行われてもよいし、仮編集時間範囲として設定されている所定範囲について画像片化及び音声片化が終了したか否かに基づいて行われてもよい。処理は、終了すると判定された場合はステップS311へ進み、判定されなかった場合は、ステップS306へ戻る。
【0069】
ステップS311において、機器側制御部110は、仮編集によって生成された画像片に基づき仮編集画像(仮編集コマ)を生成し、仮編集によって生成された音声片に基づいて仮編集音声を生成する。機器側制御部110は、生成された仮編集画像及び仮編集音声を画像片及び音声片の単位で携帯端末200へ送信させる。
【0070】
ステップS312において、機器側制御部110は、動画(選択された再生可能なコンテンツ)の再生を終了するか否かを判定する。本判定は、コンテンツの再生時間が終了した場合、ユーザの再生終了を指示する操作があった場合等に再生を終了すると判定される。処理は、再生を終了すると判定された場合は仮編集付き再生処理を終了してキャプチャ機器制御処理のステップS111へ戻り、判定されなかった場合はステップS305へ戻る。
【0071】
ここで、図6A及び図6Bに携帯端末200で行われる携帯端末制御処理の一例をフローチャートとして示し、これを参照して情報処理システム1の動作についてより詳細に説明する。
【0072】
ステップS401において、端末側制御部210は、携帯端末200にインストールされている各種アプリ(実行可能な各種機能)を示すアイコンを表示するための表示情報を生成し、生成した表示情報を端末側表示部220に表示させる。
【0073】
このときの表示の一例を図7Aに示す。図7Aに示す表示例では、アイコンとして、動画編集アプリを示す動画編集アイコン801と、メールアプリを示すメールアイコン802と、電話アプリを示す電話アイコン803とが表示されている。また、図7Aに示す表示例では、動画編集アプリ、メールアプリ及び電話アプリ以外のアプリを示すその他アイコン804がさらに表示されている。このように、他のアプリが携帯端末200にインストールされているときには、インストールされているアプリに応じて、表示されるアイコンは適宜変更され得る。なお、その他アイコン804は、その他のアプリを示すアイコンをさらに表示させるアイコンであってもよい。
【0074】
ステップS402において、端末側制御部210は、動画編集アプリが選択されたか否かを判定する。本判定は、端末側操作部240の出力するユーザ操作の結果に基づいて行われる。ユーザ操作は、例えば、ユーザが動画編集アイコン801の表示されている位置をタッチする操作である。本判定では、ユーザによって動画編集アイコン801が選択されたときに、動画編集アプリが選択されたと判定される。また、図7Aに示すように、選択されたアプリを示すアイコンが強調表示されてもよい。処理は、動画取得モードが選択されたと判定された場合はステップS404へ進み、判定されなかった場合はステップS403へ進む。
【0075】
ステップS403において、端末側制御部210は、ステップS401の後にユーザが選択したアイコンの示すアプリに係る処理(その他の処理)を行う。例えば、端末側制御部210は、メールアイコン802が選択されたときには、メールアプリを起動し、メールアプリに係る処理を行う。例えば、端末側制御部210は、電話アイコン803が選択されたときには、電話アプリを起動し、電話アプリに係る処理を行う。処理は、その他の処理が終了した後、ステップS401へ戻る。
【0076】
ステップS404において、端末側制御部210は、動画編集アプリを起動する。端末側制御部210は、動画編集アプリ内の各種機能を示すアイコンを表示するための表示情報を生成し、生成した表示情報を端末側表示部220に表示させる。
【0077】
このときの表示の一例を図7Bに示す。図7Bに示す表示例では、アイコンとして、動画取得アイコン805aと、仮編集データ受信アイコン805bと、画像又は音声データ取得アイコン805cと、通信設定アイコン805dとが表示されている。ここで、動画取得アイコン805aは、動画データをキャプチャ機器100から取得する機能を示すアイコンである。仮編集データ受信アイコン805bは、仮編集データ(仮編集画像及び仮編集音声)をキャプチャ機器100から取得する機能を示すアイコンである。画像又は音声データ取得アイコン805cは、画像又は音声データをキャプチャ機器100から取得する機能を示すアイコンである。通信設定アイコン805dは、通信先となるキャプチャ機器100の情報を登録したり、キャプチャ機器100との間の通信に係る各種設定をしたりする機能を示すアイコンである。また、図7Bに示す表示例では、戻るボタン806がさらに表示されている。戻るボタン806は、前の表示画面へ戻る機能を示すアイコンである。例えば、図7Bに示す表示例における戻るボタン806は、表示画面を図7Aに示す表示例の状態に戻す機能を示すアイコンである。
【0078】
なお、ステップS401及びステップS404において、各種アイコンが一覧表示される場合を例として説明をしたが、これに限らない。各種アイコンは、ユーザのスワイプ操作等に応じて順次表示されてもよい。
【0079】
ステップS405において、端末側制御部210は、動画取得アイコン805aが選択されたか否かを判定する。本判定は、端末側操作部240の出力するユーザ操作の結果に基づいて行われる。ユーザ操作は、例えば、ユーザが動画取得アイコン805aの表示されている位置をタッチする操作である。また、図7Bに示すように、選択された動画編集アプリ内の機能を示すアイコンが強調表示されてもよい。処理は、動画取得アイコン805aが選択されたと判定された場合はステップS406へ進み、判定されなかった場合はステップS418へ進む。
【0080】
ステップS406において、端末側制御部210は、キャプチャ機器100へ第1の通信を用いて通信要求を行う。その後、端末側制御部210は、キャプチャ機器100との間で第2の通信を確立させる。第2の通信が確立した後、端末側制御部210は、キャプチャ機器100に記録されている各々の動画データを示すサムネイル画像を取得する。端末側制御部210は、取得したサムネイル画像を端末側表示部220へ表示させる。
【0081】
このときの表示の一例を図7Cに示す。図7Cに示す表示例では、第1の動画を示す第1のサムネイル画像807と、第2の動画を示す第2のサムネイル画像808と、第3の動画を示す第3のサムネイル画像809と、第4の動画を示す第4のサムネイル画像810とが表示されている。また、図7Cに示す表示例では、送り/戻しボタン811と、選択ボタン812と、戻るボタン806とが、さらに表示されている。送り/戻しボタン811は、編集する動画データの切り替えを行う際にユーザによって選択されるボタンである。例えば、図7Cでは、ユーザによる送り/戻しボタン811の操作の結果、第4のサムネイル画像810が仮選択されている状態の表示例が示されている。図7Cに示すように、仮選択されたサムネイル画像は、例えば太枠線で囲まれた強調表示等により、仮選択されていることがユーザに分かるように他のサムネイル画像と区別されていてもよい。選択ボタン812は、送り/戻しボタン811の操作によって仮選択されている動画データを、ユーザが編集する動画データであると選択するためのボタンである。戻るボタン806は、前の表示画面へ戻る機能を示すアイコンであり、例えば、図7Cに示す表示例では、表示画面を図7Bに示す表示例の状態に戻す機能を示すアイコンである。
【0082】
なお、通信要求の送信先は、例えば、後述する通信設定において予め通信相手として設定されているキャプチャ機器100であるが、これに限らない。例えば、本ステップにおいて、キャプチャ機器100が第1の通信で検索されてもよいし、キャプチャ機器100が通信相手として登録されてもよい。
【0083】
なお、第2の通信によってサムネイル画像がキャプチャ機器100から取得されると説明したが、これに限らない。サムネイル画像は、第1の通信によって取得されてもよい。
【0084】
ステップS407において、端末側制御部210は、何れかの動画データが選択されたか否かを判定する。本判定は、端末側操作部240の出力するユーザ操作の結果に基づいて行われる。ユーザ操作は、例えば、何れかのサムネイル画像が仮選択されている状態でユーザが選択ボタン812をタッチする操作である。なお、ユーザによるサムネイル画像の仮選択は、ユーザが編集したいサムネイル画像の表示されている位置をタッチして行われてもよいし、ユーザが送り/戻しボタン811を操作してサムネイル画像を順次仮選択しながら行われてもよい。本判定では、ユーザが何れかのサムネイル画像を選択したと判定された場合に、何れかの動画データが選択されたと判定される。処理は、何れかの動画データが選択されたと判定された場合はステップS409へ進み、判定されなかった場合はステップS408へ進む。ステップS408において、端末側制御部210は、戻るボタン806が選択されたか否かを判定する。処理は、選択されたと判定されなかった場合はステップS407へ戻り、判定された場合はステップS404へ戻る。したがって、本ステップで戻るボタン806が選択されたと判定された場合は、表示画面は、図7Cに示す表示例から、図7Bに示す表示例へと戻る。
【0085】
ステップS409において、端末側制御部210は、ステップS407で選択されたと判定された動画データに基づいて生成された画像片と音声片とを、キャプチャ機器100から順次、画像片及び音声片の単位で受信する。画像片と音声片とは、第2の通信を介して受信される。なお、ステップS406において第1の通信によってサムネイル画像が受信された場合には、第2の通信は、本ステップの処理に先立って確立されればよい。
【0086】
ステップS410において、端末側制御部210は、受信した画像片と音声片とを、各々に付された時間情報(タイムスタンプ)毎に仮記録部251へ仮記録する。このようにして画像片と音声片とが受信されて仮記録された後の表示の一例を図7Dに示す。図7Dに示す表示例では、プレビュー画面813と、送り/戻しボタン811と、再生ボタン814と、編集ボタン815と、戻るボタン806とが表示されている。ユーザは、受信した動画データ(画像片及び音声片)について、再生ボタン814を操作することで、プレビュー画面813で再生して確認できる。また、ユーザは、戻るボタン806を操作して図7Cに示す表示画面に戻り、別の動画データを選択することもできる。また、ユーザは、送り/戻しボタン811を操作して、別の動画データを再度選択することもできる。また、ユーザは、プレビュー画面813に表示されている動画データを編集したいときには、編集ボタン815を操作する。処理は、ユーザが編集ボタン815を操作した後に、ステップS411へ進む。
【0087】
ステップS411において、端末側制御部210は、結合編集用の表示情報を生成し、端末側表示部220に表示させる。このときの表示の一例を図7Eに示す。図7Eに示す表示例では、編集用プレビュー画面817と、共通時間幅818と、共通プレビューボタン819と、共通範囲選択バー820と、分離編集ボタン825と、戻るボタン826と、決定ボタン827とが表示されている。
【0088】
編集用プレビュー画面817は、編集中の素材動画(素材画像)を再生して確認するプレビュー表示ための表示画面である。共通時間幅818は、現在の共通範囲選択バーが示す時間範囲(共通時間範囲)の時間幅を表示するものであり、図7Eに示す表示例では、共通時間範囲の時間幅が1分30秒であることを示している。共通プレビューボタン819は、編集中の素材動画を再生して確認するためのプレビュー再生の開始を指示するためのボタンである。
【0089】
共通範囲選択バー820は、結合編集において、観賞用動画の生成に用いる画像片及び音声片の時間範囲(共通時間範囲)を設定するためのスライドバーである。共通範囲選択バー820は、共通時間スケール821と、共通始点822と、共通終点823と、共通位置インジケータ824とを含む。共通時間スケール821は、左端が元動画の開始位置を示し、右端が元動画の終了位置を示す時間軸である。共通始点822は、共通時間範囲の開始位置(開始時間)を示す。共通終点823は、共通時間範囲の終了位置(終了時間)を示す。共通位置インジケータ824は、現在、編集用プレビュー画面817に表示されている画像片の、元動画(受信した画像片及び音声片)に対する時間の位置を示す。ユーザは、共通始点822と、共通終点823とを共通時間スケール821上で各々に動かして、共通始点822と、共通終点823との間の範囲を素材動画として切り出す範囲として選択する。また、ユーザは、共通位置インジケータ824を共通時間スケール821上で動かして、共通時間スケール821上の各々の位置(時間)における画像片(音声片)を確認できる。また、ユーザが共通プレビューボタン819を選択したときには、共通位置インジケータ824の位置(時間)から、動画データのプレビュー(再生)が行われる。
【0090】
分離編集ボタン825は、分離編集の開始を指示するためのボタンである。分離編集の詳細は後述する。戻るボタン826は、図7Dに示す表示例の状態に表示画面を戻すためのボタンである。決定ボタン827は、共通範囲選択バー820が示す範囲を素材動画の範囲として決定するためのボタンである。決定ボタン827が選択されたときには、共通範囲選択バー820の示す範囲(共通時間範囲)に含まれる画像片及び音声片に基づいて、素材画像及び素材音声が生成される。
【0091】
ステップS412において、端末側制御部210は、分離編集が選択されたか否かを判定する。本判定は、端末側操作部240の出力するユーザ操作の結果に基づいて行われる。ユーザ操作は、例えば、ユーザが分離編集ボタン825をタッチする操作である。処理は、分離編集が選択されたと判定された場合はステップS413へ進み、判定されなかった場合はステップS416へ進む。
【0092】
ステップS413において、端末側制御部210は、分離編集処理を行う。ここで、本実施形態に係る分離編集処理の一例をフローチャートとして図8に示す。
【0093】
ステップS501において、端末側制御部210は、画像片と音声片との各々の時間範囲(第1の時間範囲及び第2の時間範囲)を個別にユーザに選択させるために、各々に対応した範囲選択バーをそれぞれ表示(分離表示)する。
【0094】
このときの表示の一例を図9Aに示す。図9Aに示すように、分離編集処理における表示では、共通範囲選択バー820の代わりに、画像範囲選択バー820aと、音声範囲選択バー820bとが表示される。ここで、画像範囲選択バー820aは、素材画像として用いられる画像片の時間範囲(第1の時間範囲)を選択するための範囲選択バー(画像対応バー)である。音声範囲選択バー820bは、素材音声として用いられる音声片の時間範囲(第2の時間範囲)を選択するための範囲選択バー(画像対応バー)である。なお、上述した共通範囲選択バー820は、音声兼用の画像対応バーとも表現できる。すなわち、共通範囲選択バー820は、第1の時間範囲と第2の時間範囲とが常に一致した状態で、時間範囲(共通時間範囲)を選択するための範囲選択バーとも表現できる。
【0095】
同様に、共通時間スケール821は、画像時間スケール821a及び音声時間スケール821bに分離表示される。共通始点822は、画像始点822a及び音声始点822bに分離表示される。共通終点823は、画像終点823a及び音声終点823bに分離表示される。共通位置インジケータ824は、画像位置インジケータ824a及び音声位置インジケータ824bに分離表示される。また、共通時間幅818と、共通プレビューボタン819とは、それぞれ、画像時間幅818a及び音声時間幅818bと、画像プレビューボタン819a及び音声プレビューボタン819bとに分離表示される。
【0096】
また、画像時間幅818a及び音声時間幅818bの横には、それぞれ、画像片と音声片とのうち何れの範囲選択を行うかを指定するために、画像範囲選択ボタン828と、音声範囲選択ボタン829とが設けられている。例えばユーザは、画像片の範囲(第1の時間範囲)を選択するときには、画像範囲選択ボタン828を選択した後に、画像範囲選択バー820aを操作する。なお、画像片の範囲(第1の時間範囲)を選択するときには、画像範囲選択ボタン828を選択することなく、直接的に画像範囲選択バー820aが操作されるような構成であってもよい。図9Aの表示例では、画像範囲選択ボタン828が選択されて強調表示されている場合が示されている。なお、画像範囲選択ボタン828と、音声範囲選択ボタン829とは、画像と音声とのうち何れの範囲選択に係る処理が行われているかを表示するためのアイコンであってもよい。図9Aの表示例では、戻るボタン826と、決定ボタン827とがさらに表示されている。図9Aの表示例での戻るボタン826は、表示画面を図7Eに示す表示例の状態に戻すためのボタンである。決定ボタン827は、現在の画像範囲選択バー820a及び音声範囲選択バー820bの示す時間範囲を、それぞれ、第1の時間範囲及び第2の時間範囲として決定するためのボタンである。
【0097】
ステップS502において、端末側制御部210は、画像範囲選択に係る操作が行われたか否かを判定する。本判定では、画像範囲選択ボタン828が操作されたり、画像範囲選択バー820aが操作されたりしたときに、画像範囲選択に係る操作が行われたと判定され得る。処理は、画像範囲選択に係る操作が行われたと判定された場合はステップS503へ進み、判定されなかった場合はステップS504へ進む。ステップS503において、端末側制御部210は、ユーザ操作の結果を取得し、ユーザ操作に応じた位置に画像始点822aや画像終点823aを表示させる。また、変更後の画像時間幅818aを算出し、表示を更新する。その後、処理はステップS504へ進む。
【0098】
ここで、ステップS503において、画像範囲に係る操作が行われた場合の表示の一例を図9Bに示す。図9Bに示す表示例は、図9Aに示す表示の状態から、画像範囲選択バー820aの画像始点822a及び画像終点823aの位置が変更されたときの表示の状態を示す。このとき、変更後の画像始点822a及び画像終点823aの位置に基づき、更新された画像時間幅818aaが表示される。以下、更新された画像時間幅818aaが、図9Bの表示例に示すように、30秒である場合を例として説明を続ける。
【0099】
ステップS504において、端末側制御部210は、音声範囲選択に係る操作が行われたか否かを判定する。本判定では、音声範囲選択ボタン829が操作されたり、音声範囲選択バー820bが操作されたりしたときに、音声範囲に係る操作が行われたと判定され得る。処理は、音声範囲選択に係る操作が行われたと判定された場合はステップS505へ進み、判定されなかった場合はステップS506へ進む。ステップS505において、端末側制御部210は、ユーザ操作の結果を取得し、ユーザ操作に応じた位置に音声始点822bや音声終点823bを表示させる。また、変更後の音声時間幅818bを算出し、表示を更新する。その後、処理はステップS506へ進む。
【0100】
ステップS506において、端末側制御部210は、確認再生、送り又は戻し等の操作があったか否かを判定する。本判定では、画像プレビューボタン819a又は音声プレビューボタン819bが選択されたと判定されたときに確認再生の操作があったと判定される。本判定では、画像位置インジケータ824a又は音声位置インジケータ824bの操作があったと判定されたときには送り又は戻し操作があったと判定される。なお、画像位置インジケータ824a又は音声位置インジケータ824bの位置が左端へ向かって移動させられた場合は戻し操作があったと判定される。また、画像位置インジケータ824a又は音声位置インジケータ824bの位置が右端へ向かって移動させられた場合は送り操作があったと判定される。処理は、確認再生、送り又は戻し等の操作があったと判定された場合はステップS507へ進み、判定されなかった場合はステップS508へ進む。ステップS507において、端末側制御部210は、確認再生、送り又は戻し等のユーザ操作に応じた処理を行う。その後、処理はステップS508へ進む。
【0101】
ステップS508において、端末側制御部210は、分離編集における範囲指定を終了するか否かを判定する。本判定では、決定ボタン827が操作されたときに、分離編集における範囲指定を終了すると判定される。処理は、終了すると判定された場合はステップS509へ進み、判定されなかった場合はステップS501へ戻る。
【0102】
ステップS509において、端末側制御部210は、キャプションやタイトル等の編集画面を表示させる。また、端末側制御部210は、ユーザの操作結果に応じて画像片にキャプションを追加する等の画像処理を施したり、観賞用動画の生成に用いられる画像片以外の挿入画像を生成したりする。ステップS510において、端末側制御部210は、それぞれに範囲指定された素材画像、素材音声、その他画像等との組合せ指定を行う。
【0103】
ここで、分離編集処理で生成される観賞用動画について説明するための図を模式図として図9Cに示し、ステップS509及びステップS510の処理についてより詳細に説明をする。図9Cに示すように、ユーザは、タイトル画像F30、エンディング画像F50等の挿入画像を作成する。例えば、ユーザは、例えばHappy Wedding等の、観賞用動画のタイトル、コメント等を入力して、タイトル画像F30を作成する。また、ユーザは、タイトル画像F30と、素材画像F40と、エンディング画像F50との組合せ、並び順等を指定する。このとき、ユーザは、素材画像とは分離して範囲指定された素材音声を聞きながら、素材画像、挿入画像の位置を指定したりする。図9Cでは、元動画の3分から3分30秒までの範囲が素材画像として用いられており、元動画の2分30秒から4分までの範囲が素材音声として用いられている場合が例として示されている。例えば、ユーザは、拍手や歓声が大きくなり会場が盛り上がったときの音声の位置に、そのシーンを代表する画像(画像片)を含む素材画像を配置する。
【0104】
ステップS511において、端末側制御部210は、分離編集を終了するか否かを判定する。本判定では、決定ボタン827が選択されたと判定されたときに分離編集を終了すると判定される。端末側制御部210は、分離編集を終了すると判定されたときには、表示を図7Eの表示例の状態にする。処理は、終了すると判定されなかった場合はステップS501へ戻り、終了すると判定された場合は携帯端末制御処理のステップS414へ進む。
【0105】
ここで、図6A及び図6Bを再び参照して、携帯端末制御処理の説明を続ける。ステップS414において、端末側制御部210は、動画編集を終了するか否かを判定する。本判定では、決定ボタン827が選択されたと判定されたときに動画編集を終了すると判定される。処理は、終了すると判定された場合はステップS415へ進み、判定されなかった場合はステップS412へ戻る。
【0106】
ステップS415において、端末側制御部210は、素材画像、素材音声、挿入画像等に基づいて、観賞用動画の動画ファイルを生成する。また、端末側制御部210は、生成した動画ファイルを端末側記録部250の情報記録部252へ記録する。その後、処理はステップS401へ戻る。
【0107】
ステップS416において、端末側制御部210は、分離編集処理のステップS502乃至ステップS507の処理と同様にして、観賞用動画の生成に用いられる画像片及び音声片の範囲(共通時間範囲)を、ユーザ操作に応じて決定する結合編集処理を実行する。上述したように、結合編集に係る処理は、ユーザによる共通範囲選択バー820等の操作に応じて行われる。そのため、結合編集において、素材画像又は素材音声として指定される画像片又は音声片の時間の位置や時間幅、すなわち時間範囲(共通時間範囲)は同一である。ステップS417において、端末側制御部210は、分離編集処理のステップS508と同様にして、キャプション、タイトル等を編集する。その後、処理はステップS414へ進む。
【0108】
ステップS418において、端末側制御部210は、仮編集データ(仮編集画像及び仮編集音声)をキャプチャ機器100から受信するか否かを判定する。このときの表示は、図7Bに示す表示例の状態である。本判定は、仮編集データ受信アイコン805bが選択されたか否かに基づいて行われてもよいし、キャプチャ機器100から通信要求があったか否かに基づいて行われてもよい。処理は、受信すると判定された場合はステップS419へ進み、判定されなかった場合はステップS420へ進む。ステップS419において、端末側制御部210は、仮編集画像及び仮編集音声を画像片及び音声片の単位でキャプチャ機器100から受信する。受信された仮編集画像及び仮編集音声に含まれる画像片及び音声片は、各々に添付されている時間情報毎に仮記録部251に仮記録される。仮記録された仮編集画像及び仮編集音声は、ステップS411乃至ステップS414の処理と同様にして、編集され得る。その後、処理はステップS404へ戻る。
【0109】
ステップS420において、端末側制御部210は、通信設定を行うか否かを判定する。このときの表示は、図7Bに示す表示例の状態である。本判定は、通信設定アイコン805dが選択されたか否かに基づいて行われてもよいし、キャプチャ機器100から通信要求があったか否かに基づいて行われてもよい。処理は、通信設定を行うと判定された場合はステップS421へ進み、判定されなかった場合はステップS422へ進む。ステップS421において、端末側制御部210は、通信設定を行う。通信設定では、通信相手としてキャプチャ機器100に係る情報が登録されたりする。その後、処理はステップS404へ戻る。
【0110】
ステップS422において、端末側制御部210は、動画編集アプリを終了するか否かを判定する。このときの表示は、図7Bに示す表示例の状態である。本判定では、戻るボタン806が選択されたときに動画編集アプリを終了すると判定される。端末側制御部210は、動画編集アプリを終了すると判定されたときには、表示を図7Aに示す表示例の状態にする。処理は、終了すると判定されなかった場合はステップS404へ戻り、判定された場合はステップS401へ戻る。
【0111】
<利点>
本実施形態に係るキャプチャ機器100は、特定タイミング毎に元動画の第1の画像(動画コマ)を画像化して画像片を生成し、また、特定タイミング毎に第1の画像に対応する第1の音声を切り分けて音声片(音声クリップ)を生成することができる。キャプチャ機器100は、これら画像片と音声片との各々に時間情報(第1の時間情報と第2の時間情報)を添付し、生成された画像片及び音声片の単位で携帯端末200へ送信できる。画像片及び音声片は、それぞれ単独で再生され得る。また、本実施形態に係るキャプチャ機器100は、携帯端末200へ送信する画像片及び音声片の範囲(仮編集時間範囲)を指定することもできる。
【0112】
このようにして、本実施形態に係るキャプチャ機器100は、高品質の元動画をそのまま携帯端末200へ送信する場合と比べて、通信に係るデータ容量を低減できる。通信されるデータ容量の低減は、電力消費の低減や記録容量の節約に寄与することから、キャプチャ機器100や携帯端末200が携帯機器である場合には、特に有用である。
【0113】
また、本実施形態に係る携帯端末200は、画像片及び音声片をキャプチャ機器100から取得し、時間情報毎に仮記録する。また、携帯端末200は、時間情報毎に仮記録された画像片及び音声片に基づいた結合編集又は分離編集により、観賞用動画を生成できる。このため、ユーザは、スマートフォン等の携帯端末200で簡易に動画データを取得して確認したり、編集して共有に適した観賞用動画を作成したりできる。
【0114】
また、本実施形態に係る携帯端末200の備える端末側表示制御部218は、分離編集において、第1の時間情報に対応した画像範囲選択バーと、第2の時間情報に対応した音声範囲選択バーとを表示させる表示情報を生成する。画像範囲選択バー及び音声範囲選択バーの示す各々の時間範囲は、端末側操作部240の取得したユーザ操作の結果に応じてそれぞれ変化する。端末側編集部217は、画像範囲選択バーの示す時間範囲を、観賞用動画の生成に用いられる画像片の時間範囲(第1の時間範囲)として取得し、音声範囲選択バーの示す時間範囲を、音声片の時間範囲(第2の時間範囲)として取得する。このため、ユーザは、スマートフォン等の携帯端末200で簡易に動画データを編集して、元動画において異なる時間位置に記録されている画像のハイライトと音声のハイライトとを含む見ごたえのある観賞用動画を生成できる。
【0115】
以上のことから、本実施形態に係る技術は、元の動画データより時間的に短縮された観賞用動画データ(音声付き編集動画像データ)を得るように構成された動画編集システムを実現できるとも表現できる。ここで、元の動画データは、上述の実施形態に係る時間的に連続した複数の画像を含む第1の画像(画像データ)と、第1の画像に対応する第1の音声(音声データ)とを含む。
【0116】
動画編集システムは、画像データと、画像データと同時に収音された音声データとが同時に動画データとして記録される記録部を備える。この記録部は、例えば上述の実施形態に係るキャプチャ機器100の備える機器側記録部150であるが、携帯端末200の備える端末側記録部250であってもよい。また、画像データは、例えば上述の実施形態に係る機器側撮像部170によって取得されるが、携帯端末200が端末側撮像部を備えて端末側撮像部によって取得されてもよいし、動画編集システムの外部から取得されてもよい。同様に、画像データと同時に収音される音声データは、例えば上述の実施形態に係る機器側収音部180によって取得されるが、携帯端末200が端末側収音部を備えて端末側撮像部によって取得されてもよいし、動画編集システムの外部から取得されてもよい。
【0117】
動画編集システムでは、記録された画像データの中から第1のタイミングで画像片が切り取られる。また、画像データと同時に記録された音声データから第2のタイミングで音声片が切り取られる。ここで、第1のタイミングと第2のタイミングとは同じであってもよいし、異なっていてもよい。
【0118】
動画編集システムは、第1のタイミングで切り取られた画像片と、第2のタイミングで切り取られた音声片とから、元の動画データ(画像データ及び音声データ)より時間的に短縮された音声付き編集動画像データを得るように構成されている。なお、音声付き編集動画像データの生成は、例えば、上述の実施形態に係る携帯端末200において行われるが、キャプチャ機器100で行われてもよい。
【0119】
なお、音声データは、画像データと同時に取得された音声データであると記載したが、これは、本動画編集システムが単一の動画ファイル(元の動画データ)に含まれる画像データ(第1の画像)と音声データ(第1の音声)とを編集するためのシステムであることを示している。したがって、画像データと音声データとは、単一の動画ファイルとして記録されていればよく、必ずしも同時に取得されたものに限らない。
【0120】
<変形例>
(分離編集処理の変形例)
なお、分離編集処理では、同一の素材画像が繰り返し用いられて、素材音声と組み合わされてもよい。同様に、同一の素材音声が繰り返し用いられて、素材画像と組み合わされてもよい。ここで、素材画像が繰り返し用いられて観賞用動画を生成するときの表示の一例を図10Aに示し、素材画像が繰り返し用いられた観賞用動画について説明するための図を模式図として図10Bに示す。図10A及び図10Bを参照して、素材画像が繰り返し用いられて観賞用動画が生成される場合の処理についてより詳細に説明をする。図10Aに示す表示は、画像範囲選択バー820aが操作されて画像時間幅818aが指定された後の状態である。例えば、画像時間幅818aの表示位置がタッチされる等して選択されたとき、当該表示位置には画像繰り返しボタン818abが表示される。画像繰り返しボタン818abが選択されたとき、図10Bに示すように、現在指定されている画像時間幅818aの素材画像が繰り返し用いられて観賞用動画が生成される。このとき、さらにタイトル等の挿入画像が用いられたり、素材画像を構成する画像片にキャプションが付加されたりしてもよい。
【0121】
なお、上述の実施形態及び変形例では、画像片及び音声片に加えて挿入画像が用いられて観賞用動画が生成される場合を例として説明したが、これに限らない。観賞用動画は、画像片及び音声片のみに基づいて生成されてもよいし、画像片及び音声片に加えて効果音、又は挿入画像及び効果音が用いられて生成されてもよい。
【0122】
なお、上述の実施形態及び変形例では、ユーザがタイトル等を入力して挿入画像が生成される場合を例として説明をしたが、これに限らない。挿入画像や効果音は、インターネット等の電気通信回線上のサーバ等から取得されてもよいし、機器側記録部150又は端末側記録部250から取得されてもよい。このとき、挿入画像や効果音として、他の元動画から生成された画像片や音声片が用いられてもよい。また、携帯端末200がカメラを備えている場合には、携帯端末200が撮像して取得された画像データが挿入画像として用いられてもよい。同様に、携帯端末200がマイクを備えている場合には、携帯端末200が収音して取得された音声データが効果音として用いられてもよい。
【0123】
なお、上述の実施形態及び変形例では、第1の時間範囲に含まれる画像片(素材画像)の前後に挿入画像が追加される場合を例として説明をしたが、これに限らない。挿入画像は、画像片(素材画像)と画像片(素材画像)との間に挿入されてもよいし、画像片に重畳されてもよい。同様に、効果音は、音声片(素材音声)と音声片(素材音声)との間に挿入されてもよいし、音声片と重ね合わせるように追加されてもよい。
【0124】
なお、機器側情報処理部111の機能の一部は、キャプチャ機器100の外部に設けられていてもよい。また、機器側情報処理部111は、キャプチャ機器100の外部から取得された動画データに基づいて、画像片及び音声片を生成してもよい。同様に、端末側情報処理部211の機能の一部は、例えばインターネット上に設けられたサーバ等の携帯端末200の外部に設けられていてもよい。この場合、キャプチャ機器100で生成された画像片及び音声片は、当該サーバへ送信されてもよい。
【0125】
(仮編集付き再生処理の変形例)
上述の実施形態及び変形例では、キャプチャ機器100で実行され、携帯端末200へ送信される画像片及び音声片の時間範囲(仮編集時間範囲)を選択できる仮編集付き再生処理について説明をした。また、携帯端末200で実行される分離編集処理について説明をした。
【0126】
このような中、キャプチャ機器100から携帯端末200へ送信される画像片及び音声片の時間範囲(仮編集時間範囲)は、画像片と音声片との間で異なっていてもよい。そこで、本変形例では、キャプチャ機器100で実行される仮編集付き再生処理において、分離編集処理の一部が行われて、仮編集画像として選択される画像片の時間範囲(第3の時間範囲)と、仮編集音声として選択される音声片の時間範囲(第4の時間範囲)とが、個別に選択される仮編集付き再生処理について説明する。
【0127】
ここで、本変形例に係るキャプチャ機器100で実行される仮編集付き再生処理の一例をフローチャートとして図11A及び図11Bに示し、これらを参照して情報処理システム1の動作について説明をする。なお、本変形例に係る仮編集付き再生処理は、図3を参照して説明したキャプチャ機器制御処理のステップS117で行われる。
【0128】
ステップS601乃至ステップS609の処理は、それぞれ、第1の実施形態に係る仮編集付き再生処理のステップS301乃至ステップS309の処理と同様であり、機器側制御部110は、選択された元動画から画像片及び音声片を生成する。なお、画像片及び音声片が生成される元動画の範囲は、第1の実施形態に係る仮編集と同様に元動画の一部であってもよいし、第1の実施形態に係る画像片及び音声片送信処理と同様に、元動画の全体であってもよい。ステップS610において、機器側制御部110は、ステップS310と同様にして、画像片化及び音声片化に係る処理を終了するか否かを判定する。処理は、判定されなかった場合はステップS606へ戻り、本ステップで終了すると判定されるまで、画像片化及び音声片化に係る処理を継続する。処理は、終了すると判定された場合はステップS611へ進む。
【0129】
ここで、ステップS601における表示の一例を図12Aに示す。図12Aに示す表示例では、図7Cに示す表示例と同様に、機器側記録部150に記録されている各々の動画ファイルを示すサムネイル画像が一覧表示される。ユーザは、機器側操作部140を操作して、再生、編集等を実行する動画ファイルを選択する。
【0130】
ここで、ステップS604における表示の一例を図12Bに示す。図12Bに示す表示例では、ステップS601で選択された動画ファイルを示すサムネイル画像がプレビュー画面813に表示されている。また、図12Bに示す表示例では、再生ボタン814と、仮編集ボタン815aと、戻るボタン806と、送り/戻しボタン811とがさらに表示されている。機器側制御部110は、再生ボタン814が選択されたとき、当該動画ファイルの再生を開始する。機器側制御部110は、仮編集ボタン815aが選択されたとき、当該動画ファイルの仮編集に係る処理を実行する。このとき、処理はステップS606へ進み、画像片及び音声片が生成される。機器側制御部110は、戻るボタン806が選択されたとき、表示を図12Aの表示例の状態に戻して、ユーザのサムネイル画像の選択操作を待機する。機器側制御部110は、送り/戻しボタン811が選択されたとき、プレビュー画面813に表示する動画ファイル、すなわち、現在選択されている動画ファイルを他の動画ファイルに切り替える。
【0131】
ステップS611において、機器側制御部110は、携帯端末200で実行される携帯端末制御処理のステップS410と同様にして、時間情報毎に画像片と音声片とを機器側記録部150に仮記録する。
【0132】
ステップS612乃至ステップS614の処理は、それぞれ、携帯端末制御処理のステップS411乃至ステップS413の処理と同様である。機器側制御部110は、画像及び音声兼用の共通範囲選択バー820を含む、結合編集用の表示情報を生成し、キャプチャ機器100の備える機器側表示部120に表示させる。
【0133】
ここで、ステップS612における表示の一例を図12Cに示す。図12Cに示す表示例では、戻るボタン806、送り/戻しボタン811、プレビュー画面813が表示されている。機器側制御部110は、戻るボタン806が選択されたとき、表示を図13Bに示す表示例の状態に戻す。また、図12Cに示す表示例では、分離編集を指示する分離編集ボタン825が表示されている。機器側制御部110は、分離編集ボタン825が選択されたとき、本変形例に係る分離編集に係る処理を開始する。このとき、処理はステップS613へ進む。
【0134】
ステップS613において、機器側制御部110は、図8を参照して説明した分離編集処理と同様にして、仮編集における分離編集処理を実行する。キャプチャ機器100で実行される仮編集における分離編集処理で生成される仮編集データは、携帯端末200で実行される分離編集処理において、さらに編集(本編集)される。そのため、キャプチャ機器100で実行される仮編集における分離編集処理は、携帯端末200で実行される分離編集処理と比較して簡易なものであってもよい。例えば、本変形例に係る分離編集処理では、キャプション、タイトル等の入力に係る処理は行われなくてもよい。例えば、本変形例に係る分離編集処理では、組合せ指定に係る処理は行われない。キャプション、タイトル等の入力に係る処理や組合せ指定に係る処理は、ユーザインタフェースがキャプチャ機器100と比べて豊富であり、また、インターネット等を介して挿入画像や交換音等を取得し易い携帯端末200における本編集で行われればよい。
【0135】
ここで、ステップS613の仮編集における分離編集処理における表示の一例を図12Dに示す。図12Dに示す表示例は、図9Bに示す表示例と同様である。ただし、図12Dに示す表示例では、図9Bに示す表示例における決定ボタン827の代わりに、決定送信ボタン830が表示されている。
【0136】
ステップS615及びステップS616の処理は、それぞれ、第1の実施形態に係る仮編集付き再生処理のステップS311及びステップS312の処理と同様である。機器側制御部110は、決定送信ボタン830が選択されたとき、本変形例に係る分離編集に係る処理と、仮編集処理とを終了させ、仮編集データを生成する。ここで、仮編集画像(仮編集コマ)は、現在の画像範囲選択バー820aの示す時間範囲(第3の時間範囲)に含まれる画像片である。同様に、仮編集音声は、現在の音声範囲選択バー820bの示す時間範囲(第4の時間範囲)に含まれる音声片である。機器側制御部110は、生成された仮編集データ(仮編集画像及び仮編集音声)を画像片及び音声片の単位で携帯端末200へ送信させる。送信後、機器側制御部110は、仮編集付き再生処理を終了させる。
【0137】
ステップS615における表示の一例を図12Eに示す。図12Eに示す表示例は、仮編集データが携帯端末200へ送信されているときの表示を示す。図12Eに示す表示例では、送信中の仮編集画像(画像片)を順次表示するプレビュー画面831と、仮編集データが送信中であることを示す送信状態表示部832と、図12Dに示す表示例の状態に戻るための戻るボタン833とが表示されている。図12Eに示す表示例では、送信状態表示部832には送信中と表示されている。なお、プレビュー画面831は、送信中の仮編集データを示すサムネイル画像を表示していてもよい。また、戻るボタン833は、キャプチャ機器制御処理のステップS111に戻ることを指示するボタンであってもよい。また、仮編集データの送信中、携帯端末200においては、仮編集データの受信中であることを示す受信状態表示部834が表示されている。図12Eに示す表示例では、受信状態表示部834には動画受信中と表示されている。
【0138】
ステップS617、ステップS618及びステップS619の処理は、それぞれ、第1の実施形態に係る携帯端末制御処理のステップS411、ステップS416及びステップS417の処理と同様である。機器側制御部110は、共通範囲選択バー820が操作されて指定された範囲(仮編集時間範囲)に基づいて、仮編集データを生成する。ただし、ステップS619で実行されるキャプション、タイトル等の編集に係る処理は、ステップS613の処理と同様に、仮編集では行われなくてもよい。
【0139】
このようにして生成されて携帯端末200へ送信された仮編集データは、携帯端末200において、観賞用動画を生成するための素材動画として用いられる。ここで、仮編集データ受信後の携帯端末200における表示の一例を図12Fに示す。図12Fに示す表示例のように、本編集の実行を指示するための本編集ボタン835が表示される。ここで、本編集は、仮編集データに含まれる画像片及び音声片を用いた動画編集である。端末側制御部210は、本編集ボタン835が選択されたとき、図9A及び図9Bを参照して説明したように、分離編集処理を実行する。
【0140】
このように、本変形例に係るキャプチャ機器100は、携帯端末200へ送信する画像片及び音声片の時間範囲を分離編集によってそれぞれ個別に設定できる。このため、本変形例に係る情報処理システム1では、通信されるデータ容量がさらに低減され得る。また、ユーザは、例えば撮影した内容を忘れないうちに、キャプチャ機器100を用いて大まかに観賞用動画に用いる元動画の範囲を指定することができる。
【0141】
なお、本発明は、上記実施形態及び変形例に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態及び各変形例は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態及び変形例には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態及び変形例に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0142】
なお、上記実施形態及び変形例中で、セクションやユニットとして記載した部分は、専用の回路や、複数の汎用の回路が組み合わされて構成されてもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはシーケンサが組み合わされて構成されてもよい。これは、一部または全部がFPGAで設計される場合もある。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、BluetoothやWi-Fi、電話回線などで行われればよく、USBなどで行われてもよい。専用の回路、汎用の回路や制御部が一体としてASICとして構成されてもよい。
【符号の説明】
【0143】
1…情報処理システム、100…キャプチャ機器、110…機器側制御部、111…機器側情報処理部、112…機器側圧縮部、113…機器側伸長部、114…機器側分割部、115…機器側通信制御部、116…機器側記録制御部、120…機器側表示部、130…機器側音声再生部、140…機器側操作部、150…機器側記録部、151…画像記録部、152…音声記録部、160…機器側通信部、161…第1の機器側通信部、162…第2の機器側通信部、170…機器側撮像部、180…機器側収音部、190…機器側時計部、200…携帯端末、210…端末側制御部、211…端末側情報処理部、212…端末側圧縮部、215…端末側通信制御部、216…端末側記録制御部、217…端末側編集部、218…端末側表示制御部、220…端末側表示部、230…端末側音声再生部、240…端末側操作部、250…端末側記録部、251…仮記録部、252…情報記録部、260…端末側通信部、261…第1の端末側通信部、262…第2の端末側通信部。
図1A
図1B
図1C
図2A
図2B
図2C
図2D
図2E
図3
図4
図5
図6A
図6B
図7A
図7B
図7C
図7D
図7E
図8
図9A
図9B
図9C
図10A
図10B
図11A
図11B
図12A
図12B
図12C
図12D
図12E
図12F