特許 5687961 同期再生装置及び同期再生方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5687961

(24)【登録日】2015年1月30日

(45)【発行日】2015年3月25日

(54)【発明の名称】同期再生装置及び同期再生方法

(51)【国際特許分類】

   G11B 27/10 20060101AFI20150305BHJP

   G11B 20/10 20060101ALI20150305BHJP

   H04N 5/93 20060101ALI20150305BHJP

   H04N 5/91 20060101ALI20150305BHJP

   G06F 17/30 20060101ALI20150305BHJP

【ＦＩ】

   G11B27/10 A

   G11B20/10 321Z

   H04N5/93 G

   H04N5/91 Z

   G06F17/30 170E

【請求項の数】11

【全頁数】32

(21)【出願番号】特願2011-143091(P2011-143091)

(22)【出願日】2011年6月28日

(65)【公開番号】特開2013-12262(P2013-12262A)

(43)【公開日】2013年1月17日

【審査請求日】2014年1月14日

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100112760

【弁理士】

【氏名又は名称】柴田 五雄

(72)【発明者】

【氏名】酒井 克和

(72)【発明者】

【氏名】内藤 達彦

(72)【発明者】

【氏名】アンソニー キー

(72)【発明者】

【氏名】梅澤 勝

(72)【発明者】

【氏名】上田 浩

【審査官】 中野 和彦

(56)【参考文献】

【文献】 特開２０１１−０９７１３９（ＪＰ，Ａ）

【文献】 特開２０１０−２８３６８９（ＪＰ，Ａ）

【文献】 特開２０１２−１２４７２３（ＪＰ，Ａ）

【文献】 特開２００８−２７８３１５（ＪＰ，Ａ）

【文献】 特開２００５−３２１４４３（ＪＰ，Ａ）

【文献】 特開２０１０−１９３０６２（ＪＰ，Ａ）

【文献】 特開２００９−１１７９７３（ＪＰ，Ａ）

【文献】 特表２００４−５３７７６０（ＪＰ，Ａ）

【文献】 特開２００７−２０１８０６（ＪＰ，Ａ）

【文献】 特開２０００−１５５７５９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１２５１３６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１１Ｂ ２７／１０

Ｇ１１Ｂ ２０／１０

Ｈ０４Ｎ ５／９１

Ｈ０４Ｎ ５／９３

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

再生楽曲音に同期して映像を表示する同期再生装置であって、
楽曲音に同期した映像のデータを含む再生用データを取得する取得手段と；
前記楽曲音に対応する楽曲コンテンツに基づく前記再生楽曲音の再生タイミングと、前記取得された再生用データに基づく再生タイミングとの同期関係を、前記楽曲音と前記映像との同期関係と同一とする再生同期情報を生成する生成手段と；
前記再生楽曲音を含む音を音出力部から出力させる音出力制御手段と；
前記生成された再生同期情報に基づいて、前記再生楽曲音の再生タイミングとの同期を図りつつ、前記取得された映像のデータに基づく再生映像を表示部に表示させる表示制御手段と；を備え、
前記生成手段は、前記楽曲音を解析して前記楽曲音に対応する楽曲コンテンツの特定を更に行い、前記特定の結果を利用して前記再生同期情報を抽出する、
ことを特徴とする同期再生装置。

【請求項2】

周辺映像の撮影を行う撮影手段を更に備え、
前記取得手段は、前記再生楽曲音の前記音出力部からの出力中における前記撮影手段による撮影結果のデータを、前記再生用データとして取得する、
ことを特徴とする請求項１に記載の同期再生装置。

【請求項3】

前記再生用データには、前記映像の背景音に含まれる前記楽曲音を除いた残余音のデータが更に含まれ、
前記音出力制御手段は、前記生成された再生同期情報に基づいて、前記音出力部から出力される再生楽曲音の再生タイミングとの同期を図りつつ、前記再生楽曲音と前記残余音との合成を行って、合成音を前記音出力部から出力させる、
ことを特徴とする請求項１又は２に記載の同期再生装置。

【請求項4】

周辺映像の撮影を行う撮影手段と；
周辺音声の収音を行う収音手段と；を更に備え、
前記取得手段は、前記再生楽曲音の前記音出力部からの出力中における前記撮影手段による撮影結果のデータ、及び、前記収音手段による収音結果から前記楽曲音を除去して得られた残余音のデータを、前記再生用データとして取得し、
前記音出力制御手段は、前記生成された再生同期情報に基づいて、前記音出力部から出力される再生楽曲音の再生タイミングとの同期を図りつつ、前記再生楽曲音と前記残余音との合成を行って、合成音を前記音出力部から出力させる、
ことを特徴とする請求項１に記載の同期再生装置。

【請求項5】

前記表示部は、互いに独立に映像表示が可能な複数の表示手段を備え、
前記表示制御手段は、前記撮影手段により撮影中のリアルタイム映像を前記複数の表示手段の少なくとも１つである特定表示手段に表示させるとともに、前記取得された映像のデータに基づく再生映像を、前記特定表示手段以外の少なくとも１つの表示手段に表示させる、
ことを特徴とする請求項２又は４に記載の同期再生装置。

【請求項6】

周辺音声の収音を行う収音手段を更に備え、
前記生成手段は、前記収音手段による収音結果に含まれる前記楽曲音の解析を行う、ことを特徴とする請求項１に記載の同期再生装置。

【請求項7】

周辺映像の撮影を行う撮影手段を更に備え、
前記表示部は、互いに独立に映像表示が可能な複数の表示手段を備え、
前記表示制御手段は、前記撮影手段により撮影中のリアルタイム映像を前記複数の表示手段の少なくとも１つである特定表示手段に表示させるとともに、前記取得された映像のデータに基づく再生映像を、前記特定表示手段以外の少なくとも１つの表示手段に表示させる、
ことを特徴とする請求項１又は６に記載の同期再生装置。

【請求項8】

再生内容指定が入力される入力手段を更に備え、
前記生成手段は、前記取得手段により取得された再生用データが複数種類ある場合に、前記再生楽曲音の前記音出力部からの出力中に前記入力手段に入力された再生内容指定に従って、前記再生楽曲音に同期して再生処理すべき再生用データを指定する編集同期情報を更に抽出する、
ことを特徴とする請求項１〜７のいずれか一項に記載の同期再生装置。

【請求項9】

再生楽曲音に同期して映像を表示する同期再生装置において使用される同期再生方法であって、
楽曲音に同期した映像のデータを含む再生用データを取得する取得工程と；
前記楽曲音に対応する楽曲コンテンツに基づく前記再生楽曲音の再生タイミングと、前記取得された再生用データに基づく再生タイミングとの同期関係を、前記楽曲音と前記映像との同期関係と同一とする再生同期情報を生成する生成工程と；
前記再生楽曲音を含む音を音出力部から出力させる音出力制御工程と；
前記生成された再生同期情報に基づいて、前記再生楽曲音の再生タイミングとの同期を図りつつ、前記取得された映像のデータに基づく再生映像を表示部に表示させる表示制御工程と；を備え、
前記生成工程では、前記楽曲音を解析して前記楽曲音に対応する楽曲コンテンツの特定を更に行い、前記特定の結果を利用して前記再生同期情報を抽出する、
ことを特徴とする同期再生方法。

【請求項10】

請求項９に記載の同期再生方法を演算手段に実行させる、ことを特徴とする同期再生プログラム。

【請求項11】

請求項１０に記載の同期再生プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、同期再生装置、同期再生方法及び同期再生プログラム、並びに、当該同期再生プログラムが記録された記録媒体に関する。

【背景技術】

【0002】

従来から、楽曲音と同期した映像を、当該楽曲音と同期再生することが広く行われている。こうした同期再生は、例えば、楽曲音に合わせて踊られているダンスの映像の録画を、録音機能を有するビデオカメラ装置により、当該楽曲音を含む背景音の録音と同時に行い、録画結果及び録音結果を同時に再生することにより行われる。

【0003】

ところで、録音機能を有するビデオカメラ装置による録音結果を再生した場合の楽曲音の音質は、当該楽曲音に対応する楽曲コンテンツを、楽曲コンテンツ再生出力装置により再生した場合よりも大きく劣ることになる。かかる映像との同期再生が行われる楽曲音の再生音質が高いとはいえない事態は、パーソナルコンピュータ上において動画又は静止画を鑑賞するための「ＣＤ−ＥＸＴＲＡ」と呼ばれる技術を採用する場合にも発生する（特許文献１の段落［０００２］〜［０００４］参照）。

【0004】

このため、デジタル楽曲コンテンツの再生音に同期して、映像を再生させる技術が提案されている（特許文献１の段落［０００９］〜［００２２］参照；以下、「従来例」と呼ぶ）。この従来例の技術では、一例として、コンパクトディスク（ＣＤ）において、高品質な楽曲音の再生のための情報が録音されているオーディオセッションを利用した楽曲再生中に一定の時間間隔、又は、指定されている時間間隔で画像再生要求信号を発行し、当該画像再生要求信号と同期して、予め当該楽曲音との対応付けの指定がなされた画像を１画面ずつ再生するようになっている。また、従来例の技術では、他例として、オーディオセッションを利用した楽曲再生の開始時に画像再生要求信号を発行し、その後、予め楽曲音との対応付けの指定がなされた画像を、一定の時間間隔、又は、指定されている時間間隔で１画面ずつ再生するようになっている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平１０−１４３９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した従来例の技術は、再生楽曲音と同期再生させるための映像は、任意のものとすることができる技術となっている。このため、従来例の技術では、再生楽曲音の再生タイミングに整合した動画の再生を行うためには、きめ細かい時間間隔指定を、楽曲音の再生の進行に合わせて行うことが必要であった。こうした必要性は、当該映像が当該楽曲音に同期した映像であっても、同様に必要となっていた。

【0007】

ところで、上述したような楽曲音に合わせて踊られているダンスの映像は、元々が、当該楽曲音に同期した映像である。こうした楽曲音に同期した映像の再生に際して、当該楽曲音の再生音質を向上しつつ、再生映像と再生楽曲音とを同期させる場合には、撮影時の同期関係を維持することが、一般に好ましい。しかしながら、かかる同期化を従来例の技術を用い、時間間隔指定のみを行って達成するのは、編集者に高度な技量が必要となる。

【0008】

このため、楽曲音に同期した映像の撮影結果を再生した再生映像と、当該楽曲音に対応する楽曲コンテンツに基づく再生楽曲音との同期化を図るに際して、撮影時点における楽曲音と映像との同期関係の維持を簡易に図ることができる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。

【0009】

本発明は、上記の事情に鑑みてなされたものであり、再生楽曲音に同期して映像を表示するための新たな同期再生装置及び同期再生方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

請求項１に記載の発明は、再生楽曲音に同期して映像を表示する同期再生装置であって、楽曲音に同期した映像のデータを含む再生用データを取得する取得手段と；前記楽曲音に対応する楽曲コンテンツに基づく前記再生楽曲音の再生タイミングと、前記取得された再生用データに基づく再生タイミングとの同期関係を、前記楽曲音と前記映像との同期関係と同一とする再生同期情報を生成する生成手段と；前記再生楽曲音を含む音を音出力部から出力させる音出力制御手段と；前記生成された再生同期情報に基づいて、前記再生楽曲音の再生タイミングとの同期を図りつつ、前記取得された映像のデータに基づく再生映像を表示部に表示させる表示制御手段と；を備え、前記生成手段は、前記楽曲音を解析して前記楽曲音に対応する楽曲コンテンツの特定を更に行い、前記特定の結果を利用して前記再生同期情報を抽出する、ことを特徴とする同期再生装置である。

【0011】

請求項９に記載の発明は、再生楽曲音に同期して映像を表示する同期再生装置において使用される同期再生方法であって、楽曲音に同期した映像のデータを含む再生用データを取得する取得工程と；前記楽曲音に対応する楽曲コンテンツに基づく前記再生楽曲音の再生タイミングと、前記取得された再生用データに基づく再生タイミングとの同期関係を、前記楽曲音と前記映像との同期関係と同一とする再生同期情報を生成する生成工程と；前記再生楽曲音を含む音を音出力部から出力させる音出力制御工程と；前記生成された再生同期情報に基づいて、前記再生楽曲音の再生タイミングとの同期を図りつつ、前記取得された映像のデータに基づく再生映像を表示部に表示させる表示制御工程と；を備え、前記生成工程では、前記楽曲音を解析して前記楽曲音に対応する楽曲コンテンツの特定を更に行い、前記特定の結果を利用して前記再生同期情報を抽出する、ことを特徴とする同期再生方法である。

【0012】

請求項１０に記載の発明は、請求項９に記載の同期再生方法を演算手段に実行させる、ことを特徴とする同期再生プログラムである。

【0013】

請求項１１に記載の発明は、請求項１０に記載の同期再生プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。

【図面の簡単な説明】

【0014】

【図1】本発明の第１実施形態に係る同期再生装置の構成を説明するためのブロック図である。

【図2】本発明の第２実施形態に係る同期再生装置の構成を説明するためのブロック図である。

【図3】本発明の第１実施例に係る同期再生装置の構成を説明するためのブロック図である。

【図4】図３の再生用情報の内容を説明するための図である。

【図5】図３の同期再生装置による再生同期情報の生成処理を説明するためのフローチャートである。

【図6】図３の同期再生装置による同期映像表示処理を説明するためのフローチャートである。

【図7】図３の同期再生装置による同期音出力処理を説明するためのフローチャートである。

【図8】図３の同期再生装置による編集同期情報の生成処理を説明するためのフローチャートである。

【図9】図３の同期再生装置による編集同期情報の生成処理と並行して行われる同期映像の切換処理及び同期音出力処理を説明するためのフローチャートである。

【図10】本発明の第２実施例に係る同期再生装置の構成を説明するためのブロック図である。

【図11】図１０の取得情報の内容を説明するための図である。

【図12】図１０の再生用情報の内容を説明するための図である。

【図13】図１０の同期再生装置による取得動作を説明するためのフローチャートである。

【図14】図１０の同期再生装置による再生同期情報の生成処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態を、添付図面を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

【0016】

［第１実施形態］
まず、本発明の第１実施形態を、図１を参照して説明する。

【0017】

＜構成＞
図１には、第１実施形態に係る同期再生装置７００Ａの概略的な構成が示されている。

【0018】

図１に示されるように、同期再生装置７００Ａは、撮影手段７１０と、取得手段７２０Ａと、生成手段７３０Ａと、再生用情報記憶部７３５とを備えている。また、同期再生装置７００Ａは、表示制御手段７４０と、表示部７４５とを備えている。ここで、表示部７４５は、表示手段７４６と、特定表示手段としての表示手段７４７とを備えている。

【0019】

また、同期再生装置７００Ａは、音源データ部７５０と、音出力制御手段７６０Ａと、音出力部７６５とを備えている。さらに、同期再生装置７００Ａは、入力手段７７０を備えている。

【0020】

なお、同期再生装置７００Ａは、音源データ部７５０に記憶されている楽曲コンテンツに基づく再生楽曲音に同期した映像を撮影し、その後に、撮影時における当該再生楽曲音と当該撮影された映像との同期関係と同一の同期関係で、当該再生楽曲音と当該撮影された映像とを同期再生する装置である。

【0021】

上記の撮影手段７１０は、周辺映像の撮影を行い、撮影結果を映像データとして出力するビデオカメラ等を備えている。音出力部７６５からの再生楽曲音の出力に同期して行われた撮影手段７１０による撮影結果は、映像データとして、取得手段７２０Ａ及び表示制御手段７４０へ送られる。

【0022】

上記の取得手段７２０Ａは、撮影手段７１０から送られた映像データを受ける。また、取得手段７２０Ａは、入力手段７７０から送られた取得動作の開始指令及び終了指令を受ける。そして、取得手段７２０Ａは、取得動作の開始指令を受けてから取得動作の終了指令を受けるまでの期間に受けた映像データを取得する。取得手段７２０Ａにより取得された映像データは、取得映像データとして、生成手段７３０Ａへ送られる。

【0023】

上記の生成手段７３０Ａは、取得手段７２０Ａから送られた取得映像データを受ける。また、生成手段７３０Ａは、入力手段７７０から送られた再生同期情報の生成指令を受ける。さらに、生成手段７３０Ａは、上述した取得手段７２０Ａと同様に、入力手段７７０から送られた取得動作の開始指令及び終了指令を受ける。

【0024】

また、生成手段７３０Ａは、入力手段７７０から送られた楽曲音再生の開始指令及び終了指令を受ける。ここで、楽曲音再生の開始指令では、再生対象となる楽曲コンテンツが指定されるようになっている。

【0025】

さらに、生成手段７３０Ａは、入力手段７７０から送られた同期再生の開始指令及び終了指令を受ける。ここで、同期再生の開始指令では、再生用情報記憶部７３５に記憶されている再生同期情報又は編集同期情報のうちの１つが指定されるようになっている。なお、同期再生の開始指令では、表示制御手段７４０が参照する同時表示の有無が更に指定されるようになっている。

【0026】

生成手段７３０Ａは、これらの指令を受けると、その受信時刻を検出する。そして、生成手段７３０Ａは、当該受信時刻の検出結果に基づいて、再生同期情報を生成する。かかる再生同期情報の生成処理の詳細については後述する。

【0027】

なお、生成手段７３０Ａにより生成される再生同期情報は、撮影時における再生楽曲音と撮影された映像との同期関係と同一の同期関係で、再生楽曲音と当該撮影された映像とを同期再生する際に利用される情報である。本第１実施形態では、再生同期情報は、再生同期情報の生成処理期間に音出力部７６５から出力される再生楽曲音の再生開始時刻を基準時刻として、取得動作の開始指令の受信時刻、取得動作の終了指令の受信時刻、楽曲音再生又は同期再生の終了指令の受信時刻のそれぞれの当該基準時刻に対する相対時刻情報に、対応する再生用映像データ及び楽曲コンテンツの指定情報が加えられたものとなっている。なお、楽曲音再生の終了指令に関する相対時刻情報については、当該再生同期情報に含まれる場合もあるし、含まれない場合もある。

【0028】

また、生成手段７３０Ａは、入力手段７７０から送られた再生同期情報編集の開始指令及び終了指令、並びに、同期映像切換指令を受ける。ここで、再生同期情報編集の開始指令では、再生用情報記憶部７３５に記憶されている再生同期情報又は編集同期情報のうちの１つが指定されるようになっている。また、同期映像切換指令（再生内容指定）では、再生用情報記憶部７３５に記憶されている複数種類の再生用映像データの中の１つが指定されるようになっている。

【0029】

生成手段７３０Ａは、これらの指令に従って、編集同期情報の生成処理を実行する。かかる編集同期情報の生成処理については後述する。

【0030】

なお、生成手段７３０Ａにより生成される編集同期情報は、撮影時における再生楽曲音と撮影された映像との同期関係と同一の同期関係で、再生楽曲音と当該撮影された映像とを同期再生させつつ、利用者により行われた同期映像切換指定に従って、当該撮影された映像を順次切り換わっていくようにした映像の再生に利用される情報である。

【0031】

上記の再生用情報記憶部７３５は、生成手段７３０Ａから送られた再生用映像データ及び再生同期情報、並びに、編集同期情報を受ける。そして、再生用情報記憶部７３５は、当該再生用映像データ及び当該再生同期情報、並びに、当該編集同期情報を内部に記憶する。なお、再生用情報記憶部７３５へは、生成手段７３０Ａ、表示制御手段７４０及び音出力制御手段７６０Ａがアクセスできるようになっている。

【0032】

上記の表示制御手段７４０は、撮影手段７１０から送られた映像データを受ける。また、表示制御手段７４０は、上述した生成手段７３０Ａと同様に、入力手段７７０から送られた同期再生の開始指令及び終了指令を受ける。

【0033】

表示制御手段７４０は、同期再生の開始指令を受けると、当該同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照した同期表示処理を開始する。かかる同期表示処理の詳細については、後述する。

【0034】

また、表示制御手段７４０は、上述した生成手段７３０Ａと同様に、入力手段７７０から送られた再生同期情報編集の開始指令及び終了指令、並びに、同期映像切換指令を受ける。そして、表示制御手段７４０は、これらの指令に従って、同期映像の切換表示処理を実行する。かかる同期映像の切換表示処理の詳細については、後述する。

【0035】

上記の表示手段７４６，７４７は、映像プロジェクタや、液晶ディスプレイパネル等の表示デバイスを備えて構成される。ここで、表示手段７４６は、表示制御手段７４０から送られた同期映像表示用の同期映像データを受ける。そして、表示手段７４６は、当該同期映像データに対応する同期映像を再生表示する。

【0036】

また、表示手段７４７は、表示制御手段７４０から送られたリアルタイム映像表示用のリアルタイム映像データを受ける。そして、表示手段７４６は、当該リアルタイム映像データに対応するリアルタイム映像を再生表示する。なお、表示手段７４６，７４７は、互いに独立に映像表示ができるようになっている。

【0037】

上記の音源データ部７５０は、様々な楽曲コンテンツを、デジタルコンテンツとして記憶している。かかる音源データ部７５０に対しては、音出力制御手段７６０Ａがアクセスできるようになっている。

【0038】

上記の音出力制御手段７６０Ａは、上述した生成手段７３０Ａと同様に、入力手段７７０から送られた楽曲音再生の開始指令及び終了指令を受ける。音出力制御手段７６０Ａは、楽曲音再生の開始指令を受けると、楽曲再生処理を開始する。かかる楽曲再生処理では、楽曲音再生の開始指令において指定されている楽曲コンテンツのデータを順次読み取る。そして、音出力制御手段７６０Ａは、読み取られた楽曲コンテンツのデータに基づいて、再生楽曲音データを生成し、音出力部７６５へ送る。

【0039】

また、音出力制御手段７６０Ａは、上述した生成手段７３０Ａ及び表示制御手段７４０と同様に、入力手段７７０から送られた同期再生の開始指令及び終了指令を受ける。音出力制御手段７６０Ａは、同期再生の開始指令を受けると、同期音出力処理を開始する。かかる同期音出力処理の詳細については、後述する。

【0040】

また、音出力制御手段７６０Ａは、上述した生成手段７３０Ａ及び表示制御手段７４０と同様に、入力手段７７０から送られた再生同期情報編集の開始指令及び終了指令を受ける。音出力制御手段７６０Ａは、再生同期情報編集の開始指令を受けると、上述した生成手段７３０Ａによる編集同期情報の生成処理と並行して、同期音出力処理を開始する。かかる同期音出力処理の詳細については、後述する。

【0041】

上記の音出力部７６５は、スピーカを備えて構成される。この音出力部７６５は、音出力制御手段７６０Ａから送られた出力音（本第１実施形態では、再生楽曲音）データを受ける。そして、音出力部７６５は、当該出力音データに対応する出力音を再生出力する。

【0042】

上記の入力手段７７０は、キーボード等を備えて構成されている。入力手段７７０は、利用者の入力操作に応答して、当該入力操作に対応した情報を、伝達が必要な要素へ送るようになっている。こうした入力操作に対応した情報には、上述した再生同期情報の生成指令、取得動作の開始指令及び終了指令、楽曲音再生の開始指令及び終了指令、同期再生の開始指令及び終了指令、再生同期情報編集の開始指令及び終了指令、並びに、同期映像切換指令が含まれている。

【0043】

＜動作＞
次に、上記のように構成された同期再生装置７００Ａの動作について、再生同期情報の生成処理、同期再生処理及び編集同期情報の生成処理に主に着目して説明する。

【0044】

《再生同期情報の生成処理》
利用者が、再生同期情報の生成指令の入力操作を入力手段７７０に対して行うと、再生同期情報の生成指令が、入力手段７７０から生成手段７３０Ａへ送られる。再生同期情報の生成処理は、この再生同期情報の生成指令を受けた生成手段７３０Ａにより実行される。

【0045】

再生同期情報の生成指令を受けた生成手段７３０Ａは、再生同期情報の生成処理を開始する。なお、生成処理を実行していない期間中に楽曲音再生又は同期再生の開始指令を受けた場合には、生成手段７３０Ａは、その後における再生同期情報の生成処理のための準備として、楽曲音再生又は同期再生の開始指令に応じて行われる再生楽曲音の再生の進行状況を監視する。

【0046】

再生同期情報の生成処理を開始すると、生成手段７３０Ａは、取得動作の終了指令を受けるまでの期間における取得動作の開始指令及び終了指令、並びに、楽曲音再生又は同期再生の開始指令及び終了指令の受信の監視を行い、それぞれの受信時刻を検出する。また、生成手段７３０Ａは、取得動作の開始指令の受信から終了指令の受信までの取得期間に取得手段７２０Ａから送られた映像データのバッファリング処理を行う。

【0047】

そして、生成手段７３０Ａは、取得動作の終了指令を受けると、バッファリングしている取得映像データを、再生用映像データとして、再生用情報記憶部７３５へ送る。

【0048】

次に、生成手段７３０Ａは、再生同期情報の生成処理中における楽曲音再生又は同期再生の開始指令の受信時刻の検出結果、又は、上述した再生同期情報の生成処理前の監視結果に基づいて、再生同期情報の生成処理期間に音出力部７６５から出力される再生楽曲音の再生開始時刻を基準時刻として、取得動作の開始指令の受信時刻、取得動作の終了指令の受信時刻、楽曲音再生又は同期再生の終了指令の受信時刻のそれぞれの当該基準時刻に対する相対時刻情報を算出する。

【0049】

なお、再生同期情報の生成指令の受信から、取得動作の終了指令の受信までの間に、楽曲音再生又は同期再生の終了指令の受信時刻は、検出される場合もあるし、検出されない場合もある。このため、楽曲音再生の終了指令の受信時刻が検出されている場合には、楽曲音再生又は同期再生の終了指令の受信時刻の相対時刻情報が算出されるが、楽曲音再生又は同期再生の終了指令の受信時刻が検出されていない場合には、楽曲音再生の終了指令の受信時刻の相対時刻情報は算出されない。

【0050】

次いで、生成手段７３０Ａは、算出された相対時刻情報に、今回の再生用映像データ、及び、楽曲音再生の開始指令で指定された楽曲コンテンツの指定情報を加えて、再生同期情報を生成する。そして、生成手段７３０Ａは、生成された再生同期情報を再生用情報記憶部７３５へ送る。この後、生成手段７３０Ａは、再生同期情報の生成処理を終了する。

【0051】

《同期再生処理》
利用者が、同期再生の開始指令の入力操作を入力手段７７０に対して行うと、同期再生の開始指令が、入力手段７７０から生成手段７３０Ａ、表示制御手段７４０及び音出力制御手段７６０Ａへ送られる。同期再生処理は、この同期再生の開始指令を受けた表示制御手段７４０による同期映像表示処理、及び、音出力制御手段７６０Ａによる同期音出力処理として、実行される。

【0052】

同期再生の開始指令を受けると表示制御手段７４０は、同期映像表示処理を開始する。かかる同期映像表示処理では、表示制御手段７４０は、同期再生の開始指令において指定された再生同期情報又は編集同期情報で示されている再生楽曲音との同期関係に従って、各時点において再生すべき映像に対応する再生用映像データの部分のデータを、逐次、再生用情報記憶部７３５から読み取る。

【0053】

そして、表示制御手段７４０は、読み取られたデータに基づいて、同期映像データを生成する。こうして生成された同期映像データは、表示手段７４６へ送られる。この結果、表示手段７４６により、同期映像が表示される。

【0054】

また、表示制御手段７４０は、同期再生の開始指令において同時表示有が指定されていると、撮影手段７１０から送られた映像データに基づいて、撮影中の映像をリアルタイムで表示するためのリアルタイム映像データを生成し、表示部７４５における表示手段７４７へ送る。この結果、表示手段７４６における同期映像の表示と同時に、表示手段７４７により、リアルタイム映像の表示が行われる。

【0055】

そして、今回の同期再生を終了させるために、利用者が入力手段７７０に入力した同期再生の終了指令を受けると、表示制御手段７４０は、同期映像表示処理を終了し、同期映像データの生成を終了する。なお、同期映像表示処理において、同期映像の表示とリアルタイム映像の表示との同時表示制御を行っていた場合には、同期再生の終了指令を受けた表示制御手段７４０は、同期映像データ及びリアルタイム映像データの生成の双方を終了する。

【0056】

同期再生の開始指令を受けると音出力制御手段７６０Ａは、同期音出力処理を開始する。この同期音出力処理では、音出力制御手段７６０Ａが、当該同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき楽曲音に対応する楽曲コンテンツの部分のデータを、逐次、音源データ部７５０から読み取る。そして、音出力制御手段７６０Ａは、読み取られたデータに基づいて、再生楽曲音データを生成し、生成された再生楽曲音データを音出力部７６５へ送る。この結果、音出力部７６５から、再生楽曲音が再生出力される。

【0057】

そして、今回の同期再生を終了させるための同期再生の終了指令を受けると、音出力制御手段７６０Ａは、同期音出力処理を終了し、再生楽曲音データの生成を終了する。

【0058】

《編集同期情報の生成処理》
利用者が、再生同期情報編集の開始指令の入力操作を入力手段７７０に対して行うと、再生同期情報編集の開始指令が、入力手段７７０から生成手段７３０Ａ、表示制御手段７４０及び音出力制御手段７６０Ａへ送られる。編集同期情報の生成処理は、この再生同期情報編集の開始指令を受けた生成手段７３０Ａにより実行される。

【0059】

生成手段７３０Ａは、再生同期情報編集の開始指令を受けると、編集同期情報の生成処理を開始する。かかる編集同期情報の生成処理に際して、生成手段７３０Ａは、まず、再生同期情報編集の開始指令において指定された再生同期情報又は編集同期情報を、暫定編集同期情報として、再生用情報記憶部７３５から読み取る。なお、後述するように、再生同期情報編集の開始指令を受けると、表示制御手段７４０及び音出力制御手段７６０Ａは、上述した同期再生の開始指令を受けた場合と同様に、同期再生処理を開始するようになっている。

【0060】

この後、再生同期情報編集の終了指令を受けるまでの編集期間中に同期映像切換指令を受ける度に、生成手段７３０Ａは、まず、当該編集期間における同期再生処理に関する基準時刻（再生楽曲音出力の開始時刻）に対する現在時刻の相対時刻を特定する。引き続き、生成手段７３０Ａは、当該特定された相対時刻の情報、及び、同期映像切換指令において指定された再生用映像データの情報の指定を追加することにより、その時点における暫定編集同期情報を更新する。

【0061】

なお、当該編集期間の開始時点において生成手段７３０Ａが読み取った暫定編集同期情報が編集同期情報であった場合には、生成手段７３０Ａは、当該同期再生処理の開始後における最初の同期映像切換指令を受けると、当該最初の同期映像切換指令の受信時刻に対応する相対時刻以降における暫定編集同期情報の部分を消去する。

【0062】

この後、再生同期情報編集の終了指令を受けると、生成手段７３０Ａは、暫定編集同期情報の更新が行われていた場合には、その時点における暫定編集同期情報を、今回生成された新たな編集同期情報に確定する。そして、生成手段７３０Ａは、生成された新たな編集同期情報を再生用情報記憶部７３５へ送る。

【0063】

なお、表示制御手段７４０は、再生同期情報編集の開始指令を受けると、上述した同期再生処理の場合と同様に、当該再生同期情報編集の開始指令で指定された再生同期情報又は編集同期情報を参照した同期表示処理を開始する。そして、再生同期情報編集の終了指令を受けるまでに同期映像切換指令を受けると、表示制御手段７４０は、同期映像切換指令で指定された映像データに対応する再生同期情報を参照し、それまでの再生楽曲音の再生タイミングとの同期関係を維持しつつ、映像切換後に再生すべき当該指定された映像データの部分を特定する。

【0064】

引き続き、表示制御手段７４０は、次の同期映像切換指令又は再生同期情報編集の終了指令を受けるまで、今回特定された映像データの部分のデータを、逐次、再生用情報記憶部７３５から順次読み取って同期映像データを生成し、表示部７４５における表示手段７４６へ送る。この結果、表示手段７４６により、同期映像切換指令で指定された映像データに基づく同期映像が表示される。

【0065】

そして、再生同期情報編集の終了指令を受けると、表示制御手段７４０は、同期映像データの生成処理を終了する。この結果、表示部７４５への同期映像データの供給が停止される。

【0066】

また、音出力制御手段７６０Ａは、再生同期情報編集の開始指令を受けると、上述した同期音出力処理の場合と同様に、当該再生同期情報編集の開始指令で指定された再生同期情報又は編集同期情報を参照した同期音出力処理を開始する。引き続き、再生同期情報編集の終了指令を受けるまで、音出力制御手段７６０Ａは、再生楽曲音の再生出力処理を継続する。

【0067】

そして、再生同期情報編集の終了指令を受けると、音出力制御手段７６０Ａは、再生楽曲音の再生出力処理を終了する。この結果、音出力部７６５への再生楽曲音データの供給が停止される。

【0068】

以上説明したように、本第１実施形態では、取得手段７２０Ａが、撮影手段７１０が撮影した再生楽曲音に同期した映像のデータを取得する。引き続き、生成手段７３０Ａが、撮影時における再生楽曲音の再生タイミングと、当該取得された映像データに基づく再生映像の再生タイミングとの同期関係を、撮影時における再生楽曲音と映像との同期関係と同一とするための再生同期情報を生成する。こうして生成された再生同期情報を参照して、表示制御手段７４０が、当該取得された映像データを利用する同期映像を表示部７４５における表示手段７４６により表示させるとともに、音出力制御手段７６０Ａが、再生楽曲音を音出力部７６５から出力させる。

【0069】

したがって、本第１実施形態によれば、撮影時における再生楽曲音と映像との同期関係と同一の同期関係で、撮影後に、当該再生楽曲音と、撮影された映像とを再生することができる。

【0070】

また、本第１実施形態では、同期再生の開始指令において同時表示有が指定された場合には、表示制御手段７４０が、同期映像を表示手段７４６により表示させつつ、撮影手段７１０により撮影されているリアルタイム映像を表示手段７４７により表示させる。このため、同じ再生楽曲音に同期している過去の映像と現在の映像とを同時に表示することができる。

【0071】

また、本第１実施形態では、同期再生中に同期映像切換指令を受けるたびに、生成手段７３０Ａが、再生出力中の再生楽曲音の進行に同期して、同期映像切換指令において指定された同期映像に切り換えるための編集同期情報を生成する。また、同期再生中に同期映像切換指令を受けると、表示制御手段７４０は、同期映像切換指令において指定された同期映像に切り換えて、表示手段７４６により表示させる。このため、同じ再生楽曲音に同期している過去の映像のいわゆるタイムライン編集を、簡易に行うことができる。

【0072】

［第２実施形態］
次に、本発明の第２実施形態を、図２を参照して説明する。

【0073】

＜構成＞
図２には、第２実施形態に係る同期再生装置７００Ｂの概略的な構成が示されている。

【0074】

図２に示されるように、同期再生装置７００Ｂは、上述した同期再生装置７００Ａと比べて、取得手段７２０Ａ、生成手段７３０Ａ及び音出力制御手段７６０Ａに代えて、取得手段７２０Ｂ、生成手段７３０Ｂ及び音出力制御手段７６０Ｂを備えている。また、同期再生装置７００Ｂは、収音手段７１５及び取得情報記憶部７２５を更に備えている。以下、これらの相違点に主に着目して説明する。

【0075】

本第２実施形態では、音源データ部７５０には、生成手段７３０Ｂ及び音出力制御手段７６０Ｂがアクセスできるようになっている。

【0076】

なお、同期再生装置７００Ｂは、同期再生装置７００Ｂ以外の装置から出力された楽曲音に同期した映像を撮影し、その後に、撮影時における当該楽曲音と当該撮影された映像との同期関係と同一の同期関係で、音源データ部７５０に記憶されている楽曲コンテンツに基づく再生楽曲音と当該撮影された映像とを同期再生する装置である。

【0077】

上記の収音手段７１５は、周囲の音声を収音するマイクロフォンを備えて構成されている。収音手段７１５による収音結果（撮影された映像の背景音である周辺音声）は、収音データとして、取得手段７２０Ｂへ送られる。

【0078】

上記の取得手段７２０Ｂは、上述した取得手段７２０Ａと同様に、撮影手段７１０から送られた映像データ、及び、入力手段７７０から送られた取得動作の開始指令及び終了指令を受ける。さらに、取得手段７２０Ｂは、収音手段７１５から送られた収音データを受ける。そして、取得手段７２０Ｂは、当該映像データ及び当該収音データに基づいて、取得映像データ、取得楽曲音データ及び取得残余音データの取得処理を実行する。かかる取得処理の詳細については、後述する。

【0079】

上記の取得情報記憶部７２５は、取得手段７２０Ｂから送られた取得映像データ、取得楽曲音データ及び取得残余音データを受ける。そして、再生用情報記憶部７３５は、当該取得映像データ、当該取得楽曲音データ及び当該取得残余音データを内部に記憶する。なお、取得情報記憶部７２５へは、取得手段７２０Ｂ及び生成手段７３０Ｂがアクセスできるようになっている。

【0080】

上記の生成手段７３０Ｂは、上述した生成手段７３０Ａが入力手段７７０から受ける指令のうち、再生同期情報の生成指令、並びに、再生同期情報編集の開始指令及び終了指令を受ける。これらの指令のうちにおける再生同期情報の生成指令を除いて、生成手段７３０Ｂは、生成手段７３０Ａと同様の処理を実行するようになっている。

【0081】

生成手段７３０Ｂは、再生同期情報の生成指令を受けると、再生同期情報の生成処理を開始する。かかる再生同期情報の生成処理の詳細については、後述する。

【0082】

上記の音出力制御手段７６０Ｂは、上述した音出力制御手段７６０Ａが入力手段７７０から受ける指令のうち、同期再生の開始指令及び終了指令、並びに、同期映像切換指令を受ける。これらの指令のうちにおける同期再生の終了指令及び同期映像切換指令を受けた場合には、音出力制御手段７６０Ｂは、音出力制御手段７６０Ａと同様の処理を行う。

【0083】

なお、本第２実施形態においては、同期再生の開始指令には、残余音同時再生の有無の指定が更に含まれるようになっている。

【0084】

同期再生の開始指令を受けると音出力制御手段７６０Ｂは、同期音出力処理を開始する。かかる同期音出力処理の詳細については、後述する。

【0085】

＜動作＞
次に、上記のように構成された同期再生装置７００Ｂの動作について、取得動作、再生同期情報の生成処理、同期再生処理及び編集同期情報の生成処理に主に着目して説明する。

【0086】

《取得処理》
利用者が、取得動作の開始指令の入力操作を入力手段７７０に対して行うと、取得動作の開始指令が、入力手段７７０から取得手段７２０Ｂへ送られる。取得処理は、取得動作の開始指令を受けた取得手段７２０Ｂにより実行される。

【0087】

取得動作の開始指令を受けた取得手段７２０Ｂは、取得処理を開始する。かかる取得処理に際して、取得手段７２０Ｂは、取得動作の開始指令を受けてから取得動作の終了指令を受けるまでの取得期間に撮影手段７１０から送られた映像データを受ける。そして、取得動作の終了指令を受けると、取得手段７２０Ｂは、当該期間中に取得された映像データを、取得映像データとして取得情報記憶部７２５へ送る。

【0088】

また、取得手段７２０Ｂは、当該取得期間に収音手段７１５から送られた収音データを受ける。そして、取得動作の終了指令を受けると、取得手段７２０Ｂは、当該期間中に取得された収音データを解析して、楽曲音と、楽曲以外の残余音（収音結果から楽曲音を除去した音）とを識別し、楽曲音データと残余音データとに分離する。そして、取得手段７２０Ｂは、当該取得期間に得られた楽曲音データ及び残余音データを、取得楽曲音データ及び取得残余音データとして取得情報記憶部７２５へ送る。

【0089】

こうして取得映像データ、取得楽曲音データ及び取得残余音データを取得情報記憶部７２５へ送ると、取得手段７２０Ｂは、取得処理を終了する。そして、取得手段７２０Ｂは、新たな取得動作の開始指令の待ち状態となる。

【0090】

《再生同期情報の生成処理》
利用者が、再生同期情報の生成指令の入力操作を入力手段７７０に対して行うと、再生同期情報の生成指令が、入力手段７７０から生成手段７３０Ｂへ送られる。再生同期情報の生成処理は、この再生同期情報の生成指令を受けた生成手段７３０Ｂにより実行される。

【0091】

再生同期情報の生成指令を受けた生成手段７３０Ｂは、再生同期情報の生成処理を開始する。かかる再生同期情報の生成処理に際して、生成手段７３０Ｂは、まず、取得情報記憶部７２５から取得楽曲音データを読み取る。引き続き、生成手段７３０Ｂは、取得楽曲音データを解析して、取得楽曲音データに対応する楽曲音の特徴を示すメタデータを抽出した後、当該メタデータに対応する音源データ部７５０中の楽曲コンテンツを特定する。そして、生成手段７３０Ｂは、特定された楽曲コンテンツに基づいて、再生同期情報を生成する。

【0092】

再生同期情報が生成されると、生成手段７３０Ｂは、取得情報記憶部７２５から取得映像データ及び取得残余音データを読み取って、再生用映像データ及び再生用残余音データとして、再生用情報記憶部７３５へ送るとともに、生成された再生同期情報を、当該再生用映像データ及び当該再生用残余音データと１対１で関連付けられた再生同期情報として、再生用情報記憶部７３５へ送る。この結果、再生用情報記憶部７３５内には、新たな再生用映像データ、再生用残余音データ及び再生同期情報が追加される。

【0093】

こうして新たな再生用映像データ、再生用残余音データ及び再生同期情報を再生用情報記憶部７３５へ送ると、生成手段７３０Ｂは、当該新たな再生用映像データ、再生用残余音データ及び再生同期情報の生成のために利用した取得情報記憶部７２５内の取得映像データ、取得楽曲音データ及び取得残余音データを消去し、再生同期情報の生成処理を終了する。そして、生成手段７３０Ｂは、新たな再生同期情報の生成指令の待ち状態となる。

【0094】

《同期再生処理及び編集同期情報の生成処理》
本第２実施形態の同期再生処理における同期映像表示処理は、表示制御手段７４０により、上述した第１実施形態の場合と同様に行われる。

【0095】

また、第２実施形態の同期再生処理における同期音出力処理は、音出力制御手段７６０Ｂにより実行される。この同期音出力処理は、同期再生の開始指令を受けた音出力制御手段７６０Ｂにより実行される。

【0096】

同期再生の開始指令を受けると音出力制御手段７６０Ｂは、同期音出力処理を開始する。この同期音出力処理では、音出力制御手段７６０Ｂが、当該同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき楽曲音に対応する楽曲コンテンツのデータを、逐次、音源データ部７５０から読み取る。また、同期再生の開始指令を受けると、音出力制御手段７６０Ｂは、残余音同時再生有の指定がなされている場合には、当該指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき再生用残余音データの部分のデータを、逐次、再生用情報記憶部７３５から読み取る。

【0097】

引き続き、音出力制御手段７６０Ｂは、音出力部７６５から再生出力すべき同期出力音に対応する同期出力音データを生成する。ここで、残余音同時再生無の指定がなされている場合には、音出力制御手段７６０Ｂは、再生楽曲音のみから成る同期出力音に対応する同期出力音データを生成する。一方、残余音同時再生有の指定がなされている場合には、音出力制御手段７６０Ｂは、再生楽曲音と残余音との合成音に対応する同期出力音データを生成する。そして、音出力制御手段７６０Ｂは、生成された同期出力音データを、音出力部７６５へ送る。この結果、音出力部７６５からは、同期出力音が再生出力される。

【0098】

そして、今回の同期再生処理を終了させるための同期再生の終了指令を受けると、音出力制御手段７６０Ｂは、同期音出力処理を終了し、同期出力音データの生成を終了する。

【0099】

本第２実施形態における編集同期情報の生成は、生成手段７３０Ｂが、第１実施形態における生成手段７３０Ａによる編集同期情報の生成処理と同様の処理を実行することにより行う。

【0100】

以上説明したように、本第２実施形態では、取得手段７２０Ｂが、撮影手段７１０が撮影した楽曲音に同期した映像のデータ、及び、収音手段７１５により収音された音声のデータを受ける。引き続き、取得手段７２０Ｂが、当該収音された音声のデータを解析して、楽曲音と、楽曲以外の残余音とを識別し、楽曲音データと残余音データとに分離する。そして、取得手段７２０Ｂは、取得動作の開始指令を受けてから取得動作の終了指令を受けるまでの期間における映像データ、楽曲音データ及び残余音データを取得する。

【0101】

次に、生成手段７３０Ｂが、撮影時における楽曲音の再生タイミングと、当該取得された映像データに基づく再生映像の再生タイミング、及び、当該取得された残余音データに基づく再生映像の再生タイミングとの同期関係を、撮影時における楽曲音と、映像及び残余音との同期関係と同一とするための再生同期情報を生成する。こうして生成された再生同期情報を参照して、表示制御手段７４０が、当該取得された映像データに基づく同期映像を表示部７４５における表示手段７４６により表示させるとともに、音出力制御手段７６０Ｂが、再生楽曲音と残余音との合成音を音出力部７６５から出力させる。

【0102】

したがって、本第２実施形態によれば、撮影時における再生楽曲音と、映像及び残余音との同期関係と同一の同期関係で、撮影後に、当該再生楽曲音と、撮影された映像と残余音とを再生することができる。

【0103】

また、本第２実施形態では、第１実施形態の場合と同様に、同期再生指令において同時再生表示が指定された場合には、表示制御手段７４０が、同期映像を表示手段７４６により表示させつつ、撮影手段７１０により撮影されているリアルタイム映像を表示手段７４７により表示させる。このため、同じ再生楽曲音に同期している過去の映像と現在の映像とを同時に表示することができる。

【0104】

また、本第２実施形態では、第１実施形態の場合と同様に、同期再生中に同期映像切換指令を受けるたびに、生成手段７３０Ｂが、再生出力中の再生楽曲音の進行に同期して、同期映像切換指令において指定された同期映像に切り換えるための編集同期情報を生成する。また、同期再生中に同期映像切換指令を受けると、表示制御手段７４０は、同期映像切換指令において指定された同期映像を切り換えて、表示手段７４６により表示させる。このため、同じ再生楽曲音に同期している過去の映像のいわゆるタイムライン編集を、簡易に行うことができる。

【0105】

［実施形態の変形］
本発明は、上記の第１及び第２実施形態に限定されるものではなく、様々な変形が可能である。

【0106】

例えば、上記の第１及び第２実施形態では、撮影手段を１つ用意するとともに、１つの表示手段によりリアルタイム映像を表示できるようにした。これに対して、撮影手段を複数用意するとともに、リアルタイム映像の表示用の表示手段を複数用意し、複数の撮影手段の中から選択された１以上の撮影手段で撮影されている映像を、１以上の表示手段を用いて同時に表示できるようにしてもよい。

【0107】

また、上記の第１及び第２実施形態では、同期表示する一の映像を同期表示するようにしたが、同期表示するための表示手段を複数用意したうえで、選択された１以上の映像データに基づく同期映像を同時に表示できるようにしてもよい。

【0108】

また、上記の第１及び第２実施形態において、編集同期情報に対応する再生用データ（第１実施形態においては編集同期情報に対応する再生用映像データ、第２実施形態においては編集同期情報に対応する再生用映像データ及び再生用残余音データ）の生成を行うことができるようにしてもよい。この場合には、編集同期情報及び当該編集同期情報に対応する再生用データを、記録媒体又は通信回線を利用して、他の再生装置に供給することができるようになる。

【0109】

上記の第１及び第２実施形態において、同期映像表示に際しては、拍送りや拍戻しができるようにしてもよい。

【0110】

また、上記の第１実施形態において、収音手段を更に備えるようにし、第２実施形態の場合と同様に、再生用残余音データを再生用情報に含まれるようにした上で、同期再生時に、再生楽曲音と残余音とを合成した合成音を再生出力できるようにしてもよい。

【0111】

また、上記の第１実施形態では、生成手段が、入力手段から送られる各種の指令の受信時刻の検出結果に基づいて、再生同期情報を生成するようにした。これに対し、生成手段が、音出力制御手段から再生楽曲音の再生の進行情報を受けるとともに、取得手段から映像取得動作の進行情報を受けるようにし、これらの受信情報に基づいて、再生同期情報を生成するようにしてもよい。

【0112】

また、上記の第２実施形態では、楽曲音に対応する楽曲コンテンツが音源データ部に記憶されていることを前提とした。これに対して、楽曲音に対応する楽曲コンテンツが音源データ部に記憶されていないことが判明した場合には、生成手段が、楽曲音に対応する楽曲コンテンツを、インターネット上の楽曲サーバからダウンロードし、音源データ部に記憶させることができるようにしてもよい。

【0113】

また、上記の第１及び第２実施形態において、例えば、ダンスの練習時に見る鏡に映る風景と同様に見せるために、同期映像やリアルタイム映像を左右反転させた映像を、投影表示することができるようにしてもよい。

【0114】

また、上記の第１及び第２実施形態では、撮影手段、表示部、音源データ部及び音出力部（第２実施形態においては、更に収音手段）を同期再生装置が備えるようにした。これに対し、これらの一部又は全部の機能を他の装置が有しているときには、当該他の装置の機能を利用するようにしてもよい。

【0115】

また、上記の第１及び第２実施形態の同期再生装置を、演算部としてのコンピュータを備えたコンピュータ装置として構成し、上述した取得手段、生成手段、表示制御手段及び音出力制御部の機能の一部又は全部の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、ＣＤ−ＲＯＭ，ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。

【実施例】

【0116】

以下、本発明の同期再生装置の実施例を説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。

【0117】

［第１実施例］
まず、本発明の同期再生装置の第１実施例について、図３〜図９を主に参照して説明する。
＜構成＞
図３には、第１実施例に係る同期再生装置１００Ａの概略的な構成が示されている。なお、同期再生装置１００Ａは、上述した第１実施形態の同期再生装置７００Ａ（図１参照）の一態様となっている。

【0118】

図３に示されるように、同期再生装置１００Ａは、取得手段７２０Ａ、生成手段７３０Ａ、表示制御手段７４０及び音出力制御手段７６０Ａとしての制御ユニット１１０Ａと、再生用情報記憶部７３５としての記憶ユニット１２０とを備えている。また、同期再生装置１００は、音源データ部７５０としての音源ユニット１３０、音出力部７６５としての音出力ユニット１４０と、表示手段７４６としての投影ユニット１５０₁と、表示手段７４７としての投影ユニット１５０₂とを備えている。さらに、同期再生装置１００Ａは、情報表示ユニット１６０と、入力手段７７０としての操作入力ユニット１７０と、撮影手段７１０としての撮影ユニット１８０とを備えている。

【0119】

上記の制御ユニット１１０Ａは、同期再生装置１００Ａの全体を統括制御するとともに、様々な処理を実行する。この制御ユニット１１０Ａについては、後述する。

【0120】

上記の記憶ユニット１２０は、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶ユニット１２０は、再生用情報ＲＤＡを記憶する。この再生用情報ＲＤＡの内容については、後述する。

【0121】

上記の音源ユニット１３０は、不揮発性の記憶素子を備えて構成される。この音源ユニットは、様々な楽曲に関する楽曲コンテンツ情報ＭＣＤを記憶する。

【0122】

上記の音出力ユニット１４０は、スピーカを備えて構成される。この音出力ユニット１４０は、制御ユニット１１０Ａから送られた出力音（本第１実施例では、再生楽曲音）データを受ける。そして、音出力ユニット１４０は、制御ユニット１１０Ａによる制御のもとで、当該出力音データに対応する出力音を再生出力する。

【0123】

上記の投影ユニット１５０₁は、映像プロジェクタを備えて構成される。この投影ユニット１５０₁は、制御ユニット１１０Ａから送られた同期映像データを受ける。そして、投影ユニット１５０₁は、制御ユニット１１０Ａによる制御のもとで、同期映像データに対応する同期映像を、スクリーン又は壁面に投影表示する。

【0124】

上記の投影ユニット１５０₂は、上記の投影ユニット１５０₁と同様に、映像プロジェクタを備えて構成される。この投影ユニット１５０₂は、制御ユニット１１０Ａから送られたリアルタイム映像データを受ける。そして、投影ユニット１５０₂は、制御ユニット１１０Ａによる制御のもとで、リアルタイム映像データに対応するリアルタイム映像を、スクリーン又は壁面に投影表示する。

【0125】

上記の情報表示ユニット１６０は、液晶パネル等の表示デバイスを備えて構成される。この情報表示ユニット１６０は、制御ユニット１１０Ａから送られた情報表示データを受ける。そして、情報表示ユニット１６０は、情報表示データに対応する画像を表示する。この情報表示ユニット１６０は、制御ユニット１１０Ａによる制御のもとで、同期再生装置１００Ａの動作状態情報、操作ガイダンス情報等を表示する。

【0126】

上記の操作入力ユニット１７０は、同期再生装置１００Ａの本体部に設けられたキー部、及び／又はキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、情報表示ユニット１６０の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。また、カメラによる撮影画像についての画像認識や、モーションキャプチャによる動作認識を操作入力に際して利用することもできる。

【0127】

この操作入力ユニット１７０を利用者が操作することにより、同期再生装置１００Ａの動作内容の設定や動作指令の入力が行われる。こうした動作指定には、取得動作の開始指令及び終了指令、再生同期情報の生成指令、楽曲音再生の開始指令及び終了指令、同期再生の開始指令及び終了指令、再生同期情報編集の開始指令及び終了指令、並びに、同期映像切換指令が、含まれている。操作入力ユニット１７０への入力内容は、操作入力データとして、制御ユニット１１０Ａへ送られる。

【0128】

上記の撮影ユニット１８０は、撮影カメラを備えて構成されている。この撮影ユニット１８０は、制御ユニット１１０Ａによる制御のもとで、周辺映像を撮影する。撮影ユニット１８０による撮影結果は、映像データとして、制御ユニット１１０Ａへ送られる。

【0129】

次に、上記の制御ユニット１１０Ａについて説明する。この制御ユニット１１０Ａは、中央処理装置（ＣＰＵ）及びその周辺回路を備えて構成されている。制御ユニット１１０Ａが様々なプログラムを実行することにより、上述した取得手段７２０Ａ、生成手段７３０Ａ、表示制御手段７４０及び音出力制御手段７６０Ａとしての機能が実現されるようになっている。かかる制御ユニット１１０Ａが実行する処理の詳細については、後述する。

【0130】

なお、制御ユニット１１０Ａは、操作入力ユニット１７０から送られた楽曲音再生の開始指令を受けると、楽曲再生処理を開始する。かかる楽曲再生処理では、楽曲音再生の開始指令において指定されている楽曲コンテンツのデータを音源ユニット１３０から順次読み取る。そして、制御ユニット１１０Ａは、読み取られた楽曲コンテンツのデータに基づいて、再生楽曲音データを生成し、音出力ユニット１４０へ送る。この結果、音出力ユニット１４０から、当該再生楽曲音データに対応する再生楽曲音が再生出力される。

【0131】

次いで、上記の記憶ユニット１２０内に記憶される再生用情報ＲＤＡの内容について、説明する。図４に示されるように、再生用情報ＲＤＡは、同期再生用情報と、編集再生用情報とから構成されている。ここで、同期再生用情報は、個別同期再生用情報＃１、個別同期再生用情報＃２、…を含むことができるようになっている。かかる個別同期再生用情報＃ｊ（ｊ＝１，２，…）のそれぞれは、再生用映像データ＃ｊと、再生同期情報＃ｊとから構成される。また、編集再生用情報は、編集同期情報＃１、編集同期情報＃２、…を含むことができるようになっている。

【0132】

［動作］
次に、上記のように構成された同期再生装置１００Ａの動作について、再生同期情報の生成処理、同期再生処理及び編集同期情報の生成処理に際しての制御ユニット１１０Ａの処理に主に着目して説明する。

【0133】

《再生同期情報の生成処理》
再生同期情報の生成処理に際しては、図５に示されるように、まず、ステップＳ１１において、制御ユニット１１０Ａが、再生同期情報の生成指令を受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。

【0134】

ステップＳ１１の処理の繰り返し中に、利用者が、再生同期情報の生成指令の入力操作を操作入力ユニット１７０に対して行うと、再生同期情報の生成指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この再生同期情報の生成指令を受け、ステップＳ１１における判定の結果が肯定的となると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。

【0135】

なお、ステップＳ１１の処理の繰り返し中に、楽曲音再生又は同期再生の開始指令を受けた場合には、制御ユニット１１０Ａは、その後における再生同期情報の生成のための準備として、楽曲音再生又は同期再生の開始指令に応じて行われる再生楽曲音の再生の進行状況を監視する。

【0136】

ステップＳ１２では、制御ユニット１１０Ａが、取得動作の終了指令を受けるまでの期間における取得動作の開始指令及び終了指令、並びに、楽曲音再生又は同期再生の開始指令及び終了指令の受信の監視を行い、それぞれの受信時刻を検出する。また、制御ユニット１１０Ａは、記憶ユニット１２０を利用して、取得動作の開始指令の受信から終了指令の受信までの取得期間に撮影ユニット１８０から送られた映像データのバッファリング処理を行う。

【0137】

次に、ステップＳ１３において、制御ユニット１１０Ａが、取得動作の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１３：Ｎ）には、処理はステップＳ１２へ戻る。そして、指令受信時刻の検出、及び、映像データのバッファリング処理が継続される。

【0138】

ステップＳ１２，Ｓ１３の処理の繰り返し中に、利用者が、取得動作の終了指令の入力操作を操作入力ユニット１７０に対して行うと、取得動作の終了指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この取得動作の終了指令を受け、ステップＳ１３における判定の結果が肯定的となると（ステップＳ１３：Ｙ）、処理はステップＳ１４へ進む。

【0139】

ステップＳ１４では、制御ユニット１１０Ａが、バッファリングしている映像データを、新たな再生用映像データとして、記憶ユニット１２０に格納する。引き続き、制御ユニット１１０Ａが、楽曲音再生又は同期再生の開始指令の受信時刻の検出結果、又は、上述した再生同期情報の生成処理前の監視結果に基づいて、今回の取得期間中に音出力ユニット１４０から出力される再生楽曲音の再生開始時刻を基準時刻として、取得動作の開始指令の受信時刻、取得動作の終了指令の受信時刻、楽曲音再生又は同期再生の終了指令の受信時刻の当該基準時刻に対する相対時刻情報を算出する。

【0140】

なお、再生同期情報の生成指令の受信から、取得動作の終了指令の受信までの間に、楽曲音再生又は同期再生の終了指令の受信時刻は、検出される場合もあるし、検出されない場合もある。このため、楽曲音再生又は同期再生の終了指令の受信時刻が検出されている場合には、楽曲音再生又は同期再生の終了指令の受信時刻の相対時刻情報が算出されるが、楽曲音再生又は同期再生の終了指令の受信時刻が検出されていない場合には、楽曲音再生又は同期再生の終了指令の受信時刻の相対時刻情報は算出されない。

【0141】

次に、制御ユニット１１０Ａは、算出された相対時刻情報に、今回取得された再生用映像データ、及び、楽曲音再生又は同期再生の開始指令で指定された楽曲コンテンツの指定情報を加えて、再生同期情報を生成する。そして、制御ユニット１１０Ａは、生成された再生同期情報を、新たな再生同期情報として記憶ユニット１２０内に格納する。この後、制御ユニット１１０Ａは、再生同期情報の生成処理を終了する。

【0142】

上述した新たな再生用映像データと、新たな再生同期情報とから、新たな個別同期再生用情報が構成されることになる。

【0143】

《同期再生処理》
同期再生処理としては、同期映像表示処理と同期音出力処理とが並行して実行される。

【0144】

同期映像表示処理に際しては、図６に示されるように、まず、ステップＳ２１において、制御ユニット１１０Ａが、同期再生の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合には（ステップＳ２１：Ｎ）、ステップＳ２１の処理が繰り返される。

【0145】

ステップＳ２１の処理の繰り返し中に、利用者が、同期再生の開始指令の入力操作を操作入力ユニット１７０に対して行うと、同期再生の開始指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この同期再生の開始指令を受け、ステップＳ２１における判定の結果が肯定的となると（ステップＳ２１：Ｙ）、処理はステップＳ２２へ進む。

【0146】

ステップＳ２２では、制御ユニット１１０Ａが、同期再生の開始指令において指定された再生同期情報又は編集同期情報で示されている再生楽曲音との同期関係に従って、各時点において再生すべき再生用映像データの部分のデータを、逐次、記憶ユニット１２０から読み取る。引き続き、制御ユニット１１０Ａは、読み取られたデータに基づいて、同期映像データを生成する。そして、制御ユニット１１０Ａは、生成された同期映像データを投影ユニット１５０₁へ送る。この結果、投影ユニット１５０₁により、スクリーン又は壁面に、同期映像が投影表示される。

【0147】

また、制御ユニット１１０Ａは、同期再生の開始指令において同時表示有が指定されている場合には、撮影ユニット１８０から送られている映像データに基づいて、撮影中の映像をリアルタイムで表示するためのリアルタイム映像データを生成する。そして、制御ユニット１１０Ａは、生成されたリアルタイム映像データを投影ユニット１５０₂へ送る。この結果、投影ユニット１５０₁による同期映像の投影表示と同時に、投影ユニット１５０₂によるリアルタイム映像の投影表示が行われる。

【0148】

次に、ステップＳ２３において、制御ユニット１１０Ａが、同期再生の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２３：Ｎ）には、処理はステップＳ２２へ戻る。そして、同期映像表示処理が継続される。

【0149】

ステップＳ２２，Ｓ２３の処理の繰り返し中に、利用者が、同期再生の終了指令の入力操作を操作入力ユニット１７０に対して行うと、同期再生の終了指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この同期再生の終了指令を受け、ステップＳ２３における判定の結果が肯定的となると（ステップＳ２３：Ｙ）、制御ユニット１１０Ａは、同期映像表示処理を終了する。

【0150】

同期音出力処理に際しては、図７に示されるように、まず、ステップＳ３１において、制御ユニット１１０Ａが、同期再生の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合には（ステップＳ３１：Ｎ）、ステップＳ３１の処理が繰り返される。

【0151】

ステップＳ３１の処理の繰り返し中に、利用者が、同期再生の開始指令の入力操作を操作入力ユニット１７０に対して行うと、同期再生の開始指令が、操作入力ユニットから制御ユニット１１０Ａへ送られる。この同期再生の開始指令を受け、ステップＳ３１における判定の結果が肯定的となると（ステップＳ３１：Ｙ）、処理はステップＳ３２へ進む。

【0152】

ステップＳ３２では、制御ユニット１１０Ａが、当該同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき楽曲コンテンツの部分のデータを、逐次、音源ユニット１３０から読み取る。引き続き、制御ユニット１１０Ａは、読み取られたデータに基づいて再生楽曲音データを生成する。そして、制御ユニット１１０Ａは、生成された再生楽曲音データを音出力ユニット１４０へ送る。この結果、音出力ユニット１４０から、再生楽曲音が再生出力される。

【0153】

次に、ステップＳ３３において、制御ユニット１１０Ａが、同期再生の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ３３：Ｎ）には、処理はステップＳ３２へ戻る。そして、同期音出力処理が継続される。

【0154】

ステップＳ３２，Ｓ３３の処理の繰り返し中に、利用者が、同期再生の終了指令の入力操作を操作入力ユニット１７０に対して行うと、同期再生の終了指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この同期再生の終了指令を受け、ステップＳ３３における判定の結果が肯定的となると（ステップＳ３３：Ｙ）、制御ユニット１１０Ａは、同期音出力処理を終了する。

【0155】

《編集同期情報の生成処理》
編集同期情報の生成処理に際しては、図８に示されるように、まず、ステップＳ４１において、制御ユニット１１０Ａが、再生同期情報編集の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合には（ステップＳ４１：Ｎ）、ステップＳ４１の処理が繰り返される。

【0156】

ステップＳ４１の処理の繰り返し中に、利用者が、再生同期情報編集の開始指令の入力操作を操作入力ユニット１７０に対して行うと、再生同期情報編集の開始指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この再生同期情報編集の開始指令を受け、ステップＳ４１における判定の結果が肯定的となると（ステップＳ４１：Ｙ）、処理はステップＳ４２へ進む。

【0157】

ステップＳ４２では、制御ユニット１１０Ａが、再生同期情報編集の開始指令において指定された再生同期情報又は編集同期情報を特定する。そして、制御ユニット１１０Ａは、特定された同期情報を、暫定編集同期情報として記憶ユニット１２０から読み取る。

【0158】

次に、ステップＳ４３において、制御ユニット１１０Ａが、再生同期情報編集の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合には（ステップＳ４３：Ｎ）、処理はステップＳ４４へ進む。

【0159】

ステップＳ４４では、制御ユニット１１０Ａが、同期映像切換指令を受けたか否かを判定する。この判定の結果が否定的であった場合には（ステップＳ４４：Ｎ）、処理はステップＳ４３へ戻る。

【0160】

ステップＳ４３，Ｓ４４の処理の繰り返し中に、利用者が、同期映像切換指令の入力操作を操作入力ユニット１７０に対して行うと、同期映像切換指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この同期映像切換指令を受け、ステップＳ４４における判定の結果が肯定的となると（ステップＳ４４：Ｙ）、処理はステップＳ４５へ進む。

【0161】

ステップＳ４５では、制御ユニット１１０Ａが、今回の編集同期情報の生成処理中における同期再生処理に関する基準時刻に対応する時刻（再生楽曲音出力の開始時刻）に対する現在時刻の相対時刻を特定する。引き続き、制御ユニット１１０Ａは、当該特定された相対時刻の情報、及び、同期映像切換指令において指定された再生用映像データの特定情報を追加することにより、その時点における暫定編集同期情報を更新する。そして、処理はステップＳ４３へ戻る。

【0162】

なお、再生同期情報編集の開始時に読み取った暫定編集同期情報が編集同期情報であった場合には、制御ユニット１１０Ａは、その後に最初の同期映像切換指令を受けると、当該最初の同期映像切換指令の受信時刻が対応する相対時刻以降における暫定編集同期情報を消去する。

【0163】

ステップＳ４３〜Ｓ４５の繰り返し中に、利用者が、再生同期情報編集の終了指令の入力操作を操作入力ユニット１７０に対して行うと、再生同期情報編集の終了指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この再生同期情報編集の終了指令を受け、ステップＳ４３における判定の結果が肯定的となると（ステップＳ４３：Ｙ）、処理はステップＳ４６へ進む。

【0164】

ステップＳ４６では、制御ユニット１１０Ａが、同期映像切換指令の受信に伴う暫定編集同期情報の更新があったか否かを判定する。この判定の結果が否定的であった場合（ステップＳ４６：Ｎ）には、制御ユニット１１０Ａは、直ちに、編集同期情報の生成処理を終了する。

【0165】

一方、ステップＳ４６における判定の結果が肯定的であった場合（ステップＳ４６：Ｙ）には、処理はステップＳ４７へ進む。このステップＳ４７では、制御ユニット１１０Ａが、その時点における暫定編集同期情報を、新たな編集同期情報に確定する。そして、制御ユニット１１０Ａは、新たな編集同期情報を記憶ユニット１２０内に格納する。この後、制御ユニット１１０Ａは、編集同期情報の生成処理を終了する。

【0166】

なお、制御ユニット１１０Ａは、上述した編集同期情報の生成処理と並行して、同期映像の切換表示処理及び同期音出力処理を実行する。

【0167】

同期映像の切換表示処理及び同期音出力処理に際しては、図９に示されるように、まず、ステップＳ５１において、制御ユニット１１０Ａが、再生同期情報編集の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合には（ステップＳ５１：Ｎ）、ステップＳ５１の処理が繰り返される。

【0168】

ステップＳ５１の処理の繰り返し中に、利用者が、再生同期情報編集の開始指令の入力操作を操作入力ユニット１７０に対して行うと、再生同期情報編集の開始指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この再生同期情報編集の開始指令を受け、ステップＳ５１における判定の結果が肯定的となると（ステップＳ５１：Ｙ）、処理はステップＳ５２へ進む。

【0169】

ステップＳ５２では、制御ユニット１１０Ａが、当該再生同期情報編集の開始指令で指定された再生同期情報又は編集同期情報を参照して、上述した同期再生処理の場合と同様にして、同期映像表示処理及び同期音出力処理を行う。

【0170】

次に、ステップＳ５３において、制御ユニット１１０Ａが、再生同期情報編集の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合には（ステップＳ５３：Ｎ）、処理はステップＳ５４へ進む。

【0171】

ステップＳ５４では、制御ユニット１１０Ａが、同期映像切換指令を受けたか否かを判定する。この判定の結果が否定的であった場合には（ステップＳ５４：Ｎ）、処理はステップＳ５３へ戻る。

【0172】

ステップＳ５３，Ｓ５４の処理の繰り返し中に、利用者が、同期映像切換指令の入力操作を操作入力ユニット１７０に対して行うと、同期映像切換指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この同期映像切換指令を受け、ステップＳ５４における判定の結果が肯定的となると（ステップＳ５４：Ｙ）、処理はステップＳ５５へ進む。

【0173】

ステップＳ５５では、制御ユニット１１０Ａが、同期映像切換指令で指定された映像データに対応する再生同期情報を参照し、それまでの再生楽曲音の再生タイミングとの同期を維持しつつ、映像切換後に再生すべき当該指定された映像データの部分を特定する。引き続き、制御ユニット１１０Ａは、特定された映像データの部分のデータを順次読み取り、同期映像データを生成する。そして、制御ユニット１１０Ａは、生成された同期映像データを投影ユニット１５０₁へ送る。この結果、投影ユニット１５０₁により投影表示される同期映像が切り換わる。この後、処理はステップＳ５３へ戻る。

【0174】

ステップＳ５３〜Ｓ５５の繰り返し中に、利用者が、再生同期情報編集の終了指令の入力操作を操作入力ユニット１７０に対して行うと、再生同期情報編集の終了指令が、操作入力ユニット１７０から制御ユニット１１０Ａへ送られる。この再生同期情報編集の終了指令を受け、ステップＳ５３における判定の結果が肯定的となると（ステップＳ５３：Ｙ）、制御ユニット１１０Ａは、同期映像の切換表示処理及び同期音出力処理を終了する。

【0175】

以上説明したように、本第１実施例では、制御ユニット１１０Ａが、撮影ユニット１８０が撮影した再生楽曲音に同期した映像データを取得する。引き続き、制御ユニット１１０Ａが、撮影時における再生楽曲音の再生タイミングと、当該取得された映像データに基づく再生映像の再生タイミングとの同期関係を、撮影時における再生楽曲音と映像との同期関係と同一とするための再生同期情報を生成する。こうして生成された再生同期情報を参照して、制御ユニット１１０Ａが、当該取得された映像データに基づく同期映像を投影ユニット１５０₁に投影表示させるとともに、再生楽曲音を音出力ユニット１４０から出力させる。

【0176】

したがって、本第１実施例によれば、撮影時における再生楽曲音と映像との同期関係と同一の同期関係で、撮影後に、当該再生楽曲音と、撮影された映像とを再生することができる。

【0177】

また、本第１実施例では、同期再生指令において同時再生表示が指定された場合には、制御ユニット１１０Ａが、同期映像を投影ユニット１５０₁により投影表示させつつ、撮影ユニット１８０により撮影されているリアルタイム映像を投影ユニット１５０₂により投影表示させる。このため、同じ再生楽曲音に同期している過去の映像と現在の映像とを同時に表示することができる。

【0178】

また、本第１実施例では、編集同期情報の生成に際しての同期再生中に同期映像切換指令を受けるたびに、制御ユニット１１０Ａが、再生出力中の再生楽曲音の進行に同期して、同期映像切換指令において指定された同期映像に切り換えるための編集同期情報を生成する。また、編集同期情報の生成に際しての同期再生中に同期映像切換指令を受けると、制御ユニット１１０Ａは、同期映像切換指令において指定された映像に切り換えて、投影ユニット１５０₁により投影表示させる。このため、同じ再生楽曲音に同期している過去の映像のいわゆるタイムライン編集を、簡易に行うことができる。

【0179】

［第２実施例］
次に、本発明に係る第２実施例を、図１０から図１４を主に参照して説明する。

【0180】

図１０には、第２実施例に係る同期再生装置１００Ｂの概略的な構成が示されている。なお、同期再生装置１００Ｂは、上述した第２実施形態の同期再生装置７００Ｂ（図２参照）の一態様となっている。

【0181】

図１０に示されるように、同期再生装置１００Ｂは、上述した第１実施例の同期再生装置１００Ａと比べて、制御ユニット１１０Ａに代えて制御ユニット１１０Ｂを備える点、収音ユニット１９０を更に備える点、記憶ユニット１２０は、取得情報記憶部７２５としても機能し、記憶ユニット１２０には取得情報ＡＱＤ及び再生用情報ＲＤＢが記憶される点が、異なっている。以下、これらの相違点に主に着目して、説明する。

【0182】

制御ユニット１１０Ｂは、上述した制御ユニット１１０Ａと同様に、中央処理装置及びその周辺回路を備えて構成されている。制御ユニット１１０Ｂが様々なプログラムを実行することにより、上述した取得手段７２０Ｂ、生成手段７３０Ｂ、表示制御手段７４０及び音出力制御手段７６０Ｂとしての機能が実現されるようになっている。かかる制御ユニット１１０Ｂが実行する処理の詳細については、後述する。

【0183】

上記の収音ユニット１９０は、マイクロフォンを備えて構成される。この収音ユニット１９０は、制御ユニット１１０Ｂによる制御のもとで、周囲音を収音する。収音ユニット１９０による収音結果は、収音データとして制御ユニット１１０Ｂへ送る。

【0184】

上記の取得情報ＡＱＤは、図１１に示されるように、取得映像データと、取得楽曲音データと、取得残余音データとから構成される。また、上記の再生用情報ＲＤＢは、図１２に示されるように、上述した第１実施例における再生用情報ＲＤＡ（図４参照）と比べて、個別同期再生用情報＃ｊ（ｊ＝１，２，…）が、再生用残余音データ＃ｊを更に含む点のみが異なっている。

【0185】

＜動作＞
次に、上記のように構成された同期再生装置１００Ｂの動作について、取得動作、再生同期情報の生成処理、同期再生処理及び編集同期情報の生成処理に際しての制御ユニット１１０Ｂの処理に主に着目して説明する。

【0186】

《取得処理》
取得処理に際しては、図１３に示されるように、まず、ステップＳ６１において、制御ユニット１１０Ｂが、取得動作の開始指令を受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ６１：Ｎ）には、ステップＳ６１の処理が繰り返される。

【0187】

ステップＳ６１の処理の繰り返し中に、利用者が、取得動作の開始指令の入力操作を操作入力ユニット１７０に対して行うと、取得動作の開始指令が、操作入力ユニット１７０から制御ユニット１１０Ｂへ送られる。この取得動作の開始指令を受け、ステップＳ６１における判定の結果が肯定的となると（ステップＳ６１：Ｙ）、処理はステップＳ６２へ進む。

【0188】

ステップＳ６２では、制御ユニット１１０Ｂが、取得動作の終了指令を受けるまでの取得期間に撮影ユニット１８０から送られた映像データ、及び、収音ユニット１９０から送られた収音データを受け、記憶ユニット１２０を利用したバッファリングを行う。引き続き、ステップＳ６３において、制御ユニット１１０Ｂが、取得動作の終了指令を受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ６３：Ｎ）には、処理はステップＳ６２へ戻る。そして、映像データ及び収音データのバッファリング処理が継続される。

【0189】

ステップＳ６２，Ｓ６３の処理の繰り返し中に、利用者が、取得動作の終了指令の入力操作を操作入力ユニット１７０に対して行うと、取得動作の終了指令が、操作入力ユニット１７０から制御ユニット１１０Ｂへ送られる。この取得動作の終了指令を受け、ステップＳ６３における判定の結果が肯定的となると（ステップＳ６３：Ｙ）、処理はステップＳ６４へ進む。

【0190】

ステップＳ６４では、制御ユニット１１０Ｂが、記憶ユニット１２０内にバッファリングされている収音データを解析して、楽曲音と、楽曲以外の残余音とを識別し、楽曲音データと残余音データとに分離する。そして、制御ユニット１１０Ｂは、記憶ユニット１２０内にバッファリングされている映像データ、並びに、当該分離された楽曲音データ及び残余音データを、取得映像データ、取得楽曲音データ及び取得残余音データとして、記憶ユニット１２０内に格納する。この後、制御ユニット１１０Ｂは、取得処理を終了する。

【0191】

《再生同期情報の生成処理》
再生同期情報の生成処理に際しては、図１４に示されるように、まず、ステップＳ７１において、制御ユニット１１０Ｂが、再生同期情報の生成指令を受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ７１：Ｎ）には、ステップＳ７１の処理が繰り返される。

【0192】

ステップＳ７１の処理の繰り返し中に、利用者が、再生同期情報の生成指令の入力操作を操作入力ユニット１７０に対して行うと、再生同期情報の生成指令が、操作入力ユニット１７０から制御ユニット１１０Ｂへ送られる。この再生同期情報の生成指令を受け、ステップＳ７１における判定の結果が肯定的となると（ステップＳ７１：Ｙ）、処理はステップＳ７２へ進む。

【0193】

ステップＳ７２では、制御ユニット１１０Ｂが、楽曲音の特定を行う。かかる楽曲音の特定に際して、まず、制御ユニット１１０Ｂは、記憶ユニット１２０から取得楽曲音データを読み取る。引き続き、制御ユニット１１０Ｂ、取得楽曲音データを解析して、取得楽曲音データに対応する楽曲音の特徴を示すメタデータを抽出する。そして、制御ユニット１１０Ｂは、当該メタデータに対応する音源ユニット１３０内の楽曲コンテンツを特定する。

【0194】

次に、ステップＳ７３において、制御ユニット１１０Ｂは、特定された楽曲コンテンツにおける取得楽曲音データの部分を特定する。そして、特定された楽曲コンテンツにおける取得楽曲音データの部分、及び、特定された楽曲コンテンツの識別情報に基づいて、第１実施例で生成された再生同期情報と同等な再生同期情報を生成する。引き続き、制御ユニット１１０Ｂは、記憶ユニット１２０から取得映像データ及び取得残余音データを読み取って、新たな再生用映像データ及び再生用残余音データとして、記憶ユニット１２０内に格納するとともに、生成された再生同期情報を、新たな再生同期情報として、記憶ユニット１２０内に格納する。この結果、記憶ユニット１２０内には、新たな再生用映像データ、再生用残余音データ及び再生同期情報が追加される。

【0195】

次に、制御ユニット１１０Ｂは、当該新たな再生用映像データ、再生用残余音データ及び再生同期情報の生成のために利用した取得映像データ、取得楽曲音データ及び取得残余音データを、記憶ユニット１２０内から消去する。この後、制御ユニット１１０Ｂは、再生同期情報の生成処理を終了する。

【0196】

《同期再生処理及び編集同期情報の生成処理》
本第２実施例の同期再生処理における同期映像表示処理は、制御ユニット１１０Ｂが、上述した第１実施例における制御ユニット１１０Ａによる同期映像表示処理と同様の処理を実行することにより、行われる。

【0197】

また、本第２実施例の同期再生処理における同期音出力処理は、同期再生の開始指令において残余音の同時再生無の指定がされている場合には、制御ユニット１１０Ｂが、上述した第１実施例における制御ユニット１１０Ａによる同期音出力処理と同様の処理を実行することにより行われる。一方、同期再生の開始指令において残余音の同時再生有の指定がされている場合には、次のようにして、制御ユニット１１０Ｂが、同期音出力処理を実行する。

【0198】

かかる残余音の同時再生有の指定がされている場合の同期音出力処理に際して、制御ユニット１１０Ｂは、同期再生の開始指令で指定された再生同期情報又は編集同期情報を参照し、各時点において再生すべき楽曲音に対応する楽曲コンテンツの部分のデータを、逐次、音源ユニット１３０からから読み取るとともに、各時点において再生すべき再生用残余音データの部分のデータを、逐次、記憶ユニット１２０から読み取る。

【0199】

引き続き、制御ユニット１１０Ｂは、読み取られた２種類のデータに基づいて、再生楽曲音と残余音との合成音に対応する同期出力音データを生成する。そして、制御ユニット１１０Ｂは、生成された同期出力音データを、音出力ユニット１４０へ送る。この結果、音出力ユニット１４０からは、再生楽曲音と残余音との合成音が再生出力される。

【0200】

なお、同期再生の開始指令において残余音の同時再生の有無の指定がいずれであっても、同期再生の終了指令を受けると、制御ユニット１１０Ｂは、同期音出力処理を終了する。

【0201】

本第２実施例における編集同期情報の生成は、制御ユニット１１０Ｂが、上述した第１実施例における制御ユニット１１０Ａによる編集同期情報の生成処理と同様の処理を実行することにより、行われる。

【0202】

以上説明したように、本第２実施例では、制御ユニット１１０Ｂが、撮影ユニット１８０により撮影された楽曲音に同期した映像データ、及び、収音ユニット１９０により収音された音声のデータ受ける。引き続き、制御ユニット１１０Ｂが、当該収音された音声のデータを解析して、楽曲音と、楽曲以外の残余音とを識別し、楽曲音データと残余音データとに分離する。そして、制御ユニット１１０Ｂは、取得動作の開始指令を受けてから取得動作の終了指令を受けるまでの期間における映像データ、楽曲音データ及び残余音データを取得する。

【0203】

次に、制御ユニット１１０Ｂが、撮影時における楽曲音の再生タイミングと、当該取得された映像データに基づく再生映像の再生タイミング、及び、当該取得された残余音データに基づく再生映像の再生タイミングとの同期関係を、撮影時における楽曲音と、映像及び残余音との同期関係と同一とするための再生同期情報を生成する。こうして生成された再生同期情報を参照して、制御ユニット１１０Ｂが、当該取得された映像データに基づく同期映像を投影ユニット１５０₁により投影表示させるとともに、再生楽曲音と残余音との合成音を音出力ユニット１４０から出力させる。

【0204】

したがって、本第２実施例によれば、撮影時における再生楽曲音と、映像及び残余音との同期関係と同一の同期関係で、撮影後に、当該再生楽曲音と、撮影された映像と残余音とを再生することができる。

【0205】

また、本第２実施例では、第１実施例の場合と同様に、同期再生指令において同時再生表示が指定された場合には、制御ユニット１１０Ｂが、同期映像を投影ユニット１５０₁により投影表示させつつ、撮影ユニット１８０により撮影されているリアルタイム映像を投影ユニット１５０₂により投影表示させる。このため、同じ再生楽曲音に同期している過去の映像と現在の映像とを同時に表示することができる。

【0206】

また、本第２実施例では、第１実施例の場合と同様に、編集同期情報の生成に際しての同期再生中に同期映像切換指令を受けるたびに、制御ユニット１１０Ｂが、再生出力中の再生楽曲音の進行に同期して、同期映像切換指令において指定された同期映像に切り換えるための編集同期情報を生成する。また、編集同期情報の生成に際しての同期再生中に同期映像切換指令を受けると、制御ユニット１１０Ｂは、同期映像切換指令において指定された映像を切り換えて、投影ユニット１５０₁により投影表示させる。このため、同じ再生楽曲音に同期している過去の映像のいわゆるタイムライン編集を、簡易に行うことができる。

【0207】

［実施例の変形］
本発明は、上記の第１及び第２実施例に限定されるものではなく、様々な変形が可能である。

【0208】

例えば、上記の第１及び第２実施例では、同期映像及びリアルタイム映像のために、投影プロジェクタを備える投影ユニットを採用したが、液晶ディスプレイパネル等の表示デバイスを備える表示ユニットを採用してもよい。

【0209】

また、上述した第１及び第２実施形態について説明した変形を、上記の第１及び第２実施例に適用してもよい。

【0210】

なお、上記の実施例では、制御ユニット１１０Ａ，１１０Ｂのよるプログラムの実行により、同期再生のための処理を行うようにしたが、当該同期再生のための処理の全部又は一部を、専用のＬＳＩ（Large Scale Integrated circuit）等を用いたハードウェアにより行うようにしてもよい。

【符号の説明】

【0211】

１００Ａ，１００Ｂ … 同期再生装置
１１０Ａ，１１０Ｂ … 制御ユニット（取得手段、生成手段、表示制御手段、
音出力制御手段）
１４０ … 音出力ユニット（音出力部）
１５０₁ … 投影ユニット（表示手段）
１５０₂ … 投影ユニット（表示手段（特定表示手段））
１７０ … 操作入力ユニット（入力手段）
１８０ … 撮影ユニット（撮影手段）
１９０ … 収音ユニット（収音手段）
７００Ａ，７００Ｂ … 同期再生装置
７１０ … 撮影手段
７１５ … 収音手段
７２０Ａ，７２０Ｂ … 取得手段
７３０Ａ，７３０Ｂ … 生成手段
７４０ … 表示制御手段
７４５ … 表示部
７４６ … 表示手段
７４７ … 表示手段（特定表示手段）
７６０Ａ，７６０Ｂ … 音出力制御手段
７６５ … 音出力部
７７０ … 入力手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】