特許 7521521 カラオケシステム、及び、マルチ視点映像視聴方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】カラオケシステム、及び、マルチ視点映像視聴方法

(51)【国際特許分類】

   G10K 15/04 20060101AFI20240717BHJP

   G06F 3/04842 20220101ALI20240717BHJP

   G06F 3/14 20060101ALI20240717BHJP

   G10K 15/02 20060101ALI20240717BHJP

   H04N 21/431 20110101ALI20240717BHJP

   H04N 21/472 20110101ALI20240717BHJP

【ＦＩ】

G10K15/04 302D

G06F3/04842

G06F3/14 350A

G06F3/14 360A

G10K15/02

H04N21/431

H04N21/472

【請求項の数】 11

(21)【出願番号】P 2021208809

(22)【出願日】2021-12-22

(65)【公開番号】P2023093275

(43)【公開日】2023-07-04

【審査請求日】2023-03-24

(73)【特許権者】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】100157118

【弁理士】

【氏名又は名称】南 義明

(72)【発明者】

【氏名】佐橋 亮

【審査官】渡邊 正宏

(56)【参考文献】

【文献】特開２００４－０９６６０６（ＪＰ，Ａ）

【文献】特開２００８－１３１３７９（ＪＰ，Ａ）

【文献】特開平０７－００７６３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／００－１５／１２

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ ３／１４－ ３／１５３

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４－ ７／１７３

Ｈ０４Ｎ ７／２０－ ７／５６

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムであって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像を、操作受付手段を使用してユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
合成映像は、複数の視点映像の範囲を示す属性情報を含み、
第２表示処理は、属性情報に基づき、選択された視点映像を表示装置に表示させる
カラオケシステム。

【請求項2】

表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムであって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像を、操作受付手段を使用してユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
各視点映像の視聴関連情報を取得する取得処理を実行可能とし、
取得処理で取得した視聴関連情報に基づき、視点映像を表示装置に表示させる自動表示処理を実行可能とする
カラオケシステム。

【請求項3】

表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムであって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像を、操作受付手段を使用してユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
各視点映像の視聴関連情報を取得する取得処理を実行可能とし、
第１表示処理は、取得処理で取得した視聴関連情報に基づき、各視点映像に付随情報を表示する
カラオケシステム。

【請求項4】

第１表示処理で表示される合成映像は、データ量の圧縮を行う圧縮処理が施されたものである
請求項１から請求項３の何れか１項に記載のカラオケシステム。

【請求項5】

圧縮処理は、カラオケ装置、あるいは、リモコン装置の少なくとも一方の状態に応じて、圧縮の形態を切り換える
請求項４に記載のカラオケシステム。

【請求項6】

カラオケ装置は、複数の表示装置に映像を出力可能とし、
選択処理は、合成映像に含まれる複数の視点映像の内、ユーザ所望の複数の視点映像をユーザに選択させることを可能とし、
選択処理で選択された複数の視点映像を、各表示装置に表示させる
請求項１から請求項５の何れか１項に記載のカラオケシステム。

【請求項7】

カラオケ装置は、第２表示処理と、第３表示処理を切り替え可能とし、
第３表示処理は、表示装置に合成映像を表示する
請求項１から請求項６の何れか１項に記載のカラオケシステム。

【請求項8】

合成映像中、映像が途切れた視点映像を判定する判定処理と、
第２表示処理において、判定処理で判定された視点映像が表示されている場合、他の視点映像に切り換える切換処理を実行可能な
請求項１から請求項７の何れか１項に記載のカラオケシステム。

【請求項9】

表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムで実行されるマルチ視点映像視聴方法であって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像をユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
合成映像は、複数の視点映像の範囲を示す属性情報を含み、
第２表示処理は、属性情報に基づき、選択された視点映像を表示装置に表示させる
マルチ視点映像視聴方法。

【請求項10】

表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムで実行されるマルチ視点映像視聴方法であって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像をユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
各視点映像の視聴関連情報を取得する取得処理を実行可能とし、
取得処理で取得した視聴関連情報に基づき、視点映像を表示装置に表示させる自動表示処理を実行可能とする
マルチ視点映像視聴方法。

【請求項11】

表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムで実行されるマルチ視点映像視聴方法であって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像をユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
各視点映像の視聴関連情報を取得する取得処理を実行可能とし、
第１表示処理は、取得処理で取得した視聴関連情報に基づき、各視点映像に付随情報を表示する
マルチ視点映像視聴方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の視点映像を選択可能なカラオケシステム、並びに、マルチ視点映像視聴方法に関する。

【背景技術】

【0002】

従来、伴奏に合わせて歌唱を楽しむカラオケが社交の場等で行われている。このようなカラオケは、楽曲を再生するカラオケ装置を使用して行われる。カラオケ装置は、歌唱を楽しむという目的のみならず、映画、あるいは、コンサート等のライブ映像を楽しむという用途にも使用されユーザの人気を集めている。

【0003】

特許文献１には、マルチアングル映像を組み合わせた統合画像を作成して配信するシステムが開示されている。また、第１、第２ユーザインターフェイスを用いて視聴視点を切り替える画像表示方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１８／１９９０２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、視聴視点を選択する画面、及び、映像を鑑賞する画面を同一としているため、視聴視点の選択時、視聴者にとって邪魔になる可能性がある。

【0006】

本発明は、このような状況を鑑みたものであって、カラオケシステムで映像コンテンツを視聴する際、現在視聴中の映像を邪魔することなく、表示する映像コンテンツの視点変更を可能とすることを１つの目的とする。

【課題を解決するための手段】

【0007】

そのため、本発明に係るカラオケシステムは、以下の構成を採用するものである。
表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムであって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像を、操作受付手段を使用してユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
合成映像は、複数の視点映像の範囲を示す属性情報を含み、
第２表示処理は、属性情報に基づき、選択された視点映像を表示装置に表示させる。
また本発明に係るカラオケシステムは、
表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムであって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像を、操作受付手段を使用してユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
各視点映像の視聴関連情報を取得する取得処理を実行可能とし、
取得処理で取得した視聴関連情報に基づき、視点映像を表示装置に表示させる自動表示処理を実行可能とする。
また本発明に係るカラオケシステムは、
表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムであって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像を、操作受付手段を使用してユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
各視点映像の視聴関連情報を取得する取得処理を実行可能とし、
第１表示処理は、取得処理で取得した視聴関連情報に基づき、各視点映像に付随情報を表示する。

【0008】

さらに本発明に係るカラオケシステムにおいて、
第１表示処理で表示される合成映像は、データ量の圧縮を行う圧縮処理が施されたものである。

【0009】

さらに本発明に係るカラオケシステムにおいて、
圧縮処理は、カラオケ装置、あるいは、リモコン装置の少なくとも一方の状態に応じて、圧縮の形態を切り換える。

【0011】

さらに本発明に係るカラオケシステムにおいて、
カラオケ装置は、複数の表示装置に映像を出力可能とし、
選択処理は、合成映像に含まれる複数の視点映像の内、ユーザ所望の複数の視点映像をユーザに選択させることを可能とし、
選択処理で選択された複数の視点映像を、各表示装置に表示させる。

【0012】

さらに本発明に係るカラオケシステムにおいて、
カラオケ装置は、第２表示処理と、第３表示処理を切り替え可能とし、
第３表示処理は、表示装置に合成映像を表示する。

【0015】

さらに本発明に係るカラオケシステムは、
合成映像中、映像が途切れた視点映像を判定する判定処理と、
第２表示処理において、判定処理で判定された視点映像が表示されている場合、他の視点映像に切り換える切換処理を実行可能とする

【0016】

また本発明に係るマルチ視点映像視聴方法は、
表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムで実行されるマルチ視点映像視聴方法であって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像をユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
合成映像は、複数の視点映像の範囲を示す属性情報を含み、
第２表示処理は、属性情報に基づき、選択された視点映像を表示装置に表示させる。
また本発明に係るマルチ視点映像視聴方法は、
表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムで実行されるマルチ視点映像視聴方法であって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像をユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
各視点映像の視聴関連情報を取得する取得処理を実行可能とし、
取得処理で取得した視聴関連情報に基づき、視点映像を表示装置に表示させる自動表示処理を実行可能とする。
また本発明に係るマルチ視点映像視聴方法は、
表示装置に映像を出力するカラオケ装置と、リモコン装置を備えたカラオケシステムで実行されるマルチ視点映像視聴方法であって、
複数の視点映像を並べた合成映像を受信する受信処理を実行し、
リモコン装置は、ユーザが操作可能な操作受付手段と、選択用表示手段を備え、
受信した合成映像を、選択用表示手段に表示させる第１表示処理と、
合成映像に含まれる複数の視点映像の内、ユーザ所望の視点映像をユーザに選択させる選択処理と、を実行可能とし、
カラオケ装置は、
選択処理で選択された視点映像を表示装置に表示させる第２表示処理を実行可能とし、
各視点映像の視聴関連情報を取得する取得処理を実行可能とし、
第１表示処理は、取得処理で取得した視聴関連情報に基づき、各視点映像に付随情報を表示する。

【発明の効果】

【0017】

本発明に係るカラオケシステム、並びに、マルチ視点映像視聴方法によれば、映像コンテンツを視聴する際、現在視聴中の映像を阻害することなく、表示する映像コンテンツの視点変更を行うことが可能となる。

【図面の簡単な説明】

【0018】

【図1】本実施形態のカラオケシステムの構成を示す図

【図2】本実施形態のコンテンツ配信構成を説明するための図

【図3】本実施形態の属性情報のデータ構成、データ利用形態を説明するための図

【図4】本実施形態の配信から再生までの処理を示すフロー図

【図5】本実施形態の操作ＵＩを説明するための図

【図6】本実施形態の操作ＵＩを説明するための図

【図7】他の実施形態の操作ＵＩを説明するための図

【図8】他の実施形態の操作ＵＩを説明するための図

【図9】他の実施形態の操作ＵＩを説明するための図

【図10】他の実施形態における視点映像の形態を説明するための図

【発明を実施するための形態】

【0019】

図１は、本実施形態のカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダと呼ぶこともある）と、リモコン装置１を含んで構成されている。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように通信接続されている。

【0020】

カラオケ装置２は、楽曲の演奏、背景映像の表示等、各種処理を行う制御部２０を備えている。制御部２０では、楽曲情報の再生、背景映像の再生等、各種処理を行うことが可能である。制御部２０には、映像を出力するための表示映像出力端子２１ａ、副表示映像出力端子２１ｂが接続されている。表示映像出力端子２１ａには第１モニタ４１ａが接続され、副表示映像出力端子２１ｂには、第２モニタ４１ｂが接続されている。本実施形態では、これらの端子にＨＤＭＩ（登録商標）規格を使用した端子を採用している。

【0021】

また、制御部２０には、インターフェイス３３を介して、各種構成が接続されている。本実施形態では、ミキシングアンプ３４、各種情報を記憶する記憶部としてのハードディスク３５、各種通信手段（赤外線通信部３６、無線ＬＡＮ通信部３７、ＬＡＮ通信部３８）、ユーザからの各種入力を受け付ける操作部３９を有している。

【0022】

ミキシングアンプ３４は、制御部２０で演奏された楽曲音と、マイクロホン４３ａ、４３ｂから入力される歌唱音声とをミキシングしてスピーカー４２に出力する。本実施形態では、赤外線通信部３６を使用して、リモコン装置１と通信を行い、リモコン装置１からの楽曲指定等を受信することとしている。ＬＡＮ通信部３８は、ＬＡＮ１００に接続してネットワークに加入する通信手段として機能する。また、本実施形態のカラオケ装置２は、無線ＬＡＮ通信部３７も備えており、ＬＡＮ通信部３８を使用した有線によるネットワーク接続に代え、無線ＬＡＮ通信部３７を使用した無線によるネットワーク接続を行うことも可能である。

【0023】

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、予約処理、再生処理などを実行可能としている。予約処理は、ユーザからの指定に基づいて楽曲、あるいは、コンサート、映画等の各種コンテンツを指定、予約するための処理であってリモコン装置１と連携して実行される。予約処理が行われると、リモコン装置１は、予約情報を形成してカラオケ装置２に送信する。カラオケ装置２は、受信した予約情報をメモリ中の予約テーブルに登録する。再生処理は、予約された楽曲、あるいは、各種コンテンツを再生させる処理であって、楽曲再生時には、楽曲演奏処理と歌詞表示処理とを同期して実行する。

【0024】

一方、リモコン装置１は、ユーザからの指示に基づいて楽曲、あるいは、各種コンテンツを検索し、再生指示のあった楽曲、あるいは、各種コンテンツについて予約情報をカラオケ装置２に送信する選択処理を実行可能としている。また、リモコン装置１は、カラオケ装置２あるいはインターネット上に接続されたサーバ装置から各種情報を受信し、各種処理を実行することが可能である。本実施形態では、ユーザから各種指示を受け付けるユーザインターフェイスとして、操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａ（「選択用表示手段」に相当）と、タッチパネル１１ｂ（「操作受付手段」に相当）を有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザからのタッチ入力を受付可能としている。

【0025】

さらにリモコン装置１は、選択処理に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ１４、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニタ１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニタ１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。

【0026】

リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。また、リモコン装置１は、赤外線通信部１９を備えており、カラオケ装置２側の赤外線通信部３６に対して、予約時の予約情報等を送信することが可能となっている。

【0027】

このようなリモコン装置１の構成により、ユーザからの各種入力をタッチパネルモニタ１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニタ１１の表示により各種情報を提供することで、カラオケ装置２に対して出力する予約情報を送信する選択処理など、各種処理を行うことが可能となっている。

【0028】

本実施形態のカラオケシステムでは、歌唱するための楽曲再生のみならず、コンサート、映画等、各種コンテンツを再生することが可能となっている。また、コンテンツの１つであるコンサートについては、ライブ会場からの生配信を行うライブ配信、また、過去に行われたコンサートを配信するアーカイブ配信を行うことが可能となっている。

【0029】

図２は、本実施形態のコンテンツ配信構成を説明するための図である。この例では、ライブ会場からの生中継によるライブ配信、そして、ライブ配信されたコンテンツを記憶して配信するアーカイブ配信が可能となっている。

【0030】

ライブ会場には、複数台のカメラ６２１が配置されており、ライブ会場の様子を撮影する。カメラ６２１は、ライブ会場において、同一シーンを異なる視点から撮影することが可能である。また、セレクタ２２は、複数台のカメラ６２１で撮像された複数の視点映像中、配信に使用する複数の視点映像を選択する。セレクタ６２２による視点映像の選択は、ライブ会場にいる現地スタッフ等の操作によって行われる。本実施形態では、４つの視点映像（メイン映像情報Ｍ、サブ映像情報Ｓ１～Ｓ３）を使用している。視点映像の数は、この例に限られるものではない。

【0031】

エンコード装置６３は、選択された視点映像をエンコードし、配信を行うライブ配信サーバ６５に供給する。本実施形態のエンコード装置６３は、エンコードを行うエンコーダ６３１と、配信形式に変換するトランスコーダ６３２を備えている。

【0032】

また、エンコード装置６３は、配信管理端末６１からの指示によって制御され、配信管理端末６１で設定された属性情報に基づき、エンコードされた４つの視点映像を、トランスコーダ６３２で１つの配信情報に統合する。本実施形態の配信管理端末６１は、コンテンツの配信を管理する管理サーバ６４にも通信接続されており、配信に必要な各種情報を管理サーバ６４に登録することが可能である。管理サーバ６４に登録された各種情報は、カラオケシステムにおけるコンテンツ選択等に使用することが可能である。

【0033】

エンコード装置６３で形成された配信情報は、ライブ配信サーバ６５に送信され、インターネットを介し、カラオケ店舗のルータ１２０、カラオケ装置２の順に配信される。このような配信形態により、カラオケ店舗にいるユーザは、ライブ会場の様子を視聴することが可能となる。また、配信される配信情報には、４つの視点映像が含まれており、ユーザは視聴する視点映像を切り換えることが可能となっている。

【0034】

ライブ配信による配信情報は、アーカイブ管理サーバ６６にも送信され、ライブ終了後の配信に使用される。アーカイブ管理サーバ６６は、ライブ配信後、配信情報をカラオケ店舗に設置される記憶部１３０にアーカイブ配信する。本実施形態の記憶部１３０は、カラオケ店舗内のＬＡＮ１００に通信接続されたＮＡＳ（Network Attached Storage）タイプのものを使用しており、カラオケ店舗内に設置された複数のカラオケ装置２から使用することが可能である。また、アーカイブ配信では、ライブ配信と比較して通信に即時性が求められないため、その配信には、分散配置型ＣＤＮ等を使用した形態を使用することも可能である。

【0035】

このようなアーカイブ配信を行うことで、カラオケ店舗にいるユーザは、アーカイブ配信されたコンテンツを視聴することが可能となる。また、アーカイブ配信においても、ユーザは視聴する視点映像を切り換えることが可能となっている。なお、ここでは、ライブ配信されたコンテンツをアーカイブ配信することを説明したが、アーカイブ配信のみ、あるいは、ライブ配信のみを行う配信形態を採用することも可能である。また、翻字し形態では、配信管理端末６１、エンコード装置６３、管理サーバ６４、ライブ配信サーバ６５、及び、アーカイブ管理サーバ６６は通信接続されているが、これら各装置の少なくとも何れか１つは、ハードウェアを共有する形態を採用してもよい。

【0036】

図３は、本実施形態の属性情報のデータ構成、データ利用形態を説明するための図である。図２において、配信管理端末６１は、エンコード装置６３に対して、視点映像のための属性情報を設定することを説明した。図３（Ａ）に示されるよう、本実施形態の属性情報は、コンテンツＩＤ、第１～第４視点情報、オプション情報を含んで構成されている。

【0037】

コンテンツＩＤは、コンテンツを識別するための情報である。第１～第４視点情報には、視点名称（メイン、サブ１～サブ３）、始点位置（Ｓ１～Ｓ４）、幅（Ｗ１～Ｗ４）、高さ（Ｌ１～Ｌ４）を含んで構成されている。オプション情報は、コンテンツの再生開始時、第１モニタ４１ａ、第２モニタ４１ｂに表示するデフォルト映像を規定する情報等が含まれている。なお、デフォルト映像を規定する情報に代え、視点映像の優先度を規定する情報であってもよい。コンテンツを再生するカラオケ装置２では、優先度に基づき、第１モニタ４１ａ、第２モニタ４１ｂに表示する視点映像を決定する。属性情報の内容は、任意に設定されればよい。

【0038】

図３（Ｂ）には、配信情報をデコードした際の配信映像が示されている。本実施形態の配信映像は、４つの視点映像を並べて形成した合成映像で形成されている。本実施形態では、メインの視点映像を左上、サブ１の視点映像を右上、サブ２の視点映像を左下、サブ３の視点映像を右下に配置した配置形態となっている。

【0039】

第１～第４視点情報は、この配信映像から各視点映像を切り出すための情報であって、図３（Ｂ）に示すように、各視点映像の左上を始点位置（Ｓ１～Ｓ４）として、幅（Ｗ１～Ｗ４）、高さ（Ｌ１～Ｌ４）を規定することで、矩形状の視点映像の範囲を規定している。よって、属性情報を使用することで、配信映像から各視点映像を切り出すことが可能となっている。

【0040】

図４は、本実施形態の配信から再生までの処理を示すフロー図である。ここでは、図２で説明したライブ配信時について説明を行う。配信管理端末６１は、ライブ会場、エンコード装置６３に対して各種指示を行うことが可能である。配信管理端末６１は、まず、ライブ会場に設置されたセレクタ６２２と、エンコード装置６３を接続する（Ｓ１０１）。そして、図３で説明した視点映像を選択するための属性情報をエンコード装置６３に登録する（Ｓ１０２）。

【0041】

エンコード装置６３は、登録された属性情報をライブ配信サーバ６５、カラオケ装置２で利用可能なデータ形式に変換する（Ｓ１１１）。変換された属性情報は、ライブ配信サーバ６５に登録される（Ｓ１２１）。なお、属性情報の変換は、エンコード装置６３で行うことに代え、配信管理端末６１等、他の装置で行ってもよい。

【0042】

ライブ配信後、カラオケ店舗のユーザである顧客は、リモコン装置１を使用して、コンテンツの視聴指示を入力する（Ｓ１４１）。カラオケ装置２は、コンテンツの視聴指示を受け、コンテンツ再生のためのプレイヤを起動する（Ｓ１３１）。そして、カラオケ装置２は、指示されたコンテンツの属性情報をライブ配信サーバ６５から取得する（Ｓ１３２）。また、リモコン装置１は、カラオケ装置２が取得した属性情報を取得し（Ｓ１４２）、操作ＵＩ（User Interface）を表示する（Ｓ１４３）。なお、Ｓ１３２、及び、Ｓ１４２では、それぞれ属性情報の要求信号を対応する装置に送り、その応答を受け付けることで属性情報を取得しているが、図４では詳細な処理の図示を省略している。

【0043】

配信管理端末６１は、エンコード装置６３に対してエンコード、配信を指示する（Ｓ１０３）。指示を受けたエンコード装置６３は、エンコーダ６３１によるエンコード、及び、トランスコーダ６３２による配信情報の生成を行い、ライブ配信サーバ６５に配信情報を配信する（Ｓ１１２）。ライブ配信サーバ６５は、配信情報を受信（Ｓ１２２）し、受信した配信情報をカラオケ装置２用の配信形式に変換する（Ｓ１２３）。そして、カラオケ装置２は、再生対象となる配信情報をライブ配信サーバ６５から取得する（Ｓ１３３）。Ｓ１３３では、属性情報の要求信号をライブ配信サーバ６５に送り、その応答を受け付けることで属性情報を取得しているが、図４においてはその詳細の図示を省略している。

【0044】

配信情報を取得したカラオケ装置２は、再生のためのデコード処理を実行し、映像の再生を行う（Ｓ１３４、Ｓ１３５）。デコード処理は、カラオケ装置２で再生するためのデコード処理（Ｓ１３４）と、リモコン装置１の操作ＵＩに表示するためのリモコン用デコード処理（Ｓ１３５）を含んでいる。

【0045】

デコード処理（Ｓ１３４）は、ライブ配信サーバ６５から受信した配信情報を、図３（Ｂ）で説明した配信映像（合成映像）にデコードして第１モニタ４１ａ、第２モニタ４１ｂに再生表示を可能にする処理である。なお、本実施形態において、再生開始時は、属性情報中のオプション情報に含まれるデフォルト映像を規定する情報に基づき、デコードされた配信映像から、第１モニタ４１ａ、第２モニタ４１ｂに表示させる視点映像を切り出している。また、後述するＳ１３６、Ｓ１３７の処理が実行されるまではデフォルト映像に対応する映像を第１モニタ４１ａ、第２モニタ４１ｂに再生表示させる。

【0046】

リモコン用デコード処理（Ｓ１３５）は、リモコン装置１の操作ＵＩに表示させる映像をデコードする処理である。リモコン用デコード処理（Ｓ１３５）は、ライブ配信サーバ６５から受信した配信情報のデコードを行い、リモコン装置１に送信する。リモコン装置１は、受信したリモコン用映像を、タッチパネルモニタ１１の操作ＵＩに表示する（Ｓ１４４）。

【0047】

なお、リモコン用デコード処理（Ｓ１３５）では、小画面のタッチパネルモニタ１１に表示される映像を作成すること、また、カラオケ装置２から無線通信で受信することいった事情から、デコード後の映像は、圧縮処理でデータ量の圧縮が行われたものであってもよい。例えば、圧縮処理では、元の配信映像に対して、少ない解像度とする、あるいは少ないフレームレート（静止画であってもよい）とすることが考えられる。また、配信映像よりもデータ量の小さな属性情報に含まれる視点名称に対応するイメージ画をデコードして、リモコンに送信してもよい。

【0048】

また、圧縮処理では、カラオケ装置２、あるいは、リモコン装置１の少なくとも一方の状態に応じて、圧縮の形態を切り換えることとしてもよい。例えば、カラオケ装置２あるいはリモコン装置１の処理負荷が大きい場合、圧縮処理を簡易な処理とする（圧縮率を上げる）ことで、処理負荷を下げることが可能となる。また、カラオケ装置２とリモコン装置１間での通信状況が低下した場合、カラオケ装置２において圧縮率を上げることで、通信容量が少ない状況下においても、リモコン装置１で適切に表示を行うことが可能である。

【0049】

カラオケ装置２、リモコン装置１における再生は、配信情報の配信が完了する、あるいは、ユーザによる再生中止が指示される（Ｓ１３８、１４８：Ｙｅｓ）まで、継続して行われる。また、配信管理端末６１は、ライブ配信を終了させる場合（Ｓ１０４：Ｙｅｓ）、エンコード装置６３に対して、エンコード、配信終了指示を行う（Ｓ１０５）。指示を受けたエンコード装置６３（Ｓ１１３：Ｙｅｓ）は、エンコード、配信を終了する（Ｓ１１４）。そして、エンコード装置６３において、エンコード、配信を終了すると（Ｓ１２４：Ｙｅｓ）、ライブ配信サーバ６５は、配信形式の変換、及び、カラオケ装置２に対する配信を終了する（Ｓ１２５）。

【0050】

本実施形態では、カラオケ装置２でのコンテンツ再生中、リモコン装置１に表示される操作ＵＩを使用して、視点映像を切り換えることが可能となっている。リモコン装置１では、操作ＵＩに表示されるリモコン用映像に基づき、ユーザから視点映像の選択操作を受け付ける（Ｓ１４５）。視点映像が選択されると、リモコン装置１は、選択指示をカラオケ装置２に送信する。選択指示を受けたカラオケ装置２は、受信した選択指示に基づき、第１モニタ４１ａ、第２モニタ４１ｂの何れか、あるいは、両方に対する視点映像を決定（Ｓ１３６）、デコードされた配信映像から視点映像を切り出して表示する（Ｓ１３７）。

【0051】

このように、本実施形態では、リモコン装置１に視点映像を選択するための操作ＵＩを表示し、ユーザからの操作を受け付ける形態となっており、第１モニタ４１ａ、第２モニタ４１ｂに操作ＵＩを表示することなく、ユーザは良好に視聴を楽しむことが可能となっている。

【0052】

図５、図６は、本実施形態の操作ＵＩを説明するための図である。図５には、ユーザ側から見た第１モニタ４１ａ、第２モニタ４１ｂの配置、及び、リモコン装置１のタッチパネルモニタ１１に表示される操作ＵＩが示されている。

【0053】

タッチパネルモニタ１１に表示される操作ＵＩには、図３（Ｂ）で説明したデコード後の配信映像をそのまま使用している。また、第１モニタ４１ａに表示させる視点映像には太枠が、第２モニタ４１ｂに表示させる映像には破線枠が表示されている。図５の場合、第１モニタ４１ａには、メインの視点映像が、第２モニタ４１ｂにはサブ１の視点映像が表示された状態となっている。

【0054】

図６は、本実施形態の操作ＵＩを説明するための図であって、図６（Ａ）には、図５の状態から第１モニタ４１ａに表示させる視点映像を切り換える途中の操作が、図６（Ｂ）には、切り換え後の様子が示されている。

【0055】

ユーザは、タッチパネルモニタ１１をタッチ操作することで、太枠、破線枠を移動させることが可能となっている。ユーザは、太枠内あるいは破線枠内をタッチ、スワイプして適宜な視点映像の位置に移動させることが可能である。図６（Ａ）には、太枠をサブ２の視点映像の位置に移動させる様子が示されている。図６（Ｂ）のように、太枠をサブ２の視点映像の位置に移動させることで、リモコン装置１は、カラオケ装置２に対して、第１モニタ４１ａに表示させる映像をサブ２の視点映像に切り換える選択指示を送信する。選択指示を受けたカラオケ装置２は、配信映像からサブ２の視点映像を切り出すことで、第１モニタ４１ａに表示させる視点映像をメインからサブ２に切り換える。

【0056】

このように、本実施形態では、ユーザは、操作ＵＩに表示される視点映像を確認しつつ、簡易な操作で視点映像を切り換えることが可能となっている。また、操作ＵＩも視点映像を妨げない枠表示となっている。また、枠位置を固定して、映像を枠位置に動かして選択する形態を採用してもよい。

【0057】

次に、他の実施形態の視点切換についての操作ＵＩを説明する。図７は、他の実施形態の操作ＵＩを説明するための図である。図７（Ａ）は、前述の実施形態と同様、複数の視点映像を表示する形態であって、「第１モニタ」、「第２モニタ」と表記された下方には、選択可能な複数の視点映像１１１ａ、１１１ｂが表示されている。また、選択中の視点映像には太枠が表示されている。ユーザは、第１モニタ４１ａ、第２モニタ４１ｂに対応する視点映像を選択することで、前述の実施形態と同様、視点映像を切り換えることが可能である。

【0058】

図７（Ｂ）は、簡易な操作ＵＩであって、視点映像は表示させない操作ＵＩとなっている。「第１モニタ」、「第２モニタ」と表記された下方には、選択操作子１１２ａ、１１２ｂが設けられており、メイン、サブ１～３といった視点映像の名称を選択することが可能となっている。選択操作子１１２ａ、１１２ｂを操作して、視点映像の名称を選択後、設定ボタン１１３ａ、１１３ｂを操作することで、表示する視点映像を切り換えることが可能である。

【0059】

図７（Ｂ）のように、視点映像を表示しない操作ＵＩでは、図４で説明したリモコン用デコード処理（Ｓ１３５）を行う必要がない。このように視点映像を必要としない操作ＵＩと、前述のように視点映像を表示させる操作ＵＩを切り換えることとしてもよい。例えば、カラオケ装置２とリモコン装置１間の通信状況が良くない、あるいは、カラオケ装置２の処理負荷が大きい場合、図５、図６、図７（Ａ）で説明した視点映像を使用する操作ＵＩから、図７（Ｂ）の視点映像を使用しない操作ＵＩに変更することで、通信状況の影響を抑制する、あるいは、カラオケ装置２の処理リソースの確保することが可能となる。

【0060】

図８、図９は、他の実施形態の操作ＵＩを説明するための図である。操作ＵＩとしては、ユーザの直感操作を利用することも可能である。図８（Ａ）には、ユーザ側から見た第１モニタ４１ａ、第２モニタ４１ｂの配置、及び、リモコン装置１のタッチパネルモニタ１１に表示される操作ＵＩが示されている。

【0061】

ユーザは、図８（Ａ）に示されるように、変更したい視点映像を表示対象となる第１モニタ４１ａ、あるいは、第２モニタ４１ｂに投げかけるスワイプ操作を行うことで、視点映像を切り換えることが可能である。この場合、リモコン装置１で、第１モニタ４１ａ、第２モニタ４１ｂのリモコン装置１に対する配置をセンサで感知して行うこととしてもよいが、簡易には、スワイプ操作の方向で行うこととしてもよい。例えば、図８（Ａ）に示されるようにスワイプ操作の方向の横軸が右方向である場合、第２モニタ４１ｂに対する切り換えであると判定し、図９（Ｃ）に示されるようにスワイプ操作の方向の横軸が左方向である場合、第１モニタ４１ａに対する切り換えであると判定する。この場合、予めリモコン装置１に第１モニタ４１ａと第２モニタ４１ｂのいずれが相対的に右に備えられているか、またはいずれが相対的に左に備えられているかを登録し、スワイプ操作方向と、第１モニタ４１ａと第２モニタ４１ｂの相対設置方向の統一がされていると尚よい。

【0062】

図８（Ｂ）、図９（Ｄ）は、それぞれ、図８（Ａ）、図９（Ｃ）のスワイプ操作に基づく切り換え後の第１モニタ４１ａ、第２モニタ４１ｂの表示の様子であって、図８（Ｂ）では、第２モニタ４１ｂがサブ２の視点映像に、図９（Ｄ）では、第１モニタ４１ａがサブ２の視点映像に切り換えられた様子が示されている。

【0063】

以上、図５～図９を使用して、視点映像の切り換えについて、各種操作ＵＩの説明を行った。視点切り換えについては、上述する実施形態のみならず、各種形態を採用することが可能である。また、本実施形態においては視点映像が４つの場合を一例として説明したが、４つの場合に限らず任意の数で実施が可能である。

【0064】

図１０は、他の実施形態における視点映像の形態を説明するための図である。図３で説明したように、前述の実施形態では、４つの視点映像を切り換え可能とするものであって、各視点映像は、略同様の大きさの矩形形状で形成されている。図１０は、他の視点映像の形態について説明するものである。

【0065】

この実施形態では、各視点映像は、大きさ、縦横比が異なる形態となっている。このように視点映像の大きさを変更することで、視点映像の解像度を異ならせることが可能となり、重要な視点映像には大きさを大きくすることで高い解像度の映像を提供することが可能である。また、図１０中、サブ３の視点映像は、メイン、サブ１、２、４と異なった縦横比となっているが、このような視点映像とすることで、ワイドな映像を提供することも可能である。あるいは、サブ３の視点映像に対しては、横方向に圧縮して表示させることで、横方向の解像度を高める仕様とすることも可能である。

【0066】

図１０についても、図３（Ａ）と同様、属性情報を使用することで、各視点映像の範囲を特定し、各視点映像を切り出して再生することが可能である。なお、視点映像の範囲が、配信側（例えば、エンコード装置６３）と再生側（例えば、カラオケ装置２）で予め定められている場合については、属性情報は必ずしも使用する必要は無い。

【0067】

以上、コンサート等のライブ配信を行う場合についての実施形態を説明したが、ライブ配信のみならず、ライブ配信を記録したアーカイブ配信についても、同様に視点映像の切り換えを行うことは可能である。

【0068】

［第１変形例］
次に、本実施形態に係るカラオケシステムの変形例を説明する。前述の実施形態では、ライブ会場からのライブ配信について説明した。図２において、ライブ会場のセレクタ６２２から送信される４つの視点映像（メイン映像情報Ｍ、サブ映像情報Ｓ１～Ｓ３）は、カメラ６２１の不具合、あるいは、配信経路の不具合等で途切れる可能性がある。そのような場合、再生を行うカラオケ装置２では、視点映像が途切れることで、第１モニタ４１ａ、第２モニタ４１ｂに表示される視点映像が停止する、あるいは、黒画面になってしまうことが考えられる。

【0069】

このような状況を鑑み、視点映像中、途切れた視点映像を判定し（判定処理）、判定処理の結果、途切れた視点映像が第１モニタ４１ａ、第２モニタ４１ｂの少なくとも一方に表示されている場合、他の視点映像に切り換える（切換処理）こととしてもよい。第１モニタ４１ａ、第２モニタ４１ｂにおける再生中断を抑制することが可能となる。他の視点映像への切り換えは、例えば、属性情報に各視点映像の優先度を規定しておき、優先度の高い視点映像に切り換えること等が考えられる。

【0070】

判定処理としては、各視点映像の変化量を監視し、一定期間変化が無い場合、視点映像が途切れたと判定することが考えられる。また、視点映像を切り換える操作ＵＩについても、途切れた視点映像には切り換えできないようにすることが好ましい。

【0071】

［第２変形例］
前述の実施形態では、操作ＵＩを使用し、ユーザの操作によって視点映像を切り換えることとしていた。このような形態のみならず、各コンテンツについて、視点映像の切り換え状況を、例えば、配信管理端末６１で収集し、収集した結果に基づき、各コンテンツについて、各視点映像の視聴関連情報を形成することとしてもよい。カラオケ装置２は、コンテンツの視聴時、コンテンツに対応する視聴関連情報を取得し、取得した視聴関連情報に基づき、視点映像を表示装置に表示させる自動表示処理を実行することも可能である。

【0072】

例えば、視聴率の高い視点映像に切り換えることで、ユーザは選択操作を行わなくても人気の高い視点映像に切り換えることが可能となる。なお、第１変形例と組み合わせ、視点映像が途切れた場合、この視聴関連情報を使用して視点映像を切り換えることも考えられる。

【0073】

また、視聴関連情報を使用する場合、表示される各視点映像に、視聴関連情報に基づく情報を付随情報として表示させることとしてもよい。ユーザは視聴関連情報（例えば、各視点映像の視聴率、あるいは、視聴率の順位等）を参考として、視点映像を選択することが可能となる。

【0074】

［第３変形例］
前述の実施形態では、第１モニタ４１ａ、第２モニタ４１ｂには選択された視点映像を表示することとしている。第１モニタ４１ａ、第２モニタ４１ｂ（少なくとも何れか一方）には、図３（Ｂ）に示されるような、配信映像をそのまま表示することとしてもよい。その場合、ユーザは操作ＵＩを使用して、視点映像のみならず、複数の視点映像で形成された配信映像を視聴することが可能となる。また、カラオケ装置２においても、視点映像の切り出し処理を行う必要がないため、処理負担の増加させることなく、複数の視点映像を表示させることが可能となる。

【0075】

以上、本実施形態、変形例について説明を行ったが、本発明はカラオケシステムに限られるものでは無く、リモコン装置１、カラオケ装置２、あるいは、カラオケシステムで使用されるマルチ視点映像視聴方法についても本発明の範疇に属する。
また、カラオケシステムは、ユーザが所持するスマートフォン等の端末装置をリモコン装置として、使用し、ゲーム機等、各種情報処理装置をカラオケ装置として構成することも可能である。その場合、端末装置、あるいは、情報処理装置で実行され、本実施形態の機能を実現する情報処理プログラムについても本発明の範疇に属する。

【符号の説明】

【0076】

１：リモコン装置 ３８：ＬＡＮ通信部
２：カラオケ装置 ３９：操作部
１１：タッチパネルモニタ ４１ａ：第１モニタ
１１ａ：表示部 ４１ｂ：第２モニタ
１１ｂ：タッチパネル ４２：スピーカー
１２：ビデオＲＡＭ ４３ａ、４３ｂ：マイクロホン
１３：映像制御部 ６１：配信管理端末
１４：メモリ ６３：エンコード装置
１５：ＣＰＵ ６４：管理サーバ
１６：無線ＬＡＮ通信部 ６５：ライブ配信サーバ
１７：操作部 ６６：アーカイブ管理サーバ
１８：操作処理部 １１０：アクセスポイント
１９：赤外線通信部 １１１ａ、１１１ｂ：視点映像
２０：制御部 １１２ａ、１１２ｂ：選択操作子
２１ａ：表示映像出力端子 １１３ａ、１１３ｂ：設定ボタン
２１ｂ：副表示映像出力端子 １２０：ルータ
２２：セレクタ １３０：記憶部
３３：インターフェイス ６２１：カメラ
３４：ミキシングアンプ ６２２：セレクタ
３５：ハードディスク ６３１：エンコーダ
３６：赤外線通信部 ６３２：トランスコーダ
３７：無線ＬＡＮ通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】