知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176165
(43)【公開日】2024-12-19
(54)【発明の名称】コンテンツ情報処理方法およびコンテンツ情報処理装置
(51)【国際特許分類】
G10K 15/00 20060101AFI20241212BHJP
H04S 7/00 20060101ALI20241212BHJP
【ＦＩ】
G10K15/00 M
H04S7/00 350
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023094491
(22)【出願日】2023-06-08
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】甲斐 繁
(72)【発明者】
【氏名】中村 吉就
(72)【発明者】
【氏名】大谷 明央
(72)【発明者】
【氏名】井芹 大智
(72)【発明者】
【氏名】藤島 琢哉
(72)【発明者】
【氏名】松田 遼
(72)【発明者】
【氏名】山川 颯人
(72)【発明者】
【氏名】須山 明彦
(72)【発明者】
【氏名】密岡 稜大
(72)【発明者】
【氏名】原 貴洋
(72)【発明者】
【氏名】鈴木 裕和
(72)【発明者】
【氏名】鈴木 俊太朗
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA05
5D162CC22
5D162DA02
5D162DA06
5D162EG07
(57)【要約】
【課題】遠隔地の会場でパフォーマンスを行っている様に知覚することができるコンテンツ情報処理方法を提供する。
【解決手段】コンテンツ情報処理方法は、第１会場の第１演者のライブパフォーマンスに係る第１パフォーマンス情報を取得し、前記第１会場とネットワークで接続される第２会場の映像または音に係る第１コンテンツ情報を取得し、前記第１パフォーマンス情報および前記第１コンテンツ情報に基づいて第２コンテンツ情報を生成し、前記第２コンテンツ情報に基づく映像または音を生成する。
【選択図】図４
【解決手段】コンテンツ情報処理方法は、第１会場の第１演者のライブパフォーマンスに係る第１パフォーマンス情報を取得し、前記第１会場とネットワークで接続される第２会場の映像または音に係る第１コンテンツ情報を取得し、前記第１パフォーマンス情報および前記第１コンテンツ情報に基づいて第２コンテンツ情報を生成し、前記第２コンテンツ情報に基づく映像または音を生成する。
【選択図】図４
【特許請求の範囲】
【請求項1】
第１会場の第１演者のライブパフォーマンスに係る第１パフォーマンス情報を取得し、
前記第１会場とネットワークで接続される第２会場の映像または音に係る第１コンテンツ情報を取得し、
前記第１パフォーマンス情報および前記第１コンテンツ情報に基づいて第２コンテンツ情報を生成し、
前記第２コンテンツ情報に基づく映像または音を生成する、
コンテンツ情報処理方法。
前記第１会場とネットワークで接続される第２会場の映像または音に係る第１コンテンツ情報を取得し、
前記第１パフォーマンス情報および前記第１コンテンツ情報に基づいて第２コンテンツ情報を生成し、
前記第２コンテンツ情報に基づく映像または音を生成する、
コンテンツ情報処理方法。
【請求項2】
前記第２会場の第２演者のライブパフォーマンス係る第２パフォーマンス情報を取得し、
前記第１パフォーマンス情報、前記第１コンテンツ情報、および前記第２パフォーマンス情報に基づいて前記第２コンテンツ情報を生成する、
請求項１に記載のコンテンツ情報処理方法。
前記第１パフォーマンス情報、前記第１コンテンツ情報、および前記第２パフォーマンス情報に基づいて前記第２コンテンツ情報を生成する、
請求項１に記載のコンテンツ情報処理方法。
【請求項3】
第３会場の第３演者のライブパフォーマンスに係る第３パフォーマンス情報を取得し、
前記第１パフォーマンス情報、前記第１コンテンツ情報、および前記第３パフォーマンス情報に基づいて前記第２コンテンツ情報を生成する、
請求項１に記載のコンテンツ情報処理方法。
前記第１パフォーマンス情報、前記第１コンテンツ情報、および前記第３パフォーマンス情報に基づいて前記第２コンテンツ情報を生成する、
請求項１に記載のコンテンツ情報処理方法。
【請求項4】
さらに、前記第２会場の再生環境に関する情報を取得し、
前記再生環境に関する情報に基づいて、生成した前記音に信号処理を施す、
請求項１に記載のコンテンツ情報処理方法。
前記再生環境に関する情報に基づいて、生成した前記音に信号処理を施す、
請求項１に記載のコンテンツ情報処理方法。
【請求項5】
前記第１パフォーマンス情報は、前記第１演者の演奏する第１楽器の演奏音を含み、
前記第２コンテンツ情報は、前記第１楽器の演奏音を含み、
前記再生環境に関する情報に基づいて、前記第１楽器の演奏音に前記信号処理を施す、
請求項４に記載のコンテンツ情報処理方法。
前記第２コンテンツ情報は、前記第１楽器の演奏音を含み、
前記再生環境に関する情報に基づいて、前記第１楽器の演奏音に前記信号処理を施す、
請求項４に記載のコンテンツ情報処理方法。
【請求項6】
前記第２コンテンツ情報は、前記第１会場の音および前記第２会場の音を混合した混合音を含む、
請求項１に記載のコンテンツ情報処理方法。
請求項１に記載のコンテンツ情報処理方法。
【請求項7】
前記第１コンテンツ情報は、前記第２会場における音波の遅延に関する情報を含み、
前記第２コンテンツ情報を生成する処理は、前記第２会場における音波の遅延を再生する処理を含む、
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
前記第２コンテンツ情報を生成する処理は、前記第２会場における音波の遅延を再生する処理を含む、
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
【請求項8】
前記第１コンテンツ情報は、さらに前記第２会場の形状に係る情報を含み、
前記第２会場の形状に係る情報に基づいて、前記第２会場における音波の遅延に関する情報を生成し、
前記第２コンテンツ情報を生成する処理は、前記第２会場における音波の遅延を再生する処理を含む、
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
前記第２会場の形状に係る情報に基づいて、前記第２会場における音波の遅延に関する情報を生成し、
前記第２コンテンツ情報を生成する処理は、前記第２会場における音波の遅延を再生する処理を含む、
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
【請求項9】
前記第１コンテンツ情報は、前記第２会場における音波の遅延に関する情報を含み、
利用者から前記遅延に関する調整操作を受け付け、
前記第２コンテンツ情報を生成する処理は、前記調整操作により調整された遅延を再生する処理を含む、
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
利用者から前記遅延に関する調整操作を受け付け、
前記第２コンテンツ情報を生成する処理は、前記調整操作により調整された遅延を再生する処理を含む、
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
【請求項10】
前記第２コンテンツ情報に基づく映像または音は、過去の映像または音を含む、
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
【請求項11】
前記第２コンテンツ情報を、第４会場に配信する、
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
請求項１乃至請求項６のいずれか１項に記載のコンテンツ情報処理方法。
【請求項12】
前記第４会場のリスナに対して課金処理を行い、
前記課金処理済のリスナに前記第２コンテンツ情報を配信する、
請求項１１に記載のコンテンツ情報処理方法。
前記課金処理済のリスナに前記第２コンテンツ情報を配信する、
請求項１１に記載のコンテンツ情報処理方法。
【請求項13】
前記第４会場の前記リスナの位置情報を取得し、
前記位置情報に応じて前記課金処理を変更する、
請求項１２に記載のコンテンツ情報処理方法。
前記位置情報に応じて前記課金処理を変更する、
請求項１２に記載のコンテンツ情報処理方法。
【請求項14】
第１会場の第１演者のライブパフォーマンスに係る第１パフォーマンス情報を取得し、
前記第１会場とネットワークで接続される第２会場の映像または音に係る第１コンテンツ情報を取得し、
前記第１パフォーマンス情報および前記第１コンテンツ情報に基づいて第２コンテンツ情報を生成し、
前記第２コンテンツ情報に基づく映像または音を生成する、
プロセッサを備えたコンテンツ情報処理装置。
前記第１会場とネットワークで接続される第２会場の映像または音に係る第１コンテンツ情報を取得し、
前記第１パフォーマンス情報および前記第１コンテンツ情報に基づいて第２コンテンツ情報を生成し、
前記第２コンテンツ情報に基づく映像または音を生成する、
プロセッサを備えたコンテンツ情報処理装置。
【請求項15】
前記プロセッサは、
前記第２会場の第２演者のライブパフォーマンス係る第２パフォーマンス情報を取得し、
前記第１パフォーマンス情報、前記第１コンテンツ情報、および前記第２パフォーマンス情報に基づいて前記第２コンテンツ情報を生成する、
請求項１４に記載のコンテンツ情報処理装置。
前記第２会場の第２演者のライブパフォーマンス係る第２パフォーマンス情報を取得し、
前記第１パフォーマンス情報、前記第１コンテンツ情報、および前記第２パフォーマンス情報に基づいて前記第２コンテンツ情報を生成する、
請求項１４に記載のコンテンツ情報処理装置。
【請求項16】
前記プロセッサは、
第３会場の第３演者のライブパフォーマンスに係る第３パフォーマンス情報を取得し、
前記第１パフォーマンス情報、前記第１コンテンツ情報、および前記第３パフォーマンス情報に基づいて前記第２コンテンツ情報を生成する、
請求項１４に記載のコンテンツ情報処理装置。
第３会場の第３演者のライブパフォーマンスに係る第３パフォーマンス情報を取得し、
前記第１パフォーマンス情報、前記第１コンテンツ情報、および前記第３パフォーマンス情報に基づいて前記第２コンテンツ情報を生成する、
請求項１４に記載のコンテンツ情報処理装置。
【請求項17】
前記第１コンテンツ情報は、前記第２会場における音波の遅延に関する情報を含み、
前記第２コンテンツ情報を生成する処理は、前記第２会場における音波の遅延を再生する処理を含む、
請求項１４乃至請求項１６のいずれか１項に記載のコンテンツ情報処理装置。
前記第２コンテンツ情報を生成する処理は、前記第２会場における音波の遅延を再生する処理を含む、
請求項１４乃至請求項１６のいずれか１項に記載のコンテンツ情報処理装置。
【請求項18】
前記第１コンテンツ情報は、さらに前記第２会場の形状に係る情報を含み、
前記プロセッサは、前記第２会場の形状に係る情報に基づいて、前記第２会場における音波の遅延に関する情報を生成し、
前記第２コンテンツ情報を生成する処理は、前記第２会場における音波の遅延を再生する処理を含む、
請求項１４乃至請求項１６のいずれか１項に記載のコンテンツ情報処理装置。
前記プロセッサは、前記第２会場の形状に係る情報に基づいて、前記第２会場における音波の遅延に関する情報を生成し、
前記第２コンテンツ情報を生成する処理は、前記第２会場における音波の遅延を再生する処理を含む、
請求項１４乃至請求項１６のいずれか１項に記載のコンテンツ情報処理装置。
【請求項19】
前記第１コンテンツ情報は、前記第２会場の過去の映像または音に関する情報を含む、
請求項１４乃至請求項１６のいずれか１項に記載のコンテンツ情報処理装置。
請求項１４乃至請求項１６のいずれか１項に記載のコンテンツ情報処理装置。
【請求項20】
前記プロセッサは、前記第２コンテンツ情報を、第４会場に配信する、
請求項１４乃至請求項１６のいずれか１項に記載のコンテンツ情報処理装置。
請求項１４乃至請求項１６のいずれか１項に記載のコンテンツ情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の一実施形態は、コンテンツ情報処理方法およびコンテンツ情報処理装置に関する。
【背景技術】
【0002】
特許文献１には、仮想聴取点と各収音点との距離に基づいて、各収音点に対応するチャンネルの収音信号に対して遅延及び／又は音圧の補正を行い、全チャンネルの収音信号を加算することにより、仮想聴取点に対応する合成音信号を生成する信号生成装置が開示されている。
【0003】
特許文献２には、第１会場の第１の場所で発生する第１音源の音および該第１音源の位置情報に係る第１音源情報、および前記第１会場の第２の場所で発生する第２音源に係る第２音源情報、を配信データとして配信し、前記配信データをレンダリングして、前記第１音源の位置情報に基づく定位処理を施した前記第１音源の音と、前記第２音源の音と、を第２会場に提供するライブデータ配信方法が開示されている。
【0004】
それぞれのオーディオオブジェクトの音声データと、複数の想定聴取位置のそれぞれに対する、前記音声データのレンダリングパラメータとを含むコンテンツを取得する取得部と、選択された所定の前記想定聴取位置に対する前記レンダリングパラメータに基づいて前記音声データのレンダリングを行い、音声信号を出力するレンダリング部とを備える再生装置。第１パフォーマンスにおける、演者の身体の動きを検出し、演者に関連付けられるアバターオブジェクトを仮想空間に配置し、検出した演者の身体の動きに応じて、アバターオブジェクトに、第２パフォーマンスを実行させることが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１８－１９１１２７
【特許文献2】国際公開第２０２２／１１３３９４
【特許文献3】国際公開第２０１８／９６９５４
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示のひとつの態様は、遠隔地の会場でパフォーマンスを行っている様に知覚することができるコンテンツ情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係るコンテンツ情報処理方法は、第１会場の第１演者のライブパフォーマンスに係る第１パフォーマンス情報を取得し、前記第１会場とネットワークで接続される第２会場の映像または音に係る第１コンテンツ情報を取得し、前記第１パフォーマンス情報および前記第１コンテンツ情報に基づいて第２コンテンツ情報を生成し、前記第２コンテンツ情報に基づく映像または音を生成する。
【発明の効果】
【0008】
本発明の一実施形態によれば、遠隔地の会場でパフォーマンスを行っている様に知覚することができる。
【図面の簡単な説明】
【0009】
【図1】コンテンツ情報処理システムの構成を示すブロック図である。
【図2】ＰＣ１Ａの構成を示すブロック図である。
【図3】ＰＣ１Ｂの構成を示すブロック図である。
【図4】ＰＣ１Ａの動作を示すフローチャートである。
【図5】変形例１に係るコンテンツ情報処理システムの構成図である。
【図6】変形例１に係るＰＣ１Ｂの構成を示すブロック図である。
【図7】変形例１に係るＰＣ１Ａの動作を示すフローチャートである。
【図8】変形例２に係るコンテンツ情報処理システムの構成図である。
【図9】変形例２に係るＰＣ１Ａの動作を示すフローチャートである。
【図10】変形例７に係るコンテンツ情報処理システムの構成図である。
【図11】変形例７に係るＰＣ１Ｂの構成を示すブロック図である。
【発明を実施するための形態】
【0010】
図１は、本実施形態に係るコンテンツ情報処理システムの構成図である。コンテンツ情報処理システムは、第１会場１０に設置されたＰＣ（パーソナルコンピュータ）１Ａ、および第２会場２０に設置されたＰＣ１Ｂを備える。
【0011】
第１会場１０の第１演者３は、ＰＣ１Ａに第１楽器４を接続する。また、第１会場１０の第１演者３は、ＰＣ１Ａにヘッドマウントディスプレイ（ＨＭＤ）５１およびヘッドフォン８１を接続する。第１会場１０は、例えば第１演者３の自宅である。第１会場１０の第１演者３は、第１楽器４を演奏するパフォーマンスを行う。
【0012】
第２会場２０は、ライブハウスやコンサートホール等である。第２会場２０のＰＣ１Ｂは、カメラ５０、マイク８、およびスピーカ８２を接続する。カメラ５０およびマイク８は、ステージ上に設置される。カメラ５０は、ステージ上から見た映像に係る映像信号を取得する。マイク８は、ステージ上で聞こえる音に係る音信号を取得する。
【0013】
本実施形態では一例として、第１楽器４およびマイク８は音響機器の一例である。なお、本実施形態において、「演奏」とは楽器の演奏に限るものではなく、マイクを用いた歌唱も含む。
【0014】
【0015】
ＰＣ１ＡおよびＰＣ１Ｂは、表示器インタフェース（Ｉ／Ｆ）３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、およびオーディオＩ／Ｆ３７を備えている。
【0016】
表示器Ｉ／Ｆ３１は、表示器に接続される。ＰＣ１Ａの表示器Ｉ／Ｆ３１は、表示器の一例であるヘッドマウントディスプレイ（ＨＭＤ）５１に接続される。ＰＣ１Ｂの表示器Ｉ／Ｆ３１は、図３では何も接続されていないが、ＬＣＤ等の汎用の表示器が接続されてもよい。なお、本実施形態では、ＰＣ１ＡにＨＭＤ５１が接続される例を示しているが、ＰＣ１ＡにはＬＣＤ等の表示器が接続されてもよい。
【0017】
ユーザＩ／Ｆ３２は、キーボード、マウス、あるいは表示器に積層されるタッチパネルである。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する。
【0018】
通信Ｉ／Ｆ３６は、ネットワークインタフェースを含み、ルータ（不図示）を介してインターネット等のネットワークに接続される。図１の例では、ＰＣ１ＡおよびＰＣ１Ｂは、ネットワークを介して接続される。すなわち、第１会場および第２会場は、ネットワークを介して接続される。
【0019】
オーディオＩ／Ｆ３７は、オーディオ端子を有する。オーディオＩ／Ｆ３７は、オーディオケーブルを介して楽器またはマイク等の音響機器に接続され、音信号を受け付ける。本実施形態では、ＰＣ１ＡのオーディオＩ／Ｆ３７は、第１楽器４に接続され、第１楽器４から演奏音に係る音信号を受け付ける。ＰＣ１ＢのオーディオＩ／Ｆ３７は、マイク８に接続される。ＰＣ１ＢのオーディオＩ／Ｆ３７は、マイク８で収音した第２会場２０の音に係る音信号を受け付ける。
【0020】
また、オーディオＩ／Ｆ３７は、スピーカまたはヘッドフォン等の音響機器に接続される。ＰＣ１ＡのオーディオＩ／Ｆ３７にはヘッドフォン８１が接続されている。ＰＣ１ＢのオーディオＩ／Ｆ３７にはスピーカ８２が接続されている。オーディオＩ／Ｆ３７は、ヘッドフォン８１またはスピーカ８２等の音響機器に音信号を出力する。
【0021】
プロセッサ３４は、ＣＰＵ，ＤＳＰ、あるいはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等からなり、記憶媒体であるフラッシュメモリ３３に記憶されているプログラムをＲＡＭ３５に読み出して、ＰＣ１ＡおよびＰＣ１Ｂの各構成を制御する。フラッシュメモリ３３は、本実施形態のプログラムを記憶している。
【0022】
プロセッサ３４は、オーディオＩ／Ｆ３７から受け付けた音信号を、オーディオパケットにエンコードして通信Ｉ／Ｆ３６を介して他装置に送信する。
【0023】
また、ＰＣ１Ｂの通信Ｉ／／Ｆ３６は、カメラ５０から受け付けた映像信号を受け付ける。ＰＣ１Ｂのプロセッサ３４は、カメラ５０から受け付けた映像信号を映像パケットにエンコードして通信Ｉ／Ｆ３６を介して他装置に送信する。
【0024】
また、プロセッサ３４は、通信Ｉ／Ｆ３６を介して他装置から受信したオーディオパケットをデコードし、デコードした音信号をオーディオＩ／Ｆ３７に出力する。また、プロセッサ３４は、通信Ｉ／Ｆ３６を介して他装置から受信した映像パケットをデコードし、デコードした映像信号を表示器Ｉ／Ｆ３１を介して表示器に出力する。
【0025】
図４は、ＰＣ１Ａの動作を示すフローチャートである。ＰＣ１Ａは、第１会場１０の第１演者３のライブパフォーマンスに係る第１パフォーマンス情報を取得する（Ｓ１１）。
【0026】
第１演者３のライブパフォーマンスに係る第１パフォーマンス情報は、例えば第１楽器４の演奏に係る音信号を含む。あるいは、第１パフォーマンス情報は、第１演者３の第１楽器４に対する操作情報でもよい。操作情報とは、例えばギターであれば、どのフレットを押下しているか示す情報、該フレットを押下したタイミング、離したタイミング、どの弦をピッキングしたかを示す情報、ピッキングのタイミング、ピッキングの速さ、あるいはミュート操作の有無、等である。また、操作情報とは、例えばシンセサイザー等の鍵盤楽器では、音高（ノートナンバー）、音色、アタック、ディケイ、サスティン、リリース等の時間パラメータ等である。操作情報は、例えばモーションセンサに基づいて取得される。あるいは操作情報は、楽器に搭載されたセンサにより取得することも可能である。楽器に搭載されたセンサとは、例えばギターの場合には、フレット毎に取り付けられたフレットセンサである。
【0027】
次に、ＰＣ１Ａは、第２会場２０の映像または音に係る第１コンテンツ情報を取得する（Ｓ１２）。図１の例では、ＰＣ１Ａは、ネットワークを介して、マイク８の音信号と、カメラ５０で撮影した第２会場２０に係る映像信号と、を第１コンテンツ情報として取得する。
【0028】
ＰＣ１Ａは、第１パフォーマンス情報および第１コンテンツ情報に基づいて第２コンテンツ情報を生成する（Ｓ１３）。具体的には、ＰＣ１Ａは、第１コンテンツ情報に含まれるマイク８の音信号と、第１パフォーマンス情報に含まれる第１楽器４の音信号と、を混合した混合音信号を生成する。ＰＣ１Ａは、混合音信号および第２会場２０に係る映像信号を含むエンコードデータ（例えばＭＰ４データ）を生成する。
【0029】
そして、ＰＣ１Ａは、第２コンテンツ情報に基づく映像または音を生成する（Ｓ１４）。具体的には、ＰＣ１Ａは、上記エンコードデータをデコードし、音信号および映像信号を取り出す。そして、ＰＣ１Ａは、取り出した音信号をヘッドフォン８１に出力し、第２会場２０に係る映像をＨＭＤ５１に出力する。なお、Ｓ１３の処理において、ＰＣ１Ａは、エンコードデータを生成することは必須ではない。例えば、ＰＣ１Ａは、Ｓ１４において、エンコード前の混合音信号をヘッドフォン８１に出力し、エンコード前の映像信号をＨＭＤ５１に出力してもよい。
【0030】
これにより、第１演者３は、遠隔地でありながらあたかも第２会場２０にいてパフォーマンスを行っているように知覚することができる。つまり、利用者は、例えばあこがれのライブハウスやコンサートホールでライブパフォーマンスをしているように知覚することができるという新たな顧客体験を得ることができる。
【0031】
なお、第１コンテンツ情報が含む第２会場２０の映像は、実在の第２会場２０を模した仮想空間の映像（デジタルツイン）であってもよい。この場合、第１コンテンツ情報は、３ＤＣＡＤデータ等の第２会場２０の形状に係る情報を含んでいてもよい。ＰＣ１Ａは、第１コンテンツ情報に含まれる第２会場２０の形状に係る情報に基づいて、第２会場２０を模した仮想空間の映像をレンダリングしてもよい。この場合も、利用者は、例えばあこがれのライブハウスやコンサートホールでライブパフォーマンスをしているように知覚することができるという新たな顧客体験を得ることができる。
【0032】
また、カメラ５０は、ある一方向を撮影する視野角を有していてもよいし、３６０度周囲を撮影する全周視野角を有していてもよい。また、カメラ５０は、視野角を変更する機構を有していてもよい。ＨＭＤ５１は、利用者の頭部の向いている方向を検出するセンサを備えていてもよい。ＰＣ１Ａは、利用者の頭部の向いている方向に応じて、現実のカメラ５０の視野角を変更する、あるいは仮想空間内の視野角を変更してもよい。これにより、利用者は、あこがれのライブハウスやコンサートホールでライブパフォーマンスをしているようにさらに知覚し易くなる。
【0033】
（変形例１）
図５は、変形例１に係るコンテンツ情報処理システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。図６は、変形例１に係るＰＣ１Ｂの構成を示すブロック図である。図３と共通する構成は同一の符号を付し、説明を省略する。図７は、変形例１に係るＰＣ１Ａの動作を示すフローチャートである。図４と共通する構成は同一の符号を付し、説明を省略する。
図５は、変形例１に係るコンテンツ情報処理システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。図６は、変形例１に係るＰＣ１Ｂの構成を示すブロック図である。図３と共通する構成は同一の符号を付し、説明を省略する。図７は、変形例１に係るＰＣ１Ａの動作を示すフローチャートである。図４と共通する構成は同一の符号を付し、説明を省略する。
【0034】
変形例１では、第２会場２０において、第２演者５がステージ上で第２楽器６を演奏するパフォーマンスを行う。第２会場２０のＰＣ１Ｂは、第２楽器６、カメラ５０、マイク８、およびスピーカ８２を接続する。
【0035】
ＰＣ１ＢのオーディオＩ／Ｆ３７は、第２楽器６およびスピーカ８２に接続される。ＰＣ１ＢのオーディオＩ／Ｆ３７は、第２楽器６から演奏音に係る音信号を受け付ける。
【0036】
ＰＣ１Ａは、さらに、第２会場２０の第２演者のライブパフォーマンス係る第２パフォーマンス情報を取得する（Ｓ１１１）。第２パフォーマンス情報は、第２会場２０にいる第２演者５による第２楽器６の演奏音に係る音信号である。ＰＣ１Ｂのプロセッサ３４は、第２楽器６の音信号をＰＣ１Ａに送信する。なお、第２パフォーマンス情報は、第２演者５の演奏音に係る音信号に代えて、第２楽器６に対する操作情報を含んでいてもよい。
【0037】
ＰＣ１Ａは、Ｓ１３の処理において、第１パフォーマンス情報、第１コンテンツ情報、および第２パフォーマンス情報に基づいて第２コンテンツ情報を生成する。具体的には、ＰＣ１Ａは、第１コンテンツ情報に含まれるマイク８の音信号、第１パフォーマンス情報に含まれる第１楽器４の音信号、および第２コンテンツ情報に含まれる第２楽器６の音信号を混合した混合音信号を生成する。ＰＣ１Ａは、混合音信号および第２会場２０に係る映像信号を含むエンコードデータ（例えばＭＰ４データ）を生成する。
【0038】
これにより、第１演者３は、遠隔地でありながらあたかも第２会場２０にいて第２会場２０の第２演者５とセッションを行っているように知覚することができる。利用者は、例えばあこがれのライブハウスやコンサートホールでセッションをしているように知覚することができるという新たな顧客体験を得ることができる。
【0039】
なお、上述した様に、第１コンテンツ情報が含む第２会場２０の映像は、第２会場２０を模した仮想空間の映像であってもよい。この場合、第２会場２０の映像の中に含まれる第２演者５に対応する映像は、仮想空間内に配置される３Ｄモデルあってもよい。この場合、仮想空間および演者の３Ｄモデルは、実在の第２会場２０および第２演者５を模したデジタルツインとなる。
【0040】
（変形例２）
図８は、変形例２に係るコンテンツ情報処理システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。図９は、変形例２に係るＰＣ１Ａの動作を示すフローチャートである。図４と共通する構成は同一の符号を付し、説明を省略する。
図８は、変形例２に係るコンテンツ情報処理システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。図９は、変形例２に係るＰＣ１Ａの動作を示すフローチャートである。図４と共通する構成は同一の符号を付し、説明を省略する。
【0041】
変形例２では、第３会場３０にＰＣ１Ｃが設置されている。ＰＣ１Ｃの構成は、ＰＣ１Ａと同じである。変形例２では、第１会場１０、第２会場２０、および第３会場３０がネットワークを介して接続される。
【0042】
変形例２では、第３会場３０において、第３演者７がマイク８０を用いて歌唱するパフォーマンスを行う。第３会場３０のＰＣ１Ｃは、マイク８０、ＨＭＤ５１、およびヘッドフォン８１を接続する。
【0043】
ＰＣ１Ｃは、ネットワークを介して、マイク８の音信号と、カメラ５０で撮影した第２会場２０に係る映像信号と、を第１コンテンツ情報として取得する。ＰＣ１ＣのオーディオＩ／Ｆ３７は、マイク８０から歌唱音に係る音信号を受け付ける。ＰＣ１Ｃは、歌唱音に係る音信号をＰＣ１Ａに送信する。
【0044】
ＰＣ１Ａは、さらに、第３会場３０の第３演者７のライブパフォーマンスに係る第３パフォーマンス情報を取得する（Ｓ１２１）。第３パフォーマンス情報は、第３会場３０にいる第３演者７による歌唱音に係る音信号である。
【0045】
ＰＣ１Ａは、Ｓ１３の処理において、第１パフォーマンス情報、第１コンテンツ情報、および第３パフォーマンス情報に基づいて第２コンテンツ情報を生成する。具体的には、ＰＣ１Ａは、第１コンテンツ情報に含まれるマイク８の音信号、第１パフォーマンス情報に含まれる第１楽器４の音信号、および第３コンテンツ情報に含まれるマイク８０の音信号を混合した混合音信号を生成する。ＰＣ１Ａは、混合音信号および第２会場２０に係る映像信号を含むエンコードデータ（例えばＭＰ４データ）を生成する。
【0046】
これにより、第１演者３は、遠隔地でありながらあたかも第２会場２０にいて第２会場２０の第３演者７とセッションを行っているように知覚することができる。利用者は、例えばあこがれのライブハウスやコンサートホールにおいて、遠隔地の他の演者とセッションをしているように知覚することができるという新たな顧客体験を得ることができる。
【0047】
（変形例３）
変形例３に係る第１コンテンツ情報は、第２会場２０の遅延に関する情報を含む。ＰＣ１Ａにおいて第２コンテンツ情報を生成する処理は、第２会場２０の遅延を再生する処理を含む。
変形例３に係る第１コンテンツ情報は、第２会場２０の遅延に関する情報を含む。ＰＣ１Ａにおいて第２コンテンツ情報を生成する処理は、第２会場２０の遅延を再生する処理を含む。
【0048】
遅延に関する情報とは、第２会場２０における空間内の音波の遅延を含む。空間内の音波の遅延とは、スピーカ８２の位置と演者の位置（例えばマイク８またはカメラ５０）との距離、スピーカ８２の位置と第２会場２０の壁面の位置との距離、または第２会場２０の壁面の位置と演者の位置との距離に対応する。スピーカ８２の位置と演者の位置（例えばマイク８またはカメラ５０）との距離は、例えば、スピーカ８２からテスト音を出力し、マイク８で当該テスト音を取得することにより測定できる。スピーカ８２の位置と第２会場２０の壁面の位置との距離は、スピーカ８２からテスト音を出力し、測定用のマイク（不図示）で当該テスト音を取得することにより測定できる。第２会場２０の壁面の位置との演者の位置との距離は、第２会場２０の壁面の位置にテスト用のスピーカを設置し、当該スピーカからテスト音を出力し、マイク８で当該テスト音を取得することにより測定できる。また、これらの距離は、スピーカ８２からテスト音を出力し、マイク８でインパルス応答を取得することにより測定してもよい。
【0049】
ＰＣ１Ａは、第１コンテンツ情報として、当該遅延に関する情報を取得する。そして、ＰＣ１Ａは、第１パフォーマンス情報に含まれる第１楽器４の音信号に遅延に関する信号処理を施す。例えば、遅延に関する情報が第２会場２０で測定された、演者の位置におけるインパルス応答である場合、当該インパルス応答を第１楽器４の音信号に畳み込む処理を行う。これにより、ＰＣ１Ａは、第２会場２０の遅延環境を再現する。
【0050】
したがって、利用者は、あこがれのライブハウスやコンサートホールでライブパフォーマンスをしているようにさらに知覚し易くなる。
【0051】
なお、ＰＣ１Ａは、利用者から遅延に関する調整操作を受け付けてもよい。ＰＣ１Ａは、調整操作により調整された遅延を再生する。調整操作とは、例えば任意のライブハウスやコンサートホールを指定する操作であってもよい。ＰＣ１Ａは、指定されたライブハウスやコンサートホールに対応する、遅延に関する情報を例えばサーバ等から取得する。これにより、利用者は、第２会場２０の響きとは異なる場所の響きを再生させることができる。
【0052】
（変形例４）
変形例４に係る第１コンテンツ情報は、さらに第２会場２０の形状に係る情報を含む。ＰＣ１Ａは、第２会場２０の形状に係る情報に基づいて、第２会場２０の遅延に関する情報を生成する。ＰＣ１Ａは、生成した当該遅延に関する情報に基づいて、第２会場２０の遅延を再生する処理を行う。
変形例４に係る第１コンテンツ情報は、さらに第２会場２０の形状に係る情報を含む。ＰＣ１Ａは、第２会場２０の形状に係る情報に基づいて、第２会場２０の遅延に関する情報を生成する。ＰＣ１Ａは、生成した当該遅延に関する情報に基づいて、第２会場２０の遅延を再生する処理を行う。
【0053】
第２会場２０の形状に係る情報とは、例えば第２会場２０の３ＤＣＡＤデータである。ＰＣ１Ａは、第１コンテンツ情報に含まれる第２会場２０の形状に係る情報に基づいて、第２会場２０のインパルス応答を計算する。この時、ＰＣ１Ａは、第２会場２０内の任意の位置に演者の位置を指定し、当該位置におけるインパルス応答を計算してもよいし、利用者から演者の位置の指定を受け付けて、当該位置におけるインパルス応答を計算してもよい。
【0054】
ＰＣ１Ａは、当該インパルス応答を第１楽器４の音信号に畳み込む処理を行う。これにより、ＰＣ１Ａは、第２会場２０の遅延環境を再現する。
【0055】
この場合も、利用者は、あこがれのライブハウスやコンサートホールでライブパフォーマンスをしているようにさらに知覚し易くなる。
【0056】
（変形例５）
第１コンテンツ情報は、過去の映像または音に関する情報を含んでいてもよい。過去の映像は、第２会場２０の過去の映像でもよいし、第１会場１０の過去の映像でもよい。第２会場２０の過去の映像である場合、ＰＣ１Ｂは、カメラ５０で撮影した映像、またはマイク８で録音した音を自装置のフラッシュメモリ３３または不図示のサーバに記録する。ＰＣ１Ａは、ＰＣ１Ｂまたは不図示のサーバから第２会場２０の過去の映像または音に関する情報を受信する。第１会場１０の過去の映像でる場合、ＰＣ１Ａは、第１会場１０に設置された不図示のカメラで撮影した映像、またはマイクで録音した音を自装置のフラッシュメモリ３３または不図示のサーバに記録する。ＰＣ１Ａは、時装置のフラッシュメモリ３３または不図示のサーバから第１会場１０の過去の映像または音に関する情報を受信する。
第１コンテンツ情報は、過去の映像または音に関する情報を含んでいてもよい。過去の映像は、第２会場２０の過去の映像でもよいし、第１会場１０の過去の映像でもよい。第２会場２０の過去の映像である場合、ＰＣ１Ｂは、カメラ５０で撮影した映像、またはマイク８で録音した音を自装置のフラッシュメモリ３３または不図示のサーバに記録する。ＰＣ１Ａは、ＰＣ１Ｂまたは不図示のサーバから第２会場２０の過去の映像または音に関する情報を受信する。第１会場１０の過去の映像でる場合、ＰＣ１Ａは、第１会場１０に設置された不図示のカメラで撮影した映像、またはマイクで録音した音を自装置のフラッシュメモリ３３または不図示のサーバに記録する。ＰＣ１Ａは、時装置のフラッシュメモリ３３または不図示のサーバから第１会場１０の過去の映像または音に関する情報を受信する。
【0057】
これにより、利用者は、例えば現存しない、あこがれのライブハウスやコンサートホールでライブパフォーマンスをしているように知覚することができるという新たな顧客体験を得ることができる。
【0058】
（変形例６）
第２コンテンツ情報は、さらに他の会場（第４会場）に配信してもよい。ＰＣ１Ａは、図４のＳ１３で生成した第２コンテンツ情報（ＭＰ４等のエンコードデータ）を第４会場の情報処理装置に配信する。または、ＰＣ１Ａは、図４のＳ１３で生成した第２コンテンツ情報（ＭＰ４等のエンコードデータ）を不図示のサーバに送信し、該サーバが第４会場の情報処理装置に配信してもよい。
第２コンテンツ情報は、さらに他の会場（第４会場）に配信してもよい。ＰＣ１Ａは、図４のＳ１３で生成した第２コンテンツ情報（ＭＰ４等のエンコードデータ）を第４会場の情報処理装置に配信する。または、ＰＣ１Ａは、図４のＳ１３で生成した第２コンテンツ情報（ＭＰ４等のエンコードデータ）を不図示のサーバに送信し、該サーバが第４会場の情報処理装置に配信してもよい。
【0059】
さらに、ＰＣ１Ａまたはサーバは、第４会場の情報処理装置を介して、リスナに課金処理を行ってもよい。ＰＣ１Ａまたはサーバは、課金処理済のリスナに対して第２コンテンツ情報を配信する。これにより、第１演者３は、選択した任意の会場においてパフォーマンスを行っているコンテンツとして販売することができる。
【0060】
また、ＰＣ１Ａまたはサーバは、第４会場の情報処理装置を介して、リスナの位置情報を取得してもよい。ＰＣ１Ａまたはサーバは、取得した位置情報に応じて課金処理を変更してもよい。位置情報は、例えば情報処理装置のＧＰＳ機能により取得される。あるいは、位置情報は、特定の場所に対応付けられたＩＤ等の識別情報であってもよい。識別情報は、複数の場所のそれぞれに例えば２次元コードとして展示あるいはチケット等に記載されている。識別情報は、情報処理装置のカメラ等により読み込まれて、ＰＣ１Ａまたはサーバに送信される。これにより、課金される額は、第２コンテンツ情報を視聴する場所に応じて変化する。したがって、例えば、第４会場が自宅である場合と、第４会場がパブリックビューイング等の多数リスナが集まる場所と、で課金額を変更することができる。第１演者３あるいはイベントの実行者は、例えばより大規模なイベントとして第２コンテンツ情報を配信する場合にはより高額な課金を実行することができる。あるいは第１演者３が個人で小規模なイベントとして第２コンテンツ情報を配信する場合には低額な課金としてより多数のリスナに視聴してもらうこともできる。
【0061】
（変形例７）
図１０は、変形例７に係るコンテンツ情報処理システムの構成図である。図５と共通する構成は同一の符号を付し、説明を省略する。図１１は、変形例７に係るＰＣ１Ｂの構成を示すブロック図である。図６と共通する構成は同一の符号を付し、説明を省略する。
図１０は、変形例７に係るコンテンツ情報処理システムの構成図である。図５と共通する構成は同一の符号を付し、説明を省略する。図１１は、変形例７に係るＰＣ１Ｂの構成を示すブロック図である。図６と共通する構成は同一の符号を付し、説明を省略する。
【0062】
変形例７に係るコンテンツ情報処理システムの第２会場２０は、プロジェクタ７１が設置されている。プロジェクタ７１は、ＰＣ１Ｂに接続される。
【0063】
ＰＣ１Ｂは、ＰＣ１Ａから第１演者３に係る映像情報を受信する。第１演者３に係る映像情報は、第１演者３を不図示のカメラで撮影した映像信号である。この場合、ＰＣ１Ｂは、受信した第１演者３に係る映像情報に基づいて、プロジェクタ７１に第１演者３の映像を表示する。あるいは、第１演者３に係る映像情報は、第１演者３の動作をキャプチャしたモーションデータであってもよい。モーションデータである場合、ＰＣ１Ｂは、さらに第１演者３に対応する３Ｄモデルデータを取得してレンダリングしてプロジェクタ７１に表示し、当該モーションデータを用いて３Ｄモデルデータの動作を制御する。
【0064】
これにより、第２会場２０に居るリスナは、第１演者３が第２会場２０に居てパフォーマンスを行っているように知覚することができる。すなわち、第１演者３（利用者）は、遠隔地にいながら、第２会場２０のリスナに対して、第１演者３が第２会場２０に居てパフォーマンスを行っているように知覚させることができるという新たな顧客体験を得ることができる。
【0065】
（変形例８）
変形例８に係るコンテンツ情報処理システムのＰＣ１Ａは、第２会場２０の再生環境に関する情報をさらに取得してもよい。再生環境に関する情報は、例えば第２会場２０のマイク８を含む音響機器（エフェクタ、アンプ、スピーカ等）に関する情報、および再生空間の響きに関する情報を含む。マイク８で取得する音は、第２会場２０の音響機器および再生空間の響きによっても変化する。例えば、音の響きは、試奏室等のスタジオ環境、コンサートホール、屋外、等によって異なる。ＰＣ１Ａは、当該再生環境に関する情報に基づいて、生成した第２コンテンツ情報の音に信号処理を施す。例えば、ＰＣ１Ａは、生成した音の音信号に対して、再生環境のインパルス応答データを畳み込む信号処理を行ってもよい。また、ＰＣ１Ａは、生成した音の音信号に対して、第２会場２０に設置されている音響機器（エフェクタ、アンプ、スピーカ等）をシミュレートするフィルタ処理を施してもよい。具体的には、再生環境に関する情報は、第２会場２０に設置されている各音響機器の入力に対する出力の特性をデジタルフィルタとしてシミュレートしたデジタル信号処理ブロックのパラメータを含む。ＰＣ１Ａは、生成した音の音信号に対して、音響機器に関する情報で示されたパラメータの信号処理を施す。これにより、ＰＣ１Ａは、生成した音に対して、第２会場２０に設置されている音響機器（エフェクタ、アンプ、スピーカ等）の入出力特性を再現することができる。
変形例８に係るコンテンツ情報処理システムのＰＣ１Ａは、第２会場２０の再生環境に関する情報をさらに取得してもよい。再生環境に関する情報は、例えば第２会場２０のマイク８を含む音響機器（エフェクタ、アンプ、スピーカ等）に関する情報、および再生空間の響きに関する情報を含む。マイク８で取得する音は、第２会場２０の音響機器および再生空間の響きによっても変化する。例えば、音の響きは、試奏室等のスタジオ環境、コンサートホール、屋外、等によって異なる。ＰＣ１Ａは、当該再生環境に関する情報に基づいて、生成した第２コンテンツ情報の音に信号処理を施す。例えば、ＰＣ１Ａは、生成した音の音信号に対して、再生環境のインパルス応答データを畳み込む信号処理を行ってもよい。また、ＰＣ１Ａは、生成した音の音信号に対して、第２会場２０に設置されている音響機器（エフェクタ、アンプ、スピーカ等）をシミュレートするフィルタ処理を施してもよい。具体的には、再生環境に関する情報は、第２会場２０に設置されている各音響機器の入力に対する出力の特性をデジタルフィルタとしてシミュレートしたデジタル信号処理ブロックのパラメータを含む。ＰＣ１Ａは、生成した音の音信号に対して、音響機器に関する情報で示されたパラメータの信号処理を施す。これにより、ＰＣ１Ａは、生成した音に対して、第２会場２０に設置されている音響機器（エフェクタ、アンプ、スピーカ等）の入出力特性を再現することができる。
【0066】
この場合、ＰＣ１Ａは、第１会場１０の第１演者３が演奏する第１楽器４の演奏音に対して、第２会場２０に設置されている音響機器（エフェクタ、アンプ、スピーカ等）の入出力特性を再現する。したがって、利用者は、あこがれのライブハウスやコンサートホールでライブパフォーマンスをしているようにさらに知覚し易くなる。
【0067】
（その他の例）
上述の例では、本発明のコンテンツ情報処理装置の例として、ＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃを示した。しかし、本発明のコンテンツ情報処理装置は、上述のＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃに限らない。例えば、上述のユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、およびオーディオＩ／Ｆ３７等の機能を備えた電子楽器も本発明の端末を構成することができる。
上述の例では、本発明のコンテンツ情報処理装置の例として、ＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃを示した。しかし、本発明のコンテンツ情報処理装置は、上述のＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃに限らない。例えば、上述のユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、およびオーディオＩ／Ｆ３７等の機能を備えた電子楽器も本発明の端末を構成することができる。
【0068】
本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。
【符号の説明】
【0069】
３ ：第１演者
４ ：楽器
５ ：第２演者
６ ：楽器
７ ：第３演者
８ ：マイク
１０ ：第１会場
２０ ：第２会場
３０ ：第３会場
３１ ：表示器Ｉ／Ｆ
３２ ：ユーザＩ／Ｆ
３３ ：フラッシュメモリ
３４ ：プロセッサ
３５ ：ＲＡＭ
３６ ：通信Ｉ／Ｆ
３７ ：オーディオＩ／Ｆ
５０ ：カメラ
５１ ：ＨＭＤ
７１ ：プロジェクタ
８０ ：マイク
８１ ：ヘッドフォン
８２ ：スピーカ
４ ：楽器
５ ：第２演者
６ ：楽器
７ ：第３演者
８ ：マイク
１０ ：第１会場
２０ ：第２会場
３０ ：第３会場
３１ ：表示器Ｉ／Ｆ
３２ ：ユーザＩ／Ｆ
３３ ：フラッシュメモリ
３４ ：プロセッサ
３５ ：ＲＡＭ
３６ ：通信Ｉ／Ｆ
３７ ：オーディオＩ／Ｆ
５０ ：カメラ
５１ ：ＨＭＤ
７１ ：プロジェクタ
８０ ：マイク
８１ ：ヘッドフォン
８２ ：スピーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】