特許 7053074 鑑賞システム、鑑賞装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】鑑賞システム、鑑賞装置及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220405BHJP

   G06T 13/40 20110101ALI20220405BHJP

   H04N 21/234 20110101ALI20220405BHJP

   H04N 21/258 20110101ALI20220405BHJP

   H04N 21/431 20110101ALI20220405BHJP

【ＦＩ】

G06T19/00 300B

G06T13/40

H04N21/234

H04N21/258

H04N21/431

【請求項の数】 12

(21)【出願番号】P 2021079862

(22)【出願日】2021-05-10

【審査請求日】2021-08-30

【新規性喪失の例外の表示】特許法第３０条第２項適用 配信日：令和２年９月２７日 配信プラットフォーム：アプリケーション「ＶＡＲＫ」（Ｏｃｕｌｕｓ Ｑｕｅｓｔ，Ｏｃｕｌｕｓ Ｑｕｅｓｔ２，ＰｌａｙＳｔａｔｉｏｎ ＶＲ，Ａｎｄｒｏｉｄ，ｉＯＳ） 公開者：株式会社ＶＡＲＫ

【新規性喪失の例外の表示】特許法第３０条第２項適用 公開日：令和２年９月２日 配信プラットフォーム：アプリケーション「ＶＡＲＫ」（Ｏｃｕｌｕｓ Ｑｕｅｓｔ，Ｏｃｕｌｕｓ Ｑｕｅｓｔ２，ＰｌａｙＳｔａｔｉｏｎ ＶＲ，Ａｎｄｒｏｉｄ，ｉＯＳ） 公開者：株式会社ＶＡＲＫ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日：令和２年９月２日 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｌｐ．ｖａｒｋ．ｃｏ．ｊｐ／ｆｕｔａｒｉｄｅ＿ｍｉｒｕ＿ｈｏｌｏｌｉｖｅ／ 公開者：株式会社ＶＡＲＫ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日：令和２年９月２日 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＶａｒｋＯｆｆｉｃｉａｌ ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＶａｒｋＯｆｆｉｃｉａｌ＿ＥＮ 公開者：株式会社ＶＡＲＫ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日：令和２年９月３日 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｓｅａｒｃｈｒｌｐ／ｃｏｍｐａｎｙ＿ｉｄ／３２７９６ 公開者：株式会社ＶＡＲＫ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日：令和２年９月２８日 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｗａｎｔｅｄｌｙ．ｃｏｍ／ｃｏｍｐａｎｉｅｓ／ｖａｒｋ／ 公開者：株式会社ＶＡＲＫ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日：令和３年２月１９日 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｃｏｒｐ．ｖａｒｋ．ｃｏ．ｊｐ／ｎｅｗｓ／ 公開者：株式会社ＶＡＲＫ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトの掲載日：令和３年２月２０日 ウェブサイトのアドレス： ｈｔｔｐｓ：／／ｗｗｗ．ａｎｉｍｅｎｅｗｓｎｅｔｗｏｒｋ．ｃｏｍ／ｐｒｅｓｓ－ｒｅｌｅａｓｅ／２０２１－０２－２０／ｈｏｌｏｌｉｖｅ－ｖｔｕｂｅｒｓ－ｈｅａｄｌｉｎｅ－ｉｍｍｅｒｓｉｖｅ－ｃｉｎｄｅｒｅｌｌａ－ｓｗｉｔｃｈ－ｖｉｒｔｕａｌ－ｃｏｎｃｅｒｔ－ｏｎ－ｍａｒ－２７／．１６９７２８ ｈｔｔｐｓ：／／ｗｗｗ．ａｎｉｍｅｎｅｗｓｎｅｔｗｏｒｋ．ｃｏｍ／ｐｒｅｓｓ－ｒｅｌｅａｓｅ／２０２１－０３－２８／ｈｏｌｏｌｉｖｅ－ｖｔｕｂｅｒｓ－ｃｏｍｅ－ｔｏ－ｏｃｕｌｕｓ－ｑｕｅｓｔ－ｓｍａｒｔｐｈｏｎｅｓ－ｍｏｒｅ－ｉｎ－ｖｉｒｔｕａｌ－ｃｏｎｃｅｒｔ－ａｐｒｉｌ－２４／．１７１２１７ ｈｔｔｐｓ：／／ｗｗｗ．ａｎｉｍｅｎｅｗｓｎｅｔｗｏｒｋ．ｃｏｍ／ｐｒｅｓｓ－ｒｅｌｅａｓｅ／２０２１－０４－２５／ｈｏｌｏｌｉｖｅ－ｖｔｕｂｅｒｓ－ｃｏｍｅ－ｔｏ－ｏｃｕｌｕｓ－ｑｕｅｓｔ－ｓｍａｒｔｐｈｏｎｅｓ－ｍｏｒｅ－ｉｎ－ｖｉｒｔｕａｌ－ｃｏｎｃｅｒｔ－ｍａｙ－２９／．１７２０９６ 公開者：株式会社ＶＡＲＫ

【早期審査対象出願】

(73)【特許権者】

【識別番号】518010625

【氏名又は名称】株式会社ＶＡＲＫ

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(72)【発明者】

【氏名】加藤 卓也

(72)【発明者】

【氏名】石川 宣永

(72)【発明者】

【氏名】大柿 高志

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０２０－０１７２４４（ＪＰ，Ａ）

【文献】特開２０２０－１６６８２１（ＪＰ，Ａ）

【文献】特開２０１９－１９８０５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／４０

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

演者の身体運動に基づいて挙動制御がなされる演者キャラクタを提示するコンテンツの鑑賞体験を、鑑賞ユーザに提供する鑑賞システムであって、
前記コンテンツは、第１演者に係る第１演者キャラクタと第２演者に係る第２演者キャラクタを配置した３次元空間における演出を提示する両眼立体視コンテンツであり、
前記鑑賞システムは、
前記第１演者の身体運動を示す第１運動情報を取得する第１取得手段と、
前記第１演者キャラクタの挙動を制御する第１挙動制御手段と、
前記第２演者の身体運動を示す第２運動情報を取得する第２取得手段と、
前記第２演者キャラクタの挙動を制御する第２挙動制御手段と、
前記鑑賞ユーザによりなされた操作入力の情報を取得する第３取得手段と、
前記コンテンツについて、前記鑑賞ユーザに係る前記３次元空間中の視点を決定する決定手段と、
前記決定手段により決定された前記視点の情報に基づいて、前記コンテンツに係る提示画像を描画する描画手段と、
前記描画手段により描画された前記提示画像を提示する提示手段と、
を有し、
前記第１演者キャラクタは、前記３次元空間中の第１領域に配置され、
前記鑑賞ユーザに係る視点及び前記第２演者キャラクタは、前記３次元空間中の前記第１領域とは異なる第２領域に配置され、
前記第１挙動制御手段は、前記第１取得手段により取得された前記第１運動情報に基づいて前記第１演者キャラクタの挙動を制御し、
前記第２挙動制御手段は、前記第２取得手段により取得された前記第２運動情報、及び前記第３取得手段により取得された前記操作入力の情報、の少なくともいずれかに基づいて前記第２演者キャラクタの挙動を制御する
ことを特徴とする鑑賞システム。

【請求項2】

前記第１挙動制御手段は、前記第３取得手段により取得された前記操作入力の情報に依らず、前記第１演者キャラクタの挙動を制御することを特徴とする請求項１に記載の鑑賞システム。

【請求項3】

前記鑑賞ユーザに係る視点と前記第２演者キャラクタは、前記３次元空間において所定距離を超えて離間しない位置に配置されることを特徴とする請求項１または２に記載の鑑賞システム。

【請求項4】

前記鑑賞システムにおいて前記コンテンツは、各々異なる鑑賞装置を使用する複数の前記鑑賞ユーザによる同時の鑑賞が可能であり、
前記第３取得手段は、鑑賞装置のそれぞれにおいて、対応する前記鑑賞ユーザによりなされた前記操作入力の情報を取得し、
前記操作入力の情報に基づく前記第２演者キャラクタの挙動は、１つの鑑賞装置において取得された前記操作入力の情報に基づくが、当該１つの鑑賞装置とは異なる他の鑑賞装置において取得された前記操作入力の情報に基づかない挙動を含む
ことを特徴とする請求項１乃至３のいずれか１項に記載の鑑賞システム。

【請求項5】

前記第２演者キャラクタの状態は、少なくとも第１状態及び第２状態を含み、
前記第２挙動制御手段は、
前記第２演者キャラクタの状態が前記第１状態にある場合に、前記第２運動情報のみに基づいて前記第２演者キャラクタの挙動を制御し、
前記第２演者キャラクタの状態が前記第２状態にある場合に、前記第２運動情報または前記操作入力の情報に基づいて前記第２演者キャラクタの挙動を制御する
ことを特徴とする請求項１乃至４のいずれか１項に記載の鑑賞システム。

【請求項6】

前記コンテンツの進行に応じて、前記第２演者キャラクタの状態を変更する変更手段をさらに有する請求項５に記載の鑑賞システム。

【請求項7】

前記第３取得手段により取得される前記鑑賞ユーザによりなされた前記操作入力の情報は、鑑賞方向の変更に係る操作入力の情報を含み、
前記第２演者キャラクタの挙動は前記鑑賞方向の変更に係る操作入力の情報に基づいて制御される一方で、前記第１演者キャラクタの挙動は前記鑑賞方向の変更に係る操作入力の情報に基づいて制御されない
ことを特徴とする請求項１乃至６のいずれか１項に記載の鑑賞システム。

【請求項8】

前記３次元空間中には、前記鑑賞ユーザに関連付けられたオブジェクトがさらに配置され、
前記第３取得手段により取得される前記鑑賞ユーザによりなされた前記操作入力の情報は、前記オブジェクトの移動に係る操作入力の情報を含み、
前記鑑賞システムは、
前記オブジェクトの接触判定を行う判定手段と、
前記判定手段により前記オブジェクトが接触したと判定された場合に、所定の演出を提示する手段と、
をさらに有し、
前記判定手段は、前記オブジェクトと前記第２演者キャラクタとの接触判定は行う一方で、前記オブジェクトと前記第１演者キャラクタとの接触判定は行わない
ことを特徴とする請求項１乃至７のいずれか１項に記載の鑑賞システム。

【請求項9】

前記コンテンツで提示される演出は、前記第１演者キャラクタ及び前記第２演者キャラクタに係り入力された音声を出力する音声演出を含み、
前記第２演者キャラクタに係る音声演出は音像定位が可能な態様で提示される一方で、前記第１演者キャラクタに係る音声演出は音像定位が可能ではない態様で提示される
ことを特徴とする請求項１乃至８のいずれか１項に記載の鑑賞システム。

【請求項10】

前記第２演者キャラクタは、前記鑑賞ユーザと共に前記第１演者キャラクタのパフォーマンスを鑑賞するキャラクタとして前記第２領域に配置されることを特徴とする請求項１乃至９のいずれか１項に記載の鑑賞システム。

【請求項11】

演者の身体運動に基づいて挙動制御がなされる演者キャラクタを提示するコンテンツを鑑賞ユーザに提示する鑑賞装置であって、
前記コンテンツは、第１演者に係る第１演者キャラクタと第２演者に係る第２演者キャラクタを配置した３次元空間における演出を提示する両眼立体視コンテンツであり、
前記第１演者の身体運動を示す第１運動情報と、前記第２演者の身体運動を示す第２運動情報とを受信する受信手段と、
前記第１演者キャラクタの挙動を制御する第１挙動制御手段と、
前記第２演者キャラクタの挙動を制御する第２挙動制御手段と、
前記鑑賞ユーザによりなされた操作入力の情報を取得する取得手段と、
前記コンテンツについて、前記鑑賞ユーザに係る前記３次元空間中の視点を決定する決定手段と、
前記決定手段により決定された前記視点の情報に基づいて、前記コンテンツに係る提示画像を描画する描画手段と、
前記描画手段により描画された前記提示画像を提示する提示手段と、
を有し、
前記第１演者キャラクタは、前記３次元空間中の第１領域に配置され、
前記鑑賞ユーザに係る視点及び前記第２演者キャラクタは、前記３次元空間中の前記第１領域とは異なる第２領域に配置され、
前記第１挙動制御手段は、前記受信手段により受信された前記第１運動情報に基づいて前記第１演者キャラクタの挙動を制御し、
前記第２挙動制御手段は、前記受信手段により受信された前記第２運動情報、及び前記取得手段により取得された前記操作入力の情報、の少なくともいずれかに基づいて前記第２演者キャラクタの挙動を制御する
ことを特徴とする鑑賞装置。

【請求項12】

演者の身体運動に基づいて挙動制御がなされる演者キャラクタを提示するコンテンツであって、第１演者に係る第１演者キャラクタと第２演者に係る第２演者キャラクタを配置した３次元空間における演出を提示する両眼立体視コンテンツを鑑賞ユーザに提示するコンピュータに、
前記第１演者の身体運動を示す第１運動情報と、前記第２演者の身体運動を示す第２運動情報とを受信する受信処理と、
前記第１演者キャラクタの挙動を制御する第１挙動制御処理と、
前記第２演者キャラクタの挙動を制御する第２挙動制御処理と、
前記鑑賞ユーザによりなされた操作入力の情報を取得する取得処理と、
前記コンテンツについて、前記鑑賞ユーザに係る前記３次元空間中の視点を決定する決定処理と、
前記決定処理において決定された前記視点の情報に基づいて、前記コンテンツに係る提示画像を描画する描画処理と、
前記描画処理において描画された前記提示画像を提示する提示処理と、
を実行させるプログラムであって、
前記第１演者キャラクタは、前記３次元空間中の第１領域に配置され、
前記鑑賞ユーザに係る視点及び前記第２演者キャラクタは、前記３次元空間中の前記第１領域とは異なる第２領域に配置され、
前記第１挙動制御処理は、前記受信処理において受信された前記第１運動情報に基づいて前記第１演者キャラクタの挙動を制御し、
前記第２挙動制御処理は、前記受信処理において受信された前記第２運動情報、及び前記取得処理において取得された前記操作入力の情報、の少なくともいずれかに基づいて前記第２演者キャラクタの挙動を制御する
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鑑賞システム、鑑賞装置及びプログラムに関し、特に両眼立体視コンテンツの配信技術に関する。

【背景技術】

【0002】

テレビ受像機やヘッドマウンテッドディスプレイ（ＨＭＤ）等、両眼立体視を可能ならしめる機器が一般に流通しており、ユーザは、このような機器を用いることで両眼立体視コンテンツ（以下、３Ｄコンテンツとして言及）を手軽に鑑賞することが可能になってきている。

【0003】

このような機器で鑑賞可能な３Ｄコンテンツの１つに、音楽ホールやライブハウス等の会場を模した空間のステージ上に、演者の挙動に連動したキャラクタ（以下、演者キャラクタとして言及）を配置し、当該演者キャラクタを介して行われる歌唱やダンス等のパフォーマンスを、同空間のフロア中の特定の位置から鑑賞する体験を提供するバーチャルリアリティライブ（以下、ＶＲライブとして言及）がある。特許文献１には、複数の鑑賞ユーザが同時に鑑賞可能なＶＲライブを提供するコンテンツ配信システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６６８８３７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＶＲライブでは、鑑賞ユーザと演者キャラクタとの間でのコミュニケーションやインタラクションが可能であることが、興趣性を向上させるためには好ましい。一方で、演者キャラクタのパフォーマンスを複数の鑑賞ユーザが同時鑑賞するというＶＲライブの提供態様では、鑑賞ユーザと演者キャラクタの１対１のインタラクションを実現することは難しい。このため、特許文献１のコンテンツ配信システムでは、例えば鑑賞ユーザによりなされた特定の操作入力を集計し、鑑賞ユーザに関連付けてフロアに配置されたモブキャラクタの挙動制御を集計結果に応じて行うことで、鑑賞ユーザのリアクションを演者にフィードバックできる、１対多のインタラクションを実現する機能が開示されている。

【0006】

しかしながら、このような機能は、鑑賞ユーザのリアクションを間接的に演者に伝達するものであり、鑑賞ユーザと演者キャラクタ間のインタラクションとしては限定的なものであった。例えば、特許文献１の態様では、集計結果または当該集計結果が反映されたモブキャラクタの挙動を介して演者が鑑賞ユーザのリアクションを把握し、パフォーマンス中に呼応することで鑑賞ユーザと演者キャラクタ間のインタラクションを実現可能であるが、鑑賞ユーザがリアクションを行ったタイミングから遅延して演者キャラクタが呼応するものであり、臨場感が薄れる可能性があった。

【0007】

本発明は、上述の問題点に鑑みてなされたものであり、臨場感の高い鑑賞体験を実現する鑑賞システム、鑑賞装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

前述の目的を達成するために、本発明の鑑賞システムは、演者の身体運動に基づいて挙動制御がなされる演者キャラクタを提示するコンテンツの鑑賞体験を、鑑賞ユーザに提供する鑑賞システムであって、コンテンツは、第１演者に係る第１演者キャラクタと第２演者に係る第２演者キャラクタを配置した３次元空間における演出を提示する両眼立体視コンテンツであり、鑑賞システムは、第１演者の身体運動を示す第１運動情報を取得する第１取得手段と、第１演者キャラクタの挙動を制御する第１挙動制御手段と、第２演者の身体運動を示す第２運動情報を取得する第２取得手段と、第２演者キャラクタの挙動を制御する第２挙動制御手段と、鑑賞ユーザによりなされた操作入力の情報を取得する第３取得手段と、コンテンツについて、鑑賞ユーザに係る３次元空間中の視点を決定する決定手段と、決定手段により決定された視点の情報に基づいて、コンテンツに係る提示画像を描画する描画手段と、描画手段により描画された提示画像を提示する提示手段と、を有し、第１演者キャラクタは、３次元空間中の第１領域に配置され、鑑賞ユーザに係る視点及び第２演者キャラクタは、３次元空間中の第１領域とは異なる第２領域に配置され、第１挙動制御手段は、第１取得手段により取得された第１運動情報に基づいて第１演者キャラクタの挙動を制御し、第２挙動制御手段は、第２取得手段により取得された第２運動情報、及び第３取得手段により取得された操作入力の情報、の少なくともいずれかに基づいて第２演者キャラクタの挙動を制御することを特徴とする。

【発明の効果】

【0009】

このような構成により本発明によれば、臨場感の高い鑑賞体験を実現することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態及び変形例に係る鑑賞システムの構成を例示した図

【図2】本発明の実施形態及び変形例に係る鑑賞クライアント１００の機能構成を例示したブロック図

【図3】本発明の実施形態及び変形例に係る演者クライアント２００の機能構成を例示したブロック図

【図4】本発明の実施形態及び変形例に係る配信サーバ３００の機能構成を例示したブロック図

【図5】本発明の実施形態及び変形例に係る、提供コンテンツに対応して構築される３次元空間を例示した図

【図6】本発明の実施形態及び変形例に係る鑑賞クライアント１００で提示される提示画像を例示した図

【図7】本発明の実施形態に係る鑑賞システムにおいて、鑑賞体験の提供に係り実行される提示処理を例示したフローチャート

【発明を実施するための形態】

【0011】

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴は任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0012】

以下に説明する一実施形態は、鑑賞システムの一例としての、２人演者の身体運動に基づいて挙動制御がなされる２体の演者キャラクタを提示する両眼立体視コンテンツの鑑賞体験を、鑑賞ユーザに提供可能な鑑賞システムに、本発明を適用した例を説明する。しかし、本発明は、複数の演者の身体運動に基づいて各々挙動制御がなされる複数の演者キャラクタを提示するコンテンツの鑑賞体験を、鑑賞ユーザに提供することが可能な任意の機器群及びシステムに適用可能である。

【0013】

また、本明細書において、「演者キャラクタ」とは、両眼立体視コンテンツに登場する鑑賞対象のキャラクタを指すものとして説明する。以下の実施形態では、演者キャラクタは、人物である演者により実際に行われた身体部位の運動、及び発声の身体運動に基づいて挙動の制御が行われるものとして説明するが、本発明の実施において身体運動はこれらに限定されるものではなく、このうちの一部、あるいは、演者により行われる他の動作に基づいて挙動の制御が行われるものであってもよい。

【0014】

《鑑賞システムの構成》
図１は、本発明の実施形態に係るシステムの構成を示した図である。図示されるように、鑑賞システムは、本発明に係る鑑賞装置としての、両眼立体視コンテンツを鑑賞する鑑賞ユーザが使用する鑑賞クライアント１００、演者キャラクタの演者側で使用される演者クライアント２００、及び同配信装置としての、コンテンツ配信に係るサービスプラットフォームを提供する配信サーバ３００とを含む。鑑賞システムにおいて、鑑賞クライアント１００と配信サーバ３００、演者クライアント２００と配信サーバ３００はネットワーク５００を介して通信可能に接続される。

【0015】

また演者クライアント２００にはモーションキャプチャシステム４００が接続されており、演者により行われた身体運動の少なくとも一部は、モーションキャプチャシステム４００を介して取得可能である。より詳しくは、モーションキャプチャシステム４００は、演者に装着された複数のセンサからの出力によって演者の身体運動を計測可能に構成されており、その計測結果に基づいて当該身体運動を示す運動情報を構成して演者クライアント２００に出力する。演者クライアント２００は、配信サーバ３００によるコンテンツの配信がなされている期間、モーションキャプチャシステム４００を介して取得された運動情報（モーションデータ）を配信サーバ３００に伝送する。本実施形態では、モーションキャプチャシステム４００により出力される運動情報が、配信される両眼立体視コンテンツに適合したモーションデータとして取得されるものとして説明するが、演者クライアント２００において両眼立体視コンテンツに適合する態様に変換や調整する処理がなされるものであってもよい。

【0016】

本実施形態では、モーションキャプチャシステム４００が１人の演者に係る身体運動を検出及び取得可能であるものとし、演者クライアント２００及びモーションキャプチャシステム４００が２人の演者のそれぞれについて設けられるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、１つのモーションキャプチャシステム４００により複数人の演者の身体運動が検出可能である態様、あるいは、１人の演者に係る身体運動を検出可能なモーションキャプチャシステム４００が演者クライアント２００に複数接続される態様であってもよい。この場合、１つの演者クライアント２００は、複数人の演者キャラクタに係る運動情報を配信サーバ３００に伝送する。

【0017】

なお、本実施形態では発明の理解を容易にならしめるべく、モーションキャプチャシステム４００は、演者により行われる身体運動を、該演者に装着された複数のセンサの出力により取得する方式であるものとして説明するが、本発明の実施はこれに限られるものではない。演者により行われる身体運動は、例えば演者に装着された複数のマーカそれぞれの３次元位置を、複数台の撮像装置からの撮像画像中の位置に基づいて三角測量することにより導出する方式や、演者の全身または上半身等の特定の部位を撮像した撮像画像や深度画像を画像解析することにより身体パーツを特定して導出する方式等、いずれの方式で取得されるものであってもよいことは言うまでもない。

【0018】

本鑑賞システムにおいて、鑑賞ユーザは、演者の身体運動に連動した演者キャラクタの提示及び演者が発した音声の提示を含む、演者キャラクタによるステージパフォーマンスを鑑賞する両眼立体視コンテンツを、「ライブ配信」の態様で提供する。ライブ配信は、配信サーバ３００に接続する複数の鑑賞クライアント１００において鑑賞可能であり、即ち、複数の鑑賞ユーザの同時の鑑賞が実現可能に構成されている。なお、本実施形態ではモーションキャプチャシステム４００により身体運動が取得される演者が、配信する両眼立体視コンテンツに係る演者キャラクタの発する音声も入力するものとして説明するが、演者キャラクタに係る動作と音声は、各々異なる演者によって行われるものであってよい。あるいは、演者によってリアルタイムに行われるものではなく、予め構成されたモーションデータや音声データを利用することにより提示されるものであってもよいことは言うまでもない。

【0019】

詳細は後述するが、本実施形態の鑑賞システムにより提供される両眼立体視コンテンツの鑑賞体験は、演者クライアント２００による（モーションキャプチャシステム４００を介した）運動情報及び演者の発した音声に係る音声情報の取得と、配信サーバ３００による当該運動情報や音声情報を含む両眼立体視コンテンツの鑑賞に必要なデータの鑑賞クライアント１００への配信、及び鑑賞クライアント１００における配信された情報に基づく３次元描画及び音声再生により実現される。本鑑賞体験は、各鑑賞ユーザが所望の態様（所望の鑑賞位置及び鑑賞方向）で鑑賞可能なよう、各鑑賞クライアント１００において生成された提示画像により行われる。鑑賞ユーザの姿勢や操作入力に応じた態様の提示画像を配信サーバ３００で生成することも可能であるが、複数の鑑賞ユーザが両眼立体視コンテンツを同時鑑賞する特性上、配信サーバ３００の演算負荷を低減させることが好ましい。このため、本実施形態では、配信サーバ３００の演算負荷を低減させ、より多くの鑑賞クライアント１００の配信サーバ３００への接続を可能ならしめるべく、各鑑賞クライアント１００において提示画像の生成が行われる。

【0020】

なお、本実施形態ではサービスの提供態様を考慮して、演者に係る情報取得を行う演者クライアント２００と、対応する演者キャラクタが登場した両眼立体視コンテンツの鑑賞が実際に行われる鑑賞クライアント１００とが、配信サーバ３００を介して情報のやり取りが可能に構成されるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、配信サーバ３００を介さずに鑑賞クライアント１００と演者クライアント２００とが接続されることにより実現されるものであってもよいし、鑑賞クライアント１００と演者クライアント２００とは、１台の配信サーバ３００に限らず、複数台の装置を経由して接続されることにより実現されるものであってもよい。

【0021】

本実施形態では、鑑賞クライアント１００は両眼立体視の鑑賞体験を提供可能な表示装置（表示部１２０）を備える、例えばＨＭＤ等の所謂眼鏡型のデバイスであるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、鑑賞クライアント１００は、配信されるコンテンツの鑑賞体験を提示すべく、該コンテンツの再生に係る処理を実行し、提示用の画面や音声を出力可能に構成された機器であればよく、実際にこれら画面や音声を提示する装置は、鑑賞クライアント１００の外部に接続された機器であってもよい。

【0022】

なお、ネットワーク５００は、例えばインターネット等の公衆通信網やローカルエリアネットワーク（ＬＡＮ）等であってよく、装置間の情報通信を実現するものであればよい。本実施形態ではネットワーク５００は、演者クライアント２００と配信サーバ３００の間の情報送受信と、鑑賞クライアント１００と配信サーバ３００の間の情報送受信を、１つのネットワーク５００を介することで実現する態様について説明するが、例えば演者クライアント２００と配信サーバ３００はＬＡＮにて接続され、鑑賞クライアント１００と配信サーバ３００とは公衆通信網にて接続される等、異なるネットワーク５００を利用して情報通信を行うものであってもよい。

【0023】

〈鑑賞クライアント１００の構成〉
以下、本実施形態の鑑賞システムに係る鑑賞クライアント１００の機能構成について、図２のブロック図を用いて説明する。

【0024】

制御部１０１は、例えばＣＰＵであり、鑑賞クライアント１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、例えば記録媒体１０２に記録されている各ブロックの動作プログラムや、ライブ配信された両眼立体視コンテンツの鑑賞体験を実現するアプリケーション（鑑賞アプリケーション）のプログラムを読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。

【0025】

記録媒体１０２は、例えば不揮発性メモリやＨＤＤ等の、恒久的にデータを保持可能な記録装置である。記録媒体１０２は、鑑賞クライアント１００が有する各ブロックの動作プログラム及び鑑賞アプリケーションのプログラムに加え、各ブロックの動作において必要となるパラメータ等の情報を記憶する。メモリ１０３は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。メモリ１０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。

【0026】

決定部１０４は、ライブ配信された両眼立体視コンテンツの鑑賞に係り、対応する３次元空間を描画する視点の情報を決定する。詳細は後述するが、本実施形態の鑑賞システムで鑑賞体験が提供される両眼立体視コンテンツは、２人の演者に係る演者キャラクタが少なくとも配置された３次元空間の鑑賞が可能に構成される。より詳しくは、本実施形態の両眼立体視コンテンツは、ライブ会場を模した３次元空間について、フロア（鑑賞席）側からの鑑賞体験を提供するものであり、２体の演者キャラクタの一方がステージ上に配置され、ステージパフォーマンスを行うものとして、以下説明する。

【0027】

決定部１０４は、当該３次元空間の鑑賞に際して、鑑賞ユーザの左眼用及び右眼用のそれぞれについての提示画像を描画するための２種の視点の情報を決定する。より詳しくは、決定部１０４は、鑑賞クライアント１００の姿勢や鑑賞ユーザによりなされた操作入力等に基づいて、例えば眼間中心となる視点位置（鑑賞位置）及び視線方向（鑑賞方向）を示す視点パラメータを決定し、提示画像の描画の際には当該視点パラメータから左眼用及び右眼用の視点パラメータを決定して後述の提示制御部１０６に供給する。

【0028】

本実施形態では、発明の理解を容易にすべく、演者キャラクタに係るステージパフォーマンスの鑑賞に際し、鑑賞ユーザは、フロアの最前列に対応する位置（ステージに近接するフロア中の位置であって、ステージと視点の間に他のキャラクタが配置されない位置）に視点が配置され、鑑賞体験を行えるものとして説明する。従って、決定部１０４は、当該最前列に対応する位置を視点の基準位置、当該基準位置から例えばステージ中央に向かう方向が基準方向として、視点パラメータの初期値を決定する。また決定部１０４は、鑑賞ユーザの頭部の動きがあった場合、または視点移動に係る操作入力がなされた場合、当該基準位置及び基準方向を中心として、移動を反映した異なる位置姿勢に視点パラメータを変更する。ここで、鑑賞ユーザの頭部の動きは、例えば加速度センサやジャイロセンサ等のＨＭＤに設けられた姿勢センサ１１０により検出され、当該姿勢センサ１１０からのセンサ出力に基づいて視点制御に反映されるものであってよい。なお、鑑賞ユーザの頭部の動きの検出方法はこれに限られるものではなく、マーカを有するＨＭＤを外部から撮影した画像の解析に基づく検出方法等、他の検出方法が用いられるものであってよい。

【0029】

挙動制御部１０５は、両眼立体視コンテンツに係り３次元空間に配置されるキャラクタの挙動を制御する。本実施形態では、挙動制御部１０５は、演者キャラクタに係る運動情報（モーションデータ）を配信サーバ３００から受信し、当該運動情報に基づいて対応する演者キャラクタの３次元モデルの挙動を制御する。なお、挙動制御部１０５による挙動制御の対象となるキャラクタは演者キャラクタに限られるものではなく、例えばフロアに配置される他の観客等のモブキャラクタや、鑑賞ユーザの全身を模したキャラクタや鑑賞ユーザの手のみを模した手型オブジェクト等の鑑賞ユーザに関連付けられた任意のオブジェクトを含むものであってもよい。

【0030】

提示制御部１０６は、例えばＧＰＵやグラフィックチップ等の描画装置を含み、表示部１２０に表示させる提示画面を生成する。具体的には提示制御部１０６は、ライブ会場に係る３次元空間中に挙動制御部１０５による挙動が反映された状態の演者キャラクタ及び背景オブジェクトを配置し、決定部１０４により決定された左眼用及び右眼用の視点のそれぞれについて当該３次元空間を描画して各フレームに係る画像群を生成する。表示部１２０は、例えばＬＣＤ等の表示装置であってよく、ＨＭＤの態様で鑑賞ユーザの眼前に配置されるものとする。

【0031】

例えば、表示部１２０の表示領域を分割して左眼用と右眼用の画像を表示し、これを所定の光学系を介して鑑賞させることで両眼立体視を実現する態様では、提示制御部１０６は、１つのフレームについて生成した両眼立体視用の画像群を、左右方向に配列して結合することで、最終的な提示画面を生成する。提示制御部１０６は、このようにして生成した該当のフレームに係る提示画像を表示部１２０に順次表示させることで、両眼立体視コンテンツの提示を実現する。

【0032】

また提示制御部１０６は、例えばサウンドボードやアンプ等の音声信号の出力／増幅を行う回路を含み、音声出力部１３０から出力させる音声を生成する際には所定の処理を行う。具体的には提示制御部１０６は、例えば予め記録媒体１０２に記録された音声データや配信サーバ３００から受信した音声情報を、電気的な音声信号に変換（Ｄ／Ａ変換）して音声出力部１３０に出力し、該音声信号に基づく音波を出力させる。音声出力部１３０は、例えばイヤフォンやヘッドフォン等の音声出力装置であってよい。

【0033】

操作入力部１０７は、例えば電源ボタンやメニューボタン等の、鑑賞クライアント１００が有するユーザインタフェースである。操作入力部１０７は、操作部材に対する操作入力がなされたことを検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。また、本実施形態では操作入力部１０７は、無線接続されたコントローラ１４０を含んでおり、該コントローラ１４０の有する物理的な操作部材である物理ボタン１４２に対してなされた操作入力に加え、該コントローラ１４０自体を動かすことによってなされた操作入力を検出する。ここで、コントローラ１４０自体を動かす操作入力については、例えばジャイロセンサ等であってよい運動センサ１４１によって検出され、操作入力部１０７に伝送されるものとする。

【0034】

通信部１０８は、鑑賞クライアント１００が有する外部装置との通信インタフェースである。通信部１０８は、ネットワーク５００（有線・無線を問わない）を介して外部装置と接続し、データの送受信を可能とすることができる。通信部１０８は、例えば送信対象として入力された情報を所定の形式のデータに変換し、ネットワーク５００を介して配信サーバ３００等の外部装置に送信する。また通信部１０８は、例えばネットワーク５００を介して外部装置から情報を受信すると、該情報を復号してメモリ１０３に格納する。

【0035】

〈演者クライアント２００の構成〉
続いて、本実施形態の鑑賞システムに係る演者クライアント２００の機能構成について、図３のブロック図を用いて説明する。なお、演者クライアント２００の機能構成の説明において、鑑賞クライアント１００が有する構成と同様の機能を実現する構成については、鑑賞クライアント１００の構成と峻別するために、「演者」との接頭文字を付して示すものとする。ここで、接頭文字として付す「演者」は、単に演者クライアント２００の一構成であることを示すものであり、説明するブロックの機能を限定する用途で用いるものではない。

【0036】

演者制御部２０１は、例えばＣＰＵであり、演者クライアント２００が有する各ブロックの動作を制御する。具体的には演者制御部２０１は、例えば演者記録媒体２０２に記録されている各ブロックの動作プログラムや、両眼立体視コンテンツのライブ配信を行うアプリケーション（配信アプリケーション）のプログラムを読み出し、配信メモリ２０３に展開して実行することにより各ブロックの動作を制御する。

【0037】

演者記録媒体２０２は、例えば不揮発性メモリやＨＤＤ等の、恒久的にデータを保持可能な記録装置である。演者記録媒体２０２は、演者クライアント２００が有する各ブロックの動作プログラム及び配信アプリケーションのプログラムに加え、各ブロックの動作において必要となるパラメータ等の情報を記憶する。演者メモリ２０３は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。演者メモリ２０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。

【0038】

取得部２０４は、ライブ配信される両眼立体視コンテンツについて、演者キャラクタのステージパフォーマンスに用いられる各種の情報を取得する。本実施形態では、取得部２０４は、モーションキャプチャシステム４００により取得された、演者により行われた身体運動を示す（演者キャラクタの挙動制御に用いられる）運動情報と、音声入力部２０７により取得された、歌唱やマイクパフォーマンス等の、演者の発した音声を示す音声情報とを取得する。ここで、音声入力部２０７は、演者に装着されたマイク等を介して、演者が発した音声を音声信号として取得する入力インタフェースである。上述したように、本実施形態では発明の理解を容易にすべく、演者キャラクタの挙動制御に用いられる運動情報（モーションデータ）は、モーションキャプチャシステム４００による出力をそのまま採用するものとして説明するが、本発明の実施はこれに限られるものではなく、例えば音声情報に応じて演者キャラクタの口唇部のモーションを調整したり、演者や配信側のオペレータ等により手動選択された、または演者の発話内容の解析結果に応じて選択された演者キャラクタの表情を適用したりした上で配信サーバ３００に送信される運動情報が構成されるものであってもよい。なお、演者キャラクタの表情制御については、演者の表情を撮像した画像（２次元画像や深度画像）を解析することによりなされるものであってもよい。

【0039】

フィードバック部２０５は、ライブ配信中の両眼立体視コンテンツについての、鑑賞ユーザからのインタラクションに係る入力状況を示す情報（インタラクション情報）を、演者にフィードバックとして提示する。本実施形態のステージパフォーマンスのように、パフォーマ（演者）とオーディエンス（鑑賞ユーザ）との掛け合い（インタラクション）を含めて興趣要素が形成されるコンテンツの場合、演者キャラクタを介して演者のパフォーマンスを鑑賞ユーザに提示するだけでなく、鑑賞ユーザの鑑賞状況を演者に伝達することが好ましい。例えば、インタラクション情報は、鑑賞ユーザにより行われた挙手、ハイタッチ、歓声等の特定動作に係る操作入力の多寡や、演者キャラクタに対するギフト送信等の所謂投げ銭機能に相当する操作入力の有無、その他、鑑賞ユーザのリクエストに起因したステージ上への特定演出の追加に係る操作入力の有無の情報を含む。

【0040】

一方で、本実施形態の鑑賞システムのように、複数の鑑賞ユーザが同時に両眼立体視コンテンツの鑑賞を行う態様では、鑑賞ユーザによるこれらの操作入力は同時期に多数発生し得るものであるため、その都度、演者へのフィードバックを行う態様では演者クライアント２００における演算負荷の増大、ひいては、ステージパフォーマンスの破綻を生じさせ得る。このため、鑑賞クライアント１００においてなされたこれらの操作入力の情報は、後述の配信サーバ３００において集約された後、インタラクション情報として演者クライアント２００に伝送されるものとする。

【0041】

フィードバック部２０５は、配信サーバ３００から受信したインタラクション情報に基づいて、例えば、演者の状況に応じて提示態様を異ならせて、演者へのフィードバックの提示を行う。フィードバックは、例えば、ＬＣＤ等の表示装置であってよい演者表示部２１０にテキストや所定のＧＵＩを介して視覚的に提示されるものであってもよいし、スピーカ等の演者音声出力部２２０を介して聴覚的に提示されるものであってもよいし、これらの組み合わせ、または他の提示方法を含めて行われるものであってよい。

【0042】

演者通信部２０６は、演者クライアント２００が有する外部装置との通信インタフェースである。演者通信部２０６は、ネットワーク５００（有線・無線を問わない）を介して外部装置と接続し、データの送受信を可能とすることができる。演者通信部２０６は、例えば送信対象として入力された情報を所定の形式のデータに変換し、ネットワーク５００を介して配信サーバ３００等の外部装置に送信する。また演者通信部２０６は、例えばネットワーク５００を介して外部装置から情報を受信すると、該情報を復号し、演者メモリ２０３に格納する。

【0043】

〈配信サーバ３００の構成〉
次に、本実施形態の鑑賞システムに係る配信サーバ３００の機能構成について、図４のブロック図を用いて説明する。なお、配信サーバ３００の機能構成の説明において、鑑賞クライアント１００及び演者クライアント２００が有する構成と同様の機能を実現する構成については、これらの機器の構成と峻別するために、「配信」との接頭文字を付して示すものとする。ここで、接頭文字として付す「配信」は、単に配信サーバ３００の一構成であることを示すものであり、説明するブロックの機能を限定する用途で用いるものではない。

【0044】

配信制御部３０１は、例えばＣＰＵであり、配信サーバ３００が有する各ブロックの動作を制御する。具体的には配信制御部３０１は、例えば配信記録媒体３０２に記録されている各ブロックの動作プログラムを読み出し、配信メモリ３０３に展開して実行することにより各ブロックの動作を制御する。

【0045】

配信記録媒体３０２は、例えば不揮発性メモリやＨＤＤ等の、恒久的にデータを保持可能な記録装置である。配信記録媒体３０２は、配信サーバ３００が有する各ブロックの動作プログラムに加え、各ブロックの動作において必要となるパラメータ等の情報を記憶する。配信メモリ３０３は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。配信メモリ３０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。

【0046】

配信部３０４は、本実施形態の鑑賞システムに係る両眼立体視コンテンツのライブ配信を制御する。より詳しくは、配信部３０４は、ライブ配信を行う時間帯について、演者について取得された運動情報及び音声情報を演者クライアント２００から取得し、コンテンツに係る鑑賞要求を行って配信サーバ３００に接続している鑑賞クライアント１００に対して送信する情報を適宜構成し、送出する処理を行う。また配信部３０４は、コンテンツの鑑賞に係り鑑賞クライアント１００において実行する必要がある処理について、その開始命令等を必要なタイミングで送出するよう制御する。

【0047】

なお、本実施形態では発明の理解を容易にすべく、配信サーバ３００は１種類の両眼立体視コンテンツのライブ配信を行うよう構成され、該コンテンツに係る演者が使用する演者クライアント２００と、同コンテンツを鑑賞する鑑賞ユーザが使用する鑑賞クライアント１００のみが配信サーバ３００に接続されているものとして説明するが、本発明の実施はこれに限られるものではない。例えば、配信サーバ３００が同時にライブ配信するコンテンツは複数種類であってもよく、その場合、配信部３０４はコンテンツごとに、対応する演者クライアント２００から取得した情報を、該コンテンツの鑑賞要求を行った鑑賞クライアント１００に配信するよう配信制御を行う。

【0048】

集約部３０５は、ライブ配信中の両眼立体視コンテンツについて複数の鑑賞クライアント１００から取得された情報を集約し、演者へのフィードバックに用いられるインタラクション情報を構成する。ここで、集約部３０５が行う情報の集約とは、例えば、各鑑賞クライアント１００においてなされた操作入力の情報を所定の時間単位で集計し、全鑑賞ユーザのうちの特定の動作を行っているユーザ、あるいは特定の意思を示したユーザの割合の情報としてインタラクション情報を構築すること等を含むものであってよい。

【0049】

配信通信部３０６は、配信サーバ３００が有する外部装置との通信インタフェースである。配信通信部３０６は、ネットワーク５００（有線・無線を問わない）を介して外部装置と接続し、データの送受信を可能とすることができる。配信通信部３０６は、例えば送信対象として入力された情報を所定の形式のデータに変換し、ネットワーク５００を介して鑑賞クライアント１００、演者クライアント２００等の外部装置に送信する。また配信通信部３０６は、例えばネットワーク５００を介して外部装置から情報を受信すると、該情報を復号し、配信メモリ３０３に格納する。

【0050】

《ライブ配信により提供される鑑賞体験》
次に、このような構成の鑑賞システムにおいて提供される両眼立体視コンテンツ（提供コンテンツ）の鑑賞体験について、図面を用いて詳細を説明する。

【0051】

図５は、本実施形態に係る両眼立体視コンテンツで描画される、ライブ会場５０１の３次元空間の概略構成を示している。図示されるように、ライブ会場５０１内は、本発明に係る第１領域としてのステージ５０２と、同第２領域としてのフロア５０３とに分類されている。図５は上面図としてライブ会場５０１を示しており、２次元の領域でこれらが分離されていることを示しているが、ステージ５０２とフロア５０３とは、例えば接地面の高さ方向の位置が異なって分離されるものであってもよい。

【0052】

鑑賞ユーザに係る視点５０４は、フロア５０３に配置されており、ステージ５０２上で行われるパフォーマンスを鑑賞可能に構成されている。本実施形態では発明の理解を容易にすべく、視点５０４はステージ５０２には配置されないものとして説明するが、本発明は、視点５０４をフロア５０３からステージ５０２に移動可能に構成することを除外するものではない。

【0053】

ステージ５０２上には、本発明に係る第１演者キャラクタとしての、２人の演者のうちの一方の演者に係る演者キャラクタ（以下、ステージキャラクタとして言及）が配置される。即ち、ステージパフォーマンスは、当該演者の身体運動及び発声に基づいて進行するものであり、鑑賞ユーザは、ステージキャラクタ５０５を介して行われるステージパフォーマンスをフロア５０３から鑑賞することが可能である。

【0054】

対して、本発明に係る第２演者キャラクタとしての、２人の演者のうちの他方の演者に係る演者キャラクタは、ステージ５０２ではなくフロア５０３に配置される。即ち、本実施形態に係る提供コンテンツでは、当該他方の演者に係る演者キャラクタは、鑑賞ユーザと共に、ステージ５０２上で行われるステージキャラクタ５０５のステージパフォーマンスを鑑賞するキャラクタとしてフロア５０３に配置される。つまり、他方の演者の身体運動及び発声は、ステージパフォーマンスを進行させるために用いられるものではなく、鑑賞ユーザと同様にステージパフォーマンスを鑑賞している他の観客の振る舞いを鑑賞ユーザに提示するために用いられる。

【0055】

本実施形態では、他方の演者に係る演者キャラクタの配置に起因した興趣性が特に高まる態様として、当該演者キャラクタが視点５０４に隣接して配置（他のオブジェクトを間に挟まない位置に配置）される例について説明する。これにより、鑑賞ユーザは、１人でステージパフォーマンスを鑑賞しているのではなく、図６に示されるようにあたかも該演者キャラクタ（５０６）と共にライブを鑑賞しに来たかの如く体験をすることができる。以下の説明では、フロア５０３に配置される演者キャラクタを、ライブ会場で隣接する座席が割り当てられる（広義には、ライブ会場で隣に立つ）存在であることから、入場チケットに記載される通し番号が連続することを意味する文言「連番」を用いて「連番キャラクタ」として言及する。図５に示されるように、連番キャラクタ５０６は、視点５０４の基準位置から所定距離を超えて離間しない位置に配置される。

【0056】

なお、フロア５０３には、他の鑑賞クライアント１００を使用して提供コンテンツを同様に鑑賞している鑑賞ユーザに係、モブキャラクタが配置されるが、当該モブキャラクタは賑やかし要素の側面で配置されるものであり、その挙動は特定の鑑賞ユーザの身体運動や発声を逐次反映して制御されるものではない。１人の鑑賞ユーザにとって、ライブ配信のサービスにおける他の鑑賞ユーザの反応を精緻に知ることの重要性はそれほど高いものではなく、ライブ会場５０１の雰囲気を捉える程度に知ることができれば好適な臨場感を得られるものである。別の観点では、多数の鑑賞ユーザの身体運動や音声を取得して各モブキャラクタの挙動制御を精緻に行うことは、鑑賞システム全体の演算負荷や通信負荷を増大させるものであり、サービス提供に当たり好適なものではない。このため、本実施形態の鑑賞システムでは、モブキャラクタの挙動制御は、配信サーバ３００の集約部３０５で集計された鑑賞状況の集計の情報に基づいて行われるものとする。即ち、モブキャラクタの挙動制御は、全鑑賞ユーザの鑑賞状況の傾向に応じて大まかに制御されるものとし、連番キャラクタ５０６とは明確に異なる存在としてフロア５０３に配置される。

【0057】

〈演者キャラクタの挙動〉
以下、提供コンテンツにおける、演者の身体運動に基づいて制御されるステージキャラクタ５０５と連番キャラクタ５０６の挙動について、より詳細に説明する。なお、説明の便宜上、必要に応じて、ステージキャラクタ５０５に身体運動が反映される演者ａに係る演者クライアント２００、モーションキャプチャシステム４００、及びその機能構成には「ａ」の文字を、連番キャラクタ５０６に身体運動が反映される演者ｂに係る演者クライアント２００、モーションキャプチャシステム４００、及びその機能構成には「ｂ」の文字を付して峻別するものとする。

【0058】

ステージキャラクタ５０５及び連番キャラクタ５０６は、基本的には、いずれも演者の身体運動に基づいて挙動制御がなされる。より詳しくは、ステージキャラクタ５０５は、演者クライアント２００ａによりモーションキャプチャシステム４００ａを介して取得された、演者ａの身体運動を示す運動情報ａに基づいて挙動制御がなされる。また連番キャラクタ５０６は、演者クライアント２００ｂによりモーションキャプチャシステム４００ｂを介して取得された、演者ｂの身体運動を示す運動情報ｂに基づいて挙動制御がなされる。即ち、配信サーバ３００が、演者クライアント２００ａから運動情報ａを、演者クライアント２００ｂから運動情報ｂを取得し、接続中の鑑賞クライアント１００のそれぞれに対してこれらを配信する。そして各鑑賞クライアント１００の挙動制御部１０５が、受信した運動情報ａ及びｂに基づいてステージキャラクタ５０５と連番キャラクタ５０６の挙動制御を行うことで、演者ａの身体運動が反映されたステージキャラクタ５０５と、演者ｂの身体運動が反映された連番キャラクタ５０６とを配置した３次元空間について、両眼立体視での鑑賞体験の提供が実現される。

【0059】

ここで、本実施形態では、ステージキャラクタ５０５と連番キャラクタ５０６は、少なくとも以下のいずれかの点で異なるよう構成される。

【0060】

（１）演者の身体運動以外に基づく挙動制御の有無
ステージキャラクタ５０５によるステージパフォーマンスを安定的に提供するために、ステージキャラクタ５０５の挙動制御は、運動情報ａのみに基づいて行われる。即ち、例えば、鑑賞ユーザによりなされた特定の操作入力に対して強制的に反応するようなインタラクションを設けてしまうと、ステージパフォーマンスが好適な態様で提供されないことになり得るため、ステージキャラクタ５０５の挙動は、鑑賞ユーザによりなされた操作入力の情報に依らずに制御される。

【0061】

なお、本実施形態の提供コンテンツは、ステージキャラクタ５０５による一方的なステージパフォーマンスの提供を目的とするものではなく、鑑賞ユーザの鑑賞状況に応じて進行が変更し得る双方向の鑑賞体験を提供するものである。しかしながら、当該鑑賞体験は、ステージキャラクタ５０５の挙動を、鑑賞ユーザによりなされた操作入力の情報に基づいて直接的に変更することで実現されるものではなく、特許文献１に開示されるように、集約部３０５において構成されたインタラクション情報がフィードバック部２０５ａを介して演者ａに提示され、演者ａがこれを参照して身体運動を行うことで、操作入力に対するリアクションが含まれた運動情報ａが供給されて、ステージキャラクタ５０５の挙動に反映されることで実現される。このため、ステージキャラクタ５０５の挙動は、一貫して演者ａの身体運動に基づいて制御されることになり、安定的で公平なステージパフォーマンスを提供する態様となる。

【0062】

一方で、連番キャラクタ５０６はステージパフォーマンスを提供する存在ではなく、ステージパフォーマンスを鑑賞するという点で鑑賞ユーザに近しい立場で配置される存在であり、鑑賞ユーザの行動に応じた反応を示す等の振る舞いをする方が、鑑賞ユーザに対して自然な印象や親近感を与える。このため、連番キャラクタ５０６の挙動は、運動情報ｂに限られるものではなく、運動情報ｂ及び鑑賞ユーザによりなされた操作入力の情報の少なくともいずれかに基づいて制御される。ここで、操作入力は、物理ボタン１４２の押下操作等の明示的に行われるものに限られる必要はなく、姿勢センサ１１０や運動センサ１４１を介して取得される鑑賞ユーザの身体運動や、音声入力等、他の入力や状態検出を含むものであってよい。

【0063】

例えば、ステージパフォーマンス中の楽曲と楽曲との合間になされるステージキャラクタ５０５のマイクパフォーマンスが行われる期間では、ステージキャラクタ５０５と連番キャラクタ５０６の掛け合いが可能なよう、連番キャラクタ５０６の挙動制御は、運動情報ｂのみに基づいて行われるものであってもよい。また例えば、ステージキャラクタ５０５と連番キャラクタ５０６との掛け合いが発生しない楽曲の歌唱パフォーマンスが行われる期間では、連番キャラクタ５０６の挙動制御は、運動情報ｂよりも鑑賞ユーザによる操作入力の情報を優先し、操作入力の情報のみに基づいて行われるものであってもよい。あるいは、よりインタラクティブ性の高い興趣体験を提供すべく、運動情報ｂに基づく連番キャラクタ５０６の挙動制御が行われている間に、鑑賞ユーザによる操作入力がなされたことに応じて、連番キャラクタ５０６の挙動を操作入力に基づく内容に順次異ならせるよう制御するものであってもよい。

【0064】

鑑賞ユーザによる操作入力の情報に応じた連番キャラクタ５０６の挙動制御、即ち、連番キャラクタ５０６について設けられるインタラクション要素は、例えば以下のような態様であってよい。例えば、鑑賞ユーザが連番キャラクタ５０６に対して呼びかけを行う操作入力（音声入力、呼びかけ用コマンドの選択等）を行った場合、連番キャラクタ５０６が振り返りを含む反応を示す挙動を行うよう制御されるものであってもよい。また例えば、鑑賞ユーザがステージキャラクタ５０５ではなく連番キャラクタ５０６を注視するような操作入力（鑑賞方向を連番キャラクタ５０６に向ける鑑賞ユーザの頭部旋回動作、あるいは、同方向を鑑賞するカメラ選択操作等）を行った場合、連番キャラクタ５０６が視線に気づいて照れる、会話を開始する等の反応を示す挙動を行うよう制御されるものであってもよい。より詳しくは、視点５０４の鑑賞方向を変更する操作入力の結果、視点位置と連番キャラクタ５０６の位置とを結ぶ方向と鑑賞方向とがなす角が所定の角度以下となった場合に、挙動制御部１０５は該当の挙動を行うよう連番キャラクタ５０６を制御するものであってもよい。また例えば、所定の期間、特定の操作入力がない状態が継続したことを契機として、連番キャラクタ５０６が鑑賞ユーザに話しかけてくる等の挙動を行うよう制御されるものであってもよい。このように、鑑賞ユーザによる操作入力の情報に応じた連番キャラクタ５０６の挙動は、動的に開始されるものであるため、運動情報ｂのようなリアルタイムで取得されるデータを用いて実現されるものではなく、例えば予め構成されたモーションデータ及び音声情報に基づいて実現されるものであってよい。

【0065】

ここで、本実施形態の提供コンテンツのように、１体の演者キャラクタ（連番キャラクタ５０６）の隣でのライブの鑑賞体験を提供する態様では、複数の鑑賞ユーザのそれぞれが、１人の演者ｂに係る連番キャラクタ５０６とインタラクション可能であることが好ましい。換言すれば、操作入力に応じた連番キャラクタ５０６の振る舞いは、他の鑑賞ユーザの操作入力に起因して生じるものではなく、鑑賞ユーザ自身が行った操作入力のみに起因して生じることが好ましい。これは、連番キャラクタ５０６と鑑賞ユーザとの関係が親密であることを演出する効果を生み、提供コンテンツの興趣性をより向上させることができることに依る。

【0066】

従って、鑑賞ユーザと連番キャラクタ５０６とのインタラクションに係る挙動制御は、鑑賞ユーザごとに異なって鑑賞されるよう構成される。より詳しくは、１人の鑑賞ユーザが使用する鑑賞クライアント１００の挙動制御部１０５は、当該鑑賞クライアント１００で検出された操作入力の情報に基づく連番キャラクタ５０６の挙動制御は行うが、他の鑑賞クライアント１００において検出された操作入力の情報に基づいた連番キャラクタ５０６の挙動制御は行わない。つまり、配信サーバ３００は、各鑑賞クライアント１００においてなされた操作入力の情報を取得してインタラクション情報の構築は行うが、操作入力の情報は、他の鑑賞クライアント１００における連番キャラクタ５０６の挙動制御のために伝送するような処理を行わない。

【0067】

連番キャラクタ５０６の挙動が、運動情報ｂ及び鑑賞ユーザによりなされた操作入力の情報のいずれに基づいて制御されるかは、連番キャラクタ５０６について複数の状態を定義し、いずれの状態にあるかに応じて切り替えられるものであってよい。状態は、本発明に係る第１状態としての演者優先状態と、同第２状態としてのインタラクション優先状態とを含み、演者優先状態では運動情報ｂに基づく挙動制御がなされ、インタラクション優先状態では鑑賞ユーザによりなされた操作入力の情報または運動情報ｂに基づく挙動制御がなされるものであってよい。後者の状態では、より自然な振る舞いとして感じられるよう、基本的には運動情報ｂに基づいて挙動制御がなされるが、該当の操作入力がなされた場合には、運動情報ｂに優先して（切り替えて）当該操作入力に対応付けられたデータに基づく挙動制御がなされるものであってもよい。この場合、切り替え時の挙動遷移を滑らかにすべく、運動情報ｂと対応付けられたデータとを、順次重みを異ならせながら（開始時は対応付けられたデータの重みを徐々に大きくし、終了時は徐々に小さくする）重み付け加算することで挙動制御を行うものであってもよい。

【0068】

連番キャラクタ５０６の状態は、例えば、上述したようにステージパフォーマンス中のマイクパフォーマンスが行われる期間であれば演者優先状態に設定し、歌唱パフォーマンスが行われる期間であればインタラクション優先状態に設定される等、提供コンテンツの進行に応じて制御されるものであってよい。この他、例えば、演者ｂによって任意のタイミングで変更可能に構成されるものであってもよいし、配信サーバ３００において演者やステージパフォーマンスの状態を判定して変更可能に構成されるものであってもよい。

【0069】

このように、ステージキャラクタ５０５と連番キャラクタ５０６とは、前者が演者の身体運動のみに基づいて挙動制御されるが、後者が演者の身体運動以外にも基づいて挙動制御される点で異なる。即ち、ステージキャラクタ５０５は、演者ａが自発的にフィードバックに基づく身体運動をしない限りは、予定されたステージパフォーマンスを提供するための振る舞いを提示する一方で、連番キャラクタ５０６は、演者ｂの身体運動に係る振る舞いに加え、鑑賞ユーザの鑑賞態様に応じた動的な振る舞いを提示する点で異なる興趣要素を提供できる。

【0070】

（２）接触判定の有無
現実世界のライブ鑑賞では、基本的にはステージ上のアーティストと観客とが接触する機会は少ない。一方で、１人の観客は、同行した観客や連番の観客と接触する機会は多く、提供コンテンツの鑑賞体験において、鑑賞ユーザが連番キャラクタ５０６と接触するインタラクションが設けられないことは不自然な印象を与え得る。

【0071】

このため、本実施形態の提供コンテンツでは、鑑賞体験の臨場感を向上させるべく、鑑賞ユーザは例えばコントローラ１４０の位置姿勢を変更することで、該鑑賞ユーザに対応付けられて３次元空間に配置される手型オブジェクトを自身の手の如く移動操作することが可能に構成される。当該手型オブジェクトは、３次元空間に配置される他のオブジェクトに対する接触インタフェースとしての役割を担う概念であり、鑑賞ユーザは手型オブジェクトを移動操作することで連番キャラクタ５０６と接触するインタラクションを行うことが可能となる。

【0072】

より詳しくは、手型オブジェクト及び連番キャラクタ５０６には接触判定用の３次元体積が設定され、それらが重複した場合には接触があったものとして判定される。即ち、本実施形態の鑑賞システムでは、鑑賞ユーザと連番キャラクタ５０６との接触に係る操作入力がなされたことを、これらオブジェクトの接触判定により検出することが可能となる。従って、上述したような鑑賞ユーザが連番キャラクタ５０６に対して呼びかけを行う操作入力を、例えば、コントローラ１４０の移動に伴う手型オブジェクトを用いた肩叩き動作といった、手型オブジェクトと連番キャラクタ５０６とが接触した状態をもって検出するものとしてもよい。この場合、挙動制御部１０５は、接触判定結果が接触であったことに応じて、対応付けられた挙動や演出を示すよう連番キャラクタ５０６を制御すればよい。

【0073】

一方で、接触判定は、毎フレームのオブジェクトの状態に基づいて行われるものであるため、鑑賞クライアント１００の演算能力によっては多大な負荷となり得、提供コンテンツの鑑賞体験に支障をきたすことも考えられる。このため、接触機会が想定しづらいステージキャラクタ５０５については、手型オブジェクトとの接触判定に係る処理を行わないよう構成されるものであってよい。

【0074】

従って、ステージキャラクタ５０５と連番キャラクタ５０６とは、鑑賞ユーザに関連付けられた手型オブジェクトとの接触判定の処理を行うか否かの点で異なっており、鑑賞ユーザが行うことが可能なインタラクションの態様に差異がある。

【0075】

なお、本実施形態の鑑賞クライアント１００では特に説明しないが、コントローラ１４０が振動モータ等の力覚提示構成を具備する態様では、接触したとの判定があった場合にこれに合わせて力覚提示を行うことで、より現実感の高い鑑賞体験を提供するものとしてもよい。また接触した場合には、接触に係る音声演出の提示を行うものであってもよい。また当該機能は、例えば連番キャラクタ５０６とのハイタッチ等の興趣演出にも用いることができ、配信サーバ３００に伝送されてインタラクション情報として演者クライアント２００ａまたはｂに共有され、演者に対して鑑賞状況の盛り上がりの度合いとして提示可能にしてもよい。

【0076】

また本実施形態ではコントローラ１４０に対してなされた操作入力（コントローラ１４０自体の移動回転操作や操作部材に対する操作入力）に基づいて手型オブジェクトの状態制御を行うものとして説明するが、本発明の実施はこれに限られるものではない。例えばコントローラ１４０を用いずとも、ＨＭＤ等に設けられた外部カメラにより鑑賞ユーザの手を検出し、実際になされた鑑賞ユーザの手の動きに応じて手型オブジェクトの状態制御を行うものであってもよいことは言うまでもない。

【0077】

（３）音声提示態様の違い
上述したように、本実施形態の提供コンテンツの鑑賞体験では、各演者に係る音声情報を用いて音声演出の提示がなされるが、発声元のキャラクタがいずれであるかに応じてその提示態様を異ならせることで、鑑賞体験の臨場感を高めることができる。

【0078】

現実世界のライブ鑑賞では、一般的にステージ上のアーティストの発した音声はマイクを介して取得されて信号増幅された上で、ライブ会場の複数の位置に配置されたスピーカから出力される態様で提示される。即ち、観客はアーティストの音声を種々の方向から聴くことになるため、視覚的にはアーティストの位置を捉えているが、聴覚的には音源の位置を特定すること（音像定位）が難しくなっている。一方、観客は、同行した観客や連番の観客の発した音声はマイクを通すことなく直接聴くことになるため、容易に音像定位を行うことができる。

【0079】

本実施形態の提供コンテンツでは、このような聴覚的な知覚の差異を反映し、各演者キャラクタの音声演出の提示態様を異ならせる。より詳しくは、提示制御部１０６は、連番キャラクタ５０６に係る音声情報については、鑑賞位置、鑑賞方向、及び連番キャラクタ５０６の位置に基づいて、音像定位が可能な態様で音声出力部１３０に出力させるよう制御を行う。一方、ステージキャラクタ５０５に係る音声情報については、提示制御部１０６は、音像定位が可能ではない態様で音声出力部１３０に出力させるよう制御を行う。ここで、音像定位が可能な態様とは、視点５０４の位置を原点とし、深度方向を鑑賞方向とする座標系における音源の位置に応じて、例えば左耳側と右耳側での音量や効果が異なって出力される態様であり、鑑賞ユーザがそのバランスにより音源の方向をある程度推定可能な態様を示すものとする。対して、音像定位が可能ではない態様とは、このような左耳側と右耳側での音量や効果の差異がない態様で出力される態様を示すものとする。

【0080】

これら述べたステージキャラクタ５０５と連番キャラクタ５０６の差異は、本発明の実施の一態様を示す目的で挙げられたものであり、発明の実施はこれらに限られるものではない。ステージキャラクタ５０５と連番キャラクタ５０６との差異は、提供コンテンツの鑑賞体験において、前者が全鑑賞ユーザに対して同様の興趣体験を提供するよう演出制御がなされる一方で、後者が、３次元空間において鑑賞ユーザの視点と同分類の領域に配置され、鑑賞ユーザの操作入力に応じた演出を伴う興趣体験を提供するよう演出制御がなされるものであれば、その他の差異が設けられるものであってもよい。

【0081】

《提示処理》
以下、本実施形態の鑑賞クライアント１００において両眼立体視コンテンツの鑑賞体験を提供する提示処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、鑑賞クライアント１００の制御部１０１が、例えば記録媒体１０２に記録されている対応する鑑賞アプリケーションのプログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。なお、本提示処理は、例えば鑑賞アプリケーションが起動され、提供コンテンツの鑑賞開始に係る操作入力がなされた際に開始され、鑑賞体験のフレームごとに繰り返し実行されるものとして説明する。

【0082】

Ｓ７０１で、制御部１０１は、配信サーバ３００から提供コンテンツの鑑賞に必要なデータを取得する。当該データは、少なくとも本フレームの提示画像の生成に用いられる、ステージキャラクタに係る運動情報及び音声情報と連番キャラクタに係る運動情報及び音声情報とを含むものとする。データは、この他、提示する演出に係る情報やモブキャラクタの挙動制御に係る情報等を含むものであってもよい。

【0083】

Ｓ７０２で、決定部１０４は制御部１０１の制御の下、提供コンテンツに係る視点パラメータ（鑑賞位置及び鑑賞方向）を決定する。決定部１０４は、例えば、前フレームについて決定した視点パラメータを、前フレームから本フレームまでに検出された視点変更に係る操作入力（姿勢センサ１１０の出力等）に基づいて更新し、本フレームの視点パラメータを決定する。

【0084】

Ｓ７０３で、制御部１０１は、配信サーバ３００によりインタラクション情報として収集されるべき操作入力がなされたか否かを判断する。制御部１０１は、インタラクション情報として収集されるべき操作入力がなされたと判断した場合は処理をＳ７０４に移し、なされていないと判断した場合は処理をＳ７０５に移す。

【0085】

Ｓ７０４で、制御部１０１は、インタラクション情報としてとして収集されるべき操作入力を示す情報を通信部１０８に伝送し、配信サーバ３００に送信させる。

【0086】

Ｓ７０５で、制御部１０１は、連番キャラクタの状態が演者優先状態とインタラクション優先状態のいずれであるかを判断する。本ステップの判断は、例えば配信サーバ３００から受信した連番キャラクタの状態の情報、あるいは、提供コンテンツの進行の情報に基づいて判断されるものであってよい。制御部１０１は、連番キャラクタの状態が演者優先状態であると判断した場合は処理をＳ７０６に移し、インタラクション優先状態であると判断した場合は処理をＳ７０８に移す。

【0087】

Ｓ７０６で、挙動制御部１０５は制御部１０１の制御の下、Ｓ７０１において取得された運動情報に基づいてステージキャラクタ及び連番キャラクタの挙動制御を行う。より詳しくは挙動制御部１０５は、Ｓ７０１において取得されたステージキャラクタに係る運動情報に基づいて、本フレームに係るステージキャラクタの状態（対応する３次元モデルの各パーツの状態）を設定する。また挙動制御部１０５は、Ｓ７０１において取得された連番キャラクタに係る運動情報に基づいて、本フレームに係る連番キャラクタの状態を設定する。

【0088】

Ｓ７０７で、提示制御部１０６は制御部１０１の制御の下、提示する音声演出に係る音声合成処理を行う。音声合成処理は、最終的に左耳側と右耳側のチャネルそれぞれについて出力する音声情報（提示音声情報）を構成する処理であり、例えば提示される音声情報と、各音声情報についての音像定位を可能とするか否かの情報とに基づいて、音声情報を音量調整して合成することで提示音声情報を構成する。本ステップでは、ステージキャラクタについては音像定位を可能としないため、Ｓ７０１において取得されたステージキャラクタに係る音声情報は、左耳側及び右耳側のチャネルの双方で同等の音量となるよう調整される。一方で、連番キャラクタについては音像定位を可能とするため、Ｓ７０１において取得された連番キャラクタに係る音声情報は、連番キャラクタの位置とＳ７０２において決定された視点パラメータとに基づいて各チャネルの音量が調整される。

【0089】

一方、Ｓ７０５において連番キャラクタがインタラクション優先状態であると判断した場合、制御部１０１はＳ７０８で、連番キャラクタとのインタラクションに係る操作入力がなされたか否かを判断する。ここで、連番キャラクタとのインタラクションに係る操作入力とは、上述したような、連番キャラクタに呼びかけを行う操作入力、連番キャラクタを注視する操作入力、連番キャラクタと接触したと判定される操作入力を含むものであってよい。制御部１０１は、連番キャラクタとのインタラクションに係る操作入力がなされたと判断した場合は処理をＳ７０９に移し、なされていないと判断した場合は処理をＳ７０６に移す。

【0090】

Ｓ７０９で、挙動制御部１０５は制御部１０１の制御の下、連番キャラクタとのインタラクションに係る操作入力の情報とＳ７０１において取得された運動情報とに基づいて、ステージキャラクタ及び連番キャラクタの挙動制御を行う。より詳しくは挙動制御部１０５は、Ｓ７０１において取得されたステージキャラクタに係る運動情報に基づいて、本フレームに係るステージキャラクタの状態を設定する。また挙動制御部１０５は、該当のインタラクションについて予め設けられた連番キャラクタの挙動を示す運動情報に基づいて、本フレームに係る連番キャラクタの状態を設定する。

【0091】

Ｓ７１０で、提示制御部１０６は制御部１０１の制御の下、提示する音声演出に係る音声合成処理を行う。本ステップで行われる音声合成処理では、Ｓ７０７の処理とは異なり、連番キャラクタについては、該当のインタラクションについて予め設けられた音声情報が使用される。従って、提示制御部１０６は、該当のインタラクションについて設けられた音声情報を、連番キャラクタの位置とＳ７０２において決定された視点パラメータとに基づいて各チャネルの音量を調整した上で、ステージキャラクタに係る音声情報と合成して提示音声情報を構成する。

【0092】

なお、本実施形態の提示処理では、処理の内容を容易に理解可能にすべく、連番キャラクタがインタラクション優先状態にある場合には、連番キャラクタとのインタラクションに係る操作入力がなされた際に、該当のインタラクションについて予め設けられた情報のみに基づいて挙動制御や音声合成処理を行うものとして説明した。しかしながら、上述したように本発明の実施はこれに限られるものではなく、連番キャラクタとのインタラクションに係る操作入力がなされた際に、配信サーバ３００から取得されたリアルタイムの連番キャラクタに係る運動情報及び音声情報に優先して、該当のインタラクションについて予め設けられた情報を使用して挙動制御や音声合成処理を行うものであれば、その双方を用いるものであってもよい。

【0093】

Ｓ７１１で、提示制御部１０６は制御部１０１の制御の下、ステージキャラクタ及び連番キャラクタを挙動制御部１０５により設定された状態で３次元空間に配置し、当該３次元空間をＳ７０２において決定された視点パラメータについて描画することで、提供コンテンツに係る提示画像を生成する。

【0094】

Ｓ７１２で、提示制御部１０６は制御部１０１の制御の下、提示画像を表示部１２０に表示させ、提示音声情報を音声出力部１３０に出力させ、本フレームに係る提示処理を完了する。

【0095】

このようにすることで、本実施形態の鑑賞システムによれば、ステージパフォーマンスを行うキャラクタとは異なるインタラクションが可能な存在（連番キャラクタ）を３次元空間に配置し、共にライブ鑑賞を行っている体験を提供することができるため、臨場感の高い鑑賞体験を実現することができる。

【0096】

また本実施形態のような、鑑賞ユーザの視点と同じ側に連番キャラクタを配置し、連番キャラクタとステージキャラクタとの掛け合いが提供可能な構成（連番キャラクタとステージキャラクタについては直接的な音声コミュニケーションが可能な構成）では、当該掛け合いを鑑賞ユーザが傍観できることにより、あたかもステージキャラクタと観客側とでの直接的なコミュニケーションが成立しているかの如き鑑賞体験を提供することができる。換言すれば、連番キャラクタが鑑賞ユーザに隣接して存在して共通のステージパフォーマンスを鑑賞しており、かつ、鑑賞ユーザと連番キャラクタとのインタラクションが可能な状況下では、ステージキャラクタとの直接的なコミュニケーションが可能な連番キャラクタの鑑賞体験が、鑑賞ユーザの鑑賞体験として投射されやすくなり、結果として、従来のステージキャラクタのみを鑑賞する鑑賞体験よりも、より臨場感の高い鑑賞体験を提供することができる。

【0097】

［変形例］
上述した実施形態では、３次元空間中の鑑賞ユーザに係る視点に隣接する位置に連番キャラクタが配置されるものとして説明したが、本発明の実施はこれに限られるものではない。即ち、鑑賞ユーザに係る視点が配置される領域（フロア側）に、演者の身体運動と鑑賞ユーザによる操作入力に基づいて挙動制御される演者キャラクタが配置される態様であれば、本発明は適用可能である。

【0098】

［その他の実施形態］
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、発明の要旨の範囲内で種々の変形・変更が可能である。また本発明に係る鑑賞システムは、１以上のコンピュータを該鑑賞システムの各装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。

【符号の説明】

【0099】

１００：鑑賞クライアント、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：決定部、１０５：挙動制御部、１０６：提示制御部、１０７：操作入力部、１０８：通信部、１１０：姿勢センサ、１２０：表示部、１３０：音声出力部、１４０：コントローラ、１４１：運動センサ、１４２：物理ボタン、２００：演者クライアント、２０１：演者制御部、２０２：演者記録媒体、２０３：演者メモリ、２０４：取得部、２０５：フィードバック部、２０６：演者通信部、２０７：音声入力部、２１０：演者表示部、２２０：演者音声出力部、３００：配信サーバ、３０１：配信制御部、３０２：配信記録媒体、３０３：配信メモリ、３０４：配信部、３０５：集約部、３０６：配信通信部、４００：モーションキャプチャシステム、５００：ネットワーク

【要約】      （修正有）

【課題】臨場感の高い鑑賞体験を実現する両眼立体視コンテンツの配信技術を提供する。
【解決手段】演者の身体運動に基づいて挙動制御がなされる演者キャラクタを提示するコンテンツの鑑賞体験を鑑賞ユーザに提供する鑑賞システムであって、演者に係る演者キャラクタを配置した３次元空間における演出を提示する両眼立体視コンテンツであり、演者の身体運動を示す運動情報を取得し、演者キャラクタの挙動を制御し、鑑賞ユーザによりなされた操作入力の情報を取得し、決定した視点の情報に基づいて、コンテンツに係る描画された画像を提示する。第１演者キャラクタ５０５は３次元空間中の第１領域に配置され、鑑賞ユーザに係る視点及び第２演者キャラクタ５０６は第１領域とは異なる第２領域に配置される。挙動制御手段は、運動情報に基づいて演者キャラクタの挙動を制御する。
【選択図】図６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】