ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024097450
(43)【公開日】2024-07-19
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
H04N 21/462 20110101AFI20240711BHJP
H04N 21/442 20110101ALI20240711BHJP
【ＦＩ】
H04N21/462
H04N21/442
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023000903
(22)【出願日】2023-01-06
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】森岡 裕一
(72)【発明者】
【氏名】林田 康史
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA08
5C164FA16
5C164UA04S
5C164UB41P
5C164UC27P
5C164YA21
(57)【要約】
【課題】移動体内で視聴するコンテンツの品質の低下を抑制する。
【解決手段】情報処理装置は、移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信する情報取得部と、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成する映像生成部と、前記第１の映像情報及び前記第２の映像情報の表示部への出力を制御する出力制御部とを備える。本技術は、例えば、車両に適用できる。
【選択図】図７
【解決手段】情報処理装置は、移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信する情報取得部と、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成する映像生成部と、前記第１の映像情報及び前記第２の映像情報の表示部への出力を制御する出力制御部とを備える。本技術は、例えば、車両に適用できる。
【選択図】図７
【特許請求の範囲】
【請求項1】
移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信する情報取得部と、
前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成する映像生成部と、
前記第１の映像情報及び前記第２の映像情報の表示部への出力を制御する出力制御部と
を備える情報処理装置。
前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成する映像生成部と、
前記第１の映像情報及び前記第２の映像情報の表示部への出力を制御する出力制御部と
を備える情報処理装置。
【請求項2】
前記移動状態は、前記移動体が移動している場所、前記移動体の周囲の状態、及び、前記移動体の状態のうち少なくとも１つを含む
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記情報取得部は、前記移動体が停止している場合、又は、前記移動体が所定の場所を移動している場合、前記第１の映像情報を前記サーバ群から受信し、前記移動体が前記所定の場所以外の場所を移動している場合、前記変動情報を前記サーバ群から受信する
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記情報取得部は、前記コンテンツの配信が開始される前に、前記移動体が停止している間に、前記固定情報を前記サーバ群から受信する
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記移動体は、車両であり、
前記所定の場所は、自動車専用の道路である
請求項３に記載の情報処理装置。
前記所定の場所は、自動車専用の道路である
請求項３に記載の情報処理装置。
【請求項6】
前記情報取得部は、前記車両が停止している場合、又は、前記車両が自動車専用の道路を所定の速度以上で走行している場合、前記第１の映像情報を前記サーバ群から受信し、前記車両が自動車専用の道路以外の場所を走行している場合、又は、前記車両が前記所定の速度未満で走行している場合、前記変動情報を前記サーバ群から受信する
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項7】
前記出力制御部は、前記情報取得部が前記第１の映像情報を受信した場合、前記第１の映像情報を前記表示部に出力し、前記情報取得部が前記変動情報を受信した場合、前記第２の映像情報を前記表示部に出力する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
前記コンテンツは、イベントの自由視点映像を含む
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項9】
前記情報取得部は、前記ユーザの視界に関する情報を含む制御情報を前記サーバ群に送信し、前記イベントの各シーンを表す第１の３次元モデルから前記制御情報に基づいて生成された前記第１の映像情報を前記サーバ群から受信する
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項10】
前記映像生成部は、前記イベントの各シーンを表し、前記固定情報及び前記変動情報に基づく第２の３次元モデルから前記制御情報に基づいて前記第２の映像情報を生成する
請求項９に記載の情報処理装置。
請求項９に記載の情報処理装置。
【請求項11】
前記固定情報は、前記イベントが行われる場所に関する情報、前記イベントの演者の外観に関する情報、前記イベントの演出の企画に関する情報、及び、前記イベントの観客の外観に関する情報のうち少なくとも１つを含み、
前記変動情報は、前記演者の動きに関する情報、前記演出の動きに関する情報、及び、前記観客の動きに関する情報のうち少なくとも１つを含む
請求項８に記載の情報処理装置。
前記変動情報は、前記演者の動きに関する情報、前記演出の動きに関する情報、及び、前記観客の動きに関する情報のうち少なくとも１つを含む
請求項８に記載の情報処理装置。
【請求項12】
前記表示部は、自由視点映像を表示可能である
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項13】
前記表示部は、ヘッドマウントディスプレイを含む
請求項１２に記載の情報処理装置。
請求項１２に記載の情報処理装置。
【請求項14】
前記コンテンツは、ライブストリーミング配信される
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項15】
前記第１の映像情報の方が前記第２の映像情報より高精細である
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項16】
前記移動状態を検出する状態検出部を
さらに備える請求項１に記載の情報処理装置。
さらに備える請求項１に記載の情報処理装置。
【請求項17】
前記表示部は、外部に設けられる
さらに備える請求項１に記載の情報処理装置。
さらに備える請求項１に記載の情報処理装置。
【請求項18】
前記表示部を
さらに備える請求項１に記載の情報処理装置。
さらに備える請求項１に記載の情報処理装置。
【請求項19】
前記情報取得部は、前記サーバ群のうち前記移動体により近い前記サーバから優先的に前記第１の映像情報を受信する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項20】
情報処理装置が、
移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信し、
前記第１の映像情報を受信した場合、前記第１の映像情報を表示部に出力し、
前記変動情報を受信した場合、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成し、前記第２の映像情報を前記表示部に出力する
情報処理方法。
移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信し、
前記第１の映像情報を受信した場合、前記第１の映像情報を表示部に出力し、
前記変動情報を受信した場合、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成し、前記第２の映像情報を前記表示部に出力する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置及び情報処理方法に関し、特に、移動体内においてコンテンツを視聴する場合に用いて好適な情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
自動運転技術を適用した自動運転車両内では、搭乗者が移動中に自由に時間を使用できるため、例えば、コンサートや映画等のエンタテイメント系コンテンツを車内で楽しむことが想定される（例えば、特許文献１参照）。
【0003】
また、車内においてコンサート等のイベントのエンタテイメント系コンテンツをリアルタイムに視聴できるようになると、例えば、演者と観客、及び、観客同士のインターアクティブ性が確保され、共感によりユーザのコンテンツ満足度が向上する。
【0004】
一方、エンタテイメント系コンテンツはデータ容量が非常に大きい。そのため、例えば、車内においてコンサート等のイベントの映像をリアルタイムに視聴するためには、コンテンツを配信するサーバと車両間において、伝送速度が速く安定した無線通信回線の確保が要求される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－１７０６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、サーバと車両間の無線通信回線の品質は必ずしも安定しない。例えば、車両が市街地を走行している場合、他にも無線通信回線を使用する車両や通行者等が多くなるため、エンタテイメント系コンテンツの伝送に使用可能な通信帯域が狭くなる。例えば、車両が自動運転を実行する場合、車両の周囲の状態等に応じて、地図情報やセンサデータ等の大量のデータをサーバ等と送受信する必要が生じ、エンタテイメント系コンテンツの伝送に使用可能な通信帯域が狭くなる。そのため、車内で視聴するコンテンツの品質が低下するおそれがある。
【0007】
本技術は、このような状況に鑑みてなされたものであり、車両等の移動体内で視聴するコンテンツの品質の低下を抑制できるようにするものである。
【課題を解決するための手段】
【0008】
本技術の第１の側面の情報処理装置は、移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信する情報取得部と、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成する映像生成部と、前記第１の映像情報及び前記第２の映像情報の表示部への出力を制御する出力制御部とを備える。
【0009】
本技術の第２の側面の情報処理方法は、情報処理装置が、移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信し、前記第１の映像情報を受信した場合、前記第１の映像情報を表示部に出力し、前記変動情報を受信した場合、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成し、前記第２の映像情報を前記表示部に出力する。
【0010】
本技術の第１の側面においては、移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報が選択され、１以上のサーバを含むサーバ群から受信され、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報が生成され、前記第１の映像情報及び前記第２の映像情報の表示部への出力が制御される。
【0011】
本技術の第２の側面においては、移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報が選択され、１以上のサーバを含むサーバ群から受信され、前記第１の映像情報が受信された場合、前記第１の映像情報が表示部に出力され、前記変動情報が受信された場合、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報が生成され、前記第２の映像情報が前記表示部に出力される。
【図面の簡単な説明】
【0012】
【図1】車両制御システムの構成例を示すブロック図である。
【図2】センシング領域の例を示す図である。
【図3】本技術の背景を説明するための図である。
【図4】本技術の背景を説明するための図である。
【図5】本技術を適用した情報処理システムの第１の実施の形態を示すブロック図である。
【図6】サーバ群の機能の構成例を示すブロック図である。
【図7】車両及び情報処理端末の機能の構成例を示すブロック図である。
【図8】サーバ群により実行されるコンテンツ配信処理を説明するためのフローチャートである。
【図9】サーバ群により実行されるコンテンツ配信処理を説明するためのフローチャートである。
【図10】車両及び情報処理端末により実行されるコンテンツ再生処理を説明するためのフローチャートである。
【図11】車両及び情報処理端末により実行されるコンテンツ再生処理を説明するためのフローチャートである。
【図12】クラウド側と車両側との間で伝送される情報の例を示すシーケンス図である。
【図13】本技術を適用した情報処理システムの第２の実施の形態を示すブロック図である。
【図14】コンテンツ生成部及びサーバの機能の構成例を示すブロック図である。
【図15】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両制御システムの構成例
２．本技術の背景
３．第１の実施の形態
４．第２の実施の形態
５．変形例
６．その他
１．車両制御システムの構成例
２．本技術の背景
３．第１の実施の形態
４．第２の実施の形態
５．変形例
６．その他
【0014】
＜＜１．車両制御システムの構成例＞＞
図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
【0015】
車両制御システム１１は、車両１に設けられ、車両１の運転自動化に関わる処理を行う。この運転自動化には、レベル１乃至レベル５の運転自動化、並びに、遠隔運転者による車両１の遠隔運転及び遠隔支援が含まれる。
【0016】
車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、運転自動化制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
【0017】
車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、運転自動化制御部２９、ＤＭＳ３０、ＨＭＩ３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
【0018】
なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
【0019】
車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
【0020】
通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
【0021】
通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
【0022】
また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
【0023】
通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
【0024】
例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
【0025】
通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
【0026】
ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の車内の利用者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
【0027】
地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
【0028】
高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、運転自動化に適合させた地図である。
【0029】
ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
【0030】
位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、運転自動化制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
【0031】
外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
【0032】
例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
【0033】
なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
【0034】
また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
【0035】
さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
【0036】
車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
【0037】
例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、利用者の各種の生体情報を検出する。
【0038】
車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
【0039】
例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
【0040】
記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
【0041】
運転自動化制御部２９は、車両１の運転自動化機能の制御を行う。例えば、運転自動化制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
【0042】
分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
【0043】
自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
【0044】
ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
【0045】
なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
【0046】
センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、複合、統合、融合、連合等がある。
【0047】
認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
【0048】
例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
【0049】
具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
【0050】
例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
【0051】
例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
【0052】
例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
【0053】
例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
【0054】
例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
【0055】
行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
【0056】
なお、経路計画は、広域的パスプランニング（Global path planning）及び局所的パスプランニング（Local path planning）を含む。広域的パスプランニングは、スタートからゴールまでの大まかな経路を計画する処理を含む。局所的パスプランニングは、軌道計画とも言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成を行う処理を含む。
【0057】
経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
【0058】
動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
【0059】
例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、横方向車両運動制御及び縦方向車両運動制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等の運転者支援機能や、運転者又は遠隔運転者の操作によらない走行等の運転自動化を目的とした制御を行う。
【0060】
ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
【0061】
なお、ＤＭＳ３０が、運転者以外の利用者の認証処理、及び、当該利用者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
【0062】
ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの利用者への提示を行う。
【0063】
ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
【0064】
ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、利用者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により利用者の触覚に与えられる情報を生成及び出力する。
【0065】
ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、利用者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
【0066】
ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
【0067】
ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、利用者が接触する部分に設けられる。
【0068】
車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
【0069】
ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
【0070】
ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
【0071】
駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
【0072】
ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
【0073】
ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
【0074】
ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
【0075】
図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
【0076】
センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
【0077】
センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
【0078】
センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
【0079】
センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
【0080】
センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
【0081】
センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
【0082】
センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
【0083】
センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
【0084】
センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
【0085】
センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。
【0086】
なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
【0087】
【0088】
図３は、コンサート等のイベントの自由視点映像を含むエンタテイメント系コンテンツを車両１にライブストリーミング配信する場合の従来の処理の流れの概要を示している。
【0089】
例えば、クラウド側（サーバ側）には、キャプチャ部２０１、３次元モデル生成部２０２、及び、描画部２０３が配置されている。車両１側には、ＨＭＤ２０４が配置されている。ユーザ（搭乗者）は、ＨＭＤ２０４を用いて車両１内でコンテンツを視聴する。
【0090】
キャプチャ部２０１は、例えば、イベントが開催される場所（以下、イベント会場と称する）を囲むように配置された複数のカメラによりそれぞれ撮影された各方向からの映像に基づいて、ボリュメトリックキャプチャ技術（ボリュメトリックビデオ技術）を用いて、ポイントクラウドを生成する。キャプチャ部２０１は、生成したポイントクラウドを３次元モデル生成部２０２に供給する。
【0091】
３次元モデル生成部２０２は、ポイントクラウド、及び、事前に生成されているイベント会場の３次元モデル（以下、会場モデルと称する）に基づいて、コンテンツ（イベント）の各シーンを表す３次元モデル（以下、３次元イベントモデルと称する）を生成する。３次元モデル生成部２０２は、生成した３次元イベントモデルを描画部２０３に供給する。
【0092】
描画部２０３は、例えば、レンダラ等を備える。描画部２０３は、所定の方式の無線通信により、ＨＭＤ２０４の制御情報を車両１から受信する。制御情報は、ＨＭＤ２０４を使用するユーザの視界に関する情報（以下、視界情報と称する）を含む。視界情報は、例えば、ユーザの動き（例えば、頭部や視線の動き）、及び、ＨＭＤ２０４の表示範囲（視界範囲）に対する操作内容に関する情報を含む。
【0093】
描画部２０３は、制御情報に基づいて、ＨＭＤ２０４に表示する映像を３次元イベントモデルから切り出す。例えば、描画部２０３は、制御情報に基づいて、ユーザの視界の範囲に相当する範囲を含む映像を３次元イベントモデルから切り出す。描画部２０３は、切り出した映像を示す映像情報を、所定の方式の無線通信により車両１に送信する。
【0094】
車両１の通信部２２は、所定の方式の無線通信により、映像情報を描画部２０３から受信する。通信部２２は、映像情報をＨＭＤ２０４に送信する。
【0095】
ＨＭＤ２０４は、映像情報に基づく映像を表示する。
【0096】
ここで、ＨＭＤ２０４を用いて自由視点映像のコンテンツを視聴する場合、ＶＲ（Virtual Reality）酔いを防止するために、Motion-to-Photon Latencyを１０ｍｓ以内に抑える必要がある。Motion-to-Photon Latencyとは、ユーザの視界（例えば、顔の向きや視線方向）が移動してから、移動後の視界に対応する映像が表示されるまでの所要時間である。
【0097】
一方、例えば、ＨＭＤ２０４の各ディスプレイに表示されるコンテンツの映像の解像度を４０００画素×２０００画素、フレームレートを１２０ｆｐｓ、ビット深度を１２ビット、ＲＧＢのサブサンプリングを４：４：４とする。この場合、ＨＭＤ２０４の各ディスプレイに供給される映像情報のデータレートは、４０００×２０００×１２０×１２×３＝３４．５６Ｇｂｐｓとなる。ＨＭＤ２０４は、２つのディスプレイを備えるため、ＨＭＤ２０４に供給される映像情報のデータレートは、６９．１２Ｇｂｐｓとなる。
【0098】
また、コンテンツの音声がリニアＰＣＭ（Pulse Code Modulation）により変調され、各チャネルの音声のデータレートを１．５Ｍｂｐｓ、チャネル数を３２チャネルとした場合、音声情報のデータレートは、１．５Ｍｂｐｓ×３２ｃｈ＝４．６Ｍｂｐｓとなる。
【0099】
上述したように、Motion-to-Photon Latencyを１０ｍｓ以内に抑える必要があるため、映像情報及び音声情報を高い圧縮率で圧縮することはできない。従って、例えば、描画部２０３からＨＭＤ２０４まで、６９．１２Ｇｂｐｓ以上の伝送速度の無線通信回線の確保が要求されるが、これは非常に困難である。
【0100】
従って、ほぼ無遅延で映像情報及び音声情報を伝送するのに必要な無線通信回線が確保できず、コンテンツの品質（例えば、画質）が低下したり、コンテンツの品質を落とす必要が生じたりするおそれがある。また、Motion-to-Photon Latencyが長くなり、ユーザのＶＲ酔いを誘発するおそれがある。
【0101】
【0102】
例えば、クラウド側（サーバ側）には、キャプチャ部２０１及び情報生成部２２１が配置されている。車両１側には、描画部２２２及びＨＭＤ２０４が配置されている。
【0103】
情報生成部２２１は、キャプチャ部２０１により生成されたポイントクラウドに基づいて、テクスチャ情報及びモーション情報を生成する。
【0104】
テクスチャ情報は、例えば、イベントの演者の外観に関する情報を含む。情報生成部２２１は、イベントの開始前に生成されポイントクラウドに基づいて、テクスチャ情報を生成し、イベントの開始前に車両１に送信する。
【0105】
モーション情報は、例えば、イベント中の演者の動きや演出の動きに関する情報を含む。情報生成部２２１は、イベント中に生成されポイントクラウドに基づいて、モーション情報を生成し、車両１にライブストリーミング配信する。
【0106】
描画部２２２は、イベントの開始前にイベント会場の３次元モデル（会場モデル）を取得する。描画部２２２は、イベント中に、事前に取得している会場モデル及びテクスチャ情報と、情報生成部２２１からライブストリーミング配信により受信したモーション情報に基づいて、コンテンツ（イベント）の各シーンを表す３次元イベントモデルを生成する。
【0107】
描画部２０３は、ＨＭＤ２０４から供給される制御情報に基づいて、ＨＭＤ２０４に表示する映像を３次元イベントモデルから切り出す。描画部２０３は、切り出した映像を示す映像情報を、所定の無線通信によりＨＭＤ２０４に送信する。
【0108】
ＨＭＤ２０４は、映像情報に基づく映像を表示する。
【0109】
この場合、ライブストリーミング配信中のクラウド（情報生成部２２１）と車両１との間のデータ伝送量を抑制することができる。これにより、コンテンツの品質が安定するとともに、Motion-to-Photon Latencyが短縮される。
【0110】
一方、車両１側の描画部２２２において、事前に取得されたテクスチャ情報に基づいて演者等の映像が生成される。そのため、例えば、演者とのコールアンドレスポンス等のインターアクティブ性に富んだ体験をユーザに提供できなくなる。
【0111】
これに対して、本技術は、車両１等の移動体内で視聴するコンテンツの品質の低下を抑制できるようにする。また、本技術は、コンテンツの品質の低下を抑制しつつ、コンテンツのインターアクティブ性を向上できるようにする。
【0112】
【0113】
＜情報処理システム３０１の構成例＞
図５は、本技術を適用した情報処理システムの第１の実施の形態である情報処理システム３０１の構成例を示している。
図５は、本技術を適用した情報処理システムの第１の実施の形態である情報処理システム３０１の構成例を示している。
【0114】
情報処理システム３０１は、サーバ群３１１、車両１-１乃至車両１－ｎ、及び、情報処理端末３１２－１乃至情報処理端末３１２－ｎを備える。サーバ群３１１及び車両１－１乃至車両１－ｎは、ネットワーク３１３を介して相互に接続されている。
【0115】
以下、車両１－１乃至車両１－ｎを個々に区別する必要がない場合、単に車両１と称する。以下、情報処理端末３１２－１乃至情報処理端末３１２－ｎを個々に区別する必要がない場合、単に情報処理端末３１２と称する。
【0116】
サーバ群３１１は、１以上のサーバを含む。サーバ群３１１は、ネットワーク３１３を介して、各車両１に各種のコンテンツを配信する。
【0117】
情報処理端末３１２は、各車両１内において、サーバ群３１１から配信されるコンテンツを視聴するために用いられる。例えば、情報処理端末３１２は、自由視点映像のコンテンツを視聴可能な表示デバイスを備える。
【0118】
なお、情報処理端末３１２は、２以上の装置により構成されてもよい。例えば、情報処理端末３１２は、ＨＭＤ及びコントローラにより構成される。
【0119】
また、各車両１において２以上の情報処理端末３１２が使用されてもよい。
【0120】
＜サーバ群３１１の機能の構成例＞
図６は、サーバ群３１１の機能の構成例を示している。サーバ群３１１は、データ取得部３５１、コンテンツ情報生成部３５２、配信制御部３５３、及び、通信部３５４を備える。コンテンツ情報生成部３５２は、固定情報生成部３６１、変動情報生成部３６２、３次元モデル生成部３６３、映像生成部３６４、及び、リアルタイム情報生成部３６５を備える。
図６は、サーバ群３１１の機能の構成例を示している。サーバ群３１１は、データ取得部３５１、コンテンツ情報生成部３５２、配信制御部３５３、及び、通信部３５４を備える。コンテンツ情報生成部３５２は、固定情報生成部３６１、変動情報生成部３６２、３次元モデル生成部３６３、映像生成部３６４、及び、リアルタイム情報生成部３６５を備える。
【0121】
なお、図６のサーバ群３１１の機能は、１つのサーバにより実現されてもよいし、２以上のサーバにより実現されてもよい。
【0122】
データ取得部３５１は、配信するコンテンツに関する各種のデータを取得すし、取得したデータを固定情報生成部３６１、変動情報生成部３６２、３次元モデル生成部３６３、及び、リアルタイム情報生成部３６５に供給する。
【0123】
例えば、データ取得部３５１は、配信するコンテンツにおいて基本的に変化せずに固定された情報を収集し、固定情報生成部３６１に供給する。
【0124】
例えば、データ取得部３５１は、配信するコンテンツの対象となるイベントが開催されるイベント会場を囲むように配置された複数のカメラを備える。データ取得部３５１は、各カメラにより撮影された各方向からの映像に基づいて、ボリュメトリックキャプチャ技術を用いて、コンテンツ（イベント）の各シーンを表すポイントクラウドを生成する。データ取得部３５１は、生成したポイントクラウドを変動情報生成部３６２及び３次元モデル生成部３６３に供給する。
【0125】
例えば、データ取得部３５１は、イベント会場に配置された１以上のマイクロフォンを備える。データ取得部３５１は、各マイクロフォンにより収集された音声を示す音声信号に基づいて、音声情報を生成する。データ取得部３５１は、生成した音声情報を変動情報生成部３６２及びリアルタイム情報生成部３６５に供給する。
【0126】
固定情報生成部３６１は、データ取得部３５１から供給されるデータに基づいて、コンテンツにおいて固定されている情報である固定情報を生成する。固定情報生成部３６１は、生成した固定情報を配信制御部３５３に供給する。固定情報の詳細については、後述する。
【0127】
変動情報生成部３６２は、データ取得部３５１から供給されるデータに基づいて、コンテンツにおいて固定されていない情報、換言すれば、コンテンツに応じて変動する情報である変動情報を生成する。変動情報生成部３６２は、生成した変動情報を配信制御部３５３に供給する。変動情報の詳細については、後述する。
【0128】
３次元モデル生成部３６３は、データ取得部３５１から供給されるデータに基づいて、コンテンツ（イベント）の各シーンを表す３次元イベントモデルを生成する。３次元モデル生成部３６３は、生成した３次元イベントモデルを映像生成部３６４に供給する。
【0129】
映像生成部３６４は、例えば、レンダラ等を備える。映像生成部３６４は、配信制御部３５３等を介して車両１から受信した制御情報に基づいて、ユーザに提示する映像を３次元イベントモデルから切り出す。制御情報は、上述したように視界情報を含む。映像生成部３６４は、切り出した映像を示す映像情報をリアルタイム情報生成部３６５に供給する。
【0130】
リアルタイム情報生成部３６５は、データ取得部３５１から供給されるデータ、及び、映像生成部３６４から供給される映像情報に基づいて、リアルタイム情報を生成する。リアルタイム情報は、例えば、コンテンツ（イベント）の各シーンを略リアルタイムに表す情報である。リアルタイム情報生成部３６５は、生成したリアルタイム情報を配信制御部３５３に供給する。
【0131】
なお、リアルタイム情報は、高精細な映像情報（以下、高精細映像情報と称する）を含む高精細リアルタイム情報、及び、低容量の映像情報（以下、低容量映像情報と称する）を含む低容量リアルタイム情報の少なくとも２種類が存在する。高精細映像情報に基づく映像の方が、低容量映像情報に基づく映像より高精細かつ高品質である。換言すれば、低容量映像情報に基づく映像の方が、高精細映像情報に基づく映像より粗く低品質である。
【0132】
配信制御部３５３は、通信部３５４を介して、各車両１へのコンテンツの配信を制御する。例えば、配信制御部３５３は、車両１からの要求に従って、通信部３５４を介して、固定情報、変動情報、及び、リアルタイム情報を各車両に送信する。
【0133】
通信部３５４は、所定の通信方式により、ネットワーク３１３を介して、各車両１の通信部２２と通信を行う。なお、通信部３５４の通信方式には、大容量のエンタテイメント系コンテンツの配信を安定して行えるように、高速かつ安定した通信方式が採用される。
【0134】
＜車両１の情報処理部４０１及び情報処理端末３１２の機能の構成例＞
図７は、車両１の情報処理部４０１及び情報処理端末３１２の機能の構成例を示している。
図７は、車両１の情報処理部４０１及び情報処理端末３１２の機能の構成例を示している。
【0135】
車両１の情報処理部４０１は、サーバ群３１１から配信されたコンテンツを情報処理端末３１２において再生する処理に関わる処理を実行する。情報処理部４０１は、状態検出部４１１、情報取得部４１２、映像生成部４１３、及び、出力制御部４１４を備える。
【0136】
状態検出部４１１は、通信部２２により車外又は車内から受信された各種のデータ、車両センサ２７からのセンサデータ、自己位置推定部７１による車両１の自己位置の推定結果、認識部７３による車両１の外部の状況の認識結果、及び、車両制御部３２による車両１の各部の状態の検出結果のうち１つ以上に基づいて、車両１の移動状態を検出する。車両１の移動状態は、例えば、車両１が走行（移動）している場所、車両１の周囲の状態、及び、車両１の状態のうち少なくとも１つを含む。
【0137】
情報取得部４１２は、ネットワーク３１３及び通信部２２を介して、サーバ群３１１から配信されるコンテンツに関する情報を受信する。例えば、情報取得部４１２は、ネットワーク３１３及び通信部２２を介して、固定情報、変動情報、及び、リアルタイム情報をサーバ群３１１から受信する。このとき、例えば、情報取得部４１２は、状態検出部４１１により検出された車両１の移動状態に基づいて、サーバ群３１１から取得する情報を選択する。
【0138】
映像生成部４１３は、例えば、レンダラ等を備える。映像生成部４１３は、固定情報及び変動情報に基づいて、コンテンツの映像情報を生成する。
【0139】
出力制御部４１４は、情報処理端末３１２へのコンテンツ（例えば、映像情報及び音声情報等）の出力を制御する。例えば、出力制御部４１４は、通信部２２を介して、コンテンツの映像情報、音声情報、及び、リアルタイム情報を情報処理端末３１２に送信する。このとき、例えば、出力制御部４１４は、状態検出部４１１により検出された車両１の移動状態に基づいて、情報処理端末３１２に送信する情報（例えば、映像情報等）を選択する。
【0140】
情報処理端末３１２は、制御部４５１、表示部４５２、音声出力部４５３、操作部４５４、動作検出部４５５、及び、通信部４５６を備える。
【0141】
制御部４５１は、情報処理端末３１２の各種の処理を実行したり、各部の制御を実行したりする。
【0142】
表示部４５２は、ディスプレイ等の表示デバイスを備える。表示部４５２は、コンテンツの映像情報に基づく映像を表示する。表示部４５２は、例えば、自由視点映像や３次元映像の表示が可能である。
【0143】
音声出力部４５３は、スピーカ又はヘッドホン等の音声出力デバイスを備える。音声出力部４５３は、コンテンツの音声情報に基づく音声を出力する。
【0144】
操作部４５４は、各種の操作デバイスを備え、情報処理端末３１２の操作に用いられる。
【0145】
動作検出部４５５は、各種のセンサ等を備え、各センサからのセンサデータ等に基づいて、ユーザの動きを検出する。例えば、動作検出部４５５は、ユーザの頭部又は視線の動きを検出する。
【0146】
通信部４５６は、所定の通信方式により、車両１の通信部２２と通信を行う。通信部４５６の通信方式は、有線通信又は無線通信のいずれでもよい。なお、通信部３５４の通信方式には、大容量のエンタテイメント系コンテンツの配信を安定して行えるように、高速かつ安定した通信方式が採用される。例えば、通信部４５６の通信方式には、光無線通信が用いられる。
【0147】
【0148】
なお、以下、サーバ群３１１が、コンサート等のイベントの自由視点映像を含むコンテンツを略リアルタイムにライブストリーミング配信（ライブ配信、リアルタイム配信）する場合の例について説明する。
【0149】
【0150】
この処理は、例えば、コンテンツ配信処理が開始される日時になったとき開始される。コンテンツ配信処理の開始日時は、イベントの開始日時より前に設定される。
【0151】
ステップＳ１において、サーバ群３１１は、固定情報を収集する。例えば、データ取得部３５１は、ライブストリーミング配信するイベントに関する情報であって、コンテンツのライブストリーミング配信中に基本的に変化せずに固定されている情報を収集し、固定情報生成部３６１に供給する。
【0152】
固定情報生成部３６１は、データ取得部３５１により収集された情報に基づいて、固定情報を生成する。
【0153】
固定情報は、例えば、イベント会場情報、演者外観情報、演出企画情報、他観客外観情報等を含む。イベント会場情報は、イベント会場に関する情報、例えば、イベント会場の高精細３次元マップ情報を含む。演者外観情報は、演者の外観に関する情報、例えば、演者の高精細テクスチャ情報等を含む。演出企画情報は、例えば、ライティング及び花火等のイベントの各種の演出の企画に関する情報を含む。他観客外観情報は、ユーザ以外の他の観客の外観に関する情報、例えば、他観客のアバター情報等を含む。なお、他観客のアバター情報は、実際の他観客の外観と異なっていてもよい。
【0154】
ステップＳ２において、配信制御部３５３は、固定情報が要求されたか否かを判定する。配信制御部３５３は、ネットワーク３１３及び通信部３５４を介して、固定情報を要求する信号（以下、固定情報要求信号と称する）を車両１から受信した場合、固定情報が要求されたと判定し、処理はステップＳ３に進む。
【0155】
ステップＳ３において、サーバ群３１１は、固定情報を送信する。具体的には、配信制御部３５３は、固定情報を固定情報生成部３６１から取得する。配信制御部３５３は、通信部３５４及びネットワーク３１３を介して、固定情報を要求元の車両１に送信する。
【0156】
その後、処理はステップＳ４に進む。
【0157】
一方、ステップＳ２において、固定情報が要求されていないと判定された場合、ステップＳ３の処理はスキップされ、処理はステップＳ４に進む。
【0158】
ステップＳ４において、配信制御部３５３は、イベントの開始時刻になったか否かを判定する。イベントの開始時刻になっていないと判定された場合、処理はステップＳ２に戻る。
【0159】
その後、ステップＳ４において、イベントの開始時刻になったと判定されるまで、ステップＳ２乃至ステップＳ４の処理が繰り返し実行される。
【0160】
一方、ステップＳ４において、イベントの開始時刻になったと判定された場合、処理はステップＳ５に進む。
【0161】
ステップＳ５において、配信制御部３５３は、イベントの開始を通知する。具体的には、配信制御部３５３は、イベントの開始を通知するイベント開始通知信号を生成し、通信部３５４及びネットワーク３１３を介して、各車両１に送信する。
【0162】
ステップＳ６において、サーバ群３１１は、変動情報及びリアルタイムキャプチャ情報の収集を開始する。
【0163】
例えば、データ取得部３５１は、イベント会場を囲むように配置された複数のカメラによりイベント会場を撮影する処理を開始する。データ取得部３５１は、各カメラにより撮影された各方向からの映像に基づいて、ボリュメトリックキャプチャ技術を用いて、コンテンツ（イベント）の各シーンを表すポイントクラウドを生成する処理を開始する。データ取得部３５１は、生成したポイントクラウドを変動情報生成部３６２及び３次元モデル生成部３６３に供給する処理を開始する。
【0164】
例えば、データ取得部３５１は、イベント会場の各部に配置されたマイクロフォンにより、イベント会場の音声を収集する処理を開始する。データ取得部３５１は、各マイクロフォンにより収集された音声を示す音声信号に基づいて、音声情報を生成し、変動情報生成部３６２及びリアルタイム情報生成部３６５に供給する処理を開始する。
【0165】
変動情報生成部３６２は、データ取得部３５１から供給されるポイントクラウド及び音声情報に基づいて、変動情報を生成する処理を開始する。
【0166】
変動情報は、例えば、演者動作情報、他観客動作情報、演出動作情報、音声情報等を含む。演者動作情報は、演者の動きに関する情報を含む。演者の動きは、例えば、演者の体の動きだけでなく、表情の動きも含む。他観客動作情報は、イベント中に他観客の動きに関する情報を含む。演出動作情報は、ライティングの方向や花火のタイミング等の各種の演出の動きに関する情報を含む。
【0167】
３次元モデル生成部３６３は、データ取得部３５１から供給されるポイントクラウドに基づいて、コンテンツ（イベント）の各シーンを表す３次元イベントモデルを生成し、映像生成部３６４に供給する処理を開始する。
【0168】
ステップＳ７において、配信制御部３５３は、高精細リアルタイム情報が要求されたか否かを判定する。配信制御部３５３は、ネットワーク３１３及び通信部３５４を介して、高精細リアルタイム情報を要求する信号（以下、高精細リアルタイム情報要求信号と称する）を車両１から受信した場合、高精細リアルタイム情報が要求されたと判定し、処理はステップＳ８に進む。
【0169】
高精細リアルタイム要求信号は、例えば、上述した視界情報を含む制御情報を含む。
【0170】
ステップＳ８において、サーバ群３１１は、高精細リアルタイム情報を生成する。例えば、映像生成部３６４は、高精細リアルタイム情報要求信号に含まれる制御情報に基づいて、ユーザの視界の範囲に相当する範囲を含む映像を、解像度を落とさずにそのまま３次元イベントモデルから切り出す。映像生成部３６４は、切り出した映像を示す高精細映像情報をリアルタイム情報生成部３６５に供給する。
【0171】
リアルタイム情報生成部３６５は、高精細映像情報、及び、高精細映像情報に対応する音声情報を含む高精細リアルタイム情報を生成する。高精細映像情報に対応する音声情報とは、高精細映像情報に基づく映像と同期して出力される音声を示す音声情報である。リアルタイム情報生成部３６５は、高精細リアルタイム情報を配信制御部３５３に供給する。
【0172】
ステップＳ９において、サーバ群３１１は、高精細リアルタイム情報を送信する。具体的には、配信制御部３５３は、通信部３５４及びネットワーク３１３を介して、高精細リアルタイム情報を要求元の車両１に送信する。
【0173】
その後、処理はステップＳ１５に進む。
【0174】
一方、ステップＳ７において、高精細リアルタイム情報が要求されていないと判定された場合、処理はステップＳ１０に進む。
【0175】
ステップＳ１０において、配信制御部３５３は、変動情報が要求されたか否かを判定する。配信制御部３５３は、ネットワーク３１３及び通信部３５４を介して、変動情報を要求する信号（以下、変動情報要求信号と称する）を車両１から受信した場合、変動情報が要求されたと判定し、処理はステップＳ１１に進む。
【0176】
ステップＳ１１において、サーバ群３１１は、変動情報を送信する。具体的には、配信制御部３５３は、変動情報を変動情報生成部３６２から取得する。配信制御部３５３は、通信部３５４及びネットワーク３１３を介して、変動情報を要求元の車両１に送信する。
【0177】
その後、処理はステップＳ１５に進む。
【0178】
一方、ステップＳ１０において、変動情報が要求されていないと判定された場合、処理はステップＳ１２に進む。
【0179】
ステップＳ１２において、配信制御部３５３は、低容量リアルタイム情報が要求されたか否かを判定する。配信制御部３５３は、ネットワーク３１３及び通信部３５４を介して、低容量リアルタイム情報を要求する信号（以下、低容量リアルタイム情報要求信号と称する）を車両１から受信した場合、低容量リアルタイム情報が要求されたと判定し、処理はステップＳ１３に進む。
【0180】
ステップＳ１３において、サーバ群３１１は、低容量リアルタイム情報を生成する。例えば、映像生成部３６４は、所定の範囲の映像を、解像度を落として３次元イベントモデルから切り出す。映像生成部３６４は、切り出した映像を示す低容量映像情報をリアルタイム情報生成部３６５に供給する。
【0181】
なお、例えば、映像を切り出す範囲は、ユーザの視界の範囲に関わらず固定される。すなわち、所定のアングルの映像が３次元イベントモデルから切り出される。これにより、低容量映像情報を生成する時間が短縮される。
【0182】
リアルタイム情報生成部３６５は、低容量映像情報、及び、低容量映像情報に対応する音声情報を含む低容量リアルタイム情報を生成する。リアルタイム情報生成部３６５は、低容量リアルタイム情報を配信制御部３５３に供給する。
【0183】
ステップＳ１４において、サーバ群３１１は、低容量リアルタイム情報を送信する。具体的には、配信制御部３５３は、通信部３５４及びネットワーク３１３を介して、低容量リアルタイム情報を要求元の車両１に送信する。
【0184】
その後、処理はステップＳ１５に進む。
【0185】
一方、ステップＳ１２において、低容量リアルタイム情報が要求されていないと判定された場合、ステップＳ１３及びステップＳ１４の処理はスキップされ、処理はステップＳ１５に進む。
【0186】
ステップＳ１５において、配信制御部３５３は、イベントの終了時刻になったか否かを判定する。イベントの終了時刻になっていないと判定された場合、処理はステップＳ７に戻る。
【0187】
その後、ステップＳ１５において、イベントの終了時刻になったと判定されるまで、ステップＳ７乃至ステップＳ１５の処理が繰り返し実行される。これにより、車両１からの要求に応じて、高精細リアルタイム情報、変動情報、又は、低容量リアルタイム情報が要求元の車両１に送信される。
【0188】
一方、ステップＳ１５において、イベントの終了時刻になったと判定された場合、処理はステップＳ１６に進む。
【0189】
ステップＳ１６において、サーバ群３１１は、変動情報及びリアルタイムキャプチャ情報の収集を終了する。すなわち、ステップＳ６の処理で開始された処理が終了する。
【0190】
ステップＳ１７において、配信制御部３５３は、イベントの終了を通知する。具体的には、配信制御部３５３は、イベントの終了を通知するイベント終了通知信号を生成し、通信部３５４及びネットワーク３１３を介して、各車両１に送信する。
【0191】
その後、コンテンツ配信処理は終了する。
【0192】
＜コンテンツ再生処理＞
次に、図１０及び図１１のフローチャートを参照して、図８及び図９のサーバ群３１１によるコンテンツ配信処理に対応して、車両１及び情報処理端末３１２により実行されるコンテンツ再生処理について説明する。
次に、図１０及び図１１のフローチャートを参照して、図８及び図９のサーバ群３１１によるコンテンツ配信処理に対応して、車両１及び情報処理端末３１２により実行されるコンテンツ再生処理について説明する。
【0193】
ステップＳ５１において、車両１の情報取得部４１２は、固定情報の取得が要求されたか否かを判定する。
【0194】
例えば、ユーザは、固定情報の取得を要求する場合、情報処理端末３１２の操作部４５４を介して、固定情報を取得するための操作を実行する。そして、通信部４５６は、対応する操作信号を車両１に送信する。
【0195】
これに対して、車両１の情報取得部４１２は、通信部２２を介して、当該操作信号を受信した場合、固定情報の取得が要求されたと判定し、処理はステップＳ５２に進む。
【0196】
ステップＳ５２において、車両１の状態検出部４１１は、固定情報を受信可能な状態であるか否かを判定する。具体的には、状態検出部４１１は、通信部２２により車外又は車内から受信された各種のデータ、車両センサ２７からのセンサデータ、自己位置推定部７１による車両１の自己位置の推定結果、認識部７３による車両１の外部の状況の認識結果、及び、車両制御部３２による車両１の各部の状態の検出結果のうち１つ以上に基づいて、車両１の移動状態を検出する。
【0197】
状態検出部４１１は、車両１の移動状態が、コンテンツ配信に対して所定の速度以上の通信回線を安定して確保可能な状態であると推定される場合、固定情報を受信可能な状態であると判定する。例えば、状態検出部４１１は、車両１が停止中、かつ、通信部２２が所定の通信方式の通信回線を介してネットワーク３１３に接続されている場合、固定情報を受信可能な状態であると判定する。所定の通信方式の通信回線を介してネットワーク３１３に接続されている場合とは、例えば、ミリ波等の高速無線通信回線を介してネットワーク３１３に接続されている場合、又は、通信ケーブル若しくは通信可能な充電ケーブルにより有線通信回線を介してネットワーク３１３に接続されている場合等である。そして、固定情報を受信可能な状態であると判定された場合、処理はステップＳ５３に進む。
【0198】
ステップＳ５３において、車両１の情報取得部４１２は、固定情報を要求する。具体的には、情報取得部４１２は、固定情報要求信号を生成し、通信部２２及びネットワーク３１３を介して、サーバ群３１１に送信する。
【0199】
ステップＳ５４において、車両１の情報取得部４１２は、固定情報を受信する。具体的には、情報取得部４１２は、上述した図８のステップＳ３においてサーバ群３１１から送信された固定情報を、ネットワーク３１３及び通信部２２を介して受信する。情報取得部４１２は、固定情報を記憶部２８に記憶させる。
【0200】
その後、処理はステップＳ５５に進む。
【0201】
一方、ステップＳ５２において、固定情報を受信可能な状態でないと判定された場合、ステップＳ５３及びステップＳ５４の処理はスキップされ、処理はステップＳ５５に進む。
【0202】
また、ステップＳ５１において、固定情報の取得が要求されていないと判定された場合、ステップＳ５２乃至ステップＳ５４の処理はスキップされ、処理はステップＳ５５に進む。
【0203】
ステップＳ５５において、車両１の情報取得部４１２は、イベントの開始が通知されたか否かを判定する。イベントの開始が通知されていないと判定された場合、処理はステップＳ５１に戻る。
【0204】
その後、ステップＳ５５において、イベントの開始が通知されたと判定されるまで、ステップＳ５１乃至ステップＳ５５の処理が繰り返し実行される。
【0205】
一方、ステップＳ５５において、車両１の情報取得部４１２は、上述した図８のステップＳ５においてサーバ群３１１から送信されたイベント開始通知信号を、ネットワーク３１３及び通信部２２を介して受信した場合、イベントの開始が通知されたと判定し、処理はステップＳ５６に進む。
【0206】
ステップＳ５６において、車両１の状態検出部４１１は、高精細リアルタイム情報を受信可能な状態であるか否かを判定する。具体的には、状態検出部４１１は、上述したステップＳ５２と同様の処理により、車両１の状態を検出する。
【0207】
例えば状態検出部４１１は、車両１の移動状態が、コンテンツ配信に対して所定の速度以上の通信回線を安定して確保可能な状態であると推定される場合、高精細リアルタイム情報を受信可能な状態であると判定する。
【0208】
例えば、状態検出部４１１は、車両１の移動状態が、上述した固定情報を受信可能な状態である場合と同様な状態である場合、高精細リアルタイム情報を受信可能な状態であると判定する。
【0209】
また、例えば、状態検出部４１１は、車両１が走行中、かつ、運転自動化に必要な通信データ量が小さい（所定の閾値未満である）と推定される状態である場合、高精細リアルタイム情報を受信可能な状態であると判定する。運転自動化に必要な通信データ量が小さいと推定される状態とは、例えば、車両１が自動車専用の道路（以下、自動車専用道と称する）を所定の速度以上で走行している場合である。すなわち、車両１の周囲に歩行者が存在せず、かつ、渋滞していない状態である。
【0210】
そして、高精細リアルタイム情報を受信可能な状態であると判定された場合、処理はステップＳ５７に進む。
【0211】
ステップＳ５７において、車両１の情報取得部４１２は、高精細リアルタイム情報を要求する。具体的には、情報取得部４１２は、通信部２２を介して、視界情報を含む制御情報を情報処理端末３１２から受信する。情報取得部４１２は、制御情報を含む高精細リアルタイム情報要求信号を生成する。情報取得部４１２は、通信部２２及びネットワーク３１３を介して、高精細リアルタイム情報要求信号をサーバ群３１１に送信する。
【0212】
ステップＳ５８において、車両１の情報取得部４１２は、高精細リアルタイム情報を受信する。具体的には、情報取得部４１２は、上述した図９のステップＳ９においてサーバ群３１１から送信された高精細リアルタイム情報を、ネットワーク３１３及び通信部２２を介して受信する。
【0213】
ステップＳ５９において、情報処理端末３１２は、高精細リアルタイム情報に基づいて、コンテンツを再生する。
【0214】
具体的には、車両１の出力制御部４１４は、通信部２２を介して、高精細リアルタイム情報を情報処理端末３１２に送信する。すなわち、高精細映像情報、及び、当該高精細映像情報に対応する音声情報が、情報処理端末３１２に出力される。
【0215】
これに対して、情報処理端末３１２の通信部４５６は、高精細リアルタイム情報を車両１から受信する。表示部４５２は、高精細リアルタイム情報に含まれる高精細映像情報に基づいて、高精細なコンテンツの映像を表示する。音声出力部４５３は、高精細リアルタイム情報に含まれる音声情報に基づいて、音声を出力する。
【0216】
このようにして、高精細リアルタイム情報を受信可能な状態である場合、実際にイベントの模様をキャプチャした映像に基づいて、イベントの高精細な自由視点映像が略リアルタイムにユーザに提示される。これにより、３Ｒ（Remote, Real, Realtime）を実現したコンテンツがユーザに提供され、インターアクティブ性に富んだコンテンツをユーザに提供することが可能になる。例えば、ユーザの反応（例えば、声援等）に対して、イベントの演者が呼応することが可能になる。
【0217】
また、高精細リアルタイム情報を受信可能な状態であることが確認された上で、高精細リアルタイム情報の伝送が行われるため、Motion-to-Photon Latencyの増大が抑制される。
【0218】
その後、処理はステップＳ６７に進む。
【0219】
一方、ステップＳ５６において、高精細リアルタイム情報を受信可能な状態でないと判定された場合、処理はステップＳ６０に進む。例えば、車両１が走行中、かつ、運転自動化に必要な通信データ量が大きい（所定の閾値以上である）と推定される状態である場合、高精細リアルタイム情報を受信可能な状態でないと判定される。運転自動化に必要な通信データ量が大きいと推定される状態とは、例えば、車両１が自動車専用道以外の場所を走行している場合、又は、車両１が所定の速度未満で走行している場合である。すなわち、例えば、車両１の周囲に歩行者が存在する可能性のある状態、又は、渋滞している状態である。
【0220】
ステップＳ６０において、車両１の情報取得部４１２は、固定情報を取得済みであるか否かを判定する。具体的には、情報取得部４１２は、イベントの開始前に取得した固定情報が記憶部２８に記憶されている場合、固定情報を取得済みであると判定し、処理はステップＳ６１に進む。
【0221】
ステップＳ６１において、車両１の情報取得部４１２は、変動情報を要求する。具体的には、情報取得部４１２は、変動情報要求信号を生成し、通信部２２及びネットワーク３１３を介して、サーバ群３１１に送信する。
【0222】
ステップＳ６２において、車両１の情報取得部４１２は、変動情報を受信する。具体的には、情報取得部４１２は、上述した図９のステップＳ１１においてサーバ群３１１から送信された変動情報を、ネットワーク３１３及び通信部２２を介して受信する。
【0223】
ステップＳ６３において、車両１及び情報処理端末３１２は、固定情報及び変動情報に基づいて、コンテンツを再生する。
【0224】
具体的には、車両１の映像生成部４１３は、固定情報及び変動情報に基づいて、コンテンツ（イベント）の各シーンを表す３次元イベントモデルを生成する。映像生成部４１３は、通信部２２を介して、上述した視界情報を含む制御情報を情報処理端末３１２から受信する。映像生成部４１３は、制御情報に基づいて、ユーザの視界の範囲に相当する範囲を含む映像を、解像度を落とさずにそのまま３次元イベントモデルから切り出す。出力制御部４１４は、通信部２２を介して、生成された映像情報、及び、当該映像情報に対応する音声情報を情報処理端末３１２に送信する。すなわち、映像生成部３５４により生成された映像情報、及び、当該映像情報に対応する音声情報が、情報処理端末３１２に出力される。
【0225】
これに対して、情報処理端末３１２の通信部４５６は、映像情報及び音声情報を車両１から受信する。表示部４５２は、映像情報に基づく映像を表示する。音声出力部４５３は、音声情報に基づく音声を出力する。
【0226】
これにより、車両１の移動状態が高精細リアルタイム情報を受信可能な状態でなくても、換言すれば、サーバ群３１１と車両１との間に高速かつ安定した通信回線を確保できなくても、イベントの高精細な自由視点映像が略リアルタイムにユーザに提示される。
【0227】
また、変動情報のみがサーバ群３１１から車両１に送信され、変動情報及び固定情報に基づいて、レンダリング処理（３次元イベントモデルの生成処理、及び、３次元イベントモデルからの映像情報生成処理）が、車両１において実行される。これにより、サーバ群３１１と車両１との間のデータ伝送量が削減され、レンダリング処理の時間が短縮される。その結果、Motion-to-Photon Latencyが短縮される。
【0228】
一方、変動情報は、高精細リアルタイム情報より情報量が低下する。そのため、ユーザに提示される映像が、実際のイベントの模様と異なる場合がある。例えば、演者の汗や涙等は、固定情報及び変動情報のみでは表現することが困難である。また、高精細リアルタイム情報を用いた場合と比較して、コンテンツのインターアクティブ性が低下する場合がある。
【0229】
その後、処理はステップＳ６７に進む。
【0230】
一方、ステップＳ６０において、固定情報を取得済みでないと判定された場合、処理はステップＳ６４に進む。
【0231】
ステップＳ６４において、車両１の情報取得部４１２は、低容量リアルタイム情報を要求する。具体的には、情報取得部４１２は、低容量リアルタイム情報要求信号を生成し、通信部２２及びネットワーク３１３を介して、サーバ群３１１に送信する。
【0232】
ステップＳ６５において、車両１の情報取得部４１２は、低容量リアルタイム情報を受信する。具体的には、情報取得部４１２は、上述した図９のステップＳ１４においてサーバ群３１１から送信された低容量リアルタイム情報を、ネットワーク３１３及び通信部２２を介して受信する。
【0233】
ステップＳ６３において、車両１及び情報処理端末３１２は、低容量リアルタイム情報に基づいて、コンテンツを再生する。
【0234】
具体的には、車両１の出力制御部４１４は、通信部２２を介して、低容量リアルタイム情報を情報処理端末３１２に送信する。すなわち、低容量映像情報、及び、当該低容量映像情報に対応する音声情報が、情報処理端末３１２に出力される。
【0235】
これに対して、情報処理端末３１２の通信部４５６は、低容量リアルタイム情報を車両１から受信する。表示部４５２は、低容量リアルタイム情報に含まれる低容量映像情報に基づく映像を表示する。音声出力部４５３は、低容量リアルタイム情報に含まれる音声情報に基づく音声を出力する。
【0236】
これにより、車両１の移動状態が高精細リアルタイム情報を受信可能な状態でなく、換言すれば、サーバ群３１１と車両１との間に高速かつ安定した通信回線を確保できず、かつ、固定情報を事前に取得していなくても、コンテンツのインターアクティブ性及び映像の品質が低下するものの、略リアルタイムにイベントの模様を示すコンテンツをユーザに提供することが可能になる。
【0237】
その後、処理はステップＳ６７に進む。
【0238】
ステップＳ６７において、車両１の情報取得部４１２は、イベントの終了が通知されたか否かを判定する。イベントの終了が通知されていないと判定された場合、処理はステップＳ５６に戻る。
【0239】
その後、ステップＳ６７において、イベントの終了が通知されたと判定されるまで、ステップＳ５６乃至ステップＳ６７の処理が繰り返し実行される。
【0240】
一方、ステップＳ６７において、車両１の情報取得部４１２は、上述した図９のステップＳ１７においてサーバ群３１１から送信されたイベント終了通知信号を、ネットワーク３１３及び通信部２２を介して受信した場合、イベントの終了が通知されたと判定し、コンテンツ再生処理は終了する。
【0241】
図１２は、以上の処理において、クラウド側（サーバ群３１１側）と車両１側とで伝送される情報の例を示している。
【0242】
例えば、まず、クラウド側で固定情報の収集が行われる。そして、車両１の停車中に、車両１側からの要求に応じて、クラウド側から車両１側に固定情報が送信される。
【0243】
イベントが開始された後、イベントが終了するまで、クラウド側で変動情報及びリアルタイムキャプチャ情報の収集が行われる。また、クラウド側から車両１側にイベントの開始が通知される。
【0244】
車両１は、市街地の走行中に、変動情報をクラウド側に要求し、クラウド側から変動情報を受信する。
【0245】
一方、車両１は、自動車専用道の走行中に、（高精細）リアルタイム情報をクラウド側に要求し、クラウド側から（高精細）リアルタイム情報を受信する。
【0246】
そして、イベントが終了した後、クラウド側から車両１側にイベントの終了が通知される。
【0247】
以上のようにして、車両１の移動状態に応じて、レンダリング処理の処理主体、及び、サーバ群３１１と車両１との間で伝送される情報が適応的に制御されることにより、車両１内で視聴するコンテンツの品質の低下が抑制される。例えば、映像の品質の低下やMotion-to-Photon Latencyの増大が抑制される。
【0248】
また、インターアクティブ性に富んだコンテンツがユーザに提供され、ユーザが、より臨場感溢れる体験をすることができる。
【0249】
【0250】
＜情報処理システム５０１の構成例＞
図１３は、本技術を適用した情報処理システムの第２の実施の形態である情報処理システム５０１の構成例を示している。なお、図中、図５の情報処理システム３０１と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
図１３は、本技術を適用した情報処理システムの第２の実施の形態である情報処理システム５０１の構成例を示している。なお、図中、図５の情報処理システム３０１と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0251】
情報処理システム５０１は、車両１－１乃至車両１－ｎ、情報処理端末３１２－１乃至情報処理端末３１２－ｎ、及び、ネットワーク３１３を備える点が、情報処理システム３０１と一致する。一方、情報処理システム５０１は、コンテンツ生成部５１１、サーバ５１２－１乃至サーバ５１２－ｍ、及び、ネットワーク５１３を備え、サーバ群３１１を備えていない点が、情報処理システム３０１と異なる。
【0252】
コンテンツ生成部５１１及びサーバ５１２－１乃至サーバ５１２－ｍは、ネットワーク５１３を介して相互に接続されている。サーバ５１２－１乃至サーバ５１２－ｍ及び車両１－１乃至車両１－ｎは、ネットワーク３１３を介して相互に接続されている。なお、ネットワーク３１３とネットワーク５１３は、必ずしも分離される必要はなく、全部又は一部が共通でもよい。
【0253】
なお、以下、サーバ５１２－１乃至サーバ５１２－ｍを個々に区別する必要がない場合、単にサーバ５１２と称する。
【0254】
コンテンツ生成部５１１と各サーバ５１２は、図６のサーバ群３１１の機能を分担して実行する。
【0255】
具体的には、コンテンツ生成部５１１は、コンテンツの固定情報、変動情報、３次元イベントモデル、及び、音声情報等を生成し、ネットワーク５１３を介して、各サーバ５１２に送信する。
【0256】
各サーバ５１２は、３次元イベントモデル及び音声情報に基づいて、高精細リアルタイム情報又は低容量リアルタイム情報を生成する。各サーバ５１２は、各車両１からの要求に応じて、ネットワーク３１３を介して、固定情報、変動情報、高精細リアルタイム情報、又は、低容量リアルタイム情報を各車両１に送信する。
【0257】
＜コンテンツ生成部５１１及びサーバ５１２の構成例＞
図１４は、コンテンツ生成部５１１及びサーバ５１２の機能の構成例を示している。なお、図６のサーバ群３１１と対応する部分には同じ符号を付しており、その説明は適宜省略する。また、この図では、図を分かりやすくするために、サーバ５１２が１つのみ図示され、コンテンツ生成部５１１とサーバ５１２との間のネットワーク５１３の図示が省略されている。
図１４は、コンテンツ生成部５１１及びサーバ５１２の機能の構成例を示している。なお、図６のサーバ群３１１と対応する部分には同じ符号を付しており、その説明は適宜省略する。また、この図では、図を分かりやすくするために、サーバ５１２が１つのみ図示され、コンテンツ生成部５１１とサーバ５１２との間のネットワーク５１３の図示が省略されている。
【0258】
コンテンツ生成部５１１は、データ取得部３５１、固定情報生成部３６１、変動情報生成部３６２、及び、３次元モデル生成部３６３を備える点が、サーバ群３１１と一致する。一方、コンテンツ生成部５１１は、通信部３５４の代わりに通信部５３１を備え、配信制御部３５３、映像生成部３６４、及び、リアルタイム情報生成部３６５を備えていない点が、サーバ群３１１と異なる。
【0259】
サーバ５１２は、映像生成部３６４及びリアルタイム情報生成部３６５を備える点が、サーバ群３１１と一致する。一方、サーバ５１２は、配信制御部３５３及び通信部３５４の代わりに配信制御部５５２及び通信部５５１を備え、記憶部５５３を備え、データ取得部３５１、固定情報生成部３６１、変動情報生成部３６２、及び、３次元モデル生成部３６３を備えていない点が、サーバ群３１１と異なる。
【0260】
コンテンツ生成部５１１の通信部５３１とサーバ５１２の通信部５５１とは、ネットワーク５１３を介して、通信を行う。なお、通信部５３１及び通信部５５１の通信方式には、大容量のエンタテイメント系コンテンツの配信を安定して行えるように、高速かつ安定した通信方式が採用される。
【0261】
コンテンツ生成部５１１の通信部５３１は、コンテンツの固定情報、変動情報、３次元イベントモデル、及び、音声情報をサーバ５１２に送信する。
【0262】
サーバ５１２の通信部５５１は、コンテンツの固定情報、変動情報、３次元イベントモデル、及び、音声情報をコンテンツ生成部５１１から受信し、配信制御部５５２に供給する。
【0263】
配信制御部５５２は、固定情報、変動情報、３次元イベントモデル、及び、音声情報を必要に応じて記憶部５６３に記憶させる。配信制御部５５２は、固定情報又は変動情報が車両１から要求された場合、通信部５５１及びネットワーク３１３を介して、固定情報又は変動情報を要求元の車両１に送信する。
【0264】
配信制御部５５２は、高精細リアルタイム情報が車両１から要求された場合、３次元イベントモデル及び車両１から受信した制御情報を映像生成部３６４に供給し、音声情報をリアルタイム情報生成部３６５に供給する。映像生成部３６４は、３次元イベントモデル及び制御情報に基づいて、高精細映像情報を生成し、リアルタイム情報生成部３６５に供給する。リアルタイム情報生成部３６５は、高精細映像情報及び音声情報を含む高精細リアルタイム情報を生成し、配信制御部５５２に供給する。配信制御部５５２は、通信部５５１及びネットワーク３１３を介して、高精細リアルタイム情報を要求元の車両１に送信する。
【0265】
配信制御部５５２は、低容量リアルタイム情報が車両１から要求された場合、３次元イベントモデルを映像生成部３６４に供給し、音声情報をリアルタイム情報生成部３６５に供給する。映像生成部３６４は、３次元イベントモデルに基づいて、低容量映像情報を生成し、リアルタイム情報生成部３６５に供給する。リアルタイム情報生成部３６５は、低容量映像情報及び音声情報を含む低容量リアルタイム情報を生成し、配信制御部５５２に供給する。配信制御部５５２は、通信部５５１及びネットワーク３１３を介して、低容量リアルタイム情報を要求元の車両１に送信する。
【0266】
以上のように、高精細リアルタイム情報及び低容量リアルタイム情報の生成に係るレンダリング処理は、各サーバ５１２で実行される。
【0267】
ここで、各車両１の情報取得部４１２は、より近いサーバ５１２、例えば、各車両１の通信部２２が接続している無線基地局からより近いサーバ５１２に、高精細リアルタイム情報を優先的に要求し、当該サーバ５１２から高精細リアルタイム情報を受信する。これにより、高精細リアルタイム情報に基づいてコンテンツを再生する場合のMotion-to-Photon Latencyが短縮される。
【0268】
なお、車両１が走行している場合、通信部２２が接続する無線基地局が切り替わるのに伴い、車両１に最も近いサーバ５１２も切り替わる。これに対して、例えば、車両１の情報取得部４１２は、次に最も近くなるサーバ５１２を予測し、予測したサーバ５１２に高精細リアルタイム情報の配信を予約するようにしてもよい。これにより、通信部２２が接続する無線基地局の切り替えに合わせて、各サーバ５１２からよりスムーズに高精細リアルタイム情報が配信されるようになる。その結果、Motion-to-Photon Latencyがより短縮される。
【0269】
＜＜５．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
以下、上述した本技術の実施の形態の変形例について説明する。
【0270】
例えば、車両１の情報取得部４１２は、事前に固定情報を取得していない場合、低容量リアルタイム情報に基づいてコンテンツを再生しながら、固定情報をサーバ群３１１から受信するようにしてもよい。そして、情報取得部４１２は、固定情報の受信が完了した時点で、車両１の移動状態に応じて、高精細リアルタイム情報をサーバ群３１１に要求するようにしてもよい。
【0271】
以上の説明では、表示部４５２を備えコンテンツを再生する情報処理端末３１２と、車両１とが分かれている例を示したが、例えば、本技術は、車両１が備える装置（例えば、ＨＭＩ３１が備える装置）がコンテンツを再生する場合にも適用することができる。
【0272】
例えば、サーバ群３１１が、車両１からの要求によらずに、車両１の移動状態に基づいて、車両１に送信する情報（例えば、高精細リアルタイム情報、低容量リアルタイム情報、又は、変動情報）を選択して、送信するようにしてもよい。この場合、例えば、車両１は、移動状態の検出結果、又は、移動状態の検出に用いるセンサデータ等をサーバ群３１１に送信する。
【0273】
本技術を適用可能なイベントの種類は特に限定されない。
【0274】
本技術は、ライブストリーミング方式以外のストリーミング方式でコンテンツを配信及び再生する場合も適用することができる。例えば、本技術は、オンデマンド型のコンテンツをストリーミング方式で配信及び再生する場合にも適用することができる。
【0275】
本技術は、車両以外にも、ユーザが搭乗しコンテンツを視聴可能な移動体に適用することができる。例えば、本技術は、列車、船舶等にも適用できる。
【0276】
＜＜６．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
＜コンピュータの構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0277】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0278】
コンピュータ１０００において、CPU（Central Processing Unit）１００１、ROM（Read Only Memory）１００２、RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
【0279】
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【0280】
入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【0281】
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記憶部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【0282】
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0283】
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【0284】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0285】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0286】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0287】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0288】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0289】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0290】
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
本技術は、以下のような構成をとることもできる。
【0291】
（１）
移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信する情報取得部と、
前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成する映像生成部と、
前記第１の映像情報及び前記第２の映像情報の表示部への出力を制御する出力制御部と
を備える情報処理装置。
（２）
前記移動状態は、前記移動体が移動している場所、前記移動体の周囲の状態、及び、前記移動体の状態のうち少なくとも１つを含む
前記（１）に記載の情報処理装置。
（３）
前記情報取得部は、前記移動体が停止している場合、又は、前記移動体が所定の場所を移動している場合、前記第１の映像情報を前記サーバ群から受信し、前記移動体が前記所定の場所以外の場所を移動している場合、前記変動情報を前記サーバ群から受信する
前記（２）に記載の情報処理装置。
（４）
前記情報取得部は、前記コンテンツの配信が開始される前に、前記移動体が停止している間に、前記固定情報を前記サーバ群から受信する
前記（３）に記載の情報処理装置。
（５）
前記移動体は、車両であり、
前記所定の場所は、自動車専用の道路である
前記（３）又は（４）に記載の情報処理装置。
（６）
前記情報取得部は、前記車両が停止している場合、又は、前記車両が自動車専用の道路を所定の速度以上で走行している場合、前記第１の映像情報を前記サーバ群から受信し、前記車両が自動車専用の道路以外の場所を走行している場合、又は、前記車両が前記所定の速度未満で走行している場合、前記変動情報を前記サーバ群から受信する
前記（５）に記載の情報処理装置。
（７）
前記出力制御部は、前記情報取得部が前記第１の映像情報を受信した場合、前記第１の映像情報を前記表示部に出力し、前記情報取得部が前記変動情報を受信した場合、前記第２の映像情報を前記表示部に出力する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記コンテンツは、イベントの自由視点映像を含む
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記情報取得部は、前記ユーザの視界に関する情報を含む制御情報を前記サーバ群に送信し、前記イベントの各シーンを表す第１の３次元モデルから前記制御情報に基づいて生成された前記第１の映像情報を前記サーバ群から受信する
前記（８）に記載の情報処理装置。
（１０）
前記映像生成部は、前記イベントの各シーンを表し、前記固定情報及び前記変動情報に基づく第２の３次元モデルから前記制御情報に基づいて前記第２の映像情報を生成する
前記（９）に記載の情報処理装置。
（１１）
前記固定情報は、前記イベントが行われる場所に関する情報、前記イベントの演者の外観に関する情報、前記イベントの演出の企画に関する情報、及び、前記イベントの観客の外観に関する情報のうち少なくとも１つを含み、
前記変動情報は、前記演者の動きに関する情報、前記演出の動きに関する情報、及び、前記観客の動きに関する情報のうち少なくとも１つを含む
前記（８）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記表示部は、自由視点映像を表示可能である
前記（８）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記表示部は、ヘッドマウントディスプレイを含む
前記（１２）に記載の情報処理装置。
（１４）
前記コンテンツは、ライブストリーミング配信される
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記第１の映像情報の方が前記第２の映像情報より高精細である
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記移動状態を検出する状態検出部を
さらに備える前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記表示部は、外部に設けられる
さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記表示部を
さらに備える前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
前記情報取得部は、前記サーバ群のうち前記移動体により近い前記サーバから優先的に前記第１の映像情報を受信する
前記（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
情報処理装置が、
移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信し、
前記第１の映像情報を受信した場合、前記第１の映像情報を表示部に出力し、
前記変動情報を受信した場合、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成し、前記第２の映像情報を前記表示部に出力する
情報処理方法。
移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信する情報取得部と、
前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成する映像生成部と、
前記第１の映像情報及び前記第２の映像情報の表示部への出力を制御する出力制御部と
を備える情報処理装置。
（２）
前記移動状態は、前記移動体が移動している場所、前記移動体の周囲の状態、及び、前記移動体の状態のうち少なくとも１つを含む
前記（１）に記載の情報処理装置。
（３）
前記情報取得部は、前記移動体が停止している場合、又は、前記移動体が所定の場所を移動している場合、前記第１の映像情報を前記サーバ群から受信し、前記移動体が前記所定の場所以外の場所を移動している場合、前記変動情報を前記サーバ群から受信する
前記（２）に記載の情報処理装置。
（４）
前記情報取得部は、前記コンテンツの配信が開始される前に、前記移動体が停止している間に、前記固定情報を前記サーバ群から受信する
前記（３）に記載の情報処理装置。
（５）
前記移動体は、車両であり、
前記所定の場所は、自動車専用の道路である
前記（３）又は（４）に記載の情報処理装置。
（６）
前記情報取得部は、前記車両が停止している場合、又は、前記車両が自動車専用の道路を所定の速度以上で走行している場合、前記第１の映像情報を前記サーバ群から受信し、前記車両が自動車専用の道路以外の場所を走行している場合、又は、前記車両が前記所定の速度未満で走行している場合、前記変動情報を前記サーバ群から受信する
前記（５）に記載の情報処理装置。
（７）
前記出力制御部は、前記情報取得部が前記第１の映像情報を受信した場合、前記第１の映像情報を前記表示部に出力し、前記情報取得部が前記変動情報を受信した場合、前記第２の映像情報を前記表示部に出力する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記コンテンツは、イベントの自由視点映像を含む
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記情報取得部は、前記ユーザの視界に関する情報を含む制御情報を前記サーバ群に送信し、前記イベントの各シーンを表す第１の３次元モデルから前記制御情報に基づいて生成された前記第１の映像情報を前記サーバ群から受信する
前記（８）に記載の情報処理装置。
（１０）
前記映像生成部は、前記イベントの各シーンを表し、前記固定情報及び前記変動情報に基づく第２の３次元モデルから前記制御情報に基づいて前記第２の映像情報を生成する
前記（９）に記載の情報処理装置。
（１１）
前記固定情報は、前記イベントが行われる場所に関する情報、前記イベントの演者の外観に関する情報、前記イベントの演出の企画に関する情報、及び、前記イベントの観客の外観に関する情報のうち少なくとも１つを含み、
前記変動情報は、前記演者の動きに関する情報、前記演出の動きに関する情報、及び、前記観客の動きに関する情報のうち少なくとも１つを含む
前記（８）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記表示部は、自由視点映像を表示可能である
前記（８）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記表示部は、ヘッドマウントディスプレイを含む
前記（１２）に記載の情報処理装置。
（１４）
前記コンテンツは、ライブストリーミング配信される
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記第１の映像情報の方が前記第２の映像情報より高精細である
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記移動状態を検出する状態検出部を
さらに備える前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記表示部は、外部に設けられる
さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記表示部を
さらに備える前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
前記情報取得部は、前記サーバ群のうち前記移動体により近い前記サーバから優先的に前記第１の映像情報を受信する
前記（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
情報処理装置が、
移動体の移動状態に基づいて、ユーザが前記移動体内で視聴するコンテンツの映像を示す第１の映像情報、又は、前記コンテンツに応じて変動する情報である変動情報を選択して、１以上のサーバを含むサーバ群から受信し、
前記第１の映像情報を受信した場合、前記第１の映像情報を表示部に出力し、
前記変動情報を受信した場合、前記コンテンツにおいて固定されており、予め取得されている情報である固定情報、及び、前記変動情報に基づいて、前記コンテンツの映像を示す第２の映像情報を生成し、前記第２の映像情報を前記表示部に出力する
情報処理方法。
【0292】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【0293】
１ 車両， ３０１ 情報処理システム， ３１１ サーバ群， ３１２－１乃至３１２－ｎ 情報処理端末， ３５１ データ取得部， ３５２ コンテンツ情報生成部， ３５３ 配信制御部， ３５４ 通信部， ３６１ 固定情報生成部， ３６２ 変動情報生成部， ３６３ ３次元モデル生成部， ３６４ 映像生成部， ３６５ リアルタイム情報生成部， ４０１ 情報処理システム， ４１１ 状態検出部， ４１２ 情報取得部， ４１３ 映像生成部， ４１４ 出力制御部， ４５１ 制御部， ４５２ 表示部， ４５３ 音声出力部， ４５４ 操作部， ４５５ 動作検出部， ４５６ 通信部， ５０１ 情報処理システム， ５１１ コンテンツ生成部， ５１２－１乃至５１２－ｍ サーバ， ５５２ 配信制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】