2023-104401 情報処理装置、車載仮想表示装置、仮想表示システムおよび仮想体験提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023104401

(43)【公開日】2023-07-28

(54)【発明の名称】情報処理装置、車載仮想表示装置、仮想表示システムおよび仮想体験提供方法

(51)【国際特許分類】

   B60R 11/02 20060101AFI20230721BHJP

   B60R 11/04 20060101ALI20230721BHJP

   G06T 19/00 20110101ALI20230721BHJP

【ＦＩ】

B60R11/02 C

B60R11/04

G06T19/00 600

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022005359

(22)【出願日】2022-01-17

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】大築 ともえ

【テーマコード（参考）】

3D020

5B050

【Ｆターム（参考）】

3D020BA02

3D020BA04

3D020BA10

3D020BA20

3D020BC01

3D020BC02

3D020BD05

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050CA08

5B050DA07

5B050EA19

5B050EA26

5B050FA02

(57)【要約】

【課題】使用する車両形態を要因として発生するユーザの不満を低減すること。
【解決手段】実施形態に係る情報処理装置は、車両の車室内に設けられた表示部に画像を表示させる制御部を有する情報処理装置である。制御部は、上記車室よりも大きい車室空間の仮想内装画像を表示部に表示させる。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両の車室内に設けられた表示部に画像を表示させる制御部を有する情報処理装置であって、
前記制御部は、
前記車室よりも大きい車室空間の仮想内装画像を前記表示部に表示させる、
情報処理装置。

【請求項2】

前記制御部は、
車両周囲の風景画像を前記仮想内装画像の車窓部分に重畳する、
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、
他地点に存在する実在人物の画像に基づく仮想的な同乗者の画像を、前記仮想内装画像に重畳した仮想同乗画像を前記表示部に表示させる、
請求項１または２に記載の情報処理装置。

【請求項4】

前記制御部は、
前記仮想的な同乗者の音声を、前記仮想的な同乗者の表示位置に応じて定位させる、
請求項３に記載の情報処理装置。

【請求項5】

前記制御部は、
前記車室内のルームミラーに設けられた前記表示部に前記仮想同乗画像を表示させる、
請求項３または４に記載の情報処理装置。

【請求項6】

前記制御部は、
他地点の車両の情報処理装置と連携して前記仮想同乗画像を表示する場合、各車両における実在人物と前記仮想的な同乗者の相対位置関係が一致するように前記仮想的な同乗者を表示させる、
請求項３、４または５に記載の情報処理装置。

【請求項7】

前記制御部は、
車両周囲の風景画像を前記仮想内装画像の車窓部分に重畳する場合、他地点の車両で表示される風景と同じ風景画像を使用して表示する、
請求項６に記載の情報処理装置。

【請求項8】

車室内画像を撮影する車室内カメラと、
車両周囲の風景を撮影する風景カメラと、
車室内の音声を取得するマイクと、
車室内に音を出力するスピーカと、
車室内における側方車窓付近に設置された表示部と、
他地点の外部装置との通信を行う通信部と、
各種制御を行う制御部と、を有する車載仮想表示装置であって、
前記制御部は、
前記車室よりも大きい車室空間の仮想内装画像と、前記風景カメラで撮影した車両周囲の風景画像と、前記通信部により受信した前記他地点の外部装置からの当該他地点に存在する実在人物の画像データに基づく仮想的な同乗者の画像とを、重畳して仮想同乗画像を生成し、
生成した前記仮想同乗画像を前記表示部に表示させ、
前記通信部により受信した前記他地点の外部装置からの当該他地点に存在する実在人物の音声データに応じた音声を、前記スピーカから出力させ、
前記マイクで取得した音声に応じた音声データを前記通信部により前記他地点の外部装置に送信させ、
前記車室内カメラでの撮影画像に応じた車室内画像データを前記通信部により前記他地点の外部装置に送信させ、
前記風景カメラでの撮影画像に応じた風景画像データを前記通信部により前記他地点の外部装置に送信させる、
車載仮想表示装置。

【請求項9】

相互通信可能な複数の車載仮想表示装置で構成される仮想表示システムであって、
前記車載仮想表示装置のそれぞれは、
車室内画像を撮影する車室内カメラと、
車両周囲の風景を撮影する風景カメラと、
車室内の音声を取得するマイクと、
車室内に音を出力するスピーカと、
車室内における側方車窓付近に設置された表示部と、
他の車載仮想表示装置との通信を行う通信部と、
各種制御を行う制御部と、を有し、
前記制御部は、
前記車室よりも大きい車室空間の仮想内装画像と、前記風景カメラで撮影した車両周囲の風景画像と、前記通信部により受信した他地点の前記他の車載仮想表示装置からの当該他地点に存在する実在人物の画像データに基づく仮想的な同乗者の画像とを、重畳して仮想同乗画像を生成し、
生成した前記仮想同乗画像を前記表示部に表示させ、
前記通信部により受信した前記他の車載仮想表示装置からの前記他地点に存在する実在人物の音声データに応じた音声を、前記スピーカから出力させ、
前記マイクで取得した音声に応じた音声データを前記通信部により前記他の車載仮想表示装置に送信させ、
前記車室内カメラでの撮影画像に応じた車室内画像データを前記通信部により前記他の車載仮想表示装置に送信させ、
前記風景カメラでの撮影画像に応じた風景画像データを前記通信部により前記他の車載仮想表示装置に送信させる、
仮想表示システム。

【請求項10】

前記制御部は、
前記他の車載仮想表示装置と連携して前記仮想同乗画像を表示する場合、各車両における実在人物と仮想的な同乗者の相対位置関係が一致するように前記仮想的な同乗者を表示させる、
請求項９に記載の仮想表示システム。

【請求項11】

車両の車室内に仮想の同乗者を表示する仮想体験提供方法であって、
前記車室よりも大きい車室空間の仮想内装画像と、通信により得られた他地点に存在する実在人物の画像に基づく仮想的な同乗者の画像とを、重畳した仮想同乗画像を表示する、
仮想体験提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、車載仮想表示装置、仮想表示システムおよび仮想体験提供方法に関する。

【背景技術】

【0002】

車両乗車中のユーザを楽しませる装置がいろいろと開発されている。たとえば、従来、車両のウィンドウなどに配置された車室内のディスプレイに、車両の状況に応じた背景画像、たとえば観光地周辺であればかかる観光地の観光スポット画像などを表示することで、車室内で乗員に楽しく時間を過ごさせるための技術が知られている（たとえば、特許文献１参照）。

【0003】

一方、近年、小回りが利く、運転が容易である等の利点から、超小型モビリティが普及する兆しがある。超小型モビリティは、１人～２人乗り程度の車両であり、たとえば従来のレンタサイクルのように、旅先での行動のためなどに活用されることが考えられる。

【0004】

ところで、複数人でのグループ旅行で、旅先での行動に超小型モビリティを利用する場合、超小型モビリティは車室が狭いため、グループの各メンバーは個別（あるいは少人数別）に超小型モビリティに乗らなくてはならない。

【0005】

すると、せっかくのグループ旅行にも関わらず、各メンバーは、超小型モビリティに乗車中の間は他のメンバーとコミュニケーションをとることができないため、グループ活動の楽しみが半減してしまうおそれがある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－１２１９５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

このように、車両の形態、たとえばサイズ、定員数等による制約により、ユーザがグループ旅行を十分に楽しめない、車内が狭く圧迫感等を感じる等、ユーザが満足できない状況が発生してしまうことがあった。

【0008】

実施形態の一態様は、上記に鑑みてなされたものであって、使用する車両形態を要因として発生するユーザの不満を低減することができる情報処理装置、車載仮想表示装置、仮想表示システムおよび仮想体験提供方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

実施形態の一態様に係る情報処理装置は、車両の車室内に設けられた表示部に画像を表示させる制御部を有する情報処理装置である。前記制御部は、前記車室よりも大きい車室空間の仮想内装画像を前記表示部に表示させる。

【発明の効果】

【0010】

実施形態の一態様によれば、使用する車両形態を要因として発生するユーザの不満を低減することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係る車両の概要説明図である。

【図2】図２は、実施形態に係る仮想体験提供方法の概要説明図である。

【図3】図３は、実施形態に係る仮想体験提供システムの構成例を示す図である。

【図4】図４は、実施形態に係る車両の構成例を示す平面模式図である。

【図5】図５は、実施形態に係る車載装置の構成例を示すブロック図である。

【図6】図６は、レイアウト情報テーブルの一例を示す図である。

【図7】図７は、内装ＤＢの一例を示す図である。

【図8】図８は、アバターＤＢの一例を示す図である。

【図9】図９は、音声の出力および温度制御の説明図（その１）である。

【図10】図１０は、音声の出力および温度制御の説明図（その２）である。

【図11】図１１は、仮想同乗画像をデジタルルームミラーとして機能するディスプレイに表示させる場合の説明図である。

【図12】図１２は、実施形態に係る車載装置が実行する処理手順を示すフローチャートである。

【図13】図１３は、変形例に係る同乗体験提供システムの構成例を示す図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本願の開示する情報処理装置、車載仮想表示装置、仮想表示システムおよび仮想体験提供方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0013】

また、以下では、実施形態に係る情報処理装置または車載仮想表示装置が、車両Ｖに搭載される制御装置１０であるものとする。また、以下では、実施形態に係る仮想表示システムが、車室内に仮想的な同乗者（以下、適宜「仮想同乗者」という）が存在する状況をユーザに疑似体験させる同乗体験提供システム１であるものとする。

【0014】

また、以下では、実質的に同一の機能構成を有する複数の構成要素を同一の符号の後にハイフン付きの異なる数字を付して区別する場合がある。たとえば、実質的に同一の機能構成を有する複数の構成を、必要に応じて制御装置１０－１、制御装置１０－２、…のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一の符号のみを付する。たとえば、制御装置１０－１、制御装置１０－２、…を特に区別する必要がない場合には、単に制御装置１０と記載する。

【0015】

また、以下では、実施形態に係る車両Ｖが、１人乗りの超小型モビリティであるものとする。

【0016】

まず、実施形態に係る仮想体験提供方法の概要について、図１および図２を用いて説明する。図１は、実施形態に係る車両Ｖの概要説明図である。また、図２は、実施形態に係る仮想体験提供方法の概要説明図である。

【0017】

図１に示すように、実施形態に係る車両Ｖは、超小型モビリティとして知られる１人乗りの車両である。１人乗りであるため、車席は運転席のみであり、助手席や後部座席は設けられていない。

【0018】

なお、ここでは、１人乗りを想定しているが、本実施形態を適用する際の車両Ｖの乗員数を限定するものではない。また、車両Ｖは、電動モータを動力として用いる電動車両であってもよいし、内燃機関等、その他の動力を用いる車両であってもよい。

【0019】

また、図１に示すように、車両Ｖは、表示装置５と、制御装置１０とを備える。表示装置５は、同図に示すように、たとえば車両Ｖのウィンドウに組み込まれるウィンドウ・ディスプレイである。表示装置５は、液晶表示装置等を用いた非透過型のディスプレイである。なお、表示装置５は、透過型のディスプレイ、白色加工や半反射加工等によりスクリーン機能を持たせたウィンドウに対し画像を投影する投影装置等でも実現できる。

【0020】

本実施形態では、表示装置５が非透過型のディスプレイであり、車両Ｖの起動中に、図示略の車載カメラによって撮影された車外の風景を、車窓風景画像として車室内に表示可能に設けられているものとする。

【0021】

制御装置１０は、表示装置５の表示制御を行い、表示装置５に各種画像を表示させる。

【0022】

また、制御装置１０は、ユーザの運転操作に基づく車両Ｖの手動運転制御や、外部装置からの指示、および、図示略の車載センサ等から取得した外部状況等に基づく車両Ｖの自動運転制御を行う。

【0023】

このような車両Ｖを、たとえば、複数人でのグループ旅行で、旅先での行動に利用する場合、車両Ｖが一人乗りであるため、グループの各メンバーは個別の車両Ｖに乗らなくてはならない。

【0024】

したがって、各メンバーは、せっかくのグループ旅行にも関わらず、それぞれが車両Ｖに乗車中の間は、無線等を利用した音声によるコミュニケーション等、簡単なコミュニケーションをとれるだけで、互いにコミュニケーションを十分にとることができない。また、車両Ｖに単独で乗っているため、各メンバーは孤立感も強く感じる。このため、各メンバーにとっては、グループ活動の楽しみが半減してしまうおそれがある。

【0025】

なお、車両Ｖが２人乗り等の少人数定員（グループ人数より少ない定員）の場合でも、程度の違いはあるが、同様の課題がある。また、単独行動のユーザにとっても、車両Ｖのような小型車両の運転は、狭い室内空間による圧迫感が強く、精神的に疲れやすいといった課題もある。

【0026】

そこで、実施形態に係る仮想体験提供方法は、車室内に設けられた表示装置５に、ユーザに適した車室空間を仮想的に提供する画像を表示させることとした。

【0027】

具体的に図２を用いて説明する。なお、以下では、車両Ｖ－１の運転席に乗車するメンバーＭ－１の視点から見た場合を例に挙げて説明する。

【0028】

実施形態に係る仮想体験提供方法は、車室内において、表示装置５に対し、実際の車窓風景画像と、実際には存在しない車室内の内装画像と、他地点のメンバーＭの画像とを重畳した仮想同乗画像を表示する。これにより、実施形態に係る仮想体験提供方法は、車室内に仮想同乗者が存在する状況をユーザに疑似体験させる、すなわち仮想的な同乗体験を提供する。

【0029】

具体的には、図２に示すように、実施形態に係る仮想体験提供方法は、車両Ｖ－１の表示装置５に対しては、メンバーＭ－１が運転席から見た実際の車窓風景画像と、たとえば助手席付きの車両の内装画像と、リアルタイムな他地点のメンバーＭ－２の画像とを重畳して表示させる。すなわち、内装画像は、車両Ｖよりも大きい車室空間を有する他の車両の内装画像である。

【0030】

これにより、メンバーＭ－１は、１人乗りの車両Ｖ－１であるにも関わらず、車室内に助手席が存在し、その助手席にメンバーＭ－２が座っていて、車両Ｖ－１に同乗しているかのような状況を疑似体験することができる。

【0031】

すなわち、メンバーＭ－１に対し、現実の車両Ｖ－１の形状等に制約されない同乗体験を提供することができる。また、メンバーＭ－１に対し、実際よりも車室空間を助手席方向に広く感じさせることができるので、乗車中の快適性を向上させることができる。

【0032】

また、実施形態に係る仮想体験提供方法は、画像だけでなく、メンバーＭ－２が発する音声もリアルタイムで車両Ｖ－１の車室内に出力する。このとき、メンバーＭ－２の画像と音声が同期したものとなるため、まさに仮想同乗者が発話しているような印象をメンバーＭ－１に与えることができる。

【0033】

また、実施形態に係る仮想体験提供方法は、車載エアコン装置を連携制御して車室内温度の制御、室内空気流の制御を行うことにより、メンバーＭ－１に仮想同乗者の体温による車室内環境変化を感じさせることができ、さらに高度な仮想体験を提供できる。これら音声の出力や温度制御の具体例については、図９および図１０を用いた説明で後述する。

【0034】

また、実施形態に係る仮想体験提供方法では、内装画像については任意の内装形態を設定することが可能である。たとえば、仮想画像の表示対象車両の内装と同等の内装画像（現車室内を違和感なく拡大する）、表示するメンバーＭ－２が乗車している車両Ｖ－２の内装と同等の内装画像（メンバーＭ－２の乗車している車両Ｖ－２に同乗している状態を再現）、高級車等の内装画像（乗ってみたい車種で同乗している状態を再現）を設定することが可能である。また、他地点のメンバーＭの画像については、実画像、あるいは任意のアバター（個人の嗜好や、個人情報保護の観点から選択）を設定することが可能である。この点の具体例については、図６～図８を用いた説明で後述する。

【0035】

また、実施形態に係る仮想体験提供方法では、同行者であるメンバーＭだけでなく、非同行者のメンバーＭもまた仮想的に同乗させることが可能である。この点の具体例については、図１３を用いた説明で後述する。

【0036】

なお、図２では、車両Ｖ－１に乗車するメンバーＭ－１の視点から見た場合を例に挙げたが、車両Ｖ－２に乗車するメンバーＭ－２の視点から見た場合も同様である。ただし、メンバーＭ－１とメンバーＭ－２が共に当該仮想体験提供方法を利用した場合、メンバーＭ－１とメンバーＭ－２に対しては、互いに反対方向のウィンドウに設けられた表示部装置に仮想同乗画像を表示することが好ましい。つまり、たとえばメンバーＭ－１に対しては右側のウィンドウにメンバーＭ－２の画像を含む仮想同乗画像を表示し、メンバーＭ－２に対しては左側のウィンドウにメンバーＭ－１の画像を含む仮想同乗画像を表示する。これにより、現実のメンバーＭ－１，Ｍ－２と、仮想画像のメンバーＭ－１，Ｍ－２の位置・方向関係とが、各々の車室内で一致した状態となり、メンバーＭ－１，Ｍ－２の自然な動きで互いに仮想同乗者と向き合っての会話が可能となる等、違和感なくコミュニケーションを交わすことが可能となる。

【0037】

なお、実施形態では、他車両に乗車しているメンバーＭ－２の画像を表示してメンバーＭ－１にメンバーＭ－２との同乗感を提供しているが、メンバーＭ－２の画像を省いた画像を表示する（車両Ｖの仮想内装を表示する）ことにより、メンバーＭ－１に車室内の拡大感を提供すると言った利用方法も可能である。

【0038】

以下、実施形態に係る仮想体験提供方法を適用した同乗体験提供システム１の構成例について、より具体的に説明する。

【0039】

図３は、実施形態に係る同乗体験提供システム１の構成例を示す図である。ここでは、２台の車両間でコミュニケーションをとる状況での構成例を挙げる。図３に示すように、同乗体験提供システム１は、制御装置１０－１と、制御装置１０－２とを含む。

【0040】

制御装置１０－１は、車両Ｖ－１に搭載される。制御装置１０－２は、車両Ｖ－２に搭載される。制御装置１０－１と、制御装置１０－２とは、ネットワークＮを介して相互に通信可能に設けられる。ネットワークＮは、車々間通信を可能にする通信ネットワークであって、たとえばセルラーＶ２Ｘ（Ｃ－Ｖ２Ｘ：Cellular Vehicle to Everything）通信網や、近距離無線通信網、インターネット等である。

【0041】

次に、図４は、実施形態に係る車両Ｖの構成例を示す平面模式図である。図４に示すように、車両Ｖは、カメラ３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆと、ディスプレイ５ａ，５ｂ，５ｃと、スピーカ６ａ，６ｂ，６ｃ，６ｄと、が設置される。

【0042】

カメラ３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆは、後述するカメラ部３の一例に相当する。ディスプレイ５ａ，５ｂ，５ｃは、前述の表示装置５および後述する表示部７の一例に相当する。スピーカ６ａ，６ｂ，６ｃ，６ｄは、後述する音声出力部６の一例に相当する。

【0043】

カメラ３ａは、図４における右方向から見たメンバーＭを撮影可能に設けられる。カメラ３ｂは、図４における左方向から見たメンバーＭを撮影可能に設けられる。カメラ３ｃは、前方向から見たメンバーＭを撮影可能に設けられる。カメラ３ｄは、図４における車両Ｖの左方向に見える風景画像を撮影可能に設けられる。カメラ３ｅは、図４における車両Ｖの右方向に見える風景画像を撮影可能に設けられる。カメラ３ｆは、車両Ｖの後方（図４下方）の風景画像を撮影可能に設けられる。

【0044】

なお、各カメラの設置位置、撮影方向等の撮影データ、および車両Ｖの各窓の位置、形状、位置データは記憶されている。そして、これらのデータ、および視点位置データを用いることにより、カメラ３ｄ，３ｅ，３ｆで撮影した風景画像から、車室内の任意の視点位置から見たウィンドウ越しの車窓風景画像を切り出し生成することができる。

【0045】

また、メンバーＭの画像については、カメラ３ａ，３ｂ，３ｃの撮影画像から、たとえば人間検出のモデルを用いた画像認識や、動体認識（車両内装はカメラに対して静止、車両周囲風景は車両移動に伴い移動、人は車両移動とは関係なく移動）処理等により、人部分を切り出し、生成することができる。そして、カメラ３ａ，３ｂ，３ｃの撮影画像、つまり異なった３方向からのメンバーＭの画像が得られるので、これら画像に基づきメンバーＭの３Ｄ（three-dimensional）画像データを生成することができる。

【0046】

ディスプレイ５ａは、右ウィンドウに配置される。ディスプレイ５ｂは、左ウィンドウに配置される。ディスプレイ５ｃは、カメラ３ｃの近傍に配置され、たとえば、カメラ３ｃの撮影画像を鏡像反転して表示し、デジタルルームミラーとして機能するように設けられる。

【0047】

スピーカ６ａ，６ｂ，６ｃ，６ｄは、たとえばフラットスピーカで構成され、車室内の内装（壁面）に埋め込まれる等して設けられる。スピーカ６ａは、右ウィンドウの近傍に配置される。スピーカ６ｂは、左ウィンドウの近傍に配置される。スピーカ６ｃ，６ｄは、メンバーＭの後方、たとえばリアウィンドウの近傍に配置される。

【0048】

次に、図５は、実施形態に係る制御装置１０の構成例を示すブロック図である。なお、図５では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

【0049】

また、図５に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0050】

また、図５を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。

【0051】

また、図５には、制御装置１０－１を図示しているが、制御装置１０－２の構成も同様である。

【0052】

図５に示すように、制御装置１０には、操作部２と、カメラ部３と、音声入力部４と、音声出力部６と、表示部７とが接続されている。操作部２は、ユーザ（すなわち、各メンバーＭ）による操作を受け付ける押し釦、タッチパネル等の操作入力部品で構成される。

【0053】

カメラ部３は、車両Ｖに搭載される車載カメラであり、前述のカメラ３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆに該当する。音声入力部４は、たとえばマイクであって、ステアリングやバックミラー等のユーザ前方に設定され、ユーザの発話した音声を集音する。

【0054】

音声出力部６は、前述のスピーカ６ａ，６ｂ，６ｃ，６ｄに該当し、たとえば車室内に仮想同乗者の発話する音声を出力する。

【0055】

表示部７は、たとえば車両Ｖのウィンドウに組み込まれるウィンドウ・ディスプレイであって、前述のディスプレイ５ａ，５ｂ，５ｃに該当する。表示部７は、後述する制御部１３による出力制御に基づいて、車室内に仮想同乗画像をはじめとする視覚情報を表示する。

【0056】

また、制御装置１０は、通信部１１と、記憶部１２と、制御部１３とを備える。通信部１１は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１は、ネットワークＮを介して外部装置（制御装置１０－１であればたとえば制御装置１０－２）と無線で接続され、外部装置との間で各種の情報の送受信を行う。

【0057】

なお、通信部１１は、たとえば仮想的な同乗体験の提供機能がオンされるとともに外部装置との間に通信接続を確立し、同提供機能がオフされるとともに外部装置との間の通信接続を切断する。

【0058】

記憶部１２は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２には、図５の例では、レイアウト情報１２ａを記憶するレイアウト情報テーブル１２Ａと、内装情報１２ｂを記憶する内装ＤＢ（Database）１２Ｂと、アバター情報１２ｃを記憶するアバターＤＢ１２Ｃとが設けられる。

【0059】

レイアウト情報１２ａは、仮想的な同乗体験の提供機能を実行するにあたっての、仮想的な車室空間における仮想同乗者のレイアウト位置等に関する情報である。レイアウト情報１２ａは、たとえばユーザによる操作部２の操作に基づいて、後述する設定部１３ａにより設定される。

【0060】

図６は、レイアウト情報テーブル１２Ａの一例を示す図である。図６に示すように、レイアウト情報１２ａは、たとえば、「仮想同乗者」項目と、「ネットワーク」項目と、「レイアウト位置」項目と、「内装ＩＤ」項目と、「アバターＩＤ」項目のデータからなり、これらデータによりレイアウト情報テーブル１２Ａの１レコードが形成される。

【0061】

なお、説明を分かりやすくするため、上記各項目や種別等（データの種別等を示すもの）に対しては項目名、種別名だけを記載し、当該項目・種別に関するデータ自体については項目名に「データ」を付加した表現とする。たとえば、「仮想同乗者」項目については、「仮想同乗者」と表現し、そのデータ自体に対しては「仮想同乗者データ」と表現する。

【0062】

レイアウト情報テーブル１２Ａにおいて、仮想同乗者には、仮想同乗者候補のメンバーＭの識別子データが設定される。なお、かかる仮想同乗者には、同行者以外の非同行者のデータも設定することが可能である。また、仮想同乗者は、レイアウト情報１２ａの主キーとなっており、同一レコードの各データはこの主キーデータである仮想同乗者データに紐付けられて記憶されている。つまり、この仮想同乗者データが示す人物に、ネットワーク、レイアウト位置等のデータ（当該データが示す特徴等）が紐付いていると言うことになる。

【0063】

ネットワークには、仮想同乗者との間の通信接続を確立するために必要なネットワークに関する情報、たとえば通信種別、ＩＰ（Internet Protocol）アドレス等が設定される。

【0064】

レイアウト位置には、仮想的な車室空間における仮想同乗者のレイアウト位置データが設定される。なお、図６の例では、仮想同乗者としてのメンバーＭ－２は助手席に、メンバーＭ－３は右後部座席に、それぞれレイアウトされることを示している。

【0065】

内装ＩＤには、仮想的な車室空間の内装画像の識別情報である内装ＩＤデータが設定される。ここで、内装ＤＢ１２Ｂの一例について説明しておく。図７は、内装ＤＢ１２Ｂの一例を示す図である。

【0066】

図７に示すように、内装ＤＢ１２Ｂは、前述の内装ＩＤデータごとに紐付けられた内装画像に関するデータが設定される。つまり、内装ＩＤデータを主キーデータとして、内装画像データと当該画像の説明データが紐付けられて設定されている。図７の例では、たとえば内装ＩＤ「Ｉ０１１」に紐付けられた内装画像データは「高級車助手席」、説明データは「高級車の助手席方向の実写画像」であることを示している。同様に、内装ＩＤ「Ｉ０１２」に紐付けられた内装画像は「高級車後部座席」、説明データは「高級車の後部座席方向の実写画像」であることを示している。

【0067】

なお、内装画像データは、実写画像データに限らなくともよい。たとえば、図７の例では、内装ＩＤ「Ｉ０２１」に紐付けられた内装画像データは、「宇宙船助手席」の画像データで、コンピュータグラフィックス手法等により生成されたコンピュータグラフィックス画像のデータであることを示している。同様に、内装ＩＤ「Ｉ０２２」に紐付けられた内装画像データは、「宇宙船後部座席」の画像データで、コンピュータグラフィックス画像のデータであることを示している。

【0068】

図６の説明に戻る。アバターＩＤには、仮想同乗者の表示にアバターを使用したい場合の、使用するアバターの識別情報であるアバターＩＤデータが設定される。

【0069】

ここで、アバターＤＢ１２Ｃの一例について説明しておく。図８は、アバターＤＢ１２Ｃの一例を示す図である。図８に示すように、アバターＤＢ１２Ｃは、前述のアバターＩＤデータごとに紐付けられたアバター画像に関するデータが設定される。つまり、アバターＩＤデータを主キーデータとして、アバター画像データと当該アバター画像データの説明データが紐付けられて設定されている。

【0070】

かかるアバター画像データは、たとえば、アバターＩＤ「Ａ００１」のアバター画像データのように、現実に存在する俳優等の実写画像であってもよいし、アバターＩＤ「Ａ００２」のアバター画像データのように、現実には存在しない、アニメの登場キャラクタ等のコンピュータグラフィックス画像であってもよい。これにより、現実に存在するまたは存在しないを問わず、ユーザ好みのアバターを仮想同乗者として同乗させることができる。

【0071】

また、図７および図８に示した各内装画像データおよび各アバター画像データは、３Ｄ表示ならびに動画再生表示が可能な画像データである。

【0072】

図６の説明に戻る。なお、レイアウト情報テーブル１２ＡのアバターＩＤにアバターＩＤデータが設定されていれば、仮想同乗者は、設定されたアバターＩＤデータに該当するアバター画像データを用いたアバターに置き換えられる。アバターＩＤにアバターＩＤデータが設定されていなければ、仮想同乗者は、アバターに置き換えられることなく、実際の本人実写画像が用いられる。

【0073】

図５の説明に戻る。制御部１３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１２に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0074】

制御部１３は、設定部１３ａと、取得部１３ｂと、生成部１３ｃと、出力制御部１３ｄと、送信部１３ｅとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0075】

設定部１３ａは、ユーザによる操作部２の操作に基づいて、仮想的な同乗体験の提供機能に関する各情報、すなわち当該機能実現のために使用するレイアウト情報１２ａや、内装情報１２ｂや、アバター情報１２ｃなどを選択し、制御用のデータとして設定する。

【0076】

取得部１３ｂは、カメラ部３によって撮影された車窓風景画像データを取得する。また、取得部１３ｂは、仮想同乗者となる各メンバーＭの画像データおよび音声データを取得する。

【0077】

たとえば、制御装置１０－１が搭載された車両Ｖ－１で制御装置１０－２のメンバーＭ－２を仮想同乗者とする場合、制御装置１０－１の取得部１３ｂは、通信部１１を介し、制御装置１０－２において撮影されたメンバーＭ－２の画像データと、制御装置１０－２において集音されたメンバーＭ－２の音声データとを取得する。

【0078】

また、取得部１３ｂは、カメラ部３によって撮影されたメンバーＭの画像データを取得し、かかるメンバーＭを仮想同乗者としたい他の制御装置１０へ向けて送信部１３ｅに送信させる。また、取得部１３ｂは、音声入力部４によって集音されたメンバーＭの音声データを取得し、かかるメンバーＭを仮想同乗者としたい他の制御装置１０へ向けて送信部１３ｅに送信させる。

【0079】

生成部１３ｃは、取得部１３ｂによって取得された車窓風景画像データと、レイアウト情報１２ａに応じた内装画像データと、仮想同乗者となるメンバーＭの画像データとを、各メンバーＭのレイアウト位置、運転者（仮想画像を表示する車両の搭乗者）の位置（視点位置）に応じて加工処理して（当該視点位置から見える画像に視点位置変換、切り出し処理等を行う）、それら加工画像を重畳して仮想同乗画像を生成する。このとき、生成部１３ｃは、車窓風景画像データに対し内装画像データを重畳し、さらに内装画像データに対しメンバーＭの画像データを重畳して、仮想同乗画像を生成する。

【0080】

出力制御部１３ｄは、生成部１３ｃによって生成された仮想同乗画像を表示部７に対し表示させる。また、出力制御部１３ｄは、取得部１３ｂによって取得された仮想同乗者となるメンバーＭの音声データを、仮想同乗者が発話しているように出力させる。つまり、音声を出力するスピーカ６ａ，６ｂ，６ｃ，６ｄを選択する、各スピーカから出力する音声のレベルや位相を調整する等の音像定位制御を行い、各仮想同乗者のレイアウトに応じた定位感で発話音声を出力する。また、出力制御部１３ｄは、仮想同乗者の体温が感じられるように、各仮想同乗者のレイアウトに応じてエアコンの温度制御等の空調制御をあわせて行う。

【0081】

かかる音声の出力および温度制御の具体例について、図９および図１０を用いて説明する。図９は、音声の出力および温度制御の説明図（その１）である。また、図１０は、音声の出力および温度制御の説明図（その２）である。

【0082】

出力制御部１３ｄは、図９に示すように、たとえば表示装置５に組み込まれたスピーカ６ｂにより、仮想同乗者であるメンバーＭ－２が発話しているように音声を出力させる。つまり、仮想同乗者方向のスピーカ６ｂから音声を出力して、仮想同乗者が音声を発している状態を模擬する。このとき、スピーカ６ｂは、仮想同乗者の口元に相当する位置（方向）の近傍に配置されていることが好ましい。

【0083】

また、出力制御部１３ｄは、同図に示すように、たとえば表示装置５付近に組み込まれた熱源８を制御することによって、仮想同乗者の体温が感じられるように温度制御を行う。このとき、熱源８は、仮想同乗者の体に相当する位置の近傍に配置されていることが好ましい。なお、熱源８としては、赤外線ヒータ、車載用エアコン（温風吹き出し口を表示装置５付近に設置）等を用いればよい。

【0084】

なお、出力制御部１３ｄは、音声の出力に関し、たとえば図１０に示すように、音声出力部６に対する音像定位制御を行う（各スピーカ６ａ，６ｂ，６ｃ，６ｄから出力する仮想同乗者（仮想同乗者に対応する遠隔地にいる人）の音声の位相、音量を、各スピーカ６ａ，６ｂ，６ｃ，６ｄの位置と狙いとする音像定位位置に応じて調整することにより音像定位制御を行う）ことによって、仮想同乗者の口元に相当する位置に音像を定位させるようにしてもよい。かかる場合、音声出力部６の各スピーカ６ａ，６ｂ，６ｃ，６ｄは、必ずしも表示装置５に組み込まれる必要がなく、通常の音響再生装置用の車載スピーカを用いることができる。

【0085】

図５の説明に戻る。送信部１３ｅは、カメラ部３によって撮影されたメンバーＭの画像データ、および、音声入力部４によって集音されたメンバーＭの音声データを、通信部１１を介し、他の制御装置１０へ向けて送信する。

【0086】

ところで、これまでは、車両Ｖに乗車中のメンバーＭの左方または右方に配置された表示装置５に仮想同乗画像を表示させる場合を例に挙げたが、前述のデジタルルームミラーとして機能するディスプレイ５ｃに対し、仮想同乗画像を表示させてもよい。

【0087】

かかる場合の例について、図１１を用いて説明する。図１１は、仮想同乗画像をデジタルルームミラーとして機能するディスプレイ５ｃに表示させる場合の説明図である。なお、図１１を用いた説明でも、これまでと同様に、車両Ｖ－１に乗車するメンバーＭ－１の視点から見た場合を例に挙げる。

【0088】

かかる場合、生成部１３ｃは、図１１に示すように、メンバーＭ－１が運転席から見た実際のルームミラー画像（カメラ３ｃの撮影画像）と、メンバーＭ－１が選択した車両の内装画像、たとえば後部座席付きの車両の内装画像と、他地点のメンバーＭの画像とを重畳して表示装置５に表示させる。他地点のメンバーＭの画像は、ここでは、車両Ｖ－２に乗車中のメンバーＭ－２の画像および他のメンバーＭ－３の画像である。

【0089】

このとき、生成部１３ｃは、ルームミラー画像に対し内装画像を重畳し、さらに内装画像に対し各メンバーＭの画像を重畳して、仮想同乗画像を生成する。

【0090】

これにより、メンバーＭ－１は、１人乗りの車両Ｖ－１であるにも関わらず、車室内に後部座席が存在し、その後部座席にメンバーＭ－２，Ｍ－３が座っていて、車両Ｖ－１に同乗しているかのような状況を疑似体験することができる。すなわち、メンバーＭ－１に対し、現実の車両Ｖ－１に制約されない同乗体験を提供することができる。また、メンバーＭ－１に対し、実際よりも車室空間を後部座席方向に広く感じさせることができるので、乗車中の快適性を向上させることができる。

【0091】

なお、図１１の例の場合、各メンバーＭの音声については、出力制御部１３ｄは、たとえばメンバーＭ－２の音声は図４に示したスピーカ６ｄから、メンバーＭ－３の音声は同じく図４に示したスピーカ６ｃから、それぞれ出力させることとなる。あるいは、複数のスピーカ６ａ，６ｂ，６ｃ，６ｄを用いた音像定位処理を行なってもよい。

【0092】

また、前述の図２で示した助手席の仮想同乗画像と図１１で示した後部座席の仮想同乗画像の表示を併用することも可能で、その場合は４人が同乗した状態を疑似体験できる。この場合、車両Ｖ－１の制御装置１０－１が、関係車両等の制御装置１０間の音声信号を中継伝送することにより、各メンバーＭが相互に会話できるようになる。

【0093】

次に、制御装置１０が実行する処理手順について図１２を用いて説明する。図１２は、実施形態に係る制御装置１０が実行する処理手順を示すフローチャートである。このフローチャートの処理は車両起動中に繰り返し実行される。

【0094】

図１２に示すように、まず制御部１３は、仮想的な同乗体験の提供機能がオンされたか否かを判定する（ステップＳ１０１）。

【0095】

同機能がオンされていない場合（ステップＳ１０１，Ｎｏ）、制御部１３は、処理を終了する。同機能がオンされた場合（ステップＳ１０１，Ｙｅｓ）、制御部１３は、事前にユーザによる操作部２の操作に基づいて設定された、仮想的な同乗体験の提供機能に関する各情報を読み込む（ステップＳ１０２）。そして、通信部１１が、レイアウト情報１２ａに基づき、仮想同乗者となるメンバーＭとの間の通信接続を確立する（ステップＳ１０３）。

【0096】

通信接続を確立後、制御部１３は、レイアウト情報１２ａに基づき必要となる各メンバーＭの画像および音声を取得する（ステップＳ１０４）。そして、制御部１３は、実際の車窓風景画像、内装画像および各メンバーＭの画像を重畳して仮想同乗画像を生成する（ステップＳ１０５）。

【0097】

そして、制御部１３は、生成した各仮想同乗画像を仮想同乗者ごとに表示先として決定した（方向の）表示部７へ表示させる（ステップＳ１０６）。また、制御部１３は、仮想同乗者が発話しているように出力するスピーカを仮想同乗者ごとに決定し（あるいは、音像定位処理における各制御パラメータを設定し）、各メンバーＭの音声を出力させる（ステップＳ１０７）。

【0098】

そして、制御部１３は、仮想的な同乗体験の提供機能がオフされたか否かを判定する（ステップＳ１０８）。

【0099】

同機能がオフされていない場合（ステップＳ１０８，Ｎｏ）、制御部１３は、ステップＳ１０４からの処理を繰り返す。同機能がオフされた場合（ステップＳ１０８，Ｙｅｓ）、通信部１１が、仮想同乗者となるメンバーＭとの間の通信接続を切断する（ステップＳ１０９）。そして、処理を終了する。

【0100】

ところで、これまでは、制御装置１０の間の車々間通信に基づいて、制御装置１０のそれぞれで仮想的な同乗体験の提供機能を実行する場合を例に挙げたが、制御装置１０を取りまとめるサーバ装置１００が統合的に同機能を実行するようにしてもよい。

【0101】

図１３は、変形例に係る同乗体験提供システム１Ａの構成例を示す図である。図１３に示すように、同乗体験提供システム１Ａは、サーバ装置１００をさらに含む。

【0102】

サーバ装置１００は、ネットワークＮを介して制御装置１０のそれぞれと通信可能に設けられており、制御装置１０から仮想的な同乗体験の提供機能の要求を受け付けた場合に、同乗体験の対象車両となっている車両の制御装置１０のそれぞれから車窓風景画像、各メンバーＭの画像および音声を取得する。

【0103】

また、サーバ装置１００は、統合的なレイアウト情報テーブル１２Ａ、内装ＤＢ１２ＢおよびアバターＤＢ１２Ｃを保持しており、これらの情報に基づいて各制御装置１０へ向けた仮想同乗画像ならびに音声を生成する。

【0104】

そして、サーバ装置１００は、生成した仮想同乗画像ならびに音声を各制御装置１０へ送信し、各制御装置１０に出力させることとなる。

【0105】

また、既に述べた通り、同行者であるメンバーＭだけでなく、非同行者のメンバーＭもまた仮想的に同乗させることが可能である。かかる場合、図１３に示すように、同乗体験提供システム１Ａは、非同行者装置３０をさらに含む。

【0106】

非同行者装置３０は、たとえば旅行には同行していないが、車両Ｖを利用するメンバーＭ－１，Ｍ－２とともにグループ活動を楽しみたいメンバーＭ－３が利用する自宅等に設定された装置である。

【0107】

非同行者装置３０は、制御装置１０と同様に、カメラ部３と、音声入力部４と、表示装置５と、音声出力部６とを有しており、少なくとも制御装置１０と同等の設定処理、取得処理、生成処理、出力制御処理および送信処理を実行可能に設けられる。なお、非同行者装置３０におけるカメラ部３、音声出力部６の設置位置はユーザがマニュアル等で指定された所定位置に設置する、あるいは設置条件（位置、向き等）をユーザが非同行者装置３０に入力し、非同行者装置３０がこれらで規定されるカメラ部３、音声出力部６の設置条件に基づき画像処理（視点変換処理等）、音声処理（定位感調整処理）を行うようにすれば、より臨場感の高い同乗体験が実現できる。

【0108】

そして、非同行者装置３０は、サーバ装置１００に対し、メンバーＭ－３の画像および音声を送信し、サーバ装置１００にかかるメンバーＭ－３を仮想同乗者として含めた制御装置１０向けの仮想同乗画像ならびに音声を生成させる。また、サーバ装置１００は、非同行者装置３０に向けては、メンバーＭ－１やメンバーＭ－２を仮想同乗者として含めた仮想同乗画像ならびに音声を生成する。

【0109】

そして、非同行者装置３０は、サーバ装置１００から非同行者装置３０向けの仮想同乗画像ならびに音声を取得し、表示装置５および音声出力部６に出力させることとなる。

【0110】

これにより、たとえば遠隔地間においても、仮想的な同乗体験をグループのメンバーＭの間で共有することが可能となる。

【0111】

なお、同じグループのメンバーＭの間では、メンバーＭ－３のような非同行者を含む場合などは特に、車窓風景画像については同一の画像が仮想同乗画像において重畳されることが好ましい。

【0112】

また、前方車窓（フロントガラス）の風景画像については、運転の妨げとなるので上記実施形態では表示を行わなかったが、家屋内等に居る非同行者や、運転の必要のない自動運転車両の搭乗者に対する場合は、家屋内のディスプレイや自動運転車両のフロントガラスに設置されたディスプレイに前方車窓の風景画像（カメラを設置して撮影）を表示するようにしてもよい。

【0113】

これにより、各メンバーＭは、たとえば同一の車窓風景画像に基づく共通の話題でコミュニケーションをとることが容易となり、円滑にグループ活動を進めることが可能となる。

【0114】

また、これまでは、表示装置５が非透過型のディスプレイであることとしたが、表示装置５は透過型のディスプレイであってもよい。かかる場合、制御部１３は、車窓風景画像については重畳せずに、ディスプレイ越しの実際の車窓風景に対し、内装画像と、仮想同乗者となるメンバーＭの画像とを重畳するようにしてもよい。

【0115】

また、これまでは、表示装置５がウィンドウやルームミラーに設けられるディスプレイであることとしたが、ウィンドウやルームミラーに限らず、表示装置５は、ウィンドウを含む車室内の壁面を表示スクリーンとしたディスプレイであってもよい。

【0116】

上述してきたように、実施形態に係る制御装置１０（「情報処理装置」の一例に相当）は、車両Ｖの車室内に設けられた表示部７に画像を表示させる制御部１３を有する情報処理装置である。制御部１３は、上記車室よりも大きい車室空間の仮想内装画像を表示部７に表示させる。

【0117】

したがって、実施形態に係る制御装置１０によれば、使用する車両形態を要因として発生するユーザの不満を低減することができる。

【0118】

また、制御部１３は、車両周囲の風景画像を上記仮想内装画像の車窓部分に重畳する。

【0119】

したがって、実施形態に係る制御装置１０によれば、車両周囲の風景画像を上記仮想内装画像内に反映することができる。

【0120】

また、制御部１３は、他地点に存在する実在人物の画像に基づく仮想同乗者（「仮想的な同乗者」の一例に相当）の画像を、上記仮想内装画像に重畳した仮想同乗画像を表示部７に表示させる。

【0121】

したがって、実施形態に係る制御装置１０によれば、他地点に存在する実在人物が仮想的に同乗する仮想体験を提供することができる。

【0122】

また、制御部１３は、仮想同乗者の音声を、仮想同乗者の表示位置に応じて定位させる。

【0123】

したがって、実施形態に係る制御装置１０によれば、仮想同乗者となるメンバーＭの音声を、まさに仮想同乗者が発話しているように出力させることができる。

【0124】

また、制御部１３は、車室内のルームミラーに設けられた表示部７に対し、仮想同乗画像を表示させる。

【0125】

したがって、実施形態に係る制御装置１０によれば、各メンバーＭは、１人乗りの車両Ｖであるにも関わらず、車室内に後部座席が存在し、その後部座席に他のメンバーＭが座っていて、同乗しているかのような状況を疑似体験することができる。すなわち、各メンバーＭに対し、現実の車両Ｖに制約されない同乗体験を提供することができる。また、各メンバーＭに対し、実際よりも車室空間を後部座席方向に広く感じさせることができるので、乗車中の快適性を向上させることができる。

【0126】

また、制御部１３は、他地点の車両Ｖの制御装置１０と連携して上記仮想同乗画像を表示する場合、各車両Ｖにおける実在人物と仮想同乗者の相対位置関係が一致するように仮想同乗者を表示させる。

【0127】

したがって、実施形態に係る制御装置１０によれば、現実の各メンバーＭと、仮想画像の各メンバーＭの位置・方向関係とが、各々の車室内で一致した状態となり、各メンバーＭの自然な動きで互いに仮想同乗者と向き合っての会話が可能となる等、違和感なくコミュニケーションを交わすことが可能となる。

【0128】

また、制御部１３は、車両周囲の風景画像を上記仮想内装画像の車窓部分に重畳する場合、他地点の車両Ｖで表示される風景と同じ風景画像を使用して表示する。

【0129】

したがって、実施形態に係る制御装置１０によれば、他地点に存在するメンバーＭと車窓風景を共有する仮想体験を提供することができる。

【0130】

また、実施形態に係る制御装置１０は、車室内画像を撮影するカメラ３ａ，３ｂ，３ｃ（「車室内カメラ」の一例に相当）と、車両周囲の風景を撮影するカメラ３ｄ，３ｅ，３ｆ（「風景カメラ」の一例に相当）と、車室内の音声を取得する音声入力部４（「マイク」の一例に相当）と、車室内に音を出力するスピーカ６ａ，６ｂ，６ｃ，６ｄと、車室内における側方車窓付近に設置された表示部７と、他地点の外部装置との通信を行う通信部１１と、各種制御を行う制御部１３と、を有する車載仮想表示装置である。

【0131】

制御部１３は、車室よりも大きい車室空間の仮想内装画像と、カメラ３ｄ，３ｅ，３ｆで撮影した車両周囲の風景画像と、通信部１１により受信した他地点の外部装置からの当該他地点に存在する実在人物の画像データに基づく仮想的な同乗者の画像とを、重畳して仮想同乗画像を生成する。また、制御部１３は、生成した上記仮想同乗画像を表示部７に表示させる。また、制御部１３は、通信部１１により受信した他地点の外部装置からの当該他地点に存在する実在人物の音声データに応じた音声を、スピーカ６ａ，６ｂ，６ｃ，６ｄから出力させる。また、制御部１３は、音声入力部４で取得した音声に応じた音声データを通信部１１により他地点の外部装置に送信させる。また、制御部１３は、カメラ３ａ，３ｂ，３ｃでの撮影画像に応じた車室内画像データを通信部１１により他地点の外部装置に送信させる。また、制御部１３は、カメラ５ｄ，５ｅ，５ｆでの撮影画像に応じた風景画像データを通信部１１により他地点の外部装置に送信させる。

【0132】

したがって、実施形態に係る制御装置１０によれば、他地点の外部装置との間で連携しつつ、使用する車両形態を要因として発生するユーザの不満を低減することができる。

【0133】

また、実施形態に係る同乗体験提供システム１は、相互通信可能な複数の制御装置１０で構成される仮想表示システムである。制御装置１０のそれぞれは、車室内画像を撮影するカメラ３ａ，３ｂ，３ｃと、車両周囲の風景を撮影するカメラ３ｄ，３ｅ，３ｆと、車室内の音声を取得する音声入力部４と、車室内に音を出力するスピーカ６ａ，６ｂ，６ｃ，６ｄと、車室内における側方車窓付近に設置された表示部７と、他の制御装置１０との通信を行う通信部１１と、各種制御を行う制御部１３と、を有する。

【0134】

制御部１３は、車室よりも大きい車室空間の仮想内装画像と、カメラ３ｄ，３ｅ，３ｆで撮影した車両周囲の風景画像と、通信部１１により受信した他地点の他の制御装置１０からの当該他地点に存在する実在人物の画像データに基づく仮想的な同乗者の画像とを、重畳して仮想同乗画像を生成する。また、制御部１３は、生成した上記仮想同乗画像を表示部７に表示させる。また、制御部１３は、通信部１１により受信した上記他地点の他の制御装置１０からの上記他地点に存在する実在人物の音声データに応じた音声を、スピーカ６ａ，６ｂ，６ｃ，６ｄから出力させる。また、制御部１３は、音声入力部４で取得した音声に応じた音声データを通信部１１により上記他の制御装置１０に送信させる。また、制御部１３は、カメラ３ａ，３ｂ，３ｃでの撮影画像に応じた車室内画像データを通信部１１により上記他の制御装置１０に送信させる。また、制御部１３は、カメラ５ｄ，５ｅ，５ｆでの撮影画像に応じた風景画像データを通信部１１により上記他の制御装置１０に送信させる。

【0135】

したがって、実施形態に係る制御装置１０によれば、他地点の他の制御装置１０との間で連携しつつ、使用する車両形態を要因として発生するユーザの不満を低減することができる。

【0136】

また、制御部１３は、上記他の制御装置１０と連携して上記仮想同乗画像を表示する場合、各車両Ｖにおける実在人物と仮想同乗者の相対位置関係が一致するように仮想同乗者を表示させる。

【0137】

したがって、実施形態に係る同乗体験提供システム１によれば、現実の各メンバーＭと、仮想画像の各メンバーＭの位置・方向関係とが、各々の車室内で一致した状態となり、各メンバーＭの自然な動きで互いに仮想同乗者と向き合っての会話が可能となる等、違和感なくコミュニケーションを交わすことが可能となる。

【0138】

また、実施形態に係る仮想体験提供方法は、車両Ｖの車室内に仮想の同乗者を表示する仮想体験提供方法であって、車室よりも大きい車室空間の仮想内装画像と、通信により得られた他地点に存在する実在人物の画像に基づく仮想的な同乗者の画像とを、重畳した仮想同乗画像を表示する。

【0139】

したがって、実施形態に係る仮想体験提供方法によれば、使用する車両形態を要因として発生するユーザの不満を低減することができる。

【0140】

なお、上述した実施形態では、車両Ｖが超小型モビリティであることとしたが、車両Ｖは、超小型モビリティに限定されない。たとえば車両Ｖは、２人以上が乗車可能であってもよい。車両Ｖが、このように２人以上が乗車可能であっても、より広い車室空間の内装画像を利用することで、かかる車両Ｖの乗員に対し、より広い車内空間に仮想同乗者が同乗している状況を疑似体験させることができる。

【0141】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0142】

１，１Ａ 同乗体験提供システム
２ 操作部
３ カメラ部
４ 音声入力部
５ 表示装置
６ 音声出力部
７ 表示部
８ 熱源
１０ 車載装置
１１ 通信部
１２ 記憶部
１２Ａ レイアウト情報テーブル
１２Ｂ 内装ＤＢ
１２Ｃ アバターＤＢ
１３ 制御部
１３ａ 設定部
１３ｂ 取得部
１３ｃ 生成部
１３ｄ 出力制御部
１３ｅ 送信部
３０ 非同行者装置
１００ サーバ装置
Ｖ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】