特開 2024-47627 情報管理装置、情報管理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024047627

(43)【公開日】2024-04-08

(54)【発明の名称】情報管理装置、情報管理方法、及びプログラム

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20240401BHJP

   G08G 1/09 20060101ALI20240401BHJP

   G16Y 40/60 20200101ALI20240401BHJP

   G16Y 20/20 20200101ALI20240401BHJP

   G16Y 10/40 20200101ALI20240401BHJP

【ＦＩ】

G06F3/0484

G08G1/09 F

G16Y40/60

G16Y20/20

G16Y10/40

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022153222

(22)【出願日】2022-09-27

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】丸山 健太

(72)【発明者】

【氏名】尾中 潤一郎

(72)【発明者】

【氏名】石田 雄亮

【テーマコード（参考）】

5E555

5H181

【Ｆターム（参考）】

5E555AA11

5E555AA63

5E555AA76

5E555BA23

5E555BB23

5E555BC02

5E555BC09

5E555BC17

5E555BD05

5E555BE17

5E555CA12

5E555CA42

5E555CA44

5E555CA47

5E555CB66

5E555CC01

5E555DA08

5E555DA23

5E555DA32

5E555DB32

5E555DB53

5E555DB55

5E555DC11

5E555DC13

5E555DC31

5E555DC72

5E555DC84

5E555DD05

5E555DD06

5E555EA05

5E555EA07

5E555EA08

5E555EA09

5E555FA00

5H181AA01

5H181AA25

5H181AA26

5H181BB04

5H181BB05

5H181BB13

5H181CC04

5H181CC27

5H181FF12

5H181FF13

5H181FF22

5H181FF27

5H181FF33

5H181LL07

5H181MC19

5H181MC24

5H181MC27

(57)【要約】

【課題】利用者により利用される装置と移動体に搭載された装置の関係を調整しやすくすることができる情報管理装置、情報管理方法、及びプログラムを提供する。
【解決手段】乗員が搭乗する移動体に搭載される複数の第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置とに提供される情報を管理する情報管理装置であって、前記第１装置および前記第２装置から情報を取得する取得部と、複数の前記第１装置のいずれかと前記第２装置とをマッチングするマッチング処理部と、複数の前記第１装置の中のいずれかを前記第２装置に対するマッチング対象とする前記利用者の指定を受け付ける受付部と、を備え、マッチング処理部は、複数の第１装置の中のいずれかを、すでに第１装置とマッチングされた第２装置に対するマッチング対象とする利用者の指定が受け付けられた場合に、第２装置のマッチング対象を切り替える情報管理装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

乗員が搭乗する移動体に搭載される複数の第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置とに提供される情報を管理する情報管理装置であって、
前記第１装置および前記第２装置から情報を取得する取得部と、
複数の前記第１装置のいずれかと前記第２装置とをマッチングするマッチング処理部と、
複数の前記第１装置の中のいずれかを前記第２装置に対するマッチング対象とする前記利用者の指定を受け付ける受付部と、を備え、
前記マッチング処理部は、複数の前記第１装置の中のいずれかを、すでに第１装置とマッチングされた前記第２装置に対するマッチング対象とする前記利用者の指定が受け付けられた場合に、前記第２装置のマッチング対象を切り替える、
情報管理装置。

【請求項2】

前記受付部は、前記利用者の第１操作及び第２操作を更に受け付け、
前記マッチング処理部は、前記利用者の第１操作に基づいて、前記第１装置と前記第２装置との間の情報の提供を停止させ、前記利用者の第２操作に基づいて、前記第１装置と前記第２装置との間の情報の提供を開始させる、
請求項１に記載の情報管理装置。

【請求項3】

前記第１装置に情報を提供する提供部を備え、
前記第１装置は、仮想的に利用者を表示する利用者表示装置を備えており、
前記提供部は、前記第２装置との間の情報の提供を停止させる場合に、前記移動体から脱出する態様で前記利用者を仮想的に前記利用者表示装置に表示させる第１表示情報を前記第１装置に提供する、
請求項２に記載の情報管理装置。

【請求項4】

前記第１装置に情報を提供する提供部を備え、
前記第１装置は、仮想的に利用者を表示する利用者表示装置を備えており、
前記提供部は、前記第２装置との間の情報の提供を開始させる場合に、前記移動体に突入する態様で前記利用者を仮想的に前記利用者表示装置に表示させる第２表示情報を前記第１装置に提供する、
請求項２に記載の情報管理装置。

【請求項5】

前記第２装置に情報を提供する提供部を備え、
前記取得部は、前記第２装置とマッチングされた前記第１装置の周囲の交通状況を取得し、
前記提供部は、前記第１装置と前記第２装置との間の情報の提供を開始させるときに、前記利用者が前記移動体の位置を把握していない場合、前記交通状況により生成された前記第２装置とマッチングされた前記第１装置の周囲の交通状況を前記第１装置または前記第２装置のうち少なくともいずれかに提供する、
請求項１に記載の情報管理装置。

【請求項6】

前記交通状況は、前記移動体及び前記移動体の周囲の移動体を俯瞰して地図上に表現させた交通状況画像を含む、
請求項５に記載の情報管理装置。

【請求項7】

前記第１装置に情報を提供する提供部を備え、
前記第１装置は、音声を出力するスピーカを更に備えており、
前記提供部は、仮想的に表示された前記利用者が前記移動体から脱出し又は前記移動体に突入する際に、前記移動体内における仮想的に表示された前記利用者の位置に基づいて、音量が調整された音声を前記スピーカに出力させる音声情報を前記第１装置に提供する、
請求項３または４に記載の情報管理装置。

【請求項8】

前記提供部は、複数の前記移動体を前記地図上に表示させ、前記第２装置に対する複数の前記移動体にそれぞれ搭載された複数の第１装置の通信の可否に応じて、前記地図上における前記移動体の表示態様を変化させる交通状況画像を提供する、
請求項６に記載の情報管理装置。

【請求項9】

乗員が搭乗する移動体に搭載される複数の第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置とに提供される情報を管理する情報管理装置のコンピュータが、
前記第１装置および前記第２装置から情報を取得し、
複数の前記第１装置のいずれかと前記第２装置とをマッチングし、
複数の前記第１装置の中のいずれかを前記第２装置に対するマッチング対象とする前記利用者の指定を受け付け、
複数の前記第１装置の中のいずれかを、すでに第１装置とマッチングされた前記第２装置に対するマッチング対象とする前記利用者の指定が受け付けられた場合に、前記第２装置のマッチング対象を切り替える、
情報管理方法。

【請求項10】

乗員が搭乗する移動体に搭載される複数の第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置とに提供される情報を管理する情報管理装置のコンピュータが、
前記第１装置および前記第２装置から情報を取得し、
複数の前記第１装置のいずれかと前記第２装置とをマッチングし、
複数の前記第１装置の中のいずれかを前記第２装置に対するマッチング対象とする前記利用者の指定を受け付け、
複数の前記第１装置の中のいずれかを、すでに第１装置とマッチングされた前記第２装置に対するマッチング対象とする前記利用者の指定が受け付けられた場合に、前記第２装置のマッチング対象を切り替えることを行わせる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報管理装置、情報管理方法、及びプログラムに関する。

【背景技術】

【0002】

従来、車両等の移動体に搭載された装置と、移動体とは別の場所で利用者により使用される装置との間で通信を行い、車外風景の画像等を共有することについて研究が進められている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－９４９５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、利用者により利用される装置が、複数の移動体のそれぞれに搭載された複数の第１装置と通信可能である場合に、利用者により利用される装置と実際に通信する移動体に搭載された装置の関係の調整が難しくなることがある。

【0005】

本発明は、このような事情を考慮してなされたものであり、利用者により利用される装置と移動体に搭載された装置の関係を調整しやすくすることができる情報管理装置、情報管理方法、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係る情報管理装置、情報管理方法、及びプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報管理装置は、乗員が搭乗する移動体に搭載される複数の第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置とに提供される情報を管理する情報管理装置であって、前記第１装置および前記第２装置から情報を取得する取得部と、複数の前記第１装置のいずれかと前記第２装置とをマッチングするマッチング処理部と、複数の前記第１装置の中のいずれかを前記第２装置に対するマッチング対象とする前記利用者の指定を受け付ける受付部と、を備え、前記マッチング処理部は、複数の前記第１装置の中のいずれかを、すでに第１装置とマッチングされた第２装置に対するマッチング対象とする前記利用者の指定が受け付けられた場合に、前記第２装置のマッチング対象を切り替える情報管理装置である。

【0007】

（２）：上記（１）の態様において、前記受付部は、前記利用者の第１操作及び第２操作を更に受け付け、前記マッチング処理部は、前記利用者の第１操作に基づいて、前記第１装置と前記第２装置との間の情報の提供を停止させ、前記利用者の第２操作に基づいて、前記第１装置と前記第２装置との間の情報の提供を開始させるものである。

【0008】

（３）：上記（２）の態様において、前記第１装置に情報を提供する提供部を備え、前記第１装置は、仮想的に利用者を表示する利用者表示装置を備えており、前記提供部は、前記第２装置との間の情報の提供を停止させる場合に、前記移動体から脱出する態様で前記利用者を仮想的に前記利用者表示装置に表示させる第１表示情報を前記第１装置に提供するものである。

【0009】

（４）：上記（２）の態様において、前記第１装置に情報を提供する提供部を備え、前記第１装置は、仮想的に利用者を表示する利用者表示装置を備えており、前記提供部は、前記第２装置との間の情報の提供を開始させる場合に、前記移動体に突入する態様で前記利用者を仮想的に前記利用者表示装置に表示させる第２表示情報を前記第１装置に提供するものである。

【0010】

（５）：上記（１）の態様において前記第２装置に情報を提供する提供部を備え、前記取得部は、前記第２装置とマッチングされた前記第１装置の周囲の交通状況を取得し、前記提供部は、前記第１装置と前記第２装置との間の情報の提供を開始させるときに、前記利用者が前記移動体の位置を把握していない場合、前記交通状況により生成された前記第２装置とマッチングされた前記第１装置の周囲の交通状況を前記第１装置または前記第２装置のうち少なくともいずれかに提供するものである。

【0011】

（６）：上記（５）の態様において、前記交通状況は、前記移動体及び前記移動体の周囲の移動体を俯瞰して地図上に表現させた交通状況画像を含むものである。

【0012】

（７）：上記（１）または（４）の態様において、前記第１装置に情報を提供する提供部を備え、前記第１装置は、音声を出力するスピーカを更に備えており、前記提供部は、仮想的に表示された前記利用者が前記移動体から脱出し又は前記移動体に突入する際に、前記移動体内における仮想的に表示された前記利用者の位置に基づいて、音量が調整された音声を前記スピーカに出力させる音声情報を前記第１装置に提供するものである。

【0013】

（８）：上記（６）の態様において、前記提供部は、複数の前記移動体を前記地図上に表示させ、前記第２装置に対する複数の前記移動体にそれぞれ搭載された複数の第１装置の通信の可否に応じて、前記地図上における前記移動体の表示態様を変化させる交通状況画像を提供するものである。

【0014】

（９）：この発明の一態様に係る情報管理方法は、乗員が搭乗する移動体に搭載される複数の第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置とに提供される情報を管理する情報管理装置のコンピュータが、前記第１装置および前記第２装置から情報を取得し、複数の前記第１装置のいずれかと、第２装置とをマッチングし、複数の前記第１装置の中のいずれかを前記第２装置に対するマッチング対象とする前記利用者の指定を受け付け、複数の前記第１装置の中のいずれかを、すでに第１装置とマッチングされた第２装置に対するマッチング対象とする前記利用者の指定が受け付けられた場合に、前記第２装置のマッチング対象を切り替える、情報管理方法である。

【0015】

（１０）：この発明の一態様に係るプログラムは、乗員が搭乗する移動体に搭載される複数の第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置とに提供される情報を管理する情報管理装置のコンピュータが、前記第１装置および前記第２装置から情報を取得し、複数の前記第１装置のいずれかと、第２装置とをマッチングし、複数の前記第１装置の中のいずれかを前記第２装置に対するマッチング対象とする前記利用者の指定を受け付け、複数の前記第１装置の中のいずれかを、すでに第１装置とマッチングされた第２装置に対するマッチング対象とする前記利用者の指定が受け付けられた場合に、前記第２装置のマッチング対象を切り替えることを行わせる、プログラムである。

【発明の効果】

【0016】

（１）～（１０）の態様によれば、移動体の乗員と、移動体とは異なる場所にいる利用者との双方に与える臨場感を高めることができる。

【図面の簡単な説明】

【0017】

【図1】情報処理システム１と管理サーバ３００の使用環境等を示す図である。

【図2】ユーザデータ３６０の内容の一例を示す図である。

【図3】第１装置１００の構成図である。

【図4】移動体Ｍにおける第１装置１００の一部の配置例を示す図である。

【図5】第２装置２００の構成図である。

【図6】指向方向に対応する画像について説明するための図である。

【図7】移動体画像表示装置２５０に表示される交通状況画像の一例を示す図。

【図8】第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。

【図9】第１制御装置１７０と第２制御装置２７０の機能構成の第２例を示す図である。

【図10】情報処理システム１により実行される処理の一例を示すシーケンス図である。

【図11】置換画像を表示することの一例を示す図である。

【発明を実施するための形態】

【0018】

以下、図面を参照し、本発明の情報管理装置、情報管理方法、およびプログラムの実施形態について説明する。なお、以下では、情報管理装置が適用された情報処理システムについて説明する。情報処理システムは、例えば、乗員が搭乗する移動体に搭載される第１装置と、移動体とは異なる場所で利用者によって利用される第２装置と、情報管理装置とを含む。移動体とは、例えば車両であるが、乗員が搭乗可能なものであれば如何なる移動体（例えば、船舶、飛翔体）でも構わない。また乗員は、主に移動体の運転者であるが、運転者以外の乗員であっても構わない。

【0019】

第１装置と第２装置の間では、マイクによって収集された音声が相手側に送信されてスピーカによって再生されることで電話通話を行っているような状態になり、更に、第１装置のカメラユニットにより撮像された画像の一部が第２装置によって表示されることで、第２装置側にＭＲ（Mixed Reality）が提供される。これにより、第２装置の利用者は、移動体と異なる場所にいながら、擬似的に移動体に搭乗しているような感覚（擬似乗車体験）を得ることができ、乗員は第１装置を介して移動体への乗車を擬似体験している利用者と会話を行うことで、利用者が実際に移動体に一緒に乗車しているような感覚を得ることができる。以下では、上述したように、利用者が移動体に実際に乗車しているかのような擬似体験をすることを「擬似乗車する」と称する場合がある。第１装置と第２装置は一対一の関係である必要は無く、複数の第１装置のうち一つと、複数の第２装置とが一対多の関係でマッチングされることで、情報処理システムとして動作してよい。後者の場合、例えば一人の乗員を複数の利用者と同時に、或いは順番にコミュニケートさせることができる。なお、マッチングは、第１装置と第２装置の間で行われてもよいし、第１装置を搭載する移動体に搭乗する乗員と第２装置を利用する利用者の間で行われてもよく、両者は同義である。

【0020】

＜基本構成＞
図１は、情報処理システム１と管理サーバ３００の使用環境等を示す図である。情報処理システム１は、移動体Ｍに搭載された第１装置（移動体装置）１００と、移動体Ｍとは異なる場所（たまたま近い場所であることは排除されない）で利用者Ｕによって利用される第２装置（利用者装置）２００とを含む。第１装置１００、第２装置２００、および管理サーバ３００のそれぞれは、ネットワークＮＷを介して互いに通信する。情報処理システム１は、管理サーバ３００を含んでもよいし、含まなくてもよい。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、移動体通信網、セルラー網等のうち少なくとも一つを含む。管理サーバ３００は、「情報管理装置」の一例である。なお、管理サーバ３００は、クラウドコンピューティングシステムに組み込まれたサーバ装置や記憶装置に実現されてもよい。この場合、クラウドコンピューティングシステムにおける複数のサーバ装置や記憶装置によって、管理サーバ３００の機能が実現されてもよい。

【0021】

管理サーバ３００は、第１装置１００と第２装置２００とのそれぞれに提供される情報を管理したり、それぞれが通信するための管理を行ったりする。管理サーバ３００は、例えば、通信装置３１０と、取得部３１５と、受付部３２０と、マッチング処理部３３０と、提供部３４０と、記憶部３５０とを備える。取得部３１５、受付部３２０、マッチング処理部３３０、及び提供部３４０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部３５０には、ユーザデータ３６０が格納されている。

【0022】

通信装置３１０は、ネットワークＮＷに接続するための通信インターフェースである。なお、通信装置３１０と第１装置１００の間の通信、および通信装置３１０と第２装置２００の間の通信は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）に即して行われる。

【0023】

取得部３１５は、ネットワークＮＷを介して、第１装置１００、第２装置２００、その他の外部装置により送信された各種情報を取得する。取得部３１５は、例えば、第１装置１００及び第２装置２００により送信されるマッチングリクエストを取得する。取得部３１５は、例えば、すでに第１装置１００とマッチングされている第２装置２００により送信されたマッチング対象を他の第１装置１００と切り替えるマッチングリクエスト（以下、スイッチングリクエスト）を取得する。

【0024】

取得部３１５は、スイッチングリクエストを送信する前に、第２装置２００の利用者Ｕが送信する周囲情報リクエストを取得する。取得部３１５は、例えば、道路交通センターなどの外部装置により送信される交通情報等に基づいて、第２装置２００とマッチングされた第１装置１００が搭載された移動体の周囲の交通状況を取得する。

【0025】

取得部３１５は、第２装置２００により送信される利用者Ｕの第１操作に応じた第１操作情報及び利用者Ｕの第２操作に応じた第２操作情報を取得する。第１操作は、第１装置１００と第２装置２００との間の情報の提供を停止させるための操作である。第２操作は、第１装置１００と第２装置２００との間の情報の提供を開始させるための操作である。

【0026】

受付部３２０は、取得部３１５により取得されたマッチングリクエスト、周囲情報リクエスト、スイッチングリクエスト、第１操作情報、及び第２操作情報を受け付ける。

【0027】

マッチング処理部３３０は、例えば、利用者Ｕから第２装置２００を介して、或いは乗員Ｐから第１装置１００を介してマッチングリクエストを通信装置３１０が受信した場合、ユーザデータ３６０を参照して乗員Ｐと利用者Ｕ（第１装置１００と第２装置２００）とのマッチングを行い、通信装置３１０を用いて、マッチングした利用者Ｕの第２装置２００に乗員Ｐの第１装置１００の通信識別情報を送信し、マッチングした乗員Ｐの第１装置１００に利用者Ｕの第２装置２００の通信識別情報を送信する。これらを受信した第１装置１００と第２装置２００との間では、例えばＵＤＰ（User Datagram Protocol）に即した、よりリアルタイム性の高い通信が実行可能となる。

【0028】

マッチング処理部３３０は、受付部３２０により受け付けられたスイッチングリクエスト及び記憶部３５０に格納されたユーザデータに基づいて、第２装置２００のマッチング対象の第１装置１００の切り替えの可否を判定する。マッチング処理部３３０は、判定結果を示す判定結果情報を生成して、第２装置２００に送信する。

【0029】

提供部３４０は、取得部３１５により取得された情報に各種情報に基づいて、第１装置１００および第２装置２００のそれぞれに提供する情報を生成し、生成した情報を対象装置に送信する。提供部３４０は、例えば、受付部３２０により周囲情報リクエストが受け付けられた場合に、取得部３１５により取得された交通情報に基づいて、交通状況画像を生成する。提供部３４０は、通信装置３１０を用いて、周囲情報リクエストを送信した第２装置２００に生成した交通状況画像を送信する。

【0030】

提供部３４０は、受付部３２０により第１操作情報が受け付けられた場合に、第１装置１００と第２装置２００との間の通信を停止させる通信停止情報を、第２装置２００及び第１装置１００にそれぞれ送信する。提供部３４０は、第１装置１００に送信する通信停止情報に、第１表示情報及び第１音量調整情報を含める。第１表示情報は、移動体Ｍから脱出する態様で利用者Ｕを仮想的に利用者表示装置１５０に表示させる情報である。第１音量調整情報は、第１表示情報に基づいて、仮想的に表示される利用者Ｕの移動体Ｍ内の位置に基づいて調整される音量の情報である。第１音量調整情報は、仮想的に表示される利用者Ｕの移動体Ｍ内の位置が定位置（例えば、助手席）に近いほど音量が大きくなる情報である。

【0031】

提供部３４０は、受付部３２０により第２操作情報が受け付けられた場合に、第１装置１００と第２装置２００との間の通信を開始させる通信開始情報を、第２装置２００及び第１装置１００にそれぞれ送信する。通信開始情報には、利用者Ｕの第２装置２００及び乗員Ｐの第１装置１００の通信識別情報が含まれる。提供部３４０は、第１装置１００に送信する通信開始情報に、第２表示情報及び第２音量調整情報を含める。第２表示情報は、移動体Ｍに突入する態様で利用者Ｕを仮想的に利用者表示装置１５０に表示させる情報である。第２音量調整情報は、第２表示情報に基づいて、仮想的に表示される利用者Ｕの移動体Ｍ内の位置に基づいて調整される音量の情報である。第２音量調整情報は、第１音量調整情報と同様、仮想的に表示される利用者Ｕの移動体Ｍ内の位置が定位置に近いほど音量が大きくなる情報である。

【0032】

記憶部３５０は、上記の各種記憶装置、或いはＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてよい。記憶部３５０には、例えば、ユーザデータ３６０、プログラム、その他各種情報が可能される。

【0033】

図２は、ユーザデータ３６０の内容の一例を示す図である。ユーザデータ３６０は、乗員リスト３６０Ａと、利用者リスト３６０Ｂとを含む。乗員リスト３６０Ａには、例えば、移動体Ｍの乗員Ｐの識別情報である乗員ＩＤ、その通信識別情報（ＩＰアドレス等）、マッチング対象となる利用者Ｕの識別情報である利用者ＩＤ及び乗員Ｐが搭乗している移動体情報が互いに対応付けられている。移動体情報には、例えば、移動体Ｍに搭載された機器情報（搭載機器情報）や、移動体Ｍの大きさや外形を示す車格情報が含まれる。また、移動体情報には、所定周期で移動体Ｍから送信される移動体Ｍの現在位置や目的地、周辺状況（例えば海沿いの道路を走行中）に関する情報が含まれてよい。

【0034】

乗員リスト３６０Ａには、乗員Ｐが設定した提供可否情報が含まれていてもよい。提供可否情報は、移動体Ｍが提供可能な情報または提供不可能な情報であり、例えば乗員Ｐにより設定される。提供可否情報は、移動体Ｍの搭載機器ごとに設定されてもよく、利用者Ｕごとに設定されてもよい。提供可否情報の例としては、例えば、「画像の提供は許可する」、「音声の提供は許可しない」、「室内画像の提供は許可するが室外画像の提供は許可しない」、「乗員の画像の提供は許可しない」、「ナビゲーション装置の使用は許可しない」等が挙げられるが、これらに限定されない。ユーザデータ３６０は、図２に示す態様に限らず如何なる態様で生成されてもよい。

【0035】

利用者リスト３６０Ｂには、例えば、利用者ＩＤ、その通信識別情報（ＩＰアドレス等）、マッチング対象となる乗員Ｐ、および利用者情報とが互いに対応付けられている。利用者情報には、体格に関する情報（例えば、身長や座高）や、体格を予測できる情報（例えば、年齢）等が含まれてよい。

【0036】

図３は、第１装置１００の構成図である。第１装置１００は、例えば、第１通信装置１１０と、第１マイク１２０と、カメラユニット１３０と、第１スピーカ１４０と、利用者表示装置１５０と、ＨＭＩ（Human machine Interface）１６０と、第１制御装置１７０とを含む。第１制御装置１７０は、移動体Ｍに搭載された制御対象機器１９０に接続される。

【0037】

第１通信装置１１０は、管理サーバ３００の通信装置３１０、および第２装置２００の第２通信装置２１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

【0038】

第１マイク１２０は、少なくとも乗員Ｐの発した音声を収集する。第１マイク１２０は、移動体Ｍの室内に設けられ、移動体Ｍの外部の音声も収集可能な感度を有するものでもよいし、移動体Ｍの室内に設けられたマイクと移動体Ｍの外部に設けられたマイクとを含んでもよい。第１マイク１２０は、収集した音声を第１制御装置１７０に出力する。

【0039】

カメラユニット１３０は、少なくとも室内カメラ１３２を含み、室外カメラ１３４を含んでもよい。室内カメラ１３２は、例えば、移動体Ｍの室内に設けられる。カメラユニット１３０は、撮像した画像を第１制御装置１７０に出力する。第１スピーカ１４０は、第１通信装置１１０を介して取得された、利用者Ｕの発した音声を出力する。カメラユニット１３０、および第１スピーカ１４０の配置等の詳細については、後に図４を参照して説明する。

【0040】

利用者表示装置１５０は、利用者Ｕが移動体Ｍの室内に存在するかのように仮想的に利用者Ｕを表示する。例えば、利用者表示装置１５０は、ホログラムを出現させたり、移動体Ｍのミラーやウインドウに相当する部分に利用者Ｕを表示させたりする。仮想的に表示される利用者Ｕの定位置は、例えば、乗員Ｐが着座する運転席に隣接する助手席である。助手席に同乗者がある場合の定位置は、例えば後部座席である。

【0041】

利用者表示装置１５０は、ＨＭＩ１６０が管理サーバ３００により送信された第１表示情報を受信した場合に、移動体Ｍから脱出する態様で利用者Ｕを仮想的に移動体Ｍの室内に表示させる。利用者表示装置１５０は、ＨＭＩ１６０が管理サーバ３００により送信された第２表示情報を受信した場合に、移動体Ｍに突入する態様で利用者Ｕを仮想的に移動体Ｍの室内に表示させる。

【0042】

ＨＭＩ１６０は、タッチパネルや音声応答装置（エージェント装置）等である。ＨＭＩ１６０は、第１装置１００に対する乗員Ｐの各種指示を受け付け、各種指示情報を乗員Ｐに提供する。

【0043】

第１制御装置１７０は、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第１装置１００の各部を制御する。第１制御装置１７０は、第１マイク１２０により出力された音声に関する音声情報を生成する。第１制御装置１７０は、カメラユニット１３０により出力された画像に関する画像情報を生成する。第１通信装置１１０は、第１制御装置１７０により生成された音声情報及び画像情報を第２通信装置２１０及び通信装置３１０に送信する。

【0044】

制御対象機器１９０は、例えば、移動体Ｍに搭載された目的地までの経路を案内するナビゲーション装置や、移動体Ｍの操舵または速度のうち一方または双方を制御して乗員Ｐの運転を支援する運転支援装置などの車載機器である。制御対象機器１９０には、座席の位置（前後左右）や向き、高さを調整可能なシート駆動装置が含まれてよい。

【0045】

図４は、移動体Ｍにおける第１装置１００の一部の配置例を示す図である。室内カメラ１３２は、例えば、アタッチメント１３２Ａを介して助手席Ｓ２（「所定の座席」の一例）のネックピローに取り付けられ、助手席Ｓ２のバックレストから若干、移動体Ｍの進行方向側に乖離した位置に設けられる。室内カメラ１３２は、広角レンズを有し、図中のハッチングされた領域１３２Ｂで表される範囲を撮像可能である。室内カメラ１３２は、移動体Ｍの室内だけでなく、ウインドウを介して室外も撮影可能である。以下の説明では助手席Ｓ２が所定の座席であるものとするが、所定の座席は後部座席などの他の座席であってもよい。

【0046】

室外カメラ１３４は、例えば、複数の子室外カメラ１３４－１～１３４－４を含む。複数の子室外カメラ１３４－１～１３４－４の撮像した画像を合成することで、移動体Ｍの外部を撮像したパノラマ画像のような画像が得られる。室外カメラ１３４は、これらに代えて（或いは、加えて）、移動体Ｍのルーフ上に設けられた広角カメラを含んでもよい。なお室内カメラ１３２として、助手席Ｓ２の後方を撮像可能なカメラが追加されてもよく、後述する移動体画像は、第１制御装置１７０により、一以上の室内カメラ１３２の撮像した画像を結合して３６０度のパノラマ画像として生成されてもよいし、室内カメラ１３２の撮像した画像と室外カメラ１３４の撮像した画像を適宜結合して３６０度のパノラマ画像として生成されてもよい。

【0047】

第１スピーカ１４０は、第１通信装置１１０を介して取得された利用者Ｕの音声を出力する。第１スピーカ１４０は、例えば、複数の子第１スピーカ１４０－１～１４０－５を含む。例えば、子第１スピーカ１４０－１はインストルメントパネル中央部に、子第１スピーカ１４０－２はインストルメントパネル左端部に、子第１スピーカ１４０－３はインストルメントパネル右端部に、子第１スピーカ１４０－４は左側ドア下部に、子第１スピーカ１４０－５は右側ドア下部に、それぞれ配置される。第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、例えば、子第１スピーカ１４０－２および子第１スピーカ１４０－４から同程度のボリュームで音声を出力させ、その他の子第１スピーカをオフにすることで、運転席Ｓ１に着座した乗員Ｐに対して、助手席Ｓ２から音声が聞こえるように音像定位させる。また、音像定位の方法はボリュームの調整に限らず、それぞれの子第１スピーカが出力する音の位相をずらすことで行われてもよい。例えば、左側から聞こえるように音像定位させる場合、左側の子第１スピーカから音を出力させるタイミングを、右側の子第１スピーカから同じ音を出力させるタイミングよりもわずかに早くすればよい。

【0048】

また、第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、乗員Ｐに対して、助手席Ｓ２上の利用者Ｕの頭部の高さに応じた高さの位置から音声が聞こえるように音像定位させて、第１スピーカ１４０に利用者Ｕの発した音声を出力させてもよい。この場合、第１スピーカ１４０は高さの異なる複数の子第１スピーカ１４０－ｋ（ｋは複数の自然数）を有する必要がある。

【0049】

図５は、第２装置２００の構成図である。第２装置２００は、例えば、第２通信装置２１０と、第２マイク２２０と、検知装置２３０と、第２スピーカ２４０と、移動体画像表示装置２５０と、ＨＭＩ２６０と、第２制御装置２７０とを含む。検知装置２３０は、例えば、指向方向検知装置２３２と、頭部位置検知装置２３４と、モーションセンサ２３６とを含む。

【0050】

第２通信装置２１０は、管理サーバ３００の通信装置３１０、および第１装置１００の第１通信装置１１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

【0051】

第２マイク２２０は、利用者Ｕの発した音声を収集する。第２マイク２２０の収集した音声は、例えば、第２制御装置２７０を経由して、第２通信装置２１０によって第１通信装置１１０に送信される。

【0052】

指向方向検知装置２３２は、指向方向を検知するための装置である。指向方向とは、利用者Ｕの顔の向きまたは視線の向き、或いはそれらの双方に基づく向きである。以下では指向方向は、水平面内での角度、つまり上下方向の成分を有さない角度であるものとするが、指向方向は、上下方向の成分も含む角度であってもよい。指向方向検知装置２３２は、後述するＶＲゴーグルに取り付けられた物理センサ（例えば、加速度センサ、ジャイロセンサなど）を含んでもよいし、利用者Ｕの頭部の複数の位置を検出する赤外線センサ、或いは利用者Ｕの頭部を撮像するカメラであってもよい。いずれの場合も第２制御装置２７０は、指向方向検知装置２３２から入力された情報に基づいて指向方向を算出する。これについて種々の技術が公知となっているため詳細な説明を省略する。

【0053】

頭部位置検知装置２３４は、利用者Ｕの頭部の位置（高さ）を検知するための装置である。例えば、利用者Ｕが着座する椅子の周囲に設けられた一以上の赤外線センサ、或いは光学センサが頭部位置検知装置２３４として用いられる。この場合、第２制御装置２７０は、一以上の赤外線センサ、或いは光学センサによる検出信号の有無に基づいて利用者Ｕの頭部の位置を検知する。また、頭部位置検知装置２３４は、ＶＲゴーグルに取り付けられた加速度センサでもよい。この場合、第２制御装置２７０は、加速度センサの出力から重力加速度を差し引いたものを積分することで利用者Ｕの頭部の位置を検知する。このように取得される頭部の位置の情報は、高さ情報として第２制御装置２７０に提供される。利用者Ｕの頭部の位置は、ＨＭＩ２６０に対する利用者Ｕの操作に基づいて取得されてもよい。例えば、利用者Ｕは身長を数字でＨＭＩ２６０に入力してもよいし、ＨＭＩ２６０に含まれるダイヤルスイッチを用いて身長を入力してもよい。これらの場合、身長から頭部の位置すなわち高さ情報が計算される。また、利用者Ｕは、連続値ではなく体格：大／中／小といった離散値をＨＭＩ２６０に入力してもよい。この場合、体格を示す情報に基づいて高さ情報が取得される。また、利用者Ｕの頭部の高さを特段、取得せず、一般的な成人の体格（男女別であってよい）に基づいて簡易的に利用者Ｕの頭部の高さが取得されてもよい。

【0054】

モーションセンサ２３６は、利用者Ｕが行うジェスチャー操作を認識するための装置である。例えば、利用者Ｕの上半身を撮像するカメラがモーションセンサ２３６として用いられる。この場合、第２制御装置は、カメラが撮像した画像から利用者Ｕの身体の特徴点（指先、手首、肘など）を抽出し、特徴点の動きに基づいて利用者Ｕのジェスチャー操作を認識する。

【0055】

第２スピーカ２４０は、第２通信装置２１０を介して取得された、乗員Ｐの発した音声を出力する。第２スピーカ２４０は、例えば音声の聞こえる方向を変更する機能を有する。第２制御装置２７０は、利用者Ｕに対して、助手席Ｓ２からみた乗員Ｐの位置から音声が聞こえるように、第２スピーカに音声を出力させる。第２スピーカ２４０は、複数の子第２スピーカ２４０－ｎ（ｎは複数の自然数）を含み、第２制御装置２７０がそれぞれの子第２スピーカ２４０－ｎのボリュームを調整することで音像定位がなされてもよいし、ＶＲゴーグルにヘッドホンが付随している場合はヘッドホンの機能を利用して音像定位がなされてもよい。

【0056】

移動体画像表示装置２５０は、カメラユニット１３０が撮像した画像（前述した結合処理が行われた画像であってもよく、以下では移動体画像と称する）のうち、助手席から見た指向方向に対応する画像を表示する。図６は、指向方向に対応する画像について説明するための図である。この図の例では、ＶＲゴーグル２５５に指向方向検知装置２３２、頭部位置検知装置２３４としての物理センサ、および移動体画像表示装置２５０が含まれている。第２制御装置２７０は、予めキャリブレーションされた方向を基準方向としてＶＲゴーグル２５５の向く方向を指向方向φとして検知する。係る機能については既に種々の手法が公知となっているため詳細な説明を省略する。

【0057】

移動体画像表示装置２５０は、移動体画像Ａ１（図では２４０度程度の角度を有するが、前述したように結合処理によって画角が拡張されてもよい）のうち、指向方向φを中心としたプラスマイナスαの角度範囲の画像Ａ２を利用者Ｕに向けて表示する。

【0058】

移動体画像表示装置２５０は、管理サーバ３００により送信される各種情報を、表示画面に表示可能とされている。移動体画像表示装置２５０に表示可能となる画像としては、上記のカメラユニット１３０が撮像した画像等の他、管理サーバ３００により送信される判定結果情報及び交通状況画像が含まれる。判定結果情報は、スイッチングリクエストを送信した場合のスイッチング（第１装置１００の切り替え）の可否を示す情報である。交通状況画像は、所定の領域、例えば移動体Ｍを含む複数の移動体の交通状況及びそれらの移動体が走行する領域を俯瞰した俯瞰画像を地図上に表現させた画像である。

【0059】

図７は、移動体画像表示装置２５０に表示される交通状況画像の一例を示す図である。図７は、移動体画像表示装置２５０に表示され、交通状況画像ＧＡ１０及び切替可能移動体リスト画像ＧＡ２０を含む画像である。交通状況画像ＧＡ１０には、例えば、道路画像ＧＡ１１と、対象移動体画像ＧＡ１２と、通信可能移動体画像ＧＡ１３と、通信不可能移動体画像ＧＡ１４と、切替可能移動体画像ＧＡ１５とが含まれる。

【0060】

道路画像ＧＡ１１は、所定の領域を俯瞰した地図上における道路を示す画像である。対象移動体画像ＧＡ１２は、現在、第２装置２００と通信している第１装置１００が搭載された移動体を示す画像である。通信可能移動体画像ＧＡ１３は、第２装置２００と通信可能である第１装置１００を搭載する移動体を示す画像である。通信不可能移動体画像ＧＡ１４は、第２装置２００と通信不可能である第１装置１００を搭載する移動体を示す画像である。切替可能移動体画像ＧＡ１５は、第２装置２００とマッチング可能である第１装置１００を搭載する移動体を示す画像である。

【0061】

対象移動体画像ＧＡ１２、通信可能移動体画像ＧＡ１３、通信不可能移動体画像ＧＡ１４、及び切替可能移動体画像ＧＡ１５は、各画像が示す移動体にそれぞれ搭載された第１装置１００の第２装置２００に対する通信の可否に応じて表示態様が変化されて交通状況画像ＧＡ１０上に表示される。例えば、切替可能移動体画像ＧＡ１５は、対象移動体画像ＧＡ１２、通信可能移動体画像ＧＡ１３、及び通信不可能移動体画像ＧＡ１４より目立つように強調され、例えば、高い明度をもって表示される。

【0062】

対象移動体画像ＧＡ１２は、切替可能移動体画像ＧＡ１５と同等または切替可能移動体画像ＧＡ１５以上に強調されて表示されていてもよい。通信可能移動体画像ＧＡ１３及び通信不可能移動体画像ＧＡ１４は、同じ態様で表示されてもよい。切替可能移動体画像ＧＡ１５の近傍には、その移動体を識別するための識別符号がアルファベット１文字で表示されている。識別符号は、アルファベット以外の文字等でもよいし、記号や色等でもよい。通信の可否は、例えば、ユーザデータ３６０に含まれるマッチング対象となる利用者Ｕ及び乗員Ｐの関係に基づいてもよいし、乗員Ｐが設定する提供可否情報に基づいてもよい。

【0063】

切替可能移動体リスト画像ＧＡ２０は、第２装置２００とマッチング可能である第１装置１００を搭載する移動体に関する文字情報である。切替可能移動体リスト画像ＧＡ２０には、交通状況画像ＧＡ１０に含まれる切替可能移動体画像ＧＡ１５の近傍に表示されている識別符号及びその移動体に搭乗する乗員Ｐに付された乗員ＩＤ及び乗員Ｐの利用者名が含まれる。利用者名は、例えば、利用者Ｕがあらかじめ登録した自己の名称である。切替可能移動体リスト画像ＧＡ２０は、例えば、交通状況画像ＧＡ１０の隅部、この例では右隅部に表示される。

【0064】

ＨＭＩ２６０は、タッチパネルや音声応答装置（エージェント装置）、或いは上記したスイッチ等である。ＨＭＩ２６０は、第２装置２００に対する利用者Ｕの各種指示を受け付ける。ＨＭＩ２６０は、例えば、マッチングリクエスト操作、周囲情報リクエスト操作、第１操作、及び第２操作を受け付ける。

【0065】

マッチングリクエスト操作は、マッチングリクエストを送信させるための操作である。周囲情報リクエスト操作は、周囲情報リクエストを送信させるための操作である。第１操作及び第２操作は、上述の通り、それぞれ第１装置１００と第２装置２００との間の情報の提供を停止及び開始させるための操作である。

【0066】

第２制御装置２７０は、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第２装置２００の各部を制御する。第２装置２００は、図５に示す全ての機能がＶＲゴーグルに一体に構成されていてもよい。

【0067】

＜機能構成＞
以下、第１制御装置１７０と第２制御装置２７０の機能構成について説明する。なお、以下に示す第１例および第２例は、主に第１制御装置１７０と第２制御装置２７０との間で提供される情報の生成や送信等を行うものとし、管理サーバ３００は乗員Ｐと利用者Ｕとの擬似乗車のマッチングを管理するものとする。
［第１例］
図８は、第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。第１例において、第１制御装置１７０は、マッチングリクエスト／承諾部１７１と、音声出力制御部１７２と、画像送信部１７３と、搭載機器連携部１７４とを含む。第２制御装置２７０は、マッチングリクエスト／承諾部２７１と、音声出力制御部２７２と、指向方向検知部２７３と、頭部位置検知部２７４と、ジェスチャー入力検知部２７５と、画像編集部２７６と、移動体画像表示制御部２７７とを含む。これらの機能部は、例えば、ＣＰＵなどのプロセッサがプログラム（命令群）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0068】

マッチングリクエスト／承諾部１７１は、ＨＭＩ１６０を用いて乗員Ｐからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ１６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部１７１は、マッチングが成立した利用者Ｕの第２装置２００を通信相手とするように第１通信装置１１０を制御する。マッチングリクエスト／承諾部１７１は、例えば、管理サーバ３００から得られるマッチングリクエストに対する承諾の際、乗員Ｐからどのような情報の提供を許可するか否かを示す提供可否情報の設定を受け付けてもよい。マッチングリクエスト／承諾部１７１は、利用者Ｕの指示に応じて、マッチング対象となる利用者Ｕ（または第２装置２００）を特定したり制限したりできるようにしてもよい。この場合、第１通信装置１１０は、マッチング対象の特定や制限の情報を管理サーバ３００に送信する。

【0069】

音声出力制御部１７２は、前述したように第１スピーカ１４０を制御する。

【0070】

画像送信部１７３は、第２装置２００との通信が開始した後、第１通信装置１１０を用いて、第２装置２００に移動体画像Ａ１を送信する。移動体画像Ａ１には、例えば、室内カメラ１３２で撮影された室内画像および／または室外カメラ１３４により撮像された室外画像が含まれてよい。

【0071】

搭載機器連携部１７４は、第２装置２００から入力された指示信号に基づいて、制御対象機器１９０を制御する。搭載機器連携部１７４は、乗員Ｐから利用者Ｕによる制御対象機器１９０の制御が許可されている場合に制御を行ってもよい。

【0072】

マッチングリクエスト／承諾部２７１は、ＨＭＩ２６０を用いて利用者Ｕからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ２６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部２７１は、マッチングが成立した乗員Ｐの第１装置１００を通信相手とするように第２通信装置２１０を制御する。マッチングリクエスト／承諾部２７１は、例えば、どのような情報が提供されるのかを利用者Ｕに提示して確認させた上で、マッチング対象とするか否かの指示を受け付けてもよい。マッチングリクエスト／承諾部２７１は、利用者Ｕの指示に応じて、マッチング対象となる乗員Ｐ（または第１装置１００）を特定したり制限したりできるようにしてもよい。この場合、第２通信装置２１０は、マッチング対象の特定や制限の情報を管理サーバ３００に送信する。

【0073】

音声出力制御部２７２は、前述したように第２スピーカ２４０を制御する。

【0074】

指向方向検知部２７３は、指向方向検知装置２３２の出力に基づいて、指向方向φを検知する。頭部位置検知部２７４は、頭部位置検知装置２３４の出力に基づいて、利用者Ｕの頭部の高さを検知する。頭部位置は、三次元の座標として表されてもよいし、単に頭部の高さが頭部位置として検知されてもよい。ジェスチャー入力検知部２７５は、モーションセンサ２３６の出力に基づいて、利用者Ｕのジェスチャー入力を検知する。

【0075】

画像編集部２７６は、例えば、移動体画像Ａ１から、助手席Ｓ２から見た指向方向φに対応する画像Ａ２を切り出す処理を行う（図６）。図６の例では、利用者Ｕの頭部の左右に動きに対する指向方向φを示しているが、頭部の上下方向の動きに対する指向方向に対応する画像を切り出す処理を行ってもよい。移動体画像表示制御部２７７は、画像編集部２７６によって切り出された画像Ａ２を、移動体画像表示装置２５０に表示させる。このとき、画像編集部２７６は、利用者Ｕの頭部の高さ情報が示す高さから見た指向方向φに対応する画像を移動体画像表示装置２５０に表示させてもよい。例えば、画像編集部２７６は、利用者Ｕの頭部の基準位置からの距離（例えば、上方向の移動量または横方向の移動量）に応じて、室内画像または室外画像を切り替えて表示させる。

【0076】

［第２例］
図９は、第１制御装置１７０と第２制御装置２７０の機能構成の第２例を示す図である。図８の第１例と比較すると、第１制御装置１７０が画像編集部１７５を含み、第２制御装置２７０が画像編集部２７６を含まず指向方向送信部２７８を含む点で相違する。その他の構成要素に関しては基本的に第１例と同じ機能を有するため再度の説明を省略する。

【0077】

指向方向送信部２７８は、指向方向検知部２７３が検知した指向方向φを、第２通信装置２１０を用いて第１装置１００に送信する。

【0078】

画像編集部１７５は、移動体画像Ａ１から、助手席から見た指向方向φ（第２装置２００から送信されてきたもの）に対応する画像Ａ２を切り出す処理を行う（図６）。このとき、画像編集部１７５は、利用者Ｕの頭部の高さ情報を第２装置２００から取得しておき、高さ情報が示す高さから見た指向方向φに対応する画像Ａ２を切り出す処理を行ってもよい。

【0079】

第２例における画像送信部１７３は、第１通信装置１１０を用いて、第２装置２００に、画像編集部１７５によって切り出された画像Ａ２を送信する。そして、移動体画像表示制御部２７７は、第１装置１００から送信されてきた画像Ａ２を移動体画像表示装置２５０に表示させる。

【0080】

＜マッチングに関する処理＞
次に、実施形態において、すでに第１装置１００（切替前第１装置１００－１）とマッチングされている第２装置２００が、マッチングされる第１装置１００を他の第１装置１００（切替後第１装置１００－２）と切り替え、利用者Ｕが擬似乗車する移動体Ｍを乗り換える処理について説明する。図１０は、情報処理システム１により実行される処理の一例を示すシーケンス図である。

【0081】

第１装置１００が切り換えられる前、例えば、第２装置２００は、切替前第１装置１００－１と通信する（ステップＳ１０１）。続いて、第１装置１００の切替を試みる利用者Ｕは、切替前第１装置１００－１の周囲における移動体Ｍの位置を把握していない場合に、切替の対象となる第１装置１００の位置を知るために、周囲情報リクエスト操作を行う。第２装置２００は、利用者Ｕの周囲情報リクエスト操作に基づいて周囲情報リクエストを生成する（ステップＳ１０３）。第２装置２００は生成した周囲情報リクエストを管理サーバ３００に送信する（ステップＳ１０５）。

【0082】

管理サーバ３００は、第２装置２００により送信された周囲情報リクエストを、通信装置３１０を利用して受信して取得部３１５により取得する。周囲情報リクエストを取得した管理サーバ３００は、提供部３４０において、周囲情報リクエストを送信した利用者Ｕが擬似乗車する切替前第１装置１００－１を搭載した移動体Ｍの位置を特定し、移動体Ｍの周囲における交通情報等に基づいて交通状況を取得して交通状況画像を生成する（ステップＳ１０７）。管理サーバ３００は、提供部３４０により生成した交通状況画像を、通信装置３１０を用いて第２装置２００に送信する（ステップＳ１０９）。

【0083】

第２装置２００は、管理サーバ３００により送信された交通状況画像を、移動体画像表示装置２５０に表示させる（ステップＳ１１１）。図７に示す交通状況画像ＧＡ１０において、切替可能移動体画像ＧＡ１５は、対象移動体画像ＧＡ１２、通信可能移動体画像ＧＡ１３、及び通信不可能移動体画像ＧＡ１４より目立つように強調されて表示されている。このため、移動体画像表示装置２５０に表示された交通状況画像を見ることにより、利用者Ｕは、擬似乗車中の移動体Ｍの位置と、切替可能となる移動体Ｍの位置を容易に認識することができる。

【0084】

例えば、切替前第１装置１００－１を搭載した移動体Ｍが渋滞の中を走行しているときに、渋滞の先頭の移動体Ｍに搭載された第１装置１００をマッチング対象とするために、利用者Ｕは、移動体画像表示装置２５０に表示された交通状況画像を確認することにより、渋滞の先頭の移動体Ｍを認識することができる。第２装置２００は、交通状況画像中における切替可能移動体画像ＧＡ１５に付された識別符号が示すアルファベットを、第２スピーカ２４０に音声で出力させてもよい。

【0085】

第１装置１００の切替を試みる利用者Ｕは、切替対象となるマッチング対象を指定するマッチングリクエスト操作を行う。マッチングリクエスト操作は、例えば、図７に示す交通状況画像に含まれる切替可能移動体画像ＧＡ１５に付された識別符号を指定する操作である。利用者Ｕは、例えば、ＨＭＩ２６０に対する操作により、マッチング対象とする移動体Ｍを、例えば指定番号を特定することにより指定する。第２装置２００は、利用者Ｕのマッチングリクエスト操作に基づいてスイッチングリクエストを生成する（ステップＳ１１３）。第２装置２００は生成したスイッチングリクエストを管理サーバ３００に送信する（ステップＳ１１５）。なお、例えば、マッチング対象となる第１装置１００を搭載した移動体Ｍを目視可能であり、切替前第１装置１００－１の周囲における移動体Ｍの位置を把握している利用者Ｕは、周囲情報リクエストを行うことなく、スイッチングリクエストを行うようにしてもよい。この場合、ステップＳ１０３～ステップＳ１１１の処理は省略されてよい。また、第２装置２００は、渋滞状況の確認など、特定のタスクを行う上で適したスイッチング候補を利用者Ｕに自動的にレコメンドしてもよい。その場合、図１０に示す処理のうち、ステップＳ１０３～ステップＳ１１１の処理は省略されてもよい。

【0086】

管理サーバ３００は、第２装置２００により送信されたスイッチングリクエストを、通信装置３１０を利用して受信して取得部３１５により取得する。スイッチングリクエストを取得した管理サーバ３００は、マッチング処理部３３０において、切替の可否を判定する（ステップＳ１１７）。切替の可否を判定するにあたり、マッチング処理部３３０は、記憶部３５０に格納されたユーザデータ３６０を参照し、スイッチングリクエストにより指定される第１装置１００が、スイッチングリクエストを送信した第２装置２００と通信可能な第１装置１００であるかを判定する。マッチング処理部３３０は、判定の結果としての判定結果情報を生成し（ステップＳ１１９）、第２装置２００に、通信装置３１０を利用して送信する（ステップＳ１２１）。

【0087】

第２装置２００は、管理サーバ３００により送信された判定結果情報を、移動体画像表示装置２５０に表示させる（ステップＳ１２３）。移動体画像表示装置２５０に表示された判定結果情報を見ることにより、利用者Ｕは、スイッチングリクエストの対象となる移動体Ｍへの擬似乗車の可否を容易に認識することができる。第２装置２００は、判定結果情報を、第２スピーカ２４０に音声で出力させてもよい。

【0088】

利用者Ｕは、マッチング対象を切り替えるために、切替前第１装置１００－１との間の情報の提供を停止させるための第１操作を行う。第２装置２００は、利用者Ｕの第１操作に基づいて第１操作情報を生成する（ステップＳ１２５）。第２装置２００は生成した第１操作情報を管理サーバ３００に送信する（ステップＳ１２７）。

【0089】

管理サーバ３００は、送信された第１操作情報を、通信装置３１０を利用して受信して取得部３１５により取得する。第１操作情報を取得した管理サーバ３００は、提供部３４０において、通信停止情報を生成する（ステップＳ１２９）。提供部３４０は、生成した通信停止情報を切替前第１装置１００－１及び第２装置２００に、通信装置３１０を利用して送信する（ステップＳ１３１）。管理サーバ３００は、切替前第１装置１００－１に送信する通信停止情報に第１表示情報を含める。

【0090】

切替前第１装置１００－１及び第２装置２００は、通信装置３１０により送信された通信停止情報を第１通信装置１１０及び第２通信装置２１０によりそれぞれ受信する。切替前第１装置１００－１及び第２装置２００における第１制御装置１７０及び第２制御装置２７０は、それぞれ第２装置２００と切替前第１装置１００－１との間の通信を停止させる（ステップＳ１３３）。

【0091】

また、切替前第１装置１００－１は、管理サーバ３００により送信された第１表示情報に基づいて、利用者表示装置１５０により、仮想的に表示された利用者Ｕが、切替前第１装置１００－１が搭載された移動体Ｍから脱出する態様の利用者脱出表示を行う（ステップＳ１３５）。利用者脱出表示を行うことにより、利用者Ｕが切替前第１装置１００－１が搭載された移動体Ｍから離脱することを乗員Ｐに視覚的に認識させることができる。

【0092】

一方、第２装置２００において、利用者Ｕは、マッチング対象を切り替えた後に、切替後第１装置１００－２との間の情報の提供を開始させるための第２操作を行う。第２装置２００は、利用者Ｕの第２操作に基づいて第２操作情報を生成する（ステップＳ１３７）。第２装置２００は生成した第２操作情報を管理サーバ３００に送信する（ステップＳ１３９）。

【0093】

管理サーバ３００は、送信された第２操作情報を、通信装置３１０を利用して受信して取得部３１５により取得する。第２操作情報を取得した管理サーバ３００は、提供部３４０において、通信開始情報を生成する（ステップＳ１４１）。提供部３４０は、生成した通信開始情報を第２装置２００及び切替後第１装置１００－２に、通信装置３１０を利用して送信する（ステップＳ１４３）。管理サーバ３００は、切替後第１装置１００－２に送信する通信停止情報に第２表示情報を含める。

【0094】

第２装置２００及び切替後第１装置１００－２は、通信装置３１０により送信された通信開始情報を第２通信装置２１０及び第１通信装置１１０によりそれぞれ受信する。通信開始情報を受信した第２装置２００は、移動体画像表示装置２５０及び第２スピーカにより、切替後第１装置１００－２との通信を開始する通信開始情報を利用者Ｕに通知する（ステップＳ１４５）。

【0095】

一方、通信開始情報を受信した切替後第１装置１００－２は、通信開始情報に含まれる第２表示情報に基づいて、利用者表示装置１５０により、仮想的に表示された利用者Ｕが、切替後第１装置１００－２が搭載された移動体Ｍに突入する態様の利用者突入表示を行う（ステップＳ１４７）。利用者表示装置１５０は、利用者突入表示を行った後、移動体Ｍの室内における仮想的な利用者Ｕの表示を継続する。

【0096】

続いて、切替後第１装置１００－２は、利用者表示装置１５０により、継続して表示される仮想的な利用者Ｕが擬似的に音声を発するようにして第２装置２００との通信を開始する通信開始情報を乗員Ｐに通知する（ステップＳ１４９）。その後、切替後第１装置１００－２と第２装置２００との通信を開始させる（ステップＳ１５１）。

【0097】

上記の実施形態において、第１装置１００は、乗員Ｐの指示に従い、通信可能となる第２装置２００を制限できるようにしてもよい。この場合、管理サーバ３００は、ステップＳ１１７において第１装置１００が、第２装置２００と通信可能な第１装置１００であるかを判定する際、スイッチングリクエストにより指定された第１装置１００に第２装置２００との通信を許可するか否かを問い合わせてもよい。そして、通信を許可するとした場合に、第１装置１００との通信が可能である判定結果が得られるようにしてもよい。

【0098】

また、マッチング対象となる第１装置１００を切り替える際に、第１装置１００における利用者表示装置１５０により利用者脱出表示や利用者突入表示を行うが、第２装置２００における移動体画像表示装置２５０により利用者脱出表示や利用者突入表示に相当する表示を行ってもよい。移動体脱出表示に相当する表示としては、例えば、仮想的に利用者Ｕが移動体Ｍから脱出する際に視認する風景の表示としてよい。また、移動体突入表示に相当する表示としては、例えば、仮想的に利用者Ｕが移動体Ｍに突入する際に視認する風景の表示としてよい。

【0099】

また、第１装置１００を搭載した移動体Ｍにおける第１マイク１２０により収集された移動体Ｍ内の音声を第１装置１００が管理サーバ３００に送信して管理サーバ３００が取得できるようにしてもよい。このとき、例えば、第２装置２００により周囲情報リクエストが送信された場合に、管理サーバ３００は、交通状況画像とともに、取得した移動体Ｍの音声を移動体Ｍごとに第２装置２００に送信し、第２装置２００の第２スピーカ２４０により再生可能となるようにしてもよい。

【0100】

なお、情報処理システム１において、利用者Ｕが助手席Ｓ２から見た任意の方向を視認できるものとして説明したが、例えばマッチングの際の取り決めや乗員Ｐの提供可否の設定などによって、利用者Ｕが視認可能な方向に制限が設けられてもよい。例えば、乗員Ｐの側で、移動体Ｍの進行方向の風景、あるいは運転席Ｓ１と反対側の風景は提供してもよいが、自身の姿は表示させたくない、といった要望が発生する場合がある。これは、乗員Ｐと利用者Ｕが、家族、友人といった関係になく、移動体Ｍのドライブフィーリングを確認したい、或いは所望の街の風景を視認したいといったニーズに応える場合を想定したものである。この場合、管理サーバ３００のマッチング処理部３３０または提供部３４０がマッチングなどの処理を行う際に、そのような制限が設定され、第１制御装置１７０または第２制御装置２７０が設定に応じて、視認させない角度範囲をマスクしたり、或いは指向方向φが制限された方向に向かないように補正を行ったりする。また、このような制限に関する情報は、乗員Ｐのプライバシーに関するものであるため、第１装置１００の側で設定されてもよい。

【0101】

また、移動体画像表示装置２５０は、カメラユニット１３０が撮像した画像のうち移動体Ｍの室内の所定物品を写した部分を、コンピュータ処理によって描画された画像（ＣＧ画像）に置換して表示してもよい。図１１は、置換画像を表示することの一例を示す図である。図中、ＯＢはナビゲーション表示等を行う表示装置であり、「所定物品」の一例である。表示装置の表示画面を撮像した画像をそのまま表示すると画像がボケたり光の反射で視認性が低下する場合がある。このため、移動体画像表示装置２５０は、係る表示装置の表示画面を構成するためのデータ、或いは移動体Ｍにおけるコンピュータ処理によって描画された画像データを第１装置１００から取得し、データからコンピュータ処理によって再描画した画像、或いは取得した画像データを、カメラユニット１３０が撮像した画像（を編集したもの）に埋め込んで表示してもよい。この場合、第１装置１００と第２装置２００の間で所定物品となる移動体Ｍの室内の物品の位置について予め共有がされており、移動体画像表示制御部２７７は、移動体画像表示装置２５０に表示させる画像に所定物品が含まれるかどうかを例えば指向方向φに基づいて判定し、含まれると判定した場合に上記のように画像の置換を行う。また、「所定物品」は、乗員Ｐの頭部または顔であってもよい。その場合、乗員Ｐの表示に応じてアバター等のＣＧ画像が変更されてもよい。なお、上述した画像データ（ＣＧ画像）等の少なくとも一部は、管理サーバ３００の提供情報ＤＢから提供されてよい。

【0102】

＜まとめ＞
以上のように構成される情報処理システム１によれば、利用者Ｕにより利用される第２装置２００と通信可能となる移動体Ｍに搭載された第１装置１００が複数ある場合でも、第２装置２００と第１装置１００の関係を調整しやすくすることができる。また、情報処理システム１によれば、移動体Ｍの乗員Ｐと、移動体Ｍとは異なる場所にいる利用者Ｕとの双方に与える臨場感を高めることができる。また、実施形態によれば、利用者Ｕの視認性と乗員Ｐの安全性を向上させ、延いては交通の安全性をより一層改善して持続可能な輸送システムの発展に寄与することができる。実施形態では、利用者Ｕに対して、助手席Ｓ２から見た自身の指向方向φに対応する画像が表示されるので、利用者Ｕは、あたかも助手席Ｓ２に着座して周囲を見渡したような風景を視認することができる。また、第１スピーカ１４０が、乗員Ｐに対して、助手席Ｓ２から音声が聞こえるように音像定位させて、利用者Ｕの発し音声を出力することで、乗員Ｐは、利用者Ｕが助手席Ｓ２に居るような感覚で利用者Ｕと会話を行うことができる。更に、第２スピーカ２４０が、利用者Ｕに対し、助手席Ｓ２からみた乗員Ｐの位置から音声が聞こえるように音像定位させて、乗員Ｐの発した音声を出力することで、利用者Ｕは、自身が助手席Ｓ２に居るような感覚で乗員Ｐとの会話を行うことができる。

【0103】

＜利用例＞
情報処理システム１は、以下のような態様で利用可能である。

【0104】

（Ａ）乗員Ｐと利用者Ｕが家族、友人などの関係にあり、バーチャルドライブを利用者Ｕに提供する態様。利用者Ｕは、画像を見ながら移動体Ｍの周囲の風景等について乗員Ｐと会話することができる。

【0105】

（Ｂ）乗員Ｐが一般利用者、利用者Ｕが道案内サービス、運転指導サービスなどの提供者である態様。利用者Ｕは、移動体Ｍの周囲の風景を見ながらナビゲーション装置では分かりにくい、或いは地図に載っていないような場所における道案内を行ったり、運転操作の指導を行ったりすることができる。

【0106】

（Ｃ）乗員Ｐが有名人、利用者Ｕが一般利用者であり、商業ベースのバーチャルドライブを利用者Ｕに提供する態様。この場合、一人の乗員Ｐに対して複数の利用者Ｕが同時に対応付けられ、例えば利用者Ｕの側からの音声の転送はオフに設定されてよい。

【0107】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0108】

１ 情報処理システム
１００ 第１装置
１１０ 第１通信装置
１２０ 第１マイク
１３０ カメラユニット
１３２ 室内カメラ
１３４ 室外カメラ
１４０ 第１スピーカ
１５０ 利用者表示装置
１６０ ＨＭＩ
１７０ 第１制御装置
１９０ 制御対象機器
２００ 第２装置
２１０ 第２通信装置
２２０ 第２マイク
２３０ 検知装置
２３２ 指向方向検知装置
２３４ 頭部位置検知装置
２３６ モーションセンサ
２４０ 第２スピーカ
２５０ 移動体画像表示装置
２６０ ＨＭＩ
２７０ 第２制御装置
３００ 管理サーバ
３１０ 通信装置
３１５ 取得部
３２０ 受付部
３３０ マッチング処理部
３４０ 提供部
３５０ 記憶部
３６０ ユーザデータ
Ｍ 移動体
Ｐ 乗員

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】