(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130741
(43)【公開日】2024-09-30
(54)【発明の名称】情報管理装置、情報管理方法、およびプログラム
(51)【国際特許分類】
G08G 1/09 20060101AFI20240920BHJP
G16Y 40/10 20200101ALI20240920BHJP
G16Y 20/20 20200101ALI20240920BHJP
G16Y 10/40 20200101ALI20240920BHJP
【FI】
G08G1/09 H
G16Y40/10
G16Y20/20
G16Y10/40
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023040632
(22)【出願日】2023-03-15
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】丸山 健太
(72)【発明者】
【氏名】尾中 潤一郎
(72)【発明者】
【氏名】ラジャ ゴピナート
(72)【発明者】
【氏名】石田 雄亮
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181BB13
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF13
5H181FF14
5H181FF22
5H181FF27
5H181FF32
5H181MC19
(57)【要約】
【課題】移動体とは異なる場所にいる利用者に、より適切な疑似乗車を行わせること。
【解決手段】実施形態に係る情報管理装置は、乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置とに提供される情報を管理する情報管理装置であって、前記第1装置および前記第2装置から情報を取得する取得部と、前記取得部により取得された情報に基づいて、前記第1装置および前記第2装置ごとに情報を提供する提供部と、を備え、前記取得部は、前記第1装置により前記移動体に関する移動体情報を取得し、前記提供部は、前記移動体情報に所定の情報が含まれる場合に、前記所定の情報を含む移動体情報の提供の開始を前記利用者に提案する、情報管理装置である。
である。
【選択図】
図1
【特許請求の範囲】
【請求項1】
乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置とに提供される情報を管理する情報管理装置であって、
前記第1装置および前記第2装置から情報を取得する取得部と、
前記取得部により取得された情報に基づいて、前記第1装置および前記第2装置ごとに情報を提供する提供部と、を備え、
前記取得部は、前記第1装置により前記移動体に関する移動体情報を取得し、
前記提供部は、前記移動体情報に所定の情報が含まれる場合に、前記所定の情報を含む移動体情報の提供の開始を前記利用者に提案する、
情報管理装置。
【請求項2】
前記提供部は、前記移動体情報に所定の情報が含まれる場合であって、且つ前記第2装置に情報を提供している状態である場合に、前記第2装置に提供する情報を変更する、
請求項1に記載の情報管理装置。
【請求項3】
前記移動体情報は、前記移動体の位置、速度、加速度、操舵、および所定の移動体制御システムの作動に関する情報のうち、少なくとも一つを含む、
請求項1に記載の情報管理装置。
【請求項4】
前記提供部は、複数の前記移動体のそれぞれに対応する前記移動体情報に前記所定の情報が含まれる場合に、優先度が高い移動体の前記移動体情報を前記第2装置に提供する、
請求項1に記載の情報管理装置。
【請求項5】
前記提供部は、複数の前記移動体のそれぞれに対応する前記移動体情報に含まれる移動体の挙動を示す情報に基づいて、前記挙動の変化度合が大きいほど前記優先度を大きくする、
請求項4に記載の情報管理装置。
【請求項6】
前記提供部は、前記移動体情報に基づいて、前記移動体が所定の挙動になると予測される場合に、前記所定の挙動となると予測される移動体の移動体情報の提供の開始を前記利用者に提案し、
前記移動体が所定の挙動である場合に、前記所定の挙動である移動体の移動体情報を前記第2装置に提供する、
請求項1に記載の情報管理装置。
【請求項7】
乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置とに提供される情報を管理する情報管理装置が、
前記第1装置および前記第2装置から情報を取得し、
取得した前記情報に基づいて、前記第1装置および前記第2装置ごとに情報を提供し、
前記第1装置により前記移動体に関する移動体情報を取得し、
前記移動体情報に所定の情報が含まれる場合に、前記所定の情報を含む移動体情報の提供の開始を前記利用者に提案する、
情報管理方法。
【請求項8】
乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置とに提供される情報を管理する情報管理装置に、
前記第1装置および前記第2装置から情報を取得させ、
取得された前記情報に基づいて、前記第1装置および前記第2装置ごとに情報を提供させ、
前記第1装置により前記移動体に関する移動体情報を取得させ、
前記移動体情報に所定の情報が含まれる場合に、前記所定の情報を含む移動体情報の提供の開始を前記利用者に提案させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報管理装置、情報管理方法、およびプログラムに関する。
【背景技術】
【0002】
従来、車両等の移動体に搭載された装置と、移動体とは別の場所で使用される装置との間で通信を行い、車外風景の画像等を共有することについての研究が進められている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、移動体とは別の場所で使用される装置を用いて移動体に乗車しているかのような疑似体験(以下、「疑似乗車」と称する)を行う場合、移動体とは異なる場所で疑似乗車する利用者に負担がかかったり、適切なタイミングで疑似乗車ができずに、利用者に適切な疑似乗車を行わせることができない場合があるという課題があった。
【0005】
本願は上記課題の解決のため、移動体とは異なる場所にいる利用者に、より適切な疑似乗車を行わせることができる情報管理装置、情報管理方法、およびプログラムを提供することを目的の一つとする。そして、利用者の視認性と乗員の安全性を向上させ、延いては交通の安全性をより一層改善して持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0006】
この発明に係る情報管理装置、情報管理方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る情報管理装置は、乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置とに提供される情報を管理する情報管理装置であって、前記第1装置および前記第2装置から情報を取得する取得部と、前記取得部により取得された情報に基づいて、前記第1装置および前記第2装置ごとに情報を提供する提供部と、を備え、前記取得部は、前記第1装置により前記移動体に関する移動体情報を取得し、前記提供部は、前記移動体情報に所定の情報が含まれる場合に、前記所定の情報を含む移動体情報の提供の開始を前記利用者に提案する、情報管理装置である。
【0007】
(2):上記(1)の態様において、前記提供部は、前記移動体情報に所定の情報が含まれる場合であって、且つ前記第2装置に情報を提供している状態である場合に、前記第2装置に提供する情報を変更するものである。
【0008】
(3):上記(1)の態様において、前記移動体情報は、前記移動体の位置、速度、加速度、操舵、および所定の移動体制御システムの作動に関する情報のうち、少なくとも一つを含むものである。
【0009】
(4):上記(1)の態様において、前記提供部は、複数の前記移動体のそれぞれに対応する前記移動体情報に前記所定の情報が含まれる場合に、優先度が高い移動体の前記移動体情報を前記第2装置に提供するものである。
【0010】
(5):上記(4)の態様において、前記提供部は、複数の前記移動体のそれぞれに対応する前記移動体情報に含まれる移動体の挙動を示す情報に基づいて、前記挙動の変化度合が大きいほど前記優先度を大きくするものである。
【0011】
(6):上記(1)の態様において、前記提供部は、前記移動体情報に基づいて、前記移動体が所定の挙動になると予測される場合に、前記所定の挙動となると予測される移動体の移動体情報の提供の開始を前記利用者に提案し、前記移動体が所定の挙動である場合に、前記所定の挙動である移動体の移動体情報を前記第2装置に提供するものである。
【0012】
(7):この発明の一態様に係る情報管理方法は、乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置とに提供される情報を管理する情報管理装置が、前記第1装置および前記第2装置から情報を取得し、取得した前記情報に基づいて、前記第1装置および前記第2装置ごとに情報を提供し、前記第1装置により前記移動体に関する移動体情報を取得し、前記移動体情報に所定の情報が含まれる場合に、前記所定の情報を含む移動体情報の提供の開始を前記利用者に提案する、情報管理方法である。
【0013】
(8):この発明の一態様に係るプログラムは、乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置とに提供される情報を管理する情報管理装置に、前記第1装置および前記第2装置から情報を取得させ、取得された前記情報に基づいて、前記第1装置および前記第2装置ごとに情報を提供させ、前記第1装置により前記移動体に関する移動体情報を取得させ、前記移動体情報に所定の情報が含まれる場合に、前記所定の情報を含む移動体情報の提供の開始を前記利用者に提案させる、プログラムである。
【発明の効果】
【0014】
上記(1)~(8)の態様によれば、移動体とは異なる場所にいる利用者に、より適切な疑似乗車を行わせることができる。
【図面の簡単な説明】
【0015】
【
図1】情報処理システム1と管理サーバ300の使用環境等を示す図である。
【
図2】ユーザデータ362の内容の一例を示す図である。
【
図4】移動体Mにおける第1装置100の一部の配置例を示す図である。
【
図6】指向方向に対応する画像について説明するための図である。
【
図7】第1制御装置170と第2制御装置270の機能構成の第1例を示す図である。
【
図8】第1制御装置170と第2制御装置270の機能構成の第2例を示す図である。
【
図9】情報処理システム1によって提供されるサービスの一例を示す図である。
【
図10】情報処理システム1により実行される処理の一例を示すシーケンス図である。
【
図11】疑似乗車時に利用者Uに提供される情報の一例を示す図である。
【
図13】実施形態の連続使用時間について説明するための図である。
【
図14】利用者Uに第2装置200の使用の制限を提案することを示す画像IM60の一例を示す図である。
【
図15】第1の疑似乗車制御処理の一例について説明するためのフローチャートである。
【
図16】第1の疑似乗車制御処理の他の例について説明するためのフローチャートである。
【
図17】第2の疑似乗車制御処理の一例について説明するためのフローチャートである。
【
図18】第3の疑似乗車制御処理の一例について説明するためのフローチャートである。
【
図19】変形例における第2制御装置270Aの機能構成の一例を示す図である。
【
図20】変形例における管理サーバ300Aの機能構成の一例を示す図である。
【発明を実施するための形態】
【0016】
以下、図面を参照し、本発明の情報管理装置、情報管理方法、およびプログラムの実施形態について説明する。なお、以下では、情報管理装置が適用された情報処理システムについて説明する。情報処理システムは、例えば、乗員が搭乗する移動体に搭載される第1装置と、移動体とは異なる場所で利用者によって利用される第2装置と、情報管理装置とを含む。移動体とは、例えば車両であるが、乗員が搭乗可能なものであれば如何なる移動体(例えば、船舶、飛翔体)でも構わない。また乗員は、主に移動体の運転者であるが、運転者以外の乗員であっても構わない。
【0017】
第1装置と第2装置との間では、マイクによって収集された音声が相手側に送信されてスピーカによって再生されることで電話通話を行っているような状態になり、更に、第1装置のカメラユニットにより撮像された画像の少なくとも一部が第2装置によって表示されることで、第2装置側にMR(Mixed Reality)が提供される。これにより、第2装置の利用者は、移動体と異なる場所にいながら、疑似乗車体験(疑似的に移動体に搭乗しているような感覚)を得ることができ、乗員は第1装置を介して移動体に疑似乗車している利用者と会話を行うことで、利用者が実際に移動体に一緒に乗車しているような感覚を得ることができる。以下では、上述したように、利用者が移動体に実際に乗車しているかのような疑似体験をすることを「疑似乗車する」と称する場合がある。第1装置と第2装置とは一対一の関係である必要は無く、複数の第1装置のうち一つと、複数の第2装置とが一対多の関係でマッチングされることで、情報処理システムとして動作してよい。後者の場合、例えば一人の乗員を複数の利用者と同時に、或いは順番にコミュニケートさせることができる。また、第1装置と第2装置とは、多対一の関係でマッチングされることで、情報処理システムとして動作してもよい。この場合には、情報処理システムは、例えば所定コースを走行する複数の移動体に一人の利用者(例えば、インストラクタ、プロコーチ、教官、指導員、監視員、アドバイザ)が疑似乗車し、各移動体を運転するそれぞれの乗員に対して、アドバイスやコーチング、ナビゲート等を行う場合のサービスが提供できる。
【0018】
<基本構成>
図1は、情報処理システム1と管理サーバ300の使用環境等を示す図である。情報処理システム1は、乗員Pが搭乗した移動体Mに搭載された第1装置(移動体装置)100と、移動体Mとは異なる場所(たまたま近い場所であることは排除されない)で利用者Uによって利用される第2装置(利用者装置)200と、管理サーバ300とを含む。第1装置100、第2装置200、および管理サーバ300のそれぞれは、ネットワークNWを介して互いに通信する。ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、移動体通信網、セルラー網等のうち少なくとも一つを含む。管理サーバ300は、「情報管理装置」の一例である。なお、管理サーバ300は、クラウドコンピューティングシステムに組み込まれたサーバ装置や記憶装置に実現されてもよい。この場合、クラウドコンピューティングシステムにおける複数のサーバ装置や記憶装置によって、管理サーバ300の機能が実現されてもよい。また、移動体Mに搭載される第1装置100は、複数のユニットにより実現されてもよい。
【0019】
管理サーバ300は、第1装置100と第2装置200とのそれぞれに提供される情報を管理したり、それぞれが通信するための管理を行う。管理サーバ300は、例えば、通信装置310と、取得部320と、マッチング処理部330と、提供部340と、管理部350と、記憶部360とを備える。取得部320、マッチング処理部330、提供部340、および管理部350は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。また、プログラムが管理サーバ300に格納され、ネットワークNWに接続されることで適宜更新されてもよい。
【0020】
通信装置310は、ネットワークNWに接続するための通信インターフェースである。なお、通信装置310と第1装置100の間の通信、および通信装置310と第2装置200の間の通信は、例えばTCP/IP(Transmission Control Protocol / Internet Protocol)に即して行われる。
【0021】
取得部320は、ネットワークNWを介して、第1装置100、第2装置200、その他の外部装置により送信された各種情報を取得する。例えば、取得部320は、第1装置100が搭載された移動体Mに関する移動体情報を第1装置100から取得する。移動体情報には、例えば、移動体Mの位置情報や、操舵情報、速度情報が含まれる。例えば、移動体情報には、移動体Mに搭載された位置情報取得部により取得された移動体Mの位置情報やGセンサ(加速度センサ)の計測結果に関する情報、操舵輪の回転角(操舵角)を検出する操舵角センサの検出結果に関する情報が含まれる。また、移動体情報には、移動体Mに搭載されたカメラ(室内カメラ、室外カメラ)等の撮像部により撮像された画像(動画像も含む)や、マイクにより収集された音声が含まれてよい。また、移動体情報には、乗員Pの情報や乗員Pによる移動体Mの操作内容に関する情報が含まれてもよい。操作内容に関する情報には、例えば、ステアリングホイールの操作量(操舵量)やペダル(アクセルペダル、ブレーキペダル)の操作量(踏み込み量)、シフトレバーの操作内容等が含まれる。また、移動体情報には、移動体Mに搭載されたエアバッグ装置の作動制御や緊急停止制御、接触回避操舵制御等の所定の移動体制御システムの作動に関する情報が含まれてもよい。
【0022】
また、取得部320は、第2装置200に関する第2装置情報を第2装置200から取得する。第2装置情報には、例えば第2装置200を使用する利用者Uの情報や、使用の有無や疑似乗車中であるか否かを示す情報が含まれる。また、第2装置情報には、第2装置200の使用時間に関する情報や、利用者Uが第2装置200に対して行った操作内容(利用者Uの動作も含む)に関する情報、マイクにより収集された音声が含まれてよい。取得部320により取得された情報は、記憶部360に記憶されてよい。
【0023】
マッチング処理部330は、例えば、乗員Pから第1装置100を介して、或いは、利用者Uから第2装置200を介して、マッチングリクエストを通信装置310が受信した場合に、ユーザデータ362を参照して乗員Pと利用者Uとのマッチングを行い、通信装置310を用いて、マッチングした利用者Uの第2装置200に乗員Pの第1装置100の通信識別情報を送信したり、マッチングした乗員Pの第1装置100に利用者Uの第2装置200の通信識別情報を送信したりする。これらを受信した第1装置100と第2装置200との間では、例えばUDP(User Datagram Protocol)に即した、よりリアルタイム性の高い通信が実行可能となる。
【0024】
提供部340は、取得部320により取得された各種情報や、提供情報DB364や地図情報366に格納された情報等に基づいて、第1装置100および第2装置200のそれぞれに提供する情報を生成し、生成した情報を対象装置に送信する。また、提供部340は、取得部320により取得された情報に基づいて、利用者Uに疑似乗車を体感させるための仮想空間情報を第2装置200に提供する。また、提供部340は、乗員Pに利用者Uが疑似乗車していることを体感させるための情報や、利用者U(第2装置200)から提供された移動体Mの運転に関する情報(例えば、コーチング情報)を第1装置100に提供してもよい。また、提供部340は、マッチング処理部330による処理結果や管理部350により管理された情報を対象装置に提供する。例えば、提供部340は、利用者Uに第2装置200の使用の制限を提案する情報を提供する。また、提供部340は、複数の移動体Mのそれぞれに設けられた第1装置100から移動体情報が取得された場合に、移動体情報に含まれる移動体Mの位置情報に応じて、複数の移動体情報のうち第2装置200に提供する移動体情報を選択し、選択した移動体情報を提供してもよい。また、提供部340は、所定の移動体情報が取得された場合に、所定の移動体情報を送信した移動体Mへの疑似乗車を行うための情報を第2装置200に提供してもよい。疑似乗車を行うための情報には、ある移動体Mに疑似乗車することを利用者Uに提案する情報が含まれてよい。提供部340の処理の詳細については後述する。
【0025】
管理部350は、第1装置100と第2装置200との接続を管理したり、疑似乗車の状況を管理する。例えば、管理部350は、利用者Uによる第2装置200の使用時間を管理する。また、管理部350は、利用者Uの疑似乗車に起因する負荷度合を管理してもよい。また、管理部350は、移動体Mの乗員Pに提供する情報に応じて乗員Pに請求する料金を管理したり、利用者Uに提供する情報に応じて利用者Uに請求する料金を管理する。また、管理部350は、例えば、利用者Uや乗員Pからの情報提供に応じて利用者Uや乗員Pに支払われる対価を管理してもよい。また、管理部350は、利用者Uおよび乗員Pの精算に関する処理を行ってもよい。なお、管理部350の処理の一部は提供部340で実行されてもよく、提供部340の処理の一部は管理部350で実行されてよい。
【0026】
記憶部360は、上記の各種記憶装置、或いはSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現されてよい。記憶部360には、例えば、ユーザデータ362、提供情報DB364、地図情報366、プログラム、その他各種情報が格納される。
【0027】
図2は、ユーザデータ362の内容の一例を示す図である。ユーザデータ362は、乗員リスト362Aと、利用者リスト362Bとを含む。乗員リスト362Aには、例えば、移動体Mの乗員Pの識別情報である乗員ID、その通信識別情報(IPアドレス等)、マッチング対象となる利用者Uの識別情報である利用者ID、および乗員が搭乗している移動体情報、運転レベル情報が互いに対応付けられている。移動体情報には、例えば、移動体Mに搭載された機器情報(搭載機器情報)や、移動体Mの大きさや外形を示す車格情報が含まれる。また、移動体情報には、所定周期で移動体Mから送信される移動体Mの現在位置や目的地、周辺状況(例えば海沿いの道路を走行中)に関する情報が含まれてよい。運転レベル情報には、例えば、移動体Mの運転時間や技能レベル、サーキットコース等の走行回数や走行距離等の情報が含まれる。
【0028】
利用者リスト362Bには、例えば、利用者ID、その通信識別情報(IPアドレス等)、マッチング対象となる乗員P、利用者情報、および疑似乗車履歴情報が互いに対応付けられている。利用者情報には、例えば、氏名や年齢、性別等の基本情報や、ライセンス情報が含まれてよい。ライセンス情報には、例えば移動体Mの運転レベルに関するライセンス(レーサーライセンス)や運転に対する指導を行うためのライセンス(教習指導員資格)等が含まれる。また、利用者情報には、体格に関する情報(例えば、身長や座高)等が含まれてよい。疑似乗車履歴情報には、例えば、利用者Uが過去に疑似乗車を行った回数(疑似乗車回数)や時間(疑似乗車時間)、コース(疑似乗車コース)等の情報等が含まれる。また、疑似乗車履歴情報には、利用者Uが設定した得意なコース等の情報が含まれてよい。また、疑似乗車履歴情報には、疑似乗車を行った移動体Mの情報や、その移動体Mを運転した乗員Pの情報が含まれてよい。ユーザデータ362は、これらの情報を包含するものであれば、
図2に示す態様に限らず如何なる態様で生成されてもよい。また、ユーザデータ362は、所定のタイミング(例えば、所定周期や情報処理システム1により提供されるサービスの開始または終了時、移動体情報や第2装置情報の取得時)で更新されてよい。
【0029】
提供情報DB364には、利用者Uまたは乗員Pに提供する各種情報が格納される。各種情報には、例えば、POI(Point Of Interest)情報、コンピュータ処理によって描画された画像(例えば、人物等のCG(Computer Graphics)画像や、マーク、記号、アイコン等の画像)が含まれる。POI情報は、例えば、地点ごとの各種店舗やテーマパーク、地物等に関する情報である。また、POI情報は、地図情報366に含まれてよい。また、提供情報DB364には、所定の地点ごとに走行時(運転時)の注意点やアドバイス等の情報が含まれてよい。
【0030】
地図情報366は、例えば、緯度経度に対応付けられた道路情報(道路形状(幅員、曲率、勾配)、停止線や横断歩道の位置)、POI情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が格納される。また、地図情報366は、少なくとも移動体Mが走行するコース(経路)の位置に関する情報が含まれてもよい。コースとは、例えば、レースを行うサーキットコースや免許を取得するための教習コース、新規車両の試運転等を行うドライビングコース等の予め決められた走路である。また、コースの位置には、緯度経度に基づく位置の他、例えばカーブ路、坂道、交差点、分岐、合流等の所定の道路形状を示す情報が含まれてもよい。
【0031】
図3は、第1装置100の構成図である。第1装置100は、例えば、第1通信装置110と、第1マイク120と、外界センサ122と、位置情報取得部124と、動作取得部126と、カメラユニット130と、第1スピーカ140と、利用者表示装置150と、HMI(Human machine Interface)160と、第1制御装置170とを含む。第1制御装置170は、移動体Mに搭載された制御対象機器190に接続される。
【0032】
第1通信装置110は、管理サーバ300の通信装置310、および後述する第2装置200の第2通信装置210のそれぞれとネットワークNWを介して通信するための通信インターフェースである。
【0033】
第1マイク120は、少なくとも乗員Pの発した音声を収集する。第1マイク120は、移動体Mの室内に設けられ、移動体Mの外部の音声も収集可能な感度を有するものでもよいし、移動体Mの室内に設けられたマイクと移動体Mの外部に設けられたマイクとを含んでもよい。以下、室内に設けられたマイクにより取得された音声情報を「室内音声情報」と称する場合がある。第1マイク120の収集した音声は、例えば、第1制御装置170を経由して、第1通信装置110によって管理サーバ300または第2装置200に送信される。また、移動体Mの外部に設けられたマイクを設定できない場合は、走行情報(車速、加減速度、路面振動等)や、周囲の走行環境に基づき、室内音声情報を加工して室外音声情報を疑似生成してもよい。また、移動体Mに対する発話者の位置関係(発話者が車室内に居るか、車室外に居るか)を記録可能であり、その位置関係に応じて収集した音声に対して処理を行ってもよい。
【0034】
外界センサ122は、移動体Mの周辺の物体の位置を検知する。外界センサ122は、例えば、レーダ装置やLIDAR(Light Detection and Ranging)センサ、その他の各種近接センサである。レーダ装置は、移動体Mの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。LIDARセンサは、移動体Mの周辺に光(或いは光に近い波長の電磁波)を照射して、その散乱光を測定し、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。レーダ装置やLIDARセンサは、移動体Mの任意の箇所に取り付けられる。また、外界センサ122は、カメラユニット130の室外カメラ134の撮像画像を用いて周辺物体を検出してもよい。
【0035】
位置情報取得部124は、移動体Mの位置情報を取得する。位置情報は、例えば緯度経度等の情報でもよく、所定コースを走行する場合のコースの位置に関する情報(例えば、第1コーナー、第3コーナー等)でもよい。位置情報取得部124は、例えば、GNSS(Global Navigation Satellite System)受信機(不図示)によって移動体Mの位置を検出する。GNSS受信機は、例えばGPS(Global Positioning System)衛星等のGNSS衛星から到来する電波に基づいて移動体Mの位置を測位する。また、位置情報取得部124は、移動体Mに搭載されたGPS装置(不図示)により移動体Mの位置情報を取得してもよい。また、位置情報取得部124は、例えば、緯度経度の情報から地図情報366を参照し、移動体Mが走行するコース上の位置に関する情報を取得してもよい。
【0036】
動作取得部126は、第1装置100が搭載された移動体Mの各種動作に関する情報を取得する。例えば、動作取得部126は、移動体Mに搭載された速度センサやGセンサ(加速度センサ)、ヨーレート(例えば、移動体Mの重心点を通る鉛直軸回りの回転角速度)を検出するセンサ、移動体Mの向きを検出するセンサ、操舵角を検出するセンサ等によって取得される移動体Mの挙動に関する情報(例えば、速度、加速度、操舵角等)を取得する。また、動作取得部126は、移動体Mに搭載されたエアバッグ装置が作動したことを取得したり、緊急停止制御や接触回避操舵制御等を行うシステムが作動したことを取得してもよい。
【0037】
カメラユニット130は、例えば、室内カメラ132と、室外カメラ134とを備える。第1スピーカ140は、第1通信装置110を介して取得された、利用者Uの発した音声を出力する。カメラユニット130、および第1スピーカ140の配置等の詳細については、後に
図4を参照して説明する。
【0038】
利用者表示装置150は、利用者Uが移動体Mの室内に存在するかのように仮想的に利用者Uを表示する。例えば、利用者表示装置150は、ホログラムを出現させたり、移動体Mのミラーやウインドウに相当する部分に利用者Uを表示する。
【0039】
HMI160は、タッチパネル等の表示装置や音声応答装置(エージェント装置)等である。HMI160は、第1装置100に対する乗員Pの各種指示を受け付けたり、画像(動画像を含む)や音声、ランプ、ブザー等により各種情報を乗員Pに提供する。
【0040】
第1制御装置170は、例えば、例えばCPU等のプロセッサと、プロセッサに接続され、プログラム(命令群)を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第1装置100の各部を制御する。
【0041】
制御対象機器190は、例えば、移動体Mに搭載された目的地までの経路を案内するナビゲーション装置や、移動体Mの操舵または速度のうち一方または双方を制御して乗員Pの運転を支援する運転支援装置等の車載機器である。制御対象機器190には、例えば座席の位置(前後左右)や向き、高さを調整可能なシート駆動装置が含まれている。第2装置200により映像を見る場合で、第1装置100のカメラユニット130がシートに取り付けられている時には、シート移動を禁止とすることで映像に与える影響を抑制することができる。また、シートの移動を許容する場合であっても、シート移動した場合の映像に影響が出ないように画角変換等の処理を行って対応してもよい。また、利用者Uからの要望で、現状のカメラユニット130の画角外の映像が見たい場合は、第2装置200側からの要求としてシート駆動装置を制御してもよい。
【0042】
図4は、移動体Mにおける第1装置100の一部の配置例を示す図である。室内カメラ132は、例えば、アタッチメント132Aを介して助手席S2(「所定の座席」の一例)のヘッドレストに取り付けられたり、ヘッドレストを取り外したバックレスト(背もたれ部)とヘッドレストとの連結部分に取り付けられる。また、室内カメラ132は、助手席S2のバックレストから若干、移動体Mの進行方向側に乖離した位置に設けられてもよく、運転席S1と助手席S2との間の位置に設けられてもよい。室内カメラ132は、広角レンズを有し、例えば図中のハッチングされた領域132Bで表される範囲を撮像可能である。室内カメラ132は、移動体Mの室内だけでなく、ウインドウを介して室外も撮影可能である。また、室内カメラ132は、移動体Mの加減速操作やクラッチ操作を行うペダルを含む画像(運転者Pの足元を撮影する画像)を撮像するカメラや乗員Pの顔画像を撮像するカメラ(子室内カメラ)が設けられていてもよい。なお、カメラにより撮像された顔画像は、例えば、乗員Pの運転リスクを推定するため等に利用される。以下の説明では助手席S2が所定の座席であるものとするが、所定の座席は後部座席等の他の座席であってもよい。
【0043】
室外カメラ134は、例えば、複数の子室外カメラ134-1~134-4を含む。複数の子室外カメラ134-1~134-4の撮像した画像を合成することで、移動体Mの外部を撮像したパノラマ画像のような画像が得られる。室外カメラ134は、これらに代えて(或いは、加えて)、移動体Mのルーフ上に設けられた広角カメラを含んでもよい。なお室内カメラ132として、助手席S2の後方を撮像可能なカメラが追加されてもよく、後述する移動体画像は、第1制御装置170により、一以上の室内カメラ132の撮像した画像を結合して360度のパノラマ画像として生成されてもよいし、室内カメラ132の撮像した画像と室外カメラ134の撮像した画像を適宜結合して360度のパノラマ画像として生成されてもよい。
【0044】
第1スピーカ140は、第1通信装置110を介して取得された利用者Uの音声を出力する。第1スピーカ140は、例えば、複数の子第1スピーカ140-1~140-5を含む。例えば、子第1スピーカ140-1はインストルメントパネル中央部に、子第1スピーカ140-2はインストルメントパネル左端部に、子第1スピーカ140-3はインストルメントパネル右端部に、子第1スピーカ140-4は左側ドア下部に、子第1スピーカ140-5は右側ドア下部に、それぞれ配置される。第1制御装置170は、利用者Uの音声を第1スピーカ140に出力させる場合、例えば、子第1スピーカ140-2および子第1スピーカ140-4から同程度のボリュームで音声を出力させ、その他の子第1スピーカをオフにすることで、運転席S1に着座した乗員Pに対して、助手席S2から音声が聞こえるように音像定位させる。また、音像定位の方法はボリュームの調整に限らず、それぞれの子第1スピーカが出力する音の位相をずらすことで行われてもよい。例えば、左側から聞こえるように音像定位させる場合、左側の子第1スピーカから音を出力させるタイミングを、右側の子第1スピーカから同じ音を出力させるタイミングよりもわずかに早くすればよい。
【0045】
また、第1制御装置170は、利用者Uの音声を第1スピーカ140に出力させる場合、乗員Pに対して、助手席S2上の利用者Uの頭部の高さに応じた高さの位置から音声が聞こえるように音像定位させて、第1スピーカ140に利用者Uの発した音声を出力させてもよい。この場合、第1スピーカ140は高さの異なる複数の子第1スピーカ140-k(kは複数の自然数)を有する必要がある。
【0046】
図5は、第2装置200の構成図である。第2装置200は、例えば、第2通信装置210と、第2マイク220と、検知装置230と、第2スピーカ240と、移動体画像表示装置250と、HMI260と、第2制御装置270とを含む。検知装置230は、例えば、指向方向検知装置232と、頭部位置検知装置234と、モーションセンサ236とを含む。
【0047】
第2通信装置210は、管理サーバ300の通信装置310、および第1装置100の第1通信装置110のそれぞれとネットワークNWを介して通信するための通信インターフェースである。
【0048】
第2マイク220は、利用者Uの発した音声を収集する。第2マイク220の収集した音声は、例えば、第2制御装置270を経由して、第2通信装置210によって第1通信装置110に送信される。
【0049】
指向方向検知装置232は、指向方向を検知するための装置である。指向方向とは、利用者Uの顔の向きまたは視線の向き、或いはそれらの双方に基づく向きである。以下では指向方向は、水平面内での角度、つまり上下方向の成分を有さない角度であるものとするが、指向方向は、上下方向の成分も含む角度であってもよい。指向方向検知装置232は、後述するVR(Virtual Reality)ゴーグルに取り付けられた物理センサ(例えば、加速度センサ、ジャイロセンサ等)を含んでもよいし、利用者Uの頭部の複数の位置を検出する赤外線センサ、或いは利用者Uの頭部を撮像するカメラであってもよい。いずれの場合も第2制御装置270は、指向方向検知装置232から入力された情報に基づいて指向方向を算出する。これについて種々の技術が公知となっているため詳細な説明を省略する。
【0050】
頭部位置検知装置234は、利用者Uの頭部の位置(高さ)を検知するための装置である。例えば、利用者Uが着座する椅子の周囲に設けられた一以上の赤外線センサ、或いは光学センサが頭部位置検知装置234として用いられる。この場合、第2制御装置270は、一以上の赤外線センサ、或いは光学センサによる検出信号の有無に基づいて利用者Uの頭部の位置を検知する。また、頭部位置検知装置234は、VRゴーグルに取り付けられた加速度センサでもよい。この場合、第2制御装置270は、加速度センサの出力から重力加速度を差し引いたものを積分することで利用者Uの頭部の位置を検知する。このように取得される頭部の位置の情報は、高さ情報として第2制御装置270に提供される。利用者Uの頭部の位置は、HMI260に対する利用者Uの操作に基づいて取得されてもよい。例えば、利用者Uは身長を数字でHMI260に入力してもよいし、HMI260に含まれるダイヤルスイッチを用いて身長を入力してもよい。これらの場合、身長から頭部の位置すなわち高さ情報が計算される。また、利用者Uは、連続値ではなく体格:大/中/小といった離散値をHMI260に入力してもよい。この場合、体格を示す情報に基づいて高さ情報が取得される。また、利用者の頭部の高さを特段、取得せず、一般的な成人の体格(男女別であってよい)に基づいて簡易的に利用者Uの頭部の高さが取得されてもよい。
【0051】
モーションセンサ236は、利用者Uが行うジェスチャー操作を認識するための装置である。例えば、利用者Uの上半身を撮像するカメラがモーションセンサ236として用いられる。この場合、第2制御装置270は、カメラが撮像した画像から利用者Uの身体の特徴点(指先、手首、肘等)を抽出し、特徴点の動きに基づいて利用者Uのジェスチャー操作を認識する。
【0052】
第2スピーカ240は、第2通信装置210を介して取得された、乗員Pの発した音声を出力する。第2スピーカ240は、例えば音声の聞こえる方向を変更する機能を有する。第2制御装置270は、利用者Uに対して、助手席S2からみた乗員Pの位置から音声が聞こえるように、第2スピーカに音声を出力させる。第2スピーカ240は、複数の子第2スピーカ240-n(nは複数の自然数)を含み、第2制御装置270がそれぞれの子第2スピーカ240-nのボリュームを調整することで音像定位がなされてもよいし、VRゴーグルにヘッドホンが付随している場合はヘッドホンの機能を利用して音像定位がなされてもよい。
【0053】
移動体画像表示装置250は、カメラユニット130が撮像した画像(前述した結合処理が行われた画像であってもよく、以下では移動体画像と称する)のうち、助手席から見た指向方向に対応する画像を表示する。
図6は、指向方向に対応する画像について説明するための図である。この図の例では、VRゴーグル255に指向方向検知装置232、頭部位置検知装置234としての物理センサ、および移動体画像表示装置250が含まれている。第2制御装置270は、例えば、利用者Uの頭部中心またはVRゴーグル255の中心をΩとし、予めキャリブレーションされた方向を基準方向としてVRゴーグル255の向く方向を指向方向φとして検知する。係る機能については既に種々の手法が公知となっているため詳細な説明を省略する。
【0054】
移動体画像表示装置250は、移動体画像A1(図では240度程度の角度を有するが、前述したように結合処理によって360度まで画角が拡張されてもよい)のうち、指向方向φを中心としたプラスマイナスαの角度範囲の画像A2を利用者Uに向けて表示する。
【0055】
また、移動体画像表示装置250は、指向方向検知装置232により検知される利用者Uの顔の向きまたは視線の向き、或いはそれらの双方に基づく向きが、利用者Uの正面方向を基準(0度)として所定角度以上である場合に、移動体Mの後方を撮像した画像A3を利用者Uに向けて表示してもよい。所定角度とは、例えば90度である。これにより、利用者U1が移動体Mの後方の画像を見たい場合に、真後ろを向く動作を行わなくても後方の画像を表示させることができる。なお、移動体画像表示装置250は、上述した条件で画像A3を表示させた場合に、利用者Uが正面方向を向いた場合であっても画像A3を継続して表示させてもよい。これにより、利用者Uは後ろを向く動作を継続させずに後方画像(画像A3)を見続けることができる。この場合、HMI260に含まれるコントローラから所定の操作入力が受け付けられた場合に、画像A3を正面画像に切り替えてもよい。また、移動体画像表示装置250は、管理サーバ300の提供部340から提供された画像を表示させてもよく、後述する画像編集部で編集された画像を表示させてもよい。
【0056】
HMI260は、タッチパネル等の表示装置や音声応答装置(エージェント装置)、或いは上記したスイッチ等である。また、HMI260は、表示される画面を切り替えたり、画面の大きさや表示位置を調整するコントローラであってもよい。HMI260は、第2装置200に対する利用者Uの各種指示を受け付ける。
【0057】
第2制御装置270は、例えば、例えばCPU等のプロセッサと、プロセッサに接続され、プログラム(命令群)を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第2装置200の各部を制御する。なお、第2装置200は、
図5に示す全ての機能がVRゴーグルに一体に構成されていてもよい。
【0058】
<第1制御装置170と第2制御装置270の機能構成>
以下、第1制御装置170と第2制御装置270の機能構成について説明する。なお、以下に示す第1例および第2例は、主に第1制御装置170と第2制御装置270との間で提供される情報の生成や送信等を行うものとし、管理サーバ300は主に乗員Pと利用者Uとの疑似乗車のマッチングや疑似乗車の状況の管理を行うものとする。
【0059】
[第1例]
図7は、第1制御装置170と第2制御装置270の機能構成の第1例を示す図である。第1例において、第1制御装置170は、マッチングリクエスト/承諾部171と、音声出力制御部172と、移動体情報送信部173と、搭載機器連携部174とを含む。第2制御装置270は、マッチングリクエスト/承諾部271と、音声出力制御部272と、指向方向検知部273と、頭部位置検知部274と、ジェスチャー入力検知部275と、画像編集部276と、移動体画像表示制御部277と、第2装置情報送信部278とを含む。これらの機能部は、例えば、CPU等のプロセッサがプログラム(命令群)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
【0060】
マッチングリクエスト/承諾部171は、HMI160を用いて乗員Pからのマッチングリクエスト(疑似乗車リクエスト)の入力を受け付け、管理サーバ300に送信したり、HMI160を用いて管理サーバ300から受信したマッチングリクエストに対する承諾または拒否の入力を受け付け、管理サーバ300に送信したりする。マッチングリクエスト/承諾部171は、マッチングが成立した利用者Uの第2装置200を通信相手とするように第1通信装置110を制御する。
【0061】
音声出力制御部172は、前述したように第1スピーカ140を制御する。
【0062】
移動体情報送信部173は、移動体Mから得られる情報に基づいて移動体情報を生成し、第1通信装置110を用いて、所定周期で管理サーバ300に送信する。また、移動体情報送信部173は、移動体情報を第2装置200に送信してもよい。また、移動体情報送信部173は、第2装置200との通信が開始した後、第1通信装置110を用いて、移動体情報の一例である移動体画像A1や画像A2、A3等を第2装置200に送信してもよい。移動体画像A1には、例えば、室内カメラ132で撮影された室内画像および/または室外カメラ134により撮像された室外画像が含まれてよい。
【0063】
搭載機器連携部174は、第2装置200から入力された指示信号に基づいて、制御対象機器190を制御する。なお、搭載機器連携部174は、乗員Pから利用者Uによる制御対象機器190の制御が許可されている場合に制御を行ってもよい。
【0064】
マッチングリクエスト/承諾部271は、HMI260を用いて利用者Uからのマッチングリクエスト(疑似乗車リクエスト)の入力を受け付け、管理サーバ300に送信したり、HMI260を用いて管理サーバ300から受信したマッチングリクエストに対する承諾または拒否の入力を受け付け、管理サーバ300に送信したりする。マッチングリクエスト/承諾部271は、マッチングが成立した乗員Pの第1装置100を通信相手とするように第2通信装置210を制御する。また、マッチングリクエスト/承諾部271は、例えば、管理サーバ300から得られるマッチング結果(リクエスト結果)に基づき、どのような情報が提供されるのかを利用者Uに提示して確認させた上で、利用者Uから疑似乗車するか否かの指示を受け付けてもよい。
【0065】
音声出力制御部272は、前述したように第2スピーカ240を制御する。
【0066】
指向方向検知部273は、指向方向検知装置232の出力に基づいて、指向方向φを検知する。頭部位置検知部274は、頭部位置検知装置234の出力に基づいて、利用者Uの頭部の高さを検知する。頭部位置は、三次元の座標として表されてもよいし、単に頭部の高さが頭部位置として検知されてもよい。ジェスチャー入力検知部275は、モーションセンサ236の出力に基づいて、利用者Uのジェスチャー入力を検知する。
【0067】
画像編集部276は、例えば、移動体画像A1から、助手席S2から見た指向方向φに対応する画像A2を切り出したり、画像A3を抽出する処理を行う(
図6)。なお、
図6の例では、利用者Uの頭部の左右に動きに対する指向方向φを示しているが、頭部の上下方向の動きに対する指向方向に対応する画像を切り出す処理を行ってもよい。また、画像編集部276は、管理サーバ300から提案情報を受け付けた場合に提案情報を示す画像を生成したHMI260に出力させる。また、画像編集部276は、強制的に疑似乗車を終了させたり、逆に疑似乗車させる指示を受け付けた場合に、指示内容を示す画像をHMI260に出力させる。
【0068】
移動体画像表示制御部277は、画像編集部276によって切り出された画像A2や画像A3を、移動体画像表示装置250に表示させる。このとき、画像編集部276は、利用者Uの頭部の高さ情報が示す高さから見た指向方向φに対応する画像を移動体画像表示装置250に表示させてもよい。例えば、画像編集部276は、利用者Uの頭部の基準位置からの距離(例えば、上方向の移動量または横方向の移動量)に応じて、室内画像または室外画像を切り替えて表示させる。また、移動体画像表示制御部277は、疑似乗車を終了させる場合に画像表示を終了したり、疑似乗車を行う場合に表示されている画像の内容を切り替える制御等を行う。
【0069】
第2装置情報送信部278は、第2装置200から得られる情報に基づいて第2装置情報を生成し、第2通信装置210を用いて、所定周期で管理サーバ300に送信する。また、第2装置情報送信部278は、第2装置情報を第1装置100に送信してもよい。
【0070】
[第2例]
図8は、第1制御装置170と第2制御装置270の機能構成の第2例を示す図である。
図7の第1例と比較すると、第1制御装置170が画像編集部175を含み、第2制御装置270が画像編集部276を含まず指向方向送信部279を含む点で相違する。その他の構成要素に関しては基本的に第1例と同じ機能を有するため再度の説明を省略する。
【0071】
指向方向送信部279は、指向方向検知部273が検知した指向方向φを、第2通信装置210を用いて第1装置100に送信する。
【0072】
画像編集部175は、移動体画像A1から、助手席から見た指向方向φ(第2装置200から送信されてきたもの)に対応する画像A2を切り出したり、画像A3を抽出する処理を行う(
図6)。このとき、画像編集部175は、利用者Uの頭部の高さ情報を第2装置200から取得しておき、高さ情報が示す高さから見た指向方向φに対応する画像A2を切り出す処理を行ってもよい。
【0073】
第2例における移動体情報送信部173は、第1通信装置110を用いて、第2装置200に、画像編集部175によって切り出された画像A2や画像A3を送信する。そして、移動体画像表示制御部277は、第1装置100から送信されてきた画像A2や画像A3を移動体画像表示装置250に表示させる。
【0074】
<疑似乗車に関する処理>
次に、実施形態において、利用者Uが移動体Mに疑似乗車する場合の情報処理システム1により実行される一連の処理について説明する。なお、以下では、情報処理システム1によって提供されるサービスの一例として、移動体Mを運転する乗員Pに対して、利用者Uがその移動体Mに擬似乗車して乗員Pに対して所定の情報を提供するサービスについて説明する。
【0075】
図9は、情報処理システム1によって提供されるサービスの一例を示す図である。
図9は、サーキットコースCC1を走行する3台の移動体M1~M3に利用者U1、U2の少なくとも一人が疑似乗車するサービスの概要を示すものである。移動体M1~M3のそれぞれには、第1装置100が搭載されており、管理サーバ300を介して(または介さずに)第2装置200-1、200-2の少なくとも一方と接続される。
図9の例において、第2装置200-1は、利用者U1により利用され、第2装置200-2は、利用者U2により利用される。また、移動体M1~M3は、それぞれ乗員P1~P3によって運転される。以下では、移動体M1~M3のそれぞれを特定して説明する場合を除き、単に「移動体M」と称して説明する場合があるものとする。乗員P1~P3、利用者U1~U2についても同様とする。
【0076】
このサービスでは、例えば、遠隔地にいるインストラクタ(利用者U1、U2)が移動体M1~M3のうち何れかに疑似乗車して移動体M1~M3を運転するそれぞれの運転者P1~P3に対してコーチングを行う。このようなバーチャルコーチングサービスを提供する場合、利用者U1、U2のそれぞれは、移動体M1~M3のうち所定条件等によって選択された何れかの移動体に疑似乗車してもよく、利用者U1が指定した移動体に疑似乗車してもよい。また、このサービスでは、サーキットコースCC1に対して複数のインストラクタが存在する。移動体M1~M3の乗員P1~P3は、それぞれが複数のインストラクタから少なくとも一人を選択することができる。例えば、第1装置100は、乗員からサービスの利用指示またはインストラクタとしての利用者Uの選択指示を受け付けると、受け付けた情報を管理サーバ300に送信する。管理サーバ300は、ユーザデータ362を参照して疑似乗車を行う利用者Uを割り当て、割り当てた利用者Uの第2装置200と、第1装置100とを接続させて疑似乗車を実行させる。
【0077】
このようなサービスを提供することにより、サーキットコースCC1にインストラクタが赴く必要がなく乗員P1~P3のそれぞれに運転技術を教えることができるため、誰もが手軽に運転を学ぶことができる。また、インストラクタは、異なる車両M1~M3に実際に乗車する必要がないため、負担を軽減することができる。
【0078】
次に、
図9に示すようなサービスを提供する場面において、情報処理システム1により実行される処理について説明する。
図10は、情報処理システム1により実行される処理の一例を示すシーケンス図である。
図10の例では、移動体M1~M3のそれぞれに搭載された第1装置100と、利用者Uが利用する第2装置200と、管理サーバ300における処理を示している。また、乗員Pおよび利用者Uは、情報処理システム1におけるサービスの提供を受けるために、管理サーバ300に事前に登録され、ユーザデータ362に登録されているものとする。
【0079】
図10の例において、第1装置100は、乗員Pの指示より、サーキットコースCC1でコーチングサービスを受けるために、利用者U(インストラクタ)に疑似乗車をしてもらうためのリクエスト(疑似乗車リクエスト)を生成し(ステップS100)、生成した疑似乗車リクエストを管理サーバ300に送信する(ステップS102)。疑似乗車リクエストには、乗員IDが含まれると共に、例えば、予め利用者Uを指定した情報(利用者ID)が含まれてもよく、移動体Mの情報(位置情報や車種情報等)、乗員Pの運転レベル等の情報が含まれてもよい。より具体的な疑似乗車リクエストの例としては、例えば「Aコースのコーチ経験があるインストラクタのコーチングを受けたい」または「コーナーがうまく走れないのでコーナー走行時に疑似乗車して欲しい」といったリクエストが挙げられる。これらは、上述したマッチングリクエストの一例である。
【0080】
管理サーバ300のマッチング処理部330は、第1装置100からの疑似体験リクエストを受信して、ユーザデータ362に基づくマッチング処理を行う(ステップS104)。例えば、マッチング処理部330は、リスエストの内容に基づいて、利用者リスト362Bの疑似乗車履歴情報を参照し、リクエストの内容に合致するまたは類似度が閾値以上の利用者Uを抽出する。更に、マッチング処理部330は、ユーザデータ362に格納されたマッチング対象となる利用者および乗員との条件を満たす利用者Uを抽出する。
【0081】
そして、提供部340は、マッチした利用者Uが一人以上存在する場合に、マッチした全ての利用者Uに対して疑似乗車するか否かを問い合わせる問い合わせ情報を生成し(ステップS106)、生成した情報を、マッチした利用者Uが利用する第2装置200に送信する(ステップS108)。なお、提供部340は、マッチした全ての利用者に問い合わせ情報を送信することに代えて、マッチした利用者のうち、優先度が閾値以上の利用者Uのみに送信してもよく、優先度の高い利用者Uから順番に問い合わせを行ってもよい。優先度は、例えば、所定期間(例えば、1日または1週間)のうち、第2装置200の連続使用時間が短いほど高く設定されてもよく、また一日の疑似乗車した回数が少ないほど高く設定されてもよい。これにより、マッチングリクエストにマッチした利用者のうち、現在の負荷が少ないと推測される利用者に優先的に問い合わせを行うことができる。
【0082】
第2装置200は、管理サーバ300から送信された問い合わせ情報を取得し、画面等に表示して利用者Uに提示し、問い合わせに対する利用者Uの回答(許諾または拒否の回答)を受け付けて管理サーバ300に送信する(ステップS110)。
【0083】
管理サーバ300の管理部350は、第2装置200から取得した回答情報に基づいて、第1装置100と第2装置200との間の接続管理を行う(ステップS112)。例えば、回答情報として疑似乗車を承諾することを示す情報が含まれている場合、管理部350は、第1装置100と第2装置200とに、それぞれが通信を行うための情報(例えば、ユーザデータ362内の通信識別情報等を含む情報)を生成し、第1装置100および第2装置200に送信する(ステップS114、S116)。第1装置100および第2装置200は、管理サーバ300から送信される通信を行うための情報に基づいて、第1装置100と第2装置200との間で相互に通信を行うことで、疑似乗車が実行される(ステップS118)。通信中は、第1装置100から移動体情報が管理サーバ300に送信され(ステップS120)、第2装置200から第2装置情報が管理サーバ300に送信される(ステップS122)。管理部350は、ステップS120、S122の処理で第1装置100および第2装置200から送信された情報に基づいて、通信が終了するまで疑似乗車状況を管理する(ステップS124)。
【0084】
疑似乗車が終了し、通信が終了したことを示す情報が第1装置100または第2装置200の一方または双方から管理サーバ300に送信されると、管理部350は、第1装置100および第2装置200のそれぞれのサービス利用に関する料金の精算処理を行う(ステップS126)。具体的には、管理部350は、情報を提供する乗員P、利用者U、移動体Mの種類、利用者Uに提供可能な情報の種類、および情報量のうち、少なくとも1つに基づいて、情報提供に関する料金を異ならせる。例えば、利用者Uが有名人である場合には、利用料金を通常料金よりも高く設定したり、移動体Mが新車であったり、希少な車両(レアカー)である場合には、乗員Pの利用料金を通常料金よいも高く設定したりする。また、管理部350は、設定した料金に対応する精算処理を行う。次に、管理部350は、上記の疑似乗車サービスによって取得した各種情報をユーザデータ362等に登録(更新)する(ステップS128)。これにより、本シーケンスの処理は、終了する。
【0085】
なお、ステップS112の処理において、回答情報として疑似乗車を拒否することを示す情報が含まれている場合、管理部350は、ステップS104の処理に戻り、前回と異なるマッチング条件で再度マッチングを行ったり、ステップS106の処理に戻り、他の利用者の第2装置200へ問い合わせを行う。また、疑似乗車を行う利用者Uが見つからなかった場合、管理部350は、その旨を示す情報を生成して第1装置100に提供してもよい。
【0086】
<疑似乗車時に提供される情報>
次に、疑似乗車時において、利用者Uに提供される情報について説明する。以下の例は、
図10に示すステップS118の処理において提供される情報であり、例えば利用者Uによる動作や、利用者Uに提供可能な情報の種類または情報量に応じて、第2装置200に提供する情報の出力態様が異なる。
【0087】
図11は、疑似乗車時に利用者Uに提供される情報の一例を示す図である。
図11の例では、提供される情報の一例として、第2装置200によって提供される画像IM10~IM40が表示されている。画像IM10~画像IM40のそれぞれは、仮想空間情報の一例である。なお、画像IM10~IM40に含まれる表示内容やレイアウト等については、
図11の例に限定されない。後述する他の画像の説明についても同様とする。画像IM10~IM40のそれぞれに表示される内容は、例えば、移動体情報に含まれる情報である。画像IM10~IM40は、第2装置200の画像編集部276によって生成されてもよく、第1装置100の画像編集部175や管理サーバ300の提供部340によって生成されてもよく、それぞれで生成された画像を組み合わせものでもよい。第2装置200は、画像IM10~IM40のうち少なくとも一つの画像を出力することで、利用者Uに疑似乗車させるための情報を提供する。提供される画像は、利用者Uによって選択されてもよく、予め設定されていてもよい。
【0088】
画像IM10には、移動体Mの前方および車室内の画像が含まれる。画像IM10は、例えば、ステアリングホールSWやシフトレバーSL等が含まれるため、画像IM10によって利用者Uは、乗員(運転者)PによるステアリングホールSWやシフトレバーSLの操作を確認することができる。
【0089】
画像IM20には、アクセルペダルPDL1、ブレーキペダルPDL2、およびクラッチペダルPDL3が含まれる。したがって、利用者Uは、画像IM20によって、乗員Pによる各ペダルの操作を確認することができる。また、画像IM20には、移動体情報に含まれる各ペダルに対する運転者P1の操作量を表示してもよい。
図11の例において、画像IM20は、画像IM10の表示位置よりも下方(より具体的には、ステアリングホイールSWの表示位置の下方、または、運転席の表示位置付近)に表示される。
【0090】
画像IM30には、移動体Mの後方の画像が含まれる。画像IM30は、画像IM10の表示位置の上方に配置される。これにより、利用者Uは、顔の向きを後方に動かしたり、後方を向いた状態を維持する必要がなく、簡単に移動体Mの後方の様子を確認することができる。なお、第2装置200は、利用者Uの指示により画像IM30を左右反転して表示させてもよい。
【0091】
画像IM40には、例えば、移動体情報に含まれる移動体Mの速度やシフトレバーの状態等の情報が含まれる。また、画像IM40には、加速度(前後(縦)加速度、左右(横)加速度)の情報が含まれてもよい。また、画像IM40には、移動体Mが走行する経路(サーキットコースCC1等)の全体の経路を示す画像や、移動体Mが経路上のどの位置を走行しているのかを示す画像(移動体Mを模した画像)が含まれる。経路の画像は、例えば地図情報366から取得できる。画像IM140は、例えば、画像IM10の下方(より具体的には、画像IM10の左下方)に表示される。画像IM40によって、画像IM10では視認しにくいメーター情報やシフトレバーSLの状態等をより正確に把握することができる。
【0092】
画像IM10~IM40は、一つの画像として一体に表示されてもよく、それぞれが別画像として表示されてもよい。別画像として表示される場合に、利用者Uの指示によりそれぞれの画像の位置や大きさが調整させてよい。また、画像IM10~IM40のそれぞれの画像は、少なくとも一部が他の画像に重畳して表示されてもよい。また、画像IM10~IM30は、移動体Mの室内カメラ132や室外カメラ134が撮像した現実空間の画像の他、現実世界を主体に地図情報366に含まれる画像やテキストの情報を付加したAR(Augmented Reality)画像でもよく、利用者Uの動きに合わせた表示やデジタル情報の操作等を実現するためのCG画像を現実世界に映し出すMR画像でもよい。この場合、例えば、移動体Mに関する速度や加速度等に応じて、前方画像や後方画像の一部の色調が変化するように表示態様を変更することで、スピード感を利用者Uに視覚的に認識させ易くすることができる。
【0093】
また、画像の提供に加え、第1マイク120で取得した乗員Pの声や移動体Mの車内および車外の音の音声情報が利用者Uに提供される。利用者Uは、画像IM30や音声情報を用いて乗員Pと会話することで、実際に移動体Mに乗車しているような会話を行うことができる。
【0094】
なお、第2装置200は、画像IM10~IM40に代えて(または加えて)、室外カメラ134から取得した画像を提供してもよい。この場合、利用者Uの位置や顔の向きに応じて対応する画像が提供される。例えば、乗員Pと異なる場所(例えば、遠隔)にいる利用者Uが椅子等に着座して疑似乗車している状態において、利用者U(第2装置200)の基準位置からの任意の方向を向いている場合に、その向きに応じて第1装置100の室内カメラ132により撮影された画像が、画像IM10として提供される。これにより、利用者Uは、助手席S2から見た任意の方向の室内画像を取得することができる。
【0095】
また、第2装置200は、椅子CHに着座した利用者Uの頭部(第2装置200)の位置が基準位置から横方向に所定距離以上移動した場合に室内カメラ132による室内画像(例えば、画像IM10)から、室外カメラ134による室外画像に切り替えて表示する。
図12は、室外画像IM50の一例を示す図である。画像IM50は、仮想空間情報の一例である。画像IM50は、画像編集部175または画像編集部276で生成されてもよく、提供部340で生成されてもよい。
【0096】
図12の例では、利用者Uの頭部(第2装置200)の位置が基準位置から横方向に距離D1だけ移動した場合に提供される室外画像IM50を示している。この場合、第2装置200は、移動した距離D1が閾値以上であるか否かを判定し、閾値以上である場合に、室内カメラ132による室内画像から、室外カメラ134による室外画像に切り替えて表示する。
図12の例では、距離D1が閾値以上であるため、移動した方向の移動体Mの側部から撮像された室外画像(より具体的に、少し前方を向いているので前方の画像)が表示されている。これにより、利用者Uは、移動体Mの横(例えば、サイドウインドウ)から頭部を出して周辺景色を眺めているような疑似乗車特有の体験を得ることができる。なお、上述の閾値は、固定値でもよく、移動体Mの車格情報に応じて可変に設定されてよい。室外画像IM50は、
図11の例において、画像IM10に代えて表示されてもよく、画像IM30の代わりに表示されてもよく、画像IM10~IM40に代えて(または加えて)表示されてもよい。また、提供部340は、利用者Uの頭部(第2装置200)の位置が基準位置から上方向に所定距離以上移動した場合に移動体Mの上方から見た室外画像に切り替えて表示してもよい。
【0097】
また、画像IM50には、外界センサ122により検出された縁石等の障害物OBJとの距離を示す情報(例えば、画像IM52や距離を示す数値)を表示させてもよい。この場合、第1装置100は、移動体Mの周辺の物体を認識する外界センサ122からの情報を取得し、第2装置200に、室外画像を提供する際に、外界センサ122により検知される物体(障害物OBJ)と移動体Mとの距離を示す画像IM52を提供する。これにより、例えば、乗員Pが運転席から直接見ることができない死角となる路肩付近の室外画像IM50を利用者Uが見て、その内容やその後の運転操作を会話によって乗員Pに通知することで、障害物OBJとの接触を抑制し、より適切なコーチングを行うことができる。なお、第2装置200は、利用者Uの動作に基づいて音声の切り替えを制御してもよい。
【0098】
上述した提供情報により、利用者Uの所定動作に応じた疑似乗車の画像や音声を提供することができる。なお、上述の例では、利用者の動きに応じて画像(室内画像、室外画像)を切り替えたが、第2装置200に設けられた切り替えボタン等の機械式スイッチ(操作部)や利用者Uのジェスチャー動作、第1装置100に設けられた操作部やジェスチャー動作等に応じて、利用者Uの動作によらずに画像を切り替えてもよい。
【0099】
利用者Uは、疑似乗車によって、乗車によって実際に見える情報よりも多くの情報が視認しやすくなるため、乗員Pに対して運転に対するより適切なコーチングを行うことができる。
【0100】
<疑似乗車制御>
ここで、ステップS112~S124に示すような疑似乗車制御処理において、利用者Uは、VRゴーグル等を装着することで、移動体Mに実際に搭乗することなくサービスを提供することになる。したがって、実際に移動体Mに乗車するよりも目や脳等への負担が大きくなることが予測される。そのため、実施形態では、利用者Uの負担を軽減させると共に、より適切なタイミングで疑似乗車を行うための制御を行う。以下では、疑似乗車制御の例について幾つかに分けて具体的に説明する。
【0101】
<第1の疑似乗車制御>
第1の疑似乗車制御では、利用者Uに負荷度合に応じた疑似乗車の使用制限を行う。負荷度合は、利用者Uの疲労度合を示す指標値であり、例えば疑似乗車の連続使用時間に応じて設定されてもよく、疑似乗車している移動体Mの挙動(例えば、速度や加速度)に基づいて設定されてもよい。例えば、管理部350は、所定周期等のタイミングで繰り返し取得される第2装置情報に応じて、利用者Uに第2装置200の使用の制限を提案する。
【0102】
例えば、管理部350は、第2装置情報に含まれる第2装置200の使用時間に関する情報を取得する。使用時間に関する情報とは、例えば、使用を開始または終了したときの時刻でもよく、使用を開始してからの経過時間でもよい。また、管理部350は、第2装置情報に第2装置200の動きを示す情報が含まれる場合に、第2装置200が使用されているとして、その時刻や時間を取得してもよい。そして、管理部350は、取得した時刻や時間の情報から連続使用時間を取得し、連続使用時間が所定時間以上である場合に、利用者Uに第2装置200の使用の制限を提案する。連続使用時間とは、利用者Uがある移動体Mへの疑似乗車を実行している連続時間でもよく、複数の移動体へ疑似乗車を実行した場合の合計疑似乗車時間(使用時間の加算値)でもよい。
【0103】
図13は、実施形態の連続使用時間について説明するための図である。
図13の例では、ある一人の利用者(例えば、利用者U1)が移動体M1~M3のそれぞれに順番に疑似乗車したときの乗車時間を示している。
図13の例では、利用者U1は、時刻T0~T1の間は移動体M1に疑似乗車し、時刻T2~T3の間は、移動体M2に疑似乗車し、時刻T4~T5が移動体M3に疑似乗車していることを示している。この場合、管理部350は、移動体M1、M2、M3のそれぞれに疑似乗車したときの各時間(T1-T0、T3-T2、T5-T4)のそれぞれを連続使用時間とする。また、管理部350は、異なる移動体間で疑似乗車が切り替わるまでの空き時間△T1(T2-T1)、△T2(T3-T2)が所定時間未満である場合には、各移動体に疑似乗車した時間と空き時間とを加算した時間T10、または疑似乗車した時間のみを加算した時間を連続使用時間として取得してもよい。
【0104】
図14は、利用者Uに第2装置200の使用の制限を提案することを示す画像IM60の一例を示す図である。画像IM60は、画像編集部276で生成されてもよく、提供部340で生成されてもよい。画像IM60には、例えば、提案内容表示領域AR61と、スイッチ表示領域AR62とが含まれる。提案内容表示領域AR61には、疑似乗車の終了を促す情報や、予め設定された次に疑似乗車できるまでの時間(休憩時間)の情報等が表示される。
図14の例では、「疑似乗車の使用時間が規定時間を超えます。疑似乗車を終了し、1時間以上休憩してください。」等の提案情報が表示されている。
【0105】
スイッチ表示領域AR62は、例えば、アイコンIC61が含まれる。アイコンIC61は、利用者Uからの指示を受け付けるGUI(Graphical User Interface)スイッチである。また、スイッチ表示領域AR62には、実行中の疑似乗車を終了させるためのアイコンが表示されてもよい。
【0106】
画像IM60は、例えば、上述した画像IM10~IM50の表示領域と重複しない領域に表示されたり、重複した位置で且つ最前面(最も手前側)に表示されたりする。なお、画像IM10~IM50に重ねて表示される場合、画像IM60の表示によって、利用者Uが移動体の状況や運転者の状況を把握できなくならないように、所定の透過率で画像IM60を透過して表示させてもよい。また、画像IM60は、運転のコーチングに直接影響がない領域(例えば、画像IM10に示す移動体Mのインストルメントパネルの助手席側の領域)に表示させてもよい。利用者UによりアイコンIC61の選択操作が受け付けられた場合、第2装置200は、画像IM60の表示を終了する。このように、連続使用時間が第1所定時間以上の場合に画像IM60を表示して利用者Uに表示することで、疑似乗車による利用者Uの負荷が大きくなることを抑制し、より適切な疑似乗車を実現することができる。
【0107】
更に管理部350は、連続使用時間が第1所定時間よりも大きい第2所定時間以上である場合に、疑似乗車を強制的に終了するための制御情報を第2装置200に送信し、第2装置200に第1装置100との通信を終了させてもよい。この場合、提供部340は、強制終了したことや、強制終了した理由を示す情報を第1装置100や第2装置に出力し、乗員Pや利用者Uに通知してもよい。
【0108】
なお、第1所定時間および第2所定時間は、固定に設定されてもよく、利用者Uの運転スキルやライセンス情報、疑似乗車履歴等に基づいて可変に設定されてもよい。また、第1所定時間および第2所定時間は、移動体Mの速度または加速度に応じて可変に設定されてもよい。第1所定時間および第2所定時間が可変に設定されることで、利用者Uごとに、疑似乗車による負担をより適切に管理することができる。
【0109】
また、管理部350は、疑似乗車の連続使用時間に代えて(または加えて)、移動体Mから取得した移動体情報に応じて、利用者Uに第2装置200の使用の制限を提案してもよい。この場合、管理部350は、移動体情報に含まれる移動体Mの速度の積算値を取得し、取得した積算値(速度積算値)が第1閾値以上である場合に、利用者Uに警告を行う。また、管理部350は、移動体情報に含まれる移動体Mの加速度の積算値を取得し、取得した積算値(加速度積算値)が第1閾値以上である場合に、利用者Uに警告を行ってもよい。また、管理部350は、積算値(速度積算値、加速度積算値)が第1閾値よりも大きい第2閾値以上である場合に疑似乗車を強制終了させる制御を行ってもよい。なお、上述した第1閾値および第2閾値は、比較対象の積算値が速度積算値である場合と、加速度積算値とである場合とで異ならせてもよい。
【0110】
例えば、速度や加速度が大きい場合は、撮像した周辺画像の流れが速く、速度感を強く感じるため、その動画(映像)によって利用者Uの身体に与える負担はより大きくなることが予想される。そのため、所定時間当たりの積算量等が所定値以上となった場合に、上述したような提案情報を第2装置200に出力させて、第2装置200の使用の制限を提案することで、利用者Uの負荷を軽減させることができる。
【0111】
なお、提供部340は、上述した連続使用時間や積算値(速度積算値、加速度積算値)に関する情報は、画像IM10~IM50の何れかに表示させてもよい。また、提供部340は、第1所定時間や第2所定時間までの残り時間や、第1閾値や第2閾値までの残り積算値等を第2装置200に提供して表示させてもよい。これにより、利用者Uは、警告を受ける時間や疑似乗車が強制停止される時間を予測することができるため、それまでの残り時間に応じて、より適切なコーチングを行うことができる。
【0112】
なお、提供部340は、第2装置200による移動体Mの疑似乗車を強制的に終了した場合に、利用者Uのスマートフォンやタブレット端末等の他の端末装置に、第2装置200に提供していた情報の一部(例えば、画像IM10や音声のみ等)を提供してもよい。これにより、コーチングが完全に途切れてしまうことを抑制することができる。
【0113】
<第1の疑似乗車制御:処理フロー>
ここで、管理サーバ300で実行される処理のうち、上述した第1の疑似乗車制御処理についてフローチャートを用いて説明する。
図15は、第1の疑似乗車制御処理の一例について説明するためのフローチャートである。以下の処理は、例えば上述した
図10に示すステップS124の処理で実行されてよい。
図15の処理は、所定周期等のタイミングで繰り返し実行されてよい。また、
図15の処理の実行時において、管理部350は、第2装置200から取得した第2装置情報に含まれる情報から連続使用時間を取得しているものとする。
【0114】
図15の例において、管理部350は、連続使用時間が第1所定時間以上か否かを判定する(ステップS210)。第1所定時間以上であると判定した場合、管理部350は、第2装置200の使用の制限を提案する情報を、第2装置200を介して利用者Uに提供する(ステップS220)。次に、管理部350は、連続使用時間が第2所定時間以上か否かを判定する(ステップS230)。第2所定時間以上であると判定した場合、管理部350は、実行中の疑似乗車を強制終了させる制御を実行する(ステップS240)。これにより、本フローチャートの処理は、終了する。また、ステップS210の処理において、連続使用時間が第1所定時間以上でないと判定した場合、または、ステップS230の処理において、連続使用時間が第2所定時間以上でないと判定した場合、本フローチャートの処理は、終了する。
【0115】
図16は、第1の疑似乗車制御処理の他の例について説明するためのフローチャートである。
図16の処理は、所定周期等のタイミングで繰り返し実行されてよい。また、
図16の処理の実行時において、管理部350は、第1装置100から取得した移動体情報に含まれる移動体Mの速度または加速度の情報を取得しているものとする。
図16の例において、管理部350は、移動体Mの速度または加速度の積算値を取得する(ステップS310)。次に、管理部350は、速度または加速度の積算値が第1閾値以上であるか否かを判定する(ステップS320)。
【0116】
第1閾値以上であると判定した場合、管理部350は、第2装置200の使用の制限を提案する情報を、第2装置200を介して利用者Uに提供する(ステップS330)。次に、管理部350は、積算値が第2閾値以上か否かを判定する(ステップS340)。第2閾値以上であると判定した場合、管理部350は、管理部350は、実行中の疑似乗車を強制終了させる制御を実行する(ステップS350)。これにより、本フローチャートの処理は、終了する。また、ステップS320の処理において、積算値が第1閾値以上でないと判定した場合、または、ステップS340の処理において、積算値が第2閾値以上でないと判定した場合、本フローチャートの処理は、終了する。
【0117】
上述した第1の疑似乗車制御によれば、例えば、管理サーバ300は、利用者Uの疑似乗車の使用状況を管理し、利用者Uの負荷度合が大きくならないように使用の制限を提案することで、利用者Uの負担を軽減することができる。したがって、移動体Mとは異なる場所にいる利用者Uに、より適切な疑似乗車を行わせることができる。
【0118】
<第2の疑似乗車制御>
次に、第2の疑似乗車制御について説明する。第2の疑似乗車制御において、管理サーバ300は、所定の経路(例えば、サーキットコースCC1)を走行する複数の移動体が存在する場合に、移動体Mの位置情報に応じて、複数の移動体のそれぞれから得られる移動体情報のうち、第2装置200に提供する移動体情報を選択する。この場合、管理部350は、各移動体Mの位置情報に応じて、第1装置100に疑似乗車サービスに関する情報の提供を開始する提供開始地点と、情報の提供を終了する提供終了地点とを設定する。提供部340は、設定された提供開始地点から提供終了地点までの区間に移動体Mに存在する場合に、その移動体の移動体情報を第2装置200に提供し、利用者Uに疑似乗車を実行させると共に、その移動体(第1装置100)への情報(疑似乗車情報)の提供を開始する。
【0119】
上述した
図9の例では、走行経路であるサーキットコースCC1上に提供開始地点STと、提供終了地点ENとが設定されており、この区間(提供開始地点STから提供終了地点ENまでの区間)に存在する移動体(
図9の例では、移動体M2)に対して利用者Uによる疑似乗車制御が実行され、利用者Uによるコーチングが実行される。提供開始地点STと提供終了地点ENとは、例えば、道路形状に応じて設定されてよく、サーキットコースCC1ごとに予め設定されていてもよく、利用者Uや乗員P、または管理サーバ300の管理者等によって任意に設定されてもよい。したがって、第2の疑似乗車制御によれば、例えば、S字カーブや曲率が大きい道路形状を含むような区間が設定されることで、運転操作が困難な区間に対するコーチングを行うことができる。また、利用者Uが午前と午後で提供開始地点STと提供終了地点ENの位置(つまり、コーチングを行う区間)を変更することで、異なる区間の運転操作に対してコーチングを行うことができる。
【0120】
なお、移動体情報には、移動体Mの室内カメラ132や室外カメラ134から撮像された画像(動画を含む)が含まれ、疑似乗車中は移動体情報に基づいて画像IM10~IM30、IM50に示す画像が第2装置200から出力される。また、移動体情報には、乗員Pが行った移動体Mの運転に関する情報(例えば、速度、加速度、操舵角、シフトレバーの位置)が含まれ、これらの情報から画像IM40等の情報が第2装置200に出力される。また、第2装置200や提供部340から取得した利用者Uの疑似乗車に関する情報(例えば、移動体Mの運転に関する情報)が第1装置100に提供されることで、乗員Pの運転操作等をコーチングすることができる。また、移動体情報及び利用者Uの音声はコーチング後に保存して乗員Pに提供することで、乗員Pは、受けたコーチングの内容を後から振り返ることができる。
【0121】
なお、乗員Pは、予め利用者Uを指定して、コーチングを受けることができる。この場合、管理サーバ300のマッチング処理部330は、複数の移動体M1~M3のそれぞれに搭載された第1装置100から取得した乗員P1~P3によるユーザ指定指示に基づいて、複数の移動体M1~M3ごとに複数の利用者のうち一以上の利用者を割り当てる。割り当てられた情報は、例えば、ユーザデータ362に格納して管理される。管理部350は、利用者Uが担当する乗員Pが運転する移動体Mが提供開始地点STから提供終了地点ENまでの区間(コーチング区間)に存在する場合に、その利用者に対して疑似乗車を実行させる制御を行う。これにより、乗員Pが指定した利用者Uにコーチングさせることができるため、乗員Pにより適切なサービスを提供することができる。
【0122】
なお、疑似乗車を実行していない状態において、第2装置200は、利用者Uに割り当てられた移動体Mのそれぞれの移動体情報の一部を表示してもよい。この場合、提供部340は、例えば画像IM10や画像IM40に含まれる情報の少なくとも一部を、利用者Uに割り当てられた全ての移動体または一部の移動体の数だけ表示してもよい。また、提供部340は、どの移動体の情報であるのかを識別し易くするために表示される画像に、車両識別情報(車両番号等)や乗員識別情報(氏名等)等の各種識別情報を含ませてもよい。これにより、利用者Uは、疑似乗車を実行する前の各移動体Mの様子を把握することができる。なお、提供部340は、利用者Uが移動体Mに疑似乗車した場合にも上記の識別情報を表示させてよい。
【0123】
また、提供部340は、移動体Mの位置情報と速度情報とに基づいて、移動体Mが提供開始地点STに到達するまで(疑似乗車を開始するまで)の待ち時間を算出して第2装置200に提供してもよい。これにより、利用者Uは、待ち時間に応じた休憩や疑似乗車の準備を行うことができる。
【0124】
また、提供部340は、移動体Mの位置情報に基づいて、移動体Mが提供終了地点ENに到達するまでの残距離を算出して第2装置200に提供してもよく、移動体Mの位置情報と速度情報とに基づいて、移動体Mが提供終了地点ENに到達するまでの残時間を算出して第2装置200に提供してもよい。これにより、利用者Uは、残り時間に応じて適切等バイスを乗員Pに行うことができる。
【0125】
また、提供部340は、疑似乗車が終了した場合に、次に疑似乗車を行う移動体の情報(識別情報や映像等)と待ち時間を第2装置200に提供してもよい。これにより、利用者Uに次の疑似乗車に対する事前準備をし易くさせることができる。また、提供部340は、疑似乗車が開始または終了する一定時間前から第2装置200に所定の音を出力してもよい。これにより、疑似乗車の開始や終了のタイミングをより正確に把握することができる。
【0126】
また、提供部340は、コーチング区間に複数の移動体が存在する場合には、優先度が大きい移動体に疑似乗車が行われるように制御を行う。この場合、例えば、疑似乗車サービスに対して支払った金額が大きいほど移動体Mの優先度を大きくしてもよく、コーチング区間に最初に進入した移動体の優先度を後から進入した移動体よりも大きくしてもよい。また、優先度は、移動体Mの速度や加速度が大きいほど大きくしてもよく、乗員Pの運転レベルが低いほど(経験が少ないほど)大きくしてもよい。
【0127】
このように、第2の疑似乗車制御によれば、サーキットコースCC1上の一部の区間のみで疑似乗車が行われるため、コース全体を疑似乗車するよりも利用者Uの負担を軽減させることができる。また、運転操作が困難な区間で疑似乗車することで、より適切なタイミングで疑似乗車を行い、乗員Pにコーチングすることができる。
【0128】
なお、第2の疑似乗車制御では、乗員Pの指示より、提供終了地点ENの通過後も継続して利用者Uによる疑似乗車を行ってもよい。この場合、乗員Pは、移動体Mが提供終了地点ENを通過後も継続して利用者Uによるコーチングを受けたい場合に、第1装置100に継続依頼を示す情報を入力する。第1装置100は、乗員Pからの継続依頼を受け付けて管理サーバ300に送信する。管理部350は、継続依頼を受け付けると、利用者Uに割り当てられた移動体Mのそれぞれの位置情報および速度情報を取得して次に疑似乗車するまでの空き時間を推測し、推測した空き時間よりも短い時間で利用者Uによる継続を許可する。なお、この場合には、利用者Uの第2装置200に継続できるか否かの問い合わせを行い、継続の承諾が得られた場合に疑似乗車を継続させ、拒否された場合には継続を行わないように制御してもよい。これにより、乗員Pや利用者Uの意図に応じた疑似乗車が実現できる。なお、継続する場合には、通常料金に対して更なる追加料金が徴収されてよい。
【0129】
また、第2の疑似乗車制御では、疑似乗車している利用者Uを変更する制御を行ってもよい。この場合、乗員Pは、第1装置100に利用者Uの変更要求を入力する。第1装置100は、乗員Pからの変更要求を受け付けて管理サーバ300に送信する。管理部350は、変更要求を受け付けると他の利用者を割り当てる。提供部340は、割り当てた他の利用者に第1装置100から取得した情報を提供して疑似乗車を実行させる。この場合、提供部340は、前回の利用者の第2装置200から得られる第2装置情報等から前回の利用者によってコーチングされた内容を取得し、取得した情報を次の利用者の第2装置200に提供してもよい。これにより、次の利用者は、乗員Pが今までコーチングされた内容を把握することができ、その内容を踏まえて、より適切なコーチングを行うことができる。
【0130】
<第2の疑似乗車制御:処理フロー>
次に、第2の疑似乗車制御処理についてフローチャートを用いて説明する。なお、以下の処理は、上述した
図10に示すステップS124の処理で実行されてよい。
図17は、第2の疑似乗車制御処理の一例について説明するためのフローチャートである。
図17の処理は、所定周期等のタイミングで繰り返し実行されてよい。また、
図17の処理の実行時において、既に移動体Mに利用者Uが割り当てられており、管理サーバ300は、移動体Mの第1装置100から移動体情報を所定周期で繰り返し取得しているものとする。
【0131】
図17の例において、管理部350は、疑似乗車サービスの提供開始地点と提供終了地点とを設定する(ステップS410)。なお、ステップS410の処理は、
図17の処理が開始される前に実行されていてもよい。次に、管理部350は、移動体Mの位置情報を取得し(ステップS420)、移動体Mが提供開始地点から提供終了地点までの区間(コーチング区間)に存在するか否かを判定する(ステップS430)。移動体Mが上記区間に存在すると判定した場合、提供部340は、移動体Mに関する情報を第2装置200に提供すると共に、移動体Mの第1装置100に疑似乗車に関する情報を提供して、疑似乗車制御を開始させる(ステップS440)。
【0132】
また、移動体Mが提供開始位置から提供終了位置までの区間に存在しないと判定した場合、管理部350は、疑似乗車制御が実行中か否かを判定する(ステップS450)。実行中であると判定した場合、管理部350は、第2装置200に疑似乗車制御を終了させる(ステップS460)。これにより、本フローチャートの処理は、終了させる。また、ステップS450の処理において、疑似乗車制御が実行中ではないと判定した場合、本フローチャートの処理は、終了する。
【0133】
上述した第2の疑似乗車制御によれば、サーキットコースCC1等の所定の走行経路において、疑似乗車区間を予め設定し、その区間を走行中の移動体の移動体情報を第2装置200に提供すると共に、第1装置100への情報提供を開始することで、複数の移動体が参加するバーチャルコーチングシステム等において、円滑にコーチングを行うことができる。これにより、例えば、一人の利用者Uが複数の移動体Mに対してコーチング行う場合に、利用者Uがどの乗員Pの移動体Mに疑似乗車するのかを各移動体Mの状況に応じて常時判断する必要がなく、利用者Uの判断負担を軽減させることができる。また、第2の疑似乗車制御によれば、予め設定した区間内で疑似乗車するため、重点的にコーチングすることができる。したがって、全体をコーチングするよりも利用者Uの負担を軽減させることができる。
【0134】
<第3の疑似乗車制御>
次に、第3の疑似乗車制御について説明する。第3の疑似車両制御では、第1装置100から取得した移動体情報に所定の情報が含まれる場合に、所定の情報を含む移動体に関する情報(移動体情報)の提供の開始を利用者に提案するものである。所定の情報とは、例えば、移動体Mの挙動が所定の挙動であることを示す情報や、近い将来(数秒以内)に所定の挙動となる予測されることを示す情報である。例えば、移動体情報には、移動体Mの位置、速度、加速度、操舵、および所定の車両制御システムの作動に関する情報のうち、少なくとも一つが含まれる。また、移動体情報には、乗員Pによるステアリングホイールの操作量(操舵量)や、アクセルペダルやブレーキペダルの操作量(踏み込み量)が含まれてよい。この場合、所定の挙動としては、例えば、閾値以上の移動体Mの速度変化や加速度変化、操舵量変化、移動体Mの回転(スピン)等が含まれる。また、所定の挙動として、コースアウト(車線逸脱)や逆走等が含まれてよい。
【0135】
第3の疑似乗車制御において、管理部350は、複数の移動体から取得された複数の移動体情報を管理する。また、管理部350は、上述した所定の情報を含む移動体情報が存在するか否かを所定周期で繰り返し判定する。提供部340は、移動体情報に所定の情報が含まれる場合に、所定の情報を含む移動体情報の提供の開始を利用者Uに提案するための情報を第2装置200に提供する。このときの利用者Uは、乗員Pにより予め指定された利用者Uでもよく、管理サーバ300で事前に割り当てられた利用者Uでもよい。また、利用者Uは、所定の情報の種類や緊急度に応じて割り当てられてもよい。例えば、移動体情報に含まれる所定の情報が、移動体Mの走行が困難であると推測されるような情報(例えば、移動体Mと物体(他の移動体等)との激しい接触を示す情報、エアバッグ装置が作動したことを示す情報)である場合には、インストラクタではなく、救急隊員等が利用者Uとして割り当てられる。
【0136】
利用者Uにより、上記提案の承諾を示す情報が受け付けられた場合、提供部340は、所定の情報を含む移動体情報に対応する移動体(所定の情報を含む移動体情報を送信した移動体)に疑似乗車させるための情報を第2装置200に提供し、利用者U1に疑似乗車させる。また、利用者Uにより、上記提案の拒否を示す情報が受け付けられた場合、管理部350は、他の利用者を抽出して上記提案を行う。
【0137】
また、提供部340は、移動体情報に所定の情報が含まれる場合であって、且つ情報の提供を提案する利用者Uの第2装置200に対して既に他の情報を提供している場合に、第2装置200に提供する情報を変更してもよい。例えば、既に利用者Uが第1の移動体への疑似乗車を実行中である場合には、第2装置200に提供する情報を、所定の情報を含む移動体情報に対応する第2の移動体に疑似乗車させるための情報(または、第2の移動体に疑似乗車することを提案する情報)に変更する。これにより、緊急度の高い移動体に迅速に疑似乗車させることができる。なお、既に疑似乗車を実行している第1の移動体の状況が、所定の状況である場合には、第2の移動体に疑似乗車させるタイミングを遅らせてもよい。所定の状況とは、例えば、疑似乗車が終了するまでの残り時間が所定時間未満である状況であったり、第2の移動体の移動体情報にも所定の情報が含まれる状況である。この場合には、第1の移動体の疑似乗車が終了後に第2の移動体に疑似乗車させるための情報を提供する。
【0138】
また、提供部340は、複数の移動体Mのそれぞれに対応する移動体情報に所定の情報が含まれる場合に、優先度が大きい移動体の移動体情報(または、第2の移動体に疑似乗車することを提案する情報)を第2装置200に提供してもよい。この場合、提供部340は、複数の移動体のそれぞれに対応する移動体情報に含まれる移動体の挙動を示す情報に基づいて、挙動の変化度合が大きいほど優先度を大きくする。また、優先度は、移動体Mの位置に基づくリスク(危険度)が大きいほど、大きくなるように設定されてもよい。リスクは、例えば移動体Mが他の移動体と接触する可能性が高い位置(例えば、コースの中央や死角エリア)にいるほど大きい。これにより、リスクが高い移動体に、より迅速に疑似乗車することができる。したがって、状況に応じて、より適切な疑似乗車が実現できる。
【0139】
また、第3の疑似乗車制御において、提供部340は、移動体情報に基づいて、移動体Mが所定の挙動になると予測される場合に、所定の挙動となると予測される移動体の移動体情報の提供の開始を利用者に提案し、移動体が所定の挙動である場合に、所定の挙動である移動体の移動体情報を前記第2装置に提供してもよい。これにより、状況の緊急度に応じて利用者U1に疑似乗車を提案したり、強制的に疑似乗車させるといった制御を行うことができる。
【0140】
また、管理部350は、室内カメラ132により撮像された画像から乗員Pの運転状態を既存の画像解析処理により解析し、乗員Pの運転状態から運転リスクを推定してもよい。推定したリスクが閾値以上である場合、提供部340は、利用者Uを強制的に疑似乗車させるための情報を第2装置200に提供する。これにより、加減速操作や操舵操作が適切ではない乗員Pや顔の表情に不安や迷いがあると推定される乗員Pに対して、より迅速にコーチングすることができる。また、提供部340は、上述した運転リスクが第1閾値以上である場合に利用者Uに疑似乗車を提案し、運転リスクが第1閾値よりも大きい第2閾値以上である場合に、利用者Uを強制的に疑似乗車させるための情報を第2装置200に提供してもよい。
【0141】
<第3の疑似乗車制御:処理フロー>
次に、第3の疑似乗車制御処理についてフローチャートを用いて説明する。なお、以下の処理は、上述した
図10に示すステップS124の処理で実行されてよい。
図18は、第3の疑似乗車制御処理の一例について説明するためのフローチャートである。
図18の処理は、所定周期等のタイミングで繰り返し実行されてよい。また、
図18の処理の実行時において、既に移動体Mに利用者Uが割り当てられており、管理サーバ300は、移動体Mの第1装置100から移動体情報を所定周期で繰り返し取得しているものとする。
【0142】
図18の例において、管理サーバ300の管理部350は、サーキットコースCC1を走行中の移動体のそれぞれの移動体情報を参照し、所定の情報を含む移動体情報が存在するか否かを判定する(ステップS510)、所定の情報を含む移動体情報が存在すると判定した場合、管理部350は、所定の情報を含む移動体情報が複数存在するか否かを判定する(ステップS520)。複数存在すると判定した場合、提供部340は、所定の情報を含む複数の移動体情報に基づいて、優先度が最も大きい移動体Mを選択し(ステップS530)、選択した移動体Mの移動体情報を第2装置200に提供し、利用者Uに移動体Mへの疑似乗車を実行させる(ステップS540)。
【0143】
また、ステップS520の処理において、所定の情報を含む移動体情報が複数存在しないと判定した場合、管理部350は、所定の情報を含む移動体情報に第2装置200に提供して、対象の移動体Mへの疑似乗車を実行させる(ステップS550)。なお、ステップS540およびS550の処理では、利用者Uに対して疑似乗車を行うための情報の提供を開始するための提案を行い、利用者Uにより提案が承諾された場合に移動体情報を第2装置200に提供して、移動体Mへの疑似乗車を実行させてもよい。これにより、本フローチャートの処理は、終了する。また、ステップS510の処理において、所定の情報を含む移動体情報が存在しないと判定した場合、本フローチャートの処理は、終了する。
【0144】
上述した第3の疑似乗車制御によれば、サーキットコースCC1等の所定の走行経路を走行する一以上の移動体のうち、所定状態となった移動体Mに対して疑似乗車を行う(または情報の提供の開始を提案する)ことで、利用者Uによる負担を軽減しつつ、より適切なタイミングで疑似乗車を行うことができる。例えば、第3の疑似乗車制御では、移動体情報から移動体Mに何らかの不具合等が発生したと判定される場合に、利用者Uに疑似乗車を促す提案を行う。例えば、サーキットコースCC1において、走行に必要な操舵量はある程度限定されるため、所定以上の操舵量を検出した場合にはスピン状態に陥っていることが考えられる。このように、大きな挙動変化等が生じた場合に、速やかに利用者Uに疑似乗車させることで、現在の状況をより正確に把握することができ、更にリスクが大きくならないように、または正常な走行ができるように適切なアドバイスを行うことができる。
【0145】
<変形例>
上述した第1~第3の疑似乗車制御のそれぞれは、他の疑似乗車制御の一部または全部を組み合わせてもよい。この場合、例えば、第1の疑似乗車制御により連続使用時間が所定時間以上となった場合や、第2の疑似乗車制御により設定したコーチング区間以外の区間を移動体Mが走行している場合であっても、第3の疑似乗車制御を優先させて、所定状態である移動体Mに利用者Uを疑似乗車させる。これにより、緊急度の高い状態にある移動体に対して、速やかに疑似乗車を行って、乗員Pをサポートすることができる。また、第1および第2の疑似乗車制御が実行中の場合であって、且つ、移動体Mがコーチング区間の走行中に利用者Uの連続使用時間が所定時間を経過した場合には、第2の疑似乗車制御を優先させて移動体Mがコーチング区間外に移動するまで疑似乗車を継続させてもよい。これにより、コーチング区間の走行途中に疑似乗車が終了することがないため、乗員Pに不安感を与えることを抑制することができ、より適切な疑似乗車サービスを提供できる。
【0146】
また、上述した情報処理システム1において、第1装置100および第2装置200の機能の少なくとも一部は、管理サーバ300に設けられてもよく、管理サーバ300の機能の少なくとも一部は、第1装置100または第2装置200に設けられてもよい。例えば、管理サーバ300の提供部340や管理部350で実行される機能の少なくとも一部は、第1装置100または第2装置200のうち一方または双方に設けられてよい。
【0147】
例えば、上述した管理サーバ300の提供部340や管理部350の機能は、第2装置200の第2制御装置270で実行されてよい。
図19は、変形例における第2制御装置270Aの機能構成の一例を示す図である。
図19の例において、第2制御装置270Aは、
図7に示す第1例の第2制御装置270と比較して、更に提供部280と、管理部282とを備える。なお、第2例の場合であっても、
図8に示す第2制御装置270に、提供部280と、管理部282とが追加された構成となる。
【0148】
提供部280および管理部282は、第1装置100から直接送信される移動体情報と第2装置情報とに基づいて、疑似乗車サービスを提供するために、上述した提供部340および管理部350と同様の処理を行う。なお、この変形例で上述した疑似乗車制御を行う場合に、複数の移動体から移動体情報を取得して内容を比較するような処理は第2装置200の処理負荷が大きくなるため、少なくとも一部の処理を管理サーバ300で実行させてよい。
【0149】
また、実施形態において、上述した画像編集部276または(画像編集部175)の機能や移動体画像表示制御部277の機能は、管理サーバ300側に設けられてもよい。
図20は、変形例における管理サーバ300Aの機能構成の一例を示す図である。
図20の例において、管理サーバ300Aは、
図1に示す管理サーバ300と比較して、提供部340に代えて、提供部340Aを備えている。
図20に示す変形例の場合、例えば、第1装置100および第2装置200により取得された情報は、管理サーバ300Aの取得部320により取得され、提供部340Aによって対象の装置に対応させた各種情報が提供される。
【0150】
提供部340Aは、提供部340と同様の機能を有する他に、画像編集部332と、移動体画像表示制御部334とを備える。画像編集部332は、上述した画像編集部276(または画像編集部175)と同様の処理を行う。例えば、画像編集部332は、第1装置100により撮像された画像を取得し、第2装置200の検知装置230により検知された利用者Uの動作情報(頭部の位置情報)等に基づいて、所定動作の有無により室内画像と室外画像と切り替えて第2装置200に提供する。この場合、画像編集部332は、室内画像や室外画像に他の情報(例えば、ナビ情報やPOI情報)を重畳した画像を生成してもよい。
【0151】
また、移動体画像表示制御部334は、画像編集部332により生成された画像を第2装置200に提供したり、利用者Uの動作に基づいて画像や音声の切り替えを制御する。例えば、移動体画像表示制御部334は、第1装置100から室内音声情報を取得し、画像の切り替えに合わせて音声のエフェクト処理等を行い、第2装置200に提供する画像に対応した音声を提供してもよい。
【0152】
また、提供部340Aは、第2装置200に、室外画像を提供する場合に、外界センサ122により検知される物体(例えば、障害物)と移動体Mとの距離に関する情報を提供してもよい。また、提供部340Aは、移動体Mと物体との距離が、所定距離以内である場合に、移動体Mと物体との距離が接近していることを示す情報を、第2装置200に提供してもよい。この変形例によれば、提供される画像や音声について、管理サーバ300Aで一元管理することができる。これにより、提供される情報の種類やデータ量、提供時間をより正確に把握することができ、サービス使用料等を適切に管理することができる。また、変形例に示すように画像編集や表示制御等を管理サーバ300A側で行うことで、第1装置100や第2装置200の処理負荷を軽減させることができる。
【0153】
また、上述した
図10の例では、第1装置100から疑似乗車リクエストを送信したが、第2装置200から第1装置100に疑似乗車リクエストを送信してもよい。この場合のサービス形態は、例えば、プロドライバが乗員Pとして直接移動体Mを運転してレーシングコースCC1を走行し、生徒としての利用者Uが疑似乗車して、プロドライバの運転を疑似体験するようなサービスである。この場合、利用者Uは、第2装置200を介して疑似乗車リスエストを管理サーバ300に送信する。管理サーバ300のマッチング処理部330は、利用者に対応する乗員(プロドライバ)とのマッチングを行い、プロドライバが運転する移動体Mに搭載された第1装置100に問い合わせを行い、許可された場合に疑似乗車制御を実行する。なお、このようなサービス形態の場合には、一つの移動体Mに対して複数の利用者Uを疑似乗車させてもよい。
【0154】
また、実施形態において、「第2装置200の使用の制限」には、疑似乗車を終了させることに代えて、例えば、疑似乗車する移動体Mの速度を制限する(速度を遅くする)ことや、所定時間における疑似乗車回数を減らすことが含まれてよい。また、「第2装置200の使用の制限」には、運転レベルが高い(閾値以上)の乗員Pが運転する移動体Mのみに疑似乗車させること、第3の疑似乗車制御における所定の情報を含む移動体情報を送信した移動体Mには疑似乗車しないこと等が含まれてよい。
【0155】
<まとめ>
以上のように構成される実施形態によれば、移動体Mとは異なる場所にいる利用者Uに、より適切な疑似乗車を行わせることができる。また、実施形態によれば、移動体Mの乗員Pと、利用者Uとの双方に与える臨場感を高めることができる。また、実施形態によれば、利用者Uの視認性と乗員Pの安全性を向上させ、延いては交通の安全性をより一層改善して持続可能な輸送システムの発展に寄与することができる。実施形態では、利用者Uに対して、助手席から見た自身の指向方向φに対応する画像が表示されるので、利用者Uは、あたかも助手席S2に着座して周囲を見渡したような風景を視認することができる。また、第1スピーカ140が、乗員Pに対して、助手席S2から音声が聞こえるように音像定位させて、利用者Uの発し音声を出力することで、乗員Pは、利用者Uが助手席S2に居るような感覚で利用者Uと会話を行うことができる。更に、第2スピーカ240が、利用者Uに対し、助手席S2からみた乗員Pの位置から音声が聞こえるように音像定位させて、乗員Pの発した音声を出力することで、利用者Uは、自身が助手席S2に居るような感覚で乗員Pとの会話を行うことができる。
【0156】
実施形態は、上述の例に限定されず、例えば、乗員Pが一般利用者、利用者Uが道案内サービス、運転指導サービス等の提供者である態様の全てに適用できる。この場合、利用者Uは、移動体Mの周囲の風景を見ながらナビゲーション装置では分かりにくい、或いは地図に載っていないような場所における道案内を行ったり、運転操作の指導を行ったりすることができる。また、本実施形態は、乗員Pがサービスの提供者となり、利用者U(例えば、遠隔地にいる利用者U)が一般利用者となる態様にも適用できる。この場合、利用者Uは多数存在してもよく、乗員Pの運転操作や移動体情報を見ながら、疑似乗車特有のサービスを受けることができる。
【0157】
上記説明した実施形態は、以下のように表現することができる。
乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置とに提供される情報を管理する情報管理装置のコンピュータによって読み込み可能な命令(computer-readable instructions)を格納する記憶媒体(storage medium)と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより(the processor executing the computer-readable instructions to:)、
前記第1装置および前記第2装置から情報を取得し、
取得した前記情報に基づいて、前記第1装置および前記第2装置ごとに情報を提供し、
前記第1装置により前記移動体に関する移動体情報を取得し、
前記移動体情報に所定の情報が含まれる場合に、前記所定の情報を含む移動体情報の提供の開始を前記利用者に提案する、
情報管理装置。
【0158】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0159】
1…情報処理システム、100…第1装置、110…第1通信装置、120…第1マイク、122…外界センサ、124…位置情報取得部、126…動作取得部、130…カメラユニット、
132…室内カメラ、134…室外カメラ、140…第1スピーカ、150…利用者表示装置、
160…HMI、170…第1制御装置、190…制御対象機器、200…第2装置、210…第2通信装置、220…第2マイク、230…検知装置、232…指向方向検知装置、234…頭部位置検知装置、236…モーションセンサ、240…第2スピーカ、250…移動体画像表示装置、260…HMI、270、270A…第2制御装置、280、340、340A…提供部、282、350…管理部、300、300A…管理サーバ、310…通信装置、320…取得部、330…マッチング処理部、360…記憶部、M…移動体