特開 2024-177425 情報処理装置、情報処理システム、および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024177425

(43)【公開日】2024-12-19

(54)【発明の名称】情報処理装置、情報処理システム、および情報処理方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20241212BHJP

   G06T 19/00 20110101ALI20241212BHJP

   H04N 7/18 20060101ALI20241212BHJP

   H04N 23/63 20230101ALI20241212BHJP

   H04R 3/00 20060101ALI20241212BHJP

   B60R 1/04 20060101ALI20241212BHJP

【ＦＩ】

G09G5/00 510A

G06T19/00 600

H04N7/18 J

H04N23/63 300

H04R3/00 310

G09G5/00 510Q

G09G5/00 550C

G09G5/00 530M

B60R1/04 Z

【審査請求】未請求

【請求項の数】28

【出願形態】ＯＬ

(21)【出願番号】P 2024174623

(22)【出願日】2024-10-03

(62)【分割の表示】P 2022146095の分割

【原出願日】2022-09-14

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】石田 雄亮

(72)【発明者】

【氏名】尾中 潤一郎

(72)【発明者】

【氏名】小原 潤哉

(72)【発明者】

【氏名】丸山 健太

(57)【要約】

【課題】エンターテインメント性を向上させること。
【解決手段】乗員が搭乗する移動体に搭載される情報処理装置であって人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、表示部を鏡と想定し且つ移動体の後部座席に乗員が着座していると想定して移動体の運転席または助手席の乗員が表示部を視認した場合に、鏡に後部座席の乗員が映るように表示部の位置を調整可能な表示装置と、表示部に移動体の後部座席に人物またはキャラクターが着座しているような人物画像を含むサービス画像を表示させているときに、後部座席の方向から音声を出力させるように移動体内の第１スピーカを制御する制御装置とを備え、制御装置は、移動体の走行状況、移動体のシフトポジション、または移動体に設定されている運転モードに基づいてサービス画像の表示を制御する情報処理装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

乗員が搭乗する移動体に搭載される情報処理装置であって、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、
前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、
前記制御装置は、前記移動体の走行状況、前記移動体のシフトポジション、または前記移動体に設定されている運転モードに基づいて、前記サービス画像の表示を制御する、
情報処理装置。

【請求項2】

乗員が搭乗する移動体に搭載される情報処理装置であって、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、
前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、
前記制御装置は、
前記移動体が移動中は、第１品質のサービス画像を表示部に表示させ、
前記移動体が停止中は、前記第１品質よりも画像の品質が優る第２品質のサービス画像を前記表示部に表示させる、
情報処理装置。

【請求項3】

乗員が搭乗する移動体に搭載される情報処理装置であって、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、
前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、
前記制御装置は、
前記移動体が停止していないときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、
前記移動体が停止しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる、
情報処理装置。

【請求項4】

第２通信装置および第２マイクを含む前記移動体とは異なる場所で利用者によって利用される第２装置の第２通信装置と通信する第１通信装置を備え、
前記音声は、前記第１通信装置を介して取得された、前記利用者が前記第２マイクに対して発した音声である、
請求項１から３のうちいずれか１項に記載の情報処理装置。

【請求項5】

前記人物画像は、前記第２装置を利用する利用者の画像または前記利用者に対応するキャラクターを示す画像である、
請求項４に記載の情報処理装置。

【請求項6】

前記制御装置は、前記人物画像と前記後部座席が撮像された画像とを合成して前記サービス画像を生成し、生成したサービス画像を前記表示装置に表示させる、
請求項５に記載の情報処理装置。

【請求項7】

前記第１スピーカは、前記運転席または前記助手席の乗員に対して、前記後部座席から音声が聞こえるように音像定位させて、前記音声を出力する、
１から３のうちいずれか１項に記載の情報処理装置。

【請求項8】

前記第１スピーカは、互いに異なる位置に配置された複数の子第１スピーカを含み、
前記制御装置は、前記複数の子第１スピーカのボリュームおよび／または位相差を調整することで、前記運転席または前記助手席の乗員に対して、前記後部座席から音声が聞こえるように音像定位させる、
請求項７に記載の情報処理装置。

【請求項9】

前記表示装置の表示部は、前記運転席の乗員が前記移動体の後方を視認するために設けられたバックミラーであって前記後方を撮像する撮像部の画像を表示する、
１から３のうちいずれか１項に記載の情報処理装置。

【請求項10】

前記バックミラーは、前記運転席の乗員が前記移動体の運転席に着座した場合に前記運転席の乗員の前方であって前記移動体の車室内のフロントウィンドウシールドまたは天井に設けられる、
請求項９に記載の情報処理装置。

【請求項11】

前記制御装置は、前記移動体が停止していないときに、前記表示装置に前記人物画像を含むサービス画像を表示させる、
１から３のうちいずれか１項に記載の情報処理装置。

【請求項12】

第２通信装置および第２マイクを含む前記移動体とは異なる場所で利用者によって利用される第２装置の第２通信装置と通信する第１通信装置を備え、
前記音声は、前記第１通信装置を介して取得された、前記利用者が前記第２マイクに対して発した音声であり、
前記制御装置は、
前記移動体が停止していないときに、前記表示装置に前記人物画像を含むサービス画像を表示させ、且つ前記後部座席または前記助手席の方向から前記音声を出力させるように前記第１スピーカを制御し、その後、
前記移動体が停止したとき、前記音声を出力させるように前記第１スピーカを制御することを継続し、前記表示装置に前記人物画像を含むサービス画像を表示させることを停止して前記表示装置に前記撮像部が撮像した画像を前記表示装置に表示させる、
請求項３に記載の情報処理装置。

【請求項13】

乗員が搭乗する移動体に搭載される情報処理装置であって、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、
前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、
前記制御装置は、
前記移動体のシフトポジションがパーキングポジションでないときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、
前記移動体のシフトポジションがパーキングポジションであるときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる、
情報処理装置。

【請求項14】

第２通信装置および第２マイクを含む前記移動体とは異なる場所で利用者によって利用される第２装置の第２通信装置と通信する第１通信装置を備え、
前記音声は、前記第１通信装置を介して取得された、前記利用者が前記第２マイクに対して発した音声であり、
前記制御装置は、
前記移動体のシフトポジションが、前記移動体が発進可能なポジションであるとき、前記表示装置に前記人物画像を含むサービス画像を表示させ、且つ前記後部座席または前記助手席の方向から前記音声を出力させるように前記第１スピーカを制御し、その後、
前記移動体のシフトポジションが、前記移動体が発進可能なポジションからパーキングポジションに変更されたとき、前記音声を出力させるように前記第１スピーカを制御することを継続し、前記撮像部が撮像した画像を前記表示装置に表示させる、
請求項１３に記載の情報処理装置。

【請求項15】

乗員が搭乗する移動体に搭載される情報処理装置であって、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、
前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、
前記制御装置は、
移動体制御装置が運転支援または自動運転を実行して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、
移動体制御装置が運転支援または自動運転を実行せず前記移動体の運転者が操作して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる、
情報処理装置。

【請求項16】

第２通信装置および第２マイクを含む前記移動体とは異なる場所で利用者によって利用される第２装置の第２通信装置と通信する第１通信装置を備え、
前記音声は、前記第１通信装置を介して取得された、前記利用者が前記第２マイクに対して発した音声であり、
前記制御装置は、
移動体制御装置が運転支援または自動運転を実行して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させ、且つ前記後部座席または前記助手席の方向から前記音声を出力させるように前記第１スピーカを制御し、その後、
前記運転支援または前記自動運転が終了して前記運転者の操作によって移動体が制御されるとき、前記音声を出力させるように前記第１スピーカを制御することを継続し、前記撮像部が撮像した画像を前記表示装置に表示させる、
請求項１５に記載の情報処理装置。

【請求項17】

前記移動体は車両である、
請求項１から３のうちからいずれか１項、請求項１３、または請求項１５に記載の情報処理装置。

【請求項18】

前記制御装置は、
前記車両が条件を満たさない場合、前記表示装置に前記人物画像を含むサービス画像を表示させ、且つ前記後部座席の方向から前記音声を出力させるように前記第１スピーカを制御し、
前記車両が条件を満たす場合、前記表示装置に前記人物画像を含むサービス画像を表示させず、且つ前記助手席の方向から前記音声を出力させるように前記第１スピーカを制御し、
前記条件は、前記車両が停止したこと、前記車両のシフトポジションがパーキングポジションであること、または運転支援または自動運転を実行せず前記移動体の運転者が操作して前記移動体の走行を制御していることである、
請求項１７に記載の情報処理装置。

【請求項19】

請求項４に記載の情報処理装置と、
前記第１通信装置と通信する前記第２通信装置と、
前記利用者の発した音声を収集する第２マイクと、を有する利用者用の装置と、備え
前記第２通信装置は、前記第２マイクが収集した音声を前記第１通信装置に送信する、
情報処理システム。

【請求項20】

前記利用者用の装置は、
前記利用者の指向方向を検知するための検知装置と、
前記移動体の所定の座席上に設けられ、前記所定の座席から見た前記移動体内を撮像可能な室内カメラを少なくとも含む、一以上のカメラを有するカメラユニットと、
前記カメラユニットが撮像した画像のうち、前記移動体の所定の座席から見た前記指向方向に対応する画像を表示する表示装置と、を備える、
請求項１９に記載の情報処理システム。

【請求項21】

前記第２通信装置は、前記指向方向の情報を前記第１通信装置に送信し、
前記制御装置は、前記カメラユニットが撮像した画像のうち、前記第１通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第２通信装置に送信するように、前記第１通信装置を制御し、
前記利用者用の装置の表示装置は、前記第２通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示する、
請求項２０に記載の情報処理システム。

【請求項22】

前記第１通信装置は、前記カメラユニットが撮像した画像を前記第２通信装置に送信し、
前記利用者用の装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させる、
請求項２０に記載の情報処理システム。

【請求項23】

前記情報処理装置は、少なくとも前記乗員の発した音声を収集する第１マイクを更に有し、
前記利用者用の装置は、前記第２通信装置を介して取得された、前記乗員の発した音声を出力する第２スピーカを更に有し、
前記第１通信装置は、前記第１マイクが収集した音声を前記第２通信装置に送信する、
請求項２０に記載の情報処理システム。

【請求項24】

コンピュータが、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ乗員が搭乗する移動体の後部座席に乗員が着座していると想定して前記移動体の運転者が前記表示部を視認した場合に、前記鏡に前記乗員が映るように前記表示部の位置を調整可能な表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように音声を出力する第１スピーカを制御し、
前記移動体の走行状況、前記移動体のシフトポジション、または前記移動体に設定されている運転モードに基づいて、前記サービス画像の表示を制御する、
情報処理方法。

【請求項25】

コンピュータが、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ乗員が搭乗する移動体の後部座席に乗員が着座していると想定して前記移動体の運転者が前記表示部を視認した場合に、前記鏡に前記乗員が映るように前記表示部の位置を調整可能な表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように音声を出力する第１スピーカを制御し、
前記移動体が移動中は、第１品質のサービス画像を表示部に表示させ、
前記移動体が停止中は、前記第１品質よりも画像の品質が優る第２品質のサービス画像を前記表示部に表示させる、
情報処理方法。

【請求項26】

コンピュータが、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ乗員が搭乗する移動体の後部座席に乗員が着座していると想定して前記移動体の運転者が前記表示部を視認した場合に、前記鏡に前記乗員が映るように前記表示部の位置を調整可能な表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように音声を出力する第１スピーカを制御し、
前記移動体が停止していないときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、
前記移動体が停止しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる、
情報処理方法。

【請求項27】

乗員が搭乗する移動体に搭載される情報処理装置のコンピュータが、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置の前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御し、
前記移動体のシフトポジションがパーキングポジションでないときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、
前記移動体のシフトポジションがパーキングポジションであるときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる、
情報処理方法。

【請求項28】

乗員が搭乗する移動体に搭載される情報処理装置のコンピュータが、
人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置の前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御し、
移動体制御装置が運転支援または自動運転を実行して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、
移動体制御装置が運転支援または自動運転を実行せず前記移動体の運転者が操作して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、および情報処理方法に関する。

【背景技術】

【0002】

従来、車両等の移動体に搭載された装置と、移動体とは別の場所で使用される装置との間で通信を行い、別の場所の利用者の画像を移動体のユーザに提供することについて研究が進められている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－８０５４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、移動体のユーザは臨場感を十分に感じられず、移動体内におけるエンターテインメント性が十分とは言えない場合があった。また、エンターテインメント性を有するサービスの利用時における視認性が十分に高いとは言えない場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、エンターテインメント性を向上させることができる情報処理装置、情報処理システム、および情報処理方法を提供することを目的の一つとする。例えば、臨場感を高めることができ、ユーザの視認性を考慮したエンターテインメント性の高いサービスを提供することができる。延いては交通の安全性をより一層改善して持続可能な輸送システムの発展に寄与するものである。

【課題を解決するための手段】

【0006】

この発明に係る情報処理装置、情報処理システム、および情報処理方法は、以下の構成を採用した。
（１）：この発明の一態様に係る情報処理装置は、乗員が搭乗する移動体に搭載される情報処理装置であって、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、前記制御装置は、前記移動体の走行状況、前記移動体のシフトポジション、または前記移動体に設定されている運転モードに基づいて、前記サービス画像の表示を制御する情報処理装置である。

【0007】

（２）：この発明の他の一態様に係る情報処理装置は、乗員が搭乗する移動体に搭載される情報処理装置であって、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、前記制御装置は、前記移動体が移動中は、第１品質のサービス画像を表示部に表示させ、前記移動体が停止中は、前記第１品質よりも画像の品質が優る第２品質のサービス画像を前記表示部に表示させる情報処理装置である。

【0008】

（３）：この発明の他の一態様に係る情報処理装置は、乗員が搭乗する移動体に搭載される情報処理装置であって、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、前記制御装置は、前記移動体が停止していないときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、前記移動体が停止しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる情報処理装置である。

【0009】

（４）：上記（１）から（３）のいずれかの態様において、第２通信装置および第２マイクを含む前記移動体とは異なる場所で利用者によって利用される第２装置の第２通信装置と通信する第１通信装置を備え、前記音声は、前記第１通信装置を介して取得された、前記利用者が前記第２マイクに対して発した音声である。

【0010】

（５）：上記（４）の態様において、前記人物画像は、前記第２装置を利用する利用者の画像または前記利用者に対応するキャラクターを示す画像である。

【0011】

（６）：上記（５）の態様において、前記制御装置は、前記人物画像と前記後部座席が撮像された画像とを合成して前記サービス画像を生成し、生成したサービス画像を前記表示装置に表示させる。

【0012】

（７）：上記（１）から（３）のいずれかの態様において、前記第１スピーカは、前記運転席または前記助手席の乗員に対して、前記後部座席から音声が聞こえるように音像定位させて、前記音声を出力する。

【0013】

（８）：上記（７）の態様において、前記第１スピーカは、互いに異なる位置に配置された複数の子第１スピーカを含み、前記制御装置は、前記複数の子第１スピーカのボリュームおよび／または位相差を調整することで、前記運転席または前記助手席の乗員に対して、前記後部座席から音声が聞こえるように音像定位させる。

【0014】

（９）：上記（１）から（３）のいずれかの態様において、前記表示装置の表示部は、前記運転席の乗員が前記移動体の後方を視認するために設けられたバックミラーであって前記後方を撮像する撮像部の画像を表示する。

【0015】

（１０）：上記（９）の態様において、前記バックミラーは、前記運転席の乗員が前記移動体の運転席に着座した場合に前記運転席の乗員の前方であって前記移動体の車室内のフロントウィンドウシールドまたは天井に設けられる。

【0016】

（１１）：上記（１）から（３）のいずれかの態様において、前記制御装置は、前記移動体が停止していないときに、前記表示装置に前記人物画像を含むサービス画像を表示させる。

【0017】

（１２）：上記（３）の態様において、第２通信装置および第２マイクを含む前記移動体とは異なる場所で利用者によって利用される第２装置の第２通信装置と通信する第１通信装置を備え、前記音声は、前記第１通信装置を介して取得された、前記利用者が前記第２マイクに対して発した音声であり、前記制御装置は、前記移動体が停止していないときに、前記表示装置に前記人物画像を含むサービス画像を表示させ、且つ前記後部座席または前記助手席の方向から前記音声を出力させるように前記第１スピーカを制御し、その後、前記移動体が停止したとき、前記音声を出力させるように前記第１スピーカを制御することを継続し、前記表示装置に前記人物画像を含むサービス画像を表示させることを停止して前記表示装置に前記撮像部が撮像した画像を前記表示装置に表示させる。

【0018】

（１３）：この発明の他の一態様に係る情報処理装置は、乗員が搭乗する移動体に搭載される情報処理装置であって、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、前記制御装置は、前記移動体のシフトポジションがパーキングポジションでないときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、前記移動体のシフトポジションがパーキングポジションであるときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる。

【0019】

（１４）：上記（１３）の態様において、第２通信装置および第２マイクを含む前記移動体とは異なる場所で利用者によって利用される第２装置の第２通信装置と通信する第１通信装置を備え、前記音声は、前記第１通信装置を介して取得された、前記利用者が前記第２マイクに対して発した音声であり、前記制御装置は、前記移動体のシフトポジションが、前記移動体が発進可能なポジションであるとき、前記表示装置に前記人物画像を含むサービス画像を表示させ、且つ前記後部座席または前記助手席の方向から前記音声を出力させるように前記第１スピーカを制御し、その後、前記移動体のシフトポジションが、前記移動体が発進可能なポジションからパーキングポジションに変更されたとき、前記音声を出力させるように前記第１スピーカを制御することを継続し、前記撮像部が撮像した画像を前記表示装置に表示させる。

【0020】

（１５）：この発明の他の一態様に係る情報処理装置は、乗員が搭乗する移動体に搭載される情報処理装置であって、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置と、前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御する制御装置と、を備え、前記制御装置は、移動体制御装置が運転支援または自動運転を実行して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、移動体制御装置が運転支援または自動運転を実行せず前記移動体の運転者が操作して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる。

【0021】

（１６）：上記（１５）の態様において、第２通信装置および第２マイクを含む前記移動体とは異なる場所で利用者によって利用される第２装置の第２通信装置と通信する第１通信装置を備え、前記音声は、前記第１通信装置を介して取得された、前記利用者が前記第２マイクに対して発した音声であり、前記制御装置は、移動体制御装置が運転支援または自動運転を実行して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させ、且つ前記後部座席または前記助手席の方向から前記音声を出力させるように前記第１スピーカを制御し、その後、前記運転支援または前記自動運転が終了して前記運転者の操作によって移動体が制御されるとき、前記音声を出力させるように前記第１スピーカを制御することを継続し、前記撮像部が撮像した画像を前記表示装置に表示させる。

【0022】

（１７）：上記（１）から（３）のいずれか、上記（１３）、または上記（１５）の態様において、前記移動体は車両である。

【0023】

（１８）：上記（１７）の態様において、前記制御装置は、前記車両が条件を満たさない場合、前記表示装置に前記人物画像を含むサービス画像を表示させ、且つ前記後部座席の方向から前記音声を出力させるように前記第１スピーカを制御し、前記車両が条件を満たす場合、前記表示装置に前記人物画像を含むサービス画像を表示させず、且つ前記助手席の方向から前記音声を出力させるように前記第１スピーカを制御し、前記条件は、前記車両が停止したこと、前記車両のシフトポジションがパーキングポジションであること、または運転支援または自動運転を実行せず前記移動体の運転者が操作して前記移動体の走行を制御していることである。

【0024】

（１９）：この発明の他の一態様に係る情報処理システムは、上記（４）の態様の情報処理装置と、前記第１通信装置と通信する前記第２通信装置と、前記利用者の発した音声を収集する第２マイクと、を有する利用者用の装置と、備え、前記第２通信装置は、前記第２マイクが収集した音声を前記第１通信装置に送信する。

【0025】

（２０）：上記（１９）の態様において、前記利用者用の装置は、前記利用者の指向方向を検知するための検知装置と、前記移動体の所定の座席上に設けられ、前記所定の座席から見た前記移動体内を撮像可能な室内カメラを少なくとも含む、一以上のカメラを有するカメラユニットと、前記カメラユニットが撮像した画像のうち、前記移動体の所定の座席から見た前記指向方向に対応する画像を表示する表示装置と、を備える。

【0026】

（２１）：上記（２０）の態様において、前記第２通信装置は、前記指向方向の情報を前記第１通信装置に送信し、前記制御装置は、前記カメラユニットが撮像した画像のうち、前記第１通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第２通信装置に送信するように、前記第１通信装置を制御し、前記利用者用の装置の表示装置は、前記第２通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示する。

【0027】

（２２）：上記（２０）の態様において、前記第１通信装置は、前記カメラユニットが撮像した画像を前記第２通信装置に送信し、前記利用者用の装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させる。

【0028】

（２３）：上記（２０）の態様において、前記情報処理装置は、少なくとも前記乗員の発した音声を収集する第１マイクを更に有し、前記利用者用の装置は、前記第２通信装置を介して取得された、前記乗員の発した音声を出力する第２スピーカを更に有し、前記第１通信装置は、前記第１マイクが収集した音声を前記第２通信装置に送信する。

【0029】

（２４）：この発明の一態様に係る情報処理方法は、コンピュータが、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ乗員が搭乗する移動体の後部座席に乗員が着座していると想定して前記移動体の運転者が前記表示部を視認した場合に、前記鏡に前記乗員が映るように前記表示部の位置を調整可能な表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように音声を出力する第１スピーカを制御し、前記移動体の走行状況、前記移動体のシフトポジション、または前記移動体に設定されている運転モードに基づいて、前記サービス画像の表示を制御する。

【0030】

（２５）：この発明の一態様に係る情報処理方法は、コンピュータが、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ乗員が搭乗する移動体の後部座席に乗員が着座していると想定して前記移動体の運転者が前記表示部を視認した場合に、前記鏡に前記乗員が映るように前記表示部の位置を調整可能な表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように音声を出力する第１スピーカを制御し、前記移動体が移動中は、第１品質のサービス画像を表示部に表示させ、前記移動体が停止中は、前記第１品質よりも画像の品質が優る第２品質のサービス画像を前記表示部に表示させる。

【0031】

（２６）：この発明の一態様に係る情報処理方法は、コンピュータが、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ乗員が搭乗する移動体の後部座席に乗員が着座していると想定して前記移動体の運転者が前記表示部を視認した場合に、前記鏡に前記乗員が映るように前記表示部の位置を調整可能な表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように音声を出力する第１スピーカを制御し、前記移動体が停止していないときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、前記移動体が停止しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる。

【0032】

（２７）：この発明の一態様に係る情報処理方法は、乗員が搭乗する移動体に搭載される情報処理装置のコンピュータが、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置の前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御し、前記移動体のシフトポジションがパーキングポジションでないときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、前記移動体のシフトポジションがパーキングポジションであるときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる。

【0033】

（２８）：この発明の一態様に係る乗員が搭乗する移動体に搭載される情報処理装置のコンピュータが、人物または人物に対応するキャラクターを示す人物画像を表示する表示部を有する表示装置であって、前記表示部を鏡と想定し且つ前記移動体の後部座席に乗員が着座していると想定して前記移動体の運転席または助手席の乗員が前記表示部を視認した場合に、前記鏡に前記後部座席の乗員が映るように前記表示部の位置を調整可能な表示装置の前記表示部に前記移動体の後部座席に前記人物または前記キャラクターが着座しているような前記人物画像を含むサービス画像を表示させているときに、前記後部座席の方向から音声を出力させるように前記移動体内の第１スピーカを制御し、移動体制御装置が運転支援または自動運転を実行して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可し、移動体制御装置が運転支援または自動運転を実行せず前記移動体の運転者が操作して前記移動体の走行を制御しているときに、前記表示装置に前記人物画像を含むサービス画像を表示させることを許可せずに前記移動体の後方を撮像する撮像部が撮像した画像を表示させる。

【発明の効果】

【0034】

（１）～（２８）の態様によれば、エンターテインメント性を向上させることができる。例えば、移動体の乗員に与える臨場感を高めることができる。また、移動体の状況に応じて運転者にとって好適な情報を運転者に提供することができ、運転者の利便性と、エンターテインメント性の向上とが実現される。

【図面の簡単な説明】

【0035】

【図1】情報処理システム１と管理サーバ３００の使用環境等を示す図である。

【図2】ユーザデータ３６０の内容の一例を示す図である。

【図3】第１装置１００の構成図である。

【図4】移動体Ｍにおける第１装置１００の一部の配置例を示す図である。

【図5】第２装置２００の構成図である。

【図6】指向方向に対応する画像について説明するための図である。

【図7】第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。

【図8】置換画像を表示することの一例を示す図である。

【図9】バックミラー表示装置１５２の表示部に表示されたサービス画像の一例を示す図である。

【図10】サービス画像に着目した図である。

【図11】第１制御装置１７０により実行される処理の流れの一例を示すフローチャートである。

【図12】条件の一例を示す図である。

【図13】バックミラー表示装置１５２に表示される画像の遷移と状態判定部の判定結果との関係の一例を示す図である。

【図14】バックミラー表示装置１５２に表示される画像の遷移と状態判定部の判定結果との関係の他の一例を示す図である。

【発明を実施するための形態】

【0036】

以下、図面を参照し、本発明の情報処理装置、情報処理システム、および情報処理方法の実施形態について説明する。情報処理システムは、乗員が搭乗する移動体に搭載される第１装置（情報処理装置）と、移動体とは異なる場所で利用者によって利用される第２装置（利用者用の装置）と、を含む。移動体とは例えば車両であるが、乗員が搭乗可能なものであれば如何なる移動体でも構わない。また乗員は主に移動体の運転者であるが、運転者以外の乗員であっても構わない。なお、以降の説明においては情報処理装置（第１装置１００）とバックミラー（バックミラー表示装置１５２）とを別体として説明するが、これに限る必要はなく情報処理装置とバックミラーとを一体に構成してもよい。すなわち、バックミラーが情報処理装置を備えてよい。この場合、情報処理装置を備えるバックミラーを後付けで購入したユーザも、本発明による乗員体験を得ることができる。

【0037】

第１装置と第２装置の間では、マイクによって収集された音声が相手側に送信されてスピーカによって再生されることで電話通話を行っているような状態になり、更に、第１装置のカメラユニットにより撮像された画像の一部が第２装置によって表示されることで、第２装置側にＭＲ（Mixed Reality）が提供される。第１装置と第２装置は一対一の関係である必要は無く、複数の第１装置のうち一つと、複数の第２装置とが一対多の関係でマッチングされることで、情報処理システムとして動作してよい。後者の場合、例えば一人の乗員を複数の利用者と同時に、或いは順番にコミュニケートさせることができる。

【0038】

＜基本構成＞
図１は、情報処理システム１と管理サーバ３００の使用環境等を示す図である。情報処理システム１は、移動体Ｍに搭載された第１装置（移動体装置）１００と、移動体Ｍとは異なる場所（たまたま近い場所であることは排除されない）で利用者Ｕによって利用される第２装置（利用者装置）２００とを含む。第１装置１００、第２装置２００、および管理サーバ３００のそれぞれは、ネットワークＮＷを介して互いに通信する。情報処理システム１は、管理サーバ３００を含んでもよいし、含まなくてもよい。

【0039】

管理サーバ３００は、例えば、通信装置３１０、マッチング処理部３２０、および記憶部３５０を備える。記憶部３５０には、ユーザデータ３６０が格納されている。

【0040】

通信装置３１０は、ネットワークＮＷに接続するための通信インターフェースである。なお、通信装置３１０と第１装置１００の間の通信、および通信装置３１０と第２装置２００の間の通信は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）に即して行われる。

【0041】

マッチング処理部３２０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサが、記憶媒体に格納されたプログラム（命令群）を実行することで実現される。記憶部３５０は、ＲＡＭ（Random Access Memory）やＨＤＤ（Hard Disk Drive）、フラッシュメモリなどである。

【0042】

図２は、ユーザデータ３６０の内容の一例を示す図である。ユーザデータ３６０は、例えば、乗員Ｐの識別情報である乗員ＩＤ、その通信識別情報（ＩＰアドレス等）、およびマッチング対象となる利用者Ｕの識別情報である利用者ＩＤが互いに対応付けられた乗員リスト３６０Ａと、利用者ＩＤ、その通信識別情報（ＩＰアドレス等）、およびマッチング対象となる乗員Ｐが互いに対応付けられた利用者リスト３６０Ｂとを含む。ユーザデータ３６０は、これらの情報を包含するものであれば、図２に示す態様に限らず如何なる態様で生成されてもよい。

【0043】

マッチング処理部３２０は、利用者Ｕから第２装置２００を介して、或いは乗員Ｐから第１装置１００を介してマッチングリクエストを通信装置３１０が受信した場合、ユーザデータ３６０を参照してマッチング利用者Ｕと乗員Ｐのマッチングを行い、マッチングした利用者Ｕの第２装置２００に乗員Ｐの第１装置１００の通信識別情報を通信装置３１０を用いて送信し、マッチングした乗員Ｐの第１装置１００に利用者Ｕの第２装置２００の通信識別情報を通信装置３１０を用いて送信する。これらを受信した第１装置１００と第２装置２００との間では、例えばＵＤＰ（User Datagram Protocol）に即した、よりリアルタイム性の高い通信が行われる。

【0044】

図３は、第１装置１００の構成図である。第１装置１００は、例えば、第１通信装置１１０と、第１マイク１２０と、カメラユニット１３０と、第１スピーカ１４０と、利用者表示装置１５０と、バックミラー表示装置１５２と、ＨＭＩ（Human machine Interface）１６０と、第１制御装置（「制御装置」）１７０とを含む。第１制御装置１７０は、移動体Ｍに搭載された制御対象機器１９０と、移動体制御装置１９２とに接続される。

【0045】

第１通信装置１１０は、管理サーバ３００の通信装置３１０、および第２装置２００の第２通信装置２１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

【0046】

第１マイク１２０は、少なくとも乗員Ｐの発した音声を収集する。第１マイク１２０は、移動体Ｍの室内に設けられ、移動体Ｍの外部の音声も収集可能な感度を有するものでもよいし、移動体Ｍの室内に設けられたマイクと移動体Ｍの外部に設けられたマイクとを含んでもよい。第１マイク１２０の収集した音声は、例えば、第１制御装置１７０を経由して、第１通信装置１１０によって第２通信装置２１０に送信される。

【0047】

カメラユニット１３０は、少なくとも室内カメラ１３２を含み、室外カメラ１３４を含んでもよい。室外カメラ１３４は、例えば、移動体Ｍの後方を撮像するカメラを含む。撮像された画像は、ＨＭＩ１６０や、バックミラー表示装置１５２等に表示される。これにより移動体の乗員は、後方の状況を認識することができる。第１スピーカ１４０は、第１通信装置１１０を介して取得された、利用者Ｕの発した音声を出力する。カメラユニット１３０、および第１スピーカ１４０の配置等の詳細については、後に図４を参照して説明する。

【0048】

利用者表示装置１５０は、ユーザＵが移動体Ｍの室内に存在するかのように仮想的に利用者Ｕを表示する。例えば、利用者表示装置１５０は、ホログラムを出現させたり、移動体Ｍのミラーやウインドウに相当する部分に利用者Ｕを表示させたりする。

【0049】

バックミラー表示装置１５２は、運転席の乗員が移動体Ｍの後方を視認するために設けられたバックミラーである。バックミラー表示装置１５２は、例えば、運転席の乗員が移動体の運転席に着座した場合に運転席の乗員の前方であって移動体の車室内のフロントウィンドウシールドまたは天井に設けられる。バックミラー表示装置１５２は、ミラー（鏡）／表示面を有し、ミラーモードではミラー／表示面はミラーとして機能して光の反射によって物体を映し、モニターモードではミラー／表示面は画像を表示する表示部として機能して移動体Ｍの後方を撮像するカメラにより撮像された画像または後述するサービス画像を表示する。例えば、バックミラー表示装置１５２に設けられた切り替えスイッチが操作されることで、ミラーモードとモニターモードとが切り替えられる。バックミラー表示装置１５２は「表示装置」の一例である。

【0050】

なお、本実施形態では、バックミラー表示装置１５２に、人物画像を含むサービス画像が表示されるものとして説明するが、これに代えて（または加えて）、車室内に設けられた他の表示装置（「表示装置」の他の一例）にサービス画像が表示されてもよい。この表示装置は、例えば、運転席や助手席の乗員が後部座席や後部座席の乗員を確認または視認するための後部座席確認用のミラー表示装置であってもよい。このミラー表示装置は、ミラー／表示面を有し、ミラーモードでは表示面はミラーとして機能して光の反射によって物体を映し、モニターモードでは表示面は画像を表示する表示部として機能して車室内カメラの画像またはサービス画像を表示する。また、上述したようにバックミラー表示装置１５２に、第１制御装置（「制御装置」）１７０と同様の機能構成が含まれ、サービス画像の表示の制御および第１スピーカ１４０の制御が実行されてもよい。

【0051】

上記のようにバックミラー表示装置１５２または車室内に設けられた他の表示装置のミラー／表示面の位置は調整可能である。バックミラー表示装置１５２または車室内に設けられた他の表示装置は、例えば、表示部をミラーと想定し且つ移動体Ｍの後部座席に乗員が着座していると想定して移動体Ｍの運転席または助手席の乗員が表示部を視認した場合に、鏡に後部座席の乗員が映るように表示部の位置を調整可能である。例えば、バックミラー表示装置１５２または車室内に設けられた他の表示装置は、移動体Ｍの運転席や助手席の乗員がミラーを介して移動体Ｍの後部座席の乗員を視認する場合において当該ミラーの中で当該後部座席の乗員が映り込む位置に人物画像が表示されるように表示部の位置を調整可能な表示装置である。表示部の位置を調整可能とは、例えば、表示部の姿勢、角度、向き（例えば、運転席や助手席や後部座席に対峙する向き）を乗員が調整可能であることである。

【0052】

ＨＭＩ１６０は、タッチパネルや音声応答装置（エージェント装置）等である。ＨＭＩ１６０は、第１装置１００に対する乗員Ｐの各種指示を受け付ける。

【0053】

第１制御装置１７０は、例えば、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体と、を含み、プロセッサが命令群を実行することで第１装置１００の各部を制御する。

【0054】

制御対象機器１９０は、例えば、移動体Ｍに搭載されたナビゲーション装置、運転支援装置などである。

【0055】

移動体制御装置１９２は、車両の操舵と加減速とのうち一方または双方を制御する制御装置である。例えば、移動体制御装置１９２は、移動体Ｍが車線内を走行するように移動体Ｍの操舵を制御する。例えば、移動体制御装置１９２は、先行車との車間距離が所定の距離になるように移動体Ｍの加減速を制御したり、移動体Ｍが所定の速度を維持して走行するように移動体Ｍの加減速を制御したりする。また、移動体制御装置１９２は、例えば、運転者の操作に依らずに移動体Ｍを制御する自動運転を行ってもよい。例えば、運転支援または自動運転は、例えば、運転者が操作をせず、且つ運転者が周辺の監視を行う必要がない第１モードと、運転者が操作をせず、且つ運転者が周辺の監視を行う必要がある第２モードと、運転者の操作を行い、且つ運転者が周辺の監視を行う必要がある第３モードとがある。また、移動体制御装置１９２は、移動体Ｍの速度や、シフトポジションなど移動体Ｍの状態を第１制御装置１７０に提供する。

【0056】

図４は、移動体Ｍにおける第１装置１００の一部の配置例を示す図である。室内カメラ１３２は、例えば、アタッチメント１３２Ａを介して助手席Ｓ２（「所定の座席」の一例）のネックピローに取り付けられ、助手席Ｓ２のバックレストから若干、移動体Ｍの進行方向側に乖離した位置に設けられる。室内カメラ１３２は、広角レンズを有し、図中のハッチングされた領域１３２Ｂで表される範囲を撮像可能である。室内カメラ１３２は、移動体Ｍの室内だけでなく、ウインドウを介して室外も撮影可能である。以下の説明では助手席Ｓ２が所定の座席であるものとするが、所定の座席は後部座席などの他の座席であってもよい。

【0057】

室外カメラ１３４は、例えば、複数の子室外カメラ１３４－１～１３４－５を含む。複数の子室外カメラ１３４－１～１３４－５の撮像した画像を合成することで、移動体Ｍの外部を撮像したパノラマ画像のような画像が得られる。室外カメラ１３４は、これらに代えて（或いは、加えて）、移動体Ｍのルーフ上に設けられた広角カメラを含んでもよい。なお室内カメラ１３２として、助手席Ｓ２の後方を撮像可能なカメラが追加されてもよく、後述する移動体画像は、第１制御装置１７０により、一以上の室内カメラ１３２の撮像した画像を結合して３６０度のパノラマ画像として生成されてもよいし、室内カメラ１３２の撮像した画像と室外カメラ１３４の撮像した画像を適宜結合して３６０度のパノラマ画像として生成されてもよい。子室外カメラ１３４－５は「移動体の後方を撮像する撮像部」の一例である。

【0058】

第１スピーカ１４０は、第１通信装置１１０を介して取得された利用者Ｕの音声を出力する。第１スピーカ１４０は、例えば、複数の子第１スピーカ１４０－１～１４０－５を含む。例えば、子第１スピーカ１４０－１はインストルメントパネル中央部に、子第１スピーカ１４０－２はインストルメントパネル左端部に、子第１スピーカ１４０－３はインストルメントパネル右端部に、子第１スピーカ１４０－４は左側ドア下部に、子第１スピーカ１４０－５は右側ドア下部に、それぞれ配置される。第１制御装置１７０は、例えば、子第１スピーカ１４０－２および子第１スピーカ１４０－４から同程度のボリュームで音声を出力させ、その他の子第１スピーカをオフにすることで、運転席Ｓ１に着座した乗員Ｐに対して、助手席Ｓ２から音声が聞こえるように音像定位させる。第１制御装置１７０は、例えば、子第１スピーカ１４０－４および子第１スピーカ１４０－５から同程度のボリュームで音声を出力させ、その他の子第１スピーカをオフにすることで、運転席Ｓ１に着座した乗員Ｐに対して、後部座席から音声が聞こえるように音像定位させる。また、音像定位の方法はボリュームの調整に限らず、それぞれの子第１スピーカが出力する音の位相をずらすことで行われてもよい。例えば、左側から聞こえるように音像定位させる場合、左側の子第１スピーカから音を出力させるタイミングを、右側の子第１スピーカから同じ音を出力させるタイミングよりもわずかに早くすればよい。例えば、後側から聞こえるように音像定位させる場合、後側の子第１スピーカから音を出力させるタイミングを、前側の子第１スピーカから同じ音を出力させるタイミングよりもわずかに早くすればよい。

【0059】

また、第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、乗員Ｐに対して、助手席Ｓ２上の利用者Ｕの頭部の高さに応じた高さの位置から音声が聞こえるように音像定位させて、第１スピーカ１４０に利用者Ｕの発した音声を出力させてもよい。この場合、第１スピーカ１４０は高さの異なる複数の子第１スピーカ１４０－ｋ（ｋは複数の自然数）を有する必要がある。

【0060】

第１制御装置１７０は、例えば、バックミラー表示装置１５２を制御する。第１制御装置１７０は、例えば、バックミラー表示装置１５２に表示させる画像を制御する。詳細については後述する。

【0061】

図５は、第２装置２００の構成図である。第２装置２００は、例えば、第２通信装置２１０と、第２マイク２２０と、検知装置２３０と、第２スピーカ２４０と、移動体画像表示装置２５０と、ＨＭＩ２６０と、第２制御装置２７０とを含む。検知装置２３０は、例えば、指向方向検知装置２３２と、頭部位置検知装置２３４と、モーションセンサ２３６とを含む。

【0062】

第２通信装置２１０は、管理サーバ３００の通信装置３１０、および第１装置１００の第１通信装置１１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

【0063】

第２マイク２２０は、利用者Ｕの発した音声を収集する。第２マイク２２０の収集した音声は、例えば、第２制御装置２７０を経由して、第２通信装置２１０によって第１通信装置１１０に送信される。

【0064】

指向方向検知装置２３２は、指向方向を検知するための装置である。指向方向とは、利用者Ｕの顔の向きまたは視線の向き、或いはそれらの双方に基づく向きである。或いは、利用者Ｕが使用する端末装置を傾ける動作や画面をスワイプする動作などのように、腕や指の動きによって指し示される向きであってもよい。以下では指向方向は、水平面内での角度、つまり上下方向の成分を有さない角度であるものとするが、指向方向は、上下方向の成分も含む角度であってもよい。指向方向検知装置２３２は、後述するＶＲゴーグルに取り付けられた物理センサ（例えば、加速度センサ、ジャイロセンサなど）を含んでもよいし、利用者Ｕの頭部の複数の位置を検出する赤外線センサ、或いは利用者Ｕの頭部を撮像するカメラであってもよい。いずれの場合も第２制御装置２７０は、指向方向検知装置２３２から入力された情報に基づいて指向方向を算出する。これについて種々の技術が公知となっているため詳細な説明を省略する。

【0065】

頭部位置検知装置２３４は、利用者Ｕの頭部の位置（高さ）を検知するための装置である。例えば、利用者Ｕが着座する椅子の周囲に設けられた一以上の赤外線センサ、或いは光学センサが頭部位置検知装置２３４として用いられる。この場合、第２制御装置２７０は、一以上の赤外線センサ、或いは光学センサによる検出信号の有無に基づいて利用者Ｕの頭部の位置を検知する。また、頭部位置検知装置２３４は、ＶＲゴーグルに取り付けられた加速度センサでもよい。この場合、第２制御装置２７０は、加速度センサの出力から重力加速度を差し引いたものを積分することで利用者Ｕの頭部の位置を検知する。このように取得される頭部の位置の情報は、高さ情報として第２制御装置２７０に提供される。利用者の頭部の位置は、ＨＭＩ２６０に対する利用者Ｕの操作に基づいて取得されてもよい。例えば、利用者Ｕは身長を数字でＨＭＩ２６０に入力してもよいし、ＨＭＩ２６０に含まれるダイヤルスイッチを用いて身長を入力してもよい。これらの場合、身長から頭部の位置すなわち高さ情報が計算される。また、利用者Ｕは、連続値ではなく体格：大／中／小といった離散値をＨＭＩ２６０に入力してもよい。この場合、体格を示す情報に基づいて高さ情報が取得される。また、利用者の頭部の高さを特段、取得せず、一般的な成人の体格（男女別であってよい）に基づいて簡易的に利用者Ｕの頭部の高さが取得されてもよい。

【0066】

モーションセンサ２３６は、利用者Ｕが行うジェスチャー操作を認識するための装置である。例えば、利用者Ｕの上半身を撮像するカメラがモーションセンサ２３６として用いられる。この場合、第２制御装置は、カメラが撮像した画像から利用者Ｕの身体の特徴点（指先、手首、肘など）を抽出し、特徴点の動きに基づいて利用者Ｕのジェスチャー操作を認識する。

【0067】

第２スピーカ２４０は、第２通信装置２１０を介して取得された、乗員Ｐの発した音声を出力する。第２スピーカ２４０は、例えば音声の聞こえる方向を変更する機能を有する。第２制御装置２７０は、利用者Ｕに対して、助手席Ｓ２からみた乗員Ｐの位置から音声が聞こえるように、第２スピーカに音声を出力させる。第２スピーカ２４０は、複数の子第２スピーカ２４０－ｎ（ｎは複数の自然数）を含み、第２制御装置２７０がそれぞれの子第２スピーカ２４０－ｎのボリュームを調整することで音像定位がなされてもよいし、ＶＲゴーグルにヘッドホンが付随している場合はヘッドホンの機能を利用して音像定位がなされてもよい。

【0068】

移動体画像表示装置２５０は、カメラユニット１３０が撮像した画像（前述した結合処理が行われた画像であってもよく、以下では移動体画像と称する）のうち、助手席から見た指向方向に対応する画像を表示する。図６は、指向方向に対応する画像について説明するための図である。この図の例では、ＶＲゴーグル２５５に指向方向検知装置２３２、頭部位置検知装置２３４としての物理センサ、および移動体画像表示装置２５０が含まれている。第２制御装置２７０は、予めキャリブレーションされた方向を基準方向としてＶＲゴーグル２５５の向く方向を指向方向φとして検知する。係る機能については既に種々の手法が公知となっているため詳細な説明を省略する。

【0069】

移動体画像表示装置２５０は、移動体画像Ａ１（図では２４０度程度の角度を有するが、前述したように結合処理によって画角が拡張されてもよい）のうち、指向方向φを中心としたプラスマイナスαの角度範囲の画像Ａ２を利用者Ｕに向けて表示する。

【0070】

ＨＭＩ２６０は、タッチパネルや音声応答装置（エージェント装置）、或いは上記したスイッチ等である。ＨＭＩ２６０は、第２装置２００に対する乗員Ｐの各種指示を受け付ける。

【0071】

第２制御装置２７０は、例えば、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第２装置２００の各部を制御する。

【0072】

＜機能構成＞
以下、第１制御装置１７０と第２制御装置２７０の機能構成について説明する。図７は、第１制御装置１７０と第２制御装置２７０の機能構成の一例を示す図である。第１制御装置１７０は、マッチングリクエスト／承諾部１７１と、音声出力制御部１７２と、画像送信部１７３と、搭載機器連携部１７４と、表示制御部１７６と、状態判定部１７８とを含む。第２制御装置２７０は、マッチングリクエスト／承諾部２７１と、音声出力制御部２７２と、指向方向検知部２７３と、頭部位置検知部２７４と、ジェスチャー入力検知部２７５と、画像編集部２７６と、移動体画像表示制御部２７７とを含む。これらの機能部は、例えば、ＣＰＵなどのプロセッサがプログラム（命令群）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0073】

マッチングリクエスト／承諾部１７１は、ＨＭＩ１６０を用いて乗員Ｐからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ１６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部１７１は、マッチングが成立した利用者Ｕの第２装置２００を通信相手とするように第１通信装置１１０を制御する。

【0074】

音声出力制御部１７２は、前述したように第１スピーカ１４０を制御する。

【0075】

画像送信部１７３は、第１通信装置１１０を用いて、第２装置２００に移動体画像Ａ１を送信する。

【0076】

搭載機器連携部１７４は、第２装置２００から入力された指示信号に基づいて、制御対象機器１９０を制御する。

【0077】

表示制御部１７６は、バックミラー表示装置１５２に移動体Ｍの後部座席に人物またはキャラクターが着座しているような人物画像を含むサービス画像を表示させる。

【0078】

状態判定部１７８は、移動体Ｍの状態に基づいて、移動体Ｍが条件を満たす否かを判定する（後述する図１２参照）。

【0079】

マッチングリクエスト／承諾部２７１は、ＨＭＩ２６０を用いて利用者Ｕからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ２６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部２７１は、マッチングが成立した乗員Ｐの第１装置１００を通信相手とするように第２通信装置２１０を制御する。

【0080】

音声出力制御部２７２は、前述したように第２スピーカ２４０を制御する。

【0081】

指向方向検知部２７３は、指向方向検知装置２３２の出力に基づいて、指向方向φを検知する。頭部位置検知部２７４は、頭部位置検知装置２３４の出力に基づいて、利用者Ｕの頭部の高さを検知する。頭部位置は、三次元の座標として表されてもよいし、単に頭部の高さが頭部位置として検知されてもよい。ジェスチャー入力検知部２７５は、モーションセンサ２３６の出力に基づいて、利用者Ｕのジェスチャー入力を検知する。

【0082】

画像編集部２７６は、移動体画像Ａ１から、助手席から見た指向方向φに対応する画像Ａ２を切り出す処理を行う（図６）。移動体画像表示制御部２７７は、画像編集部２７６によって切り出された画像Ａ２を、移動体画像表示装置２５０に表示させる。このとき、画像編集部２７６は、利用者Ｕの頭部の高さ情報が示す高さから見た指向方向φに対応する画像を移動体画像表示装置２５０に表示させてもよい。

【0083】

なお、第１制御装置１７０が画像編集部２７６と同様の機能を有する画像編集部を含み、第２制御装置２７０が画像編集部２７６を含まず指向方向送信部を含んでもよい。指向方向送信部２７８は、指向方向検知部２７３が検知した指向方向φを、第２通信装置２１０を用いて第１装置１００に送信し、第１制御装置１７０の画像編集部が、移動体画像Ａ１から、助手席から見た指向方向φ（第２装置２００から送信されてきたもの）に対応する画像Ａ２を切り出す処理を行う（図６）。

【0084】

＜その他＞
情報処理システム１において、利用者Ｕが助手席Ｓ２から見た任意の方向を視認できるものとして説明したが、例えばマッチングの際の取り決めによって、利用者Ｕが視認可能な方向に制限が設けられてもよい。例えば、乗員Ｐの側で、移動体Ｍの進行方向の風景、あるいは運転席Ｓ１と反対側の風景は提供してもよいが、自身の姿は表示させたくない、といった要望が発生する場合がある。これは、乗員Ｐと利用者Ｕが、家族、友人といった関係になく、移動体Ｍのドライブフィーリングを確認したい、或いは所望の街の風景を視認したいといったニーズに応える場合を想定したものである。この場合、管理サーバ３００のマッチング処理部３２０がマッチング処理を行う際に、そのような制限が設定され、第１制御装置１７０または第２制御装置２７０が設定に応じて、視認させない角度範囲をマスクしたり、或いは指向方向φが制限された方向に向かないように補正を行ったりする。また、このような制限に関する情報は、乗員Ｐのプライバシーに関するものであるため、第１装置１００の側で設定されてもよい。

【0085】

また、移動体画像表示装置２５０は、カメラユニット１３０が撮像した画像のうち移動体Ｍの室内の所定物品を写した部分を、コンピュータ処理によって描画された画像（ＣＧ画像）に置換して表示してもよい。図８は、置換画像を表示することの一例を示す図である。図中、ＯＢはナビゲーション表示等を行う表示装置であり、「所定物品」の一例である。表示装置の表示画面を撮像した画像をそのまま表示すると画像がボケたり光の反射で視認性が低下する場合がある。このため、移動体画像表示装置２５０は、係る表示装置の表示画面を構成するためのデータ、或いは移動体Ｍにおけるコンピュータ処理によって描画された画像データを第１装置から取得し、データからコンピュータ処理によって再描画した画像、或いは取得した画像データを、カメラユニット１３０が撮像した画像（を編集したもの）に埋め込んで表示してもよい。この場合、第１装置１００と第２装置２００との間で所定物品となる移動体Ｍの室内の物品の位置について予め共有がされており、移動体画像表示制御部２７７は、移動体画像表示装置２５０に表示させる画像に所定物品が含まれるかどうかを例えば指向方向φに基づいて判定し、含まれると判定した場合に上記のように画像の置換を行う。また、「所定物品」は、乗員Ｐの頭部または顔であってもよい。その場合、乗員Ｐの表示に応じてアバター等のＣＧ画像が変更されてもよい。

【0086】

＜ここまでのまとめ＞
以上のように構成される情報処理システム１によれば、移動体Ｍの乗員Ｐと、移動体Ｍとは異なる場所にいる利用者Ｕとの双方に与える臨場感を高めることができる。利用者Ｕに対して、助手席から見た自身の指向方向φに対応する画像が表示されるので、利用者Ｕは、あたかも助手席Ｓ２に着座して周囲を見渡したような風景を視認することができる。また、第１スピーカ１４０が、乗員Ｐに対して、助手席Ｓ２から音声が聞こえるように音像定位させて、利用者Ｕの発し音声を出力することで、乗員Ｐは、利用者Ｕが助手席Ｓ２に居るような感覚で利用者Ｕと会話を行うことができる。更に、第２スピーカ２４０が、利用者Ｕに対し、助手席Ｓ２からみた乗員Ｐの位置から音声が聞こえるように音像定位させて、乗員Ｐの発した音声を出力することで、利用者Ｕは、自身が助手席Ｓ２に居るような感覚で乗員Ｐとの会話を行うことができる。

【0087】

＜利用例＞
情報処理システム１は、以下のような態様で利用可能である。

【0088】

（Ａ）乗員Ｐと利用者Ｕが家族、友人などの関係にあり、バーチャルドライブを利用者Ｕに提供する態様。利用者Ｕは、画像を見ながら移動体Ｍの周囲の風景等について乗員Ｐと会話することができる。

【0089】

（Ｂ）乗員Ｐが一般利用者、利用者Ｕが道案内サービス、運転指導サービスなどの提供者である態様。利用者Ｕは、移動体Ｍの周囲の風景を見ながらナビゲーション装置では分かりにくい、或いは地図に載っていないような場所における道案内を行ったり、運転操作の指導を行ったりすることができる。

【0090】

（Ｃ）乗員Ｐが有名人、利用者Ｕが一般利用者であり、商業ベースのバーチャルドライブを利用者Ｕに提供する態様。この場合、一人の乗員Ｐに対して複数の利用者Ｕが同時に対応付けられ、例えば利用者Ｕの側からの音声の転送はオフに設定されてよい。

【0091】

＜バックミラー表示装置に利用者が表示される処理＞
第１制御装置１７０は、バックミラー表示装置１５２の表示部に、移動体の後部座席に人物または人物に対応するキャラクターが着座しているような人物画像を含むサービス画像を表示させてもよい。第１制御装置１７０は、バックミラー表示装置１５２の表示部にサービス画像を表示させているときに、後部座席の方向から音声を出力させるように第１スピーカ１４０を制御してもよい。後部座席の方向から出力される音声は、例えば、利用者Ｕが第２マイク２２０に対して発した音声であって、第２通信装置２１０により送信され、第１通信装置１１０を介して取得された音声である。第１制御装置１７０は、例えば、運転席または助手席の乗員に対して、後部座席から音声が聞こえるように音像定位させて音声を第１スピーカ１４０に出力させる。

【0092】

図９は、バックミラー表示装置１５２の表示部に表示されたサービス画像の一例を示す図である。図９に示すように、乗員がバックミラー表示装置１５２の表示部を視認したときに、後部座席に利用者Ｕが実際に着座しているように、バックミラー表示装置１５２の表示部に人物画像を含むサービス画像が表示される。

【0093】

図１０は、サービス画像に着目した図である。サービス画像ＩＭ２は、例えば、人物画像ＩＭ１と後部座席が撮像された画像（背景画像）とが合成された画像である。人物画像ＩＭ１は、第２装置２００を利用する利用者Ｕの画像である。人物画像ＩＭ１は、第１装置１００の記憶装置に予め記憶された画像であってもよいし、第２装置２００から送信された画像であってもよい。人物画像ＩＭ１は、利用者Ｕに対応するキャラクターを示す画像であってもよい。人物画像ＩＭ１は、利用者に対応するアバターの画像であってよい。人物画像ＩＭ１は、例えば、第２装置２００の利用者が使用するＶＲゴーグルをＣＧ等の処理により排除した後の利用者の画像であってよい。背景画像は、第１装置１００の記憶装置に予め記憶された画像であってもよいし、室内カメラ１３２により撮像された画像であってもよい。表示制御部１７６は、例えば、背景画像において人物画像ＩＭ１の人物が後部座席に着座しているように、背景画像に対して人物画像ＩＭ１を合成してサービス画像ＩＭ２を生成する。なお、画像を合成する処理は、第２装置２００で行われ、第１装置１００が第２装置２００から合成された画像を取得してもよい。

【0094】

サービス画像は、移動体Ｍが移動中と停止中の両方でサービス画像が表示されてもよいし、後述するように、移動中または停止中の一方でサービス画像が表示されてもよい。移動体Ｍが移動中に表示されるサービス画像の品質と、移動体Ｍが停止中に表示されるサービス画像の品質とは異なっていてもよい。例えば、一方の品質が高く、他方の品質が低くてもよい。例えば、移動体Ｍが停止中に表示されるサービス画像の品質が、移動体Ｍが移動中に表示されるサービス画像の品質よりも優っていてもよい。サービス画像の品質が優っているとは、利用者が視認したときにより鮮明にサービス画像が見えるように表示されることである。サービス画像の品質が優っているとは、例えば、フレームレートや画質、画素数などが優っていることである。移動体Ｍが移動中は、バックミラー表示装置１５２の表示部を注視し続けないことや、移動中は無線通信の状態が安定しない場合があることから、移動中のサービス画像の品質を下げ、移動体Ｍが停止中は、移動中よりもバックミラー表示装置１５２の表示部を注視することができることや、移動中よりも無線通信の状態が安定している場合があることから、上記のように品質が制御されると好適である。或いはサービス画像の品質は、無線通信の品質に基づいて決定されてもよい。例えば、無線通信の品質が所定閾値未満の場合にはより低い品質のサービス画像を表示することとしてもよい。無線通信の品質とは、例えば、電波強度や、通信遅延時間、通信速度などの無線通信の品質を評価するための情報から得られた指標によって表される。これにより、第１通信装置１１０を介して第１スピーカ１４０から出力する音声データの通信に対して通信リソースを確保することができ、音声によるコミュニケーションを、無線通信の品質によらず一定程度維持できる。

【0095】

（処理の具体例）
第１制御装置１７０は、条件に応じて、サービス画像ＩＭ２をバックミラー表示装置１５２に表示させるか否かを決定してもよい。図１１は、第１制御装置１７０により実行される処理の流れの一例を示すフローチャートである。

【0096】

まず、第１制御装置１７０の状態判定部１７８が、条件を満たすか否かを判定する（ステップＳ１００）。条件の詳細については後述する。状態判定部１７８が条件を満たすと判定した場合、表示制御部１７６が、サービス画像ＩＭ２（利用者の画像）をバックミラー表示装置１５２に表示させることを許可する（ステップＳ１０２）。許可とは、利用者Ｕまたは乗員がサービス画像ＩＭ２をバックミラー表示装置１５２に表示させることを意図している場合に、サービス画像ＩＭ２をバックミラー表示装置１５２に表示させることである。意図しているとは、サービス画像ＩＭ２をバックミラー表示装置１５２に表示させることを指示している場合や、サービス画像ＩＭ２をバックミラー表示装置１５２に表示させるモードが選択されている場合である。

【0097】

状態判定部１７８が条件を満たさないと判定した場合、表示制御部１７６が、サービス画像ＩＭ２（利用者の画像）をバックミラー表示装置１５２に表示させることを制限する（ステップＳ１０４）。制限するとは、サービス画像ＩＭ２をバックミラー表示装置１５２に表示させないことや、表示させることを許可する場合の表示態様よりも制限することである。例えば、サービス画像ＩＭ２を表示する時間が制限されることであってもよい。例えば、表示制御部１７６は、バックミラー表示装置１５２に第１所定時間、後方画像を表示させた後、第１所定時間よりも短い第２所定時間、サービス画像ＩＭ２を表示させることを繰り返してもよい。これにより、本フローチャートの１ルーチンの処理が終了する。

【0098】

（条件について）
図１２は、条件の一例を示す図である。条件は、例えば、移動体Ｍが停止していることや、移動体Ｍのシフトポジションがパーキングポジションであること、移動体Ｍが運転支援または自動運転（例えば、上述した第１モードの運転支援または自動運転）で制御されていることなどである。例えば、運転者が、後方など周囲を監視する必要性が高くない場合に、条件が満たされ、バックミラー表示装置１５２にサービス画像ＩＭ２が表示されることが許可される。

【0099】

（画像遷移の具体例（その１））
図１３は、バックミラー表示装置１５２に表示される画像の遷移と状態判定部の判定結果との関係の一例を示す図である。第１制御装置１７０は、上記の条件が満たされている場合、サービス画像ＩＭ２をバックミラー表示装置１５２に表示させる。時刻Ｔ＋１において上記の条件が満たされなくなった場合、第１制御装置１７０は、サービス画像ＩＭ２に代えて後方画像をバックミラー表示装置１５２に表示させる。時刻Ｔ＋２において上記の条件が満たされた場合、第１制御装置１７０は、後方画像に代えてサービス画像ＩＭ２をバックミラー表示装置１５２に表示させる。なお、音声は、後部座席から聞こえるように音像定位されている。

【0100】

上記のように、第１制御装置１７０が、移動体の状態に応じてバックミラー表示装置１５２に表示させる画像を変更するため、乗員は、移動体の状態に適した画像を視認することができる。すなわち、第１制御装置１７０は、エンターテインメント性の向上と、運転者にとって好適な情報の提供とを実現することができる。

【0101】

上述した条件は変更されてもよい（例えば選択的に変更されてもよい）。例えば、条件は、移動体Ｍが停止していないことや、移動体Ｍのシフトポジションが発進可能なポジションであること（パーキングポジションでないこと）、移動体Ｍが運転支援または自動運転（例えば、上述した第１モードの運転支援または自動運転）で制御されていなく運転者が操作して移動体の走行を制御していることなどである。第１制御装置１７０は、移動体が移動している、シフトポジションが発進可能なポジションである、または運転者が操作して移動体の走行を制御している場合、サービス画像を表示部に表示させる。このように条件が設定されることで、移動体が移動中や運転者が移動体を制御しているときに、サービス画像が提供されることで、乗員は、移動体内にいない人物の存在が感じやすい。この結果、第１制御装置１７０は、乗員に移動体内にいない人物と一緒に移動体しているような体験を提供することができる。

【0102】

（画像遷移の具体例（その２））
図１４は、バックミラー表示装置１５２に表示される画像の遷移と状態判定部の判定結果との関係の他の一例を示す図である。図１４の例では、条件が満たされるか否かに応じて音像定位の制御が変更される。図１３で説明した処理との相違点を中心に説明する。

【0103】

時刻Ｔ＋１において上記の条件が満たされなくなった場合、第１制御装置１７０は、後部座席から音声が聞こえるように音像定位することを停止し、助手席から音声が聞こえるように音像定位することを開始する。時刻Ｔ＋２において上記の条件が満たされた場合、第１制御装置１７０は、助手席から音声が聞こえるように音像定位することを停止し、後部座席から音声が聞こえるように音像定位することを開始する。

【0104】

例えば、上記の条件が満たされない場合、利用者Ｕが第２装置２００を利用して助手席に着座して周囲を見渡したような風景を視認することができるような制御され、このとき、運転席の運転者が助手席から音声が聞こえるように音声定位がされる。上記の条件が満たされた場合、利用者Ｕが後部座席に着座しているようにバックミラー表示装置１５２に利用者Ｕの画像が表示され、このとき、運転席の運転者が後部座席から音声が聞こえるように音声定位がされる。上記のように、利用者が仮想的に着座している位置に応じて音像定位がされれば、乗員は違和感なく、利用者Ｕの存在を感じることができ、臨場感が高まる。これにより、エンターテインメント性が更に向上する。なお、（画像遷移の具体例（その２））においても、条件は変更されてもよい（例えば選択的に変更されてもよい）。例えば、条件は、移動体Ｍが停止していないことや、移動体Ｍのシフトポジションが発進可能なポジションであること（パーキングポジションでないこと）、移動体Ｍが運転支援または自動運転（例えば、上述した第１モードの運転支援または自動運転）で制御されていなく運転者が操作して移動体の走行を制御していることなどである。

【0105】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0106】

１ 情報処理システム
１００ 第１装置
１１０ 第１通信装置
１２０ 第１マイク
１３０ カメラユニット
１３２ 室内カメラ
１３４ 室外カメラ
１４０ 第１スピーカ
１５０ 利用者表示装置
１５２ バックミラー表示装置
１６０ ＨＭＩ
１７０ 第１制御装置
１９０ 制御対象機器
１９２ 移動体制御装置
２００ 第２装置
２１０ 第２通信装置
２２０ 第２マイク
２３０ 検知装置
２３２ 指向方向検知装置
２３４ 頭部位置検知装置
２３６ モーションセンサ
２４０ 第２スピーカ
２５０ 移動体画像表示装置
２６０ ＨＭＩ
２７０ 第２制御装置
３００ 管理サーバ
Ｍ 移動体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】