特開 2022-189598 情報処理装置、情報処理システムおよびＸＲコンテンツの再生方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189598

(43)【公開日】2022-12-22

(54)【発明の名称】情報処理装置、情報処理システムおよびＸＲコンテンツの再生方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20221215BHJP

   H04N 21/442 20110101ALI20221215BHJP

   H04N 21/431 20110101ALI20221215BHJP

【ＦＩ】

G09G5/00 510V

G09G5/00 530T

G09G5/00 550C

H04N21/442

H04N21/431

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021098262

(22)【出願日】2021-06-11

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】大築 ともえ

(72)【発明者】

【氏名】塩津 真一

(72)【発明者】

【氏名】勝野 雅之

(72)【発明者】

【氏名】原田 晴夫

【テーマコード（参考）】

5C164

5C182

【Ｆターム（参考）】

5C164FA08

5C164UB41P

5C164UB81P

5C164UD12S

5C164YA12

5C164YA30

5C182AB08

5C182AB25

5C182AB31

5C182AB34

5C182AB35

5C182AC02

5C182BA14

5C182BA29

5C182BA35

5C182BA46

5C182BA56

5C182BA57

5C182BA75

5C182BB01

5C182BC22

5C182BC25

5C182BC26

5C182CA01

5C182CA32

5C182CC21

5C182CC24

5C182DA65

(57)【要約】

【課題】ＸＲコンテンツによってユーザが受けるストレスを軽減すること。
【解決手段】実施形態に係る情報処理装置は、ＸＲコンテンツ再生に関する情報処理装置であって、切り替え制御部を備える。切り替え制御部は、ＸＲコンテンツによる酔いに関する酔い状況に応じて、ＸＲコンテンツを表示可能に設けられた複数の表示器の間で表示内容を引き継ぎつつ、ＸＲコンテンツを表示する表示器を切り替える。
【選択図】図６

【特許請求の範囲】

【請求項1】

ＸＲコンテンツ再生に関する情報処理装置であって、
ＸＲコンテンツによる酔いに関する酔い状況に応じて、ＸＲコンテンツを表示可能に設けられた複数の表示器の間で表示内容を引き継ぎつつ、ＸＲコンテンツを表示する前記表示器を切り替える切り替え制御部
を備えることを特徴とする情報処理装置。

【請求項2】

ＸＲコンテンツを利用するユーザに関する状況を取得する取得部と、
前記取得部によって取得された状況に基づいて、前記酔い状況を推定する推定部と
をさらに備え、
前記切り替え制御部は、
前記推定部の推定結果に応じて前記表示器を切り替える
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記切り替え制御部は、
前記推定部によって推定される前記ユーザの酔いレベルが第１閾値を超える場合に、前記表示器を切り替え、前記表示器を切り替えた後、前記酔いレベルが前記第１閾値以下の第２閾値を下回った場合に、切り替えた前記表示器を元に戻す
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記切り替え制御部は、
前記推定部によって前記ユーザがＸＲコンテンツによる酔いが生じやすいエリアへ進入すると推定される場合に、前記表示器を切り替え、前記ユーザが前記エリアを通過した場合に、切り替えた前記表示器を元に戻す
ことを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記切り替え制御部は、
前記表示器を切り替える場合に、前記ユーザが前記表示器としてＨＭＤを装着中ならば、前記ＨＭＤを外すことを促すガイダンスメッセージを前記ＨＭＤに表示させる
ことを特徴とする請求項３または４に記載の情報処理装置。

【請求項6】

ＸＲコンテンツ再生に関する情報処理装置と、
ＸＲコンテンツを表示する表示装置と
を備え、
前記表示装置は、複数の表示器を備え、
前記情報処理装置は、
ＸＲコンテンツによる酔いに関する酔い状況に応じて、前記複数の表示器の間で表示内容を引き継ぎつつ、ＸＲコンテンツを表示する前記表示器を切り替える切り替え制御部
を備えることを特徴とする情報処理システム。

【請求項7】

ＸＲコンテンツの再生方法であって、
ＸＲコンテンツによる酔いに関する酔い状況に応じて、ＸＲコンテンツを表示可能に設けられた複数の表示器の間で表示内容を引き継ぎつつ、ＸＲコンテンツを表示する前記表示器を切り替える
ことを特徴とするＸＲコンテンツの再生方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、情報処理装置、情報処理システムおよびＸＲコンテンツの再生方法に関する。

【背景技術】

【0002】

従来、ＨＭＤ（Head Mounted Display）等を用いてユーザに対し、ＶＲ（Virtual Reality）やＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）といった仮想空間体験を含むデジタルコンテンツ、いわゆるＸＲ（Cross Reality）コンテンツを提供する技術が知られている。ＸＲは、ＶＲ、ＡＲ、ＭＲのほか、ＳＲ（Substitutional Reality）、ＡＶ（Audio/Visual）等を含むすべての仮想空間技術をまとめた表現である。

【0003】

また、かかる技術において、たとえば車両等の移動体に搭載され、かかる移動体をモーション・プラットフォームとして利用可能なＸＲシステムも提案されている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１０２４０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術は、ＸＲコンテンツによってユーザが受けるストレスを軽減するうえで、さらなる改善の余地がある。

【0006】

たとえば、ＸＲコンテンツの提供を受けるユーザには、乗り物酔いに似た「ＸＲ酔い」が起こりうることが知られている。ＸＲ酔いは、映像とユーザの体の動きとのズレといった原因により生じうる動揺病の一つである。特に、車両に搭載されるＸＲシステムの場合、ユーザの体の動きに車両の動きが加わるため、映像とのズレがより複雑化し、ＸＲ酔いが発生しやすい傾向にある。さらに、通常の乗り物酔い症状も加わるため、より複雑化した酔い症状が発生しやすくなる。

【0007】

こうしたＸＲ酔いが発生しそうな場合、ユーザは、かかるＸＲ酔いから受けるストレスを軽減するため、たとえば装着しているＨＭＤを外すといった行動を取ることが考えられる。しかし、この場合、ユーザは、ＸＲ酔いによるストレスを軽減することはできるものの、代わりにＸＲコンテンツの視聴が中断されるというストレスを受けることとなる。

【0008】

実施形態の一態様は、上記に鑑みてなされたものであって、ＸＲコンテンツによってユーザが受けるストレスを軽減することができる情報処理装置、情報処理システムおよびＸＲコンテンツの再生方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

実施形態の一態様に係る情報処理装置は、ＸＲコンテンツ再生に関する情報処理装置であって、切り替え制御部を備える。前記切り替え制御部は、ＸＲコンテンツによる酔いに関する酔い状況に応じて、ＸＲコンテンツを表示可能に設けられた複数の表示器の間で表示内容を引き継ぎつつ、ＸＲコンテンツを表示する前記表示器を切り替える。

【発明の効果】

【0010】

実施形態の一態様によれば、ＸＲコンテンツによってユーザが受けるストレスを軽減することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係る情報処理システムの概略構成を示す図である。

【図2】図２は、ＸＲ酔いの説明図である。

【図3】図３は、実施形態に係る情報処理方法の概要説明図（その１）である。

【図4】図４は、実施形態に係る情報処理方法の概要説明図（その２）である。

【図5】図５は、実施形態に係る情報処理方法の概要説明図（その３）である。

【図6】図６は、実施形態に係る情報処理装置の構成例を示すブロック図である。

【図7】図７は、表示部３の構成例を示すブロック図である。

【図8】図８は、切り替え制御部による切り替え制御の実行タイミングの説明図（その１）である。

【図9】図９は、切り替え制御部による切り替え制御の実行タイミングの説明図（その２）である。

【図10】図１０は、天井モニタを利用した例を示す図である。

【図11】図１１は、ＨＭＤの変形例を示す図である。

【図12】図１２は、複数のユーザＵに対するＸＲコンテンツの再生制御の説明図（その１）である。

【図13】図１３は、複数のユーザＵに対するＸＲコンテンツの再生制御の説明図（その２）である。

【図14】図１４は、複数のユーザＵに対するＸＲコンテンツの再生制御の説明図（その３）である。

【図15】図１５は、複数のユーザＵに対するＸＲコンテンツの再生制御の説明図（その４）である。

【図16】図１６は、実施形態に係る情報処理装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本願の開示する情報処理装置、情報処理システムおよびＸＲコンテンツの再生方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0013】

また、以下では、実質的に同一の機能構成を有する複数の構成要素を同一の符号の後にハイフン付きの異なる数字を付して区別する場合がある。たとえば、実質的に同一の機能構成を有する複数の構成を、必要に応じて情報処理装置１０－１および情報処理装置１０－２のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。たとえば、情報処理装置１０－１および情報処理装置１０－２を特に区別する必要がない場合には、単に情報処理装置１０と称する。

【0014】

また、以下では、実施形態に係る情報処理システム１が、車両に搭載され、ユーザに対し、ＸＲコンテンツを提供するＸＲシステムである場合を例に挙げて説明する。また、以下では、「ＸＲコンテンツの再生方法」を「情報処理方法」と記載する。

【0015】

まず、実施形態に係る情報処理方法の概要について、図１～図５を用いて説明する。図１は、実施形態に係る情報処理システム１の概略構成を示す図である。また、図２は、ＸＲ酔いの説明図である。また、図３～図５は、実施形態に係る情報処理方法の概要説明図（その１）～（その３）である。

【0016】

図１に示すように、実施形態に係る情報処理システム１は、表示部３と、情報処理装置１０とを含む。

【0017】

表示部３は、複数の表示器を含む。その１つとして、図１に示すように、表示部３は、ＨＭＤ３１を含む。ＨＭＤ３１は、ユーザＵに対し、情報処理装置１０から提供されるＸＲコンテンツを提示し、ユーザにＸＲ体験を享受させるための情報処理端末である。ＨＭＤ３１は、ユーザＵの頭部に装着されて利用されるウェアラブルコンピュータ（wearable computer）であり、図１の例ではゴーグル型である。なお、ＨＭＤ３１は眼鏡型であってもよいし、帽子型であってもよい。

【0018】

ＨＭＤ３１は、ディスプレイ３１ａと、スピーカ３１ｂと、センサ部３１ｃとを備える。ディスプレイ３１ａは、ユーザＵの眼前に配置されるように設けられ、情報処理装置１０から提供されるＸＲコンテンツに含まれる映像を表示する。

【0019】

なお、図１の例では、ディスプレイ３１ａは、ユーザＵの左右それぞれの眼前に１つずつ設けられている例を示しているが、１つだけであってもよい。また、ディスプレイ３１ａは、視界を完全に覆う非透過型であってもよいし、ビデオ透過型や光学透過型であってもよい。本実施形態では、非透過型であるものとする。

【0020】

スピーカ３１ｂは、たとえば図１に示すようにヘッドフォン型に設けられ、ユーザＵの耳に装着される。スピーカ３１ｂは、情報処理装置１０から提供されるＸＲコンテンツに含まれる音声を出力する。

【0021】

センサ部３１ｃは、ユーザＵの内外の状況の変化を検知するデバイスであって、たとえばカメラやモーションセンサ等を含む。

【0022】

情報処理装置１０は、コンピュータであり、たとえば車両に搭載される車載装置であって、有線または無線でＨＭＤ３１と接続され、ＨＭＤ３１に対し、ＸＲコンテンツを提供する。また、情報処理装置１０は、センサ部３１ｃによって検知された状況の変化を随時取得し、かかる状況の変化をＸＲコンテンツに反映させる。

【0023】

たとえば、情報処理装置１０は、センサ部３１ｃによって検知されたユーザＵの頭部や視線の変化に応じて、ＸＲコンテンツの仮想空間における視界の向きを変化させることが可能である。

【0024】

ところで、このようなＨＭＤ３１を用いたＸＲコンテンツの提供にあたっては、ユーザＵに、乗り物酔いに似た「ＸＲ酔い」が起こりうることが知られている。

【0025】

図２に示すように、ＸＲ酔いは、映像とユーザＵの体の動きとのズレといった原因等により生じうる。また、車両に搭載されるＸＲシステムの場合、ユーザＵの体の動きにさらに周囲環境の変化等による車両の動きが加わるため、映像とのズレがより複雑化し、ＸＲ酔いが発生しやすい傾向にある。

【0026】

こうしたＸＲ酔いが発生しそうな場合、ユーザＵは、かかるＸＲ酔いから受けるストレスを軽減するため、たとえば装着しているＨＭＤを外すといった行動を取ることが考えられる。しかし、この場合、ユーザＵは、ＸＲ酔いによるストレスを軽減することはできるものの、代わりにＸＲコンテンツの視聴が中断されるというストレスを受けることとなる。

【0027】

そこで、実施形態に係る情報処理方法は、車両Ｖに搭載される情報処理装置１０が実行する情報処理方法であって、車両Ｖの内外の状況を取得し、ＸＲコンテンツを表示可能に設けられた複数の表示器の間で表示内容を引き継ぎつつ、取得された状況に基づいて表示器を切り替えることとした。

【0028】

具体的には、図３に示すように、実施形態に係る情報処理方法では、情報処理装置１０は随時、車両Ｖの内外の状況、言い換えればＸＲコンテンツを利用するユーザＵに関する状況を取得し、ＸＲ酔いに関する状況を推定する（ステップＳ１）。ＸＲ酔いに関する状況は、ＸＲコンテンツによる酔いに関する酔い状況と言い換えてよい。情報処理装置１０は、たとえばユーザＵからの申告に基づいてＸＲ酔いに関する状況を推定する。また、情報処理装置１０は、たとえばユーザＵの身体的状況の変化を検知することによってＸＲ酔いに関する状況を推定する。

【0029】

また、情報処理装置１０は、たとえば提供中のＸＲコンテンツの種別や映像の状況、音声の状況といった、ＸＲコンテンツの使用状況に基づいてＸＲ酔いに関する状況を推定する。

【0030】

また、情報処理装置１０は、たとえば道路状況や車両Ｖの状況、操作状況といった、車両Ｖの走行状況に基づいてＸＲ酔いに関する状況を推定する。また、情報処理装置１０は、たとえばユーザＵごとの酔いやすさ等を示す各種のパラメータ等を含むユーザ情報に基づいてＸＲ酔いに関する状況を推定する。

【0031】

なお、情報処理装置１０は、かかるＸＲ酔いに関する状況の推定処理においては、たとえば機械学習のアルゴリズムを用いて生成された推定モデルを用いることができる。かかる推定モデルは、実際の推定結果に基づいて適宜強化学習される。強化学習の結果、たとえばＸＲ酔いに関する状況を推定するための判定閾値等が適宜更新される。

【0032】

そして、情報処理装置１０は、ステップＳ１で推定したＸＲ酔いに関する状況に基づいて、ＸＲ酔いが軽減されるようにＸＲコンテンツの再生制御を実行する（ステップＳ２）。ＸＲコンテンツの再生制御は、同図に示すように、たとえば表示器の切り替え制御である（ステップＳ２１）。

【0033】

上述したように、表示部３は、複数の表示器を含み、その１つがＨＭＤ３１である。そして、表示部３は、ＨＭＤ３１以外の表示器をさらに含んでいる。ＨＭＤ３１以外の表示器は、たとえば車両Ｖのフロントウィンドウに画像情報を投影するＨＵＤ（Head-Up Display）である。

【0034】

情報処理装置１０は、表示器の切り替え制御として、たとえばかかるＨＭＤ３１とＨＵＤとの間で、ＸＲコンテンツの表示を切り替える処理を実行する。また、このとき、情報処理装置１０は、ＸＲコンテンツ内の仮想オブジェクトの少なくとも一部を、ＨＭＤ３１とＨＵＤとの間で引き継ぎつつ表示させる。

【0035】

具体例を図４および図５に示す。まず図４の上段に示すように、情報処理装置１０はＨＭＤ３１のディスプレイ３１ａにＡＲコンテンツを表示しているものとする。図４の例では、たとえば車両Ｖの車載カメラが捉えた現実空間の撮影画像を背景として、仮想オブジェクトＶｏ１，Ｖｏ２，Ｖｏ３が表示されている例を示している。

【0036】

同図に示すように、仮想オブジェクトＶｏ１は、たとえばＸＲコンテンツ内のキャラクタである。また、仮想オブジェクトＶｏ２は、たとえばＸＲコンテンツの進行に関するメッセージである。また、仮想オブジェクトＶｏ３は、たとえばＸＲコンテンツを視聴するユーザＵに対するガイダンスメッセージである。

【0037】

仮想オブジェクトＶｏ３が示すように、情報処理装置１０は、たとえば上述のステップＳ１における推定結果に基づき、ユーザＵのＸＲ酔いの度合いを示す酔いレベルが上昇すると、ＨＭＤ３１を外すことを促すガイダンスメッセージをＨＭＤ３１に表示させる。

【0038】

かかるガイダンスメッセージに応じ、ユーザＵがＨＭＤ３１を外すと、同図の下段に示すように、情報処理装置１０は、それまでＨＭＤ３１へ表示されていた仮想オブジェクトＶｏ１，Ｖｏ２をＨＵＤ３２へ表示させる。なお、このとき、情報処理装置１０は、ユーザＵから見た仮想オブジェクトＶｏ１，Ｖｏ２の位置や大きさが、ＨＭＤ３１からＨＵＤ３２へ変化することなく引き継がれるように仮想オブジェクトＶｏ１，Ｖｏ２をＨＵＤ３２へ表示させる。

【0039】

また、ユーザＵにとっては、ＨＭＤ３１を外すことで、同図に示すように、車室内のＡピラーや、フロントウィンドウを通した外の景色が自身の視界に入り、認識されることとなる。

【0040】

これにより、情報処理装置１０は、ＨＭＤ３１を用いた閉塞した視界からユーザＵを解放することで、ユーザＵがＸＲ酔いにより受けるストレスを軽減することができる。一方で、情報処理装置１０は、ユーザＵがＨＭＤ３１を外してもなおＸＲコンテンツを引き続き視聴可能とすることで、ＸＲコンテンツの視聴が中断されるというユーザＵのストレスを軽減することができる。

【0041】

なお、図４では、ＨＭＤ３１のディスプレイ３１ａにＡＲコンテンツが表示されていた例を挙げたが、ＡＲコンテンツ以外のＸＲコンテンツについても同様である。たとえば、図５の上段に示すように、情報処理装置１０はＨＭＤ３１のディスプレイ３１ａにＶＲコンテンツを表示しているものとする。図５の例では、背景はたとえば車両Ｖの車載カメラが捉えた現実空間の撮影画像ではなく、背景そのものも仮想オブジェクト群（ここでは、山や木など）によって表現される。

【0042】

そして、図４の例と同様に、ユーザＵが仮想オブジェクトＶｏ３のガイダンスメッセージに応じ、ＨＭＤ３１を外すと、図５の下段に示すように、情報処理装置１０は、それまでＨＭＤ３１へ表示されていた仮想オブジェクトＶｏ１，Ｖｏ２を、その位置や大きさを引き継ぎつつＨＵＤ３２へ表示させる。このとき、情報処理装置１０は、ＨＵＤ３２に対しては、仮想オブジェクト群の背景を表示させない。すなわち、同図に示すように、情報処理装置１０は、ユーザＵに対しては、基本的には実背景を視認させることとなる。なお、仮想オブジェクト群による背景表示を全く行わないのではなく、透明度を高めた仮想オブジェクト群による背景表示を行うようにしてもよい。

【0043】

これにより、図４の例と同様に、情報処理装置１０は、ＨＭＤ３１を用いた閉塞した視界からユーザＵを解放することで、ユーザＵがＸＲ酔いにより受けるストレスを軽減することができる。一方で、情報処理装置１０は、ユーザＵがＨＭＤ３１を外してもなおＸＲコンテンツを引き続き視聴可能とすることで、ＸＲコンテンツの視聴が中断されるというユーザＵのストレスを軽減することができる。

【0044】

このように、実施形態に係る情報処理方法は、車両Ｖに搭載される情報処理装置１０が実行する情報処理方法であって、車両Ｖの内外の状況を取得し、ＸＲコンテンツを表示可能に設けられた複数の表示器の間で表示内容を引き継ぎつつ、取得された状況に基づいて表示器を切り替える。

【0045】

したがって、実施形態に係る情報処理方法によれば、ＸＲコンテンツによってユーザＵが受けるストレスを軽減することができる。以下、実施形態に係る情報処理方法を適用した情報処理システム１の構成例について、より具体的に説明する。

【0046】

図６は、実施形態に係る情報処理装置１０の構成例を示すブロック図である。また、図７は、表示部３の構成例を示すブロック図である。なお、図６および図７では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

【0047】

換言すれば、図６および図７に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0048】

また、図６および図７を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。

【0049】

図６に示すように、実施形態に係る情報処理装置１０は、記憶部１１と、制御部１２とを備える。また、情報処理装置１０は、ＣＡＮ（Controller Area Network）等の有線ネットワークや無線を介し、あるいは直接に、表示部３と、センサ部５と、シート機構７とが接続される。

【0050】

表示部３は、上述したように、複数の表示器を含む。図７に示すように、表示部３は、たとえばＨＭＤ３１と、ＨＵＤ３２と、天井モニタ３３と、サイドウィンドウモニタ３４と、タブレット３５と、スマートフォン３６と、等を含む。

【0051】

天井モニタ３３は、車室の天井部に形成されるモニタ装置である。サイドウィンドウモニタ３４は、同様に、車室のサイドウィンドウに形成されるモニタ装置である。なお、天井モニタ３３およびサイドウィンドウモニタ３４は、ＨＵＤ３２と同様に、たとえば他に設けられたプロジェクタによって画像情報を投影される装置であってもよい。また、タブレット３５およびスマートフォン３６は、ユーザＵが携帯する携帯端末装置の一例である。

【0052】

図６の説明に戻る。センサ部５は、車両Ｖに搭載される各種のセンサ群であって、たとえばマイクや、カメラや、加速度センサや、舵角センサや、バイタルセンサ等を含む。

【0053】

マイクは、ユーザＵの発話など、車室内で発せられる音声を集音する。カメラは、車両Ｖに搭載されるフロントカメラ、リアカメラ、サイドカメラ、室内カメラ等であって、車両Ｖの内外を撮影する。室内カメラは、たとえばユーザＵの状態を撮影する。

【0054】

加速度センサは、車両Ｖに加わる加速度や車速を測定する。舵角センサは、車両Ｖの舵角を測定する。

【0055】

バイタルセンサは、ユーザＵの身体的状況を検知するセンサであって、たとえばユーザＵに装着され、ユーザＵの心拍や脳波、血中酸素濃度、発汗等のバイタルデータを測定する。なお、センサ部５には無論、これまで説明した以外の各種のセンサが適宜含まれてもよい。また、シート機構７は、車両Ｖのリクライニングシートの調整機構である。

【0056】

記憶部１１は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図６の例では、記憶部１１は、ＸＲコンテンツＤＢ（Database）１１ａと、ユーザ情報１１ｂと、推定モデル１１ｃと、地図ＤＢ１１ｄとを記憶する。

【0057】

ＸＲコンテンツＤＢ１１ａは、表示部３へ表示されるＸＲコンテンツ群が格納されたデータベースである。ユーザ情報１１ｂは、表示部３を利用するユーザＵに関する情報であって、上述したユーザＵごとの酔いやすさ等を示す各種のパラメータ等を含む。ユーザ情報１１ｂは、ユーザＵの過去のＸＲ酔いに関する状況の推定結果に基づいて適宜更新される。

【0058】

推定モデル１１ｃは、上述した機械学習のアルゴリズムを用いて生成された推定モデルである。推定モデル１１ｃはたとえば、後述する取得部１２ｂによって取得された車両Ｖの内外の各種の状況を示すデータが入力されることによって、ユーザＵのＸＲ酔いに関する状況を示す値（たとえば、ＸＲ酔いの度合いを示すレベル値である「酔いレベル」）を算出し、出力する。

【0059】

地図ＤＢ１１ｄは、地図データが格納されたデータベースである。地図データは、地図情報だけでなく、たとえば道路の材質や起伏等に関する情報が含まれていてもよい。これにより、ＸＲ酔いに関する状況の推定にあたって、たとえば走行中の道路状況を詳細に算出することが可能となる。

【0060】

また、地図ＤＢ１１ｄは、ユーザＵが酔いやすいエリアである酔いエリアに関する情報を含む。酔いエリアは、ユーザＵの過去のＸＲ酔いに関する状況の推定結果に基づいて適宜更新される。なお、図示しないサーバ装置等によって、多数のユーザＵのＸＲ酔いに関する推定結果のビッグデータから酔いエリアが随時集計され、その集計結果に基づいて地図ＤＢ１１ｄが適宜更新されてもよい。

【0061】

制御部１２は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１１に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0062】

制御部１２は、再生制御部１２ａと、取得部１２ｂと、推定部１２ｃと、切り替え制御部１２ｄと、シート制御部１２ｅとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0063】

再生制御部１２ａは、ＸＲコンテンツＤＢ１１ａに格納されたＸＲコンテンツを表示部３に対し表示し、再生するための再生制御を実行する。また、再生制御部１２ａは、上述したＨＭＤ３１のセンサ部３１ｃやセンサ部５によって検知され、後述する取得部１２ｂによって取得される各種の状況の変化をＸＲコンテンツの再生状態に反映させる。

【0064】

取得部１２ｂは、ＨＭＤ３１のセンサ部３１ｃやセンサ部５のセンシングデータを随時取得する。また、取得部１２ｂは、再生制御部１２ａから、再生中であるＸＲコンテンツの種別や映像の状況、音声の状況といったＸＲコンテンツの使用状況を随時取得する。また、取得部１２ｂは、取得した各種のデータを推定部１２ｃへ出力する。

【0065】

推定部１２ｃは、取得部１２ｂによって取得された各種のデータに基づき、推定モデル１１ｃを用いてユーザＵのＸＲ酔いに関する状況を推定する。なお、推定部１２ｃは、ユーザＵの発話内容については、音声認識処理および自然言語処理を行い、その結果に基づいてたとえばＸＲ酔いが起きたことの申告であるか否か、および、その申告であれば前述の酔いレベル等を推定する。

【0066】

切り替え制御部１２ｄは、推定部１２ｃの推定結果に基づいて、前述の表示器の切り替え制御を実行し、再生制御部１２ａによるＸＲコンテンツの再生制御に反映させる。ここで、図８および図９は、切り替え制御部１２ｄによる切り替え制御の実行タイミングの説明図（その１）および（その２）である。また、図１０は、天井モニタ３３を利用した例を示す図である。

【0067】

図８に示すように、切り替え制御部１２ｄは、推定部１２ｃによって算出されたユーザＵの酔いレベルが所定の第１閾値を超えた場合に、すなわち図８では時点Ｔ１において切り替え制御を実行する。

【0068】

また、切り替え制御部１２ｄは、図９に示すように、車両Ｖの経路に酔いエリアが存在する場合に、かかる酔いエリアへ進入する手前の地点Ａ付近において表示器の切り替え制御を実行する。すなわち、切り替え制御部１２ｄは、地図データ等による酔いの推定に基づいて切り替え制御を実行する。つまり、情報処理装置１０は、ユーザＵの酔いレベルに将来の予測分を含めて、ユーザＵを酔わせないもしくは酔ったとしてもなるべく悪化させないように表示器を切り替えさせる。

【0069】

このとき、切り替え制御部１２ｄは、たとえば図４および図５に仮想オブジェクトＶｏ３として示したように、ＨＭＤ３１のディスプレイ３１ａにＨＭＤ３１を外すことを促すガイダンスメッセージを再生制御部１２ａによってＨＭＤ３１に表示させる。

【0070】

また、切り替え制御部１２ｄは、たとえば図４および図５に示した仮想オブジェクトＶｏ１，Ｖｏ２を、ＨＭＤ３１とＨＵＤ３２との間で引き継ぎつつ、再生制御部１２ａによってＨＵＤ３２へ表示させる。

【0071】

また、切り替え制御部１２ｄは、表示器の切り替え後、ユーザＵの酔いレベルが前述の第１閾値を下回った場合に、すなわち図８では時点Ｔ２において、切り替えた表示器を元に戻す（復帰させる）。あるいは、切り替え制御部１２ｄは、酔いレベルが第１閾値より低い第２閾値を下回った場合に、切り替えた表示器を元に戻す。すなわち、この場合は、切り替え制御部１２ｄは、時点Ｔ３を復帰タイミングとして表示器を復帰させる。このように、復帰時の閾値の方を低く設定することによって、復帰時におけるヒステリシスを考慮することができる。また、複数の閾値を設けた場合、酔いレベルに応じて、たとえば表示器Ａ→表示器Ｂ→表示器Ｃのように段階的に切り替え、復帰時には、表示器Ｃ→表示器Ｂ→表示器Ａのように、各表示機の酔いレベルに対する適性に応じて段階的に復帰させるようにしてもよい。

【0072】

あるいは、切り替え制御部１２ｄは、表示器の切り替え後、車両Ｖが酔いエリアを通過した場合に、すなわち図９では地点Ｂ付近において、切り替えた表示器を復帰させる。復帰させる場合においても、切り替え制御部１２ｄは、たとえば表示内容をＨＵＤ３２とＨＭＤ３１との間で引き継ぎつつ、再生制御部１２ａによってＨＭＤ３１へ表示させることとなる。

【0073】

なお、無論、切り替え制御部１２ｄは、これまで説明したＨＭＤ３１からＨＵＤ３２だけでなく、表示部３に含まれるすべての表示器の間で任意に、ユーザＵのＸＲ酔いから受けるストレスが軽減されるように、表示器を切り替えることができる。

【0074】

たとえば、図１０に示すように、ＨＭＤ３１に表示されていた仮想オブジェクトＶｏ１，Ｖｏ２は、ＨＵＤ３２だけでなく、あわせて天井モニタ３３にも引き継がれてよい。また、上述したサイドウィンドウモニタ３４や、タブレット３５、スマートフォン３６、その他リアウィンドウモニタやピラーモニタ等にも、適宜引き継がれてもよい。これにより、ＨＭＤ３１のディスプレイ３１ａにおいて３６０度の全方位にわたって表現可能な仮想空間を、たとえば車室空間においてほぼ再現することも可能となる。また、切り替え時には、所定時間、切り替え前後の表示器の間で表示を重複させて切れ目が生じないようにすることが好ましい。

【0075】

図６の説明に戻る。シート制御部１２ｅは、推定部１２ｃの推定結果に基づいて、シート機構７を制御する。たとえば、シート制御部１２ｅは、ユーザＵの酔いレベルが大きい場合や、酔いエリアへの進入中には、シートをリクライニングさせ、ユーザＵをリラックスした姿勢にさせる。これにより、ユーザＵがＸＲ酔いにより受けるストレスを、ユーザＵの姿勢を変化させることによって軽減することができる。

【0076】

なお、シート制御部１２ｅは、前述の天井モニタ３３を用いた表示の連携を行う場合に、ユーザＵが見やすい姿勢となるようにシートをリクライニングさせてもよい。

【0077】

次に、これまで説明した実施形態のいくつかの変形例について、図１１～図１５を用いて説明する。なお、図１１～図１４は、車室空間を平面視した場合をごく模試的に表している。

【0078】

図１１は、ＨＭＤ３１の変形例を示す図である。図１１の上段に示すように、ＨＭＤ３１は、たとえばフロントシートのヘッドレストの近傍などに設けられたプロジェクタＰからの映像が単に投影されるだけのスクリーン装置３１Ａとして構成されてもよい。これにより、天井モニタ３３などを用いなくとも、たとえば図中のユーザＵ－２の頭部の動きだけで、天井方向へのＸＲコンテンツの表示が可能となる。

【0079】

また、同図の下段に示すように、たとえばユーザＵ－２の酔いレベルが大きくなった場合には、ユーザＵ－２にスクリーン装置３１Ａを外させ、プロジェクタＰは、フロントウィンドウや、その他のウィンドウに映像を引き継いて投影させればよい。

【0080】

なお、このとき、たとえばユーザＵ－２の酔いレベルに応じて、投影すべき場所を選択することができる。たとえば、ユーザＵ－２の酔いレベルが大きいほど、ユーザＵ－２から遠い場所に映像が投影されるようにすると、ＸＲ酔いの軽減には効果的である。

【0081】

また、図１２～図１５は、複数のユーザＵに対するＸＲコンテンツの再生制御の説明図（その１）～（その４）である。図１２～図１５を用いた説明では、たとえば車両Ｖが完全自動運転車両などであって、乗員の一部もしくは全員が同時に同じＸＲコンテンツの提供を受けることが可能である場合を想定する。

【0082】

図１２に示すように、たとえばユーザＵ－１～Ｕ－４の全員が、フロントウィンドウに設けられたディスプレイＤで同じＸＲコンテンツの提供を受けるものとする。かかる場合、前述の推定部１２ｃは、ユーザＵのそれぞれについて随時ＸＲ酔いに関する状況を推定する。

【0083】

そして、切り替え制御部１２ｄおよび再生制御部１２ａは、かかる推定部１２ｃの推定結果を受けて、図１２に示すように、酔いレベルの最も大きいユーザＵに応じてＸＲ酔いが軽減されるようにＸＲコンテンツの再生制御を行う。

【0084】

たとえば再生制御部１２ａは、図１２の例ではユーザＵ－２の酔いレベルに応じて、ＸＲコンテンツからユーザＵ－４の受ける刺激が軽減されるように、ＸＲコンテンツの再生制御を行う。たとえば再生制御部１２ａは、ＸＲコンテンツの再生速度や明度、色味などが緩和されるようにＸＲコンテンツの再生制御を実行する。

【0085】

なお、ＸＲ酔いが軽減されるようにＸＲコンテンツの再生制御を行う場合、たとえば天候や、周囲の明るさ等を考慮してもよい。また、たとえば車両Ｖのヘッドライトの作動と連動するようにしてもよい。

【0086】

また、図１３に示すように、たとえばユーザＵの全員がＨＭＤ３１を装着して同じＸＲコンテンツの提供を受けるものとする。かかる場合、切り替え制御部１２ｄは、図１３の例では、酔いレベルが最も大きいユーザＵ－４について、たとえば上述したＨＭＤ３１からＨＵＤ３２などへＸＲコンテンツの表示を引き継ぐ切り替え制御を行う。

【0087】

また、図１４に示すように、たとえばディスプレイＤが１つの画面で方向によって異なる内容を表示できるデュアルビュー方式であるものとする。かかる場合、再生制御部１２ａは、同図の例では、同じＸＲコンテンツでもユーザＵ－１に対して表示される映像よりも、酔いレベルが大きいユーザＵ－４に対して表示される映像の方について、刺激を軽減するようにＸＲコンテンツの再生制御を行う。

【0088】

また、図１５に示すように、たとえばユーザＵがそれぞれ異なるディスプレイで同じＸＲコンテンツの提供を受ける場合に、１つのディスプレイを２分割して同じＸＲコンテンツを２つ表示できるようにしてもよい。そして、かかる場合、同図に示すように、２つのうちの一方は他方よりも刺激を軽減するようにＸＲコンテンツの再生制御を行っておき、ユーザＵの酔いレベルが上昇した場合には、刺激を軽減した方を見るようにユーザＵを促してもよい。

【0089】

また、図示は略しているが、次のような変形例も考えられる。たとえば、図８や図９を用いた説明では、酔いレベルや酔いエリアに応じて自動的に表示器の切り替え制御を実行する場合を例に挙げたが、ユーザＵがＨＭＤ３１を外すと自動的に表示器の切り替え制御を実行するようにしてもよい。また、ハードウェアとしての切り替えスイッチを設けたうえで、手動で表示器の切り替え制御を実行するようにしてもよい。

【0090】

また、表示器が切り替わる場合には、切り替わりの前後で、双方の表示器ともに映像が表示されている状態があってもよい。すなわち、既に述べたが、切り替え時には、所定時間、切り替え前後の表示器の間で表示を重複させて切れ目が生じないようにすることが好ましい。また、切り替わった後は、切り替え前に映像を表示していた表示器の方はオフ制御されることが好ましい。このとき、たとえばＨＭＤ３１の表示停止は、ユーザＵがＨＭＤ３１を外したタイミングよりも後に行うことが好適である。なお、ＨＭＤ３１を外したタイミングは、たとえばＨＭＤ３１内の照度をＨＭＤ３１に設けられたセンサによってセンシングすることによって検知可能である。

【0091】

次に、実施形態に係る情報処理装置１０が実行する処理手順について、図１６を用いて説明する。図１６は、実施形態に係る情報処理装置１０が実行する処理手順を示すフローチャートである。なお、図１６に示す処理手順は、ＸＲコンテンツが提供されている間、随時繰り返される。

【0092】

図１６に示すように、まず取得部１２ｂが、車両Ｖの内外の状況を取得する（ステップＳ１０１）。そして、推定部１２ｃが、取得された状況に基づいてＸＲ酔いに関する状況を推定する（ステップＳ１０２）。

【0093】

そして、切り替え制御部１２ｄが、推定部１２ｃによって推定された推定結果に基づいてＸＲ酔いが軽減されるように表示器の切り替え制御を実行する（ステップＳ１０３）。そして、処理を終了する。

【0094】

上述してきたように、実施形態に係る情報処理装置１０は、ＸＲコンテンツ再生に関する情報処理装置であって、切り替え制御部１２ｄを備える。切り替え制御部１２ｄは、ＸＲコンテンツによる酔いに関する酔い状況に応じて、ＸＲコンテンツを表示可能に設けられた複数の表示器の間で表示内容を引き継ぎつつ、ＸＲコンテンツを表示する表示器を切り替える。

【0095】

したがって、実施形態に係る情報処理装置１０によれば、ＸＲコンテンツによってユーザが受けるストレスを軽減することができる。

【0096】

また、情報処理装置１０は、取得部１２ｂと、推定部１２ｃとをさらに備える。取得部１２ｂは、ＸＲコンテンツを利用するユーザＵに関する状況を取得する。推定部１２ｃは、取得部１２ｂによって取得された状況に基づいて、上記酔い状況を推定する。また、切り替え制御部１２ｄは、推定部１２ｃの推定結果に応じて表示器を切り替える。

【0097】

したがって、実施形態に係る情報処理装置１０によれば、ＸＲ酔いに関する状況に起因してユーザＵが受けるストレスを軽減することができる。

【0098】

また、切り替え制御部１２ｄは、推定部１２ｃによって推定されるユーザＵの酔いレベルが第１閾値を超える場合に、表示器を切り替え、表示器を切り替えた後、上記酔いレベルが第１閾値以下の第２閾値を下回った場合に、切り替えた表示器を元に戻す。

【0099】

したがって、実施形態に係る情報処理装置１０によれば、ＸＲ酔いが生じたことによってユーザＵが受けるストレスを軽減することができる。また、ＸＲ酔いが解消された場合に、ユーザＵに元通りにＸＲコンテンツを引き続き楽しませることができる。

【0100】

また、切り替え制御部１２ｄは、推定部１２ｃによってユーザＵが酔いエリア（「ＸＲコンテンツによる酔いが生じやすいエリア」の一例に相当）へ進入すると推定される場合に、表示器を切り替え、ユーザＵが酔いエリアを通過した場合に、切り替えた表示器を元に戻す。

【0101】

したがって、実施形態に係る情報処理装置１０によれば、ＸＲ酔いが生じやすいと予測される状況に応じて表示器を切り替えることで、ユーザＵがこれから受けるであろうストレスを軽減するとともに、かかる状況が解消した後は、ユーザＵに元通りにＸＲコンテンツを引き続き楽しませることができる。

【0102】

また、切り替え制御部１２ｄは、表示器を切り替える場合に、ユーザＵが表示器としてＨＭＤ３１を装着中ならば、ＨＭＤ３１を外すことを促すガイダンスメッセージをＨＭＤ３１に表示させる。

【0103】

したがって、実施形態に係る情報処理装置１０によれば、ユーザＵは、ガイダンスに従って、適切なタイミングで表示器を切り替え、引き続きＸＲコンテンツを楽しむことが可能となる。

【0104】

なお、上述した実施形態では、各表示器と情報処理装置１０とが分離した構成である場合を例に挙げたが、これに限られるものではなく、表示器のうちの少なくともいずれか一つと情報処理装置１０とが一体である構成であってもよい。

【0105】

また、上述した実施形態では、ユーザＵに対し、情報処理装置１０から提供されるＸＲコンテンツを提示する提示デバイスの１つとしてＨＭＤ３１を例に挙げたが、提示デバイスはこれに限られるものではなく、たとえば骨伝導スピーカを含むものであってもよいし、ボディソニックのように振動を提示する振動提示デバイスを含むものであってもよい。

【0106】

また、上述した実施形態では、情報処理装置１０がＸＲコンテンツを保持することとしたが、必要に応じて外部装置から取得できるようにしてもよい。たとえば、ＸＲコンテンツを提供する専用の娯楽施設でＸＲコンテンツを楽しんだ後、かかる娯楽施設で認証を受ければ、当日は車両Ｖでも同じＸＲコンテンツを取得し、再生可能となるようにしてもよい。かかる場合、情報処理装置１０は、その当日中は、ネットワークを介して娯楽施設の装置から該当のＸＲコンテンツを取得することとなる。

【0107】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0108】

１ 情報処理システム
３ 表示部
５ センサ部
７ シート機構
１０ 情報処理装置
１１ 記憶部
１１ａ ＸＲコンテンツＤＢ
１１ｂ ユーザ情報
１１ｃ 推定モデル
１１ｄ 地図ＤＢ
１２ 制御部
１２ａ 再生制御部
１２ｂ 取得部
１２ｃ 推定部
１２ｄ 切り替え制御部
１２ｅ シート制御部
３１ ＨＭＤ
３２ ＨＵＤ
３３ 天井モニタ
３４ サイドウィンドウモニタ
３５ タブレット
３６ スマートフォン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】