(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024115563
(43)【公開日】2024-08-27
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240820BHJP
【FI】
G06F3/01 510
G06F3/01 560
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021115204
(22)【出願日】2021-07-12
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】齋藤 真里
(72)【発明者】
【氏名】長田 浩二
(72)【発明者】
【氏名】山岸 和子
(72)【発明者】
【氏名】小山田 浩
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA71
5E555AA74
5E555AA76
5E555BA01
5E555BA38
5E555BB01
5E555BB38
5E555BC01
5E555BE17
5E555CB64
5E555CB65
5E555CB66
5E555CB69
5E555DA08
5E555DA23
5E555DA24
5E555DA27
5E555DB57
5E555EA02
5E555EA05
5E555EA07
5E555EA20
(57)【要約】
【課題】ユーザの映像酔いを十分に抑制することが可能な情報処理装置、情報処理方法、及びプログラムを提供すること。
【解決手段】本技術の一形態に係る情報処理装置は、取得部と、刺激制御部とを具備する。前記取得部は、映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得する。前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得する取得部と、
前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する刺激制御部と
を具備する情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いを推定した情報、又は前記映像酔いの度合いを予測した情報の少なくとも一方を含む度合い情報を取得し、
前記刺激制御部は、前記度合い情報に応じて、前記ユーザに対する刺激の提示を制御する
情報処理装置。
【請求項3】
請求項2に記載の情報処理装置であって、
前記刺激制御部は、前記度合い情報が表す前記映像酔いの度合いが所定のレベルに達した場合に、前記ユーザに対する刺激の提示を開始する
情報処理装置。
【請求項4】
請求項3に記載の情報処理装置であって、
前記所定のレベルは、前記ユーザの映像酔いの予兆が表われるレベルに設定される
情報処理装置。
【請求項5】
請求項1に記載の情報処理装置であって、
前記取得部は、映像酔いに関する前記ユーザの状態を表すユーザ状態情報、映像酔いに関する前記ユーザの特性を表すユーザ特性情報、映像酔いに関する前記映像コンテンツの状態を表すコンテンツ状態情報、及び映像酔いに関する前記映像コンテンツの特性を表すコンテンツ特性情報の少なくとも一つに基づいて、前記ユーザの映像酔いの状態を推定する推定処理、又は前記ユーザの映像酔いの状態を予測する予測処理の少なくとも一方を実行して、前記映像酔い情報を生成する
情報処理装置。
【請求項6】
請求項5に記載の情報処理装置であって、
前記ユーザ状態情報は、前記ユーザの生体情報、操作情報、発話情報、及び申告情報の少なくとも一つを含む
情報処理装置。
【請求項7】
請求項6に記載の情報処理装置であって、
前記生体情報は、前記ユーザの発汗量、心拍数、眼球の運動量、身体の動揺、及び心電波形の少なくとも一つに関する情報を含む
情報処理装置。
【請求項8】
請求項5に記載の情報処理装置であって、
前記コンテンツ状態情報は、再生中の前記映像コンテンツにおいて映像酔いの要因となる酔い要素の情報を含み、
前記取得部は、前記コンテンツ状態情報に含まれる前記酔い要素の情報に基づいて、再生中の前記映像コンテンツに関する酔いやすさ特性を推定する
情報処理装置。
【請求項9】
請求項5に記載の情報処理装置であって、
前記コンテンツ特性情報は、前記映像コンテンツのシーンごと又はコンテンツ全体について、予め推定された前記映像コンテンツに関する酔いやすさ特性の情報を含み、
前記取得部は、前記コンテンツ特性情報に含まれる前記酔いやすさ特性を読み込む
情報処理装置。
【請求項10】
請求項5に記載の情報処理装置であって、
前記ユーザ特性情報は、前記ユーザの過去の視聴体験において発生した映像酔いの状態と前記視聴体験における酔いやすさ特性とを関連づけて記録した履歴情報を含み、
前記取得部は、再生中の前記映像コンテンツに関する酔いやすさ特性と、前記履歴情報とに基づいて、前記映像酔い情報を生成する
情報処理装置。
【請求項11】
請求項1に記載の情報処理装置であって、
前記刺激制御部は、前記映像酔い情報に基づいて、前記刺激を提示するタイミング、前記刺激の継続時間、前記刺激のパラメータ、又は前記刺激の種類の少なくとも1つを制御する
情報処理装置。
【請求項12】
請求項11に記載の情報処理装置であって、
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの症状の情報を取得し、
前記刺激制御部は、前記映像酔いの症状に応じて、前記ユーザに提示する刺激の種類を設定する
情報処理装置。
【請求項13】
請求項11に記載の情報処理装置であって、
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いの変化タイプの情報を取得し、
前記刺激制御部は、前記映像酔いの度合いの変化タイプに応じて、前記刺激を提示するタイミングを設定する
情報処理装置。
【請求項14】
請求項1に記載の情報処理装置であって、
前記取得部は、前記ユーザの映像酔いに対する抑制効果が高い刺激の情報を取得し、
前記刺激制御部は、前記ユーザに対して前記抑制効果が高い刺激を提示する
情報処理装置。
【請求項15】
請求項1に記載の情報処理装置であって、
前記刺激制御部は、前記映像コンテンツのシーン又は所定の時間間隔ごとに、前記ユーザに対して提示する刺激を変更する
情報処理装置。
【請求項16】
請求項1に記載の情報処理装置であって、
前記取得部は、前記ユーザに対して、同一の刺激による映像酔いの抑制効果が継続するか否かを判定し、
前記刺激制御部は、前記抑制効果が継続する場合、前記ユーザに対して同一の刺激を継続して提示し、前記抑制効果が継続しない場合、前記ユーザに提示する刺激の種類を変更する
情報処理装置。
【請求項17】
請求項1に記載の情報処理装置であって、
前記ユーザに対して提示される刺激は、振動刺激、電気刺激、音刺激、又は光刺激の少なくとも一つを含む
情報処理装置。
【請求項18】
請求項1に記載の情報処理装置であって、
前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザの映像酔いの進行を抑えるように前記映像コンテンツを変更する
情報処理装置。
【請求項19】
映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得し、
前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する
ことをコンピュータシステムが実行する情報処理方法。
【請求項20】
映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得するステップと、
前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御するステップと
をコンピュータシステムに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、映像コンテンツを再生する装置に適用可能な情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【0002】
近年、HMD(Head Mounted Display)や大画面のディスプレイ等を用いて、映像を再生する技術が開発されている。このようなシステムを利用するユーザは、高い没入感で映像を視聴することが可能となる一方で、映像酔い等を感じる場合がある。
【0003】
特許文献1には、映像酔いを低減するように構成されたエンタテイメントシステムについて記載されている。このシステムには、揺動部を備えるHMDが設けられる。また揺動部は、HMDに表示されている動画像における視点の加速状況に応じて駆動される。これにより、HMDを装着したユーザの頭部を、ユーザが視聴している動画像と連携して揺動することが可能となり、映像酔いを低減することが可能となっている(特許文献1の明細書段落[0031][0039][0056][0057]
図1等)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
今後、没入感の高い視聴体験を提供する技術は、エンターテイメント、教育、作業支援等の様々な分野での応用が期待されており、ユーザの映像酔いを十分に抑制することが可能な技術が求められている。
【0006】
以上のような事情に鑑み、本技術の目的は、ユーザの映像酔いを十分に抑制することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、刺激制御部とを具備する。
前記取得部は、映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得する。
前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する。
【0008】
この情報処理装置では、映像コンテンツを見ているユーザに刺激が提示される。このとき、ユーザへの刺激の提示は、ユーザの映像酔い状態を推定・予測した情報をもとに制御される。これにより、ユーザの状態にあった刺激の提示等が可能となり、ユーザの映像酔いを十分に抑制することが可能となる。
【0009】
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いを推定した情報、又は前記映像酔いの度合いを予測した情報の少なくとも一方を含む度合い情報を取得してもよい。この場合、前記刺激制御部は、前記度合い情報に応じて、前記ユーザに対する刺激の提示を制御してもよい。
【0010】
前記刺激制御部は、前記度合い情報が表す前記映像酔いの度合いが所定のレベルに達した場合に、前記ユーザに対する刺激の提示を開始してもよい。
【0011】
前記所定のレベルは、前記ユーザの映像酔いの予兆が表われるレベルに設定されてもよい。
【0012】
前記取得部は、映像酔いに関する前記ユーザの状態を表すユーザ状態情報、映像酔いに関する前記ユーザの特性を表すユーザ特性情報、映像酔いに関する前記映像コンテンツの状態を表すコンテンツ状態情報、及び映像酔いに関する前記映像コンテンツの特性を表すコンテンツ特性情報の少なくとも一つに基づいて、前記ユーザの映像酔いの状態を推定する推定処理、又は前記ユーザの映像酔いの状態を予測する予測処理の少なくとも一方を実行して、前記映像酔い情報を生成してもよい。
【0013】
前記ユーザ状態情報は、前記ユーザの生体情報、操作情報、発話情報、及び申告情報の少なくとも一つを含んでもよい。
【0014】
前記生体情報は、前記ユーザの発汗量、心拍数、眼球の運動量、身体の動揺、及び心電波形の少なくとも一つに関する情報を含んでもよい。
【0015】
前記コンテンツ状態情報は、再生中の前記映像コンテンツにおいて映像酔いの要因となる酔い要素の情報を含んでもよい。この場合、前記取得部は、前記コンテンツ状態情報に含まれる前記酔い要素の情報に基づいて、再生中の前記映像コンテンツに関する酔いやすさ特性を推定してもよい。
【0016】
前記コンテンツ特性情報は、前記映像コンテンツのシーンごと又はコンテンツ全体について、予め推定された前記映像コンテンツに関する酔いやすさ特性の情報を含んでもよい。この場合、前記取得部は、前記コンテンツ特性情報に含まれる前記酔いやすさ特性を読み込んでもよい。
【0017】
前記ユーザ特性情報は、前記ユーザの過去の視聴体験において発生した映像酔いの状態と前記視聴体験における酔いやすさ特性とを関連づけて記録した履歴情報を含んでもよい。この場合、前記取得部は、再生中の前記映像コンテンツに関する酔いやすさ特性と、前記履歴情報とに基づいて、前記映像酔い情報を生成してもよい。
【0018】
前記刺激制御部は、前記映像酔い情報に基づいて、前記刺激を提示するタイミング、前記刺激の継続時間、前記刺激のパラメータ、又は前記刺激の種類の少なくとも1つを制御してもよい。
【0019】
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの症状の情報を取得してもよい。この場合、前記刺激制御部は、前記映像酔いの症状に応じて、前記ユーザに提示する刺激の種類を設定してもよい。
【0020】
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いの変化タイプの情報を取得してもよい。この場合、前記刺激制御部は、前記映像酔いの度合いの変化タイプに応じて、前記刺激を提示するタイミングを設定してもよい。
【0021】
前記取得部は、前記ユーザの映像酔いに対する抑制効果が高い刺激の情報を取得してもよい。この場合、前記刺激制御部は、前記ユーザに対して前記抑制効果が高い刺激を提示してもよい。
【0022】
前記刺激制御部は、前記映像コンテンツのシーン又は所定の時間間隔ごとに、前記ユーザに対して提示する刺激を変更してもよい。
【0023】
前記取得部は、前記ユーザに対して、同一の刺激による映像酔いの抑制効果が継続するか否かを判定してもよい。この場合、前記刺激制御部は、前記抑制効果が継続する場合、前記ユーザに対して同一の刺激を継続して提示し、前記抑制効果が継続しない場合、前記ユーザに提示する刺激の種類を変更してもよい。
【0024】
前記ユーザに対して提示される刺激は、振動刺激、電気刺激、音刺激、又は光刺激の少なくとも一つを含んでもよい。
【0025】
前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザの映像酔いの進行を抑えるように前記映像コンテンツを変更してもよい。
【0026】
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得することを含む。
前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示が制御される。
【0027】
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得するステップ。
前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御するステップ。
【図面の簡単な説明】
【0028】
【
図1】本技術の一実施形態に係るコンテンツ提供システムの構成例を示す模式図である。
【
図2】コンテンツ提供システムの機能的な構成例を示すブロック図である。
【
図3】ユーザの映像酔いの度合いの判定表の一例である。
【
図4】映像コンテンツのコンテンツ状態情報の一例を示す表である。
【
図5】映像コンテンツのコンテンツ特性情報の一例を示す表である。
【
図6】ユーザの映像酔いに関する履歴情報の一例を示す表である。
【
図7】コンテンツ提供システムの動作例を示すフローチャートである。
【
図8】酔い状態の推定情報を用いた刺激提示の一例を示すタイムチャートである。
【
図9】酔い状態の予測情報を用いた刺激提示の一例を示すタイムチャートである。
【
図10】刺激提示の一例を示すタイムチャートである。
【
図11】刺激提示の一例を示すタイムチャートである。
【
図12】刺激提示の一例を示すタイムチャートである。
【
図13】刺激提示の一例を示すタイムチャートである。
【
図14】酔い状態に応じた映像コンテンツの変更例を示す模式図である。
【発明を実施するための形態】
【0029】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0030】
[コンテンツ提供システムの構成]
図1は、本技術の一実施形態に係るコンテンツ提供システム100の構成例を示す模式図である。コンテンツ提供システム100は、HMD10を用いて様々な映像コンテンツを提供するシステムである。HMD10は、ユーザ1の頭部に装着して使用され、ユーザ1の視界に画像を表示する表示装置である。
【0031】
映像コンテンツとは、ユーザに映像(動画像)を提示するコンテンツである。例えばVR(Virtual Reality)空間を表示する映像(VRコンテンツ)、シミュレータの映像、映画やドラマ等の映像、実空間を撮影した映像等は、映像コンテンツに含まれる。また映像コンテンツでは、映像とともに音声が再生される。この他、映像コンテンツとして、触覚感覚等を提示するコンテンツが用いられてもよい。
【0032】
図1Aには、コンテンツ提供システム100を使用して、映像コンテンツを体験しているユーザ1が模式的に図示されている。ここでは、HMD10を装着したユーザ1が、椅子5に座った状態で、映像コンテンツを体験している。またユーザ1は、コントローラ20を操作することで、映像コンテンツに関する各種の入力操作を行うことが可能である。
【0033】
HMD10等を用いたVR体験を行った場合、ユーザ1が映像酔い(VR酔い)を発症するといった問題がある。これは、映像コンテンツを視聴することで、ユーザ1が映像そのものに酔う現象である。一方で映像酔いのメカニズムについては不明な部分も多く、効果的に抑制する手法に乏しかった。
【0034】
そこで本実施形態では、後述する刺激提示部25により、映像コンテンツを見ているユーザ1が感じることができる物理的な刺激が提示される。このように、ユーザ1に対して適切な刺激を提示することで、ユーザ1の映像酔いを抑制することが可能である。
コンテンツ提供システム100では、このような映像酔いを抑制する刺激の提示が、ユーザ1の映像酔いの状態に応じて制御される。これにより、ユーザ1の映像酔いを十分に抑制することが可能となる。
【0035】
図1Bには、HMD10の構成例が模式的に図示されている。
図1Bに示すように、HMD10は、基体部11と、装着バンド12と、表示ユニット13とを有する。またHMD10には、後述するセンサ部21や、刺激提示部25が適宜設けられる。
基体部11は、ユーザ1の左右の眼の前方に配置される部材である。基体部11は、ユーザ1の視界を覆うように構成され、表示ユニット13等を収納する筐体として機能する。
【0036】
装着バンド12は、ユーザ1の頭部に装着される。装着バンド12は、側頭バンド12aと、頭頂バンド12bとを有する。側頭バンド12aは、基体部11に接続され、側頭部から後頭部にかけてユーザの頭部を囲むように装着される。頭頂バンド12bは、側頭バンド12aに接続され、側頭部から頭頂部にかけてユーザの頭部を囲むように装着される。これにより、ユーザ1の眼前に基体部11を保持することが可能となる。
【0037】
表示ユニット13は、ユーザ1の眼前に配置され、映像コンテンツの動画像を表示する。表示ユニット13は、LCD(Liquid Crystal Display)や有機ELディスプレイ等の表示素子を用いて構成される。
表示ユニット13は、例えばユーザ1の左眼及び右眼にそれぞれの眼に対応した画像を表示する右眼用ディスプレイ及び左眼用ディスプレイを有する。これにより、VR空間の立体表示等が可能となる。なお表示ユニット13は、ユーザ1の両眼に同一の画像を表示するように構成されてもよい。
【0038】
図2は、コンテンツ提供システム100の機能的な構成例を示すブロック図である。コンテンツ提供システム100は、上記したHMD10(表示ユニット13)に加え、コントローラ20、センサ部21、刺激提示部25、記憶部30、及び情報処理装置40を有する。
【0039】
コントローラ20は、ユーザ1が操作入力を行うための操作入力装置であり、例えば図示しない通信部を介して情報処理装置40に接続される。コントローラ20は、ユーザ1が両手で持つように構成された装置であり、方向キー、選択ボタン、操作スティック等の操作部を有する。ユーザ1は、これらの操作部を適宜操作することで、各種の入力操作を行うことが可能となる。コントローラ20の具体的な構成は限定されず、例えば方手持ちの装置や、マウス、キーボード、タッチパネル等の入力デバイスがコントローラ20として用いられてもよい。
【0040】
センサ部21は、映像コンテンツを見ているユーザ1の状態を検出するためのセンサ素子により構成される。センサ素子は、ユーザ1が使用しているデバイス(HMD10、コントローラ20等)や、ユーザ1の周辺に配置されたデバイス等に設けられる。
本実施形態では、センサ部21は、生体センサ22、外部カメラ23、マイク24を有する。
【0041】
生体センサ22は、ユーザ1の生体情報を検出するセンサであり、例えばHMD10やコントローラ20に設けられる。また例えば、ユーザ1が装着したウェアラブルデバイス等の他のデバイスに設けられた生体センサ22が用いられてもよい。
例えば生体センサ22として、加速度センサが用いられる。加速度センサにより、ユーザ1の体や頭部の揺れといった身体の動揺が検出される。
また生体センサ22として、ユーザ1の発汗量を検出する発汗センサが用いられてもよい。
また生体センサ22として、ユーザ1の心拍数(脈拍数)を検出する心拍センサ(脈拍センサ)が用いられてもよい。
また生体センサ22として、ユーザ1の眼球の運動量を検出する眼球センサが用いられてもよい。眼球センサは、例えばユーザ1の眼球を撮影可能なようにHMD10の基体部11に搭載されたカメラである。あるいはユーザ1の眼電位を検出するセンサ等が眼球センサとして用いられてもよい。
また生体センサ22として、ユーザ1の心電波形を検出する心電センサが用いられてもよい。心電センサを用いることで、ユーザ1の自立神経の状態等を検出可能である。
この他、生体センサ22の具体的な構成は限定されず、ユーザ1の体温や血中酸素濃度といった任意の生体情報を検出可能なセンサが用いられてよい。
【0042】
外部カメラ23は、ユーザ1の周辺に配置され、映像コンテンツを見ている最中のユーザ1を撮影する撮影素子である。外部カメラ23により撮影された映像は、例えばユーザ1の姿勢や動作を検出するモーションキャプチャや、ユーザ1によるジェスチャー入力等に用いられる。また、外部カメラ23により撮影された映像から、ユーザ1の身体の動揺等が検出されてもよい。
【0043】
マイク24は、ユーザ1の発した音声を収音する収音素子である。マイク24は、典型的にはHMD10に搭載されるが、例えば据え置き型のマイク24等が用いられてもよい。マイク24により検出されたユーザ1の音声は、例えば映像コンテンツ内での会話や、音声入力等に用いられる。また音声の内容は、ユーザ1の気分や健康状態等の推定に用いられる。
【0044】
刺激提示部25は、ユーザ1に対して刺激を提示する素子、すなわちユーザ1が感じることができる刺激を発生させる素子で構成される。刺激提示部25を構成する各素子は、ユーザ1が使用しているデバイス(HMD10、コントローラ20等)や、ユーザ1の周辺に配置されたデバイス等に設けられる。
【0045】
本実施形態では、刺激提示部25により映像酔いを抑制するための刺激(以下、抑制刺激と記載する)が提示される。
刺激提示部25としては、抑制刺激を発生するための専用の素子が用いられてもよいし、映像コンテンツの一部として提示される刺激(以下、コンテンツ刺激と記載する)を発生させる素子が用いられてもよい。例えば、爆発の映像に合わせて提示される振動刺激等がコンテンツ刺激となる。このようなコンテンツ刺激を発生させる素子を利用して、映像酔いを抑制する抑制刺激が提示されてもよい。
【0046】
本実施形態では、刺激提示部25として、ユーザ1に対して振動刺激を提示する振動素子26が用いられる。振動素子26としては、例えば偏心モータや、VCM(Voice Coil Motor)等の振動を発生させることが可能な素子が用いられる。
図1A及び
図1Bには、コンテンツ提供システム100及びHMD10に設けられる複数の振動素子26が、ドットの領域により模式的に図示されている。
【0047】
例えば
図1Bに示すように、HMD10には、4つの振動素子26a~26dが設けられ、刺激提示部25として用いられる。振動素子26aは、基体部11の中央前側に配置されユーザ1の前頭部分に振動を提示する。振動素子26b及び26cは、基体部11と側頭バンド12aとの左側及び右側の接続箇所に配置され、ユーザ1の左側頭部分及び右側頭部分に振動を提示する。振動素子26dは、側頭バンド12aの中央後側に配置されユーザ1の後頭部分に振動を提示する。
【0048】
また
図1Aに示すように、コンテンツ提供システム100では、コントローラ20に搭載された振動素子26eが刺激提示部25として用いられる。振動素子26eにより、ユーザ1の手の平に振動が提示される。
また、ユーザ1の腕部には振動素子26fが装着され、ユーザ1の脚部には振動素子26gが装着される。振動素子26f及び26gにより、ユーザ1の腕部及び脚部に振動が提示される。また、ユーザ1が座る椅子5の座面には、振動素子26hが設けられ、背もたれには振動素子26iが設けられる。振動素子26h及び26iにより、ユーザ1の臀部及び背中に振動が提示される。これら振動素子26f~26iも、刺激提示部25として用いられる。
【0049】
振動素子26が提示する振動刺激は、ユーザ1が感じる刺激のうち、触覚刺激の一例である。刺激提示部25は、振動刺激以外の触覚刺激を提示可能であってもよい。例えば、圧覚刺激を提示可能な触覚素子や、温冷刺激等を提示可能な冷却素子や加熱素子等が刺激提示部25として用いられてもよい。
【0050】
また、刺激提示部25として、ユーザ1に対して電気刺激を提示する電気刺激素子27が用いられてもよい。
電気刺激素子27としては、例えば、ユーザ1に対して前庭電気刺激(GVS:Galvanic Vestibular Stimulation)を作用させるGVS素子が用いられる。GVSは、平衡感覚を司る前庭器官に微弱な電流を通電させることで、加速度の感覚や平衡感覚を人工的に提示する刺激である。GVS素子は、例えば耳の後に電気刺激を与える電極を備え、HMD10のスピーカ部分等に設けられる。
この他、筋電気刺激や低周波の電気刺激等を与える素子等が電気刺激素子27として用いられてもよい。
【0051】
また、刺激提示部25として、ユーザ1に対して音刺激を提示するスピーカ28が用いられてもよい。スピーカ28は、例えばユーザ1の左右の耳を覆うようにHMD10に搭載されたヘッドホン素子等が用いられる。またHMD10とは別に設けられた外部スピーカ等が用いられてもよい。
また、刺激提示部25として、ユーザ1に対して光刺激を提示する素子が用いられてもよい。例えば、HMD10の表示ユニット13を用いて、ユーザ1に光刺激を提示することが可能である。この場合、表示ユニット13は、光刺激を提示する刺激提示部25として機能する。また例えば、表示ユニット13の周辺に可視光を発光する光源等が設けられてもよい。
【0052】
刺激提示部25の構成は限定されず、コンテンツ提供システム100には、上記した素子のうち、複数の素子又はいずれか一つの素子が設けられればよい。映像コンテンツを見ているユーザ1には、これらの素子により、抑制刺激が提示される。このように、刺激提示部25によりユーザ1に対して提示される抑制刺激には、振動刺激、電気刺激、音刺激、又は光刺激の少なくとも一つが含まれる。
【0053】
記憶部30は、不揮発性の記憶デバイスであり、例えばSSD(Solid State Drive)やHDD(Hard Disk Drive)等が用いられる。その他、コンピュータが読み取り可能な非一過性の任意の記録媒体が用いられてよい。
図2に示すように記憶部30には、制御プログラム31と、コンテンツデータベース32と、ユーザデータベース33と、刺激データベース34とが記憶される。
制御プログラム31は、HMD10や刺激提示部25等を含むコンテンツ提供システム100全体の動作を制御するプログラムである。
【0054】
コンテンツデータベース32には、ユーザ1が視聴する映像コンテンツに関するデータが格納される。映像コンテンツに関するデータには、例えば、映像コンテンツ内で再生される映像データ、グラフィックデータ、音声データ、映像コンテンツを進行させるアプリケーションプログラム等が含まれる。
さらに、コンテンツデータベース32には、映像酔いに関する映像コンテンツの特性を表すコンテンツ特性情報が格納される。コンテンツ特性情報は、例えば映像コンテンツの酔いやすさの度合い(酔いやすさレート)等を予め記録した情報であり、映像酔いに関する映像コンテンツの静的な情報であると言える。コンテンツ特性情報については、
図5等を参照して後に詳しく説明する。
【0055】
ユーザデータベース33には、映像酔いに関するユーザ1の特性を表すユーザ特性情報が格納される。ユーザ特性情報は、例えばユーザ1自身の映像酔いについての特性を記録した情報であり、映像酔いに関するユーザ1の静的な情報であると言える。映像酔いについての特性とは、例えば映像酔いの症状や、酔いやすい映像の種類、酔いが発生するタイミング等である。また例えば、ユーザ1の映像酔いを効果的に抑制できる抑制刺激を指定する情報等が記録されてもよい。
また本実施形態では、ユーザ特性情報として、過去にユーザが体験した映像酔いを記録した履歴情報が格納される。ユーザ特性情報や履歴情報については、
図6等を参照して後に詳しく説明する。
【0056】
刺激データベース34には、刺激提示部25により提示される抑制刺激に関するデータが格納される。例えば複数の抑制刺激に対してそれぞれIDが付与される。各IDでラベリングされた抑制刺激ごとに、刺激の種類や刺激のパラメータが記録される。例えば、振動刺激に関するデータには、振動素子26を指定する情報や、振動の振幅、周波数、振動パターン等のパラメータを指定する情報等が含まれる。
刺激データベース34を用いることで、様々な抑制刺激を容易に扱うことが可能となる。
【0057】
情報処理装置40は、コンテンツ提供システム100が有する各ブロックの動作を制御する。情報処理装置40は、HMD10に搭載されてもよいし、HMD10とは別体の外部装置として構成されてもよい。情報処理装置40は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUが記憶部30に記憶されている制御プログラム31をRAMにロードして実行することにより、種々の処理が実行される。
【0058】
情報処理装置40として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
【0059】
本実施形態では、情報処理装置40のCPUが本実施形態に係る制御プログラム31を実行することで、機能ブロックとして、コンテンツ処理部41、コンテンツ情報取得部42、ユーザ情報取得部43、酔い状態推定・予測部44、及び刺激制御部45が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが適宜用いられてもよい。
【0060】
コンテンツ処理部41は、映像コンテンツを実行する。例えばコンテンツ処理部41は、コンテンツデータベース32に格納されたアプリケーションプログラムを実行し、映像データやグラフィックデータを用いて映像コンテンツの画面を構成する動画像データを生成する。生成された動画像データは、HMD10の表示ユニット13に適宜出力される。またコンテンツ処理部41は、コントローラ20から出力されたユーザ1の入力操作の情報を読み込み、ユーザの入力操作に応じて、映像コンテンツを進行させる。
【0061】
コンテンツ情報取得部42は、映像酔いに関する映像コンテンツの情報を取得する。具体的には、映像酔いに関する映像コンテンツの特性を表すコンテンツ特性情報と、映像酔いに関する映像コンテンツの状態を表すコンテンツ状態情報とが取得される。
コンテンツ特性情報は、上記したコンテンツデータベース32から適宜読み込まれる。
コンテンツ状態情報は、再生中の映像コンテンツの状態(例えば背景の変化速度、アイテムやキャラクタの数、画面の輝度等)を表す情報である。これらの情報は、映像コンテンツの酔いやすさの度合い(酔いやすさレート)等を推定する際に参照される。コンテンツ状態情報は、映像酔いに関する映像コンテンツの動的な情報であると言える。
【0062】
例えば、コンテンツ処理部41から再生中のシーンのIDが取得され、シーンのIDに基づいて、そのシーンの状態(背景の変化速度等)を表す情報が読み込まれる。あるいは、再生中のシーンの状態を表す情報が、コンテンツ処理部41から直接読み込まれてもよい。
またコンテンツ状態情報として、センサ部21の出力が読み込まれてもよい。例えば、外部カメラ23により撮影された映像から、ユーザ1の姿勢変化が検出され、背景の変化速度等が推定されてもよい。あるいは外部スピーカ等が用いられている場合には、マイク24により検出された音声からサラウンド音の変化等が推定されてもよい。
このように、コンテンツ処理部41及びセンサ部21は、コンテンツ状態情報を出力するコンテンツセンサとして機能する。
【0063】
ユーザ情報取得部43は、映像酔いに関するユーザ1の情報を取得する。具体的には、映像酔いに関するユーザ1の特性を表すユーザ特性情報と、映像酔いに関するユーザ1の状態を表すユーザ状態情報とが取得される。
ユーザ特性情報は、上記したユーザデータベース33から適宜読み込まれる。
ユーザ状態情報は、映像コンテンツを見ている最中のユーザ1の状態を表す情報であり、ユーザ1の映像酔いの状態を推定・予測する際に参照される。ユーザ状態情報は、映像酔いに関するユーザ1の動的な情報であると言える。
【0064】
ユーザ状態情報には、ユーザ1の生体情報が含まれる。例えば生体センサ22により検出されたユーザ1の発汗量や心拍数等の情報や、外部カメラ23により撮影されたユーザ1の身体の揺動等の情報が、生体情報として読み込まれる。
またユーザ状態情報として、ユーザ1によるコントローラ20の操作情報が読み込まれてもよい。操作情報は、例えばユーザ1がボタンを押す速度やタイミングといったユーザ1の反応を表す情報や、操作の履歴(操作ログ)等を表す情報である。
またユーザ状態情報として、マイク24を用いて検出されたユーザ1の音声から、ユーザ1の発話情報が読み込まれてもよい。発話情報は、例えばユーザ1が映像コンテンツを視聴している最中に発した発話の内容を表すデータである。
またユーザ状態情報として、ユーザ1自身により申告された申告情報が読み込まれてもよい。申告情報は、例えば健康状態に関する質問等にユーザ1が回答したデータである。
この他、映像コンテンツを見ている最中のユーザ1の状態を表すことが可能な任意の情報が、ユーザ状態情報として用いられてよい。
【0065】
酔い状態推定・予測部44は、映像コンテンツを見ているユーザ1の映像酔いの状態を表す映像酔い情報を取得する。
映像酔いは、例えばユーザ1が映像コンテンツを視聴することで発生する吐き気、頭痛、めまい等の体調不良である。これらの体調不良の度合いや種類は、ユーザ1ごとに個人差があり、映像コンテンツによっても異なる。
ユーザ1の主観的には、映像コンテンツを見ている際にユーザ1が感じる症状やその度合いが映像酔いの状態となる。なお、ユーザ1が症状を自覚していない場合であっても、ユーザ1の発汗や心拍数等が変化することもあり得る。この状態は、映像酔いの予兆があらわれた状態であり、ユーザ1の映像酔いの一つの状態である。
【0066】
酔い状態推定・予測部44により取得される映像酔い情報は、このようにユーザ1に誘発される映像酔いの状態を、数値やタイプ等のパラメータを用いて客観的に表した情報である。
例えば映像酔い情報には、ユーザ1の映像酔いの状態を表す以下の項目が含まれる。
・ユーザ1の映像酔いの度合い
・ユーザ1の映像酔いの度合いの変化タイプ
・ユーザ1の映像酔いの症状
・ユーザ1の映像酔いの症状の変化タイプ
【0067】
映像酔いの度合いとは、例えば映像酔いの進み具合を複数の段階に分けて表すパラメータである(
図3参照)。あるいは、映像酔いの進み具合を数値(%表記等)で表すパラメータが用いられてもよい。
映像酔いの度合いの変化タイプとは、例えば映像酔いの進み方のタイプ(徐々に酔いが進行するタイプや、急激に酔うタイプ等)である。
映像酔いの症状とは、例えば映像酔いによりユーザ1が自覚する体調不良の症状(頭痛、めまい、吐き気等)である。
映像酔いの症状の変化タイプとは、例えば症状の進み方のタイプ(最初に頭痛がして、後から吐き気がするタイプや、頭痛とめまいが同時に生じるタイプ等)である。
【0068】
本実施形態では、映像酔い情報には、映像コンテンツを見ているユーザ1の映像酔いの状態を推定した情報、又は映像酔いの状態を予測した情報の少なくとも一方が含まれる。
ここで、映像酔いの状態を推定した情報(以下、推定情報と記載する)とは、現在の時点のユーザ1の映像酔いの状態を表す情報である。また、映像酔いの状態を予測した情報(以下、予測情報と記載する)とは、現在よりも後の時点、すなわち未来のユーザ1の映像酔いの状態を表す情報である。
このように、酔い状態推定・予測部44は、現在及び未来の映像酔いの状態を表す推定情報及び予測情報の少なくとも一方を取得する。
【0069】
本実施形態では、酔い状態推定・予測部44は、上記したユーザ状態情報、ユーザ特性情報、コンテンツ状態情報、及びコンテンツ特性情報の少なくとも一つに基づいて、ユーザ1の映像酔いの状態を推定する推定処理を実行する。この推定処理により、ユーザ1の映像酔いの状態を推定した推定情報が生成される。
推定処理では、例えば、現在の映像酔いの度合い、現在の症状のタイプ等が推定される。また例えば、映像酔いの度合いや症状の変化のタイプ等が推定されてもよい。この他、映像酔いの発生の有無等が推定されてもよい。
【0070】
また本実施形態では、酔い状態推定・予測部44は、上記したユーザ状態情報、ユーザ特性情報、コンテンツ状態情報、及びコンテンツ特性情報の少なくとも一つに基づいて、ユーザ1の映像酔いの状態を予測する予測処理を実行する。この予測処理により、ユーザ1の映像酔いの状態を予測した予測情報が生成される。
予測処理では、例えば、現在よりも後の時点における、映像酔いの度合いや症状のタイプ等が予測される。例えば所定時間後(1分後、3分後、5分後等)の予測値が算出されてもよいし、予測値が一定の閾値に達するまでの時間や、症状が自覚されるようになるまでの時間等が予測されてもよい。
【0071】
なお、推定処理及び予測処理のどちらか一方を実行するような構成も可能である。この場合、推定情報又は予測情報のいずれかが、映像酔い情報として生成される。
このように酔い状態推定・予測部44は、推定処理、又は予測処理の少なくとも一方を実行して、映像酔い情報を生成する。酔い状態推定・予測部44による推定処理、予測処理の具体的な内容については、後に詳しく説明する。
本実施形態では、酔い状態推定・予測部44は、映像酔い情報を取得する取得部に相当する。
【0072】
刺激制御部45は、映像酔い情報に基づいて、ユーザ1に対する抑制刺激の提示を制御する。すなわち、刺激制御部45は、酔い状態推定・予測部44により推定・予測された映像酔いの状態をもとに、振動刺激や電気刺激等の映像酔いを低減する刺激(抑制刺激)を提示する方法や、刺激の内容を制御する。
【0073】
具体的には刺激制御部45は、映像酔い情報(推定情報又は予測情報)に基づいて、抑制刺激を提示するタイミング、抑制刺激の継続時間、抑制刺激のパラメータ、又は抑制刺激の種類の少なくとも1つを制御する。
例えば抑制刺激を提示するタイミング、継続時間、及び抑制刺激の種類等は、映像酔い情報をもとに設定される。また抑制刺激のパラメータは、例えば刺激データベース34に格納されたデータが利用される。もちろん、抑制刺激のパラメータを個別に設定してもよい。
刺激制御部45は、これらの情報をもとに、抑制刺激を提示するための信号を生成し、刺激提示部25を構成する各素子に出力する。
【0074】
一例として、抑制刺激として、振動刺激が用いられる場合を考える。この場合、ユーザ1の映像酔いを抑制するために、複数回にわたって振動刺激が提示される。この時、振動素子26を駆動するタイミング(振動刺激を提示するタイミング)や、振動素子の駆動時間(振動素子の継続時間)等が、映像酔いの状態に応じて適宜設定される。また、振動素子26に加える信号の強度、周期、波形等が適宜設定され、振動刺激の強度、周波数、パターン等が制御される。また映像酔いの状態によっては、振動刺激以外の触覚刺激や、電気刺激、音刺激、光刺激等が抑制刺激として適宜設定される。
【0075】
このように、情報処理装置40では、映像コンテンツやユーザ1の状態をもとに、ユーザ1の映像酔いの状態を推定・予測し、その結果を用いて映像酔いを低減させる抑制刺激の提示が制御される。これにより、ユーザ1の状態に応じて効果的に刺激を提示することが可能となり、映像酔いを十分に抑制することが可能となる。
【0076】
[映像酔いの度合い]
本実施形態では、酔い状態推定・予測部44により、映像酔い情報として、ユーザ1の映像酔いの度合いを推定した情報、又は映像酔いの度合いを予測した情報の少なくとも一方を含む度合い情報が取得される。
具体的には、推定処理及び予測処理により、映像酔いの度合いを推定した推定情報及び映像酔いの度合いを予測した予測情報が生成される。
以下では、映像酔いの度合いを推定する推定処理を中心に説明する。
【0077】
[ユーザ状態情報を用いた映像酔いの度合いの推定・予測]
図3は、ユーザ1の映像酔いの度合いの判定表の一例である。
図3には、ユーザ情報取得部43により取得されるユーザ状態情報(ここでは、"コントローラ操作"、"発汗"、及び"心拍変動")を用いて、映像酔いの度合いを判定するための判定表が示されている。
この表では、定常時のユーザ1の状態(すなわち映像酔いになっていない状態)を表すパラメータを基準に、現在のユーザ1の状態を表すパラメータが評価され、映像酔いの度合いが判定(推定)される。
【0078】
定常時のパラメータについては、例えばユーザ1が酔い要素の低いコンテンツを視聴した際の測定値が用いられる。
また、映像コンテンツがゲームコンテンツである場合にはゲームジャンル(シューティングゲーム、アクションゲーム、パズルゲーム等)によって、基準となるパラメータを測定し分けてもよい。
また、ゲームを行っている時間以外で測定したパラメータを、定常時のパラメータとして用いてもよい。例えばログインからゲーム開始前までの期間や、各種の設定を行っている期間等に測定されたパラメータが、定常時のパラメータとして用いられる。これにより、映像酔いが発生する直前の情報を基準にして、映像酔いの度合いを精度よく判定することが可能となる。
【0079】
図3に示す例では、映像酔いの度合いがレベル1~レベル4の4段階に分けられている。
レベル1は、ユーザ1が全く酔っていない状態である。
レベル2は、ユーザ1に映像酔いの兆候がある状態であり、例えばユーザ1が映像酔いの症状を自覚していないが、体調に変化が現れているような状態である。
レベル3は、ユーザ1が酔い始めている状態であり、例えばユーザ1が映像酔いの症状を自覚しはじめた状態である。
レベル4は、ユーザ1が映像コンテンツに酔った状態であり、例えばレベル3の状態に比べ、映像酔いの症状が重くなっているような状態である。
【0080】
"コントローラ操作"の項目では、ユーザ1による現在のコントローラ20の操作と、定常操作とが比較される。例えば、推定処理を実行する際に読み込まれたユーザ1の操作のタイミングや操作精度が、定常操作時のタイミングや操作精度と比較される。
例えば、コントローラ20の操作が、履歴から予測される定常操作と同様の操作(例えば、ばらつきが3%未満)である場合、映像酔いの度合いはレベル1であると判定される。
また、定常操作に対するコントローラ20の操作のばらつきが3%以上5%未満である場合、映像酔いの度合いはレベル2であると判定される。
また、定常操作に対するコントローラ20の操作のばらつきが5%以上10%未満である場合、映像酔いの度合いはレベル3であると判定される。
また、定常操作に対するコントローラ20の操作のばらつきが10%以上である場合、映像酔いの度合いはレベル4であると判定される。
【0081】
定常操作の情報は、例えば過去にユーザ1が行ったゲーム等の操作履歴をもとに設定される。操作履歴は、例えばユーザ特性情報として、適宜読み込まれる。
また"コントローラ操作"の項目では、現在ユーザ1がプレイしているゲーム(映像コンテンツ)と、同じジャンルのゲームや類似ゲームでの操作履歴を基準にして、定常操作の情報が設定されてもよい。これにより、ジャンルによってユーザ1の操作スタイルが変化するような場合であっても、映像酔いの度合いを適正に推定することが可能となる。
【0082】
ユーザ1によるコントローラ20の操作の情報は、ユーザの操作情報の一例である。なおユーザ1によるコントローラ20の操作内容を記録した情報を用いて、映像酔いの度合いを推定することも可能である。例えば、映像コンテンツを一時停止にする操作の履歴や、ユーザ1が操作を行っていない期間等の記録は、映像コンテンツの中断を記録したログとなる。このようなログが参照され、中断の頻度が高いほど、映像酔いの度合いが高く判定される。
【0083】
図3に戻り、"発汗"の項目では、現在のユーザ1の発汗量と、定常発汗量とが比較される。これは、映像酔いに伴うユーザ1の精神性発汗を評価する処理であると言える。
例えば、ユーザ1の発汗量が、定常発汗量に比べて3%未満で変化する場合、映像酔いの度合いはレベル1であると判定される。
また、ユーザ1の発汗量が、定常発汗量に比べて3%以上5%未満で変化する場合、映像酔いの度合いはレベル2であると判定される。
また、ユーザ1の発汗量が、定常発汗量に比べて5%以上10%未満で変化する場合、映像酔いの度合いはレベル3であると判定される。
また、ユーザ1の発汗量が、定常発汗量に比べて10%以上で変化する場合、映像酔いの度合いはレベル4であると判定される。
【0084】
"心拍変動"の項目では、現在のユーザ1の心拍数の変動量(心拍変動)と、定常時の心拍数の変動量(定常心拍変動)とが比較される。
例えば、ユーザ1の心拍変動が、定常心拍変動に比べて3%未満で変化する場合、映像酔いの度合いはレベル1であると判定される。
また、ユーザ1の心拍変動が、定常心拍変動に比べて3%以上5%未満で変化する場合、映像酔いの度合いはレベル2であると判定される。
また、ユーザ1の心拍変動が、定常心拍変動に比べて5%以上10%未満で変化する場合、映像酔いの度合いはレベル3であると判定される。
また、ユーザ1の心拍変動が、定常心拍変動に比べて10%以上で変化する場合、映像酔いの度合いはレベル4であると判定される。
【0085】
ユーザ1の発汗量、心拍数(心拍変動)の情報は、ユーザ1の生体情報の一例である。
この他、生体情報として、ユーザ1の眼球の運動量が用いられてもよい。例えば眼球の運動量や運動の頻度が大きいほど、映像酔いの度合いが高く判定される。
また、生体情報として、ユーザ1の身体の動揺が用いられてもよい。例えばユーザ1の頭部や身体全体の揺れが大きいほど、映像酔いの度合いが高く判定される。
また、生体情報として、ユーザ1の心電波形が用いられてもよい。心電波形を用いることで、例えばユーザ1の自律神経(交換神経及び副交感神経)の変調を検出することが可能である。この自律神経の変調が大きいほど、映像酔いの度合いが高く判定される。
生体情報の具体的な内容は限定されず、上記したパラメータのうち一つ、又は複数を組み合わせて映像酔いの度合いが推定される。
【0086】
上記で説明した操作情報及び生体情報以外のユーザ状態情報が用いられてもよい。
例えば、ユーザ状態情報として、ユーザ1の発話情報が用いられる。この場合、ユーザ1が映像コンテンツを見ている際に発した自由発話の内容や頻度から、映像酔いの度合いが推定される。例えば「気持ち悪い」、「酔ってきた」、「目が回る」、「頭が痛い」といった体調不良である旨の発言が多いほど、映像酔いの度合いが高く判定される。
また、ユーザ状態情報として、ユーザ1の音声そのものの状態が用いられてもよい。この場合、ユーザ1の音声が周波数解析等により解析される。その解析結果をもとに、ユーザ1の声の状態が定常状態から逸脱しているか否かが検知される。またユーザ1の声の逸脱の度合いが検知されてもよい。例えば、ユーザ1の声のトーンが、通常のトーンから外れているような場合には、そのずれ量が大きいほど、またずれている期間が長いほど、映像酔いの度合いが高く判定される。
【0087】
また例えば、ユーザ状態情報として、ユーザ1の申告情報が用いられてもよい。例えばユーザ1に対して映像酔いの度合いを訪ねる簡易質問が映像や音声で提示される。この場合、ユーザ1が自身の酔い状態を段階的に評価した結果が、ボタンや口頭で入力され、映像酔いの度合いとして読み込まれる。このように、ユーザ1が申告した情報を用いることで、映像酔いの度合いを高精度に推定することが可能となる。
【0088】
また、映像コンテンツの体験後や、各シーンの終了後といったタイミングで、ユーザ1により自身の酔い状態がレイティングされてもよい。この場合、例えば表示ユニット13に映像酔いをレイティングするための評価画面が表示される。
【0089】
評価画面では、例えばSSQ(Simulator Sickness Questionnaire)と呼ばれる評価方式を用いて、ユーザ1の映像酔いの度合いがレイティングされる。
SSQでは、以下の質問項目に対して4段階(0:まったくない、1:すこしある、2:中程度にある、3:大いにある)で回答する方式が採用される。
「1:全般的に気分が悪い」、「2:疲労感がある」、「3:頭痛がする」、「4:目の疲れを感じる」、「5:目の焦点が合わせにくい」、「6:唾液がよく出る」、「7:冷や汗が出る」、「8:吐き気がする」、「9:注意集中が困難である」、「10:頭重感がする」、「11:視界がぼやける」、「12:開眼で身体がふらつく」、「13:閉眼で身体がふらつく」、「14:回転性のめまいがする」、「15:胃重感がする」、「16:ゲップが出る」
またSSQでは、これらの質問項目についての回答結果から、総合スコア(Total Score)や、悪心(Nausea)、眼精疲労(Oculomotor)、失見当識(Disorientation)といった、下位の指標が評価される。
【0090】
なお、このようなSSQに代えて、より簡易な質問項目(例えば「気持ち悪いか?」、「めまいがするか?」、「頭痛がするか?」、「吐き気がするか?」等)が用いられてもよい。
このように、ユーザ1にレイティングされた情報は、例えば後述する履歴情報等とともに、ユーザ1の映像酔いについての履歴として、ユーザデータベース33に蓄積される。
【0091】
上記では、主に、ユーザ状態情報に基づいて、現在の映像酔いの度合いを推定する推定処理について説明した。
ユーザ状態情報に基づいて、未来の映像酔いの度合いを予測する予測処理を実行可能である。例えばユーザ状態情報に変化があった場合に、その変化率等に基づいて、所定時間後の映像酔いの度合いが予測される。
一例として、ユーザの発汗量が徐々に上昇している場合を考える。この場合、発汗量の上昇を表す近似曲線等を利用して、所定時間後の発汗量が算出され、その算出結果に基づいて所定時間後の映像酔いの度合いが予測される。発汗量の上昇から、映像酔いの度合いが次のレベルに変化する時刻等が予測されてもよい。同様に、他の生体情報の変化等を利用して、映像酔いの度合いを適宜予測することが可能である。
この他、ユーザ状態情報を用いて、映像酔いの度合いを予測する方法は限定されない。
【0092】
[映像コンテンツの酔いやすさ特性]
図4は、映像コンテンツのコンテンツ状態情報の一例を示す表である。
図5は、映像コンテンツのコンテンツ特性情報の一例を示す表である。以下では、
図4及び
図5を参照して、映像コンテンツの酔いやすさ特性について説明する。
【0093】
映像コンテンツの酔いやすさとは、映像コンテンツについての一般的な酔いやすさであり、映像コンテンツの性質に応じて定まる特性である。映像コンテンツを視聴したユーザ1に発生する映像酔いは、映像コンテンツに関する様々な要素によって引き起こされるものと考えられる。これらの映像酔いの要因となる要素を、酔い要素と記載する。
酔い要素は、典型的には、映像コンテンツを構成する映像及び音声の物理状態を表す要素である。例えば、映像の明るさや、映像の背景の速度、音声の変化等が、酔い要素となりえる。酔い状態推定・予測部44では、これらの酔い要素をもとに推定された映像コンテンツの酔いやすさを表す情報が取得される。
【0094】
映像酔いの要因となる酔い要素としては、様々な要素が挙げられる。
例えば、画面の平均輝度、画面の部分ごとの輝度のばらつき、一定時間内での背景や各部分の輝度や色の変化度合い、背景の変化速度といった、画面全体や背景に係る要素が酔い要素として用いられる。
この場合、例えば平均輝度が高いほど、あるいは輝度のばらつきが大きいほど、酔いやすいと推定される。また、背景の変化速度、輝度変化、色変化等が大きいほど、酔いやすいと推定される。
【0095】
また、表示されるアイテムやキャラクタ等のオブジェクトの数、画面内を移動するオブジェクトの比率、移動速度、各オブジェクトの画面に対する色の変化度合いや変化速度といった、画面内に表示されるオブジェクトに係る要素が酔い要素として用いられてもよい。
この場合、アイテムやキャラクタ等のオブジェクトの数が多いほど、ユーザ1の視点移動が増えるため、酔いやすいと推定される。同様に、動くオブジェクトの比率が多いほど、酔いやすいと推定される。また、オブジェクトの移動速度や色変化の度合いや速度が大きいほど、酔いやすいと推定される。
【0096】
また、映像コンテンツのシーン切り替え頻度、遷移シーンの変化度合といった、シーンの変化に係る要素が酔い要素として用いられてもよい。
この場合、シーン切り替え頻度が高いほど、酔いやすいと推定される。またシーンの切り替え方として、視野がリニアに動く方が、画面切り替えにより視野がステップ的に動くよりも酔いやすいと推定される。
【0097】
映像の物理状態だけでなく、音の変化や触覚刺激の変化等を酔いやすさの推定に用いることも可能である。例えば、音の大きさや種類の切り替え頻度や、サラウンド音の移動量、触覚刺激の変化量等が酔い要素として用いられる。
この場合、音の切り替え頻度が多いほど、酔いやすいと推定される。またサラウンド音の移動量、触覚刺激の変化等が大きいほど、酔いやすいと推定される。
【0098】
このように、基本的には、映像及び音声の物理状態の変化が大きいほど、その映像コンテンツは酔いやすいと推定される。
酔いやすさ特性は、ユーザ1が映像コンテンツを視聴しているタイミングでリアルタイムに推定してもよいし、予め推定しておいて適宜読み込んでもよい。
【0099】
まず、酔い要素の情報を使って、酔いやすさ特性をリアルタイムで推定する方法について説明する。
図4Aの表には、タイミングt1、t2、・・・において読み込まれたコンテンツ状態情報が示されており、
図4Bの表には、タイミングt1、t2、・・・で推定された映像コンテンツの酔いやすさ特性が示されている。
【0100】
図4Aのコンテンツ状態情報の表に示す"酔い要素の値"は、要素1、要素2、・・・の値(物理量や、その変化の度合い等)である。例えば要素1の値の範囲は0以上1以下であり、要素2の値の範囲は0以上100以下である。また、各タイミングにおける映像コンテンツのシーンが判定され、シーンID(ID=A、B、C、・・・)が紐づけられる。例えば、t1~t5は、シーンAであり、t6~t10はシーンBであり、t11~t15はシーンCである。
【0101】
酔い状態推定・予測部44では、このように各タイミングで"酔い要素の値"が読み込まれ、酔い要素の状態に応じた映像コンテンツの酔いやすさが推定される。
図4Bの酔いやすさ特性の表に示す"酔いやすさ"は、要素1、要素2、・・・について推定された酔いやすさ(ここでは0~4までの5段階表記とする)の値である。
例えば、タイミングt1では、要素1の値は0であり、要素1に関する酔いやすさは0と推定される。一方で要素2の値は10であり、要素2に関する酔いやすさは1と推定される。ここでは、各要素の酔いやすさの最大値が、そのタイミングにおける酔いやすさの総合値として用いられる。タイミングt1では、酔いやすさの総合値は1である。
また例えば、タイミングt6では、要素1に関する酔いやすさが4となり、要素2に関する酔いやすさが2となる。この結果、タイミングt6での酔いやすさの総合値は4となる。
【0102】
このように、コンテンツ状態情報には、再生中の映像コンテンツにおいて映像酔いの要因となる酔い要素の情報が含まれる。酔い状態推定・予測部44は、このコンテンツ状態情報に含まれる酔い要素の情報に基づいて、再生中の映像コンテンツに関する酔いやすさ特性を推定する。
これにより、例えばユーザ1の操作等により映像コンテンツの映像や音声等が変化する場合であっても、その酔いやすさを確実に推定することが可能となる。
【0103】
次に、予め推定された酔いやすさ特性を用いて、現在の酔いやすさを推定する方法について説明する。
図5の表には、映像コンテンツのシーンA、B、C、・・・における酔いやすさ特性を記録したコンテンツ特性情報が示されている。このコンテンツ特性情報は、例えばユーザ1が実際に映像コンテンツを体験する前に、映像コンテンツの特性をもとに推定された情報である。ここでは、シーンA、B、Cに関する酔いやすさ特性が、
図4に示すシーンA、B、Cの特性と一致している。
例えば、ユーザ1が前回プレイした際に、リアルタイムで推定された酔いやすさ特性(コンテンツ状態情報)を記録することで、コンテンツ特性情報を構築することが可能である。また例えば、映像コンテンツの制作時に酔いやすさ特性を評価しておいてもよい。
【0104】
図5に示す例では、シーンごとに、酔いやすさの総合値と、要素ごとの酔いやすさの値が記録されている。例えば、酔いやすさの総合値だけを記録してもよいし、要素ごとの酔いやすさの値だけを記録してもよい。
また、必ずしもシーンごとに酔いやすさを記録する必要はない。例えば、シーンごとに判定した酔いやすさの値から代表値(平均値や最大値等)を求め、コンテンツ単位で酔いやすさを定義してもよい。
これらの値は、コンテンツデータベース32に蓄積され、処理に必要なタイミングで適宜読み込まれる。
【0105】
このように、コンテンツ特性情報には、映像コンテンツのシーンごと又はコンテンツ全体について、予め推定された映像コンテンツに関する酔いやすさ特性の情報が含まれる。酔い状態推定・予測部44は、このコンテンツ特性情報に含まれる酔いやすさ特性を読み込み、再生中の映像コンテンツに関する酔いやすさ特性を取得する。
この処理は、各タイミングで酔いやすさ特性を実際に推定する必要がないため、処理負荷を十分に低減することが可能となる。
【0106】
[酔いやすさ特性と履歴情報とを用いた映像酔いの度合いの推定・予測]
図6は、ユーザ1の映像酔いに関する履歴情報の一例を示す表である。
履歴情報は、ユーザの過去の視聴体験において発生した映像酔いの状態とその視聴体験における酔いやすさ特性とを関連づけて記録した情報である。履歴情報は、ユーザ特性情報としてユーザデータベース33に格納される。
履歴情報を記録する際に用いられるコンテンツ(以下では体験済みコンテンツと記載する)は、ユーザ1が体験中の映像コンテンツでもよいし、全く別のコンテンツでもよい。
ここでは、上記した酔いやすさ特性と、履歴情報とを用いて、映像酔いの度合いを推定・予測する方法について説明する。
【0107】
図6には、所定の時間間隔(ここでは1分間隔)で記録された履歴情報が示されている。この履歴情報には、ユーザ1の"酔い状態"として、酔い状態の度合いと各症状の有無とが記録されている。なお、症状に関するデータは、例えばユーザ1による申告や、自由発話の内容、生体情報等をもとに推定して記録される。
また履歴情報には、体験済みコンテンツの"酔いやすさ"として、酔いやすさの総合値と要素ごとの酔いやすさの値とが記録されている。
すなわち、履歴情報は、体験済みコンテンツの視聴時における、ユーザ状態情報と、コンテンツ状態情報とを記録した情報であると言える。
【0108】
例えば履歴情報の"酔い状態"の項目からは、映像酔いの度合いの変化タイプを読み取ることが可能である。
図6に示す例では、体験開始後4分の時点で、映像酔いの度合いがレベル2となり、映像酔いの兆候が表れる。その直後、体験開始後5分の時点で、映像酔いの度合いがレベル3となりユーザ1が酔いはじめる。そして、体験開始後14分には、映像酔いの度合いがレベル4となる。従ってこのユーザ1は、兆候状態が短く、徐々に症状が重くなるタイプであると言える。
【0109】
ユーザデータベース33には、様々な映像コンテンツで記録された履歴情報が蓄積される。酔い状態推定・予測部44では、蓄積された履歴情報をもとに、映像酔いの度合いが推定・予測される。
例えばユーザ1の映像酔い状態の履歴情報を学習データとして、ユーザ1の映像酔いの度合いと、コンテンツの酔いやすいさ特性との関連性を学習した学習器が構築される。学習器に用いるアルゴリズムは限定されず、任意の機械学習アルゴリズムが用いられてよい。この学習器に、現在再生されている映像コンテンツの酔いやすさ特性を入力することで、現在のユーザ1の映像酔いの度合いが推定される。また、学習器を適宜構成することで、所定時間後の映像酔いの度合いを予測することや、映像酔いの度合いが変化するタイミング等を予測することが可能である。
なお、機械学習の手法に代えて、ルールベースのアルゴリズム等を用いて映像酔いの度合いを推定・予測する処理が実行されてもよい。
【0110】
このように、本実施形態では、酔い状態推定・予測部44により、再生中の映像コンテンツに関する酔いやすさ特性と、履歴情報とに基づいて、映像酔い情報(映像酔いの度合いの推定情報や予測情報)が生成される。
これにより、ユーザ1及び映像コンテンツの各々の特性から、映像コンテンツによって誘発されるユーザ1の映像酔いの度合いを推定することが可能となり、映像酔いの度合いの推定精度を大幅に向上することが可能となる。
【0111】
ユーザ特性情報(履歴情報等)を用いずに、映像コンテンツに関する酔いやすさ特性から、ユーザ1の映像酔いの度合いを推定・予測してもよい。この場合、コンテンツ状態情報から推定される酔いやすさ特性や、コンテンツ特性情報として記録された酔いやすさ特性が、推定処理や予測処理を実行する際に適宜参照される。
例えば、現在再生されているシーンの酔いやすさ特性が高いほど、現在のユーザ1の映像酔いの度合いが高いと推定される。また例えば、これから再生されるシーンの酔いやすさ特性が高いほど、そのシーンが再生される際のユーザ1の映像酔いの度合いが高くなると予測される。これにより、例えばユーザ1の履歴情報が蓄積されておらず、履歴情報が使えない場合等であっても、ユーザ1の映像酔いの度合いを推定・予測することが可能となる。
【0112】
また、酔いやすさ特性を用いずに、ユーザ特性情報から、ユーザ1の映像酔いの度合いを推定・予測してもよい。例えばユーザ特性情報から映像酔いの度合いの変化タイプが判定される。そして判定された映像酔いの度合いの変化タイプを基準として、映像コンテンツの視聴時間(経過時間)等から映像酔いの度合いが推定・予測される。
【0113】
この他、映像酔いの度合いの推定処理・予測処理の具体的な内容は限定されない。例えばユーザ状態情報、ユーザ特性情報、コンテンツ状態情報、及びコンテンツ特性情報の少なくとも1つ、又はこれらの組み合わせに基づいて、映像酔いの度合いを推定・予測する任意の処理が実行されてよい。
【0114】
[映像酔いの症状の推定・予測]
上記では、主にユーザ1の映像酔いの度合いを推定する方法について説明した。映像酔いの度合いだけでなく、どのような映像酔いの症状が生じるのかを推定・予測することも可能である。
本実施形態では、酔い状態推定・予測部44により、映像酔い情報として、ユーザ1の映像酔いの症状を推定した情報、又は映像酔いの症状を予測した情報の少なくとも一方を含む症状情報が取得される。
具体的には、推定処理及び予測処理により、ユーザ1の映像酔いの症状を推定した推定情報及び映像酔いの症状を予測した予測情報が生成される。
【0115】
例えば
図6等を参照して説明した履歴情報を学習データとして、ユーザ1の映像酔いの症状と、コンテンツの酔いやすいさ特性との関連性を学習した学習器が構築される。この学習器は、例えば再生中の映像コンテンツの酔いやすさ特性を入力として、現在のユーザ1の映像酔いの症状を推定するように構成される。また、学習器を適宜構成することで、所定時間後の映像酔いの症状を予測することや、映像酔いの症状が変化するタイミング等を予測することも可能である。
なお、機械学習の手法に代えて、ルールベースのアルゴリズム等を用いて映像酔いの症状を推定・予測する処理が実行されてもよい。
【0116】
また、ユーザ状態情報(生体情報、操作情報、発話情報、申告情報等)をもとに、映像酔いの症状が推定されてもよい。例えば各生体センサ22や外部カメラ23の出力をもとに、頭痛、めまい、吐き気等の有無が推定される。あるいはユーザ1の発話内容から、映像酔いの症状が推定される。
【0117】
ユーザ1の映像酔いの症状のみならず、映像酔いの症状がどのように変化するのかといった情報(映像酔いの症状の変化タイプ)を推定することも可能である。
例えば
図6に示す履歴情報の"酔い状態"の項目からは、映像酔いの症状の変化タイプを読み取ることが可能である。
図6に示す例では、ユーザ1に映像酔いの兆候が表れた直後にめまいが発生し、その後症状の進行にともない頭痛が発生する、すなわちユーザ1は、めまいが続いた後で頭痛が発生し、頭痛の発生に伴い症状が重くなるタイプであると言える。
このような映像酔いの症状の変化タイプを基準として、映像コンテンツの視聴時間(経過時間)等から映像酔いの症状が推定・予測されてもよい。
この他、映像酔いの症状の推定処理・予測処理の具体的な内容は限定されない。
【0118】
[コンテンツ提供システムの動作]
図7は、コンテンツ提供システム100の動作例を示すフローチャートである。
図7に示す処理は、例えば映像コンテンツの再生中に繰り返し実行されるループ処理である映像コンテンツを再生する処理はコンテンツ処理部により実行され、そのバックグラウンドで
図7に示すループ処理が実行される。
【0119】
まず、ユーザ情報取得部43により、コンテンツ提供システム100を使用するユーザ1に関するユーザ特性情報が取得される(ステップ101)。具体的には、ユーザデータベース33に格納されたユーザ特性情報(
図6に示す履歴情報等)が適宜読み込まれる。
次に、コンテンツ情報取得部42により、コンテンツ提供システム100で再生される映像コンテンツに関するコンテンツ特性情報が取得される(ステップ102)。具体的には、コンテンツデータベース32に格納されたコンテンツ特性情報(
図5に示す映像コンテンツの酔いやすさ特性等)が適宜読み込まれる。
なおステップ101及び102の処理は、映像コンテンツの進行状況(例えばシーンの切り替わり等)に応じて、適宜実行されてよい。
【0120】
次に、ユーザ情報取得部43により、ユーザ1の現在の状態を表すユーザ状態情報が取得される(ステップ103)。例えば、映像コンテンツを見ている最中のユーザ1を測定した生体センサ22等の出力や、ユーザ1の自由発話の内容等のデータが読み込まれる。
次に、コンテンツ情報取得部42により、映像コンテンツの現在の状態を表すコンテンツ状態情報が取得される(ステップ104)。例えば、映像コンテンツの再生中のシーンIDや、画面の変化やキャラクタの数といった酔い要素の状態を表す情報が、コンテンツ処理部41から読み込まれる。
【0121】
次に、酔い状態推定・予測部44により、ユーザ1の映像酔いの状態についての推定処理又は予測処理の少なくとも一方が実行される(ステップ105)。具体的には、ステップ101~104で取得したユーザ特性情報、ユーザ状態情報、コンテンツ特性情報、及びコンテンツ状態情報の少なくとも1つをもとに、
図3~
図6等を参照して説明した推定処理や予測処理が実行される。
推定処理では、例えばユーザ1の映像酔いの度合いや症状が推定される。また予測処理では、例えば所定時間後の映像酔いの度合いや症状が予測される。この他、映像酔いの度合いの変化タイプや、症状の変化タイプが判定されてもよい。これらの情報は、ユーザ1の映像酔いの状態を表す映像酔い情報として、刺激制御部45に出力される。
【0122】
次に、刺激制御部45により、ユーザ1の映像酔い情報に基づいて、映像酔いを抑制する抑制刺激が選択・生成される(ステップ106)。
抑制刺激を選択する処理では、映像酔いの状態の推定値や予測値に基づいて、刺激データベース34から、ユーザ1に提示する抑制刺激が選択される。これにより、抑制刺激の種類(パターン)、パラメータ、提示部位等を容易に設定することが可能である。
抑制刺激を生成する処理では、映像酔いの状態の推定値や予測値に基づいて、ユーザ1に提示する抑制刺激の種類、パラメータ、提示部位等が算出される。例えば刺激データベース34に格納された抑制刺激のデータを調整してもよいし、新たに抑制刺激のデータを生成してもよい。
【0123】
さらにステップ106では、映像酔いの状態の推定値や予測値に基づいて、抑制刺激を提示するタイミング・継続時間等が算出される。例えば振動刺激を用いる場合、振動を開始するタイミング、振動を継続する時間等が算出される。あるいは、振動刺激の繰り返し回数や、インターバル等が設定されてもよい。
【0124】
本実施形態では、映像酔いの度合いを表す度合い情報に応じて、ユーザ1に対する抑制刺激の提示が制御される。
例えば映像酔いの度合いに応じて、抑制刺激を提示するか否かが判定される。また映像酔いの度合いに応じて、抑制刺激の強度や種類等が設定される。あるいは、映像酔いの度合いに応じて、抑制刺激の提示部位や頻度等が設定されてもよい。
また映像酔いの症状を表す症状情報に応じて、ユーザ1に対する抑制刺激の提示が制御されてもよい。
例えば映像酔いの症状に応じて、抑制刺激の強度や種類等が設定される。あるいは、映像酔いの症状に応じて、抑制刺激の提示部位や頻度等が設定されてもよい。
抑制刺激の提示制御については、
図8~
図13等を参照して具体的に説明する。
【0125】
次に、コンテンツ提供システム100に設けられた刺激提示部25により、抑制刺激が提示される(ステップ107)。具体的には、刺激制御部45により、ステップ106で選択・生成された抑制刺激のデータから、抑制刺激を提示するための信号が生成され、刺激提示部25を構成する各素子に出力される。この時、各素子に対する信号出力のタイミングや期間等を調整することで、抑制刺激を提示するタイミングや継続時間が制御される。
抑制刺激が提示されると、映像コンテンツが終了したか否かが判定される(ステップ108)。映像コンテンツが終了していない場合(ステップ108のNo)、ステップ103以降の処理が再度実行される。また映像コンテンツが終了した場合(ステップ108のYes)、
図7に示す処理が終了する。
【0126】
[映像酔いの状態に応じた抑制刺激の提示制御]
ユーザ1の映像酔い情報を用いて抑制刺激の提示を制御する方法について説明する。
以下では、抑制刺激の一例として、振動素子26により提示される振動刺激を例に挙げて説明する。
この場合、映像酔いの状態に応じて、振動刺激のタイプ(パターン)が設定される。例えば、一定周期の振動刺激、不規則な振動刺激、徐々に増強する振動刺激、あるいは徐々に減弱する振動刺激等のパターンが設定される。
また、映像酔いの状態に応じて、振動に関するパラメータ(強度、振動数、提示部位)や、振動刺激を提示するタイミング、継続時間等が設定される。
なお、振動刺激以外の刺激(電気刺激等)を抑制刺激として用いる場合であっても、以下に説明する内容は適用可能である。
【0127】
[推定値に応じた抑制刺激の提示制御]
図8は、酔い状態の推定情報を用いた刺激提示の一例を示すタイムチャートである。
図8の上段のグラフは、タイミングtでのユーザ1の映像酔いの度合いの推定値を示すグラフであり、縦軸は推定値のレベル(レベル1~レベル4)を表している。また
図8の下段のグラフは、タイミングtでの振動刺激の制御信号を示すグラフであり、縦軸は振動刺激の強度を表している。
【0128】
本実施形態では、刺激制御部45により、度合い情報が表す映像酔いの度合いが所定のレベルに達した場合に、ユーザ1に対する振動刺激(抑制刺激)の提示が開始される。すなわち、映像酔いの度合いが上昇して閾値となる所定のレベルを超えると、ユーザ1に振動刺激が提示される。また映像酔いの度合いが所定のレベル以下である場合には、振動刺激は提示されない。これにより、余分な刺激等が提示されるといった事態を回避することができる。
【0129】
所定のレベルは、ユーザ1の映像酔いの予兆が表われるレベルに設定される。
本実施形態では、所定のレベルは、レベル2に設定される。すなわち、ユーザ1が映像酔いの症状を自覚していないが、体調に変化があらわれた時点で、振動刺激(抑制刺激)の提示が開始される。
このように、症状が自覚されていない映像酔いの初期の段階から、刺激を提示することで、映像酔いの進行を遅らせることや、症状を軽くすることが可能な場合がある。また症状の発生を回避することが可能となる場合もある。。
【0130】
図8に示す例では、タイミングt1において、ユーザ1の映像酔いの度合いがレベル2であると推定される。この場合、刺激制御部45により、振動刺激を提示する処理が開始される。なお、タイミングt1では、ユーザ1は映像酔いの症状を自覚していないものと考えられる。そこで
図8では、t1以降に提示される振動刺激の強度及び頻度が比較的小さく設定され、振動が目立たないように提示される。これにより、ユーザ1の映像体験を阻害することなく、映像酔いを抑制することが可能となる。
【0131】
また、
図8に示す例では、タイミングt2において、ユーザ1の映像酔いの度合いがレベル3であると推定される。この場合、ユーザ1は映像酔いの症状を感じ始めているものと考えられる。そこで、
図8では、t2以降に提示される振動刺激の強度及び頻度が、それまでの振動刺激に比べて大きく設定される。これにより、映像酔いの進行を効果的に抑制することが可能となる。このように、映像酔いの度合いに応じて、振動刺激のパラメータが変更されてもよい。
【0132】
このように、酔い状態の推定情報を用いた刺激提示では、ユーザ1の現在の映像酔いの度合いに応じて、振動刺激の提示が即応的に制御される。これにより、映像酔いの状態の変化に合わせて、抑制刺激を確実に提示することが可能となり、映像酔いを十分に抑制することが可能となる。
【0133】
[予測値に応じた抑制刺激の提示制御]
図9は、酔い状態の予測情報を用いた刺激提示の一例を示すタイムチャートである。ここでは、予測処理の一例として、所定時間(ΔT0)後のユーザ1の映像酔いの度合いの予測値が算出されるものとする。
図9の上段のグラフは、タイミングtにおいて予測された映像酔いの度合いの予測値を示すグラフであり、縦軸は予測値のレベル(レベル1~レベル4)を表している。また
図9の下段のグラフは、タイミングtでの振動刺激の制御信号を示すグラフであり、縦軸は振動刺激の強度を表している。
【0134】
図9に示す例では、タイミングt1の時点で、ΔT0後に、ユーザ1の映像酔いの度合いがレベル2に上がると予測される。この場合、刺激制御部45は、振動刺激を提示するタイミングt1'を、映像酔いの度合いがレベル2に達するタイミング(t1+ΔT0)よりも前の時点に設定する。ここでは、t1'=(t1+ΔT0)-ΔT1に設定される。ここで、
ΔT1は、ΔT0以下の定数である。ΔT1は、例えばユーザ1の映像酔いの度合いの変化タイプ等に応じて設定されてもよいし、デフォルトの値が用いられてもよい。
これにより、映像酔いの予兆に先がけて、振動刺激を提示することが可能となる。このような処理により、映像酔いの進行を十分に遅らせるといった効果が期待される。
【0135】
また、
図9に示す例では、タイミングt2の時点で、タイミング(t2+ΔT0)にユーザ1の映像酔いの度合いがレベル3に上がると予測される。この場合、映像酔いの度合いがレベル3になるタイミングに先がけて、振動刺激の強度及び頻度を増加する制御が行われる。この制御が行われるタイミングt2'は、定数ΔT2を用いて、t2'=(t1+ΔT0)-ΔT2に設定される。
これにより、ユーザ1が映像酔いの症状を自覚するタイミングを十分に遅らせるといった効果が期待される。
【0136】
[抑制刺激の提示制御例]
図10~
図13は、刺激提示の一例を示すタイムチャートである。以下では、
図10~
図13を参照して、映像酔いの状態に応じて抑制刺激を提示する際の制御例についてそれぞれ説明する。なお、ここでは主に映像酔いに関する推定情報を用いる場合について説明するが、以下の説明は予測情報を用いる場合にも適宜適用可能である。
【0137】
図10では、映像酔いの症状に合わせて振動刺激が提示される。
図10の上段には、ユーザ1の映像酔いの症状(頭痛、めまい、吐き気)の推定結果が図示されている。また、
図10の下段には、振動刺激の制御信号を示すグラフが図示されている。
【0138】
例えば、映像酔いの症状のタイプにより、酔いの低減に効果のある刺激が異なることが考えられる。そこで、本実施形態では、刺激制御部45により、映像酔いの症状に応じて、ユーザ1に提示する抑制刺激の種類が設定される。これにより、映像酔いの症状にあった抑制刺激を提示することが可能となり、映像酔いの抑制効果を高めることが可能となる。
ここでは、例えば抑制刺激の種類として、振動刺激のタイプ(振動パターン)や、提示部位が、映像酔いの症状に応じて設定される。また、振動刺激に代えて、圧覚刺激、温冷刺激、電気刺激、音刺激、光刺激等の他の刺激が設定されてもよい。
【0139】
図10に示す例では、タイミングt1においてユーザ1がめまいを感じていると推定され、タイプ1の振動刺激の提示が開始される。その後、タイミングt2においてユーザが頭痛を感じていると推定され、振動刺激の種類がタイプ1からタイプ2に変更される。さらにタイミングt3においてユーザが吐き気を感じていると推定され、振動刺激の種類がタイプ2からタイプ3に変更される。
【0140】
映像酔いの症状と、刺激のタイプとの対応関係は、例えばユーザの特性や履歴情報に基づいて特定することが可能である。例えば、ユーザ1に対して過去に刺激を提示した際に、症状の悪化を防ぐ効果や映像酔いの低減効果の高かった刺激が特定され、ユーザ特性情報として記録される。
このように、本実施形態では、ユーザ1の映像酔いに対する抑制効果が高い刺激の情報が取得され、ユーザ1に対して抑制効果が高い刺激が提示される。これにより、映像酔いの状態を効果的に抑制することが可能となる。
【0141】
図11では、映像酔いの度合いの変化タイプに合わせて振動刺激が提示される。
図11A及ぶ
図11Bの上段には、ユーザ1の映像酔いの度合いの推定結果が図示されており、各図の下段には、振動刺激の制御信号を示すグラフが図示されている。
図11A及び
図11Bは、映像酔いの度合いの変化タイプが互いに異なるユーザ1を対象とした振動刺激の制御例である。
【0142】
本実施形態では、映像酔いの度合いの変化タイプに応じて、抑制刺激を提示するタイミングが設定される。映像酔いの度合いの変化タイプは、例えばユーザ1の履歴情報に基づいて判定することが可能である(
図6参照)。刺激制御部は、現在のユーザ1についての映像酔いの度合いの変化タイプを判定し、その判定結果をもとに、抑制刺激を提示するタイミングを調整する。
これにより、ユーザ1の映像酔いの進行にあったタイミングで抑制刺激を提示することが可能となる。この結果、例えば抑制刺激の提示が遅れるといった事態や、不必要に早い段階から抑制刺激を提示するといった事態を回避することが可能となる。
【0143】
図11Aには、映像酔いの度合いが急激に増加するタイプのユーザ1に提示する振動刺激の制御例が図示されている。このユーザ1は、例えばタイミングt1で映像酔いの度合いがレベル2に上がった後、比較的短時間の内に映像酔いの度合いがレベル3に上がる。
このように、映像酔いの度合いが急激に変化するユーザ1については、振動刺激をすぐに提示することが好ましい。このため、
図11Aでは、映像酔いの兆候があると推定された時点(タイミングt1)で、振動刺激の提示が開始される。
【0144】
一方で
図11Bには、映像酔いの度合いが徐々に増加するタイプのユーザ1に提示する振動刺激の制御例が図示されている。このユーザ1は、タイミングt1で映像酔いの度合いがレベル2に上がった後、比較的長い期間レベル2を維持し、その後で映像酔いの度合いがレベル3に上がる。
このように、映像酔いの兆候が長引くユーザ1に対して、振動刺激を早い段階で提示してしまうと、ユーザ1の視聴体験を不必要に阻害してしまう恐れがある。このため、
図11Bでは、
図11Aでは、映像酔いの兆候があると推定された時点(タイミングt1)から一定の遅延時間(Delay)が経過したタイミングt1'に振動刺激の提示が開始される。
遅延時間を設定する方法は限定されず、例えばユーザ1の過去の履歴等に応じて適宜設定されてよい。
【0145】
図12では、ユーザ1の慣れを考慮して振動刺激が変更される。
図12A及ぶ
図12Bの上段には、映像コンテンツのシーンの切り替わりが模式的に図示されており、各図の下段には、振動刺激の制御信号を示すグラフが図示されている。ここでは、例えば映像酔いの度合いが一定のレベルに達しており、一定の間隔で振動刺激を提示する制御が行われているものとする。
【0146】
図12Aでは、映像コンテンツのシーン(シーンA、B、C・・・)に応じて、振動刺激のタイプが変更される。例えばシーンAが再生される場合には、タイプ1の振動刺激が提示され、シーンBが再生される場合には、タイプ2の振動刺激が提示され、シーンCが再生される場合には、タイプ3の振動刺激が提示される。
なお振動刺激の場合、タイプ(振動パターン)以外にも、周波数、強度、提示位置といったパラメータがシーンごとに変更されてもよい。
もちろん、振動刺激のタイプ等を変更するだけでなく、抑制刺激の種類そのものを変更してもよい。
【0147】
このように、本実施形態では、刺激制御部45により、映像コンテンツのシーンごとに、ユーザ1に対して提示する抑制刺激が変更される。各シーンと抑制刺激との対応関係は、任意に設定されてよい。
【0148】
例えば、映像コンテンツの制作時に、一般的な酔いやすさ(コンテンツ特性情報)が推定される。そして、シーンごとの推定値に合わせて映像酔いの抑制刺激を付与した映像コンテンツが制作されてもよい。
【0149】
また、映像コンテンツの特性や製作上の制約に応じて、対応する抑制刺激の種類や刺激パターンが設定されていてもよい。例えば、コンテンツの演出として刺激(コンテンツ刺激)を提示するようなシーンでは、コンテンツ刺激と抑制刺激とが混同されないように、抑制刺激の提示部位をずらすといった設定が可能である。また比較的静かなシーンでは、強度を落とした気付かれにくい刺激を提示するといった設定も可能である。
なお、必ずしも抑制刺激とシーンとを対応づける必要はなく、シーンの切り替えに合わせて所定の順番で抑制刺激が切り替えられてもよい。
シーンごとに抑制刺激変更することで、ユーザ1が抑制刺激に慣れてしまうといった事態を回避し、映像酔いの抑制効果を自然に維持することが可能となる。
【0150】
図12Bでは、所定の時間間隔ΔTで、振動刺激のタイプが変更される。この例では、タイプ1、タイプ2、及びタイプ3の振動刺激が、この順番で切り替えて用いられる。また切替のタイミングが来るまでは、同一タイプの振動刺激が所定のインターバルを開けて提示される。ここでは、ΔTの間に同一タイプの振動刺激が4回提示される。
これに限定されず、例えばΔTを振動刺激のインターバルに設定し、毎回刺激のタイプが変更されるような設定も可能である。また刺激は一定の順番を繰り返す代わりに、ランダムに選択して用いてもよい。
【0151】
このように、刺激制御部45により、所定の時間間隔ΔTごとに、ユーザ1に対して提示する抑制刺激が変更されてもよい。
これにより、例えば複数の抑制刺激をまんべんなくユーザ1に提示するといった処理を容易に実現することが可能となる。この結果、ユーザ1が抑制刺激に慣れてしまうといった事態を回避し、映像酔いの抑制効果を容易に維持することが可能となる。
【0152】
図13では、ユーザ1に対する振動刺激の効果に応じて、ユーザ1に提示する振動刺激が選択される。
図13A及ぶ
図13Bの上段には、ユーザ1の映像酔いの度合いの推定結果が図示されており、各図の下段には、振動刺激の制御信号を示すグラフが図示されている。ここでは、タイミングt1で振動刺激の提示が開始されるものとする。
図13A及び
図13Bは、同一の刺激に対する映像酔いの抑制効果のタイプが互いに異なるユーザ1を対象とした振動刺激の制御例である。
【0153】
本実施形態では、ユーザ1に対して、同一の抑制刺激による映像酔いの抑制効果が継続するか否かが判定される。そして、抑制効果が継続する場合、ユーザ1に対して同一の抑制刺激が継続して提示される。また抑制効果が継続しない場合、ユーザ1に提示する抑制刺激の種類が変更される。
ユーザ1が同一の抑制刺激による抑制効果が継続するタイプであるか否かは、例えばユーザ1の履歴情報に基づいて判定することが可能である。例えばユーザ1の過去の履歴において、同じ刺激によって映像酔いの進行がどの程度抑えられたかが判定される。
【0154】
図13Aには、同一の抑制刺激による映像酔いの抑制効果が継続するタイプのユーザ1に提示する振動刺激の制御例が図示されている。このユーザ1は、同じ振動刺激が継続される場合でも、抑制効果が継続する。このため、刺激制御部45は、同じタイプの振動刺激を継続してユーザ1に提示する。
【0155】
一方で
図13Bには、同一の抑制刺激による映像酔いの抑制効果が継続しないタイプのユーザ1に提示する振動刺激の制御例が図示されている。このユーザ1は、同じ振動刺激を継続して提示すると、抑制効果が低下してしまう可能性がある。このため、刺激制御部45は、振動刺激のタイプを変更して、ユーザ1が刺激に慣れてしまうといった事態を回避する。これにより、同じ刺激を提示し続ける場合と比べ、抑制効果を高め映像酔いの進行を十分に遅らせるといったことが可能となる。
【0156】
また、ユーザ1によっては、映像酔いが発症する前後で抑制刺激の効果が変化することがあり得る。ここで、映像酔いの発症とは、例えばユーザ1が映像酔いの症状を自覚した状態である。例えば、映像酔いが発症すると、映像酔いの度合いがレベル2の予兆段階から、レベル3の酔いはじめの段階となる。
このような映像酔いが発症した後では、ユーザ1によっては抑制刺激が効果を持ちにくくなる場合がある。一方で、映像酔いが発症した後でも、抑制刺激による抑制効果が維持されるようなタイプもあり得る。このように映像酔いの発症後の抑制効果に応じて、抑制刺激の提示を制御してもよい。
【0157】
例えば、映像酔いが発症してからも効果が低減しないユーザ1については、発症してからも抑制刺激の提示が続けられる。これにより、ユーザ1が酔い始めた後でも、映像酔いの度合いが悪化するといった事態を回避することが可能である。
また例えば、映像酔いが発症してしまうと、抑制効果が低下するユーザ1については、抑制刺激の種類が変更される。これにより、同一の刺激を提示し続ける場合と比べ、抑制効果を高めることができる。また抑制効果が低下するユーザ1については、抑制刺激の提示を中止してもよい。
また、抑制刺激が効果を持ちにくいユーザ1については、映像コンテンツの臨場感等を損なう刺激は提示をさけるといった制御も可能である。これにより、効果の低い刺激を提示して、ユーザ1の視聴体験を不必要に阻害するといった事態を回避することが可能である。
【0158】
以上、本実施形態に係る情報処理装置40では、映像コンテンツを見ているユーザ1に抑制刺激が提示される。このとき、ユーザ1への要請刺激の提示は、ユーザ1の映像酔い状態を推定・予測した情報をもとに制御される。これにより、ユーザ1の状態にあった抑制刺激の提示等が可能となり、ユーザ1の映像酔いを十分に抑制することが可能となる。
【0159】
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【0160】
上記の実施形態では、コンテンツ特性情報として、映像コンテンツの酔い要素等の状態から推定された酔いやすさ特性(
図5等参照)の情報が用いられた。
これに限定されず、他のユーザが映像コンテンツを視聴した際の映像酔いのデータ等が、コンテンツ特性情報として用いられてもよい。
【0161】
例えば、映像コンテンツのリリース前に、ある程度の規模のテストユーザを対象として、実際の酔い状態を取得してもよい。すなわち、テストユーザに発生した映像酔いの特性(テストユーザの履歴情報)が、映像コンテンツの特性として用いられてもよい。この場合、テストユーザの映像酔いの状態(度合いや症状)から、コンテンツ全体やシーンごとの酔いやすさ特性が推定され、リリースされる映像コンテンツに付与される。
【0162】
また例えば、映像コンテンツのリリース直後に、初期のユーザのデータから酔い状態を取得し、それ以降のユーザが利用できるように映像コンテンツに付与してもよい。すなわち、映像コンテンツの酔いやすさ特性として、初期ユーザの映像酔いの情報が用いられてもよい。この場合、映像コンテンツに付与されるデータは、一定期間ごとに更新される。
また、性別、年齢、地域、人種等によって、映像酔いの特性に差があるかどうかを分析し、酔い状態の推定に用いてもよい。
【0163】
また本技術は、ユーザ個人の映像酔いの特性を記録した履歴情報等のデータベースを構築する記録ツールとしても機能する。このように蓄積された、個人の酔い特性を用いることで、例えば対象者が他の映像コンテンツを視聴した場合に生じる、映像酔いの状態を推定するといったことも可能である。
これにより、例えば対象者が映像コンテンツを購買する際に、酔わないコンテンツ(酔いにくいコンテンツ)をおすすめすることが可能となる。
また、映像コンテンツの選択時に、推定される映像酔いのレイティング等を付加して提示するといったことが可能となる。
また、映像コンテンツの設定等で、対象者が酔いにくいコースなどを個別に設定することや、おすすめの設定値を提示するといったことが可能となる。
【0164】
上記では、映像コンテンツを見ているユーザの映像酔いの状態に応じて、抑制刺激を提示する方法について説明した。これに限定されず、ユーザの映像酔いの状態に応じて、映像コンテンツそのものを動的に生成する処理が実行されてもよい。
【0165】
図14は、映像酔い状態に応じた映像コンテンツの変更例を示す模式図である。
図14A~
図14Cには、映像コンテンツの一例としてドライビングゲームのコース6と、コース6を走行する車両7とが模式的に図示されている。
この映像コンテンツでは、コース6に沿って走行する車両7上から見た映像がユーザに表示される。従ってコース6上のカーブの曲がり具合や頻度によって、背景が変化する度合いや頻度が決まってくる。
【0166】
図14Aは、タイミングt1におけるコース6aを示す模式図である。この時点では、コース上には、比較的長い間隔で設定されたカーブ群と、そのあとに続く、比較的短い間隔で設定されたカーブ群とが含まれている。
【0167】
タイミングt1において、ユーザの映像酔いの度合いが1段階上昇したとする。この場合、
図14Aに示すコース6aは、
図14Bに示すコース6bに変更される。すなわち、比較的長い間隔で設定されたカーブ群のうち、車両7が到達していないカーブ群については曲がり具合が緩く設定される。また比較的短い間隔で設定されたカーブ群は、カーブの数が減らされ、個々のカーブの曲がり具合が緩く設定される。これにより、背景が変化する度合いを小さくし、その頻度を少なくすることが可能となる。従ってコース6bは、変更前のコース6aと比べ、酔いやすさ特性が低く設定されたたコース6となっている。
【0168】
また
図14Bに示すように、タイミングt2において、ユーザの映像酔いの度合いがさらに1段階上昇したとする。この場合、
図14Bに示すコース6bは、
図14Cに示すコース6cに変更される。すなわち、また比較的短い間隔で設定されたカーブ群が削除される。これにより、後半のコース6において背景が大きく変化することはなくなり、酔いやすさ特性を十分に低く設定することが可能となる。
【0169】
このように、ユーザの映像酔い情報に基づいて、ユーザの映像酔いの進行を抑えるように映像コンテンツが変更されてもよい。これにより、ユーザは映像酔いを悪化させることなく視聴体験を継続して楽しむことが可能となる。
なお、コース6を変更する場合に限定されず、例えば車両7のスピードや、映像コンテンツを構成する、アイテム、背景画像、音声等を、ユーザの映像酔いが進行しないように動的に変更してもよい。
【0170】
上記では、VR体験を行うためのHMD10を用いたシステムについて説明した。これに限定されず、例えばAR体験用のHMDに本技術が適用されてもよい。この場合、HMDにはユーザの視界を撮影する外向きカメラが設けられ、表示ユニットには、外向きカメラが撮影した映像が表示される。この映像に仮想オブジェクトを重畳して表示することで、AR体験を提供することが可能となる。このような構成のHMDが用いられる場合であっても、ユーザの映像酔いの状態を推定・予測した情報に応じて、抑制刺激の提示を制御することで、ユーザの映像酔いを十分に抑制することが可能となる。
この他、大型ディスプレイや、包囲型ディスプレイ等の据え置き型のディスプレイを用いたシステムに本技術を適用することも可能である。この場合も、ユーザの映像酔いの状態を適宜推定・予測した結果に応じて、ユーザに対する抑制刺激の提示が制御される。
【0171】
また映像コンテンツの種類等は限定されない。
例えば映像コンテンツは、VR空間での様々なアミューズメントを提供するゲームコンテンツである。また、車両、航空機、船舶等の乗り物の操縦や、現場作業を想定したシミュレータとして機能する映像コンテンツが用いられてもよい。また遠隔操作を行う際の作業現場の映像や、作業支援を行う仮想映像等が映像コンテンツとして用いられてもよい。
この他、任意の映像コンテンツについて、本技術は適用可能である。
【0172】
上記ではユーザにより操作される情報処理装置40により、本技術に係る情報処理方法が実行される場合を説明した。しかしながら情報処理装置40とネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。
【0173】
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
【0174】
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば映像酔い情報を取得する処理及び刺激の提示を制御する処理が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
【0175】
すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
【0176】
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【0177】
本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
【0178】
なお、本技術は以下のような構成も採ることができる。
(1)映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得する取得部と、
前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する刺激制御部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いを推定した情報、又は前記映像酔いの度合いを予測した情報の少なくとも一方を含む度合い情報を取得し、
前記刺激制御部は、前記度合い情報に応じて、前記ユーザに対する刺激の提示を制御する
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記刺激制御部は、前記度合い情報が表す前記映像酔いの度合いが所定のレベルに達した場合に、前記ユーザに対する刺激の提示を開始する
情報処理装置。
(4)(3)に記載の情報処理装置であって、
前記所定のレベルは、前記ユーザの映像酔いの予兆が表われるレベルに設定される
情報処理装置。
(5)(1)から(4)のうちいずれか1つに記載の情報処理装置であって、
前記取得部は、映像酔いに関する前記ユーザの状態を表すユーザ状態情報、映像酔いに関する前記ユーザの特性を表すユーザ特性情報、映像酔いに関する前記映像コンテンツの状態を表すコンテンツ状態情報、及び映像酔いに関する前記映像コンテンツの特性を表すコンテンツ特性情報の少なくとも一つに基づいて、前記ユーザの映像酔いの状態を推定する推定処理、又は前記ユーザの映像酔いの状態を予測する予測処理の少なくとも一方を実行して、前記映像酔い情報を生成する
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記ユーザ状態情報は、前記ユーザの生体情報、操作情報、発話情報、及び申告情報の少なくとも一つを含む
情報処理装置。
(7)(6)に記載の情報処理装置であって、
前記生体情報は、前記ユーザの発汗量、心拍数、眼球の運動量、身体の動揺、及び心電波形の少なくとも一つに関する情報を含む
情報処理装置。
(8)(5)から(7)のうちいずれか1つに記載の情報処理装置であって、
前記コンテンツ状態情報は、再生中の前記映像コンテンツにおいて映像酔いの要因となる酔い要素の情報を含み、
前記取得部は、前記コンテンツ状態情報に含まれる前記酔い要素の情報に基づいて、再生中の前記映像コンテンツに関する酔いやすさ特性を推定する
情報処理装置。
(9)(5)から(8)のうちいずれか1つに記載の情報処理装置であって、
前記コンテンツ特性情報は、前記映像コンテンツのシーンごと又はコンテンツ全体について、予め推定された前記映像コンテンツに関する酔いやすさ特性の情報を含み、
前記取得部は、前記コンテンツ特性情報に含まれる前記酔いやすさ特性を読み込む
情報処理装置。
(10)(5)から(9)のうちいずれか1つに記載の情報処理装置であって、
前記ユーザ特性情報は、前記ユーザの過去の視聴体験において発生した映像酔いの状態と前記視聴体験における酔いやすさ特性とを関連づけて記録した履歴情報を含み、
前記取得部は、再生中の前記映像コンテンツに関する酔いやすさ特性と、前記履歴情報とに基づいて、前記映像酔い情報を生成する
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記刺激制御部は、前記映像酔い情報に基づいて、前記刺激を提示するタイミング、前記刺激の継続時間、前記刺激のパラメータ、又は前記刺激の種類の少なくとも1つを制御する
情報処理装置。
(12)(11)に記載の情報処理装置であって、
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの症状の情報を取得し、
前記刺激制御部は、前記映像酔いの症状に応じて、前記ユーザに提示する刺激の種類を設定する
情報処理装置。
(13)(11)又は(12)に記載の情報処理装置であって、
前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いの変化タイプの情報を取得し、
前記刺激制御部は、前記映像酔いの度合いの変化タイプに応じて、前記刺激を提示するタイミングを設定する
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
前記取得部は、前記ユーザの映像酔いに対する抑制効果が高い刺激の情報を取得し、
前記刺激制御部は、前記ユーザに対して前記抑制効果が高い刺激を提示する
情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
前記刺激制御部は、前記映像コンテンツのシーン又は所定の時間間隔ごとに、前記ユーザに対して提示する刺激を変更する
情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記取得部は、前記ユーザに対して、同一の刺激による映像酔いの抑制効果が継続するか否かを判定し、
前記刺激制御部は、前記抑制効果が継続する場合、前記ユーザに対して同一の刺激を継続して提示し、前記抑制効果が継続しない場合、前記ユーザに提示する刺激の種類を変更する
情報処理装置。
(17)(1)から(16)のうちいずれか1つに記載の情報処理装置であって、
前記ユーザに対して提示される刺激は、振動刺激、電気刺激、音刺激、又は光刺激の少なくとも一つを含む
情報処理装置。
(18)(1)から(17)のうちいずれか1つに記載の情報処理装置であって、
前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザの映像酔いの進行を抑えるように前記映像コンテンツを変更する
情報処理装置。
(19)映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得し、
前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する
ことをコンピュータシステムが実行する情報処理方法。
(20)映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得するステップと、
前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御するステップと
をコンピュータシステムに実行させるプログラム。
【符号の説明】
【0179】
1…ユーザ
10…HMD
13…表示ユニット
20…コントローラ
21…センサ部
25…刺激提示部
30…記憶部
31…制御プログラム
32…コンテンツデータベース
33…ユーザデータベース
34…刺激データベース
40…情報処理装置
41…コンテンツ処理部
42…コンテンツ情報取得部
43…ユーザ情報取得部
44…酔い状態推定・予測部
45…刺激制御部
100…コンテンツ提供システム