IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7467094情報処理装置、情報処理方法、及びプログラム
<>
  • 特許-情報処理装置、情報処理方法、及びプログラム 図1
  • 特許-情報処理装置、情報処理方法、及びプログラム 図2
  • 特許-情報処理装置、情報処理方法、及びプログラム 図3
  • 特許-情報処理装置、情報処理方法、及びプログラム 図4
  • 特許-情報処理装置、情報処理方法、及びプログラム 図5
  • 特許-情報処理装置、情報処理方法、及びプログラム 図6
  • 特許-情報処理装置、情報処理方法、及びプログラム 図7
  • 特許-情報処理装置、情報処理方法、及びプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-05
(45)【発行日】2024-04-15
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20240408BHJP
   G09G 5/00 20060101ALI20240408BHJP
   G06F 3/01 20060101ALI20240408BHJP
【FI】
G06T19/00 A
G09G5/00 550C
G09G5/00 550X
G06F3/01 510
【請求項の数】 7
(21)【出願番号】P 2019221951
(22)【出願日】2019-12-09
(65)【公開番号】P2021092883
(43)【公開日】2021-06-17
【審査請求日】2022-11-24
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】琴寄 拓哉
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開2019-152980(JP,A)
【文献】特開2017-054457(JP,A)
【文献】特開2016-031439(JP,A)
【文献】特開2019-086592(JP,A)
【文献】特表2017-534957(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/00-19/00
H04N 13/00
G09G 5/00
A63F 13/00
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
仮想空間を体験する体験者に生ずる可能性がある酔い又は疲労の症状を表す指標を取得する指標取得手段と、
前記体験者が見る画像の表示設定を取得する設定取得手段と、
前記取得された指標と前記表示設定とを、前記体験者に通知する通知手段と、
を有し、
前記指標取得手段は、複数の種類の指標の中の少なくとも一つを取得し、
前記複数の種類の指標は、
ユーザによって入力された指標と、
前記体験者の位置姿勢の変化を表す指標と、
前記体験者の瞬き回数を表す指標と、
前記体験者の眼球のサッケード運動の発生回数を表す指標と、
前記体験者の温度を表す指標と、
前記体験者の発汗を表す指標と、
前記体験者の心拍または脈拍を表す指標と、
の一つ以上を含むことを特徴とする情報処理装置。
【請求項2】
前記設定取得手段は、複数の種類の表示設定の中の少なくとも一つを取得することを特徴とする請求項に記載の情報処理装置。
【請求項3】
前記複数の種類の表示設定は、
表示パネルに表示される画像の表示画角を表す表示設定と、
前記体験者の視線の動きに合わせて画像の表示位置を変更する機能の有効又は無効及び表示画像の最大移動量を表す表示設定と、
前記表示パネルに画像が表示されている時間の割合を表す表示設定と、
前記表示パネルの解像度及び表示画像の解像度を表す表示設定と、
前記表示パネルの輝度を表す表示設定と、
前記表示パネルの色空間を表す表示設定と、
前記表示パネルの色設定を表す表示設定と、
前記表示パネルの一定位置に同じ画像を表示し続けるか否か及びその画像の表示パネル上での専有面積率を表す表示設定と、
前記表示パネルのCG(Computer Graphics)表示領域の専有面積率を表す表示設定と、
前記体験者の注視点以外の画像の解像度を落として描画する機能の有効・無効と解像度低下範囲と解像度低下率の設定を表す表示設定と、
前記体験者の視線移動中の前記表示パネルへの黒画面の挿入の有効又は無効と黒挿入する移動速度の閾値を表す表示設定と、
前記体験者の視線移動中の表示パネルのメッシュ分割の有効・無効とメッシュ分割を有効にする移動速度の閾値を表す表示設定と、
の一つ以上を含むことを特徴とする請求項に記載の情報処理装置。
【請求項4】
前記指標取得手段によって取得された前記指標と、前記設定取得手段によって取得された前記表示設定とを、記録する記録手段を有することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
【請求項5】
前記指標と前記表示設定との関係を保持する保持手段と、
前記保持された関係に基づいて、前記表示設定を変更する設定変更手段と、を有することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
【請求項6】
情報処理装置が実行する情報処理方法であって、
仮想空間を体験する体験者に生ずる可能性がある酔い又は疲労の症状を表す指標を取得する指標取得工程と、
体験者が見る画像の表示設定を取得する設定取得工程と、
前記取得された指標と前記表示設定とを、前記体験者に通知する通知工程と、
を有し、
前記指標取得工程では、複数の種類の指標の中の少なくとも一つを取得し、
前記複数の種類の指標は、
ユーザによって入力された指標と、
前記体験者の位置姿勢の変化を表す指標と、
前記体験者の瞬き回数を表す指標と、
前記体験者の眼球のサッケード運動の発生回数を表す指標と、
前記体験者の温度を表す指標と、
前記体験者の発汗を表す指標と、
前記体験者の心拍または脈拍を表す指標と、
の一つ以上を含むことを特徴とする情報処理方法。
【請求項7】
コンピュータを、請求項1乃至5のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想空間の表示設定を行う際の情報処理技術に関する。
【背景技術】
【0002】
仮想空間を体験する技術として人工現実感(VR:Virtual Reality)技術が知られている。また、現実空間と仮想空間とをリアルタイムに融合させる技術として、複合現実感(MR:Mixed Reality)技術や拡張現実感(AR:Augmented Reality)技術が知られている。これらの技術は、コンピュータによって作られる仮想空間をあたかも現実空間に存在するかのように表示する技術である。
【0003】
体験者が、仮想物体を現実空間に実在するように感じるための装置の一つとして、ビデオシースルー型の情報処理装置がある。ビデオシースルー型の情報処理装置は、ビデオカメラで現実世界を撮影し、その画像に仮想物体を重畳した合成画像を、リアルタイムにディスプレイ等に表示させて体験者に提示する装置である。一般にこのような情報処理装置としては、背面にビデオカメラを有するタブレット端末と呼ばれる携帯型情報端末や、頭部装着型のビデオシースルー型HMD(Head Mounted Display)などが用いられる。体験者は、これら携帯型情報端末やHMDを通して仮想物体などを観察する。以下では、仮想空間上に表示される3次元情報を持った仮想物体を3DCGと呼ぶ。
【0004】
しかし、3DCGを観察する場合、現実物を観察する場合との目の輻輳の違いや、画像表示が実時間に対して遅れて表示される現象(表示レイテンシ)などにより、体験者によっては疲労や動揺病に似た症状(以下、3D酔いと呼ぶ)が生ずる場合がある。このような問題を緩和するために、時間経過とともに色温度を調整する手法(特許文献1)や、体験者の生理状態に基づいて表示する物体の奥行を調整する手法(特許文献2)などが提案されている。また、3DCGの観察に伴う3D酔いや疲労の軽減のために色温度(特許文献1)、動画像の動き(特許文献3)、3D物体の出現頻度(特許文献4)などを調整する手法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2013-257457号公報
【文献】特開2004-357760号公報
【文献】特開2008-230575号公報
【文献】特開2010-88749号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1~4に開示されているような表示設定を変更する手法を用いることによる3D酔いや疲労の軽減効果は、体験者によってまちまちである。このため、各体験者のそれぞれにとって効果のある表示設定を探す必要がある。さらに、どの表示設定がどの程度3D酔いや疲労を軽減するかを調べるには、複数の表示設定に対して実際に3DCGを観察して効果を確かめる必要がある。しかしながら、このような体験者にとって効果のある表示設定を探すことは、非常に手間がかかり容易ではない。
【0007】
そこで、本発明は、体験者に生ずる可能性がある3D酔いや疲労などの症状を軽減できる効果的な表示設定を容易に実現できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
本発明の情報処理装置は、仮想空間を体験する体験者に生ずる可能性がある酔い又は疲労の症状を表す指標を取得する指標取得手段と、前記体験者が見る画像の表示設定を取得する設定取得手段と、前記取得された指標と前記表示設定とを、前記体験者に通知する通知手段と、を有し、前記指標取得手段は、複数の種類の指標の中の少なくとも一つを取得し、前記複数の種類の指標は、ユーザによって入力された指標と、前記体験者の位置姿勢の変化を表す指標と、前記体験者の瞬き回数を表す指標と、前記体験者の眼球のサッケード運動の発生回数を表す指標と、前記体験者の温度を表す指標と、前記体験者の発汗を表す指標と、前記体験者の心拍または脈拍を表す指標と、の一つ以上を含むことを特徴とする。
【発明の効果】
【0009】
本発明によれば、各体験者に生ずる可能性がある3D酔いや疲労などの症状を軽減できる効果的な表示を容易に実現することができる。
【図面の簡単な説明】
【0010】
図1】第一の実施形態に係る情報処理装置の構成を示すブロック図である。
図2】情報処理装置のハードウェア構成例を示す図である。
図3】第一の実施形態の情報処理装置における処理のフローチャートである。
図4】第一の実施形態に係る変形例の構成を示すブロック図である。
図5】第二の実施形態に係る情報処理装置の構成を示すブロック図である。
図6】第一の時点における処理手順のフローチャートである。
図7】第二の時点における処理手順のフローチャート図である。
図8】第二の実施形態に係る変形例の構成を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、添付の図面を参照して、本発明に係る実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<第一の実施形態>
本実施形態では、人工現実感(VR:Virtual Reality)、特に複合現実感(MR:Mixed Reality)や拡張現実感(AR:Augmented Reality)を、体験者に対して提供するシステムを例に挙げる。なお、MRやARは、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待されている。
【0012】
本実施形態では、体験者が頭部装着型のビデオシースルー型HMDを装着し、仮想空間に表示される3次元情報を持った仮想物体(3DCG)を、当該HMDの表示パネルに表示させて、体験者にMRやARを提供する例を挙げる。本実施形態の情報処理装置は、仮想空間の体験者に生ずる可能性がある症状を表す指標を取得する指標取得機能と、体験者がHMDの表示パネル上で見る画像の表示設定を取得する表示設定取得機能とを有する。そして、本実施形態の情報処理装置は、それら取得された指標と表示設定とを、体験者に通知する通知機能と、記録する記録機能とを有している。詳細は後述するが、本実施形態の情報処理装置は、HMDを装着して3DCGを観察する体験者の位置及び姿勢を基に、体験者に生ずる疲労や動揺病に似た症状(3D酔い)の程度を示す指標(酔い・疲労指標とする)を算出する。そして本実施形態の情報処理装置は、その酔い・疲労指標とその時のHMDにおける表示設定とを、体験者へ通知し、さらに記録する。すなわち本実施形態では、HMDの表示パネルに表示される画像の例えば表示画角の違いが、体験者の酔い・疲労にどの程度影響を及ぼすかを、体験者への通知、記録等することでフィードバックする。HMDの表示パネルに表示される画像の表示画角の違いとは、HMDの種類による差やHMDに表示する画像の設定による差を挙げることができる。なお、HMDについては既知であるためその図示や構成等の説明は省略する。
【0013】
図1は、本実施形態に係る情報処理装置100を含むシステムの構成例を示すブロック図である。
図1に示すように、本実施形態に係るシステムは、情報処理装置100、位置姿勢出力部110、指標出力部150、表示部120、記録部130、及び画角設定部140を有して構成されている。また情報処理装置100は、指標取得部101、表示設定取得部102、及び通知部103を有して構成されている。なお情報処理装置100は、例えば、位置姿勢出力部110と指標出力部150と画角設定部140の一つ以上を含んでいてもよい。
【0014】
位置姿勢出力部110は、HMDに搭載されている加速度センサ、角速度センサ等からの検出データを基に、当該HMDを装着している体験者の頭部位置と頭部の向き及び動きを含む姿勢とを算出等して取得する。以下、体験者の頭部の位置と姿勢を合わせて位置姿勢と表記する。なお、体験者の位置姿勢等の算出手法等は既知であるためその説明は省略する。そして、位置姿勢出力部110は、体験者の位置姿勢の情報を指標出力部150に出力する。
指標出力部150は、位置姿勢出力部110から出力された位置姿勢の情報を、情報処理装置100の指標取得部101に出力する。
【0015】
情報処理装置100の指標取得部101は、指標出力部150から送出されてきた位置姿勢の情報を取得する。そして、指標取得部101は、位置姿勢の情報を基に、HMDを装着して3DCGを観察する体験者に生ずる可能性がある疲労や動揺病に似た症状(3D酔い)を表す指標(以下、酔い・疲労指標と呼ぶ)を算出等して取得する。酔い・疲労指標の詳細は後述する。指標取得部101にて取得された酔い・疲労指標の情報は、通知部103に送られる。
【0016】
画角設定部140は、HMDに搭載されている表示パネル上に表示される画像の表示画角を、表示設定を表す情報として、情報処理装置100の表示設定取得部102に出力する。
【0017】
情報処理装置100の表示設定取得部102は、画角設定部140から表示画角を表す表示設定の情報を取得する。そして、表示設定取得部102は、その取得した表示設定の情報を、通知部103に出力する。
【0018】
通知部103は、指標取得部101から酔い・疲労指標の情報を取得し、また、表示設定取得部102から表示設定の情報を取得する。そして、通知部103は、その取得した酔い・疲労指標と表示設定の情報を、表示部120及び記録部130に出力する。
【0019】
表示部120は、HMDの表示パネルに、通知部103から送られてきた酔い・疲労指標及び表示設定を表示する。なお、酔い・疲労指標と表示設定の表示は、それら酔い・疲労指標と表示設定の内容を表すテキストや記号、アイコン、画像など、体験者がそれら酔い・疲労指標と表示設定の内容を認識できる情報として表示される。
記録部130は、通知部103から送られてきた酔い・疲労指標及び表示設定の情報を、ハードディスクやメモリカードなどの記憶媒体に記録する。
【0020】
図2は、本実施形態の情報処理装置100のハードウェア構成例を示した図である。
図2において、CPU201は、バス210を介して接続されている各デバイスを統括的に制御する。CPU201は、読み出し専用メモリであるROM203に記憶された処理ステップやプログラムを読み出して実行する。ROM203には、オペレーティングシステム(OS)をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等が記憶されており、それらは、ランダムアクセスメモリであるRAM202に一時記憶され、CPU201によって適宜実行される。
【0021】
I/F209は、入力I/Fと出力I/Fを含む。入力I/Fは、外部の装置(HMDや操作装置など)からの入力信号を、情報処理装置100で処理可能な形式の信号として入力する。出力I/Fは、情報処理装置100からの出力信号を、外部の装置(HMDとその表示パネルなど)が処理可能な形式として出力する。
【0022】
キーボード204とマウス205は、本情報処理装置100の操作者が指示等を入力するための操作デバイスである。
表示部206は、情報処理装置100のディスプレイ装置に画像やテキスト、ユーザインターフェース画面等を表示する。
外部記憶装置207は、情報処理装置100に接続された記憶装置である。記憶媒体ドライブ208は、情報処理装置100にメモリカード等の記憶媒体が装着された際に記憶媒体を駆動するドライブ装置である。本実施形態の場合、図1の記録部130は、通知部103から送られてきた酔い・疲労指標と表示設定の情報を、外部記憶装置207に記憶又は記憶媒体ドライブ208を介して記憶媒体に記録する。
【0023】
図1に示した情報処理装置100の各機能部は、図2に示したハードウェア構成におけるCPU201が、ROM203に格納されたプログラムをRAM202に展開し、後述する各フローチャート等に従った処理を実行することで実現することができる。また例えば、CPU201を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、本実施形態で説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
【0024】
次に第一の実施形態に係る情報処理装置100における処理手順について説明する。図3は、第一の実施形態の情報処理装置100の処理手順を示すフローチャートである。
ステップS300で処理が開始されると、指標取得部101は、ステップS301として、指標出力部150から、現時点から前の直近60秒間における体験者の位置姿勢の情報を取得する。例えば、HMDに搭載されている加速度センサ、角速度センサ等の検出データを基に、指標取得部101は、直近60秒間における体験者の位置姿勢の情報を例えばフレーム毎に取得する。そして、指標取得部101は、直近60秒間で取得した各位置姿勢の情報から、空間上での移動距離(軌跡長)をその移動した空間の外周面積で割った単位面積当たりの軌跡長を算出し、それを酔い・疲労指標として取得する。指標取得部101は、酔い・疲労指標の情報を通知部103に出力し、その後、情報処理装置100の処理はステップS302に移る。
【0025】
なお、位置姿勢に基づく単位面積当たりの軌跡長は、下記の参考文献1に開示されている手法により算出することができる。酔い・疲労指標は、体験者における同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など、位置姿勢に基づく体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。
【0026】
参考文献1:大川剛、喬・柴田康成、小川哲也、宮田秀雄: 重心動揺検査―単位面積軌跡長の意義―健常者における検討、Equilibrium Res Vol. 54
【0027】
ステップS302に移ると、表示設定取得部102は、画角設定部140からHMDの表示パネルに表示される画像の表示画角を表す表示設定の情報を取得する。表示設定取得部102は表示設定の情報を通知部103に出力し、その後、情報処理装置100の処理はステップS303に移る。
【0028】
ステップS303に移ると、通知部103は、ステップS303で取得された酔い・疲労指標の情報と、ステップS302で取得された表示設定の情報とを、表示部120に通知する。表示部120は、通知された酔い・疲労指標と表示設定とを表示パネルに表示する。ステップS303の後、情報処理装置100の処理はステップS304に移る。
【0029】
ステップS304に移ると、通知部103は、酔い・疲労指標と表示設定の情報を、記録部130に通知する。記録部130は、通知された酔い・疲労指標と表示設定の情報を記憶媒体に記録する。
【0030】
本実施形態によれば、体験者は、ステップS303でHMDの表示パネルに表示された酔い・疲労指標と表示設定の情報を見ることにより、現在の表示画角における自身の単位面積当たりの軌跡長の変化のフィードバックをリアルタイムに知ることができる。これにより、体験者は、現在の表示画角設定が自身の酔い・疲労に与える影響を把握することができることになる。そして、体験者は、複数の表示画角設定において同様の体験を繰り返すことにより、自身の酔い・疲労への影響が少なく、3DCGの表示にも違和感のない適切な画角設定を学習することができる。
【0031】
また本実施形態の情報処理装置100は、ステップS304で記録部130によって記録された表示画角設定と酔い・疲労指標の変化を集計し、表示画角と酔い・疲労指標の相関分析や回帰分析などを行うことができる。これらの分析を行うことで、酔い・疲労と画角設定の相関関係を明らかにでき、この結果に従って、酔い・疲労を軽減するような画角設定を導くことができる。
【0032】
(第一の実施形態の変形例1)
第一の実施形態の変形例1として、体験者の位置姿勢を出力する位置姿勢出力部110の代わりに、図4に示すように、酔い・疲労によって変動する指標を取得して出力する変動指標出力部400が用いられてもよい。なお、第一の実施形態の変形例1の場合、変動指標出力部400以外の構成は前述の図1と同様であるとする。また変形例1の情報処理装置100は、変動指標出力部400と指標出力部150と画角設定部140の少なくとも一つを含んでいてもよい。
【0033】
変形例1において、変動指標出力部400が取得する、酔い・疲労によって変動する指標は、体験者の酔い・疲労に影響のある可能性のある指標であれば、どのような指標であってもよい。変形例1の場合、変動指標出力部400は、酔い・疲労によって変動する指標として、例えば以下の(1)~(8)のような複数の種類の情報の少なくとも一つを、取得して指標出力部150に出力する。
【0034】
(1)体験者自身が酔い・疲労を感じたことをシステムに通知するためユーザ入力
(2)直近の一定期間における体験者の位置の空間上の移動距離(軌跡長)
(3)直近の一定期間における体験者の姿勢の変化量
(4)直近の一定期間における体験者の瞬き回数
(5)直近の一定期間における体験者の眼球のサッケード運動の発生回数
(6)体験者の温度(体温)
(7)体験者の発汗(体験者の掌の伝導率など、体験者の発汗によって変動する指標であれば、公知のいずれの指標でも良い)
(8)直近の一定期間における体験者の心拍数または脈拍数
【0035】
上記の(1)に挙げた、体験者からの酔い・疲労を感じたことに関するユーザ入力は、システムが通知を認識できる手法であれば、公知のいずれの手法が用いられてもよい。当該ユーザ入力として、例えば図2のキーボード204やマウス205の操作、不図示のソフトウェアによるボタンやハードウェアによるボタン操作、音声認識を介した入力などが挙げられる。
【0036】
変形例1において、変動指標出力部400は、上記の(1)~(8)に挙げた少なくとも一つの指標(それらの組み合わせを含む)の情報を、指標出力部150に出力する。指標出力部150は、変動指標出力部400から送られてきた情報を、情報処理装置100の指標取得部101に出力する。
【0037】
指標取得部101は、指標出力部150から送られてきた酔い・疲労の変動指標と、前述の表示設定と、酔い・疲労指標とをセットとして、通知部103に入力する。
そして変形例1の通知部103は、入力された酔い・疲労指標の一覧と、表示設定取得部102から入力された表示設定とを、表示部120と記録部130に出力する。
【0038】
第一の実施形態の変形例1によれば、体験者の酔い・疲労の程度をより多くの種類の指標で判別できるようになる。これにより各体験者の酔い・疲労の程度を反映しやすい指標を利用することができるようになり、表示設定と酔い・疲労の相関関係をより正確に検知、分析することが可能となる。
【0039】
(第一の実施形態の変形例2)
第一の実施形態の変形例2として、HMDの表示パネルに表示される画像の画角表示設定を出力する画角設定部140の代わりに、図4に示すように、酔い・疲労に影響のある表示設定の情報を出力する表示設定部410が用いられてもよい。なお変形例2の情報処理装置100は、表示設定部410を含んでいてもよい。また第一の実施形態の変形例2の場合、表示設定部410以外の構成は前述の図1と同様であってもよく、前述の変形例1と同様に変動指標出力部400が備えられていてもよい。
【0040】
変形例2において、表示設定部410が取得する、酔い・疲労に影響のある表示設定は、体験者の酔い・疲労に影響のある可能性のある表示設定であれば、いずれの表示設定であってもよい。変形例2の場合、表示設定部410は、酔い・疲労に影響のある表示設定に関する情報として、例えば以下の(9)~(19)のような複数の種類の情報の少なくとも一つを、取得して表示設定取得部102に出力する。
【0041】
(9)Timewarp(参考文献2)の有効・無効と表示画像の最大移動量(強度)
(10)表示パネルに画像が表示されている時間の割合(DutyRate)
(11)表示画像の解像度及び表示パネルの解像度
(12)表示パネルの輝度
(13)表示パネルの色空間
(14)表示パネルの色設定
(15)表示パネル上の一定位置に同じ画像を表示し続けるか否か、及びその画像の表示パネル上での専有面積率(固定画像表示設定)
(16)表示パネル上のCG(Computer Graphics)表示領域の専有面積率
(17)FoveatedRendering(参考文献3)の有効・無効と解像度低下範囲と解像度低下率(FoveatedRendering設定)
(18)体験者の視線移動中の表示パネルへの黒画面の挿入の有効・無効と黒挿入する移動速度の閾値
(19)体験者の視線移動中の表示パネルのメッシュ分割の有効・無効とメッシュ分割を有効にする移動速度の閾値
【0042】
なお上記の(9)に挙げたTimewarpに関する技術は下記の参考文献2に開示されており、HMD装着者の視線の動きに合わせて画像の表示位置を変更する技術である。
【0043】
参考文献2:Daniel Evangelakos, Michael Mara:Extendted TimeWarp Compensation for Virtual Reality, poster at I3D 2016
【0044】
また上記の(10)に挙げた表示パネルに画像が表示されている時間の割合(DutyRate)は、1フレームのうち、表示パネルに画像が表示されている時間の割合である。
上記の(14)に挙げた表示パネルの色設定は、ガンマ補正やカラープロファイルなど、実際にパネルに表示される色に関する設定であれば、公知のいずれであってもよい。
上記の(17)に挙げたFoveatedRenderingに関する技術は、下記の参考文献3に開示されており、HMD装着者の注視点以外の画像の解像度を落として描画する技術である。
【0045】
参考文献3:Wilson S. Geisler, Jeffrey S. Perry:Variable-Resolution Displays for Visual Communication and Simulation, SID Symposium Digest of Technical Papers Volume 30, Issue1 May 1999
【0046】
第2の実施形態の変形例2において、表示設定部410は、上記の(9)~(19)に挙げた少なくとも一つの表示設定に関する情報(それらの組み合わせを含む)を、表示設定取得部102に出力する。
変形例2の場合、表示設定取得部102は、表示設定部410から送られてきた表示設定と、前述の酔い・疲労指標とをセットとして、通知部103に入力する。
そして変形例2の通知部103は、入力された表示項目と酔い・疲労指標とを、表示部120と記録部130に出力する。
【0047】
第一の実施形態の変形例2によれば、より多くの表示設定が体験者の酔い・疲労に及ぼす影響を検知、分析できるようになる。これにより、各体験者の酔い・疲労をより多く軽減するような表示設定を把握、分析することができるようになる。
【0048】
(第一の実施形態の変形例3)
第一の実施形態の変形例3として、体験者に対する酔い・疲労と表示設定の関係を体験後に分析することのみを目的とする場合には、第一の実施形態の表示部120を無くし、通知部103が記録部130に通知するようにしてもよい。
本変形例3によれば、体験中に体験者を邪魔することなく、後から酔い・疲労に関連する表示設定を分析することが可能となる。
【0049】
(第一の実施形態の変形例4)
第一の実施形態の変形例4として、体験者に対する酔い・疲労と表示設定の関係をリアルタイムなフィードバックのみから学習するために、第一の実施形態の記録部130を無くし、通知部103が表示部120のみに通知するようにしてもよい。
本変形例4によれば、酔い・疲労指標と表示設定の記録の負荷がなくなり、体験中の計算負荷を減らしつつ、体験者には現在の表示設定における酔い・疲労指標の変化のフィードバックを与えることができるようになる。
【0050】
(第一の実施形態の変形例5)
第一の実施形態の変形例5として、図3のステップS303において表示部120への通知を単位面積当たりの軌跡長が一定の基準値を超えた場合のみに行うようにしてもよい。この時の基準値は、ユーザが指定した値でも良いし、前述した参考文献1に開示されている健常者の重心動揺の軌跡長など、体験者の酔い・疲労の増大を示すものであれば公知のいずれの値でも良い。
本変形例5によれば、体験者が酔い・疲労を感じた際に有効になっていた表示設定のみを選別することができる。これにより、より精度の高い表示設定の影響度の把握、分析ができるようになる。
【0051】
<第二の実施形態>
第二の実施形態では、体験者の酔い・疲労指標として体験者の位置姿勢の軌跡長とユーザ入力とを用い、表示設定として表示画角設定とTimewarp表示設定とを用いる。第二の実施形態では、酔い・疲労指標と表示設定の記録と変更を、第一の時点と第二の時点の二つの時点で別々に行う。第一の時点では、各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値とを記録することで、各体験者の表示設定が酔い・疲労指標へ及ぼす影響を記録する。第二の時点では、第一の時点で記録した結果に基づき、表示設定を自動的に変更する。
【0052】
図5は、第二の実施形態に係るシステムの構成例を示したブロック図である。なお第一の実施形態と同じ構成については説明を省略する。
第二の実施形態のシステムは、図5に示すように、前述した第一の実施形態の構成に加えて、Timewarp設定取得部550、ユーザ入力部504、指標及び設定保持部506、時間取得部507、及び表示設定変更部508を有して構成されている。
【0053】
Timewarp設定取得部550は、現在のTimewarpの有効・無効と最大移動量(強度)を取得し、表示設定取得部102に送る。
ユーザ入力部504は、体験者が酔いや疲労を感じた際の入力を受け付け、指標及び設定保持部506に送る。なお、ユーザ入力部504はソフトウェアによるボタン入力、ハードウェアによるボタン入力、音声入力などユーザがシステムに酔いや疲労を感じたことを通知できるものであれば、公知のいずれのものでも良い。
【0054】
指標及び設定保持部506は、第一の時点では指標取得部101から取得した酔い・疲労指標と、表示設定取得部102から取得した表示設定と、時間取得部507から取得した体験時間との各情報を保持する。体験時間は、当該表示設定によって体験者に酔い・疲労の症状が生じるまでの時間に相当し、その時間によって当該表示設定による酔い・疲労の症状への影響を評価することが可能な時間である。また指標及び設定保持部506は、第二の時点では第一の時点で保持した酔い・疲労指標を判定部509に出力する。さらに指標及び設定保持部506は、第一の時点で保持した表示設定と体験時間の情報を、表示設定変更部508に出力する。
【0055】
時間取得部507は、体験者によるMRやARの体験開始からの経過時間の情報を、指標及び設定保持部506に出力する。
表示設定変更部508は、通知部103からの通知を受け、指標及び設定保持部506から、第一の時点で保持した表示設定と体験時間の情報を取得する。
判定部509は、指標及び設定保持部506が第一の時点で保持した酔い・疲労指標の情報を取得し、判定基準とする。さらに、判定部509は、指標取得部101から酔い・疲労指標を取得し、その酔い・疲労指標の値が判定基準を超えていた場合には通知部103に通知を出力する。
【0056】
次に第二の実施形態に係る情報処理装置500の処理手順について説明する。図6は第一の時点における情報処理装置500の処理手順を示すフローチャートである。図7は、第二の時点における情報処理装置500の処理手順を示すフローチャートである。
【0057】
第二の実施形態の情報処理装置500は、第一の時点では各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を記録する。
【0058】
以下、図6に示すフローチャートを用いて第一の時点における情報処理装置500の処理の流れを説明する。
ステップS601で処理が開始されると、指標取得部101は、ステップS602において、指標出力部150から、現時点から前の直近60秒間の体験者の位置姿勢の情報を取得する。
【0059】
そして、指標取得部101は、取得した位置姿勢の空間上での移動距離(軌跡長)を移動した空間の外周面積で割った単位面積当たりの軌跡長を、酔い・疲労指標として取得する。さらに指標取得部101は、直近60秒間の姿勢変化量についても酔い・疲労指標として取得する。なお、第一の実施形態の場合と同様に、酔い・疲労指標は、同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など位置姿勢を用いて体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。ステップS602の後、情報処理装置500の処理はステップS603に移る。
【0060】
ステップS603に移ると、表示設定取得部102は、Timewarp設定取得部550からTimewarpの有効・無効と最大移動量(強度)の情報を取得し、画角設定部140から表示されている画像の表示画角に係る表示設定の情報を取得する。ステップS603の後、情報処理装置500の処理はステップS604へ移る。
【0061】
ステップS604に移ると、指標及び設定保持部506は、ユーザ入力部504からのユーザ入力があったか否かを判定する。ここで、体験者は、酔いまたは疲労を感じた場合、それをユーザ入力部504から入力する。指標及び設定保持部506は、ステップS604において、酔いまたは疲労を感じたユーザ入力があった場合には処理をステップS605に移し、一方、ユーザ入力がない場合には処理をステップS601に戻す。
【0062】
ステップS605に移ると、指標及び設定保持部506は、指標取得部101の出力を受け取る。指標取得部101は、第一の実施形態で説明したのと同様に、直近60秒間の体験者の位置姿勢の空間上での移動距離(軌跡長)を移動した空間の外周面積で割った単位面積当たりの軌跡長を出力する。さらに、指標取得部101は、直近60秒間の姿勢変化量を出力する。そして、指標及び設定保持部506は、これらを体験者の酔い・疲労時の位置姿勢の単位面積当たりの軌跡長と姿勢変化量として保持する。ステップS605の後、情報処理装置500の処理はステップS606に移る。
【0063】
ステップS606に移ると、時間取得部507は、体験者の連続体験時間を取得し、その連続体験時間の情報を指標及び設定保持部506に送る。ステップS606の後、情報処理装置500の処理はステップS607に移る。
【0064】
ステップS607に移ると、指標及び設定保持部506は、表示設定取得部102からTimewarpの有効・無効と最大移動量(強度)の情報と、表示されている画像の表示画角に係る表示設定の情報を取得する。また、指標及び設定保持部506は、ステップS606で取得された体験者の連続体験時間を、Timewarpの有効・無効と最大移動量と表示されている表示画角の表示設定における酔い・疲労到達時間として保持する。このステップS607の後、情報処理装置500は、第一の時間における処理を終了する。
【0065】
次に、図7に示すフローチャートを用いて第二の時点における処理の流れを説明する。情報処理装置500は、第二の時点では体験者の酔い・疲労状態に応じて自動的に表示設定を変更する。
ステップS701で処理が開始されると、指標取得部101は、ステップS702において、指標出力部150から、現時点から前の直近60秒間の体験者の位置姿勢の情報を取得する。ステップS702では、前述のステップS602の処理と同様に、取得した位置姿勢の空間上での移動距離(軌跡長)を移動した空間の外周面積で割った単位面積当たりの軌跡長を、酔い・疲労指標として取得する。また指標取得部101は、直近60秒間の姿勢変化量についても酔い・疲労指標として取得する。なお、この場合も前述同様に、酔い・疲労指標は、同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など位置姿勢を用いて体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。ステップS702の後、情報処理装置500の処理はステップS703に移る。
【0066】
ステップS703に移ると、判定部509は、指標取得部101から、現在の酔い・疲労指標を取得する。さらに判定部509は、指標及び設定保持部506から図6のステップS607で記録した体験者の酔い・疲労時の体験者の位置姿勢の軌跡長と姿勢変化量とを取得する。そして、判定部509は、酔い・疲労指標が第一の基準に達したか否かを判定する。本実施形態の場合、第一の基準は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の30%に達しているか、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の80%以下である場合として設定されている。判定部509は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の30%に達している、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の80%以下であると判定した場合にステップS704に処理を移す。一方、判定部509は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の30%に達していない、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の80%を超えている場合にはステップS702に処理を戻す。なお第一の基準は、ユーザが任意に決めた値やユーザ入力の有無でも良く、ステップS605で保持した体験者の酔い・疲労時の酔い・疲労指標に対する任意の割合でも良く、体験者が酔い・疲労の程度が大きくなっていることを示すものであればいずれでも良い。また、酔い・疲労指標は、複数の指標に対して、各指標の酔い・疲労時の値を1として正規化した後に、各指標に対する正規化した値を重み付けして加算した値が用いられても良い。ステップS703の後、情報処理装置500の処理はステップS704に移る。
【0067】
ステップS704に移ると、表示設定変更部508は、指標及び設定保持部506からステップS607で保持した表示設定の情報を取得する。そして、表示設定変更部508は、取得した表示設定のうち、最も酔い・疲労到達時間の短かったTimewarp設定を取得し、表示部120のTimewarp設定に反映する。ステップS704の後、情報処理装置500の処理はステップS705に移る。
【0068】
ステップS705に移ると、判定部509は、指標取得部101から現在の単位面積当たりの軌跡長を取得する。さらに判定部509は、指標及び設定保持部506からステップS607で記録した体験者の酔い・疲労時の単位面積当たりの軌跡長を取得する。そして、判定部509は、酔い・疲労指標が第二の基準に達したか否か判定する。本実施形態の場合、第二の基準は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の80%に達しているか、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の30%以下である場合として設定されている。判定部509は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の80%に達している、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の30%以下であると判定した場合にステップS706に処理を移す。一方、判定部509は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の80%に達していない、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の30%を超えていると判定した場合にはステップS702に処理を戻す。なお第二の基準は、ユーザが任意に決めた値やユーザ入力の有無でも良く、ステップS605で保持した体験者の酔い・疲労時の酔い・疲労指標に対する任意の割合でも良く、体験者が酔い・疲労の程度が大きくなっていることを示すものであればいずれでも良い。また前述同様に、酔い・疲労指標は、複数の指標に対して、各指標の酔い・疲労時の値を1として正規化した後に、各指標に対する正規化した値を重み付けして加算した値が指標として用いられても良い。また、基準は、第一の基準や第二の基準に限らず任意の数の基準が設けられても良い。
【0069】
ステップS706に移ると、表示設定変更部508は、指標及び設定保持部506からステップS607で保持されている画角の表示設定のうち、最も酔い・疲労到達時間の短かった画角の表示設定の情報を取得し、表示部120の画角の表示設定に反映する。
【0070】
第2の実施形態によれば、それぞれの体験者が酔い・疲労を感じる前に、酔い・疲労を軽減する表示設定を適用することができる。また、体験者自身が、酔い・疲労を軽減する表示設定を把握していない場合でも、酔い・疲労を軽減する表示設定を推測し、適用することができる。さらに、第2の実施形態によれば、体験の酔い・疲労状態を判別する指標が明らかになっていない場合でも、体験者ごとの酔い・疲労指標と基準と推測し、体験者ごとの酔い・疲労度合を判別することができる。
【0071】
(第二の実施形態の変形例1)
第二の実施形態においても変形例1として、前述の第一の実施形態の変形例1と同様に、体験者の位置姿勢を出力する位置姿勢出力部110の代わりに、酔い・疲労によって変動する指標を取得して出力する変動指標出力部が用いられてもよい。第二の実施形態の変形例1に係る構成の図示は省略するが、第二の実施形態の場合は図5の位置姿勢出力部110に代えて、前述の図4に示したのと同様の変動指標出力部400が設けられる。
【0072】
第二の実施形態の変形例1の場合、変動指標出力部400は、前述の第一の実施形態の変形例1において(2)~(8)で説明した複数の種類の指標のうち、少なくとも一つの指標の情報を、指標出力部150に出力する。指標出力部150は、変動指標出力部400から送られてきた情報を、情報処理装置100の指標取得部101に出力する。
第二の実施形態の変形例1においても、指標取得部101は、酔い・疲労の変動指標と前述の表示設定と酔い・疲労指標とをセットとして、通知部103に入力する。
【0073】
第二の実施形態の変形例1においても、第一の実施形態の場合と同様に、体験者の酔い・疲労の程度をより多くの指標で判別できるようになる。これにより各体験者の酔い・疲労の程度を反映しやすい指標を利用することができるようになり、表示設定と酔い・疲労の相関関係をより正確に検知、分析することができる。
【0074】
(第二の実施形態の変形例2)
第二の実施形態においても変形例2として、前述の第一の実施形態の変形例2と同様に、HMDの表示パネルに表示される画像の画角表示設定を出力する画角設定部140の代わりに、酔い・疲労に影響のある表示設定の情報を出力する表示設定部を用いても良い。第二の実施形態の変形例2に係る構成の図示は省略するが、第二の実施形態の場合は図5の画角設定部140に代えて、前述の図4に示したのと同様の表示設定部410が設けられる。
【0075】
第二の実施形態の変形例2の場合、表示設定部410は、前述の第一の実施形態の変形例2において(9)~(19)で説明した複数の種類の情報の少なくとも一つを取得して、情報処理装置500の表示設定取得部102に出力する。そして、第二の実施形態の変形例2の場合、表示設定取得部102は、それら各表示設定と、Timewarp設定取得部550から取得したTimewarpの有効・無効と最大移動量(強度)の情報とを、指標及び設定保持部506に出力する。
【0076】
第二の実施形態の変形例2によれば、第一の実施形態の場合と同様に、より多くの表示設定が体験者の酔い・疲労に及ぼす影響を検知、分析できるようになり、各体験者の酔い・疲労をより多く軽減するような表示設定を把握、分析することができるようになる。
【0077】
(第二の実施形態の変形例3)
第二の実施形態の変形例3では、表示設定と体験者の酔い・疲労の関係を機械学習する例を挙げる。第二の実施形態の変形例1と変形例2の場合、指標及び設定保持部506は、図6のステップS607において表示設定取得部102から表示設定を取得し、ステップS606で取得した体験者の連続体験時間を、表示設定の酔い・疲労到達時間として保持する。第二の実施形態の変形例3では、その代わりに、表示設定、酔い・疲労指標を入力とし、ユーザ入力を出力として学習を行い、その結果を保持する。当該学習に用いる学習アルゴリズムは、ニューラルネットワークでの学習など、原因と結果の因果関係を推測するアルゴリズムであれば、公知のいずれの学習アルゴリズムを用いて良い。
【0078】
第二の実施形態の変形例3によれば、複数の表示設定の中からどの表示設定がどの程度酔い・疲労に影響するのかをより正確に分析することができる。また、酔い・疲労の判定基準についても複数の酔い・疲労指標の中からより正確に酔い・疲労を判定できる組み合わせを分析することができる。
【0079】
(第二の実施形態の変形例4)
第二の実施形態の変形例4では、第一の時点での酔い・疲労指標と第二の時点での酔い・疲労指標とで異なる指標を用いる。
本変形例4の場合、情報処理装置は、前述した図5の構成に指標選定部801を加えた、図8に示すような情報処理装置800となされる。
【0080】
指標選定部801は、第一の時点においては、保持した酔い・疲労指標から、体験者の酔い・疲労状態をより高い精度で判定できる指標や、より簡便な指標を選定する。そして、判定部509は、第二の時点において、指標選定部801によって選定された指標を用いて体験者の酔い・疲労状態を判定する。このため、指標選定部801は、第一の時点において、指標及び設定保持部506から、酔い・疲労状態での酔い・疲労指標を取得する。一方、第二の時点において、指標選定部801は、判定部509へ酔い・疲労の判定に用いる酔い・疲労指標の種類を出力する。
【0081】
以下、第二の実施形態の変形例4の場合において、図6図7に示した第二の実施形態のフローチャートとの差異を説明する。
変形例4の場合、指標選定部801は、第二の時点のステップS703、S704で基準とする酔い・疲労指標として、第一の時点のステップS605で保持した体験者の酔い・疲労状態での酔い・疲労指標のみを基準として出力し、ユーザ入力を出力しない。また単に、ユーザ入力を除くだけでなく、より体験者の酔い・疲労状態と相関の高い指標を学習・分析し、その結果に基づき選定しても良い。
【0082】
また第一の時点の処理を、第二の実施形態の変形例1で述べたように複数の酔い・疲労指標で複数回行い、各試行のステップS605で保持した体験者の酔い・疲労状態での酔い・疲労指標が学習、分析されても良い。
このとき、学習や分析は、各酔い・疲労指標を入力とし、ユーザ入力による酔い・疲労状態を出力としたものであれば、相関分析や回帰分析、ニューラルネットによる学習など公知のいずれの手段でも良い。
そして、この学習・分析結果から、ユーザ入力を除く体験者の酔い・疲労状態と相関の高い酔い・疲労指標のみを、第二の時点のステップS703、S704において指標選定部801が出力しても良い。
【0083】
第二の実施形態の変形例4によれば、第二の時点ではユーザ入力の必要がなくなり、体験者の体験を阻害することなく、酔い・疲労を軽減することができる。また、体験者の酔い・疲労状態に関係ない指標を排除することでより軽い負荷と高い精度で酔い・疲労状態を判定するができるようなる。
【0084】
(第二の実施形態の変形例5)
第二の実施形態の変形例5では、体験者ごとに、酔い・疲労指標と表示設定の保持、設定を行う例を挙げる。
本変形例5の場合、情報処理装置は、前述した図5の構成にユーザ特定部802を加えた、図8に示す情報処理装置800となされる。
【0085】
ユーザ特定部802は、現在の体験者を特定し、指標及び設定保持部506と判定部509へ体験者のID(識別情報)を出力する。体験者の特定は、ユーザによる入力や、指紋認証など、個人を特定できる方法であれば公知のいずれの手段でも良い。
【0086】
本変形例5の場合、指標及び設定保持部506は、第一の時点のステップS605での各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を、体験者ごとに保持する。
本変形例5の場合、第二の時点でも体験者を選び、該当する体験者の酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を基準として用いる。
【0087】
さらに、本変形例5においても、前述した第二の実施形態の変形例4と同様に、第一の時点と第二の時点で異なる酔い・疲労指標を用いても良い。このとき、各酔い・疲労指標を入力とし、ユーザ入力による酔い・疲労状態を出力とした、学習・分析が体験者ごとに行い、その学習・分析結果が保持される。
【0088】
第二の実施形態の変形例5によれば、体験者ごとに酔い・疲労状態を良く反映する指標が異なる場合でも、適切な酔い・疲労指標を選択することができ、より正確に酔い・疲労状態を判定することができる。これによって、体験者ごとの酔い・疲労を軽減する表示設定の分析と自動設定をより正確に行うことができる。
【0089】
以上説明したように、各実施形態によれば、各体験者にとって、3D酔いや疲労の軽減効果のある表示設定を提供することができる。これによって、体験者が複数の表示設定の中から3D酔い、疲労を軽減する設定を選ぶことができるようになる。また、システムが3D酔いや疲労の度合いに応じて自動的に表示設定を変更することができるようになる。また、機械学習の入力、出力として本発明の表示設定、酔い・疲労の度合いを利用することで、表示設定と酔い・疲労の関係を学習させることができる。
【0090】
本発明は、各実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0091】
100:情報処理装置、101:指標取得部、102:表示設定取得部、103:通知部、110:位置姿勢出力部、120:表示部、130:記録部、140:画角設定部、150:指標出力部
図1
図2
図3
図4
図5
図6
図7
図8