(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118935
(43)【公開日】2024-09-02
(54)【発明の名称】ヘッドマウントディスプレイ用の機能制御システムおよび機能制御装置
(51)【国際特許分類】
H04N 5/64 20060101AFI20240826BHJP
【FI】
H04N5/64 511A
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023025549
(22)【出願日】2023-02-21
(71)【出願人】
【識別番号】521219637
【氏名又は名称】InstaVR株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】芳賀 洋行
(57)【要約】
【課題】プロセッサ一体型のVR用のヘッドマウントディスプレイについて、装着して使用するユーザと管理者とが異なる場合でも、使用上の注意事項に対するユーザの同意を、簡単かつ確実に得ることが可能なヘッドマウントディスプレイ用の機能制御システムおよび機能制御装置を提供する。
【解決手段】ヘッドマウントディスプレイの機能を制御する機能制御装置は、ヘッドマウントディスプレイを格納可能な格納部と、ヘッドマウントディスプレイの機能を制御する機能制御用プロセッサと、タッチパネルディスプレイと、を備え、機能制御用プロセッサは、ヘッドマウントディスプレイを装着して使用するユーザに向けた使用上の注意事項と、注意事項に対するユーザの同意の意思表示を入力するための同意ボタンとを、タッチパネルディスプレイに表示し、同意ボタンが操作された場合に、VR用プロセッサに対して、機能制限を解除する解除信号を送信する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
プロセッサ一体型のヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの機能を制御する機能制御装置とを備えたヘッドマウントディスプレイ用の機能制御システムであって、
前記プロセッサ一体型のヘッドマウントディスプレイは、
VRコンテンツの表示、前記表示を制限する機能制限、および外部との通信を含む処理を実行するVR用プロセッサを備えており、
前記機能制御装置は、
前記ヘッドマウントディスプレイを格納可能な格納部と、
前記ヘッドマウントディスプレイとの通信により前記ヘッドマウントディスプレイの機能を制御する機能制御用プロセッサと、
タッチパネルディスプレイと、を備え、
前記機能制御用プロセッサは、
前記ヘッドマウントディスプレイを装着して使用するユーザに向けた使用上の注意事項と、前記注意事項に対する前記ユーザの同意の意思表示を入力するための同意ボタンとを、前記タッチパネルディスプレイに表示し、
前記同意ボタンが操作された場合に、前記VR用プロセッサに対して、前記機能制限を解除する解除信号を送信することを特徴とする、ヘッドマウントディスプレイ用の機能制御システム。
【請求項2】
前記機能制御用プロセッサは、前記同意ボタンを操作したユーザのユーザIDを受け付けて、同意済みのユーザのリストである同意者リストを記録することを特徴とする請求項1に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項3】
さらに、前記ユーザを撮影可能なカメラを備えていることを特徴とする請求項2に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項4】
前記機能制御用プロセッサは、前記カメラで撮影された前記ユーザの撮影画像を、前記機能制限の解除に関する制御に用いることを特徴とする請求項3に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項5】
前記同意者リストには、前記撮影画像が前記ユーザIDと対応付けて記録されており、
前記機能制御用プロセッサは、前記カメラが撮影した最新の撮影画像と前記同意者リストに記録済みの過去の撮影画像とを照合し、前記同意者リスト内に、最新の撮影画像に対応するユーザの前記ユーザIDが有る場合は、前記同意ボタンの操作の有無に関わらず、前記解除信号を送信することを特徴とする請求項4に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項6】
前記カメラが、前記ヘッドマウントディスプレイを装着したユーザと、前記同意ボタンを操作する操作者との両方を撮影可能な場合において、
前記機能制御用プロセッサは、前記カメラが撮影した撮影画像に基づいて、前記ユーザと前記操作者とが同一人物か否かを判定し、同一人物でない場合は、前記解除信号を送信しないか、あるいは、前記解除信号が送信済みの場合は前記機能制限を再開する再開信号を送信することを特徴とする請求項4に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項7】
前記機能制御用プロセッサは、前記ヘッドマウントディスプレイを装着したユーザを、前記カメラによって監視し、
前記カメラの視界から前記ヘッドマウントディスプレイが消失した場合は、前記VR用プロセッサに対して、前記機能制限を再開する再開信号を送信することを特徴とする請求項4に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項8】
前記機能制御用プロセッサは、前記同意者リスト内に、受け付けた前記ユーザIDと同一のユーザIDが有る場合は、前記同意ボタンの操作の有無に関わらず、前記解除信号を送信することを特徴とする請求項2に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項9】
前記ヘッドマウントディスプレイの前記格納部への格納状態を検知する検知センサを有している、請求項1に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項10】
前記機能制御用プロセッサは、前記検知センサを通じて、前記機能制限が解除された状態の前記ヘッドマウントディスプレイが再び前記格納部に格納されたことを検知した場合に、前記VR用プロセッサに対して、前記機能制限を再開する再開信号を送信することを特徴とする請求項9に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項11】
前記機能制御用プロセッサは、前記同意ボタンの操作が無い状態で、前記ヘッドマウントディスプレイが前記格納部から取り出されたことを検知した場合に、前記ユーザに対して前記同意を促す警告を発することを特徴とする請求項9に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項12】
前記格納部には、前記ヘッドマウントディスプレイの取り出しを制限する機械的なロック機構が設けられており、
前記機能制御用プロセッサは、前記同意ボタンが操作された場合に、前記ロック機構を解除することを特徴とする請求項1に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項13】
前記VR用プロセッサは、前記機能制限が解除されていない場合に、前記ユーザに対して前記同意を促す警告を発する機能を有することを特徴とする請求項1に記載のヘッドマウントディスプレイ用の機能制御システム。
【請求項14】
VRコンテンツの表示、前記表示を制限する機能制限、および外部との通信を含む処理を実行するVR用プロセッサを有するプロセッサ一体型のヘッドマウントディスプレイに用いられる機能制御装置であって、
前記ヘッドマウントディスプレイを格納可能な格納部と、
前記ヘッドマウントディスプレイとの通信により前記ヘッドマウントディスプレイの機能を制御する機能制御用プロセッサと、
タッチパネルディスプレイと、を備え、
前記機能制御用プロセッサは、
前記ヘッドマウントディスプレイを装着して使用するユーザに向けた使用上の注意事項に加えて、前記注意事項に対する前記ユーザの同意の意思表示を入力するための同意ボタンを、前記タッチパネルディスプレイに表示し、
前記同意ボタンが操作された場合に、前記VR用プロセッサに対して、前記機能制限を解除する解除信号を送信することを特徴とする、ヘッドマウントディスプレイ用の機能制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイ用の機能制御システムおよび機能制御装置に関する。
【背景技術】
【0002】
仮想現実(Virtual Reality;VR)技術の進化に伴い、VR用のヘッドマウントディスプレイのインテリジェント化も進んでいる。VR用のヘッドマウントディスプレイとして、プロセッサ一体型のVR用のヘッドマウントディスプレイが知られている。このようなプロセッサ一体型のVR用のヘッドマウントディスプレイは、ヘッドマウントディスプレイとは別体のプロセッサが必要なタイプと区別するために、一般的に、オールインワンVRヘッドセット(All-in-One VR Headset:AIOVRH)などと呼ばれる。以下において、このようなプロセッサ一体型のVR用のヘッドマウントディスプレイをAIOVRHという。AIOVRHは、VRコンテンツを表示するディスプレイ部とVRコンテンツの表示を制御するVR用プロセッサとが一体となったものである。AIOVRHは、AIOVRHに一体化されているディスプレイ部やプロセッサ以外にはディスプレイ部やプロセッサを持たず、なんら外部の装置を必要とせずにVRコンテンツの提供を行えることが特徴である。
【0003】
VRコンテンツにおいて提供される仮想現実の距離、範囲および移動速度などは、現実世界を超越した領域に達し、AIOVRHを装着するユーザに提供される情報は、質および量ともに現実離れしたものとなる。そのため、例えば、特許文献1にも記載されているように、ユーザの動きとは一致しない、予期しない画像を視聴すると、ユーザはVR酔いなどの、健康被害を受けるおそれがあることが知られている。より具体的には、ユーザにおいて、体や内耳(三半規管や耳石器)から得られる情報と目からの視覚的情報との乖離が生じやすく、これが原因でVR酔いが発生する場合がある。VR酔いは、脳が混乱することによって起こる車酔いに類似した自律神経系の病的反応であり、車酔い同様にめまいや吐き気などの症状を引き起し、酷い場合は、半日から一日以上症状が続く場合がある。VR酔いの程度は、体や内耳から得られる情報と目からの視覚的情報との差が大きいほど強く、VR酔いが発生した状態で視聴を続けるとさらに症状は酷くなる。また車酔いしやすいユーザの場合、体や内耳から得られる情報と目からの視覚的情報との差が軽微であったとしてもVR酔いが発生しやすい。
【0004】
そこで、AIOVRHの販売会社やメーカなどの製品提供者は、AIOVRHを使用する場合はVR酔いがユーザに生じるおそれがあることをユーザに知らせることにより注意喚起を行っている。加えて、VR酔いによって生じるユーザの不利益に対する免責事項等を含む使用上の注意事項に対してユーザの同意を得るための工夫をしている。例えば、AIOVRHの梱包箱に貼付するシールを利用し、このシールに使用上の注意事項を記載する方法がある。具体的には、シールには、免責事項を含む使用上の注意事項に加えて、シールを破壊して梱包箱を開封した場合は、免責事項を含む注意事項に対してユーザが同意したとみなす旨の注意書きが記載されており、製品提供者は、シールが破壊されたことをもってユーザの同意が得られることになる。また、梱包が開封された後、AIOVRHの初回起動時にAIOVRHのディスプレイ部に免責事項を含む使用上の注意事項を表示し、コントローラ等による同意操作によって同意が得られた場合のみ、VRコンテンツの表示を可能とする方法もある。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、従来の同意を得る方法は、AIOVRHの管理者とAIOVRHを装着して使用するユーザが同一である場合には問題は生じにくいが、管理者とユーザが別である場合は、ユーザの同意を得にくいという問題があった。例えば、会社の従業員の研修でAIOVRHを使用する場合には、AIOVRHの管理者は会社で、ユーザは従業員というように、管理者とユーザが異なることになる。その場合、AIOVRHの梱包を開封するのは管理者となるため、従来の方法ではユーザの同意を得にくい。しかも、このような研修の場合は、ユーザが複数存在することになるため、特に問題となる。というのも、注意事項を記載したシールの破壊や初回起動時の注意事項の表示により同意を得る方法は、AIOVRHが新品であれば、1人目のユーザの同意を得ることはかろうじて可能であるものの、二人目以降のユーザの同意を得ることはできない。もちろん、ユーザ毎に同意書を取得するなどの方法はあるが、手間と時間がかかるという問題がある。
【0007】
本発明は、上記課題に鑑みてなされたものであり、プロセッサ一体型のVR用のヘッドマウントディスプレイについて、装着して使用するユーザと管理者とが異なる場合でも、使用上の注意事項に対するユーザの同意を、簡単かつ確実に得ることが可能なヘッドマウントディスプレイ用の機能制御システムおよび機能制御装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明のヘッドマウントディスプレイ用の機能制御システムは、プロセッサ一体型のヘッドマウントディスプレイと、ヘッドマウントディスプレイの機能を制御する機能制御装置とを備えたヘッドマウントディスプレイ用の機能制御システムであって、プロセッサ一体型のヘッドマウントディスプレイは、VRコンテンツの表示、表示を制限する機能制限、および外部との通信を含む処理を実行するVR用プロセッサを備えており、機能制御装置は、ヘッドマウントディスプレイを格納可能な格納部と、ヘッドマウントディスプレイとの通信によりヘッドマウントディスプレイの機能を制御する機能制御用プロセッサと、タッチパネルディスプレイと、を備え、機能制御用プロセッサは、ヘッドマウントディスプレイを装着して使用するユーザに向けた使用上の注意事項と、注意事項に対するユーザの同意の意思表示を入力するための同意ボタンとを、タッチパネルディスプレイに表示し、同意ボタンが操作された場合に、VR用プロセッサに対して、機能制限を解除する解除信号を送信する。
【0009】
機能制御用プロセッサは、同意ボタンを操作したユーザのユーザIDを受け付けて、同意済みのユーザのリストである同意者リストを記録することが好ましい。
【0010】
さらに、ユーザを撮影可能なカメラを備えていることが好ましい。
【0011】
機能制御用プロセッサは、カメラで撮影されたユーザの撮影画像を、機能制限の解除に関する制御に用いることが好ましい。
【0012】
同意者リストには、撮影画像がユーザIDと対応付けて記録されており、機能制御用プロセッサは、カメラが撮影した最新の撮影画像と同意者リストに記録済みの過去の撮影画像とを照合し、同意者リスト内に、最新の撮影画像に対応するユーザのユーザIDが有る場合は、同意ボタンの操作の有無に関わらず、解除信号を送信することが好ましい。
【0013】
カメラが、ヘッドマウントディスプレイを装着したユーザと、同意ボタンを操作する操作者との両方を撮影可能な場合において、機能制御用プロセッサは、カメラが撮影した撮影画像に基づいて、ユーザと操作者とが同一人物か否かを判定し、同一人物でない場合は、解除信号を送信しないか、あるいは、解除信号が送信済みの場合は機能制限を再開する再開信号を送信することが好ましい。
【0014】
機能制御用プロセッサは、ヘッドマウントディスプレイを装着したユーザを、カメラによって監視し、カメラの視界からヘッドマウントディスプレイが消失した場合は、VR用プロセッサに対して、機能制限を再開する再開信号を送信することが好ましい。
【0015】
機能制御用プロセッサは、同意者リスト内に、受け付けたユーザIDと同一のユーザIDが有る場合は、同意ボタンの操作の有無に関わらず、解除信号を送信することが好ましい。
【0016】
ヘッドマウントディスプレイの格納部への格納状態を検知する検知センサを有していることが好ましい。
【0017】
機能制御用プロセッサは、検知センサを通じて、機能制限が解除された状態のヘッドマウントディスプレイが再び格納部に格納されたことを検知した場合に、VR用プロセッサに対して、機能制限を再開する再開信号を送信することが好ましい。
【0018】
機能制御用プロセッサは、同意ボタンの操作が無い状態で、ヘッドマウントディスプレイが格納部から取り出されたことを検知した場合に、ユーザに対して同意を促す警告を発することが好ましい。
【0019】
格納部には、ヘッドマウントディスプレイの取り出しを制限する機械的なロック機構が設けられており、機能制御用プロセッサは、同意ボタンが操作された場合に、ロック機構を解除することが好ましい。
【0020】
VR用プロセッサは、機能制限が解除されていない場合に、ユーザに対して同意を促す警告を発する機能を有することが好ましい。
【0021】
本発明のヘッドマウントディスプレイ用の機能制御装置は、VRコンテンツの表示、表示を制限する機能制限、および外部との通信を含む処理を実行するVR用プロセッサを有するプロセッサ一体型のヘッドマウントディスプレイに用いられる機能制御装置であって、ヘッドマウントディスプレイを格納可能な格納部と、ヘッドマウントディスプレイとの通信によりヘッドマウントディスプレイの機能を制御する機能制御用プロセッサと、タッチパネルディスプレイと、を備え、機能制御用プロセッサは、ヘッドマウントディスプレイを装着して使用するユーザに向けた使用上の注意事項に加えて、注意事項に対するユーザの同意の意思表示を入力するための同意ボタンを、タッチパネルディスプレイに表示し、同意ボタンが操作された場合に、VR用プロセッサに対して、機能制限を解除する解除信号を送信する。
【発明の効果】
【0022】
本発明によれば、プロセッサ一体型のVR用のヘッドマウントディスプレイについて、装着して使用するユーザと管理者とが異なる場合でも、使用上の注意事項に対するユーザの同意を、簡単かつ確実に得ることができる。
【図面の簡単な説明】
【0023】
【
図1】ヘッドマウントディスプレイ機能制御システムの外観図である。
【
図2】ヘッドマウントディスプレイ機能制御システムの別の外観図である。
【
図3】ヘッドマウントディスプレイ機能制御システムのハードウェア構成を示す図である。
【
図5】注意事項と同意ボタンの表示例を示す図である。
【
図6】機能制限が開始されている状態のAIOVRHの表示を示す図である。
【
図7】機能制限が解除されている状態のAIOVRHの表示を示す図である。
【
図10】第2実施形態で用いる撮影画像を示す図である。
【発明を実施するための形態】
【0024】
本発明を要約すれば、AIOVRHの格納部を有する機能制御装置に設けられたタッチパネルディスプレイに、AIOVRHの使用上の注意事項と同意ボタンとを表示し、ユーザの同意ボタンの操作によって、ユーザの同意を取得し、かつAIOVRHの機能制限の解除を行う技術である。以下、図面を参照して、本発明の実施形態について更に詳しく説明する。
【0025】
[第1実施形態]
図1および
図2に示すように、ヘッドマウントディスプレイ機能制御システム10は、AIOVRH11と、機能制御装置12とを備えている。ヘッドマウントディスプレイ機能制御システム10は、本発明のヘッドマウントディスプレイ用の機能制御システムの一例である。
【0026】
AIOVRH11は、プロセッサ一体型のVR用のヘッドマウントディスプレイの一例である。AIOVRH11は、例えば、ゴーグルタイプであり、ユーザ13(
図5など参照)の頭部に装着される。AIOVRH11は、VRコンテンツを表示するディスプレイ部(以下、VR用ディスプレイ部という)11Aを有している。AIOVRH11は、VR用ディスプレイ部11Aが設けられた本体部の他に、本体部をユーザ13の頭部に固定するためのヘッドバンドなどを有している。VR用ディスプレイ部11Aは、AIOVRH11が装着された場合に、ユーザ13の目の前方に配置される。VR用ディスプレイ部11Aは、液晶ディスプレイや有機ELディスプレイなどで構成される。
【0027】
AIOVRH11は、例えば、1対のハンドコントローラ16とともに使用される。ハンドコントローラ16は、AIOVRH11を装着して使用するユーザの手で把持される。ハンドコントローラ16は、ユーザ13の手の動きを検知し、検知した手の動きの情報をAIOVRH11に送信する。ハンドコントローラ16には手の動きを検知するための加速度センサなどが組み込まれている。AIOVRH11は、例えば、ハンドコントローラ16からの情報に基づいてVRコンテンツの表示を変化させる。
【0028】
AIOVRH11は、例えば、店舗のスタッフの研修に用いられる。この場合のVRコンテンツは、例えば、店舗の内部空間を仮想現実として提供するためのコンテンツであり、店舗内における商品の配置場所および配置方法などの作業スキルを仮想的に訓練するために利用される。
【0029】
機能制御装置12は、AIOVRH11の機能を制御する装置であり、本発明の機能制御装置の一例である。機能制御装置12は、箱型の筐体21を備えており、筐体21には、AIOVRH11を格納可能な格納部22と、ハンドコントローラ16を収容する収容部23とが設けられている。
図1は、格納部22からAIOVRH11が取り出された状態を示し、
図2は、格納部22にAIOVRH11が格納された状態を示す。筐体21の前面には、タッチパネル部24が設けられている。タッチパネル部24は、タッチパネルディスプレイであり、情報の表示を行う表示部とタッチ操作による操作指示の操作入力部として機能する。タッチパネル部24は、例えば、複数のポイントに同時に触れて操作することが可能なマルチタッチ方式である。
【0030】
タッチパネル部24は、後述するとおり、AIOVRH11を装着して使用するユーザ13に向けた使用上の注意事項と、注意事項に対するユーザ13の同意の意思表示を入力するための同意ボタンとを表示する。
【0031】
タッチパネル部24は、例えば、タブレット端末を流用することにより構成される。また、タッチパネル部24には、カメラ26が設けられている。カメラ26は、AIOVRH11を装着したユーザ13を撮影可能であり、ユーザ13の監視に用いることが可能である。
【0032】
また、格納部22には、AIOVRH11の格納部22への格納状態を検知する検知センサ28が設けられている。検知センサ28は、例えばフォトセンサやマイクロスイッチなどで構成されている。検知センサ28は、例えば、AIOVRH11が格納部22に格納されている状態と取り出された状態とにおいて信号レベルが異なる検知信号を出力する。
【0033】
図3は、ヘッドマウントディスプレイ機能制御システム10のハードウェア構成の概略を示す図である。AIOVRH11は、VR用ディスプレイ部11Aの他、VR用プロセッサ31、メモリ32、ストレージ33、および通信I/F34を備えている。VR用プロセッサ31は、AIOVRH11の各部を統括的に制御する。具体的には、VRコンテンツの表示、VRコンテンツの表示を制限する機能制限、および外部との通信を含む各種の処理を実行する。VR用プロセッサ31は、例えば、CPU31Aで構成される。メモリ32は、例えば、RAMであり、CPU31Aが処理を実行するための作業用メモリである。ストレージ33は、例えば、不揮発性メモリであり、VR用プログラム36を格納する。VR用プログラム36は、CPU31Aが、VRコンテンツの表示、表示の機能制限等の処理を実行するためのアプリケーションプログラムである。CPU31AはVR用プログラム36を実行することにより、VR用プロセッサ31として機能する。通信I/F34は、例えば、無線LANやBluetooth(登録商標)などの無線通信規格に適合した伝送制御を行う。VR用プロセッサ31は、通信I/F34を介して、機能制御装置12と通信を行う。
【0034】
機能制御装置12は、タッチパネル部24、カメラ26および検知センサ28の他、機能制御用プロセッサ41、メモリ42、ストレージ43、および通信I/F44を備えている。機能制御用プロセッサ41は、機能制御装置12の各部を統括的に制御する。具体的には、AIOVRH11の機能制限の解除および再開を指示する他、AIOVRH11の使用上の注意事項に関するユーザ13からの同意を取得する機能等を有する。機能制御用プロセッサ41は、例えば、CPU41Aで構成される。メモリ42は、例えば、RAMであり、CPU41Aが処理を実行するための作業用メモリである。ストレージ43は、例えば、不揮発性メモリであり、機能制御用プログラム46を格納する。機能制御用プログラム46は、CPU41Aが、AIOVRH11の機能制限の解除および再開の指示、およびユーザ13からの同意を取得する処理を実行するためのアプリケーションプログラムである。CPU41Aは、機能制御用プログラム46を実行することにより、機能制御用プロセッサ41として機能する。
【0035】
通信I/F44は、通信I/F34と同様に、無線LANやBluetooth(登録商標)などの無線通信規格に適合した伝送制御を行う。機能制御用プロセッサ41は、通信I/F44を介して、AIOVRH11と通信を行う。機能制御用プロセッサ41は、機能制限の解除および再開の指示に関する制御信号として、AIOVRH11に対して、解除信号と再開信号とを送信する。VR用プロセッサ31は、解除信号を受信すると、機能制限を解除し、VR用ディスプレイ部11AにおけるVRコンテンツの表示を可能にし、再開信号を受信すると、機能制限を開始し、VRコンテンツの表示を禁止する。
【0036】
また、ストレージ43には、同意者リスト47が格納される。同意者リスト47は、注意事項に対して同意済みのユーザのリストであり、同意済みのユーザの識別情報であるユーザIDを記録した情報である。具体的には、機能制御用プロセッサ41は、同意ボタン52(
図5参照)を操作したユーザのユーザIDを受け付けて、受け付けたユーザIDを同意者リスト47に記録する。
図3では、「1234」や「2345」といったユーザIDが記録されている。ユーザIDは、例えば、研修に参加する店舗スタッフのスタッフIDである。
【0037】
図4に示すフローチャート、および
図5から
図7を参照しながら、ヘッドマウントディスプレイ機能制御システム10の動作の一例を説明する。
図4に示すフローチャートは、
図2に示すように、初期状態においては、AIOVRH11が格納部22に格納されている状態であることを前提に説明する。また、本例においては、AIOVRH11が格納されている状態では、ステップS2100に示すように、AIOVRH11においては機能制限が開始されている。
【0038】
ステップS1100において、機能制御装置12は、起動されると、ステップS1100において、タッチパネル部24に注意事項51と同意ボタン52を表示する。
図5に一例として示すように、タッチパネル部24には、注意事項51と、同意ボタン52と、非同意ボタン53とが表示される。注意事項51は、AIOVRH11を装着して使用するユーザ13に向けた使用上の注意事項である。注意事項51には、使用上の注意事項として、VR酔いが生じる場合がある旨の注意情報と、免責事項とが含まれる。免責事項には、VR酔いに起因してユーザ13に不利益が生じた場合でも、製品提供者は損害賠償の責任等を免れる旨の事項などが含まれる。
【0039】
同意ボタン52は、注意事項51に対するユーザ13の同意の意思表示を入力するための操作ボタンである。非同意ボタン53は、注意事項51に対してユーザ13が同意しない旨の意思表示を入力するための操作ボタンである。同意ボタン52および非同意ボタン53は、例えば、指で軽く叩くタップなどのタッチ操作によって操作される。
【0040】
図4に示すステップS1200において、機能制御用プロセッサ41は、同意ボタン52が操作されたかを待機する。ユーザ13は、タッチパネル部24に表示されている注意事項51の内容を確認し、同意する場合は、タッチパネル部24に表示されている同意ボタン52をタッチ操作する。
【0041】
機能制御用プロセッサ41は、同意ボタン52が操作された場合は(ステップS1200でY)、ステップS1300に進む。ステップS1300において、機能制御用プロセッサ41は、タッチパネル部24を通じて、ユーザ13のユーザIDの入力を受け付ける。例えば、タッチパネル部24にユーザIDの入力欄と、ユーザIDの入力を促すメッセージとを表示し、ユーザ13にタッチ操作によって入力をしてもらう。そして、ユーザ13によってユーザIDが入力された場合は、機能制御用プロセッサ41は、受け付けたユーザIDを同意者リスト47に記録し、ステップS1400に移行する。
【0042】
ステップS1400において、機能制御用プロセッサ41は、検知センサ28を通じて、AIOVRH11が格納部22から取り出されたか否かを検知する。機能制御用プロセッサ41は、AIOVRH11が格納部22から取り出された場合は(ステップS1400でY)、VR用プロセッサ31に対して、AIOVRH11の機能制限を解除する解除信号を送信する。ユーザ13は、格納部22から取り出したAIOVRH11を頭部に装着する。
【0043】
図6は、AIOVRH11において、機能制限が開始されている状態のVR用ディスプレイ部11Aの表示を示し、
図7は、機能制限が解除されている状態のVR用ディスプレイ部11Aの表示を示す。
図6に示すように、機能制限が開始されている状態では、VR用ディスプレイ部11Aの表示は真っ暗で何も表示されていない。このように、注意事項51に対する同意がなされていない状態では、ユーザ13がAIOVRH11を装着しても、VRコンテンツを見ることはできない。ただし、VRコンテンツは表示されないため、VR酔いが生じるというユーザ13にとって不測の事態が生じることもない。VR用プロセッサ31は、
図4のステップS2200において、機能制限が開始されている状態では、解除信号が送信されるのを待機している。
【0044】
そして、ステップS2300において、AIOVRH11が解除信号を受信すると(ステップS2200でY)、VR用プロセッサ31は、ステップS2300に進み、機能制限を解除する。これにより、ステップS2400において、VR用ディスプレイ部11AにはVRコンテンツが表示される(ステップS2400)。
図7は、VR用ディスプレイ部11Aにおいて、店舗研修に用いられる店舗内の仮想空間を示すVRコンテンツ56が表示されている状態を示す。
図7において、ユーザ13は、注意事項51に同意したため、VRコンテンツ56を見ることが可能となる。また、ユーザ13がVRコンテンツ56を見ると、VR酔いが生じるおそれがあるが、ユーザ13は注意事項51に対して事前に同意しているため、仮にVR酔いが生じたとしても不測の事態にはならない。また、管理者側にとってもユーザ13の同意が得られている状態であるため、注意義務や安全配慮義務を一定程度果たしている状態となる。
【0045】
図4のステップS1600において、機能制御装置12は、AIOVRH11が再び格納部22に格納されることを待機する。ユーザ13が使用を終了したAIOVRH11を頭部から取り外し、AIOVRH11が再び格納部22に格納された場合は(ステップS1600でY)、機能制御用プロセッサ41は、ステップS1700に進み、再開信号をVR用プロセッサ31に送信する。そして、機能制御用プロセッサ41は、ステップS1800において、電源オフなどの終了指示が無い場合は(ステップS1800でN)、ステップS1100に戻り、注意事項51と同意ボタン52をタッチパネル部24に表示する。
【0046】
一方、VR用プロセッサ31は、ステップS2500において、再開信号を受信した場合は(ステップS2500でY)、電源オフなどの終了指示がない限り、ステップS2100に戻って機能制限を再開する。
【0047】
次のユーザ13がAIOVRH11を使用する場合は、タッチパネル部24の注意事項51の内容を確認し、注意事項51に同意する場合は、同意ボタン52の操作を行う。
【0048】
以上で説明したとおり、本発明は、AIOVRH11と、機能制御装置12とを備えたヘッドマウントディスプレイ機能制御システム10であって、AIOVRH11は、VRコンテンツの表示、表示を制限する機能制限、および外部との通信を含む処理を実行するVR用プロセッサ31を備えており、機能制御装置12は、AIOVRH11を格納可能な格納部22と、AIOVRH11との通信によりAIOVRH11の機能を制御する機能制御用プロセッサ41と、タッチパネルディスプレイの一例であるタッチパネル部24と、を備えている。そして、機能制御用プロセッサ41は、AIOVRH11を装着して使用するユーザ13に向けた使用上の注意事項51と、注意事項51に対するユーザ13の同意の意思表示を入力するための同意ボタン52とを、タッチパネル部24に表示し、同意ボタン52が操作された場合に、VR用プロセッサ31に対して、機能制限を解除する解除信号を送信する。そのため、AIOVRH11について、装着して使用するユーザと管理者とが異なる場合でも、使用上の注意事項に対するユーザの同意の意思表示を、従来の方法と比べて、簡単かつ確実に得ることが可能となる。
【0049】
つまり、注意事項が記載されたシールを利用する方法や初回起動時に注意事項を表示する従来の方法では、管理者とユーザが異なっている場合は、管理者がシールを破壊してAIOVRH11の梱包を解いたり、管理者がAIOVRH11の初回起動をする場合は、その後にAIOVRH11を使用するユーザの同意を得ることが困難である。しかし、本発明によれば、梱包や初回起動をした後も、ユーザの同意を得ることが可能である。しかも、ユーザから同意書面を収集するといった煩雑な手間を掛けることなく、ユーザの同意を得ることが可能である。さらに、1人目のユーザ13が使い終わった後、2人目以降のユーザ13が使用する場合でも、1人目のユーザ13に対して行った処理を繰り返すことにより、2人目以降のユーザ13の同意が得ることができる。このように、本発明の効果は、複数のユーザ13がいる場合により顕著なものとなる。
【0050】
また、同意ボタン52を操作しない限り、AIOVRH11の機能制限は解除されないので、使用するユーザ13の同意を確実に得ることが可能となる。
【0051】
また、本発明は、AIOVRH11のソフトウェア的な機能制限と、機能制御装置12からの解除信号のAIOVRH11への送信を行うことを前提としている。そのため、AIOVRH11がプロセッサ一体型であることが不可欠である。このように、本発明は、プロセッサ一体型のAIOVRH11と、機能制御装置12とが有機的に結びつくことにより相乗的な効果を発揮するものである。
【0052】
また、本発明においては、注意事項の表示と同意ボタン52の表示にタッチパネルディスプレイ(タッチパネル部24)を使用している。これは簡単な構成を実現するために有効である。というのも、機械的な物理ボタンを用いる場合は、タッチパネルディスプレイを使用する場合と比べて、筐体の加工にコストや手間がかかることになる。例えば、タッチパネルディスプレイは、ハードウェア的には汎用的なタブレット端末を流用し、これにソフトウェア的な改良を加えて使用することが可能である。そのため、タッチパネルディスプレイを利用することは簡単な構成の実現にとって重要な要素となる。簡単な構成は、本発明の課題の1つの要素であるため、タッチパネルディスプレイは、他の構成と相まって相乗的な効果を発揮する構成といえる。
【0053】
また、機能制御装置12を、AIOVRH11の格納部22を有する構成とすることも、簡単な構成の実現に資する。つまり、AIOVRH11の格納する装置は必須の要素と言えるため、格納部22を有する筐体を機能制御装置12に流用することで、格納部22を別にする場合と比べて、簡単な構成を実現することができる。
【0054】
そもそも、本発明のようなプロセッサ一体型のAIOVRH11ではなく、プロセッサが別体のヘッドマウントディスプレイの場合は、VRコンテンツを表示する機能を実現させるだけでも、VR用プロセッサを備えた制御用のパーソナルコンピュータが別途必要になる。要するに、プロセッサが別体のヘッドマウントディスプレイは、VRコンテンツを表示するディスプレイとしての機能しか持たない。そのため、プロセッサが別体のヘッドマウントディスプレイの場合は、パーソナルコンピュータ側で機能制限を掛けることが可能であるため、格納部22を有する機能制御装置12を用いる必要性が無い。したがって、本発明は、AIOVRH11だからこそ必要になるものであり、AIOVRH11の固有の課題を解決するものである。
【0055】
また、上記実施形態では、機能制御用プロセッサ41は、同意ボタン52を操作したユーザ13のユーザIDを受け付けて、同意済みのユーザ13のリストである同意者リスト47を記録する。このような同意者リスト47を記録することで、事後の確認に有効である。また、ユーザIDとして従業員番号を例示したが、名前などでもよい。また、同意者リスト47の格納先は、機能制御装置12のストレージ43としているが、ネットワークで接続された外部サーバを格納先としてもよい。
【0056】
なお、上記実施形態では、同意済みのユーザ13のみを記録する例で説明したが、非同意ボタン53を操作した非同意のユーザ13についてユーザIDを記録するようにしてもよい。
【0057】
また、上記実施形態では、AIOVRH11の格納部22への格納状態を検知する検知センサ28を有している。検知センサ28を設けることで、AIOVRH11の格納状態を、機能制限を解除や再開のタイミングに利用することが可能となり、より実際に即した運用が可能となるなど、利便性の向上に資する。
【0058】
この点に関して、さらに上記実施形態では、機能制御用プロセッサ41は、検知センサを通じて、機能制限が解除された状態のAIOVRH11が再び格納部22に格納されたことを検知した場合に、VR用プロセッサ31に対して、機能制限を再開する再開信号を送信している。これにより、AIOVRH11がいったん格納された場合に、機能制限が自動的に再開されるため、管理者が機能制限の再開をマニュアル操作によって行う場合と比べて利便性が高い。さらに、機能制限の再開をマニュアル操作で行う場合には、再設定忘れにより次のユーザ13の同意の取り忘れが生じてしまうそれもある。格納検知により機能制限を自動的に再開させる構成は、このような取り忘れを防止できるという非常に有意な効果もある。
【0059】
<第1実施形態の変形例1>
図8に示すように、機能制御用プロセッサ41は、注意事項51の同意者リスト47内に、受け付けたユーザIDと同一のユーザIDが有る場合は、同意ボタン52の操作の有無に関わらず、解除信号を送信してもよい。つまり、過去に一度同意したことのあるユーザ13については、2回目以降のAIOVRH11の使用において、同意操作を省略してもよい。こうすれば、同一のユーザ13が何度も同意操作をする手間を省くことができる。
【0060】
図8において、機能制御用プロセッサ41は、受け付けたユーザIDと、同意者リスト47内の記録済みのユーザIDとを照合する処理を行う。機能制御用プロセッサ41は、同意者リスト47内にユーザIDが有る場合は、過去の同意記録有りと判定し、解除信号の送信により、機能制限を解除する。一方、過去の同意記録が無い場合は、
図4のフローチャートに示したとおり、同意ボタン52の操作を待機する。
図8に示す例では、受け付けたユーザIDが「1234」で、同意者リスト47内にも「1234」が存在するため、過去の同意記録が有ると判定されるケースである。
【0061】
<第1実施形態の変形例2>
図9に示すように、機能制御用プロセッサ41は、同意ボタン52の操作が無い状態で、AIOVRH11が格納部22から取り出されたことを検知した場合に、ユーザ13に対して同意を促す警告を発してもよい。
【0062】
図9において、機能制御用プロセッサ41は、検知センサ28から入力される検知信号に基づいて、AIOVRH11の格納状態を判定する。そして、格納部22からAIOVRH11が取り出されたことを検知した場合、機能制御用プロセッサ41は、同意ボタン52による同意操作の有無を判定する。そして、同意操作が有りと判定した場合は、解除信号を送信する(例えば
図4のステップS1400およびS1500参照)。一方、同意操作が無しと判定した場合は、機能制御用プロセッサ41は、同意を促す警告を発する。警告は、スピーカーから「注意事項に同意をしてください」といった音声メッセージを発してもよいし、タッチパネル部24に同内容のテキストメッセージを表示してもよい。また、テキストメッセージを表示するとともにスピーカーから注意を喚起する警告音を発してもよい。
【0063】
[第2実施形態]
図10~
図13に示す第2実施形態は、カメラ26で撮影されたユーザ13の撮影画像61を、AIOVRH11の機能制限の解除に関する制御に用いる例である。撮影画像61には、ユーザ13の顔を写した顔画像が含まれている。撮影画像61を利用することで、撮影画像61を利用しない場合と比較して、多様な制御が可能となる。
【0064】
図10に示すように、機能制御用プロセッサ41は、同意済みのユーザ13のユーザIDを記録した同意者リスト47に、ユーザIDと対応付けて撮影画像61を記録する。機能制御用プロセッサ41は、このような同意者リスト47を用いて、例えば、
図11に示すような制御を行う。
【0065】
図11に示す例は、撮影画像61を用いて過去の同意操作を省略させる制御である。簡単に言えば、
図8で示したユーザIDによる同意操作を省略させる制御を、ユーザIDに代えて撮影画像61で実現する例である。機能制御用プロセッサ41は、カメラ26が撮影した最新の撮影画像61と同意者リスト47に記録済みの過去の撮影画像61とを照合する。そして、同意者リスト47内に、最新の撮影画像61に対応するユーザ13のユーザIDが有る場合は、同意ボタン52の操作の有無に関わらず、VR用プロセッサ31に対して、解除信号を送信する。
図8に示した例と同様に、こうすれば、同一のユーザ13が何度も同意操作をする手間を省くことができる。
【0066】
図11において、機能制御用プロセッサ41は、最新の撮影画像61と、同意者リスト47内に記録済みの過去の撮影画像61とを照合する処理を行う。機能制御用プロセッサ41は、同意者リスト47内に最新の撮影画像61と同一のユーザの撮影画像61が有る場合は、過去の同意記録有りと判定し、解除信号の送信により、機能制限を解除する。一方、過去の同意記録が無い場合は、
図4のフローチャートに示したとおり、同意ボタン52の操作を待機する。
【0067】
撮影画像61に含まれる顔画像の同一性判定については、例えば、画像認識処理により撮影画像61から顔画像を認識する。そして顔画像の特徴量を抽出し、抽出した特徴量を照合することにより、同一性を判定する。同一性判定は、パターンマッチングの手法によってもよいし、人口知能に基づく学習済みモデルを用いる手法でもよい。
【0068】
<第2実施形態の変形例1>
図12に示すように、カメラ26が、AIOVRH11を装着したユーザ13と、同意ボタン52を操作する操作者67との両方を撮影可能な場合において、機能制御用プロセッサ41は、カメラ26が撮影した撮影画像61に基づいて、ユーザ13と操作者67とが同一人物か否かを判定し、同一人物でない場合は、解除信号を送信しないか、あるいは、解除信号が送信済みの場合は機能制限を再開する再開信号を送信するようにしてもよい。VR酔いはAIOVRH11を装着するユーザ13に生じるため、ユーザ13本人の同意でなければ意味がない。そのため、
図12に示すような制御を行うことにより、AIOVRH11を装着するユーザ13以外の人物による同意操作を無効にすることができる。
【0069】
機能制御用プロセッサ41は、カメラ26によって同意ボタン52を操作する操作者67の撮影画像61と、AIOVRH11を装着したユーザ13の撮影画像61とを照合し、上述の顔画像の同一性判定技術により、操作者67とユーザ13とが同一人物であるかを判定する。ユーザ13がAIOVRH11を装着しているため、顔画像が認識しづらい場合は、ユーザ13と操作者67との体型等に基づいて同一性を判定してもよい。機能制御用プロセッサ41は、同一人物であると判定した場合は、解除信号の送信により機能制限を解除するか、既に解除済みの場合は解除状態を継続する。一方、同一人物でないと判定した場合は、解除信号を送信しないことにより機能制限を解除しないか、または、既に解除済みの場合は再開信号を送信することにより機能制限を再開する。
【0070】
<第2実施形態の変形例2>
図13に示すように、機能制御用プロセッサ41は、AIOVRH11を装着したユーザ13を、カメラ26によって監視し、カメラ26の視界からAIOVRH11が消失した場合は、VR用プロセッサ31に対して、機能制限を再開する再開信号を送信するようにしてもよい。
図13において、機能制御用プロセッサ41は、例えば、カメラ26が時系列で出力する撮影画像61に基づいて、AIOVRH11が視界から消失したか否かを判定する。機能制御用プロセッサ41は、AIOVRH11が消失したと判定した場合は、VR用プロセッサ31に対して再開信号を送信し、AIOVRH11が視界内にある間は、解除状態を継続する。
【0071】
例えば、AIOVRH11の使用をカメラ26の監視下でのみ許容するような場合は、ユーザ13がAIOVRH11を取り外し、AIOVRH11がカメラ26の視界から消失した場合は、AIOVRH11の使用が終了したとみなすことができる。その場合において、AIOVRH11が格納部22に格納されないまま別の次のユーザ13に受け渡されてしまうと、次のユーザ13の同意操作を経ずに、AIOVRH11が使用されてしまう。その場合、同意が無い次のユーザ13にVR酔いが生じてしまうおそれがある。そこで、
図13に示すような制御を行うことにより、同意が無いユーザ13にAIOVRH11が使用されることを防止することができる。
【0072】
<その他の変形例>
図14に示すように、格納部22に、AIOVRH11の取り出しを制限する機械的なロック機構71を設けてもよい。この場合、機能制御用プロセッサ41は、同意ボタン52が操作された場合に、ロック機構71を解除する。ソフトウェアによる機能制限に加えて、このような機械的なロック機構71を設けることで、AIOVRH11の同意無しの使用をより確実に防止することができる。
【0073】
また、
図15に示すように、AIOVRH11のVR用プロセッサ31は、機能制限が解除されていない場合に、ユーザ13に対して同意を促す警告を発する機能を有していてもよい。
図6に示す例では、AIOVRH11の機能制限が解除されていない場合は、VR用ディスプレイ部11Aは真っ暗な状態であったが、
図15に示す例では、「注意事項に同意してください。」といった同意を促すテキストメッセージが表示される。警告は、テキストメッセージの代わりに音声メッセージでもよい。テキストメッセージと音声とを組み合わせてもよい。
【0074】
上記実施形態において、例えば、機能制御用プロセッサ41およびVR用プロセッサ31のように各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、ソフトウェア(機能制御用プログラム46およびVR用プログラム36)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU31Aまたは41Aに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、および/またはASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0075】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0076】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0077】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
【0078】
本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
【0079】
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0080】
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
【0081】
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【0082】
10 ヘッドマウントディスプレイ機能制御システム
11 AIOVRH
11A VR用ディスプレイ部
12 機能制御装置
13 ユーザ
16 ハンドコントローラ
21 筐体
22 格納部
23 収容部
24 タッチパネル部
26 カメラ
28 検知センサ
31 VR用プロセッサ
31A CPU
32 メモリ
33 ストレージ
36 VR用プログラム
41 機能制御用プロセッサ
41A CPU
42 メモリ
43 ストレージ
46 機能制御用プログラム
47 同意者リスト
51 注意事項
52 同意ボタン
53 非同意ボタン
56 VRコンテンツ
61 撮影画像
67 操作者
71 ロック機構
34、44 通信I/F