(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024073526
(43)【公開日】2024-05-29
(54)【発明の名称】ヘッドマウント情報処理装置
(51)【国際特許分類】
H04N 5/64 20060101AFI20240522BHJP
【ＦＩ】
H04N5/64 511A
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2024037909
(22)【出願日】2024-03-12
(62)【分割の表示】P 2022132869の分割
【原出願日】2018-10-03
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＣＤＭＡ
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】鶴賀 貞雄
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】吉澤 和彦
(72)【発明者】
【氏名】岡田 義憲
(57)【要約】
【課題】仮想空間を現実空間と誤って認識することについての注意喚起をユーザに提供す
るヘッドマウント情報処理装置を提供する。
【解決手段】ヘッドマウント情報処理装置は、表示部と、ユーザの周辺に存在する物体を検出する周囲監視センサと、周囲監視センサの検出結果に基づき、接近している物体がユーザの一定範囲内に存在するとみなされる場合には、ユーザの状態が、仮想空間情報を視聴するのに適していない状態と判別するユーザ状態判別部と、制御部とを備え、ユーザ状態判別部が、ユーザの状態が仮想空間情報を視聴するのに適していると判別すると、制御部は表示部に仮想空間情報を通常表示態様で表示を行わせ、適していないと判別すると、制御部は表示部に仮想空間情報を特定表示態様で表示または表示の中断を指示する。
【選択図】図４
るヘッドマウント情報処理装置を提供する。
【解決手段】ヘッドマウント情報処理装置は、表示部と、ユーザの周辺に存在する物体を検出する周囲監視センサと、周囲監視センサの検出結果に基づき、接近している物体がユーザの一定範囲内に存在するとみなされる場合には、ユーザの状態が、仮想空間情報を視聴するのに適していない状態と判別するユーザ状態判別部と、制御部とを備え、ユーザ状態判別部が、ユーザの状態が仮想空間情報を視聴するのに適していると判別すると、制御部は表示部に仮想空間情報を通常表示態様で表示を行わせ、適していないと判別すると、制御部は表示部に仮想空間情報を特定表示態様で表示または表示の中断を指示する。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像または音声を視聴する機能を有し頭部に装着されるヘッドマウント情報処理装置であって、
仮想空間情報または現実空間情報を含む所定の情報をユーザに表示する表示部と、
前記ユーザの周辺に存在する物体を検出する周囲監視センサと、
前記周囲監視センサの検出結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態か否かを判別するユーザ状態判別部と、
前記ヘッドマウント情報処理装置の動作を制御する制御部と、
を備え、
前記ユーザ状態判別部は、
前記周囲監視センサの検出結果に基づき、接近している物体が前記ユーザの一定範囲内に存在するとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別し、
前記制御部は、
前記ユーザ状態判別部の判別結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態の場合には、前記表示部に前記仮想空間情報を通常表示態様で表示を行わせ、
前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態の場合には、前記表示部に前記仮想空間情報を特定表示態様で表示または前記表示部に表示の中断を指示する、
ヘッドマウント情報処理装置。
仮想空間情報または現実空間情報を含む所定の情報をユーザに表示する表示部と、
前記ユーザの周辺に存在する物体を検出する周囲監視センサと、
前記周囲監視センサの検出結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態か否かを判別するユーザ状態判別部と、
前記ヘッドマウント情報処理装置の動作を制御する制御部と、
を備え、
前記ユーザ状態判別部は、
前記周囲監視センサの検出結果に基づき、接近している物体が前記ユーザの一定範囲内に存在するとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別し、
前記制御部は、
前記ユーザ状態判別部の判別結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態の場合には、前記表示部に前記仮想空間情報を通常表示態様で表示を行わせ、
前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態の場合には、前記表示部に前記仮想空間情報を特定表示態様で表示または前記表示部に表示の中断を指示する、
ヘッドマウント情報処理装置。
【請求項2】
画像または音声を視聴する機能を有し頭部に装着されるヘッドマウント情報処理装置であって、
仮想空間情報または現実空間情報を含む所定の情報をユーザに表示する表示部と、
前記ユーザの頭部の動きを検出する加速度センサまたはジャイロセンサと、
前記加速度センサまたは前記ジャイロセンサの検出結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態か否かを判別するユーザ状態判別部と、
前記ヘッドマウント情報処理装置の動作を制御する制御部と、
を備え、
前記ユーザ状態判別部は、
前記加速度センサまたは前記ジャイロセンサの検出結果に基づき、前記ユーザの頭部が大きく変動しているとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別し、
前記制御部は、
前記ユーザ状態判別部の判別結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態の場合には、前記表示部に前記仮想空間情報を通常表示態様で表示を行わせ、
前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態の場合には、前記表示部に前記仮想空間情報を特定表示態様で表示または前記表示部に表示の中断を指示する、
ヘッドマウント情報処理装置。
仮想空間情報または現実空間情報を含む所定の情報をユーザに表示する表示部と、
前記ユーザの頭部の動きを検出する加速度センサまたはジャイロセンサと、
前記加速度センサまたは前記ジャイロセンサの検出結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態か否かを判別するユーザ状態判別部と、
前記ヘッドマウント情報処理装置の動作を制御する制御部と、
を備え、
前記ユーザ状態判別部は、
前記加速度センサまたは前記ジャイロセンサの検出結果に基づき、前記ユーザの頭部が大きく変動しているとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別し、
前記制御部は、
前記ユーザ状態判別部の判別結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態の場合には、前記表示部に前記仮想空間情報を通常表示態様で表示を行わせ、
前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態の場合には、前記表示部に前記仮想空間情報を特定表示態様で表示または前記表示部に表示の中断を指示する、
ヘッドマウント情報処理装置。
【請求項3】
請求項１または２に記載のヘッドマウント情報処理装置であって、
前記特定表示態様での表示は、前記仮想空間情報を前記通常表示態様での表示における解像度よりも低い解像度で表示と、前記仮想空間情報を前記通常表示態様での表示における表示色とは異なる表示色で表示と、前記仮想空間情報を点滅表示と、前記仮想空間情報の輪郭線を強調表示と、前記仮想空間情報と前記仮想空間情報であることを示すメッセージとを並列表示と、の少なくとも１つを含む、
ヘッドマウント情報処理装置。
前記特定表示態様での表示は、前記仮想空間情報を前記通常表示態様での表示における解像度よりも低い解像度で表示と、前記仮想空間情報を前記通常表示態様での表示における表示色とは異なる表示色で表示と、前記仮想空間情報を点滅表示と、前記仮想空間情報の輪郭線を強調表示と、前記仮想空間情報と前記仮想空間情報であることを示すメッセージとを並列表示と、の少なくとも１つを含む、
ヘッドマウント情報処理装置。
【請求項4】
請求項１または２に記載のヘッドマウント情報処理装置であって、
前記制御部は、前記表示部に表示の中断を指示する場合に、前記仮想空間情報の表示を行うことができないことを示すメッセージを前記表示部に表示させる、
ヘッドマウント情報処理装置。
前記制御部は、前記表示部に表示の中断を指示する場合に、前記仮想空間情報の表示を行うことができないことを示すメッセージを前記表示部に表示させる、
ヘッドマウント情報処理装置。
【請求項5】
請求項１または２に記載のヘッドマウント情報処理装置は、
音声出力部を更に備え、
前記制御部は、前記表示部に表示の中断を指示する場合に、前記仮想空間情報の表示を行うことができないことを示す音声による通知を前記音声出力部から出力させる、
ヘッドマウント情報処理装置。
音声出力部を更に備え、
前記制御部は、前記表示部に表示の中断を指示する場合に、前記仮想空間情報の表示を行うことができないことを示す音声による通知を前記音声出力部から出力させる、
ヘッドマウント情報処理装置。
【請求項6】
請求項１または２に記載のヘッドマウント情報処理装置は、
バイブレータを更に備え、
前記制御部は、前記表示部に表示の中断を指示する場合に、前記仮想空間情報の表示を行うことができないことを示す振動による通知を前記バイブレータから出力させる、
ヘッドマウント情報処理装置。
バイブレータを更に備え、
前記制御部は、前記表示部に表示の中断を指示する場合に、前記仮想空間情報の表示を行うことができないことを示す振動による通知を前記バイブレータから出力させる、
ヘッドマウント情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウント情報処理装置に係り、特に仮想空間情報の表示態様に関する。
【背景技術】
【0002】
ユーザが頭部に装着したヘッドマウントディスプレイに仮想空間情報（仮想オブジェク
ト）を表示し、これを現実空間に重畳してユーザに視認させる技術がある。このヘッドマ
ウントディスプレイによれば、現実世界と仮想世界をリアルタイムかつシームレスに融合
させて、あたかもその場に仮想オブジェクトが存在するかのような体験を行わせることが
できる。そして、ユーザは仮想世界を現実世界と錯覚するような深い没入感を得ることが
可能になってきた。しかしながら、一方で、深い没入感により、ユーザが仮想世界と現実
世界との識別や判別をしにくくなるという問題があった。
ト）を表示し、これを現実空間に重畳してユーザに視認させる技術がある。このヘッドマ
ウントディスプレイによれば、現実世界と仮想世界をリアルタイムかつシームレスに融合
させて、あたかもその場に仮想オブジェクトが存在するかのような体験を行わせることが
できる。そして、ユーザは仮想世界を現実世界と錯覚するような深い没入感を得ることが
可能になってきた。しかしながら、一方で、深い没入感により、ユーザが仮想世界と現実
世界との識別や判別をしにくくなるという問題があった。
【0003】
この問題に対し、特許文献１には、「少なくとも一部に仮想オブジェクトを含む情報が
提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィード
バックを決定するフィードバック決定部を備える」ことが記載されている。
提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィード
バックを決定するフィードバック決定部を備える」ことが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１７／００６６４０号
【発明の概要】
【発明が解決しようとする課題】
【0005】
ヘッドマウントディスプレイを装着したユーザにとって、仮想空間と現実空間とを認識
するために必要とされる注意力は、ヘッドマウントディスプレイの使用状況によって異な
る。例えば、日常生活を過ごす空間内に静止した状態では、仮想オブジェクト、例えばテ
ーブル上に仮想的に表示されたコップや花瓶を現実のオブジェクトと誤認識してもユーザ
にとってそれほど重要な問題とは考えにくい。一方、戸外で歩行中にヘッドマウントディ
スプレイを用いた場合、歩道脇に放置自転車があるにも関わらず、広く広がって障害物が
ない歩道を仮想表示すると、それを現実空間と誤認識した結果、放置自転車に躓くおそれ
もある。
するために必要とされる注意力は、ヘッドマウントディスプレイの使用状況によって異な
る。例えば、日常生活を過ごす空間内に静止した状態では、仮想オブジェクト、例えばテ
ーブル上に仮想的に表示されたコップや花瓶を現実のオブジェクトと誤認識してもユーザ
にとってそれほど重要な問題とは考えにくい。一方、戸外で歩行中にヘッドマウントディ
スプレイを用いた場合、歩道脇に放置自転車があるにも関わらず、広く広がって障害物が
ない歩道を仮想表示すると、それを現実空間と誤認識した結果、放置自転車に躓くおそれ
もある。
【0006】
このように、ユーザが現実空間と仮想空間との誤認識を避けるためにユーザに求められ
る注意力は、ユーザの固有の注意力だけではなく周囲環境の状態に応じて相対的に決まる
という実情がある。この点について、特許文献１では、ユーザの状態のみを監視し、周囲
環境について考慮されていない。
る注意力は、ユーザの固有の注意力だけではなく周囲環境の状態に応じて相対的に決まる
という実情がある。この点について、特許文献１では、ユーザの状態のみを監視し、周囲
環境について考慮されていない。
【0007】
本発明は、上記実情に鑑みてなされたものであり、仮想空間を現実空間と誤って認識す
ることについての注意喚起をユーザに提供するヘッドマウント情報処理装置を提供することを目的とする。
ることについての注意喚起をユーザに提供するヘッドマウント情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。その一例を
挙げるならば、本発明は、画像または音声を視聴する機能を有し頭部に装着されるヘッドマウント情報処理装置であって、仮想空間情報または現実空間情報を含む所定の情報をユーザに表示する表示部と、前記ユーザの周辺に存在する物体を検出する周囲監視センサと、前記周囲監視センサの検出結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態か否かを判別するユーザ状態判別部と、前記ヘッドマウント情報処理装置の動作を制御する制御部と、を備え、前記ユーザ状態判別部は、前記周囲監視センサの検出結果に基づき、接近している物体が前記ユーザの一定範囲内に存在するとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別し、前記制御部は、前記ユーザ状態判別部の判別結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態の場合には、前記表示部に前記仮想空間情報を通常表示態様で表示を行わせ、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態の場合には、前記表示部に前記仮想空間情報を特定表示態様で表示または前記表示部に表示の中断を指示する。
挙げるならば、本発明は、画像または音声を視聴する機能を有し頭部に装着されるヘッドマウント情報処理装置であって、仮想空間情報または現実空間情報を含む所定の情報をユーザに表示する表示部と、前記ユーザの周辺に存在する物体を検出する周囲監視センサと、前記周囲監視センサの検出結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態か否かを判別するユーザ状態判別部と、前記ヘッドマウント情報処理装置の動作を制御する制御部と、を備え、前記ユーザ状態判別部は、前記周囲監視センサの検出結果に基づき、接近している物体が前記ユーザの一定範囲内に存在するとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別し、前記制御部は、前記ユーザ状態判別部の判別結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態の場合には、前記表示部に前記仮想空間情報を通常表示態様で表示を行わせ、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態の場合には、前記表示部に前記仮想空間情報を特定表示態様で表示または前記表示部に表示の中断を指示する。
【発明の効果】
【0009】
本発明によれば、仮想空間を現実空間と誤って認識することについての注意喚起をユー
ザに提供するヘッドマウント情報処理装置を提供することができる。上述した以外の目的、構成、効果については以下の実施形態において明らかにされる。
ザに提供するヘッドマウント情報処理装置を提供することができる。上述した以外の目的、構成、効果については以下の実施形態において明らかにされる。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係るヘッドマウントディスプレイシステムの外観模式図
【図3】本体側制御器の機能を示す機能ブロック図
【図4】ヘッドマウントディスプレイシステムの処理の流れを示すフローチャート
【図5】表示制御部が決定する表示態様の種別を示す図
【図6】カメラから現実空間をみた際の座標系を示す図
【図7】注視している被写体と両眼の位置関係を示す図
【発明を実施するための形態】
【0011】
以下、本発明の実施形態の例を、図面を用いて説明する。全図を通じて同一の構成、処
理には同一の符号を付し、重複説明を省略する。
理には同一の符号を付し、重複説明を省略する。
【0012】
図１は、本実施形態に係るＨＭＤシステム１（ＨＭＤ：ヘッドマウントディスプレイ）
の外観模式図である。図１において、ＨＭＤシステム１は、ユーザの頭部に装着されたＨ
ＭＤ１００、ユーザの胸部に装着された第１ウエアラブル端末２００（胸部装着型ウエア
ラブル端末）、ユーザの腕部に装着された第２ウエアラブル端末３００（リストバンド型
ウエアラブル端末）、及び入力コントローラ４００を含む。そして、第１ウエアラブル端
末２００、第２ウエアラブル端末３００、入力コントローラ４００の其々は、近距離無線
通信によりＨＭＤ１００に通信接続され、情報の送受信を行う。なお、有線で情報の送受
信を行ってもよい。
の外観模式図である。図１において、ＨＭＤシステム１は、ユーザの頭部に装着されたＨ
ＭＤ１００、ユーザの胸部に装着された第１ウエアラブル端末２００（胸部装着型ウエア
ラブル端末）、ユーザの腕部に装着された第２ウエアラブル端末３００（リストバンド型
ウエアラブル端末）、及び入力コントローラ４００を含む。そして、第１ウエアラブル端
末２００、第２ウエアラブル端末３００、入力コントローラ４００の其々は、近距離無線
通信によりＨＭＤ１００に通信接続され、情報の送受信を行う。なお、有線で情報の送受
信を行ってもよい。
【0013】
サーバ５００は仮想空間情報を生成し、ＨＭＤ１００に対して無線通信回線を介して送
信する。ＨＭＤ１００が自ら仮想空間情報を生成し、表示するように構成してもよい。
信する。ＨＭＤ１００が自ら仮想空間情報を生成し、表示するように構成してもよい。
【0014】
ＨＭＤ１００は、カメラ１１１、右目視線センサ１１２、左目視線センサ１１３、加速
度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６、温湿度センサ１１７及び
周囲監視センサ１１８を備え、ユーザ前方映像（周辺の物体の映像を含む）、ユーザの視
線、ユーザ頭部の動き、及び周辺の温湿度を検出する。
度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６、温湿度センサ１１７及び
周囲監視センサ１１８を備え、ユーザ前方映像（周辺の物体の映像を含む）、ユーザの視
線、ユーザ頭部の動き、及び周辺の温湿度を検出する。
【0015】
更に、ＨＭＤ１００は、両眼の前方に設置されたディスプレイ１１９を備え、カメラ１
１１で撮影された現実空間情報の映像やサーバ５００で生成された仮想空間情報の映像１
３０を表示する。
１１で撮影された現実空間情報の映像やサーバ５００で生成された仮想空間情報の映像１
３０を表示する。
【0016】
またＨＭＤ１００は、外周音マイク１２０、発声音マイク１２１を備えて外部からの音
声やユーザ自身の発声を集音する。
声やユーザ自身の発声を集音する。
【0017】
ＨＭＤ１００は、ユーザの耳付近にヘッドフォン１２２を備えて、音声や音楽をヘッド
フォン１２２から出力する。
フォン１２２から出力する。
【0018】
更にＨＭＤ１００はアンテナ１２９を備える。そして外部ネットワーク６００を介して
サーバ５００と情報の送受信を行い、サーバ５００が生成した仮想空間情報をＨＭＤ１０
０が受信し、ディスプレイ１１９に表示する。
サーバ５００と情報の送受信を行い、サーバ５００が生成した仮想空間情報をＨＭＤ１０
０が受信し、ディスプレイ１１９に表示する。
【0019】
カメラ１１１は、ユーザの周囲状態を検知するセンサとしての機能と、ユーザの視線検
出に用いる場合はユーザの状態を検知するセンサとしての機能を有する。また右目視線セ
ンサ１１２、左目視線センサ１１３、加速度センサ１１４、及びジャイロセンサ１１５の
其々は状態監視センサに相当する。
出に用いる場合はユーザの状態を検知するセンサとしての機能を有する。また右目視線セ
ンサ１１２、左目視線センサ１１３、加速度センサ１１４、及びジャイロセンサ１１５の
其々は状態監視センサに相当する。
【0020】
第１ウエアラブル端末２００は、心拍センサ２０１を備えて一定時間内に心臓が拍動す
る回数である心拍数を検出する。
る回数である心拍数を検出する。
【0021】
第２ウエアラブル端末３００は、血圧センサ３０１を備え、ユーザの血圧を検出する。
なお、第２ウエアラブル端末３００で脈拍センサを備え、動脈の拍動回数である脈拍数を
検出してもよい。
なお、第２ウエアラブル端末３００で脈拍センサを備え、動脈の拍動回数である脈拍数を
検出してもよい。
【0022】
第１ウエアラブル端末２００及び第２ウエアラブル端末３００の其々は、ユーザの状態
監視センサに相当する。
監視センサに相当する。
【0023】
入力コントローラ４００はユーザが各種の入力操作を行うものである。入力コントロー
ラ４００が受け付けたユーザ入力操作に基づいて、ユーザの両眼前方に備えられたディス
プレイ１１９では、現実空間情報にサーバ５００で生成された仮想空間情報の映像１３０
やＨＭＤ１００が自ら生成した仮想空間情報の映像１３０を重畳表示したり、現実空間情
報から仮想空間情報に入れ替えて表示したりすることが可能となる。
ラ４００が受け付けたユーザ入力操作に基づいて、ユーザの両眼前方に備えられたディス
プレイ１１９では、現実空間情報にサーバ５００で生成された仮想空間情報の映像１３０
やＨＭＤ１００が自ら生成した仮想空間情報の映像１３０を重畳表示したり、現実空間情
報から仮想空間情報に入れ替えて表示したりすることが可能となる。
【0024】
本実施形態に係るＨＭＤ１００は、ユーザに密接して装着されたＨＭＤ１００や第１ウ
エアラブル端末２００及び第２ウエアラブル端末３００の其々に具備された各種のセンサ
により、ユーザの身体やユーザの周囲の状態を検出し、両方の状態に基づいてディスプレ
イ１１９に表示させる仮想空間情報の映像１３０の表示態様を変更する点に特徴がある。
表示態様は、ユーザの身体状態や周囲の状態が共に正常な場合の表示態様である通常表示
態様と、ユーザの身体状態や周囲の状態の少なくとも一つに異常がある場合の表示態様で
あって、通常表示態様とは異なる表示態様からなる特定表示態様と、がある。また、本明
細書において、特定表示態様の一つとして非表示を含む。これらの詳細は後述する。
エアラブル端末２００及び第２ウエアラブル端末３００の其々に具備された各種のセンサ
により、ユーザの身体やユーザの周囲の状態を検出し、両方の状態に基づいてディスプレ
イ１１９に表示させる仮想空間情報の映像１３０の表示態様を変更する点に特徴がある。
表示態様は、ユーザの身体状態や周囲の状態が共に正常な場合の表示態様である通常表示
態様と、ユーザの身体状態や周囲の状態の少なくとも一つに異常がある場合の表示態様で
あって、通常表示態様とは異なる表示態様からなる特定表示態様と、がある。また、本明
細書において、特定表示態様の一つとして非表示を含む。これらの詳細は後述する。
【0025】
【0026】
図２において、ＨＭＤ１００は、カメラ１１１、右目視線センサ１１２、左目視線セン
サ１１３、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６、温湿度セ
ンサ１１７、周囲監視センサ１１８、ディスプレイ１１９、外周音マイク１２０、発声音
マイク１２１、ヘッドフォン１２２、本体側バイブレータ１２４、本体側制御器１２５、
プログラム１２６及び情報データ１２７等を格納するメモリ１２８、アンテナ１２９、本
体側ネットワーク通信器１３１、本体側近距離無線通信器１３２（本体側通信器に相当）
、及びタイマー１３３を用いて構成される。これらの各構要素はアンテナ１２９を除きそ
れぞれバス１４０を介して相互に接続されている。
サ１１３、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６、温湿度セ
ンサ１１７、周囲監視センサ１１８、ディスプレイ１１９、外周音マイク１２０、発声音
マイク１２１、ヘッドフォン１２２、本体側バイブレータ１２４、本体側制御器１２５、
プログラム１２６及び情報データ１２７等を格納するメモリ１２８、アンテナ１２９、本
体側ネットワーク通信器１３１、本体側近距離無線通信器１３２（本体側通信器に相当）
、及びタイマー１３３を用いて構成される。これらの各構要素はアンテナ１２９を除きそ
れぞれバス１４０を介して相互に接続されている。
【0027】
カメラ１１１は、ＨＭＤ１００の前面に設置され、ユーザ前方の風景を撮影し、撮影さ
れた映像は現実空間の映像として没入型のディスプレイ１１９にて表示される。ディスプ
レイ１１９が透過型ディスプレイである場合、ユーザは自分の目で現実空間情報を視認す
ればよいので、カメラ１１１の画像をディスプレイ１１９に表示しなくてもよい。
れた映像は現実空間の映像として没入型のディスプレイ１１９にて表示される。ディスプ
レイ１１９が透過型ディスプレイである場合、ユーザは自分の目で現実空間情報を視認す
ればよいので、カメラ１１１の画像をディスプレイ１１９に表示しなくてもよい。
【0028】
右目視線センサ１１２、左目視線センサ１１３は、それぞれ右目、左目の視線を検出す
る。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている
周知技術を利用すればよく、例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Ligh
t Emitting Diode）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射
光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づ
いて視線を検出する技術が知られている。
る。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている
周知技術を利用すればよく、例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Ligh
t Emitting Diode）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射
光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づ
いて視線を検出する技術が知られている。
【0029】
加速度センサ１１４は、１秒当たりの速度の変化である加速度を検出するセンサであり
、動き・振動・衝撃などを捉えることができる。
、動き・振動・衝撃などを捉えることができる。
【0030】
ジャイロセンサ１１５は、回転方向の角速度を検出するセンサであり、縦・横・斜めの
姿勢の状態を捉えることができる。よって、ＨＭＤ１００に搭載されている加速度センサ
１１４及びジャイロセンサ１１５を用いて、ＨＭＤ１００を装着しているユーザの頭部の
動きを検出することができる。
姿勢の状態を捉えることができる。よって、ＨＭＤ１００に搭載されている加速度センサ
１１４及びジャイロセンサ１１５を用いて、ＨＭＤ１００を装着しているユーザの頭部の
動きを検出することができる。
【0031】
地磁気センサ１１６は、地球の磁力を検出するセンサであり、ＨＭＤ１００が向いてい
る方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３
軸タイプを用い、頭部の動きに対する地磁気変化を捉まえることにより、頭部の動きを検
出することも可能である。これらにより、ＨＭＤ１００を装着中のユーザ頭部の動き変動
を詳しく検出することができる。
る方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３
軸タイプを用い、頭部の動きに対する地磁気変化を捉まえることにより、頭部の動きを検
出することも可能である。これらにより、ＨＭＤ１００を装着中のユーザ頭部の動き変動
を詳しく検出することができる。
【0032】
温湿度センサ１１７は、ユーザの周りの温度、湿度を検出するセンサである。
【0033】
周囲監視センサ１１８は、電波、光波、超音波などを発射しその反射波を捉まえて反射
している対象物までの距離や方向を検出するセンサであり、ユーザの頭部に装着し、ユー
ザ周辺の物体の距離や方向を検出することができる。なお、点線で囲われた部分１４１は
、各種のセンサデバイスを示している。
している対象物までの距離や方向を検出するセンサであり、ユーザの頭部に装着し、ユー
ザ周辺の物体の距離や方向を検出することができる。なお、点線で囲われた部分１４１は
、各種のセンサデバイスを示している。
【0034】
本体側制御器１２５は、ＨＭＤ１００の制御コントローラを構成し、メモリ１２８に記
憶格納されているＯＳ（Operating System）や動作制御用アプリケーションなどのプログ
ラム１２６を実行するプロセッサや、これらのプログラム１２６と同等の機能を実現する
サーキットを用いて構成される。本体側制御器１２５は、ＨＭＤ１００の各構成要素を制
御し、ＨＭＤ１００全体の動作制御処理を行っている。
憶格納されているＯＳ（Operating System）や動作制御用アプリケーションなどのプログ
ラム１２６を実行するプロセッサや、これらのプログラム１２６と同等の機能を実現する
サーキットを用いて構成される。本体側制御器１２５は、ＨＭＤ１００の各構成要素を制
御し、ＨＭＤ１００全体の動作制御処理を行っている。
【0035】
本体側制御器１２５は、周囲状態の異常の有無及びユーザ状態の異常の有無に応じて、
現実空間情報に仮想空間情報を重畳してディスプレイ１１９にて表示したり、或いは現実
空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示したりするときの動
作を制御する。
現実空間情報に仮想空間情報を重畳してディスプレイ１１９にて表示したり、或いは現実
空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示したりするときの動
作を制御する。
【0036】
本体側制御器１２５は、各種のセンサデバイスにより検出された情報を基に、ユーザの
身体の状態が仮想空間情報と現実空間情報とを誤って認識する異常な状態か否かを識別し
判定したり、またユーザの外周の状態が仮想空間情報を表示するに当たってユーザにとっ
て危険性のある異常な状態か否かを識別し判定したりするものである。
身体の状態が仮想空間情報と現実空間情報とを誤って認識する異常な状態か否かを識別し
判定したり、またユーザの外周の状態が仮想空間情報を表示するに当たってユーザにとっ
て危険性のある異常な状態か否かを識別し判定したりするものである。
【0037】
また本体側制御器１２５は、ユーザの注意力が低下し、仮想空間情報と現実空間情報と
を誤って認識する異常な状態と判定し、現実空間情報に仮想空間情報を重畳して、或いは
現実空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示する際の表示態
様を通常表示態様又は特定表示態様に切り替える。
を誤って認識する異常な状態と判定し、現実空間情報に仮想空間情報を重畳して、或いは
現実空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示する際の表示態
様を通常表示態様又は特定表示態様に切り替える。
【0038】
また本体側制御器１２５は、ユーザ周辺の物体を検出し周辺物体がユーザの一定範囲以
内に接近し仮想空間情報表示に当たってユーザにとって危険性のある異常な状態、即ち周
囲に異常があると判定する場合には、現実空間情報に仮想空間情報を重畳して、或いは現
実空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示する際の表示態様
を通常特定表示から特定表示態様又は非表示に切り替える。
内に接近し仮想空間情報表示に当たってユーザにとって危険性のある異常な状態、即ち周
囲に異常があると判定する場合には、現実空間情報に仮想空間情報を重畳して、或いは現
実空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示する際の表示態様
を通常特定表示から特定表示態様又は非表示に切り替える。
【0039】
メモリ１２８は、フラッシュメモリなどであり、本体側制御器１２５が使用する各種の
プログラム１２６を、またサーバ５００から送信された仮想空間情報や第１ウエアラブル
端末２００から受信した第１センサ出力や、第２ウエアラブル端末３００から受信した第
２センサ出力などの情報データ１２７を記憶している。
プログラム１２６を、またサーバ５００から送信された仮想空間情報や第１ウエアラブル
端末２００から受信した第１センサ出力や、第２ウエアラブル端末３００から受信した第
２センサ出力などの情報データ１２７を記憶している。
【0040】
ディスプレイ１１９は、液晶パネルなどにより構成され、現実空間情報や仮想空間情報
の映像１３０を表示し、またユーザへの呈示通知情報や動作状態等の表示内容を画面表示
するものである。ディスプレイ１１９では、例えば、図２に示すように、カメラ１１１で
撮影された現実空間情報の映像と、サーバ５００が生成してＨＭＤ１００に対して送信し
、ＨＭＤ１００が受信した仮想空間情報の映像１３０とを重畳させて画面表示する。
の映像１３０を表示し、またユーザへの呈示通知情報や動作状態等の表示内容を画面表示
するものである。ディスプレイ１１９では、例えば、図２に示すように、カメラ１１１で
撮影された現実空間情報の映像と、サーバ５００が生成してＨＭＤ１００に対して送信し
、ＨＭＤ１００が受信した仮想空間情報の映像１３０とを重畳させて画面表示する。
【0041】
本体側バイブレータ１２４は、本体側制御器１２５からの制御によって振動を発生させ
るもので、ＨＭＤ１００で発信されたユーザへの通知情報を振動に変換する。本体側バイ
ブレータ１２４は密接装着されているユーザ頭部で振動を発生させることにより、ユーザ
への通知を確実に伝えることができる。
るもので、ＨＭＤ１００で発信されたユーザへの通知情報を振動に変換する。本体側バイ
ブレータ１２４は密接装着されているユーザ頭部で振動を発生させることにより、ユーザ
への通知を確実に伝えることができる。
【0042】
本体側ネットワーク通信器１３１は、無線ＬＡＮ、有線ＬＡＮ或いは基地局通信により
外部のサーバ５００と通信を行う通信インターフェースであり、無線通信に際してはアン
テナ１２９を介して外部ネットワーク６００に接続し情報の送受信を行う。本体側ネット
ワーク通信器１３１では、外部ネットワーク６００経由などによりサーバ５００で生成さ
れた仮想空間情報を受信することができ、またサーバ５００と動作制御信号情報などの送
受信を行うことができる。なお、基地局通信方式としては、Ｗ－ＣＤＭＡ（Wideband Co
de Division Multiple Access）やＧＳＭ（登録商標）（Global System for Mobil
e communications）などの遠距離の無線通信を用いればよい。
外部のサーバ５００と通信を行う通信インターフェースであり、無線通信に際してはアン
テナ１２９を介して外部ネットワーク６００に接続し情報の送受信を行う。本体側ネット
ワーク通信器１３１では、外部ネットワーク６００経由などによりサーバ５００で生成さ
れた仮想空間情報を受信することができ、またサーバ５００と動作制御信号情報などの送
受信を行うことができる。なお、基地局通信方式としては、Ｗ－ＣＤＭＡ（Wideband Co
de Division Multiple Access）やＧＳＭ（登録商標）（Global System for Mobil
e communications）などの遠距離の無線通信を用いればよい。
【0043】
本体側近距離無線通信器１３２は、近距離無線通信が可能な範囲にある第１ウエアラブ
ル端末２００、第２ウエアラブル端末３００、入力コントローラ４００のそれぞれと、近
距離無線通信を行う通信インターフェースである。本体側近距離無線通信器１３２は、例
えば電子タグを用いて行われるが、これに限定されず、ＨＭＤ１００が第１ウエアラブル
端末２００、第２ウエアラブル端末３００、入力コントローラ４００の近くにある場合に
少なくとも無線通信可能であるものであれば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤ
Ａ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Ra
dio Frequency、登録商標）、又は、無線ＬＡＮ（IEEE802.11a、IEEE802.11b、IEEE802.1
1g）を用いて行なわれるようにしてもよい。
ル端末２００、第２ウエアラブル端末３００、入力コントローラ４００のそれぞれと、近
距離無線通信を行う通信インターフェースである。本体側近距離無線通信器１３２は、例
えば電子タグを用いて行われるが、これに限定されず、ＨＭＤ１００が第１ウエアラブル
端末２００、第２ウエアラブル端末３００、入力コントローラ４００の近くにある場合に
少なくとも無線通信可能であるものであれば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤ
Ａ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Ra
dio Frequency、登録商標）、又は、無線ＬＡＮ（IEEE802.11a、IEEE802.11b、IEEE802.1
1g）を用いて行なわれるようにしてもよい。
【0044】
第１ウエアラブル端末２００は、心拍センサ２０１、第１バイブレータ２０２、第１近
距離無線通信器２０３（端末側通信器に相当する）を有している。心拍センサ２０１は、
ユーザの胸部に密接して装着され精度よくユーザの心拍数を検出する。第１近距離無線通
信器２０３では検出された心拍数情報を近距離無線通信によりＨＭＤ１００に送信し、Ｈ
ＭＤ１００側では送信された心拍数情報を本体側近距離無線通信器１３２にて受信して、
ＨＭＤ１００内に取り込む。
距離無線通信器２０３（端末側通信器に相当する）を有している。心拍センサ２０１は、
ユーザの胸部に密接して装着され精度よくユーザの心拍数を検出する。第１近距離無線通
信器２０３では検出された心拍数情報を近距離無線通信によりＨＭＤ１００に送信し、Ｈ
ＭＤ１００側では送信された心拍数情報を本体側近距離無線通信器１３２にて受信して、
ＨＭＤ１００内に取り込む。
【0045】
第１バイブレータ２０２は、バイブレータ制御信号（図３参照）に応じて振動を発生さ
せるもので、ユーザ胸部に密接して装着されることにより、発生振動を確実にユーザに伝
えることができる。ＨＭＤ１００から発信されたユーザへの通知情報は、本体側近距離無
線通信器１３２及び第１近距離無線通信器２０３を介して第１バイブレータ２０２に伝達
され、第１バイブレータ２０２にて通知情報を振動に変換してユーザに知らしめることが
できる。
せるもので、ユーザ胸部に密接して装着されることにより、発生振動を確実にユーザに伝
えることができる。ＨＭＤ１００から発信されたユーザへの通知情報は、本体側近距離無
線通信器１３２及び第１近距離無線通信器２０３を介して第１バイブレータ２０２に伝達
され、第１バイブレータ２０２にて通知情報を振動に変換してユーザに知らしめることが
できる。
【0046】
第２ウエアラブル端末３００は、血圧センサ３０１、第２バイブレータ３０２、第２近
距離無線通信器３０３（端末側通信器に相当する）を有している。血圧センサ３０１は、
ユーザの腕部に巻きつけて装着され精度よくユーザの血圧を検出し、第２近距離無線通信
器３０３では検出された血圧情報を近距離無線通信によりＨＭＤ１００に送信し、ＨＭＤ
１００では送信された血圧情報を本体側近距離無線通信器１３２にて受信して、ＨＭＤ１
００内に取り込む。
距離無線通信器３０３（端末側通信器に相当する）を有している。血圧センサ３０１は、
ユーザの腕部に巻きつけて装着され精度よくユーザの血圧を検出し、第２近距離無線通信
器３０３では検出された血圧情報を近距離無線通信によりＨＭＤ１００に送信し、ＨＭＤ
１００では送信された血圧情報を本体側近距離無線通信器１３２にて受信して、ＨＭＤ１
００内に取り込む。
【0047】
第２バイブレータ３０２は、バイブレータ制御信号（図３参照）に応じて振動を発生さ
せるもので、ユーザ腕部に巻きつけて装着されることにより、発生振動を確実にユーザに
伝えることができる。ＨＭＤ１００から発信されたユーザへの通知情報は、本体側近距離
無線通信器１３２、第２近距離無線通信器３０３を介して第２バイブレータ３０２に伝達
され、第２バイブレータ３０２にて通知情報を振動に変換してユーザに知らしめることが
できる。
せるもので、ユーザ腕部に巻きつけて装着されることにより、発生振動を確実にユーザに
伝えることができる。ＨＭＤ１００から発信されたユーザへの通知情報は、本体側近距離
無線通信器１３２、第２近距離無線通信器３０３を介して第２バイブレータ３０２に伝達
され、第２バイブレータ３０２にて通知情報を振動に変換してユーザに知らしめることが
できる。
【0048】
なお、本体側バイブレータ１２４、第１バイブレータ２０２、第２バイブレータ３０２
では、ユーザの身体或いは外周に異常な状態がなく仮想空間情報の重畳表示や入替表示の
動作が開始されるときや、ユーザの身体或いは外周に異常な状態があり仮想空間情報の重
畳表示や入替表示の動作が開始されないときには、仮想空間情報表示の動作の開始や動作
開始の不可を知らしめる振動を発生し、ユーザに通知する。また、同様に、仮想空間情報
表示の動作の開始や動作開始の不可を知らしめる音声をヘッドフォン１２２から発声させ
て、ユーザに通知する。
では、ユーザの身体或いは外周に異常な状態がなく仮想空間情報の重畳表示や入替表示の
動作が開始されるときや、ユーザの身体或いは外周に異常な状態があり仮想空間情報の重
畳表示や入替表示の動作が開始されないときには、仮想空間情報表示の動作の開始や動作
開始の不可を知らしめる振動を発生し、ユーザに通知する。また、同様に、仮想空間情報
表示の動作の開始や動作開始の不可を知らしめる音声をヘッドフォン１２２から発声させ
て、ユーザに通知する。
【0049】
入力コントローラ４００は、入力操作器４０１、第３近距離無線通信器４０２を有する
。入力操作器４０１は、例えばキーボードやキーボタン等による操作部材であり、ユーザ
が入力したい情報を設定入力できる。
。入力操作器４０１は、例えばキーボードやキーボタン等による操作部材であり、ユーザ
が入力したい情報を設定入力できる。
【0050】
またディスプレイ１１９が有する表示画面内に入力操作器４０１を形成してもよい。例
えば静電容量式などのタッチパッド方式の入力部材では指やタッチペンなどによる接近又
は接触操作を操作入力として検出するものである。入力操作器４０１で入力された情報は
、第３近距離無線通信器４０２を介してＨＭＤ１００に送信され、ＨＭＤ１００内の本体
側近距離無線通信器１３２にて受信し、ＨＭＤ１００内に取り込まれる。なお、第１ウエ
アラブル端末２００、第２ウエアラブル端末３００、入力コントローラ４００の其々は、
ＨＭＤ１００と近距離無線通信により使い勝手よく情報の送受信を行う場合を示している
が、有線で接続してもよい。
えば静電容量式などのタッチパッド方式の入力部材では指やタッチペンなどによる接近又
は接触操作を操作入力として検出するものである。入力操作器４０１で入力された情報は
、第３近距離無線通信器４０２を介してＨＭＤ１００に送信され、ＨＭＤ１００内の本体
側近距離無線通信器１３２にて受信し、ＨＭＤ１００内に取り込まれる。なお、第１ウエ
アラブル端末２００、第２ウエアラブル端末３００、入力コントローラ４００の其々は、
ＨＭＤ１００と近距離無線通信により使い勝手よく情報の送受信を行う場合を示している
が、有線で接続してもよい。
【0051】
サーバ５００は、イメージプロセッサ５０１（仮想空間情報生成処理部）、サーバ側メ
モリ５０２、サーバ側制御器５０３、サーバ側ネットワーク通信器５０４、アンテナ５０
５を備え、これらがバス５０６を介して相互に接続されて構成される。
モリ５０２、サーバ側制御器５０３、サーバ側ネットワーク通信器５０４、アンテナ５０
５を備え、これらがバス５０６を介して相互に接続されて構成される。
【0052】
イメージプロセッサ５０１は、現実空間とは異なる仮想空間を映像や音声で表現する仮
想空間情報を生成する。
想空間情報を生成する。
【0053】
サーバ側メモリ５０２は、フラッシュメモリなどであり、イメージプロセッサ５０１で
生成した仮想空間情報や、サーバ５００内のサーバ側制御器５０３が使用する各種プログ
ラムなどを記憶している。
生成した仮想空間情報や、サーバ５００内のサーバ側制御器５０３が使用する各種プログ
ラムなどを記憶している。
【0054】
サーバ側ネットワーク通信器５０４は、アンテナ５０５を経由し外部ネットワーク６０
０を介してＨＭＤ１００と通信を行う通信インターフェースであり、ＨＭＤ１００と接続
し情報の送受信を行う。
０を介してＨＭＤ１００と通信を行う通信インターフェースであり、ＨＭＤ１００と接続
し情報の送受信を行う。
【0055】
サーバ側制御器５０３は、ＣＰＵやＭＰＵ等のプロセッサで構成され、サーバ側メモリ
５０２に記憶格納されているＯＳ（Operating System）や動作制御用アプリケーションな
どのプログラム１２６を実行することによって、各構成部を制御し、サーバ５００全体の
動作制御処理を行っている。サーバ側制御器５０３は、本体側制御器１２５と同様、サー
キットにより構成されてもよい。
５０２に記憶格納されているＯＳ（Operating System）や動作制御用アプリケーションな
どのプログラム１２６を実行することによって、各構成部を制御し、サーバ５００全体の
動作制御処理を行っている。サーバ側制御器５０３は、本体側制御器１２５と同様、サー
キットにより構成されてもよい。
【0056】
サーバ側制御器５０３は、ＨＭＤ１００からの要求に応じて、イメージプロセッサ５０
１で生成された仮想空間情報、或いはサーバ側メモリ５０２に保存されている仮想空間情
報をＨＭＤ１００に送信供給するように、各構成部を動作制御する。
１で生成された仮想空間情報、或いはサーバ側メモリ５０２に保存されている仮想空間情
報をＨＭＤ１００に送信供給するように、各構成部を動作制御する。
【0057】
図３は、本体側制御器１２５の機能を示す機能ブロック図である。本体側制御器１２５
は、大きくは周囲監視判定部１２５１、状態判定部１２５２、及び表示制御部１２５３を
備える。各構成要素の処理の詳細は、以下、図４、図５を用いて説明する。
は、大きくは周囲監視判定部１２５１、状態判定部１２５２、及び表示制御部１２５３を
備える。各構成要素の処理の詳細は、以下、図４、図５を用いて説明する。
【0058】
【0059】
図４に示すように、ＨＭＤシステム１の主電源が投入されと、周囲監視処理（Ｓ１０１
、Ｓ１０２）とユーザの状態監視処理（Ｓ２０１、Ｓ２０２）が並行して開始する。
、Ｓ１０２）とユーザの状態監視処理（Ｓ２０１、Ｓ２０２）が並行して開始する。
【0060】
具体的には、周囲監視判定部１２５１がカメラ１１１で撮影された現実空間情報や周囲
監視センサ１１８が検出した周囲物体の位置や動きを示す第１センサ出力を取得し（Ｓ１
０１）、ユーザの外周の状態が仮想空間情報を表示するに当たってユーザにとって危険性
のある異常な状態であるか否かを判定する（Ｓ１０２）。周囲監視判定部１２５１は周囲
監視判定結果を表示制御部１２５３へ出力する。
監視センサ１１８が検出した周囲物体の位置や動きを示す第１センサ出力を取得し（Ｓ１
０１）、ユーザの外周の状態が仮想空間情報を表示するに当たってユーザにとって危険性
のある異常な状態であるか否かを判定する（Ｓ１０２）。周囲監視判定部１２５１は周囲
監視判定結果を表示制御部１２５３へ出力する。
【0061】
一方、状態判定部１２５２は、第１ウエアラブル端末２００及び第２ウエアラブル端末
３００の其々から第２センサ出力を取得し（Ｓ２０１）、ユーザの身体状態が仮想空間情
報と現実空間情報とを誤って認識する異常な状態か否かを判定する（Ｓ２０２）。ここで
いう「ユーザの身体状態が異常」とは、ユーザが現実空間情報と仮想空間情報とを誤認識
する程度に注意力が落ちている状態を意味し、風邪や骨折等の病状、症状を意味するもの
ではない。
３００の其々から第２センサ出力を取得し（Ｓ２０１）、ユーザの身体状態が仮想空間情
報と現実空間情報とを誤って認識する異常な状態か否かを判定する（Ｓ２０２）。ここで
いう「ユーザの身体状態が異常」とは、ユーザが現実空間情報と仮想空間情報とを誤認識
する程度に注意力が落ちている状態を意味し、風邪や骨折等の病状、症状を意味するもの
ではない。
【0062】
ユーザの身体状態が異常とは、例えばユーザの血圧が予め決められた正常血圧範囲内に
なく、低血圧又は高血圧を示していたり、心拍数が正常心拍数範囲内になく、心拍数が低
すぎたり又は高すぎたりする場合は、ユーザの身体状態に異常があると判定する。状態判
定部１２５２はユーザの身体状態判定結果を表示制御部１２５３へ出力する。
なく、低血圧又は高血圧を示していたり、心拍数が正常心拍数範囲内になく、心拍数が低
すぎたり又は高すぎたりする場合は、ユーザの身体状態に異常があると判定する。状態判
定部１２５２はユーザの身体状態判定結果を表示制御部１２５３へ出力する。
【0063】
表示制御部１２５３は、周囲監視判定結果、及びユーザの身体状態判定結果の双方を用
いて仮想空間情報の表示形態を決定する。
いて仮想空間情報の表示形態を決定する。
【0064】
図５に示すように、表示制御部１２５３は、ユーザの身体状態が正常かつ周囲が正常な
場合（ステータス１）は通常表示態様、即ち仮想空間情報の表示態様をＨＭＤ１００にお
いて基本設定された画質や色調で表示する。換言すると、通常表示態様では、ユーザに現
実空間の映像や風景と、仮想空間情報との区別をさせるための特別な工夫を凝らすことな
く、仮想空間情報を表示する。
場合（ステータス１）は通常表示態様、即ち仮想空間情報の表示態様をＨＭＤ１００にお
いて基本設定された画質や色調で表示する。換言すると、通常表示態様では、ユーザに現
実空間の映像や風景と、仮想空間情報との区別をさせるための特別な工夫を凝らすことな
く、仮想空間情報を表示する。
【0065】
ユーザの身体状態に異常があるが周囲が正常な場合（ステータス２）、又はユーザの身
体状態は正常であるが周囲に注意レベルの異常がある場合（ステータス３）は特定表示態
様で表示する。
体状態は正常であるが周囲に注意レベルの異常がある場合（ステータス３）は特定表示態
様で表示する。
【0066】
特定表示態様とは、現実空間情報と明らかに異なるリアリティを下げた形で仮想空間情
報を表示する態様である。これにより、ユーザに対し表示開始された情報が仮想空間情報
であることを明確に意識させることが可能となる。
報を表示する態様である。これにより、ユーザに対し表示開始された情報が仮想空間情報
であることを明確に意識させることが可能となる。
【0067】
例えば、重畳表示或いは入替表示する仮想空間情報の色、輝度、コントラスト、解像度
などの映像画質を、カメラ１１１で撮影され検出された現実空間情報の映像画質と明らか
に異なるように、サーバ５００内のイメージプロセッサ５０１で、或いはＨＭＤ１００の
メモリ１２８に格納された仮想空間情報を本体側制御器１２５にて制御して、調整する。
などの映像画質を、カメラ１１１で撮影され検出された現実空間情報の映像画質と明らか
に異なるように、サーバ５００内のイメージプロセッサ５０１で、或いはＨＭＤ１００の
メモリ１２８に格納された仮想空間情報を本体側制御器１２５にて制御して、調整する。
【0068】
また、仮想空間情報の表示として、透過モードを用いてもよいし、物体の曲面表現の際
に用いられる多角形であるポリゴンの数を少なくしてもよいし、輪郭線の強調表示のみに
してもよい。また、仮想空間情報であることを示すメッセージを仮想空間情報の映像１３
０と共に並列表示してもよい。更に通常表示態様における表示色とは異なる表示色で仮想
空間情報を表示させてもよい。また仮想空間情報を点滅表示させてもよい。
に用いられる多角形であるポリゴンの数を少なくしてもよいし、輪郭線の強調表示のみに
してもよい。また、仮想空間情報であることを示すメッセージを仮想空間情報の映像１３
０と共に並列表示してもよい。更に通常表示態様における表示色とは異なる表示色で仮想
空間情報を表示させてもよい。また仮想空間情報を点滅表示させてもよい。
【0069】
特定表示態様は、仮想空間情報の表示開始時だけでなく、仮想空間情報の表示中も継続
して表示してもよい。而して、仮想空間情報の表示リアリティを下げ仮想空間であること
をわかりやすくし、ユーザにとって仮想空間情報の表示開始やその表示自体が仮想空間情
報であることを意識させることができる。
して表示してもよい。而して、仮想空間情報の表示リアリティを下げ仮想空間であること
をわかりやすくし、ユーザにとって仮想空間情報の表示開始やその表示自体が仮想空間情
報であることを意識させることができる。
【0070】
ユーザの身体状態に異常があり、かつ周囲に注意レベルの異常がある場合（ステータス
４）は、仮想空間情報を暫定的に非表示にする。そして予め定めた非表示待機時間Ｔｔｈ
内にユーザの身体状態が回復して正常となるか（ステータス４からステータス３へ遷移）
、周囲が正常になれば（ステータス４からステータス２へ遷移）、特定表示態様により仮
想空間情報の表示を再開する。ステータス４になってからの経過時間Ｔが非表示待機時間
Ｔｔｈを過ぎると、仮想空間情報の表示を強制停止する。
４）は、仮想空間情報を暫定的に非表示にする。そして予め定めた非表示待機時間Ｔｔｈ
内にユーザの身体状態が回復して正常となるか（ステータス４からステータス３へ遷移）
、周囲が正常になれば（ステータス４からステータス２へ遷移）、特定表示態様により仮
想空間情報の表示を再開する。ステータス４になってからの経過時間Ｔが非表示待機時間
Ｔｔｈを過ぎると、仮想空間情報の表示を強制停止する。
【0071】
周囲に警戒レベルの異常がある場合（ステータス５）は、ユーザの身体状態が正常又は
異常に関らず、仮想空間情報の表示を強制停止する。
異常に関らず、仮想空間情報の表示を強制停止する。
【0072】
図４に戻り、本体側制御器１２５は、周囲監視判定結果及びユーザの身体状態判定結果
を取得し、現在の表示態様を決定する。表示態様の決定手順の一例を下記に示すが、いず
れの表示態様とするかの決定手順は下記に限定されない。
を取得し、現在の表示態様を決定する。表示態様の決定手順の一例を下記に示すが、いず
れの表示態様とするかの決定手順は下記に限定されない。
【0073】
本体側制御器１２５は、周囲監視判定結果を基に周囲環境が警戒レベルであると判定す
ると（Ｓ３０１）、仮想空間情報の表示を強制停止すると決定し、表示制御部１２５３に
対して仮想空間情報の強制停止し（Ｓ３０２：図５のステータス５）、ステップＳ３１２
へ進む。
ると（Ｓ３０１）、仮想空間情報の表示を強制停止すると決定し、表示制御部１２５３に
対して仮想空間情報の強制停止し（Ｓ３０２：図５のステータス５）、ステップＳ３１２
へ進む。
【0074】
仮想空間情報を再表示する場合は、ユーザが入力コントローラ４００の入力操作器４０
１から再表示の入力指示を入力する。再表示の入力指示の操作を容易にするために、ステ
ップＳ３０２で仮想空間情報の出力を停止すると共に、ディスプレイ１１９に再表示アイ
コンを表示させ、この再表示アイコンをユーザがタッチすることで（Ｓ３１２／Ｎｏに相
当）、再度ステップＳ１０１、Ｓ２０１の操作を再開してもよい。
１から再表示の入力指示を入力する。再表示の入力指示の操作を容易にするために、ステ
ップＳ３０２で仮想空間情報の出力を停止すると共に、ディスプレイ１１９に再表示アイ
コンを表示させ、この再表示アイコンをユーザがタッチすることで（Ｓ３１２／Ｎｏに相
当）、再度ステップＳ１０１、Ｓ２０１の操作を再開してもよい。
【0075】
本体側制御器１２５は、周囲監視判定結果を基に周囲環境が注意レベルであると判定す
ると（Ｓ３０１／Ｎｏ、Ｓ３０３／Ｙｅｓ）、ユーザの身体情報判定結果を基にユーザの
身体状態が正常であるか異常であるかを判定する（Ｓ３０４）。
ると（Ｓ３０１／Ｎｏ、Ｓ３０３／Ｙｅｓ）、ユーザの身体情報判定結果を基にユーザの
身体状態が正常であるか異常であるかを判定する（Ｓ３０４）。
【0076】
ユーザの身体情報が正常であれば（Ｓ３０４／Ｙｅｓ）、仮想空間情報の表示態様は特
定表示態様にすると決定し、表示制御部１２５３に特定表示態様を用いる指示を出力する
。表示制御部１２５３は、仮想空間情報を特定表示態様による表示用データに変換し、デ
ィスプレイ１１９に出力する（Ｓ３０５：図５のステータス３）。
定表示態様にすると決定し、表示制御部１２５３に特定表示態様を用いる指示を出力する
。表示制御部１２５３は、仮想空間情報を特定表示態様による表示用データに変換し、デ
ィスプレイ１１９に出力する（Ｓ３０５：図５のステータス３）。
【0077】
ユーザの身体情報が異常であれば（Ｓ３０４／Ｎｏ）、仮想空間情報の表示を暫定的に
停止し（Ｓ３０６：図５のステータス４）、タイマー１３３により暫定的に停止してから
の経過時間Ｔを計測する（Ｓ３０７）。経過時間Ｔが予め定めた非表示待機時間Ｔｔｈ未
満であれば（Ｓ３０８／Ｙｅｓ）、ステップＳ１０１、Ｓ２０１へ戻る。処理を繰り返し
た結果、経過時間Ｔが非表示待機時間Ｔｔｈ以上になると（Ｓ３０８／Ｎｏ）、強制停止
し（Ｓ３０９）、ステップＳ３１２へ進む。
停止し（Ｓ３０６：図５のステータス４）、タイマー１３３により暫定的に停止してから
の経過時間Ｔを計測する（Ｓ３０７）。経過時間Ｔが予め定めた非表示待機時間Ｔｔｈ未
満であれば（Ｓ３０８／Ｙｅｓ）、ステップＳ１０１、Ｓ２０１へ戻る。処理を繰り返し
た結果、経過時間Ｔが非表示待機時間Ｔｔｈ以上になると（Ｓ３０８／Ｎｏ）、強制停止
し（Ｓ３０９）、ステップＳ３１２へ進む。
【0078】
本体側制御器１２５は、周囲監視判定結果を基に周囲環境が正常であると判定すると（
Ｓ３０３／Ｎｏ）、ユーザの身体情報判定結果を基にユーザの身体状態が正常であるか異
常であるかを判定する（Ｓ３１０）。
Ｓ３０３／Ｎｏ）、ユーザの身体情報判定結果を基にユーザの身体状態が正常であるか異
常であるかを判定する（Ｓ３１０）。
【0079】
ユーザの身体情報が正常であれば（Ｓ３１０／Ｙｅｓ）、仮想空間情報の表示態様は通
常表示態様にすると決定し（Ｓ３１１：図５のステータス１）、表示制御部１２５３に通
常表示態様を用いる指示を出力する。表示制御部１２５３は、仮想空間情報を通常表示態
様による表示用データに変換し、ディスプレイ１１９に出力する（Ｓ３１１）。
常表示態様にすると決定し（Ｓ３１１：図５のステータス１）、表示制御部１２５３に通
常表示態様を用いる指示を出力する。表示制御部１２５３は、仮想空間情報を通常表示態
様による表示用データに変換し、ディスプレイ１１９に出力する（Ｓ３１１）。
【0080】
ユーザの身体情報が異常であれば（Ｓ３１０／Ｎｏ）、仮想空間情報の表示態様は特定
表示態様にすると決定する（Ｓ３０５：図５のステータス２）。
表示態様にすると決定する（Ｓ３０５：図５のステータス２）。
【0081】
上記ステップＳ３０２、Ｓ３０９における強制停止、またステップＳ３０６の暫定的に
非表示とする場合、仮想空間情報の表示が行えないことを示すメッセージをディスプレイ
１１９に表示してユーザに対して通知してもよい。また、この通知はヘッドフォン１２２
からユーザへの発声音声や、本体側バイブレータ１２４、第１バイブレータ２０２、第２
バイブレータ３０２の少なくとも一つによるユーザへの触感振動により通知してもよい。
非表示とする場合、仮想空間情報の表示が行えないことを示すメッセージをディスプレイ
１１９に表示してユーザに対して通知してもよい。また、この通知はヘッドフォン１２２
からユーザへの発声音声や、本体側バイブレータ１２４、第１バイブレータ２０２、第２
バイブレータ３０２の少なくとも一つによるユーザへの触感振動により通知してもよい。
【0082】
またステップＳ３０５の特定表示態様やステップＳ３１１の通常表示態様による仮想空
間情報の表示を行う場合も、仮想空間情報の表示を行うことを示すメッセージをディスプ
レイ１１９に表示してユーザに対して通知してもよい。また、この通知はヘッドフォン１
２２からユーザへの発声音声や、本体側バイブレータ１２４、第１バイブレータ２０２、
第２バイブレータ３０２の少なくとも一つによるユーザへの触感振動により通知してもよ
い。
間情報の表示を行う場合も、仮想空間情報の表示を行うことを示すメッセージをディスプ
レイ１１９に表示してユーザに対して通知してもよい。また、この通知はヘッドフォン１
２２からユーザへの発声音声や、本体側バイブレータ１２４、第１バイブレータ２０２、
第２バイブレータ３０２の少なくとも一つによるユーザへの触感振動により通知してもよ
い。
【0083】
以下、ユーザの身体状態、及び周囲環境に起因する注意力の低下要因の有無を判定する
例について説明する。
例について説明する。
【0084】
＜ユーザの身体状態の判定例：サッカード検出＞
ステップＳ２０１、Ｓ２０２におけるユーザの身体状態判定に用いるセンサデバイスと
して右目視線センサ１１２及び左目視線センサ１１３を用いる例について説明する。
ステップＳ２０１、Ｓ２０２におけるユーザの身体状態判定に用いるセンサデバイスと
して右目視線センサ１１２及び左目視線センサ１１３を用いる例について説明する。
【0085】
右目視線センサ１１２が出力した右目視線データ、及び左目視線センサ１１３が出力し
た左目視線データを本体側制御器１２５が取得し、両眼の動きを検出する。
た左目視線データを本体側制御器１２５が取得し、両眼の動きを検出する。
【0086】
本体側制御器１２５の状態判定部１２５２は、右目視線データ及び左目視線データを基
に、両眼が小刻みに込み高速で動くような急速な眼球運動（サッカード）をしているか否
かを識別する。そして、急速眼球運動をしている場合は、ユーザが仮想空間情報と現実空
間情報とを誤って認識する異常な状態と判定する。
に、両眼が小刻みに込み高速で動くような急速な眼球運動（サッカード）をしているか否
かを識別する。そして、急速眼球運動をしている場合は、ユーザが仮想空間情報と現実空
間情報とを誤って認識する異常な状態と判定する。
【0087】
＜ユーザの身体状態の判定例：ユーザが現実空間の対象物を注視しているかを検出＞
視線検出を用いた他の例としては、ユーザが現実空間の特定の対象を注視しているかど
うかで周囲に対する注意力の程度を判断する方法がある。ここで、注視とは、一定時間以
上対象物に視線を合わせている状態、と定義できる。図６は、カメラ１１１から現実空間
をみた際の座標系を示す図である。図７は、注視している被写体Ｏと両眼の位置関係を示
す図である。
視線検出を用いた他の例としては、ユーザが現実空間の特定の対象を注視しているかど
うかで周囲に対する注意力の程度を判断する方法がある。ここで、注視とは、一定時間以
上対象物に視線を合わせている状態、と定義できる。図６は、カメラ１１１から現実空間
をみた際の座標系を示す図である。図７は、注視している被写体Ｏと両眼の位置関係を示
す図である。
【0088】
まず、状態判定部１２５２がカメラ１１１により現実空間情報を取得する。また、状態
判定部１２５２が右目視線データ及び左目視線データを基にユーザの視線を検出する。カ
メラ１１１のＨＭＤ１００における取付け位置は固定されており、ユーザがＨＭＤ１００
を装着すれば、眼球とカメラ１１１の相対的位置が固定される。ここでは、カメラ１１１
は両眼を結ぶ線分の中点近くに配置されているものとする。カメラ１１１により撮影され
た現実空間は、カメラ１１１から見た方位（θC、φC）の座標系にマッピングされる（図
６）。この現実空間の画像中のどの点にユーザの視線が向いているかは、右目視線データ
及び左目視線データから次のように計算できる。
判定部１２５２が右目視線データ及び左目視線データを基にユーザの視線を検出する。カ
メラ１１１のＨＭＤ１００における取付け位置は固定されており、ユーザがＨＭＤ１００
を装着すれば、眼球とカメラ１１１の相対的位置が固定される。ここでは、カメラ１１１
は両眼を結ぶ線分の中点近くに配置されているものとする。カメラ１１１により撮影され
た現実空間は、カメラ１１１から見た方位（θC、φC）の座標系にマッピングされる（図
６）。この現実空間の画像中のどの点にユーザの視線が向いているかは、右目視線データ
及び左目視線データから次のように計算できる。
【0089】
図７において、Ｒが右目の位置、Ｌが左目の位置を表す。両眼の距離をＳとする。Ｃは
カメラ１１１の位置であり、両眼を結ぶ基線ＬＲの中点とする。厳密には、カメラ１１１
の位置は、基線の中点からはずれるが、通常は、被写体の位置は、このずれの量に比べて
十分に遠いので、カメラ１１１からみた被写体の方向を求める際には、このカメラ位置の
誤差は無視できる。
カメラ１１１の位置であり、両眼を結ぶ基線ＬＲの中点とする。厳密には、カメラ１１１
の位置は、基線の中点からはずれるが、通常は、被写体の位置は、このずれの量に比べて
十分に遠いので、カメラ１１１からみた被写体の方向を求める際には、このカメラ位置の
誤差は無視できる。
【0090】
被写体までの距離と方向を考える際に、基線ＬＲとカメラ１１１の光軸方向で形成され
る基準面Ｐを考える。各点から被写体までのベクトルとこの基準面Ｐとなす角をθで表し
、基準面Ｐの上側方向を正にとる。また、各点から被写体までのベクトルを基準面Ｐに射
影したベクトルと、各点からカメラ１１１の光軸方向となす角をφで表す。基準面Ｐを上
から見て、右方向の角度を正にとる。
る基準面Ｐを考える。各点から被写体までのベクトルとこの基準面Ｐとなす角をθで表し
、基準面Ｐの上側方向を正にとる。また、各点から被写体までのベクトルを基準面Ｐに射
影したベクトルと、各点からカメラ１１１の光軸方向となす角をφで表す。基準面Ｐを上
から見て、右方向の角度を正にとる。
【0091】
左右の視線センサにより、左右それぞれの目からみた被写体の方向（θL,φL）及び（
θR,φR）が測定できる。このデータから、カメラ１１１からみた注視している被写体Ｏ
の方向（θC,φC）とカメラ１１１から被写体Ｏまでの距離ｄCOを計算で求めることがで
きる。具体的な表式は下記である。
θR,φR）が測定できる。このデータから、カメラ１１１からみた注視している被写体Ｏ
の方向（θC,φC）とカメラ１１１から被写体Ｏまでの距離ｄCOを計算で求めることがで
きる。具体的な表式は下記である。
【数1】
【数2】
【数3】
【0092】
なお、注視点の距離まで分かるので、カメラ１１１が測距機能も備えて、被写体までの
距離も分かる場合、より正確に対象物に対する注視の判定を行うことができる（カメラの
他に測距デバイスを備えても構わない）。
距離も分かる場合、より正確に対象物に対する注視の判定を行うことができる（カメラの
他に測距デバイスを備えても構わない）。
【0093】
ユーザの注視点が現実世界の同じ対象物に、予め定めた一定時間以上留まっている場合
、その対象物を注視しており、その他の周囲状況に対する注意力が低下しているとの判断
により身体状態を異常と判定し、どの対象物も注視をしていない時に身体状態を正常と判
定してもよい。
、その対象物を注視しており、その他の周囲状況に対する注意力が低下しているとの判断
により身体状態を異常と判定し、どの対象物も注視をしていない時に身体状態を正常と判
定してもよい。
【0094】
これにより、ユーザにとって現実空間情報を見ている状態では仮想空間情報表示による
擾乱や邪魔が生じることはなく、安全で使い勝手よくＨＭＤ１００を使用できる。
擾乱や邪魔が生じることはなく、安全で使い勝手よくＨＭＤ１００を使用できる。
【0095】
＜ユーザの身体状態の判定例：ユーザが目を閉じているか否かを検出＞
視線検出を用いた他の例として、状態判定部１２５２は、右目視線データ及び左目視線
データを用いて両眼の動きを検出して、瞬き以外で目が閉じているか否かを識別判定して
もよい。
視線検出を用いた他の例として、状態判定部１２５２は、右目視線データ及び左目視線
データを用いて両眼の動きを検出して、瞬き以外で目が閉じているか否かを識別判定して
もよい。
【0096】
そして、状態判定部１２５２は、瞬き以外で目が閉じているときにはユーザの身体状態
が異常、特に警戒レベルと判定し、瞬き以外で目が閉じていないときにはユーザの身体状
態が正常と判定してもよい。
が異常、特に警戒レベルと判定し、瞬き以外で目が閉じていないときにはユーザの身体状
態が正常と判定してもよい。
【0097】
これにより、瞬き以外で目が閉じていて意識が集中していない場合には、仮想空間情報
の表示を行わないようして、ユーザの安全性を高めることができる。なお、瞬き以外で目
が閉じている状態の検出として、視線検出以外にカメラ１１１を用いて検出してもよい。
の表示を行わないようして、ユーザの安全性を高めることができる。なお、瞬き以外で目
が閉じている状態の検出として、視線検出以外にカメラ１１１を用いて検出してもよい。
【0098】
＜ユーザの身体状態の判定例：視線の動きの検出＞
また、両眼の視線の動きがあまり見られない場合は、ユーザが眠気を感じてはっきりと
した意識を持っておらず、漫然とした状態である可能性がある。よって、状態判定部１２
５２は、所定時間内における視線の動きが少なく、緩慢な場合は、ユーザの意識が漫然と
した状態である可能性が否定できないことからユーザの身体状態を異常、特に警戒レベル
と判定してもよい。
また、両眼の視線の動きがあまり見られない場合は、ユーザが眠気を感じてはっきりと
した意識を持っておらず、漫然とした状態である可能性がある。よって、状態判定部１２
５２は、所定時間内における視線の動きが少なく、緩慢な場合は、ユーザの意識が漫然と
した状態である可能性が否定できないことからユーザの身体状態を異常、特に警戒レベル
と判定してもよい。
【0099】
これにより、例えば酔っているとき、具合が悪いときなど、ユーザの身体状態が漫然と
した状態で意識がはっきりしていない場合には、仮想空間情報の映像１３０の表示を行わ
ないようして、ユーザの安全性を高めることができる。
した状態で意識がはっきりしていない場合には、仮想空間情報の映像１３０の表示を行わ
ないようして、ユーザの安全性を高めることができる。
【0100】
以上、検出した眼球の動きを基に、ユーザ身体の異常状態の有無を判定して仮想空間情
報の表示動作を制御する場合について説明したが、仮想空間情報を表示しているときに、
右目視線センサ１１２、左目視線センサ１１３にて眼球の動きを検出し、眼球が仮想空間
情報に向けて固視微動や追従運動をしているか否かを識別判定し、眼球が仮想空間情報を
捉えた動きをしておらずユーザは仮想空間情報を意識していない、気づいていないと判定
した場合には、仮想空間情報の表示を暫定的に非表示（ステータス４）又は強制停止（ス
テータス５）として扱ってもよい。
報の表示動作を制御する場合について説明したが、仮想空間情報を表示しているときに、
右目視線センサ１１２、左目視線センサ１１３にて眼球の動きを検出し、眼球が仮想空間
情報に向けて固視微動や追従運動をしているか否かを識別判定し、眼球が仮想空間情報を
捉えた動きをしておらずユーザは仮想空間情報を意識していない、気づいていないと判定
した場合には、仮想空間情報の表示を暫定的に非表示（ステータス４）又は強制停止（ス
テータス５）として扱ってもよい。
【0101】
この場合は、ユーザにとって表示情報は意識している現実空間情報のみで充分な状態で
あり、意識していない仮想空間情報の表示をなくし、より安全な状態でヘッドマウントデ
ィスプレイを使用できるという効果が期待できる。
あり、意識していない仮想空間情報の表示をなくし、より安全な状態でヘッドマウントデ
ィスプレイを使用できるという効果が期待できる。
【0102】
＜ユーザの身体状態の検出例：頭部の動き＞
ステップＳ２０１、Ｓ２０２において、ユーザの身体の状態を検出するセンサデバイス
として、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６を用い、ユー
ザの頭部の動きを検出して身体状態を検出してもよい。
ステップＳ２０１、Ｓ２０２において、ユーザの身体の状態を検出するセンサデバイス
として、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６を用い、ユー
ザの頭部の動きを検出して身体状態を検出してもよい。
【0103】
ステップＳ２０１において状態判定部１２５２は、加速度センサ１１４、ジャイロセン
サ１１５、地磁気センサ１１６の其々が出力したセンサ出力を取得する。
サ１１５、地磁気センサ１１６の其々が出力したセンサ出力を取得する。
【0104】
ステップＳ２０２において状態判定部１２５２は、頭部が大きく変動しているか否かを
識別し、頭部が大きく変動している場合、具体的には各センサ出力のうちの少なくとも一
つが、各センサ出力の種類に対してそれぞれ定められた動き判定閾値（加速度閾値、角速
度閾値、地磁気変化閾値がある）を超える場合には、ユーザの身体の状態が仮想空間情報
と現実空間情報とを誤って認識する異常な状態と判定する。
識別し、頭部が大きく変動している場合、具体的には各センサ出力のうちの少なくとも一
つが、各センサ出力の種類に対してそれぞれ定められた動き判定閾値（加速度閾値、角速
度閾値、地磁気変化閾値がある）を超える場合には、ユーザの身体の状態が仮想空間情報
と現実空間情報とを誤って認識する異常な状態と判定する。
【0105】
一方、状態判定部１２５２は、頭部が大きく変動していない、具体的には各センサ出力
のうちの全てが動き判定閾値以下の場合は、身体状態に異常がないと判定する。
のうちの全てが動き判定閾値以下の場合は、身体状態に異常がないと判定する。
【0106】
＜ユーザの身体状態の検出例：音声情報を用いる例＞
ステップＳ２０１において状態判定部１２５２は、外周音マイク１２０、発声音マイク
１２１により音声を捉える。加えて状態判定部１２５２は、右目視線センサ１１２及び左
目視線センサ１１３を用いて眼球の動きを捉える。
ステップＳ２０１において状態判定部１２５２は、外周音マイク１２０、発声音マイク
１２１により音声を捉える。加えて状態判定部１２５２は、右目視線センサ１１２及び左
目視線センサ１１３を用いて眼球の動きを捉える。
【0107】
ステップＳ２０２において状態判定部１２５２は、捉えた音声及び眼球運動を基にユー
ザの意識がどこにあるかを識別判定し、人と会話しているとか電話をしている場合のよう
に、仮想空間情報とは異なる情報を視聴していると判定すると身体状態に異常があると判
定する。一方、仮想空間情報だけを視聴していると判定した場合は、身体状態は正常であ
ると判定する。
ザの意識がどこにあるかを識別判定し、人と会話しているとか電話をしている場合のよう
に、仮想空間情報とは異なる情報を視聴していると判定すると身体状態に異常があると判
定する。一方、仮想空間情報だけを視聴していると判定した場合は、身体状態は正常であ
ると判定する。
【0108】
＜周囲環境の検出例：接近物体を検出＞
ユーザの周囲環境の状態を検出するセンサデバイスとして、周囲監視センサ１１８を用
いる場合について説明する。
ユーザの周囲環境の状態を検出するセンサデバイスとして、周囲監視センサ１１８を用
いる場合について説明する。
【0109】
周囲監視センサ１１８は、ユーザ周辺の物体の距離や方向を検出する。そこで、ステッ
プＳ１０１では、周囲監視センサ１１８がユーザ周辺に存在する物体までの距離や方向を
検出して出力した第１センサ出力を周囲監視判定部１２５１が取得する。
プＳ１０１では、周囲監視センサ１１８がユーザ周辺に存在する物体までの距離や方向を
検出して出力した第１センサ出力を周囲監視判定部１２５１が取得する。
【0110】
ステップＳ２０２では、周囲監視判定部１２５１が周囲監視センサ１１８からの第１セ
ンサ出力を基に、ユーザに対して、例えば車、人、動物などの物体が一定範囲以内に接近
してきているか否かを識別し、物体が一定範囲以内に接近してきている場合には、ユーザ
の外周の状態が仮想空間情報を表示するに当たってユーザにとって危険性のある状態、即
ち予め定められた距離範囲内に物体があると判定した場合は周囲環境に異常があると判定
し、距離範囲内に接近してくる物体がなければ周囲環境は正常と判定する。接近物体があ
る場合は、特に警戒レベルと判定してもよい。
ンサ出力を基に、ユーザに対して、例えば車、人、動物などの物体が一定範囲以内に接近
してきているか否かを識別し、物体が一定範囲以内に接近してきている場合には、ユーザ
の外周の状態が仮想空間情報を表示するに当たってユーザにとって危険性のある状態、即
ち予め定められた距離範囲内に物体があると判定した場合は周囲環境に異常があると判定
し、距離範囲内に接近してくる物体がなければ周囲環境は正常と判定する。接近物体があ
る場合は、特に警戒レベルと判定してもよい。
【0111】
これにより、ユーザから距離範囲内に接近してくる物体がある場合は仮想空間情報を特
定表示態様又は表示停止することができ、ユーザにとって危険性のある環境下で仮想空間
情報を表示させることによる不都合の発生を抑止する。また、仮想空間情報を視聴してい
るユーザに対して首位環境が異常になったことを知らせることができる。
定表示態様又は表示停止することができ、ユーザにとって危険性のある環境下で仮想空間
情報を表示させることによる不都合の発生を抑止する。また、仮想空間情報を視聴してい
るユーザに対して首位環境が異常になったことを知らせることができる。
【0112】
＜周囲環境の検出例：接近物体を検出＞
ユーザの周囲状態を検出するセンサデバイスとして、温湿度センサ１１７を用いて、ユ
ーザ周辺の温度や湿度を検出してもよい。
ユーザの周囲状態を検出するセンサデバイスとして、温湿度センサ１１７を用いて、ユ
ーザ周辺の温度や湿度を検出してもよい。
【0113】
ステップＳ１０１では、周囲監視判定部１２５１は、温湿度センサ１１７が検出した温
度や湿度を検出して出力したセンサ出力を取得する。取得した温度や湿度はメモリ１２８
に一時的に記憶しておく。
度や湿度を検出して出力したセンサ出力を取得する。取得した温度や湿度はメモリ１２８
に一時的に記憶しておく。
【0114】
ステップＳ１０２では、周囲監視判定部１２５１は、メモリ１２８に記憶した温度や湿
度の変化を演算し、温度の変化が予め定めた温度変化閾値を超える、又は湿度の変化が予
め定めた湿度変化閾値を超える事象の少なくとも一方が発生すると、ユーザの周囲環境に
異常があると判定する。一方、温度の変化が温度変化閾値以下であり、かつ湿度の変化が
予め定めた湿度変化閾値以下であればユーザの周囲環境は正常であると判定する。
度の変化を演算し、温度の変化が予め定めた温度変化閾値を超える、又は湿度の変化が予
め定めた湿度変化閾値を超える事象の少なくとも一方が発生すると、ユーザの周囲環境に
異常があると判定する。一方、温度の変化が温度変化閾値以下であり、かつ湿度の変化が
予め定めた湿度変化閾値以下であればユーザの周囲環境は正常であると判定する。
【0115】
また、温度や湿度に限らず、例えば、気圧、外周音などユーザの外周の状態を検出でき
る情報であれば、その情報のセンサ、例えば気圧センサ、外周音マイク１２０などをユー
ザの周囲監視センサ１１８として用いてもよい。
る情報であれば、その情報のセンサ、例えば気圧センサ、外周音マイク１２０などをユー
ザの周囲監視センサ１１８として用いてもよい。
【0116】
本実施形態に係るＨＭＤシステム１の作用効果について説明する。ユーザが仮想空間情
報を現実空間情報と誤認識するかどうか、及び誤認識した際の不都合の程度は、ユーザの
身体状態と周囲環境との組み合わせによって異なる。
報を現実空間情報と誤認識するかどうか、及び誤認識した際の不都合の程度は、ユーザの
身体状態と周囲環境との組み合わせによって異なる。
【0117】
一般にユーザの身体状態が正常であれば、それだけ注意力が高いので仮想空間情報の誤
認識が発生しにくいと考えられる。
認識が発生しにくいと考えられる。
【0118】
また、ユーザの身体状態が異常であり注意力が低下した結果仮想空間情報を誤認識した
としても、周囲環境が正常で安全な場合、例えば室内でソファーに座り、テーブル上にコ
ップが仮想空間情報として表示されており、それを現実のコップと誤認識しても不都合の
程度は低い。一方で、戸外を歩行中に仮想空間情報を誤認識すると、つまずいたり路上の
物体と干渉するなど大きな不都合が発生しうる。
としても、周囲環境が正常で安全な場合、例えば室内でソファーに座り、テーブル上にコ
ップが仮想空間情報として表示されており、それを現実のコップと誤認識しても不都合の
程度は低い。一方で、戸外を歩行中に仮想空間情報を誤認識すると、つまずいたり路上の
物体と干渉するなど大きな不都合が発生しうる。
【0119】
更に、ユーザの身体状態の如何に関らず、例えば戸外を歩行中に車両や自転車がユーザ
に向かって走行している状態は、仮想空間情報に気を取られている状況からいち早くユー
ザを離脱させた方がよい。
に向かって走行している状態は、仮想空間情報に気を取られている状況からいち早くユー
ザを離脱させた方がよい。
【0120】
本実施形態によるＨＭＤシステム１によれば、ユーザの身体状態及び周囲環境の正常・
異常の両方を組みあわせて、仮想空間情報の表示態様を決定するので、ユーザの身体状態
だけに注目した場合に比べて、より仮想空間情報の誤認識の発生の抑制が行え、ＨＭＤ１
００の使い勝手が向上する。
異常の両方を組みあわせて、仮想空間情報の表示態様を決定するので、ユーザの身体状態
だけに注目した場合に比べて、より仮想空間情報の誤認識の発生の抑制が行え、ＨＭＤ１
００の使い勝手が向上する。
【0121】
また周囲環境の状態も注意レベルと警戒レベルとに分けることで、周囲環境に異常があ
ればすぐに仮想空間情報が非表示とされることがなく、仮想空間情報の映像１３０の表示
を楽しむことと、周囲環境の異常への対応との両立を図ることができる。
ればすぐに仮想空間情報が非表示とされることがなく、仮想空間情報の映像１３０の表示
を楽しむことと、周囲環境の異常への対応との両立を図ることができる。
【0122】
またユーザの身体状態に異常があり、かつ周囲環境に注意レベルの異常がある場合（ス
テータス４）では、仮想空間情報の表示を暫定的に停止する。その後、周囲環境に注意レ
ベルの異常が非表示待機時間内に解消すれば、特定表示態様にて仮想空間情報の表示を再
開できる。注意レベルの異常は短時間に期間に解消することもありうるので、その場合は
仮想空間情報の表示を再開し、ＨＭＤ１００の使い勝手が向上する。
テータス４）では、仮想空間情報の表示を暫定的に停止する。その後、周囲環境に注意レ
ベルの異常が非表示待機時間内に解消すれば、特定表示態様にて仮想空間情報の表示を再
開できる。注意レベルの異常は短時間に期間に解消することもありうるので、その場合は
仮想空間情報の表示を再開し、ＨＭＤ１００の使い勝手が向上する。
【0123】
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記
した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずし
も説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構
成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構
成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部につ
いて、他の構成の追加・削除・置換をすることが可能である。
した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずし
も説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構
成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構
成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部につ
いて、他の構成の追加・削除・置換をすることが可能である。
【0124】
例えば、上記では仮想空間情報を生成するイメージプロセッサ５０１をサーバ５００に
備え、仮想空間情報を外部ネットワーク６００を介して受信し、表示した。しかし、イメ
ージプロセッサ５０１をＨＭＤ１００に組み込んでもよい。これにより、サーバ５００と
の通信を行うことなく、仮想空間情報、或いはモディファイされた仮想空間情報を上記の
表示態様により表示してもよい。
備え、仮想空間情報を外部ネットワーク６００を介して受信し、表示した。しかし、イメ
ージプロセッサ５０１をＨＭＤ１００に組み込んでもよい。これにより、サーバ５００と
の通信を行うことなく、仮想空間情報、或いはモディファイされた仮想空間情報を上記の
表示態様により表示してもよい。
【0125】
また第１ウエアラブル端末２００内の心拍センサ２０１、第２ウエアラブル端末３００
内の血圧センサ３０１、入力コントローラ４００内の入力操作器４０１を、ＨＭＤ１００
内に取り込んでもよい。この場合、心拍センサ２０１は頭部に密接して設けられ心拍数を
検出する。血圧センサ３０１も頭部に密接して設けられ頭皮直下の頭部動脈で血圧値を検
出する。入力操作器４０１は、ＨＭＤ１００内でユーザが入力操作を行いやすい位置に設
ければよい。
内の血圧センサ３０１、入力コントローラ４００内の入力操作器４０１を、ＨＭＤ１００
内に取り込んでもよい。この場合、心拍センサ２０１は頭部に密接して設けられ心拍数を
検出する。血圧センサ３０１も頭部に密接して設けられ頭皮直下の頭部動脈で血圧値を検
出する。入力操作器４０１は、ＨＭＤ１００内でユーザが入力操作を行いやすい位置に設
ければよい。
【0126】
或いは、ユーザが入力操作を示す音声を発声し、発声音マイク１２１で集音して入力操
作情報を取り込んでもよい。
作情報を取り込んでもよい。
【0127】
また、ディスプレイ１１９に入力操作画面を表示させ、右目視線データ及び左目視線デ
ータから検出した視線が向いている入力操作画面上の位置により入力操作情報を取り込ん
でもよいし、ポインタを入力操作画面上に表示させ手の動作などにより指定させて入力操
作情報を取り込んでもよい。入力操作に発声や表示を用いることにより、使い勝手を一層
向上させることが可能である。
ータから検出した視線が向いている入力操作画面上の位置により入力操作情報を取り込ん
でもよいし、ポインタを入力操作画面上に表示させ手の動作などにより指定させて入力操
作情報を取り込んでもよい。入力操作に発声や表示を用いることにより、使い勝手を一層
向上させることが可能である。
【0128】
このように第１ウエアラブル端末２００、第２ウエアラブル端末３００、入力コントロ
ーラ４００も含めて一体化してもよいし、イメージプロセッサ５０１だけをＨＭＤ１００
に取り込んでもよい。
ーラ４００も含めて一体化してもよいし、イメージプロセッサ５０１だけをＨＭＤ１００
に取り込んでもよい。
【0129】
また、ユーザの身体状態を検出するセンサとして、発汗センサ、呼吸センサ等、他の生
体情報を取得するセンサを用いてもよい。
体情報を取得するセンサを用いてもよい。
【0130】
以上、各種センサデバイスを用いユーザの身体状態或いは周囲状態を識別判定し、仮想
空間情報表示を制御する際の動作について説明したが、ステータス３，４のいずれかにあ
ると表示制御部１２５３が判定すると、表示制御部１２５３は、ユーザの目に強い光を与
えるとか、或いは点滅した２個以上の光をユーザの視野内に表示させ、再び周囲監視判定
部１２５１及び状態判定部１２５２からの判定結果に基づき、脳が目覚めて意識がはっき
りしている覚醒状態（ステータス１、２）に遷移させてから、仮想空間情報を重畳表示、
或いは入替表示してもよい。
空間情報表示を制御する際の動作について説明したが、ステータス３，４のいずれかにあ
ると表示制御部１２５３が判定すると、表示制御部１２５３は、ユーザの目に強い光を与
えるとか、或いは点滅した２個以上の光をユーザの視野内に表示させ、再び周囲監視判定
部１２５１及び状態判定部１２５２からの判定結果に基づき、脳が目覚めて意識がはっき
りしている覚醒状態（ステータス１、２）に遷移させてから、仮想空間情報を重畳表示、
或いは入替表示してもよい。
【0131】
また、ユーザにとって、ゲーム、映画など没入感を大切にしてＨＭＤ１００を使用する
場合には、ユーザの身体状態或いは周囲環境の状態に応じた仮想空間情報の表示制御を行
わないようにしてもよい。この場合、例えば入力コントローラ４００から仮想空間情報の
表示制御を行うか或いは行わないかを設定入力するようにすればよい。
場合には、ユーザの身体状態或いは周囲環境の状態に応じた仮想空間情報の表示制御を行
わないようにしてもよい。この場合、例えば入力コントローラ４００から仮想空間情報の
表示制御を行うか或いは行わないかを設定入力するようにすればよい。
【0132】
上記各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路
で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プ
ロセッサがそれぞれの機能を実現するプログラム１２６を解釈し、実行することによりソ
フトウエアで実現してもよい。各機能を実現するプログラム１２６、テーブル、ファイル
等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、
又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プ
ロセッサがそれぞれの機能を実現するプログラム１２６を解釈し、実行することによりソ
フトウエアで実現してもよい。各機能を実現するプログラム１２６、テーブル、ファイル
等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、
又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0133】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全
ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続さ
れていると考えてもよい。
ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続さ
れていると考えてもよい。
【符号の説明】
【0134】
１ ：ＨＭＤシステム
１００ ：ＨＭＤ
１１１ ：カメラ
１１２ ：右目視線センサ
１１３ ：左目視線センサ
１１４ ：加速度センサ
１１５ ：ジャイロセンサ
１１６ ：地磁気センサ
１１７ ：温湿度センサ
１１８ ：周囲監視センサ
１１９ ：ディスプレイ
１２０ ：外周音マイク
１２１ ：発声音マイク
１２２ ：ヘッドフォン
１２４ ：本体側バイブレータ
１２５ ：本体側制御器
１２６ ：プログラム
１２７ ：情報データ
１２８ ：メモリ
１２９ ：アンテナ
１３０ ：映像
１３１ ：本体側ネットワーク通信器
１３２ ：本体側近距離無線通信器
１３３ ：タイマー
１４０ ：バス
２００ ：第１ウエアラブル端末
３００ ：第２ウエアラブル端末
４００ ：入力コントローラ
５００ ：サーバ
６００ ：外部ネットワーク
１００ ：ＨＭＤ
１１１ ：カメラ
１１２ ：右目視線センサ
１１３ ：左目視線センサ
１１４ ：加速度センサ
１１５ ：ジャイロセンサ
１１６ ：地磁気センサ
１１７ ：温湿度センサ
１１８ ：周囲監視センサ
１１９ ：ディスプレイ
１２０ ：外周音マイク
１２１ ：発声音マイク
１２２ ：ヘッドフォン
１２４ ：本体側バイブレータ
１２５ ：本体側制御器
１２６ ：プログラム
１２７ ：情報データ
１２８ ：メモリ
１２９ ：アンテナ
１３０ ：映像
１３１ ：本体側ネットワーク通信器
１３２ ：本体側近距離無線通信器
１３３ ：タイマー
１４０ ：バス
２００ ：第１ウエアラブル端末
３００ ：第２ウエアラブル端末
４００ ：入力コントローラ
５００ ：サーバ
６００ ：外部ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】