特開 2024-96371 ヘッドマウントディスプレイ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024096371

(43)【公開日】2024-07-12

(54)【発明の名称】ヘッドマウントディスプレイ装置

(51)【国際特許分類】

   H04N 5/64 20060101AFI20240705BHJP

【ＦＩ】

H04N5/64 511A

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2024075645

(22)【出願日】2024-05-08

(62)【分割の表示】P 2021575130の分割

【原出願日】2020-02-04

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】吉澤 和彦

(72)【発明者】

【氏名】中出 眞弓

(57)【要約】

【課題】
ヘッドマウントディスプレイ装置装着時のユーザの危険を回避可能なヘッドマウントディスプレイ装置を提供することを目的とする。
【解決手段】
そのために、外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、装着者の両眼の状態の画像を取得する第二画像入力部と、制御部を有し、制御部は、第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、睡眠状態から覚醒状態になった場合、表示部に第一画像入力部で取得した外界画像を表示するように構成する。
【選択図】 図４

【特許請求の範囲】

【請求項1】

外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
装着者の両眼の状態の画像を取得する第二画像入力部と、
制御部を有し、
前記制御部は、前記第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、前記睡眠状態から前記覚醒状態になった場合、前記表示部に前記第一画像入力部で取得した外界画像を表示することを特徴とするヘッドマウントディスプレイ装置。

【請求項2】

請求項１に記載のヘッドマウントディスプレイ装置であって、
前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示を、前記覚醒状態で表示していたアプリケーション画像から無映像画面に切り替え、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部の表示を、前記無映像画面から前記外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。

【請求項3】

請求項１に記載のヘッドマウントディスプレイ装置であって、
前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示として、前記覚醒状態で表示していたアプリケーション画像を継続表示し、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部の表示を、前記アプリケーション画像から前記外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。

【請求項4】

請求項１に記載のヘッドマウントディスプレイ装置であって、
前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示を、前記覚醒状態で表示していたアプリケーション画像から前記外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。

【請求項5】

外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
装着者の両眼の状態の画像を取得する第二画像入力部と、
制御部を有し、
前記制御部は、前記第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、前記睡眠状態から前記覚醒状態になった場合、前記表示部にヘッドマウントディスプレイ装置を装着中である旨を警告する警告メッセージを表示することを特徴とするヘッドマウントディスプレイ装置。

【請求項6】

請求項５に記載のヘッドマウントディスプレイ装置であって、
前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示を、前記覚醒状態で表示していたアプリケーション画像から無映像画面に切り替え、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部に、前記無映像画面に前記警告メッセージを重畳表示することを特徴とするヘッドマウントディスプレイ装置。

【請求項7】

請求項５に記載のヘッドマウントディスプレイ装置であって、
前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示として、前記覚醒状態で表示していたアプリケーション画像を継続表示し、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部に、前記アプリケーション画像に前記警告メッセージを重畳表示することを特徴とするヘッドマウントディスプレイ装置。

【請求項8】

請求項５に記載のヘッドマウントディスプレイ装置であって、
前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部に、前記覚醒状態で表示していたアプリケーション画像に前記警告メッセージを重畳表示することを特徴とするヘッドマウントディスプレイ装置。

【請求項9】

外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
通信部と、
制御部を有し、
前記制御部は、前記通信部を介して緊急警報を受信した場合には、前記表示部の表示を、表示していたアプリケーション画像から前記第一画像入力部で取得した外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。

【請求項10】

請求項９に記載のヘッドマウントディスプレイ装置であって、
前記制御部は、前記緊急警報の内容を知らせる警告メッセージを前記表示部に重畳表示することを特徴とするヘッドマウントディスプレイ装置。

【請求項11】

請求項５に記載のヘッドマウントディスプレイ装置であって、
前記制御部は、前記警告メッセージとして、外界表示を示唆するアイコンと、該アイコンを見ることで外界画像を確認できる旨のメッセージを表示し、前記第二画像入力部で取得した装着者の両眼の状態の画像から、前記アイコンに所定時間以上視線を合わせていると判断した場合、前記表示部の表示を、前記第一画像入力部で取得した外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。

【請求項12】

請求項１１に記載のヘッドマウントディスプレイ装置であって、
前記アイコンは、非常ドアの閉状態のマークであることを特徴とするヘッドマウントディスプレイ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウントディスプレイ装置（以下、ＨＭＤ:Head Mount Display、と称す）に関する。

【背景技術】

【0002】

ディスプレイを搭載し、頭部に装着して情報を視聴するＨＭＤは、近年、ゲーム用途や作業支援の分野での利用が広がりつつある。

【0003】

本技術分野の背景技術として特許文献１がある。特許文献１には、表示画面に映像信号による映像を表示すると共に外光が透過するように成され、映像表示部分と外光透過部分との割合いを制御できるように成されかつ使用者の頭部に装着可能に成された表示手段と、使用者の見ようとする方向あるいは使用者の頭部の姿勢や頭部の位置を検出する検出手段と、検出手段の検出に応じて表示手段の表示画面における映像表示部分と外光透過部分との割合いを制御する表示制御手段とを備えた頭部装着型表示装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平８－３２８５１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、ユーザがＨＭＤを装着したままで、使用者の見ようとする方向あるいは使用者の頭部の姿勢や頭部の位置に応じて、ＨＭＤの表示画像と外界映像とを見ることが出来る。

【0006】

しかしながら、ユーザがＨＭＤを装着したまま寝てしまい、睡眠後に覚醒、或いは半覚醒した際に、ユーザがＨＭＤを装着していることを失念する場合が考えられる。この場合、ユーザはＨＭＤにより視界をふさがれて周辺状況を確認できないため、自身の状況を把握できず、慌てて行動した場合などは危険な状態を引き起こす可能性がある。上記特許文献１にはこのような状況に関して考慮されていない。

【0007】

本発明は、上記課題に鑑み、ＨＭＤ装着時のユーザの危険を回避可能なＨＭＤを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、その一例を挙げるならば、外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、装着者の両眼の状態の画像を取得する第二画像入力部と、制御部を有し、制御部は、第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、睡眠状態から覚醒状態になった場合、表示部に第一画像入力部で取得した外界画像を表示するように構成する。

【発明の効果】

【0009】

本発明によれば、ＨＭＤ装着時のユーザの危険を回避可能なＨＭＤを提供できる。

【図面の簡単な説明】

【0010】

【図1】実施例１におけるＨＭＤのハードウェア構成を示すブロック図である。

【図2】実施例１におけるＨＭＤの外観および装着図である。

【図3】実施例１におけるＨＭＤの機能構成図である。

【図4】実施例１におけるＨＭＤの処理フローチャートである。

【図5】実施例２におけるＨＭＤの処理フローチャートである。

【図6】実施例２における警告メッセージの表示例である。

【図7】実施例３におけるＨＭＤの処理フローチャートである。

【図8】実施例４におけるＨＭＤの処理フローチャートである。

【図9】実施例４におけるＨＭＤの警告メッセージの表示例である。

【図10】実施例４におけるＨＭＤの外界表示例である。

【発明を実施するための形態】

【0011】

以下、図面を用いて本発明の実施例について説明する。

【実施例0012】

図１は、本実施例におけるＨＭＤ１００のハードウェア構成を示すブロック図である。図１において、１０１は主制御部（ＣＰＵ／ＭＣＵ等）であって、１０２はコマンドやデータの送受信経路であるバス、１０３は、基本動作プログラムやその他の動作プログラム実行時のワークエリアとなるＲＡＭ、１１０は、ＦｌａｓｈＲＯＭ／ＥＥＰＲＯＭ／ＳＳＤ／ＨＤＤ等の不揮発記憶媒体であるストレージ部である。

【0013】

また、１２０は、ユーザ操作インタフェースである操作入力部であり、ＳＷ類や電源キーや音量キー等の操作キー１２１と、タッチパッドなどのタッチセンサ１２２を有する。

【0014】

また、１３０は、イメージ（ビデオ）プロセッサ等の画像処理部であり、表示部（ディスプレイ）１３１、画像信号処理部（イメージ（ビデオ）シグナルプロセッサ）１３２、外界映像取得用の外部カメラである第一画像入力部１３３、両眼確認用の内部カメラである第二画像入力部１３４を有する。

【0015】

また、１４０は音声処理部（オーディオプロセッサ）であって、音声出力部（スピーカ）１４１、音声信号処理部（オーディオシグナルプロセッサ）１４２、音声入力部（マイク）１４３を有する。

【0016】

また、１５１は位置情報取得部（ＧＰＳ受信部）である。また、１６０はセンサ部であって、ジャイロセンサ１６１、地磁気センサ１６２、加速度センサ１６３を有する。

【0017】

また、１７０は、ＬＡＮ（Ｗｉ－Ｆｉ（登録商標））通信部やモバイル通信部、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部等からなる通信部、１８０は拡張インタフェース部であり、例えば充電端子等の機能を有する。

【0018】

図２は、本実施例におけるＨＭＤの外観および装着図である。本実施例におけるＨＭＤは、図２に示すように、ゴーグル型であり、前面に窓がある光学透過型ではなく、外界画像をカメラで撮像してＨＭＤ内の表示部に表示するビデオ透過型の密閉型のＨＭＤである。（Ａ）は、ユーザＵ１の頭部にＨＭＤ１００を装着した状態の上面図であり、（Ｂ）は正面図、（Ｃ）は側面図である。

【0019】

図２において、１３３Ｌは左側の外部カメラである第一画像入力部（Ｌ）、１３３Ｒは右側の外部カメラである第一画像入力部（Ｒ）である。なお、第一画像入力部は一つ（例えば、中央部に一つの第一画像入力部１３３）のみでもよい。

【0020】

また、１２２Ｌはタッチセンサ（Ｌ）、１２２Ｒはタッチセンサ（Ｒ）（図示省略）であり、タッチセンサは左右何れか一つのみでもよい、
また、１４１Ｌは音声出力部（Ｌ）（ステレオスピーカＬ）、１４１Ｒは音声出力部（Ｒ）（ステレオスピーカＲ）（図示省略）である。

【0021】

なお、図示は省略するが、音声入力部１４３としてモノラルマイクを有し、また、ＨＭＤの筐体の内側に、ユーザから視認可能に配置されたＬＣＤ等からなる表示部１３１を有する。また、表示部１３１は、左目用の表示部１３１Ｌと右目用の表示部１３１Ｒで構成されてもよい。また、ＨＭＤの筐体の内側には、更に、ユーザの両眼の状態を確認可能に配置された内部カメラである第二画像入力部１３４を有する。また、第二画像入力部１３４も、左目の状態を確認可能な第二画像入力部１３４Ｌと右目の状態を確認可能な第二画像入力部１３４Ｒで構成されてもよい。

【0022】

図３は、本実施例におけるＨＭＤの機能構成図である。図３において、ストレージ部１１０は、ＯＳ等の基本的なプログラムである基本動作プログラム１００１と、本実施例の機能を実行するアプリケーション（以降アプリと省略する）や、その他のアプリを含むアプリケーション１００２と、各種動作設定値や各種情報（動画／静止画／音声等）を記憶しておく領域である各種データ記憶領域１００９で構成されている。

【0023】

ストレージ部１１０に記憶されているプログラム／アプリは、ＲＡＭ１０３に展開（ロード）され、主制御部１０１が、展開されたプログラム／アプリを実行することにより、本実施例の機能部やその他の機能部が実行される。

【0024】

図３において、ＲＡＭ１０３には、展開される実行プログラムを機能別に記載している。すなわち、ＨＭＤ１００の基本動作プログラムを実行する基本動作機能部１１０１と、第二画像入力部（内部カメラ）１３４の取得画像を解析してＨＭＤ１００を装着するユーザＵ１の両眼の状態や視線位置を確認する両眼状態確認部１１１１、通信部１７０を介して受信した情報を解析して受信した情報が緊急警報等か否かを確認する通信状態確認部１１１２、ＨＭＤ１００を装着するユーザＵ１の操作指示に応じて各種アプリの起動／実行等の処理を制御しアプリ画面（アプリ映像）を生成するアプリ制御部１１１３、両眼状態確認部１１１１で確認したユーザの両眼の状態や視線位置または通信状態確認部１１１２で確認した受信情報が緊急警報等か否かに応じてアプリ制御部１１１３で生成されたアプリ画面の映像（アプリ映像）と第一画像入力部（外部カメラ）が取得した外界映像の一方を選択して表示部１３１への表示を制御する表示制御部１１１４を有する。また、ＲＡＭ１０３はアプリにより作成／取得された各種情報の一時的な記憶領域である一時記憶領域１１９９を有している。

【0025】

図４は、本実施例におけるＨＭＤの処理フローチャートである。図４において、まずステップＳ１０１で、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）を表示部１３１に表示し、Ｓ１０２に進む。Ｓ１０２では、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ１０３に進む。Ｓ１０３では、両眼状態確認部１１１１が、Ｓ１０２の処理で取得したユーザの両眼画像を解析し、ユーザの両眼がともに閉じた状態であると判断した場合には、Ｓ１０４に進む。ユーザの両眼がともに閉じた状態ではないと判断した場合には、Ｓ１０２に戻る。Ｓ１０４では、両眼状態確認部１１１１が、タイマーのカウント値を初期化して、Ｓ１０５に進む。Ｓ１０５では、第二画像入力部（内部カメラ）１３４がユーザの両眼画像を取得し、Ｓ１０６に進む。Ｓ１０６では、両眼状態確認部１１１１が、Ｓ１０５の処理で取得したユーザの両眼画像を解析し、ユーザの両眼のいずれかが開いた状態であると判断した場合には、Ｓ１０２に戻る。ユーザの両眼のいずれも開いた状態ではないと判断した場合には、Ｓ１０７に進む。Ｓ１０７では、両眼状態確認部１１１１が、タイマーのカウント値をカウントアップして、Ｓ１０８に進む。Ｓ１０８では、両眼状態確認部１１１１が、タイマーのカウント値を予め定めた所定値と比較し、タイマーのカウント値≧所定値であった場合には、Ｓ１０９に進む。タイマーのカウント値≧所定値でなかった場合には、Ｓ１０５に戻る。

【0026】

Ｓ１０９では、ユーザが睡眠状態になったものとして、表示制御部１１１４が、スリープ画面（無映像で暗い画面）を生成して表示部１３１に表示し、Ｓ１１０に進む。なお、Ｓ１０９の処理はなくてもよい。

【0027】

Ｓ１１０では、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ１１１に進む。Ｓ１１１では、両眼状態確認部１１１１が、Ｓ１１０で取得したユーザの両眼画像を解析し、ユーザの両眼のいずれかが開いた状態であると判断した場合には、Ｓ１１２に進む。ユーザの両眼のいずれも開いた状態ではないと判断した場合には、Ｓ１１０に戻る。なお、Ｓ１１１の後にタイマーを付加して、所定時間以上眼が開いている状態を検出した場合にＳ１１２に進むようにしてもよい。

【0028】

Ｓ１１２では、ユーザが覚醒状態（或いは半覚醒状態：以下同様）になったものとして、第一画像入力部（外部カメラ）１３３が、外界映像を取得し、Ｓ１１３に進む。Ｓ１１３では、表示制御部１１１４が、Ｓ１１２で取得した外界映像を表示部１３１に表示し、処理を終了する。

【0029】

以上のように、本実施例では、内部カメラが装着者（ユーザ）の両眼の状態を確認し、所定時間以上両眼を閉じた状態が継続しない場合は、装着者（ユーザ）は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合、装着者（ユーザ）が睡眠状態であると判断する。そして、覚醒状態から睡眠状態となった場合は、アプリ映像をスリープ画面（無映像）に切り替え、その後、覚醒状態になった場合、スリープ画面をビデオスルー映像（外部カメラ映像）に切り替える。これにより、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、装着者（ユーザ）は自身の周囲（実空間）の状況を確認することが可能となる。

【0030】

なお、覚醒状態から睡眠状態となった場合、アプリ映像をスリープ画面（無映像）に切り替えずに、アプリ映像の表示を継続してもよいが、無映像で暗い画面であるスリープ画面に切り替えることで、装着者が睡眠状態の際のＨＭＤのバッテリ消費の節約が可能となる。また、覚醒状態から睡眠状態となった場合に、アプリ映像をビデオスルー映像（外部カメラ映像）に切り替えてもよい。

【0031】

また、Ｓ１０１で表示部１３１に表示されたアプリ画面（アプリ映像）が音声出力を伴っている（音声出力部１４１から音声出力を行っている）場合、Ｓ１０９でスリープ画面（無映像）に切り替える際に音声出力も併せて停止するようにしてもよい。或いは、ＨＭＤが稼働中であること（稼働中であったこと）を示すため、Ｓ１０９でスリープ画面（無映像）に切り替える際に音声出力はそのまま継続するようにしてもよい。また、音量を下げて音声出力を継続するようにしてもよい。

【0032】

以上のように本実施例によれば、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、ユーザは自身の周囲状況を確認することが可能となり、危険を回避可能なＨＭＤを提供できる。

【実施例0033】

実施例１では、睡眠状態から覚醒した場合、外部カメラ映像に切り替えることで、ユーザは自身の周囲状況を確認することが可能となり、危険を回避可能とする構成について説明した。本実施例では、他の危険回避例について説明する。

【0034】

図５は、本実施例におけるＨＭＤの処理フローチャートである。図５において、図４と同じ処理は同じ符号を付し、その説明は省略する。図５において、図４と異なる点は、ステップＳ１２２、Ｓ１２３であり、睡眠状態から覚醒した際に、装着者（ユーザ）にＨＭＤ装着中である旨のメッセージを表示する点である。

【0035】

すなわち、図５において、Ｓ１０１～Ｓ１１１は図４の動作と同様である。なお、図５では、Ｓ１０９は記載していないが、図４と同様に覚醒状態から睡眠状態となった場合、スリープ画面を表示してもよい。

【0036】

Ｓ１１１でＹｅｓの場合、睡眠状態から覚醒した状態であって、Ｓ１２２に進む。Ｓ１２２では、表示制御部１１１４が、ユーザにＨＭＤを装着中である旨を警告するためのメッセージを生成し、Ｓ１２３に進む。Ｓ１２３では、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）に、Ｓ１２２で生成した警告メッセージを重畳して表示部１３１に表示し、処理を終了する。

【0037】

図６は、本実施例における警告メッセージの表示例である。図６において、表示部１３１には、Ｓ１２２で生成した警告メッセージＭ１１が、アプリ画面（アプリ映像）ＡＰ１１に重畳して表示されている。なお、覚醒状態から睡眠状態となった場合にスリープ画面を表示する場合は、無映像で暗い画面であるスリープ画面に警告メッセージＭ１１を重畳表示する。また、警告メッセージの表示例は前述の他、『Ｘ時間寝ていました』等の表示や単なる現在時刻表示等であってもよい。即ち、ユーザにＨＭＤ装着中であることを気づかせるものであればよい。

【0038】

また、警告メッセージは、図６に示したように、表示部１３１に表示するのみではなく、音声出力として音声出力部１４１から出力するようにしてもよい。この場合、同一の警告メッセージを複数回繰り返すようにすれば、ユーザが警告メッセージを聞き逃す可能性を低減できる。また、警告メッセージの音声出力を停止させるためのユーザの指示があるまで警告メッセージの音声出力を繰り返すようにしてもよい。

【0039】

以上のように本実施例によれば、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、ユーザは警告メッセージを確認することができ、危険を回避可能なＨＭＤを提供できる。

【0040】

なお、覚醒状態から睡眠状態となった場合に、表示部１３１に、覚醒状態で表示していたアプリ画面に警告メッセージを重畳表示してもよい。
また、警告メッセージを確認後、ユーザが外界映像の表示への切り替えを希望する場合は、操作入力部１２０からのユーザによる指示やジェスチャ動作等で切り替えればよい。また、ユーザの指示により、警告メッセージを消去してアプリ画面の表示を再開してもよい。