特開 2023-79786 拡張現実制御システム、及び拡張現実制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023079786

(43)【公開日】2023-06-08

(54)【発明の名称】拡張現実制御システム、及び拡張現実制御方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230601BHJP

   G06F 3/0346 20130101ALI20230601BHJP

   G06T 19/00 20110101ALI20230601BHJP

   G09G 5/00 20060101ALI20230601BHJP

   G09G 5/38 20060101ALI20230601BHJP

   G09G 5/36 20060101ALI20230601BHJP

【ＦＩ】

G06F3/01 510

G06F3/0346 423

G06T19/00 600

G09G5/00 550C

G09G5/00 530D

G09G5/38 A

G09G5/36 520B

G09G5/00 550B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021193421

(22)【出願日】2021-11-29

(71)【出願人】

【識別番号】392019709

【氏名又は名称】ニデックアドバンステクノロジー株式会社

(74)【代理人】

【識別番号】100177264

【弁理士】

【氏名又は名称】柳野 嘉秀

(74)【代理人】

【識別番号】100074561

【弁理士】

【氏名又は名称】柳野 隆生

(74)【代理人】

【識別番号】100124925

【弁理士】

【氏名又は名称】森岡 則夫

(74)【代理人】

【識別番号】100141874

【弁理士】

【氏名又は名称】関口 久由

(74)【代理人】

【氏名又は名称】大西 裕人

(72)【発明者】

【氏名】小埜山 研悟

(72)【発明者】

【氏名】隠岐 博一

【テーマコード（参考）】

5B050

5B087

5C182

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA01

5B050DA10

5B050EA06

5B050EA07

5B050EA08

5B050EA12

5B050EA18

5B050EA19

5B050FA02

5B050FA09

5B087AA09

5B087BC32

5C182AA04

5C182AA22

5C182AB25

5C182AB33

5C182AB34

5C182AB35

5C182BA14

5C182BA56

5C182CB13

5C182CB42

5C182CB44

5C182CB47

5C182CB52

5C182DA65

5E555AA74

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA42

5E555CB65

5E555CB76

5E555CC26

5E555DA08

5E555DA09

5E555DB53

5E555DC10

5E555DC11

5E555DC19

5E555EA12

5E555EA14

5E555EA22

5E555FA00

(57)【要約】      （修正有）

【課題】拡張現実における安全性を向上させることが容易な拡張現実制御システム及び拡張現実制御方法を提供する。
【解決手段】拡張現実制御システムであるスマートヘルメット１は、ユーザＵの頭部に装着され、外界の映像に重ねて所定の拡張画像Ｇを表示する表示部３と、ユーザＵの視線方向を検出する視線検出部４と、視線方向から拡張画像Ｇを排除するように拡張画像Ｇの表示を制御する表示制御部１３を有する制御部１０と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの頭部に装着され、外界の映像に重ねて所定の拡張画像を表示する表示部と、
前記ユーザの視線方向を検出する視線検出部と、
前記視線方向から前記拡張画像を排除するように前記拡張画像の表示を制御する表示制御部とを備える拡張現実制御システム。

【請求項2】

前記表示制御部は、前記視線方向に位置する前記拡張画像の表示位置を移動させることによって、前記視線方向から前記拡張画像を排除する請求項１に記載の拡張現実制御システム。

【請求項3】

前記表示制御部は、前記視線方向に位置する前記拡張画像を消去することによって、前記視線方向から前記拡張画像を排除する請求項１に記載の拡張現実制御システム。

【請求項4】

前記表示制御部は、前記拡張画像が前記視線方向に位置した場合、予め設定された設定時間の間、前記拡張画像が前記視線方向に位置する状態を維持した後に前記拡張画像を排除する請求項１～３のいずれか１項に記載の拡張現実制御システム。

【請求項5】

前記表示制御部は、さらに、前記視線方向が、前記表示部の画面における下端近傍に予め設定された基準位置より下側に向いたとき、前記拡張画像を表示する請求項１～４のいずれか１項に記載の拡張現実制御システム。

【請求項6】

ユーザの頭部に装着される表示部に、外界の映像に重ねて所定の拡張画像を表示させる表示工程と、
前記ユーザの視線方向を検出する視線検出工程と、
前記視線方向から前記拡張画像を排除するように前記拡張画像の表示を制御する表示制御工程とを含む拡張現実制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実の表示を制御する拡張現実制御システム、及び拡張現実制御方法に関する。

【背景技術】

【0002】

近年、現実世界に視覚情報を重複表示させる拡張現実（ＡＲ：Augmented Reality）技術が広く用いられるようになっている。このような拡張現実技術として、ヘッドマウントディスプレイを装着したユーザの視線を検出し、ユーザの視線が合ったＡＲオブジエク卜(静止画)を、視線が合っている期間のみ拡大して表示する技術が知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開２０２１／０７９４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、拡張現実用の表示デバイスは、外界を見ることができる。そのため、拡張現実用の表示デバイスを、例えばバイクの運転時に用いたり、機械装置の操作時に用いたりすることが考えられる。しかしながら、例えばバイクの運転時や、機械装置の操作時等に、拡張現実で付加されるＡＲオブジエク卜（以下、拡張画像と称する）によって、ユーザの視線の先が遮られると、安全性が低下するおそれがある。

【0005】

本発明の目的は、拡張現実における安全性を向上させることが容易な拡張現実制御システム、及び拡張現実制御方法を提供することである。

【課題を解決するための手段】

【0006】

本発明の一例に係る拡張現実制御システムは、ユーザの頭部に装着され、外界の映像に重ねて所定の拡張画像を表示する表示部と、前記ユーザの視線方向を検出する視線検出部と、前記視線方向から前記拡張画像を排除するように前記拡張画像の表示を制御する表示制御部とを備える。

【0007】

また、本発明の一例に係る拡張現実制御方法は、ユーザの頭部に装着される表示部に、外界の映像に重ねて所定の拡張画像を表示させる表示工程と、前記ユーザの視線方向を検出する視線検出工程と、前記視線方向から前記拡張画像を排除するように前記拡張画像の表示を制御する表示制御工程とを含む。

【発明の効果】

【0008】

このような構成の拡張現実制御システム、及び拡張現実制御方法は、拡張現実における安全性を向上させることが容易である。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る拡張現実制御システムの一例であるスマートヘルメットの外観図である。

【図2】図１に示すスマートヘルメットの分解斜視図である。

【図3】図１に示すスマートヘルメットの、主に電気的構成の一例を示すブロック図である。

【図4】図１に示すスマートヘルメットの動作の一例を示すフローチャートである。

【図5】ユーザがフェイスシールド越しに見た前方視界の一例を示す説明図である。

【図6】拡張画像が排除された状態の一例を示す説明図である。

【図7】視線方向が基準位置より下側であった場合に表示制御部によって表示された拡張画像の一例を示す説明図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。図１は、本発明の一実施形態に係る拡張現実制御システムの一例であるスマートヘルメットの外観図である。

【0011】

図１に示すスマートヘルメット１は、ヘルメット本体２と、フェイスシールド３１とを備えている。スマートヘルメット１は、拡張現実制御システムの一例に相当する。図１では、ユーザＵが、スマートヘルメット１をかぶった状態を示している。フェイスシールド３１は、透過型ディスプレイであり、フェイスシールド３１の内面に、投影装置３２によって、拡張現実で付加される拡張画像Ｇが表示される。

【0012】

なお、拡張現実制御システムは、スマートヘルメットに限らない。拡張現実制御システムは、いわゆるヘッドマウントディスプレイであってもよく、眼鏡型のいわゆるスマートグラスであってもよい。

【0013】

図２は、図１に示すスマートヘルメット１の分解斜視図である。ヘルメット本体２の前縁内側には、ユーザＵの目に向かって内向きに赤外線光を照射する赤外光源４１と、ユーザＵの目を撮像する赤外線カメラ４２とが取り付けられている。

【0014】

図３は、図１に示すスマートヘルメット１の、主に電気的構成の一例を示すブロック図である。図３に示すスマートヘルメット１は、表示部３、視線検出部４、通信部５、及び制御部１０を備えている。

【0015】

表示部３は、フェイスシールド３１と、投影装置３２とを備えた透過型ディスプレイである。フェイスシールド３１は、ハーフミラーとされており、スマートヘルメット１を装着したユーザＵが、フェイスシールド３１を透過して外界を視認可能とされている。

【0016】

投影装置３２は、制御部１０から出力されたデータに応じた拡張画像Ｇを、フェイスシールド３１の内面に投影する。これにより、ユーザＵの目の網膜上で、フェイスシールド３１を透過して視認した外界の映像と、投影装置３２によって投影された拡張画像Ｇとが重ね合わされるようになっている。フェイスシールド３１は、表示部３の画面の一例に相当する。

【0017】

なお、表示部は、透過型ディスプレイに限らない。拡張現実制御システムは、外界を撮像するカメラを備え、カメラで撮像された外界の映像と、拡張画像Ｇとを合成した画像を、非透過型ディスプレイで構成された表示部で表示する構成であってもよい。

【0018】

視線検出部４は、ユーザの視線方向を検出する。具体的には、視線検出部４は、赤外光源４１と、赤外線カメラ４２とを備えている。赤外光源４１は、制御部１０からの制御信号に応じて赤外線光をユーザＵの目に照射する。赤外線カメラ４２は、赤外線光が照射されたユーザＵの目の赤外線画像を、ユーザＵの視線方向を示す情報として制御部１０へ出力する。

【0019】

通信部５は、例えばＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信回路である。通信部５は、例えばカーナビゲーションシステムシステム、スマートフォン、タブレット端末、又はパーソナルコンピュータ等の情報処理装置と無線通信を行うことによって、表示部３に表示される拡張画像Ｇに関するデータを受信する。通信部５は、受信したデータを制御部１０へ出力する。なお、通信部５は、無線通信回路に限られず、有線通信回路であってもよい。また、スマートヘルメット１は、通信部５を備えていなくてもよい。

【0020】

制御部１０は、例えば所定の演算処理を行うＣＰＵ(Central Processing Unit)、データを一時的に記憶するＲＡＭ(Random Access Memory)、フラッシュメモリ等の不揮発性の記憶装置、及びこれらの周辺回路等を用いて構成されている。制御部１０は、例えば上述の記憶装置に予め記憶されたプログラムを実行することによって、拡張画像表示処理部１１、視線検出処理部１２、及び表示制御部１３として機能する。

【0021】

拡張画像表示処理部１１は、例えば通信部５によって受信されたデータに基づいて、表示部３に拡張画像Ｇを表示させる。図１に記載の拡張画像Ｇは、カーナビゲーションシステムから受信された行先情報をフェイスシールド３１に表示する例を示している。

【0022】

視線検出処理部１２は、視線検出部４の赤外線カメラ４２によって撮像されたユーザＵの目の赤外線画像に基づいて、ユーザＵの視線方向を検出する。

【0023】

表示制御部１３は、視線検出処理部１２によって検出された視線方向から、拡張画像表示処理部１１によって表示された拡張画像Ｇを排除するように、拡張画像Ｇの表示を制御する。拡張画像表示処理部１１と、表示制御部１３とは、互いに独立して動作するようになっており、拡張画像表示処理部１１による拡張画像Ｇの表示を、表示制御部１３が修正可能とされている。

【0024】

なお、制御部１０は、スマートヘルメット１等の仮想現実表示装置に内蔵される例に限らない。例えば制御部１０は、表示部３及び視線検出部４を含む仮想現実表示装置の外部に別体に構成され、有線通信又は無線通信を介して制御部１０が、表示部３及び視線検出部４と接続される構成であってもよい。

【0025】

次に、上述のように構成されたスマートヘルメット１の動作について説明する。図４は、図１に示すスマートヘルメット１の動作の一例を示すフローチャートである。

【0026】

まず、視線検出処理部１２は、ユーザＵの目の赤外線画像に基づいて、ユーザＵの視線方向を検出する（ステップＳ１）。目の画像から視線方向を検出する方法としては、種々の公知技術を用いることができ、例えば瞳孔の画像とプルキンエ像とに基づいて視線方向を検出する方法を用いることができる。

【0027】

次に、表示制御部１３は、視線検出処理部１２により検出された視線方向に、拡張画像表示処理部１１によって表示された拡張画像Ｇが有るか否かを確認する（ステップＳ２）。視線方向に拡張画像Ｇが有った場合（ステップＳ２でＹＥＳ）、表示制御部１３は、設定時間ｔｓ経過後に、視線方向から拡張画像Ｇを排除する（ステップＳ３）。

【0028】

図５は、ユーザＵがフェイスシールド３１越しに見た前方視界の一例を示す説明図である。ユーザＵからは、フェイスシールド３１越しに、前方に延びる道が見えている。図５に示す例では、拡張画像表示処理部１１によって、カーナビゲーションシステムの行先表示「１１２ｋｍ南」が拡張画像Ｇとしてフェイスシールド３１に表示されている。図５では、十字の視線マークＭによって、ユーザＵの視線方向を示している。

【0029】

図５に示す例では、拡張画像Ｇと視線マークＭとが重なっており、視線方向に拡張画像Ｇが表示されている。このような場合、表示制御部１３は、視線方向に拡張画像Ｇがあるので、ステップＳ２でＹＥＳとして、設定時間ｔｓ経過後に視線方向から拡張画像Ｇを排除する（ステップＳ３）。

【0030】

図６は、拡張画像Ｇが排除された状態の一例を示す説明図である。図６では、視線マークＭと重ならない位置に拡張画像Ｇが移動させられることによって、視線方向から拡張画像Ｇが排除される例を示している。

【0031】

表示制御部１３は、図６に示すように、拡張画像Ｇを移動することによって排除してもよく、拡張画像Ｇを消去することによって排除してもよい。

【0032】

設定時間ｔｓとしては、ユーザＵが情報を視認するのに必要最低限の時間、例えば１秒程度が予め設定されている。これにより、拡張画像Ｇで示される情報をユーザＵが認識した直後に拡張画像Ｇが排除されるので、ユーザＵの前方視界が長時間、拡張画像Ｇによって遮られることがない。その結果、拡張現実における安全性が向上する。

【0033】

また、例えば悪意のアプリケーションプログラムが、拡張画像ＧによってユーザＵの視界を遮る挙動を試みた場合であっても、表示制御部１３によって拡張画像Ｇが排除される。その結果、拡張現実における安全性が向上する。

【0034】

なお、表示制御部１３は、必ずしも設定時間ｔｓ経過後に視線方向から拡張画像Ｇを排除する例に限られず、設定時間ｔｓを待つことなく即座に拡張画像Ｇを排除してもよい。

【0035】

視線方向に拡張画像Ｇが無かった場合（ステップＳ２でＮＯ）、表示制御部１３は、ステップＳ３を実行することなく処理をステップＳ４へ移行する。

【0036】

ステップＳ４において、表示制御部１３は、ユーザＵの視線方向が基準位置Ｄより下側か否かを確認する（ステップＳ４）。視線方向が基準位置Ｄより下側でない場合（ステップＳ４でＮＯ）、再びステップＳ１～Ｓ４を繰り返す。一方、視線方向が基準位置Ｄより下側であった場合（ステップＳ４でＹＥＳ）、表示制御部１３は、拡張画像Ｇを表示し（ステップＳ５）、再びステップＳ１以降の処理を繰り返す。

【0037】

図７は、視線方向が基準位置Ｄより下側であった場合に表示制御部１３によって表示された拡張画像Ｇの一例を示す説明図である。図７では、拡張画像Ｇの一例として、速度計の走行速度を示している。

【0038】

図７では、基準位置Ｄを破線で示している。基準位置Ｄは、表示部３の画面であるフェイスシールド３１の下端近傍に設定されている。例えば、基準位置Ｄは、表示部３の画面における上下方向の幅に対し、下から１／１０以下の位置に設けられることが好ましい。

【0039】

このように、視線方向が基準位置Ｄより下側であった場合に拡張画像Ｇを表示することによって、ユーザＵが所望のタイミングで拡張画像Ｇによる情報を得ることが可能となる。

【0040】

なお、表示制御部１３は、ステップＳ４，Ｓ５を実行せず、ステップＳ１～３を繰り返してもよい。

【符号の説明】

【0041】

１ スマートヘルメット（拡張現実制御システム）
２ ヘルメット本体
３ 表示部
４ 視線検出部
５ 通信部
１０ 制御部
１１ 拡張画像表示処理部
１２ 視線検出処理部
１３ 表示制御部
３１ フェイスシールド（画面）
３２ 投影装置
４１ 赤外光源
４２ 赤外線カメラ
Ｄ 基準位置
Ｇ 拡張画像
Ｍ 視線マーク
Ｕ ユーザ
ｔｓ 設定時間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】