(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-14
(54)【発明の名称】光学システムにより仮想オブジェクトを生成および表示するための方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20220204BHJP
G09G 5/36 20060101ALI20220204BHJP
G09G 5/38 20060101ALI20220204BHJP
G02B 27/02 20060101ALI20220204BHJP
【FI】
G09G5/00 550C
G09G5/36 520P
G09G5/00 530H
G09G5/36 520D
G09G5/38 A
G09G5/00 510A
G02B27/02 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021535796
(86)(22)【出願日】2019-12-19
(85)【翻訳文提出日】2021-07-09
(86)【国際出願番号】 EP2019086307
(87)【国際公開番号】W WO2020127732
(87)【国際公開日】2020-06-25
(32)【優先日】2018-12-19
(33)【優先権主張国・地域又は機関】AT
(81)【指定国・地域】
(71)【出願人】
【識別番号】521196811
【氏名又は名称】ヴューポイントシステム ゲー・エム・ベー・ハー
【氏名又は名称原語表記】viewpointsystem gmbh
【住所又は居所原語表記】Franz-Josefs-Kai 47/3. OG, 1010 Wien, Austria
(74)【代理人】
【識別番号】100114890
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100135633
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ユリアン グラースル
(72)【発明者】
【氏名】ミヒャエル メアテンフーバー
(72)【発明者】
【氏名】フランク リンゼンマイアー
【テーマコード(参考)】
2H199
5C182
【Fターム(参考)】
2H199CA12
2H199CA66
2H199CA72
2H199CA88
2H199CA92
2H199CA94
2H199CA96
5C182AA26
5C182AA31
5C182AB08
5C182AB15
5C182AB35
5C182AC46
5C182BA14
5C182BA47
5C182BA56
5C182BA57
5C182BC01
5C182BC25
5C182BC26
5C182CB42
5C182CC24
5C182DA65
5C182DA70
(57)【要約】
個々のユーザーに、視線トラッキング眼鏡(2)と、該視線トラッキング眼鏡(2)に接続された少なくとも1つのディスプレイユニット(3)とからなる光学システム(1)により仮想オブジェクト(16)を生成および表示するための方法であって、ディスプレイユニット(3)は、第1のディスプレイ(4)を有し、ここで、視線トラッキング眼鏡(2)は、第1のアイトラッキングカメラ(5)を有し、ここで、第1のディスプレイ(4)は、視線トラッキング眼鏡(2)の第1の透明領域(7)に配置されている方法では、光学システム(1)が個々のユーザーに適合化されることが提案され、ここで、第1のディスプレイ(4)の駆動制御のために、ディスプレイユニット(3)のディスプレイ駆動制御ユニット(8)の適合化のための第1の目標値が求められ、ここで、視線トラッキング眼鏡(2)により、第1の目(6)の現在の視線方向が求められ、ここで、仮想オブジェクト(16)が生成され、ここで、仮想オブジェクト(16)は、第1の目標値を考慮に入れて、第1のディスプレイ(4)における第1の目(6)の求められた視線方向の位置に表示される。
【特許請求の範囲】
【請求項1】
光学システム(1)により仮想オブジェクト(16)を生成および表示するための方法であって、
前記光学システム(1)は、ユーザーの視線方向を検出するための視線トラッキング眼鏡(2)と、前記視線トラッキング眼鏡(2)に接続された少なくとも1つのディスプレイユニット(3)とを備え、前記ディスプレイユニット(3)は、少なくとも部分的に透明な少なくとも1つの第1のディスプレイ(4)を有し、
前記視線トラッキング眼鏡(2)は、ユーザーの第1の目(6)の第1のアイビデオを作成するための第1のアイトラッキングカメラ(5)を有し、
前記第1のディスプレイ(4)は、少なくとも領域ごとに、前記第1の目(6)に割り当てられた、前記視線トラッキング眼鏡(2)の第1の透明領域(7)に配置されており、
前記光学システム(1)は、少なくとも以下のステップ、すなわち、
前記視線トラッキング眼鏡(2)をユーザーに装着するステップと、
次いで、第1の目(6)の少なくとも1つの予め設定可能な目の寸法および/または少なくとも1つの予め設定可能な目の位置を前記視線トラッキング眼鏡(2)によって求めるステップと、
次いで、前記少なくとも1つの求められた目の寸法および/または前記少なくとも1つの求められた目の位置、ならびに前記第1のアイトラッキングカメラ(5)の位置および配向から、前記第1のディスプレイ(4)の少なくとも1つの幾何学的ディスプレイ表示設定の少なくとも1つの第1の目標値を求めるステップと、
次いで、前記ディスプレイユニット(3)のディスプレイ駆動制御ユニット(8)を、前記第1のディスプレイ(4)の駆動制御のために少なくとも前記第1の目標値に適合化させるステップと、
に従って個々のユーザーに適合化され、
前記視線トラッキング眼鏡(2)により、前記第1の目(6)の現在の視線方向が求められ、
予め設定可能な状態および/または予め設定可能なイベントに応じて、前記仮想オブジェクト(16)が生成され、
前記仮想オブジェクト(16)は、前記ディスプレイ駆動制御ユニット(8)により、前記第1の目標値を考慮に入れて、前記第1のディスプレイ(4)における前記第1の目(6)の求められた視線方向の位置に表示される、
方法。
【請求項2】
前記視線トラッキング眼鏡(2)によって前記第1の目(6)の現在の視線方向が継続的に求められ、前記仮想オブジェクト(16)が表示される位置が前記現在の視線方向に継続的に適合化される、請求項1記載の方法。
【請求項3】
前記現在の視線方向は、最後に求められた視線方向から、予め設定可能な絶対値だけ、特に2°だけ必然的に偏差させ、それによって、前記仮想オブジェクト(16)が表示される位置を前記現在の視線方向に適合化させる、請求項1または2記載の方法。
【請求項4】
前記幾何学的ディスプレイ表示設定の第1の目標値として、前記第1の目(6)の前に仮想オブジェクト(16)を表示するための前記第1のディスプレイ(4)内の第1の表示領域(9)の第1の目標位置および/または第1の目標歪みが求められ、前記第1のディスプレイ(4)の第1の表示領域基本設定に対する前記第1の表示領域(9)の前記第1の目標位置および/または前記第1の目標歪みの少なくとも1つの偏差から、少なくとも1つの第1の補正係数および/または第1の補正関数が求められ、前記ディスプレイ駆動制御ユニット(8)は、少なくとも前記第1の補正係数もしくは前記第1の補正関数を用いてユーザーに適合化され、前記仮想オブジェクト(16)は、前記第1の補正係数および/または前記第1の補正関数だけオフセットされて、かつ/または歪まされて前記第1のディスプレイ(4)に表示される、請求項1から3までのいずれか1項記載の方法。
【請求項5】
前記ディスプレイユニット(3)は、少なくとも部分的に透明な少なくとも1つの第2のディスプレイ(10)を有し、
前記視線トラッキング眼鏡(2)は、ユーザーの第2の目(12)の第2のアイビデオを作成するための第2のアイトラッキングカメラ(11)を有し、
前記第2のディスプレイ(10)は、少なくとも領域ごとに、前記第2の目に割り当てられた、前記視線トラッキング眼鏡(2)の第2の透明領域(13)に配置されており、
前記第2の目(12)の少なくとも1つの予め設定可能な目の寸法および/または少なくとも1つの予め設定可能な目の位置が、前記視線トラッキング眼鏡(2)によって求められ、
次いで、少なくとも1つの求められた目の寸法および/または少なくとも1つの求められた目の位置、ならびに前記第2のアイトラッキングカメラ(11)の位置および配向から前記第2のディスプレイ(10)の少なくとも1つの幾何学的ディスプレイ表示設定の少なくとも1つの第2の目標値が求められ、
次いで、前記ディスプレイ駆動制御ユニット(8)が、前記第2のディスプレイ(10)の駆動制御のために少なくとも前記第2の目標値に適合化される、
請求項1から4までのいずれか1項記載の方法。
【請求項6】
さらに、
前記視線トラッキング眼鏡2により、前記第2の目(12)の現在の視線方向が求められ、
前記仮想オブジェクト(16)は、前記ディスプレイ駆動制御ユニット(8)により、前記第2の目標値を考慮に入れて、前記第2のディスプレイ(10)においても前記第2の目(12)の求められた視線方向の位置に表示される、
請求項5記載の方法。
【請求項7】
前記幾何学的ディスプレイ表示設定の第2の目標値として、前記第2の目(12)の前に前記仮想オブジェクト(16)を表示するための前記第2のディスプレイ(10)内の第2の表示領域(17)の第2の目標位置および/または第2の目標歪みが求められ、前記第2のディスプレイ(10)の第2の表示領域基本設定に対する前記第2の表示領域(17)の前記第2の目標位置および/または前記第2の目標歪みの少なくとも1つの偏差から、少なくとも1つの第2の補正係数および/または第2の補正関数が求められ、前記ディスプレイ駆動制御ユニット(8)は、少なくとも前記第2の補正係数もしくは前記第2の補正関数を用いてユーザーに適合化され、前記仮想オブジェクト(16)は、前記第2の補正係数および/または前記第2の補正関数だけオフセットされて、かつ/または歪まされて前記第2のディスプレイ(10)に表示される、請求項5または6記載の方法。
【請求項8】
前記第1の目(6)および前記第2の目(12)の目の位置を求めるために、さらに前記目(6,12)の正中の位置を決定し、前記視線トラッキング眼鏡(2)を用いて、さらに、前記目(6,12)の前記正中に対する前記第1のアイトラッキングカメラ(5)および前記第2のアイトラッキングカメラ(11)の位置を決定する、請求項5から7までのいずれか1項記載の方法。
【請求項9】
ユーザーへの適合化のために、ユーザーの少なくとも1つの視線パターンシーケンスが、前記光学システム(1)に対する異なる間隔および距離に配置される予め設定可能な複数の予め設定可能な標定点で記録される、請求項1から8までのいずれか1項記載の方法。
【請求項10】
前記光学システム(1)から第1の距離に配置された第1の標定点に対して、第1の目標値および第2の目標値の第1の距離値を求め、前記光学システム(1)から第2の距離に配置された第2の標定点に対して、第1の目標値および第2の目標値の第2の距離値を求め、前記第1の距離は、前記第2の距離とは異なっている、請求項7から9までのいずれか1項記載の方法。
【請求項11】
前記視線トラッキング眼鏡(2)によって前記2つの目(6,12)の現在の位置が求められ、前記仮想オブジェクト(16)は、前記第1および第2のディスプレイ(4,10)において、前記仮想オブジェクト(16)が単一のオブジェクトとして前記2つの目(6,12)の配向された距離に現れるように位置シフトされて、かつ/または歪まされて表示される、請求項7から10までのいずれか1項記載の方法。
【請求項12】
前記光学システムは、少なくとも1つの視野カメラ(14)を有し、予め設定可能な現実のオブジェクト(15)が前記視野カメラ(14)によって検出され、前記予め設定可能な現実のオブジェクト(15)の前記検出は、前記仮想オブジェクト(16)を生成するための予め設定可能なイベントである、請求項1から11までのいずれか1項記載の方法。
【請求項13】
前記システムは、ユーザーの、特に疲労状態の少なくとも1つの状態値を検出するように構成され、前記状態値は、限界値の超過に関して前記システムによって監視され、前記限界値の超過は、前記仮想オブジェクト(16)を生成するための前記予め設定可能なイベントである、請求項1から12までのいずれか1項記載の方法。
【請求項14】
前記システムは、前記システムの空間的配向ならびに所在位置を検出するための少なくとも1つのナビゲーションおよび位置決定ユニット(23)を有し、予め設定可能な場所ならびに予め設定可能な空間的配向は、前記仮想オブジェクト(16)を生成するための予め設定可能なイベントである、請求項1から13までのいずれか1項記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、請求項1による、光学システムにより仮想オブジェクトを生成および表示するための方法に関する。
【0002】
いわゆる拡張現実と複合現実のための眼鏡はますます重要性を帯び、普及している。ここでは、スマートグラスのユーザー自身の視野内に情報が挿入される。この種の眼鏡は、ユーザーの少なくとも1つの目の前に配置された、少なくとも部分的に透明な少なくとも1つのディスプレイを有する。いわゆる仮想現実とは異なり、拡張現実ならびに複合現実では、常に環境との直接的な関係性が与えられる。
【0003】
実際には、いわゆるグーグルグラスなどのこの種の眼鏡は、多くの問題が生じる。眼鏡の一部であるディスプレイ上での情報の単純な表示は、極めて不利であることが証明されている。コンテンツの表示により、ユーザーの視線行動が大幅に変化する。ユーザーもしくはユーザーの目は、表示されている情報と環境との間で絶えず視線の切り替えを余儀なくされているため、実際には情報の表示によって支援されることはほとんどない。これは急速な倦怠感につながり、脳に深刻な負担をかける。表示されたコンテンツにより、ユーザーは現実の環境からも気をそらす。なぜなら、新たに表示された情報の光学的刺激が、ユーザーの視線をこの情報に引き付けるからであり、詳細には、別の視線からは現実の世界により関連性があり、より注目に値するかもしれない可能性があるかないかにかかわりなく引き付けるからである。これはすでに事故につながっている。それゆえ、この種の既知の眼鏡は、もくろみとは正反対の事態を引き起こしかねない。ユーザーにとってもこの種の眼鏡は、事態を単純化する代わりにより複雑にさせる。
【0004】
さらに、すべての人は、ある特定の形で個性的である。人々の目は、鼻や耳に対して異なって配置されており、それぞれ相互に個別の距離を有している。すべての眼鏡着用者は、眼鏡技師による眼鏡の対応する適合化を知っており、この場合、眼鏡技師は、例えばテンプルもしくはノーズパッドを曲げるなど眼鏡に機械的な変更を加えることによって、眼鏡を個々の眼鏡着用者の各所与条件に適合化させる。それに応じて、光学ガラスもそれぞれユーザー個別に適合化される。
【0005】
拡張現実もしくは複合現実の既知のシステムでは、仮想オブジェクトの表示を現実の世界のオブジェクトと組み合わせたり、もしくは予め設定可能にかつ所期のように調和させたりすることはこれまで不可能であった。
【0006】
それゆえ、本発明の課題は、前述の欠点を回避することができ、かつ仮想オブジェクトを現実の環境との予め設定可能な組み合わせで表示することができる、冒頭で述べた形式の方法を提供することである。
【0007】
本発明によれば、この課題は、請求項1の特徴によって解決される。
【0008】
これにより、コンテンツは、人がすでに関連する時点でもともと見ている箇所に正確に表示される。人が目線を向けることが偶然行われることはまれであり、むしろ大抵は関係する人の環境に要因がある。スマートグラスにおける仮想オブジェクトの表示は、さらなるイベントであり、ユーザーの注意を引き付ける。多くの状況では、ユーザーは、自身の現実の環境において特定のオブジェクトを偶然に見ることはなく、むしろ特定の理由に起因する。あるオブジェクトがスマートグラスに表示されると、ユーザーは自動的にこのオブジェクトを見る。しかしながら、これにより、ユーザーは、現実を見失う。これは、工場もしくは実験室など安全性が重要な環境では、不注意や事故につながる可能性がある。ユーザーがすでに見ている箇所にコンテンツを正確に表示することにより、このユーザーは、自身の視覚的な注意を、コンテンツもしくは画像の表示に基づいて変える必要はない。ユーザーは、これにより、現実の環境と表示されるコンテンツとに同等に反応することができる。これにより、ユーザーは、気をそらされたり、圧倒されたりすることなく、最も困難な状況を自ら克服する上で可及的に最良に支援される。
【0009】
これにより、スマートグラス、特に、視線トラッキング眼鏡およびディスプレイユニットからなる光学システムを、個々のユーザーに迅速かつ容易に適合化させることができる。これにより、ディスプレイのどこかにコンテンツを表示するのではなく、ユーザーが見ている場所に、対応するコンテンツを表示できるように、関連する光学システムを適合化させることができる。これにより、仮想オブジェクトの表示を、現実の世界のオブジェクトと組み合わせたり、もしくは設定可能にかつ所期のように調和させたりすることができる。
【0010】
これにより、ディスプレイによって表示されるもしくはディスプレイ上に表示されるコンテンツが、ユーザーの実際の視線方向に表示されること、もしくはユーザーの実際の視線方向に関して明確に定義されかつ意図的に選択された位置に表示されることを保証することができる。
【0011】
本方法は、実際には迅速かつ容易に実施可能である。
【0012】
従属請求項は、本発明のさらなる好適な実施形態に関している。
【0013】
これにより、特許請求の範囲の文言が明示的に参照され、これらの請求項は、この場で参照により明細書に挿入され、逐語的に再現されていると見なされる。
【0014】
本発明は、好適な実施形態が例示的に示されているだけの添付の図面を参照してより詳細に説明される。
【図面の簡単な説明】
【0015】
【
図1】視線トラッキング眼鏡およびディスプレイユニットからなる本システムの第1の実施形態の斜視図である。
【
図2】視線トラッキング眼鏡およびディスプレイユニットからなる本システムの第2の実施形態の平面図である。
【
図3】ユーザーの目に対する第1および第2のディスプレイの空間的配置構成の概略的斜視図である。
【
図4】視線トラッキング眼鏡およびディスプレイユニットからなる本システムの一実施形態のブロック図である。
【
図5】第1のディスプレイ、第1の目、ならびに現実のオブジェクト(物理的オブジェクト)の空間的配置構成の概略的斜視図である。
【
図6】第1のディスプレイ上に示された仮想オブジェクト(TAG)を伴う
図5による第1のディスプレイおよび第1の目からなる配置構成である。
【
図7】第1のディスプレイの外側に配置され、図示されていない仮想オブジェクト(TAG)を伴う
図5による第1のディスプレイおよび第1の目からなる配置構成である。
【0016】
図1、
図2、および
図4は、それぞれ、本対象では個々のユーザーに適合化される光学システム1の異なる実施形態または図面を示している。さらに、本光学システム1は、予め設定可能な状態もしくは予め設定可能なイベントに応じて生成される仮想オブジェクト16の定められた表示に用いられる。これらの仮想オブジェクト16は、定められた視覚環境内でシステム1の少なくとも1つのディスプレイ4,10の予め設定可能な位置において示されている。
【0017】
この光学システム1は、少なくとも1つの視線トラッキング眼鏡2と、該視線トラッキング眼鏡2に接続された少なくとも1つのディスプレイユニット3とからなる。
【0018】
視線トラッキング眼鏡2は、ユーザーの第1の目6の第1のアイビデオ(Augenvideo)を作成するための少なくとも1つの第1のアイトラッキングカメラ5を有する。好適には、視線トラッキング眼鏡2は、ユーザーの第2の目12の第2のアイビデオを作成するためのさらなる第2のアイトラッキングカメラ11を有する。視線トラッキング眼鏡2は、好適には、視線トラッキング眼鏡2を装着したユーザー1の視点から前方を向いた少なくとも1つの視野カメラ14を有する。少なくとも1つのアイトラッキングカメラ5もしくは好適には2つのアイトラッキングカメラ5,11は、視線トラッキング眼鏡2のいわゆる鼻当てフレームに配置されている。
図2では、これらの2つのアイトラッキングカメラ5,11の配置構成が良好に認識できる。
【0019】
特に好適に想定された視線トラッキング眼鏡2は、
図1および
図2に示されるように、オーストリア国特許発明第513.987号明細書から公知であり、そこからは、好適な視線トラッキング眼鏡2のさらなる詳細を引き出すことができる。ただし、本方法は、他の視線トラッキング眼鏡2を用いて実施することも可能である。
【0020】
視線トラッキング眼鏡2は、ユーザーの視線方向を検出するように想定され、構成されている。
【0021】
図4は、とりわけ、視線トラッキング眼鏡2のブロック図を示しているが、ここでは、現実に実装されている視線トラッキング眼鏡2は、さらなるコンポーネントを有することができる。すでに説明したアイトラッキングカメラ5,11の他に、視線トラッキング眼鏡2は、特に、視線トラッキング眼鏡2の少なくとも1つのコントローラ18、ならびにディスプレイユニット3と通信するためのインターフェース19を有する。この視線トラッキング眼鏡2は、その上さらに、好適には、例えばエネルギー供給ユニットなどのさらなるコンポーネントを有する。
【0022】
ディスプレイユニット3は、
図1に示されるように、(少なくとも)部分的に透明な少なくとも1つの第1のディスプレイ4を有する。特に、ディスプレイユニット3は、第2のディスプレイ10も有する。これらの2つのディスプレイ4,10は、一体的に構成されてもよい。この場合、ここでは個々のディスプレイが2つの目6,12にわたって延在していることが想定されている。本対象では、第1のディスプレイ4は、例外なくユーザーの左目に割り当てられるが、ただし、これは必須の定義ではなく、右目を第1の目6と称することもできる。
【0023】
好適には、ディスプレイユニット3は、視線トラッキング眼鏡2から独立しているが、特定仕様の視線トラッキング眼鏡2に統合され、この特定の視線トラッキング眼鏡2上に配置され、これと機械的に接続されるように構成された機器である。本対象では、視線トラッキング眼鏡2と、これに機械的に接続されたディスプレイユニット3とからなるシステム1が常に使用され、ここでも、2つの機器2,3の一体的な実施形態が想定されてよい。
【0024】
第1のディスプレイ4は、少なくとも領域ごとに視線トラッキング眼鏡2の第1の透明領域7に配置されている。好適に設けられた第2のディスプレイ10は、少なくとも領域ごとに視線トラッキング眼鏡2の第2の透明領域13に配置される。この場合、透明領域7,13とは、ユーザーの視線内もしくは光学的視野内にある領域として理解されるべきである。特に、これらの透明領域7,13は、視線トラッキング眼鏡2のレンズ収容開口部と同一である。この視線トラッキング眼鏡が「ガラス」および/またはフレームを有していないか、または部分的に形成されたフレームしか有していないかぎり、これらの透明領域7,13は、特に、従来の眼鏡の場合に通常は「ガラス」が配置されるはずの領域である。
【0025】
第1および場合によっては第2のディスプレイ4,10は、
図1に示されるように、視線トラッキング眼鏡2のユーザーに面する側に配置されてもよいし、または
図2に示されるように、視線トラッキング眼鏡2のユーザーとは反対の側に配置されてもよい。その上さらに、これらのディスプレイは、視線トラッキング眼鏡2内に配置されてもよい。
【0026】
第1および場合によっては第2のディスプレイ4,10は、位置固定されてディスプレイユニット3に配置されている。これらのディスプレイは、動作中に傾斜したり旋回したりすることは想定されていない。ディスプレイユニット3も対応するアクチュエータを有していない。
【0027】
第1および場合によっては第2のディスプレイ4,10は、好適には、いわゆる導波管ディスプレイとして構成され、実質的に透明である。
【0028】
第1および場合によっては第2のディスプレイ4,10は、好適には、いわゆる「単一焦点面」ディスプレイとして構成されている。これは、単一の表示面のみを備えたディスプレイである。対照的に、いわゆる「多焦点面」ディスプレイも公知であるが、本対象では使用されていない。
【0029】
図4は、とりわけ、ディスプレイユニット3のブロック図を示しているが、ここでは、現実に実装されているディスプレイユニット3は、さらなるコンポーネントを有することができる。すでに説明したディスプレイ4,10の他に、ディスプレイユニット3は、さらにディスプレイユニット3のコントローラ22、ならびに視線トラッキング眼鏡2と通信するための、ディスプレイユニット3の第1のインターフェース20を有する。
【0030】
さらに、ディスプレイユニット3は、ディスプレイ駆動制御ユニット8を有し、このディスプレイ駆動制御ユニット8は、コントローラ22に接続されているか、またはコントローラ22と一体的に構成されている。ディスプレイ制御ユニット8は、第1のならびに好適に設けられた第2のディスプレイ4,10を駆動制御し、ここでは、第1および好適には第2のディスプレイ4,10の上もしくは内部の画像もしくは表示すべきオブジェクト16の位置ならびに歪みを担っている。画像もしくはオブジェクト16は、コントローラ22によって生成され、表示のためにディスプレイ駆動制御ユニット8に伝送される。
【0031】
ディスプレイユニット3は、さらにディスプレイユニット3の第2のインターフェース21を有し、この第2のインターフェース21は、環境との通信のために設けられ、それに応じて構成されている。対応する適切もしくは好適な伝送方法もしくはシステムは、現在多様に知られて、広く普及しており、セルラー移動通信の分野では3G(UMTS)もしくは4G(LTE)もしくは5Gと称される。この場合、インターネットもしくはWLANのさらなるシステムも使用することができる。対応するさらなるプロトコルは、例えば、多数の応用形態を備えたIEEE802である。
【0032】
さらに、ディスプレイユニット3は、好適には、コントローラ22に接続されたナビゲーションおよび位置決定ユニット23を有する。対応するユニットは、いわゆるスマートフォンから公知である。このナビゲーションおよび位置決定ユニット23は、特に、衛星航法ならびに場合によってはモバイル携帯会社の接続データを用いた、グローバル座標系におけるディスプレイユニット3の位置も、特に少なくとも1つの傾斜センサを用いた、ディスプレイユニット3の空間的位置もしくは配向も決定することができる。
【0033】
ディスプレイユニット3は、その上さらに好適には、例えばエネルギー供給ユニットなどのさらなるコンポーネントを有する。
【0034】
視線トラッキング眼鏡2および/またはディスプレイユニット3の製造時には、寸法設定からの僅かな個々の偏差が生じる可能性があるため、好適には、個別のもしくは個々の各視線トラッキング眼鏡2の第1のアイトラッキングカメラ5および/または第2のアイトラッキングカメラ11の個々の位置および配向が、(それらの出荷前に)測定スタンドで求められ、対応するデータが、それぞれの視線トラッキング眼鏡2のメモリもしくはコントローラ18に格納されることが想定されている。
【0035】
好適には、さらに、第1のアイトラッキングカメラ5および/または第2のアイトラッキングカメラ11の少なくとも1つの予め設定可能な光学誤差についての少なくとも1つの値が、(同様にそれぞれ個々に)測定スタンドで求められ、少なくとも1つの求められた値が同様にメモリもしくはコントローラ18に格納され、以下で説明する方法ステップで考慮されることが想定されている。
【0036】
さらに、好適には、各ディスプレイユニット3の第1のディスプレイ4ならびに好適に設けられた第2のディスプレイ10の個々の位置および配向が、測定スタンドにおいて個別に求められ、その際に求められたデータが各ディスプレイユニット3のコントローラ22に格納されることが想定されている。これらのデータは、好適には、以下に説明する方法ステップで考慮される。
【0037】
上記した実際の寸法および光学的誤差を求めることは、すでに、各視線トラッキング眼鏡2および/または各ディスプレイユニット3をユーザーに引き渡す前に行われる。これは、内発的較正とも称される。
【0038】
光学システムにより仮想オブジェクト16を生成および表示するための本方法の範囲内では、光学システム1が個々のユーザーに適合化されることが想定されている。これは、少なくとも以下のステップ、すなわち、
-視線トラッキング眼鏡2をユーザーに装着するステップと、
-次いで、第1の目6の少なくとも1つの予め設定可能な目の寸法および/または少なくとも1つの予め設定可能な目の位置を視線トラッキング眼鏡2によって求めるステップと、
-次いで、少なくとも1つの求められた目の寸法および/または少なくとも1つの求められた目の位置、ならびに第1のアイトラッキングカメラ5の位置および配向から、第1のディスプレイ4の少なくとも1つの幾何学的ディスプレイ表示設定の少なくとも1つの第1の目標値を求めるステップと、
-次いで、ディスプレイユニット3のディスプレイ駆動制御ユニット8を、第1のディスプレイ4の駆動制御のために少なくとも第1の目標値に適合化させるステップと、を含む。
【0039】
これにより、拡張現実もしくは複合現実のための本対象の個々の光学システム1を、個々のユーザーに迅速かつ容易に適合化させることができる。これにより、最初にコンテンツを、ディスプレイ4,10のどこかに表示するのではなく、むしろ、ユーザーがすでに見ている箇所に対応するコンテンツを表示できるように、関連する光学システム1を適合化させることが可能になる。これにより、仮想オブジェクト16の表示を、現実の世界のオブジェクト15と組み合わせたり、もしくは予め設定可能にかつ所期のように調和させたりすることもできる
【0040】
これにより、ディスプレイ4,10によって表示されるもしくはディスプレイ4,10上に表示されるコンテンツが、ユーザーの実際の視線方向に表示されること、もしくはユーザーの実際の視線方向に関して明確に定義されかつ意図的に選択された位置および/または歪みで表示されることを保証することができる。
【0041】
個々の光学システム1を特定のユーザーに適合化させるために、対応する適合化もしくは較正を、個々の光学システム1について一度だけ実施することが想定されてもよい。好適には、この適合化が予め設定可能な時間間隔で繰り返されることが想定されている。
【0042】
記載されたこれらの方法ステップは、それぞれ片方の目についてのみ必須として想定されており、片方の目6についてのみ実行可能である。これは、例えば、片方の目6のみを有するユーザー、または片方の目6のみを使用する状況に関係する。
【0043】
好適には、本方法は、ユーザーの両方の目6,12について想定されている。それゆえ、以下では、本方法は、特に両方の目6,12について説明され、この場合、片方の目6でも、もしくは片方の目6のみにおいて実施可能であるすべての方法ステップが、片方の目6のみについてもそのようなものとして想定されている。
【0044】
それゆえ、本方法は、好適な基本変形形態において、以下のさらなる方法ステップ、すなわち、
-第2の目12の少なくとも1つの予め設定可能な目の寸法および/または少なくとも1つの予め設定可能な目の位置を、視線トラッキング眼鏡2によって求めるステップと、
-次いで、少なくとも1つの求められた目の寸法および/または少なくとも1つの求められた目の位置、ならびに第2のアイトラッキングカメラ11の位置および配向から第2のディスプレイ10の少なくとも1つの幾何学的ディスプレイ表示設定の少なくとも1つの第2の目標値を求めるステップと、
-次いで、ディスプレイ駆動制御ユニット8を、第2のディスプレイ10の駆動制御のために少なくとも第2の目標値に適合化させるステップと、を含む。
【0045】
以下では個々のステップを詳細に説明する。
【0046】
視線トラッキング眼鏡2の装着は、他のあらゆる眼鏡の装着と同一であり、一般に公知であり、ここでのさらなる説明は不要である。視線トラッキング眼鏡2と一緒に、この視線トラッキング眼鏡2に接続されたディスプレイユニット3も装着される。
【0047】
視線トラッキング眼鏡2の装着に続いて、第1の目6ならびに好適には第2の目12の少なくとも1つの予め設定可能な目の寸法および/または少なくとも1つの予め設定可能目の位置が、視線トラッキング眼鏡2によって求められる。目の寸法は、特に目の直径または目の半径であり、さらに瞳孔の直径でもある。好適には両方が決定される。目の位置は、特に、目6,12の瞳孔の位置、特に2つの瞳孔相互の距離、ならびに2つの目6,12相互の空間的位置である。好適には両方が決定される。
【0048】
第1の目6および第2の目12の目の位置を求めるために、特に、これらの目6,12の正中の位置(Position eines Medians)を決定することが想定されている。目6,12の領域の体もしくは頭の中心線は正中とも称される。さらに、この目的のために、目6,12の正中に対する第1のアイトラッキングカメラ5および第2のアイトラッキングカメラ11の位置が決定される。
【0049】
目の位置もしくは目の寸法を求めるために、好適には、ユーザーの少なくとも1つの視線パターンシーケンスが、予め設定可能な複数の予め設定可能な標定点(Passpunkte)で記録されることが想定されている。この場合、特定の滞在場所から特定の標定点を見るように、もしくは標定点を固定しながら自身の頭を予め設定可能なやり方で動かすように促されるユーザーの視線行動は、視線パターンシーケンスもしくは視線シーケンスと称される。好適には、標定点は、光学システム1から異なる間隔および距離に配置されているかもしくは配置されることが想定されている。そこから結果的に生じる利点については、以下の箇所で述べる。
【0050】
目の寸法ならびに目の位置を求めることに続いて、少なくとも1つの求められた目の寸法および/または少なくとも1つの求められた目の位置、ならびに第1のアイトラッキングカメラ5の位置および配向から、第1のディスプレイ4の少なくとも1つの幾何学的ディスプレイ表示設定の第1の目標値が求められることが想定されている。好適には、さらに、少なくとも1つの求められた目の寸法および/または少なくとも1つの求められた目の位置、ならびに第2のアイトラッキングカメラ11の位置および配向から、第2のディスプレイ10の少なくとも1つの幾何学的ディスプレイ表示設定の少なくとも1つの第2の目標値が求められることが想定されている。
【0051】
それゆえ、この方法ステップの過程では、目標値とも称される値もしくはパラメーターが求められる。これらの目標値は、どの位置および/またはどのような歪みで、画像もしくは仮想オブジェクト16を、各ディスプレイ4,10の表示領域内に表示する必要があるかを示すと共に画像もしくは仮想オブジェクト16を、自身の目6,12の前に斜めに配置されたディスプレイ4,10上で見るユーザーのためにどのように表示する必要があるかを示す。これにより、画像もしくは仮想オブジェクト16は、ユーザーのために再び完全に特定のもしくは予め設定可能な箇所で表示され、ならびに実質的な歪みはない。特に、これらの目標値は、個別の値ではなく、むしろ値もしくはベクトルのグループもしくはセットである。ここでは、特に、通常は異なる観察距離に関連付けられる様々な目の位置について、それぞれ異なる目標値が求められ、格納され、そして考慮される。
【0052】
図3は、目6,12および2つのディスプレイ4,10のみの対応する立面図を示している。
【0053】
相応に、幾何学的ディスプレイ表示設定は、ディスプレイ内のオブジェクトの幾何学的表示に関連するが、その色またはコントラストには関連しない少なくとも1つの設定である。それゆえ、幾何学的ディスプレイ表示設定は、各ディスプレイ4,10の表示領域内の表示されたオブジェクト16の姿勢もしくは位置、歪み、ならびに大きさに関連する。
【0054】
第1の、ならびに好適には第2の目標値を求めた後、ディスプレイユニット3のディスプレイ駆動制御ユニット8は、第1のディスプレイ4の駆動制御のために少なくとも第1の目標値に適合化され、ならびに第2のディスプレイ10の駆動制御のために少なくとも第2の目標値に適合化される。ディスプレイ駆動制御ユニット8の適合化により、表示すべきオブジェクトがユーザーに次のように表示されること、すなわち、表示すべきオブジェクトが(ユーザーの目6,12に対して相対的に)実際にそれらが現れるべき場所にも歪みなしで現れるために必要な歪みを伴って表示されることが達成され得る。
【0055】
必要な歪みの程度ならびに所望の位置は、一人の同じユーザーであっても、すべての注視状態に関して一定ではない。特に、これらは、ユーザーが見ている注視点までの距離に伴って変化する。それゆえ、すでに述べたように、目の寸法および/または目の位置を求める範囲内で、特に好適には、光学システム1から第1の距離に配置された第1の標定点に対して、第1の目標値および第2の目標値の第1の距離値を求め、光学システム1から第2の距離に配置された第2の標定点に対して、第1の目標値および第2の目標値の第2の距離値を求め、ここで、第1の距離は、第2の距離とは異なっていることが想定されている。それゆえ、第1および第2の目6,12の異なる設定距離もしくはこれらの目6,12の相互に向けられた異なる位置について、第1の目標値および第2の目標値の異なる値もしくは絶対値を取り扱うことができそれが求められる。特に、標定点は少なくとも4つの異なる距離に配置されることが想定されている。求められた距離値からは、設定距離にわたって対応する経過を外挿することができ、特定の目の位置に対する仮想オブジェクト16の今後の表示のために格納することができる。
【0056】
目標値の仕様は、使用されるディスプレイ4,10の仕様に直接関連している。ディスプレイ4,10は、多くの場合、いわゆる基本設定を有しており、これは、デフォルト設定とも称される。そのようなディスプレイに供給されるビデオ信号を意図的に変更もしくは適合化させることなく、対応する画像もしくはビデオが、デフォルト設定に応じて表示される。これにより、対応する画像は、通常、各ディスプレイの中央に歪みなく表示されるであろう。
【0057】
それゆえ、特に好適には、幾何学的ディスプレイ表示設定の第1の目標値として、第1の目6の前に仮想オブジェクト16を表示するための第1の表示領域9の第1の目標位置および/または第1の目標歪み(Soll-Verzerrung)を求めることが想定されており、ここで、第1のディスプレイ4の第1の表示領域基本設定に対する第1の表示領域9の第1の目標位置および/または第1の目標歪みの少なくとも1つの偏差を前提として、少なくとも1つの第1の補正係数および/または第1の補正関数が求められ、ここで、ディスプレイ駆動制御ユニット8は、少なくとも第1の補正係数もしくは第1の補正関数を用いてユーザーに適合化される。第1の表示領域9は、ここでは第1のディスプレイ4内の部分領域である。
【0058】
相応に、第2の目について、好適には、幾何学的ディスプレイ表示設定の第2の目標値として、第2の目12の前に仮想オブジェクト16を表示するための第2の表示領域17の第2の目標位置および/または第2の目標歪みを求めることが想定されており、ここで、第2のディスプレイ10の第2の表示領域基本設定に対する第2の表示領域17の第2の目標位置および/または第2の目標歪みの少なくとも1つの偏差を前提として、少なくとも1つの第2の補正係数および/または第2の補正関数が求められ、ここで、ディスプレイ駆動制御ユニット8は、少なくとも第2の補正係数もしくは第2の補正関数を用いてユーザーに適合化される。第2の表示領域17は、ここでは第2のディスプレイ10内の部分領域である。
【0059】
前述の関係では、補正関数は、特定の目の位置および/またはユーザーの視線方向と、それぞれ仮想オブジェクトの表示のためにそれぞれの条件下で想定される補正係数との間の関係を確立する。これらの目は、準連続的に位置変化させることができる。ここでは、補正係数の値も準連続的な特性を示すことが示されている。
【0060】
上述の補正係数もしくは補正関数の使用により、ディスプレイ4,10もしくはディスプレイ駆動制御ユニット8の容易な適合化が可能である。ここでは、特に好適には、補正係数もしくは補正関数をフィールドとして異なる距離値と共に記録することが想定されている。
【0061】
図3には、図示の2つの目について、それぞれの表示領域9,17が2つのディスプレイ4,10のそれぞれの中心からどのように著しく偏差しているかが明確に示されている。
【0062】
光学システム1の具体的に実施された適合化により、仮想オブジェクト16の表示は、ユーザーの視線方向もしくは視線行動に対して予め設定可能な関係で可能になる。特に、これによって、仮想オブジェクト16を、予め設定可能な関係で現実のオブジェクト15と共に表示することが可能である。
【0063】
説明された光学システム1が、説明された方法に応じてユーザーに適合化もしくは較正された後では、さらに仮想オブジェクト16を生成および表示することが可能である。光学システム1により仮想オブジェクト16を生成および表示するための方法では、以下のさらなる方法ステップ、すなわち、
-視線トラッキング眼鏡2により、第1の目6の現在の視線方向を求めるステップと、
-予め設定可能な状態および/または予め設定可能なイベントに応じて、仮想オブジェクト16を生成するステップと、
-仮想オブジェクト16を、ディスプレイ駆動制御ユニット8により、第1の目標値を考慮に入れて、第1のディスプレイ4における第1の目6の求められた視線方向の位置に表示するステップと、が想定されている。
【0064】
すでに説明したように、特に、2つのディスプレイ4,10の使用が想定されている。この場合、特に、前述の方法ステップと同時に相応に適合化もしくは較正された視線トラッキング眼鏡2において、以下のさらなる方法ステップ、すなわち、
-視線トラッキング眼鏡2により、第2の目12の現在の視線方向を求めるステップと、
-仮想オブジェクト16を、ディスプレイ駆動制御ユニット8により、第2の目標値を考慮に入れて、第2のディスプレイ10においても第2の目12の求められた視線方向の位置に表示するステップと、が実施されることがさらに想定されている。
【0065】
ディスプレイ4,10を基本設定で使用する場合、特に、仮想オブジェクト16が、第1の補正係数および/または第1の補正関数だけオフセットされて、かつ/または歪まされて第1のディスプレイ4に表示されることが想定され、ならびに好適には、仮想オブジェクト16が、第2の補正係数および/または第2の補正関数だけオフセットされて、かつ/または歪まされて第2のディスプレイ10に表示されることが想定されている。
【0066】
仮想オブジェクトは、第1の目6または第2の目12の求められた視線方向の位置に表示されることが想定されている。この場合、表示の関連する位置は、視線方向と共に遷移するか、それに応じてシフトされることが想定されている。それゆえ、この関係において、好適には、視線トラッキング眼鏡2によって第1の目6および/または第2の目12の現在の視線方向が継続的に求められ、仮想オブジェクト16における位置が表示され、現在の視線方向に継続的に適合化されることが想定されている。
【0067】
目6,12の少なくとも1つは、仮想オブジェクト16を見るときに特定の僅かな無意識の動きをする可能性があり、それらはそれぞれ視線トラッキング眼鏡2によって把握されるので、表示位置の直接の追従は、ユーザーによって「落ち着きのなさ」もしくは「揺れ」と知覚される絶え間のない同じ動きにつながる可能性がある。そのようなことを回避するために、現在の視線方向を、最後に求められた視線方向から、予め設定可能な絶対値だけ、特に2°だけ必然的に偏差させ、それによって、仮想オブジェクト16が表示される位置を現在の視線方向に適合化させることが想定されてもよい。
【0068】
代替的に、それぞれ求められた視線方向が、特定の期間もしくは予め設定可能な過去にわたって平均化され、仮想オブジェクト16が表示される位置が、平均化された視線方向に存在することが想定されてもよい。この場合、過去の長さは、状況に応じて適合化することができる。好適には、過去の長さは、約0.1秒~0.3秒である。
【0069】
仮想オブジェクト16は、予め設定可能な状態および/または予め設定可能なイベントが発生したときに生成および表示される。この場合、そのような状態もしくはそのようなイベントは、それぞれ予め設定可能な複数の基準が満たされたときにのみ発生したものと見なすこともできる。
【0070】
第1の好適な変形形態によれば、光学システムは、少なくとも1つの視野カメラ14を有し、ここで、予め設定可能な現実のオブジェクト15が視野カメラ14によって検出され、ここで、予め設定可能な現実のオブジェクト15の検出は、仮想オブジェクト16を生成するための予め設定可能なイベント(Ereignis)もしくは対応するイベントのための基準であることが想定されている。これにより、例えば、ユーザーは、現実の世界でのオリエンテーションにおいて支援され得る。現実のオブジェクト15の認識は、対応する画像処理プログラムを用いてすでに可能である。この関係において、顔の認識が想定されてもよい。
【0071】
第2の好適な変形形態によれば、システムは、ユーザーの少なくとも1つの状態値(Zustandswerte)を検出するように構成されており、この状態値は、限界値(Grenzwerte)の超過に関してシステムによって監視され、この限界値の超過は、仮想オブジェクト16を生成するための予め設定可能なイベントである。例えば、ユーザーの覚醒/疲労状態(Muedigkeitszustand)に関する疲労値は、そのためのさらなるセンサを何も必要としない視線行動の観察および評価から求めることができる。
【0072】
さらに、光学システム1が、ユーザーの生理学的パラメーター、特に心拍および/または皮膚伝導率を求めるための少なくとも1つのさらなるセンサを有し、かつ/またはその値の表示のために対応する外部センサに接続されていることが想定されてよい。例えば、光学システム1は、血圧センサに接続されてもよい。対応する外部センサは、ユーザーとは別の生物の身体機能を記録するセンサであってもよい。それにより、例えば、トレーナーは、自身のアスリートの危険な状態について情報を得ることができる。さらに、少なくとも1つのセンサは、技術的装置のセンサであり得る。
【0073】
第3の好適な変形形態によれば、本システムは、システム1の空間的配向(raeumlichen Ausrichtung)ならびに所在位置(Standort)を検出するための少なくとも1つのナビゲーションおよび位置決定ユニット23を有し、予め設定可能な場所ならびに予め設定可能な空間的配向は、仮想オブジェクト16を生成するための予め設定可能なイベントであることが想定されている。システム1の空間的配向ならびに所在位置の検出は、特に、スマートフォンの分野で公知であるように、いわゆる所在位置に関するサービスもしくは場所ベースのサービスを用いて支援することができる。
【0074】
図5~
図7は、現実のオブジェクト15に関する仮想オブジェクト16を表示する例を示しており、この場合、この現実のオブジェクト15が単に元からそこにあるのか、またはオブジェクト15として検出もしくは認識されたものなのかどうかは重要ではない。ここでは、
図5は、第1のディスプレイ4を通して当該
図5では「物理的オブジェクト」とも称される現実のオブジェクト15を見ているユーザーの第1の目6を示している。特にシンプルな応答によれば、仮想オブジェクト16は、この仮想オブジェクト16が現実のオブジェクト15を取り囲み、このフレームが実質的に矩形に見えるように、フレームの形態でディスプレイ4に表示される。
【0075】
図6は、類似の状況を示しているが、ここでは、現実のオブジェクト15は示されていない。ここでは、境界線の代わりに、タグ(TAG)の形態の別の仮想オブジェクト16が表示される。該当するTAGは、この場合、視線方向に対して横方向に隣接して表示される。ユーザーがどこを見ているかは視線トラッキング眼鏡2を介して一義的にわかっているので、仮想オブジェクトは、それがユーザーによって視線方向の大きな変更なしで認識可能もしくは読み取り可能になるように視線方向もしくはその隣に位置決めすることができる。
【0076】
図7は、ユーザーが仮想オブジェクト16もしくはTAGから目をそらしたり、別のものに目を向けたりした場合の仮想オブジェクト16もしくはTAGへの影響を示している。該当する仮想オブジェクト16は、ここでは、空間内で自身に割り当てられた位置を保持する。この仮想オブジェクト16は、ここではディスプレイ4の表示領域9の外側にあるため、もはや表示もされなくなる。ユーザーが再び十分に対応する方向に移動するとただちに仮想オブジェクト16も再び表示される。
【0077】
好適には、視線トラッキング眼鏡2によって、現実のオブジェクト15を見た場合のユーザーの2つの目6,12の設定距離を求め、仮想オブジェクト16は、第1および第2のディスプレイ4,10において、それが単一のオブジェクトとして2つの目6,12の現実のオブジェクト15と同じ設定距離に現れるように位置シフトされて、かつ/または歪まされて表示されることが想定されている。それゆえ、仮想オブジェクト16は、たしかにユーザーの目6,12の前に直接配置されたディスプレイ4,10上に表示されるが、しかしながら、ユーザーの目6,12からは、仮想オブジェクト16が、ディスプレイ4,10が割り当てられている現実のオブジェクト15と同じ距離に見える。これにより、そうでなければ常に必要とされていた様々な距離に対する新たな焦点合わせが不要になる。
【0078】
それゆえ、仮想オブジェクト16は、いわゆるステレオ画像として表示されることが想定されている。
【0079】
2つの目6,12の設定距離は、視線トラッキング眼鏡によってこれらの目6,12の角度位置が求められ、そこからこれらの目6,12が焦点合わせする距離を計算するように求められる。その際、距離値を長さ単位で求めることは完全に省略することができる。設定距離は、1つの角度または複数の角度の形態で求めて処理することも可能である。それゆえ、換言すれば、視線トラッキング眼鏡2によって2つの目の現在の位置が求められ、仮想オブジェクト16は、第1および第2のディスプレイ4,10において、それが単一のオブジェクトとして2つの目6,12の配向された距離に現れるように位置シフトされて、かつ/または歪まされて表示される。
【0080】
本システム1は、好適には、システム1と現実のオブジェクト15との間の距離を求めるための別個の距離計を有していない。
【0081】
ここでは、特に、ディスプレイ駆動制御ユニット8が、第1および第2のディスプレイ4,10において仮想オブジェクト16を表示するために、2つの目6,12の設定距離に対応する第1の目標値および第2の目標値の少なくとも1つの距離値を考慮に入れることが想定されている。第1の目標値および第2の目標値の距離値が格納されていないかぎり、ディスプレイ駆動制御ユニット8は、2つの隣接する距離値の間で補間することが想定されている。
【国際調査報告】