知財求人 - 知財ポータルサイト「IP Force」
▶ ビ−エイイ− システムズ パブリック リミテッド カンパニ−の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-26
(54)【発明の名称】拡張現実ウィンドウ
(51)【国際特許分類】
G09G 5/00 20060101AFI20231219BHJP
G09F 9/00 20060101ALI20231219BHJP
G03B 21/00 20060101ALI20231219BHJP
G06F 3/01 20060101ALI20231219BHJP
【ＦＩ】
G09G5/00 550C
G09F9/00 366A
G09F9/00 359
G03B21/00 D
G09G5/00 510H
G09G5/00 510A
G09G5/00 555D
G06F3/01 510
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023535461
(86)(22)【出願日】2021-12-02
(85)【翻訳文提出日】2023-07-18
(86)【国際出願番号】 GB2021053145
(87)【国際公開番号】W WO2022123219
(87)【国際公開日】2022-06-16
(31)【優先権主張番号】2019489.0
(32)【優先日】2020-12-10
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】390038014
【氏名又は名称】ビ－エイイ－ システムズ パブリック リミテッド カンパニ－
【氏名又は名称原語表記】ＢＡＥ ＳＹＳＴＥＭＳ ｐｌｃ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】リードベター、ジェームズ・ヒューゴ
【テーマコード（参考）】
2K203
5C182
5E555
5G435
【Ｆターム（参考）】
2K203FA02
2K203FA66
2K203FA75
2K203FA83
2K203KA42
2K203KA55
2K203KA83
5C182AA02
5C182AA03
5C182AA04
5C182AA22
5C182AB02
5C182AB08
5C182AB31
5C182AB33
5C182AB37
5C182AC02
5C182AC03
5C182AC43
5C182AC46
5C182BA01
5C182BA06
5C182BA14
5C182BA29
5C182BA55
5C182BA56
5C182BA66
5C182CB54
5E555AA21
5E555AA62
5E555BA29
5E555BB29
5E555BE17
5E555CA42
5E555CA43
5E555CA44
5E555CA45
5E555CB12
5E555CB65
5E555CB66
5E555DA03
5E555DA11
5E555DB53
5E555DC13
5E555DD06
5E555EA09
5E555FA00
5G435AA01
5G435BB17
5G435DD04
5G435DD09
5G435EE49
(57)【要約】
前記見えるターゲットに対応するスクリーン座標において前記ディスプレイスクリーン上に画像を表示するように前記ディスプレイデバイスを制御するように構成されたコントローラとを備える。装置１０は、ユーザＵに画像を表示するための光学的に透明なディスプレイスクリーン１１１を含むディスプレイデバイス１１０と、ユーザＵの視線方向ＶＤおよび／または視線位置ＶＰを追跡するように構成されたセンサ１２０と、ディスプレイスクリーン１１１を通してユーザＵによって見えるターゲットＴのロケーションＬを決定するように構成された検出器１３０と、ユーザＵの追跡された視線方向ＶＤおよび／または追跡された視線位置ＶＰと、ターゲットＴの決定されたロケーションＬとを使用して、見えるターゲットＴに対応するスクリーン座標においてディスプレイスクリーン１１１上に画像１５０を表示するようにディスプレイデバイス１１０を制御するように構成されたコントローラ１４０とを備える。
【選択図】図３Ａ
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
装置であって、ユーザに画像を表示するための光学的に透明なディスプレイスクリーンを含むディスプレイデバイスと、
前記ユーザの視線方向および／または視線位置を追跡するように構成されたセンサと、
前記ディスプレイスクリーンを通して前記ユーザによって見えるターゲットのロケーションを決定するように構成された検出器と、
前記ユーザの前記追跡された視線方向および／または前記追跡された視線位置と、前記ターゲットの前記決定されたロケーションとを使用して、前記見えるターゲットに対応するスクリーン座標において前記ディスプレイスクリーン上に画像を表示するように前記ディスプレイデバイスを制御するように構成されたコントローラとを備える、装置。
【請求項2】
前記コントローラは、前記ユーザの前記追跡された視線方向および／または前記追跡された視線位置と、複数のターゲットのそれぞれの決定されたロケーションとを使用して、複数の見えるターゲットに対応するそれぞれのスクリーン座標において前記ディスプレイスクリーン上に複数の画像を表示するように前記ディスプレイデバイスを制御するように構成される、請求項１に記載の装置。
【請求項3】
前記ディスプレイスクリーンは、投影スクリーンを含みおよび／または投影スクリーンであり、前記ディスプレイデバイスは、前記ディスプレイスクリーン上に前記画像を投影するように構成されたプロジェクタを含む、請求項１または２に記載の装置。
【請求項4】
前記ディスプレイスクリーンは、前記ユーザと前記ターゲットとの間に配置された安全スクリーンを提供するように適合される、請求項１かから３のいずれか一項に記載の装置。
【請求項5】
前記ディスプレイスクリーンは、前記ターゲットを少なくとも部分的に囲む、請求項４に記載の装置。
【請求項6】
前記センサは、カメラ、加速度計、ジャイロスコープ、ソリッドステートコンパス、無線周波数識別検出器、および／もしくは位置センサを含む、ならびに／またはこれらである、請求項１から５のいずれか一項に記載の装置。
【請求項7】
前記検出器は、カメラ、加速度計、ジャイロスコープ、ソリッドステートコンパス、無線周波数識別検出器、超広帯域（ＵＷＢ）センサ、および／もしくは位置センサを備える、ならびに／またはこれらである、請求項１から６のいずれか一項に記載の装置。
【請求項8】
前記検出器は、前記ターゲットに通信可能に結合可能であり、前記検出器は、前記ターゲットから受信した位置データに基づいて前記ターゲットのロケーションを決定するように構成される、請求項１から７のいずれか一項に記載の装置。
【請求項9】
前記ユーザのアイデンティティを確立するように構成された識別子を備え、前記コントローラは、前記確立されたアイデンティティに基づいて前記画像を表示するように前記ディスプレイデバイスを制御するように構成される、請求項１から８のいずれか一項に記載の装置。
【請求項10】
前記ユーザからの入力を受信するように構成されたユーザ入力デバイスを備える、請求項１から９のいずれか一項に記載の装置。
【請求項11】
前記ユーザ入力デバイスは、ジェスチャセンサを備え、および／または前記ディスプレイスクリーンは、タッチスクリーンを備える、請求項１０に記載の装置。
【請求項12】
前記コントローラは、前記ターゲットに通信可能に結合可能であり、前記コントローラは、前記ユーザから受信した前記入力にしたがって前記ターゲットを制御するように構成される、請求項１０または１１に記載の装置。
【請求項13】
前記装置は前記ターゲットを含む、請求項１から１２のいずれかに記載の装置。
【請求項14】
前記ターゲットは、産業用ロボットを含むおよび／または産業用ロボットである、請求項１３に記載の装置。
【請求項15】
画像をユーザに表示する方法であって、前記方法は、前記ユーザの視線方向および／または視線位置を追跡することと、
光学的に透明なディスプレイスクリーンを通して前記ユーザによって見えるターゲットのロケーションを決定することと、
前記ユーザの前記追跡された視線方向および／または前記追跡された視線位置と、前記ターゲットの前記決定されたロケーションとを使用して、前記見えるターゲットに対応するスクリーン座標において前記ディスプレイスクリーン上に画像を表示することとを含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実に関する。
【背景技術】
【0002】
一般に、拡張現実（ＡＲ）は、実世界環境のインタラクティブ体験に関し、実世界環境内のオブジェクトは、コンピュータによって生成された知覚情報、典型的には視覚情報によってリアルタイムで拡張される。ＡＲは、複合現実またはコンピュータ媒介現実としても知られている。したがって、ＡＲは、コンピュータ生成知覚情報を実世界環境と組み合わせる。
【0003】
概して、従来のＡＲデバイスは、プロセッサおよびメモリと、ディスプレイと、ディスプレイの向きを決定するためのセンサと、任意選択的に、カメラとを含む。例えば、スマートフォンおよびタブレットコンピュータは、ユーザによって保持（すなわち、接触）され、ＡＲデバイスとして使用されてもよく、カメラによって取得され、ディスプレイ上に表示されるライブビデオ画像は、コンピュータ生成グラフィックスとオーバーレイされる。ユーザによって装着される（すなわち、接触する）ヘッドマウントディスプレイ（ＨＭＤ）も同様である。ＡＲ眼鏡もまた、ユーザによって装着され、同様に、眼鏡ディスプレイ上に、または眼鏡レンズの表面を通した投影もしくはそこからの反射によって、コンピュータ生成グラフィックスを表示してもよい。
【0004】
これらの従来のＡＲデバイスは、個別である（すなわち、単一ユーザ用である）。したがって、各ユーザが同時にＡＲを体験するために、パーソナルＡＲデバイスが必要とされる。
代替として、共有ＡＲデバイスは、各ユーザがＡＲを連続的に体験するために必要とされる。
代替として、共有ＡＲデバイスは、各ユーザがＡＲを連続的に体験するために必要とされる。
【0005】
したがって、ＡＲデバイスを改善する必要がある。
【発明の概要】
【0006】
本発明の１つの目的は、とりわけ、本明細書で特定されようと他で特定されようと、先行技術の欠点のうちの少なくともいくつかを少なくとも部分的に排除または軽減する、装置および方法を提供することである。例えば、本発明の実施形態の目的は、個々のハンドヘルドまたはウェアラブルＡＲデバイスを必要とせずに、ユーザに共同でおよび／または非接触でＡＲ体験を提供し、オーバーレイとして透明な「ウィンドウ」を利用することによって、特定の追跡されるユーザのためのコンピュータ画像を大規模にオーバーレイする、装置および方法を提供することである。これは、頭部装着型ＡＲデバイスが動作するのと同じ原理で動作するが、機能するために、いかなる機器の装着もユーザとの物理的接触も必要としない。例えば、本発明の実施形態の目的は、産業用ロボットセルの状態を、それを取り囲む透明な安全スクリーン上への個々の肢の動作状態の投影を通じて示し、この方法を達成するために観察者の眼のロケーションおよびそれぞれのロボットのロケーションを追跡する方法を提供することである。
【0007】
第１の態様は、装置を提供し、装置は、
ユーザに画像を表示するための光学的に透明なディスプレイスクリーンを含むディスプレイデバイスと、
ユーザの視線方向および／または視線位置を追跡するように構成されたセンサと、
ディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定するように構成された検出器と、
ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示するようにディスプレイデバイスを制御するように構成されたコントローラとを備えている。
ユーザに画像を表示するための光学的に透明なディスプレイスクリーンを含むディスプレイデバイスと、
ユーザの視線方向および／または視線位置を追跡するように構成されたセンサと、
ディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定するように構成された検出器と、
ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示するようにディスプレイデバイスを制御するように構成されたコントローラとを備えている。
【0008】
第２の態様は、ユーザに画像を表示する方法を提供し、方法は、
ユーザの視線方向および／または視線位置を追跡することと、
光学的に透明なディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定することと、
ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示することとを含む。
ユーザの視線方向および／または視線位置を追跡することと、
光学的に透明なディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定することと、
ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示することとを含む。
【発明を実施するための形態】
【0009】
本発明によると、添付の特許請求の範囲に記載されるような装置が提供される。方法も提供される。本発明の他の特徴は、従属請求項および以下の説明から明らかになるであろう。
【0010】
装置
第１の態様は、装置を提供し、装置は、
ユーザに画像を表示するための光学的に透明なディスプレイスクリーンを含むディスプレイデバイスと、
ユーザの視線方向および／または視線位置を追跡するように構成されたセンサと、
ディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定するように構成された検出器と、
ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示するようにディスプレイデバイスを制御するように構成されたコントローラとを備えている。
第１の態様は、装置を提供し、装置は、
ユーザに画像を表示するための光学的に透明なディスプレイスクリーンを含むディスプレイデバイスと、
ユーザの視線方向および／または視線位置を追跡するように構成されたセンサと、
ディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定するように構成された検出器と、
ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示するようにディスプレイデバイスを制御するように構成されたコントローラとを備えている。
【0011】
このようにして、ユーザは、光学的に透明なディスプレイスクリーン上に表示された画像とターゲットの両方を光学的に透明なディスプレイスクリーンを通して見ることができ、それによって、ユーザにＡＲ体験を提供する。ディスプレイスクリーンは光学的に透明であるので、ユーザは、例えばカメラを使用してターゲットを撮像する必要なく、それを通してターゲットを直接見ることができ、それによって、ターゲットの視線および／またはユーザの視野を改善する。ユーザの視線方向および／または視線位置が追跡され、ユーザの追跡された視線方向および／または追跡された視線位置に基づいて、画像がスクリーン座標に表示されるので、画像のスクリーン座標は、例えば、ユーザの追跡された視線方向および／または追跡された視線位置が変化するようにユーザが移動すると、それに応じて更新または追跡される。すなわち、画像は、ユーザとディスプレイデバイスとの間の相対移動を考慮したスクリーン座標に表示される。したがって、ユーザの視線方向および／または視線位置が追跡されるので、ユーザは、ＡＲを体験するようにディスプレイデバイスを配向する必要がない。同様に、画像は、ターゲットの決定されたロケーションに基づいてスクリーン座標に表示され、これもまた変化してもよい。すなわち、スクリーン座標に表示された画像は、ディスプレイデバイスとターゲットとの間の相対移動も考慮する。したがって、画像は、ユーザの視野に効果的に重ね合わされて表示される。例えば、ディスプレイデバイスは、製造施設、実験室、または病院に設置され、光学的に透明なディスプレイスクリーンを通してターゲットを見るユーザに画像を表示するように制御される、静的ディスプレイデバイスであってもよい。特に、ディスプレイデバイスは、ウェアラブルでもハンドヘルドでもなく、ユーザによる装着、保持、または接触を必要としない。したがって、パーソナルＡＲデバイスは、各ユーザがＡＲを同時に体験することを要求されず、共有デバイスの共有は、各ユーザがＡＲを連続して体験することが要求されない。すなわち、ＡＲデバイスの数が低減され、ＡＲデバイスの着用または保持が排除される一方で、単一のＡＲデバイスの共有、接触の必要性、および潜在的な交差汚染が回避される。
【0012】
スマートフォンおよびタブレットは、ターゲットがそれを通してユーザによって見ることができないので、以下で説明するように、光学的に透明なディスプレイスクリーンを有さないことを理解されたい。代わりに、カメラによって取得され、スマートフォンおよびタブレットのディスプレイ上に表示されるライブビデオ画像は、コンピュータ生成グラフィックスでオーバーレイされる。一例では、ディスプレイデバイスはスマートフォンまたはタブレットではない。
【0013】
ＨＭＤおよびＡＲ眼鏡は、光学的に透明なディスプレイスクリーンを有してもよいことを理解されたい。しかしながら、そのようなウェアラブルＡＲデバイスは、典型的には、以下で説明されるように、ユーザではなく、ＡＲデバイスの視線方向および／または視線位置を決定する。
【0014】
装置は、ディスプレイデバイスと、センサと、検出器と、コントローラとを備える。コントローラは、必要に応じて一方向または双方向に、ワイヤードおよび／またはワイヤレスで、ディスプレイデバイス、センサ、および検出器に通信可能に結合されることを理解されたい。一例では、ディスプレイデバイス、センサ、検出器、および／またはコントローラは、物理的に別個であり、例えば、別個のハウジング内にあり、離間されてもよい。一例では、ディスプレイデバイス、センサ、検出器、および／またはコントローラは、例えば同じハウジング内に一体化される。
【0015】
ディスプレイデバイス
装置は、ユーザに画像を表示するための光学的に透明なディスプレイスクリーンを含むディスプレイデバイスを備える。
装置は、ユーザに画像を表示するための光学的に透明なディスプレイスクリーンを含むディスプレイデバイスを備える。
【0016】
一例では、ディスプレイスクリーンは、シースルーディスプレイを備える、および／またはシースルーディスプレイである。シースルーディスプレイは、当技術分野の用語であり、ユーザが、光学的に透明なディスプレイスクリーン上に示されているものを見ることを可能にする一方で、それを通して依然として見ることができる電子ディスプレイである。シースルーディスプレイは既知であり、ＬＣＤおよびＬＥＤ（透明有機発光デバイス（ＴＯＬＥＤ）などの無機および有機ＬＥＤの両方を含む）ディスプレイスクリーンを含む。パッシブ透過型ディスプレイも知られている。他のシースルーディスプレイが知られている。このようなシースルーディスプレイは、約７０％の透過率を有することができる。
【0017】
一例では、ディスプレイスクリーンは、投影スクリーン（例えば、前面投影スクリーンおよび／または背面投影スクリーン）を備え、および／または投影スクリーンであり、ディスプレイデバイスは、画像をディスプレイスクリーン上に投影するように構成されたプロジェクタを含む。
【0018】
一例では、投影スクリーンは、背面もしくは前面投影フィルムもしくはコーティングを有する半透明投影スクリーン、または光拡散スクリーンを備えている、および／またはそれである。このような投影スクリーンは、典型的には、ホログラフィックまたは「ペッパーゴースト」投影に使用される。このような投影スクリーンは、８０％以上の透過率を有することができる。適切なプロジェクタが知られている。
【0019】
一例では、投影スクリーンは、ビームスプリッタを備える、および／またはビームスプリッタである。このようにして、ヘッドアップディスプレイ（ＨＵＤ）を提供することができる。典型的なＨＵＤは、３つの主要なコンポーネント、すなわち、プロジェクタユニット、コンバイナ、およびビデオ生成コンピュータを含む。典型的なＨＵＤにおける投影ユニットは、光学コリメータセットアップ、すなわち、その焦点に陰極線管、発光ダイオードディスプレイ、または液晶ディスプレイを有する凸レンズまたは凹面鏡であり、それによって、光がコリメートされる、すなわち焦点が無限遠にあると知覚される画像を表示する。コンバイナは、典型的には、ユーザの真正面に位置付けられた角度付きの平坦なガラス片（ビームスプリッタ）であり、ユーザが視野と投影された無限遠画像とを同時に見ることができるように、プロジェクタからの投影画像の向きを変える。コンバイナは、プロジェクタユニットからコンバイナ上に投影された単色光を反射し、他のすべての波長の光を通過させるコーティングを有することができる。いくつかの光学レイアウトでは、コンバイナはまた、プロジェクタからの画像を再集束するために曲面を有してもよい。
【0020】
一例では、ディスプレイスクリーンは、０.５ｍから２５ｍの範囲、好ましくは１ｍから１０ｍの範囲、より好ましくは２ｍから５ｍの範囲の寸法、例えば対角寸法を有する。すなわち、ディスプレイスクリーンは、ハンドヘルドまたはウェアラブルＡＲデバイスのディスプレイスクリーンと比較して、比較的大きい。
【0021】
一例では、ディスプレイスクリーンは、ユーザとターゲットとの間に配置された安全スクリーンを提供するように適合される。このようにして、ディスプレイスクリーンは、それによって形成される障壁を間に提供することによって、ユーザをターゲットから隔離し、ユーザがターゲットに接触すること、および／またはその逆を防止する。
【0022】
一例では、ディスプレイスクリーンは、ターゲットを少なくとも部分的に囲む。例えば、ディスプレイスクリーンは、ターゲットを取り囲むなど、１つ以上の側でターゲットを取り囲んでもよい。
【0023】
一例では、ディスプレイデバイスは、例えば、当業者によって理解されるように、眼鏡を必要とするステレオディスプレイデバイスまたは眼鏡を必要としないオートステレオスコピックディスプレイである、（３Ｄディスプレイデバイスとしても知られている）ステレオディスプレイデバイスを備える、および／またはステレオディスプレイデバイスである。
このようにして、画像は、予め定められた深度および／または見えるターゲットに対応する深度、例えば同様の深度で表示されてもよい。このようにして、ユーザがターゲットおよび画像に例えば同時に焦点を合わせることができるので、ユーザによって表示を見ることが容易になる。
このようにして、画像は、予め定められた深度および／または見えるターゲットに対応する深度、例えば同様の深度で表示されてもよい。このようにして、ユーザがターゲットおよび画像に例えば同時に焦点を合わせることができるので、ユーザによって表示を見ることが容易になる。
【0024】
センサ
装置は、ユーザの視線方向および／または視線位置を追跡するように構成されたセンサを備える。センサは、ユーザの視線方向および／または視線位置、例えば、ユーザの注視または視線を追跡するように構成されることを理解されたい。対照的に、ハンドヘルドおよびウェアラブルＡＲデバイスは、これらのＡＲデバイスの視線方向および／または視線位置を追跡するように構成される。すなわち、ハンドヘルドＡＲデバイスのユーザは、ハンドヘルドＡＲデバイスを特定の方向に向けているが、異なる方向を見ている場合がある。同様に、ウェアラブルＡＲデバイスのユーザは、ウェアラブルＡＲデバイスを特定の方向に向けているが、異なる方向を注視している場合がある。したがって、第１の態様による装置は、ユーザの現在の視線方向および／または現在の視線位置に応答する。このようにして、ディスプレイスクリーン上に表示される画像は、ユーザがどこを見ているかに応じて、例えばスクリーン座標に応答し、および／またはそれに従って生成される。一例では、センサは、ユーザの注視、直視、中心視、傍中心視、黄斑視、および／または視線を追跡するように構成される。一例では、センサは、ユーザの間接視（周辺視としても知られる）、周辺視、中周辺視、および／または遠周辺視を追跡するように構成される。
装置は、ユーザの視線方向および／または視線位置を追跡するように構成されたセンサを備える。センサは、ユーザの視線方向および／または視線位置、例えば、ユーザの注視または視線を追跡するように構成されることを理解されたい。対照的に、ハンドヘルドおよびウェアラブルＡＲデバイスは、これらのＡＲデバイスの視線方向および／または視線位置を追跡するように構成される。すなわち、ハンドヘルドＡＲデバイスのユーザは、ハンドヘルドＡＲデバイスを特定の方向に向けているが、異なる方向を見ている場合がある。同様に、ウェアラブルＡＲデバイスのユーザは、ウェアラブルＡＲデバイスを特定の方向に向けているが、異なる方向を注視している場合がある。したがって、第１の態様による装置は、ユーザの現在の視線方向および／または現在の視線位置に応答する。このようにして、ディスプレイスクリーン上に表示される画像は、ユーザがどこを見ているかに応じて、例えばスクリーン座標に応答し、および／またはそれに従って生成される。一例では、センサは、ユーザの注視、直視、中心視、傍中心視、黄斑視、および／または視線を追跡するように構成される。一例では、センサは、ユーザの間接視（周辺視としても知られる）、周辺視、中周辺視、および／または遠周辺視を追跡するように構成される。
【0025】
センサは、例えば、現在、断続的にまたは連続的に、ユーザの視線方向および／または視線位置を追跡するように構成されることを理解されたい。このようにして、画像のスクリーン座標および／または画像は、ユーザが見ている場所および／またはユーザの動きに追従するように、追跡された視線方向および／または追跡された視線位置に従って更新されてもよい。一例では、センサは、ユーザの眼および／もしくは瞳孔の位置、ならびに／またはユーザの眼および／もしくは瞳孔のそれぞれの位置を感知することによって、ユーザの視線方向および／または視線位置を追跡するように構成され、例えば、顔キャプチャ、注視方向検出、および／またはユーザの画像、例えば、カメラまたはビデオ画像に適用される眼ロケーションソフトウェアを使用する。そのようなソフトウェアは、知られている。比較的単純なカメラを必要とし、リアルタイム処理に適合する比較的低いコンピュータリソース要件を有する一方で、ユーザの動きの比較的大きな自由度を可能にする眼のロケーションが好ましい。対照的に、顔キャプチャおよび／または注視方向検出は、比較的複雑なカメラ、適切な照明、および比較的高いコンピュータリソース要件を必要とする場合がある。
【0026】
センサは、以下で説明するように、画像のスクリーン座標を計算するのに十分な解像度、正確さ、および／または精度でユーザの視線方向および／または視線位置を追跡するように構成されることを理解されたい。
【0027】
一例では、センサは、カメラ、加速度計、ジャイロスコープ、ソリッドステートコンパス、無線周波数識別（ＲＦＩＤ）検出器、および／または位置センサ、例えば、グローバルポジショニングシステム（ＧＰＳ）を備える、および／またはそれらである。好ましくは、センサは、カメラおよび適切なソフトウェアを備える、および／またはカメラおよび適切なソフトウェアである。適切なセンサには、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ａｚｕｒｅ（登録商標）Ｋｉｎｅｃｔ（登録商標）、ｈｔｔｐｓ:／／ｖｉｃｏｖｒ.ｃｏｍ／から入手可能なＶｉｃｏＶＲ（登録商標）、ｈｔｔｐｓ：／／ｏｒｂｂｅｃ３ｄ．ｃｏｍ／から入手可能なＯｒｂｂｅｃ Ａｓｔｒａ（登録商標）、ｈｔｔｐｓ：／／ｗｗｗ．ｓｔｅｒｅｏｌａｂｓ．ｃｏｍ／から入手可能なＳｔｅｒｅｏｌａｂｓ ＺＥＤ（登録商標）、およびｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ＣＭＵ－Ｐｅｒｃｅｐｔｕａｌ－Ｃｏｍｐｕｔｉｎｇ－Ｌａｂ／ｏｐｅｎｐｏｓｅから入手可能なＯｐｅｎＰｏｓｅ（登録商標）が含まれる。他のセンサも知られている。
【0028】
一例では、センサは、複数のユーザのそれぞれの視線方向および／またはそれぞれの視線位置を追跡するように構成される。
【0029】
検出器
装置は、ディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定するように構成された検出器を備える。
装置は、ディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定するように構成された検出器を備える。
【0030】
ディスプレイスクリーンは光学的に透明であるので、ターゲットはディスプレイスクリーンを通してユーザによって見えることを理解されたい。すなわち、ターゲットは、ディスプレイスクリーンに表示される画像ではなく、むしろユーザに対してディスプレイスクリーンの反対側にあるオブジェクトである。ターゲットのロケーションは、任意選択で高度を含む地理的ロケーション、または座標系に対するロケーションなど、ディスプレイスクリーンおよび／またはユーザに対して絶対的または相対的であってもよい２次元または３次元ロケーションを含み、および／または２次元または３次元ロケーションであることを理解されたい。検出器は、以下で説明するように、画像のスクリーン座標を計算するのに十分な解像度、正確さ、および／または精度でターゲットのロケーションを決定するように構成されることを理解されたい。
【0031】
検出器は、センサに関して説明したものであってもよい。
【0032】
一例では、検出器は、必要な変更を加えて、センサによるユーザの視線方向および／または視線位置の追跡に関して説明したように、ターゲット（および／またはそのより多くの部分）のロケーションを追跡するように構成される。したがって、第１の態様による装置は、ターゲットの追跡されたロケーションに応答することができる。このようにして、ディスプレイスクリーン上に表示された画像は、例えばスクリーン座標において応答してもよく、および／またはターゲットの現在ロケーションに従って生成されてもよい。
【0033】
一例では、検出器は、カメラ、加速度計、ジャイロスコープ、ソリッドステートコンパス、無線周波数識別（ＲＦＩＤ）検出器、超広帯域（ＵＷＢ）センサ、および／または位置センサ、例えば、グローバルポジショニングシステム（ＧＰＳ）を備える、および／またはそれらである。
【0034】
一例では、検出器は、例えば、一方向または双方向に、ワイヤードまたはワイヤレスでターゲットに通信可能に結合可能であり、検出器は、ターゲットから受信した位置データに基づいてターゲット（および／またはターゲットの１つ以上の部分）のロケーションを決定するように構成される。すなわち、検出器は、そこから受信された位置データを使用してターゲット（および／またはその１つ以上の部分）のロケーションを読み取り、推論し、および／または計算するように構成されたソフトウェアセンサ（ソフトセンサ全仮想センサとしても知られる）を備えてもよい。例えば、ターゲットが産業用ロボットまたはその一部である場合、産業用ロボットは、軸のロケーションを含むデジタル読み出し（ＤＲＯ）データを出力することができる。
【0035】
一例では、検出器は、ディスプレイスクリーンを通してユーザによって見える複数のターゲット（および／またはその１つ以上の部分）のそれぞれのロケーションを決定するように構成される。好ましくは、前記ロケーションは、前記ターゲット（または複数のターゲット）のそれぞれのコントローラから検出器に通信される。言い換えれば、ターゲット（および／またはその１つ以上の部分）のロケーションに関するターゲットのコントローラからのリアルタイムの直接データフィードは、検出器に通信される。このようにして、本発明は、有利なことに、ディスプレイデバイスの背後のターゲット（および／またはその１つ以上の部分）の複雑な位置決めおよび移動を連続的に監視する。好ましくは、リアルタイムでターゲットのコントローラから直接ストリーミングデータを利用して、そのような位置を確認し、継続的に監視する。この機能性は、複数の部品および／または複数のターゲットを有する複雑なターゲットに関して特に有利である。
【0036】
ターゲット
一例では、ターゲットは、産業機械、農業用機械、もしくは医療機器、および／もしくはそれらの１つ以上の部分を含み、ならびに／またはそれらである。産業機械の例としては、エンジニアリングおよび建設のための製造、取扱いおよび組立ライン、ならびに化学プロセスプラントが含まれる。農業用機械の例としては、農業設備および加工が含まれる。医療機器の例には、診断用、外科用および治療用機器が含まれる。一例では、ターゲットは、産業用ロボットおよび／またはその１つ以上の部品、たとえばその軸（または複数の軸）である。一例では、ターゲットは、例えば、バス停、鉄道の駅、または空港などにおける道路交通または航空交通管理のための上陸用舟艇、船舶、および／もしく航空機を含む、ならびに／またはそれらである。例えば、乗客（すなわち、ユーザ）は、バス停でディスプレイデバイスを通してバス（すなわち、ターゲット）を見ることができ、これは、それらの間に障壁を提供し、ディスプレイデバイスは、関係するバス時刻表（すなわち、画像）をその上に表示することができる。一例では、ターゲットは、例えば、セキュリティ監視、スポーツまたはホスピタリティのための、人間を含む動物を含む、および／または動物である。例えば、サーバ（すなわち、ユーザ）は、レストランでディスプレイデバイスを通してテーブルおよび食事者（すなわち、ターゲット）を見ることができ、レストランは、それらの間にバリアを提供し、ディスプレイデバイスは、関係する注文（すなわち、画像）をディスプレイデバイス上に表示することができる。これにより、ユーザは、ディスプレイスクリーンを通して表示画像とともにターゲットＴ（Ｔ１からＴ５）を見ることができる。
一例では、ターゲットは、産業機械、農業用機械、もしくは医療機器、および／もしくはそれらの１つ以上の部分を含み、ならびに／またはそれらである。産業機械の例としては、エンジニアリングおよび建設のための製造、取扱いおよび組立ライン、ならびに化学プロセスプラントが含まれる。農業用機械の例としては、農業設備および加工が含まれる。医療機器の例には、診断用、外科用および治療用機器が含まれる。一例では、ターゲットは、産業用ロボットおよび／またはその１つ以上の部品、たとえばその軸（または複数の軸）である。一例では、ターゲットは、例えば、バス停、鉄道の駅、または空港などにおける道路交通または航空交通管理のための上陸用舟艇、船舶、および／もしく航空機を含む、ならびに／またはそれらである。例えば、乗客（すなわち、ユーザ）は、バス停でディスプレイデバイスを通してバス（すなわち、ターゲット）を見ることができ、これは、それらの間に障壁を提供し、ディスプレイデバイスは、関係するバス時刻表（すなわち、画像）をその上に表示することができる。一例では、ターゲットは、例えば、セキュリティ監視、スポーツまたはホスピタリティのための、人間を含む動物を含む、および／または動物である。例えば、サーバ（すなわち、ユーザ）は、レストランでディスプレイデバイスを通してテーブルおよび食事者（すなわち、ターゲット）を見ることができ、レストランは、それらの間にバリアを提供し、ディスプレイデバイスは、関係する注文（すなわち、画像）をディスプレイデバイス上に表示することができる。これにより、ユーザは、ディスプレイスクリーンを通して表示画像とともにターゲットＴ（Ｔ１からＴ５）を見ることができる。
【0037】
一例では、ターゲットは、産業用ロボットもしくはその一部を含む、および／または産業用ロボットもしくはその一部である。好ましい例では、ターゲットはロボットである。
【0038】
一例では、装置はターゲットを含む。
【0039】
好ましくは、ターゲットはその１つ以上の部分を含み、より好ましくは、ターゲットはその複数の部分を含む。好ましくは、ターゲットは多軸ロボットである。
【0040】
コントローラ
装置は、ユーザの追跡された視線方向および／または追跡された視線位置ならびにターゲットの決定されたロケーションを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示するようにディスプレイデバイスを制御するように構成される、コントローラを備える。コントローラは、ユーザの追跡された視線方向および／または追跡された視線位置と、例えば幾何学的構成による決定されたターゲットのロケーションとを使用して、スクリーン座標を計算するように構成されることを理解されたい。このような幾何学的構造は公知である。スクリーン座標を計算する他の方法は公知である。一例では、コントローラは、ディスプレイデバイスを制御して、スクリーン座標を繰り返し、例えば、断続的に、周期的に、または連続的に計算するように構成される。このようにして、画像のスクリーン座標は、画像がターゲットおよびユーザに対して実質的に一定の配置でディスプレイスクリーン上に表示されるように、ディスプレイスクリーンに対するユーザおよび／またはターゲットの相対移動に従って更新されてもよい。すなわち、ユーザおよび／またはターゲットが移動するにつれて、画像は、この移動を説明する更新されたスクリーン座標に表示される。見えるターゲットに対応するスクリーン座標に表示される画像は、例えば、見えるターゲットに重なるか、見えるターゲットに隣接するか、または予め定められたスクリーン座標に表示され、例えば、追跡された視線方向および／または追跡された視線位置を有するユーザによって見られることを理解されたい。
装置は、ユーザの追跡された視線方向および／または追跡された視線位置ならびにターゲットの決定されたロケーションを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示するようにディスプレイデバイスを制御するように構成される、コントローラを備える。コントローラは、ユーザの追跡された視線方向および／または追跡された視線位置と、例えば幾何学的構成による決定されたターゲットのロケーションとを使用して、スクリーン座標を計算するように構成されることを理解されたい。このような幾何学的構造は公知である。スクリーン座標を計算する他の方法は公知である。一例では、コントローラは、ディスプレイデバイスを制御して、スクリーン座標を繰り返し、例えば、断続的に、周期的に、または連続的に計算するように構成される。このようにして、画像のスクリーン座標は、画像がターゲットおよびユーザに対して実質的に一定の配置でディスプレイスクリーン上に表示されるように、ディスプレイスクリーンに対するユーザおよび／またはターゲットの相対移動に従って更新されてもよい。すなわち、ユーザおよび／またはターゲットが移動するにつれて、画像は、この移動を説明する更新されたスクリーン座標に表示される。見えるターゲットに対応するスクリーン座標に表示される画像は、例えば、見えるターゲットに重なるか、見えるターゲットに隣接するか、または予め定められたスクリーン座標に表示され、例えば、追跡された視線方向および／または追跡された視線位置を有するユーザによって見られることを理解されたい。
【0041】
一例では、コントローラは、ユーザの追跡された視線方向および／または追跡された視線位置、ならびに複数のターゲット（および／またはその１つ以上の部分）のそれぞれの決定されたロケーションを使用して、複数の見えるターゲットおよび／またはその１つ以上の部分に対応するそれぞれのスクリーン座標においてディスプレイスクリーン上に複数の画像を表示するようにディスプレイデバイスを制御するように構成される。
【0042】
一例では、コントローラは、プロセッサおよびメモリ、例えばコンピュータを備える。
【0043】
画像
一般に、画像はターゲットに関係付けられ、例えばターゲットについてのコンピュータ生成視覚情報であることを理解されたい。一例では、画像は、テキストおよび／もしくはアイコン、形状、絵、モデルなどのグラフィックを含む、ならびに／または、テキストおよび／もしくはグラフィックである。一例では、画像は静的グラフィックである。一例では、画像は動的グラフィックである。
一般に、画像はターゲットに関係付けられ、例えばターゲットについてのコンピュータ生成視覚情報であることを理解されたい。一例では、画像は、テキストおよび／もしくはアイコン、形状、絵、モデルなどのグラフィックを含む、ならびに／または、テキストおよび／もしくはグラフィックである。一例では、画像は静的グラフィックである。一例では、画像は動的グラフィックである。
【0044】
識別子
一例では、装置は、ユーザのアイデンティティを確立するように構成された識別子を備え、コントローラは、確立されたアイデンティティに基づいて画像を表示するようにディスプレイデバイスを制御するように構成される。このようにして、画像の表示は、確立されたアイデンティティに従って条件付き（すなわち、表示されるかまたは表示されない）であってもよく、および／またはターゲットについてのコンピュータ生成視覚情報は、ユーザまたはそのユーザグループに固有であってもよい。したがって、識別子は、ユーザを識別するように構成された感知要素であることを理解されたい。例えば、識別子は、カメラによって取得されたユーザの画像から顔認識を使用してユーザの識別を確立することができる。例えば、識別子は、ユーザのＲＦＩＤタグを読み取ることによってユーザの識別を確立することができる。一般に、識別子は、必要な変更を加えて、センサに関して記載された通りであってもよい。
一例では、装置は、ユーザのアイデンティティを確立するように構成された識別子を備え、コントローラは、確立されたアイデンティティに基づいて画像を表示するようにディスプレイデバイスを制御するように構成される。このようにして、画像の表示は、確立されたアイデンティティに従って条件付き（すなわち、表示されるかまたは表示されない）であってもよく、および／またはターゲットについてのコンピュータ生成視覚情報は、ユーザまたはそのユーザグループに固有であってもよい。したがって、識別子は、ユーザを識別するように構成された感知要素であることを理解されたい。例えば、識別子は、カメラによって取得されたユーザの画像から顔認識を使用してユーザの識別を確立することができる。例えば、識別子は、ユーザのＲＦＩＤタグを読み取ることによってユーザの識別を確立することができる。一般に、識別子は、必要な変更を加えて、センサに関して記載された通りであってもよい。
【0045】
ユーザ入力デバイス
一例では、装置は、ユーザからの入力を受信するように構成されたユーザ入力デバイスを備える。このようにして、ユーザは装置と対話することができる。
一例では、装置は、ユーザからの入力を受信するように構成されたユーザ入力デバイスを備える。このようにして、ユーザは装置と対話することができる。
【0046】
一例では、ユーザ入力デバイスはジェスチャセンサを備え、および／または、ディスプレイスクリーンはタッチスクリーンを備える。このようにして、ユーザは、ジェスチャ（すなわち、非接触）を使用して、および／またはタッチ（すなわち、接触またはほぼ接触）を介して、装置と対話することができる。
【0047】
一例では、コントローラはターゲットに通信可能に結合可能であり、コントローラは、ユーザから受信した入力に従ってターゲットを制御するように構成される。このようにして、ユーザは、装置を介して、例えばジェスチャおよび／またはタッチによってターゲットを遠隔に制御することができる。例えば、ユーザは、ディスプレイスクリーンを通してターゲットをその上に表示された画像とともに見て、ターゲットを制御しながら、ディスプレイスクリーンを通してターゲットをその上に表示された画像とともに見てもよい。
【0048】
方法
第２の態様は、ユーザに画像を表示する方法を提供し、方法は、
ユーザの視線方向および／または視線位置を追跡することと、
光学的に透明なディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定することと、
ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示することとを含んでいる。
第２の態様は、ユーザに画像を表示する方法を提供し、方法は、
ユーザの視線方向および／または視線位置を追跡することと、
光学的に透明なディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定することと、
ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示することとを含んでいる。
【0049】
追跡、視線方向、視線位置、ユーザ、決定、ロケーション、ターゲット、光学的に透明なディスプレイスクリーン、画像および／またはスクリーン座標は、第１の態様に関して説明した通りであってもよい。
【0050】
定義
本明細書を通して、「備える（comprising）」または「備える（comprises）」という用語は、指定されたコンポーネントを含むが、他のコンポーネントの存在を除外しないことを意味する。「から本質的に成る（consisting essentially of）」または「から本質的に成る（consists essentially of）」という用語は、指定されたコンポーネントを含むが、不純物として存在する材料、コンポーネントを提供するために使用されるプロセスの結果として存在する不可避の材料、および着色剤などの本発明の技術的効果を達成すること以外の目的のために添加されるコンポーネント、等を除いて、他のコンポーネントを除外することを意味する。
本明細書を通して、「備える（comprising）」または「備える（comprises）」という用語は、指定されたコンポーネントを含むが、他のコンポーネントの存在を除外しないことを意味する。「から本質的に成る（consisting essentially of）」または「から本質的に成る（consists essentially of）」という用語は、指定されたコンポーネントを含むが、不純物として存在する材料、コンポーネントを提供するために使用されるプロセスの結果として存在する不可避の材料、および着色剤などの本発明の技術的効果を達成すること以外の目的のために添加されるコンポーネント、等を除いて、他のコンポーネントを除外することを意味する。
【0051】
「から成る（consisting of）」または「から成る（consists of）」という用語は、指定されたコンポーネントを含むが、他のコンポーネントを除外することを意味する。
【0052】
適切な場合はいつでも、文脈に応じて、用語「備える（comprises）」または「備えている（comprising）」の使用は、「から本質的になる（consists essentially of）」または「から本質的になっている（consisting essentially of）」という意味を含むと解釈されてもよく、「からなる（consists of）」または「からなっている（consisting of）」という意味を含むと解釈されてもよい。
【0053】
本明細書に記載された任意選択の特徴は、適切な場合、個々に、または互いに組み合わせて、特に添付の特許請求の範囲に記載されたような組み合わせで、のうちのいずれかで使用されてもよい。本明細書に記載されたような本発明の各態様または例示的な実施形態についての任意選択の特徴は、適切な場合、本発明の全ての他の態様または例示的な実施形態にも適用可能である。言い換えれば、本明細書を読む当業者は、本発明の各態様または例示的な実施形態についての任意選択の特徴を、異なる態様と例示的な実施形態との間で交換可能および組み合わせ可能なものと見なすべきである。
【図面の簡単な説明】
【0054】
本発明をより良く理解するために、および、本発明の例示的な実施形態がどのように実行に移されるかを示すために、例として、添付の図への参照がなされる。
【0055】
図１は、例示的な実施形態による装置１０を概略的に描いている。
【0056】
装置１０は、
ユーザＵに画像を表示するための光学的に透明なディスプレイスクリーン１１１を含むディスプレイデバイス１１０と、
ユーザＵの視線方向ＶＤおよび／または視線位置ＶＰを追跡するように構成されたセンサ１２０と、
ディスプレイスクリーン１１１を通してユーザＵによって見ることができるターゲットＴのロケーションＬを決定するように構成された検出器１３０と、
ユーザＵの追跡された視線方向ＶＤおよび／または追跡された視線位置ＶＰと、ターゲットＴの決定されたロケーションＬとを使用して、見えるターゲットＴに対応するスクリーン座標においてディスプレイスクリーン１１１上に画像１５０を表示するようにディスプレイデバイス１１０を制御するように構成されたコントローラ１４０とを備えている。
ユーザＵに画像を表示するための光学的に透明なディスプレイスクリーン１１１を含むディスプレイデバイス１１０と、
ユーザＵの視線方向ＶＤおよび／または視線位置ＶＰを追跡するように構成されたセンサ１２０と、
ディスプレイスクリーン１１１を通してユーザＵによって見ることができるターゲットＴのロケーションＬを決定するように構成された検出器１３０と、
ユーザＵの追跡された視線方向ＶＤおよび／または追跡された視線位置ＶＰと、ターゲットＴの決定されたロケーションＬとを使用して、見えるターゲットＴに対応するスクリーン座標においてディスプレイスクリーン１１１上に画像１５０を表示するようにディスプレイデバイス１１０を制御するように構成されたコントローラ１４０とを備えている。
【0057】
図２は、例示的な実施形態による方法を概略的に描いている。
【0058】
この方法は、ユーザに画像を表示するものである。
【0059】
Ｓ２０１において、方法は、ユーザの視線方向および／または視線位置を追跡することを含む。
【0060】
Ｓ２０２において、方法は、光学的に透明なディスプレイスクリーンを通してユーザによって見えるターゲットのロケーションを決定することを含む。
【0061】
Ｓ２０３において、方法は、ユーザの追跡された視線方向および／または追跡された視線位置と、ターゲットの決定されたロケーションとを使用して、見えるターゲットに対応するスクリーン座標においてディスプレイスクリーン上に画像を表示することを含む。
【0062】
【0063】
装置２０は、
ユーザＵに画像を表示するための光学的に透明なディスプレイスクリーン２１１を含むディスプレイデバイス２１０と、
前記ユーザＵの視線方向ＶＤおよび／または視線位置ＶＰを追跡するように構成されたセンサ２２０と、
ディスプレイスクリーン２１１を通してユーザＵによって見ることができるターゲットＴ（Ｔ１からＴ５）のロケーションＬ（Ｌ１からＬ５）を決定するように構成された検出器２３０（図示せず）と、
ユーザＵの追跡された視線方向ＶＤおよび／または追跡された視線位置ＶＰと、ターゲットＴ（Ｔ１からＴ５）の決定されたロケーションＬ（Ｌ１からＬ５）とを使用して、見えるターゲットＴ（Ｔ１からＴ５）に対応するスクリーン座標においてディスプレイスクリーン２１１上に画像２５０（２５０Ａから２５０Ｈ）を表示するようにディスプレイデバイス２１０を制御するように構成されたコントローラ２４０（図示せず）とを備えている。
ユーザＵに画像を表示するための光学的に透明なディスプレイスクリーン２１１を含むディスプレイデバイス２１０と、
前記ユーザＵの視線方向ＶＤおよび／または視線位置ＶＰを追跡するように構成されたセンサ２２０と、
ディスプレイスクリーン２１１を通してユーザＵによって見ることができるターゲットＴ（Ｔ１からＴ５）のロケーションＬ（Ｌ１からＬ５）を決定するように構成された検出器２３０（図示せず）と、
ユーザＵの追跡された視線方向ＶＤおよび／または追跡された視線位置ＶＰと、ターゲットＴ（Ｔ１からＴ５）の決定されたロケーションＬ（Ｌ１からＬ５）とを使用して、見えるターゲットＴ（Ｔ１からＴ５）に対応するスクリーン座標においてディスプレイスクリーン２１１上に画像２５０（２５０Ａから２５０Ｈ）を表示するようにディスプレイデバイス２１０を制御するように構成されたコントローラ２４０（図示せず）とを備えている。
【0064】
簡単に説明すると、図３Ａおよび図３Ｂは、前記オーバーレイのための透明な「ウィンドウ」を利用することによって、特定の追跡されるユーザのオーバーレイされたコンピュータ画像を大規模に示す。これは、頭部装着型ＡＲデバイスと同じＡＲ原理を動作させるが、機能するために、ユーザによるいかなる機器の装着または物理的接触も必要としない。この例では、画像は、この方法を達成するためにユーザの眼のロケーションおよびそれぞれのロボットのロケーションを追跡しながら、個々の肢（軸）の動作状態を、それを取り囲む透明な安全スクリーン上に投影することによって産業用ロボットセルの状態を示す。
【0065】
この例では、ディスプレイデバイス２１０、センサ２２０、検出器２４０、および／またはコントローラ２５０は、物理的に別個であり、例えば別個のハウジング内にあり、離間されている。
【0066】
この例では、ディスプレイスクリーン２１１は投影スクリーン２１１、特に背面投影スクリーン２１１であり、ディスプレイデバイス２１０は、画像２５０（２５０Ａから２５０Ｈ）をディスプレイスクリーン２１１上に投影するように構成されたプロジェクタ２１２を備える。この例では、投影スクリーン２１１は、背面投影フィルムを有する半透明投影スクリーン２１１を含む、および／または半透明投影スクリーン２１１である。この例では、ディスプレイスクリーン２１１は１.５ｍの対角寸法を有している。この例では、ディスプレイスクリーン２１１は、ユーザＵとターゲットＴ（Ｔ１からＴ５）との間に配置された安全スクリーン２１１を提供するように適合されている。
【0067】
この例では、ディスプレイスクリーン２１１は、ターゲットＴ（Ｔ１からＴ５）を少なくとも部分的に囲んでいる。
【0068】
この例では、センサ２２０は、ユーザＵの画像、例えば、カメラまたはビデオ画像に適用される眼のロケーションＬ（Ｌ１からＬ５）ソフトウェアを使用して、ユーザＵの眼および／もしくは瞳孔の位置ならびに／またはユーザＵの眼および／もしくは瞳孔のそれぞれの位置を感知することによって、ユーザＵの視線方向ＶＤおよび／または視線位置ＶＰを追跡するように構成される。この例では、センサ２２０は、カメラおよび適切なソフトウェアを備える。この例では、センサ２２０は、複数のユーザのそれぞれの視線方向ＶＤｓおよび／またはそれぞれの視線位置ＶＰｓを追跡するように構成される。
【0069】
この例では、検出器２４０は、ターゲットＴ（Ｔ１からＴ５）に双方向かつワイヤードで通信可能に結合され、検出器２４０は、ターゲットＴ（Ｔ１からＴ５）から受信した位置データに基づいてターゲットＴ（Ｔ１からＴ５）のロケーションＬ（Ｌ１からＬ５）を決定するように構成される。この例では、ターゲットＴ（Ｔ１からＴ５）は産業用ロボットまたはその一部であり、産業用ロボットは、軸のロケーションＬ（Ｌ１からＬ５）を含むデジタル読み出し（ＤＲＯ）データを出力することができる。この例では、検出器２４０は、ディスプレイスクリーン２１１を通してユーザＵが見ることができる複数のターゲットＴ１からＴ５のそれぞれのロケーションを決定するように構成される。この例では、ターゲットＴ（Ｔ１からＴ５）は、産業用ロボットまたはその一部を含む、および／または産業用ロボットまたはその一部である。
【0070】
この例では、コントローラ２５０は、ディスプレイデバイス２１０を制御して、スクリーン座標を繰り返し、例えば、断続的に、周期的に、または連続的に計算するように構成される。この例では、コントローラ２５０は、ユーザＵの追跡された視線方向ＶＤおよび／または追跡された視線位置ＶＰと、複数のターゲットＴ（Ｔ１からＴ５）のそれぞれの決定されたロケーションＬ（Ｌ１からＬ５）とを使用して、複数の見えるターゲットＴ（Ｔ１からＴ５）に対応するそれぞれのスクリーン２１１座標に複数の画像２５０（２５０Ａから２５０Ｈ）を表示するようにディスプレイデバイス２１０を制御するように構成される。この例では、コントローラ２５０は、プロセッサおよびメモリ、例えばコンピュータを備える。
【0071】
一般に、画像２５０（２５０Ａから２５０Ｈ）は、ターゲットＴ（Ｔ１からＴ５）、例えばターゲットＴ（Ｔ１からＴ５）に関するコンピュータ生成視覚情報に関係付けられることを理解されたい。この例では、画像２５０（２５０Ａから２５０Ｈ）は、テキストおよび／またはグラフィックを含む、および／またはテキストおよび／またはグラフィックである。
【0072】
好ましい実施形態が示され、説明されているが、さまざまな変更や修正が、添付の特許請求の範囲において規定され、上述したような本発明の範囲から逸脱することなくなされてもよいことが、当業者によって認識される。
【0073】
本願に関連した本明細書と同時に、または、それ以前に提出された、本明細書とともに公衆の閲覧に公開されるすべての文献や文書に注意が向けられ、そのような文献や文書のすべての内容が、参照によって本明細書に組み込まれている。
【0074】
（任意の添付の特許請求の範囲、および、図面を含む）本明細書に開示された特徴のすべて、および／または、このように開示された任意の方法またはプロセスのステップのすべては、そのような特徴および／またはステップのうちの多くともいくつかが相互に排他的である組み合わせを除き、任意の組み合わせで組み合わされてよい。
【0075】
（任意の添付の特許請求の範囲および図面を含む）本明細書中に開示された各特徴は、別段に明記されない限り、同一、同等、または同様の目的を果たす代替の特徴によって置き換えられてもよい。このことから、別段に明記されない限り、開示された各特徴は、一般的な一連の同等または同様の特徴の一例に過ぎない。
【0076】
本発明は、前述の実施形態の細部に制限されない。本発明は、本明細書（任意の添付の特許請求の範囲および図面を含む）中に開示された特徴のうちの任意の新規の１つもしくは任意の新規の組み合わせ、またはそのように開示された任意の方法もしくはプロセスのステップのうちの任意の新規の１つもしくは任意の新規の組み合わせに及ぶ。
【図1】
【図2】
【図3A】
【図3B】
【国際調査報告】