▶ イエダ リサーチ アンド ディベロップメント カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022106801
(43)【公開日】2022-07-20
(54)【発明の名称】多層ビューイングシステムおよび方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20220712BHJP
G06F 3/01 20060101ALI20220712BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022068646
(22)【出願日】2022-04-19
(62)【分割の表示】P 2020522975の分割
【原出願日】2018-10-25
(31)【優先権主張番号】62/577,332
(32)【優先日】2017-10-26
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】500018608
【氏名又は名称】イエダ リサーチ アンド ディベロップメント カンパニー リミテッド
【住所又は居所原語表記】ａｔ ｔｈｅ Ｗｅｉｚｍａｎｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｃｉｅｎｃｅ，ＰＯ Ｂｏｘ ９５，７６１０００２ Ｒｅｈｏｖｏｔ，Ｉｓｒａｅｌ
(74)【代理人】
【識別番号】110001379
【氏名又は名称】特許業務法人 大島特許事務所
(72)【発明者】
【氏名】ウルマン、シモン
(72)【発明者】
【氏名】ハラリ、ダニエル
(72)【発明者】
【氏名】アッシフ、リアブ
(72)【発明者】
【氏名】コイフマン、イガル
(57)【要約】 （修正有）
【課題】マーキングと実際にターゲット機器の正確な位置合わせを行う多層ビューイングシステム及び方法を提供する。
【解決手段】多層ビューイングシステム１１０は、静止イメージャ及び物理層マーキングを物体の領域に投影するビームプロジェクタ（指向性照明源１０３）と、装着しているユーザが、ディスプレイを通して物体を直接見ること及び物体にスーパーインポーズされた注釈を表示することができるように十分に透明である拡張現実ディスプレイを含むヘッドセット１０６と、ターゲット１０に対する選択された場所を受け取り、取得した画像内のマーキングの画像又は物体上のマーキングを識別することによって拡張現実ディスプレイの向きを決定し、注釈が選択された位置に表示されるときにユーザによって知覚できるように、拡張現実ディスプレイ上に注釈を表示するための表示場所を計算し、計算された表示場所に注釈を表示するプロセッサと、を有する。
【選択図】図１
【解決手段】多層ビューイングシステム１１０は、静止イメージャ及び物理層マーキングを物体の領域に投影するビームプロジェクタ（指向性照明源１０３）と、装着しているユーザが、ディスプレイを通して物体を直接見ること及び物体にスーパーインポーズされた注釈を表示することができるように十分に透明である拡張現実ディスプレイを含むヘッドセット１０６と、ターゲット１０に対する選択された場所を受け取り、取得した画像内のマーキングの画像又は物体上のマーキングを識別することによって拡張現実ディスプレイの向きを決定し、注釈が選択された位置に表示されるときにユーザによって知覚できるように、拡張現実ディスプレイ上に注釈を表示するための表示場所を計算し、計算された表示場所に注釈を表示するプロセッサと、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
多層ビューイングシステムであって、
ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、
１つ以上の物理層マーキングを前記ターゲット物体のターゲット領域に投影するように制御可能なビームプロジェクタと、
拡張現実ディスプレイおよび前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットであって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通して前記ターゲット物体を直接見ることを可能にするのに十分に透明であり、前記現地ユーザに直接見えるように、直接見える前記ターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該ヘッドセットと、
プロセッサであって、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取り、
前記シーン画像内の前記１つ以上の物理層マーキングの画像を識別することによって、または、前記１つ以上の物理層マーキングの画像、および前記静止イメージャによって取得される画像内の前記ヘッドセットビームによって形成されるマークの画像を識別することによって、前記拡張現実ディスプレイの向きを決定し、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算し、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示する、ように構成された、該プロセッサと、を備える、多層ビューイングシステム。
ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、
１つ以上の物理層マーキングを前記ターゲット物体のターゲット領域に投影するように制御可能なビームプロジェクタと、
拡張現実ディスプレイおよび前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットであって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通して前記ターゲット物体を直接見ることを可能にするのに十分に透明であり、前記現地ユーザに直接見えるように、直接見える前記ターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該ヘッドセットと、
プロセッサであって、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取り、
前記シーン画像内の前記１つ以上の物理層マーキングの画像を識別することによって、または、前記１つ以上の物理層マーキングの画像、および前記静止イメージャによって取得される画像内の前記ヘッドセットビームによって形成されるマークの画像を識別することによって、前記拡張現実ディスプレイの向きを決定し、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算し、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示する、ように構成された、該プロセッサと、を備える、多層ビューイングシステム。
【請求項2】
前記ビームプロジェクタが、ユーザコントロールの操作によって制御可能である、請求項１に記載のシステム。
【請求項3】
前記ユーザコントロールが、前記静止イメージャによって取得される前記ターゲット物体の画像上の前記ターゲット領域の指示によって、遠隔ユーザが前記ビームプロジェクタを制御することを可能にする、請求項２に記載のシステム。
【請求項4】
ユーザコントロールが、前記静止イメージャによって取得される前記ターゲット物体の画像上の前記選択された場所の指示によって、前記選択された場所の入力を可能にするように構成されている、請求項１に記載のシステム。
【請求項5】
前記ビームプロジェクタが、レーザを備える、請求項１に記載のシステム。
【請求項6】
前記ビームプロジェクタが、パターンの形で前記物理層マーキングを投影するように構成されている、請求項１に記載のシステム。
【請求項7】
前記静止イメージャの視野が、前記物理層マーキングが前記ビームプロジェクタによって投影され得る少なくとも前記ターゲット物体の領域を完全にカバーするのに十分大きい、請求項１に記載のシステム。
【請求項8】
前記ビームプロジェクタが、前記ターゲット物体の表面の上で前記１つ以上の物理層マーキングを走査するようにさらに構成されている、請求項１に記載のシステム。
【請求項9】
前記プロセッサが、前記表面の傾斜角を計算するようにさらに構成されている、請求項８に記載のシステム。
【請求項10】
遠隔ステーションをさらに含む、請求項１に記載のシステム。
【請求項11】
前記遠隔ステーションが、遠隔ディスプレイおよびユーザコントロールを備える、請求項１０に記載のシステム。
【請求項12】
前記静止イメージャおよび前記ビームプロジェクタが、単一の静止ユニットに組み込まれている、請求項１に記載のシステム。
【請求項13】
少なくとも１つの追加のイメージャまたは少なくとも１つの追加のプロジェクタをさらに含む、請求項１に記載のシステム。
【請求項14】
前記プロセッサが、前記少なくとも１つの追加のイメージャを操作して、前記静止イメージャには見えないと識別された前記ターゲット物体の領域の画像を取得するか、または前記少なくとも１つの追加のプロジェクタを操作して、前記ビームプロジェクタによって放出されたビームにアクセスできないと識別された前記ターゲット物体の領域上にマーキングを投影するように、さらに構成されている、請求項１３に記載のシステム。
【請求項15】
静止イメージャと、ビームプロジェクタと、拡張現実ディスプレイおよび前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットと、を含む、ビューイングシステムの操作方法であって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするのに十分に透明であり、直接見える前記ターゲット物体上にスーパーインポーズされて見ることができる注釈を表示するように構成されており、
前記シーンイメージャを使用して、１つ以上の物理層マーキングが前記ビームプロジェクタによって前記ターゲット物体のターゲット領域上に投影されるときの前記ターゲット物体のシーン画像を、または前記静止イメージャを使用して、前記１つ以上の物理層マーキングおよび前記ヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取るステップと、
取得された前記シーン画像において、前記１つ以上の物理層マーキングの画像、または前記１つ以上の物理層マーキングの画像および前記ヘッドセットビームによって形成された前記マークの画像、を識別するステップと、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算するステップと、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示するステップと、を含む、方法。
前記シーンイメージャを使用して、１つ以上の物理層マーキングが前記ビームプロジェクタによって前記ターゲット物体のターゲット領域上に投影されるときの前記ターゲット物体のシーン画像を、または前記静止イメージャを使用して、前記１つ以上の物理層マーキングおよび前記ヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取るステップと、
取得された前記シーン画像において、前記１つ以上の物理層マーキングの画像、または前記１つ以上の物理層マーキングの画像および前記ヘッドセットビームによって形成された前記マークの画像、を識別するステップと、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算するステップと、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示するステップと、を含む、方法。
【請求項16】
前記ターゲット物体の前記シーン画像を取得するステップが、前記１つ以上の物理層マーキングのうちのある物理層マーキングが前記ターゲット物体の表面にわたって走査されるときに、複数の前記シーン画像を連続的に取得するステップを含む、請求項１５に記載の方法。
【請求項17】
連続して取得された前記シーン画像内の走査された前記物理層マーキングの前記画像の場所を識別することによって、前記表面の傾斜角を計算するステップをさらに含む、請求項１６に記載の方法。
【請求項18】
前記シーンイメージャを使用して取得する前に、重ね合わせ較正手順が実行される、請求項１５に記載の方法。
【請求項19】
前記重ね合わせ較正手順が、前記ビームプロジェクタを操作して、１つ以上の較正物理層マーキングを前記ターゲット物体に投影するステップを含む、請求項１８に記載の方法。
【請求項20】
前記重ね合わせ較正手順が、前記注釈が、そのマーキングにスーパーインポーズされるときに前記１つ以上の較正物理層マーキングのマーキングを見ている前記ヘッドセットのユーザに見えるように、前記拡張現実ディスプレイ上に較正注釈を表示するステップをさらに含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多層ビューイングシステムおよび方法に関する。
【背景技術】
【0002】
複雑な機器や機械のメンテナンス、組み立て、サービス、または操作では、「現場」、つまり物理的に機器の近くに位置し、機器の一部を手動で操縦することができる現地操作者が、遠隔地にいて機器と直接相互作用することのできない遠隔操作者と一緒に操作する、２人の人間の操作者間の協力が必要になることがよくある。２人の操作者は、機械または機器の一部の操作者、または顧客サイトで機器を修理する現地技術者が、操作を援助、指導、監督、および／または承認する専門家（例えば、遠隔サイトにいる）と一緒に働くなど、専門知識のレベルが異なる場合がある。あるいは、２人の操作者が同じレベルの専門知識を持っている場合があり（おそらく専門知識の補完分野で）、機器の複雑な問題について共同トラブルシューティングセッション（またはブレーンストーミング）を行う。
【0003】
例えば、技術者（または現場の操作者）が、故障により生産が停止した機械を修理するために働く場合がある。技術者はトラブルシューティングおよび修理の手順を実施しようとする場合があるが、遠隔コールセンターにいる技術専門家からの支援を必要とする場合がある。別の例では、現地技術者が、上級職員による承認を必要とする複雑な修理を行う必要がある場合がある。そのような承認を受ける前に、現地技術者は、例えば遠隔地の監督者に障害を実証するように要求される場合がある。さらに別の例では、初心者の操作者が、異なるサイトにいる経験豊富な操作者の遠隔ガイダンスを必要とする場合がある。
【0004】
このような共同メンテナンスや修理は、現在、画像やビデオによるコミュニケーションを利用して行うことができる。コミュニケーションにより、参加者は、機器の外観、図や説明書などの補助資料、説明やガイダンスの口頭によるコミュニケーションなどの情報を共有し得る。例えば、現場の操作者が機器の画像を遠隔地の専門家に送信する場合がある。遠隔地の専門家は、イラストや写真などの補足資料を添えた口頭のガイダンスやアドバイスを現地操作者に与える場合がある。現地操作者と遠隔地の専門家との間に言語的または文化的な違いがある場合、そのようなガイダンスは時間がかかり難しい場合がある。加えて、ビデオ、オーディオ、またはポインティング機器の取り扱い、貧弱な照明、ノイズ、または他の要因のような環境要因などの、人間工学的またはその他の制約は、このプロセスの難易度を高くし得る。
【0005】
このような共同メンテナンス、修理、または操作中に、遠隔参加者が機器のオンライン遠隔ディスプレイビデオを使用して機器の位置にマークを付けることを可能にすることはしばしば非常に役立ち、一方で現地参加者はこのマーキングを機器に上重ねして見ることができる。例えば、遠隔地の専門家は、特定のターゲット（例えば、ノブ、ねじ、スイッチ、ワイヤ、または所望のパーツ）にマークを付け、現場の参加者または操作者にターゲットに対する特定の操作を行うように指示することができる（例えば、ノブを回す、ねじを開ける、スイッチを操作する、ワイヤを接続または切断する、または別の操作）。拡張現実（ＡＲ）ディスプレイ（ＡＲメガネ、または別のシースルーＡＲディスプレイなど）は、現場の参加者によって使用され得、一方遠隔地の専門家は、現場のカメラ（例えば、ＡＲゴーグルに搭載されている）からのビデオを使用して機器の特定の場所を指定するためのマーキングを生成する。次に、拡張現実システムは、現場の操作者にＡＲディスプレイ上のマーキングの画像を提示し、それによりマーキングが「現実世界」のターゲットの上に上重ねされるようにする。例えば、遠隔地の専門家は、機器の一部であり、特定の方向に回すノブにマークを付け得る。ＡＲシステムを使用して、現場の技術者は、問題のノブの上に重ねられた、またはそれを指しているマーキングをディスプレイ上で見ることができ、おそらく、ノブを回す方向など、行うべき操作のなんらかの説明を備えている。
【0006】
このようなＡＲの使用には、ＡＲレイヤディスプレイ上に表示されるマーキングと実際のターゲット機器の位置との間の正確な位置合わせが必要な場合がある。遠隔地の専門家が生成したマークは、ターゲット機器の上に重ねられた状態で現場の操作者に見えるべきであり、高精度でターゲットを指すことが期待され得る。わずかなずれでも、機器の間違った部分で操作が実行される可能性がある。ＡＲシステムにおいて、そのような位置合わせを高精度で得るには、典型的には、機器に対するＡＲディスプレイの正確な位置、およびユーザの目および／または瞳孔に対するＡＲディスプレイの相対位置を考慮に入れる複雑な手順が必要である。そのような正確な位置合わせは、複雑な較正手順を必要とする場合があり、位置合わせの精度は時間と共に低下する可能性がある。
【発明の概要】
【課題を解決するための手段】
【0007】
本発明の実施形態に従って、ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、１つ以上の物理層マーキングをターゲット物体のターゲット領域に投影するように制御可能なビームプロジェクタと、拡張現実ディスプレイおよび拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットであって、拡張現実ディスプレイが、ヘッドセットを装着している現地ユーザが拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするのに十分に透明であり、現地ユーザに見えるように直接見えるターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該ヘッドセットと、プロセッサであって、注釈の表示のための、ターゲット領域に対して選択された場所を受け取り、シーン画像内の１つ以上の物理層マーキングの画像を識別することによって、または、１つ以上の物理層マーキングの画像、および静止イメージャによって取得される画像内のヘッドセットビームによって形成されたマークの画像、を識別することによって、拡張現実ディスプレイの向きを決定し、注釈が、ターゲット領域に対して選択された場所の位置に表示されるときに、現地ユーザによって知覚可能であるように、拡張現実ディスプレイ上に注釈を表示するための表示位置の場所を計算し、計算された表示場所で拡張現実ディスプレイ上に注釈を表示する、ように構成された、該プロセッサと、を含む、多層ビューイングシステムが提供されている。
【0008】
さらに、本発明の実施形態によれば、ビームプロジェクタは、ユーザコントロールの操作によって制御可能である。
【0009】
さらに、本発明の実施形態によれば、ユーザコントロールは、遠隔ユーザが、静止イメージャによって取得されるターゲット物体の画像上のターゲット領域を示すことよってビームプロジェクタを制御することを可能にする。
【0010】
さらに、本発明の一実施形態によれば、ユーザコントロールは、静止イメージャによって取得されるターゲット物体の画像上の選択された場所を示すことによって、選択された場所の入力を可能にするように構成される。
【0011】
さらに、本発明の実施形態によれば、ビームプロジェクタは、レーザを含む。
【0012】
さらに、本発明の実施形態によれば、ビームプロジェクタは、パターンの形で物理層マーキングを投影するように構成されている。
【0013】
さらに、本発明の一実施形態によれば、静止イメージャの視野は、物理層マーキングがビームプロジェクタによって投影され得る少なくともターゲット物体の領域を完全にカバーするのに十分大きく、シーンイメージャの視野よりも大きくそれを含む。
【0014】
さらに、本発明の実施形態によれば、ビームプロジェクタはターゲット物体の表面の上で１つ以上の物理層マーキングを走査するようにさらに構成されている。
【0015】
さらに、本発明の実施形態によれば、プロセッサは表面の傾斜角を計算するようにさらに構成されている。
【0016】
さらに、本発明の一実施形態によれば、システムは遠隔ステーションを含む。
【0017】
さらに、本発明の実施形態によれば、遠隔ステーションは、遠隔ディスプレイおよびユーザコントロールを含む。
【0018】
さらに、本発明の実施形態によれば、静止イメージャおよびビームプロジェクタは、単一の静止ユニットに組み込まれる。
【0019】
さらに、本発明の実施形態によれば、システムは、少なくとも１つの追加のイメージャまたは少なくとも１つの追加のプロジェクタを含む。
【0020】
さらに、本発明の実施形態によれば、プロセッサは、少なくとも１つの追加のイメージャを操作して、静止イメージャには見えないと識別されたターゲット物体の領域の画像を取得するか、または少なくとも１つの追加のプロジェクタを操作して、ビームプロジェクタによって放出されたビームにアクセスできないと識別されたターゲット物体の領域上にマーキングを投影するようにさらに構成されている。
【0021】
本発明の実施形態によれば、静止イメージャと、ビームプロジェクタと、拡張現実ディスプレイおよび拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットと、を含む、ビューイングシステムの操作方法がさらに提供されており、拡張現実ディスプレイは、ヘッドセットを装着している現地ユーザが拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするように十分透明であり、直接見えるターゲット物体上にスーパーインポーズされて見ることができる注釈を表示するように構成されており、本方法は、シーンイメージャを使用して、１つ以上の物理層マーキングがビームプロジェクタによってターゲット物体のターゲット領域上に投影されるときのターゲット物体のシーン画像を、または静止イメージャを使用して、１つ以上の物理層マーキングおよびヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、注釈の表示のための、ターゲット領域に対して選択された場所を受け取るステップと、取得されたシーン画像において、１つ以上の物理層マーキングの画像、または１つ以上の物理層マーキングの画像およびヘッドセットビームによって形成されたマークの画像、を識別するステップと、注釈が、ターゲット領域に対して選択された位置に表示されるときに、現地ユーザによって知覚可能であるように、拡張現実ディスプレイ上に注釈を表示するための表示位置の場所を計算するステップと、計算された表示場所で拡張現実ディスプレイ上に注釈を表示するステップと、を含む。
【0022】
さらに、本発明の実施形態によれば、ターゲット物体のシーン画像を取得するステップは、１つ以上の物理層マーキングのうちのある物理層マーキングがターゲット物体の表面にわたって走査されるときに複数のシーン画像を連続して取得するステップを含む。
【0023】
さらに、本発明の実施形態によれば、本方法は、連続して取得されたシーン画像内の走査された物理層マーキングの画像の場所を識別することによって、表面の傾斜角を計算するステップを含む。
【0024】
さらに、本発明の実施形態によれば、シーンイメージャを使用して取得する前に、重ね合わせ較正手順が実行される。
【0025】
さらに、本発明の実施形態によれば、重ね合わせ較正手順は、ビームプロジェクタを操作して、１つ以上の較正物理層マーキングをターゲット物体に投影するステップを含む。
【0026】
さらに、本発明の一実施形態によれば、重ね合わせ較正手順は、注釈が、そのマーキングにスーパーインポーズされるときに１つ以上の較正物理層マーキングのマーキングを見ているヘッドセットのユーザに見えるように、拡張現実ディスプレイ上に較正注釈を表示するステップをさらに含む。
【図面の簡単な説明】
【0027】
発明とみなされる主題は、本明細書の結論部分で特に指摘され、明確に請求される。しかし、本発明は、その目的、特徴、および利点と共に、操作構成および方法の両方に関して、添付の図面と共に読まれる場合、以下の詳細な説明を参照することによって最もよく理解され得る。
【0028】
【図1】ウェアラブルヘッドセットを備えた多層ビューイングシステムを模式的に図示する。
【図2A】静止イメージャ２０１を備えた多層ビューイングシステムを模式的に図示する。
【図2B】第２の指向性照明源を備えた多層ビューシステムを模式的に図示する。
【図3】本発明の実施形態による、多層ビューイングシステムを模式的に図示する。
【図4】本発明の実施形態による、多層ビューイングシステムの操作の方法を示すフローチャートである。
【0029】
実例を簡略かつ明確にするために、図に示される要素は、必ずしも縮尺通りに描かれていないことが理解されよう。例えば、いくつかの要素の寸法は、明確にするために他の要素に比較して誇張され得る。さらに、適切であると考えられる場合、対応する要素または類似の要素を示すために、参照番号が図の間で繰り返され得る。
【発明を実施するための形態】
【0030】
以下の詳細な説明において、本発明の完全な理解を提供するために、多くの具体的な詳細が記載される。しかし、本発明は、これらの具体的な詳細を伴わずに実行され得ることが、当業者には理解される。他の事例では、本発明を不明瞭にしないために、周知の方法、手順、およびコンポーネント、モジュール、ユニットおよび／または回路は、詳細には説明されていない。一実施形態に関して説明されるいくつかの特徴または要素は、他の実施形態に関して説明される特徴または要素と組み合わせられ得る。明確にするために、同じまたは類似の特徴または要素の議論は繰り返されない場合がある。
【0031】
本発明の実施形態はこの点に関して限定されないが、例えば、「処理」、「コンピューティング」、「計算」、「決定」、「確立」、「分析」、「チェック」、などのような用語を使用する議論は、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステム、または他の電子的コンピューティングデバイスの操作（複数可）および／またはプロセス（複数可）を指す場合があり、コンピュータのレジスタおよび／またはメモリ内の物理的（例えば、電子）量として表されるデータを、コンピュータのレジスタおよび／またはメモリ内、または操作および／またはプロセスを行うための命令を格納し得る他の情報の非一時的記憶媒体内の物理量として同様に表される他のデータに操作および／または変換する。本発明の実施形態はこの点に関して限定されないが、本明細書で使用される「複数（ｐｌｕｒａｌｉｔｙ）」および「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、例えば、「多数（ｍｕｌｔｉｐｌｅ）」または「２つ以上（ｔｗｏ ｏｒ ｍｏｒｅ）」を含み得る。「複数（ｐｌｕｒａｌｉｔｙ）」または「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、本明細書全体を通して、２つ以上のコンポーネント、デバイス、要素、ユニット、パラメータなどを説明するために使用される場合がある。明示的に述べられていない限り、本明細書で説明される方法の実施形態は、特定の順序またはシーケンスに制約されない。加えて、説明されている方法の実施形態またはその要素のいくつかは、同じ時点で、または併行して、同時に発生もしくは行うことができる。
【0032】
本発明の実施形態によれば、多層拡張現実（ＡＲ）システムは、遠隔ユーザがターゲット場所をマークし、シースルーの拡張現実ディスプレイを介して現地ユーザに見え得るターゲット物体に関連する追加情報を追加することを可能にするように構成される。情報には、ターゲット物体に直接投影された物理層マーキング（例えば、投影光ビームを介して）、および拡張現実ディスプレイに表示される注釈またはその他のマーキング（このようなすべてのマーキングを本明細書では注釈と呼ぶ）を含む「仮想層」が含まれ、それは、ＡＲディスプレイ（例えば、ＡＲゴーグルまたは別のヘッドアップディスプレイ）を介して見えるターゲット物体の直接ビューにスーパーインポーズされて現地ユーザによって見え得る。
【0033】
遠隔ユーザは、ターゲット物体からの遠隔サイトの実際の物理的な距離に関係なく（例えば、隣接する部屋の近くであってもよく、ターゲット物体と同じ部屋内の別の場所であってもよい）、遠隔ユーザがターゲット物体に直接物理的にアクセスできない遠隔サイトにいる場合がある（例えば、別の建物、都市、国、またはその他の場所）。
【0034】
ターゲット物体には、例えば、機器、工作物、人体または動物の体、植物、サンプル（例えば、生物学的、化学的、地質学的、または他のタイプのサンプル）、または現地ユーザが見るために遠隔ユーザによってマークされ得る他のターゲット物体が含まれる。現地ユーザは、典型的には、ターゲット物体への直接アクセス（例えば、直接の物理的接触またはツールの使用のいずれかを介して）を有するようにターゲット機器のサイトに位置している。
【0035】
多層ビューイングシステムは、遠隔ビューア（例えば、パンチルトズームカメラ、ｗｅｂカメラ、または他のタイプのカメラ）にターゲット区域の画像を提供する少なくとも１つの静止イメージャ、物理層のマークおよび／または画像を投影できる遠隔制御プロジェクタ、現地ユーザの目とターゲット物体との間に位置するシースルーディスプレイ（例えば、ＡＲゴーグル、ヘッドアップディスプレイ、または他のシースルーディスプレイ）に画像を投影するための拡張現実プロジェクタを典型的に含む拡張現実ディスプレイ、および拡張現実ディスプレイによって表示される情報をターゲット物体と位置合わせし、プロジェクタの動きを制御するように構成されたプロセッサ、を含む。
【0036】
典型的には、システムは、各々が１つ以上のイメージャ（本明細書では静止イメージャと各々呼ばれる）およびプロジェクタを含む１つ以上の静止ユニットを含み得る。各ユニットは、典型的には、（例えば、プロセッサ、プロセッサへの通信リンク、制御回路、または他のコントローラコンポーネントのうちの１つ以上を含む）コントローラを含む。各静止イメージャの視野は、典型的には、ターゲット物体を含み、少なくとも１つのビームプロジェクタでマークされ得る空間の領域を完全にカバーするのに十分な大きさである。ユニットのコントローラは、ユニットの静止イメージャからの画像を使用して、閉ループでのビームプロジェクタの操作と静止イメージャとの間を調整するように構成され得る。
【0037】
典型的には、システムは、ヘッドマウントヘッドセットユニット（拡張現実ディスプレイを含む）を含み、ヘッドセットユニットには、典型的には、現地ユーザの直接正面の（視線方向の）シーンを撮像するように構成されたシーンイメージャが含まれる。場合によっては、ヘッドセットは、ヘッドセットの正面に（例えば、視線方向に）直接ビームを投射するように構成されたビームプロジェクタ（例えば、シーンイメージャに加えて、またはその代わりのいずれかの）を含み得る。
【0038】
各静止ユニットは、ターゲットの少なくとも一部に画像化して投影するようにターゲットの近くに位置付けられている。１つを超える静止ユニットが含まれている場合、最適な設定には、異なる静止イメージャが異なる方向からターゲット物体を見るように（そして異なる方向からビームをターゲット物体に投影するように）様々な静止ユニットを配置することが含まれる。このため、１つの静止ユニットへの直接の視線がないターゲット物体のセクションは、別の場所にある追加の静止ユニットによってカバーされ得る。典型的には、少なくとも１つの静止ユニットは、固定された（例えば、移動しない限り所定の位置に留まる）場所、例えば、三脚またはスタンドの上、テーブル、カート、または他の家具の上、棚（ｓｈｅｌｆ）、棚（ｌｅｄｇｅ）、または、壁、天井、あるいはターゲットの取り付け可能な静止部分に取り付けられた他の固定構造の上、に取り付けられ、さもなければ自律的に移動できない構造物に取り付けられる。１つ以上の追加の静止ユニットが、現地ユーザまたは別の人の体の一部（例えば、肩、胴、腕、または他の部分）に取り付けられてもよい。
【0039】
イメージャ（静止またはヘッドマウント）には、例えば、ビデオカメラ、連続した画像を取得するように構成されたカメラ、または別のタイプの撮像デバイスが含まれる。イメージャは、可視画像、赤外線画像、または別のスペクトル範囲の画像を取得するように構成され得る。いくつかの例では、イメージャは、双眼鏡ペアまたは２つ以上のイメージャの他の組み合わせを含み得る。
【0040】
多層ビューイングシステムはまた、ターゲットの近くに位置する現地ユーザの頭に装着されるヘッドマウントイメージャ（本明細書では「シーンイメージャ」と呼ばれる）を含み得る。典型的には、ヘッドマウントイメージャは、現地ユーザの頭の前にある視野の画像を取得するように構成されている。このため、ヘッドマウントイメージャの視野は、現地ユーザの頭が回転すると変化し得る。ヘッドマウントイメージャの視野は、現地ユーザが所与の動きで見ている現在の視野に近いものにし得る。しかしながら、現在の視野は現地ユーザの頭に対して現地ユーザの目が向けられている方向によっても決まるため、現在の視野はヘッドマウントイメージャの視野と正確に一致しない場合がある。典型的には、ヘッドマウントイメージャの視野は、現地ユーザの目の向きに関係なく、現在の視野を包含するように十分に大きくなっている。
【0041】
本明細書で使用されるとき、カメラは、ターゲットのサイトで現地ユーザまたは他の人と一緒に移動しない固定具に取り付けられた場合、静止していると見なされる。現地ユーザの動きとは無関係に移動可能な回転可能または平行移動可能なマウントに取り付けられたイメージャも、静止していると見なされる。
【0042】
遠隔ユーザは、多層ビューイングシステムの遠隔ステーションを操作し得る。例えば、遠隔ステーションは、遠隔ディスプレイを含み得、それを介して、遠隔ユーザは、１つ以上の静止イメージャ、ヘッドマウントイメージャ、またはその両方によって取得された画像を見ることができる。遠隔ステーションは、現地ユーザが見るためのマーキングのために、遠隔ユーザが、ターゲットの画像の領域を示すか、または固定座標でターゲット上の位置を示すことを可能にする１つ以上の制御を含む。これらの制御は、遠隔ユーザが注釈を追加したり、さもなければマークする情報を追加したりすることを可能にし得る。
【0043】
多層ビューイングシステムは、１つ以上のマーキングをターゲット物体のターゲット領域に直接投影するためのプロジェクタを含む。このようなマーキングは、本明細書では物理層マーキングと呼ばれる。例えば、プロジェクタは、光線をターゲット物体に投影することができるレーザ、または別の照明デバイスを含み得る。投影ビームは、可視光を含んでもよく、またはヘッドマウントイメージャ（および以下で説明する拡張現実ディスプレイ）を介して現地ユーザが見ることができる非可視光（例えば、赤外線）を含んでもよい。いくつかの例では、プロジェクタは、ラスターパターンまたは他のパターンで迅速に走査されるように構成され得る。（本明細書で使用されるとき、高速走査とは、パターンを有する完全な走査ビームが、残像により、静止した形の安定した表示として観察者に知覚されるような速度で走査することを指す）。いくつかのそのような例では、ビームは、一次元または二次元の輪郭またはターゲット領域の他の表示を概略示す、またはそうでなければ提供するパターンで走査し得る。いくつかのそのような例では、投影ビームの強度は、ビームの走査と並行して変調されてもよく、それにより、ターゲット領域を照らすか、またはより複雑なマーキングを形成する（例えば、注釈を使用するか、さもなければ領域の単純な輪郭よりも複雑にして、ターゲット領域を視野内の他の領域から区別する）。
【0044】
いくつかの例では、プロジェクタは、（例えば、現地ユーザにガイダンスを提供するために、または現地ユーザへの質問を明確にするために）遠隔ユーザによって操作されてもよい。いくつかの例では、プロジェクタは、遠隔ユーザまたは現地ユーザのいずれかによって操作されてもよい（例えば、マークされた場所に遠隔ユーザの注意を引くのに使用するために）。いくつかの例では、現地ユーザおよび遠隔ユーザによる操作のために、別個のプロジェクタが提供されてもよい。いくつかの例では、２つ以上の異なるプロジェクタによって作成されたビームは、それらの色、スポット形状、またはその他によって、互いに区別可能であることができる。
【0045】
現地ユーザには、拡張現実ディスプレイが提供される。典型的には、拡張現実ディスプレイは現地ユーザの頭に装着され、ヘッドマウントイメージャを備えた単一のヘッドマウントユニットの一部であり得る。拡張現実ディスプレイは、現地ユーザの目で見られるシーンにスーパーインポーズされて、現地ユーザによって見られる画像を表示するように構成される。典型的には、拡張現実ディスプレイには透明または半透明のゴーグルが含まれており、それを通して現地ユーザが、ターゲット物体（または任意の他のシーン）を（光を電子信号に変換することを介在させることなく、光学系のみを介した直接の視線を介して）直接見ることができ、かつ現地ユーザのターゲット物体の直接のビューを完全に覆い隠すことなく、追加のマーキング（例えば、英数字テキスト、記号、枠取り、強調表示、または他のマーキングの形態の）をそれに投影さもなければ表示し得る。このようなマーキングは、本明細書では拡張現実層マーキングと呼ばれる。
【0046】
多層ビューイングシステムのプロセッサ（例えば、拡張現実ディスプレイまたは他の場所に組み込まれている）は、拡張現実ディスプレイに表示される任意の情報をターゲット物体と位置合わせするように構成され得る。例えば、注釈には、ターゲット物体のターゲット領域またはコンポーネントの識別、ターゲット領域内の物体の検査または操作（例えば、ノブやボルトなどの物体の回転、物体への力の適用、カバーの解放、潤滑剤または他の物質の適用、外科的または他の医療的手順の適用、サンプリング、または他の修正または操作）に関する表示された命令または記号（例えば、動きまたは回転の方向を示すもの）、ターゲット物体のコンポーネントの色分け、またはその他の注釈、が含まれ得る。位置合わせは、注釈が、現地ユーザが見るときに拡張現実ディスプレイ上の意図した場所に位置付けされることを保証する。
【0047】
例えば、プロセッサは、意図された位置合わせを達成するために、ヘッドマウントイメージャによって取得された画像を用いてターゲット物体の物理層マーキングを利用するように構成され得る。例えば、物理層マーキングは、ターゲット物体上の特定のターゲット場所をマークするためにユーザによって制御され得る。典型的には、遠隔ユーザは、静止イメージャによって取得された遠隔表示画像上の場所を選択し得る。遠隔ユーザは、同じディスプレイ上で、拡張現実ディスプレイ上に表示されることになる特定の注釈の場所を示し得る。典型的には、多層ビューイングシステムは、既知の技術（例えば、画像処理技術）を適用して、静止イメージャの典型的により大きな視野内でヘッドマウントイメージャの視野の場所を決定し得る。プロセッサは、画像処理技術を適用して、ヘッドマウントイメージャによって取得される物理層マーキングの画像を識別するように構成され得る。次に、プロセッサは、（例えば、静止イメージャの視野のディスプレイ上でユーザによって示されるときに）画像化された物理層マーキングに対する場所で拡張現実層に注釈を適用するように構成され得る。このため、表示される注釈は、物理層マーキング、つまりターゲット物体に対して意図した場所に表示される。
【0048】
代替的にまたは追加して、拡張現実ディスプレイを備えたヘッドセットに結合されているヘッドセットプロジェクタは、ヘッドセットの向きを示すビームを投射し得る。ヘッドセットプロジェクタによって投射されるビームは、追加のヘッドセットマーキングでターゲット物体（物理的）をマークし得る。例えば、静止イメージャによって画像化されるような、（静止）ビームプロジェクタによって投影される物理層マーキングに対するヘッドセットマーキングの場所は、１つ以上の静止物体（例えば、ターゲット物体または静止イメージャ）に対するヘッドセットの向きを示す場合がある。例えば、ヘッドセットマーキングは、その色、形状、偏光、または他の特性によって、取得された画像内で物理層マーキングと区別できる場合がある。
【0049】
注釈と物理層マーキングとの間の位置合わせの正確さは、ＡＲディスプレイに対する目の回転を補償するために連続的に調整され得ることに留意されたい。例えば、初期較正手順の間、例えば、ターゲット物体での作業を開始する前に、現地ユーザの目の視線方向と物理層マーキングとの間の位置合わせが決定され得る。例えば、現地ユーザは、マーキングを真正面に見ながら（例えば、目が顔の直接前方を見て）、物理層マーキングを見てそれに直面するように要求される場合がある。同時に、拡張現実ディスプレイを操作して、注釈をマークの形で表示し得る。注釈マークの場所は、注釈マークが、物理層マーキングと一致するように現地ユーザによって見えるまで、（例えば、現地ユーザによって操作される制御によって、または遠隔ユーザとの通信を介して）調整され得る。
【0050】
代替的にまたは追加して、例えば、現地ユーザの顔とヘッドセットとは静止したままであるのに対して、現地ユーザは、物理層マーキングがターゲット物体上の異なる場所（例えば、ターゲット物体の中心にあるポイントおよび縁部にあるポイント）に投影されるときに、ターゲット物体に直面するように要求されることがある。ターゲット物体（例えば、静止イメージャによって取得された画像内の）上の、およびヘッドマウントシーンイメージャによって取得された画像内の、マーキングの位置を分析して、ターゲット物体に対して固定されている座標系（例えば、グローバルまたはローカル座標系に対して定義されるような、静止座標）、およびヘッドマウントシーンイメージャに対して定義された可動座標系からの変換を生成し得る。
【0051】
初期位置合わせ較正中に見える物理層マーキング内のポイント数を増やすか、または物理層マーキングのポイント間の分離により、初期位置合わせ較正の精度の向上をもたらし得る。
【0052】
初期位置合わせの後、システムは、現地ユーザの目の計算された向きに従って注釈の配置を調整し続け得る。例えば、注釈は、物理層マーキングによってマークされたターゲット物体のターゲット領域上にスーパーインポーズされて見えるように表示されるように意図されている場合がある。現地ユーザが現在物理層マーキングを見ていると想定し得る（例えば、それにより注釈が現地ユーザにとって有用であると想定される）。
【0053】
例えば、標準的な画像分析技術を適用して、ヘッドマウントシーンイメージャの視野の、したがってヘッドセットの（例えば、ターゲット物体に対する）向きを識別し得る。代替的にまたは追加して、ヘッドマウントユニットがビームプロジェクタを含む場合、ヘッドマウントプロジェクタによって投影されるマークの画像化された位置は、ヘッドセットの向きの決定を可能にし得る。（場合によっては、ヘッドセットマウントビームプロジェクタを使用したヘッドセットの向きの決定は、現地ユーザの体に取り付けられた追加のイメージャによって容易になることがある。）
【0054】
ヘッドセットおよび拡張現実ディスプレイの向きが決定された後、物理層マーキングの画像化された位置（現地ユーザが見ていると想定される）とヘッドマウントシーンイメージャの向きとの間の角度の隔たりは、ヘッドマウントシーンイメージャに対する現地ユーザの目の回転に等しいと想定され得る。拡張現実ディスプレイに表示される注釈は、適宜変位する場合がある。例えば、注釈は、初期位置合わせ較正に基づいて、物理層マーキングが拡張現実ディスプレイを介して現地ユーザに表示されることが計算されている位置に表示されてもよい。
【0055】
物理層マーキングと拡張現実層の注釈との間のこのような位置合わせが、他の手法よりも有利な場合がある。加えて、そのような位置合わせは、目の瞳孔追跡またはそのような位置合わせを達成するための他の技法の複雑さを回避し得る。
【0056】
場合によっては、プロセッサは、各ターゲット領域に対するビームプロジェクタ座標に対して、（静止イメージャの視野で測定して）ターゲット物体上の物理層マーキングの座標をマップするように構成され得る。これは、物理層マーキングをターゲット物体上の新しい位置に高速でオープンループで移動することを可能にし得る。
【0057】
さらに、プロセッサは、このマーカー位置マップを使用して、遠隔ユーザによって定義された、または（イメージャの視野に位置合わせされている）ターゲット物体の画像から得られたターゲット物体のコンポーネントまたは領域を選択的に照明または輪郭を描くように構成され得る。連続して取得された画像フレーム内の物理層マーキング区域上のプロジェクタスポットの移動速度を解釈して、画像平面（または画像平面に垂直）に対するターゲット物体の表面の向き、またはプロジェクタの向きを生成し得る。そのような方向の知識は、物理層マーキングの配置の精度をさらに高めるために、または現在イメージャに見えていないターゲット物体の一部にユーザを導く際に利用され得る。場合によっては、プロセッサは、ヘッドセットがテスト物体、物理層マーキング、または別の特定の領域に面しているとプロセッサが判断したときに、オーディオコンテンツ（例えば、口頭による説明）または他の非視覚的コンテンツを再生するように構成され得る。
【0058】
図１は、ウェアラブルヘッドセットを備えた多層ビューイングシステムを模式的に図示する。多層ビューイングシステム１１０は、ターゲット物体１０を操作している少なくとも１人のユーザのための同期されたターゲット位置特定を可能にし得る。
【0059】
いくつかの例では、参加者のうちの少なくとも１人（例えば、ターゲット物体１０のメンテナンスに参加している現地または遠隔ユーザ）は、コンピュータ化されたシステムによって置き換えられてもよい。例えば、コンピュータ化されたシステムは、シーンの画像を受け取り、例えば画像処理技術を適用することによって、マークされるターゲット物体１０上の場所を決定し、この場所を人間のユーザが見るためにマークしてもよい。いくつかの例では、人間のユーザは、多層ビューイングシステム１１０のコンピュータ化されたシステムによって生成されたターゲットの位置特定の助けを借りてターゲット物体１０を手動で操作するために現場にいる現地ユーザであり得る。いくつかの例では、人間のユーザは、ターゲット物体１０の遠隔にいる遠隔ユーザであり得、ターゲット物体１０の画像を送信するためのカメラを有する現場コンピュータ化システムからターゲットの位置特定の助けを借りてターゲット物体を遠隔で操作し得る（例えば、遠隔ユーザが遠隔でロボットアームを操縦して）。
【0060】
いくつかの例では、少なくとも１人の参加者またはユーザは、ターゲット物体１０のターゲット領域２０上で操作を行うこと（例えば、回路基板のコンポーネントを交換するために、または他の修理やメンテナンスを行うために）を意図する、物理的に現場にいる、またはターゲット物体１０の近くにいる現地ユーザであり得る。現地ユーザは、視野１０２を有する少なくとも１つのイメージャ１０１（例えば、ビデオカメラ）を装備し得る。いくつかの例では、イメージャ１０１は、ターゲット領域２０を含む視野１０２で画像を捕捉するように構成され得る。いくつかの例では、イメージャ１０１は、視野１０２が、ターゲット物体１０を手動で操作している現地ユーザの目の実際の視野に対応し得るように、現地ユーザによって（例えば、頭に）着用可能であり得る。
【0061】
いくつかの例では、現地ユーザはまた、物理層マーキング１０７でターゲット領域２０を示すためにビーム１０４を放出するように構成された少なくとも１つの指向性照明源１０３（例えば、レーザ源または他のビーム源）を装備し得る。いくつかの例では、指向性照明源１０３は、ビーム１０４が現地ユーザの頭の方向（例えば、注視の方向）に対応し得るように、現地ユーザによって着用可能であり得る。このため、物理層マーキング１０７は、ターゲット物体１０上の現地ユーザの注視点を他の（例えば、遠隔の）ユーザに示し得る。
【0062】
いくつかの例では、イメージャ１０１および／または指向性照明源１０３は、ターゲット領域２０と適切に位置合わせするように、ユーザ（現地または遠隔の）によって移動可能および／または制御可能であり得る。
【0063】
いくつかの例では、多層ビューイングシステム１１０は、イメージャ１０１から信号を受け取り、指向性照明源１０３を制御するように構成された少なくとも１つのプロセッサ１０５を含み得る。いくつかの例では、イメージャ１０１および／または指向性照明源１０３の動きは、プロセッサ１０５によって制御され得る。いくつかの例では、プロセッサ１０５とイメージャ１０１および指向性照明源１０３との間の通信は、少なくとも部分的に（例えば、Ｗｉ－Ｆｉおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）を介して）無線であり得る。
【0064】
ヘッドセット１０６は、現地ユーザが着用することができる。ヘッドセット１０６は、（例えば、ユーザの目がユーザの顔の真正面を見て、瞳孔が中央の位置にある場合）現地ユーザの通常の視野に位置合わせされた視野を有するイメージャ１０１を少なくとも含み得、それは現地ユーザの視線を他のユーザに示し得る。ヘッドセット１０６はまた、（例えば、ヘッドセットに固定された）指向性照明源１０３を含み得、その結果、ユーザの頭の動きは、ヘッドセット１０６の対応する動きを引き起こし得、それにより、現地ユーザがビーム１０４を照準して物理層マーキング１０７をターゲット領域２０上に配置することを可能にする。指向性照明源１０３はまた、可動であり、遠隔ユーザと現地ユーザの両方によって制御可能であり得る。
【0065】
いくつかの例では、プロセッサ１０５は、ヘッドセット１０６に組み込まれてもよい。いくつかの例では、ヘッドセット１０６は、他のデバイスと（例えば、無線で）通信するための通信モジュールを含み得る。いくつかの例では、イメージャ１０１および指向性照明源１０３のうちの少なくとも１つは、ヘッドセット１０６とは別に動かされてもよい。
【0066】
図２Ａは、静止イメージャ２０１を備えた多層ビューイングシステム２００を模式的に示す。静止イメージャ２０１は、ターゲット物体１０を操作している現地ユーザを支援する遠隔ユーザによって制御および／または動かされ得る。いくつかの例では、静止イメージャ２０１は、プロセッサ１０５および／またはリモートサーバと通信し得る。例えば、イメージャ１０１は、第１の視野（視野２０２）でターゲット領域２０に向けられてもよく、静止イメージャ２０１は、視野２０２（例えば、視野１０２よりも広い視野）で異なる位置からターゲット領域２０に向けられてもよい。例えば、静止イメージャ２０１を操作する遠隔ユーザは、現在現地ユーザには見えないターゲット物体１０での追加の要素を観察する場合がある。別の例として、遠隔ユーザは、例えば現地ユーザとの音声通信を介して（例えば、ヘッドセット１０６の専用スピーカを介して）物理層マーキング１０７をターゲット領域２０に正確に適用するようにビーム１０４の位置合わせを修正し得、こうして現地ユーザの動きを指導する。
【0067】
いくつかの例では、静止イメージャ２０１は、現地操作者がイメージャ１０１によるターゲット物体１０の視界を遮っているときに、ターゲット物体１０またはターゲット領域２０のより良好な（例えば、より広い視野、より安定した、またはそうでなければ好ましい）視界を可能にし得る。例えば、遠隔ユーザは、静止イメージャ２０１を使用して、異なる視野角からターゲット物体１０を見ることができる。いくつかの例では、遠隔ユーザは、イメージャ１０１および静止イメージャ２０１の両方から画像を同時に受信し得る。いくつかの例では、多層ビューイングシステム２００の異なるイメージャは、例えば、１つは可視光で１つは赤外線で、異なるスペクトル帯域の画像を取得し得る。いくつかの例では、多層ビューイングシステム２００のイメージャは、現地ユーザの視線の方向を決定するために視線検出を検出し、例えば、それに応じて指向性照明源１０３を方向付けるように構成され得る。
【0068】
いくつかの例では、多層ビューイングシステムの少なくとも１つのイメージャは、周囲照明によって照らされていないターゲット物体１０内の部分を照らすために追加の照明ユニットを装備し得る。
【0069】
図２Ｂは、第２の指向性照明源２０３を備えた多層ビューイングシステム２１０を模式的に図示する。第２の指向性照明源２０３は、ターゲット物体１０を操作している現地ユーザを支援する遠隔ユーザによって制御（例えば、回転または並進）され得る。例えば、遠隔ユーザは、第２の指向性照明源２０３を制御して、第２のビーム２０４を照準し、それにより第２の物理層マーキング２０７をターゲット物体１０上の特定の点に適用し得る。別の例として、遠隔ユーザは、第２の物理層マーキング２０７を適用して、物理層マーキング１０７によって示される現在のターゲット領域２０がエラーであることを示し、正しいターゲット領域２０を示し得る。
【0070】
いくつかの例では、第２の指向性照明源２０３は、物理的に変位され、静止イメージャ２０１から別個に制御可能（例えば、プロセッサ１０５によって）であり得る。
【0071】
例えば、第２の指向性照明源２０３は、レーザポインタであってもよく、レーザポインタ（第２の指向性照明源２０３）からの指向性光線（第２のビーム２０４）がターゲット物体１０の表面に衝突する点で可視照明（第２の物理層マーキング２０７）を作り出し得る。第２の物理層マーキング２０７は、他のユーザまたは参加者に見える場合がある。マーキングが仮想のみ（例えば、拡張現実デバイスを使用して）である方法とは対照的に、そのような物理的マーキングは、ターゲット要素（ターゲット領域２０）の正確な位置特定を可能にすることが理解されるべきである。
【0072】
いくつかの例では、第２の指向性照明源２０３は、ビーム間の視覚的な区別を可能にするために、ビーム１０４の色とは異なる色を有する第２のビーム２０４を放出し得る。１つまたは２つのイメージャおよび指向性照明源が図に示されているが、任意の数の要素が可能であり得ることに留意されたい。例えば、多層ビューイングシステムは、２人の遠隔ユーザによって制御される第２および第３のイメージャおよび第２および第３の指向性照明源を含み得、それにより、指向性照明源から放出される各ビームが異なる色を有し得る。
【0073】
いくつかの例によれば、対応するユーザ（または操作者）の視線の方向を決定するために、事前定義された位置に対する少なくとも１つのイメージャまたは指向性照明源の方向が感知され得る。いくつかの例では、各イメージャまたは指向性照明源の初期位置は、任意の動きを初期位置と比較できるように事前定義され得る。いくつかの例では、各イメージャまたは指向性照明源の向きまたは位置決めは、全地球測位システム（ＧＰＳ）デバイス、加速度計、ジャイロスコープ、または他の位置または向きセンサによって決定され得る。
【0074】
いくつかの例によれば、少なくとも２つの指向性照明源が、ターゲット物体１０上の単一の点に向かってビームを同時に放出し得る。この様態では、滑らかな表面からの反射の影響が考慮され得る。例えば、２つの指向性照明源１０３が、異なる位置に位置付けされ、単一の場所に向けてビーム１０４を放出し得る。いくつかの例では、そのような複数の指向性照明源の感知された向きは、複数のイメージャの視野の中で正確な位置合わせを可能にし、したがって、画像重ね合わせを使用していくつかのフレームの組み合わせを可能にする。
【0075】
いくつかの例によれば、多層ビューイングシステム２１０は、プロセッサ１０５に結合され、少なくとも１つの記号（またはパターン）を参加者に見えるようにターゲット物体１０に投影するように構成された少なくとも１つのプロジェクタ２０５を含み得る。例えば、プロジェクタ２０５は、ターゲット領域２０の近くの特定のノブを回すための命令を投影し得る。いくつかの例では、少なくとも１つのプロジェクタ２０５が少なくとも１つの指向性照明源に埋め込まれてもよい。いくつかの例では、投影はヘッドセット上に表示されてもよい。
【0076】
いくつかの例では、多層ビューイングシステム２１０のイメージャによって取得された画像は、将来の処理のためにプロセッサ１０５と通信するメモリユニットに格納され得る。例えば、ターゲット物体１０に対する操作の参加者は、ターゲット物体１０の現在のビューを以前に取得された画像と比較し得る。
【0077】
いくつかの例では、イメージャまたは指向性照明源は、ターゲット物体１０の部品に取り付けられてもよく、現地ユーザの身体部分に搭載されてもよく、または三脚またはフレックスアームなどの取り付けデバイスを使用してターゲット物体１０の近くに配置されてもよい。いくつかの例では、ターゲット物体１０の各タイプの操縦またはターゲット物体１０の各領域は、イメージャまたは指向性照明源の配置に有利であると以前に決定された場所に関連付けられ得る。
【0078】
いくつかの例では、遠隔ユーザは、現地ユーザをガイドして、ターゲット物体１０の特定の部分であって、現在現地ユーザには見えない部分の操縦を行い得る。そのような例では、遠隔ユーザは、第２の指向性照明源２０３を操作して、現地ユーザがその部品を突き止めることを可能にする大体の方向を示す第２の物理層マーキング２０７を提供する。遠隔ユーザは、機器サイトの広角ビューを見て、関心のある部分への現地ユーザのガイダンスを容易にし得る。
【0079】
図３は、本発明の実施形態による、多層ビューイングシステムを模式的に図示する。
【0080】
典型的には、多層システム３００は、現地ユーザ（例えば、直接見ることができ、場合によっては、ターゲット物体１０の少なくとも一部に触れ、処理し、または操縦するために物理的に接触するユーザ）が装着するためのヘッドセット３０６と、遠隔ユーザが操作するための遠隔ステーション３２０とを含む。遠隔ユーザは、ターゲット物体１０から物理的に離れた場所にいてもよく、ターゲット物体１０の近くにいるが、ヘッドセット３０６を着用しているユーザであってもよく、または現地ユーザと同一であってもよい。
【0081】
遠隔ステーション３２０は、典型的には、ユーザコントロール３２２および遠隔ディスプレイ３２４を含む。例えば、ユーザコントロール３２２は、静止イメージャ２０１、ビームプロジェクタ３０３、拡張現実シーンイメージャ３０１、および拡張現実ディスプレイ３０２のうちの１つ以上の動作を制御するために遠隔ユーザによって操作され得る。遠隔ディスプレイ３２４は、静止イメージャ２０１、拡張現実シーンイメージャ３０１、または１つ以上の他のソース（例えば、プロセッサ１０５に関連付けられたデータ記憶デバイスから、あるいは遠隔ユーザがアクセスできる別のソースから検索されたターゲット物体１０に関連する画像または他のドキュメント）のうちの１つ以上からの画像を表示するために使用され得る。ターゲット物体１０の取得画像を遠隔ディスプレイ３２４上で見ている遠隔ユーザは、ユーザコントロール３２２を操作して、表示された画像上のターゲット場所（ターゲット領域２０）を示し、ビームプロジェクタ３０３に物理層マーキング３０７を示された場所に投影させ得る。ターゲット物体１０の取得画像を遠隔ディスプレイ３２４上で見ている遠隔ユーザは、ユーザコントロール３２２を操作して、表示された画像上の選択された場所を示し、拡張現実ディスプレイ３０２に注釈３１０を選択された場所に表示させ得る。例えば、拡張現実ディスプレイ３０２は、拡張現実ディスプレイ３０２の半透明シースルーコンポーネント上に注釈を投影するように構成されたプロジェクタを含んでもよく、または、そうでなければ（例えば、液晶ディスプレイまたは他の方法を用いて）注釈３１０を拡張現実ディスプレイ３０２上に表示するように構成されてもよい。
【0082】
多層システム３００では、ターゲット物体１０のターゲット領域２０は、ビームプロジェクタ３０３（これは、図２Ｂの第２の指向性照明源２０３と同一または同様であり得る）によって投射される投影ビーム３０４を用いて物理層マーキング３０７でマークされ得る。例えば、ビームプロジェクタ３０３の操作は、プログラムされた命令に従って自動的に、または多層システム３００のユーザ（例えば、遠隔ユーザ）によって操作される制御装置に応答して、プロセッサ１０５によって制御され得る。
【0083】
場合によっては、ビームプロジェクタ３０３は、静止イメージャ２０１（例えば、独立して移動可能または回転可能であるが単一のスタンドに取り付けられている）を含む単一の静止ユニット３１２の一部であってもよい。場合によっては、多層システム３００は、例えば、追加の静止位置または可動位置に位置付けられた、２つ以上の静止ユニット３１２を含み得る。例えば、追加の静止ユニット３１２は、現地ユーザまたは別の人により、例えば、肩または胴体に着用されてもよい。場合によっては、ビームプロジェクタ３０３および静止イメージャ２０１は、互いに独立して配置され得る別個のユニットであってもよい。場合によっては、ビームプロジェクタ３０３は、投影ビーム３０４の方向を制御するためにアクチュエータによって移動可能または回転可能な１つ以上のミラー、レンズ、プリズム、または他の要素の光学システムを備え得る。ビームプロジェクタ３０３は、投影ビーム３０４を放出するためのレーザ源または別の源（例えば、コリメート光学系を備えた拡散光源）を含み得る。ビームプロジェクタ３０３は、物理層マーキング３０７を輪郭、図、記号、英数字、または他のパターンの形でターゲット物体１０上に投影するために、投影ビーム３０４をラスターパターンまたは他のパターンで移動させるように操作され得るピコプロジェクタまたはミニプロジェクタを含み得る。
【0084】
加えて、多層システム３００のプロセッサ１０５は、拡張現実ディスプレイ３０２上に注釈３１０を表示するように構成され得る。典型的には、拡張現実ディスプレイ３０２は、多層システム３００の現地ユーザが装着することができるヘッドセット３０６に組み込まれる。ヘッドセット３０６のゴーグルは、現地ユーザが拡張現実ディスプレイ３０２を介してターゲット領域２０および物理層マーキング３０７を含むターゲット物体１０を直接見ることを可能にするように、十分に透明（または半透明）であり得る。拡張現実ディスプレイ３０２は、注釈３１０をゴーグルに投影するか、そうでなければ表示するように構成された、プロジェクタまたは他のコンポーネントを含む。このため、現地ユーザは、拡張現実ディスプレイ３０２上に表示された注釈３１０を、ターゲット物体１０の直接ビューにスーパーインポーズされた、または上重ねされたものとして見ることができる。注釈は、英数字、記号（例えば、矢印または他の記号）、輪郭、図面または図、強調表示（例えば、関心のある区域をカバーする領域の色合い）、または他の注釈を含み得る。
【0085】
プロセッサ１０５は、コンピュータまたは処理回路などの１つ以上の別個の処理ユニットを含み得る。別個の処理ユニットの一部またはすべては、例えば、有線（電気ケーブルまたは光ケーブル）または無線通信チャネルを介して相互通信するように構成され得る。場合によっては、別個の処理ユニットのうちの１つ以上のが、自律的に、かつ他の処理ユニットとは独立して動作するように構成され得る。例えば、ヘッドセット３０６は、ヘッドセット３０６の拡張現実ディスプレイ３０２を制御するように構成されたまたは専用となる処理ユニットを含み得る。静止ユニット３１２は、静止イメージャ２０１およびビームプロジェクタ３０３の操作の間の連携（例えば、閉ループの連携）を容易にするための処理ユニット（例えば、処理回路）を含み得る（例えば、静止イメージャ２０１によって取得された画像上で識別された正しいターゲット領域に物理層マーキング３０７を投影することを確実にするために）。
【0086】
場合によっては、ヘッドセット３０６は、オーディオスピーカーまたはヘッドホン、ヘッドセット３０６の向きを示すポインティングデバイスビーム、または他のコンポーネント（例えば、プロセッサ１０５の一部または全部、電源、または他のコンポーネント）を含み得る。場合によっては、ヘッドセット３０６は、現地ユーザの目３３０（典型的には、両方の目を表すものとして理解される）の視線方向の計算を支援するために目３３０を撮像するように構成された背面カメラを含み得る。
【0087】
典型的には、ヘッドセット３０６はまた、ヘッドセット３０６および拡張現実ディスプレイ３０２の前にあるシーンの画像を取得するように構成された少なくとも１つの拡張現実シーンイメージャ３０１を含み得る。拡張現実シーンイメージャ３０１は、拡張現実ディスプレイ３０２に対して固定され得る。典型的には、拡張現実シーンイメージャ３０１は、拡張現実シーンイメージャ３０１の視野が、（例えば、ゴーグルの）拡張現実ディスプレイ３０２を介して現地観察者が見るものと少なくともほぼ一致するように、方向付けられ、かつ（例えば、適切なレンズ焦点距離で）調整され得る。現地ユーザの頭が回転するか、別の方法で移動するとき、拡張現実シーンイメージャ３０１は、そのために拡張現実ディスプレイ３０２と連動して移動し得る。
【0088】
代替的にまたは拡張現実シーンイメージャ３０１に加えて、ヘッドセット３０６は、ヘッドセット３０６の方向を示すビーム（例えば、ビーム１０４）を投影するように構成された、ヘッドセットビームプロジェクタ（例えば、図１に示されるような指向性照明源１０３であって、明確さのために図３には示されていない）を含み得る。
【0089】
注釈３１０は、ターゲット物体１０の特定の部分または領域に関連し得る。例えば、注釈３１０は、部品または領域の識別を支援し得、部品または領域に対する操作を操縦または実行する際に現地にガイダンスを提供し得、またはそうでなければ部品または領域に関連し得る。したがって、プロセッサ１０５は、拡張現実ディスプレイ３０２によって表示される注釈３１０を、現地ユーザの目３３０によって現在見られているシーンと位置合わせするように構成され得る。
【0090】
静止イメージャ２０１の視野２０２は、ターゲット物体１０の画像を取得するように、現地ユーザによってまたは遠隔ユーザによって調整（例えば、方向付け、ズーム、またはその両方）され得る。典型的には、静止イメージャ２０１の視野２０２は、ビームプロジェクタ３０３によってマークされ得る少なくともターゲット物体１０の領域を含む空間の領域を完全にカバーするのに十分に大きい。場合によっては、視野２０２は、拡張現実シーンイメージャ３０１の視野（拡張現実ディスプレイ３０２）よりも広くてもよい。多層システム３００の遠隔ステーション３２０における遠隔ユーザは、静止イメージャ２０１によって取得されたターゲット物体１０の画像を遠隔ディスプレイ３２４上で見ることができる。次に、遠隔ユーザは、ユーザコントロール３２２を操作して、物理層マーキング３０７によってマークされるべき選択された場所を画像上に示し得る。遠隔ユーザはまた、ユーザコントロール３２２を操作して、拡張現実ディスプレイ３０２上に表示されるべきで注釈３１０のコンテンツを示し得る。
【0091】
プロセッサ１０５は、注釈３１０の選択された場所およびコンテンツの指示を受信するように構成され得る。プロセッサ１０５は、静止イメージャ２０１および拡張現実シーンイメージャ３０１の各々によって取得されたターゲット物体１０の画像を分析し、取得された画像の各々における１つ以上の物理層マーキング３０７の画像を識別するように構成され得る。
【0092】
図３に模式的に示されている例では、注釈３１０は、物理層マーキング３０７にスーパーインポーズされて目３３０によって見える。この場合、プロセッサ１０５は、拡張現実シーンイメージャ３０１によって取得された画像（または、ヘッドセットマウントビームプロジェクタによって投射されたビーム）を分析して、ターゲット物体１０および物理層マーキング３０７に対するヘッドセット３０６の向きを決定し得る。例えば、目３３０が物理層マーキング３０７を直接見ていると仮定し得る。ヘッドセット３０６の向きが物理層マーキング３０７に直接向いていない場合、物理層マーキング３０７の方向からのヘッドセット３０６の角度ずれは、ヘッドセット３０６が面する方向から離れた目３３０の回転に等しいと想定され得る。この情報を使用して、注釈３１０は、目３３０と物理層マーキング３０７とを結ぶ直線上にあると計算された場所で拡張現実ディスプレイ３０２上に表示され得る。
【0093】
場合によっては、注釈３１０を表示するための拡張現実ディスプレイ３０２の操作の前に、位置合わせ較正手順が行われ得る。
【0094】
例えば、現地ユーザは、目３３０が物理層マーキング３０７に向かって真正面を向いている間に、投影された物理層マーキング３０７に面する（例えば、ヘッドセット３０６を向ける）ように要求され得る。次に、注釈３１０を拡張現実ディスプレイ３０２上に表示し得る。拡張現実ディスプレイ３０２上の注釈３１０の場所は、注釈３１０が物理層マーキング３０７にスーパーインポーズされて見えると現地ユーザが報告するまで、（例えば、現地ユーザによって操作される制御によって、または現地ユーザと通信している遠隔ユーザによって）調整され得る。このようにして、目３３０と拡張現実ディスプレイ３０２との間のベースライン位置合わせが確立され得る。
【0095】
位置合わせ較正手順の別の例として、複数の物理層マーキング３０７が（例えば、異なる色または形状の投影ビーム３０４で）同時に投影されるか、静止イメージャ２０１および拡張現実シーンイメージャ３０１による画像取得と連携したシーケンスで順次投影されてもよい。現地ユーザは、これらの投影された物理層マーキング３０７のうちの１つ以上を見るように求められ得る。プロセッサ１０５は、拡張現実シーンイメージャ３０１によって見られるように、識別された物理層マーキング３０７を利用して、ターゲット物体１０に対して静止している座標系（例えば、グローバルまたはローカル座標系）の座標を識別し得る。場合によっては、プロセッサ１０５は、既知のターゲット物体１０の表面の図面またはデジタル記述（例えば、３次元モデル）を利用して、物理層マーキング３０７の３次元座標を識別し得る。場合によっては、プロセッサ１０５は、ターゲット物体１０の（例えば、既知の曲率の）表面にわたって既知の速度で走査される物理層マーキング３０７の順次取得された画像を利用して、物理層マーキング３０７が投影される表面の傾斜角を計算し、それによりイメージャ（静止イメージャ２０１または拡張現実シーンイメージャ３０１）と物理層マーキング３０７との間の相対距離を計算し得る（したがって、取得された画像における物理層マーキング３０７の画像の（ピクセル）座標によって導出され得る２次元に加えて、第３の次元を提供する）。
【0096】
例えば、静止座標系は、１つ以上の静止イメージャ２０１によって取得される画像に基づき得る。注釈３１０のための選択された場所が遠隔ユーザによって（例えば、ターゲット物体１０の表示された画像上に）示されるとき、その注釈３１０（例えば、遠隔ユーザによって入力されたコンテンツを有する）は、拡張現実ディスプレイ３０２によって、静止座標系に従って決定されたターゲット物体１０に対する場所に表示され得る。このため、注釈３１０は、例えば遠隔ユーザによって示された、ターゲット物体１０に対して選択された場所で拡張現実ディスプレイ３０２上に表示されるので現地ユーザによって知覚され得る。
【0097】
多層システム３００におけるターゲット物体１０との注釈３１０の重ね合わせは、物理層マーキングを欠くシステムにおける重ね合わせよりも正確かつ単純であり得る。物理層マーキングを欠くシステムでは、注釈とターゲット物体との位置合わせは、拡張現実ディスプレイのみの視認方向に基づき得、例えば、ヘッドセットマウントイメージャの視野を静止イメージャの視野と比較することに基づく。そのような場合、現地ユーザの視線の方向がヘッドセットマウントイメージャのポインティング方向と一致しない（例えば、ヘッドセットは右を指しユーザの目を左に向けている）場合、注釈はターゲット物体に対して正しい位置で知覚されないことがある（例えば、右に遠すぎる）。
【0098】
いくつかの拡張現実ゴーグルには、ゴーグルに対する瞳孔の位置を検出するために、瞳孔位置センサ（例えば、着用者の目に向いているカメラ）が備えられている。拡張現実シーンイメージャ３０１による物理層マーキング３０７の検出を瞳孔位置センサからのデータと組み合わせることにより、瞳孔位置センサのみを使用して可能であるよりも優れた精度で、かつより簡単な（またはより速い）アルゴリズムで注釈３１０の正確な位置決めが可能になり得る。
【0099】
多層システム３００によって可能になる注釈３１０の改善された重ね合わせは、注釈３１０が、あいまいさまたは間近な特徴を回避しながら、ターゲット物体１０の１つ以上のコンポーネントを概説しまたは強調することを可能にし得る。（典型的な拡張現実システムでは、コンポーネント合成画像が、見えるコンポーネントの上または横に、または、コンポーネントがそのような画像であることを概説または強調することによって表示される。）
【0100】
多層システム３００は、ターゲット物体１０の関心のあるすべての区域上に物理層マーキング３０７の配置を可能にするように、ビームプロジェクタ３０３の位置決めを容易にするように構成され得る。
【0101】
例えば、物理層マーキング３０７は、ラスターパターンなどの所定のパターンでターゲット物体１０の表面の上を自動的に走査されてもよい。走査中に、静止イメージャ２０１によって、および拡張現実シーンイメージャ３０１によって取得された物理層マーキング３０７の連続した画像は、投影ビーム３０４が（例えば、ターゲット物体１０の他のコンポーネントによる、または付近の他の物体によるシャドウイングのために）到達できないターゲット物体１０上の位置を検出し得る。同様に、プロセッサ１０５が、静止イメージャ２０１および拡張現実シーンイメージャ３０１のうちの一方には見えるが、他方には見えない、ターゲット物体１０の領域を検出する場合がある。そのような領域の自動識別は、そのような領域（または「盲点」）の発生を排除または低減するために、静止イメージャ２０１およびターゲット物体１０のうちの１つ以上の再配置を容易にし得る。
【0102】
そのような領域（「盲点」）の発生が避けられない場合（例えば、ターゲット物体１０の３次元構造のために、または障害物や壁の存在のために）、追加のビームプロジェクタ、静止イメージャ、または静止ユニット（例えば、ビームプロジェクタ３０３、静止イメージャ２０１、または静止ユニット３１２に加えて）が提供されてもよい。プロセッサ１０５は、静止イメージャ２０１では見えない、またはビームプロジェクタ３０３の投影ビーム３０４で到達できないターゲット物体１０の部分に物理層マーキング３０７が見えるようにまたは適用され得るように、追加コンポーネントの位置決めを支援するように構成され得る。
【0103】
プロセッサ１０５は、ターゲット物体１０の領域上に物理層マーキング３０７の投影を可能にするために、必要に応じて、異なる静止イメージャまたはビームプロジェクタの間で自動的に切り替わるように構成され得る。そのような切り替え機能はまた、例えば、ツールまたは物体の挿入によって、現地ユーザによる操縦によって、ターゲット物体１０の再成形によって（例えば、カバーの開閉、部品の取り外しや追加、または他の方法による）、または他の状況下で、１つの投影ビーム３０４が（一時的に）ブロックされている場合にも、物理層マーキング３０７の継続的な適用を可能にし得る。
【0104】
場合によっては、投影ビーム３０４、拡張現実ディスプレイ３０２による注釈３１０が、物理層マーキング３０７の代わりになり得る。
【0105】
典型的には、ビームプロジェクタ３０３は安定した様態で取り付けられるので、物理層マーキング３０７は、３次元表面の典型的な拡張現実マーキングよりも正確であり得る。ターゲット物体１０の表面の上の物理層マーキング３０７の初期走査中に、ターゲット物体１０の表面の各領域の傾斜角を領域の位置と相関させる（例えば、物理層マーキング３０７の画像化された走査速度を投影ビーム３０４の実際の走査速度と比較することによって、またはその他の方法で）ターゲット物体１０のマップが作成され得る。ターゲット物体１０の表面の詳細な知識は、物理層マーキング３０７の正確な位置決めを可能にし得る。
【0106】
図４は、本発明の実施形態による、多層ビューイングシステムの操作の方法を示すフローチャートである。
【0107】
本明細書で参照される任意のフローチャートに関して、図示された方法の、フローチャートのブロックによって表された個別の操作への分割は、便宜および明確さのためだけに選択されていることを理解されたい。図示された方法の個別の操作への代替的分割が、可能であり同等の結果を有する。図示された方法の個別の操作へのそのような代替的分割は、図示された方法の他の実施形態を表すものとして理解されるべきである。
【0108】
同様に、別段の指示がない限り、本明細書で参照されるフローチャートのブロックによって表される操作の実行の図示された順序は、便宜および明確さのためだけに選択されていることを理解されたい。図示された方法の操作は、代替的順序で、または同時に実行されてもよく、同等の結果を有する。図示された方法の操作のそのような並べ替えは、図示された方法の他の実施形態を表すものとして理解されるべきである。
【0109】
多層操作方法４００は、例えば、拡張現実ディスプレイ３０２上に注釈３１０を表示するという遠隔ユーザによる要求に応答して、多層システム３００のプロセッサ１０５によって実行され得る。
【0110】
多層操作方法４００の実行の前に、初期重ね合わせ較正手順が行われ得る。典型的には、初期重ね合わせ較正手順は、ターゲット物体１０上への１つ以上の物理層マーキング３０７の投影、およびヘッドセット３０６を装着している現地ユーザによる１つ以上の応答またはアクションの要求を含み得る。例えば、そのような応答は、物理層マーキング３０７に向き合って見るステップ、注釈３１０を物理層マーキング３０７と位置合わせすることを支援するステップ、または他のアクションを含み得る。初期重ね合わせ較正手順は、現地ユーザがヘッドセット３０６を装着していて、ターゲット物体１０に作業を開始する位置にいるときに行われ得る。場合によっては、例えば、ヘッドセット３０６が現地ユーザの頭から取り外されて交換されたとき、またはヘッドセット３０６が滑ったか、さもなければ現地ユーザの頭の上で動かされたとき、または他の状況で、初期重ね合わせ較正手順が繰り返されることがある。
【0111】
ビームプロジェクタ３０３は、１つ以上の物理層マーキング３０７をターゲット物体１０上に投影するように操作され得る（ブロック４１０）。投影された物理層マーキング３０７は、ターゲット物体１０のターゲット領域２０でターゲット物体１０上に投影され得る。例えば、遠隔ステーションの遠隔ユーザは、投影ビーム３０４の方向を制御するためにユーザコントロール３２２を操作し得る。
【0112】
ターゲット領域２０または物理層マーキング３０７に対して選択された場所に注釈３１０を表示するための命令が（例えば、遠隔ステーション３２０から）受信され得る（ブロック４２０）。例えば、遠隔ユーザは、静止イメージャ２０１によって取得されたターゲット物体１０の画像および物理層マーキング３０７を表示している遠隔ディスプレイ３２４上でターゲット物体１０見ることができる。遠隔ユーザは、ユーザコントロール３２２を操作して、表示された画像上の場所をマークし得（例えば、注釈３１０が表示される物理層マーキング３０７またはその近くに）、かつ注釈３１０のコンテンツを入力し得る。
【0113】
拡張現実ディスプレイ３０２の向きが決定され得る（ブロック４３０）。例えば、ターゲット物体１０の画像および１つ以上の物理層マーキング３０７（例えば、同時にまたは順次に表示される）が、拡張現実シーンイメージャ３０１によって取得され得る。次に、プロセッサ１０５は、画像処理技術を適用して、ヘッドセット３０６が向いている方向を決定し得る。別の例として、ターゲット物体１０の画像および物理層マーキング３０７は、ヘッドセット３０６に組み込まれている、または結合されている指向性照明源１０３によって放出されるビーム１０４によって形成されるマーキングと共に、静止イメージャ２０１によって取得され得る。２つの撮像されたビームの相対的な場所は、物理層マーキング３０７に対する拡張現実ディスプレイ３０２の向きを示し得る。
【0114】
プロセッサ１０５は、例えば、初期重ね合わせ較正手順またはその他の方法に基づいて、拡張現実ディスプレイ３０２を見ている現地ユーザの目３３０が、ターゲット物体１０に対して選択された場所に表示される注釈３１０を知覚し得るように、拡張現実ディスプレイ３０２上に注釈３１０を表示するための表示場所を計算し得る（ブロック４４０）。例えば、プロセッサ１０５は、取得した画像を分析して、ヘッドセット３０６の対面方向と物理層マーキング３０７に向かう実際の方向との間の角度ずれを計算し、かつ拡張現実ディスプレイ３０２上に注釈３１０を表示するための場所を計算し得、それにより、目３３０が、ターゲット物体１０または物理層マーキング３０７に対して選択された場所でターゲット物体１０上にスーパーインポーズされたものとして注釈３１０を見ると期待される。
【0115】
次に、プロセッサ１０５は、拡張現実ディスプレイ３０２に、計算された表示位置に注釈３１０を表示させて、物理層マーキング３０７の画像に対して示された位置で知覚されるようにする（ブロック４５０）。
【0116】
本明細書では本発明の特定の特徴が図示され、説明されてきたが、当業者には、多くの修正、置換、変更、および同等物が思い浮かぶであろう。したがって、添付の特許請求の範囲は、本発明の真の精神に収まるように、全てのそのような修正および変更を網羅することを意図していることを理解されたい。
【0117】
様々な実施形態が提示されてきた。もちろん、これらの実施形態の各々は、提示された他の実施形態からの特徴を含み得、具体的に説明されていない実施形態が、本明細書で説明されている様々な特徴を含み得る。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【手続補正書】
【提出日】2022-04-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
多層ビューイングシステムであって、
ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、
１つ以上の物理層マーキングを前記ターゲット物体のターゲット領域に投影するように制御可能な静止ビームプロジェクタと、
拡張現実ディスプレイおよび前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットであって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通して前記ターゲット物体を直接見ることを可能にするのに十分に透明であり、前記現地ユーザに直接見えるように、直接見える前記ターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該ヘッドセットと、
プロセッサであって、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取り、
前記シーン画像内の前記１つ以上の物理層マーキングの画像を識別することによって、または、前記１つ以上の物理層マーキングの画像、および前記静止イメージャによって取得される画像内の前記ヘッドセットビームによって形成されるマークの画像を識別することによって、前記拡張現実ディスプレイの向きを決定し、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算し、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示する、ように構成された、該プロセッサと、を備える、多層ビューイングシステム。
ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、
１つ以上の物理層マーキングを前記ターゲット物体のターゲット領域に投影するように制御可能な静止ビームプロジェクタと、
拡張現実ディスプレイおよび前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットであって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通して前記ターゲット物体を直接見ることを可能にするのに十分に透明であり、前記現地ユーザに直接見えるように、直接見える前記ターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該ヘッドセットと、
プロセッサであって、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取り、
前記シーン画像内の前記１つ以上の物理層マーキングの画像を識別することによって、または、前記１つ以上の物理層マーキングの画像、および前記静止イメージャによって取得される画像内の前記ヘッドセットビームによって形成されるマークの画像を識別することによって、前記拡張現実ディスプレイの向きを決定し、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算し、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示する、ように構成された、該プロセッサと、を備える、多層ビューイングシステム。
【請求項2】
前記静止ビームプロジェクタが、ユーザコントロールの操作によって制御可能である、請求項１に記載のシステム。
【請求項3】
前記ユーザコントロールが、前記静止イメージャによって取得される前記ターゲット物体の画像上の前記ターゲット領域の指示によって、遠隔ユーザが前記静止ビームプロジェクタを制御することを可能にする、請求項２に記載のシステム。
【請求項4】
ユーザコントロールが、前記静止イメージャによって取得される前記ターゲット物体の画像上の前記選択された場所の指示によって、前記選択された場所の入力を可能にするように構成されている、請求項１に記載のシステム。
【請求項5】
前記静止ビームプロジェクタが、レーザを備える、請求項１に記載のシステム。
【請求項6】
前記静止ビームプロジェクタが、パターンの形で前記物理層マーキングを投影するように構成されている、請求項１に記載のシステム。
【請求項7】
前記静止イメージャの視野が、前記物理層マーキングが前記静止ビームプロジェクタによって投影され得る少なくとも前記ターゲット物体の領域を完全にカバーするのに十分大きい、請求項１に記載のシステム。
【請求項8】
前記静止ビームプロジェクタが、前記ターゲット物体の表面の上で前記１つ以上の物理層マーキングを走査するようにさらに構成されている、請求項１に記載のシステム。
【請求項9】
前記プロセッサが、前記表面の傾斜角を計算するようにさらに構成されている、請求項８に記載のシステム。
【請求項10】
遠隔ステーションをさらに含む、請求項１に記載のシステム。
【請求項11】
前記遠隔ステーションが、遠隔ディスプレイおよびユーザコントロールを備える、請求項１０に記載のシステム。
【請求項12】
前記静止イメージャおよび前記静止ビームプロジェクタが、単一の静止ユニットに組み込まれている、請求項１に記載のシステム。
【請求項13】
少なくとも１つの追加のイメージャまたは少なくとも１つの追加のプロジェクタをさらに含む、請求項１に記載のシステム。
【請求項14】
前記プロセッサが、前記少なくとも１つの追加のイメージャを操作して、前記静止イメージャには見えないと識別された前記ターゲット物体の領域の画像を取得するか、または前記少なくとも１つの追加のプロジェクタを操作して、前記静止ビームプロジェクタによって放出されたビームにアクセスできないと識別された前記ターゲット物体の領域上にマーキングを投影するように、さらに構成されている、請求項１３に記載のシステム。
【請求項15】
静止イメージャと、静止ビームプロジェクタと、拡張現実ディスプレイおよび前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットと、を含む、ビューイングシステムの操作方法であって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするのに十分に透明であり、直接見える前記ターゲット物体上にスーパーインポーズされて見ることができる注釈を表示するように構成されており、
前記シーンイメージャを使用して、１つ以上の物理層マーキングが前記静止ビームプロジェクタによって前記ターゲット物体のターゲット領域上に投影されるときの前記ターゲット物体のシーン画像を、または前記静止イメージャを使用して、前記１つ以上の物理層マーキングおよび前記ヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取るステップと、
取得された前記シーン画像において、前記１つ以上の物理層マーキングの画像、または前記１つ以上の物理層マーキングの画像および前記ヘッドセットビームによって形成された前記マークの画像、を識別するステップと、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算するステップと、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示するステップと、を含む、方法。
前記シーンイメージャを使用して、１つ以上の物理層マーキングが前記静止ビームプロジェクタによって前記ターゲット物体のターゲット領域上に投影されるときの前記ターゲット物体のシーン画像を、または前記静止イメージャを使用して、前記１つ以上の物理層マーキングおよび前記ヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取るステップと、
取得された前記シーン画像において、前記１つ以上の物理層マーキングの画像、または前記１つ以上の物理層マーキングの画像および前記ヘッドセットビームによって形成された前記マークの画像、を識別するステップと、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算するステップと、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示するステップと、を含む、方法。
【請求項16】
前記ターゲット物体の前記シーン画像を取得するステップが、前記１つ以上の物理層マーキングのうちのある物理層マーキングが前記ターゲット物体の表面にわたって走査されるときに、複数の前記シーン画像を連続的に取得するステップを含む、請求項１５に記載の方法。
【請求項17】
連続して取得された前記シーン画像内の走査された前記物理層マーキングの前記画像の場所を識別することによって、前記表面の傾斜角を計算するステップをさらに含む、請求項１６に記載の方法。
【請求項18】
前記シーンイメージャを使用して取得する前に、重ね合わせ較正手順が実行される、請求項１５に記載の方法。
【請求項19】
前記重ね合わせ較正手順が、前記静止ビームプロジェクタを操作して、１つ以上の較正物理層マーキングを前記ターゲット物体に投影するステップを含む、請求項１８に記載の方法。
【請求項20】
前記重ね合わせ較正手順が、前記注釈が、そのマーキングにスーパーインポーズされるときに前記１つ以上の較正物理層マーキングのマーキングを見ている前記ヘッドセットのユーザに見えるように、前記拡張現実ディスプレイ上に較正注釈を表示するステップをさらに含む、請求項１９に記載の方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
本発明の実施形態に従って、ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、１つ以上の物理層マーキングをターゲット物体のターゲット領域に投影するように制御可能なビームプロジェクタ（静止ビームプロジェクタ）と、拡張現実ディスプレイおよび拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットであって、拡張現実ディスプレイが、ヘッドセットを装着している現地ユーザが拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするのに十分に透明であり、現地ユーザに見えるように直接見えるターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該ヘッドセットと、プロセッサであって、注釈の表示のための、ターゲット領域に対して選択された場所を受け取り、シーン画像内の１つ以上の物理層マーキングの画像を識別することによって、または、１つ以上の物理層マーキングの画像、および静止イメージャによって取得される画像内のヘッドセットビームによって形成されたマークの画像、を識別することによって、拡張現実ディスプレイの向きを決定し、注釈が、ターゲット領域に対して選択された場所の位置に表示されるときに、現地ユーザによって知覚可能であるように、拡張現実ディスプレイ上に注釈を表示するための表示位置の場所を計算し、計算された表示場所で拡張現実ディスプレイ上に注釈を表示する、ように構成された、該プロセッサと、を含む、多層ビューイングシステムが提供されている。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【0021】
本発明の実施形態によれば、静止イメージャと、ビームプロジェクタ（静止ビームプロジェクタ）と、拡張現実ディスプレイおよび拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットと、を含む、ビューイングシステムの操作方法がさらに提供されており、拡張現実ディスプレイは、ヘッドセットを装着している現地ユーザが拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするように十分透明であり、直接見えるターゲット物体上にスーパーインポーズされて見ることができる注釈を表示するように構成されており、本方法は、シーンイメージャを使用して、１つ以上の物理層マーキングがビームプロジェクタによってターゲット物体のターゲット領域上に投影されるときのターゲット物体のシーン画像を、または静止イメージャを使用して、１つ以上の物理層マーキングおよびヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、注釈の表示のための、ターゲット領域に対して選択された場所を受け取るステップと、取得されたシーン画像において、１つ以上の物理層マーキングの画像、または１つ以上の物理層マーキングの画像およびヘッドセットビームによって形成されたマークの画像、を識別するステップと、注釈が、ターゲット領域に対して選択された位置に表示されるときに、現地ユーザによって知覚可能であるように、拡張現実ディスプレイ上に注釈を表示するための表示位置の場所を計算するステップと、計算された表示場所で拡張現実ディスプレイ上に注釈を表示するステップと、を含む。
【手続補正書】
【提出日】2022-07-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
多層ビューイングシステムであって、
ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、
１つ以上の物理層マーキングを前記ターゲット物体のターゲット領域に投影するように制御可能な静止ビームプロジェクタと、
前記静止イメージャおよび前記静止ビームプロジェクタとは別個のヘッドセットであって、
拡張現実ディスプレイであって、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通して前記ターゲット物体を直接見ることを可能にするのに十分に透明であり、前記現地ユーザに直接見えるように、直接見える前記ターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該拡張現実ディスプレイ、および
前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含む、該ヘッドセットと、
プロセッサであって、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取り、
前記シーン画像内の前記１つ以上の物理層マーキングの画像を識別することによって、または、前記静止イメージャによって取得される画像内における、前記１つ以上の物理層マーキングに対する前記ヘッドセットビームによって形成されるマークの前記場所に基づいて、前記拡張現実ディスプレイの向きを決定し、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算し、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示する、ように構成された、該プロセッサと、を備える、多層ビューイングシステム。
ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、
１つ以上の物理層マーキングを前記ターゲット物体のターゲット領域に投影するように制御可能な静止ビームプロジェクタと、
前記静止イメージャおよび前記静止ビームプロジェクタとは別個のヘッドセットであって、
拡張現実ディスプレイであって、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通して前記ターゲット物体を直接見ることを可能にするのに十分に透明であり、前記現地ユーザに直接見えるように、直接見える前記ターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該拡張現実ディスプレイ、および
前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含む、該ヘッドセットと、
プロセッサであって、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取り、
前記シーン画像内の前記１つ以上の物理層マーキングの画像を識別することによって、または、前記静止イメージャによって取得される画像内における、前記１つ以上の物理層マーキングに対する前記ヘッドセットビームによって形成されるマークの前記場所に基づいて、前記拡張現実ディスプレイの向きを決定し、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算し、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示する、ように構成された、該プロセッサと、を備える、多層ビューイングシステム。
【請求項2】
前記静止ビームプロジェクタが、ユーザコントロールの操作によって制御可能である、請求項１に記載のシステム。
【請求項3】
前記ユーザコントロールが、前記静止イメージャによって取得される前記ターゲット物体の画像上の前記ターゲット領域の指示によって、遠隔ユーザが前記静止ビームプロジェクタを制御することを可能にする、請求項２に記載のシステム。
【請求項4】
ユーザコントロールが、前記静止イメージャによって取得される前記ターゲット物体の画像上の前記選択された場所の指示によって、前記選択された場所の入力を可能にするように構成されている、請求項１に記載のシステム。
【請求項5】
前記静止ビームプロジェクタが、レーザを備える、請求項１に記載のシステム。
【請求項6】
前記静止ビームプロジェクタが、パターンの形で前記物理層マーキングを投影するように構成されている、請求項１に記載のシステム。
【請求項7】
前記静止イメージャの視野が、前記物理層マーキングが前記静止ビームプロジェクタによって投影され得る少なくとも前記ターゲット物体の領域を完全にカバーするのに十分大きい、請求項１に記載のシステム。
【請求項8】
前記静止ビームプロジェクタが、前記ターゲット物体の表面の上で前記１つ以上の物理層マーキングを走査するようにさらに構成されている、請求項１に記載のシステム。
【請求項9】
前記プロセッサが、前記表面の傾斜角を計算するようにさらに構成されている、請求項８に記載のシステム。
【請求項10】
遠隔ステーションをさらに含む、請求項１に記載のシステム。
【請求項11】
前記遠隔ステーションが、遠隔ディスプレイおよびユーザコントロールを備える、請求項１０に記載のシステム。
【請求項12】
前記静止イメージャおよび前記静止ビームプロジェクタが、単一の静止ユニットに組み込まれている、請求項１に記載のシステム。
【請求項13】
少なくとも１つの追加のイメージャまたは少なくとも１つの追加のプロジェクタをさらに含む、請求項１に記載のシステム。
【請求項14】
前記プロセッサが、前記少なくとも１つの追加のイメージャを操作して、前記静止イメージャには見えないと識別された前記ターゲット物体の領域の画像を取得するか、または前記少なくとも１つの追加のプロジェクタを操作して、前記静止ビームプロジェクタによって放出されたビームにアクセスできないと識別された前記ターゲット物体の領域上にマーキングを投影するように、さらに構成されている、請求項１３に記載のシステム。
【請求項15】
静止イメージャと、静止ビームプロジェクタと、拡張現実ディスプレイを含む、前記静止イメージャおよび前記静止ビームプロジェクタとは別個のヘッドセットであって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするのに十分に透明であり、直接見える前記ターゲット物体上にスーパーインポーズされて見ることができる注釈を表示するように構成されている、該ヘッドセットと、を含む、ビューイングシステムの操作方法であって、
前記ヘッドセットは、前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャ、または、前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを更に含み、
前記方法は、
前記シーンイメージャを使用して、１つ以上の物理層マーキングが前記静止ビームプロジェクタによって前記ターゲット物体のターゲット領域上に投影されるときの前記ターゲット物体のシーン画像を、または前記静止イメージャを使用して、前記１つ以上の物理層マーキングおよび前記ヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取るステップと、
取得された前記シーン画像内において、前記１つ以上の物理層マーキングの画像の場所に基づいて、または、前記静止イメージャによって取得される画像内において、前記１つ以上の物理層マーキングの画像に対する前記ヘッドセットビームによって形成された前記マークの前記場所に基づいて、前記拡張現実ディスプレイの向きを決定するステップと、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算するステップと、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示するステップと、を含む、方法。
前記ヘッドセットは、前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャ、または、前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを更に含み、
前記方法は、
前記シーンイメージャを使用して、１つ以上の物理層マーキングが前記静止ビームプロジェクタによって前記ターゲット物体のターゲット領域上に投影されるときの前記ターゲット物体のシーン画像を、または前記静止イメージャを使用して、前記１つ以上の物理層マーキングおよび前記ヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取るステップと、
取得された前記シーン画像内において、前記１つ以上の物理層マーキングの画像の場所に基づいて、または、前記静止イメージャによって取得される画像内において、前記１つ以上の物理層マーキングの画像に対する前記ヘッドセットビームによって形成された前記マークの前記場所に基づいて、前記拡張現実ディスプレイの向きを決定するステップと、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算するステップと、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示するステップと、を含む、方法。
【請求項16】
前記ターゲット物体の前記シーン画像を取得するステップが、前記１つ以上の物理層マーキングのうちのある物理層マーキングが前記ターゲット物体の表面にわたって走査されるときに、複数の前記シーン画像を連続的に取得するステップを含む、請求項１５に記載の方法。
【請求項17】
連続して取得された前記シーン画像内の走査された前記物理層マーキングの前記画像の場所を識別することによって、前記表面の傾斜角を計算するステップをさらに含む、請求項１６に記載の方法。
【請求項18】
前記シーンイメージャを使用して取得する前に、重ね合わせ較正手順が実行される、請求項１５に記載の方法。
【請求項19】
前記重ね合わせ較正手順が、前記静止ビームプロジェクタを操作して、１つ以上の較正物理層マーキングを前記ターゲット物体に投影するステップを含む、請求項１８に記載の方法。
【請求項20】
前記重ね合わせ較正手順が、前記注釈が、そのマーキングにスーパーインポーズされるときに前記１つ以上の較正物理層マーキングのマーキングを見ている前記ヘッドセットのユーザに見えるように、前記拡張現実ディスプレイ上に較正注釈を表示するステップをさらに含む、請求項１９に記載の方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
本発明の実施形態に従って、ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、１つ以上の物理層マーキングをターゲット物体のターゲット領域に投影するように制御可能なビームプロジェクタ（静止ビームプロジェクタ）と、静止イメージャおよび静止ビームプロジェクタとは別個のヘッドセットであって、拡張現実ディスプレイであって、ヘッドセットを装着している現地ユーザが拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするのに十分に透明であり、現地ユーザに直接見えるように、直接見えるターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該拡張現実ディスプレイ、および、拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含む、該ヘッドセットと、プロセッサであって、注釈の表示のための、ターゲット領域に対して選択された場所を受け取り、シーン画像内の１つ以上の物理層マーキングの画像を識別することによって、または、静止イメージャによって取得される画像内における、１つ以上の物理層マーキングに対するヘッドセットビームによって形成されるマークの場所に基づいて、拡張現実ディスプレイの向きを決定し、注釈が、ターゲット領域に対して選択された場所の位置に表示されるときに、現地ユーザによって知覚可能であるように、拡張現実ディスプレイ上に注釈を表示するための表示位置の場所を計算し、計算された表示場所で拡張現実ディスプレイ上に注釈を表示する、ように構成された、該プロセッサと、を含む、多層ビューイングシステムが提供されている。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【0021】
本発明の実施形態によれば、静止イメージャと、ビームプロジェクタ（静止ビームプロジェクタ）と、拡張現実ディスプレイを含む、静止イメージャおよび静止ビームプロジェクタとは別個のヘッドセットであって、拡張現実ディスプレイは、ヘッドセットを装着している現地ユーザが拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするように十分透明であり、直接見えるターゲット物体上にスーパーインポーズされて見ることができる注釈を表示するように構成されている、該ヘッドセットと、を含む、ビューイングシステムの操作方法がさらに提供されており、本方法は、シーンイメージャを使用して、１つ以上の物理層マーキングがビームプロジェクタによってターゲット物体のターゲット領域上に投影されるときのターゲット物体のシーン画像を、または静止イメージャを使用して、１つ以上の物理層マーキングおよびヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、注釈の表示のための、ターゲット領域に対して選択された場所を受け取るステップと、取得されたシーン画像内において、１つ以上の物理層マーキングの画像の場所に基づいて、または、静止イメージャによって取得される画像内において、１つ以上の物理層マーキングの画像に対するヘッドセットビームによって形成されたマークの場所に基づいて、拡張現実ディスプレイの向きを決定するステップと、注釈が、ターゲット領域に対して選択された位置に表示されるときに、現地ユーザによって知覚可能であるように、拡張現実ディスプレイ上に注釈を表示するための表示位置の場所を計算するステップと、計算された表示場所で拡張現実ディスプレイ上に注釈を表示するステップと、を含む。