特許 7575160 オブジェクトの選択の方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】オブジェクトの選択の方法及びシステム

(51)【国際特許分類】

   G06T 15/06 20110101AFI20241022BHJP

   G06F 3/01 20060101ALI20241022BHJP

   G06F 3/0346 20130101ALI20241022BHJP

【ＦＩ】

G06T15/06

G06F3/01 510

G06F3/0346 425

【請求項の数】 22

(21)【出願番号】P 2023536829

(86)(22)【出願日】2021-11-16

(65)【公表番号】

(43)【公表日】2024-01-10

(86)【国際出願番号】 CN2021131024

(87)【国際公開番号】W WO2022127479

(87)【国際公開日】2022-06-23

【審査請求日】2023-07-25

(31)【優先権主張番号】17/127,022

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ファン，スー ウエン

(72)【発明者】

【氏名】カーン，タスリム アルフィン

(72)【発明者】

【氏名】リ，ウエイ

【審査官】松永 隆志

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０２３５６４１（ＵＳ，Ａ１）

【文献】特開２０１８－０５５６４４（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６６６８２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０２２６８１４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／０６

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

オブジェクト又は位置を選択する方法であって、
少なくとも１つのセンサによって、第１ポジション及び第１方向を含む第１光線の第１原点と、第２ポジション及び第２方向を含む第２光線の第２原点とを取得することであり、前記第１原点及び前記第２原点は、ユーザの異なる身体部分に夫々関連する、ことと、
前記第１方向において前記第１ポジションで前記第１原点から投じられた前記第１光線と、前記第１光線が投じられているときに前記第２方向において前記第２ポジションで前記第２原点から投じられた前記第２光線との交点を取得することと、
前記交点に基づいて、選択されたオブジェクト又は選択された位置を識別することと、
前記選択されたオブジェクト又は前記選択された位置の識別を出力することと
を有する方法。

【請求項2】

前記選択されたオブジェクト又は前記選択された位置は、３Ｄエクステンデッドリアリティ（ＸＲ）環境内にあり、前記方法は、
前記第１光線又は前記第２光線の少なくとも一方が交わる前記３Ｄ ＸＲ環境内の１つ以上の交差仮想オブジェクトを識別することと、
前記１つ以上の交差仮想オブジェクトを半透明にするよう前記１つ以上の交差仮想オブジェクトの不透明度を調整することと
を更に有する、
請求項１に記載の方法。

【請求項3】

前記第１光線と前記第２光線との前記交点を取得することは、前記第１光線と前記第２光線との実際の交差点を計算することを含む、
請求項１又は２に記載の方法。

【請求項4】

前記第１光線と前記第２光線との前記交点を取得することは、前記第１光線と前記第２光線との投影された交差点を計算することを含み、前記第１光線及び前記第２光線はスキューである、
請求項１乃至３のうちいずれか一項に記載の方法。

【請求項5】

前記投影された交差点を計算することは、
前記第１光線と前記第２光線との間の最短ベクトルを計算することと、
前記最短ベクトル沿いの点を前記投影された交差点として計算することと
を含む、
請求項４に記載の方法。

【請求項6】

前記最短ベクトルの大きさが事前定義された閾値内になると決定した後に前記最短ベクトル沿いの前記点を計算することを更に有する、
請求項５に記載の方法。

【請求項7】

前記事前定義された閾値は、前記第１光線の前記第１原点又は前記第２光線の前記第２原点の少なくとも一方と前記投影された交差点との間の距離に関連する、
請求項６に記載の方法。

【請求項8】

前記選択されたオブジェクト又は前記選択された位置を識別することは、
１つ以上の暫定的に選択されたオブジェクト又は選択された位置を前記交点に基づいて識別することと、
前記１つ以上の暫定的に選択されたオブジェクト又は選択された位置の中からの１つの選択されたオブジェクト又は選択された位置の確認を受け取ることと
を有する、
請求項１乃至７のうちいずれか一項に記載の方法。

【請求項9】

前記１つ以上の暫定的に選択されたオブジェクト又は選択された位置を識別することは、
前記交点で、調整可能な所定の半径を有する球を投影することと、
前記投影された球に一致する前記１つ以上の暫定的に選択されたオブジェクト又は選択された位置を識別することと
を有する、
請求項８に記載の方法。

【請求項10】

前記第１光線の前記第１原点は、前記少なくとも１つのセンサによって、前記ユーザの第１身体部分の追跡された第１ポジション、向き又は姿勢に基づき取得され、
前記第２光線の前記第２原点は、少なくとも１つの同じ又は異なるセンサによって、前記ユーザの第２身体部分の追跡された第２ポジション、向き又は姿勢に基づき取得される、
請求項１乃至９のうちいずれか一項に記載の方法。

【請求項11】

前記選択されたオブジェクトは、３Ｄエクステンデッドリアリティ（ＸＲ）環境内でレンダリングされた仮想オブジェクトであるか、前記３Ｄ ＸＲ環境内の現実世界のオブジェクトであるか、又は物理環境内の現実世界のオブジェクトである、
請求項１乃至１０のうちいずれか一項に記載の方法。

【請求項12】

前記少なくとも１つのセンサは、
ハンドヘルドデバイスのセンサ、
ウェアラブルデバイスのセンサ、
スマートデバイスのセンサ、又は
トラッキングシステムのセンサ
のうちの少なくとも１つを含む、
請求項１乃至１１のうちいずれか一項に記載の方法。

【請求項13】

機械により実行可能な命令を記憶しているメモリへ結合される処理デバイスを有するコンピューティングシステムであって、
前記命令は、前記処理デバイスによって実行される場合に、前記コンピューティングシステムに、
少なくとも１つのセンサによって、第１ポジション及び第１方向を含む第１光線の第１原点と、第２ポジション及び第２方向を含む第２光線の第２原点とを取得することであり、前記第１原点及び前記第２原点は、ユーザの異なる身体部分に夫々関連する、ことと、
前記第１方向において前記第１ポジションで前記第１原点から投じられた前記第１光線と、前記第２方向において前記第２ポジションで前記第２原点から、前記第１光線が投じられているときに投じられた前記第２光線との交点を取得することと、
前記交点に基づいて、選択されたオブジェクト又は選択された位置を識別することと、
前記選択されたオブジェクト又は前記選択された位置の識別を出力することと
を実行させる、コンピューティングシステム。

【請求項14】

前記選択されたオブジェクト又は前記選択された位置は、３Ｄエクステンデッドリアリティ（ＸＲ）環境内にあり、前記命令は更に、前記コンピューティングシステムに、
前記第１光線又は前記第２光線の少なくとも一方が交わる前記３Ｄ ＸＲ環境内の１つ以上の交差仮想オブジェクトを識別することと、
前記１つ以上の交差仮想オブジェクトを半透明にするよう前記１つ以上の交差仮想オブジェクトの不透明度を調整することと
を実行させる、
請求項１３に記載のコンピューティングシステム。

【請求項15】

前記命令は、前記コンピューティングシステムに、前記第１光線と前記第２光線との実際の交差点を計算することによって前記第１光線と前記第２光線との前記交点を取得させる、
請求項１３又は１４に記載のコンピューティングシステム。

【請求項16】

前記命令は、前記コンピューティングシステムに、前記第１光線と前記第２光線との投影された交差点を計算することによって前記第１光線と前記第２光線との前記交点を取得させ、前記第１光線及び前記第２光線はスキューである、
請求項１３乃至１５のうちいずれか一項に記載のコンピューティングシステム。

【請求項17】

前記第１光線の前記第１原点は、前記少なくとも１つのセンサによって、前記ユーザの第１身体部分の追跡された第１ポジション、向き又は姿勢に基づき取得され、
前記第２光線の前記第２原点は、少なくとも１つの同じ又は異なるセンサによって、前記ユーザの第２身体部分の追跡された第２ポジション、向き又は姿勢に基づき取得される、
請求項１３乃至１６のうちいずれか一項に記載のコンピューティングシステム。

【請求項18】

前記選択されたオブジェクトは、３Ｄエクステンデッドリアリティ（ＸＲ）環境内でレンダリングされた仮想オブジェクトであるか、前記３Ｄ ＸＲ環境内の現実世界のオブジェクトであるか、又は物理環境内の現実世界のオブジェクトである、
請求項１３乃至１７のうちいずれか一項に記載のコンピューティングシステム。

【請求項19】

前記コンピューティングシステムは、
ヘッドマウンテッドディスプレイ（ＨＭＤ）デバイス、
ウェアラブルデバイス、
ハンドヘルドデバイス、
スマートデバイス、
トラッキングシステム、又は
デスクトップデバイス
のうちの１つである、
請求項１３乃至１８のうちいずれか一項に記載のコンピューティングシステム。

【請求項20】

機械により実行可能な命令を記憶しているコンピュータ可読媒体であって、
前記命令は、コンピューティングシステムの処理デバイスによって実行される場合に、前記コンピューティングシステムに、請求項１乃至１２のうちいずれか一項に記載の方法を実行させる、
コンピュータ可読媒体。

【請求項21】

コンピュータによって実行される場合に、前記コンピュータに、請求項１乃至１２のうちいずれか一項に記載の方法を実行させる命令を含むコンピュータプログラム。

【請求項22】

請求項１乃至１２のうちいずれか一項に記載の方法を実行する手段を有するデータ処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、エクステンデッドリアリティ環境における遠位オブジェクトの選択を含む、人間と電子デバイスとの相互作用のための方法及びシステムに関係がある。

【背景技術】

【0002】

エクステンデッドリアリティ（ＸＲ）は、人間であるユーザが、仮想である（つまり、コンピューティングシステムによって生成され、ユーザの現実の物理環境を反映していない）少なくともいくつかの感覚入力（例えば、視覚表示、オーディオサウンド、触覚フィードバック、など）を供給される種々の技術をカバーするよう意図される包括的な用語である。ＸＲは、仮想現実（ＶＲ）、拡張現実（ＡＲ）、及び複合現実（ＭＲ）を含む技術をカバーする。このように、ＸＲは、仮想のコンポーネント及び現実世界のコンポーネントを有する環境とユーザが相互作用する技術（例えば、ＡＲ又はＭＲ）に加えて、全体的にコンピュータにより生成されている環境とユーザが相互作用する技術（例えば、ＶＲ）をカバーする。仮想環境はシーンと呼ばれることがある。

【0003】

従来のデスクトップ又はタッチスクリーンシステムと比較したときのＸＲシステムの課題は、ユーザインタラクションのためのオブジェクト（仮想オブジェクトを含む）の位置がユーザの直ぐ近くにも単一の２Ｄ平面にも制限されず、むしろ、ユーザを囲む３Ｄ空間内に空間的に位置付けられることである。特に、オブジェクトは、ユーザのリーチ距離（又はモータ空間）の外にある距離に位置付けられる可能性がある。そのようなオブジェクトは遠位オブジェクトと呼ばれ得る。遠位オブジェクトとのインタラクションは、通常、遠位選択から始まり、ＸＲにおけるインタラクションの基礎となる。

【0004】

ＸＲ遠位選択のための現在の技術には、レイキャスティングがある。ＸＲ遠位選択のためのレイキャスティングの使用は、通常、ユーザのスタンドポイントからＸＲシーン内に仮想光線を投影することを伴う（キャスティングとも呼ばれる）。投じられた仮想光線がシーン内の遠位オブジェクトと交わるとき、そのオブジェクトは、暫定的に選択されたと見なされてよく、オブジェクトの選択は、ボタン押下、ジェスチャ、所定の時間の暫定的な選択の維持、又は他の技術により確認される。

【0005】

オブジェクト選択のための既存のレイキャスティング法の欠点には、ユーザにより近い他の仮想オブジェクトによって対象の遠位オブジェクトが部分的又は完全に遮られることがあり、これにより、投じられた仮想光線が対象の遠位オブジェクトに届くことが困難又は不可能にあることがあるという課題がある。ユーザは、ユーザのスタンドポイントを変えることによってレイキャスティングの原点を変えるよう求められる場合があり、あるいは、ユーザは、最初に遮蔽オブジェクト選択して遮蔽オブジェクトを動かすよう求められる場合があり、いずれも、ユーザにとって退屈又は不満である可能性がある。いくつかの既存のＸＲシステムは、仮想光線が遮蔽仮想オブジェクトを通して投じられることを可能にすることによって、遮蔽オブジェクトの問題を解決しようと試みるかもしれない。しかし、そのような解決策は、光線が所望の対象オブジェクトを選択ために投じられるべき深さ（又は距離）に関する情報をシステムが有さないことがあるという問題につながる。通常、所望の対象オブジェクトが光線によって到達されるまで光線深さを変えるようユーザがコントローラをスクロールすることなど、追加の曖昧さ回避ステップが、光線の有限な深さを正確に選択するために必要とされる。これもユーザにとって退屈である可能性があり、種々の深さでの多種多様なオブジェクトの選択にとって実際的でない可能性がある。

【0006】

オブジェクト選択のための既存のレイキャスティング法のもう１つの欠点は、ユーザからある角度で光線が投じられる場合に、原点でのレイキャスティングの角度のわずかな変化が遠位位置でのポジションの大きい変化になり得ることである。これは、遠位オブジェクトを選択しようと試みるときに正確度の悪化及び精度の悪化につながる可能性がある。いくつかのレイキャスティング法は、投じられた光線の角度に対応する円錐を投影して、投影された円錐内の全てのオブジェクトを選択することによって、この課題に対処しようとする。先と同じく、追加の曖昧さ回避ステップが、特定の所望のオブジェクトを選択するために必要とされる。これは、特に、仮想オブジェクトがＸＲ環境内で密に配置されている場合に、退屈であり非効率であり得る。

【0007】

同様の課題は、非ＸＲ環境（つまり、仮想オブジェクトがない物理環境）におけるオブジェクト選択を可能にするユーザインターフェースを提供する際に直面される。例えば、多くのユーザは、現在、コンピュータ対応可能な現実世界のオブジェクト（スマートオブジェクト又はスマートデバイスとも呼ばれる）を自宅に持っている。コンピュータ対応可能なオブジェクトを選択する（又は別なふうに相互作用する）典型的な方法には、オブジェクトを手動でアクティブ化すること（例えば、電源スイッチをオンすること）、ソフトウェアアプリケーションによりオブジェクトを選択すること、又はボイスコマンドを使用することがある。しかし、コンピュータ対応可能なオブジェクトの手動によるアクティブ化は、ユーザがオブジェクトの位置まで移動することを必要とすることがあり、これは時間がかかり及び／又は退屈である可能性あり、ソフトウェアアプリケーションによるオブジェクトの選択は、特定のソフトウェアメニューへのナビゲーションを必要とすることがあり、これも時間がかかり及び／又は退屈である可能性があり、ボイスコマンドの使用は、全ての環境で適切なわけでない可能性がある（例えば、ユーザは、聞かれたくないかもしれず、あるいは、ボイスコマンドが不明りょうになる騒々しい環境にいるかもしれない）。

【0008】

従って、ＸＲ環境におけるオブジェクトの選択を含む、オブジェクトのより正確かつ効率的な選択のための方法を及びシステムを適用することが有用であり得る。

【発明の概要】

【0009】

様々な例において、本開示は、オブジェクト又は位置のより正確かつ時間効率の良い選択を可能にする方法及びシステムについて記載する。開示されている方法及びシステムは、ＸＲ環境における又は物理環境におけるオブジェクトの選択を可能にする。開示されている方法及びシステムは、少なくとも２つの異なる原点からのレイキャスティングを使用することによって、非対象オブジェクトによる遮蔽の問題及び精度の欠如の問題を回避する。３Ｄ環境における光線の実際の交点（光線がスキューでない場合）又は投影された交点（光線がスキューである場合）が、選択されるオブジェクト又は位置を決定するために使用される。追加の曖昧さ回避ステップは、正確に選択されたオブジェクト又は位置を決定するために必要とされなくてもよい。選択は、暫定的な選択であってよく、更なるプロセス（例えば、確認ジェスチャ若しくは確認入力の受け取り、又はタイマの満了）が、オブジェクト又は位置の選択を確認するために使用されてもよい。これは、ＸＲ又は物理環境におけるオブジェクト又は位置のユーザ選択がより少ないユーザ入力により受け取られ得るので、ユーザインタラクションのより高速な処理を可能にするという技術的効果をもたらす。

【0010】

ＸＲ環境内で実装されるいくつかの例で、投じられた光線のより容易な視覚化を可能にするために、投じられた各光線の経路が交わる仮想オブジェクトは、より低い不透明度でレンダリングされてよい。仮想オブジェクトの不透明度は、光線方向の変化（例えば、ユーザが投じられた光線の原点を変える場合）に応答して動的に調整されてよい（例えば、半透明にされる）。選択された仮想オブジェクトのレンダリングも動的に調整されてよい（例えば、異なる色でレンダリングされる）。これは、ＸＲ環境が独自の方法でレンダリングされるという技術的効果をもたらし、これにより、ユーザは、如何なる遮蔽仮想オブジェクトにも関係なく、選択されたオブジェクト又は位置を視覚化することができる。

【0011】

本開示の例は、ＸＲシステム（ＡＲシステム、ＶＲシステム及び／又はＭＲシステム）はもちろん、ハンドヘルドデバイス（例えば、スマートフォン、タブレット、など）、ウェアラブルデバイス（例えば、スマートグラス、スマートウォッチ、スマートリング、など）、及び／又はデスクトップコンピューティングシステムなどの非ＸＲシステムでも実装されてよい。３Ｄ環境におけるオブジェクト又は位置の選択を伴う如何なるシステムも、本開示の例から恩恵を受け得る。

【0012】

いくつかの例で、本開示は、オブジェクトを選択する方法について記載する。方法は、少なくとも１つのセンサによって、第１ポジション及び第１方向を含む第１光線の第１原点と、第２ポジション及び第２方向を含む第２光線の第２原点とを取得することと、第１原点から投じられた第１光線と第２原点から投じられた第２光線との交点を決定することと、決定された交点に基づいて、選択されたオブジェクト又は選択された位置を識別することと、選択されたオブジェクト又は選択された位置の識別を出力することとを含む。

【0013】

上記の例のいずれかで、選択されたオブジェクト又は選択された位置は、エクステンデッドリアリティ（ＸＲ）環境内にあってよく、方法は、第１光線又は第２光線の少なくとも一方が交わるＸＲ環境内の１つ以上の交差仮想オブジェクトを識別することと、１つ以上の交差仮想オブジェクトを半透明にするよう１つ以上の交差仮想オブジェクトの不透明度を調整することとを含んでもよい。

【0014】

上記の例のいずれかで、第１光線と第２光線との交点を決定することは、第１光線と第２光線との実際の交差点を計算することを含んでよい。

【0015】

上記の例のいずれかで、第１光線と第２光線との交点を決定することは、第１光線と第２光線との投影された交差点を計算することを含んでよく、第１光線及び第２光線はスキューである。

【0016】

上記の例のいずれかで、投影された交差点を計算することは、第１光線と第２光線との間の最短ベクトルを計算することと、最短ベクトル沿いの点を投影された交差点として計算することとを含んでよい。

【0017】

上記の例のいずれかで、方法は、最短ベクトルの大きさが事前定義された閾値内になると決定した後に最短ベクトル沿いの点を計算することを含んでよい。

【0018】

上記の例のいずれかで、選択されたオブジェクトを識別することは、決定された交点に基づいて、１つ以上の暫定的に選択されたオブジェクトを識別することと、１つ以上の暫定的に選択されたオブジェクトの中からの１つの選択されたオブジェクトの確認を受け取ることとを含んでよい。

【0019】

上記の例のいずれかで、１つ以上の暫定的に選択されたオブジェクトを識別することは、決定された交点から所定の半径を有する球を投影することと、投影された球に一致する１つ以上の暫定的に選択されたオブジェクトを識別することとを含んでよい。

【0020】

上記の例のいずれかで、第１原点は、少なくとも１つのセンサによって、ユーザの第１身体部分の追跡された第１ポジション、向き又は姿勢に基づき取得されてよく、第２原点は、少なくとも１つの同じ又は異なるセンサによって、ユーザの第２身体部分の追跡された第２ポジション、向き又は姿勢に基づき取得されてよい。

【0021】

上記の例のいずれかで、第１身体部分及び第２身体部分は夫々、ユーザの頭、第１の手、又は第２の手から選択されてよく、第１身体部分及び第２身体部分は、ユーザの異なる身体部分であってよい。

【0022】

上記の例のいずれかで、選択されたオブジェクトは、エクステンデッドリアリティ（ＸＲ）環境内でレンダリングされた仮想オブジェクトであってよく、あるいは、ＸＲ環境内の現実世界のオブジェクトであってよい。

【0023】

上記の例のいずれかで、選択されたオブジェクトは、物理環境内の現実世界のオブジェクトであってよい。

【0024】

上記の例のいずれかで、少なくとも１つのセンサは、ハンドヘルドデバイスのセンサ、ウェアラブルデバイスのセンサ、スマートデバイスのセンサ、又はトラッキングシステムのセンサ、のうちの少なくとも１つを含んでよい。

【0025】

いくつかの例で、本開示は、機械により実行可能な命令を記憶しているメモリへ結合される処理デバイスを含むコンピューティングシステムについて記載する。命令は、処理デバイスによって実行される場合に、コンピューティングシステムに、上記の方法のいずれかを実行させる。

【0026】

上記の例のいずれかで、コンピューティングシステムは、ヘッドマウンテッドディスプレイ（ＨＭＤ）デバイス、ウェアラブルデバイス、ハンドヘルドデバイス、スマートデバイス、トラッキングシステム、又はデスクトップデバイスであってよい。

【0027】

いくつかの例で、本開示は、機械により実行可能な命令を記憶しているコンピュータ可読媒体について記載する。命令は、コンピューティングシステムの処理デバイスによって実行される場合に、コンピューティングシステムに、上記の方法のいずれかを実行することによってエクステンデッドリアリティ（ＸＲ）においてオブジェクトを選択させる。

【図面の簡単な説明】

【0028】

これより、例として、本願の例示的な実施形態を示す添付の図面を参照する。

【0029】

【図1A】ユーザが例示的なＸＲ環境と相互作用することを説明するブロック図である。

【図1B】非ＸＲ環境内のユーザを表すブロック図である。

【図2】本開示の例に従って、例示的なコンピューティングシステムのいくつかのコンポーネントを表すブロック図である。

【図3】本開示の例に従って、例示的な遠位選択サブシステムのブロック図である。

【図4】本開示の例に従って、オブジェクト又は位置の選択のための方法の例を表すフローチャートである。

【図5】本開示の例に従って、第１光線と第２光線との交点を決定する方法の例を表すフローチャートである。

【図6】ＸＲ環境における図４の方法の実施例を表す。

【図7A】物理環境における図４の方法の他の実施例を表す。

【図7B】物理環境における図４の方法の他の実施例を表す。

【図7C】物理環境における図４の方法の他の実施例を表す。

【0030】

類似の参照番号は、類似したコンポーネントを表すために異なる図で使用されている場合がある。

【発明を実施するための形態】

【0031】

様々な例で、本開示は、エクステンデッドリアリティ（ＸＲ）環境及び非ＸＲ環境（つまり、仮想オブジェクトがない物理環境）におけるユーザインタラクションに関係がある方法及びシステムについて記載する。開示されている例は、ＸＲ環境における遠位オブジェクトの選択のために使用されてよい。開示されている例は、物理環境における現実世界のオブジェクトの選択のために使用されてよい。開示されている例は、ＸＲ又は物理環境における任意の３Ｄ位置の選択にも使用されてよい。本開示の例は、拡張現実（ＡＲ）システム、仮想現実（ＶＲ）システム、又は複合現実（ＭＲ）システムを含む適切なＸＲシステムで実装されてよい。本開示の例は、非ＸＲコンピューティングシステムでも実装されてよい。適切なコンピューティングシステム（ＸＲ対応可能であってもなくてもよい）の例には、数ある中でも特に、ウェアラブルデバイス（例えば、ヘッドマウンテッドディスプレイ（ＨＭＤ）デバイス、スマートグラス、スマートウォッチ、スマートリング、など）及び／又はハンドヘルドデバイス（例えば、スマートフォン、タブレット、など）がある。本開示の例は、デスクトップコンピューティングシステム、ラップトップコンピューティングシステム、ワークステーション、スマートアプライアンス、トラッキングシステム、及び他のコンピューティングシステムなどの非ウェアラブルシステムでも実装されてよい。

【0032】

本開示は、ヘッドトラッキングデバイス（例えば、ＨＭＤデバイス）及び／又はハンドトラッキングデバイス（例えば、ハンドヘルドコントローラ、ウェアラブルデバイス（例えば、スマートウォッチ若しくはスマートリング）、スマートフォン、又はモーショントラッキングカメラ）を含むＸＲシステムとの関連で例を記載する。しかし、本開示はそのような実施形態に制限されないことが理解されるべきである。例えば、（例えば、頭部追跡又は眼球追跡のための任意の技術を使用して）第１光線の原点及び方向を決定しかつ（例えば、手追跡のための任意の技術を使用して）第２光線の原点及び方向を決定することが可能な任意のシステム（ＸＲアプリケーションを実行しないシステムを含む）が、本開示の例を実装するために使用されてもよい。

【0033】

図１Ａは、ユーザ１０がＸＲ環境２０（ＸＲシーンとも呼ばれる）と相互作用する例を示す。この例で、ＸＲ環境２０は、コンピューティングシステム１００によって生成された仮想環境である。例えば、コンピューティングシステム１００は、図１に示されるようにＨＭＤなどのウェアラブルデバイスであってよい。他の例では、ＸＲ環境２０は、非ウェアラブルコンピューティングシステム１００（例えば、デスクトップコンピューティングシステム）によって生成されてもよい。

【0034】

ＸＲ環境２０は仮想又は部分的に仮想であることが留意されるべきである。つまり、ＸＲ環境２０内のオブジェクト２２は、ユーザ１０の実際の物理環境にはない仮想オブジェクトを含み、現実世界のオブジェクトも含んでよい（例えば、ＸＲ環境２０がＡＲ環境である場合）。現実世界のオブジェクトであるオブジェクト２２は、仮想オブジェクトである別のオブジェクト２２の間に配置され、それによって遮られ、及び／又はオーバーレイされ得る。ＸＲ環境２０は、コンピューティングシステム１００へ結合されるか又はそれと相互作用するディスプレイ１０４を介してユーザ１０に見られ得る。ディスプレイ１０４は、ＸＲ環境２０の没入ビュー（例えば、４０から１００度までの視野（ＦＯＶ）を提供する）、又はＸＲ環境２０のより制限されたビュー（例えば、ハンドヘルドデバイス１０４は、ＸＲ環境２０の部分を表示する可動ビューポートを提供し得る）を提供してよい。ディスプレイ１０４は、例えば、高解像有機発光ダイオード（ＯＬＥＤ）ディスプレイ又は液晶ディスプレイ（ＬＣＤ）であってよい。いくつかの例で、ディスプレイ１０４は、立体グラフィクスを表示する能力を有してもよく（例えば、ディスプレイ１０４は、左右の目に別々の立体グラフィクスを表示する）、ＸＲ環境２０は、没入３Ｄ環境であってよい。

【0035】

この簡略化された図において、ＸＲ環境２０は、ユーザ１０から遠位にある（つまり、ユーザ１０の手の届かない）複数のオブジェクト２２を含む。特に、ユーザが選択したい対象オブジェクト２２ａは、ユーザ１０の視点から、別のオブジェクト２２によって部分的又は完全に遮られ得る。ユーザ１０は、ＸＲ環境２０内のオブジェクト２２を選択し及び／又はそれと相互作用し得る。例えば、ユーザ１０は、仮想オブジェクトであるオブジェクト２２を選択して、オブジェクト２２を動かすか又はオブジェクトにコマンドを供給してもよい。ユーザ１０はまた、ＸＲ環境２０を介して、現実世界のオブジェクトであるオブジェクト２２を選択し及び／又はそれと相互作用してもよい。例えば、現実世界のオブジェクトであるオブジェクト２２は、ＸＲ環境２０を介してユーザコマンドを受けることができるコンピュータ対応オブジェクト（例えば、インターネット・オブ・シングス（ＩｏＴ）デバイス）であってよい。ユーザ１０がＸＲ環境２０でコンピュータ対応可能な現実世界のオブジェクトを選択したとコンピューティングシステム１００が決定する場合（以下で更に論じられる）に、コンピューティングシステム１００は、ユーザ選択を示すコマンドをそのコンピュータ対応可能な現実世界のオブジェクトに送ってもよい。選択後、コンピュータ対応可能な現実世界のオブジェクトは、コンピューティングシステム１００と通信して、ユーザ１０がコンピュータ対応可能な現実世界のオブジェクトと更に相互作用することを可能にしてもよい（例えば、ディスプレイ１０４により、コンピュータ対応可能な現実世界のオブジェクトのための可能なコマンドのメニューをユーザ１０に表示する）。ユーザ１０は、コンピュータ対応可能ではないがコンピューティングシステム１００によって検出可能である現実世界のオブジェクト（例えば、コンピュータビジョンを用いて検出されるオブジェクト、又は境界がコンピューティングシステム１００で事前定義及びマッピングされているオブジェクト）も選択し得る。例えば、ユーザ１０は、仮想オブジェクトを位置決め又は生成するための基準として現実世界のオブジェクトを選択したいと望むことがある。

【0036】

ユーザ１０は、コンピューティングシステム１００によって受け取られる入力を介して、ＸＲ環境２０と相互作用してよい。例えば、ユーザ１０は、ユーザ１０のポジション及び／又は向きを変えることによって入力を供給し得る。本開示で、姿勢という用語は、ポジション及び向きの組み合わせを包含するために使用されることがある。コンピューティングシステム１００がウェアラブルデバイスである場合に、ユーザ１０のポジション、向き又は姿勢の変化は、コンピューティングシステム１００のセンサ（例えば、加速度計、ジャイロスコープ、磁気探知機、慣性計測ユニット（ＩＭＵ）など）によって検出されてよく、入力として感知されてよい。例えば、コンピューティングシステム１００と一体化されたセンサは、３自由度（ＤＯＦ）又は６ＤＯＦでユーザ１０の頭部を追跡する能力を有し得る。

【0037】

いくつかの例で、コントローラ１０２（例えば、ハンドヘルドコントローラ）がコンピューティングシステム１００へ結合されてよく、コントローラ１０２は、ユーザ１０によって、（例えば、ボタン、ジョイスティック、又は他のメカニズムを使用して）入力を供給するために使用されてよい。任意のコントローラ１０２は、３ＤＯＦ又は６ＤＯＦでユーザ１０のポジション、向き又は姿勢（例えば、具体的には、ユーザの手のポジション、向き又は姿勢）を検出することができるセンサ（例えば、加速度計、ジャイロスコープ、磁気探知機、ＩＭＵなど）を含んでよく、この感知されたデータを通信してもよく、データは、コンピューティングシステム１００によって入力として受信される。

【0038】

いくつかの例で、コントローラ１０２（ＸＲ環境２０と相互作用するために設計されてよい）の代わりに、他のコンピュータ対応デバイス（例えば、スマートウォッチ若しくはスマートリングなどのウェアラブルデバイス、又はスマートフォンなどのハンドヘルドデバイス）が、ユーザの手のポジション、向き又は姿勢を検出するためにユーザ１０の手に保持されるか又は手の近くに装着されてもよい。

【0039】

いくつかの例で、ユーザ１０のポジション、向き又は姿勢の変化は、コンピューティングシステム１００へ結合されている外部トラッキングシステム（例えば、赤外線トラッキングシステム、又はコンピュータビジョンに基づいたトラッキングシステム）によって検出されてもよい。外部トラッキングシステム（図示せず）は、例えば、アクティブ又はパッシブマーカ（例えば、ウェアラブルコンピューティングシステム１００に取り付けられるか、ハンドヘルドコントローラ１０２に取り付けられるか、及び／又はユーザに直接取り付けられるマーカ）を用いて、あるいは、非マーカベースのコンピュータビジョンを用いて（例えば、ユーザ１０を検出するための、機械学習に基づいたアルゴリズム（例えば、自己位置推定とマッピングの同時実行（ＳＬＡＭ）アルゴリズム、若しくはＡｚｕｒｅ Ｋｉｎｅｃｔで使用されるような訓練されたニューラルネットワーク）を使用する）、ユーザ１０のポジション若しくは向き（例えば、３ＤＯＦ）、又は姿勢（例えば、６ＤＯＦ）を追跡し得る。外部トラッキングシステムは、ユーザ１０の追跡されたポジション、向き又は姿勢に関するデータを通信してもよく、データは、コンピューティングシステム１００によって入力として受信される。

【0040】

ユーザ１０がＸＲ環境２０と相互作用することを可能にするために、様々な技術及びテクノロジが入力を受けるために使用されてよく、本開示は、上述されている例に制限されない。

【0041】

ユーザ１０のポジション、向き又は姿勢の変化を表す入力に応答して、コンピューティングシステム１００は、ユーザ１０の変化したポジション、向き又は姿勢を反映するように、ＸＲ環境２０内の仮想オブジェクトであるオブジェクト２２をレンダリングし直してもよい。ユーザ１０のポジション、向き又は姿勢を表す入力データは、ユーザ１０のシームレスかつスムーズなＸＲ体験を確かにするために、コンピューティングシステム１００によって実時間で連続して受け取られてもよい。

【0042】

図１Ｂは、物理環境４０（つまり、仮想オブジェクトがない）と相互作用するユーザ１０の例を示す。この例で、物理環境４０は、１つ以上の物理（又は現実世界の）オブジェクト４２を含み、物理オブジェクト４２は、コンピュータ対応可能な現実世界のオブジェクトを含んでもよい。

【0043】

示されている例では、コンピューティングシステム１００はハンドヘルドコンピューティングシステム１００（例えば、スマートフォン又はタブレット）であってよく、ＸＲ環境（例えば、ＡＲ環境）をレンダリングする能力を有しても有さなくてもよい。例えば、コンピューティングシステム１００は、ＸＲ環境２０でのユーザインタラクション及び物理環境４０でのユーザインタラクションの両方をサポートすることが可能であってよく、ＸＲ環境２０のビュー（例えば、ディスプレイ１０４（図１Ｂに図示せず）を介する）及び物理環境４０のビューを表示するのを切り替えることが可能であってよい。コンピューティングシステム１００は、１つ以上の入出力（Ｉ／Ｏ）デバイス１０６とも通信してよく、Ｉ／Ｏデバイス１０６は、ウェアラブルデバイス（例えば、スマートウォッチ、スマートリング、スマートグラス、など）、又はハンドヘルドデバイス（例えば、上述されたコントローラ１０２）であってよい。Ｉ／Ｏデバイス１０６は、３ＤＯＦ又は６ＤＯＦでのＩ／Ｏデバイス１０６の追跡を可能にするために、センサを含んでよく又はコンピューティングシステム１００によって感知されてもよい。

【0044】

この簡略化された図において、物理環境４０は、ユーザ１０が選択したい対象オブジェクト４２ａを含む複数のオブジェクト４２を含む。例えば、ユーザ１０は、コンピュータ対応可能な現実世界のオブジェクト（例えば、スマートアプライアンス又はＩｏＴデバイス）である対象オブジェクト４２ａを選択して、コマンドをそのオブジェクトに供給してよい。ユーザ１０はまた、コンピュータ対応可能ではないがコンピューティングシステム１００によって検出可能である対象オブジェクト４２ａ（例えば、コンピュータビジョンを用いて検出されるオブジェクト、又は境界がコンピューティングシステム１００によって事前定義及びマッピングされているオブジェクト）を選択してもよい。対象オブジェクト４２ａがコンピュータ対応オブジェクトである場合に、ユーザは、図１Ａを参照して上述されたのと同じように、コンピューティングシステム１００からのコマンドを介して、対象オブジェクト４２ａを選択してそれと相互作用し得る。

【0045】

コンピューティングシステム１００がウェアラブルデバイス又はハンドヘルドデバイスである場合に、ユーザ１０のポジション、向き又は姿勢の変化は、コンピューティングシステム１００のセンサ（例えば、加速度計、ジャイロスコープ、磁気探知機、慣性計測ユニット（ＩＭＵ）など）によって検出されてよく、入力として感知されてよい。例えば、コンピューティングシステム１００と一体化されたセンサは、３自由度（ＤＯＦ）又は６ＤＯＦでユーザ１０の頭部を追跡する能力を有し得る。

【0046】

いくつかの例で、Ｉ／Ｏデバイス１０６が、入力をコンピューティングシステム１００へ供給し及び／又は出力をコンピューティングシステム１００から受けるためにユーザ１０によって使用されてもよい。任意のＩ／Ｏデバイス１０６は、３ＤＯＦ又は６ＤＯＦでユーザ１０のポジション、向き又は姿勢（例えば、具体的には、ユーザの手のポジション、向き又は姿勢）を検出することができるセンサ（例えば、加速度計、ジャイロスコープ、磁気探知機、ＩＭＵなど）を含んでよく、この感知されたデータを通信してもよく、データは、コンピューティングシステム１００によって入力として受信される。

【0047】

いくつかの例で、ユーザ１０のポジション、向き又は姿勢の変化は、コンピューティングシステム１００へ結合されている外部トラッキングシステム（例えば、赤外線トラッキングシステム、又はコンピュータビジョンに基づいたトラッキングシステム）によって検出されてもよい。外部トラッキングシステム（図示せず）は、例えば、アクティブ又はパッシブマーカ（例えば、ウェアラブル若しくはハンドヘルドコンピューティングシステム１００に取り付けられるか、ウェアラブル若しくはハンドヘルドＩ／Ｏデバイス１０６に取り付けられるか、及び／又はユーザに直接取り付けられるマーカ）を用いて、あるいは、非マーカベースのコンピュータビジョンを用いて（例えば、ユーザ１０を検出するための、機械学習に基づいたアルゴリズム（例えば、自己位置推定とマッピングの同時実行（ＳＬＡＭ）アルゴリズム、若しくはＡｚｕｒｅ Ｋｉｎｅｃｔで使用されるような訓練されたニューラルネットワーク）を使用する）、ユーザ１０のポジション若しくは向き（例えば、３ＤＯＦ）、又は姿勢（例えば、６ＤＯＦ）を追跡し得る。外部トラッキングシステムは、ユーザ１０の追跡されたポジション、向き又は姿勢に関するデータを通信してもよく、データは、コンピューティングシステム１００によって入力として受信される。ユーザ１０が物理環境４０と相互作用することを可能にするために、様々な技術及びテクノロジが入力を受けるために使用されてよく、本開示は、上述されている例に制限されない。

【0048】

図２は、本明細書で開示されている例を実施するために使用され得るコンピューティングシステム１００のいくつかのコンポーネントを示すブロック図である。コンピューティングシステム１００の例示的な実施形態が示されており以下で議論されるが、他の実施形態が、本明細書で開示されている例を実施するために使用されてもよく、示されているのとは異なるコンポーネントを含んでもよく。図２は、各コンポーネントの単一インスタンスを示すが、示されている各コンポーネントの複数のインスタンスが存在してもよい。

【0049】

コンピューティングシステム１００は、数ある中でもとりわけ、ウェアラブルデバイス（例えば、ヘッドマウンテッドディスプレイ（ＨＭＤ）デバイス、スマートウォッチ、スマートリング、スマートグラス、など）、ハンドヘルドデバイス（例えば、スマートフォン、タブレット、など）、又は非ウェアラブルデバイス（例えば、デスクトップコンピューティングシステム、ラップトップコンピューティングシステム、ワークステーション、スマートアプライアンス、トラッキングシステム、など）であってよい。いくつかの例で、コンピューティングシステム１００は、ウェアラブルデバイスと通信する非ウェアラブルデバイスであってよい。本開示の例は、例えば、レイキャスティングを実行することができる任意の適切なコンピューティングシステムで実施されてよい。

【0050】

コンピューティングシステム１００は、プロセッサ、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用のロジック回路、専用の人工知能プロセッサユニット、又はそれらの組み合わせなどの１つ以上の処理デバイス２０２を含む。コンピューティングシステム１００は、任意のコントローラ１０２、任意のＩ／Ｏデバイス１０６、などの入力デバイス、及びディスプレイ１０４などの出力デバイスとインターフェース接続する１つ以上の入出力（Ｉ／Ｏ）インターフェース２０４も含む。コンピューティングシステム１００は、他の入力デバイス（例えば、ボタン、マイクロホン、タッチスクリーン、キーボード、など）及び他の出力デバイス（例えば、スピーカ、振動ユニット、など）を含んでもよい。任意のコントローラ１０２、任意のＩ／Ｏデバイス１０６、及びディスプレイ１０４は、図２に表されているように、コンピューティングシステム１００の外にあってもよい。他の例では、任意のコントローラ１０２、任意のＩ／Ｏデバイス１０６、及び／又はディスプレイ１０４は、コンピューティングシステム１００と一体化されてもよい（例えば、コンピューティングシステム１００は、内蔵ディスプレイ１０４を備えたＨＭＤデバイスであってよく、あるいは、スマートグラス又はスマートウォッチなどのウェアラブルデバイスであってよい）。

【0051】

コンピューティングシステム１００は、外部システム又はネットワーク（例えば、イントラネット、インターネット、Ｐ２Ｐネットワーク、ＷＡＮ及び／又はＬＡＮ）との有線又は無線通信のために１つ以上の任意の通信インターフェース２０６を含んでもよい。通信インターフェース２０６は、イントラネットワーク及び／又はインターネットワーク通信のために有線リンク（例えば、１つ以上のケーブルを使用するＥｔｈｅｒｎｅｔ、など）及び／又は無線リンク（例えば、１つ以上のアンテナを使用するＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、など）を用いて通信を可能にし得る。通信インターフェース２０６は、コンピューティングシステム１００が外部トラッキングシステムなどの外部システムと通信して、入力データ（例えば、ユーザ１０の追跡されたポジション、向き又は姿勢を表すデータ）を受信することを可能にし得る。

【0052】

コンピューティングシステム１００は１つ以上のメモリ２０８を含み、メモリ２０８には、揮発性又は不揮発性メモリ（例えば、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、及び／又はリードオンリーメモリ（ＲＯＭ））が含まれ得る。非一時メモリ２０８は、本開示で記載されている例を実行するために、処理デバイス２０２によって実行される命令を記憶してよい。例えば、メモリ２０８は、遠位選択サブシステム３００を実行するための命令を含んでよい。メモリ２０８は、例えば、オペレーティングシステムの実装、（適用可能である場合に）ＸＲ環境２０のレンダリング、及び他のアプリケーション／機能のための、他のソフトウェア命令を含んでもよい。メモリ２０８は、（適用可能である場合に）レンダリングされるＸＲ環境２０を表し、ディスプレイ１０４を介して出力として供給されるデータなどの、データ２１０も含んでもよい。

【0053】

いくつかの例で、コンピューティングシステム１００は、ソリッドステートドライブ、ハードディスクドライブ、磁気ディスクドライブ及び／又は光ディスクドライブなどの１つ以上の電子記憶ユニット（図示せず）も含んでよい。いくつかの例で、１つ以上のデータセット及び／又はモジュールは、外部メモリ（例えば、コンピューティングシステム１００と有線又は無線通信する外部ドライブ又はクラウドストレージ）によって供給されてもよく、あるいは、一時又は非一時的なコンピュータ可読媒体によって供給されてもよい。非一時的なコンピュータ可読媒体の例には、ＲＡＭ、ＲＯＭ、消去可能なプログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能なプログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、ＣＤ－ＲＯＭ、又は他の可搬型メモリストレージがある。

【0054】

コンピューティングシステム１００は１つ以上のセンサ２１２を含んでもよく、センサ２１２には、数ある中でもとりわけ、加速度計、ジャイロスコープ、磁気探知機、ＩＭＵ（加速度計、ジャイロスコープ及び／又は磁気探知機の組み合わせであってもよい）が含まれ得る。センサ２１２は、ユーザ１０のポジション、向き又は姿勢を感知し、ユーザ１０のポジション、向き又は姿勢を表すセンサデータを生成し得る。いくつかの例で、センサ２１２は、ユーザ１０の目の回転を感知し、目の方向を（例えば、３ＤＯＦで）表すセンサデータを生成する眼球追跡ユニット（例えば、任意の眼球追跡センサ）も含んでよい。コンピューティングシステム１００は、ユーザ１０のポジション、向き又は姿勢を表すデータを生成するよう（例えば、通信インターフェース２０６を介して）グローバルナビゲーションシステムと通信し得る任意のグローバルポジショニングシステム（ＧＰＳ）ユニット２１４も含んでよい。

【0055】

図３は、遠位選択サブシステム３００のいくつかの例示的なサブシステムを表すブロック図である。この例で、遠位選択サブシステム３００は、光線原点サブシステム３０２、任意のレイキャスティングサブシステム３０４、任意の不透明度サブシステム３０６、及び交点サブシステム３０８を用いて実施されてよい。図３は、遠位選択サブシステム３００内に別個のサブシステム３０２、３０４、３０６、及び３０８を表しているが、これは限定であるよう意図されない。本明細書で開示されている遠位選択サブシステム３００の動作は、より多い又はより少ないサブシステムを用いて実施されてもよい。サブシステム３０２、３０４、３０６及び３０８のうちの特定の１つを用いて実行されるものとして記載される機能は、サブシステム３０２、３０４、３０６及び３０８のうちの異なる１つによって実行されてもよい。いくつかの例で、遠位選択サブシステム３００は、如何なる別個のサブシステムも含まなくてもよい。代わりに、サブシステム３０２、３０４、３０６及び３０８の機能は、遠位選択サブシステム３００の全体の機能と見なされてもよい。

【0056】

図４は、遠位選択サブシステム３００を用いてコンピューティングシステム１００によって（例えば、遠位選択サブシステム３００の機能を実施するために処理デバイス２０２がメモリ２０８内の命令を実行することによる）実行され得る例示的な方法４００を表すフローチャートである。理解を簡単にするために、図３及び図４は一緒に議論される。以下の議論から理解されるように、方法４００は、ＸＲ環境２０又は物理環境４０におけるオブジェクト又は位置の選択を可能にし得る。

【0057】

遠位選択サブシステム３００は、第１姿勢データの組及び第２姿勢データの組を受け取り、選択されたオブジェクト又は位置を表すデータを出力する。第１姿勢データの組は、ユーザ１０の第１身体部分のポジション、向き又は姿勢を表してよく、第２姿勢データの組は、ユーザ１０の第２身体部分のポジション、向き又は姿勢を表してよく、第１身体部分及び第２身体部分はユーザ１０の異なる身体部分である。ユーザ１０の様々な身体部分が、第１姿勢データの組及び第２姿勢データの組を生成するために追跡されてよい。数ある可能性の中でもとりわけ、第１身体部分はユーザ１０の頭であってよくかつ第２身体部分はユーザ１０の手であってよく、第１身体部分はユーザ１０の第１の手であってよくかつ第２身体部分はユーザ１０の第２の手であってよく、第１身体部分はユーザ１０の目であってよくかつ第２身体部分はユーザ１０の手であってよい。第１姿勢データ及び第２姿勢データと呼ばれているが、第１及び／又は第２姿勢データは夫々独立して、ポジションデータのみ（例えば、３ＤＯＦ）、向きデータのみ（例えば、３ＤＯＦ）、又はポジション及び向きの両方のデータ（例えば、６ＤＯＦ）を表すことができる。

【0058】

ステップ４０２で、第１仮想光線及び第２仮想光線のキャスティング（又は投影）のための第１原点及び第２原点が決定される。簡単のために、以下の議論は、仮想光線を単に光線と呼ぶ。ステップ４０２は、光線原点サブシステム３０２を実行することによって実行されてよい。第１原点及び第２原点は夫々、第１姿勢データ及び第２姿勢データから計算されてよい。いくつかの既存のコンピューティングシステム１００では（例えば、ＨＭＤデバイスなどのウェアラブルデバイスでは）、ユーザのビュー（例えば、ユーザの頭部のポジション、向き又は姿勢によって示される）の追跡が連続的に実行されてもよい。更に、ハンドヘルドコントローラ１０２を使用するか又はウェアラブルＩ／Ｏデバイス１０６と通信するいくつかの既存のコンピューティングシステム１００では、コントローラ１０２又はＩ／Ｏデバイス１０６のポジション、向き又は姿勢が連続的に追跡されてもよい。同様に、いくつかのトラッキングシステム（例えば、赤外線トラッキングシステム又は任意のトラッキングシステム）が、ユーザ１０の身体部分（例えば、ユーザ１０の頭及び手）のポジション、向き又は姿勢を連続的に追跡してもよい。然るに、第１姿勢データの組及び第２姿勢データの組は、連続的に（例えば、１０ミリ秒ごとなど、規則的かつ頻繁な時間インターバルで）更新され得る。第１姿勢データの組及び第２姿勢データの組は、任意の適切なフォーマットを有してよい。例えば、第１姿勢データの組及び第２姿勢データの組は夫々、未処理のセンサデータ（例えば、コンピューティングシステム１００のセンサ２１２によって生成される）であってよく、あるいは、処理済みのデータ（例えば、共通基準枠にマッピングするために及び／又はノイズを除去するために、自己位置推定とマッピングの同時実行（ＳＬＡＭ）アルゴリズムなどのアルゴリズムによって処理されたセンサデータ）であってよい。

【0059】

第１姿勢データの組及び第２姿勢データの組は、異なるソースから（例えば、夫々、ウェアラブルコンピューティングシステム１００及び／又はハンドヘルドコントローラの異なるセンサから、あるいは、コンピューティングシステム１００及び／又はＩ／Ｏデバイス１０６の異なるセンサから）供給されてよい。例えば、第１姿勢データの組は、ユーザ１０の頭部のポジション、向き又は姿勢を表してよく、ウェアラブルコンピューティングシステム１００のＩＭＵ、コンピューティングシステム１００の外部のウェアラブルセンサ、外部の頭部追跡システム、又はコンピューティングシステム１００の任意のＳＬＡＭ前処理ユニットによって供給されてよい。第２姿勢データの組は、ユーザ１０の手のポジション、向き又は姿勢を表してよく、ハンドヘルドコントローラ１０２若しくはＩ／Ｏデバイス１０６のセンサ、外部の手追跡システム、又は他のウェアラブルデバイスによって供給されてよい。

【0060】

いくつかの例で、第２姿勢データの組は、ＨＭＤデバイス（コンピューティングシステム１００であってもよい）によって供給されてもよい。例えば、ユーザ１０の手がＨＭＤデバイスのＦＯＶ内にある場合に、センサ（例えば、追跡可能なマーカが手に取り付けられている場合に、任意のセンサ）又はコンピュータビジョンアルゴリズムが、手のポジション、向き又は姿勢を検出し、それに応じて第２姿勢データを生成してよい。

【0061】

第１姿勢データの組及び第２姿勢データの組は、様々な方法でコンピューティングシステム１００によって取得されてよく、一部の方法は本明細書で議論される。例えば、コンピューティングシステム１００は、第１姿勢データの組としてユーザ１０の手のポジション、向き又は姿勢を検出するよう内部センサを備えたハンドヘルドコンピューティングシステムであってよく、コンピューティングシステム１００は、第２姿勢データの組としてユーザ１０の頭部又はもう一方の手のポジション、向き又は姿勢を受け取るようウェアラブルＩ／Ｏデバイス１０６（内部センサを備える）と通信してよい。

【0062】

他の例では、コンピューティングシステム１００は、第１姿勢データの組としてユーザ１０の頭部又は手のポジション、向き又は姿勢を検出するよう内部センサを備えたウェアラブルコンピューティングシステム（例えば、スマートグラス又はスマートウォッチ）であってよく、第２姿勢データの組としてユーザ１０のもう一方の手のポジション、向き又は姿勢を受け取るよう他のウェアラブルＩ／Ｏデバイス１０６（内部センサを備える）と通信してよい。

【0063】

他の例では、コンピューティングシステム１００は、第１姿勢データの組としてユーザ１０の頭部又は手のポジション、向き又は姿勢を検出するよう内部センサを備えたウェアラブルコンピューティングシステム（例えば、スマートグラス又はスマートウォッチ）であってよく、第２姿勢データの組として（コンピューティングシステム１００のＦＯＶ内の）もう一方の手のポジション、向き又は姿勢を（例えば、コンピュータビジョンを使用して、又はユーザ１０上のマーカを追跡することによって）検出してよい。

【0064】

他の例では、コンピューティングシステム１００は、異なる入力モダリティを介して（例えば、マウス入力を介して及び眼球追跡入力を介して）第１姿勢データの組及び第２姿勢データの組を受け取ることができるデスクトップコンピューティングシステムであってよい。例において、コンピューティングシステム１００は、第１姿勢データの組及び第２姿勢データの組を取得するためにユーザ１０の異なる身体部分（例えば、頭部及び手）を（例えば、コンピュータビジョンを使用して、又は赤外線若しくは任意の追跡マーカを追跡することによって）検出及び追跡するようトラッキングシステムと通信するか又はトラッキングシステムを含むデスクトップコンピューティングシステムであってよい。

【0065】

多数の様々な技術が、ユーザ１０の異なる身体部分の追跡データを取得するために使用されてよく、第１姿勢データの組及び第２姿勢データの組を取得するために使用されてよいことが理解されるべきである。

【0066】

光線原点サブシステム３０２は、第１姿勢データの組及び第２姿勢データの組を処理して、第１及び第２光線を投じる第１原点及び第２原点を生成する。本開示における原点という用語は、光線が投じられるポジション及び光線が投じられる方向の両方を指し得る。光線原点サブシステム３０２は、第１姿勢データの組及び第２姿勢データの組を各々の第１原点及び第２原点に変換するために任意の適切なアルゴリズムを実行してよい。例えば、光線原点サブシステム３０２は、第１又は第２姿勢データの各々の組の基準枠からＸＲ環境２０又は物理環境４０の共通基準枠への直接マッピングを（例えば、変換行列を使用して）実行してもよい。

【0067】

第１原点は、６ＤＯＦで決定されてよく、［Ｖｐ，Ｖｄ］と表されてよく、Ｖｐは、定義されている基準枠（例えば、ＸＲ環境２０又は物理環境４０に対して定義される）における第１原点のポジションを表す直交座標（ｘ，ｙ，ｚ座標とも呼ばれる）を表し、Ｖｄは、定義された基準枠において、第１光線が投じられるべき方向を表すオイラー角（方位角、仰角、及び傾きかくとも呼ばれる）又は四元数を表す。同様に、第２原点は、６ＤＯＦで決定されてよく、［Ｈｐ，Ｈｄ］と表されてよく、Ｈｐは、定義されている基準枠（例えば、ＸＲ環境２０又は物理環境４０に対して定義される）における第２原点のポジションを表す直交座標（ｘ，ｙ，ｚ座標とも呼ばれる）を表し、Ｈｄは、定義された基準枠において、第２光線が投じられるべき方向を表すオイラー角又は四元数を表す。

【0068】

いくつかの例で、第１原点及び／又は第２原点は、３ＤＯＦで決定されてもよい（例えば、いくつかの例で、第１姿勢データの組又は第２姿勢データの組は、６ＤＯＦを計算するには不十分である場合がある）。第１原点が３ＤＯＦで決定される場合に、第１原点は固定位置にあると仮定されてよく（例えば、Ｖｐは（０，０，０）に固定され得る）、Ｖｄのみが計算される。同様に、第２原点が３ＤＯＦで決定される場合に、第２原点は、第１原点の固定位置とは異なる固定位置にあると仮定されてよく（例えば、Ｈｐは（１０，１０，１０）に固定され得る）、Ｈｄのみが計算される。

【0069】

いくつかの例で、第１原点及び／又は第２原点は、遠位選択サブシステム３００の外で計算されてもよい。かような場合に、ステップ４０２で第１原点及び第２原点を決定することは、遠位選択サブシステム３００の外から第１原点及び第２原点を取得することを含んでもよい。例えば、コンピューティングシステム１００がウェアラブルデバイス（例えば、ＨＭＤデバイス、スマートグラス、スマートウォッチ、若しくはスマートリング）であるか又はウェアラブルデバイスと通信する場合に、頭部又は手追跡ハードウェア及び／又はソフトウェアが、ウェアラブルデバイスの既存の機能の一部として実装されてもよく、遠位選択サブシステム３００は、第１原点を直接（第１姿勢データの組から第１原点を決定する必要なしに）供給され得る。他の例では、ハンドヘルドコントローラ１０２又はＩ／Ｏデバイス１０６が使用される場合に、手追跡ハードウェア及び／又はソフトウェアが、コントローラ１０２又はＩ／Ｏデバイス１０６の既存の機能の一部として実装されてもよく、遠位選択サブシステム３００は、第２原点を直接（第２姿勢データの組から第２原点を決定する必要なしに）供給され得る。他の例では、コンピューティングシステム１００が物理環境４０においてユーザ１０を追跡するようトラッキングシステムを含むか又はそれと通信する場合に、トラッキングシステムは、既存の機能の一部としてトラッキングソフトウェアを実装してもよく、第１原点及び第２原点を遠位選択サブシステム３００へ直接供給してよい。

【0070】

いくつかの例で、４０４で、第１光線及び第２光線が夫々、第１原点及び第２原点から投じられる。例えば、ステップ４０４は、レイキャスティングサブシステム３０４を実行することによって実行されてよい。レイキャスティングサブシステム３０４は、第１原点及び第２原点（夫々、［Ｖｐ，Ｖｄ］及び［Ｈｐ，Ｈｄ］）を受け取り、第１原点及び第２原点から夫々投じられる第１光線及び第２光線の経路を計算する。レイキャスティングサブシステム３０４は、第１光線及び第２光線が（例えば、ブレゼンハムのアルゴリズムなどの任意の適切な３Ｄライン描画アルゴリズムを用いて）ＸＲ環境２０で視覚的にレンダリングされることを可能にするためのデータ（例えば、各光線に沿った有限な点の組を表すデータ）を生成する。

【0071】

レイキャスティングサブシステム３０４は、任意の適切なレイキャスティングアルゴリズムを使用してよい。一般に、３Ｄ光線が、３Ｄライン式：

【数1】

を使用して所与のポジション及び方向から投じられ得る。ここで、（ａ，ｂ，ｃ）は、光線の点（Ｖｐ又はＨｐに対応）であり、ベクトルｖは、方向ベクトル（Ｖｄ又はＨｄから計算）であり、ｔは、光線のスカラーパラメータであり、（ｘ，ｙ，ｚ）は、光線上の点である。投じられた光線上のあらゆる（ｘ，ｙ，ｚ）が、ｔの各々の値から計算され得、ｔは、ゼロから無限大までの如何なる値もとり得る。

【0072】

いくつかの例で、レイキャスティングサブシステム３０４は、ユーザ１０が動く（例えば、頭及び手を動かす）につれて変化する第１光線及び第２光線のポジション及び方向をユーザ１０が視覚化することができるように、ＸＲ環境２０においてレンダリングされるように第１光線及び第２光線を連続的に投じるよう構成され得る。他の例では、ユーザ１０からの任意のアクティブ化入力（例えば、ボタン押下又はボイスコマンド）が、レイキャスティングサブシステム３０４の動作を開始するために必要とされてもよい。

【0073】

ステップ４０４は、物理環境４０でも光線を投じるよう実行されてもよい。例えば、コンピューティングシステム１００は、ディスプレイ１０４を介して物理環境４０のビューを供給してもよく、物理環境４０において第１光線及び第２光線の視覚化をレンダリングして、ユーザ１０が第１光線及び第２光線のポジション及び方向をより良く制御できるようにし得る。このようにして、物理環境４０とのユーザインタラクションは、コンピューティングシステム１００上でＡＲディスプレイによって支援され得る。

【0074】

第１原点から投じられる第１光線は、Ｒｖと表記されてよく、第２原点から投じられる第２光線は、Ｒｈと表記されてよい。

【0075】

いくつかの例で、任意のステップ４０４が実行されない場合には、レイキャスティングサブシステム３０４は、遠位選択サブシステム３００から省略又は無効化されてもよい。

【0076】

いくつかの例で、４０６で、交差しているオブジェクトの組が識別される。例えば、ステップ４０６は、不透明度サブシステム３０６を実行することによって実行されてよい。不透明度サブシステム３０６は、２つの投じられた光線Ｒｖ及びＲｈを受け、第１及び第２光線が交わるＸＲ環境２０又は物理環境４０内の如何なるオブジェクトも識別する。

【0077】

不透明度サブシステム３０６は、光線とオブジェクトとの交点を決定する（例えば、光線を表す式がオブジェクトのいずれかの境界と交わるかどうかを計算する）ための任意の適切なアルゴリズムを使用してよい。レイキャスティングの分野で知られている技術が不透明度サブシステム３０６によって使用されてもよい（例えば、レイキャストヒット試験機能を使用する）。第１光線及び第２光線が交わる如何なるオブジェクトも、不透明度サブシステム３０６によって追跡され、交差オブジェクトのリストに加えられてよい。各交差オブジェクトは、例えば、オブジェクト識別子（ＩＤ）又はインスタンスＩＤによって、識別されてよい。第１光線若しくは第２光線のどちらか一方、又は両方の光線が交わるオブジェクトを識別する単一のリストが生成されてよい。代替的に、別々の第１リスト及び第２リストが生成されてもよく、それらは夫々、第１光線又は第２光線が交わるオブジェクトを識別する。

【0078】

例えば、交差オブジェクトリスト（例えば、アレイ形式）Ｉは、第１及び／又は第２光線が交わるオブジェクトの組を識別するように、生成されてよい。第１又は第２光線が交わっている各オブジェクトは、交差オブジェクトリストに加えられる。例えば、第１光線ＲｖがオブジェクトＯ_０及びＯ_１と交差し、第２光線ＲｈがオブジェクトＯ_１及びＯ_２と交差する場合に、交差オブジェクトリストはＩ＝［Ｏ_０，Ｏ_１，Ｏ_２］になる。オブジェクトが第１リスト及び第２リストで識別される順序は重要でないことがあり、オブジェクトがどの光線（又は両方の光線）によって交差されたかを識別することは不要であることがある。いくつかの例で、各光線が交わるオブジェクトは、例えば、交差仮想オブジェクトの不透明度が光線ごとに異なるように調整されることを可能にするために、別々に追跡されてもよい。

【0079】

いくつかの例で、ステップ４０６は省略されてもよい。例えば、方法４００が物理環境４０におけるオブジェクト選択のために実行されている場合に、物理環境４０における現実世界のオブジェクトの不透明度は調整不可能であるから、第１光線及び第２光線が交わる全てのオブジェクトを識別することは不要であり得る。

【0080】

いくつかの例で、４０８で、交差オブジェクトの組内の各仮想オブジェクトの不透明度が調整される。例えば、ステップ４０８は、交差リストＩ内の各仮想オブジェクトの不透明度を変えるために不透明度サブシステム３０６を実行することによって実行されてよい。

【0081】

不透明度サブシステム３０６は、交差仮想オブジェクトが低い不透明度でＸＲ環境２０においてレンダリングされるように、交差オブジェクトの組内の（例えば、交差オブジェクトリスト内で識別される）各仮想オブジェクトの不透明度を調整する。ユーザ１０は、このようにして、如何なる遮蔽仮想オブジェクトも通して第１光線及び第２光線の経路を見ることが可能であり得る。不透明度サブシステム３０６は、例えば、各交差仮想オブジェクトのアルファ値をセットされたアルファ値に変更することによって（例えば、アルファ値は０．０（つまり、完全に透明）から１．０（つまり、完全に不透明）の間にあり、通常、セットされたアルファ値は、交差仮想オブジェクトを半透明にするように１．０未満であるべきである）、交差オブジェクトの組に含まれているあらゆる仮想オブジェクトの不透明度を調整する。いくつかの例で、アルファ値は、ユーザ入力に応答して（例えば、ユーザは、ボタン又は他の入力メカニズムを用いて、投じられた光線の経路をより良く見るために、より低い不透明度を選択してよい）、不透明度サブシステム３０６によって動的に変更されてよい。

【0082】

いくつかの例で、不透明度サブシステム３０６は、交差オブジェクトの組の中のオブジェクトを連続的に更新するよう、かつ、ユーザ１０が動く（例えば、頭及び手を動かす）につれて変化する第１光線及び第２光線の経路をユーザ１０が視覚化することができるようにＸＲ環境２０内の交差仮想オブジェクトの不透明度を調整するよう構成されてよい。他の例では、ユーザ１０からの任意のアクティブ化入力（例えば、ボタン押下又はボイスコマンド）が、不透明度サブシステム３０６の動作を開始するために必要とされてもよい。第１及び／又は第２原点が（例えば、ユーザの頭及び／又は手の動きにより）変更されて、これまで交差していた仮想オブジェクトがもはや交差しなくなった場合に、不透明度サブシステム３０６は、交差オブジェクトリストからその仮想オブジェクトを除き、その仮想オブジェクトの不透明度をその元の不透明度に戻るよう調整してよい。よって、ＸＲ環境２０内の仮想オブジェクトの不透明度は、第１光線及び第２光線がどの仮想オブジェクトと交わっているかを示すよう、連続的に調整され得る。

【0083】

いくつかの例で、ステップ４０８は省略されてもよく、交差仮想オブジェクトの不透明度は調整されないことがある。例えば、他の視覚技術が、第１光線及び第２光線の位置をユーザ１０に示すために使用されてもよい（仮想矢印のフローティング、平面としての第１光線及び第２光線のレンダリング、など）。ＸＲ環境２０又は物理環境４０内の対象オブジェクトの選択は、如何なる交差仮想オブジェクトの不透明度も識別及び調整することに必ずしも依存しない。

【0084】

いくつかの例で、ステップ４０６及び４０８が省略される場合に、不透明度サブシステム３０６は、遠位選択サブシステム３００から省略又は無効化されてもよい。

【0085】

視覚化されるべき第１光線及び第２光線をレンダリングするためにレイキャスティングサブシステム３０４を実行することによって、及び／又は交差仮想オブジェクトの不透明度を減じるよう不透明度サブシステム３０６を実行することによって、遠位選択サブシステム３００は、ユーザ１０が選択すべき所望のオブジェクトをより明りょうに対象とすることを可能にする。ユーザ１０は、第１光線及び第２光線が対象オブジェクトで交差するまで第１光線及び第２光線を制御するために（例えば、頭及び手のポジション、向き又は姿勢を変えることによって）第１姿勢データ及び第２姿勢データを調整することができる。

【0086】

４１０で、第１光線と第２光線との交点が決定される。例えば、ステップ４１０は、交点サブシステム３０８を実行することによって実行されてよい。決定された交点は、第１光線と第２光線との計算された実際の交点であってよく、あるいは、第１光線及び第２光線がスキューである（つまり、平行でないが交差しない）場合には、決定された交点は、第１光線と第２光線との計算された投影された交点であってよい。決定された交点は、ＸＲ環境２０又は物理環境４０の基準枠内の直交座標として識別されてよい。

【0087】

図５は、ステップ４１０を実行するための例示的なステップを表すフローチャートである。交点サブシステム３０８は、ステップ４１０を実行するために、例えば、図５に表されている方法を実行してよい。

【0088】

５０２で、第１光線及び第２光線が平行であるかどうかが決定される。これは、様々な技術を用いて、例えば、方向ベクトルＶｄ及びＨｄが互いのスカラー乗数であるかどうかを確認することによって、実行されてよい。第１光線及び第２光線が平行である場合に、交点は決定され得ず、方法は交点を決定せずに終了する。図４に戻ると、交点がステップ４１０で見つけられない場合に、方法４００は、第１原点及び第２原点を追跡し続けるようステップ４０２に戻ってよい。

【0089】

図５に戻ると、第１光線及び第２光線が平行でないと決定される場合に、次いで５０４で、第１光線と第２光線との間に実際の交差点があるかどうかが決定される。平行でなくスキューでない光線の任意の対の場合、１つの一意の交差点Ｐが存在すべきである。交差点は、標準の３Ｄライン交差アルゴリズムを用いて計算されてよい。例えば、交点サブシステム３０８は、次の式：

【数2】

を使用してもよい。ここで、Ｖｐ及びＨｐは、第１原点及び第２原点のポジションを表し、Ｖｄ及びＨｄは、第１原点及び第２原点の方向ベクトルを表し、Ｐは、第１光線と第２光線との交差点である。実際の交差点を決定した後、方法はステップ５１０へ進む。

【0090】

第１光線と第２光線との間の実際の交点が決定され得ない場合には、第１光線及び第２光線はスキューであり、方法はステップ５０６へ進む。

【0091】

５０６で、第１光線と第２光線との間の最も近い距離が計算され、その最も近い距離が事前定義された閾値内にあるかどうかが決定される。

【0092】

３Ｄ空間において２つの光線（又は２つのライン）の間の法線を計算するための如何なる標準アルゴリズムも、第１光線と第２光線との間の最も近い距離を計算するために使用されてよい。例えば、交点サブシステム３０８は、次の式：

【数3】

を使用してもよい。ここで、Ｖｐ及びＨｐは、第１原点及び第２原点のポジションを表し、Ｖｄ及びＨｄは、第１原点及び第２原点の方向ベクトルを表し、ｄは、第１光線と第２光線との間の最短ベクトルである。ベクトルｄを計算した後、ｄの大きさが、第１光線と第２光線との間の最も近い距離を決定するために計算され得る。

【0093】

最も近い距離が所定の閾値内にある場合に、次いで、交点サブシステム３０８は、第１光線及び第２光線が交差していると見なされるほど十分に近いと決定し、方法はステップ５０８へ進む。

【0094】

最も近い距離が所定の閾値内にない場合に、次いで、交点サブシステム３０８は、第１光線及び第２光線が交差していると見なされるには離れすぎていると決定し、交点は決定され得ない。図５の方法は、交点を決定せずに終了する。図４に戻ると、交点がステップ４１０で見つけられない場合に、方法４００は、第１原点及び第２原点を追跡し続けるようステップ４０２に戻ってよい。

【0095】

第１光線及び第２光線（スキューである）が交差していると見なされ得るかどうかを決定するための所定の閾値は、デフォルトで前もってセットされてよく、及び／又はユーザによって選択されてよい（例えば、ユーザは、密にポピュレートされたＸＲ環境２０又は物理環境４０において、望まないオブジェクトを図らずも選択することを回避するために、閾値をより小さく調整したいと望むかもしれず、あるいは、ユーザは、対象オブジェクトのより容易な選択を可能にするために、閾値をより大きく調整したいと望むかもしれない）。

【0096】

いくつかの例で、第１光線及び第２光線が交差していると見なされ得るかどうかを決定するための所定の閾値は、第１光線及び第２光線の投影された交差点から第１原点及び第２原点までの距離に応じて、可変であってよい。光線がその原点からある角度で投じられる場合に、原点での角度の小さな変化は、原点から離れた距離での光線の大きい変位になる。従って、光線が原点からより遠くに投じられるほど、ユーザがある距離で光線のポジションを正確に制御することは難しくなる。所定の閾値は、この効果を考慮するよう、例えば、所定の閾値は、第１光線と第２光線との間の最も近い距離（つまり、投影された交差点）が第１原点及び第２原点の近くで（例えば、第１原点及び第２原点の夫々から１メートル半径内で）計算される場合にはより小さく、第１光線と第２光線との間の最も近い距離（つまり、投影された交差点）が第１原点及び第２原点から離れて（例えば、第１原点及び第２原点の夫々から１０メートル半径よりも遠い）計算される場合にはより大きく、それ以外の場合（例えば、第１原点及び第２原点の夫々から１メートル半径の外であるが１０メートル半径内にある）にはそれらの間の値になるように、所定の閾値を定義することによって、セットされてよい。所定の閾値は、第１光線と第２光線との間の最も近い距離（つまり、投影された交差点）から第１原点及び第２原点までの距離が大きくなるほど所定の閾値が徐々に（線形に）大きくなるように、式を用いて定義されてもよい。

【0097】

５０８で、第１光線と第２光線との間の最も近い距離が所定の閾値内にあると決定した後、投影された交差点が計算される。投影された交差点は、第１光線と第２光線との間の最短ベクトルに沿った任意の選択点として計算されてよい。例えば、投影された交差点は、第１光線と第２光線との間の最短ベクトルの中点として計算されてよい。投影された交差点を計算した後、方法はステップ５１０へ進む。

【0098】

５１０で、第１光線と第２光線との間の実際の交差点（ステップ５０４で計算される）、又は投影された交差点（ステップ５０８で計算される）が、決定された交点として使用される。図４に戻ると、第１光線と第２光線との交点を決定すると、方法４００はステップ４１２へ進む。

【0099】

４１２で、決定された交点に基づいて、ＸＲ環境２０又は物理環境４０内の暫定的に選択されたオブジェクトが識別される。例えば、ステップ４１２は、交点サブシステム３０８を実行することによって実行されてよい。

【0100】

決定された交点（第１光線と第２光線との実際の交差点、又は第１光線と第２光線との間の投影された交差点であってよい）は、ＸＲ環境２０又は物理環境４０の基準枠において３Ｄ直交座標によって定義されてよい。交点サブシステム３０８は、決定された交点に一致するオブジェクトがＸＲ環境２０又は物理環境４０にあるかどうかを決定する。例えば、交点サブシステム３０８は、（例えば、ステップ４０６から）識別された交差オブジェクトの組の中で、決定された交点に一致する（例えば、包含しているか又は境を接している（つまり、接触している））オブジェクトを識別してよい。他の例では（例えば、ステップ４０６が省略された場合）、交点サブシステム３０８は、既知のオブジェクトのリスト（例えば、レンダリングされている仮想オブジェクトのリスト、コンピュータ対応可能な現実世界のオブジェクトのリスト、検出された現実世界のオブジェクトのリスト、又はそれらの組み合わせ）の中で、決定された交点に一致するオブジェクトを識別してよい。例えば、既知のオブジェクトのリスト内の各オブジェクトは、ＸＲ環境２０又は物理環境４０の基準枠において定義されているオブジェクト境界に関連してもよく、交点サブシステム３０８は、定義された境界が決定された交点を包含しているか又は接しているオブジェクトを識別してよい。他の例では、交点サブシステム３０８は、決定された交点の位置にオブジェクトがあるかどうかを検出してよい（例えば、交点サブシステム３０８は、コンピューティングシステム１００のオブジェクト検出サブシステムと通信するか、又は外部トラッキングシステムと通信して、例えばコンピュータビジョンを用いて、決定された交点の位置にある任意のオブジェクトを検出し得る）。識別されたオブジェクトは、次いで、暫定的に選択されたオブジェクトとして識別される。１つよりも多い暫定的に選択されたオブジェクトが存在してもよい（例えば、交差オブジェクトの組内の１つよりも多いオブジェクトが決定された交点に接している場合があり、例えば、２つのオブジェクトが決定された交点で互いに接触している場合がある）。

【0101】

いくつかの例で、交点サブシステム３０８は、決定された交点から所定の又はユーザにより選択された半径を有している球を投影してもよい。ユーザは、投影された球の半径を動的に選択することが可能であり得る（例えば、コントローラ１０２のジョイスティックなどの任意の適切な手動入力メカニズムを用いる）。投影された球と一致している（例えば、少なくとも部分的にそれに包含されているか又は接している）ＸＲ環境２０又は物理環境４０内の如何なるオブジェクトも、暫定的に選択されたオブジェクトとして識別されてよい。１つよりも多い暫定的に選択されたオブジェクト（例えば、投影された球に少なくとも部分的に包含されているか又は接している１つより多いオブジェクト）が存在してもよい。

【0102】

ＸＲ環境２０において暫定的に選択された仮想オブジェクトは、暫定的な選択を視覚的に示すようにレンダリングされてよい（例えば、異なる色でレンダリングされる）。いくつかの例で、ユーザ１０は、暫定的に選択されたオブジェクトをユーザ１０に示すよう、他の適切な出力（例えば、暫定的に選択されたオブジェクトのデバイス名などの識別子の表示又はオーディオ出力）を供給されてもよい。

【0103】

いくつかの例で、暫定的に選択されたオブジェクトは識別されなくてもよい（例えば、決定された交点はＸＲ環境２０又は物理環境４０内の如何なるオブジェクトとも一致しない）。その場合に、方法４００はステップ４０２に戻ってよい。代替的に、暫定的に選択されたオブジェクトが識別されていない場合に、決定された交点は、ＸＲ環境２０又は物理環境４０内の暫定的に選択された３Ｄ位置を識別するために使用されてもよい。ユーザは、例えば、ＸＲ環境２０内の３Ｄ位置を、例えば仮想オブジェクトを置くための位置インジケータとして、選択してよい。他の例では、ユーザは、物理環境４０内の３Ｄ位置を、コンピューティングシステム１００によって制御される移動ロボットの動きを制御するための位置インジケータとして選択してよい。

【0104】

暫定的に選択された位置は、暫定的な選択を視覚的に示すようＸＲ環境２０内で（例えば、視覚矢印又は他のインジケータをレンダリングすることによって）レンダリングされてよい。いくつかの例で、物理環境４０内の暫定的に選択された位置は、物理環境４０のビューとオーバーレイされて、コンピューティングシステム１００のディスプレイ１０４で（例えば、視覚矢印又は他のインジケータをレンダリングすることによって）示されてもよい。

【0105】

４１４で、選択されたオブジェクト又は位置の確認が受け取られる。１つよりも多い暫定的に選択されたオブジェクトが存在する例では、確認は、暫定的に選択されたオブジェクトのうちの特定の１つの選択を示すユーザ入力（例えば、手動入力、ボイスコマンド、眼球追跡入力、など）として受け取られてよい。１つの暫定的に選択されたオブジェクト又は位置が識別されている例では、選択されたオブジェクト又は位置の確認がユーザ入力（例えば、手動入力、ボイスコマンド、など）として受け取られてよく、あるいは、暫定的に選択されたオブジェクト又は位置が所定タイマ（例えば、１秒）の満了まで暫定的に選択されているとして維持されることによって（例えば、第１原点及び第２原点が実質的に変化しないことによって）受け取られてもよい。選択されたオブジェクト（例えば、オブジェクトＩＤ）又は位置（例えば、決定された交点に対応する３Ｄ直交座標）の識別は、遠位選択サブシステム３００によって出力される。

【0106】

このように、方法４００は、各々の第１原点及び第２原点から投じられた第１光線及び第２光線に基づいて、選択されたオブジェクト又は選択された位置の識別を可能にする。選択されたオブジェクト又は選択された位置の識別は、例えば、選択されたオブジェクト又は選択された位置との更なるユーザインタラクションを可能にするために、他のソフトウェアアプリケーション（例えば、ＸＲ環境２０を生成するよう実行される他のアプリケーション、又は物理環境４０内のコンピュータ対応可能な現実世界のオブジェクトを制御するよう実行される他のアプリケーション）によって使用されてもよい。

【0107】

方法４００は、遠位選択サブシステム３００を実行することによって実行されてよく、オクルージョン不変であると見なされ得るオブジェクト又は位置選択技術を提供する。オクルージョン不変とは、選択技術が、選択されるべき対象オブジェクト又は位置が他のオブジェクトによって遮られているか否かに応じて変わる必要がないことを意味する。さもなければ対象オブジェクト又は位置を遮ることになる如何なる仮想オブジェクトも、半透明にレンダリングされる。異なる第１原点及び第２原点から投じられた第１光線及び第２光線の使用は、夫々の光線が異なるユーザ制御モードに対応し得る（例えば、第１光線は、ユーザの頭に対応する第１原点から投じられてよく、第２光線は、ユーザの手に対応する第２原点から投じられてよい）ので、クロスモーダル光線と呼ばれ得る。選択されたオブジェクト又は位置を識別する交点を決定するための２つの個別的に制御可能な光線の使用は、いくつかの既存の仮想オブジェクト選択技術と比較して、より高速なオブジェクト又は位置選択を可能にし得る（例えば、追加の曖昧さ回避ステップを必要としない）。

【0108】

図６は、方法４００がコンピューティングシステム１００としてのＨＭＦデバイスによって実行され、コンピューティングシステム１００がハンドヘルドコントローラ１０２とインターフェース接続するＸＲ環境２０における方法４００の実施例を表す。図６は、ディスプレイ１０４を介してユーザ１０へ感覚入力として供給される簡略化されたＸＲ環境２０を表す。

【0109】

この簡略化された例において、ＸＲ環境２０は、遮蔽仮想オブジェクト２２ｂによって（ユーザ１０の視点から）遮られている対象オブジェクト２２ａを含むオブジェクト２２を含む。

【0110】

この例で、第１原点［Ｖｐ，Ｖｄ］は、ユーザの頭の姿勢（例えば、ウェアラブルコンピューティングシステム１００によって追跡される）に対応して決定され、第２原点［Ｈｐ，Ｈｄ］は、ユーザの手の姿勢（例えば、ハンドヘルドコントローラ１０２によって追跡される）に対応して決定される。第１光線及び第２光線は、各々の第１原点及び第２原点から投じられる。遮蔽仮想オブジェクト２２ｂは、第１及び／又は第２光線によって交差されており、交差オブジェクトの組として識別される。遮蔽仮想オブジェクト２２ｂの不透明度は、遮蔽仮想オブジェクト２２ｂを半透明（図６では破線によって示される）にするよう調整される。第１及び／又は第２光線が交差していない他の仮想オブジェクトは半透明にされないことに留意されたい。

【0111】

第１光線と第２光線との間の実際の交差点又は投影された交差点が決定され、これは、第１光線と第２光線との交点Ｐとして決定される。対象オブジェクト２２ａは第１光線と第２光線との決定された交点と一致するので、対象オブジェクト２２ａは暫定的に選択されたオブジェクトとして識別される。対象オブジェクト２２ａは、対象オブジェクト２２ａが暫定的に選択されていることを示すよう（例えば、図６では異なる陰影で示されるように、相異なる色を使用して）レンダリングされてもよい。対象オブジェクト２２ａは、次いで、選択の確認を受け取った（例えば、対象オブジェクト２２ａがタイマの満了後に暫定的に選択されたままである）後に、選択されたオブジェクトとして識別される。

【0112】

図６は、コンピューティングシステム１００としてのＨＭＤデバイスと、ハンドヘルドコントローラ１０２とを使用して、本明細書で開示される方法及びシステムの実施例を表している。かような例は、頭部追跡が一般に既存のＨＤＭデバイスによって実行され、手追跡（ハンドヘルドコントローラ１０２の使用有無によらない）も一般的に既存のＸＲシステムによって実行されるので、比較的に実施するのが簡単であり得る。しかし、上述されたように、本開示は、そのような実施に制限されない。いずれか２つの一致しないポジションが、第１原点及び第２原点を決定するために追跡されてよい。例えば、ユーザの左右の手が、第１原点及び第２原点を決定するために別々に追跡されてもよい。他の例では、２人の別のユーザの２つの身体部分、例えば、頭部及び手が、第１原点及び第２原点を決定するために追跡されてもよい。他の例では、１つのウェアラブルデバイス又は１つのハンドヘルドデバイス上で互いに分離している２つのポジションが、第１原点及び第２原点を決定するために別々に追跡されてもよい（３ＤＯＦ）。ウェアラブルデバイス又は、ジョイスティック、スクロールホイール、タッチパッドなどのハンドヘルドデバイスでのモダリティは、２つの光線が交差し得るように、追跡される原点のレイキャスト方向の一方又は両方を独立して変更するために使用されてよい。他のそのような変形例も可能であり得る。

【0113】

図７Ａ～７Ｃは、物理環境４０での方法４００の実施例を表す。

【0114】

図７Ａで、方法４００は、コンピューティングシステム１００としてのハンドヘルドデバイス（例えば、スマートフォン又はタブレット）によって実行され、コンピューティングシステム１００はウェアラブルＩ／Ｏデバイス１０６（例えば、スマートウォッチ又はスマートリング）とインターフェース接続する。この簡略化された例で、物理環境は、対象オブジェクト４２ａを含むオブジェクト４２を含む。

【0115】

この例で、第１原点［Ｖｐ，Ｖｄ］は、ユーザの右手の姿勢（例えば、ハンドヘルドコンピューティングシステム１００によって追跡される）に対応して決定され、第２原点［Ｈｐ，Ｈｄ］は、ユーザの左手の姿勢（例えば、ウェアラブルＩ／Ｏデバイス１０６によって追跡される）に対応して決定される。他の例では、ウェアラブルＩ／Ｏデバイス１０６は、任意の他の身体部分に（例えば、手に、顔に、胸部に、臀部に、又は足に、など）身につけられてよく、第２原点は、その他の身体部分の姿勢に対応し得る。第１光線及び第２光線は、各々の第１原点及び第２原点から投じられる。コンピューティングシステム１００は、物理環境４０のビュー（例えば、コンピューティングシステム１００のディスプレイ（図示せず）により出力される）に対するオーバーレイとして仮想的な第１光線及び第２光線の視覚化をレンダリングする。

【0116】

第１光線と第２光線との間の実際の交差点又は投影された交差点が決定され、これは、第１光線と第２光線との交点Ｐとして決定される。対象オブジェクト４２ａは第１光線と第２光線との決定された交点Ｐと一致するので、対象オブジェクト４２ａは暫定的に選択されたオブジェクトとして識別される。暫定的に選択された対象オブジェクト４２ａの識別は、コンピューティングシステム１００によって出力されてよい（例えば、対象オブジェクト４２ａの識別（例えば、デバイス名）が、コンピューティングシステム１００によって表示又は発話されてよい）。対象オブジェクト４２ａは、次いで、選択の確認を受け取った（例えば、対象オブジェクト４２ａがタイマの満了後に暫定的に選択されたままである）後に、選択されたオブジェクトとして識別される。

【0117】

図７Ｂで、方法４００は、コンピューティングシステム１００としての非ウェアラブル、非ハンドヘルドデバイス（例えば、デスクトップデバイス、スマートアプライアンス、又はワークステーション）によって実行され、コンピューティングシステム１００は、物理環境４０におけるユーザ１０の追跡を可能にするよう外部トラッキングシステム４４と通信する。外部トラッキングシステム４４は、（例えば、コンピュータビジョン、追跡マーカ、又はそれらの組み合わせを使用して）ユーザ１０の身体部分の検出及び追跡を可能にするために、例えば、光学カメラ、赤外線カメラ、レーダーユニット、ＬｉＤＡＲユニット、などを含んでよい。図７Ｂは、コンピューティングシステム１００を、外部トラッキングシステム４４とは別であるものとして表しているが、他の例では、コンピューティングシステム１００は、トラッキングシステム４４と一体化されてもよい。

【0118】

図７Ａの例と同様に、物理環境は、対象オブジェクト４２ａを含むオブジェクト４２を含む。コンピューティングシステム１００は、ＦＯＶ４６内のオブジェクト４２及びユーザを検出及び追跡することができる。この例で、第１原点［Ｖｐ，Ｖｄ］は、ユーザの頭の姿勢（例えば、トラッキングシステム４４によって追跡される）に対応して決定され、第２原点［Ｈｐ，Ｈｄ］は、ユーザの手の姿勢（例えば、トラッキングシステム４４によって追跡される）に対応して決定される。他の例では、トラッキングシステム４４は、第１原点及び第２原点を決定するためにユーザ１０の任意の他の２つの異なる身体部分を追跡してもよい。トラッキングシステム４４は、第１及び第２姿勢データ、又は第１原点及び第２原点を、コンピューティングシステム１００へ通信してよい。コンピューティングシステム１００は、物理環境４０のビュー（例えば、コンピューティングシステム１００のディスプレイ（図示せず）により出力される）に対するオーバーレイとして仮想的な第１光線及び第２光線の視覚化をレンダリングする。

【0119】

第１光線と第２光線との間の実際の交差点又は投影された交差点が決定され、これは、第１光線と第２光線との交点Ｐとして決定される。対象オブジェクト４２ａは第１光線と第２光線との決定された交点Ｐと一致するので、対象オブジェクト４２ａは暫定的に選択されたオブジェクトとして識別される。暫定的に選択された対象オブジェクト４２ａの識別は、コンピューティングシステム１００によって出力されてよい（例えば、対象オブジェクト４２ａの識別（例えば、デバイス名）が、コンピューティングシステム１００によって表示又は発話されてよい）。対象オブジェクト４２ａは、次いで、選択の確認を受け取った（例えば、対象オブジェクト４２ａがタイマの満了後に暫定的に選択されたままである）後に、選択されたオブジェクトとして識別される。

【0120】

図７Ｃで、方法４００は、コンピューティングシステム１００としての非ウェアラブル、非ハンドヘルドデバイス（例えば、デスクトップデバイス、スマートアプライアンス、又はワークステーション）によって実行され、コンピューティングシステム１００は、物理環境４０におけるユーザ１０の追跡を可能にするようセンサ（例えば、光学カメラ、赤外線カメラ、レーダーユニット、ＬｉＤＡＲユニット）を含む。

【0121】

図７Ｃの例は、図７Ｂの例に類似している。しかし、図７Ｃの例では、コンピューティングシステム１００自身が対象オブジェクト４２ａである。例えば、コンピューティングシステム１００はスマートアプライアンス（例えば、スマートテレビ、スマート冷蔵庫、スマートスピーカ、など）であってよい。コンピューティングシステム１００が、ユーザ１０によって選択される対象オブジェクト４２ａとして自身を識別した後、コンピューティングシステム１００は、ユーザ１０がコンピューティングシステム１００と相互作用することを可能にするよう更なる動作を実行してよい（例えば、選択メニューを表示する）。

【0122】

いくつかの例で、遠位選択サブシステム３００は、デスクトップデバイスであるコンピューティングシステム１００によって実行されてよい。デスクトップコンピューティングシステム１００は、ディスプレイ１０４を供給する表示デバイス（例えば、ＨＭＤデバイスなどのウェアラブルデバイス）と（例えば、有線接続又は無線接続を介して）通信してよい。コンピューティングシステム１００は、ハンドヘルドコントローラ１０２、Ｉ／Ｏデバイス１０６、又は外部トラッキングシステム４４とも通信してよい。コンピューティングシステム１００は、第１原点及び第２原点を決定するために使用され得るセンサデータをＨＭＤデバイス、Ｉ／Ｏデバイス１０６、ハンドヘルドコントローラ１０２、及び／又は外部トラッキングシステム４４から受信してよい。コンピューティングシステム１００は、上述されたように、ＸＲ環境２０をレンダリングするよう（例えば、任意の遮蔽仮想オブジェクトの不透明度を変更するよう）、又は物理環境４０のビューを供給するよう、コマンドを表示デバイスに供給してよい。

【0123】

いくつかの例で、ＸＲ環境２０は、非没入方法でレンダリングされてもよい。例えば、コンピューティングシステム１００は、デスクトップディスプレイ１０４（例えば、コンピュータモニタ）に３Ｄ表示シーンとしてＸＲ環境２０をレンダリングするデスクトップデバイスであってよい。第１原点及び第２原点は、ユーザの頭の追跡（例えば、コンピューティングシステム１００で実行される眼球追跡又は頭部追跡ソフトウェアを使用する）及び手で操作する入力デバイス（例えば、マウス）からの追跡入力に基づき決定されてよい。

【0124】

ユーザの頭及び／又は手の追跡のための、及び／又はＸＲ環境２０のレンダリングのための他のシステムは、本開示の範囲内で可能であり得る。

【0125】

様々な例で、本開示は、２つの投影光線を使用した３Ｄ環境（３Ｄ ＸＲ環境又は３Ｄ物理環境を含む）におけるオブジェクト又は位置の選択のためのシステム及び方法について記載している。３Ｄにおいて投じられた２つの光線の交点を使用することによって、ＸＲ環境又は物理環境におけるオブジェクト又は位置は、選択されたオブジェクト又は位置として識別され得る。開示されている方法及びシステムは、いくつかの既存の方法及びシステムと比較して、より速くかつより直感的なオブジェクト又は位置の選択を可能にし得る。

【0126】

ＸＲ環境における任意の遮蔽仮想オブジェクトの不透明度は、選択されるべき対象オブジェクト又は位置のより容易な視覚化を可能にするよう調整（例えば、半透明にレンダリング）されてよい。ユーザが遮蔽仮想オブジェクトを回避するために姿勢を変える必要がないので、これは対象オブジェクト又は位置のより容易な選択も可能にする。

【0127】

本開示は、実際の３Ｄ交差点を計算するための、及び投影された３Ｄ交差点を計算するためのいくつかの例示的なアルゴリズム及び式を記載している。様々な異なるアルゴリズムがそれらの計算に使用されてよいことが理解されるべきである。

【0128】

本明細書で記載される例は、数ある中でも特に、拡張現実（ＡＲ）、仮想現実（ＶＲ）及び／又はゲーム機アプリケーションに適用可能であり得る。本明細書で記載される例は、数ある中でも特に、スマートデバイス、ＩｏＴデバイス、及び／又はスマートアプライアンスとのインタラクションにも適用可能であり得る。

【0129】

本開示は、特定の順序でステップを含む方法及びプロセスについて記載しているが、方法及びプロセスの１つ以上のステップは、必要に応じて、省略又は変更されてよい。１つ以上のステップは、必要に応じて、それらが記載されているの順序以外の順序で行われてもよい。

【0130】

本開示は、少なくとも部分的に、方法に関して記載されているが、当業者は、本開示が、記載されている方法の側面及び特徴の少なくとも一部を実行するための、ハードウェアコンポーネント、ソフトウェア、又はそれらの任意の組み合わせによるものである様々なコンポーネントにも向けられていることを理解するだろう。従って、本開示の技術的解決法は、ソフトウェア製品の形で具現化されてよい。適切なソフトウェア製品は、例えば、ＤＶＤ、ＣＤ－ＲＯＭ、ＵＳＢフラッシュディスク、リムーバブルハードディスク、又は他の記憶媒体を含む、事前記録された記憶デバイス又は他の類似した不揮発性の若しくは非一時的なコンピュータ可読媒体に記憶されてもよい。ソフトウェア製品には、本明細書で開示されている方法の例を処理デバイス（例えば、パーソナルコンピュータ、サーバ、又はネットワークデバイス）が実行する、そこに有形に記憶されている命令を含む。

【0131】

本開示は、特許請求の範囲の対象から逸脱せずに、他の具体的な形態で具現化されてもよい。記載されている例示的な実施形態は、全ての点で単に例示であって限定ではないと見なされるべきである。上記の実施形態のうちの１つ以上からの選択された特徴は、明示的に記載されていない代替の実施形態を形成するために組み合わされてもよく、そのような組み合わせに適した特徴は、本開示の範囲内で理解される。

【0132】

開示されている範囲内の全ての値及び部分範囲も開示されている。また、本明細書に開示及び図示されているシステム、デバイス、及びプロセスは、特定の数の要素／コンポーネントを有し得るが、システム、デバイス、及びアセンブリは、追加の又はより少ないそのような要素／コンポーネントを含むように修正することができる。例えば、開示されている要素／コンポーネントのいずれも単数であるとして言及される場合があるが、本明細書で開示されている実施形態は、複数のそのような要素／コンポーネントを含むように修正することができる。本明細書で記載されている主題は、技術における全ての適切な変更を網羅し包含することを意図している。

【0133】

［相互参照］
本願は、２０２０年１２月１８日付けで「METHODS AND SYSTEMS FOR SELECTION OF OBJECTS」との発明の名称で出願された米国特許出願第１７／１２７，０２２号の優先権を主張するものであり、先の米国特許出願は、参照により本願に援用される。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】