特許 7548835 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240903BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 19

(21)【出願番号】P 2021016096

(22)【出願日】2021-02-03

(65)【公開番号】P2021136017

(43)【公開日】2021-09-13

【審査請求日】2024-02-05

(31)【優先権主張番号】16/798,583

(32)【優先日】2020-02-24

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】504407000

【氏名又は名称】パロ アルト リサーチ センター，エルエルシー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】マシュー・シュリーブ

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１２－１６８７９８（ＪＰ，Ａ）

【文献】特開２０１５－０５６１０６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０２２２３６９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０３７１０６７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／００６２１２３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／０１８７２６６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００５３０５６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

方法であって、
オブジェクトの三次元幾何学形状、及びカメラを介した前記オブジェクトの識別を容易にすることができる前記オブジェクトの表現をメモリに記憶することと、
前記カメラ内のシーンを介して前記オブジェクトの画像を取得することと、
前記画像に基づいて、前記オブジェクトの前記記憶された表現を介して前記オブジェクトの存在を検出することと、
前記オブジェクトの前記存在を検出することに基づいて、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることと、
前記マッピングに基づいて、前記三次元幾何学形状に対して固定された向きにある点に仮想オブジェクトを取り付けることであって、前記仮想オブジェクトを取り付けることが、作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記オブジェクトの表面にある前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、取り付けることと、
前記オブジェクトに対する拡張現実ディスプレイの場所の変化に関係なく、前記拡張現実ディスプレイ上の前記仮想オブジェクトを、前記点及び前記固定された向きの場所にレンダリングすることと、を含む、方法。

【請求項2】

前記オブジェクトがデバイスを含み、前記仮想オブジェクトが、前記デバイスにサービス提供するための命令を含む、請求項１に記載の方法。

【請求項3】

前記命令が、前記オブジェクトの一部の上に重畳されたアニメーションを含む、請求項２に記載の方法。

【請求項4】

前記デバイスにサービス提供するユーザが、前記オブジェクトの幾何学形状の変化を引き起こし、前記方法が、
前記幾何学形状の変化に対応する前記シーン内の前記オブジェクトに第２の三次元幾何学形状をマッピングすることと、
前記第２の三次元幾何学形状に対して固定された第２の点で第２の命令をレンダリングすることと、を更に含む、請求項２に記載の方法。

【請求項5】

前記仮想オブジェクトを取り付けることが、前記作成デバイスの前記ディスプレイにある前記オブジェクトの前記ライブビュー内の前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、請求項１に記載の方法。

【請求項6】

前記取り付けられた仮想オブジェクトの前記場所が、前記ライブビュー内の前記オブジェクトの位置によって判定される、請求項５に記載の方法。

【請求項7】

前記取り付けられた仮想オブジェクトが、グラフィック、手書きメモ、ビデオ、及びアニメーションのうちの少なくとも１つを含む、請求項６に記載の方法。

【請求項8】

前記三次元幾何学形状、前記点を記述するデータ、及び前記仮想オブジェクトを記述するデータが、ネットワークデータベース上に記憶され、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることが、
前記オブジェクトの前記存在を検出することに応じて、前記オブジェクトの識別子を前記ネットワークデータベースに通信することと、
前記識別子を通信することに基づいて、前記三次元幾何学形状、前記点を記述する前記データ、及び前記仮想オブジェクトを記述する前記データを検索することと、を含む、請求項１に記載の方法。

【請求項9】

第２のカメラを介して、前記オブジェクトの場所とは異なる別の場所における前記オブジェクトの第２のインスタンスを検出することと、
前記三次元幾何学形状を前記別の場所内の前記オブジェクトの第２のインスタンスにマッピングすることと、
前記第２のカメラからのストリーミング入力に基づいて、第２のディスプレイ上に第２のビデオをレンダリングすることであって、前記仮想オブジェクトが、前記オブジェクトの前記第２のインスタンス上の前記点に位置するように前記ビデオを用いてレンダリングされる、レンダリングすることと、を更に含む、請求項１に記載の方法。

【請求項10】

前記記憶された表現が機械学習分類子を含む、請求項１に記載の方法。

【請求項11】

前記記憶された表現が、機械可読コード又は人間が読み取れるテキストのいずれかを介して前記オブジェクトから読み取り可能なコードを含む、請求項１に記載の方法。

【請求項12】

第１のカメラに連結された第１のプロセッサを含む作成デバイスであって、前記第１のプロセッサが、
前記第１のカメラ内のシーンを介してオブジェクトの画像を取得し、
前記画像に基づいて、前記オブジェクトの記憶された表現を介して前記オブジェクトの存在を検出し、
前記オブジェクトの前記存在を検出することに基づいて、前記シーン内の前記オブジェクトに三次元幾何学形状をマッピングし、
前記マッピングに基づいて、前記三次元幾何学形状に対して固定された向きにある点に仮想オブジェクトを取り付け、前記仮想オブジェクトを取り付けることが、作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記オブジェクトの表面にある前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、ように構成されている、作成デバイスと、
第２のカメラに連結された第２のプロセッサを含む表示デバイスであって、前記第２のプロセッサが、
前記第２のカメラを介して前記オブジェクト又は同等のオブジェクトを検出し、それに応じて、前記三次元幾何学形状を前記オブジェクト又は前記同等のオブジェクトにマッピングし、
前記オブジェクトに対する前記表示デバイスの場所の変化に関係なく、拡張現実ディスプレイ上の前記仮想オブジェクトを、前記点及び前記固定された向きの場所にレンダリングする、ように構成されている、表示デバイスと、を備える、システム。

【請求項13】

前記オブジェクトがデバイスを含み、前記仮想オブジェクトが、前記デバイスにサービス提供するための命令を含む、請求項１２に記載のシステム。

【請求項14】

閲覧デバイスを介して前記デバイスにサービス提供するユーザが、前記オブジェクト又は前記同等のオブジェクトの幾何学形状の変化を引き起こし、前記システムが、
前記幾何学形状の変化に対応する前記シーン内の前記オブジェクトに第２の三次元幾何学形状をマッピングすることと、
前記第２の三次元幾何学形状に対して固定された第２の点で第２の命令をレンダリングすることと、を更に含む、請求項１３に記載のシステム。

【請求項15】

前記取り付けられた仮想オブジェクトの前記場所が、前記ライブビュー内の前記オブジェクトの位置によって判定される、請求項１２に記載のシステム。

【請求項16】

前記取り付けられた仮想オブジェクトが、グラフィック、手書きメモ、ビデオ、及びアニメーションのうちの少なくとも１つを含む、請求項１５に記載のシステム。

【請求項17】

前記三次元幾何学形状、前記点を記述するデータ、及び前記仮想オブジェクトを記述するデータが、ネットワークデータベース上に記憶され、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることが、
前記オブジェクトの前記存在を検出することに応じて、前記オブジェクトの識別子を前記ネットワークデータベースに通信することと、
前記識別子を通信することに基づいて、前記三次元幾何学形状、前記点を記述する前記データ、及び前記仮想オブジェクトを記述する前記データを検索することと、を含む、請求項１２に記載のシステム。

【請求項18】

前記同等のオブジェクトが前記オブジェクトとは異なる場所にある、請求項１２に記載のシステム。

【請求項19】

前記記憶された表現が機械学習分類子を含む、請求項１２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システムに関する。一実施形態では、オブジェクトの三次元幾何学形状が記憶され、カメラを介したオブジェクトの識別を容易にすることができるオブジェクトの表現も記憶される。オブジェクトの画像は、カメラ内のシーンを介して取得される。画像に基づいて、オブジェクトの存在は、オブジェクトの記憶された表現を介して検出される。オブジェクトの存在を検出することに基づいて、オブジェクトに対する三次元幾何学形状がシーン内にマッピングされる。仮想オブジェクトは、マッピングに基づいて、三次元幾何学形状に対して固定された向きにある点に取り付けられる。仮想オブジェクトは、オブジェクトに対する拡張現実ディスプレイの場所の変化に関係なく、点及び固定された向きに位置するように、拡張現実ディスプレイ上にレンダリングされる。

【0002】

様々な実施形態のこれら及び他の特徴及び態様は、以下の詳細な考察及び添付の図面を考慮して理解され得る。

【図面の簡単な説明】

【0003】

以下の考察は、以下の図を参照するが、同じ参照番号は、多数の図において類似の／同じ構成要素を識別するために使用されてもよい。

【0004】

【図1】例示的な実施形態による、仮想オブジェクトの作成及び使用を示す斜視図である。

【図2】例示的な実施形態による、仮想オブジェクトの作成及び使用を示す斜視図である。

【0005】

【図3】別の例示的実施形態による、システムで使用される三次元幾何学形状を示すブロック図である。

【0006】

【図4】例示的な実施形態による、システムのブロック図である。

【0007】

【図5】例示的な実施形態による、変更オブジェクトに適用される幾何学形状の変化を示す斜視図である。

【0008】

【図6】例示的な実施形態による、方法のフローチャートである。

【発明を実施するための形態】

【0009】

本開示は、概して、拡張現実（augmented reality、ＡＲ）方法及びシステムに関する。ＡＲシステムは、最新のコンピューティングハードウェア（典型的にはモバイルデバイス）内のセンサを利用して、リアルタイム画像（例えば、画面上にレンダリングされたビデオ画像、又はユーザが見て透明なディスプレイ上にレンダリングされたビデオ画像）を、コンピュータ生成されたグラフィックと重ね合わせる。他のセンサ（例えば、ジオロケーション、ビデオカメラ、飛行時間センサなど）はまた、リアルタイム画像の三次元空間に関する情報を提供することによって、ＡＲ体験の向上を支援することができる。これにより、例えば、仮想オブジェクトを三次元空間内の固定位置に配置することを可能にすることができ、それにより、ユーザのビューポートが移動すると、仮想オブジェクトがビューポートと共に移動して、それが三次元空間内に位置する現実のオブジェクトであるという錯覚をもたらす。仮想オブジェクトが三次元オブジェクトとしてモデル化される場合、仮想オブジェクトのこのレンダリングは、ビューワがそれの周りを移動する際に仮想オブジェクトを回転させるように延在することができ、仮想オブジェクトが現実であるという錯覚を更に高めることができる。

【0010】

ＡＲハードウェアを改善する上で重要な研究がなされてきたが、ＡＲコンテンツの容易な生成はあまり注目されていなかった。その結果、これらのデバイス上のコンテンツは、限定されたままである。これは、部分的には、ＡＲコンテンツの生成が困難であるため、多くの場合、グラフィック設計又はコンピュータ支援設計（computer aided design、ＣＡＤ）などの技術的分野の技能を必要とする。したがって、コンピュータビジョン及び機械学習を活用することによってコンテンツ作成プロセスを加速する方式は、メインストリームユーザに対するＡＲの採用を増加させるのに役立ち得る。

【0011】

本開示は、ユーザが、全て単一のデバイスからのＡＲコンテンツ（例えば、手書き又はタイプされたメモ、写真、ビデオ、アニメーション、二次元又は三次元グラフィック、図面など）を有するオブジェクトを素早くアノテーションすることを可能にするシステム及び方法に関する。このようなデバイスは、対象のオブジェクトの三次元ポーズを追跡することができる、電話、タブレット、ＡＲヘッドセットなどを含んでもよい。デバイスのユーザインターフェース（例えば、電話若しくはタブレットスクリーン上に表示されたライブカメラビュー、又はＡＲヘッドセット上のホログラフビューポート）を使用して、ユーザは、コンテンツを配置したい領域上又はその近くにビューポートを配置することによってオブジェクトをアノテーションする。この配置は、タブレットなどが使用されるタッチスクリーンを操作することによって生じ得る。ヘッドセット、眼鏡などが使用される場合、ユーザは、ビュー内に投影され、ポインタ（例えば、レーザポインタ、ハンドヘルドコントローラ）によって選択される仮想コントロールを使用することができる。

【0012】

システムが対象のオブジェクトを識別すると、システムは、ユーザ作成された仮想オブジェクトの場所を特定するために使用され得るオブジェクトの仮想バージョンを表すために使用されるオブジェクトの三次元幾何学形状を判定する。システムがオブジェクト及びその幾何学形状を識別した後、ユーザは、コンテンツを選び、オブジェクトに関連する場所に固定する。ユーザは、コンテンツをデバイス上の物理的場所に関連付ける（例えば、ビデオと対象のオブジェクトの表面にある点との間に線を引く）、かつ／又はコンテンツの正確な位置を精緻化する能力を有する。デバイス及び／又はビューポートが、コンテンツが配置された領域から外に移動されると、コンテンツは、配置されるように選択された場所から正確な場所及びポーズ（向き）に固定されたままである。コンテンツはまた、デバイスのライブビューポートを見ることができるリモートユーザによって配置されてもよい。

【0013】

図１では、一連の斜視図は、例示的な実施形態によるシーケンスを示す。ビュー１００では、ユーザ１０２は、この例では多機能プリンタ（multifunction printer、ＭＦＰ）である標的オブジェクト１０６付近にモバイルデバイス１０４（例えば、タブレット、携帯電話、ラップトップ、ウェアラブルデバイスなど）を保持する。モバイルデバイス１０４は、ディスプレイ上にオブジェクト１０６のライブビデオをレンダリングすることを可能にするカメラ（図示せず）を有する。モバイルデバイス１０４は、ライブビデオに基づいてオブジェクト１０６の存在を検出するように構成される。いくつかの実施形態では、モバイルデバイス１０４は、透明窓（例えば、ＡＲ眼鏡又はヘッドセット）を有してもよく、その場合、モバイルデバイス１０４は、必ずしもディスプレイ上にビデオが示されていなくても、依然としてカメラ又は他の撮像センサを利用して標的オブジェクト１０６を検出することができることを留意されたい。

【0014】

モバイルデバイス１０４は、画像認識を介してオブジェクトを検出することができる。例えば、機械学習モデル（例えば、畳み込みニューラルネットワーク）は、オブジェクトの外部の写真画像について訓練されることにより、オブジェクトのセット（例えば、製造業者の製造範囲内のモデル番号のセット）を検出するように訓練されてもよい。このモデルは、カメラフィードからオブジェクトを視覚的に検出するために使用することができる表現として機能する。このようなモデルは、訓練されたものとは異なる視野角であってもオブジェクトを検出することができるため、モバイルデバイス１０４は、オブジェクト１０６が、モデルが検出するように訓練されたクラスのメンバーであるという高確率の判定を行うことができる。

【0015】

オブジェクトの表現は、オブジェクト１０６を表す識別子（例えば、バイナリ又は英数字シーケンス）を含んでもよく、オブジェクト１０６の外観の機械学習表現の代わりに、又はそれに加えて使用されてもよい。例えば、機械可読コード（例えば、バーコード、ＱＲコード、無線周波数識別タグ）をオブジェクト１０６に添付することができ、これを使用して、オブジェクト１０６を一意に識別し（例えば、シリアル番号）、かつ／又はオブジェクト１０６のクラス（例えば、モデル番号）を識別することができる。機械読み取り（例えば、人間が読み取れるテキスト）用に具体的に設計されていない他のコードもまた、オブジェクトに添付され、機械学習モデル、例えば、光学文字認識を使用して識別されてもよい。

【0016】

オブジェクト１０６が機械可読コードを使用してのみ識別される場合であっても、モバイルデバイス１０４は、カメラシーン内のオブジェクト１０６の向き及び場所を概ね判定するために、ビデオカメラフィードを利用してもよい。ビュー１２０に見られるように、モバイルデバイス１０４は、ここではオブジェクト１０６の上に重畳されたグリッドとして示されるオブジェクト１０６の三次元幾何学形状１２２にアクセスする。三次元幾何学形状１２２は、モバイルデバイス１０４上に記憶されてもよく、かつ／又はネットワークを介してアクセスされてもよい。三次元幾何学形状１２２は、オブジェクト１０６の最大範囲又はより複雑な幾何学形状、例えば、相互接続された表面のセットを包含する、単純な形状（例えば、直方体）であってもよい。これらの幾何学形状は、例えば、オブジェクト１０６のＣＡＤモデル及び／又はオブジェクト１０６の三次元走査を使用して形成されてもよい。

【0017】

オブジェクト１０６を識別することができることに加えて、モバイルデバイス１０４は、シーンの仮想モデル内の幾何学形状１２２の場所が、シーン内の現実のオブジェクト１０６の場所と一致するように、三次元幾何学形状１２２をシーンにマッピングするように構成される。三次元幾何学形状１２２（例えば、グリッド）の表現は、ユーザ１０２に表示されたオブジェクト１０６の画像の上に重ね合わされてもよく、これはマッピングが正しいことを検証するのを支援することができる。

【0018】

三次元幾何学形状１２２をオブジェクトのビデオ上（又はＶＲ窓上）にマッピングするために、モバイルデバイス１０４はまた、機械学習アルゴリズム／モデルを使用してもよい。例えば、機械学習アルゴリズムは、三次元幾何学形状１２２の既知の基準点に対応するオブジェクト（例えば、角）上の少なくとも２つの物理的点をビデオ画像から訓練することができる。これらの検出点を使用してマッピングを実現することができる。他のしるし、例えば、機械検出可能マーキングは、ビデオ画像の代わりに、又はビデオ画像に加えて使用されてもよい。例えば、機械検出可能マーキング（例えば、インク、ステッカー）を、オブジェクト１０６の可視領域（例えば、２つ以上の角）に配置することができる。同様に、ユーザは、デバイスに触れることによって、又はポインティングデバイス（例えば、レーザポインタ）を使用することによって、これらの領域を物理的に示すことができる。

【0019】

三次元幾何学形状１２２がオブジェクト１０６にマッピングされると、モバイルデバイス１０４は、モバイルデバイス１０４の移動に応答して、ディスプレイ上の三次元幾何学形状１２２のビューを変更することができ、これらの移動は、ビュー内のオブジェクト１０６の移動をマッピングする。これは、モバイルデバイス１０４と標的オブジェクト１０６との間の三次元空間内のオフセットベクトルを示す、モバイルデバイス１０４によって利用される場所及び向きセンサに基づいて達成され得る。このようにして、モバイルデバイス１０４は、オブジェクト１０６に対して固定点に位置する仮想オブジェクトをレンダリングするのに十分な情報を有し、その結果、仮想オブジェクトは、オブジェクト１０６に対する拡張現実ディスプレイの場所の変化に関係なく、ＡＲディスプレイ上に位置するものとして示される。

【0020】

ビュー１３０に示されるように、モバイルデバイス１０６は、標的オブジェクト１０６がモバイルデバイス１０４上に示されたライブビデオフィード内に位置するように、所望の場所に位置決めされる。次いで、モバイルデバイス（例えば、タッチスクリーン）のユーザインターフェースを介して、ユーザ１０２は、標的オブジェクト１０６に取り付けられている仮想オブジェクトを追加することができる。この例では、ユーザ１０２はメモ１３２を書き込むと、アニメーション化された矢印１３３が追加され、ビデオ１３４を選択する。メモ１３２、矢印１３３及びビデオ１３４は、モバイルデバイス１０４の正確なポーズ及び位置を使用して整列される。ビュー１４０に見られるように、ユーザ１０２はまた、仮想オブジェクト１３２～１３４の間の線１４２を、仮想オブジェクト１３２～１３４の正確なアンカー位置を示すオブジェクト１０６の表面に引く。この場合、仮想オブジェクトは、対象の一部、例えばＭＦＰのカバーに固定される。

【0021】

ユーザが仮想オブジェクト１３２～１３４を作成した後、それらはデータベースに保存され、オブジェクト１０６にリンクされ得る。データベースは、三次元幾何学形状１２２が記憶される場所と同じであっても異なってもよい。その後、同じデータベースへのアクセスを有する同じモバイルデバイス１０４又は他のデバイスが、ＡＲアプリケーション内のオブジェクト１０６を見る場合、仮想オブジェクト１３２～１３４は、図１に設定されたものと同じ向きでデバイス内に表示される。これは図２に示されており、ビュー２００及び２０２は、仮想オブジェクト１３２～１３４及び１４２が作成され、記憶された後に、ＡＲビューワに示され得るものを表す。ビュー２００は、仮想オブジェクトが図１に作成されたときに使用されたものと同様の視点を表す。ビュー２０２は、側面図を表す。なお、平面上に二次元オブジェクトとして構築されている仮想オブジェクト１３２～１３３は、側面から見たときに標的オブジェクト１０６の前方に浮いている板状のオブジェクトとしてレンダリングされることに留意されたい。

【0022】

異なる閲覧デバイス上の互換性のあるＡＲアプリケーションがオブジェクトに遭遇する場合、異なるデバイスは、環境内のその場所を検出するためのいくつかの能力、並びに実際のオブジェクト及び仮想オブジェクトがどこに位置するかを記述するデータも有してもよいことに留意されたい。三次元幾何学形状３００を記述する場所データの例示的な例を図３の図に示す。いくつかの実施形態のように、この場所データは任意選択であり得、ＡＲデバイスは、オブジェクト自体の画像のみに基づいて幾何基準点を確立することができ、したがって、オブジェクトの周囲の特定の座標のいかなる知識も厳密に必要としないことに留意されたい。

【0023】

座標系３０２は、場所センサ（例えば、ジオロケーションセンサ、ビーコンセンサ）を有するデバイスによって使用可能な固定基準を表し、この基準は、定義された空間（例えば、部屋内、世界的に固有の緯度／経度／高度点）での場所を判定するために使用することができる。三次元幾何学形状３００の基準点（例えば角）は、ベクトルＸによって座標系３０２の原点からずれている。更に、幾何学形状３００はベクトルθによって座標系に対して回転される。上述のように、幾何学形状３００は、定義された空間内にある現実世界オブジェクト３０５に取り付けられる（例えば、包含する）。

【0024】

ベクトルＸ、θは、向きセンサ及び場所センサを有する別の閲覧デバイス３０８が、例えばカメラレンズの焦点などの局所基準に対する幾何学形状３００（及びしたがって現実世界のオブジェクト）の場所を判定することができる。図１に関連して説明されるように、仮想オブジェクト３０４は、幾何学形状３００に取り付けることができ、仮想オブジェクト３０４の幾何学形状３００に対する場所及び向きを記述するベクトルＸ_Ｖ、θ_Ｖのそれ自体のセットを有してもよい。したがって、仮想オブジェクト３０４を表示するために、閲覧デバイス３０８はオフセットＸ＋Ｘ_Ｖを計算し、次いで、オフセットを回転θ_Ｖで仮想オブジェクト３０４のモデルに適用することができる。次いで、デバイス３０８は、別のセットの変換を適用して、オブジェクト３０４が、それ自体の局所基準に対してディスプレイ内に正しく現れるようにする。

【0025】

なお、このシナリオでは、現実世界オブジェクト３０５の三次元幾何学形状３００の使用は、仮想オブジェクト３０４のみのオフセット及び回転が元々作成された場所に表示するのに十分であるため、仮想オブジェクト３０４を表示するのに厳密に必要ではないことに留意されたい。しかしながら、現実世界オブジェクトが時折移動され得るため、これは仮想オブジェクト３０４が常に現実世界オブジェクトに対して正しく表示されることを保証するものではない。したがって、いくつかの実施形態では、閲覧デバイス３０８は、オブジェクト３０５を視覚的に認識し、幾何学的モデル３００をオブジェクト３０５の実際の場所及び向きと整列させるなど、図１に示される動作を繰り返す能力を有する。これは、閲覧デバイス３０８がオブジェクト３０５に遭遇するたびに生じ得、又は、いくつかのイベント、例えば、ユーザ要求、ＡＲアプリケーションなどによって検出された何らかの不一致に基づいてトリガされてもよい。

【0026】

なお、閲覧デバイス３０８のオブジェクト３００を検出し、幾何学的モデル３００を再入手して整列させる能力はまた、仮想オブジェクト３０４が元々作成され、かつ取り付けられた場所だけでなく、仮想オブジェクト３０４を任意の場所で同様のオブジェクトに見せることを可能にするために使用されてもよいことに留意されたい。例えば、仮想オブジェクト３０４は、プリンタなどのデバイスにサービス提供するための命令（又はそのセット）であってもよい。設備は、多数のこのようなプリンタを有してもよく、したがって、サービスタスクを示す各プリンタに対して仮想オブジェクト３０４の１つのインスタンスのみを作製することが有利になるであろう。仮想オブジェクト３０４のこのインスタンスは、同じサービス命令にアクセスすることができるエンドユーザの閲覧デバイス３０８によって、同じタイプの他のプリンタに自動的に適用され得る。そのような配置では、作成デバイス及び閲覧デバイスが視覚認識を使用して、その上に幾何学形状３００がマッピングされ得るオブジェクト固有の基準点を確立し、並びに仮想オブジェクト３０４の相対的な場所及び向きをマッピングすることができるため、場所検知を使用する必要がなくてもよい。

【0027】

図４では、図は、例示的な実施形態によるシステムを示す。この例では、図３の三次元幾何学形状３００、現実世界オブジェクト３０５及び仮想オブジェクト３０４が使用される。作成デバイス４００は、オブジェクト３０５を最初に発見し、仮想オブジェクト３０４を作成するために使用される。カメラ４０２は、ネットワーク４２０を介して利用可能な表現データベース４２１を介して取得され得るオブジェクト３０５の表現を介してオブジェクト３０５を識別することができる。表現は、例えば、カメラ４０２によって生成された画像を分類する畳み込みニューラルネットワークにおいて使用することができる重み及びバイアスのアレイを含んでもよい。他の表現、例えば、機械可読コードもまた、データベース４２１から利用可能であってもよい。データベース４２１（及び以下に記載される他のデータベース）は、作成デバイス４００（必要に応じて閲覧デバイス４３０も）上に局所的に記憶されてもよいことに留意されたい。

【0028】

画像内のオブジェクト３０５を識別することに基づいて、作成デバイス４００は、一実施形態では、ネットワークデータベース４２２から取得され得るオブジェクト３０５の三次元幾何学形状３００を取得する。このような幾何学形状３００は、例えば、ＣＡＤモデルが記憶及び処理要件を減少させるために簡略化され得るが、製造業者のＣＡＤモデルから取得することができる。別の実施形態では、作成デバイス４００は、オブジェクト３０５の完全な三次元メッシュを取得するために使用することができる深さスキャナ４０３によって示されるように、オブジェクト３０５自体を走査することができる。そのような場合、作成デバイス４００は、他のデバイスによってアクセスすることができるデータベース４２２に幾何学形状をアップロードすることができる。

【0029】

作成デバイス４００は、任意選択的に、場所センサ４０４を介してオブジェクト３０５の場所を記録してもよい。場所センサ４０４はまた、デバイス４００の向き、特にカメラ４０２又は他のセンサの向きを検出することができるセンサを含んでもよい。向き情報はまた、幾何学形状３００に適用され、データベース４２２内に記憶されてもよく、例えば、オブジェクト３０５がどちらの方向に向いているかを定義する。場所及び向きセンサ４０４は、デバイスの現在の場所の緯度及び経度を判定するためのジオロケーションセンサ（例えば、全地球測位システムセンサ）、デバイス４００及び加速度計の方向を判定して、地表に対するデバイス４００の傾きを判定するためのコンパスを含んでもよい。他のセンサ及びシステムを使用して、同等の場所及び向き、例えば、無線周波数ビーコン、赤外線マーカなどを判定することができる。

【0030】

作成デバイス４００は、とりわけ、幾何学形状３００のオブジェクト３０５への適用を検証すること、仮想オブジェクト３０４を作成し、検証すること、及び、例えば、ネットワーク４２０上のアカウントにアクセスして、他のコンピューティングタスクを実行すること、ＡＲアプリケーション上の設定を変更することなどを容易にするユーザインターフェース４０５を含む。ユーザインターフェース４０５は、タッチスクリーン、ボタン、タッチパッドなどのような作成デバイス４００と一体化されたハードウェアを含んでもよく、また、三次元空間に場所をマーキングするためのレーザポインタ又はハンドヘルドコントローラ、音声コマンドを受信するためのマイクロフォンなどの他のデバイスを含んでもよい。

【0031】

作成デバイス４００は、単一のモバイルデバイスか、又は、ヘッドセット、眼鏡／ゴーグル、タブレット、スマートフォン、ラップトップコンピュータなどの１つ以上のデバイスの集合であってもよい。作成デバイス４００の処理の一部の量は、ネットワーク４２０を介して利用可能なクラウド処理サービスなどのサービスを介して提供されてもよい。作成デバイス４００は、少なくとも中央処理装置（central processing unit、ＣＰＵ）４０６、メモリ４０７（揮発性メモリ及び不揮発性メモリの両方を含む）、並びに前述のセンサ及びネットワーク４２０との通信を容易にするネットワークインターフェース４０８などの入出力デバイスを含み得る。

【0032】

閲覧デバイス４３０は、作成デバイス４００と同様のモバイルデバイス又はデバイスの集合であってもよい。作成デバイス４００は概して、閲覧デバイス４３０の能力の全てを有してもよいが、その逆ではない。したがって、閲覧デバイス４３０は、オブジェクト３０５を少なくとも検出するためのカメラ４３２を含むが、いくつかの状況では、閲覧デバイスは、作成デバイス４００によって使用される場合でも、場所センサ４３３（任意選択のものとして示される）を必要としない場合がある。例えば、閲覧デバイスが、例えばカメラ４３２を介して、オブジェクト３０５の存在及びその場所／向きを検出することができる場合、正確な場所センサ４３３の能力が必要とされない場合がある。しかしながら、閲覧デバイス４３０が仮想オブジェクト３０４の概して近傍にあることを示すために、マーカ（例えば、無線ネットワークホットスポットアイデンティティ、ＲＦＩＤタグ、ＱＲコードなど）の検出などの、ある種の一般的な場所特定能力が有用であり得る。これは、仮想オブジェクト３０４が特定の場所でのみレンダリングされるように、ＡＲアプリケーションをジオフェンスするために使用することができる。ジオフェンスすることにより、仮想オブジェクトの近傍にない場合、かつ、認可された領域へのアクセスを制限すること、仮想オブジェクトの場所固有バージョンをレンダリングするなどの他の目的のために、コンピューティングリソースの使用を低減することができる。

【0033】

閲覧デバイス４３０は、仮想オブジェクト３０４を少なくともレンダリングするユーザインターフェース４３４を含む。このレンダリングは、カメラ４３２によって撮像されたビデオ内で行われてもよく、又は透明スクリーン上、例えば、ＡＲ観察眼鏡などのレンズ上に投影されてもよい。ユーザインターフェース４３４はまた、仮想オブジェクト３０４との対話、例えば、ビデオの開始を停止すること、いくつかの要素を隠す／表示すること、仮想オブジェクトを移動させるなどを容易にしてもよい。閲覧デバイス４３０は、概して、ＣＰＵ４３５、メモリ４３６及びネットワークインターフェース４３７などの他のコンピューティングハードウェアを含む。閲覧デバイス４３０はまた、ネットワークインターフェース４３７を介してネットワーク４２０のデータベースにアクセスするか、又はメモリ４３６内に局所的に記憶された類似のデータベースを有してもよい。

【0034】

いくつかの実施形態では、ＡＲシステムを使用して、デバイスへのサービス提供を支援するための命令を提供することを容易にすることができる。これは、とりわけ、部品の直接識別、分解又はアセンブリに必要とされるアクションを示すアニメーション、デバイスの状態の検証をユーザに提供することができる。このようなシナリオでは、パネルが開放されると、幾何学形状は変化してもよく、部品は除去され、追加されるなどする。したがって、ＡＲシステムは、オブジェクトの整備に起因して、現実世界のオブジェクトの構成の変化を反映するために、異なる三次元幾何学形状を適用することができる。

【0035】

図５では、斜視図により、例示的な実施形態によるＡＲシステムで使用される三次元幾何学形状の変化を示す。三次元幾何学形状５００は、デバイス５０２の上に重畳されて示される。この幾何学形状５００は、デバイス５０２との最初の遭遇に有用な基本直方体エンベロープであってもよい。仮想オブジェクト５０４、５０６によって示されるように、カバー５０８を開くための命令が提供される。図の下部に見られるように、カバー５０８が開かれた後、第２の幾何学形状５１０がデバイス５０２にマッピングされ、新しい仮想オブジェクト５１２、５１４の場所を特定するために使用される。第２の幾何学形状５１０は、パネル５０８の背後の空洞の詳細を含み、ユーザが仮想オブジェクト５１２、５１４を介して引き出されるように命令されている取り外し可能な部品５１６の少なくとも一部分を表してもよい。

【0036】

いくつかの実施形態では、現実世界オブジェクト５０２に取り付けられた追加の幾何学形状は、ドア、パネル、取り外し可能な部品などの関節運動可能な部品を捕捉するサブ幾何学形状、及び動きに対する、より大きいオブジェクトに対するそれらの関係（例えば、部品が取り付けられるドアの自由度）を含んでもよい。このようなサブ幾何学形状は、取り外し可能な部品のための新しい幾何学形状を広げることができ、それにより、部品は、前のアセンブリとは独立したオブジェクトとしてＡＲビューワの目的で処理される。

【0037】

本明細書に記載されるシステム及び方法は、ＡＲデバイスのビューポートを通じるなどして、ユーザが、関心対象の物理的オブジェクトにリアルタイムで幾何学形状（例えば、数学的に画定されたメッシュ）を整列させることを可能にする、ＡＲ「トリガ」の訓練を容易にする。例示的なビューポートは、タブレット上に表示されるカメラのライブカメラフィード、又はヘッドマウントディスプレイによって提供される３Ｄホログラフィックビューポートを含む。ユーザは、対象のオブジェクトに近接して、二次元及び／又は三次元コンテンツを対象領域に配置することができる。コンテンツは、対象のオブジェクトからのビューポートの推定されたポーズ及び距離に沿って最初に整列される。コンテンツは、ビューポートを提供するデバイスのユーザインターフェースによって提供されるアフォーダンスを使用して調整することができる。次いで、ユーザは、コンテンツと対象のオブジェクトとの間の幾何学的関係と共に記憶されるように、永続的記憶装置に配置されるコンテンツを提出する。例示的な永続的記憶機構としては、クラウド、ＰＣ、タブレット、又はコンテンツを記憶する他のデバイスが挙げられる。同じ又は異なるデバイスのいずれかを使用して、コンテンツは記憶機構からロードされる。仮想コンテンツをロードするための方法は、アプリケーション、ＱＲコード、電子メールリンクなどを含む。コンテンツをロードした後、コンテンツを配置したユーザによって配置されるように、仮想コンテンツをビューポート内に重畳される。

【0038】

図６では、フローチャートは、例示的な実施形態による方法を示す。この方法は、オブジェクトの三次元幾何学形状、及びカメラを介したオブジェクトの識別を容易にすることができるオブジェクトの表現をメモリに記憶すること（６００）を含む。オブジェクトの画像は、カメラ内のシーンを介して取得される（６０１）。画像に基づいて、オブジェクトの存在は、オブジェクトの記憶された表現を介して検出される（６０２）。検出に基づいて、三次元幾何学形状は、シーン内のオブジェクトにマッピングされる（６０３）。マッピングに基づいて、仮想オブジェクトは、三次元幾何学形状に対して固定された向きにある点に取り付けられる（６０４）。仮想オブジェクトは、オブジェクトに対する拡張現実ディスプレイの場所の変化に関係なく、点及び固定された向きに位置するように、拡張現実ディスプレイ上にレンダリングされる（６０５）。特定の順序で示されるフローチャートのブロックは、特定の順序で示されているが、いくつかの実施形態では、順序は変更されてもよく、かつ／又はいくつかのプロセスは、順序の代わりに並列に実行されてもよいことに留意されたい。

【0039】

上記の様々な実施形態は、特定の結果を提供するために相互作用する回路、ファームウェア、及び／又はソフトウェアモジュールを使用して実装され得る。当業者は、当該技術分野において一般的に既知である知識を使用して、モジュール式レベル又は全体でのいずれかで、こうして記載された機能を容易に実装することができる。例えば、本明細書に例解されるフローチャート及び制御図は、プロセッサにより実行されるためのコンピュータ可読命令／コードを作成するために使用されてもよい。こうした命令は、非一時的コンピュータ可読媒体上に格納され、当該技術分野において既知であるように実行するためにプロセッサに転送されてもよい。上記の構造及び手順は、上述の機能を提供するために使用され得る実施形態の代表的な例に過ぎない。

【0040】

例示的な実施形態の前述の説明は、図解及び説明の目的のために提示される。これは、網羅的であること、又は実施形態を、開示される形態に厳密に限定することを意図するものではない。上記の教示に照らして、多くの修正及び変形が可能である。開示される実施形態の任意の又は全ての特徴は、個別に、又は任意の組み合わせで適用することができ、限定することを意図するものではなく、純粋に例示である。本発明の範囲は、この「発明を実施するための形態」に限定されるものではなく、むしろ本明細書に添付の「特許請求の範囲」によって決定されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】