特許 7480066 拡張現実オーバーレイのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-26

(45)【発行日】2024-05-09

(54)【発明の名称】拡張現実オーバーレイのためのシステムおよび方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240430BHJP

   G06F 3/0481 20220101ALI20240430BHJP

   G06F 3/01 20060101ALI20240430BHJP

【ＦＩ】

G06T19/00 600

G06F3/0481

G06F3/01 510

【請求項の数】 15

(21)【出願番号】P 2020569991

(86)(22)【出願日】2019-07-05

(65)【公表番号】

(43)【公表日】2021-11-04

(86)【国際出願番号】 US2019040697

(87)【国際公開番号】W WO2020010312

(87)【国際公開日】2020-01-09

【審査請求日】2022-06-24

(31)【優先権主張番号】16/029,143

(32)【優先日】2018-07-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515322297

【氏名又は名称】ゼネラル エレクトリック テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｇｅｎｅｒａｌ Ｅｌｅｃｔｒｉｃ Ｔｅｃｈｎｏｌｏｇｙ ＧｍｂＨ

【住所又は居所原語表記】Ｂｒｏｗｎ Ｂｏｖｅｒｉ Ｓｔｒａｓｓｅ ８， ５４００ Ｂａｄｅｎ， Ｓｗｉｔｚｅｒｌａｎｄ

(74)【代理人】

【識別番号】100105588

【弁理士】

【氏名又は名称】小倉 博

(74)【代理人】

【識別番号】100129779

【弁理士】

【氏名又は名称】黒川 俊久

(74)【代理人】

【識別番号】100151286

【弁理士】

【氏名又は名称】澤木 亮一

(72)【発明者】

【氏名】シーリー、ウィリアム フォレスター

(72)【発明者】

【氏名】ブルックスビー、グレン ウィリアム

(72)【発明者】

【氏名】コルヴィック、サンドラ ビバリー

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１２－１３８８９２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１３７６８１（ＵＳ，Ａ１）

【文献】特開２０１０－０７９６６７（ＪＰ，Ａ）

【文献】特開２００１－１４８０３３（ＪＰ，Ａ）

【文献】特開２００４－０８８３３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ｈ０４Ｎ １３／００

Ｇ０９Ｇ ５／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

拡張現実（ＡＲ）トランスレータ及びビジュアライザシステム（１０）を実行するように構成されたプロセッサを備えるシステムであって、前記ＡＲトランスレータ及びビジュアライザシステム（１０）が、
ページ上に存在する幾何学的なオブジェクト又は形状であって機械システム又はその構成要素を視覚的に記述する設計図面に関する幾何学的なオブジェクト又は形状に関してページを記述するプログラミング言語に関連付けられたコンテンツを含む言語ファイル（１２）を受信することと、
前記言語ファイル（１２）内のコンテンツの背景を特定することと、
前記背景を除去することと、
前記言語ファイル（１２）から前記コンテンツを取り出すことと、
ＡＲコンテンツを形成するためにディスプレイ（４２）を介して前記機械システム又はその構成要素の実世界ビュー（１５０）に前記コンテンツをオーバーレイすることであって、前記ＡＲコンテンツが前記実世界ビュー（１５０）とマージされた前記コンテンツを含む、オーバーレイすることと、
前記システムに前記ディスプレイ（４２）を介して前記コンテンツとオーバーレイされた前記実世界ビュー（１５０）を表示させることと
を行うように構成される、システム。

【請求項2】

前記言語ファイル（１２）の言語がページ記述言語を含み、前記言語ファイル（１２）がポータブルドキュメントフォーマット（ＰＤＦ）ファイルを含む、請求項１に記載のシステム。

【請求項3】

前記ＡＲトランスレータ及びビジュアライザシステム（１０）が、前記コンテンツの再配置、前記コンテンツの拡大、前記コンテンツの縮小、前記コンテンツの回転、前記コンテンツへの注釈（１１０）付け、又はそれらの組合せを行うように構成される、請求項１に記載のシステム。

【請求項4】

前記ＡＲトランスレータ及びビジュアライザシステム（１０）が、ユーザ入力に基づいて、前記ディスプレイ（４２）上の前記コンテンツを再配置するか、又は前記コンテンツのサイズを変更するように構成される、請求項３に記載のシステム。

【請求項5】

前記ＡＲトランスレータ及びビジュアライザシステム（１０）が、前記実世界ビュー（１５０）の変更に基づいて、前記コンテンツを再配置するか、又は前記コンテンツのサイズを変更するように構成される、請求項１に記載のシステム。

【請求項6】

前記コンテンツが、テキスト、少なくとも１つの画像（１７０）、実世界を表す一組のオブジェクト、又はそれらの組合せを含む、請求項１に記載のシステム。

【請求項7】

前記コンテンツが設計図面を含む、請求項１に記載のシステム。

【請求項8】

ページ上に存在する幾何学的なオブジェクト又は形状であって機械システム又はその構成要素を視覚的に記述する設計図面に関する幾何学的なオブジェクト又は形状に関してページを記述するプログラミング言語に関連付けられたコンテンツを含む言語ファイル（１２）を受信するステップと、
前記言語ファイル（１２）内のコンテンツの背景を特定するステップと、
前記背景を除去するステップと、
前記言語ファイル（１２）から前記コンテンツを取り出すステップと、
拡張現実（ＡＲ）コンテンツを形成するためにディスプレイ（４２）を介して前記機械システム又はその構成要素の実世界ビュー（１５０）に前記コンテンツをオーバーレイするステップであって、前記ＡＲコンテンツが前記実世界ビュー（１５０）とマージされた前記コンテンツを含む、ステップと、
前記ディスプレイ（４２）を介して前記ＡＲコンテンツを表示するステップと
を含む、プロセッサ実装方法。

【請求項9】

前記背景が、前記言語ファイル（１２）内のレイヤとして、又は前記言語ファイル（１２）内の１つもしくは複数のアルファチャネルによって定義される、請求項８に記載の方法。

【請求項10】

カメラ（４４）を介して前記実世界ビュー（１５０）をキャプチャするステップを含む、請求項８に記載の方法。

【請求項11】

カメラ（４４）又はセンサ（５６）を介して、前記実世界ビュー（１５０）に関連付けられた向きの変化を検出するステップと、
前記向きの変化に基づいて前記コンテンツを修正するステップと
を含む、請求項８に記載の方法。

【請求項12】

前記コンテンツが少なくとも１つの画像（１７０）を含み、前記方法が、
前記少なくとも１つの画像（１７０）内の１つ又は複数の線の太さを修正し、前記少なくとも１つの画像（１７０）を再着色し、前記少なくとも１つの画像（１７０）の一部分を強調し、又はそれらの組合せを行うユーザ入力を受信するステップと、
前記ユーザ入力に基づいて前記ＡＲコンテンツを修正するステップと
を含む、請求項８に記載の方法。

【請求項13】

プロセッサ実装可能命令を含む非一時的コンピュータ可読媒体であって、前記命令が、
ページ上に存在する幾何学的なオブジェクト又は形状であって機械システム又はその構成要素を視覚的に記述する設計図面に関する幾何学的なオブジェクト又は形状に関してページを記述するプログラミング言語に関連付けられたコンテンツを含む言語ファイル（１２）を受信することと、
前記言語ファイル（１２）内のコンテンツの背景を特定することと、
前記背景を除去することと、
前記コンテンツを取り出すことと、
前記機械システム又はその構成要素の実世界ビュー（１５０）を受信することと、
拡張現実（ＡＲ）コンテンツを形成するために前記実世界ビュー（１５０）に前記コンテンツをオーバーレイすることと、
プロセッサに動作可能に結合されたディスプレイ（４２）を介して前記ＡＲコンテンツを表示することと
を前記プロセッサに行わせるように構成される、
非一時的コンピュータ可読媒体。

【請求項14】

前記命令が、前記プロセッサを備える電子デバイス（４０）のカメラ（４４）から前記実世界ビュー（１５０）を取得することを前記プロセッサに行わせるように構成される、請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項15】

前記命令が、
前記ＡＲコンテンツが表示された後に前記コンテンツを拡大、縮小、又は移動する要求を示すユーザ入力を受信することと、
前記ユーザ入力に基づいて前記コンテンツを拡大、縮小、又は移動することと
を前記プロセッサに行わせるように構成される、請求項１３に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示される主題は拡張現実に関し、より詳細には、拡張現実オーバーレイのためのシステムおよび方法に関する。

【背景技術】

【0002】

いくつかの記述ファイルは設計図面を含む場合がある。設計図面および他の技術図面は、様々なタイプのシステムまたはその構成要素に関連する。たとえば、設計図面は、発電システムなどのシステム、ならびに発電システムに含まれる可能性がある機器および部品を視覚的に記述する場合がある。場合によっては、人は、システム内のいくつかの構成要素、または実際のシステムもしくはその構成要素が設計図面にどのように関連するかに詳しくないか、または認識できない場合がある。設計図面および他の記述ファイルを改善する方法を提供することは有利なはずである。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１７／００４３９７Ａ１号

【発明の概要】

【0004】

出願時に特許請求された発明に相応する範囲のいくつかの実施形態が下記に要約される。これらの実施形態は、特許請求された発明の範囲を限定することを意図しておらず、むしろ、これらの実施形態は、本発明の可能な形態の概要を提供することのみを意図している。当然、本発明は、以下に記載される実施形態に類似してもよく、異なってもよい様々な形態を包含することができる。

【0005】

第１の実施形態では、システムは、拡張現実（ＡＲ）トランスレータおよびビジュアライザシステムを実行するように構成されたプロセッサを含む。ＡＲトランスレータおよびビジュアライザシステムは、コンテンツを含む言語ファイルを受信し、言語ファイル内の背景を特定し、背景を除去し、言語ファイルからコンテンツを取り出すように構成される。その上、ＡＲトランスレータおよびビジュアライザシステムは、実世界ビューとマージされたコンテンツを含むＡＲコンテンツを形成するために、ディスプレイを介して実世界ビューにコンテンツをオーバーレイするように構成される。さらに、ＡＲトランスレータおよびビジュアライザシステムは、システムにディスプレイを介してコンテンツとオーバーレイされた実世界ビューを表示させるように構成される。

【0006】

第２の実施形態では、プロセッサ実装方法は、コンテンツを含む言語ファイルを受信することと、言語ファイル内の背景を特定することと、背景を除去することと、言語ファイルからコンテンツを取り出すこととを含む。方法はまた、実世界ビューとマージされたコンテンツを含む拡張現実（ＡＲ）コンテンツを形成するために、ディスプレイを介して実世界ビューにコンテンツをオーバーレイすることを含む。その上、方法は、ディスプレイを介して拡張現実コンテンツを表示することを含む。

【0007】

第３の実施形態では、非一時的コンピュータ可読媒体は、コンテンツを含む言語ファイルを受信し、コンテンツと関連付けられた背景を特定し、背景を除去し、コンテンツを取り出し、実世界ビューを受信することをプロセッサに行わせるように構成されたプロセッサ実装可能命令を含む。命令はまた、実世界ビューにコンテンツをオーバーレイして拡張現実（ＡＲ）コンテンツを形成することをプロセッサに行わせるように構成される。さらに、命令は、プロセッサに動作可能に結合されたディスプレイを介して、プロセッサに拡張現実コンテンツを表示させるように構成される。

【0008】

本発明のこれらおよび他の特徴、態様、および利点は、添付図面を参照して以下の発明を実施するための形態を読むとより良く理解されるようになり、図面全体を通して、同様の文字は同様の部分を表す。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態による、拡張現実トランスレータおよびビジュアライザシステムのブロック図である。

【図2】本開示の一実施形態による、電子デバイスのブロック図である。

【図3】本開示の一実施形態による、拡張現実コンテンツを提供するためのプロセスのフローチャートである。

【図4】本開示の一実施形態による、図１の拡張現実トランスレータおよびビジュアライザシステムを実行する図２の電子デバイスの一実施形態を描写する図である。

【図5】本開示の一実施形態による、図１の拡張現実トランスレータおよびビジュアライザシステムによって生成され得る拡張現実コンテンツの画像を示す図である。

【発明を実施するための形態】

【0010】

本発明の１つまたは複数の具体的な実施形態が下記に記載される。これらの実施形態の簡潔な説明を提供することを目指して、実際の実装形態のすべての特徴が本明細書に記載されない場合がある。いかなるエンジニアリングまたは設計プロジェクトなどのいかなる実際の実装形態の開発においても、開発者の特定の目的を達成するために、実装形態ごとに異なる可能性があるシステム関連および事業関連の制約条件の順守などの非常に多くの実装形態特有の決定が行われなければならないことを諒解されたい。その上、そのような開発の取組みは複雑で時間がかかるかもしれないが、それにもかかわらず、この開示の利益を得る当業者にとっては、設計、製作、および製造の日常的な仕事のはずであることを諒解されたい。

【0011】

本発明の様々な実施形態の要素を紹介するとき、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、１つまたは複数の要素が存在することを意味するものである。「備える」、「含む」、および「有する」という用語は、包括的であり、列挙された要素以外の追加の要素が存在する場合があることを意味するものである。

【0012】

本明細書に記載される技法は、拡張現実コンテンツを構文解析し表示するシステムおよび方法を提供する。より具体的には、本明細書に記載される技法は、限定はしないが、設計図面、画像、ビデオ、および／またはテキストなどのコンテンツを実世界ビューにオーバーレイすることを提供する。たとえば、下記に記載されるように、実世界ビューにオーバーレイされる様々なコンテンツを含むファイルが構文解析されてよい。コンテンツには、設計図面、ツール、テキスト、他の表示可能コンテンツ、またはそれらの組合せが含まれてよい。コンテンツは、コンテンツに対応する実世界アイテムを含む実世界ビューの上に提示されてよい。たとえば、システムの一部分の設計図面は、対応するシステムの一部分の実世界ビューの上にオーバーレイされてよい。ユーザは、実世界ビューとより良く整列されるように、オーバーレイコンテンツのサイズおよび向きを修正することができ、それにより、ユーザがシステムの部品または構成要素を識別することが可能になり得る。さらに、オーバーレイコンテンツの表示は、実世界ビューおよびオーバーレイコンテンツが表示される電子デバイスの検出された動きに基づいて調整されてよい。

【0013】

次に図１を参照すると、図は、拡張現実（ＡＲ）トランスレータおよびビジュアライザシステム１０の一実施形態を示す。ＡＲトランスレータおよびビジュアライザシステム１０は、１つまたは複数のファイル１２などのコンテンツを受信し、コンテンツを実世界ビューにオーバーレイさせることができる。実世界ビューは、電子デバイスのカメラを介してキャプチャされた１つまたは複数の画像を含んでよい。これを念頭に置いて、ＡＲトランスレータおよびビジュアライザシステム１０は、図示されたように、変換システム１４、ＡＲ視覚化システム１６、および注釈システム１８を含む。変換システム１４、ＡＲ視覚化システム１６、および注釈システム１８の各々について詳しく述べる前に、ファイル１２がより詳細に記載される。

【0014】

ファイル１２、たとえば、言語ファイルは、プログラミング言語に関連付けられたデータファイルであってよく、それは、ページ上に存在する線、弧、および円などの幾何学的なオブジェクトまたは形状に関してページを記述することができる。たとえば、言語は、印刷されたページのレイアウトおよびコンテンツを記述するポストスクリプト言語などのページ記述言語を含んでよいオブジェクト指向プログラミング言語であってよい。言い換えれば、ファイル１２は、ビットマップを利用することなく、ファイル１２の個々のページ内のコンテンツを記述することができる。網羅的ではない例として、ファイル１２は、ポータブルドキュメントフォーマット（ＰＤＦ）ファイル、ポータブルネットワークグラフィックス（ＰＮＧ）ファイル、グラフィックス交換フォーマット（ＧＩＦ）ファイル、ＡｕｔｏＣＡＤ ＤＸＦファイル、ＤＷＧファイル、ＨＴＭＬファイル、またはそれらの組合せであってよい。他の実施形態では、ファイルは、ビットマップ、ＪＰＥＧなどを含む、コンピューティングシステムによって表示可能な任意のファイルを含んでよい。

【0015】

言語ファイル１２は、形状、テキストなどの、いくつかの形式のコンテンツを含んでよい。言語ファイルに含まれる可能性があるコンテンツのいくつかのカテゴリには、限定はしないが、設計図面、回路図、青写真、テキスト、および／または画像が含まれてよい。たとえば、言語ファイル１２は、システムまたはその構成要素に関する図面および図を含んでよい。さらに、言語ファイル１２は、実世界コンテンツにオーバーレイされ得る分度器などのツールの図面を記述して、ユーザが物理オブジェクトに関する測定を行うことを可能にすることができる。別の例として、言語ファイル１２に含まれるツールは、距離を測定するために使用され得るスケールを形成する測定線を提供することができる。

【0016】

ＡＲトランスレータおよびビジュアライザシステム１０は、言語ファイル１２を受信し、言語ファイル１２内の「コード」を処理して、言語ファイル１２によって記述され得る画像およびテキストを抽出することができる。特に、ＡＲトランスレータおよびビジュアライザシステム１０は、図１に示されたように、変換システム１４を含む。変換システム１４は、最初に、言語ファイル１２に記述されたコンテンツを処理することができる。たとえば、言語ファイル１２は、画像、画像の特性、および画像内のコンテンツを記述するポストスクリプトコードなどのコードを含んでよい。たとえば、画像内の背景は、言語ファイル１２によって記述されてよい。いくつかの例では、画像は、互いの上にオーバーレイされた複数のレイヤを含んでよい。各レイヤは、画像の部分を定義するか、またはそうでない場合表すことができる。変換システム１４は、言語ファイル１２内のコンテンツを構文解析することができる。たとえば、変換システム１４は、ファイル１２を構文解析して、たとえば、画像の様々な要素または部分を記述するために使用される言語ファイル１２内のオブジェクトおよび／またはレイヤに基づいて、画像の部分を識別することができる。言い換えれば、変換システム１４は、言語ファイル１２内のコンテンツ（たとえば、背景、画像、テキストなど）を特定し、言語ファイル１２によって記述された様々なページにコンテンツがどのように見えるかを特定することができる。

【0017】

言語ファイル１２によって記述されたコンテンツを特定することに加えて、変換システム１４は、後で使用するためにコンテンツを修正し、ファイル１２をそのままにして、たとえば、内部メモリに修正されたコンテンツを記憶することができる。たとえば、変換システム１４は、言語ファイル１２内に記述されたいくつかのオブジェクトを除去することができる。言い換えれば、変換システム１４は、後で表示されないはずのコンテンツの部分を言語ファイル１２から除去することができる。一例として、変換システム１４は、画像ファイル内のコンテンツの背景を特定し、背景を除去することができる。より具体的には、場合によっては、背景は、画像内のレイヤであるか、または画像内のピクセルもしくはオブジェクトに関連付けられたアルファチャネルによって定義されてよい。変換システム１４は、背景レイヤの存在を特定し、背景レイヤを除去することができる。たとえば、変換システム１４は、透明として背景を扱うか、またはレンダリングすることができる。したがって、変換システム１４は、画像ファイル１２のコンテンツから背景を除去することにより、画像などの言語ファイル１２内のコンテンツを取り出すことができる。

【0018】

次いで、背景から分離されたコンテンツが実世界ビューにオーバーレイされてよい。たとえば、ＡＲトランスレータおよびビジュアライザシステム１０は、変換システム１４からコンテンツを受信することができるＡＲ視覚化システム１６を含んでよい。たとえば、ＡＲ視覚化システム１６は、背景が除去された画像およびテキストを受信することができる。さらに、ＡＲ視覚化システム１６は、言語ファイル１２からのコンテンツがオーバーレイされる実世界ビューに関するデータを受信することができる。たとえば、ＡＲ視覚化システム１６は、１つまたは複数の実世界ビューを提供する電子デバイスのメモリに通信可能に結合されてよい。実世界ビューには、とりわけ、以前にリアルタイムで記録またはキャプチャされた可能性がある、写真またはビデオのフレームなどの画像を含んでよい。場合によっては、実世界ビューはコンピュータ生成画像を含んでよい。ＡＲ視覚化システム１６は、実世界ビューを変換システム１４から受信されたコンテンツとマージし、マージされたコンテンツを、たとえば、電子デバイスのディスプレイを介して表示させることができる。言い換えれば、ＡＲ視覚化システム１６は、拡張現実コンテンツ（たとえば、言語ファイル１２からの画像などの他のコンテンツとオーバーレイされた実世界ビュー）としてユーザに見えるものを生成することができる。

【0019】

ＡＲトランスレータおよびビジュアライザシステム１０はまた、ユーザが、実世界ビューにオーバーレイされた、言語ファイル１２内で元々見出されたコンテンツを修正することを可能にすることができる。たとえば、実世界ビューにオーバーレイされる言語ファイル１２からのコンテンツは、ユーザによって修正されてよい。より具体的には、ユーザは、実世界ビューの上に表示されるコンテンツの向き（たとえば、ディスプレイ上での回転または再配置）およびサイズ（たとえば、拡大または縮小）を変更することができる。たとえば、ユーザは、設計図面内のアイテムが実世界ビュー内で提示される対応するアイテムと同じおおよそのサイズおよび向きになるように設計図面を修正することができる。他の例として、ＡＲトランスレータおよびビジュアライザシステム１０は、ユーザが実世界ビューにオーバーレイされるコンテンツに関連する設定を修正することを可能にすることができる。たとえば、ＡＲトランスレータおよびビジュアライザシステム１０は、コンテンツ（たとえば、オーバーレイ画像またはテキストまたは両方）の色、ならびにディスプレイに表示されるコンテンツの透明度を変更する能力をユーザに提供する。さらに、ユーザは、実世界ビューにオーバーレイされる言語ファイル１２からのコンテンツの線の太さを修正することができる。その上、ユーザは、テキストまたは図面などのオーバーレイコンテンツおよび／または実世界ビューに注釈を加えることができる。さらに別の例として、ＡＲトランスレータおよびビジュアライザシステム１０は、ユーザがオーバーレイコンテンツおよび／または実世界ビューを強調することを可能にすることができる。

【0020】

図１の説明を念頭に置いて、図２は、ＡＲトランスレータおよびビジュアライザシステム１０を含み利用することができる電子デバイス４０のブロック図である。特に、電子デバイスは、カメラ４４を介してキャプチャされ得る、実世界ビューにオーバーレイされたコンテンツ（たとえば、画像、テキスト）を表示することができるディスプレイ４２を含む。電子デバイス４０は、ハンドヘルドコンピューティングデバイス、タブレットコンピューティングデバイス、コンピュータ（たとえば、デスクトップまたはラップトップコンピュータ）、仮想現実ゴーグル、拡張現実ゴーグルなどの任意の適切なコンピューティングデバイスであってよい。

【0021】

図示されたように、電子デバイス４０は、ディスプレイ４２、カメラ４４、１つまたは複数の入力システム４６（たとえば、入力デバイス）、１つまたは複数のプロセッサまたはプロセッサコアを有する処理回路４８、メモリ５０、ストレージ５２、通信回路５４、および１つまたは複数のセンサ５６を含む。図１に記載された様々な構成要素は、ハードウェア要素（たとえば、回路）、ソフトウェア要素（たとえば、命令を記憶する有形の非一時的コンピュータ可読媒体）、またはハードウェア要素とソフトウェア要素の両方の組合せを含んでよい。いくつかの実施形態では、様々な描写された構成要素は、より少ない構成要素に組み合わされるか、またはさらなる構成要素に分離されてよい。たとえば、メモリ５０およびストレージ５２は、単一の構成要素に含まれてよい。

【0022】

いずれの場合でも、描写されたように、処理回路４８は、メモリ５０およびストレージ５２と動作可能に結合されている。したがって、処理回路４８は、ローカルメモリ５０および／またはストレージ５２に記憶された命令を実行して動作を実行することができる。たとえば、ストレージ５２は、命令として記憶されたＡＲトランスレータおよびビジュアライザシステム１０を含んでよく、処理回路４８は、ＡＲトランスレータおよびビジュアライザを実行して、ディスプレイ４２上に表示するための拡張現実コンテンツを提供することができる。そのため、処理回路４８は、１つもしくは複数の汎用マイクロプロセッサ、１つもしくは複数の特定用途向けプロセッサ（ＡＳＩＣ）、１つもしくは複数のフィールドプログラマブルロジックアレイ（ＦＰＧＡ）、またはそれらの任意の組合せを含んでよい。

【0023】

メモリ５０およびストレージ５２は、処理回路４８によって実行可能な命令および処理されるデータを記憶する、有形の非一時的コンピュータ可読媒体であってよい。たとえば、メモリ５０はランダムアクセスメモリ（ＲＡＭ）を含んでよく、ストレージ５２は、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードドライブ、光ディスクなどの書換可能な不揮発性メモリを含んでよい。一例として、命令を含むコンピュータプログラム製品は、オペレーティングシステムまたはアプリケーションプログラムを含んでよい。

【0024】

さらに、描写されたように、処理回路４８は通信回路５４と動作可能に結合される。通信回路５４を使用して、電子デバイス４０は、ネットワークおよび／または他のコンピューティングデバイスに通信可能に結合することができる。たとえば、通信回路５４は、ブルートゥース（商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ－Ｆｉネットワークなどのローカルエリアネットワーク（ＬＡＮ）、および／または４ＧもしくはＬＴＥセルラーネットワークなどのワイドエリアネットワーク（ＷＡＮ）に電子デバイス４０を接続することができる。このようにして、通信回路５４は、電子デバイス４０がネットワークに拡張現実コンテンツを送信し、かつ／または電子デバイス４０での（たとえば、拡張現実コンテンツとしての）処理および表示のためにネットワークからデータ（たとえば、言語ファイル１２、実世界ビュー）を受信することを可能にすることができる。

【0025】

さらに、描写されたように、処理回路４８は入力システム４６と動作可能に結合され、入力システム４６は、ユーザが電子デバイス４０と対話することを可能にすることができる。入力システム４６には、ボタン、キーボード、マウス、トラックパッドなどが含まれてよい。追加または代替として、電子ディスプレイ４２は、ディスプレイ４２に接触する物体の存在および／または位置を検出することにより、電子デバイス４０へのユーザ入力を可能にするタッチ構成要素を含んでよい。

【0026】

ユーザ入力を可能にすることに加えて、電子ディスプレイ４２は、オペレーティングシステムのグラフィカルユーザインターフェース（ＧＵＩ）、アプリケーションインターフェース、静止画像、ビデオコンテンツ、または（たとえば、ＡＲトランスレータおよびビジュアライザシステム１０を介して提供された）拡張現実コンテンツなどの表示画像（たとえば、画像フレーム）による情報の視覚的表現を提示することができる。上述されたように、電子ディスプレイ４２は、対応する画像データ（たとえば、１つまたは複数の言語ファイル１２または実世界ビューに含まれる画像データ）に基づいて、画像を表示することができる。いくつかの実施形態では、画像データは、たとえば、通信回路５４を介して他の電子デバイスから受信されてよい。追加または代替として、画像データは、カメラ４４を使用して電子デバイス４０によって生成されてよい。いくつかの実施形態では、カメラ４４は、画像データとして、近接する物理的特徴（たとえば、実世界ビュー）の視覚的表現をデジタル処理でキャプチャすることができる。

【0027】

さらに、図示されたように、電子デバイス４０は、処理回路４８に動作可能に結合された１つまたは複数のセンサ５６を含む。特に、センサ５６は電子デバイス４０の動きを検出することができる。たとえば、センサ５６には、加速度計、ジャイロスコープ、全地球測位システム（ＧＰＳ）、コンパス、またはユーザによって伝えられた電子デバイス４０の動きを検出することができる他のタイプのセンサが含まれてよい。処理回路４８は、センサ５６からのデータを利用して、ディスプレイ４２を介して表示される拡張現実コンテンツ内に設けられた視点を維持することができる。たとえば、ユーザは、コンテンツの向き（たとえば、ディスプレイ４２上のコンテンツの回転および／または変換）ならびにコンテンツのサイズ（たとえば、コンテンツのサイズの拡大または縮小）を調整するために、実世界ビューにオーバーレイされた言語ファイル１２からのコンテンツと（たとえば、入力システム４６を介して）対話することができる。そのようなユーザ対話は、コンテンツをコンテンツに対応する実世界ビューの一部分と整列させるために行われる場合がある。たとえば、設計図面は、設計図面に含まれるアイテムに対応する実世界アイテム上にオーバーレイされてよい。センサ５６からのデータに基づいて、処理回路４８は、電子デバイス４０に関連付けられた動きに基づいて実世界ビューにオーバーレイされるように、コンテンツの向きを調整することができる。たとえば、（たとえば、カメラ４４によってキャプチャされた）ライブカメラ映像が実世界ビューとして使用されるとき、ユーザが電子デバイスを動かすと、実世界ビューが変化する可能性がある。したがって、処理回路４８は、センサ５６を利用して実世界ビューの向きの変化を特定し、コンテンツが実世界ビューと整列したままであるように、オーバーレイされたコンテンツを修正することができる。

【0028】

さらに、ＡＲトランスレータおよびビジュアライザシステム１０を実行することにより、処理回路４８は自動化された特徴検出を提供することができる。言い換えれば、ＡＲトランスレータおよびビジュアライザシステム１０は、オーバーレイコンテンツ（たとえば、設計図面）内の１つまたは複数の特徴が、実世界ビュー（たとえば、設計図面に描写された物理アイテム）の特徴にどのように対応するかを検出することができる。たとえば、システム内の機械などのシステムの一部分は、言語ファイル１２の画像内に描写されてよい。実世界ビュー（たとえば、電子デバイス４０のカメラ４４を介して取得された画像）が、言語ファイル１２の画像内に描写された機械を含むとき、処理回路４８は、画像内の機械が実世界ビューの一部分に対応することを認識するだけでなく、画像の一部分が実世界ビューの一部分に対応することの指示を提供することもできる。たとえば、実世界ビュー内の機械、言語ファイル１２からの画像、または両方は、別の方式で強調され、丸で囲まれ、または視覚的に示されてよい。ＡＲトランスレータおよびビジュアライザシステム１０は、言語ファイル１２からの画像内のコンテンツの寸法の比率が、実世界ビューの一部分の寸法の比率と同じかまたは類似していることに基づいて、言語ファイル１２からの画像の一部分が実世界ビューの一部分に対応すると判断することができる。別の例として、ＡＲトランスレータおよびビジュアライザシステム１０は、（たとえば、センサ５６から取得された）地理的位置に少なくとも部分的に基づいて、画像内のコンテンツが実世界ビューの一部分に対応すると判断することができる。たとえば、特定の言語ファイル１２または言語ファイル１２内のコンテンツ（たとえば、画像）は、地理的位置に関連付けられてよく、ＡＲトランスレータおよびビジュアライザシステム１０は、地理的位置がセンサ５６によって示された地理的位置と一致するかまたは類似すると認識することができる。

【0029】

その上、処理回路４８は、言語ファイル１２からの画像の１つまたは複数の部分を、実世界コンテンツの対応する部分と整列させることができる。たとえば、処理回路４８は、ＡＲトランスレータおよびビジュアライザシステム１０を実行して、画像の認識された部分が実世界ビューの対応する部分にオーバーレイされるように、ディスプレイ４２上の言語ファイル１２からの画像を再配置および／またはサイズ変更することができる。

【0030】

図面の説明を続けると、図３は、拡張現実コンテンツを提供するためのプロセス１００のフローチャートを示す。プロセス１００は、電子デバイス４０の処理回路４８を介して、ＡＲトランスレータおよびビジュアライザシステム１０によって実行可能なコンピュータ命令またはコードとして実装されてよい。さらに、プロセス１００の部分はある順序で下記に記載されるが、他の実施形態では、プロセス１００は異なる順序で実行されてよく、プロセス１００の一部は実行されなくてよい。

【0031】

プロセスブロック１０２において、言語ファイル１２が選択されてよい。言い換えれば、処理回路４８は、１つまたは複数の言語ファイル１２の選択を示すユーザ入力を受信することができる。たとえば、言語ファイル１２は、電子デバイス４０のディスプレイ４２を介して表示されてよく、ユーザは入力システム４６を介して言語ファイル１２を選択することができる。さらに、いくつかの実施形態では、ＡＲトランスレータおよびビジュアライザシステム１０は、言語ファイル１２から１つまたは複数の特定のページを選択するオプションをユーザに提供することができる。

【0032】

プロセスブロック１０４において、ＡＲトランスレータおよびビジュアライザシステム１０を実行して、処理回路４８が言語ファイル１２を変換することができる。たとえば、上述されたように、ＡＲトランスレータおよびビジュアライザシステム１０の変換システム１４は、オブジェクトとして定義され得る画像または他の特徴などの、言語ファイル１２に記述されたコンテンツを処理することができる。変換システム１４はまた、たとえば、画像の様々な部分を記述するために使用される言語ファイル１２内のオブジェクトおよび／またはレイヤに基づいて、画像の部分を識別することができる。言語ファイル１２の変換中に、変換システム１４は、言語ファイル１２の画像から背景を除去することができる。

【0033】

プロセスブロック１０６において、処理回路４８が、言語ファイル１２からのコンテンツの視覚化を、言語ファイルの変換に基づいて提示させることができる。言い換えれば、処理回路４８は、電子デバイス４０のディスプレイ４２を介して言語ファイル１２から構文解析された選択的コンテンツを提示することができる。たとえば、処理回路４８は、言語ファイル１２からのコンテンツの視覚化を、カメラ４４を使用してキャプチャされた、または電子デバイス４０のストレージ５２に記憶された画像データなどの実世界ビューにオーバーレイさせることができる。

【0034】

プロセスブロック１０８において、処理回路４８が注釈キャプチャを提供することができる。すなわち、処理回路４８は、ユーザが（たとえば、入力システム４６を介して）入力注釈１１０を入力して、ディスプレイ４２を介して提供された拡張現実コンテンツを修正することを可能にすることができる。たとえば、ユーザは、電子デバイス４０の入力システム４６を使用することにより、コンテンツをオーバーレイするためにテキスト、形状、または図面を追加することができる。たとえば、ディスプレイ４２がタッチスクリーンを含む実施形態では、ユーザは、ディスプレイ４２を介して提供された拡張現実コンテンツに注釈を書くかまたは描くために、スタイラスまたは自分の指を使用することができる。注釈の別の例として、場合によっては、注釈は、言語ファイル１２からのコンテンツに含まれる情報も含んでよい。たとえば、言語ファイル１２は、コールアウト番号、許容値、名前、および言語ファイル１２内のコンテンツの部分に関連する他の情報（たとえば、システムまたはシステム内の部品に関連する設計図面）を含んでよい。ＡＲトランスレータおよびビジュアライザシステム１０を使用して、ユーザは、そのような注釈をオーバーレイコンテンツとともに表示するべきかどうかを選択することができる。たとえば、テキストコンテンツは、言語ファイル１２内のコンテンツのレイヤとして認識されてよく、変換システム１４は、デフォルトで言語ファイル１２からの画像コンテンツを有するそのようなレイヤを含まなくてよい。そのような場合、ユーザは、（たとえば、ＡＲトランスレータおよびビジュアライザシステム１０を実行することによって提供されたユーザインターフェースを介して）注釈を表示することを選択することができる。ユーザ入力に基づいて、処理回路４８は、ディスプレイ４２を介して提供された拡張現実コンテンツに注釈１１０を追加することができる。たとえば、注釈がユーザ入力によって入力された図面またはテキストを含む実施形態では、処理回路４８は、ディスプレイ４２に、ユーザ入力に基づいて注釈を表示させることができる。

【0035】

プロセスブロック１１２において、処理回路４８が、キャプチャされるオーバーレイコンテンツを修正するためのユーザ入力を提供することができる。たとえば、いくつかの実施形態では、プロセス１００は、言語ファイル１２からのオーバーレイコンテンツの外観を変更し、ユーザ入力に基づいてオーバーレイコンテンツを修正するためのユーザ入力を受信することを含んでよい。たとえば、上述されたように、ユーザは、入力システム４６を介して、電子デバイス４０のディスプレイ４２上のオーバーレイコンテンツのサイズおよび向きを修正することができる。別の例として、ＡＲトランスレータおよびビジュアライザシステム１０はまた、ユーザが（たとえば、局所的な照明条件および／または表示設定（たとえば、明るさ）に対してより良い表示コントラストを提供するために）表示されたオーバーレイ画像を再着色することを可能にする。さらに別の例として、ユーザは、オーバーレイコンテンツの描画内の線の太さを変更するための入力を入力することができ、それは、機器および／または機械の描写をより良く視覚化し、実世界ビュー内の機器および／または機械にオーバーレイする際にユーザを助けることができる。

【0036】

プロセスブロック１１４において、処理回路４８が、ユーザ入力に基づいて言語ファイル１２からのコンテンツの視覚化を修正することができる。たとえば、オーバーレイコンテンツは、ユーザ入力に基づいて、ディスプレイ４２上で再配置、サイズ変更、および／または再方向付け（たとえば、回転、反転、鏡像化）されてよい。さらに、オーバーレイコンテンツは別の色に変更されてよく、かつ／またはオーバーレイコンテンツは、より太い線もしくはより細い線で表示されてよい。

【0037】

他の実施形態では、プロセス１００はより多くのステップを含んでよい。たとえば、いくつかの実施形態では、プロセス１００は、処理回路４８を介して、そのような入力が受信されると、スクリーンショットをキャプチャし、したがってディスプレイ４２を介して表示される拡張現実コンテンツの画像をキャプチャする要求を示すユーザ入力を（たとえば、入力システム４６を介して）受信することを含んでよい。キャプチャされたスクリーンショットは、その後、（たとえば、ディスプレイ４２を介して）表示され、（たとえば、ストレージ５２に）記憶され、かつ／または（たとえば、通信回路５４を介して）他の電子デバイスに送信されてよい。

【0038】

プロセス１００に含まれ得る追加のステップの別の例として、いくつかの実施形態では、プロセス１００は、オーバーレイコンテンツの向きをロックし、センサ５６を介して検出された動きに基づいてオーバーレイコンテンツを調整するためのユーザ入力を受信することを含んでよい。たとえば、ユーザは、ディスプレイ４２上のオーバーレイコンテンツの外観を調整し、オーバーレイコンテンツの向きをロックする要求を（たとえば、入力システム４６を介して）入力することができ、処理回路４８は、ユーザ入力が行われた時点でのオーバーレイコンテンツに関連付けられた設定で、オーバーレイコンテンツを表示することができる。センサ５６からのデータが、電子デバイス４０が移動したことを示すとき、処理回路４８は、電子デバイス４０の検出された動きに対応する方式でオーバーレイコンテンツを提示させることができる。たとえば、処理回路４８が、センサ５６からのデータが電子デバイス４０の回転を示すと判断した場合、処理回路４８は、検出された回転に対応する量だけオーバーレイ画像を回転させることができる。別の例として、カメラ４４からの画像データに基づいて、処理回路４８は、電子デバイスが実世界ビューからのコンテンツに近づいた、またはコンテンツから遠ざかったと判断することができる。それに応じて、処理回路４８は、それぞれ、実世界ビューが変化した検出量に対応する量だけオーバーレイコンテンツを縮小または拡大することができる。たとえば、電子デバイスのユーザが後に下がった場合、実世界ビュー内のアイテムはディスプレイ４２上で小さくなってよい。処理回路４８は、アイテムが縮小した程度を特定し（たとえば、実世界ビュー内のアイテムのサイズを実世界ビュー内のアイテムの以前のサイズと比較し）、実世界ビュー内のアイテムのサイズの検出変化と同じかまたは同様の量だけオーバーレイ画像を小さくさせることができる。

【0039】

ＡＲ変換およびビジュアライザシステム１０の説明を続けると、図４は、ＡＲ変換およびビジュアライザシステム１０を実行している電子デバイス４０の一実施形態を描写する。図示された実施形態では、電子デバイスのユーザは、（たとえば、電子デバイス４０のカメラを介して）実世界ビュー１５０をキャプチャし、その上にオーバーレイコンテンツ１５２がオーバーレイされ、電子デバイス４０のディスプレイ４２を介して提供される拡張現実コンテンツをもたらす。ユーザは、たとえば、タッチスクリーン（たとえば、ディスプレイ４２）または電子デバイス４０に含まれる他の入力システムを介して、オーバーレイコンテンツ１５２と対話することにより、オーバーレイコンテンツ１５２の外観を修正することができる。

【0040】

図５は拡張現実コンテンツの画像１７０を示す。より具体的には、画像１７０は、オーバーレイコンテンツ１５２がオーバーレイされた実世界ビュー１５０（たとえば、プラントまたは設備）を含む。図示されたように、オーバーレイコンテンツは、実世界ビュー内に物理的に存在するアイテムに対応するいくつかの部品を含む設計図面であり、そのうちのいくつかは実世界ビュー１５０内で見えない場合がある。さらに、図５は、オーバーレイコンテンツ１５２に関連付けられたコールアウト番号１５４ａおよびテキスト１５４ｂなどの注釈１５４を含む。したがって、画像１７０を提供する電子デバイスのユーザは、実世界ビュー１５０のどの構成要素がオーバーレイコンテンツ１５２に基づくかを識別することができてよい。

【0041】

さらに、本開示の技法はビデオコンテンツに適用されてよいことに留意されたい。たとえば、言語ファイル１２からのコンテンツは、ビデオコンテンツのフレームを構成するいくつかの画像にオーバーレイされてよい。さらに、本開示の技法は、２次元および３次元の画像で使用されてよい。すなわち、言語ファイル１２からの２次元および３次元の画像は、実世界ビューにオーバーレイされ、電子デバイス４０のディスプレイ４２を介して表示されてよい。

【0042】

本開示の技術的効果には、実世界ビューを言語ファイルなどのファイル内で提供されるオーバーレイコンテンツ（たとえば、画像、テキスト）と統合することが含まれる。たとえば、拡張現実トランスレータおよびビジュアライザを利用する電子デバイスは、コンテンツ（たとえば、言語ファイル）を受信し、コンテンツの一部分をオーバーレイ画像として提供することができ、オーバーレイ画像は実世界ビュー（たとえば、電子デバイスのカメラによってキャプチャされた画像）の上に表示されてよい。オーバーレイコンテンツはディスプレイ上で修正されてよい。たとえば、オーバーレイコンテンツのサイズおよび／または向きはユーザ入力に基づいて修正されてよく、ユーザ入力は、ユーザがオーバーレイコンテンツをオーバーレイコンテンツに対応する実世界ビュー内のオブジェクトと整列させることを可能にすることができる。実世界ビューにオーバーレイされるコンテンツを提供することにより、本明細書に記載された技法は、ユーザが複雑なシステム内の構成要素を識別し、構成要素をより迅速に評価することを可能にすることができる。

【0043】

本明細書は、最良の態様を含めて本発明を開示するとともに、当業者が、任意のデバイスまたはシステムの製作および使用ならびに任意の組み込まれた方法の実行を含む、本発明を実践することを可能にするために、例を使用する。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者が思い付く他の例を含んでよい。そのような他の例が、特許請求の範囲の字義通りの文言と異ならない構造要素を有する場合、またはそれらが特許請求の範囲の字義通りの文言と実質的な差異がない等価な構造要素を含む場合、そのような他の例は特許請求の範囲内であることを意図している。

【符号の説明】

【0044】

１０ 拡張現実（ＡＲ）トランスレータおよびビジュアライザシステム
１２ 言語ファイル
１４ 変換システム
１６ ＡＲ視覚化システム
１８ 注釈システム
４０ 電子デバイス
４２ ディスプレイ
４４ カメラ
４６ 入力システム
４８ 処理回路
５０ メモリ
５２ ストレージ
５４ 通信回路
５６ センサ
１００ プロセス
１０２ プロセスブロック
１０４ プロセスブロック
１０６ プロセスブロック
１０８ プロセスブロック
１１０ 注釈
１１２ プロセスブロック
１１４ プロセスブロック
１５０ 実世界ビュー
１５２ オーバーレイコンテンツ
１５４ 注釈
１５４ａ コールアウト番号
１５４ｂ テキスト
１７０ 画像

【図1】

【図2】

【図3】

【図4】

【図5】