▶ フィッシャー−ローズマウント システムズ，インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-18
(45)【発行日】2023-07-26
(54)【発明の名称】プロセス制御環境の３Ｄマッピング
(51)【国際特許分類】
G06T 19/00 20110101AFI20230719BHJP
G06F 3/04815 20220101ALI20230719BHJP
G06F 3/0487 20130101ALI20230719BHJP
G06F 3/01 20060101ALI20230719BHJP
【ＦＩ】
G06T19/00 600
G06F3/04815
G06F3/0487
G06F3/01 510
【請求項の数】
18
【外国語出願】
(21)【出願番号】P 2018179420
(22)【出願日】2018-09-25
(65)【公開番号】P2019067383
(43)【公開日】2019-04-25
【審査請求日】2021-09-24
(31)【優先権主張番号】62/564,074
(32)【優先日】2017-09-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/036,358
(32)【優先日】2018-07-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】512132022
【氏名又は名称】フィッシャー－ローズマウント システムズ，インコーポレイテッド
(74)【代理人】
【識別番号】100113608
【弁理士】
【氏名又は名称】平川 明
(74)【代理人】
【識別番号】100138357
【弁理士】
【氏名又は名称】矢澤 広伸
(72)【発明者】
【氏名】ジェームズ アーロン クルーズ
(72)【発明者】
【氏名】トレヴァー ダンカン シュレイス
(72)【発明者】
【氏名】ベンジャミン マイケル ビショップ
【審査官】橘 高志
(56)【参考文献】
【文献】特開２０１６－１６７６８８（ＪＰ，Ａ）
【文献】特開２０１０－１２３１２１（ＪＰ，Ａ）
【文献】特表２０１６－５３３５６５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０４８１５
Ｇ０６Ｆ ３／０４８７
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
モバイルデバイスを使用して現実世界のプロセス制御環境をマッピングする方法であって、前記方法が、前記プロセス制御環境内の基準位置に前記モバイルデバイスを登録することと、
少なくとも、前記モバイルデバイスの慣性測定ユニットを使用して、（ｉ）前記基準位置に対する前記モバイルデバイスの３次元（３Ｄ）位置、及び（ｉｉ）前記モバイルデバイスの配向、を追跡することと、
前記モバイルデバイスにおいて、新しいノードが前記プロセス制御環境の３Ｄマップに追加されるべきであることを示す第１のユーザ入力を検出することと、
前記モバイルデバイスにおいて、前記新しいノードの識別子及び／または記述を含む第２のユーザ入力を受信することであって、前記識別子及び／または前記記述は、前記新しいノードに対応する現実世界オブジェクトに関連する構成要素を記述する関係の指標を含む、ことと、
少なくとも、（ｉ）追跡された前記モバイルデバイスの３Ｄ位置、及び（ｉｉ）追跡された前記モバイルデバイスの配向に、基づいて、前記基準位置に対する前記現実世界オブジェクトの３Ｄ位置を判定するか、または前記現実世界オブジェクトの前記３Ｄ位置を判定させることと、
少なくとも、前記現実世界オブジェクトの３Ｄ位置及び前記新しいノードの前記識別子及び／または前記記述を前記新しいノードに関連付けて記憶させることによって、ノードデータベースに前記プロセス制御環境の前記３Ｄマップに前記新しいノードの追加させることと、
を含む方法。
【請求項2】
前記基準位置に前記モバイルデバイスを登録することが、前記モバイルデバイスのカメラを使用して、コードの視覚的表現をスキャンすることを含み、前記視覚的表現が、前記基準位置に位置している、
請求項１に記載の方法。
【請求項3】
前記モバイルデバイスのカメラを使用して、コードの視覚的表現をスキャンすることが、前記モバイルデバイスの前記カメラを使用して、前記基準位置に位置しているＱＲコード（登録商標）をスキャンすることを含む、
請求項２に記載の方法。
【請求項4】
前記モバイルデバイスの前記３Ｄ位置及び前記モバイルデバイスの前記配向を追跡することが、前記慣性測定ユニット及び前記モバイルデバイスのカメラを使用して、前記モバイルデバイスの前記３Ｄ位置及び前記モバイルデバイスの前記配向を追跡することを含む、
請求項１から３のいずれか１項に記載の方法。
【請求項5】
前記新しいノードが前記３Ｄマップに追加されるべきであることを示す前記第１のユーザ入力を検出することが、音声コマンド、キーボード入力、またはタッチスクリーン入力を検出することを含む、請求項１から４のいずれか１項に記載の方法。
【請求項6】
前記現実世界オブジェクトの前記３Ｄ位置を判定すること、または前記現実世界オブジェクトの前記３Ｄ位置を判定させることが、前記モバイルデバイスのカメラを使用して前記現実世界のオブジェクトの画像を捕捉することと、
少なくとも、深度感知技術を使用して前記現実世界オブジェクトの前記画像を処理することによって、前記モバイルデバイスと前記現実世界オブジェクトとの間の距離を判定することと、
少なくとも、（ｉ）前記追跡され前記モバイルデバイスの３Ｄ位置、（ｉｉ）前記モバイルデバイスと前記現実世界オブジェクトとの間の前記距離、及び（ｉｉｉ）前記追跡された前記モバイルデバイスの配向、に基づいて、前記現実世界オブジェクトの前記３Ｄ位置を判定するか、または前記現実世界オブジェクトの前記３Ｄ位置を判定させることと、を含む、
請求項１から５のいずれか１項に記載の方法。
【請求項7】
前記モバイルデバイスが、拡張現実（ＡＲ）モバイルデバイスのディスプレイを介して提示された現実世界のビューにデジタル情報を重ね合わせる前記ＡＲモバイルデバイスである、請求項１から６のいずれか１項に記載の方法。
【請求項8】
モバイルデバイスを使用して現実世界のプロセス制御環境をマッピング及びナビゲートする方法であって、前記方法が、前記プロセス制御環境内の基準位置に第１のモバイルデバイスを登録することと、
少なくとも、前記第１のモバイルデバイスの慣性測定ユニットを使用して、（ｉ）前記基準位置に対する前記第１のモバイルデバイスの３次元（３Ｄ）位置、及び（ｉｉ）前記第１のモバイルデバイスの配向を追跡することと、
前記第１のモバイルデバイスにおいて、新しいノードが前記プロセス制御環境の３Ｄマップに追加されるべきであることを示す第１のユーザ入力を検出することと、
前記第１のモバイルデバイスにおいて、前記新しいノードの識別子及び／または記述を含む第２のユーザ入力を受信することであって、前記識別子及び／または前記記述は、前記新しいノードに対応する現実世界オブジェクトに関連する構成要素を記述する関係の指標を含む、ことと、
少なくとも、（ｉ）追跡された前記第１のモバイルデバイスの３Ｄ位置、及び（ｉｉ）追跡された前記第１のモバイルデバイスの配向、に基づいて、前記基準位置に対する前記現実世界オブジェクトの３Ｄ位置を判定するか、または前記現実世界オブジェクトの前記３Ｄ位置を判定させることと、
少なくとも、前記現実世界オブジェクトの前記３Ｄ位置及び前記新しいノードの前記識
別子及び／または前記記述を前記新しいノードに関連付けて記憶させることによって、ノードデータベースに、前記プロセス制御環境の前記３Ｄマップに前記新しいノードの追加させることと、
少なくとも、第２のモバイルデバイスの慣性測定ユニットを使用して、（ｉ）前記第２のモバイルデバイスの３Ｄ位置、及び（ｉｉ）前記第２のモバイルデバイスの配向を追跡することと、
（ｉ）追跡された前記第２のモバイルデバイスの配向に基づいて、前記現実世界オブジェクトが前記第２のモバイルデバイスのカメラの視界内のエリア内にあると判定すること、及び（ｉｉ）追跡された前記第２のモバイルデバイスの位置に基づいて、前記現実世界オブジェクトが前記第２のモバイルデバイスに近接していると判定すること、の両方うちの１つによって、トリガ条件を検出することと、
前記トリガ条件を検出することに応答して、前記新しいノードに関連付けられているデジタル情報に、前記第２のモバイルデバイスのディスプレイを介して提示される現実世界のビューに重ね合わさせることと、
を含む方法。
【請求項9】
前記基準位置に前記第２のモバイルデバイスを登録することを更に含み、前記第２のモバイルデバイスの３Ｄ位置を追跡することが、前記基準位置に対する前記第２のモバイルデバイスの前記３Ｄ位置を追跡することを含む、
請求項８に記載の方法。
【請求項10】
前記基準位置に前記第１のモバイルデバイスを登録することが、前記第１のモバイルデバイスのカメラを使用して、コードの視覚的表現をスキャンすることを含み、前記視覚的表現が、前記基準位置に位置している、
請求項８または９に記載の方法。
【請求項11】
前記新しいノードが前記３Ｄマップに追加されるべきであることを示す前記第１のユーザ入力を検出することが、音声コマンド、キーボード入力、またはタッチスクリーン入力を検出することを含む、請求項８から１０のいずれか１項に記載の方法。
【請求項12】
前記現実世界オブジェクトの前記３Ｄ位置を判定するか、または前記現実世界オブジェクトの前記３Ｄ位置を判定させるかが、前記第１のモバイルデバイスのカメラを使用して、前記現実世界オブジェクトの画像を捕捉することと、
少なくとも、深度感知技術を使用して前記現実世界オブジェクトの前記画像を処理することによって、前記第１のモバイルデバイスと前記現実世界オブジェクトとの間の距離を判定することと、
少なくとも、（ｉ）前記追跡された前記第１のモバイルデバイスの３Ｄ位置、（ｉｉ）前記第１のモバイルデバイスと前記現実世界オブジェクトとの間の前記距離、及び（ｉｉｉ）前記追跡された前記第１のモバイルデバイスの配向に基づいて、前記現実世界オブジェクトの前記３Ｄ位置を判定するか、または前記現実世界オブジェクトの前記３Ｄ位置を判定させるか、を含む、
請求項８から１１のいずれか１項に記載の方法。
【請求項13】
前記第１のモバイルデバイス及び前記第２のモバイルデバイスが、拡張現実（ＡＲ）モバイルデバイスのディスプレイを介して提示される現実世界のビューにデジタル情報を重ね合わせる前記ＡＲモバイルデバイスである、請求項８から１２のいずれか１項に記載の方法。
【請求項14】
現実世界のプロセス制御環境をマッピングするためのシステムであって、前記システムが、サーバと、
慣性測定ユニットを備えるモバイルデバイスであって、前記モバイルデバイスが、
前記プロセス制御環境内の基準位置に登録し、
少なくとも前記慣性測定ユニットを使用して、（ｉ）前記基準位置に対する前記モバイルデバイスの３次元（３Ｄ）位置、及び（ｉｉ）前記モバイルデバイスの配向を追跡し、
新しいノードが前記プロセス制御環境の３Ｄマップに追加されるべきであることを示す第１のユーザ入力を検出し、かつ
前記新しいノードの識別子及び／または記述を含む第２のユーザ入力を検出し、前記識別子及び／または前記記述は、前記新しいノードに対応する現実世界オブジェクトに関連する構成要素を記述する関係の指標を含む、
ように構成されている、モバイルデバイスと、を備え、
前記モバイルデバイスまたは前記サーバのいずれかが、（ｉ）追跡された前記モバイルデバイスの３Ｄ位置、及び（ｉｉ）追跡された前記モバイルデバイスの配向に基づいて、前記基準位置に対する前記現実世界オブジェクトの３Ｄ位置を判定するように構成され、
前記サーバが、前記現実世界オブジェクトの前記３Ｄ位置及び前記新しいノードの前記識別子及び／または前記記述を前記新しいノードに関連付けて記憶するノードデータベースに、前記プロセス制御環境の前記３Ｄマップに新しいノードの追加するように構成されている、
システム。
【請求項15】
前記モバイルデバイスが、カメラを更に備え、前記モバイルデバイスが、少なくとも、前記カメラを使用してコードの視覚的表現をスキャンすることによって、前記基準位置に登録するように構成され、前記視覚的表現は、前記基準位置に位置している、
請求項１４に記載のシステム。
【請求項16】
前記モバイルデバイスが、少なくとも、音声コマンド、キーボード入力、またはタッチスクリーン入力を検出することによって、前記新しいノードが前記３Ｄマップに追加されるべきであることを示す前記第１のユーザ入力を検出するように構成されている、
請求項１４または１５に記載のシステム。
【請求項17】
前記モバイルデバイスが、カメラを更に備え、前記モバイルデバイスが、前記カメラを使用して前記現実世界オブジェクトの画像を捕捉するように構成され、
前記モバイルデバイスまたは前記サーバが、少なくとも深度感知技術を使用して前記現実世界オブジェクトの前記画像を処理することによって、前記モバイルデバイスと前記現実世界オブジェクトとの間の距離を判定するように構成され、
前記モバイルデバイスまたは前記サーバが、少なくとも、（ｉ）前記追跡された前記モバイルデバイスの３Ｄ位置、（ｉｉ）前記モバイルデバイスと前記現実世界オブジェクトとの間の前記距離、及び（ｉｉｉ）前記追跡された前記モバイルデバイスの配向に基づいて、前記現実世界オブジェクトの前記３Ｄ位置を判定するように構成されている、
請求項１４に記載のシステム。
【請求項18】
前記モバイルデバイスが、現実世界のビューにデジタル情報を重ね合わせるディスプレイを更に備える、拡張現実（ＡＲ）モバイルデバイスである、請求項１４から１７のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、拡張現実技術、より詳細には、プロセス制御または他の環境で利用され得る拡張現実プラットフォームに関する。
【背景技術】
【0002】
現実世界の環境でのデジタル情報（例えば、テキスト、画像、アニメーションなど）のオーバーレイを提供する拡張現実（ＡＲ）システムは、この技術の新しい用途が検討されるにつれてますます一般的になりつつある。ＡＲシステムは、典型的に、ユーザの現在の現実世界の環境のコンテキストに固有の情報を提供する。このようなシステムでは、現在ユーザのビューにある物理的な物の知識、及びユーザの現在の位置及びその周辺の物理的なレイアウトなど、現実世界の知識が一般的に必要である。この種の情報をＡＲシステムに利用可能にするために、ユーザの環境及びその中のオブジェクトを表現する３次元（３Ｄ）デジタルモデルが、典型的に作成される。次いで、３Ｄモデルは、環境内の特定の位置及び／または特定のオブジェクトに関連する特定の種類のデータ（例えば、記述）、グラフィック（例えば、アイコン）などを用いて拡張され得る。適切なＡＲギヤを装備したユーザがマッピングされた環境を移動するとき、拡張された部分は、ユーザの現実世界のビュー（例えば、リアルタイムカメラビュー、またはユーザが環境を観察するヘッドアップディスプレイ（ＨＵＤ）など）にデジタル情報をオーバーレイすることによって、３Ｄモデルの残りの部分をレンダリング／表示することなく、ユーザにレンダリング／表示され得る。
【0003】
従来、この種の３Ｄモデルは、人間の設計者によって、及び／または３Ｄスキャナを使用して、手動で構築されている。しかしながら、これらのアプローチの両方は、複雑なレイアウト及び／または多数のオブジェクトを有する環境を含むアプリケーションにとって多くの時間及び労力を要し得る。更に、環境への変更（例えば、オブジェクトが環境内で移動もしくは置換／更新されることなど）は、モデリングプロセス全体が繰り返されること、または他の時間及び労力を要する手順を必要とし得る。
【0004】
現在のＡＲシステムは、他の欠点も被ることがある。例えば、比較的密度の高い環境（例えば、近接している、及び／またはＡＲビューに表示する多くの情報量を有する複数のオブジェクトを有する環境）で使用される場合、ＡＲシステムは、容易に知覚過負荷をもたらし得る膨大な量の情報をユーザに与えることがあり、かつ／またはユーザはすべての情報のコンテキストを容易に知覚できないことがある。更に、いくつかのオブジェクトは、ＡＲビュー内で不明瞭になることがある。例えば、オブジェクトは囲い内に位置していることがあり、またはアクセス不能もしくは不都合な（例えば遠隔の）位置に存在していることがある。
【発明の概要】
【0005】
拡張現実体験を提供するための技術、システム、装置及び方法が本明細書で開示される。当該技術、システム、装置及び方法は、例えば、工業プロセス制御システム、環境、及び／またはプラントに適用してよく、これらは、本明細書では、同義で「プロセス制御」、または「プロセス」システム、環境、及び／もしくはプラントと称され得る。典型的には、このようなシステム及びプラントは、分散された方法で、未加工の物理的物質を製造、精製、または別様に変形するように動作して、生産物を生成または生産する１つ以上のプロセスの制御を提供する。しかしながら、いくつかの実施形態では、本明細書に記載される技術、システム、装置及び方法は、他の種類の環境で使用され、かつ／または拡張現実以外のコンテキスト（例えば、仮想現実（ＶＲ）コンテキスト）で使用され得る。
【0006】
一般に、プロセス制御環境は、従来の拡張現実感（ＡＲ）システムまたはプラットフォームの生成及び使用に関連付けられている「背景技術」のセクションで上述された、様々な多くの困難を引き起こす可能性がある。例えば、このような環境は、近接し、かつ／または大量の情報（例えば、センサの読み取り値、診断状態など）に関連付けられている多数の多様なオブジェクト（例えば、タンク、ポンプ、バルブ、モータ、トランスミッタなど）を含む場合が多い。更に、それらのオブジェクトは、頻繁に移動または置換され得る。
【0007】
本明細書に記載されるＡＲプラットフォームは、これらの困難の一部または全部を克服または改善し得、したがって、プロセス制御環境での使用によく適し得る。ＡＲプラットフォームでは、３次元（３Ｄ）モデルがＡＲモバイルデバイスを使用するユーザによって生成される。ＡＲモバイルデバイスは、ＡＲヘルメット、ＡＲヘッドセット、ＡＲゴーグル、スマートメガネ、スマートフォン、タブレット、または位置追跡をサポートすることができる任意の他の適切な種類のモバイルデバイス（以下に記載するとおり）であってよく、ユーザにＡＲ体験を提示することができる。
【0008】
３Ｄモデルは、異なる現実世界のオブジェクト（例えば、フィールドデバイス、タンク、コンベア、コントローラ、スイッチなど）に対応する、プロセス制御環境内の関心のあるポイントの３Ｄ位置（ｌｏｃａｔｉｏｎ）／位置（ｐｏｓｉｔｉｏｎ）を示す。３Ｄモデルに追加されるオブジェクトは、本明細書では、ＡＲプラットフォームまたはシステムの「ノード」と称される。本明細書で使用されるように、用語「オブジェクト」（「現実世界のオブジェクト」とも称される）は、任意の物理的な物（例えば、デバイス、構成要素、設備、構造など）、物の一部（例えば、デバイスもしくは構成要素の要素など）、または物の組み合わせ（例えば、関連するデバイスもしくは構成要素のグループなど）であってよい。プロセス制御環境では、例えば、オブジェクトは、フィールドデバイス（例えば、バルブ、ポンプ、センサなど）、設備の一部（コンベヤ、タンクなど）、プロセスコントローラ、スイッチなどであり得る。
【0009】
いくつかの実装では、ＡＲアプリケーションがＡＲモバイルデバイス上で起動されると（例えば、ユーザによって具体的に起動されるとき、またはデバイスパワーアップ時に）、ユーザは、「チェックイン」するか、またはいくつかの基準もしくは「ランドマーク」位置にＡＲモバイルデバイスを登録する。例えば、ユーザは、ＡＲモバイルデバイスのカメラを用いてランドマーク位置でＱＲコードまたはコード／識別子の別の視覚的表現をスキャンしてよい。コードをスキャンする行為は、ユーザ／デバイスの開始位置（例えば、｛ｘ、ｙ、ｚ｝空間内の座標｛０、０、０｝）を確立し得る。
【0010】
登録後、ユーザは、ＡＲモバイルデバイスを用いてプロセス制御環境を物理的に移動し始めてよい。適切な位置決め技術（例えば、ユーザのＡＲモバイルデバイスによって提供される）を使用して、プロセスプラントのユーザの移動を追跡してよい。ＧＰＳまたはＧＮＳＳユニットは、多くのプロセスプラント環境では機能しない可能性があり、配向データまたは正確な標高データを提供することができない（特に屋内にあるプロセス制御環境の場合）ため、他の位置決め及び／または配向技術が使用され得る。例えば、ランドマークの位置に対するＡＲモバイルデバイスの位置、及びＡＲモバイルデバイスの配向（例えば、ユーザが向いている方向に対応し得る、ＡＲモバイルデバイスのカメラの視界の方向）は、慣性測定ユニット（ＩＭＵ）データ（例えば、加速度計、ジャイロスコープなどによって生成される）とカメラ画像データとの融合を使用して追跡され得る。一実装形態では、例えば、Ｑｕａｌｃｏｍｍ（登録商標）によって開発された視覚慣性オドメトリ（ＶＩＯ）技術を使用して、位置及び配向を追跡してよい。
【0011】
ノードとして追加される現実世界のオブジェクトに、またはその近くに到達するとき、及びオブジェクトの方向を向いている（例えば、ＡＲヘルメットもしくはゴーグルを装着している場合）か、あるいはオブジェクトにデバイスカメラを向けている（例えば、デバイスがタブレットもしくはスマートフォンである場合）間、ユーザは新しいノードの追加するオプションを選択し得る。例えば、ＡＲモバイルデバイスは、ユーザによって発生されたときに音声コマンド「ノードの追加」を認識してよく、または（例えば、デバイスがタブレットもしくはスマートフォンである場合）ＡＲモバイルデバイスは、ユーザに「ノードの追加」もしくはＡＲモバイルデバイスディスプレイのグラフィックユーザインターフェース（ＧＵＩ）上の同様のオプション／制御を選択することを可能にし得る。次いで、ＡＲモバイルデバイスは、オブジェクトの画像を捕捉し、画像を処理して、ＡＲモバイルデバイスとオブジェクトとの間の距離を推定し得る。代替的に、他のセンサ（例えば、ライダ、レーダなど）を使用して、ＡＲモバイルデバイスとオブジェクトとの間の距離を判定し得る。次いで、ＡＲモバイルデバイスは、ＡＲモバイルデバイスの現在の位置及び配向、ならびにＡＲモバイルデバイスとオブジェクトとの間の距離に基づいて、ランドマーク位置に対するオブジェクトの位置を判定し得る。代替的に、リモートサーバまたは他のコンピューティングデバイス／システムは、ＡＲモバイルデバイスによって捕捉された画像データを処理して、ランドマーク位置に対するオブジェクト位置を判定し得る。
【0012】
ユーザはまた、新しいノード（例えば、バルブ、ポンプなど）の名前もしくは種類、及び／または他の情報（例えば、オブジェクトのモデル番号もしくは他の識別子、オブジェクトの短い記述など）を指定し得る。次いで、指定された情報は、ＡＲシステムのバックエンドデータベースの新しいノードに関連付けられ得る。バックエンドデータベースは、ランドマーク位置に対して関連する３Ｄ位置を有するユーザ（及び場合によっては他のユーザ）によって追加されたノードのライブラリを含み、プロセス制御環境内でオブジェクト／アセットの仮想の３Ｄ「マップ」を集合的に確立し得る。データベースはまた、例えば、関連するかつ／または接続されたノードのリストなどの他のノード情報を記憶してよい。
【0013】
特定のプロセス制御環境内の少なくとも１つの関心のあるオブジェクトがマッピングされた後（すなわち、ＡＲモバイルデバイスを使用してノードライブラリに追加された後）、ＡＲモバイルデバイスをランドマーク位置に登録する任意のユーザ（マッピングユーザを含む）は、プロセス制御環境の拡張ツアーを行い得る。登録されたＡＲモバイルデバイスを有するユーザが、ＡＲモバイルデバイスのカメラの視界を特定の現実世界のオブジェクトを含むエリアに向けるとき（例えば、ユーザがＡＲヘルメットまたはゴーグルを着用しながらエリアを見る場合）、及びオブジェクトが既にノードライブラリ内のノードに関連付けられている場合、ＡＲモバイルデバイスは、ユーザの現実世界のビューでオブジェクトの座標に、またはその近くに位置しているかのようにユーザに現れる、ノード「マーカー」（例えば、テキスト、アイコン、グラフィックなど）を用いてユーザによって観察される現実世界のシーンを拡張し得る。
【0014】
ユーザが特定のノードを選択した場合（例えば、ノードマーカーに集中すること、または音声コマンドを発することなどによって）、ＡＲモバイルデバイスは、１つ以上の「ノード体験」をユーザに利用可能にし得る。例えば、１つのノード体験は、ユーザの現現実世界のビューにテキスト（ノード名、記述など）、表、及び／またはグラフィック／アイコンを重ね合わせ得る。他のノード体験は、特定のＵＲＬ（例えば、教示もしくは「ヘルプ」ビデオ）からのウェブコンテンツを重ね合わせてよく、または、例えば、他のオブジェクト／ノードへの物理的もしくは論理的接続の視覚化及び／もしくはそれらとの関係を重ね合わせてよい。更に他のノード体験は、オブジェクト／ノードに関連付けられているワークオーダを検索すること、遠隔位置にあるユーザと適切なエキスパートとの間の通信リンクを確立することなどを含み得る。いくつかの実装では、少なくとも１つのノード体
験が、ユーザによって観察されているオブジェクトの特定のコンテキストにおいて、１つ以上の他のソフトウェアアプリケーションまたはシステムを起動（またはそれにリンク）する。例えば、ＡＲモバイルデバイスは、視界内の選択されたオブジェクト／ノード（例えば、フィールドデバイス）のセンサデータ、状態、及び／または仮想コントロールを重ね合わせ得、データは異なるアプリケーションから受信され（かつコントロールへのユーザ入力は異なるアプリケーションに送信される）。
験が、ユーザによって観察されているオブジェクトの特定のコンテキストにおいて、１つ以上の他のソフトウェアアプリケーションまたはシステムを起動（またはそれにリンク）する。例えば、ＡＲモバイルデバイスは、視界内の選択されたオブジェクト／ノード（例えば、フィールドデバイス）のセンサデータ、状態、及び／または仮想コントロールを重ね合わせ得、データは異なるアプリケーションから受信され（かつコントロールへのユーザ入力は異なるアプリケーションに送信される）。
【0015】
所与のノードについてユーザに利用可能な体験、特定のノード体験内に提示されるコンテンツの種類、及び／またはいくつかの実装では、任意の拡張された情報が所与のノードについて特定のユーザに利用可能かどうかが、ユーザの「役割」に少なくとも部分的に基づいて、判定され得る。例えば、特定のユーザは、ＡＲモバイルデバイスを使用して、「オペレータ」役割、「保守者」役割もしくは「エンジニア」役割を選択してよく、またはそのような役割に予め割り当てられてよい。
【0016】
ユーザに、他の多くの機能が提供され得る。いくつかの実装形態では、例えば、ユーザの現実世界のビューに重ね合わされたときに、あたかもユーザが囲い内（例えば、キャビネット内）に隠されたオブジェクトまたは障壁の背後にあるオブジェクトを見ているかのように現れ得る、超現実的または疑似現実的な３Ｄモデルの視覚化を作成することによって、仮想「Ｘ線視覚」をユーザに提供し得る。ＡＲモバイルデバイスはまた、隠されたオブジェクトに関連付けられている状態データまたはアラートを表示すること、隠されたオブジェクトの動作を制御する音声コマンドを発することなどの、隠されたオブジェクトに関連付けられている特定のノード体験によってユーザに提示し得る（かつ／またはユーザに選択することを可能にし得る）。
【0017】
別の例として、ＡＲモバイルデバイスは、制限付きアクセス及び／または遠隔のオブジェクト／ノードの「アバター」をユーザの現実世界のビューに重ね合わせ得る。オブジェクトは、例えば、高いタワーの頂部、または有毒なもしくは高電圧のエリアなどにあり得る。隠されたオブジェクトと同様に、ユーザには、制限付きアクセス及び／または遠隔のオブジェクトとの様々な対話を提供する、特定のノード体験が提供され得る。隠されたオブジェクト（「Ｘ線視覚」）と制限付きアクセス／遠隔のオブジェクト実装の／シナリオの両方において、ユーザは、オブジェクト／ノードを正面に置くこと、及びユーザがオブジェクトと対話している間にユーザにはっきりと見えることと非常に類似した全体的な体験を提供され得る。
【0018】
他の種類の機能性がまた、ＡＲプラットフォームによってサポートされ得る。例えば、ユーザの現在の位置は、様々なアラート（例えば、ユーザが危険なエリアにいるという警告）及び／または他の情報の表示をトリガし得る。別の例として、プロセスプラント内のユーザの現在及び／または過去の３Ｄ位置は、緊急事態における従業員の避難の確保、従業員が負傷していないか、あるいは医学的支援の必要がないことの確保、または特定の従業員の訓練を監視することなどの、様々な目的のために追跡／記録され得る。
【0019】
上記のかつ以下で更に説明するＡＲプラットフォームは、特定の実装形態に応じていくつかの利点を提供し得る。例えば、特定のオブジェクトの相対的な３Ｄ位置のみをマッピングすることによって、３Ｄモデルは、従来の手段（例えば、３Ｄスキャナを使用して環境をマッピングする）よりも容易かつ効率的に生成され得る。同様に、プロセス制御環境内のオブジェクトの更新または再構成は、より迅速かつ容易に実行され得る。更に、本明細書に記載されるマッピングプロセスを使用することによって、かつ本明細書で記載するようにＡＲモバイルデバイス／ユーザの移動を追跡することによって、ＡＲプラットフォームは、費用及び／もしくはレトロフィットの時間を必要とせずに、または別様に短距離通信技術（例えば、Ｂｌｕｅｔｏｏｔｈもしくは近距離通信（ＮＦＣ）ユニット）を備え
たオブジェクトを装備することなく、かつ環境をナビゲートするユーザによる時間を要する行為（例えば、オブジェクト上のＱＲコードのスキャン、オブジェクト識別子の手動データ入力、物理的なオブジェクトへの接続など）を必要とすることなく、いつユーザに拡張情報を提供すべきかを判定し得る。したがって、特にプロセス制御環境におけるＡＲシステムの展開に対する従来の障壁は、軽減または除去され得る。
たオブジェクトを装備することなく、かつ環境をナビゲートするユーザによる時間を要する行為（例えば、オブジェクト上のＱＲコードのスキャン、オブジェクト識別子の手動データ入力、物理的なオブジェクトへの接続など）を必要とすることなく、いつユーザに拡張情報を提供すべきかを判定し得る。したがって、特にプロセス制御環境におけるＡＲシステムの展開に対する従来の障壁は、軽減または除去され得る。
【0020】
別の例として、ＡＲプラットフォームは、一般に、第三者が、オブジェクト／ノードとの異なるユーザ対話に対応する新しい、カスタマイズされた種類もしくはクラスの「ノード体験」を提案することができ、かつ／または既存のノード体験の新しいコンテンツを提案することができる、マーケットプレースを提供し得る。計装ベンダーまたは他のエンティティは、例えば、特定のオブジェクトに対する「ヘルプ」情報、またはＡＲもしくはビデオベースの作業指示のサブスクリプションを提案し得る。いくつかの実施形態では、仮想「アプリストア」は、顧客が様々なアプリケーションをライセンスし、かつ／または顧客のモバイルワーカーにとって望ましい特定の種類のコンテンツに加入することを可能にし得る。
【0021】
更に、不明瞭で、遠隔のかつ／または制限付きアクセスのノードに対する拡張情報の表示／ビューを容易にする機能は、ユーザの時間（したがって費用）を節約し得、いくつかの実装形態及び／またはシナリオでは、危険なエリアを訪問する必要を回避することによって作業者の安全を向上させ得る。
【0022】
また更に、ＡＲプラットフォームアーキテクチャは柔軟性が高くてもよい。ＡＲプラットフォームは、例えば、スマートヘルメット、スマートゴーグル、スマートフォン、タブレットなどの様々な異なるプラットフォーム上のユーザへの関連情報の表示を容易にし得る。ＡＲプラットフォームはまた、多数の他のソフトウェアアプリケーション（例えば、制御論理を示すデータ、デバイス読み取り値などを検索することができるプロセス制御ソフトウェア）との対話性、及び／または新しい体験、コンテンツ、または簡単に提供されるべき他の機能を容易にし得る。
【0023】
上述されたように、本明細書に記載される特定の実装形態及び／または特徴は、ＡＲシステムで使用される必要はなく、かつ／またはプロセス制御環境で使用される必要はない。例えば、スマートフォン、タブレットまたは他のモバイルデバイスを有するユーザには、プラント内のオブジェクトのマッピングされた３Ｄ位置ならびにユーザの現在の位置及び配向に基づく「ノード体験」が、ＡＲディスプレイとして必ずしも提供される必要なく、表現され得る（例えば、バーチャルリアリティディスプレイまたは単にＧＵＩを使用して）。別の例として、本明細書に記載される技術は、オフィス空間、倉庫、病院などのプロセス制御環境以外の環境に適用され得る。
【図面の簡単な説明】
【0024】
【図1】本明細書に記載される様々な方法、技術、機能及び／または特徴をサポートし得るＡＲプラットフォームを提供する拡張現実（ＡＲ）システムの例を描画するブロック図である。
【図3】プロセス制御環境における例示的なノードの３次元（３Ｄ）マップを描画する。
【図4A】ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図4B】ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図4C】ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図4D】ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図4E】ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図4F】ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図4G】ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図4H】ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図5A】ＡＲプラットフォームで使用され得る例示的なデータベースの要素を示す。
【図5B】ＡＲプラットフォームで使用され得る例示的なデータベースの要素を示す。
【図6】ＡＲモバイルデバイスのユーザが仮想Ｘ線視覚を提供される例示的な実施形態及びシナリオを描画する。
【図7A】ユーザと、ユーザから遠くにある、またはそうでなければアクセスすることが困難なオブジェクトとの間の仮想近接を提供するために、ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図7B】ユーザと、ユーザから遠くにある、またはそうでなければアクセスすることが困難なオブジェクトとの間の仮想近接を提供するために、ＡＲモバイルデバイスによって提供される視界の上に重ね合わされ得る例示的なユーザインターフェースを描画する。
【図8】モバイルデバイスを使用して現実世界のプロセス制御環境をマッピングするための例示的方法のフロー図である。
【図9】現実世界のプロセス制御環境において、ＡＲモバイルデバイスのユーザに仮想強調視覚を提供するための例示的方法のフロー図である。
【図10】ＡＲモバイルデバイスのユーザと、プロセス制御環境の遠隔または制限付きアクセスのエリアに存在し得る、現実世界のオブジェクトとの間の対話を容易にするための例示的方法のフロー図である。
【発明を実施するための形態】
【0025】
例示的な拡張現実システム
図１は、環境（例えば、プロセス制御環境）においてＡＲ体験を提供するためのＡＲプラットフォームを一般に提供し得る拡張現実（ＡＲ）システム１０の例を描画する。ＡＲシステム１０は、ユーザのＡＲモバイルデバイス１２と、ネットワーク１６を介してＡＲモバイルデバイス１２に通信可能に結合され得るバックエンドサーバ１４とを含む。ＡＲモバイルデバイス１２は、適切な処理及び感知能力を有し、着用可能であるか、または別様にユーザが携帯することができる任意のコンピューティングデバイスであってよい。例えば、ＡＲモバイルデバイス１２は、ＡＲヘルメット（例えば、ＤＡＱＲＩ（登録商標）によって開発されたＳｍａｒｔ Ｈｅｌｍｅｔ（登録商標））またはＡＲゴーグルなどの、ＡＲのために特別に構成されたデバイスであってよい。代替的に、ＡＲモバイルデバイス１２は、非ＡＲアプリケーション（例えば、タブレット、スマートフォン、スマートメガネ、スマートウォッチなど）も有するデバイスであり得るが、ＡＲ能力を有するようにデバイス１２を構成するソフトウェアアプリケーションを実行する。図１は１つのＡＲモバイルデバイス１２のみを描画しているが、ＡＲモバイルデバイス１２と同一または異なるより多くのＡＲモバイルデバイスがＡＲシステム１０において同様の方法で使用され得
ることが理解される。
図１は、環境（例えば、プロセス制御環境）においてＡＲ体験を提供するためのＡＲプラットフォームを一般に提供し得る拡張現実（ＡＲ）システム１０の例を描画する。ＡＲシステム１０は、ユーザのＡＲモバイルデバイス１２と、ネットワーク１６を介してＡＲモバイルデバイス１２に通信可能に結合され得るバックエンドサーバ１４とを含む。ＡＲモバイルデバイス１２は、適切な処理及び感知能力を有し、着用可能であるか、または別様にユーザが携帯することができる任意のコンピューティングデバイスであってよい。例えば、ＡＲモバイルデバイス１２は、ＡＲヘルメット（例えば、ＤＡＱＲＩ（登録商標）によって開発されたＳｍａｒｔ Ｈｅｌｍｅｔ（登録商標））またはＡＲゴーグルなどの、ＡＲのために特別に構成されたデバイスであってよい。代替的に、ＡＲモバイルデバイス１２は、非ＡＲアプリケーション（例えば、タブレット、スマートフォン、スマートメガネ、スマートウォッチなど）も有するデバイスであり得るが、ＡＲ能力を有するようにデバイス１２を構成するソフトウェアアプリケーションを実行する。図１は１つのＡＲモバイルデバイス１２のみを描画しているが、ＡＲモバイルデバイス１２と同一または異なるより多くのＡＲモバイルデバイスがＡＲシステム１０において同様の方法で使用され得
ることが理解される。
【0026】
ＡＲモバイルデバイス１２は、一般に、コンテキスト情報（例えば、テキスト、グラフィック、アニメーションなど）でユーザの現実世界のビューを拡張することによって、ＡＲ体験をユーザに提供するように構成される。バックエンドサーバ１４は、一般に、ユーザの現実世界のビューが特定の状況においてどのように拡張されるべきかを指定するデータを管理することによって、ＡＲデバイス及び／またはユーザの現在の状態及び／または環境を示すＡＲモバイルデバイスからデータを受信することによって、かつ、必要に応じてＡＲモバイルデバイスにデータを提供することによって、ユーザ及び他のＡＲモバイルデバイスのユーザのＡＲ体験をサポートする。
【0027】
ネットワーク１６は、１つ以上の無線ネットワーク、場合によっては１つ以上の有線ネットワークをも含む。図１の例示的実施形態では、ＡＲシステム１０のＡＲプラットフォームは、クラウドベースのアーキテクチャを利用し、ネットワーク１６はインターネットを含む。ＡＲシステム１０が屋内で利用される場合、ネットワーク１６はまた、ＩＥＥＥ８０２．１１または「ＷｉＦｉ」ネットワークなどの遠隔のタワーまたは基地局との、いかなる直接通信をも必要としない無線ネットワークを含み得る。しかしながら、他の実施形態では、ネットワーク１６は、セルラーネットワーク（例えば、ＬＴＥ、ＧＳＭなど）を含む。以下で更に説明するように、ＡＲシステム１０はまた、バックエンドサーバ１４及び／またはＡＲモバイルデバイス１２に通信可能に結合され、１つ以上のアプリケーション１９を集合的に記憶及び実行する１つ以上の他のサーバ１８を含み得る。
【0028】
図１の実施形態の例に見られるように、ＡＲモバイルデバイス１２は、ネットワークインターフェース２０、ディスプレイ２２、カメラ２４、慣性測定ユニット（ＩＭＵ）２６、及びＡＲアプリケーション３２を記憶するメモリ３０を含み得る。ネットワークインターフェース２０は、ネットワーク１６の少なくとも一部の無線通信プロトコル（例えば、ＷｉＦｉまたはセルラーネットワーク）を使用して、バックエンドサーバ１４を含むリモートコンピューティングデバイス及びシステムとの通信を可能にするように構成される。
【0029】
ディスプレイ２２は、任意の適切な種類のデジタル表示技術に従って構成されたハードウェア及び関連するファームウェア及び／またはソフトウェアを含み得る。例えば、ディスプレイ２２は、液晶ディスプレイ（ＬＣＤ）技術、発光ダイオード（ＬＥＤ）技術、有機発光ダイオード（ＯＬＥＤ）技術などを使用し得る。ディスプレイ２２は、一般に、透明もしくは半透明であってよく、または不透明であってよい。ディスプレイ２２の構造またはフォームファクタ、及びディスプレイが透明／半透明または不透明であるかどうかは、一般に、ＡＲモバイルデバイス１２の種類に依存する。例えば、ＡＲモバイルデバイス１２がヘルメットである場合、ディスプレイ２２はバイザーの形態を有してよく、ディスプレイ２２によって表示される任意の情報が、ユーザの直接的な現実世界のビューに重ね合わされるように半透明であってよい（すなわち、「ヘッドアップディスプレイ」または「ＨＵＤ」）。反対に、ＡＲモバイルデバイス１２がタブレットまたはスマートフォンである場合、ディスプレイ２２は、従来の矩形フォームファクタを有し、現実世界の間接的なビュー（例えば、カメラ２４によって捕捉されたような）のみを可能にし得る。
【0030】
カメラ２４は、例えば、電荷結合素子（ＣＣＤ）画像センサなどの任意の適切な種類の光学センサであってよい。代替の実施形態では、カメラ２４は、例えば、光検出及び測距（ライダー）センサもしくはレーダセンサなどの異なる種類の撮像デバイスの代わりであるか、またはそれを含む。ＩＭＵ２６は、３次元でＡＲモバイルデバイス１２の移動を示すデータを生成する、１つ以上のセンサ（例えば、加速度計及び／またはジャイロスコープ）を含み得る。図１には示されていないが、ＡＲモバイルデバイスはまた、マイクロフォン及び／またはスピーカなどの他の構成要素を有し得る。
【0031】
ＡＲアプリケーション３２を記憶するメモリ３０は、例えば、ソリッドステートまたはハードドライブ形式の読み出し専用メモリ（ＲＯＭ）などの任意の適切な種類の永続メモリであってよい。ＡＲアプリケーション３２は、例えば、ディスプレイ２２上に適切な拡張情報を生成し、必要に応じてバックエンドサーバ１４と通信することによって、ＡＲモバイルデバイス１２のユーザのＡＲ体験を概ね調整する。図１は、役割識別モジュール４０と、登録モジュール４２、位置決め及び配向モジュール４４と、ノード体験モジュール４６と、ノード作成モジュール４８と、視覚強調モジュール５０と、位置ベースアラートモジュール５２とを含む、ＡＲアプリケーション３２によって実行または提供され得る例示的な機能または機能に対応するモジュールのセットを描画する。モジュール４０～５２の各々は、ＡＲシステム１０の動作に関連して以下で更に説明される。いくつかの実施形態では、ＡＲアプリケーション３２は、図１に示されたモジュールよりも少なく、より多く、及び／またはそれと異なるモジュールを含む。例えば、ＡＲアプリケーション３２は、ユーザ音声コマンドを認識するための音声認識モジュールを含み得る。
【0032】
図１の例示的な実施形態ではまた、バックエンドサーバ１４は、ウェブサービスインターフェース６０と、体験プロビジョニングユニット６２と、３Ｄモデル生成ユニット６４と、視覚強調ユニット６６と、アラート生成ユニット６８と、ユーザ監視ユニット７０とを含む。一般に、ウェブサービスインターフェース６０は、バックエンドサーバ１４に結合された（またはその内部に含まれる）ＡＲデータベース７２にオブジェクト指向のウェブベースインターフェースを提供し得る。いくつかの実施形態では、ウェブサービスインターフェース６０は、ＡＲモバイルデバイス１２などのリモートデバイスにアプリケーションプログラミングインターフェース（ＡＰＩ）を提供する。
【0033】
ＡＲデータベース７２は、一般に、特定の環境の３Ｄマップを定義する情報を記憶し（例えば、ノード識別子、ランドマークに対する３Ｄマップ内のノードの位置、及びおそらくはノードに関連付けられている他の情報を記憶することによって）、図５Ａ及び図５Ｂに関連して以下に更に詳細に説明される（ある特定の実施形態によれば）。ＡＲデータベース７２は、単一のデータベースまたはデータベースの集合であってよく、単一の物理メモリに記憶されてよく、または１つ以上の地理的位置にある複数のメモリにわたって分散されてよい。要素／ユニット６０～７０のうちの１つ、いくつか、または全ては、永続メモリ（例えば、ＲＯＭ）に記憶されたソフトウェア命令として実装され得る。他の実施形態では、バックエンドサーバ１４は、図１に示されているものよりも少ない、より多くの、及び／または異なる要素／ユニットを含む。
【0034】
動作中、ＡＲモバイルデバイス１２を着用しているか、または別様に携帯しているユーザは、ＡＲモバイルデバイス１２にＡＲアプリケーション３２を起動させ得る。ＡＲアプリケーション３２は、例えば、ディスプレイ２２上のアイコンを手動で選択すること、音声コマンドを発すること、または単にＡＲモバイルデバイス１２をパワーアップすることによって起動され得る。
【0035】
いくつかの実施形態では、ＡＲアプリケーション３２の役割識別モジュール４０は、最初に（例えば、起動時に）、ユーザのジョブ位置に対応し得、かつ／または特定のタスクまたはユーザが、例えば、ＡＲシステム１０を使用することによって達成しようとしているタスクに対応し得る特定の「役割」を示すように促す。他の実施形態では、ユーザは、後で（例えば、後述するようにランドマークに登録した後に）自身の役割を示すように最初に促される。役割識別モジュール４０が、ディスプレイ２２上にまたはディスプレイ２２を介して（例えば、カメラ２４によって捕捉された画像フレームの上で、またはユーザの直接的な現実世界のビューの上で）見られる現実世界のビューに重ね合わせ得るユーザインターフェースの一例が、図４Ａに関連して以下に説明される。代替の実施形態では、
役割識別モジュール４０は、役割を選択するようにユーザに促すのではなく、代わりに、ユーザによって入力または発声されるＡＲモバイルデバイス１２の識別子及び／または識別情報（例えば、名前、従業員番号など）に基づいて、ユーザの事前に割り当てられた役割を判定する。
役割識別モジュール４０は、役割を選択するようにユーザに促すのではなく、代わりに、ユーザによって入力または発声されるＡＲモバイルデバイス１２の識別子及び／または識別情報（例えば、名前、従業員番号など）に基づいて、ユーザの事前に割り当てられた役割を判定する。
【0036】
選択されるかまたは割り当てられたユーザ役割は、以下で更に説明するように、ユーザに提供されるＡＲ体験の様々な側面を調整し得る。実施形態に応じて、ユーザ役割は選択されるかもしくは割り当てられた後に固定されてよく、またはユーザが環境を移動するときにユーザがその場で変更してよい。いくつかの実施形態では、役割識別モジュール４０は、ＡＲアプリケーション３２に含まれず、ＡＲシステム１０内でユーザ役割が選択されないかまたは割り当てられない。
【0037】
環境をマッピングする前に、または以前にマッピングされた環境を更新もしくは探索する前に、いくつかの実施形態では、ユーザは、その位置が、次いで将来のＡＲモバイルデバイス１２（及び同等に、ユーザ）の移動のために基準点として使用される「ランドマーク」にＡＲモバイルデバイス１２を登録する必要があり得る。同じランドマーク位置はまた、３Ｄマップのノードとして既に確立されている（または確立されることになる）環境内の任意のオブジェクトの位置の基準点としても使用され、それによって、任意のマッピングされたオブジェクトに対するＡＲモバイルデバイス１２の位置の判定を可能にする。ランドマーク位置は、例えば、｛ｘ、ｙ、ｚ｝座標系の｛０、０、０｝を表現し得、または他の座標系（例えば、極座標）が使用され得る。
【0038】
ＡＲモバイルデバイス１２を登録するために、登録モジュール４２は、カメラ２４によって捕捉された１つ以上の画像／フレームを処理し得る。ランドマークは、例えば、ＱＲコード、またはランドマーク位置に物理的に印刷された任意の他の適切な種類の画像またはテキスト（例えば、プロセス制御プラント内のエリアの入口付近の壁または扉）であり得る。いくつかの実施形態では、登録モジュール４２またはＡＲアプリケーション３２の別の部分は、ユーザに提供された現実世界のビュー内にレチクルを重ね合わせて（例えば、図４Ｅに関連して後述されるように）、ユーザがＱＲコード、画像などに集中するのを支援してよい。いくつかの実施形態では、ＡＲモバイルデバイス１２の補完的なＢｌｕｅｔｏｏｔｈまたはＮＦＣ通信ユニット、及びランドマーク位置に固定された別のデバイスなどの、ランドマークを認識するために異なる技術が使用される。
【0039】
いくつかの実施形態では、ユーザがＡＲモバイルデバイス２４を特定のランドマークに登録すると、登録モジュール４２は、ランドマークの識別子を示すデータを、ネットワーク１６及びウェブサービスインターフェース６０を介してバックエンドサーバ１４に転送する（例えば、ＱＲコードのバイナリ表現を送信すること、または画像を復号する前にＱＲコードの画像を送信することによって）。次いで、バックエンドサーバ１４は、ランドマーク識別子を、ＡＲデータベース７２に記憶されているランドマーク識別子と比較し得る（存在する場合）。識別子がまだ記憶されていない場合、バックエンドサーバ１４は、ウェブサービスインターフェース６０及びネットワーク１６を介して登録モジュールに障害メッセージを返してよく、またはいくつかの実施形態では、ＡＲデータベースに、新しいランドマーク識別子入力を新しい３Ｄマップに関連付けて作成させてよい。反対に、ランドマーク識別子がＡＲデータベース７２に既に存在する場合、バックエンドサーバ１４は、対応する３Ｄマップ（及び関連するデータ）の一部または全部をＡＲモバイルデバイス１２に利用可能にし、登録の成功を示すメッセージをウェブサービスインターフェース６０及びネットワーク１６を介して登録モジュール４２に返してよい。
【0040】
ＡＲデータベース７２は、各々が異なる３Ｄマップに関連付けられている多数の異なるランドマーク識別子を記憶し得、各マップは異なるノードのライブラリに関連付けられて
いる。複数のマップは、同じ環境に関連付けられ得（例えば、単一の環境内の異なるオブジェクトを異なるマップのノードとして追加することによって）、かつ／または異なるマップは、異なる環境に関連付けられ得る（例えば、プロセス制御プラントの第１のエリアのマップ、プラントの第２のエリアの別のマップなど）。
いる。複数のマップは、同じ環境に関連付けられ得（例えば、単一の環境内の異なるオブジェクトを異なるマップのノードとして追加することによって）、かつ／または異なるマップは、異なる環境に関連付けられ得る（例えば、プロセス制御プラントの第１のエリアのマップ、プラントの第２のエリアの別のマップなど）。
【0041】
いくつかの実施形態では、ランドマークにＡＲモバイルデバイス１２をうまく登録することは、位置決め及び配向モジュール４４に、ＡＲモバイルデバイス１２の位置をランドマーク位置（例えば、｛０、０、０｝）に等しく設定させる。しかしながら、精度を高めるために、登録モジュール４２は、深度感知技術を使用して、カメラ２４によって捕捉されたランドマークの画像を処理して、ＡＲモバイルデバイス１２とランドマークとの間の距離を判定し得る。次いで、位置決め及び配向モジュール４４は、ランドマークからの判定された距離とランドマークに対するＡＲモバイルデバイス１２の配向との両方に基づいて、ＡＲモバイルデバイス１２の開始位置をランドマークの既知／基準位置からオフセットし得る。ランドマークがＱＲコードまたは他の視覚的識別子である場合、ＡＲモバイルデバイス１２の相対的な配向は、ランドマークが向いている方向に基づいて仮定され得る。代替的に、相対的な配向は、捕捉された画像から判定され得る（例えば、ランドマークなどに対するカメラビューの入射角を判定することによって）。
【0042】
登録されると、ＡＲモバイルデバイス１２のユーザは、デジタルテキスト、表、グラフィック、アニメーション、及び／またはランドマークに対応する３Ｄマップに関連付けられている他の種類の情報によって、一般に拡張される、現実世界のビュー（ディスプレイ２２を介して提供される）を用いて、環境の移動を開始し得る。ユーザ（すなわち、ＡＲモバイルデバイス１２）の位置及び配向を追跡するために、位置決め及び配向モジュール４４は、ＩＭＵ２６、カメラ２４、及び／または図１には示されていないＡＲモバイルデバイス１２の１つ以上の他のセンサにアクセスし得る。いくつかの実施形態では、位置決め及び配向モジュール４４は、集合したセンサデータを使用して、ＧＰＳ、ＧＮＳＳ、ＷｉＦｉ測位（例えば、三辺測量）、またはＡＲモバイルデバイス１２と他のデバイスまたはシステムとの間の通信リンクを必要とする任意の他の測位技術に依存することなく、位置及び配向を判定する。「位置（Ｐｏｓｉｔｉｏｎ）」または「位置（ｌｏｃａｔｉｏｎ）」は、３Ｄ座標系（例えば、デカルトまたは極座標）における特定の座標セットを指し得、「配向」は、特定の方向（例えば、３６０度水平／方位角範囲、及び高度または標高）を指し得る。いくつかの実施形態では、「配向」は、デバイス１２が向いている方向とは無関係に、ＡＲモバイルデバイス１２の傾斜を更に指し得る。相対位置のみが追跡される（例えば、「推測航法」の意味において）ため、位置決め及び配向モジュール４４は、登録が行われたランドマークの位置に対するＡＲモバイルデバイス／ユーザ位置を判定する。
【0043】
いくつかの実施形態では、位置決め及び配向モジュール４４は、少なくともカメラ２４及びＩＭＵ２６からのデータの融合を処理して、単独で使用される場合、センサのいずれかの種類に関連する欠陥を克服するのを支援する。例えば、位置決め及び配向モジュール４４は、Ｑｕａｌｃｏｍｍ（登録商標）によって開発された視覚慣性測定法（ＶＩＯ）技術を利用して、ＡＲモバイルデバイス１２の位置及び配向を追跡し得る。そのような技術は、精度を向上させ、判定された位置における「ドリフト」を低減し、かつ／または他の利点を有するのを支援し得る。
【0044】
ＡＲモバイルデバイス１２自体に対するカメラ２４の位置及び配向が既知であるため、ＡＲアプリケーション３２は、位置決め及び配向モジュール４４によって判定された任意の所与の位置及び配向について、ＡＲモバイルデバイス１２の視界（いくつかの実施形態ではまた、ユーザの現実世界のビューに対応し得る）を判定することができる。判定された位置及び配向に基づいて、ＡＲデータベース７２に記憶されたノード位置を３Ｄマップ
に使用し、したがって、ＡＲアプリケーション３２は、どのマッピングされたオブジェクトが任意の所与の時間に視界内にあるかを判定し得る。いくつかの実施形態では、オブジェクトがカメラセンサの水平及び垂直の範囲／程度にある場合（例えば、特定の方位角及び垂直／高度／仰角内にある場合）、オブジェクトと画像を捕捉するＡＲモバイルデバイスとの間の距離に関係なく、オブジェクトが環境内の障害物によって偶然遮断されたかどうかを問わず、オブジェクトは、カメラの「視界内にある」と見なされてよい。例えば、カメラ２４の直接及び間接的に前にあるオブジェクトは、たとえオブジェクトが囲い、障壁、他のオブジェクトなどによって遮蔽されたとしても、カメラ２４の「視界内」と見なされてよい。他の実施形態では、オブジェクトは、オブジェクトが不明瞭でない場合、すなわちカメラがオブジェクトの画像を捕捉することができる間に、カメラの「視界内にある」としか見なされない。
に使用し、したがって、ＡＲアプリケーション３２は、どのマッピングされたオブジェクトが任意の所与の時間に視界内にあるかを判定し得る。いくつかの実施形態では、オブジェクトがカメラセンサの水平及び垂直の範囲／程度にある場合（例えば、特定の方位角及び垂直／高度／仰角内にある場合）、オブジェクトと画像を捕捉するＡＲモバイルデバイスとの間の距離に関係なく、オブジェクトが環境内の障害物によって偶然遮断されたかどうかを問わず、オブジェクトは、カメラの「視界内にある」と見なされてよい。例えば、カメラ２４の直接及び間接的に前にあるオブジェクトは、たとえオブジェクトが囲い、障壁、他のオブジェクトなどによって遮蔽されたとしても、カメラ２４の「視界内」と見なされてよい。他の実施形態では、オブジェクトは、オブジェクトが不明瞭でない場合、すなわちカメラがオブジェクトの画像を捕捉することができる間に、カメラの「視界内にある」としか見なされない。
【0045】
マッピングされたオブジェクトの位置を判定するために、ＡＲアプリケーション３２は、ネットワーク１６及びウェブサービスインターフェース６０を介してＡＲデータベース内のノード位置に定期的にアクセスし得る。例えば、ＡＲアプリケーション３２は、バックエンドサーバ１４がＡＲモバイルデバイス１２の閾値距離内（及び／またはデバイス１２の視界内など）のノードの位置データを提供することを定期的に要求し得、要求はＡＲモバイルデバイス１２の現在の位置（及び／または配向）を示す。代替的に、ＡＲアプリケーション３２は、バックエンドサーバ１４が、例えば登録時に登録のために使用されたランドマークに関連付けられている３Ｄマップについてのすべてのノード位置（及び可能であれば、ノード記述などの他の情報）を送信するように要求し得る。更に他の実施形態では、バックエンドサーバ１４は、ＡＲモバイルデバイス１２がランドマークにうまく登録するときに、関連するすべてのノード位置を自動的に送信し得る。
【0046】
ＡＲアプリケーション３２は、拡張が、ユーザの現在の視界内のマッピングされたオブジェクト／ノードのうちの１つ、２つ以上に提供されるべきであるか、またはいずれにも提供されるべきではないと判定し得る。この判定を行うために、ノード体験モジュール４６は、１つ以上の基準を適用し得る。いくつかの実施形態では、例えば、ノード体験モジュール４６は、オブジェクトとユーザとの間の距離、及びオブジェクトが任意の障害物によってユーザのビューから遮蔽されるかどうかを問わず、ユーザの現在の視界内のすべてのマッピングされたオブジェクトに対して拡張が提供されるべきであることを判定し得る。代替的に、ノード体験モジュール４６は、視界内にあるが、ユーザから離れた閾値距離を超える（例えば、位置決め及び配向モジュール４４、及びＡＲデータベース７２に記憶された対応するノード位置から判定された現在のユーザ位置から判定されるような）マッピングされたオブジェクトに対して、拡張が提供されるべきでないことを判定し得る。
【0047】
ノード体験モジュール４６はまた、または代わりに、ＡＲモバイルデバイス１２の視界内にあるが視界から遮断されたマッピングされたオブジェクトに対して、拡張が提供されるべきでないことを判定し得る。マッピングされたオブジェクトが不明瞭であるかどうかは、実施形態に応じて異なる方法で判定され得る。例えば、ＡＲデータベース７２内のフィールドは、特定のノードが一般に不明瞭なオブジェクトに対応するかどうかを示し得る。例えば、キャビネット内に囲まれた構成要素の場合、対応するノードは、構成要素とキャビネットとの関係を示すフィールドを有する。他の実施形態では、ＡＲアプリケーション３２及び／またはバックエンドサーバ１４は、ノード構成、ノード種類、及び／またはノードサイズのより複雑な分析を実行して、ユーザの現在の視点から、特定のマッピングされたオブジェクトがおそらく目に見えるであろうということを判定し得る。
【0048】
いくつかの実施形態では、ユーザの感覚過負荷の危険性を低減するために、ユーザが（ＡＲモバイルデバイス１２を単純に移動及び／または再配向することを超えて）特定のアクションを取らない限り、拡張はいくつかの特定の種類のマッピングされたオブジェクト
に提供されない。例えば、ノード体験モジュール４６は、ユーザがキャビネットのアイコンまたは他のグラフィック表現を選択しない限り、かつ／またはキャビネットの内容物を見せるオプションを選択するなどしない限り、異なるマッピングされたオブジェクトに各々対応する、キャビネット内の比較的小さい構成要素の多くに対して拡張を提供し得ない。
に提供されない。例えば、ノード体験モジュール４６は、ユーザがキャビネットのアイコンまたは他のグラフィック表現を選択しない限り、かつ／またはキャビネットの内容物を見せるオプションを選択するなどしない限り、異なるマッピングされたオブジェクトに各々対応する、キャビネット内の比較的小さい構成要素の多くに対して拡張を提供し得ない。
【0049】
更に、いくつかの実施形態では、ノード体験モジュール４６は、役割識別モジュール４０によって判定されるように、ユーザの役割に基づいて、ユーザの視界内の特定のマッピングされたオブジェクトに対して拡張が提供されるべきかどうかを判定し得る。したがって、ノード体験モジュール４６は、特にランドマークと選択されるかまたは割り当てられた役割との両方に関連付けられているノードについて、ウェブサービスインターフェース６０に照会してよい。プロセス制御環境では、例えば、「保守者」役割を有するが、「オペレータ」役割を有するユーザに対してではなく、電源スイッチが拡張されてよい。
【0050】
拡張されるべきオブジェクトについて、ノード体験モジュール４６は、あたかもユーザの現実世界のビューにおけるオブジェクトの座標に（またはその近くに）位置しているかのように、ユーザに現れるディスプレイ２２のエリアに、テキスト（例えば、デバイス識別子、状態及び／もしくは記述）ならびに／またはアイコンもしくは他のグラフィックなどのノード「マーカー」を最初に重ね合わせ得る。マーカーは、例えば、ディスプレイ２２上にレンダリングされた線によって現実世界のビューにおいてマッピングされたオブジェクトに接続されているように見え得る。他の実施形態では、マーカーは、オブジェクトの上にレンダリングされた円もしくは他の形状、オブジェクトを大まかに囲む長方形のアウトライン、またはいくつかの他の種類のインジケータである。
【0051】
ユーザが特定のノードを選択した場合（例えば、ノードマーカー上に仮想レチクルを集中させることによって、または音声コマンドを発することなどによって）、ノード体験モジュール４６は、ユーザに１つ以上の「ノード体験」を利用可能にし得る。マッピングされた環境を通って移動する適切に装備されたユーザのより一般的な「ＡＲ体験」とは対照的に、「ノード体験」は、オブジェクト／ノードとのユーザ対話の特定の種類を指す。ノード体験モジュール４６は、例えば、現実世界のビューにメニューもしくは他の対話型ディスプレイを重ね合わせることによって、かつ／またはユーザからの音声コマンドを認識するように構成されることによって、特定のノード体験を選択するオプションをユーザに提供し得る。ユーザは、ノードマーカーを選択すること（例えば、オプション上の仮想レチクルの集中、音声コマンドなど）と同様の方法で、または別の適切な方法で、メニューオプションを選択し得る。
【0052】
特定のノード体験が選択されると、ノード体験モジュール４６は、選択をネットワーク１６を介してウェブサービスインターフェース６０に転送し得る。これに応答して、体験プロビジョニングユニット６２は、ＡＲデータベース７２（及び／またはサーバ１８などの他の位置）から選択されたノード及び選択された体験に関連付けられているデータ（例えば、テキスト、グラフィックなど）を検索し、ウェブサービスインターフェース６０を介して検索されたデータをＡＲモバイルデバイス１２に送り返して、ノード体験モジュール４６がそれに応じてユーザの現実世界のビューを拡張することを可能にし得る。
【0053】
ノード体験は、比較的単純であっても複雑であってよい。ノードマーカー自体は、例えば、デフォルトの「ノード体験」と見なされ得る。他の例として、ノード体験モジュール４６は、他のテキスト及び／またはテーブル（すなわち、対応するオブジェクトに関連付けられている情報）を、ユーザの現実世界のビューに（ディスプレイ２２を介して）、オブジェクトの単純なグラフィックまたはアイコン、オブジェクトの超現実的または擬似現実的な３Ｄモデル、オブジェクトの画像、オブジェクトを含むアニメーション（例えば、
オブジェクトの回転する３Ｄモデル）などを重ね合わせ得る。
オブジェクトの回転する３Ｄモデル）などを重ね合わせ得る。
【0054】
ノード体験はまた、あるいは代わりに、他の種類の対話性を含み得る。例えば、ノード体験モジュール４６は、環境内（例えば、特定のプロセス制御ルーチン内）のオブジェクト及び／またはその動作に関するチュートリアルを提供するビデオに、オブジェクトを含むワークオーダに、またはリモートエキスパートに、リンク（例えば、ＵＲＬ）を重ね合わせ得る。代替的に、または加えて、ユーザは、これらのノード体験の一部または全部について音声コマンドを発し得る。ビデオもしくはワークオーダなどのコンテンツが選択されるか、または呼び出される実施態では、ノード体験モジュール４６は、コンテンツをユーザの現実世界のビューに重ね合わせ得る。リモートエキスパートもしくは他の人物が選択されるか、または呼び出された場合、ノード体験モジュール４６は、ネットワークインターフェース２０または別の適切なネットワークインターフェースに（例えばネットワーク１６を介して）人物との通信リンクを確立させることを可能にし得、いくつかの実施形態では、通信が終了するまで、人物の静止画像またはビデオを重ね合わせ得る。
【0055】
他のノード体験は、選択されたオブジェクト／ノードと他のオブジェクト／ノードとの間の特定の種類の関係を列挙し、かつ／または図形的に描画してよい。例えば、１つのノード体験の場合、ノード体験モジュール４６は、選択されたオブジェクト／ノード（例えば、親及び／または子オブジェクト／ノード）に関連するオブジェクト／ノードのリストを、ユーザの現実世界のビューに重ね合わせ得る。「関係」は、所望の方法で定義されてよく、新しいノードの追加するときにユーザによって手動で設定されてよく、または別の適切な方法で設定されてよい。例えば、いくつかの関係は、オブジェクトが別のオブジェクトの構成要素であるかどうか、及び／またはそれ自体が多数の構成要素を含むかどうかを参照し得る。バルブは、例えば、バルブの構成要素に各々対応するノードのグループの親であるノードに対応し得る。
【0056】
ノード体験モジュール４６は、ウェブサービスインターフェース６０を介して体験プロビジョニングユニット６２に照会することによって関係を判定し得、体験プロビジョニングユニット６２が、ＡＲデータベース７２から関連するノードの識別子を検索し、それらのノードの指標をノード体験モジュール４６に提供する。デフォルトでは、個々のバルブ構成要素の全てについてノードマーカー及び／またはノード体験を表示しないことによって（例えば、ノードまたは特定のオプションがユーザによって特に選択されない限り）、ユーザは圧倒的な量の視覚的情報を一度に受信することから免れ得る。
【0057】
いくつかの種類の関係は、グラフィカルにユーザに描画され得る。例えば、ノード体験モジュール４６は、選択されたノードに対応するオブジェクトと、他のノードに対応する１つ以上の他のオブジェクトとの間の物理的または論理的接続のグラフィカル描画を提供し得る。ノード体験モジュール４６は、ウェブサービスインターフェース６０を介して体験プロビジョニングユニット６２に照会することによって接続を判定し得、体験プロビジョニングユニット６２は、ＡＲデータベース７２から接続されたノードの識別子を検索し、それらのノードの指標をノード体験モジュール４６に提供する。次いで、ノード体験モジュール４６は、適切なオブジェクトに接続された線を描画する表示を生成し、その線をユーザの現実世界のビューに重ね合わせてよい。そのようなノード体験の一例が、以下に説明する図４Ｈに提供される。
【0058】
示された接続及び／または他の関係もまた、ユーザの選択されるかまたは割り当てられた役割に基づいて変化し得る。プロセス制御環境では、例えば、「オペレータ」は、センサ／トランスミッタデバイスからタンクへの線を示され得、線は、センサ／トランスミッタがタンク内の圧力を測定することを示す。反対に、「エンジニア」は、代わりに（または加えて）、センサ／トランスミッタからセンサ送信を受信する別のデバイスへの線を示
されてよく、「保守者」は、代わりに（または加えて）、センサ／トランスミッタからデバイスの電源への線を示されてよい（例えば、保守者がデバイスの保守、修理または交換を行う前に、電源を遮断する箇所を容易に見つけることができるように）。
されてよく、「保守者」は、代わりに（または加えて）、センサ／トランスミッタからデバイスの電源への線を示されてよい（例えば、保守者がデバイスの保守、修理または交換を行う前に、電源を遮断する箇所を容易に見つけることができるように）。
【0059】
いくつかの実施形態では、体験プロビジョニングユニット６２は、１つ以上のノード体験を提供するために、他のサーバ１８（複数可）及び／またはアプリケーション（複数可）１９からのデータ及び／または機能を利用し、かつ／または１つ以上のアプリケーション（複数可）１９は、体験プロビジョニングユニット６２から送信されたデータに応答して起動され得る。このような実施形態のいくつかの例は、プロセス制御環境において、図２に関連して以下に説明される。
【0060】
上述のように、ノード体験モジュール４６は、ユーザの選択されるかまたは割り当てられた役割（例えば、オペレータ、保守者など）に基づいて、特定のマッピングされたオブジェクトのユーザの現実世界のビューを拡張するかどうかを判定し得る。加えて、または代替的に、ノード体験の種類、及び／または特定の体験によって提供されるコンテンツまたは対話性は、ユーザの役割に基づいて変化し得る。例えば、「保守者」の役割を有し、自身の現実世界のビューでポンプを有するユーザは、ポンプの予定された保守リマインダを示すノード体験が提示され得る一方で、「オペレータ」または「エンジニア」の役割を有するユーザは、代わりに、プロセス制御ルーチン内のポンプの論理的接続に関する情報が提示され得る。予定された保守が遅れた場合、保守者にアラートが示され得る一方で、オペレータまたはエンジニアは、他のシナリオで（例えば、ポンプに障害が発生した場合など）、アラートのみが示され得る。
【0061】
ノード作成モジュール４８は、ＡＲモバイルデバイス１２を登録するために使用されるランドマークに対応する３Ｄマップ内の新しいノードの追加をサポートする。いくつかの実施形態では、任意のユーザは、新しいノードを３Ｄマップに追加することができる。他の実施形態では、特定のユーザ役割のみ、及び／または特定のＡＲデバイスのみが、新しいノードの追加するために使用され得る。新しいノードの追加するために、ユーザは、ＡＲモバイルデバイス１２の視界（例えば、視界内の中心に位置するレチクル）をマッピングされるべき現実世界のオブジェクトに向け、新しいノードとしてオブジェクト追加するオプションを選択してよい。
【0062】
これは、実施形態に応じて、異なる方法で達成され得る。例えば、ユーザは、重ね合わされたメニュー項目（例えば、仮想「ノードの追加」ボタン）を選択し、または音声コマンドを発してよく、それに応答して、ノード作成モジュール４８は、レチクルをユーザの現実世界のビューに重ね合わせてよい。オブジェクトにレチクルを向けている間、ユーザは別の制御（例えば、仮想「確認」ボタン）を起動するか、または第２の音声コマンドを発し得る。それに応答して、ノード作成モジュール４８は、オブジェクトの位置を判定し、ノード名及び／または記述を入力するようにユーザに促し得る。次いで、ノード作成モジュール４８は、ネットワーク１６を介してウェブサービスインターフェース６０に位置、入力されるかまたは発声された名前などを送信してよく、３Ｄモデル生成ユニット６４は、少なくとも位置及びノード識別子（例えば、ユーザによって入力されるかまたは発声されたノード名）をＡＲデータベース７２に送信し得る。
【0063】
マッピングされているオブジェクトの位置を判定するために、ノード作成モジュール４８は、ＡＲモバイルデバイス１２の現在の位置を利用し（位置決め及び配向モジュール４４によって判定されるように）、ＡＲモバイルデバイス１２とオブジェクトとの間の距離と、ＡＲモバイルデバイス１２の配向との両方に基づいて、その位置をオフセットし得る。これは、上述されたように、ランドマークに登録するときに、ＡＲモバイルデバイス１２の初期３Ｄ位置を判定するのと同様の方法で達成され得る。例えば、ノード作成モジュ
ール４８は、ＡＲモバイルデバイス１２とオブジェクトとの間の距離を判定するために、深度検知技術を使用して、カメラ２４によって捕捉されたオブジェクトの画像を処理し得る。次いで、位置決め及び配向モジュール４４は、ＡＲモバイルデバイス１２の判定された距離及び配向（例えば、オブジェクトの画像が捕捉されたときにＡＲモバイルデバイス１２の視界が向いていた距離及び方向）の両方に基づいて、ＡＲモバイルデバイス１２の位置からオブジェクトの位置をオフセットし得る。
ール４８は、ＡＲモバイルデバイス１２とオブジェクトとの間の距離を判定するために、深度検知技術を使用して、カメラ２４によって捕捉されたオブジェクトの画像を処理し得る。次いで、位置決め及び配向モジュール４４は、ＡＲモバイルデバイス１２の判定された距離及び配向（例えば、オブジェクトの画像が捕捉されたときにＡＲモバイルデバイス１２の視界が向いていた距離及び方向）の両方に基づいて、ＡＲモバイルデバイス１２の位置からオブジェクトの位置をオフセットし得る。
【0064】
いくつかの実施形態では、ノード作成モジュール４８はまた、既存のノードを更新／修正するために使用されてよい。例えば、ノード体験モジュール４６によって提供されるメニューは、ノード情報を更新するためのオプションを含み得る。選択された場合、ノード作成モジュール４８は、ユーザにノードに関する情報（例えば、ノード名、ノード記述など）を変更することを可能にするために、ユーザの現実世界のビューに１つ以上のメニューまたは他のユーザインターフェースを重ね合わせ得る。任意の変更は、ネットワーク１６を介してウェブサービスインターフェース６０に送信され得、３Ｄモデル生成ユニット６４は、それに応じてＡＲデータベース７２を更新し得る。
【0065】
いくつかの実施形態では、ＡＲアプリケーション３２は、上述された拡張機能を超えて、ユーザの仮想視覚を強調するようにＡＲモバイルデバイス１２を構成する。例えば、特定の種類のノードの場合、視覚強調モジュール５０は、マッピングされたオブジェクトが、ユーザの現在の視界（例えば、ノード体験モジュール４６について上述されたように）によって捕捉されたが、１つ以上のオブジェクトによって不明瞭であるエリア内にいつ存在するかを判定し、ユーザに仮想「Ｘ線視覚」を提供し得る。仮想Ｘ線視覚は、１つ以上の他の基準が確立されている場合（例えば、視覚強調モジュール５０が、隠されたオブジェクトがＡＲモバイルデバイス１２の閾値距離内にあると判定した場合）にのみ提供され得、または任意の他の基準を問わず提供され得る。
【0066】
このような実施形態の１つでは、ＡＲデータベース７２は、ノード入力のうちの少なくともいくつかの各々について、ノードが任意のユーザのビューから隠されている可能性があることを示すフラグまたは他の可視性インジケータを含む。この可視性インジケータは、オブジェクトの既知の関係に基づいて自動的に生成されていてよく（例えば、３Ｄモデル生成ユニット６４が、ノードに対応するオブジェクトがキャビネット内に位置決めされていることを知るために制御システムにアクセスする場合）、ユーザによって手動で設定され得る（例えば、ノードの追加するとき、ノード作成モジュール４８がユーザの現実世界のビューに重ね合わせるユーザインターフェースを介して）。特定のマッピングされたオブジェクトがユーザの視界内にある場合、視覚強調モジュール５０は、ネットワーク１６及びウェブサービスインターフェース６０を介して、バックエンドサーバ１４の視覚強調ユニット６６に照会し得、視覚強調ユニット６６は、次に、ＡＲデータベース７２にアクセスして、関連する可視性インジケータを検索し得る。次いで、視覚強調ユニット６６は、ウェブサービスインターフェース６０を使用して、可視性インジケータ、またはそのオブジェクトが不明瞭であるかどうかを示す他のデータを視覚強調モジュール５０に送信し得る。
【0067】
代替的に、視覚強調モジュール５０及び／または視覚強調ユニット６６は、他の方法で可視性判定を行ってよい。例えば、特定のマッピングされたオブジェクトまたはオブジェクトのセットは、モデル番号、ＱＲコード、または他の視覚的インジケータでマークされたキャビネット内にあり得る。視覚強調モジュール５０は、カメラ２４によって捕捉された視覚的インジケータの画像を処理して、キャビネットの識別子（例えば、ノード識別子）を判定し、その識別子をウェブサービスインターフェース６０を介して視覚強調ユニット６６に送信し得る。次いで、視覚強調ユニット６６は、識別子を使用して、どのマッピングされたオブジェクト（例えば、フィールドデバイス、Ｉ／Ｏカードなど）がキャビネ
ット内にあるかを判定し、キャビネット内のオブジェクトが不明瞭であることを示すデータを送り返してよい。
ット内にあるかを判定し、キャビネット内のオブジェクトが不明瞭であることを示すデータを送り返してよい。
【0068】
所与のオブジェクトに対する仮想Ｘ線視覚の効果を提供するために、視覚強調モジュール５０は、オブジェクトの超現実的または擬似現実的な２Ｄまたは３Ｄモデル、あるいはオブジェクトのデジタル画像またはビデオを検索し、そのモデル、画像、またはビデオをユーザの視界でオブジェクトの上（またはオブジェクトの近く）に重ね合わせ得る。デフォルトによるか、または２Ｄもしくは３Ｄモデルまたは音声コマンドなどのユーザ選択に応答することによる、いずれかで、ノード体験モジュール４６はまた、上述されたように、視覚的メニューオプションまたは音声コマンド認識を提供して、ユーザにノードに対する様々な体験を選択することを可能にし得る。したがって、ユーザは、現実世界のオブジェクトが自身の視界に直接ある間に、現実世界のオブジェクトと対話するのと非常によく似ているように現れ、かつ「感じる」ような方法で、隠れたオブジェクトと対話し得る。
【0069】
視覚強調モジュール５０はまた、または代わりに、他の方法でユーザの仮想視覚を強調し得る。例えば、オブジェクトが制限付きアクセスの及び／もしくは危険なエリア（例えば、非常に高い位置、バリケードされた位置、高電圧または有毒エリアなど）にある場合、ならびに／またはユーザから遠く離れている場合、視覚強調モジュール５０は、ユーザに、オブジェクトを自身の視界に表現する「アバター」を検索することを可能にし得る。アバターは、Ｘ線視覚の例について上述された２Ｄまたは３Ｄモデル、画像、ビデオなどと同じであってよく、またはいくつかの点で異なってよい。実際に、いくつかの実施形態では、仮想Ｘ線視覚は、現実世界のオブジェクトのアバターを呼び出すための複数のユースケースのうちの１つに過ぎない。
【0070】
アバターは、実施形態及び／またはシナリオに応じて、異なる方法で呼び出され得る。いくつかの実施形態では、視覚強調モジュール５０は、まず、視覚インジケータがユーザの現実世界のビューに対して対応するオブジェクトの位置のいくつかの指標を与える、特定の基準が満たされる場合、視覚的インジケータをユーザの現実の視界に重ね合わせる。例えば、（１）ＡＲモバイルデバイス１２がオブジェクトのいくつかの閾値距離内にある場合、及び（２）ノードが制限付きアクセスのオブジェクトとしてフラグが立てられている場合、視覚的インジケータを提示し得る。ＡＲデータベース７２は、例えば、（例えば、ノードがユーザによって追加されたときの、手動のユーザ入力に基づいて）そのような状態を示すデータを記憶し得、または状態は推論され得る（例えば、視覚強調ユニット６６が、オブジェクトがバックエンドサーバ１４が「危険」領域としてフラグを立てた領域にあることを判定した場合、または視覚強調モジュール５０もしくは視覚強調ユニット６６が、オブジェクトの位置が少なくともｚ方向のＡＲモバイルデバイス１２からの閾値距離であり、したがって非常に異なる仰角であることを判定した場合など）。視覚的インジケータは、オブジェクトの方向を指す矢印、オブジェクトに通じる線、またはいくつかの他の位置の指標を含み得る。視覚的インジケータの一例が、図７Ａに関連して以下に説明される。ユーザがインジケータを選択するか、または別の適切なアクションをとる場合（例えば、いくつかの実施形態では、ユーザが自身の視界を変えてオブジェクトを含める場合）、視覚強調モジュール５０は、アバターをユーザの現実のビューに重ね合わせてよい。
【0071】
他の実施形態では、オブジェクトの位置のインジケータは、アバター自体（例えば、アバターの上または近くにあるオブジェクト位置への矢印／ポインタを有する）を含む。更に他の実施形態及び／またはシナリオでは、視覚強調モジュール５０は、オブジェクトの位置の視覚的インジケータを提示することなく、ユーザの視界にアバターを重ね合わせる。例えば、視覚強調モジュール５０は、ユーザが対応するオブジェクトを要求することもしくは検索することに応答して（例えば、音声コマンドを発するか、もしくは手動でデー
タを入力することによって）、またはユーザが比較的遠く（例えば、いくつかの閾値距離を超えて離れている）のオブジェクトについてノードマーカーを選択したことなどに応答して、アバターをユーザに提示してよい。そのような実施形態の１つでは、アバターは、即座にフルサイズで現れない。例えば、視覚強調モジュール５０は、アバターがオブジェクト位置から（例えば、ユーザの前方から離れて）ユーザのちょうど前の位置に移動するかのように、アバターがユーザに現れる視覚的効果を作成し得る。アバターは、例えば、ユーザにより近い描画効果をシミュレートするためにサイズが拡大されてよい。
タを入力することによって）、またはユーザが比較的遠く（例えば、いくつかの閾値距離を超えて離れている）のオブジェクトについてノードマーカーを選択したことなどに応答して、アバターをユーザに提示してよい。そのような実施形態の１つでは、アバターは、即座にフルサイズで現れない。例えば、視覚強調モジュール５０は、アバターがオブジェクト位置から（例えば、ユーザの前方から離れて）ユーザのちょうど前の位置に移動するかのように、アバターがユーザに現れる視覚的効果を作成し得る。アバターは、例えば、ユーザにより近い描画効果をシミュレートするためにサイズが拡大されてよい。
【0072】
ノード体験モジュール４６は、ユーザに対するオブジェクトに特定のノード体験を自動的に提供し得（オブジェクトのアバターを示すことに加えて）、かつ／またはユーザに、アバターが最初に提示された後に１つ以上のノード体験を選択する（例えば、音声コマンドを発すること、またはメニューオプションを選択することによって）ことを可能にし得る。例えば、上述されたノード体験のうちのいずれか１つ以上が提供され得る。アバターに関連付けられ得る体験の一例が、図７Ｂに関連して以下に説明される。
【0073】
いくつかの実施形態では、ＡＲアプリケーション３２は、ＡＲモバイルデバイス１２を構成して、ユーザの現在位置に基づいて、かつ／または特定のエリア（例えば、プロセスプラントの特定の領域が警告に関連付けられている）における現在の状況に基づいてアラートを生成する。アラート生成ユニット６８は、例えば、位置決め及び配向モジュール４４によって報告された（例えば、ウェブサービスインターフェース６０を介して）位置を１つ以上の地理的に隔離されたエリアの境界と比較することによって、ＡＲモバイルデバイス１２の現在の位置がアラートまたは警告を受けるエリアにあるかどうかを定期的にまたは継続的に判定し得る。ユーザ／デバイスがアラートに関連付けられているエリアにある場合、アラート生成ユニット６８は、ウェブサービスインターフェース６０を介してアラートのインジケータを位置ベースアラートモジュール５２に送信し得、位置ベースアラートモジュール５２は、ユーザの現実世界のビュー上のアラート（例えば、テキスト及び／またはグラフィック）の指標を重ね合わせ、いくつかの他の視覚的効果（例えば、現実世界のビュー全体を包含する点滅する赤い光または色合い）を引き起こし、かつ／またはユーザに音声アラートを提供し（図１には示されていないが、ＡＲモバイルデバイス１２のスピーカを介して）得る。代替的にまたは追加的に、アラート生成ユニット６８は、ＡＲモバイルデバイス１２の近接に基づくアラートインジケータを特定のマッピングされたオブジェクトに送信し得る（例えば、オブジェクトが誤動作しており、保守が必要な場合、または避けるべき場合など）。アラート生成ユニット６８はまた、ユーザの選択されるかまたは割り当てられた役割に関するアラートの配信を条件付け得る。
【0074】
いくつかの実施形態では、バックエンドサーバ１４は、マッピングされた環境内のＡＲモバイルデバイス（したがって、ユーザ）の３Ｄ位置を監視し得る。この目的のために、ユーザ監視ユニット７０は、ウェブサービスインターフェース６０を介して位置決め及び配向モジュール４４から受信したデータに基づいて、自身のＡＲモバイルデバイスをランドマークに登録したユーザの現在及び／または過去の位置を記録し得る。
【0075】
ユーザ位置監視は、実施形態及び／または必要性に応じて、様々な目的のために使用され得る。例えば、ユーザ監視ユニット７０は、バックエンドサーバ１４に結合された（かつ図１には示されていない）ディスプレイまたは端末上のユーザの位置を描画し得、ディスプレイまたは端末のオペレータは、緊急の事象にある従業員の位置を説明し、より一般的な条件で単にユーザを監視して、従業員が医療援助を必要としているかどうかを判定し得る。従業員の健康状態はまた、ＡＲモバイルデバイス１２の１つ以上のセンサによって収集されたバイオメトリックデータなどの他のデータを使用して監視され得る（例えば、脈拍、血圧、温度などを検出するために）。更なる例として、従業員／ユーザ位置が従業員のトレーニングログに追加され、管理者または人事担当者によってプロトコルの遵守状
況などを監視するために使用され得る。更に他の実施形態及び／またはシナリオでは、マッピングされた環境内で特定の非人為的モバイルアセットの３Ｄ位置が追跡され得る。例えば、バックエンドサーバ１４のユニットは、様々な目的のために、モバイルリアクタ、カート、フィールドサービストラック、及び／または他のオブジェクトの３Ｄ位置を監視し得る。
況などを監視するために使用され得る。更に他の実施形態及び／またはシナリオでは、マッピングされた環境内で特定の非人為的モバイルアセットの３Ｄ位置が追跡され得る。例えば、バックエンドサーバ１４のユニットは、様々な目的のために、モバイルリアクタ、カート、フィールドサービストラック、及び／または他のオブジェクトの３Ｄ位置を監視し得る。
【0076】
図１及び上の説明は、いくつかの潜在的な実施形態のみを表現しており、他のものも可能であることが理解される。例えば、ＡＲプラットフォームは、クラウドベースのアーキテクチャまたはウェブベースのサービスを使用しないことがある。別の例として、バックエンドサーバ１４のユニット６２ないし６８及び／またはＡＲデータベース７２自体の一部または全部の機能性は、部分的または全体的にＡＲモバイルデバイス１２に組み込まれ得る。更に別の例として、ノードマーカー及び／またはノード体験は、非ＡＲコンテキスト、例えば仮想現実（ＶＲ）コンテキストにおいて、または非ＡＲ、非ＶＲグラフィカルユーザインターフェース（ＧＵＩ）に関連して提供され得る。
【0077】
更に、ＡＲプラットフォームは、上述されていない更に他の特徴を提供し得る。例えば、ＡＲモバイルデバイスのユーザは、ＡＲデータベース７２内の様々なノード／オブジェクトに関連付けられて記憶されたフィールドノートを（例えば、音声コマンドを使用して）追加し得、かつ／または様々なノード／オブジェクトなどに関連付けられている新しいワークオーダを開始し得る。
【0078】
例示的なプロセス制御環境
図２は、図１のＡＲシステム１０が利用され得る例示的なプロセス制御環境１００のブロック図である。プロセス制御環境１００（本明細書においては、同義でプロセス制御システム１００またはプロセスプラント１００とも称される）は、プラント１００内のプロセスの動作を制御するために、フィールドデバイスにより行われたプロセス測定値を示す信号を受信し、この情報を処理して制御ルーチンを実装し、有線及び／または無線プロセス制御通信リンクまたはネットワークにより他のフィールドデバイスへと送信される制御信号を生成する、１つ以上のプロセスコントローラを含む。典型的には、少なくとも１つのフィールドデバイスは、物理的機能（例えば、バルブの開閉、コンベアによる物質の移動、温度の上昇または減少、測定値の取得、状態の感知など）を実施して、プロセスの動作を制御する。ある種類のフィールドデバイスは、Ｉ／Ｏデバイスを使用してコントローラと通信する。プロセスコントローラ、フィールドデバイス、及びＩ／Ｏデバイスは、有線または無線であってよく、任意の数及び組み合わせの有線及び無線プロセスコントローラ、フィールドデバイス、及びＩ／Ｏデバイスが、プロセスプラント環境またはシステム１００内に含まれてよい。
図２は、図１のＡＲシステム１０が利用され得る例示的なプロセス制御環境１００のブロック図である。プロセス制御環境１００（本明細書においては、同義でプロセス制御システム１００またはプロセスプラント１００とも称される）は、プラント１００内のプロセスの動作を制御するために、フィールドデバイスにより行われたプロセス測定値を示す信号を受信し、この情報を処理して制御ルーチンを実装し、有線及び／または無線プロセス制御通信リンクまたはネットワークにより他のフィールドデバイスへと送信される制御信号を生成する、１つ以上のプロセスコントローラを含む。典型的には、少なくとも１つのフィールドデバイスは、物理的機能（例えば、バルブの開閉、コンベアによる物質の移動、温度の上昇または減少、測定値の取得、状態の感知など）を実施して、プロセスの動作を制御する。ある種類のフィールドデバイスは、Ｉ／Ｏデバイスを使用してコントローラと通信する。プロセスコントローラ、フィールドデバイス、及びＩ／Ｏデバイスは、有線または無線であってよく、任意の数及び組み合わせの有線及び無線プロセスコントローラ、フィールドデバイス、及びＩ／Ｏデバイスが、プロセスプラント環境またはシステム１００内に含まれてよい。
【0079】
例えば、図２は、入力／出力（Ｉ／Ｏ）カード１２６及び１２８を介して、有線フィールドデバイス１１５～１２２と通信可能に接続されたプロセスコントローラ１１１を図示する。プロセスコントローラ１１１は、プロセッサ１３０、メモリ１３２、及び以下に更に詳細に論じられる１つ以上のプロセス制御ルーチン１３８を含む。コントローラ１１１はまた、プロセス制御通信ネットワークまたはバックボーン１１０、及び無線ゲートウェイ１３５を介して、無線フィールドデバイス１４０～１４６と通信可能に接続される。バックボーン１１０は、１つ以上の有線及び／または無線通信リンクを含んでよく、例えばイーサネットプロトコルなどの任意の好適な通信プロトコルを使用して実装されてよい。いくつかの構成（図２に示されていない）では、コントローラ１１１は、例えば、ＩＥＥＥ８０２．１１規格無線ローカルエリアネットワークプロトコル、モバイル通信プロトコル（例えば、ＷｉＭＡＸ、ＬＴＥなど）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＡＲＴ（登録商標）、ＷｉｒｅｌｅｓｓＨＡＲＴ（登録商標）、プロフィバス、ＦＯＵＮＤＡＴＩＯＮ（登録商標）フィールドバスなどの１つ以上の通信プロトコルをサポートする、任意
の数の他の有線または無線通信リンクを使用するなどの、バックボーン１１０以外の１つ以上の通信ネットワークを使用して、無線ゲートウェイ１３５と通信可能に接続されてよい。
の数の他の有線または無線通信リンクを使用するなどの、バックボーン１１０以外の１つ以上の通信ネットワークを使用して、無線ゲートウェイ１３５と通信可能に接続されてよい。
【0080】
コントローラ１１１（例としては、Ｅｍｅｒｓｏｎ Ｐｒｏｃｅｓｓ Ｍａｎａｇｅｍｅｎｔから販売されているＤｅｌｔａＶ（商標）コントローラであってよい）は、フィールドデバイス１１５～１２２及び１４０～１４６のうちの少なくともいくつかを使用して、バッチプロセスまたは連続プロセスを実装するように動作してよい。一実施形態では、バックボーン１１０と通信可能に接続されることに加えて、コントローラ１１１はまた、例えば、標準４～２０ｍＡデバイス、Ｉ／Ｏカード１２６、１２８、及び／またはＦＯＵＮＤＡＴＩＯＮ（登録商標）フィールドバスプロトコル、ＨＡＲＴ（登録商標）プロトコル、ＷｉｒｅｌｅｓｓＨＡＲＴ（登録商標）プロトコルなどの任意の好適なスマート通信プロトコルと関連付けられている、任意の所望のハードウェア及びソフトウェアを使用して、フィールドデバイス１１５～１２２及び１４０～１４６のうちの少なくともいくつかと通信可能に接続される。図２では、コントローラ１１１、フィールドデバイス１１５～１２２、及びＩ／Ｏカード１２６、１２８は、有線デバイスであり、フィールドデバイス１４０～１４６は、無線フィールドデバイスである。当然のことながら、有線フィールドデバイス１１５～１２２及び無線フィールドデバイス１４０～１４６は、将来開発される任意の好適な標準またはプロトコルを含む、任意の好適な有線または無線プロトコルなどの任意の他の所望の標準（複数可）またはプロトコルに準拠することができる。
【0081】
プロセスコントローラ１１１のプロセッサ１３０は、メモリ１３２内に記憶することができる１つ以上のプロセス制御ルーチンまたはモジュール１３８を実装または監督する。この目的のために、プロセッサ１３０は、フィールドデバイス１１５～１２２及び１４０～１４６と、ならびにコントローラ１１１と通信可能に接続された他のノードと、通信するように構成される。本明細書に記載される任意の制御ルーチンまたはモジュールは、そのように所望される場合は、その一部を異なるコントローラまたは他のデバイスによって実装または実行させてよいことに留意されたい。同様に、プロセス制御システム１００内に実装される制御モジュール１３８は、ソフトウェア、ファームウェア、ハードウェアなどを含む任意の形態であってよい。制御ルーチンは、オブジェクト指向プログラミング、ラダーロジック、シーケンシャルファンクションチャート、機能ブロック図の使用、または任意の他のソフトウェアプログラミング言語または設計パラダイムの使用などの任意の所望のソフトウェアフォーマットで実装されてよい。制御モジュール１３８のうちのいくつかまたは全てが記憶され得るメモリ１３２は、ランダムアクセスメモリ（ＲＡＭ）及び／またはリードオンリーメモリ（ＲＯＭ）などの任意の好適な種類のメモリまたはメモリ（複数）であってよい。更に、制御モジュール１３８は、例えば、１つ以上のＥＰＲＯＭ、ＥＥＰＲＯＭ、特定用途向け集積回路（ＡＳＩＣ）、または任意の他のハードウェアまたはファームウェア要素にハードコーディングされてよい。したがって、コントローラ１１１は、制御ストラテジまたは制御ルーチン／モジュールを実装するために、任意の所望の方法で構成されてよい。
【0082】
コントローラ１１１は、一般に機能ブロックと称されるものを使用して制御ストラテジを実装し、各機能ブロックは、全体の制御ルーチンのオブジェクトまたは他の部分（例えば、サブルーチン）であり、他の機能ブロックとともに（リンクと呼ばれる通信を介して）動作して、プロセス制御システム１００内にプロセス制御ループを実装する。制御系機能ブロックは、典型的に、トランスミッタ、センサ、または他のプロセスパラメータ測定デバイスと関連したものなどの入力機能、ＰＩＤ、ファジィ論理などの制御を実施する制御ルーチンと関連したものなどの制御機能、またはバルブもしくはコンベアモータなどのいくつかのデバイスの動作を制御する出力機能のうちの１つを実施し、プロセス制御システム１００内のいくつかの物理的機能を実施する。当然のことながら、ハイブリッド及び
他の種類の機能ブロックが存在する。機能ブロックは、典型的に、これらの機能ブロックが、標準４～２０ｍＡデバイス及びある種類のスマートフィールドデバイス（例えば、ＨＡＲＴ（登録商標）デバイス）に使用されるか、もしくは関連する場合、コントローラ１１１に記憶され、これにより実行されてよく、またはＦＯＵＮＤＡＴＩＯＮ（登録商標）フィールドバスデバイスの場合であり得るようにフィールドデバイス自体に記憶され、これにより実装されてよい。コントローラ１１１内の１つ以上の制御モジュール１３８は、機能ブロックのうちの１つ以上を実行することにより実施される１つ以上の制御ループを実装してよい。
他の種類の機能ブロックが存在する。機能ブロックは、典型的に、これらの機能ブロックが、標準４～２０ｍＡデバイス及びある種類のスマートフィールドデバイス（例えば、ＨＡＲＴ（登録商標）デバイス）に使用されるか、もしくは関連する場合、コントローラ１１１に記憶され、これにより実行されてよく、またはＦＯＵＮＤＡＴＩＯＮ（登録商標）フィールドバスデバイスの場合であり得るようにフィールドデバイス自体に記憶され、これにより実装されてよい。コントローラ１１１内の１つ以上の制御モジュール１３８は、機能ブロックのうちの１つ以上を実行することにより実施される１つ以上の制御ループを実装してよい。
【0083】
有線フィールドデバイス１１５～１２２は、センサ、バルブ、コンベアモータ、トランスミッタ、ポジショナなどの任意の種類または種類（複数）のデバイスであってよく、一方、Ｉ／Ｏカード１２６及び１２８は、好適な通信またはコントローラプロトコルに準拠する、任意の種類のＩ／Ｏデバイスであってよい。例えば、フィールドデバイス１１５～１１８は、アナログ回線（またはアナログ及びデジタル回線を組み合わせて）によってＩ／Ｏカード１２６と通信する、標準４～２０ｍＡデバイスまたはＨＡＲＴ（登録商標）デバイスであってよく、一方、フィールドデバイス１１９～１２２は、ＦＯＵＮＤＡＴＩＯＮ（登録商標）フィールドバス通信プロトコルを使用して、デジタルバスによってＩ／Ｏカード１２８と通信する、ＦＯＵＮＤＡＴＩＯＮ（登録商標）フィールドバスフィールドデバイスなどのスマートデバイスであってよい。だが、いくつかの実施形態においては、有線フィールドデバイス１１５～１２２のうちの少なくともいくつか、及び／またはＩ／Ｏカード１２６、１２８のうちの少なくとも１つは、バックボーン１１０及び好適な制御システムプロトコル（例えば、プロフィバス、ＤｅｖｉｃｅＮｅｔ、Ｆｏｕｎｄａｔｉｏｎフィールドバス、ＣｏｎｔｒｏｌＮｅｔ、Ｍｏｄｂｕｓ、ＨＡＲＴなど）を使用して、追加的にまたは代替的にコントローラ１１１と通信する。
【0084】
図２では、無線フィールドデバイス１４０～１４６は、ＷｉｒｅｌｅｓｓＨＡＲＴ（登録商標）プロトコルなどの無線プロトコルを使用して、無線プロセス制御通信ネットワーク１７０を介して通信する。このような無線フィールドデバイス１４０～１４６は、やはり無線で通信するように構成された無線ネットワーク１７０のうちの１つ以上の他のデバイスまたはノードと直接通信してよい。無線で通信するように構成されていない他のノードと通信するためには、無線フィールドデバイス１４０～１４６は、バックボーン１１０または別のプロセス制御通信ネットワークへと接続された無線ゲートウェイ１３５を利用してよい。無線ゲートウェイ１３５は、バックボーン１１０から無線通信ネットワーク１７０のうちの種々の無線デバイス１４０～１５８へのアクセスを提供する。具体的には、無線ゲートウェイ１３５は、無線デバイス１４０～１５８、有線デバイス１１５～１２２、及び／またはプロセス制御プラント１００の他のノードもしくはデバイスの間における通信連結を提供する。
【0085】
有線フィールドデバイス１１５～１２２と同様に、無線ネットワーク１７０の無線フィールドデバイス１４０～１４６は、プロセスプラント１００内で、物理的制御機能、例えば、バルブの開閉、プロセスパラメータの測定値の取得などを実施する。しかしながら、無線フィールドデバイス１４０～１４６は、ネットワーク１７０の無線プロトコルを使用して通信するように構成されている。そのようなものであるから、無線フィールドデバイス１４０～１４６、無線ゲートウェイ１３５、及び無線ネットワーク１７０の他の無線ノード１５２～１５８は、無線通信パケットの生産者及び消費者であり得る。
【0086】
プロセスプラント１００のいくつかの構成では、無線ネットワーク１７０は、非無線デバイスを含む。例えば、図２では、フィールドデバイス１４８は、古い４～２０ｍＡデバイスであり得、フィールドデバイス１５０は、有線ＨＡＲＴ（登録商標）デバイスであり得る。ネットワーク１７０内で通信するために、フィールドデバイス１４８及び１５０は
、無線アダプタ１５２Ａ、１５２Ｂのうちのそれぞれ１つを介して、無線通信ネットワーク１７０と接続される。無線アダプタ１５２Ａ、１５２Ｂは、ＷｉｒｅｌｅｓｓＨＡＲＴなどの無線プロトコルをサポートし、かつＦｏｕｎｄａｔｉｏｎ（登録商標）フィールドバス、プロフィバス、ＤｅｖｉｃｅＮｅｔなどの１つ以上の他の通信プロトコルもサポートし得る。更に、いくつかの構成では、無線ネットワーク１７０は、無線ゲートウェイ１３５と有線通信する独立した物理デバイスであり得るか、または無線ゲートウェイ１３５内に一体化され得る、１つ以上のネットワークアクセスポイント１５５Ａ、１５５Ｂを含む。無線ネットワーク１７０はまた、無線通信ネットワーク１７０内の無線デバイス間からパケットを転送する１つ以上のルータ１５８をも含み得る。無線デバイス１４０～１４６及び１５２～１５８は、無線通信ネットワーク１７０の無線リンク１６０により、及び／またはバックボーン１１０を介して、互いに、及び無線ゲートウェイ１３５と通信し得る。
、無線アダプタ１５２Ａ、１５２Ｂのうちのそれぞれ１つを介して、無線通信ネットワーク１７０と接続される。無線アダプタ１５２Ａ、１５２Ｂは、ＷｉｒｅｌｅｓｓＨＡＲＴなどの無線プロトコルをサポートし、かつＦｏｕｎｄａｔｉｏｎ（登録商標）フィールドバス、プロフィバス、ＤｅｖｉｃｅＮｅｔなどの１つ以上の他の通信プロトコルもサポートし得る。更に、いくつかの構成では、無線ネットワーク１７０は、無線ゲートウェイ１３５と有線通信する独立した物理デバイスであり得るか、または無線ゲートウェイ１３５内に一体化され得る、１つ以上のネットワークアクセスポイント１５５Ａ、１５５Ｂを含む。無線ネットワーク１７０はまた、無線通信ネットワーク１７０内の無線デバイス間からパケットを転送する１つ以上のルータ１５８をも含み得る。無線デバイス１４０～１４６及び１５２～１５８は、無線通信ネットワーク１７０の無線リンク１６０により、及び／またはバックボーン１１０を介して、互いに、及び無線ゲートウェイ１３５と通信し得る。
【0087】
図２では、プロセス制御システム１００は、バックボーン１１０と通信可能に接続された１つ以上のオペレータワークステーション１７１を含む。オペレータワークステーション（複数可）１７１を介して、ヒューマンオペレータは、プロセスプラント１００のランタイム動作の監視に加えて、必要であり得る任意の診断、調整、保守、及び／または他のアクションを取ることができる。オペレータワークステーション１７１のうちの少なくともいくつかは、例えば、プラント１００のバックエンド環境など、プラント１００の中または近くの、種々の保護されたエリアに位置されてよく、場合によっては、オペレータワークステーション１７１のうちの少なくともいくつかは、遠隔地に位置されてよい（しかし、それにもかかわらずプラント１００と通信接続する）。オペレータワークステーション（複数可）１７１は、有線または無線コンピューティングデバイスであってよい。
【0088】
例示的なプロセス制御システム１００は、１つ以上の構成アプリケーション１７２Ａ及び１つ以上の構成データベース１７２Ｂを含み、これらの各々が、やはりバックボーン１１０と通信可能に接続されるものとして、図２に更に図示される。構成アプリケーション（複数可）１７２Ａの種々のインスタンスは、ユーザによるプロセス制御モジュールの作成または変更、及びこれらのモジュールを、バックボーン１１０を介して、プロセスコントローラ１１１及び／または他のプロセスコントローラへのダウンロードを可能にするため、ならびにオペレータがプロセス制御ルーチン内でデータを表示し、データ設定を変更できることを介して、ユーザによるオペレータインターフェースの作成または変更を可能にするために、１つ以上のコンピューティングデバイス（図２に図示せず）を実行してよい。構成データベース（複数可）１７２Ｂは、構成されたモジュール及び／またはオペレータインターフェースを記憶する。一般に、構成アプリケーション（複数可）１７２Ａ及び構成データベース（複数可）１７２Ｂは、集中化され、プロセス制御システム１００に対して単一の論理的外観を有してよく（構成アプリケーション１７２Ａのうちの複数のインスタンスが、プロセス制御システム１００内で同時に実行され得るにも関わらず）、構成データベース（複数可）１７２Ｂは、単一の物理的データ記憶デバイス内か、または複数のデータ記憶デバイスにまたがって記憶されてよい。構成アプリケーション（複数可）１７２Ａ、構成データベース（複数可）１７２Ｂ、及びこれらに対するユーザインターフェース（図２に図示せず）は、制御及び／またはディスプレイモジュールを作成／構成するための構成または開発システム１７２を一括して形成する。典型的には、必ずしもそうではないが、構成システム１７２のユーザインターフェースは、オペレータワークステーション１７１とは異なり、プラント１００がリアルタイムで動作しているかに関係なく、構成及び開発エンジニアにより代わりに利用される構成システム１７２のユーザインターフェースと、プロセスプラント１００のリアルタイム（または「ランタイム」）動作中にオペレータにより利用されるオペレータワークステーション１７１とを備える。
【0089】
例示的なプロセス制御システム１００はまた、１つ以上のデータヒストリアンアプリケ
ーション（複数可）１７３Ａ及び１つ以上のデータヒストリアンデータベース（複数可）１７３Ｂをも含み、これらの各々はバックボーン１１０と通信可能に接続される。データヒストリアンアプリケーション（複数可）１７３Ａは、バックボーン１１０を通じて提供されたデータのうちのいくつかまたは全てを収集し、そのデータを長期間記憶のためのデータヒストリアンデータベース（複数可）１７３Ｂに記憶するように動作する。構成アプリケーション（複数可）１７２Ａ及び構成データベース（複数可）１７２Ｂと同様に、データヒストリアンアプリケーション（複数可）１７３Ａ及びデータヒストリアンデータベース（複数可）１７３Ｂは、集中化され、プロセス制御システム１００に対して単一の論理的外観を有してよく（データヒストリアンアプリケーション１７３Ａのうちの複数のインスタンスが、プロセス制御システム１００内で同時に実行され得るにも関わらず）、データヒストリアンデータベース（複数可）１７３Ｂは、単一の物理的データ記憶デバイス内か、または複数のデータ記憶デバイスにまたがって記憶されてよい。データヒストリアンアプリケーション１７３Ａ、データヒストリアンデータベース（複数可）１７３Ｂ、及びそれらのユーザインターフェース（図２に図示せず）は、まとめてデータヒストリアンシステム１７３を形成する。
ーション（複数可）１７３Ａ及び１つ以上のデータヒストリアンデータベース（複数可）１７３Ｂをも含み、これらの各々はバックボーン１１０と通信可能に接続される。データヒストリアンアプリケーション（複数可）１７３Ａは、バックボーン１１０を通じて提供されたデータのうちのいくつかまたは全てを収集し、そのデータを長期間記憶のためのデータヒストリアンデータベース（複数可）１７３Ｂに記憶するように動作する。構成アプリケーション（複数可）１７２Ａ及び構成データベース（複数可）１７２Ｂと同様に、データヒストリアンアプリケーション（複数可）１７３Ａ及びデータヒストリアンデータベース（複数可）１７３Ｂは、集中化され、プロセス制御システム１００に対して単一の論理的外観を有してよく（データヒストリアンアプリケーション１７３Ａのうちの複数のインスタンスが、プロセス制御システム１００内で同時に実行され得るにも関わらず）、データヒストリアンデータベース（複数可）１７３Ｂは、単一の物理的データ記憶デバイス内か、または複数のデータ記憶デバイスにまたがって記憶されてよい。データヒストリアンアプリケーション１７３Ａ、データヒストリアンデータベース（複数可）１７３Ｂ、及びそれらのユーザインターフェース（図２に図示せず）は、まとめてデータヒストリアンシステム１７３を形成する。
【0090】
いくつかの構成では、プロセス制御システム１００は、ＩＥＥＥ８０２．１１規格無線ローカルエリアネットワークプロトコルなどの他の無線プロトコル、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、もしくは他のＩＴＵ－Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ
Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）互換プロトコルなどのモバイル通信プロトコル、近距離無線通信（ＮＦＣ）もしくはＢｌｕｅｔｏｏｔｈなどの短波長無線通信、及び／または他の無線通信プロトコルを使用して、他のデバイスと通信する、１つ以上の他の無線アクセスポイント１７４を含む。典型的には、このような無線アクセスポイント（複数可）１７４は、手持ち式または他のポータブルコンピューティングデバイス（例えば、ユーザインターフェースデバイス１７５）を、無線ネットワーク１７０とは異なり、無線ネットワーク１７０以外の異なる無線プロトコルをサポートする、それぞれの無線プロセス制御通信ネットワークによって通信できるようにする。例えば、無線またはポータブルユーザインターフェースデバイス１７５は、プロセスプラント１００内のオペレータ（例えば、オペレータワークステーション１７１のうちの１つのインスタンス）により利用される、モバイルワークステーションまたは診断試験機器であってよい。いくつかのシナリオでは、ポータブルコンピューティングデバイスに加えて、１つ以上のプロセス制御デバイス（例えば、コントローラ１１１、フィールドデバイス１１５～１２２、無線デバイス１３５、１４０～１５８など）も、無線アクセスポイント（複数可）１７４によりサポートされる無線プロトコルを使用して通信する。
Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）互換プロトコルなどのモバイル通信プロトコル、近距離無線通信（ＮＦＣ）もしくはＢｌｕｅｔｏｏｔｈなどの短波長無線通信、及び／または他の無線通信プロトコルを使用して、他のデバイスと通信する、１つ以上の他の無線アクセスポイント１７４を含む。典型的には、このような無線アクセスポイント（複数可）１７４は、手持ち式または他のポータブルコンピューティングデバイス（例えば、ユーザインターフェースデバイス１７５）を、無線ネットワーク１７０とは異なり、無線ネットワーク１７０以外の異なる無線プロトコルをサポートする、それぞれの無線プロセス制御通信ネットワークによって通信できるようにする。例えば、無線またはポータブルユーザインターフェースデバイス１７５は、プロセスプラント１００内のオペレータ（例えば、オペレータワークステーション１７１のうちの１つのインスタンス）により利用される、モバイルワークステーションまたは診断試験機器であってよい。いくつかのシナリオでは、ポータブルコンピューティングデバイスに加えて、１つ以上のプロセス制御デバイス（例えば、コントローラ１１１、フィールドデバイス１１５～１２２、無線デバイス１３５、１４０～１５８など）も、無線アクセスポイント（複数可）１７４によりサポートされる無線プロトコルを使用して通信する。
【0091】
図２は、例示的なプロセスプラント１００に含まれる、単一のプロセスコントローラ１１１、特定の数のフィールドデバイス１１５～１２２及び１４０～１４６、無線ゲートウェイ３５、無線アダプタ１５２、アクセスポイント１５５、ルータ１１５８、ならびに無線プロセス制御通信ネットワーク１７０のみを図示しているが、これは、例示的かつ非限定的な実施形態に過ぎない点に留意する。例えば、任意の数のコントローラ１１１が、プロセス制御プラントまたはシステム１００内に含まれてよく、コントローラ１１１のいずれかが、任意の数の有線または無線デバイス及びネットワーク１１５～１２２、１４０～１４６、１３５、１５２、１５５、１５８、及び１７０と通信して、プラント１００内のプロセスを制御してよい。
【0092】
ここで図１に戻ると、ＡＲモバイルデバイス（例えば、ＡＲモバイルデバイス１２）を使用してマッピングされるオブジェクトは、コントローラ１１１、デバイス１１５～１２２及び１４０～１５８、Ｉ／Ｏカード１２６、１２８、無線ゲートウェイ１３５、ならび
に／またはプラント１００内の他のデバイス及び／もしくは機器の一部分のいくつかまたは全てを含み、その結果、プラント１００内の３Ｄ位置（及び場合によっては、それらの互いの関係、それらのアバターなど）がＡＲデータベース７２に記憶される。いくつかの実施形態では、バックエンドサーバ１４は、バックボーン１１０に通信可能に結合され、他のサーバ（複数可）１８は、オペレータワークステーション（複数可）１７１、構成システム１７２、データヒストリアンシステム１７３、及び／またはプロセス制御環境１００の他のコンピューティングデバイスまたはシステムを含む、またはそれらに結合されてよい。
に／またはプラント１００内の他のデバイス及び／もしくは機器の一部分のいくつかまたは全てを含み、その結果、プラント１００内の３Ｄ位置（及び場合によっては、それらの互いの関係、それらのアバターなど）がＡＲデータベース７２に記憶される。いくつかの実施形態では、バックエンドサーバ１４は、バックボーン１１０に通信可能に結合され、他のサーバ（複数可）１８は、オペレータワークステーション（複数可）１７１、構成システム１７２、データヒストリアンシステム１７３、及び／またはプロセス制御環境１００の他のコンピューティングデバイスまたはシステムを含む、またはそれらに結合されてよい。
【0093】
サーバ（複数可）１８によって実行されるアプリケーション（複数可）１９は、１つ以上のＤｅｌｔａＶ（商標）アプリケーション、診断及び保守アプリケーション、及び／または他のアプリケーションもしくはソフトウェアベースのシステムを含み得る。したがって、アプリケーション（複数可）１９は、フィールドデバイスのランタイム状態及び／または測定データを表示し、フィールドデバイスのランタイム制御を提供し、機械の診断／保守情報を表示するノード体験をサポートし得る。一例として、様々なデバイスに関連するＨＡＲＴ（登録商標）及び／またはフィールドバス情報は、ＡＲモバイルデバイス１２のユーザに提示され得る。体験プロビジョニングユニット６２は、適切なアプリケーション（複数可）１９を起動し、及び／またはそれとインターフェースして、必要な表示データを収集し得、これは、次いで、ノード体験モジュール４６に転送される。体験プロビジョニングユニット６２はまた、または代わりに、ノード体験モジュール４６から受信した任意のユーザ入力をコントローラ１１１に転送して、適切なフィールドデバイスなどをそれに応じて制御させてよい。
【0094】
例示的な３Ｄマップ
上記の図１の説明から、ＡＲシステム１０の３Ｄ「マップ」は環境の完全なモデルである必要はなく、その環境内のノードの３Ｄ位置のみを含み得ることが理解されるべきである。４つのオブジェクト／ノードのみを含む非常に単純化された例示的な３Ｄマップ２００が図３に示される。図３において、ｚ軸は仰角（例えば、地上レベル）に対応する。上述されたように、ランドマーク位置２０２は、環境内の他のすべての位置（例えば、ノード及びユーザ／ＡＲデバイスの位置）について基準点を提供し得る。
上記の図１の説明から、ＡＲシステム１０の３Ｄ「マップ」は環境の完全なモデルである必要はなく、その環境内のノードの３Ｄ位置のみを含み得ることが理解されるべきである。４つのオブジェクト／ノードのみを含む非常に単純化された例示的な３Ｄマップ２００が図３に示される。図３において、ｚ軸は仰角（例えば、地上レベル）に対応する。上述されたように、ランドマーク位置２０２は、環境内の他のすべての位置（例えば、ノード及びユーザ／ＡＲデバイスの位置）について基準点を提供し得る。
【0095】
例示的なマップ２００において、第１のオブジェクト／ノードの第１の位置２０４は、オフセット｛ｘ１、ｙ１、ｚ１｝においてランドマーク位置２０２のわずかに上（仰角方向）であり、第２及び第３のオブジェクト／ノードの第２及び第３の位置２０６、２０８は、オフセット｛ｘ２、ｙ２、ｚ２｝及び｛ｘ３、ｙ３、ｚ３｝において、それぞれまだ少し高いままであり、第３のオブジェクト／ノードの第３の位置２１０はオフセット｛ｘ４、ｙ４、ｚ４｝においてまだ高いままである。当然のことながら、いくつかのシナリオでは、ｘ、ｙ及び／またはｚ方向のオフセットは、特定のオブジェクト／ノードに対して負であり得る。
【0096】
マップ２００内では、｛ｘ５、ｙ５、ｚ５｝の位置２２０は、図１のＡＲモバイルデバイス１２などのＡＲモバイルデバイスの現在の位置に対応する。図３はまた、破線で、ＡＲモバイルデバイスの視界２２２を描画し、デバイスの特定の配向に対応する。視界２２２は、例えば、ＩＭＵ２６からのセンサデータ（及びおそらくＶＩＯ技術を用いたカメラ２６からの画像データ）、ならびに既知の方位角範囲／角度のカメラ２６を使用して、図１の位置決め及び配向モジュール４４によって判定され得る。図３には示されていないが、位置決め及び配向モジュール４４はまた、例えば、視界２２２がｚ方向の無限のカバレッジを仮定するのではなく、円錐状の形状を有するように、ｚ方向の視界２２２の範囲を知り得る。
【0097】
この例のシナリオでは、位置２０６及び２０８のオブジェクトはデバイス／ユーザの現在の視界２２２内にあり、位置２０４及び２１０のオブジェクトは存在しない。図１の体験プロビジョニングユニット６２は、例えば、ノード位置（ＡＲデータベース７２に記憶されている）、ＡＲモバイルデバイスの位置２２０及び配向（位置決め及び配向モジュール４４によって判定され、ウェブサービスインターフェース６０を介して転送される）、及びカメラ２４の視界の既知のまたは推定された特性に基づいて、判定を行ってよい。どのオブジェクト／ノードが視界２２２内にあるかの判定に基づいて、体験プロビジョニングユニット６２は、ノードマーカー（及び／または特定のノード体験）が位置２０６及び２０８のオブジェクトについてのみ提示されるべきであることを示すデータをＡＲモバイルデバイス１２に送信し得る。ノード体験モジュール４６は、そのデータを処理し、それに応答して、位置２０６及び２０８に対応するノードマーカー及び／もしくはディスプレイ２２上の点またはその近くの他の情報を重ね合わせ得る。
【0098】
例示的なＡＲユーザインターフェース
ＡＲディスプレイ（例えば、図１のＡＲモバイルデバイス１２のディスプレイ２２）上に重ね合わされ得る１セットの例示的なユーザインターフェースが、図４Ａ～図４Ｈに関連してここで説明される。説明を容易にするために、図１のＡＲシステム１０についても参照するが、示されるユーザインターフェースは代わりに他のシステムで使用されてよい。ユーザの選択が行われ得るユーザインターフェースについて、選択は、特定のメニューオプションを直接見るユーザによって行われてよい（例えば、ユーザインターフェースが、ディスプレイ２２の中心に対する固定位置ではなく、環境に対する固定位置を有する場合）。他の実施形態では、選択は、ユーザが適切な音声コマンドを発すること、キーボードまたはタッチスクリーン上にデータを入力すること、または別の適切な方法で行われてよい。
ＡＲディスプレイ（例えば、図１のＡＲモバイルデバイス１２のディスプレイ２２）上に重ね合わされ得る１セットの例示的なユーザインターフェースが、図４Ａ～図４Ｈに関連してここで説明される。説明を容易にするために、図１のＡＲシステム１０についても参照するが、示されるユーザインターフェースは代わりに他のシステムで使用されてよい。ユーザの選択が行われ得るユーザインターフェースについて、選択は、特定のメニューオプションを直接見るユーザによって行われてよい（例えば、ユーザインターフェースが、ディスプレイ２２の中心に対する固定位置ではなく、環境に対する固定位置を有する場合）。他の実施形態では、選択は、ユーザが適切な音声コマンドを発すること、キーボードまたはタッチスクリーン上にデータを入力すること、または別の適切な方法で行われてよい。
【0099】
まず図４Ａを参照すると、ユーザインターフェース２００は、図１に関連して上述されたように、ユーザに特定の「役割」を選択することを可能にする。ユーザインターフェース２００は、ＡＲアプリケーション３２の起動時に、または別の適切なときユーザに表示され得る。ＡＲアプリケーション３２は、ウェブサービスインターフェース６０を介してバックエンドサーバ１４に照会することにより、利用可能な役割を先験的に知り得、または利用可能な役割について通知され得る。役割が選択されると、役割識別モジュール４０は、役割を示すデータをウェブサービスインターフェース６０を介してバックエンドサーバ１４に送信し得る。体験プロビジョニングユニット６２、アラート生成ユニット６８、及び／またはバックエンドサーバ１４の他の構成要素は、上述されたように、次に、選択された役割を利用して、拡張する適切なノード、適切な種類の体験及び／または特定のノードに対するコンテンツなどを判定し得る。
【0100】
図４Ｂは、ユーザの現在の視界内のいくつかまたはすべてのオブジェクト（近接性またはユーザ役割などの任にの他の基準を対象とする）のそれぞれのノードマーカーとして機能し得るユーザインターフェース２２０を描画する。例示的なユーザインターフェース２２０は、オブジェクト／ノードの状態を示すアイコン（丸で囲まれた「Ｘ」）及び記述子（「ＳｔａｔｕｓＷｏｒｄ」）、ノード名（例えば、「ＥＳＤ－３」などのプロセス制御プラント内のデバイス識別子など）、ノードの短い記述（例えば、「非常停止スイッチ」など）、及びそれらの情報からユーザインターフェース２２０の底部の塗りつぶし円に至る垂直線を含む。塗りつぶし円（または他のインジケータ）は、ユーザの現実世界のビュー内の対応するオブジェクトの｛ｘ、ｙ、ｚ｝位置に、例えば、ユーザ（または別のユーザ）がノードを３Ｄマップに追加するときに集中した現実世界｛ｘ、ｙ、ｚ｝位置に、配置されてよい。テキスト及び線は、ＡＲモバイルデバイス１２及びユーザの垂直軸と位置合わせされたままにするために、必要に応じて回転してよく、または例えば常にｚ軸に位置合わせされてよい。
【0101】
状態アイコン及び記述子は、オブジェクトに対して何らかのアクションが取られるべきか、及び／またはオブジェクトに対して何らかの危険が存在するかどうかを示してよい。例えば、図４Ｂに示す丸で囲まれた「Ｘ」は、「危険」の状態に対応し、三角形の「！」は「警告」の状態に対応し、菱形の「ｉ」は、「注意」の状態に対応してよく、「平常」の状態にはどのアイコンも対応していなくてよい。図４Ｂは、考えられる状態アイコンの範囲を示しているが、ユーザインターフェース２２０は、この特定の実施形態及び／またはシナリオに対して、丸で囲まれた「Ｘ」アイコンのみを含むことが理解される。特定のオブジェクト／ノードに描画されている状態とその状態の意味は、ユーザの役割によって異なり得る。
【0102】
ユーザインターフェース２２０のノードマーカー（すなわち、図４Ｂのテキスト、線及び塗りつぶし円）は、ＡＲモバイルデバイス１２からの距離に応じてサイズが拡大され得、その結果、より近くのオブジェクトがより大きなノードマーカーを有し、より遠くのオブジェクトは小さなノードマーカーを有する。いくつかの実施形態では、例えば、ユーザインターフェース２２０は、追加のテキスト、追加のグラフィック、及び／または色分け（例えば、「危険」状態の赤色テキスト及び線、「通常」状態の緑色テキスト及び線など）によるより多くの情報を含む。
【0103】
図４Ｃは、ユーザインターフェース２００でユーザ役割が選択された後、または別の適切な時間に現れ得るユーザインターフェース２４０を描画する。ユーザインターフェース２４０の「＋」アイコンは、図１に関連して上述されたように、３Ｄマップに新しいノードの追加するためにユーザによって選択されてよい。ヘルメットアイコンは、異なる役割を選択するためにユーザによって選択されてよく、第３のアイコンは、後述されるように、特定の設定を管理するためにユーザによって選択されてよい。ユーザインターフェース２４０内の矩形のボックスは、システムメッセージをユーザに表示し得る。例えば、メッセージボックスを使用して、アラート生成ユニット６８及び／または位置ベースアラートモジュール５２によって生成されたアラートを表示してよい。
【0104】
図４Ｄは、ユーザがユーザインターフェース２４０内の設定アイコンを選択した場合に現れ得るユーザインターフェース２６０を描画する。図４Ｄに示すように、ユーザインターフェース２６０は、ユーザにＡＲモバイルデバイス１２の名前または識別子、ランドマーク識別子、及びバックエンドサーバ１４の名前またはＩＰアドレスを変更することを可能にする。これらの値の一部または全部は、例えば、ウェブサービスインターフェース６０へのウェブサービスコールを行うときに、ＡＲモバイルデバイス１２によって使用されてよい。
【0105】
図４Ｅは、ユーザがユーザインターフェース２４０内の「＋」（ノードの追加）アイコンを選択した場合に現れ得る単純なユーザインターフェース２８０を示す。この例では、ユーザインターフェース２８０は、単に、ユーザが単に周囲を見回すことによって（例えば、ＡＲモバイルデバイス１２はＡＲヘルメットまたはゴーグル、またはスマートメガネである場合）、または別様にＡＲモバイルデバイス１２のカメラ２４を照準することによって（例えば、タブレットまたはスマートフォンの場合）、現実世界の環境内の任意の位置に中心を置き得るレチクル（例えば、ユーザのディスプレイ２２の中央にある）である。ＡＲアプリケーション３２のノード作成モジュール４８は、レチクルが適切に配置されたとき（例えば、音声コマンドを発することによって）、ユーザが確認することを要求してよく、またはカメラ２４の視界がいくつかの閾値期間に対して実質的に変化しない場合などに、適切な配置を仮定してよい。
【0106】
図４Ｆは、ユーザがユーザインターフェース２８０のレチクルを位置決めした後に、及
び位置決め及び配向モジュール４４が新しいオブジェクト／ノードを配置するために必要な位置及び／または配向情報（例えば、ＡＲモバイルデバイス１２の位置、デバイス１２の配向、及びデバイス１２からオブジェクトまでの距離）を判定した後に、現れ得るユーザインターフェース３００を描画する。例示的なユーザインターフェース３００は、ユーザがノード名及び／またはノード記述を入力するためのテキストボックスを含む。代替的に、この情報の一部または全部は、音声コマンド（例えば、ユーザがマイクアイコンを選択した場合）によって提供されてよい。他の実施形態では、光学文字認識（ＯＣＲ）技術を使用してオブジェクトの一部の画像を処理することによって、ノード名及び／または記述が判定されてよい。例えば、ユーザは、カメラ２４を、オブジェクトに貼付され、シリアル番号、モデル番号、または他の識別子を含む、タグまたはラベルの方に向けてよい。次いで、識別子は、ウェブサービスインターフェース６０を介してバックエンドサーバ１４に送信され、バックエンドサーバ１４に記憶された情報と相互参照されるか、または別のシステムもしくはデータベース（例えば、他のサーバ（複数可）１８）に記憶されて、ノード名及び／または記述を判定してよい。
び位置決め及び配向モジュール４４が新しいオブジェクト／ノードを配置するために必要な位置及び／または配向情報（例えば、ＡＲモバイルデバイス１２の位置、デバイス１２の配向、及びデバイス１２からオブジェクトまでの距離）を判定した後に、現れ得るユーザインターフェース３００を描画する。例示的なユーザインターフェース３００は、ユーザがノード名及び／またはノード記述を入力するためのテキストボックスを含む。代替的に、この情報の一部または全部は、音声コマンド（例えば、ユーザがマイクアイコンを選択した場合）によって提供されてよい。他の実施形態では、光学文字認識（ＯＣＲ）技術を使用してオブジェクトの一部の画像を処理することによって、ノード名及び／または記述が判定されてよい。例えば、ユーザは、カメラ２４を、オブジェクトに貼付され、シリアル番号、モデル番号、または他の識別子を含む、タグまたはラベルの方に向けてよい。次いで、識別子は、ウェブサービスインターフェース６０を介してバックエンドサーバ１４に送信され、バックエンドサーバ１４に記憶された情報と相互参照されるか、または別のシステムもしくはデータベース（例えば、他のサーバ（複数可）１８）に記憶されて、ノード名及び／または記述を判定してよい。
【0107】
図４Ｇは、ユーザがオブジェクト／ノードを選択した（例えば、ユーザインターフェース２２０のノードマーカーを選択することによって）とき、その特定のオブジェクト／ノードに対して現れ得るユーザインターフェース３２０を描画する。ユーザインターフェース３２０は、例えば、バックエンドサーバ１４の体験プロビジョニングユニット６２によって提供されるノードの利用可能な体験を示すデータに基づいて、ノード体験モジュール４６によって生成されてよい。例示的なユーザインターフェース３２０は、ユーザインターフェース２２０内のノードマーカー上に示されたノード名及び記述、ならびに２つの矩形エリアを含む。ユーザインターフェース３２０の底部の塗りつぶし円は、ユーザインターフェース２２０内にあった（現実世界のビュー内の）オブジェクト上の同じ位置に留まり得る。図４Ｇのブランクの矩形で示される第１の「作業中」エリアは、オブジェクトの状態情報、オブジェクトの詳細なアラート情報など、選択されたオブジェクト／ノードに関する追加の情報を示し得る（例えば、提供されているノード体験の種類及び／またはユーザの役割に応じて）。
【0108】
ユーザは、第２のエリアから所望の種類のノード体験を選択して、ノードに利用可能なもの（及び場合によってはユーザの役割）を列挙してよい。図４Ｇに見られるように、この例では、利用可能なノード体験は、「追加情報」（例えば、作業エリアに追加の種類のテキストベースの情報を提供するために）、「接続」（例えば、図４Ｈに関連して後述されるように、他のオブジェクト／ノードへの物理的または論理的接続を示すために）、「情報リンク」（例えば、作業エリアにおいて、「ヘルプ」文書、インストラクションビデオ、または特定のＵＲＬにおける他のウェブページからの情報を表示するために）、「子オブジェクト」（例えば、作業エリアにおいて、選択されたオブジェクト／ノードの「子」として関連する他のオブジェクト／ノードとの関係を示すために）、「プロセス値」（例えば、作業エリアにおいて、他のサーバ（複数可）１８及びアプリケーション（複数可）１９のうちの１つから取得された制御プロセス値を示すために）、及び「ワークオーダ」（例えば、作業エリアにおいて、選択されたオブジェクト／ノード内で関連付けられているワークオーダのテキストを示すために）を含む。
【0109】
図４Ｈは、ユーザがユーザインターフェース３２０内の「接続」アイコンを選択したときに現れ得るユーザインターフェース３４０を描画する。ユーザインターフェース３４０の場合、ノード体験モジュール４６は、現在選択されているオブジェクト／ノードの｛ｘ、ｙ、ｚ｝位置と、現在選択されているオブジェクト／ノードが物理的及び／または論理的に接続されている（例えば、図１に関連して上述されたように）オブジェクト／ノードの｛ｘ、ｙ、ｚ｝位置との間の線をレンダリングする。ユーザインターフェース３４０の底部にある塗りつぶし円は前者の位置にあってよい一方で、ユーザインターフェース３４
０の上部の塗りつぶし円は後者の位置にってよい。当然のことながら、塗りつぶし円の相対位置は、シナリオに応じて変化してよい（例えば、選択されたオブジェクト／ノードの円は、接続されたオブジェクト／ノードの円よりも現実世界のビューで高く現れ得る）。
０の上部の塗りつぶし円は後者の位置にってよい。当然のことながら、塗りつぶし円の相対位置は、シナリオに応じて変化してよい（例えば、選択されたオブジェクト／ノードの円は、接続されたオブジェクト／ノードの円よりも現実世界のビューで高く現れ得る）。
【0110】
図４Ｈの実施形態では、ノード体験モジュール４６は、接続線を、ｙ軸に沿った距離及び方向を示す第１のセグメント（現在選択されているオブジェクト／ノードで始まる）と、ｘ軸に沿った距離及び方向を示す第２のセグメント（第１のセグメントの端部で始まる）と、ｚ軸に沿った距離と方向を示し、接続されたオブジェクト／ノードで終了する第３のセグメント（第２のセグメントの端部で始まる）と、の３つのセグメントにおいてレンダリングする。線セグメントは色分けされ、線フォーマット（破線、実線など）によって符号化され、及び／または付加的な情報（例えば、現在動作していない通信接続を示す赤い線）を提供する他の方法で符号化されてよい。他の実施形態では、接続は、オブジェクト／ノード間の単一の線セグメント（例えば、ユーザからの距離を描くために線が広くなったり狭くなったりする）のように、異なる方法で描画されてよい。様々な異なる実施形態では、複数の異なるオブジェクト／ノードへの接続は、ユーザインターフェース３４０に示され得、またはユーザは、視覚化が望まれる個々の接続をそれぞれ選択する必要があり得る。
【0111】
例示的なＡＲデータベース
図５Ａ及び図５Ｂは、（例えば、図２のプロセス制御環境１００で使用される場合の）図１のＡＲデータベース７２によって利用され得るデータベース構造４００を集合的に描画する。データベース構造４００において、各ボックスは、ＡＲデータベース７２に記憶され得るテーブルを表し、各ボックスの最上部の行はテーブル名（例えば、「ノード」、「ノード状態」など）である。テーブルは主キーを使用してリンクされ、各キーは図５Ａ及び５Ｂにキーアイコン及び文字「ＰＫ」で示されている。
図５Ａ及び図５Ｂは、（例えば、図２のプロセス制御環境１００で使用される場合の）図１のＡＲデータベース７２によって利用され得るデータベース構造４００を集合的に描画する。データベース構造４００において、各ボックスは、ＡＲデータベース７２に記憶され得るテーブルを表し、各ボックスの最上部の行はテーブル名（例えば、「ノード」、「ノード状態」など）である。テーブルは主キーを使用してリンクされ、各キーは図５Ａ及び５Ｂにキーアイコン及び文字「ＰＫ」で示されている。
【0112】
データベース構造４００は、データ項目の効率的な相互参照を可能にし、既存のリンクを壊すことなくまたは広範な更新を必要とせずにユーザ及びシステムの更新を可能にする。例えば、「ノードＩＤ」主キーを使用すると、ユーザに、関連する他のテーブルを更新する必要なく、既存のノードに対する「ノード名」を変更することを可能にする。図５Ｂの「ＯＰＣＤＡの取得」テーブルは、図４Ｇに関連して上述された「プロセス値」ノード体験に対応し得る。
【0113】
例示的な強調仮想視覚
図６及び図７は、ＡＲプラットフォーム（例えば、図１のＡＲシステム１０によって提供される）が、ユーザの「仮想視覚」を強調する機能を提供する実施形態に関する。図６は、プロセス制御環境内（例えば、図２のプロセス制御環境１００内）の閉じたキャビネット内に「見る」ために使用される「仮想Ｘ線視覚」機能（図１に関連して上述された）を描画する一方で、図７Ａ及び図７Ｂは、プロセス制御環境のエリアの制限付きアクセス（例えば、届きにくい、または危険な）エリアにあり、かつ／または、ユーザの現在の位置から離れている「アバター」（図１に関連しても上述された）がセンサ／トランスミッタデバイスに対して提供される特定のシナリオを描画する。
図６及び図７は、ＡＲプラットフォーム（例えば、図１のＡＲシステム１０によって提供される）が、ユーザの「仮想視覚」を強調する機能を提供する実施形態に関する。図６は、プロセス制御環境内（例えば、図２のプロセス制御環境１００内）の閉じたキャビネット内に「見る」ために使用される「仮想Ｘ線視覚」機能（図１に関連して上述された）を描画する一方で、図７Ａ及び図７Ｂは、プロセス制御環境のエリアの制限付きアクセス（例えば、届きにくい、または危険な）エリアにあり、かつ／または、ユーザの現在の位置から離れている「アバター」（図１に関連しても上述された）がセンサ／トランスミッタデバイスに対して提供される特定のシナリオを描画する。
【0114】
まず、図６の例を参照すると、閉じられた（及び場合によってはロックされた）キャビネット５００は、Ｉ／Ｏカード、回路遮断器などのいくつかの内部構成要素（図６には示されていない）を含み得る。図１に関連して説明された基準のいずれかが満たされたとき（例えば、内部構成要素がＡＲモバイルデバイス１２の視界内にあり、閾値距離内にあり、かつ／またはキャビネット５００がユーザによって選択されているなど）、及びキャビネット５００が、不明瞭なオブジェクト／ノードを含むと判定された場合（また上述されたように、例えば、キャビネットと内部構成要素との間の既知の関係に基づいて、かつ／
またはＱＲコードをスキャンすることなどによって）、図１の視覚強調モジュール５０は、ユーザインターフェース５２０をユーザの現実世界のビューに重ね合わせ得る。
またはＱＲコードをスキャンすることなどによって）、図１の視覚強調モジュール５０は、ユーザインターフェース５２０をユーザの現実世界のビューに重ね合わせ得る。
【0115】
ユーザインターフェース５２０は、内部構成要素の描画５２２を含む。描画５２２は、キャビネット５００内の実際の構成要素の、互いに対する実際の配置における画像であってよい。他の実施形態では、描画５２２は、個別に、またはキャビネット５００内の相対的な配置を示すように、構成要素（例えば、３Ｄモデル、２Ｄモデルなど）の超現実的または擬似現実的なグラフィカル表現を含む。いずれの場合でも、描画５２２は、実際の内部構成要素を見た場合のユーザの体験と同様のＡＲ体験をユーザに提供し得る。
【0116】
ユーザインターフェース５２０は、ユーザの現実世界のビューでキャビネット５００の上に直接重ね合わされ、隠された内部構成要素の実際の位置の上に描画５２２を位置合わせするように適切にスケーリングされてよい。代替的に、ユーザインターフェース５２０は、おそらくは線またはいくつかの他の手段によって接続された、ユーザの現実世界のビューでキャビネット５００からオフセットされ得る。
【0117】
描画５２２は、内部構成要素の個々のものに対するノードマーカー（例えば、図４Ｂのユーザインターフェース２２０に類似するもの）を、それらの構成要素が以前にマッピングされた程度まで含んでよく、または含まなくてよい。更に、ユーザインターフェース５２０は、そのようなノードマーカーを選択することによって、描画５２２自体を選択することによって、または適切な音声コマンドを発することによって、ユーザに様々なノード体験を選択することを可能にし得る。描画５２２またはユーザインターフェース５２０はまた、ユーザが描画５２２を自身のビューから却下するように選択することができるコントロール（例えば、１つの角部の「Ｘ」）を含んでよく、または適切な音声コマンドが使用されてよい。
【0118】
ここで図７Ａを参照すると、方向インジケータ５５０は、特定のオブジェクト（ここでは、センサ／トランスミッタデバイス）の描画、及びユーザの現実世界のビューに対するオブジェクトの一般的な方向を示す矢印を含む。図１の視覚強調モジュール５０は、例えば、リモート及び／または制限付きアクセスのオブジェクトのアバターに関して、上述された（図１に関連して）条件のいずれかに応答して、ユーザの現実世界のビューの上に方向インジケータ５５０を重ね合わせ得る。例示的な方向インジケータ５５０におけるデバイスの描画は、現実的なモデルまたは画像であるが、当然のことながら、他のフォーマットも可能である（例えば、アウトライン、アニメーション、ビデオなど）。
【0119】
ユーザが方向インジケータ５５０を選択した場合、視覚強調モジュール５０は、図７Ｂに示すように、ユーザの現実世界のビューに「アバター」５６０を重ね合わせ得る。図７Ｂに示すアバター５６０は、方向インジケータ５５０におけるオブジェクトの描画と同一であるが、他の実施形態では、アバター５６０は、方向インジケータ５５０における描画（存在する場合）よりも詳細かつ／または現実的である。図６の描画５２２と同様に、アバター５６０は、実際のオブジェクト（ここではセンサ／トランスミッタデバイス）を近接して見る場合と似たＡＲ体験をユーザに提供し得る。実際に、上述されたように、図６の仮想Ｘ線視覚機能は、単に図７Ｂに示された視覚強調の特殊なケースであり得、図６の描画５２２は、キャビネット５１０内で囲まれた様々な構成要素のアバターの集合である。
【0120】
ユーザがアバター５６０を選択するか、または適切な音声コマンドを発する場合、視覚強調モジュール５０は、ユーザの現実世界のビュー内のアバター５６０の近くにユーザインターフェース５７０を重ね合わせ得る。代替的に、ユーザインターフェース５７０は、アバター５６０または任意の音声コマンドの任意のユーザ選択を必要とすることなく、デ
フォルトで、アバター５６０が提示され得る。図７Ｂの例示的なユーザインターフェース５７０は、プロセス値（ここでは、センサ読み取り値）を提供し、デバイスのユーザ制御を可能にするノード体験に対応する（ここでは較正プロセスを開始することによって）。このノード体験を可能にするために、図１の体験プロビジョニングユニット６２は、上述されたように、他のサーバ（複数可）１８によって実行される１つ以上のアプリケーション（複数可）１９と通信し得る。例えば、体験プロビジョニングユニット６２は、プロセス制御アプリケーションを起動させるか、またはＡＰＩなどを使用して実行中のプロセス制御アプリケーションと対話し得る。
フォルトで、アバター５６０が提示され得る。図７Ｂの例示的なユーザインターフェース５７０は、プロセス値（ここでは、センサ読み取り値）を提供し、デバイスのユーザ制御を可能にするノード体験に対応する（ここでは較正プロセスを開始することによって）。このノード体験を可能にするために、図１の体験プロビジョニングユニット６２は、上述されたように、他のサーバ（複数可）１８によって実行される１つ以上のアプリケーション（複数可）１９と通信し得る。例えば、体験プロビジョニングユニット６２は、プロセス制御アプリケーションを起動させるか、またはＡＰＩなどを使用して実行中のプロセス制御アプリケーションと対話し得る。
【0121】
例示的な３Ｄマッピング方法
図８は、モバイルデバイスを使用して現実世界のプロセス制御環境（例えば、図２のプロセス制御環境１００）をマッピングする方法例６００を描画する。方法６００は、例えば、図１のＡＲモバイルデバイス１２または別の適切なモバイルデバイスを使用して実行され得る。いくつかの実施形態では、ＡＲ能力のないモバイルデバイスが使用され得る。
図８は、モバイルデバイスを使用して現実世界のプロセス制御環境（例えば、図２のプロセス制御環境１００）をマッピングする方法例６００を描画する。方法６００は、例えば、図１のＡＲモバイルデバイス１２または別の適切なモバイルデバイスを使用して実行され得る。いくつかの実施形態では、ＡＲ能力のないモバイルデバイスが使用され得る。
【0122】
ブロック６０２において、モバイルデバイスは、プロセス制御環境内の基準または「ランドマーク」位置に登録される。登録は、基準位置に位置しているコード（例えば、ＱＲコードまたは他の画像）の視覚的表現をスキャンするために、モバイルデバイスのカメラ（例えば、図１のカメラ２４）を使用することを含み得る。コードは、例えば、壁（例えば、プレートまたはポスター）上にあってよい。
【0123】
ブロック６０４において、モバイルデバイスがユーザによってプロセス制御環境を移動されると、モバイルデバイスの少なくとも１つのＩＭＵ（例えば、図１のＩＭＵ２６）を使用して、モバイルデバイスの基準位置に対する３Ｄ位置を追跡し、モバイルデバイスの配向を追跡する。ブロック６０４は、ユーザがＡＲ体験を終了するまで（例えば、モバイルデバイスの電源を切ることによって、またはモバイルデバイス上で実行されるアプリケーションを閉じることなどによって）、無期限に（例えば、ブロック６０６から６１０まで同時に）継続してよい。ブロック６０４における追跡はまた、モバイルデバイスカメラを使用してよい。例えば、ＶＩＯ技術を使用して、モバイルデバイスの位置及び配向を追跡し得る。
【0124】
ブロック６０６において、新しいノードがプロセス制御環境の３Ｄマップに追加されるべきであることを示すユーザ入力が、モバイルデバイスにおいて検出される。ユーザ入力は、例えば、ユーザ音声コマンド（例えば、「ノードの追加」）、またはメニューオプションのユーザ選択（例えば、モバイルデバイスカメラを特定の位置に集中させることによって、またはキーボードまたはタッチスクリーンにデータを入力することによって）であってよい。
【0125】
ブロック６０８において、少なくとも、追跡されたモバイルデバイスの３Ｄ位置及び追跡されたモバイルデバイスの配向に基づいて、（基準位置に対する）現実世界オブジェクトの３Ｄ位置が判定されるか、または判定させる。一実施形態では、ブロック６０８は、モバイルデバイスのカメラを使用して（例えば、ユーザ入力が入力された時点で、またはその直後に）現実世界のオブジェクトの画像を捕捉することを含む。次いで、モバイルデバイスとオブジェクトとの間の距離は、少なくとも、深度検知技術を使用してカメラ画像を処理することによって、画像から判定され得る。３Ｄ位置は、追跡された３Ｄ位置及びモバイルデバイスの配向ならびに判定された距離に基づいて、判定されるか、または判定させられ得る。
【0126】
いくつかの実施形態では、ブロック６０８において、オブジェクトの３Ｄ位置は、方法６００を実行するデバイス、システムなどによって、直接判定される。他の実施形態では
、方法６００を実行するデバイス、システムなどは、例えば、ウェブサービスインターフェース（例えば、図１のウェブサービスインターフェース６０）を介して要求を行うことによって、別のデバイス、システムなどにオブジェクトの３Ｄ位置を判定させる。
、方法６００を実行するデバイス、システムなどは、例えば、ウェブサービスインターフェース（例えば、図１のウェブサービスインターフェース６０）を介して要求を行うことによって、別のデバイス、システムなどにオブジェクトの３Ｄ位置を判定させる。
【0127】
ブロック６１０において、少なくともオブジェクトの３Ｄ位置を新しいノードに関連させて記憶させることによって、ノードデータベースまたはライブラリが新しいノードを３Ｄマップに追加させられる。ブロック６１０は、例えば、ウェブサービスインターフェースを使用して、リモートサーバ（例えば、図１のバックエンドサーバ１４）に、少なくともノードデータベース内の新しいノードの３Ｄ位置（例えば、図１のＡＲデータベース７２）を記憶させることを含み得る。
【0128】
方法６００は、図８に示されていない１つ以上のブロックを含み得る。例えば、方法６００は、別のユーザ入力（例えば、音声コマンド、キーボード入力など）がモバイルデバイスにおいて受信され、ユーザ入力が新しいノードの識別子（例えば、名前）及び／または記述を示すブロックを含み得る。そのような実施形態では、ブロック６１０は、新しいノードの識別子及び／または記述をノードデータベース内の新しいノードに関連付けて記憶させることを更に含み得る。
【0129】
別の例として、方法６００は、新しいノードが３Ｄマップに追加された後にプロセス制御環境のエリアをナビゲートする、異なるモバイルデバイスの後の動作（またはブロック６０２ないし６１０を実行する同じモバイルデバイスによる後の動作）に対応する追加のブロックを含み得る。第１のブロックでは、例えば、第２のモバイルデバイス（例えば、ＡＲモバイルデバイス１２または同様のデバイス）が、基準位置に登録されてよい。その後、第２のモバイルデバイスの３Ｄ位置（基準位置に対する）、及び第２のモバイルデバイスの配向は、少なくとも第２のモバイルデバイスのＩＭＵを使用して（例えば、ＶＩＯ技術を使用して）、追跡され得る。次いで、トリガ条件は、例えば、オブジェクトが第２のモバイルデバイスのカメラの視界内のエリア内にあることを判定する（例えば、追跡された第２のモバイルデバイスの配向に基づいて）こと、及び／またはその物理的オブジェクトが第２のモバイルデバイスに近接していることを判定する（例えば、追跡された第２のモバイルデバイスの位置に基づいて）ことによって、検出され得る。トリガ条件の検出に応答して、新しいノードに関連付けられているデジタル情報は、第２のモバイルデバイスのディスプレイ上にまたはディスプレイを介して見られる現実世界のビューに重ね合わされ得る（例えば、ノードマーカー、または上で説明した任意のノード体験に従って）。
【0130】
例示的な仮想Ｘ線視覚を提供する方法
図９は、現実世界のプロセス制御環境（例えば、図２のプロセス制御環境１００）において、ＡＲモバイルデバイスのユーザに仮想強調視覚（例えば仮想「Ｘ線視覚」）を提供するための例示的な方法６２０を示す。方法６２０は、例えば、図１のバックエンドサーバ１４などのコンピューティングシステムまたはデバイスの１つ以上のプロセッサ、及び／または図１のＡＲモバイルデバイス１２などのＡＲモバイルデバイスによって実行され得る。
図９は、現実世界のプロセス制御環境（例えば、図２のプロセス制御環境１００）において、ＡＲモバイルデバイスのユーザに仮想強調視覚（例えば仮想「Ｘ線視覚」）を提供するための例示的な方法６２０を示す。方法６２０は、例えば、図１のバックエンドサーバ１４などのコンピューティングシステムまたはデバイスの１つ以上のプロセッサ、及び／または図１のＡＲモバイルデバイス１２などのＡＲモバイルデバイスによって実行され得る。
【0131】
ブロック６２２において、プロセス制御環境のマップに関連付けられている特定のノード（「第１のノード」）が、現在、ＡＲモバイルデバイスのカメラ（例えば、図１のカメラ２４）の視界内にある特定の現実世界のオブジェクト（「第１のオブジェクト」）に対応することが判定される。第１のオブジェクトは、例えば、図２に関連して図示または記述される任意のデバイス、または少なくとも部分的に不透明な任意の他の物理的オブジェクトであり得る。いくつかの実施形態では、第１のオブジェクトは、多数のより小さいデバイスまたは構成要素を含むように構成されたキャビネットなどの囲いである。
【0132】
いくつかの実施形態では、ブロック６２２は、ＡＲモバイルデバイスの現在の配向を検出すること、及びＡＲモバイルデバイスの現在の配向に基づいて、更にマップによって示される第１のノードの位置に基づいて、第１のオブジェクトが現在、カメラの視界内にあることを判定することを含む。ブロック６２２はまた、ＡＲモバイルデバイスの現在の位置及び第１のノード位置に基づいて、第１のオブジェクトがＡＲモバイルデバイスのいくつかの閾値距離（例えば、１０メートル、５０メートルなど）内にあることを判定することを含み得る。
【0133】
ブロック６２４において、第１のノードと、マップにも関連付けられている１つ以上の他のノードとの間の特定の関係が判定される。この関係は、１つ以上の他のノードに対応する１つ以上の他の現実のオブジェクトが、第１のオブジェクトによって少なくとも部分的に不明瞭であることを（明示的または暗示的に）示す。例えば、ノードデータベース（例えば、ＡＲデータベース７２またはその一部）は、第１のノードが、他のノード（複数可）（例えば、コントローラ、Ｉ／Ｏカード、スイッチなど）に対応するオブジェクト（複数可）を含むキャビネットまたは他の囲いに対応することを示すデータを記憶してよく、ブロック６２４は、ノードデータベースに直接（例えば、ローカルメモリ内で）、または別のコンピューティングシステムを介してアクセスすることを含んでよい。いくつかの実施形態では、第１のオブジェクトはＱＲコードまたは他の視覚的コードでマークされ、ブロック６２４は、コードをスキャンしてノード識別子を判定することと、ノード識別子を使用して関係を判定する（例えば、データベースに対するキーとして識別子を使用することによって）こととの、両方を含む。
【0134】
ブロック６２６において、１つ以上のデジタルモデルまたはデジタル画像は、メモリ（例えば、ローカルまたはリモートの永続メモリ）から検索され、モデル（複数可）または画像（複数可）が、少なくとも第１のオブジェクト（複数可）によって部分的に不透明であるオブジェクトを描画する。例えば、１つ以上の超現実的または擬似現実的な３Ｄモデル、２Ｄモデル、アニメーションモデル、デジタル画像、またはオブジェクト（複数可）のデジタルビデオは、メモリから検索され得る。
【0135】
ブロック６２８において、ＡＲモバイルデバイス（例えば、図１のディスプレイ２２）のディスプレイは、第１のオブジェクトが依然としてカメラの視界内にある間に、検索されたモデル（複数可）または画像（複数可）をユーザに提示させる。例えば、モデル（複数可）または画像（複数可）は、ディスプレイ上でユーザに提示されるか、またはディスプレイを介してユーザによって見られる現実世界のビューに、重ね合わせられ得る。ブロック６２８は、例えば、ＡＲモバイルデバイスに、ディスプレイコンテンツの少なくともいくつかを送信すること、及び／またはディスプレイ命令を送信すること（例えば、図１のウェブサービスインターフェース６０を介して）を含み得る。
【0136】
方法６２０は、図９に示されていない１つ以上のブロックを含み得る。例えば、方法６２０は、１つ以上のノード体験が、不明瞭なオブジェクトについてユーザに提示される（例えば、最初にモデル（複数可）もしくは画像（複数可）とともに、または更なるアクション、特定の不明瞭なオブジェクトのモデルまたは画像のユーザ選択などに応答して）ブロックを含み得る。
【0137】
例示的な制限付きアクセスオブジェクトを視覚化するための方法
図１０は、ＡＲモバイルデバイスのユーザと、プロセス制御環境（例えば、図２のプロセス制御環境１００）の制限付きアクセス（例えば、危険な、バリケードなど）エリアに存在し得る、現実世界のオブジェクト（「第１のオブジェクト」）との間の対話を容易にする方法例６４０を描画する。方法６４０は、例えば、図１のバックエンドサーバ１４などのコンピューティングシステムまたはデバイスの１つ以上のプロセッサ、及び／または
図１のＡＲモバイルデバイス１２などのＡＲモバイルデバイスによって実行され得る。
図１０は、ＡＲモバイルデバイスのユーザと、プロセス制御環境（例えば、図２のプロセス制御環境１００）の制限付きアクセス（例えば、危険な、バリケードなど）エリアに存在し得る、現実世界のオブジェクト（「第１のオブジェクト」）との間の対話を容易にする方法例６４０を描画する。方法６４０は、例えば、図１のバックエンドサーバ１４などのコンピューティングシステムまたはデバイスの１つ以上のプロセッサ、及び／または
図１のＡＲモバイルデバイス１２などのＡＲモバイルデバイスによって実行され得る。
【0138】
ブロック６４２において、ユーザがプロセス制御環境を移動すると、ＡＲモバイルデバイスのディスプレイ（例えば、図１のディスプレイ２２）は、ＡＲモバイルデバイス（例えば、図１のカメラ２４）のカメラの視界内にある環境の部分にデジタル情報を重ね合わせる。重ね合わされた情報は、環境内の他の現実世界のオブジェクトに対応するノードどともに、プロセス制御環境のマップ（例えば、３Ｄマップ）内のノードに関連付けられる。ブロック６４２は、例えば、ＡＲモバイルデバイスに、ディスプレイコンテンツの少なくともいくつかを送信すること、及び／またはディスプレイ命令を送信すること（例えば、図１のウェブサービスインターフェース６０を介して）を含み得る。
【0139】
ブロック６４４において、第１のオブジェクトがカメラの視界内にない間に、ＡＲモバイルデバイスのディスプレイは、第１のオブジェクトへの方向を示す。指標は、例えば、テキスト、矢印、線、及び／またはアニメーションを含み得る。ブロック６４２と同様に、ブロック６４４は、例えば、表示コンテンツのうちの少なくともいくつかを送信すること、及び／または表示命令をＡＲモバイルデバイスに送信する（例えば、図１のウェブサービスインターフェース６０を介して）ことを含み得る。
【0140】
ブロック６４６において、ＡＲモバイルデバイスを介して行われ、第１のオブジェクトの選択を示すユーザ入力（例えば、第１のオブジェクトのユーザインターフェースを要求する音声コマンド）を検出した後、ディスプレイは、現在視界内にあるが第１のオブジェクトを含まないプロセス制御環境の一部に、第１のオブジェクトのデジタルモデルまたは画像（すなわち、第１のオブジェクトの「アバター」）、及び第１のオブジェクトのユーザインターフェースを重ね合わせる。アバターは、例えば、オブジェクトの超現実的または擬似現実的な３Ｄモデル、２Ｄモデル、アニメーションモデル、デジタル画像、またはデジタルビデオであってよい。ユーザインターフェースは、第１のオブジェクトのユーザ制御（例えば、第１のオブジェクトを較正し、第１のオブジェクトの動作パラメータを設定するなどの）を可能にする１つ以上の仮想コントロール、及び／または状態（例えば、診断状態、保守状態、動作状態など）に関連付けられている情報を表示する１つ以上の表示、第１のオブジェクトの設定、及び／または出力（例えば、センサ読み取り値など）を含み得る。いくつかの実施形態では、ユーザインターフェースは、アバターと同時に提示されず、アバターまたは音声コマンドのユーザ選択に応答して（アバターとともに）現れる。
【0141】
いくつかの実施形態では、ブロック６４４における方向の指標は、第１のオブジェクトの選択を示すユーザ入力（すなわち、図１０に示されるシーケンス）を検出する前に生じる。そのようないくつかの実施形態では、方向インジケータ（例えば、第１のオブジェクトを含むオフ表示領域に向いている矢印）は、（１）第１のオブジェクトがＡＲモバイルデバイスの閾値距離内にあること、及び（２）第１のオブジェクトが現在カメラの視界内にないことを検出することに応答して、生成され、かつ表示され得る。方向インジケータのための他の適切なトリガまたは基準も可能である。例えば、インジケータは、第１のオブジェクトに関連する特定のユーザ役割を有するユーザにのみ提供されてよい。
【0142】
他の実施形態では、第１のオブジェクトの選択を示したユーザ入力を検出した後に、方向の指標が代わりに生じる。例えば、ユーザは、第１のオブジェクト（例えば、第１のオブジェクトに対するユーザ「検索」）についてユーザインターフェースが検索されることを要求する音声コマンドを発し得、その後、方向インジケータ（及び場合によってはアバター）が、ユーザの現実世界のビューに重ね合わせられる。
【0143】
デジタルモデルまたは画像は、方向インジケータ及び／または後段で表示されるかどう
かを問わず、ウェブサービスインターフェース（例えば、ウェブサービスインターフェース６０を使用して図１のＡＲデータベース７２から）を使用してデータベースから検索され得る。
かを問わず、ウェブサービスインターフェース（例えば、ウェブサービスインターフェース６０を使用して図１のＡＲデータベース７２から）を使用してデータベースから検索され得る。
【0144】
一般的な考慮事項
ソフトウェアに実装する場合、本明細書に記載されるアプリケーション及び機能のいずれかは、コンピュータまたはプロセッサのＲＡＭまたはＲＯＭ内で、磁気ディスク、レーザーディスク、半導体メモリデバイス、分子メモリ記憶デバイス、または他の記憶媒体などの任意の有形の非一過性のコンピュータ可読メモリ内に命令として、記憶されてよい。本明細書で開示される例示的なシステムは、ハードウェア上で実行される他のコンポーネント、ソフトウェア及び／またはファームウェアを含むものとして開示されるが、このようなシステムは、単なる例示であり、限定するものではないということに留意するべきである。例えば、これらのハードウェア、ソフトウェア、及びファームウェア構成要素のうちのいずれかまたは全てが、ハードウェアにのみ、ソフトウェアにのみ、あるいはハードウェア及びソフトウェアの任意の組み合わせで、埋め込まれ得ることが企図される。したがって、本明細書に記載される例示的システムは、１つ以上のコンピュータデバイスのプロセッサにおいて実行されるソフトウェアに実装されるように記載されているが、当業者ならば、提供される例が、そのようなシステムを実装するための唯一の方法であるわけではないことを容易に理解するであろう。
ソフトウェアに実装する場合、本明細書に記載されるアプリケーション及び機能のいずれかは、コンピュータまたはプロセッサのＲＡＭまたはＲＯＭ内で、磁気ディスク、レーザーディスク、半導体メモリデバイス、分子メモリ記憶デバイス、または他の記憶媒体などの任意の有形の非一過性のコンピュータ可読メモリ内に命令として、記憶されてよい。本明細書で開示される例示的なシステムは、ハードウェア上で実行される他のコンポーネント、ソフトウェア及び／またはファームウェアを含むものとして開示されるが、このようなシステムは、単なる例示であり、限定するものではないということに留意するべきである。例えば、これらのハードウェア、ソフトウェア、及びファームウェア構成要素のうちのいずれかまたは全てが、ハードウェアにのみ、ソフトウェアにのみ、あるいはハードウェア及びソフトウェアの任意の組み合わせで、埋め込まれ得ることが企図される。したがって、本明細書に記載される例示的システムは、１つ以上のコンピュータデバイスのプロセッサにおいて実行されるソフトウェアに実装されるように記載されているが、当業者ならば、提供される例が、そのようなシステムを実装するための唯一の方法であるわけではないことを容易に理解するであろう。
【0145】
したがって、本発明は具体的な例に関して記載されてきたが、これらの例は例証的である過ぎず、本発明の限定であることを意図せず、変更、追加、または削除が、本発明の趣旨及び範囲から逸脱することなく、開示される実施形態に対して行われ得ることが当業者には明らかであろう。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図4H】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】