特許 7421895 物体に対する不適合データを可視化するための拡張現実システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-17

(45)【発行日】2024-01-25

(54)【発明の名称】物体に対する不適合データを可視化するための拡張現実システム

(51)【国際特許分類】

   B64F 5/60 20170101AFI20240118BHJP

【ＦＩ】

B64F5/60

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2019181906

(22)【出願日】2019-10-02

(65)【公開番号】P2020097391

(43)【公開日】2020-06-25

【審査請求日】2022-09-27

(31)【優先権主張番号】16/158,579

(32)【優先日】2018-10-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】スコット， ジェレマイア ケント

(72)【発明者】

【氏名】ベイカー， ロバート スティーヴン カネマツ

(72)【発明者】

【氏名】ベレッタ， ブライアン ジェームズ

(72)【発明者】

【氏名】ベルナルドーニ， マイケル ルイス

【審査官】山本 賢明

(56)【参考文献】

【文献】特開２０１４－２０５４８５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／００７５３４３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６４Ｆ ５／６０

(57)【特許請求の範囲】

【請求項1】

製造のフェーズ（２３６）において物理的な物体（２０４）に対する不適合データ（２１０）を可視化するための拡張現実システム（２１２）であって、
センサシステム（２３２）及び表示システム（２２６）を有する、携帯可能計算デバイス（２１４）であって、前記携帯可能計算デバイス（２１４）及び前記センサシステム（２３２）が、前記製造のフェーズ（２３６）において前記物理的な物体（２０４）に対する空間内のポイントを表す走査データ（２３０）を生成するように構成されている、携帯可能計算デバイス（２１４）、
実行されたときに、前記走査データ（２３０）を使用して前記物理的な物体（２０４）の領域（２４０）の表面輪郭の点群表現（２４２）を生成するように配置された、走査アプリケーション（２１８）、
実行されたときに、前記物理的な物体（２０４）の前記領域（２４０）に対する前記点群表現（２４２）を使用して、画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）のモデル（２４４）を生成するように配置された、モデル化アプリケーション（２２０）、
実行されたときに、前記物理的な物体（２０４）に対する位置目標（２５０）を位置特定し、前記位置目標（２５０）の目標位置（２５２）を使用して、前記携帯可能計算デバイス（２１４）を、前記位置目標（２５０）に基づいて、前記画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）の前記モデル（２４４）に位置決めし、前記物理的な物体（２０４）に対する前記携帯可能計算デバイス（２１４）の位置（２４８）を特定するように配置された、位置決めアプリケーション（２２２）、並びに
実行されたときに、
前記物理的な物体（２０４）上の不適合位置（２０８）に対応する点（２３４）を前記画定された座標立方体（２４６）内にプロットし、
前記携帯可能計算デバイス（２１４）によって取得された前記物理的な物体（２０４）の前記領域（２４０）の画像（２３８）内で視認可能な前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）のサブセット（２５４）であって、前記携帯可能計算デバイス（２１４）の前記位置（２４８）から見たときに、前記画像（２３８）内の物理的な物体の構造物を所定の距離を超えて位置付けられていると判定されたことにより、前記携帯可能計算デバイス（２１４）の前記位置（２４８）からの視界から隠されたプロットされた点を排除するサブセット（２５４）を決定し、
前記携帯可能計算デバイス（２１４）内の前記表示システム（２２６）上で表示された前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）のサブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示し、
前記携帯可能計算デバイス（２１４）が、前記物理的な物体（２０４）のパノラミックビュー向けに選択された前記物理的な物体（２０４）からの距離より離れた位置にあるかどうかを決定し、
前記携帯可能計算デバイス（２１４）が前記選択された前記物理的な物体（２０４）からの距離より離れた位置にあると決定した場合に、前記画定された座標立方体（２４６）内の前記不適合位置（２０８）の全てに対する前記点（２３４）を表示して、前記不適合位置（２０８）の全てのパノラミックビューを提供するように配置された、拡張現実アプリケーション（２２４）を備える、拡張現実システム（２１２）。

【請求項2】

前記携帯可能計算デバイス（２１４）内の前記表示システム（２２６）上で表示された前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）の前記サブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示することにおいて、前記拡張現実アプリケーション（２２４）が、前記物理的な物体（２０４）の前記領域（２４０）の前記画像（２３８）内の視界から隠されている前記不適合位置（２０８）に対する前記不適合データ（２１０）を表示することなしに、前記携帯可能計算デバイス（２１４）内の前記表示システム（２２６）上に表示された前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）の前記サブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示するように配置された、請求項１に記載の拡張現実システム（２１２）。

【請求項3】

前記携帯可能計算デバイス（２１４）によって取得された前記物理的な物体（２０４）の前記領域（２４０）の画像（２３８）内で視認可能な前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）の前記サブセット（２５４）であって、前記携帯可能計算デバイス（２１４）の前記位置（２４８）から見たときに、前記物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除する前記サブセット（２５４）を決定することにおいて、前記拡張現実アプリケーション（２２４）が、前記不適合位置（２０８）に対する前記画定された座標立方体（２４６）内にプロットされた前記点（２３４）のうちのどれが、前記画像（２３８）内の前記物理的な物体の構造物を所定の距離以上超えて位置付けられており、前記位置（２４８）にある前記携帯可能計算デバイス（２１４）からの視界から隠されているかを決定するように配置され、前記物理的な物体の構造物を前記所定の距離を超えているこれらの点が、前記点（２３４）の前記サブセット（２５４）から排除されている、請求項１に記載の拡張現実システム（２１２）。

【請求項4】

前記物理的な物体（２０４）が航空機構造物であり、前記携帯可能計算デバイス（２１４）の前記位置（２４８）において前記携帯可能計算デバイス（２１４）によって取得された前記物理的な物体（２０４）の前記領域（２４０）の画像（２３８）内で視認可能な前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）の前記サブセット（２５４）を決定することにおいて、前記拡張現実アプリケーション（２２４）が、表示された航空機構造物からの各不適合位置の距離が、視界から隠されている前記不適合位置に対応する所定の距離を超えていると決定するように配置された、請求項１に記載の拡張現実システム（２１２）。

【請求項5】

前記拡張現実アプリケーション（２２４）が、実行されたときに、時間情報に基づいて前記不適合データ（２１０）をフィルタして、既に解決された又は再作業された歴史的な不適合データ（２１０）又は未だ解決されていないアクティブな不適合データ（２１０）のうちの少なくとも一方を表示する、請求項１に記載の拡張現実システム（２１２）。

【請求項6】

前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）が、前記物理的な物体（２０４）内に未だ存在するライブの不適合データ（２１０）である、請求項１に記載の拡張現実システム（２１２）。

【請求項7】

前記物理的な物体（２０４）上の前記不適合位置（２０８）を受け取るように構成されたインターフェースを更に備える、請求項１に記載の拡張現実システム（２１２）。

【請求項8】

前記センサシステム（２３２）が、三次元スキャナ、カメラ、全地球測位システム受信器、構造化された光三次元スキャナ、ライダーシステム、レーザースキャナ、コノスコープホログラフシステム、又は飛行時間型三次元スキャナのうちの少なくとも１つを備える、請求項１に記載の拡張現実システム（２１２）。

【請求項9】

前記携帯可能計算デバイス（２１４）が、携帯電話、タブレットコンピュータ、頭部装着デバイス、及びスマートグラスを含む、群から選択され、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、及び外板のうちの１つを備える、前記物理的な物体（２０４）に対する前記不適合データを表示するためのディスプレイを含む、請求項１に記載の拡張現実システム（２１２）。

【請求項10】

物理的な物体（２０４）に対する不適合データ（２１０）を可視化するための方法であって、
携帯可能計算デバイス（２１４）内の拡張現実アプリケーション（２２４）によって、前記物理的な物体（２０４）上の不適合位置（２０８）に対応する点（２３４）を、画定された座標立方体（２４６）内にプロットすること、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記携帯可能計算デバイス（２１４）によって取得された前記物理的な物体（２０４）の領域（２４０）の画像（２３８）内で視認可能な前記物理的な物体（２０４）の前記領域（２４０）に対応する前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）のサブセット（２５４）であって、前記携帯可能計算デバイス（２１４）の位置（２４８）から見たときに前記画像（２３８）内の物理的な物体の構造物を所定の距離を超えて位置付けられていると判定されたプロットされた点を排除し、前記画像（２３８）内の前記物理的な物体（２０４）の物理的な物体の構造物によって視界から隠されている不適合位置（２０８）を排除する前記点（２３４）のサブセット（２５４）を決定すること、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記携帯可能計算デバイス（２１４）内の表示システム（２２６）上に表示された前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）のサブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示すること、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記携帯可能計算デバイス（２１４）が、前記物理的な物体（２０４）のパノラミックビュー向けに選択された前記物理的な物体（２０４）からの距離より離れた位置にあるかどうかを決定すること、及び
前記携帯可能計算デバイス（２１４）が前記選択された前記物理的な物体（２０４）からの距離より離れた位置にあると決定した場合に、前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記画定された座標立方体（２４６）内の前記不適合位置（２０８）の全てに対する前記点（２３４）を表示して、前記不適合位置（２０８）の全てのパノラミックビューを提供することを含む、方法。

【請求項11】

前記決定するステップが、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記不適合位置（２０８）に対する前記画定された座標立方体（２４６）内にプロットされた前記点（２３４）が、前記画像（２３８）内の前記物理的な物体の構造物を所定の距離を超えて位置付けられており、前記位置（２４８）にある前記携帯可能計算デバイス（２１４）からの視界から隠されているかを判定すること、及び
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記物理的な物体の構造物を所定の距離を超えているこれらの点を排除することであって、残っている点（２５８）が前記点（２３４）の前記サブセット（２５４）を形成する、これらの点を排除することを含み、
前記方法が、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記不適合位置（２０８）に対する残っている点（２５８）のうちのどれが、前記画像（２３８）内で表示された前記物理的な物体の構造物からの各不適合位置の距離を、視界から隠されている不適合位置に対応する所定の距離を超えていると判定することによって、隠されるべきか決定する、請求項１０に記載の方法。

【請求項12】

前記表示するステップが、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記物理的な物体（２０４）の前記領域（２４０）の前記画像（２３８）内の視界から隠されている前記不適合位置（２０８）に対する前記不適合データ（２１０）を表示することなしに、前記携帯可能計算デバイス（２１４）内で前記表示システム（２２６）上に表示された前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）の前記サブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示することを含む、請求項１０又は１１に記載の方法。

【請求項13】

前記携帯可能計算デバイス（２１４）が、携帯電話、タブレットコンピュータ、頭部装着デバイス、及びスマートグラスを含む、群から選択され、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、並びに、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、外板、及び椅子のうちの１つを備える、前記物理的な物体（２０４）に対する不適合データを表示するためのディスプレイを含む、請求項１０から１２のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、広くは、航空機を製造することに関し、特に、製造のフェーズにある航空機に対する不適合データを可視化する方法、装置、及びシステムに関する。

【背景技術】

【0002】

航空機を製造することにおいて、製造の種々のフェーズ中に多くの検査が行われる。その検査は、自動化された装備、作業人員、又はそれらの何らかの組み合わせによって実行されてよい。例えば、作業人員は、不適合性に関して航空機又は航空機構造物を視覚的に検査してよい。例えば、航空機構造物は、胴体セクション、エンジンハウジング、主翼、又は航空機用の何らかの他の構造物であってよい。例えば、不適合は、亀裂、引っかき傷、層剥離、不正確な寸法、不正確な色、又は何らかの他の不正確な特徴であってよい。

【0003】

更に、作業人員は、航空機構造物の物理的な状態を検証するために、航空機構造物の問題になっているエリアに接触することもできる。作業人員は、航空機構造物を検査するために、渦電流テスター、超音波機械、又は他のツールを使用することもできる。

【0004】

航空機上で不適合な場所が見つかったときに、その場所は、一片のテープやクイックレスポンス（QR）コードなどの物理的なマーカーで、物理的にマークされる。何れの場合でも、物理的なマーカーは、航空機構造物上の不適合な場所に置かれる。

【0005】

更に、作業人員は、再作業を必要とするエリアの場所の説明をノートすることもできる。不適合についての物理的なマーカー及びノートは、三穴バインダー又はノートブックに記録を付けられる。例えば、場所と物理的なノート用の識別子とが、三穴バインダー内に記録を付けられてよい。

【0006】

この情報は、データベースにも入力される。それによって、不適合を解決するための作業順序が生成されてよい。その作業人員又は別の作業人員は、後に、その作業順序を使用して、不適合に対する物理的なタグの位置を見つけ、不適合を解決するために必要な作業を行うことができる。

【0007】

この種の検査プロセスは、時間がかかり非効率である。したがって、少なくとも上述の問題点のうちの幾つかと、起こり得る他の問題点を考慮した方法及び装置を有することが望ましいであろう。例えば、航空機の不適合を効率的に特定し解決することによって技術的な問題を克服する、方法及び装置を有することが望ましいだろう。

【発明の概要】

【0008】

本開示の一実施形態は、物理的な物体に対する不適合データを可視化するための拡張現実システムを提供する。この拡張現実システムは、携帯可能計算デバイス、走査アプリケーション、モデル化アプリケーション、位置決め（localization）アプリケーション、及び拡張現実アプリケーションを備える。携帯可能計算デバイスは、センサシステム及び表示システムを有する。携帯可能計算デバイスは、製造のフェーズにおいて物理的な物体に対する空間内のポイントを表す走査データを生成するように構成されている。走査アプリケーションは、実行されたときに、走査データを使用して物理的な物体の領域の表面輪郭の点群表現を生成する。モデル化アプリケーションは、実行されたときに、物理的な物体の領域に対する点群表現を使用して、画定された座標立方体内の物理的な物体の領域のモデルを生成する。位置決めアプリケーションは、実行されたときに、携帯可能計算デバイスを、位置目標に基づいて、画定された座標立方体内の物理的な物体の領域のモデルに位置決めし、物理的な物体に対する携帯可能計算デバイスの位置を特定する。拡張現実アプリケーションは、実行されたときに、物理的な物体上の不適合位置に対応する点を画定された座標立方体内にプロットし、携帯可能計算デバイスによって取得された物理的な物体の領域の画像内で視認可能な画定された座標立方体内でプロットされた点のサブセットであって、携帯可能計算デバイスの位置から見たときに、物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除するサブセットを決定し、携帯可能計算デバイス内の表示システム上で表示される画像内の物理的な物体に対する不適合位置のサブセットに関連付けて、画像内で視認可能な点のサブセットに対する不適合データを表示する。

【0009】

別の例示的な一実施形態は、物理的な物体に対する不適合データを可視化するための拡張現実システムを提供する。この拡張現実システムは、携帯可能計算デバイス及び拡張現実アプリケーションを備える。携帯可能計算デバイスは、物理的な物体の画像を取得するように構成されている。拡張現実アプリケーションは、携帯可能計算デバイスによって実行されたときに、物理的な物体上の不適合位置に対応する点を、画定された座標立方体内にプロットし、携帯可能計算デバイスの位置において携帯可能計算デバイスによって取得された画像内で視認可能な物理的な物体の領域に対応する画定された座標立方体内でプロットされた点のサブセットであって、画像内の物理的な物体の構造物によって視界（ビュー）から隠される不適合位置を排除する点のサブセットを決定し、携帯可能計算デバイス内の表示システム上に表示される画像内の物理的な物体に対する不適合位置のサブセットに関連付けて、画像内で視認可能な点のサブセットに対する不適合データを表示する。

【0010】

更に別の例示的な一実施形態は、物理的な物体に対する不適合データを可視化するための方法を提供する。携帯可能計算デバイス内の拡張現実アプリケーションは、物理的な物体上の不適合位置に対応する点を画定された座標立方体内にプロットする。携帯可能計算デバイス内の拡張現実アプリケーションは、携帯可能計算デバイスによって取得された物理的な物体の領域の画像内で視認可能な物理的な物体の領域に対応する画定された座標立方体内でプロットされた点のサブセットであって、携帯可能計算デバイスの位置から見たときに物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除し、画像内の物理的な物体の構造物によって視界（ビュー）から隠される不適合位置を排除する点のサブセットを決定する。携帯可能計算デバイス内の拡張現実アプリケーションは、携帯可能計算デバイス内の表示システム上に表示される画像内の物理的な物体に対する不適合位置のサブセットに関連付けて、画像内で視認可能な点のサブセットに対する不適合データを表示する。

【0011】

これらの特徴及び機能は、本開示の様々な実施形態で単独で実現可能であるか、又は、以下の説明及び図面を参照して更なる詳細を理解し得る更に別の実施形態において、組み合わされてよい。

【0012】

例示的な実施形態の特性と考えられる新規な特徴は、付随する特許請求の範囲に明記される。しかし、例示的な実施形態並びに好ましい使用モード、さらなる目的及びそれらの特徴は、添付図面を参照しつつ本開示の例示的な実施形態に関する以下の詳細な説明を読むことによって、最もよく理解されるであろう。

【図面の簡単な説明】

【0013】

【図1】例示的な一実施形態による、航空機製造環境の図である。

【図2】例示的な一実施形態による、可視化環境のブロック図の例示である。

【図3】例示的な一実施形態による、画定された座標立方体内の航空機構造物のモデルの例示である。

【図4】例示的な一実施形態による、不適合位置を示すために拡張された操縦室の画像の例示である。

【図5】例示的な一実施形態による、不適合位置を示すために拡張された操縦室の画像の例示である。

【図6】例示的な一実施形態による、航空機のパノラミックビュー（panoramic view）の例示である。

【図7】例示的な一実施形態による、物理的な物体に対する不適合データを可視化するためのプロセスのフローチャートの例示である。

【図8】例示的な一実施形態による、点のサブセットを決定するためのプロセスのフローチャートの例示である。

【図9】例示的な一実施形態による、携帯可能計算デバイスの位置を特定するためのプロセスのフローチャートの例示である。

【図10】例示的な一実施形態による、不適合データをフィルタリングするためのプロセスのフローチャートの例示である。

【図11】例示的な一実施形態による、データ処理システムのブロック図の例示である。

【図12】例示的な一実施形態による、航空機製造及び保守方法のブロック図の例示である。

【図13】例示的な一実施形態が実装され得る航空機のブロック図の例示である。

【図14】例示的な一実施形態による、製品管理システムのブロック図の例示である。

【発明を実施するための形態】

【0014】

例示的な実施形態は、１以上の種々の検討事項を認識し考慮する。例えば、例示的な実施形態は、航空機などの輸送体を検査するために現在使用されている技術が、物理的な紙のノートを使用して、望ましいよりも多くの時間と労力を必要とすることを認識し考慮する。例示的な実施形態は、航空機を検査するために現在使用されている技術が、不適合についての情報を集めるための正確な測定基準及び測定法なしに、処理システムのばらばらな集合を採用していることも認識し考慮する。

【0015】

例示的な実施形態は、検査を実行する作業人員向けの拡張現実体験を提供するプロセスが採用され得ることを認識し考慮する。例示的な一実施形態では、該プロセスが、輸送体内の携帯可能検査デバイスの位置を特定する。携帯検査デバイスの位置に基づいて、携帯可能検査デバイスの視野内の一群のアイテム内の１つのアイテムに対して作業人員によって行われる一群のジェスチャーを含む、ユーザ入力が受け取られる。携帯可能検査デバイスの視野内の一群のアイテム内のアイテムに関連付けて、輸送体に対する位置でノートが生成される。そのノートが、その位置に割り当てられる。携帯検査デバイス用の表示システム上のグラフィカルユーザインターフェース上の視野内で、ノートがアイテムに関連付けて表示される。

【0016】

航空機などの物体に対する不適合を特定するために、検査中にこの種のプロセスが使用されるときに、これらの不適合を解決することは、拡張現実システムを用いてより効率的に実行され得る。例示的な実施形態は、作業人員が、物理的なマーカーに頼ることなしに不適合を位置特定し得ることを認識し考慮する。結果として、より効率的な検査が実行され得る。

【0017】

例示的な一実施形態では、物理的な物体に対する不適合データを可視化するために、拡張現実システムが使用される。拡張現実システムは、携帯可能計算デバイス及び拡張現実アプリケーションを備える。本開示に従って実装されるように利用され且つ構成され得る拡張現実アプリケーションソフトウェアの一例は、Vuforia and PTC Incorporatedによって開発されたVuforia（商標）拡張現実ソフトウェアである。携帯可能計算デバイスは、物理的な物体の画像を取得するように構成されている。拡張現実アプリケーションは、物理的な物体上の不適合位置に対応する点を、座標立方体内にプロットする。

【0018】

拡張現実アプリケーションは、携帯可能計算デバイスの位置において携帯可能計算デバイスによって取得された画像内で視認可能な物理的な物体の領域に対応する座標立方体内でプロットされた点のサブセットを決定する。点のサブセットは、取得された画像内の物理的な物体の構造物によって視界（ビュー）から隠される不適合位置を排除する。拡張現実アプリケーションは、携帯可能計算デバイス内の表示システム上に表示される画像内の物理的な物体に対する不適合位置のサブセットに関連付けて、画像内で視認可能な点のサブセットに対する不適合データを表示する。

【0019】

次に、図面、特に図１を参照すると、例示的な一実施形態による、航空機製造環境の例示が描かれている。この実施例では、航空機製造環境１００が、胴体セクション１０２を含む。描かれているように、作業人員１０４が、内装１０６を通って歩き、製造の現在のフェーズにおける胴体セクション１０２の検査を実行する。

【0020】

この例示的な実施例では、作業人員１０４が、携帯可能計算デバイスの一種であるタブレットコンピュータ１０８を持ち運ぶ。タブレットコンピュータ１０８は、作業人員１０４が、胴体セクション１０２に対する不適合の位置を可視化することを可能にする。描かれているように、不適合の位置は、タブレットコンピュータ１０８の位置に基づいて見られ得る内装１０６内の位置である。この例示的な実施例では、位置が、三次元空間内のタブレットコンピュータ１０８の位置と、タブレットコンピュータ１０８の配向とを含む。言い換えると、タブレットコンピュータ１０８は、作業人員１０４に胴体セクション１０２の内装１０６の画像を表示するために、作業人員１０４によって種々の方向に向けられてよい。

【0021】

この例示的な実施例では、タブレットコンピュータ１０８上に表示される画像が、胴体セクション１０２の内装１０６のライブビュー（live view）向けである。拡張現実表示を提供するために、不適合データは、ライブビューで表示することができる。不適合データは、タブレットコンピュータ１０８上で実行されている拡張現実アプリケーションを使用して、胴体セクション１０２のライブビュー上に重ねて表示することができる。タブレットコンピュータ１０８が胴体セクション１０２の内装１０６内又は近くにある間、ライブビューは、胴体セクション１０２の内装１０６のビューである。言い換えると、胴体セクション１０２の内装１０６の画像は、重ねられた不適合データを伴って生成され拡張される。タブレットコンピュータ１０８が位置を変えると、画像は、タブレットコンピュータ１０８の現在の位置からのビューを示すように変化する。ライブビュー用の画像は、リアルタイムの動画として表示されてよい。言い換えると、作業人員１０４は、タブレットコンピュータ１０８のカメラの視界（ビュー）内にあるものを見ることができる。

【0022】

描かれているように、タブレットコンピュータ１０８は、胴体セクション１０２に対する空間内の点を表す走査データを生成するように構成されたセンサシステムを含む。センサシステムは、カメラ、ステレオカメラ、レーザースキャナ、又は走査データを生成することができる何らかの他の適切な種類のデバイスのうちの少なくとも１つを含んでよい。

【0023】

この走査データ（又はカメラ若しくはセンサによって取得された画像データ）は、無線通信リンク１１２を使用してサーバコンピュータ１１０に送られてよい。この例示的な実施例では、タブレットコンピュータ１０８とサーバコンピュータ１１０が、拡張現実システムを形成する。

【0024】

描かれているように、サーバコンピュータ１１０は、走査データを処理して、胴体セクション１０２の領域の表面輪郭の点群表現を生成する。この点群表現は、概して、ライブビュー内の同じ胴体セクションに対応する。更に、サーバコンピュータ１１０は、点群表現を使用して、胴体セクション１０２の領域のモデルを生成する。

【0025】

この例示的な実施例では、タブレットコンピュータ１０８（及び胴体セクション１０２に対するその位置）が、胴体セクション１０２の領域のモデルに位置決めされてよい。更に、胴体セクション１０２に対するタブレットコンピュータ１０８の位置（及び配向）は位置決め技術を通じて特定されてよい。その場合、配向は、タブレットコンピュータ１０８が向けられている方向であってよい。タブレットコンピュータ１０８が移動するときに、この環境内のタブレットコンピュータ１０８の位置を追跡すると同時に、航空機製造環境１００の地図を構築し又は更新することを可能にする、同時位置決め地図作成（SLAM）向けの現在利用可能な技術を使用して、位置決めし且つ位置を特定することができる。

【0026】

位置決めは、胴体セクション１０２に対して特定可能な基準点を使用して実行することができる。この基準点は、同時位置決め地図作成プロセスによって特定され又は認識される位置目標であってよい。位置目標は、カメラの画像、レーザースキャン、又は他の適切な検出手段を介して特定可能な胴体セクション１０２の表面上に配置された反射目標などの、胴体セクション１０２上の物体又は構造物内にあってよい。例えば、目標位置は、胴体セクション１０２のモデルに対して知られた位置を有する出入口、モニュメント、窓、アンカープレート、又は胴体セクション１０２上の何らかの他の構造物若しくは特徴であってよい。

【0027】

位置目標は、タブレットコンピュータ１０８が、位置目標の位置を胴体セクション１０２のモデル内の対応する位置に相関させることを可能にする。この特定は、タブレットコンピュータ１０８が、知られた位置を有する位置目標に対するタブレットコンピュータ１０８の位置を特定し、更に、それ自体を、胴体セクション１０２と胴体セクション１０２のモデルに対して位置決めすることを可能にする。

【0028】

この例示的な実施例では、サーバコンピュータ１１０が、胴体セクション１０２上の不適合位置に対応する座標立方体内にある（例えば、不適合データベースから読み出され得る）点をプロットすることができる。サーバコンピュータ１１０は、不適合位置に対するどの点が、タブレットコンピュータ１０８上に表示された胴体セクション１０２の画像内で視認可能であるかも決定することができる。これらの決定された視認可能な点は、作業人員１０４によって見られるビューを拡張するために画像内に表示される。描かれているように、画像内のビューから隠されると判定された他のプロットされた点は、点群表現に対するタブレットコンピュータ１０８の位置及び胴体セクション１０２の領域に関連付けられた生成されたモデルに基づいて、タブレットコンピュータ１０８によって表示される画像上で表示されない。

【0029】

したがって、タブレットコンピュータ１０８は、作業人員１０４が、不適合が胴体セクション１０２内に存在する位置を可視化することを可能にする、拡張現実ビューを作業人員１０４に提供する。

【0030】

更に、作業人員１０４は、新しく特定された不適合位置を入力し、マークし、又は記録するように、タブレットコンピュータ１０８を動作させることもできる。図１の航空機製造環境１００の例示は、拡張現実システム向けの例示的な一実施態様として提供され、他の拡張現実システムが実装され得るやり方を制限することを意図していない。例えば、サーバコンピュータ１１０によって実行されているように表されている種々の動作の１以上は、タブレットコンピュータ１０８上で利用可能な処理資源の量に応じて、タブレットコンピュータ１０８によって行われてよい。更に、タブレットコンピュータ１０８を使用して、胴体セクション１０２以外の他の物体に対する不適合データを可視化することもできる。例えば、他の物体は、完成した航空機、主翼、自動車、列車、建物、又は不適合データの可視化が望まれる何らかの他の適切な構造物を含んでよい。

【0031】

次に、図２を参照すると、例示的な一実施形態による、可視化環境のブロック図の例示が描かれている。可視化環境２００は、物理的な物体２０４に対する情報が可視化され得る環境である。この例示的な実施例では、物理的な物体２０４が、幾つかの不適合位置２０８における幾つかの不適合２０６を有してよい。本明細書で使用される際に、アイテムに関して使用される「幾つかの」は、１以上のアイテムを意味する。例えば、幾つかの不適合２０６は、１以上の不適合２０６である。

【0032】

この例示的な実施例では、不適合が、物理的な物体２０４の一部分が仕様、標準、又は何らかの他の規則から逸脱するときに生じる。この例示的な実施例では、仕様、標準、又は何らかの他の規則が、政府機関、連邦航空局、製造業者、保守プロバイダ、アソシエーション、又は何らかの他の適切なソースからのものであってよい。標準は、性能、安全性、美観、又は他の要因のうちの少なくとも１つに関する規則を強要する。

【0033】

描かれているように、物理的な物体２０４は、幾つかの異なる形態を採ってよい。例えば、物理的な物体２０４は、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、外板、椅子、及び他の適切な物体を含む、群から選択される。

【0034】

描かれているように、物理的な物体２０４に対する不適合データ２１０は、拡張現実システム２１２を使用して可視化することができる。この例示的な実施例では、拡張現実システム２１２が、幾つかの種々の構成要素を含む。描かれているように、拡張現実システム２１２は、携帯可能計算デバイス２１４、コンピュータシステム２１６、走査アプリケーション２１８、モデル化アプリケーション２２０、位置決めアプリケーション２２２、及び拡張現実アプリケーション２２４を備える。

【0035】

コンピュータシステム２１６は、物理的なハードウェアシステムであり、１以上のデータ処理システムを含む。２以上のデータ処理システムがコンピュータシステム２１６内に存在するときに、それらのデータ処理システムは、通信媒体を使用して互いに通信する。通信媒体は、ネットワークであってよい。データ処理システムは、コンピュータ、サーバコンピュータ、タブレットコンピュータ、又は何らかの他の適切なデータ処理システムのうちの少なくとも１つから選択されてよい。

【0036】

描かれているように、携帯可能計算デバイス２１４は、不適合データ２１０を可視化することにおいて使用される表示システム２２６を含む、データ処理システムである。携帯可能計算デバイス２１４は、作業人員２２８によって持ち運ばれるように構成された、サイズ、重量、又は形状のうちの少なくとも１つを有する。携帯可能計算デバイス２１４は、作業人員２２８によって保持されてよく、又は着用されてよい。

【0037】

携帯可能計算デバイス２１４は、幾つかの異なる形態を採ってよい。例えば、携帯可能計算デバイス２１４は、携帯電話、タブレットコンピュータ、頭部装着デバイス、スマート眼鏡、及び他の適切なデバイスを含む、群から選択されてよい。

【0038】

この例示的な実施例では、携帯可能計算デバイス２１４が、携帯可能計算デバイス２１４内のセンサシステム２３２を使用して、走査データ２３０を生成するように構成されている。

【0039】

描かれているように、不適合データ２１０は、データベース２３３内に位置付けられる。この例示的な実施例では、データベース２３３が、拡張現実システム２１２に対して遠隔位置にある。他の例示的な実施例では、データベース２３３が、コンピュータシステム２１６内に位置付けられてよい。

【0040】

この例示的な実施例では、走査データ２３０が、製造２３６のフェーズにある物理的な物体２０４に対する点２３４を表している。製造２３６のフェーズは、構造フェーズ、主翼胴体接合、最終胴体接合、システム設置、内装設置、飛行試験、及び他の適切なフェーズを含む、群から選択されてよい。この例示的な実施例では、物理的な物体２０４の領域２４０の画像２３８が、携帯可能計算デバイス２１４内のセンサシステム２３２を使用して生成される。

【0041】

描かれているように、物理的な物体２０４の領域２４０の画像２３８は、携帯可能計算デバイス２１４内の表示システム２２６上に表示される。この例示的な実施例では、領域２４０の画像２３８が、携帯可能計算デバイス２１４を使用して見られるような、物理的な物体２０４のライブビューである。携帯可能計算デバイス２１４が移動するときに、携帯可能計算デバイス２１４内の表示システム２２６上で新しい画像が生成され表示されてよい。新しい画像は、物理的な物体２０４の現在のビューを示している。物理的な物体２０４の画像は、リアルタイムで周期的に生成され、表示システム２２６上に動画として表示されてよい。

【0042】

この例示的な実施例では、センサシステム２３２が、幾つかの構成要素を含む物理的なセンサシステムである。例えば、センサシステム２３２は、三次元スキャナ、カメラ、全地球測位システム受信器、構造化された（structured）光三次元スキャナ、ライダー（lidar）システム、レーザースキャナ、コノスコープホノグラフ（conoscopic holograph）システム、飛行時（time of flight）三次元スキャナ、又は他の適切な種類のセンサのうちの少なくとも１つを含んでよい。

【0043】

本明細書で使用される場合、列挙されたアイテムと共に使用される「～のうちの少なくとも１つ」という表現は、列挙されたアイテムのうちの１以上の種々の組み合わせが使用されてもよく、且つ列挙された各アイテムのうちの１つだけが必要とされてもよいということを意味する。換言すると、「～のうちの少なくとも１つ」とは、アイテムの任意の組み合わせ、及び幾つかのアイテムが、列挙された中から使用され得ることを意味するが、列挙されたアイテムの全てが必要となる訳ではないことを意味する。アイテムは、特定の物体、物、又はカテゴリであってよい。

【0044】

例えば、限定するものではないが、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」は、アイテムＡ、アイテムＡ及びアイテムＢ、若しくはアイテムＢを含むことができる。この例はまた、アイテムＡ、アイテムＢ、及びアイテムＣ、若しくはアイテムＢ及びアイテムＣも含むことができる。言うまでもなく、これらのアイテムのいずれかの組み合わせが存在し得る。幾つかの実施例では、「～のうちの少なくとも１つ」は、限定しないが例として、「２個のアイテムＡ、１個のアイテムＢ、及び１０個のアイテムＣ」、「４個のアイテムＢ及び７個のアイテムＣ」、又は他の好適な組み合わせであってよい。

【0045】

レーザースキャナは、物理的な物体２０４を走査して、走査データ２３０を生成することができる。カメラは、物理的な物体２０４の領域２４０の画像２３８を生成することができる。

【0046】

携帯可能計算デバイス２１４は、走査データ２３０をコンピュータシステム２１６に送る。この例示的な実施例では、携帯可能計算デバイス２１４が、コンピュータシステム２１６と通信する。通信は、ネットワーク、無線通信リンク、有線通信リンクなどの通信媒体を使用して、又は何らかの他の適切な媒体を使用して、容易にされてよい。

【0047】

コンピュータシステム２１６内の走査アプリケーション２１８はソフトウェアである。走査アプリケーション２１８が、コンピュータシステム２１６によって実行されたときに、走査アプリケーション２１８は、走査データ２３０を使用して、物理的な物体２０４の領域２４０に対する点群表現２４２を生成する。この例示的な実施例では、走査アプリケーション２１８は、物理的な物体２０４の領域２４０内で検出された走査データ２３０内の点２３４を点群表現２４２の中に置く。

【0048】

点群表現２４２は、三次元モデルを生成するために、モデル化アプリケーションの中に取り込まれてよい。この例示的な実施例では、コンピュータシステム２１６内のモデル化アプリケーション２２０が、点群表現２４２からモデル２４４を生成するソフトウェアである。モデル２４４は、三次元モデルであり、例えば、コンピュータ援用設計（CAD）モデル、コンピュータ援用製造（CAM）モデル、又は何らかの他の適切なモデルであってよい。この実施例では、モデル化アプリケーション２２０が、物理的な物体２０４の領域２４０に対する点群表現２４２を使用して、画定された座標立方体２４６内で物理的な物体２０４の領域２４０のモデル２４４を生成することができる。

【0049】

この例示的な実施例では、携帯可能計算デバイス２１４内の位置決めアプリケーション２２２が、携帯可能計算デバイス２１４を、位置目標２５０に基づいて、画定された座標立方体２４６内の物理的な物体２０４の領域２４０の表面輪郭の点群表現２４２から生成されたモデル２４４に位置決めし、物理的な物体２０４に対する携帯可能計算デバイス２１４の位置２４８を特定する、ソフトウェアである。この実施例では、位置決めアプリケーション２２２が、可視化環境２００内で携帯可能計算デバイス２１４の位置２４８を追跡すると同時に、航空機製造環境１００の地図を構築し又は更新することを可能にする、同時位置決め地図作成（SLAM）向けの現在利用可能な技術を実装することができる。この例示的な実施例では、携帯可能計算デバイス２１４の位置２４８が、三次元空間内の携帯可能計算デバイス２１４の位置と、携帯可能計算デバイス２１４の配向とである。

【0050】

例示的な一実施例では、携帯可能計算デバイス２１４をモデル２４４に位置決めすることにおいて、位置決めアプリケーション２２２が、物理的な物体２０４に対する位置目標２５０を位置特定する。位置決めアプリケーション２２２は、位置目標２５０の目標位置２５２を使用して、計算デバイス２１４を、画定された座標立方体２４６内の物理的な物体２０４の領域２４０のモデル２４４に位置決めし、物理的な物体２０４に対する携帯可能計算デバイス２１４の位置２４８を特定する。

【0051】

この例示的な実施例では、位置目標２５０が物理的な特徴である。例えば、位置目標２５０は、プレート、バーコード、無線周波数識別子（RFID）デバイス、アンカー、空間的なアンカー、アンカープレート、又は何らかの他の適切な構造物であってよい。位置目標２５０は、物理的な物体２０４上の知られた位置にあり、物理的な物体２０４を表すモデル２４４内に対応する位置を有する。その位置は、三次元内にあり、位置目標２５０の配向も知られている場合、目標位置２５２であってよい。

【0052】

位置目標２５０の位置は、物理的な物体２０４に対する携帯可能計算デバイス２１４の位置２４８を特定することができるように、モデル２４４内の対応する位置と相関してよい。位置目標２５０は、位置決めアプリケーション２２２によって、取得された画像２３８内の物理的な物体２０４のライブビュー上に所望のレベルの精度で、携帯可能計算デバイス２１４内の拡張現実アプリケーション２２４による拡張現実情報を表示し且つ／又は重ね合わせるための基準として使用されてよく、携帯可能計算デバイス２１４内の表示デバイス２２６上に表示されてよい。この実施例では、携帯可能計算デバイス２１４の位置２４８が、位置目標２５０を使用して、位置決めアプリケーション２２２によって、より高い精度で特定されてよい。

【0053】

描かれているように、拡張現実アプリケーション２２４は、携帯可能計算デバイス２１４内に位置付けられている。この実施例では、拡張現実アプリケーション２２４が、物理的な物体２０４上の不適合位置２０８に対応する点２３４を、画定された座標立方体２４６内にプロットする。拡張現実アプリケーション２２４は、携帯可能計算デバイス２１４の位置２４８において携帯可能計算デバイス２１４によって取得された物理的な物体２０４の領域２４０の画像２３８内で視認可能な画定された座標立方体２４６内にプロットされた点２３４のサブセット２５４を決定する。

【0054】

この例示的な実施例では、画像２３８内で視認可能な画定された座標立方体２４６内にプロットされた点２３４のサブセット２５４を決定することにおいて、拡張現実アプリケーション２２４が、不適合位置２０８に対する画定された座標立方体２４６内にプロットされた点２３４のうちのどれが、画像２３８内の物理的な物体の構造物を所定の距離以上超えて位置付けられており、位置２４８にある携帯可能計算デバイス２１４からの視界（ビュー）から隠されるかを決定する。例えば、携帯可能計算デバイス２１４の位置から見たときに（モデル／点群表現に基づいて）物理的な物体の構造物を超えると判定された位置などである。

【0055】

例えば、所与の不適合位置と携帯可能計算デバイス２１４の位置との間の特定された距離が、携帯可能計算デバイス２１４からの物理的な物体の構造物の距離より長いと判定された場合、そのような不適合位置は、携帯可能計算デバイスの位置から見られる物理的な構造物を超えている可能性がある。別の一実施例では、携帯可能計算デバイス２１４が、物理的な物体の構造物の内装空間内に位置付けられ、物理的な物体の構造物の一部分に向けて方向付けられ、所与の不適合位置が、不適合位置と物理的な物体の構造物のモデル表現との比較に基づいて内装空間の外側に位置付けられていると判定された場合、そのような不適合位置は、携帯可能計算デバイス２１４の位置から見たときに物理的な物体の構造物を超えている。物理的な物体の構造物から所定の距離以上超えているこれらの点は、点２３４のサブセット２５４から排除される。

【0056】

例示的な一実施例では、物理的な物体２０４が航空機であり、物理的な物体の構造物が航空機構造物である。拡張現実アプリケーション２２４は、不適合位置２０８に対する画定された座標立方体２４６内の残っている点２５８のうちのどれが、表示される航空機構造物からの各不適合位置の距離を、視界（ビュー）から隠される不適合位置に対応する所定の距離以上超えていると判定することによって、隠されるべきか決定する。

【0057】

拡張現実アプリケーション２２４は、携帯可能計算デバイス２１４内の表示システム２２６上に表示される画像２３８内の物理的な物体２０４に対する不適合位置２０８のサブセット２５６に関連付けて、画像２３８内で視認可能な点２３４のサブセット２５４に対する不適合データ２１０を表示する。この実施例では、点２３４のサブセット２５４に対する不適合データ２１０が、ライブの不適合データである。言い換えると、この不適合データは、物理的な物体２０４内に未だ存在する不適合を反映する。言い換えると、これらのライブの不適合は、解決されていない。

【0058】

この例示的な実施例では、不適合データ２１０を表示することにおいて、拡張現実アプリケーション２２４が、物理的な物体２０４の領域２４０の画像２３８内のビューから隠される不適合位置２０８に対する不適合データ２１０を表示することなしに、携帯可能計算デバイス２１４内で表示システム２２６上に表示される画像２３８内の物理的な物体２０４に対する不適合位置２０８のサブセット２５６に関連付けて、画像２３８内で視認可能な点２３４のサブセット２５４に対する不適合データ２１０を表示する。例えば、不適合な位置が、画像２３８内で視認可能でない物理的な物体２０４の表面上に位置付けられている場合、その不適合位置は、隠されると考えられ表示されない。

【0059】

描かれているように、位置２３４、不適合データ２１０、又は位置２４８にある携帯可能計算デバイス２１４にとって視認可能な不適合位置２０８に対する他の情報、のうちの少なくとも１つの表示は、グラフィカルインジケータ２５７を使用して実行される。グラフィカルインジケータ２５７内のグラフィカルインジケータは、アイコン、絵文字、表意文字、グラフィック、画像、テキスト、アニメーション、ボールディング（bolding）、グラフ、線、矢印、又は他の適切なグラフィックのうちの少なくとも１つを含んでよい。

【0060】

このやり方では、不適合データ２１０を有する画像２３８の拡張は、画像２３８内で作業人員２２８が見ることができる物理的な物体２０４の部分に対して行われる。作業人員２２８が、携帯可能計算デバイス２１４を伴って移動するときに、携帯可能計算デバイス２１４の位置２４８は変化する。位置２４８のこの変化は、どの表面が視認可能であるかを変化させ得る。それは、不適合データ２１０の表示に影響を与え得る。このやり方では、物理的な物体２０４の拡張されたビューは、携帯可能計算デバイス２１４の位置２４８が物理的な物体２０４に対して変化するときに、動的に変化し得る。

【0061】

別の例示的な一実施例では、視認可能な不適合位置及び隠される不適合位置を含む、全ての不適合位置２０８に対する点２３４が表示されてよい。そのような特徴は、物理的な物体２０４のパノラミックビュー２６０向けに有用であってよい。例えば、拡張現実アプリケーション２２４は、携帯可能計算デバイス２１４が、パノラミックビュー２６０向けに選択された距離より大きいかどうかを判定してよく、画定された座標立方体２４６内の不適合位置２０８の全てに対する点２３４を表示して、不適合位置２０８の全てのパノラミックビュー２６０を提供することができる。

【0062】

更に、拡張現実アプリケーション２２４は、時間情報に基づいて不適合データ２１０をフィルタして、歴史的な不適合データ又はアクティブな不適合データのうちの少なくとも一方を表示することもできる。歴史的な不適合データは、物理的な物体２０４又は物理的な物体２０４の他の事例のうちの少なくとも一方に対する不適合データである。不適合に対する歴史的なデータは、既に解決された又は再作業された不適合を含んでよい。フィルタリングは、特定の期間だけ行われてよい。この例示的な実施例では、アクティブな不適合データが、未だ解決されていない物理的な物体２０４に対する不適合データ２１０である。

【0063】

別の例示的な一実施例では、フィルタリングが、その種の他の物理的な物体に対する不適合データ２１０向けに実行されてよい。したがって、不適合２０６のビューは、複数の物理的な物体に対して見られてよい。これらの同じ時間の物理的な物体は、同じ施設又はラインで製造された物理的な物体であってよい。別の一実施例では、不適合２０６が、同じ保守施設で整備されている複数の物理的な物体から見られてよい。

【0064】

走査アプリケーション２１８、モデル化アプリケーション２２０、位置決めアプリケーション２２２、又は拡張現実アプリケーション２２４は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせで実装されてよい。ソフトウェアが使用されるときに、これらの構成要素によって実行される動作は、プロセッサユニットなどのハードウェア上で動作するように構成されたプログラムコード内に実装されてよい。ファームウェアが使用されるときに、これらの構成要素によって実行される動作は、プログラムコード及びデータ内に実装されてよく、プロセッサユニット上で動作するような永続メモリ内に記憶されてよい。ハードウェアが採用されるときに、ハードウェアは、これらの構成要素内で動作を実行するように動作する回路を含んでよい。

【0065】

例示的な実施例において、ハードウェアは、回路システム、集積回路、特定用途向け集積回路（ASIC）、プログラマブル論理デバイス、又は幾つかの動作を実行するよう構成された何らかの他の適切な種類のハードウェア、のうちの少なくとも１つから選択された形態を採り得る。プログラマブル論理デバイスを用いる場合、デバイスは、幾つかの動作を実施するように構成することができる。デバイスは、後で再構成されてよく、又は数々の動作を実行するように恒久的に構成されてよい。プログラマブル論理デバイスは、例えば、プログラマブル論理アレイ、プログラマブルアレイ論理、フィールドプログラマブル論理アレイ、フィールドプログラマブルゲートアレイ、及び他の適切なハードウェアデバイスを含む。加えて、これらのプロセスは、無機構成要素と一体化された有機構成要素内に実装されてよく、人間以外の有機構成要素から全体的に構成されてよい。例えば、これらのプロセスは、有機半導体内の回路として実装されてよい。

【0066】

例示的な一実施例では、航空機の不適合を効率的に特定し解決することに関する技術的な問題を克服する、１以上の技術的な解決策が存在する。結果として、１以上の技術的な解決策は、画像２３８内の物理的な物体２０４のライブビューを拡張する技術的な効果を提供して、作業人員２２８に、画像２３８内のビューで視認可能であり且つ隠されていない不適合位置２０８の可視化を提供することができる。

【0067】

コンピュータシステム２１６及び携帯可能計算デバイス２１４は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせを使用する種々の例示的な実施例における、ステップ、動作、又は作業のうちの少なくとも１つを実行するように構成されてよい。結果として、コンピュータシステム２１６又は携帯可能計算デバイス２１４のうちの少なくとも一方は、これらの構成要素内の種々のアプリケーションが、物理的な物体２０４の拡張されたビュー内で不適合データ２１０を可視化することを可能にする、特殊目的のコンピュータシステムとして動作する。特に、拡張現実アプリケーション２２４は、拡張現実アプリケーション２２４を有さない現在利用可能な汎用コンピュータシステムと比較して、コンピュータシステム２１６又は携帯可能計算デバイス２１４を、特殊目的のコンピュータシステムに変換する。

【0068】

このやり方では、タブレットコンピュータ１０８が、作業人員１０４が、点群生成、同時位置決め地図作成プロセス、及び不適合データのデータベースを使用して、胴体セクション１０２に対する不適合データを見ることを可能にする。

【0069】

図２の可視化環境２００の例示は、例示的な一実施形態が実装され得るやり方への物理的な又は構造上の限定を示唆することを意図するものではない。示されている構成要素に加えて又は代えて他の構成要素が使用されてよい。幾つかの構成要素は不要であってよい。更に、一部の機能構成要素を図示するために、ブロックが提示されている。例示的な実施形態に実装されるときに、これらのブロックのうちの１以上が、結合され、分割され、又は結合且つ分割されて異なるブロックになってよい。

【0070】

例えば、インターフェースなどの別の構成要素が、拡張現実システム２１２内に存在してよい。インターフェースは、物理的な物体２０４上の不適合位置２０８を受け取るように構成されてよい。これらの例示的な実施例では、インターフェースが、不適合データ２１０のデータベース２３３との通信を提供してよい。

【0071】

更に、コンピュータシステム２１６内に位置付けられているとして示されている構成要素の一部は、他の構成要素内に実装されてよい。例えば、ある例示的な実施例では、走査アプリケーション２１８が、コンピュータシステム２１６の代わりに、携帯可能計算デバイス２１４内に位置付けられてよい。

【0072】

別の例示的な一実施例では、位置決めアプリケーション２２２が、携帯可能計算デバイス２１４の代わりに、又は携帯可能計算デバイス２１４に加えて分散プロセスとして、コンピュータシステム２１６内に位置付けられてよい。したがって、コンピュータシステム２１６は、走査アプリケーション２１８、モデル化アプリケーション２２０、位置決めアプリケーション２２２、又は拡張現実アプリケーション２２４のうちの少なくとも１つを含んでよい。拡張現実デバイス２１４は、走査アプリケーション２１８、モデル化アプリケーション２２０、位置決めアプリケーション２２２、又は拡張現実アプリケーション２２４のうちの少なくとも１つを含んでよい。

【0073】

次に、図３を参照すると、例示的な一実施形態による、画定された座標立方体内の航空機構造物のモデルの例示が描かれている。この例示的な実施例では、画定された座標立方体３０２内に位置付けられたモデル３００が表示されている。

【0074】

この実施例では、モデル３００が航空機の一部分を表す。この実施例では、モデル３００が、胴体３１０のノーズ３０４及び部分３０８を含む。この実施例では、モデル３００が、航空機の一部分の点群表現を使用して生成されたモデルの一実施例である。

【0075】

例えば、モデル３００は、航空機のコンピュータ援用設計から幾何学的形状及び他の情報を抽出することによって生成されてよい。モデル３００から抽出されたコンピュータ援用設計モデルの部分は、航空機の点群表現に基づいてよい。この例示的な実施例では、モデル３００が、コンピュータ援用設計（CAD）モデルであってもよい。

【0076】

次に、図４を参照すると、例示的な一実施形態による、不適合位置を示すように拡張された操縦室の画像の例示が描かれている。例示的な実施例では、複数の図中で同一の参照番号が使用され得る。異なる図中で参照番号が繰り返し使用される場合には、異なる図中の同一の要素を表している。

【0077】

この例示的な実施例では、画像４００が、航空機４０３内の操縦室４０２を示している。画像４００は、図２の表示システム２２６上で携帯可能計算デバイス２１４によって表示された画像２３８の一例である。それは、操縦室４０２のライブビューである。この例示的な実施例では、航空機４０３内の操縦室４０２が、図３のモデル３００内でモデル化されている。

【0078】

この例示的な実施例では、不適合位置が、操縦室４０２内に存在する。この実施例では、これらの不適合位置が、不適合位置４１０、不適合位置４１２、不適合位置４１４、不適合位置４１６、不適合位置４１８、不適合位置４２０、及び不適合位置４２２を含む。これらの不適合位置は、操縦室４０２の詳細を含む不適合データ及びモデル３００から特定されてよい。

【0079】

画像４００内の操縦室４０２のライブビューは、グラフィカルインジケータを用いて拡張されて、不適合の存在を示す。この例示的な実施例では、画像４００内で視認可能な不適合が、グラフィカルインジケータを用いて拡張される一方で、画像４００内で不明瞭な不適合が、グラフィカルインジケータを使用して特定されない。

【0080】

描かれているように、不適合位置４１０、不適合位置４１２、不適合位置４１４、及び不適合位置４１６は、画像４００内で視認可能である。しかし、不適合位置４１８、不適合位置４２０、及び不適合位置４２２は、不明瞭である。この描かれている実施例では、画像４００内の操縦室４０２のこのビューで、これらの不適合位置が椅子４２４によって不明瞭になっている。

【0081】

この例示的な実施例では、視認可能な不適合位置が、グラフィカルインジケータを用いて画像４００のライブビューを拡張して不適合位置を特定することによって、画像４００内で特定されている。この実施例では、グラフィカルインジケータが星形である。描かれているように、不適合位置４１０は、星形４３０を使用して示され、不適合位置４１２は、星形４３２を使用して示され、不適合位置４１４は、星形４３４を使用して示され、不適合位置４１６は、星形４３６を使用して示されている。不適合位置４１８、不適合位置４２０、及び不適合位置４２２に対するグラフィカルインジケータは、画像４００上に表示されていない。何故ならば、これらの位置は、操縦室４０２のこのビューからは不明瞭だからである。

【0082】

この例示的な実施例では、グラフィカルインジケータを選択することによって、不適合についての更なる情報の表示をもたらすことができる。例えば、不適合位置４１４に対する星形４３４の選択は、窓４４２内の不適合データ４４０の表示をもたらしている。不適合データ４４０は、幾つかの異なる形態を採ってよい。例えば、不適合データ４４０は、不適合の説明、不適合を解決するための指示命令、不適合の３点位置（three point location）、作業順序、画像、更なる情報に対するリンク、又は他の適切な情報のうちの少なくとも１つを含んでよい。

【0083】

携帯可能計算デバイス２１４の位置が変化するときに、視認可能な不適合位置及び不明瞭な不適合位置が変化し得る。これらの変化は、操縦室４０２の新しい画像上の視認可能な不適合位置に対するグラフィカルインジケータを表示することによって特定され得る。

【0084】

次に、図５を参照すると、例示的な一実施形態による、不適合位置を示すように拡張された操縦室の画像の例示が描かれている。

【0085】

この図では、画像５００が、その中で携帯可能計算デバイス２１４が位置を変えたところの操縦室４０２のライブビューである。描かれているように、不適合位置４１０、不適合位置４１２、不適合位置４１４、不適合位置４１６、不適合位置４１８、不適合位置４２０、及び不適合位置４２２は、画像５００内の操縦室４０２のこのビュー内にある。

【0086】

この位置では、視認可能な不適合位置と不明瞭な不適合位置の変化が生じる。不適合位置４１０、不適合位置４１２、不適合位置４１４、不適合位置４２０、及び不適合位置４２２は、画像５００内の操縦室４０２のこのビュー内で視認可能である。不適合位置４１６と不適合位置４１８は、画像５００内の操縦室４０２のこのビュー内で不明瞭である。

【0087】

結果として、画像５００内の操縦室４０２のライブビューは、画像５００内の視認可能な不適合位置を示すように拡張されている。この実施例では、不適合位置４１０、不適合位置４１２、及び不適合位置４１４が、未だ視認可能であり、それぞれ、星形４３０、星型４３２、及び星形４３４を使用して示されている。不適合位置４２０は、星形５１０を有し、不適合位置４２２は、星形５１２を有する。

【0088】

次に、図６を参照すると、例示的な一実施形態による、航空機のパノラミックビューの例示が描かれている。航空機４０３のライブ外装ビューが、画像６００内に描かれている。画像６００は、図２の携帯可能計算デバイス２１４によって生成された画像の２３８の別の一例である。

【0089】

このビューでは、携帯可能計算デバイス２１４の位置が、航空機４０３のパノラミックビュー６０２をもたらす、航空機４０３からの選択された距離にある。このビューでは、画像６００が、画像６００内の航空機４０３に対する全ての不適合位置を示すように、グラフィカルインジケータによって拡張されている。

【0090】

この実施例では、グラフィカルインジケータが、不適合位置が、画像６００内のライブビュー内の外装上で視認可能かどうかを示している。この実施例では、星形の形態を採るグラフィカルインジケータが、視認可能な不適合位置を示している。円の形態を採るグラフィカルインジケータが、不明瞭な不適合位置を示している。

【0091】

この実施例では、パノラミックビュー６０２が、画像６００内の航空機４０３のこのビュー内で視認可能な不適合位置を示すために、星形６１０、星形６１２、星形６１４、星形６１６、星形６１８、星形６２０、星形６２２、星形６２４を含む。

【0092】

描かれているように、画像６００内の航空機４０３のこのビュー内で不明瞭な不適合位置は、円６３０、円６３２、円６３４、円６３６、円６３８、円６４０、円６４２、円６４４、円６４６、円６４８、円６５０、円６５２、及び円６５４を含む。

【0093】

このやり方では、作業人員は、どの不適合位置が、画像６００内の航空機４０３のライブビュー内で実際に視認可能かを特定することができる。

【0094】

次に、図７を参照すると、例示的な一実施形態による、物理的な物体に対する不適合データを可視化するためのプロセスのフローチャートが描かれている。図７のプロセスは、ハードウェア、ソフトウェア、又はその両方の中に実装可能である。ソフトウェア内に実装されるときに、該プロセスは、１以上のコンピュータシステム内の１以上のハードウェアデバイスに位置付けられた１以上のプロセッサユニットによって実行されるプログラムコードの形態を採ってよい。例えば、これらのプロセスは、図１のタブレットコンピュータ１０８又は図２の携帯可能計算デバイス２１４内に実装されてよい。これらのプロセスは、これらの計算システムのうちの１つの中に位置付けられた拡張現実アプリケーション内に実装されてよい。

【0095】

該プロセスは、物理的な物体上の不適合位置に対応する点を、画定された座標立方体内にプロットすることによって開始する（動作７００）。動作７００では、画定された座標立方体が、モデル化される物理的な物体の領域を画定する。

【0096】

例示的な一実施例では、画定された座標立方体が、物理的な物体の全て又は部分を含んでよい。物理的な物体のうちのどれだけがモデル化されるかの選択は、物理的な物体のモデル向けに生成されるデータの量に対して利用可能な処理リソースに依存する。

【0097】

該プロセスは、携帯可能計算デバイスによって取得された物理的な物体の領域の画像内で視認可能な物理的な物体の領域に対応する画定された座標立方体内でプロットされた点のサブセットであって、携帯可能計算デバイスの位置から見たときに物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除するサブセットを決定する（動作７０２）。点のサブセットは、画像内の物理的な物体の構造物によって視界（ビュー）から隠される不適合位置を排除する。動作７０２が実装され得る１つのやり方は、不適合位置に対する残っている点のうちのどれが、画像内で表示される物理的な物体構造からの各不適合位置の距離を、視界（ビュー）から隠される不適合位置に対応する所定の距離以上超えていると判定することによって、隠されるべきか決定することを含む。

【0098】

該プロセスは、携帯可能計算デバイス内の表示システム上に表示される画像内の物理的な物体に対する不適合位置のサブセットに関連付けて、画像内で視認可能な点のサブセットに対する不適合データを表示する（動作７０４）。その後、該プロセスは終了する。

【0099】

次に、図８を参照すると、例示的な一実施形態による、点のサブセットを決定するためのプロセスのフローチャートの例示が描かれている。図８で示されているプロセスは、図７の動作７０２向けの例示的な一実施態様であり、その中で、携帯可能計算デバイスの現在の位置にある携帯可能計算デバイスにとって視認可能な不適合位置に対する点のサブセットが特定される。

【0100】

該プロセスは、不適合位置に対する画定された座標立方体内でプロットされた点が、画像内の物理的な物体の構造物を所定の距離以上超えて位置付けられており、携帯可能計算デバイスの位置にある携帯可能計算デバイスからの視界（ビュー）から隠されると判定することによって開始する（動作８００）。該プロセスは、物理的な物体の構造物を所定の距離以上超えているこれらの点を排除する（動作８０２）。残っている点は、点のサブセットを形成する。その後、該プロセスは終了する。

【0101】

次に、図９を参照すると、例示的な一実施形態による、携帯可能計算デバイスの位置を特定するためのプロセスのフローチャートの例示が描かれている。図９におけるプロセスは、ハードウェア、ソフトウェア、又はその両方の中に実装されてよい。ソフトウェア内に実装されるときに、プロセスは、１以上のコンピュータシステム内の１以上のハードウェアデバイスに位置付けられた１以上のプロセッサユニットによって実行されるプログラムコードの形態を採ってよい。例えば、これらのプロセスは、図１のタブレットコンピュータ１０８内に実装されてよく、又は図２の携帯可能計算デバイス２１４若しくはコンピュータシステム２１６のうちの少なくとも一方で実行され得る、図２の位置決めアプリケーション２２２内に実装されてよい。これらのプロセスは、これらの計算システムのうちの１つの中に位置付けられた拡張現実アプリケーション内に実装されてよい。

【0102】

該プロセスは、物理的な物体に対する位置目標を位置特定することによって開始する（動作９００）。位置目標は、特定の物理的な物体の構造物であってよい。例えば、位置目標は、バーコード、プレート、ポータル、出入口、又は物理的な物体内の何らかの他の適切な構造物であってよい。この位置目標は、物理的な物体内の知られた位置、並びに物理的な物体のモデル内の対応する位置を有する。

【0103】

該プロセスは、位置目標の目標位置を使用して、携帯可能計算デバイスを、画定された座標立方体内の物理的な物体の領域のモデルに位置決めする（動作９０２）。

【0104】

該プロセスは、物理的な物体に対する携帯可能計算デバイスの位置を特定する（動作９０４）。その後、該プロセスは終了する。

【0105】

図１０を参照すると、例示的な一実施形態による、不適合データをフィルタリングするためのプロセスのフローチャートの例示が描かれている。図１０のプロセスは、ハードウェア、ソフトウェア、又はその両方の中に実装されてよい。ソフトウェア内に実装されるとときに、プロセスは、１以上のコンピュータシステム内の１以上のハードウェアデバイスに位置付けられた１以上のプロセッサユニットによって実行されるプログラムコードの形態を採ってよい。例えば、これらのプロセスは、図１のタブレットコンピュータ１０８若しくはサーバコンピュータ１１０のうちの少なくとも一方の中に実装されてよく、又は図２の携帯可能計算デバイス２１４若しくはコンピュータシステム２１６のうちの少なくとも一方の中に実装されてよい。図１０のプロセスは、不適合データを携帯可能計算デバイス上に表示するために選択され得る１つのやり方の一例である。

【0106】

該プロセスは、その中で不適合データが所望されるところの空間を特定することによって開始する（動作１０００）。動作１０００では、その空間が、画定された座標立方体であってよい。該プロセスは、その中に携帯可能計算デバイスが位置付けられるところの物理的な物体を含む、物理的な物体の一組を特定する（動作１００２）。動作１００２では、物理的な物体の一組が、その中に携帯可能計算デバイスが位置付けられるところの物理的な物体に加えて、同じ種類の物理的な物体を含んでよい。このやり方では、不適合データが、同じ種類の他の物理的な物体向けに読み出されてよい。この種の読み出しは、同じ種類の異なる物理的な物体にわたる不適合の比較を可能にする。例えば、同じ種類の物体は、特定のライン上又は特定の製造施設内の全ての物理的な物体であってよい。

【0107】

該プロセスは、それに対して不適合データが所望されるところの時間も特定する（動作１００４）。この時間は、現在の時間であってよく、その場合、不適合データは、不適合データが現在存在する物理的な物体に対するものである。別の例示的な一実施例では、その時間が、物理的な物体に対して解決されたかもしれない不適合を含む時間の範囲であってよい。

【0108】

次いで、該プロセスは、時間及び物理的な物体の組を使用して、不適合データを読み出す（動作１００６）。その後、該プロセスは終了する。

【0109】

図示した種々の実施形態におけるフローチャート及びブロック図は、例示的な一実施形態における、装置及び方法の幾つかの可能な実施態様の構造、機能、及び動作を示している。これに関し、フローチャート又はブロック図内の各ブロックは、モジュール、セグメント、機能、又は動作若しくはステップの一部分のうちの少なくとも１つを表し得る。例えば、１以上のブロックは、プログラムコード、ハードウェア、又はプログラムコードとハードウェアの組み合わせとして実装されてよい。ハードウェア内に実装されたときに、ハードウェアは、例えば、フローチャート又はブロック図の１以上の動作を実行するように製造又は構成された集積回路の形態を採り得る。プログラムコードとハードウェアの組み合わせとして実装されたときに、この実装態様は、ファームウェアの形態を採り得る。フローチャート又はブロック図の各ブロックは、種々の動作を実行する専用ハードウェアシステム、又は専用ハードウェアと専用ハードウェアによって実行されるプログラムコードとの組み合わせを使用して実装され得る。

【0110】

例示的な一実施形態の幾つかの代替的な実施態様では、ブロック内に記載された１以上の機能が、図中に記載された順序を逸脱して出現し得る。例えば、場合によっては、連続して示される２つのブロックがほぼ同時に実施されること、又は時には含まれる機能に応じてブロックが逆順に実施されることもあり得る。また、フローチャート又はブロック図に示されているブロックに加えて、他のブロックが追加されることもある。

【0111】

次に、図１１を参照すると、例示的な一実施形態による、データ処理システムのブロック図の例示が描かれている。データ処理システム１１００を使用して、図１のタブレットコンピュータ１０８及びサーバコンピュータ１１０を実装することができる。データ処理システム１１００を使用して、図２の携帯可能計算デバイス２１４及びコンピュータシステム２１６を実装することもできる。この例示的な実施例では、データ処理システム１１００が、通信フレームワーク１１０２を含み、これによりプロセッサユニット１１０４、メモリ１１０６、固定記憶装置１１０８、通信ユニット１１１０、入出力（I／O）ユニット１１１２、及び表示ユニット１１１４間の通信が行われる。この実施例では、通信フレームワーク１１０２が、バスシステムの形態を採る。

【0112】

プロセッサユニット１１０４は、メモリ１１０６にロードされ得るソフトウェア向けの指示命令を実行する役割を果たす。プロセッサユニット１１０４は、１以上のプロセッサを含む。例えば、プロセッサユニット１１０４は、マルチコアプロセッサ、中央処理装置（CPU）、グラフィックス処理装置（GPU）、物理処理装置（PPU）、デジタル信号プロセッサ（DSP）、ネットワークプロセッサ、又は何らかの他の適切な種類のプロセッサのうちの少なくとも１つから選択されてよい。

【0113】

メモリ１１０６及び固定記憶装置１１０８は、記憶デバイス１１１６の実施例である。記憶デバイスは、例えば、限定するものではないが、データ、機能的な形態のプログラムコードなどの情報、又は他の適切な情報のうちの少なくとも１つを一時的に及び／若しくは永続的に記憶できる、任意のハードウェアである。これらの例示的な実施例では、記憶デバイス１１１６が、コンピュータ可読記憶デバイスとも称され得る。これらの実施例では、例えば、メモリ１１０６が、ランダムアクセスメモリ、又は任意の他の適切な揮発性若しくは不揮発性の記憶デバイスであってよい。固定記憶装置１１０８は、特定の実施態様に応じて、様々な形態を採ってよい。

【0114】

例えば、固定記憶装置１１０８は、１以上の構成要素又はデバイスを含んでよい。例えば、固定記憶装置１１０８は、ハードドライブ、ソリッドステートドライブ（SSD）、フラッシュメモリ、書換え型光学ディスク、書換え可能磁気テープ、又は上述の何らかの合わせであってよい。固定記憶装置１１０８によって使用される媒体は、着脱式のものであってもよい。例えば、固定記憶装置１１０８には、着脱式ハードドライブを使用してよい。

【0115】

これらの例示的な実施例では、通信ユニット１１１０が、他のデータ処理システム又はデバイスとの通信を提供する。これらの例示的な実施例では、通信ユニット１１１０が、ネットワークインタフェースカードである。

【0116】

入／出力ユニット１１１２は、データ処理システム１１００に接続され得る他のデバイスとの間で、データの入出力を可能にする。例えば、入／出力ユニット１１１２は、キーボード、マウス、又は何らかの他の適切な入力デバイスのうちの少なくとも１つを通じて、ユーザ入力用の接続を提供してよい。更に、入／出力ユニット１１１２は、プリンタに出力を送ってよい。ディスプレイ１１１４は、ユーザに情報を表示するための機構を提供する。

【0117】

オペレーティングシステム、アプリケーション、又はプログラムのうちの少なくとも１つに対する指示命令が、通信フレームワーク１１０２を通じてプロセッサユニット１１０４と通信する記憶デバイス１１１６内に位置付けられてよい。種々の実施形態のプロセスは、メモリ１１０６などのメモリ内に位置付けられ得る、コンピュータに実装された指示命令を使用して、プロセッサユニット１１０４によって実行されてよい。

【0118】

これらの指示命令は、プロセッサユニット１１０４内のプロセッサによって読まれ実行され得る、プログラムコード、コンピュータ使用可能プログラムコード、又はコンピュータ可読プログラムコードと称される。種々の実施形態のプログラムコードは、メモリ１１０６や固定記憶装置１１０８などの種々の物理的な媒体又はコンピュータ可読記憶媒体上に具現化されてよい。

【0119】

プログラムコード１１１８は、選択的に着脱可能であるコンピュータ可読媒体１１２０上に機能的な形態で位置付けられ、プロセッサユニット１１０４による実行向けにデータ処理システム１１００にロードしたり転送したりしてよい。これらの実施例では、プログラムコード１１１８とコンピュータ可読媒体１１２０が、コンピュータプログラム製品１１２２を形成する。例示的な実施例では、コンピュータ可読媒体１１２０が、コンピュータ可読記憶媒体１１２４である。

【0120】

これらの例示的な実施例では、コンピュータ可読記憶媒体１１２４が、プログラムコード１１１８を伝搬させるか又は送信する媒体というよりはむしろ、プログラムコード１１１８を記憶するために使用される物理的な又は有形の記憶デバイスである。

【0121】

代替的に、プログラムコード１１１８は、コンピュータ可読信号媒体を使用して、データ処理システム１１００に伝送されてよい。コンピュータ可読信号媒体は、例えば、プログラムコード１１１８を含む伝播データ信号であってよい。例えば、コンピュータ可読信号媒体は、電磁信号、光信号、又は他の任意の適切な種類の信号のうちの少なくとも１つであってよい。これらの信号は、無線接続、光ファイバーケーブル、同軸ケーブル、電線、又は任意の他の適切な種類の接続などの、接続を経由して送信されてよい。

【0122】

データ処理システム１１００に関して図示されている種々の構成要素は、種々の実施形態が実施され得るやり方に対して構造的制限を設けることを意図していない。ある例示的な実施例では、構成要素の１以上が、別の構成要素内に組み込まれてよく、又はさもなければ別の構成要素の一部分を形成してよい。例えば、メモリ１１０６又はその部分は、幾つかの例示的な実施例では、プロセッサユニット１１０４内に組み込まれてよい。種々の例示的実施形態は、データ処理システム１１００に対して図示されている構成要素に対する追加的又は代替的な構成要素を含む、データ処理システム内に実装されてよい。図１１に示した他の構成要素は、図示されている例示的な実施例と異なることがある。種々の実施形態は、プログラムコード１１１８を実行し得る任意のハードウェアデバイス又はシステムを使用して実装されてよい。

【0123】

本開示の例示的な実施形態は、図１２に示す航空機の製造及び保守方法１２００、及び図１３に示す航空機１３００に照らして説明され得る。先ず、図１２を参照すると、例示的な実施形態による航空機の製造及び保守方法のブロック図が示されている。製造前段階では、航空機の製造及び保守方法１２００は、図１３の航空機１３００の仕様及び設計１２０２、並びに材料の調達１２０４を含み得る。

【0124】

製造段階では、図１３の航空機１３００の、構成要素及びサブアセンブリの製造１２０６とシステムインテグレーション１２０８とが行われる。その後、図１３の航空機１３００は、運航１２１２に供されるために、認可及び納品１２１０を経てよい。顧客による運航１２１２の期間中に、図１３の航空機１３００には、改造、再構成、改修、及びその他の整備又は保守を含み得る定期的な整備及び保守１２１４が予定される。

【0125】

航空機の製造及び保守方法１２００の各プロセスは、システムインテグレータ、第三者、事業者、又はこれらの幾つかの組み合わせによって、実施又は実行され得る。これらの実施例では、事業者は顧客であってよい。この明細書において、システムインテグレータは、任意の数の航空機製造業者及び主要システム下請業者を含んでよいが、それらに限定されるわけではなく、第三者は、任意の数のベンダー、下請業者、及び供給業者を含んでよいが、それらに限定されるわけではなく、オペレータは、航空会社、リース会社、軍事団体、サービス機関などであってよい。

【0126】

次に、図１３を参照すると、例示的な実施形態が実装され得る航空機のブロック図が描かれている。この例では、航空機１３００は、図１２の航空機の製造及び保守方法１２００によって製造され、且つ複数のシステム１３０４と内装１３０６とを有する機体１３０２を含み得る。システム１３０４の例には、推進システム１３０８、電気システム１３１０、液圧システム１３１２、及び環境システム１３１４のうちの１以上が含まれる。任意の数の他のシステムが含まれていてもよい。航空宇宙産業の例が示されているが、種々の例示的な実施形態が、自動車産業といった他の産業に適用されてよい。

【0127】

本明細書で実施される装置及び方法は、図１２の航空機の製造及び保守方法１２００の各段階のうちの少なくとも１つで採用され得る。

【0128】

例示的な一例では、図１２の構成要素及びサブアセンブリの製造１２０６で製造される構成要素又はサブアセンブリは、図１２で航空機１３００の運航１２１２中に製造される構成要素又はサブアセンブリと同様の方法で作製又は製造される。更に別の実施例では、１以上の複数の装置の実施形態、方法の実施形態、又はこれらの組み合わせを、図１２の構成要素及びサブアセンブリの製造１２０６並びにシステムインテグレーション１２０８などの製造段階で利用することができる。１以上の装置の実施形態、方法の実施形態、又はこれらの組み合わせを、航空機１３００が、図１２の運航１２１２中、整備及び保守１２１４の間、又はその両方の間にあるときに利用することができる。例えば、図２の拡張現実システム２１２が、構成要素及びサブアセンブリの製造１２０６並びにシステムインテグレーション１２０８の間に使用されて、製造のフェーズにおいて航空機１３００内の部品又はアセンブリ内に存在し得る不適合を可視化することができる。更に、拡張現実システム２１２を使用して、整備及び保守１２１４の間に不適合を位置特定することもできる。

【0129】

幾つかの異なる例示的な実施形態の利用により、航空機１３００の組み立てを大幅に効率化すること、航空機１３００のコストを削減すること、又は航空機１３００の組み立てを大幅に効率化すること及び航空機１３００のコストを削減することの両方が可能になる。図２の拡張現実システム２１２を使用することによって、航空機１３００又は航空機１３００向けの部品若しくはアセンブリのライブビューを拡張することを通じて、不適合位置を見つけるのに必要な時間を低減させることができる。更に、拡張現実システム２１２は、不適合の位置に加えて不適合データを用いてライブビューを拡張することもできる。

【0130】

次に、図１４を参照すると、例示的な一実施形態による、製品管理システムのブロック図の例示が描かれている。製品管理システム１４００は、物理的なハードウェアシステムである。この例示的な実施例では、製品管理システム１４００は、製造システム１４０２又は整備システム１４０４のうちの少なくとも一方を含んでよい。

【0131】

製造システム１４０２は、図１３の航空機１３００などの製品を製造するように構成されている。描かれているように、製造システム１４０２は、製造設備１４０６を含む。製造設備１４０６は、加工設備１４０８又は組立設備１４１０のうちの少なくとも１つを含む。

【0132】

加工設備１４０８は、図１３の航空機１３００の形成に使用される部品用の構成要素を加工するために使用され得る機器である。例えば、加工設備１４０８は機械及びツールを含んでよい。これらの機械及びツールは、ドリル、油圧プレス、加熱炉、金型、複合材テープ載置機、真空システム、旋盤、又は他の適切な種類の機器のうちの少なくとも１つであってよい。加工設備１４０８を使用して、金属部品、複合材部品、半導体、回路、ファスナ、リブ、外板、スパー、アンテナ、または他の適切な種類の部品のうちの少なくとも１つが加工されてよい。

【0133】

組立設備１４１０は、図１３の航空機１３００を形成する部品を組み立てるために使用される設備である。具体的には、組立設備１４１０を使用して、図１３の航空機１３００を形成するための構成要素及び部品を組み立てることができる。組立設備１４１０は、機械及びツールもまた含んでよい。このような機械及びツールは、ロボットアーム、クローラ、ファスナ設置システム、レールベースの穿孔システム、またはロボットのうちの少なくとも１つであってよい。組立設備１４１０を使用して、図１３の航空機１３００向けの座席、水平安定板、翼、エンジン、エンジンハウジング、着陸装置システムなどの部品、及び他の部品を組み立てることができる。

【0134】

この例示的な実施例では、整備システム１４０４が、整備設備１４１２を含んでよい。整備設備１４１２は、図１３の航空機１３００の整備を実施するのに必要なあらゆる設備を含んでよい。整備設備１４１２は、図１３の航空機１３００の部品に種々の作業を実行するためのツールを含んでよい。これらの作業は、部品の分解、部品の改修、部品の検査、部品の再加工、交換部品の製造、又は図１３の航空機１３００に整備を実施するための他の動作のうちの少なくとも１つを含んでよい。これらの作業は、定期的整備、検査、アップグレード、改修、又は他の種類の保守作業であってよい。

【0135】

この例示的な実施例では、整備設備１４１２は、超音波検査装置、Ｘ線撮像システム、ビジョンシステム、ドリル、クローラ、及び他の適切なデバイスを含んでよい。ある場合には、整備設備１４１２は、整備に必要であり得る部品を生産し組み立てるための、加工設備１４０８、組立設備１４１０、又はこれらの両方を含んでよい。

【0136】

製品管理システム１４００は、制御システム１４１４もまた含む。制御システム１４１４は、ハードウェアシステムであり、ソフトウェア又は他の種類の構成要素も含んでよい。制御システム１４１４は、製造システム１４０２又は整備システム１４０４のうちの少なくとも一方の動作を制御するように構成されている。具体的には、制御システム１４１４が、加工設備１４０８、組立設備１４１０、又は整備設備１４１２のうちの少なくとも１つの動作を制御してよい。

【0137】

制御システム１４１４のハードウェアは、コンピュータ、回路、ネットワーク、及び他の種類の設備を含み得る、ハードウェアを使用して実装されてよい。制御は、製造設備１４０６の直接制御の形態を採ってよい。例えば、ロボット、コンピュータ制御機械、及び他の設備は、制御システム１４１４によって制御されてよい。他の例示的な実施例では、制御システム１４１４が、航空機１３００の製造又は整備の実施において、作業人員１４１６によって実行される作業を管理してよい。例えば、制御システム１４１４は、任務を割り当てる、指示命令を与える、モデルを表示する、又は作業人員１４１６が実行する作業を管理するための他の作業を実行してよい。このような例示的な実施例では、図２の拡張現実システム２１２は、制御システム１４１４内に実装され、図１３の航空機１３００の製造又は保守のうちの少なくとも一方を管理してよい。

【0138】

例えば、拡張現実システム２１２を作業人員１４１６が使用して、不適合についての情報を取得することができる。例えば、拡張現実システム２１２内の携帯可能計算デバイス２１４は、製造のフェーズ中に部品、アセンブリ、又は製品のライブビューを拡張することができる。

【0139】

拡張を使用することによって、作業人員１４１６が、より少ない時間で不適合位置を特定することが可能となる。更に、拡張を使用することによって、図１３の航空機１３００の製造又は保守のうちの少なくとも一方を制御することにおいて、作業人員１４１６に情報及び指示命令を提供することもできる。

【0140】

種々の例示的な実施例において、作業人員１４１６は、製造設備１４０６、整備設備１４１２、若しくは制御システム１４１４のうちの少なくとも１つを操作してよく、又はそれらのうちの少なくとも１つとやり取りしてよい。図１３の航空機１３００を製造するために、このやり取りが実施されてよい。

【0141】

当然ながら、製品管理システム１４００は、図１３の航空機１３００以外の他の製品を管理するように構成されてよい。製品管理システム１４００は、航空宇宙産業における製造に関連して記載されているが、製品管理システム１４００は、他の産業の製品を管理するようにも構成されていてよい。例えば、製品管理システム１４００は、自動車産業、及び任意の他の適切な産業の製品を製造するように構成されてよい。

【0142】

したがって、例示的な実施例は、作業人員が、製造のフェーズ中に航空機などの物理的な物体上の不適合の位置を特定することを可能にする、拡張現実システムを提供する。例示的な実施例は、三次元点群生成、同時位置決め地図作成プロセス、及び不適合についてのデータを組み合わせて、携帯可能計算デバイスを操作している作業人員に、物理的な物体に対する携帯可能計算デバイスの相対的な位置に基づく情報を提供する。

【0143】

このやり方では、航空機内のものなどの、画定された物理的ローカル座標系内で見ることがしばしば困難な不適合が、図２の拡張現実システム２１２を使用して可視化され得る。例示的な実施例では、拡張現実が、三次元走査技術を利用して、点群モデルを生成する。モデルの点は、現在利用可能な同時位置決め地図作成（SLAM）プロセスを使用して、基準点に対する携帯可能計算デバイスの位置を特定する。不適合データのデータベースにアクセスして、携帯可能計算デバイスからのライブビュー内で視認可能な不適合に対する不適合情報を提供する。

【0144】

種々の例示的な実施形態の説明は、例示及び説明を目的として提示されており、網羅的であること、又は開示された形態の実施形態に限定することは意図されていない。動作又は作業を実施する構成要素が、種々の実施例によって説明される。一実施例においては、構成要素は、記載された動作や作業を実施するように構成され得る。例えば、この構成要素は、実施例において構成要素によって実施されると説明されている動作又は作業を実施する能力をこの構成要素に提供する構造向けの構成又は設計を有し得る。

【0145】

更に本発明は、以下の条項による実施形態を含む。
条項１.
物理的な物体（２０４）に対する不適合データ（２１０）を可視化するための拡張現実システム（２１２）であって、
センサシステム（２３２）及び表示システム（２２６）を有する、携帯可能計算デバイス（２１４）であって、前記携帯可能計算デバイス（２１４）及び前記センサシステム（２３２）が、製造（２３６）のフェーズにおいて前記物理的な物体（２０４）に対する空間内のポイントを表す走査データ（２３０）を生成するように構成されている、携帯可能計算デバイス（２１４）、
実行されたときに、前記走査データ（２３０）を使用して前記物理的な物体（２０４）の領域（２４０）の表面輪郭の点群表現（２４２）を生成する、走査アプリケーション（２１８）、
実行されたときに、前記物理的な物体（２０４）の前記領域（２４０）に対する前記点群表現（２４２）を使用して、画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）のモデル（２４４）を生成する、モデル化アプリケーション（２２０）、
実行されたときに、前記携帯可能計算デバイス（２１４）を、位置目標（２５０）に基づいて、前記画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）の前記モデル（２４４）に位置決めし、前記物理的な物体（２０４）に対する前記携帯可能計算デバイス（２１４）の位置（２４８）を特定する、位置決めアプリケーション（２２２）、並びに
実行されたときに、
前記物理的な物体（２０４）上の不適合位置（２０８）に対応する点（２３４）を前記画定された座標立方体（２４６）内にプロットし、
前記携帯可能計算デバイス（２１４）によって取得された前記物理的な物体（２０４）の前記領域（２４０）の画像（２３８）内で視認可能な前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）のサブセット（２５４）であって、前記携帯可能計算デバイス（２１４）の前記位置（２４８）から見たときに、物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除するサブセット（２５４）を決定し、
前記携帯可能計算デバイス（２１４）内の前記表示システム（２２６）上で表示される前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）のサブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示する、拡張現実アプリケーション（２２４）を備える、拡張現実システム（２１２）。
条項２．
前記携帯可能計算デバイス（２１４）内の前記表示システム（２２６）上で表示される前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）の前記サブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示することにおいて、前記拡張現実アプリケーション（２２４）が、前記物理的な物体（２０４）の前記領域（２４０）の前記画像（２３８）内の視界から隠される前記不適合位置（２０８）に対する前記不適合データ（２１０）を表示することなしに、前記携帯可能計算デバイス（２１４）内の前記表示システム（２２６）上に表示される前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）の前記サブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示する、条項１に記載の拡張現実システム（２１２）。
条項３．
前記携帯可能計算デバイス（２１４）によって取得された前記物理的な物体（２０４）の前記領域（２４０）の画像（２３８）内で視認可能な前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）の前記サブセット（２５４）であって、前記携帯可能計算デバイス（２１４）の前記位置（２４８）から見たときに、前記物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除する前記サブセット（２５４）を決定することにおいて、前記拡張現実アプリケーション（２２４）が、前記不適合位置（２０８）に対する前記画定された座標立方体（２４６）内にプロットされた前記点（２３４）のうちのどれが、前記画像（２３８）内の前記物理的な物体の構造物を所定の距離以上超えて位置付けられており、前記位置（２４８）にある前記携帯可能計算デバイス（２１４）からの視界から隠されるかを決定し、前記物理的な物体の構造物を前記所定の距離以上超えているこれらの点が、前記点（２３４）の前記サブセット（２５４）から排除される、条項１に記載の拡張現実システム（２１２）。
条項４．
前記物理的な物体（２０４）が航空機構造物であり、前記携帯可能計算デバイス（２１４）の前記位置（２４８）において前記携帯可能計算デバイス（２１４）によって取得された前記物理的な物体（２０４）の前記領域（２４０）の画像（２３８）内で視認可能な前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）の前記サブセット（２５４）を決定することにおいて、前記拡張現実アプリケーション（２２４）が、表示される航空機構造物からの各不適合位置の距離が、視界から隠される前記不適合位置に対応する所定の距離を超えていると判定する、条項１に記載の拡張現実システム（２１２）。
条項５．
前記携帯可能計算デバイス（２１４）を、前記画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）の前記モデル（２４４）に位置決めし、前記物理的な物体（２０４）に対する前記携帯可能計算デバイス（２１４）の位置（２４８）を特定することにおいて、前記位置決めアプリケーション（２２２）が、前記物理的な物体（２０４）に対する位置目標（２５０）を位置特定し、前記位置目標（２５０）の目標位置（２５２）を使用して前記携帯可能計算デバイス（２１４）を前記画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）の前記モデル（２４４）に位置決めし、前記物理的な物体（２０４）に対する前記携帯可能計算デバイス（２１４）の前記位置（２４８）を特定する、条項１に記載の拡張現実システム（２１２）。
条項６．
前記拡張現実アプリケーション（２２４）が、実行されたときに、前記携帯可能計算デバイス（２１４）が、パノラミックビュー向けに選択された距離より大きいかどうかを判定し、前記画定された座標立方体（２４６）内の前記不適合位置（２０８）の全てに対する前記点（２３４）を表示して、前記不適合位置（２０８）の全てのパノラミックビューを提供する、条項１に記載の拡張現実システム（２１２）。
条項７．
前記拡張現実アプリケーション（２２４）が、実行されたときに、時間情報に基づいて前記不適合データ（２１０）をフィルタして、歴史的な不適合データ（２１０）又はアクティブな不適合データ（２１０）のうちの少なくとも一方を表示する、条項１に記載の拡張現実システム（２１２）。
条項８．
前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）が、ライブの不適合データ（２１０）である、条項１に記載の拡張現実システム（２１２）。
条項９．
前記物理的な物体（２０４）上の前記不適合位置（２０８）を受け取るように構成されたインターフェースを更に備える、条項１に記載の拡張現実システム（２１２）。
条項１０．
前記センサシステム（２３２）が、三次元スキャナ、カメラ、全地球測位システム受信器、構造化された光三次元スキャナ、ライダーシステム、レーザースキャナ、コノスコープホノグラフシステム、又は飛行時三次元スキャナのうちの少なくとも１つを備える、条項１に記載の拡張現実システム（２１２）。
条項１１．
前記携帯可能計算デバイス（２１４）が、携帯電話、タブレットコンピュータ、頭部装着デバイス、及びスマート眼鏡を含む、群から選択される、条項１に記載の拡張現実システム（２１２）。
条項１２．
前記物理的な物体（２０４）が、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、外板、及び椅子を含む、群から選択される、条項１に記載の拡張現実システム（２１２）。
条項１３．
物理的な物体（２０４）に対する不適合データ（２１０）を可視化するための拡張現実システム（２１２）であって、
物理的な物体（２０４）の画像（２３８）を取得するように構成された携帯可能計算デバイス（２１４）と、
前記携帯可能計算デバイス（２１４）によって実行されたときに、前記物理的な物体（２０４）上の不適合位置（２０８）に対応する点（２３４）を画定された座標立方体（２４６）内にプロットし、前記携帯可能計算デバイス（２１４）の位置（２４８）において前記携帯可能計算デバイス（２１４）によって取得された前記画像（２３８）内で視認可能な前記物理的な物体（２０４）の領域（２４０）に対応する前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）のサブセット（２５４）であって、前記画像（２３８）内の前記物理的な物体（２０４）の物理的な物体の構造物によって視界から隠される不適合位置（２０８）を排除する前記点（２３４）のサブセット（２５４）を決定し、前記携帯可能計算デバイス（２１４）内の表示システム（２２６）上に表示される前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）のサブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示する、拡張現実アプリケーション（２２４）とを備える、拡張現実システム（２１２）。
条項１４．
前記携帯可能計算デバイス（２１４）が、製造（２３６）のフェーズにおいて前記物理的な物体（２０４）に対する空間内の点（２３４）を表す走査データ（２３０）を生成するように構成された、センサシステム（２３２）を含み、
前記拡張現実システム（２１２）が更に、
実行されたときに、前記走査データ（２３０）を使用して前記物理的な物体（２０４）の領域（２４０）の表面輪郭の点群表現（２４２）を生成する、走査アプリケーション（２１８）と、
実行されたときに、前記物理的な物体（２０４）の前記領域（２４０）に対する前記点群表現（２４２）を使用して、画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）のモデル（２４４）を生成する、モデル化アプリケーション（２２０）と、
実行されたときに、前記携帯可能計算デバイス（２１４）を、位置目標（２５０）に基づいて、前記画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）の前記モデル（２４４）に位置決めし、前記物理的な物体（２０４）に対する前記携帯可能計算デバイス（２１４）の位置（２４８）を特定する、位置決めアプリケーション（２２２）とを備える、条項１３に記載の拡張現実システム（２１２）。
条項１５．
コンピュータシステムであって、前記走査アプリケーション（２１８）、前記モデル化アプリケーション（２２０）、及び前記位置決めアプリケーション（２２２）のうちの少なくとも１つが、前記コンピュータシステム内に位置付けられている、コンピュータシステムを更に備える、条項１４に記載の拡張現実システム（２１２）。
条項１６．
前記走査アプリケーション（２１８）、前記モデル化アプリケーション（２２０）、及び前記位置決めアプリケーション（２２２）のうちの少なくとも１つが、前記携帯可能計算デバイス（２１４）内に位置付けられている、条項１４に記載の拡張現実システム（２１２）。
条項１７．
前記携帯可能計算デバイス（２１４）の前記位置（２４８）において前記携帯可能計算デバイス（２１４）によって取得された前記画像（２３８）内で視認可能な前記物理的な物体（２０４）の前記領域（２４０）に対応する前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）の前記サブセット（２５４）を決定することにおいて、前記拡張現実アプリケーション（２２４）が、不適合位置（２０８）に対する前記画定された座標立方体（２４６）内にプロットされた前記点（２３４）のうちのどれが、前記画像（２３８）内の前記物理的な物体（２０４）の前記物理的な物体の構造物を所定の距離以上超えて位置付けられており、前記位置（２４８）にある前記携帯可能計算デバイス（２１４）からの視界から隠されるかを決定し、前記物理的な物体の構造物を前記所定の距離以上超えているこれらの点が、前記点（２３４）の前記サブセット（２５４）から排除される、条項１３に記載の拡張現実システム（２１２）。
条項１８．
物理的な物体（２０４）に対する不適合データ（２１０）を可視化するための方法であって、
携帯可能計算デバイス（２１４）内の拡張現実アプリケーション（２２４）によって、前記物理的な物体（２０４）上の不適合位置（２０８）に対応する点（２３４）を、画定された座標立方体（２４６）内にプロットすること、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記携帯可能計算デバイス（２１４）によって取得された前記物理的な物体（２０４）の領域（２４０）の画像（２３８）内で視認可能な前記物理的な物体（２０４）の前記領域（２４０）に対応する前記画定された座標立方体（２４６）内でプロットされた前記点（２３４）のサブセット（２５４）であって、前記携帯可能計算デバイス（２１４）の位置（２４８）から見たときに物理的な物体の構造物を超えて位置付けられていると判定されたプロットされた点を排除し、前記画像（２３８）内の前記物理的な物体（２０４）の物理的な物体の構造物によって視界から隠される不適合位置（２０８）を排除する前記点（２３４）のサブセット（２５４）を決定すること、及び
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記携帯可能計算デバイス（２１４）内の表示システム（２２６）上に表示される前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）のサブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示することを含む、方法。
条項１９．
前記決定するステップが、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記不適合位置（２０８）に対する前記画定された座標立方体（２４６）内にプロットされた前記点（２３４）が、前記画像（２３８）内の前記物理的な物体の構造物を所定の距離以上超えて位置付けられており、前記位置（２４８）にある前記携帯可能計算デバイス（２１４）からの視界から隠されると判定すること、及び
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記物理的な物体の構造物を所定の距離以上超えているこれらの点を排除することであって、残っている点（２５８）が前記点（２３４）の前記サブセット（２５４）を形成する、これらの点を排除することを含む、条項１８に記載の方法。
条項２０．
前記決定するステップが、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記不適合位置（２０８）に対する残っている点（２５８）のうちのどれが、前記画像（２３８）内で表示される前記物理的な物体の構造物からの各不適合位置の距離を、視界から隠される不適合位置に対応する所定の距離以上超えていると判定することによって、隠されるべきか決定することを含む、条項１８に記載の方法。
条項２１．
前記物理的な物体（２０４）に対する位置目標（２５０）を位置特定すること、
前記位置目標（２５０）の目標位置（２５２）を使用して、前記携帯可能計算デバイス（２１４）を、前記位置目標（２５０）に基づいて、前記画定された座標立方体（２４６）内の前記物理的な物体（２０４）の前記領域（２４０）のモデル（２４４）に位置決めすること、及び
前記物理的な物体（２０４）に対する前記携帯可能計算デバイス（２１４）の前記位置（２４８）を特定することを更に含む、条項１８に記載の方法。
条項２２．
前記表示するステップが、
前記携帯可能計算デバイス（２１４）内の前記拡張現実アプリケーション（２２４）によって、前記物理的な物体（２０４）の前記領域（２４０）の前記画像（２３８）内の視界から隠される前記不適合位置（２０８）に対する前記不適合データ（２１０）を表示することなしに、前記携帯可能計算デバイス（２１４）内で前記表示システム（２２６）上に表示される前記画像（２３８）内の前記物理的な物体（２０４）に対する前記不適合位置（２０８）の前記サブセット（２５６）に関連付けて、前記画像（２３８）内で視認可能な前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）を表示することを含む、条項１８に記載の方法。
条項２３．
前記携帯可能計算デバイス（２１４）が、パノラミックビュー向けに選択された距離より大きいかどうかを判定し、前記画定された座標立方体（２４６）内の前記不適合位置（２０８）の全てに対する前記点（２３４）を表示して、前記不適合位置（２０８）の全てのパノラミックビューを提供することを更に含む、条項１８に記載の方法。
条項２４．
前記拡張現実アプリケーション（２２４）が、実行されたときに、時間情報に基づいて前記不適合データ（２１０）をフィルタして、歴史的な不適合データ（２１０）又はアクティブな不適合データ（２１０）のうちの少なくとも一方を表示する、条項１８に記載の方法。
条項２５．
前記点（２３４）の前記サブセット（２５４）に対する前記不適合データ（２１０）が、ライブの不適合データ（２１０）である、条項１８に記載の方法。
条項２６．
前記携帯可能計算デバイス（２１４）が、携帯電話、タブレットコンピュータ、頭部装着デバイス、及びスマート眼鏡を含む、群から選択される、条項１８に記載の方法。
条項２７．
前記物理的な物体（２０４）が、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、民間航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、並びに、航空機構造物、主翼、胴体セクション、エンジンハウジング、エンジン、複合材パネル、壁、外板、及び椅子を含む、群から選択される、条項１８に記載の方法。

【0146】

当業者には、多くの修正形態及び変形形態が自明であるだろう。更に、種々の例示的な実施形態によって、他の好ましい実施形態と比較して異なる特徴が提供され得る。選択された１以上の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対して、様々な実施形態の開示内容と考慮される特定の用途に適した様々な修正の理解を促すために選択及び記述されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】