特許 7475834 複合材部品製造用の拡張現実システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】複合材部品製造用の拡張現実システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240422BHJP

   G01B 11/24 20060101ALI20240422BHJP

   B64F 5/10 20170101ALI20240422BHJP

【ＦＩ】

G06T19/00 600

G01B11/24 A

B64F5/10

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2019191722

(22)【出願日】2019-10-21

(65)【公開番号】P2020107321

(43)【公開日】2020-07-09

【審査請求日】2022-10-12

(31)【優先権主張番号】16/167,636

(32)【優先日】2018-10-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ラフリン， ブライアン デール

(72)【発明者】

【氏名】スケルトン， メリッサ マーガレット

【審査官】中田 剛史

(56)【参考文献】

【文献】国際公開第２０１６／０８４１４２（ＷＯ，Ａ１）

【文献】特表２０１５－５１５６５５（ＪＰ，Ａ）

【文献】米国特許第０８９０２２５４（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０１Ｂ １１／２４

Ｂ６４Ｆ ５／１０

(57)【特許請求の範囲】

【請求項1】

ツール（３０６）上のレイアップ位置（３０４）に関するタスク情報（３０２）を可視化するための方法であって、
スキャンデータ（３１４）を生成するために、前記ツール（３０６）に対する種々の視点（３１２）において、作業人員（２０４）が装着している携帯用コンピュータ装置（２１４）を使用して、ツール（３０６）をスキャンすることと、
前記携帯用コンピュータ装置（２１４）によって生成された前記スキャンデータ（３１４）から、コンピュータシステム（２１８）によって、点群（３１８）を作成することと、
前記コンピュータシステム（２１８）によって、前記点群（３１８）を使用して、前記ツール（３０６）の結合マップ（３１６）を作成することと、
前記ツール（３０６）の前記結合マップ（３１６）を使用して、複数の前記携帯用コンピュータ装置（２１４）のうちの１つの携帯用コンピュータ装置（２３８）の、前記ツール（３０６）に対する自己位置推定を行うことと、
前記ツール（３０６）の前記結合マップ（３１６）と複合材プライ（３０８）のプライモデル（３２４）とを使用して自己位置推定が行われた前記携帯用コンピュータ装置（２３８）内の、ディスプレイ装置（３２８）を通じて見ることができるライブビュー（３２６）上に、前記ツール（３０６）上の前記レイアップ位置（３０４）に関する前記タスク情報（３０２）を、前記携帯用コンピュータ装置（２３８）によって表示することであって、表示されたタスク情報（３０２）が前記ツール（３０６）の前記ライブビュー（３２６）を拡張する、前記タスク情報（３０２）を表示することと、を含む方法。

【請求項2】

前記ツール（３０６）上の前記レイアップ位置（３０４）のライブビュー（３２６）上に表示された前記タスク情報（３０２）内のガイドを使用して、複合材プライを配置することをさらに含み、前記ガイドが前記ツール（３０６）上に任意の数の複合材プライ（３０８）を配置することを補助する、
請求項１に記載の方法。

【請求項3】

前記ツール（３０６）上の前記レイアップ位置（３０４）に関する前記タスク情報（３０２）を表示することが、
前記複合材プライ（３０８）の前記プライモデル（３２４）中の前記レイアップ位置（３０４）を特定することと、
前記プライモデル（３２４）及び前記結合マップ（３１６）を使用して、任意の数の前記複合材プライ（３０８）用の任意の数のガイド（３３０）に関する前記ライブビュー（３２６）上のレイアップ位置（３０４）を決定することと、
自己位置推定されている前記携帯用コンピュータ装置（２３８）内の前記ディスプレイ装置（３２８）を通じて見ることができる前記ツール（３０６）の前記ライブビュー（３２６）上の前記レイアップ位置（３０４）において、前記任意の数の前記複合材プライ（３０８）用の前記任意の数のガイド（３３０）を、前記携帯用コンピュータ装置（２３８）によって表示することであって、前記任意の数のガイド（３３０）が、前記ツール（３０６）上に前記任意の数の前記複合材プライ（３０８）を設置することを補助する、前記任意の数のガイド（３３０）を表示することと、
を含む、請求項１または２に記載の方法。

【請求項4】

自己位置推定が行われた前記携帯用コンピュータ装置（２３８）内の前記ディスプレイ装置（３２８）を通じて見ることができる前記ツール（３０６）の前記ライブビュー（３２６）上の前記レイアップ位置（３０４）において、任意の数の複合材プライ（３０８）用の前記任意の数のさらなるガイドを、前記携帯用コンピュータ装置（２３８）によって表示することであって、前記任意の数のさらなるガイドが、前記ツール（３０６）上の任意の数の複合材プライ（３０８）の前記任意の数の先行する配置を示している、前記任意の数のさらなるガイドを表示すること
をさらに含む、請求項３に記載の方法。

【請求項5】

前記ツール（３０６）上の前記レイアップ位置（３０４）に関するタスク情報（３０２）を表示することが、
前記任意の数の前記複合材プライ（３０８）の配置に関するプライ数、命令、画像、または映像のうちの少なくとも１つを表示することを含む、請求項３に記載の方法。

【請求項6】

前記点群（３１８）を使用して、前記ツール（３０６）の前記結合マップ（３１６）を作成することが、
複数のマップ（３２０）を形成するため、複数の前記点群（３１８）中の各点群からマップを作成することと、
前記ツール（３０６）の前記結合マップ（２３４）を形成するため、前記複数のマップ（３２０）を結合することと
を含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記結合マップ（３１６）を形成するために前記複数のマップ（３２０）を結合することが、
前記複数のマップ（３２０）中の共通基準点を特定することと、
前記共通基準点を使用して前記複数のマップ（３２０）を結合することであって、異なる視点（３１２）から生成されたスキャンデータ（３１４）から作成された前記複数のマップ（３２０）によって前記結合マップ（３１６）の正確性が向上されている、前記複数のマップ（３２０）を結合することとを含む、請求項６に記載の方法。

【請求項8】

前記ツール（３０６）の前記結合マップ（３１６）を使用して、複数の前記携帯用コンピュータ装置（２１４）内の１つの携帯用コンピュータ装置（２３８）の、前記ツール（３０６）に対する自己位置推定を行うことが、
前記結合マップ（３１６）及び、自己位置推定とマッピングの同時実行プロセス（２４０）を使用して、複数の前記携帯用コンピュータ装置（２１４）内の１つの前記携帯用コンピュータ装置（２３８）の、前記ツール（３０６）に対する自己位置推定を行うことを含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

レイアップ位置（３０４）に関するタスク情報（３０２）が、複合材部品（３１０）の製造または前記複合材部品（３１０）のリワークのうちの少なくとも１つに関して、複合材プライをレイアップするためのガイドであり、前記ツール（３０６）が、マンドレル、金型、複合材ツール（３０６）を含む群から選択される、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記携帯用コンピュータ装置（２１４）が、スマートグラス（１２０、１２２、４０６、４０８）、携帯電話（１１８）、タブレットコンピュータ（１１６）、またはヘッドマウントディスプレイのうちの少なくとも１つから選択され、前記携帯用コンピュータ装置（２１４）が、レーザースキャナー、構造化光三次元スキャナー、または赤外線スキャナーのうちの少なくとも１つを使用して前記ツール（３０６）をスキャンする、請求項１から９のいずれか一項に記載の方法。

【請求項11】

ツール（３０６）上のレイアップ位置（３０４）を可視化するための拡張現実システムであって、
スキャンデータ（３１４）を生成するため、前記ツール（３０６）に対する種々の視点（３１２）において、作業人員（２０４）が装着している携帯用コンピュータ装置（２１４）を使用して、スキャンデータ（３１４）を受信することと、
前記携帯用コンピュータ装置（２１４）によって生成された前記スキャンデータ（３１４）を使用して、前記ツール（３０６）の複数のマップ（３２０）を作成することと、
前記ツール（３０６）の結合マップ（３１６）を形成するために前記複数のマップ（３２０）を結合することと、
プライモデル（３２４）内の前記レイアップ位置（３０４）に関するタスク情報（３０２）を特定することと、
前記ツール（３０６）上の前記レイアップ位置（３０４）の前記タスク情報（３０２）を、複数の前記携帯用コンピュータ装置（２１４）の中の１つの携帯用コンピュータ装置（２３８）に送信することとを行うように動作するコンピュータシステム（２１８）を備え、
前記携帯用コンピュータ装置（２３８）が、前記ツール（３０６）の前記結合マップ（３１６）及び複合材プライ（３０８）のプライモデル（３２４）を使用して自己位置推定が行われた前記携帯用コンピュータ装置（２３８）内の、ディスプレイ装置（３２８）を通じて見ることができるライブビュー（３２６）上に、前記ツール（３０６）の前記レイアップ位置（３０４）に関する前記タスク情報（３０２）を表示する、拡張現実システム。

【請求項12】

拡張現実システムであって、前記携帯用コンピュータ装置（２３８）をさらに備え、前記携帯用コンピュータ装置（２３８）が、前記複合材プライ（３０８）の前記プライモデル（３２４）中の前記レイアップ位置（３０４）を特定することと、前記プライモデル（３２４）及び前記結合マップ（３１６）を使用して、任意の数の前記複合材プライ（３０８）用の任意の数のガイド（３３０）に関する、前記ライブビュー（３２６）上の位置を決定することと、自己位置推定が行われた前記携帯用コンピュータ装置（２３８）内の前記ディスプレイ装置（３２８）を通じて見ることができる前記ツール（３０６）の前記ライブビュー（３２６）上の前記位置において、前記任意の数の前記複合材プライ用の前記任意の数のガイド（３３０）を表示することであって、前記任意の数のガイド（３３０）が、前記ツール（３０６）上に前記任意の数の複合材プライ（３０８）を配置するためのガイドである、前記任意の数のガイド（３３０）を表示することと、
前記任意の数の前記複合材プライ（３０８）を配置するための、プライ数、命令、画像、または映像のうちの少なくとも１つを表示する、
請求項１１に記載の拡張現実システム。

【請求項13】

前記スキャンデータ（３１４）が点群（３１８）を含み、前記結合マップ（３１６）を作成する際、前記コンピュータシステム（２１８）が、
複数のマップ（３２０）を形成するため、複数の前記点群（３１８）中の各点群からマップを作成することと、
前記結合マップ（３１６）を形成するため、前記複数のマップ（３２０）を結合することと
を行うように動作する、請求項１１または１２に記載の拡張現実システム。

【請求項14】

前記結合マップ（３１６）を形成するために前記複数のマップ（３２０）を結合する際に、前記コンピュータシステム（２１８）が、前記複数のマップ（３２０）中の共通基準点を特定することと、
前記共通基準点を使用して前記複数のマップ（３２０）を結合することであって、種々の視点（３１２）から生成されたスキャンデータ（３１４）から作成された前記複数のマップ（３２０）によって前記結合マップ（３１６）の正確性が向上されている、前記複数のマップ（３２０）を結合することと
を行うように動作する、請求項１１から１３のいずれか一項に記載の拡張現実システム。

【請求項15】

複数の前記携帯用コンピュータ装置（２１４）内の１つの携帯用コンピュータ装置（２３８）が、前記結合マップ（３１６）、及び自己位置推定とマッピングの同時実行プロセス（２４０）を使用して、前記ツール（３０６）に対する自己位置推定を行う、請求項１１から１４のいずれか一項に記載の拡張現実システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して複合材部品の製造に関し、具体的には、拡張現実システムを使用した複合材部品を製造するための方法、機器、及びシステムに関する。

【背景技術】

【0002】

複合材部品は、ツール上に複合材料のプライをレイアップすることによって製造される。プライは、配置されるのに先立って、樹脂にプレ含浸され得る。これらのタイプのプライは、プリプレグと呼ばれる。プライがツール上にレイアップされた後、層が硬化され、複合材部品が形成される。

【0003】

プライをその複合材料用に指定された正しい位置、順序、及び配向でレイアップすることは、所望の水準のできばえを手に入れるために重要である。今日では、プライが作業人員によって配置される際、プライは、プライ配置用のガイドを表示するためのオーバーヘッドレーザートラッカー（ＯＬＴ）を使用して、ツール上に配置される。このオーバーヘッドレーザートラッカーによって、ツール上にプライを配置する際の正確性が向上する。

【0004】

オーバーヘッドレーザートラッカーは、レイアップ領域の上方に取り付けられたレーザープロジェクター、コンピュータコントローラ、及び一組の再帰反射式の位置合わせ用ピンまたは基準マーカーを備える。位置合わせ用ピンまたは基準マーカーは、ツール上に置かれており、三次元空間上でツールの位置を定めるための基準点として使用される。レーザープロジェクターは、プライの配置を特定する外形を、ツール上に表示する。

【0005】

このタイプのシステムは効果的であるが、専用のスペースを必要とする。例えば、レーザープロジェクターは、プライをレイアップするのに使われるツールの上方に、固定スペースを必要とする。さらに、オーバーヘッドレーザートラッカーをツールの上方に設置することが必要になる。加えて、オーバーヘッドレーザートラッカーは、購入費用が高価であり、較正及び他の整備もまた必要とする。

【0006】

したがって、上記の問題点のうちの少なくともいくつかと、起こり得る他の問題点を考慮に入れた、方法及び装置を手に入れることが望ましいであろう。例えば、ツール上にプライを配置するためのガイドを提供することに伴う技術的な問題を克服する、方法及び機器を得ることが望ましいであろう。

【発明の概要】

【0007】

本開示の一実施形態は、ツール上のレイアップ位置に関するタスク情報を可視化する方法を提供する。スキャンデータを生成するため、ツールに対する種々の視点において、作業人員が装備する携帯用コンピュータ装置を使用して、ツールがスキャンされる。携帯用コンピュータ装置によって生成されたスキャンデータから、コンピュータシステムによって点群が作成される。点群を使用して、コンピュータシステムによってツールの結合マップが作成される。ツールの結合マップを使用して、複数の携帯用コンピュータ装置のうちの１つの、ツールに対する自己位置推定が行われる（ｉｓ ｌｏｃａｌｉｚｅｄ）。ツールの結合マップ及び複合材プライのプライモデルを使用して自己位置推定が行われた携帯用コンピュータ装置内の、ディスプレイ装置を通じて見ることができるライブビュー上に、ツール上のレイアップ位置に関するタスク情報が表示される。表示されたタスク情報によって、ツールのライブビューが拡張される。

【0008】

本開示の別の実施形態は、タスク位置のライブビューを拡張するための方法を提供する。携帯用コンピュータ装置の、ある対象物に対する自己位置推定が行われた。可視化されたタスク位置が、対象物のモデル及び対象物の結合マップを使用して、タスクを実施するための対象物のライブビュー上に表示される。結合マップは、対象物に対する種々の視点において、携帯用コンピュータ装置によって対象物をスキャンすることによって、生成される。

【0009】

さらなる別の実施形態は、ツール上のレイアップ位置を可視化するための拡張現実システムを提供する。拡張現実システムは、スキャンデータを生成するため、ツールに対する種々の視点において作業人員が装備する携帯用コンピュータ装置からスキャンデータを受信するように動作する、コンピュータシステムを備える。コンピュータシステムは、携帯用コンピュータ装置によって生成されたスキャンデータを使用して、ツールの複数のマップを作成し、ツールの結合マップを形成するためにこの複数のマップを結合するように動作する。コンピュータシステムは、プライモデル中のレイアップ位置に関するタスク情報を特定するように動作する。コンピュータシステムは、ツール上のレイアップ位置のタスク情報を、複数の携帯用コンピュータ装置のうちの１つに対して送信するように動作する。携帯用コンピュータ装置は、ツールの結合マップ及び複合材プライのプライモデルを使用して自己位置推定が行われている携帯用コンピュータ装置内の、ディスプレイ装置を通じて見られるライブビュー上に、ツール上にレイアップを配置するためのタスク情報を表示する。

【0010】

さらなる別の実施形態は、タスク位置のライブビューを拡張するための拡張現実システムを提供する。仮想現実システムは、携帯用コンピュータ装置を備える。携帯用コンピュータ装置は、対象物に対する自己位置推定が行われており、対象物のモデルと対象物の結合マップを使用して、タスクを実施するために、対象物のライブビュー上に、可視化されたタスク位置を表示する。結合マップは、対象物に対する種々の視点において、携帯用コンピュータ装置によって対象物をスキャンすることによって生成される。

【0011】

これらの特徴及び機能は、本開示の様々な実施形態で単独で実現可能であるか、または、以下の説明及び図面を参照してさらなる詳細を理解し得るさらに別の実施形態において、組み合わされてよい。

【0012】

例示的な実施形態の特性と考えられる新規の特徴は、添付の特許請求の範囲に明記されている。しかしながら、例示的な実施形態並びに好ましい使用モード、さらなる目的及びそれらの特性は、添付図面を参照しながら、本開示の例示的な実施形態についての以下の詳細な説明を読むことにより、最もよく理解されるだろう。

【図面の簡単な説明】

【0013】

【図1】例示的な実施形態が実装され得る、データ処理システムのネットワークの図解である。

【図2】例示的な実施形態による、拡張現実環境のブロック図である。

【図3】例示的な実施形態による、ツール上のレイアップ位置に複合材プライを配置するためのタスク情報の可視化に使用される、拡張現実システムのブロック図である。

【図4】例示的な実施形態による、ツールに作業を実施している作業人員の図である。

【図5】例示的な一実施形態による、携帯用コンピュータ装置上のタスク位置のライブビューを拡張するためのプロセスのフロー図である。

【図6】例示的な一実施形態による、スキャンデータを処理するためのプロセスのフロー図である。

【図7】例示的な一実施形態による、結合マップを作成するためのプロセスのフロー図である。

【図8】例示的な一実施形態による、結合マップを作成するためのプロセスのフロー図である。

【図9】例示的な一実施形態による、ツール上のレイアップ位置に関するタスク情報を可視化するためのプロセスのフロー図である。

【図10】例示的な一実施形態による、可視化されたタスク情報を表示するためのプロセスのフロー図である。

【図11】例示的な一実施形態による、データ処理システムのブロック図である。

【図12】例示的な一実施形態による、携帯用コンピュータ装置のブロック図である。

【図13】例示的な一実施形態による、航空機の製造及び保守方法のブロック図である。

【図14】例示的な一実施形態が実装され得る航空機のブロック図である。

【図15】例示的な一実施形態による、製品管理システムのブロック図である。

【発明を実施するための形態】

【0014】

例示的な実施形態は、１つ以上の種々の検討事項を認識し考慮に入れている。例えば、例示的な実施形態は、タスク位置を表示するために、オーバーヘッドレーザートラッカーの代わりに携帯用コンピュータ装置が使用されることを、認識し考慮に入れている。しかし、例示的な実施形態は、携帯用コンピュータ装置を使用すると、携帯用コンピュータがそれ自体によってツールに対する自己位置推定を行う必要があることを、認識し考慮に入れている。例示的な実施形態は、携帯用コンピュータ装置の、ツールに対する位置及び配向を特定すること、並びにツールのビューをツールのモデルに一致させることが、オーバーヘッドレーザートラッカーの場合にはない難題をもたらすことを、認識し考慮に入れている。例示的な実施形態は、携帯用コンピュータ装置からマップを生成することで、所望のレベルの正確性を得られない可能性があることを、認識し考慮に入れている。

【0015】

例示的な実施形態は、技術的解決方法が、種々の視点における複数の携帯用コンピュータ装置によるツールのスキャンの使用を伴い得ることを、認識し考慮に入れている。このように、例示的な実施形態は、対象物に対してタスクを実施するための情報を可視化するための方法、機器及びシステムを提供する。例示的な実施例は、タスク位置を可視化するための方法、機器、及びシステムを提供する。タスク位置の可視化は、タスク位置を特定することに加えて、タスク位置において作業を実施するために使用される情報を表示することを含む。

【0016】

例示的な一実施例では、方法は、タスク位置のライブビューを拡張する。携帯用コンピュータ装置の、対象物に対する自己位置推定が行われた。可視化されたタスク位置が、対象物のモデル及び対象物の結合マップを使用して、タスクを実施するための対象物のライブビュー上に表示される。結合マップは、対象物に対する種々の視点において、携帯用コンピュータ装置によって対象物をスキャンすることによって、生成される。

【0017】

別の例示的な実施例では、方法は、ツール上のレイアップ位置に関する、可視化されたタスク情報を提供する。スキャンデータを生成するため、ツールに対する種々の視点において、作業人員が装備する携帯用コンピュータ装置を使用して、ツールがスキャンされる。携帯用コンピュータ装置によって生成されたスキャンデータから、コンピュータシステムによって点群が作成される。点群を使用して、コンピュータシステムによってツールの結合マップが作成される。ツールの結合マップを使用して、複数の携帯用コンピュータ装置のうちの１つの、ツールに対する自己位置推定が行われる。ツールの結合マップ及び複合材プライのプライモデルを使用して自己位置推定が行われた携帯用コンピュータ装置内の、ディスプレイ装置を通じて見ることができるライブビュー上に、ツール上のレイアップ位置に関するタスク情報が表示される。表示されたタスク情報によって、ツールのライブビューが拡張される。

【0018】

ここで図面、具体的には図１を参照すると、例示的な実施形態が実装され得るデータ処理システムのネットワークの図解の例が示される。ネットワークデータ処理システム１００は、例示的な実施形態が実装され得るコンピュータのネットワークである。ネットワークデータ処理システム１００はネットワーク１０２を含む。ネットワーク１０２は、ネットワークデータ処理システム１００内で互いに接続された、様々な装置とコンピュータとの間に通信リンクを提供するのに使用される媒体である。ネットワーク１０２は、有線、無線通信リンク、または光ファイバケーブルなどの接続を含み得る。

【0019】

図示した実施例では、サーバコンピュータ１０４とサーバコンピュータ１０６は、記憶ユニット１０８と共にネットワーク１０２に接続されている。加えて、クライアント装置１１０が、ネットワーク１０２に接続されている。示されているとおり、クライアント装置１１０は、クライアンコンピュータ１１２及びクライアントコンピュータ１１４を含む。クライアント装置１１０は、例えば、コンピュータ、ワークステーション、またはネットワークコンピュータであり得る。図示した実施例では、サーバコンピュータ１０４は、ブートファイル、オペレーティングシステム画像、及びアプリケーションといった情報を、クライアント装置１１０に提供する。さらに、クライアント装置１１０は、タブレットコンピュータ１１６、携帯電話１１８、スマートグラス１２０、及びスマートグラス１２２といった、他のタイプのクライアント装置もまた含み得る。例示的な実施例では、サーバコンピュータ１０４、サーバコンピュータ１０６、記憶ユニット１０８、及びクライアント装置１１０は、ネットワーク１０２に接続しているネットワーク装置である。ネットワーク１０２は、これらのネットワーク装置に関する通信媒体である。クライアント装置１１０の一部または全部が、モノのインターネット（ＩｏＴ）を形成していてよく、ＩｏＴにおいては、これらの物理的装置が、ネットワーク１０２に接続されていることができ、ネットワーク１０２を通じて互いに情報交換することができる。

【0020】

この実施例では、クライアント装置１１０は、サーバコンピュータ１０４とサーバコンピュータ１０６に対するクライアントである。ネットワークデータ処理システム１００は、さらなるサーバコンピュータ、クライアントコンピュータ、及び図示していない他の装置を含んでいてよい。クライアント装置１１０は、有線、光ファイバ、または無線接続を利用して、ネットワーク１０２に接続している。

【0021】

ネットワークデータ処理システム１００にあるプログラムコードは、コンピュータで記録可能な記憶媒体上に記憶されていることができ、使用の際に、データ処理システムまたは他の装置にダウンロードされ得る。例えば、プログラムコードは、サーバコンピュータ１０４のコンピュータで記録可能な記憶媒体上に記憶されていることができ、クライアント装置１１０で使用するため、ネットワーク１０２を通じてクライアント装置１１０にダウンロードされ得る。

【0022】

図示した実施例では、ネットワークデータ処理システム１００は、ネットワーク１０２を含むインターネットであり、相互通信のための一式のプロトコルであるＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を使用する、ネットワーク及びゲートウェイの世界規模の集合体を表わしている。インターネットの中心部には、データとメッセージを送信する何千台もの商用、政府機関、教育機関、及びその他のコンピュータシステムからなる、主要なノードまたはホストコンピュータ間の高速データ通信ラインのバックボーンがある。言うまでもなく、ネットワークデータ処理システム１００はまた、任意の数の異なるタイプのネットワークを使用して実装されてもよい。例えば、ネットワーク１０２は、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはワイドエリアネットワーク（ＷＡＮ）のうちの、少なくとも１つからなっていることができる。図１は実施例として意図されたもので、種々の例示的な実施形態を構造的に限定することを意図しているわけではない。

【0023】

本明細書で使用される場合、アイテムに関連して使用される際の「任意の数の」は１つ以上のアイテムを意味する。例えば、「任意の数の異なるタイプのネットワーク」とは、１つ以上の異なるタイプのネットワークである。

【0024】

さらに、列挙されたアイテムと共に使用される「～のうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」という表現は、列挙されたアイテムのうちの１つ以上の種々の組み合わせが使用され得ること、及び、列挙された各アイテムのうちの１つだけが必要とされてもよいことを、意味している。言い換えると、「～のうちの少なくとも１つ」とは、アイテムの任意の組み合わせ、及び任意の数のアイテムが、列挙された中から使用され得るが、列挙されたアイテムのすべてが必要なわけではない、ということを意味する。アイテムとは、特定の対象物、物品、またはカテゴリであり得る。

【0025】

例えば、限定するものではないが、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」は、「アイテムＡ」、「アイテムＡとアイテムＢ」、または「アイテムＣ」を含んでいてよい。この例はまた、「アイテムＡとアイテムＢとアイテムＣ」、または「アイテムＢとアイテムＣ」を含んでいてもよい。もちろん、これらのアイテムのいずれかの組み合わせも存在し得る。ある例示的な実施例では、「～のうちの少なくとも１つ」は、限定しないが例として、「２個のアイテムＡと１個のアイテムＢと１０個のアイテムＣ」、「４個のアイテムＢと７個のアイテムＣ」、または他の適切な組み合わせであり得る。

【0026】

この例示的な実施例では、作業人員１２４がスマートグラス１２０を操作しており、作業人員１２６がスマートグラス１２２を操作している。この実施例では、作業人員１２４及び作業人員１２６は、複合材構造物の製造プロセスの一部として、ツール上に複合材プライの層を配置している。複合材構造物は、例えば、航空機用の複合材部品であり得る。

【0027】

この例示的な実施例では、複合材プライ１３０は、既にツール１２８上に積まれている。示されるように、作業人員１２４及び作業人員１２６は、ツール１２８上にもう１つの複合材プライを配置する準備をしている。

【0028】

この例示的な実施例では、新たな複合材プライの配置の可視化は、作業人員１２４によって操作されるスマートグラス１２０と、作業人員１２６によって操作されるスマートグラス１２２を使用して実施され得る。

【0029】

示されるように、スマートグラス１２０及びスマートグラス１２２は、ツール１２８をスキャンするように動作する。この例示的な実施例では、スキャンは、スマートグラス１２０によって自己位置推定とマッピングの同時実行（ＳＬＡＭ）プロセス１３２を使用して、及びスマートグラス１２２によって自己位置推定とマッピングの同時実行（ＳＬＡＭ）プロセス１３４を使用して、実施され得る。スキャンは、ツール１２８の表面に関するデータを生成する、レーザー、ＬＩＤＡＲ、赤外線スキャナー、または他の適切な装置によって、ツール１２８をスキャンすることを含み得る。

【0030】

この例示的な実施例では、スマートグラス１２０及びスマートグラス１２２は、それぞれツール１２８に対して異なる視点を有している。その結果、これらの異なる視点からツール１２８をスキャンすることは、ツール１２８をより正確にスキャンする結果につながり得る。

【0031】

例えば、スマートグラス１２０は、ツール１２８上のある位置のビューは、有していなくてよい。スマートグラス１２２は、スマートグラス１２０が逃しているこれらの位置のビューを、有していてよい。同様に、スマートグラス１２２は、スマートグラス１２０のビュー内にあるいくつかの位置のビューを有していなくてよい。

【0032】

ツール１２８のスキャンの結果、スマートグラス１２０によって生成されたスキャンデータ１３６及びスマートグラス１２２によって生成されたスキャンデータ１３８は、サーバコンピュータ１０４で実行される可視化ツール（ｖｉｓｕａｌｉｚｅｒ）１４０に送信される。スキャンデータ１３６及びスキャンデータ１３８は、スマートグラスによって生成された点群であり得る。他の例示的な実施例では、スキャンデータ１３６及びスキャンデータ１３８は、ツール１２８をマッピングするのに適切な、点群または他の情報を生成するのに使用され得る、他の情報であり得る。

【0033】

この例示的な実施例では、可視化ツール１４０は、スキャンデータ１３６とスキャンデータ１３８を使用して、ツール１２８の結合マップ１４２を生成する。結合マップ１４２は、複合材プライ１３０の配置を含む。

【0034】

結合マップ１４２を生成するためにスキャンデータ１３６及びスキャンデータ１３８を使用することによって、より完全であるかまたはより正確であるかの少なくとも１つである、ツールのマップが生成される。例えば、スキャンデータ１３６及びスキャンデータ１３８は、スキャンデータ１３６及びスキャンデータ１３８を生成する元となる異なる視点に関して、スキャンデータ１３６またはスキャンデータ１３８のどちらかだけを使用するよりも、ツール１２８上のより多くの位置をカバーすることができる。

【0035】

この例示的な実施例では、ツール１２８上のレイアップ位置に関するレイアップ情報１４４は、可視化ツール１４０がモデルのデータベース１４８内で複合材構造物モデル１４６にアクセスすることによって、得られる。この例示的な実施例では、可視化ツール１４０は、レイアップ情報１４４をスマートグラス１２０及びスマートグラス１２２に送信する。

【0036】

この例示的な実施例では、スマートグラス１２０及びスマートグラス１２２は、スマートグラス上で実行される「自己位置推定とマッピングの同時実行（ＳＬＡＭ）」プロセスを使用して、ツール１２８に対する自己位置推定を行う。スマートグラス１２０及びスマートグラス１２２を通じて見ることができるライブビューを拡張するために、スマートグラス１２０及びスマートグラス１２２のポジションと共に、レイアップ情報１４４が表示され得る。例えば、レイアップ情報１４４は、新たな複合材プライをツール１２８上のどこにレイアップすべきかを特定する外形であり得る。

【0037】

これらの例示的な実施例では、作業人員１２４及び作業人員１２６が、複合材部品用に複合材プライのレイアップ作業を実施するために動くのにつれて、スマートグラス１２０及びスマートグラス１２２が、ツール１２８のスキャンを継続し、スキャンデータ１３６及びスキャンデータ１３８を送信し得る。作業人員がツール１２８に対して動くのにつれて、ツール１２８に対するスマートグラスの視点は変化し得る。その結果、スマートグラスから送信されるさらなるスキャンデータは、さらなる情報を提供することができ、ツール１２８の結合マップ１４２の正確性が向上する。

【0038】

さらに、さらなるスキャンを行うことによって、ツール１２８上の複合材プライのレイアップの変化に関する情報更新も、また行われ得る。複合材プライが追加されるかまたは位置決めされる際に、結合マップ１４２をアップデートするために、これらの作業のスキャンデータが使用され得る。

【0039】

これらの例示的な実施例では、結合マップ１４２に対するアップデートの生成は、リアルタイムで実施される。言い換えれば、スキャンデータは、作業人員１２４及び作業人員１２６がツール１２８上への複合材プライのレイアップ作業を実施している間に、スマートグラス１２０及びスマートグラス１２２によって、連続的にまたは定期的に生成され得る。

【0040】

その結果、結合マップ１４２は、ツール１２８上にレイアップされるあらゆる複合材プライに沿った、ツール１２８の動的なマップであり得る。このようにして、結合マップ１４２の正確性を向上することができ、結合マップ１４２の正確性は、ツール１２８上への複合材プライの配置といった変化を包含したものであることができる。

【0041】

図１のこの実施例の図は、他の例示的な実施例が実装され得る態様を限定することを意図していない。例えば、ツール１２８のスキャンデータを生成する際に、スマートグラスを着用した１人以上の作業人員が存在していることができる。別の例示的な実施例では、ツール１２８以外の、異なるタイプの対象物が存在し得る。例えば、作業人員は、スカーフを形成し、複合材料の層からなるパッチを設置するための、リワーク作業を実施し得る。このタイプの作業では、レイアップ情報１４４は、パッチの配置を含み得る。さらに、スカーフ情報は、スカーフの形成に際して作業人員を補助するためにも、また存在し得る。

【0042】

図２を参照すると、拡張現実環境のブロック図が、例示的な一実施形態にしたがって示されている。図１のネットワークデータ処理システム１００内にある種々のハードウェア構成要素は、拡張現実環境２００内において使用され得る構成要素の例である。

【0043】

示されるとおり、拡張現実環境２００は、対象物２０６を見ている任意の数の作業人員２０４によって、タスク情報２０２が可視化され得る環境である。この実施例では、該任意の数の作業人員２０４が、対象物２０６に対する作業２０８を実施し得る。この例示的な実施例では、対象物２０６は、ツール、壁、ワークピース、翼、胴体部、エンジン、建造物、航空機、ビークル、または他の適切なタイプの対象物を含む群から選択され得る。

【0044】

この例示的な実施例では、情報の可視化２０２は、拡張現実システム２１０を使用して実施される。示されるように、拡張現実システム２１０によって、対象物２０６に関するタスク位置２４４のライブビュー２１２が拡張される。ライブビュー２１２は、携帯用コンピュータ装置２１４を通じて見ることができる、現実世界環境２１６のビューである。この例示的な実施例では、ライブビュー２１２は、携帯用コンピュータ装置内のカメラによって生成され、リアルタイムで携帯用コンピュータ装置内のディスプレイ装置に表示された、画像または映像であり得る。他の実施例では、ライブビュー２１２は、携帯用コンピュータ装置を通じて、作業人員が直接見ることができる。

【0045】

この実施例では、現実世界環境２１６のライブビュー２１２を拡張するため、ライブビュー２１２上にタスク情報２０２が表示され得る。タスク情報２０２は、対象物２０６のライブビュー２１２上に重ねて表示し得る、タスク位置、プライの外形、作業実施のための指示を含むテキスト、画像、グラフィック、映像、または他の適切なタイプの情報のうちの、少なくとも１つを含み得る。

【0046】

示されるように、拡張現実システムは、コンピュータシステム２１８及び携帯用コンピュータ装置２１４を備える。コンピュータシステム２１８は、物理的なハードウェアシステムであり、１つ以上のデータ処理システムを含む。コンピュータシステム２１８内に２つ以上のデータ処理システムが存在する場合、これらのデータ処理システムは、通信媒体を使用して互いに通信する。通信媒体は、ネットワークであり得る。データ処理システムは、コンピュータ、サーバコンピュータ、タブレットコンピュータ、または他の何らかの適切なデータ処理システムのうちの少なくとも１つから選択され得る。

【0047】

携帯用コンピュータ装置２１４は、対象物２０６に関するタスク情報２０２を可視化するために作業人員２０４によって使用される、物理的なハードウェア装置である。携帯用コンピュータ装置２１４は、携帯電話、タブレットコンピュータ、スマートグラス、ヘッドマウントディスプレイ、または他の適切なコンピュータ装置のうちの、少なくとも１つから選択され得る。この例示的な実施例では、携帯用コンピュータ装置２１４は、レーザースキャナー、構造化光三次元スキャナー、赤外線スキャナー、または、スキャンデータ２２８を作成し得る他の適切なタイプの装置のうちの少なくとも１つを使用して、対象物２０６をスキャンする。

【0048】

この例示的な実施例では、拡張現実システムによって、対象物２０６に対してタスク２２４を実施するためのタスク情報２０２によってライブビュー２１２を拡張することで、携帯用コンピュータ装置２１４を操作している作業人員２０４が、対象物２０６のライブビュー２１２を可視化することが可能になっている。

【0049】

これらの例示的な実施例では、タスク２２４は、任意の数の異なる形態をとり得る。タスク２２４は、複合材プライを配置すること、プラークを当てること、アップリケを当てること、タスク位置の検査を実施すること、穿孔すること、ファスナを設置すること、部品をアセンブリに接続すること、部品を取り外すこと、外科的処置、金属接合を形成すること、塗料を塗布すること、測定を行うこと、またはタスク２２４に関する他の何らかの作業のうちの、少なくとも１つから選択され得る。

【0050】

この例示的な実施例では、コンピュータシステム２１８内の可視化ツール２２６が、拡張現実デバイス２１４と通信を行う。これらの例示的な実施例では、これらの構成要素は、ワイヤレス通信リンクを使用して互いに通信を行う。

【0051】

この例示的な実施例では、スキャンデータ２２８は、対象物２０６に対する種々の視点２３０において、作業人員２０４が装着している携帯用コンピュータ２１４で、対象物２０６をスキャンすることによって生成される。この例示的な実施例では、スキャンデータ２２８は、リアルタイムで生成及び受信される。

【0052】

これらの例示的な実施例では、視点とは、携帯用コンピュータ装置のセンサからの見通しである。例えば、センサは、カメラまたはスキャナーであり得る。視点とは、携帯用コンピュータ装置の、三次元空間中の位置及び配向を含む、ポジションであり得る。

【0053】

可視化ツール２２６は、携帯用コンピュータ装置２１４からスキャンデータ２２８を受信するように動作する。示されているとおり、可視化ツール２２６は、携帯用コンピュータ装置２１４によって生成されたスキャンデータ２２８から、点群２３２を作成する。この例示的な実施例では、可視化ツール２２６は、リアルタイムでスキャンデータ２２８を受信し得る。可視化ツール２２６は、点群２３２を使用して、対象物２０６の結合マップ２３４を作成する。

【0054】

結合マップ２３４を作成する際には、可視化ツール２２６が、点群２３２のうちの各点群からマップを作成して複数のマップ２３６を形成し、この複数のマップ２３６を結合して結合マップ２３４を形成する。複数のマップ２３６の結合は、局所的な特徴の一致を使用して点群同士を結合する際に、点群間の共通の特徴を特定することによって、実施され得る。これらの共通の特徴は、対象物２０６に生じている特徴、対象物２０６に置かれた位置合わせ（ｆｉｄｕｃｉａｌ）マーカー、または対象物２０６の付近に置かれた位置合わせマーカーのうちの、少なくとも１つであり得る。対象物２０６上にある特徴は、孔、ファスナ、シーム、長形の突起、角、端部、または対象物２０６上にある他の何らかの特徴のうちの、少なくとも１つを含み得る。別の例示的な実施例では、結合マップ２３４は、点群２３２を結合し、続いて結合マップ２３４を作成することによって、生成され得る。

【0055】

この例示的な実施例では、結合されたマップ２３４及びマップ２３６は、三次元のマップである。これらのマップは、対象物２０６の表面と共に、対象物２０６上にあり得るかまたは対象物２０６に接触していてよい、あらゆる他のアイテムまたは物を表している。

【0056】

この例示的な実施例では、複数の携帯用コンピュータ装置２１４のうちの１つの携帯用コンピュータ装置２３８の、対象物２０６に対する自己位置推定が行われる。自己位置推定によって、対象物２０６に対するコンピュータ装置２３８のポジションが特定される。携帯用コンピュータ装置２３８のポジションは、三次元空間における携帯用コンピュータ装置２３８の位置及び配向である。

【0057】

この自己位置推定は、携帯用コンピュータ装置２３８上で実行される自己位置推定とマッピングの同時実行（ＳＬＡＭ）２４０を使用して実施され得る。携帯用コンピュータ装置２３８は、対象物２０６のライブビュー２１２上に、タスク位置２４４に関するタスク情報２０２を表示する。この例示的な実施例では、タスク位置２４４の可視化２４２は、タスク情報２０２を使用して実施され得る。例えば、タスク情報２０２は、タスク位置２４４の座標を含み得る。可視化２４２は、対象物２０６のライブビュー２１２上のタスク位置２４４を視覚的に特定する、グラフィック表示であり得る。可視化２４２は、対象物２０６に対してタスク２２４を実施するのに使用するために、表示される。加えて、可視化２４２は、対象物２０６用の部品、アセンブリ、複合材プライ、または他の構成要素といった、構成要素の配置を補助するためのガイド２４３といった、他の情報もまた含み得る。

【0058】

例えば、ガイド２４３は、複合材プライの外形、複合材プライのパターン、孔の外形、または、作業人員２０４が対象物２０６及びタスク位置２４４に対してタスク２２４を実施するための作業２０８を実施するのをガイドするための他の適切なグラフィック情報の形態をとり得る。

【0059】

さらに、ガイド２４３は、タスク位置２４４の視覚的表示として使用され得る。例えば、ガイド２４３は、複合材プライが配置されるべきポジション内のタスク位置２４４に表示された、複合材プライの外形であり得る。言い換えれば、複合材プライは、対象物２０６のライブビュー２１２上に表示された外形内にフィットするようにして配置され得る。

【0060】

可視化は、対象物２０６のモデル２４６及び、携帯用コンピュータ装置２１４によって実施された対象物２０６のスキャンによって生成された結合マップ２３４を使用して、タスク位置２４４の位置を表示するために、対象物２０６のライブビュー２１２上で行われる。この例示的な実施例では、モデル２４６は、スキャンデータ２２８から生成された結合マップ２３４と比較され得る基準マップである。モデル２４６及び結合マップ２３４は、対象物２０６のライブビュー２１２上の所望の位置においてタスク情報２０２を表示するのに使用される、座標、プログラムコード、命令、またはその他の情報のうちの少なくとも１つを生成する際に使用するため、互いに位置合わせされ得る。例えば、タスク情報２０２が複合材プライの位置を含んでいる場合、対象物２０６のライブビュー内の正しいポジションにある対象物２０６のモデル２４２から複合材プライの外形を表示するために、これら２つのモデルが使用され得る。

【0061】

これらの例示的な実施例では、タスク位置２４４において実施されるタスク２２４は、任意の数の異なる形態をとり得る。例えば、タスク位置２４４は、複合材プライ、対象物がアセンブリである場合のアセンブリ中の一部品、プラーク、アップリケ、または他の適切なラインのうちの、少なくとも１つに関するものである。タスク２２４は、複合材プライを配置すること、プラークを当てること、アップリケを当てること、タスク位置の検査を実施すること、穿孔すること、ファスナを設置すること、部品をアセンブリに接続すること、部品を取り外すこと、またはタスク２２４に関する何らかの作業のうちの、少なくとも１つから選択され得る。

【0062】

例示的な実施例では、可視化ツール２２６は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの組み合わせによって実装され得る。ソフトウェアが使用される場合、可視化ツール２２６によって実施される操作は、プロセッサユニットといったハードウェア上で実行されるように構成された、プログラムコードとして実装され得る。ファームウェアが使用される場合、可視化ツール２２６によって実施される作業は、プログラムコード及びデータによって実装されることができ、かつ永続性メモリに記憶されて、プロセッサユニット上で実行され得る。ハードウェアが採用される場合、ハードウェアは可視化ツール２２６内で作業を実施するために動作する、回路を含んでいてよい。

【0063】

この例示的な実施例において、ハードウェアは、回路システム、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理装置、または、任意の数の作業を実施するよう構成された他の何らかの適切なタイプのハードウェアのうちの、少なくとも１つから選択された形態を採り得る。プログラマブル論理装置を用いる場合、装置は、該任意の数の作業を実施するように構成され得る。装置は、後で再構成され得るか、または該任意の数の作業を実施するように恒久的に構成され得る。プログラマブル論理装置は、例えば、プログラマブル論理アレイ、プログラマブルアレイ論理、フィールドプログラマブル論理アレイ、フィールドプログラマブルゲートアレイ、及び、他の適切なハードウェア装置を含む。加えて、これらのプロセスは、無機構成要素に組み込まれた有機構成要素内で実装することができ、全てが人間以外の有機構成要素からなっていることができる。例えば、これらのプロセスは、有機半導体内の回路として実装され得る。

【0064】

次に図３を参照すると、例示的な実施形態による、ツール上のレイアップ位置に複合材プライを配置するためのタスク情報の可視化に使用される、拡張現実システムのブロック図が示されている。例示的な実施例では、複数の図中で同一の参照番号が使用され得る。異なる図中で参照番号が繰り返し使用される場合には、異なる図中の同一の要素を表している。

【0065】

この例示的な実施例では、拡張現実システム２１０が、ツール３０６上のレイアップ位置３０４に関するタスク情報３０２を可視化するために、拡張現実環境３００内で使用される。この具体的な実施例では、ツール３０６は、複合材部品３１０の製造プロセスの一部として複合材プライ３０８が上にレイアップされ得る、構造物である。ツール３０６は、例えば、マンドレル、金型、複合材ツール、及び他の適切なタイプのツールを含む群から選択され得る。

【0066】

この実施例では、コンピュータシステム２１８内の可視化ツール２２６は、スキャンデータ３１４を生成するため、ツール３０６に対する種々の視点３１２における、作業人員２０４が装備する携帯用コンピュータ装置からのスキャンデータ３１４を、受信するように動作する。さらに、可視化ツール２２６は、ツール３０６に対する種々の視点３１２において携帯用コンピュータ装置２１４から得られたスキャンデータ３１４を使用して、ツール３０６の結合マップ３１４を作成する。

【0067】

例示的な一実施形態では、可視化ツール２２６は、スキャンデータ３１４から、ツール３０６の点群３１８を作成する。ツール３０６の点群３１８を作成する際、点群３１８は、任意の複合材プライ、離型フィルム、またはツール３０６上に配置されている他の構成要素もまた、含むことができる。複数の点群３１８内の各点群は、複数の携帯用コンピュータ装置２１４のうちの１つの携帯用コンピュータ装置から受信された、スキャンデータ３１４から生成される。可視化ツール２２６は、携帯用コンピュータ装置２１４によって生成されたスキャンデータ３１４を使用して、ツール３０６の複数のマップ３２０を作成し、ツール３０６の結合マップ３１６を形成するために、この複数のマップ３２０を結合する。

【0068】

この実施例では、可視化ツール２２６は、複数のマップ３２０内の共通基準点を特定し、共通基準点を使用して複数のマップ３２０を結合して、結合マップ３１６を形成する。これらの基準点は、ツール３０６上の特徴、またはツール３０６と共に使用される基準マーカーのうちの、少なくとも１つに関するものであってよい。

【0069】

この実施例では、結合マップ３１６は、種々の視点３１２において生成されたスキャンデータ３１４から作成された複数のマップによって、正確性が向上されている。例えば、単一のマップのみが使用されている場合、この単一のマップに関するスキャンデータは、携帯用コンピュータ装置の視点から実施されたスキャンでは欠けていた部分の、ツール３０６のデータであり得る。例えば、スキャンデータは、対象物２０６の、携帯用コンピュータ装置にとって不可視である部分に関しては、欠けている可能性がある。

【0070】

種々の視点からのスキャンデータを結合することによって、ツール３０６のマップを生成するためのより完全なデータセットが存在する。この結果、正確性の向上がみられる。

【0071】

別の例示的な実施例では、点群３１８を結合して、結合点群３２２を形成することができる。次に、可視化ツール２０６は、結合点群３２２から結合マップ３１６を生成し得る。

【0072】

示されるとおり、可視化ツール２２６は、複合材部品３１０用の複合材プライ３０８のプライモデル３２４内のレイアップ位置３０４に関するタスク情報３０２を特定する。タスク情報３０２は、ファイルの特定、プライの順序、プライの配向、配置情報、硬化温度、硬化時間、または、ツール３０６上で複合材部品３１０を製造するための適切な情報のうちの、少なくとも１つから選択された情報を含み得る。

【0073】

可視化ツール２２６は、ツール３０６上のレイアップ位置３０４に関するタスク情報３０２を、複数の携帯用コンピュータ装置２１４のうちの１つの携帯用コンピュータ装置２３８に送信する。この例示的な実施例では、携帯用コンピュータ装置２３８は、ツール３０６の結合マップ３１６及び複合材プライ３０８のプライモデル３２４を使用して自己位置推定が行われた携帯用コンピュータ装置２３８内の、ディスプレイ装置３２８を通じて見ることができるツール３０６のライブビュー３２６上に、ツール３０６上のレイアップ位置３０４に関するタスク情報３０２を表示する。表示されたタスク情報によって、ツール３０６のライブビュー３２６が拡張される。

【0074】

示されるとおり、携帯用コンピュータ装置２３８は、複合材部品３１０用の複合材プライ３０８のプライモデル３２４内のレイアップ位置３０４を特定する。この決定は、いくつかの異なる方法で実行され得る。例えば、携帯用コンピュータ装置２３８は、プライモデル３２４の局所的な複製を含み得る。別の例示的な実施例では、携帯用コンピュータ装置２３８は、可視化ツール２２６に対する要求を送信することによって、プライモデル３２４にアクセスし得る。

【0075】

示されるとおり、携帯用コンピュータ装置２１４は、プライモデル３２４及び結合マップ３１６を使用して、任意の数の複合材プライ３０８用の任意の数のガイド３３０に関する、ライブビュー３２６上の位置を決定する。携帯用コンピュータ装置２１４は、ツール３０６に対する自己位置推定が行われた携帯用コンピュータ装置２３８内の、ディスプレイ装置３２８を通じてみることができるツール３０６のライブビュー３２６上の位置において、任意の数の複合材プライ３０８用の該任意の数のガイド３３０を表示する。示されるように、該任意の数のガイド３３０が、ツール３０６上に該任意の数の複合材プライ３０８を配置することを補助する。このガイドは、ツール３０６上における、複合材部品の製造または複合材部品３１０のリワークのうちの少なくとも１つに際して、正しいポジションに複合材プライをレイアップするのに使用される、補助となり得る。この例示的な実施例では、該任意の数のガイド３３０は、ツール３０６に複合材プライを配置するのをガイドする、外形、パターンまたは他の適切な視覚的表示のうちの、少なくとも１つであり得る。

【0076】

別の例示的な実施例では、該任意の数のガイド３３０は、自己位置推定が行われた携帯用コンピュータ装置２３８内の、ディスプレイ装置３２８を通じて見ることができるツール３０６のライブビュー３２６上のレイアップ位置３０４における、任意の数の複合材プライ３０８に関する、任意の数のさらなる外形またはパターンを含み得る。

【0077】

該任意の数のさらなる外形またはパターンは、ツール３０６上の該任意の数の複合材プライ３０８に関する、任意の数の先行する配置を図示する。これらの先行する配置は、同一の複合材部品用の同一のツールまたは同じであるツールに対して、以前に行われた配置であり得る。こうして、複合材プライの配置に関する比較が行われ得る。

【0078】

加えて、携帯用コンピュータ装置２３８は、レイアップ位置３０４におけるガイド３３０に加えて、タスク情報３０２中の他のタスク情報を、拡張現実表示の一部として表示し得る。この拡張現実表示内では、ツール３０６のライブビュー３２６上に、他のタスク情報が表示されている。例えば、携帯用コンピュータ装置２３８は、該任意の数の複合材プライの配置に関する、プライ数、命令、画像、または映像のうちの、少なくとも１つを表示し得る。

【0079】

例示的な一実施例では、ツール上にプライを配置するためのガイドを提供することによって技術的な問題を克服する、１つ以上の技術的な解決策が存在する。例示的な実施例では、１つ以上の技術的解決策によって、オーバーヘッドレーザートラッカーの代わりに携帯用コンピュータ装置を使用して、タスク位置の可視化が提供される。例示的な実施例では、１つ以上の技術的解決策では、タスク位置の可視化の正確性を向上するために、
種々の視点における、複数の携帯用コンピュータ装置からのツールのスキャンが使用される。１つ以上の技術的解決法は、ツールといった対象物の結合マップを形成するために、携帯用コンピュータ装置から受信したスキャンデータを結合することを含み、それによって、ツールの一部分に関する欠けているスキャンデータである、１台の携帯用コンピュータ装置からのスキャンデータが、ツールのその一部分を含む、別の携帯用コンピュータ装置からのスキャンデータによって補完され得る。

【0080】

その結果、１つ以上の技術的解決策によって、複数の携帯用コンピュータ装置からのスキャンデータを使用することで、現行の技法よりも正確性が向上した、対象物上のタスク位置の可視化を提供する技術的効果が提供され得る。

【0081】

コンピュータシステム２１８は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの組み合わせを使用して、種々の例示的な実施例に記載のステップ、工程、または動作のうちの、少なくとも１つを実施するように構成され得る。その結果、コンピュータシステム２１８は、特定用途コンピュータシステムの役割を果たす。この特定用途コンピュータシステム内では、コンピュータシステム２１８内の可視化ツール２２６によって、対象物２０６のライブビュー２１２上でタスク情報３０２を可視化することが可能になっており、それによって、対象物２０６のライブビュー２１２上にタスク情報２０２が重ねて表示される、仮想現実表示が提供される。具体的には、可視化ツール２２６は、コンピュータシステム２１６を、可視化ツール２２６を持たない現行の汎用コンピュータシステムではない、特定用途コンピュータシステムに変換するのである。

【0082】

図２及び図３の拡張現実システム２１０の図は、例示的な実施形態が実装され得る方法に対して、物理的なまたは構造上の制限を課すことを意図するものではない。図示されている構成要素に加えて、またはその代わりに、他の構成要素が使用されてもよい。一部の構成要素は不要であり得る。また、ブロックは、いくつかの機能的構成要素を図示するためにも提示されている。例示的な実施形態で実装される場合、これらのブロックのうちの１つ以上が、結合、分割、または結合かつ分割されて、違うブロックになってもよい。

【0083】

例えば、自己位置推定とマッピングの同時実行プロセス２４０は、携帯用コンピュータ装置２３８上ではなく、コンピュータシステム２１８上で実行され得る。

【0084】

図４を見ると、例示的な一実施形態による、ツールに作業を実施している作業人員が示されている。この例示的な実施例では、作業人員４００及び作業人員４０２が、複合材部品の製造プロセスの一部として、ツール４０４上に複合材プライをレイアップする作業を実施している。さらに別の例示的な実施例では、タスク２２４に加えて１つ以上のタスクが実施され得る。例えば、タスク２２４は、複合材プライの配置であり得る。後続のタスクは、この配置が正しいかどうかを判定するための、複合材プライの検査であり得る。

【0085】

示されるとおり、作業人員４００がスマートグラス４０６を装着しており、作業人員４０２がスマートグラス４０８を装着している。スマートグラス４０６及びスマートグラス４０８は、図２及び図３にブロックの携帯で示す、携帯用コンピュータ装置２１４の例示的な実装である。

【0086】

言い換えれば、スマートグラス４０６及びスマートグラス４０８は、ツール４０４に対して異なる視点に存在している。この実施例では、スマートグラス４０６は視点４１０を有し、スマートグラス４０８は視点４１２を有する。これらの視点は、異なるポジションからツール４０４に向けて方向づけられている。言い換えれば、視点４１０と視点４１２とは、互いに異なる視点である。

【0087】

この例示的な実施例では、スマートグラス４０６は、視点４１４を通してツール４０４をスキャンする。この例示的な実施例では、スキャンは、レーザースキャナー、赤外線スキャナー、または他の適切なタイプのセンサのうちの少なくとも１つを使用して実施される。例えば、スマートグラス４０８がレーザースキャナーを使用し得る一方で、スマートグラス４０６は、赤外線スキャナーを使用してよい。別の例として、スマートグラス４０６とスマートグラス４０６が、それぞれレーザースキャナー及び赤外線スキャナーをどちらも有していてよい。

【0088】

ビュー４１４は、スマートグラス４０６によってスキャンされ得る三次元空間である。ビュー４１６は、スマートグラス４０８によってスキャンされ得る三次元空間である。これらのビューは、スマートグラスを通して作業人員が見るライブビューを規定することも、また可能である。例えば、ビュー４１４は、スマートグラス４０６を通じて作業人員４００が見るライブビューであり得る。ビュー４１６は、スマートグラス４０８を通じて作業人員４０２が見るライブビューであり得る。他の例示的な実施例では、スキャン用のビューとライブビュー用のビューは異なっていてもよいが、これらは同じ観点からのものであってよい。ビューは、携帯用コンピュータ装置のセンサによってスキャンされ得るか、または見ることができる、拡張現実環境３００の一部である。

【0089】

異なる視点からのこれらのビューをスキャンした結果、異なるスキャンデータを有する２組のスキャン結果が生じる。これらのスキャンデータは、２組のスキャン双方からのデータを結合する結合マップを生成するのに使用され得る。この結合マップは、スマートグラスのうちの１つのみからのスキャンを使用するよりも、より正確である。

【0090】

例えば、スマートグラス４０６及びスマートグラス４０８は、ツール４０４をスキャンし得る。ツール４０４においては、ある位置はスマートグラス４０６のビュー４１４のみによって視覚可能であり、またある位置は、スマートグラス４０８のビュー４１６のみによって視覚可能である。スキャンをする際、ある位置は、どちらのスマートグラスのビュー内でも視覚可能である。

【0091】

例えば、スマートグラス４０６用のビュー４１４では、位置４２０、位置４２２、位置４２４、位置４２６は、スマートグラス４０６によってスキャンされ得るのと共に、スマートグラス４０６のライブビュー内にも存在している。しかし、これらの位置は、スマートグラス４０８用のビュー４１６内には存在しない。

【0092】

示されるとおり、スマートグラス４０８用のビュー４１６では、位置４３０及び位置４３２は、スマートグラス４０８によってスキャンされ得るのと共に、スマートグラス４０８のライブビュー内にも存在している。これらの位置は、スマートグラス４０６用のビュー４１４内には存在しない。

【0093】

この例示的な実施例では、スマートグラス４０６のビュー４１４及びスマートグラス４０８のビュー４１６からスキャン可能な位置は、位置４４０、位置４４２、位置４４４、位置４４６、位置４４８、位置４５０、位置４５２、位置４５４、患部（ｐａｔｉｅｎｔ）４５６、及び位置４５８である。

【0094】

その結果、各スマートグラスによって生成されたスキャンデータには、両方のスマートグラスによってスキャンされた共通の位置と、１つのスマートグラスのみによってスキャンされた位置とが含まれる。異なる視点からの、これら２つのスマートグラスによるスキャンデータを使用することによって、複合材部品用に複合材の層をレイアップする際に使用するための、ツール４０４のより正確なマップを生成することができる。

【0095】

この例示的な実施例では、スマートグラス４０６及びスマートグラス４０８は、これらのスマートグラス上で実行されているプロセスを用いて、自ら自己位置推定を行っている。これらのプロセスは、例えば、現在利用可能である、自己位置推定とマッピングの同時実行のプロセスを含み得る。言い換えれば、スマートグラス４０６及びスマートグラス４０８は、ツール４０４に対する自らのポジションを特定し得る。この例示的な実施例では、スマートグラス４０６及びスマートグラス４０８のポジションは、三次元空間内にあり、配向を含んでいる。

【0096】

さらに、スマートグラスは、複合材部品用のプライモデルに関する、対応位置を特定し得る。表示モデルは、複合材部品を形成する、ツール４０４及びツール４０４上のプライのレイアップのモデルもまた、含み得る。

【0097】

この例示的な実施例では、スマートグラス４０６とスマートグラス４０８の両方を通じて見ることができるライブビュー上に、ツール４０４上に複合材層用の配置を可視化するため、パターン４６０が表示されている。ツール４０４上のパターン４６０をより正確に表示または位置特定するため、両方のスマートグラスによって生成されたスキャンデータによって、基準（ｓｔａｎｄａｒｄ）が組み合わされ得る。

【0098】

さらに、作業人員４００及び作業人員４０２が動くのにつれて、ツール４０４のさらなるスキャンが行われ得る。これらのさらなるスキャンは、ツール４０４用のマップの正確性を向上させるために、既に生成されたツール４０４のスキャンと共に使用され得る。さらに、これらのスキャンは、ツール４０４上に配置されているあらゆる複合材プライもまた含み得る。これらのスキャンは、ツール４０４上に既に置かれている複合材プライの最上部でこれからツール４０４上に配置されるさらなるプライに関するガイドを提供するのに加えて、ツール上に配置されているプライの正確性の検証も、また行い得る。

【0099】

ここで図５を参照すると、例示的な一実施形態による、携帯用コンピュータ装置上のタスク位置のライブビューを拡張するためのプロセスのフロー図が示されている。図５のプロセスは、ハードウェア、ソフトウェア、またはその両方において実装可能である。プロセスは、ソフトウェアで実装されると、１つ以上のコンピュータシステム内の１つ以上のハードウェア装置内に設置された１つ以上のプロセッサユニットによって実行される、プログラムコードの形態を採り得る。例えば、プロセスは、図１のスマートグラス１２０、図１のスマートグラス１２２、図２の拡張現実システム２１０における携帯用コンピュータ装置２３８を含む複数の携帯用コンピュータ装置２１４、図４のスマートグラス４０６、または図４のスマートグラス４０８のうちの、少なくとも１つの中に実装され得る。

【0100】

プロセスは、携帯用コンピュータ装置の、対象物に対する自己位置推定を行うことによって開始される（工程５００）。プロセスは、対象物のモデル及び対象物の結合マップを使用してタスクを実施するための、対象物のライブビュー上の可視化されたタスク位置を表示する（工程５０２）。結合マップは、対象物に対する種々の視点において、携帯用コンピュータ装置によって対象物をスキャンすることによって生成される。プロセスは、その後、終了する。

【0101】

工程５０２は、任意の数の異なる方法で実施され得る。例えば、対象物の結合マップ内にある対象物のモデルは、コンピュータシステムから携帯用コンピュータ装置へとダウンロードされ得る。次に、携帯用コンピュータ装置は、これらのモデルを使用して可視化されたタスク位置を表示し得る。この可視化されたものは、例えば、ツール上の適切な位置にあるプライの外形であり得る。別の例示的な実施例では、コンピュータシステムがこの外見を生成することができ、携帯用コンピュータ装置のライブビュー上の配置を特定することができる。コンピュータシステムは、次に、この外形と共に、携帯用コンピュータ装置を通じて見ることができるライブビュー上にこの外形を表示するのに必要な、プログラムコード、命令、または他の情報のうちの少なくとも１つを、携帯用コンピュータ装置に送信し得る。

【0102】

図６を参照すると、スキャンデータを処理するためのプロセスのフロー図が、例示的な実施形態に従って示されている。図６のプロセスは、ハードウェア、ソフトウェア、またはその両方において実装され得る。プロセスは、ソフトウェアで実装されると、１つ以上のコンピュータシステム内の１つ以上のハードウェア装置内に設置された１つ以上のプロセッサユニットによって実行される、プログラムコードの形態を採り得る。例えば、プロセスは、図１のサーバコンピュータ１０４上で実行される可視化ツール１４０、または図２のコンピュータシステム２１８内の可視化ツール２２６のうちの少なくとも１つの中で、実装され得る。

【0103】

プロセスは、携帯用コンピュータ装置からスキャンデータを受信することによって開始される（工程６００）。スキャンデータは、対象物に対する種々の視点において、作業人員が装着している携帯用コンピュータ装置で、対象物をスキャンすることによって生成される。

【0104】

プロセスは、スキャンデータを使用して、対象物の結合マップを作成する（工程６０２）。プロセスは、タスク位置においてタスクを実施するために、可視化されたタスク位置を携帯用コンピュータ装置に送信する（工程６０４）。プロセスは、その後終了する。

【0105】

次に図７を参照すると、例示的な一実施形態による、結合マップを作成するためのプロセスのフロー図が示されている。図７のプロセスは、ハードウェア、ソフトウェア、またはその両方で実装可能である。プロセスは、ソフトウェアで実装されると、１つ以上のコンピュータシステム内の１つ以上のハードウェア装置内に設置された１つ以上のプロセッサユニットによって実行される、プログラムコードの形態を採り得る。例えば、プロセスは、図１のサーバコンピュータ１０４上で実行される可視化ツール１４０、または図２のコンピュータシステム２１８内の可視化ツール２２６のうちの、少なくとも１つの中で実装され得る。

【0106】

プロセスは、複数のマップを形成するため、複数の点群のうちの各点群からマップを作成することによって開始される（工程７００）。プロセスは、複数のマップ内の共通基準点を特定しながら、複数のマップを結合して、ツールの結合マップを形成する（工程７０２）。プロセスは、その後、終了する。

【0107】

工程７０２で、複数のマップは、共通基準点を使用して結合される。これらの共通基準点は、複数のマップのそれぞれの内に存在する特徴に関して、選択され得る。種々の視点において生成されたスキャンデータから作成されたマップによって、結合マップの正確性が向上した。

【0108】

次に図８を参照すると、例示的な一実施形態による、結合マップを作成するためのプロセスのフロー図が示されている。図８のプロセスは、ハードウェア、ソフトウェア、またはその両方において実装可能である。プロセスは、ソフトウェアで実装されると、１つ以上のコンピュータシステム内の１つ以上のハードウェア装置内に設置された１つ以上のプロセッサユニットによって実行される、プログラムコードの形態を採り得る。例えば、プロセスは、図１のサーバコンピュータ１０４上で実行される可視化ツール１４０、または図２のコンピュータシステム２１８内の可視化ツール２２６のうちの、少なくとも１つの中で実装され得る。

【0109】

プロセスは、対象物上の、同一の対応する特徴に関する点群内の対応点を特定することによって、開始する（工程８００）。工程８００では、同一の対応する特徴に関する対応点の数は、例えば、３点から４点であり得る。プロセスは、対応する点群を使用して点群を結合し、結合点群を形成する（工程８０２）。プロセスは、結合点群を使用して、結合マップを作成する（工程８０４）。処理はその後、終了する。

【0110】

図９では、例示的な一実施形態による、ツール上のレイアップ位置に関するタスク情報を可視化するプロセスのフロー図が示されている。図９のプロセスは、ハードウェア、ソフトウェア、またはその両方において実装可能である。プロセスは、ソフトウェアで実装されると、１つ以上のコンピュータシステム内の１つ以上のハードウェア装置内に設置された１つ以上のプロセッサユニットによって実行される、プログラムコードの形態を採り得る。例えば、プロセスは、図３の拡張現実システム２１０において実装され得る。これらの工程は、図３のコンピュータシステム２１８または携帯用コンピュータ装置２１４のうちの、少なくとも１つの中に実装され得る。工程は、ツール３０６のライブビュー３２６上に、可視化されたタスク情報３０２を提供するために実装され得る。このタイプの表示によって、ライブビュー３２６が拡張され、作業人員に対して拡張現実表示が提供される。

【0111】

プロセスは、スキャンデータを生成するため、ツールに対する種々の視点において、作業人員が装備する携帯用コンピュータ装置を使用してツールをスキャンすることによって開始する（工程９００）。プロセスは、携帯用コンピュータ装置によって生成されたスキャンデータから、点群を作成する（工程９０２）。プロセスは、点群を使用して、ツールの結合マップを作成する（工程９０４）。

【0112】

プロセスは、ツールの結合マップを使用して、複数の携帯用コンピュータ装置のうちの１つの、ツールに対する自己位置推定を行う（工程９０６）。プロセスは、携帯用コンピュータ装置は、ツールの結合マップ及び複合材プライのプライモデルを使用して自己位置推定が行われた、携帯用コンピュータ装置内の、ディスプレイ装置を通じて見ることができるライブビュー上に、ツール上のレイアップ位置に関するタスク情報を表示する（工程９０８）。プロセスは、その後、終了する。

【0113】

図１０を次に参照すると、例示の一実施形態による、視覚化されたタスク情報を表示するためのプロセスのフロー図が示されている。図１０に示すプロセスは、図５の工程５０２及び図９の工程９０８の実装の一例である。

【0114】

プロセスは、携帯用コンピュータ装置を通じて見ることができるツールのライブビュー上に、プライ用のガイドを表示することによって開始する（工程１０００）。工程１０００で表示されるガイドは、ツール上に次のプライを配置するためのものである。

【0115】

プロセスは、携帯用コンピュータ装置を通じて見ることができるツールのライブビュー上に、任意の数のさらなるガイドを表示する（工程１００２）。該任意の数のさらなるガイドの表示は、該任意の数のさらなるガイドを、プライ用のガイドとは区別する態様で、行われ得る。この実施例では、該任意の数のさらなるガイドは、ツール上に既に配置された複合材プライ用のものであり得る。こうして、既存の複合材プライが整列していることを確認することができ、ツールの拡張現実表示内で可視化することができる。この拡張現実表示は、ツール上への複合材プライのレイアップ中に、先行の複合材プライがシフトしたかどうかを判定するのに使用され得る。

【0116】

加えて、該任意の数のさらなるガイドによって、複合材部品を形成するための先行の工程において、同じプライが先立ってツール上にどのように配置されたかを可視化することも可能である。先行の複合材プライの配置は、複合材プライの配置履歴を含むデータベースから、得ることができる。複合材プライの配置履歴は、複合材プライの配置中に実施されたスキャンから特定され得る。こうして、現行の配置と先行の配置との間の変化の特定が、可視化され得る。これらの変化は、プライの寸法の変化、滑り、ツールに対する変化、または経時的に、同一のプライに対する位置合わせを変化させ得る可能性がある他の要因のうちの、少なくとも１つによって生じ得る。

【0117】

図示した種々の実施形態におけるフロー図及びブロック図は、例示的な実施形態における、機器及び方法のいくつかの可能な実装の、構造、機能、及び作業を示している。これに関して、フロー図またはブロック図内の各ブロックは、モジュール、セグメント、機能、または工程もしくはステップの一部のうちの、少なくとも１つを表わし得る。例えば、１つ以上のブロックが、プログラムコード、ハードウェアまたはプログラムコードとハードウェアの組合せとして実装され得る。ハードウェアに実装された場合、ハードウェアは、例えば、フロー図またはブロック図の１つ以上の作業を実施するように製造または構成された、集積回路の形態を採り得る。プログラムコードとハードウェアの組み合わせとして実装された場合、この実装は、ファームウェアの形態を採り得る。フロー図またはブロック図中の各ブロックは、種々の作業を実施する専用ハードウェアシステム、または専用ハードウェアと専用ハードウェアによって実行されるプログラムコードとの組み合わせを使用して、実装され得る。

【0118】

例示的な実施形態のいくつかの代替的な実装では、ブロックに記載された１つ以上の機能が、図面中に記載された順序を逸脱して起こることがある。例えば、場合によっては、連続して示されている２つのブロックがほぼ同時に実施されることや、また時には、含まれる機能に応じて、ブロックが逆順に実施されることもあり得る。また、フロー図またはブロック図に示されているブロックに加えて、他のブロックが追加されることもある。

【0119】

ここで図１１を参照すると、例示的な実施形態によるデータ処理システムのブロック図が示されている。データ処理システム１１００を使用して、図１のサーバコンピュータ１０４、サーバコンピュータ１０６、及びクライアント装置１１０を実装することができる。データ処理システム１１００を使用して、図２及び図３のコンピュータシステム２１８を実装することも、また可能である。この例示的な実施例では、データ処理システム１１００は、通信フレームワーク１１０２を含む。通信フレームワーク１１０２は、プロセッサユニット１１０４、メモリ１１０６、固定記憶装置１１０８、通信ユニット１１１０、入出力（Ｉ／Ｏ）ユニット１１１２、及びディスプレイ１１１４間の通信を提供する。この実施例では、通信フレームワーク１１０２は、バスシステムの形態を採っている。

【0120】

プロセッサユニット１１０４は、メモリ１１０６に読み込まれ得る、ソフトウェアに対する命令を、実行する役割を果たす。プロセッサユニット１１０４は、１つ以上のプロセッサを含む。例えば、プロセッサユニット１１０４は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、物理処理装置（ＰＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、または他の適切なタイプのプロセッサのうちの、少なくとも１つの中から選択され得る。

【0121】

記憶装置１１１６の実施例は、メモリ１１０６及び固定記憶装置１１０８である。記憶デバイスは、例えば、限定するものではないが、データ、関数形式のプログラムコード、または他の適切な情報のうちの少なくとも１つを、一時的にもしくは永続的に、または一時的及び永続的の両方で記憶することが可能な、任意のハードウェアである。記憶装置１１１６は、これらの例示的な実施例では、コンピュータ可読記憶装置とも呼ばれてよい。これらの実施例では、メモリ１１０６は、例えば、ランダムアクセスメモリまたは任意の他の適切な揮発性もしくは不揮発性の記憶装置であり得る。固定記憶装置１１０８は、具体的な実装態様に応じて、様々な形態を採り得る。

【0122】

例えば、固定記憶装置１１０８は、１つ以上の構成要素または装置を含み得る。例えば、固定記憶装置１１０８は、ハードドライブ、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、書換え型光学ディスク、書換え可能磁気テープ、または上記の何らかの組み合わせであり得る。固定記憶装置１１０８によって使用される媒体は、着脱式のものでもあり得る。例えば、固定記憶装置１１０８用に、着脱式ハードドライブを使用することができる。

【0123】

これらの例示的な実施例では、通信ユニット１１１０が、他のデータ処理システムまたは装置との通信を提供する。これらの例示的な実施例では、通信ユニット１１１０は、ネットワークインターフェースカードである。

【0124】

入出力ユニット１１１２は、データ処理システム１１００に接続され得る他の装置との間のデータの入出力を可能にする。例えば、入出力ユニット１１１２は、キーボード、マウス、または他の何らかの適切な入力装置のうちの少なくとも１つを通じて、ユーザ入力のための接続を提供し得る。さらに、入出力ユニット１１１２は、プリンタに出力を送信し得る。ディスプレイ１１１４は、ユーザに対して情報を表示する機構を提供する。

【0125】

オペレーティングシステム、アプリケーション、またはプログラムのうちの少なくとも１つに対する命令が、通信フレームワーク１１０２を介してプロセッサユニット１１０４と通信する記憶装置１１１６内に存在していることもあり得る。種々の実施形態のプロセスは、メモリ１１０６といったメモリ内に存在していてよい、コンピュータによって実行される命令を使用して、プロセッサユニット１１０４によって実施され得る。

【0126】

これらの命令は、プロセッサユニット１１０４内のプロセッサによって読み取られ且つ実行され得る、プログラムコード、コンピュータ使用可能プログラムコード、またはコンピュータ可読プログラムコードと呼ばれる。種々の実施形態では、プログラムコードは、メモリ１１０６または固定記憶装置１１０８といった、種々の物理的なまたはコンピュータ可読の記憶媒体上に、具現化することができる。

【0127】

プログラムコード１１１８は、選択的に着脱可能であるコンピュータ可読媒体１１２０に関数形式で置かれ、プロセッサユニット１１０４によって実行するためにデータ処理システム１１００に読み込ませ得るか、または転送され得る。これらの例示的な実施例では、プログラムコード１１１８とコンピュータ可読媒体１１２０が、コンピュータプログラム製品１１２２を形成する。この例示的な実施例では、コンピュータ可読媒体１１２０はコンピュータ可読記憶媒体１１２４である。

【0128】

これらの例示的な実施例では、コンピュータ可読記憶媒体１１２４は、プログラムコード１１１８を伝播または伝送する媒体というよりは、むしろプログラムコード１１１８を記憶するために使用される、物理的記憶装置または有形記憶装置である。

【0129】

代わりの態様では、プログラムコード１１１８は、コンピュータ可読信号媒体を使用して、データ処理システム１１００に転送され得る。コンピュータ可読信号媒体は、例えば、プログラムコード１１１８を含む、伝播されるデータ信号であり得る。例えば、コンピュータ可読信号媒体は、電磁信号、光信号、または任意の他の適切なタイプの信号のうちの、少なくとも１つであり得る。これらの信号は、無線接続、光ファイバケーブル、同軸ケーブル、電線、または他の任意の適切なタイプの接続といった、接続を介して伝送され得る。

【0130】

データ処理システム１１００に関して図示されている種々の構成要素が、種々の実施形態が実施され得る方法に対して構造的な制限を設けることは、意図されていない。ある例示的な実施例では、構成要素のうちの１つ以上が、別の構成要素に組み込まれているか、または別様に別の構成要素の一部を形成していてよい。例えば、ある例示的な実施例では、１１０６またはその一部が、プロセッサユニット１１０４内に一体化されていてよい。データ処理システム１１００に関して図示されている構成要素に対する、追加のまたは代わりの構成要素が含まれているデータ処理システム内では、異なる例示的な実施形態が実装され得る。図１１に示す他の構成要素は、示されている例示的な実施例とは異なることがある。プログラムコード１１１８を実行することが可能な任意のハードウェア装置またはシステムを使用して、種々の実施形態を実装することができる。

【0131】

図１２を参照すると、例示的な一実施携帯による、携帯用コンピュータ装置のブロック図が示されている。携帯用コンピュータ装置１２００は、スマートグラス１２０、スマートグラス１２２、携帯用コンピュータ装置２１４、スマートグラス４０６、及びスマートグラス４０８が実装され得る、一態様の一実施例である。この例示的な実施例では、携帯用コンピュータ装置１２００は、プロセッサユニット１２０２、通信フレームワーク１２０４、メモリ１２０６、データ記憶装置１２０８、通信ユニット１２１０、ディスプレイ１２１２、及びセンサシステム１２１４といった物理的なハードウェア構成要素を含む。

【0132】

通信フレームワーク１２０４は、携帯用コンピュータ装置１２００の種々の構成要素が通信フレームワーク１２０４に接続されたときに、互いに通信するのを可能にしている。通信フレームワーク１２０４は、この例示的な実施例では、バスシステムである。

【0133】

プロセッサユニット１２０２は、メモリ１２０６に読み込まれたソフトウェアのプログラムコードを処理する。プロセッサユニット１２０２は、１つ以上のプロセッサを含む。例えば、プロセッサユニット１２０２は、マルチコアプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、物理処理装置（ＰＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、または他の適切なタイプのプロセッサのうちの、少なくとも１つから選択され得る。

【0134】

メモリ１２０６が、通信フレームワーク１２０４を通じてプロセッサユニット１２０２に接続されている。示されるように、メモリ１２０６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、または他の適切なタイプのメモリ装置もしくは回路のうちの、少なくとも１つを含み得る。

【0135】

示されるとおり、データ記憶装置１２０８は、通信フレームワーク１２０４に接続されており、データ、プログラムコード、または他の情報を記憶し得る。プログラムコード中の命令は、プロセッサユニット１２０２によって処理するため、データ記憶装置１２０８からメモリ１２０６へと読み込まれ得る。例えば、プログラムコード中の命令は、自己位置推定とマッピングの同時実行（ＳＬＡＭ）プロセス１２０３、及び対象物のライブビュー上にタスク情報を表示するための拡張現実アプリケーション１２０５を含み得る。

【0136】

データ記憶装置１２０８は、ハードディスクドライブ、フラッシュドライブ、ソリッドステートディスクドライブ、光学ドライブ、または他の適切なタイプのデータ記憶装置もしくはシステムのうちの、少なくとも１つを備え得る。データ記憶装置１２０８は、対象物のライブビューに重複して表示されるタスク情報の拡張現実表示内で使用するための、スキャンデータ、対象物のマップ、対象物のモデル、または他の適切な情報を記憶し得る。

【0137】

この例示的な実施例では、通信ユニット１２１０が、他のデータ処理システムまたはデータ処理装置との通信を提供する。これらの例示的な実施例では、通信ユニット１１１０は、ネットワークインターフェースカード、無線通信装置、ユニバーサルシリアルバスポート、または他の適切な装置のうちの、少なくとも１つを含む。

【0138】

ディスプレイ１２１２が、通信フレームワーク１２０４に接続されており、ユーザに対して情報を表示する機構を提供する。この実施例では、ディスプレイ１２１２は、このディスプレイを通じたユーザインプットの受信を可能にする、タッチスクリーンディスプレイであり得る。

【0139】

この例示的な実施例では、センサシステム１２１４が、通信フレームワーク１２０４に接続されている。示されるように、センサシステム１２１４は、ハードウェア、ソフトウェア、またはこの両方を含み得る。この例示的な実施例では、センサシステム１２１４は、レーザースキャナー、構造化光三次元スキャナー、カメラ、または赤外線スキャナーのうちの少なくとも１つを含み得る。

【0140】

携帯用コンピュータ装置１２００の図は、携帯用コンピュータ装置１２００が実装され得る一態様の一実施例である。この例示は、他の例示的な実施例において携帯用コンピュータ装置１２００が具現化され得る態様を、限定することを意味するものではない。例えば、携帯用コンピュータ装置１２００は、音声出力装置が音を生成する、音声インターフェースもまた含み得る。

【0141】

本開示の例示的な実施形態は、図１３に示した航空機の製造及び保守方法１３００と、図１４に示した航空機１４００に関連して説明されてよい。まず図１３を参照すると、航空機の製造及び保守方法が、例示的な実施形態に従って図示されている。製造前段階では、航空機の製造及び保守方法１３００は、図１４の航空機１４００の仕様及び設計１３０２、並びに材料の調達１３０４を含み得る。

【0142】

製造段階では、図１４の航空機１４００の、構成要素及びサブアセンブリの製造１３０６とシステムインテグレーション１３０８とが行われる。その後、図１４の航空機１４００は、運航１３１２に供されるために、認可及び納品１３１０を経てよい。顧客による運航１３１２中、図１４の航空機１４００には、定期的な整備及び保守１３１４（改造、再構成、改修、及びその他の整備または保守を含み得る）が予定される。

【0143】

航空機の製造及び保守方法１３００の各プロセスは、システムインテグレータ、第三者、事業者、またはこれらのいくつかの組み合わせによって、実施または実行され得る。これらの実施例では、事業者は顧客であってよい。この明細書において、システムインテグレータは、任意の数の航空機製造業者及び主要システム下請業者を含み得るが、それらに限定される訳ではなく、第三者は、任意の数のベンダー、下請業者、及び供給業者を含み得るが、それらに限定される訳ではなく、事業者は、航空会社、リース会社、軍事団体、サービス機関などであり得る。

【0144】

ここで図１４を参照すると、例示的な実施形態が実装され得る航空機の図が示されている。この例では、航空機１４００は、図１３の航空機の製造及び保守方法１３００によって製造され、複数のシステム１４０４及び内装１４０６を有する機体１４０２を含んでいてよい。システム１４０４の例は、推進システム１４０８、電気システム１４１０、油圧システム１４１２、及び環境システム１４１４のうちの１つ以上を含む。任意の数の他のシステムが含まれていてよい。航空宇宙産業の例が示されているが、種々の例示的な実施形態が、自動車産業といった他の産業に適用されてよい。

【0145】

本明細書で具現化される機器及び方法は、図１３の航空機の製造及び保守方法１３００のうちの少なくとも１つの段階で採用され得る。

【0146】

例示的な一実施例では、図１３の構成要素及びサブアセンブリの製造１３０６で製造される構成要素またはサブアセンブリは、図１３で航空機１４００の運航１３１２中に製造される構成要素またはサブアセンブリと同様の方法で、作製または製造され得る。さらに別の例では、１つ以上の機器の実施形態、方法の実施形態、またはこれらの組み合わせを、図１３の構成要素及びサブアセンブリの製造１３０６、並びにシステムインテグレーション１３０８といった製造段階で、利用することができる。１つ以上の装置の実施形態、方法の実施形態、またはこれらの組み合わせを、航空機１４００が図１３の運航１３１２中、整備及び保守１３１４中、またはその両方の最中に利用することができる。

【0147】

例えば、拡張現実システム２１０は、タスク情報を可視化するために使用され得る。この可視化は、タスク位置において実施されるタスク情報を表示することを含み得る。拡張現実システム２１０は、構成要素及びサブアセンブリの製造１３０６、システムインテグレーション１３０８、認可及び納品１３１０、または整備及び保守１３１４のうちの、少なくとも１つにおいて、作業人員によって使用され得る。

【0148】

任意の数の異なる例示的な実施形態を使用することによって、航空機１４００の組み立てを大幅に効率化すること、航空機１４００のコストを削減すること、または航空機１４００の組み立てを大幅に効率化することと航空機１４００のコストを削減することの両方が、なされてよい。例えば、拡張現実システム２１０を使用することによって、構成要素及びサブアセンブリの製造１３０６、システムインテグレーション１３０８、または整備及び保守１３１４といった様々なステップ中に、作業人員が実施する作業における正確性が向上し得る。

【0149】

ここで図１５を参照すると、例示的な実施形態による製品管理システムのブロック図が示されている。製品管理システム１５００は、物理的なハードウェアシステムである。この例示的な実施例では、製品管理システム１５００は、製造システム１５０２または整備システム１５０４のうちの少なくとも１つを含み得る。

【0150】

製造システム１５０２は、図１４の航空機１４００といった、製品を製造するように構成される。図示したように、製造システム１５０２は、製造設備１５０６を含む。製造設備１５０６は、加工設備１５０８または組立設備１５１０のうちの少なくとも１つを含む。

【0151】

加工設備１５０８は、図１４の航空機１４００の形成に使用される部品用の構成要素を加工するために、使用され得る設備である。例えば、加工設備１５０８は、機械及びツールを含み得る。これらの機械及びツールは、ドリル、油圧プレス、加熱炉、金型、複合材テープ載置機、真空システム、旋盤、または他の適切な種類の機器のうちの、少なくとも１つであってよい。加工設備１５０８を使用して、金属部品、複合材部品、半導体、回路、ファスナ、リブ、外板パネル、スパー、アンテナ、または他の適切なタイプの部品のうちの、少なくとも１つが加工され得る。

【0152】

組立設備１５１０は、図１４の航空機１４００を形成する部品を組み立てるために使用される設備である。具体的には、図１４の航空機１４００を形成する構成要素及び部品の組み立てに、組立設備１５１０が使用され得る。組立設備１５１０もまた、機械及びツールを含み得る。これらの機械及びツールは、ロボットアーム、クローラ、ファスナ設置システム、レールベースの穿孔システム、またはロボットのうちの、少なくとも１つであり得る。組立設備１５１０は、例えば、図１４の航空機１４００用の座席、水平安定板、翼、エンジン、エンジンハウジング、着陸装置システム、及び他の部品などといった、部品の組み立てに使用され得る。

【0153】

この例示的な実施例では、整備システム１５０４は、整備設備１５１２を含み得る。整備設備１５１２は、図１４の航空機１４００の整備を実施するのに必要なあらゆる設備を含み得る。整備設備１５１２は、図１４の航空機１４００の部品に対して種々の作業を実施するためのツールを含み得る。これらの作業は、図１４の航空機１４００の整備を実施するための、部品の分解、部品の改修、部品の検査、部品の再加工、交換部品の製造、または他の作業のうちの、少なくとも１つを含み得る。これらの作業は、定期的整備、検査、アップグレード、改修、または他の種類の整備作業であってよい。

【0154】

例示的な実施例では、整備設備１５１２は、超音波検査装置、Ｘ線撮像システム、視覚システム、ドリル、クローラ、及び他の適切な装置を含み得る。ある場合には、整備設備１５１２は、整備に必要となり得る部品を生産し組み立てるための、加工設備１５０８、組立設備１５１０、またはこれらの両方を含み得る。

【0155】

製品管理システム１５００は、制御システム１５１４もまた含む。制御システム１５１４はハードウェアシステムであり、ソフトウェア、または他のタイプの構成要素もまた含み得る。制御システム１５１４は、製造システム１５０２または整備システム１５０４のうちの少なくとも１つの作業を、制御するように構成される。具体的には、制御システム１５１４は、加工設備１５０８、組立設備１５１０、または整備設備１５１２のうちの、少なくとも１つの作業を制御し得る。

【0156】

制御システム１５１４のハードウェアは、コンピュータ、回路、ネットワーク、及び他のタイプの設備を含み得る、ハードウェアを使用して実装され得る。制御は、製造設備１５０６の直接制御の形態をとり得る。例えば、ロボット、コンピュータ制御機械、及び他の設備は、制御システム１５１４によって制御され得る。他の例示的な実施例では、制御システム１５１４は、航空機１４００の製造または保守において、作業員１５１６によって実施される作業を管理し得る。例えば、制御システム１５１４は、タスクを割り当てる、命令を与える、モデルを表示する、または作業員１５１６によって実施される作業を管理するための、他の作業を実施し得る。

【0157】

これらの例示的な実施例では、図２及び図３の拡張現実システム２１０は、図１４の航空機１４００の製造または整備のうちの少なくとも１つを管理するため、制御システム１５１４と共に使用するように実装され得る。例えば、拡張現実システム２１０は、作業人員１５１６に対して、対象物への作業を実施する命令及びガイダンスを与えるように動作し得る。これらの作業は、対象物を製造する作業または対象物を整備する作業を含み得る。例えば、制御システム１５１４は、ツール上に複合材プライをレイアップするといったタスクを、作業人員１５１６のうちの１人以上に対して割り当て得る。制御システム１５１４は、ライブビューを拡張するためのタスク情報を、作業人員１５１６によって着用または携行されている拡張現実システム２１０の携帯用コンピュータ装置２１４に対して送信し得る。

【0158】

種々の例示的な実施例において、作業員１５１６は、製造設備１５０６、整備設備１５１２、または制御システム１５１４のうちの少なくとも１つを操作し得るか、または少なくとも１つと相互作用し得る。この相互作用は、図１４の航空機１４００を製造するために実施され得る。

【0159】

当然ながら、製品管理システム１５００は、図１４の航空機１４００以外の他の製品を管理するようにも構成されていてよい。製品管理システム１５００は、航空宇宙産業における製造に関連して記載されているが、製品管理システム１５００は、他の産業の製品を管理するようにも構成され得る。例えば、製品管理システム１５００は、自動車産業、及び任意の他の適切な産業の製品を製造するように構成され得る。

【0160】

こうして、この例示的な実施形態は、タスク位置を可視化するための方法、装置、及びシステムを提供する。タスク位置の可視化は、タスク位置を特定することに加えて、タスク位置において、作業を実施するために使用される情報を表示することを含む。１つの例示的な実施例では、ツール上にプライを配置するためのガイドを提供することによって技術的な問題を克服する、１つ以上の技術的な解決策が存在する。例示的な実施例では、１つ以上の技術的解決策によって、オーバーヘッドレーザートラッカーの代わりに携帯用コンピュータ装置を使用して、タスク位置の可視化が提供される。

【0161】

例示的な実施例では、１つ以上の技術的解決策において、タスク位置の可視化の正確性を向上するために、種々の視点において行われる、複数の携帯用コンピュータ装置からのツールのスキャンが使用される。こうして、例示的な実施例における１つ以上の技術的解決法は、ツールといった対象物の結合マップを形成するために、携帯用計算装置から受信したスキャンデータを結合することを含み、それによって、ツールの一部に関する欠けているスキャンデータである、１台の携帯用コンピュータ装置からのスキャンデータが、ツールのその部分を含む、別の携帯用コンピュータ装置からのスキャンデータによって補完され得る。

【0162】

その結果、１つ以上の技術的解決策によって、複数の携帯用コンピュータ装置からのスキャンデータを使用することで、現行の技法よりも正確性が向上した、対象物上のタスク位置の可視化を提供する、技術的効果が提供され得る。

【0163】

種々の例示的な実施形態の説明は、例示及び説明を目的として提示されており、網羅的であること、または開示された形態の実施形態に限定することは意図されていない。動作または作業を実施する構成要素は、種々の例示的な実施例によって説明される。例示的な一実施形態では、構成要素は、記載された動作や作業を実施するように構成されていてよい。例えば、この構成要素が持つ構造物の構成または設計は、例示的な実施例においてこの構成要素によって実施されると説明されている動作または作業の実施能力を、この構成要素に与えるものであってよい。

【0164】

さらに、本開示は、以下の条項による実施形態を含む。

【0165】

条項１．ツール（３０６）上のレイアップ位置（３０４）に関するタスク情報（３０２）を可視化するための方法であって、
スキャンデータ（３１４）を生成するために、ツール（３０６）に対する様々な視点（３１２）において、作業人員（２０４）が装着している携帯用コンピュータ装置（２１４）を使用して、ツール（３０６）をスキャンすることと、
携帯用コンピュータ装置（２１４）によって生成されたスキャンデータ（３１４）から、コンピュータシステム（２１８）によって、点群（３１８）を作成することと、
コンピュータシステム（２１８）によって、点群（３１８）を使用してツール（３０６）の結合マップ（３１６）を作成することと、
ツール（３０６）の結合マップ（３１６）を使用して、複数の携帯用コンピュータ装置（２１４）のうちの１つの携帯用コンピュータ装置（２３８）の、ツール（３０６）に対する自己位置推定を行うことと、
ツール（３０６）の結合マップ（３１６）と複合材プライ（３０８）のプライモデル（３２４）とを使用して自己位置推定された携帯用コンピュータ装置（２３８）内の、ディスプレイ装置（３２８）を通じて見ることができるライブビュー（３２６）上に、ツール（３０６）上のレイアップ位置（３０４）に関するタスク情報（３０２）を、携帯用コンピュータ装置（２３８）によって表示することであって、表示されたタスク情報（３０２）がツール（３０６）のライブビュー（３２６）を拡張する、タスク情報（３０２）を表示することと、を含む方法。

【0166】

条項２．ツール（３０６）上のレイアップ位置（３０４）のライブビュー（３２６）上に表示されたタスク情報（３０２）内のガイドを使用して、複合材プライを配置することをさらに含み、ガイドがツール（３０６）上に任意の数の複合材プライ（３０８）を配置することを補助する、
条項１に記載の方法。

【0167】

条項３．ツール（３０６）上のレイアップ位置（３０４）に関するタスク情報（３０２）を表示することが、
複合材プライ（３０８）のプライモデル（３２４）中のレイアップ情報（３０４）を特定することと、
プライモデル（３２４）及び結合マップ（３１６）を使用して、任意の数の複合材プライ（３０８）用の任意の数のガイド（３３０）に関するライブビュー（３２６）中のレイアップ位置（３０４）を決定することと、
自己位置推定が行われた携帯用コンピュータ装置（２３８）内の、ディスプレイ装置（３２８）を通じて見ることができるツール（３０６）のライブビュー（３２６）上のレイアップ位置（３０４）において、該任意の数の複合材プライ（３０８）用の該任意の数のガイド（３３０）を、携帯用コンピュータ装置（２３８）によって表示することであって、該任意の数のガイド（３３０）が、ツール（３０６）上に該任意の数の複合材プライ（３０８）を配置することを補助する、該任意の数のガイド（３３０）を表示することと、
を含む、条項１または２に記載の方法。

【0168】

条項４．自己位置推定が行われた携帯用コンピュータ装置（２３８）内の、ディスプレイ装置（３２８）を通じて見ることができるツール（３０６）のライブビュー（３２６）上のレイアップ位置（３０４）において、任意の数の複合材プライ（３０８）用の該任意の数のさらなるガイドを、携帯用コンピュータ装置（２３８）によって表示することであって、該任意の数のさらなるガイドが、ツール（３０６）上の任意の数の複合材プライ（３０８）の該任意の数の先行する配置を示している、該任意の数のさらなるガイドを表示すること
をさらに含む、条項３に記載の方法。

【0169】

条項５．ツール（３０６）上のレイアップ位置（３０４）に関するタスク情報（３０２）を表示することが、
任意数の複合材プライ（３０８）の配置に関するプライ数、命令、画像、または映像のうちの少なくとも１つを表示することをさらに含む、条項３に記載の方法。

【0170】

条項６．点群（３１８）からツール（３０６）の結合マップ（３１６）を作成することが、
任意の数のマップ（３２０）を形成するために、複数の点群（３１８）中の各点群からマップを作成することと、
ツール（３０６）の結合マップ（３１６）を形成するために複数のマップ（３２０）を結合することとを含む、条項１から５のいずれか一項に記載の方法。

【0171】

条項７．結合マップ（３１６）を形成するために複数のマップ（３２０）を結合することが、
複数のマップ（３２０）中の共通基準点を特定することと、
共通基準点を使用して複数のマップ（３２０）を結合することであって、種々の視点（３１２）から生成されたスキャンデータ（３１４）から作成された複数のマップ（３２０）によって、結合マップ（３１６）の正確性が向上されている、複数のマップ（３２０）を結合することと
を含む、条項６に記載の方法。

【0172】

条項８．モデルを使用して、複数の携帯用コンピュータ装置（２１４）内の１つの携帯用コンピュータ装置（２３８）の、ツール（３０６）に対する自己位置推定を行うことが、
結合マップ（３１６）及び、自己位置推定とマッピングの同時実行プロセス（２４０）を使用して、複数の携帯用コンピュータ装置（２１４）内の１つの携帯用コンピュータ装置（２３８）の、ツール（３０６）に対する自己位置推定を行うことを含む、条項１に記載の方法。

【0173】

条項９．レイアップ位置（３０４）に関するタスク情報（３０２）が、複合材部品（３１０）の製造または複合材部品のリワーク（３１０）のうちの少なくとも１つに関して、複合材プライをレイアップするためのガイドである、条項１から８のいずれか一項に記載の方法。

【0174】

条項１０．ツール（３０６）が、マンドレル、金型、複合材ツール（３０６）を含む群から選択される、条項１から９のいずれか一項に記載の方法。

【0175】

条項１１．携帯用コンピュータ装置（２１４）が、スマートグラス（１２０、１２２、４０６、４０８）、携帯電話（１１８）、タブレットコンピュータ（１１６）、またはヘッドマウントディスプレイのうちの少なくとも１つから選択される、条項１から１０のいずれか一項に記載の方法。

【0176】

条項１２．携帯用コンピュータ装置（２１４）が、レーザースキャナー、構造化光三次元スキャナー、または赤外線スキャナーのうちの少なくとも１つを使用してツール（３０６）をスキャンする、条項１から１１のいずれか一項に記載の方法。

【0177】

条項１３．タスク位置（２４４）のライブビュー（２１２）を拡張するための方法であって、
携帯用コンピュータ装置（２３８）の、対象物（２０６）に対する自己位置推定を行うことと、
対象物（２０６）のモデルと対象物（２０６）の結合マップ（２３４）を使用して、タスクの実施のために、対象物（２０６）のライブビュー（２１２）上の可視化（２４２）されたタスク位置（２４４）を表示することであって、結合マップ（２３４）が、対象物（２０６）に対する種々の視点（２３０）における、携帯用コンピュータ装置（２１４）による対象物（２０６）のスキャンによって生成される、タスク位置（２４４）を表示することと、を含む、方法。

【0178】

条項１４．１つの携帯用コンピュータ装置（２３８）を含む複数の携帯用コンピュータ装置（２１４）からからスキャンデータ（２２８）を受信することであって、スキャンデータ（２２８）が、対象物（２０６）に対する種々の視点（２３０）において、作業人員（２０４）に装着された、複数の携帯用コンピュータ装置（２１４）で対象物（２０６）をスキャンすることによって生成される、スキャンデータ（２２８）を受信すること
をさらに含む、条項１３に記載の方法。

【0179】

条項１５．スキャンデータ（２２８）が、リアルタイムで受信される、条項１４に記載の方法。

【0180】

条項１６．携帯用コンピュータ装置（２１４）によって生成されたスキャンデータ（２２８）から、コンピュータシステム（２１８）によって点群（２３２）を作成することと、
コンピュータシステム（２１８）によって、点群（２３２）を使用して対象物（２０６）の結合マップ（２３４）を作成することと
をさらに含む、条項１４に記載の方法。

【0181】

条項１７．コンピュータシステム（２１８）によって、点群（２３２）を使用して対象物（２０６）の結合マップ（２３４）を作成することが、
複数のマップ（２３６）を形成するため、複数の点群（２３２）中の各点群からマップを作成することと、
結合マップ（２３４）を形成するため、複数のマップ（２３６）を結合することと
を含む、条項１６に記載の方法。

【0182】

条項１８．タスク位置（２４４）が、複合材プライ、対象物（２０６）がアセンブリである場合にはアセンブリ中の一部品、プラーク、またはアップリケのうちの少なくとも１つに関するものである、条項１３から１７のうちのいずれか一項に記載の方法。

【0183】

条項１９．タスクが、複合材プライを配置すること、プラークを当てること、アップリケを当てること、タスク位置（２４４）の検査を実施すること、穿孔すること、ファスナを設置すること、部品をアセンブリに接続すること、または部品を取り外すこと、のうちの少なくとも１つから選択される、条項１３から１８のいずれか一項に記載の方法。

【0184】

条項２０．対象物（２０６）が、ツール（３０６）、壁、ワークピース、翼、胴体部、エンジン、建築物、航空機、及びビークルを含む群から選択される、条項１３から１９のいずれか一項に記載の方法。

【0185】

条項２１．ツール（３０６）上のレイアップ位置（３０４）を可視化するための拡張現実システムであって、
スキャンデータ（３１４）を生成するため、ツール（３０６）に対する種々の視点（３１２）において、作業人員（２０４）が装着している携帯用コンピュータ装置（２１４）を使用して、スキャンデータ（３１４）を受信することと、
携帯用コンピュータ装置（２１４）によって生成されたスキャンデータ（３１４）を使用してツール（３０６）の複数のマップ（３２０）を作成することと、
ツール（３０６）の結合マップ（３１６）を形成するために複数のマップ（３２０）を結合することと、
プライモデル（３２４）内のレイアップ位置（３０４）に関するタスク情報（３０２）を特定することと、
ツール（３０６）上のレイアップ位置（３０４）のタスク情報（３０２）を、複数の携帯用コンピュータ装置（２１４）の中の１つの携帯用コンピュータ装置（２３８）に送信することとを行うように動作するコンピュータシステム（２１８）を備え、
携帯用コンピュータ装置（２３８）が、ツール（３０６）の結合マップ（３１６）及び複合材プライ（３０８）のプライモデル（３２４）を使用して自己位置推定が行われた携帯用コンピュータ装置（３２８）内の、ディスプレイ装置（３２８）を通じて見ることができるライブビュー（３２６）上に、レイアップ位置（３０４）に関するタスク情報（３０２）を表示する、拡張現実システム。

【0186】

条項２２．携帯用コンピュータ装置（２３８）をさらに備える拡張現実システムであって、
携帯用コンピュータ装置（２３８）が、
複合材プライ（３０８）のプライモデル（３２４）中のレイアップ情報（３０４）を特定することと、
プライモデル（３２４）及び結合マップ（３１６）を使用して、任意の数の複合材プライ（３０８）用の該任意の数のガイド（３３０）に関するライブビュー（３２６）上の位置を決定することと、
自己位置推定が行われた携帯用コンピュータ装置（２３８）内の、ディスプレイ装置（３２８）を通じて見ることができるツール（３０６）のライブビュー（３２６）上の位置において、該任意の数の複合材プライ用の該任意の数のガイド（３３０）を表示することであって、該任意の数のガイド（３３０）が、ツール（３０６）上に該任意の数の複合材プライ（３０８）を配置することを補助する、任意の数のガイド（３３０）を表示することと、
を行う、条項２１に記載の拡張現実システム。

【0187】

条項２３．携帯用コンピュータ装置（２３８）が、任意の数の複合材プライ（３０８）の配置に関する、プライ数、命令、画像、または映像のうちの少なくとも１つを表示する、条項２２に記載の拡張現実システム。

【0188】

条項２４．スキャンデータ（３１４）が点群（３１８）を含み、結合マップ（３１６）を作成する際に、コンピュータシステム（２１８）が、
任意の数のマップ（３２０）を形成するために、該任意の数の点群（３１８）中の各点群からマップを作成することと、
結合マップ（３１６）を形成するために複数のマップ（３２０）を結合することと、
を行うために動作する、条項２１から２３のいずれか一項に記載の拡張現実システム。

【0189】

条項２５．結合マップ（３１６）を形成するために複数のマップ（３２０）を結合する際に、
コンピュータシステム（２１８）が、複数のマップ（３２０）中の共通基準点を特定することと、
共通基準点を使用して複数のマップ（３２０）を結合することであって、種々の視点（３１２）から生成されたスキャンデータ（３１４）から作成された複数のマップ（３２０）によって結合マップ（３１６）の正確性が向上されている、複数のマップ（３２０）を結合することと
を行うように動作する、
条項２１から２４に記載の拡張現実システム。

【0190】

条項２６．複数の携帯用コンピュータ装置（２１４）内の１つの携帯用コンピュータ装置（２３８）が、結合マップ（３１６）、及び自己位置推定とマッピングの同時実行プロセス（２４０）を使用して、ツール（３０６）に対して自己位置推定される、条項２１から２５のいずれか一項に記載の拡張現実システム。

【0191】

条項２７．レイアップ位置（３０４）に関するタスク情報（３０２）が、ツール（３０６）上における複合材部品（３１０）の製造または複合材部品（３１０）のリワークのうちの少なくとも１つに関して、複合材プライをレイアップするためのガイドである、条項２１から２６のいずれか一項に記載の拡張現実システム。

【0192】

条項２８．ツール（３０６）が、マンドレル、金型、複合材ツール（３０６）を含む群から選択される、条項２１から２７のいずれか一項に記載の拡張現実システム。

【0193】

条項２９．タスク位置（２４４）のライブビュー（２１２）を拡張するための拡張現実システムであって、
携帯用コンピュータ装置（２３８）であって、対象物に対する自己位置推定が行われており、対象物のモデルと対象物の結合マップ（２３４）を使用して、タスクの実施のために、対象物のライブビュー（２１２）中の可視化（２４２）されたタスク位置（２４４）を表示し、結合マップ（２３４）が、対象物に対する種々の視点（２３０）における、携帯用コンピュータ装置（２１４）による対象物のスキャンによって生成される、携帯用コンピュータ装置（２３８）を備える、拡張現実システム。

【0194】

条項３０．携帯用コンピュータ装置（２３８）と通信するコンピュータシステム（２１８）であって、
１つの携帯用コンピュータ装置（２３８）を含む複数の携帯用コンピュータ装置（２１４）からスキャンデータ（２２８）を受信することであって、スキャンデータ（２２８）が、対象物に対する種々の視点（２３０）において、作業人員（２０４）に装着された携帯用コンピュータ装置（２１４）で対象物をスキャンすることとによって生成される、スキャンデータ（２２８）を受信することと、
携帯用コンピュータ装置（２１４）によって生成されるスキャンデータ（２２８）から点群（２３２）を作成することと、
点群（２３２）を使用して対象物の結合マップ（２３４）を作成することと
を行うように動作する、コンピュータシステム（２１８）をさらに備える、条項２９に記載の拡張現実システム。

【0195】

条項３１．スキャンデータ（２２８）が、リアルタイムで受信される、条項３０に記載の拡張現実システム。

【0196】

条項３２．点群（２３２）を使用して対象物の結合マップ（２３４）を作成する際に、コンピュータシステム（２１８）が、複数のマップ（２３６）を形成するために、複数の点群（２３２）中の各点群からマップを作成し、結合マップ（２３４）を形成するために、複数のマップ（２３６）を結合する、条項３０に記載の拡張現実システム。

【0197】

条項３３．タスク位置（２４４）が、複合材プライ、対象物（２０６）がアセンブリである場合にはアセンブリ中の一部品、プラーク、またはアップリケのうちの少なくとも１つに関するものである、条項２９に記載の拡張現実システム。

【0198】

条項３４．タスクが、複合材プライを配置すること、プラークを当てること、アップリケを当てること、タスク位置（２４４）の検査を実施すること、穿孔すること、ファスナを設置すること、部品をアセンブリに接続すること、または部品を取り外すこと、のうちの少なくとも１つから選択される、条項２９から３３のいずれか一項に記載の拡張現実システム。

【0199】

条項３５．対象物（２０６）が、ツール（３０６）、壁、ワークピース、翼、胴体部、エンジン、建築物、航空機、及びビークルを含む群から選択される、条項２９から３４のいずれか一項に記載の拡張現実システム。

【0200】

当業者には、多くの修正例及び変形例が自明となろう。さらに、種々の例示的な実施形態によって、他の好ましい実施形態と比較して異なる特徴が提供され得る。選択された１つ以上の実施形態は、実施形態の原理及び実際の用途を最もよく説明するため、並びに、様々な実施形態の開示内容及び考慮される特定の用途に適した様々な修正内容の理解を他の当業者に促すために、選択及び記載されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】