(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-14
(45)【発行日】2023-12-22
(54)【発明の名称】組立プロセスの自動化された監視および検査
(51)【国際特許分類】
G05B 19/418 20060101AFI20231215BHJP
G06Q 50/04 20120101ALI20231215BHJP
【ＦＩ】
G05B19/418 Z
G06Q50/04
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2019148451
(22)【出願日】2019-08-13
(65)【公開番号】P2020064608
(43)【公開日】2020-04-23
【審査請求日】2022-08-12
(31)【優先権主張番号】62/718,786
(32)【優先日】2018-08-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500520743
【氏名又は名称】ザ・ボーイング・カンパニー
【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ユイ， ホアフォン
(72)【発明者】
【氏名】レミネ， ダニエル エス．
(72)【発明者】
【氏名】シュタウディンガー， タイラー チャールズ
【審査官】堀内 亮吾
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００８２４１４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｂ １９／４１８
Ｇ０６Ｑ ５０／０４
(57)【特許請求の範囲】
【請求項1】
コンピュータシステムを使用して実施される、組立プロセスの自動化された監視および検査を実行するための方法であって、組立現場に対して配置されたセンサシステムを使用して、前記組立現場でセンサデータを生成することと、
前記組立現場で組立品を組み立てるための組立プロセスの現在の段階を、前記コンピュータシステムによって、識別することであって、
前記コンピュータシステムによって、前記センサデータを使用して複数のオブジェクトを検出することと、
前記コンピュータシステムによって、前記複数のオブジェクトの少なくとも一部を前記組立品の部品にマッチングさせることと、
を含み、前記部品にマッチングした前記複数のオブジェクトの前記一部が、複数のマッチングしたオブジェクトであり、前記現在の段階は、少なくとも前記複数のマッチングしたオブジェクトの識別に基づいて識別される、現在の段階を識別することと、
前記コンピュータシステムによって、前記現在の段階のデータリポジトリに格納されているコンテキスト情報を識別することであって、前記コンテキスト情報は、識別された前記現在の段階の前記組立品の公称状態の選択された許容誤差、前記現在の段階の前記組立品の公称状態、前記現在の段階に存在すると予想される各部品の公称状態、前記現在の段階の前に完了したステップの識別、前記現在の段階の間に完了すべきステップの識別、および前記現在の段階の後に完了すべきステップの識別のうちの少なくとも１つである、前記コンテキスト情報を識別することと、
前記コンピュータシステムによって、前記組立品の品質レポートを生成することであって、検出された前記複数のオブジェクトのうちの１つ以上が、対応する前記組立品の部品とマッチングできないかどうか、および前記複数のマッチングしたオブジェクトのうちの１つ以上が、前記組立プロセスの前記現在の段階に存在すると予想される部品とマッチングしないかどうか、を示すマッチング評価を、前記複数のマッチングしたオブジェクトおよび前記コンテキスト情報に基づいて、前記コンピュータシステムによって生成することを含む、品質レポートを生成することと、
前記コンピュータシステムによって、前記組立プロセスの前記現在の段階に対応するレコードの一部として前記品質レポートを前記データリポジトリに格納し、それにより前記組立プロセスのレコードの履歴を構築することであって、前記レコードは、前記センサデータの少なくとも一部、前記品質レポート、前記オブジェクトの品質の識別、および前記複数のマッチングしたオブジェクトの識別を含む、前記組立プロセスのレコードの履歴を構築することと、を含む方法。
【請求項2】
前記コンテキスト情報が、識別された前記現在の段階の前記組立品の公称状態の選択された許容誤差を含み、かつ／または、前記品質レポートが、関心のある少なくとも１つの問題が存在するかどうかを示す評価を含む、請求項１に記載の方法。
【請求項3】
前記センサデータを生成することが、前記組立品および前記組立現場に対して配置された撮像システムのセットを使用して撮像データを生成することを含み、前記撮像データが、２次元撮像データである、請求項１または２に記載の方法。
【請求項4】
前記コンピュータシステムによって、前記組立プロセスの前記現在の段階を識別することが、
前記コンピュータシステムによって、前記複数のオブジェクトの少なくとも一部を前記組立品の部品に、前記部品の画像および前記部品のモデルのうちの少なくとも一方を使用して、マッチングさせることと、
を含み、
前記コンピュータシステムによって、前記複数のオブジェクトの前記少なくとも一部を前記部品にマッチングさせることが、
前記コンピュータシステムによって、機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、および人工知能学習のうちの少なくとも１つを使用して、前記複数のオブジェクトの前記少なくとも一部を前記組立品の部品にマッチングさせることを、含む、請求項３に記載の方法。
【請求項5】
前記コンピュータシステムによって、前記組立プロセスの前記現在の段階を識別することが、前記コンピュータシステムによって、前記組立現場の基準座標系に関して、前記複数のマッチングしたオブジェクトの複数の位置および複数の向きのうちの少なくとも一方を決定することと、
前記コンピュータシステムによって、前記複数のマッチングしたオブジェクトの識別ならびに前記複数のマッチングしたオブジェクトの前記複数の位置および前記複数の向きのうちの前記少なくとも一方に基づいて、前記組立プロセスの前記現在の段階を決定することと、
をさらに含む、請求項４に記載の方法。
【請求項6】
前記コンピュータシステムによって、前記品質レポートを生成することが、前記組立プロセスの前記現在の段階の前記コンテキスト情報に基づいて、前記複数のマッチングしたオブジェクトのそれぞれが、正しい位置に組み立てられたか、または間違った位置に組み立てられたかを示す位置評価を、前記コンピュータシステムによって生成することを含む、請求項５に記載の方法。
【請求項7】
前記コンピュータシステムによって、前記品質レポートを生成することが、亀裂、へこみ、ねじれ、および表面レベルの特徴のうちの１つから選択される特徴が識別されたかどうか、ならびに識別された特徴が、選択された許容誤差を超えているかどうか、を示す不整合評価を、前記コンピュータシステムによって生成することを含み、
前記コンピュータシステムによって、機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、および人工知能学習のうちの少なくとも１つを使用して、１つ以上の特徴を前記組立品に検出することを、さらに含む、請求項５または６に記載の方法。
【請求項8】
前記方法が、前記組立プロセス中に人間のオペレータをガイドするためのガイダンス情報を、前記組立プロセスの前記現在の段階の前記コンテキスト情報に基づいて、前記コンピュータシステムによって生成することを、さらに含み、
前記コンピュータシステムによって前記ガイダンス情報を生成することが、
前記組立プロセスの前記現在の段階で１つ以上のタスクを実行するために前記人間のオペレータが使用するための現在の段階のガイダンスであって、前記現在の段階の特定のタスクを実行する仕方に関する指示を含む現在の段階のガイダンスを、前記コンピュータシステムによって生成することを含み、かつ／または、
前記コンピュータシステムによって前記ガイダンス情報を生成することが、
前記組立プロセスの次の段階で１つ以上のタスクを実行するために前記人間のオペレータが使用するための次の段階のガイダンスであって、前記次の段階の特定のタスクを実行する仕方に関する指示を含む次の段階のガイダンスを、前記コンピュータシステムによって生成することを含み、かつ／または、
前記組立現場に対して配置されたディスプレイシステムに前記ガイダンス情報を表示することを、さらに含む、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記方法が、前記組立プロセスの前記現在の段階の前記品質レポートが、関心のある問題が存在することを示しているかどうかを、前記コンピュータシステムによって決定することと、
前記コンピュータシステムによって、前記レコードの履歴をロールバックして、関心のある前記問題の根本原因を識別することと、
をさらに含み、
前記レコードの履歴をロールバックすることが、
前記組立プロセスの前記現在の段階の直前の前記組立プロセスの選択された段階に対応する第１のレコードを、前記コンピュータシステムによって分析することを含み、
さらに、前記レコードの履歴をロールバックすることが、
前記選択された段階で前記根本原因が発生したかどうかを、前記コンピュータシステムによって決定することと、
前記選択された段階の直前の前記組立プロセスの別の段階に対応する第２のレコードを、前記コンピュータシステムによって分析することと、
をさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記組立現場で組立品を組み立てるための組立プロセスの現在の段階を、前記コンピュータシステムによって識別することが、前記センサデータ、データリポジトリに格納された組立情報、ならびに機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、および人工知能学習のうちの少なくとも１つ、を使用して実行され、
関心のある少なくとも１つの問題であって、不適切な部品、不適切な部品位置、不適切な向き、亀裂、へこみ、ねじれ、および表面の不整合のうちの１つから選択される関心のある少なくとも１つの問題が存在することを、前記組立プロセスの前記現在の段階の前記品質レポートが示しているかどうかを、前記コンピュータシステムによって決定することを、さらに含む、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記方法が、前記組立プロセス中に人間のオペレータが使用するための、前記現在の段階の特定のタスクを実行する仕方に関する指示を含む現在の段階のガイダンスおよび次の段階の特定のタスクを実行する仕方に関する指示を含む次の段階のガイダンスのうちの少なくとも一方を、前記コンピュータシステムによって生成することを、さらに含み、
前記コンピュータシステムによって、前記現在の段階のガイダンスおよび前記次の段階のガイダンスのうちの前記少なくとも一方をディスプレイシステムに表示することを、さらに含み、かつ／または、
前記コンピュータシステムによって、前記品質レポートの少なくとも一部をディスプレイシステムに提示して、人間のオペレータに前記品質レポートを知らせることを、さらに含む、請求項１０に記載の方法。
【請求項12】
組立プロセスの自動化された監視および検査のためのシステムであって、前記システムが、組立現場および前記組立現場で組み立てられている組立品に対して配置されたセンサシステムであって、前記組立現場でセンサデータを生成するセンサシステムと、
前記組立現場で前記組立品を組み立てるための前記組立プロセスの現在の段階を識別し、前記現在の段階のデータリポジトリに格納されているコンテキスト情報を識別し、少なくとも前記現在の段階についての前記コンテキスト情報に基づいて、前記組立品の品質レポートを生成し、前記組立プロセスの前記現在の段階に対応するレコードの一部として前記品質レポートを前記データリポジトリに格納し、それにより前記組立プロセスのレコードの履歴を構築するコンピュータシステムと、
を備え、
前記現在の段階を識別することは、
前記センサデータを使用して複数のオブジェクトを検出することと、
前記複数のオブジェクトの少なくとも一部を前記組立品の部品にマッチングさせることと、
を含み、前記部品にマッチングした前記複数のオブジェクトの前記一部が、複数のマッチングしたオブジェクトであり、前記現在の段階は、少なくとも前記複数のマッチングしたオブジェクトの識別に基づいて識別され、
前記コンテキスト情報が、識別された前記現在の段階の前記組立品の公称状態の選択された許容誤差、前記現在の段階の前記組立品の公称状態、前記現在の段階に存在すると予想される各部品の公称状態、前記現在の段階の前に完了したステップの識別、前記現在の段階の間に完了すべきステップの識別、および前記現在の段階の後に完了すべきステップの識別のうちの少なくとも１つであり、
前記組立品の前記品質レポートを生成することは、検出された前記複数のオブジェクトのうちの１つ以上が、対応する前記組立品の部品とマッチングできないかどうか、および前記複数のマッチングしたオブジェクトのうちの１つ以上が、前記組立プロセスの前記現在の段階に存在すると予想される部品とマッチングしないかどうか、を示すマッチング評価を、前記複数のマッチングしたオブジェクトおよび前記現在の段階についての前記コンテキスト情報に基づいて、生成することを含み、
前記品質レポートが、関心のある少なくとも１つの問題が存在するかどうかを示す評価を含み、
前記レコードは、前記センサデータの少なくとも一部、前記品質レポート、前記複数のオブジェクトの識別、および前記複数のマッチングしたオブジェクトの識別を含む、
システム。
【請求項13】
前記センサシステムが、前記組立現場に対して配置された少なくとも１つのカメラを含み、前記カメラが、２次元撮像データを生成する、請求項１２に記載のシステム。
【請求項14】
前記コンピュータシステムが、前記センサデータ、データリポジトリに格納された組立情報、ならびに機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、および人工知能学習のうちの少なくとも１つ、を使用して、前記組立プロセスの前記現在の段階を識別し、
前記組立情報が、部品画像ライブラリ、部品モデルライブラリ、組立プロセスフローデータ、組立現場モデルデータ、組立品モデルデータ、組立ビデオデータ、および特徴データのうちの少なくとも１つを含む、請求項１２または１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、組立現場の検査に関する。より詳細には、本開示は、組立現場での組立プロセスの自動化された監視および検査のための方法およびシステムに関する。
【背景技術】
【0002】
航空機の構造などの複雑な構造では、数百、数千、数万、または数十万ものコンポーネントの組立が必要になる場合がある。これらのタイプの複雑な構造の組立は、製造環境でいくつかの課題を提示する場合がある。例えば、組立プロセスの様々な段階で、様々なタイプまたはレベルの検査が必要になる場合がある。１つの検査ステップは、ある特定の段階で組み立てられている部品が、実際に、組み立てられると予想された部品であるかどうかを、決定することを、含み得る。別の検査ステップは、部品が正しい位置に組み立てられたかどうかを、決定することを、含み得る。さらに別の検査ステップは、部品が組立プロセス中の正しい時間に組み立てられたかどうかを、決定することを、含み得る。１つの検査ステップは、部品の組立が安全要件、品質要件、またはその両方を満たすかどうかを、決定することを、含み得る。
【0003】
現在利用可能ないくつかの検査方法は、人間のオペレータによる組立品の手動検査を含む。しかし、このタイプの手動検査は、人為的ミスを起こしやすく、期待ほど正確ではない場合がある。さらに、手動検査は、期待したより時間がかかり、期待したより費用がかかる場合がある。例えば、手動検査で望ましくない特徴が識別された場合、望ましくない特徴の原因を識別するために、分解が必要になる場合がある。この分解プロセスは、期待したよりも時間と費用がかかる場合がある。したがって、上述の問題に対処するための１つ以上の装置および方法が、望まれ得る。
【発明の概要】
【0004】
例示的な一実施形態では、組立プロセスの自動化された監視および検査を実行するための方法が、提供される。この方法は、コンピュータシステムを使用して実施される。組立現場に対して配置されたセンサシステムを使用して、センサデータが、組立現場で生成される。組立現場で組立品を組み立てるための組立プロセスの現在の段階が、センサデータを使用して識別される。現在の段階のコンテキストが、識別される。組立品の品質レポートが、センサデータおよび現在の段階のコンテキストに基づいて生成される。
【0005】
別の例示的な実施形態では、組立プロセスの自動化された監視および検査を実行するための方法が、提供される。この方法は、コンピュータシステムを使用して実施される。組立現場に対して配置されたセンサシステムを使用して、センサデータが、組立現場で生成される。組立現場で組立品を組み立てるための組立プロセスの現在の段階が、センサデータ、データリポジトリに格納された組立情報、および機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習のうちの少なくとも１つを使用して、識別される。現在の段階のコンテキストが、識別される。組立プロセスの現在の段階に対応する品質レポートが、センサデータおよび現在の段階のコンテキストに基づいて生成される。組立プロセスの現在の段階に対応するレコードが、データリポジトリに格納され、それにより組立プロセスのレコードの履歴が構築される。レコードは、センサデータの少なくとも一部および品質レポートを含む。
【0006】
別の例示的な実施形態では、組立プロセスの自動化された監視および検査のためのシステムが、センサシステムおよびコンピュータシステムを含む。センサシステムは、組立現場および組立現場で組み立てられている組立品に対して配置される。コンピュータシステムは、センサシステムによって生成されたセンサデータに基づいて、組立現場で組立品を組み立てるための組立プロセスの現在の段階を識別し、現在の段階のコンテキストを識別し、センサデータおよび現在の段階のコンテキストに基づいて、組立品の品質レポートを生成する。
【0007】
特徴および機能は、本開示の様々な実施形態において独立して達成されてもよいし、またはさらに他の実施形態において組み合わされてもよく、以下の説明および図面を参照して、さらなる詳細が見られ得る。
【0008】
例示的な実施形態の特徴を示すと考えられる新規の特徴が、添付の特許請求の範囲に記載されている。しかしながら、例示的な実施形態、ならびにその好ましい使用モード、さらなる目的および特徴は、添付の図面と併せて、例示的な実施形態の以下の詳細な説明を参照することによって、最もよく理解されるであろう。
【図面の簡単な説明】
【0009】
【図1】例示的な実施形態による、製造環境のブロック図である。
【図4】例示的な実施形態による、組立現場の図である。
【図5】例示的な実施形態による、組立プロセスの自動化された監視および検査を実行するための方法のフローチャートである。
【図6】例示的な実施形態による、組立プロセスの自動化された監視および検査を実行するための方法のフローチャートである。
【図7】例示的な実施形態による、組立プロセスの現在の段階を識別するための方法のフローチャートである。
【図8】例示的な実施形態による、ロールバック検証を実行するための方法のフローチャートである。
【図9】例示的な実施形態による、組立プロセスの自動化された監視および検査のための方法のフローチャートである。
【図10】例示的な実施形態による、データ処理システムのブロック図である。
【図11】例示的な実施形態による、航空機製造および保守方法の図である。
【図12】例示的な実施形態による、航空機のブロック図である。
【発明を実施するための形態】
【0010】
以下に説明する例示的な実施形態は、組立現場での組立プロセスの監視および検査を自動化するための方法およびシステムを提供する。これらの方法とシステムは、機械学習、コンピュータビジョン、および他の人工知能技術を使用して、組立プロセスの監視および検査を自動化する。さらに、これらの方法とシステムは、事前に定義された品質要件に従って、適切な位置で、組立プロセス中の正しい時間に部品が組み立てられていることを識別する自動化されたやり方を、提供する。
【0011】
例示的な実施形態によって提供される自動化された監視および検査システムは、検査プロセスにおける人間の介入の必要性を減らすような仕方で、組立プロセスの品質管理を改善する。この人間の介入の必要性を減らすことにより、人間に関連するエラーを減らすことができる。さらに、自動化された監視および検査システムにより、コストと時間を節約できる。例えば、自動化された監視および検査システムは、広範囲に分解したり、実際の組立ステップを逆戻りさせたりすることなく、問題の根本原因を識別する方法を、提供する。
【0012】
図１は、例示的な実施形態による、製造環境のブロック図である。製造環境１００は、構造１０４を形成するために複数の部品１０２を組み立てることができる製造環境の一タイプの例である。構造１０４は、多くの異なる形態を取り得る。例えば、構造１０４は、航空機、翼、翼構造、胴体、胴体構造、フレーム、安定板、または他の何らかのタイプの構造１０４であってもよい。ある場合には、複数の部品１０２のうちの一つの部品は、ピース、コンポーネント、エレメント、部材、または他の何らかのタイプのユニットと呼ばれることもある。
【0013】
複数の部品１０２は、製造環境１００内の組立現場１０５で組み立てることができる。いくつかの例示的な例では、組立現場１０５は、製造環境１００内の複数の組立現場の１つであってもよい。組立現場１０５は、例えば、地面の領域、プラットフォーム、足場、または複数の部品１０２が組み立てられる他の何らかのタイプの現場を含むことができる。
【0014】
組立プロセス１０６に従って、複数の部品１０２を組み立てて、構造１０４を形成することができる。組立プロセス１０６は、複数の段階１０８を含むことができる。本明細書で使用される場合、複数の段階１０８の段階は、組立プロセス１０６の単一の段階、段階のシーケンス、サブ段階のシーケンス、部分組立プロセスの段階、組立プロセス１０６もしくは部分組立プロセスのステップ、または組立プロセス１０６中に並行して実行される２つ以上のステップであってもよい。組立プロセス１０６の任意の所与の段階で、完成前および完成まで、構造１０４は、組立品１１０と呼ばれる場合がある。ある場合には、組立品１１０は、「構築物」と呼ばれることもある。
【0015】
監視および検査システム１１２は、組立プロセス１０６を監視し、組立プロセス１０６中に検査を実行するために使用される。監視および検査システム１１２は、自動化されたシステムであってもよい。詳細には、監視および検査システム１１２は、組立プロセス１０６の監視を自動化し、組立プロセス１０６中の検査を自動化して、人間の介入の必要性を低減するか、場合によっては排除さえする。
【0016】
これらの例示的な例では、監視および検査システム１１２は、センサシステム１１４、トレーニングマネージャ１１６、組立マネージャ１１８、ロールバック検証器１２０、データリポジトリ１２１、および出力システム１２２を含む。センサシステム１１４は、任意の数または組み合わせのセンサを含むことができる。例えば、センサシステム１１４は、撮像デバイス、レーダーセンサ、ソナーセンサ、光検出と測距（ＬｉＤＡＲ）センサ、赤外線（ＩＲ）センサ、または他の何らかのタイプのセンサのうちの少なくとも１つを含んでよい。撮像デバイスは、例えば、カメラ、ステレオカメラ、ビデオカメラ、赤外線カメラ、他の何らかのタイプの撮像デバイス、またはそれらの組み合わせを含むことができるが、これらに限定されない。例示的な一例では、センサシステム１１４は、撮像システムのセットを含み、各撮像システムが、１つ以上の撮像デバイスを含む。撮像システムのセットなどの項目のセットは、１つ以上の項目を含むことができる。
【0017】
トレーニングマネージャ１１６、組立マネージャ１１８、およびロールバック検証器１２０は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組み合わせを使用して実施され得る。ソフトウェアが使用される場合、トレーニングマネージャ１１６、組立マネージャ１１８、またはロールバック検証器１２０のそれぞれによって実行される動作は、例えば、限定しないが、プロセッサユニット上で走るように構成されたプログラムコードを使用して、実施され得る。ファームウェアが使用される場合、トレーニングマネージャ１１６、組立マネージャ１１８、またはロールバック検証器１２０のそれぞれによって実行される動作は、例えば、限定しないが、プロセッサユニット上で走るように、永続性のメモリに格納されたプログラムコードとデータを使用して実施され得る。
【0018】
ハードウェアが用いられる場合、ハードウェアは、トレーニングマネージャ１１６、組立マネージャ１１８、またはロールバック検証器１２０のそれぞれによって実行される動作を実行するように動作する１つ以上の回路を含み得る。実施態様に応じて、ハードウェアは、回路システム、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス、または任意の数の動作を実行するように構成された他の何らかの適切なタイプのハードウェアデバイスの形態を取り得る。プログラマブルロジックデバイスは、特定の動作を実行するように構成され得る。デバイスは、これらの動作を実行するように恒久的に構成されてもよいし、または再構成可能であってもよい。プログラマブルロジックデバイスは、例えば、限定されないが、プログラマブルロジックアレイ、プログラマブルアレイロジック、フィールドプログラマブルロジックアレイ、フィールドプログラマブルゲートアレイ、または他の何らかのタイプのプログラマブルハードウェアデバイスの形態を取り得る。
【0019】
これらの例示的な例では、組立マネージャ１１８およびロールバック検証器１２０は、コンピュータシステム１２４を使用して実施され得る。コンピュータシステム１２４は、単一のコンピュータまたは互いに通信する複数のコンピュータを含み得る。いくつかの実施形態では、コンピュータシステム１２４は、ラップトップ、タブレット、スマートフォン、または他の何らかのタイプのモバイルデバイスを含み得る。
【0020】
いくつかの実施形態では、コンピュータシステム１２４の一部は、コンピュータシステム１２４の別の部分に対して遠隔に配置されてもよい。例えば、コンピュータシステム１２４は、製造環境１００内の組立現場１０５にまたはその周囲に配置されたコンピュータと、コンピュータに対して遠隔に配置されたサーバシステムとを含み得る。サーバシステムは、製造環境１００の内部または外部に配置され得る。ある場合には、トレーニングマネージャ１１６は、第１のコンピュータを使用して実施され、組立マネージャ１１８は、第２のコンピュータを使用して実施され、ロールバック検証器１２０は、第３のコンピュータを使用して実施され得る。このように、コンピュータシステム１２４は、組立マネージャ１１８およびロールバック検証器１２０を実施するために、多くの異なるやり方で使用され得る。
【0021】
データリポジトリ１２１は、１つ以上のデータベース、連想メモリ、何らかの他のタイプのデータ構造、またはそれらの組み合わせを含み得る。データリポジトリ１２１は、トレーニングマネージャ１１６、組立マネージャ１１８、ロールバック検証器１２０、またはそれらの組み合わせと通信することができる。いくつかの例では、データリポジトリ１２１は、コンピュータシステム１２４の一部であってもよい。いくつかの例では、データリポジトリ１２１またはデータリポジトリ１２１の少なくとも一部は、組立現場１０５に対して遠隔に配置されている。
【0022】
データリポジトリ１２１は、組立情報１２６を格納する。データリポジトリ１２１に格納され得る組立情報１２６のタイプの例が、以下の図２に記載されている。
【0023】
出力システム１２２は、トレーニングマネージャ１１６、組立マネージャ１１８、ロールバック検証器１２０、またはそれらの組み合わせと通信することができる。出力システム１２２は、１つ以上の出力デバイスを含み得る。いくつかの例示的な例では、出力システム１２２の一部または全てが、コンピュータシステム１２４の一部と見なされ得る。これらの例示的な例では、出力システム１２２は、ディスプレイシステム１２８、音声システム１３０、または他の何らかのタイプの出力デバイスのうちの少なくとも１つを含み得る。ディスプレイシステム１２８は、例えば、スクリーン、タッチスクリーン、モニタ、ヘッドマウントディスプレイデバイス、または他の何らかのタイプのディスプレイデバイスのうちの少なくとも１つを含み得る。音声システム１３０は、例えば、マイクロホン、スピーカー、または他の何らかのタイプの音声デバイスのうちの少なくとも１つを含み得る。
【0024】
センサシステム１１４を使用して、組立プロセス１０６の前、組立プロセス１０６中に、またはその両方でセンサデータ１３２を生成することができる。センサデータ１３２は、２次元（２Ｄ）撮像データ、３次元（３Ｄ）撮像データ、１つ以上の他のタイプのセンサデータ、またはそれらの組み合わせを含むことができる。センサデータ１３２は、処理のためにトレーニングマネージャ１１６および組立マネージャ１１８に送信される。いくつかの例示的な例では、センサデータ１３２の一部または全てが、データリポジトリ１２１に格納される。
【0025】
組立プロセス１０６が始まる前に、トレーニングマネージャ１１６は、組立情報１２６、および任意選択でセンサデータ１３２を使用して、構造１０４を形成するために組み立てられるべき複数の部品１０２のうちの様々な部品および複数の段階１０８のうちの様々な段階を識別するように、組立マネージャ１１８をトレーニングする。さらに、トレーニングマネージャ１１６は、組立情報１２６、および任意選択でセンサデータ１３２を使用して、組立品１１０の品質メトリックを評価するように、組立マネージャ１１８をトレーニングする。
【0026】
組立マネージャ１１８は、センサデータ１３２を処理して、組立プロセス１０６の現在の段階１３４を識別する。次に、組立マネージャ１１８は、現在の段階１３４のコンテキスト１３６を識別する。コンテキスト１３６は、例えば、現在の段階１３４の組立品１１０の公称状態、現在の段階１３４に存在すると予想される各部品の公称状態、現在の段階１３４の組立品１１０の公称状態の選択された許容誤差、組立品１１０の事前に識別された品質メトリックの選択された許容誤差、現在の段階１３４の前に完了したステップの識別、現在の段階１３４の間に完了されるべきステップの識別、現在の段階１３４の後に完了されるべき次のステップの識別、またはその他の情報のうちの少なくとも１つを含むことができる。
【0027】
コンテキスト１３６は、人間のオペレータが全く識別できない、または組立現場１０５を見ること、もしくは視覚化することに基づいて迅速かつ容易に識別することができない情報を含んでもよい。例えば、組立プロセス１０６が多数の段階を含む場合、人間のオペレータは、現在の段階１３４または現在の段階１３４における組立品１１０の事前に識別された品質メトリックの選択された許容誤差、現在の段階１３４の前に完了したステップ、現在の段階１３４の間に完了されるべきステップ、または現在の段階１３４の後に完了されるべき次のステップを容易に識別できない場合がある。
【0028】
現在の段階１３４について識別されたコンテキスト１３６に基づいて、組立マネージャ１１８は、出力システム１２２を介してガイダンス情報１３８を出力することができる。ガイダンス情報１３８は、例えば、現在の段階１３４で実行されるべきステップのリスト、現在の段階１３４の後に実行されるべき次のステップのリスト、またはその両方を含むことができる。ガイダンス情報１３８は、組立プロセス１０６中に実行されるべきタスクについて１人以上の人間のオペレータに通知するために使用される。
【0029】
さらに、現在の段階１３４について識別されたコンテキスト１３６に基づいて、組立マネージャ１１８は、現在の段階１３４の組立品１１０を評価し、品質レポート１４０を生成することができる。品質レポート１４０は、品質評価と呼ばれることもある。品質レポート１４０は、組立品１１０の品質に関連する関心のある問題が存在するかどうかを示す。
【0030】
組立マネージャ１１８によって識別された組立プロセス１０６の各段階について、組立マネージャ１１８は、対応する品質レポート１４０をデータリポジトリ１２１に格納して、組立プロセス１０６に関するレポートの履歴１４２を構築する。現在の段階１３４で、組立マネージャ１１８が、関心のある問題を検出した場合、ロールバック検証器１２０が、データリポジトリ１２１に格納された品質レポートの履歴１４２を逆順にロールバックして、関心のある問題の根本原因を識別することができる。
【0031】
図２は、例示的な実施形態による、図１のトレーニングマネージャ１１６およびデータリポジトリ１２１のブロック図である。図１の組立プロセス１０６が組立現場１０５で実行される前に、トレーニングマネージャ１１６は、データリポジトリ１２１に格納された組立情報１２６を使用して、図１の複数の段階１０８のそれぞれを評価するように、図１の組立マネージャ１１８をトレーニングする。
【0032】
トレーニングマネージャ１１６は、このトレーニングを実行するために、任意の数のアルゴリズムおよび手法を使用してもよい。例えば、トレーニングマネージャ１１６は、機械学習、ディープラーニング、コンピュータビジョン、他の何らかのタイプの計算論的学習、他の何らかのタイプの人工知能学習、またはそれらの組み合わせのうちの少なくとも１つを使用してもよい。
【0033】
データリポジトリ１２１に格納された組立情報１２６は、様々なタイプの情報を含むことができる。例えば、組立情報１２６は、部品画像ライブラリ２０２、部品モデルライブラリ２０４、組立プロセスフローデータ２０６、組立現場モデルデータ２０８、組立品モデルデータ２１０、組立ビデオデータ２１２、特徴データ２１４、またはそれらの組み合わせを含むことができる。
【0034】
部品画像ライブラリ２０２は、例えば、図１の複数の部品１０２の部品の少なくとも一部に関する１つ以上の画像を含むことができる。ある場合には、部品画像ライブラリ２０２は、複数の部品１０２のそれぞれに関する画像を含んでもよい。これらの例示的な例では、部品画像ライブラリ２０２はまた、以前に完了した組立プロセスからキャプチャされた部品の画像を、含んでもよい。
【0035】
部品モデルライブラリ２０４は、例えば、図１の複数の部品１０２の部品の少なくとも一部に関する１つ以上のモデルを含むことができる。ある場合には、部品モデルライブラリ２０４は、複数の部品１０２のそれぞれに関するモデルを含んでもよい。部品のモデルは、例えば、コンピュータ支援設計（ＣＡＤ）モデルであってもよい。
【0036】
組立プロセスフローデータ２０６は、図１の組立プロセス１０６の複数の段階１０８のフローまたはシーケンスに関する情報を含むことができる。例示的な一例では、組立プロセスフローデータ２０６は、組立プロセス１０６の複数の段階１０８が進行すべきフローまたはシーケンスを表す有向組立グラフ２１６の形態をとる。ある場合には、この有向組立グラフ２１６は、互いに並行して行われるサブ段階を表すサブフローを含んでもよい。
【0037】
組立現場モデルデータ２０８は、例えば、図１の組立現場１０５のベースラインモデルと、組立プロセス１０６の複数の段階１０８のそれぞれにおけるベースラインモデルの更新とを含むことができる。いくつかの例示的な例では、組立現場モデルデータ２０８は、複数の段階１０８の各段階における組立現場１０５のモデルを含む。組立現場モデルデータ２０８に含まれるモデルは、例えば、３次元モデルであってもよい。さらに、ある場合には、これらのモデルは、複数の段階１０８の各段階に含まれ、すでにその一部である部品の表現を含んでもよい。他の場合には、モデルは、部品のＣＡＤモデルにリンクされている。
【0038】
組立品モデルデータ２１０は、複数の段階１０８における組立品１１０の様々な状態を表す任意の数のモデルを含むことができる。例示的な一例では、組立品モデルデータ２１０は、複数の段階１０８の第１段階での組立品１１０のベースラインモデルと、複数の段階１０８のそれぞれでの組立品１１０への１つ以上の部品の追加を反映するベースラインモデルの更新とを含む。組立ビデオデータ２１２は、組立プロセス１０６全体のビデオ、または以前に実行された組立プロセス１０６中にキャプチャされた組立プロセス１０６の様々な段階の複数のビデオを含むことができる。
【0039】
特徴データ２１４は、様々な特徴に関する情報を含むことができる。特徴は、亀裂、へこみ、ねじれ、表面レベルの特徴、他のタイプの特徴、またはそれらの組み合わせを含むことができる。特徴データ２１４は、これらの特徴の画像を含んでもよい。これらの例示的な例では、特徴データ２１４は、各特徴についての選択された許容誤差を含む。例示的な一例として、特徴データ２１４は、亀裂の長さに対する選択された許容誤差、へこみの深さに対する選択された許容誤差、および他のタイプの選択された許容誤差を含むことができる。
【0040】
これらの例示的な例では、トレーニングマネージャ１１６が、時間の経過とともに生成されるセンサデータ１３２を使用して、組立情報１２６を更新することができる。センサデータ１３２の分析が実行される全体的な精度と効率が、このタイプの更新によって改善される。
【0041】
【0042】
データアナライザ３０２は、データリポジトリ１２１に格納されたセンサデータ１３２および組立情報１２６を使用して、組立プロセス１０６中に複数の段階１０８の各段階を識別する。例えば、組立プロセス１０６中の任意の所与の時点で、データアナライザ３０２は、組立プロセス１０６の現在の段階１３４を識別するために、任意の数のアルゴリズムまたは手法を使用することができる。
【0043】
例示的な一例では、センサデータ１３２は、組立現場１０５の撮像データ３０６、距離データ３０７、またはその両方を含む。撮像データ３０６は、組立現場１０５の２次元画像、３次元画像、ビデオ、またはそれらの組み合わせを含む。距離データ３０７は、レーダーセンサ、ＬｉＤＡＲセンサ、赤外線センサ、または他の何らかのタイプのセンサのうちの少なくとも１つからのデータを含み得る。
【0044】
これらの例示的な例では、データアナライザ３０２は、組立情報１２６と組み合わせて、機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、他の何らかのタイプの計算論的学習、他の何らかのタイプの人工知能学習、またはそれらの組み合わせのうちの少なくとも１つを使用して、撮像データ３０６、距離データ３０７、またはその両方を用いて、オブジェクト３０８を検出および識別することができる。いくつかの例示的な例では、データアナライザ３０２は、オブジェクト３０８を検出および識別するために２次元撮像データのみを使用してもよい。
【0045】
データアナライザ３０２は、組立情報１２６に基づいて、検出されたオブジェクト３０８を部品にマッチングさせる。例えば、データアナライザ３０２は、部品画像ライブラリ２０２、部品モデルライブラリ２０４、またはその両方を使用して、オブジェクト３０８を部品にマッチングさせることができる。このマッチングは、例えば、形状、サイズ、色、識別マーク、または他の何らかのタイプの比較ポイントに基づいて、実行することができる。
【0046】
オブジェクト３０８が、部品とマッチングすると、それらは、マッチングしたオブジェクト３０９と呼ばれ得る。ある場合には、オブジェクト３０８の全てが、対応する部品にマッチングできるわけでない。したがって、マッチングしたオブジェクト３０９は、オブジェクト３０８の全てまたは部分集合を含むことができる。
【0047】
データアナライザ３０２は、組立現場１０５の基準座標系に関するマッチングしたオブジェクト３０９の位置３１０および向き３１２を識別する。例えば、データアナライザ３０２は、最初に、ある特定の画像内のマッチングしたオブジェクト３０９の位置３１０を識別することができる。データアナライザ３０２は、その画像が生成された視点を、組立現場１０５のモデルに対する、画像を生成した撮像デバイスの対応する位置に同期させることができる。次に、レイトレーシングまたは他の何らかの手法を使用して、マッチングした各オブジェクトの位置を決定することができる。次に、そのマッチングしたオブジェクトの向きを決定することができる。他の例示的な例では、データアナライザ３０２は、組立品１１０の基準座標系に関するマッチングしたオブジェクト３０９の位置３１０および向き３１２を識別する。
【0048】
データアナライザ３０２は、撮像データ３０６内の１つ以上の特徴３１４を識別することができる。特徴３１４は、組立品１１０の特定の部品、表面、または他の部分の特徴であってもよい。特徴３１４は、例えば、限定しないが、亀裂、へこみ、ねじれ、表面レベルの特徴、または他の何らかのタイプの特徴を含んでもよい。表面レベルの特徴は、例えば、平坦度のレベル、滑らかさのレベル、または何らかの他のタイプの表面特徴であってもよい。特徴は、選択された許容誤差を超えている場合、望ましくない特徴または不整合と見なされ得る。
【0049】
データアナライザ３０２は、組立情報１２６と組み合わせて、機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、他の何らかのタイプの計算論的学習、他の何らかのタイプの人工知能学習、またはそれらの組み合わせのうちの少なくとも１つを使用して、撮像データ３０６内のオブジェクト３０８を検出および識別することができる。
【0050】
いくつかの例示的な例では、データアナライザ３０２は、さらに、撮像データ３０６内の現場要素３１５を識別する。現場要素３１５は、ツール、識別マーク、ラベル、ロボット、および組立現場１０５に存在し得る部品以外の要素を含むことができる。
【0051】
マッチングしたオブジェクト３０９の識別、マッチングしたオブジェクト３０９の位置３１０、マッチングしたオブジェクト３０９の向き３１２、および現場要素３１５の組み合わせを使用して、データアナライザ３０２は、次に、組立プロセス１０６の現在の段階１３４を識別することができる。例えば、データアナライザ３０２は、上記の情報と組み合わせて組立情報１２６を使用して、現在の段階１３４を識別することができる。より具体的には、データアナライザ３０２は、図２の組立プロセスフローデータ２０６、組立現場モデルデータ２０８、組立品モデルデータ２１０、組立ビデオデータ２１２、何らかの他のタイプの情報、またはそれらの組み合わせを使用して、現在の段階１３４を識別することができる。ある場合には、現在の段階１３４の識別は、組立局所化較正または組立段階較正と呼ばれ得る。
【0052】
現在の段階１３４が識別されると、データアナライザ３０２は、データリポジトリ１２１に格納されたコンテキスト情報３１６を使用して、現在の段階１３４のコンテキスト１３６を識別する。コンテキスト情報３１６はまた、組立情報１２６の一部を含んでもよい。例えば、コンテキスト情報３１６は、組立プロセス１０６の複数の段階１０８の各段階の品質メトリックを含んでもよい。
【0053】
上述のように、現在の段階１３４のコンテキスト１３６は、現在の段階１３４の組立品１１０の公称状態、現在の段階１３４に存在すると予想される各部品の公称状態、現在の段階１３４の組立品１１０の公称状態の選択された許容誤差、組立品１１０の事前に識別された品質メトリックの選択された許容誤差、現在の段階１３４の前に完了したステップの識別、現在の段階１３４の間に完了されるべきステップの識別、現在の段階１３４の後に完了されるべき次のステップの識別、またはその他の情報のうちの少なくとも１つを含むことができる。
【0054】
コンテキスト１３６が識別されると、出力生成器３０４は、ガイダンス情報１３８および品質レポート１４０を生成する。ガイダンス情報１３８は、組立プロセス１０６に関与する１人以上の人間のオペレータに通知するために使用される。ガイダンス情報１３８は、例えば、現在の段階のガイダンス３１８、次の段階のガイダンス３２０、またはその両方を含むことができる。
【0055】
現在の段階のガイダンス３１８は、例えば、現在の段階１３４で実行されるべきステップのリストを含むことができる。ある場合には、現在の段階のガイダンス３１８は、現在の段階１３４の特定のタスクを実行する仕方に関する指示を含む。現在の段階のガイダンス３１８は、１つ以上の画像、ビデオ、またはその両方を含み、特定のタスクを実行する仕方に関して人間のオペレータをガイドするのを助けることができる。ガイダンス情報１３８は、図１のディスプレイシステム１２８を通して表示され得る。ある場合には、現在の段階のガイダンス３１８は、組立プロセス１０６の現在の段階１３４で特定のタスクを実行する仕方に関する音声指示などの音声ガイダンスを含む。これらの音声指示は、図１の音声システム１３０を通して人間のオペレータに対して出されてもよい。
【0056】
次の段階のガイダンス３２０は、例えば、現在の段階１３４に続く次の段階で実行されるべきステップのリストを含むことができる。データアナライザ３０２、出力生成器３０４、またはその両方は、例えば、図２の有向組立グラフ２１６を使用して、この次の段階を識別することができる。いくつかの例示的な例では、次の段階のガイダンス３２０は、次の段階の特定のタスクを実行する仕方に関する指示を含む。次の段階のガイダンス３２０は、１つ以上の画像、ビデオ、またはその両方を含み、特定のタスクを実行する仕方に関して人間のオペレータをガイドするのを助けることができる。
【0057】
ガイダンス情報１３８は、図１に記載された出力システム１２２を通して人間のオペレータに提示され得る。例えば、ガイダンス情報１３８は、図１のディスプレイシステム１２８を通して表示され得る。ある場合には、現在の段階のガイダンス３１８は、組立プロセス１０６の現在の段階１３４で特定のタスクを実行する仕方に関する音声指示などの音声ガイダンスを含んでもよい。これらの音声指示は、図１の音声システム１３０を通して人間のオペレータに対して出されてもよい。
【0058】
さらに、現在の段階１３４について識別されたコンテキスト１３６、マッチングしたオブジェクト３０９、位置３１０、向き３１２、および現場要素３１５に基づいて、出力生成器３０４は、現在の段階１３４の組立品１１０を評価し、品質レポート１４０を生成する。品質レポート１４０は、組立品１１０の品質に関連する関心のある問題が存在するかどうかを示す。例えば、品質レポート１４０は、マッチング評価３２２、位置評価３２４、不整合評価３２６、または他の何らかのタイプの評価のうちの少なくとも１つを含む。
【0059】
マッチング評価３２２は、オブジェクト３０８のうちの１つ以上が、対応する部品にマッチングすることができなかったかどうかを、示し得る。いくつかの例示的な例では、マッチング評価３２２は、マッチングしたオブジェクト３０９の１つ以上が、組立プロセス１０６の現在の段階１３４に存在すると予想される部品とマッチングしないかどうかを、示してもよい。位置評価３２４は、マッチングしたオブジェクト３０９が組立品１１０に対して正しい位置に組み立てられたか、または間違った位置に組み立てられたか、を示す。不整合評価３２６は、特徴３１４が識別されたかどうか、もしそうであれば、特徴３１４が選択された許容誤差を超えているかどうかを示す。データアナライザ３０２、出力生成器３０４、またはその両方が、図２の特徴データ２１４を使用して、特徴３１４が選択された許容誤差を超えているかどうかを決定することができる。
【0060】
ある場合には、品質レポート１４０は、全体的な段階評価３２８を含んでもよい。全体的な段階評価３２８は、例えば、現在の段階１３４が選択された許容誤差内で進行しているかどうかの表示であってもよい。ある場合には、全体的な段階評価３２８は、「合格」、「境界線」、および「不合格」のうちの１つから選択された等級であってもよい。
【0061】
品質レポート１４０は、様々な方法で出力システム１２２を介して人間のオペレータに提示され得る。例示的な一例では、品質レポート１４０は、ディスプレイシステム１２８に表示された組立現場１０５または組立品１１０の画像上に重ねられたグラフィカルインジケータを使用して提示されてもよい。例えば、画像内に識別された、正しい部品ならびに正しい位置および向きにマッチングしたオブジェクトは、第１のタイプのグラフィカルインジケータ（例えば、オブジェクトの周りの緑色の円、緑色の矢印など）で示されてもよい。画像内に識別された、ミスマッチした、間違った位置にある、または間違った向きを有するオブジェクトは、第２のタイプのグラフィカルインジケータ（例えば、オブジェクトの周りの赤色の円、赤色の矢印など）で示されてもよい。上記のように、ミスマッチしたオブジェクトは、現在の段階１３４に存在するべきでない部品にマッチングしたオブジェクト、またはどの部品にもマッチングしなかったオブジェクトであってもよい。
【0062】
センサデータ１３２および組立マネージャ１１８によって生成された様々な情報は、データリポジトリ１２１に格納される。例えば、段階レコード３３０が、現在の段階１３４に関連してデータリポジトリ１２１に格納されてもよい。段階レコード３３０は、センサデータ１３２、オブジェクト３０８の識別、マッチングしたオブジェクト３０９の識別、位置３１０、向き３１２、および品質レポート１４０を含むことができる。ある場合には、段階レコード３３０は、ガイダンス情報１３８を含んでもよい。データリポジトリ１２１に格納されると、段階レコード３３０は、履歴１４２の一部になる。したがって、このタイプのレコードの履歴１４２は、識別および分析された複数の段階１０８の各段階のレコードを含む。
【0063】
図１～図３の図は、例示的な実施形態が実施され得る方法に対する物理的またはアーキテクチャ上の制限を暗示することを意図したものではない。図示されたコンポーネントに加えて、またはそのコンポーネントの代わりに、他のコンポーネントが使用されてもよい。一部のコンポーネントは、任意選択であってもよい。さらに、いくつかの機能コンポーネントを図示するために、ブロックが提示されている。これらのブロックのうちの１つ以上のブロックが、異なる例示的な実施形態で実施される場合に、結合され、または分割され、または結合および分割されて異なるブロックになってもよい。
【0064】
図４は、例示的な実施形態による、組立現場の図である。組立現場４００は、図１に記載された組立現場１０５の一実施態様の例であり得る。翼組立品４０２が、最終的に翼を形成するために組立現場４００で組み立てられている。翼組立品４０２は、図１に記載された組立品１１０の一実施態様の例である。翼組立品４０２は、複数の部品４０４から構成される。
【0065】
図示されているように、監視および検査システム４０６が、組立現場４００に少なくとも部分的に存在する。監視および検査システム４０６は、図１の監視および検査システム１１２の一実施態様の例である。監視および検査システム４０６は、検査プラットフォーム４０８および検査プラットフォーム４１０を含む。この例示的な例では、検査プラットフォーム４０８および検査プラットフォーム４１０は、静止プラットフォームを使用して実施され得る。他の例示的な例では、検査プラットフォーム４０８および検査プラットフォーム４１０は、可動プラットフォームを使用して実施され得る。図４には２つのプラットフォームのみが示されているが、任意の数のプラットフォームが、組立現場４００に存在してよい。
【0066】
この例示的な例では、検査プラットフォーム４０８は、回転カメラ４１２および制御システム４１４を含む。同様に、検査プラットフォーム４１０は、回転カメラ４１６および制御システム４１８を含む。回転カメラ４１２および回転カメラ４１６は、図１のセンサシステム１１４の一実施態様の例である。回転カメラ４１２および回転カメラ４１６は、２次元画像を生成し得る。他の例示的な例では、検査プラットフォーム４０８および検査プラットフォーム４１０は、３次元カメラシステム、ＬｉＤＡＲセンサシステム、または他のタイプのセンサを装備することができる。
【0067】
制御システム４１４および制御システム４１８はそれぞれ、プロセッサ、メモリ、および通信ユニットを含むことができる。制御システム４１４および制御システム４１８は、それぞれ回転カメラ４１２および回転カメラ４１６の動作を制御することができる。さらに、制御システム４１４および制御システム４１８は、これらのカメラによって生成された撮像データを処理し、処理されたデータを、さらなる処理のために遠隔のコンピュータシステム（例えば、図１のコンピュータシステム１２４）に送信することができる。他の例示的な例では、制御システム４１４および制御システム４１８のプロセッサは、図１に記載されたコンピュータシステム１２４の一部として互いと通信する。
【0068】
ある場合には、照明装置（図示せず）が、検査プラットフォーム４０８および検査プラットフォーム４１０のそれぞれに取り付けられるか、または一体化されてもよい。照明装置は、回転カメラ４１２および回転カメラ４１６が、より高品質の画像をキャプチャするのに役立ち得る。
【0069】
回転カメラ４１２および回転カメラ４１６によって生成された撮像データは、翼組立品４０２の組み立て中に、自動化された検査を実行するために使用される、組立現場４００および翼組立品４０２の画像を含む。さらに、撮像データは、組立の現在の段階に基づいて人間のオペレータ４２０にガイダンスを提供するために使用される。
【0070】
図５は、例示的な実施形態による、組立プロセスの自動化された監視および検査を実行するための方法のフローチャートである。図５に示されている方法５００は、図１～図３に記載されている監視および検査システム１１２を使用して実行することができる。方法５００を使用して、図１の組立現場１０５での組立プロセス１０６の監視および検査を自動化することができる。
【0071】
方法５００は、組立現場に対して配置されたセンサシステムを使用して組立現場でセンサデータを生成することにより、開始することができる（工程５０２）。例示的な一例では、センサシステムは、組立現場および組立現場で組み立てられている組立品に対して配置された複数のカメラを含む。ある場合には、１つ以上のカメラが、回転カメラであってもよい。
【0072】
組立現場で組立品を組み立てるための組立プロセスの現在の段階が、センサデータを使用して識別される（工程５０４）。その後、組立プロセスの現在の段階のコンテキストが識別される（工程５０６）。上記のように、組立プロセスの段階は、単一の段階、段階のシーケンス、サブ段階のシーケンス、部分組立プロセスの段階、組立プロセスのステップ、部分組立プロセスのステップ、または組立プロセス中に並行して実行される２つ以上のステップもしくはサブ段階であってもよい。
【0073】
次に、センサデータおよび現在の段階のコンテキストに基づいて、組立品の品質レポートが生成され（工程５０８）、その後、方法は終了する。品質レポートは、関心のある問題が少なくとも１つ存在するかどうかを示す評価を含む自動化されたレポートである。関心のある問題は、不適切な部品、不適切な部品位置、不適切な向き、亀裂、へこみ、ねじれ、表面の不整合、またはそれらの組み合わせであってもよい。方法５００は、組立プロセスの各段階で繰り返されてもよい。
【0074】
図６は、例示的な実施形態による、組立プロセスの自動化された監視および検査を実行するための方法のフローチャートである。図６に示されている方法６００は、図１～図３に記載されている監視および検査システム１１２を使用して実行することができる。方法６００を使用して、図１の組立現場１０５での組立プロセス１０６の監視および検査を自動化することができる。
【0075】
方法６００は、組立現場に対して配置されたセンサシステムを使用して組立現場でセンサデータを生成することにより、開始する（工程６０２）。これらの例示的な例では、センサシステムは、組立現場で組み立てられている組立品に対して所定の固定位置に配置された複数のカメラを含む。これらの位置は、組立プロセスを評価するために最も多くの情報と最適な角度を提供する画像を提供するように選択される。カメラは、画像、ビデオ、またはその両方を生成してもよい。
【0076】
次に、組立現場で組立品を組み立てるための組立プロセスの現在の段階が、センサデータ、データリポジトリに格納された組立情報、および機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習のうちの少なくとも１つを使用して、識別される（工程６０４）。その後、現在の段階のコンテキストが識別される（工程６０６）。
【0077】
組立プロセスの現在の段階に対応する品質レポートが、センサデータおよび現在の段階のコンテキストに基づいて生成される（工程６０８）。組立プロセスの現在の段階に対応するレコードが、データリポジトリに格納され、それにより組立プロセスのレコードの履歴が構築され（工程６１０）、その後、方法は終了する。レコードは、センサデータの少なくとも一部および品質レポートを含む。
【0078】
図７は、例示的な実施形態による、組立プロセスの現在の段階を識別するための方法のフローチャートである。図７に示されている方法７００は、図１～図３に記載されている監視および検査システム１１２を使用して実行することができる。より具体的には、方法７００は、図１および図３に記載された組立マネージャ１１８を使用して実行することができる。
【0079】
方法７００は、撮像システムによって生成された撮像データを使用して複数のオブジェクトを検出することによって開始する（工程７０２）。撮像システムは、組立現場および組立現場の組立品に対して配置された１つ以上のカメラを含むことができる。
【0080】
次に、複数のオブジェクトの少なくとも一部が、組立品の部品とマッチングされて、それにより複数のマッチングしたオブジェクトが確立される（工程７０４）。工程７０４は、部品の画像または部品のモデルの少なくとも一方を使用して実行することができる。例えば、工程７０４は、図２の部品画像ライブラリ２０２および部品モデルライブラリ２０４を使用して実行することができる。工程７０４では、各オブジェクトが、組立品の既知の部品と比較されて、既知の部品とマッチングされるか、またはマッチングしていないとしてフラグがつけられる。これらの例示的な例では、複数のオブジェクトの少なくとも一部を、組立品の既知の部品にマッチングさせることは、機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習のうちの少なくとも１つを使用して実行され得る。
【0081】
その後、複数のマッチングしたオブジェクトについて、複数の位置または複数の向きのうちの少なくとも一方が、組立現場の基準座標系に関して識別される（工程７０６）。例えば、組み立てられている組立品の既知の部品にマッチングした各オブジェクトについて、組立現場の基準座標系に関する位置、向き、またはその両方が計算される。いくつかの例示的な例では、基準座標系は、組立品自体に関してでもよい。マッチングしたオブジェクトの位置は、組立現場に対するカメラの既知の位置、したがって組立品または組立現場のモデル（例えば、ＣＡＤモデル）に対するカメラの既知の位置を使用して、識別されてもよい。
【0082】
組立プロセスの現在の段階が、複数のマッチングしたオブジェクトの識別、および複数のマッチングしたオブジェクトについて識別された複数の位置または複数の向きのうちの少なくとも一方に基づいて、決定され（工程７０８）、その後、方法は終了する。工程７０８は、マッチングしたオブジェクトの位置、向き、またはその両方を、組立プロセス中の様々な段階での組立品のモデル、組立プロセス中の様々な段階での組立現場のモデル、またはその両方と比較することによって、実行され得る。図２の組立プロセスフローデータ２０６、組立現場モデルデータ２０８、組立品モデルデータ２１０、組立ビデオデータ２１２、またはそれらの組み合わせを使用して、組立プロセスの現在の段階を決定することができる。
【0083】
図８は、例示的な実施形態による、ロールバック検証を実行するための方法のフローチャートである。図８に示されている方法８００は、図１～図３に記載されている監視および検査システム１１２を使用して実行することができる。より具体的には、方法８００は、図１に記載されたロールバック検証器１２０を使用して実行することができる。
【0084】
関心のある問題が存在していることを、組立プロセスの現在の段階の品質レポートが示しているかどうかを、決定することから、方法８００は開始することができる（工程８０２）。関心のある問題は、不適切な部品、不適切な部品位置、不適切な向き、亀裂、へこみ、ねじれ、表面の不整合、または他の何らかのタイプの関心のある問題のうちの１つであってもよい。不適切な部品は、間違った部品が組立品に追加されたことを意味する。不適切な部品位置は、正しい部品が、間違った位置で組み立てられているか、間違った位置で組立品に追加されていることを、意味し得る。不適切な向きは、正しい部品が組立品に対して間違った向きを有することを、意味し得る。
【0085】
関心のある問題が存在しない場合、方法は終了する。そうではなく、関心のある問題が存在する場合、組立プロセスの現在の段階が、処理のために選択される（工程８０４）。選択された段階に対応するレコードが、データリポジトリの履歴から取り出されて、分析される（工程８０６）。
【0086】
その後、関心のある問題の根本原因が、組立プロセスの選択された段階で発生したかどうかに関する決定が、行われる（工程８０８）。根本原因が組立プロセスの選択された段階で発生した場合、レポートが生成され（工程８１０）、その後、方法は終了する。レポートは、アラートまたは関心のある問題に関する情報の通知であってもよい。ある場合には、レポートは、問題について人間のオペレータによりよく知らせることができるように、画像、ビデオ、またはその両方を含む。
【0087】
しかし、組立プロセスの選択された段階で根本原因が発生しなかった場合、選択された段階が組立プロセスの最初の段階であったかどうかに関する決定が、行われる（工程８１２）。選択された段階が、組立プロセスの最初の段階であった場合、方法は、上記の工程８１０に進む。ここで、レポートは、根本原因を識別できなかったことを示す通知、アラート、または実質的なレポートの形態を取ることができる。
【0088】
選択された段階が、組立プロセスの最初の段階ではなかった場合、選択された段階の直前に行われた組立プロセスの段階が、処理のために選択され（工程８１４）、方法は、上述の工程８０６に戻る。このようにして、方法８００は、データリポジトリに格納されたレコードの履歴を、効率的にロールバックする。以前の組立ステップに関する情報が、人間の介入や広範囲の分解（例えば、すでに実行された組立ステップの逆戻り）を必要とせずに、分析および評価され得る。
【0089】
したがって、このタイプのロールバック検証は、非常に困難または時間がかかって人間のオペレータでは実行できないような仕方で、組立プロセスの自動化された検査および品質管理を可能にする。人間のオペレータであれば、問題の根本原因を識別するために、組立プロセスを逆戻りさせて組立品の一部を分解する必要があるかもしれない。しかしながら、上記のロールバック検証プロセスは、組立の現在の段階より前に発生した問題の根本原因を簡単、迅速、効率的に識別するための自動化された方法である。
【0090】
図９は、例示的な実施形態による、組立プロセスの自動化された監視および検査のための方法のフローチャートである。図９に示されている方法９００は、図１～図３に記載されている監視および検査システム１１２を使用して実行することができる。
【0091】
方法９００は、組立プロセスの現在の段階および組立プロセスの現在の段階のコンテキストを識別することによって、開始することができる（工程９０２）。次に、アクティブ部品が、撮像データに基づいて識別される（工程９０４）。撮像データは、組立現場に対して固定位置にある１つ以上のカメラによって生成され得る。アクティブ部品は、例えば、取り付けのために人間のオペレータまたはロボットによって保持されている部品であってもよい。工程９０４で実行される識別は、機械学習、コンピュータビジョン、または他のタイプの学習手法を使用して実行され得る。
【0092】
その後、アクティブ部品のアクティブターゲット位置が、撮像データに基づいて識別される（工程９０６）。アクティブターゲット位置は、機械学習、コンピュータビジョン、または他のタイプの学習手法、および組立現場または組み立てられるべき組立品の３Ｄモデルを使用して、識別され得る。いくつかの例示的な例では、オペレータが、部品取り付けタスクを開始すると、ターゲット位置が、アクティブ組立検出と組み合わされた近接性に基づく検出によって、識別されてもよい。
【0093】
次に、アクティブ部品とアクティブターゲット位置が、組立品の既知の部品とマッチングされる（工程９０８）。このマッチングが適切であるかどうかの決定が行われる（工程９１０）。アクティブ部品とアクティブターゲット位置の組み合わせが、組立プロセスの現在の段階において正しい場合、マッチングは適切と見なされ得る。
【0094】
マッチングが適切である場合、撮像データを使用して、関心のある問題が存在するかどうかを決定する（工程９１２）。この決定は、機械学習、コンピュータビジョン、または他のタイプの学習アルゴリズムに基づいて行うことができる。工程９１２では、既知のタイプの問題および事前に定義された品質メトリックに基づいて、決定が行われる。
【0095】
問題が存在する場合、問題の根本原因を識別するために、ロールバック検証プロセスが実行され、対応するレポートが生成される（工程９１４）。次に、方法は、組立プロセスの現在の段階がまだアクティブであるかどうかを決定する（工程９１６）。現在の段階は、組立プロセスのこの段階の一部として実行されるべき追加のステップまたはタスクがある場合、まだアクティブであると見なされる。現在の段階がまだアクティブである場合、方法は、上記の工程９０４に戻る。そうでない場合、方法は、上記の工程９０２に戻る。
【0096】
再び工程９１２を参照すると、関心のある問題が存在しない場合、方法は、工程９１６に進む。再び工程９１０を参照すると、マッチングが適切でない場合、レポートが生成され（工程９１８）、次に、方法は、上述の工程９０４に進む。これにより、人間のオペレータまたはロボットは、新しいアクティブ部品または新しいアクティブターゲット位置を選択することができる。
【0097】
工程９１８の後に工程９０２に戻ることにより、方法は、組立プロセスのアクティブ段階を「前進」させ、決定を行うために新しいコンテキストを使用してもよい。進むべき次の段階がない場合、組立プロセスは完了する。このように、組立プロセスが完了するまで、この方法が繰り返される。
【0098】
図示された様々な実施形態におけるフローチャートおよびブロック図は、例示的な実施形態における装置および方法のいくつかの可能な実施態様のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、機能、および／または工程もしくはステップの一部を表してもよい。
【0099】
例示的な実施形態のいくつかの代替的な実施態様では、ブロックに記載されている機能は、図に記載されている順序以外で起こってもよい。例えば、ある場合には、連続して示される２つのブロックは、関連する機能に応じて、実質的に同時に実行されてもよいし、または逆の順序で実行されてもよい。また、フローチャートまたはブロック図に示されているブロックに加えて、他のブロックを追加することもできる。
【0100】
次に、図１０を参照すると、ブロック図の形態のデータ処理システムの図が、例示的な実施形態に従って示されている。データ処理システム１０００を使用して、図１のコンピュータシステム１２４を実現することができる。図示のように、データ処理システム１０００は、プロセッサユニット１００４、記憶デバイス１００６、通信ユニット１００８、入出力ユニット１０１０、およびディスプレイ１０１２間の通信を提供する通信フレームワーク１００２を含む。ある場合には、通信フレームワーク１００２は、バスシステムとして実装されてもよい。
【0101】
プロセッサユニット１００４は、ソフトウェアがいくつかの工程を実行するための命令を実行するように構成される。プロセッサユニット１００４は、実施態様に応じて、いくつかのプロセッサ、マルチプロセッサコア、および／または他の何らかのタイプのプロセッサを備えてもよい。ある場合には、プロセッサユニット１００４は、回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス、または他の何らかの適切なタイプのハードウェアユニットなどのハードウェアユニットの形態を取ることができる。
【0102】
プロセッサユニット１００４によって実行されるオペレーティングシステム、アプリケーション、および／またはプログラムの命令は、記憶デバイス１００６に配置されてもよい。記憶デバイス１００６は、通信フレームワーク１００２を介してプロセッサユニット１００４と通信することができる。本明細書で使用するとき、コンピュータ可読記憶デバイスとも呼ばれる記憶デバイスは、一時的および／または恒久的に情報を記憶することができる任意のハードウェアである。この情報は、データ、プログラムコード、および／または他の情報を含むことができるが、これらに限定されない。
【0103】
メモリ１０１４および永続性ストレージ１０１６は、記憶デバイス１００６の例である。メモリ１０１４は、例えば、ランダムアクセスメモリまたは何らかのタイプの揮発性または不揮発性記憶デバイスの形態を取ることができる。永続性ストレージ１０１６は、任意の数のコンポーネントまたはデバイスを備えてもよい。例えば、永続性ストレージ１０１６は、ハードドライブ、フラッシュメモリ、書き換え可能な光ディスク、書き換え可能な磁気テープ、または上記の何らかの組み合わせを備えてもよい。永続性ストレージ１０１６によって使用される媒体は、取り外し可能であってもなくてもよい。
【0104】
通信ユニット１００８は、データ処理システム１０００が他のデータ処理システムおよび／またはデバイスと通信することを可能にする。通信ユニット１００８は、物理的および／または無線通信リンクを使用して通信を提供することができる。
【0105】
入出力ユニット１０１０は、データ処理システム１０００に接続された他のデバイスから入力を受信し、他のデバイスへ出力を送信することを可能にする。例えば、入出力ユニット１０１０は、キーボード、マウス、および／または何らかの他のタイプの入力デバイスを介してユーザ入力を受け取ることを可能にし得る。別の例として、入出力ユニット１０１０は、データ処理システム１０００に接続されたプリンタに出力を送信することを可能にし得る。
【0106】
ディスプレイ１０１２は、情報をユーザに表示するように構成されている。ディスプレイ１０１２は、例えば、限定ではないが、モニタ、タッチスクリーン、レーザーディスプレイ、ホログラフィックディスプレイ、仮想ディスプレイデバイス、および／または何らかの他のタイプのディスプレイデバイスを備えてもよい。
【0107】
この例示的な例において、様々な例示的な実施形態の方法が、コンピュータで実施される命令を使用してプロセッサユニット１００４によって実行され得る。これらの命令は、プログラムコード、コンピュータ使用可能プログラムコード、またはコンピュータ可読プログラムコードと呼ばれることもあり、プロセッサユニット１００４内の１つ以上のプロセッサによって読み取られて実行することができる。
【0108】
これらの例では、プログラムコード１０１８は、選択的に取り外し可能なコンピュータ可読媒体１０２０上に機能的な形で配置され、プロセッサユニット１００４による実行のためにデータ処理システム１０００にロードまたは転送することができる。プログラムコード１０１８とコンピュータ可読媒体１０２０は一緒になってコンピュータプログラム製品１０２２を形成する。この例示的な例では、コンピュータ可読媒体１０２０は、コンピュータ可読記憶媒体１０２４またはコンピュータ可読信号媒体１０２６であってもよい。
【0109】
コンピュータ可読記憶媒体１０２４は、プログラムコード１０１８を伝播または送信する媒体ではなく、プログラムコード１０１８を格納するために使用される物理的または有形の記憶デバイスである。コンピュータ可読記憶媒体１０２４は、例えば、限定ではないが、データ処理システム１０００に接続された光ディスクもしくは磁気ディスクまたは永続性ストレージデバイスであってもよい。
【0110】
あるいは、プログラムコード１０１８は、コンピュータ可読信号媒体１０２６を使用してデータ処理システム１０００に転送されてもよい。コンピュータ可読信号媒体１０２６は、例えば、プログラムコード１０１８を含む伝播データ信号であってもよい。このデータ信号は、電磁信号、光信号、ならびに／または物理的および／もしくは無線通信リンクを介して送信できる他の何らかのタイプの信号であってもよい。
【0111】
図１０のデータ処理システム１０００の図は、例示的な実施形態が実施され得る方法にアーキテクチャ上の制限を提供することを意図していない。異なる例示的な実施形態が、データ処理システム１０００について図示されたコンポーネントに加えて、またはそのコンポーネントの代わりにコンポーネントを含むデータ処理システムで実施されてもよい。さらに、図１０に示されるコンポーネントは、示されている例示的な例とは異なっていてもよい。
【0112】
本開示の例示的な実施形態は、図１１に示すような航空機製造および保守方法１１００ならびに図１２に示すような航空機１２００の状況で説明されてもよい。最初に図１１を参照すると、例示的な実施形態による航空機製造および保守方法の図が示されている。生産前に、航空機製造および保守方法１１００は、図１２の航空機１２００の仕様および設計１１０２ならびに材料調達１１０４を含むことができる。
【0113】
生産中に、図１２の航空機１２００のコンポーネントおよびサブアセンブリの製造１１０６ならびにシステムインテグレーション１１０８が行われる。その後、図１２の航空機１２００は、運航１１１２に供されるために認証および引き渡し１１１０を経ることができる。顧客による運航１１１２中、図１２の航空機１２００は、改造、再構成、改修、および他の整備または保守を含み得る定期的な整備および保守１１１４に予定されている。
【0114】
航空機製造および保守方法１１００の各工程は、システムインテグレータ、サードパーティ、および／またはオペレータによって実行または実施することができる。これらの例では、オペレータは、顧客であってもよい。この説明の目的のために、システムインテグレータは、限定されないが、任意の数の航空機製造業者および主要システム下請業者を含んでもよく、サードパーティは、限定されないが、任意の数のベンダー、下請業者、およびサプライヤを含んでもよく、オペレータは、航空会社、リース会社、軍事組織、サービス組織などであってもよい。
【0115】
次に図１２を参照すると、例示的な実施形態を実施することができる航空機の図が示されている。この例では、航空機１２００は、図１１の航空機製造および保守方法１１００によって生産されて、複数のシステム１２０４および内部１２０６を備えた機体１２０２を含むことができる。システム１２０４の例は、推進システム１２０８、電気システム１２１０、油圧システム１２１２、および環境システム１２１４のうちの１つ以上を含む。任意の数の他のシステムが含まれてもよい。航空宇宙産業の例が示されているが、様々な例示的な実施形態が、自動車産業などの他の産業に適用されてもよい。
【0116】
本明細書で具現化された装置および方法が、図１１の航空機製造および保守方法１１００の段階のうちの少なくとも１つで用いられ得る。詳細には、図１の構造１０４が、航空機製造および保守方法１１００の段階のいずれか１つで製造され得る。例えば、限定ではないが、組立品１１０は、コンポーネントおよびサブアセンブリの製造１１０６、システムインテグレーション１１０８、定期的な整備および保守１１１４、または航空機製造および保守方法１１００の他の何らかの段階の少なくとも１つで、複数の部品１０２を使用して組み立てられ得る。さらに、監視および検査システム１１２は、組立品１１０を組み立てるための組立プロセスの自動化された監視および検査を提供し得る。監視および検査システム１１２を使用して、機体１２０２、内部１２０６、または航空機１２００の他の何らかの部分の一部である構造の監視および検査を自動化することができる。
【0117】
例示的な一例では、図１１のコンポーネントおよびサブアセンブリの製造１１０６で生産されるコンポーネントまたはサブアセンブリは、航空機１２００が図１１の運航１１１２中である間に生産されるコンポーネントまたはサブアセンブリと同様の方法で製作または製造され得る。さらに別の例として、１つ以上の装置の実施形態、方法の実施形態、またはそれらの組み合わせが、図１１のコンポーネントおよびサブアセンブリの製造１１０６ならびにシステムインテグレーション１１０８などの生産段階で利用され得る。１つ以上の装置の実施形態、方法の実施形態、またはそれらの組み合わせは、航空機１２００が運航１１１２中である間に、ならびに／または図１１の整備および保守１１１４中に、利用されてもよい。いくつかの様々な例示的な実施形態の使用は、航空機１２００の組立を実質的に促進し、かつ／または航空機１２００のコストを削減することができる。
【0118】
このように、例示的な実施形態は、組立プロセスの監視および検査のための自動化されたシステムおよび方法を提供する。監視および検査のための自動化されたシステムおよび方法は、他のタイプの乗り物および乗り物構造の組立（例えば、自動車の組立、宇宙船の組立など）に使用されてもよい。
【0119】
本明細書で使用されるとき、「少なくとも１つ」という語句は、項目のリストとともに使用される場合、リストの項目のうちの１つ以上の項目の種々の組み合わせが使用されてもよく、かつリストの項目のうちの１つのみが必要とされればよいことを意味する。項目は、ある特定の物、物事、ステップ、動作、プロセス、またはカテゴリであってよい。言い換えれば、「少なくとも１つ」は、任意の組合せの項目または任意の数の項目が、リストから使用されてもよいが、リストの項目の全てが必要とは限らなくてもよいことを意味する。例えば、限定しないが、「項目Ａ、項目Ｂ、または項目Ｃの少なくとも１つ」または「項目Ａ、項目Ｂ、および項目Ｃの少なくとも１つ」は、項目Ａ；項目Ａおよび項目Ｂ；項目Ｂ；項目Ａ、項目Ｂ、および項目Ｃ；項目Ｂおよび項目Ｃ；または項目Ａおよび項目Ｃを、意味し得る。ある場合には、「項目Ａ、項目Ｂ、または項目Ｃの少なくとも１つ」または「項目Ａ、項目Ｂ、および項目Ｃの少なくとも１つ」は、限定しないが、項目Ａが２個、項目Ｂが１個、および項目Ｃが１０個；項目Ｂが４個および項目Ｃが７個；または他の何らかの適切な組み合わせを意味し得る。
【0120】
さらに、本開示は、以下の条項による実施形態を含む。
【0121】
条項１． コンピュータシステムを使用して実施される、組立プロセスの自動化された監視および検査を実行するための方法であって、
組立現場に対して配置されたセンサシステムを使用して、組立現場でセンサデータを生成することと、
組立現場で組立品を組み立てるための組立プロセスの現在の段階を、コンピュータシステムが、センサデータに基づいて識別することと、
コンピュータシステムが、現在の段階のコンテキストを識別することと、
コンピュータシステムが、センサデータおよび現在の段階のコンテキストに基づいて、組立品の品質レポートを生成することと、を含む方法。
組立現場に対して配置されたセンサシステムを使用して、組立現場でセンサデータを生成することと、
組立現場で組立品を組み立てるための組立プロセスの現在の段階を、コンピュータシステムが、センサデータに基づいて識別することと、
コンピュータシステムが、現在の段階のコンテキストを識別することと、
コンピュータシステムが、センサデータおよび現在の段階のコンテキストに基づいて、組立品の品質レポートを生成することと、を含む方法。
【0122】
条項２． センサデータを生成することが、
組立品および組立現場に対して配置された撮像システムのセットを使用して、撮像データを生成することを含む、条項１の方法。
組立品および組立現場に対して配置された撮像システムのセットを使用して、撮像データを生成することを含む、条項１の方法。
【0123】
条項３． 撮像データが、２次元撮像データである、条項２の方法。
【0124】
条項４． コンピュータシステムが組立プロセスの現在の段階を識別することが、
コンピュータシステムが、撮像データを使用して複数のオブジェクトを検出することと、
コンピュータシステムが、部品の画像または部品のモデルの少なくとも一方を使用して、複数のオブジェクトの少なくとも一部を、組立品の部品にマッチングさせることであって、部品にマッチングされた複数のオブジェクトの一部が、複数のマッチングしたオブジェクトである、マッチングさせることと、を含む、条項２の方法。
コンピュータシステムが、撮像データを使用して複数のオブジェクトを検出することと、
コンピュータシステムが、部品の画像または部品のモデルの少なくとも一方を使用して、複数のオブジェクトの少なくとも一部を、組立品の部品にマッチングさせることであって、部品にマッチングされた複数のオブジェクトの一部が、複数のマッチングしたオブジェクトである、マッチングさせることと、を含む、条項２の方法。
【0125】
条項５． コンピュータシステムが複数のオブジェクトの少なくとも一部を部品にマッチングさせることが、
機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習、の少なくとも１つを使用して、コンピュータシステムが、複数のオブジェクトの少なくとも一部を組立品の部品にマッチングさせることを含む、条項４の方法。
機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習、の少なくとも１つを使用して、コンピュータシステムが、複数のオブジェクトの少なくとも一部を組立品の部品にマッチングさせることを含む、条項４の方法。
【0126】
条項６． コンピュータシステムが組立プロセスの現在の段階を識別することが、
コンピュータシステムが、組立現場の基準座標系に関して、複数のマッチングしたオブジェクトの複数の位置および複数の向きの少なくとも一方を決定することと、
コンピュータシステムが、複数のマッチングしたオブジェクトの識別および複数のマッチングしたオブジェクトの複数の位置または複数の向きの少なくとも一方に基づいて、組立プロセスの現在の段階を決定することと、をさらに含む、条項４の方法。
コンピュータシステムが、組立現場の基準座標系に関して、複数のマッチングしたオブジェクトの複数の位置および複数の向きの少なくとも一方を決定することと、
コンピュータシステムが、複数のマッチングしたオブジェクトの識別および複数のマッチングしたオブジェクトの複数の位置または複数の向きの少なくとも一方に基づいて、組立プロセスの現在の段階を決定することと、をさらに含む、条項４の方法。
【0127】
条項７． コンピュータシステムがコンテキストを識別することが、
コンピュータシステムが、データリポジトリに格納されたコンテキスト情報を使用して、組立プロセスの現在の段階のコンテキストを決定することであって、コンテキストが、現在の段階の組立品の公称状態、現在の段階に存在すると予想される各部品の公称状態、現在の段階の組立品の公称状態の選択された許容誤差、現在の段階の前に完了されたステップの識別、現在の段階の間に完了されるべきステップの識別、または現在の段階の後に完了されるべきステップの識別、の少なくとも１つを含む、決定することを含む、条項６の方法。
コンピュータシステムが、データリポジトリに格納されたコンテキスト情報を使用して、組立プロセスの現在の段階のコンテキストを決定することであって、コンテキストが、現在の段階の組立品の公称状態、現在の段階に存在すると予想される各部品の公称状態、現在の段階の組立品の公称状態の選択された許容誤差、現在の段階の前に完了されたステップの識別、現在の段階の間に完了されるべきステップの識別、または現在の段階の後に完了されるべきステップの識別、の少なくとも１つを含む、決定することを含む、条項６の方法。
【0128】
条項８． コンピュータシステムが品質レポートを生成することが、
検出された複数のオブジェクトの１つ以上が、対応する部品とマッチングできないかどうか、および複数のマッチングしたオブジェクトの１つ以上が、組立プロセスの現在の段階に存在すると予想される部品とマッチングしないかどうか、を示すマッチング評価を、コンピュータシステムが生成することを含む、条項６の方法。
検出された複数のオブジェクトの１つ以上が、対応する部品とマッチングできないかどうか、および複数のマッチングしたオブジェクトの１つ以上が、組立プロセスの現在の段階に存在すると予想される部品とマッチングしないかどうか、を示すマッチング評価を、コンピュータシステムが生成することを含む、条項６の方法。
【0129】
条項９． コンピュータシステムが品質レポートを生成することが、
複数のマッチングしたオブジェクトのそれぞれが、正しい位置に組み立てられたか、または間違った位置に組み立てられたかを、組立プロセスの現在の段階のコンテキストに基づいて示す位置評価を、コンピュータシステムが生成することを含む、条項６の方法。
複数のマッチングしたオブジェクトのそれぞれが、正しい位置に組み立てられたか、または間違った位置に組み立てられたかを、組立プロセスの現在の段階のコンテキストに基づいて示す位置評価を、コンピュータシステムが生成することを含む、条項６の方法。
【0130】
条項１０． コンピュータシステムが品質レポートを生成することが、
特徴が識別されたかどうか、および識別された特徴が、選択された許容誤差を超えているかどうか、を示す不整合評価を、コンピュータシステムが生成することであって、特徴が、亀裂、へこみ、ねじれ、または表面レベルの特徴のうちの１つから選択される、生成することを含む、条項６の方法。
特徴が識別されたかどうか、および識別された特徴が、選択された許容誤差を超えているかどうか、を示す不整合評価を、コンピュータシステムが生成することであって、特徴が、亀裂、へこみ、ねじれ、または表面レベルの特徴のうちの１つから選択される、生成することを含む、条項６の方法。
【0131】
条項１１． 機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習、の少なくとも１つを使用して、コンピュータシステムが、組立品に１つ以上の特徴を検出することを、さらに含む、条項１０の方法。
【0132】
条項１２． 組立プロセス中に人間のオペレータをガイドするためのガイダンス情報を、コンピュータシステムが、組立プロセスの現在の段階のコンテキストに基づいて生成することを、さらに含む、条項１から１１のいずれかの方法。
【0133】
条項１３． ガイダンス情報を生成することが、
組立プロセスの現在の段階で１つ以上のタスクを実行するために人間のオペレータが使用するための現在の段階のガイダンスを、コンピュータシステムが生成することを含む、条項１２の方法。
組立プロセスの現在の段階で１つ以上のタスクを実行するために人間のオペレータが使用するための現在の段階のガイダンスを、コンピュータシステムが生成することを含む、条項１２の方法。
【0134】
条項１４． コンピュータシステムがガイダンス情報を生成することが、
組立プロセスの次の段階で１つ以上のタスクを実行するために人間のオペレータが使用するための次の段階のガイダンスを、コンピュータシステムが生成することを含む、条項１２の方法。
組立プロセスの次の段階で１つ以上のタスクを実行するために人間のオペレータが使用するための次の段階のガイダンスを、コンピュータシステムが生成することを含む、条項１２の方法。
【0135】
条項１５． 組立現場に対して配置されたディスプレイシステムにガイダンス情報を、コンピュータシステムが表示することを、さらに含む、条項１２の方法。
【0136】
条項１６． コンピュータシステムが、組立プロセスの現在の段階に対応するレコードの一部として品質レポートをデータリポジトリに格納し、それにより組立プロセスのレコードの履歴を構築することを、さらに含む、条項１から１５のいずれかの方法。
【0137】
条項１７． 組立プロセスの現在の段階の品質レポートが、関心のある問題が存在することを示しているかどうかを、コンピュータシステムが決定することと、
コンピュータシステムが、レコードの履歴をロールバックして、関心のある問題の根本原因を識別することと、をさらに含む、条項１６の方法。
コンピュータシステムが、レコードの履歴をロールバックして、関心のある問題の根本原因を識別することと、をさらに含む、条項１６の方法。
【0138】
条項１８． レコードの履歴をロールバックすることが、
組立プロセスの現在の段階の直前の、組立プロセスの選択された段階に対応する第１のレコードを、コンピュータシステムが分析することを含む、条項１７の方法。
組立プロセスの現在の段階の直前の、組立プロセスの選択された段階に対応する第１のレコードを、コンピュータシステムが分析することを含む、条項１７の方法。
【0139】
条項１９． レコードの履歴をロールバックすることが、
選択された段階で根本原因が発生したかどうかを、コンピュータシステムが決定することと、
選択された段階の直前の、組立プロセスの別の段階に対応する第２のレコードを、コンピュータシステムが分析することと、をさらに含む、条項１８の方法。
選択された段階で根本原因が発生したかどうかを、コンピュータシステムが決定することと、
選択された段階の直前の、組立プロセスの別の段階に対応する第２のレコードを、コンピュータシステムが分析することと、をさらに含む、条項１８の方法。
【0140】
条項２０． コンピュータシステムを使用して実施される、組立プロセスの自動化された監視および検査を実行するための方法であって、
組立現場に対して配置されたセンサシステムを使用して、組立現場でセンサデータを生成することと、
センサデータ、データリポジトリに格納された組立情報、および機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習、の少なくとも１つを使用して、組立現場で組立品を組み立てるための組立プロセスの現在の段階を、コンピュータシステムが識別することと、
コンピュータシステムが、現在の段階のコンテキストを識別することと、
コンピュータシステムが、センサデータおよび現在の段階のコンテキストに基づいて、組立品の品質レポートを生成することと、
コンピュータシステムが、組立プロセスの現在の段階に対応するレコードをデータリポジトリに格納し、それにより組立プロセスのレコードの履歴を構築することであって、レコードが、センサデータの少なくとも一部および品質レポートを含む、構築することと、を含む方法。
組立現場に対して配置されたセンサシステムを使用して、組立現場でセンサデータを生成することと、
センサデータ、データリポジトリに格納された組立情報、および機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習、の少なくとも１つを使用して、組立現場で組立品を組み立てるための組立プロセスの現在の段階を、コンピュータシステムが識別することと、
コンピュータシステムが、現在の段階のコンテキストを識別することと、
コンピュータシステムが、センサデータおよび現在の段階のコンテキストに基づいて、組立品の品質レポートを生成することと、
コンピュータシステムが、組立プロセスの現在の段階に対応するレコードをデータリポジトリに格納し、それにより組立プロセスのレコードの履歴を構築することであって、レコードが、センサデータの少なくとも一部および品質レポートを含む、構築することと、を含む方法。
【0141】
条項２１． 組立プロセスの現在の段階の品質レポートが、関心のある少なくとも１つの問題が存在することを示しているかどうかを、コンピュータシステムが決定することであって、関心のある少なくとも１つの問題が、不適切な部品、不適切な部品位置、不適切な向き、亀裂、へこみ、ねじれ、および表面の不整合のうちの１つから選択される、決定することを、さらに含む、条項２０の方法。
【0142】
条項２２． コンピュータシステムが、レコードの履歴をロールバックして、関心のある少なくとも１つの問題の根本原因を識別することを、さらに含む、条項２１の方法。
【0143】
条項２３． コンピュータシステムが、組立プロセス中に人間のオペレータが使用するための現在の段階のガイダンスまたは次の段階のガイダンスの少なくとも一方を生成することを、さらに含む、条項２０から２２のいずれかの方法。
【0144】
条項２４． コンピュータシステムが、現在の段階のガイダンスまたは次の段階のガイダンスの少なくとも一方をディスプレイシステムに表示することを、さらに含む、条項２３の方法。
【0145】
条項２５． コンピュータシステムが、品質レポートの少なくとも一部をディスプレイシステムに提示して、人間のオペレータに品質レポートを知らせることを、さらに含む、条項２０から２４のいずれかの方法。
【0146】
条項２６． 組立プロセスの自動化された監視および検査のためのシステムであって、
組立現場および組立現場で組み立てられている組立品に対して配置されたセンサシステムと、
センサシステムによって生成されたセンサデータに基づいて、組立現場で組立品を組み立てるための組立プロセスの現在の段階を識別し、現在の段階のコンテキストを識別し、センサデータおよび現在の段階のコンテキストに基づいて、組立品の品質レポートを生成するコンピュータシステムと、を備えるシステム。
組立現場および組立現場で組み立てられている組立品に対して配置されたセンサシステムと、
センサシステムによって生成されたセンサデータに基づいて、組立現場で組立品を組み立てるための組立プロセスの現在の段階を識別し、現在の段階のコンテキストを識別し、センサデータおよび現在の段階のコンテキストに基づいて、組立品の品質レポートを生成するコンピュータシステムと、を備えるシステム。
【0147】
条項２７． センサシステムが、組立現場に対して配置された少なくとも１つのカメラを含み、カメラが、２次元撮像データを生成する、条項２６のシステム。
【0148】
条項２８． コンピュータシステムが、センサデータ、データリポジトリに格納された組立情報、および機械学習、ディープラーニング、コンピュータビジョン、カスタマイズされた学習手法、計算論的学習、または人工知能学習、の少なくとも１つを使用して、組立プロセスの現在の段階を識別する、条項２６または２７のシステム。
【0149】
条項２９． 組立情報が、部品画像ライブラリ、部品モデルライブラリ、組立プロセスフローデータ、組立現場モデルデータ、組立品モデルデータ、組立ビデオデータ、または特徴データのうちの少なくとも１つを含む、条項２８のシステム。
【0150】
条項３０． コンテキストが、現在の段階の組立品の公称状態、現在の段階に存在すると予想される各部品の公称状態、現在の段階の組立品の公称状態の選択された許容誤差、現在の段階の前に完了されたステップの識別、現在の段階の間に完了されるべきステップの識別、または現在の段階の後に完了されるべきステップの識別、の少なくとも１つを含む、条項２６から２９のいずれかのシステム。
【0151】
様々な例示的な実施形態の説明は、例示および説明の目的で提示されたものであり、網羅的であることまたは開示された形態の実施形態に限定されることを意図するものではない。多くの修正および変形が、当業者には明らかであろう。さらに、異なる例示的な実施形態は、他の望ましい実施形態と比較して異なる特徴を提供し得る。選択された実施形態は、実施形態の原理、実際の適用を最もよく説明し、意図された特定の用途に適した様々な修正を伴う様々な実施形態の開示を他の当業者が理解できるように、選択および説明されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】