特開 2024-159491 複合材検査のための合成データの作成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024159491

(43)【公開日】2024-11-08

(54)【発明の名称】複合材検査のための合成データの作成

(51)【国際特許分類】

   G01N 21/88 20060101AFI20241031BHJP

   G06T 19/20 20110101ALI20241031BHJP

   B64F 5/60 20170101ALN20241031BHJP

【ＦＩ】

G01N21/88 J

G06T19/20

B64F5/60

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024021126

(22)【出願日】2024-02-15

(31)【優先権主張番号】18/309,640

(32)【優先日】2023-04-28

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】523043898

【氏名又は名称】ザ・ボーイング・カンパニー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(74)【代理人】

【識別番号】100154922

【弁理士】

【氏名又は名称】崔 允辰

(72)【発明者】

【氏名】サヤタ・ゴース

(72)【発明者】

【氏名】トロイ・ウィンフリー

(72)【発明者】

【氏名】タイラー・ホームズ

(72)【発明者】

【氏名】ブランドン・ポー

(72)【発明者】

【氏名】クリスティン・エル・シェイファー

【テーマコード（参考）】

2G051

5B050

【Ｆターム（参考）】

2G051AA07

2G051AB01

2G051AB02

2G051AC11

2G051EB05

5B050BA06

5B050BA09

5B050BA13

5B050DA07

5B050EA07

5B050EA12

5B050FA05

(57)【要約】

【課題】本発明は、複合材検査のための合成データを作成する方法を提供する。
【解決手段】複合材製造検査のための合成データを生成する方法であって、複合材レイアップの３次元モデルを作成するステップと、複合材レイアップの３次元モデルに不一致を生成するステップと、３次元モデル空間においてカメラ位置及びカメラ方向を設定するステップと、カメラ位置及びカメラ方向から３次元モデル及び不一致の撮像画像を生成するステップと、撮像画像から二次画像を作成するステップであって、二次画像が、事前選択された検査タイプの着色を有する、作成するステップとを含む方法。
【選択図】図３

【特許請求の範囲】

【請求項1】

複合材製造検査のための合成データ（３３２）を生成する方法（６００）であって、
３次元モデル空間（３３４）において複合材レイアップ（３３８）の３次元モデル（３３６）を作成するステップ（６０２）と、
前記複合材レイアップ（３３８）の前記３次元モデル（３３６）に不一致（３４４）を生成するステップ（６０４）と、
前記３次元モデル空間（３３４）においてカメラ位置（３５４）及びカメラ方向（３５６）を設定するステップ（６０６）と、
前記カメラ位置（３５４）及び前記カメラ方向（３５６）から前記３次元モデル（３３６）及び前記不一致（３４４）の撮像画像（３６０）を生成するステップ（６０８）と、
前記撮像画像（３６０）から二次画像（３６２）を作成するステップ（６１０）であって、前記二次画像（３６２）が、事前選択された検査タイプ（３６６）の着色（３６８）を有する、作成するステップ（６１０）と
を含む方法（６００）。

【請求項2】

前記不一致（３４４）が、重なり合うトウ（３４６）、トウ間のギャップ（３５０）、又は異物破片（３４８）のうちの１つである（６１８）、請求項１に記載の方法（６００）。

【請求項3】

部品（３０８）の部分（３０６）のレイアップ（３３９）を決定するステップ（６１２）と、
前記部品（３０８）の前記部分（３０６）の前記レイアップ（３３９）を使用して前記複合材レイアップ（３３８）の前記３次元モデル（３３６）を生成するステップ（６１４）と
をさらに含む請求項１に記載の方法（６００）。

【請求項4】

前記レイアップ（３３９）が、複数の層（３４１）の複合材料（３０３）を備え、前記３次元モデル（３３６）が、複数の前記層（３３９）の複合材料（３０３）と同一に配置された複数の層（３４０）を備える（６１６）、請求項３に記載の方法（６００）。

【請求項5】

前記二次画像（３６２）を作成するステップが、前記二次画像（３６２）を作成するために、いくつかのフィルタ（３６４）を前記撮像画像（３６０）に適用するステップ（６２２）を含む、請求項１に記載の方法（６００）。

【請求項6】

いくつかの前記フィルタ（３６４）を前記撮像画像（３６０）に適用するステップが、ＩＲ画像の着色（３６８）を作成する（６２４）、請求項５に記載の方法（６００）。

【請求項7】

前記不一致（３４４）が、不一致タイプを有し、いくつかの前記フィルタ（３６４）を前記撮像画像（３６０）に適用するステップが、前記不一致（３４４）を伴う前記二次画像（３６２）の画素内に、事前選択された前記検査タイプ（３６６）についての前記不一致タイプに特有の着色を作成する（６２６）、請求項５に記載の方法（６００）。

【請求項8】

前記二次画像（３６２）を作成するステップが、前記撮像画像（３６０）中の前記不一致（３４４）の画素から色をサンプリングするステップと、前記画素についての色値を、事前選択された前記検査タイプ（３６６）の手持ちの画像における前記不一致（３４４）の不一致タイプの範囲内の値に調整するステップとを含む（６２８）、請求項１に記載の方法（６００）。

【請求項9】

製造環境（３００）において複合材敷設ヘッド（３０２）に取り付けられた検査システム（３１４）のヘッド方向（３１８）を決定するステップをさらに含み、前記３次元モデル空間（３３４）において前記カメラ位置（３５４）及び前記カメラ方向（３５６）を設定するステップが、前記ヘッド方向（３１８）に基づいて前記カメラ方向（３５６）を設定するステップを有する（６２０）、請求項１に記載の方法（６００）。

【請求項10】

前記二次画像（３６２）を訓練データ（３２８）として不一致識別子プログラム（３２４）に供給するステップ（６３０）
をさらに含む請求項１に記載の方法（６００）。

【請求項11】

複合トウ（３０４）が敷設された後に、前記複合トウ（３０４）の複数の検査画像（３２２）を生成するステップ（６３２）と、
複数の前記二次画像（３３０）を使用して訓練された前記不一致識別子プログラム（３２４）を使用して、前記複数の検査画像（３２２）を評価するステップ（６３４）と
をさらに含む請求項１０に記載の方法（６００）。

【請求項12】

複合材検査システム（３１４）を訓練する方法（７００）であって、
３次元モデル（３３６）を含有する３次元モデル空間（３３４）内の所定のカメラ位置（３５４）及び所定のカメラ方向（３５６）にて、不一致（３４４）を伴う複合材レイアップ（３３８）の前記３次元モデル（３３６）の撮像画像（３６０）を、生成するステップ（７０２）と、
事前選択された検査タイプ（３６６）の着色を有する二次画像（３６２）を形成するために、前記撮像画像（３６０）を修正するステップ（７０４）と、
前記二次画像（３６２）を使用して不一致識別子プログラム（３２４）を訓練するステップ（７０６）と
を含む方法（７００）。

【請求項13】

複数の検査画像（３２２）を形成するために、複合トウ（３０４）が敷設されるときに、前記複合トウ（３０４）を検査するステップ（７１６）と、
複数の前記二次画像（３３０）を使用して訓練された前記不一致識別子プログラム（３２４）を使用して、前記複数の検査画像（３２２）を評価するステップ（７１８）と
をさらに含む請求項１２に記載の方法（７００）。

【請求項14】

前記複合トウ（３０４）が、検査システム（３１４）を使用して検査され、前記３次元モデル空間（３３４）内の前記所定のカメラ方向（３５６）が、前記検査システム（３１４）のヘッド方向（３１８）に基づいている（７２０）、請求項１３に記載の方法（７００）。

【請求項15】

前記複合トウ（３０４）を検査するステップが、堆積後に、前記複合トウ（３０４）のＩＲ画像を生成するステップを含む（７２２）、請求項１３に記載の方法（７００）。

【請求項16】

前記撮像画像（３６０）を修正するステップが、前記二次画像（３６２）を作成するために、いくつかのフィルタ（３６４）を前記撮像画像（３６０）に適用するステップを含む（７１２）、請求項１２に記載の方法（７００）。

【請求項17】

前記撮像画像（３６０）を修正するステップが、前記撮像画像（３６０）中の前記不一致（３４４）の画素から色をサンプリングするステップと、前記画素の色値を、事前選択された前記検査タイプ（３６６）の画像における前記不一致（３４４）の不一致タイプの範囲内の値に調整するステップとを含む（７１４）、請求項１２に記載の方法（７００）。

【請求項18】

製造環境（３００）において複合材敷設ヘッド（３０２）に取り付けられた検査システム（３１４）のヘッド方向（３１８）を決定するステップ（７０８）と、
前記ヘッド方向（３１８）に基づいて、前記３次元モデル空間（３３４）において所定の前記カメラ位置（３５４）及び所定のカメラ方向（３５６）を設定するステップ（７１０）と
をさらに含む請求項１２に記載の方法（７００）。

【請求項19】

合成的に生成された訓練データ（３２８）を使用する方法（８００）であって、
複数の層（３４０）の複合材レイアップ（３３８）を備える３次元モデル（３３６）に、不一致（３４４）を生成するステップ（８０２）と、
所定のカメラ位置（３５４）、及び複合材敷設ヘッド（３０２）に接続された検査システム（３１４）のヘッド方向（３１８）に基づく所定のカメラ方向（３５６）にて、前記不一致（３４４）及び前記３次元モデル（３３６）の撮像画像（３６０）を生成するステップ（８０４）と、
前記撮像画像（３６０）から二次画像（３６２）を生成するステップ（８０６）であって、前記二次画像（３６２）が、前記検査システム（３１４）の検査タイプの着色を有する、生成するステップ（８０６）と、
前記二次画像（３６２）を不一致識別子プログラム（３２４）のための訓練データ（３２８）として提供するステップ（８０８）と
を含む方法（８００）。

【請求項20】

前記二次画像（３６２）を生成するステップ（８１４）が、ＩＲ画像の着色を作成するために、いくつかのフィルタ（３６４）を前記撮像画像（３６０）に適用するステップを含む、請求項１９に記載の方法（８００）。

【請求項21】

製造されるべき部品（３０８）の部分（３０６）のレイアップに基づいて、３次元モデル（３３６）を作成するステップ（８１０）
をさらに含む請求項１９に記載の方法（８００）。

【請求項22】

前記不一致（３４４）を生成するステップが、前記３次元モデル（３３６）において少なくとも１つのトウ表示を移動させるステップを含む（８１２）、請求項１９に記載の方法（８００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、検査に関し、より詳細には、不一致識別のためのデータ訓練セットに関する。

【背景技術】

【0002】

製造における不一致を識別するために、データセットが構築されて、分類モデルを訓練する。分類モデルの品質は、不一致データの量に依存する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、前述の問題の少なくとも一部、及び他の可能性のある問題を考慮した方法並びに装置を有することが望ましいであろう。

【課題を解決するための手段】

【0004】

本開示の一実施形態は、複合材製造検査のための合成データを生成する方法を提供する。複合材レイアップの３次元モデルが作成される。複合材レイアップの３次元モデルに不一致が生成される。３次元モデル空間において、カメラ位置及びカメラ方向が設定される。カメラ位置及びカメラ方向から、３次元モデル及び不一致の撮像画像が生成される。撮像画像から二次画像が作成され、二次画像は、事前選択された検査タイプの着色を有する。

【0005】

本開示の別の実施形態は、複合材検査システムを訓練する方法を提供する。３次元モデル空間内の所定のカメラ位置及び所定のカメラ方向にて、不一致を伴う複合材レイアップの３次元モデルの撮像画像が生成される。事前選択された検査タイプの着色を有する二次画像を形成するために、撮像画像が修正される。二次画像を使用して、不一致識別子プログラムが訓練される。

【0006】

本開示のさらに別の実施形態は、合成的に生成された訓練データを使用する方法を提供する。複数の層の複合材レイアップを含む３次元モデルに、不一致が生成される。所定のカメラ位置、及び複合材敷設ヘッドに接続された検査システムのヘッド方向に基づく所定のカメラ方向にて、不一致及び３次元モデルの撮像画像が生成される。撮像画像から二次画像が生成され、二次画像が、検査システムの検査タイプの着色を有する。二次画像が、不一致識別子プログラムのための訓練データとして提供される。

【0007】

形態及び機能は、本開示の様々な実施形態において独立して達成されることができ、或いは以下の説明及び図面を参照してさらなる詳細を理解することができるさらに他の実施形態において組み合わされてもよい。

【0008】

例示的な実施形態の特徴であると考えられる新規の形態が、添付の特許請求の範囲に記載されている。しかしながら、例示的な実施形態、並びにそれらの好ましい使用の態様、さらなる目的、及び形態は、本開示の例示的な実施形態の以下の詳細な説明を参照し、添付の図面と併せて検討することによって、最もよく理解されよう。

【図面の簡単な説明】

【0009】

【図1】例示的な実施形態による航空機の図である。

【図2】例示的な実施形態によるデータフローのブロック図である。

【図3】例示的な実施形態による製造環境のブロック図である。

【図4】例示的な実施形態による複合材料の敷設及び検査の側面図である。

【図5】例示的な実施形態による３次元モデルの表示の図である。

【図6A】例示的な実施形態による複合材製造検査のための合成データを生成する方法のフローチャートである。

【図6B】例示的な実施形態による複合材製造検査のための合成データを生成する方法のフローチャートである。

【図7】例示的な実施形態による複合材検査システムを訓練する方法のフローチャートである。

【図8】例示的な実施形態による合成的に生成された訓練データを使用する方法のフローチャートである。

【図9】例示的な実施形態による航空機の製造及び保守点検方法のブロック図である。

【図10】例示的な実施形態が実装され得る航空機のブロック図である。

【発明を実施するための形態】

【0010】

ここで図１を参照すると、例示的な実施形態による航空機の図が示されている。航空機１００は、本体１０６に取り付けられた翼１０２及び翼１０４を有する。航空機１００は、翼１０２に取り付けられたエンジン１０８、及び翼１０４に取り付けられたエンジン１１０を含む。

【0011】

本体１０６は、尾部区画１１２を有する。本体１０６の尾部区画１１２には、水平スタビライザ１１４、水平スタビライザ１１６、及び垂直スタビライザ１１８が、取り付けられている。

【0012】

航空機１００は、例示的な例によって訓練された複合材検査モデルを有し得る航空機の一例である。航空機１００は、合成データで訓練された検査システムを使用して検査され得る複合材部品を有する航空機の一例である。

【0013】

ここで図２を参照すると、例示的な実施形態によるデータフローのブロック図が示されている。３次元モデル２００は、部品の少なくとも一部のモデルである。３次元モデル２００は、航空機１００の翼１０２、翼１０４、又は本体１０６のうちの少なくとも１つの少なくとも一部のモデルであり得る。３次元モデル２００は、任意の望ましい量の層を有する。３次元モデル２００は、製造されるべき部品の設計に基づいて生成されている。いくつかの例示的な例では、３次元モデル２００は、部品のレイアップと同一の設計を有する。いくつかの例示的な例では、部品のレイアップに基づくことによって、３次元モデル２００の曲率は、製造されるべき部品と同一となる。

【0014】

３次元モデル２００は、合成データ２０２を生成するために使用される。合成データ２０２は、不一致識別子プログラム２０４を訓練するために使用されるのに十分な解像度を有する。検査データ２０６を使用する代わりに又はそれに加えて、合成データ２０２を使用して不一致識別子プログラム２０４を訓練することにより、より多くの量の訓練データを不一致識別子プログラム２０４に提供することができる。検査データ２０６を使用する代わりに又はそれに加えて、合成データ２０２を使用して不一致識別子プログラム２０４を訓練することによって、使用されるリソースをより少なくすることができる。いくつかの例示的な例では、合成データ２０２を使用して不一致識別子プログラム２０４を訓練することにより、時間が削減される。いくつかの例示的な例では、合成データ２０２を使用して不一致識別子プログラム２０４を訓練することにより、製造の試行錯誤が削減され、それによって製造時間が削減される。いくつかの例示的な例では、合成データ２０２を使用して不一致識別子プログラム２０４を訓練することにより、製造の試行錯誤が削減され、それによって材料の廃棄が削減される。

【0015】

検査データ２０６を使用する代わりに又はそれに加えて、合成データ２０２を使用して不一致識別子プログラム２０４を訓練することにより、生成される廃棄物がより少なくなる。例えば、もし訓練のために物理的な不一致が意図的に生成された場合、このことは、物理的な廃棄物を生成することになる。別の例として、合成データ２０２を利用することにより、実行される再加工がより少なくなって、廃棄物の生成がより少なくなる。検査データ２０６を使用する代わりに又はそれに加えて、合成データ２０２を使用して不一致識別子プログラム２０４を訓練することにより、部品を製造する前に、不一致識別子プログラム２０４を訓練することができる。検査データ２０６を使用する代わりに又はそれに加えて、合成データ２０２を使用して不一致識別子プログラム２０４を訓練することにより、訓練時間を削減することができる。

【0016】

合成データ２０２は、複数の撮像画像２０８及び複数の二次画像２１０を備える。複数の撮像画像２０８は、コンピューターシミュレーションにおいて３次元モデル２００を撮った画像である。複数の撮像画像２０８は、３次元モデル２００内で任意の望ましい光景を有することができる。

【0017】

３次元モデル２００から生成された複数の撮像画像２０８は、任意の望ましい検査タイプのために使用されることができる。例えば、複数の撮像画像２０８は、光学検査、赤外線（ＩＲ）検査、レーザ検査、又は任意の他の望ましいタイプの検査のために生成されることができる。所定の検査タイプのための複数の撮像画像２０８を作成するために、カメラ方向、カメラ位置、視野、３次元モデル２００の材料特性、３次元モデル２００の色、又は３次元モデル２００の他の態様のうちの少なくとも１つは、所定の検査タイプに基づいて修正されることができる。いくつかの例示的な例では、カメラ方向、カメラ位置、又は視野のうちの少なくとも１つは、それぞれの検査システムに基づいて修正されることができる。いくつかの例示的な例では、複数の撮像画像２０８は、単一のタイプの所定の検査タイプについて異なる検査システムの位置付けの選択肢を包含するために、多様なカメラ方向、カメラ位置、及び視野を含む。

【0018】

複数の二次画像２１０は、複数の撮像画像２０８から生成された画像である。いくつかの例示的な例では、複数の撮像画像２０８は、複数の二次画像２１０を形成するために修正される。いくつかの例示的な例では、複数の二次画像２１０を生成するために、フィルタが複数の撮像画像２０８に適用される。複数の二次画像２１０は、訓練データとして不一致識別子プログラム２０４に提供されることができる。いくつかの例示的な例では、複数の撮像画像２０８の解像度は、複数の二次画像２１０を作成するために修正される。いくつかの例示的な例では、複数の撮像画像２０８の着色は、複数の二次画像２１０を作成するために修正される。いくつかの例示的な例では、複数の撮像画像２０８の明度は、複数の二次画像２１０を作成するために修正される。いくつかの例示的な例では、複数の撮像画像２０８内の選択された領域のみが修正される。いくつかの例示的な例では、修正が実行されるべきか否かを判定するために、複数の撮像画像２０８の部分がサンプリングされる。このサンプリングにより、複数の撮像画像２０８の画素値を、製造中に撮像された複数の検査画像の画素値と比較することができる。いくつかの例示的な例では、所望の検査タイプの検査システムによって製造中に撮像された複数の検査画像は、複数の二次画像２１０を作成するために、複数の撮像画像２０８に適用される画素値プロファイルを定義するために使用される。例えば、製造中に集められた複数の検査画像に一致するように、複数の撮像画像２０８に対して、画素値正規化及び最小／最大再スケーリングを実行することができる。いくつかの例示的な例では、複数の検査画像２１２の一部は、画素値プロファイルを定義するために使用されることができる。

【0019】

いくつかの例示的な例では、３次元モデル２００は、複数の撮像画像２０８が、追加の修正なしで所望の画素値及び所望の着色を有するように作成される。いくつかの例示的な例では、３次元モデル２００内の材料特徴は、所定の検査タイプの着色を有するように設定される。これらの例示的な例では、複数の二次画像２１０は任意選択である。これらの例示的な例では、複数の撮像画像２０８は、訓練データとして不一致識別子プログラム２０４に送信されることができる。

【0020】

不一致識別子プログラム２０４を訓練するのに十分な合成データ２０２が生成された後、不一致識別子プログラム２０４は、複数の検査画像２１２を評価するために使用されることができる。複数の検査画像２１２は、部品の製造中に生成された検査データ２０６である。検査中、複数の検査画像２１２は、不一致識別子プログラム２０４によって評価される。不一致識別子プログラム２０４は、複数の検査画像２１２内の不一致を位置特定する。不一致識別子プログラム２０４は、複数の検査画像２１２内の不一致のタイプを識別する。

【0021】

ここで図３を参照すると、例示的な実施形態による製造環境のブロック図が示されている。製造環境３００は、航空機１００の部分を製造することができる環境である。３次元モデル３３６は、図２の３次元モデル２００の一例である。

【0022】

複合材敷設ヘッド３０２は、部品３０８の部分３０６を形成するために複合トウ３０４を敷設する。部品３０８は、プラットフォーム３１０の構成要素である。プラットフォーム３１０は、ビークル、建物、又は船舶などの任意の望ましい形をとることができる。プラットフォーム３１０は、車、ボート、宇宙船、列車、バス、又は任意の他の望ましいタイプのビークルの形をとることができる。この例示的な例では、プラットフォーム３１０は航空機３１２の形をとる。

【0023】

検査システム３１４は、複合材敷設ヘッド３０２に装着されている。検査システム３１４は、検査タイプ３１６及びヘッド方向３１８を有する。検査タイプ３１６は、検査システム３１４のために利用される技術を備える。検査タイプ３１６は、ＩＲ検査、レーザ検査、光学検査、又は任意の他の望ましいタイプの検査を含むことができる。検査タイプ３１６は、着色３２０を有する。着色３２０は、検査タイプ３１６の画素の彩度、明度、及び他の値を含む。

【0024】

検査システム３１４は、複合材敷設ヘッド３０２が複合トウ３０４を敷設するときに、複数の検査画像３２２を生成する。プラットフォーム３１０の品質管理のために、不一致の存在について、複数の検査画像３２２が評価される。機械視覚システムが、複数の検査画像３２２内の不一致を識別し分類することが望ましい。これらの例示的な例では、不一致識別子プログラム３２４は、複数の不一致３２６について複数の検査画像３２２を再検討する。

【0025】

不一致識別子プログラム３２４は、機械視覚／機械学習アルゴリズムの一例である。機械視覚／機械学習アルゴリズムは、モデルを構築するために大量の訓練画像を必要とする。自動繊維積層（ＡＦＰ）用途では、実世界データから、不一致識別子プログラム３２４を訓練するためのデータの量及びタイプを提供するであろう状況を「強行する」ことは困難である。合成データ３３２は、品質モデル訓練を支持するために生成される。

【0026】

例示的な例は、訓練データが非常に構成固有であり得ることを認識し考慮する。例示的な例は、部品３０８の部分３０６のレイアップ３３９又は部品３０８のレイアウトに行われた変更が、新たなデータセット全体を生成することになり得ると認識し考慮する。

【0027】

訓練データが、単一方向から、単一の速度により、又は背景温度が特定の値であるときにのみ収集される場合、このことは、訓練データに、多数の機械及び使用事例にわたって不一致識別子プログラム３２４に同一のコードを適用することが困難になるギャップを残す。合成データ３３２は、これらのデータギャップを埋めるために使用されることができる。いくつかの例示的な例では、合成データ３３２は、実世界データなしで、不一致識別子プログラム３２４を訓練するために使用されることができる。いくつかの例示的な例では、合成データ３３２は、実世界のデータ画像と連携して、不一致識別子プログラム３２４を訓練するために使用されることができる。

【0028】

不一致識別子プログラム３２４は、訓練データ３２８を使用して訓練された分類モデルである。訓練データ３２８は、複数の撮像画像３５８又は複数の二次画像３３０のうちの少なくとも１つを備える。複数の撮像画像３５８及び複数の二次画像３３０は、３次元モデル空間３３４から生成された合成データ３３２である。

【0029】

３次元モデル空間３３４は、合成データ３３２を生成するための３次元モデルを作成するために使用され得る。３次元モデル空間３３４は、任意の望ましいタイプの３次元モデリングソフトウェアであり得る。

【0030】

３次元モデル３３６は、複合材レイアップ３３８を備える。３次元モデル３３６は、部品３０８の部分３０６の表示である。複合材レイアップ３３８は、部品３０８の部分３０６のレイアップ３３９に基づいている。いくつかの例示的な例では、複合材レイアップ３３８の３次元モデル３３６は、部品３０８の部分３０６のレイアップ３３９を使用して生成される。いくつかの例示的な例では、複数の層３４０は、部品３０８の部分３０６の複数の層３４１の各々を表す。いくつかの例示的な例では、レイアップ３３９は、複数の層３４１の複合材料３０３を備え、３次元モデル３３６は、複数の層３４１の複合材料３０３と同一に配置された複数の層３４０を備える。

【0031】

いくつかの例示的な例では、複数の層３４０は、複合材レイアップ３３８の表面３４２の曲率３４３を形成する。いくつかの例示的な例では、複数の層３４０は、曲率３４３が部品３０８の部分３０６の曲率と同一になるように設計される。いくつかの例示的な例では、複数の層３４０は、部品３０８の部分３０６の複数の層３４１よりも少ない層を有する。

【0032】

３次元モデル３３６は、部品３０８についての設計が変更される場合に、修正されることができる。３次元モデル３３６を修正することによって、訓練データ３２８は、部品３０８の設計に対する変更を考慮するように、不一致識別子プログラム３２４のために生成されることができる。

【0033】

合成データ３３２を形成するために、複合材レイアップ３３８の３次元モデル３３６に不一致３４４が生成される。不一致３４４は、任意の望ましい形をとる。いくつかの例示的な例では、不一致３４４は、重なり合うトウ３４６、異物破片３４８、又はギャップ３５０のうちの１つである。いくつかの例示的な例では、不一致３４４は、毛玉、樹脂の塊、異物破片３４８、縁部の折り目／捻れ、熱損傷、仮留めされたままのトウ、又は欠落したトウのうちの１つである。

【0034】

不一致３４４は、不一致３４４のタイプに依存して３次元モデル３３６に生成されることができる。例えば不一致３４４が毛玉である場合、不一致３４４は、長さが変動し基準中心点を通過する複数の無作為に方向付けられた線として、３次元モデル３３６に構築されることができる。

【0035】

不一致３４４が縁部の折り目である場合、不一致３４４は、外側トウ縁部に沿った距離を特定し、最適化問題
ｍｉｎ｜｜Δｘ｜｜^２，Σ｜｜ｘｉ－ｘｉ＋１｜｜＝ｄ
を解くことによって、３次元モデル３３６に構築されることができる。上式において、ｘは、外側トウ縁部に沿って曲線を形成する点のリストであり、ｄは、縁部に必要なアーク長さであり、Δは、ｘの隣接点を平均化する点についてのアンブレララプラシアンである。

【0036】

不一致３４４が捻れである場合、不一致３４４は、下側トウ境界を上側トウ境界に接続し逆もまた同様にすることにより、いくつかの距離にわたってトウの一部を除去し、新しい幾何形状を造ることによって、３次元モデル３３６に構築されることができる。不一致３４４が仮留めされたままのトウである場合、不一致３４４は、トウ始点又はトウ終点にてトウに沿った距離を特定し、トウ長さを維持しながら二次曲線に沿って３次元部品表面からトウを持ち上げることによって、３次元モデル３３６に構築されることができる。

【0037】

不一致３４４が重なり合うトウ３４６又はギャップ３５０のうちの一方で場合、不一致３４４は、いくつかの距離にわたってトウの一部を特定し、トウ中心線をいくつかの量だけ上又は下にシフトさせることによって、３次元モデル３３６において構築されることができる。不一致３４４が欠落したトウである場合、不一致３４４は、３次元モデル３３６におけるトウを識別し、それをシミュレーション済みの幾何形状から除去することによって、３次元モデル３３６に構築されることができる。

【0038】

仮想カメラ３５２は、３次元モデル空間３３４内の視野の表示である。仮想カメラ３５２は、３次元モデル空間３３４においてカメラ位置３５４及びカメラ方向３５６を有する。カメラ位置３５４は、検査タイプ３１６、又は複合材敷設ヘッド３０２への検査システム３１４の装着位置のうちの少なくとも１つに基づいて修正されることができる。カメラ位置３５４は、複数の撮像画像３５８において見ることができる３次元モデル３３６の分量を変更するように修正されることができる。カメラ位置３５４は、複数の撮像画像３５８において見ることができる３次元モデル３３６の区画を変更するように修正されることができる。

【0039】

いくつかの例示的な例では、製造環境３００において複合材敷設ヘッド３０２に取り付けられた検査システム３１４のヘッド方向３１８が決定され、ヘッド方向３１８に基づいてカメラ方向３５６を設定することによって、３次元モデル空間３３４において、カメラ位置３５４及びカメラ方向３５６が設定される。

【0040】

カメラ位置３５４及びカメラ方向３５６から、３次元モデル３３６及び不一致３４４の撮像画像３６０が生成される。撮像画像３６０は、複数の撮像画像３５８のうちの１つである。いくつかの例示的な例では、複数の撮像画像３５８は、２つ以上のカメラ位置３５４から撮られる。いくつかの例示的な例では、複数の撮像画像３５８は、２つ以上のカメラ方向３５６から撮られる。複数の撮像画像３５８は、不一致識別子プログラム３２４のための訓練データ３２８として使用されるのに十分な解像度を有する。

【0041】

いくつかの例示的な例では、複合材レイアップ３３８は、複数の撮像画像３５８が訓練データ３２８として使用され得るように、材料特性３４５を伴って形成される。これらの例示的な例では、材料特性３４５により、複数の撮像画像３５８は、検査タイプ３１６などの事前選択された検査タイプ３６６の所望の着色、明度、及び他の特性を有することになる。

【0042】

他の例示的な例では、複数の二次画像３３０を形成するために、複数の撮像画像３５８に対して処理が実行される。これらの例示的な例では、複数の二次画像３３０は、訓練データ３２８として使用される。いくつかの例示的な例では、二次画像３６２は、撮像画像３６０から作成され、二次画像３６２は、事前選択された検査タイプ３６６の着色を有する。いくつかの例示的な例では、撮像画像３６０は、複数の異なる検査タイプのための複数の二次画像３３０を形成するように処理されることができる。

【0043】

いくつかの例示的な例では、二次画像３６２を作成するために、いくつかのフィルタ３６４が、撮像画像３６０に適用される。いくつかのフィルタ３６４を撮像画像３６０に適用することにより、事前選択された検査タイプ３６６の画像の特徴を有する二次画像３６２が作成される。

【0044】

いくつかの例示的な例では、いくつかのフィルタ３６４を撮像画像３６０に適用することにより、二次画像３６２を作成するために、撮像画像３６０に対して事前選択された検査タイプ３６６の着色３６８が作成される。いくつかの例示的な例では、いくつかのフィルタ３６４を撮像画像３６０に適用することにより、ＩＲ画像の着色３６８が作成される。

【0045】

いくつかの例示的な例では、いくつかのフィルタ３６４を撮像画像３６０に適用することにより、不一致３４４を伴う二次画像３６２の画素内に、事前選択された検査タイプ３６６についての不一致タイプに特有の着色３６８が作成される。例えば、不一致３４４が異物破片３４８である場合、いくつかのフィルタ３６４を撮像画像３６０に適用することにより、不一致３４４を伴う二次画像３６２の画素内に、事前選択された検査タイプ３６６についての異物破片３４８に特有の着色３６８が作成される。具体的な例として、不一致３４４が異物破片３４８であり、事前選択された検査タイプ３６６がＩＲ検査３７０である場合、いくつかのフィルタ３６４を撮像画像３６０に適用することにより、不一致３４４を伴う二次画像３６２の画素内に、ＩＲ検査３７０についての異物破片３４８に特有の着色３６８が作成される。

【0046】

いくつかの例示的な例では、二次画像３６２を作成することは、撮像画像３６０中の不一致３４４の画素から色をサンプリングすることと、画素の色値を、事前選択された検査タイプ３６６の手持ちの画像における不一致３４４の不一致タイプの範囲内の値に調整することとを含む。不一致識別子プログラム３２４を訓練した後、不一致識別子プログラム３２４は、複合トウ３０４が敷設された後の複合トウ３０４の複数の検査画像３２２を評価するために使用されることができる。

【0047】

図示のように、コンピューターシステム３７２は、３次元モデル空間３３４及び不一致識別子プログラム３２４を含む。他の例示的な例では、３次元モデル空間３３４及び不一致識別子プログラム３２４は、互いに通信する別個のコンピューターシステム上に存在する。

【0048】

３次元モデル空間３３４から訓練データ３２８を生成することにより、訓練時間、コスト、及び運用者の時間のうちの少なくとも１つが削減される。３次元モデル３３６は、多数の検査タイプの訓練データ３２８を生成するために使用されることができる。３次元モデル３３６は、多数の走行速度のための訓練データ３２８を生成するために使用されることができる。３次元モデル３３６は、多数の異なるカメラ方向の訓練データ３２８を生成するために使用されことができる。

【0049】

合成データ３３２はまた、事前選択された検査タイプ３６６がＩＲ検査３７０である場合に、熱情報を提供することができる。合成データ３３２が着色３６８などの熱情報を含まない場合、不一致識別子プログラム３２４などのモデルは、不一致を抽出するためにコントラスト差のみに依存する。着色３６８などの熱データが合成データ３３２に存在する場合、全体的な温度のシフト又はオートゲインモードで使用されているカメラが、受け入れられることができる。

【0050】

熱情報の追加は、不一致識別子プログラム３２４などの機械学習アルゴリズムに提供される合成データ３３２に内容を追加する。熱情報を含むことにより、コントラスト差を見るとき、並びに単純なコントラストのみの画像では明らかではないゆるやか温度変化を追跡するときに、全体的な環境温度を考慮する不一致識別子プログラム３２４の訓練が可能になる。

【0051】

３次元モデル空間３３４は、詳細でシミュレーションされたデータセットが生成されることを可能にする。いくつかの例示的な例では、合成データは、製造環境３００において最初に物理的な構成要素を造る前に、３次元モデル空間３３４を使用して生成されることができる。３次元モデル空間３３４は、材料システム、機械構成、部品構成、レイアップ計画、ヒーター計画、カメラ情報、カメラ視野、及び非常に詳細でシミュレーションされたデータセットを可能にする他の望ましいパラメータを含むことができる。

【0052】

図３の製造環境３００の図は、例示的な実施形態が実装され得る方式について、物理的又は構造的な制約を意味するものではない。例示の構成要素に加えて又はその代わりに、他の構成要素が使用されてもよい。いくつかの構成要素は、不要な場合がある。また、ブロックは、いくつかの機能的構成要素を示すために提示されている。これらのブロックのうちの１以上は、例示的な実施形態で実装される場合に、異なるブロックへと結合され、分割され、又は結合され分割されてもよい。

【0053】

例えば、複数の二次画像３３０は任意選択であることができる。いくつかの例示的な例では、複数の層３４０の材料特徴は、複数の撮像画像３５８が訓練データ３２８として使用され得るように設定される。これらの例示的な例では、複数の二次画像３３０を生成するために、フィルタリング又は他の修正が、実行されない。

【0054】

ここで図４を参照すると、例示的な実施形態による複合材料の敷設及び検査の側面図が示されている。光景４００は、複合材料４０２を基板４０４上に敷設する光景である。いくつかの例示的な例では、複合材料４０２は複合トウの形をとる。検査システム４０６は、複合材敷設ヘッド４０８に装着されている。複合材敷設ヘッド４０８が複合材料４０２を敷設するときに、検査システム４０６は複合材料４０２の複数の検査画像を生成する。検査システム４０６の視野４１０は、検査システム４０６の検査タイプ、検査システム４０６のヘッド方向、及び複合材敷設ヘッド４０８に対する装着位置によって影響を受ける。

【0055】

検査システム４０６によって生成された複数の検査画像は、図３の不一致識別子プログラム３２４によって検査されることができる画像の例である。検査システム４０６は、図３の検査システム３１４の物理的実装の一例である。

【0056】

ここで図５を参照すると、例示的な実施形態による３次元モデルの表示が示されている。３次元モデル空間５００は、図３の３次元モデル空間３３４の表示である。３次元モデル空間５００には、複合材レイアップ５０４の３次元モデル５０２が存在する。３次元モデル５０２の表面５０７には、不一致５０６が存在する。

【0057】

カメラ５０８は、３次元モデル空間５００内の視点の表示である。カメラ５０８の視野５１０が示されている。カメラ５０８は、３次元モデル空間５００内のカメラ位置５１２及びカメラ方向５１４を有する。図示のように、カメラ位置及び方向には６つの次元がある。カメラ位置５１２には、３つの次元ｘ、ｙ、及びｚ座標がある。カメラ方向５１４には３つの次元がある（ピッチ、ロール、ヨー）。

【0058】

異なる部品についての合成データは、３次元モデル５０２を修正すること又は異なる３次元モデルを作成することによって、作成されることができる。異なるタイプの不一致についての合成データは、不一致５０６を修正することによって作成されることができる。異なるタイプの検査システムについての合成データは、カメラ位置５１２、カメラ方向５１４、及び３次元モデル５０２の材料特性のうちの少なくとも１つを修正することによって作成されることができる。このようにして、３次元モデル空間５００は、任意の部品、任意の望ましいタイプの検査システム、及び検査システムの任意の望ましい位置についての合成データを生成するために使用されることができる。

【0059】

ここで図６Ａ及び図６Ｂを参照すると、例示的な実施形態による複合材製造検査のための合成データを生成する方法のフローチャートが示されている。方法６００は、図２の不一致識別子プログラム２０４を訓練するための合成データ２０２を生成するために使用されることができる。方法６００は、図３の不一致識別子プログラム３２４を訓練するための合成データを生成するために使用されることができる。方法６００は、図４の検査システム４０６からの検査データを分析するための不一致識別子プログラムを訓練するために使用されることができる合成データを、生成するために使用されることができる。方法６００は、３次元モデル空間５００に実装されることができる。

【0060】

方法６００は、３次元モデル空間において複合材レイアップの３次元モデルを作成する（動作６０２）。３次元モデルは、所望に応じて修正されることができる材料特徴を有する。

【0061】

方法６００は、複合材レイアップの３次元モデルに不一致を生成する（動作６０４）。不一致は、任意の望ましい形を有することができる。いくつかの例示的な例では、不一致は３次元モデルの表面上にある。いくつかの例示的な例では、不一致は、３次元モデルの表面の下及び層内にある。

【0062】

方法６００は、３次元モデル空間においてカメラ位置及びカメラ方向を設定する（動作６０６）。方法６００は、カメラ位置及びカメラ方向から３次元モデル及び不一致の撮像画像を生成する（動作６０８）。方法６００は、撮像画像から二次画像を作成し、二次画像が、事前選択された検査タイプの着色を有する（動作６１０）。事前選択された検査タイプは、二次画像が不一致識別子プログラムを訓練するために使用される検査タイプである。いくつかの例示的な例では、事前選択された検査タイプは、ＩＲ検査、レーザ検査、光学検査、又は別の望ましい形の検査のうちの１つであり得る。その後、方法６００は終了する。

【0063】

いくつかの例示的な例では、方法６００は、部品の部分のレイアップを決定する（動作６１２）。部品の部分は、部品の任意の望ましい区画であり得る。部品は、任意の望ましい構成要素であり得る。レイアップ情報は、複合材層の順序、複合材料のタイプ、複合材料の幅、複合材の各層の形状、及び部品の部分を形成するために複合材料を敷設するための他の変数を含む。いくつかの例示的な例では、方法６００は、部品の部分のレイアップを使用して複合材レイアップの３次元モデルを生成する（動作６１４）。これらの例示的な例では、３次元モデルは部品の部分に似ている。いくつかの例示的な例では、レイアップが、複数の層の複合材料を備え、３次元モデルが、複数の層の複合材料と同一に配置された複数の層を備える（動作６１６）。

【0064】

いくつかの例示的な例では、不一致が、重なり合うトウ、トウ間のギャップ、又は異物破片のうちの１つである（動作６１８）。いくつかの例示的な例では、不一致は、毛玉、樹脂の塊、異物破片、縁部の折り目／捻れ、熱損傷、仮留めされたままのトウ、又は欠落したトウのうちの１つである。

【0065】

いくつかの例示的な例では、方法６００は、製造環境において複合材敷設ヘッドに取り付けられた検査システムのヘッド方向を決定し、３次元モデル空間においてカメラ位置及びカメラ方向を設定するステップが、ヘッド方向に基づいてカメラ方向を設定するステップを有する（動作６２０）。これらの例示的な例では、撮像画像は、複合材敷設ヘッドに取り付けられた検査システムによって撮像された画像の視野と、実質的に同様の視野を有する。

【0066】

いくつかの例示的な例では、二次画像を作成するステップは、二次画像を作成するために、いくつかのフィルタを撮像画像に適用するステップを含む（動作６２２）。いくつかの例示的な例では、いくつかのフィルタを撮像画像に適用するステップが、ＩＲ画像の着色を作成する（動作６２４）。

【0067】

いくつかの例示的な例では、不一致が、不一致タイプを有し、いくつかのフィルタを撮像画像に適用することが、不一致を伴う二次画像の画素内に、事前選択された検査タイプについての不一致タイプに特有の着色を作成する（動作６２６）。いくつかの例示的な例では、事前選択された検査タイプについて、各不一致タイプは、以前の実世界の収集データから識別された関連した色を有することができる。例えば、ＩＲ画像中の毛玉は、不一致内の画素についての関連した色を有してもよい。別の例として、ＩＲ画像中の欠落したトウは、不一致内の画素についてのそれぞれ自体の関連した色を有してもよい。

【0068】

いくつかの例示的な例では、撮像画像にフィルタを適用するステップが、撮像画像中の不一致の画素が不一致のタイプに関連した色を有するように、画素を変更する。いくつかの例示的な例では、フィルタを撮像画像に適用するステップが、事前選択された検査タイプの不一致タイプに関連した色を有する不一致を伴う二次画像を生成する。

【0069】

いくつかの例示的な例では、二次画像を作成するステップが、撮像画像中の不一致の画素から色をサンプリングするステップと、画素についての色値を、事前選択された検査タイプの手持ちの画像における不一致の不一致タイプの範囲内の値に調整するステップとを含む（動作６２８）。いくつかの例示的な例では、事前選択された検査タイプについて、各不一致タイプは、以前の実世界の収集データから識別された画素値の範囲を有することができる。例えば、ＩＲ画像中の毛玉は、不一致内の画素の値についての範囲を有してもよい。別の例として、欠落したトウは、不一致内の画素の値についての範囲を有してもよい。いくつかの例示的な例では、二次画像を作成するステップは、実世界の収集データでサンプリングされた画素についての値の範囲内の値を有するように、撮像画像中の欠落したトウの画素の値を調整するステップを含む。

【0070】

いくつかの例示的な例では、方法６００は、二次画像を訓練データとして不一致識別子プログラムに供給する（動作６３０）。いくつかの例示的な例では、方法６００は、複合トウが敷設された後に、複合トウの複数の検査画像を生成する（動作６３２）。いくつかの例示的な例では、方法６００は、複数の二次画像を使用して訓練された不一致識別子プログラムを使用して、複数の検査画像を評価する（動作６３４）。

【0071】

ここで図７を参照すると、例示的な実施形態による複合材検査システムを訓練する方法のフローチャートが示されている。方法７００は、図２の不一致識別子プログラム２０４を訓練するための合成データ２０２を生成するために使用されることができる。方法７００は、図３の不一致識別子プログラム３２４を訓練するための合成データを生成するために使用されることができる。方法７００は、図４の検査システム４０６からの検査データを分析するための不一致識別子プログラムを訓練するために使用されることができる合成データを、生成するために使用されることができる。方法７００は、図５の３次元モデル空間５００に実装されることができる。

【0072】

方法７００は、３次元モデルを含有する３次元モデル空間内の所定のカメラ位置及び所定のカメラ方向にて、不一致を伴う複合材レイアップの３次元モデルの撮像画像を生成する（動作７０２）。方法７００は、事前選択された検査タイプの着色を有する二次画像を形成するために、撮像画像を修正する（動作７０４）。方法７００は、二次画像を使用して不一致識別子プログラムを訓練する（動作７０６）。その後、方法７００は終了する。

【0073】

動作７０２～動作７０６では、単一の撮像画像及び二次画像について説明しているが、いくつかの例示的な例では、複数の合成画像が、不一致識別子プログラムを訓練するために使用されることができる。いくつかの例示的な例では、動作７０２～動作７０６は、製造からの複数の検査画像を評価するために不一致識別子プログラムを使用する前に反復的に実行される。

【0074】

いくつかの例示的な例では、撮像画像を修正するステップは、二次画像を作成するために、いくつかのフィルタを撮像画像に適用するステップを含む（動作７１２）。これらの例示的な例のいくつかでは、いくつかのフィルタは、二次画像に検査タイプの特徴を提供するために適用される。

【0075】

いくつかの例示的な例では、撮像画像を修正するステップが、撮像画像中の不一致の画素から色をサンプリングするステップと、画素の色値を、事前選択された検査タイプの手持ちの画像における不一致の不一致タイプの範囲内の値に調整するステップとを含む（動作７１４）。これらの例示的な例では、手持ちの画像の形の実世界データは、撮像された合成画像を修正するための情報を提供する。

【0076】

いくつかの例示的な例では、方法７００は、複数の検査画像を形成するために、複合トウが敷設されるときに、複合トウを検査する（動作７１６）。いくつかの例示的な例では、方法７００は、複数の二次画像を使用して訓練された不一致識別子プログラムを使用して、複数の検査画像を評価する（動作７１８）。

【0077】

いくつかの例示的な例では、複合トウが、検査システムを使用して検査され、３次元モデル空間内の所定のカメラ方向が、検査システムのヘッド方向に基づいている（動作７２０）。３次元モデルは、異なるヘッド方向及び／又は異なる検査タイプにおいて、検査システムについて複数の異なる所定のカメラ方向から撮影されることができる。

【0078】

いくつかの例示的な例では、複合トウを検査するステップが、堆積後に、複合トウのＩＲ画像を生成するステップを含む（動作７２２）。複合トウを適用するステップは、複合トウを基板上に敷設する前に、複合トウを加熱するステップを含む。ＩＲ画像は、基板上に置かれた後の複合トウにおける熱分布に関する情報を提供する。基板は、複合トウの先行層の形をとることができる。

【0079】

いくつかの例示的な例では、方法７００は、製造環境において複合材敷設ヘッドに取り付けられた検査システムのヘッド方向を決定する（動作７０８）。いくつかの例示的な例では、方法７００は、ヘッド方向に基づいて、３次元モデル空間において所定のカメラ位置及び所定のカメラ方向を設定する（動作７１０）。

【0080】

ここで図８を参照すると、例示的な実施形態による合成的に生成された訓練データを使用する方法のフローチャートが示されている。方法８００は、図２の不一致識別子プログラム２０４を訓練するための合成データ２０２を生成するために使用されることができる。方法８００は、図３の不一致識別子プログラム３２４を訓練するための合成データを生成するために使用されることができる。方法８００は、図４の検査システム４０６からの検査データを分析するための不一致識別子プログラムを訓練するために使用されることができる合成データを、生成するために使用されることができる。方法８００は、図５の３次元モデル空間５００に実装されることができる。

【0081】

方法８００は、複数の層の複合材レイアップを備える３次元モデルに、不一致を生成する（動作８０２）。不一致は、任意の望ましい形を有することができる。いくつかの例示的な例では、不一致は３次元モデルの表面上にある。いくつかの例示的な例では、不一致は、３次元モデルの表面の下及び層内にある。

【0082】

方法８００は、所定のカメラ位置、及び複合材敷設ヘッドに接続された検査システムのヘッド方向に基づく所定のカメラ方向にて、不一致及び３次元モデルの撮像画像を生成する（動作８０４）。所定のカメラ位置及び所定のカメラ方向にて撮像画像を生成することにより、撮像画像が、製造環境における検査システムの視野に似る。

【0083】

方法８００は、撮像画像から二次画像を生成し、二次画像が、検査システムの検査タイプの着色を有する（動作８０６）。二次画像は、任意の望ましいやり方で撮像画像を修正することによって生成される。方法８００は、二次画像を不一致識別子プログラムのための訓練データとして提供する（動作８０８）。その後、方法８００は終了する。

【0084】

いくつかの例示的な例では、方法８００は、製造されるべき部品の部分のレイアップに基づいて、３次元モデルを作成する（動作８１０）。いくつかの例示的な例では、３次元モデルにおける複数の層は、部品の部分のレイアップの複数の層の各々を表す。これらの例示的な例では、３次元モデルは、図３の部品３０８の部分３０６のすべての複合トウの表示であり得る。いくつかの例示的な例では、３次元モデルにおける複数の層は、部品の部分のレイアップの複数の層の断片を表す。いくつかの例示的な例では、３次元モデルにおける複数の層は、部品の部分と同一の曲率を作成するように選択される。いくつかの例示的な例では、３次元モデルにおける複数の層は、３次元モデルの複合材レイアップの表面が部品の部分の表面を表すように選択される。

【0085】

いくつかの例示的な例では、不一致を生成するステップが、３次元モデルにおいて少なくとも１つのトウ表示を移動させるステップを含む（動作８１２）。いくつかの例示的な例では、３次元モデルにおいて少なくとも１つのトウ表示を移動させるステップは、重なり合うトウ、ギャップ、欠落したトウ、又は他のトウ位置の不一致のうちの少なくとも１つを生成する。

【0086】

いくつかの例示的な例では、二次画像を生成するステップが、ＩＲ画像の着色を作成するために、いくつかのフィルタを撮像画像に適用するステップを含む（動作８１４）。ＩＲ画像の着色が存在することにより、二次画像に熱情報が存在する。熱情報の追加は、機械学習アルゴリズムに提供される画像に内容を追加する。着色を使用して熱情報を追加することにより、追加の不一致を識別することが可能になる。着色を使用して熱情報を追加することにより、温度変化を識別することが可能になる。

【0087】

本明細書で使用される場合、「のうちの少なくとも１つ」という句は、項目のリストとともに使用されるときに、リストに挙げられた項目のうちの１以上の異なる組合せが使用されてもよく、リスト中の各項目のうちの１つのみが必要とされてもよいことを意味する。例えば、「項目Ａ、項目Ｂ、又は項目Ｃのうちの少なくとも１つ」は、限定することなく、項目Ａ、項目Ａ及び項目Ｂ、又は項目Ｂを含んでもよい。この例はまた、項目Ａ、項目Ｂ、及び項目Ｃ、又は項目Ｂ及び項目Ｃを含んでもよい。当然のことながら、これらの項目の任意の組合せが存在してもよい。他の例では、「のうちの少なくとも１つ」は、例えば、限定することなく、２つの項目Ａ、１つの項目Ｂ、及び１０個の項目Ｃであっても、４つの項目Ｂ及び７の項目Ｃであっても、他の適切な組合せであってもよい。項目は、特定の対象物、物、又はカテゴリーであってもよい。言い換えれば、のうちの少なくとも１つとは、任意の組合せ項目及び項目の数がリストから使用されてもよいが、リスト中の項目のすべてが必要とはされないことを意味する。

【0088】

本明細書で使用される場合、「いくつかの」は、項目を指して使用される場合、１以上の項目を意味する。

【0089】

異なる図示の実施形態におけるフローチャート及びブロック図は、例示的な実施形態における装置及び方法のいくつかの考えられる実装形態のアーキテクチャ、機能、及び動作を示している。この点に関して、フローチャート又はブロック図における各ブロックは、モジュール、セグメント、機能のうちの少なくとも１つ、又は動作若しくはステップの一部を表してもよい。

【0090】

例示的な実施形態のいくつかの代替実装形態では、ブロックに記されている１以上の機能は、図に記されている順序から外れて生じてもよい。例えば、場合によっては、連続して示されている２つのブロックは、実質的に同時に実行されてもよく、又はブロックは、時には、関与する機能に応じて、逆の順序で実行されてもよい。また、フローチャート又はブロック図に図示されているブロックに加えて、他のブロックが追加されてもよい。一部のブロックは、任意選択であってもよい。例えば、動作６１２～動作６３４は任意選択であってもよい。別の例として、動作７０８～動作７２２は任意選択であってもよい。さらに別の例として、動作８１０～動作８１４は任意選択であってもよい。

【0091】

本開示の例示的な実施形態は、図９に示されている航空機の製造及び保守点検方法９００並びに図１０に示されている航空機１０００の状況で説明されることができる。最初に図９を参照すると、例示的な実施形態によるブロック図の形の航空機の製造及び保守点検方法の図が示されている。生産の前段階において、航空機の製造及び保守点検方法９００は、図１０の航空機１０００の仕様及び設計９０２、並びに材料調達９０４を含むことができる。

【0092】

生産中、航空機１０００の構成要素及び部分組立品の製造９０６並びにシステム統合９０８が行われる。その後、航空機１０００は、就航中９１２になるために、認証及び搬送９１０を経由することができる。顧客による就航中９１２に、航空機１０００は、定期的な整備及び保守点検９１４が予定され、これは修正、再構成、改修、又は他の整備及び保守点検を含み得る。

【0093】

航空機の製造及び保守点検方法９００のプロセスの各々は、システム統合者、第三業者、及び／又は運用者によって実行又は実施されてもよい。これらの例では、運用者は、顧客であってもよい。この説明の目的のために、システム統合者は、限定することなく、任意の数の航空機製造業者及び主要システム下請業者を含むことができ、第三業者は、限定することなく、任意の数のベンダー、下請業者、及び供給業者を含むことができ、運用者は、航空会社、リース会社、軍事団体、保守点検組織などであってもよい。

【0094】

次に図１０を参照すると、例示的な実施形態が実装され得るブロック図の形の航空機の図が示されている。この例では、航空機１０００は、図９航空機の製造及び保守点検方法９００によって生産され、複数のシステム１００４及び内部１００６を伴う機体１００２を含むことができる。システム１００４の例は、推進システム１００８、電気システム１０１０、油圧システム１０１２、及び環境システム１０１４のうちの１つ以上を含む。任意の数の他のシステムが含まれていてもよい。

【0095】

本明細書で具現化される装置及び方法は、航空機の製造及び保守点検方法９００の段階のうちの少なくとも１つの間に採用されてもよい。１以上の例示的な実施形態は、図９の構成要素及び部分組立品の製造９０６、システム統合９０８、就航中９１２、又は整備及び保守点検９１４のうちの少なくとも１つの間に製造又は使用されてもよい。

【0096】

例示的な例は、不一致識別子を訓練するための合成データを生成するための方法を提供する。例示的な例では、合成データは、３次元モデルの光景を使用して生成される。複数の異なる検査タイプについての合成データは、同一の３次元モデルから生成されることができる。３次元モデルは、部品に対する設計変更に基づいて修正されることができる。

【0097】

いくつかの例示的な例では、合成データは、合成赤外線データであり得る。合成赤外線データは、ＡＦＰ監視並びに一般的な赤外線評価のためにＩＲ検査を実装する実行可能性を改善し高めることができる。

【0098】

「コントラストのみの」合成データへの熱データの追加は、赤外線検査についての内容を提供する。いくつかの例示的な例では、合成画像は、後処理で追加された熱データを伴う可視光のシミュレーションで構築される。合成データへの熱データの追加は、カラーパレット境界付けるために最大温度値及び最小温度値を設定するのと同じくらい簡易的であり、材料を通って流れ、対流／伝導を介して失われるときの熱の自然な放散を説明するためにアルゴリズムを追加するのと同じくらい複雑であり得る。熱データの追加は、３次元モデルに材料特性を設定することによって実現されることができる。熱データの追加は、二次画像を形成するために撮像画像を処理することを通じて実現されることができる。

【0099】

例示的な例は、部品レイアップ、機械、材料、及びレイアップパスのうちの少なくとも１つを考慮する部品の仮想表示を提供する。製造環境の仮想表示により、多数の部品構成、カメラ位置、及びレイアッププログラム／速度のシミュレーションが可能になる。

【0100】

異なる例示的な実施形態の説明は、例示及び説明の目的で提示されており、網羅的であること、又は開示された形態の実施形態に限定されることを意図するものではない。当業者には、多くの修正形態及び変形形態が明らかであろう。さらに、異なる例示的な実施形態は、他の例示的な実施形態と比べて異なる形態を提供することができる。選択された１以上の実施形態は、実施形態の原理、実用的な用途を最もよく説明すると共に、当業者が、企図される特定の使用に適する様々な修正形態を伴う様々な実施形態について本開示を理解することを可能にするために選ばれ、説明されている。

【符号の説明】

【0101】

１００ 航空機、１０２ 翼、１０４ 翼、１０６ 本体、１０８ エンジン、１１０ エンジン、１１２ 尾部区画、１１４ 水平スタビライザ、１１６ 水平スタビライザ、１１８ 垂直スタビライザ、２００ ３次元モデル、２０２ 合成データ、２０４ 不一致識別子プログラム、２０６ 検査データ、２０８ 複数の撮像画像、２１０ 複数の二次画像、２１２ 複数の検査画像、３００ 製造環境、３０２ 複合材敷設ヘッド、３０３ 複合材料、３０４ 複合トウ、３０６ 部分、３０８ 部品、３１０ プラットフォーム、３１２ 航空機、３１４ 検査システム、３１６ 検査タイプ、３１８ ヘッド方向、３２０ 着色、３２２ 複数の検査画像、３２４ 不一致識別子プログラム、３２６ 複数の不一致、３２８ 訓練データ、３３０ 複数の二次画像、３３２ 合成データ、３３４ ３次元モデル空間、３３６ ３次元モデル、３３８ 複合材レイアップ、３３９ レイアップ、３４０ 複数の層、３４１ 複数の層、３４２ 表面、３４３ 曲率、３４４ 不一致、３４５ 材料特性、３４６ 重なり合うトウ、３４８ 異物破片、３５０ ギャップ、３５２ 仮想カメラ、３５４ カメラ位置、３５６ カメラ方向、３５８ 複数の撮像画像、３６０ 撮像画像、３６２ 二次画像、３６４ いくつかのフィルタ、３６６ 事前選択された検査タイプ、３６８ 着色、３７０ ＩＲ検査、３７２ コンピューターシステム、４００ 光景、４０２ 複合材料、４０４ 基板、４０６ 検査システム、４０８ 複合材敷設ヘッド、４１０ 視野、５００ ３次元モデル空間、５０２ ３次元モデル、５０４ 複合材レイアップ、５０６ 不一致、５０７ 表面、５０８ カメラ、５１０ 視野、５１２ カメラ位置、５１４ カメラ方向、６００ 方法、６０２ 動作、６０４ 動作、６０６ 動作、６０８ 動作、６１０ 動作、６１２ 動作、６１４ 動作、６１６ 動作、６１８ 動作、６２０ 動作、６２２ 動作、６２４ 動作、６２６ 動作、６２８ 動作、６３０ 動作、６３２ 動作、６３４ 動作、７００ 方法、７０２ 動作、７０４ 動作、７０６ 動作、７０８ 動作、７１０ 動作、７１２ 動作、７１４ 動作、７１６ 動作、７１８ 動作、７２０ 動作、７２２ 動作、８００ 方法、８０２ 動作、８０４ 動作、８０６ 動作、８０８ 動作、８１０ 動作、８１２ 動作、８１４ 動作、９００ 製造及び保守点検方法、９０２ 仕様及び設計、９０４ 材料調達、９０６ 構成要素及び部分組立品の製造、９０８ システム統合、９１０ 認証及び搬送、９１２ 就航中、９１４ 整備及び保守点検、１０００ 航空機、１００２ 機体、１００４ システム、１００６ 内部、１００８ 推進システム、１０１０ 電気システム、１０１２ 油圧システム、１０１４ 環境システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】