特表 2024-505874 機械学習を用いて塗装不良の検出を行うためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-08

(54)【発明の名称】機械学習を用いて塗装不良の検出を行うためのシステムおよび方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240201BHJP

   G06V 10/141 20220101ALI20240201BHJP

   G06T 7/00 20170101ALI20240201BHJP

   G06V 10/82 20220101ALI20240201BHJP

   G06T 7/521 20170101ALI20240201BHJP

   G06V 10/145 20220101ALI20240201BHJP

   B05C 11/00 20060101ALI20240201BHJP

【ＦＩ】

G01N21/88 J

G06V10/141

G06T7/00 350C

G06V10/82

G06T7/00 610B

G06T7/521

G06V10/145

B05C11/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023544738

(86)(22)【出願日】2021-01-26

(85)【翻訳文提出日】2023-09-05

(86)【国際出願番号】 IB2021050595

(87)【国際公開番号】W WO2022162417

(87)【国際公開日】2022-08-04

(81)【指定国・地域】

(71)【出願人】

【識別番号】505056845

【氏名又は名称】アーベーベー・シュバイツ・アーゲー

【氏名又は名称原語表記】ＡＢＢ Ｓｃｈｗｅｉｚ ＡＧ

【住所又は居所原語表記】Ｂｒｕｇｇｅｒｓｔｒａｓｓｅ ６６， ５４００ Ｂａｄｅｎ， Ｓｗｉｔｚｅｒｌａｎｄ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】セン、ネブロス

(72)【発明者】

【氏名】リー、ウェンロン

(72)【発明者】

【氏名】ジュー、アンバー－フェンチン

(72)【発明者】

【氏名】チャン、クン

【テーマコード（参考）】

2G051

4F042

5L096

【Ｆターム（参考）】

2G051AA89

2G051AB12

2G051BA20

2G051BB01

2G051BB07

2G051CA04

2G051CB01

2G051EB05

4F042AA09

4F042AB00

4F042BA25

4F042BA27

4F042DH09

5L096AA02

5L096AA06

5L096AA09

5L096BA03

5L096BA04

5L096BA05

5L096BA18

5L096CA05

5L096CA17

5L096DA02

5L096DA04

5L096FA08

5L096FA17

5L096FA68

5L096FA69

5L096GA51

5L096HA11

(57)【要約】

物体上の塗装不良を検出するための方法が提供される。方法は、物体の表面に複数の異なるパターン特性で複数のパターンを投影することと、複数のパターンを投影することに基づき、物体の複数の画像を取り込むことと、物体の表面が１つまたは複数の塗装不良を含むかどうかを決定するために、物体の複数の画像を機械学習モデルに入力することと、複数の画像のうちのある画像が塗装不良を含むと決定したことに基づき、塗装不良を有する画像を表示させることとを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

物体上の塗装不良を検出するための方法であって、
物体の表面に異なる複数のパターン特性で複数のパターンを投影することと、
前記複数のパターンを投影することに基づき、前記物体の複数の画像を取り込むことと、
前記物体の表面が１つまたは複数の塗装不良を含むかどうかを決定するために、前記物体の前記複数の画像を機械学習モデルに入力することと、
前記複数の画像のうちのある画像が塗装不良を含むと決定したことに基づき、前記塗装不良を有する前記画像を表示させることと
を備える方法。

【請求項2】

前記複数のパターンを投影することは、
第１の時間インスタンスに、第１のパターン特性を有する第１のパターンを前記物体上に投影することと、
第２の時間インスタンスに、第２のパターン特性を有する第２のパターンを前記物体上に投影することとを備え、
ここにおいて、前記第１のパターン特性は、前記第２のパターン特性とは異なる、請求項１に記載の方法。

【請求項3】

前記複数の画像を取り込むことは、
前記第１の時間インスタンスに、前記第１のパターンを投影することに基づき、１つまたは複数の第１の画像を取り込むことと、
前記第２の時間インスタンスに、前記第２のパターンを投影することに基づき、１つまたは複数の第２の画像を取り込むこととを備え、
ここにおいて、前記複数の画像を前記機械学習モデルに入力することは、前記１つまたは複数の第１の画像と、前記１つまたは複数の第２の画像とを前記機械学習モデルに入力することを備える、請求項２に記載の方法。

【請求項4】

前記第１のパターンは水平パターンであり、前記第２のパターンは垂直パターンである、請求項２に記載の方法。

【請求項5】

前記第１のパターンは、第１の周波数値に関連付けられ、前記第２のパターンは、前記第１の周波数値とは異なる第２の周波数値に関連付けられる、請求項２に記載の方法。

【請求項6】

バックエンドサーバから前記機械学習モデルを受け取ることをさらに備え、ここにおいて、前記バックエンドサーバは、１つまたは複数の車両の表面の塗装不良の取り込まれた画像に基づき、前記機械学習モデルを訓練する、請求項１に記載の方法。

【請求項7】

バックエンドサーバから、一般的な物体検出機械学習モデルを受け取ることと、
塗装不良の取り込まれた画像に基づき、前記機械学習モデルを生成するために、前記一般的な物体検出機械学習モデルを訓練することと
をさらに備える、請求項１に記載の方法。

【請求項8】

前記機械学習モデルは、Ｍａｓｋ領域ベース畳み込みニューラルネットワーク（Ｍａｓｋ－ＲＣＮＮ）を備える、請求項１に記載の方法。

【請求項9】

前記機械学習モデルは、残差ニューラルネットワーク（ＲｅｓＮｅｔ）を備え、ここにおいて、前記物体の表面が前記１つまたは複数の塗装不良を含むかどうか決定するために前記物体の前記複数の画像を前記機械学習モデルに入力することは、
前記複数の画像から複数の特徴を抽出するために、前記複数の画像を前記ＲｅｓＮｅｔに入力することと、
前記複数の特徴が、前記物体の表面の前記１つまたは複数の塗装不良を示すかどうか決定することと
を備える、請求項１に記載の方法。

【請求項10】

前記機械学習モデルは、特徴ピラミッドネットワーク（ＦＰＮ）と領域提案ネットワーク（ＲＰＮ）とをさらに備え、ここにおいて、前記複数の特徴が、前記物体の前記表面の前記１つまたは複数の塗装不良を示すかどうかを決定することは、
前記複数の特徴に対して２つの出力を生成するために、前記ＦＰＮとＲＰＮとを用いることを備え、ここにおいて、前記２つの出力のうちの第１の出力は、前記複数の特徴からのある特徴が塗装不良であるかどうかを示し、またここにおいて、前記２つの出力のうちの第２の出力は、前記特徴に対する位置識別子である、請求項９に記載の方法。

【請求項11】

物体上の塗装不良を検出するためのシステムであって、
物体の表面に異なる複数のパターン特性で複数のパターンを投影するように構成されたパターン投影デバイスと、
前記複数のパターンを投影することに基づき、前記物体の複数の画像を取り込むように構成された画像取込みデバイスと、
制御システムであって、
前記物体の前記表面が１つまたは複数の塗装不良を含むかどうかを決定するために、前記物体の前記複数の画像を機械学習モデルに入力することと、
前記複数の画像のうちのある画像が塗装不良を含むと決定したことに基づき、前記塗装不良を有する画像を表示することと
を行うように構成された制御システムと
を備えるシステム。

【請求項12】

前記パターン投影デバイスは、
第１の時間インスタンスに、第１のパターン特性を有する第１のパターンを前記物体上に投影することと、
第２の時間インスタンスに、第２のパターン特性を有する第２のパターンを前記物体上に投影することとにより、前記複数のパターンを投影するように構成され、
ここにおいて、前記第１のパターン特性は、前記第２のパターン特性とは異なる、請求項１１に記載のシステム。

【請求項13】

前記画像取込みデバイスは、
前記第１の時間インスタンスに、前記第１のパターンを投影することに基づき、１つまたは複数の第１の画像を取り込むことと、
前記第２の時間インスタンスに、前記第２のパターンを投影することに基づき、１つまたは複数の第２の画像を取り込むこととにより、前記複数の画像を取り込むように構成され、
ここにおいて、前記制御システムは、前記１つまたは複数の第１の画像と前記１つまたは複数の第２の画像とを前記機械学習モデルに入力することにより、前記複数の画像を前記機械学習モデルに入力する、請求項１２に記載のシステム。

【請求項14】

前記第１のパターンは水平パターンであり、前記第２のパターンは垂直パターンである、請求項１２に記載のシステム。

【請求項15】

前記第１のパターンは、第１の周波数値に関連付けられ、前記第２のパターンは、前記第１の周波数値とは異なる第２の周波数値に関連付けられる、請求項１２に記載のシステム。

【請求項16】

前記制御システムは、
バックエンドサーバから前記機械学習モデルを受け取るようにさらに構成され、
ここにおいて、前記バックエンドサーバは、１つまたは複数の車両の表面の塗装不良の取り込まれた画像に基づき、前記機械学習モデルを訓練する、請求項１１に記載のシステム。

【請求項17】

前記制御システムは、
バックエンドサーバから、一般的な物体検出機械学習モデルを受け取ることと、
塗装不良の取り込まれた画像に基づき、前記機械学習モデルを生成するために、前記一般的な物体検出機械学習モデルを訓練することと
を行うようにさらに構成される、請求項１１に記載のシステム。

【請求項18】

前記機械学習モデルは、Ｍａｓｋ領域ベース畳み込みニューラルネットワーク（Ｍａｓｋ－ＲＣＮＮ）を備える、請求項１１に記載のシステム。

【請求項19】

記憶されたプロセッサ実行可能命令を有する非一時的なコンピュータ可読媒体であって、１つまたは複数のコントローラにより実行されたとき、前記プロセッサ実行可能命令が、
物体の表面に複数の異なるパターン特性で複数のパターンを投影することと、
前記複数のパターンを投影することに基づき、前記物体の複数の画像を取り込むことと、
前記物体の前記表面が、１つまたは複数の塗装不良を含むかどうかを決定するために、前記物体の前記複数の画像を機械学習モデルに入力することと、
前記複数の画像のうちのある画像が塗装不良を含むと決定したことに基づき、前記塗装不良を有する前記画像を表示させることと
を促進する、非一時的なコンピュータ可読媒体。

【請求項20】

前記複数のパターンを投影することは、
第１の時間インスタンスに、第１のパターン特性を有する第１のパターンを前記物体上に投影することと、
第２の時間インスタンスに、第２のパターン特性を有する第２のパターンを前記物体上に投影することとを備え、
ここにおいて、前記第１のパターン特性は、前記第２のパターン特性とは異なる、請求項１９に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本開示は、機械学習／人工知能アルゴリズムを用いる物体検出に関し、より詳細には、深層学習を用いて、塗装不良を検出するためのシステムおよび方法に関する。

【背景技術】

【0002】

[0002]従来、塗装の仕事の品質は、熟練者によって評価され、それは、労働集約型のプロセスであり、高い生産量を得るには、複数の検査ラインを必要とする。例えば、車両の製造工程は、塗装工程を含むことができる。しかし、この工程中に導入される、または生ずる可能性のある欠陥があり得る。例えば、非常に小さなゴミおよび／または他の粒子が車両の表面に存在する可能性があり、塗装されたとき、これらの粒子が、視認できる欠陥を生ずるおそれがある。さらに、塗料が塗布された後、引っかき傷が、車両の表面に生ずる可能性がある。したがって、車両がこれらの欠陥を有するかどうかを評価するために、熟練者が使用され得る。しかし、これは、時間のかかる工程であるだけではなく、熟練者により行われる判断は、主観的なものであり、片寄りを含む可能性がある（例えば、一人の熟練者は、欠陥があると決定し得るが、別の人は欠陥がないと決定し得る）。したがって、分類結果に一貫性がない可能性がある。したがって、車両の表面の欠陥を検出するための自動化されたプロセスを提供する技術的必要性がある。

【発明の概要】

【0003】

[0003]本開示の第１の態様は、物体上の塗装不良を検出する方法を開示する。方法は、物体の表面に複数の異なるパターン特性で複数のパターンを投影することと、複数のパターンを投影することに基づき、物体の複数の画像を取り込むことと、物体の表面が１つまたは複数の塗装不良を含むかどうかを決定するために、物体の複数の画像を機械学習モデルに入力することと、複数の画像のうちのある画像が塗装不良を含むと決定したことに基づき、塗装不良を有する画像を表示させることとを備える。

【0004】

[0004]第１の態様の実施形態によれば、複数のパターンを投影することは、第１の時間インスタンスに、第１のパターン特性を有する第１のパターを物体上に投影することと、第２の時間インスタンスに、第２のパターン特性を有する第２のパターを物体上に投影することとを備え、ここにおいて、第１のパターン特性は、第２のパターン特性とは異なる。

【0005】

[0005]第１の態様の実施形態によれば、複数の画像を取り込むことは、第１の時間インスタンスに、第１のパターンを投影することに基づき、１つまたは複数の第１の画像を取り込むことと、第２の時間インスタンスに、第２のパターンを投影することに基づき、１つまたは複数の第２の画像を取り込むこととを備え、ここにおいて、複数の画像を機械学習モデルに入力することは、１つまたは複数の第１の画像と、１つまたは複数の第２の画像とを機械学習モデルに入力することを備える。

【0006】

[0006]第１の態様の実施形態によれば、第１のパターンは水平パターンであり、第２のパターンは垂直パターンである。

【0007】

[0007]第１の態様の実施形態によれば、第１のパターンは、第１の周波数値に関連付けられ、第２のパターンは、第１の周波数値とは異なる第２の周波数値に関連付けられる。

【0008】

[0008]第１の態様に実施形態によれば、方法は、バックエンドサーバから、機械学習モデルを受け取ることをさらに備え、ここにおいて、バックエンドサーバは、１つまたは複数の車両の表面の塗装不良の取り込まれた画像に基づき、機械学習モデルを訓練する。

【0009】

[0009]第１の態様の実施形態によれば、方法は、バックエンドサーバから一般的な物体検出機械学習モデルを受け取ることと、塗装不良の取り込まれた画像に基づき、機械学習モデルを生成するために、一般的な物体検出機械学習モデルを訓練することとをさらに備える。

【0010】

[0010]第１の態様の実施形態によれば、機械学習モデルは、Ｍａｓｋ領域ベース畳み込みニューラルネットワーク（Ｍａｓｋ－ＲＣＮＮ）を備える。

【0011】

[0011]第１の態様の実施形態によれば、機械学習モデルは、残差ニューラルネットワーク（ＲｅｓＮｅｔ）を備える。さらに、物体の表面が、１つまたは複数の塗装不良を含むかどうかを決定するために、物体の複数の画像を機械学習モデルに入力することは、複数の特徴を複数の画像から抽出するために、複数の画像をＲｅｓＮｅｔに入力することと、複数の特徴が、物体の表面の１つまたは複数の塗装不良を示すかどうかを決定することとを備える。

【0012】

[0012]第１の態様の実施形態によれば、機械学習モデルは、特徴ピラミッドネットワーク（ＦＰＮ）と領域提案ネットワーク（ＲＰＮ）とをさらに備える。複数の特徴が、物体の表面の１つまたは複数の塗装不良を示すかどうか決定することは、複数の特徴に対して２つの出力を生成するために、ＦＰＮとＲＰＮとを用いることを備え、ここにおいて、２つの出力のうちの第１の出力は、複数の特徴からのある特徴が塗装不良であるかどうかを示し、またここにおいて、２つの出力のうちの第２の出力は、特徴に対する位置識別子である。

【0013】

[0013]本開示の第２の態様は、物体上の塗装不良を検出するためのシステムを提供する。システムは、物体の表面に複数の異なるパターン特性で複数のパターンを投影するように構成されたパターン投影デバイスと、複数のパターンを投影することに基づき、物体の複数の画像を取り込むように構成された画像取込みデバイスと、物体の表面が１つまたは複数の塗装不良を含むかどうかを決定するために、物体の複数の画像を機械学習モデルに入力することと、複数の画像のうちのある画像が塗装不良を含むと決定したことに基づき、塗装不良を有する画像を表示することとを行うように構成された制御システムとを備える。

【0014】

[0014]第２の態様の実施形態によれば、パターン投影デバイスは、第１の時間インスタンスに、第１のパターン特性を有する第１のパターンを物体上に投影することと、第２の時間インスタンスに、第２のパターン特性を有する第２のパターンを物体上に投影することとにより、複数のパターンを投影するように構成され、ここにおいて、第１のパターン特性は、第２のパターン特性とは異なる。

【0015】

[0015]第２の態様の実施形態によれば、画像取込みデバイスは、第１の時間インスタンスに、第１のパターンを投影することに基づき、１つまたは複数の第１の画像を取り込むことと、第２の時間インスタンスに、第２のパターンを投影することに基づき、１つまたは複数の第２の画像を取り込むこととにより、複数の画像を取り込むように構成され、ここにおいて、制御システムは、１つまたは複数の第１の画像と１つまたは複数の第２の画像とを機械学習モデルに入力することにより、複数の画像を機械学習モデルに入力する。

【0016】

[0016]第２の態様の実施形態によれば、第１のパターンは水平パターンであり、また第２のパターンは垂直パターンである。

【0017】

[0017]第２の態様の実施形態によれば、第１のパターンは、第１の周波数値に関連付けられ、第２のパターンは、第１の周波数値とは異なる第２の周波数値に関連付けられる。

【0018】

[0018]第２の態様の実施形態によれば、制御システムは、バックエンドサーバから機械学習モデルを受け取るようにさらに構成され、ここにおいて、バックエンドサーバは、１つまたは複数の車両の表面上の塗装不良の取り込まれた画像に基づき、機械学習モデルを訓練する。

【0019】

[0019]第２の態様の実施形態によれば、制御システムは、バックエンドサーバから、一般的な物体検出機械学習モデルを受け取ることと、塗装不良の取り込まれた画像に基づき、機械学習モデルを生成するために、一般的な物体検出機械学習モデルを訓練することとを行うようにさらに構成される。

【0020】

[0020]第２の態様の実施形態によれば、機械学習モデルは、Ｍａｓｋ領域ベース畳み込みニューラルネットワーク（Ｍａｓｋ－ＲＣＮＮ）を備える。

【0021】

[0021]本開示の第３の態様は、記憶されたプロセッサ実行可能命令を有する非一時的なコンピュータ可読媒体を提供する。プロセッサ実行可能命令は、１つまたは複数のコントローラにより実行されたとき、物体の表面に複数の異なるパターン特性で複数のパターンを投影することと、複数のパターンを投影することに基づき、物体の複数の画像を取り込むことと、物体の表面が、１つまたは複数の塗装不良を含むかどうかを決定するために、物体の複数の画像を機械学習モデルに入力することと、複数の画像のうちのある画像が塗装不良を含むと決定したことに基づき、塗装不良を有する画像を表示させることとを促進する。

【0022】

[0022]第３の態様の実施形態によれば、複数のパターンを投影することは、第１の時間インスタンスに、第１のパターン特性を有する第１のパターンを物体上に投影することと、第２の時間インスタンスに、第２のパターン特性を有する第２のパターンを物体上に投影することとを備え、ここにおいて、第１のパターン特性は、第２のパターン特性とは異なる。

【0023】

[0023]本開示の実施形態は、例示的な図に基づいて以下でさらに詳細に述べられよう。本開示は、例示的な実施形態に限定されない。本明細書で述べられる、および／または示されるすべての特徴は、本開示の実施形態において、単独で、または異なる組合せで組み合わされて使用され得る。本開示の様々な実施形態の特徴および利点は、以下で示される添付図面を参照し、以下の詳細な記述を読むことにより明らかになるであろう。

【図面の簡単な説明】

【0024】

【図1】[0024]本開示の１つまたは複数の実施形態による、塗装不良を検出するために機械学習を使用する環境を示す簡単化されたブロック図。

【図2A】[0025]本開示の１つまたは複数の実施形態による、塗装不良を検出するための投影デバイスおよび画像取込みデバイスを用いることを示す図。

【図2B】本開示の１つまたは複数の実施形態による、塗装不良を検出するための投影デバイスおよび画像取込みデバイスを用いることを示す図。

【図2C】本開示の１つまたは複数の実施形態による、取得デバイスのモデルを用いることを示す図。

【図3】[0026]本開示の１つまたは複数の実施形態による、例示的な制御システムの概略図。

【図4】[0027]本開示の１つまたは複数の実施形態による、塗装不良を検出するために機械学習を使用するプロセスを示す図。

【図5A】[0028]本開示の１つまたは複数の実施形態による、物体の表面に投影された例示的なパターンの図。

【図5B】本開示の１つまたは複数の実施形態による、物体の表面に投影された例示的なパターンの図。

【図6A】[0029]本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6B】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6C】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6D】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6E】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6F】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6G】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6H】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6I】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6J】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6K】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【図6L】本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する、例示的に取り込まれた画像を示す図。

【発明を実施するための形態】

【0025】

[0030]最近、車両の塗装品質検査に対して、自動化された欠陥検出システムを開発することに対して大きな関心が持たれている。しかし、とりわけ、自動化されたシステムの１つの基本的な困難さは、適切な品質の画像を取得することであり、それは、通常、従来の方法によって達成され得ない（例えば、車／試験表面の高い反射係数のため、適切な照明条件を作ることは困難なプロセスである）。したがって、画像の取得および解析システムにおいて、異なる原理が展開され得る。ＰＭＤ法（ＰＭＤ：Phase Measuring Deflectometry）は、このような原理の中のものであり、それは、鏡面の地形的な情報が、構造化された光源の反射を解析することによって得られる。これは、試験表面から一定の距離に位置する液晶ディスプレイ（ＬＣＤ）画面上に、正弦波の干渉縞パターンをまず表示し、次いで、カメラの支援により反射されたパターンを取り込むことによって行われる。しかし、ＰＭＤだけを使用する自動化システムは、産業用の環境において、塗装不良を検出するには、なお十分ではない可能性がある。例えば、物体に対して１つのパターンを投影することは、いくつかのタイプの欠陥を示すことができるが、多くの他のタイプの欠陥を見落とすおそれがある。これらの不正確さは、物体検出の機械学習アルゴリズムが使用される場合、さらに悪化され得る。

【0026】

[0031]別の言い方をすると、自動車の塗装工程の自動化された品質検査は、最近大幅に関心がもたれ、このようなシステムが製品化されており、市場で見ることができる。欠陥識別のための現在の手法は、データセットと、適用される対応方法とに基づいて大まかに分類され得る。より明確には、画像は、標準のカメラを用いて、または構造化光源、もしくは干渉縞パターンを用いるなど、異なる原理を用いて取得される。物体上に１つのパターンを投影することは、塗装不良の多くを見逃すおそれがあるので、製造環境において従来手法で標準カメラを用いる画像取得が実行できないことは、すでに知られている。

【0027】

[0032]したがって、機械学習ベースの物体検出モデルは、用途が限られることが分かってきた。しかし、本開示は、物体の表面からの干渉縞パターンの反射で取得される画像を用いて述べるものであり、それは、様々な条件下で、表面を観察する可能性を提供する。したがって、これらの様々な干渉縞パターンの下で訓練された機械学習アルゴリズムは、様々な欠陥を識別し、位置を特定する優れた性能を有することができる。

【0028】

[0033]言い換えると、本開示は、広く使用されている従来のアルゴリズムとは大幅に異なる機械学習ベースの手法を提供する。例えば、従来のアルゴリズムは、例えば、位相マップの導関数における不連続性を考慮し、その後に、誤った警報を除くために、サイズ／ノイズフィルタ、表面曲率フィルタ、およびエッジフィルタなどのいくつかのフィルタを適用することにより不規則性を計算することを目的として、いくつかの位相シフトされた生成パターンを用いることに依存する。これらの従来のアルゴリズムは、欠陥をさらに分類するためのさらなるアルゴリズムがなお必要となり、さらに、これらの方法を実施するために、通常、あらゆる走査表面からの多数のサンプルを必要とする。

【0029】

[0034]しかし、本開示においては、欠陥を識別するための深層学習ベースの物体識別法およびシステムが述べられ、それは、画像取得に対して、位相シフトパターンを使用する。言い換えると、本明細書で述べられるように、取得された画像の品質を向上させるための方法およびシステムは、（例えば、異なるパターンおよび／または取得方法を用いることにより）構造化された光源を使用し、次いで、機械学習ベースの物体検出モデルを改良された取得画像に適用して、車両塗装工程における塗装不良を検出する。別の言い方をすると、本開示は、車両本体の塗装された表面からの反射光により取り込まれた取得画像上の塗装不良を識別し、位置を特定し、分類する。これは、一定の速度で、コストを向上させて達成され得る。コストは、学習モデルを構築するのに必要なデータ量に、または画像取得設定に関連付けられ得る。画像は、構造化された光源を用いて取得され得る。

【0030】

[0035]本開示による、機械学習を用いる塗装不良を検出する例示的な態様は、図で示された例示的な実施形態に関連して以下でさらに明らかにされる。例示的な実施形態は、本開示のいくつかの実施形態を示すが、本開示の範囲を限定することを意図するものではない。

【0031】

[0036]図面全体を通して、同一の参照番号は、必ずしも同一ではないが、同様の要素を指定する。図は、必ずしも尺度通りではなく、いくつかの部分のサイズは、示された例をより明確に示すために誇張されることもあり得る。さらに、図面は、記述と一致する例および／または実施形態を提供するが、本記述は、図面に提供される例および／または実施形態に限定されない。

【0032】

[0037]可能な場合、明示的にその他の形で述べられない限り、本明細書において単数形で述べられるいずれの用語も、逆も同様であるが、複数形も含むことが意味される。また本明細書で使用される場合、「１つの（ａ）」および／または「１つの（ａｎ）」という用語は、本明細書で「１つまたは複数の」という句も使用されるが、「１つまたは複数の」を意味するものとする。さらに、あるものが、他のものに「基づく」と本明細書で言われる場合、同様に、１つまたは複数の他のものに基づくことができる。言い換えると、明示的に他の形が示されない限り、本明細書で使用される「に基づく」は、「に少なくとも一部基づく」、または「に少なくとも部分的に基づく」を意味する。

【0033】

[0038]図１は、本開示の１つまたは複数の実施形態による、塗装不良を検出するために機械学習を使用する環境１００を示す簡単化されたブロック図を示す。

【0034】

[0039]図１を参照すると、環境１００は、機械学習（ＭＬ）／人工知能（ＡＩ）１０２と、企業コンピューティングシステム１０４と、ネットワーク１０６とを使用する塗装不良検出システムを含む。環境１００内のエンティティは、単数のエンティティとして以下で述べられ、および／または図で示され得るが、本明細書で論じられるエンティティおよび機能性は、１つまたは複数のエンティティにより実施され得る、および／または含まれ得ることを理解されたい。

【0035】

[0040]塗装不良検出システム１０２および企業コンピューティングシステム１０４などの、環境１００内のエンティティは、ネットワーク１０６を介して、環境１００内の他のシステムと通信することができる。ネットワーク１０６は、インターネット、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）などのグローバルエリアネットワーク（ＧＡＮ）、または任意の他のタイプのネットワークもしくはネットワークの組合せであり得る。ネットワーク１０６は、環境１００内のエンティティ間で、有線、ワイヤレス、または有線およびワイヤレス通信の組合せを提供することができる。さらに、および／または代替的に、塗装不良検出システム１０２および企業コンピューティングシステム１０４は、ネットワーク１０６を用いることなく、互いに通信することができる。例えば、塗装不良検出システム１０２は、企業コンピューティングシステム１０４と直接通信するために、ＷｉＦｉまたはＢＬＵＥＴＯＯＴＨ（登録商標）などの１つまたは複数の通信プロトコルを使用することができる。

【0036】

[0041]企業コンピューティングシステム１０４は、企業組織に関連付けられたコンピューティングシステムである。いくつかの例では、企業コンピューティングシステム１０４は、企業組織のためのバックエンドサーバである。企業組織は、商品を売ることによる、および／またはサービスを提供することによるなど、起業家的努力を追求するために形成された任意のタイプの法人、会社、組織、施設、または同様のものであり得る。

【0037】

[0042]企業コンピューティングシステム１０４は、企業組織に対するタスク、機能、および／または他のアクションを実施できる１つまたは複数のコンピューティングデバイス、コンピューティングプラットフォーム、システム、サーバ、および／または他の装置を含む。例えば、示されるように、企業コンピューティングシステム１０４は、塗装不良ＭＬ／ＡＩ訓練システム１０８を含む。訓練システム１０８は、物体上の塗装不良を検出するために、ＭＬおよび／またはＡＩモデル、データセット、および／またはアルゴリズムを訓練する。例えば、訓練システム１０８は、一般的な物体検出ＭＬ／ＡＩモデルもしくはデータセット（例えば、深層学習モデルもしくはデータセット）を取得し、取り込まれた画像における塗装不良を検出するために、このモデルもしくはデータセットを訓練することができる。塗装不良は、塗装された物体の表面に生ずる、または形成し得る任意の種類の欠陥であり得る。例えば、塗装不良は、粒子不良、色の悪い不良、および／または引っかき傷不良であり得る。引っかき傷不良は、塗料が物体に塗布された後に生ずる可能性のある塗装における引っかき傷であり得る。粒子不良は、塗料が物体に塗布されたとき、物体の表面にあるゴミ粒子などの粒子であり得、それは、塗料が、物体の表面にわたって不均一に塗布されるおそれがある。いくつかの例では、訓練システム１０８は、ＭＦ／ＡＩモデルもしくはデータセットを訓練するために、車両上の塗装不良の取り込まれた画像を使用することができる。言い換えると、ＭＬ／ＡＩモデルもしくはデータセットは、車両における塗装不良を検出するために訓練され得る。ＭＦ／ＡＩモデルもしくはデータセットを訓練した後、企業コンピューティングシステムは、訓練されたＭＦ／ＡＩモデルもしくはデータセットを塗装不良検出システム１０２に提供する。

【0038】

[0043]いくつかの変形形態では、企業コンピューティングシステム１０４は、１つまたは複数のコンピューティングプラットフォーム、デバイス、サービス、および／または装置を用いて実施され得る。他の変形形態では、企業コンピューティングシステム１０４は、エンジン、ソフトウェア機能、および／またはアプリケーションとして実施され得る。言い換えると、企業コンピューティングシステム１０４の機能性は、記憶装置（例えば、メモリ）に記憶され、１つまたは複数のプロセッサによって実行されるソフトウェア命令として実施され得る。

【0039】

[0044]塗装不良検出システム１０２は、制御システム１１０と、パターン投影デバイス１１４と、画像取込みデバイス１１８と、塗装された表面を有する物体１１６とを含む。制御システム１１０は、塗装不良を検出するための記憶されたＭＬ／ＡＩデータセット１１２（例えば、深層学習データセット）と、表示デバイス１２２とを含む。例えば、訓練されたＭＬ／ＡＩモデルもしくはデータセットを、企業コンピューティングシステム１０４から受け取った後、制御システム１１０は、メモリに、塗装不良を検出するための訓練されたＭＬ／ＡＩデータセット（例えば、深層学習データセット１１２など）を記憶することができる。

【0040】

[0045]制御システム１１０は、物体１１６上の塗装不良を検出するために、パターン投影デバイス１１４および画像取込みデバイス１１８と通信する。物体１１６は、任意のタイプの物体であり得、塗料が、物体１１６の表面に塗布され得る。いくつかの例では、物体１１６は車両であり、システム１０２は、車両製造システムである。例えば、製作工程中、車両は、一定の色で塗布され得る。制御システム１１０は、車両の塗布された表面上に欠陥があるかどうかを検出することができる。

【0041】

[0046]パターン投影デバイス１１４は、制御システム１１０が、物体１１６上に１つまたは複数の塗装不良があるかどうかを検出するために、物体１１６の表面に、複数のパターンを投影する。パターン投影デバイス１１４は、物体１１６上に、干渉縞パターンなどのパターンを生成する、または投影することのできる任意のタイプの投影、またはプロジェクタデバイスであり得る。図５Ａおよび図５Ｂは、本開示の１つまたは複数の実施形態による、物体１１６の表面に投影される例示的なパターンを示す。干渉縞パターン５０２～５０８は、異なるパターン特性を有する。例えば、図５Ａを参照すると、パターン投影デバイス１１４により物体１１６上に投影されたパターン５０２および５０４は、垂直な干渉縞パターンである。投影されたパターン５０２は、パターン５０４とは異なる周波数を有する。図５Ｂを参照すると、パターン５０６および５０８は、異なる周波数を有する水平パターンである。言い換えると、物体１１６上に投影されたパターンのそれぞれは、異なるパターン特性を有することができる（例えば、パターン５０２～５０８）。パターン特性は、これだけに限らないが、垂直パターン、水平パターン、対角線パターンであること、パターンに関連付けられた周波数を有すること、パターンに関連付けられた位相シフトを有すること、連続する投影パターン（マルチショット）であること、連続的に変化するパターン（シングルショット）であること、パターンに対してストライプの割出しを含むこと（シングルショット）、パターンに対して格子の割出しを含むこと（シングルショット）、上記で述べられた混成もしくは組合せ法、および／またはさらなるタイプの投影特性を含む。

【0042】

[0047]図１を参照すると、画像取込みデバイス（例えば、カメラ）１１８は、投影されたパターンの画像を取り込むことができる。画像取込みデバイスは、画像を取り込むことができる、および／またはビデオを録画できる任意のタイプのデバイスであり得る。例えば、パターン投影デバイス１１４は、投影されるパターン１２０（例えば、点線）を、物体１１６の表面に投影する。投影されたパターン１２０は、物体１１６の表面により反射され、画像取込みデバイス１１８の方向に送られる。画像取込みデバイス１１８は、投影されたパターン１２０の１つまたは複数の画像を取り込む。パターン投影デバイス１１４は、異なるパターン特性を有する複数のパターンを物体１１６上に投影することができ、画像取込みデバイス１１８は、その異なる特性を有する投影されたパターンの画像を取り込むことができる。画像取込みデバイス１１８は、取り込まれた画像を制御システム１１０に提供する。図２Ａおよび図２Ｂは、より詳細にこれを述べる。

【0043】

[0048]特に、図２Ａおよび図２Ｂは、本開示の１つまたは複数の実施形態による塗装不良を検出するための投影デバイス、画像取込みデバイス、および制御システムを用いて示されている。図２Ａを参照すると、制御システム１１０は、パターン投影デバイス１１４と、画像取込みデバイス１１８と通信状態にある。制御システム１１０からの１つまたは複数の命令に基づき、パターン投影デバイス１１４は、物体１１６の表面にパターン１２０を投影する。複数の線は、このパターンが干渉縞パターン（例えば、一定の周波数に設定された交互に明暗セクションを有するパターンなど）であることを示す。物体１１６の表面は塗装されており、パターン１２０は、表面から画像取込みデバイス１１８に反射される。画像取込みデバイス１１８は、物体１１６上のこのパターン１２０の画像を取り込み、その画像を制御システム１１０に送り返す。取り込まれた画像は、交互の明暗セクションを含む２０４として示されている。制御システム１１０は、物体１１６が塗装不良を有するかどうかを決定するために、ＭＬ／ＡＩデータセットを使用することができる。図２Ａでは、物体１１６上に塗装不良は存在しない。

【0044】

[0049]図２Ｂを参照すると、画像を取り込むために図２Ａと同じプロセスが使用される。しかし図２Ｂでは、制御システム１１０は、物体１１６が塗装不良２１４を有することを検出する。したがって、取り込まれた画像２１２は、この塗装不良２１４を示す。これは、以下でさらに詳細に説明される。

【0045】

[0050]さらに前述のように、単に１つのパターンを物体１１６に投影することは、いくつかのタイプの欠陥を示すことができるが、いくつかの例では、多くの他のタイプの欠陥を逃すおそれがある。したがって、図２Ａおよび図２Ｂを参照すると、第１のパターン１２０を投影し、第１の取り込まれた画像２０４および２１２を取得した後、パターン投影デバイス１１４は、第１のパターンとは異なる第２のパターンを物体１１６上に投影する。この第２のパターンは、前に述べたように、第１のパターンとは異なるパターン特性を有することができる。例えば、第１のパターンは、水平パターンとして示され、第２のパターンは、垂直パターンであり得る。制御システム１１０は、物体１１６が塗装不良（例えば、欠陥２１４など）を有するかどうかを決定するために、第１および第２のパターンの画像を、ＭＬ／ＡＩデータセットに入力することができる。

【0046】

[0051]図２Ｃは、本開示の１つまたは複数の実施形態による取得デバイス２２０のモデルを示す。取得デバイス２２０は、パターン投影デバイス１１４、画像取込みデバイス１１８、および／またはさらなるデバイス（例えば、パターンを生成し、および／または画像を取り込むために使用されるパターン生成プロセッサ／メモリ）を含むことができる。例えば、図２Ｃで示される取得デバイス２２０は、パターンが表示され得る液晶ディスプレイ（ＬＣＤ）画面２２２を含む。図示のように、画面２２２に表示されたパターンは、垂直パターンである。これらのパターンは、次いで、塗装不良が検査されるように、表面（例えば、物体１１６の表面）に反射される。取得デバイス２２０は、反射されたパターンを異なる角度で取り込むために使用され得る２つのカメラ２２４をさらに含む。取得デバイス２２０は、ロボットアーム２２６に接続され得るが、それは、物体１１６の表面の異なる部分を検査するために動き回る。言い換えると、ロボットアーム２２６は、物体１１６の様々な領域またはその部分の画像を取り込み、物体１１６の様々な領域が塗装不良を有するかどうかを決定するために、様々な位置に操作され得る。

【0047】

[0052]図１に戻ると、制御システム１１０は、物体１１６が、１つまたは複数の塗装不良（例えば、欠陥２１４）を有するかどうかを決定するために、取り込まれた画像を記憶されたＭＬ／ＡＩデータセット１１２に入力する。次いで、制御システム１１０は、塗装不良を有する画像を含む画像を表示させる。例えば、ＭＬ／ＡＩデータセット１１２を用いて、制御システム１１０は、物体１１６が塗装不良を有することを識別し、画像内の塗装不良の位置、および物体１１６上の塗装不良の位置を特定することができる。次いで、制御システム１１０は、物体１１６が塗装不良を有することを示す通知を提供することができる。例えば、制御システム１１０は、表示デバイス１２２を用いて、塗装不良を有する取り込まれた画像を表示することができる。

【0048】

[0053]いくつかの例では、制御システム１１０は、異なるパターン特性を用いてパターンを投影するために、１つまたは複数の命令をパターン投影デバイス１１４に提供することができる。例えば、制御システム１１０は、１つまたは複数のパターン特性（例えば、パターンに対する特定周波数など）を示すユーザ入力を受け取ることができる。制御システム１１０は、パターン投影デバイス１１４に、ユーザ入力に基づいてパターンを投影するように指示する命令を提供することができる。さらに、および／または代替的に、制御システム１１０は、物体１１６上に投影されたパターンの画像を取り込む命令を、画像取込みデバイス１１８に提供することができる。

【0049】

[0054]図１で示された例示的な環境は単なる例であること、および本明細書で論じられる原理はまた、例えば、施設、組織、デバイス、システム、およびネットワーク構成の他のタイプを含む、他の状況にも適用可能であることが理解されよう。

【0050】

[0055]図３は、本開示の１つまたは複数の実施形態による例示的な制御システム１１０の概略図である。図３で示される制御システムは、単なる例であり、環境１００からの制御システム１１０のさらなる／代替的な実施形態も本開示の範囲に含めて企図されることが理解されよう。

【0051】

[0056]制御システム１１０は、コントローラ３０２を含む。コントローラ３０２は、いずれかの特定のハードウェアに制約されず、コントローラの構成は、任意の種類のプログラミング（例えば、組み込まれたＬｉｎｕｘ（登録商標））もしくはハードウェア設計により、またはその両方の組合せにより実装され得る。例えば、コントローラ３０２は、述べられた制御動作を実施する対応するソフトウェアを備えた汎用プロセッサなど、単一のプロセッサにより形成され得る。他方で、コントローラ３０２は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタル信号プロセッサ）、または同様のものなど、専用ハードウェアにより実施され得る。

【0052】

[0057]コントローラ３０２は、メモリ３１２と電気的な通信状態にある。メモリ３１２は、これだけに限らないが、電子的、磁気的、光学的、電磁気的、赤外線、または半導体のコンピュータ可読媒体など、コンピュータで使用可能またはコンピュータ可読媒体であり得る、および／または含み得る。コンピュータ可読媒体のより具体的な例（例えば、非網羅的なリスト）は、以下のものを含むことができ、すなわち、１つまたは複数のワイヤを有する電気接続、可搬型のコンピュータディスケット、ハードディスク、時間依存のアクセスメモリ（ＲＡＭ）、ＲＯＭ、消去可能プログラム可能リードオンリーメモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）などの有形な媒体、または他の有形な光学的もしくは磁気的な記憶デバイスである。メモリ３１２は、コンピュータ可読命令３１６（コード、スクリプトなど）などの対応するソフトウェアを記憶することができる。コンピュータ命令３１６は、コントローラ３０２により実行されたとき、コントローラ３０２に、本明細書で述べられるように物体上の塗装不良を検出するように制御システム１１０を制御させる。メモリ３１２は、物体が１つまたは複数の塗装不良を有するかどうかを検出するために使用される記憶されたＭＬ／ＡＩデータセット１１２をさらに含むことができる。

【0053】

[0058]制御システム１１０は、様々な入力および出力を受信するおよび／または提供するための入力／出力（Ｉ／Ｏ）デバイス３１０を含むことができる。例えば、制御システム１１０は、Ｉ／Ｏデバイス３１０を介して、ユーザから外部通信を受信でき、また外部通信をユーザに送ることができる。Ｉ／Ｏデバイス３１０は、表示デバイス１２２をさらに含むことができる。表示デバイス１２２は、物体１１６の取り込まれた画像を表示することができる。さらに、Ｉ／Ｏデバイス３１０は、ユーザからの情報を提供する、および／または受信するために使用され得るユーザフィードバックインターフェースを含むことができる。例えば、ユーザは、ユーザフィードバックインターフェースを用いて、投影されたパターンに対する特定のパターン特性などのフィードバックを提供することができる。

【0054】

[0059]コントローラ３０２は、通信インターフェース３１４を用いて環境１００内の他のデバイスと通信することができる。例えば、コントローラ３０２は、企業コンピューティングシステム１０４から、訓練されたＭＬ／ＡＩデータセット１１２を受け取り、このデータセット１１２をメモリ３１２に記憶することができる。さらに、通信インターフェース３１４は、パターン投影デバイス１１４および／または画像取込みデバイス１１８と通信するために使用され得る。例えば、コントローラ３０２は、通信インターフェース３１４を介して、物体１１６の取り込まれた画像を受け取ることができる。

【0055】

[0060]言い換えると、いくつかの例では、画像取込みデバイス１１８および／またはパターン投影デバイス１１４は、ネットワーク１０６を介することを含めて、制御システム１１０および／またはコントローラ３０２とワイヤレス通信することができる。しかし、他の例では、画像取込みデバイス１１８および／またはパターン投影デバイス１１４は、制御システム１１０および／またはコントローラ３０２に（例えば、有線接続により）直接接続され得る。したがって、コントローラ３０２は、画像取込みデバイス１１８および／またはパターン投影デバイス１１４と通信するために通信インターフェース３１４を必要としない可能性もある。

【0056】

[0061]いくつかの例では、画像取込みデバイス１１８および／またはパターン投影デバイス１１４は、制御システム１１０内に含まれ得る。しかし、図１で示され、上記で述べられるように、それらはまた、制御システム１１０から分離することもできる。

【0057】

[0062]図４は、本開示の１つまたは複数の実施形態による、塗装不良を検出するために、機械学習を用いるプロセス４００を示す。プロセス４００は、塗装不良検出システム１０２、制御システム１１０、および／または図３で示されるコントローラ３０２により実施され得る。しかし、以下のブロックのいずれも、任意の適切な順序で実施され得ること、およびプロセス４００は、任意の適切な環境において、また任意の適切なコントローラもしくはプロセッサにより実施され得ることが認識されよう。

【0058】

[0063]ブロック４０２において、塗装不良検出システム１０２（例えば、パターン投影デバイス１１４）は、複数の異なるパターン特性で、複数のパターンを物体（例えば、物体１１６）の表面に投影する。例えば、塗料が、物体１１６（例えば、車両）に塗布された後、塗装不良検出システム１０２は、物体１１６の表面に１つまたは複数の塗装不良（例えば、引っかき傷および／または粒子欠陥など）が存在するかどうかを決定することができる。これを行うために、パターン投影デバイス１１４は、異なるパターン特性を有する複数の異なるパターン（例えば、異なる周波数および／または垂直／水平パターンを有するパターン５０２～５０８）を物体１１６に投影することができる。

【0059】

[0064]いくつかの例では、制御システム１１０は、パターン投影デバイス１１４がパターンを物体１１６上に投影するように、パターン投影デバイス１１４に命令を与えることができる。さらに、および／または代替的に、物体１１６上に投影されるパターンは、事前設定される、および／またはユーザ定義され得る。例えば、いくつかの変形形態では、制御システム１１０は、物体１１６に投影するべき特定パターンを示すユーザ入力（例えば、パターンは、様々な異なる周波数の複数の垂直パターンにすべきであると指示するユーザ入力）を受け取り、ユーザ入力を示す命令をパターン投影デバイス１１４に与えることができる。パターン投影デバイス１１４は、パターン（例えば、干渉縞パターン）を物体１１６上に投影することができる。

【0060】

[0065]ブロック４０４において、塗装不良検出システム１０２（例えば、画像取込みデバイス１１８）は、複数のパターンの投影に基づき、物体１１６の複数の画像を取り込む。例えば、画像取込みデバイス１１８は、物体１１６の表面に投影されたパターンの画像を取り込むことができる。取り込まれた画像は、物体１１６が塗装不良を有するかどうかを決定するために使用され得る。

【0061】

[0066]いくつかの例では、制御システム１１０は、画像取込みデバイス１１８が、物体１１６上に投影されたパターンの画像を取り込むように、画像取込みデバイス１１８に命令を与えることができる。例えば、命令は、画像取込みデバイス１１８が、投影されたパターンのそれぞれに対していくつかの画像（例えば、１つの画像または複数の画像）を取り込むように指示することができる。

【0062】

[0067]ブロック４０６において、塗装不良検出システム１０２（例えば、制御システム１１０および／またはコントローラ３０２）は、物体１１６の表面が１つまたは複数の塗装不良を含むかどうかを決定するために、物体１１６の複数の画像を機械学習データセットに入力する。例えば、画像取込みデバイス１１８から、取り込まれた画像を受け取った後、コントローラ３０２は、メモリ３１２から記憶されたＭＬ／ＡＩデータセット１１２を取り出すことができる。次いで、コントローラ３０２は、取り込まれた画像をＭＬ／ＡＩデータセット１１２に入力して生成し、および／または物体１１６が塗装不良を含むかどうかを決定することができる。例えば、ＭＬ／ＡＩデータセット１１２の出力は、物体１１６上の塗装不良の指示であり得る、および／またはそれを含み得る。指示は、物体１１６上の、および／または取り込まれた画像上の塗装不良の位置を含むことができる。いくつかの例では、指示はまた、塗装不良に関連付けられた精度または信頼値（例えば、ＭＬ／ＡＩデータセット１１２により検出された塗装不良が実際に塗装不良である可能性など）を示すことができる。図６Ａから図６Ｌは、これをより詳細に述べる。

【0063】

[0068]図６Ａから図６Ｌは、本開示の１つまたは複数の実施形態による、機械学習を用いて検出された塗装不良を有する例示的な取込み画像６０２～６２４を示す。例えば、画像６０２～６２４のそれぞれは、パターン１２０がパターン投影デバイス１１４により投影された後、画像取込みデバイス１１８により取り込まれ得る。これらの画像６０２～６２４のそれぞれは、白い囲みおよび参照番号６２６により示された塗装不良も含む。これらの画像はまた「ｐａｒｔｉｃｌｅ（粒子）」という文字と、数字とを示す。数字は、検出された塗装不良６２６に関連付けられた信頼値または確率値を指す。例えば、図６Ｆは、物体上に投影された（図５Ａからのパターン５０２に類似した）パターンを示す。このパターンにおける歪みは、物体１１６の輪郭／エッジによって生じたものであり得る。例えば、物体１１６は、車両であり得、取り込まれた画像は、車両のドアのものであり得る。このドアのフレームは、パターン内で示された歪を生ずる可能性がある。さらに、図６Ｆは、画像内に塗装不良６２６を示しており、それはまた、塗装不良６２６の位置を示す。塗装不良６２６の隣に、数字「１．０００」を有する「ｐａｒｔｉｃｌｅ」の文字がある。数字「１．０００」は、検出された塗装不良６２６が実際に塗装不良である確率値（例えば、塗装不良６２６が実際に塗装不良である、コントローラ３０２により決定された１００％の確率）を示す。図６Ｂでは、数字は「０．９９９」であり、それは、図６Ｂで検出された塗装不良６２６の確率値が、実際には９９．９％の塗装不良であることを示す。さらにコントローラ３０２は、ＭＬ／ＡＩデータセット１１２および／または位置特定を用いて、画像内の塗装不良６２６の位置に基づき、塗装不良６２６が位置する実際の物体の位置を決定することができる。言い換えると、コントローラ３０２は、ＭＬ／ＡＩデータセット１１２を用いて、画像内に塗装不良（例えば、欠陥６２６）が存在するかどうか、検出された欠陥が実際に欠陥である確率、ならびに画像内の、および物体１１６それ自体上の塗装不良の位置を決定することができる。

【0064】

[0069]塗装不良を検出するために、塗装不良検出システム１０２によって使用されるＭＬ／ＡＩデータセット１１２は、教師あり学習データセット、教師なし学習データセット、および／または深層学習データセットなど、任意のタイプの物体検出ＭＬまたはＡＩデータセット（例えば、ＭＬ／ＡＩアルゴリズム、および／またはモデル）であり得る。例えば、いくつかの変形形態では、ＭＬ／ＡＩデータセット１１２は、層のそれぞれが、生物学的な脳におけるニューロンを概略的にモデル化する複数のノードを含む、複数の層を含む深層学習データセット（例えば、１つまたは複数のニューラルネットワーク）であり得る。ノードのそれぞれは、エッジなどのコネクタを介して、後続する層におけるノードに接続される。エッジは、通常、接続の強度、または新しいノードへのノード遷移の可能性を示すウェイトに関連付けられる。例えば、使用され得る簡単なニューラルネットワークにおいて、第１の層（例えば、ボトム層）は、３つのノードを含む。これらのノードのそれぞれは、５個のエッジを有し、これらのエッジのそれぞれは、第１の層からのノードを第２の層（例えば、ボトム層からの第２のもの）の異なるノードに接続する。これらの５個のエッジのそれぞれは、第１の層からのノードと、第２の層からのノードとの間の接続の強度を示すウェイト値に関連付けられる。ＭＬ／ＡＩデータセット１１２は、上記で述べたように、簡単なニューラルネットワークを含み／であり得る、またはそれは、異なってリンクされる複数のニューラルネットワークを備えるデータセット１１２を含むより複雑なニューラルネットワークであり得る。塗装不良を検出するために、複数のニューラルネットワーク（例えば、Ｍａｓｋ領域ベース畳み込みニューラルネットワーク）を用いる例示的なＭＬ／ＡＩデータセット１１２を使用することは、以下で述べられる。

【0065】

[0070]最初に、ＭＬ／ＡＩデータセット１１２は、一般的な物体検出ＭＬ／ＡＩデータセット（例えば、一般的な、および／または未訓練のウェイト値を有するデータセット）であり得る。企業コンピューティングシステム１０４の塗装不良ＭＬ／ＡＩ訓練システム１０８は、訓練データを用いて、一般的な物体ＭＬ／ＡＩデータセットを訓練することができる。例えば、訓練データは、塗装不良を含む画像を含むことができる。いくつかの例では、これらの画像は、塗装不良を有する車両のものであり得る。訓練システム１０８は、訓練データ（例えば、画像）をＭＬ／ＡＩデータセットに送り込み、それに従って、画像が塗装不良を有する場合、ＭＬ／ＡＩデータセットが正確に決定するかどうか、および／または画像内もしくは物体上の塗装不良の位置を正確に決定するかどうかに基づいて、ウェイト値を調整することができる。いくつかの例では、訓練システム１０８は、ＭＬ／ＡＩデータセットを訓練するために１つまたは複数の損失関数を使用することができる。訓練の完了後（例えば、精度閾値に達するＭＬ／ＡＩデータセットに基づいて）、企業ネットワーク１０４は、ネットワークを介して訓練されたＭＬ／ＡＩデータセット１１２を塗装不良検出システム１０２に提供することができる。次いで前に説明したように、塗装不良検出システム１０２は、訓練されたＭＬ／ＡＩデータセット１１２を使用して、物体１１６が１つまたは複数の塗装不良を有するかどうかを検出することができる。

【0066】

[0071]いくつかの例では、訓練システム１０８は、ＭＬ／ＡＩデータセット１１２を訓練するために転移学習を使用することができる。いくつかの例では、塗装不良検出システム１０２は、ＭＬ／ＡＩデータセット１１２の訓練のいくつか、またはすべてを実施することができる。例えば、企業コンピューティングシステム１０４は、一般的なＭＬ／ＡＩデータセットを、塗装不良検出システム１０２に転移することができ、塗装不良検出システム１０２は、訓練データを用いてＭＬ／ＡＩデータセットを訓練することができる。いくつかの変形形態では、企業コンピューティングシステム１０４は、ＭＬ／ＡＩデータセットを訓練し、訓練されたＭＬ／ＡＩデータセットを塗装不良検出システム１０２に送る。塗装不良検出システム１０２は、画像取込みデバイス１１８からの新しく取り込まれた画像を用いて、受け取られたＭＬ／ＡＩデータセットを連続的に訓練し、更新することができる。言い換えると、ＭＬ／ＡＩデータセットが訓練システム１０８によって訓練された後であっても、塗装不良検出システム１０２はなお、新しく取り込まれた画像を用いてＭＬ／ＡＩデータセット１１２を訓練し、更新し続けることができる（例えば、ＭＬ／ＡＩデータセット１１２のウェイトを更新する）。

【0067】

[0072]ブロック４０８において、塗装不良検出システム１０２（例えば、コントローラ３０２）は、複数の画像のうちのある画像が塗装不良を含むと決定したことに基づいて、塗装不良を有する画像を表示させる。例えば、物体１１６の１つまたは複数の取り込まれた画像が塗装不良を有すると決定した後、コントローラ３０２は、その画像を表示デバイス１２２および／または別の表示デバイスに表示させる。表示された画像は、図６Ａから図６Ｌの画像６０２～６２４と同様のものであり得る。例えば、表示される画像は、識別された塗装不良（例えば、欠陥６２６）を含むことができる。

【0068】

[0073]以下では、ブロック４０６を含むプロセス４００と、塗装不良を検出するために使用される特定の例示的なＭＬ／ＡＩデータセット１１２を含むＭＬ／ＡＩデータセット１１２との例示的な実施形態をより詳細に述べる。特に、欠陥検出のための既存のソリューションは、通常、考慮下の特定の用途に対して、画像から事前定義の特徴を抽出し、その後にテンプレートマッチングプロセスを行うなど、調整されたソリューションを使用する。しかしこれは、視覚システムに対して、特に物体検出およびセグメント化問題に対して、機械学習アルゴリズムを使用することを考慮すると、必ずしも必要ではない可能性がある。とりわけ、ＭＬ／ＡＩデータセット１１２は、Ｆａｓｔｅｒ領域ベース畳み込みニューラルネットワーク（Ｆａｓｔｅｒ－ＲＣＮＮ）と、Ｍａｓｋ領域ベース畳み込みニューラルネットワーク（Ｍａｓｋ－ＲＣＮＮ）と、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）（一度見るだけでよい）ネットワークと、シングルショット検出器（ＳＳＤ）ネットワークとであってもよい、および／またはそれらを含んでもよい。Ｍａｓｋ－ＲＣＮＮは、塗装不良を検出するために使用される特定のＭＬ／ＡＩデータセット１１２として、以下でさらに詳細に述べられる。しかし、大量のデータセットに対して事前に訓練されたネットワークを使用する能力に、したがって、豊富に学習した特徴セットの可用性に起因して、特化された欠陥検出問題に対するこれらのネットワークの訓練は、適切な量の精度を達成するために、大幅な量のサンプルを必要としないことが強調される。

【0069】

[0074]自動化された塗装不良検査のソリューションは、欠陥を検出するのに非常に高い精度（例えば、９９％以上）を達成することが必要とされ、したがって、深層学習ベースの塗装不良検出／セグメント化アルゴリズムを使用することができ、その標準の評価基準における性能は、とりわけ比較可能であり、良好である。

【0070】

[0075]製造ライン（例えば、車両製作／生産ライン）に統合され得るターンキーソリューションを証するために、マニピュレータおよびコントローラ、カメラおよび照明装置、ならびに欠陥検査を実施するためのソフトウェアも提供することが必要になり得る。マニピュレータおよびコントローラ以外に、有効な画像取得のためのいくつかの課題（カメラ、照明、拡大／縮小すること、および同様のもの）と、機械学習アルゴリズムの性能とは、大きな相互関係があり、それは上記で述べられている（例えば、これを解決するために、塗装不良検出システム１０２は、複数のパターンを物体１１６上に投影することができる）。いくつかの例では、不十分な照明または複雑な背景の場合、非常に光源に依存する従来の視覚的な検出方法と機械学習ベースモデルとは共に、検出精度について悩まされる可能性がある。

【0071】

[0076]Ｍａｓｋ－ＲＣＮＮアルゴリズムを用いることに関して、このネットワークは、高精度検出に加えて、セグメント化機能も提供するＦａｓｔｅｒ－ＲＣＮＮの一般化であり得る（例えば、識別された塗装不良に対してマスクを生成する）。他のＲＣＮＮ（領域畳み込みニューラルネットワーク）ベースの塗装不良検出アルゴリズムと同様に、Ｍａｓｋ－ＲＣＮＮは、２つのステップを含むことができる。最初のステップでは、いずれが塗装不良を含む可能性のあるエリアであるかについてのいくつかの提案／決定が生成され、それに、分類と、マスクと、バウンディングマスク生成とが加えられる。

【0072】

[0077]Ｍａｓｋ－ＲＣＮＮネットワークは、いくつかの層からなり、基本的な低レベルの特徴抽出領域は、残差ニューラルネットワーク（ＲｅｓＮｅｔ）アーキテクチャに基づく。特徴抽出層は、訓練データからの１組の連続するフィルタを学習することから想起され得るが、それは、画像に適用されたとき、豊富な組の情報を生成することができる。言い換えると、ＲｅｓＮｅｔアーキテクチャは、複数の取り込まれた画像から、複数の特徴（例えば、物体の表面からのエッジ、欠陥、および／または画像からの他の識別可能な特徴）を抽出するために、コントローラ３０２により使用される。

【0073】

[0078]特徴抽出層は、特徴ピラミッドネットワーク（ＦＰＮ）と呼ばれる層からさらに改良される。候補となる関心領域は、領域提案ネットワーク（ＲＰＮ）と呼ばれる層によって次に決定され、それは、本質的に、塗装不良を含む可能性のあるエリアに対して画像を走査する。これらのエリアは、アンカーと呼ばれ、そのサイズは、訓練中に設定され、またそれらは、前のステップにより抽出された特徴に対して生成される。ＲＰＮの本質的な特徴は、元の画像に代えてバックボーン特徴マップを走査することであり、それは冗長なステップを低減する。

【0074】

[0079]あらゆるアンカーに対して、ＲＰＮは２つの出力、すなわち、アンカークラスとバウンディングボックス改良とを生成し、それは、第１に、塗装不良がボックス内に存在するかどうかを表し、第２に、塗装不良の位置の改良推定を提供する。多くのアンカーが生成されるので、ＲＰＮ予測は、考慮すべきアンカーの数を低減することに役立つ。この設定は、関心領域（ＲＯＩ）と呼ばれ、それは、次のステップに提供されて、各ＲＯＩに対して２つの出力を、すなわち、ボックスに対するクラス予測と別の回帰とを生成する。ＲＯＩ上で動作されるこのステップにおいて、２つのさらなる予測が生成され、すなわち、ＲＯＩにおける特徴のクラス（例えば、そのクラスは、特徴が塗装不良であることを示すことができる）、および塗装不良の位置を決定するために使用されるボックス（例えば、４つの座標）である。

【0075】

[0080]言い換えると、ＦＰＮおよびＲＰＮは、ＲｅｓＮｅｔアーキテクチャの出力から識別された特徴のいずれかが塗装不良であるかどうかを決定するために、コントローラ３０２により使用される。さらにＦＰＮとＲＰＮとを使用することにより、コントローラ３０２は、塗装不良の場所または位置識別子（例えば、４つの座標を有するボックス）を出力することができる。

【0076】

[0081]塗装不良のクラスおよび位置が決定されると、最終ステップは、セグメント化マスクであり、それは、単に、ＲＯＩ分類器により選択された領域に働くさらなる畳み込みニューラルネットワークである。ネットワークは、ＲＯＩにおける各塗装不良に対してマスクを生成する。言い換えると、コントローラ３０２は、画像内のボックス／塗装不良のピクセルごとの位置を決定するために、セグメント化マスクを使用する。

【0077】

[0082]アンカースケールおよび入力画像寸法から、ネットワークのより微妙なパラメータ（層サイズなど）にわたるいくつかのパラメータが、上記のアルゴリズムにおいて、および先立って選択された最適化アルゴリズムにおいて存在することが明らかになるはずである。

【0078】

[0083]セグメント化タスクは、クラス値を予測することと、ボックスを物体の周囲で回帰させることと、最後に物体の周囲にピクセルごとのマスクを適合させることとを含む。したがって、最小化すべき損失関数（Ｌ_lot）は、

【0079】

【数1】

【0080】

として定義されるマルチタスク損失である。

【0081】

[0084]分類およびバウンディングボックス回帰損失は、単に、Ｆａｓｔｅｒ－ＲＣＮＮアルゴリズムに従う、すなわち、

【0082】

【数2】

【0083】

である。

【0084】

[0085]式（２）において、ｉは、ミニバッチにおけるアンカーのインデックスを示しており、またｐ_iは、アンカーｉが塗装不良である予測される確率であり、

【0085】

【数3】

【0086】

は、正解レベルを示し、アンカーが正（塗装不良を含む）の場合１の値、そうではない場合０の値を取る。分類損失（ｌ_cls）は、２つのクラスにわたる２値の交差エントロピー損失（塗装不良に対する非塗装不良）として定義され、一方、回帰損失は、

【0087】

【数4】

【0088】

として定義され、ここで、Ｒはロバストな損失関数である。この関数において、ｔ_iは、予測されるバウンディングボックスの４つのパラメータ化された座標を表すベクトルであり、

【0089】

【数5】

【0090】

は、正のアンカーに関連付けられた正解である。分類および回帰損失は、２つのパラメータＮ_clsとＮ_regにより正規化され、最終コストは、バランスパラメータλによって重み付けられる。これらのパラメータは、最小バッチのサイズと、アンカーの数と、それらの比とに依存する。最後に、マスク損失Ｌ_maskを定義するために、まず、各ＲｏＩに対して、Ｍａｓｋ－ＲＣＮＮのマスクブランチは、ｋ_m ²の次元出力を有し、ここでｋは、クラスの数であり、またｍは、２値マスク（ｍ×ｍ）の解像度であることに留意されたい。この出力に対して、シグモイド関数（ｆ（ｘ）＝１／（１＋ｅ^-x））がピクセルごとに適用される。Ｌ_mask対する最終的なコストは、次いで、平均的な２値交差エントロピー損失として定義される。最後に、正解クラスｋに関連付けられたＲｏＩに対して、Ｌ_maskが、ｋ番目のマスクに定義される（他のマスク出力は、損失に寄与しない）。

【0091】

[0086]物体検出アルゴリズムに対する最も典型的な性能メトリックは、様々なユニオン交差（ＩｏＵ）閾値を有するいわゆる平均した平均適合率（ｍＡＰ）である。ＩｏＵは、この文脈では、正解バウンディングボックスと予測されたバウンディングボックスとの間の重複を測定することを指す、２つのバウンディングボックスの間の重複を測定する。Ｂ_gおよびＢ_pをこのような２つのボックスとする。ＩｏＵ測定は、

【0092】

【数6】

【0093】

により計算することができる。ＩＯＵを用いると、検出が真陽性（ＴＰ）、または偽陽性（ＦＰ）であるかを伝えることが可能である。より明示的には、ＴＰは、ＩｏＵ≧閾値により、その他の場合はＦＰであると定義され、閾値は、メトリックに応じて設定される。ｍＡＰメトリックは、最終的に、適合率－再現率グラフ下でエリアを検討することにより計算される。

【0094】

[0087]上記で説明されたように、自動化された欠陥検出に対する基本的な問題は、様々な環境条件下における画像の良好な品質の可用性である。実際に、欠陥分類に対する上記のアルゴリズムの性能は、取得された画像の品質に依存し得る。この困難さを克服するために、上記では、パターン化された光源を使用することを述べており、検査される表面は、反射されたパターンに基づいて解析される。これらのパターンは、異なる周波数を有する正弦波信号であり得、それは、垂直と水平の両方で生成される。これは、図５Ａおよび図５Ｂで示され、上記で述べられている。

【0095】

[0088]走査された表面からのいくつかの反射サンプルが蓄積されると、上記で述べられた塗装不良検出アルゴリズムは、欠陥識別のためにこれらのサンプルを解析する。その欠陥は、これらのサンプル（例えば、取り込まれた画像）のすべてにおいて見ることはできないが、それらは、その少なくともいくつかで視認できる可能性がある。

【0096】

[0089]前述のように、物体検出アルゴリズムの性能に対する標準の測定基準は、ｍＡＰスコアである。この性能は、疑陽性の検出能力および最小化に対してさらに焦点が当てられている。いくつかの結果は以下のようになり、すなわち、図６Ａから図６Ｌで提示された結果は、ＭＬ／ＡＩデータセット１１２を訓練することによって得られており、２つのタイプの欠陥（粒子および引っかき傷）の検出において、高レベルの精度を達成することができた。

【0097】

[0090]本発明の実施形態は、諸図面および前の記述において詳細に示され、述べられてきたが、このような例および記述は、説明的または例示的なものであり、限定するものと考えるべきではない。変更および修正は、添付の特許請求の範囲内で、当業者により行えることが理解されよう。特に本発明は、上記で、また以下で述べられる異なる実施形態からの特徴の任意の組合せを用いたさらなる実施形態を含む。例えば、運動学的、制御的、電気的、取付け、およびユーザインターフェースサブシステムの様々な実施形態が、本発明の範囲から逸脱することなく、相互に交換可能に使用され得る。加えて、本明細書で行われる本発明を特徴付ける記述は、本発明の実施形態に言及し、必ずしもすべての実施形態に言及するものではない。

【0098】

[0091]特許請求の範囲で使用される用語は、前の記述と一致する最も広い合理的な説明を有すると解釈されるべきである。例えば、要素の導入において、「１つの（ａ）」または「その（ｔｈｅ）」という冠詞を使用することは、複数の要素を除外するものと解釈されるべきではない。同様に、「または」を記載することは、包含的なものであると解釈されるべきであり、したがって、「ＡまたはＢ」の記載は、ＡおよびＢの一方だけが意図されていることが、文脈または前の記述から明らかでない限り、「ＡおよびＢ」を除外しない。さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の記載は、Ａ、Ｂ、およびＣからなる１群の要素の１つまたは複数のものとして解釈されるべきであり、Ａ、Ｂ、およびＣがカテゴリとして、またはその他の形で関連するかどうかにかかわらず、列挙された要素Ａ、Ｂ、およびＣのそれぞれのうちの少なくとも１つを必要とすると解釈されるべきではない。さらに、「Ａ、Ｂ、および／またはＣ」、または「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の記載は、例えば、Ａの、列挙された要素からの任意の単数エンティティを、例えば、ＡおよびＢの、列挙された要素からの任意のサブセットを、または要素Ａ、Ｂ、およびＣの全体リストを含むものとして解釈されるべきである。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】

【図6G】

【図6H】

【図6I】

【図6J】

【図6K】

【図6L】

【国際調査報告】