特許 7582130 検査方法および検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】検査方法および検査装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20241106BHJP

   G06T 7/00 20170101ALI20241106BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610B

【請求項の数】 9

(21)【出願番号】P 2021143985

(22)【出願日】2021-09-03

(65)【公開番号】P2023037322

(43)【公開日】2023-03-15

【審査請求日】2023-10-26

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】松田 智裕

【審査官】横尾 雅一

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０２３６７７２（ＵＳ，Ａ１）

【文献】特開２０２０－０４２７５４（ＪＰ，Ａ）

【文献】特開２０２０－１９０９５６（ＪＰ，Ａ）

【文献】特開２０１３－０３３０６１（ＪＰ，Ａ）

【文献】特開２０１４－０４４０６３（ＪＰ，Ａ）

【文献】特開２０１６－０８０６８６（ＪＰ，Ａ）

【文献】特開２０２０－１０６２９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／００ － Ｇ０６Ｎ ９９／００

Ｇ０６Ｆ １８／００ － Ｇ０６Ｆ １８／４０

(57)【特許請求の範囲】

【請求項1】

検査方法であって、
第一製造工程で処理された検査対象の予め定められた検査範囲から暫定不良範囲を抽出する第一検査工程と、
前記第一製造工程よりも後の第二製造工程で処理された前記検査対象の前記暫定不良範囲を検査する第二検査工程と、を備え、
前記第一検査工程は、
前記第一製造工程で処理された前記検査対象に関して予め得られた検査用データに対して第一学習モデルを用いて前記検査対象の箇所ごとに不良確率を算出し、
算出した前記不良確率が予め定められた第一閾値以上の箇所を含む範囲を、前記暫定不良範囲として抽出し、
算出した前記不良確率が前記第一閾値よりも高い第二閾値以上である箇所が存在する場合には、前記検査対象に不良ありと判定し、
前記予め定められた検査範囲のいずれの箇所も前記不良確率が前記第一閾値未満である場合には、前記検査対象に不良なしと判定することを備え、
前記第二検査工程は、前記暫定不良範囲に対して第二学習モデルを用いて検査することを備える、
検査方法。

【請求項2】

請求項１に記載の検査方法であって、
前記第一検査工程は、算出した前記不良確率が前記第一閾値以上、かつ前記第二閾値未満の箇所を含む範囲を、前記暫定不良範囲として抽出することを備える、
検査方法。

【請求項3】

請求項１または請求項２に記載の検査方法であって、
前記第一学習モデルは、検査精度よりも処理速度を優先する学習モデルであり、
前記第二学習モデルは、処理速度よりも検査精度を優先する学習モデルである、
検査方法。

【請求項4】

請求項１から請求項３までのいずれか一項に記載の検査方法であって、
前記第一学習モデルの処理速度は、前記第二学習モデルの処理速度よりも速い、
検査方法。

【請求項5】

請求項４に記載の検査方法であって、
前記第一学習モデルは、ＳＳＤを用いたモデルであり、前記第二学習モデルは、Ｒ－ＣＮＮを用いたモデルである、
検査方法。

【請求項6】

検査方法であって、
第一製造工程で処理された検査対象の予め定められた検査範囲から暫定不良範囲を抽出する第一検査工程と、
前記第一製造工程よりも後の第二製造工程で処理された前記検査対象の前記暫定不良範囲を検査する第二検査工程と、を備え、
前記第一検査工程は、前記予め定められた検査範囲に対して第一学習モデルを用いて前記暫定不良範囲を抽出することを備え、
前記第二検査工程は、抽出された前記暫定不良範囲のデータ量が予め定められた基準値よりも小さい場合には、前記暫定不良範囲に対して第二学習モデルを用いて検査し、さらに、前記暫定不良範囲以外の範囲に対して、前記第二学習モデルよりも処理速度が速い第三学習モデルを用いて検査することを備える、
検査方法。

【請求項7】

前記第三学習モデルは、ＳＳＤを用いたモデルである、請求項６に記載の検査方法。

【請求項8】

請求項１から請求項７までのいずれか一項に記載の検査方法であって、
前記検査対象は、鋳造品であり、
前記第一検査工程および前記第二検査工程は、前記鋳造品を撮像した画像データを用いて検査することを備える、
検査方法。

【請求項9】

検査装置であって、
第一製造工程で処理された検査対象の予め定められた検査範囲から暫定不良範囲を抽出する第一判定部と、
前記第一製造工程で処理された前記検査対象に関して予め得られた検査用データに対して第一学習モデルを用いて前記検査対象の箇所ごとに不良確率を算出する第一検査部と、
前記第一製造工程よりも後の第二製造工程で処理された前記検査対象の前記暫定不良範囲に対して第二学習モデルを用いて検査する第二検査部と、を備え、
前記第一判定部は、
算出された前記不良確率が予め定められた第一閾値以上の箇所を含む範囲を、前記暫定不良範囲として抽出し、
算出された前記不良確率が前記第一閾値よりも高い第二閾値以上である箇所が存在する場合には、前記検査対象に不良ありと判定し、
前記予め定められた検査範囲のいずれの箇所も前記不良確率が前記第一閾値未満である場合には、前記検査対象に不良なしと判定することを備える、
検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、検査方法および検査装置に関する。

【背景技術】

【0002】

学習モデルを用いた検査方法が知られている（例えば、特許文献１）。この検査方法では、学習モデルを用いた深層学習により、基準データを印刷物の条件に応じた比較用基準データへと変換し、比較用基準データと、検査対象としての印刷物を撮像した撮像データを用いて生成された比較用撮像データとを比較して、印刷物の良否を判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１８６９３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

検査対象が共通する複数の検査工程において、検査時間と、検査精度とのバランスの改善が求められていた。この問題は、学習モデルを用いた検査に限らず、任意の種類の検査において共通する問題であった。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

（１）本開示の一形態によれば、検査方法が提供される。この検査方法は、第一製造工程で処理された検査対象の予め定められた検査範囲から暫定不良範囲を抽出する第一検査工程と、前記第一製造工程よりも後の第二製造工程で処理された前記検査対象の前記暫定不良範囲を検査する第二検査工程と、を備える。
この形態の検査方法によれば、第二検査工程での検査範囲を、第一検査工程で抽出した暫定不良範囲に絞ることにより、第二検査工程の検査数を低減することができる。したがって、第二検査工程のタクトタイムの短縮、もしくは、第二検査工程の処理時間を維持しつつ検査精度を向上することができる。この結果、第一検査工程ならびに第二検査工程に亘る複数の検査工程において、検査時間と、検査精度とのバランスを改善することができる。
（２）上記形態の検査方法において、前記第一検査工程は、前記予め定められた検査範囲に対して第一学習モデルを用いて前記暫定不良範囲を抽出することを備えてよい。前記第二検査工程は、前記暫定不良範囲に対して第二学習モデルを用いて検査することを備えてよい。
この形態の検査方法によれば、学習モデルを利用した複数の検査工程において、検査時間と、検査精度とのバランスを改善することができる。
（３）上記形態の検査方法において、前記第一製造工程で処理された前記検査対象に関して予め得られた検査用データに対して前記第一学習モデルを用いて前記検査対象の箇所ごとに不良確率を算出し、算出した前記不良確率が予め定められた第一閾値以上の箇所を含む範囲を、前記暫定不良範囲として抽出することを備えてよい。
この形態の検査方法によれば、第一検査工程の検査結果を利用して、第二検査工程での検査範囲を絞ることができる。
（４）上記形態の検査方法において、前記第一検査工程は、算出した前記不良確率が前記第一閾値よりも高い第二閾値以上である箇所が存在する場合には、前記検査対象に不良ありと判定し、前記予め定められた検査範囲のいずれの箇所も前記不良確率が前記第一閾値未満である場合には、前記検査対象に不良なしと判定することを備えてよい。
この形態の検査方法によれば、第一検査工程において、暫定不良範囲の抽出とともに、不良の有無を検査することができる。
（５）上記形態の検査方法において、前記第一検査工程は、算出した前記不良確率が前記第一閾値以上、かつ前記第二閾値未満の箇所を含む範囲を、前記暫定不良範囲として抽出することを備えてよい。
この形態の検査方法によれば、第一検査工程で不良ありと判定された箇所を、第二検査工程で重複して検査されることを低減または防止することができる。
（６）上記形態の検査方法において、前記第一学習モデルは、検査精度よりも処理速度を優先する学習モデルであってよい。前記第二学習モデルは、処理速度よりも検査精度を優先する学習モデルであってよい。
この形態の検査方法によれば、第一検査工程において、より広い範囲から暫定不良範囲を抽出し、第二検査工程において、暫定不良範囲をより高い検査精度で検査することができる。
（７）上記形態の検査方法において、前記第一学習モデルの処理速度は、前記第二学習モデルの処理速度よりも速くてよい。
この形態の検査方法によれば、第一検査工程において、第二検査工程よりもより広い範囲から暫定不良範囲を抽出することができる。したがって、第一検査工程ならびに第二検査工程に亘る複数の検査工程において、より広い範囲を検査することができる。
（８）上記形態の検査方法において、前記第一学習モデルは、ＳＳＤを用いたモデルであり、前記第二学習モデルは、Ｒ－ＣＮＮを用いたモデルであってよい。
この形態の検査方法によれば、第一検査工程と第二検査工程とに汎用的な学習モデルを適用することができる。
（９）上記形態の検査方法において、前記第二検査工程は、抽出された前記暫定不良範囲のデータ量が予め定められた基準値よりも小さい場合には、前記暫定不良範囲に対して前記第二学習モデルを用いて検査し、さらに、前記暫定不良範囲以外の範囲に対して、前記第二学習モデルよりも処理速度が速い第三学習モデルを用いて検査することを備えてよい。
この形態の検査方法によれば、第二検査工程において、暫定不良範囲と、暫定不良範囲以外の範囲との検査を実行することができる。
（１０）上記形態の検査方法において、前記第三学習モデルは、ＳＳＤを用いたモデルであってよい。
この形態の検査方法によれば、暫定不良範囲以外の範囲の検査に対して、汎用的な学習モデルを適用することができる。
（１１）上記形態の検査方法において、前記検査対象は、鋳造品であってよい。前記第一検査工程および前記第二検査工程は、前記鋳造品を撮像した画像データを用いて検査することを備えてよい。
この形態の検査方法によれば、鋳造品の製造工程が有する複数の検査工程の検査時間と、検査精度とのバランスを改善することができる。
本開示は、検査方法以外の種々の形態で実現することも可能である。例えば、検査システム、検査システムの製造方法、検査システムの制御方法、検査装置、検査装置の製造方法、検査装置の制御方法、これらの制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。

【図面の簡単な説明】

【0007】

【図1】第１実施形態の検査方法を実行するための検査システムを示す説明図。

【図2】第一検査装置の内部機能構成を示すブロック図。

【図3】第二検査装置の内部機能構成を示すブロック図。

【図4】製造ラインの各工程を示す工程図。

【図5】第一検査装置による第一検査工程の詳細を示す工程図。

【図6】第二検査装置による第二検査工程の詳細を示す工程図。

【図7】第２実施形態での第二検査装置の内部機能構成を示すブロック図。

【図8】第２実施形態での第二検査装置による第二検査工程の詳細を示す工程図。

【発明を実施するための形態】

【0008】

Ａ．第１実施形態：
図１は、本実施形態の検査方法を実行するための検査システム１００を示す説明図である。検査システム１００は、製造ラインＬＰに含まれる工程で処理された検査対象に対して、不良の有無を検査する。検査対象は、例えば、製造ラインＬＰを流動する製品であり、本実施形態において車両用部品である。本開示において、「処理」とは、検査対象に対して特定の作業を施すことを意味し、例えば、製品の加工など、検査対象の性状に影響を与え得る種々の行為が含まれる。例えば、製品の搬送など、製品の加工以外の行為であっても製品の性状に影響を与え得る場合には、当該製品の加工以外の行為も「処理」に含まれ得る。

【0009】

本実施形態の検査システム１００は、機械学習を利用する２つの検査装置を備えている。具体的には、検査システム１００は、第一検査装置６０と、第二検査装置７０と、を備えている。第一検査装置６０は、第一製造工程で処理された製品の検査を行い、第二検査装置７０は、第一製造工程よりも後の第二製造工程で処理された製品の検査を行う。

【0010】

製造ラインＬＰは、例えば、第一製造装置３１および第二製造装置３２と、第一搬送装置４１および第二搬送装置４２と、第一修正工程５１および第二修正工程５２とを含んでいる。図１の例では、製品は、製造ラインＬＰにおいて、第一製造装置３１、第一搬送装置４１、第二製造装置３２、第二搬送装置４２の順に流動する。なお、検査システム１００は、製造ラインＬＰの一部として含まれてもよい。

【0011】

第一製造装置３１は、製品に対して、第一製造工程の処理を行う装置である。第一製造装置３１は、例えば、シリンダヘッドやエンジンブロックなどの車両用部品を形成するダイカストマシンである。第一製造装置３１は、第一製造工程の処理として、溶融した金属材料に対して金型成形を行う。

【0012】

第二製造装置３２は、製品に対して、第二製造工程の処理を行う装置である。第二製造装置３２は、例えば、ＮＣ旋盤（numerically-controlled lathe）、マシニングセンタ等である。第二製造装置３２は、第二製造工程の処理として、第一製造装置３１により鋳造された車両用部品に対して、切削加工、穴あけ加工、ネジ・タップ加工などの機械加工を行う。第二製造装置３２は、機械加工には限らず、成形後の製品に対して、後加工や後処理を行う種々の装置であってよい。第二製造装置３２は、例えば、鋳バリの除去やバレル研磨などを含む鋳仕上げ処理、ショットブラストやバフ研磨などを含む仕上げ処理、ねじ締結や溶接などを含む接合処理、塗装やめっきを含む表面処理、熱処理、含浸処理などを行う種々の装置であってよい。第一製造工程および第二製造工程は、装置による処理には限定されず、人間による手作業による処理が含まれてよい。

【0013】

本実施形態において、第二製造工程は、第一製造工程よりも後の工程であり、第一製造工程と連関がある工程である。「第一製造工程と連関がある」とは、第一製造工程による処理後の製品の性状が、第二製造工程による処理後の製品の性状に影響を与え得る関係を意味する。例えば、第一製造工程による処理後の製品の性状が変化すると、第二製造工程による処理後の製品の性状が変化し得る。第二製造工程が第一製造工程と連関がある場合の例としては、第二製造工程の処理の内容が第一製造工程の処理の内容と同様である場合、第二製造工程で製品に対して処理が行われる位置が第一製造工程で製品に対して処理が行われる位置と近接する場合、第二製造工程の処理が第一製造工程の処理に対して重畳して行われる場合などが挙げられる。

【0014】

第二製造工程が第一製造工程と連関がある場合には、第一製造工程による処理後の製品における不良の発生位置と、第二製造工程による処理後の製品における不良の発生位置とが互いに近くなり得る。また、不良とは判定されない程度の潜在的な不良が第一製造工程で発生した場合には、第二製造工程による処理後では当該不良が発生した箇所で不良が発生しやすくなり得る。このことから、第一製造工程による処理後の製品の不良の検出結果から第二製造工程後の製品の不良発生位置を推定することができる。この結果、第一製造工程後の検査結果から、第二製造工程後の検査の範囲を絞ることができる。本実施形態の検査システム１００では、第一検査装置６０の検査結果を用いて、第二検査工程で検査すべき暫定不良範囲を取得し、第二検査装置７０は、取得した暫定不良範囲に対して検査を行う。

【0015】

第一搬送装置４１および第二搬送装置４２は、例えば、ベルトコンベアや予め定められた軌道上を移動する搬送機などである。第一搬送装置４１は、第一製造装置３１による処理後の製品を搬送する。本実施形態では、第一搬送装置４１による搬送経路は、第一製造工程から第二製造工程へと搬送する経路が初期設定として予め設定されている。第一搬送装置４１は、第一検査装置６０の検査結果に基づいて、製品の搬送経路を、第一製造工程から第一修正工程５１へと搬送する経路に切り換えることができる。

【0016】

第二搬送装置４２は、第二製造装置３２による処理後の製品を搬送する。本実施形態では、第二搬送装置４２による搬送経路は、第二製造工程から第二製造工程の後工程へと搬送する経路が初期設定として予め設定されている。第二搬送装置４２は、第二検査装置７０の検査結果に基づいて、製品の搬送経路を、第二製造工程から第二修正工程５２へと搬送する経路に切り換えることができる。なお、本実施形態において、第一搬送装置４１および第二搬送装置４２による製品の搬送は、「処理」には含まれず、製品の性状に影響を与えない。

【0017】

第一修正工程５１は、第一製造装置３１による処理後の製品に不良があると判定された場合に行われる。第一修正工程５１は、第一製造工程による処理後の製品から不良を除去して第二製造装置３２へと払い出す。第二修正工程５２は、第二製造装置３２による処理後の製品に不良があると判定された場合に行われる。第二修正工程５２は、第二製造工程による処理後の製品から不良を除去して後工程へと払い出す。第一修正工程５１および第二修正工程５２による不良の除去は、専用の装置が行ってもよく、作業者による手作業によって行われてもよい。

【0018】

図２は、第一検査装置６０の内部機能構成を示すブロック図である。本実施形態では、第一検査装置６０は、第一製造工程による処理後の検査対象に関するデータ（以下、「第一検査用データ」とも呼ぶ。）を用いて、検査対象の不良の有無を判定する。第一検査装置６０は、中央演算処理装置（ＣＰＵ）６２、記憶装置６４、第一検査用データ取得部６６、ならびに第一通信部６８を備えている。ＣＰＵ６２、記憶装置６４、第一検査用データ取得部６６、ならびに第一通信部６８は、バス６１を介して互いに接続されており、双方向に通信可能である。ＣＰＵ６２は、記憶装置６４に格納されている各種プログラムを実行することによって第一検査部６２４、第一判定部６２６として機能する。

【0019】

記憶装置６４は、たとえば、ＲＡＭ、ＲＯＭ、ハードディスクドライブ（ＨＤＤ）である。ＨＤＤ（またはＲＯＭ）には本実施形態において提供される機能を実現するための各種プログラムが格納されており、ＨＤＤから読み出された各種プログラムはＲＡＭ上に展開されて、ＣＰＵ６２によって実行される。記憶装置６４は、第一閾値ＴＳ１および第二閾値ＴＳ２と、第一学習モデル６４４とを格納している。なお、記憶装置６４には、第一検査部６２４によって算出された第一不良確率が一時的に格納される。

【0020】

第一検査用データ取得部６６は、検査に用いるための第一検査用データを取得する。本実施形態では、第一検査用データは、第一製造装置３１による処理後の製品の予め定められた検査範囲を撮像した画像データであり、第一検査用データ取得部６６は、第一製造装置３１による処理後の製品を撮像するためのカメラである。第一検査用データ取得部６６は、第一製造装置３１による処理後の検査対象を搬送するための搬送経路に設置されており、搬送中の検査対象を撮像して検査対象の画像データを取得する。本実施形態では、第一検査用データ取得部６６が取得する画像データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）で表される各画像信号成分によって構成されるＲＧＢ入力画像信号で構成されている。なお、画像データの入力画像信号は、例えば、Ｙ（輝度信号）、Ｕ（第１色差信号）、Ｖ（第２色差信号）からなるＹＵＶ画像信号であってもよく、ＹＣｂＣｒ画像信号、或いはＹＰｂＰｒ画像信号であってもよい。画像は、カラー画像のほか、１ビットや８ビットなど任意の色深度の輝度値を有するグレースケール画像であってもよい。

【0021】

第一検査装置６０の検査範囲は、第一検査工程に設定されるタクトタイムに基づいて設定されている。検査工程におけるタクトタイム（Tact-Time）とは、一つの製品をどれだけの時間で検査すべきであるかという時間値を意味する。第一検査装置６０の検査範囲は、第一検査用データ取得部６６が取得する第一検査用データのデータ量あるいはデータの数によって規定される。取得する第一検査用データのデータ量あるいはデータの数は、第一検査工程に設定されるタクトタイム内で第一検査装置６０が検査を完了できる程度のデータ量あるいは数で設定される。本実施形態では、第一検査用データ取得部６６は、製品に対して予め定められた４０箇所を撮像し、４０枚の画像データを取得する。本実施形態において、第一検査装置６０は、後述するように、第二学習モデル７４４よりも処理速度が速い第一学習モデル６４４を用いることにより、取得する画像データの量を増加させて検査範囲を拡大させている。第一検査装置６０は、例えば、第一学習モデル６４４に代えて、第二学習モデル７４４を用いた場合では、第一検査工程に設定されるタクトタイム内において、１０枚の画像データの検査しか実行することができない。なお、第一検査用データ取得部６６によって撮像される箇所は、４０箇所には限定されず、４０箇所より少なくてもよく、４０箇所より多くてもよい。タクトタイムは、第一検査工程と、第二検査工程とで異なる時間値を用いて設定されてよく、同じ時間値を用いて設定されてよい。本実施形態では、第一検査用データ取得部６６が取得する画像データの解像度と、第二検査用データ取得部７６が取得する画像データの解像度とは、互いに一致する。

【0022】

第一検査部６２４は、機械学習を利用して検査対象の箇所ごとに不良確率を算出する。不良確率とは、検査対象の箇所が不良を有する確率を意味する。本実施形態では、第一検査部６２４は、記憶装置６４に格納された第一学習モデル６４４を用いて検査対象を検査する。第一学習モデル６４４は、畳み込みニューラルネットワーク(ＣＮＮ：Convolutional neural network)を用いたモデルであり、具体的には、画像認識による物体検知の手法としてのＳＳＤ(Single Shot MultiBox Detector)である。第一学習モデル６４４は、第一製造装置３１による処理後における正常な製品の画像および不良を有する製品の画像を用いて予め学習が完了されている。

【0023】

ＳＳＤによる処理速度は、例えば、Ｒ－ＣＮＮ（Region Based Convolutional Neural Networks）やＭａｓｋ Ｒ－ＣＮＮ等の他のモデルによる処理速度よりも速い。ＳＳＤは、物体検出の精度、すなわち検査精度よりも処理速度を優先するモデルであるといえる。後述するように、本実施形態において、第一学習モデル６４４の処理速度は、後述する第二学習モデル７４４の処理速度よりも速くなるように設定されている。このように構成することより、第一検査工程に設定されたタクトタイムの中で、第二検査工程の検査範囲に比べて、第一検査工程の検査範囲を大きくすることができる。第一学習モデル６４４には、ＳＳＤには限らず、例えば、Ｆａｓｔｅｒ ＲＣＮＮ，Ｆａｓｔ ＲＣＮＮなどのＳＳＤ以外のモデルが用いられてもよい。この場合において、第一検査装置６０の検査範囲を大きくする観点から、処理速度が速いモデルが用いられることが好ましい。なお、第一学習モデル６４４の処理速度が第二学習モデル７４４の処理速度よりも速いか否かは、例えば、同じ検査用データに対して第一学習モデル６４４および第二学習モデル７４４によって検査させた場合の経過時間を比較することによって判別することができる。

【0024】

第一検査部６２４は、第一検査用データ取得部６６によって予め得られた第一検査用データを第一学習モデル６４４に入力し、入力された画像データ内の箇所ごとに第一不良確率を算出する。第一不良確率とは、第一製造工程による処理後の検査対象の箇所が不良を有する確率を意味する。入力された画像データの一定の領域ごとに第一不良確率が算出されてもよい。算出された第一不良確率は、第一判定部６２６に出力される。第一不良確率は、さらに、第一通信部６８を介して第二検査装置７０に送信されてもよい。

【0025】

第一判定部６２６は、第一検査部６２４によって算出された第一不良確率を用いて、検査対象の検査、すなわち検査対象に不良があるか否かを判定する。本実施形態では、第一判定部６２６は、第一不良確率と、記憶装置６４に格納されている第一閾値ＴＳ１および第二閾値ＴＳ２との比較によって、検査対象に不良があるか否かを判定する。第二閾値ＴＳ２は、第一閾値ＴＳ１よりも高い値を用いて設定されている。第一判定部６２６は、第一不良確率が第二閾値ＴＳ２以上である箇所が存在する場合には、検査対象に不良があると判定し、予め定められた検査範囲のいずれの箇所も第一不良確率が第一閾値ＴＳ１未満である場合には、検査対象に不良なしと判定する。本実施形態では、第一閾値ＴＳ１および第二閾値ＴＳ２は、検査対象の不良の有無の判定のほか、暫定不良範囲の抽出にも用いられる。

【0026】

本実施形態では、第一判定部６２６は、検査対象に不良があるか否かの判定に加え、暫定不良範囲の抽出も実行する。暫定不良範囲とは、検査対象のうち、第二製造工程後に不良を有する蓋然性が高いと推定される箇所を含む範囲を意味する。暫定不良範囲は、第二検査工程で検査すべき検査範囲ともいえる。暫定不良範囲としては、例えば、以下の（１）（２）等が考えられる。
（１）第一製造工程後では不良ありとは判定されないものの潜在的な不良を有している可能性があり、第二製造工程による処理後に不良を有する蓋然性が高いと推測される箇所を含む範囲
（２）第一検査工程の検査精度では不良とは特定できないが、第一検査工程で不良である蓋然性が高い箇所として検出でき、第二検査工程の検査精度であれば不良として検出できる可能性がある箇所を含む範囲

【0027】

本実施形態では、第一判定部６２６は、第一検査用データとして取得された画像データのうち、第一不良確率が第一閾値ＴＳ１以上かつ第二閾値ＴＳ２未満の箇所を含む所定の範囲を、暫定不良範囲として抽出する。より具体的には、第一判定部６２６は、第一検査用データとして取得された４０箇所分の製品の画像データのうち、第一不良確率が第一閾値ＴＳ１以上かつ第二閾値ＴＳ２未満の箇所が含まれる画像データを、暫定不良範囲として抽出する。すなわち、本実施形態において、暫定不良範囲を抽出する単位は、画像データごとである。暫定不良範囲を抽出する単位は、画像データごとには限らず、座標や画素位置など、一枚の画像データ内の位置情報であってもよい。本実施形態では、抽出された暫定不良範囲は、第二検査用データ取得部７６が製品から取得する第二検査用データの範囲となる。

【0028】

第一閾値ＴＳ１および第二閾値ＴＳ２は、任意の値を用いて予め設定することができる。第一閾値ＴＳ１および第二閾値ＴＳ２は、不良の有無を精度良く判定する観点から、例えば、検査対象の不良の有無と、第一不良確率との対応関係を示すデータを得ることによって実験的に求めることができる。第一閾値ＴＳ１は、第一検査装置６０の検査精度に基づいて設定されることが好ましく、第一検査装置６０によって少なくとも不良を有する蓋然性が高い箇所を検出できる程度の値で設定されることが好ましい。第一閾値ＴＳ１は、第一検査工程において、不良がある蓋然性が高い箇所の検出精度を向上させる観点から低いほど好ましい。ただし、第一閾値ＴＳ１は、第二検査装置７０の検査数の不要な増加を防止または低減する観点から、第二閾値ＴＳ２に近いほど好ましい。本実施形態では、第一閾値ＴＳ１は、１．０％、第二閾値ＴＳ２は、２．０％で設定されている。本実施形態では、第一閾値ＴＳ１は、第二閾値ＴＳ２の５０％で設定されている。第一閾値ＴＳ１は、第二閾値ＴＳ２の５０％には限定されず、第二閾値ＴＳ２の２０％、２５％、３０％、４０％、６０％、７０％、７５％、８０％などの任意の割合で設定されてもよい。

【0029】

第一通信部６８は、無線通信を介して、第一判定部６２６によって抽出された暫定不良範囲を第二検査装置７０に送信する。第一通信部６８は、さらに、製造ラインＬＰの第一搬送装置４１に対して搬送経路を切り換えるための実行命令を送信する。無線通信としては、例えば、ＩＥＥＥ８０２．１１ａの規格に準拠した２．４ＧＨｚ帯域もしくは５ＧＨｚ帯域を用いた無線ローカルネットワーク（ＬＡＮ）を通じた無線通信や、１ＧＨｚ未満の周波数帯域（９１６．５ＭＨｚから９２７．５ＭＨｚ）であるサブギガ帯域を用いた無線通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いた無線通信を用いることができる。第一通信部６８は、第一搬送装置４１、第二検査装置７０に対して、イーサネット（登録商標）などの有線ＬＡＮにより有線接続されてもよい。第一通信部６８は、暫定不良範囲の送信のみに限らず、第一検査部６２４によって算出された検査対象の第一不良確率を第二検査装置７０に送信してもよい。

【0030】

図３は、第二検査装置７０の内部機能構成を示すブロック図である。本実施形態では、第二検査装置７０は、第二製造工程による処理後の検査対象に関するデータ（以下、「第二検査用データ」とも呼ぶ。）を用いて、検査対象の不良の有無を判定する。第二検査装置７０の検査範囲は、第一検査装置６０から取得した暫定不良範囲に基づいて設定される。

【0031】

第二検査装置７０は、中央演算処理装置（ＣＰＵ）７２、記憶装置７４、第二検査用データ取得部７６、暫定不良範囲取得部７７、ならびに第二通信部７８を備えている。ＣＰＵ７２、記憶装置７４、第二検査用データ取得部７６、暫定不良範囲取得部７７、ならびに第二通信部７８は、バス７１を介して互いに接続されており、双方向に通信可能である。暫定不良範囲取得部７７は、第一検査装置６０から第一通信部６８を介して送信される暫定不良範囲を取得する。

【0032】

ＣＰＵ７２は、記憶装置７４に格納されている各種プログラムを実行することによって、第二検査部７２４、第二判定部７２６として機能する。記憶装置７４は、たとえば、ＲＡＭ、ＲＯＭ、ハードディスクドライブ（ＨＤＤ）である。ＨＤＤ（またはＲＯＭ）には本実施形態において提供される機能を実現するための各種プログラムが格納されており、ＨＤＤから読み出された各種プログラムはＲＡＭ上に展開されて、ＣＰＵ７２によって実行される。記憶装置７４は、第三閾値ＴＳ３と、第二学習モデル７４４とを格納している。なお、記憶装置７４には、第二検査部７２４によって算出された第二不良確率と、暫定不良範囲取得部７７によって取得された暫定不良範囲とが一時的に格納され得る。

【0033】

第二検査用データ取得部７６は、検査に用いるための第二検査用データを取得する。本実施形態では、第二検査用データは、第二製造装置３２による処理後の製品の画像データであり、第二検査用データ取得部７６は、第二製造装置３２による処理後の製品を撮像するためのカメラである。第二検査用データ取得部７６は、第二製造装置３２による処理後の検査対象を搬送するための搬送経路に設置されており、搬送中の検査対象を撮像して検査対象の画像データを取得する。

【0034】

本実施形態では、第二検査用データ取得部７６は、暫定不良範囲取得部７７から取得した暫定不良範囲に従って、第二検査部７２４によって設定される。第二検査用データ取得部７６は、第二検査部７２４からの指示に従って暫定不良範囲に対応する位置の画像データを取得する。第二検査用データ取得部７６は、暫定不良範囲よりも大きい予め定められた範囲から画像データを取得したのちに、暫定不良範囲に対応する位置の画像データのみを抽出してもよい。第二検査用データ取得部７６のその他の構成は、第一検査用データ取得部６６と同様であるので説明を省略する。

【0035】

第二検査部７２４は、機械学習を利用して第二不良確率を取得する。第二不良確率とは、第二製造工程による処理後の検査対象の箇所が不良を有する確率を意味する。本実施形態では、第二検査部７２４は、記憶装置７４に格納された第二学習モデル７４４を用いて検査対象を検査する。第二学習モデル７４４は、処理速度よりも検査精度を優先するモデルであり、例えば、Ｒ－ＣＮＮを採用することができる。第二学習モデル７４４は、ＳＳＤをモデルとする第一学習モデル６４４よりも処理速度が遅いが、第一学習モデル６４４よりも検査精度が高い。このように構成することにより、第二検査装置７０は、第一検査装置６０の検査範囲から抽出された暫定不良範囲に対して、高い検査精度で検査することができ、複数の検査工程全体で効率良く検査することができる。第二学習モデル７４４は、第二製造装置３２による処理後における正常な製品の画像および不良を有する製品の画像を用いて予め学習が完了されている。第二学習モデル７４４は、Ｒ－ＣＮＮには限らず、Ｍａｓｋ Ｒ－ＣＮＮなど、検査精度が高い他のモデルを用いることができる。

【0036】

第二検査部７２４は、第二検査用データ取得部７６によって取得された第二検査用データを第二学習モデル７４４に入力し、入力された画像データ内の箇所ごとに第二不良確率を算出する。入力された画像データの一定の領域ごとに第二不良確率が算出されてもよい。算出された第二不良確率は、第二判定部７２６に出力される。

【0037】

第二判定部７２６は、第二検査部７２４によって算出された第二不良確率を用いて、検査対象に不良があるか否かを判定する。本実施形態では、第二判定部７２６は、第二不良確率と、記憶装置７４に格納されている第三閾値ＴＳ３との比較によって、検査対象に不良があるか否かを判定する。具体的には、第二判定部７２６は、取得した第二不良確率が第三閾値ＴＳ３以上である箇所が存在する場合には、検査対象に不良があると判定し、予め定められた検査範囲のいずれの箇所も第二不良確率が第三閾値ＴＳ３未満である場合には、検査対象に不良なしと判定する。

【0038】

第三閾値ＴＳ３は、任意の値を用いて予め設定することができる。第三閾値ＴＳ３は、例えば、第二不良確率と、検査対象の不良の有無との対応関係を示すデータを得ることによって実験的に求めることができる。本実施形態では、第三閾値ＴＳ３は、第二閾値ＴＳ２と同じ２．０％で設定されている。ただし、第三閾値ＴＳ３は、第二閾値ＴＳ２よりも小さくてもよく、第二閾値ＴＳ２よりも大きくてもよい。

【0039】

第二通信部７８は、無線通信を介して、製造ラインＬＰの第二搬送装置４２に対して搬送経路を切り換えるための実行命令を送信する。第二通信部７８のその他の構成は、第一通信部６８と同様であるため、説明を省略する。

【0040】

図４は、製造ラインＬＰの各工程を示す工程図である。ステップＳ５０では、製品に対して第一製造工程による処理が行われる。本実施形態では、第一製造装置３１としてのダイカストマシンによって、原料としての金属材料から車両用部品が形成される。

【0041】

ステップＳ１００では、第一検査工程として、第一検査工程による検査と、暫定不良範囲の抽出とが行われる。具体的には、第一検査装置６０が、第一製造装置３１による処理後の製品に対して、第一不良確率を用いた不良の有無の判定と、暫定不良範囲の抽出とを行う。抽出された暫定不良範囲は、製品の製造番号などと対応付けられて、第二検査装置７０に出力される。

【0042】

ステップＳ１８０では、第一検査工程での製品の検査結果に応じて、製品の払い出し先の工程を切り換えるか否かが決定される。本実施形態では、第一検査工程において、第一検査装置６０が製品に不良ありと判定すると（Ｓ１８０：ＹＥＳ）、第一検査装置６０は、第一搬送装置４１の搬送経路を切り換えるための指令信号を、第一搬送装置４１に発信する。この結果、不良ありと判定された製品は、ステップＳ１８２の第一修正工程５１に払い出される。第一検査工程で第一検査装置６０が製品に不良なしと判定する場合（Ｓ１８０：ＮＯ）、第一検査装置６０は、指令信号を第一搬送装置４１に出力しない。この結果、製品は、ステップＳ１９０の第二製造工程へと払い出される。

【0043】

ステップＳ１８２では、第一修正工程５１として、製品から不良を除去する処理が行われる。本実施形態では、製品から不良を除去する例としては、鋳造後の製品の鋳バリ（Flash）の除去や、鋳巣（Porosity）の穴埋めなどが挙げられる。この結果、第一製造装置３１による処理後の製品は、不良が除去されて第二製造装置３２へと払い出される。例えば、不良があると判定された製品が破棄される場合などには、ステップＳ１８２は、省略されてもよい。

【0044】

ステップＳ１９０では、製品に対して第二製造工程による処理が行われる。本実施形態では、第二製造装置３２としての機械加工装置によって、鋳造後の製品に対して切削や穴開けなどが行われる。

【0045】

ステップＳ２００では、製品に対して第二検査工程による検査が行われる。第二検査工程では、第二製造装置３２による処理後の製品の暫定不良範囲に対して、第二検査装置７０による第二不良確率の算出、ならびに不良の有無の判定が行われる。

【0046】

ステップＳ２８０では、第二検査工程による製品の検査結果に応じて、製品の払い出し先の工程を切り換えるか否かが判断される。本実施形態では、第二検査工程で第二検査装置７０が製品に不良ありと判定する場合に（Ｓ２８０：ＹＥＳ）、第二検査装置７０は、第二搬送装置４２の搬送経路を切り換えるための指令信号を、第二搬送装置４２に発信する。この結果、不良ありと判定された製品は、ステップＳ２８２の第二修正工程５２に払い出される。第二検査工程で第二検査装置７０が製品に不良なしと判定する場合（Ｓ２８０：ＮＯ）、第二検査装置７０は、指令信号を第二搬送装置４２に出力しない。この結果、製品は、第二検査工程の後工程へと払い出されて、本工程は終了する。

【0047】

ステップＳ２８２では、第二修正工程５２として、製品から不良を除去する処理が行われる。本実施形態では、製品から不良を除去する例としては、機械加工の追加加工などが挙げられる。この結果、第二製造装置３２による処理後の製品は、不良が除去されて後工程へと払い出される。例えば、製品に不良があると判定された場合に製品が破棄される場合などには、ステップＳ２８２は、省略されてもよい。

【0048】

図５は、第一検査装置６０による第一検査工程の詳細を示す工程図である。図５に示す工程は、例えば、第一製造装置３１から払い出された製品を、第一検査装置６０の第一検査用データ取得部６６が画像検出等で検出したことによって開始する。図５に示す工程は、第一製造装置３１が処理を完了した旨を示す信号を第一検査装置６０が受信したときに開始されてもよい。

【0049】

ステップＳ１１０では、第一検査用データ取得部６６は、第一製造装置３１による処理後の製品に関する第一検査用データを取得する。本実施形態では、第一検査用データ取得部６６としてのカメラが、検査範囲として予め定められた４０箇所を撮像し、第一製造装置３１による処理後の製品に関する４０枚の画像データを取得する。

【0050】

ステップＳ１２０では、第一検査部６２４は、取得した画像データを第一学習モデル６４４に入力することにより、各画像データの各箇所に対して第一不良確率ＦＰ１を算出する。ステップＳ１３０では、第一判定部６２６は、第一検査部６２４によって算出された第一不良確率と、記憶装置６４に格納されている第一閾値ＴＳ１および第二閾値ＴＳ２とを比較して、検査対象に不良があるか否かを判定する。なお、ステップＳ１３０以降の処理は、取得した４０枚分の画像データのそれぞれに対して繰り返し実行され得る。

【0051】

ステップＳ１３０では、第一不良確率ＦＰ１が検査範囲のいずれの箇所も第一閾値ＴＳ１（本実施形態において、１．０％）未満である場合には（Ｓ１３０：ＦＰ１＜ＴＳ１）、ステップＳ１３２に移行し、第一判定部６２６は、検査対象に不良なしと判定して第一検査工程を終了する。この場合には、第一判定部６２６は、暫定不良範囲が無い旨を、第一通信部６８を介して第二検査装置７０に送信してもよい。

【0052】

第一不良確率ＦＰ１が第二閾値ＴＳ２（本実施形態において、２．０％）以上である箇所が存在する場合には（Ｓ１３０：ＴＳ２≦ＦＰ１）、ステップＳ１３４に移行し、第一判定部６２６は、検査対象に不良ありと判定する。ステップＳ１３６では、第一判定部６２６は、第一通信部６８を介して、搬送経路を第一修正工程５１へと払い出す経路に切り換えるための指令信号を、第一搬送装置４１に送信する。この場合には、第一判定部６２６は、暫定不良範囲が無い旨を、第一通信部６８を介して第二検査装置７０に送信して、第一検査工程を終了する。

【0053】

第一不良確率ＦＰ１が第一閾値ＴＳ１以上であり、かつ第二閾値ＴＳ２未満である場合には（Ｓ１３０：ＴＳ１≦ＦＰ１＜ＴＳ２）、ステップＳ１４０に移行する。ステップＳ１４０では、第一判定部６２６は、暫定不良範囲を抽出する。具体的には、取得した４０枚の画像データのうち、第一閾値ＴＳ１以上であり、かつ第二閾値ＴＳ２未満の第一不良確率ＦＰ１を有する箇所が検出された画像データに対応する撮像位置を、暫定不良範囲として抽出する。ステップＳ１４２では、第一判定部６２６は、抽出した暫定不良範囲を第一通信部６８に出力し、第一通信部６８を介して第二検査装置７０に送信する。暫定不良範囲の送信を終えると、第一検査工程は、終了する。

【0054】

図６は、第二検査装置７０による第二検査工程の詳細を示す工程図である。図６に示す工程は、例えば、第二製造装置３２から払い出された製品を、第二検査装置７０の第二検査用データ取得部７６が検出したことによって開始する。図６に示す工程は、第二検査装置７０が処理を完了した旨を示す信号を第二検査装置７０が受信したときに開始されてもよい。

【0055】

ステップＳ２１０では、第二検査部７２４は、第一検査装置６０の第一通信部６８から送信される暫定不良範囲を、暫定不良範囲取得部７７を介して取得する。ステップＳ２１２では、第二検査用データ取得部７６は、第二製造装置３２による処理後の製品に関する第二検査用データを取得する。具体的には、第二検査部７２４は、ステップＳ２１０で取得した暫定不良範囲に従って、第二検査用データ取得部７６が撮像すべき箇所を指定する。第二検査用データ取得部７６は、第二検査部７２４によって指定された箇所にしたがって製品を撮像する。この結果、第二検査用データ取得部７６は、暫定不良範囲に対応する撮像位置の画像データを、第二検査用データとして取得する。

【0056】

ステップＳ２２０では、第二検査部７２４は、取得した画像データを第二学習モデル７４４に入力することにより、各画像データの各箇所に対して第二不良確率ＦＰ２を算出する。ステップＳ２３０では、第二判定部７２６は、第二検査部７２４によって算出された第二不良確率ＦＰ２と、記憶装置７４に格納されている第三閾値ＴＳ３とを比較して、検査対象に不良があるか否かを判定する。なお、ステップＳ２３０以降の処理は、取得した枚数分の第二検査用データのそれぞれに対して繰り返し実行され得る。

【0057】

ステップＳ２３０では、第二不良確率ＦＰ２が暫定不良範囲のいずれの箇所も第三閾値ＴＳ３（本実施形態において２．０％）未満である場合には、（Ｓ２３０：ＦＰ２＜ＴＳ３）、ステップＳ２３２に移行し、第二判定部７２６は、検査対象に不良なしと判定し、第二検査工程を終了する。第二不良確率ＦＰ２が第三閾値ＴＳ３以上である箇所が存在する場合には（Ｓ２３０：ＴＳ３≦ＦＰ２）、ステップＳ２３４に移行し、第二判定部７２６は、検査対象に不良ありと判定する。ステップＳ２３６では、第二判定部７２６は、第二通信部７８を介して、搬送経路を第二修正工程５２へと払い出す経路に切り換えるための指令信号を、第二搬送装置４２に送信して、第二検査工程を終了する。

【0058】

以上、説明したように、本実施形態の検査方法は、第一製造工程で処理された検査対象の予め定められた検査範囲から暫定不良範囲を抽出する第一検査工程と、第一製造工程よりも後の第二製造工程で処理された検査対象の暫定不良範囲を検査する第二検査工程と、を備えている。本実施形態の検査方法によれば、第二検査工程での検査範囲を、第一検査工程で抽出した暫定不良範囲に絞ることにより、第二検査工程の検査数を低減することができる。第一検査工程の検査結果を利用することにより、第二検査工程の処理時間を短縮することができ、第二検査工程のタクトタイムの短縮、もしくは、第二検査工程の処理時間を維持しつつ検査精度を向上することができる。したがって、第一検査工程ならびに第二検査工程に亘る複数の検査工程において、検査時間と、検査精度とのバランスを改善することができる。また、例えば、第一検査工程において、暫定不良範囲の抽出を優先する設定にすることにより、第一検査工程において検出精度よりも処理速度を向上させて第一検査工程の検査範囲を拡大することができ、複数の検査工程での全体の検査範囲を拡大することができる。さらに、第二検査工程の検査精度を向上することにより、複数の検査工程での全体の検出精度を向上することができる。

【0059】

本実施形態の検査方法によれば、第一検査工程は、予め定められた検査範囲に対して第一学習モデル６４４を用いて暫定不良範囲を抽出することを備え、第二検査工程は、暫定不良範囲に対して第二学習モデル７４４を用いて検査することを備えている。したがって、学習モデルを利用した複数の検査工程において、検査時間と、検査精度とのバランスを改善することができる。

【0060】

本実施形態の検査方法によれば、第一検査工程は、予め得られた第一検査用データに対して第一学習モデル６４４を用いて検査対象の箇所ごとに第一不良確率を算出し、算出した第一不良確率が予め定められた第一閾値ＴＳ１以上の箇所を含む範囲を、暫定不良範囲として抽出することを備えている。暫定不良範囲の抽出に第一不良確率を用いることにより、不良ありとは判定されない程度の潜在的な不良を判定することができる。したがって、第一検査工程の検査結果を利用して、第二製造工程後の製品における不良の発生位置を推定して、第二検査工程での検査範囲を絞ることができる。

【0061】

本実施形態の検査方法によれば、第一検査工程は、算出した第一不良確率が第一閾値ＴＳ１よりも高い第二閾値ＴＳ２以上である箇所が存在する場合には、検査対象に不良ありと判定し、予め定められた検査範囲のいずれの箇所も第一不良確率が第一閾値ＴＳ１未満である場合には、検査対象に不良なしと判定することを備えている。したがって、第一検査工程において、暫定不良範囲の抽出とともに、不良の有無を検査することができる。

【0062】

本実施形態の検査方法によれば、第一検査工程は、算出した不良確率が第一閾値以上、かつ第二閾値未満の箇所を含む範囲を、暫定不良範囲として抽出することを備えている。したがって、第二閾値以上の箇所であり、第一検査工程で不良ありと判定された箇所を、第二検査工程で重複して検査されることを低減または防止することができる。

【0063】

本実施形態の検査方法によれば、第一学習モデル６４４は、検査精度よりも処理速度を優先する学習モデルであり、第二学習モデル７４４は、処理速度よりも検査精度を優先する学習モデルである。第一検査工程において、より広い範囲を検査するとともに暫定不良範囲を抽出し、第二検査工程において、高い検査精度で検査することができる。したがって、第一検査工程ならびに第二検査工程に亘る複数の検査工程において、より広い範囲を検査しつつ、検査精度が低下することを低減または防止することができる。また、第一検査工程の処理速度を学習モデルの処理速度の設定により向上させるので、例えば、第一検査工程で取得する画像データの解像度を低減することなく、第一検査工程の処理速度を向上することができる。この場合には、例えば、第一検査工程で取得する検査対象の画像データの解像度と、第二検査工程で取得する検査対象の画像データの解像度とを一致させることができ、第一検査工程の検査結果を第二検査工程に利用する際の効果を高くすることができる。

【0064】

本実施形態の検査方法によれば、第一学習モデル６４４の処理速度は、第二学習モデル７４４の処理速度よりも速い。第一検査工程により、広い検査範囲で暫定不良範囲を抽出しつつ、暫定不良範囲を高い検査精度で検査することができる。したがって、第一検査工程ならびに第二検査工程に亘る複数の検査工程において、より広い範囲を検査しつつ、検査精度が低下することを低減または防止することができる。

【0065】

本実施形態の検査方法によれば、第一学習モデル６４４は、ＳＳＤを用いたモデルであり、第二学習モデル７４４は、Ｒ－ＣＮＮを用いたモデルである。したがって、第一検査工程と第二検査工程とに汎用的な学習モデルを適用することができる。

【0066】

本実施形態の検査方法によれば、検査対象は、鋳造品であり、第一検査工程および第二検査工程において、鋳造品を撮像した画像データを用いて検査する。したがって、鋳造品の製造工程が有する複数の検査工程の検査時間と、検査精度とのバランスを改善することができる。

【0067】

Ｂ．第２実施形態：
図７は、本開示の第２実施形態としての検査システム１００が有する第二検査装置７０ｂの内部機能構成を示すブロック図である。第２実施形態の検査システム１００は、第１実施形態の検査システム１００とは、第二検査装置７０に代えて第二検査装置７０ｂを備える点において相違し、それ以外の構成は同様である。第二検査装置７０ｂは、第一検査装置６０から取得した暫定不良範囲のデータ量の大きさに応じて検査範囲および検査条件を切り替える。

【0068】

第二検査装置７０ｂは、第１実施形態での第二検査装置７０とは、第三閾値ＴＳ３および第二学習モデル７４４に加え、さらにデータ基準値ＤＳと、第三学習モデル７４６とが記憶装置７４に格納されている点において相違する。データ基準値ＤＳは、暫定不良範囲のデータ量の大きさを判定するための閾値である。暫定不良範囲のデータ量とは、暫定不良範囲に対応する第二検査用データのデータ量を意味する。データ基準値ＤＳは、任意の値を用いて設定することができる。データ基準値ＤＳは、例えば、第二検査工程に設定されるタクトタイムよりも充分に短い時間で検査を完了できる程度のデータ量を用いて設定される。データ基準値ＤＳは、暫定不良範囲の検査に必要な時間が、第二検査工程に設定されるタクトタイムよりも充分に短いか否かを判定するための閾値である。

【0069】

本実施形態において、第三学習モデル７４６の処理速度は、第二学習モデル７４４の処理速度よりも速くなるように設定されている。これにより、第二検査工程において、タクトタイム内における暫定不良範囲の検査後の時間を利用して、暫定不良範囲以外の範囲を検査できる。したがって、第二検査工程において、より多くの検査範囲を検査することができる。本実施形態において、第三学習モデル７４６は、第一学習モデル６４４と同じＳＳＤで設定されている。第三学習モデル７４６は、ＳＳＤには限らず、例えば、Ｆａｓｔｅｒ ＲＣＮＮ，Ｆａｓｔ ＲＣＮＮなどの他のモデルが用いられてもよい。また、暫定不良範囲以外の範囲の検査において、検査範囲を大きくすることよりも検査精度を優先する場合には、Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮなどのモデルが用いられてもよく、第三学習モデル７４６に代えて第二学習モデル７４４が用いられてもよい。この場合には、第三学習モデル７４６を省略することができる。

【0070】

図８は、第２実施形態での第二検査装置７０ｂによる第二検査工程の詳細を示す工程図である。ステップＳ３１０では、第二検査部７２４は、暫定不良範囲取得部７７を介して第一検査装置６０から送信される暫定不良範囲を取得する。ステップＳ３２０では、第二検査部７２４は、取得した暫定不良範囲のデータ量と、記憶装置７４に格納されているデータ基準値ＤＳとを比較する。暫定不良範囲のデータ量がデータ基準値ＤＳ以上である場合には（Ｓ３２０：ＹＥＳ）、ステップＳ３３０に移行し、暫定不良範囲の検査のみを実行する。暫定不良範囲のデータ量がデータ基準値ＤＳ未満である場合には（Ｓ３２０：ＮＯ）、ステップＳ３４０に移行し、暫定不良範囲の検査とともに、暫定不良範囲以外の範囲の検査を実行する。

【0071】

ステップＳ３３０では、第二検査用データ取得部７６は、第二製造装置３２による処理後の製品の暫定不良範囲に関する第二検査用データを取得する。ステップＳ３３０は、図６に示したステップＳ２１２と同様であるので説明を省略する。ステップＳ３３２では、第二検査部７２４は、取得した画像データを第二学習モデル７４４に入力して第二不良確率ＦＰ２を算出する。第二判定部７２６は、算出した第二不良確率ＦＰ２と、記憶装置７４に格納されている第三閾値ＴＳ３とを比較して、検査対象に不良があるか否かを判定する。

【0072】

ステップＳ３４０では、第二検査用データ取得部７６は、第二製造装置３２による処理後の製品の暫定不良範囲と、暫定不良範囲以外の範囲との第二検査用データを取得する。第二検査部７２４は、取得した暫定不良範囲に従って、第二検査用データ取得部７６が撮像すべき箇所を指定するとともに、暫定不良範囲以外の範囲を指定する。指定する暫定不良範囲以外の範囲は、予め設定された任意の範囲で設定されてよい。暫定不良範囲以外の範囲は、暫定不良範囲のデータ量の大きさに応じて逐次に調整されてもよい。例えば、取得した暫定不良範囲のデータ量がデータ基準値ＤＳに対して充分に小さい場合には、予め設定された検査範囲のすべての範囲が、暫定不良範囲以外の検査範囲として設定され、暫定不良範囲のデータ量がデータ基準値ＤＳに近い場合には、予め設定された検査範囲のうち、検査の優先度が高い検査範囲のみが暫定不良範囲以外の検査範囲として設定されてもよい。ステップＳ３４２では、ステップＳ３３２と同様に、第二判定部７２６は、暫定不良範囲に不良があるか否かを判定する。

【0073】

ステップＳ３５０では、第二検査部７２４は、検査条件を変更する。本実施形態では、第二検査部７２４は、第二不良確率を算出するための学習モデルを変更する。具体的には、第二検査部７２４は、取得した画像データを、第二学習モデル７４４に代えて、第三学習モデル７４６に入力することにより、暫定不良範囲以外の範囲に対応する各画像データに対して第二不良確率を算出する。暫定不良範囲以外の範囲の検査精度を高くする場合には、検査条件を変更せず、ステップＳ３５０を省略してもよい。ステップＳ３５２では、算出した暫定不良範囲以外の範囲の各箇所の第二不良確率と、第三閾値ＴＳ３とを比較して、検査対象に不良があるか否かを判定する。ステップＳ３５２では、算出した暫定不良範囲以外の範囲の第二不良確率と、第三閾値ＴＳ３とは異なる閾値とが比較されてもよく、ステップＳ３５０による変更後の検査条件に応じた任意の閾値が設定されてよい。

【0074】

ステップＳ３７０では、第二判定部７２６は、ステップＳ３３２、ステップＳ３４２、ステップＳ３５２での検査結果において、不良ありとの判定結果があるか否かを確認する。いずれの検査範囲においても不良なしと判定された場合には（Ｓ３７０：ＮＯ）、第二検査工程を終了する。暫定不良範囲および暫定不良範囲以外の範囲の少なくともいずれかで不良ありと判定された場合には（Ｓ３７０：ＹＥＳ）、ステップＳ３７２に移行し、第二判定部７２６は、第二通信部７８を介して、搬送経路を第二修正工程５２へと払い出す経路に切り換えるための指令信号を、第二搬送装置４２に送信して、第二検査工程を終了する。

【0075】

本実施形態の検査方法によれば、第二検査工程は、抽出された暫定不良範囲のデータ量が予め定められたデータ基準値ＤＳよりも小さい場合には、暫定不良範囲に対して第二学習モデル７４４を用いて検査し、暫定不良範囲以外の範囲に対して、第二学習モデル７４４よりも処理速度が速い第三学習モデル７４６を用いて検査することを備えている。したがって、第二検査工程において、暫定不良範囲を検査しつつ、第二検査工程に設定されるタクトタイムの余剰時間を利用して、暫定不良範囲以外の範囲の検査も実行することができる。

【0076】

本実施形態の検査方法によれば、第三学習モデル７４６は、ＳＳＤである。したがって、暫定不良範囲以外の範囲の検査に対して、汎用的な学習モデルを適用することができる。

【0077】

Ｃ．他の実施形態：
（Ｃ１）上記各実施形態では、第一製造装置３１は、ダイカストマシンであり、第二製造装置３２は、鋳造後の製品の後加工や後処理を行う装置である例を示した。これに対して、第一製造装置３１および第二製造装置３２は、これらの例には限定されず、例えば、加工機、溶接機、成形機、塗装機といった種々の設備であってよい。

【0078】

（Ｃ２）第一製造工程および第二製造工程は、必ずしも互いに連続する工程には限定されず、第一製造工程と第二製造工程とが互いに連関することを前提に、第一製造工程と、第二製造工程と間に他の処理を行う工程が含まれてもよい。ただし、第一製造工程と、第二製造工程との間の工程数は、第一製造工程による処理が第二製造工程後の製品の性状に影響を与える程度に少ない数の工程数であることが好ましく、例えば、７つ以下であることが好ましく、３つ以下であることがより好ましい。

【0079】

（Ｃ３）上記各実施形態において、第一検査装置６０および第二検査装置７０は、検査対象の画像データを用いて、検査対象の不良の有無を判定する。第一検査用データ取得部６６および第二検査用データ取得部７６は、検査用データとして、検査対象の画像データを取得する。これに対して、検査用データは、製品の画像データには限らず、温度、寸法、重量、色彩、形状などの製品が有する種々のパラメータに関するデータであってもよい。検査に用いるためのデータは、製品のデータには限定されず、検査対象の不良確率に影響を与え得ることを前提として、製品以外のデータであってもよい。検査用データは、例えば、電圧値、電流値、圧力値、温度、変位量、これらの波形や変化量、処理時間など、製造ラインＬＰに含まれる装置の製造条件やパラメータであってよい。第一検査用データ取得部６６および第二検査用データ取得部７６は、画像データを取得するカメラには限定されず、光センサ、音センサ、熱センサ、電流センサ、電圧センサ、距離センサ、気圧センサ、加速度センサ、回転速度センサ、湿度センサ、圧力センサ、ならびに磁気センサなどの種々のセンサであってよい。各センサはいずれも検査対象の不良確率を算出するための検査用データを取得するセンサである。また、画像データを取得するカメラを第一製造装置３１および第二製造装置３２が備える場合など、第一検査装置６０および第二検査装置７０以外の装置が検査用データを取得することができる場合には、第一検査用データ取得部６６および第二検査用データ取得部７６は、無線通信もしくは有線通信を介して、第一検査装置６０および第二検査装置７０以外の装置から検査用のデータを取得する通信機とされてもよい。

【0080】

（Ｃ４）上記各実施形態では、第一検査装置６０の第一判定部６２６が暫定不良範囲を抽出する例を示した。これに対して、例えば、第二検査部７２４など、第二検査装置７０の各部が暫定不良範囲を抽出してもよい。この場合には、第一閾値ＴＳ１および第二閾値ＴＳ２は、第二検査装置７０の記憶装置７４に格納される。第二検査装置７０は、第一検査装置６０から第一通信部６８を介して第一不良確率ＦＰ１を取得し、取得した第一不良確率ＦＰ１と、第一閾値ＴＳ１および第二閾値ＴＳ２とを比較することにより、暫定不良範囲を抽出する。

【0081】

（Ｃ５）上記各実施形態では、第一検査用データのうち第一不良確率が第一閾値ＴＳ１以上第二閾値ＴＳ２未満となる箇所が、暫定不良範囲として抽出される。これに対して、第一不良確率が第一閾値ＴＳ１以上の箇所と、さらに、第一不良確率が第二閾値ＴＳ２以上の箇所との双方の箇所が暫定不良範囲として抽出されてもよい。この形態の検査システム１００によれば、第一検査装置６０で不良ありと判定される箇所を、第二検査装置７０によって再度検査することができる。

【0082】

（Ｃ６）上記各実施形態では、第一検査工程において、処理速度が速いモデルを第一学習モデル６４４として採用することにより、第一検査工程の処理速度を向上させている。この結果、第一検査工程の検査範囲が第二検査工程の検査範囲よりも大きくされている。これに対して、第一検査装置６０が取得する検査用データの解像度を、例えば、第二検査装置７０が取得する検査用データの解像度よりも下げることによって、第一検査工程の処理速度を向上させ、第一検査工程の検査範囲が拡大されてもよい。この場合において、第一学習モデル６４４と、第二学習モデル７４４とが互いに同一のモデルであってもよい。

【0083】

（Ｃ７）第一検査工程で暫定不良範囲がないと判定された場合には、第二検査工程が省略されてもよい。もしくは、第一検査工程で暫定不良範囲がないと判定された場合に、第二検査工程において、例えば、第三学習モデル７４６を用いて予め定められた検査範囲が検査されてもよく、第一検査工程と同様の検査が行われてよい。

【0084】

（Ｃ８）上記各実施形態において、検査システム１００は、第一検査装置６０と、第二検査装置７０との二つの検査装置を備える例を示した。これに対して、例えば、検査システム１００に代えて、第一検査装置６０と、第二検査装置７０との二つの検査装置の機能を統合した一つの検査装置で構成されてもよい。また、検査システム１００に代えて、暫定不良範囲の抽出と、検査対象の検査とを行う第二検査装置７０のみで構成されてもよい。この場合において、第二検査装置７０は、第一検査装置６０から第一不良確率を取得して、取得した第一不良確率から暫定不良範囲を抽出して検査を行ってもよい。

【0085】

（Ｃ９）上記各実施形態において、製造ラインＬＰは、第一製造装置３１と、第二製造装置３２とを備える例を示した。これに対して、第一製造装置３１は、例えば、別工場など、製造ラインＬＰ以外の場所に備えられてもよい。この場合において、第一検査装置６０は、製造ラインＬＰに備えられてよく、第一製造装置３１と同様に製造ラインＬＰ以外の場所に備えられてもよい。「第一製造工程で処理された検査対象」には、製造ラインＬＰ以外の場所の第一製造装置３１によって処理された後に納品された検査対象が含まれる。

【0086】

（Ｃ１０）上記各実施形態において、第一学習モデル６４４と、第二学習モデル７４４とが互いに異なるモデルである例を示した。これに対して、第一学習モデル６４４と、第二学習モデル７４４とが同じモデルであってもよい。

【0087】

（Ｃ１１）上記各実施形態において、第一検査装置６０は、第一学習モデル６４４を備え、第二検査装置７０は、第二学習モデル７４４を備えている。これに対して、第一検査装置６０および第二検査装置７０は、学習モデルを備えない任意の種類の検査装置であってもよい。

【0088】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0089】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0090】

３１…第一製造装置、３２…第二製造装置、４１…第一搬送装置、４２…第二搬送装置、５１…第一修正工程、５２…第二修正工程、６０…第一検査装置、６１…バス、６２…ＣＰＵ、６４…記憶装置、６６…第一検査用データ取得部、６８…第一通信部、７０，７０ｂ…第二検査装置、７１…バス、７２…ＣＰＵ、７４…記憶装置、７６…第二検査用データ取得部、７７…暫定不良範囲取得部、７８…第二通信部、１００…検査システム、６２４…第一検査部、６２６…第一判定部、６４４…第一学習モデル、７２４…第二検査部、７２６…第二判定部、７４４…第二学習モデル、７４６…第三学習モデル、ＤＳ…データ基準値、ＬＰ…製造ライン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】