ホーム > 特許ランキング > ＪＦＥテクノリサーチ株式会社
▶ ＪＦＥテクノリサーチ株式会社の特許一覧 ▶ ＪＦＥスチール株式会社の特許一覧 ▶ トヨタ自動車九州株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023166293
(43)【公開日】2023-11-21
(54)【発明の名称】検査方法及び検査装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20231114BHJP
G01N 21/88 20060101ALI20231114BHJP
G06V 10/766 20220101ALI20231114BHJP
【ＦＩ】
G06T7/00 610Z
G01N21/88 J
G06V10/766
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022077260
(22)【出願日】2022-05-09
(71)【出願人】
【識別番号】591006298
【氏名又は名称】ＪＦＥテクノリサーチ株式会社
(71)【出願人】
【識別番号】000001258
【氏名又は名称】ＪＦＥスチール株式会社
(71)【出願人】
【識別番号】596002767
【氏名又は名称】トヨタ自動車九州株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100165696
【弁理士】
【氏名又は名称】川原 敬祐
(74)【代理人】
【識別番号】100202326
【弁理士】
【氏名又は名称】橋本 大佑
(72)【発明者】
【氏名】浅野 一哉
(72)【発明者】
【氏名】▲濱▼ 慎一
(72)【発明者】
【氏名】佐藤 健太郎
(72)【発明者】
【氏名】福永 修大
(72)【発明者】
【氏名】井手 達也
(72)【発明者】
【氏名】川▲崎▼ 千代
(72)【発明者】
【氏名】岩川 風
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA89
2G051AB20
2G051EB05
2G051ED03
5L096BA03
5L096EA39
5L096FA28
5L096GA32
(57)【要約】
【課題】プレス加工されたプレス部品である対象物の異常判定に関する精度を向上させる検査方法を提供する。
【解決手段】検査方法は、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、ｍ個の画素を含む対象物Ｍの対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、ｍ個の要素を含むｎ個の正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、回帰モデルの係数及びｎ個の正常画像ベクトルに基づいて対象物画像ベクトルを近似する対象物画像の再構成ベクトルを算出するステップと、対象物画像ベクトルと再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、再構成誤差ベクトルの要素の値に基づいて対象物の異常の有無を判定するステップと、を含む。
【選択図】図３
【解決手段】検査方法は、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、ｍ個の画素を含む対象物Ｍの対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、ｍ個の要素を含むｎ個の正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、回帰モデルの係数及びｎ個の正常画像ベクトルに基づいて対象物画像ベクトルを近似する対象物画像の再構成ベクトルを算出するステップと、対象物画像ベクトルと再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、再構成誤差ベクトルの要素の値に基づいて対象物の異常の有無を判定するステップと、を含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
プレス加工されたプレス部品である対象物を撮像して得られた画像に基づき前記対象物を検査する検査方法であって、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出するステップと、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定するステップと、
を含む、
検査方法。
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出するステップと、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定するステップと、
を含む、
検査方法。
【請求項2】
請求項１に記載の検査方法であって、
前記対象物画像から前記対象物の表面温度分布を取得するステップをさらに含む、
検査方法。
前記対象物画像から前記対象物の表面温度分布を取得するステップをさらに含む、
検査方法。
【請求項3】
請求項２に記載の検査方法であって、
前記再構成誤差ベクトルとして算出するステップにおいて、前記表面温度分布において前記対象物画像ベクトルが前記再構成ベクトルよりも低温となる部分で値が大きくなる第１再構成誤差ベクトル、及び前記表面温度分布において前記対象物画像ベクトルが前記再構成ベクトルよりも高温となる部分で値が大きくなる、前記第１再構成誤差ベクトルと異なる第２再構成誤差ベクトルの少なくとも一方を算出する、
検査方法。
前記再構成誤差ベクトルとして算出するステップにおいて、前記表面温度分布において前記対象物画像ベクトルが前記再構成ベクトルよりも低温となる部分で値が大きくなる第１再構成誤差ベクトル、及び前記表面温度分布において前記対象物画像ベクトルが前記再構成ベクトルよりも高温となる部分で値が大きくなる、前記第１再構成誤差ベクトルと異なる第２再構成誤差ベクトルの少なくとも一方を算出する、
検査方法。
【請求項4】
請求項１乃至３のいずれか１項に記載の検査方法であって、
前記回帰モデルを算出するステップにおいて、ｍ個の要素を含むｎ個の前記正常画像ベクトルをｎ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
前記再構成ベクトルを算出するステップにおいて、前記回帰モデルの係数でｎ個の前記正常画像ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査方法。
前記回帰モデルを算出するステップにおいて、ｍ個の要素を含むｎ個の前記正常画像ベクトルをｎ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
前記再構成ベクトルを算出するステップにおいて、前記回帰モデルの係数でｎ個の前記正常画像ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査方法。
【請求項5】
請求項１乃至３のいずれか１項に記載の検査方法であって、
前記回帰モデルを算出するステップにおいて、あらかじめ算出された重みを用いてｎ個の前記正常画像ベクトルを重み付けして加算することで得られたｄ個（ｄ＜ｎ）の中間変数ベクトルをｄ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
前記再構成ベクトルを算出するステップにおいて、前記回帰モデルの係数でｄ個の前記中間変数ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査方法。
前記回帰モデルを算出するステップにおいて、あらかじめ算出された重みを用いてｎ個の前記正常画像ベクトルを重み付けして加算することで得られたｄ個（ｄ＜ｎ）の中間変数ベクトルをｄ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
前記再構成ベクトルを算出するステップにおいて、前記回帰モデルの係数でｄ個の前記中間変数ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査方法。
【請求項6】
請求項５に記載の検査方法であって、
ｎ個の前記正常画像ベクトルに掛け合わせる重みを、主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いてあらかじめ算出し、前記中間変数ベクトルを算出するステップをさらに含む、
検査方法。
ｎ個の前記正常画像ベクトルに掛け合わせる重みを、主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いてあらかじめ算出し、前記中間変数ベクトルを算出するステップをさらに含む、
検査方法。
【請求項7】
請求項１乃至３のいずれか１項に記載の検査方法であって、
前記回帰モデルは、線形回帰モデルを含む、
検査方法。
前記回帰モデルは、線形回帰モデルを含む、
検査方法。
【請求項8】
プレス加工されたプレス部品である対象物を撮像して得られた画像に基づき前記対象物を検査する検査装置であって、
制御部を備え、
前記制御部は、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得し、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得し、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出し、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出し、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出し、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定する、
検査装置。
制御部を備え、
前記制御部は、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得し、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得し、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出し、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出し、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出し、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定する、
検査装置。
【請求項9】
請求項８に記載の検査装置であって、
前記制御部は、前記対象物画像から前記対象物の表面温度分布を取得する、
検査装置。
前記制御部は、前記対象物画像から前記対象物の表面温度分布を取得する、
検査装置。
【請求項10】
請求項９に記載の検査装置であって、
前記制御部は、前記再構成誤差ベクトルの算出において、前記表面温度分布において前記対象物画像ベクトルが前記再構成ベクトルよりも低温となる部分で値が大きくなる第１再構成誤差ベクトル、及び前記表面温度分布において前記対象物画像ベクトルが前記再構成ベクトルよりも高温となる部分で値が大きくなる、前記第１再構成誤差ベクトルと異なる第２再構成誤差ベクトルの少なくとも一方を算出する、
検査装置。
前記制御部は、前記再構成誤差ベクトルの算出において、前記表面温度分布において前記対象物画像ベクトルが前記再構成ベクトルよりも低温となる部分で値が大きくなる第１再構成誤差ベクトル、及び前記表面温度分布において前記対象物画像ベクトルが前記再構成ベクトルよりも高温となる部分で値が大きくなる、前記第１再構成誤差ベクトルと異なる第２再構成誤差ベクトルの少なくとも一方を算出する、
検査装置。
【請求項11】
請求項８乃至１０のいずれか１項に記載の検査装置であって、
前記制御部は、
前記回帰モデルの算出において、ｍ個の要素を含むｎ個の前記正常画像ベクトルをｎ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
前記再構成ベクトルの算出において、前記回帰モデルの係数でｎ個の前記正常画像ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査装置。
前記制御部は、
前記回帰モデルの算出において、ｍ個の要素を含むｎ個の前記正常画像ベクトルをｎ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
前記再構成ベクトルの算出において、前記回帰モデルの係数でｎ個の前記正常画像ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査装置。
【請求項12】
請求項８乃至１０のいずれか１項に記載の検査装置であって、
前記制御部は、
前記回帰モデルの算出において、あらかじめ算出された重みを用いてｎ個の前記正常画像ベクトルを重み付けして加算することで得られたｄ個（ｄ＜ｎ）の中間変数ベクトルをｄ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
前記再構成ベクトルの算出において、前記回帰モデルの係数でｄ個の前記中間変数ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査装置。
前記制御部は、
前記回帰モデルの算出において、あらかじめ算出された重みを用いてｎ個の前記正常画像ベクトルを重み付けして加算することで得られたｄ個（ｄ＜ｎ）の中間変数ベクトルをｄ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
前記再構成ベクトルの算出において、前記回帰モデルの係数でｄ個の前記中間変数ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査装置。
【請求項13】
請求項１２に記載の検査装置であって、
前記制御部は、ｎ個の前記正常画像ベクトルに掛け合わせる重みを、主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いてあらかじめ算出し、前記中間変数ベクトルを算出する、
検査装置。
前記制御部は、ｎ個の前記正常画像ベクトルに掛け合わせる重みを、主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いてあらかじめ算出し、前記中間変数ベクトルを算出する、
検査装置。
【請求項14】
請求項８乃至１０のいずれか１項に記載の検査装置であって、
前記回帰モデルは、線形回帰モデルを含む、
検査装置。
前記回帰モデルは、線形回帰モデルを含む、
検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査方法及び検査装置に関する。
【背景技術】
【0002】
従来、対象物をカメラで撮像して得られた画像に基づいて、対象物の異常を検出する技術が知られている。
【0003】
例えば特許文献１には、プレス工程におけるクラックなどの欠陥を、自動的に確実に検出することを低コストで実現可能なプレス部品の欠陥検出方法が開示されている。例えば特許文献２には、プレス加工後のプレス部品に発生した欠陥の見逃し及び誤検知を抑制することが可能なプレス部品の欠陥検出方法が開示されている。例えば特許文献３には、対象物の欠損、誤配置、欠陥などを含む異常の有無を検査する検査装置が開示されている。このような検査装置は、対象物及びカメラの確実な固定並びに対象物を撮像して取得した画像データの画素ごとの高精度な位置合わせを行うといった制約を緩和する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００６－１７７８９２号公報
【特許文献2】特開２００９－２９４１８９号公報
【特許文献3】特許第６２４１５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、異常判定に関して十分な精度が得られていなかった。
【0006】
本開示は、プレス加工されたプレス部品である対象物の異常判定に関する精度を向上させることが可能な検査方法及び検査装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一実施形態に係る検査方法は、
プレス加工されたプレス部品である対象物を撮像して得られた画像に基づき前記対象物を検査する検査方法であって、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出するステップと、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定するステップと、
を含む。
プレス加工されたプレス部品である対象物を撮像して得られた画像に基づき前記対象物を検査する検査方法であって、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出するステップと、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定するステップと、
を含む。
【0008】
本開示の一実施形態に係る検査装置は、
プレス加工されたプレス部品である対象物を撮像して得られた画像に基づき前記対象物を検査する検査装置であって、
制御部を備え、
前記制御部は、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得し、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得し、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出し、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出し、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出し、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定する。
プレス加工されたプレス部品である対象物を撮像して得られた画像に基づき前記対象物を検査する検査装置であって、
制御部を備え、
前記制御部は、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得し、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得し、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出し、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出し、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出し、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定する。
【発明の効果】
【0009】
本開示の一実施形態に係る検査方法及び検査装置によれば、プレス加工されたプレス部品である対象物の異常判定に関する精度を向上させることが可能である。
【図面の簡単な説明】
【0010】
【図1】本開示の一実施形態に係る検査装置の構成を示す概略構成図である。
【図4A】対象物の正常画像の第１例を示す図である。
【図4B】対象物の正常画像の第２例を示す図である。
【図4C】対象物の正常画像の第３例を示す図である。
【図4D】対象物の正常画像の第４例を示す図である。
【図5A】正常画像から主成分分析によって抽出された第１主成分を示す図である。
【図5B】正常画像から主成分分析によって抽出された第２主成分を示す図である。
【図5C】正常画像から主成分分析によって抽出された第３主成分を示す図である。
【図5D】正常画像から主成分分析によって抽出された第４主成分を示す図である。
【図6】検査対象となる対象物の対象物画像の一例を示す図である。
【発明を実施するための形態】
【0011】
従来技術の背景及び問題点についてより詳細に説明する。
【0012】
自動車の車体を製造する工程では、材料の薄い鋼板又はアルミニウム板のような金属板をプレス加工して車体をプレス加工品（以下、「プレス部品」とも称する。）として形成する場合が多い。当該プレス加工は、オス型及びメス型を含む一対の金型を備えるプレス装置を用い、一対の金型間に配置した金属板を両金型で加圧することで行われる。当該プレス加工は、車体のような同一形状の部品を大量生産する加工方法として用いられる。
【0013】
しかしながら、プレス加工品の製造においては、材料となる金属板の素材特性に生じるばらつき、プレス装置の加圧条件に生じる変動などの理由により、プレス部品に亀裂、割れなどを含む欠陥が発生する可能性がある。また、プレス加工によりプレス部品を連続的に高速生産する場合などでは、プレス部品及びプレス加工に用いる金型に熱（以下、「加工熱」という。）が発生する。加工熱が発生すると、金型及び材料の表面に塗布する潤滑剤の劣化、金型に発生する熱変形などの理由により、プレス部品に欠陥が発生する可能性が高まる。加工熱の発生要因は季節、加工条件などによって変化する。したがって、プレス部品に欠陥が発生するか否かを予測することは困難であった。
【0014】
近年では、素材品質の向上及びプレス加工技術の進展により、プレス部品に発生する欠陥は大幅に減少しているものの、その発生を完全に防止することは困難である。自動車の車体用のプレス部品では、発生した欠陥が数ｍｍ程度の大きさであっても、そのプレス部品を製品として使用することは不可能である。したがって、プレス部品に発生する欠陥は重要な問題である。特に、素材特性に生じるばらつきなどを含む材料の不具合により、プレス部品に連続して欠陥が発生し、その部品がそのまま後工程の車体組み立てに使用された場合には、作業コスト、材料コストなどの損失、すなわち金額的損失が非常に大きい。
【0015】
このため、プレス加工による欠陥が発生しやすいプレス部品に対しては、プレス部品に対して、検査員の目視により個別に検査する工程を実施する場合がある。しかしながら、プレス加工により形成するプレス部品は、一つあたりの加工に要する時間が短く、例えば、一時間あたり５００個程度のロット単位で生産される。したがって、それらのプレス部品を全て目視で検査することは非常に困難である。また、目視による検査ではプレス部品に発生する欠陥を見逃してしまう可能性がある。
【0016】
これらの問題を解決するため、特許文献１では、プレス部品の欠陥検出方法及びプレス部品の欠陥検出装置が提案されている。特許文献１に記載のプレス部品の欠陥検出方法は、プレス成形後の部品上の熱分布を解析してクラックなどの部品欠陥を検出するものである。より具体的には、当該欠陥検出方法は、プレス成形直後の部品表面から放射される赤外線を赤外線撮像装置で取り込むステップと、プレス成形時の加工熱により変化した部品表面の温度分布を解析するステップと、予め設定された参照温度分布と比較することによりプレス加工による欠陥を検出するステップと、を含む。
【0017】
しかしながら、プレス加工によって発生する加工熱によって、金型の温度はプレス加工を繰り返すごとに上昇する。したがって、プレス加工後のプレス部品の温度はロットの後半ほど上昇する。また、加工熱は、周囲の温度に大きく影響を受ける。したがって、例えば夏季と冬季など、周囲の温度に大きな差異がある場合、部品表面上における加工熱の温度分布には、大きな差異が発生する。結果として、参照温度分布をこのような変動に対応させて設定することは困難であり、プレス成形後のプレス部品の温度分布と参照温度分布との差異に基づいて欠陥を検出すると、欠陥を見逃したり、欠陥ではないものを欠陥として誤検出したりするという問題が生じやすかった。
【0018】
これに対し、特許文献２では、プレス加工後のプレス部品の表面温度分布のうち周辺の領域から所定の温度差以上で温度が変化した温度急変領域を空間二次微分処理により検出するステップと、検出した温度急変領域に基づいてプレス部品に欠陥が発生したか否かを判定するステップと、を含むプレス部品の欠陥検出方法が提案されている。特許文献２に記載の欠陥検出方法では、プレス加工後のプレス部品を赤外線カメラで撮像することによって表面温度分布が得られる。
【0019】
このような検査対象となる対象物を可視光、紫外線、赤外線、Ｘ線などを含む電磁波を用いて撮像を行うカメラから得られた画像に基づいて対象物の異常を検出する技術が知られている。このような技術は、最終製品又は中間製品の品質を管理する上で重要であり、広く用いられている。
【0020】
従来、画像中の異常を検出するために、異常部の輝度、色調、テキスチャーなどが、異常部以外の部分、すなわち正常部と異なる特徴を示すことが利用されている。従来、異常部と正常部との間の画素値の差異に基づいて、異常部の有無の判定及び異常部の位置の同定を行う方法が知られている。例えば、異常部の輝度が正常部よりも低い場合、画素値があらかじめ定められた閾値よりも小さい部分を異常部として検出することが可能である。
【0021】
しかしながら、このような方法では、例えば、対象物の温度の変動などにより当該画像の画素値の平均的なレベルが変動した場合に異常部を検出できなかったり（未検出）、あるいは正常部を異常部と判断したりする（過検出）といった問題が生じていた。
【0022】
別の方法として、異常を含まない対象物の画像を基準画像とし、当該基準画像と検査対象となる対象物の画像との差分を含む画像を算出してその画素値があらかじめ定められた閾値を超える部分を異常部として検出する方法も知られている。しかしながら、このような方法では、例えば、対象物の温度の変動などにより当該画像の画素値の平均的なレベルが変動した場合に基準画像とのレベルの差が大きくなり、過検出が生じるという問題が生じていた。また、基準画像内の対象物と、検査対象となる画像内の対象物との間の位置を正確に合わせる必要があるという問題も生じていた。
【0023】
これに対し、特許文献３に記載の検査装置は、異常を含まない対象物の画像データに対してデータの次元を低減させる次元圧縮を実行する。当該検査装置は、異常を含まない対象物の画像データの性質を表すパラメータを算出する。当該検査装置は、検査する対象物の画像データを、当該パラメータを用いて次元圧縮する。当該検査装置は、次元圧縮された検査する対象物の画像データを復元した復元データを生成する。当該検査装置は、検査する対象物の画像データと復元データとの差分の大小に基づいて、検査する対象物が異常であるか否かを判定する。
【0024】
しかしながら、特許文献２に記載のプレス部品の欠陥検出方法では、以下のような問題が生じていた。
【0025】
プレス部品の欠陥の有無を正確に判定するためには、温度急変領域における温度変化の有無を検出するときに用いる二値化閾値を適切に設定する必要がある。特許文献２では、表面温度分布を複数に分割した領域ごとに、提案されている欠陥検出方法を用いることが記載されているが、この場合、上記の二値化閾値を領域ごとに適切に設定する必要がある。したがって、負荷の高い調整作業が必要となるという課題が生じていた。結果として、二値化閾値が適切でない領域では欠陥を見逃したり（未検出）、あるいは正常部を欠陥と判定したりする（過検出）といった問題が生じていた。
【0026】
さらに、アルミニウム板のようにプレス加工による加工熱が小さい材料を用いる場合、欠陥があっても、その周辺の温度変化量が小さく、表面温度分布の検出に基づく方法では欠陥が検出できないといった問題も生じていた。
【0027】
また、特許文献３に記載の検査装置は、異常を含まない対象物の画像データに対してデータの次元を低減させる次元圧縮を実行するため、以下のような問題を有する。
【0028】
次元圧縮の方法として、特許文献３に記載の主成分分析について説明する。次元圧縮の対象となる正常画像のデータ数をＮとし、画像データ１枚ごとの画素の総数をＫとする。例えば、Ｎの値は１００、１０００などであり、Ｋの値は画像が６４０×４８０画素であれば３０７２００である。特許文献１に記載の検査装置は、主成分分析によってｄ次元の主成分を算出すると、ｄ≦Ｋであり、ｄ＋１次元以上を捨てることでＮ次元の画像データをｄ次元に圧縮する。
【0029】
特許文献３に記載の検査装置は、画像データ中の各画素の値を変数とし、各画像データを観測値としている。しかしながら、上記のように、一般的に画像データの画素数Ｋは、画像データ数Ｎよりもはるかに大きい。この場合、主成分分析における変数の数Ｋが観測値Ｎよりもはるかに大きくなり、主成分分析における分散共分散行列のランク落ちが生じる。すなわち、用いることができる主成分の数は、ｄ≦Ｎ＜Ｋを満たすｄ以下となる。
【0030】
さらに、画像において対象物以外を示す部分、すなわち背景部分は、どの画像でも０などの一定値を示すことが多い。このような場合、当該画素値に対する変数はすべての観測値に対して同一の値となる。このような画素が複数存在すると、多重共線性によってさらなるランク落ちが生じる。結果として、主成分分析が正しく行われず、対象物の異常判定に関する精度が十分に得られていなかった。
【0031】
特許文献３に記載の検査装置は画像を圧縮しているので、元の画像に含まれていた詳細なデータを削減して情報を失うことになる。したがって、特許文献３に記載の検査装置は、対象物の微細な傷などの小さな異常を検出することが困難である。したがって、対象物の異常判定に関する精度が十分に得られていなかった。
【0032】
本開示は、以上のような問題点を解決するために、プレス加工されたプレス部品である対象物の異常判定に関する精度を向上させることが可能な検査方法及び検査装置を提供することを目的とする。本開示は、検査対象となる対象物の画像から、対象物の異常を検出する検査方法及び検査装置に関する。本開示は、例えば自動車の車体など、金属板をプレス加工して形成されるプレス部品などの検査対象に応用可能である。以下では、添付図面を参照しながら本開示の一実施形態について主に説明する。
【0033】
【0034】
検査装置１０は、生産管理システム１に接続されている。検査装置１０は、赤外線カメラなどを含むカメラ２によって撮像された対象物Ｍの画像を取得する。対象物Ｍは、生産管理システム１により生産されている。検査装置１０は、当該画像に基づき、検査対象となる対象物Ｍを検査する。より具体的には、検査装置１０は、当該画像に基づき対象物Ｍの異常を検出する。本明細書において、「対象物Ｍの異常」は、例えば対象物Ｍの疵、割れ、汚れ、変形、欠損、欠陥などを含む。
【0035】
本明細書において、「対象物Ｍ」は、例えば工業的に大量生産される最終製品及び中間製品を含む製品であって、製造された製品のばらつきが小さく、形状、色、温度などがほぼ同一であること、並びに撮像するときの位置及び角度のずれが小さいことを満たす製品を含む。より具体的には、対象物Ｍは、プレス加工されたプレス部品である。
【0036】
検査装置１０は、画像入力部１１と、記憶部１２と、入力部１３と、出力部１４と、制御部１５と、を有する。
【0037】
画像入力部１１は、カメラ２から出力される対象物Ｍの画像を取得可能な任意のモジュールを含む。例えば、画像入力部１１は、カメラ２の通信規格に対応する通信モジュールを含む。検査装置１０は、画像入力部１１を介してカメラ２に接続されている。画像入力部１１は、カメラ２によって撮像された画像であって、生産管理システム１により生産されている対象物Ｍの画像を取得する。画像入力部１１は、取得された画像を制御部１５に出力する。
【0038】
記憶部１２は、例えば半導体メモリ、磁気メモリ、又は光メモリであるが、これらに限定されない。記憶部１２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１２は、検査装置１０の動作に用いられる任意の情報を記憶する。記憶部１２は、システムプログラム、アプリケーションプログラム、画像入力部１１により取得された画像などを記憶する。記憶部１２は、制御部１５により実行された演算の結果及び判定の結果を情報として記憶する。記憶部１２は、その機能の一部を示す機能ブロックとして、説明変数保存部１２１と、結果保存部１２２と、を有する。
【0039】
入力部１３は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力モジュールを含む。例えば、入力部１３は、物理キー、静電容量キー、出力部１４のディスプレイと一体的に設けられたタッチスクリーン、音声入力を受け付けるマイクロフォンなどを含む。
【0040】
出力部１４は、情報を出力してユーザに通知する１つ以上の出力モジュールを含む。例えば、出力部１４は、情報を映像で出力するディスプレイ、情報を音声で出力するスピーカ、対象物Ｍに異常が検出されたことを視覚的な情報として出力する回転灯などを含む。
【0041】
制御部１５は、１つ以上のプロセッサを含む。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。制御部１５は、検査装置１０を構成する各構成部と通信可能に接続され、検査装置１０全体の動作を制御する。制御部１５は、検査装置１０を構成する各構成部の処理のタイミング、設定などを適正に制御する。制御部１５は、その機能の一部を示す機能ブロックとして、説明変数生成部１５１と、画像解析部１５２と、結果判定部１５３と、入出力インタフェース１５４と、を有する。
【0042】
（動作・機能）
以下では、検査装置１０の動作及び機能について主に説明する。
以下では、検査装置１０の動作及び機能について主に説明する。
【0043】
図１に示すように、検査対象となる対象物Ｍは、例えばプレス部品である。カメラ２は、対象物Ｍを撮像して、得られた対象物Ｍの画像を検査装置１０に出力する。検査装置１０の制御部１５は、画像入力部１１を介して、対象物Ｍの画像をカメラ２から取得する。
【0044】
制御部１５は、検査装置１０の動作として、学習モード及び検査モードに対応する２つの動作を実現する。学習モードは、後述する回帰モデルの説明変数を得るモードである。制御部１５は、検査モードを実行する前に少なくとも１回、学習モードを実行する必要がある。その後、制御部１５は、後述する説明変数データを追加したり、更新したりする必要があるときに学習モードを実行すればよい。制御部１５は、通常の動作では、検査モードを主に実行すればよい。
【0045】
検査モードは、検査対象となる対象物Ｍがカメラ２の撮像範囲に到着するごとに対象物Ｍの検査を行うモードである。制御部１５は、入力部１３からの入力情報を、入出力インタフェース１５４を介して取得し、当該入力情報に応じて検査装置１０を操作する。制御部１５は、当該入力情報に応じて、学習モードと検査モードとの切り替え処理を実行する。このような入力情報は、例えばキーボードなどを含む入力部１３を用いた、検査装置１０の操作者としてのユーザの入力操作に基づいて入力部１３により取得される。
【0046】
制御部１５は、学習モードによる検査装置１０の動作において、検査対象となる対象物Ｍがいくつかのグループに分けられる場合、グループごとに説明変数データを生成する。制御部１５は、検査装置１０に接続されている生産管理システム１から、現在生産されている対象物Ｍの情報を取得する。対象物Ｍの情報は、例えば対象物Ｍが属するグループのグループ名を含む。制御部１５は、グループごとに学習を適切に行う。
【0047】
制御部１５は、対象物Ｍがカメラ２の撮像範囲に到着すると、画像入力部１１を介してカメラ２に信号を出力する。カメラ２は、そのタイミングで対象物Ｍを撮像し、得られた画像を検査装置１０に出力する。制御部１５の説明変数生成部１５１は、得られた画像を、画像入力部１１を介してカメラ２から取得する。説明変数生成部１５１は、同一グループに属する複数枚の正常画像から説明変数データを生成する。説明変数生成部１５１は、生成された説明変数データを、記憶部１２の説明変数保存部１２１に格納する。説明変数保存部１２１は、このような説明変数データをグループごとに記憶する。
【0048】
説明変数生成部１５１が説明変数データを生成するときに、同一グループに属する複数枚の正常画像を用いる理由は以下のとおりである。後述する図４Ａ乃至図４Ｄに示す正常画像の例を参照すると、これらの正常画像は、プレス加工後のプレス部品をカメラ２としての赤外線カメラで撮像して得られたものである。これらの正常画像は、プレス部品の表面温度分布をグレースケール画像として表している。本明細書において、「表面」は、例えば対象物Ｍの板厚方向において最も外側に位置する面である。「表面温度分布」は、例えばこのような表面における温度分布を意味する。
【0049】
プレス加工で発生する加工熱によって金型の温度が上昇するため、プレス加工後のプレス部品の温度はロットの後半ほど上昇する。また、プレス加工時に作用する応力が高い部分及び金型との摺動が激しい部分ではプレス部品の表面温度が上昇する。したがって、プレス部品の表面温度分布は、プレス部品ごとに少しずつ変動する。したがって、その変動の影響を抑制するために、複数枚の正常画像が用いられる。必要となる正常画像の枚数は、変動の大きさを考慮して調整される。必要となる正常画像の枚数は、変動が大きいほど多くなる。
【0050】
説明変数生成部１５１は、複数枚の正常画像をベクトルに変換した正常画像ベクトルから説明変数データを生成する。図２は、図１の検査装置１０の動作の一例を説明するための模式図である。図２に示すように、説明変数生成部１５１は、画像に含まれる画素値を定められたルールで並べてベクトルの要素とすることで、正常画像をベクトルに変換する。
【0051】
例えば、説明変数生成部１５１は、横方向にａ個、縦方向にｂ個の画素が並べられた画像を左上の画素を最初の要素、右下の画素を最後の要素としてベクトルに変換する。説明変数生成部１５１は、このようなルールを任意に設定可能であるが、すべての正常画像及び検査対象となる対象物Ｍの画像に対して同一のルールを適用する。ｍ＝ａ×ｂとし、正常画像の数をｎとすれば、ｍ個の要素を含むｎ個の正常画像ベクトルが得られる。説明変数生成部１５１は、それらを説明変数データとして取得する。
【0052】
図１を再度参照すると、制御部１５は、検査モードによる検査装置１０の動作において、検査装置１０に接続されている生産管理システム１から、現在生産されている検査対象となる対象物Ｍの情報を取得する。検査対象となる対象物Ｍの情報は、例えば検査対象となる対象物Ｍが属するグループのグループ名を含む。制御部１５の画像解析部１５２は、説明変数保存部１２１に格納されている説明変数データのうち、現在検査対象となっている対象物Ｍに対応する説明変数データを読み出す。
【0053】
制御部１５は、検査対象となる対象物Ｍがカメラ２の撮像範囲に到着すると、画像入力部１１を介してカメラ２に信号を出力する。カメラ２は、そのタイミングで対象物Ｍを撮像し、得られた画像を検査装置１０に出力する。制御部１５の画像解析部１５２は、得られた画像を、画像入力部１１を介してカメラ２から取得する。
【0054】
画像解析部１５２は、検査対象となる対象物Ｍの画像をベクトルに変換して対象物画像ベクトルを生成する。画像解析部１５２は、生成された対象物画像ベクトルを目的変数とし、説明変数保存部１２１から取得した説明変数データを用いて回帰モデルを算出する。回帰モデルは、例えば線形回帰モデルを含む。
【0055】
画像解析部１５２は、このような線形回帰分析により、対象物画像ベクトルを近似する再構成ベクトルを算出し、さらに対象物画像ベクトルと再構成ベクトルとの差分を再構成誤差ベクトルとして算出する。画像解析部１５２は、算出された再構成誤差ベクトルを結果判定部１５３に出力する。
【0056】
結果判定部１５３は、画像解析部１５２において算出された再構成誤差ベクトルに基づいて、検査対象となる対象物Ｍの異常の有無を判定する。結果判定部１５３は、例えば再構成誤差ベクトルの要素の値と、あらかじめ設定された第１閾値とを比較する。結果判定部１５３は、第１閾値以上の要素の数があらかじめ設定された第２閾値以上であるか否かを判定する。結果判定部１５３は、第１閾値以上の要素の数が第２閾値以上であると判定すると、対象物Ｍに異常有りと識別する。
【0057】
結果判定部１５３は、判定結果を、記憶部１２の結果保存部１２２に格納する。結果判定部１５３は、入出力インタフェース１５４を介して、出力部１４のディスプレイに判定結果を表示させる。加えて、結果判定部１５３は、対象物Ｍに異常有りと判定したときに、出力部１４のスピーカを用いてアラームを鳴らしてもよいし、出力部１４の回転灯を点灯させてもよい。これにより、結果判定部１５３は、検査対象となる対象物Ｍに異常が検出されたことを、検査装置１０の操作者としてのユーザに通知する。
【0058】
図３は、図１の検査装置１０によって実行される検査方法の一例を示すフローチャートである。図３を参照しながら、検査装置１０を用いた検査方法の主なフローについて説明する。このような検査方法では、対象物Ｍを撮像して得られた画像に基づいて対象物Ｍが検査される。
【0059】
ステップＳ１００では、検査装置１０の制御部１５は、対象物Ｍを撮像して得られた複数枚の正常画像を、画像入力部１１を介してカメラ２から取得する。
【0060】
ステップＳ１０１では、制御部１５は、ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ステップＳ１００において取得されたｎ枚の正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得する。
【0061】
ステップＳ１０２では、制御部１５は、検査対象となる対象物Ｍを撮像して得られた対象物画像を、画像入力部１１を介してカメラ２から取得する。
【0062】
ステップＳ１０３では、制御部１５は、ステップＳ１０２において取得された対象物画像から対象物Ｍの表面温度分布を取得する。
【0063】
ステップＳ１０４では、制御部１５は、ｍ個の画素を含む対象物Ｍの対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得する。
【0064】
ステップＳ１０５では、制御部１５は、ステップＳ１０１において取得されたｍ個の要素を含むｎ個の正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ステップＳ１０４において取得されたｍ個の要素を含む対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出する。
【0065】
ステップＳ１０６では、制御部１５は、ステップＳ１０５において算出された回帰モデルの係数及びステップＳ１０１において取得されたｎ個の正常画像ベクトルに基づいて対象物画像ベクトルを近似する対象物画像の再構成ベクトルを算出する。
【0066】
ステップＳ１０７では、制御部１５は、ステップＳ１０４において取得された対象物画像ベクトルとステップＳ１０６において算出された再構成ベクトルとの差分を再構成誤差ベクトルとして算出する。
【0067】
ステップＳ１０８では、制御部１５は、ステップＳ１０７において算出された再構成誤差ベクトルの要素の値に基づいて検査対象となる対象物Ｍの異常の有無を判定する。制御部１５は、異常無しと判定すると、ステップＳ１０９の処理を実行する。制御部１５は、異常有りと判定すると、ステップＳ１１０の処理を実行する。
【0068】
ステップＳ１０９では、制御部１５は、ステップＳ１０８において異常無しと判定すると、ステップＳ１０８における判定結果を出力部１４に出力させる。例えば、制御部１５は、出力部１４のディスプレイに判定結果を表示させる。
【0069】
ステップＳ１１０では、制御部１５は、ステップＳ１０８において異常有りと判定すると、検査対象となる対象物Ｍに異常が検出されたことを、出力部１４を用いてユーザに通知する。
【0070】
ステップＳ１１１では、制御部１５は、対象物Ｍの製造が終了したか否かを、生産管理システム１から出力される情報に基づいて判定する。制御部１５は、製造が終了したと判定すると、処理を終了する。制御部１５は、製造が終了していないと判定すると、ステップＳ１０２の処理を再度実行する。
【0071】
（第１実施形態）
本開示の第１実施形態に係る検査方法について、図３を参照しながらより詳細に説明する。
本開示の第１実施形態に係る検査方法について、図３を参照しながらより詳細に説明する。
【0072】
第１実施形態に係る検査方法では、制御部１５は、例えば図３のステップＳ１０１とステップＳ１０２との間で、中間変数ベクトルを算出するステップをさらに含む。制御部１５の説明変数生成部１５１は、ステップＳ１０１において取得されたｎ個の正常画像ベクトルに掛け合わせる重みを、例えば主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いて算出する。説明変数生成部１５１は、算出された重みを用いて、ステップＳ１０１において取得されたｎ個の正常画像ベクトルを重み付けして加算することで、ｄ個（ｄ＜ｎ）の中間変数ベクトルを算出する。
【0073】
図３のステップＳ１０５の回帰モデルを算出するステップにおいて、制御部１５の画像解析部１５２は、ステップＳ１０１とステップＳ１０２との間で得られたｄ個の中間変数ベクトルをｄ個の説明変数のｍ個の観測値とみなす。同様に、画像解析部１５２は、ステップＳ１０４において取得されたｍ個の要素を含む対象物画像ベクトルを目的変数のｍ個の観測値とみなす。
【0074】
図３のステップＳ１０６の再構成ベクトルを算出するステップにおいて、画像解析部１５２は、ステップＳ１０５において算出された回帰モデルの係数でｄ個の中間変数ベクトルを重み付けして加算することで再構成ベクトルを算出する。
【0075】
図４Ａは、対象物Ｍの正常画像の第１例を示す図である。図４Ｂは、対象物Ｍの正常画像の第２例を示す図である。図４Ｃは、対象物Ｍの正常画像の第３例を示す図である。図４Ｄは、対象物Ｍの正常画像の第４例を示す図である。
【0076】
上述したように、説明変数には、正常画像の変動の影響を抑制できるだけの枚数の正常画像から得た正常画像ベクトルを用いる必要がある。しかしながら、それによって説明変数の数が増加すると、検査モードにおける回帰モデルの算出に支障をきたす可能性がある。例えば、制御部１５による演算処理の負荷が大きくなり、対象物Ｍの異常判定にかかる処理時間が長くなる可能性がある。
【0077】
そこで、制御部１５は、あらかじめ算出された重みを用いてｎ個の正常画像ベクトルを重み付けして加算し、ｄ個（ｄ＜ｎ）の中間変数ベクトルを算出する。制御部１５は、ｄ個の中間変数ベクトルをｄ個の説明変数のデータとする。以下では、一例として中間変数ベクトルの算出にあたり主成分分析が用いられる場合の制御部１５による演算の内容について詳細に説明する。
【0078】
式１は、ｍ個の画素を含む正常画像をベクトル化した正常画像ベクトルを表す。
【0079】
【数1】
【0080】
式１における各ｘｉを横に並べて以下の式２のようにすべてのデータを含む行列Ｘを構成すると、行列Ｘの共分散行列Ｖは式３で与えられる。
【0081】
【数2】
【0082】
ここで、共分散行列Ｖのｉ番目に大きな固有値をλｉ、それに対応する規格化された固有ベクトルをｗｉとすると、以下の関係が成り立つ。
【0083】
【数3】
【0084】
ｗｉは、第ｉ主成分の結合係数となる。すなわち、主成分は、共分散行列Ｖの固有値問題を解くことにより求められる。
【0085】
行列Ｘのｐ番目のサンプル値を抜き出したベクトルを式６のように表す。
【0086】
【数4】
【0087】
ｚｐに対する第ｉ主成分の値ｔｐｉ（主成分得点）は、式７のように表される。
【0088】
【数5】
【0089】
式７を式１のｍ個の観測値について式８のように一つのベクトルにまとめると、式９が成り立つ。
【0090】
【数6】
【0091】
式９から、ｔｉは、行列Ｘに含まれる正常画像ベクトルに結合係数を乗じて加算した線形和であることがわかる。本開示では、制御部１５は、中間変数ベクトルとしてｔｉ（ｉ＝１，２，．．．，ｄ）、すなわち第１乃至第ｄ主成分の大きさ（主成分得点）を検査モードにおける回帰モデルの説明変数に用いる。ｄは、ｎよりも小さい数である。したがって、データ容量がｄ／ｎに圧縮されている。一般的に、正常画像ベクトルには互いに類似するデータが数多く含まれており冗長性が生じている。制御部１５は、上記のような主成分分析によって主要な成分を抽出し、情報圧縮を行うことで、回帰モデルを効率的に算出する。
【0092】
図５Ａは、正常画像から主成分分析によって抽出された第１主成分を示す図である。図５Ｂは、正常画像から主成分分析によって抽出された第２主成分を示す図である。図５Ｃは、正常画像から主成分分析によって抽出された第３主成分を示す図である。図５Ｄは、正常画像から主成分分析によって抽出された第４主成分を示す図である。図５Ａ乃至図５Ｄは、図４Ａ乃至図４Ｄに示す正常画像の例を含む５６個の正常画像のサンプルから主成分分析によって抽出された第１乃至第４主成分をそれぞれ示す。
【0093】
図５Ａに示す第１主成分は、正常画像に最も共通する成分を表している。図５Ｂ、図５Ｃ、及び図５Ｄにそれぞれ示す第２、第３、及び第４主成分は、正常画像のサンプルの変動分を表している。これらの成分において、低次の成分ほど主たる変動に対応し、高次の成分ほど微小な変動に対応したものとなる。第５主成分以降は、さらに微小な変動に対応するものとなる。
【0094】
通常であれば、第１０主成分までを用いることで十分な精度の回帰モデルを算出することができる。しかしながら、正常画像のサンプルの変動が大きい場合には、その変動の分布を表す十分な数のサンプルを用いるとともに、例えば第２０主成分などのより高次の主成分までを用いることで、正常画像の変動に対して回帰モデルの精度を維持することが可能となる。
【0095】
検査モードにおける画像解析部１５２による回帰モデルの算出について主に説明する。線形回帰の目的変数となる対象物画像ベクトルを式１０で表す。
【0096】
【数7】
【0097】
画像解析部１５２は、線形回帰の説明変数データとして、式１１で表される正常画像ベクトルを重み付け加算して得た式１２の中間変数ベクトルを用いる。
【0098】
【数8】
【0099】
主成分分析で得た式１２の中間変数ベクトルから説明変数Ｔが式１３により表される。
【0100】
【数9】
【0101】
画像解析部１５２は、式１３の説明変数Ｔに式１４の係数ｂを乗じて加算した式１５の線形回帰式を式１０のｙの予測値として求める。
【0102】
【数10】
【0103】
式１６は、対象物画像ベクトルを近似する再構成ベクトルを表す。
【0104】
画像解析部１５２は、図３のステップＳ１０７の再構成誤差ベクトルを算出するステップにおいて、第１再構成誤差ベクトル及び第１再構成誤差ベクトルと異なる第２再構成誤差ベクトルの少なくとも一方を算出する。第１再構成誤差ベクトルは、図３のステップＳ１０３において取得された表面温度分布において対象物画像ベクトルが再構成ベクトルよりも低温となる部分で値が大きくなる。第２再構成誤差ベクトルは、当該表面温度分布において対象物画像ベクトルが再構成ベクトルよりも高温となる部分で値が大きくなる。健全な部分では回帰モデルによって対象物画像ベクトルが高精度に再現されるために再構成誤差ベクトルの要素の値が小さくなる。したがって、第１再構成誤差ベクトルで値が大きくなった部分は周囲の健全な部分よりも低温であることを意味する。第２再構成誤差ベクトルで値が大きくなった部分は周囲の健全な部分よりも高温であることを意味する。
【0105】
例えば、画像解析部１５２は、対象物Ｍとしてのプレス部品の割れを検出する場合、割れによる空隙部の温度が健全な部分の温度よりも低いので、第１再構成誤差ベクトルを用いる。第１再構成誤差ベクトルは、式１６の再構成ベクトルから式１０の対象物画像ベクトルを引いたものであり、式１７により求まる。
【0106】
【数11】
【0107】
例えば、画像解析部１５２は、対象物Ｍとしてのプレス部品において、加工熱、プレス部品と金型との摺動などにより周囲よりも高温になった部分の異常を検出するときには第２再構成誤差ベクトルを用いる。第２再構成誤差ベクトルは、式１０の対象物画像ベクトルから式１６の再構成ベクトルを引いたものであり、式１８により求まる。
【0108】
【数12】
【0109】
画像解析部１５２は、式１７の第１再構成誤差ベクトル及び式１８の第２再構成誤差ベクトルの少なくとも一方を算出し、情報として結果判定部１５３に出力する。
【0110】
図６は、検査対象となる対象物Ｍの対象物画像の一例を示す図である。図６の例では、対象物Ｍに割れＣが認められる。図７は、図６の対象物画像に対する再構成画像の一例を示す図である。図７は、図６の対象物画像に対する再構成ベクトルを再度画像に変換した再構成画像を示す。複数枚の正常画像には図６に示すような対象物Ｍの割れＣを含むものは存在しない。したがって、割れＣに対応する部分は、図７に示す再構成画像において再現されていない。
【0111】
図８Ａは、図６の対象物画像に対する第１再構成誤差画像の一例を示す図である。図８Ａは、図６の対象物画像に対する式１７の第１再構成誤差ベクトルを画像に変換した第１再構成誤差画像を示す。図８Ａの第１再構成誤差画像は、図７の再構成画像に関する図６の対象物画像からの差分を示す。
【0112】
図７の再構成画像では、検査対象となる対象物Ｍの対象物画像の割れＣ以外の部分についてはよく近似されている。したがって、図８Ａの第１再構成誤差画像では当該部分が消去されて黒色で示されている。一方で、検査対象となる対象物Ｍの対象物画像の割れＣの部分については、図６の対象物画像と比較して図７の再構成画像の方がより画素値が大きく、図８Ａの第１再構成誤差画像において当該部分が白色で示されている。したがって、検査対象となる対象物Ｍの対象物画像の割れＣが検出されていることがわかる。このように、割れＣの部分の温度は周囲よりも低いので、その検出には式１７で求まる第１再構成誤差ベクトルが用いられる。
【0113】
図８Ｂは、図６の対象物画像に対する第２再構成誤差画像の一例を示す図である。図８Ｂは、図６の対象物画像に対する式１８の第２再構成誤差ベクトルを画像に変換した第２再構成誤差画像を示す。図８Ｂの第２再構成誤差画像は、図６の対象物画像に関する図７の再構成画像からの差分を示す。
【0114】
図８Ｂの第２再構成誤差画像では、プレス部品の下端部及び割れＣの周囲に高温部があることが示されている。これにより、プレス部品の変形及び摺動による部分的な温度上昇が生じていることがわかる。このように、式１８で定義された第２再構成誤差ベクトルは、異常部の表面温度が周囲よりも高い場合の異常検出に用いられる。すなわち、第２再構成誤差ベクトルを用いた検査方法は、プレス部品の変形及び摺動による部分的な温度上昇などを含む、割れＣのような欠陥の発生の予兆をとらえることができ、プレス加工のモニタリングに応用可能である。
【0115】
図９Ａは、図８Ａの第１再構成誤差画像を二値化した画像の一例を示す図である。図９Ａは、図８Ａの第１再構成誤差画像を、第１閾値を用いて二値化した画像である。周囲よりも温度が低い割れＣの部分は白画素となり、それ以外の部分は黒画素となっている。当該白画素の数が第２閾値以上となると、結果判定部１５３は、対象物Ｍに異常、例えば割れＣを含む画像であると判定する。
【0116】
図９Ｂは、図８Ｂの第２再構成誤差画像を二値化した画像の一例を示す図である。図９Ｂは、図８Ｂの第２再構成誤差画像を、第１閾値を用いて二値化した画像である。プレス部品の下端部、割れＣの周囲などの高温部は白画素となり、それ以外の部分は黒画素となっている。当該白画素の数が第２閾値以上となると、結果判定部１５３は、対象物Ｍに異常、例えばプレス部品の変形、摺動などによる異常な高温部を含む画像であると判定する。
【0117】
ここで、周囲よりも低温である部分と高温である部分との間で異なる判定基準が用いられてもよく、上記の第１閾値は、例えば、図９Ａのケース及び図９Ｂのケースに対してそれぞれ異なる値となってもよい。同様に、上記の第２閾値は、例えば、図９Ａのケース及び図９Ｂのケースに対してそれぞれ異なる値となってもよい。
【0118】
【0119】
図１０は、図８Ａに関連する対象物画像ベクトル及び再構成ベクトルの数値例を示すグラフ図である。図１０において、実線は対象物画像ベクトルに対応する。破線は、再構成ベクトルに対応する。図１０は、図８Ａの第１再構成誤差画像において異常を含む位置に重なる水平方向の破線Ｌ上での水平方向位置に対する各ベクトルの要素の値を示したものである。すなわち、図１０は、水平方向の破線Ｌ上での水平方向位置に相当する対象物画像ベクトル及び再構成ベクトルの要素をそれぞれ抽出し、横軸を水平方向位置、縦軸を各ベクトルの要素の値としてプロットしたものである。
【0120】
図１０において実線で示す対象物画像ベクトルのプロットに基づくと、異常部Ｒ０で対象物画像ベクトルの要素の値が急激に小さくなり、低温になっていることがわかる。一方で、異常部Ｒ０の近傍Ｒ１では対象物画像ベクトルの要素の値が大きく、高温になっていることがわかる。
【0121】
上記段落［００２０］に記載した従来技術のように、対象画像の画素値があらかじめ定められた閾値よりも小さい部分を異常部として検出することは、本開示の図１０に示した対象物画像ベクトルの要素の値が小さい部分を異常と判定することに対応する。この場合、図１０において実線で示す対象物画像ベクトルのプロットでは、健全な部分である領域Ｒ２についても低温で値が小さくなっていることから、異常と判定するための閾値を適切に設定することが困難である。以上から、従来技術のように対象物画像のみを用いて異常を検出及び判定することは困難である。そこで、本開示では、結果判定部１５３において、第１再構成誤差ベクトル及び第２再構成誤差ベクトルを用いて異常部Ｒ０を検出する。
【0122】
図１１は、図８Ａに関連する第１再構成誤差ベクトルの数値例を示すグラフ図である。図１１は、図８Ａの水平方向の破線Ｌ上での水平方向位置に相当する第１再構成誤差ベクトルの要素をそれぞれ抽出し、横軸を水平方向位置、縦軸を第１再構成誤差ベクトルの要素の値としてプロットしたものである。
【0123】
図１０において、領域Ｒ２を含む健全な部分では、破線で示す再構成ベクトルのプロットは、実線で示す対象物画像ベクトルのプロットと要素の値が略同一になる。すなわち、再構成ベクトルは、対象物画像ベクトルをよく近似している。これは、画像解析部１５２で得られた回帰モデルによって、対象物画像ベクトルの高精度な近似値が得られていることを示す。
【0124】
このことは、図１１に示す第１再構成誤差ベクトルのプロットにも現れている。図１１において、第１再構成誤差ベクトルの要素の値は、健全な部分において略０となる。第１再構成誤差ベクトルの要素の値は、図１０の近傍Ｒ１に対応する高温部ではマイナス側に大きく変動する。第１再構成誤差ベクトルの要素の値は、図１０の異常部Ｒ０に対応する低温部ではプラス側に大きく変動する。したがって、健全な部分と低温部としての異常部Ｒ０との差が明瞭となる。結果判定部１５３は、第１閾値Ｔ１を設定することで、異常を容易に検出することができる。このように、本開示では、再構成誤差ベクトルを用いることにより、健全な部分と異常部に対応する低温部とを明瞭に識別することが可能となるという効果が得られる。
【0125】
例えば、結果判定部１５３は、図１１に示す第１再構成誤差ベクトルのプロットに対して第１閾値Ｔ１を０．１５に設定する。上述した図９Ａは、このような第１閾値Ｔ１を用いて図８Ａの第１再構成誤差画像を二値化したものである。
【0126】
図１２は、図８Ｂに関連する第２再構成誤差ベクトルの数値例を示すグラフ図である。図１２は、図８Ａと同様の図８Ｂの水平方向の破線Ｌ上での水平方向位置に相当する第２再構成誤差ベクトルの要素をそれぞれ抽出し、横軸を水平方向位置、縦軸を第２再構成誤差ベクトルの要素の値としてプロットしたものである。
【0127】
第２再構成誤差ベクトルは、式１８による定義から第１再構成誤差ベクトルの符号を反転させたものとなる。図１２において、第２再構成誤差ベクトルの要素の値は、健全な部分において略０となる。第２再構成誤差ベクトルの要素の値は、図１０の近傍Ｒ１に対応する高温部ではプラス側に大きく変動する。第２再構成誤差ベクトルの要素の値は、図１０の異常部Ｒ０に対応する低温部ではマイナス側に大きく変動する。したがって、健全な部分と高温部としての近傍Ｒ１との差が明瞭となるが、異常部Ｒ０に対応する低温部に比べて変動の絶対値が小さいことから、当該低温部の検出に用いた第１閾値Ｔ１とは異なる第１閾値を設定する必要がある。結果判定部１５３は、第１閾値Ｔ１と異なる第１閾値Ｔ２を設定することで、高温部としての近傍Ｒ１を容易に検出することができる。このように、本開示では、健全な部分よりも高温となった部分についても再構成誤差ベクトルを用いることにより、健全な部分と明瞭に識別することが可能となるという効果が得られる。
【0128】
例えば、結果判定部１５３は、図１２に示す第２再構成誤差ベクトルのプロットに対して第１閾値Ｔ２を０．０６に設定する。上述した図９Ｂは、このような第１閾値Ｔ２を用いて図８Ｂの第２再構成誤差画像を二値化したものである。
【0129】
（効果）
以上のような第１実施形態によれば、プレス加工されたプレス部品である対象物Ｍの異常判定に関する精度を向上させることが可能である。検査装置１０は、ｍ個の画素を含む正常画像の画素値を並べたｎ個の正常画像ベクトルを、ｎ個以下の説明変数のｍ個の観測値とみなし、ｍ個の要素を含む対象物画像ベクトルを目的変数のｍ個の観測値とみなして回帰モデルを算出する。このような検査に用いられる画像には数十万個以上の画素値が含まれているのが一般的である。したがって、説明変数の数ｎよりも観測値の数ｍの方がはるかに大きい。したがって、特許文献３に記載の従来技術のような分散共分散行列のランク落ちの問題が抑制される。加えて、検査装置１０では、各画素の値は観測値であるため、画像データによらず一定値を取る画素が複数存在する場合であっても、それらが当該説明変数のベクトルの同一の位置に現れるだけであり、多重共線性の問題が抑制される。
以上のような第１実施形態によれば、プレス加工されたプレス部品である対象物Ｍの異常判定に関する精度を向上させることが可能である。検査装置１０は、ｍ個の画素を含む正常画像の画素値を並べたｎ個の正常画像ベクトルを、ｎ個以下の説明変数のｍ個の観測値とみなし、ｍ個の要素を含む対象物画像ベクトルを目的変数のｍ個の観測値とみなして回帰モデルを算出する。このような検査に用いられる画像には数十万個以上の画素値が含まれているのが一般的である。したがって、説明変数の数ｎよりも観測値の数ｍの方がはるかに大きい。したがって、特許文献３に記載の従来技術のような分散共分散行列のランク落ちの問題が抑制される。加えて、検査装置１０では、各画素の値は観測値であるため、画像データによらず一定値を取る画素が複数存在する場合であっても、それらが当該説明変数のベクトルの同一の位置に現れるだけであり、多重共線性の問題が抑制される。
【0130】
正常画像のデータでは、画像中の対象物Ｍの位置ずれ、照明むら、温度変動などにより、データによって画素値が変動することが一般的である。このような場合、第１実施形態に係る検査装置１０は、正常画像ベクトルの数ｎを十分大きくとり、データによる画素値の変動の影響を抑制することで対象物画像ベクトルを高精度に近似することができる。加えて、検査装置１０は、正常画像ベクトルを重み付け加算して中間変数ベクトルを予め算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することで、説明変数の数を削減することができる。したがって、検査装置１０は、対象物画像ベクトルを効率的に近似する再構成ベクトルを算出可能である。結果として、検査装置１０における演算処理の負荷が低減され、異常判定にかかる処理時間が短縮される。
【0131】
検査装置１０は、正常画像ベクトルから中間変数ベクトルを生成して回帰モデルの説明変数として用いることで、説明変数の数を削減することができ、正常画像のサンプルの変動の影響を少ない数の説明変数で抑制することができる。検査装置１０は、正常画像ベクトルを説明変数に直接用いるときよりも回帰モデル算出時の演算負荷を低減させることができる。したがって、検査装置１０は、検査対象となる対象物Ｍとしてのプレス部品の製造ピッチが短く、短時間で回帰モデルを算出する必要がある場合にも応用可能である。
【0132】
検査装置１０は、主成分分析を適用して正常画像ベクトルに掛ける重みを算出することで、失う情報量を最小化して大量の正常画像ベクトルを少数の中間変数ベクトルに情報圧縮することが可能である。特許文献３に記載の方法でも主成分分析が用いられているが、第１実施形態に係る検査装置１０による検査方法と比較すると適用方法が相違する。特許文献３に記載の方法では、画像データ中の各画素の値を変数とし、各画像データを観測値としている。一般的に画素数ｍの方が画像データ数ｎよりもはるかに大きいため、分散共分散行列のランク落ち及び多重共線性の問題が生じていた。本開示では、各画像データを一つの変数とし、画像データ中の各画素の値を観測値としているため、そのような問題が抑制される。
【0133】
加えて、特許文献３に記載の方法では、各画素の値が変数であるため、主成分分析は、画素数ｍに対応したｍ次元空間を用いる主成分の数ｄに対応したｄ次元空間に射影することで情報圧縮を行う。主成分は、ｍ個の画素値に係数（結合係数）を掛けて加算した線形和となる。したがって、第１乃至第ｄ主成分の計ｍ×ｄ個の結合係数が情報圧縮の結果となる。
【0134】
一方で、第１実施形態に係る検査装置１０では、各画像データを一つの変数としているため、主成分分析は、画像データ数ｎに対応したｎ次元空間を用いる主成分の数ｄに対応したｄ次元空間に射影することで情報圧縮を行う。主成分は、ｎ個の画素値に係数（結合係数）を掛けて加算した線形和となる。したがって、第１乃至第ｄ主成分の計ｎ×ｄ個の結合係数が情報圧縮の結果となる。これにより、検査装置１０は、特許文献３に記載の方法と比べて、圧倒的に少数の係数に圧縮できる。
【0135】
検査装置１０は、画像ではなく画像データ数を圧縮しているので、元の画像に含まれていた詳細なデータが削減されて情報が失われるといった従来技術の問題点を抑制可能である。特許文献３に記載の方法では、主成分分析によって画像情報を圧縮して画素数を減らしているので元の画像に含まれる情報の一部が失われてしまう。一方で、第１実施形態に係る検査装置１０により圧縮されるのは画像データ数、すなわち正常画像のサンプル数であり、画素数は減らない。したがって、画像に含まれる情報が失われることはない。本開示で主成分分析を用いる理由は、正常画像のサンプルに含まれる冗長性の除去のためであって、画像自体を圧縮するためではない。結果として、画像の解像度が低下することはないので、検査装置１０は、対象物Ｍの微細な傷などの小さな異常も見落とすことなく精度良く検出することができる。すなわち、検査装置１０は、プレス加工されたプレス部品である対象物Ｍの異常判定に関する精度を向上させることができる。
【0136】
以上のことは、特許文献３に記載の方法では各正常画像のデータが観測値であるのに対し、本開示では画像データ中の各画素の値を観測値としていることに起因する。このような相違点により、第１実施形態に係る検査装置１０は、以下のような利点を有する。
【0137】
主成分分析で求めた結合係数で各正常画像ベクトルを重み付けして加算したベクトルは、各観測値の主成分の値（主成分得点）になる。したがって、第１主成分は、正常画像ベクトルの最も代表的な値の系列であり、第２主成分以降は、正常画像ベクトルの変動を表し、第１主成分を補うものである、という物理的な解釈が可能である。
【0138】
加えて、対象物画像内で対象物Ｍの外側に背景部分が存在する場合、検査を行う領域を限定する必要がある。この場合、特許文献３に記載の方法では、画像のすべての画素に結合係数を掛けて加算する必要があるため、主成分を求めた後で検査領域を設定することは困難である。各画素の値が変数であり、主成分を求めた後で変数の一部を削除することは困難であるからである。一方で、本開示では、検査装置１０は、各画素の値が観測値であるから、その一部を削除しても主成分を算出することができる。したがって、検査装置１０は、後から検査領域を設定することができる。
【0139】
検査装置１０は、正常画像ベクトルに独立成分分析を適用して中間変数ベクトルを算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することもできる。
【0140】
検査装置１０は、正常画像ベクトルに部分最小二乗法を適用して中間変数ベクトルを算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することもできる。
【0141】
以上のような回帰モデルは、線形回帰モデルを含む。線形回帰モデルは、深層学習のようなニューラルネットワークと異なり、繰り返し学習を行う必要がない。したがって、検査装置１０は、非常に短時間で回帰モデルを算出可能である。結果として、検査装置１０は、新たに追加された対象物画像に対して、後続の新たな対象物画像が追加されるまでの短時間のうちに、その都度新たな回帰モデルを算出可能である。
【0142】
中間変数ベクトルは、正常画像ベクトルの線形和である。これにより、検査装置１０は、異常を含まない対象物画像に対して異常の有無の判定を行った結果、異常があると誤った判定（過検出）を行った場合、当該対象物画像を正常画像のデータに加えて中間変数ベクトルを算出し、算出された中間変数ベクトルを用いて以降の異常判定を実行する。中間変数ベクトルは正常画像ベクトルの線形和であるので、過検出された正常画像ベクトルの成分も含まれる。したがって、検査装置１０は、以降で同様の対象物画像が検査対象となった場合であっても、過検出することなく正しい判定を実行することができる。
【0143】
検査装置１０は、赤外線カメラを含むカメラ２により撮像されたプレス部品の画像から対象物Ｍとしてのプレス部品の表面温度分布を取得する。これにより、検査装置１０は、割れＣのような周囲よりも表面温度が低下している部分を検出することができる。加えて、検査装置１０は、プレス部品の変形及び摺動による部分的な温度上昇などを含む、割れＣのような欠陥の発生の予兆をとらえることもできる。したがって、検査装置１０は、プレス加工のモニタリングに応用可能である。
【0144】
検査装置１０は、特許文献２に記載の従来技術のように、対象物Ｍの画像を領域に分割する必要はない。したがって、検査装置１０は、領域ごとに二値化閾値などのパラメータを設定する必要がない。結果として、検査装置１０は、調整の負荷を低減可能である。検査装置１０は、表面温度分布の急変部から欠陥を検出することを前提にしていないので、撮像に使用するカメラ２として赤外線カメラに限定することなく、可視光カメラなど欠陥の撮像に適したカメラ２を選択することも可能である。したがって、検査装置１０は、プレス加工による加工熱が小さい材料に対しても応用可能である。
【0145】
例えば、アルミニウム板のプレス加工では加工熱の発生量が小さく、割れＣなどの異常部と周囲の健全な部分との温度差が小さくなって、表面温度分布に基づき異常部を検出することが困難な場合がある。このような場合、検査装置１０は、プレス部品の表面の鏡面性が高いことを利用して、プレス部品の表面に反射した周囲の構造物及び外光を撮像した画像を用いることもできる。検査装置１０は、プレス部品の割れＣに伴ってプレス部品がわずかに変形することで生じる、周囲の構造物及び外光の映り方の変化を検出することで、当該プレス部品の異常の有無を判定することができる。
【0146】
以上により、検査装置１０は、プレス部品の割れＣなどの欠陥を含む異常を微小なものまで含めて検出可能である。加えて、検査装置１０は、プレス部品の変形及び摺動による高温部などを捉えることもできる。結果として、検査装置１０は、プレス部品の品質及び製造効率を向上させることが可能となる。検査装置１０は、従来技術では困難であった、アルミニウム板のようなプレス加工による加工熱が小さい材料に対しても、異常を検出することが可能となる。
【0147】
（第２実施形態）
本開示の第２実施形態に係る検査方法について、図３を参照しながらより詳細に説明する。第２実施形態に係る検査方法は、中間変数ベクトルを用いない点で第１実施形態と相違する。その他の構成、機能、効果、変形例などについては、第１実施形態と同様であり、対応する説明が第２実施形態に係る検査装置１０にも当てはまる。以下では、第１実施形態と同様の構成部については同一の符号を付し、その説明を省略する。第１実施形態と異なる点について主に説明する。
本開示の第２実施形態に係る検査方法について、図３を参照しながらより詳細に説明する。第２実施形態に係る検査方法は、中間変数ベクトルを用いない点で第１実施形態と相違する。その他の構成、機能、効果、変形例などについては、第１実施形態と同様であり、対応する説明が第２実施形態に係る検査装置１０にも当てはまる。以下では、第１実施形態と同様の構成部については同一の符号を付し、その説明を省略する。第１実施形態と異なる点について主に説明する。
【0148】
図３のステップＳ１０５の回帰モデルを算出するステップにおいて、制御部１５の画像解析部１５２は、ステップＳ１０１において取得されたｍ個の要素を含むｎ個の正常画像ベクトルをｎ個の説明変数のｍ個の観測値とみなす。同様に、画像解析部１５２は、ステップＳ１０４において取得されたｍ個の要素を含む対象物画像ベクトルを目的変数のｍ個の観測値とみなす。
【0149】
図３のステップＳ１０６の再構成ベクトルを算出するステップにおいて、画像解析部１５２は、ステップＳ１０５において算出された回帰モデルの係数でｎ個の正常画像ベクトルを重み付けして加算することで再構成ベクトルを算出する。
【0150】
第２実施形態に係る検査装置１０は、第１実施形態と異なり、正常画像のサンプルの変動が小さく、比較的少数の正常画像のサンプルで変動の影響を抑制できる場合、及び検査対象となる対象物Ｍとしてのプレス部品の製造ピッチが比較的長く、回帰モデルの演算負荷がさほど問題にならない場合に、正常画像ベクトルをそのまま説明変数データとして用いる。この場合、式２の行列Ｘから得られる式１９の行列Ｚを説明変数とする。
【0151】
【数13】
【0152】
画像解析部１５２は、式１９の説明変数Ｚに式２０の係数ｂを乗じて加算した式２１の線形回帰式を式１０のｙの予測値として求める。
【0153】
【数14】
【0154】
以降の処理は、中間変数ベクトルを用いた第１実施形態と同様である。式１０及び式２２から得られる式２３が第１再構成誤差ベクトルとなる。式１０及び式２２から得られる式２４が第２再構成誤差ベクトルとなる。
【0155】
【数15】
【0156】
周囲よりも低温である異常部の検出には式２３が用いられ、高温である異常部の検出には式２４が用いられる。
【0157】
（効果）
以上のような第２実施形態によれば、プレス加工されたプレス部品である対象物Ｍの異常判定に関する精度を向上させることが可能である。検査装置１０は、得られた回帰モデルの係数でｎ個の正常画像ベクトルを重み付けして加算することで、対象物画像ベクトルを高精度に近似する対象物画像の再構成ベクトルを算出可能である。検査装置１０は、対象物画像に異常が含まれていると、その部分を正常画像ベクトルの線形和で再構成することができない。したがって、対象物画像ベクトルと再構成ベクトルとの差分が大きくなる。検査装置１０は、対象物画像ベクトルと対象物画像の再構成ベクトルとの差分、すなわち回帰モデルの残差を再構成誤差ベクトルとし、当該再構成誤差ベクトルの要素の値の大小により対象物Ｍの異常の有無を判定する。
以上のような第２実施形態によれば、プレス加工されたプレス部品である対象物Ｍの異常判定に関する精度を向上させることが可能である。検査装置１０は、得られた回帰モデルの係数でｎ個の正常画像ベクトルを重み付けして加算することで、対象物画像ベクトルを高精度に近似する対象物画像の再構成ベクトルを算出可能である。検査装置１０は、対象物画像に異常が含まれていると、その部分を正常画像ベクトルの線形和で再構成することができない。したがって、対象物画像ベクトルと再構成ベクトルとの差分が大きくなる。検査装置１０は、対象物画像ベクトルと対象物画像の再構成ベクトルとの差分、すなわち回帰モデルの残差を再構成誤差ベクトルとし、当該再構成誤差ベクトルの要素の値の大小により対象物Ｍの異常の有無を判定する。
【0158】
第２実施形態に係る検査装置１０は、正常画像のサンプルのばらつきが小さいことを前提とし、それを高精度に近似して再構成する回帰モデルを検査対象となる画像ごとに同定可能である。これにより、検査装置１０は、微細な異常であっても精度良く検出可能である。
【0159】
（変形例）
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【0160】
例えば、スマートフォン又はコンピュータなどの汎用の電子機器を、上述した各実施形態に係る検査装置１０として機能させる構成も可能である。具体的には、各実施形態に係る検査装置１０などの各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサにより当該プログラムを読み出して実行させる。したがって、一実施形態に係る開示は、プロセッサが実行可能なプログラムとしても実現可能である。
【0161】
又は、一実施形態に係る開示は、各実施形態に係る検査装置１０などに各機能を実行させるために１つ又は複数のプロセッサにより実行可能なプログラムを記憶した非一時的なコンピュータ読取可能な媒体としても実現し得る。本開示の範囲には、これらも包含されると理解されたい。
【0162】
上記各実施形態において、回帰モデルは線形回帰モデルを含むと説明したが、これに限定されない。回帰モデルは、深層学習のようなニューラルネットワークなどの任意の他のモデルを含んでもよい。
【0163】
上記各実施形態において、カメラ２は、検査装置１０に含まれずに検査装置１０とは別体であるが、これに限定されない。カメラ２は、検査装置１０に含まれており、検査装置１０と一体的に構成されてもよい。すなわち、検査装置１０自体が、カメラ２に基づく撮像機能を有してもよい。
【符号の説明】
【0164】
１ 生産管理システム
２ カメラ
１０ 検査装置
１１ 画像入力部
１２ 記憶部
１２１ 説明変数保存部
１２２ 結果保存部
１３ 入力部
１４ 出力部
１５ 制御部
１５１ 説明変数生成部
１５２ 画像解析部
１５３ 結果判定部
１５４ 入出力インタフェース
Ｍ 対象物
Ｃ 割れ
２ カメラ
１０ 検査装置
１１ 画像入力部
１２ 記憶部
１２１ 説明変数保存部
１２２ 結果保存部
１３ 入力部
１４ 出力部
１５ 制御部
１５１ 説明変数生成部
１５２ 画像解析部
１５３ 結果判定部
１５４ 入出力インタフェース
Ｍ 対象物
Ｃ 割れ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】