IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立オートモティブシステムズ株式会社の特許一覧

<>
  • 特開-検査装置および判定モデル生成方法 図1
  • 特開-検査装置および判定モデル生成方法 図2
  • 特開-検査装置および判定モデル生成方法 図3
  • 特開-検査装置および判定モデル生成方法 図4
  • 特開-検査装置および判定モデル生成方法 図5
  • 特開-検査装置および判定モデル生成方法 図6
  • 特開-検査装置および判定モデル生成方法 図7
  • 特開-検査装置および判定モデル生成方法 図8
  • 特開-検査装置および判定モデル生成方法 図9
  • 特開-検査装置および判定モデル生成方法 図10
  • 特開-検査装置および判定モデル生成方法 図11
  • 特開-検査装置および判定モデル生成方法 図12
  • 特開-検査装置および判定モデル生成方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171362
(43)【公開日】2024-12-12
(54)【発明の名称】検査装置および判定モデル生成方法
(51)【国際特許分類】
   G01N 21/88 20060101AFI20241205BHJP
   G06T 7/00 20170101ALI20241205BHJP
【FI】
G01N21/88 J
G06T7/00 350B
G06T7/00 610C
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023088315
(22)【出願日】2023-05-30
(71)【出願人】
【識別番号】509186579
【氏名又は名称】日立Astemo株式会社
(74)【代理人】
【識別番号】110002549
【氏名又は名称】弁理士法人綾田事務所
(72)【発明者】
【氏名】仁藤 拓実
(72)【発明者】
【氏名】小林 康彦
(72)【発明者】
【氏名】細谷 直樹
(72)【発明者】
【氏名】渡邊 高志
(72)【発明者】
【氏名】一ノ瀬 正寿
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA07
2G051AB02
2G051CA04
2G051DA07
2G051EA12
2G051EB05
5L096AA06
5L096BA03
5L096CA02
5L096DA01
5L096DA02
5L096EA06
5L096FA04
5L096FA66
5L096FA67
5L096FA69
5L096GA10
5L096GA51
5L096GA55
5L096HA11
5L096KA04
(57)【要約】
【課題】 検査の判定精度を向上した検査装置および判定モデル生成方法を提供することにある。
【解決手段】 検査装置は、欠陥部分を模擬した疑似欠陥要素画像を合成することで、疑似欠陥対象画像を生成する疑似欠陥対象画像生成部であって、疑似欠陥要素画像を合成する正常対象画像の合成位置と合成位置の状態と、疑似欠陥要素画像の状態に応じて、前記疑似欠陥要素画像の状態、前記正常対象画像の合成位置、合成位置の状態の少なくとも1つを変更して、疑似欠陥要素画像を正常対象画像の合成位置に合成する疑似欠陥対象画像生成部と、疑似欠陥対象画像を機械学習させて判定モデルを作成する学習処理部と、判定モデルを利用して被検査物を撮影した対象画像から欠陥を検出する判定処理部を有する。
【選択図】 図2
【特許請求の範囲】
【請求項1】
被検査物を撮影した対象画像を用いて、前記被検査物の欠陥を検出する検査装置において、
正常対象画像に対して、欠陥部分を模擬した疑似欠陥要素画像を合成することで、疑似欠陥対象画像を生成する疑似欠陥対象画像生成部であって、
前記疑似欠陥要素画像を合成する前記正常対象画像の合成位置と合成位置の状態と、前記疑似欠陥要素画像の状態に応じて、前記疑似欠陥要素画像の状態、前記正常対象画像の合成位置、合成位置の状態の少なくとも1つを変更して、前記疑似欠陥要素画像を前記正常対象画像の合成位置に合成する、前記疑似欠陥対象画像生成部と、
前記疑似欠陥対象画像を機械学習させて判定モデルを作成する学習処理部と、
前記判定モデルを利用して前記被検査物を撮影した対象画像から欠陥を検出する判定処理部と、
を有する、
ことを特徴とする検査装置。
【請求項2】
請求項1に記載の検査装置において、
前記正常対象画像の合成位置の状態は、前記正常対象画像の合成位置の輝度、輝度ばらつき、領域境界からの距離、領域境界からの角度、表面の種類のうちの少なくとも1つである、
ことを特徴とする検査装置。
【請求項3】
請求項1に記載の検査装置において、
前記疑似欠陥要素画像の状態は、前記疑似欠陥要素画像の種類、大きさ、アスペクト比、角度、輝度のうちの少なくとも1つである、
ことを特徴とする検査装置。
【請求項4】
請求項2に記載の検査装置において、
前記正常対象画像の合成位置の状態は輝度であって、
前記正常対象画像の合成位置の輝度である背景輝度に応じて前記疑似欠陥要素画像の輝度を変更して前記合成位置に合成する、
ことを特徴とする検査装置。
【請求項5】
請求項4に記載の検査装置において、
前記正常対象画像の合成位置の背景輝度が低い場合の、前記背景輝度と前記疑似欠陥要素画像の変更後の輝度の輝度差よりも、
前記正常対象画像の合成位置の背景輝度が高い場合の、前記背景輝度と前記疑似欠陥要素画像の変更後の輝度の輝度差を大きくして合成する、
ことを特徴とする検査装置。
【請求項6】
請求項2に記載の検査装置において、
前記正常対象画像の合成位置の状態は輝度であって、
前記正常対象画像の合成位置の輝度である背景輝度が閾値以上である場合に、
前記正常対象画像の合成位置に前記疑似欠陥要素画像を合成する、
ことを特徴とする検査装置。
【請求項7】
請求項2に記載の検査装置において、
前記正常対象画像の合成位置の状態は表面の種類であって、
前記表面の種類に応じて前記合成位置にフィルタ処理をしてから、
前記合成位置に前記疑似欠陥要素画像を合成する、
ことを特徴とする検査装置。
【請求項8】
請求項7に記載の検査装置において、
前記フィルタは、前記正常対象画像の合成位置を平滑化する平滑化フィルタである、
ことを特徴とする検査装置。
【請求項9】
請求項2に記載の検査装置において、
前記正常対象画像の合成位置の状態は前記領域境界からの距離であって、
前記疑似欠陥要素画像の一部が前記領域境界にかかる距離にあり、かつ、前記疑似欠陥要素画像が長径と短径を有する楕円形状の場合、前記長径方向軸線が前記領域境界に対して所定角度よりも大きい角度を持つように合成する、
ことを特徴とする検査装置。
【請求項10】
請求項1に記載の検査装置において、
前記正常対象画像の合成位置や前記正常対象画像の合成位置の状態や前記疑似欠陥要素画像の状態を履歴として保存し、
前記履歴に基づき、前記正常対象画像の合成位置や前記正常対象画像の合成位置の状態や前記疑似欠陥要素画像の状態を変更して、
前記正常対象画像の合成位置に前記疑似欠陥要素画像を合成する、
ことを特徴とする検査装置。
【請求項11】
請求項1に記載の検査装置において、
前記正常対象画像が複数ある場合には、
前記複数の正常対象画像のそれぞれにおいて、特徴点となる場所および形状を抽出し、
前記複数の正常対象画像のそれぞれの前記特徴点の位置を基準として、前記複数の正常対象画像の全体位置を修正し、前記疑似欠陥要素画像を合成する位置を求める、
ことを特徴とする検査装置。
【請求項12】
請求項1に記載の検査装置において、
前記正常対象画像に領域境界の近傍の境界位置指定マスクを設定し、
前記疑似欠陥要素画像の一部が前記境界位置指定マスクの領域境界にかかるように合成する、
ことを特徴とする検査装置。
【請求項13】
被検査物を撮影した対象画像を用いて、前記被検査物の欠陥を検出する検査方法において、
疑似欠陥要素画像を合成する正常対象画像の合成位置と合成位置の状態と、前記疑似欠陥要素画像の状態に応じて、前記疑似欠陥要素画像の状態、前記正常対象画像の合成位置、合成位置の状態の少なくとも1つを変更して、前記疑似欠陥要素画像を前記正常対象画像の合成位置に合成する合成ステップと、
前記疑似欠陥対象画像を機械学習させて判定モデルを作成する判定モデル作成ステップと、
前記判定モデルを利用して、前記被検査物を撮影した対象画像から欠陥を検出する判定ステップと、
を有する、
ことを特徴とする検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査装置および判定モデル生成方法に関する。
【背景技術】
【0002】
特許文献1には、被検査物の良否判定を、不良部データ、良品データ、生成パラメータに基づいて、良品画像に不良部画像を合成した学習画像の画像データである学習データを生成する学習データ生成部を備える検査装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-27424号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の検査装置では、生成パラメータはランダムに選択生成か、事前ルールに従って生成か、ユーザの入力により生成されるために、良品画像あるいは不良部画像の状態を考慮していないため、被検査物の良否判定の精度が悪くなる恐れがあるという課題を有している。
本発明の目的の一つは、検査の判定精度を向上した検査装置および判定モデル生成方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明の一実施形態における検査装置は、欠陥部分を模擬した疑似欠陥要素画像を合成することで、疑似欠陥対象画像を生成する疑似欠陥対象画像生成部であって、疑似欠陥要素画像を合成する正常対象画像の合成位置と合成位置の状態と、疑似欠陥要素画像の状態に応じて、前記疑似欠陥要素画像の状態、前記正常対象画像の合成位置、合成位置の状態の少なくとも1つを変更して、疑似欠陥要素画像を正常対象画像の合成位置に合成する疑似欠陥対象画像生成部と、疑似欠陥対象画像を機械学習させて判定モデルを作成する学習処理部と、判定モデルを利用して被検査物を撮影した対象画像から欠陥を検出する判定処理部を有する。
【発明の効果】
【0006】
よって、本発明にあっては、検査の判定精度を向上することができる。
【図面の簡単な説明】
【0007】
図1】実施形態1の検査装置の全体図である。
図2】実施形態1のコンピュータの内部を示すブロック図である。
図3】実施形態1における疑似欠陥対象画像生成部の動作を説明するフローチャートである。
図4】実施形態1における正常対象画像の合成位置の状態パラメータを説明する図である。
図5】実施形態1における疑似欠陥要素画像の状態パラメータを説明する図である。
図6】実施形態1における正常対象画像の合成位置の輝度と疑似欠陥要素画像の最適輝度の関係を示すグラフである。
図7】実施形態1における正常対象画像の合成位置の輝度と疑似欠陥要素画像の最適輝度との輝度差を示すグラフである。
図8】実施形態1における状態パラメータ履歴記憶部の状態パラメータ履歴による状態パラメータ処理部の動作を説明する図である。
図9】実施形態1における特徴点を用いた状態パラメータ処理部の動作を説明する図である。
図10】実施形態1における設定する境界指定マスク画像を用いた状態パラメータ処理部の動作を説明する図である。
図11】実施形態2における正常対象画像の合成位置の状態パラメータを説明する図である。
図12】実施形態2における疑似欠陥要素画像の領域境界での合成位置にて角度の変更を説明する図である。
図13】実施形態3における正常対象画像の合成位置のフィルタ処理を説明する図である。
【発明を実施するための形態】
【0008】
〔実施形態1〕
図1は、実施形態1の検査装置の全体図である。
【0009】
実施形態1の検査装置1は、カメラ2、ロボット3、コンピュータ4および判定結果表示部6を備える。
カメラ2は、ピストン(被検査物)5の冠面5aの画像を撮影する。
なお、ピストン5の冠面5aは、表面性状が大きく異なる切削痕を有する加工面(表面の種類、状態)と鋳肌面(表面の種類、状態)を有している。
ロボット3は、カメラ2に対するピストン5の相対姿勢を変化させる。
コンピュータ4は、例えばパーソナルコンピュータである。
判定結果表示部6は、カメラ2で撮影したピストン5の冠面5aの対象画像の欠陥を判定した判定結果を表示する。
【0010】
図2は、実施形態1のコンピュータの内部を示すブロック図である。
【0011】
(コンピュータの構成)
コンピュータ4は、カメラ2で撮影した複数の正常対象画像を記憶する正常対象画像記憶部401と、正常対象画像合成位置状態パラメータ検出処理部402と状態パラメータ処理部403と状態パラメータ履歴記憶部404と疑似欠陥要素画像生成処理部405と疑似欠陥要素画像記憶部406と疑似欠陥要素画像状態パラメータ検出処理部407と境界指定マスク画像設定・記憶部408と合成処理部409と疑似欠陥対象画像記憶部410とアノテーションデータ記憶部411と学習処理部412と判定モデル記憶部413と、カメラ2で撮影したピストン5の冠面5aの対象画像の欠陥を検出する良否判定を行い(判定ステップ)、判定結果表示部6へ判定結果を送信する判定処理部414を備える。
正常対象画像合成位置状態パラメータ検出処理部402と状態パラメータ処理部403と状態パラメータ履歴記憶部404と疑似欠陥要素画像生成処理部405と疑似欠陥要素画像記憶部406と疑似欠陥要素画像状態パラメータ検出処理部407と境界指定マスク画像設定・記憶部408と合成処理部409と疑似欠陥対象画像記憶部410とアノテーションデータ記憶部411とにより、疑似欠陥対象画像生成部4aを構成する。
学習処理部412は、アノテーションデータ記憶部411に記憶された疑似欠陥対象画像の座標データと疑似欠陥対象画像記憶部410に記憶された疑似欠陥対象画像により、機械学習を実行し、判定モデル記憶部413に機械学習結果を記憶させる(判定モデル作成ステップ)。
この機械学習は、例えば、ニューラルネットワークを用いた学習であって、実施形態1では、ニューラルネットワークの多層化版である深層学習を採用している。
【0012】
(疑似欠陥画像生成部の動作)
図3は、実施形態1における疑似欠陥対象画像生成部の動作(合成ステップ)を説明するフローチャートである。
【0013】
ステップS1では、カメラ2で撮影した正常対象画像を入手し、正常対象画像記憶部401に記憶する。
ステップS2では、境界指定マスク画像設定・記憶部408にて、境界指定マスク画像を設定し、記憶する。
ステップS3では、状態パラメータ履歴記憶部404に記憶されている状態パラメータ履歴を処理する。
ステップS4では、正常対象画像記憶部401に記憶した正常対象画像が複数あるか否かを確認する。
複数の正常対象画像がない場合には、ステップS5へ進み、複数の正常対象画像がある場合には、ステップS12へ進む。
ステップS5では、疑似欠陥要素画像生成処理部405が生成し、疑似欠陥要素画像記憶部406に記憶された欠陥部分を模擬した疑似欠陥要素画像を入手し、疑似欠陥要素画像状態パラメータ検出処理部407により、疑似欠陥要素画像の状態パラメータ(状態)を検出し、状態パラメータ処理部403へ送信する。
ステップS6では、正常対象画像記憶部401に記憶した正常対象画像を入手し、合成位置候補があるか否かを確認する。
合成位置候補がある場合には、ステップS7へ進み、合成位置候補がない場合には、ステップS1へ戻る。
ステップS7では、正常対象画像合成位置状態パラメータ検出処理部402により、正常対象画像の合成位置の状態パラメータ(状態)を検出し、状態パラメータ処理部403へ送信する。
ステップS8では、正常対象画像の合成位置の状態パラメータにより、合成が可能か否かを確認する。
合成が可能であれば、ステップS9へ進み、合成が可能でなければ、ステップS1へ戻る。
ステップS9では、状態パラメータ処理部403が、正常対象画像の合成位置の状態パラメータと境界指定マスク画像設定・記憶部408に記憶された境界位置指定マスク画像に応じて、正常対象画像の合成位置の状態パラメータまたは疑似欠陥要素画像の状態パラメータを変更する。
なお、状態パラメータ処理部403は、正常対象画像の合成位置、正常対象画像の合成位置の状態パラメータおよび変更した疑似欠陥要素画像の状態パラメータを状態パラメータ履歴記憶部404へ送信し、記憶させる。
ステップS10では、合成処理部409にて正常対象画像の合成位置に疑似欠陥要素画像を合成処理し、疑似欠陥対象画像を生成する。
ステップ11では、生成した疑似欠陥対象画像を疑似欠陥対象画像記憶部410に、生成した疑似欠陥対象画像の座標データをアノテーションデータ記憶部411に記憶させる。
【0014】
ステップS12では、疑似欠陥要素画像生成処理部405が生成し、疑似欠陥要素画像記憶部406に記憶された欠陥部分を模擬した複数の正常対象画像に対応した疑似欠陥要素画像を入手し、疑似欠陥要素画像状態パラメータ検出処理部407により、疑似欠陥要素画像の状態パラメータを検出し、状態パラメータ処理部403へ送信する。
ステップS13では、正常対象画像記憶部401に記憶した複数の正常対象画像を入手し、それぞれ合成位置候補があるか否かを確認する。
合成位置候補がある場合には、ステップS14へ進み、合成位置候補がない場合には、ステップS1へ戻る。
ステップS14では、複数の正常対象画像の共通の特徴点となる場所および形状を抽出する。
ステップS15では、特徴点となる場所および形状の位置を基準として、複数の正常対象画像の全体位置を修正する。
ステップS16では、正常対象画像合成位置状態パラメータ検出処理部402により、複数の正常対象画像の合成位置の状態パラメータを検出し、状態パラメータ処理部403へ送信する。
ステップS17では、正常対象画像の合成位置の状態パラメータにより、合成が可能か否かを確認する。
合成が可能であれば、ステップS18へ進み、合成が可能でなければ、ステップS1へ戻る。
ステップS18では、それぞれの正常対象画像の合成位置の状態パラメータと境界指定マスク画像設定・記憶部408に記憶された境界位置指定マスク画像に応じて、状態パラメータ処理部403にて、それぞれの正常対象画像の合成位置の状態パラメータまたは疑似欠陥要素画像の状態パラメータを変更する。
ステップS19では、合成処理部409にて正常対象画像の合成位置に疑似欠陥要素画像を合成処理し、疑似欠陥対象画像を生成する。
ステップ20では、生成した疑似欠陥対象画像を疑似欠陥対象画像記憶部410に、生成した疑似欠陥対象画像の座標データをアノテーションデータ記憶部411に記憶させる。
このように、正常対象画像の合成位置の状態パラメータを検出し、正常対象画像の合成位置の状態パラメータに応じて、正常対象画像の合成位置の状態パラメータまたは疑似欠陥要素画像の状態パラメータを変更し、疑似欠陥要素画像を正常対象画像の合成位置に合成し、疑似欠陥対象画像を生成するようにしたので、実際の欠陥に近い疑似欠陥対象画像を生成することができ、検査の判定精度を向上することができる。
【0015】
図4は、実施形態1における正常対象画像の合成位置の状態パラメータを説明する図である。
【0016】
実施形態1では、正常対象画像合成位置状態検出処理部402による正常対象画像の合成位置の状態パラメータ(状態)として、正常対象画像7の合成位置Gの輝度(背景輝度)kaを使用している。
検出された合成位置Gと合成位置Gの輝度kaは、状態パラメータ処理部403に送信される。
なお、輝度kaに代えて、輝度のばらつきΔkを使用してもよい。
【0017】
図5は、実施形態1における疑似欠陥要素画像の状態パラメータを説明する図である。
【0018】
疑似欠陥要素画像状態パラメータ検出処理部407による疑似欠陥要素画像8の状態パラメータ(状態)として、種類(穴、キズ)、長径a(大きさ)、短径b(大きさ)、アスペクト比(=長径a:短径b)、長径方向軸線αの角度θ1、輝度kbのいずれか1つあるいは複数を組み合わせて使用することができる。
実施形態1では、疑似欠陥要素画像8の状態パラメータとして、輝度kbを使用している。
【0019】
図6は、実施形態1における正常対象画像の合成位置の輝度と疑似欠陥要素画像の最適輝度の関係を示すグラフである。
【0020】
正常対象画像7の合成位置Gの輝度kaに対する疑似欠陥要素画像8の最適輝度(変更後の輝度)kcとは、回帰式により所定の関係が成立している。
このため、正常対象画像7の合成位置Gの輝度kaを検出し、検出した正常対象画像7の合成位置Gの輝度kaから、疑似欠陥要素画像8の最適輝度kcを回帰式により算出する。
そして、検出した実際の疑似欠陥要素画像8の輝度kbと疑似欠陥要素画像8の最適輝度kcに輝度差がある場合には、実際の疑似欠陥要素画像8の輝度kbを疑似欠陥要素画像8の最適輝度kcに変更し、輝度を変更した疑似欠陥要素画像8を正常対象画像の合成位置に合成し、疑似欠陥対象画像を生成する。
これにより、より実際の欠陥に近い画像を効率的に生成することができる。
【0021】
図7は、実施形態1における正常対象画像の合成位置の輝度と疑似欠陥要素画像の最適輝度との輝度差を示すグラフである。
【0022】
正常対象画像7の合成位置Gの輝度kaが大きいほど、疑似欠陥要素画像8の最適輝度kcは大きくなる。
すなわち、正常対象画像7の合成位置Gの輝度kaが大きいほど、正常対象画像7の合成位置Gの輝度kaと疑似欠陥要素画像8の最適輝度kcの輝度差kdが大きくなる。
これにより、正常対象画像7の合成位置Gの輝度kaが大きいほど、実際の疑似欠陥要素画像8の輝度kbとのコントラストが鮮明になるが、実際の疑似欠陥要素画像8の輝度kbを疑似欠陥要素画像8の最適輝度kcに大きくすることにより、疑似欠陥要素画像8が鮮明になりすぎず、さらに実際の欠陥に近い画像を効率的に生成することができる。
【0023】
また、正常対象画像7の合成位置Gの輝度kaが閾値s以上の場合には、疑似欠陥要素画像8の合成を行い、正常対象画像7の合成位置Gの輝度kaが閾値s未満の場合には、疑似欠陥要素画像8の合成を行わないようにしている。
これにより、正常対象画像7の合成位置Gの輝度kaが閾値s未満の場合には、疑似欠陥要素画像8の輝度kbとの輝度差kdが小さく、正確な検査の判定ができなくなるので、これを防止して検査の判定精度を向上することができる。
【0024】
図8は、実施形態1における状態パラメータ履歴記憶部の状態パラメータ履歴による状態パラメータ決定処理部の動作を説明する図である。
【0025】
状態パラメータ処理部403は、状態パラメータ履歴記憶部404に記憶された正常対象画像7の合成位置Gの履歴により、切削痕を有する加工面10と鋳肌面11との領域境界R1の加工面10の過去の合成位置を履歴対象画像9にて確認し、合成されていない優先合成エリアを特定する(図3のステップS3)。
これにより、正常対象画像7の合成位置Gを優先合成エリア内に変更して、疑似欠陥対象画像を生成するようにしているので、疑似欠陥要素画像8の網羅性を向上することができる。
なお、優先合成エリアは、領域境界R1内の加工面10に限らず、鋳肌面11あるいは領域境界R1に設定することもできる。
また、正常対象画像7の合成位置Gに代えて、正常対象画像7の合成位置Gの状態パラメータや疑似欠陥要素画像8の状態パラメータの履歴を使用してもよい。
【0026】
図9は、実施形態1における特徴点を用いた状態パラメータ処理部の動作を説明する図である。
【0027】
状態パラメータ処理部403は、正常対象画像が複数ある場合には、鋳型によるリング状の凹みT(特徴点)を抽出し、鋳型によるリング状の凹みT(特徴点)を基準として、複数の正常対象画像が同じ全体位置になるように複数の正常対象画像の全体位置の修正を行うようにしている(図3のステップS14、S15)。
これにより、撮影によるずれが発生し複数の正常対象画像の全体位置が微妙にずれている状態を修正することができるので、後述する境界指定マスク画像設定・記憶部408に記憶された境界位置指定マスク画像(境界位置指定マスク)Mを複数の正常対象画像に流用することができ、実際の欠陥に近い画像を効率的に生成することができる。
【0028】
図10は、実施形態1における設定する境界指定マスク画像を用いた状態パラメータ処理部の動作を説明する図である。
【0029】
状態パラメータ処理部403は、境界指定マスク画像設定・記憶部408に記憶された加工面10と鋳肌面11との領域境界R1とピストン5の冠面5aの外周を示す領域境界R2を有する境界位置指定マスク画像(境界位置指定マスク)Mにより、疑似欠陥要素画像8の一部が領域境界R1にかかるように、正常対象画像7の合成位置Gに疑似欠陥要素画像8を合成するようにしている(図3のステップS9、S18)。
このように、判定の難易度が高い領域境界R1に疑似欠陥要素画像8を配置することができるので、より効率的に検査の判定精度を向上することができる。
【0030】
次に、実施形態1の作用効果を説明する。
実施形態1では、以下のような作用効果を奏する。
【0031】
(1)正常対象画像の合成位置の状態パラメータとしての輝度を検出し、正常対象画像の合成位置の状態パラメータとしての輝度に応じて、疑似欠陥要素画像の状態パラメータとしての輝度を変更し、状態パラメータとしての輝度を変更した疑似欠陥要素画像を正常対象画像の合成位置に合成し、疑似欠陥対象画像を生成するようにした。
よって、実際の欠陥に近い疑似欠陥対象画像を生成することができ、検査の判定精度を向上することができる。
【0032】
(2)検出した実際の疑似欠陥要素画像8の輝度kbと回帰式により算出した疑似欠陥要素画像8の最適輝度kcに輝度差がある場合には、実際の疑似欠陥要素画像8の輝度kbを疑似欠陥要素画像8の最適輝度kcに変更し、輝度を変更した疑似欠陥要素画像8を正常対象画像の合成位置に合成し、疑似欠陥対象画像を生成するようにした。
よって、より実際の欠陥に近い疑似欠陥対象画像を効率的に生成することができる。
【0033】
(3)正常対象画像7の合成位置Gの輝度kaが大きいほど、正常対象画像7の合成位置Gの輝度kaと疑似欠陥要素画像8の最適輝度kcの輝度差kdが大きくなるようにした。
よって、正常対象画像7の合成位置Gの輝度kaが大きいほど、実際の疑似欠陥要素画像8の輝度kbとのコントラストが鮮明になるが、実際の疑似欠陥要素画像8の輝度kbを疑似欠陥要素画像8の最適輝度kcに大きくすることにより、疑似欠陥要素画像8が鮮明になりすぎず、さらに実際の欠陥に近い疑似欠陥対象画像を効率的に生成することができる。
【0034】
(4)正常対象画像7の合成位置Gの輝度kaが閾値s以上の場合には、疑似欠陥要素画像8の合成を行い、正常対象画像7の合成位置Gの輝度kaが閾値s未満の場合には、疑似欠陥要素画像8の合成を行わないようにした。
よって、正常対象画像7の合成位置Gの輝度kaが閾値s未満の場合には、疑似欠陥要素画像8の輝度kbとの輝度差kdが小さく、正確な検査の判定ができなくなるので、これを防止して検査の判定精度を向上することができる。
【0035】
(5)状態パラメータ処理部403は、状態パラメータ履歴記憶部404に記憶された正常対象画像7の合成位置Gの履歴により、加工面10と鋳肌面11との領域境界R1の加工面10の過去の合成位置を履歴対象画像9にて確認し、合成されていない優先合成エリアを特定し、疑似欠陥要素画像8の合成位置を優先合成エリア内に変更し、疑似欠陥対象画像を生成するようにした。
よって、疑似欠陥対象画像の網羅性を向上することができる。
【0036】
(6)状態パラメータ処理部403は、正常対象画像が複数ある場合には、鋳型によるリング状の凹みT(特徴点)を抽出し、鋳型によるリング状の凹みT(特徴点)を基準として、複数の正常対象画像が同じ全体位置になるように複数の正常対象画像の全体位置の修正を行うようにした。
よって、撮影によるずれが発生し複数の正常対象画像の全体位置が微妙にずれている状態を修正することができるので、境界指定マスク画像設定・記憶部408に記憶された境界位置指定マスク画像を複数の正常対象画像に流用することができ、実際の欠陥に近い疑似欠陥対象画像を効率的に生成することができる。
【0037】
(7)状態パラメータ処理部403は、境界指定マスク画像設定・記憶部408に記憶された加工面10と鋳肌面11との領域境界R1とピストン5の冠面5aの外周を示す領域境界R2を有する境界位置指定マスク画像Mにより、疑似欠陥要素画像8の一部が領域境界R1にかかるように、正常対象画像7の合成位置Gに疑似欠陥要素画像8を合成して、疑似欠陥対象画像を生成するようにした。
よって、判定の難易度が高い領域境界R1に疑似欠陥要素画像8を配置することができるので、より効率的に検査の判定精度を向上することができる。
【0038】
〔実施形態2〕
図11は、実施形態2における正常対象画像の合成位置の状態パラメータを説明する図である。
【0039】
実施形態1では、正常対象画像合成位置状態検出処理部402による正常対象画像の合成位置の状態パラメータ(状態)として、正常対象画像7の合成位置Gの輝度kaを使用していたが、実施形態2では、正常対象画像の合成位置の状態パラメータ(状態)として、正常対象画像7の合成位置Gの切削痕10aを有する加工面10と鋳肌面11との領域境界R1からの距離cと領域境界R1との角度θ2を使用するようにしている。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
【0040】
図12は、実施形態2における疑似欠陥要素画像の領域境界での合成位置にて角度の変更を説明する図である。
【0041】
疑似欠陥要素画像8の長径方向軸線αが切削痕10aを有する加工面10と鋳肌面11との領域境界R1の真上にある場合は、領域境界R1と疑似欠陥要素画像8と区別がつきづらくなり検査の判定精度が悪化するため、疑似欠陥要素画像8の長径方向軸線αを領域境界R1に対し、所定角度θaよりも大きい角度θ3回転させた正常対象画像の合成位置にて、疑似欠陥要素画像8を合成し、疑似欠陥対象画像を生成するようにしている。
例えば、所定角度θaは45°である。
よって、実施形態2では、実施形態1の作用効果に加え、領域境界R1近傍においてもより実際の欠陥に近い疑似欠陥対象画像を生成することができるという作用効果を奏する。
【0042】
〔実施形態3〕
図13は、実施形態3における正常対象画像の合成位置のフィルタ処理を説明する図である。
【0043】
実施形態1では、ピストン5の冠面5aの切削痕10aを有する加工面10の正常対象画像7の合成位置Gに、そのまま、輝度を変更した疑似欠陥要素画像8を合成するようにしていたが、実施形態3では、切削痕10aを有する加工面(表面の種類)10の正常対象画像7の合成位置Gに平滑化する平滑化フィルタ処理(フィルタ処理)をして切削痕をなくし、表面の状態を変更してから疑似欠陥要素画像8を合成し、疑似欠陥対象画像を生成するようにしている。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
これにより、加工面10の切削痕10aの影響を受けないので、より実際の欠陥に近い疑似欠陥対象画像を生成することができる。
よって、実施形態3では、実施形態1の作用効果に加え、加工面10の切削痕の影響を受けない疑似欠陥対象画像を生成でき、より実際の欠陥に近い画像を生成することができるという作用効果を奏する。
【0044】
〔他の実施形態〕
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、被検査物は、ピストンに限らないし、機械学習は、ニューラルネットワークの多層化板である深層学習に限らない。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。
【符号の説明】
【0045】
1 検査装置、4a 疑似欠陥対象画像生成部、412 学習処理部、414 判定処理部、5 ピストン(被検査物)、7 正常対象画像、8 疑似欠陥要素画像、10 加工面(表面の種類、状態)、11 鋳肌面(表面の種類、状態)、a 長径(大きさ、状態)、b 短径(大きさ、状態)、c 正常対象画像の合成位置の領域境界からの距離(状態)、α 長径方向軸線、θ1 長径方向軸線の角度(状態)、θ2 正常対象画像の合成位置の領域境界との角度(状態)、θa 長径方向軸線の所定角度、G 正常対象画像の合成位置、ka 正常対象画像の合成位置の輝度(背景輝度、状態)、kb 実際の疑似欠陥要素画像の輝度(状態)、kc 疑似欠陥要素画像の最適輝度(変更後の疑似欠陥要素画像の輝度)、kd 正常対象画像の合成位置の輝度と疑似欠陥要素画像の最適輝度との輝度差、R1 領域境界、s 正常対象画像の合成位置の輝度の閾値
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13