特開 2024-155346 被検ワークのマスキング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024155346

(43)【公開日】2024-10-31

(54)【発明の名称】被検ワークのマスキング方法

(51)【国際特許分類】

   G06V 10/70 20220101AFI20241024BHJP

   G06T 7/11 20170101ALI20241024BHJP

   G06T 7/00 20170101ALI20241024BHJP

【ＦＩ】

G06V10/70

G06T7/11

G06T7/00 350B

G06T7/00 610

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023069998

(22)【出願日】2023-04-21

(71)【出願人】

【識別番号】000003713

【氏名又は名称】大同特殊鋼株式会社

(74)【代理人】

【識別番号】100107700

【弁理士】

【氏名又は名称】守田 賢一

(72)【発明者】

【氏名】布施 直紀

(72)【発明者】

【氏名】高橋 信幸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096FA02

5L096KA04

(57)【要約】      （修正有）

【課題】位置ずれや寸法個体差のある被検ワークのマスキング作業を自動化して大幅に作業工数を低減する被検ワークのマスキング方法を提供する。
【解決手段】被検ワークの非検査領域をマスキングする方法であって、セマンテック・セグメンテーションモデルに対し、予めマスキングを施した必要数の被検ワークの画像を、マスキングされた領域の画像座標群と対にしたデータセットとして読み込ませて学習させ、学習させたセマンテック・セグメンテーションモデルに対してマスキングされていない新たな被検ワークの画像を与えて当該画像上にマスキングされた領域を自動設定させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

位置ずれや寸法個体差がある被検ワークの非検査領域をマスキングする方法であって、機械学習手段に対し、予めマスキングを施した必要数の前記被検ワークの画像を、マスキングされた領域の画像座標群と対にしたデータセットとして読み込ませて学習させ、学習させた前記機械学習手段に対してマスキングされていない新たな被検ワークの画像を与えて当該画像上にマスキングされた領域を自動設定させることを特徴とする被検ワークのマスキング方法。

【請求項2】

前記機械学習手段はセマンテック・セグメンテーションモデルである請求項１に記載の被検ワークのマスキング方法。

【請求項3】

前記画像座標群は、前記マスキングされた領域を囲むバウンディングボックスを形成する座標群である請求項１に記載の被検ワークのマスキング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は被検ワークのマスキング方法に関し、特にマスキング領域を被検体の画像上に自動生成できる被検ワークのマスキング方法に関するものである。

【背景技術】

【0002】

被検ワークを撮像して傷検出等を行う場合、被検ワークの凸部等によって、撮影用の照明光の方向によって影が生じるため、被検ワークの画像３（図６）中の影となる部分はマスキングしてマスク領域３１とし、検査対象から外して誤検出を生じないようにしている。なお、特許文献１には、マスキング対象部分の属性を予め検出して、対象画面よりその属性を有する部分をニューラルネットワークで抽出し自動マスキングするマスキング方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】ＷＯ２０１８／２２５７７５

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、同種ワークでも搬送時の位置ずれや寸法個体差があると、マスク領域を常に同一位置に設定したのでは微小な傷等を見逃すことがある。すなわち、図６に示す被検ワーク画像３に対してはマスク領域３１の設定で傷３２が良好に検出されるのに対し、位置ずれを生じた被検ワーク画像３（図７）に対しては同一位置のマスク領域３１の設定では傷３２の一部もマスキングされて当該傷３２が確実に検出されないおそれがある。これを避けるために従来は各被検ワーク毎に検査画面上で適正なマスク領域を人手で設定して微小な傷等の検出を見逃さないようにしており、設定するマスク領域が複雑であったり、マスク領域が多数ある場合には多大の手間を要するという問題があった。

【0005】

そこで本発明はこのような課題を解決するもので、位置ずれや寸法個体差のある被検ワークのマスキング作業を自動化して大幅に作業工数を低減することが可能な被検ワークのマスキング方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明では、位置ずれや寸法個体差がある被検ワークの非検査領域をマスキングする方法であって、機械学習手段（２）に対し、予めマスキングを施した必要数の前記被検ワーク（１）の画像を、マスキングされた領域（１３）の画像座標群と対にしたデータセットとして読み込ませて学習させ、学習させた前記機械学習手段（２）に対してマスキングされていない新たな被検ワーク（１）の画像を与えて当該画像上にマスキングされた領域（１４）を自動設定させる。

【0007】

前記機械学習手段としてはセマンテック・セグメンテーションモデルを使用することが好ましい。また、前記画像座標群は、前記マスキングされた領域を囲むバウンディングボックスを形成する座標群であることが好ましい。

【0008】

上記カッコ内の符号は、後述する実施形態に記載の具体的手段との対応関係を参考的に示すものである。

【発明の効果】

【0009】

以上のように、本発明の被検ワークのマスキング方法によれば、位置ずれや寸法個体差のある被検ワークのマスキング作業を自動化して大幅に作業工数を低減することができる。

【図面の簡単な説明】

【0010】

【図1】本発明方法の処理手順を示すフローチャートである。

【図2】マスク領域が設定されていない被検ワークの部分拡大斜視図である。

【図3】マスク領域が自動設定された被検ワークの部分拡大斜視図である。

【図4】セマンテック・セグメンテーションの構成を示す概念図である。

【図5】マスク領域が手作業で設定された被検ワークの部分拡大斜視図である。

【図6】従来例を示す、マスク領域が手作業で設定された被検ワークの部分拡大斜視図である。

【図7】従来例を示す、マスク領域が手作業で設定された被検ワークの部分拡大斜視図である。

【発明を実施するための形態】

【0011】

なお、以下に説明する実施形態はあくまで一例であり、本発明の要旨を逸脱しない範囲で当業者が行う種々の設計的改良も本発明の範囲に含まれる。

【0012】

本発明のマスキング方法は以下の手順（図１参照）によって行われる。

【0013】

[データセットの作成]
最初に学習用のデータセットを作成する。このデータセットの作成は、被検ワークの画像をコンピュータ内に取り込んで、画像上の非検査領域を従来のように人手でマスキングし、マスキングした領域（マスク領域）を囲むバウンディングボックス（四角形や多角形）を形成する適当数のピクセルの各位置座標を得て、マスク領域を描いた学習用被検ワーク画像と上記座標の組をデータセットとする。

【0014】

データセットとなる被検ワーク画像は、同種の被検ワークについて、機械的位置決め誤差によってその位置がずれ、あるいは寸法個体差によってその寸法がばらついたものを含めて満遍なく選択して、後述する学習に十分な数（例えば７０枚）を用意する。

【0015】

被検ワーク画像１´の一例を図２に示し、本実施形態では被検ワーク画像１´はタービンホイールのフィン形成部分である。フィン１１の基部に沿った領域１２は照明光の陰になって明るさが不均一になるのでこの領域を非検査領域として図３に示すように人手でマスキングしてマスク領域１３とする。そして、当該マスク領域１３を囲むバウンディングボックスを形成する適当数のピクセル位置の座標のテキストデータを、学習用の被検ワークの画像データと組みにして複数（例えば７０個）のデータセットとする。

【0016】

［学習モデルの作成］
次に、上記データセットを、コンピュータ内に構成された公知のセマンテック・セグメンテーションモデル（以下、単にセグメンテーションモデルという）に与えて学習させる。当該セグメンテーションモデル２の一例は図４に示すように、畳み込み層やプーリング層を有するニューラルネットワーク（ＣＮＮ）による前段のエンコーダ部２１と、ＣＮＮが逆実装された後段のデコーダ部２２よりなるものである。セグメンテーションモデル２のエンコーダ部２１は、必要数の上記データセットが与えられることによって内部パラメータが最適化され、マスク領域となる画像ピクセルの情報を特徴として有するものとなる。

【0017】

［自動マスクの作成］
学習済みの上記セグメンテーションモデル２に、マスク領域が設定されていない新たな被検ワーク画像１を入力すると、当該被検ワーク画像１の全ピクセルのうち、上記特徴を参照して、マスク領域となるべき画像ピクセルの情報を有する全画像データが上記セグメンテーションモデル２のデコーダ部２２で生成され、被検ワーク画像１内にマスク領域１４が描かれた画像が出力される（図５）。

【0018】

このようにして、供給される新たな被検ワークに位置づれがあり、あるいは寸法個体差があっても、学習済みのセグメンテーションモデル２によって、被検ワーク画像１の必要部に適正なマスク領域１４が自動的に描かれる。

【0019】

機械学習手段としてはセマンテック・セグメンテーションモデルに限られない。また画像群データは必ずしもバウンディングボックスを形成する座標群でなくても良い。

【符号の説明】

【0020】

１、１´…被検ワーク、２…セマンテック・セグメンテーションモデル（機械学習手段）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】