特許 7186521 外観検査装置の教師画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-01

(45)【発行日】2022-12-09

(54)【発明の名称】外観検査装置の教師画像生成装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221202BHJP

   G01B 11/30 20060101ALI20221202BHJP

   G06T 7/00 20170101ALI20221202BHJP

【ＦＩ】

G01N21/88 J

G01B11/30 A

G06T7/00 350B

G06T7/00 610C

【請求項の数】 1

(21)【出願番号】P 2018112374

(22)【出願日】2018-06-12

(65)【公開番号】P2019215240

(43)【公開日】2019-12-19

【審査請求日】2021-03-02

(73)【特許権者】

【識別番号】000166948

【氏名又は名称】シチズンファインデバイス株式会社

(73)【特許権者】

【識別番号】000001960

【氏名又は名称】シチズン時計株式会社

(72)【発明者】

【氏名】多田 耕三

【審査官】横尾 雅一

(56)【参考文献】

【文献】特開２０１１－２１４９０３（ＪＰ，Ａ）

【文献】特開２０１７－１２０６７２（ＪＰ，Ａ）

【文献】特開２０１３－０２９３５０（ＪＰ，Ａ）

【文献】特許第６３３００９２（ＪＰ，Ｂ１）

【文献】米国特許出願公開第２０１７／０２００２６５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ ７／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

仮想空間内に検査対象の物体と視点と光源とを仮想的に配置し、前記物体の三次元形状を表現する三次元形状データに基づいて前記物体の表面を三次元モデルとして構築し、当該三次元モデルとして構築された前記物体の表面と前記光源から発せられる光との光学的な応答を計算して前記物体の表面から前記視点に入る光の強さと色を算出し、当該算出されたデータをコンピュータ・グラフィックスにより画像に変換し、当該画像を所定の仮想平面における前記物体の見え方を示す教師画像として出力することができるように構成されたコンピュータと、
前記物体の実際の物体の三次元形状を測定して前記三次元形状データとして前記コンピュータへ出力する三次元形状測定機と、
前記物体の実際の物体の表面を撮像して二次元画像として前記コンピュータへ出力する二次元カメラと、
前記三次元形状測定機が前記三次元形状データを取得する際、及び前記二次元カメラが前記二次元画像を取得する際に、前記物体の実際の物体の位置と姿勢を制御する位置姿勢制御手段と、を備え、
前記コンピュータは、前記教師画像と前記二次元画像とを比較し、当該比較の結果に基づいて前記教師画像の見え方を前記物体の実際の物体の見え方に近づくように調整する、
ことを特徴とする外観検査装置の教師画像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、キズや凹凸やゆがみなどの面欠陥を検査する外観検査装置の教師画像生成方法に関する。

【背景技術】

【0002】

従来、キズや凹凸やゆがみなどの面欠陥を検査する外観検査方法として、検査対象である物体の検査したい面（検査面）をカメラで撮像して取得した平面画像に所定の画像処理を施した検査画像と、検査対象である物体の良品サンプルの欠陥のない面（基準面）をカメラで撮像して取得した平面画像に同じ画像処理を施した基準画像とを比較することで、欠陥の有無とその大きさや位置を推定し、検査対象物の良否を判定する方法がある。このような方法では、検査画像と基準画像とを比較し、輝度やコントラストや色の差が閾値を超えた領域に欠陥がある、と判定することが一般的である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

従来の外観検査方法では、物体の基準画像と検査画像を用意する必要があり、基準画像は、欠陥のない面を撮像したものが1枚あればよいが、検査画像は、検査対象の物体ごとに必要となる。

【0004】

ところで、撮像画像は、検査対象面と相互作用した光をカメラのセンサーが受け取ることで生成されることから、撮像の結果が、検査面の三次元形状に影響を受けることは明らかである。

【0005】

前述の検査面の三次元形状は、例えば、切削や旋削のいわゆる挽目や研削の粗さなどの微細な形状から、比較的大きなサイズのゆがみや変形などがある。

【0006】

検査面にある検出したい欠陥が、人間は簡単に識別できるものであっても、背景にある大域的な三次元形状によっては、画像処理的に精度良く自動で区別することは簡単ではない。特定の欠陥を検出できる画像処理的な方法は、適用できる形状の変動範囲が狭く、また、撮像条件も厳しくなるからである。

【0007】

具体的な例としては、旋盤部品の旋削面に発生する工具や製品の接触によるキズが、バイトの送りでできる旋削痕と角度をなしている場合には、検出は比較的容易であるが、平行にできている場合には、旋削痕とキズの分離、識別は難しい。平行なキズを検出できるように作れば、キズでない挽目をキズと判定するリスクが高まるという問題が生ずる。

【0008】

そのような経時的な三次元形状の変動を欠陥と容易に切り分けできるまで抑え込むことは大変難しく、近年、進展が著しいディープラーニングなどの機械学習を応用し、環境変動に強い検査を実現させる取り組みが急速に拡大し、実用化が進んでいる。

【0009】

機械学習には、教師画像が必要である。発見された欠陥の種類（キズ、凹み、ゆがみなど）やサイズ（大きさ、深さ、位置など）でラベルをつけて分類した画像群と、欠陥がない場合の正常な画像群を収集し、それらを教師画像として機械学習に適用し、分類のネットワークモデルを生成する。

【0010】

生成されたネットワークモデルに新しい検査画像を与えれば、もっとも近い教師画像のラベルを出力する検査方法、つまり、欠陥の有無検出とラベル分類を実行できる検査方法となる。人間が目視で検査し分類した画像そのものをお手本として分類モデルを作るので、三次元形状の変動に起因する見え方変動に強く、教師画像の品質が適切であれば、生成されたモデルは精度良く作業することがわかっている。

【0011】

そのように有効な手段であるが、機械学習で作るモデルの精度を確保するためには、大量の教師信号が必要である。一般的には最低でも数百枚～数千枚、場合によっては数万枚～数十万枚の画像が要求される。

【0012】

欠陥の画像を大量に収集することは容易ではない。そもそも、製造現場は欠陥を作ることを目的としていない。また、収集段階では自動的に欠陥を見つける方法がなく、人間による目視検査での作業となり、見つけた欠陥を撮像し、その画像が肉眼での見え方と同じであるか確認する必要があるため、大変な手間がかかる。

【0013】

面欠陥検査などの外観検査への機械学習の応用は、有望であることは間違いないが、教師画像の収集に課題がある。

【0014】

本発明は、以上の問題点に鑑みて成されたものであり、教師画像を容易に生成することが可能な外観検査装置の教師画像生成方法を提供することを目的とする。

【課題を解決するための手段】

【0015】

コンピュータの仮想空間内に検査対象の物体と視点と光源とを仮想的に配置し、前記物体の三次元形状を表現するデータに基づいて前記物体の表面を三次元モデルとして構築し、当該三次元モデルとして構築された前記物体の表面と前記光源から発せられる光との光学的な応答を計算して前記物体の表面から前記視点に入る光の強さと色を算出し、当該算出されたデータをコンピュータ・グラフィックスにより画像に変換し、当該画像を所定の仮想平面における前記物体の見え方を示す教師画像として出力する、外観検査装置の教師画像生成方法とする。

【0016】

前記三次元モデルに前記物体の面欠陥の形状を加え、当該面欠陥を含む画像を前記教師画像として出力する、外観検査装置の教師画像生成方法であってもよい。

【0017】

前記物体の位置又は姿勢を自動的に変化させ、変化毎に前記物体の見え方を前記教師画像として自動的に出力する、外観検査装置の教師画像生成方法であってもよい。

【0018】

前記教師画像と前記物体の実際の物体をカメラで撮像した画像とを比較し、その結果に基づいて前記教師画像の見え方を調整する、外観検査装置の教師画像生成方法であってもよい。

【発明の効果】

【0019】

本発明によれば、外観検査装置の教師画像を容易に生成することができる。

【図面の簡単な説明】

【0020】

【図1】本発明に係る外観検査装置の教師画像生成方法を実施するためのコンピュータの構成を示したものである。

【図2】本発明に係る外観検査装置の教師画像生成方法を概念的に示したものである。

【図3】教師画像を生成するためのデータを取得するデータ取得装置の具体例を示したものである。

【図4】物体位置姿勢制御手段の具体例を示す正面図である。

【図5】物体位置姿勢制御手段の具体例を示す側面図である。

【図6】物体位置姿勢制御手段の具体例の動作を説明するための側面図である。

【発明を実施するための形態】

【0021】

図１は、本発明に係る外観検査装置の教師画像生成方法を実施するためのコンピュータの構成を示したものである。図２は、本発明に係る外観検査装置の教師画像生成方法を概念的に示したものである。コンピュータ２０は、その内部に検査対象の物体８と視点６と光源７とが仮想的に配置された仮想空間１を形成するように動作するものであり、物体８の三次元形状を表現するデータ２から物体８の表面を三次元モデルとして構築するデータ処理手段３と、その物体８の表面と光源７から発せられる光９との光学的な応答１０を計算し、物体８の表面から視点６に入る光１１の強さと色を計算し、そのデータをＣＧ（コンピュータ・グラフィックス）により画像に変換し、その画像を所定の仮想平面１２における物体８の見え方を示す教師画像５として出力するデータ処理手段４とを備えている。

【0022】

物体８の三次元形状を表現するデータ２は、三次元形状を表現できる形式であればよく、一般的にはＳＴＬ形式であるが、テキストデータでＸＹＺ座標値を表記したファイルでも構わない。また、三次元ＣＡＤの中間ファイル形式であるＳＴＥＰ、ＩＧＥＳなども読み込み可能であるようにプログラムされていてもよい。

【0023】

教師画像５を生成するためのプロセスは、まず、ユーザーが仮想空間１内の適当なＸＹＺ位置に光源７と視点６をそれぞれ配置することから始まり、次に、見え方を知りたい物体８の三次元データ２を座標の指定位置（例えばＸＹＺの原点）に配置し、次に、三次元データ２をデータ処理手段３に与え、物体８の三次元モデルを構築し、その物体８の表面の位置を求め、そのデータをデータ処理手段４に渡す。

【0024】

データ処理手段４は、データ処理手段３から受け取ったデータに基づき、最初に配置された光源７から物体８の面に届いた光線について、光学的な応答を計算し、応答光として反射光と拡散光の向きと強さと色を計算する。次に、視点６に入る応答光を求め、それが視点６が向く方向に垂直な仮想平面１２と交わる点にＣＧにより所定の光の強さと色を与え、教師画像５として出力する。

【0025】

教師画像５の出力は、ユーザーがコンピュータ２０を操作することにより、その操作毎に行われる、もしくは、コンピュータ２０にインストールされている電子的プログラムにより、自動的に行われる。

【0026】

教師画像５は、物体８の面欠陥（キズ、凹み、ゆがみなど）を含む画像と面欠陥を含まない画像のうち何れか一方、又はその両方である。面欠陥は、実際に発生したことがある欠陥に限らず、発生することが予想される欠陥であってもよい。

【0027】

教師画像５を、多層構造を有するニューラルネットワーク（ディープラーニング）に与えて学習させることにより、外観検査用のネットワークモデルを生成し、そのネットワークモデルに物体２３の検査画像を与えることにより、物体２３の外観について良否が自動的に判定される。

【0028】

図３は、教師画像を生成するためのデータを取得するデータ取得装置の具体例を示したものである。この具体例において、データ取得装置は、物体８の三次元形状データに基づいて作製されている物体２３の実際の三次元形状を測定する三次元形状測定機２１と、物体２３の表面を撮像する二次元カメラ２２と、物体２３の位置と姿勢を制御する位置姿勢制御手段２４と、三次元形状測定機２１から出力された物体２３の三次元形状測定データ、二次元カメラ２２から出力された物体２３の撮像データ、ならびに位置姿勢制御手段２４から出力された物体２３の位置姿勢データを受け取るコンピュータ２０とを備えている。

【0029】

図３における二次元カメラ２２と物体２３との位置関係は、図２における仮想空間１での視点６と物体８との位置関係と同じである。また、図３における物体２３を照らす照明（不図示）と物体２３との位置関係は、図２における仮想空間１での光源７と物体８との位置関係と同じである。

【0030】

物体８の教師画像５は、すべて仮想空間内での計算で得られるが、その見え方品質は現実の物体２３の現実の見え方に近くなければならない。図３の具体例では、物体２３と照明（不図示）と二次元カメラ２２との位置関係を図１における仮想空間１での位置関係と同じにそろえたことにより、物体２３の位置姿勢データから生成される教師画像５と二次元カメラ２２で撮像した物体２３の画像との比較により互いの近似度（差異）を測ることができる。近似度を数値化し、差異が小さくなるように、物体８の表面の反射や拡散や色味などの光学的特性を調整することで、教師画像５を実際の見え方に近づけることができる。

【0031】

図４は、物体位置姿勢制御手段の具体例を示す正面図である。図５は、物体位置姿勢制御手段の具体例を示す側面図である。図６は、物体位置姿勢制御手段の具体例の動作を説明するための側面図である。図４～６は、互いに同じ具体例を示している。この具体例は、図３に示す物体位置姿勢制御手段２４の具体例である。この具体例は、第一駆動リンク３１ａ、第二駆動リンク３１ｂ、第三駆動リンク３１ｃ、及び第四駆動リンク３１ｄから成る駆動リンク群と、第一従動リンク３２ａ、第二従動リンク３２ｂ、第三従動リンク３２ｃ、及び第四従動リンク３２ｄから成る従動リンク群と、ＹＺθ軸第一駆動回転軸（兼Ｘ軸直動ガイド）３３ａ、ＹＺθ軸第二駆動回転軸（兼Ｘ軸直動ガイド）３３ｂ、ＹＺθ軸第三駆動回転軸（兼Ｘ軸直動ガイド）３３ｃ、及びＹＺθ軸第四駆動回転軸（兼Ｘ軸直動ガイド）３３ｄから成るＹＺθ軸駆動回転軸（兼Ｘ軸直動ガイド）群と、ＹＺθ軸第一駆動モーター３４ａ（不図示）、ＹＺθ軸第二駆動モーター３４ｂ（不図示）、ＹＺθ軸第三駆動モーター３４ｃ（不図示）、及びＹＺθ軸第四駆動モーター３４ｄから成るＹＺθ軸駆動モーター群と、Ｘ軸ボールネジ３５と、Ｘ軸スライダー３６と、Ｘ軸駆動モーター３７と、ワーク載せ台３８と、で構成されるパラレルリンク機構を備えている。

【0032】

第一駆動リンク３１ａ、第二駆動リンク３１ｂ、第三駆動リンク３１ｃ、及び第四駆動リンク３１ｄの各上端部は、それぞれ、第一従動リンク３２ａ、第二従動リンク３２ｂ、第三従動リンク３２ｃ、及び第四従動リンク３２ｄの各下端部に、θ方向へ回転可能に接続されている。

【0033】

第一従動リンク３２ａ、第二従動リンク３２ｂ、第三従動リンク３２ｃ、及び第四従動リンク３２ｄの各上端部は、それぞれ、ワーク載せ台３８の下部に、θ方向へ回転可能に接続されている。

【0034】

第一駆動リンク３１ａ、第二駆動リンク３１ｂ、第三駆動リンク３１ｃ、及び第四駆動リンク３１ｄの各下端部は、それぞれ、ＹＺθ軸第一駆動回転軸（兼Ｘ軸直動ガイド）３３ａ、ＹＺθ軸第二駆動回転軸（兼Ｘ軸直動ガイド）３３ｂ、ＹＺθ軸第三駆動回転軸（兼Ｘ軸直動ガイド）３３ｃ、及びＹＺθ軸第四駆動回転軸（兼Ｘ軸直動ガイド）３３ｄに、θ方向へ回転可能に接続されている。

【0035】

ＹＺθ軸第一駆動回転軸（兼Ｘ軸直動ガイド）３３ａ、ＹＺθ軸第二駆動回転軸（兼Ｘ軸直動ガイド）３３ｂ、ＹＺθ軸第三駆動回転軸（兼Ｘ軸直動ガイド）３３ｃ、及びＹＺθ軸第四駆動回転軸（兼Ｘ軸直動ガイド）３３ｄの各一端部は、それぞれ、ＹＺθ軸第一駆動モーター３４ａ（不図示）、ＹＺθ軸第二駆動モーター３４ｂ（不図示）、ＹＺθ軸第三駆動モーター３４ｃ（不図示）、及びＹＺθ軸第四駆動モーター３４ｄの各動力軸に、接続されている。

【0036】

Ｘ軸スライダー３６は、Ｘ軸ボールネジ３５に、Ｘ方向へ直動可能に保持されている。

【0037】

Ｘ軸ボールネジ３５の一端部は、Ｘ軸駆動モーター３７の動力軸に、接続されている。

【0038】

以上のパラレルリンク機構において、ＹＺθ軸駆動モーター群の各駆動モーターを選択的に動作させると、その動力により、ＹＺθ軸駆動回転軸（兼Ｘ軸直動ガイド）群の各回転軸がθ方向へ選択的に回転し、その回転により、駆動リンク群の各駆動リンクが各回転軸を中心としてθ方向へ所定の角度で選択的に回転し、その回転に連動して従動リンク群の各従動リンクが所定の姿勢となることで、例えば、図６に示すように、ワーク載せ台３８がＹ方向へ移動すると共にθ方向へ回転する。

【0039】

また、Ｘ軸駆動モーター３７を動作させると、その動力により、Ｘ軸ボールネジ３５が回転し、その回転により、Ｘ軸スライダー３６がＸ軸ボールネジ３５の延在方向に沿ってＸ方向へ移動し、その移動による動力が駆動リンク群に直接的又は間接的に伝わることにより、駆動リンク群がＹＺθ軸駆動回転軸（兼Ｘ軸直動ガイド）群の延在方向に沿ってＸ方向へ移動し、その移動に伴い、ワーク載せ台３８がＸ方向へ移動する。

【0040】

ワーク載せ台３８に物体２３が載置されている場合には、ワーク載せ台３８と共に物体２３の位置や姿勢を変化させることができる。物体２３の位置や姿勢を段階的又は連続的に変化させながら、三次元形状測定機２１と二次元カメラ２２とコンピュータ２０とにより、その位置や姿勢における物体２３の三次元形状データと二次元画像と位置姿勢データを互いに関連付けて取得すれば、教師画像５を生成するためのデータを効率良く収集することができる。この一連のプロセスは、位置姿勢制御手段２４と三次元形状測定機２１と二次元カメラ２２とコンピュータ２０とが互いに連動することにより、自動的に実行されるように構成されていてもよい。

【0041】

図４～６に示した具体例は、物体２３をＸＹＺ方向とＸ軸回りに移動させるように構成されているが、物体２３をＹＺ軸回りにも移動させるように構成されていてもよい。

【符号の説明】

【0042】

１ 仮想空間
２ 物体の三次元形状を表現するデータ
３ データ処理手段
４ データ処理手段
５ 教師画像
６ 視点
７ 光源
８ 物体
９ 光
１０ 光学的な応答
１１ 光
１２ 仮想平面
２０ コンピュータ
２１ 三次元形状測定機
２２ 二次元カメラ
２３ 物体
２４ 物体位置姿勢制御手段
３１ａ 第一駆動リンク
３１ｂ 第二駆動リンク
３１ｃ 第三駆動リンク
３１ｄ 第四駆動リンク
３２ａ 第一従動リンク
３２ｂ 第二従動リンク
３２ｃ 第三従動リンク
３２ｄ 第四従動リンク
３３ａ ＹＺθ軸第一駆動回転軸（兼Ｘ軸直動ガイド）
３３ｂ ＹＺθ軸第二駆動回転軸（兼Ｘ軸直動ガイド）
３３ｃ ＹＺθ軸第三駆動回転軸（兼Ｘ軸直動ガイド）
３３ｄ ＹＺθ軸第四駆動回転軸（兼Ｘ軸直動ガイド）
３４ａ ＹＺθ軸第一駆動モーター（不図示）
３４ｂ ＹＺθ軸第二駆動モーター（不図示）
３４ｃ ＹＺθ軸第三駆動モーター（不図示）
３４ｄ ＹＺθ軸第四駆動モーター
３５ Ｘ軸ボールネジ
３６ Ｘ軸スライダー
３７ Ｘ軸駆動モーター
３８ ワーク載せ台

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】