(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-28
(45)【発行日】2023-10-06
(54)【発明の名称】表面性状検出方法及び表面性状検出装置
(51)【国際特許分類】
G01N 21/27 20060101AFI20230929BHJP
G01N 21/57 20060101ALI20230929BHJP
G01B 11/30 20060101ALI20230929BHJP
G06T 7/00 20170101ALI20230929BHJP
【FI】
G01N21/27 A
G01N21/57
G01B11/30 A
G06T7/00 350C
(21)【出願番号】P 2019219952
(22)【出願日】2019-12-04
【審査請求日】2022-10-17
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】三高 良介
【審査官】井上 徹
(56)【参考文献】
【文献】特開2017-9523(JP,A)
【文献】特開2017-4315(JP,A)
【文献】特開2016-142601(JP,A)
【文献】特開2018-163134(JP,A)
【文献】重川 裕和ら,ディープニューラルネットワークを用いた物体表面の光沢感認識,情報処理学会研究報告,2013年,Vol.2013-CVIM-187, No.28
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-G01N 21/01
G01N 21/17-G01N 21/61
G01N 21/84-G01N 21/958
G01B 11/00-G01B 11/30
G06T 7/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
検査対象物を照明装置により照明し、前記検査対象物の
平坦な表面の一部の領域が前記照明装置から所定の入射角度でかつ前記入射角度が連続的又は断続的に変化するように照明される照明ステップと、
前記領域を撮像装置により連続的又は断続的に撮像して、異なる前記入射角度で照明された前記領域を撮像した複数の画像を得る撮像ステップと、
前記画像の前記領域における輝度と当該画像の撮像時の前記入射角度又は前記領域の位置との対応関係を前記複数の画像について得て前記輝度と前記入射角度又は前記領域の位置との関係曲線を得る関係曲線導出ステップと、
前記関係曲線を前記入射角度又は前記領域の位置の所定の二次関数により表現される二次曲線に近似する二次曲線近似ステップと、
前記所定の二次関数の二次の項の係数、一次の項の係数又は定数項のうちの少なくとも一個を用いて、前記領域の表面性状を検出する表面性状検出ステップと、を備え
、
前記表面性状検出ステップにおいて、
前記所定の二次関数の前記二次の項の係数を基に前記表面性状としての光沢を検出するか、又は、
前記撮像装置はモノクロ画像を撮像するものであって前記所定の二次関数の前記定数項を基に前記表面性状としての反射率を検出するか、又は、
前記撮像装置はカラー画像を撮像するものであって前記所定の二次関数の前記定数項を基に前記表面性状としての色調を検出する
表面性状検出方法。
【請求項2】
前記表面性状検出ステップにおいて、前記所定の二次関数の導関数を求め、前記導関数の値が0となる前記入射角度又は前記領域の位置を基に、前記表面性状としての前記領域の面方向を検出する
請求項
1に記載の表面性状検出方法。
【請求項3】
各前記領域毎に前記所定の二次関数の前記二次の項の係数を表示する二次の項の係数の分布画像と、各前記領域毎に前記所定の二次関数の前記定数項を表示する定数項の分布画像と、を作成する分布画像作成ステップを更に備える
請求項1
又は2に記載の表面性状検出方法。
【請求項4】
機械学習装置に前記表面性状と色目判定の基準との関係を機械学習させる機械学習ステップと、
前記機械学習ステップにおいて機械学習を行った前記機械学習装置に、前記表面性状検出ステップにおいて検出された前記表面性状を用いて色目判定を行わせる色目判定ステップと、を更に備える
請求項1~
3のいずれか一項に記載の表面性状検出方法。
【請求項5】
前記機械学習ステップは、
前記機械学習装置に第一の機械学習を行わせて前記表面性状についての尤度分布を作成する尤度分布作成ステップと、
前記尤度分布の特異部分を抽出する特異部分抽出ステップと、
前記機械学習装置に第二の機械学習を行わせて前記色目判定の基準を学習させる色目判定学習ステップと、を有する
請求項
4記載の表面性状検出方法。
【請求項6】
前記第一の機械学習において用いられる画像は、前記第二の機械学習において用いられる画像と縮尺が異なる
請求項
5記載の表面性状検出方法。
【請求項7】
前記第一の機械学習において用いられるデータのサイズは、前記第二の機械学習において用いられるデータのサイズよりも小さい
請求項
5記載の表面性状検出方法。
【請求項8】
請求項1~7のいずれか一項に記載の表面性状検出方法に用いられる表面性状検出装置であって、
前記照明装置と、
前記撮像装置と、
前記関係曲線導出ステップを実行する関係曲線導出処理装置と、
前記二次曲線近似ステップを実行する二次曲線近似処理装置と、
前記表面性状検出ステップを実行する表面性状検出処理装置と、を備える
表面性状検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査対象物の表面性状検出方法及び表面性状検出装置に関するものである。
【背景技術】
【0002】
従来の検査対象物表面の自動検査技術として、特許文献1には、撮像装置と照明と検査対象物の相対的な位置関係を変化させながら照明の正反射光が入射する位置を特定することにより、検査対象物の面方向を計測する方法が示されている。このものでは、建材などの検査対象物表面に線状の出光部を映りこませた状態で検査対象物を等速で搬送しながら撮像装置で撮影し、検査対象物表面の同一位置での撮像輝度が最大となる位置、すなわち対象物表面で正反射した照明光の成分が最大となる位置を割り出し、撮像装置と照明と検査対象物の相対位置から求められる照明光の入射角と反射角をもとに面方向を推定することで表面の凹凸を計測する。
【0003】
この場合、検査対象物表面に映りこんだ照明像を画像処理で分析するために、表面に光沢のある検査対象物、たとえば金属素材、光沢のある塗装や化粧シート貼りの建材等には適用できる。しかし、表面に光沢のない検査対象物、たとえば無塗装の木材やMDF(Medium Density Fiber)材、光沢のない塗装や化粧シート貼りの建材では、検査対象物表面に照明が映りこまないので適用しにくく、光沢等の検査対象物の表面の性状を検出しにくいものであった。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は上記問題に鑑みてなされたもので、検査対象物の表面性状を精度よく検出しやすい表面性状検出方法及び表面性状検出装置を提供することを課題とする。
【課題を解決するための手段】
【0006】
本開示の一形態に係る表面性状検出方法は、照明ステップと、撮像ステップと、関係曲線導出ステップと、二次曲線近似ステップと、表面性状検出ステップと、を備える。前記照明ステップは、検査対象物を照明装置により照明し、前記検査対象物の表面の一部の領域が前記照明装置から所定の入射角度でかつ前記入射角度が連続的又は断続的に変化するように照明されるステップである。前記撮像ステップは、前記領域を撮像装置により連続的又は断続的に撮像して、異なる前記入射角度で照明された前記領域を撮像した複数の画像を得るステップである。前記関係曲線導出ステップは、前記画像の前記領域における輝度と当該画像の撮像時の前記入射角度又は前記領域の位置との対応関係を前記複数の画像について得て前記輝度と前記入射角度又は前記領域の位置との関係曲線を得るステップである。前記二次曲線近似ステップは、前記関係曲線を前記入射角度又は前記領域の位置の所定の二次関数により表現される二次曲線に近似するステップである。前記表面性状検出ステップは、前記所定の二次関数の二次の項の係数、一次の項の係数又は定数項のうちの少なくとも一個を用いて、前記領域の表面性状を検出するステップである。
【0007】
また、本開示の一形態に係る、前記表面性状検出方法に用いられる表面性状検出装置は、前記照明装置と、前記撮像装置と、関係曲線導出処理装置と、二次曲線近似処理装置と、表面性状検出処理装置と、を備える。前記関係曲線導出処理装置は、前記関係曲線導出ステップを実行する。前記二次曲線近似処理装置は、前記二次曲線近似ステップを実行する。前記表面性状検出処理装置は、前記表面性状検出ステップを実行する。
【発明の効果】
【0008】
本開示の一形態に係る表面性状検出方法及び表面性状検出装置にあっては、検査対象物の表面性状を精度よく検出しやすい。
【図面の簡単な説明】
【0009】
【
図1】
図1は、本開示の一実施形態に係る表面性状検出装置の概略構成を示す斜視図である。
【
図2】
図2Aは、同上の表面性状検出装置の制御系のブロック図である。
図2Bは、同上の表面性状検出装置で用いられるニューラルネットワークの概念図である。
【
図3】
図3Aは、同上の表面性状検出装置において撮像装置による検査対象物の撮像を説明する断面図である。
図3Bは、同上の表面性状検出装置において
図3Aに示す状態で撮像して得られた画像である。
【
図4】
図4Aは、同上の表面性状検出装置において撮像装置による検査対象物の撮像を説明する断面図である。
図4Bは、同上の表面性状検出装置において
図4Aに示す状態で撮像して得られた画像である。
【
図5】
図5Aは、同上の表面性状検出装置において撮像装置による検査対象物の撮像を説明する断面図である。
図5Bは、同上の表面性状検出装置において
図5Aに示す状態で撮像して得られた画像である。
【
図6】
図6は、同上の表面性状検出方法における二次曲線のグラフである。
【
図7】
図7は、同上の二次曲線の導関数のグラフである。
【
図8】
図8は、同上の表面性状検出方法における検査対象物の表面の面方向を表した画像である。
【
図9】
図9は、同上の表面性状検出方法における検査対象物の表面の光沢を表した画像である。
【
図10】
図10は、同上の表面性状検出方法における検査対象物の表面の反射率を表した画像である。
【
図11】
図11は、同上の表面性状検出方法における検査対象物の表面の面方向を表した画像である。
【
図12】
図12は、同上の表面性状検出方法における検査対象物の表面の面方向について処理した画像である。
【
図14】
図14は、同上の表面性状検出方法における尤度分布を示す図である。
【
図19】
図19A及び
図19Bは、滑らかに光沢が変化する風合いの加工が施されメープル調のシートの画像である。
図19C及び
図19Dは、高光沢で細かい掻き傷状のシボ目が形成されているソフトオーク調のシートの画像である。
【発明を実施するための形態】
【0010】
本開示は、表面性状検出方法及び表面性状検出装置に関し、さらに詳しくは、照明装置より照明される検査対象物を撮像装置により撮像して得られた画像より、検査対象物の表面性状を検出する方法及びその装置に関するものである。
【0011】
以下、本開示に係る表面性状検出方法及び表面性状検出装置の一実施形態について、
図1~
図19に基いて説明する。
【0012】
まず、検査対象物9について説明する。本実施形態では、検査対象物9は、建材であり、更に詳しくは、ドア用の化粧板である。検査対象物9としてのドア用の化粧板は、厚さ2.6mmのMDF(Medium Density Fiberboard)の表面に、オレフィン製加飾シートをウレタン系反応型ホットメルト(Poly Urethane Reactive Hot Melt)接着剤を用いたプレス加工により貼り合わせたものである。
【0013】
次に、表面性状検出装置1について説明する。
図1に示すように、表面性状検出装置1は、照明装置12と、撮像装置11と、を備える。
【0014】
撮像装置11は、レンズと、平面形状の撮像面を有しレンズにより撮像面に結像した像を電気信号(画像信号)に変換する(つまり撮像する)撮像素子とを有する、いわゆる周知のデジタルカメラである。レンズは例えば両面凸レンズである。撮像素子としては、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの周知のイメージセンサを用いることができる。また、撮像装置11はいわゆるエリアセンサカメラであって、撮像素子において画素は二次元的に配列されている。
【0015】
照明装置12は、検査対象物9を照明する。照明装置12は、全体として線状の光源を有し、光源は、撮像装置11に対する検査対象物9の相対的な移動方向91と表面90(撮像面)の法線方向92とに直交する方向93に長手方向を向けている。ここで、「線状」とは、長手方向の長さが短手方向の長さと比べて長い(比率でいうと例えば10倍以上が好ましい)ことをいうものであり、幅は0でなくてもよい。また、照明装置12は、例えば撮像装置11と共通の台座(図示せず)に対して固定されることで、撮像装置11に対する相対的な位置を固定されている。照明装置12の光源としては、例えば、直線状に配列された複数個の発光ダイオードを備える発光ダイオードアレイを用いることができる。照明装置12は、撮像装置11の画角から外れた位置に配置され、光源から直接撮像装置11に向けて出光されないようになっている。
【0016】
照明装置12は、できるだけ線光源に近く(つまり、発光部の長手方向に直交する幅がなるべく細く、発光体が直線状に配列されており)、かつ、輝度ができるだけ高いことが望ましい。例えば、照明装置12として上記のような発光ダイオードアレイが用いられる場合、できるだけ輝度が高く且つ小さい発光ダイオードが、できるだけ短い間隔で配置されていることが望ましい。
【0017】
図2Aに示すように、表面性状検出装置1は、搬送装置13を備える。搬送装置13としては、例えば、検査対象物9が載置される周知のベルトコンベアや可動ステージを用いることができる。または、搬送装置13は、検査対象物9を移動させる代わりに、撮像装置11と照明装置12とを移動させるロボットアーム等であってもよい。
【0018】
また、本実施形態は、撮像装置11が出力した画像のデータを処理する画像処理装置14を備える。
図2Aでは画像処理装置14は撮像装置11と分離して配置されているが、撮像装置11と一体的に設けられてもよい。
【0019】
撮像装置11が出力した画像のデータは、CameraLink、USB(登録商標)、GigabitEthernet(登録商標)等の通信インターフェースを介して画像処理装置14に送信される。画像処理装置14は、通信インターフェースを介して送られてきた画像のデータを、画像処理装置14自体が内蔵するメモリまたはストレージ上に蓄積するとともに、同じく内蔵する演算装置により、蓄積された画像に対して任意の処理を実行できる機能を有する。
【0020】
画像処理装置14は、撮像装置11と照明装置12とに対する検査対象物9の相対的な位置が異なる複数のタイミングでそれぞれ撮像装置11から画像を取得する。画像処理装置14は、得られた複数枚の画像の画素値の2値化や連結領域の抽出といった周知技術を用いることができ、上記のような画像処理装置14は例えばFPGA(field-programmable gate array)を用いて周知技術で実現することができる。
【0021】
表面性状検出装置1は、制御装置15を備える。制御装置15は、例えばマイクロコンピュータを有し、ROM(Read Only Memory)等の記憶部に記憶されたプログラムを実行することで、各要素の動作を制御する。このような制御装置15としては、公知の様々なものが適宜利用可能であり、詳細な説明は省略する。制御装置15は、撮像装置11、照明装置12、搬送装置13及び画像処理装置14を制御する。
【0022】
以下に、表面性状検出装置1による検査対象物9の表面性状検出方法について説明する。検査対象物9の表面性状としては、例えば、光沢、反射率、色調又は面方向(面の法線方向)が挙げられるが、これらに限定されない。
【0023】
表面性状検出方法は、照明ステップと、撮像ステップと、関係曲線導出ステップと、二次曲線近似ステップと、表面性状検出ステップと、を備える。
【0024】
照明ステップは、検査対象物9を照明装置12により照明し、検査対象物9の表面90の一部の領域(例えば後述する領域95~97)が照明装置12から所定の入射角度でかつ入射角度が連続的又は断続的に変化するように照明されるステップである。照明装置12、搬送装置13及び制御装置15が、照明ステップを実行する照明ステップ処理装置を構成する。
【0025】
撮像ステップは、検査対象物9の一部の領域を撮像装置11により連続的又は断続的に撮像して、異なる入射角度で照明された領域を撮像した複数の画像2を得るステップである。撮像装置11、画像処理装置14及び制御装置15が、撮像ステップを実行する撮像ステップ処理装置を構成する。
【0026】
照明ステップと撮像ステップは、一部又は全部が時間的に重複する。照明ステップ及び撮像ステップについて説明する。
【0027】
図3Aに示すように、検査対象物9の撮像面(表面90)の一部に、概ね円錐状をした凸部94が形成されている。この凸部94の移動方向91の下流側(
図3Aにおける左側)の斜面(表面60)の一部の領域95に注目する。領域95の移動方向91に沿う方向における位置をxとする。また、領域95の面方向をδ1とする。
図3Aは、照明装置12より所定の入射角度で領域95に入射された光が領域95で正反射して、撮像装置11に入射される状態を示す。
図3Aに示す状態で撮像装置11により撮像された画像2を
図3Bに示す。
図3B中の符号21は、画像2における凸部94に対応する部分を示し、符号22は、画像2において表面90で反射した照明装置12(光源)の像を示す。
【0028】
図3Aに示す状態において、領域95は位置x1に位置している。領域95は位置x1に位置している時、領域95における入射角度と反射角度は等しく、撮像装置11で撮像される画像2の領域95に対応する部分の輝度は最大となる。撮像装置11で撮像される画像2の領域95に対応する部分の輝度は、領域95の位置xにより異なる。すなわち、撮像装置11で撮像される画像2の領域95に対応する部分の輝度は、領域95の位置xの関数となる。また、照明装置12からの光の領域95への入射角度は、領域95の位置xと一対一に対応することから、撮像装置11で撮像される画像2の領域95に対応する部分の輝度は、照明装置12からの光の領域95への入射角度の関数としても成立する。
【0029】
同様に、
図4Aに示す状態において、凸部94の頂点となる領域96は位置x2に位置している。領域96は位置x2に位置している時、領域96における入射角度と反射角度は等しく、撮像装置11で撮像される画像2の領域96に対応する部分の輝度は最大となる。
図4Aに示す状態で撮像装置11により撮像された画像2を
図4Bに示す。撮像装置11で撮像される画像2の領域96に対応する部分の輝度は、領域96の位置x(又は照明装置12からの光の領域96への入射角度)の関数となる。
【0030】
同様に、
図5Aに示す状態において、凸部94の移動方向91の上流側(
図5Aにおける右側)の斜面(表面60)の一部の領域97は位置x3に位置している。領域97は位置x3に位置している時、領域97における入射角度と反射角度は等しく、撮像装置11で撮像される画像2の領域97に対応する部分の輝度は最大となる。
図5Aに示す状態で撮像装置11により撮像された画像2を
図5Bに示す。撮像装置11で撮像される画像2の領域97に対応する部分の輝度は、領域97の位置x(又は照明装置12からの光の領域97への入射角度)の関数となる。
【0031】
輝度としては、撮像装置11がモノクロ画像を撮像するものである場合には、画素値(領域が複数の画素を含む場合には、例えば画素値の平均値)が採用可能である。また、撮像装置11がカラー画像を撮像するものである場合には、輝度としてRGBの画素値のうちのいずれか(領域が複数の画素を含む場合には、例えばRGBのいずれかの画素値の平均値)が採用可能である。
【0032】
関係曲線導出ステップは、画像2の任意の領域における輝度と、画像2の撮像時の入射角度又は領域の位置との対応関係を複数の画像2について得て、輝度と入射角度又は領域の位置との関係曲線を得るステップである。関係曲線導出ステップは、関係曲線導出処理装置により実行される。本実施形態では、制御装置15が一機能として関係曲線導出ステップを実行可能である。すなわち、制御装置15が関係曲線導出処理装置としての機能を有している。
【0033】
図3B、
図4B及び
図5Bに示すように、撮像ステップにおいて異なる入射角度で照明された領域を撮像した複数の画像2が得られる。得られた複数の画像2において、例えば領域95については、
図3Bに示す画像2における領域95に対応する部分の輝度が最大となり、
図4Bに示す画像2における領域95に対応する部分の輝度はこれよりも小さくなる。このように、検査対象物9の表面90の各領域において、輝度と入射角度(又は領域の位置x)の関係曲線が得られる。
【0034】
輝度は、撮像装置11と照明装置12と撮像される検査対象物9の表面90との間の幾何学的な位置関係と、照明装置12からの光の強度や色合い等と、検査対象物9の表面性状とに応じて定まると考えることができる。このうち、照明装置12からの光の強度や色合い等については、照明装置12からの光を一定とすることで照明装置12からの光の変化の影響を除外することが可能となる。この結果、輝度は、撮像装置11と照明装置12と撮像される検査対象物9の表面90との間の幾何学的な位置関係と、検査対象物9の表面性状とに応じて定まると考えられる。
【0035】
更に、各領域における表面性状は一定(不変)であるため、各領域毎に、輝度と入射角度(又は領域の位置x)の関係曲線が得られる。しかしながら、異なる領域における輝度と入射角度(又は領域の位置x)の関係曲線は、異なる領域の表面性状が互いに異なる場合、異なる関係曲線となると考えられる。
【0036】
二次曲線近似ステップは、関係曲線を、下記[数1]で示される入射角度の所定の二次関数により表現される二次曲線に近似するステップである。
【0037】
【0038】
[数1]において、Vは輝度、xは入射角度と一対一の関係にある領域の位置、αは二次の項の係数、βは一次の項の係数、γは定数項を示す。[数1]は領域毎に定まる。すなわち、α、β及びγの組み合わせは、領域毎、すなわち表面性状によって定まる。
【0039】
二次曲線近似ステップは、二次曲線近似処理装置により実行される。本実施形態では、制御装置15が一機能として二次曲線近似ステップを実行可能である。すなわち、制御装置15が二次曲線近似処理装置としての機能を有している。
【0040】
二次曲線近似ステップでは、輝度と入射角度(又は領域の位置x)の関係曲線を、最小自乗法により、所定の二次関数により表現される二次曲線に近似する。なお、関係曲線を二次曲線に近似する手法としては、最小自乗法以外の手法が採用されてもよく、特に限定されない。
【0041】
図6に、二次曲線近似ステップにより近似された二次曲線の例を示す。二次曲線31は、表面90が完全な鏡面でなく、かつ、模様があって白色に近く、かつ光沢が大きい領域における関係曲線から近似された二次曲線である。二次曲線32は、表面90が完全な鏡面でなく、かつ、模様がなくて黒色に近く、かつ光沢が大きい領域における関係曲線から近似された二次曲線である。二次曲線33は、表面90が完全な鏡面でなく、かつ、模様があって白色に近く、かつ光沢が小さい領域における関係曲線から近似された二次曲線である。二次曲線31~33に対応する表面90の領域は、それぞれ面方向が異なっている。
【0042】
次に、表面性状検出ステップについて説明する。表面性状検出ステップは、所定の二次関数の二次の項の係数α、一次の項の係数β又は定数項γのうちの少なくとも一個を用いて、領域の表面性状を検出するステップである。表面性状検出ステップは、表面性状検出処理装置により実行される。本実施形態では、制御装置15が一機能として表面性状検出ステップを実行可能である。すなわち、制御装置15が表面性状検出処理装置としての機能を有している。
【0043】
図6に示すように、二次曲線31と二次曲線32とを比較すると、最大輝度は異なるものの、曲線の曲がり具合はほぼ同じである。二次曲線31と二次曲線32とに対応するそれぞれの領域は「模様があって白色に近く」か「模様がなくて黒色に近く」かが異なる。検査対象物9の表面90の一領域が完全な鏡面でなく、この領域に模様があって白色に近い場合、領域で正反射した光に加えて乱反射した光も撮像装置11に撮像される。このため、二次曲線31と二次曲線32とにおける最大輝度の違いには、領域の色調の違いが反映される。また、二次曲線31と二次曲線32とにおいて、[数1]における二次の項の係数αはほぼ同じであると考えられ、二次曲線31と二次曲線32とにおける最大輝度の違いは、定数項γの違いとして表れる。
【0044】
このことから、撮像装置11がモノクロ画像を撮像するものである場合、表面性状検出ステップにおいて、所定の二次関数の定数項γを基に、表面性状としての反射率を検出することができる。
【0045】
また、撮像装置11がカラー画像を撮像するものである場合、表面性状検出ステップにおいて、RGBの各色毎に二次曲線を求め、二次曲線を表す所定の二次関数の定数項γを基に、表面性状としての色調を検出することができる。なお、色調は、RGBのそれぞれの値の比として表される。
【0046】
次に、二次曲線31と二次曲線33とを比較すると、最大輝度はほぼ同じであるものの、曲線の曲がり具合は異なる。二次曲線31と二次曲線33とに対応するそれぞれの領域は光沢が「大きい」か「小さい」かが異なる。このため、二次曲線31と二次曲線32とにおける曲線の曲がり具合の違いには、領域の光沢の違いが反映される。また、二次曲線における曲線の曲がりは、[数1]における二次の項の係数αの違いとして表れる。
【0047】
このことから、表面性状検出ステップにおいて、所定の二次関数の二次の項の係数αを基に、表面性状としての光沢を検出することができる。
【0048】
次に、二次曲線31~二次曲線33を比較すると、最大輝度となる位置xがそれぞれ異なる。二次曲線31~二次曲線33における最大輝度となる位置xの違いは、領域の面方向に応じて決まる。
図7に、二次曲線31の導関数310、二次曲線32の導関数320及び二次曲線33の導関数330を示す。導関数310~330の値は、位置xが下記[数2]で示されるρの場合に、0となる。
【0049】
【0050】
領域の最大輝度となる位置xが、この領域が平坦な場合(すなわち面方向が表面90の法線方向と一致する場合)に最大輝度となる位置xとずれる量から、この領域の面方向が求められる。
【0051】
このことから、表面性状検出ステップにおいて、所定の二次関数の導関数を求め、導関数の値が0となる入射角度(位置x)を基に、表面性状としての領域の面方向を検出することができる。
【0052】
図8に、この導関数を基に得られた検査対象物9の表面90の面方向を表した画像の例を示す。これは、各領域の面方向が垂直上向きである場合を灰色とし、領域の面方向が垂直上向きから一方向に傾くほど濃い黒色とすると共に、領域の面方向が垂直上向きから一方向と反対方向に傾くほど濃い白色とする処理を施した画像である。
【0053】
図9に、二次の項の係数αを基に得られた検査対象物9の表面90の光沢を表した画像の例を示す。これは、各領域の光沢が大きいほど濃い白色とする処理を施した画像である。この画像は、表面性状検出方法が更に備える分布画像作成ステップにおいて作成される。
【0054】
分布画像作成ステップは、各領域毎に所定の二次関数の二次の項の係数αを表示する二次の項の係数の分布画像と、各領域毎に所定の二次関数の定数項γを表示する定数項の分布画像の少なくとも一つを作成するステップである。分布画像作成ステップは、分布画像作成処理装置により実行される。本実施形態では、制御装置15が一機能として分布画像作成ステップを実行可能である。すなわち、制御装置15が分布画像作成処理装置としての機能を有している。
【0055】
これにより、撮像装置11により撮像された画像7から光沢が抽出され、光沢を特定しやすくなる。
図9に示す画像は、分布画像作成ステップにおいて作成される、各領域毎に所定の二次関数の二次の項の係数αを表示する二次の項の係数の分布画像により構成され、各領域毎に所定の二次関数の定数項γを表示する定数項の分布画像は用いられない。
【0056】
図10に、検査対象物9の表面90の反射率を表した画像の例を示す。この画像も、表面性状検出方法が更に備える分布画像作成ステップにおいて作成される。
図10に示す画像は、分布画像作成ステップにおいて作成される、各領域毎に所定の二次関数の定数項γを表示する定数項の分布画像により構成され、各領域毎に所定の二次関数の二次の項の係数αを表示する二次の項の係数の分布画像は用いられない。
【0057】
これにより、撮像装置11により撮像された画像7から模様が抽出され、模様が特定しやすくなる。
【0058】
次に、機械学習について説明する。表面性状検出方法は、機械学習ステップと、色目判定ステップと、を更に備える。機械学習ステップは、機械学習装置16に表面性状と色目判定の基準との関係を機械学習させるステップである。色目判定ステップは、機械学習ステップにおいて機械学習を行った機械学習装置16に、表面性状検出ステップにおいて検出された表面性状を用いて色目判定を行わせるステップである。
【0059】
機械学習としては、公知の様々な技術が適宜利用可能であり、特に限定されない。本実施形態の機械学習装置16について、
図2Bに示すニューラルネットワークの概念図に基づいて概略説明する。
【0060】
機械学習装置16は、機械学習(特に深層学習)を行う。機械学習装置16は、深層学習の中でも画像の分類に優れた畳み込みニューラルネットワークを用いる。
図2B中の符号161は入力層、162は第一畳み込み層、163は第一プーリング層、164は第二畳み込み層、165は第二プーリング層、166は全結合層、167は全結合層、168は出力層を示す。
【0061】
入力層161において、検査対象物9の表面90の光沢を表した画像と、検査対象物9の表面90の輝度を表した画像の2チャンネルについて、0~1の数値に正規化されたマトリクス状の数値データに変換されて、結果が第一畳み込み層162に入力される。第一畳み込み層162において、入力された結果に基づいて畳み込み演算が行われて、結果が第一プーリング層163に入力される。第一プーリング層163において、入力された結果に基づいてマックスプーリング処理が行われて、結果が第二畳み込み層164に入力される。第二畳み込み層164において、入力された結果に基づいて畳み込み演算が行われて、結果が第二プーリング層165に入力される。第二プーリング層165において、入力された結果に基づいてマックスプーリング処理が行われて、結果が全結合層166に入力される。全結合層166において、入力された結果に基づいて結合処理が行われて、結果が全結合層167に入力される。全結合層167において、入力された結果に基づいて結合処理が行われて、結果が出力層168に入力される。出力層168において、色目種別のそれぞれについてどの色であるらしいかを示す0~1の数値N個が出力される(推論処理)。このような畳み込みニューラルネットワークによる推論処理は、画像処理装置14で行われる。すなわち、画像処理装置14が機械学習装置16としての機能を有する。
【0062】
例えば、検査対象物9の表面90が木目模様を有する場合、表面90の部分によって模様のパターンや色合いが大きく異なるので、機械学習ステップにおいて、機械学習(深層学習)は表面90の様々な部分からサンプリングした多数の画像を用いて行われる。色目判定ステップにおいても、撮像された画像の複数箇所に対して推論を行い、複数の結果を統合して最終的な色目種別を判定する。なお、複数の結果を統合する場合、出力層の出力値をサンプリングした回数分平均する方法や、1回の推論ごとに判定を行って多数決により決定するなどの方法がある。
【0063】
この色目判定ステップは、機械学習ステップで学習した教師データと、検査対象物から得られた入力データが類似しているかを推論して色目を判定するステップである。そのため、機械学習装置16に入力する検査対象物のデータのフォーマットや画素エリア、畳み込みニューラルネットワークによる推論処理の方法等は、機械学習ステップで学習させたときと一致させて判定を行う。
【0064】
なお、本実施形態では、検査対象物9の表面90の光沢を表した画像と、検査対象物9の表面90の輝度を表した画像の2チャンネルを用いているが、撮像装置11がカラー画像を撮像するものである場合には、光沢を表した画像と、RGBのRの画素値を表した画像、Gの画素値を表した画像及びBの画素値を表した画像の4チャンネルを用いる。また、カラー画像としてRGBではなくLab画像などのチャンネル構成の画像を用いてもよい。また、表面90に深彫り模様のある検査対象物9であれば、面方向を表す画像を入力に加えることで、色目判定の信頼性を向上させることができる。
【0065】
次に、
図11~
図13に基づいて、検査対象物9の表面90の面方向を表した画像(
図11参照)を用いる例について説明する。
図11に示す面方向を表した画像は、凹凸欠陥41及びマーキング42を含む。機械学習ステップにおいて、
図11に示す画像の各領域の面方向の平均値と標準偏差を求める。求められた平均値及び標準偏差に基づいて、領域の面方向が平均値±3×標準偏差以内を正常部(白色部分)、正常部でない部分が規定の面積、寸法未満である部分を良品候補部(灰色部分)、正常部でない部分が規定の面積、寸法を超える部分を欠陥候補部(黒色部分)として表示した画像を
図12に示す。
図12における欠陥候補部43に対応する部分を
図11に示す面方向を表した画像から切り出した拡大画像を
図13Aに示す。同様に欠陥候補部44に対応する部分の拡大画像を
図13Bに、欠陥候補部45に対応する部分の拡大画像を
図13Cに、欠陥候補部46に対応する部分の拡大画像を
図13Dに示す。
【0066】
図13A及び
図13Bは、色目判定の基準が不合格である欠陥部を示し、
図13C及び
図13Dは良品部を示す。このような画像を多数収集し、良品部には良品ラベル(数値0)を付与し、欠陥部には欠陥ラベル(数値1)を付与して、深層学習を行うことにより、学習した欠陥ラベル画像に類似したものは欠陥部、そうでないものは良品部として分類することができる。これにより、特徴量を求めて欠陥規格と比較する従来方式とは異なり、人間の目視判定により近い良否判定が可能になる。
【0067】
次に、
図14及び
図15に基づいて、機械学習の別例について説明する。上記機械学習の例では、欠陥部の抽出は、人間が行っていたのに対し、この別例では、欠陥部の抽出も上述したニューラルネットワークを用いるもので、機械学習ステップは、尤度分布作成ステップと、特異部分抽出ステップと、色目判定学習ステップと、を有している。尤度分布作成ステップは、機械学習装置16に、第一の機械学習を行わせて表面性状についての尤度分布を作成するステップである。特異部分抽出ステップは、尤度分布の特異部分を抽出するステップである。色目判定学習ステップは、機械学習装置16に第二の機械学習を行わせて色目判定の基準を学習させるステップである。
【0068】
別例で用いられる画像は、上記機械学習の例と同じである(
図11参照)。まず、尤度分布作成ステップにおいて、第一の機械学習を行わせ、画像を上下等間隔の正方格子に区切り、正方格子ごとに切り出した画像に対して上述したニューラルネットワークによる推論が行われ、
図14に示す尤度分布が作成される。尤度分布では、不良ラベルの尤度(0~1の間の数値)を領域毎に算出し、黒いほど欠陥である可能性(尤度)が高い。
図14において尤度が高い部分がある一定の面積を有する欠陥候補部51に対応する部分を
図11に示す面方向を表した画像から切り出した拡大画像を
図15Aに示す。同様に欠陥候補部52に対応する部分の拡大画像を
図15Bに、欠陥候補部53に対応する部分の拡大画像を
図15Cに、欠陥候補部54に対応する部分の拡大画像を
図15Dに示す。このように欠陥候補部51~54を抽出し、その部分を切り出して第二の機械学習を行わせることにより、撮像した画像に入り込むノイズ等の攪乱に対する耐性が向上し、精度の高い良否判定が可能になる。
【0069】
なお、画像全域にわたってニューラルネットワークによる推論を行う処理は逐次処理型の通常のCPU(Central Processing Unit)を有する処理装置では負荷が非常に大きくなる。このため、並列処理型のGPGPU(General-Purpose computing on Graphics Processing Units)処理装置を用いることが好ましい。
【0070】
また、このように多数回の推論を行うための第一の機械学習においてニューラルネットワークにて用いられるデータのサイズは、第二の機械学習において用いられるデータのサイズよりも小さくしたり、中間層の規模を小さくしたりすることで、処理を高速化しやすくなる。このデータのサイズの調整方法としては、例えば撮像したデータの縮小率を変更して用いる。例えば第一の機械学習では、元の画像を1/4に縮小して16×16画素の範囲を切り出してニューラルネットワークの入力とし、尤度の高い部分に対しては、64×64画素サイズを入力とする。また、中間層の規模の調整としては、ニューラルネットワークの畳み込み層の数を調整する。
【0071】
ただし、このように規模の小さいニューラルネットワークは誤判定を起こす可能性が大きい。そこで、第一の機械学習において用いられるニューラルネットワークに比べて、入力画像の画素数や中間層の規模を大きくした、精度の高い第二の機械学習において用いられるニューラルネットワークを別途構成することが好ましい。これにより、色目判定の良否の判定正解率を高めることができる。
【0072】
なお、第一の機械学習におけるニューラルネットワークにて用いられるデータのサイズを、第二の機械学習において用いられるデータのサイズよりも小さくしたり、中間層の規模を小さくした場合、色目判定ステップにおいても、学習したときと同じデータのサイズや中間層の規模でニューラルネットワークに入力して、判定を行う。
【0073】
図16A~
図16Hに、面方向を表す画像と光沢を表す画像の2チャンネルを持つ画像の例を示す。検査対象物9の表面90の一の領域の面方向を表す画像を
図16Aに、光沢を表す画像を
図16Bに示す。同様に、表面90の他の領域の面方向を表す画像を
図16Cに、光沢を表す画像を
図16Dに、更に他の領域の面方向を表す画像を
図16Eに、光沢を表す画像を
図16Fに、更に他の領域の面方向を表す画像を
図16Gに、光沢を表す画像を
図16Hに示す。
【0074】
従来一般的に用いられる面方向の計測装置では、強い濃淡模様のある検査対象物9の表面90を撮像する場合、レンズの精度限界により、生成される画像において、強い濃淡模様に対応する像にボケ足を伴う偽凹凸が発生しやすかった。これに対して、更に光沢を表す画像のチャンネルを併用することによって、より精度よく欠陥部であるか否か(特に、偽凹凸であるか否か)判定することができる。
【0075】
また、第一の機械学習において用いられる画像は、第二の機械学習において用いられる画像と縮尺が異なることが好ましい。欠陥部のサイズに大きなバラつきがある場合には、縮尺の異なる複数のチャンネルを持つ画像を入力とすることで、判定の制度(正解率)を高めやすくなる。欠陥部のサイズに10倍程度のバラつきがある場合に使う欠陥ラベルの画像の例を
図17A~
図17Hに示す。
図17A、
図17C、
図17E、
図17Gは、欠陥候補部の周囲およそ40mm四方に相当する画像を示す。
図17Bは、
図17Aに示される欠陥候補部の中央のおよそ10mm四方に相当する拡大画像を示し、同様に、
図17Dは、
図17Cの拡大画像であり、
図17Fは、
図17Eの拡大画像であり、
図17Hは、
図17Gの拡大画像である。このようにすることで、サイズに大きなバラつきのある欠陥部を両方とも精度よく判定しやすくなる。
【0076】
図18A~
図18Iに、検査対象物9の表面90の画像の更なる別例を示す。
図18A~
図18Cは、光沢が低くほぼ均一で模様がほとんどない漆喰調の色目の領域の画像を示す。
図18D~
図18Fは、黒っぽい模様とともに光沢が大きく変化しているウオルナット調の色目の領域の画像を示す。
図18G~
図18Iは、黒っぽいが模様が強くなく、光沢が高くて全面に細かいシボ目(光沢の低い部分)があるソフトウオルナット調の色目の領域の画像を示す。
図18A、
図18D及び
図18Gは、領域の面方向を表す画像であり、
図18B、
図18E及び
図18Hは、領域の光沢を表す画像であり、
図18C、
図18F及び
図18Iは、領域の輝度を表す画像である。なお、
図18A、
図18D及び
図18Gにおいては、各領域の面方向が垂直上向きである場合を灰色とし、領域の面方向が垂直上向きから一方向に傾くほど濃い黒色とすると共に、領域の面方向が垂直上向きから一方向と反対方向に傾くほど濃い白色とする処理を施した画像である。
図18A、
図18D及び
図18Gにおいて中央に見えるのは、突起状の異物欠陥である。
【0077】
【0078】
(変形例)
検査対象物9は、ドア用の化粧板ではなくてもよく、他の建材や建材以外であってもよく、検査対象物9の用途、材質、大きさ、形状等は限定されない。
【0079】
照明装置12の光源としては、発光ダイオードではなく、冷陰極蛍光管等であってもよく、特に限定されない。
【0080】
この一部の領域95は、一画素に対応する領域であることが好ましいが、複数の画素に対応する領域であってもよい。
【0081】
関係曲線導出処理装置、二次曲線近似処理装置、表面性状検出処理装置及び分布画像作成処理装置は、制御装置15とは別の専用の装置として、表面性状検出装置1に備えられてもよい。
【0082】
以上、述べた実施形態および変形例から明らかなように、第1の態様の表面性状検出方法は、照明ステップと、撮像ステップと、関係曲線導出ステップと、二次曲線近似ステップと、表面性状検出ステップと、を備える。照明ステップは、検査対象物9を照明装置12により照明し、検査対象物9の表面の一部の領域が照明装置12から所定の入射角度でかつ入射角度が連続的又は断続的に変化するように照明されるステップである。撮像ステップは、領域を撮像装置11により連続的又は断続的に撮像して、異なる入射角度で照明された領域を撮像した複数の画像を得るステップである。関係曲線導出ステップは、画像の領域における輝度と当該画像の撮像時の入射角度又は領域の位置との対応関係を複数の画像について得て輝度と入射角度又は領域の位置との関係曲線を得るステップである。二次曲線近似ステップは、関係曲線を入射角度又は前記領域の位置の所定の二次関数により表現される二次曲線に近似するステップである。表面性状検出ステップは、所定の二次関数の二次の項の係数α、一次の項の係数β又は定数項γのうちの少なくとも一個を用いて、領域の表面性状を検出するステップである。
【0083】
第1の態様によれば、検査対象物の表面性状を精度よく検出しやすい。
【0084】
第2の態様では、第1の態様との組み合わせにより実現され得る。第2の態様では、表面性状検出ステップにおいて、所定の二次関数の二次の項の係数αを基に、表面性状としての光沢を検出する。
【0085】
第2の態様によれば、光沢の違いが二次の項の係数αの違いとして表れるため、二次の項の係数αを基に、表面性状としての光沢を検出しやすくなる。
【0086】
第3の態様では、第1又は第2の態様との組み合わせにより実現され得る。第3の態様では、撮像装置11はモノクロ画像を撮像するものである。表面性状検出ステップにおいて、所定の二次関数の定数項γを基に、表面性状としての反射率を検出する。
【0087】
第3の態様によれば、反射率の違いが定数項γの違いとして表れるため、定数項γを基に、表面性状としての反射率を検出しやすくなる。
【0088】
第4の態様では、第1又は第2の態様との組み合わせにより実現され得る。第4の態様では、撮像装置11はカラー画像を撮像するものである。表面性状検出ステップにおいて、所定の二次関数の定数項γを基に、表面性状としての色調を検出する。
【0089】
第4の態様によれば、色調の違いが定数項γの違いとして表れるため、定数項γを基に、表面性状としての色調を検出しやすくなる。
【0090】
第5の態様では、第1~第4のいずれかの態様との組み合わせにより実現され得る。第5の態様では、表面性状検出ステップにおいて、所定の二次関数の導関数を求め、導関数の値が0となる入射角度又は領域の位置を基に、表面性状としての領域の面方向を検出する。
【0091】
第5の態様によれば、表面性状としての面方向を検出しやすくなる。
【0092】
第6の態様では、第1~第5のいずれかの態様との組み合わせにより実現され得る。第6の態様では、表面性状検出方法は、分布画像作成ステップを更に備える。分布画像作成ステップは、各領域毎に所定の二次関数の二次の項の係数αを表示する二次の項の係数の分布画像と、各領域毎に所定の二次関数の定数項γを表示する定数項の分布画像と、を作成するステップである。
【0093】
第6の態様によれば、二次の項の係数の分布画像では撮像装置11により撮像された画像7から光沢が抽出され、定数項の分布画像では撮像装置11により撮像された画像7から模様が抽出され、光沢と模様の特定がしやすくなる。
【0094】
第7の態様では、第1~第6のいずれかの態様との組み合わせにより実現され得る。第7の態様では、表面性状検出方法は、機械学習ステップと、色目判定ステップと、を更に備える。機械学習ステップは、機械学習装置16に表面性状と色目判定の基準との関係を機械学習させるステップである。色目判定ステップは、機械学習ステップにおいて機械学習を行った機械学習装置16に、表面性状検出ステップにおいて検出された表面性状を用いて色目判定を行わせるステップである。
【0095】
第7の態様によれば、機械学習により、精度よく色目判定を行いやすくなる。
【0096】
第8の態様では、第7の態様との組み合わせにより実現され得る。第8の態様では、機械学習ステップは、尤度分布作成ステップと、特異部分抽出ステップと、色目判定学習ステップと、を有する。尤度分布作成ステップは、機械学習装置16に第一の機械学習を行わせて表面性状についての尤度分布を作成するステップである。特異部分抽出ステップは、尤度分布の特異部分を抽出するステップである。色目判定学習ステップは、機械学習装置16に第二の機械学習を行わせて色目判定の基準を学習させるステップである。
【0097】
第8の態様によれば、より精度よく色目判定を行いやすくなる。
【0098】
第9の態様では、第8の態様との組み合わせにより実現され得る。第9の態様では、第一の機械学習において用いられる画像は、第二の機械学習において用いられる画像と縮尺が異なる。
【0099】
第9の態様によれば、サイズに大きなバラつきのある表面性状を両方とも精度よく判定しやすくなる。
【0100】
第10の態様では、第8の態様との組み合わせにより実現され得る。第10の態様では、第一の機械学習において用いられるデータのサイズは、第二の機械学習において用いられるデータのサイズよりも小さい。
【0101】
第10の態様によれば、色目判定の良否の判定正解率を高めやすくなる。
【0102】
第11の態様の表面性状検出装置1は、第1~第10のいずれかの態様の表面性状検出方法に用いられる表面性状検出装置1であって、照明装置12と、撮像装置11と、関係曲線導出処理装置と、二次曲線近似処理装置と、表面性状検出処理装置と、を備える。関係曲線導出処理装置は、関係曲線導出ステップを実行する。二次曲線近似処理装置は、二次曲線近似ステップを実行する。表面性状検出処理装置は、表面性状検出ステップを実行する。
【0103】
第11の態様によれば、検査対象物の表面性状を精度よく検出しやすい。
【符号の説明】
【0104】
1 表面性状検出装置
11 撮像装置
12 照明装置
16 機械学習装置
9 検査対象物
α 二次の項の係数
β 一次の項の係数
γ 定数項