(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022051076
(43)【公開日】2022-03-31
(54)【発明の名称】外観検査装置および外観検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20220324BHJP
G06T 7/00 20170101ALI20220324BHJP
【FI】
G01N21/88 J
G06T7/00 350B
G06T7/00 610C
G06T7/00 300F
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2020157346
(22)【出願日】2020-09-18
(71)【出願人】
【識別番号】390001812
【氏名又は名称】株式会社デンソーエレクトロニクス
(71)【出願人】
【識別番号】304021277
【氏名又は名称】国立大学法人 名古屋工業大学
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110001128
【氏名又は名称】特許業務法人ゆうあい特許事務所
(72)【発明者】
【氏名】福田 隆吉
(72)【発明者】
【氏名】佐藤 淳
(72)【発明者】
【氏名】坂上 文彦
(72)【発明者】
【氏名】石丸 和寿
(72)【発明者】
【氏名】原田 岳人
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA90
2G051AB02
2G051BA08
2G051BB01
2G051CA04
2G051CB01
2G051EA30
5L096AA02
5L096AA06
5L096BA03
5L096CA04
5L096DA02
5L096HA08
5L096KA04
(57)【要約】
【課題】検査光の反射特性が波長や照射角度で変化するような対象物であっても、良好に外観検査することが可能な、外観検査装置および外観検査方法を提供する。
【解決手段】外観検査装置(1)は、撮像装置(3)と、特徴抽出部(42)と、判定部(44)とを備えている。撮像装置は、複数の波長および照射角度で対象物(W)に照射された検査光による対象物の外観画像を撮像する。特徴抽出部は、撮像装置により撮像された、複数の波長および照射角度の外観画像に基づいて、双方向反射率分布関数により対象物の外観の特徴を抽出する。判定部は、特徴抽出部により抽出された特徴と、学習用の対象物である参照物を複数の波長および照射角度で撮像することで生成された教師画像を用いて機械学習することにより生成された学習モデルとに基づいて、検査対象である対象物の外観の良否を判定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象物(W)の外観を検査するように構成された、外観検査装置(1)であって、
複数の波長および照射角度で前記対象物に照射された検査光による前記対象物の外観画像を撮像可能に構成された、撮像装置(3)と、
前記撮像装置により撮像された、複数の波長および照射角度の前記外観画像に基づいて、双方向反射率分布関数により前記外観の特徴を抽出する、特徴抽出部(42)と、
前記特徴抽出部により抽出された前記特徴と、学習用の前記対象物である参照物を複数の波長および照射角度で撮像することで生成された教師画像を用いて機械学習することにより生成された学習モデルとに基づいて、検査対象である前記対象物の前記外観の良否を判定する、判定部(44)と、
を備えた外観検査装置。
【請求項2】
前記参照物として良品のみを用いて生成された前記教師画像により前記学習モデルを生成する、モデル生成部(43)をさらに備えた、
請求項1に記載の外観検査装置。
【請求項3】
対象物(W)の外観を検査する、外観検査方法であって、
複数の波長および照射角度で前記対象物に検査光を照射することで、異なる波長および照射角度の、前記対象物の複数の外観画像を撮像し、
撮像された、複数の波長および照射角度の前記外観画像に基づいて、双方向反射率分布関数により前記外観の特徴を抽出し、
抽出された前記特徴と、学習用の前記対象物である参照物を複数の波長および照射角度で撮像することで生成された教師画像を用いて機械学習することにより生成された学習モデルとに基づいて、検査対象である前記対象物の前記外観の良否を判定する、
外観検査方法。
【請求項4】
前記参照物として良品のみを用いて生成された前記教師画像により前記学習モデルを生成する、
請求項3に記載の外観検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の外観を検査する、外観検査装置および外観検査方法に関する。
【背景技術】
【0002】
特許文献1に記載の外観検査装置は、撮影照明装置により製品を撮影し、撮影制御部にて画像を取得し、色空間処理部により製品の傷等の不具合が強調される色空間処理を行うことで色空間処理画像を生成し、判定部にて、色空間処理画像に基づき製品の良否判定を機械学習した学習済みモデルを用いて製品の良否判定を行う。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
外観検査の対象物として、照明により照射される検査光の反射特性が波長や照射角度で変化するものがある。このような対象物については、従来の外観検査装置および外観検査方法では、検査精度に限界があった。
【0005】
本発明は、上記に例示した事情等に鑑みてなされたものである。すなわち、本発明は、例えば、検査光の反射特性が波長や照射角度で変化するような対象物であっても、良好に外観検査することが可能な、外観検査装置および外観検査方法を提供する。
【課題を解決するための手段】
【0006】
請求項1に記載の、対象物(W)の外観を検査するように構成された外観検査装置(1)は、
複数の波長および照射角度で前記対象物に照射された検査光による前記対象物の外観画像を撮像可能に構成された、撮像装置(3)と、
前記撮像装置により撮像された、複数の波長および照射角度の前記外観画像に基づいて、双方向反射率分布関数により前記外観の特徴を抽出する、特徴抽出部(42)と、
前記特徴抽出部により抽出された前記特徴と、学習用の前記対象物である参照物を複数の波長および照射角度で撮像することで生成された教師画像を用いて機械学習することにより生成された学習モデルとに基づいて、検査対象である前記対象物の前記外観の良否を判定する、判定部(44)と、
を備えている。
請求項3に記載の、対象物(W)の外観を検査する外観検査方法は、
複数の波長および照射角度で前記対象物に検査光を照射することで、異なる波長および照射角度の、前記対象物の複数の外観画像を撮像し、
撮像された、複数の波長および照射角度の前記外観画像に基づいて、双方向反射率分布関数により前記外観の特徴を抽出し、
抽出された前記特徴と、学習用の前記対象物である参照物を複数の波長および照射角度で撮像することで生成された教師画像を用いて機械学習することにより生成された学習モデルとに基づいて、検査対象である前記対象物の前記外観の良否を判定する。
【0007】
本発明においては、複数の波長および照射角度で、対象物に検査光が照射される。これにより、対象物の複数の外観画像が、それぞれ異なる波長および照射角度で撮像される。かかる複数の外観画像に基づいて、双方向反射率分布関数により、対象物の外観の特徴が抽出される。また、学習用の対象物である参照物を複数の波長および照射角度で撮像することで生成された教師画像を用いて機械学習することにより、学習モデルが生成される。そして、双方向反射率分布関数により抽出された、検査対象である対象物の外観の特徴に基づいて、検査対象である対象物の外観の良否が、学習モデルを用いて判定される。
【0008】
このように、本発明によれば、いわゆるマルチバンドの双方向反射率分布関数を用いて対象物の外観の特徴を抽出しつつ、検査対象である対象物の外観の良否を機械学習により判定することができる。したがって、本発明によれば、検査光の反射特性が波長や照射角度で変化するような対象物であっても、良好に外観検査することが可能となる。
【0009】
なお、出願書類において、各要素に括弧付きの参照符号が付される場合がある。しかしながら、この場合であっても、かかる参照符号は、各要素と後述する実施形態に記載の具体的手段との対応関係の単なる一例を示すものにすぎない。よって、本発明は、上記の参照符号の記載によって、何ら限定されるものではない。
【図面の簡単な説明】
【0010】
【
図1】実施形態に係る外観検査装置の概略構成を示すブロック図である。
【
図2】
図1に示された外観検査装置による学習モデル生成の一具体例を示すフローチャートである。
【
図3】
図1に示された外観検査装置による製品外観検査の一具体例を示すフローチャートである。
【発明を実施するための形態】
【0011】
(実施形態)
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中ではなく、その後にまとめて説明する。
【0012】
(構成)
図1を参照すると、本実施形態に係る外観検査装置1は、対象物としての製品Wの外観画像を撮像して製品Wの表面の傷等の欠陥を検出することで、製品Wの外観を検査するように構成されている。かかる外観検査装置1は、照明装置2と、撮像装置3と、制御部4と、入力部5と、出力部6と、記憶部7とを備えている。
【0013】
照明装置2は、製品Wの外観画像を撮像するために製品Wに照射する検査光の波長を変更可能に構成されている。すなわち、照明装置2は、製品Wの外観画像をマルチバンド化可能な構成を有している。撮像装置3は、複数の波長および照射角度で照明装置2から製品Wに照射された検査光による製品Wの外観画像を撮像可能に構成されている。
【0014】
具体的には、撮像装置3は、製品Wを載置あるいは支持する製品支持部と、この製品支持部に載置あるいは支持された製品Wの外観画像を撮像するカメラと、このカメラを支持するカメラ支持部とを備えている。照明装置2と撮像装置3とのうちの、少なくともいずれか一方は、検査光の製品Wに対する照射角度を変更するための照射角度変更機構を有している。照射角度変更機構は、制御部4による制御下で、照射角度を所望角度に設定可能に構成されている。そして、撮像装置3は、制御部4による制御下で設定された、検査光の波長および照射角度で、製品Wの外観画像を撮像するようになっている。
【0015】
制御部4は、照明装置2および撮像装置3の動作を制御して、製品Wの外観画像を撮像するとともに、かかる撮像結果を撮像装置3から取得するように構成されている。また、制御部4は、取得した外観画像に基づいて、機械学習の手法により、検査対象である製品Wの外観検査を実行するように設けられている。
【0016】
本実施形態においては、制御部4は、不図示のCPU、ROM、RAM、不揮発性リライタブルメモリ、入出力インタフェース、等を備えた、いわゆるマイクロコンピュータとしての構成を有している。CPUはCentral Processing Unitの略である。ROMはRead Only Memoryの略である。RAMはRandom Access Memoryの略である。不揮発性リライタブルメモリは、例えば、ハードディスク、EEPROM、フラッシュROM、等である。EEPROMはElectronically Erasable and Programmable ROMの略である。ROMおよび不揮発性リライタブルメモリは、コンピュータ読み取り可能な非遷移的実体的記憶媒体に相当するものである。ROMまたは不揮発性リライタブルメモリには、製品Wの外観検査を実行するためのプログラムが格納されている。
【0017】
制御部4は、本発明に係る外観検査方法を実現するためのプログラムをCPUがROMまたは不揮発性リライタブルメモリから読み出して実行することで、各種の制御動作を実現可能に構成されている。このプログラムには、後述のフローチャートあるいはルーチンに対応するものが含まれている。また、RAMおよび不揮発性リライタブルメモリは、CPUがプログラムを実行する際の処理データを一時的に格納可能に構成されている。さらに、ROMおよび/または不揮発性リライタブルメモリには、プログラムの実行の際に用いられる各種のデータが、あらかじめ格納されている。かかる各種のデータは、例えば、初期値、ルックアップテーブル、マップ、等である。
【0018】
制御部4は、マイクロコンピュータにて実現される機能構成として、撮像制御部41と、特徴抽出部42と、モデル生成部43と、判定部44とを有している。
【0019】
撮像制御部41は、照明装置2および撮像装置3による製品Wの外観画像の撮像を制御する機能を有している。また、撮像制御部41は、撮像装置3により撮像された製品Wの外観画像を、撮像装置3から取得して特徴抽出部42に出力する機能を有している。
【0020】
特徴抽出部42は、撮像装置3により撮像されて撮像制御部41から入力された、製品Wの外観画像に基づいて、製品Wの外観の特徴を抽出する機能を有している。また、特徴抽出部42は、外観の特徴の抽出結果を、モデル生成部43および判定部44に出力する機能を有している。
【0021】
本実施形態においては、特徴抽出部42は、複数の照射角度の外観画像に基づいて、双方向反射率分布関数により外観の特徴を抽出するようになっている。双方向反射率分布関数は、角度によって反射率が変化する変角反射特性を定義する関数である。変角反射特性は単に変角特性とも称され得る。
【0022】
具体的には、特徴抽出部42は、双方向反射率分布関数としての双方向テクスチャ関数により、製品Wの外観の特徴を抽出するようになっている。双方向テクスチャ関数は、物体の位置毎の双方向反射率分布関数の分布である。双方向テクスチャ関数については、例えば、K.J.Danaらによる論文「Reflectance and Texture of Real-world Surfaces」、Association for Computer Machinery(ACM) Transactions on Graphics、1999年、18巻、1号、1~34頁に紹介されている。双方向反射率分布関数はBRDFと略称される。双方向テクスチャ関数はBTFと略称される。
【0023】
BRDFやBTFについては、特開2008-90590号公報、特開2013-257664号公報、特開2018-179778号公報等にて開示されているように、本願の出願時点において既に周知となっている。したがって、本明細書においては、BRDFやBTFの具体的な内容についてのこれ以上の詳細な説明は省略する。
【0024】
また、本実施形態においては、特徴抽出部42は、検査光の波長を変更して撮像された外観画像に基づいて、製品Wの外観の特徴を抽出するようになっている。すなわち、特徴抽出部42は、複数の波長および照射角度の外観画像に基づくマルチバンドBTFにより、製品Wの外観の特徴を抽出するようになっている。マルチバンドBTFについては、例えば、特開2006-275955号公報、特開2017-174268号公報、等を参照。
【0025】
モデル生成部43は、教師画像を用いて機械学習することにより、学習モデルを生成する機能を有している。具体的には、モデル生成部43は、学習用の製品Wである参照物を複数の波長および照射角度で照明装置2および撮像装置3により撮像することで生成された教師画像を用いて、学習モデルを生成するようになっている。
【0026】
本実施形態においては、モデル生成部43は、いわゆるワンクラス分類あるいはワンクラス識別の手法で機械学習するようになっている。すなわち、モデル生成部43は、参照物として不良品を用いず良品のみを用いて生成された教師画像を用いて、学習モデルを生成するようになっている。
【0027】
判定部44は、特徴抽出部42により抽出された特徴と、モデル生成部43により生成された学習モデルとに基づいて、検査対象である製品Wの外観の良否を判定する機能を有している。また、判定部44は、判定結果を出力部6に出力する機能を有している。
【0028】
入力部5は、キーボードやマウス等の入力デバイスであって、作業者すなわち外観検査装置1の使用者による各種入力操作を受け付けるように設けられている。出力部6は、ディスプレイ等の出力デバイスであって、撮像装置3による外観画像の撮像結果に対応する出力画像や、判定部44による判定結果すなわち外観検査結果等の、各種の画像および情報を出力するように設けられている。記憶部7は、ハードディスク等の外部情報記憶デバイスであって、教師画像、学習モデル、等の各種情報を記憶するように設けられている。
【0029】
(効果)
以下、本実施形態に係る外観検査装置1の動作、および、これによって実現される外観検査方法概要について、本実施形態による効果とともに説明する。
【0030】
まず、作業者は、撮像装置3における不図示の製品支持部に、参照物である良品の製品Wを載置して、製品Wを製品支持部に支持させる。そして、作業者は、入力部5における入力操作により、外観検査装置1に、学習モデルを生成するための学習処理を開始させる。
【0031】
すると、制御部4は、
図2のフローチャートに示された学習ルーチンを起動する。
図2中、「S」は「ステップ」の略である。制御部4は、
図2に示されたステップ201~ステップ203を順に実行した後、本ルーチンを終了する。
【0032】
ステップ201にて、制御部4は、教師画像を取得する。具体的には、制御部4は、照明装置2および撮像装置3の動作を制御して、検査光の波長および照射角度を複数通りに変化させて参照物の外観画像を複数回撮像する。すなわち、外観検査装置1は、複数の波長および照射角度で参照物に検査光を照射することで、異なる波長および照射角度の、参照物の複数の外観画像を撮像する。また、制御部4は、取得した教師画像を、記憶部7に格納する。ステップ201の処理は、撮像制御部41の機能に対応する。
【0033】
ステップ202にて、制御部4は、記憶部7に格納された教師画像を読み出して、参照物の変角特性データであるマルチバンドBTFデータを生成する。そして、制御部4は、マルチバンドBTFデータに基づいて、参照物の外観の特徴を抽出する。すなわち、外観検査装置1は、撮像装置3により撮像された複数の波長および照射角度の外観画像からなる教師画像に基づいて、マルチバンドBTFにより参照物の外観の特徴を抽出する。ステップ202の処理は、特徴抽出部42の機能に対応する。
【0034】
ステップ203にて、制御部4は、ステップ202にて抽出した特徴に基づいて、学習モデルを生成する。このとき、制御部4は、参照物として良品のみを用いて生成された教師画像により、学習モデルを生成する。また、制御部4は、生成した学習モデルを、記憶部7に格納する。ステップ203の処理は、モデル生成部43の機能に対応する。
【0035】
学習モデル生成後、製品検査、すなわち、検査対象である製品Wに対する外観検査の実行が可能となる。作業者が入力部5における操作により製品検査の開始指令を入力すると、制御部4は、
図3のフローチャートに示された製品検査ルーチンを起動する。
図3中、「S」は「ステップ」の略である。制御部4は、
図3に示されたステップ301~ステップ303を順に実行した後、本ルーチンを終了する。
【0036】
ステップ301にて、制御部4は、照明装置2および撮像装置3の動作を制御して、検査光の波長および照射角度を複数通りに変化させて製品Wの外観画像を複数回撮像する。すなわち、外観検査装置1は、複数の波長および照射角度で製品Wに検査光を照射することで、異なる波長および照射角度の、製品Wの複数の外観画像を撮像する。これにより、マルチバンドBTFデータを生成するための、波長別および照射角度別の外観画像が取得される。ステップ301の処理は、撮像制御部41の機能に対応する。
【0037】
ステップ302にて、制御部4は、製品Wの変角特性データであるマルチバンドBTFデータを生成する。そして、制御部4は、マルチバンドBTFデータに基づいて、製品Wの外観の特徴を抽出する。すなわち、外観検査装置1は、撮像された、複数の波長および照射角度の外観画像に基づいて、マルチバンドBTFにより製品Wの外観の特徴を抽出する。ステップ302の処理は、特徴抽出部42の機能に対応する。
【0038】
ステップ303にて、制御部4は、記憶部7に格納された学習モデルを読み出す。そして、制御部4は、読み出した学習モデルと、ステップ302にて抽出された製品Wの外観の特徴とに基づいて、検査対象である製品Wの外観の良否を判定する。
【0039】
ところで、例えば、自動車の車体部品に装着される電装品(例えば超音波センサ等)において、その外表面の一部である外部露出面が車体塗装面とほぼ面一となるように設けられる場合があり得る。このような場合、かかる外部露出面は、車体塗装面と同一色の塗装面で塗装される。車体塗装面として、近年、メタリック塗装、パール塗装、マイカ塗装、等の、光輝材を含むものが消費者に好まれている。このような塗装面においては、光の反射特性が、波長や照射角度で変化する。
【0040】
このように、外観検査の対象物である製品Wにおいて、検査光の反射特性が、波長や照射角度で変化するものがある。このような製品Wについては、従来の外観検査用の装置および方法では、検査精度に限界があった。
【0041】
そこで、本実施形態においては、複数の波長および照射角度で、製品Wに検査光が照射される。これにより、製品Wの複数の外観画像が、それぞれ異なる波長および照射角度で撮像される。また、かかる複数の外観画像に基づいて、双方向反射率分布関数であるBTFにより、製品Wの外観の特徴が抽出される。さらに、学習用の製品Wである参照物を複数の波長および照射角度で撮像することで生成された教師画像を用いて機械学習することにより、学習モデルが生成される。そして、かかる学習モデルと、検査対象である製品Wの外観の双方向反射率分布関数により抽出された特徴とに基づいて、検査対象である製品Wの外観の良否が判定される。
【0042】
このように、本実施形態によれば、いわゆるマルチバンドBTFを用いて製品Wの外観の特徴を抽出しつつ、検査対象である製品Wの外観の良否を機械学習により判定することができる。したがって、本実施形態によれば、照明装置2により照射される検査光の反射特性が波長や照射角度で変化するような製品Wであっても、良好に外観検査することが可能となる。
【0043】
また、本実施形態においては、参照物として不良品を用いず良品のみを用いた、いわゆるワンクラス分類あるいはワンクラス識別の手法で、機械学習が実行される。これにより、歩留まりが高いために充分な数量の不良品を準備することが困難な場合であっても、良好な機械学習が可能となる。
【0044】
(変形例)
本発明は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、相互に同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。
【0045】
本発明は、上記実施形態にて示された具体的な装置構成に限定されない。すなわち、例えば、制御部4の少なくとも一部は、ASICやFPGA等のデジタル回路によって構成されていてもよい。ASICはApplication Specific Integrated Circuitの略である。FPGAはField Programmable Gate Arrayの略である。
【0046】
記憶部7は、制御部4の内部に設けられていてもよい。すなわち、記憶部7は、制御部4に設けられた上記の不揮発性リライタブルメモリであってもよい。あるいは、記憶部7は、制御部4の内部と外部とにそれぞれ設けられていてもよい。
【0047】
本発明は、上記実施形態にて示された具体的な動作態様あるいは処理態様に限定されない。すなわち、例えば、特徴抽出部42は、双方向反射率分布関数による特徴抽出処理に先立って、位置決め、背景処理、フィルタ処理(例えばエッジ強調等)、等の前処理を、必要に応じて実行してもよい。
【0048】
モデル生成部43にて学習モデルの生成に用いる教師画像は、照明装置2および撮像装置3を用いて撮像されたものではなく、あらかじめ用意されたものであってもよい。この場合、教師画像は、記憶部7に記憶され得る。あるいは、教師画像は、DVD等の記憶媒体により提供され得る。DVDはDigital Versatile Discの略である。あるいは、教師画像は、通信ネットワークを介してダウンロードされ得る。
【0049】
上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数値に限定される場合等を除き、その特定の数値に本発明が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本発明が限定されることはない。
【0050】
変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、変形例の全部または一部とが、互いに組み合わされ得る。
【符号の説明】
【0051】
1 外観検査装置
2 照明装置
3 撮像装置
4 制御部
41 撮像制御部
42 特徴抽出部
43 モデル生成部
44 判定部
W 製品(対象物)