知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝情報システム株式会社の特許一覧
特開2025-7747処理装置、光学検査システム、被写体表面画像の構成方法、欠陥識別画像の構成方法、被写体表面画像の構成プログラム、被写体表面の角度推定方法、及び、被写体表面の傾斜角度の推定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025007747
(43)【公開日】2025-01-17
(54)【発明の名称】処理装置、光学検査システム、被写体表面画像の構成方法、欠陥識別画像の構成方法、被写体表面画像の構成プログラム、被写体表面の角度推定方法、及び、被写体表面の傾斜角度の推定プログラム
(51)【国際特許分類】
G01N 21/892 20060101AFI20250109BHJP
G01N 21/57 20060101ALI20250109BHJP
G01N 21/27 20060101ALI20250109BHJP
G01B 11/26 20060101ALI20250109BHJP
G06V 10/143 20220101ALI20250109BHJP
G06T 7/00 20170101ALI20250109BHJP
G06T 7/13 20170101ALI20250109BHJP
【ＦＩ】
G01N21/892 Z
G01N21/57
G01N21/27 A
G01B11/26 H
G06V10/143
G06T7/00 610B
G06T7/13
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2023109352
(22)【出願日】2023-07-03
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】391016358
【氏名又は名称】東芝情報システム株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】加納 宏弥
(72)【発明者】
【氏名】大野 博司
(72)【発明者】
【氏名】岡野 英明
(72)【発明者】
【氏名】神川 卓大
(72)【発明者】
【氏名】大野 啓文
(72)【発明者】
【氏名】高木 義昭
(72)【発明者】
【氏名】鈴木 さゆり
(72)【発明者】
【氏名】氏原 洋輔
【テーマコード（参考）】
2F065
2G051
2G059
5L096
【Ｆターム（参考）】
2F065AA31
2F065BB05
2F065FF04
2F065JJ03
2F065JJ26
2F065MM03
2F065QQ31
2G051AA90
2G051AB02
2G051CA03
2G051CA04
2G051CB01
2G051EA17
2G051EC03
2G051EC05
2G051ED04
2G051ED08
2G059AA05
2G059BB08
2G059DD12
2G059EE02
2G059EE11
2G059FF01
2G059FF04
2G059GG02
2G059HH02
2G059KK04
2G059MM09
2G059MM10
5L096AA02
5L096AA06
5L096BA03
5L096CA04
5L096DA02
5L096FA06
5L096FA15
5L096FA17
5L096FA67
5L096FA69
5L096GA05
5L096GA06
5L096GA55
(57)【要約】
【課題】 種々の形状を有する被写体表面の状態を把握するための処理を行う、処理装置を提供すること。
【解決手段】 実施形態によれば、被写体表面画像の構成に用いる処理装置は、１又は複数のプロセッサを有する。１又は複数のプロセッサは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体の表面に照射したときに撮像部により得た、基準となる撮像画像を含む複数時間における複数枚の撮像画像について、複数枚の撮像画像から選択される１又は複数の撮像画像をシフトさせて基準となる撮像画像に重ね合わせ、少なくとも１つの被写体表面画像を構成する。
【選択図】 図１０
【解決手段】 実施形態によれば、被写体表面画像の構成に用いる処理装置は、１又は複数のプロセッサを有する。１又は複数のプロセッサは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体の表面に照射したときに撮像部により得た、基準となる撮像画像を含む複数時間における複数枚の撮像画像について、複数枚の撮像画像から選択される１又は複数の撮像画像をシフトさせて基準となる撮像画像に重ね合わせ、少なくとも１つの被写体表面画像を構成する。
【選択図】 図１０
【特許請求の範囲】
【請求項1】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、前記照明光に対して相対的に移動する被写体の表面に照射したときに撮像部により得た、基準となる撮像画像を含む複数時間における複数枚の撮像画像について、前記複数枚の撮像画像から選択される１又は複数の撮像画像をシフトさせて前記基準となる撮像画像に重ね合わせ、少なくとも１つの被写体表面画像を構成する、１又は複数のプロセッサを有する、被写体表面画像の構成に用いる処理装置。
【請求項2】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、前記照明光に対して相対的に移動する被写体の表面に照射したときに撮像部により所定のフレームレートで基準となる撮像画像を得るとともに、前記基準となる撮像画像に続く撮像画像を得ながらそれぞれをシフトさせて前記撮像画像よりも前に撮像した撮像画像と順に重ね合わせ、少なくとも１つの被写体表面画像を構成する、１又は複数のプロセッサを有する、被写体表面画像の構成に用いる処理装置。
【請求項3】
前記プロセッサは、前記少なくとも１つの被写体表面画像を構成するとき、前記撮像部におけるフレームレート、前記撮像部に対する前記被写体の搬送速度、前記撮像部に対する前記被写体の搬送方向に沿う方向の前記撮像部の画素数に基づいて前記撮像画像のシフト量を設定する、
請求項１又は請求項２に記載の処理装置。
請求項１又は請求項２に記載の処理装置。
【請求項4】
前記プロセッサは、前記シフト量Δｘを
Δｘ＝（ν・ｎｍ）／（２ｘ０・ｆｃ）
ｘ０：前記被写体の搬送方向に沿う前記撮像部の視野の半分
ｎｍ＋１：前記被写体の搬送方向に沿う前記撮像部の画素数
ｆｃ：前記撮像部のフレームレート
ν：前記撮像部に対する前記被写体の搬送速度
に基づいて設定する、
請求項３に記載の処理装置。
Δｘ＝（ν・ｎｍ）／（２ｘ０・ｆｃ）
ｘ０：前記被写体の搬送方向に沿う前記撮像部の視野の半分
ｎｍ＋１：前記被写体の搬送方向に沿う前記撮像部の画素数
ｆｃ：前記撮像部のフレームレート
ν：前記撮像部に対する前記被写体の搬送速度
に基づいて設定する、
請求項３に記載の処理装置。
【請求項5】
前記プロセッサは、前記撮像画像をシフトさせて重ね合わせ、前記少なくとも１つの被写体表面画像を構成するとき、前記撮像画像を前記基準となる撮像画像に対して四則演算に基づいて合成する、請求項１又は請求項２に記載の処理装置。
【請求項6】
前記プロセッサは、前記撮像画像及び少なくとも１つの被写体表面画像の少なくとも一方に対して欠陥識別のための画像処理を施して、前記撮像画像及び少なくとも１つの被写体表面画像の少なくとも一方において欠陥を抽出させる、請求項１又は請求項２に記載の処理装置。
【請求項7】
前記プロセッサは、前記欠陥識別のための画像処理を施すとき、前記撮像画像及び前記少なくとも１つの被写体表面画像の少なくとも一方に対して、画像フィルタを畳み込んだ演算処理を行う、請求項６に記載の処理装置。
【請求項8】
それぞれ異なる方向に向かう照明光を、前記照明光に対して相対的に移動する被写体の表面に照射したときに撮像部により所定のフレームレートで基準となる撮像画像を得ると、前記基準となる撮像画像に対して欠陥識別のための画像処理を施して、前記基準となる撮像画像に対応する基準欠陥識別画像を得るとともに、前記基準となる撮像画像に続く撮像画像を得ながらそれぞれに欠陥識別のための画像処理を施して前記撮像画像を欠陥識別画像とし、前記欠陥識別画像のそれぞれをシフトさせて、前記基準欠陥識別画像に続く欠陥識別画像を順に重ね合わせ、少なくとも１つの被写体の表面の欠陥識別画像を構成する、１又は複数のプロセッサを有する、被写体表面の欠陥識別画像の構成に用いる処理装置。
【請求項9】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を被写体の表面に照射したときに撮像部により得た撮像画像のうち、光が入射された画素の位置に基づいて、前記撮像画像に写る前記被写体の表面の傾斜角度を推定する、１又は複数のプロセッサを有する、被写体表面の傾斜角度を算出するための処理装置。
【請求項10】
前記撮像部と前記被写体の表面との距離をａｃとし、
前記撮像部と前記被写体の搬送方向に沿う前記撮像部の視野Ｆの半分をｘ０とし、
前記照明光の光源が前記撮像部の光軸上の点光源であるとするとき、前記光源と前記被写体の表面との距離をａｌとし、
前記被写体の表面のある位置における傾斜角度をθｓとし、
前記撮像部が前記被写体の前記搬送方向に沿う画素数をｎｍ＋１（ｎｍは自然数）とし、
前記撮像部で撮像される像のうち、前記被写体の表面からの光が入射される位置の画素位置をｎとするとき、
前記プロセッサは、
θｓ＝１／２ｔａｎ－１｛ｘ０／ａｃ（２ｎ／ｎｍ－１）｝＋
１／２ｔａｎ－１｛ｘ０／ａｌ（２ｎ／ｎｍ－１）｝
に基づいて前記被写体の表面の傾斜角度を推定する、請求項９に記載の処理装置。
前記撮像部と前記被写体の搬送方向に沿う前記撮像部の視野Ｆの半分をｘ０とし、
前記照明光の光源が前記撮像部の光軸上の点光源であるとするとき、前記光源と前記被写体の表面との距離をａｌとし、
前記被写体の表面のある位置における傾斜角度をθｓとし、
前記撮像部が前記被写体の前記搬送方向に沿う画素数をｎｍ＋１（ｎｍは自然数）とし、
前記撮像部で撮像される像のうち、前記被写体の表面からの光が入射される位置の画素位置をｎとするとき、
前記プロセッサは、
θｓ＝１／２ｔａｎ－１｛ｘ０／ａｃ（２ｎ／ｎｍ－１）｝＋
１／２ｔａｎ－１｛ｘ０／ａｌ（２ｎ／ｎｍ－１）｝
に基づいて前記被写体の表面の傾斜角度を推定する、請求項９に記載の処理装置。
【請求項11】
前記被写体の表面に対して、前記それぞれ異なる方向に向かう照明光を照射する照明部と、
前記被写体の表面を所定のフレームレートで撮像する撮像部と、
前記被写体の表面を前記照明部及び前記撮像部に対して相対的に所定方向に移動させる搬送部と、
請求項１又は請求項２に記載の処理装置と、
を有する、光学検査システム。
前記被写体の表面を所定のフレームレートで撮像する撮像部と、
前記被写体の表面を前記照明部及び前記撮像部に対して相対的に所定方向に移動させる搬送部と、
請求項１又は請求項２に記載の処理装置と、
を有する、光学検査システム。
【請求項12】
前記被写体と前記撮像部との間に設けられるカラー開口を有し、
前記カラー開口は、前記少なくとも１つの面内において、異なる波長スペクトルの光を選択的に通過させる少なくとも２つの波長選択領域を有し、
前記撮像部は、前記波長選択領域を通過する前記異なる波長スペクトルの光を受光可能であり、
前記処理装置は、前記撮像部で受光した波長スペクトルの光の色数に基づいて前記被写体の表面の欠陥を出力可能である、
請求項１１に記載の光学検査システム。
前記カラー開口は、前記少なくとも１つの面内において、異なる波長スペクトルの光を選択的に通過させる少なくとも２つの波長選択領域を有し、
前記撮像部は、前記波長選択領域を通過する前記異なる波長スペクトルの光を受光可能であり、
前記処理装置は、前記撮像部で受光した波長スペクトルの光の色数に基づいて前記被写体の表面の欠陥を出力可能である、
請求項１１に記載の光学検査システム。
【請求項13】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、前記照明光に対して相対的に移動する被写体の表面に照射すること、
前記被写体の表面を撮像部で撮像し、基準となる撮像画像を含む複数時間における複数枚の撮像画像を得ること、
前記複数枚の撮像画像から選択される１又は複数の撮像画像をシフトさせて前記基準となる撮像画像に重ね合わせ、少なくとも１つの被写体表面画像を構成すること
を含む、被写体表面画像の構成方法。
前記被写体の表面を撮像部で撮像し、基準となる撮像画像を含む複数時間における複数枚の撮像画像を得ること、
前記複数枚の撮像画像から選択される１又は複数の撮像画像をシフトさせて前記基準となる撮像画像に重ね合わせ、少なくとも１つの被写体表面画像を構成すること
を含む、被写体表面画像の構成方法。
【請求項14】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、前記照明光に対して相対的に移動する被写体の表面に照射すること、
前記被写体の表面を撮像部により所定のフレームレートで撮像し、基準となる撮像画像を得るとともに、前記基準となる撮像画像に続く撮像画像をそれぞれシフトさせて前記撮像画像よりも前に撮像した撮像画像と重ね合わせ、少なくとも１つの被写体表面画像を構成すること
を含む、被写体表面画像の構成方法。
前記被写体の表面を撮像部により所定のフレームレートで撮像し、基準となる撮像画像を得るとともに、前記基準となる撮像画像に続く撮像画像をそれぞれシフトさせて前記撮像画像よりも前に撮像した撮像画像と重ね合わせ、少なくとも１つの被写体表面画像を構成すること
を含む、被写体表面画像の構成方法。
【請求項15】
前記少なくとも１つの被写体表面画像を構成するとき、前記撮像画像の少なくとも複数枚を、前記撮像部におけるフレームレート、前記撮像部に対する前記被写体の搬送速度、前記撮像部に対する前記被写体の搬送方向に沿う方向の前記撮像部の画素数に基づいて前記撮像画像のシフト量を設定する、
請求項１３又は請求項１４に記載の構成方法。
請求項１３又は請求項１４に記載の構成方法。
【請求項16】
前記少なくとも１つの被写体表面画像に対して欠陥識別のための画像処理を施す、請求項１３又は請求項１４に記載の構成方法。
【請求項17】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、前記照明光に対して相対的に移動する被写体の表面に照射すること、
前記被写体の表面を撮像部で撮像し、基準となる撮像画像を含む複数時間における複数枚の撮像画像を得ること、
前記複数枚の撮像画像に対して欠陥識別のための画像処理を施して、前記複数時間における複数枚の撮像画像の欠陥識別変換画像を生成すること、
前記複数枚の欠陥識別変換画像から選択される１又は複数の欠陥識別変換画像をシフトさせて前記基準となる撮像画像に対応する基準欠陥識別変換画像に重ね合わせ、少なくとも１つの欠陥識別画像を構成すること
を含む、欠陥識別画像の構成方法。
前記被写体の表面を撮像部で撮像し、基準となる撮像画像を含む複数時間における複数枚の撮像画像を得ること、
前記複数枚の撮像画像に対して欠陥識別のための画像処理を施して、前記複数時間における複数枚の撮像画像の欠陥識別変換画像を生成すること、
前記複数枚の欠陥識別変換画像から選択される１又は複数の欠陥識別変換画像をシフトさせて前記基準となる撮像画像に対応する基準欠陥識別変換画像に重ね合わせ、少なくとも１つの欠陥識別画像を構成すること
を含む、欠陥識別画像の構成方法。
【請求項18】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、前記照明光に対して相対的に移動する被写体の表面に照射したときに撮像部により得た、基準となる撮像画像を含む複数時間における複数枚の撮像画像について、前記複数枚の撮像画像から選択される１又は複数の撮像画像をシフトさせて前記基準となる撮像画像に重ね合わせ、少なくとも１つの被写体表面画像を構成する処理を１又は複数のプロセッサに実行させる、被写体表面画像の構成プログラム。
【請求項19】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、前記照明光に対して相対的に移動する被写体の表面に照射したときに撮像部により所定のフレームレートで基準となる撮像画像を得るとともに、前記基準となる撮像画像に続く撮像画像をそれぞれシフトさせて前記撮像画像よりも前に撮像した撮像画像と重ね合わせ、少なくとも１つの被写体表面画像を構成する処理を１又は複数のプロセッサに実行させる、被写体表面画像の構成プログラム。
【請求項20】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を被写体の表面に照射すること、
前記被写体の表面を撮像部で撮像し、撮像画像を得るとともに、前記撮像画像における光が入射された画素の位置を特定すること、
前記光が入射された画素の位置に基づいて、前記撮像画像に写る前記被写体の表面の傾斜角度を推定すること
を含む、被写体表面の角度推定方法。
前記被写体の表面を撮像部で撮像し、撮像画像を得るとともに、前記撮像画像における光が入射された画素の位置を特定すること、
前記光が入射された画素の位置に基づいて、前記撮像画像に写る前記被写体の表面の傾斜角度を推定すること
を含む、被写体表面の角度推定方法。
【請求項21】
少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を被写体の表面に照射したときに撮像部により得た撮像画像のうち、光が入射された画素の位置に基づいて、前記撮像画像に写る前記被写体の表面の傾斜角度を推定する処理を１又は複数のプロセッサに実行させる、被写体表面の傾斜角度の推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、処理装置、光学検査システム、被写体表面画像の構成方法、欠陥識別画像の構成方法、被写体表面画像の構成プログラム、被写体表面の角度推定方法、及び、被写体表面の傾斜角度の推定プログラムに関する。
【背景技術】
【0002】
様々な産業において、搬送中の物体の表面を非接触に検査することが重要となっている。従来方法では、搬送中の物体に照明光を照射し、撮像素子を用いて物体表面からの反射光を撮像し、取得した画像を解析することによって物体の表面を検査する方法がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第6391281号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、種々の形状を有する被写体表面の状態を把握するための処理を行う、又は、被写体表面の欠陥識別画像の構成に用いる処理装置、処理装置を有する光学検査システム、被写体表面画像の構成方法、欠陥識別画像の構成方法、被写体表面画像の構成プログラム、被写体表面の角度推定方法、及び、被写体表面の傾斜角度の推定プログラムを提供することである。
【課題を解決するための手段】
【0005】
実施形態によれば、被写体表面画像の構成に用いる処理装置は、１又は複数のプロセッサを有する。１又は複数のプロセッサは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体の表面に照射したときに撮像部により得た、基準となる撮像画像を含む複数時間における複数枚の撮像画像について、複数枚の撮像画像から選択される１又は複数の撮像画像をシフトさせて基準となる撮像画像に重ね合わせ、少なくとも１つの被写体表面画像を構成する。
【図面の簡単な説明】
【0006】
【図1】第１実施形態に係る光学検査システムを示す概略図。
【図3】比較例の光学検査装置を用いて、搬送部上を搬送される被写体の表面を撮像部で撮像する例を示す概略図。
【図5】第１実施形態に係る光学検査システムの搬送部で搬送される平板状の被写体、被写体の像を光学的に取得する光学検査装置、及び、ＺＸ平面における被写体の表面への照明光を示す模式図。
【図10】第１実施形態に係る光学検査システムを用いた、１枚の被写体の表面構成画像を構成するためのフローチャート。
【図12】第１実施形態に係る光学検査システムを用いて、実際のプラスチック平板の表面にキズを付けた被写体の表面を、撮影した像を取得時間順に並べたもの。
【図22】第１実施形態の変形例に係る光学検査システムを用いた、１枚の被写体の表面構成画像を構成するためのフローチャート。
【図23】第２実施形態に係る光学検査システムを示す概略図。
【図25】プラスチック平板の表面にキズを付けた被写体の表面を、第２実施形態に係る光学検査システムを用いて、適宜のフレームレートで撮影した像を取得し、並べたもの。
【図28】第２実施形態の変形例に係る光学検査システムで１枚の被写体の表面構成画像の構成を経ずに、１枚の被写体の欠陥識別画像を構成する例を示す概略図。
【図30】第３実施形態に係る光学検査システムを示す概略図。
【発明を実施するための形態】
【0007】
以下、各実施の形態について図面を参照しつつ説明する。図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【0008】
本明細書において、光は電磁波の一種であり、Ｘ線、紫外線、可視光、赤外線、マイクロ波なども含まれるものとする。以降の実施形態において、光は可視光であるとし、例えば波長４００ｎｍから７５０ｎｍの領域にあるとする。
【0009】
（第１実施形態）
図１には、本実施形態に係る光学検査システム１０を示す。図１に示すように、光学検査システム１０は、被写体（サンプル）Ｓを搬送する搬送部１２と、搬送される被写体Ｓの像を光学的に取得する光学検査装置１４と、光学検査装置１４に有線又は無線で接続される処理装置１６とを有する。
図１には、本実施形態に係る光学検査システム１０を示す。図１に示すように、光学検査システム１０は、被写体（サンプル）Ｓを搬送する搬送部１２と、搬送される被写体Ｓの像を光学的に取得する光学検査装置１４と、光学検査装置１４に有線又は無線で接続される処理装置１６とを有する。
【0010】
ここで、搬送部１２及び光学検査装置１４に図１に示すＸＹＺ直交座標系を規定する。Ｘ軸は、搬送部１２により被写体Ｓが移動する方向とする。ここでは、図１中の紙面右側を＋Ｘ方向とする。Ｙ軸は、Ｘ軸に直交し、Ｘ軸とともに床面に水平な面を規定する。ここでは、図１中の紙面奥側に向かう方向を＋Ｙ方向とする。Ｚ軸は、Ｘ軸及びＹ軸に直交し、例えば上方に向かう方向を＋Ｚ方向とする。
【0011】
搬送部１２は、Ｙ軸方向に沿って適宜の幅を有し、被写体Ｓを例えば＋Ｘ方向などの一方向に搬送する。搬送部１２は、被写体Ｓを所定の搬送速度で＋Ｘ方向に移動させることが好適である。搬送部１２は、光学検査装置１４で検査される位置において、Ｚ軸の座標が一定で、被写体Ｓの高さが変化しないことが好適である。搬送部１２は、後述するが、処理装置１６により制御される。
【0012】
ここでいう搬送とは、被写体Ｓに照明光を照射し被写体Ｓの複数枚の画像を取得する光学検査装置１４に対して被写体Ｓが相対的に動いていればよい。例えば静止した光学検査装置１４に対して被写体Ｓを動かしてもよいし、静止した被写体Ｓに対して光学検査装置１４を動かしてもよいし、両者をともに動かしてもよい。つまり、光学検査装置１４に対して被写体Ｓが相対的に動いていれば何でもよい。搬送部１２は、被写体Ｓを搬送するために用いられてもよく、光学検査装置１４を搬送するために用いられてもよい。
また、光学検査装置１４に対して被写体Ｓの相対的な動きは連続的でもよいし、断続的でもよい。例えば光学検査装置１４が画像を取得する瞬間において、光学検査装置１４及び被写体Ｓが静止していてもよいし、画像を取得する瞬間において、光学検査装置１４及び被写体Ｓが相対的に動いていてもよい。つまり、相対的に動いた被写体Ｓを撮影できればその動き方は何でもよい。
本実施形態においては、例えば、静止した光学検査装置１４に対して、搬送部１２により、一定速度で被写体Ｓを動かし、光学検査装置１４の視野内に入った被写体Ｓの表面の像を光学検査装置１４の後述する撮像部２４で複数回、取得するものとする。
また、光学検査装置１４に対して被写体Ｓの相対的な動きは連続的でもよいし、断続的でもよい。例えば光学検査装置１４が画像を取得する瞬間において、光学検査装置１４及び被写体Ｓが静止していてもよいし、画像を取得する瞬間において、光学検査装置１４及び被写体Ｓが相対的に動いていてもよい。つまり、相対的に動いた被写体Ｓを撮影できればその動き方は何でもよい。
本実施形態においては、例えば、静止した光学検査装置１４に対して、搬送部１２により、一定速度で被写体Ｓを動かし、光学検査装置１４の視野内に入った被写体Ｓの表面の像を光学検査装置１４の後述する撮像部２４で複数回、取得するものとする。
【0013】
光学検査装置１４は、被写体Ｓに照明光を照明する照明部２２と、撮像部（カメラ）２４とを有する。光学検査装置１４の照明部２２及び撮像部２４は、後述するが、処理装置１６により制御される。
【0014】
照明部２２は、光源３２を有する。光源３２は、撮像部２４の光軸に対して発散した光を被写体Ｓの表面に向けて照明する。このような照明光を生成する手段はレンズを用いてもよいしリフレクターを用いてもよい。被写体Ｓの表面には、ある時間において、撮像部２４が写す視野内の被写体Ｓの位置によって異なる入射角で光が当たっていればよい。
【0015】
図２には、照明部２２のＺＸ平面に沿う概略図を示す。図２に示すように、光源３２は例えばＺ軸に沿って並べられた発光ダイオード（ＬＥＤ）３２ａ，３２ｂ，３２ｃを有し、本実施形態では、例えば＋Ｘ方向に白色光を発光する。ＬＥＤ３２ａ，３２ｂ，３２ｃの数は、３つに限らず、適宜に設定可能である。光源３２はＬＥＤ３２ａ，３２ｂ，３２ｃに限らず、白熱電球、蛍光管、水銀灯等であってもよい。光源３２の発光は白色に限らない。また光源３２は撮像部２４の光軸Ｃ上に配置してもよいし、光軸Ｃ上に配置しなくてもよい。光源３２を撮像部２４の光軸上に配置しない場合は、例えばハーフミラー等のビームスプリッター３４を用いることで、光源３２から発せられた光を、ビームスプリッター３４を介して被検体を照明してもよい。ビームスプリッター３４は偏光ビームスプリッターでもよいし、無偏光ビームスプリッターでもよい。
本実施形態では、照明部２２は、光源３２とハーフミラー３４と照明レンズ３６とを有し、光源３２からの光が照明レンズ３６を通してハーフミラー３４で反射し、被写体Ｓの表面に向けられるものとする。
本実施形態では、照明部２２は、光源３２とハーフミラー３４と照明レンズ３６とを有し、光源３２からの光が照明レンズ３６を通してハーフミラー３４で反射し、被写体Ｓの表面に向けられるものとする。
【0016】
なお、光源３２とハーフミラー３４との間には、照明レンズ３６が配置される。照明レンズ３６は、シリンドリカルレンズ、自由曲面レンズ、フレネルレンズ、あるいは、凹面ミラー等が用いられる。照明レンズ３６は、光源３２ａ，３２ｂ，３２ｃからの光をＺＸ平面にてそれぞれ平行光にする。そして、ＺＸ平面において、光源３２ａからの平行光の照明光は、撮像部２４の光軸Ｃ上の照明光Ｌａに沿って－Ｚ方向に向かう。光源３２ｂからの平行光の照明光Ｌｂは、ＺＸ平面において、照明光Ｌａとは異なる位置で、異なる方向に向かう。光源３２ｃからの平行光の照明光Ｌａは、ＺＸ平面において、照明光Ｌａ，Ｌｂとは異なる位置で、異なる方向に向かう。
【0017】
このようにして、照明部２２は、少なくとも１つの面内（ＺＸ平面内）においてそれぞれ異なる方向に向かう照明光を被写体Ｓの表面に照射する。なお、光源３２のＬＥＤ３２ａ，３２ｂ，３２ｃは、同時期に点灯させる。照明部２２は、実質的に平行光と見做せる照明光を射出可能な光源３２を光軸Ｃ上に配置して、被写体Ｓの表面に照射するようにしてもよい。
【0018】
図１に示すように、撮像部２４は、例えば結像光学素子４２と、イメージセンサー４４とを有する。
【0019】
結像光学素子４２は、１枚のレンズであってもよく、複数枚のレンズであってもよく、また、必要に応じてレンズにミラーが組み合わせられていてもよい。結像光学素子４２は、光を結像できる構成であれば何でもよい。
【0020】
イメージセンサー４４は、結像光学素子４２で結像される複数の像Ｉ１，Ｉ２，…，Ｉｎ（ｎは２以上の整数）を適宜のフレームレートで取得する。イメージセンサー４４は、各画素において例えばＲＧＢを分光して取得可能である。イメージセンサー４４は、Ｘ軸方向に例えばｎｍ＋１（ｎｍは自然数）の画素数があり、Ｙ軸方向に例えばｍｍ＋１（ｍｍは自然数）の画素数がある。イメージセンサー４４は、処理装置１６により制御される適宜のフレームレートで適宜の視野内の像を取得するように動作する。なお、フレームレートは、例えば、搬送部１２による被写体Ｓの搬送速度により調整され得る。
【0021】
各画素は少なくとも２つの異なる波長の光線、つまり第１の波長の光線と第２の波長の光線を受光できるとする。イメージセンサー４４が配置された領域を含む面を、結像光学素子４２の像面とする。イメージセンサー４４はエリアセンサーでもよく、ラインセンサーでもよい。エリアセンサーとは、同一面内にエリア状に画素を配列させたものである。また、ラインセンサーは、画素をライン状に配列させたものである。また各画素でＲ、Ｇ、Ｂの３チャンネルの色チャンネルを備えるものでよい。本実施形態では、イメージセンサー４４はエリアセンサーとし、各画素は赤、青、緑の３つの色チャンネルを備えるとする。
【0022】
処理装置１６は、撮像部２４で撮像した画像を保持し、後述する画像処理を施すためのプロセッサ５２と、画像を保存するための記憶装置５４とを有する。
【0023】
プロセッサ５２は例えばＣＰＵやＧＰＵであるが、後述する画像処理を施すことができる素子であればなんでもよい。プロセッサ５２は、処理装置１６の処理に必要な演算及び制御などの処理を行うコンピュータの中枢部分に相当し、処理装置１６全体を統合的に制御する。プロセッサ５２は、ＲＯＭ又は補助記憶デバイスなどの記憶装置５４に記憶されたシステムソフトウェア、アプリケーションソフトウェア又はファームウェアなどのプログラムに基づいて、処理装置１６の各種の機能を実現するべく制御を実行する。プロセッサ５２は、例えば、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）、ＤＳＰ（digital signal processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、又は、ＧＰＵ（graphics processing unit）等を含む。あるいは、プロセッサ５２は、これらのうちの複数を組み合わせたものである。処理装置１６に設けられるプロセッサ５２は、１つであってもよく、複数であってもよい。
【0024】
処理装置１６は、記憶装置５４に記憶されるプログラム等をプロセッサ５２に実行させることにより、各種の機能を発揮させる処理を実行する。なお、処理装置１６の制御プログラムは、処理装置１６の記憶装置５４に記憶されておらず、適宜のサーバー上やクラウド上に置かれていることも好適である。この場合、制御プログラムは、通信インタフェースを介して例えば光学検査システム１０が有するプロセッサ５２と通信しながら実行される。すなわち、本実施形態に係る処理装置１６は、光学検査システム１０が有していてもよく、光学検査システム１０から離れた、各種の検査場のシステムのサーバーやクラウド上にあってもよい。このため、記憶装置５４に記憶されるのではなく、サーバー又はクラウド上に光学検査プログラムがあり、通信インタフェースを介して例えば光学検査システム１０が有するプロセッサ５２と通信しながらプログラムが実行されることも好適である。したがって、プロセッサ５２（処理装置１６）は、後述する光学検査プログラム（光学検査アルゴリズム）を実行し得る。
【0025】
プロセッサ５２（処理装置１６）は、照明部２２の光源３２の発光タイミング、イメージセンサー４４での画像データの取得タイミング、イメージセンサー４４からの画像データの取得等を制御するとともに、例えば四則演算等により複数の画像を重ね合わせたり、ある画像に対して適宜の画像処理を行い得る。
【0026】
また、記憶装置５４は例えばＨＤＤやＳＳＤであるが、例えば画像を記憶（保存）できるものであればなんでもよい。
【0027】
以下、第１実施形態に係る光学検査システム１０の動作について説明する。
【0028】
被写体Ｓは撮像部２４の光軸に垂直な方向に一定の速度で動いているとし、光学検査システム１０はその最中の被写体Ｓの画像を複数枚取得する。また被写体Ｓは平面、曲面、又は、これらの組み合わせであるとする。
【0029】
ここで、図３は、本実施形態に係る光学検査システム１０の光学検査装置１４とは照明光が異なる、比較例の光学検査装置１１４を用いて、搬送部１２上を＋Ｘ方向に搬送される被写体Ｓの表面を撮像部２４で撮像する例を示す概略図である。比較例の光学検査装置１１４は、例えばＺＸ平面、ＹＺ平面によらず、通常の照明光である、拡散光を用いて被写体Ｓの表面を照明し、撮像部２４で像を取得する。
【0030】
図４には、図３に示す光学検査装置１１４を用いて、適宜のフレームレートで被写体Ｓの表面を撮影した像を並べたものを示す。上側の像ほど、下側の像に比べて早い時間に撮影した像である。なお、図４中の破線は、撮像部２４の視野Ｆに対する被写体Ｓの仮想的な外形を示す。
【0031】
【0032】
図４に示すように、光学検査装置１１４は、搬送部１２の搬送位置に応じて、撮像部２４の視野Ｆ内の被写体Ｓの表面の全体の像を取得し得る。そして、光学検査装置１１４により取得し得る像は、それぞれ視野Ｆの全体が撮像される。
【0033】
図５は、図１に示す光学検査システム１０の搬送部１２で搬送される平板状の被写体Ｓ、被写体Ｓの像を光学的に取得する光学検査装置１４、及び、ＺＸ平面における照明光を示す模式図である。図５中、照明部２２の図示を省略する。なお、ここでの被写体Ｓは、図３に示す光学検査装置１１４で撮影した、図４に示すものと同じものとする。
【0034】
図６は、図５中の符号ＶＩで示す方向から見た、被写体Ｓ、光学検査装置１４、及び、ＹＺ平面における照明光を示す模式図である。図７は、図５中の符号ＶＩで示す方向から見た、被写体Ｓ、光学検査装置１４、及び、ＹＺ平面における照明光を示す、図６とは異なる模式図である。図６及び図７中、照明部２２の図示を省略する。
【0035】
図６に示すように、ＹＺ平面における照明光の一例は、例えば拡散光である。また、図７に示すように、ＹＺ平面における照明光の他の一例は、例えばＺ軸に平行な光である。本実施形態では、ＹＺ平面における照明光が、図６に示す拡散光であるものとして説明する。
【0036】
図８には、図５及び図６に示す本実施形態に係る光学検査装置１４で適宜の時間間隔ごとに取得し得る像Ｉ１，Ｉ２，…，Ｉｎの模式図を示す。なお、図８中の破線は、視野Ｆに対する被写体Ｓの位置及び大きさを仮想的に示すものであり、画像として得られているわけではない。
【0037】
図８中の上側の像ほど、下側の像に比べて早い時間に撮影した像である。図８中の５つの像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５は、後述するフロー（図１０参照）において必ずしも、処理装置１６が撮像部２４のイメージセンサー４４に撮像させた第１番目から第５番目の像とは限らないが、便宜的に符号Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５とする。例えば像Ｉ１と像Ｉ２との間に１又は複数の更なる像が撮像されていてもよい。すなわち、図８中、５つの画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５を並べて示すが、例えば最上段の画像Ｉ１と上から２番目の画像Ｉ２との間に、異なる時間で１又は複数の画像が取得され得る。これは、像Ｉ２と像Ｉ３との間、像Ｉ３と像Ｉ４との間、像Ｉ４と像Ｉ５との間でも同じである。これら図示しない像は、適宜に記憶装置５４に記憶されていることが好適である。また、本実施形態では、説明の便宜のため、像Ｉ１を基準となる撮像画像とする。基準となる撮像画像は、例えば像Ｉ２，Ｉ３，Ｉ４，Ｉ５のいずれから選択されてもよい。
【0038】
【0039】
図１０には、本実施形態に係る光学検査システム１０の処理装置１６の１又は複数のプロセッサ５２による処理のフローチャートを示す。
【0040】
ここで、本実施形態に係る光学検査装置１４の検査に用いる被写体Ｓは、図３に示す光学検査装置１１４で撮影したものと全く同じものを用いるものとする。また、搬送部１２による被写体Ｓの搬送速度、被写体Ｓに対する撮像部２４の設定は同一であるとする。ここでは、本実施形態に係る光学検査装置１４は、通常の撮影の場合の光学検査装置１１４と比較して、被写体Ｓの表面への照明が異なる。
【0041】
図１０に示すように、まず、処理装置１６（１又は複数のプロセッサ５２）は、搬送部１２で被写体Ｓを搬送しながら、光学検査装置１４によって、照明部２２から被写体Ｓの表面に、搬送部１２で搬送される被写体Ｓの位置によって異なる入射角の照明光を照射したときの被写体Ｓの表面のそれぞれ一部の複数枚の画像Ｉ１，Ｉ２，…，Ｉｎを取得する（ステップＳ１１）。
【0042】
本実施形態に係る図１、図２、図５及び図６に示す光学検査装置１４の照明部２２から被写体Ｓの表面に入射されるＺＸ平面に沿う光のうち、撮像部２４の光軸上に沿って被写体Ｓの表面に入射される光は、被写体Ｓの表面が平面（ＸＹ平面に平行な平面）であるから、ほぼ正反射し、ハーフミラー３４、結像光学素子４２を通してイメージセンサー４４に入射される。一方、光学検査装置１４の照明部２２から被写体Ｓの表面に入射される光のうち、撮像部２４の光軸から外れる光が被写体Ｓの表面に入射されると、反射の法則により、撮像部２４の結像光学素子４２に入射され難くなる。このような撮像部２４の光軸から外れる光が被写体Ｓの表面に入射されると、被写体Ｓの表面からの反射光の一部は、撮像部２４の結像光学素子４２に向かって反射しない光となり、例えば結像光学素子４２及びイメージセンサー４４の視野Ｆ内から外れる。このため、図１、図２、図５及び図６に示す光学検査装置１４の撮像部２４は、Ｘ軸方向における撮像部２４の光軸Ｃ及びその近傍の像を得ることができるが、Ｘ軸方向における光軸Ｃ及びその近傍から外れる部分の像は得られにくい。すなわち、Ｘ軸方向における撮像部２４の光軸Ｃ及びその近傍の像は、被写体Ｓの表面の像として得ることができるが、Ｘ軸方向における光軸Ｃ及びその近傍から外れる部分は撮像部２４に光が入射されず、例えば黒色として写る。
【0043】
すなわち、光学検査装置１４のＺＸ平面において、被写体Ｓの表面への照明光のうち、反射の法則に基づいて撮像部２４の結像光学素子４２に向かって反射する光は、正反射成分として撮像部２４で撮像される。
【0044】
一方、本実施形態に係る図６に示す光学検査装置１４の照明部２２（図示せず）から被写体Ｓの表面に入射されるＹＺ平面に沿う光のうち、撮像部２４の光軸Ｃ上に沿って被写体Ｓの表面に入射される拡散光は、ハーフミラー３４、結像光学素子４２を通してイメージセンサー４４に入射される。また、撮像部２４の光軸Ｃから外れて被写体Ｓの表面に入射される光は拡散光であるから、ハーフミラー３４、結像光学素子４２を通してイメージセンサー４４に入射される。このため、図６に示す例において、撮像部２４は、Ｙ軸方向における撮像部２４の光軸Ｃ及びその近傍の像だけでなく、撮像部２４の光軸Ｃ及びその近傍に加えて、Ｙ軸方向に沿って光軸Ｃから外れる部分の像も得られる。
【0045】
したがって、図５及び図６に示すように、被写体Ｓが平板で、被写体Ｓの表面が平面であるとき、本実施形態に係る光学検査装置１４で取得し得る被写体Ｓの表面の像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５は、図８に示すように、イメージセンサー４４の視野内のうち、Ｘ軸方向の一部となる。一方、本実施形態では、イメージセンサー４４は、イメージセンサー４４の視野Ｆ内において、対応するＸ軸の範囲内におけるＹ軸方向全体の像を得ることができる。
【0046】
ここで、処理装置１６（１又は複数のプロセッサ５２）は、搬送部１２による被写体Ｓの搬送方向、搬送速度、及び、搬送部１２上の被写体Ｓの位置が分かっている。また、プロセッサ５２は、画像Ｉ１，Ｉ２，…，Ｉｎのそれぞれの取得時間、及び、取得時間間隔（フレームレート）が分かっている。
【0047】
処理装置１６（１又は複数のプロセッサ５２）は、基準となる画像Ｉ１を設定し、取得した被写体Ｓの表面のそれぞれ一部の画像（図８に示す画像Ｉ２，Ｉ３，Ｉ４，Ｉ５に限らず、各画像間に取得される像も含むが、ここでは便宜的に像Ｉ２，Ｉ３，Ｉ４，Ｉ５とする）から、搬送部１２の搬送速度等に応じてピックアップした画像Ｉ２，Ｉ３，Ｉ４，Ｉ５をそれぞれ例えばｎ×Δｘ（ｎは自然数）ずつシフトさせて重ね合わせ、少なくとも１枚の被写体表面構成画像Ｉｓを構成する（ステップＳ１２）。このとき、第１番目の基準となる画像Ｉ１は例えばシフトさせず、第２番目の画像を１×Δｘ、－Ｘ方向にシフトさせ、第３番目の画像を２×Δｘ、－Ｘ方向にシフトさせるなど、（ｎ－１）×Δｘずつ－Ｘ方向にシフトさせて、１枚の被写体Ｓの表面画像Ｉｓ（図９参照）を生成する。
ここでは、処理装置１６は、被写体表面画像Ｉｓを構成するとき、撮像部２４のイメージセンサー４４におけるフレームレート、撮像部２４に対する被写体Ｓの搬送速度、撮像部２４のイメージセンサー４４に対する被写体Ｓの搬送方向に沿う方向のイメージセンサー４４の画素数に基づいて撮像画像Ｉ２，Ｉ３，…，Ｉｎのシフト量を設定する。
ここでは、処理装置１６は、被写体表面画像Ｉｓを構成するとき、撮像部２４のイメージセンサー４４におけるフレームレート、撮像部２４に対する被写体Ｓの搬送速度、撮像部２４のイメージセンサー４４に対する被写体Ｓの搬送方向に沿う方向のイメージセンサー４４の画素数に基づいて撮像画像Ｉ２，Ｉ３，…，Ｉｎのシフト量を設定する。
【0048】
このように、本実施形態に係る処理装置１６は、撮像部２４で撮像した複数枚の画像Ｉ１，Ｉ２，Ｉ３，…を図１１に示すように並べ直し、後述するように処理することで、被写体Ｓの位置関係に応じた新たな１枚の被写体表面構成画像Ｉｓ（図９参照）を生成する。
【0049】
搬送部１２による被写体Ｓの搬送方向、搬送速度及び位置と像Ｉ１，Ｉ２，…，Ｉｎの時間との関係から、例えば、画像Ｉ１に対して、画像Ｉ２の像抽出部分をΔｘ、－Ｘ軸方向にシフトさせ、これを画像Ｉ２１とする。同様に、画像Ｉ２に対して、画像Ｉ３の像抽出部分をΔｘ、－Ｘ軸方向にシフトさせ、これを画像Ｉ３１とする。すなわち、画像Ｉ１に対して画像Ｉ３の像抽出部分を２×Δｘ、－Ｘ軸方向にシフトさせる。このようにして、例えば画像Ｉ２，Ｉ３，…，Ｉｎを順次１つ前の画像に対してΔｘずつ、－Ｘ軸方向にシフトさせる。すなわち、処理装置１６は、画像Ｉ２１，Ｉ３１，…，Ｉｎ１を作成する。
【0050】
そして、画像Ｉ１に対して、このように画像処理した画像Ｉ２１，Ｉ３１，…，Ｉｎ１を例えば足し合わせる。このようにすると、処理装置１６は、被写体Ｓの表面に関する像（構成画像）Ｉｓを生成することができる。
なお、画像Ｉ１，Ｉ２間など、画像の一部が重なり得る。この場合、処理装置１６は、重なり部分の一方を引いたり、重なり部分の画素値を平均化したりする。このため、被写体表面画像Ｉｓを構成するとき、処理装置１６は、撮像画像Ｉ２，…，Ｉｎを基準となる撮像画像Ｉ１に対して適宜の四則演算に基づいて合成する。
なお、画像Ｉ１，Ｉ２間など、画像の一部が重なり得る。この場合、処理装置１６は、重なり部分の一方を引いたり、重なり部分の画素値を平均化したりする。このため、被写体表面画像Ｉｓを構成するとき、処理装置１６は、撮像画像Ｉ２，…，Ｉｎを基準となる撮像画像Ｉ１に対して適宜の四則演算に基づいて合成する。
【0051】
被写体Ｓの搬送方向をＸ軸方向とし、撮像部２４の視野Ｆの半分をｘ０とし、イメージセンサー４４の搬送方向の画素数をｎｍ＋１とし、イメージセンサー４４のフレームレートをｆｃとし、被写体Ｓの搬送速度をνとすると、例えば、Ｎ＋１枚目（Ｎは自然数）に取得した画像は、１つ前のＮ枚目に取得した画像に対して－Ｘ方向にΔｘだけシフトさせて重ねればよい。各撮影画像のシフト量Δｘは、Δｘ＝（ν・ｎｍ）／（２ｘ０・ｆｃ）、で求められる。
【0052】
一例として、ｘ０＝５０ｍｍとし、ｎｍ＝１０００ｐｉｘとし、ν＝１００ｍ／ｓとし、ｆｃ＝５０ｆｐｓとする。このとき、Δｘ＝２０ｐｉｘとして得られる。このため、処理装置１６は、複数の画像Ｉ２，Ｉ３，…，Ｉｎを基準となる画像Ｉ１に対してΔｘ＝２０ｐｉｘ×（ｎ－１）ずつ－Ｘ方向にずらして例えば足し合わせることで、被写体Ｓの表面構成画像Ｉｓ（図９参照）を得ることができる。このような像Ｉｓは、ＺＸ平面において、拡散光ではなく、実質的に平行光と見做せる照明光の正反射光により得られる。
【0053】
本実施形態に係る被写体Ｓの表面構成画像Ｉｓ（図９参照）は、ＺＸ平面における限られた方向からの照明光によって得ることができる。このため、本実施形態による光学検査システム１０は、被写体Ｓの表面構成画像Ｉｓは、被写体Ｓの表面に正対する光とは異なる他の光の影響を受けにくい、被写体Ｓの表面の像Ｉｓを取得することができる。搬送により被写体Ｓと光学検査装置１４との位置関係は時々刻々と変化する。このため、被写体の表面に正対する光は、光学検査装置１４との位置関係において、時々刻々と変化する。したがって、ある時間における被写体Ｓの像Ｉｎと、他の時間における被写体Ｓの像Ｉｎ＋１とは異なる。そして、処理装置１６は、被写体の像をｘ０，ｎｍ，ν，ｆｃとの関係でΔｘを設定し、画像処理することで、被写体Ｓの表面の例えば全体像Ｉｓを取得することができる。
【0054】
図１２には、実際にプラスチック平板の表面にキズを付けた被写体Ｓの表面を、本実施形態に係る光学検査システム１０を用いて、適宜のフレームレートで撮影した像Ｉ１，Ｉ２，…，Ｉ６を並べたものを示す。上側の像ほど、下側の像に比べて早い時間に撮影した像である。そして、図１３には、図１２に示す画像に基づいて構成した、１枚の被写体Ｓの表面構成画像Ｉｓを示す。図１３に示すように、本実施形態に係る光学検査システム１０によれば、実際の被写体Ｓの表面の像と同等の像（被写体Ｓの表面構成画像Ｉｓ）を得ることができる。
【0055】
図１４に示すように、処理装置１６は、図１３に示す被写体Ｓの表面構成画像Ｉｓに対して画像処理（ステップＳ１３）を施すことができる。処理装置１６のプロセッサ５２は、被写体Ｓの表面構成画像Ｉｓに対して欠陥識別のための画像処理を施すとき、被写体Ｓの表面構成画像Ｉｓに対して、画像フィルタを畳み込んだ演算処理を行う。ここでは、画像処理の一例としてDoG（Difference of Gaussian）処理を用いるものとする。図１３及び図１５を見れば明らかなように、被写体Ｓの表面の構成画像Ｉｓからキズｄだけが鮮明化された欠陥識別画像Ｉｄが得られることがわかる。このような画像処理によって、処理装置１６は、被写体Ｓの表面構成画像Ｉｓに示される欠陥を抽出することができる。欠陥識別画像Ｉｄは、１つだけでなく、複数得られ得る。
【0056】
処理装置１６による画像処理は例えば直線検出やエッジ検出処理、周波数フィルタリング、キャニーフィルタリング、ラプラシアンフィルタリング、ガウシアンフィルタリング、DoG処理等である。被写体Ｓの表面の欠陥を抽出し得る画像処理であれば具体的な手法はなんでもよい。
【0057】
したがって、本実施形態によれば、種々の形状を有する被写体Ｓの表面の状態を把握するための処理を行う、処理装置１６、処理装置１６を有する光学検査システム１０、被写体Ｓの表面画像Ｉｓの構成方法、被写体Ｓの表面画像Ｉｓの構成プログラムが提供される。
【0058】
本実施形態に係る、被写体Ｓの表面画像Ｉｓの構成方法は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射すること、被写体Ｓの表面を撮像部２４で撮像し、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５を得ること、撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５のうちから選択される複数枚の撮像画像Ｉ２，Ｉ３，Ｉ４，Ｉ５をそれぞれシフトさせて重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成することを含む。
本実施形態に係る、被写体Ｓの表面画像Ｉｓの構成プログラムは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射したときに撮像部２４により得た、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５について、撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５のうちから選択される複数枚の撮像画像Ｉ２，Ｉ３，Ｉ４，Ｉ５をシフトさせて重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成する処理を１又は複数のプロセッサ５２に実行させる。
本実施形態に係る、被写体表面画像の構成に用いる処理装置は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射したときに撮像部２４により得た、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５について、撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５のうちから選択される複数枚の撮像画像Ｉ２，Ｉ３，Ｉ４，Ｉ５をシフトさせて重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成する、１又は複数のプロセッサ５２を有する。
本実施形態に係る、被写体Ｓの表面画像Ｉｓの構成プログラムは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射したときに撮像部２４により得た、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５について、撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５のうちから選択される複数枚の撮像画像Ｉ２，Ｉ３，Ｉ４，Ｉ５をシフトさせて重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成する処理を１又は複数のプロセッサ５２に実行させる。
本実施形態に係る、被写体表面画像の構成に用いる処理装置は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射したときに撮像部２４により得た、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５について、撮像画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５のうちから選択される複数枚の撮像画像Ｉ２，Ｉ３，Ｉ４，Ｉ５をシフトさせて重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成する、１又は複数のプロセッサ５２を有する。
【0059】
実施形態によれば、光学検査システム１０は、被写体Ｓの表面に対して、それぞれ異なる方向に向かう照明光を照射する照明部２２と、被写体Ｓの表面を所定のフレームレートで撮像する撮像部２４（イメージセンサー４４）と、被写体Ｓの表面を照明部２２及び撮像部２４に対して相対的に所定方向に移動させる搬送部１２と、１又は複数のプロセッサ５２を有する処理装置１６と、を有する。処理装置１６の１又は複数のプロセッサ５２は、上述したように用いられる。
【0060】
したがって、本実施形態によれば、種々の形状を有する被写体表面の状態を把握するための処理を行う、処理装置１６、処理装置１６を有する光学検査システム１０、被写体Ｓの表面画像Ｉｓの構成方法、及び、被写体Ｓの表面画像Ｉｓの構成プログラムを提供することができる。
【0061】
実施形態によれば、プロセッサ５２は、少なくとも１つの被写体表面画像Ｉｓを構成するとき、撮像部２４（イメージセンサー４４）におけるフレームレート、撮像部２４に対する被写体Ｓの搬送速度、撮像部２４に対する被写体Ｓの搬送方向に沿う方向の撮像部２４（イメージセンサー４４）の画素数に基づいて撮像画像Ｉ２，Ｉ３，…，Ｉｎのシフト量を設定する。
プロセッサ５２は、シフト量Δｘを、Δｘ＝（ν・ｎｍ）／（２ｘ０・ｆｃ）に基づいて設定する。ここで、ｘ０：被写体Ｓの搬送方向に沿う撮像部２４（イメージセンサー４４）の視野の半分、ｎｍ＋１：被写体Ｓの搬送方向に沿う撮像部２４（イメージセンサー４４）の画素数、ｆｃ：撮像部２４（イメージセンサー４４）のフレームレート、ν：撮像部２４（イメージセンサー４４）に対する被写体Ｓの搬送速度である。
プロセッサ５２は、シフト量Δｘを、Δｘ＝（ν・ｎｍ）／（２ｘ０・ｆｃ）に基づいて設定する。ここで、ｘ０：被写体Ｓの搬送方向に沿う撮像部２４（イメージセンサー４４）の視野の半分、ｎｍ＋１：被写体Ｓの搬送方向に沿う撮像部２４（イメージセンサー４４）の画素数、ｆｃ：撮像部２４（イメージセンサー４４）のフレームレート、ν：撮像部２４（イメージセンサー４４）に対する被写体Ｓの搬送速度である。
【0062】
プロセッサ５２は、撮像画像Ｉ２，Ｉ３，Ｉ４，Ｉ５をシフトさせて重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成するとき、基準となる撮像画像Ｉ１に対して例えば四則演算に基づいて合成する。
なお、画像Ｉ１，Ｉ２，…，Ｉｎを重ね合わせる方法についてはいろいろな手段が考えられる。例えば、重なった画像同士の複数の画素値を比較し、最も大きい画素値を持つ画素をそのまま構成画像Ｉｓにおける画素値として採用することができる。重なった複数の画素値の平均値を採用することができる。この方法で被写体Ｓの表面画像Ｉｓを構成すれば、被写体Ｓの位置関係が正しく写る構成画像Ｉｓを得ることができる。
なお、画像Ｉ１，Ｉ２，…，Ｉｎを重ね合わせる方法についてはいろいろな手段が考えられる。例えば、重なった画像同士の複数の画素値を比較し、最も大きい画素値を持つ画素をそのまま構成画像Ｉｓにおける画素値として採用することができる。重なった複数の画素値の平均値を採用することができる。この方法で被写体Ｓの表面画像Ｉｓを構成すれば、被写体Ｓの位置関係が正しく写る構成画像Ｉｓを得ることができる。
【0063】
プロセッサ５２は、少なくとも１つの被写体表面画像Ｉｓに対して欠陥識別のための画像処理を施して被写体表面画像Ｉｓにおいて欠陥を抽出させた欠陥抽出画像Ｉｄを得る。
【0064】
プロセッサ５２は、欠陥識別のための画像処理を施すとき、少なくとも１つの被写体表面画像Ｉｓに対して、画像フィルタを畳み込んだ演算処理を行う。
【0065】
【0066】
図１６には、図５に示す光学検査装置１４において、被写体Ｓの表面が、ＸＹ平面に対して傾斜する傾斜平面である例を示す。図１６中、照明部２２の図示を省略する。図１６に示す例では、＋Ｘ方向に向かうにつれて高くなる傾斜面として形成される。なお、被写体Ｓの表面に対する、ＹＺ平面に沿う照明光は、図６に示すように拡散光とする。
【0067】
図１６に示す例では、ＺＸ平面における撮像部２４の光軸Ｃに沿う照明光は、反射の法則により、撮像部２４の結像光学素子４２に入射され難くなる。一方、ＺＸ平面における被写体Ｓへの照明光のうち、反射の法則に基づいて撮像部２４の結像光学素子４２に向かって反射する光は、正反射成分として撮像部２４の結像光学素子４２に入射され、イメージセンサー４４で撮像される。
【0068】
図１７には、図１６及び図６に示す光学検査装置１４で取得し得る像Ｉ１，Ｉ２，…，Ｉ６の例を示す。上側の像ほど、下側の像に比べて早い時間に撮影した像である。なお、図１７中の破線は、視野Ｆに対する被写体Ｓの位置及び大きさを示すものであり、画像として得られているわけではない。
【0069】
図１８には、上述したフロー（図１０参照）に基づいて構成した１枚の被写体Ｓの表面構成画像Ｉｓを示す。被写体Ｓの表面が傾斜面であっても、上述したものと同様に被写体Ｓの表面構成画像Ｉｓを得ることができる。仮に、実際にプラスチック平板の表面にキズを付けた被写体Ｓの表面が傾斜面であっても、図１２及び図１４に示すように被写体Ｓの表面構成画像Ｉｓを得ることができる。処理装置１６は、被写体Ｓの表面構成画像Ｉｓに対して画像処理を施すことができる。このような画像処理によって、被写体Ｓの表面構成画像Ｉｓに示される欠陥を抽出することができる（図１５参照）。
【0070】
したがって、図１６に示す傾斜面の表面を有する被写体Ｓであっても、本実施形態によれば、種々の形状を有する被写体Ｓの表面の状態を把握するための処理を行う、処理装置１６、処理装置１６を有する光学検査システム１０、被写体Ｓの表面画像Ｉｓの構成方法、被写体Ｓの表面画像Ｉｓの構成プログラムが提供される。
【0071】
【0072】
図１９には、図５に示す光学検査装置１４において、被写体Ｓの表面が、ＸＹ平面に対して平行な平面Ｓ１と、ＸＹ平面に対して傾斜する傾斜平面Ｓ２とが連続する例を示す。図１９中、照明部２２の図示を省略する。図１９に示す例では、傾斜平面Ｓ２は、＋Ｘ方向に向かうにつれて高くなる傾斜面として形成される。なお、被写体Ｓの表面に対する、ＹＺ平面に沿う照明光は、図６に示すように拡散光とする。
【0073】
図１９に示す例では、ＺＸ平面における撮像部２４の光軸Ｃに沿う照明光は、反射の法則による正反射により、撮像部２４の結像光学素子４２に入射される。ＺＸ平面における被写体Ｓへの照明光のうち、反射の法則に基づいて撮像部２４の結像光学素子４２に向かって反射する光は、正反射成分として撮像部２４の結像光学素子４２に入射され、イメージセンサー４４で撮像される。
【0074】
図２０には、図１９及び図６に示す光学検査装置１４で取得し得る像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５の例を示す。上側の像ほど、下側の像に比べて早い時間に撮影した像である。なお、図２０中の破線は、視野Ｆに対する被写体Ｓの位置及び大きさを示すものであり、画像として得られているわけではない。
【0075】
図２１には、上述したフロー（図１０参照）に基づいて構成した１枚の被写体Ｓの構成画像Ｉｓを示す。被写体Ｓの表面が平面Ｓ１と傾斜平面Ｓ２との組み合わせであっても、上述したものと同様に被写体Ｓの表面構成画像Ｉｓを得ることができる。仮に、実際にプラスチック平板の表面にキズを付けた被写体Ｓの表面が傾斜面であっても、図１２及び図１３に示すように被写体Ｓの表面構成画像Ｉｓを得ることができる。処理装置１６は、被写体Ｓの表面構成画像Ｉｓに対して画像処理を施すことができる。処理装置１６は、このような画像処理によって、被写体Ｓの表面構成画像Ｉｓに示される欠陥を抽出することができる（図１４参照）。
【0076】
したがって、図１８に示す平面Ｓ１と傾斜平面Ｓ２とを組み合わせた表面を有する被写体Ｓであっても、本実施形態によれば、種々の形状を有する被写体Ｓの表面の状態を把握するための処理を行う、処理装置１６、処理装置１６を有する光学検査システム１０、被写体Ｓの表面画像Ｉｓの構成方法、被写体Ｓの表面画像Ｉｓの構成プログラムが提供される。
【0077】
なお、図１に示すように、被写体Ｓの表面が波打った状態の場合であっても、被写体Ｓの表面は、上述した例のように平面と傾斜面との組み合わせとして、実際の像が取得され、１枚の被写体Ｓの表面画像Ｉｓが構成される。したがって、本実施形態によれば、種々の形状を有する被写体Ｓの表面の状態を把握するための処理を行う、処理装置１６、処理装置１６を有する光学検査システム１０、被写体Ｓの表面画像Ｉｓの構成方法、被写体Ｓの表面画像Ｉｓの構成プログラムが提供される。
【0078】
（変形例）
図５から図２１に示す被写体Ｓは、被写体Ｓの全体が１つの視野Ｆ内に収まるような大きさの例として図示した。例えば、被写体Ｓの撮像画像を取り終えてから、適宜の撮像画像Ｉ１，Ｉ２，…，Ｉｎを用いて表面構成画像Ｉｓを形成する例について説明した。処理装置１６は、例えば、被写体Ｓの撮像画像を取り終えるよりも前に順次足し合わせて最終的に所定長さの像Ｉｓを構成するようにしてもよい。例えばロールから繰り出されるシート状部材などは、搬送方向に沿う長さが例えば数十メートルや数百メートルなどになり、被写体Ｓの全体が１つの視野Ｆ内に収まらない場合があり得る。このような場合、処理装置１６は、例えば、図２２に示す、以下のフローに基づいて、例えば搬送方向に沿って所定長さに被写体Ｓの表面の検査範囲を区切るように、所定長さの被写体Ｓの表面構成画像Ｉｓを生成し、被写体Ｓの表面の状態を把握するための処理を行い得る。
なお、本実施形態に係る処理は、例えば被写体Ｓの表面構成画像がイメージセンサー４４の視野Ｆ内に入るような、被写体Ｓの搬送方向に沿う全体長さが適宜に短い被写体Ｓにも適用し得る。
図５から図２１に示す被写体Ｓは、被写体Ｓの全体が１つの視野Ｆ内に収まるような大きさの例として図示した。例えば、被写体Ｓの撮像画像を取り終えてから、適宜の撮像画像Ｉ１，Ｉ２，…，Ｉｎを用いて表面構成画像Ｉｓを形成する例について説明した。処理装置１６は、例えば、被写体Ｓの撮像画像を取り終えるよりも前に順次足し合わせて最終的に所定長さの像Ｉｓを構成するようにしてもよい。例えばロールから繰り出されるシート状部材などは、搬送方向に沿う長さが例えば数十メートルや数百メートルなどになり、被写体Ｓの全体が１つの視野Ｆ内に収まらない場合があり得る。このような場合、処理装置１６は、例えば、図２２に示す、以下のフローに基づいて、例えば搬送方向に沿って所定長さに被写体Ｓの表面の検査範囲を区切るように、所定長さの被写体Ｓの表面構成画像Ｉｓを生成し、被写体Ｓの表面の状態を把握するための処理を行い得る。
なお、本実施形態に係る処理は、例えば被写体Ｓの表面構成画像がイメージセンサー４４の視野Ｆ内に入るような、被写体Ｓの搬送方向に沿う全体長さが適宜に短い被写体Ｓにも適用し得る。
【0079】
搬送部１２は、所定の速度で被写体Ｓを＋Ｘ方向に搬送するものとする。
【0080】
処理装置１６は、搬送中の被写体Ｓの表面に対して、位置によって異なる入射角の照明光を照射したときの被写体Ｓの表面の一部画像を取得するとともに、取得画像を被写体Ｓの表面構成画像の第１番目とする（ステップＳ２１）。
【0081】
次に、処理装置１６は、搬送方向に沿って被写体Ｓの後端が撮像部２４の視野Ｆ内を通り過ぎたか否か判断する（ステップＳ２２）。これは、処理装置１６が搬送部１２に配置されるセンサー出力を検知してもよく、撮像部２４の像の抽出状況によって検知してもよい。ここでは後者であるものとする。
【0082】
被写体Ｓの後端が撮像部２４の視野Ｆ内を通り過ぎていない場合（Ｓ２２－Ｎｏ）、処理装置１６は、搬送方向に沿って例えば所定の長さ又は搬送方向に沿う所望の画素数の被写体表面画像Ｉｓが取得されたか否か判断する（ステップＳ２３）。ここでは、所定の長さ又は搬送方向に沿う所望の画素数の被写体表面画像Ｉｓとは、実質的に、イメージセンサー４４に光が入射されたＸ軸方向に沿う範囲の長さ又は画素をいう。すなわち、仮に、被写体表面画像Ｉｓが形成されたときのＸ軸方向に沿う所望の長さ又は所望の画素数をいう。このため、イメージセンサー４４に光が入射されず、像として得られていない部分のＸ軸方向に沿う長さ又は画素を除外する。
【0083】
被写体Ｓの搬送方向に沿う長さは、例えば、視野Ｆ内の画素数と被写体の寸法とを所定関係に設定し、本フローでの取得画像の取得回数をカウントすることで算出し得る。
【0084】
処理装置１６は、所定長さ又は所望の画素数に到達していなければ（ステップＳ２３－Ｎｏ）、再びステップＳ２１の処理を行い、被写体Ｓの表面の一部画像を取得するとともに、取得画像を被写体Ｓの表面構成画像の第２番目とする。なお、第１番目の被写体Ｓの表面の一部画像と、第２番目の被写体Ｓの表面の一部画像とは、第２番目の被写体Ｓの表面の一部画像をΔｘシフトさせ、第１番目の被写体Ｓの表面の画像と重ね合わせる。このとき、像の一部が重なることが好適である。
【0085】
処理装置１６は、このような作業を繰り返し、例えば第ｎ番目の画像により、所望の長さの被写体表面構成画像（サンプル表面構成画像）Ｉｓが得られたら、その時点の像を、被写体Ｓの表面の構成画像Ｉｓとする（Ｓ２４）とともに、再びステップＳ２１の処理に戻り、新たな第１番目の被写体Ｓの表面の画像を得る。なお、この新たな第１番目の被写体Ｓの表面の画像は、１枚の被写体表面画像Ｉｓの像の一部と重なることが好適である。
【0086】
なお、被写体Ｓの後端が撮像部２４の視野Ｆ内を通り過ぎた場合（Ｓ２２－Ｙｅｓ）、処理装置１６は、ステップＳ２１で生成した画像を表面構成画像Ｉｓとして構成する（ステップＳ２５）。
【0087】
本変形例に係る光学検査システム１０によれば、実際の被写体Ｓの表面の像と同等の像（被写体Ｓの表面構成画像Ｉｓ）を得ることができる。このとき、被写体Ｓのうち、適宜の長さの１又は複数の表面構成画像Ｉｓを得ることができる（Ｓ２４）。また、被写体Ｓの後端を含む１枚の表面構成画像Ｉｓを得ることができる（Ｓ２５）。
【0088】
そして、処理装置１６は、被写体Ｓの表面構成画像Ｉｓに対して上述した画像処理（図１３及び図１５参照）を施すことができる（ステップＳ１３）。このような画像処理によって、被写体Ｓの表面構成画像Ｉｓに示される欠陥を抽出することができる。処理装置１６による画像処理は例えば直線検出やエッジ検出処理、周波数フィルタリング、キャニーフィルタリング、ラプラシアンフィルタリング、ガウシアンフィルタリング、DoG（Difference of Gaussian）処理等である。被写体Ｓの表面の欠陥を抽出し得る画像処理であれば具体的な手法はなんでもよい。
【0089】
したがって、本変形例によれば、種々の形状を有する被写体Ｓの表面の状態を把握するための処理を行う、処理装置１６、処理装置１６を有する光学検査システム１０、被写体Ｓの表面画像Ｉｓの構成方法、被写体Ｓの表面画像Ｉｓの構成プログラムが提供される。
【0090】
したがって、本実施形態の変形例に係る、被写体Ｓの表面画像Ｉｓの構成方法は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射すること、被写体Ｓの表面を撮像部２４により所定のフレームレートで撮像し、基準となる撮像画像を得るとともに、基準となる撮像画像に続く撮像画像をそれぞれシフトさせてその撮像画像よりも前に撮像した撮像画像と重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成することを含む。
【0091】
また、本実施形態の変形例において、少なくとも１つの被写体表面画像Ｉｓを構成するとき、撮像画像の少なくとも複数枚を、撮像部２４におけるフレームレート、撮像部２４に対する被写体Ｓの搬送速度、撮像部２４に対する被写体Ｓの搬送方向に沿う方向の撮像部２４の画素数に基づいて撮像画像のシフト量を設定する。
【0092】
また、本実施形態の変形例において、少なくとも１つの被写体表面画像Ｉｓに対して欠陥識別のための画像処理を施す。
【0093】
本実施形態の変形例に係る、被写体表面画像Ｉｓの構成に用いる処理装置１６は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射したときに撮像部２４により所定のフレームレートで基準となる撮像画像Ｉ１を得るとともに、基準となる撮像画像Ｉ１に続く撮像画像Ｉ２，Ｉ３，…，Ｉｎを得ながらそれぞれをシフトさせて撮像画像Ｉ２，Ｉ３，…よりも前に撮像した撮像画像Ｉ１，Ｉ２，…と順に重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成する、１又は複数のプロセッサ５２を有する。
【0094】
本実施形態の変形例に係る、被写体表面画像Ｉｓの構成プログラムは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射したときに撮像部２４により所定のフレームレートで基準となる撮像画像Ｉ１を得るとともに、基準となる撮像画像Ｉ１に続く撮像画像Ｉ２，Ｉ３，…，Ｉｎをそれぞれシフトさせて撮像画像Ｉ２，Ｉ３，…よりも前に撮像した撮像画像と重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成する処理を１又は複数のプロセッサ５２に実行させる。
プロセッサ５２は、少なくとも１つの被写体表面画像Ｉｓを構成するとき、撮像部２４におけるフレームレート、撮像部２４に対する被写体Ｓの搬送速度、撮像部２４に対する被写体Ｓの搬送方向に沿う方向の撮像部２４の画素数に基づいて撮像画像のシフト量を設定する。
プロセッサ５２は、少なくとも１つの被写体表面画像Ｉｓを構成するとき、撮像部２４におけるフレームレート、撮像部２４に対する被写体Ｓの搬送速度、撮像部２４に対する被写体Ｓの搬送方向に沿う方向の撮像部２４の画素数に基づいて撮像画像のシフト量を設定する。
【0095】
プロセッサ５２は、、シフト量Δｘを、Δｘ＝（ν・ｎｍ）／（２ｘ０・ｆｃ）に基づいて設定する。ここで、ｘ０：被写体Ｓの搬送方向に沿う撮像部２４（イメージセンサー４４）の視野の半分、ｎｍ＋１：被写体Ｓの搬送方向に沿う撮像部２４（イメージセンサー４４）の画素数、ｆｃ：撮像部２４（イメージセンサー４４）のフレームレート、ν：撮像部２４（イメージセンサー４４）に対する被写体Ｓの搬送速度である。
【0096】
プロセッサ５２は、撮像画像Ｉ２，Ｉ３，Ｉ４，Ｉ５をシフトさせて重ね合わせ、少なくとも１つの被写体表面画像Ｉｓを構成するとき、基準となる撮像画像Ｉ１に対して四則演算に基づいて合成する。
【0097】
プロセッサ５２は、少なくとも１つの被写体表面画像Ｉｓに対して欠陥識別のための画像処理を施して被写体表面画像Ｉｓにおいて欠陥を抽出させた欠陥抽出画像Ｉｄを得る。
【0098】
プロセッサ５２は、欠陥識別のための画像処理を施すとき、少なくとも１つの被写体表面画像Ｉｓに対して、画像フィルタを畳み込んだ演算処理を行う。
【0099】
（第２実施形態）
次に、第２実施形態に係る光学検査システム１０について、図２３から図２７を用いて説明する。本実施形態は第１実施形態に係る光学検査システム１０の光学検査装置１４の変形例であって、第１実施形態で説明下部材と同一の部材又は同一の機能を有する部材には同一の符号を付し、詳しい説明を省略する。
次に、第２実施形態に係る光学検査システム１０について、図２３から図２７を用いて説明する。本実施形態は第１実施形態に係る光学検査システム１０の光学検査装置１４の変形例であって、第１実施形態で説明下部材と同一の部材又は同一の機能を有する部材には同一の符号を付し、詳しい説明を省略する。
【0100】
【0101】
図２３及び図２４に示すように、本実施形態に係る光学検査装置１４は、被写体Ｓと撮像部２４の結像光学素子４２との間の光軸Ｃ上に、光軸Ｃと直交し、例えばＸＹ平面に平行なシート状のカラー開口（波長選択部）２６が設けられる。カラー開口２６は、例えば照明部２２のハーフミラー３４と撮像部２４の結像光学素子４２との間に設けられることが好適である。
【0102】
カラー開口２６は、少なくとも２つ以上の波長選択領域（本実施形態では３つの波長選択領域７２，７４，７６）を有する。それらをそれぞれ、第１の波長選択領域７２、第２の波長選択領域７４、第３の波長選択領域７６とする。なお、第１の波長選択領域７２、第２の波長選択領域７４、及び、第３の波長選択領域７６が並ぶ方向は、Ｘ軸に沿う。つまり、第１の波長選択領域７２、第２の波長選択領域７４、及び、第３の波長選択領域７６は、それぞれＸ軸と交差する。第１の波長選択領域７２、第２の波長選択領域７４、及び、第３の波長選択領域７６が延びる方向は、Ｙ軸に沿う。つまり、第１の波長選択領域７２、第２の波長選択領域７４、及び、第３の波長選択領域７６は、Ｙ軸に沿って延びている。ただし、この限りではなく、第１の波長選択領域７２、第２の波長選択領域７４、及び、第３の波長選択領域７６はＹ軸と交差してもよい。
【0103】
第１の波長選択領域７２は第１の波長を含む波長スペクトルを有する光線を通過させる。ここで、光線を通過させるとは、透過あるいは反射によって光線を物点から像点に向かわせることを意味する。一方、第１の波長選択領域７２は、第１の波長とは異なる第２の波長、第３の波長の光線を実質的に遮蔽する。ここで遮蔽とは、光線を通過させないことを意味する。つまり、光線を物点から像点に向かわせないことを意味する。第２の波長選択領域７４は第２の波長の光線を含む波長スペクトルを通過させるが、第１の波長、第３の波長の光線を実質的に遮蔽する。第３の波長選択領域７６は第３の波長の光線を含む波長スペクトルを通過させるが、第１の波長、第２の波長の光線を実質的に遮蔽する。このため、カラー開口２６の波長選択領域７２，７４，７６は、３つの異なる波長スペクトルの光を選択的に通過させる。
【0104】
例えば、第１の波長は４５０ｎｍの青光とし、第２の波長は６５０ｎｍの赤光とし、第３の波長は５５０ｎｍの緑光とする。ただし、これに限らず、各波長は何でもよい。
【0105】
イメージセンサー４４の各画素は少なくとも第１の波長の光線、第２の波長の光線、第３の波長の光線を受光できるとする。本実施形態では、イメージセンサー４４の各画素は赤、青、緑の３つの色チャンネルを備えるとする。つまり、波長４５０ｎｍの青光、波長６５０ｎｍの赤光、波長５５０ｎｍの緑光をそれぞれ独立な色チャンネルで受光できるとする。ただし、各色チャンネルは完全に独立である必要はなく、実質は、任意の色チャンネルにおいて感度が高い波長以外の波長にもわずかに感度を持っていてもよい。
【0106】
本実施形態では、カラー開口２６は、例えば＋Ｘ方向に向かって順に、第１の波長選択領域７２、第２の波長選択領域７４、第３の波長選択領域７６が並べられたものを１つのセットし、これが＋Ｘ方向に向かって複数セット並べられている。
【0107】
本実施形態の光学検査システム１０の動作原理について説明する。
【0108】
例えば、それぞれ平行光の光線Ｌａ，Ｌｂが図２４に示すように被写体Ｓの表面に照射されるとする。図２４において、物点Ｏａは鏡面で欠陥がなく、物点Ｏｂには光の波長にサイズが近いミクロンサイズの凹凸欠陥があるとする。このとき、物点Ｏａにおいて反射する光の方向分布（BRDF；Bidirectional Reflectance Distribution Function）は狭い分布を持つ。一方、物点ＯｂにおけるＢＲＤＦは広い分布を持つ。つまり、物点Ｏａと物点Ｏｂにおいて、それぞれ異なるＢＲＤＦを有する。
【0109】
照明光Ｌａによって物点Ｏａから反射光が生じる。物点Ｏａからの反射光は、カラー開口２６の例えば第２の波長選択領域７４のみを通過し、例えば、波長６５０ｎｍ（赤光）の波長スペクトルを有する光となる。又は、第１の波長選択領域７２及び第２の波長選択領域７４を通過し、例えば、波長４５０ｎｍ（青光）、及び、波長６５０ｎｍ（赤光）の波長スペクトルを有する光となる。そして、このような光が撮像部２４で撮像される。
【0110】
照明光Ｌｂによって物点Ｏｂから反射光が生じる。物点Ｏｂからの反射光は、カラー開口２６の第１の波長選択領域７２、第２の波長選択領域７４、第３の波長選択領域７６の例えば複数セットを通過する。このため、第１の波長選択領域７２を通過した光は、第１の波長の光（青光）となり、第２の波長選択領域７４を通過した光は、第２の波長の光（赤光）となり、第３の波長選択領域７６を通過した光は、第３の波長の光（緑光）となる。なお、物点Ｏｂからの反射光のうち、第１の波長選択領域７２に入射した第２の波長の光、第３の波長の光は遮光され、第２の波長選択領域７４に入射した第１の波長の光、第３の波長の光は遮光され、第３の波長選択領域７６に入射した第１の波長の光、第２の波長の光は遮光される。
【0111】
物点Ｏａからの反射光が結像光学素子４２に到達できれば、物点Ｏａは結像光学素子４２によって第１の像点Ｉａにうつされる。本実施形態では、物点Ｏｂからの反射光は結像光学素子４２に到達し、第２の像点Ｉｂにうつされる。
【0112】
しかし、１つの像を取得する場合、もし照明光Ｌａが照明光Ｌｂと同じ方向を向いている場合、物点Ｏａからの反射光は結像光学素子４２に到達できない。なぜならば、物点Ｏａと物点Ｏｂにおける被写体Ｓの表面の法線方向が異なり、照明方向と法線方向に応じて反射方向が決まるためである。つまり、被写体Ｓの表面の法線方向に応じて照明光の方向を適切に設定しないと反射光は結像光学素子４２に到達できない。反射光が結像光学素子４２に到達しなければ、物点Ｏａは画像に写らないことになる。このため、物点Ｏａからの反射光が結像光学素子４２に到達しなければ、１つの画像では、物点Ｏａの表面状態を検査することはできない。
【0113】
物点Ｏｂは結像光学素子４２によって第２の像点Ｉｂにうつされる。しかし、もし第照明光Ｌｂが照明光Ｌａと同じ方向を向いている場合、物点Ｏｂからの反射光は結像光学素子４２に到達できない。なぜならば、物点Ｏａと物点Ｏｂにおける被写体Ｓの表面の法線方向が異なり、照明方向と法線方向に応じて反射方向が決まるためである。つまり、被写体Ｓの表面の法線方向に応じて照明光の方向を適切に設定しないと反射光はレンズに到達できない。反射光が結像光学素子４２に到達しなければ、物点Ｏｂは画像に写らないことになる。このため、物点Ｏｂからの反射光が結像光学素子４２に到達しなければ、１つの画像では、物点Ｏｂの表面Ｓの状態を検査することはできない。
【0114】
以上により、それぞれ異なる法線方向を持つ物点Ｏａと物点Ｏｂに対し、異なる方向を有する照明光Ｌａ，Ｌｂを照射することにより、被写体Ｓの表面構成画像Ｉｓの一部となり得る１つの画像Ｉをそれぞれ取得することができる。
【0115】
したがって、処理装置１６は、第１実施形態で説明したように、複数枚の取得画像から、１枚の被写体Ｓの構成画像Ｉｓを構成する。
【0116】
第１の像点Ｉａでは、例えば赤光のみがイメージセンサー４４によって受光される。そのため、処理装置１６において、１種類の波長選択領域７４を光が通過したことが認識される。又は、第１の像点Ｉａでは、青光及び赤光がイメージセンサー４４によって受光される。そのため、処理装置１６において、２種類の波長選択領域７２，７４を光が通過したことが認識される。
【0117】
一方、第２の像点Ｉｂにおいて、青光、赤光、緑光が同時に受光される。そのため、処理装置１６において、３種類の波長選択領域７２，７４，７６を光が通過したことが認識される。このように、色の数を推定する処理を色数推定処理と呼ぶ。処理装置１６のプロセッサ５２は、色数推定処理により各像点Ｉａ，Ｉｂで受光した色数（色の数）を取得できる。
【0118】
被写体Ｓの表面構成画像Ｉｓは各画素で取得した色の数の情報を持っている。このため、処理装置１６は、各画素における色の数の情報に基づいて、画像処理を行うことで、欠陥部分として抽出することができる。本実施形態の例では、処理装置１６のプロセッサ５２が３つの色数を受光したと出力した場合、その受光位置に対応する物点に欠陥がある、と判断する。また、処理装置１６のプロセッサ５２が１つの色数のみを受光したと出力した場合、その受光位置に対応する物点には欠陥がない、と判断する。また、処理装置１６のプロセッサ５２が２つの色数を受光したと出力した場合、光が領域７２，７４の境界又は領域７４，７６の境界を通過する可能性があるため、その受光位置に対応する物点には欠陥がない、と判断する。
【0119】
被写体Ｓの表面性状・微小形状によってさまざまな方向に反射される光を一般的に散乱光と呼ぶ。すでに上述したように、散乱光の分布の広がりの程度はＢＲＤＦで表せる。また、色数が大きいＢＲＤＦは広がっており、色数が小さいほどＢＲＤＦは狭くなると考えられる。つまり、色数推定処理により、各像点における色数が取得できれば、各物点におけるＢＲＤＦの違いを識別できる。これにより、少なくとも２つの異なる波長選択領域７２，７４，７６を有するカラー開口２６を通過した被写体Ｓからの光を撮像して画像を取得し、その画像から光が通過した波長選択領域７２，７４，７６の数を推定する色数推定処理を行い、色数を取得し、色数に基づき、被写体Ｓの表面からの散乱光の方向分布を識別することができる。ＢＲＤＦは表面Ｓの性状・微小形状と相関があるため、本実施形態により、被写体Ｓの表面における各物点Ｏａ，Ｏｂの表面Ｓの性状・微小形状の違いを識別できるという効果がある。これにより、照明を分光することなく、処理装置１６は、非接触で被検体Ｓの表面の性状・微小形状（表面の状態）を識別できる。
【0120】
図２５には、プラスチック平板の表面にキズを付けた被写体Ｓの表面を、本実施形態に係る光学検査システム１０を用いて、適宜のフレームレートで撮影した像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５を取得し、並べたものを示す（ステップＳ１１）。処理装置１６は、これら像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５を第１実施形態で説明したようにシフトし、例えば足し合わせると、図２６に示す表面画像Ｉｓを得ることができる。すなわち、本実施形態では、図１４に示すフローに基づいて、各画像Ｉ１，Ｉ２，…，Ｉｎがこのような欠陥の有無の情報を持った状態で、適宜にシフトされ、被写体Ｓの少なくとも１つの表面画像Ｉｓが構成される（ステップＳ１２）。
【0121】
さらに、このような被写体Ｓの少なくとも１つの表面画像Ｉｓに基づいて、プロセッサ５２は、少なくとも１つの被写体表面画像Ｉｓに対して欠陥識別のための画像処理を施して被写体表面画像Ｉｓにおいて欠陥を抽出させた欠陥抽出画像Ｉｄを得る（ステップＳ１３）。プロセッサ５２は、欠陥識別のための画像処理を施すとき、少なくとも１つの被写体表面画像Ｉｓに対して、画像フィルタを畳み込んだ演算処理を行う。
【0122】
なお、例えば、物点Ｏａは鏡面であるから、物点Ｏａからの反射光は、狭い分布を持つＢＲＤＦとなる。この場合であっても、第１の波長選択領域７２と第２の波長選択領域７４との境界を通る場合、２色を持ってイメージセンサー４４に入射される場合がある。このため、カラー開口２６は、３つの領域を１つのセットとして形成されることが好適である。各領域７２，７４，７６の幅は同じであることが好適であるが、異なっていてもよい。
【0123】
このように、撮像部２４に多色のカラー開口（カラーフィルター）を設けると、曲面上で反射する光の方向分布（BRDF）に応じて撮影画像の色を変化させることができる。すなわちBRDF情報を色情報として取得することができ、これに基づいて被写体Ｓの表面における欠陥を識別することができる。
【0124】
具体的には、取得した画像の色情報に対して画像処理を施すことによって欠陥を検出する。画像処理は例えば直線検出やエッジ検出処理、周波数フィルタリング、キャニーフィルタリング、ラプラシアンフィルタリング、ガウシアンフィルタリング、DoG（Difference of Gaussian）処理等である。被写体Ｓの欠陥が検出できる画像処理であれば具体的な手法はなんでもよい。
【0125】
ここで、例として、プラスチック板の表面に存在するキズを、本実施形態の光学検査システム１０の光学検査装置１４で撮像した画像Ｉ１，Ｉ２，…，Ｉｎに基づく被写体Ｓの表面画像Ｉｓと、その画像Ｉｓに対して画像処理を施して欠陥を識別した欠陥識別画像Ｉｄを図２７に示す。画像処理には例としてDoG処理を用いた。図２６及び図２７を見れば明らかなように、取得画像からキズだけが鮮明化されたことがわかる。
【0126】
本実施形態に係る処理装置１６は、第１実施形態で説明したフロー（図１４参照）に基づいて複数枚の画像Ｉ１，Ｉ２，…，Ｉｎ（図２５参照）に基づいて１枚の構成画像Ｉｓ（図２６参照）を得た後で、欠陥を識別するための画像処理を施し欠陥識別画像Ｉｄ（図２７参照）を得た。処理装置１６は、被写体Ｓの表面画像Ｉｓを構成した後、被写体Ｓの表面画像Ｉｓに対して欠陥識別のための画像処理を施すことによって、実質的に画像処理は１枚の画像Ｉｓに対してのみ施せばよいことになるので計算にかかるコストを低減でき、結果として高速な検知が可能となる。また、処理装置１６が欠陥識別画像Ｉｄを得るためには、撮像部２４で撮像した複数枚の画像Ｉ１，Ｉ２，…，Ｉｎのすべてを処理装置１６で保持あるいは保存する必要は必ずしもない。すなわち、撮像部２４から処理装置１６へと順次転送される画像データに対し、第１実施形態で述べた、被写体Ｓの表面画像Ｉｓを保持していれば、欠陥識別画像Ｉｄを得ることができるため、処理装置１６は、順次転送される画像データすべてを処理装置１６の記憶装置５４で保持あるいは保存しなくてもよい。撮像部２４で得たすべての画像を保持あるいは保存しなくてよいということは、保持や保存にかかる処理コストを低減できるということである。また、処理装置１６は、処理コストが低減した分だけ高速な動作が可能になるという利点もある。
【0127】
本実施形態によれば、光学検査システム１０の光学検査装置１４は、被写体Ｓと撮像部２４との間に設けられるカラー開口２６を有する。カラー開口２６は、少なくとも１つの面内（ＺＸ平面）において、異なる波長スペクトルの光を選択的に通過させる少なくとも２つの波長選択領域７２，７４，７６を有する。撮像部２４（イメージセンサー４４）は、波長選択領域７２，７４，７６を通過する、異なる波長スペクトルの光を受光可能である。そして、処理装置１６（プロセッサ５２）は、撮像部２４で受光した波長スペクトルの光の色数に基づいて被写体Ｓの表面の欠陥を出力可能である。
【0128】
本実施形態によれば、種々の形状を有する被写体Ｓの表面の欠陥識別画像Ｉｄの構成に用いる処理装置１６、処理装置を有する光学検査システム１０、被写体Ｓの表面の欠陥識別画像Ｉｄの構成に用いる構成プログラムを提供することができる。
【0129】
【0130】
上述した第２実施形態に係る処理装置１６では、一旦、各撮像画像Ｉ１，Ｉ２，…，Ｉｎから被写体Ｓの表面構成画像Ｉｓ（図２６参照）を構成した後、処理装置１６がその被写体Ｓの表面構成画像Ｉｓを画像処理して、欠陥を抽出した１つの欠陥抽出画像Ｉｄ（図２７参照）を構成するものとした。
【0131】
図２８に示すように、処理装置１６は、画像Ｉ１，Ｉ２，…，Ｉｎを取得するごとに欠陥抽出画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎを構成し、これらを適宜に重ね合わせて被写体Ｓの１つの表面画像Ｉｓの構成を経ずに、１つの欠陥抽出画像Ｉｄを構成する。
【0132】
変形例に係る処理装置１６のプロセッサ５２は、図２９に示すフローに基づいて動作させる。
【0133】
処理装置１６はまず、複数の画像Ｉ１，Ｉ２，…，Ｉｎを取得する（ステップＳ３１）。処理装置１６は、複数の画像Ｉ１，Ｉ２，…，Ｉｎに対してそれぞれ、欠陥識別処理を施し、欠陥識別のための複数の一部構成画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎを得る（ステップＳ３２）。したがって、本変形例によれば、プロセッサ５２は、撮像画像Ｉ１，Ｉ２，…，Ｉｎに対して欠陥識別のための画像処理を施して撮像画像Ｉ１，Ｉ２，…，Ｉｎにおいて欠陥を抽出させる。また、プロセッサ５２は、欠陥識別のための画像処理を施すとき、撮像画像に対して、画像フィルタを畳み込んだ演算処理を行う。
【0134】
そして、処理装置１６は、得られた欠陥識別のための複数の一部構成画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎに対して適宜に画像をシフトさせて、例えば四則演算を行い、１枚の欠陥識別画像Ｉｄを得る（ステップＳ３３）。複数の画像Ｉ１，Ｉ２，…，Ｉｎにまたがって同一の欠陥が識別された場合、処理装置１６は、各画像Ｉ１，Ｉ２，…，Ｉｎから直接的に欠陥識別のための複数の一部構成画像（欠陥識別変換画像）Ｉｄ１，Ｉｄ２，…，Ｉｄｎを構成し、これらを例えば足し合わせて１枚の欠陥識別画像Ｉｄを得る際に、識別されたその欠陥の信号が重ね合わされ増大する効果がある。すなわち、処理装置１６は、欠陥識別がより頑健、高精度に実施できるという利点がある。
【0135】
本変形例によれば、被写体Ｓの表面の欠陥識別画像Ｉｄの構成に用いる処理装置１６は、それぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射したときに撮像部２４により所定のフレームレートで基準となる撮像画像Ｉ１を得ると、基準となる撮像画像Ｉ１に対して欠陥識別のための画像処理を施して、基準となる撮像画像Ｉ１に対応する基準欠陥識別画像（基準欠陥識別変換画像）Ｉｄ１を得るとともに、基準となる撮像画像Ｉ１に続く撮像画像Ｉ２，…を得ながらそれぞれに欠陥識別のための画像処理を施して撮像画像Ｉ２，…を欠陥識別画像（欠陥識別変換画像）Ｉｄ２，…とし、欠陥識別画像Ｉｄ２，Ｉｄ３，…のそれぞれをシフトさせて、基準欠陥識別画像Ｉｄ１に続く欠陥識別画像Ｉｄ２，Ｉｄ３，…を順に重ね合わせ、少なくとも１つの被写体Ｓの表面の欠陥識別画像Ｉｄを構成する、１又は複数のプロセッサ５２を有する。
本実施形態に係る、欠陥識別画像Ｉｄの構成方法は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射すること、被写体Ｓの表面を撮像部２４で撮像し、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像を得ること、複数枚の撮像画像Ｉ２，Ｉ３，…，Ｉｎに対して欠陥識別のための画像処理を施して、複数時間における複数枚の撮像画像Ｉ１，Ｉ２，…，Ｉｎの欠陥識別変換画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎを生成すること、複数枚の欠陥識別変換画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎから選択される１又は複数の欠陥識別変換画像Ｉｄ２，Ｉｄ３，…，Ｉｄｎをシフトさせて基準となる撮像画像Ｉ１に対応する基準欠陥識別変換画像Ｉｄ１に重ね合わせ、少なくとも１つの欠陥識別画像Ｉｄを構成することを含む。
言い換えると、本実施形態に係る、欠陥識別画像Ｉｄの構成プログラムは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射すること、被写体Ｓの表面を撮像部２４で撮像し、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像を得ること、複数枚の撮像画像Ｉ２，Ｉ３，…，Ｉｎに対して欠陥識別のための画像処理を施して、複数時間における複数枚の撮像画像Ｉ１，Ｉ２，…，Ｉｎの欠陥識別変換画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎを生成すること、複数枚の欠陥識別変換画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎから選択される１又は複数の欠陥識別変換画像Ｉｄ２，Ｉｄ３，…，Ｉｄｎをシフトさせて基準となる撮像画像Ｉ１に対応する基準欠陥識別変換画像Ｉｄ１に重ね合わせ、少なくとも１つの欠陥識別画像Ｉｄを構成すること１又は複数のプロセッサに実行させる。
本実施形態に係る、欠陥識別画像Ｉｄの構成方法は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射すること、被写体Ｓの表面を撮像部２４で撮像し、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像を得ること、複数枚の撮像画像Ｉ２，Ｉ３，…，Ｉｎに対して欠陥識別のための画像処理を施して、複数時間における複数枚の撮像画像Ｉ１，Ｉ２，…，Ｉｎの欠陥識別変換画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎを生成すること、複数枚の欠陥識別変換画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎから選択される１又は複数の欠陥識別変換画像Ｉｄ２，Ｉｄ３，…，Ｉｄｎをシフトさせて基準となる撮像画像Ｉ１に対応する基準欠陥識別変換画像Ｉｄ１に重ね合わせ、少なくとも１つの欠陥識別画像Ｉｄを構成することを含む。
言い換えると、本実施形態に係る、欠陥識別画像Ｉｄの構成プログラムは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を、照明光に対して相対的に移動する被写体Ｓの表面に照射すること、被写体Ｓの表面を撮像部２４で撮像し、基準となる撮像画像Ｉ１を含む複数時間における複数枚の撮像画像を得ること、複数枚の撮像画像Ｉ２，Ｉ３，…，Ｉｎに対して欠陥識別のための画像処理を施して、複数時間における複数枚の撮像画像Ｉ１，Ｉ２，…，Ｉｎの欠陥識別変換画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎを生成すること、複数枚の欠陥識別変換画像Ｉｄ１，Ｉｄ２，…，Ｉｄｎから選択される１又は複数の欠陥識別変換画像Ｉｄ２，Ｉｄ３，…，Ｉｄｎをシフトさせて基準となる撮像画像Ｉ１に対応する基準欠陥識別変換画像Ｉｄ１に重ね合わせ、少なくとも１つの欠陥識別画像Ｉｄを構成すること１又は複数のプロセッサに実行させる。
【0136】
本変形例によれば、種々の形状を有する被写体Ｓの表面の欠陥識別画像Ｉｄの構成に用いる処理装置１６、処理装置を有する光学検査システム１０、欠陥識別画像Ｉｄの構成方法、被写体Ｓの表面の欠陥識別画像Ｉｄの構成に用いる構成プログラムを提供することができる。
【0137】
（第３実施形態）
次に、第３実施形態に係る光学検査システム１０について、図３０から図３２を用いて説明する。本実施形態は第１実施形態及び第２実施形態に係る光学検査システム１０の変形例であって、第１実施形態及び第２実施形態で説明下部材と同一の部材又は同一の機能を有する部材には同一の符号を付し、詳しい説明を省略する。
本実施形態では、処理装置１６は、上述した被写体Ｓの表面構成画像Ｉｓの構成処理に加えて、又は、上述した被写体Ｓの表面構成画像Ｉｓの構成処理に代えて、被写体Ｓの表面の位置に応じた角度を推定する処理を行う例について説明する。ここでは被写体Ｓの表面構成画像Ｉｓの構成処理の説明は省略する。
次に、第３実施形態に係る光学検査システム１０について、図３０から図３２を用いて説明する。本実施形態は第１実施形態及び第２実施形態に係る光学検査システム１０の変形例であって、第１実施形態及び第２実施形態で説明下部材と同一の部材又は同一の機能を有する部材には同一の符号を付し、詳しい説明を省略する。
本実施形態では、処理装置１６は、上述した被写体Ｓの表面構成画像Ｉｓの構成処理に加えて、又は、上述した被写体Ｓの表面構成画像Ｉｓの構成処理に代えて、被写体Ｓの表面の位置に応じた角度を推定する処理を行う例について説明する。ここでは被写体Ｓの表面構成画像Ｉｓの構成処理の説明は省略する。
【0138】
図３０に示すように、例えば搬送部１２で搬送される被写体Ｓの表面からの正反射光は、被写体Ｓの表面の傾斜角度に応じて変化する。そして、ＺＸ平面内でのイメージセンサー４４への正反射光の入射位置は、被写体Ｓの表面のＸ軸に対する傾斜角度に応じて変化する。なお、図３０中、照明部２２の図示を省略する。
【0139】
ここで、図３１に示す光学検査装置１４を考える。図３１中の照明部３２からの光は、ＺＸ平面において、撮像部２４の光軸Ｃ上から光軸Ｃに沿って被写体Ｓの表面に向かう平行光であり、撮像部２４の光軸Ｃ上から＋ｘｏの位置で被写体Ｓの表面に向かう平行光であり、撮像部２４の光軸Ｃ上から－ｘｏの位置で被写体Ｓの表面に向かう平行光である。このため、照明部２２は、少なくとも１つの面内（ＺＸ平面内）においてそれぞれ異なる方向に向かう照明光を被写体Ｓの表面に照射する。
撮像部２４の結像光学素子４２と被写体Ｓの表面との距離をａｃとする。結像光学素子４２とＸ軸方向に沿う撮像部２４の視野Ｆの半分ｘ０とを結ぶ仮想的な線分と、撮像部２４の光軸と、のなす角度をθｃとする。
また、光源３２が撮像部２４の光軸上の点光源であるとする。光源３２と被写体Ｓの表面との距離をａｌとする。撮像部２４の光軸とＸ軸方向に沿う撮像部２４の視野Ｆの半分ｘ０とのなす角度をθｃとする。光源３２とＸ軸方向に沿う撮像部２４の視野Ｆの半分ｘ０とを結ぶ仮想的な線分と、撮像部２４の光軸と、のなす角度をθｌとする。
被写体Ｓの表面のある位置における傾斜角度θｓと、その位置で反射された光が画像上（イメージセンサー４４上）に写る画素位置ｎは次の関係式で表される。
θｓ＝１／２ｔａｎ－１｛ｘ０／ａｃ（２ｎ／ｎｍ－１）｝＋
１／２ｔａｎ－１｛ｘ０／ａｌ（２ｎ／ｎｍ－１）｝
このため、視野Ｆ内のうち、光がイメージセンサー４４に入力され、各撮像画像Ｉ１，Ｉ２，…，Ｉｎが得られた画素位置ｎが検出されると、ｘ０，ａｃ，ｎｍ，ａｌは光学検査装置１４から既知であるため、角度θｓが算出される。処理装置１６は、画素位置ｎを、各撮像画像Ｉ１，Ｉ２，…，Ｉｎの画素値、すなわち、明るさ等から判定することができる。このため、各撮像画像Ｉ１，Ｉ２，…，Ｉｎ上の画素位置ｎと被写体Ｓの表面の傾斜角度とが１対１に対応する。
撮像部２４の結像光学素子４２と被写体Ｓの表面との距離をａｃとする。結像光学素子４２とＸ軸方向に沿う撮像部２４の視野Ｆの半分ｘ０とを結ぶ仮想的な線分と、撮像部２４の光軸と、のなす角度をθｃとする。
また、光源３２が撮像部２４の光軸上の点光源であるとする。光源３２と被写体Ｓの表面との距離をａｌとする。撮像部２４の光軸とＸ軸方向に沿う撮像部２４の視野Ｆの半分ｘ０とのなす角度をθｃとする。光源３２とＸ軸方向に沿う撮像部２４の視野Ｆの半分ｘ０とを結ぶ仮想的な線分と、撮像部２４の光軸と、のなす角度をθｌとする。
被写体Ｓの表面のある位置における傾斜角度θｓと、その位置で反射された光が画像上（イメージセンサー４４上）に写る画素位置ｎは次の関係式で表される。
θｓ＝１／２ｔａｎ－１｛ｘ０／ａｃ（２ｎ／ｎｍ－１）｝＋
１／２ｔａｎ－１｛ｘ０／ａｌ（２ｎ／ｎｍ－１）｝
このため、視野Ｆ内のうち、光がイメージセンサー４４に入力され、各撮像画像Ｉ１，Ｉ２，…，Ｉｎが得られた画素位置ｎが検出されると、ｘ０，ａｃ，ｎｍ，ａｌは光学検査装置１４から既知であるため、角度θｓが算出される。処理装置１６は、画素位置ｎを、各撮像画像Ｉ１，Ｉ２，…，Ｉｎの画素値、すなわち、明るさ等から判定することができる。このため、各撮像画像Ｉ１，Ｉ２，…，Ｉｎ上の画素位置ｎと被写体Ｓの表面の傾斜角度とが１対１に対応する。
【0140】
なお、例えばθｓが０°近傍であり、被写体Ｓの表面がＸＹ平面に平行であり、照明光が撮像部２４の光軸上で、光軸に沿って被写体Ｓに照射される場合、各撮像画像Ｉ１，Ｉ２，…，Ｉｎ上の実視野Ｆの符号Ｏｂ（図３０参照）で示す位置に正反射光が入射される。被写体Ｓの表面の傾斜角度に応じて、被写体Ｓの表面からの反射光は、撮像部２４に入射される。傾斜面の法線方向が向かう方向に応じて、被写体Ｓの表面からの反射光は、撮像部２４のイメージセンサー４４のうち、＋Ｘ方向側に入射されるか、－Ｘ方向側に入入射されるか分かれる。例えば図３０に示す物点Ｏａで示す位置の傾斜面の例では、被写体Ｓの表面からの反射光は、撮像部２４のイメージセンサー４４のうち、＋Ｘ方向側に入射される。そして、物点Ｏａで示す位置の傾斜面の傾斜角度が大きいほど、被写体Ｓの表面からの反射光は、撮像部２４のイメージセンサー４４のうち、＋ｘｏに近い側に入射され、傾斜角度が小さいほど、被写体Ｓの表面からの反射光は、撮像部２４のイメージセンサー４４のうち、光軸Ｃに近い位置に入射される。
また、図示しないが、傾斜面が物点Ｏａに示す位置での向きとは反対向きである場合、被写体Ｓの表面からの反射光は、撮像部２４のイメージセンサー４４のうち、－Ｘ方向側に入射される。
また、図示しないが、傾斜面が物点Ｏａに示す位置での向きとは反対向きである場合、被写体Ｓの表面からの反射光は、撮像部２４のイメージセンサー４４のうち、－Ｘ方向側に入射される。
【0141】
第１実施形態で説明した光学検査装置１４を用いた図５から図２１に示す例のように、光学検査装置１４で搬送中の被写体Ｓの画像Ｉ１，Ｉ２，…，Ｉｎを複数枚撮影すると、傾斜角度や曲面の形状（傾斜角度）に応じて画像Ｉ１，Ｉ２，…，Ｉｎの写り方が変わる。つまり、搬送中の被写体Ｓを撮影して得た複数の画像Ｉ１，Ｉ２，…，Ｉｎは、被写体Ｓの元々の位置関係が必ずしも保たれていない。そして、この角度θｓに基づくと、得られた画像Ｉ１，Ｉ２，…，Ｉｎから被写体Ｓの表面の傾斜角度が推定される。すなわち、処理装置１６は、実際に得られた画像Ｉ１，Ｉ２，…，Ｉｎに基づいて、被写体Ｓの表面の傾斜角を推定することができる。
【0142】
したがって、図３２に示すように、処理装置１６のプロセッサ５２は、例えば、搬送部１２で被写体Ｓを搬送しながら、被写体Ｓの位置によって異なる入射角の照明光を照射した画像を取得する（ステップＳ４１）。このときの取得された画像Ｉ１，Ｉ２，…，Ｉｎは、被写体Ｓの表面の角度情報をそれぞれ含む。
【0143】
そして、処理装置１６のプロセッサ５２は、各画像Ｉ１，Ｉ２，…，Ｉｎに基づいて、被写体Ｓの表面の傾斜角度を出力（推定）する（ステップＳ４２）。このため、本実施形態に係る光学検査システム１０により、例えば被写体Ｓの表面の角度を推定することができる。これにより、処理装置１６のプロセッサ５２は、例えば被写体Ｓの表面に存在し得るキズとともに、被写体Ｓの表面が所望の形状に形成されているか、推定することができる。
【0144】
したがって、本実施形態に係る、被写体Ｓの表面の角度推定方法は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を被写体Ｓの表面に照射すること、被写体Ｓの表面を撮像部２４で撮像し、撮像画像Ｉ１，Ｉ２，…，Ｉｎを得るとともに、撮像画像Ｉ１，Ｉ２，…，Ｉｎにおける光が入射された画素の位置を特定すること、光が入射された画素の位置に基づいて、撮像画像Ｉ１，Ｉ２，…，Ｉｎに写る被写体Ｓの表面の傾斜角度を推定することを含む。
【0145】
本実施形態に係る、被写体Ｓの表面の傾斜角度の推定プログラムは、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を被写体Ｓの表面に照射したときに撮像部２４により得た撮像画像Ｉ１，Ｉ２，…，Ｉｎのうち、光が入射された画素の位置に基づいて、撮像画像Ｉ１，Ｉ２，…，Ｉｎに写る被写体Ｓの表面の傾斜角度を推定する処理を１又は複数のプロセッサ５２に実行させる。
【0146】
本実施形態に係る、被写体Ｓの表面の傾斜角度を算出するための処理装置１６は、少なくとも１つの面内においてそれぞれ異なる方向に向かう照明光を被写体Ｓの表面に照射したときに撮像部２４により得た撮像画像Ｉ１，Ｉ２，…，Ｉｎのうち、光が入射された画素の位置に基づいて、撮像画像Ｉ１，Ｉ２，…，Ｉｎに写る被写体Ｓの表面の傾斜角度を推定する、１又は複数のプロセッサ５２を有する。
【0147】
そして、実施形態によれば、撮像部２４と被写体Ｓの表面との距離をａｃとし、撮像部２４と被写体Ｓの搬送方向に沿う撮像部２４の視野Ｆの半分をｘ０とし、照明光の光源３２が撮像部２４の光軸Ｃ上の点光源であるとするとき、光源３２と被写体Ｓの表面との距離をａｌとし、被写体Ｓの表面のある位置における傾斜角度をθｓとし、撮像部２４が被写体Ｓの搬送方向に沿う画素数をｎｍ＋１（ｎｍは自然数）とし、撮像部２４で撮像される像のうち、被写体Ｓの表面からの光が入射される位置の画素位置をｎとするとき、プロセッサ５２は、θｓ＝１／２ｔａｎ－１｛ｘ０／ａｃ（２ｎ／ｎｍ－１）｝＋１／２ｔａｎ－１｛ｘ０／ａｌ（２ｎ／ｎｍ－１）｝に基づいて被写体Ｓの表面の傾斜角度を推定する。
【0148】
本実施形態によれば、被写体Ｓの表面の角度推定方法、及び、被写体Ｓの表面の傾斜角度の推定プログラムを提供することができる。
【0149】
以上述べた少なくともひとつの実施形態によれば、種々の形状を有する被写体表面の状態を把握するための処理を行う、又は、被写体表面の欠陥識別画像の構成に用いる処理装置、処理装置を有する光学検査システム、被写体表面画像の構成方法、欠陥識別画像の構成方法、被写体表面画像の構成プログラム、被写体表面の角度推定方法、及び、被写体表面の傾斜角度の推定プログラムを提供することができる。
【0150】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0151】
１０…光学検査システム、１２…搬送部、１４…光学検査装置、１６…処理装置、２２…照明部、２４…撮像部、３２…光源、３４…ハーフミラー（ビームスプリッター）、３６…照明レンズ、４２…結像光学素子、４４…イメージセンサー、５２…プロセッサ、５４…記憶装置、Ｉ１，Ｉ２，…，Ｉｎ…撮像画像、Ｉｓ…表面構成画像、Ｓ…被写体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
