2024-17225 検査システムおよび検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024017225

(43)【公開日】2024-02-08

(54)【発明の名称】検査システムおよび検査方法

(51)【国際特許分類】

   G06T 7/586 20170101AFI20240201BHJP

   G01N 21/88 20060101ALI20240201BHJP

   G06T 7/00 20170101ALI20240201BHJP

【ＦＩ】

G06T7/586

G01N21/88 J

G06T7/00 610Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022119728

(22)【出願日】2022-07-27

(71)【出願人】

【識別番号】000006932

【氏名又は名称】リコーエレメックス株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】太田 寛史

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AB01

2G051AB02

2G051BB20

2G051BC04

2G051CA04

2G051CB01

2G051EA08

2G051EA12

2G051EA14

2G051EA16

2G051ED04

5L096AA03

5L096AA06

5L096BA03

5L096CA04

5L096CA17

5L096DA02

5L096EA16

5L096FA08

5L096FA17

5L096FA34

5L096FA67

5L096FA69

5L096GA02

5L096GA05

5L096GA07

5L096GA55

5L096GA59

5L096HA01

(57)【要約】      （修正有）

【課題】検査システムにおいて、少ない計算コストで特徴量を算出する方法を提供する。
【解決手段】検査システムは、検査対象物に対して複数種類の照明方法によって光を照射する照明部である照明装置１２０と、前記照明部による複数種類の照明方法の切り替えに合わせて撮像を行う撮像部である時間相関カメラ１１０から、少なくとも、第１データと、第２データと、を含む複数のデータを取得する取得部１０４及び画素ごとの所定の特徴量を算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いた処理を行い、そのときに、前記第１データと前記第２データとを用いた行列による演算を行うことにより、前記着目画素の前記特徴量を算出する算出部１０５を含むＰＣ１００と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

検査対象物に対して複数種類の照明方法によって光を照射する照明部と、
前記照明部による複数種類の照明方法の切り替えに合わせて撮像を行う撮像部から、少なくとも、第１データと、第２データと、を含む複数のデータを取得する取得部と、
画素ごとの所定の特徴量を算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いた処理を行い、そのときに、前記第１データと前記第２データとを用いた行列による演算を行うことにより、前記着目画素の前記特徴量を算出する算出部と、
を備える検査システム。

【請求項2】

前記照明部は、前記検査対象物に対して周期的に空間的に強度が変化する光を照射し、
前記取得部は、前記撮像部である時間相関カメラから、複素時間相関画像データのうち、前記第１データとして、実数部を表す第１画素値を取得し、前記第２データとして、虚数部を表す第２画素値を取得し、
前記算出部は、前記画素ごとの前記特徴量として位相勾配を算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いた一次微分フィルタ処理を行い、そのときに、振幅画素値と位相画素値の積を表す行列であって前記第１画素値と前記第２画素値とを用いた行列による演算を行うことにより、前記着目画素の位相勾配を算出する、請求項１に記載の検査システム。

【請求項3】

前記照明部は、前記検査対象物に対して周期的に空間的に強度が変化する光を照射し、
前記取得部は、前記撮像部である時間相関カメラから、複素時間相関画像データのうち、前記第１データとして、実数部を表す第１画素値を取得し、前記第２データとして、虚数部を表す第２画素値を取得し、
前記算出部は、前記画素ごとの前記特徴量として位相ラプラシアンを算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いたラプラシアンフィルタ処理を行い、そのときに、振幅画素値と位相画素値の積を表す行列であって前記第１画素値と前記第２画素値とを用いた行列による演算を行うことにより、前記着目画素の位相ラプラシアンを算出する、請求項１に記載の検査システム。

【請求項4】

前記算出部は、前記位相勾配に基づいて、それぞれの前記画素について位相曲面の接平面を接続することで位相画像を算出する、請求項２に記載の検査システム。

【請求項5】

検査対象物に対して複数種類の照明方法によって光を照射する照明部を備える検査システムによる検査方法であって、
前記照明部による複数種類の照明方法の切り替えに合わせて撮像を行う撮像部から、少なくとも、第１データと、第２データと、を含む複数のデータを取得する取得ステップと、
画素ごとの所定の特徴量を算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いた処理を行い、そのときに、前記第１データと前記第２データとを用いた行列による演算を行うことにより、前記着目画素の前記特徴量を算出する算出ステップと、
を含む検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、検査システムおよび検査方法に関する。

【背景技術】

【0002】

従来から、例えば、検査対象物に対して周期的に空間的に強度が変化する光を照射し、検査対象物の表面からの反射光を撮像して撮像画像を取得し、撮像画像の輝度変化等に基づいて検査対象物の異常を検出する技術が提案されている。

【0003】

例えば、位相シフト法の場合、時間相関カメラから取得した複素時間相関画像データに基づいて、複素画像（位相画像や振幅画像）を算出した後に、位相勾配や位相ラプラシアンなどの特徴量を算出し、特徴量に基づいて検査対象物の異常を検知する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６４３３２６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の従来技術では、位相勾配や位相ラプラシアンなどの特徴量を算出するのに、複素時間相関画像データに基づいて複素画像を算出する必要があり、計算コストの点などで改善の余地がある。

【0006】

そこで、本実施形態の課題は、少ない計算コストで特徴量を算出することができる検査システムおよび検査方法を提供することである。

【課題を解決するための手段】

【0007】

実施形態の検査システムは、検査対象物に対して複数種類の照明方法によって光を照射する照明部と、前記照明部による複数種類の照明方法の切り替えに合わせて撮像を行う撮像部から、少なくとも、第１データと、第２データと、を含む複数のデータを取得する取得部と、画素ごとの所定の特徴量を算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いた処理を行い、そのときに、前記第１データと前記第２データとを用いた行列による演算を行うことにより、前記着目画素の前記特徴量を算出する算出部と、を備える。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態の検査システムの構成例を示した図である。

【図2】図２は、実施形態の時間相関カメラの構成を示したブロック図である。

【図3】図３は、実施形態の時間相関カメラで時系列順に蓄積されたフレームを表した概念図である。

【図4】図４は、実施形態の照明装置が照射する縞パターンの一例を示した図である。

【図5】図５は、実施形態の時間相関カメラによる、検査対象物の異常の第１の検出例を示した図である。

【図6】図６は、図５に示される異常が検査対象物にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。

【図7】図７は、実施形態の時間相関カメラによる、検査対象物の異常の第２の検出例を示した図である。

【図8】図８は、実施形態の時間相関カメラによる、検査対象物の異常の第３の検出例を示した図である。

【図9】図９は、実施形態の照明制御部が照明装置に出力する縞パターンの例を示した図である。

【図10】図１０は、実施形態のスクリーンを介した後の縞パターンを表した波の形状の例を示した図である。

【図11】図１１は、一次元の場合の中心差分の説明図である。

【図12】図１２は、二次元の場合の中心差分の例の説明図である。

【図13】図１３は、従来技術の位相中心差分の計算の説明図である。

【図14】図１４は、実施形態の位相勾配の計算の説明図である。

【図15】図１５は、従来技術の位相ラプラシアンの計算の説明図である。

【図16】図１６は、実施形態の位相ラプラシアンの計算の説明図である。

【図17】図１７は、実施形態の撮像画像の例を示す図である。

【図18】図１８は、実施形態の位相勾配画像の例を示す図である。

【図19】図１９は、従来技術と実施形態の位相画像の例を示す図である。

【図20】図２０は、実施形態の位相ラプラシアン画像の例を示す図である。

【図21】図２１は、実施形態における勾配接続の説明図である。

【図22】図２２は、実施形態の位相畳み込み算出の説明図である。

【図23】図２３は、実施形態における位相とガウシアン平坦化位相の差の説明図である。

【図24】図２４は、図２３の手法で算出した画像の例を示す図である。

【図25】図２５は、実施形態における位相勾配算出処理を示すフローチャートである。

【図26】図２６は、実施形態における位相ラプラシアン算出処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の検査システムおよび検査方法の実施形態について説明する。なお、以下の実施形態では、位相シフト法を使う場合について説明するが、本発明はこれに限定されない。

【0010】

実施形態の概要を説明すると、まず、図１～図１０を用いて、位相シフト法における従来からの強度画像、振幅画像、位相画像の生成などについて説明する。その後で、図１１～図２６を用いて、少ない計算コストで特徴量（位相勾配、位相ラプラシアン）を算出する技術について説明する。

【0011】

実施形態の検査システムは、検査対象物を検査するために様々な構成を備えている。図１は、本実施形態の検査システムの構成例を示した図である。図１に示されるように、本実施形態の検査システムは、ＰＣ１００と、時間相関カメラ１１０（撮像部）と、照明装置１２０と、スクリーン１３０と、アーム１４０と、を備えている。

【0012】

アーム１４０は、検査対象物１５０（以下、「被検体」ともいう。）を固定するために用いられ、ＰＣ１００からの制御に応じて、時間相関カメラ１１０が撮影可能な検査対象物１５０の表面の位置と向きを変化させる。

【0013】

照明装置１２０は、検査対象物１５０に対して周期的に空間的に強度が変化する光を照射する。具体的には、照明装置１２０は、ＰＣ１００からの縞パターンにしたがって、照射する光の強度を領域単位で制御する。また、照明装置１２０は、周期的な時間の遷移にしたがって当該領域単位の光の強度を制御できる。換言すれば、照明装置１２０は、光の強度の周期的な時間変化及び空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。

【0014】

スクリーン１３０は、照明装置１２０から出力された光を拡散させた上で、検査対象物１５０に対して面的に光を照射する。本実施形態のスクリーン１３０は、照明装置１２０から入力された周期的な時間変化及び空間変化が与えられた光を、面的に検査対象物１５０に照射する。なお、照明装置１２０とスクリーン１３０との間には、集光用のフレネルレンズ等の光学系部品（図示されず）が設けられてもよい。

【0015】

なお、本実施形態は、照明装置１２０とスクリーン１３０とを組み合わせて、光強度の周期的な時間変化及び空間変化を与える面的な照射部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、ＬＥＤを面的に配置して照明部を構成してもよい。また、市販のモニターやテレビなどの一般的なディスプレイによって照明部を構成してもよい。

【0016】

時間相関カメラ１１０は、光学系２１０と、イメージセンサ２２０と、データバッファ２３０と、制御部２４０と、参照信号出力部２５０と、を備えている。図２は、本実施形態の時間相関カメラ１１０の構成を示したブロック図である。時間相関カメラ１１０は、照明部による複数種類の照明方法の切り替えに合わせて撮像を行う撮像部の例である。

【0017】

なお、本実施形態では、位相シフト法を前提にしているので、照明部が検査対象物に対して周期的に空間的に強度が変化する光を照射し、時間相関カメラ１１０が検査対象物を撮像する。

【0018】

一方、位相シフト法以外であれば、照明部が検査対象物に対して複数種類の照明方法によって光を照射し、撮像部は照明部による複数種類の照明方法の切り替えに合わせて検査対象物の撮像を行う。具体的には、例えば、照明部として２つのＬＥＤ照明を用意して検査対象物に対して異なる位置（角度）に設置する。そして、片方のＬＥＤ照明を点灯させたときにカメラで撮像した画素値をＣ１とし、他方のＬＥＤ照明を点灯させたときにカメラで撮像した画素値をＣ２とすることが考えられる。

【0019】

また、別の手法として、例えば、各相対位置(k=0,1,2,…,n)で撮像した画素値をn+1次元のベクトルとして扱い、これを本出願人が出願した特開２０２１－１７４０７４号公報の請求項３における第２ベクトルとし、同公報の方法に従って第２ベクトルを粗視化（簡略化）することで得られる第１ベクトルとのなす角Φを用いて、(sinΦ,cosΦ)を(C1,C2)とすることが考えられる。

【0020】

本実施形態の説明に戻って、光学系２１０は、撮影レンズ等を含み、時間相関カメラ１１０の外部の被写体（検査対象物を含む）からの光束を透過し、その光束により形成される被写体の光学像を結像させる。

【0021】

イメージセンサ２２０は、照明装置１２０によって照射された光が検査対象物１５０の表面で反射することで発生した反射光を含む光を、光学系２１０を介して撮像する。具体的には、イメージセンサ２２０は、光学系２１０を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサである。

【0022】

本実施形態の光強度信号は、検査システムの照明装置１２０が被写体（検査対象物を含む）に対して光を照射し、当該被写体からの反射光を、イメージセンサ２２０が受け取ったものである。

【0023】

イメージセンサ２２０は、例えば従来のものと比べて高速に読み出し可能なセンサであり、行方向（ｘ方向）、列方向（ｙ方向）の２種類の方向に画素が配列された２次元平面状に構成されたものとする。そして、イメージセンサ２２０の各画素を、画素Ｐ（１，１），……，Ｐ（ｉ，ｊ），……，Ｐ（Ｘ，Ｙ）とする（なお、本実施形態の画像サイズをＸ×Ｙとする。）。なお、イメージセンサ２２０の読み出し速度を制限するものではなく、従来と同様であってもよい。

【0024】

イメージセンサ２２０は、光学系２１０によって透過された、被写体（検査対象物を含む）からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号（撮影信号）で構成される、２次元平面状のフレームを生成し、制御部２４０に出力する。本実施形態のイメージセンサ２２０は、読み出し可能な単位時間毎に、当該フレームを出力する。

【0025】

本実施形態の制御部２４０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成され、ＲＯＭに格納された検査プログラムを実行することで、転送部２４１と、読出部２４２と、強度画像用重畳部２４３と、第１の乗算器２４４と、第１の相関画像用重畳部２４５と、第２の乗算器２４６と、第２の相関画像用重畳部２４７と、画像出力部２４８と、を実現する。なお、ＣＰＵ等で実現することに制限するものではなく、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ(Graphics Processing Unit)などで実現してもよい。

【0026】

転送部２４１は、イメージセンサ２２０から出力された、光強度信号で構成されたフレームを、データバッファ２３０に、時系列順に蓄積する。

【0027】

データバッファ２３０は、イメージセンサ２２０から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。

【0028】

図３は、本実施形態の時間相関カメラ１１０で時系列順に蓄積されたフレームを表した概念図である。図３に示されるように、本実施形態のデータバッファ２３０には、時刻ｔ（ｔ＝ｔ０，ｔ１，ｔ２，……，ｔｎ）毎の複数の光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）の組み合わせで構成された複数のフレームＦｋ（ｋ＝１，２，……，ｎ）が、時系列順に蓄積される。なお、時刻ｔで作成される一枚のフレームは、光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）で構成される。

【0029】

本実施形態の光強度信号（撮像信号）Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）には、フレーム画像Ｆｋ（ｋ＝１，２，……，ｎ）を構成する各画素Ｐ（１，１），……，Ｐ（ｉ，ｊ），……，Ｐ（Ｘ，Ｙ）が対応づけられている。

【0030】

イメージセンサ２２０から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、本実施形態は、解像度、感度、及びコスト等を考慮して、イメージセンサ２２０がモノクロの画像データを生成する例について説明するが、イメージセンサ２２０としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いてもよい。

【0031】

図２に戻り、本実施形態の読出部２４２は、データバッファ２３０から、光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）をフレーム単位で、時系列順に読み出して、第１の乗算器２４４と、第２の乗算器２４６と、強度画像用重畳部２４３と、に出力する。

【0032】

本実施形態の時間相関カメラ１１０は、読出部２４２の出力先毎に画像データを生成する。換言すれば、時間相関カメラ１１０は、３種類の画像データを作成する。

【0033】

本実施形態の時間相関カメラ１１０は、３種類の画像データとして、強度画像データと、２種類の時間相関画像データと、を生成する。なお、本実施形態は、３種類の画像データを生成することに制限するものではなく、強度画像データを生成しない場合や、１種類又は３種類以上の時間相関画像データを生成する場合も考えられる。

【0034】

本実施形態のイメージセンサ２２０は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮影に必要な露光時間分の光強度信号が必要になる。そこで、本実施形態では、強度画像用重畳部２４３が、撮影に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値（光の強度を表す値）Ｇ（ｘ，ｙ）は、以下に示す式（１）から導き出すことができる。なお、露光時間は、ｔ０とｔｎの時間差とする。

【0035】

【数1】

【0036】

これにより、従来のカメラの撮影と同様に、被写体（検査対象物を含む）が撮影された強度画像データが生成される。そして、強度画像用重畳部２４３は、生成した強度画像データを、画像出力部２４８に出力する。

【0037】

時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、本実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号と乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。

【0038】

ところで、時間相関画像データを用いて、検査対象物の異常を検出するためには、イメージセンサ２２０に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このために、照明装置１２０が、上述したように、スクリーン１３０を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うこととした。

【0039】

本実施形態では、２種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、本実施形態では、複素正弦波ｅ^-jωt（後述するｃｏｓ（ωｔ）、ｓｉｎ（ωｔ））を用いる。なお、角周波数ω、時刻ｔとする。参照信号を表す複素正弦波ｅ^-jωtが、上述した露光時間（換言すれば強度画像データ、時間相関画像を生成するために必要な時間）の一周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置１２０およびスクリーン１３０等の照明部によって形成された面的かつ動的な光は、検査対象物１５０の表面（反射面）の各位置で第一の周期（時間周期）での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第二の周期（空間周期）での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック（法線ベクトルの分布等）に応じて複素変調される。時間相関カメラ１１０は、表面で複素変調された光を受光し、第一の周期の参照信号を用いて直交検波（直交復調）することにより、複素信号としての時間相関画像データを得る。このような複素時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。

【0040】

複素正弦波ｅ^-jωtは、ｅ^-jωt＝ｃｏｓ（ωｔ）－ｊ・ｓｉｎ（ωｔ）と表すこともできる。したがって、時間相関画像データの各画素値Ｃ（ｘ，ｙ）は、以下に示す式（２）から導き出すことができる。

【0041】

【数2】

【0042】

本実施形態では、式（２）において、実数部を表す画素値Ｃ１（ｘ，ｙ）（第１画素値）と、虚数部を表す画素値Ｃ２（ｘ，ｙ）（第２画素値）と、に分けて２種類の時間相関画像データを生成する。

【0043】

このため、参照信号出力部２５０は、第１の乗算器２４４と、第２の乗算器２４６と、に対してそれぞれ異なる参照信号を生成し、出力する。本実施形態の参照信号出力部２５０は、複素正弦波ｅ^-ｊωtの実数部に対応する第１の参照信号ｃｏｓωｔを第１の乗算器２４４に出力し、複素正弦波ｅ^-jωtの虚数部に対応する第２の参照信号ｓｉｎωｔを第２の乗算器２４６に出力する。このように本実施形態の参照信号出力部２５０は、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される２種類の参照信号を出力する例について説明するが、参照信号は時間関数のような時間遷移に応じて変化する参照信号であればよい。

【0044】

そして、第１の乗算器２４４は、読出部２４２から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部２５０から入力された複素正弦波ｅ^-jωtの実数部ｃｏｓωｔを乗算する。

【0045】

第１の相関画像用重畳部２４５は、撮影に必要な露光時間分の複数のフレームについて、第１の乗算器２４４の乗算結果を画素毎に重畳する処理を行う。これにより、第１の時間相関画像データの各画素値Ｃ１（ｘ，ｙ）が、以下の式（３）から導出される。

【0046】

【数3】

【0047】

そして、第２の乗算器２４６は、読出部２４２から入力されたフレームの光強度信号に対して、参照信号出力部２５０から入力された複素正弦波ｅ^-jωtの虚数部ｓｉｎωｔを乗算する。

【0048】

第２の相関画像用重畳部２４７は、撮影に必要な露光時間分の複数のフレームについて、第２の乗算器２４６の乗算結果を画素毎に重畳する処理を行う。これにより、第２の時間相関画像データの各画素値Ｃ２（ｘ、ｙ）が、以下の式（４）から導出される。

【0049】

【数4】

【0050】

上述した処理を行うことで、２種類の時間相関画像データ、換言すれば２自由度を有する時間相関画像データを生成できる。

【0051】

また、本実施形態は、参照信号の種類を制限するものでない。例えば、本実施形態では、複素正弦波ｅ^-jωtの実部と虚部の２種類の時間相関画像データを作成するが、光の振幅と、光の位相と、による２種類の画像データを生成してもよい。

【0052】

なお、本実施形態の時間相関カメラ１１０は、時間相関画像データとして、複数系統分作成可能とする。これにより、例えば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる２種類の時間相関画像データを、縞の幅毎に作成可能とする。このために、時間相関カメラ１１０は、２個の乗算器と２個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部２５０は、系統毎に適した角周波数ωによる参照信号を出力可能とする。

【0053】

そして、画像出力部２４８が、２種類の時間相関画像データと、強度画像データと、をＰＣ１００に出力する。これにより、ＰＣ１００が、２種類の時間相関画像データと、強度画像データと、を用いて、検査対象物の異常を検出する。そのためには、被写体に対して光を照射する必要がある。

【0054】

本実施形態の照明装置１２０は、高速に移動する縞パターンを照射する。図４は、本実施形態の照明装置１２０が照射する縞パターンの一例を示した図である。図４に示す例では、縞パターンをｘ方向にスクロール（移動）させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域（暗領域）である。

【0055】

本実施形態では、時間相関カメラ１１０が強度画像データ及び時間相関画像データを撮影する露光時間で、照明装置１２０が照射する縞パターンが一周期分移動させる。これにより、照明装置１２０は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。本実施形態では、図４の縞パターンが一周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン一周期分の光の強度信号に関する情報が埋め込まれる。

【0056】

図４に示されるように、本実施形態では、照明装置１２０が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。本実施形態では、照明装置１２０がスクリーン１３０を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。

【0057】

本実施形態では、照明装置１２０が照射する縞パターンをＡ（１＋cos（ωｔ＋ｋｘ））と表す。すなわち、縞パターンには、複数の縞が反復的に（周期的に）含まれる。なお、検査対象物に照射される光の強度は０～２Ａの間で調整可能とし、光の位相ｋｘとする。ｋは、縞の波数である。ｘは、位相が変化する方向である。

【0058】

そして、フレームの各画素の光強度信号ｆ（ｘ，ｙ，ｔ）の基本周波数成分は、以下の式（５）として表すことができる。式（５）で示されるように、ｘ方向で縞の明暗が変化する。

【0059】

ｆ（ｘ，ｙ，ｔ）＝Ａ（１＋ｃｏｓ（ωｔ＋ｋｘ））
＝Ａ＋Ａ／２｛ｅ^j(ωt+kx)＋ｅ-^j(ωt+kx)｝……（５）

【0060】

式（５）で示されるように、照明装置１２０が照射する縞パターンの強度信号は、複素数として扱うことができる。

【0061】

そして、イメージセンサ２２０には、当該照明装置１２０からの光が被写体（検査対象物を含む）から反射して入力される。

【0062】

したがって、イメージセンサ２２０に入力される光強度信号Ｇ（ｘ，ｙ，ｔ）を、照明装置１２０が照射された際のフレームの各画素の光強度信号ｆ（ｘ，ｙ，ｔ）とできる。そこで、強度画像データを導出するための式（１）に式（５）を代入すると、式（６）を導出できる。なお、位相ｋｘとする。

【0063】

【数5】

【0064】

式（６）から、強度画像データの各画素には、露光時間Ｔに、照明装置１２０が出力している光の強度の中間値Ａを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式（２）に式（５）を代入すると、式（７）を導出できる。なお、ＡＴ／２を振幅とし、ｋｘを位相とする。

【0065】

【数6】

【0066】

これにより、式（７）で示された複素数で示された時間相関画像データは、上述した２種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、検査体に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、本実施形態のＰＣ１００は、２種類の時間相関画像データに基づいて、照明装置１２０から照射された光の位相変化と、光の振幅変化と、を検出できる。そこで、本実施形態のＰＣ１００が、時間相関画像データ及び強度画像データに基づいて、画素毎に入る光の振幅を表した振幅画像データと、画素毎に入る光の位相変化を表した位相画像データと、を生成する。

【0067】

さらに、ＰＣ１００は、生成した振幅画像データと位相画像データとに基づいて、検査対象物の異常を検出する。

【0068】

ところで、検査対象物の表面形状に凹凸に基づく異常が生じている場合、検査対象物の表面の法線ベクトルの分布には異常に対応した変化が生じている。また、検査対象物の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化及び振幅変化のうち少なくともいずれか一つとして検出される。そこで、本実施形態では、時間相関画像データ及び強度画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化及び振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常を検出可能となる。次に、検査対象物の異常、法線ベクトル、及び光の位相変化又は振幅変化の関係について説明する。

【0069】

図５は、実施形態の時間相関カメラ１１０による、検査対象物の異常の第１の検出例を示した図である。図５に示される例では、検査対象物５００に突形状の異常５０１がある状況とする。当該状況においては、異常５０１の点５０２の近傍領域においては、法線ベクトル５２１、５２２、５２３が異なる方向を向いていることを確認できる。そして、当該法線ベクトル５２１、５２２、５２３が異なる方向を向いていることで、異常５０１から反射した光に拡散（例えば、光５１１、５１２、５１３）が生じ、時間相関カメラ１１０のイメージセンサ２２０の任意の画素５３１に入る縞パターンの幅５０３が広くなる。

【0070】

図６は、図５に示される異常５０１が検査対象物５００にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図６に示される例では、光の振幅を実部（Ｒｅ）と、虚部（Ｉｍ）に分けて２次元平面上に表している。図６では、図５の光５１１、５１２、５１３に対応する光の振幅６１１、６１２、６１３として示している。そして、光の振幅６１１、６１２、６１３は互いに打ち消し合い、イメージセンサ２２０の当該任意の画素５３１には、振幅６２１の光が入射する。

【0071】

したがって、図６に示される状況で、検査対象物５００の異常５０１が撮像された領域で振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像データで、周囲と比べて暗くなっている領域がある場合に、当該領域で光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する検査対象物５００の位置で異常５０１が生じていると判断できる。

【0072】

本実施形態の検査システムは、図５の異常５０１のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図７は、実施形態の時間相関カメラ１１０による、検査対象物の異常の第２の検出例を示した図である。図７に示される例では、正常な場合は検査対象物の表面が平面（換言すれば法線が平行）となるが、検査対象物７００に緩やかな勾配７０１が生じた状況とする。このような状況においては、勾配７０１上の法線ベクトル７２１、７２２、７２３も同様に緩やかに変化する。したがって、イメージセンサ２２０に入力する光７１１、７１２、７１３も少しずつずれていく。図７に示される例では、緩やかな勾配７０１のために光の振幅の打ち消し合いは生じないため、図５、図６で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン１３０から投影された光が、そのままイメージセンサに平行に入るはずが、緩やかな勾配７０１のために、スクリーン１３０から投影された光が平行の状態でイメージセンサに入らないために、光に位相変化が生じる。したがって、光の位相変化について、周囲等との違いを検出することで、図７に示したような緩やかな勾配７０１による異常を検出できる。

【0073】

また、検査対象物の表面形状（換言すれば、検査対象物の法線ベクトルの分布）以外にも異常が生じる場合がある。図８は、実施形態の時間相関カメラ１１０による、検査対象物の異常の第３の検出例を示した図である。図８に示される例では、検査対象物８００に汚れ８０１が付着しているため、照明装置１２０から照射された光が吸収あるいは拡散反射し、時間相関カメラ１１０の、汚れ８０１を撮影している任意の画素領域では光がほとんど強度変化しない例を表している。換言すれば、汚れ８０１を撮影している任意の画素領域では、光強度は位相打ち消しを起こし振動成分がキャンセルされ、ほとんど直流的な明るさになる例を示している。

【0074】

このような場合、汚れ８０１を撮影している画素領域においては、光の振幅がほとんどないため、振幅画像データを表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する検査対象物８００の位置に、汚れ８０１等の異常があることを推定できる。

【0075】

このように、本実施形態では、時間相関画像データに基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、検査対象物に異常があることを推定できる。

【0076】

図１に戻り、ＰＣ１００について説明する。ＰＣ１００は、検出システム全体の制御を行う。ＰＣ１００は、アーム制御部１０１と、照明制御部１０２と、処理部１０３と、を備える。

【0077】

アーム制御部１０１は、検査対象物１５０の時間相関カメラ１１０による撮像対象となる表面を変更するために、アーム１４０を制御する。本実施形態では、ＰＣ１００において、検査対象物の撮影対象となる表面を複数設定しておく。そして、時間相関カメラ１１０が検査対象物１５０の撮影が終了する毎に、アーム制御部１０１が、当該設定にしたがって、時間相関カメラ１１０が設定された表面を撮影できるように、アーム１４０が検査対象物１５０を移動させる。なお、本実施形態は撮影が終了する毎にアームを移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム１４０を駆動させてもよい。

【0078】

照明制御部１０２は、検査対象物１５０を検査するために照明装置１２０が照射する縞パターンを出力する。本実施形態の照明制御部１０２は、少なくとも３枚以上の縞パターンを、照明装置１２０に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置１２０に指示する。

【0079】

図９は、照明制御部１０２が照明装置１２０に出力する縞パターンの例を示した図である。図９（Ｂ）に示す矩形波にしたがって、図９（Ａ）に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部１０２が制御を行う。

【0080】

本実施形態で照射する縞パターン毎の縞の間隔は、検出対象となる異常（欠陥）の大きさに応じて設定されるものとしてここでは詳しい説明を省略する。

【0081】

また、縞パターンを出力するための矩形波の角周波数ωは、参照信号の角周波数ωと同じ値とする。

【0082】

図９に示されるように、照明制御部１０２が出力する縞パターンは、矩形波として示すことができるが、スクリーン１３０を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域（縞の領域）と暗領域（間隔の領域）との境界での光の強度変化を緩やかにする（鈍らせる）ことで、正弦波に近似させることができる。図１０は、スクリーン１３０を介した後の縞パターンを表した波の形状の例を示した図である。図１０に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。

【0083】

図１に戻り、処理部１０３は、時間相関カメラ１１０から入力された強度画像データと、時間相関画像データと、により、検査対象物１５０の検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって異常を検出する特徴を算出するための処理を行う。なお、本実施形態は、検査を行うために、複素数で示した時間相関画像データ（複素時間相関画像データと称す）の代わりに、複素数相関画像データの実部と虚部とで分けた２種類の時間相関画像データを、時間相関カメラ１１０から受け取る。

【0084】

なお、図１に示すように、処理部１０３は、取得部１０４、算出部１０５、検出部１０６を備えるが、それらは図１１以降の説明に用い、図１０までの説明では処理部１０３を用いる。

【0085】

処理部１０３は、時間相関カメラ１１０から入力された強度画像データと、時間相関画像データと、に基づいて、振幅画像データと、位相画像データと、を生成する。

【0086】

振幅画像データは、画素毎に入る光の振幅を表した画像データとする。位相画像データは、画素毎に入る光の位相を表した画像データとする。

【0087】

本実施形態は振幅画像データの算出手法を制限するものではないが、例えば、処理部１０３は、２種類の時間相関画像データの画素値Ｃ１（ｘ，ｙ）及びＣ２（ｘ，ｙ）から、式（８）を用いて、振幅画像データの各画素値Ｆ（ｘ，ｙ）を導き出せる。

【0088】

【数7】

【0089】

そして、本実施形態では、振幅画像データの画素値（振幅）と、強度画像データの画素値と、に基づいて、異常が生じている領域があるか否かを判定できる。例えば、強度画像データの画素値（ＡＴ）を２で除算した値と、振幅画像データの振幅（打ち消し合いが生じない場合にはＡＴ／２となる）と、がある程度一致する領域は異常が生じていないと推測できる。一方、一致していない領域については、振幅の打ち消しが生じていると推測できる。なお、具体的な手法については後述する。

【0090】

同様に、処理部１０３は、画素値Ｃ１（ｘ，ｙ）及びＣ２（ｘ，ｙ）から、式（９）を用いて、位相画像データの各画素値Ｐ（ｘ，ｙ）を導き出せる。

【0091】

【数8】

【0092】

［少ない計算コストで特徴量を算出する技術］
次に、少ない計算コストで特徴量（位相勾配、位相ラプラシアンなど）を算出する技術に関する処理部１０３の処理などについて説明する。なお、検査対象物１５０としては、例えば、塗装やメッキなどの光沢面を有する物体が考えられるが、これに限定されない。

【0093】

取得部１０４は、ＰＣ１００の内部や外部の各構成から各種情報を取得する。取得部１０４は、例えば、時間相関カメラ１１０またはそれと等価な動作をする撮像システムから、少なくとも、第１データと、第２データと、を含む複数のデータを取得する。

【0094】

算出部１０５は、画素ごとの所定の特徴量を算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いた処理を行い、そのときに、第１データと第２データとを用いた行列による演算を行うことにより、着目画素の特徴量を算出する。

【0095】

例えば、取得部１０４は、時間相関カメラ１１０から、複素時間相関画像データのうち、第１データとして、実数部を表す第１画素値（Ｃ１）を取得し、第２データとして、虚数部を表す第２画素値（Ｃ２）を取得する。

【0096】

そして、算出部１０５は、画素ごとの特徴量として位相勾配を算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いた一次微分フィルタ処理を行い、そのときに、振幅画素値と位相画素値の積を表す行列であって第１画素値と第２画素値とを用いた行列による演算を行うことにより、着目画素の位相勾配を算出する（詳細は図１４を用いて後述）。

【0097】

また、例えば、取得部１０４は、時間相関カメラ１１０から、複素時間相関画像データのうち、第１データとして、実数部を表す第１画素値（Ｃ１）を取得し、第２データとして、虚数部を表す第２画素値（Ｃ２）を取得する。

【0098】

そして、算出部１０５は、画素ごとの特徴量として位相ラプラシアンを算出する場合に、着目画素と周囲画素について要素和が０の畳み込み行列を用いたラプラシアンフィルタ処理を行い、そのときに、振幅画素値と位相画素値の積を表す行列であって第１画素値と第２画素値とを用いた行列による演算を行うことにより、着目画素の位相ラプラシアンを算出する（詳細は図１６を用いて後述）。

【0099】

また、算出部１０５は、位相勾配に基づいて、それぞれの画素について位相曲面の接平面を接続することで位相画像を算出する（詳細は図２１を用いて後述）。

【0100】

また、検出部１０６は、算出部１０５によって算出された位相勾配や位相ラプラシアンなどに基づいて、検査対象物１５０の異常を検出する。

【0101】

図１１は、一次元の場合の中心差分の説明図である。（ａ）は、１階中心差分を算出する式である。（ｂ）は、２階中心差分を算出する式である。（ｃ）は、ｎ階中心差分を算出する式である。一般に、中心差分は、どの階数においても係数の和が０になる。また、対称性から、より高精度な差分を算出する場合も同様である。

【0102】

図１２は、二次元の場合の中心差分の例の説明図である。（ａ）は、ソーベル（Sobel）フィルタ（横方向）を示す図である。（ｂ）は、ソーベル（Sobel）フィルタ（縦方向）を示す図である。（ｃ）は、ラプラシアン（laplacian）フィルタを示す図である。

【0103】

このような、画像処理でよく用いられるソーベルフィルタ（１階差分にガウシアンフィルタを掛けたもの）やラプラシアンフィルタなどの畳み込み行列についても、要素和は常に０になる。なお、図１２に示したものは１次精度の例であるが、より高次精度についても同様である。

【0104】

また、図１１と図１２はそれぞれ１次元と２次元の例であるが、３次元以上の多次元の場合でも同様に係数行列の要素和は０になる。

【0105】

図１３は、従来技術の位相中心差分の計算の説明図である。ここでは、３×３の画素についての計算を行う。また、上述のように中間的に得られる相関画素値（Ｃ１（第１画素値），Ｃ２（第２画素値））をベクトル場として用いる。また、サンプリング数をＮ_ｓと表す。

【0106】

各画素値は、照明変調に合わせて式（１０）（式（１１））に示すように時間依存する。そして、時間依存部を取り除くと、相関画素値としての式（１２）、式（１３）が得られる。さらにこれらを変形すると、振幅画像（式（１４））と位相画像（式（１５））が得られる。なお、位相画像は不連続になる（図１９（ａ））。

【0107】

そして、ｎ階位相中心差分、１階位相中心差分、２階位相中心差分は、それぞれ、式（１６）、式（１７）、式（１８）のように算出することができる。

【0108】

図１４は、実施形態の位相勾配の計算の説明図である。この例では、位相勾配を、図１２（ａ）のソーベルフィルタ（ｘ方向の１階差分＋ｙ方向ガウシアンフィルタ）で計算する。図１３の式（１２）、式（１３）を用いて、Ｃ_ｋを式（１９）のように定義する。そうすると、振幅画素値（Ａ_ｋ）と位相画素値（Φ_ｋ）を用いて、右辺のように表現できる。また、Ｃ_ｋの逆行列を式（２０）のように定義する。また、中心画素（Ｐ_５）についての位相のｘ方向の微分値に関するcosとsinの値は、式（２１）で計算できる。

【0109】

そして、充分な分解能で撮像画像データが取得されている場合、ベクトル場の連続性から、式（２１ａ）に示すように隣接画素の振幅値はほぼ同じと仮定できるため、Ａｋは全てキャンセルされて式（２２）が成り立つ。これは、上述のように係数行列の要素和が０になることによる。なお、図１３の式（１４）で求めた振幅Ａ_ｋを用いてあらかじめ各画素のＣ_ｋをΦ_ｋのみに依存する回転行列として計算しておくこともできる。その場合にも式（２２）は成り立つ。

【0110】

したがって、ｘ方向の位相勾配は式（２３）で表される。また、ｙ方向についても同様に位相勾配を算出できる。これを、すべての画素について行うことで、位相勾配画像（２成分）を得ることができる。また、位相勾配を用いて各点で位相曲面の接平面を構成して逐次接続していくことで位相アンラッピングを気にすることなく連続な位相画像を得ることができる。

【0111】

なお、上述したように、より高階の差分や、より高精度の差分についても、全く同様の手法が成立する。また、３次元以上の多次元についても同様である。

【0112】

図１５は、従来技術の位相ラプラシアンの計算の説明図である。すでに説明した式と同じ式には同じ式番号を付与し、重複する説明を適宜省略する。Ｎｓ（サンプリング数）≧３として、位相シフト法を実行する場合を考える。サンプリング定理にしたがって、時刻：ｔにおける画素：Ｐｋでの画素値：Ｉｋ（ｔ）は厳密に式（１０）で補間される。Ｉ^ｋ _ｌは、ｌ枚目の縞パターン投影後に撮像された被検体画像の画素：Ｐｋでの画素値を表す。そして、求めるべき位相ラプラシアンの画素：Ｐ５での差分近似値は式（２４）、式（２５）で表される。

【0113】

図１６は、実施形態の位相ラプラシアンの計算の説明図である。図１５の式（１２）、式（１３）を用いて、Ｃ_ｋを式（１９）のように定義する。そうすると、振幅画素値（Ａ_ｋ）と位相画素値（Φ_ｋ）を用いて、右辺のように表現できる。また、Ｃ_ｋの逆行列を式（２０ａ）のように定義する。また、中心画素（Ｐ_５）についての位相の微分値に関するcosとsinの値は、式（２６）で計算できる。

【0114】

そして、充分な分解能で撮像画像データが取得されている場合、ベクトル場の連続性から、式（２６ａ）に示すように隣接画素の振幅値はほぼ同じと仮定できるため、Ａｋは全てキャンセルされて式（２７）が成り立つ。これは、上述のように係数行列の要素和が０になることによる。なお、図１５の式（１４）で求めた振幅Ａ_ｋを用いてあらかじめ各画素のＣ_ｋをΦ_ｋのみに依存する回転行列として計算しておくこともできる。その場合にも式（２７）は成り立つ。

【0115】

したがって、位相ラプラシアンは式（２８）で表される。これを、すべての画素について行うことで、位相ラプラシアン画像を得ることができる。

【0116】

図１７は、実施形態の撮像画像の例を示す図である。検査対象物１５０として、光沢のある塗装片をサンプルとして使用した。投影パターンは、図４に示すものを使用した。そして、その投影パターンを、モニターを照明として映像出力し、少しずつずらしながら２４回撮像した。なお、縞の移動ピッチは白黒１セットからなる１周期に対して１／２４である。

【0117】

そして、２４枚の（ａ）撮像画像から、（ｂ）に示すようにサンプル部位を切り取り、２４枚を１セットとして位相シフト法を適用する。

【0118】

図１８は、実施形態の位相勾配画像の例を示す図である。位相勾配は、図１４の式（２２）、式（２３）にしたがって３×３のソーベルフィルタで計算した。位相シフト法で算出される位相は表面形状と関係し、位相勾配は表面の傾きと関係する。わずかながら、（ａ）のｘ方向の位相勾配画像と（ｂ）のｙ方向の位相勾配画像で、欠陥部位に違いが見られる。この違いは、検査対象物１５０の表面の当該位置での欠陥の傾きの違いに起因しており、例えば傷の方向の分類などに役立つ情報である。これは方向の情報がつぶれてしまっている位相ラプラシアンには無い特性である。

【0119】

図１９は、従来技術と実施形態の位相画像の例を示す図である。（ａ）に示す画像は、従来技術で計算した位相画像である。ａｒｃｔａｎ（図１３の式（１５））の不連続性によって、位相も不連続になっている。

【0120】

（ｂ）に示す画像は、図１８の位相勾配を用いて画像左上の原点（０，０）から勾配を接続していくことで導出された位相画像である。強い欠陥がない部位は概ね良好に位相が接続されている。また、欠陥が強い部分では勾配値が大きくベクトル場の連続性が悪い（画像分解能が足りない）ため縦横のラインが生じているが、欠陥部位がその強さに応じて強調されるため、異常検出などの各種判定に使用できる。

【0121】

図２０は、実施形態の位相ラプラシアン画像の例を示す図である。位相ラプラシアンは、図１６の式（２７）、式（２８）にしたがって計算した。複素画像を経由することなく、従来技術と同等の高精度な位相ラプラシアン画像が得られていることがわかる。

【0122】

図２１は、実施形態における勾配接続の説明図である。位相勾配は（ｂ）における（ｆｘ，ｆｙ）に相当する。位相勾配が計算できている状況であれば、位相画像上の１点から（ｂ）ｄｆによって次々に値を求めていけば画像上の全ての点で位相画素値が得られる。

【0123】

ここまでで、畳み込みフィルタの成分和＝０が成立しているため中心差分ではＡ_ｋは全てキャンセルされて図１４の式（２２）や図１６の式（２７）が成り立つ、ということを説明した。ただし、各画素での方向ベクトルを先に算出することで、図１４の式（２２）や図１６の式（２７）の近似を理由としなくても、中心差分以外の畳み込み演算についても計算できる。この点に関し、振幅値で相関画素値を割ることで方向ベクトルを先に算出しても良いことについて、以下に説明する。

【0124】

さらに具体的には、ここまでで畳み込みフィルタの成分和が０になる作用素として中心差分作用素を強調したが、中心差分作用素でない重要な例として「元の位相値とガウシアンフィルタで平滑化された位相値の差」の画像の導出について説明する。

【0125】

図２２は、実施形態の位相畳み込み算出の説明図である。式（１０）～式（１５）については、図１５と同様である。そして、式（２９）のように、各画素での方向ベクトルを先に算出することで、図１４の式（２２）や図１６の式（２７）の近似を理由としなくても、中心差分以外の畳み込み演算についても計算できる。位相とガウシアン平坦化位相の差を求める式は、式（３０）に示す通りである。

【0126】

この方法で、上述の位相勾配、位相ラプラシアンなどの中心差分を計算でき、また、中心差分に限らず畳み込みフィルタのカーネル行列の成分和が０であれば同様に計算できる。

【0127】

図２３は、実施形態における位相とガウシアン平坦化位相の差の説明図である。画像処理で異常部を検出する場合、「元画像」と「元画像をガウシアンフィルタや移動平均フィルタなどで平坦化したもの」の差を用いることはよくある。（ａ）は、ガウシアンフィルタのカーネル行列である。（ｂ）は、ガウシアンフィルタとの差のカーネル行列である。したがって、式（３２）～式（３４）に示すように、位相とガウシアン平坦化位相の差を計算できる。

【0128】

図２４は、図２３の手法で算出した画像の例を示す図である。図２０の位相ラプラシアン画像と似た画像になっているが、それよりも異常部が強調されているのがわかる。

【0129】

図２５は、実施形態における位相勾配算出処理を示すフローチャートである。併せて、図１３、図１４も参照する。ステップＳ１１において、取得部１０４は、Ｃ^ｋ _１、Ｃ^ｋ _２を取得する。

【0130】

次に、ステップＳ１２において、算出部１０５は、Ｃ_ｋを作成する。
次に、ステップＳ１３において、算出部１０５は、（Ｃ_ｋ）^－１を算出する。

【0131】

次に、ステップＳ１４において、算出部１０５は、式（２２）（図１４）の左辺の２つの値を算出する。
次に、ステップＳ１５において、算出部１０５は、式（２３）（図１４）の左辺の値を算出する。

【0132】

次に、ステップＳ１６、１７において、算出部１０５は、ｘ方向についての位相勾配を求めたステップＳ１４、Ｓ１５と同様の処理で、ｙ方向についての位相勾配を求める。

【0133】

図２６は、実施形態における位相ラプラシアン算出処理を示すフローチャートである。併せて、図１５、図１６も参照する。ステップＳ２１において、取得部１０４は、Ｃ^ｋ _１、Ｃ^ｋ _２を取得する。

【0134】

次に、ステップＳ２２において、算出部１０５は、Ｃ_ｋを作成する。
次に、ステップＳ２３において、算出部１０５は、（Ｃ_ｋ）^－１を算出する。

【0135】

次に、ステップＳ２４において、算出部１０５は、式（２７）（図１６）の左辺の２つの値を算出する。
次に、ステップＳ２５において、算出部１０５は、式（２８）（図１６）の左辺の値を算出する。

【0136】

このように、本実施形態によれば、位相勾配や位相ラプラシアンなどの特徴量を算出するのに、複素時間相関画像データに基づいて複素画像を算出する必要がなく、少ない計算コストで済むなどの利点がある。

【0137】

また、例えば、位相の計算を経ずに位相値の中心差分値を直接計算できるため、位相アンラッピングで生じる特異点を回避できる（図１９）。

【0138】

また、本手法によって計算される位相中心差分値データ（２次元の場合は画像）を用いることで、ベクトル場中の僅かな方向の乱れを高精度に検知することができる。

【0139】

また、位相勾配（ｇｒａｄｉｅｎｔ）を算出し、接平面を逐次接続していくことで位相値を算出することができる。これにより、位相値が０あるいは２π付近で生じる特異点による不安定性を回避して安定的に位相を算出できる。

【0140】

なお、本手法で想定するような離散化ベクトル場は、例えば、本出願人が出願した特開２０２１－１７４０７４号公報に記載の方法で導出したものでもよいし、あるいは、他の方法（例えば、光切断法、白色干渉法、サンプリングモアレ法、位相シフト法、位相シフトデジタルホログラフィなど）で計測した３Ｄ表面形状データ（２変数関数あるいは３変数陰関数）から算出した勾配ベクトルなどでもよい。

【0141】

また、上述の実施形態では、主に２次元（画像）を例にとって式展開等を行っているが、本発明は、観測やシミュレーションで得られる３次元以上のデータに対しても容易に適用できる。

【0142】

上述した実施形態のＰＣ１００で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0143】

また、上述した実施形態のＰＣ１００で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のＰＣ１００で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0144】

本発明の実施形態や実施例を説明したが、これらの実施形態や実施例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態や実施例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態や実施例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

【0145】

例えば、実施形態における画像枚数などの各数値について、状況に応じて適宜変更可能である。

【符号の説明】

【0146】

１００…ＰＣ、１０１…アーム制御部、１０２…照明制御部、１０３…処理部、１０４…取得部、１０５…算出部、１０６…検出部、１１０…時間相関カメラ、１２０…照明装置（照明部）、１３０…スクリーン（照明部）、１４０…アーム、１５０…検査対象物。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】