(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-24
(45)【発行日】2022-06-01
(54)【発明の名称】撮像装置
(51)【国際特許分類】
G01B 11/25 20060101AFI20220525BHJP
G01N 21/84 20060101ALI20220525BHJP
G06T 7/521 20170101ALI20220525BHJP
【ＦＩ】
G01B11/25 H
G01N21/84 E
G06T7/521
【請求項の数】
13
(21)【出願番号】P 2019052852
(22)【出願日】2019-03-20
(65)【公開番号】P2020153828
(43)【公開日】2020-09-24
【審査請求日】2021-03-19
(73)【特許権者】
【識別番号】504007202
【氏名又は名称】株式会社日立ハイテクファインシステムズ
(74)【代理人】
【識別番号】110002066
【氏名又は名称】特許業務法人筒井国際特許事務所
(72)【発明者】
【氏名】大西 義人
(72)【発明者】
【氏名】瀬尾 欣穂
(72)【発明者】
【氏名】松岡 正興
(72)【発明者】
【氏名】芹川 滋
【審査官】山▲崎▼ 和子
(56)【参考文献】
【文献】特開２０００－０１８９３２（ＪＰ，Ａ）
【文献】特開平１０－００９８３６（ＪＰ，Ａ）
【文献】特開２００９－１６８４５４（ＪＰ，Ａ）
【文献】独国特許出願公開第１０２０１３２１６４２４（ＤＥ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０１Ｎ ２１／８４－２１／９５８
Ｇ０６Ｔ ７／５２１
(57)【特許請求の範囲】
【請求項1】
互いに位相の異なる複数の周期パターン毎に、対応する輝度分布を有する光を対象物に照射する照明部と、前記周期パターンを生成し、前記複数の周期パターン毎に前記対応する輝度分布となるように前記照明部を制御する周期パターン生成部と、
前記複数の周期パターン毎に前記対象物からの透過パターンまたは反射パターンを撮像することで、複数の撮像画像データを生成する撮像部と、
前記複数の撮像画像データを用いて前記対象物の３次元形状の特徴を表す合成処理画像の画像データを算出する画像処理部と、
を有する撮像装置であって、
前記周期パターンは、前記照明部に、画素値が最小となる完全暗部を有限の面積だけ生じさせるパターンであり、
前記画像処理部は、前記合成処理画像の前記画像データを算出する際に、前記複数の撮像画像データを対象として画素毎に最小の画素値を抽出し、
さらに、前記周期パターン生成部へ、前記周期パターンにおける前記完全暗部の面積を指示する調整部を有する、
撮像装置。
【請求項2】
請求項１記載の撮像装置において、前記調整部は、前記周期パターン生成部へ、前記周期パターンの周期と当該周期における前記完全暗部の割合とを指示する、
撮像装置。
【請求項3】
互いに位相の異なる複数の周期パターン毎に、対応する輝度分布を有する光を対象物に照射する照明部と、前記周期パターンを生成し、前記複数の周期パターン毎に前記対応する輝度分布となるように前記照明部を制御する周期パターン生成部と、
前記複数の周期パターン毎に前記対象物からの透過パターンまたは反射パターンを撮像することで、複数の撮像画像データを生成する撮像部と、
前記複数の撮像画像データを用いて前記対象物の３次元形状の特徴を表す合成処理画像の画像データを算出する画像処理部と、
を有する撮像装置であって、
前記周期パターンは、前記照明部に、画素値が最小となる完全暗部を有限の面積だけ生じさせるパターンであり、
前記画像処理部は、前記合成処理画像の前記画像データを算出する際に、前記複数の撮像画像データを対象として画素毎に最小の画素値を抽出し、
さらに、前記照明部と前記対象物との物理的な配置関係を指示することで、前記周期パターンにおける前記完全暗部の面積を定める調整部を有する、
撮像装置。
【請求項4】
請求項１または３記載の撮像装置において、前記周期パターンは、矩形波状のパターンである、
撮像装置。
【請求項5】
互いに位相の異なる複数の周期パターン毎に、対応する輝度分布を有する光を対象物に照射する照明部と、前記周期パターンを生成し、前記複数の周期パターン毎に前記対応する輝度分布となるように前記照明部を制御する周期パターン生成部と、
前記複数の周期パターン毎に前記対象物からの透過パターンまたは反射パターンを撮像することで、複数の撮像画像データを生成する撮像部と、
前記複数の撮像画像データを用いて前記対象物の３次元形状の特徴を表す合成処理画像の画像データを算出する画像処理部と、
を有する撮像装置であって、
前記周期パターンは、前記照明部に、画素値が最小となる完全暗部を有限の面積だけ生じさせるパターンであり、
前記画像処理部は、前記合成処理画像の前記画像データを算出する際に、前記複数の撮像画像データを対象として画素毎に最小の画素値を抽出し、
前記画像処理部は、
前記複数の撮像画像データを対象として画素毎に最小の画素値と最大の画素値とを抽出し、最小の画素値で構成される最小値画像の画像データと、最大の画素値で構成される最大値画像の画像データとを算出する第１の演算部と、
前記最大値画像と前記最小値画像の画素毎に、前記最大値画像と前記最小値画像の画素値の和に対する差の比を算出することで、前記合成処理画像の画像データを算出する第２の演算部と、
を有する撮像装置。
【請求項6】
請求項５記載の撮像装置において、前記第２の演算部は、前記合成処理画像の画像データとして、第１の画像データと第２の画像データとを算出し、
前記第１の画像データは、前記周期パターンにおける前記完全暗部の面積が第１の面積である場合に得られるデータであり、
前記第２の画像データは、前記周期パターンにおける前記完全暗部の面積が前記第１の面積とは異なる第２の面積である場合に得られるデータであり、
前記画像処理部は、さらに、前記第１の画像データと前記第２の画像データとを用いて別の前記合成処理画像の画像データを算出する第３の演算部を有する、
撮像装置。
【請求項7】
請求項６記載の撮像装置において、前記第３の演算部は、画素毎に前記第１の画像データと前記第２の画像データの差分を算出する、
撮像装置。
【請求項8】
請求項１または３記載の撮像装置において、さらに、前記調整部を介して前記完全暗部の面積を変更しながら、前記画像処理部に前記合成処理画像の画像データを算出させ、前記合成処理画像の画像データに基づいて前記対象物の３次元形状を認識する画像認識部を有する、
撮像装置。
【請求項9】
請求項８記載の撮像装置において、前記画像認識部は、前記対象物における凹凸の傾斜角を認識する、
撮像装置。
【請求項10】
請求項１または３記載の撮像装置において、さらに、前記調整部を介して前記完全暗部の面積を指示した状態で前記画像処理部に前記合成処理画像の画像データを算出させ、前記合成処理画像の画像データに基づいて前記対象物に予め形成されている所定のパターンを認識する画像認識部を有する、
撮像装置。
【請求項11】
請求項１または３記載の撮像装置において、さらに、前記画像処理部からの前記合成処理画像の画像データに基づいて前記対象物の３次元形状を認識する画像認識部と、
前記画像認識部の認識結果に基づいて、所定の特徴をもつ３次元形状のみを可視化するように、前記調整部を介して前記完全暗部の面積を指示する自動調整部と、
を有する、
撮像装置。
【請求項12】
一様な光を出射する一様照明部と、前記一様照明部と対象物との間に配置され、周期的に形成される開口と前記開口の間に設けられる閉口とを備えることで、前記開口を通過し前記閉口で遮断される光からなる周期パターンを生成し、前記周期パターンを前記対象物に照射する遮光部と、
前記遮光部を周期方向へ移動させることで、互いに位相の異なる複数の前記周期パターンが前記対象物に照射されるように制御する可動ステージ制御部と、
前記複数の周期パターン毎に前記対象物からの透過パターンまたは反射パターンを撮像することで、複数の撮像画像データを生成する撮像部と、
前記複数の撮像画像データを用いて前記対象物の３次元形状の特徴を表す合成処理画像の画像データを算出する画像処理部と、
を有する撮像装置であって、
前記周期パターンには、前記閉口に基づき、輝度が最低となる完全暗部が有限の面積だけ設けられ、
前記画像処理部は、前記合成処理画像の前記画像データを算出する際に、前記複数の撮像画像データを対象として画素毎に最小の画素値を抽出し、
前記画像処理部は、
前記複数の撮像画像データを対象として画素毎に最小の画素値と最大の画素値とを抽出し、最小の画素値で構成される最小値画像の画像データと、最大の画素値で構成される最大値画像の画像データとを算出する第１の演算部と、
前記最大値画像と前記最小値画像の画素毎に、前記最大値画像と前記最小値画像の画素値の和に対する差の比を算出することで、前記合成処理画像の画像データを算出する第２の演算部と、
を有する撮像装置。
【請求項13】
互いに位相の異なる複数の周期パターン毎に、対応する輝度分布を有する光を対象物に照射する照明部と、前記周期パターンを生成し、前記複数の周期パターン毎に前記対応する輝度分布となるように前記照明部を制御する周期パターン生成部と、
前記複数の周期パターン毎に前記対象物からの透過パターンまたは反射パターンを撮像することで、複数の撮像画像データを生成する撮像部と、
前記複数の撮像画像データを用いて前記対象物の３次元形状の特徴を表す合成処理画像の画像データを算出する画像処理部と、
を有する撮像装置であって、
前記周期パターンは、前記照明部に、画素値が最大となる完全明部を有限の面積だけ生じさせるパターンであり、
前記画像処理部は、前記合成処理画像の前記画像データを算出する際に、前記複数の撮像画像データを対象として画素毎に最大の画素値を抽出し、
さらに、前記周期パターン生成部へ、前記周期パターンにおける前記完全明部の面積を指示する調整部を有する、
撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関し、例えば、対象物を撮像することで対象物の３次元形状を認識する技術に関する。
【背景技術】
【0002】
特許文献１には、位相シフトを用いた表面欠陥検査方法が示される。この方法は、互いに波長（色）が異なる明暗パターンをそれぞれ位相をシフトした上で合成する工程と、その合成照明パターンを検査対象物に照射する工程と、検査対象物からの反射パターンを撮像し、撮像した画像を波長毎に分解して検査対象物の表面の凹凸欠陥を判別する工程とを含む。
【0003】
特許文献２には、検査対象物が積層構造であり、表面が透過性の有る光沢面であっても、表面の凹凸欠陥を検出することが可能な表面欠陥検査方法が示される。この方法では、まず、明暗が交互に存在する線状の光を検査対象物に照射し、その反射光をラインカメラにより撮影することで第１の原画像が得られる。そして、画像処理部は、表面に凹凸欠陥が存在しない基準物を撮影することで得た第２の原画像を予め記憶しており、第１と第２の原画像を基に、検査対象物の表面に存在する凹凸欠陥を検出する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１３－１１３６５７号公報
【文献】特開２００９－２２２６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
マシンビジョン技術は、例えば、製品の内部あるいは表面における欠陥・異物・ヒビなどの検査、製品の表面に印字された文字の認識、バーコード読み取り、食品検査といった多岐のアプリケーションで使用され、工場内のオートメーション化に不可欠な技術となっている。近年では、製品における欠陥や刻印などの凹凸を分析する目的で、対象物を立体的に把握する３次元計測を活用したマシンビジョン技術の開発も進んでいる。
【0006】
このような３次元形状計測技術として、特許文献１および特許文献２には、位相シフト照明技術が開示されている。明暗が交互に存在する周期的な照明を対象物に照射すると、凹凸のある表面では透過光や反射光のパターンが歪む。位相シフト照明技術は、その明暗の歪み方を画像処理により合成処理し、凹凸を強調する撮像技術である。しかし、例えば、製品への光学的性能の付与やデザイン性向上等の目的で、対象物の表面に、人工的に凹凸が設けられる場合がある。位相シフト照明技術は凹凸に対する感度が高いため、人工的に設けられた僅かな凹凸も強調される。その結果、本来検出されるべき欠陥や刻印等が、その僅かな凹凸に埋もれてしまうことで検出困難となる恐れがある。
【0007】
本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、対象物における凹凸を選択的に強調した画像を得ることが可能な撮像装置を提供することにある。
【0008】
本発明の前記並びにその他の目的と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【0009】
本願において開示される発明のうち、代表的な実施の形態の概要を簡単に説明すれば、次のとおりである。
【0010】
一実施の形態による撮像装置は、照明部と、周期パターン生成部と、撮像部と、画像処理部とを有する。照明部は、互いに位相の異なる複数の周期パターン毎に、対応する輝度分布を有する光を対象物に照射する。周期パターン生成部は、周期パターンを生成し、複数の周期パターン毎に対応する輝度分布となるように照明部を制御する。撮像部は、複数の周期パターン毎に対象物からの透過パターンまたは反射パターンを撮像することで、複数の撮像画像データを生成する。画像処理部は、複数の撮像画像データを用いて対象物の３次元形状の特徴を表す合成処理画像の画像データを算出する。ここで、周期パターンは、照明部に、画素値が最小となる完全暗部を有限の面積だけ生じさせるパターンであり、画像処理部は、合成処理画像の画像データを算出する際に、複数の撮像画像データを対象として画素毎に最小の画素値を抽出する。
【発明の効果】
【0011】
前記一実施の形態の撮像装置によれば、対象物における凹凸を選択的に強調することが可能になる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施の形態１による撮像装置の全体構成例を示す概略図である。
【図12】本発明の実施の形態２による撮像装置で用いる周期パターンの一例を示す図である。
【図13】本発明の実施の形態２による撮像装置の全体構成例を示す概略図である。
【図14】本発明の実施の形態３による撮像装置の全体構成例を示す概略図である。
【図18】本発明の実施の形態５による撮像装置の一部の構成例を示す概略図である。
【図21】本発明の実施の形態７による撮像装置の一部の構成例を示す概略図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、明細書に記載される「光」とは、電磁波を指し、例えば、可視光であってもよく、マイクロ波、テラヘルツ波、赤外線、紫外線、Ｘ線等であってもよい。
【0014】
（実施の形態１）
《撮像装置の概略》
図１は、本発明の実施の形態１による撮像装置の全体構成例を示す概略図である。撮像装置１は、図１に示すように、概略的には、周期パターン生成部１０と、照明部１１と、調整部１２と、撮像部１３と、画像処理部１４と、出力部１５とを具備している。図１では、説明のため、光路は破線の矢印で、電気信号は実線の矢印で示される。周期パターン生成部１０と画像処理部１４は、例えば、電子計算機のような情報処理装置、あるいはＦＰＧＡ（Field Programmable Gate Array）やマイクロコントローラのような半導体装置等で構成される。
《撮像装置の概略》
図１は、本発明の実施の形態１による撮像装置の全体構成例を示す概略図である。撮像装置１は、図１に示すように、概略的には、周期パターン生成部１０と、照明部１１と、調整部１２と、撮像部１３と、画像処理部１４と、出力部１５とを具備している。図１では、説明のため、光路は破線の矢印で、電気信号は実線の矢印で示される。周期パターン生成部１０と画像処理部１４は、例えば、電子計算機のような情報処理装置、あるいはＦＰＧＡ（Field Programmable Gate Array）やマイクロコントローラのような半導体装置等で構成される。
【0015】
調整部１２は、例えば、外部からの電気的な情報信号を受信できるようにするコネクタポート等で構成される。調整部１２には、キーボードやマウスなどの外部入力装置が接続される。また、調整部１２には、情報処理装置や半導体装置からの電気信号が入力されてもよい。出力部１５は、例えば、画像処理部１４からの情報信号を外部の作業者等へ送信できるようにするコネクタポート等で構成される。出力部１５には、表示装置や音声出力装置等が接続される。また、出力部１５からは、情報処理装置や半導体装置に向けた電気信号が出力されてもよい。
【0016】
照明部１１は、互いに位相の異なる複数の周期パターン毎に、対応する輝度分布を有する光を対象物２に照射する。照明部１１は、代表的には、ディスプレイのように、光を外部に出力する画素が二次元状に配列され、外部からの制御信号によって各画素から出力される光の輝度値を変調し、変調された光を出射する表示装置である。また、照明部１１は、プロジェクタのように、二次元状に配置されたマイクロミラーの反射方向によって、各画素の明暗を切り替える表示装置でもよい。なお、光の輝度を時間的かつ空間的に変動させる方式は、特に、ディスプレイやプロジェクタを用いた方式に限定されない。
【0017】
周期パターン生成部１０は、基準となる周期パターンを生成すると共に、当該周期パターンを用いて互いに位相の異なる複数の周期パターンを生成し、複数の周期パターン毎に対応する輝度分布となるように照明部１１を制御する。調整部１２は、周期パターンを生成する際に用いる各種パラメータを外部から受け、当該各種パラメータを表す制御信号を周期パターン生成部１０へ送信する。撮像部１３は、複数の周期パターン毎に対象物２からの透過パターンまたは反射パターンを撮像することで、複数の撮像画像データを生成する。画像処理部１４は、当該複数の撮像画像データを用いて対象物２の３次元形状の特徴を表す合成処理画像の画像データを算出する。当該合成処理画像の画像データは、出力部１５を介して外部へ出力される。
【0018】
《周期パターン生成部および調整部の詳細》
図２（ａ）および図２（ｂ）は、図１の周期パターン生成部によって生成され、照明部から出射される周期パターンの一例を示す概略図である。周期パターンは、空間的に周期Ｌの周期性をもち、１周期の間に画素値が大きい明部と、画素値が小さい暗部とが存在する。例えば、図２（a）には、空間上で一方向に周期性をもつ周期パターンが示される。周期性をもつ一方向を便宜上Ｘ方向、それとは垂直な方向をＹ方向とすると、図２（ａ）のような周期パターンでは、画素の二次元配列方向と、Ｘ，Ｙ方向とが一致することになる。
図２（ａ）および図２（ｂ）は、図１の周期パターン生成部によって生成され、照明部から出射される周期パターンの一例を示す概略図である。周期パターンは、空間的に周期Ｌの周期性をもち、１周期の間に画素値が大きい明部と、画素値が小さい暗部とが存在する。例えば、図２（a）には、空間上で一方向に周期性をもつ周期パターンが示される。周期性をもつ一方向を便宜上Ｘ方向、それとは垂直な方向をＹ方向とすると、図２（ａ）のような周期パターンでは、画素の二次元配列方向と、Ｘ，Ｙ方向とが一致することになる。
【0019】
ただし、周期性を有する方向は、これに限らず、画素配列に対して任意の方向であってもよい。例えば図２（ｂ）に示す周期パターンは、ドーナツ状のパターンであり、周期性を有する方向は、動径方向である。以下では、説明を判り易くするため、図２（a）に示すような周期パターンを用いる場合を想定する。このとき、位置が左下の原点位置から、Ｘ方向に数えてｘ番目、Ｙ方向に数えてｙ番目の画素における画素値をＩ（ｘ，ｙ）と表記する。周期パターン生成部１０は、画素値Ｉ（ｘ，ｙ）を電気的な制御信号として照明部１１へ送信し、照明部１１は、画素値Ｉ（ｘ，ｙ）に比例する輝度をもつ光を各画素から出射する。
【0020】
図３は、図２（ａ）における周期パターンの詳細な一例を示す図である。図３には、照明部１１から出力される画素値の周期方向に対する分布を、ほぼ１周期分で拡大した図が示される。明細書では、画素値の最大値と最小値の平均値に対し高い画素値となる領域（例えば画素領域）を明部と呼び、低い画素値となる領域を暗部と呼ぶ。さらに、画素値が最大となる領域を完全明部３０と呼び、画素値が最小となる領域を完全暗部３１と呼ぶ。言い換えれば、完全明部３０は、輝度が最高となる領域であり、完全暗部３１は、輝度が最低となる領域である。
【0021】
ここで、図１の撮像装置１の主要な特徴の一つとして、周期パターン生成部１０で生成される周期パターンは、図３に示されるように、照明部１１に、完全暗部３１を有限の面積だけ生じさせるパターンとなっている。すなわち、例えば、位相シフト照明技術で一般的に使用される正弦波ではなく、また、三角波のようなものでもなく、完全暗部３１が含まれる周期パターンが用いられる。
【0022】
図１の調整部１２は、例えば、周期パターンの周期Ｌと当該周期Ｌにおける完全暗部３１の割合Ｄとを表す外部からの制御信号を周期パターン生成部１０へ出力することで、周期パターン生成部１０へ、周期パターンにおける完全暗部３１の面積を指示する。また、調整部１２は、詳細は後述するが、照明部１１と対象物２と撮像部１３との物理的な配置関係を指示する制御信号を受け、この制御信号を当該物理的な配置関係を調整可能な各種アクチュエータ（図示せず）へ出力することで、間接的に完全暗部３１の面積を定めてもよい。あるいは、調整部１２は、この２つの方法を組み合わせて、完全暗部３１の面積を調整してもよい。
【0023】
周期パターン生成部１０は、周期Ｌと完全暗部３１の割合Ｄに関する制御信号を調整部１２から受けた場合、図４（ｂ）に示されるように、周期パターンの初期位置Ｘ０を内部で決定し、画素値Ｉ（ｘ，ｙ）を表す制御信号を生成して照明部１１へ送信する。図４（ａ）および図４（ｂ）は、図１における周期パターン生成部の処理内容の一例を説明する図である。図４（ａ）において、Ｉ０（ｘ，ｙ）は、周期Ｌと完全暗部３１の割合Ｄから決まる１周期分の画素値であるとする。画素値Ｉ０（ｘ，ｙ）における完全明部３０の割合や、完全明部３０と完全暗部３１以外の領域の画素値については、任意とする。
【0024】
周期パターンの初期位置Ｘ０は、式（１）のように画素値Ｉ０（ｘ，ｙ）に基づいて、照明部１１に表示する画素値Ｉ（ｘ，ｙ）を生成する際の、１周期を開始する基準位置座標である。すなわち、周期パターン生成部１０は、図４（ｂ）に示されるように、初期位置Ｘ０を基準位置座標として図４（ａ）に示した画素値Ｉ０（ｘ，ｙ）を周期的に配置していくことで画素値Ｉ（ｘ，ｙ）を生成する。また、周期パターン生成部１０は、この初期位置Ｘ０を順次シフトされることで、互いに位相の異なる複数の周期パターンを生成する。
【0025】
【数1】
【0026】
《撮像部の詳細》
図５は、図１における撮像部の構成例を示す概略図である。撮像部１３には、例えば、照明部１１によって照明された対象物２からの透過光が入射する。対象物２は、例えばフィルムや窓、ガラスコップ、レンズなどの、照明部１１からの出射光の波長域で透過性を有する媒質である。波長域がテラヘルツ帯にある場合は、テラヘルツ帯で透過性を有する、食品やゴム材などであってもよい。
図５は、図１における撮像部の構成例を示す概略図である。撮像部１３には、例えば、照明部１１によって照明された対象物２からの透過光が入射する。対象物２は、例えばフィルムや窓、ガラスコップ、レンズなどの、照明部１１からの出射光の波長域で透過性を有する媒質である。波長域がテラヘルツ帯にある場合は、テラヘルツ帯で透過性を有する、食品やゴム材などであってもよい。
【0027】
図５において、撮像部１３は、結像光学部１３０と、光検出部１３１とを有する。結像光学部１３０は、レンズまたは凹面鏡といった光を屈折または反射させて集光させる光学素子を少なくとも１個以上用いることにより、対象物２の透過光を光検出部１３１における受光面に結像させる。例えば、テレセントリック光学系とすることにより、光軸方向のぶれによる倍率の変化を抑える光学系としてもよい。
【0028】
光検出部１３１は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの、二次元のエリアセンサである。光検出部１３１の受光面は、対象物２における凹凸を観測したい所定の面と共役な関係にあるものとする。例えば、フィルム表面における皺や気泡による膨らみを観測したい場合、フィルム表面を受光面に対する共役面となるよう、結像光学部１３０を配置すればよい。
【0029】
なお、透過光の経路中に、結像光学部１３０以外にバンドパスフィルタなどの波長選択式フィルタを設けて、所望の波長以外の外光を除去する役割を持たせてもよい。また、砂塵や埃等が結像光学部１３０に入らないよう防護する目的で、透過光の経路中に窓材などを設けてもよい。光検出部１３１は、受光面における光照度分布を二次元の電気信号に変換することで画素毎の画素値を生成し、当該画素値を撮像画像データとして画像処理部１４へ送信する。ここで、撮像部１３から出力される画像値を、照射部１１での画素値Ｉ（ｘ，ｙ）と区別するため、Ｉ’（ｘ，ｙ）と表記する。画像値Ｉ’（ｘ，ｙ）は、画素値Ｉ（ｘ，ｙ）の場合と同様に、光検出部１３１の受光面の中の、端からＸ方向に数えてｘ番目、Ｙ方向に数えてｙ番目の画素における画素値を表す。
【0030】
《画像処理部周りの詳細》
図６は、図１における画像処理部周りの構成例および動作例を示す概略図である。図６の画像処理部１４は、撮像制御部１４０と、第１の記憶媒体１４１と、第１の演算部１４２と、第２の演算部１４３とを備える。画像処理を行う前提として、周期パターン生成部１０は、初期位置Ｘ０を順次シフトさせながら複数の周期パターンを生成する。照明部１１は、周期パターン毎に対応する光を出射し、撮像部１３は、１個の周期パターンに対して１個の撮像画像データ（フレームデータ）を生成することで、複数の周期パターンに対応する複数の撮像画像データを生成する。この際に、周期パターン生成部１０は、撮像制御部１４０に、照明部１１での照明が開始されたことを示す制御信号を送信し、これに応じて、撮像制御部１４０は、対応する撮像画像データの取り込みを開始する。
図６は、図１における画像処理部周りの構成例および動作例を示す概略図である。図６の画像処理部１４は、撮像制御部１４０と、第１の記憶媒体１４１と、第１の演算部１４２と、第２の演算部１４３とを備える。画像処理を行う前提として、周期パターン生成部１０は、初期位置Ｘ０を順次シフトさせながら複数の周期パターンを生成する。照明部１１は、周期パターン毎に対応する光を出射し、撮像部１３は、１個の周期パターンに対して１個の撮像画像データ（フレームデータ）を生成することで、複数の周期パターンに対応する複数の撮像画像データを生成する。この際に、周期パターン生成部１０は、撮像制御部１４０に、照明部１１での照明が開始されたことを示す制御信号を送信し、これに応じて、撮像制御部１４０は、対応する撮像画像データの取り込みを開始する。
【0031】
具体的には、撮像制御部１４０は、ｋ番目の周期パターンに対応するｋ番目の撮像画像データ（第ｋフレームデータ）となる画素値Ｉｋ’（ｘ，ｙ）を取得し、当該画素値Ｉｋ’（ｘ，ｙ）を第１の記憶媒体１４１に保存する。第１の記憶媒体１４１は、画像処理部１４内に含まれるレジスタなどの揮発性メモリを用いてもよく、または外部に配置した不揮発性メモリを用いてもよい。また、画素値Ｉｋ’（ｘ，ｙ）のゼロ点は、対象物２を配置しない場合に撮像した透過光画像における完全暗部３１の画素値を用いて、キャリブレーションされるものとする。
【0032】
撮像制御部１４０は、第１の記憶媒体１４１への第ｋフレームデータの保存が完了したら、完了したことを示す制御信号を、周期パターン生成部１０へ送信する。周期パターン生成部１０は、次の周期パターンである第（ｋ＋１）番目の周期パターンを生成するため、初期位置Ｘ０を予め定めた所定値だけシフトされる。初期位置Ｘ０は、例えば、０から周期Ｌまでの範囲で“Ｘ０＝Ｌ×ｋ／Ｎ”に基づいて制御され、その結果、周期パターンの位相は、０～２×πの範囲で順次シフトする。ここで、Ｎは、周期パターン数（言い換えればフレーム数）を表す。なお、ここでは、ｋに対して線形に初期位置Ｘ０を変更することで位相シフトを行ったが、位相シフトの方法は特にこれに限定されない。
【0033】
撮像制御部１４０は、このようにして１セット分のフレームデータ（ｋ＝０，１，…，Ｎ－１）の取得（第１の記憶媒体１４１への保存）が完了したら、第１の演算部１４２へ取得完了を示す制御信号を送信する。これに応じて、第１の演算部１４２は、第１の記憶媒体１４１に保存された全フレームデータを対象として画素毎に最小の画素値と最大の画素値とを抽出し、最小の画素値で構成される最小値画像の画像データＩＭｉｎ’（ｘ，ｙ）と、最大の画素値で構成される最大値画像の画像データＩＭａｘ’（ｘ，ｙ）とを算出する。すなわち、最大値画像と最小値画像は、式（２）に示されるように、画素毎に、全フレームデータ（ｋ＝０，１，…，Ｎ－１）間での最大値と最小値を算出し、それぞれを二次元状に再度配列した画像である。
【0034】
【数2】
【0035】
次に、第２の演算処理部１４３は、最大値画像と最小値画像の画素毎に、最大値画像と最小値画像の画素値の和に対する差の比を算出することで、合成処理画像の画像データを算出する。具体的には、第２の演算処理部１４３は、式（２）の最大値画像の画像データＩＭａｘ’（ｘ，ｙ）と最小値画像の画像データＩＭｉｎ’（ｘ，ｙ）とを用いて、式（３）に基づいて合成処理画像の画像データΓ（ｘ，ｙ）を算出する。式（３）は、コントラストの演算式として知られている。
【0036】
【数3】
【0037】
画像処理部１４は、このようにして撮像部１３から得られた複数の撮像画像データ（１セット分のフレームデータ（ｋ＝０，１，…，Ｎ－１））を用いて合成処理画像の画像データΓ（ｘ，ｙ）を算出する。当該合成処理画像の画像データΓ（ｘ，ｙ）は、詳細は後述するが、対象物２の３次元形状の特徴を表すデータとなる。なお、合成処理画像の画像データΓ（ｘ，ｙ）は、画像の情報信号として出力部１５から出力される。第２の演算処理部１４３は、画像データΓ（ｘ，ｙ）の出力を完了すると、次のセットに対する撮像の開始を指示する制御信号を撮像制御部１４０へ送信する。
【0038】
図７は、図６の画像処理部周りの詳細な動作例を示すフローチャートである。まず、ステップＳ７０２において、周期パターン生成部１０は、調整部１２から入力された周期Ｌと完全暗部の割合Ｄに関するパラメータに基づいて、１周期Ｌ内の画素値Ｉ０（ｘ，ｙ）の分布を決定する。続いて、ステップＳ７０３において、周期パターン生成部１０は、現在のフレームに基づき初期位置Ｘ０を定めることで周期パターンの画素値Ｉ（ｘ，ｙ）を生成し、当該画素値Ｉ（ｘ，ｙ）を制御信号として照明部１１へ送信する。照明部１１は、当該画素値Ｉ（ｘ，ｙ）に基づく輝度分布の光を所定時間だけ対象物２へ照射する。また、周期パターン生成部１０は、画像処理部１４に初期位置Ｘ０とフレームとの対応付けを行わせるため、初期位置Ｘ０の情報を画像処理部１４へ送信する。
【0039】
次いで、ステップＳ７０４において、撮像部１３は、対象物２からの透過光の強さを画素毎に検出することで画像を撮像し、画像の撮像データを画像処理部１４へ送信する。続いて、ステップＳ７０５において、画像処理部（具体的には撮像制御部１４０）は、撮像部１３からの撮像データを第１の記憶媒体１４１に保存し、保存が完了したらその旨を示す制御信号を周期パターン生成部１０へ送信することで、周期パターン生成部１０に、次の初期位置Ｘ０での周期パターンの生成を指示する。
【0040】
このステップＳ７０３～Ｓ７０５の処理は、ステップＳ７０６において、周期パターン生成部１０が最終（Ｎ－１番目）の周期パターンを生成し、これに応じた最終のフレームデータを画像処理部１４が取得するまで行われる。画像処理部１４は、最終のフレームデータを取得すると、ステップＳ７０７において、第１の記憶媒体１４１に保存された１セット分のフレームデータ（ｋ＝０，１，…，Ｎ－１）を用いて、式（２）および式（３）に基づいて合成処理画像の画像データΓ（ｘ，ｙ）を算出し、それを出力部１５へ送信する。なお、ステップＳ７０６の判定処理とステップＳ７０７の合成処理とを入れ替えることで、画像処理部１４は、順次受信した撮像データに対して、式（２）における最大値・最小値比較の演算を行うパイプライン処理を行ってもよい。
【0041】
《合成処理画像の詳細》
前述したように、合成処理画像の画像データΓ（ｘ，ｙ）は、対象物２の３次元形状の特徴を表すデータとなる。具体的には、画像データΓ（ｘ，ｙ）は、対象物２における凹凸を、その凹凸の形状（具体的には傾斜角）に応じて選択的に強調したデータとなる。これについて、詳細に説明する。図８（ａ）および図８（ｂ）は、図６において、対象物の凹凸の有無による透過パターンの違いを説明するための概念図である。図９は、図６において、周期パターンを位相シフトさせた場合での、対象物の凹凸の有無による透過パターンの違いを説明するための概念図である。
前述したように、合成処理画像の画像データΓ（ｘ，ｙ）は、対象物２の３次元形状の特徴を表すデータとなる。具体的には、画像データΓ（ｘ，ｙ）は、対象物２における凹凸を、その凹凸の形状（具体的には傾斜角）に応じて選択的に強調したデータとなる。これについて、詳細に説明する。図８（ａ）および図８（ｂ）は、図６において、対象物の凹凸の有無による透過パターンの違いを説明するための概念図である。図９は、図６において、周期パターンを位相シフトさせた場合での、対象物の凹凸の有無による透過パターンの違いを説明するための概念図である。
【0042】
図８（ｂ）に示すように、対象物２における凹凸では、照明部１１から斜方向に入射した光線が屈折し、この屈折した光線が撮像部１３へ入射する。凹凸のないフラットな境界面に比べ、凹凸では境界面が傾斜しているため、光線の屈折によって、照明部１１における広範囲から出射した光線群が撮像部１３内の所定の画素に入射する。その結果、撮像部１３で取得する画像の中で、凹凸を透過した光線が結像される画素では、照明部１１における照度分布が平均化される。言い換えれば、当該画素には、周期パターンの明部からの光線と暗部からの光線が凹凸の形状に応じた割り合いで入射され得るため、それらが打ち消し合い、照度分布が平均化される。
【0043】
その結果、周期パターンの位相を０～２×πの範囲内でシフトさせても、各撮像データ（フレームデータ）において、凹凸に対応した画素の画素値は大きく変動はしない。そのため、図９のように、フラットな境界面を透過した光線を結像した画素に比べ、凹凸に対応した画素では位相をシフトさせたときに取りうる最大値と最小値の差が小さい。式（３）で定義される合成処理画像の画像データΓ（ｘ，ｙ）は、この最小値と最大値の差をその平均値により規格化した値に比例するため、凹凸に伴う鮮明度の程度を定量化したものとなる。このため、画像処理部１４で得られる１セットの合成処理画像の画像データΓ（ｘ，ｙ）は、表面の凹凸における光線の屈折角（言い換えれば、凹凸の傾斜角）を反映したデータとなる。
【0044】
次に、合成処理画像の画像データΓ（ｘ，ｙ）が、凹凸を、凹凸の形状（具体的には傾斜角）に応じて選択的に強調できることについて説明する。強調したい凹凸の形状（傾斜角）は、周期パターン生成部１０における完全暗部３１の割合Ｄによって調整することが可能である。図１０は、図６において、完全暗部を設けた場合で、凹凸の形状に応じた透過パターンの変化の様子を示す概念図である。凹凸（具体的には凹凸の傾斜角）が比較的なだらかであれば、透過光線の屈折角が小さいため、透過パターンの鮮明度は、周期パターンに比べてさほど下がらない。この際には、完全暗部３１を設けたことにより、たとえ鮮明度の低下が生じても完全暗部３１が残るため、位相をシフトしたときの最小値はゼロのままである。その結果、式（３）で定義される画像データΓ（ｘ，ｙ）の値は、凹凸が無いフラットな境界面と同じ１となる。
【0045】
一方、凹凸が急峻な場合、透過光線の屈折角が大きいため、透過パターンの鮮明度は、周期パターンに比べて大きく低下する。その結果、完全暗部３１は消え、位相をシフトしたときの最小値は有限の値となる。その結果、式（３）で定義される画像データΓ（ｘ，ｙ）の値は、１より小さくなり、透過パターンの鮮明度が画像データΓ（ｘ，ｙ）の値として反映されることとなる。
【0046】
図１１は、図１０において、凹凸の傾斜角に対する合成処理画像の画像データの値の変化を表す概念図である。完全暗部３１を設けることにより、図１１に示されるように、凹凸がなだらかであれば、合成処理画像の画像データΓ（ｘ，ｙ）の値は１に保たれるため、凹凸に対する感度のない不感帯を設けることが可能である。一方、凹凸の傾斜角がある閾値を越えると、完全暗部３１が鮮明度の低下により消失し、画像データΓ（ｘ，ｙ）の値は１よりも小さくなり、凹凸に対する感度が発生する。
【0047】
この凹凸の傾斜角の閾値は、調整部１２を介して周期パターンの周期Ｌと完全暗部の割合Ｄとを調整することによって可変設定することが可能である。具体的には、完全暗部３１の割合Ｄを大きくするほど、より急な傾斜角の凹凸を撮像している画素のみで画像データΓ（ｘ，ｙ）の値が１よりも小さくなる。このため、例えば、完全暗部３１の割合Ｄを十分に大きくした場合には、急な傾斜角の凹凸のみを強調し、なだらかな傾斜角の凹凸を見えないようにした合成処理画像を得ること等が可能になる。このように、実施の形態１の方式を用いると、閾値以上の傾斜がついた凹凸のみが強調されるので、よりコントラストの高い画像が得られるという利点がある。
【0048】
なお、ここでは、画像処理部１４における演算方法の一例として式（２）および式（３）を用いたが、演算方法は、必ずしも式（２）および式（３）に限定されない。すなわち、図１０および図１１から判るように、実施の形態１の方式では、概略的には完全暗部３１の残存有無、ひいては式（２）の最小値画像の画像データＩＭｉｎ’（ｘ，ｙ）に基づいて凹凸の形状（傾斜角）を判定している。したがって、画像処理部１４は、合成処理画像の画像データΓ（ｘ，ｙ）を算出する際に、少なくとも、第１の記憶媒体１４１内の複数の撮像画像データを対象として画素毎に最小の画素値（ＩＭｉｎ’（ｘ，ｙ））を抽出する処理を行えばよい。
【0049】
《閾値の調整方法》
図１１における閾値の調整方法として、前述したように、周期パターン生成部１０によって生成される周期パターンの周期Ｌおよび完全暗部の割合Ｄ（言い換えれば周期パターンにおける完全暗部の面積）を調整する画像調整方法が挙げられる。さらに、その他の調整方法として、照明部１１と対象物２と撮像部１３との間の物理的な配置関係を調整する配置調整方法が挙げられる。図２２は、図１において、対象物に照射される周期パターンが照明部と対象物との間の距離に応じて変化する様子の一例を示す模式図である。照明部１１と対象物２との間の距離の調整は、前述したように、対応する制御信号が調整部１２から各種アクチュエータへ出力されることで行われる。
図１１における閾値の調整方法として、前述したように、周期パターン生成部１０によって生成される周期パターンの周期Ｌおよび完全暗部の割合Ｄ（言い換えれば周期パターンにおける完全暗部の面積）を調整する画像調整方法が挙げられる。さらに、その他の調整方法として、照明部１１と対象物２と撮像部１３との間の物理的な配置関係を調整する配置調整方法が挙げられる。図２２は、図１において、対象物に照射される周期パターンが照明部と対象物との間の距離に応じて変化する様子の一例を示す模式図である。照明部１１と対象物２との間の距離の調整は、前述したように、対応する制御信号が調整部１２から各種アクチュエータへ出力されることで行われる。
【0050】
図２２に示されるように、例えば、照明部１１と対象物２との間の距離を長くするにつれて、対象物２の実際の照射面における周期パターンの鮮明度は、周期パターン生成部１０で生成される周期パターンに比べて低くなる。周期パターンの鮮明度が低下すると、その分だけ、完全暗部３１の割合Ｄも小さくなる。このように、照明部１１と対象物２との間の距離を調整することでも周期パターンにおける完全暗部３１の面積を調整することが可能である。さらに、対象物２と撮像部１３との間の距離を調整することでも、同様の仕組みによって完全暗部３１の面積を調整することが可能である。
【0051】
したがって、画像調整方法の代わりに配置調整方法を用いることも可能であり、画像調整方法と配置調整方法とを併用することも可能である。例えば、画像調整方法では、完全暗部３１の割合（面積）Ｄの設定分解能がディスプレイ等の照明部１１の画素数に依存するため、場合によっては、割合Ｄ、ひいては閾値の設定分解能が不足する恐れがある。そこで、例えば、ある程度までは画像調整方法によって割合Ｄを調整し、その調整後の画像を用いて、さらに配置調整方法を用いて距離をリニアに調整すれば、閾値の設定分解能を高めることが可能になる。
【0052】
《実施の形態１の主要な効果》
以上、実施の形態１の撮像装置を用いることで、対象物における凹凸を選択的に強調した画像を得ることが可能になる。または、見たくない凹凸を不可視化した画像を得ることが可能になる。これらの結果、例えば、当該撮像装置を表面欠陥検査装置に適用した場合には、対象物の表面に形成された人工的な凹凸と、欠陥に伴う凹凸とを傾斜角の違いによって区別することが可能になり、検査精度の向上等が図れる。
以上、実施の形態１の撮像装置を用いることで、対象物における凹凸を選択的に強調した画像を得ることが可能になる。または、見たくない凹凸を不可視化した画像を得ることが可能になる。これらの結果、例えば、当該撮像装置を表面欠陥検査装置に適用した場合には、対象物の表面に形成された人工的な凹凸と、欠陥に伴う凹凸とを傾斜角の違いによって区別することが可能になり、検査精度の向上等が図れる。
【0053】
なお、ここでは、完全暗部３１の面積を調整する方式を用いたが、代わりに、完全明部３０の面積を調整する方式を用いることも可能である。この場合、周期パターンは、照明部１１に、画素値が最大となる完全明部を有限の面積だけ生じさせるパターンとなる。また、画像処理部１４は、合成処理画像の画像データΓ（ｘ，ｙ）を算出する際に、撮像部１３からの複数の撮像画像データを対象として、少なくとも画素毎に最大の画素値を抽出すればよい。ただし、完全明部３０の画素値は、完全暗部３１の画素値に比べて、照明部１１の照度の揺らぎに応じて変化し易い。その結果、当該照度の揺らぎに応じて閾値の精度が低下することになる。したがって、このような観点からは、完全暗部３１の面積を調整する方式を用いることが望ましい。
【0054】
（実施の形態２）
《周期パターンの詳細》
図１２は、本発明の実施の形態２による撮像装置で用いる周期パターンの一例を示す図である。図１２に示す周期パターンは、図３の場合と異なり、明部および暗部がそれぞれ完全明部３０および完全暗部３１のみで構成される矩形波状のパターンである。撮像装置として、実施の形態１の場合と同様の構成を用いた場合、当該矩形波状のパターンは、図１の周期パターン生成部１０によって生成される。この場合、周期パターン生成部１０は、２値の画素値Ｉ（ｘ，ｙ）からなる周期パターンを生成すればよいため、処理の簡素化等が実現可能になる。
《周期パターンの詳細》
図１２は、本発明の実施の形態２による撮像装置で用いる周期パターンの一例を示す図である。図１２に示す周期パターンは、図３の場合と異なり、明部および暗部がそれぞれ完全明部３０および完全暗部３１のみで構成される矩形波状のパターンである。撮像装置として、実施の形態１の場合と同様の構成を用いた場合、当該矩形波状のパターンは、図１の周期パターン生成部１０によって生成される。この場合、周期パターン生成部１０は、２値の画素値Ｉ（ｘ，ｙ）からなる周期パターンを生成すればよいため、処理の簡素化等が実現可能になる。
【0055】
《撮像装置の概略》
図１２のような周期パターンを生成する際には、図１のような構成に限らず、図１３のような構成を用いることも可能である。図１３は、本発明の実施の形態２による撮像装置の全体構成例を示す概略図である。図１３に示す撮像装置１は、図１の場合と同様の撮像部１３、画像処理部１４および出力部１５に加えて、可動ステージ制御部１６と、図１とは異なる照明部１１とを備える。
図１２のような周期パターンを生成する際には、図１のような構成に限らず、図１３のような構成を用いることも可能である。図１３は、本発明の実施の形態２による撮像装置の全体構成例を示す概略図である。図１３に示す撮像装置１は、図１の場合と同様の撮像部１３、画像処理部１４および出力部１５に加えて、可動ステージ制御部１６と、図１とは異なる照明部１１とを備える。
【0056】
図１３の照明部１１は、一様な光を出射する一様照明部１１０と、一様照明部１１０と対象物２との間に配置される遮光部１１１とを備える。遮光部１１１は、周期的に形成される開口と当該開口の間に設けられる閉口とを備えることで、開口を通過し閉口で遮断される光からなる周期パターンを生成し、当該周期パターンを対象物２に照射する。これにより、周期パターンには、閉口に基づき、輝度が最低となる完全暗部３１が有限の面積だけ設けられる。可動ステージ制御部１６は、遮光部１１１を周期方向へ移動させることで、互いに位相の異なる複数の周期パターンが対象物２に照射されるように制御する。
【0057】
一様照明部１１０は、図１の場合と同様にディスプレイやプロジェクタ等でもよいが、図１の場合と異なり照度分布が不要であるため、例えば、ランプやＬＥＤ（light emitted diode）、レーザーなどの光源からの出射を適切な光学系を用いて一様な照明としたものでもよい。遮光部１１１は、例えば矩形状に開口を空けた板やインクで塗ったフィルムなどが挙げられ、光を吸収あるいは反射する領域と透過する領域とが周期的に並んだ媒質である。遮光部１１１の周期Ｌと完全暗部３１、すなわち吸収あるいは反射する領域の割合Ｄは、予め所望の感度となるように調整される。感度調整は、遮光部１１１の交換によって行われる。
【0058】
遮光部１１１には、図示は省略するが、可動ステージ制御部１６からの制御信号に基づいて一方向に一定の距離だけ遮光部１１１を移動させる電動ステージのようなアクチュエータが取り付けられている。可動ステージ制御部１６は、遮光部１１１が一定距離移動したら、図６および図７で述べた周期パターン生成部１０の場合と同様に、撮像データの取り込み及び保存を行わせるための制御信号を画像処理部１４へ送信する。また、可動ステージ制御部１６は、保存が完了したことを示す制御信号を画像処理部１４から受信したら、遮光部１１１を再び一定距離だけ移動させる。
【0059】
《実施の形態２の主要な効果》
以上、実施の形態２の撮像装置を用いることで、実施の形態１で述べた各種効果に加えて、さらに、次のような効果が得られる。まず、対象物２に照明する周期パターンを２値信号である矩形波状の信号とすることにより、照明部１１への制御信号の数を減らし、制御を容易化することが可能になる。また、照明部１１に一様照明部１１０といったシンプルな構成を適用できる。さらに、遮光部１１１を用いて周期パターンを物理的にシフトすることにより、ディスプレイ等における画素サイズよりも細かいステップで、位相シフトを行うことができるため、画像処理部１４で算出される合成処理画像の画像データΓ（ｘ，ｙ）をより高精度化することが可能になる。具体的には、最小値画像および最大値画像の各画像データＩＭｉｎ’（ｘ，ｙ），ＩＭａｘ’（ｘ，ｙ）の値の誤差を低減できる。
以上、実施の形態２の撮像装置を用いることで、実施の形態１で述べた各種効果に加えて、さらに、次のような効果が得られる。まず、対象物２に照明する周期パターンを２値信号である矩形波状の信号とすることにより、照明部１１への制御信号の数を減らし、制御を容易化することが可能になる。また、照明部１１に一様照明部１１０といったシンプルな構成を適用できる。さらに、遮光部１１１を用いて周期パターンを物理的にシフトすることにより、ディスプレイ等における画素サイズよりも細かいステップで、位相シフトを行うことができるため、画像処理部１４で算出される合成処理画像の画像データΓ（ｘ，ｙ）をより高精度化することが可能になる。具体的には、最小値画像および最大値画像の各画像データＩＭｉｎ’（ｘ，ｙ），ＩＭａｘ’（ｘ，ｙ）の値の誤差を低減できる。
【0060】
（実施の形態３）
《撮像装置の概略》
図１４は、本発明の実施の形態３による撮像装置の全体構成例を示す概略図である。図１５は、図１４とは異なる撮像装置の全体構成例を示す概略図である。図１の撮像装置は、対象物２からの透過パターンを撮像したが、実施の形態３の撮像装置は、対象物２からの反射パターンを撮像する。これにより、所望の波長域で光を吸収する対象物２に対しても、表面における凹凸を観測することが可能になる。
《撮像装置の概略》
図１４は、本発明の実施の形態３による撮像装置の全体構成例を示す概略図である。図１５は、図１４とは異なる撮像装置の全体構成例を示す概略図である。図１の撮像装置は、対象物２からの透過パターンを撮像したが、実施の形態３の撮像装置は、対象物２からの反射パターンを撮像する。これにより、所望の波長域で光を吸収する対象物２に対しても、表面における凹凸を観測することが可能になる。
【0061】
図１４および図１５の撮像装置１は、共に、図１の場合と同様の周期パターン生成部１０、照明部１１、調整部１２、撮像部１３、画像処理部１４および出力部１５を備える。この際には、図１の周期パターン生成部１０および照明部１１の代わりに、図１３に示した一様照明部１１０、遮光部１１１および可動ステージ制御部１６を用いてもよい。対象物２は、実施の形態１，２と異なり、照明部１１からの出射光の波長域で透過性ではなく、反射性の媒質である。例えば、波長域が可視域にある場合は、表面に文字が刻印された製品や、亀裂や傷などの凹凸が存在する金属やセラミック製の壁面などが観測対象として考えられる。照明部１１から出射した周期パターンは、図１４に示すように斜方向から対象物２に入射してもよいし、図１５に示すようにビームスプリッタ１７を配置して、同軸落射型の照明配置としてもよい。
【0062】
《実施の形態３の主要な効果》
以上、実施の形態３の撮像装置を用いることで、実施の形態１等で述べた各種効果を、対象物２が反射性の媒質に対しても得ることが可能になる。例えば、実施の形態３の撮像装置を用いると、刻印やインクの凹凸を選択的に強調できるため、非常に細かく書かれた読みづらい印字を読みやすくすること等が可能になる。あるいは、産業用途やインフラ用途で使用されている大掛かりな装置における、細かい亀裂を発見する目的にも適用できる。
以上、実施の形態３の撮像装置を用いることで、実施の形態１等で述べた各種効果を、対象物２が反射性の媒質に対しても得ることが可能になる。例えば、実施の形態３の撮像装置を用いると、刻印やインクの凹凸を選択的に強調できるため、非常に細かく書かれた読みづらい印字を読みやすくすること等が可能になる。あるいは、産業用途やインフラ用途で使用されている大掛かりな装置における、細かい亀裂を発見する目的にも適用できる。
【0063】
（実施の形態４）
《画像処理部の詳細》
図１６は、本発明の実施の形態４による撮像装置において、図１の画像処理部の構成例を示す概略図である。図１６に示す画像処理部１４は、図６に示した撮像制御部１４０、第１の記憶媒体１４１、第１の演算部１４２および第２の演算部１４３に加えて、第３の演算部１４４と、第２の記憶媒体１４５とを備える。例えば、第２の演算部１４３は、合成処理画像の画像データΓ（ｘ，ｙ）として第１の画像データと第２の画像データとを算出し、これらを第２の記憶媒体１４５に保存する。例えば、第１の画像データは、周期パターンにおける完全暗部の面積が第１の面積である場合に得られるデータであり、第２の画像データは、周期パターンにおける完全暗部の面積が第１の面積とは異なる第２の面積である場合に得られるデータである。
《画像処理部の詳細》
図１６は、本発明の実施の形態４による撮像装置において、図１の画像処理部の構成例を示す概略図である。図１６に示す画像処理部１４は、図６に示した撮像制御部１４０、第１の記憶媒体１４１、第１の演算部１４２および第２の演算部１４３に加えて、第３の演算部１４４と、第２の記憶媒体１４５とを備える。例えば、第２の演算部１４３は、合成処理画像の画像データΓ（ｘ，ｙ）として第１の画像データと第２の画像データとを算出し、これらを第２の記憶媒体１４５に保存する。例えば、第１の画像データは、周期パターンにおける完全暗部の面積が第１の面積である場合に得られるデータであり、第２の画像データは、周期パターンにおける完全暗部の面積が第１の面積とは異なる第２の面積である場合に得られるデータである。
【0064】
第３の演算部１４４は、第２の演算部１４３から画像データの保存を完了した旨の制御信号を受けて、第２の記憶媒体１４５に保存された互いに閾値が異なる第１の画像データと第２の画像データとを用いて別の合成処理画像の画像データを算出する。具体例として、第３の演算部１４４は、画素毎に第１の画像データと第２の画像データの差分を算出する。図１７は、図１６における第３の演算部の処理内容の一例を示す模式図である。
【0065】
図１７に示されるように、例えば、第１の画像データと第２の画像データの差分を算出することで、ある閾値範囲で感度を有する合成処理画像の画像データΓ（ｘ，ｙ）を算出することが可能になる。その結果、例えば、ある閾値以上の傾斜角を有する凹凸が強調された画像データではなく、第１の閾値以上かつ第２の閾値以下の傾斜角を有する凹凸が強調された画像データを算出できる。
【0066】
《実施の形態４の主要な効果》
以上、実施の形態４の撮像装置を用いることで、実施の形態１等で述べた各種効果に加えて、凹凸の形状（具体的には傾斜角）に対する選択性をより向上させたデータを得ることが可能になる。その結果、例えば、当該撮像装置を表面欠陥検査装置に適用した場合には、検査精度の更なる向上等が図れる。
以上、実施の形態４の撮像装置を用いることで、実施の形態１等で述べた各種効果に加えて、凹凸の形状（具体的には傾斜角）に対する選択性をより向上させたデータを得ることが可能になる。その結果、例えば、当該撮像装置を表面欠陥検査装置に適用した場合には、検査精度の更なる向上等が図れる。
【0067】
（実施の形態５）
《撮像装置の概略》
図１８は、本発明の実施の形態５による撮像装置の一部の構成例を示す概略図である。図１８に示す撮像装置１は、例えば図１の場合と同様の周期パターン生成部１０、照明部１１（図示省略）、調整部１２、撮像部１３（図示省略）、画像処理部１４および出力部１５に加えて画像認識部１８を備える。画像認識部１８は、調整部１２を介して完全暗部の面積（図１１の閾値）を変更しながら、画像処理部１４に合成処理画像の画像データΓ（ｘ，ｙ）を算出させ、当該画像データΓ（ｘ，ｙ）に基づいて対象物２の３次元形状を認識する。画像認識部１８によって認識される情報は、厳密には光線の屈折角の情報であるが、実質的には対象物２における凹凸の傾斜角である。
《撮像装置の概略》
図１８は、本発明の実施の形態５による撮像装置の一部の構成例を示す概略図である。図１８に示す撮像装置１は、例えば図１の場合と同様の周期パターン生成部１０、照明部１１（図示省略）、調整部１２、撮像部１３（図示省略）、画像処理部１４および出力部１５に加えて画像認識部１８を備える。画像認識部１８は、調整部１２を介して完全暗部の面積（図１１の閾値）を変更しながら、画像処理部１４に合成処理画像の画像データΓ（ｘ，ｙ）を算出させ、当該画像データΓ（ｘ，ｙ）に基づいて対象物２の３次元形状を認識する。画像認識部１８によって認識される情報は、厳密には光線の屈折角の情報であるが、実質的には対象物２における凹凸の傾斜角である。
【0068】
図１９は、図１８における画像認識部の処理内容の一例を説明する図である。画像認識部１８は、調整部１２に所定のパラメータを送信し、画像処理部１４に合成処理画像の画像データΓ（ｘ，ｙ）を算出させる。この際に、画像認識部１８は、当該パラメータを逐次変更することにより、図１９（ａ）のように、画像データΓ（ｘ，ｙ）における凹凸の傾斜角の閾値を変調することが可能である。この変調の際に、図１９（ｂ）のように、凹凸の傾斜角と閾値とが一致した瞬間に急速に画像データΓ（ｘ，ｙ）の値が変化するため、この値の変化を捉えることにより、各画素毎の凹凸の傾斜角を画像認識部１８にて同定することが可能となる。
【0069】
具体例として、調整部１２でのパラメータに基づき完全暗部３１の割合Ｄが十分に大きい状態では、閾値が十分に大きく、図１１から分かるように、急な凹凸を撮像している画素でも、なだらかな凹凸を撮像している画素でも、凹凸無しを撮像している画素でも、画像データΓ（ｘ，ｙ）の値は１となる。パラメータを変更して、完成暗部３１の割合Ｄを小さくしていくと、閾値が小さくなっていき、急な凹凸を撮像している画素では、画像データΓ（ｘ，ｙ）の値が１よりも小さくなる。この際に、なだらかな凹凸を撮像している画素と、凹凸無しを撮像している画素では、画像データΓ（ｘ，ｙ）の値は１を維持する。
【0070】
パラメータを更に変更して、完成暗部３１の割合Ｄを更に小さくしていくと、なだらかな凹凸を撮像している画素でも、画像データΓ（ｘ，ｙ）の値が１よりも小さくなる。この際に、急な凹凸を撮像している画素では、画像データΓ（ｘ，ｙ）の値は１よりも小さくなったのち０に近い値となっており、凹凸無しを撮像している画像では、画像データΓ（ｘ，ｙ）の値は依然として１を維持する。
【0071】
このようにして、画像認識部１８は、各画素毎に画像データΓ（ｘ，ｙ）の値が１よりも小さくなった時点のパラメータ値を認識することができ、ひいては、各画素毎に、凹凸の傾斜角を認識することができる。なお、この例では、閾値を徐々に小さくしていったが、閾値を徐々に大きくしていく場合には、画像認識部１８は、画像データΓ（ｘ，ｙ）の値が１になった、または、画像データΓ（ｘ，ｙ）の値が急増した時点のパラメータ値を認識することで、各画素毎に、凹凸の傾斜角を認識することができる。
【0072】
また、画像認識部１８は、外部の記憶媒体または内部の記憶媒体に予め保持される参照データを用いて可視・不可視を分類する可視・不可視分類部を備え、当該可視・不可視分類部を用いて凹凸の種類を同定してもよい。具体的には、参照データは、例えば、可視化する傾斜角の範囲と、不可視化する傾斜角の範囲とを定めたデータである。具体例として、フィルム表面についた皺を人工的に形成された凹凸と区別して検出するという目的に対し、予め判明している人工的に設けた凹凸の傾斜角を不可視化する傾斜角として参照データに保持しておく。
【0073】
画像認識部１８は、前述したように、各画素と、各画素における凹凸の傾斜角との対応関係を表す画像データを生成することができる。この際の凹凸の傾斜角は、ある値以上といった情報ではなく、特定値の情報、または、パラメータの分解能（±Δ）に応じた当該特定値±Δの情報である。画像認識部１８は、このような画像データを対象に、参照データに基づき不可視化する傾斜角を有する画素の部分を除去することで、可視化する傾斜角のみを残した画像データを生成することができ、ひいては、皺のみが残った画像データを生成することができる。
【0074】
さらに、参照データは、このような傾斜角の分類情報に加えて、凹凸の大きさ、面積、分布などの情報を備えてもよい。図２０は、図１８における画像認識部で認識される対象物の構造例を示す図である。例えば、図２０に示すように、表面に周期的な凹み２１が人工的に形成されているような対象物２において、ランダムについた欠陥２２ａ，２２ｂのみを検出したいという状況を考える。この際に、欠陥２２ａのように、凹み２１の傾斜角と欠陥２２ａの傾斜角とが明確に異なっていれば、傾斜角の分類情報のみで両者を区別することが可能である。ただし、場合によっては、欠陥２２ｂのように、凹み２１の傾斜角と同等の傾斜角を持つ欠陥２２ｂが存在する可能性もある。この場合、欠陥２２ｂが人工的な凹み２１として誤検出される恐れがある。
【0075】
そこで、このような場合における凹み２１と欠陥２２ｂの区別方法の一例として、参照データ上に、人工的に形成された凹み２１の面積または分布を評価関数として定義しておく。例えば、欠陥２２ｂに対応する画素が占める面積と、凹み２１に対応する画素が占める面積とは明らかに異なる。このため、画像認識部１８は、このような参照データ上の評価関数を用いることで、凹み２１と欠陥２２ｂとを区別することが可能になる。また、画像認識部１８は、物理的な面積に限らず、周期性や不連続性に注目した評価関数や、その組合せによる評価関数を用いて区別を行ってもよい。画像認識部１８は、区別処理が完了したら、区別結果を出力部１５に出力する。
【0076】
《実施の形態５の主要な効果》
以上、実施の形態５の撮像装置を用いることで、実施の形態１等で述べた各種効果に加えて、画像全体における凹凸の形状を細かく認識することができ、更には、予め定めた参照データに基づいて、画像全体の中から特定の傾斜角を持つ凹凸を抽出することができる。
以上、実施の形態５の撮像装置を用いることで、実施の形態１等で述べた各種効果に加えて、画像全体における凹凸の形状を細かく認識することができ、更には、予め定めた参照データに基づいて、画像全体の中から特定の傾斜角を持つ凹凸を抽出することができる。
【0077】
（実施の形態６）
前述した実施の形態５では、主に、対象物２の表面に存在する欠陥を検出する場合を想定して説明を行ったが、実施の形態６では、対象物２に予め形成されている所定のパターンを認識する方法について説明する。実施の形態６による撮像装置の構成は、図１８に示した構成と同様である。実施の形態６において、図１８の画像認識部１８は、概略的には、調整部１２を介して完全暗部３１の面積を指示した状態で画像処理部１４に合成処理画像の画像データΓ（ｘ，ｙ）を算出させ、当該画像データΓ（ｘ，ｙ）に基づいて対象物２に予め形成されている所定のパターンを認識する。
前述した実施の形態５では、主に、対象物２の表面に存在する欠陥を検出する場合を想定して説明を行ったが、実施の形態６では、対象物２に予め形成されている所定のパターンを認識する方法について説明する。実施の形態６による撮像装置の構成は、図１８に示した構成と同様である。実施の形態６において、図１８の画像認識部１８は、概略的には、調整部１２を介して完全暗部３１の面積を指示した状態で画像処理部１４に合成処理画像の画像データΓ（ｘ，ｙ）を算出させ、当該画像データΓ（ｘ，ｙ）に基づいて対象物２に予め形成されている所定のパターンを認識する。
【0078】
完全暗部３１を設けた場合、例えば、図１１等に示したように、ある閾値以上の傾斜角をもつ凹凸のみで画像データΓ（ｘ，ｙ）の値が急激に小さくなる。これは、ソフトウェアで行われるトーンカーブを用いた高コントラスト化の補正処理と同様の処理を光学的に行えることを意味する。そこで、画像認識部１８は、当該光学的な補正処理を活用してパターン認識を行う。
【0079】
具体的には、画像認識部１８は、例えば、基準のパターン（例えば、文字や数字等）に対応する合成処理画像の画像データΓ（ｘ，ｙ）を予め教師データとして学習しておくことでパターン認識を行うパターン認識部を備える。画像認識部１８は、画像処理部１４から送信されてくる合成処理画像の画像データΓ（ｘ，ｙ）を元に、パターン認識部を用いてパターン認識処理を行う。このとき、パターン認識部は、合成処理画像そのものを用いてパターン認識処理を行ってもよいし、ソフトウェア上で別の画像処理を加えたのちにパターン認識処理を行ってもよい。パターン認識処理後、画像認識部１８は、合成処理画像を、対応するパターンのクラスの列に変換し、テキストデータや二値信号などの圧縮された信号情報として、出力部１５へ出力する。
【0080】
具体例として、製品における印字を対象に合成処理画像を生成し、画像認識部１８において文字や数字のパターンと照合する場合を想定する。この際に、文字や数字のパターンの輪郭を表す傾斜角またはその範囲は予め判明しているため、画像認識部１８は、実施の形態５で述べた可視・不可視分類部を用いて、文字や数字のパターンのみを残存させ、その他の余分なノイズ成分を除去した画像データを生成することができる。画像認識部１８は、このように文字や数字のパターンのみを残存させた画像データを対象に、パターン認識部を用いて文字や数字の種類を特定する。この際に、パターン認識の対象となる画像データからは予め余分なノイズ成分が除去されているため、パターン認識の容易化、または高精度化等が実現可能となる。
【0081】
《実施の形態６の主要な効果》
以上、実施の形態６の撮像装置を用いることで、実施の形態１等で述べた各種効果に加えて、パターン認識の容易化、または高精度化等が実現可能になる。さらに、合成処理画像のうち、必要となる情報（例えば、文字や数字の認識結果等）のみを圧縮データとして出力できるため、出力部１５からの情報を大幅に削減することが可能となる。その結果、出力情報の保存容量を低減したり、転送にかかる時間を短縮することも可能となる。
以上、実施の形態６の撮像装置を用いることで、実施の形態１等で述べた各種効果に加えて、パターン認識の容易化、または高精度化等が実現可能になる。さらに、合成処理画像のうち、必要となる情報（例えば、文字や数字の認識結果等）のみを圧縮データとして出力できるため、出力部１５からの情報を大幅に削減することが可能となる。その結果、出力情報の保存容量を低減したり、転送にかかる時間を短縮することも可能となる。
【0082】
（実施の形態７）
《撮像装置の概略》
図２１は、本発明の実施の形態７による撮像装置の一部の構成例を示す概略図である。図２１に示す撮像装置１は、例えば図１の場合と同様の周期パターン生成部１０、照明部１１（図示省略）、調整部１２、撮像部１３（図示省略）、画像処理部１４および出力部１５に加えて画像認識部１８および自動調整部１９を備える。画像認識部１８は、画像処理部１４からの合成処理画像の画像データΓ（ｘ，ｙ）に基づいて対象物２の３次元形状を認識する。自動調整部１９は、画像認識部１８の認識結果に基づいて、所定の特徴をもつ３次元形状のみを可視化するように、調整部１２を介して完全暗部３１の面積を指示する。
《撮像装置の概略》
図２１は、本発明の実施の形態７による撮像装置の一部の構成例を示す概略図である。図２１に示す撮像装置１は、例えば図１の場合と同様の周期パターン生成部１０、照明部１１（図示省略）、調整部１２、撮像部１３（図示省略）、画像処理部１４および出力部１５に加えて画像認識部１８および自動調整部１９を備える。画像認識部１８は、画像処理部１４からの合成処理画像の画像データΓ（ｘ，ｙ）に基づいて対象物２の３次元形状を認識する。自動調整部１９は、画像認識部１８の認識結果に基づいて、所定の特徴をもつ３次元形状のみを可視化するように、調整部１２を介して完全暗部３１の面積を指示する。
【0083】
実施の形態５，６では、画像認識部１８が調整部１２へのパラメータを変更しながら対象部２の全体形状を認識する例を示したが、必ずしも全体形状を認識する必要はなく、例えば、欠陥を検出する場合や、または、パターンを検出する場合といった各種目的に応じて、その目的のみが果たせればよい。自動調整部１９は、このような目的を果たすため、パラメータを単純にリニアに変更するのではなく、例えば、範囲を絞り込んで変更したり、あるいは飛び飛びに変更するといったパラメータの各種最適化を行う。
【0084】
一例として、パターンを検出するような場合、自動調整部１９は、予め判定している当該パターンの傾斜角に基づいてパラメータの範囲を絞り込むことができる。また、別の例として、自動調整部１９は、パラメータを２分探索を用いて変更しながら、画像認識部１８の認識結果の差異を見て、次のパラメータを定めるようなことも可能である。この際に、例えば、画像認識部１８によってある傾斜角の範囲で欠陥が検出された場合、自動調整部１９は、当該欠陥に着目して、当該欠陥のより詳細な傾斜角を特定するようにパラメータを絞り込んでいくようなことも可能である。
【0085】
《実施の形態７の主要な効果》
以上、実施の形態７の撮像装置を用いることで、実施の形態１等で述べた各種効果に加えて、目的に応じた撮像装置の自動制御が実現可能になる。例えば、表面欠陥検査に適用した場合、これまで人が照明に対する角度や位置を変えるという作業を通じて目視で行っていた検査を自動化することができ、省人化・品質安定化の効果が得られる。さらに、パラメータを最適化することで、撮像回数等を削減でき、例えば検査時間の短縮等といった時間的コストの削減が可能になる。
以上、実施の形態７の撮像装置を用いることで、実施の形態１等で述べた各種効果に加えて、目的に応じた撮像装置の自動制御が実現可能になる。例えば、表面欠陥検査に適用した場合、これまで人が照明に対する角度や位置を変えるという作業を通じて目視で行っていた検査を自動化することができ、省人化・品質安定化の効果が得られる。さらに、パラメータを最適化することで、撮像回数等を削減でき、例えば検査時間の短縮等といった時間的コストの削減が可能になる。
【0086】
以上述べた各実施の形態は、本発明を分かりやすく説明するためのものであり、本発明の範囲を限定するものではない。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。例えば実施の形態１に示す透過型配置、あるいは実施の形態３に示す反射型配置の撮像装置１において、実施の形態２の照明部１１、実施の形態４の画像処理部１５、実施の形態５，６の画像認識部１８のいずれか、あるいはそれらの組み合わせを、具備した構成としてもよい。また、実施の形態５、あるいは実施の形態６に示す撮像装置１において、実施の形態７に示す自動調整部１９を具備してもよい。
【0087】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【符号の説明】
【0088】
１…撮像装置、２…対象物、１０…周期パターン生成部、１１…照明部、１２…調整部、１３…撮像部、１４…画像処理部、１５…出力部、１６…可動ステージ制御部、１８…画像認識部、１９…自動調整部、３０…完全明部、３１…完全暗部、１１０…一様照明部、１１１…遮光部、１４２…第１の演算部、１４３…第２の演算部、１４４…第３の演算部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】