知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120969
(43)【公開日】2023-08-30
(54)【発明の名称】画像処理装置、画像処理方法及び三次元形状測定装置
(51)【国際特許分類】
G01B 11/24 20060101AFI20230823BHJP
G06T 7/571 20170101ALI20230823BHJP
G06T 5/00 20060101ALI20230823BHJP
【ＦＩ】
G01B11/24 K
G06T7/571
G06T5/00 710
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022024137
(22)【出願日】2022-02-18
(71)【出願人】
【識別番号】000151494
【氏名又は名称】株式会社東京精密
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】林 恭平
【テーマコード（参考）】
2F065
5B057
5L096
【Ｆターム（参考）】
2F065AA53
2F065BB05
2F065DD03
2F065FF10
2F065GG03
2F065GG07
2F065JJ03
2F065JJ26
2F065LL04
2F065LL30
2F065MM07
2F065PP02
2F065QQ25
2F065QQ31
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE03
5B057CE06
5B057DB02
5B057DB09
5B057DC22
5L096AA09
5L096CA04
5L096FA23
5L096FA66
(57)【要約】
【課題】測定対象物の三次元形状データを精度よく取得できる画像処理装置、画像処理方法及び三次元形状測定装置を提供する。
【解決手段】画像処理装置１００は、撮像装置１０によって焦点位置を変えて撮像した測定対象物Ｏｂの複数の画像を取得し、撮像装置１０の結像光学系１４の焦点位置ごとの点拡がり関数に基づいて点拡がり関数に基づいて、取得した複数の画像のボケを補正する。また、画像処理装置１００は、ボケ補正後の複数の画像に対し、画素ごとに合焦度の評価値を算出し、算出した画素ごとの合焦度の評価値に基づいて、測定対象物Ｏｂの三次元形状データを生成する。
【選択図】 図１
【解決手段】画像処理装置１００は、撮像装置１０によって焦点位置を変えて撮像した測定対象物Ｏｂの複数の画像を取得し、撮像装置１０の結像光学系１４の焦点位置ごとの点拡がり関数に基づいて点拡がり関数に基づいて、取得した複数の画像のボケを補正する。また、画像処理装置１００は、ボケ補正後の複数の画像に対し、画素ごとに合焦度の評価値を算出し、算出した画素ごとの合焦度の評価値に基づいて、測定対象物Ｏｂの三次元形状データを生成する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
焦点位置を変えて撮像した測定対象物の複数の画像を処理する画像処理装置であって、
前記測定対象物の複数の前記画像を取得する画像取得部と、
複数の前記画像を撮像した撮像装置の光学系の前記焦点位置ごとの点拡がり関数に基づいて、複数の前記画像を処理し、前記画像のボケを補正する画像処理部と、
ボケ補正後の複数の前記画像に対し、画素ごとに合焦度の評価値を算出し、算出した前記画素ごとの合焦度の評価値に基づいて、前記測定対象物の三次元形状データを生成する三次元形状データ生成部と、
を備えた画像処理装置。
前記測定対象物の複数の前記画像を取得する画像取得部と、
複数の前記画像を撮像した撮像装置の光学系の前記焦点位置ごとの点拡がり関数に基づいて、複数の前記画像を処理し、前記画像のボケを補正する画像処理部と、
ボケ補正後の複数の前記画像に対し、画素ごとに合焦度の評価値を算出し、算出した前記画素ごとの合焦度の評価値に基づいて、前記測定対象物の三次元形状データを生成する三次元形状データ生成部と、
を備えた画像処理装置。
【請求項2】
前記画像処理部は、前記画像をフーリエ変換して得られる周波数領域の前記画像に対し、前記点拡がり関数に基づく周波数領域の復元フィルタを適用して、周波数領域の前記画像を補正し、補正後の周波数領域の前記画像を逆フーリエ変換して、前記画像のボケを補正する、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記点拡がり関数をフーリエ変換して得られる周波数領域の前記点拡がり関数から周波数領域の逆フィルタを算出し、算出した周波数領域の前記逆フィルタが、周波数領域の前記復元フィルタに設定される、
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項4】
前記点拡がり関数をフーリエ変換して得られる周波数領域の前記点拡がり関数から周波数領域のウィーナーフィルタを算出した周波数領域の前記ウィーナーフィルタが、周波数領域の前記復元フィルタに設定される、
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項5】
前記ウィーナーフィルタが、次式により算出される、
PSFf*(ωx,ωy,ωz)/{PSFf(ωx,ωy,ωz)PSFf*(ωx,ωy,ωz)+SN}
ただし、
PSF(x,y,z)は、前記点拡がり関数のボクセルデータ、
PSFf(ωx,ωy,ωz)は、PSF(x,y,z)をフーリエ変換した写像、
PSFf*(ωx,ωy,ωz)は、PSFf(ωx,ωy,ωz)の複素共役、
SNは、定数である、
請求項４に記載の画像処理装置。
PSFf*(ωx,ωy,ωz)/{PSFf(ωx,ωy,ωz)PSFf*(ωx,ωy,ωz)+SN}
ただし、
PSF(x,y,z)は、前記点拡がり関数のボクセルデータ、
PSFf(ωx,ωy,ωz)は、PSF(x,y,z)をフーリエ変換した写像、
PSFf*(ωx,ωy,ωz)は、PSFf(ωx,ωy,ωz)の複素共役、
SNは、定数である、
請求項４に記載の画像処理装置。
【請求項6】
前記定数SNが、実験的に設定される、
請求項５に記載の画像処理装置。
請求項５に記載の画像処理装置。
【請求項7】
前記画像処理部は、前記点拡がり関数のボクセルデータに基づいて、前記測定対象物のボクセルデータを処理して、複数の前記画像のボケを補正する、
請求項１から６のいずれか１項に記載の画像処理装置。
請求項１から６のいずれか１項に記載の画像処理装置。
【請求項8】
前記画像処理部は、前記点拡がり関数の前記ボクセルデータのサイズが、前記測定対象物の前記ボクセルデータのサイズよりも小さい場合に、前記点拡がり関数の前記ボクセルデータをゼロパディングして同じサイズに調整する、
請求項７に記載の画像処理装置。
請求項７に記載の画像処理装置。
【請求項9】
前記点拡がり関数は、前記光学系の光軸上に輝点を設定し、前記輝点に対し前記撮像装置を相対的に移動させて撮像することにより取得される、
請求項１から８のいずれか１項に記載の画像処理装置。
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項10】
前記輝点の径が、前記光学系を介した前記撮像装置の光学分解能以下に設定される、
請求項９に記載の画像処理装置。
請求項９に記載の画像処理装置。
【請求項11】
前記輝点が、ピンホール照明又は蛍光ビーズで構成される、
請求項９又は１０に記載の画像処理装置。
請求項９又は１０に記載の画像処理装置。
【請求項12】
前記画像処理部は、前記測定対象物を撮像した際の温度の情報を取得し、取得した前記温度に対応した前記点拡がり関数に基づいて、複数の前記画像のボケを補正する、
請求項１から１１のいずれか１項に記載の画像処理装置。
請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項13】
前記測定対象物の複数の前記画像は、前記測定対象物の輝度の最大値及び最小値が前記撮像装置で撮像できるダイナミックレンジの範囲内に収まるように撮像される、
請求項１から１２のいずれか１項に記載の画像処理装置。
請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項14】
光軸上に設定された測定対象物に対し、相対的に移動して、焦点位置の異なる複数の画像を撮像する撮像装置と、
前記撮像装置で撮像された前記測定対象物の複数の前記画像を処理する請求項１から１３のいずれか１項に記載の画像処理装置と、
を備えた三次元形状測定装置。
前記撮像装置で撮像された前記測定対象物の複数の前記画像を処理する請求項１から１３のいずれか１項に記載の画像処理装置と、
を備えた三次元形状測定装置。
【請求項15】
焦点位置を変えて撮像した測定対象物の複数の画像を処理する画像処理方法であって、
前記測定対象物の複数の前記画像を取得し、
複数の前記画像を撮像した撮像装置の光学系の前記焦点位置ごとの点拡がり関数に基づいて、複数の前記画像のボケを補正し、
ボケ補正後の複数の前記画像に対し、画素ごとに合焦度の評価値を算出し、算出した前記画素ごとの合焦度の評価値に基づいて、前記測定対象物の三次元形状データを生成する、
画像処理方法。
前記測定対象物の複数の前記画像を取得し、
複数の前記画像を撮像した撮像装置の光学系の前記焦点位置ごとの点拡がり関数に基づいて、複数の前記画像のボケを補正し、
ボケ補正後の複数の前記画像に対し、画素ごとに合焦度の評価値を算出し、算出した前記画素ごとの合焦度の評価値に基づいて、前記測定対象物の三次元形状データを生成する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及び三次元形状測定装置に係り、特に、焦点位置を変えて撮像した測定対象物の複数の画像を処理する画像処理装置、画像処理方法及び三次元形状測定装置に関する。
【背景技術】
【0002】
光学顕微鏡を使用した三次元形状の測定法として、フォーカスバリエーション法（焦点移動法）が知られている（たとえば、特許文献１、２等）。フォーカスバリエーション法は、焦点位置の異なる複数の画像を撮像し、各画素の合焦度合いから測定対象物の三次元形状を測定する。具体的には、得られた各画像から画素ごとに合焦度の評価値を算出し、算出した評価値が最大となる焦点位置を特定することで、各画素に対応する位置での測定対象物の高さを特定し、三次元形状を測定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－２０１４０号公報
【特許文献2】国際公開第２００９／０９６４２２号
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般的にフォーカスバリエーション法は、白色干渉法などの他の測定法に比べて、光学系に特別な工夫を組み込む必要がないことから、低コストの測定機を実現できるメリットがある。
【0005】
その一方で、フォーカスバリエーション法は、視野内に高反射率の箇所と低反射率の箇所が共存すると、低反射率の箇所を正常に測定できないという問題がある。これは、高反射率の箇所のボケ境界のコントラストが、低反射率の箇所表面のコントラストよりも強くなることで生じる。図１０は、視野内に高反射率の箇所と低反射率の箇所が共存する場合の撮像画像の一例を示した図である。同図は、円錐形状の物体を落射照明下で焦点位置を変えながら撮像した場合の例を示している。また、同図は、焦点位置によるボケの影響を理解しやすくするため、ｘｚ面でスライスした画像の例を示している。同図において、三角形状のラインＬは、測定対象物の本来の形状を示している。落射照明下で円錐形状の物体を撮像すると、反射率の低い傾斜面に対し、頂点が強い反射を示す。この結果、図１０において楕円で示す領域Ｃのように、強い反射を有する頂点のボケが、本来の形状の表面コントラストに勝ってしまい、正常に測定できなくなる。
【0006】
この問題に対しては、偏光フィルタで解消する方法（偏光フィルタによって直接反射を低減し、散乱光を取得する方法）もあるが、偏光フィルタを使用すると、光量が大きく低下し、露光に要する時間が長くなるという欠点がある。露光時間の長期化は、測定時間の長期化につながる。また、偏光フィルタの使用は、部品点数の増加にもつながる。
【0007】
本発明は、このような事情に鑑みてなされたもので、測定対象物の三次元形状データを精度よく取得できる画像処理装置、画像処理方法及び三次元形状測定装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の第１の態様に係る画像処理装置は、焦点位置を変えて撮像した測定対象物の複数の画像を処理する画像処理装置であって、測定対象物の複数の画像を取得する画像取得部と、複数の画像を撮像した撮像装置の光学系の焦点位置ごとの点拡がり関数に基づいて、複数の画像を処理し、画像のボケを補正する画像処理部と、ボケ補正後の複数の画像に対し、画素ごとに合焦度の評価値を算出し、算出した画素ごとの合焦度の評価値に基づいて、測定対象物の三次元形状データを生成する三次元形状データ生成部と、を備える。
【0009】
本発明の第２の態様に係る画像処理装置は、第１の態様の画像処理装置において、画像処理部は、画像をフーリエ変換して得られる周波数領域の画像に対し、点拡がり関数に基づく周波数領域の復元フィルタを適用して、周波数領域の画像を補正し、補正後の周波数領域の画像を逆フーリエ変換して、画像のボケを補正する。
【0010】
本発明の第３の態様に係る画像処理装置は、第２の態様の画像処理装置において、点拡がり関数をフーリエ変換して得られる周波数領域の点拡がり関数から周波数領域の逆フィルタを算出し、算出した周波数領域の逆フィルタが、周波数領域の復元フィルタに設定される。
【0011】
本発明の第４の態様に係る画像処理装置は、第２の態様の画像処理装置において、点拡がり関数をフーリエ変換して得られる周波数領域の点拡がり関数から周波数領域のウィーナーフィルタを算出した周波数領域のウィーナーフィルタが、周波数領域の復元フィルタに設定される。
【0012】
本発明の第５の態様に係る画像処理装置は、第４の態様の画像処理装置において、ウィーナーフィルタが、次式により算出される、
PSFf*(ωx,ωy,ωz)/{PSFf(ωx,ωy,ωz)PSFf*(ωx,ωy,ωz)+SN}
ただし、PSF(x,y,z)は、点拡がり関数のボクセルデータ、PSFf(ωx,ωy,ωz)は、PSF(x,y,z)をフーリエ変換した写像、PSFf*(ωx,ωy,ωz)は、PSFf(ωx,ωy,ωz)の複素共役、SNは、定数である。
PSFf*(ωx,ωy,ωz)/{PSFf(ωx,ωy,ωz)PSFf*(ωx,ωy,ωz)+SN}
ただし、PSF(x,y,z)は、点拡がり関数のボクセルデータ、PSFf(ωx,ωy,ωz)は、PSF(x,y,z)をフーリエ変換した写像、PSFf*(ωx,ωy,ωz)は、PSFf(ωx,ωy,ωz)の複素共役、SNは、定数である。
【0013】
本発明の第６の態様に係る画像処理装置は、第５の態様の画像処理装置において、定数SNが、実験的に設定される。
【0014】
本発明の第７の態様に係る画像処理装置は、第１から第６のいずれか一の態様の画像処理装置において、画像処理部は、点拡がり関数のボクセルデータに基づいて、測定対象物のボクセルデータを処理して、複数の画像のボケを補正する。
【0015】
本発明の第８の態様に係る画像処理装置は、第７の態様の画像処理装置において、画像処理部は、点拡がり関数のボクセルデータのサイズが、測定対象物のボクセルデータのサイズよりも小さい場合に、点拡がり関数のボクセルデータをゼロパディングして同じサイズに調整する。
【0016】
本発明の第９の態様に係る画像処理装置は、第１から第８のいずれか一の態様の画像処理装置において、点拡がり関数は、光学系の光軸上に輝点を設定し、輝点に対し撮像装置を相対的に移動させて撮像することにより取得される。
【0017】
本発明の第１０の態様に係る画像処理装置は、第９の態様の画像処理装置において、輝点の径が、光学系を介した撮像装置の光学分解能以下に設定される。
【0018】
本発明の第１１の態様に係る画像処理装置は、第９又は第１０の態様の画像処理装置において、輝点が、ピンホール照明又は蛍光ビーズで構成される。
【0019】
本発明の第１２の態様に係る画像処理装置は、第１から第１１のいずれか一の態様の画像処理装置において、画像処理部は、測定対象物を撮像した際の温度の情報を取得し、取得した温度に対応した点拡がり関数に基づいて、複数の画像のボケを補正する。
【0020】
本発明の第１３の態様に係る画像処理装置は、第１から第１２のいずれか一の態様の画像処理装置において、測定対象物の複数の画像は、測定対象物の輝度の最大値及び最小値が撮像装置で撮像できるダイナミックレンジの範囲内に収まるように撮像される。
【0021】
本発明の第１４の態様に係る三次元形状測定装置は、光軸上に設定された測定対象物に対し、相対的に移動して、焦点位置の異なる複数の画像を撮像する撮像装置と、撮像装置で撮像された測定対象物の複数の画像を処理する第１から第１３のいずれか一の態様の画像処理装置と、を備える。
【0022】
本発明の第１５の態様に係る画像処理方法は、焦点位置を変えて撮像した測定対象物の複数の画像を処理する画像処理方法であって、測定対象物の複数の画像を取得し、複数の画像を撮像した撮像装置の光学系の焦点位置ごとの点拡がり関数に基づいて、複数の画像のボケを補正し、ボケ補正後の複数の画像に対し、画素ごとに合焦度の評価値を算出し、算出した画素ごとの合焦度の評価値に基づいて、測定対象物の三次元形状データを生成する。
【発明の効果】
【0023】
本発明によれば、測定対象物の三次元形状データを精度よく取得できる。
【図面の簡単な説明】
【0024】
【図1】三次元形状測定装置の概略構成を示す図である。
【図2】画像処理装置のハードウェア構成の一例を示す図である。
【図3】画像処理装置が有する主な機能のブロック図である。
【図4】結像光学系を介した撮像の概念図である。
【図5】結像光学系の点拡がり関数の取得方法の一例を示す図である。
【図6】三次元形状測定装置による測定手順を示すフローチャートである。
【図7】ウィーナーフィルタによる画像復元処理の一例を示す図である。
【図9】逆フィルタを用いて画像復元処理した画像の一部を拡大した図である。
【図10】視野内に高反射率の箇所と低反射率の箇所が共存する場合の撮像画像の一例を示した図である。
【発明を実施するための形態】
【0025】
以下、添付図面に従って本発明の好ましい実施の形態について説明する。
【0026】
［三次元形状測定装置］
図１は、三次元形状測定装置の概略構成を示す図である。
図１は、三次元形状測定装置の概略構成を示す図である。
【0027】
同図に示すように、本実施の形態の三次元形状測定装置１は、撮像装置１０及び画像処理装置１００を備える。
【0028】
［撮像装置］
撮像装置１０は、いわゆる光学顕微鏡で構成され、焦点位置を変えながら測定対象物Ｏｂの画像を撮像する。図１に示すように、本実施の形態の撮像装置１０は、ステージ１１、照明光源１２、照明光学系１３、結像光学系１４、カメラ１５、フォーカス駆動部１６、操作部１７及び制御部１８等を備える。
撮像装置１０は、いわゆる光学顕微鏡で構成され、焦点位置を変えながら測定対象物Ｏｂの画像を撮像する。図１に示すように、本実施の形態の撮像装置１０は、ステージ１１、照明光源１２、照明光学系１３、結像光学系１４、カメラ１５、フォーカス駆動部１６、操作部１７及び制御部１８等を備える。
【0029】
ステージ１１は、測定対象物Ｏｂを載置する載置面１１ａを有する。載置面１１ａは、平坦な面で構成され、測定の基準面を構成する。具体的には、載置面１１ａにＸ軸及びＹ軸が設定される。Ｘ軸及びＹ軸は、互いに直交する２軸として設定される。
【0030】
照明光源１２は、ハロゲンランプ、メタルハライドランプ、水銀ランプ、キセノンランプ、発光ダイオード（light emitting diode：ＬＥＤ）などが用いられる。
【0031】
照明光学系１３は、照明レンズ２０、ビームスプリッタ２１、開口絞り２２、対物レンズ２３を備える。照明光源１２から放射された光（照明光）は、照明レンズ２０、ビームスプリッタ２１、開口絞り２２、対物レンズ２３を介して、ステージ１１に載置された測定対象物Ｏｂに照射される。照明光は、照明光源１２からライドガイドを用いて照明光学系１３に導く構成とすることもできる。
【0032】
結像光学系１４は、対物レンズ２３、開口絞り２２、ビームスプリッタ２１及び結像レンズ２４を備える。ビームスプリッタ２１、開口絞り２２及び対物レンズ２３は、照明光学系１３と共用される。測定対象物Ｏｂで反射された光は、対物レンズ２３、開口絞り２２、ビームスプリッタ２１、結像レンズ２４を介して、カメラ１５に入射する。
【0033】
カメラ１５は、撮像素子を有し、測定対象物Ｏｂの像を電子的に撮像する。撮像素子には、たとえば、ＣＭＯＳイメージセンサ（complementary metal oxide semiconductor image sensor）、ＣＣＤイメージセンサ（charge-coupled device image sensor）等が用いられる。カメラ１５で撮像された画像は、画像処理装置１００に出力される。
【0034】
フォーカス駆動部１６は、照明光源１２、照明光学系１３、結像光学系１４及びカメラ１５を撮像光軸に沿って一体的に移動させて、焦点位置を可変させる。撮像光軸は、ステージ１１の載置面１１ａに直交して設定される。したがって、照明光源１２、照明光学系１３、結像光学系１４及びカメラ１５は、ステージ１１の載置面１１ａに対し、垂直に移動する。撮像光軸と平行な軸をＺ軸とする。フォーカス駆動部１６は、ガイド機構及び駆動機構を備える。ガイド機構は、照明光源１２、照明光学系１３、結像光学系１４及びカメラ１５を含むユニット（光学ヘッド）をＺ軸に沿ってガイドする。駆動機構は、たとえば、送りねじ機構と、その送りねじ機構を駆動するモータと、で構成される。
【0035】
操作部１７は、撮像装置１０を操作するための各種操作ボタン類を有し、ユーザからの操作入力を受け付ける。各種操作ボタン類には、タッチパネルが含まれる。
【0036】
制御部１８は、撮像装置１０の全体の動作を統括制御する。具体的には、照明光源１２に対する発光制御、カメラ１５に対する撮像制御、フォーカス駆動部１６に対する駆動制御（送り制御）等を行う。制御部１８は、コンピュータで構成される。すなわち、コンピュータが、所定のプログラムを実行することにより、制御部１８として機能する。
【0037】
以上のように構成される撮像装置１０は、一定ピッチで焦点位置を変えながら、ステージ１１に載置された測定対象物Ｏｂを撮像する。具体的には、フォーカス駆動部１６により光学ヘッドをＺ軸に沿って一定ピッチで移動させ、各位置で測定対象物Ｏｂを撮像する。撮像された画像は、逐次、画像処理装置１００に出力される。
【0038】
［画像処理装置］
図２は、画像処理装置のハードウェア構成の一例を示す図である。
図２は、画像処理装置のハードウェア構成の一例を示す図である。
【0039】
画像処理装置１００は、いわゆるコンピュータで構成され、プロセッサ１０１、主記憶装置（メインメモリ）１０２、補助記憶装置（ストレージ）１０３、入力装置１０４、出力装置１０５及び入出力インターフェース１０６等を備える。
【0040】
プロセッサ１０１は、たとえば、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）等で構成される。
【0041】
主記憶装置１０２は、たとえば、ＤＲＡＭ（dynamic random access memory）、ＳＲＡＭ（static random access memory）等で構成される。
【0042】
補助記憶装置１０３は、たとえば、ＳＳＤ（solid state drive）、ＨＤＤ（hard disk drive）等で構成される。補助記憶装置１０３には、プロセッサ１０１が実行するプログラム及び各種データが格納される。
【0043】
プロセッサ１０１は、補助記憶装置１０３に格納されたプログラムを読出し、主記憶装置１０２に展開して実行することで、後述するような各種機能を実現する。
【0044】
入力装置１０４は、ユーザが画像処理装置１００に対し、指示を入力するためのデバイスであり、たとえば、マウス、キーボード、タッチパネルなどで構成される。
【0045】
出力装置１０５は、測定結果等を出力（表示を含む）するデバイスであり、たとえば、液晶ディスプレイ（liquid crystal display：ＬＣＤ）、有機ＥＬディスプレイ（organic electroluminescent display：ＯＥＬＤ）等で構成される。
【0046】
入出力インターフェース１０６は、入出力機器を接続するためのインターフェースであり、たとえば、ＵＳＢ（universal serial bus）等で構成される。撮像装置１０のカメラ１５は、入出力インターフェース１０６を介して画像処理装置１００と接続される。
【0047】
図３は、画像処理装置が有する主な機能のブロック図である。
【0048】
同図に示すように、画像処理装置１００は、画像取得部１００Ａ、前処理部１００Ｂ及び三次元形状データ生成部１００Ｃの機能を有する。各部の機能は、プロセッサ１０１が、所定のプログラム（画像処理プログラム）を実行することで実現される。
【0049】
画像取得部１００Ａは、撮像装置１０で撮像された測定対象物Ｏｂの画像データを取得する。この画像データは、焦点位置を変えながら測定対象物Ｏｂを撮像した画像の画像データ（いわゆる多焦点画像データ）である。取得した一連の画像データは、補助記憶装置１０３に記録される。
【0050】
前処理部１００Ｂは、一連の画像データに対し、前処理として、画像処理により画像のボケを補正する処理を行う。画像処理の詳細は後述する。本実施の形態において、前処理部１００Ｂは、画像処理部の一例である。前処理された画像データは、補助記憶装置１０３に記録される。
【0051】
三次元形状データ生成部１００Ｃは、前処理後の画像データに対し、フォーカスバリエーション法のアルゴリズムを適用し、測定対象物Ｏｂの三次元形状データを生成する。ここで、三次元形状データとは、測定対象物の画像を構成しているすべての画素に、当該画素で表現されている測定対象物の高さ情報が割り当てられたデータ群のことである。三次元形状データを取得することにより、コンピュータグラフィックスで測定対象物Ｏｂの三次元表示が可能となる。なお、フォーカスバリエーション法自体は、公知の技術であるので、その詳細についての説明は省略するが、おおよそ次の手順で測定対象物Ｏｂの多焦点画像から三次元形状データを生成する。まず、得られた画像について、画素ごとに微分演算を行い、合焦度の評価値を算出する。合焦度とは、焦点が合っている度合いを示す数値である。次いで、測定対象物の画像を構成している各画素について、合焦度が最大になる焦点位置を特定する。特定した焦点位置の情報から各画素に対応する位置での測定対象物Ｏｂの高さの情報を取得する。たとえば、座標(xn,yn)に位置する画素において、合焦度の評価値が最大となる焦点位置がPnであったとする。この場合、焦点位置Pnに対応付けられた高さznが、座標(xn,yn)に位置する画素についての高さの情報として取得される。すべての画素について、高さの情報を取得することで、測定対象物Ｏｂの三次元形状データが取得できる。なお、通常、撮像は、基準点（原点）から一定ピッチで焦点位置を変えながら実施される。撮像の順番を高さの情報に割り当てることもできる。得られた三次元形状データは、撮像により得られた画像データに関連付けられて、補助記憶装置１０３に記録される。
【0052】
［前処理］
上記のように、フォーカスバリエーション法は、視野内に高反射率の箇所と低反射率の箇所とが共存していると、高反射率の箇所のボケの境界のコントラストが、低反射率の箇所の表面のコントラストよりも強くなり、低反射率の箇所の高さを正常に取得できないという問題がある。
上記のように、フォーカスバリエーション法は、視野内に高反射率の箇所と低反射率の箇所とが共存していると、高反射率の箇所のボケの境界のコントラストが、低反射率の箇所の表面のコントラストよりも強くなり、低反射率の箇所の高さを正常に取得できないという問題がある。
【0053】
そこで、本実施の形態では、撮像により得られた画像に対し、所定の画像処理を施すことにより、高反射率部分のボケの影響を低減させる。具体的には、撮像装置１０の結像光学系１４の点拡がり関数（point spread function：ＰＳＦ）に基づく復元フィルタを用いて画像復元処理を行う。点拡がり関数は、点像分布関数、ボケ関数などとも称される。
【0054】
まず、復元フィルタを用いた画像復元処理について説明する。
【0055】
図４は、結像光学系を介した撮像の概念図である。同図は、レンズを用いた撮像において、空間上の測定対象物がどのように撮像されるのかを示している。なお、同図は、焦点位置によるボケの影響を理解しやすくするため、ｘｚ面でスライスした画像の例を示している。ｘｚ面でスライスした画像は、各画像からｘ軸と平行な特定の画素列を抽出して生成される。同図に示す例は、画像の中心を通り、ｘ軸と平行な画素列を各画像から抽出して生成した場合の例を示している。測定対象物は、円錘台形である。
【0056】
いま、理想的な測定対象物の画像（原画像）をIO(x,y)、結像光学系１４の点拡がり関数をPSF(x,y)とする。
【0057】
撮像される画像I(x,y)は、I(x,y)=IO(x,y)＊PSF(x,y)…式（１）と表すことができる。ここで、「＊」は、コンボリューション演算を表す。
【0058】
画像復元処理は、点拡がり関数PSF(x,y)が既知の場合に、撮像された画像I(x,y)からボケの影響のない測定対象物Ｏｂの原画像IO(x,y)を復元することである。この操作のことをデコンボリューションという。
【0059】
式（１）を二次元フーリエ変換すると、If(ωx,ωy)=IOf(ωx,ωy)PSFf(ωx,ωy)…式（２）となる。なお、If(ωx,ωy)は、I(x,y)のフーリエ変換を表している。IOf(ωx,ωy)は、IO(x,y)のフーリエ変換を表している。PSFf(ωx,ωy)は、PSF(x,y)のフーリエ変換を表している。(ωx,ωy)は、空間周波数座標である。
【0060】
点拡がり関数PSF(x,y)は既知であるので、その周波数領域の点拡がり関数PSFf(ωx,ωy)も既知である。If(ωx,ωy)をPSFf(ωx,ωy)で割ると、ICf(ωx,ωy)≡If(ωx,ωy)/PSFf(ωx,ωy)=IOf(ωx,ωy)…式（３）となり、周波数領域の復元画像ICf(ωx,ωy)が得られる。これを逆フーリエ変換すれば、空間座標での復元画像IC(x,y)が得られる。1/PSFf(ωx,ωy)を逆フィルタという。
【0061】
本実施の形態の画像処理装置１００は、逆フィルタ1/PSFf(ωx,ωy)を復元フィルタとして使用し、画像復元処理を行う。
【0062】
逆フィルタ1/PSFf(ωx,ωy)は、焦点位置ごとに設定される。設定された逆フィルタ1/P(u,v)の情報は事前に取得され、補助記憶装置１０３に記録される。前処理部１００Ｂは、補助記憶装置１０３に記録された逆フィルタ1/PSFf(ωx,ωy)の情報を読み出して、画像復元処理を行う。逆フィルタ1/PSFf(ωx,ωy)の生成方法については、後述する。
【0063】
前処理部１００Ｂは、次の手順で画像復元処理を行う。
【0064】
ここでは、焦点位置Pnで撮像された画像の画像データI(x,y)を処理する場合について説明する。
【0065】
まず、処理対象の画像データI(x,y)をフーリエ変換し、周波数領域に写像する。
【0066】
I(x,y)→If(ωx,ωy)
If(ωx,ωy)は、周波数領域の画像データである。
If(ωx,ωy)は、周波数領域の画像データである。
【0067】
次に、焦点位置Pnに対応する周波数領域の逆フィルタ1/PSFf(ωx,ωy)の情報を取得する。
【0068】
次に、周波数領域の画像データIf(ωx,ωy)に周波数領域の逆フィルタ1/PSFf(ωx,ωy)を乗算し、ICf(ωx,ωy)を算出する。
【0069】
ICf(ωx,ωy)=If(ωx,ωy)×[1/PSFf(ωx,ωy)]
算出されたICf(ωx,ωy)を逆フーリエ変換し、各画素の絶対値を取得して、復元画像IC(x,y)を得る。
算出されたICf(ωx,ωy)を逆フーリエ変換し、各画素の絶対値を取得して、復元画像IC(x,y)を得る。
【0070】
前処理部１００Ｂは、撮像により得られた各画像の画像データに対して画像復元処理を実施し、ボケを補正する。ボケ補正後の画像データは、補助記憶装置１０３に記録される。
【0071】
［点拡がり関数の取得方法］
図５は、結像光学系の点拡がり関数の取得方法の一例を示す図である。
図５は、結像光学系の点拡がり関数の取得方法の一例を示す図である。
【0072】
同図は、ピンホール照明２００を用いて、結像光学系１４の点拡がり関数を測定する場合の例を示している。
【0073】
同図に示すように、ピンホール照明２００によって基準面の位置に輝点を生成し、焦点位置を変えながら、その輝点の像を撮像する。輝点は、結像光学系１４の光軸上に設定される。これにより、焦点位置ごとの点拡がり関数が得られる。焦点位置ごとの点拡がり関数は、点拡がり関数のボクセルデータPSF(x,y,z)を構成する。なお、zは、焦点位置に対応するｚ軸方向の位置（高さ）である。
【0074】
ピンホール照明２００は、光源２０１と、集光レンズ２０２と、ピンホール板２０３と、を有する。ピンホール板２０３は、ピンホール２０４を有する。ピンホール照明２００では、光源２０１からの光が、集光レンズ２０２で集光され、集光された光が、ピンホール板２０３に備えられたピンホール２０４から射出される。ピンホール２０４から射出される光が、輝点を構成する。ピンホール２０４は、基準面上に配置され、かつ、結像光学系１４の光軸上に配置される。また、ピンホール２０４は、その径が結像光学系１４を介した撮像装置１０の光学分解能以下に設定される。
【0075】
輝点は、他の手法で生成することもできる。たとえば、蛍光ビーズを用いて、輝点を生成することもできる。蛍光ビーズを用いる手法は、微小な蛍光ビーズを外部照明で励起させ、その蛍光を撮像する方法である。この場合も、蛍光ビーズは、その径が結像光学系１４を介した撮像装置１０の光学分解能以下に設定される。
【0076】
上記の方法で得られた点拡がり関数は、結像光学系に固有の関数であるため、カメラや光学系が変わらなければ、再取得する必要はない。ただし、温度が大きく変わるような環境においては、温度に応じて取得することが望ましい。この場合、画像復元処理は、測定対象物を撮像した際の温度の情報を取得し、温度に対応した点拡がり関数に基づいて、画像復元処理を実施する。すなわち、温度に対応した復元フィルタ（周波数領域の復元フィルタ）を用いて、画像復元処理を実施する。
【0077】
［復元フィルタの生成］
逆フィルタを復元フィルタとして使用する場合、点拡がり関数PSF(x,y)をフーリエ変換してPSFf(ωx,ωy)を算出し、更に、その逆数1/PSFf(ωx,ωy)を算出して、逆フィルタを生成する。
逆フィルタを復元フィルタとして使用する場合、点拡がり関数PSF(x,y)をフーリエ変換してPSFf(ωx,ωy)を算出し、更に、その逆数1/PSFf(ωx,ωy)を算出して、逆フィルタを生成する。
【0078】
なお、上記実施の形態では、周波数領域の逆フィルタをあらかじめ求めて保持する構成としているが、画像復元処理時に周波数領域の逆フィルタを算出し、取得する構成とすることもできる。
【0079】
また、処理対象とする画像と使用する点拡がり関数のサイズが異なる場合は、たとえば、点拡がり関数に対してゼロパディングを行い、両者のサイズを一致させる。
【0080】
［測定動作］
図６は、三次元形状測定装置による測定手順を示すフローチャートである。
図６は、三次元形状測定装置による測定手順を示すフローチャートである。
【0081】
まず、撮像装置１０にて測定対象物Ｏｂの画像を撮像する（ステップＳ１）。具体的には、測定対象物Ｏｂをステージ１１に載置し、一定ピッチで焦点位置を変えながら、ステージ１１に載置された測定対象物Ｏｂをカメラ１５で撮像する。撮像により得られた画像の画像データは、順次、画像処理装置１００に出力される。画像処理装置１００は、撮像装置１０から出力される画像データを取得し、補助記憶装置１０３に記録する。
【0082】
次に、撮像により得られた画像の画像データに対し、前処理として、画像復元処理を行う（ステップＳ２）。
【0083】
上記のように、画像復元処理は、処理対象の画像データI(x,y)をフーリエ変換してIf(ωx,ωy)を算出し、算出したIf(ωx,ωy)に周波数領域の逆フィルタ1/PSFf(ωx,ωy)）を乗算して、ICf(ωx,ωy)を算出する。そして、算出されたICf(ωx,ωy)を逆フーリエ変換し、各画素の絶対値を取得して、復元画像IC(x,y)を得る。これにより、撮像された画像のボケが補正される。ボケ補正後の画像データは、補助記憶装置１０３に記録される。
【0084】
次に、画像復元処理後の画像データに対し、フォーカスバリエーション法により三次元形状データを生成する（ステップＳ３）。すなわち、ボケ補正後の複数の画像に対し、画素ごとに合焦度の評価値を算出し、算出した画素ごと合焦度の評価値に基づいて、測定対象物Ｏｂの三次元形状データを生成する。ここで、合焦度の評価値は、ボケが補正された画像から算出されるので、精度よく算出できる。すなわち、画像内に高反射率の箇所が存在している場合であっても、その高反射率の箇所のボケの境界のコントラストが、低反射率の箇所の表面のコントラストよりも強くなるのを抑制できる。これにより、各画像において、精度よく合焦度の評価値を算出できる。また、これにより、精度よく三次元形状データを生成できる。
【0085】
［変形例］
［ボクセルデータによる画像復元処理］
画像データをボクセルデータとして取得し、一括して画像復元処理を行う構成とすることもできる。この処理は、以下の手順で行われる。
［ボクセルデータによる画像復元処理］
画像データをボクセルデータとして取得し、一括して画像復元処理を行う構成とすることもできる。この処理は、以下の手順で行われる。
【0086】
いま、撮像より得られる画像のボクセルデータをI(x,y,z)とする。また、この時の画素数を(Nx,Ny)、スライス数（撮像が行われる高さ方向位置の数）をNzとする。
【0087】
また、点拡がり関数のボクセルデータをPSF(x,y,z)とする。点拡がり関数のボクセルデータPSF(x,y,z)は、一定ピッチで焦点位置を変えながら、基準面に設定した輝点の像を撮像することにより取得する。
【0088】
画像のボクセルデータI(x,y,z)のサイズが、点拡がり関数のボクセルデータPSF(x,y,z)のサイズと異なる場合は、点拡がり関数のボクセルデータPSF(x,y,z)に対し、ゼロパディングを行い、両者のサイズを一致させる。
【0089】
三次元フーリエ変換により、I(x,y,z)を周波数領域へ写像する。
【0090】
I(x,y,z)→If(ωx,ωy,ωz)
三次元フーリエ変換により、PSF(x,y,z)を周波数領域へ写像する。
三次元フーリエ変換により、PSF(x,y,z)を周波数領域へ写像する。
【0091】
PSF(x,y,z)→PSFf(ωx,ωy,ωz)
フーリエ変換後の周波数領域の点拡がり関数PSFf(ωx,ωy,ωz)から、周波数領域の逆フィルタ1/PSFf(ωx,ωy,ωz)を生成する。
フーリエ変換後の周波数領域の点拡がり関数PSFf(ωx,ωy,ωz)から、周波数領域の逆フィルタ1/PSFf(ωx,ωy,ωz)を生成する。
【0092】
生成した周波数領域の逆フィルタ1/PSFf(ωx,ωy,ωz)を周波数領域の画像のボクセルデータIf(ωx,ωy,ωz)に適用し、ICf(ωx,ωy,ωz)を算出する。
【0093】
ICf(ωx,ωy,ωz)=If(ωx,ωy,ωz)×[1/PSFf(ωx,ωy,ωz)]
算出されたICf(ωx,ωy,ωz)を逆フーリエ変換し、各画素の絶対値を取得して、復元画像IC(x,y,z)を得る。
算出されたICf(ωx,ωy,ωz)を逆フーリエ変換し、各画素の絶対値を取得して、復元画像IC(x,y,z)を得る。
【0094】
このように、画像データをボクセルデータとして取得し、一括して画像復元処理を行う構成とすることもできる。
【0095】
［ウィーナーフィルタを用いた画像復元処理］
点拡がり関数の畳み込みは、基本的に低域通過フィルタとして作用するため、その逆フィルタは高域通過フィルタとなる。このため、単純な逆フィルタを測定対象物の撮像画像へ適用すると、高域側にノイズが存在している場合に、そのノイズが増加し、フォーカスバリエーション法の画像処理に悪影響を与える。すなわち、フォーカスバリエーション法では、ノイズと測定対象物の反射を区別できず、測定の誤差として現れる。
点拡がり関数の畳み込みは、基本的に低域通過フィルタとして作用するため、その逆フィルタは高域通過フィルタとなる。このため、単純な逆フィルタを測定対象物の撮像画像へ適用すると、高域側にノイズが存在している場合に、そのノイズが増加し、フォーカスバリエーション法の画像処理に悪影響を与える。すなわち、フォーカスバリエーション法では、ノイズと測定対象物の反射を区別できず、測定の誤差として現れる。
【0096】
そこで、本例では、復元フィルタにウィーナーフィルタを設定する。ウィーナーフィルタは、原画像と復元画像との間の二乗誤差を最小化する。
【0097】
以下、ウィーナーフィルタを使用した画像復元処理について説明する。なお、ここでは、ボクセルデータとして処理する場合を例に説明する。また、点拡がり関数PSF(x,y,ｚ)は、事前に取得されているものとする。
【0098】
まず、測定対象物Ｏｂを撮像した画像の画像データI(x,y,z)を取得する。上記のように、画像データは、ボクセルデータとして取得される。この時の画素数を(Nx,Ny)、スライス数をNzとする。
【0099】
次に、画像データI(x,y,z)のサイズが、点拡がり関数PSF(x,y,ｚ)のサイズと一致しているか否かを判定する。両者のサイズが異なる場合は、点拡がり関数PSF(x,y,ｚ)に対し、ゼロパディングを行い、両者のサイズを一致させる。
【0100】
次に、画像データI(x,y,z)を三次元フーリエ変換して、周波数領域へ写像する。
【0101】
I(x,y,z)→If(ωx,ωy,ωz)
次に、点拡がり関数PSF(x,y,z)を三次元フーリエ変換して、周波数領域へ写像する。
次に、点拡がり関数PSF(x,y,z)を三次元フーリエ変換して、周波数領域へ写像する。
【0102】
PSF(x,y,z)→PSFf(ωx,ωy,ωz)
次に、次式により、ウィーナーフィルタを算出する。
次に、次式により、ウィーナーフィルタを算出する。
【0103】
PSFf*(ωx,ωy,ωz)/{PSFf(ωx,ωy,ωz)PSFf*(ωx,ωy,ωz)+SN}
ここで、「PSFf*(ωx,ωy,ωz)」は、PSFf(ωx,ωy,ωz)の複素共役、「SN」は、画像のＳＮ比から求まる実数である。「SN」は、実用的には、定数が設定される。ただし、カメラのゲインに強く依存するため、実験的に最適な値を調整することが好ましい。ここで、実験的とは、実際の実験及びコンピュータシミュレーションの双方を含む概念をいう。
ここで、「PSFf*(ωx,ωy,ωz)」は、PSFf(ωx,ωy,ωz)の複素共役、「SN」は、画像のＳＮ比から求まる実数である。「SN」は、実用的には、定数が設定される。ただし、カメラのゲインに強く依存するため、実験的に最適な値を調整することが好ましい。ここで、実験的とは、実際の実験及びコンピュータシミュレーションの双方を含む概念をいう。
【0104】
次に、算出したウィーナーフィルタをIf(ωx,ωy,ωz)に適用し、ICf(ωx,ωy,ωz)を算出する。
【0105】
ICf(ωx,ωy,ωz)=If(ωx,ωy,ωz)[PSFf*(ωx,ωy,ωz)/{PSFf(ωx,ωy,ωz)PSFf*(ωx,ωy,ωz)+SN}]
算出した、ICf(ωx,ωy,ωz)を逆フーリエ変換し、複素画像ICc(x,y,z)を得る。そして、複素画像ICc(x,y,z)から各画素の絶対値を取得して、最終的な復元画像ICｒ(x,y,z)を取得する。
算出した、ICf(ωx,ωy,ωz)を逆フーリエ変換し、複素画像ICc(x,y,z)を得る。そして、複素画像ICc(x,y,z)から各画素の絶対値を取得して、最終的な復元画像ICｒ(x,y,z)を取得する。
【0106】
このように、復元フィルタにウィーナーフィルタを使用することにより、ノイズ、特に、高域側に存在しているノイズを低減でき、より高品質な画像を復元できる。これにより、より高精度な測定が可能になる。
【0107】
図７は、ウィーナーフィルタによる画像復元処理の一例を示す図である。なお、同図は、焦点位置によるボケの影響を理解しやすくするため、ｘｚ面でスライスした画像の例を示している。測定対象物は、円錘台形である。
【0108】
同図に示すように、ウィーナーフィルタを用いて画像復元処理を行うことにより、高反射率の箇所のボケが低減されることが確認できる。
【0109】
【0110】
図９に示すように、単純な逆フィルタを使用した場合、暗部において、高域ノイズが増加することが確認できる。このようなノイズが存在すると、フォーカスバリエーション法では、ノイズと測定対象物の反射、特に低反射率の箇所での反射とを区別できず、測定の誤差として現れる。
【0111】
一方、図８に示すように、ウィーナーフィルタを使用すると、ノイズによる問題が解消されていることが確認できる。したがって、低反射率の箇所（本例の場合、傾斜面）においても、精度の高い測定が可能になる。
【0112】
［撮像条件］
測定対象物を撮像する際、すべての画像において、輝度が飽和しないように撮像する。すなわち、測定対象物の輝度の最大値及び最小値が、撮像装置で撮像できるダイナミックレンジの範囲内に収まるように撮像する。したがって、撮像装置で使用するカメラには、ダイナミックレンジの広いカメラ（いわゆるワイドダイナミックレンジカメラ）を使用することが好ましい。
測定対象物を撮像する際、すべての画像において、輝度が飽和しないように撮像する。すなわち、測定対象物の輝度の最大値及び最小値が、撮像装置で撮像できるダイナミックレンジの範囲内に収まるように撮像する。したがって、撮像装置で使用するカメラには、ダイナミックレンジの広いカメラ（いわゆるワイドダイナミックレンジカメラ）を使用することが好ましい。
【0113】
［撮像装置］
上記実施の形態では、測定対象物に対し光学ヘッドを移動させて、焦点位置の異なる複数の画像を撮像する構成としているが、光学ヘッドを固定とし、測定対象物側を移動させて撮像する構成としてもよい。あるいは、双方を移動させて、撮像する構成としてもよい。すなわち、焦点位置を変えるための移動は、相対的であってよい。
上記実施の形態では、測定対象物に対し光学ヘッドを移動させて、焦点位置の異なる複数の画像を撮像する構成としているが、光学ヘッドを固定とし、測定対象物側を移動させて撮像する構成としてもよい。あるいは、双方を移動させて、撮像する構成としてもよい。すなわち、焦点位置を変えるための移動は、相対的であってよい。
【0114】
［画像処理装置］
上記実施の形態では、画像処理装置を撮像装置とは別のコンピュータで構成する場合について説明したが、画像処理装置の機能を撮像装置に搭載することもできる。
上記実施の形態では、画像処理装置を撮像装置とは別のコンピュータで構成する場合について説明したが、画像処理装置の機能を撮像装置に搭載することもできる。
【符号の説明】
【0115】
１…三次元形状測定装置、１０…撮像装置、１１…ステージ、１１ａ…載置面、１２…照明光源、１３…照明光学系、１４…結像光学系、１５…カメラ、１６…フォーカス駆動部、１７…操作部、１８…制御部、２０…照明レンズ、２１…ビームスプリッタ、２２…開口絞り、２３…対物レンズ、２４…結像レンズ、１００…画像処理装置、１００Ａ…画像取得部、１００Ｂ…前処理部、１００Ｃ…三次元形状データ生成部、１０１…プロセッサ、１０２…主記憶装置、１０３…補助記憶装置、１０４…入力装置、１０５…出力装置、１０６…入出力インターフェース、２００…ピンホール照明、２０１…光源、２０２…集光レンズ、２０３…ピンホール板、２０４…ピンホール、Ｏｂ…測定対象物
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
