(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-30
(45)【発行日】2023-02-07
(54)【発明の名称】三次元形状測定装置及び三次元形状測定方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20230131BHJP
G06T 7/521 20170101ALI20230131BHJP
【ＦＩ】
G01B11/25 H
G06T7/521
【請求項の数】
12
(21)【出願番号】P 2018172951
(22)【出願日】2018-09-14
(65)【公開番号】P2020046229
(43)【公開日】2020-03-26
【審査請求日】2021-08-05
(73)【特許権者】
【識別番号】000137694
【氏名又は名称】株式会社ミツトヨ
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】宮田 薫
【審査官】續山 浩二
(56)【参考文献】
【文献】特開２０１４－１１５１０８（ＪＰ，Ａ）
【文献】特開２０１１－２３７２９６（ＪＰ，Ａ）
【文献】特開２０１４－１１５１０９（ＪＰ，Ａ）
【文献】特開２０１５－１９７３１２（ＪＰ，Ａ）
【文献】特開２０００－１９３４３８（ＪＰ，Ａ）
【文献】特開２００８－３０９５５１（ＪＰ，Ａ）
【文献】特開２０１２－１４１９６４（ＪＰ，Ａ）
【文献】特開２０１４－０５９２６１（ＪＰ，Ａ）
【文献】特開２００９－０１９９４２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／２５
Ｇ０６Ｔ ７／５２１
(57)【特許請求の範囲】
【請求項1】
位置によって輝度が変化する光パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状測定装置であって、前記測定対象物に前記投影画像を投影する投影部と、
前記投影画像が投影された前記測定対象物を撮影した撮影画像を生成する撮影部と、
前記撮影画像の画素の位置である撮影画素位置と対応関係を有する前記投影画像の画素の位置である投影画素位置を特定する関係特定部と、
前記投影部を起点として前記投影画素位置の画素を通る投影光線と、前記撮影部を起点として前記投影画素位置と前記対応関係を有する前記撮影画素位置の画素を通る撮影光線との位置関係に基づいて、前記撮影画素位置の画素が不良画素であるか否かを判定し、前記撮影画素位置の画素が不良画素であるか否かの判定において、前記撮影画素位置を通る前記撮影光線と、当該撮影画素位置と前記対応関係を有する前記投影画素位置を通る予め指定した方向の投影光線面とが交わる位置を第１の三次元位置として特定し、当該投影画素位置を通る前記投影光線と、当該撮影画素位置を通る予め指定した方向の撮影光線面とが交わる位置を第２の三次元位置として特定し、前記第１の三次元位置及び前記第２の三次元位置の間の距離が閾値より大きい場合に、当該撮影画素位置の画素が不良画素であると判定する画素不良判定部と、
前記画素不良判定部が不良画素であると判定した画素の位置を除く前記撮影画素位置の画素値に基づいて、前記測定対象物の三次元形状を特定する形状特定部と、を備える、
三次元形状測定装置。
【請求項2】
位置によって輝度が変化する光パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状測定装置であって、前記測定対象物に前記投影画像を投影する投影部と、
前記投影画像が投影された前記測定対象物を撮影した撮影画像を生成する撮影部と、
前記撮影画像の画素の位置である撮影画素位置と対応関係を有する前記投影画像の画素の位置である投影画素位置を特定する関係特定部と、
前記投影部を起点として前記投影画素位置の画素を通る投影光線と、前記撮影部を起点として前記投影画素位置と前記対応関係を有する前記撮影画素位置の画素を通る撮影光線との最小距離が閾値より大きい場合に、前記撮影画素位置の画素が不良画素であると判定する画素不良判定部と、
前記画素不良判定部が不良画素であると判定した画素の位置を除く前記撮影画素位置の画素値に基づいて、前記測定対象物の三次元形状を特定する形状特定部と、を備える、
三次元形状測定装置。
【請求項3】
前記画素不良判定部は、前記撮影画素位置から所定の範囲内の３つ以上の撮影画素位置に対応する３つ以上の前記第１の三次元位置により定まる第１の面と、前記３つ以上の撮影画素位置に対応する３つ以上の前記第２の三次元位置により定まる第２の面との関係に基づいて、前記撮影画素位置が不良画素であるか否かを判定する、請求項１に記載の三次元形状測定装置。
【請求項4】
前記形状特定部は、前記第１の三次元位置及び前記第２の三次元位置の三次元座標の平均値に基づいて、前記測定対象物の三次元形状を特定する、請求項１に記載の三次元形状測定装置。
【請求項5】
前記第１の三次元位置及び前記第２の三次元位置の間の距離を取得し、複数の撮影画素位置についてそれぞれ取得した距離の統計量に基づいて、前記三次元形状測定装置の異常を検出する異常検出部をさらに備える、請求項１に記載の三次元形状測定装置。
【請求項6】
前記投影部は、前記画素不良判定部が前記撮影画素位置の画素が不良画素であると判定した場合に、前記投影画像に含まれる複数の画素のうち、前記画素不良判定部が不良画素であると判定した撮影画素位置と前記対応関係を有する前記投影画素位置の画素を全て除いた投影画像を前記測定対象物に再び投影する、請求項１から５のいずれか一項に記載の三次元形状測定装置。
【請求項7】
前記投影部は、前記画素不良判定部が前記撮影画素位置の画素が不良画素であると判定した場合に、前記投影画像に含まれる複数の画素のうち、前記画素不良判定部が不良画素であると判定した撮影画素位置と対応関係を有する前記投影画素位置の画素のみを含む投影画像を前記測定対象物に再び投影する、請求項１から６のいずれか一項に記載の三次元形状測定装置。
【請求項8】
前記投影部は、第１方向に延びる前記光パターンを含む投影画像と、前記第１方向とは異なる第２方向に延びる前記光パターンを含む投影画像とを投影する、請求項１から７のいずれか一項に記載の三次元形状測定装置。
【請求項9】
前記投影部は、２値画像の前記光パターンを含む投影画像と、正弦波状の輝度分布を有する前記光パターンを含む投影画像とを前記測定対象物に投影する、請求項１から８のいずれか一項に記載の三次元形状測定装置。
【請求項10】
前記投影部は、縞の周期が互いに異なる前記光パターンを含む複数の投影画像を順次投影する、請求項１から９のいずれか一項に記載の三次元形状測定装置。
【請求項11】
位置によって輝度が変化する光パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状測定方法であって、前記測定対象物に前記投影画像を投影部により投影するステップと、
前記投影画像が投影された前記測定対象物を撮影した撮影画像を撮影部により生成するステップと、
前記撮影画像の画素の位置である撮影画素位置と対応関係を有する前記投影画像の画素の位置である投影画素位置を特定するステップと、
前記投影部を起点として前記投影画素位置の画素を通る投影光線と、前記撮影部を起点として前記投影画素位置と前記対応関係を有する前記撮影画素位置の画素を通る撮影光線との位置関係に基づいて、前記撮影画素位置の画素が不良画素であるか否かを判定し、前記撮影画素位置の画素が不良画素であるか否かの判定において、前記撮影画素位置を通る前記撮影光線と、当該撮影画素位置と前記対応関係を有する前記投影画素位置を通る予め指定した方向の投影光線面とが交わる位置を第１の三次元位置として特定し、当該投影画素位置を通る前記投影光線と、当該撮影画素位置を通る予め指定した方向の撮影光線面とが交わる位置を第２の三次元位置として特定し、前記第１の三次元位置及び前記第２の三次元位置の間の距離が閾値より大きい場合に、当該撮影画素位置の画素が不良画素であると判定するステップと、
不良画素であると判定した画素の位置を除く前記撮影画素位置の画素値に基づいて、前記測定対象物の三次元形状を特定するステップと、
を備える、三次元形状測定方法。
【請求項12】
位置によって輝度が変化する光パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状測定方法であって、前記測定対象物に前記投影画像を投影部により投影するステップと、
前記投影画像が投影された前記測定対象物を撮影した撮影画像を撮影部により生成するステップと、
前記撮影画像の画素の位置である撮影画素位置と対応関係を有する前記投影画像の画素の位置である投影画素位置を特定するステップと、
前記投影部を起点として前記投影画素位置の画素を通る投影光線と、前記撮影部を起点として前記投影画素位置と前記対応関係を有する前記撮影画素位置の画素を通る撮影光線との最小距離が閾値より大きい場合に、前記撮影画素位置の画素が不良画素であると判定するステップと、
不良画素であると判定した画素の位置を除く前記撮影画素位置の画素値に基づいて、前記測定対象物の三次元形状を特定するステップと、
を備える、三次元形状測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定対象物の三次元形状を計測する三次元形状測定装置及び三次元形状測定方法に関する。
【背景技術】
【0002】
測定対象物を非接触で計測する手法としては、例えば、ステレオ法等のパッシブ手法と、三角測量法、タイムオブフライト法、共焦点法等のアクティブ手法とに分けることができる。この中で、三角測量法は、製造時の品質管理、及びリバースエンジニアリング等の様々な分野で利用が進んでいる。
【0003】
光パターン投影法は、三角測量法の原理を利用しており、プロジェクタから縞状のパターンを測定対象物に投影し、測定対象の形状に沿って変形するパターンをカメラで撮影することにより三次元形状測定を行う。特許文献１には、ライン光を電子部品に投影した際の光切断線を撮影して得られた撮影画像に基づいて、電子部品の高さを測定する測定装置が開示されている。光パターン投影法は、複数の縞状のパターンを含む画像を測定対象物に投影する場合には、一度により大きな面積を計測することができるため、より高速な三次元形状の計測が可能になる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００９－９４２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
光パターン投影法では、測定対象物の表面が光沢を有している場合、プロジェクタの投影光が測定対象物の表面において複数回反射する多重反射が起こる。この多重反射の影響により測定精度が低下するという問題があった。
【0006】
多重反射を抑制する方法としては、測定対象物の表面に多重反射防止用のスプレーを塗布する方法、及び、プロジェクタからの投影光の一部をその光路上で遮断するマスク等が採用されている。しかしながら、測定対象物の表面に多重反射防止用のスプレーを塗布する方法では、洗浄のために工数が増加する。また、高いクリーン度を維持する必要がある環境では、多重反射防止用のスプレーを塗布することができないという問題があった。
【0007】
また、マスクを用いる方法では、プロジェクタからの投影光の一部を遮断するため、測定対象物にパターンを投影する回数を増やす必要が生じ、測定時間が増大するという問題があった。また、マスクを用いる方法では、測定対象物ごとに異なるマスクを作成する必要があるという問題があった。また、多重反射以外にも、例えば測定対象物のエッジや輝度変化の大きい箇所においては撮像系のぼけの影響で測定精度が低下するという問題があった。
【0008】
そこで、本発明はこれらの点に鑑みてなされたものであり、多重反射や撮像系のぼけ等に起因する測定精度の低下を抑制することができる三次元形状測定装置及び三次元形状測定方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第１の態様の三次元形状測定装置は、所定の方向における位置によって輝度が変化する光パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状測定装置であって、前記測定対象物に前記投影画像を投影する投影部と、前記投影画像が投影された前記測定対象物を撮影した撮影画像を生成する撮影部と、前記撮影画像の画素の位置である撮影画素位置における前記光パターンの位相と対応関係を有する前記投影画像の画素の位置である投影画素位置を特定する関係特定部と、前記投影部を起点として前記投影画素位置の画素を通る投影光線と、前記撮影部を起点として前記投影画素位置と前記対応関係を有する前記撮影画素位置の画素を通る撮影光線との位置関係に基づいて、前記撮影画素位置の画素が不良画素であるか否かを判定する画素不良判定部と、を備える。前記三次元形状測定装置は、前記画素不良判定部が不良画素であると判定した画素の位置を除く前記撮影画素位置の画素値に基づいて、前記測定対象物の三次元形状を特定する形状特定部、をさらに備えてもよい。
【0010】
前記画素不良判定部は、前記撮影光線と前記投影光線との距離に基づいて、前記撮影画素位置の画素が不良画素であるか否かを判定してもよい。前記画素不良判定部は、前記撮影画素位置を通る前記撮影光線と、当該撮影画素位置と前記対応関係を有する前記投影画素位置を通る予め指定した方向の投影光線面とが交わる位置を第１の三次元位置として特定し、当該投影画素位置を通る前記投影光線と、当該撮影画素位置を通る予め指定した方向の撮影光線面とが交わる位置を第２の三次元位置として特定し、前記第１の三次元位置及び前記第２の三次元位置の間の距離が閾値より大きい場合に、当該撮影画素位置の画素が不良画素であると判定してもよい。
【0011】
前記画素不良判定部は、前記撮影画素位置から所定の範囲内の３つ以上の撮影画素位置に対応する３つ以上の前記第１の三次元位置により定まる第１の面と、前記３つ以上の撮影画素位置に対応する３つ以上の前記第２の三次元位置により定まる第２の面との関係に基づいて、前記撮影画素位置が不良画素であるか否かを判定してもよい。
【0012】
前記形状特定部は、前記第１の三次元位置及び前記第２の三次元位置の三次元座標の平均値に基づいて、前記測定対象物の三次元形状を特定してもよい。前記三次元形状測定装置は、前記第１の三次元位置及び前記第２の三次元位置の間の距離を取得し、複数の撮影画素位置についてそれぞれ取得した距離の統計量に基づいて、前記三次元形状測定装置の異常を検出する異常検出部をさらに備えてもよい。
【0013】
前記投影部は、前記画素不良判定部が前記撮影画素位置の画素が不良画素であると判定した場合に、前記投影画像に含まれる複数の画素のうち、前記画素不良判定部が不良画素であると判定した撮影画素位置と前記対応関係を有する前記投影画素位置の画素を全て除いた投影画像を前記測定対象物に再び投影してもよい。前記投影部は、前記画素不良判定部が前記撮影画素位置の画素が不良画素であると判定した場合に、前記投影画像に含まれる複数の画素のうち、前記画素不良判定部が不良画素であると判定した撮影画素位置と対応関係を有する前記投影画素位置の画素のみを含む画像を前記測定対象物に再び投影してもよい。
【0014】
前記投影部は、前記撮影部の光軸と前記投影部の光軸とを含む面に直交する第１方向に延びる前記光パターンを含む投影画像と、前記撮影部の光軸と前記投影部の光軸とを含む面に平行な第２方向に延びる前記光パターンを含む投影画像とを投影してもよい。前記投影部は、２値画像の前記光パターンを含む投影画像と、正弦波状の輝度分布を有する前記光パターンを含む投影画像とを前記測定対象物に投影してもよい。前記投影部は、縞の周期が互いに異なる前記光パターンを含む複数の投影画像を順次投影してもよい。
【0015】
本発明の第２の態様の三次元形状測定方法は、所定の方向における位置によって輝度が変化する光パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状測定方法であって、前記測定対象物に前記投影画像を投影部により投影するステップと、前記投影画像が投影された前記測定対象物を撮影した撮影画像を撮影部により生成するステップと、前記撮影画像の画素の位置である撮影画素位置における前記光パターンの位相と対応関係を有する前記投影画像の画素の位置である投影画素位置を特定するステップと、前記投影部を起点として前記投影画素位置の画素を通る投影光線と、前記撮影部を起点として前記投影画素位置と前記対応関係を有する前記撮影画素位置の画素を通る撮影光線との位置関係に基づいて、前記撮影画素位置の画素が不良画素であるか否かを判定するステップと、を備える。
【発明の効果】
【0016】
本発明によれば、多重反射や撮像系のぼけ等に起因する測定精度の低下を抑制することができるという効果を奏する。
【図面の簡単な説明】
【0017】
【図1】第１の実施形態に係る三次元形状測定装置の概要について説明するための図である。
【図2】投影部が測定対象物に投影する投影画像を示す。
【図3】三次元形状測定装置の構成を示す図である。
【図4】投影制御部が投影する投影画像の種類の例を示す図である。
【図5】正弦波状の輝度分布を有する階調光パターンの例を示す。
【図7】多重反射について説明するための図である。
【図8】直接反射光の光路を示す図である。
【図9】多重反射光の光路を示す図である。
【図10】画素不良判定部による不良画素の判定方法を説明するための図である。
【図11】画素不良判定部による不良画素の別の判定方法について説明するための図である。
【図12】画素不良判定部による別の不良画素の判定方法について説明するための図である。
【図13】画素不良判定部による不良画素の判定処理の手順について説明するためのフローチャートである。
【発明を実施するための形態】
【0018】
＜第１の実施形態＞
［三次元形状測定装置１００の概要］
図１（ａ）～（ｃ）は、第１の実施形態に係る三次元形状測定装置１００の概要について説明するための図である。図１（ａ）は、三次元形状測定装置１００の構成を示している。三次元形状測定装置１００は、所定の方向における位置によって輝度が変化する光パターンを含む投影画像を測定対象物に投影することにより、測定対象物の三次元形状を計測する。光パターンの詳細は後述するが、光パターンは例えば縞状のパターンである。三次元形状測定装置１００は、投影部１と、撮影部２と、制御部３とを有する。
［三次元形状測定装置１００の概要］
図１（ａ）～（ｃ）は、第１の実施形態に係る三次元形状測定装置１００の概要について説明するための図である。図１（ａ）は、三次元形状測定装置１００の構成を示している。三次元形状測定装置１００は、所定の方向における位置によって輝度が変化する光パターンを含む投影画像を測定対象物に投影することにより、測定対象物の三次元形状を計測する。光パターンの詳細は後述するが、光パターンは例えば縞状のパターンである。三次元形状測定装置１００は、投影部１と、撮影部２と、制御部３とを有する。
【0019】
投影部１は、発光ダイオード又はレーザ等の光源、投影レンズ、並びに液晶又はマイクロミラー等を有している投影装置である。投影部１は、それぞれ異なる複数の光パターンを含む投影画像を測定対象物の測定面に投影する。
【0020】
撮影部２は、レンズ２１、撮像素子２２及び光学フィルタ（不図示）等を有している撮影装置である。撮影部２は、投影部１が複数の投影画像を測定対象物に順次投影する際に、投影画像を投影した状態の測定対象物をそれぞれ撮影することにより複数の撮影画像を生成する。撮影部２は、その光軸が投影部１の光軸との間に所定の角度をなすように配置される。
【0021】
制御部３は、撮影部２が生成した複数の撮影画像に基づいて、測定対象物の形状を計測する。制御部３は、例えばコンピュータにより実現できる。
【0022】
図１（ｂ）及び（ｃ）は、投影部１が測定対象物に投影画像を投影中に撮影部２が生成した撮影画像の例を示す。図１（ｂ）及び（ｃ）に示すように、投影部１は、所定の方向における位置によって輝度が変化する光パターンを含む投影画像を測定対象に投影する。図１（ｂ）は、投影部１が、光が投影される光投影領域及び光が投影されない非投影領域から構成される光パターンを含む投影画像を凹凸がない測定面に向けて投影した場合に撮影部２が生成する撮影画像を示している。白色の領域は光投影領域を示しており、黒色の領域は非投影領域を示している。測定面に凹凸がない場合、撮影部２が生成する撮影画像の光パターンは、投影画像の光パターンと一致する。
【0023】
図１（ｃ）は、投影部１が、凸部がある測定面に光パターンを含む投影画像を投影した場合に撮影部２が生成する撮影画像である。図１（ｃ）の撮影画像においては、光パターンの一部の画像が変形した状態になっている。撮影画像においては、凸部の高さに応じた量だけ光パターンの画像が変形する。そこで、三次元形状測定装置１００は、撮影画像における光パターンの画像の変形量に基づいて凸部の各位置の高さを特定することにより、測定対象物の形状を計測することができる。
【0024】
図２（ａ）及び（ｂ）は、投影部１が測定対象物に投影する投影画像を示す。図２（ａ）は、第１方向に延びる光パターンの例を示し、図２（ｂ）は、第２方向に延びる光パターンの例を示す。投影部１は、図２（ａ）に示すように、第１方向に延びる光パターン（以下、縦パターンという場合がある）を含む投影画像を投影する。第１方向は、投影部１の光軸と撮影部２の光軸とを含む平面に対して、直交する方向である。すなわち、第１方向は、投影部１の光軸に直交し、且つ撮影部２の光軸に直交する方向である。投影部１は、図２（ｂ）に示すように、第２方向に延びる光パターン（以下、横パターンという場合がある）を含む投影画像を投影することもできる。第２方向は、投影部１の光軸と撮影部２の光軸とを含む平面に対して、平行な方向である。
【0025】
測定対象物に上記の光パターンを含む投影画像を投影した場合、測定対象物の三次元形状に応じて、図１（ｃ）に示すように、光パターンが幅方向にずれる。また、測定対象物の三次元形状に応じて、光パターンの幅が変動する。光パターンが第１方向に延びる投影画像が投影された状態で撮影部２が撮影して生成した第１撮影画像では、投影部１及び撮影部２の間に光軸の向きのずれを生じさせている方向と、光パターンの幅方向のずれ等が生じる方向とが一致する。つまり、投影部１における光軸の起点と撮影部２における光軸の起点とを結ぶ線分を測定対象物が載置された平面に投影して生成される線分の像の方向と、光パターンの幅方向のずれ等が生じる方向が一致する。したがって、第１撮影画像では、光パターンの幅方向のずれ等を検出する感度が高い。このため、測定対象物の三次元形状の計測における分解能が高くなる。
【0026】
一方、光パターンが第２方向に延びる投影画像が投影された状態で撮影部２が撮影して生成した第２撮影画像では、投影部１及び撮影部２の間に光軸の向きのずれを生じさせている方向と、光パターンの幅方向のずれ等が生じる方向が直交する。つまり、投影部１における光軸の起点と撮影部２における光軸の起点とを結ぶ線分を測定対象物が載置された平面に投影して生成される線分の像の方向と、光パターンの幅方向のずれ等が生じる方向が直交する。したがって、第２撮影画像では、第１撮影画像と比較すれば、測定対象物の三次元形状の計測における分解能が非常に低くなり、三次元形状測定装置１００は、形状を正確に測定できない。
【0027】
三次元形状測定装置１００は、測定対象物に投影された光パターンを解析することにより、測定対象物の三次元形状を特定する。しかしながら、測定対象物の表面に光沢がある場合には、投影部１からの投影光が複数回反射する多重反射が起こることに起因して、測定精度が低下するという問題があった。また、多重反射以外にも、例えば測定対象物のエッジや輝度変化の大きい箇所においては撮像系のぼけの影響で測定精度が低下するという問題があった。ここで、投影部１の画素の位置を投影画素位置、撮影部２の画素の位置を撮影画素位置という。詳細については後述するが、三次元形状測定装置１００は、投影部１を起点として投影画素位置の画素を通る投影光線と、撮影部２を起点として撮影画素位置の画素を通る撮影光線との位置関係に基づいて、撮影画像の画素が多重反射等の影響による不良画素であるか否かを判定する。
【0028】
図３は、三次元形状測定装置１００の構成を示す図である。三次元形状測定装置１００は、投影部１、撮影部２、制御部３及び記憶部４を有する。記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶媒体を含む。記憶部４は、制御部３が実行するプログラムを記憶している。制御部３は、例えばＣＰＵ（Central Processing Unit）であり、記憶部４に記憶されたプログラムを実行することにより、投影制御部３０１、関係特定部３０２、画素不良判定部３０３、形状特定部３０４及び異常検出部３０５として機能する。
【0029】
投影制御部３０１は、測定対象物に光パターンを含む投影画像を投影するための制御信号を生成し、生成した制御信号を投影部１に入力する。投影制御部３０１は、投影部１のオンオフを画素ごとに切り替えるための回路を制御し、投影部１の一部の画素を測定対象物に投影することが可能である。以下、図４及び図５を参照して、投影制御部３０１が投影する光パターンの例について説明する。
【0030】
［光パターンの種類］
図４は、投影制御部３０１が投影する投影画像の種類の例を示す図である。図４における黒色の領域は、投影部１が光を投影しない非投影領域を示しており、白色の領域は、投影部１が光を投影する光投影領域を示している。
図４は、投影制御部３０１が投影する投影画像の種類の例を示す図である。図４における黒色の領域は、投影部１が光を投影しない非投影領域を示しており、白色の領域は、投影部１が光を投影する光投影領域を示している。
【0031】
図４（ａ）は、測定対象物の全体に光を投影しない基準パターン（全黒パターン）である。図４（ｂ）は、測定対象物の全体に光を投影する基準パターン（全白パターン）である。図４（ｃ）から図４（ｆ）は、光投影領域及び非投影領域から構成され、投影画像ごとに幅の異なる縞が同一方向に配列された２値光パターンを示している。詳細については後述するが、図４に示す光パターンはグレイコードに対応しており、撮像画像における画素の位置を特定するために用いられる。
【0032】
図５（ａ）から（ｄ）は、投影制御部３０１が測定対象物に投影する正弦波状の輝度分布を有する階調光パターンの例を示す。階調光パターンは、所定の方向における位置によって輝度が変化する光パターンである。図５（ａ）から（ｄ）の階調光パターンの例では、縞の幅方向に沿って、白色の領域から黒色の領域まで輝度が正弦波状に変化する。図５（ａ）から（ｄ）の階調光パターンの縞の間隔は一定であり、これらの階調光パターンの縞の空間周波数は、例えば、図４（ｆ）の２値光パターンの４倍である。
【0033】
図５（ａ）から（ｄ）の階調光パターンは、輝度分布を示す正弦波の位相がそれぞれ９０度ずつ異なる点を除き、互いに同一の輝度分布を示す。本実施の形態では、投影制御部３０１は、図４（ａ）及び（ｂ）に示す２枚の基準パターン、図４（ｃ）から（ｆ）に示す４枚の２値光パターン、及び図５（ａ）から（ｄ）に示す４枚の階調光パターンの合計１０枚の投影画像を投影する。図５に示す階調光パターンは、図４に示す光パターンとともに、撮像画像における画素の位置を特定するために用いられる。
【0034】
［撮像画像の画素に対応する投影画像の画素の特定］
関係特定部３０２は、撮影画像の光パターンの階調情報を解析することにより、撮影画像の画素の位置である撮影画素位置における光パターンの位相と対応関係を有する投影画像の画素の位置である投影画素位置を特定する。投影画像における画素Ａを写した画素が撮影画像の画素Ｂである場合、画素Ａの投影画素位置と、画素Ｂの撮影画素位置とは対応関係を有する。以下、投影画像の画素と撮影画像の画素との対応関係を特定する方法について説明する。
関係特定部３０２は、撮影画像の光パターンの階調情報を解析することにより、撮影画像の画素の位置である撮影画素位置における光パターンの位相と対応関係を有する投影画像の画素の位置である投影画素位置を特定する。投影画像における画素Ａを写した画素が撮影画像の画素Ｂである場合、画素Ａの投影画素位置と、画素Ｂの撮影画素位置とは対応関係を有する。以下、投影画像の画素と撮影画像の画素との対応関係を特定する方法について説明する。
【0035】
上記のとおり、図４（ｃ）から図４（ｆ）に示す２値光パターンは、グレイコードに対応している。図６は、図４（ｃ）～図４（ｆ）に示す２値光パターンに対応するグレイコードの例を示す。グレイコードにおける０を非投影領域に対応させ、１を光投影領域に対応させることで、図４（ｃ）から図４（ｆ）に示す２値光パターンが生成される。
【0036】
図４及び図６におけるｘ方向の各位置は、各グレイコードの対応する位置の０又は１の数字を組み合わせたコード値によって表される。図６における位置０はコード値「００００」に対応し、位置１はコード値「０００１」に対応し、位置１５はコード値「１０００」に対応する。
【0037】
撮影部２は、投影制御部３０１において図４（ａ）及び図４（ｂ）に示す基準パターンを測定対象物にそれぞれ投影した状態で測定対象物を撮影する。関係特定部３０２は、撮影した２枚の基準パターンの平均を画素ごとに中間値として算出する。同様に、関係特定部３０２は、図４（ｃ）～図４（ｆ）の２値光パターンを測定対象物に投影した状態の撮影画像について、４枚の撮影画像における各画素の輝度値をそれぞれ対応する中間値と比較することにより、各画素のコード値を特定する。関係特定部３０２は、コード値を特定することより、各画素の位置に、どの位置に向けて投影された２値の縞が写っているかを特定することができる。関係特定部３０２は、撮像画像に含まれる各画素が、位置０から位置１５までのどの位置に含まれるかを特定する。
【0038】
さらに、関係特定部３０２は、正弦波状の輝度分布を有する階調光パターンを測定対象物に投影した際の撮影画像において撮影画素位置における正弦波の位相をそれぞれ特定する。関係特定部３０２は、特定した正弦波の位相と一致する投影画像の画素の位置を特定する。投影画像の階調光パターンは、周期性を有するため、特定した正弦波の位相と一致する投影画像の画素の位置は複数存在する。
【0039】
そこで、関係特定部３０２は、図４（ｃ）～（ｆ）の２値光パターンを投影した際の撮像画像における各画素が対応するグレイコードのコード値に基づいて特定した、各画素が含まれる位置に基づいて、投影画像の画素と撮影画像の画素の位置との対応関係を特定する。関係特定部３０２は、階調光パターンの階調情報の解析により特定した複数の対応関係のうち、２値光パターンが示すグレイコードに基づいて特定した位置に含まれる対応関係を選択することにより、撮影画像の画素と投影画像の画素との対応関係を特定する。ｋ（＝１，２）を第１及び第２の方向を表すインデックスとする。このとき、関係特定部３０２は、個々の撮影部２の画素（ｉ，ｊ）に対して、投影部１の対応する画素（ｉｐ，ｊｐ）の座標を次のようにして特定する。
【0040】
【数1】
【0041】
ＩＡＰ，ｋ（ｉ，ｊ）｛ただし、ｋ＝１，２｝は、正弦波状の輝度分布を有する縦パターン及び横パターンを投影した状態で撮影された撮影画像における絶対位相画像の相対位相である。ｐｋは、投影部１における１周期に対応する光パターンの縞に含まれる画素数である。
【0042】
なお、関係特定部３０２は、図４に示した２値光パターンを含む投影画像を利用する代わりに、階調光パターンを含む投影画像を利用してもよい。関係特定部３０２は、図５（ａ）～（ｄ）の階調光パターンを有する投影画像に加えて、正弦波状の輝度分布を有する階調光パターンであって、かつ、図５（ａ）～（ｄ）とは縞の周期が異なる階調光パターンを有する複数の投影画像を順次投影することにより、撮影画像の画素と投影画像の画素との対応関係を特定する構成であってもよい。
【0043】
例えば、投影部１は、第１周期の階調光パターンを有する複数の投影画像を投影し、第２周期の階調光パターンを有する複数の投影画像を投影し、且つ第３周期の階調光パターンを有する複数の投影画像を投影する構成であってもよい。この場合、投影部１は、正弦波状の輝度分布を有する投影画像を測定対象物に投影することにより、測定対象物の形状を特定することができる。さらに、第１方向及び第２方向に延びる階調光パターンとして、第１周期から第３周期の階調光パターンを有する複数の投影画像をそれぞれ投影してもよい。
【0044】
［多重反射］
画素不良判定部３０３は、撮影画素位置の画素が多重反射等による不良画素であるか否かを判定する。図７（ａ）及び（ｂ）は、多重反射について説明するための図である。測定対象物に光沢がありかつ測定対象物が複雑な形状をしている場合、投影部１が発する光が測定対象物の表面で複数回反射を繰り返してから撮影部２に入射することがある。この場合、図７（ａ）に示すように、投影部１が発する光が２つ以上の経路を介して撮像素子２２の一つの画素に入射する。
画素不良判定部３０３は、撮影画素位置の画素が多重反射等による不良画素であるか否かを判定する。図７（ａ）及び（ｂ）は、多重反射について説明するための図である。測定対象物に光沢がありかつ測定対象物が複雑な形状をしている場合、投影部１が発する光が測定対象物の表面で複数回反射を繰り返してから撮影部２に入射することがある。この場合、図７（ａ）に示すように、投影部１が発する光が２つ以上の経路を介して撮像素子２２の一つの画素に入射する。
【0045】
具体的には、撮像素子２２に入射する光には、投影部１から発せられた光が測定対象面で拡散反射して直接撮影部２に入射する直接反射光と、投影部１から発せられた光が多重反射してから撮影部２に入射する多重反射光とが存在する。その結果、撮影部２が撮像する撮像画像において、多重反射光がない場合に黒色に対応する輝度値であった画素が、白色に対応する輝度値になってしまう場合がある。特に、測定対象物が乱反射を生じやすい金属等を含むことにより、多重反射が生じやすい。
【0046】
図７（ｂ）は、多重反射の影響を受けた撮像画像の例を示す図である。図７（ｂ）は、図１（ｃ）に対応しているが、斜線で示す部分は、多重反射光の影響により、図１（ｃ）における輝度と異なる輝度になっている。また、多重反射光の影響により、階調光パターンの輝度分布が示す正弦波形に歪み等が生じることがある。
【0047】
［不良画素の判定］
画素不良判定部３０３は、投影部１を起点として投影画素位置の画素を通る投影光線と、撮影部２を起点として投影画素位置と対応関係を有する撮影画素位置の画素を通る撮影光線との位置関係に基づいて、撮影画素位置の画素が不良画素であるか否かを判定する。図８及び図９は、不良画素の判定の原理について説明するための図である。
画素不良判定部３０３は、投影部１を起点として投影画素位置の画素を通る投影光線と、撮影部２を起点として投影画素位置と対応関係を有する撮影画素位置の画素を通る撮影光線との位置関係に基づいて、撮影画素位置の画素が不良画素であるか否かを判定する。図８及び図９は、不良画素の判定の原理について説明するための図である。
【0048】
図８は、直接反射光の光路を示す図である。投影部１の光学中心Ｏ１から発せられた光は、投影部１の画像平面上の投影画素位置Ａ１を通り、測定対象物上の一つの位置ＭＰで拡散反射する。位置ＭＰで反射した光は、撮影部２の画像平面において撮影画素位置Ｂ１を通る。
【0049】
図９は、多重反射光の光路を示す図である。投影部１の画像平面上において投影画素位置Ａ１とは異なる投影画素位置Ａ２を通る光は、測定対象物の複数の位置において反射する多重反射光になるものとする。この多重反射光を太い破線で示す。多重反射光は、撮影部２の画像平面において撮影画素位置Ｂ１を通る。
【0050】
図８に示すように、測定対象物において１回のみ反射した直接反射光の場合、投影画素位置Ａ１の画素を通る投影光線と、撮影画素位置Ｂ１を通る撮影光線とは、測定対象物の一つの測定点ＭＰで交わる。投影画素位置Ａ２の画素を通った光は、測定対象物の複数の位置で反射する多重反射が発生することにより撮影画素位置Ｂ１に到達するが、多重反射が発生しない場合、投影画素位置Ａ２を通る光は、投影画素位置Ｂ１に到達しない。すなわち、多重反射が発生しない場合、投影画素位置Ａ２を通る光の投影光線と、撮影画素位置Ｂ１を通る撮影光線とは交わらない。画素不良判定部３０３は、この特性を用いることにより不良画素であるか否かを判定する。
【0051】
図１０は、画素不良判定部３０３による不良画素の判定方法を説明するための図である。画素不良判定部３０３は、以下のように、投影光線と、撮影光線との位置関係を特定する。
【0052】
［撮影光線上の三次元位置の算出］
画素不良判定部３０３は、撮影部２を起点として撮影画素位置Ｂ１（ｉ，ｊ）を通る撮影光線ＬＢ１を特定する。撮影部２の向きは一定であるため、投影部１の光学中心（図１０におけるＯ１）を起点として撮影画素位置Ｂ１（ｉ，ｊ）を通る撮影光線ＬＢ１は、レンズ２１の配置により一意に定まる。撮影光線ＬＢ１を特定する情報は、記憶部４に予め記憶されており、画素不良判定部３０３は、撮影光線ＬＢ１を特定する情報を記憶部４から読み出す。撮影光線ＬＢ１を特定する情報は、例えば投影部１の光学中心を原点とする直線の方向又は直線上の点の座標を示す情報である。
画素不良判定部３０３は、撮影部２を起点として撮影画素位置Ｂ１（ｉ，ｊ）を通る撮影光線ＬＢ１を特定する。撮影部２の向きは一定であるため、投影部１の光学中心（図１０におけるＯ１）を起点として撮影画素位置Ｂ１（ｉ，ｊ）を通る撮影光線ＬＢ１は、レンズ２１の配置により一意に定まる。撮影光線ＬＢ１を特定する情報は、記憶部４に予め記憶されており、画素不良判定部３０３は、撮影光線ＬＢ１を特定する情報を記憶部４から読み出す。撮影光線ＬＢ１を特定する情報は、例えば投影部１の光学中心を原点とする直線の方向又は直線上の点の座標を示す情報である。
【0053】
画素不良判定部３０３は、この撮影画素位置Ｂ１と対応関係を有すると関係特定部３０２が特定した投影画素位置Ａ２（ｉｐ，ｊｐ）を通る予め指定した方向の投影光線面を特定する。より詳しくは、画素不良判定部３０３は、投影画素位置Ａ２（ｉｐ，ｊｐ）の横方向の座標値ｉｐに対応する投影光線面を特定する。横方向の座標値ｉｐを有する投影画素位置は、図１０に示す投影部１の画像平面において直線ＥＦ上にある。投影部１の光学中心Ｏ１を起点として直線ＥＦを測定対象物側に投影した直線をＥ’Ｆ’と仮定すれば、横方向の座標値ｉｐを有する投影画素位置に対応する測定対象物の測定点ＭＰは、３点Ｏ１、Ｅ’、Ｆ’からなる投影光線面上に存在する。画素不良判定部３０３は、３点Ｏ１、Ｅ’、Ｆ’からなる投影光線面と、撮影光線ＬＢ１とが交わる位置を第１の三次元位置Ｂ１’として特定する。多重反射等が生じていない場合には、求めた交点Ｂ１’が、撮影画素位置Ｂ１（ｉ，ｊ）に対応する測定対象物の測定点ＭＰと略一致する。
【0054】
［投影光線上の三次元位置の算出］
画素不良判定部３０３は、投影部１の光学中心Ｏ１を起点として投影部１の投影画素位置Ａ２（ｉｐ，ｊｐ）を通る投影光線ＬＡ２を特定する。投影部１の向きは一定であるため、投影部１の光学中心Ｏ１を起点として投影部１の投影画素位置Ａ２（ｉｐ，ｊｐ）を通る投影光線ＬＡ２は一意に定まる。投影光線ＬＡ２を特定する情報は、記憶部４に予め記憶されており、画素不良判定部３０３は、投影光線ＬＡ２を特定する情報を記憶部４から読み出す。投影光線ＬＡ２を特定する情報は、例えば撮影部２の光学中心Ｏ１’を原点とする直線の方向又は直線上の点の座標を示す情報である。
画素不良判定部３０３は、投影部１の光学中心Ｏ１を起点として投影部１の投影画素位置Ａ２（ｉｐ，ｊｐ）を通る投影光線ＬＡ２を特定する。投影部１の向きは一定であるため、投影部１の光学中心Ｏ１を起点として投影部１の投影画素位置Ａ２（ｉｐ，ｊｐ）を通る投影光線ＬＡ２は一意に定まる。投影光線ＬＡ２を特定する情報は、記憶部４に予め記憶されており、画素不良判定部３０３は、投影光線ＬＡ２を特定する情報を記憶部４から読み出す。投影光線ＬＡ２を特定する情報は、例えば撮影部２の光学中心Ｏ１’を原点とする直線の方向又は直線上の点の座標を示す情報である。
【0055】
また、画素不良判定部３０３は、撮影画素位置Ｂ１（ｉ，ｊ）を通る予め指定した方向の撮影光線面を特定する。より詳しくは、画素不良判定部３０３は、撮影画素位置Ｂ１（ｉ，ｊ）の横方向の座標値ｉに対応する撮影光線面を特定する。横方向の座標値ｉを有する撮影画素位置は、図１０に示す撮影部２の画像平面において直線ＧＨ上にある。撮影部２の画像平面上の複数の撮影画素位置を通る撮影光線が交わる点をＯ１’とする。Ｏ１’を起点として直線ＧＨを測定対象物側に投影した直線をＧ’Ｈ’とすれば、横方向の座標値ｉを有する撮影画素位置に対応する測定対象物の測定点ＭＰは、３点Ｏ１’、Ｇ’、Ｈ’からなる撮影光線面上に存在する。画素不良判定部３０３は、３点Ｏ１’、Ｇ’、Ｈ’からなる撮影光線面と、投影光線ＬＡ２とが交わる位置を第２の三次元位置Ａ２’として特定する。多重反射等が生じていない場合には、求めた交点Ａ２’が撮影画素位置Ｂ１（ｉ，ｊ）に対応する測定対象物の測定点ＭＰと略一致する。
【0056】
［２つの三次元位置の比較］
画素不良判定部３０３は、撮影光線上の第１の三次元位置Ｂ１’と、投影光線上の第２の三次元位置Ａ２’とを比較することにより、撮影画像上の画素が不良画素か否かを判定する。多重反射等の影響を受けていない場合、第１の三次元位置Ｂ１’と第２の三次元位置Ａ２’とは略一致する。一方、多重反射等の影響を受けている場合、第１の三次元位置Ｂ１’と第２の三次元位置Ａ２’との差は大きくなる。
画素不良判定部３０３は、撮影光線上の第１の三次元位置Ｂ１’と、投影光線上の第２の三次元位置Ａ２’とを比較することにより、撮影画像上の画素が不良画素か否かを判定する。多重反射等の影響を受けていない場合、第１の三次元位置Ｂ１’と第２の三次元位置Ａ２’とは略一致する。一方、多重反射等の影響を受けている場合、第１の三次元位置Ｂ１’と第２の三次元位置Ａ２’との差は大きくなる。
【0057】
画素不良判定部３０３は、図１０に示す第１の三次元位置Ｂ１’と第２の三次元位置Ａ２’との距離Ｄが閾値を超えている場合に、撮影画素位置Ｂ１の画素を不良画素であると判定する。一方、画素不良判定部３０３は、第１の三次元位置Ｂ１’と第２の三次元位置Ａ２’との距離Ｄが閾値以下である場合に、撮影画素位置Ｂ１の画素を不良画素でないと判定する。閾値は、例えば、撮影画素位置Ｂ１の画素が多重反射等の影響を受けていない場合に第１の三次元位置Ｂ１’と第２の三次元位置Ａ２’との間において生じる誤差の統計量である。
【0058】
形状特定部３０４は、一つの撮影画素位置（ｉ，ｊ）と、この撮影画素位置と対応関係を有すると関係特定部３０２が特定した投影画素位置（ｉｐ，ｊｐ）とに含まれる４つの座標値のうち、３つの座標値を用いれば、撮影画素位置に対応する三次元位置を特定することができる。上述の内容は、座標値ｉと、座標値ｊと、座標値ｉｐとの組合せで求めた三次元位置と、座標値ｉと、座標値ｉｐと、座標値ｊｐとの組合せで求めた三次元位置とを比較することに相当する。
【0059】
［撮影光線と投影光線との距離］
画素不良判定部３０３は、撮影光線と投影光線との距離に基づいて、撮影画素位置の画素が不良画素であるか否かを判定してもよい。図１１は、画素不良判定部３０３による不良画素の別の判定方法について説明するための図である。画素不良判定部３０３は、撮影部２の撮影画素位置Ｂ１（ｉ，ｊ）を通る撮影光線ＬＢ１と、関係特定部３０２が撮影画素位置Ｂ１と対応関係を有すると特定した投影画素位置Ａ２（ｉｐ，ｊｐ）を通る投影光線ＬＡ２とをそれぞれ特定する。画素不良判定部３０３は、撮影光線と投影光線との最短距離Ｄ’を算出する。
画素不良判定部３０３は、撮影光線と投影光線との距離に基づいて、撮影画素位置の画素が不良画素であるか否かを判定してもよい。図１１は、画素不良判定部３０３による不良画素の別の判定方法について説明するための図である。画素不良判定部３０３は、撮影部２の撮影画素位置Ｂ１（ｉ，ｊ）を通る撮影光線ＬＢ１と、関係特定部３０２が撮影画素位置Ｂ１と対応関係を有すると特定した投影画素位置Ａ２（ｉｐ，ｊｐ）を通る投影光線ＬＡ２とをそれぞれ特定する。画素不良判定部３０３は、撮影光線と投影光線との最短距離Ｄ’を算出する。
【0060】
画素不良判定部３０３は、求めた最短距離Ｄ’が基準値を超える場合に、撮影画素位置Ｂ１の画素を不良画素であると判定する。一方、画素不良判定部３０３は、求めた最短距離Ｄ’が基準値以下である場合に、撮影画素位置Ｂ１が不良画素でないと判定する。基準値は、例えば、撮影画素位置Ｂ１の画素が多重反射等の影響を受けていない場合の最短距離Ｄ’の統計量である。
【0061】
［法線の利用］
図１２は、画素不良判定部３０３による別の不良画素の判定方法について説明するための図である。画素不良判定部３０３は、着目する撮影画素位置の周囲の情報に基づいて、測定対象物の測定面の法線を算出し、算出した法線により不良画素を判定してもよい。画素不良判定部３０３は、着目する撮影画素位置から所定の範囲内の３つ以上の撮影画素位置Ｂ１～Ｂ３を選択する。所定の範囲は、例えば、着目する撮影画素位置の近傍の数個～数十個の撮影画素位置が含まれる程度の範囲である。画素不良判定部３０３は、上述した方法により、選択した撮影画素位置Ｂ１～Ｂ３に対応する第１の三次元位置Ｂ１’～Ｂ３’をそれぞれ特定する。
図１２は、画素不良判定部３０３による別の不良画素の判定方法について説明するための図である。画素不良判定部３０３は、着目する撮影画素位置の周囲の情報に基づいて、測定対象物の測定面の法線を算出し、算出した法線により不良画素を判定してもよい。画素不良判定部３０３は、着目する撮影画素位置から所定の範囲内の３つ以上の撮影画素位置Ｂ１～Ｂ３を選択する。所定の範囲は、例えば、着目する撮影画素位置の近傍の数個～数十個の撮影画素位置が含まれる程度の範囲である。画素不良判定部３０３は、上述した方法により、選択した撮影画素位置Ｂ１～Ｂ３に対応する第１の三次元位置Ｂ１’～Ｂ３’をそれぞれ特定する。
【0062】
画素不良判定部３０３は、特定した第１の三次元位置Ｂ１’～Ｂ３’により定まる第１の面を特定する。画素不良判定部３０３は、３つの撮影画素位置Ｂ１～Ｂ３を選択した場合には、第１の三次元位置Ｂ１’～Ｂ３’を全て含む第１の面を特定する。画素不良判定部３０３は、着目する撮影画素位置から所定の範囲内の４つ以上の撮影画素位置を選択した場合には、選択した撮影画素位置に対応する４つ以上の第１の三次元位置を特定する。画素不良判定部３０３は、例えば、特定した４つ以上の第１の三次元位置から第１の面までの距離の２乗の総和が最も小さくなるように、第１の面を特定する。
【0063】
画素不良判定部３０３は、同様にして、３つ以上の撮影画素位置に対応する第２の三次元位置をそれぞれ特定する。画素不良判定部３０３は、特定した第２の三次元位置により定まる第２の面を特定する。第１の三次元位置Ｂ１’～Ｂ３’は、選択した撮影画素位置Ｂ１～Ｂ３を通る撮影部２の撮影光線を測定対象物側へ延長した延長線上にあり、第１の面は、これらの第１の三次元位置Ｂ１’～Ｂ３’により定まる。一方、第２の三次元位置は、選択した撮影画素位置Ｂ１～Ｂ３と対応関係を有する投影画素位置を通る投影部１の投影光線を測定対象物側へ延長した延長線上にあり、第２の面は、これらの第２の三次元位置により定まる。
【0064】
画素不良判定部３０３は、第１の面と第２の面との関係に基づいて、撮影画素位置が不良画素であるか否かを判定する。より詳しくは、画素不良判定部３０３は、第１の面を通る第１の法線と、第２の面を通る第２の法線とを比較する。例えば、画素不良判定部３０３は、第１の三次元位置Ｂ１’～Ｂ３’からなる三角形の重心を通る第１の法線Ｎと、第２の三次元位置からなる三角形の重心を通る第２の法線（不図示）との傾きの差及び距離を算出する。
【0065】
画素不良判定部３０３は、第１の法線の傾きと第２の法線の傾きとの差が所定角度以下であり、且つ、第１の法線と第２の法線との最短距離が所定距離以下である場合に、着目する撮影画素位置の画素が不良画素でないと判定する。一方、画素不良判定部３０３は、第１の法線と第２の法線との傾きの差が所定角度を超える場合、及び、第１の法線と第２の法線との最短距離が所定距離を超える場合に、着目する撮影画素位置の画素が不良画素であると判定する。
【0066】
所定角度及び所定距離は、三次元形状測定において要求される測定精度に応じて、当業者が定める。このような構成により、画素不良判定部３０３は、周囲の画素も考慮して撮影画素位置の画素が不良画素であるか否かを判定するので、不良画素の判定精度を向上させることができる。
【0067】
［三次元形状の特定］
形状特定部３０４は、画素不良判定部３０３が不良画素であると判定した画素の位置を除く撮影画素位置の画素値に基づいて、測定対象物の三次元形状を特定する。形状特定部３０４は、撮影画像の複数の撮影画素位置について画素不良判定部３０３が特定した第１の三次元位置をそれぞれ取得する。形状特定部３０４は、取得した三次元位置を隣接する三次元位置同士で互いに結合させることにより、測定対象物の三次元形状を特定する。このとき、形状特定部３０４は、画素不良判定部３０３が不良画素であると判定した撮影画素位置に対応する第１の三次元位置を測定対象物の三次元形状に含めない。
形状特定部３０４は、画素不良判定部３０３が不良画素であると判定した画素の位置を除く撮影画素位置の画素値に基づいて、測定対象物の三次元形状を特定する。形状特定部３０４は、撮影画像の複数の撮影画素位置について画素不良判定部３０３が特定した第１の三次元位置をそれぞれ取得する。形状特定部３０４は、取得した三次元位置を隣接する三次元位置同士で互いに結合させることにより、測定対象物の三次元形状を特定する。このとき、形状特定部３０４は、画素不良判定部３０３が不良画素であると判定した撮影画素位置に対応する第１の三次元位置を測定対象物の三次元形状に含めない。
【0068】
［第１の三次元位置及び第２の三次元位置の平均化］
形状特定部３０４は、撮影画像の複数の撮影画素位置について画素不良判定部３０３が特定した第２の三次元位置をそれぞれ取得することにより、測定対象物の三次元形状を特定してもよい。また、形状特定部３０４は、第１の三次元位置及び第２の三次元位置の三次元座標の平均値に基づいて、測定対象物の三次元形状を特定してもよい。
形状特定部３０４は、撮影画像の複数の撮影画素位置について画素不良判定部３０３が特定した第２の三次元位置をそれぞれ取得することにより、測定対象物の三次元形状を特定してもよい。また、形状特定部３０４は、第１の三次元位置及び第２の三次元位置の三次元座標の平均値に基づいて、測定対象物の三次元形状を特定してもよい。
【0069】
複数の撮影画素位置について第１の三次元位置と第２の三次元位置との距離が大きくなる場合、多重反射光等の影響ではなく、投影部１又は撮影部２の位置関係のずれが生じている可能性がある。そこで、異常検出部３０５は、以下の方法により、三次元形状測定装置１００の投影部１及び撮影部２のアラインメント状態が適切でないということを検出してもよい。
【0070】
まず、異常検出部３０５は、撮影画素位置に対応する第１の三次元位置と第２の三次元位置との距離を画素不良判定部３０３から取得する。異常検出部３０５は、複数の撮影画素位置について第１の三次元位置と第２の三次元位置との距離をそれぞれ取得し、取得した距離の平均値等の統計量を算出する。
【0071】
異常検出部３０５は、求めた統計量に基づいて、三次元形状測定装置１００の異常を検出する。より詳しくは、異常検出部３０５は、求めた統計量が許容値を超えている場合に、三次元形状測定装置１００の投影部１及び撮影部２のアラインメント状態が適正でないと自己診断する。この場合、異常検出部３０５は、投影部１及び撮影部２のアラインメント状態の校正を行う必要があることを示すメッセージを表示部（不図示）に表示する。許容値は、要求される測定精度を考慮して、当技術分野の専門家が適宜指定する。
【0072】
一方、異常検出部３０５は、求めた統計量が許容値以下の場合、三次元形状測定装置１００の投影部１及び撮影部２のアラインメント状態が適正であると自己診断する。このような構成により、異常検出部３０５は、投影部１及び撮影部２の位置関係のずれが生じているか否かを自己診断できるので、三次元形状測定装置１００の信頼性を向上させることができる。
【0073】
［不良画素の判定処理］
図１３は、画素不良判定部３０３による不良画素の判定処理の手順について説明するためのフローチャートである。この手順は、例えば、ユーザが三次元形状測定装置１００の操作キー（不図示）への操作入力により測定対象物の三次元形状の測定を指示したときに開始する。
図１３は、画素不良判定部３０３による不良画素の判定処理の手順について説明するためのフローチャートである。この手順は、例えば、ユーザが三次元形状測定装置１００の操作キー（不図示）への操作入力により測定対象物の三次元形状の測定を指示したときに開始する。
【0074】
まず、投影制御部３０１は、投影部１を制御することにより、測定対象物に投影画像を投影する（Ｓ１０１）。次に、撮影部２は、投影画像が投影された状態の測定対象物を撮影する（Ｓ１０２）。関係特定部３０２は、撮影画素位置と対応関係を有する投影画素位置を特定する（Ｓ１０３）。
【0075】
画素不良判定部３０３は、撮影部２の撮影画素位置Ｂｋ（ｉｋ，ｊｋ）｛ｋ＝１、２、…｝を通る撮影光線ＬＢｋを特定し、この撮影画素位置Ｂｋと対応関係を有すると関係特定部３０２が特定した投影画素位置Ａｋ（ｉｐｋ，ｊｐｋ）の一方の座標値ｉｐｋに対応する投影光線面を特定する。画素不良判定部３０３は、特定した投影光線面と撮影光線ＬＢｋとが交わる位置を第１の三次元位置ａｋとして特定する（Ｓ１０４）。
【0076】
画素不良判定部３０３は、同じ投影画素位置Ａｋ（ｉｐｋ，ｊｐｋ）を通る投影光線ＬＡｋを特定し、撮影画素位置Ｂｋ（ｉｋ，ｊｋ）の一方の座標値ｉｋに対応する撮影光線面を特定する。画素不良判定部３０３は、特定した撮影光線面と投影光線ＬＡｋとが交わる位置を第２の三次元位置ｂｋとして特定する（Ｓ１０５）。
【0077】
画素不良判定部３０３は、撮影光線ＬＢｋ上の第１の三次元位置ａｋと、投影光線ＬＡｋ上の第２の三次元位置ｂｋとの距離が閾値を超えるか否かを判定する（Ｓ１０６）。画素不良判定部３０３は、第１の三次元位置ａｋと第２の三次元位置ｂｋとの距離が閾値を超える場合（Ｓ１０６のＹＥＳ）、撮影画素位置Ｂｋの画素を不良画素であると判定する（Ｓ１０７）。画素不良判定部３０３は、不良画素であるか否かを判定していない撮影画素位置Ｂｋの画素が残っているか否かを判定する（Ｓ１０８）。形状特定部３０４は、画素不良判定部３０３が全ての撮影画素位置Ｂｋの画素について不良画素か否かを判定した場合には（Ｓ１０８のＮＯ）、画素不良判定部３０３が不良画素であると判定した画素の位置を除く撮影画素位置Ｂｋの画素値に基づいて、測定対象物の三次元形状を特定し（Ｓ１０９）、処理を終了する。
【0078】
画素不良判定部３０３は、Ｓ１０６の判定において撮影光線ＬＢｋ上の第１の三次元位置ａｋと、投影光線ＬＡｋ上の第２の三次元位置ｂｋとの距離が閾値以下である場合には（Ｓ１０６のＮＯ）、撮影画素位置Ｂｋの画素は不良画素ではないと判定し（Ｓ１１０）、Ｓ１０８の判定に移る。画素不良判定部３０３は、Ｓ１０８の判定において不良画素であるか否かを判定していない撮影画素位置Ｂｋの画素が残っていると判定した場合には（Ｓ１０８のＹＥＳ）、別の撮影画素位置ＢｋについてＳ１０４の処理に戻る。
【0079】
本実施形態によれば、画素不良判定部３０３は、投影部１を起点として投影画素位置の画素を通る投影光線と、撮影部２を起点としてこの投影画素位置と対応関係を有する撮影画素位置の画素を通る撮影光線との位置関係に基づいて、撮影画素位置の画素が不良画素であるか否かを判定する。このような構成により、画素不良判定部３０３は、多重反射に起因して撮影画素位置と対応関係を有する投影画素位置を関係特定部３０２が誤って特定した場合に、三次元形状の測定精度が低下することを抑制することができる。また、画素不良判定部３０３は、多重反射以外にも、測定対象物のエッジや輝度変化が大きい箇所において撮影部２のぼけの影響で関係特定部３０２が対応関係を誤って特定した場合にも、三次元形状の測定精度が低下することを抑制することができる。以上のように、画素不良判定部３０３は、測定上の様々な不具合によって生じる測定誤差を抑制することができる。
【0080】
［再測定処理］
不良画素は、多重反射光に起因して生じることが多いため、不良画素として検出された位置の投影画素を除く投影画像を投影すれば、多重反射光の影響を抑制することができる。そこで、投影制御部３０１は、画素不良判定部３０３が撮影画素位置の画素が不良画素であると判定した場合に、投影画像に含まれる複数の画素のうち、画素不良判定部３０３が不良画素であると判定した撮影画素位置と対応関係を有する投影画素位置の画素を全て除いた投影画像（以下、第１選択投影画像）を測定対象物に再び投影してもよい。
不良画素は、多重反射光に起因して生じることが多いため、不良画素として検出された位置の投影画素を除く投影画像を投影すれば、多重反射光の影響を抑制することができる。そこで、投影制御部３０１は、画素不良判定部３０３が撮影画素位置の画素が不良画素であると判定した場合に、投影画像に含まれる複数の画素のうち、画素不良判定部３０３が不良画素であると判定した撮影画素位置と対応関係を有する投影画素位置の画素を全て除いた投影画像（以下、第１選択投影画像）を測定対象物に再び投影してもよい。
【0081】
関係特定部３０２は、第１選択投影画像の投影画素位置と対応関係を有する撮影画素位置を特定する。不良画素は多重反射光の影響を受けている可能性があるため、投影制御部３０１は、不良画素を除く第１選択投影画像を投影することにより、多重反射光の影響を抑制することができる。このため、関係特定部３０２は、投影画素位置と撮影画素位置との対応関係をより精度よく特定することができる。
【0082】
多重反射による不良画素は、多数の画素を含む投影画像を同時に測定対象物に投影することによって生じると考えることもできる。そこで、投影制御部３０１は、画素不良判定部３０３が撮影画素位置の画素が不良画素であると判定した場合に、同時に投影する画素の数を減少させることを目的として、投影画像に含まれる複数の画素のうち、画素不良判定部３０３が不良画素であると判定した撮影画素位置と対応関係を有する投影画素位置の画素のみを含む画像（以下、第２選択投影画像）を測定対象物に再び投影して再度測定を実行してもよい。
【0083】
関係特定部３０２は、第２選択投影画像の投影画素位置と対応関係を有する撮影画素位置を特定する。投影制御部３０１は、第２選択投影画像を投影することにより、投影画像を全て投影する場合に比べて、同時に投影する画素の数を減少させる。関係特定部３０２は、画素不良判定部３０３が不良画素として検出した画素の撮影画素位置と対応関係を有する投影画素位置を再度推定することにより、測定対象物の三次元形状の特定に用いる画素の数を増やすことができる。
【0084】
［変形例］
以上の実施形態においては、投影制御部３０１が、第１方向及び第２方向の投影パターンとして、空間コード化法及び位相シフト法用の投影パターンをそれぞれ投影するものであった。すなわち、投影制御部３０１が、正弦波状の輝度分布を示す光パターンとして、第１方向に延びる光パターンを有する投影画像と、第２方向に延びる光パターンを有する投影画像とを測定対象物にそれぞれ投影した。また、投影制御部３０１が、２値光パターンとして、第１方向に延びる光パターンを有する投影画像と、第２方向に延びる光パターンを有する投影画像とを測定対象物にそれぞれ投影した。
以上の実施形態においては、投影制御部３０１が、第１方向及び第２方向の投影パターンとして、空間コード化法及び位相シフト法用の投影パターンをそれぞれ投影するものであった。すなわち、投影制御部３０１が、正弦波状の輝度分布を示す光パターンとして、第１方向に延びる光パターンを有する投影画像と、第２方向に延びる光パターンを有する投影画像とを測定対象物にそれぞれ投影した。また、投影制御部３０１が、２値光パターンとして、第１方向に延びる光パターンを有する投影画像と、第２方向に延びる光パターンを有する投影画像とを測定対象物にそれぞれ投影した。
【0085】
しかしながら、本発明はこれに限定されない。例えば、投影制御部３０１が、第２方向の投影パターンについては、位相シフト法用の投影パターンのみを投影するようにしてもよい。この場合、投影制御部３０１は、第２方向に延びる光パターンとして、正弦波状の輝度分布を示す光パターンを有する投影画像を測定対象物に投影するが、２値光パターンを有する投影画像を測定対象物に投影しない。
【0086】
投影制御部３０１が第２方向の投影パターンを投影することで、関係特定部３０２は、位相値ＩＲＰ，２（ｉ，ｊ）を取得する。このとき、第２方向の投影パターンの絶対位相の値ＩＡＰ，２は、ある未知な整数ｍと位相値ＩＲＰ，２（ｉ，ｊ）を用いて、以下の式のように表現することができ、複数の候補を挙げることができる。
【0087】
【数2】
【0088】
撮影画素位置と対応関係を有する投影画素位置については、以下の式に示すように、複数の候補が存在する。ｉｐ及びｊｐ（ｍ）は、それぞれ第２方向に左端からｉｐ番目、第１方向に上端からｊｐ（ｍ）番目の画素であることを示す。
【0089】
【数3】
【0090】
ここで、画素不良判定部３０３は、投影画素位置の複数の候補が存在するため、複数の第２の三次元位置を特定する。一方、画素不良判定部３０３は、投影画素位置の第１方向の座標値ｉｐは複数の候補において同一であるため、一つの第１の三次元位置を特定する。画素不良判定部３０３は、複数の候補について求めた第２の三次元位置のうち、同じ撮影画素位置に対応する第１の三次元位置に最も近くなる第２の三次元位置を示すｍの値を算出する。
【0091】
画素不良判定部３０３は、第１の三次元位置と、この第１の三次元位置に最も近い第２の三次元位置との距離が閾値を超えるか否かを判定することにより、撮影画素位置の画素が不良画素であるか否かを判定することができる。このような構成により、投影制御部３０１は、測定対象物に投影する光パターンの数をより少なくすることができる。このため、投影制御部３０１は、測定時間を短くすることができる。
【0092】
画素不良判定部３０３は、第２方向の光パターンを投影した場合に、演算量を少なくするために、撮影画素位置と対応関係を有する投影画素位置の複数の候補の絞り込みをすることができる。画素不良判定部３０３は、複数の候補について第２の三次元位置をそれぞれ特定する。そこで、測定可能な三次元位置の範囲を第２の三次元位置がとり得る範囲として予め規定しておくことにより、複数の候補としてとり得るｍの範囲が制限され、候補を絞り込みすることができる。
【0093】
例えば、測定可能な三次元空間の範囲を十分にカバーする平面を三次元形状測定装置１００の最近傍側と最遠方側に設置して、それぞれ横方向の光パターンを投影したときの画素値を予め測定することにより、複数の候補としてとり得るｍの範囲を算出することができる。なお、横方向の光パターンは、測定対象物の形状の違いによって画素値が大きく変化しないため、撮影部２の個々の撮影画素位置の画素について規定するｍの範囲が比較的小さくなるというメリットがある。
【0094】
画素不良判定部３０３は、第２方向以外の光パターン、例えば、第１方向の光パターンについても同様の処理を行うことができる。特に、第２方向の光パターンの場合には、画素不良判定部３０３は、上述の方法によりｍの範囲を規定して、大幅に候補を絞り込むことができるので、処理を簡略化することができる。
【0095】
なお、以上の説明においては、投影制御部３０１が、第１方向に延びる光パターンを含む投影画像と、第２方向に延びる光パターンを含む投影画像とを測定対象物に投影する場合の例について説明した。しかしながら、本発明は、第１方向及び第２方向に延びる光パターンを投影する例に限定されず、投影制御部３０１は、任意の方向に延びる光パターンを組み合わせた光パターンを含む投影画像を投影してもよい。
【0096】
また、投影制御部３０１が、別の方向に延びる光パターンを含む投影画像を測定対象物に投影する処理を繰り返す構成であってもよい。例えば、投影制御部３０１は、第１方向～第Ｎ方向（Ｎは自然数）に延びる光パターンを含む投影画像を順次投影する。投影制御部３０１は、第Ｎ方向に延びる光パターンを含む投影画像を投影した撮影画像から新たに検出された不良画素の範囲に基づいて、光パターンを含む投影画像の投影を終了する構成であってもよい。すなわち、投影制御部３０１は、第Ｎ方向に延びる光パターンを含む投影画像を投影した撮影画像から検出された不良画素のうち、第１方向～第Ｎ－１方向に延びる光パターンを投影した撮影画像から検出されていない不良画素の範囲が閾値以下になった場合に、光パターンを含む投影画像の投影を終了する構成であってもよい。閾値は、例えば、多重反射光の影響が十分に小さくなったことを示す値である。
【0097】
また、投影制御部３０１は、縞の周期が互いに異なる光パターンを含む複数の投影画像を順次投影してもよい。例えば、投影制御部３０１は、第１方向に延びる光パターンを含む投影画像を測定対象物に投影した後に、第１方向に延び、かつ周期が異なる光パターンを含む投影画像を追加的に測定対象物に投影してもよい。また、投影制御部３０１は、第２方向に延びる光パターンを含む投影画像を測定対象物に投影した後に、第２方向に延び、かつ周期が異なる光パターンを含む投影画像を追加的に測定対象物に投影してもよい。周期が異なる光パターンを含む投影画像を投影した場合、直接光に重なる多重反射光の位相が変化する。このため、画素不良判定部３０３は、多重反射光の影響を受けた画素をより精度よく検出することができる。
【0098】
また、以上の説明においては、投影制御部３０１が、同一波長の投影光により各投影画像を投影する場合の例について説明した。しかしながら、本発明は、これに限定されない。例えば、投影制御部３０１が、第１方向に延びる光パターンを含む複数の投影画像を測定対象物に第１波長の光により投影し、かつ、第２方向に延びる光パターンを含む投影画像を第２波長の光により測定対象物に投影してもよい。このような構成を採用することにより、第１方向に延びる光パターンを含む投影画像と、第２方向に延びる光パターンを含む投影画像とを同時に測定対象物に投影することができるので、計測時間を短縮することができる。個々の波長ごとに閾値を変えても良い。
【0099】
また、以上の説明においては、投影制御部３０１が、光パターンとして縞パターンを含む投影画像を投影する場合の例について説明した。しかしながら、本発明は、これに限定されず、例えば、投影制御部３０１は、光パターンとして市松模様のパターンを含む投影画像を投影してもよい。関係特定部３０２が単一又は複数の光パターンにより撮影画素位置と対応関係を有する投影画素位置を特定可能であることを条件として、投影制御部３０１は、任意の光パターンを含む投影画像を測定対象物に投影可能である。
【0100】
画素不良判定部３０３は、不良画素か否かの判定結果を出力してもよい。例えば、画素不良判定部３０３は、判定結果をディスプレイに表示したり、外部のＰＣに送信したりする。画素不良判定部３０３が判定結果を出力することで、測定対象物の形状を測定するユーザが判定結果を確認し、測定精度が所望の精度に達しないと判断した場合に再測定したり、測定対象物の載置位置を変えたりすることにより、測定精度を向上させることができる。
【0101】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【符号の説明】
【0102】
１ 投影部
２ 撮影部
３ 制御部
４ 記憶部
２１ レンズ
２２ 撮像素子
１００ 三次元形状測定装置
３０１ 投影制御部
３０２ 関係特定部
３０３ 画素不良判定部
３０４ 形状特定部
３０５ 異常検出部
２ 撮影部
３ 制御部
４ 記憶部
２１ レンズ
２２ 撮像素子
１００ 三次元形状測定装置
３０１ 投影制御部
３０２ 関係特定部
３０３ 画素不良判定部
３０４ 形状特定部
３０５ 異常検出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】