知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-30
(45)【発行日】2022-12-08
(54)【発明の名称】三次元形状計測装置及び三次元形状計測方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20221201BHJP
【ＦＩ】
G01B11/25 H
【請求項の数】
21
(21)【出願番号】P 2018110420
(22)【出願日】2018-06-08
(65)【公開番号】P2019090782
(43)【公開日】2019-06-13
【審査請求日】2021-05-12
(31)【優先権主張番号】P 2017120814
(32)【優先日】2017-06-20
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2017236203
(32)【優先日】2017-12-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000137694
【氏名又は名称】株式会社ミツトヨ
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】宮田 薫
【審査官】續山 浩二
(56)【参考文献】
【文献】特開２０１４－１１５１０８（ＪＰ，Ａ）
【文献】特開２０１１－２３７２９６（ＪＰ，Ａ）
【文献】特開２０１２－１４１９６４（ＪＰ，Ａ）
【文献】特開２０１５－００１４６５（ＪＰ，Ａ）
【文献】特開２０１４－０５９２６１（ＪＰ，Ａ）
【文献】特開２００９－０１９９４２（ＪＰ，Ａ）
【文献】特開２０１６－２１７８３３（ＪＰ，Ａ）
【文献】特開２００９－０５３１３６（ＪＰ，Ａ）
【文献】特開２０１４－０１０４９５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／２５
(57)【特許請求の範囲】
【請求項1】
正弦波状の輝度分布を有する縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測装置において、前記測定対象物に前記投影画像を投影する投影部と、
前記投影画像が投影された前記測定対象物の撮影画像を生成する撮影部と、
前記撮影画像において投影された縞パターンの階調情報を解析することにより、前記投影画像の画素の位置である投影画素位置と、前記撮影画像の画素の位置である撮影画素位置との対応関係を求める解析部と、
前記投影画素位置に対応する前記撮影部の第１エピポーラ線を特定する線特定部と、
前記撮影画素位置と、当該撮影画素位置と対応関係を有する投影画素位置に対応する前記第１エピポーラ線との距離が閾値より大きい場合に、当該撮影画素位置又は当該投影画素位置の画素を不良画素として検出する不良画素検出部と、
前記解析部が求めた前記対応関係のうち、前記不良画素検出部が検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定する形状特定部と、
を備え、
前記撮影部及び前記投影部は、前記線特定部が特定した前記撮影部の複数の前記第１エピポーラ線が前記撮影画像において交わらず、前記撮影画像の外で交わるように配置されている、
三次元形状計測装置。
【請求項2】
正弦波状の輝度分布を有する縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測装置において、前記測定対象物に前記投影画像を投影する投影部と、
前記投影画像が投影された前記測定対象物の撮影画像を生成する撮影部と、
前記撮影画像において投影された縞パターンの階調情報を解析することにより、前記投影画像の画素の位置である投影画素位置と、前記撮影画像の画素の位置である撮影画素位置との対応関係を求める解析部と、
前記撮影画素位置に対応する前記投影部の第２エピポーラ線を特定する線特定部と、
前記投影画素位置と、当該投影画素位置と対応関係を有する撮影画素位置に対応する前記第２エピポーラ線との距離が閾値より大きい場合に、当該撮影画素位置又は当該投影画素位置の画素を不良画素として検出する不良画素検出部と、
前記解析部が求めた前記対応関係のうち、前記不良画素検出部が検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定する形状特定部と、
を備え、
前記撮影部及び前記投影部は、前記線特定部が特定した前記投影部の複数の前記第２エピポーラ線が前記投影画像において交わらず、前記撮影画像の外で交わるように配置されている、
三次元形状計測装置。
【請求項3】
前記解析部は、前記撮影画素位置と、当該撮影画素位置と対応関係を有する投影画素位置に対応する前記第１エピポーラ線との距離が閾値以下である場合に、当該撮影画素位置に最も近い前記第１エピポーラ線上の位置が、前記投影画素位置と対応関係を有すると推定する、請求項１に記載の三次元形状計測装置。
【請求項4】
前記投影部は、前記投影画像に含まれる複数の画素のうち、前記不良画素検出部が検出した不良画素を除く画素を含む投影画像を前記測定対象物に投影し、前記解析部は、前記投影部が投影した前記不良画素を除く投影画像の前記投影画素位置と、前記不良画素を除く投影画像が投影された前記測定対象物の撮影画像の前記撮影画素位置との対応関係を推定する、
請求項１から３のいずれか一項に記載の三次元形状計測装置。
【請求項5】
前記投影部は、前記投影画像に含まれる複数の画素のうち、前記不良画素検出部が検出した不良画素を含む画像を前記測定対象物に投影し、前記解析部は、前記投影部が投影した前記不良画素を含む画像の前記投影画素位置と、前記不良画素を含む画像が投影された前記測定対象物の撮影画像の前記撮影画素位置との対応関係を推定する、
請求項１から４のいずれか一項に記載の三次元形状計測装置。
【請求項6】
前記不良画素検出部は、前記投影画像の１つの前記投影画素位置が、複数の前記撮影画素位置に対応すると前記解析部が推定した場合に、前記１つの投影画素位置に対応する前記複数の撮影画素位置の少なくともいずれかの位置の画素を不良画素として検出する、請求項１から５のいずれか一項に記載の三次元形状計測装置。
【請求項7】
前記不良画素検出部は、前記投影画像の１つの前記投影画素位置が、前記線特定部が特定した前記撮影部の前記第１エピポーラ線上の複数の前記撮影画素位置に対応すると前記解析部が推定した場合に、当該１つの投影画素位置に対応する前記複数の撮影画素位置の少なくともいずれかの画素を不良画素として検出する、請求項１に記載の三次元形状計測装置。
【請求項8】
前記投影部は、第１方向に延びる前記縞パターンを含む投影画像と、当該第１方向とは異なる第２方向に延びる前記縞パターンを含む投影画像とを投影する、請求項１から７のいずれか一項に記載の三次元形状計測装置。
【請求項9】
前記投影部は、前記投影部の光軸と前記撮影部の光軸とを含む平面に対して平行な第２方向に延び、且つ正弦波状の輝度分布を有する前記縞パターンを含む投影画像を前記測定対象物に投影し、前記不良画素検出部は、前記投影画像が投影された前記測定対象物の撮影画像において前記第２方向に延びる前記縞パターンの画素の位相あるいは画素間の位相変化量が、基準値を超えて変化している場合に、該当の画素を不良画素として検出する、
請求項１から８のいずれか一項に記載の三次元形状計測装置。
【請求項10】
前記投影部は、２値画像の前記縞パターンを含む投影画像と、正弦波状の輝度分布を有する前記縞パターンを含む投影画像とを前記測定対象物に投影する、請求項１から９のいずれか一項に記載の三次元形状計測装置。
【請求項11】
前記投影部は、縞の周期が互いに異なる前記縞パターンを含む複数投影画像を順次投影する、請求項１から１０のいずれか一項に記載の三次元形状計測装置。
【請求項12】
前記投影部は、正弦波状の輝度分布を有する前記縞パターンを投影し、前記解析部は、前記縞パターンにおいて前記撮影画素位置と同じ位相の輝度を示す複数の画素の前記投影画素位置のうち、前記撮影画素位置に対応する前記投影部の前記第２エピポーラ線に最も近い前記投影画素位置の画素を前記撮影画素位置の画素と対応関係を有する画素と推定する、
請求項２に記載の三次元形状計測装置。
【請求項13】
前記投影部は、正弦波状の輝度分布を有する前記縞パターンを投影し、
前記解析部は、前記縞パターンにおいて前記撮影画素位置と同じ位相の輝度を示す複数の画素の前記投影画素位置を特定し、特定した複数の前記投影画素位置に対応する前記撮影画像上の前記第１エピポーラ線をそれぞれ求め、前記撮影画素位置に最も近い前記第１エピポーラ線に対応する前記投影画素位置の画素を、前記撮影画素位置と対応関係を有する画素と推定する、
請求項１に記載の三次元形状計測装置。
【請求項14】
前記撮影画素位置と前記第１エピポーラ線との距離の統計量が許容値を超える場合に、前記投影部及び前記撮影部のアラインメント状態が適正でないと判定する判定部をさらに備える、請求項１に記載の三次元形状計測装置。
【請求項15】
前記投影画素位置と前記第２エピポーラ線との距離の統計量が許容値を超える場合に、前記投影部及び前記撮影部のアラインメント状態が適正でないと判定する判定部をさらに備える、請求項２に記載の三次元形状計測装置。
【請求項16】
縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測装置において、前記測定対象物に前記投影画像を投影する投影部と、
前記投影画像が投影された前記測定対象物の撮影画像を生成する撮影部と、
前記投影画像の画素の位置である投影画素位置と、前記撮影画像の画素の位置である撮影画素位置との対応関係を求める解析部と、
前記投影画素位置に対応する前記撮影部の第１エピポーラ線を特定する線特定部と、
前記撮影画素位置と前記第１エピポーラ線との位置関係に基づいて、不良画素を検出する不良画素検出部と、
前記解析部が求めた前記対応関係のうち、前記不良画素検出部が検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定する形状特定部と、を備え、
前記解析部は、前記撮影画素位置と、当該撮影画素位置と対応関係を有する投影画素位置に対応する前記第１エピポーラ線との距離が閾値以下である場合に、当該撮影画素位置に最も近い前記第１エピポーラ線上の位置が、前記投影画素位置と対応関係を有すると推定する、三次元形状計測装置。
【請求項17】
正弦波状の輝度分布を有する縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測装置において、前記測定対象物に前記投影画像を投影する投影部と、
前記投影画像が投影された前記測定対象物の撮影画像を生成する撮影部と、
前記投影画像の画素の位置である投影画素位置と、前記撮影画像の画素の位置である撮影画素位置との対応関係を求める解析部と、
前記投影画素位置に対応する前記撮影部の第１エピポーラ線を特定する線特定部と、
前記撮影画素位置と前記第１エピポーラ線との位置関係に基づいて、不良画素を検出する不良画素検出部と、
前記解析部が求めた前記対応関係のうち、前記不良画素検出部が検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定する形状特定部と、
を備え、
前記解析部は、前記縞パターンにおいて前記撮影画素位置と同じ位相の輝度を示す複数の画素の前記投影画素位置を特定し、特定した複数の前記投影画素位置に対応する前記撮影画像上の前記第１エピポーラ線をそれぞれ求め、前記撮影画素位置に最も近い前記第１エピポーラ線に対応する前記投影画素位置の画素を、前記撮影画素位置と対応関係を有する画素と推定する、三次元形状計測装置。
【請求項18】
正弦波状の輝度分布を有する縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測装置において、前記測定対象物に前記投影画像を投影する投影部と、
前記投影画像が投影された前記測定対象物の撮影画像を生成する撮影部と、
前記投影画像の画素の位置である投影画素位置と、前記撮影画像の画素の位置である撮影画素位置との対応関係を求める解析部と、
前記撮影画素位置に対応する前記投影部の第２エピポーラ線を特定する線特定部と、
前記投影画素位置と前記第２エピポーラ線との位置関係に基づいて、不良画素を検出する不良画素検出部と、
前記解析部が求めた前記対応関係のうち、前記不良画素検出部が検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定する形状特定部と、
を備え、
前記解析部は、前記縞パターンにおいて撮影画素位置と同じ位相の輝度を示す複数の画素の前記投影画素位置のうち、前記撮影画素位置に対応する前記投影部の前記第２エピポーラ線に最も近い前記投影画素位置の画素を前記撮影画素位置の画素と対応関係を有する画素と推定する、三次元形状計測装置。
【請求項19】
コンピュータが実行する、
縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測方法において、
前記測定対象物に前記投影画像を投影するステップと、
前記投影画像が投影された前記測定対象物の撮影画像を生成するステップと、
前記投影画像の画素の位置である投影画素位置に対応する前記撮影画像の第１エピポーラ線を特定するステップと、
前記投影画素位置と、前記撮影画像の画素の位置である撮影画素位置との対応関係を求め、前記撮影画素位置と、当該撮影画素位置と対応関係を有する投影画素位置に対応する前記第１エピポーラ線との距離が閾値以下である場合に、当該撮影画素位置に最も近い前記第１エピポーラ線上の位置が、前記投影画素位置と対応関係を有すると推定するステップと、
前記撮影画素位置と前記第１エピポーラ線との位置関係に基づいて、不良画素を検出するステップと、
求めた前記対応関係のうち、検出した前記不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定するステップと、
を備える、三次元形状計測方法。
【請求項20】
コンピュータが実行する、
正弦波状の輝度分布を有する縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測方法において、
前記測定対象物に前記投影画像を投影するステップと、
前記投影画像が投影された前記測定対象物の撮影画像を生成するステップと、
前記縞パターンにおいて前記撮影画像の画素の位置である撮影画素位置と同じ位相の輝度を示す前記投影画像の画素の位置である複数の投影画素位置を特定し、特定した複数の前記投影画素位置に対応する前記撮影画像上の第１エピポーラ線をそれぞれ求めるステップと、
前記撮影画素位置に最も近い前記第１エピポーラ線に対応する前記投影画素位置の画素を、前記撮影画素位置と対応関係を有する画素と推定することにより、前記投影画素位置と、前記撮影画素位置との対応関係を求めるステップと、
前記撮影画素位置と前記第１エピポーラ線との位置関係に基づいて、不良画素を検出するステップと、
求めた前記対応関係のうち、検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定するステップと、
を備える、三次元形状計測方法。
【請求項21】
コンピュータが実行する、
正弦波状の輝度分布を有する縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測方法において、
前記測定対象物に前記投影画像を投影するステップと、
前記投影画像が投影された前記測定対象物の撮影画像を生成するステップと、
前記撮影画像の画素の位置である撮影画素位置に対応する前記投影画像の第２エピポーラ線を特定するステップと、
前記縞パターンにおいて前記撮影画素位置と同じ位相の輝度を示す前記投影画像の画素の位置である複数の投影画素位置のうち、前記撮影画素位置に対応する前記投影画像の前記第２エピポーラ線に最も近い前記投影画素位置の画素を前記撮影画素位置の画素と対応関係を有する画素と推定することにより、前記投影画像の画素の位置である投影画素位置と、前記撮影画素位置との対応関係を求めるステップと、
前記投影画素位置と前記第２エピポーラ線との位置関係に基づいて、不良画素を検出するステップと、
求めた前記対応関係のうち、検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定するステップと、
を備える、三次元形状計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定対象物の三次元形状を計測するための三次元形状計測装置及び三次元形状計測方法に関する。
【背景技術】
【0002】
測定対象物を非接触で計測する手法としては、例えば、ステレオ法等のパッシブ手法と、三角測量法、タイムオブフライト法、共焦点法等のアクティブ手法とに分けることができる。この中で、三角測量法は、製造時の品質管理、及びリバースエンジニアリング等の様々な分野で利用が進んでいる。
【0003】
光パターン投影法は、三角測量法の原理を利用しており、プロジェクタから縞状のパターンを測定対象物に投影し、測定対象の形状に沿って変形するパターンをカメラで撮影することにより三次元形状測定を行う。特許文献１には、ライン光を電子部品に投影した際の光切断線を撮影して得られた撮影画像に基づいて、電子部品の高さを測定する測定装置が開示されている。光パターン投影法は、複数の縞状のパターンを含む画像を測定対象物に投影する場合には、一度により大きな面積を計測することができるため、より高速な三次元形状の計測が可能になる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００９－９４２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
光パターン投影法では、測定対象物の表面が光沢を有している場合、プロジェクタの投影光が測定対象物の表面において複数回反射する多重反射が起こる。この多重反射の影響により測定精度が低下するという問題があった。
【0006】
多重反射を抑制する方法としては、測定対象物の表面に多重反射防止用のスプレーを塗布する方法、及び、プロジェクタからの投影光の一部をその光路上で遮断するマスク等が採用されている。しかしながら、測定対象物の表面に多重反射防止用のスプレーを塗布する方法では、洗浄のために工数が増加する。また、高いクリーン度を維持する必要がある環境では、多重反射防止用のスプレーを塗布することができないという問題があった。
【0007】
また、マスクを用いる方法では、プロジェクタからの投影光の一部を遮断するため、測定対象物にパターンを投影する回数を増やす必要が生じ、測定時間が増大するという問題があった。また、マスクを用いる方法では、測定対象物ごとに異なるマスクを作成する必要があるという問題があった。
【0008】
そこで、本発明はこれらの点に鑑みてなされたものであり、多重反射に起因する測定精度の低下を抑制することができる三次元形状計測装置及び三次元形状測定方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第１の態様の三次元形状計測装置は、縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測装置において、前記測定対象物に前記投影画像を投影する投影部と、前記投影画像が投影された前記測定対象物の撮影画像を生成する撮影部と、前記投影画像の画素の位置である投影画素位置と、前記撮影画像の画素の位置である撮影画素位置との対応関係を求める解析部と、前記投影画素位置に対応する前記撮影部の第１エピポーラ線、又は前記撮影画素位置に対応する前記投影部の第２エピポーラ線を特定する線特定部と、前記撮影画素位置と前記第１エピポーラ線との位置関係、又は前記投影画素位置と前記第２エピポーラ線との位置関係に基づいて、不良画素を検出する不良画素検出部と、前記解析部が求めた前記対応関係のうち、前記不良画素検出部が検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定する形状特定部と、を備える。
【0010】
前記不良画素検出部は、前記撮影画素位置と、当該撮影画素位置と対応関係を有する投影画素位置に対応する前記第１エピポーラ線との距離、又は前記投影画素位置と、当該投影画素位置と対応関係を有する撮影画素位置に対応する前記第２エピポーラ線との距離が閾値より大きい場合に、当該撮影画素位置又は当該投影画素位置の画素を不良画素として検出してもよい。前記解析部は、前記撮影画素位置と、当該撮影画素位置と対応関係を有する投影画素位置に対応する前記第１エピポーラ線との距離が閾値以下である場合に、当該撮影画素位置に最も近い前記第１エピポーラ線上の位置が、前記投影画素位置と対応関係を有すると推定してもよい。
【0011】
前記投影部は、前記投影画像に含まれる複数の画素のうち、前記不良画素検出部が検出した不良画素を除く画素を含む投影画像を前記測定対象物に投影し、前記解析部は、前記投影部が投影した前記不良画素を除く投影画像の前記投影画素位置と、前記不良画素を除く投影画像が投影された前記測定対象物の撮影画像の前記撮影画素位置との対応関係を推定してもよい。
【0012】
前記投影部は、前記投影画像に含まれる複数の画素のうち、前記不良画素検出部が検出した不良画素を含む画像を前記測定対象物に投影し、前記解析部は、前記投影部が投影した前記不良画素を含む画像の前記投影画素位置と、前記不良画素を含む画像が投影された前記測定対象物の撮影画像の前記撮影画素位置との対応関係を推定してもよい。
【0013】
前記不良画素検出部は、前記投影画像の１つの前記投影画素位置が、複数の前記撮影画素位置に対応すると前記解析部が推定した場合に、前記１つの投影画素位置に対応する前記複数の撮影画素位置の少なくともいずれかの位置の画素を不良画素として検出してもよい。
【0014】
前記不良画素検出部は、前記投影画像の１つの前記投影画素位置が、前記線特定部が特定した前記撮影部の前記第１エピポーラ線上の複数の前記撮影画素位置に対応すると前記解析部が推定した場合に、当該１つの投影画素位置に対応する前記複数の撮影画素位置の少なくともいずれかの画素を不良画素として検出してもよい。
【0015】
前記投影部は、前記撮影部の光軸に直交し且つ前記投影部の光軸に直交する第１方向に延びる前記縞パターンを含む投影画像と、前記撮影部の光軸と前記投影部の光軸の存在する面に平行な第２方向に延びる前記縞パターンを含む投影画像とを投影してもよい。前記投影部は、前記投影部の光軸と前記撮影部の光軸とを含む平面に対して平行な第２方向に延び、且つ正弦波状の輝度分布を有する前記縞パターンを含む投影画像を前記測定対象物に投影し、前記不良画素検出部は、前記投影画像が投影された前記測定対象物の撮影画像において前記第２方向に延びる前記縞パターンの画素の位相あるいは画素間の位相変化量が、基準値を超えて変化している場合に、該当の画素を不良画素として検出してもよい。
【0016】
前記撮影部及び前記投影部は、前記線特定部が特定した前記撮影部の複数の前記第１エピポーラ線が前記撮影画像において交わらないように配置されていてもよい。前記撮影部及び前記投影部は、前記線特定部が特定した前記投影部の複数の前記第２エピポーラ線が前記投影画像において交わらないように配置されていてもよい。
【0017】
前記投影部は、２値画像の前記縞パターンを含む投影画像と、正弦波状の輝度分布を有する前記縞パターンを含む投影画像とを前記測定対象物に投影してもよい。前記投影部は、縞の周期が互いに異なる前記縞パターンを含む複数投影画像を順次投影してもよい。
【0018】
前記投影部は、正弦波状の輝度分布を有する前記縞パターンを投影し、前記解析部は、前記縞パターンにおいて撮影画素位置と同じ位相の輝度を示す複数の画素の前記投影画素位置のうち、前記撮影画素位置に対応する前記投影部の前記第２エピポーラ線に最も近い前記投影画素位置の画素を前記撮影画素位置の画素と対応関係を有する画素と推定してもよい。前記三次元形状計測装置は、前記撮影画素位置と前記第１エピポーラ線との距離の統計量、又は前記投影画素位置と前記第２エピポーラ線との距離の統計量が許容値を超える場合に、前記投影部及び前記撮影部のアラインメント状態が適正でないと判定する判定部をさらに備えてもよい。
【0019】
本発明の第２の態様の三次元形状計測方法は、縞パターンを含む投影画像を測定対象物に投影することにより、前記測定対象物の三次元形状を計測する三次元形状計測方法において、前記測定対象物に前記投影画像を投影するステップと、前記投影画像が投影された前記測定対象物の撮影画像を生成するステップと、前記投影画像の画素の位置である投影画素位置と、前記撮影画像の画素の位置である撮影画素位置との対応関係を求めるステップと、前記投影画素位置に対応する、前記測定対象物の前記撮影画像を生成する撮影部の第１エピポーラ線、又は前記撮影画素位置に対応する、前記測定対象物に前記投影画像を投影する投影部の第２エピポーラ線を特定するステップと、前記撮影画素位置と前記第１エピポーラ線との位置関係、又は前記投影画素位置と前記第２エピポーラ線との位置関係に基づいて、不良画素を検出するステップと、求めた前記対応関係のうち、検出した不良画素の位置を除く画素位置の対応関係に基づいて、前記測定対象物の三次元形状を特定するステップと、を備える。
【発明の効果】
【0020】
本発明によれば、多重反射に起因する測定精度の低下を抑制することができるという効果を奏する。
【図面の簡単な説明】
【0021】
【図1】第１の実施形態に係る三次元形状計測装置の概要について説明するための図である。
【図2】投影部が測定対象物に投影する投影画像を示すための図である。
【図3】三次元形状計測装置の構成を示す図である。
【図4】投影制御部が投影する投影画像の種類の例を示す図である。
【図5】正弦波状の輝度分布を有する階調縞パターンの例を示す。
【図6】特徴量特定部が特定する特徴量について説明するための図である。
【図7】多重反射について説明するための図である。
【図8】測定対象物の溝部における多重反射光について説明するための図である。
【図9】多重反射光による撮影画像上の階調縞パターンの特徴量の変化について説明するための図である。
【図10】撮像画像に基いて特徴量を算出する方法について説明するための図である。
【図12】三次元形状計測装置の動作の一例を示す図である。
【図13】第２の実施形態による不良画素の検出の原理について説明するための図である。
【図14】第２の実施形態による不良画素の検出の原理について説明するための図である。
【図15】三次元形状計測装置の構成を示す図である。
【図16】不良画素検出部による不良画素の検出動作を説明するための図である。
【図17】エピポールを説明するための図である。
【図18】不良画素検出部によるエピポーラ線上の不良画素の検出について説明するための図である。
【図19】第２方向に延びる縞パターン投影時の不良画素検出部による不良画素の検出方法について説明するための図である。
【図20】不良画素検出部による対応関係の修正方法を説明するための図である。
【図21】第２の実施形態における三次元形状計測装置の動作の一例を示す図である。
【図22】第３の実施形態の解析部による撮影画素位置と投影画素位置との対応関係の推定方法を説明するための図である。
【発明を実施するための形態】
【0022】
＜第１の実施形態＞
［三次元形状計測装置１００の概要］
図１（ａ）～（ｃ）は、本実施形態に係る三次元形状計測装置１００の概要について説明するための図である。図１（ａ）は、三次元形状計測装置１００の構成を示している。三次元形状計測装置１００は、投影部１と、撮影部２と、制御部３とを有する。
［三次元形状計測装置１００の概要］
図１（ａ）～（ｃ）は、本実施形態に係る三次元形状計測装置１００の概要について説明するための図である。図１（ａ）は、三次元形状計測装置１００の構成を示している。三次元形状計測装置１００は、投影部１と、撮影部２と、制御部３とを有する。
【0023】
投影部１は、発光ダイオード又はレーザ等の光源を有している投影装置であり、それぞれ異なる複数の縞パターンを含む投影画像を測定対象物の測定面に投影する。撮影部２は、レンズ２１及び撮像素子２２を有している撮影装置である。撮影部２は、投影部１が複数の投影画像を測定対象物に順次投影する際に、投影画像を投影した状態の測定対象物をそれぞれ撮影することにより複数の撮影画像を生成する。撮影部２は、その光軸が投影部１の光軸との間に所定の角度をなすように配置される。制御部３は、撮影部２が生成した複数の撮影画像に基づいて、測定対象物の形状を計測する。制御部３は、例えばコンピュータにより実現できる。
【0024】
図１（ｂ）及び（ｃ）は、投影部１が測定対象物に投影画像を投影中に撮影部２が生成した撮影画像の例を示す。図１（ｂ）及び（ｃ）に示すように、投影部１は、２値縞パターンを含む投影画像を測定対象に投影する。図１（ｂ）は、投影部１が、光が投影される光投影領域及び光が投影されない非投影領域から構成される２値縞パターンを含む投影画像を凹凸がない測定面に向けて投影した場合に撮影部２が生成する撮影画像を示している。白色の領域は光投影領域を示しており、黒色の領域は非投影領域を示している。測定面に凹凸がない場合、撮影部２が生成する撮影画像の２値縞パターンは、投影画像の２値縞パターンと一致する。
【0025】
図１（ｃ）は、投影部１が、凸部がある測定面に２値縞パターンを投影した場合に撮影部２が生成する撮影画像である。図１（ｃ）の撮影画像においては、２値縞パターンの一部の画像が変形した状態になっている。撮影画像においては、凸部の高さに応じた量だけ２値縞パターンの画像が変形する。そこで、三次元形状計測装置１００は、撮影画像における２値縞パターンの画像の変形量に基づいて凸部の各位置の高さを特定することにより、測定対象物の形状を計測することができる。
【0026】
図２（ａ）及び（ｂ）は、投影部１が測定対象物に投影する投影画像を示す。図２（ａ）は、第１方向に延びる２値縞パターンの例を示し、図２（ｂ）は、第２方向に延びる２値縞パターンの例を示す。投影部１は、図２（ａ）に示すように、第１方向に延びる２値縞パターン（以下、縦パターンという場合がある）を投影する。第１方向は、投影部１の光軸と撮影部２の光軸とを含む平面に対して、直交する方向である。すなわち、第１方向は、投影部１の光軸に直交し、且つ撮影部２の光軸に直交する方向である。投影部１は、図２（ｂ）に示すように、第２方向に延びる２値縞パターン（以下、横パターンという場合がある）を投影する。第２方向は、投影部１の光軸と撮影部２の光軸とを含む平面に対して、平行な方向である。
【0027】
測定対象物に縞パターンを投影した場合、測定対象物の三次元形状に応じて、図１（ｃ）に示すように、縞パターンが幅方向にずれる。また、測定対象物の三次元形状に応じて、縞パターンの幅が変動する。縞パターンが第１方向に延びる第１撮影画像では、投影部１及び撮影部２の間に光軸の向きのずれを生じさせている方向と、縞パターンの幅方向のずれ等が生じる方向とが一致する。つまり、投影部１と撮影部２とを結ぶ線分を測定対象物が載置された平面に投影して生成される線分の像の方向と、縞パターンの幅方向のずれ等が生じる方向が一致する。したがって、第１撮影画像では、縞パターンの幅方向のずれ等を検出する感度が高い。このため、測定対象物の三次元形状の計測における分解能が高くなる。
【0028】
一方、縞パターンが第２方向に延びる第２撮影画像では、投影部１及び撮影部２の間に光軸の向きのずれを生じさせている方向と、縞パターンの幅方向のずれ等が生じる方向が直交する。つまり、投影部１と撮影部２とを結ぶ線分を測定対象物が載置された平面に投影して生成される線分の像の方向と、縞パターンの幅方向のずれ等が生じる方向が直交する。したがって、第２撮影画像では、第１撮影画像と比較すれば、測定対象物の三次元形状の計測における分解能が非常に低くなり、三次元形状計測装置１００は、形状を正確に測定できない。
【0029】
三次元形状計測装置１００は、測定対象物に投影された縞パターンを解析することにより、測定対象物の三次元形状を求める。しかしながら、測定対象物の表面に光沢がある場合には、投影部１からの投影光が複数回反射する多重反射が起こることに起因して、測定精度が低下するという問題があった。そこで、三次元形状計測装置１００は、第１方向及び第２方向に延びる縞パターンを測定対象物に投影した状態において測定対象物をそれぞれ撮影し、撮影した撮影画像を解析することにより、多重反射の影響による不良画素を検出する。
【0030】
図３は、三次元形状計測装置１００の構成を示す図である。三次元形状計測装置１００は、投影部１、撮影部２、制御部３及び記憶部４を有する。記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶媒体を含む。記憶部４は、制御部３が実行するプログラムを記憶している。制御部３は、例えばＣＰＵ（Central Processing Unit）であり、記憶部４に記憶されたプログラムを実行することにより、投影制御部３０１、取得部３０２、特徴量特定部３０３、不良画素検出部３０４、解析部３０５、及び形状特定部３０６として機能する。
【0031】
投影制御部３０１は、測定対象物に縞パターンを含む投影画像を投影するための制御信号を生成し、生成した制御信号を投影部１に入力する。以下、図４及び図５を参照して、投影制御部３０１が投影する縞パターンの例について説明する。
【0032】
［縞パターンの種類］
図４は、投影制御部３０１が投影する投影画像の種類の例を示す図である。図４における黒色の領域は、投影部１が光を投影しない領域（以下、「非投影領域」という）を示しており、白色の領域は、投影部１が光を投影する領域（以下、「光投影領域」という）を示している。
図４は、投影制御部３０１が投影する投影画像の種類の例を示す図である。図４における黒色の領域は、投影部１が光を投影しない領域（以下、「非投影領域」という）を示しており、白色の領域は、投影部１が光を投影する領域（以下、「光投影領域」という）を示している。
【0033】
図４（ａ）は、測定対象物の全体に光を投影しない基準パターン（全黒パターン）である。図４（ｂ）は、測定対象物の全体に光を投影する基準パターン（全白パターン）である。図４（ｃ）から図４（ｆ）は、光投影領域及び非投影領域から構成され、投影画像ごとに幅の異なる縞が同一方向に配列された２値縞パターンを示している。詳細については後述するが、図４に示す縞パターンはグレイコードに対応しており、撮像画像における画素の位置を特定するために用いられる。
【0034】
図５（ａ）～（ｄ）は、正弦波状の輝度分布を有する階調縞パターンの例を示す。図４（ｃ）～（ｆ）の２値縞パターンは、黒色の領域と白色の領域とからなる２値画像であるのに対し、図５（ａ）～（ｄ）の階調縞パターンでは、縞の幅方向に沿って、白色の領域から黒色の領域まで輝度が正弦波状に変化する。図５（ａ）～（ｄ）の階調縞パターンの縞の間隔は一定であり、これらの階調縞パターンの縞の空間周波数は、例えば、図４（ｆ）の２値縞パターンの４倍である。
【0035】
図５（ａ）～（ｄ）の階調縞パターンは、輝度分布を示す正弦波の位相がそれぞれ９０度ずつ異なる点を除き、互いに同一の輝度分布を示す。本実施の形態では、投影制御部３０１は、図４（ａ）及び（ｂ）に示す２枚の基準パターン、図４（ｃ）～（ｆ）に示す４枚の２値縞パターン、及び図５（ａ）～（ｄ）に示す４枚の階調縞パターンの合計１０枚の投影画像を投影する。図５に示す階調縞パターンは、投影画像を投影した状態で測定対象物を撮像して得られる撮像画像の特徴量を特定するために用いられる。また、図５に示す階調縞パターンは、図４に示す縞パターンとともに、撮像画像における画素の位置を特定するためにも用いられる。
【0036】
図３の取得部３０２は、撮影部２が生成した撮影画像を取得する。特徴量特定部３０３は、取得部３０２が取得した撮影画像に含まれる縞パターンの特徴を示す特徴量を特定する。図６を参照して、特徴量特定部３０３が特定する特徴量について説明する。図６は、図５（ａ）の階調縞パターンを測定対象物に投影した状態において撮影部２が生成した撮影画像の輝度分布を示す。図６は、階調縞パターンの幅方向の距離を横軸に示し、階調縞パターンの輝度を縦軸に示している。図６に示すように、図５（ａ）の階調縞パターンの輝度分布は正弦波形となる。特徴量特定部３０３は、階調縞パターンの輝度分布の正弦波の振幅Ａｍ、輝度の最低値と振幅との和であるオフセットＯｆ、オフセットＯｆに対する振幅Ａｍの割合（Ａｍ／Ｏｆ）であるコントラスト、又は正弦波形の歪み等を特徴量として特定する。振幅は、輝度の絶対的な大きさを判定するために使用するための特徴量である。また，特徴量特定部３０３は、コントラストが正規化された値と歪が正規化された値を使用することにより、これらの値をカメラの露光時間等に依存しにくい量とすることができる。
【0037】
［多重反射について］
不良画素検出部３０４は、多重反射による撮影画像の不良画素を検出する。具体的には、不良画素検出部３０４は、特徴量特定部３０３が特定した特徴量が所定の範囲内であるか否かを判定することにより、不良画素を検出する。不良画素とは、多重反射の影響により、直接反射光による輝度とは異なる輝度を示す画素である。
不良画素検出部３０４は、多重反射による撮影画像の不良画素を検出する。具体的には、不良画素検出部３０４は、特徴量特定部３０３が特定した特徴量が所定の範囲内であるか否かを判定することにより、不良画素を検出する。不良画素とは、多重反射の影響により、直接反射光による輝度とは異なる輝度を示す画素である。
【0038】
図７を参照して、多重反射について説明する。図７（ａ）及び（ｂ）は、多重反射について説明するための図である。測定対象物に光沢がありかつ測定対象物が複雑な形状をしている場合、投影部１が発する光が測定対象物の表面で複数回反射を繰り返してから撮影部２に入射することがある。この場合、図７（ａ）に示すように、投影部１が発する光が２つ以上の経路を介して撮像素子２２の一つの画素に入射する。
【0039】
具体的には、撮像素子２２に入射する光には、投影部１から発せられた光が測定対象面で拡散反射して直接撮影部２に入射する直接反射光と、投影部１から発せられた光が多重反射してから撮影部２に入射する多重反射光とが存在する。その結果、撮影部２が撮像する撮像画像において、多重反射光がない場合に黒色に対応する輝度値であった画素が、白色に対応する輝度値になってしまう場合がある。特に、測定対象物が乱反射を生じやすい金属等を含むことにより、多重反射が生じやすい。
【0040】
図７（ｂ）は、多重反射の影響を受けた撮像画像の例を示す図である。図７（ｂ）は、図１（ｃ）に対応しているが、斜線で示す部分は、多重反射光の影響により、図１（ｃ）における輝度と異なる輝度になっている。また、多重反射光の影響により、図６に示す輝度分布が示す正弦波形に歪み等が生じることがある。
【0041】
不良画素検出部３０４は、特徴量特定部３０３が特定した縞パターンの特徴量に基づいて、不良画素を検出する。例えば、不良画素検出部３０４は、特徴量が所定の範囲内であるか否かを判定し、特徴量が所定の範囲にならない画素を不良画素として検出する。所定の範囲は、例えば、多重反射光の影響がない場合の振幅Ａｍ、コントラスト、波形歪等の特徴量として想定される値のとり得る範囲である。
【0042】
図８は、測定対象物の溝部における多重反射光について説明するための図である。図８（ａ）は、投影光の複数の経路を示す図である。図８（ｂ）は、測定対象物の面Ｐにおける直接光及び多重反射光の輝度分布を示す図である。図８（ａ）における実線は直接光を示しており、破線は多重反射光を示している。溝部の奥側では、測定対象物のある部位で反射した投影光が測定対象物の別の部位に到達するまでの距離は比較的小さくなる。
【0043】
例えば、図８において測定対象物の面Ｐ上の部位Ａ又は部位Ｂに直接到達する直接光の光路と、測定対象物の面Ｏで反射した後に部位Ａ又は部位Ｂに到達する多重反射光の光路との距離の差は、溝の奥側では比較的小さくなる。直接光と多重反射光との光路の差が小さい場合には、直接光と多重反射光との強度の差が小さくなるため、多重反射光の影響は大きい。また、直接光と多重反射光との光路の差が小さい場合には、多重反射光は、直接光と同程度の周期を有する。このような場合、直接光と多重反射光とが合成された合成光に歪みが生じにくいので、不良画素検出部３０４が、多重反射光の影響を受けているにもかかわらず不良画素であると検出できないことがある。
【0044】
ここで、不良画素検出部３０４が、ある一つの画素が不良画素であると検出した場合、この画素の周辺の画素が不良画素であるとは検出していないとしても、周辺の画素も多重反射光の影響を受けている可能性が高いと考えられる。そこで、不良画素検出部３０４は、検出した不良画素から当該不良画素の両側における縞の１周期に相当する距離までの範囲に含まれる画素を不良画素とみなしてもよい。このようにすることで、不良画素検出部３０４は、不良画素を検出できない確率を低減させることができるので、形状特定部３０６による形状特定結果における多重反射の影響をさらに低減させることができる。例えば、不良画素検出部３０４は、形状特定部３０６が測定対象物の溝部を特定した場合に、この溝部において検出した不良画素から当該不良画素の両側における縞１周期に相当する距離までの範囲に含まれる画素を推定不良画素として検出する。そして、形状特定部３０６は、推定不良画素に基づいて、形状を特定し直すことにより、形状の特定精度を向上させることができる。
【0045】
［多重反射光による特徴量の変化］
図９は、多重反射光による撮影画像上の階調縞パターンの特徴量の変化について説明するための図である。図９を参照して、多重反射光による撮影画像上の階調縞パターンの特徴量の変化について説明する。図９（ａ）及び（ｂ）は、直接光の輝度分布Ｄ及び多重反射光の輝度分布Ｍの変化を示すグラフである。図９の横軸は、撮影画像の階調縞パターンの幅方向の距離を示し、図９の縦軸は、輝度を示す。直接光による輝度分布Ｄを実線で示し、多重反射光による輝度分布Ｍを一点鎖線で示す。直接光及び多重反射光が合成された合成光の輝度分布Ｃを破線で示す。
図９は、多重反射光による撮影画像上の階調縞パターンの特徴量の変化について説明するための図である。図９を参照して、多重反射光による撮影画像上の階調縞パターンの特徴量の変化について説明する。図９（ａ）及び（ｂ）は、直接光の輝度分布Ｄ及び多重反射光の輝度分布Ｍの変化を示すグラフである。図９の横軸は、撮影画像の階調縞パターンの幅方向の距離を示し、図９の縦軸は、輝度を示す。直接光による輝度分布Ｄを実線で示し、多重反射光による輝度分布Ｍを一点鎖線で示す。直接光及び多重反射光が合成された合成光の輝度分布Ｃを破線で示す。
【0046】
撮影画像の階調縞パターンの振幅及びコントラスト等の特徴量は合成光の輝度分布Ｃにより表され、この輝度分布Ｃは、直接光による輝度分布Ｄと、多重反射光による輝度分布Ｍとを合成することにより求められる輝度分布である。
【0047】
図９（ａ）に示すように、直接光による輝度分布Ｄと、多重反射光による輝度分布Ｍの位相が近い場合には、合成光の輝度分布Ｃの振幅Ａｍは、直接光による輝度分布Ｄの振幅Ａｍより大きくなる。一方、図９（ｂ）に示すように、直接光による輝度分布Ｄと、多重反射光による輝度分布Ｍとの位相のずれが大きい場合、直接光及び多重反射光の合成光の輝度分布Ｃの振幅Ａｍは、直接光による輝度分布Ｄより小さくなる。このように、合成光の輝度分布Ｃの特徴量は直接光と多重反射光との位相関係によって変動する。したがって、不良画素検出部３０４は、一つの階調縞パターンを用いるだけでは、振幅Ａｍが所定範囲内であるか否かの判定によって多重反射光が存在することを検出できない場合がある。
【0048】
また、多重反射光の影響を除去するために階調縞パターンの振幅Ａｍの下限値を高く設定した場合、不良画素検出部３０４が、表面下散乱が生じている画素まで不良画素として検出してしまうという問題もある。表面下散乱とは、測定対象物がセラミック又はプラスチック等を含む場合に、投影部１からの投影光が測定対象物の内部に入り込んで散乱した後に、表面に光が現れることである。表面下散乱が起こると，振幅が減衰してしまう．コントラストの場合も同様の問題があるが，波形歪の場合には問題は少ない。
【0049】
また、直接光による輝度分布Ｄと、多重反射光による輝度分布Ｍとの位相及び周期の違いが比較的小さい場合には、不良画素検出部３０４が波形の歪みを検出することが困難である。このため、不良画素検出部３０４は、一つの階調縞パターンの波形の歪みによって多重反射光を十分に検出することはできない。
【0050】
そこで、不良画素検出部３０４は、特徴量特定部３０３が第１方向に延びる縞パターンの第１撮影画像から特定した特徴量を第１特徴量とし、特徴量特定部３０３が第２方向に延びる縞パターンの第２撮影画像から特定した特徴量を第２特徴量とした場合に、第１特徴量及び第２特徴量に基づいて、多重反射による第１撮影画像の不良画素を検出する。例えば、不良画素検出部３０４は、まず、第１特徴量が所定の範囲内にならない第１撮影画像の画素を不良画素として検出する。所定の範囲は、多重反射の影響がない場合の振幅Ａｍ、コントラスト、波形歪等の第１特徴量及び第２特徴量として想定される値のとり得る範囲である。
【0051】
第１撮影画像及び第２撮影画像において互いに対応する画素は、測定対象物の同じ部位に異なる縞パターンを投影したものであるため、第２撮影画像において多重反射の影響が生じている部位には、第１撮影画像においても多重反射の影響が生じている可能性が高い。そこで、不良画素検出部３０４は、第２特徴量が所定の範囲内にならない第２撮影画像の画素に対応する第１撮影画像の画素を特定し、特定した第１撮影画像の画素も不良画素として検出する。
【0052】
また、第１特徴量により不良画素を検出するための第１範囲と、第２特徴量により不良画素を検出するための第２範囲とを異ならせてもよい。例えば、不良画素検出部３０４は、第１特徴量が第１範囲内とならない第１撮影画像の画素を不良画素として検出し、かつ、第２特徴量が第２範囲内とならない第２撮影画像の画素を不良画素として検出する。さらに、不良画素検出部３０４は、不良画素として検出した第２撮影画像の画素に対応する第１撮影画像の画素を特定し、この画素を不良画素として検出する。第１範囲及び第２範囲は、多重反射の影響がない場合に振幅Ａｍ、コントラスト、オフセットＯｆ等の第１特徴量及び第２特徴量としてそれぞれ想定される値がとり得る範囲である。
【0053】
第２撮影画像は、図２（ｂ）に示すように、投影部１及び撮影部２の間に光軸の向きのずれを生じさせている方向と、縞パターンの幅の変動が生じる方向が直交するため、測定対象物の三次元形状によって撮影画像の縞パターンの幅が変動しにくい。このため、第２撮影画像の第２特徴量が不良画素であるか否かを不良画素検出部３０４において判定するための第２範囲は、第１範囲に比べて狭く設定されていてもよい。このような構成を採用することにより、不良画素の検出精度をより向上させることができる。
【0054】
また、不良画素検出部３０４は、第１特徴量と第２特徴量とを比較し、第１特徴量と第２特徴量との間の差分が所定範囲内とならない画素を不良画素として検出してもよい。より詳しくは、不良画素検出部３０４は、振幅及びコントラスト等の複数種類の特徴量について、第１特徴量と第２特徴量とを比較する。例えば、不良画素検出部３０４は、振幅及びコントラスト等のいずれかについて、第１特徴量と第２特徴量との間の差分が所定範囲にならない画素を不良画素として検出する。
【0055】
また、不良画素検出部３０４は、個々の画素について、第１方向及び第２方向に延びる縞パターンの撮影画像において所定領域をそれぞれ指定し、指定した領域内の画素の第１特徴量と第２特徴量との類似度を求め、この類似度を閾値と比較してもよい。例えば、不良画素検出部３０４は、指定した領域内の第１特徴量の平均値と第２特徴量の平均値との差を類似度としても良い。また、不良画素検出部３０４は、指定した領域内の第１特徴量および第２特徴量について、特徴量の空間的な変化量（微分量）を算出し、その差を類似度としても良い。このようにすることで、不良画素検出部３０４は、多重反射の影響をより顕著に検出できるようになる。この閾値は、多重反射光の影響がない場合の振幅Ａｍ等の第１特徴量及び第２特徴量との間における類似度として想定される値の下限値である。不良画素検出部３０４は、第１特徴量と第２特徴量との間の類似度が閾値より低い場合に、指定した領域内の画素を不良画素として検出する。一方、不良画素検出部３０４は、第１特徴量と第２特徴量との間の類似度が閾値以上である場合に、指定した領域内の画素を不良画素として検出しない。
【0056】
［撮像画像に基づく特徴量の算出方法］
図１０は、撮像画像に基いて特徴量（波形歪）を算出する方法について説明するための図である。図１０の縦軸は、図５（ａ）～（ｄ）の階調縞パターンを測定対象物に投影した状態で得られた撮像画像における、同一画素の輝度を示している。図１０の横軸は、図５（ａ）～（ｄ）の階調縞パターンに対応する位相を示している。図１０の各黒丸は、それぞれ図５（ａ）～（ｄ）の階調縞パターンを測定対象物に順次投影した場合における同一の画素の輝度の観測値に対応している。図１０の破線は、各黒丸で示される観測値にフィットさせた正弦波を示している。各黒丸に対応する輝度と同一位相における正弦波の輝度との差は、観測値の理想値からの偏差に相当する。特徴量特定部３０３は、各観測値に対応する偏差を累積し、累積した偏差を振幅で正規化することにより、波形の歪みの大きさを正規化することができる。
図１０は、撮像画像に基いて特徴量（波形歪）を算出する方法について説明するための図である。図１０の縦軸は、図５（ａ）～（ｄ）の階調縞パターンを測定対象物に投影した状態で得られた撮像画像における、同一画素の輝度を示している。図１０の横軸は、図５（ａ）～（ｄ）の階調縞パターンに対応する位相を示している。図１０の各黒丸は、それぞれ図５（ａ）～（ｄ）の階調縞パターンを測定対象物に順次投影した場合における同一の画素の輝度の観測値に対応している。図１０の破線は、各黒丸で示される観測値にフィットさせた正弦波を示している。各黒丸に対応する輝度と同一位相における正弦波の輝度との差は、観測値の理想値からの偏差に相当する。特徴量特定部３０３は、各観測値に対応する偏差を累積し、累積した偏差を振幅で正規化することにより、波形の歪みの大きさを正規化することができる。
【0057】
投影制御部３０１は、図５（ａ）～（ｄ）の階調縞パターンを測定対象物に順次投影する。そして、撮影部２は、投影制御部３０１が図５（ａ）～（ｄ）の階調縞パターンを投影した状態において測定対象物を撮影した撮影画像をそれぞれ生成する。図５（ａ）～（ｄ）の階調縞パターンは、それぞれ位相が９０度ずつ異なる。このため、特徴量特定部３０３は、図５（ａ）～（ｄ）の階調縞パターンに対応する撮影画像の特定の画素の輝度を図１０のグラフに位相をそれぞれ９０度ずつずらしてプロットする。
【0058】
図１０に示す正弦波を作成するために、まず、特徴量特定部３０３は、各階調縞パターンを投影した時の観測値である輝度値ｌｎ（ｘ，ｙ）を以下の式により正規化する。ただし、ｎはステップ番号（ｎ＝１～Ｎ）、Ｎは同一方向に延びる階調縞パターンを含む投影画像の枚数を示すステップ数である。また、Ａ（ｘ，ｙ）はオフセット、Ｂ（ｘ，ｙ）は振幅である。
【0059】
【数1】
【0060】
さらに、特徴量特定部３０３は、図１０に破線で示すように、プロットした各点との一致度が最も高くなる正弦波を特定する。特徴量特定部３０３は、個々の画素（ｘ，ｙ）において輝度値ｌｎ（ｘ，ｙ）から位相φ（ｘ，ｙ）を求めることで、以下の式により正弦波を求める。
【0061】
【数2】
【0062】
この場合に、特徴量特定部３０３は、プロットした各階調縞パターンにおける輝度と、特定した正弦波との偏差を以下の式により求める。偏差は、縞パターンの輝度分布を示す正弦波形の歪み等を検出するための特徴量である。
【0063】
【数3】
【0064】
不良画素検出部３０４は、偏差を閾値と比較し、偏差が閾値より大きい場合に、不良画素を検出する。この閾値は、多重反射光の影響を受けていない画素において生じると想定される偏差の最大値である。一方、不良画素検出部３０４は、偏差が閾値以下である場合に、不良画素を検出しない。
【0065】
［撮像画像の画素の位置の特定］
解析部３０５は、撮影画像の階調縞パターンの階調情報を解析することにより、投影画像の画素と、取得部３０２が取得した撮影画像の画素との対応関係を特定する。対応関係は、撮影画像の画素に対応する、投影画像の画素の位置（又は座標）を示す情報により表される。撮影画像の画素Ａが、投影画像における画素Ｂを写した画素である場合、画素Ａと画素Ｂとは対応関係を有する。以下、投影画像の画素と撮影画像の画素との対応関係を求める方法について説明する。
解析部３０５は、撮影画像の階調縞パターンの階調情報を解析することにより、投影画像の画素と、取得部３０２が取得した撮影画像の画素との対応関係を特定する。対応関係は、撮影画像の画素に対応する、投影画像の画素の位置（又は座標）を示す情報により表される。撮影画像の画素Ａが、投影画像における画素Ｂを写した画素である場合、画素Ａと画素Ｂとは対応関係を有する。以下、投影画像の画素と撮影画像の画素との対応関係を求める方法について説明する。
【0066】
上述のとおり、図４（ｃ）から図４（ｆ）に示す２値縞パターンは、グレイコードに対応している。図１１は、図４（ｃ）～図４（ｆ）に示す２値縞パターンに対応するグレイコードの例を示す。グレイコードにおける０を非投影領域に対応させ、１を光投影領域に対応させることで、図４（ｃ）から図４（ｆ）に示す２値縞パターンが生成される。
【0067】
図４及び図１１におけるｘ方向の各位置は、各グレイコードの対応する位置の０又は１の数字を組み合わせたコード値によって表される。図１１における位置０はコード値「００００」に対応し、位置１は「コード値０００１」に対応し、位置１５はコード値「１０００」に対応する。
【0068】
投影制御部３０１において図４（ａ）及び図４（ｂ）に示す基準パターンを測定対象物にそれぞれ投影した状態で撮影部２が測定対象物を撮影する。解析部３０５は、撮影した２枚の基準パターンの平均を画素ごとに中間値として求める。同様に、解析部３０５は、図４（ｃ）～図４（ｆ）の２値縞パターンを測定対象物に投影した状態の撮影画像について、４枚の撮影画像における各画素の輝度値をそれぞれ対応する中間値と比較することにより、各画素のコード値を特定する。解析部３０５は、コード値を特定することより、各画素の位置に、どの位置に向けて投影された２値の縞が写っているかを特定することができる。
【0069】
さらに、解析部３０５は、図１０に示すように特徴量特定部３０３が特定した正弦波の位相と一致する投影画像の画素の位置を特定する。投影画像の階調縞パターンは、周期性を有するため、特定した正弦波の位相と一致する投影画像の画素の位置は複数存在する。
【0070】
そこで、解析部３０５は、図４（ｃ）～（ｆ）の２値縞パターンによる投影画像の画素と撮影画像の画素の位置との対応関係を求める。解析部３０５は、階調縞パターンの階調情報の解析により求めた複数の対応関係のうち、２値縞パターンにより求めた対応関係に最も近い対応関係を選択することにより、撮影画像の画素と投影画像の画素との対応関係を求める。
【0071】
なお、解析部３０５は、２値縞パターンを含む投影画像を利用する代わりに、階調縞パターンを含む投影画像を利用してもよい。解析部３０５は、図５（ａ）～（ｄ）の階調縞パターンを有する投影画像に加えて、正弦波状の輝度分布を有する階調縞パターンであって、かつ、図５（ａ）～（ｄ）とは縞の幅が異なる階調縞パターンを有する複数の投影画像を順次投影することにより、撮影画像の画素と投影画像の画素との対応関係を求める構成であってもよい。例えば、投影部１は、第１周期の階調縞パターンを有する複数の投影画像を投影し、第２周期の階調縞パターンを有する複数の投影画像を投影し、且つ第３周期の階調縞パターンを有する複数の投影画像を投影する構成であってもよい。この場合、投影部１は、正弦波状の輝度分布を有する投影画像を測定対象物に投影することにより、測定対象物の形状を特定することができる。さらに、第１方向及び第２方向に延びる階調縞パターンとして、第１周期～第３周期の階調縞パターンを有する複数の投影画像をそれぞれ投影してもよい。
【0072】
また、不良画素検出部３０４が検出した不良画素は、多重反射の影響により、投影画像の縞パターンに応じた輝度を示していない。そこで、解析部３０５は、撮影画像の画素のうち、不良画素検出部３０４が検出した不良画素を除く画素と、投影画像の画素との対応関係を求める。このようにすることで、解析部３０５は、撮影画像の画素と投影画像の画素との対応関係が誤って求められる確率を下げることができる。
【0073】
形状特定部３０６は、解析部３０５が求めた撮影画像と投影画像との画素の対応関係に基づいて、測定対象物の三次元形状を求める。投影部１及び撮影部２の配置と、投影部１及び撮影部２の光軸の向きとはそれぞれ既知である。このため、形状特定部３０６は、三角測量法の原理を利用して、例えば、解析部３０５が求めた撮影画像と投影画像との対応関係から撮像画像の各画素について三次元位置をそれぞれ求めることにより、測定対象物の三次元形状を求める。
【0074】
［三次元形状計測装置１００の処理手順］
図１２は、三次元形状計測装置１００の動作の一例を示す図である。この処理手順は、例えば、ユーザが、図示しない操作キーにより三次元形状計測装置１００による測定対象物の計測を指示したときに開始される。まず、投影制御部３０１が、測定対象物の全体に光を投影しない基準パターン（全黒パターン）を投影し、撮影部２は、投影制御部３０１が当該基準パターンを投影した状態において測定対象物を撮影する。次に、投影制御部３０１が、測定対象物の全体に光を投影する基準パターン（全白パターン）を投影し、撮影部２は、投影部１が当該基準パターンを投影した状態において測定対象物を撮影する（Ｓ１０１）。
図１２は、三次元形状計測装置１００の動作の一例を示す図である。この処理手順は、例えば、ユーザが、図示しない操作キーにより三次元形状計測装置１００による測定対象物の計測を指示したときに開始される。まず、投影制御部３０１が、測定対象物の全体に光を投影しない基準パターン（全黒パターン）を投影し、撮影部２は、投影制御部３０１が当該基準パターンを投影した状態において測定対象物を撮影する。次に、投影制御部３０１が、測定対象物の全体に光を投影する基準パターン（全白パターン）を投影し、撮影部２は、投影部１が当該基準パターンを投影した状態において測定対象物を撮影する（Ｓ１０１）。
【0075】
さらに、投影制御部３０１は、第１方向に延びる２値縞パターンを含む複数の投影画像を順次投影し、撮影部２は、投影制御部３０１が各投影画像を投影した状態において測定対象物を撮影する。また、投影制御部３０１は、第２方向に延びる２値縞パターンを含む複数の投影画像を順次投影し、撮影部２は、投影制御部３０１が各投影画像を投影した状態において測定対象物を撮影する（Ｓ１０２）。
【0076】
続いて、投影制御部３０１は、第１方向に延びる正弦波状の輝度分布を有する階調縞パターンを含む複数の投影画像を順次投影し、撮影部２は、投影部１が各投影画像を投影した状態において測定対象物を撮影する。また、投影制御部３０１は、第２方向に延びる階調縞パターンを含む複数の投影画像を順次投影し、撮影部２は、投影制御部３０１が各投影画像を投影した状態において測定対象物を撮影する（Ｓ１０３）。
【0077】
解析部３０５は、第１方向及び第２方向に延びる２値縞パターンを投影した撮影画像の各画素の輝度値に基づいて各画素のコード値を特定する（Ｓ１０４）。また、解析部３０５は、第１方向及び第２方向に延びる階調縞パターンを投影した撮影画像の階調情報を解析する（Ｓ１０５）。
【0078】
特徴量特定部３０３は、第１方向及び第２方向に延びる階調縞パターンを投影した撮影画像と、第１方向及び第２方向に延びる２値縞パターンを投影した撮影画像とに含まれる縞パターンの特徴を示す特徴量を特定する（Ｓ１０６）。
【0079】
続いて、不良画素検出部３０４は、特徴量特定部３０３が特定した特徴量が所定の範囲外になっている画素を特定することにより、不良画素を検出する（Ｓ１０７）。まず、不良画素検出部３０４は、特徴量特定部３０３が第１方向に延びる縞パターンの第１撮影画像から特定した特徴量である第１特徴量が所定の範囲内にない第１撮影画像の画素を不良画素として検出する。また、不良画素検出部３０４は、特徴量特定部３０３が第２方向に延びる縞パターンの第２撮影画像から特定した特徴量である第２特徴量が所定の範囲内にない第２撮影画像の画素に対応する第１撮影画像の画素を特定する。不良画素検出部３０４は、特定した第１撮影画像の画素を不良画素として検出する。
【0080】
不良画素検出部３０４は、第１特徴量と第２特徴量とを比較し（Ｓ１０８）、第１特徴量と第２特徴量との間の差分が所定範囲内とならない画素を不良画素として検出する。
【0081】
解析部３０５は、特定したコード値を用いて、不良画素を除く撮影画像の画素と投影画像の画素との対応関係を求める。さらに、解析部３０５は、階調縞パターンの階調情報の解析により、不良画素を除く撮影画像の画素と、投影画像の画素との対応関係を求める。解析部３０５は、階調情報の解析により求めた複数の対応関係のうち、コード値を用いて求めた対応関係に最も近い対応関係を選択することにより、撮影画像と投影画像との画素の対応関係を特定する（Ｓ１０９）。形状特定部３０６は、解析部３０５が求めた撮影画像と投影画像との画素の対応関係に基づいて、測定対象物の三次元形状を求める（Ｓ１１０）。
【0082】
本実施の形態によれば、不良画素検出部３０４は、第１方向に延びる縞パターンの撮影画像から特定した第１特徴量の第１撮影画像、及び第２方向に延びる縞パターンの第２撮影画像から特定した第２特徴量に基づいて、多重反射による撮影画像における不良画素を検出する。第２撮影画像は、第１撮影画像とは輝度分布が異なり、かつ、多重反射光及び直接光の重なり方も第１撮影画像とは異なる。このため、不良画素検出部３０４が、第１撮影画像において多重反射光が直接光と重なり合ったこと等に起因して多重反射光を検出できなかったとしても、第２撮影画像において当該多重反射光を検出することが期待される。
【0083】
また、多重反射が起こる測定対象の場合には投影パターンの方向によって特徴量に変化が生じるが、そうではない測定対象の場合には、投影パターンの方向を変えても特徴量には大きな変化は生じにくいことから、第１特徴量と第２特徴量との比較を行うことで、多重反射光の検出をより正確に行うことができる。したがって、不良画素検出部３０４は、第１特徴量及び第２特徴量の両方に基づき不良画素を検出することにより、不良画素の検出精度を向上させることができる。
【0084】
また、三次元形状計測装置１００が第１方向に延びる縞パターンの撮影画像から特定した第１特徴量と第２方向に延びる縞パターンの撮影画像から特定した第２特徴量との両方を使用することで、三次元形状計測装置１００の管理者は、個々の特徴量の閾値を厳しく設定することを避けられる。例えば、三次元形状計測装置１００の管理者は、第１特徴量及び第２特徴量のいずれかのみを使用する場合に比べて、不良画素と判定しない特徴量の範囲を大きくする。また、不良画素検出部３０４が複数の特徴量を使用することで、同様な効果が得られる。このために、形状特定部３０６は、多重反射の影響を除外しながら、厳しい閾値を設定すると不良画素として誤って検出されやすい表面下散乱の大きい対象も測定ができるようになる。
【0085】
また、本実施の形態によれば、不良画素検出部３０４は、検出した不良画素から当該不良画素の両側における縞の１周期に相当する距離までの範囲に含まれる画素を不良画素として検出する。このため、不良画素検出部３０４は、直接光と縞パターンの周期が近いために直接光と多重反射光とが合成された合成光に歪みが生じにくく、不良画素の検出が困難な場合であっても、多重反射光の影響を受けた画素を精度よく除去することができる。
【0086】
なお、本実施の形態では、投影制御部３０１が、第１方向及び第２方向に延びる縞パターンを測定対象物に順次投影する場合の例について説明した。しかしながら、本発明は、複数の方向に延びる縞パターンを常に測定対象物に投影する場合の例に限定されない。例えば、投影制御部３０１は、第１方向に延びる縞パターンを測定対象物に投影し、不良画素検出部３０４が第１特徴量に基づいて検出した不良画素の量が基準範囲より広い場合に、第２方向に延びる縞パターンを測定対象物に投影する構成であってもよい。基準範囲は、例えば、不良画素の範囲と、要求される計測精度とから統計的に求めることができる。また、不良画素に該当しない画素の範囲と不良画素の範囲との比率等を用いて基準範囲を求めても良い。
【0087】
また、本実施の形態では、投影制御部３０１は、第１方向に延びる縞パターンを含む投影画像と、第２方向に延びる縞パターンを含む投影画像とを測定対象物に投影する場合の例について説明した。しかしながら、本発明は、第１方向及び第２方向に延びる縞パターンを投影する例に限定されない。例えば、投影制御部３０１が、不良画素検出部３０４により検出された不良画素の量が所定範囲より広い場合に、第１方向及び第２方向とはいずれも異なる方向に延びる縞パターンを含む投影画像を測定対象物に投影する構成であってもよい。この所定範囲は、例えば、不良画素の範囲と、要求される計測精度とから統計的に求めることができる。また、不良画素に該当しない画素の範囲と不良画素の範囲との比率等を用いて所定範囲を求めても良い。一方、投影制御部３０１は、不良画素検出部３０４により検出された不良画素の量が所定範囲内である場合に、異なる方向に延びる縞パターンを含む投影画像を測定対象物に投影しない。このような構成を採用することにより、不良画素検出部３０４は、不良画素の検出精度をさらに向上させることができる。
【0088】
また、投影制御部３０１が、別の方向に延びる縞パターンを含む投影画像を測定対象物に投影する処理を繰り返す構成であってもよい。例えば、投影制御部３０１は、第１方向～第Ｎ方向（Ｎは自然数）に延びる縞パターンを順次投影する。投影制御部３０１は、第Ｎ方向に延びる縞パターンを投影した撮影画像から新たに検出された不良画素の範囲に基づいて、縞パターンの投影を終了する構成であってもよい。すなわち、投影制御部３０１は、第Ｎ方向に延びる縞パターンを投影した撮影画像から検出された不良画素のうち、第１方向～第Ｎ－１方向に延びる縞パターンを投影した撮影画像から検出されていない不良画素の範囲が閾値以下になった場合に、縞パターンの投影を終了する構成であってもよい。閾値は、例えば、多重反射光の影響が十分に小さくなったことを示す値である。
【0089】
また、投影制御部３０１は、第１方向に延びる縞パターンを含む投影画像を測定対象物に投影した後に、第１方向に延び、かつ縞パターンの周期の異なる投影画像を追加的に測定対象物に投影してもよい。さらに、投影制御部３０１は、第２方向に延びる縞パターンを含む投影画像を測定対象物に投影した後に、第２方向に延び、かつ縞パターンの周期の異なる投影画像を追加的に測定対象物に投影してもよい。周期の異なる縞パターンを投影した場合、直接光に重なる多重反射光の位相が変化する。このため、不良画素検出部３０４は、多重反射光の影響を受けた画素をより精度よく検出することができる。
【0090】
この際に、不良画素検出部３０４は、同じ周期のもの同士で特徴量の比較をする方が望ましい。上述のように、撮影画像の画素と投影画像の画素との対応関係を求めるために２値パターンを使用しないで、周期の異なる複数の階調縞パターンを使用する場合も同様である。
【0091】
また、本実施の形態では、投影制御部３０１は、同一波長の投影光により各投影画像を投影する場合の例について説明した。しかしながら、本発明は、これに限定されない。例えば、投影制御部３０１が、第１方向に延びる縞パターンを含む２以上の投影画像を測定対象物に第１波長の光により投影し、かつ、第２方向に延びる縞パターンを含む投影画像を第２波長の光により測定対象物に投影してもよい。このような構成を採用することにより、第１方向に延びる縞パターンと、第２方向に延びる縞パターンとを同時に測定対象物に投影することができるので、計測時間を短縮することができる。個々の波長ごとに閾値を変えても良い。
【0092】
また、本実施の形態では、投影制御部３０１が、正弦波状の輝度分布を有する階調縞パターンと、２値縞パターンとの両方について、第２方向に延びる縞パターンを含む投影画像を測定対象物に投影する場合の例について説明した。しかしながら、本発明はこれに限定されない。例えば、投影制御部３０１が、第２方向に延びる階調縞パターンを測定対象物に投影するが、第２方向に延びる２値縞パターンを測定対象物に投影しない構成であってもよい。これによって、投影制御部３０１は、測定時間を短くすることができる。
【0093】
また、投影制御部３０１は、前記第１方向及び前記第２方向において、投影する階調縞パターンあるいは２値縞パターンの投影画像の枚数を同じにしなくとも良い。例えば、投影制御部３０１は、第２方向の階調縞パターンの投影画像の枚数を第１方向より少なくしても良い（例：第１方向は６枚で６０度刻みの位相シフト，第２方向は４枚で９０度刻みの位相シフト等）。
【0094】
また、本実施の形態では、解析部３０５が、階調縞パターン及び２値縞パターンを投影した状態の測定対象物の撮影画像をそれぞれ解析することにより、投影画像及び撮影画像の画素の対応関係を求める場合の例について説明した。しかしながら、本発明はこれに限定されない。例えば、解析部３０５は、２値縞パターンを投影した状態の測定対象物の撮影画像を解析することにより、投影画像及び撮影画像の画素の対応関係を求め、投影制御部３０１は、階調縞パターンを投影しない構成であってもよい。この場合、特徴量特定部３０３は、２値縞パターンを投影した撮影画像から、オフセットＯｆ等の特徴量を求めてもよい。
【0095】
また、本実施の形態では、投影制御部３０１が、第１方向に延びる縞パターンを含む投影画像と、第２方向に延びる縞パターンを含む投影画像とを測定対象物に投影し、第１方向と第２方向とが直交する場合の例について説明した。しかしながら、本発明は、これに限定されない。例えば、第１方向と第２方向とが略直交していてもよい。第１方向については、図２（ｂ）の角度でなければ任意の角度で良い。第２方向については第１方向と異なる任意の角度であれば良い。
【0096】
また、本実施の形態では、不良画素検出部３０４が、第１特徴量と第２特徴量との間の差分が所定範囲内とならない画素を不良画素として検出する場合の例について説明した。しかしながら、本発明はこれに限定されない。例えば、不良画素検出部３０４は、第１特徴量と第２特徴量との間の比が所定範囲内とならない画素を不良画素として検出してもよい。
【0097】
第１の実施形態に係る三次元形状計測装置及び三次元形状計測方法の特徴を以下にまとめる。
［１］第１方向に延びる縞パターンを含む２以上の投影画像を測定対象物に順次投影し、かつ、少なくとも１以上の第２方向に延びる縞パターンを含む投影画像を前記測定対象物に投影する投影部と、
前記投影部が前記測定対象物上に投影した前記縞パターンを含む撮影画像をそれぞれ生成する撮影部と、
前記撮影画像に含まれる前記縞パターンの特徴を示す特徴量を特定する特徴量特定部と、
前記特徴量特定部が前記第１方向に延びる縞パターンの前記撮影画像から特定した第１特徴量、及び前記特徴量特定部が前記第２方向に延びる縞パターンの前記撮影画像から特定した第２特徴量に基づいて、多重反射による前記撮影画像における不良画素を検出する不良画素検出部と、
前記撮影画像の画素のうち前記不良画素を除く画素と、前記投影画像の画素との対応関係を求める解析部と、
前記解析部が求めた対応関係に基づいて、前記測定対象物の三次元形状を特定する形状特定部
を備える三次元形状計測装置。
［２］前記不良画素検出部は、前記第１特徴量、及び前記第２特徴量のいずれかが所定範囲内にならない前記撮影画像における画素を前記不良画素として検出する、
［１］に記載の三次元形状計測装置。
［３］前記不良画素検出部は、前記第１特徴量と、前記第２特徴量との差が閾値以上となる前記撮影画像における画素を前記不良画素として検出する、
［１］又は［２］に記載の三次元形状計測装置。
［４］前記不良画素検出部は、前記第１特徴量が第１範囲内にならない場合に、前記撮影画像における画素を前記不良画素として検出し、かつ、前記第２特徴量が第２範囲内にならない場合に、前記撮影画像における画素を前記不良画素として検出する、
［１］から［３］のいずれか一項に記載の三次元形状計測装置。
［５］前記投影部は、前記第１方向に延びる縞パターンを含む前記２以上の投影画像として、２値画像と、正弦波状の輝度分布を有する画像とを順次投影する、
［１］から［４］のいずれか一項に記載の三次元形状計測装置。
［６］前記第１方向は、前記投影部の光軸と前記撮影部の光軸とを含む平面に対して直交する方向であり、
前記第２方向は、前記投影部の光軸と前記撮影部の光軸とを含む平面に対して平行な方向である、
［１］から［５］のいずれか一項に記載の三次元形状計測装置。
［７］前記不良画素検出部は、検出した前記不良画素から当該不良画素の両側における前記縞の１周期に相当する距離までの範囲に含まれる画素を前記不良画素として検出する、
［１］から［６］のいずれか一項に記載の三次元形状計測装置。
［８］前記投影部は、前記第１方向に延びる縞パターンを含む２以上の投影画像を前記測定対象物に第１波長の光により投影し、かつ、前記第２方向に延びる縞パターンを含む投影画像を第２波長の光により前記測定対象物に投影する、
［１］から［７］のいずれか一項に記載の三次元形状計測装置。
［９］前記投影部は、前記不良画素検出部により検出された前記不良画素の範囲が所定範囲より広い場合に、前記第１方向及び前記第２方向とはいずれも異なる方向に延びる縞パターンを含む投影画像を前記測定対象物に投影する、
［１］から［８］のいずれか一項に記載の三次元形状計測装置。
［１０］前記投影部は、前記不良画素検出部が前記第１特徴量に基づいて検出した前記不良画素の範囲が基準範囲より多い場合に、第２方向に延びる縞パターンを含む前記投影画像を前記測定対象物に投影する、
［１］から［９］のいずれか一項に記載の三次元形状計測装置。
［１１］前記投影部は、前記第１方向及び前記第２方向に延びる縞パターンを含む投影画像として、幅の異なる正弦波状の輝度分布を有する複数の縞パターンを含む投影画像を測定対象物に順次投影する、
［１］から［１０］のいずれか一項に記載の三次元形状計測装置。
［１２］第１方向に延びる縞パターンを含む２以上の投影画像を測定対象物に順次投影し、かつ、第２方向に延びる縞パターンを含む投影画像を前記測定対象物に投影する投影ステップと、
前記投影ステップにおいて前記測定対象物上に投影した前記縞パターンを含む撮影画像をそれぞれ生成する撮影ステップと、
前記撮影画像に含まれる前記縞パターンの特徴を示す特徴量を特定する特徴量特定ステップと、
前記特徴量特定ステップにおいて前記第１方向に延びる縞パターンの前記撮影画像から特定した第１特徴量、及び前記特徴量特定ステップにおいて前記第２方向に延びる縞パターンの前記撮影画像から特定した第２特徴量に基づいて、多重反射による前記撮影画像における不良画素を検出する不良画素検出ステップと、
前記撮影画像の画素のうち前記不良画素を除く画素と、前記投影画像の画素との対応関係を求める解析ステップと、
前記解析ステップにおいて求めた対応関係に基づいて、前記測定対象物の三次元形状を特定する特定ステップ
を備える三次元形状計測方法。
［１］第１方向に延びる縞パターンを含む２以上の投影画像を測定対象物に順次投影し、かつ、少なくとも１以上の第２方向に延びる縞パターンを含む投影画像を前記測定対象物に投影する投影部と、
前記投影部が前記測定対象物上に投影した前記縞パターンを含む撮影画像をそれぞれ生成する撮影部と、
前記撮影画像に含まれる前記縞パターンの特徴を示す特徴量を特定する特徴量特定部と、
前記特徴量特定部が前記第１方向に延びる縞パターンの前記撮影画像から特定した第１特徴量、及び前記特徴量特定部が前記第２方向に延びる縞パターンの前記撮影画像から特定した第２特徴量に基づいて、多重反射による前記撮影画像における不良画素を検出する不良画素検出部と、
前記撮影画像の画素のうち前記不良画素を除く画素と、前記投影画像の画素との対応関係を求める解析部と、
前記解析部が求めた対応関係に基づいて、前記測定対象物の三次元形状を特定する形状特定部
を備える三次元形状計測装置。
［２］前記不良画素検出部は、前記第１特徴量、及び前記第２特徴量のいずれかが所定範囲内にならない前記撮影画像における画素を前記不良画素として検出する、
［１］に記載の三次元形状計測装置。
［３］前記不良画素検出部は、前記第１特徴量と、前記第２特徴量との差が閾値以上となる前記撮影画像における画素を前記不良画素として検出する、
［１］又は［２］に記載の三次元形状計測装置。
［４］前記不良画素検出部は、前記第１特徴量が第１範囲内にならない場合に、前記撮影画像における画素を前記不良画素として検出し、かつ、前記第２特徴量が第２範囲内にならない場合に、前記撮影画像における画素を前記不良画素として検出する、
［１］から［３］のいずれか一項に記載の三次元形状計測装置。
［５］前記投影部は、前記第１方向に延びる縞パターンを含む前記２以上の投影画像として、２値画像と、正弦波状の輝度分布を有する画像とを順次投影する、
［１］から［４］のいずれか一項に記載の三次元形状計測装置。
［６］前記第１方向は、前記投影部の光軸と前記撮影部の光軸とを含む平面に対して直交する方向であり、
前記第２方向は、前記投影部の光軸と前記撮影部の光軸とを含む平面に対して平行な方向である、
［１］から［５］のいずれか一項に記載の三次元形状計測装置。
［７］前記不良画素検出部は、検出した前記不良画素から当該不良画素の両側における前記縞の１周期に相当する距離までの範囲に含まれる画素を前記不良画素として検出する、
［１］から［６］のいずれか一項に記載の三次元形状計測装置。
［８］前記投影部は、前記第１方向に延びる縞パターンを含む２以上の投影画像を前記測定対象物に第１波長の光により投影し、かつ、前記第２方向に延びる縞パターンを含む投影画像を第２波長の光により前記測定対象物に投影する、
［１］から［７］のいずれか一項に記載の三次元形状計測装置。
［９］前記投影部は、前記不良画素検出部により検出された前記不良画素の範囲が所定範囲より広い場合に、前記第１方向及び前記第２方向とはいずれも異なる方向に延びる縞パターンを含む投影画像を前記測定対象物に投影する、
［１］から［８］のいずれか一項に記載の三次元形状計測装置。
［１０］前記投影部は、前記不良画素検出部が前記第１特徴量に基づいて検出した前記不良画素の範囲が基準範囲より多い場合に、第２方向に延びる縞パターンを含む前記投影画像を前記測定対象物に投影する、
［１］から［９］のいずれか一項に記載の三次元形状計測装置。
［１１］前記投影部は、前記第１方向及び前記第２方向に延びる縞パターンを含む投影画像として、幅の異なる正弦波状の輝度分布を有する複数の縞パターンを含む投影画像を測定対象物に順次投影する、
［１］から［１０］のいずれか一項に記載の三次元形状計測装置。
［１２］第１方向に延びる縞パターンを含む２以上の投影画像を測定対象物に順次投影し、かつ、第２方向に延びる縞パターンを含む投影画像を前記測定対象物に投影する投影ステップと、
前記投影ステップにおいて前記測定対象物上に投影した前記縞パターンを含む撮影画像をそれぞれ生成する撮影ステップと、
前記撮影画像に含まれる前記縞パターンの特徴を示す特徴量を特定する特徴量特定ステップと、
前記特徴量特定ステップにおいて前記第１方向に延びる縞パターンの前記撮影画像から特定した第１特徴量、及び前記特徴量特定ステップにおいて前記第２方向に延びる縞パターンの前記撮影画像から特定した第２特徴量に基づいて、多重反射による前記撮影画像における不良画素を検出する不良画素検出ステップと、
前記撮影画像の画素のうち前記不良画素を除く画素と、前記投影画像の画素との対応関係を求める解析ステップと、
前記解析ステップにおいて求めた対応関係に基づいて、前記測定対象物の三次元形状を特定する特定ステップ
を備える三次元形状計測方法。
【0098】
＜第２の実施形態＞
第１の実施形態では、不良画素検出部３０４が特徴量特定部３０３において特定した特徴量が所定の範囲内であるか否かを判定することにより、不良画素を検出する場合の例について説明した。これに対し、第２の実施形態では、画素とエピポーラ線との位置関係に基づいて、不良画素を検出する場合の例について説明する。
第１の実施形態では、不良画素検出部３０４が特徴量特定部３０３において特定した特徴量が所定の範囲内であるか否かを判定することにより、不良画素を検出する場合の例について説明した。これに対し、第２の実施形態では、画素とエピポーラ線との位置関係に基づいて、不良画素を検出する場合の例について説明する。
【0099】
［不良画素検出の原理］
図１３及び図１４は、第２の実施形態による不良画素の検出の原理について説明するための図である。図１３は、一対の撮影部により測定対象物上の測定点ＭＰを撮影する場合の例を示す。測定点ＭＰに対応する図１３の右側の撮影部の撮影画像平面における画素の位置を撮影画素位置Ａ１とし、同じ測定点ＭＰに対応する左側の撮影部の撮影画像平面における画素の位置を撮影画素位置Ａ２とする。このとき、撮影画素位置Ａ１と撮影画素位置Ａ２とは、２つの撮影部の位置関係に基づく一定の関係を有する。右側の撮影部の光学中心Ｏ１から撮影画素位置Ａ１を通って測定点ＭＰに延びる直線を左側の撮影部の撮影画像平面に投影した直線を第１エピポーラ線ＥＬ１とする。第１エピポーラ線ＥＬ１を斜め方向の破線で示す。撮影画素位置Ａ２は、幾何学的な拘束として、撮影画像に投影された第１エピポーラ線ＥＬ１上のいずれかの位置となる。
図１３及び図１４は、第２の実施形態による不良画素の検出の原理について説明するための図である。図１３は、一対の撮影部により測定対象物上の測定点ＭＰを撮影する場合の例を示す。測定点ＭＰに対応する図１３の右側の撮影部の撮影画像平面における画素の位置を撮影画素位置Ａ１とし、同じ測定点ＭＰに対応する左側の撮影部の撮影画像平面における画素の位置を撮影画素位置Ａ２とする。このとき、撮影画素位置Ａ１と撮影画素位置Ａ２とは、２つの撮影部の位置関係に基づく一定の関係を有する。右側の撮影部の光学中心Ｏ１から撮影画素位置Ａ１を通って測定点ＭＰに延びる直線を左側の撮影部の撮影画像平面に投影した直線を第１エピポーラ線ＥＬ１とする。第１エピポーラ線ＥＬ１を斜め方向の破線で示す。撮影画素位置Ａ２は、幾何学的な拘束として、撮影画像に投影された第１エピポーラ線ＥＬ１上のいずれかの位置となる。
【0100】
また、左側の撮影部２の光学中心をＯ２とし、撮影部の光学中心Ｏ２から撮影画素位置Ａ２を通って測定点ＭＰに延びる直線を右側の撮影部の撮影画像平面に投影した直線を第２エピポーラ線ＥＬ２とする。撮影画素位置Ａ１は、幾何学的な拘束として、第２エピポーラ線ＥＬ２上のいずれかの位置にある。
【0101】
左側の撮影画像平面上には、複数の第１エピポーラ線を引くことができる。各第１エピポーラ線は、いずれもエピポールＥＰ１において一点で交わる。同様に、右側の撮影画像平面上には、複数の第２エピポーラ線を引くことができる。各第２エピポーラ線は、いずれもエピポールＥＰ２において一点で交わる。
【0102】
図１４は、投影部１が縞パターンを含む投影画像を測定対象物に投影し、投影画像を投影した測定対象物を撮影部２が撮影する場合の例を示す。図１４の場合には、投影部１を光線の進む向きが逆方向となった撮影部とみなせば、投影画像の画素の位置である投影画素位置Ａ１´と撮影画素位置Ａ２とは、図１３と同様の対応関係を有する。投影部１の光学中心をＯ１´とし、投影部１の光学中心Ｏ１´から投影画素位置Ａ１´を通って測定点ＭＰに延びる直線を撮影部２の撮影画像平面に投影した直線を第１エピポーラ線ＥＬ１とする。
【0103】
撮影画素位置Ａ２は、第１エピポーラ線ＥＬ１上のいずれかの位置にある。一方、撮影画素位置Ａ２が第１エピポーラ線ＥＬ１上になければ、投影画素位置Ａ１´と撮影画素位置Ａ２との間の光路等において多重反射が生じている可能性がある。不良画素検出部５０２は、この原理を利用して、撮影画素位置Ａ２と第１エピポーラ線ＥＬ１の位置とを比較することにより、不良画素を検出する。
【0104】
また、撮影部２の光学中心をＯ２とし、撮影部２の光学中心Ｏ２から撮影画素位置Ａ２を通って測定点ＭＰに延びる直線を投影部１の投影画像平面に投影した直線を第２エピポーラ線ＥＬ２とする。投影画素位置Ａ１´は、第２エピポーラ線ＥＬ２上のいずれかの位置にある。一方、投影画素位置Ａ１´が第２エピポーラ線ＥＬ２上になければ、投影画素位置Ａ１´の画素は不良画素である可能性がある。不良画素検出部５０２は、この原理を利用して、投影画素位置Ａ１´と、第２エピポーラ線ＥＬ２の位置とを比較することにより、不良画素を検出してもよい。
【0105】
［第２の実施形態の三次元形状計測装置２００の構成］
図１５は、三次元形状計測装置２００の構成を示す図である。三次元形状計測装置２００は、投影部１、撮影部２、制御部３及び記憶部４を有する。制御部３は、例えばＣＰＵであり、記憶部４に記憶されたプログラムを実行することにより、投影制御部３０１、取得部３０２、線特定部５０１、不良画素検出部５０２、解析部３０５及び形状特定部３０６として機能する。図３と同一の機能ブロックについては同一の符号を付して説明を省略する。
図１５は、三次元形状計測装置２００の構成を示す図である。三次元形状計測装置２００は、投影部１、撮影部２、制御部３及び記憶部４を有する。制御部３は、例えばＣＰＵであり、記憶部４に記憶されたプログラムを実行することにより、投影制御部３０１、取得部３０２、線特定部５０１、不良画素検出部５０２、解析部３０５及び形状特定部３０６として機能する。図３と同一の機能ブロックについては同一の符号を付して説明を省略する。
【0106】
投影制御部３０１は、図３の投影制御部３０１と同様の機能を有する。投影制御部３０１は、投影部１のオンオフを画素ごとに切り替えるための回路を制御し、投影部１の一部の画素のみ測定対象物に投影することが可能である。不良画素は、多重反射光に基づくものが多いため、不良画素として検出された位置の投影画素を除く投影画像を投影すれば、多重反射光の影響を抑制することができる。そこで、投影制御部３０１は、不良画素検出部５０２が不良画素を検出した場合に、投影画像の画素のうち、不良画素検出部５０２が検出した不良画素を除く投影画像（以下、第１選択投影画像）を測定対象物に投影する。
【0107】
多重反射による不良画素は、多数の画素を含む投影画像を同時に測定対象物に投影することによって生じると考えることもできる。そこで、投影制御部３０１は、同時に投影する画素の数を減少させることを目的として、不良画素検出部５０２が不良画素を検出した場合に、不良画素検出部５０２が検出した不良画素を含む画像（以下、第２選択投影画像）を測定対象物に投影して再度測定を実行する。第２選択投影画像は、例えば、不良画素検出部５０２が検出した不良画素のみからなる投影画像である。
【0108】
線特定部５０１は、投影画素位置に対応する撮影部２の第１エピポーラ線、又は撮影画素位置に対応する投影部１の第２エピポーラ線をそれぞれ特定する。投影部１のいずれかの投影画素位置に対する撮影部２の第１エピポーラ線の位置はそれぞれ決まっている。投影画素位置と第１エピポーラ線との関係は、投影部１と撮影部２との位置関係により一意に決定され、測定対象物の位置や大きさの影響を受けない。同様に、撮影部２のいずれかの撮影画素位置に対する投影部１の第２エピポーラ線の位置はそれぞれ決まっている。記憶部４は、投影部１の各投影画素位置に対する撮影部２の第１エピポーラ線の位置、及び撮影部２の各撮影画素位置に対する投影部１の第２エピポーラ線の位置を予め記憶している。
【0109】
線特定部５０１は、記憶部４が記憶しているエピポーラ線の位置を読み出すことにより、投影画素位置に対する第１エピポーラ線、又は撮影画素位置に対する第２エピポーラ線の位置をそれぞれ特定する。線特定部５０１は、特定した第１エピポーラ線又は第２エピポーラ線の位置を不良画素検出部５０２に通知する。
【0110】
解析部３０５は、第１の実施形態と同様の機能を有する。解析部３０５は、投影画像の画素の位置である投影画素位置と、取得部３０２が取得した撮影画像の画素の位置である撮影画素位置との対応関係を求める。
【0111】
解析部３０５は、撮影画像において正弦波状の輝度分布を有する第１方向及び第２方向の縞パターンを階調解析することにより、各撮影画素位置の絶対位相値を得る。絶対位相値ＩＡＰ，ｋ（ｉ，ｊ）は、以下の式により表される。ｉ及びｊは、それぞれ第２方向に左端からｉ番目、第１方向に上端からｊ番目の画素であることを示す。
【0112】
【数4】
【0113】
式中、φｉ、φｊは、縞パターンにおける縞の位相値である。ｍｉ及びｍｊは、それぞれ投影画像の左端及び上端からの縞の数である。撮影画素位置（ｉ，ｊ）に対応する投影画素位置（ｉｐ，ｊｐ）は、以下の式により求めることができる。ただし、ｐｋは、投影画像における正弦波状の輝度分布を有する縞パターンの縞の１周期に対応する投影部１の画素数である。
【0114】
【数5】
【0115】
解析部３０５は、例えば再測定時に投影制御部３０１が不良画素を除く第１選択投影画像を測定対象物に投影した場合には、第１選択投影画像の投影画素位置と、第１選択投影画像が投影された測定対象物の撮影画像の撮影画素位置との対応関係を推定する。不良画素は多重反射光の影響を受けている可能性があるため、投影制御部３０１は、不良画素を除く第１選択投影画像を投影することにより、多重反射光の影響を抑制する。このため、解析部３０５は、投影画素位置と撮影画素位置との対応関係をより精度よく求めることができる。
【0116】
解析部３０５は、例えば再測定時に投影制御部３０１が不良画素を含む第２選択投影画像を測定対象物に投影した場合には、第２選択投影画像の投影画素位置と、第２選択投影画像が投影された測定対象物の撮影画像の撮影画素位置との対応関係を推定する。投影制御部３０１は、第２選択投影画像を投影することにより、投影画像を全て投影する場合に比べて、同時に投影する画素の数を減少させる。解析部３０５は、不良画素検出部５０２が不良画素として検出した画素の対応関係を再度推定することにより、測定対象物の三次元形状の特定に用いる画素の数を増やすことができる。
【0117】
不良画素検出部５０２は、撮影画素位置と第１エピポーラ線との位置関係、又は投影画素位置と第２エピポーラ線との位置関係に基づいて、不良画素を検出する。不良画素検出部５０２は、撮影画素位置と、当該撮影画素位置と対応関係を有する投影画素位置に対応する第１エピポーラ線との距離が第１閾値より大きい場合、又は投影画素位置と、当該投影画素位置と対応関係を有する撮影画素位置に対応する第２エピポーラ線との距離が第２閾値より大きい場合に、撮影画素位置又は投影画素位置に対応する画素を不良画素として検出する。
【0118】
図１６は、不良画素検出部５０２による不良画素の検出動作を説明するための図である。図１６は、投影部１からの投影光が測定対象物において多重反射した場合の様子を示している。多重反射光を破線で示す。投影部１の画像平面における投影画素位置Ａ１´からの投影光は、測定対象物において複数回反射した多重反射光として撮影部２の画像平面における撮影画素位置Ａ２に到達する。
【0119】
図１４に示したように、投影光が測定対象物において１回のみ反射して撮影部２に到達した場合には、撮影画素位置Ａ２は、投影画素位置Ａ１´に対応する第１エピポーラ線ＥＬ１上になる。一方、図１６に示すように、投影光が測定対象物において多重反射して撮影部２に到達した場合には、撮影画素位置Ａ２は、投影画素位置Ａ１´に対応する第１エピポーラ線ＥＬ１と一致しない。このような場合に、不良画素検出部５０２は、撮影画素位置Ａ２の画素が不良画素であると判定する。
【0120】
［撮影部２上の不良判定］
不良画素検出部５０２は、投影画素位置Ａ１´に対応する撮影部２の第１エピポーラ線として線特定部５０１が特定した第１エピポーラ線ＥＬ１の位置を取得する。不良画素検出部５０２は、撮影画素位置Ａ２と、第１エピポーラ線ＥＬ１の位置とを比較することにより、撮影画素位置Ａ２に到達した投影光が多重反射光か否かを判定する。より詳しくは、不良画素検出部５０２は、撮影画素位置Ａ２と、第１エピポーラ線ＥＬ１との距離Ｄ１を求め、求めた距離Ｄ１を第１閾値と比較する。第１閾値は、投影光が測定対象物において１回のみ反射して撮影部２に到達した場合に生じ得る撮影画素位置Ａ２と第１エピポーラ線ＥＬ１との距離を示す値である。
不良画素検出部５０２は、投影画素位置Ａ１´に対応する撮影部２の第１エピポーラ線として線特定部５０１が特定した第１エピポーラ線ＥＬ１の位置を取得する。不良画素検出部５０２は、撮影画素位置Ａ２と、第１エピポーラ線ＥＬ１の位置とを比較することにより、撮影画素位置Ａ２に到達した投影光が多重反射光か否かを判定する。より詳しくは、不良画素検出部５０２は、撮影画素位置Ａ２と、第１エピポーラ線ＥＬ１との距離Ｄ１を求め、求めた距離Ｄ１を第１閾値と比較する。第１閾値は、投影光が測定対象物において１回のみ反射して撮影部２に到達した場合に生じ得る撮影画素位置Ａ２と第１エピポーラ線ＥＬ１との距離を示す値である。
【0121】
不良画素検出部５０２は、撮影画素位置Ａ２と第１エピポーラ線ＥＬ１との距離が第１閾値より大きい場合に、撮影画素位置Ａ２の画素を不良画素として検出する。さらに、不良画素検出部５０２は、不良画素として検出した撮影画素位置Ａ２と対応関係を有すると解析部３０５が推定した投影画素位置Ａ１´の画素を不良画素として検出する。不良画素検出部５０２は、検出した不良画素の位置を解析部３０５及び形状特定部３０６に通知する。一方、不良画素検出部５０２は、撮影画素位置Ａ２と第１エピポーラ線ＥＬ１との距離が第１閾値以下である場合に、撮影画素位置Ａ２及び投影画素位置Ａ１´の画素を不良画素として検出しない。この場合、不良画素検出部５０２は、撮影画素位置Ａ２と第１エピポーラ線ＥＬ１との距離Ｄ１を形状特定部３０６に通知する。
【0122】
［投影部１上の不良判定］
また、不良画素検出部５０２は、撮影画素位置Ａ２に対応する投影部１の第２エピポーラ線として線特定部５０１が特定した第２エピポーラ線ＥＬ２の位置を取得する。不良画素検出部５０２は、投影画素位置Ａ１´と、第２エピポーラ線ＥＬ２の位置とを比較することにより、投影画素位置Ａ１´からの投影光が多重反射光か否かを判定する。より詳しくは、不良画素検出部５０２は、投影画素位置Ａ１´と、第２エピポーラ線ＥＬ２との距離Ｄ２を求め、求めた距離Ｄ２を第２閾値と比較する。第２閾値は、撮影画素位置Ａ２に到達した投影光が測定対象物において１回のみ反射した直接光である場合に、撮影画素位置Ａ２と対応関係を有する投影画素位置Ａ１´と、撮影画素位置Ａ２に対応する第２エピポーラ線ＥＬ２との間に生じ得る距離を示す値である。
また、不良画素検出部５０２は、撮影画素位置Ａ２に対応する投影部１の第２エピポーラ線として線特定部５０１が特定した第２エピポーラ線ＥＬ２の位置を取得する。不良画素検出部５０２は、投影画素位置Ａ１´と、第２エピポーラ線ＥＬ２の位置とを比較することにより、投影画素位置Ａ１´からの投影光が多重反射光か否かを判定する。より詳しくは、不良画素検出部５０２は、投影画素位置Ａ１´と、第２エピポーラ線ＥＬ２との距離Ｄ２を求め、求めた距離Ｄ２を第２閾値と比較する。第２閾値は、撮影画素位置Ａ２に到達した投影光が測定対象物において１回のみ反射した直接光である場合に、撮影画素位置Ａ２と対応関係を有する投影画素位置Ａ１´と、撮影画素位置Ａ２に対応する第２エピポーラ線ＥＬ２との間に生じ得る距離を示す値である。
【0123】
不良画素検出部５０２は、投影画素位置Ａ１´と第２エピポーラ線ＥＬ２との距離が第２閾値より大きい場合に、投影画素位置Ａ１´の画素を不良画素として検出する。さらに、不良画素検出部５０２は、不良画素として検出した投影画素位置Ａ１´と対応関係を有すると解析部３０５が推定した撮影画素位置Ａ２の画素を不良画素として検出する。不良画素検出部５０２は、検出した不良画素の位置を解析部３０５及び形状特定部３０６に通知する。一方、不良画素検出部５０２は、投影画素位置Ａ１´と第２エピポーラ線ＥＬ２との距離が第２閾値以下である場合に、投影画素位置Ａ１´及び撮影画素位置Ａ２を不良画素として検出しない。この場合、不良画素検出部５０２は、投影画素位置Ａ１´と第２エピポーラ線ＥＬ２との距離Ｄ２を形状特定部３０６に通知する。
【0124】
［エピポールの配置］
撮影部２及び投影部１は、線特定部５０１が特定した撮影部２の複数の第１エピポーラ線が撮影画像において交わらないように配置されていることが望ましい。また、撮影部２及び投影部１は、線特定部５０１が特定した投影部１の複数の第２エピポーラ線が投影画像において交わらないように配置されていることが望ましい。図１７は、エピポールを説明するための図である。線特定部５０１が特定した撮影画像平面上の各第１エピポーラ線は、いずれもエピポールＥＰ１を通る。また、線特定部５０１が特定した投影画像平面上の各第２エピポーラ線は、いずれもエピポールＥＰ２を通る。
撮影部２及び投影部１は、線特定部５０１が特定した撮影部２の複数の第１エピポーラ線が撮影画像において交わらないように配置されていることが望ましい。また、撮影部２及び投影部１は、線特定部５０１が特定した投影部１の複数の第２エピポーラ線が投影画像において交わらないように配置されていることが望ましい。図１７は、エピポールを説明するための図である。線特定部５０１が特定した撮影画像平面上の各第１エピポーラ線は、いずれもエピポールＥＰ１を通る。また、線特定部５０１が特定した投影画像平面上の各第２エピポーラ線は、いずれもエピポールＥＰ２を通る。
【0125】
不良画素検出部５０２は、撮影画素位置と撮影画像の第１エピポーラ線との距離を第１閾値と比較することにより、不良画素を検出する。また、不良画素検出部５０２は、投影画素位置と投影画像の第２エピポーラ線との距離を第２閾値と比較することにより、不良画素を検出する。しかしながら、エピポールＥＰ１又はＥＰ２に近い位置に不良画素が存在する場合、この不良画素は、どのエピポーラ線にも近いことになる。したがって、不良画素検出部５０２は、エピポールＥＰ１又はＥＰ２に近い位置にある不良画素を検出できない可能性がある。そこで、不良画素であるにもかかわらずエピポーラ線に近いという状況が発生しづらくなるように、エピポールＥＰ１及びＥＰ２がそれぞれ撮影画像外及び投影画像外に位置するように撮影部２及び投影部１を配置することが望ましい。
【0126】
［重複する対応関係の検出］
不良画素検出部５０２は、投影画像の１つの投影画素位置が線特定部５０１において特定した撮影部２の第１エピポーラ線上の複数の撮影画素位置に対応すると解析部３０５が推定した場合に、当該同一の投影画素位置に対応する複数の撮影画素位置の少なくともいずれかの画素を不良画素として検出する。図１８は、不良画素検出部５０２によるエピポーラ線上の不良画素の検出について説明するための図である。
不良画素検出部５０２は、投影画像の１つの投影画素位置が線特定部５０１において特定した撮影部２の第１エピポーラ線上の複数の撮影画素位置に対応すると解析部３０５が推定した場合に、当該同一の投影画素位置に対応する複数の撮影画素位置の少なくともいずれかの画素を不良画素として検出する。図１８は、不良画素検出部５０２によるエピポーラ線上の不良画素の検出について説明するための図である。
【0127】
図１８に示すように、第１エピポーラ線上の複数の撮影画素位置Ａ２及びＡ３が、同一の投影画素位置Ａ１´と対応関係を有すると解析部３０５が推定した場合、同一の投影画素位置Ａ１´からの投影光が異なる測定点ＭＰ１及びＭＰ２において反射していることになるため、多重反射が生じている可能性が高い。そこで、不良画素検出部５０２は、撮影画像の第１エピポーラ線ＥＬ１上において複数の撮影画素位置Ａ２及びＡ３が同一の投影画素位置Ａ１´と対応関係を有すると解析部３０５が推定したか否かを判定する。不良画素検出部５０２は、第１エピポーラ線ＥＬ１上の複数の撮影画素位置Ａ２及びＡ３が同一の投影画素位置Ａ１´と対応関係を有すると解析部３０５が推定した場合に、撮影画素位置Ａ２及びＡ３の画素を不良画素として検出する。
【0128】
同様に、不良画素検出部５０２は、投影画像の第２エピポーラ線上における複数の投影画素位置が同一の撮影画素位置と対応関係を有すると解析部３０５が推定したか否かを判定してもよい。不良画素検出部５０２は、線特定部５０１において特定した投影部１の第２エピポーラ線上の複数の投影画素位置が同一の撮影画素位置と対応関係を有すると解析部３０５が推定した場合に、これらの投影画素位置の画素および対応する撮影画素位置の画素を不良画素として検出する。
【0129】
不良画素検出部５０２は、上述のように、投影画素位置と対応関係を有する撮影画素位置と、投影画素位置に対応する撮影画像の第１エピポーラ線との距離に基づいて、不良画素を検出する。このため、不良画素検出部５０２は、エピポーラ線上に不良画素が存在する場合には、不良画素を検出できない可能性がある。そこで、不良画素検出部５０２は、不良画素の検出もれを抑制するために、エピポーラ線上の複数の撮影画素位置が同一の投影画素位置と対応関係を有すると解析部３０５が推定したか否かを検出している。
【0130】
なお、同一のエピポーラ線上にない複数の撮影画素位置が同一の投影画素位置と対応関係を有すると解析部３０５が推定した場合にも、同様に多重反射が生じている可能性がある。このため、不良画素検出部５０２は、撮影画素位置が同じエピポーラ線上にある否かにかかわらず、投影画像の同一の投影画素位置が複数の撮影画素位置に対応すると解析部３０５が推定した場合に、同一の投影画素位置に対応する複数の撮影画素位置の少なくともいずれかの画素を不良画素として検出してもよい。不良画素検出部５０２は、同一の投影画素位置に対応する複数の撮影画素位置の画素を全て不良画素として検出してもよく、これらの撮影画素位置の画素いずれかを不良画素として検出してもよい。
【0131】
［横パターンによる不良画素の検出］
不良画素検出部３０４は、図２（ａ）に示した縦パターン及び図２（ｂ）に示した横パターンを用いて不良画素を検出することが好ましい。不良画素検出部３０４は、例えば、投影画像が投影された測定対象物の撮影画像において第１方向に延びる縞パターンを用いて測定した際に不良画素を検出できなかった場合に、投影画像が投影される測定対象物の撮影画像において第１方向と直交する第２方向に延びる縞パターンを用いて測定する。不良画素検出部３０４は、第２方向に延びる縞パターンの画素の位相や画素間の位相変化量が、多重反射を起こさない平面などの測定対象物に同じ投影画像を投影した場合に比べて、基準値を超えて異なっている場合に、位相や位相変化量が異なっている画素を不良画素として検出する。図１９は、第２方向に延びる縞パターン投影時の不良画素検出部３０４による不良画素の検出方法について説明するための図である。
不良画素検出部３０４は、図２（ａ）に示した縦パターン及び図２（ｂ）に示した横パターンを用いて不良画素を検出することが好ましい。不良画素検出部３０４は、例えば、投影画像が投影された測定対象物の撮影画像において第１方向に延びる縞パターンを用いて測定した際に不良画素を検出できなかった場合に、投影画像が投影される測定対象物の撮影画像において第１方向と直交する第２方向に延びる縞パターンを用いて測定する。不良画素検出部３０４は、第２方向に延びる縞パターンの画素の位相や画素間の位相変化量が、多重反射を起こさない平面などの測定対象物に同じ投影画像を投影した場合に比べて、基準値を超えて異なっている場合に、位相や位相変化量が異なっている画素を不良画素として検出する。図１９は、第２方向に延びる縞パターン投影時の不良画素検出部３０４による不良画素の検出方法について説明するための図である。
【0132】
図１９（ａ）は、多重反射を起こさない平面などの測定対象物に第２方向に延びる縞パターン（横パターン）を投影制御部３０１が投影した場合の撮影画像を示し、図１９（ｂ）は、載置台に他の測定対象物が載置された状態において図１９（ａ）と同じ縞パターンを投影制御部３０１が投影した場合の撮影画像を示す。図１９（ａ）及び（ｂ）に示す縞パターンは、正弦波状の輝度分布を有する。図１９（ｂ）では、多重反射光により、矢印で示す一部の領域の輝度分布の位相が図１９（ａ）の状態から変化している。
【0133】
投影制御部３０１が第２方向に延びる縞パターンを含む投影画像を投影する場合、測定対象物の存在によって縞パターンの位相が変化する方向と撮影部２の光軸方向とが一致しているため、第１方向に延びる縞パターンに比べて、測定対象物による位相の変化が起こりにくい。このため、投影制御部３０１が第２方向に延びる縞パターンを含む投影画像を投影する場合に、撮影画像において画素の位相が変化したとすれば、多重反射光に起因するものである可能性が高い。そこで、不良画素検出部３０４は、第２方向に延びる縞パターンを投影制御部３０１が投影した場合に、撮影画像の各画素のうち、位相が基準値を超えて変化した画素を不良画素として検出することで、精度を向上させることができる。基準値は、測定対象物の三次元形状や外光等の影響により起こり得る位相の変化量を示す値である。
【0134】
［撮影画素位置と投影画素位置との対応関係の修正］
不良画素検出部５０２は、解析部３０５が推定した対応関係を修正することを解析部３０５に指示してもよい。不良画素検出部５０２は、例えば、投影画素位置との対応関係を有すると解析部３０５が推定した撮影画素位置と、この投影画素位置に対応する第１エピポーラ線との距離が第１閾値以下であることを検出した場合に、当該撮影画素位置に最も近い第１エピポーラ線上の位置が投影画素位置と対応関係を有すると推定するように解析部３０５に指示する。図２０は、不良画素検出部５０２による対応関係の修正方法を説明するための図である。
不良画素検出部５０２は、解析部３０５が推定した対応関係を修正することを解析部３０５に指示してもよい。不良画素検出部５０２は、例えば、投影画素位置との対応関係を有すると解析部３０５が推定した撮影画素位置と、この投影画素位置に対応する第１エピポーラ線との距離が第１閾値以下であることを検出した場合に、当該撮影画素位置に最も近い第１エピポーラ線上の位置が投影画素位置と対応関係を有すると推定するように解析部３０５に指示する。図２０は、不良画素検出部５０２による対応関係の修正方法を説明するための図である。
【0135】
図２０の例では、投影画素位置Ａ１´と対応関係を有すると解析部３０５が推定した撮影画素位置Ａ４と、投影画素位置Ａ１´に対応する第１エピポーラ線ＥＬ１との距離Ｄ３は、第１閾値以下であるものとする。このとき、不良画素検出部５０２は、第１エピポーラ線上において撮影画素位置Ａ４に最も近い撮影画素位置Ｂが投影画素位置Ａ１´との対応関係を有すると推定するように解析部３０５に指示する。このとき、不良画素検出部５０２は、投影画素位置Ａ１´と撮影画素位置Ａ４とが対応関係を有すると推定した元の推定結果を解析部３０５に破棄させる。
【0136】
投影画素位置と撮影画素位置との対応関係の推定は、外光等の影響を受けるため、測定誤差を比較的生じやすい。これに対し、撮影画素位置と撮影部２の第１エピポーラ線との対応関係、及び投影画素位置と投影部１の第２エピポーラ線との対応関係は、予め測定しておくことができるため、測定結果の信頼性は比較的高い。そこで、不良画素検出部５０２は、投影画素位置Ａ１´と対応関係を有すると解析部３０５が推定した撮影画素位置Ａ４がエピポーラ線から距離Ｄ３だけずれている場合に、この撮影画素位置がエピポーラ線上になるように解析部３０５が推定した対応関係を修正することにより、外光等の影響に起因する測定誤差を抑制することができる。
【0137】
同様にして、不良画素検出部５０２は、例えば、撮影画素位置との対応関係を有すると解析部３０５が推定した投影画素位置と、この撮影画素位置に対応する第２エピポーラ線との距離が第２閾値以下であることを検出した場合に、第２エピポーラ線上においてこの投影画素位置に基づく位置と撮影画素位置とが対応関係を有すると推定するように解析部３０５に指示してもよい。例えば、不良画素検出部５０２は、第２エピポーラ線上において投影画素位置に最も近い位置が撮影画素位置との対応関係を有すると推定するように解析部３０５に指示してもよい。
【0138】
形状特定部３０６は、第１の実施形態と同様に、解析部３０５が求めた撮影画素位置と投影画素位置との対応関係に基づいて、測定対象物の三次元形状を求める。形状特定部３０６は、不良画素検出部５０２が検出した不良画素の位置を取得し、解析部３０５が求めた対応関係のうち、不良画素検出部３０４が検出した不良画素の対応関係を除く対応関係に基づいて、測定対象物の三次元形状を特定する。
【0139】
［三次元形状計測装置２００の処理手順］
図２１は、第２の実施形態における三次元形状計測装置２００の動作の一例を示す図である。この処理手順は、例えば、ユーザが、図示しない操作キーにより三次元形状計測装置２００による測定対象物の計測を指示したときに開始される。図２１のステップＳ１０１～Ｓ１０５の処理手順については、図１２のステップＳ１０１～Ｓ１０５の処理手順と同一であるため、説明を省略する。
図２１は、第２の実施形態における三次元形状計測装置２００の動作の一例を示す図である。この処理手順は、例えば、ユーザが、図示しない操作キーにより三次元形状計測装置２００による測定対象物の計測を指示したときに開始される。図２１のステップＳ１０１～Ｓ１０５の処理手順については、図１２のステップＳ１０１～Ｓ１０５の処理手順と同一であるため、説明を省略する。
【0140】
解析部３０５は、ステップＳ１０４において特定したコード値を用いて、撮影画像の画素の位置を示す撮影画素位置と投影画像の画素の位置を示す投影画素位置との対応関係を求める。さらに、解析部３０５は、ステップＳ１０５の階調縞パターンの階調情報の解析結果を用いて、撮影画素位置と、投影画素位置との対応関係を求める。解析部３０５は、階調情報の解析結果により求めた複数の対応関係のうち、コード値を用いて推定した対応関係に最も近い対応関係を選択することにより、撮影画素位置と投影画素位置との対応関係を推定する（Ｓ２０１）。線特定部５０１は、投影画素位置に対応する撮影部２の第１エピポーラ線を特定する（Ｓ２０２）。
【0141】
不良画素検出部５０２は、投影画素位置と対応関係を有すると解析部３０５が推定した撮影画素位置Ａ２と、この投影画素位置に対応する撮影画像の第１エピポーラ線との距離を求め、求めた距離を第１閾値と比較する。不良画素検出部５０２は、撮影画素位置と第１エピポーラ線との距離が第１閾値より大きい場合に、撮影画素位置Ａ２の画素を不良画素として検出する。不良画素検出部５０２は、解析部３０５が推定した各対応関係について、撮影画素位置及び第１エピポーラ線の間の距離を第１閾値とそれぞれ比較し、第１エピポーラ線との距離が第１閾値より大きい撮影画素位置の画素を不良画素として検出する（Ｓ２０３）。形状特定部３０６は、解析部３０５が推定した対応関係のうち、不良画素検出部３０４が検出した不良画素を除く画素の対応関係に基づいて、測定対象物の三次元形状を特定し、処理を終了する（Ｓ２０４）。
【0142】
本実施の形態によれば、不良画素検出部３０４は、撮影画素位置と第１エピポーラ線との位置関係、又は投影画素位置と第２エピポーラ線との位置関係に基づいて、不良画素を検出する。エピポーラ線の位置は、撮影部２及び投影部１の配置により決まるため、エピポーラ線の位置を予め測定しておくことが可能である。したがって、３次元形状計測装置は、エピポーラ線を用いて不良画素を検出することにより、不良画素の検出処理を簡略化することができる。
【0143】
なお、本実施の形態では、投影制御部３０１が、第１方向に延びる縞パターンを含む投影画像と、第２方向に延びる縞パターンを含む投影画像とを測定対象物に投影し、第１方向と第２方向とが直交する場合の例について説明した。しかしながら、本発明は、これに限定されない。例えば、第１方向と第２方向とが略直交していてもよい。第１方向については、図２（ｂ）の角度に対応する方向でなければ任意の方向で良い。第２方向については第１方向と異なる任意の方向であれば良い。
【0144】
［第３の実施形態］
第１及び第２の実施形態では、投影制御部３０１が、縦方向および横方向の投影パターンとして、空間コード化法及び位相シフト法用の投影パターンをそれぞれ投影するものであった。すなわち、投影制御部３０１が、正弦波状の輝度分布を示す縞パターンとして、第１方向に延びる縞パターンを有する投影画像と、第２方向に延びる縞パターンを有する投影画像とを測定対象物にそれぞれ投影した。また、投影制御部３０１が、２値縞パターンとして、第１方向に延びる縞パターンを有する投影画像と、第２方向に延びる縞パターンを有する投影画像とを測定対象物にそれぞれ投影した。
第１及び第２の実施形態では、投影制御部３０１が、縦方向および横方向の投影パターンとして、空間コード化法及び位相シフト法用の投影パターンをそれぞれ投影するものであった。すなわち、投影制御部３０１が、正弦波状の輝度分布を示す縞パターンとして、第１方向に延びる縞パターンを有する投影画像と、第２方向に延びる縞パターンを有する投影画像とを測定対象物にそれぞれ投影した。また、投影制御部３０１が、２値縞パターンとして、第１方向に延びる縞パターンを有する投影画像と、第２方向に延びる縞パターンを有する投影画像とを測定対象物にそれぞれ投影した。
【0145】
しかしながら、本発明はこれに限定されない。例えば、投影制御部３０１が、横方向の投影パターンについては、位相シフト法用の投影パターンのみを投影するようにしてもよい。この場合、投影制御部３０１は、第２方向に延びる縞パターンとして、正弦波状の輝度分布を示す縞パターンを有する投影画像を測定対象物に投影するが、２値縞パターンを有する投影画像を測定対象物に投影しない。
【0146】
投影制御部３０１が横方向の投影パターンを投影することで、解析部３０５は、位相値ＩＲＰ，２（ｉ，ｊ）を取得する。このとき、横方向の投影パターンの絶対位相値は、ある未知な整数ｍと位相値を用いて、
と書け、複数の候補を挙げることができる。撮影画素位置と対応関係を有する投影画素位置については、以下の式に示すように、複数の候補が存在する。ｉｐ及びｊｐ（ｍ）は、それぞれ第２方向に左端からｉｐ番目、第１方向に上端からｊｐ（ｍ）番目の画素であることを示す。
【数6】
と書け、複数の候補を挙げることができる。撮影画素位置と対応関係を有する投影画素位置については、以下の式に示すように、複数の候補が存在する。ｉｐ及びｊｐ（ｍ）は、それぞれ第２方向に左端からｉｐ番目、第１方向に上端からｊｐ（ｍ）番目の画素であることを示す。
【数7】
【0147】
解析部３０５は、縞パターンにおいて撮影画素位置と同じ位相の輝度を示す画素の投影画素位置のうち、撮影画素位置に対応する投影部１の第２エピポーラ線に最も近い投影画素位置が撮影画素位置と対応関係を有すると推定する。図２２は、第３の実施形態の解析部３０５による撮影画素位置と投影画素位置との対応関係の推定方法を説明するための図である。図２２の複数の黒丸は、縞パターンにおいて撮影画素位置の画素と同じ位相を示す複数の投影画素をそれぞれ示す。
【0148】
解析部３０５は、撮影画像の階調縞パターンの階調情報を解析することにより、撮影画像位置の画素と同じ位相を示す投影画素を特定する。図２２の各黒丸に示すように、撮影画素位置の画素と同じ位相の輝度を示す投影画素は、複数存在する。このため、解析部３０５は、これらの画素の投影画素位置を撮影画素位置と対応関係を有する投影画素位置の候補として取得する。解析部３０５は、これらの候補のうち、撮影画素位置に対応する第２エピポーラ線に最も近い候補を撮影画素位置と対応関係を有すると推定する。
【0149】
解析部３０５は、式（ｂ）においてｍの値として対応する投影部１の第２エピポーラ線に最も近くなるものｍｃを選ぶことで、以下の式に示すように、撮影画素位置と対応関係を有する投影画素位置（ｉｐ，ｊｐ（ｍｃ））を推定する。
【数8】
【0150】
このような構成により、解析部３０５は、エピポーラ線を利用して撮影画素位置と対応関係を有する投影画素位置を推定するので、投影制御部３０１が測定対象物に投影する投影画像の数を減少させることができる。このため、解析部３０５は、測定時間を短縮させることができる。
【0151】
第２方向に延びる縞パターンは、測定対象物の有無による位相の変化が比較的生じにくい。このことから、例えば、第２方向に延びる縞パターンを含む投影画像を平面板に投影した状態の撮影画像の第２方向に延びる縞の位置を事前に測定しておくことで、第２方向に延びる縞パターンを測定対象物に投影した場合の撮影画像の第２方向に延びる縞の位置を予めおおよそ特定しておくことができる。予め特定された第２方向に延びる縞の位置を示す情報を利用することにより、上述の式（ａ）及び（ｂ）の整数ｍの値（や近似値）を測定対象物の測定の前に求めるようにしてもよい。このようにしておくと、実際の測定対象物の測定時の処理を簡便にすることができる。
【0152】
なお、本実施形態では、解析部３０５が、縞パターンにおいて撮影画素位置と同じ位相の輝度を示す複数の画素の投影画素位置のうち、撮影画素位置に対応する投影部１の第２エピポーラ線に最も近い投影画素位置の画素を撮影画素位置の画素と対応関係を有する画素として推定する場合の例について説明した。しかしながら、本発明は、これに限定されない。例えば、解析部３０５は、縞パターンにおいて撮影画素位置と同じ位相値を示す複数の画素の投影画素位置について、それぞれ撮像画像上において複数の第１エピポーラ線を求め、撮影画素位置に最も近い第１エピポーラ線に対応する投影画素位置を、撮影画素位置と対応関係を有すると推定してもよい。
【0153】
また、投影制御部３０１が、第２方向に延びる縞パターンの周期が異なる投影画像を測定対象物にそれぞれ投影し、解析部３０５は、撮影画素位置と投影画素位置との対応関係を投影画像ごとに推定してもよい。このとき、不良画素検出部５０２は、解析部３０５が撮影画素位置と投影画素位置との対応関係を投影画像ごとに推定した場合に、解析部３０５が推定した対応関係が変化した撮影画素位置及び投影画素位置の画素を不良画素として検出する。
【0154】
また、三次元形状計測装置は、複数の撮影部又は複数の投影部を備える構成であってもよい。三次元形状計測装置が複数の撮影部又は複数の投影部を備える場合にも、一対の撮影部及び投影部を指定すれば、特定の撮影画素位置に対応する投影画素のエピポーラ線が一意に定まる。このため、不良画素検出部５０２は、三次元形状計測装置が一の撮影部及び一の投影部を備える構成と同様に、撮影画素位置と第１エピポーラ線との位置関係、又は投影画素位置と第２エピポーラ線との位置関係に基づいて、不良画素を検出することができる。
【0155】
また、一の投影部と複数の撮影部とを利用する場合、一対の撮影部間で対応する画素同士を求めることにより、三次元形状を求めることも可能である。このような際にも、第１から第３の実施形態の不良画素検出部が特定した不良画素を除くようにして測定対象物の三次元形状を求めるようにしてもよい。
【0156】
また、第２の実施形態では、不良画素検出部５０２が、投影部の投影画像平面上において投影画素位置と第２エピポーラ線との距離に基づいて、不良画素を検出する例について説明した。また、不良画素検出部５０２が、撮影部の撮影画像平面上において撮影画素位置と第１エピポーラ線との距離に基づいて、不良画素を検出する場合の例について説明した。しかしながら、本発明は、不良画素を検出する構成に限定されない。例えば、三次元形状計測装置は、撮影画素位置と第１エピポーラ線との距離の統計量、又は投影画素位置と第２エピポーラ線との距離の統計量に基づいて、各種判定を行う判定部を備えてもよい。
【0157】
判定部は、撮影画素位置と第１エピポーラ線との距離の統計量が許容値を超える場合に、投影部１及び撮影部２のアラインメント状態が適正でないと判定する。例えば、判定部は、投影画素位置との対応関係を有すると解析部３０５が推定した撮影画素位置と、この投影画素位置に対応する第１エピポーラ線との距離を、無作為に選択した複数の投影画素位置についてそれぞれ求め、求めた距離の平均値を算出する。判定部は、算出した平均値が許容値を超える場合に、投影部１や撮像部２の光軸の向き等のアラインメント状態が適正ではないと自己診断してもよい。この場合に、判定部は、記憶部４が記憶している、各撮影画素位置及び投影画素位置に対応するエピポーラ線の位置等の校正を行う必要があることを示すメッセージを表示部（不図示）に表示してもよい。許容値は、要求される測定精度を考慮して、当技術分野の専門家が適宜指定する。
【0158】
同様に、判定部は、投影画素位置と第２エピポーラ線との距離の統計量が許容値を超える場合に、投影部１及び撮影部２のアラインメント状態が適正でないと判定する。判定部は、撮影画素位置との対応関係を有すると解析部３０５が推定した投影画素位置と、この撮影画素位置に対応する第２エピポーラ線との距離を、無作為に選択した複数の撮影画素位置についてそれぞれ求め、求めた距離の平均値を算出する。判定部は、算出した平均値が許容値を超える場合に、投影部１や撮像部２の光軸の向き等のアラインメント状態が適正ではないと自己診断してもよい。この場合に、判定部は、記憶部４が記憶している、各撮影画素位置及び投影画素位置に対応するエピポーラ線の位置等の校正を行う必要があることを示すメッセージを表示部（不図示）に表示してもよい。
【0159】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【符号の説明】
【0160】
１ 投影部
２ 撮影部
３ 制御部
４ 記憶部
２１ レンズ
２２ 撮像素子
１００，２００ 三次元形状計測装置
３０１ 投影制御部
３０２ 取得部
３０３ 特徴量特定部
３０４，５０２ 不良画素検出部
３０５ 解析部
３０６ 形状特定部
５０１ 線特定部
２ 撮影部
３ 制御部
４ 記憶部
２１ レンズ
２２ 撮像素子
１００，２００ 三次元形状計測装置
３０１ 投影制御部
３０２ 取得部
３０３ 特徴量特定部
３０４，５０２ 不良画素検出部
３０５ 解析部
３０６ 形状特定部
５０１ 線特定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】