ホーム > 特許ランキング > 国立大学法人東北大学
▶ 国立大学法人東北大学の特許一覧 ▶ コニカミノルタ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-07
(45)【発行日】2023-12-15
(54)【発明の名称】３次元形状計測方法及び３次元形状計測装置
(51)【国際特許分類】
G01B 11/25 20060101AFI20231208BHJP
【ＦＩ】
G01B11/25 H
【請求項の数】
12
(21)【出願番号】P 2021197429
(22)【出願日】2021-12-06
(65)【公開番号】P2023083632
(43)【公開日】2023-06-16
【審査請求日】2022-11-07
(73)【特許権者】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】伊東 秀謹
(72)【発明者】
【氏名】鏡 慎吾
(72)【発明者】
【氏名】橋本 浩一
(72)【発明者】
【氏名】鈴木 大地
(72)【発明者】
【氏名】十都 善行
(72)【発明者】
【氏名】稲垣 義弘
【審査官】飯村 悠斗
(56)【参考文献】
【文献】特開２０２０－４６２２９（ＪＰ，Ａ）
【文献】特開２０１８－１０９５３１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０１Ｃ ３／０６
(57)【特許請求の範囲】
【請求項1】
投影画像を投影可能な投影部により、互いに異なる行方向縞パターンを含む複数の第１投影画像、及び互いに異なる列方向縞パターンを含む複数の第２投影画像を計測対象物に投影し、前記計測対象物の撮影画像を取得可能な撮影部により、前記複数の第１投影画像の各投影時における複数の第１撮影画像、及び前記複数の第２投影画像の各投影時における複数の第２撮影画像を取得する第１ステップと、前記撮影画像の複数の撮影画素の各々に対応する、前記投影画像の投影画素を特定する第２ステップと、
前記第２ステップの結果に基づいて前記計測対象物の３次元形状を特定する第３ステップと、
を有し、
前記第２ステップでは、前記複数の撮影画素の各々について、
前記複数の第１撮影画像と、前記複数の第１投影画像の行方向縞パターンとに基づいて、前記投影画像の複数の画素行のうち当該撮影画素に対応する対応画素行を特定し、
前記複数の第２撮影画像と、前記複数の第２投影画像の列方向縞パターンとに基づいて、前記投影画像の複数の画素列のうち当該撮影画素に対応する対応画素列を特定し、
前記対応画素行及び前記対応画素列の交点に相当する投影画素のうちエピポーラ拘束を満たす投影画素から、当該撮影画素に対応する投影画素を特定する、
３次元形状計測方法。
【請求項2】
前記エピポーラ拘束を満たす投影画素は、前記投影画像におけるエピポーラ線と重なる投影画素である、請求項１に記載の３次元形状計測方法。
【請求項3】
前記エピポーラ拘束を満たす投影画素は、前記投影画像におけるエピポーラ線からの距離が所定距離以内である投影画素である、請求項１に記載の３次元形状計測方法。
【請求項4】
前記第２ステップでは、前記エピポーラ線に近い投影画素ほど重み付けが大きくなるように評価値を定め、当該評価値に基づいて、前記撮影画素に対応する投影画素を特定する、請求項３に記載の３次元形状計測方法。
【請求項5】
前記評価値が最も大きい投影画素を、前記撮影画素に対応する投影画素として特定する、請求項４に記載の３次元形状計測方法。
【請求項6】
前記評価値が所定の基準値以上である投影画素を、前記撮影画素に対応する投影画素として特定する、請求項４に記載の３次元形状計測方法。
【請求項7】
任意の前記撮影画素に対応する前記エピポーラ線が、前記投影画像の画素行及び画素列のいずれとも非平行となるように前記投影部及び前記撮影部の位置関係が定められている、請求項２～６のいずれか一項に記載の３次元形状計測方法。
【請求項8】
前記第２ステップでは、前記複数の第１撮影画像、及び前記複数の第１投影画像に含まれる複数の前記行方向縞パターンに基づいて、前記複数の撮影画素の各々に対応する前記対応画素行を表すＬＴＭを、スパース最適化により特定し、
前記複数の第２撮影画像、及び前記複数の第２投影画像に含まれる複数の前記列方向縞パターンに基づいて、前記複数の撮影画素の各々に対応する前記対応画素列を表すＬＴＭを、スパース最適化により特定する、
請求項１～７のいずれか一項に記載の３次元形状計測方法。
【請求項9】
前記第１ステップでは、投影時に、前記行方向縞パターンにおける各前記画素行に対応する部分が、前記画素行ごとに異なる第１周波数で変化するような前記複数の第１投影画像、及び、投影時に、前記列方向縞パターンにおける各前記画素列に対応する部分が、前記画素列ごとに異なる第２周波数で変化するような前記複数の第２投影画像を投影し、前記第２ステップでは、各撮影画素について、
前記複数の第１撮影画像に基づいて、前記第１周波数に基づく対応付けにより前記対応画素行を特定し、
前記複数の第２撮影画像に基づいて、前記第２周波数に基づく対応付けにより前記対応画素列を特定する、
請求項１～７のいずれか一項に記載の３次元形状計測方法。
【請求項10】
前記投影画像は、画素行の数及び画素列の数が等しい、請求項１～９のいずれか一項に記載の３次元形状計測方法。
【請求項11】
前記複数の第２投影画像の各々における前記列方向縞パターンは、パターンの向きを除いて、前記複数の第１投影画像の各々における前記行方向縞パターンと同一である、請求項１０に記載の３次元形状計測方法。
【請求項12】
処理部を備えた３次元形状計測装置であって、前記処理部は、
投影画像を投影可能な投影部により、互いに異なる行方向縞パターンを含む複数の第１投影画像、及び互いに異なる列方向縞パターンを含む複数の第２投影画像を計測対象物に投影させ、前記計測対象物の撮影画像を取得可能な撮影部により、前記複数の第１投影画像の各投影時における複数の第１撮影画像、及び前記複数の第２投影画像の各投影時における複数の第２撮影画像を取得させる第１処理と、
前記撮影画像の複数の撮影画素の各々に対応する、前記投影画像の投影画素を特定する第２処理と、
前記第２処理の結果に基づいて前記計測対象物の３次元形状を特定する第３処理と、
を実行し、
前記第２処理では、前記複数の撮影画素の各々について、
前記複数の第１撮影画像と、前記複数の第１投影画像の行方向縞パターンとに基づいて、前記投影画像の複数の画素行のうち当該撮影画素に対応する対応画素行を特定し、
前記複数の第２撮影画像と、前記複数の第２投影画像の列方向縞パターンとに基づいて、前記投影画像の複数の画素列のうち当該撮影画素に対応する対応画素列を特定し、
前記対応画素行及び前記対応画素列の交点に相当する投影画素のうちエピポーラ拘束を満たす投影画素から、当該撮影画素に対応する投影画素を特定する、
３次元形状計測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元形状計測方法及び３次元形状計測装置に関する。
【背景技術】
【0002】
従来、計測対象物の３次元形状を計測する方法として、アクティブステレオ法が知られている。アクティブステレオ法では、プロジェクター等の投影部によりパターン画像（投影画像）が投影された計測対象物を撮影部により撮影し、得られた撮影画像に基づいて、投影画像の投影画素と、撮影画像の撮影画素との対応関係を特定し、三角測量法の原理により各対応点の奥行きを求める。
【0003】
アクティブステレオ法では、計測対象物の表面における直接反射以外の成分（光透過性部材における内部反射や、光沢のある表面における複数回反射等）が無視できない場合には、不適切な対応点が抽出されて計測誤差が生じる。この問題への対処方法の１つに、投影画素と撮影画素との対応関係を複数得ておき、そのうち直接反射によるものを抽出するアプローチがある。非特許文献１には、このようなアプローチによる３次元計測方法として、ＬＴＭ（Light Transport Matrix）法が開示されている。
【0004】
ＬＴＭ法は、画素ごとにランダムな画素値を取る複数の投影画像（以下、当該投影画像のパターンを「ランダムパターン」と記す）を投影したときの複数の撮影画像に基づいて、撮影画素と投影画素との全ての対応関係を表すＬＴＭをスパース推定により求め、得られた対応点のうちエピポーラ拘束を満たすものを残す方法である。スパース推定は、ＬＴＭがスパース性（要素にゼロを多く含むという性質）を有していることを利用して、少ない観測数からＬＴＭの非ゼロ要素を推定する（すなわち、劣決定系の連立方程式を解く）方法である。スパース推定によるＬＴＭの算出には、ＬＡＳＳＯ型の最小値化問題を数値的に解く公知のアルゴリズムが適用できる。このため、ＬＴＭ法によれば、多数の投影画素と撮影画素との対応関係を数値演算により特定することができる。
【0005】
ただし、ランダムパターンを用いたスパース推定によるＬＴＭの算出には、計算量が非常に多く演算時間が長いという問題がある。これに対し、非特許文献１には、投影画像の解像度を段階的に変更することで、省略可能な計算を削ってＬＴＭの非ゼロ要素を効率的に特定する「多段解像度ＬＴＭ推定」と呼ばれる手法がさらに提案されている。
【先行技術文献】
【非特許文献】
【0006】
【文献】Naoya Chiba and Koichi Hashimoto. Ultra-fast multi-scale shape estimation of light transport matrix for complex light reflection objects. IEEE International Conference on Robotics and Automation (ICRA2018), pp. 6147-6152, 2018.
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、多段解像度ＬＴＭ推定では、解像度を段階的に切り替えていく際に、前段の解像度に係る計算結果を用いて後段の解像度に係る計算を行う必要がある。よって、後段の計算量を低減することはできるものの、各段階の計算を並列して行うことができないため、依然として演算時間が長いという課題がある。
【0008】
この発明の目的は、演算時間を短縮することができる３次元形状計測方法及び３次元形状計測装置を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、請求項１に記載の３次元形状計測方法の発明は、
投影画像を投影可能な投影部により、互いに異なる行方向縞パターンを含む複数の第１投影画像、及び互いに異なる列方向縞パターンを含む複数の第２投影画像を計測対象物に投影し、前記計測対象物の撮影画像を取得可能な撮影部により、前記複数の第１投影画像の各投影時における複数の第１撮影画像、及び前記複数の第２投影画像の各投影時における複数の第２撮影画像を取得する第１ステップと、
前記撮影画像の複数の撮影画素の各々に対応する、前記投影画像の投影画素を特定する第２ステップと、
前記第２ステップの結果に基づいて前記計測対象物の３次元形状を特定する第３ステップと、
を有し、
前記第２ステップでは、前記複数の撮影画素の各々について、
前記複数の第１撮影画像と、前記複数の第１投影画像の行方向縞パターンとに基づいて、前記投影画像の複数の画素行のうち当該撮影画素に対応する対応画素行を特定し、
前記複数の第２撮影画像と、前記複数の第２投影画像の列方向縞パターンとに基づいて、前記投影画像の複数の画素列のうち当該撮影画素に対応する対応画素列を特定し、
前記対応画素行及び前記対応画素列の交点に相当する投影画素のうちエピポーラ拘束を満たす投影画素から、当該撮影画素に対応する投影画素を特定する。
投影画像を投影可能な投影部により、互いに異なる行方向縞パターンを含む複数の第１投影画像、及び互いに異なる列方向縞パターンを含む複数の第２投影画像を計測対象物に投影し、前記計測対象物の撮影画像を取得可能な撮影部により、前記複数の第１投影画像の各投影時における複数の第１撮影画像、及び前記複数の第２投影画像の各投影時における複数の第２撮影画像を取得する第１ステップと、
前記撮影画像の複数の撮影画素の各々に対応する、前記投影画像の投影画素を特定する第２ステップと、
前記第２ステップの結果に基づいて前記計測対象物の３次元形状を特定する第３ステップと、
を有し、
前記第２ステップでは、前記複数の撮影画素の各々について、
前記複数の第１撮影画像と、前記複数の第１投影画像の行方向縞パターンとに基づいて、前記投影画像の複数の画素行のうち当該撮影画素に対応する対応画素行を特定し、
前記複数の第２撮影画像と、前記複数の第２投影画像の列方向縞パターンとに基づいて、前記投影画像の複数の画素列のうち当該撮影画素に対応する対応画素列を特定し、
前記対応画素行及び前記対応画素列の交点に相当する投影画素のうちエピポーラ拘束を満たす投影画素から、当該撮影画素に対応する投影画素を特定する。
【0010】
請求項２に記載の発明は、請求項１に記載の３次元形状計測方法において、
前記エピポーラ拘束を満たす投影画素は、前記投影画像におけるエピポーラ線と重なる投影画素である。
前記エピポーラ拘束を満たす投影画素は、前記投影画像におけるエピポーラ線と重なる投影画素である。
【0011】
請求項３に記載の発明は、請求項１に記載の３次元形状計測方法において、
前記エピポーラ拘束を満たす投影画素は、前記投影画像におけるエピポーラ線からの距離が所定距離以内である投影画素である。
前記エピポーラ拘束を満たす投影画素は、前記投影画像におけるエピポーラ線からの距離が所定距離以内である投影画素である。
【0012】
請求項４に記載の発明は、請求項３に記載の３次元形状計測方法において、
前記第２ステップでは、前記エピポーラ線に近い投影画素ほど重み付けが大きくなるように評価値を定め、当該評価値に基づいて、前記撮影画素に対応する投影画素を特定する。
前記第２ステップでは、前記エピポーラ線に近い投影画素ほど重み付けが大きくなるように評価値を定め、当該評価値に基づいて、前記撮影画素に対応する投影画素を特定する。
【0013】
請求項５に記載の発明は、請求項４に記載の３次元形状計測方法において、
前記評価値が最も大きい投影画素を、前記撮影画素に対応する投影画素として特定する。
前記評価値が最も大きい投影画素を、前記撮影画素に対応する投影画素として特定する。
【0014】
請求項６に記載の発明は、請求項４に記載の３次元形状計測方法において、
前記評価値が所定の基準値以上である投影画素を、前記撮影画素に対応する投影画素として特定する。
前記評価値が所定の基準値以上である投影画素を、前記撮影画素に対応する投影画素として特定する。
【0015】
請求項７に記載の発明は、請求項２～６のいずれか一項に記載の３次元形状計測方法において、
任意の前記撮影画素に対応する前記エピポーラ線が、前記投影画像の画素行及び画素列のいずれとも非平行となるように前記投影部及び前記撮影部の位置関係が定められている。
任意の前記撮影画素に対応する前記エピポーラ線が、前記投影画像の画素行及び画素列のいずれとも非平行となるように前記投影部及び前記撮影部の位置関係が定められている。
【0016】
請求項８に記載の発明は、請求項１～７のいずれか一項に記載の３次元形状計測方法において、
前記第２ステップでは、
前記複数の第１撮影画像、及び前記複数の第１投影画像に含まれる複数の前記行方向縞パターンに基づいて、前記複数の撮影画素の各々に対応する前記対応画素行を表すＬＴＭを、スパース最適化により特定し、
前記複数の第２撮影画像、及び前記複数の第２投影画像に含まれる複数の前記列方向縞パターンに基づいて、前記複数の撮影画素の各々に対応する前記対応画素列を表すＬＴＭを、スパース最適化により特定する。
前記第２ステップでは、
前記複数の第１撮影画像、及び前記複数の第１投影画像に含まれる複数の前記行方向縞パターンに基づいて、前記複数の撮影画素の各々に対応する前記対応画素行を表すＬＴＭを、スパース最適化により特定し、
前記複数の第２撮影画像、及び前記複数の第２投影画像に含まれる複数の前記列方向縞パターンに基づいて、前記複数の撮影画素の各々に対応する前記対応画素列を表すＬＴＭを、スパース最適化により特定する。
【0017】
請求項９に記載の発明は、請求項１～７のいずれか一項に記載の３次元形状計測方法において、
前記第１ステップでは、投影時に、前記行方向縞パターンにおける各前記画素行に対応する部分が、前記画素行ごとに異なる第１周波数で変化するような前記複数の第１投影画像、及び、投影時に、前記列方向縞パターンにおける各前記画素列に対応する部分が、前記画素列ごとに異なる第２周波数で変化するような前記複数の第２投影画像を投影し、
前記第２ステップでは、各撮影画素について、
前記複数の第１撮影画像に基づいて、前記第１周波数に基づく対応付けにより前記対応画素行を特定し、
前記複数の第２撮影画像に基づいて、前記第２周波数に基づく対応付けにより前記対応画素列を特定する。
前記第１ステップでは、投影時に、前記行方向縞パターンにおける各前記画素行に対応する部分が、前記画素行ごとに異なる第１周波数で変化するような前記複数の第１投影画像、及び、投影時に、前記列方向縞パターンにおける各前記画素列に対応する部分が、前記画素列ごとに異なる第２周波数で変化するような前記複数の第２投影画像を投影し、
前記第２ステップでは、各撮影画素について、
前記複数の第１撮影画像に基づいて、前記第１周波数に基づく対応付けにより前記対応画素行を特定し、
前記複数の第２撮影画像に基づいて、前記第２周波数に基づく対応付けにより前記対応画素列を特定する。
【0018】
請求項１０に記載の発明は、請求項１～９のいずれか一項に記載の３次元形状計測方法において、
前記投影画像は、画素行の数及び画素列の数が等しい。
前記投影画像は、画素行の数及び画素列の数が等しい。
【0019】
請求項１１に記載の発明は、請求項１０に記載の３次元形状計測方法において、
前記複数の第２投影画像の各々における前記列方向縞パターンは、パターンの向きを除いて、前記複数の第１投影画像の各々における前記行方向縞パターンと同一である。
前記複数の第２投影画像の各々における前記列方向縞パターンは、パターンの向きを除いて、前記複数の第１投影画像の各々における前記行方向縞パターンと同一である。
【0020】
また、上記目的を達成するため、請求項１２に記載の３次元形状計測装置の発明は、
処理部を備えた３次元形状計測装置であって、
前記処理部は、
投影画像を投影可能な投影部により、互いに異なる行方向縞パターンを含む複数の第１投影画像、及び互いに異なる列方向縞パターンを含む複数の第２投影画像を計測対象物に投影させ、前記計測対象物の撮影画像を取得可能な撮影部により、前記複数の第１投影画像の各投影時における複数の第１撮影画像、及び前記複数の第２投影画像の各投影時における複数の第２撮影画像を取得させる第１処理と、
前記撮影画像の複数の撮影画素の各々に対応する、前記投影画像の投影画素を特定する第２処理と、
前記第２処理の結果に基づいて前記計測対象物の３次元形状を特定する第３処理と、
を実行し、
前記第２処理では、前記複数の撮影画素の各々について、
前記複数の第１撮影画像と、前記複数の第１投影画像の行方向縞パターンとに基づいて、前記投影画像の複数の画素行のうち当該撮影画素に対応する対応画素行を特定し、
前記複数の第２撮影画像と、前記複数の第２投影画像の列方向縞パターンとに基づいて、前記投影画像の複数の画素列のうち当該撮影画素に対応する対応画素列を特定し、
前記対応画素行及び前記対応画素列の交点に相当する投影画素のうちエピポーラ拘束を満たす投影画素から、当該撮影画素に対応する投影画素を特定する。
処理部を備えた３次元形状計測装置であって、
前記処理部は、
投影画像を投影可能な投影部により、互いに異なる行方向縞パターンを含む複数の第１投影画像、及び互いに異なる列方向縞パターンを含む複数の第２投影画像を計測対象物に投影させ、前記計測対象物の撮影画像を取得可能な撮影部により、前記複数の第１投影画像の各投影時における複数の第１撮影画像、及び前記複数の第２投影画像の各投影時における複数の第２撮影画像を取得させる第１処理と、
前記撮影画像の複数の撮影画素の各々に対応する、前記投影画像の投影画素を特定する第２処理と、
前記第２処理の結果に基づいて前記計測対象物の３次元形状を特定する第３処理と、
を実行し、
前記第２処理では、前記複数の撮影画素の各々について、
前記複数の第１撮影画像と、前記複数の第１投影画像の行方向縞パターンとに基づいて、前記投影画像の複数の画素行のうち当該撮影画素に対応する対応画素行を特定し、
前記複数の第２撮影画像と、前記複数の第２投影画像の列方向縞パターンとに基づいて、前記投影画像の複数の画素列のうち当該撮影画素に対応する対応画素列を特定し、
前記対応画素行及び前記対応画素列の交点に相当する投影画素のうちエピポーラ拘束を満たす投影画素から、当該撮影画素に対応する投影画素を特定する。
【発明の効果】
【0021】
本発明によれば、演算時間を短縮することができる。
【図面の簡単な説明】
【0022】
【図1】３次元形状計測システムの概略構成を示す図である。
【図2】投影部により投影される投影画像を示す図である。
【図3】撮影部により取得される撮影画像の構成を示す図である。
【図4】３次元形状計測装置の主要な機能構成を示すブロック図である。
【図5】３次元計測の原理を説明する図である。
【図6】第１投影画像及び第１撮影画像を示す図である。
【図7】第２投影画像及び第２撮影画像を示す図である。
【図8】対応画素行、対応画素列及び候補投影画素の例を示す図である。
【図9】エピポーラ拘束を満たす対応投影画素の第１の抽出方法を説明する図である。
【図10】エピポーラ拘束を満たす対応投影画素の第２の抽出方法を説明する図である。
【図11】評価値を定める際の重み付けの例を示す図である。
【図12】３次元形状計測処理の制御手順を示すフローチャートである。
【図13】撮影処理の制御手順を示すフローチャートである。
【図14】対応投影画素特定処理の制御手順を示すフローチャートである。
【図15】本実施形態及び比較例におけるＣＰＵによるＬＴＭの算出時間の計測結果を示す図である。
【図16】変形例に係る第１投影画像及び第２投影画像を示す図である。
【発明を実施するための形態】
【0023】
以下、本発明の３次元形状計測方法及び３次元形状計測装置に係る実施の形態を図面に基づいて説明する。
【0024】
＜３次元形状計測システム１の構成＞
図１は、本発明の実施形態に係る３次元形状計測システム１の概略構成を示す図である。
３次元形状計測システム１は、３次元形状計測装置１０、投影部２０、及び撮影部３０を備える。投影部２０及び撮影部３０は、計測時には、予め定められた幾何的関係を満たす向き及び位置に固定される。また、投影部２０及び撮影部３０は、それぞれ３次元形状計測装置１０との間でデータ通信可能に接続されている。３次元形状計測装置１０と投影部２０との間のデータ通信、及び３次元形状計測装置１０と投影部２０との間のデータ通信は、有線及び無線のいずれによるものであってもよい。
図１は、本発明の実施形態に係る３次元形状計測システム１の概略構成を示す図である。
３次元形状計測システム１は、３次元形状計測装置１０、投影部２０、及び撮影部３０を備える。投影部２０及び撮影部３０は、計測時には、予め定められた幾何的関係を満たす向き及び位置に固定される。また、投影部２０及び撮影部３０は、それぞれ３次元形状計測装置１０との間でデータ通信可能に接続されている。３次元形状計測装置１０と投影部２０との間のデータ通信、及び３次元形状計測装置１０と投影部２０との間のデータ通信は、有線及び無線のいずれによるものであってもよい。
【0025】
投影部２０は、光源から出力された光を投影素子により変調することで、所定パターンの投影画像Ｉｐ（図２参照）を計測対象物２に投影するプロジェクターである。投影部２０の投影素子としては、例えば、デジタルマイクロミラー素子（ＤＭＤ）を用いることができる。この場合の投影素子は、行列をなすように配列された複数の画素の各々に微小ミラーを有する。投影部２０は、投影素子の各画素の微小ミラーの傾斜角度を、画像データの値に応じて個々に高速で切り替えることにより、各画素から投影面への光反射の有無を定め、その反射光の分布により投影画像を形成（投影）する。
なお、投影素子の方式はＤＭＤに限られず、例えば画素ごとに光の透過（又は反射）の有無を切り替え可能な液晶素子などが用いられてもよい。
なお、投影素子の方式はＤＭＤに限られず、例えば画素ごとに光の透過（又は反射）の有無を切り替え可能な液晶素子などが用いられてもよい。
【0026】
図２は、投影部２０により投影される投影画像Ｉｐを示す図である。
投影画像Ｉｐは、Ｎ行の投影画素行ｐｒ（複数の画素行）、及びＮ列の投影画素列ｐｃ（複数の画素列）をなすように配列された複数の投影画素ｐを有する。よって、複数の投影画素ｐは、Ｎ×Ｎの正方行列をなしている。本実施形態では、Ｎ＝２５６である。図２では、ｒ行ｃ列（１≦ｒ≦Ｎ、１≦ｃ≦Ｎ）の投影画素ｐが「投影画素ｐrc」の形式で表されている。図２に示す投影画像Ｉｐの複数の投影画素ｐは、投影部２０の投影素子の複数の画素と、１対１に対応する。
投影画像Ｉｐは、Ｎ行の投影画素行ｐｒ（複数の画素行）、及びＮ列の投影画素列ｐｃ（複数の画素列）をなすように配列された複数の投影画素ｐを有する。よって、複数の投影画素ｐは、Ｎ×Ｎの正方行列をなしている。本実施形態では、Ｎ＝２５６である。図２では、ｒ行ｃ列（１≦ｒ≦Ｎ、１≦ｃ≦Ｎ）の投影画素ｐが「投影画素ｐrc」の形式で表されている。図２に示す投影画像Ｉｐの複数の投影画素ｐは、投影部２０の投影素子の複数の画素と、１対１に対応する。
【0027】
なお、投影画素行ｐｒ及び投影画素列ｐｃの数Ｎは２５６に限られず、３次元形状の計測解像度や３次元形状計測装置１０の処理能力等に応じて適宜変更することができる。また、投影画素行ｐｒの数と、投影画素列ｐｃの数とが異なっていてもよい。
【0028】
図１に示す撮影部３０は、撮像素子を用いて計測対象物２を撮影して、計測対象物２の撮影画像Ｉｃ（図３参照）を取得するカメラである。撮像素子は、行列をなすように配列された複数の画素の各々に、入射光の強度に応じた大きさの検出電流を出力する光検出素子を有する。撮影部３０は、撮像素子の各光検出素子からの検出電流に応じて、モノクロの撮影画像Ｉｃを生成して３次元形状計測装置１０に出力する。
【0029】
図３は、撮影部３０により取得される撮影画像Ｉｃの構成を示す図である。
撮影画像Ｉｃは、Ｎ行の撮影画素行ｃｒ、及びＮ列の撮影画素列ｃｃをなすように配列された複数の撮影画素ｃを有する。よって、複数の撮影画素ｃは、Ｎ×Ｎの正方行列をなしている。上述のとおり、本実施形態では、Ｎ＝２５６である。図３では、ｒ行ｃ列（１≦ｒ≦Ｎ、１≦ｃ≦Ｎ）の撮影画素ｃが「撮影画素ｃrc」の形式で表されている。図３に示す撮影画像Ｉｃの複数の撮影画素ｃは、撮影部３０の撮像素子の複数の画素と、１対１に対応し、撮影部３０は、Ｎ×Ｎピクセルの解像度の撮影画像Ｉｃを生成する。
撮影画像Ｉｃは、Ｎ行の撮影画素行ｃｒ、及びＮ列の撮影画素列ｃｃをなすように配列された複数の撮影画素ｃを有する。よって、複数の撮影画素ｃは、Ｎ×Ｎの正方行列をなしている。上述のとおり、本実施形態では、Ｎ＝２５６である。図３では、ｒ行ｃ列（１≦ｒ≦Ｎ、１≦ｃ≦Ｎ）の撮影画素ｃが「撮影画素ｃrc」の形式で表されている。図３に示す撮影画像Ｉｃの複数の撮影画素ｃは、撮影部３０の撮像素子の複数の画素と、１対１に対応し、撮影部３０は、Ｎ×Ｎピクセルの解像度の撮影画像Ｉｃを生成する。
【0030】
なお、撮影画素行ｃｒ及び撮影画素列ｃｃの数Ｎは２５６に限られず、３次元形状の計測解像度や３次元形状計測装置１０の処理能力等に応じて適宜変更することができる。また、撮影画素行ｃｒの数と、撮影画素列ｃｃの数とが異なっていてもよい。また、撮影画素行ｃｒの数は、必ずしも投影画素行ｐｒの数と同一でなくてもよく、撮影画素列ｃｃの数は、必ずしも投影画素列ｐｃの数と同一でなくてもよい。
【0031】
図１に示す３次元形状計測装置１０は、投影部２０による投影動作、及び撮影部３０による撮影動作を制御する。また、３次元形状計測装置１０は、投影部２０が投影した投影画像Ｉｐのパターンと、撮影部３０により取得された撮影画像Ｉｃとに基づいて、計測対象物２の３次元形状を計測（特定）し、当該３次元形状に係る３次元形状データを生成する。
【0032】
図４は、３次元形状計測装置１０の主要な機能構成を示すブロック図である。
３次元形状計測装置１０は、ＣＰＵ１１（Central Processing Unit）（処理部）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。３次元形状計測装置１０の各部は、バス１７により接続されている。
３次元形状計測装置１０は、ＣＰＵ１１（Central Processing Unit）（処理部）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。３次元形状計測装置１０の各部は、バス１７により接続されている。
【0033】
ＣＰＵ１１は、３次元形状計測装置１０の各部の動作を制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されているプログラム１３１を読み出してＲＡＭ１２のワークエリアに展開し、当該展開されたプログラムに従って各種処理を実行する。例えば、ＣＰＵ１１は、所定のタイミングで投影部２０により所定のパターンの投影画像Ｉｐを計測対象物２に投影させる。また、ＣＰＵ１１は、投影部２０による投影画像Ｉｐの投影タイミングに同期するように、投影画像Ｉｐが投影されている状態の計測対象物２を撮影部３０により撮影させ、撮影画像Ｉｃを取得させる。また、ＣＰＵ１１は、後述する各種演算処理を実行して、計測対象物２の３次元形状を特定し、３次元形状データを生成して記憶部１３に記憶させる。
【0034】
ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。ＲＡＭ１２は、不揮発性メモリを含んでいてもよい。
【0035】
記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体であり、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などにより構成される。記憶部１３には、ＣＰＵ１１により実行されるプログラム１３１、当該プログラムの実行時に参照される各種データ、及びＣＰＵ１１により生成された上記の３次元形状データなどが記憶されている。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。
【0036】
操作部１４は、マウスなどのポインティングデバイス及びキーボードなどを有し、ユーザによる位置入力及びキー入力などを受け付けてその操作情報をＣＰＵ１１に出力する。
【0037】
表示部１５は、液晶ディスプレイなどの表示装置を備え、ＣＰＵ１１からの制御信号に従って、３次元形状の計測結果や各種ステータスなどの表示を行う。
【0038】
通信部１６は、投影部２０及び撮影部３０との間で通信を行ってデータを送受信する。通信部１６は、ネットワーク等を介して、投影部２０及び撮影部３０以外の機器やシステムとのデータ通信が可能とされていてもよい。
【0039】
＜３次元形状計測システム１による３次元計測の原理＞
次に、３次元形状計測システム１による３次元計測の原理について説明する。
本実施形態の３次元形状計測システム１は、アクティブステレオ法により計測対象物２の３次元形状を計測する。詳しくは、３次元形状計測システム１は、投影部２０により所定パターンの投影画像Ｉｐを投影し、投影画像Ｉｐが投影された状態の計測対象物２を撮影部３０により撮影して撮影画像Ｉｃを取得する。次に、投影したパターンと、取得された撮影画像Ｉｃとに基づいて、撮影画像Ｉｃの撮影画素ｃと、投影画像Ｉｐの投影画素ｐとの対応関係を特定する。そして、特定した対応関係と、投影部２０及び撮影部３０の幾何的関係とに基づいて、三角測量法の原理により各対応点の奥行きを求める。
次に、３次元形状計測システム１による３次元計測の原理について説明する。
本実施形態の３次元形状計測システム１は、アクティブステレオ法により計測対象物２の３次元形状を計測する。詳しくは、３次元形状計測システム１は、投影部２０により所定パターンの投影画像Ｉｐを投影し、投影画像Ｉｐが投影された状態の計測対象物２を撮影部３０により撮影して撮影画像Ｉｃを取得する。次に、投影したパターンと、取得された撮影画像Ｉｃとに基づいて、撮影画像Ｉｃの撮影画素ｃと、投影画像Ｉｐの投影画素ｐとの対応関係を特定する。そして、特定した対応関係と、投影部２０及び撮影部３０の幾何的関係とに基づいて、三角測量法の原理により各対応点の奥行きを求める。
【0040】
図５は、３次元計測の原理を説明する図である。
図５では、投影部２０から計測対象物２に投影される投影画像Ｉｐと、撮影部３０により撮影される撮影画像Ｉｃとが示されている。投影画像Ｉｐを構成する光の一部は、計測対象物２の表面で反射して、投影画像Ｉｐとして撮影される。
図５では、投影部２０から計測対象物２に投影される投影画像Ｉｐと、撮影部３０により撮影される撮影画像Ｉｃとが示されている。投影画像Ｉｐを構成する光の一部は、計測対象物２の表面で反射して、投影画像Ｉｐとして撮影される。
【0041】
撮影画像Ｉｃのうち、ある撮影画素ｃとして検出された光が、投影画像Ｉｐのうちのどの投影画素ｐからの光に対応するかを特定できれば、特定された対応関係と、投影部２０及び撮影部３０の既知の幾何的関係と、に基づいて、三角測量の原理により、計測対象物２のうち光が反射した位置の奥行きを求めることができる。例えば、図５における撮影画素ｃ１により検出された光が、投影画素ｐ１からの光であると特定された場合には、三角測量の原理により、計測対象物２における光の反射点が点Ｑ１であると特定することができる。撮影画像Ｉｃの全ての撮影画素ｃについて、対応する投影画素ｐ（以下、対応投影画素ｐｎとも記す）を特定することにより、計測対象物２の表面における光の反射点の分布、すなわち３次元形状を特定することができる。
【0042】
ただし、上記の方法は、計測対象物２の表面において１回のみ反射した光（以下、直接反射光と記す）が撮影画素ｃとして検出されることを前提としているため、直接反射光以外の成分（光透過性部材における内部反射や、光沢のある表面における複数回反射等）が無視できない場合には、不適切な対応点が抽出されて計測誤差が生じる。
【0043】
例えば、図５に示すように、計測対象物２の表面の一部が光沢を有する曲面２ａであるような場合には、投影画素ｐ１からの光の他に、投影画素ｐ２から曲面２ａに入射して当該曲面２ａで２回反射した光も撮影画素ｃ１に入射する。撮影画素ｃ１と投影画素ｐ２との対応関係に基づいて三角測量の原理で反射点を特定しようとすると、曲面２ａ上にない誤った点が特定され、３次元形状の計測誤差が生じる。
また、光透過性を有する計測対象物２の内部反射がある場合には、計測対象物２の内部における反射位置が誤って特定されるため、３次元形状の計測誤差に繋がる。
また、光透過性を有する計測対象物２の内部反射がある場合には、計測対象物２の内部における反射位置が誤って特定されるため、３次元形状の計測誤差に繋がる。
【0044】
そこで、本実施形態の３次元形状計測システム１では、撮影画素ｃと投影画素ｐとの対応関係を複数得ておき、そのうち直接反射光によるものを抽出することで、上記の計測誤差を抑制する。詳しくは、撮影画素ｃに対応する複数の投影画素ｐの候補のうち、エピポーラ拘束（エピポーラ制約）を満たすものを、撮影画素ｃに対応する対応投影画素ｐｎとして特定する。ここでは、投影画像Ｉｐにおけるエピポーラ線Ｌｐに重なる投影画素ｐが、エピポーラ拘束を満たす投影画素ｐとして特定される。図５に示すエピポーラ線Ｌｐは、投影部２０及び撮影部３０の幾何的関係と、撮影画素ｃ１として検出される光線の光路ＯＰと、によって定まる。詳しくは、投影部２０及び撮影部３０の各光学中心（投影画像Ｉｐを通る投影光の収束点、及び撮影画像Ｉｃを通る撮影光の収束点）と、光路ＯＰとを通る平面をエピポーラ面とした場合に、エピポーラ線Ｌｐは、エピポーラ面と投影画像Ｉｐとの交線である。撮影画像Ｉｃに含まれる各撮影画素ｃについて、投影画像Ｉｐ上に１つのエピポーラ線Ｌｐが定まる。
【0045】
光路ＯＰ上にある計測対象物２の表面での直接反射光が撮影画素ｃとして検出される場合には、当該直接反射光を投影する投影画素ｐは、エピポーラ線Ｌｐ上のいずれかに位置する性質がある。言い換えると、撮影画素ｃとして検出される直接反射光は、必ず当該撮影画素ｃに対応するエピポーラ線Ｌｐ上の投影画素ｐから投影される性質がある。また、撮影画素ｃとして検出される間接反射光（直接反射光以外の光）の多くは、当該撮影画素ｃに対応するエピポーラ線Ｌｐ上にない投影画素ｐから投影される。このため、エピポーラ線Ｌｐ上にある投影画素ｐから対応投影画素ｐｎを抽出することで、間接反射光に対応する不適切な投影画素ｐを効率よく除外して、適切な対応投影画素ｐｎを特定することができる。
【0046】
本実施形態では、任意の撮影画素ｃに対応するエピポーラ線Ｌｐが、投影画像Ｉｐの投影画素行ｐｒ及び投影画素列ｐｃのいずれとも非平行となるように投影部２０及び撮影部３０の位置関係が定められている。任意の撮影画素ｃに対応するエピポーラ線Ｌｐが、投影画像Ｉｐの投影画素行ｐｒ及び投影画素列ｐｃのいずれとも所定の下限角度以上の角度をなすように投影部２０及び撮影部３０の位置関係を定めることが、より好ましい。この場合の下限角度は、例えば１０°以上とされ、２０°以上とすることがより好ましい。
【0047】
＜対応投影画素ｐｎの特定方法＞
次に、本実施形態における撮影画素ｃに対応する対応投影画素ｐｎの特定方法について説明する。対応投影画素ｐｎの特定方法の概略は、以下のとおりである。
まず、互いに異なる行方向縞パターンを含む複数の第１投影画像Ｉｐｒ（図６（ａ）参照）、及び互いに異なる列方向縞パターンを含む複数の第２投影画像Ｉｐｃ（図７（ａ）参照）を１枚ずつ計測対象物２に投影し、複数の第１投影画像Ｉｐｒの各投影時における複数の第１撮影画像Ｉｃｒ（図６（ｂ）参照）、及び複数の第２投影画像Ｉｐｃの各投影時における複数の第２撮影画像Ｉｃｃ（図７（ｂ）参照）を取得する（第１ステップ）。
次に、複数の第１撮影画像Ｉｃｒ及び複数の第２撮影画像Ｉｃｃと、投影した複数の行方向縞パターン及び複数の列方向縞パターンとに基づいて、複数の撮影画素ｃの各々に対応する対応投影画素ｐｎを特定する（第２ステップ）。この第２ステップでは、１つの撮影画素ｃについて、複数の第１撮影画像Ｉｃｒと、複数の第１投影画像Ｉｐｒの行方向縞パターンとに基づいて、複数の投影画素行ｐｒのうち当該１つの撮影画素ｃに対応する対応画素行ｐｒｘ（図８（ａ）参照）を特定する。また、複数の第２撮影画像Ｉｃｃと、複数の第２投影画像Ｉｐｃの列方向縞パターンとに基づいて、複数の投影画素列ｐｃのうち当該１つの撮影画素ｃに対応する対応画素列ｐｃｘ（図８（ｂ）参照）を特定する。そして、対応画素行ｐｒｘ及び対応画素列ｐｃｘの交点に相当する投影画素ｐ（以下、候補投影画素ｐｘと記す。図８（ｃ）参照）のうちエピポーラ拘束を満たす候補投影画素ｐｘから、上記の１つの撮影画素ｃに対応する対応投影画素ｐｎを特定する。
以下、各ステップについて詳細に説明する。
次に、本実施形態における撮影画素ｃに対応する対応投影画素ｐｎの特定方法について説明する。対応投影画素ｐｎの特定方法の概略は、以下のとおりである。
まず、互いに異なる行方向縞パターンを含む複数の第１投影画像Ｉｐｒ（図６（ａ）参照）、及び互いに異なる列方向縞パターンを含む複数の第２投影画像Ｉｐｃ（図７（ａ）参照）を１枚ずつ計測対象物２に投影し、複数の第１投影画像Ｉｐｒの各投影時における複数の第１撮影画像Ｉｃｒ（図６（ｂ）参照）、及び複数の第２投影画像Ｉｐｃの各投影時における複数の第２撮影画像Ｉｃｃ（図７（ｂ）参照）を取得する（第１ステップ）。
次に、複数の第１撮影画像Ｉｃｒ及び複数の第２撮影画像Ｉｃｃと、投影した複数の行方向縞パターン及び複数の列方向縞パターンとに基づいて、複数の撮影画素ｃの各々に対応する対応投影画素ｐｎを特定する（第２ステップ）。この第２ステップでは、１つの撮影画素ｃについて、複数の第１撮影画像Ｉｃｒと、複数の第１投影画像Ｉｐｒの行方向縞パターンとに基づいて、複数の投影画素行ｐｒのうち当該１つの撮影画素ｃに対応する対応画素行ｐｒｘ（図８（ａ）参照）を特定する。また、複数の第２撮影画像Ｉｃｃと、複数の第２投影画像Ｉｐｃの列方向縞パターンとに基づいて、複数の投影画素列ｐｃのうち当該１つの撮影画素ｃに対応する対応画素列ｐｃｘ（図８（ｂ）参照）を特定する。そして、対応画素行ｐｒｘ及び対応画素列ｐｃｘの交点に相当する投影画素ｐ（以下、候補投影画素ｐｘと記す。図８（ｃ）参照）のうちエピポーラ拘束を満たす候補投影画素ｐｘから、上記の１つの撮影画素ｃに対応する対応投影画素ｐｎを特定する。
以下、各ステップについて詳細に説明する。
【0048】
（第１ステップ）
図６は、第１投影画像Ｉｐｒ及び第１撮影画像Ｉｃｒを示す図である。
図６（ａ）に示すように、第１投影画像Ｉｐｒは、複数の投影画素行ｐｒの各々がランダムにオン（黒）又はオフ（白）となっている行方向縞パターンを含む。第１ステップでは、行方向縞パターンが互いに異なるＭ枚の第１投影画像Ｉｐｒが、１枚ずつ順番に計測対象物２に投影される。また、複数の第１投影画像Ｉｐｒの各投影時に、図６（ｂ）に示す第１撮影画像Ｉｃｒが１枚ずつ撮影されて取得される。よって、第１ステップでは、Ｍ枚の第１投影画像Ｉｐｒに対応するＭ枚の第１撮影画像Ｉｃｒが取得される。
図６は、第１投影画像Ｉｐｒ及び第１撮影画像Ｉｃｒを示す図である。
図６（ａ）に示すように、第１投影画像Ｉｐｒは、複数の投影画素行ｐｒの各々がランダムにオン（黒）又はオフ（白）となっている行方向縞パターンを含む。第１ステップでは、行方向縞パターンが互いに異なるＭ枚の第１投影画像Ｉｐｒが、１枚ずつ順番に計測対象物２に投影される。また、複数の第１投影画像Ｉｐｒの各投影時に、図６（ｂ）に示す第１撮影画像Ｉｃｒが１枚ずつ撮影されて取得される。よって、第１ステップでは、Ｍ枚の第１投影画像Ｉｐｒに対応するＭ枚の第１撮影画像Ｉｃｒが取得される。
【0049】
図７は、第２投影画像Ｉｐｃ及び第２撮影画像Ｉｃｃを示す図である。
図７（ａ）に示すように、第２投影画像Ｉｐｃは、複数の投影画素列ｐｃの各々がランダムにオン（黒）又はオフ（白）となっている列方向縞パターンを含む。第１ステップでは、列方向縞パターンが互いに異なるＭ枚の第２投影画像Ｉｐｃが１枚ずつ順番に計測対象物２に投影される。また、複数の第２投影画像Ｉｐｃの各投影時に、図７（ｂ）に示す第２撮影画像Ｉｃｃが１枚ずつ撮影されて取得される。よって、第１ステップでは、Ｍ枚の第２投影画像Ｉｐｃに対応するＭ枚の第２撮影画像Ｉｃｃが取得される。
複数の第１投影画像Ｉｐｒ及び複数の第２投影画像Ｉｐｃの投影順序（すなわち、複数の第１撮影画像Ｉｃｒ及び複数の第２撮影画像Ｉｃｃの取得順序）は、任意とすることができる。
図７（ａ）に示すように、第２投影画像Ｉｐｃは、複数の投影画素列ｐｃの各々がランダムにオン（黒）又はオフ（白）となっている列方向縞パターンを含む。第１ステップでは、列方向縞パターンが互いに異なるＭ枚の第２投影画像Ｉｐｃが１枚ずつ順番に計測対象物２に投影される。また、複数の第２投影画像Ｉｐｃの各投影時に、図７（ｂ）に示す第２撮影画像Ｉｃｃが１枚ずつ撮影されて取得される。よって、第１ステップでは、Ｍ枚の第２投影画像Ｉｐｃに対応するＭ枚の第２撮影画像Ｉｃｃが取得される。
複数の第１投影画像Ｉｐｒ及び複数の第２投影画像Ｉｐｃの投影順序（すなわち、複数の第１撮影画像Ｉｃｒ及び複数の第２撮影画像Ｉｃｃの取得順序）は、任意とすることができる。
【0050】
ここで、複数の第２投影画像Ｉｐｃの各々における列方向縞パターンは、複数の第１投影画像Ｉｐｒの各々における行方向縞パターンを９０°回転させたものである。すなわち、複数の第２投影画像Ｉｐｃの各々における列方向縞パターンは、パターンの向きを除いて、複数の第１投影画像Ｉｐｒの各々における行方向縞パターンと同一である。ただし、これに限られず、複数の第２投影画像Ｉｐｃの各々における列方向縞パターンと、複数の第１投影画像Ｉｐｒの各々における行方向縞パターンとが少なくとも一部で異なっていてもよい。
【0051】
（第２ステップ）
第２ステップでは、各撮影画素ｃについて、複数の第１撮影画像Ｉｃｒと、複数の第１投影画像Ｉｐｒの行方向縞パターンとに基づいて、スパース最適化（スパース推定）により対応画素行ｐｒｘを特定し、複数の第２撮影画像Ｉｃｃと、複数の第２投影画像Ｉｐｃの列方向縞パターンとに基づいて、スパース最適化（スパース推定）により対応画素列ｐｃｘを特定する。
第２ステップでは、各撮影画素ｃについて、複数の第１撮影画像Ｉｃｒと、複数の第１投影画像Ｉｐｒの行方向縞パターンとに基づいて、スパース最適化（スパース推定）により対応画素行ｐｒｘを特定し、複数の第２撮影画像Ｉｃｃと、複数の第２投影画像Ｉｐｃの列方向縞パターンとに基づいて、スパース最適化（スパース推定）により対応画素列ｐｃｘを特定する。
【0052】
以下、スパース最適化による対応画素行ｐｒｘの特定方法について説明する。ここでは、ｍ枚目（１≦ｍ≦Ｍ）の第１投影画像Ｉｐｒの行方向縞パターンを表すパターンベクトルをｐm（式（１－１））とし、そのときの第１撮影画像Ｉｃｒの内容を表す撮影画素ベクトルをｃm（式（１－２））とする。パターンベクトルｐmは、Ｎ次元のベクトルであり、その要素は、第１投影画像ＩｐｒのＮ行の各投影画素行ｐｒがオン又はオフのいずれであるかを表す。撮影画素ベクトルｃmは、Ｎ×Ｎ（Ｎ2）次元のベクトルであり、その要素は、第１撮影画像ＩｃｒのＮ2個の撮影画素ｃの各々がオン（黒）又はオフ（白）のいずれであるかを表す。
【0053】
【数1】
【0054】
【数2】
【0055】
また、Ｍ枚の第１撮影画像Ｉｃｒに対応するＭ個の撮影画素ベクトルｃmを表す撮影画像行列をＣ（式（１－３））、Ｍ枚の第１投影画像Ｉｐｒに対応するＭ個のパターンベクトルｐmを表す投影パターン行列をＰ（式（１－４））とすると、行列Ｃ及び行列Ｐは、式（１－５）を満たす。ここで、式（１－５）の行列Ｗは、複数の撮影画素ｃの各々が、複数の投影画素行ｐｒのうちいずれに対応するか（すなわち、どの投影画素行ｐｒから投影された光を検出しているか）を表すＬＴＭである。式（１－６）に示すように、行列Ｗは、Ｎ2×Ｎ次元の行列である。
【0056】
【数3】
【0057】
ここで、１つの撮影画素ｃに対応する対応画素行ｐｒｘは、通常、Ｎ行の投影画素行ｐｒのうちのごく一部であるため、行列Ｗは、スパース性（要素にゼロを多く含むという性質）を有する。式（１－５）を満たし、かつスパース性を有する行列Ｗは、ＬＡＳＳＯ型の最小値化問題（Ｌ１ノルム正則化の問題）を数値的に解くアルゴリズムを適用することで計算することができる。詳しくは、ここで用いるアルゴリズムは、ＬＡＳＳＯ型の最小化問題を、近接勾配法を用いて数値的に解くアルゴリズムであって、ＡＤＭＭ（Alternating Direction Method of Multipliers）を用いたものである。
【0058】
以下に、行列Ｗを計算するためのアルゴリズムの具体的な内容を記す。ここでは、Ｎ2×Ｎ次元の行列Ａ1、Ａ2、Ａ3、ｘ、ｙ、ｚ、ｔを用いる。また、投影パターン行列Ｐの転置行列を行列Ａとする。
【0059】
まず、前処理として式（２－１）～（２－５）の計算及び代入処理を実行する。式（２－１）～（２－５）は、第１投影画像ＩｐｒのＭ枚の行方向縞パターンが分かっていれば計算が可能であるため、計測対象物２の３次元計測を開始する前に予め実行しておくことで、計測時間を短縮できる。
【0060】
【数4】
【0061】
次に、計測対象物２の３次元計測が開始されると、対応画素行ｐｒｘを特定するためのオンライン処理が開始される。オンライン処理では、まず、Ｍ枚の第１投影画像Ｉｐｒの投影、及びＭ枚の第１撮影画像Ｉｃｒの取得が完了し、撮影画像行列Ｃが確定したところで、式（３－１）、（３－２）の計算及び代入処理を実行する。
【0062】
【数5】
【0063】
次に、変数ｉを１から１００までインクリメントしつつ、各変数ｉについて式（３－３）～（３－６）の計算を繰り返し実行する。このうち式（３－３）の右辺は、軟判定閾値関数であり、入力ｘの絶対値がしきい値（１／μ）を超えた場合に、超えた分の大きさの絶対値を有する出力を返す関数である。式（３－３）～（３－６）のループ処理により、行列Ｗが、スパースな要素を有するＬＴＭに収れんする。なお、変数ｉの上限は１００に限られず、例えば計算状況等に基づいて定まる変数としてもよい。式（３－３）～（３－６）のループ処理が終了すると、対応画素行ｐｒｘを特定するためのオンライン処理が終了する。
【0064】
【数6】
【0065】
上記のアルゴリズムにより算出された行列Ｗ（ＬＴＭ）は、複数の撮影画素ｃの各々についての対応画素行ｐｒｘを表す。すなわち、上記のループ処理により行列Ｗを算出することで、全ての撮影画素ｃについての対応画素行ｐｒｘを特定することができる。これは、全ての撮影画素ｃについて行列Ａ（すなわち投影パターン行列Ｐ）が共通であることによる。
【0066】
図８（ａ）は、ある撮影画素ｃに対応する対応画素行ｐｒｘの例を表す。１つの撮影画素ｃに対応する対応画素行ｐｒｘは、本来は１つであるが、ここでは、間接反射光に基づいて抽出された対応画素行ｐｒｘも含まれ得るため、対応画素行ｐｒｘは複数となる場合がある。図８（ａ）に示す例では、７つの対応画素行ｐｒｘが特定されている。
【0067】
対応画素行ｐｒｘの特定方法と同様の方法により、対応画素列ｐｃｘが特定される。上述の対応画素行ｐｒｘの特定方法の説明において、「第１投影画像Ｉｐｒ」、「第１撮影画像Ｉｃｒ」、「投影画素行ｐｒ」、及び「対応画素行ｐｒｘ」、を、それぞれ「第２投影画像Ｉｐｃ」、「第２撮影画像Ｉｃｃ」、「投影画素列ｐｃ」、及び「対応画素列ｐｃｘ」に置き替えることで、対応画素列ｐｃｘの特定方法の説明となる。ここで、上述したとおり、複数の第２投影画像Ｉｐｃの列方向縞パターンは、向きを除いて複数の第１投影画像Ｉｐｒの行方向縞パターンと同一であるため、行列Ａ（すなわち投影パターン行列Ｐ）は、対応画素行ｐｒｘの特定時に用いたものと同一となる。したがって、前処理は共通であり、複数の第１撮影画像Ｉｃｒに基づく撮影画像行列Ｃを用いて式（３－１）～（３－６）のオンライン処理を実行することで対応画素列ｐｃｘを特定できる。以下では、対応画素行ｐｒｘを表す行列Ｗを「行列Ｗｒ」とも記し、対応画素列ｐｃｘを表す行列Ｗを「行列Ｗｃ」とも記す。行列Ｗｒ及び行列Ｗｃは、それぞれ対応画素行ｐｒｘ及び対応画素列ｐｃｘを表すものであるため、「ＬｉｎｅＬＴＭ」と呼ぶこともできる。
【0068】
図８（ｂ）は、ある撮影画素ｃに対応する対応画素列ｐｃｘの例を表す。１つの撮影画素ｃに対応する対応画素列ｐｃｘは、本来は１つであるが、ここでは、間接反射光に基づいて抽出された対応画素列ｐｃｘも含まれ得るため、対応画素列ｐｃｘは複数となる場合がある。図８（ｂ）に示す例では、８つの対応画素列ｐｃｘが特定されている。
【0069】
各撮影画素ｃについて対応画素行ｐｒｘ及び対応画素列ｐｃｘが特定されると、図８（ｃ）に示すように、対応画素行ｐｒｘ及び対応画素列ｐｃｘの交点（対応画素行ｐｒｘの集合と対応画素列ｐｃｘの集合の直積）に相当する投影画素ｐが、撮影画素ｃに対応する候補投影画素ｐｘとして特定される。上記の交点は、行列Ｗｒのうちある撮影画素ｃに対応する要素と、行列Ｗｃのうち当該撮影画素ｃに対応する要素との積のうち、非ゼロとなる組み合わせに相当する。なお、上記の要素同士の積が所定の微小値以下となる組み合わせを除外してもよい。対応画素行ｐｒｘ及び対応画素列ｐｃｘのうち少なくとも一方が複数である場合には、複数の候補投影画素ｐｘが特定される。図８（ｃ）に示す例では、５６個の候補投影画素ｐｘが特定されている。
【0070】
候補投影画素ｐｘが特定されると、複数の候補投影画素ｐｘのうちエピポーラ拘束を満たすものが抽出され、撮影画素ｃに対応する対応投影画素ｐｎとして特定される。エピポーラ拘束を満たす対応投影画素ｐｎの抽出方法としては、以下の第１の抽出方法及び第２の抽出方法がある。
【0071】
図９は、エピポーラ拘束を満たす対応投影画素ｐｎの第１の抽出方法を説明する図である。
第１の抽出方法では、投影画像Ｉｐにおけるエピポーラ線Ｌｐと重なる候補投影画素ｐｘを、エピポーラ拘束を満たす対応投影画素ｐｎとして抽出する。例えば、エピポーラ線Ｌｐが、ある投影画素ｐの範囲内を通る場合に、当該投影画素ｐを、エピポーラ線Ｌｐと重なる投影画素ｐとすることができる。図９には、図８（ｃ）に示す５６個の候補投影画素ｐｘのうち、エピポーラ線Ｌｐと重なる１つの候補投影画素ｐｘ１が示されている。
第１の抽出方法では、投影画像Ｉｐにおけるエピポーラ線Ｌｐと重なる候補投影画素ｐｘを、エピポーラ拘束を満たす対応投影画素ｐｎとして抽出する。例えば、エピポーラ線Ｌｐが、ある投影画素ｐの範囲内を通る場合に、当該投影画素ｐを、エピポーラ線Ｌｐと重なる投影画素ｐとすることができる。図９には、図８（ｃ）に示す５６個の候補投影画素ｐｘのうち、エピポーラ線Ｌｐと重なる１つの候補投影画素ｐｘ１が示されている。
【0072】
図１０は、エピポーラ拘束を満たす対応投影画素ｐｎの第２の抽出方法を説明する図である。
第２の抽出方法では、投影画像Ｉｐにおけるエピポーラ線Ｌｐからの距離が所定距離ｄ以内である候補投影画素ｐｘの中から、エピポーラ拘束を満たす対応投影画素ｐｎを抽出する。図１０には、図８（ｃ）に示す５６個の候補投影画素ｐｘのうち、エピポーラ線Ｌｐから距離ｄ以内に位置する５つの候補投影画素ｐｘ１～ｐｘ５が示されている。距離ｄは、第１投影画像Ｉｐｒにおける投影画素ｐの配置ピッチの所定数倍とすることができる。距離ｄは、所望する計測精度等に応じて適宜定めることができ、例えば配置ピッチの数倍程度としてもよい。また、各投影画素ｐの位置は、例えば投影画素ｐの矩形領域の中心とすることができる。
なお、第２の抽出方法は、エピポーラ線Ｌｐに距離２ｄの幅を持たせた上で、当該エピポーラ線Ｌｐに重なる候補投影画素ｐｘの中からエピポーラ拘束を満たす対応投影画素ｐｎを抽出する方法、と言い換えることもできる。
第２の抽出方法では、投影画像Ｉｐにおけるエピポーラ線Ｌｐからの距離が所定距離ｄ以内である候補投影画素ｐｘの中から、エピポーラ拘束を満たす対応投影画素ｐｎを抽出する。図１０には、図８（ｃ）に示す５６個の候補投影画素ｐｘのうち、エピポーラ線Ｌｐから距離ｄ以内に位置する５つの候補投影画素ｐｘ１～ｐｘ５が示されている。距離ｄは、第１投影画像Ｉｐｒにおける投影画素ｐの配置ピッチの所定数倍とすることができる。距離ｄは、所望する計測精度等に応じて適宜定めることができ、例えば配置ピッチの数倍程度としてもよい。また、各投影画素ｐの位置は、例えば投影画素ｐの矩形領域の中心とすることができる。
なお、第２の抽出方法は、エピポーラ線Ｌｐに距離２ｄの幅を持たせた上で、当該エピポーラ線Ｌｐに重なる候補投影画素ｐｘの中からエピポーラ拘束を満たす対応投影画素ｐｎを抽出する方法、と言い換えることもできる。
【0073】
第２の抽出方法では、エピポーラ線Ｌｐから距離ｄ以内に位置する全ての候補投影画素ｐｘを、エピポーラ拘束を満たす対応投影画素ｐｎとしてもよい。
【0074】
また、第２の抽出方法では、エピポーラ線Ｌｐから距離ｄ以内に位置する候補投影画素ｐｘの中から、所定の抽出方法によりさらに抽出された候補投影画素ｐｘを、対応投影画素ｐｎとしてもよい。例えば、エピポーラ線Ｌｐに近い候補投影画素ｐｘほど重み付けが大きくなるように各候補投影画素ｐｘの評価値を定め、当該評価値に基づいて対応投影画素ｐｎを特定してもよい。具体的には、評価値が最も大きい候補投影画素ｐｘを対応投影画素ｐｎとして特定してもよい。また、評価値が所定の基準値以上である候補投影画素ｐｘを対応投影画素ｐｎとして特定してもよい。また、重み付けの値そのものを評価値としてもよいし、行列Ｗｒ及び行列Ｗｃの要素同士の積で表される基本値に重み付けを乗じた値を評価値としてもよい。
【0075】
図１１は、評価値を定める際の重み付けの例を示す図である。
図１１に示す例では、エピポーラ線Ｌｐ上に位置する候補投影画素ｐｘの重み付けｗ１が最も大きく、エピポーラ線Ｌｐから離れるにつれて正規分布に従うように重み付けがｗ２、ｗ３、ｗ４と段階的に減少している。具体的には、エピポーラ線Ｌｐからの距離がｄ／４以下である候補投影画素ｐｘについては、重み付けをｗ１として評価値を定める。また、エピポーラ線Ｌｐからの距離がｄ／４より大きくｄ／２以下である候補投影画素ｐｘについては、重み付けをｗ２（＜ｗ１）として評価値を定める。また、エピポーラ線Ｌｐからの距離がｄ／２より大きく３ｄ／４以下である候補投影画素ｐｘについては、重み付けをｗ３（＜ｗ２）として評価値を定める。また、エピポーラ線Ｌｐからの距離が３ｄ／４より大きくｄ以下である候補投影画素ｐｘについては、重み付けをｗ４（＜ｗ３）として評価値を定める。これによれば、エピポーラ線Ｌｐに近い候補投影画素ｐｘを優先して対応投影画素ｐｎとして抽出することができる。
なお、重み付けを同一とする区間の幅は、ｄ／４に限られない。また、正規分布以外の規則に従うように重み付けを定めてもよい。
図１１に示す例では、エピポーラ線Ｌｐ上に位置する候補投影画素ｐｘの重み付けｗ１が最も大きく、エピポーラ線Ｌｐから離れるにつれて正規分布に従うように重み付けがｗ２、ｗ３、ｗ４と段階的に減少している。具体的には、エピポーラ線Ｌｐからの距離がｄ／４以下である候補投影画素ｐｘについては、重み付けをｗ１として評価値を定める。また、エピポーラ線Ｌｐからの距離がｄ／４より大きくｄ／２以下である候補投影画素ｐｘについては、重み付けをｗ２（＜ｗ１）として評価値を定める。また、エピポーラ線Ｌｐからの距離がｄ／２より大きく３ｄ／４以下である候補投影画素ｐｘについては、重み付けをｗ３（＜ｗ２）として評価値を定める。また、エピポーラ線Ｌｐからの距離が３ｄ／４より大きくｄ以下である候補投影画素ｐｘについては、重み付けをｗ４（＜ｗ３）として評価値を定める。これによれば、エピポーラ線Ｌｐに近い候補投影画素ｐｘを優先して対応投影画素ｐｎとして抽出することができる。
なお、重み付けを同一とする区間の幅は、ｄ／４に限られない。また、正規分布以外の規則に従うように重み付けを定めてもよい。
【0076】
エピポーラ拘束を満たす候補投影画素ｐｘを抽出するステップは、対応画素行ｐｒｘ及び対応画素列ｐｃｘの交点に相当する候補投影画素ｐｘが１つのみである場合には省略することとしてもよい。あるいは、候補投影画素ｐｘが１つのみである場合にも、当該１つの候補投影画素ｐｘが間接反射光に対応し得ることを想定して、エピポーラ拘束を満たす候補投影画素ｐｘを抽出するステップを実行してもよい。
【0077】
＜３次元形状計測処理＞
続いて、３次元形状計測装置１０により実行される３次元形状計測処理のＣＰＵ１１による制御手順について説明する。
続いて、３次元形状計測装置１０により実行される３次元形状計測処理のＣＰＵ１１による制御手順について説明する。
【0078】
図１２は、３次元形状計測処理の制御手順を示すフローチャートである。
３次元形状計測処理が開始されると、ＣＰＵ１１は、複数の第１投影画像Ｉｐｒにおいて用いられる複数の行方向縞パターン、及び複数の第２投影画像Ｉｐｃにおいて用いられる複数の列方向縞パターンに基づいて、投影パターン行列Ｐ（行列Ａ）を特定し、前処理を実行する（ステップＳ１０１）。ここでは、ＣＰＵ１１は、上述の式（２－１）～（２－５）の計算及び代入処理を実行する。前処理が終了すると、ＣＰＵ１１は、撮影処理を実行する（ステップＳ１０２）。
３次元形状計測処理が開始されると、ＣＰＵ１１は、複数の第１投影画像Ｉｐｒにおいて用いられる複数の行方向縞パターン、及び複数の第２投影画像Ｉｐｃにおいて用いられる複数の列方向縞パターンに基づいて、投影パターン行列Ｐ（行列Ａ）を特定し、前処理を実行する（ステップＳ１０１）。ここでは、ＣＰＵ１１は、上述の式（２－１）～（２－５）の計算及び代入処理を実行する。前処理が終了すると、ＣＰＵ１１は、撮影処理を実行する（ステップＳ１０２）。
【0079】
図１３は、撮影処理の制御手順を示すフローチャートである。
撮影処理が呼び出されると、ＣＰＵ１１は、変数ｍに「１」を代入する（ステップＳ２０１）。また、ＣＰＵ１１は、投影部２０に制御信号を送信して、投影部２０により、ｍ枚目の第１投影画像Ｉｐｒを計測対象物２に投影させる（ステップＳ２０２）。また、ＣＰＵ１１は、第１投影画像Ｉｐｒの投影と同期したタイミングで撮影部３０に制御信号を送信して、撮影部３０により、ｍ枚目の第１撮影画像Ｉｃｒを撮影、取得させる（ステップＳ２０３）。
撮影処理が呼び出されると、ＣＰＵ１１は、変数ｍに「１」を代入する（ステップＳ２０１）。また、ＣＰＵ１１は、投影部２０に制御信号を送信して、投影部２０により、ｍ枚目の第１投影画像Ｉｐｒを計測対象物２に投影させる（ステップＳ２０２）。また、ＣＰＵ１１は、第１投影画像Ｉｐｒの投影と同期したタイミングで撮影部３０に制御信号を送信して、撮影部３０により、ｍ枚目の第１撮影画像Ｉｃｒを撮影、取得させる（ステップＳ２０３）。
【0080】
ＣＰＵ１１は、変数ｍに「ｍ＋１」を代入し（ステップＳ２０４）、変数ｍがＭより大きいか否かを判別する（ステップＳ２０５）。変数ｍがＭ以下である（すなわちＭ枚の第１撮影画像Ｉｃｒの取得が完了していない）と判別された場合には（ステップＳ２０５で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ２０２に戻す。
【0081】
変数ｍがＭより大きい（すなわちＭ枚の第１撮影画像Ｉｃｒの取得が完了した）と判別された場合には（ステップＳ２０５で“ＹＥＳ”）、ＣＰＵ１１は、変数ｍに「１」を代入する（ステップＳ２０６）。また、ＣＰＵ１１は、投影部２０に制御信号を送信して、投影部２０により、ｍ枚目の第２投影画像Ｉｐｃを計測対象物２に投影させる（ステップＳ２０７）。また、ＣＰＵ１１は、第２投影画像Ｉｐｃの投影と同期したタイミングで撮影部３０に制御信号を送信して、撮影部３０により、ｍ枚目の第２撮影画像Ｉｃｃを撮影、取得させる（ステップＳ２０８）。
【0082】
ＣＰＵ１１は、変数ｍに「ｍ＋１」を代入し（ステップＳ２０９）、変数ｍがＭより大きいか否かを判別する（ステップＳ２１０）。変数ｍがＭ以下である（すなわちＭ枚の第２撮影画像Ｉｃｃの取得が完了していない）と判別された場合には（ステップＳ２１０で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ２０７に戻す。変数ｍがＭより大きい（すなわちＭ枚の第２撮影画像Ｉｃｃの取得が完了した）と判別された場合には（ステップＳ２１０で“ＹＥＳ”）、ＣＰＵ１１は、撮影処理を終了させて、処理を３次元形状計測処理に戻す。
【0083】
図１２のフローにおいて撮影処理が終了すると、ＣＰＵ１１は、対応投影画素特定処理を実行する（ステップＳ１０３）
【0084】
図１４は、対応投影画素特定処理の制御手順を示すフローチャートである。
対応投影画素特定処理が呼び出されると、ＣＰＵ１１は、Ｍ枚の第１撮影画像Ｉｃｒに基づいて上述のオンライン処理を実行し、全ての撮影画素ｃについて対応画素行ｐｒｘを特定する（ステップＳ３０１）。ここでは、ＣＰＵ１１は、Ｍ枚の第１撮影画像Ｉｃｒに基づいて撮影画像行列Ｃを特定し、まず上述の式（３－１）、（３－２）の計算及び代入処理を実行する。次いで、変数ｉをインクリメントしつつ上述の式（３－３）～（３－６）の計算を繰り返し実行し、行列Ｗ（行列Ｗｒ）（ＬＴＭ）を取得する。
対応投影画素特定処理が呼び出されると、ＣＰＵ１１は、Ｍ枚の第１撮影画像Ｉｃｒに基づいて上述のオンライン処理を実行し、全ての撮影画素ｃについて対応画素行ｐｒｘを特定する（ステップＳ３０１）。ここでは、ＣＰＵ１１は、Ｍ枚の第１撮影画像Ｉｃｒに基づいて撮影画像行列Ｃを特定し、まず上述の式（３－１）、（３－２）の計算及び代入処理を実行する。次いで、変数ｉをインクリメントしつつ上述の式（３－３）～（３－６）の計算を繰り返し実行し、行列Ｗ（行列Ｗｒ）（ＬＴＭ）を取得する。
【0085】
また、ＣＰＵ１１は、Ｍ枚の第２撮影画像Ｉｃｃに基づいて上述のオンライン処理を実行し、全ての撮影画素ｃについて対応画素列ｐｃｘを特定する（ステップＳ３０２）。ここでは、ＣＰＵ１１は、Ｍ枚の第２撮影画像Ｉｃｃに基づいて撮影画像行列Ｃを特定し、まず上述の式（３－１）、（３－２）の計算及び代入処理を実行する。次いで、変数ｉをインクリメントしつつ上述の式（３－３）～（３－６）の計算を繰り返し実行し、行列Ｗ（行列Ｗｃ）（ＬＴＭ）を取得する。
ステップＳ３０１及びステップＳ３０２は、並行して実行されてもよい。
ステップＳ３０１及びステップＳ３０２は、並行して実行されてもよい。
【0086】
ＣＰＵ１１は、変数ｎに「１」を代入する（ステップＳ３０３）。また、ＣＰＵ１１は、ｎ番目の撮影画素ｃについて、対応画素行ｐｒｘ及び対応画素列ｐｃｘの交点に相当する候補投影画素ｐｘを特定する（ステップＳ３０４）。また、ＣＰＵ１１は、候補投影画素ｐｘのうちエピポーラ拘束を満たすものを抽出し、ｎ番目の撮影画素ｃに対応する対応投影画素ｐｎとして特定する（ステップＳ３０５）。
【0087】
ＣＰＵ１１は、変数ｎに「ｎ＋１」を代入し（ステップＳ３０６）、変数ｎがＮ2より大きいか否かを判別する（ステップＳ３０７）。変数ｎがＮ2以下である（すなわち、いずれかの撮影画素ｃについて対応投影画素ｐｎの特定が完了していない）と判別された場合には（ステップＳ３０７で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ３０４に戻す。各変数ｎに対応するステップＳ３０４、Ｓ３０５の処理は、並行して実行されてもよい。
変数ｎがＮ2より大きい（すなわち、全ての撮影画素ｃについて対応投影画素ｐｎの特定が完了した）と判別された場合には（ステップＳ３０７で“ＹＥＳ”）、ＣＰＵ１１は、対応投影画素特定処理を終了させて、処理を３次元形状計測処理に戻す。
変数ｎがＮ2より大きい（すなわち、全ての撮影画素ｃについて対応投影画素ｐｎの特定が完了した）と判別された場合には（ステップＳ３０７で“ＹＥＳ”）、ＣＰＵ１１は、対応投影画素特定処理を終了させて、処理を３次元形状計測処理に戻す。
【0088】
図１２のフローにおいて対応投影画素特定処理が終了すると、ＣＰＵ１１は、各撮影画素ｃと、その対応投影画素ｐｎとの対応関係に基づき、三角測量の原理を用いて計測対象物２の各対応点の奥行きを算出し、３次元形状を特定する（ステップＳ１０４）。また、ＣＰＵ１１は、特定した３次元形状に係る３次元形状データを生成して記憶部１３に記憶させる。
【0089】
ＣＰＵ１１は、全ての計測対象物２の計測が終了したか否かを判別する（ステップＳ１０５）。未計測の計測対象物２があると判別された場合には（ステップＳ１０５で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ１０２に戻し、次の計測対象物２の３次元形状の計測を開始する。ここでは、ステップＳ１０１の前処理は省略することができる。
全ての計測対象物２の計測が終了したと判別された場合には（ステップＳ１０５で“ＹＥＳ”）、ＣＰＵ１１は、３次元形状計測処理を終了させる。
全ての計測対象物２の計測が終了したと判別された場合には（ステップＳ１０５で“ＹＥＳ”）、ＣＰＵ１１は、３次元形状計測処理を終了させる。
【0090】
以上の３次元形状計測処理のうち、ステップＳ１０２が「第１ステップ」及び「第１処理」に対応し、ステップＳ１０１、Ｓ１０３が「第２ステップ」及び「第２処理」に対応し、ステップＳ１０４が「第３ステップ」及び「第３処理」に対応する。
【0091】
＜比較例に対する効果＞
次に、ランダムパターンの投影画像を用いる従来のＬＴＭ法を比較例として、この比較例に対する本実施形態の効果について説明する。従来のＬＴＭ法は、ランダムパターン（画素ごとにランダムな画素値を取る投影画像のパターン）の複数の投影画像を投影したときの複数の撮影画像に基づいて、撮影画素と投影画素との全ての対応関係を表すＬＴＭをスパース推定により求め、得られた対応点のうちエピポーラ拘束を満たすものを残す方法である。以下、従来のＬＴＭ法によるＬＴＭの算出方法について説明する。ここでは、ｍ枚目（１≦ｍ≦Ｍ）の投影画像のランダムパターンを表すパターンベクトルをｐm（式（４－１））、そのときの撮影画像の内容を表す撮影画素ベクトルをｃm（式（４－２））とする。比較例におけるパターンベクトルｐmは、Ｎ×Ｎ（Ｎ2）次元のベクトルであり、その要素は、投影画像のＮ2個の投影画素の各々がオン又はオフのいずれであるかを表す。比較例における撮影画素ベクトルｃmは、Ｎ×Ｎ（Ｎ2）次元のベクトルであり、その要素は、撮影画像のＮ2個の撮影画素の画素値を表す。
次に、ランダムパターンの投影画像を用いる従来のＬＴＭ法を比較例として、この比較例に対する本実施形態の効果について説明する。従来のＬＴＭ法は、ランダムパターン（画素ごとにランダムな画素値を取る投影画像のパターン）の複数の投影画像を投影したときの複数の撮影画像に基づいて、撮影画素と投影画素との全ての対応関係を表すＬＴＭをスパース推定により求め、得られた対応点のうちエピポーラ拘束を満たすものを残す方法である。以下、従来のＬＴＭ法によるＬＴＭの算出方法について説明する。ここでは、ｍ枚目（１≦ｍ≦Ｍ）の投影画像のランダムパターンを表すパターンベクトルをｐm（式（４－１））、そのときの撮影画像の内容を表す撮影画素ベクトルをｃm（式（４－２））とする。比較例におけるパターンベクトルｐmは、Ｎ×Ｎ（Ｎ2）次元のベクトルであり、その要素は、投影画像のＮ2個の投影画素の各々がオン又はオフのいずれであるかを表す。比較例における撮影画素ベクトルｃmは、Ｎ×Ｎ（Ｎ2）次元のベクトルであり、その要素は、撮影画像のＮ2個の撮影画素の画素値を表す。
【0092】
【数7】
【0093】
【数8】
【0094】
また、Ｍ枚の撮影画像に対応するＭ個の撮影画素ベクトルｃmを表す撮影画像行列をＣ（式（４－３））、Ｍ枚の投影画像に対応するＭ個のパターンベクトルｐmを表す投影パターン行列をＰ（式（４－４））とすると、行列Ｃ及び行列Ｐは、式（４－５）を満たす。ここで、式（４－５）の行列Ｗは、複数の撮影画素の各々が、複数の投影画素のうちいずれに対応するか（どの投影画素から投影された光を検出しているか）を表すＬＴＭである。式（４－６）に示すように、比較例に係る行列Ｗは、Ｎ2×Ｎ2次元の行列である。行列Ｗは、上記実施形態と同様にスパース性を有する。
【0095】
【数9】
【0096】
撮影画像行列Ｃの各行Ｃjの転置行列、及び行列Ｗ（ＬＴＭ）の各行Ｗjの転置行列について、式（４－７）が成り立つ。
【0097】
【数10】
【0098】
Ｗjの転置行列は、１つの撮影画素に対応する投影画素を表す。この場合において、式（４－８）の問題、すなわちＬＡＳＳＯ型の最小値化問題（Ｌ１ノルム正則化の問題）を解くことにより、Ｗjの転置行列（ベクトルｘ）を特定することができる。
【0099】
【数11】
【0100】
式（４－８）を満たすベクトルｘは、以下の公知のアルゴリズムにより計算することができる。下記のアルゴリズムも、ＬＡＳＳＯ型の最小化問題を、近接勾配法を用いて数値的に解くアルゴリズムであって、ＡＤＭＭを用いたものである。当該アルゴリズムでは、変数ｉを１から１００までインクリメントしつつ、各変数ｉについて式（４－９）～（４－１１）の計算を繰り返し実行することで、スパースなベクトルｘが算出される。
【0101】
【数12】
【0102】
この従来のＬＴＭ法では、全ての撮影画素について、対応する投影画素を特定するためには、式（４－９）～（４－１１）のループ処理を、複数の撮影画素のそれぞれに対して別個に実行する必要がある。また、投影画像の解像度を段階的に変更することで後段の計算を簡素化する「多段解像度ＬＴＭ推定」を行う場合には、前段の推定結果に応じて行列Ａ（投影パターン行列Ｐ）を都度構成する必要がある。このため、前段の計算と後段の計算とが独立しておらず、前段の計算の後に後段の計算を行う必要があり、演算時間が長くなる。
【0103】
これに対し、本実施形態では、多段解像度推定が不要であり、全ての撮影画素に対して行列Ａ（投影パターン行列Ｐ）が等しくなる。このため、例えば式（３－３）～（３－６）における行列演算を並列化することができる。
また、対応画素行ｐｒｘの特定のための処理と、対応画素列ｐｃｘの特定のための処理とを並列化することもできる。その際、対応画素行ｐｒｘの特定のための演算と、対応画素列ｐｃｘの特定のための演算とで、行列Ａ（投影パターン行列Ｐ）が同一であるため、容易に並列化を行うことが可能である。
これらのような並列演算による行列Ｗの算出処理をＧＰＵ（Graphics Processing Unit）に実装することで、更なる高速化が実現できる。
また、対応画素行ｐｒｘの特定のための処理と、対応画素列ｐｃｘの特定のための処理とを並列化することもできる。その際、対応画素行ｐｒｘの特定のための演算と、対応画素列ｐｃｘの特定のための演算とで、行列Ａ（投影パターン行列Ｐ）が同一であるため、容易に並列化を行うことが可能である。
これらのような並列演算による行列Ｗの算出処理をＧＰＵ（Graphics Processing Unit）に実装することで、更なる高速化が実現できる。
【0104】
図１５は、本実施形態及び比較例におけるＣＰＵによるＬＴＭの算出時間の計測結果を示す図である。
図１５は、計測対象物２のサンプル１～４の各々について、本実施形態及び比較例における行列Ｗ（ＬＴＭ）の算出時間の計測結果を示す。このうち本実施形態の結果は、ＣＰＵ１１による行列Ｗｒ及び行列Ｗｃの算出時間の合計値である。また、サンプル１、２として、光透過性を有する樹脂部材の計測対象物２を用い、サンプル３、４として、光沢を有する金属部材の計測対象物２を用いた。また、本実施形態及び比較例の各々について、サンプル１～４の算出時間の平均値を求めた。
計測の結果、図１５に示すように、本実施形態の方法を適用した場合おける算出時間の平均値は４．３秒となり、比較例の方法を適用した場合おける算出時間の平均値は７．１秒となった。よって、演算を容易に並列化可能な本実施形態の方法によれば、比較例の方法に対して算出時間を４割程度削減できることが確認された。
なお、上記はＣＰＵによる計算時間であり、本実施形態の処理をＧＰＵを用いて並列化した場合には、１秒以下の計算時間で実行できることが確認されている。
図１５は、計測対象物２のサンプル１～４の各々について、本実施形態及び比較例における行列Ｗ（ＬＴＭ）の算出時間の計測結果を示す。このうち本実施形態の結果は、ＣＰＵ１１による行列Ｗｒ及び行列Ｗｃの算出時間の合計値である。また、サンプル１、２として、光透過性を有する樹脂部材の計測対象物２を用い、サンプル３、４として、光沢を有する金属部材の計測対象物２を用いた。また、本実施形態及び比較例の各々について、サンプル１～４の算出時間の平均値を求めた。
計測の結果、図１５に示すように、本実施形態の方法を適用した場合おける算出時間の平均値は４．３秒となり、比較例の方法を適用した場合おける算出時間の平均値は７．１秒となった。よって、演算を容易に並列化可能な本実施形態の方法によれば、比較例の方法に対して算出時間を４割程度削減できることが確認された。
なお、上記はＣＰＵによる計算時間であり、本実施形態の処理をＧＰＵを用いて並列化した場合には、１秒以下の計算時間で実行できることが確認されている。
【0105】
＜変形例＞
次に、上記実施形態の変形例について説明する。本変形例は、１つの撮影画素に対応する対応画素行ｐｒｘ及び対応画素列ｐｃｘの特定方法が上記実施形態と異なる。以下では、上記実施形態との相違点について説明し、上記実施形態と共通する点については説明を省略する。
次に、上記実施形態の変形例について説明する。本変形例は、１つの撮影画素に対応する対応画素行ｐｒｘ及び対応画素列ｐｃｘの特定方法が上記実施形態と異なる。以下では、上記実施形態との相違点について説明し、上記実施形態と共通する点については説明を省略する。
【0106】
図１６は、変形例に係る第１投影画像Ｉｐｒ及び第２投影画像Ｉｐｃを示す図である。
図１６（ａ）に示すように、本変形例に係る複数の第１投影画像Ｉｐｒも、互いに異なる行方向縞パターンを含む。本変形例に係る第１投影画像Ｉｐｒの各投影画素ｐは、多段階の画素値（異なる複数の階調値）をとり得る。ここで、複数の第１投影画像Ｉｐｒの行方向縞パターンは、１枚目～Ｍ枚目の第１投影画像Ｉｐｒを順に投影したときに、行方向縞パターンにおける各投影画素行ｐｒに対応する部分が、投影画素行ｐｒごとに異なる周波数（以下、第１周波数と記す）で変化するように定められている。具体的には、１行目～Ｎ行目の各投影画素行ｐｒにおける第１周波数が、それぞれｆ1～ｆNとなるように行方向縞パターン（各第１投影画像Ｉｐｒの各投影画素ｐの画素値）が定められている。第１周波数ｆ1～ｆNは、互いに異なっていればよく、必ずしも昇順又は降順に並んでいなくてもよい。
図１６（ａ）に示すように、本変形例に係る複数の第１投影画像Ｉｐｒも、互いに異なる行方向縞パターンを含む。本変形例に係る第１投影画像Ｉｐｒの各投影画素ｐは、多段階の画素値（異なる複数の階調値）をとり得る。ここで、複数の第１投影画像Ｉｐｒの行方向縞パターンは、１枚目～Ｍ枚目の第１投影画像Ｉｐｒを順に投影したときに、行方向縞パターンにおける各投影画素行ｐｒに対応する部分が、投影画素行ｐｒごとに異なる周波数（以下、第１周波数と記す）で変化するように定められている。具体的には、１行目～Ｎ行目の各投影画素行ｐｒにおける第１周波数が、それぞれｆ1～ｆNとなるように行方向縞パターン（各第１投影画像Ｉｐｒの各投影画素ｐの画素値）が定められている。第１周波数ｆ1～ｆNは、互いに異なっていればよく、必ずしも昇順又は降順に並んでいなくてもよい。
【0107】
また、図１６（ｂ）に示すように、本変形例に係る複数の第２投影画像Ｉｐｃも、互いに異なる列方向縞パターンを含む。本変形例に係る第２投影画像Ｉｐｃの各投影画素ｐは、多段階の画素値（異なる複数の階調値）をとり得る。ここで、複数の第２投影画像Ｉｐｃの列方向縞パターンは、１枚目～Ｍ枚目の第２投影画像Ｉｐｃを順に投影したときに、列方向縞パターンにおける各投影画素列ｐｃに対応する部分が、投影画素列ｐｃごとに異なる周波数（以下、第２周波数と記す）で変化するように定められている。具体的には、１列目～Ｎ列目の各投影画素列ｐｃにおける第２周波数が、それぞれｆ1～ｆNとなるように行方向縞パターン（各第１投影画像Ｉｐｒの各投影画素ｐの画素値）が定められている。第２周波数ｆ1～ｆNは、互いに異なっていればよく、必ずしも昇順又は降順に並んでいなくてもよい。また、第２周波数ｆ1～ｆNは、それぞれ第１周波数ｆ1～ｆNと同一であってもよい。
【0108】
第１ステップでは、上記の複数の第１投影画像Ｉｐｒ及び複数の第２投影画像Ｉｐｃを計測対象物２に投影し、上記実施形態と同様に複数の第１撮影画像Ｉｃｒ及び第２撮影画像Ｉｃｃを取得する。
【0109】
続く第２ステップでは、各撮影画素ｃについて、複数の第１撮影画像Ｉｃｒに基づいて、第１周波数ｆ1～ｆNに基づく対応付けにより対応画素行ｐｒｘを特定する。すなわち、Ｍ枚の第１撮影画像Ｉｃｒにおける対象の撮影画素ｃのパターンの変化を動画とみなして、フーリエ変換により周波数分解し、当該撮影画素ｃが、第１周波数ｆ1～ｆNのうちいずれの周波数成分を有するパターンを検出しているかを特定する。そして、特定された第１周波数に相当する投影画素行ｐｒを、対応画素行ｐｒｘとして特定する。
【0110】
列方向についても同様に、各撮影画素ｃについて、複数の第２撮影画像Ｉｃｃに基づいて、第２周波数ｆ1～ｆNに基づく対応付けにより対応画素列ｐｃｘを特定する。すなわち、Ｍ枚の第２撮影画像Ｉｃｃにおける対象の撮影画素ｃのパターンの変化を動画とみなして、フーリエ変換により周波数分解し、当該撮影画素ｃが、第２周波数ｆ1～ｆNのうちいずれの周波数成分を有するパターンを検出しているかを特定する。そして、特定された第２周波数に相当する投影画素列ｐｃを、対応画素列ｐｃｘとして特定する。
以降の候補投影画素ｐｘの特定方法、及びエピポーラ拘束を考慮した対応投影画素ｐｎの抽出方法は、上記実施形態と同様である。
以降の候補投影画素ｐｘの特定方法、及びエピポーラ拘束を考慮した対応投影画素ｐｎの抽出方法は、上記実施形態と同様である。
【0111】
＜効果＞
以上のように、本実施形態に係る３次元形状計測方法は、投影画像Ｉｐを投影可能な投影部２０により、互いに異なる行方向縞パターンを含む複数の第１投影画像Ｉｐｒ、及び互いに異なる列方向縞パターンを含む複数の第２投影画像Ｉｐｃを計測対象物２に投影し、計測対象物２の撮影画像Ｉｃを取得可能な撮影部３０により、複数の第１投影画像Ｉｐｒの各投影時における複数の第１撮影画像Ｉｃｒ、及び複数の第２投影画像Ｉｐｃの各投影時における複数の第２撮影画像Ｉｃｃを取得する第１ステップと、撮影画像Ｉｃの複数の撮影画素ｃの各々に対応する、投影画像Ｉｐの投影画素ｐ（対応投影画素ｐｎ）を特定する第２ステップと、第２ステップの結果に基づいて計測対象物２の３次元形状を特定する第３ステップと、を有する。第２ステップでは、複数の撮影画素ｃの各々について、複数の第１撮影画像Ｉｃｒと、複数の第１投影画像Ｉｐｒの行方向縞パターンとに基づいて、投影画像Ｉｐの複数の投影画素行ｐｒのうち当該撮影画素ｃに対応する対応画素行ｐｒｘを特定し、複数の第２撮影画像Ｉｃｃと、複数の第２投影画像Ｉｐｃの列方向縞パターンとに基づいて、投影画像Ｉｐの複数の投影画素列ｐｃのうち当該撮影画素ｃに対応する対応画素列ｐｃｘを特定し、対応画素行ｐｒｘ及び対応画素列ｐｃｘの交点に相当する投影画素ｐ（候補投影画素ｐｘ）のうちエピポーラ拘束を満たす投影画素ｐから、当該撮影画素ｃに対応する投影画素ｐ（対応投影画素ｐｎ）を特定する。
このような方法によれば、投影パターンを表すベクトルの次元数を、従来のＬＴＭ法における「Ｎ2」（投影画像Ｉｐの全画素数）から、「Ｎ」（投影画像Ｉｐの行数（列数））に低減できるため、投影パターン行列Ｐ（複数の第１投影画像Ｉｐｒの行方向縞パターンを表す行列、及び複数の第２投影画像Ｉｐｃの列方向縞パターンを表す行列）の次元数を低減でき、行列演算における計算量を大幅に削減することができる。これにより、演算時間を短縮することができる。
また、計算量を減らす従来法には多段解像度ＬＴＭ推定があるが、解像度の切り替え前後で投影パターン行列Ｐが共通ではなくなるため並列処理に向かないのに対して、上記実施形態の方法によれば、行列Ｗｒ及び行列Ｗｃ（ＬＴＭ）を特定するための演算の全体に亘って共通の投影パターン行列Ｐを用いることができるため、容易に処理を並列化することができる。また、従来の多段解像度ＬＴＭ推定では、解像度の切り替え前後で撮影画素ｃごとにパターン行列が変わるため、撮影画素ｃごとの並列処理が困難であり、ＧＰＵ実装を行うことができない。これに対し、上記実施形態の方法では、全ての撮影画素ｃに対して投影パターン行列Ｐが共通のままであるため、行列Ｗｒ及び行列Ｗｃを算出する際における各撮影画素ｃについての計算内容を統一することが可能であり、複数の撮影画素ｃについての演算を並列化しやすい。このため、演算時間を短縮することができる。また、ＧＰＵ実装が可能であり、ＧＰＵ実装によって演算時間をさらに短縮することができる。
また、対応画素行ｐｒｘの特定のための処理と、対応画素列ｐｃｘの特定のための処理とを並列化することもできる。これによっても、演算時間を短縮することができる。
また、撮影画素ｃと対応投影画素ｐｎとの対応関係を複数得ておいた上で、エピポーラ拘束を満たすものを抽出する方法により、直接反射光に相当する対応投影画素ｐｎを、簡易かつ適切に抽出することができる。
以上のように、本実施形態に係る３次元形状計測方法は、投影画像Ｉｐを投影可能な投影部２０により、互いに異なる行方向縞パターンを含む複数の第１投影画像Ｉｐｒ、及び互いに異なる列方向縞パターンを含む複数の第２投影画像Ｉｐｃを計測対象物２に投影し、計測対象物２の撮影画像Ｉｃを取得可能な撮影部３０により、複数の第１投影画像Ｉｐｒの各投影時における複数の第１撮影画像Ｉｃｒ、及び複数の第２投影画像Ｉｐｃの各投影時における複数の第２撮影画像Ｉｃｃを取得する第１ステップと、撮影画像Ｉｃの複数の撮影画素ｃの各々に対応する、投影画像Ｉｐの投影画素ｐ（対応投影画素ｐｎ）を特定する第２ステップと、第２ステップの結果に基づいて計測対象物２の３次元形状を特定する第３ステップと、を有する。第２ステップでは、複数の撮影画素ｃの各々について、複数の第１撮影画像Ｉｃｒと、複数の第１投影画像Ｉｐｒの行方向縞パターンとに基づいて、投影画像Ｉｐの複数の投影画素行ｐｒのうち当該撮影画素ｃに対応する対応画素行ｐｒｘを特定し、複数の第２撮影画像Ｉｃｃと、複数の第２投影画像Ｉｐｃの列方向縞パターンとに基づいて、投影画像Ｉｐの複数の投影画素列ｐｃのうち当該撮影画素ｃに対応する対応画素列ｐｃｘを特定し、対応画素行ｐｒｘ及び対応画素列ｐｃｘの交点に相当する投影画素ｐ（候補投影画素ｐｘ）のうちエピポーラ拘束を満たす投影画素ｐから、当該撮影画素ｃに対応する投影画素ｐ（対応投影画素ｐｎ）を特定する。
このような方法によれば、投影パターンを表すベクトルの次元数を、従来のＬＴＭ法における「Ｎ2」（投影画像Ｉｐの全画素数）から、「Ｎ」（投影画像Ｉｐの行数（列数））に低減できるため、投影パターン行列Ｐ（複数の第１投影画像Ｉｐｒの行方向縞パターンを表す行列、及び複数の第２投影画像Ｉｐｃの列方向縞パターンを表す行列）の次元数を低減でき、行列演算における計算量を大幅に削減することができる。これにより、演算時間を短縮することができる。
また、計算量を減らす従来法には多段解像度ＬＴＭ推定があるが、解像度の切り替え前後で投影パターン行列Ｐが共通ではなくなるため並列処理に向かないのに対して、上記実施形態の方法によれば、行列Ｗｒ及び行列Ｗｃ（ＬＴＭ）を特定するための演算の全体に亘って共通の投影パターン行列Ｐを用いることができるため、容易に処理を並列化することができる。また、従来の多段解像度ＬＴＭ推定では、解像度の切り替え前後で撮影画素ｃごとにパターン行列が変わるため、撮影画素ｃごとの並列処理が困難であり、ＧＰＵ実装を行うことができない。これに対し、上記実施形態の方法では、全ての撮影画素ｃに対して投影パターン行列Ｐが共通のままであるため、行列Ｗｒ及び行列Ｗｃを算出する際における各撮影画素ｃについての計算内容を統一することが可能であり、複数の撮影画素ｃについての演算を並列化しやすい。このため、演算時間を短縮することができる。また、ＧＰＵ実装が可能であり、ＧＰＵ実装によって演算時間をさらに短縮することができる。
また、対応画素行ｐｒｘの特定のための処理と、対応画素列ｐｃｘの特定のための処理とを並列化することもできる。これによっても、演算時間を短縮することができる。
また、撮影画素ｃと対応投影画素ｐｎとの対応関係を複数得ておいた上で、エピポーラ拘束を満たすものを抽出する方法により、直接反射光に相当する対応投影画素ｐｎを、簡易かつ適切に抽出することができる。
【0112】
また、投影画像Ｉｐにおけるエピポーラ線Ｌｐと重なる投影画素ｐを、エピポーラ拘束を満たす投影画素ｐとすることにより、直接反射光に相当する対応投影画素ｐｎを正確に抽出することができる。よって、間接反射光に起因する計測誤差をより確実に低減することができる。
【0113】
また、投影画像Ｉｐにおけるエピポーラ線Ｌｐからの距離が所定距離以内である投影画素ｐを、エピポーラ拘束を満たす投影画素ｐとすることにより、直接反射光に相当する対応投影画素ｐｎを、より確実に抽出することができる。すなわち、直接反射光に相当する対応投影画素ｐｎの抽出漏れを生じにくくすることができる。
【0114】
また、第２ステップでは、エピポーラ線Ｌｐに近い投影画素ｐほど重み付けが大きくなるように評価値を定め、当該評価値に基づいて、撮影画素ｃに対応する投影画素ｐ（対応投影画素ｐｎ）を特定する。これにより、エピポーラ線Ｌｐに近い投影画素ｐを優先して対応投影画素ｐｎとして抽出することができる。
【0115】
また、評価値が最も大きい投影画素ｐを、撮影画素ｃに対応する投影画素ｐとして特定することにより、直接反射光に相当する投影画素ｐがより抽出されやすいように、また、間接反射光に相当する投影画素ｐがより排除されやすいようにすることができる。
【0116】
また、評価値が所定の基準値以上である投影画素ｐを、撮影画素ｃに対応する投影画素ｐとして特定することにより、直接反射光に相当する対応投影画素ｐｎを、より確実に抽出することができる。すなわち、直接反射光に相当する対応投影画素ｐｎの抽出漏れを生じにくくすることができる。
【0117】
また、任意の撮影画素ｃに対応するエピポーラ線Ｌｐが、投影画像Ｉｐの投影画素行ｐｒ及び投影画素列ｐｃのいずれとも非平行となるように投影部２０及び撮影部３０の位置関係が定められている。これにより、エピポーラ拘束条件がより効果的に効くようにすることができる。すなわち、エピポーラ拘束を満たす投影画素ｐを抽出する方法によって、直接反射光に相当する投影画素ｐをより正確に抽出することができる。
【0118】
また、第２ステップでは、複数の第１撮影画像Ｉｃｒを表す撮影画像行列Ｃ、及び複数の第１投影画像Ｉｐｒに含まれる複数の行方向縞パターンを表す投影パターン行列Ｐに基づいて、複数の撮影画素ｃの各々に対応する対応画素行ｐｒｘを表す行列Ｗｒ（ＬＴＭ）を、スパース最適化により特定し、複数の第２撮影画像Ｉｃｃを表す撮影画像行列Ｃ、及び複数の第２投影画像Ｉｐｃに含まれる複数の列方向縞パターンを表す投影パターン行列Ｐに基づいて、複数の撮影画素ｃの各々に対応する対応画素列ｐｃｘを表す行列Ｗｃ（ＬＴＭ）を、スパース最適化により特定する。これにより、行列Ｗｒ及び行列Ｗｃがスパース性を有していることを利用して、より少ない第１投影画像Ｉｐｒ及び第２投影画像Ｉｐｃ（すなわち、より少ない第１撮影画像Ｉｃｒ及び第２撮影画像Ｉｃｃ）に基づいて、簡易な計算で正確に、対応画素行ｐｒｘ及び対応画素列ｐｃｘを特定することができる。
【0119】
また、変形例に係る３次元形状計測方法において、第１ステップでは、投影時に、行方向縞パターンにおける各投影画素行ｐｒに対応する部分が、投影画素行ｐｒごとに異なる第１周波数で変化するような複数の第１投影画像Ｉｐｒ、及び、投影時に、列方向縞パターンにおける各投影画素列ｐｃに対応する部分が、投影画素列ｐｃごとに異なる第２周波数で変化するような複数の第２投影画像Ｉｐｃを投影し、第２ステップでは、各撮影画素ｃについて、複数の第１撮影画像Ｉｃｒに基づいて、第１周波数に基づく対応付けにより対応画素行ｐｒｘを特定し、複数の第２撮影画像Ｉｃｃに基づいて、第２周波数に基づく対応付けにより対応画素列ｐｃｘを特定する。このような方法によっても、対応画素行ｐｒｘ及び対応画素列ｐｃｘを特定することができる。
【0120】
また、投影画像Ｉｐは、投影画素行ｐｒの数及び投影画素列ｐｃの数が等しい。これにより、対応画素行ｐｒｘの特定のための処理内容と、対応画素列ｐｃｘの特定のための処理内容とを共通化することができる。よって、ＣＰＵ１１の処理負担を軽減できるとともに、処理を容易に並列化することができる。
【0121】
また、複数の第２投影画像Ｉｐｃの各々における列方向縞パターンは、パターンの向きを除いて、複数の第１投影画像Ｉｐｒの各々における行方向縞パターンと同一である。これにより、対応画素行ｐｒｘの特定のための演算と、対応画素列ｐｃｘの特定のための演算とで、投影パターン行列Ｐ（行列Ａ）を同一にすることができる。よって、より容易に処理を並列化することができる。
【0122】
また、本実施形態に係る３次元形状計測装置１０は、処理部としてのＣＰＵ１１を備える。ＣＰＵ１１は、投影画像Ｉｐを投影可能な投影部２０により、互いに異なる行方向縞パターンを含む複数の第１投影画像Ｉｐｒ、及び互いに異なる列方向縞パターンを含む複数の第２投影画像Ｉｐｃを計測対象物２に投影させ、計測対象物２の撮影画像Ｉｃを取得可能な撮影部３０により、複数の第１投影画像Ｉｐｒの各投影時における複数の第１撮影画像Ｉｃｒ、及び複数の第２投影画像Ｉｐｃの各投影時における複数の第２撮影画像Ｉｃｃを取得させる第１処理と、撮影画像Ｉｃの複数の撮影画素ｃの各々に対応する、投影画像Ｉｐの投影画素ｐ（対応投影画素ｐｎ）を特定する第２処理と、第２処理の結果に基づいて計測対象物２の３次元形状を特定する第３処理と、を実行する。ＣＰＵ１１は、第２処理では、複数の撮影画素ｃの各々について、複数の第１撮影画像Ｉｃｒと、複数の第１投影画像Ｉｐｒの行方向縞パターンとに基づいて、投影画像Ｉｐの複数の投影画素行ｐｒのうち当該撮影画素ｃに対応する対応画素行ｐｒｘを特定し、複数の第２撮影画像Ｉｃｃと、複数の第２投影画像Ｉｐｃの列方向縞パターンとに基づいて、投影画像Ｉｐの複数の投影画素列ｐｃのうち当該撮影画素ｃに対応する対応画素列ｐｃｘを特定し、対応画素行ｐｒｘ及び対応画素列ｐｃｘの交点に相当する投影画素ｐのうちエピポーラ拘束を満たす投影画素ｐから、当該撮影画素ｃに対応する投影画素ｐを特定する。
これによれば、行（列）方向縞パターンを用いることで、投影パターン行列Ｐの次元数を低減できるため、行列演算における計算量を大幅に削減できるとともに、演算時間を短縮することができる。また、各撮影画素ｃについての計算内容を統一することが可能であり、各撮影画素ｃについての演算を並列化しやすくなるため、演算時間を短縮することができる。また、ＧＰＵ実装が容易であり、ＧＰＵ実装によって演算時間をさらに短縮することができる。また、対応画素行ｐｒｘの特定のための処理と、対応画素列ｐｃｘの特定のための処理とを並列化することによっても、演算時間を短縮することができる。また、撮影画素ｃと対応投影画素ｐｎとの対応関係を複数得ておいた上で、エピポーラ拘束を満たすものを抽出する方法により、直接反射光に相当する対応投影画素ｐｎを、簡易かつ適切に抽出することができる。
これによれば、行（列）方向縞パターンを用いることで、投影パターン行列Ｐの次元数を低減できるため、行列演算における計算量を大幅に削減できるとともに、演算時間を短縮することができる。また、各撮影画素ｃについての計算内容を統一することが可能であり、各撮影画素ｃについての演算を並列化しやすくなるため、演算時間を短縮することができる。また、ＧＰＵ実装が容易であり、ＧＰＵ実装によって演算時間をさらに短縮することができる。また、対応画素行ｐｒｘの特定のための処理と、対応画素列ｐｃｘの特定のための処理とを並列化することによっても、演算時間を短縮することができる。また、撮影画素ｃと対応投影画素ｐｎとの対応関係を複数得ておいた上で、エピポーラ拘束を満たすものを抽出する方法により、直接反射光に相当する対応投影画素ｐｎを、簡易かつ適切に抽出することができる。
【0123】
なお、本発明は、上記実施形態及び各変形例に限られるものではなく、様々な変更が可能である。
例えば、上記実施形態では、３次元形状計測装置１０、投影部２０及び撮影部３０が別個に設けられている例を用いて説明したが、この構成に限られず、これらのうち一部又は全部が統合された構成であってもよい。
例えば、上記実施形態では、３次元形状計測装置１０、投影部２０及び撮影部３０が別個に設けられている例を用いて説明したが、この構成に限られず、これらのうち一部又は全部が統合された構成であってもよい。
【0124】
また、上記実施形態では、第１投影画像Ｉｐｒの行方向縞パターン、及び第２投影画像Ｉｐｃの列方向縞パターンが、オン（黒）又はオフ（白）の２値の組み合わせからなる態様を例示したが、これに限られず、３値以上の多値の行方向縞パターン及び列方向縞パターンを用いてもよい。言い換えると、第１投影画像Ｉｐｒ及び第２投影画像Ｉｐｃの各投影画素ｐの画素値は２値に限られず、３値以上の多値であってもよい。
【0125】
また、投影画像Ｉｐの複数の投影画素ｐは、投影部２０の投影素子の複数の画素と１対１に対応し、撮影画素ｃの複数の撮影画素ｃは、撮影部３０の撮像素子の複数の画素と１対１に対応する。よって、撮影画素ｃに対応する対応投影画素ｐｎを特定することは、撮像素子の画素に対応する投影素子の画素を特定することと言い換えることができる。
【0126】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定されるものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
【符号の説明】
【0127】
１ ３次元形状計測システム
２ 計測対象物
１０ ３次元形状計測装置
１１ ＣＰＵ（処理部）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１４ 操作部
１５ 表示部
１６ 通信部
１７ バス
２０ 投影部
３０ 撮影部
Ｉｃ 撮影画像
Ｉｃｒ 第１撮影画像
Ｉｃｃ 第２撮影画像
Ｉｐ 投影画像
Ｉｐｒ 第１投影画像
Ｉｐｃ 第２投影画像
Ｌｐ エピポーラ線
ｃ、ｃ１ 撮影画素
ｃｒ 撮影画素行
ｃｃ 撮影画素列
ｐ、ｐ１、ｐ２ 投影画素
ｐｒ 投影画素行
ｐｒｘ 対応画素行
ｐｎ 対応投影画素
ｐｃ 投影画素列
ｐｃｘ 対応画素列
ｐｘ、ｐｘ１～ｐｘ５ 候補投影画素
２ 計測対象物
１０ ３次元形状計測装置
１１ ＣＰＵ（処理部）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１４ 操作部
１５ 表示部
１６ 通信部
１７ バス
２０ 投影部
３０ 撮影部
Ｉｃ 撮影画像
Ｉｃｒ 第１撮影画像
Ｉｃｃ 第２撮影画像
Ｉｐ 投影画像
Ｉｐｒ 第１投影画像
Ｉｐｃ 第２投影画像
Ｌｐ エピポーラ線
ｃ、ｃ１ 撮影画素
ｃｒ 撮影画素行
ｃｃ 撮影画素列
ｐ、ｐ１、ｐ２ 投影画素
ｐｒ 投影画素行
ｐｒｘ 対応画素行
ｐｎ 対応投影画素
ｐｃ 投影画素列
ｐｃｘ 対応画素列
ｐｘ、ｐｘ１～ｐｘ５ 候補投影画素
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】