特許 7294026 縞パターン画像決定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-12

(45)【発行日】2023-06-20

(54)【発明の名称】縞パターン画像決定方法

(51)【国際特許分類】

   G01B 11/25 20060101AFI20230613BHJP

【ＦＩ】

G01B11/25 H

【請求項の数】 5

(21)【出願番号】P 2019173236

(22)【出願日】2019-09-24

(65)【公開番号】P2021050974

(43)【公開日】2021-04-01

【審査請求日】2022-01-25

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】丸谷 太一

【審査官】飯村 悠斗

(56)【参考文献】

【文献】特開２０１５－０８７３２１（ＪＰ，Ａ）

【文献】国際公開第２０１９／１４６８６１（ＷＯ，Ａ１）

【文献】国際公開第２０１１／１４５３１９（ＷＯ，Ａ１）

【文献】特開２０１１－１３７６９７（ＪＰ，Ａ）

【文献】特開２００２－０４８５２３（ＪＰ，Ａ）

【文献】特開２００８－２９２４３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

位相シフト法を用いた三次元計測用の縞パターン画像を決定する縞パターン画像決定方法であって、
プロジェクタ（２０）の画素座標の一方向の変化に対して輝度が線形に変化する単色グラデーションパターン画像を前記プロジェクタが投影面に投影し、前記投影面に投影された前記単色グラデーションパターン画像をカメラ（３０）で撮影する画像撮影工程（Ｓ３）と、
前記プロジェクタの画素座標と前記単色グラデーションパターン画像の輝度である入力輝度との関係、および、前記画像撮影工程で前記カメラが撮影した前記単色グラデーションパターン画像の画素座標に対する輝度である出力輝度の関係とに基づいて、前記入力輝度に対する前記出力輝度の対応関係を決定する入出力関係決定工程（Ｓ４）と、
前記入力輝度に対する前記出力輝度の対応関係において、前記入力輝度の変化に対する前記出力輝度の変化が非線形になる部分の少なくとも一部を除外して、前記単色グラデーションパターン画像と同じ単色であって、前記三次元計測用の縞パターン画像を生成するための単色縞パターン画像の輝度変化範囲を上限と下限のしきい値により決定する輝度範囲決定工程（Ｓ７）と、
前記輝度範囲決定工程で決定した前記輝度変化範囲内で輝度が変化する前記単色縞パターン画像に基づいて、前記三次元計測用の縞パターン画像である補正縞パターン画像を決定する補正縞パターン画像決定工程（Ｓ８）と、を備え、
前記補正縞パターン画像は、前記カメラが備えるカラーフィルタにより分離可能な３色の前記単色縞パターン画像を合成した画像であり、
前記画像撮影工程では、前記プロジェクタから、３色の前記単色縞パターン画像にそれぞれ対応した３色の前記単色グラデーションパターン画像を投影し、かつ、前記カメラは、色別の前記単色グラデーションパターン画像を別々に撮影し、
前記入出力関係決定工程では、色別に前記対応関係を決定し、
前記輝度範囲決定工程では、色別に前記単色縞パターン画像の輝度変化範囲を決定し、
前記補正縞パターン画像決定工程では、前記輝度範囲決定工程で色別に決定した輝度変化範囲内で輝度が変化する３色の前記単色縞パターン画像を合成して、前記補正縞パターン画像とする、縞パターン画像決定方法。

【請求項2】

請求項１に記載の縞パターン画像決定方法において、
前記プロジェクタから、画像の全部が単色であって明るさが均一である前補正用画像を投影し、前記カメラで前記前補正用画像を撮影する前補正用画像撮影工程（Ｓ１）と、
前記前補正用画像撮影工程で前記カメラが撮影して出力する前記前補正用画像の輝度が均一になる補正設定を決定する補正工程（Ｓ２）とを備え、
前記画像撮影工程で前記カメラが撮影して出力する前記単色グラデーションパターン画像は、前記補正工程で決定した前記補正設定が適用された画像である、縞パターン画像決定方法。

【請求項3】

請求項１または２に記載の縞パターン画像決定方法において、
前記輝度範囲決定工程で、前記単色縞パターン画像の輝度変化範囲を、前記対応関係において前記入力輝度の変化に対する前記出力輝度の変化が線形となる前記入力輝度の範囲とする、縞パターン画像決定方法。

【請求項4】

請求項１または２に記載の縞パターン画像決定方法において、
前記輝度範囲決定工程において、前記単色縞パターン画像の輝度変化範囲を、輝度範囲の全体から、前記対応関係において前記入力輝度が変化しても前記出力輝度が変化しない前記入力輝度の範囲を除外した範囲とする、縞パターン画像決定方法。

【請求項5】

請求項１に記載の縞パターン画像決定方法において、
前記輝度範囲決定工程は、
前記３色のうち、前記対応関係において前記入力輝度の変化に対する前記出力輝度の変化が線形となる前記出力輝度の範囲が最も狭い予め設定された代表色については、前記対応関係において前記入力輝度の変化に対する前記出力輝度の変化が線形である前記入力輝度の範囲を、前記単色縞パターン画像の輝度変化範囲とし、
前記３色のうち他の２色については、前記代表色の対応関係において前記入力輝度の変化に対する前記出力輝度の変化が線形となる前記出力輝度の範囲を決定し、他の２色それぞれの前記対応関係において、前記出力輝度の範囲に対応する前記入力輝度の範囲を、各色の前記単色縞パターン画像の輝度変化範囲とする、縞パターン画像決定方法。

【発明の詳細な説明】

【技術分野】

【0001】

位相シフト法用の縞パターン画像を決定する縞パターン画像決定方法に関する。

【背景技術】

【0002】

計測対象物の三次元形状等を計測する三次元計測装置として、位相シフト法を用いる装置が知られている。位相シフト法は位相をずらした複数枚の縞パターン画像を投影し三角測量を行う手法である。

【0003】

特許文献１は、三次元計測装置を用いた三次元形状の計測に要する時間の短縮を図る手法を開示している。特許文献１に開示されている三次元計測装置は、各位相の縞を異なる波長の光（例として赤、緑、青）に割り当て、これを合成した縞パターン画像を計測対象物に投影する。この縞パターン画像を投影している計測対象物をカラーカメラで撮影する。そして、撮影した画像から、各色成分を抽出することで１回の撮影で位相算出を行う。

【0004】

位相シフト法では、プロジェクタが投影する縞パターン画像の輝度が画素座標に対して線形に変化することを前提としている。また、縞パターン画像が平面に投影されたのであれば、カメラが撮影する縞パターン画像の輝度も画素座標に対して線形に変化することを前提としている。

【0005】

しかし、実際には、プロジェクタが投影する光の強度と、コンピュータなどの画像データ出力装置から入力された指示値との関係は完全に線形ではない。その結果、プロジェクタが投影する縞パターン画像の輝度が画素座標に対して完全には線形でない。また、カメラが計測する、計測対象物に投影された光の強度の計測値も、実際の光の強度に対して完全には線形ではない。

【0006】

そこで、非特許文献１には、カメラが撮影した画像の各画素座標の輝度値と、プロジェクタが投影する正弦波縞パターン画像において対応する座標の輝度値の差を求める手法が提案されている。非特許文献１に提案されている手法は、上記輝度値の差を、プロジェクタが投影する正弦波縞パターン画像の輝度値にフィードバックし、その後、再び上記輝度値の差を計測することを繰り返すことで、正弦波縞パターン画像の輝度値を最適化している。

【先行技術文献】

【特許文献】

【0007】

【文献】特許第３７２３０５７号公報

【非特許文献】

【0008】

【文献】加藤、外３名、“投影装置補正による位相シフト法を用いた三次元計測精度の向上”、第１１回情報科学技術フォーラム、講演予稿集、２０１２年９月、Ｐ３１９－３２０

【発明の概要】

【発明が解決しようとする課題】

【0009】

非特許文献１には、フィードバックを１５０回繰り返すことで、精度が向上していることを示す実験結果が示されている。非特許文献１に開示された手法は、フィードバックを多数回繰り返す必要があるので、補正した縞パターン画像を決定するのに時間がかかってしまうという問題がある。

【0010】

本開示は、この事情に基づいて成されたものであり、第１の目的は、精度よく計測対象物の三次元形状を計測できる縞パターン画像を短時間で決定することができる縞パターン画像決定方法を提供することにある。

【課題を解決するための手段】

【0012】

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示した技術的範囲を限定するものではない。

【0013】

上記第１の目的を達成するための請求項１に係る縞パターン画像決定方法は、
位相シフト法を用いた三次元計測用の縞パターン画像を決定する縞パターン画像決定方法であって、
プロジェクタ（２０）の画素座標の一方向の変化に対して輝度が線形に変化する単色グラデーションパターン画像をプロジェクタが投影面に投影し、投影面に投影された単色グラデーションパターン画像をカメラ（３０）で撮影する画像撮影工程（Ｓ３）と、
プロジェクタの画素座標と単色グラデーションパターン画像の輝度である入力輝度との関係、および、画像撮影工程でカメラが撮影した単色グラデーションパターン画像の画素座標に対する輝度である出力輝度の関係とに基づいて、入力輝度に対する出力輝度の対応関係を決定する入出力関係決定工程（Ｓ４）と、
入力輝度に対する出力輝度の対応関係において、入力輝度の変化に対する出力輝度の変化が非線形になる部分の少なくとも一部を除外して、単色グラデーションパターン画像と同じ単色であって、三次元計測用の縞パターン画像を生成するための単色縞パターン画像の輝度変化範囲を上限と下限のしきい値により決定する輝度範囲決定工程（Ｓ７）と、
輝度範囲決定工程で決定した輝度変化範囲内で輝度が変化する単色縞パターン画像に基づいて、三次元計測用の縞パターン画像である補正縞パターン画像を決定する補正縞パターン画像決定工程（Ｓ８）と、を備え、
補正縞パターン画像は、カメラが備えるカラーフィルタにより分離可能な３色の単色縞パターン画像を合成した画像であり、
画像撮影工程では、プロジェクタから、３色の単色縞パターン画像にそれぞれ対応した３色の単色グラデーションパターン画像を投影し、かつ、カメラは、色別の単色グラデーションパターン画像を別々に撮影し、
入出力関係決定工程では、色別に対応関係を決定し、
輝度範囲決定工程では、色別に単色縞パターン画像の輝度変化範囲を決定し、
補正縞パターン画像決定工程では、輝度範囲決定工程で色別に決定した輝度変化範囲内で輝度が変化する３色の単色縞パターン画像を合成して、補正縞パターン画像とする。

【0014】

位相シフト法は、正弦波状に輝度が変化する縞パターン画像を投影し、出力輝度が示す波形が入力輝度の変化を示す正弦波に対してどの程度位相がずれているかを計測する。この位相のずれが、計測対象物までの距離に対応するとして、計測対象物の三次元形状を計測する。したがって、精度よく三次元形状を計測するためには、入力輝度に対する出力輝度の変化が線形である必要がある。

【0015】

上記縞パターン画像決定方法では、単色縞パターン画像の輝度変化範囲から、入力輝度の変化に対する出力輝度の変化が非線形になる部分の少なくとも一部が除外されているので、その単色縞パターン画像に基づいて決定する補正縞パターン画像も、入力輝度に対する出力輝度の変化が少なくなってしまうことが抑制される。よって、補正縞パターン画像を用いることで、精度よく計測対象物の三次元形状を計測することができる。

【0016】

また、補正縞パターン画像を決定するためには、単色縞パターン画像の輝度変化範囲を決定すればよい。単色縞パターン画像の輝度変化範囲は、入力輝度と出力輝度との間の１つの対応関係から決定できる。そして、画像撮影工程で単色グラデーションパターン画像を投影および撮影すれば上記対応関係は決定できるので、何度も画像の投影と撮影とを繰り返す必要がない。よって、補正縞パターン画像は、短時間で決定することができる。

【0017】

請求項２に記載の縞パターン画像決定方法は、
補正縞パターン画像は、カメラが備えるカラーフィルタにより分離可能な３色の単色縞パターン画像を合成した画像であり、
画像撮影工程では、プロジェクタから、３色の単色縞パターン画像にそれぞれ対応した３色の単色グラデーションパターン画像を投影し、かつ、カメラは、色別の単色グラデーションパターン画像を別々に撮影し、
入出力関係決定工程では、色別に対応関係を決定し、
輝度範囲決定工程では、色別に単色縞パターン画像の輝度変化範囲を決定し、
補正縞パターン画像決定工程では、輝度範囲決定工程で色別に決定した輝度変化範囲内で輝度が変化する３色の単色縞パターン画像を合成して、補正縞パターン画像とする。

【0018】

上記縞パターン画像決定方法では、補正縞パターン画像は、カメラが備えるカラーフィルタにより分離可能な３色の単色縞パターン画像を合成した画像である。この補正縞パターン画像を用いれば、特許文献１にも記載されているように、三次元計測のために縞パターン画像を投影する回数を少なくすることができる。よって、計測対象物の三次元形状を計測するのに必要とする時間が短くなる。

【0019】

請求項３に記載の縞パターン画像決定方法は、
プロジェクタから、画像の全部が単色であって明るさが均一である前補正用画像を投影し、カメラで前補正用画像を撮影する前補正用画像撮影工程（Ｓ１）と、
前補正用画像撮影工程でカメラが撮影して出力する前補正用画像の輝度が均一になる補正設定を決定する補正工程（Ｓ２）とを備え、
画像撮影工程でカメラが撮影して出力する単色グラデーションパターン画像は、補正工程で決定した補正設定が適用された画像である。

【0020】

このようにすれば、補正縞パターン画像が投影された面が平面であるのに出力輝度の変化を表す波形の位相が入力輝度の変化を表す波形の位相からずれてしまうことが抑制される。その結果、計測対象物の三次元形状をより精度よく計測できる。

【0021】

請求項４に記載の縞パターン画像決定方法では、
輝度範囲決定工程で、単色縞パターン画像の輝度変化範囲を、対応関係において入力輝度の変化に対する出力輝度の変化が線形となる入力輝度の範囲とする。

【0022】

単色縞パターン画像の輝度変化範囲を、入力輝度の変化に対する出力輝度の変化が線形である範囲とすれば、計測対象物の三次元形状を特に精度よく計測できる。

【0023】

請求項５に記載の縞パターン画像決定方法では、
輝度範囲決定工程において、単色縞パターン画像の輝度変化範囲を、輝度範囲の全体から、対応関係において入力輝度が変化しても出力輝度が変化しない入力輝度の範囲を除外した範囲とする。

【0024】

このようにすれば、簡易に、単色縞パターン画像の輝度変化範囲を決定することができる。加えて、単色縞パターン画像の輝度変化範囲が狭くなってしまうことを抑制できる。これにより、出力輝度の変化を示す波形の振幅が小さくなってしまうことを抑制できるので、位相のずれを決定しやすくなる。

【0025】

請求項６に記載の縞パターン画像決定方法では、
輝度範囲決定工程は、
３色のうち、対応関係において入力輝度の変化に対する出力輝度の変化が線形となる出力輝度の範囲が最も狭い予め設定された代表色については、対応関係において入力輝度の変化に対する出力輝度の変化が線形である入力輝度の範囲を、単色縞パターン画像の輝度変化範囲とし、
３色のうち他の２色については、代表色の対応関係において入力輝度の変化に対する出力輝度の変化が線形となる出力輝度の範囲を決定し、他の２色それぞれの対応関係において、出力輝度の範囲に対応する入力輝度の範囲を、各色の単色縞パターン画像の輝度変化範囲とする。

【0026】

このようにすれば、代表色のみ入力輝度の変化に対する出力輝度の変化が線形になる範囲を決定すればよいので、各色の単色縞パターン画像の輝度変化範囲を決定する処理が容易になる。

【図面の簡単な説明】

【0033】

【図1】実施形態の三次元計測装置１の構成を示す図である。

【図2】縞パターン画像決定方法の各工程を示すフローチャートである。

【図3】周辺領域の輝度低下を補正する前と、補正した後の出力輝度を示すグラフである。

【図4】ステップＳ３で投影する単色グラデーションパターン画像の一例を示す図である。

【図5】単色グラデーションパターン画像の輝度変化を説明する図である。

【図6】単色グラデーションパターン画像のｘ画素位置に対する入力輝度の変化を示すグラフである。

【図7】カメラ３０が撮影した単色グラデーションパターン画像のｘ画素座標に対する輝度変化を示す図である。

【図8】入力輝度と出力輝度の対応関係の一例を示す図である。

【図9】赤、緑、青、それぞれの色の入力輝度と出力輝度の関係を示す図である。

【図10】標準縞パターン画像を示す図である。

【図11】補正縞パターン画像の一例を示す図である。

【図12】補正前後の位相誤差を示す図である。

【図13】三次元形状を計測する処理を示す図である。

【図14】位相θと高さ座標ｚ_ｍとの関係を示すグラフである。

【図15】水平座標（ｘ_ｍ、ｙ_ｍ）の算出方法を説明する図である。

【発明を実施するための形態】

【0034】

以下、実施形態を図面に基づいて説明する。図１は、実施形態の三次元計測装置１の構成を示す図である。三次元計測装置１は、制御装置１０と、プロジェクタ２０と、カメラ３０とを備えている。三次元計測装置１は、作業台２の上に置かれた計測対象物５の三次元形状を位相シフト法により計測する。作業台２の上面は平面であり、作業台２の任意の位置に計測対象物５が位置する。三次元計測装置１は、たとえば、ロボットにピッキング、組付け作業、製品検査等を行わせる際のロボットの目として利用する。

【0035】

制御装置１０は、コンピュータを備えたものとすることができる。制御装置１０は、プロジェクタ２０が投影する画像のデータとなる画像データを生成してプロジェクタ２０へ出力する。プロジェクタ２０が投影する画像には、縞パターン画像がある。

【0036】

また、制御装置１０は、プロジェクタ２０から縞パターン画像が計測対象物５に投影された状態で、カメラ３０が撮影した画像を表す画像データを取得する。そして、その画像データをもとに位相シフト法により、計測対象物５の三次元形状を計測する。

【0037】

三次元形状を計測するために、プロジェクタ２０が計測対象物５に投影する三次元計測用の縞パターン画像は、後述する縞パターン画像決定方法を実行することで標準縞パターン画像を補正した補正縞パターン画像である。

【0038】

プロジェクタ２０は、カラー画像を投影可能なプロジェクタである。カメラ３０は、カラー画像を撮影可能なカメラである。カメラ３０は、デジタルカメラであって、フォトダイオードなどの光検出素子を受光面に縦横に多数備えている。１つ１つの光検出素子が１画素に相当する。

【0039】

光検出素子の光到来方向にはＲＧＢカラーフィルタが設けられている。ＲＧＢカラーフィルタは、赤と緑と青のいずれかのカラーフィルタが各光検出素子の光到来方向に配置されたものである。赤と緑と青のカラーフィルタの配列は、一般にベイヤ配列に従っている。プロジェクタ２０とカメラ３０との間の距離は、事前に計測されている。

【0040】

次に、上記縞パターン画像決定方法を説明する。図２は、縞パターン画像決定方法の各工程を示すフローチャートである。図２の説明では、各工程をステップと記載している。縞パターン画像決定方法は、プロジェクタ２０とカメラ３０との組み合わせが変わるごとに１度、実行する。縞パターン画像決定方法は、作業台２に計測対象物５が載っていない状態で実行する。作業台２に計測対象物５が載っていないので、プロジェクタ２０は平面である作業台２の表面に画像を投影し、カメラ３０は平面を撮影する。

【0041】

前補正用画像撮影工程であるステップＳ１では、プロジェクタ２０から、投影画像の全部が単色であって輝度が全面均一である前補正用画像を投影し、カメラ３０で、その前補正用画像を撮影する。前補正用画像の色は、カメラ３０が備えるカラーフィルタに対応して、赤と緑と青である。一度のステップＳ１においては、これら３色のうち、いずれか１つの色の前補正用画像を用いる。用いる色の順番は予め設定されている。

【0042】

図３に示すグラフは、横軸がカメラ３０の画素のｘ画素座標であり、縦軸は各画素が出力した輝度である。破線が、ステップＳ１でカメラ３０が撮影した画像の出力輝度である。プロジェクタ２０は均一な明るさの画像を投影しているが、カメラ３０の各画素が出力する出力輝度は、図３に示すように、ｘ座標の中心から離れるほど低下している。

【0043】

補正工程であるステップＳ２では、図３の実線で示すように、出力輝度が均一になるように補正設定を決定する。たとえば、ここでの補正は、カメラ３０における輝度値出力時の補正設定である周辺減光補正を用いることができる。以降は、この補正設定で、画像の投影および撮影を行う。

【0044】

画像投影工程であるステップＳ３では、ＲＧＢそれぞれの波長の単色グラデーションパターン画像をプロジェクタ２０から別々に投影し、カメラ３０でそのときの画像を撮影する。図４に、ステップＳ３で投影する単色グラデーションパターン画像の一例を示す。単色グラデーションパターン画像は、単色であるが輝度変化はある画像である。単色グラデーションパターン画像の輝度は、図５に示すように、プロジェクタ２０の画素座標の一方向の変化、具体的にはｘ画素座標の変化に対して、最小値である０から最大値である２５５まで変化する。また、図６に示すように、単色グラデーションパターン画像は、画素座標の変化に対する輝度の変化が線形になっている画像である。なお、線形は一次式で表せる関係をいう。また、以下、プロジェクタ２０が投影する画像の輝度を入力輝度と記載することがある。図６も、縦軸は入力輝度と記載している。

【0045】

図７には、ステップＳ３でカメラ３０が撮影した単色グラデーションパターン画像のｘ画素座標に対する輝度変化を示している。図６に示したように入力輝度はｘ画素座標に対して線形に変化する。しかし、出力輝度はｘ画素座標に対して線形に変化していない。

【0046】

入出力関係決定工程であるステップＳ４では、入力輝度と出力輝度の対応関係を決定する。図８には、ステップＳ４で決定した入力輝度と出力輝度の対応関係の一例を示す。図８に示すグラフは、赤色の対応関係である。なお、入力輝度および出力輝度ともに、輝度は０から２５５までの値で示される。

【0047】

ステップＳ５では、３色とも、入力輝度と出力輝度の対応関係を決定したか否かを判断する。ステップＳ５の判断結果がＮＯであれば、ステップＳ６に進む。ステップＳ６では、色を、赤、緑、青のうち入力輝度と出力輝度の対応関係を決定していない色に変更する。色を変更後、ステップＳ１以下を実行する。

【0048】

ステップＳ５の判断結果がＹＥＳになった場合にはステップＳ７に進む。図８から、入力輝度と出力輝度の対応関係は、輝度の全範囲については、線形でないことが分かる。位相シフト法は、線形に輝度が変化する画像を投影し、輝度と位相θとが対応することを前提として、輝度から位相θを算出する。そのため、入力輝度と出力輝度が線形でないと、位相算出精度が低下する。

【0049】

そこで、輝度範囲決定工程であるステップＳ７では、ステップＳ４で決定した対応関係において、線形が保たれる入力輝度範囲を決定する。ここでの線形は、理想的な直線である必要はなく、誤差が許容できる範囲において、完全な直線からずれていてもよい。図８に示すグラフでは、１３０から１８０までが線形が保たれる入力輝度範囲である。入力輝度は、単色縞パターン画像の輝度である。したがって、入力輝度範囲は、単色縞パターン画像における輝度変化範囲を意味する。なお、単色縞パターン画像は、赤、緑、青のいずれか１色の輝度が画像の一方向には正弦波状に変化し、その一方向と直交する方向は輝度が一定である画像である。

【0050】

図８に示すグラフは、赤色の対応関係を示していた。図９には、赤、緑、青、それぞれの色の入力輝度と出力輝度の関係を示している。図９から、赤の対応関係が、線形となる範囲が最も狭いことが分かる。したがって、本実施形態では、赤を代表色とする。代表色、すなわち、赤については、対応関係において入力輝度の変化に対する出力輝度の変化が線形である入力輝度の範囲を、単色縞パターン画像の輝度変化範囲とする。

【0051】

具体的には、赤については、１３０から１８０を単色縞パターン画像の輝度変化範囲とする。一方、他の２色については、次のようにして単色縞パターン画像の輝度変化範囲を決定する。まず、代表色である赤の対応関係において線形となる出力輝度の範囲を決定する。この出力輝度の範囲は、図９に示すように６０から２２５である。次に、緑および青の対応関係において、出力輝度が６０から２２５に対応する入力輝度の範囲を、緑および青の単色縞パターン画像の輝度変化範囲とする。よって、緑については入力輝度範囲を１０５から１４５とし、青については入力輝度範囲を１２５から１７５とする。

【0052】

補正縞パターン画像決定工程であるステップＳ８では、補正縞パターン画像を決定する。補正縞パターン画像は、標準縞パターン画像を補正した画像である。標準縞パターン画像は、赤、緑、青ともに、０から２５５までの輝度範囲で輝度を変化させた３色の単色縞パターン画像を合成した縞パターン画像である。また、標準縞パターン画像は、３色の単色縞パターン画像の位相が所定の角度だけずれている。

【0053】

一例としては、赤色の単色縞パターン画像の位相が最も進んでおり、緑色の単色縞パターン画像の位相がそれよりも２π／３遅れている。青色の単色縞パターン画像は、緑色の単色縞パターン画像よりもさらに２π／３だけ位相が遅れている。

【0054】

図１０に、標準縞パターン画像を示す。図１０に示す標準縞パターン画像は、赤、緑、青のみをそれぞれ用いて輝度を０から２５５まで同じ正弦波状に変化させた３つの単色縞パターン画像を合成した画像である。各色の単色縞パターン画像は、横軸にｘ画素座標をとり、縦軸に入力輝度をとったとき、ｘ画素座標と入力輝度の関係が正弦波となる画像である。標準縞パターン画像は、赤、緑、青の単色縞パターン画像が均等に含まれる画像であるため、ｘ画素座標の変化に伴い虹状かつ周期的に色が変化する。

【0055】

上記入力輝度範囲のみを用いて生成した各色の単色縞パターン画像を合成した縞パターン画像が、補正縞パターン画像である。補正縞パターン画像を合成するために生成される各色の単色縞パターン画像は、入力輝度範囲は標準縞パターン画像と異なるが、輝度変化周期は、標準縞パターン画像と同じである。

【0056】

図１１に補正縞パターン画像の一例を示す。補正縞パターン画像は、緑色の入力輝度範囲が狭いため、図１０に示した標準縞パターン画像に比べて、赤と青が強調された画像になっている。

【0057】

図１２には、補正前後の位相誤差を示す。図１２において、破線が補正前、すなわち、図９に示す標準縞パターン画像をプロジェクタ２０が投影して、その画像をカメラ３０が撮影したときの位相誤差である。位相誤差は、理想的な正弦波パターンと、カメラ３０が撮影した画像から取得した各色の縞パターン画像のｘ画素座標に対する輝度との差分である。

【0058】

図１２において、実線は補正後である。図１２から分かるように、補正前は、周期的に位相誤差が大きくなっている。一方、補正後は、補正前に比べ、周期的な位相誤差の増大が抑制されている。

【0059】

ここで、プロジェクタ２０が補正縞パターン画像を平面に投影し、かつ、投影された補正縞パターン画像をカメラ３０が撮影したとする。カメラ３０が備えるカラーフィルタを通して色別に補正縞パターン画像の輝度が出力された場合には、縞パターンが繰り返す方向の画素座標（すなわちｘ画素座標）に対する画像の輝度が線形に変化する画像になる。

【0060】

［三次元形状を計測する処理］
次に、三次元形状を計測する処理を説明する。図１３に三次元形状を計測する処理を示している。図１３に示す処理は、ユーザの操作に基づき、制御装置１０が実行する。ステップＳ１１では、図２のステップＳ８で決定した補正縞パターン画像を計測対象物５に投影し、カメラ３０により、そのときの計測対象物５の画像を撮影する。

【0061】

ステップＳ１２では、赤、緑、青の３色について、色別の撮影画像を取得する。これは、色画素別に画像データを取得することを意味する。カメラ３０が備える各画素は、光路上の画素手前にカラーフィルタが配置されている。赤のフィルタが手前に配置された画素が赤画素、緑のフィルタが手前に配置された画素が緑画素、青のフィルタが手前に配置された画素が青画素である。色画素は、赤画素、緑画素、青画素のいずれか、またはその総称である。色画素が出力するデータはＲＡＷデータと呼ばれることもある。

【0062】

ステップＳ１３では、色別の撮影画像の各画素座標（ｘ、ｙ）の輝度値をもとに、式１から、各画素座標（ｘ、ｙ）における位相θ（ｘ、ｙ）を算出する。

【数1】

なお、式１において、Ｎは位相シフト総回数、ｎは色別に取得した撮影画像の位相シフト回数である。縞パターン画像において最も早い位相とした色のｎが０、次に位相が早い色のｎが１、最も位相が遅い色のｎが２である。位相シフト総回数Ｎは３である。また、ａ（ｘ、ｙ）は輝度振幅、ｂ（ｘ、ｙ）は背景輝度、θ（ｘ、ｙ）はｎ＝０での位相θである。

【0063】

式１において、未知数は、ａ（ｘ、ｙ）、ｂ（ｘ、ｙ）、θ（ｘ、ｙ）の３つである。したがって、Ｓ１２で色別に取得した３つの撮像画像についての各座標（ｘ、ｙ）の輝度値を用いれば、位相θを含む、３つの未知数、ａ（ｘ、ｙ）、ｂ（ｘ、ｙ）、θ（ｘ、ｙ）を算出することができる。

【0064】

ステップＳ１４では、ステップＳ１３で算出した各画素座標（ｘ、ｙ）の位相θ（ｘ、ｙ）から、座標計測点Ｐの高さ座標ｚ_ｍを決定する。座標計測点Ｐは、計測対象物５あるいは作業台２の表面上の点である。

【0065】

高さ座標ｚ_ｍは、プロジェクタ２０とカメラ３０とを含む平面から物体までの距離である。高さ座標ｚ_ｍは、図１４に示す位相θと高さ座標ｚ_ｍとの関係を示すグラフと、ステップＳ１３で算出した位相θとを用いて決定する。図１４に示すグラフは、プロジェクタ２０の座標、カメラ３０の座標、高さ座標ｚ_ｍ、基準面における縞パターン画像の１周期分の長さが分かれば作成することができるグラフである。なお、基準面は、作業台２の表面である投影面に平行であって、プロジェクタ２０およびカメラ３０までの距離がｚ_ｍとなっている面である。

【0066】

プロジェクタ２０とカメラ３０を固定すれば、プロジェクタ２０の座標、カメラ３０の座標は既知になる。また、基準面までの高さ座標ｚ_ｍは与える値である。さらに、基準面までの高さ座標ｚ_ｍが決まれば、その基準面における縞パターン画像の１周期分の長さも決まる。よって、図１４に示すグラフは事前に求めることができる。

【0067】

図１４に示すグラフを事前に求めておき、ステップＳ１４では、事前に求めた図１４に示すグラフに、ステップＳ１３で算出した位相θ（ｘ、ｙ）を当てはめて、各座標計測点Ｐの高さ座標ｚ_ｍを決定する。なお、位相θが何周期目であるかが不明だと、高さ座標ｚ_ｍも決定することができない。しかし、ある座標計測点Ｐにおける高さ座標ｚ_ｍは、その座標計測点Ｐに隣接する座標計測点Ｐの高さ座標ｚ_ｍに対して連続的な変化をする。したがって、位相θが何周期目であるかが不明でも計測対象物５の三次元形状を計測することはできる。また、作業台２の高さ座標ｚ_ｍは既知であるので、作業台２の高さ座標ｚ_ｍと比較をすることで、座標計測点Ｐの高さ座標ｚ_ｍを決定してもよい。

【0068】

ステップＳ１５では、ステップＳ１４で高さ座標ｚ_ｍを決定した座標計測点Ｐについて、水平座標（ｘ_ｍ、ｙ_ｍ）を決定する。ステップＳ１４において決定した高さ座標ｚ_ｍは、画素座標（ｘ、ｙ）には対応付けられている。画素座標（ｘ、ｙ）が決まると、カメラ３０に対する方向（α_ｘ、α_ｙ）は定まる。なお、α_ｘは、図１５に示すように、カメラ３０から座標計測点Ｐに向かう方向のうち、ｘ_ｍｚ_ｍ平面におけるｚ_ｍ軸との間の角度である。α_ｙは図１５には図示していないが、α_ｙはカメラ３０から座標計測点Ｐに向かう方向のうち、ｙ_ｍｚ_ｍ平面におけるｚ_ｍ軸との間の角度である。図１５から分かるように、水平座標（ｘ_ｍ、ｙ_ｍ）は、高さ座標ｚ_ｍとα_ｍ、α_ｙから幾何学計算により算出することができる。

【0069】

ステップＳ１３からステップＳ１５までの処理を各画素位置（ｘ、ｙ）に対して実行することで、計測対象物５の三次元形状を計測することができる。

【0070】

［実施形態のまとめ］
以上、説明した本実施形態では、補正縞パターン画像の生成に用いる単色縞パターン画像の輝度変化範囲は、３色とも、入力輝度の変化に対する出力輝度の変化が非線形になる部分が除外された範囲になっている。より詳しくは、単色縞パターン画像の輝度変化範囲は、３色とも、入力輝度に対する出力輝度の変化が線形となる入力輝度の範囲になっている。

【0071】

したがって、補正縞パターン画像も、入力輝度に対して出力輝度が線形に変化する。よって、補正縞パターン画像を用いることで、精度よく計測対象物５の三次元形状を計測することができる。

【0072】

また、補正縞パターン画像を決定するためには、単色縞パターン画像の輝度変化範囲を決定すればよい。単色縞パターン画像の輝度変化範囲は、図９に示した、各色の入力輝度と出力輝度との間の１つの対応関係から決定できる。そして、画像撮影工程（Ｓ３）で単色グラデーションパターン画像を投影および撮影すれば上記対応関係は決定できるので、何度も画像の投影と撮影とを繰り返す必要がない。よって、補正縞パターン画像は、短時間で決定することができる。

【0073】

また、本実施形態では、補正縞パターン画像は、カメラ３０が備えるカラーフィルタにより分離可能な３色の単色縞パターン画像を合成した画像である。この補正縞パターン画像を用いることで、図１３を用いて説明したように、一度、補正縞パターン画像を投影するだけで計測対象物５の三次元形状を計測できる。よって、計測対象物５の三次元形状を計測するのに必要とする時間が短くなる。

【0074】

また、本実施形態では、単色グラデーションパターン画像を投影する前に、プロジェクタ２０から前補正用画像を投影し、その前補正用画像をカメラ３０で撮影する（Ｓ１）。そして、カメラ３０が出力する前補正用画像の輝度が均一になる補正設定を決定する（Ｓ２）。ステップＳ３でカメラ３０が出力する単色グラデーションパターン画像は、この補正設定が適用された画像である。よって、周辺減光に起因して出力輝度の変化を示す波形の位相θがずれてしまうことが抑制される。その結果、計測対象物５の三次元形状をより精度よく計測できる。

【0075】

また、本実施形態では、赤については、対応関係が線形となる入力輝度の範囲を単色縞パターン画像の輝度変化範囲としている。一方、緑と青については、緑と青の対応関係において、赤の対応関係が線形となる出力輝度の範囲に対応する入力輝度の範囲を、緑と青の単色縞パターン画像の輝度変化範囲としている。

【0076】

このようにすることで、赤のみ、対応関係が線形になる範囲を決定すればよいので、各色の単色縞パターン画像の輝度変化範囲を決定する処理が容易になる。

【0077】

以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。なお、以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

【0078】

＜変形例１＞
たとえば、実施形態では、代表色である赤のみ、対応関係が線形となる範囲を決定して、その範囲をもとに単色縞パターン画像の輝度変化範囲を決定していた。しかし、緑と青についても、各色の対応関係が線形となる範囲をそれぞれ決定し、その範囲をもとに単色縞パターン画像の輝度変化範囲を決定してもよい。

【0079】

＜変形例２＞
また、実施形態では、対応関係において線形となる範囲を決定して、その範囲をもとに単色縞パターン画像の輝度変化範囲を決定していた。しかし、輝度範囲全体から、対応関係において入力輝度が変化しても出力輝度が変化しない範囲を除外した入力輝度の範囲を、単色縞パターン画像の輝度変化範囲としてもよい。

【0080】

このようにすれば、簡易に、単色縞パターン画像の輝度変化範囲を決定することができる。加えて、実施形態よりも、単色縞パターン画像の輝度変化範囲を広くすることができる。これにより、出力輝度の変化を示す波形の振幅を大きくできるので、位相θのずれを決定しやすくなる。

【0081】

＜変形例３＞
実施形態では、補正縞パターン画像は、ステップＳ７を実行することで入力輝度範囲がそれぞれ制限された３色の単色縞パターン画像を合成した画像であった。しかし、ステップＳ７を実行することで入力輝度範囲が制限された１色の単色縞パターン画像を、三次元計測に用いる補正縞パターン画像としてもよい。

【符号の説明】

【0082】

１：三次元計測装置 ２：作業台 ５：計測対象物 １０：制御装置 ２０：プロジェクタ ３０：カメラ Ｓ１：前補正用画像撮影工程 Ｓ２：補正工程 Ｓ３：画像撮影工程 Ｓ４：入出力関係決定工程 Ｓ７：輝度範囲決定工程 Ｓ８：補正縞パターン画像決定工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】