特許 7080610 画像処理装置、画像処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-27

(45)【発行日】2022-06-06

(54)【発明の名称】画像処理装置、画像処理システム及びプログラム

(51)【国際特許分類】

   G01B 11/25 20060101AFI20220530BHJP

   G06T 1/00 20060101ALI20220530BHJP

   G06T 7/521 20170101ALI20220530BHJP

【ＦＩ】

G01B11/25 H

G06T1/00 315

G06T7/521

【請求項の数】 6

(21)【出願番号】P 2017169845

(22)【出願日】2017-09-04

(65)【公開番号】P2019045360

(43)【公開日】2019-03-22

【審査請求日】2020-08-04

(73)【特許権者】

【識別番号】000137694

【氏名又は名称】株式会社ミツトヨ

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】松浦 心平

【審査官】飯村 悠斗

(56)【参考文献】

【文献】特開２０１７－１２５８０１（ＪＰ，Ａ）

【文献】特開２００９－０７９９３４（ＪＰ，Ａ）

【文献】特開平１１－０１４３２７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０２０７９３８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／５２１

(57)【特許請求の範囲】

【請求項1】

投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光を、複数の異なる位相差を前記位相に加えて順次測定対象物に投影し、前記複数の投影パターンの光がそれぞれ投影された前記測定対象物を撮像することで得られる複数の異なる測定画像を取得する画像取得部と、
前記複数の測定画像においてそれぞれ対応する画素の画素値を撮像順に並べたデータ列を、前記投影パターンを表す関数で近似する近似関数のモデル化パラメータを、画素ごとに特定するモデル化部と、
前記複数の測定画像それぞれに対応する画像であって、前記各画素のモデル化パラメータに基づいて特定された各画素の近似値で構成される再構成画像を生成する再構成画像生成部と、
前記複数の測定画像それぞれの各画素の画素値に対して、前記複数の測定画像それぞれの画素値の平均値と、前記複数の測定画像それぞれに対応する前記再構成画像の画素値の平均値との差を減算することにより、前記複数の測定画像それぞれの各画素の画素値を変更する画像変更部と、
を備える画像処理装置。

【請求項2】

前記モデル化部は、前記画像変更部が前記画素値を変更した前記複数の測定画像に基づいて、前記モデル化パラメータを特定する、
請求項１に記載の画像処理装置。

【請求項3】

前記画像変更部が変更した前記複数の測定画像を用いて、前記測定対象物の形状を特定する形状特定部をさらに有する、
請求項１又は２に記載の画像処理装置。

【請求項4】

前記画像変更部は、前記画素値を変更する前の前記複数の測定画像それぞれの各画素のモデル化パラメータに含まれる位相値と、前記画素値を変更した後の前記複数の測定画像それぞれの各画素のモデル化パラメータに含まれる位相値とに基づいて特定した位相変動量が所定の閾値より大きい場合、前記複数の測定画像それぞれの画素値を変更する、
請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

コンピュータに、
投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光を、複数の異なる位相差を前記位相に加えて順次測定対象物に投影し、前記複数の投影パターンの光がそれぞれ投影された前記測定対象物を撮像することで得られる複数の異なる測定画像を取得する機能と、
前記複数の測定画像においてそれぞれ対応する画素の画素値を前記複数の条件により定まる順序にしたがって並べたデータ列を、前記投影パターンを表す関数で近似する近似関数のモデル化パラメータを、画素ごとに特定する機能と、
前記複数の測定画像それぞれに対応する画像であって、前記各画素のモデル化パラメータに基づいて特定された各画素の近似値で構成される再構成画像を生成する機能と、
前記複数の測定画像それぞれの各画素の画素値に対して、前記複数の測定画像それぞれの画素値の平均値と、対応する再構成画像の画素値の平均値との差を減算することにより、前記複数の測定画像それぞれの各画素の画素値を変更する機能と、
を実現させるためのプログラム。

【請求項6】

投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光を、複数の異なる位相差を前記位相に加えて順次測定対象物に投影する投影装置と、
前記複数の投影パターンの光がそれぞれ投影された前記測定対象物を撮像することで得られる複数の異なる測定画像を生成する撮像装置と、
前記複数の測定画像それぞれの画素値を変更する請求項１から４のいずれか一項に記載の画像処理装置と、
を備える画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、測定対象物の形状を測定するための画像処理装置、画像処理システム及びプログラムに関する。

【背景技術】

【0002】

測定対象物の三次元形状を測定する技術として、複数の投影パターンの光が投影された測定対象物を撮像することにより、測定対象物の形状を測定する三次元形状測定機が知られている（非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】吉澤徹, 最新光三次元計測 (2006)

【発明の概要】

【発明が解決しようとする課題】

【0004】

三次元形状測定機が測定対象物を撮像することで得られる測定画像は、測定対象物周辺の光量変動、又は測定対象物に投影された光の輝度変動などの周辺環境の影響を受ける場合がある。測定画像が、周辺環境の影響を受けると、測定対象物を計測する際の測定精度に悪影響を及ぼすことが懸念される。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、測定画像に対する周辺環境の影響を低減するための技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様における画像処理装置は、投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光を、複数の異なる位相差を前記位相に加えて順次測定対象物に投影し、前記複数の投影パターンの光がそれぞれ投影された前記測定対象物を撮像することで得られる複数の異なる測定画像を取得する画像取得部と、前記複数の測定画像においてそれぞれ対応する画素の画素値を撮像順に並べたデータ列を近似する近似関数のモデル化パラメータを、画素ごとに特定するモデル化部と、前記複数の測定画像それぞれに対応する画像であって、前記各画素のモデル化パラメータに基づいて特定された各画素の近似値で構成される再構成画像を生成する再構成画像生成部と、前記複数の測定画像それぞれの画素値の統計量と、対応する前記再構成画像の画素値の統計量とに基づいて、前記複数の測定画像それぞれの画素値を変更する画像変更部と、を備える。

【0007】

前記モデル化部は、前記画像変更部が前記画素値を変更した前記複数の測定画像に基づいて、前記モデル化パラメータを特定してもよい。

【0008】

前記画像処理装置は、前記画像変更部が変更した前記複数の測定画像を用いて、前記測定対象物の形状を特定する形状特定部をさらに有していてもよい。

【0009】

前記画像変更部は、例えば、前記画素値を変更する前の前記複数の測定画像それぞれの各画素のモデル化パラメータに含まれる位相値と、前記画素値を変更した後の前記複数の測定画像それぞれの各画素のモデル化パラメータに含まれる位相値とに基づいて特定した位相変動量が所定の閾値より大きい場合、前記複数の測定画像それぞれの画素値を変更する。

【0010】

本発明の第２の態様におけるプログラムは、コンピュータに、投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光を、複数の異なる位相差を前記位相に加えて順次測定対象物に投影し、前記複数の投影パターンの光がそれぞれ投影された前記測定対象物を撮像することで得られる複数の異なる測定画像を取得する機能と、前記複数の測定画像においてそれぞれ対応する画素の画素値を前記複数の条件により定まる順序にしたがって並べたデータ列を近似する近似関数のモデル化パラメータを、画素ごとに特定する機能と、前記複数の測定画像それぞれに対応する画像であって、前記各画素のモデル化パラメータに基づいて特定された各画素の近似値で構成される再構成画像を生成する機能と、前記複数の測定画像それぞれの画素値の統計量と、対応する再構成画像の画素値の統計量とに基づいて、前記複数の測定画像それぞれの画素値を変更する機能と、を実現させる。

【0011】

本発明の第３の態様における画像処理システムは、投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光を、複数の異なる位相差を前記位相に加えて順次測定対象物に投影する投影装置と、前記複数の投影パターンの光がそれぞれ投影された前記測定対象物を撮像することで得られる複数の異なる測定画像を生成する撮像装置と、前記複数の測定画像それぞれの画素値を変更する、前記画像処理装置と、を備える。

【発明の効果】

【0012】

本発明によれば、測定画像に対する周辺環境の影響を低減することができるという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】実施の形態に係る画像処理システムの概要を説明するための図である。

【図2】測定画像に対する周辺環境の影響を低減する処理の概要を説明するための図である。

【図3】実施の形態に係る画像処理装置の機能構成を示す図である。

【図4】データ列を近似する近似関数について説明するための図である。

【図5】データ列を近似する近似関数におけるモデル化パラメータを特定する処理を説明するための図である。

【図6】画像処理装置が測定画像に対する周辺環境の影響を低減する処理のフローチャートである。

【発明を実施するための形態】

【0014】

＜実施の形態＞
図１を参照して、実施の形態に係る画像処理システムＳの概要を述べる。図１は、実施の形態に係る画像処理システムＳの概要を説明するための図である。実施の形態に係る画像処理システムＳは、投影画像が投影された測定対象物を撮像することにより、測定対象物の形状を測定するための画像処理システムである。

【0015】

画像処理システムＳは、投影装置１と、撮像装置２と、画像処理装置３とを備える。画像処理装置３は、投影装置１及び撮像装置２それぞれと通信可能に接続されている。投影装置１は、例えば液晶プロジェクタである。投影装置１は、それぞれ異なる複数の投影パターンの光（Ｐ_ａ１、Ｐ_ａ２、・・・、Ｐ_ａＮ）を測定対象物に投影する。投影装置１は、例えば正弦波パターンの光を、正弦波パターンの位相を変化させて複数回投影する。

【0016】

撮像装置２は、例えば２００万画素の撮像素子を備えるデジタルカメラである。撮像装置２は、それぞれ異なる複数の投影パターンの光（Ｐ_ａ１、Ｐ_ａ２、・・・、Ｐ_ａＮ）が投影された測定対象物を順次撮像することにより、それぞれ異なる複数の測定画像（Ｐ_ｂ１、Ｐ_ｂ２、・・・、Ｐ_ｂＮ）を生成する。撮像装置２は、撮像した複数の測定画像を画像処理装置３に送信する。

【0017】

撮像装置２が撮像した複数の測定画像は、測定対象物を測定する環境の光量変動、又は投影装置１が投影する投影光の輝度変動などが影響する場合がある。そのため、画像処理装置３が、複数の測定画像を画像処理することで周辺環境の影響を低減する。

【0018】

画像処理装置３は、例えばコンピュータである。画像処理装置３は、複数の投影パターンの光を順次投影するように投影装置１を制御し、投影画像が投影された測定対象物を撮像することで測定画像を順次生成するように撮像装置２を制御することにより、測定画像を取得する。そして、画像処理装置３は、取得した複数の測定画像を画像処理することにより、周辺環境の影響を低減する。

【0019】

図２を参照しながら、画像処理装置３が実行する測定画像に対する周辺環境の影響低減処理の概要を説明する。図２は、測定画像に対する周辺環境の影響を低減する処理の概要を説明するための図である。まず、画像処理装置３は、複数の測定画像を取得する（図２の（１））。画像処理装置３は、取得した複数の測定画像それぞれの各画素の画素値を近似する近似関数のモデル化パラメータを特定する（図２の（２））。そして、画像処理装置３は、モデル化パラメータに基づいて特定された各画素の近似値を用いて複数の再構成画像（Ｐ_ｃ１、Ｐ_ｃ２、・・・、Ｐ_ｃＮ）を生成する（図２の（３））。

【0020】

画像処理装置３は、取得した複数の測定画像と、生成した複数の再構成画像とを用いて、複数の測定画像それぞれの各画素の誤差（Ｐ_ｄ１、Ｐ_ｄ２、・・・、Ｐ_ｄＮ）を特定する（図２の（４））。画像処理装置３は、特定した誤差を用いて、複数の測定画像それぞれの各画素の画素値を変更することにより、画素値を変更した複数の測定画像（Ｐ_ｂ１’、Ｐ_ｂ２’、・・・、Ｐ_ｂＮ’）を生成する（図２の（５））。画像処理装置３は、画素値を変更した複数の測定画像のモデル化パラメータを特定する（図２の（６））。

【0021】

画像処理装置３は、取得した複数の測定画像のモデル化パラメータと、画素値を変更した複数の測定画像のモデル化パラメータとの変動量を特定する（図２の（７））。そして、画像処理装置３は、特定した変動量が変動閾値以下か否かを判定する。「変動閾値」は、画像処理装置３が測定対象物の形状を特定するために許容できる「影響閾値」である。影響閾値は、投影装置１の光量、撮像装置２の性能、測定対象物の形状を測定するために必要な精度等を考慮して予め実験によって定めればよい。

【0022】

画像処理装置３は、特定した変動量が変動閾値より大きいと判定した場合、画素値を変更した複数の測定画像のモデル化パラメータに基づいて再構成画像を生成する（図２の（８－１））。画像処理装置３は、画素値を変更した複数の測定画像と、新たに生成した再構成画像とを用いて、画素値を変更した複数の測定画像それぞれの各画素の誤差を特定する。画像処理装置３は、特定した誤差を用いて、画素値を変更した複数の測定画像それぞれの各画素の画素値を再び変更して、新たに画素値を変更した複数の測定画像（Ｐ_ｂ１’’、Ｐ_ｂ２’’、・・・、Ｐ_ｂＮ’’）を生成する。画像処理装置３は、画素値を変更した複数の測定画像（Ｐ_ｂ１’、２ｂ’、・・・、２ｎ’）のモデル化パラメータと、新たに画素値を変更した複数の測定画像（Ｐ_ｂ１’’、Ｐ_ｂ２’’、・・・、Ｐ_ｂＮ’’）のモデル化パラメータとの変動量を特定する。

【0023】

画像処理装置３は、変動量が変動閾値より大きいと判定すると、複数の測定画像それぞれの各画素の画素値を変更する。このようにすることで、画像処理装置３は、複数の測定画像に対する周辺環境の影響を低減することができる。そして、画像処理装置３は、変動量が変動閾値以下と判定した場合、最後に画素値を変更した複数の測定画像を用いて測定対象物の形状を特定する（図２の（８－２））。画像処理装置３は、周辺環境の影響が低減された複数の測定画像を用いて測定対象物の形状を特定することができるので、測定精度を向上することができる。

【0024】

＜実施の形態に係る画像処理装置３の構成＞
図３を参照しながら、実施の形態に係る画像処理装置３の機能構成について説明する。図３は、実施の形態に係る画像処理装置３の機能構成を示す図である。実施の形態に係る画像処理装置３は、記憶部３１と、制御部３２とを備える。

【0025】

記憶部３１は、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）などの記憶媒体を含む。記憶部３１は、複数の測定画像、モデル化パラメータ、複数の再構成画像、複数の測定画像それぞれの各画素の誤差、又は画素値を変更した複数の測定画像を記憶する。また、記憶部３１は、制御部３２が実行するプログラムを記憶する。

【0026】

制御部３２は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部３２は、記憶部３１に記憶されたプログラムを実行することによって、装置制御部３２１、画像取得部３２２、モデル化部３２３、再構成画像生成部３２４、画像変更部３２５、及び形状特定部３２６の機能を実現する。装置制御部３２１は、指示情報を送信することにより、投影装置１及び撮像装置２を制御する。

【0027】

装置制御部３２１は、測定対象物に投影光を投影するように投影装置１を制御する。具体的には、装置制御部３２１は、投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光を、複数の異なる位相差を位相に加えて順次測定対象物に投影させるように投影装置１を制御する。装置制御部３２１は、例えば正弦波パターンを有する投影画像を、正弦波パターンの位相を変化させて複数回投影するように投影装置１を制御する。

【0028】

装置制御部３２１は、正弦波パターンの位相をＮ回変更することによりＮ枚の投影画像を順次測定対象物に投影するように投影装置１を制御してもよい。装置制御部３２１は、例えば、正弦波パターンの位相をＮ回変化させる場合、正弦波パターンの位相をδ_ｉ＝２πｉ／Ｎ（ｉ＝１、２、…、Ｎ）ずつ変化させるように投影装置１を制御する。また、例えば、装置制御部３２１は、正弦波パターンを投影する場合、投影画像の座標（ｘ，ｙ）における光の強度をＩ（ｘ，ｙ）として、Ｉ（ｘ，ｙ）＝Ｉ_０ｓｉｎ（２πｘＴ／Ｍ_ｘ＋δ_ｉ）に従う正弦波パターンを有する投影画像を測定対象物に投影するように制御する。なお、Ｍ_ｘは、投影画像のｘ方向の画素数、Ｔは投影画像に含まれる正弦波パターンの数である。

【0029】

装置制御部３２１は、投影光が投影された測定対象物を撮像することで測定画像を生成するように撮像装置２を制御する。具体的には、装置制御部３２１は、複数の投影パターンの光がそれぞれ投影された測定対象物を順次撮像することで複数の異なる測定画像を生成するように撮像装置２を制御する。装置制御部３２１は、複数の異なる測定画像を画像取得部３２２に送信するように撮像装置２を制御する。装置制御部３２１は、複数の異なる測定画像に撮像順を識別する識別子を付与して、画像取得部３２２に送信するように撮像装置２を制御してもよい。

【0030】

画像取得部３２２は、複数の異なる測定画像を取得する。例えば、画像取得部３２２は、投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光が投影された測定対象物を撮像することで得られる複数の異なる測定画像を取得する。具体的には、画像取得部３２２は、複数の異なる位相差を座標によって定まる位相に加えた投影パターンの光が投影された測定対象物を、順次撮像することで得られる複数の異なる測定画像を取得する。画像取得部３２２は、取得した複数の異なる測定画像をモデル化部３２３に通知する。

【0031】

モデル化部３２３は、複数の測定画像においてそれぞれ対応する画素の画素値を撮像順に並べたデータ列を近似する近似関数のモデル化パラメータを、画素ごとに特定する。また、モデル化部３２３は、画像変更部３２５が画素値を変更した複数の測定画像に基づいて、モデル化パラメータを特定してもよい。

【0032】

図４を参照しながら、モデル化部３２３が、データ列を近似する近似関数のモデル化パラメータを特定する方法について説明する。図４は、データ列を近似する近似関数について説明するための図である。図４（ａ）は、複数の測定画像を撮像順に並べた模式図である。図４（ａ）における横軸は測定画像のｘ座標を表し、縦軸は測定画像のｙ座標を表す。以下の説明においては、画像取得部３２２が６枚の測定画像（Ｐ_ｂ１、Ｐ_ｂ２、Ｐ_ｂ３、Ｐ_ｂ４、Ｐ_ｂ５、Ｐ_ｂ６）を取得したものとして説明する。図４（ａ）におけるＩ_ｉはｉ番目の測定画像におけるｘ座標及びｙ座標により定まる画素の画素値を示す。

【0033】

図４（ｂ）は、座標（ｘ，ｙ）で定まる画素の画素値Ｉ_ｉを撮像順に並べたデータ列をプロットした模式図である。図４（ｂ）の横軸は測定画像の撮像順を示し、縦軸は画素の画素値の大きさを示す。ｉ番目の測定画像における座標（ｘ，ｙ）により定まる画素の画素値Ｉ_ｉ（ｘ，ｙ）をそれぞれ黒丸でプロットした。破線で示す関数ｆ（ｘ，ｙ）は、プロットしたデータ列を近似する近似関数である。

【0034】

プロットしたデータ列の各データは、測定時の誤差を含んでいる。そのため、各データと、データ列に対応する近似関数に基づいて特定される近似値とは必ずしも一致しない。そこで、各データと、各データに対応する近似値との差を測定時の誤差ε_ｉ（ｘ，ｙ）として、誤差ε_ｉ（ｘ，ｙ）の二乗和が最小になるようなモデル化パラメータを特定することにより、プロットしたデータ列に近似関数をフィッテイングすることができる。

【0035】

図５を参照しながら、モデル化部３２３がモデル化パラメータを特定する処理について説明する。図５は、データ列を近似する近似関数におけるモデル化パラメータを特定する処理を説明するための図である。図５は、図４（ｂ）と同様、画素の画素値を撮像順に並べたデータ列をプロットした模式図である。図５において、実線で示す関数ｆは、基準となる近似関数である。振幅Ｖは近似関数の振幅を示し、バイアスＩ’（ｘ，ｙ）は振幅Ｖの中心を示し、オフセットＡは近似関数のオフセットを示す。破線で示す関数ｆ（ｘ，ｙ）は、複数の測定画像においてそれぞれの対応する座標（ｘ，ｙ）の画素の画素値を撮像順に並べたデータ列の近似関数であり、基準となる近似関数から、位相φ、振幅ΔＶ、オフセットΔＡだけずれた近似関数である。また、誤差ε_ｉ（ｉ＝１～６）は、それぞれ、各データから、各データに対応する近似値までの距離を示す。

【0036】

したがって、近似関数は、式（１）で表される。

【数1】

ここで、位相φ（ｘ，ｙ）は座標（ｘ，ｙ）における画素の画素値を並べたデータ列の近似関数の位相ずれを示す変数であって、測定対象物の高さに関連付けられた変数である。式（１）のＩ’（ｘ，ｙ）はバイアスＩ’（ｘ，ｙ）であり、Ｖ（ｘ，ｙ）は近似関数の振幅である。δ_ｉはｉ番目の測定画像の位相である。δ_ｉは、上記のようにδ_ｉ＝２πｉ／Ｎ（ｉ＝１、２、…、Ｎ）であり、本実施の形態においては、Ｎ＝６である。位相ｋ（ｘ，ｙ）は、投影パターンに含まれる正弦波パターンの位相に関連付けられた変数である。以下の説明においては、位相φ（ｘ，ｙ）と、位相ｋ（ｘ，ｙ）との和を位相値ということがある。そして、式（１）は、変形することにより式（２）で表される。

【数2】

【0037】

ここで、式（２）の各項を式（３）～（５）に示すように置換する。

【数3】

式（２）は、式（３）～（５）を用いて、式（６）で表される。

【数4】

【0038】

座標（ｘ，ｙ）の画素値は、式（６）をそれぞれの測定画像について書き表すことにより、式（７）で表される。

【数5】

【0039】

式（７）は、行列を用いて、式（８）で表される。

【数6】

【0040】

式（８）をＩ＝Ｘａと考える。このとき、Ｉ－Ｘａの２－ノルムを最小化するという意味において最適なベクトルａは最小二乗解として既知であり、ａ＝（Ｘ^ＴＸ）^－１Ｘ^ＴＩと書ける。したがって、Ｘ^ＴＸは、式（９）で表される。また、Ｘ^ＴＩは、式（１０）で表される。以下の式において、特に記載のない場合、添字の表記がないΣは、ｉ＝１～Ｎの総和であるものとする。

【数7】

【0041】

δ_ｉ＝２πｉ／Ｎ（ｉ＝１、２、…、Ｎ）とすると、式（９）において、非対角行列は、全てゼロとなり、ベクトルａは、式（１１）で表される。

【数8】

【0042】

よって、ａ_０は式（１２）で表され、ａ_１は式（１３）で表され、ａ_２は式（１４）で表される。

【数9】

【0043】

モデル化部３２３は、式（１２）～（１４）を用いて、モデル化パラメータである、画素の位相値（位相φ（ｘ，ｙ）と、位相ｋ（ｘ，ｙ）との和）と、近似関数の振幅Ｖと、及びオフセットＡとを特定する。画像の画素値は式（１５）で表され、近似関数の振幅Ｖは式（１６）で表され、オフセットＡは式（１７）で表される。モデル化部３２３は、特定したモデル化パラメータを再構成画像生成部３２４に通知する。

【数10】

【0044】

再構成画像生成部３２４は、モデル化部３２３が特定した各画素のモデル化パラメータに基づいて各画素の近似値を特定する。そして、再構成画像生成部３２４は、複数の測定画像それぞれに対応する、特定された各画素の近似値で構成される再構成画像を生成する。再構成画像生成部３２４は、生成した再構成画像を画像変更部３２５に通知する。

【0045】

画像変更部３２５は、複数の測定画像それぞれの画素値の統計量と、対応する再構成画像の画素値の統計量とに基づいて、複数の測定画像それぞれの画素値を変更する。例えば、画像変更部３２５は、複数の測定画像それぞれの各画素の画素値に対して、測定画像に含まれる画素の画素値の平均値と、対応する再構成画像に含まれる画素の画素値の平均値との差を減算する。以下、画像変更部３２５が、複数の測定画像の各画素の画素値を変更する処理について具体的に説明する。

【0046】

まず、画像変更部３２５は、ｉ番目の測定画像に含まれる画素の画素値の平均値を特定する。次に、画像変更部３２５は、ｉ番目の測定画像に対応する再構成画像に含まれる画素の画素値の平均値を特定する。そして、画像変更部３２５は、ｉ番目の測定画像に含まれる画素の画素値の平均値と、当該測定画像に対応する再構成画像に含まれる画素の画素値の平均値との差を、ｉ番目の測定画像の誤差ε_ｉとして特定する。誤差ε_ｉは、式（１８）で表される。

【数11】

式（１８）において、Ｍは測定画像に含まれる画素の総数を示し、Ｉ_i ^Ｒ（ｘ，ｙ）はｉ番目の測定画像に対応する再構成画像の画素の画素値を示す。なお、再構成画像に含まれる画素の総数は、測定画像に含まれる画素の総数と等しい。

【0047】

画像変更部３２５は、ｉ番目の測定画像に含まれる各画素の画素値Ｉ_i（ｘ，ｙ）から、特定した誤差ε_ｉを減算することにより、画素値を変更する。変更された画素値は、式（１９）で表される。

【数12】

画像変更部３２５は、同様に、取得した複数の測定画像それぞれに含まれる画素の画素値を変更する。

【0048】

画像変更部３２５は、画素値を変更した複数の測定画像それぞれを、モデル化部３２３に通知する。モデル化部３２３は画素値を変更した複数の測定画像それぞれの各画素のモデル化パラメータである位相値を特定する。モデル化部３２３は、特定した位相値を画像変更部３２５に通知する。

【0049】

画像変更部３２５は、画素値を変更する前の複数の測定画像それぞれの各画素のモデル化パラメータに含まれる位相値と、画素値を変更した後の複数の測定画像それぞれの各画素のモデル化パラメータに含まれる位相値とに基づいて位相変動量を特定する。例えば、画像変更部３２５は、画素値を変更する前の複数の測定画像それぞれの各画素のモデル化パラメータに含まれる位相値と、画素値を変更した後の複数の測定画像それぞれの各画素のモデル化パラメータに含まれる位相値との差を位相変動量として特定する。

【0050】

画像変更部３２５は、位相変動量が所定の変動閾値以下か否かを判定する。画像変更部３２５は、特定した位相変動量が所定の変動閾値より大きいと判定した場合、画素値を変更した後の複数の測定画像それぞれの画素値を変更する。画像変更部３２５は、位相変動量が所定の閾値以下と判定した場合、複数の測定画像それぞれの画素値を変更せず、画素値を変更した後の複数の測定画像を形状特定部３２６に通知する。このようにすることで、画像変更部３２５は、形状特定部３２６が測定対象物の形状を特定するために許容できる環境閾値以下になるまで、測定画像に対する周辺環境の影響を低減することができる。

【0051】

形状特定部３２６は、画像変更部３２５が画素値を変更した複数の測定画像を用いて、測定対象物の形状を特定する。例えば、形状特定部３２６は、画素値を変更した複数の測定画像のモデル化パラメータである位相値に基づいて測定対象物の形状を特定する。具体的には、形状特定部３２６は、式（１５）において、測定対象物に投影した投影パターンに従う位相ｋ（ｘ，ｙ）を減算することにより、測定対象物の高さに関連付けられた位相φ（ｘ，ｙ）を特定する。このように、形状特定部３２６は、周辺環境の影響が低減された複数の測定画像を用いて測定対象物の形状を特定することができるので、測定対象物の測定精度を向上することができる。

【0052】

以下、図６を参照しながら、画像処理装置３が測定画像に対する周辺環境の影響を低減する処理について説明する。図６は、画像処理装置３が測定画像に対する周辺環境の影響を低減する処理のフローチャートである。まず、装置制御部３２１が、投影装置１を制御して、複数の投影パターンの光を投影させる（ステップＳ１）。装置制御部３２１が、撮像装置２を制御して、複数の投影パターンの光が投影された測定対象物を撮像させ、測定画像を生成させる。画像取得部３２２が、撮像装置２が生成した測定画像を取得する（ステップＳ２）。

【0053】

続いて、モデル化部３２３が、取得した複数の測定画像のモデル化パラメータを特定する。再構成画像生成部３２４が、特定したモデル化パラメータに基づいて特定された各画素の近似値で、再構成画像を生成する（ステップＳ３）。次に、画像変更部３２５が、測定画像に含まれる画素の画素値の平均値と、当該測定画像に対応する再構成画像に含まれる画素の画素値の平均値との差を誤差として特定する（ステップＳ４）。

【0054】

そして、画像変更部３２５が、特定した誤差に基づいて複数の測定画像それぞれの画素の画素値を変更する（ステップＳ５）。続いて、モデル化部３２３が、画素値を変更した複数の測定画像のモデル化パラメータを特定する（ステップＳ６）。画像変更部３２５が、画素値を変更する前の測定画像の位相値と、画素を変更した後の測定画像の位相値との差である位相変動量が変動閾値以下か否かを判定する（ステップＳ７）。

【0055】

画像変更部３２５が、位相変動量が変動閾値より大きいと判定した場合（ステップＳ７でＮｏ）、ステップＳ３に戻り、再構成画像生成部３２４が画素値を変更した後の複数の測定画像に基づいて再構成画像を生成する。画像変更部３２５が、位相変動量が変動閾値以下と判定した場合（ステップＳ７でＹｅｓ）、形状特定部３２６が、画素値を変更した複数の測定画像に基づいて、測定対象物の形状を特定する（ステップＳ８）。

【0056】

［実施の形態の効果］
以上説明したように、画像処理装置３のモデル化部３２３が複数の測定画像それぞれの各画素のモデル化パラメータを特定し、再構成画像生成部３２４がモデル化パラメータに基づいて再構成画像を生成する。そして、画像変更部３２５が、複数の測定画像と、複数の測定画像それぞれと対応する複数の再構成画像とに基づいて、複数の測定画像それぞれの各画素の画素値を変更する。このようにすることで、画像変更部３２５は、測定画像から、周辺環境の光量変動、投影する光の輝度変動などによる影響を低減することができる。

【0057】

また、画像変更部３２５は、複数の測定画像それぞれの各画素の画素値を複数回変更することにより、複数の測定画像に対する周辺環境の影響をより低減することができる。そして、形状特定部３２６は、周辺環境の影響が低減された測定画像を用いて測定対象物の形状を特定することができるので、測定精度を向上することができる。

【0058】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

【0059】

（変形例１）
以上の説明においては、画像処理装置３が装置制御部３２１を有し、投影装置１及び撮像装置２を制御したが、画像処理装置３は装置制御部３２１を有していなくてもよい。例えば、画像処理システムＳは、投影装置１と、撮像装置２と、画像処理装置３とに加え、システム制御装置を有し、システム制御装置が、投影装置１及び撮像装置２を制御することにより、測定画像を生成できるようにしてもよい。

【0060】

（変形例２）
以上の説明においては、画像処理装置３は、撮像装置２から複数の測定画像を取得したが、複数の測定画像を取得する方法は、これに限らない。例えば、画像処理装置３は、通信部を備え、通信部を介して外部装置から複数の測定画像を取得してもよい。具体的には、画像処理装置３は、通信部を介してＬＡＮ（Local Area Network）に接続し、ＬＡＮに接続している他の外部装置から複数の測定画像を取得する。

【0061】

画像処理装置３は、画像入力部を備え、画像入力部を介して記憶媒体から複数の測定画像を取得してもよい。具体的には、画像入力部は、例えば、カードインタフェース、ＵＳＢ（Universal Serial Bus）インタフェースを備える。画像入力部は、インタフェースに接続された記憶媒体から複数の測定画像を取得する。記憶媒体は、例えばＳＤカード、ＵＳＢメモリである。

【符号の説明】

【0062】

１ 投影装置
２ 撮像装置
３ 画像処理装置
３１ 記憶部
３２ 制御部
３２１ 装置制御部
３２２ 画像取得部
３２３ モデル化部
３２４ 再構成画像生成部
３２５ 画像変更部
３２６ 形状特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】