特許 7222524 物体内部の光学特性を計測する計測装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-07

(45)【発行日】2023-02-15

(54)【発明の名称】物体内部の光学特性を計測する計測装置及び方法

(51)【国際特許分類】

   G01N 21/17 20060101AFI20230208BHJP

【ＦＩ】

G01N21/17 610

【請求項の数】 10

(21)【出願番号】P 2018219125

(22)【出願日】2018-11-22

(65)【公開番号】P2020085618

(43)【公開日】2020-06-04

【審査請求日】2021-11-09

(73)【特許権者】

【識別番号】504143441

【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学

(74)【代理人】

【識別番号】100114476

【弁理士】

【氏名又は名称】政木 良文

(72)【発明者】

【氏名】高谷 剛志

(72)【発明者】

【氏名】田中 賢一郎

(72)【発明者】

【氏名】舩冨 卓哉

(72)【発明者】

【氏名】向川 康博

(72)【発明者】

【氏名】青砥 隆仁

【審査官】古川 直樹

(56)【参考文献】

【文献】国際公開第２０１７／１６８７１１（ＷＯ，Ａ１）

【文献】特開２０１６－０８０３９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／０１

Ｇ０１Ｎ ２１／１７ － Ｇ０１Ｎ ２１／６１

Ｏｐｔｉｃａ

(57)【特許請求の範囲】

【請求項1】

物体内部の光学特性を計測する計測装置であって、
前記物体を透過可能な光を用いてパターン画像を前記物体に向けて投影するプロジェクタと、
前記プロジェクタから投影された前記パターン画像の光の内、前記物体の表面及び内部の各３次元位置で反射した光が、前記光を感知可能な撮像面上に入射して結像することにより合成された合成画像をディジタル画像信号に変換して出力する撮像装置と、
前記物体を横切る所定の第１平面内において少なくとも１方向に正弦関数で表される光強度の周期的な振幅変化を有する前記パターン画像の画像データであって、前記正弦関数の互いに異なる複数の空間周波数に各別に対応する複数の前記パターン画像の前記画像データを生成して、前記プロジェクタに入力することにより、前記プロジェクタに対して前記空間周波数が互いに異なる複数の前記パターン画像を、前記空間周波数を時間的に順次変化させながら各別に、前記物体に向けて投影させるパターン画像生成部と、
前記パターン画像生成部において生成された前記画像データにおける複数の前記空間周波数、及び、前記撮像装置から出力される前記複数の空間周波数に各別に対応した複数の前記合成画像の前記ディジタル画像信号を入力として、これらの入力に対して所定の相関演算処理を行い、前記物体の表面及び内部の特定の３次元位置から反射した光の信号振幅を抽出して、抽出した各３次元位置の前記信号振幅に基づいて前記物体の表面及び内部の各３次元位置における前記光学特性を算出するデータ処理部と、を備え、
前記プロジェクタと前記撮像装置の各光学系の焦点距離が互いに異なっていることを特徴とする計測装置。

【請求項2】

前記プロジェクタと前記撮像装置の各光学系の光軸が互いに平行であって、前記第１平面と直交していることを特徴とする請求項１に記載の計測装置。

【請求項3】

前記プロジェクタが透視投影プロジェクタであり、前記撮像装置が平行投影カメラで構成されていることを特徴とする請求項１または２に記載の計測装置。

【請求項4】

前記データ処理部が、前記複数の前記ディジタル画像信号の順次変化する前記各空間周波数に各別に対応する複数の光強度に、前記各空間周波数に対応する角周波数の正弦関数値を各別に乗じて得られる第１データ列と、前記複数の光強度に、前記各空間周波数に対応する前記角周波数の余弦関数値を各別に乗じて得られる第２データ列に対して、離散的フーリエ変換を各別に施して得られた各演算結果に基づいて、前記信号振幅の抽出を行うことを特徴とする請求項１～３の何れか１項に記載の計測装置。

【請求項5】

前記パターン画像の前記光強度の周期的な振幅変化が、前記第１平面内の直交する２方向の変化であることを特徴とする請求項１～４の何れか１項に記載の計測装置。

【請求項6】

物体内部の光学特性を計測する計測方法であって、
前記物体を透過可能な光を用いてパターン画像を前記物体に向けて投影するプロジェクタと、
前記プロジェクタから投影された前記パターン画像の光の内、前記物体の表面及び内部の各３次元位置で反射した光が、前記光を感知可能な撮像面上に入射して結像することにより合成された合成画像をディジタル画像信号に変換して出力する撮像装置を用いて、
前記物体を横切る所定の第１平面内において少なくとも１方向に正弦関数で表される光強度の周期的な振幅変化を有する前記パターン画像の画像データであって、前記正弦関数の互いに異なる複数の空間周波数に各別に対応する複数の前記パターン画像の前記画像データを生成して、前記プロジェクタに入力することにより、前記プロジェクタに対して前記空間周波数が互いに異なる複数の前記パターン画像を、前記空間周波数を時間的に順次変化させながら各別に、前記物体に向けて投影させるパターン画像生成工程と、
前記パターン画像生成工程において生成された前記画像データにおける複数の前記空間周波数、及び、前記撮像装置から出力される前記複数の空間周波数に各別に対応した複数の前記合成画像の前記ディジタル画像信号を入力として、これらの入力に対して所定の相関演算処理を行い、前記物体の表面及び内部の特定の３次元位置から反射した光の信号振幅を抽出して、抽出した各３次元位置の前記信号振幅に基づいて前記物体の表面及び内部の各３次元位置における前記光学特性を算出するデータ処理工程と、を備え、
前記プロジェクタと前記撮像装置の各光学系の焦点距離が互いに異なっていることを特徴とする計測方法。

【請求項7】

前記プロジェクタと前記撮像装置の各光学系の光軸が互いに平行であって、前記第１平面と直交していることを特徴とする請求項６に記載の計測方法。

【請求項8】

前記プロジェクタが透視投影プロジェクタであり、前記撮像装置が平行投影カメラで構成されていることを特徴とする請求項６または７に記載の計測方法。

【請求項9】

前記データ処理工程において、前記複数の前記ディジタル画像信号の順次変化する前記各空間周波数に各別に対応する複数の光強度に、前記各空間周波数に対応する角周波数の正弦関数値を各別に乗じて得られる第１データ列と、前記複数の光強度に、前記各空間周波数に対応する前記角周波数の余弦関数値を各別に乗じて得られる第２データ列に対して、離散的フーリエ変換を各別に施して得られた各演算結果に基づいて、前記信号振幅の抽出を行うことを特徴とする請求項６～８の何れか１項に記載の計測方法。

【請求項10】

前記パターン画像の前記光強度の周期的な振幅変化が、前記第１平面内の直交する２方向の変化であることを特徴とする請求項６～９の何れか１項に記載の計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体内部の３次元空間における光学特性を計測する計測装置及び方法に関し、特に、プロジェクタ・カメラシステムを用いた計測装置及び方法に関する。

【背景技術】

【0002】

物体内部の計測は、困難な課題ではあるが、生体イメージング、医学イメージング、工業検査等の様々な応用において重要である。蛍光Ｘ線分析技術、テラヘルツ・イメージング、赤外リフレクトグラフィ等の物体内部の鮮明な観測を可能にする様々なイメージング技術が開発されている。しかしながら、これらの技術は、電磁波の様々な特徴を利用するものであるが、入手困難な高価な装置を必要とする。これに対して、プロジェクタ・カメラシステムは、比較的低コストであり、容易に入手可能である。

【0003】

プロジェクタ・カメラシステムを用いた物体内部の３次元空間における光学特性を計測する計測装置及び方法としては、レーダ技術の１つである合成開口技術と共焦点撮像技術を応用することで物体によって遮蔽された箇所の撮像を可能にした第１の従来技術（下記の非特許文献１参照）、プロジェクタの焦点距離を物理的に変更しつつ、空間的に高周波な周期パターンを投影することで、対象物体の形状と対象シーンにおける大域照明画像を復元した第２の従来技術（下記の非特許文献２参照）、平行系のプロジェクタ‐カメラシステムを用いて異なる空間周波数の周期パターンを複数回投影した際の表面下散乱成分の変化から物体内部画像を復元した第３の従来技術（下記の非特許文献３参照）等が存在する。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｍａｒｃ Ｌｅｖｏｙ，Ｂｉｌｌｙ Ｃｈｅｎ，Ｖａｉｂｈａｖ Ｖａｉｓｈ，Ｍａｒｋ Ｈｏｒｏｗｉｔｚ，Ｉａｎ ＭｃＤｏｗａｌｌ，ａｎｄ Ｍａｒｋ Ｂｏｌａｓ．２００４．Ｓｙｎｔｈｅｔｉｃ ａｐｅｒｔｕｒｅ ｃｏｎｆｏｃａｌ ｉｍａｇｉｎｇ．Ｉｎ ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（ＴｏＧ），Ｖｏｌ．２３．ＡＣＭ，８２５－８３４．

【文献】Ｓｕｐｒｅｅｔｈ Ａｃｈａｒ ａｎｄ Ｓｒｉｎｉｖａｓａ Ｇ Ｎａｒａｓｉｍｈａｎ．２０１４．Ｍｕｌｔｉ ｆｏｃｕｓ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｆｏｒ ｒｅｃｏｖｅｒｉｎｇ ｓｃｅｎｅ ｓｈａｐｅ ａｎｄ ｇｌｏｂａｌ ｉｌｌｕｍｉｎａｔｉｏｎ．Ｉｎ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｓｐｒｉｎｇｅｒ，２０５－２１９．

【文献】Ｋｅｎｉｃｈｉｒｏ Ｔａｎａｋａ，Ｙａｓｕｈｉｒｏ Ｍｕｋａｉｇａｗａ，Ｈｉｒｏｙｕｋｉ Ｋｕｂｏ，Ｙａｓｕｙｕｋｉ Ｍａｔｓｕｓｈｉｔａ，ａｎｄ Ｙａｓｕｓｈｉ Ｙａｇｉ．２０１７．Ｒｅｃｏｖｅｒｉｎｇ Ｉｎｎｅｒ Ｓｌｉｃｅｓ ｏｆ Ｌａｙｅｒｅｄ Ｔｒａｎｓｌｕｃｅｎｔ Ｏｂｊｅｃｔｓ ｂｙ Ｍｕｌｔｉ－Ｆｒｅｑｕｅｎｃｙ Ｉｌｌｕｍｉｎａｔｉｏｎ．ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ ３９，４（２０１７），７４６－７５７．

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記第１の従来技術では、対象物体とシステムの間にある遮蔽物の影響を軽減できるという利点があるが、合成開口技術を適用するためには物理的にシステムを移動するか、同様のシステムを複数個用意する必要があり、システム構成が複雑化または大型化するという問題がある。

【0006】

上記第２の従来技術では、物理的にプロジェクタの焦点距離を変更することによって時空間的な周波数変調を行っていると解釈でき、後述する本願発明内容と類似するが、物理的にプロジェクタの焦点距離を変更するためには、手動で実施するか特殊な機械構造を利用する必要がある。よって、焦点距離の変更を手動で行う場合は計測処理が煩雑化し、特殊な機械構造を利用する場合は、システム構成が複雑化するという問題がある。

【0007】

上記第３の従来技術では、異なる空間周波数の周期パターンを投影する点で、後述する本願発明内容と類似するが、平行系の光学系を必要とし、また対象物体を少数の離散的な層から成ると仮定することによって最適化計算を適用しているため、より複雑な内部構造に対応できないという問題がある。

【0008】

本発明は、上述の問題点に鑑みてなされたものであり、その目的は、プロジェクタ及びカメラを計測時に移動することなく、且つ、プロジェクタ及びカメラの焦点距離を物理的に変更することなく、複雑な内部構造にも対応可能な、物体内部の３次元空間における光学特性を計測する計測装置及び方法を提供することにある。

【課題を解決するための手段】

【0009】

本発明に係る計測装置は、物体内部の光学特性を計測する計測装置であって、
前記物体を透過可能な光を用いてパターン画像を前記物体に向けて投影するプロジェクタと、
前記プロジェクタから投影された前記パターン画像の光の内、前記物体の表面及び内部の各３次元位置で反射した光が、前記光を感知可能な撮像面上に入射して結像することにより合成された合成画像をディジタル画像信号に変換して出力する撮像装置と、
前記物体を横切る所定の第１平面内において少なくとも１方向に正弦関数で表される光強度の周期的な振幅変化を有する前記パターン画像の画像データであって、前記正弦関数の互いに異なる複数の空間周波数に各別に対応する複数の前記パターン画像の前記画像データを生成して、前記プロジェクタに入力することにより、前記プロジェクタに対して前記空間周波数が互いに異なる複数の前記パターン画像を、前記空間周波数を時間的に順次変化させながら各別に、前記物体に向けて投影させるパターン画像生成部と、
前記パターン画像生成部において生成された前記画像データにおける複数の前記空間周波数、及び、前記撮像装置から出力される前記複数の空間周波数に各別に対応した複数の前記合成画像の前記ディジタル画像信号を入力として、これらの入力に対して所定の相関演算処理を行い、前記物体の表面及び内部の特定の３次元位置から反射した光の信号振幅を抽出して、抽出した各３次元位置の前記信号振幅に基づいて前記物体の表面及び内部の各３次元位置における前記光学特性を算出するデータ処理部と、を備え、
前記プロジェクタと前記撮像装置の各光学系の焦点距離が互いに異なっていることを第１の特徴とする。

【0010】

本発明に係る計測方法は、物体内部の光学特性を計測する計測方法であって、
前記物体を透過可能な光を用いてパターン画像を前記物体に向けて投影するプロジェクタと、前記プロジェクタから投影された前記パターン画像の光の内、前記物体の表面及び内部の各３次元位置で反射した光が、前記光を感知可能な撮像面上に入射して結像することにより合成された合成画像をディジタル画像信号に変換して出力する撮像装置を用いて、
前記物体を横切る所定の第１平面内において少なくとも１方向に正弦関数で表される光強度の周期的な振幅変化を有する前記パターン画像の画像データであって、前記正弦関数の互いに異なる複数の空間周波数に各別に対応する複数の前記パターン画像の前記画像データを生成して、前記プロジェクタに入力することにより、前記プロジェクタに対して前記空間周波数が互いに異なる複数の前記パターン画像を、前記空間周波数を時間的に順次変化させながら各別に、前記物体に向けて投影させるパターン画像生成工程と、
前記パターン画像生成工程において生成された前記画像データにおける複数の前記空間周波数、及び、前記撮像装置から出力される前記複数の空間周波数に各別に対応した複数の前記合成画像の前記ディジタル画像信号を入力として、これらの入力に対して所定の相関演算処理を行い、前記物体の表面及び内部の特定の３次元位置から反射した光の信号振幅を抽出して、抽出した各３次元位置の前記信号振幅に基づいて前記物体の表面及び内部の各３次元位置における前記光学特性を算出するデータ処理工程と、を備え、
前記プロジェクタと前記撮像装置の各光学系の焦点距離が互いに異なっていることを第１の特徴とする。

【0011】

上記第１の特徴の計測装置及び方法によれば、後述するように、プロジェクタ及びカメラを計測時に移動することなく、且つ、プロジェクタ及びカメラの焦点距離を物理的に変更することなく、計測対象物体の内部構造が複雑であっても、物体内部の３次元空間における光学特性を計測することができる。

【0012】

更に、上記第１の特徴の計測装置及び方法は、前記第１平面が前記プロジェクタの光学系の光軸と直交していること、或いは、前記第１平面が前記撮像面と平行であることが、好ましい一実施態様である。

【0013】

更に、上記第１の特徴の計測装置及び方法は、前記プロジェクタと前記撮像装置の各光学系の光軸が互いに平行であって、前記第１平面と直交していることが、より好ましい一実施態様である。

【0014】

更に、上記第１の特徴の計測装置及び方法は、前記プロジェクタが透視投影プロジェクタであり、前記撮像装置が平行投影カメラで構成されていることが、好ましい一実施態様である。

【0015】

これらの好適な実施態様によれば、後述するように、プロジェクタに入力するパターン画像の画像データを生成する処理、及び、物体の表面及び内部の特定の３次元位置から反射した光の信号振幅を抽出して物体の表面及び内部の各位置における光学特性を算出する処理の簡素化及び高精度化が図れる。

【0016】

更に、本発明に係る計測装置は、上記第１の特徴に加えて、前記データ処理部が、前記複数の前記ディジタル画像信号の順次変化する前記各空間周波数に各別に対応する複数の光強度に、前記各空間周波数に対応する角周波数の正弦関数値を各別に乗じて得られる第１データ列と、前記複数の光強度に、前記各空間周波数に対応する前記角周波数の余弦関数値を各別に乗じて得られる第２データ列に対して、離散的フーリエ変換を各別に施して得られた各演算結果に基づいて、前記信号振幅の抽出を行うことを第２の特徴とする。

【0017】

更に、本発明に係る計測方法は、上記第１の特徴に加えて、前記データ処理工程において、前記複数の前記ディジタル画像信号の順次変化する前記各空間周波数に各別に対応する複数の光強度に、前記各空間周波数に対応する角周波数の正弦関数値を各別に乗じて得られる第１データ列と、前記複数の光強度に、前記各空間周波数に対応する前記角周波数の余弦関数値を各別に乗じて得られる第２データ列に対して、離散的フーリエ変換を各別に施して得られた各演算結果に基づいて、前記信号振幅の抽出を行うことを第２の特徴とする。

【0018】

更に、上記第１または第２の特徴の計測装置及び方法は、前記パターン画像の前記光強度の周期的な振幅変化が、前記第１平面内の直交する２方向の変化であることが、好ましい一実施態様である。

【0019】

当該好適な実施態様によれば、後述するように、パターン画像の光強度の周期的な振幅変化が１方向のみの場合と比べて、算出された光学特性の誤差が軽減され、光学特性を算出する処理の高精度化が図れる。

【0020】

更に、上記第１または第２の特徴の計測装置及び方法は、前記光学特性が、前記物体の表面及び内部の各３次元位置における反射率であることが好ましい。

【発明の効果】

【0021】

本発明に係る計測装置及び方法によれば、プロジェクタ及びカメラを計測時に移動することなく、且つ、プロジェクタ及びカメラの焦点距離を物理的に変更することなく、複雑な内部構造にも対応可能な、物体内部の３次元空間における光学特性を計測する計測装置及び方法を提供できる。

【図面の簡単な説明】

【0022】

【図1】本発明に係る計測装置であるプロジェクタ・カメラシステムの概略の構成例を模式的に示す図。

【図2】図１に示すプロジェクタ・カメラシステムのプロジェクタ、撮像装置、及び、計測対象物が好適に配置された概略の構成例を模式的に示す図。

【図3】評価実験に用いたプロジェクタ・カメラシステムの構成を示す図。

【図4】評価実験に用いた計測対象の物体の概略の構成を模式的に示す図。

【図5】評価実験により復元された４層の内部反射率の算出結果を示す図。

【発明を実施するための形態】

【0023】

以下、本発明に係る計測装置及び方法（以下、適宜、「本装置」及び「本方法」と称す。）の実施形態について、図面を参照して説明する。

【0024】

［計測装置の概略構成］
本装置１０は、図１に模式的に示すように、計測対象の物体６０の内部の３次元空間における光学特性を計測する計測装置であって、プロジェクタ２０、撮像装置３０、パターン画像生成部４０、及び、データ処理部５０を備え、プロジェクタ・カメラシステムとして構成される。

【0025】

既存のプロジェクタ・カメラシステムは、計測対象物の３次元形状計測に一般的に用いられているが、本発明では、当該プロジェクタ・カメラシステムを、計測対象物の表面だけでなく、物体内部の３次元空間における光学特性の計測に応用する。

【0026】

プロジェクタ２０は、パターン画像生成部４０から入力される画像データＤ１に基づいて、物体６０を横切る所定の第１平面内において少なくとも１方向に正弦関数で表される光強度の周期的な振幅変化を有するパターン画像を生成し、物体６０を透過可能な光を用いて当該パターン画像を物体６０に向けて光学的に投影するように構成されている。尚、本明細書において、「光学的に」とは、光学レンズ等の光学素子を備えて構成される光学設備（適宜、「光学系」と称す）を使用することを意味する。

【0027】

本実施形態では、プロジェクタ２０として、一般的な透視投影プロジェクタの使用を想定している。よって、上記第１平面の位置が上記第１平面に垂直な方向に後退すると、つまり、プロジェクタ２０から遠ざかると、上記第１平面上に投影されるパターン画像は相似的に拡大される。

【0028】

立体的な物体６０が、例えば白色光等の可視光に対して透明或いは半透明であって、物体内部において、当該可視光に対する反射率及び透過率が、３次元空間的に変化している場合等では、プロジェクタ２０は、当該可視光を用いて、当該パターン画像を物体６０に向けて投影する。

【0029】

プロジェクタ２０は、上記パターン画像が、物体６０の計測対象領域に投影されるように、プロジェクタ２０の光学系の配置及び焦点距離が予め設定され、設定された配置及び焦点距離が計測期間を通じて維持される。尚、プロジェクタ２０の投影方式及び投影メカニズムは、投影する光の波長等に適合していれば、特定の方式等に限定されるものではなく、一般に市販されている透視投影プロジェクタを使用することができる。また、プロジェクタ２０の電気的及び光学的仕様（例えば、フレームレート、焦点距離、解像度、等）は、計測内容に応じたものを適宜使用すればよく、特定の仕様に限定されるものではない。プロジェクタ２０の具体的な構造は、本発明の本旨ではないので、詳細な説明は割愛する。

【0030】

撮像装置３０は、プロジェクタ２０から投影される光を感知可能な光電変換素子がアレイ状に配置されてなるイメージセンサ（ＣＣＤセンサ、ＭＯＳセンサ、等）と、物体６０の表面及び内部の各３次元位置で反射してイメージセンサの表面である撮像面に向かって入射する光を、当該撮像面上に結像させるための光学系と、イメージセンサから出力される光電変換された電気信号を増幅等して、所定の出力形式のディジタル画像信号Ｄ２として出力する信号処理回路部を備えて構成される。プロジェクタ２０から投影される光が、例えば、白色光等の可視光の場合、撮像装置３０として、一般に市販されているＲＧＢカメラを備えた構成が想定される。尚、使用するイメージセンサは、計測内容に応じて、カラーセンサ以外に、モノクロームセンサを使用しても構わない。

【0031】

撮像装置３０は、物体６０の計測対象領域から入射する光が撮像可能に、撮像装置３０の配置及び光学系の焦点距離が予め設定され、設定された配置及び焦点距離が計測期間を通じて維持される。また、撮像装置３０の電気的及び光学的仕様（例えば、フレームレート、焦点距離、解像度、等）は、計測内容に応じたものを適宜使用すればよく、特定の仕様に限定されるものではない。撮像装置３０の具体的な構造は、本発明の本旨ではないので、詳細な説明は割愛する。

【0032】

パターン画像生成部４０は、上記第１平面内において少なくとも１方向に正弦関数で表される光強度の周期的な振幅変化を有するパターン画像の画像データＤ１を生成する。ここで、上記第１平面上に投影された１つのパターン画像上の少なくとも１方向の周期的な振幅変化を表す空間周波数が、時間的に順次変化するように、上記第１平面上における空間周波数の異なる複数のパターン画像に対応する画像データＤ１が作成される。作成された画像データＤ１は、各空間周波数に対応する画像データＤ１を空間周波数別に順次、プロジェクタ２０に向けて送信するのが好ましい。各空間周波数の対応する画像データＤ１を全て一括して、プロジェクタ２０に向けて送信してもよいが、この場合、プロジェクタ２０側で、受信した画像データＤ１を一時的に保存するのに必要なメモリ容量が大幅に増加するため、プロジェクタ２０側のリソース量及び処理量の負担を軽減するためには、各空間周波数に対応する画像データＤ１を各別に順次送信するのが好ましい。

【0033】

本実施形態では、パターン画像上の少なくとも１方向（ｘ方向）に沿った周期的な振幅変化がｘを変数とする正弦関数で表される画像データＤ１が作成される。つまり、第１平面上の３次元位置（ｘ，ｙ，ｚ）に照射される光の強度Ｌ（ｘ，ｙ，ｚ）は、下記の数１で表される。数１に示されるように、強度Ｌ（ｘ，ｙ，ｚ）は、ｙ方向には一様である。尚、３次元位置（ｘ，ｙ，ｚ）を規定するｘｙｚ直交座標系において、第１平面は、ｘｙ面に平行な面となり、ｚ軸は第１平面に垂直な軸となる。更に、第１平面は、物体６０を横切る（接する場合を含む）範囲内において任意のｚ値を取り得る。

【0034】

【数1】

【0035】

上記数１において、Ｄ（ｚ）はオフセット値を、Ａ（ｚ）は振幅を、ω（ｚ）は角周波数を、φは位相を夫々示す。

【0036】

上述のように、本実施形態では、プロジェクタ２０が透視投影プロジェクタであるので、上記第１平面が上記第１平面に垂直な＋ｚ方向に後退すると、上記第１平面上に投影されるパターン画像は相似的に拡大され、結果として、上記第１平面上における空間周波数ｆ（ｚ）（＝ω（ｚ）／２π）は、ｚの増加とともに低下する。つまり、プロジェクタ２０から投影された１つのパターン画像は、パターン画像の投影される第１平面が物体６０を横切る位置（ｚ値）に応じて、第１平面上での空間周波数ｆ（ｚ）が増減する。一方、上述したように、第１平面が物体６０を横切る位置（ｚ値）が同じでも、空間周波数ｆ（ｚ）は時間的に順次変化する。つまり、第１平面上で観測されるパターン画像の空間周波数ｆ（ｚ）は、パターン画像生成部４０が生成しプロジェクタ２０に入力された画像データＤ１によって、空間的（ｚ方向）且つ時間的に変調される。

【0037】

尚、以下の説明において、上述の時間的に順次変化する空間周波数ｆ（ｚ）及び角周波数ω（ｚ）は、順次変化する時間の順序を規定するインデックスｉ（ｉ＝１～ｎ）を用いて、適宜、ｆ（ｚ）［ｉ］及びω（ｚ）［ｉ］と表記する。ｎは、時間的に順次変化する空間周波数ｆ（ｚ）の総数であり、計測内容に応じて予め設定されるが、本実施形態では、一例として、１００～１０００程度の範囲内で設定される。また、空間周波数ｆ（ｚ）［ｉ］のパターン画像が投影されている期間を時点［ｉ］と称す。従って、時点［ｉ］では、空間周波数ｆ（ｚ）［ｉ］のパターン画像だけが、１時点前の空間周波数ｆ（ｚ）［ｉ－１］のパターン画像、及び、１時点後の空間周波数ｆ（ｚ）［ｉ＋１］のパターン画像の何れとも重複されずに投影される。つまり、各時点［ｉ］の期間内では、空間周波数ｆ（ｚ）［ｉ］のパターン画像は、静止画像として投影される。

【0038】

一方、或る特定の時点［ｉ］で撮像装置３０の撮像面上で結像した画像は、物体６０の表面及び内部の各３次元位置（ｘ，ｙ，ｚ）まで、それより前方（‐ｚ方向）に存在する物体６０を透過して到達した光の一部が、当該３次元位置（ｘ，ｙ，ｚ）での反射率に応じて反射し、反射しなかった他の一部が、それより後方（＋ｚ方向）に向けて透過し、当該後方の３次元位置（ｘ，ｙ，ｚ＋Δｚ）で当該３次元位置での反射率に応じて反射した光を、全て合成して得られる合成画像となる。尚、各時点［ｉ］の時間的な長さは、撮像面上での当該合成画像の露光時間より長くなるように設定され、使用するプロジェクタ２０及び撮像装置３０の仕様に依存して決まる。従って、撮像装置３０側では、各時点［ｉ］の期間中、静止画像として投影された空間周波数ｆ（ｚ）［ｉ］のパターン画像だけに対応した合成画像が撮像面上で結像するため、各時点［ｉ］に同期して、各時点［ｉ］の合成画像に対応したディジタル画像信号Ｄ２が離散的に出力される。ここで、各時点［ｉ］において、パターン画像は静止画像として一定期間継続して投影されるため、プロジェクタ２０と撮像装置３０の間の同期は容易に確立することができる。

【0039】

以上より、或る特定の時点［ｉ］で撮像装置３０から出力されるディジタル画像信号Ｄ２が示す合成画像内には、当該特定の時点［ｉ］におけるｚ軸上の各位置の第１平面上の２次元位置（ｘ，ｙ）におけるパターン画像の光強度の振幅と物体６０の反射率及び透過率の情報がｚ方向に重畳されて含まれている。

【0040】

パターン画像生成部４０は、例えば、パーソナルコンピュータ等の汎用コンピュータ上で、各時点［ｉ］における上述のパターン画像の画像データＤ１を生成する処理（本方法のパターン画像生成工程に相当）コンピュータ・プログラムを実行するコンピュータ・ソフトウェア手段として構成することができる。

【0041】

データ処理部５０は、パターン画像生成部４０において生成された画像データＤ１における複数の空間周波数ｆ（ｚ）［ｉ］（ｉ＝１～ｎ）、及び、撮像装置３０から出力される複数の空間周波数ｆ（ｚ）［ｉ］に各別に対応した複数の合成画像の前記ディジタル画像信号Ｄ２を入力として、これらの入力に対して後述する相関演算処理を行い、物体６０の表面及び内部の特定の３次元位置（ｘ，ｙ，ｚ）から反射した光の信号振幅を抽出して、抽出した各３次元位置（ｘ，ｙ，ｚ）の信号振幅に基づいて、後述する要領で、物体６０の表面及び内部の各３次元位置（ｘ，ｙ，ｚ）における光学特性を算出する。尚、本実施形態では、当該光学特性として、反射率Ｒ（ｘ，ｙ，ｚ）を算出する。

【0042】

データ処理部５０は、例えば、パーソナルコンピュータ等の汎用コンピュータ上で、物体６０の表面及び内部の特定の３次元位置（ｘ，ｙ，ｚ）から反射した光の信号振幅を抽出する処理、及び、抽出した各３次元位置（ｘ，ｙ，ｚ）の信号振幅に基づいて、物体６０の表面及び内部の各３次元位置（ｘ，ｙ，ｚ）における光学特性を算出する処理（両処理は、本方法のデータ処理工程に相当）を行うコンピュータ・プログラムを実行するコンピュータ・ソフトウェア手段として構成することができる。

【0043】

パターン画像生成部４０及びデータ処理部５０は、夫々、コンピュータ・ソフトウェア手段として構成することができるが、夫々のコンピュータ・プログラムを実行するハードウェアとしてのコンピュータは、１台または２台の汎用コンピュータに限定されるものではなく、単体の専用のハードウェアとして構成されてもよく、更に、パターン画像生成部４０及びデータ処理部５０の各専用のハードウェアを個別に設けてもよい。

【0044】

次に、撮像装置３０の撮像面上で観測される合成画像と、当該合成画像のディジタル画像信号Ｄ２から任意の第１平面上の任意の３次元位置（ｘ，ｙ，ｚ）における物体６０の反射率（ｘ，ｙ，ｚ）の算出手順を説明する。

【0045】

以下、説明を容易にするため、図２に示すように、プロジェクタ・カメラシステムは、プロジェクタ２０が透視投影プロジェクタであり、撮像装置３０が平行投影カメラで構成され、プロジェクタ２０及び撮像装置３０の各光学系の光軸が第１平面と直交するようにプロジェクタ２０及び撮像装置３０が好適に配置されている場合を想定する。つまり、プロジェクタ２０の投影面と撮像装置３０の撮像面と第１平面が互いに平行である。

【0046】

尚、図２に示すシステム構成では、プロジェクタ２０が物体６０と撮像装置３０の間を遮蔽しないように、ビームスプリッタ（ハーフミラー）２１をプロジェクタ２０と物体６０の間に介装して、プロジェクタ２０の光学系の光軸を屈曲させている。これにより、プロジェクタ２０及び撮像装置３０の各光学系の光軸を同軸にでき、プロジェクタ２０の投影面と撮像装置３０の撮像面と第１平面の各ｘｙ座標の原点（ｘ＝０、ｙ＝０）を一致させることができる。ここで、プロジェクタ２０の投影中心を、ｚ＝０であると規定する。尚、実際のシステム構成（例えば、後述する図３に示す実験用のシステム構成）において、必ずしもビームスプリッタは必要ではなく、プロジェクタ２０及び撮像装置３０の各光学系の光軸が同軸でなく平行に設定されていれば、プロジェクタ２０の投影面上の座標系と撮像装置３０の撮像面上の座標系の相対関係は平行移動のみとなるので、以下に説明する演算内容と同様の演算が可能である。尚、以下の説明において、ｚ＝０からの光軸（ｚ軸）上の距離を「深さ」と称する場合、ｚ値を深さｚと称する場合がある。

【0047】

また、撮像装置３０が平行投影カメラで構成されているため、第１平面上のパターン画像は同じ寸法で、つまり、拡大も縮小もされずに、撮像面上に結像される。

【0048】

尚、プロジェクタ２０が透視投影プロジェクタであり、撮像装置３０が平行投影カメラで構成される場合は、各光学系の焦点距離は当然に等しくない。本装置及び本方法において、プロジェクタ２０と撮像装置３０の各光学系の焦点距離が等しくないことが必要条件となる。従って、図２に示すプロジェクタ・カメラシステムの構成は、当該条件を満足する一実施態様である。実際の実施態様において、プロジェクタ・カメラシステムの構成として、プロジェクタ２０が透視投影プロジェクタであり、撮像装置３０が透視投影カメラで構成されてもよく、また、プロジェクタ２０が平行投影プロジェクタであり、撮像装置３０が透視投影カメラで構成されてもよい。

【0049】

［撮像装置の撮像面上で観測される合成画像］
先ず、撮像装置３０の撮像面上で観測される合成画像について説明する。上述したように、第１平面上に投影されるパターン画像は、上記数１に示すようにｘを変数とする正弦関数で表され、角周波数ω（ｚ）はｚの増加とともに低下する。ここで、物体６０の最前面の第１平面のｚ値をｚ_１とし、当該第１平面（ｚ＝ｚ_１）でのパターン画像の角周波数ω（ｚ）をω_１とすると、任意のｚでの第１平面における角周波数ω（ｚ）は、下記の数２で示される。つまり、プロジェクタ２０として透視投影プロジェクタを使用することで、パターン画像に対して、ｚ方向に自然な空間周波数の変調が得られる。

【0050】

【数2】

【0051】

撮像面上の画素（ｘ，ｙ）で観測される合成画像の光強度Ｉ（ｘ，ｙ）は、異なる深さｚでの全ての光強度の積分値として、下記の数３で表される。ここで、撮像装置３０と物体６０の最前面（ｚ＝ｚ_１）の間には、何も存在しないと想定する。

【0052】

【数3】

【0053】

各３次元位置（ｘ，ｙ，ｚ）が上記数１で示される光強度Ｌ（ｘ，ｙ，ｚ）のパターン画像で照射され、各３次元位置（ｘ，ｙ，ｚ）において反射率Ｒ（ｘ，ｙ，ｚ）で反射した光が、撮像面上の画素（ｘ，ｙ）に到達するまでに、物体６０内を通過する場合は減衰するので、上記数３の右辺内の各３次元位置（ｘ，ｙ，ｚ）から画素（ｘ，ｙ）に到達する光の強度Ｉ_ｐ（ｘ，ｙ，ｚ）は、下記の数４で表される。

【0054】

【数4】

【0055】

上記数４のＥ（ｘ，ｙ，ｚ）は、３次元位置（ｘ，ｙ，ｚ）で反射した光が画素（ｘ，ｙ）に至るまでの光強度の減衰率であり、３次元位置（ｘ，ｙ，ｚ）での光の透過率をＴ（ｘ，ｙ，ｚ）とすると、下記の数５のように定式化できる。

【0056】

【数5】

【0057】

ここで、上述のように、撮像装置３０と物体６０の最前面（ｚ＝ｚ_１）の間には、何も存在しないと想定しているため、上述のビームスプリッタ２１は、仮想的なもので、物体６０から撮像面に向けて入射する光は、ビームスプリッタ２１で反射せず、１００％透過するものと想定している。しかし、仮に、ビームスプリッタ２１が物理的に存在し、ビームスプリッタ２１での光の透過率が１００％でない場合は、上記数５の右辺に一定の透過率を乗ずればよい。

【0058】

任意の深さｚの第１平面上に照射されるパターン画像の光強度Ｌ（ｘ，ｙ，ｚ）のオフセット値Ｄ（ｚ）と振幅Ａ（ｚ）は、理想的には深さｚに対して均質であるが、実際は、物体６０の影響を受ける。例えば、深さｚ_２（ｚ_２＞ｚ_１）への照射は、深さｚ_１の各点から減衰している場合があり得るため、結果として不均質なオフセット値Ｄ（ｘ，ｙ，ｚ）と振幅Ａ（ｘ，ｙ，ｚ）となる。

【0059】

深さｚ_１におけるオフセット値Ｄ（ｚ_１）と振幅Ａ（ｚ_１）は、パターン画像生成部４０が生成した画像データＤ１により一意的に決まる。深さｚ（ｚ＞ｚ_１）でのオフセット値Ｄ（ｘ，ｙ，ｚ）と振幅Ａ（ｘ，ｙ，ｚ）は、深さｚ_１におけるオフセット値Ｄ（ｚ_１）と振幅Ａ（ｚ_１）に、深さｚ_１から３次元位置（ｘ，ｙ，ｚ）までの光の減衰率Ｇ（ｘ，ｙ，ｚ）を乗じて、下記の数６及び数７で表される。また、減衰率Ｇ（ｘ，ｙ，ｚ）は、下記の数８のように定式化できる。但し、数８右辺中の変数ｘ^＊と変数ｙ^＊は、数９で与えられる。

【0060】

【数6】

【0061】

【数7】

【0062】

【数8】

【0063】

【数9】

【0064】

以上より、撮像面上の画素（ｘ，ｙ）で観測される合成画像の光強度Ｉ（ｘ，ｙ）は、数３から変形して、下記の数１０で表される。但し、数１０右辺のオフセット値Ｄ^＊（ｘ，ｙ，ｚ）と振幅Ａ^＊（ｘ，ｙ，ｚ）は、下記の数１１及び数１２で与えられる。

【0065】

【数10】

【0066】

【数11】

【0067】

【数12】

【0068】

［反射率（ｘ，ｙ，ｚ）の算出手順（データ処理工程）］
次に、数１０で与えられる撮像面上の合成画像の光強度Ｉ（ｘ，ｙ）を示すディジタル画像信号Ｄ２から任意の第１平面上の任意の３次元位置（ｘ，ｙ，ｚ）における物体６０の反射率（ｘ，ｙ，ｚ）の算出手順を説明する。

【0069】

光強度Ｉ（ｘ，ｙ）は、数１０に示すように、深さｚに依存する空間周波数ｆ（ｚ）（＝ω（ｚ）／２π）によって空間的に変調されている。よって、空間的な相関処理によって、特定の空間周波数を有する信号、つまり、特定の深さｚの信号を抽出できる。しかし、空間的な相関処理は、反射率マップの空間周波数の影響を受ける。本願発明者は、本問題を解くために、直接変換技術（ホモダイン検波）を採用する。直接変換により、複雑な信号中から特定の周波数を有する信号を検出することができる。

【0070】

ここで、本装置及び本方法において、プロジェクタ２０と撮像装置３０の各光学系の焦点距離が等しくないことが必要条件となっているが、仮に、当該条件が満足されない場合、物体６０を横切る第１平面上において、上記数２で示される角周波数ω（ｚ）による空間的な変調が、撮像面上で合成画像が形成される過程でそのまま真逆の空間的な復調が生じるため、光強度Ｉ（ｘ，ｙ）が空間的に変調された状態でなくなり、よって後述するような直接変換による反射率（ｘ，ｙ，ｚ）の算出が不可能となる。

【0071】

さて、上述したように、パターン画像生成部４０は、空間周波数ｆ（ｚ）（＝ω（ｚ）／２π）を時間的に順次変化させながら、空間周波数ｆ（ｚ）の異なる複数のパターン画像に対応する画像データＤ１を作成し、プロジェクタ２０は、受信した画像データＤ１に基づいて、空間周波数ｆ（ｚ）の異なる複数のパターン画像を順次、物体６０に向けて投影する。従って、時点［ｉ］において撮像面上で観測される合成画像の光強度Ｉ（ｘ，ｙ）をＩ（ｘ，ｙ）［ｉ］とすると、撮像装置３０は、プロジェクタ２０が複数のパターン画像を順次投影する時点［ｉ］に同期して、各時点［ｉ］で投影され撮像面上で観測される合成画像の光強度Ｉ（ｘ，ｙ）［ｉ］を光電変換して得られるディジタル画像信号Ｄ２を出力する。

【0072】

従って、データ処理部５０がディジタル画像信号Ｄ２から得られる時点［ｉ］での合成画像の光強度Ｉ（ｘ，ｙ）［ｉ］は、下記の数１３で表される。

【0073】

【数13】

【0074】

上記数１３の両辺に、角周波数がω（ｗ）［ｉ］の正弦波信号を乗じると、下記の数１４が得られる。

【0075】

【数14】

【0076】

上記数１４右辺の積分内の全ての項は、時間の順序を規定するインデックスｉに依存する。ここで、ｚ＝ｗの場合のみ、つまり、ω（ｚ）［ｉ］－ω（ｗ）［ｉ］＝０となる場合には、上記数１４右辺の積分内の第３項は、上記インデックスｉに依存しなくなり、上記数１４の連続的な信号Ｉ（ｘ，ｙ）［ｉ］ｓｉｎ（ω（ｗ）［ｉ］ｘ）の直流（ＤＣ）成分となる。当該連続的な信号のＤＣ成分は、周知の離散的フーリエ変換（ＤＦＴ）を行うことで、容易に抽出することができる。離散的フーリエ変換の演算子を〈Ｆ｛ｓ［ｉ］｝〉_ＤＣと規定すると、上記数１４右辺の積分内の第３項は、下記の数１５に示すように抽出される。

【0077】

【数15】

【0078】

同様に、上記数１３の両辺に、角周波数がω（ｗ）［ｉ］の余弦波信号を乗じて、上述の離散的フーリエ変換（ＤＦＴ）を行うと、下記の数１６が得られる。

【0079】

【数16】

【0080】

ｃｏｓ^２φ＋ｓｉｎ^２φ＝１であるので、数１５及び数１６から下記の数１７が導出される。

【0081】

【数17】

【0082】

本項の算出対象である任意の３次元位置（ｘ，ｙ，ｚ）における物体６０の反射率Ｒ（ｘ，ｙ，ｚ）は、上記数１２を変形して、下記の数１８で与えられる。

【0083】

【数18】

【0084】

上述したように、深さｚ_１の前方（ｚ＜ｚ_１）に何も存在しないと想定しているので、数１８右辺の分母のＥ（ｘ，ｙ，ｚ）は、深さｚ_１では、Ｅ（ｘ，ｙ，ｚ_１）＝１となる。更に、深さｚ_１における振幅Ａ（ｘ，ｙ，ｚ_１）は、Ａ（ｚ_１）として既知である。以上より、深さｚ_１における物体６０の反射率Ｒ（ｘ，ｙ，ｚ_１）は、下記の数１９で表される。

【0085】

【数19】

【0086】

次に、任意の３次元位置（ｘ，ｙ，ｚ）における物体６０の透過率Ｔ（ｘ，ｙ，ｚ）は、下記の数２０で与えられると想定する。

【0087】

【数20】

【0088】

ここで、深さｚ_１より僅かに後方の深さｚ_２（ｚ_２＝ｚ_１＋Δｚ）における減衰率Ｅ（ｘ，ｙ，ｚ_２）と振幅Ａ（ｘ，ｙ，ｚ_２）は、夫々、数５と数７で算出できる。従って、深さｚ_２における物体６０の反射率Ｒ（ｘ，ｙ，ｚ_２）は、数１８に基づいて算出できる。上記手順を繰り返すと、深さｚ_１より後方の任意の深さｚ（ｚ＞ｚ_１）における物体６０の反射率Ｒ（ｘ，ｙ，ｚ）を算出できる。

【0089】

［評価実験］
次に、図３に示す実験用のプロジェクタ・カメラシステムを用いて、上記本装置及び本方法を評価した結果を説明する。尚、上記システムでは、プロジェクタ２０としてＳＫテレコム社製のレーザプロジェクタ２０２（型番：ＬＢ－ＵＨ６ＣＢ、解像度：１２８０×７２０）を使用し、撮像装置３０として、エドモンド・オプティクス社製のテレセントリックレンズ３１（商品コード：＃５５－３４８）を装着したＦＬＩＲ社製のＲＧＢカメラ３２（商品名：Ｇｒａｓｓｈｏｐｐｅｒ３、解像度：１９２０×１４４０）を使用した。また、投影パターンの観測を阻害する物体６０からの鏡面反射が撮像装置３０の撮像面に入射するのを防止するため、レーザプロジェクタ２０２とテレセントリックレンズ３１の各前面（物体６０側）に、偏光子２３，３３を設置している。図３に示す実験用のシステム設定では、図２の説明用のシステム構成で想定したビームスプリッタ２１は使用していない。このため、プロジェクタ２０及び撮像装置３０の各光学系の光軸は互いに平行であるが、同軸ではない。また、当該システム設定では、深さｚ_１は２５２．８３ｍｍであり、深さｚ_１におけるオフセット値と振幅をＤ（ｚ_１）＝Ａ（ｚ_１）＝１２７に設定した。また、深さｚ_１における正弦波パターンの空間周波数を、０．７８１２５≦ｆ（ｚ）≦５００ｍＨｚ（Ｈｚ＝１／ｍ）の範囲内で０．７８１２５ｍＨｚ刻みで順次変化させた。インデックスｉの総数ｎは６００となる。

【0090】

使用したレーザプロジェクタ２０２は完全なフォーカス・フリーではなく、我々が確認したところ、合焦範囲として少なくとも２５０ｍｍが必要である。

【0091】

また、使用したテレセントリックレンズ３１は、実用上の制約があり、被写界深度が浅く、作動距離も限られている。設定した撮像装置３０では、被写界深度が６０ｍｍ、近端の作動距離が１３０ｍｍである。

【0092】

計測対象の物体６０として、図４に示すように、４枚のオーバーヘッド・プロジェクタ（ＯＨＰ）用のシート６１～６４を１０ｍｍ間隔で前後（ｚ方向）に重ね合わせたものを使用した。各シート６１～６４には、手前から順に文字Ａ，Ｂ，Ｃ，Ｄが夫々印刷されている。

【0093】

図５（Ａ）～（Ｄ）に、最前面からの＋ｚ方向の深さが０ｍｍ、１０ｍｍ、２０ｍｍ、３０ｍｍでの各内部反射率の算出結果を示す。図５（Ａ）（深さ：０ｍｍ）では、文字Ａが他の文字Ｂ～Ｄに比べて極めて鮮明に確認できる。図５（Ｂ）（深さ：１０ｍｍ）及び図５（Ｃ）（深さ：２０ｍｍ）においても、文字Ｂ及びＣが夫々、他の文字に比べて鮮明に確認できる。図５（Ｄ）（深さ：３０ｍｍ）では、文字Ｃ及びＤの両方が確認できるが、文字Ａ及びＢは殆ど確認できない。

【0094】

図５（Ａ）～（Ｄ）に示す実験結果は、本装置及び本方法によって、様々な物体内部の反射率を復元できることを十分に示している。

【0095】

［別実施形態］
次に、上記実施形態の変形例（別実施形態）について説明する。

【0096】

〈１〉上記実施形態では、プロジェクタ２０及び撮像装置３０の各光学系の光軸が同軸であり、各光軸が第１平面に直交するため、第１平面は、プロジェクタ２０の投影面及び撮像装置３０の撮像面の両方と平行である。このため、第１平面上に投影されたｘ方向に正弦関数で表される光強度の周期的な振幅変化を有するパターン画像は、プロジェクタ２０の投影面上においても同じｘ方向に正弦関数で表される光強度の周期的な振幅変化を有し、撮像装置３０の撮像面上においても、結像された合成画像の内の当該パターン画像に対応する成分は、同じｘ方向に正弦関数で表される光強度の周期的な振幅変化を有する。

【0097】

このため、ｘｙ平面が投影面と平行でプロジェクタ２０の光学系の光軸がｚ軸となるプロジェクタ２０側の直交座標系と、第１平面上の３次元位置を規定する直交座標系の間で座標変化を行う必要がなく、パターン画像生成部４０は、第１平面上において方向に正弦関数で表される光強度の周期的な振幅変化を有するパターン画像の画像データＤ１を、同じ座標系で作成することができる。

【0098】

更に、ｘｙ平面が撮像面と平行で撮像装置３０の光学系の光軸がｚ軸となる撮像装置３０側の直交座標系と、第１平面上の３次元位置を規定する直交座標系の間で座標変化を行う必要がないため、数１０で与えられる撮像面上の合成画像の光強度Ｉ（ｘ，ｙ）を示すディジタル画像信号Ｄ２から任意の第１平面上の任意の３次元位置（ｘ，ｙ，ｚ）における物体６０の反射率（ｘ，ｙ，ｚ）の算出する過程において、第１平面上の直交座標系と撮像装置３０側の直交座標系の間で座標変換を行うことなく、同じ座標系で処理を行うことができる。

【0099】

しかしながら、プロジェクタ２０と撮像装置３０の間の配置は、図２及び図３に例示した相対的な位置関係に限定されるものではないため、一般的に、プロジェクタ２０と撮像装置３０の各光学系の光軸は互いに平行とはならないシステム設定もあり得る。この場合、プロジェクタ２０側の直交座標系と撮像装置３０側の直交座標系の一方を、第１平面上の直交座標系に一致させ、他方と第１平面上の直交座標系の間で座標変換を行えば、パターン画像生成部４０とデータ処理部５０は、上記実施形態で説明した内容の処理が同様に行える。

【0100】

ここで、プロジェクタ２０と撮像装置３０の各光学系の光軸は互いに平行とはならない設定では、プロジェクタ２０側の直交座標系を第１平面上の直交座標系に一致させる第１の実施態様の方が、撮像装置３０側の直交座標系を第１平面上の直交座標系に一致させる第２の実施態様より好ましいと考えられる。その理由として、一般的に、撮像装置３０に使用する撮像素子に比べて、プロジェクタ用素子の空間解像度が低く、ダイナミックレンジも低いため、第２の実施態様より第１の実施態様の方が、座標変換に伴う誤差を抑制できると考えられる。

【0101】

〈２〉上記実施形態では、合成画像の光強度Ｉ（ｘ，ｙ）に対して、空間的な相関処理として、直接変換技術（ホモダイン検波）を採用して、特定の深さｚの信号を抽出した。しかし、空間的な相関処理として、ヘテロダイン検波を採用しても同様の結果が得られる。

【0102】

ヘテロダイン検波の場合、数１４において、数１３の両辺に乗じる正弦波信号の角周波数がω（ｗ）［ｉ］＝ω（ｚ）［ｉ］ではなく、ω（ｗ）［ｉ］＝ω（ｚ）［ｉ］＋Δωとする。その結果、数１４右辺の積分内の第３項の角周波数は、Δωとなる。ここで、Δωとして、微小な値を設定すると、ローパスフィルタ処理を施すことで、当該第３項を抽出することができる。また、当該第３項には、ＤＣからΔωまでの周波数成分が含まれるため、更に、ホモダイン検波を行うことで、角周波数Δωの信号を抽出することもできる。しかし、本装置及び本方法において、ヘテロダイン検波を採用した場合、直接変換技術（ホモダイン検波）を採用する場合と比較して、数１５及び数１６に示すＤＣ成分を抽出するための処理数が増えるので、直接変換技術（ホモダイン検波）を使用すれば十分である。

【0103】

〈３〉上記実施形態では、パターン画像は、第１平面上の光の強度Ｌ（ｘ，ｙ，ｚ）が、ｘを変数とする正弦関数で表される１方向（ｘ方向）に沿って周期的に振幅変化する場合を想定したが、ｘ及びｙを変数とする正弦関数で表される２方向（例えば、ｘ方向とｙ方向、つまり、直交する２方向）に沿って周期的な振幅変化するようにしてもよい。

【0104】

上述の評価実験とは別にシミュレーションにより、上述の評価実験より複雑な内部構造の物体６０を計測対象とした場合について評価した結果、パターン画像が１方向（ｘ方向）に沿って周期的に振幅変化する場合は、物体内部の反射率の算出結果の誤差の大きい部分が、物体内部の比較的深い箇所で、当該１方向と直交する方向（ｙ方向）に沿って発生し易いことが確認されている。従って、パターン画像を、ｘ及びｙを変数とする正弦関数で表される２方向に沿って周期的な振幅変化させると、上述の誤差の発生が抑制され好ましい。

【0105】

以下、パターン画像の光強度Ｌ（ｘ，ｙ，ｚ）が２方向に沿って周期的な振幅変化する場合について、上述の反射率（ｘ，ｙ，ｚ）の算出手順で説明した数式がどのように変更されるかを、主要な数式についてのみ説明する。

【0106】

数１３は、下記の数２１のように変更され、数２は、下記の数２２及び数２３に分解される。

【0107】

【数21】

【0108】

【数22】

【数23】

【0109】

次に、数２１の両辺に、ｘ方向に対して、角周波数がω_ｘ（ｗ）［ｉ］の正弦波信号を乗じると、上記数１４に代えて、下記の数２４が得られる。

【0110】

【数24】

【0111】

ここで、ｚ＝ｗの場合のみ、上記数２４右辺の積分内の第３項は、上記インデックスｉに依存しなくなり、上記数２４の連続的な信号Ｉ（ｘ，ｙ）［ｉ］ｓｉｎ（ω_ｘ（ｗ）［ｉ］ｘ）のＤＣ成分となる。当該連続的な信号のＤＣ成分は、周知の離散的フーリエ変換（ＤＦＴ）を行うことで、上記数１５に代えて、下記の数２５として、容易に抽出することができる。

【0112】

【数25】

【0113】

同様に、上記数２１の両辺に、角周波数がω_ｘ（ｗ）［ｉ］の余弦波信号を乗じて、上述の離散的フーリエ変換（ＤＦＴ）を行うと、上記数１６に代えて、下記の数２６が得られる。

【0114】

【数26】

【0115】

ｃｏｓ^２φ_ｘ＋ｓｉｎ^２φ_ｘ＝１であるので、数２５及び数２６から、上記数１７に代えて、下記の数２７が導出される。

【0116】

【数27】

【0117】

次に、数２１の両辺に、ｙ方向に対して、角周波数がω_ｙ（ｗ）［ｉ］の正弦波信号を乗じると、上記数１４に代えて、下記の数２８が得られる。

【0118】

【数28】

【0119】

ここで、ｚ＝ｗの場合のみ、上記数２８右辺の積分内の第５項は、上記インデックスｉに依存しなくなり、上記数２８の連続的な信号Ｉ（ｘ，ｙ）［ｉ］ｓｉｎ（ω_ｙ（ｗ）［ｉ］ｙ）のＤＣ成分となる。当該連続的な信号のＤＣ成分は、周知の離散的フーリエ変換（ＤＦＴ）を行うことで、上記数１５に代えて、下記の数２９として、容易に抽出することができる。

【0120】

【数29】

【0121】

同様に、上記数２１の両辺に、角周波数がω_y（ｗ）［ｉ］の余弦波信号を乗じて、上述の離散的フーリエ変換（ＤＦＴ）を行うと、上記数１６に代えて、下記の数３０が得られる。

【0122】

【数30】

【0123】

ｃｏｓ^２φ_ｙ＋ｓｉｎ^２φ_ｙ＝１であるので、数２９及び数３０から、上記数１７に代えて、下記の数３１が導出される。

【0124】

【数31】

【0125】

以上より、振幅Ａ^＊（ｘ，ｙ，ｚ）は、ｘ方向及びｙ方向夫々での直接変換処理により、数２７及び数３１の２通りの算出結果が得られる。このため、上記数１８で与えられる本項の算出対象である任意の３次元位置（ｘ，ｙ，ｚ）における物体６０の反射率Ｒ（ｘ，ｙ，ｚ）も２通りの算出結果が得られる。よって、最も簡易な方法としては、上記数１８右辺の分子の振幅Ａ^＊（ｘ，ｙ，ｚ）として、数２７及び数３１の２通りの算出結果の平均値を使用することが考えられる。更に、任意の３次元位置（ｘ，ｙ，ｚ）において、振幅Ａ^＊（ｘ，ｙ，ｚ）の２通りの算出結果の差分ΔＡ^＊（ｘ，ｙ，ｚ）が所定の閾値Ａ^＊ _ｔｈ以上の場合（ΔＡ^＊（ｘ，ｙ，ｚ）≧Ａ^＊ _ｔｈ）、振幅Ａ^＊（ｘ，ｙ，ｚ）の２通りの算出結果の内、周囲の振幅Ａ^＊（ｘ，ｙ，ｚ）との差が小さい方の算出結果を選択する等の方法も考えられる。

【0126】

以上の要領で、本項の算出対象である任意の３次元位置（ｘ，ｙ，ｚ）における物体６０の反射率Ｒ（ｘ，ｙ，ｚ）が算出されると、パターン画像の第１平面上の光の強度Ｌ（ｘ，ｙ，ｚ）が、ｘ及びｙを変数とする正弦関数で表される２方向に沿って周期的な振幅変化する場合においても、上記実施形態で説明したパターン画像の第１平面上の光の強度Ｌ（ｘ，ｙ，ｚ）が、ｘを変数とする正弦関数で表される１方向（ｘ方向）に沿って周期的に振幅変化する場合と同様に、上記数１９により、深さｚ_１における物体６０の反射率Ｒ（ｘ，ｙ，ｚ_１）を算出し、以降、同じ手順を繰り返して、深さｚ_１より後方の任意の深さｚ（ｚ＞ｚ_１）における物体６０の反射率Ｒ（ｘ，ｙ，ｚ）を算出できる。

【0127】

〈４〉上記実施形態では、物体内部の光学特性として、任意の３次元位置（ｘ，ｙ，ｚ）における物体６０内部の反射率（ｘ，ｙ，ｚ）を算出する実施態様を具体的に説明したが、反射率に代えて、或いは、追加して、物体内部の各３次元位置（ｘ，ｙ，ｚ）における物体６０内部の透過率、散乱係数、吸収係数等を、反射率（ｘ，ｙ，ｚ）と同様に、撮像面上の合成画像の光強度Ｉ（ｘ，ｙ）を示すディジタル画像信号Ｄ２から算出するようにしてもよい。

【産業上の利用可能性】

【0128】

本発明の計測装置及び方法は、物体内部の３次元空間における光学特性を計測する計測装置及び方法に利用できる。一例として、人体や食品等の物体内部の可視化装置に応用できる。より具体的には、本発明の計測装置及び方法によって、眼底検査装置や皮下撮像装置等の医療機器を安価に実現でき、更に、家庭向けの簡易装置の実現も期待できる。

【符号の説明】

【0129】

１０ ： 計測装置
２１ ： ビームスプリッタ
２２ ： レーザプロジェクタ
２３ ： 偏光子
２０ ： プロジェクタ
３０ ： 撮像装置
３１ ： テレセントリックレンズ
３２ ： ＲＧＢカメラ
３３ ： 偏光子
４０ ： パターン画像生成部
５０ ： データ処理部
６０ ： 物体（計測対象物）
６１～６４： ＯＨＰシート

【図1】

【図2】

【図3】

【図4】

【図5】