特許 5739174 距離情報抽出方法及び該方法を採用した光学装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5739174

(24)【登録日】2015年5月1日

(45)【発行日】2015年6月24日

(54)【発明の名称】距離情報抽出方法及び該方法を採用した光学装置

(51)【国際特許分類】

   G01S 17/36 20060101AFI20150604BHJP

   G01C 3/06 20060101ALI20150604BHJP

【ＦＩ】

   G01S17/36

   G01C3/06 120Q

   G01C3/06 140

【請求項の数】39

【全頁数】34

(21)【出願番号】特願2011-11423(P2011-11423)

(22)【出願日】2011年1月21日

(65)【公開番号】特開2011-149942(P2011-149942A)

(43)【公開日】2011年8月4日

【審査請求日】2013年12月20日

(31)【優先権主張番号】10-2010-0005753

(32)【優先日】2010年1月21日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】110000671

【氏名又は名称】八田国際特許業務法人

(72)【発明者】

【氏名】朴 勇 和

(72)【発明者】

【氏名】柳 長 雨

【審査官】 目黒 大地

(56)【参考文献】

【文献】 特開２００６−２０１０３７（ＪＰ，Ａ）

【文献】 特開２００６−３０８５２２（ＪＰ，Ａ）

【文献】 特開２００９−０７９９８７（ＪＰ，Ａ）

【文献】 特開２００８−２４１６９５（ＪＰ，Ａ）

【文献】 特開２０００−０５５６１６（ＪＰ，Ａ）

【文献】 特開２００４−２４０９７３（ＪＰ，Ａ）

【文献】 特開平０７−１８１２６１（ＪＰ，Ａ）

【文献】 特開２００９−１２２１１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ７／４８−７／５１

１７／００−１７／９５

Ｇ０１Ｂ１１／００−１１／３０

Ｇ０１Ｃ３／００−３／３２

Ｇ０６Ｔ１／００−１／４０

３／００−５／５０

９／００−９／４０

(57)【特許請求の範囲】

【請求項1】

被写体に多数の異なる光を投射する段階と、
ゲインを有する光変調器で前記被写体から反射された反射光を変調し、変調された映像を得る段階と、
前記変調された映像を光検出器で検出し、前記多数の異なる光にそれぞれ対応する多数の輝度画像を、前記変調された映像から得る段階と、
前記多数の輝度画像から反射光の位相遅延を求める段階と、
前記位相遅延から被写体までの距離を計算する段階と、を含み、
前記位相遅延を求める段階は、前記多数の異なる光の波形と前記光変調器のゲインの波形とを実測して得た情報を含むルックアップテーブルを参照することを含み、
前記ルックアップテーブルは、位相遅延、被写体に投射された光の波形、及び光変調器のゲインを互いに関連付けるように構成された、距離情報抽出方法。

【請求項2】

前記多数の異なる光の波形と前記光変調器のゲインの波形は、同じ周期を有することを特徴とする請求項１に記載の距離情報抽出方法。

【請求項3】

前記多数の異なる光は、波形が同一であって位相が互いに異なるか、あるいは波形が互いに異なることを特徴とする請求項１または２に記載の距離情報抽出方法。

【請求項4】

前記多数の異なる光は、その出力の平均値が互いに同じになるように制御されることを特徴とする請求項１〜３のいずれか一項に記載の距離情報抽出方法。

【請求項5】

前記光検出器は、前記多数の異なる光とそれぞれ対応する多数の変調された映像を所定の露出時間の間それぞれ累積させ、前記多数の異なる光にそれぞれ対応する多数の輝度画像を形成することを特徴とする請求項１〜４のいずれか一項に記載の距離情報抽出方法。

【請求項6】

前記位相遅延から被写体の反射率及び外光のサイズを求める段階をさらに含むことを特徴とする請求項１〜５のいずれか一項に記載の距離情報抽出方法。

【請求項7】

前記位相遅延を求める段階は、
前記多数の輝度画像を利用し、三次元空間内の輝度画像ベクトルを構成する段階と、
前記輝度画像ベクトルが三次元空間内の基準ベクトルから傾いた角度を求める段階と、
前記傾いた角度について前記ルックアップテーブルを参照し、反射光の位相遅延を求める段階と、を含むことを特徴とする請求項１〜６のいずれか一項に記載の距離情報抽出方法。

【請求項8】

前記ルックアップテーブルは、前記傾いた角度と反射光の位相遅延との既定の関係を含むことを特徴とする請求項７に記載の距離情報抽出方法。

【請求項9】

前記輝度画像ベクトルは、前記多数の輝度画像のサイズ間の差の組合せから構成されることを特徴とする請求項７または８に記載の距離情報抽出方法。

【請求項10】

前記ルックアップテーブルは、前記多数の異なる光と前記ゲインとの多様な組合せにそれぞれ対応する多数の異なるルックアップテーブルを含み、
前記位相遅延を求める段階は、前記多数の異なるルックアップテーブルのうち、前記多数の異なる光とゲインとの特定の組合せに対応するルックアップテーブルを参照する段階を含むことを特徴とする請求項１〜９のいずれか一項に記載の距離情報抽出方法。

【請求項11】

前記方法は、前記ルックアップテーブルを生成する段階をさらに含み、
前記ルックアップテーブルを生成する段階は、
前記多数の異なる光の波形と前記光変調器のゲインの波形とを測定し、前記多数の異なる光とゲインとを示す多項式をそれぞれ求める段階と、
前記多数の異なる光の波形と前記光変調器のゲインの波形とについての多項式を利用して、前記多数の輝度画像に関する多項式を求める段階と、
前記多数の輝度画像に関する多項式を、それぞれ位相遅延についての関数と、位相遅延と関連しない定数項との和として整理する段階と、
前記位相遅延についての多数の関数間の差の組合せを利用し、三次元空間内で位相遅延に関するベクトル関数を定義し、さらに特定のベクトルを基準ベクトルとして定義する段階と、
前記多数の輝度画像に関する多項式間の差の組合せとして、三次元空間内の輝度画像ベクトルを定義する段階と、
前記輝度画像ベクトルが前記基準ベクトルから傾いた角度と、前記角度に対応する位相遅延との関係を解析的に決定する段階と、
前記解析的に決定された関係を示すルックアップテーブルを生成する段階と、を含むことを特徴とする請求項１〜１０のいずれか一項に記載の距離情報抽出方法。

【請求項12】

前記輝度画像に関する多項式を求める段階は、
前記多数の異なる光が被写体から反射された後の反射光についての一般的な多項式を、前記多数の異なる光についての多項式から誘導する段階と、
前記反射光についての多項式と前記ゲインについての多項式とを乗じ、光変調された光についての多項式を求める段階と、
前記光変調された光についての多項式を光検出器での露出時間で積分し、前記多数の異なる光にそれぞれ対応する前記多数の輝度画像に関する多項式を求める段階と、を含むことを特徴とする請求項１１に記載の距離情報抽出方法。

【請求項13】

前記多数の異なる光の波形と前記光変調器のゲインの波形とを測定し、前記多数の異なる光の波形と前記ゲインの波形とを示す多項式をそれぞれ求める段階は、
前記多数の異なる光をそれぞれ測定する段階と、
前記多数の異なる光をそれぞれ測定した結果を、時間軸上で直交する関数として示す段階と、
前記光変調器のゲインの波形を測定する段階と、
前記ゲインの波形を測定した結果を、時間軸上で直交する関数として示す段階と、を含むことを特徴とする請求項１１または１２に記載の距離情報抽出方法。

【請求項14】

前記多数の異なる光をそれぞれ測定した結果を、時間軸上で直交する関数として示す段階は、フーリエ級数のサイン項の係数並びにコサイン項の係数、またはチェビシェフ多項式の係数を決定することにより、前記多数の異なる光のそれぞれについて多項式を求める段階を含む請求項１３に記載の距離情報抽出方法。

【請求項15】

前記ゲインの波形を測定した結果を、時間軸上で直交する関数として示す段階は、フーリエ級数のサイン項の係数並びにコサイン項の係数、またはチェビシェフ多項式の係数を決定することにより、前記ゲインの波形に係る多項式を求める段階を含むことを特徴とする請求項１３または１４に記載の距離情報抽出方法。

【請求項16】

前記多数の異なる光の波形と前記ゲインの波形とをそれぞれ測定した結果から、前記多数の異なる光の平均値と前記ゲインの平均値とを決定する段階をさらに含むことを特徴とする請求項１３〜１５のいずれか一項に記載の距離情報抽出方法。

【請求項17】

前記多数の輝度画像に関する多項式を、それぞれ位相遅延についての関数と位相遅延に関連しない定数項との和として整理する段階は、前記多数の輝度画像についての多項式に存在する直流項のみを考慮することを特徴とする請求項１１〜１６のいずれか一項に記載の距離情報抽出方法。

【請求項18】

前記三次元空間内の位相遅延に関するベクトル関数は、

【数1】

のように定義され、ここで

【数2】

であり、
前記Ｆ^（ｉ）（Φ_ＴＯＦ）は、ｉ番目の投射光についての位相遅延に関する関数を示すことを特徴とする請求項１１〜１７のいずれか一項に記載の距離情報抽出方法。

【請求項19】

【表1】

【請求項20】

前記三次元空間内の輝度画像ベクトルは、

【数3】

のように定義され、ここで

【数4】

であり、
Ｉ^（ｉ）_ＣＣＤは、ｉ番目の投射光についての輝度画像を示すことを特徴とする請求項１１〜１９のいずれか一項に記載の距離情報抽出方法。

【請求項21】

前記多数の異なる光とゲインとの異なる組合せ別にそれぞれ異なるルックアップテーブルが生成されることを特徴とする請求項１１〜２０のいずれか一項に記載の距離情報抽出方法。

【請求項22】

１つの周期的な波形を有する光を被写体に投射する段階と、
被写体から反射された反射光を、多数の異なるゲインを有する光変調器により変調し、変調された映像を求める段階と、
前記変調された映像を光検出器により検出し、前記多数の異なるゲインにそれぞれ対応する多数の輝度画像を、前記変調された映像から得る段階と、
前記多数の輝度画像を利用して反射光の位相遅延を求める段階と、
前記位相遅延から被写体までの距離を計算する段階と、を含み、
前記位相遅延を求める段階は、前記投射された光の波形と前記多数の異なるゲインの波形とを実測して構成したルックアップテーブルを参照する段階と、を含み、
前記ルックアップテーブルは、位相遅延、被写体に投射された光の波形、及び光変調器のゲインを互いに関連付けるように構成された、距離情報抽出方法。

【請求項23】

前記投射された光の波形と、前記光変調器の多数の異なるゲインの波形は、同じ周期を有することを特徴とする請求項２２に記載の距離情報抽出方法。

【請求項24】

前記光検出器は、前記多数の異なるゲインにそれぞれ対応する多数の変調された映像を所定の露出時間の間それぞれ累積させ、前記多数の異なるゲインにそれぞれ対応する多数の輝度画像を形成することを特徴とする請求項２２または２３に記載の距離情報抽出方法。

【請求項25】

前記位相遅延を求める段階は、
前記多数の輝度画像を利用し、三次元空間内の輝度画像ベクトルを構成する段階と、
前記輝度画像ベクトルが三次元空間内の基準ベクトルから傾いた角度を求める段階と、
前記傾いた角度で前記ルックアップテーブルを参照し、反射光の位相遅延を求める段階と、を含むことを特徴とする請求項２２〜２４のいずれか一項に記載の距離情報抽出方法。

【請求項26】

前記ルックアップテーブルは、前記傾いた角度と反射光の位相遅延との既定の関係を含むことを特徴とする請求項２５に記載の距離情報抽出方法。

【請求項27】

前記輝度画像ベクトルは、前記多数の輝度画像のサイズ間の差の組合せから構成されることを特徴とする請求項２５または２６に記載の距離情報抽出方法。

【請求項28】

前記ルックアップテーブルは、前記投射された光と前記多数の異なるゲインとの多様な組合せにそれぞれ対応する多数の異なるルックアップテーブルを含み、前記位相遅延を求める段階は、前記多数の異なるルックアップテーブルのうち、前記投射された光と前記多数の異なるゲインとの特定の組合せに対応するルックアップテーブルを参照することを含むことを特徴とする請求項２２〜２７のいずれか一項に記載の距離情報抽出方法。

【請求項29】

周期的な波形を有する多数の異なる光を発生させて被写体に投射する光源と、
周期的な波形を有するゲインにより前記被写体から反射された光を変調するための光変調器と、
前記光変調器によって変調された映像を検出し、前記多数の異なる光にそれぞれ対応する多数の輝度画像を、前記変調された映像から得る光検出器と、
前記多数の輝度画像から反射光の位相遅延を求め、前記多数の異なる光の波形と前記光変調器のゲインの波形とを実測して得た情報を含むルックアップテーブルを参照し、被写体までの距離を計算する距離情報映像処理器と、を含み、
前記ルックアップテーブルは、位相遅延、被写体に投射された光の波形、及び光変調器のゲインを互いに関連付けるように構成された、光学装置。

【請求項30】

前記光源を駆動させ、前記多数の異なる光の波形を制御する光源駆動部と、
前記光変調器を駆動させ、前記ゲインの波形を制御する光変調器駆動部と、
前記光源駆動部、光変調器駆動部、及び光検出器の動作を制御するための制御部と、をさらに含むことを特徴とする請求項２９に記載の光学装置。

【請求項31】

前記光変調器の光入射面において反射光を光変調器の領域内に集光する第１レンズと、
前記第１レンズと光変調器との間で、所定の波長を有する光のみを透過させるフィルタと、
前記光変調器と光検出器との間で、前記光変調された映像を光検出器の領域内に集光する第２レンズと、をさらに含むことを特徴とする請求項２９または３０に記載の光学装置。

【請求項32】

前記光検出器は、二次元または一次元のアレイを有するＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、フォトダイオードアレイ、あるいは単一地点の距離測定のための１個のフォトダイオードを使用することを特徴とする請求項２９〜３１のいずれか一項に記載の光学装置。

【請求項33】

請求項２９ないし請求項３２のうち、いずれか一項に記載の光学装置を含む３Ｄカメラ。

【請求項34】

請求項２９ないし請求項３２のうち、いずれか一項に記載の光学装置を含むレーザレーダ。

【請求項35】

被写体に投射される多数の異なる光の波形と光変調器のゲインの波形とを測定する段階と、
前記測定された波形から、前記多数の異なる光と前記ゲインとを示す多項式をそれぞれ求める段階と、
前記多数の異なる光と前記光変調器のゲインとに関する多項式を利用し、多数の輝度画像に関する多項式を求める段階と、
前記多数の輝度画像に係る多項式を、それぞれ位相遅延に関する関数と位相遅延と関連しない定数項との和として整理する段階と、
前記位相遅延に関する多数の関数間の差の組合せを利用し、三次元空間内で位相遅延に関するベクトル関数を定義し、特定のベクトルを基準ベクトルとして定義する段階と、
前記多数の輝度画像に関する多項式間の差の組合せとして、三次元空間内で輝度画像ベクトルを定義する段階と、
輝度画像ベクトルが基準ベクトルから傾いた角度と、前記角度に対応する位相遅延との関係を解析的に決定する段階と、
前記解析的に決定された関係を表または関数の形態で示す段階と、を含む、位相遅延、被写体に投射された光の波形、及び光変調器のゲインを互いに関連付けるように構成された距離情報計算用ルックアップテーブルを生成する方法。

【請求項36】

被写体に投射される光の波形と、光変調器の多数の異なるゲインの波形とを測定する段階と、
前記測定された光と多数の異なるゲインとから、前記光及び多数の異なるゲインを示す多項式をそれぞれ求める段階と、
前記光及び前記光変調器の多数の異なるゲインに関する多項式を利用し、多数の輝度画像に関する多項式を求める段階と、
前記多数の輝度画像に関する多項式を、それぞれ位相遅延に関する関数と位相遅延と関連しない定数項との和として整理する段階と、
前記位相遅延に関する多数の関数間の差の組合せを利用し、三次元空間内で位相遅延に関するベクトル関数を定義し、特定のベクトルを基準ベクトルとして定義する段階と、
前記多数の輝度画像に関する多項式間の差の組合せとして、三次元空間内で輝度画像ベクトルを定義する段階と、
輝度画像ベクトルが基準ベクトルから傾いた角度と、前記角度に対応する位相遅延との関係を解析的に決定する段階と、
前記解析的に決定された関係を表または関数の形態で示す段階と、を含む、位相遅延、被写体に投射された光の波形、及び光変調器のゲインを互いに関連付けるように構成された距離情報計算用ルックアップテーブルを生成する方法。

【請求項37】

請求項３５に記載の方法で生成されたルックアップテーブルを保存している記録媒体。

【請求項38】

請求項３６に記載の方法で生成されたルックアップテーブルを保存している記録媒体。

【請求項39】

波形を有する光を被写体に投射する段階と、
ゲインを有する光変調器で前記被写体から反射された光を変調し、変調された映像を求める段階と、
前記被写体に投射された光に対応する輝度画像を、前記変調された映像から求める段階と、
前記被写体から反射された光の位相遅延を前記輝度画像から求める段階と、
前記位相遅延、前記被写体に投射された光の波形、及び前記光変調器のゲインを利用し、被写体までの距離を計算する段階と、を含み、
前記計算する段階は、前記位相遅延、前記被写体に投射された光の波形、及び光変調器のゲインを互いに関連させるルックアップテーブルを参照して距離を計算することを含む、被写体と光学装置との間の距離を計算する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離情報抽出方法及び該方法を採用した光学装置に係り、さらに詳細には、数学的に理想的な波形ではない実際の非線形的波形を利用し、光学装置と被写体との間の距離情報を抽出する方法、及び前記方法を採用した光学装置に関する。

【背景技術】

【0002】

被写体（ｏｂｊｅｃｔ）との距離情報を獲得できる３Ｄ（ｔｈｒｅｅ‐ｄｉｍｅｎｓｉｏｎａｌ）カメラやレーザレーダ（ＬＡＤＡＲ：ｌａｓｅｒ ｒａｄａｒ）に関する研究が、近年増加している。一般的に、被写体についての距離情報は、２台のカメラを利用した両眼立体視（ｓｔｅｒｅｏ ｖｉｓｉｏｎ）法や、構造光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）とカメラとを利用した三角測量法（ｔｒｉａｎｇｕｌａｔｉｏｎ）を利用して得ることができる。しかし、かような方法は、被写体の距離が遠ざかるほど、距離情報にについての精度が急激に低下し、かつ被写体の表面状態に依存するので、精密な距離情報を得難い。

【0003】

かような問題を改善するために、光飛行時間法（ＴＯＦ：ｔｉｍｅ‐ｏｆ‐ｆｌｉｇｈｔ）が導入された。ＴＯＦ法は、レーザビームを被写体に照射した後、被写体から反射される光が受光部で受光されるまでの光飛行時間を測定する方法である。ＴＯＦ法によれば、基本的に、特定波長の光（例えば、８５０ｎｍの近赤外線）を発光ダイオード（ＬＥＤ）またはレーザダイオード（ＬＤ）を利用して被写体に投射する。その後、被写体から反射された同じ波長の光を受光部で受光した後、距離情報を抽出するための特別の処理過程を実行する。かような一連の光処理過程により、多様なＴＯＦ法が紹介されている。

【0004】

例えば、ＳＬＰ（ｓｈｕｔｔｅｒｅｄ ｌｉｇｈｔ ｐｕｌｓｅ）法は、被写体から反射された映像を映像増倍管（ｉｍａｇｅ ｉｎｔｅｎｓｉｆｉｅｒ）または他の特別な固体変調器素子を利用して光変調した後、光変調された映像をイメージセンサにより撮影し、その強度値から距離情報を得る方法である。この方法の場合、距離による光の位相差または移動時間を識別するために、数十〜数百ＭＨｚの超高速の光変調が必要である。このために、例えば、ＭＣＰ（ｍｕｌｔｉ‐ｃｈａｎｎｅｌ ｐｌａｔｅ）を具備した映像増倍管を使用したり、ＧａＡｓ系の固体変調器素子を使用する。最近では、性能が改善されたＧａＡｓ基盤の変調器素子及び電光（ｅｌｅｃｔｒｏ‐ｏｐｔｉｃ）物質を利用した薄型の変調器素子が提示されている。

【0005】

一方、距離情報抽出のための光処理過程において、光源と光変調素子とをパルス駆動する方法、三角波（例えば、ランプ（ｒａｍｐ）波形）などの特別な波形を利用する方法、またはサイン波を使用する方法などが紹介されている。また、それぞれの使用波形により、光源と光変調素子との多様な駆動方法が紹介されており、撮影された強度値から距離情報を抽出するための多様なアルゴリズムが紹介されている。

【0006】

ところで、前述のＴＯＦ法では、使われた特定の波形、すなわち、パルス、三角波、サイン波などが理想的な波形を有するものと仮定して距離情報を抽出した。しかし実際には、光源または光変調素子の作動誤差及び非線形性などにより、正確で理想的な波形の実現が実質的に困難である。例えば、ＬＥＤ光源は、スレショルド電流以上で作動し、作動区間内でも、入力電流に対する出力光パワーの非線形性及び飽和（ｓａｔｕｒａｔｉｏｎ）などが存在する。光変調素子もやはり、作動区間内で光変調の利得（ｇａｉｎ）が線形的ではない場合が多い。特に、高電圧または高電流を使用する場合、駆動回路の設計により、非線形性または作動誤差が大きくなることがある。かような作動誤差は、距離情報抽出の結果に直接的な影響を与え、従って誤差の要因として作用する。これにより、非常に正確で理想的な波形を発生させることができる高価な波形発生器を使用したり、または誤差を補償するための複雑な追加的なアルゴリズム及び駆動回路が要求される。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】米国特許第６１００５１７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、数学的に理想的な波形ではない実際の非線形的波形を利用し、光学装置と被写体との間の距離情報を抽出する方法を提供する。

【0009】

本発明はまた、前記方法を採用し、距離情報を抽出できる光学装置を提供する。

【課題を解決するための手段】

【0010】

本発明の一類型による距離情報抽出方法は、被写体に多数の異なる光を投射する段階と、ゲインを有する光変調器で前記被写体から反射された反射光を変調し、変調された映像を得る段階と、前記変調された映像を光検出器で検出し、前記多数の異なる光にそれぞれ対応する多数の輝度画像を、前記変調された映像から得る段階と、前記多数の強度映像から反射光の位相遅延を求める段階と、前記位相遅延から被写体までの距離を計算する段階と、を含み、前記位相遅延を求める段階は、前記多数の異なる光の波形と前記光変調器のゲインの波形とを実測して得た情報を含むルックアップテーブルを参照することを含むことができる。

【0011】

前記多数の異なる光の波形と前記光変調器のゲインの波形は、同じ周期を有することができる。

【0012】

前記多数の異なる光は、波形が同一であって位相が互いに異なるか、あるいは波形が互いに異なりうる。

【0013】

前記多数の異なる光は、その平均値が互いに同じになるように制御されうる。

【0014】

前記光検出器は、前記多数の異なる光とそれぞれ対応する多数の変調された映像を所定の露出時間の間それぞれ累積させ、前記多数の異なる光にそれぞれ対応する多数の輝度画像を形成できる。

【0015】

前記方法は、前記位相遅延から被写体の反射率及び外光のサイズを求める段階をさらに含むことができる。

【0016】

前記位相遅延を求める段階は、前記多数の輝度画像を利用し、三次元空間内の輝度画像ベクトルを構成する段階と、前記輝度画像ベクトルが三次元空間内の基準ベクトルから傾いた角度を求める段階と、前記傾いた角度で前記ルックアップテーブルを参照し、反射光の位相遅延を求める段階と、を含むことができる。

【0017】

前記ルックアップテーブルは、前記傾いた角度と反射光の位相遅延との既定の関係を含むことができる。

【0018】

前記輝度画像ベクトルは、前記多数の輝度画像のサイズ間の差の組合せから構成されうる。

【0019】

前記ルックアップテーブルは、前記多数の異なる光と前記ゲインとの多様な組合せにそれぞれ対応する多数の異なるルックアップテーブルを含み、前記位相遅延を求める段階は、前記多数の異なるルックアップテーブルのうち、前記多数の異なる光とゲインとの特定の組合せに対応するルックアップテーブルを参照することを含むことができる。

【0020】

前記方法は、ルックアップテーブルを生成する段階をさらに含み、前記ルックアップテーブルを生成する段階は、前記多数の異なる光の波形と前記光変調器のゲインの波形とを測定し、前記多数の異なる光とゲインとを表す多項式をそれぞれ求める段階と、前記多数の異なる光の波形と前記光変調器のゲインの波形とに係る多項式を利用し、前記多数の輝度画像に係る多項式を求める段階と、前記多数の輝度画像に係る多項式をそれぞれ位相遅延に関する関数と位相遅延と関連しない定数項との和として整理する段階と、前記位相遅延に係る多数の関数間の差の組合せを利用し、三次元空間内で位相遅延に係るベクトル関数を定義し、特定のベクトルを基準ベクトルとして定義する段階と、前記多数の輝度画像に係る多項式間の差の組合せとして、三次元空間内で輝度画像ベクトルを定義する段階と、輝度画像ベクトルが基準ベクトルから傾いた角度と、前記角度に対応する位相遅延との関係を解析的に決定する段階と、前記解析的に決定された関係を示すルックアップテーブルを生成する段階と、を含むことができる。

【0021】

前記輝度画像に係る多項式を求める段階は、前記多数の異なる光が被写体から反射された後の反射光に係る一般的な多項式を、前記多数の異なる光に係る多項式から誘導する段階と、前記反射光に係る多項式と前記ゲインに係る多項式とを乗じ、光変調された光に係る多項式を求める段階と、前記光変調された光に係る多項式を、光検出器からの露出時間で積分し、前記多数の異なる光にそれぞれ対応する前記多数の輝度画像に係る多項式を求める段階と、を含むことができる。

【0022】

前記多数の異なる光の波形と前記光変調器のゲインの波形とを測定し、前記多数の異なる光の波形と前記ゲインの波形とを示す多項式をそれぞれ求める段階は、前記多数の異なる光をそれぞれ測定する段階と、前記多数の異なる光をそれぞれ測定した結果を、時間軸上で直交する関数として示す段階と、前記光変調器のゲインの波形を測定する段階と、前記ゲインの波形を測定した結果を、時間軸上で直交する関数として示す段階と、を含むことができる。

【0023】

前記多数の異なる光をそれぞれ測定した結果を、時間軸上で直交する関数として示す段階は、フーリエ級数のサイン項の係数並びにコサイン項の係数、またはチェビシェフ多項式の係数を決定することにより、前記多数の異なる光のそれぞれに係る多項式を求める段階を含むことができる。

【0024】

前記ゲインの波形を測定した結果を、時間軸上で直交する関数として示す段階は、フーリエ級数のサイン項の係数並びにコサイン項の係数、またはチェビシェフ多項式の係数を決定することにより、前記ゲインの波形に係る多項式を求める段階を含むことができる。

【0025】

前記多数の異なる光の波形と前記ゲインの波形とをそれぞれ測定した結果から、前記多数の異なる光の平均値と前記ゲインの平均値とを決定する段階をさらに含むことができる。

【0026】

前記多数の輝度画像に係る多項式をそれぞれ位相遅延に関する関数と位相遅延と関連しない定数項との和として整理する段階は、前記多数の輝度画像に係る多項式に存在する直流項のみを考慮することを含むことができる。

【0027】

前記次元空間内の位相遅延に関するベクトル関数は、

【0028】

【表1】

【0029】

【表2】

【0030】

前記三次元空間内の輝度画像ベクトルは、

【0031】

【表3】

【0032】

前記多数の異なる光とゲインとの異なる組合せ別にそれぞれ異なるルックアップテーブルが生成されうる。

【0033】

本発明の他の類型による距離情報抽出方法は、１つの周期的な波形を有する光を被写体に投射する段階と、被写体から反射された反射光を、多数の異なるゲインを有する光変調器で変調し、変調された映像を求める段階と、前記変調された映像を光検出器で検出し、前記多数の異なるゲインにそれぞれ対応する多数の輝度画像を、前記変調された映像から得る段階と、前記多数の輝度画像を利用して反射光の位相遅延を求める段階と、前記位相遅延から被写体までの距離を計算する段階と、を含み、前記位相遅延を求める段階は、前記投射された光の波形と前記多数の異なるゲインの波形とを実測して構成したルックアップテーブルを参照する段階を含むことができる。

【0034】

前記投射された光の波形と、前記光変調器の多数の異なるゲインの波形は、同じ周期を有することができる。

【0035】

前記光検出器は、前記多数の異なるゲインにそれぞれ対応する多数の変調された映像を所定の露出時間の間それぞれ累積させ、前記多数の異なるゲインにそれぞれ対応する多数の輝度画像を形成できる。

【0036】

前記位相遅延を求める段階は、前記多数の輝度画像を利用し、三次元空間内の輝度画像ベクトルを構成する段階と、前記輝度画像ベクトルが三次元空間内の基準ベクトルから傾いた角度を求める段階と、前記傾いた角度で前記ルックアップテーブルを参照し、反射光の位相遅延を求める段階と、を含むことができる。

【0037】

前記ルックアップテーブルは、前記傾いた角度と反射光の位相遅延との既定の関係を含むことができる。

【0038】

前記輝度画像ベクトルは、前記多数の輝度画像のサイズ間の差の組合せから構成されうる。

【0039】

前記ルックアップテーブルは、前記投射された光と前記多数の異なるゲインとの多様な組合せにそれぞれ対応する多数の異なるルックアップテーブルを含み、前記位相遅延を求める段階は、前記多数の異なるルックアップテーブルのうち、前記投射された光と前記多数の異なるゲインとの特定の組合せに対応するルックアップテーブルを参照することを含むことができる。

【0040】

本発明のさらに他の類型による光学装置は、周期的な波形を有する多数の異なる光を発生させて被写体に投射する光源と、周期的な波形を有するゲインで前記被写体から反射された光を変調するための光変調器と、前記光変調器によって変調された映像を検出し、前記多数の異なる光にそれぞれ対応する多数の輝度画像を、前記変調された映像から得る光検出器と、前記多数の輝度画像から反射光の位相遅延を求め、前記多数の異なる光の波形と前記光変調器のゲインの波形とを実測して得た情報を含むルックアップテーブルを参照し、被写体までの距離を計算する距離情報映像処理器と、を含むことができる。

【0041】

前記光学装置は、前記光源を駆動させ、前記多数の異なる光の波形を制御する光源駆動部と、前記光変調器を駆動させ、前記ゲインの波形を制御する光変調器駆動部と、前記光源駆動部、光変調器駆動部及び光検出器の動作を制御するための制御部と、をさらに含むことができる。

【0042】

また前記光学装置は、前記光変調器の光入射面で反射光を光変調器の領域内に集光する第１レンズと、前記第１レンズと光変調器との間で、所定の波長を有する光のみを透過させるフィルタと、前記光変調器と光検出器との間で、前記光変調された映像を光検出器の領域内に集光する第２レンズと、をさらに含むことができる。

【0043】

例えば、前記光検出器は、二次元または一次元のアレイを有するＣＣＤ（ｃｈａｒｇｅ‐ｃｏｕｐｌｅｄ ｄｉｏｄｅ）イメージセンサ、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ‐ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、フォトダイオードアレイを使用したり、あるいは単一地点の距離測定のための１個のフォトダイオードを使用できる。

【0044】

また、本発明のさらに他の類型によれば、前記光学装置を含む３Ｄカメラまたはレーザレーダが提供されうる。

【0045】

また、本発明のさらに他の類型による距離情報計算用ルックアップテーブルの生成方法は、被写体に投射される多数の異なる光の波形と光変調器のゲインの波形とを測定する段階と、前記測定された波形から、前記多数の異なる光と前記ゲインとを示す多項式をそれぞれ求める段階と、前記多数の異なる光と前記光変調器のゲインとに係る多項式を利用し、多数の輝度画像に係る多項式を求める段階と、前記多数の輝度画像に係る多項式を、それぞれ位相遅延に係る関数と位相遅延と関連しない定数項との和として整理する段階と、前記位相遅延に係る多数の関数間の差の組合せを利用し、三次元空間内で位相遅延に係るベクトル関数を定義し、特定のベクトルを基準ベクトルとして定義する段階と、前記多数の輝度画像に係る多項式間の差の組合せとして、三次元空間内で輝度画像ベクトルを定義する段階と、輝度画像ベクトルが基準ベクトルから傾いた角度と、前記角度に対応する位相遅延との関係を解析的に決定する段階と、前記解析的に決定された関係を表または関数の形態で示す段階と、を含むことができる。

【0046】

また、本発明のさらに他の類型による距離情報計算用ルックアップテーブルの生成方法は、被写体に投射される光の波形と、光変調器の多数の異なるゲインの波形とを測定する段階と、前記測定された光と多数の異なるゲインとから、前記光及び多数の異なるゲインを示す多項式をそれぞれ求める段階と、前記光及び前記光変調器の多数の異なるゲインに係る多項式を利用し、多数の輝度画像に係る多項式を求める段階と、前記多数の輝度画像に係る多項式を、それぞれ位相遅延に係る関数と位相遅延と関連しない定数項との和として整理する段階と、前記位相遅延に係る多数の関数間の差の組合せを利用し、三次元空間内で位相遅延に係るベクトル関数を定義し、特定のベクトルを基準ベクトルとして定義する段階と、前記多数の輝度画像に係る多項式間の差の組合せとして、三次元空間内で輝度画像ベクトルを定義する段階と、輝度画像ベクトルが基準ベクトルから傾いた角度と、前記角度に対応する位相遅延との関係を解析的に決定する段階と、前記解析的に決定された関係を表または関数の形態で示す段階と、を含むことができる。

【0047】

また、本発明の一類型によれば、前述の方法は、生成されたルックアップテーブルを保存している記録媒体が提供されうる。

【0048】

また、本発明の一類型による被写体と光学装置との間の距離を計算する方法は、波形を有する光を被写体に投射する段階と、ゲインを有する光変調器で前記被写体から反射された光を変調し、変調された映像を求める段階と、前記被写体に投射された光に対応する輝度画像を、前記変調された映像から求める段階と、前記被写体から反射された光の位相遅延を前記輝度画像から求める段階と、前記位相遅延、前記被写体に投射された光の波形及び前記光変調器のゲインを利用し、被写体までの距離を計算する段階と、を含むことができる。

【0049】

前記計算する段階は、前記位相遅延、前記被写体に投射された光の波形及び前記光変調器のゲインを互いに関連させるルックアップテーブルを参照して距離を計算することを含むことができる。

【図面の簡単な説明】

【0050】

【図1】光飛行時間法（ＴＯＦ）を利用して距離情報を抽出できる光学装置の例示的な構造を概略的に示す図である。

【図2】光源から実際に出力された出力光と理想的なサイン波出力光とを例示する図である。

【図3】光変調器の透過率の時間軸波形を例示する図である。

【図4】光源で発生する３種の投射光の形態を例示する図である。

【図5】３種の異なる反射光を変調した後、光検出器で３つの異なる輝度画像を生成する過程を示す図である。

【図6】３つの輝度画像により、距離情報を有する映像を生成する過程を概略的に示す図である。

【図7】１つの同じ投射光と３種の異なる変調とで、３つの異なる輝度画像を生成する過程を示す図である。

【図8】ルックアップテーブルの構成のために、位相遅延を変数として有するベクトル関数と輝度画像に関するベクトルを三次元空間内に表示した例を示すグラフである。

【図9】ルックアップテーブルを例示するグラフである。

【図10】ルックアップテーブルを構成する過程を概略的に示すフローチャートである。

【図11】ルックアップテーブルを利用して距離情報を抽出する過程を概略的に示すフローチャートである。

【図12】シミュレーションを介して距離情報を抽出した結果を真値と比較したグラフである。

【図13】図１２の距離情報抽出結果と真値との誤差を示すグラフである。

【図14】実験のためにレーザダイオードの光出力を測定した結果のグラフである。

【図15】図１４のレーザダイオードの光出力スペクトルを高速フーリエ変換で分析した結果を示すグラフである。

【図16】光変調器の変調ゲイン波形を測定した結果を示すグラフである。

【図17】図１６のゲイン波形スペクトルを高速フーリエ変換を介して分析した結果を示すグラフである。

【図18】開示された距離情報抽出アルゴリズムによって波形の歪曲を考慮した結果と、理想的な波形だけを考慮した結果とを比較するグラフである。

【発明を実施するための形態】

【0051】

以下、添付された図面を参照しつつ、距離情報抽出方法及び該方法を採用した光学装置について詳細に説明する。以下の図面で同じ参照符号は、同じ構成要素を指し、図面上で各構成要素の大きさは、説明の明瞭性と便宜性とのために誇張されていることがある。

【0052】

１．光学装置の構造及び動作
まず図１は、光飛行時間（ＴＯＦ：ｔｉｍｅ‐ｏｆ‐ｆｌｉｇｈｔ）法を利用して、距離情報を抽出できる光学装置１００の例示的な構造を概略的に示している。図１を参照すれば、光学装置１００は、所定の波長を有する光を発生させる光源１０１；光源１０１を駆動させるための光源駆動部１０２；被写体２００から反射された光を光変調するための光変調器１０３；光変調器１０３を駆動させるための光変調器駆動部１０４；光変調器１０３によって光変調された映像を検出するための光検出器１０５；光源駆動部１０２、光変調器駆動部１０４及び光検出器１０５の動作を制御するための制御部１０６；光検出器１０５の出力を基に距離情報を計算するための距離情報映像処理器（ｄｅｐｔｈ ｉｍａｇｅ ｐｒｏｃｅｓｓｏｒ）１０７を含むことができる。また、光変調器１０３の光入射面には、被写体２００から反射された光を光変調器１０３の領域内に集光するための第１レンズ１０８と、所定の波長を有する光のみを透過させるフィルタ１０９が配されうる。光変調器１０３と光検出器１０５との間には、光変調された映像を光検出器１０５の領域内に集光するための第２レンズ１１０がさらに配されうる。

【0053】

光源１０１は、例えば、安全のために肉眼には見えない、およそ８５０ｎｍの近赤外線（ＮＩＲ：ｎｅａｒ ｉｎｆｒａｒｅｄ）波長を有する光を放出させることができる発光ダイオード（ＬＥＤ）またはレーザダイオード（ＬＤ）であるが、波長の帯域と光源の種類に制限はない。光源駆動部１０２は、制御部１０６から受信された制御信号により、光源１０１を、例えば振幅変調（ａｍｐｌｉｔｕｄｅ ｍｏｄｕｌａｔｉｏｎ）方式により駆動できる。これにより、光源１０１から被写体２００に投射される投射光は、所定の周期（Ｔｅ）を有する周期的な連続関数の形態を有することができる。例えば、投射光は、サイン波、ランプ波、四角波などのように、特殊に定義された波形を有することができるが、定義されていない一般的な形態の波形を有することもできる。

【0054】

前述のように、従来提案された距離情報抽出方法の場合、光源が理想的な形態のサイン波、ランプ波、四角波などを投射光として出力すると仮定した。しかし、実際の光源は、光源自体の動作非線形性及び信号歪曲などにより、理想的な波形を駆動信号として入力する場合にも、理想的な波形をそのまま出力しない。これは、距離情報を抽出する場合において、誤差要因として作用する。図２は、光源から実際に出力された出力光と、理想的なサイン波出力光とを例示している。図２において、点線で表示されている線は、理想的なサイン波出力光を示し、実線で表示されている線は、実際の出力光を示している。図２に図示された実際の出力光を見れば、理想的なサイン波に比べ、実際の出力光は、歪曲とＤＣ（ｄｉｒｅｃｔ ｃｕｒｒｅｎｔ）オフセットとを有するということが分かる。このため、測定精密度を高めるために、理想的な波形を発生させることができる高価な波形発生器や、高価な光源が要求されうる。

【0055】

図１に示された光学装置１００の場合、後述するように、実際の出力波形を測定し、その測定結果を距離情報計算に適用する。従って、光学装置１００は、歪曲とＤＣオフセットとがある出力光をそのまま利用できるので、高価な波形発生器や、高価な光源を使用しなくても済む。また、光学装置１００の光源１０１は、単一な波形ではないサイン波、ランプ波、四角波などを組合せた一般的な波形を有する光を投射光として出力することもできる。

【0056】

一方、光変調器１０３は、被写体２００から反射された光を光変調器駆動部１０４の制御によって、光変調する。光変調器駆動部１０４は、制御部１０６から受信された制御信号によって、光変調器１０３を駆動させる。例えば、光変調器１０３は、光変調器駆動部１０４によって提供された所定の波形を有する光変調信号によってゲイン（ｇａｉｎ）を変化させ、反射光の大きさを変調させることができる。このため、光変調器１０３は、可変ゲインを有する透過フィルタの役割を担いうる。光変調器１０３は、距離による光の位相差、または移動時間を識別するために、数十〜数百ＭＨｚの高い光変調速度で動作することができる。これに符合する光変調器１０３として、例えばＭＣＰ（ｍｕｌｔｉ‐ｃｈａｎｎｅｌ ｐｌａｔｅ）を具備した映像増倍管（ｉｍａｇｅ ｉｎｔｅｎｓｉｆｉｅｒ）、ＧａＡｓ系の固体変調器素子、電光（ｅｌｅｃｔｒｏ‐ｏｐｔｉｃ）物質を利用した薄型の変調器素子などが使われうる。図１には、光変調器１０３が透過型として示されているが、反射型光変調器を使用することも可能である。

【0057】

図３は、光変調器１０３の周期的なゲイン変化、すなわち、透過率の時間軸波形を例示している。ここで、光変調器１０３の動作周波数は、光源１０１の動作周波数（ｆｅ）と同じになるように構成される。図３で点線で表示されている線は、光変調器１０３の理想的なゲイン変化を示し、実線で表示されているのは、光変調器１０３の実際のゲイン変化を示す。光源１０１と同様に、光変調器１０３もやはり、素子構造によって非線形性とＤＣオフセットとを有する。従って、図３に示されているように、光変調器１０３の実際のゲイン変化には、理想的な光変調器のゲイン変化とは異なり、歪曲が存在することになる。従来提案された距離情報抽出方法の場合、光変調器のゲイン変化が理想的であると仮定したので、かような光変調器１０３の非線形性並びにＤＣオフセットも、やはり誤差の原因になる。図１に示された光学装置１００の場合、後述するように、光変調器１０３の実際のゲイン変化を測定し、その測定結果を距離情報計算に反映する。従って、光学装置１００は、歪曲が存在する一般的な光変調器をそのまま利用できる。また、光変調器１０３のゲイン波形は、サイン波形態だけではなく、多様な形態の波形を有することもできる。

【0058】

光検出器１０５は、光変調器１０３によって光変調された映像を、制御部１０６の制御によって検出する。被写体２００のいずれか１つの点までの距離だけを測定しようとする場合、光検出器１０５は、例えば、フォトダイオードや積分器のような１つの単一な光センサを使用することもできる。しかし、被写体２００上の多数の点までの距離を同時に測定しようとする場合には、光検出器１０５は、多数のフォトダイオードの二次元または一次元のアレイ、または他の一次元や二次元の光検出アレイを有することもできる。例えば、光検出器１０５は、二次元または一次元のアレイを有するＣＣＤ（ｃｈａｒｇｅ‐ｃｏｕｐｌｅｄ ｄｉｏｄｅ）イメージセンサ、またはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ‐ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサでもよい。特に、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのような光検出アレイを使用する場合、光学装置１００は、デプス（ｄｅｐｔｈ）情報を有する３Ｄ（ｔｈｒｅｅ‐ｄｉｍｅｎｓｉｏｎａｌ）映像を撮影できる３Ｄカメラに適用されうる。

【0059】

距離情報映像処理器１０７は、光検出器１０５の出力を基に、後述する距離情報抽出アルゴリズムによって、距離情報を計算する役割を担う。距離情報映像処理器１０７は、例えば、専用の集積回路（ＩＣ）として具現され、またはパソコン（ＰＣ）のような一般的なコンピュータ装置としても具現されうる。

【0060】

以下、前述の構造を有する光学装置１００の動作について概略的に説明する。

【0061】

まず、光源１０１は、制御部１０６及び光源駆動部１０２の制御によって、所定の周期（Ｔｅ）、及び所定の波形を有する三種以上の異なる投射光を、互いに異なる時間間隔で、順に発生させる。このように発生した三種以上の投射光は、被写体２００に順に投射される。例えば、３種の異なる投射光を使用する場合、時間Ｔ１の間、第１投射光を発生させて被写体２００に投射させ、次の時間Ｔ２の間、第２投射光を発生させて被写体２００に投射させ、次に、時間Ｔ３の間、第３投射光を発生させて被写体２００に投射させることができる。三種以上の異なる投射光は、多様な方式で具現されうる。例えば、三種以上の投射光は、同じ波形を有しつつ、単に位相のみ異なるようにできる。しかし、さらに正確な距離測定のために、波形自体が異なった三種以上の投射光を発生させることもできる。波形の形態、周期及び位相の大きさには、特別な制限はないが、全ての投射光が、同じ周期の波形を有しうる。

【0062】

図４は、光源１０１で発生しうる３つの投射光の形態を例示している。図４を参照すれば、第１投射光と第３投射光は、非線形的に変形された三角波の波形に近く、その位相が異なる。また、第２投射光は、歪曲された四角波の波形に近い。比較のために、図４には、理想的な形態の三角波が点線で共に表示されている。それ以外にも、例えば、サイン波、三角波、四角波及びそれらの組合せ波と共に、歪曲が存在する波形がいずれも使用可能である。かような異なる波形の使用は、後述する距離情報抽出アルゴリズムで説明するように、実際の出力波形を測定し、その測定結果を距離情報計算に適用できる。

【0063】

光源１０１から放出された第１投射光ないし第３投射光は、被写体２００の表面から反射され、第１レンズ１０８に入射する。一般的に、実際の被写体２００は、光学装置１００から撮影される表面までの距離、すなわち、デプスが互いに異なる多数の表面が、二次元アレイを形成する。例えば、図１には、光学装置１００までの距離が互いに異なる５つの表面Ｐ１〜Ｐ５を有する被写体２００が例示されている。投射光がそれぞれの表面Ｐ１〜Ｐ５から反射され、互いに異なって時間遅延された（すなわち、位相の異なる）５つの反射光が発生する。例えば、第１投射光が被写体２００の５つの表面Ｐ１〜Ｐ５からそれぞれ反射され、位相の異なる５つの第１反射光が発生する。また、第２投射光が同じ被写体２００の５個の表面Ｐ１〜Ｐ５からそれぞれ反射され、位相の異なる５個の第２反射光が発生する。同様に第３投射光も、被写体２００の５つの表面Ｐ１〜Ｐ５からそれぞれ反射され、位相の異なる５つの第３反射光が発生する。光学装置１００と表面Ｐ１〜Ｐ５との間の距離が異なるために、例えば、光学装置１００からの距離が最も遠い表面Ｐ１から反射された反射光は、ＴＯＦ１の時間遅延後、第１レンズ１０８に達し、光学装置１００からの距離が最も近い表面Ｐ５から反射された反射光は、ＴＯＦ１より小さいＴＯＦ５の時間遅延後、第１レンズ１０８に達する。

【0064】

第１レンズ１０８は、反射光を光変調器１０３の領域内にフォーカシングする。第１レンズ１０８と光変調器１０３との間には、使用波長以外の背景光や雑光（ｎｏｉｓｙ ｌｉｇｈｔ）を除去するために、所定の波長を有する光のみを透過させるフィルタ１０９が配されうる。例えば、光源１０１がおよそ８５０ｎｍの近赤外線（ＮＩＲ）波長を有する光を放出する場合、フィルタ１０９は、およそ８５０ｎｍの近赤外線波長帯域を通過させる近赤外線帯域通過フィルタ（ＩＲ ｂａｎｄ ｐａｓｓ ｆｉｌｔｅｒ）でありうる。従って、光変調器１０３に入射する光は、光源１０１から放出され、被写体２００から反射された光が支配的となるようにできる。図１には、第１レンズ１０８と光変調器１０３との間に、フィルタ１０９が配されるように示されているが、第１レンズ１０８とフィルタ１０９との位置は、互いに入れ替わることもある。例えば、フィルタ１０９をまず通過した近赤外線光が、第１レンズ１０８によって、光変調器１０３にフォーカシングするようにしてもよい。

【0065】

光変調器１０３は、所定の波形を有する光変調信号に反射光の強度を変調する。例えば、反射光は、図３で例示したゲインを乗じた量に応じて、光変調器１０３によって強度が変調されうる。ここで、ゲイン波形の周期は、投射光の周期（Ｔｅ）と同じである。図１に示された例では、光変調器１０３は、被写体２００の５つの表面Ｐ１〜Ｐ５からそれぞれ反射された５つの第１反射光を光変調して光検出器１０５に提供し、次に、５種の第２反射光と５つの第３反射光とを順に光変調し、光検出器１０５に提供できる。

【0066】

光変調器１０３によって強度が変調された光は、第２レンズ１１０を通過しつつ、倍率調整及び再フォーカシングされた後、光検出器１０５に達する。従って、変調された光は、第２レンズ１１０によって、光検出器１０５の領域内に集光される。光検出器１０５は、変調された光を所定の露出時間の間に受光し、輝度画像（ｉｎｔｅｎｓｉｔｙ ｉｍａｇｅ）を生成する。例えば、光検出器１０５は、図５（Ａ）に示されているように、被写体２００の５つの表面Ｐ１〜Ｐ５からそれぞれ反射された５つの第１反射光に対して変調された光を所定の露出時間の間に受光し、第１輝度画像ＩＩＭ１を生成する。また、図５（Ｂ）に示されているように、光検出器１０５は、被写体２００の５つの表面Ｐ１〜Ｐ５からそれぞれ反射された５つの第２反射光に対して変調された光を所定の露出時間の間に受光し、第２輝度画像ＩＩＭ２を生成する。また、図５（Ｃ）に示されているように、光検出器１０５は、被写体２００の５つの表面Ｐ１〜Ｐ５からそれぞれ反射された５つの第３反射光に対して変調された光を所定の露出時間の間に受光し、第３輝度画像ＩＩＭ３を生成する。かような方法で、図５（Ｄ）に示されているように、３つの異なる輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３を得ることができる。ここで、それぞれの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３は、被写体２００の５つの表面Ｐ１〜Ｐ５からそれぞれ反射された５つの反射光について輝度情報Ｉ１〜Ｉ５を含んでいる。

【0067】

距離情報を有する１フレームの映像を得るためには、前述の３つ以上の輝度画像が必要である。図１及び図５では、３つの投射光を利用して３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３を得る例が示されている。しかし、４つまたはそれ以上の投射光を利用して、４つまたはそれ以上の輝度画像を得ることも可能である。それぞれの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３は、距離情報を有する１フレームの映像を得るためのサブフレーム（ｓｕｂ‐ｆｒａｍｅ）でありうる。もし１フレームの周期をＴｄとするならば、３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３それぞれを得るための光検出器１０５の露出時間Ｔは、概ね１／３＊Ｔｄでありうる。しかし、輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３を得るための露出時間がいずれも同一である必要はなく、設計によって任意に選択されうる。例えば、３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３に対して、互いに異なる露出時間Ｔ１，Ｔ２及びＴ３がそれぞれ割り当てられ、ただしＴ１＋Ｔ２＋Ｔ３≦Ｔｄを満足しさえすればよい。

【0068】

また、図５の（Ａ）を参照すれば、光源１０１から放出された第１投射光が、被写体２００の５つの表面Ｐ１〜Ｐ５からそれぞれ反射され、５つの第１反射光が生成される。５つの第１反射光は、光変調器１０３によって変調された後、光検出器１０５に達する。図５には、説明を簡略化するために、光検出器１０５が５つの表面Ｐ１〜Ｐ５にそれぞれ対応する５個の画素を有するものとして示されている。５つの第１反射光は、対応する５個の画素にそれぞれ入射しうる。図５の（Ａ）に示されているように、表面Ｐ１〜Ｐ５からそれぞれ反射された５つの第１反射光は、光学装置１００からの距離による異なる位相遅延Φ_Ｐ１〜Φ_Ｐ５をそれぞれ有する。例えば、最も遠い表面Ｐ１からの反射光が最も大きい位相遅延Φ_Ｐ１を有することになる。最初のサブフレームで、光検出器１０５は、例えばＴ１の露出時間の間、変調された第１反射光を撮影し、Ｔ１の時間の間に累積された第１輝度画像ＩＩＭ１を生成できる。

【0069】

２番目のサブフレームは、最初のサブフレームの撮影後、Ｔ２の時間の間撮影されうる。図５の（Ｂ）を参照すれば、第２投射光が被写体２００から反射されて生成された第２反射光が、光変調器１０３によって変調された後、光検出器１０５に達する。５つの表面Ｐ１〜Ｐ５からそれぞれ反射された５つの第２反射光は、前述の５つの第１反射光と同じ位相遅延ΦＰ_１〜ΦＰ_５をそれぞれ有する。光検出器１０５は、例えばＴ２の露出時間の間、変調された第２反射光を撮影し、Ｔ２の時間の間に累積された第２強度映像ＩＩＭ２を生成できる。

【0070】

３番目のサブフレームは、２番目のサブフレームの撮影後、Ｔ３の時間の間に撮影されうる。図５の（Ｃ）を参照すれば、第３投射光が被写体２００から反射されて生成された第３反射光が、光変調器１０３によって変調された後、光検出器１０５に達する。５つの表面Ｐ１〜Ｐ５からそれぞれ反射された５つの第３反射光は、前述の５つの第１反射光と同じ位相遅延Φ_Ｐ１〜Φ_Ｐ５をそれぞれ有する。光検出器１０５は、例えばＴ３の露出時間の間に、変調された第３反射光を撮影し、Ｔ３の時間の間に累積された第３輝度画像ＩＩＭ３を生成できる。

【0071】

前述の方法で順次に得た３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３は、距離情報映像処理器１０７に伝えられる。距離情報映像処理器１０７は、３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３を基に、後述するアルゴリズムによって、距離情報を有する映像を生成できる。図６は、３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３から距離情報を有する映像を生成する過程（Ｄｅｐｔｈ Ｐｒｏｃｅｓｓｉｎｇ）を概略的に示している。例えば、最初のフレームについては、前述の方法で生成された３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３から、第１距離情報映像（ｄｅｐｔｈ ｉｍａｇｅ）ＩＭＧ１を得ることができる。次に、２番目フレームについても、同じ方法で生成された３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３から、第２距離情報映像ＩＭＧ２を得ることができ、３番目のフレームについても同じ方法で、第３距離情報映像ＩＭＧ３を得ることができる。かような動作を反復することにより、所定のフレーム速度（ｆｄ＝１／Ｔｄ）で、被写体２００の多数の表面までの動作をリアルタイムで観察できる。

【0072】

以上、３つ以上の輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３を得るために、３つ以上の異なる投射光を使用する場合について説明した。しかし、３つ以上のサブフレームの間、光源１０１は同じ１つの波形の投射光を出力し、光変調器１０３が３つ以上の異なるゲイン波形に反射光を変調することも可能である。図７は、１つの同じ投射光と３つの異なる変調とで、３つの異なる輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３を生成する過程を図示している。図７を参照すれば、第１反射光ないし第３反射光は、いずれも同じ波形と位相とを有し、ただ反射された被写体２００の表面Ｐ１〜Ｐ５によって、異なる位相遅延Φ_Ｐ１〜Φ_Ｐ５が存在する。また、図７の（Ａ）〜（Ｃ）にそれぞれ示されているように、最初のサブフレームで光変調器１０３は、第１光変調信号に反射光を変調し、２番目のサブフレームで光変調器１０３は、第１光変調信号と異なる第２光変調信号に反射光を変調し、３番目のサブフレームで光変調器１０３は、第１光変調信号及び第２光変調信号と異なる第３光変調信号に反射光を変調する。これにより、図７の（Ｄ）にそれぞれ図示されているように、互いに異なる３つの輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３を得ることができる。ここで、３つの光変調信号は、位相だけ互いに異なることもあり、または波形自体が互いに異なることもある。その後、距離情報映像を生成する方法は、図６を参照して説明した通りである。

【0073】

２．距離情報抽出アルゴリズム
以下、前述の３つ以上の輝度画像ＩＩＭ１，ＩＩＭ２，ＩＩＭ３を利用して、距離情報映像処理器１０７が距離情報を抽出するアルゴリズムについて説明する。

【0074】

以下で説明する距離情報抽出アルゴリズムの概要は、光源１０１から放出された投射光の実際波形と、光変調器１０３の実際のゲイン波形とを測定し、フーリエ級数などで数学的モデルを立てた後、これを基に、距離と輝度画像との理論的な関係を決定してルックアップテーブルを構成し、実際に撮影して得た輝度画像をルックアップテーブルと比較し、距離情報をリアルタイムで抽出する。

【0075】

以下の理論的説明においては、図５に示されているように、三種の投射光を使用して、光変調器１０３が一つのゲイン波形を使用する方法を中心に記述する。また、光検出器１０５の出力が二次元アレイ映像である場合でも、それぞれの画素に適用される距離情報抽出方法は同一であるので、１つの画素に適用される方法だけを説明する。ただし、二次元アレイ映像で、多数の画素から距離情報を同時に抽出する場合には、データ管理及びメモリ割当てなどを効率的に処理し、重複処理される部分を省略することによって、計算量を減らすことができる。

【0076】

２−１．投射光と反射光との波形、光変調器のゲイン波形に係るモデリング
まず、周期（Ｔｅ）を有する一般的な投射光の波形は、時間軸上で直交する関数として示すことができる。例えば、下の数式１のように、フーリエ級数のサイン項とコサイン項とで示すことができ、またはチェビシェフ多項式（Ｃｈｅｂｙｓｈｅｖ ｐｏｌｙｎｏｍｉａｌ）のような一般的な多項式で示すこともできる。以下では、投射光の波形をフーリエ級数で示す場合を中心に説明する。

【0077】

【数1】

【0078】

ここで、ｓは、投射光の波形の種類を区分する識別子である。例えば、３つの投射光を使用する場合に、ｓ＝１，２，３である。ωは、投射光の波形の駆動角周波数であって、ω＝２πｆｅ（ｆｅは、投射光の波形の駆動周波数、ｆｅ＝１／Ｔｅ）の関係を有する。また、ａ_ｋ^（ｓ）は、投射光（ｓ）で、ｋ次サイン項の係数であり、ｂ_ｋ^（ｓ）は、投射光（ｓ）で、ｋ次コサイン項の係数である。係数ａ_ｋ^（ｓ）とｂ_ｋ^（ｓ）は、光源１０１の光出力を直接計測して得ることができる。例えば、光源１０１から放出された投射光の波形を測定し、測定された波形に係る高速フーリエ変換（ＦＦＴ）のようなフーリエ変換を介して周波数成分を把握し、係数を求めることができる。このとき、次数ｍは、光源１０１から出力された投射光の波形計測値を適切に表現できるように十分に大きく捉える。一方、出力された投射光の出力の平均値は、下の数式２のように定義される。

【0079】

【数2】

【0080】

ここで、Ｔは、３つの投射光のうちいずれか一つに対応する１つの輝度画像を得るための光検出器１０５の露出時間、すなわち、サブフレームの周期である。３つの投射光について露出時間が、互いに異なるように設定される場合、例えばｓ＝１に対して、ＴをＴ１として、ｓ＝２に対して、ＴをＴ２として、ｓ＝３に対して、ＴをＴ３とすることができる。以下では、３つの投射光に対して、同じ露出時間Ｔが設定されていると仮定する。

【0081】

３つの投射光の波形を具現する場合に、制御部１０６は、それぞれの投射光に係る平均出力が同じ値になるように、制御信号を適切に調節する。図２と図４は、数式１により表現された第１投射光ないし第３投射光を例示しており、例えばＴｅ＝２５ｎｓ、ｍ＝５次項を使用した場合であり、投射光の平均出力値は、０．５（Ｗ）である。投射光の波形としては、数式１で表現可能なあらゆる形態の波形が制限なく使用されうる。例えば、サイン波、三角形波、四角波またはそれらの組合せ、そして歪曲が存在する場合等、いずれの場合も使用可能である。

【0082】

数式１で表現された投射光が被写体２００から反射され、光学装置１００にさらに入射するとき、その反射光は、下の数式３のような多項式で示すことができる。

【0083】

【数3】

【0084】

距離による反射光の位相遅延Φ_ＴＯＦは、次の数式４のように、時間遅延Ｔ_ＴＯＦ及び投射光の駆動波形の周期（Ｔｅ）により示すことができる。

【0085】

【数4】

【0086】

一方、光変調器１０３の一般的なゲイン波形も、下の数式５のように、フーリエ級数のような一般的な多項式で示すことができる。

【0087】

【数5】

【0088】

ここで、サイン項とコサイン項との各次数の係数ｃ_ｋ，ｄ_ｋは、光変調器１０３のゲイン波形を直接計測し、計測されたゲイン波形に係る高速フーリエ変換（ＦＦＴ）のようなフーリエ変換を介して実験的に求めた値を使用できる。このとき、次数ｎは、計測値を適切に表現できるように十分に大きく捉える。また、光変調器１０３のゲイン波形の平均値は、下の数式６のように定義されうる。

【0089】

【数6】

【0090】

ここで、Ｔは、前述のように、１サブフレームの周期である。図３は、数式５で表現された光変調器１０３の一般的なゲイン波形を例示するものであり、例えばＴｅ＝２５ｎｓ，ｎ＝５次項を使用した場合であり、ゲイン波形の平均値は０．４（Ｗ）である。

【0091】

２−２．光変調器による光変調及び光検出器からの輝度画像生成
数式３で表現された反射光は、数式５で表現された光変調器１０３のゲイン波形と乗算され、光検出器１０５に達する。光変調器１０３を透過した後の変調された光の光量Ｉ^（ｓ）Ｔ（ｓ＝１，２，３）は、下の数式７のような多項式で示すことができる。

【0092】

【数7】

【0093】

光変調器１０３を透過した光映像は、光検出器１０５で所定の露出時間Ｔの間に累積され、そこから輝度画像が形成される。３つの輝度画像を利用して、距離情報を抽出する場合、露出時間Ｔは、距離情報映像の出力周期の１／３とすることができる。例えば、秒当たり３０フレームの距離情報映像を出力する場合（すなわち、ｆｄ＝３０、ｆｄは、距離情報映像のフレーム速度）、露出時間Ｔは、およそ０．０１１秒となる。光検出器１０５の感度により、光検出器１０５に達する光量と輝度画像のサイズとの間に、所定の変換比率が存在しうるが、便宜上、これを単純化して、輝度画像のサイズを下の数式８のように定義できる。

【0094】

【数8】

【0095】

数式８において、輝度画像を定義するとき、光検出器１０５への入力光強度と、光検出器１０５からの出力強度とのスケール係数（ｓｃａｌｅ ｆａｃｔｏｒ）を１と仮定した。従って、実際の計算時には、光検出器１０５に対する補正（ｃａｌｉｂｒａｔｉｏｎ）を組み込んでスケール係数を決定し、数式８に適用する必要がある。

【0096】

一般的に、投射光の周期（Ｔｅ）（例えば、２５ｎｓ）は、光検出器１０５の露出時間Ｔ（例えば、０．０１１ｓ）に比べて非常に小さい。従って、数式８の積分時、数式７に存在する直流項（ＤＣ ｔｅｒｍ）が主要要素として寄与し、交流項（ＡＣ ｔｅｒｍ）は、互いに負数／正数により相殺され、その積分結果に加味される量が非常に少ない。従って、数式７を数式８に代入し、その直流項のみを考慮すれば、以下のような輝度画像についての数式９を得ることができる。これに関する詳細な誘導過程は省略する。

【0097】

【数9】

【0098】

ここで、

【0099】

【数10】

【0100】

であり、

【0101】

【数11】

【0102】

である。

【0103】

数式１０で、次数ｌは、次数ｍと次数ｎとのうち小さい値である。Ｆ^（ｓ）（Φ_ＴＯＦ）は、未知数である位相遅延Φ_ＴＯＦの関数であり、数式１０のように、数学的な表現が可能な項である。従って、数式９ないし数式１１から分かるように、輝度画像のサイズは、未知数である位相遅延Φ_ＴＯＦについての関数Ｆ^（ｓ）（Φ_ＴＯＦ）と、位相遅延に関連しない定数項との和として整理できる。

【0104】

２−３．距離情報抽出のための問題の定義及び抽出方法

【0105】

【表4】

【0106】

このように問題を解くためには、３つ以上の方程式が必要である。３つの方程式は、数式９で表現された輝度画像についての関係式から得ることができる。すなわち、３つの投射光に対応する３つの輝度画像を、光検出器１０５により順次に検出し、数式９を利用すれば、次のような連立方程式を構成できる。

【0107】

【数12】

【0108】

【数13】

【0109】

【数14】

【0110】

【表5】

【0111】

ところで、数式１２ないし数式１４によって構成された連立方程式は、未知数に対して非線形関数であるから、数値解析により直接未知数を抽出するには、多くの計算時間を要する。リアルタイムで距離情報映像を抽出するためには、比較的短い計算時間で正確な結果を導き出すことができる他の方法が必要である。従って、数式１３ないし数式１５の連立方程式を解くには、ベクトル空間の解決法を活用し、ルックアップテーブルを構成する方法を提案する。

【0112】

このために、まず下記数式１５及び数式１６のような三次元空間内のベクトルを定義し、これを基にルックアップテーブルを構成できる。

【0113】

【数15】

【0114】

【数16】

【0115】

ここで、

【0116】

【数17】

【0117】

【数18】

【0118】

数式１５及び数式１７から分かるように、輝度画像に関する三次元空間内のベクトルは、３つの投射光にそれぞれ関連した輝度画像のサイズ間の差の組合せから構成されうる。同様に、数式１６及び数式１８から分かるように、位相遅延にに関する三次元空間内のベクトル関数は、３つの投射光とそれぞれ関連した位相遅延に関する関数の差の組合せから構成されうる。差の組合せの代わりに、差の比率の組合せを使用することも可能である。

【0119】

【表6】

【0120】

従って、角度αと、それに対応する位相遅延Φ_ＴＯＦとを数値的にあらかじめ計算すれば、その関係を表（ｔａｂｌｅ）または下記の数式１９のようなルックアップテーブル関数ＬＵＴ（α）の形態に整理できる。これが、本実施形態において活用されるルックアップテーブルである。

【0121】

【数19】

【0122】

【表7】

【0123】

【数20】

【0124】

数式２０は、前述した数式１５と数式１６とで定義された２ベクトルが、下記の数式２１のように、三次元空間内で平行であるための条件である。

【0125】

【数21】

【0126】

【数22】

【0127】

ここで、

【0128】

【数23】

【0129】

であり、

【0130】

【数24】

【0131】

である。

【0132】

数式２２により計算された角度αと、あらかじめ計算されたルックアップテーブルとを利用して、位相遅延Φ_ＴＯＦを求める。例えば、図９のグラフで、α＝２５０°である場合に該当する位相遅延は、Φ_ＴＯＦ＝２７０°である。このように求めた位相遅延を利用し、光検出器１０５の当該画素にについての光学装置１００と被写体２００との間の距離（すなわち、ｄｅｐｔｈ）ｄを、下記の数式２５によって求めることができる。

【0133】

【数25】

【0134】

ここで、ｃは、光の速度である。

【0135】

また、反射率ｒは、数式２０から、下記のように求めることができる。

【0136】

【数26】

【0137】

また、外光サイズは、数式１１及び数式１２を利用して、下記のように求めることができる。

【0138】

【数27】

【0139】

３．フローチャート

【0140】

【表8】

【0141】

【表9】

【0142】

次に、段階（Ｓ１２）で、３つの投射光が被写体２００からの反射光に係る一般的な多項式を、数式３のように求める。それにより、数式３から、反射光が光変調器１０３で変調された後の光量Ｉ^（ｓ）Ｔ（ｓ＝１，２，３）を、数式７のように求めることができる。すなわち、数式７は、反射光に係る数式３と、ゲイン波形に関する数式５とを乗じて得られる。その後、変調された光に係る数式７を、数式８のように、光検出器１０５での露出時間Ｔで積分すれば、光変調器１０３で変調された反射光を、光検出器１０５で所定の露出時間Ｔの間に累積させて得た輝度画像（または、輝度画像のサイズ）に係る多項式を誘導できる。ここで、３つの投射光のそれぞれに対して輝度画像が得られるので、３つの輝度画像について多項式がそれぞれ存在することになる。

【0143】

【表10】

【0144】

【表11】

【0145】

【表12】

【0146】

このように構成されたルックアップテーブルは、３つの特定投射光と、１つの特定ゲイン波形との組合せについてあらかじめ測定された結果として得たものである。もし３つの投射光と１つのゲイン波形とのうちいずれか１つの位相または波形の種類が変わるならば、それに対応する新たなルックアップテーブルを構成しておくことができる。例えば、光学装置１００で使用できる投射光とゲイン波形との多様な組合せ別に、それぞれ別途のルックアップテーブルを構成できる。それにより、光学装置１００の動作時、使われた投射光とゲイン波形との特定の組合せによって、それに該当するルックアップテーブルを参照することが可能である。かような投射光とゲイン波形との多様な組合せは、３つの投射光と１つのゲイン波形との組合せだけではなく、４つ以上の投射光と１つのゲイン波形との組合せ、１つの投射光と３つ以上のゲイン波形との組合せも含むことができる。いかなる場合でも、前述のルックアップテーブルの構成方法は、同一に適用されうる。かようなルックアップテーブルは、例えば、マイクロ・プロセッサ、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｏｒ ｕｎｉｔ）などを含む図１に図示された距離情報映像処理器１０７内に共に統合されており、またはＲＡＭ（ｒａｎｄｏｍ‐ａｃｃｅｓｓ ｍｅｍｏｒｙ）やＲＯＭ（ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）のような別途の記録媒体（図示せず）に保存されている。

【0147】

図１１は、前述の方式で得たルックアップテーブルを利用して、実際に距離情報を抽出する過程を要約して説明するフローチャートを示している。他の方式の投射光とゲイン波形との組合せも可能であるが、ここでも便宜上、３つの異なる投射光と１つのゲイン波形とを使用する場合について例示的に説明する。

【0148】

まず、段階（Ｓ２０）で、光源１０１が３つの異なる投射光を経時的に順に発生させて被写体２００に投射する。前述のように、３つの投射光は、同じ周期を有し、ただし位相だけ互いに異なり、または波形自体が互いに異なる場合もある。投射光は、例えば、およそ８５０ｎｍの波長を有する近赤外線である。

【0149】

その後、３つの投射光は、被写体２００から反射され、順に光学装置１００に戻る。このとき、フィルタ１０９を利用し、反射光のうち、例えばおよそ８５０ｎｍの近赤外線光のみを透過させる。それにより、段階（Ｓ２１）で、光変調器１０３は、被写体２００から反射された３つの反射光を所定のゲイン波形に光変調し、変調された光を光検出器１０５に提供する。光変調器１０３のゲイン波形は、いかなるものでも使われうるが、その周期は、投射光の周期と同一である。

【0150】

段階（Ｓ２２）で、光検出器１０５は、光変調器１０３で変調された反射光を所定の露出時間Ｔの間に累積させて出力する。それにより、３つの投射光にそれぞれ対応する３つの強度映像を得ることができる。このようにして得た３つの強度映像は、距離情報映像処理器１０７に提供されうる。段階（Ｓ２３）で、距離情報映像処理器１０７は、３つの強度映像のサイズを利用し、数式１５及び数式１７について説明されているように、三次元空間内の輝度画像ベクトルを構成する。

【0151】

次の段階（Ｓ２４）で、距離情報映像処理器１０７は、数式２２を利用し、輝度画像ベクトルが三次元空間内の基準ベクトルから傾いた角度αを求める。前述のように、基準ベクトルは、数式２３及び数式２４によりあらかじめ定義されている。角度αを求めた後、距離情報映像処理器１０７は、あらかじめ保存されているルックアップテーブルを参照し、角度αに対応する位相遅延を求めることができる。ここで、ルックアップテーブルは、使用可能な投射光とゲイン波形の多様な組合せ別に多様に設けられている。従って、距離情報映像処理器１０７は、光源１０１と光変調器１０３とで使われた投射光とゲイン波形との特定の組合せによって、それに該当するルックアップテーブルを参照できる。

【0152】

最後に、段階（Ｓ２５）で、距離情報映像処理器１０７は、前述の方法で求めた位相遅延を利用し、被写体からの距離、被写体の反射率及び外光のサイズを計算できる。例えば、数式２５ないし数式２７の方程式に位相遅延を代入することにより、被写体からの距離、被写体の反射率及び外光のサイズを計算することが可能である。

【0153】

以上、光検出器１０５のいずれか１つの画素について距離情報を抽出する方法について説明したが、光検出器１０５内の多数の画素それぞれについて同じ方法が適用されうる。また、ＣＣＤのように、二次元アレイに配列された多数の画素を有する光検出器１０５だけではなく、一次元アレイに配列された多数の画素を有する光検出器、または単に１つのフォトダイオードだけで構成された光検出器についての、以上で説明した方法がそのまま適用されうる。

【0154】

図１０及び図１１に示された作業を行うために必要な演算量について述べれば、被写体までの距離情報を抽出するのに必要な計算のほとんどは、図１０のルックアップテーブル構成過程からなる。ルックアップテーブルは、例えば、光学装置１００の製造時、製造メーカーがあらかじめ計算して設けておいたものでありうる。従って、距離情報を抽出するにおいて必要なリアルタイム演算は、図１１に図示された輝度画像ベクトルを構成するための計算、ルックアップテーブルを参照して位相遅延を求めるための計算、及び位相遅延から被写体からの距離および被写体の反射率並びに外光のサイズ情報を抽出するための計算である。かような点で、光学装置１００が直接遂行する演算量が比較的少ないために、光学装置１００を利用し、リアルタイムで距離情報を抽出することが可能である。従って、多数の画素を有する画像情報と共に、画像内の各画素別距離情報を同時に獲得できる３Ｄカメラの実現が可能である。

【0155】

４．実験結果
図１１の距離情報抽出方法を確認するために、シミュレーションを行った。投射光としては、図２に図示された２５ｎｓの周期を有する三種の波型（実線）を使用し、ゲイン波形としては、図３に図示された２５ｎｓの周期を有する波形（実線）を使用した。０．５〜３．５ｍの距離にある被写体に対して、前述の方法により距離を測定し、光検出器（例えば、ＣＣＤ）のノイズを考慮するために、輝度画像にその大きさの０．１％ほどのランダム・ノイズ（ｒａｎｄｏｍ ｎｏｉｓｅ）を意図的に印加した。

【0156】

図１２は、シミュレーションを介して距離情報を抽出した（ｅｘｔｒａｃｔｅｄ）結果を真値（実際の値）と比較したグラフであり、図１３は、図１２の距離情報抽出結果と真値との誤差（ｅｒｒｏｒ）を示したグラフである。図１２及び図１３を参照すれば、およそ３ｍ距離内で２ｃｍほどの誤差を示すということが分かる。これは、光検出器に意図的に印加したノイズに起因する。距離が遠いほど反射光の大きさが小さくなり、信号対ノイズ比が小さくなるために、距離が遠いほど誤差が大きくなりうる。３ｍ内でおよそ２ｃｍ以内の誤差は、常用の距離情報カメラとして使用可能なレベルであると見ることができる。

【0157】

また、前述のアルゴリズムを遂行するためのハードウェアを製作して実験を行った。この実験で、レーザダイオード（ＬＤ）と光変調器とをおよそ２０ＭＨｚで駆動し、２０ｃｍ間隔で２０ｃｍ〜１８０ｃｍの距離を測定した。図１４は、レーザダイオードの光出力を測定した結果であり、図１５は、レーザダイオードの光出力スペクトルを高速フーリエ変換で分析した結果である。図１５を見れば、レーザダイオードの光出力で、２０ＭＨｚの基本周波数以外に、高次項が存在することが分かる。かような高次項を、前述の距離情報抽出アルゴリズムに反映させた。また、図１６は、光変調器の変調ゲイン波形を測定した結果であり、ＤＣオフセット及び相当量の波形歪曲を観察できる。図１７は、ゲイン波形スペクトルを高速フーリエ変換を介して分析した結果である。図１７を見れば、光変調器の変調ゲイン波形は、２０ＭＨｚの基本周波数以外に、高次項がかなり存在するということが分かる。かような高次項を、前述の距離情報抽出アルゴリズムに反映させた。

【0158】

図１８は、前述のアルゴリズムによって、実際に距離情報を抽出した結果である。図１８には、前述のアルゴリズムによって波形の歪曲を実測して考慮した結果と、理想的な波形だけを考慮した結果とが比較されている。図１８で太い線は実測された波形歪曲を考慮した場合を示し、細い線は波形歪曲を考慮しない場合を示す。図１８の結果について述べれば、波形歪曲を実測して考慮した場合に、全体的におよそ０．７ｃｍの平均的な誤差があったが、波形歪曲を考慮しない場合には、全体的におよそ２．１ｃｍの平均的な誤差が発生した。

【0159】

前述のように、開示されたアルゴリズムは、数学的に理想的な波形ではない実際の実測された非線形的波形を考慮して距離情報を抽出するために、使用波形の制約を受けることなく正確な距離情報を抽出できる。従って、歪曲及び非線形性がほとんどない高価の光源や光変調素子を使用する必要がなく、複雑な誤差補償手段が要求されない。また、既存の光源、光変調素子及び光学装置をそのまま利用でき、追加費用がかからない。さらに、あらかじめ計算された距離情報が保存されているルックアップテーブルを使用するために、距離情報を抽出する際において演算量が非常に少ないので、リアルタイム距離情報映像の撮影が可能である。従って、前述のアルゴリズムが採用された光学装置１００は、例えば３Ｄカメラやレーザレーダ（ＬＡＤＡＲ）のような分野で有用に使われうる。

【0160】

例示的な実施例は、コンピュータプログラムで作成され、コンピュータで読取り可能な記録媒体を使用し、プログラムを実行する一般的なデジタルコンピュータ内のプロセッサによって具現されうる。記録媒体の例として、磁気記録媒体（ＲＯＭ、フロッピーディスク、ハードディスクなど）、光録媒体（ＣＤ−ＲＯＭ、ＤＶＤなど）などを含む。

【0161】

以上、本発明の理解を助けるために、距離情報抽出方法及び該方法を採用した光学装置に係る例示的な実施例について説明し、添付された図面に示した。しかし、かような実施例は、単に本発明を例示するためのものであり、それを制限するものではないということを理解せねばならない。そして、本発明は、図示されて説明された形態に限定されるものではないということを理解せねばならない。これは、多様な他の変形が本技術分野での当業者に可能であるためである。

【符号の説明】

【0162】

１００ 光学装置、
１０１ 光源、
１０２ 光源駆動部、
１０３ 光変調器、
１０４ 光変調器駆動部、
１０５ 光検出器、
１０６ 制御部、
１０７ 距離情報映像処理器、
１０８ 第１レンズ、
１０９ フィルタ、
１１０ 第２レンズ、
２００ 被写体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】