特許 6309459 ストライプ照明の飛行時間型カメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6309459

(24)【登録日】2018年3月23日

(45)【発行日】2018年4月11日

(54)【発明の名称】ストライプ照明の飛行時間型カメラ

(51)【国際特許分類】

   H04N 5/225 20060101AFI20180402BHJP

   G01C 3/06 20060101ALI20180402BHJP

   G01S 17/89 20060101ALI20180402BHJP

【ＦＩ】

   H04N5/225 600

   H04N5/225 300

   G01C3/06 120Q

   G01S17/89

【請求項の数】19

【全頁数】14

(21)【出願番号】特願2014-557128(P2014-557128)

(86)(22)【出願日】2013年2月13日

(65)【公表番号】特表2015-513825(P2015-513825A)

(43)【公表日】2015年5月14日

(86)【国際出願番号】IB2013000182

(87)【国際公開番号】WO2013121267

(87)【国際公開日】20130822

【審査請求日】2016年1月20日

(31)【優先権主張番号】61/599,252

(32)【優先日】2012年2月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516203368

【氏名又は名称】ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディー

【氏名又は名称原語表記】ＨＥＰＴＡＧＯＮ ＭＩＣＲＯ ＯＰＴＩＣＳ ＰＴＥ．ＬＴＤ．

(74)【代理人】

【識別番号】100087941

【弁理士】

【氏名又は名称】杉本 修司

(74)【代理人】

【識別番号】100086793

【弁理士】

【氏名又は名称】野田 雅士

(74)【代理人】

【識別番号】100112829

【弁理士】

【氏名又は名称】堤 健郎

(74)【代理人】

【識別番号】100144082

【弁理士】

【氏名又は名称】林田 久美子

(72)【発明者】

【氏名】オッギーア・ティエリー

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００２−０３９７１６（ＪＰ，Ａ）

【文献】 特開２０１０−２７１３０６（ＪＰ，Ａ）

【文献】 特開２０１０−１７５４３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０１Ｃ ３／０６

Ｇ０１Ｓ １７／８９

(57)【特許請求の範囲】

【請求項1】

飛行時間型カメラであって、
シーンの二次元視野からの受光を復調する二次元ピクセルアレイを含む撮像センサと、
前記シーンの視野の各一部分を変調光で順次的に照明するように配置された照明モジュールであって、前記視野の前記一部分が、それぞれ、前記二次元ピクセルアレイの全てのピクセルよりも少ない複数のピクセルであって、前記二次元ピクセルアレイの水平な行の複数のピクセルおよび前記二次元ピクセルアレイの鉛直な列の複数のピクセルに対応し、異なるピクセル群が、部分的に重なり合う前記一部分それぞれに対応する、照明モジュールとを備え、
当該飛行時間型カメラが、さらに、前記部分的に重なり合う前記一部分それぞれに対応する前記異なるピクセル群からのサンプルに基づいて奥行き計算を実行するプロセッサを備える、飛行時間型カメラ。

【請求項2】

請求項１に記載の飛行時間型カメラにおいて、前記視野にわたって、照明される前記一部分が走査される、飛行時間型カメラ。

【請求項3】

請求項１に記載の飛行時間型カメラにおいて、前記撮像センサが、前記視野の照明される前記一部分に対応するピクセルを読み出す、飛行時間型カメラ。

【請求項4】

請求項１に記載の飛行時間型カメラにおいて、照明される前記一部分がストライプ形状である、飛行時間型カメラ。

【請求項5】

請求項１に記載の飛行時間型カメラにおいて、照明される前記一部分が水平方向のストライプである、飛行時間型カメラ。

【請求項6】

請求項１に記載の飛行時間型カメラにおいて、照明される前記一部分が、前記視野全体にわたって逐次的に走査される水平方向のストライプである、飛行時間型カメラ。

【請求項7】

請求項１に記載の飛行時間型カメラにおいて、前記照明モジュールが、光源および当該光源からの光を前記視野にわたって走査する走査装置を含む、飛行時間型カメラ。

【請求項8】

請求項７に記載の飛行時間型カメラにおいて、前記走査装置の走査が、前記撮像センサによる取得と同期する、飛行時間型カメラ。

【請求項9】

請求項１に記載の飛行時間型カメラにおいて、前記視野の照明される前記一部分が、前記視野全体のうちの１０％未満である、飛行時間型カメラ。

【請求項10】

請求項１に記載の飛行時間型カメラにおいて、前記照明モジュールによる走査が、外部信号源によって制御される、飛行時間型カメラ。

【請求項11】

飛行時間型カメラの動作方法であって、
シーンの二次元視野の各一部分を変調光で順次的に照明する過程であって、前記視野の前記一部分が、それぞれ、二次元ピクセルアレイの全てのピクセルよりも少ない複数のピクセルであって、前記二次元ピクセルアレイの水平な行の複数のピクセルおよび前記二次元ピクセルアレイの鉛直な列の複数のピクセルに対応する、過程と、
前記二次元ピクセルアレイを用いて、前記シーンの前記二次元視野からの受光を復調する過程と、
前記視野の照明された前記一部分に対応する前記ピクセルのそれぞれに対して複数サンプルを取得する過程であって、異なるピクセル群が、部分的に重なり合う前記一部分それぞれに対応する過程と、
前記視野の照明された前記一部分に対応する前記ピクセルから前記複数サンプルを用いて奥行き計算を実行する過程であって、異なる前記ピクセル群が、部分的に重なり合う前記一部分それぞれに対応する過程と
を含む、飛行時間型カメラの動作方法。

【請求項12】

請求項１１に記載の飛行時間型カメラの動作方法において、さらに、
前記視野の異なる部分を順次的に照明する過程、
を含む、飛行時間型カメラの動作方法。

【請求項13】

請求項１１に記載の飛行時間型カメラの動作方法において、さらに、
撮像センサのうちの、前記視野の照明される前記一部分に対応するピクセルを読み出す過程、
を含む、飛行時間型カメラの動作方法。

【請求項14】

請求項１１に記載の飛行時間型カメラの動作方法において、照明される前記一部分がストライプ形状である、飛行時間型カメラの動作方法。

【請求項15】

請求項１１に記載の飛行時間型カメラの動作方法において、照明される前記一部分が水平方向のストライプである、飛行時間型カメラの動作方法。

【請求項16】

請求項１１に記載の飛行時間型カメラの動作方法において、照明される前記一部分が、前記視野全体にわたって逐次的に走査される水平方向のストライプである、飛行時間型カメラの動作方法。

【請求項17】

請求項１１に記載の飛行時間型カメラの動作方法において、前記視野の一部分を照明する前記過程が、光源で光を生成し、当該光を走査装置で前記視野にわたって走査することを含む、飛行時間型カメラの動作方法。

【請求項18】

請求項１７に記載の飛行時間型カメラの動作方法において、さらに、
前記走査装置の走査を、撮像センサによる前記シーンからの光の取得と同期させる過程、
を含む、飛行時間型カメラの動作方法。

【請求項19】

請求項１に記載の飛行時間型カメラにおいて、前記撮像センサが、前記視野の照明された前記一部分に対応する前記ピクセルのそれぞれに対して複数サンプルを取得する、飛行時間型カメラ。

【発明の詳細な説明】

【関連出願】

【0001】

本願は、2012年2月15日付出願の米国仮特許出願第61/599,252号について米国特許法第１１９条(e)項に基づく利益を主張する。この米国仮特許出願の全内容は、参照をもって本明細書に取り入れたものとする。

【背景技術】

【0002】

飛行時間（ＴＯＦ）型三次元（３Ｄ）カメラは、能動的な光測距システムである。一般的に、ＴＯＦ型のシステムは、放射後にシーンにより反射される強度変調光について、その位相を計測する手法に基づいたシステムである。反射光はセンサに結像する。そして、センサで光生成電子を復調する。このようにして得られる位相情報に基づき、各ピクセルまでの距離を推定する。より詳細な説明については、Oggierらによる非特許文献１を参照されたい。

【0003】

どのＴＯＦ型カメラも、照明モジュールと、撮像センサと、何らかの光学系とを備えている。照明モジュールには、対象のシーンを出来る限り均等に取り込むように当該シーンを照明するものや、対象のシーンに応じて照明を調節するもの等がある。

【0004】

既存のＴＯＦ型全視野カメラは、発光ダイオード（ＬＥＤ）のアレイまたはレーザダイオードのアレイを具備した照明モジュールにより、ピクセル（画素）を一斉に照明する。照明モジュールは、センサに求められるダイナミックレンジを出来る限り小さくするように構成されている。そのために、対象の視野内に存在する全ての物体から反射してカメラに戻ってくる光量が同じになるように調整が行われることが多い。このように、汎用品のＴＯＦ型３Ｄカメラでは、視野を出来るだけ均等に照明できるように照明が構成されている。

【0005】

ＴＯＦ型カメラの最適なビーム形成については、Oggierらによる特許文献１（“Time of Flight Camera with Rectangular Field of Illumination（矩形の照明空間を有する飛行時間型カメラ）”）を参照されたい。さらなる改良技術として、Oggierらによる2011年8月2日付出願の米国特許出願第13/196,291号（“3D TOF camera with masked illumination”）に記載されているようなマスク照明（masked illumination）を用いるものがある。さらに、回折光学素子やその他の屈折装置により、照明を向上するアプローチもある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許出願公開第２０１１／００２５８４３号明細書

【非特許文献】

【0007】

【非特許文献1】"An all-solid-state optical range camera for 3D real-time imaging with sub-centimeter depth resolution (SwissRanger)", Proc. Of the SPIE, Vol. 5249, pp. 534-545, 2004

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、撮像センサの視野のうちの任意の領域のみを照明する照明モジュールを備えたＴＯＦ型カメラに関する。そのような領域は、つまり、撮像センサのピクセルの一部分領域である。典型的に、このようなピクセル領域で取得されたデータは、処理および／または読出がされる。第１のピクセル領域の露光時間が終わってから、第２のピクセル領域が照明および処理される。この手順は、ピクセルアレイ全体の読出し（場合によっては、ピクセルアレイ全体の複数回の読出し）が完了するまで、数回から数百回ないしは数千回繰り返され得る。そして、複数の異なるピクセル領域での取得結果に基づいて、完全な奥行き画像（距離画像）が再構成される。

【0009】

好ましくは、前記異なるピクセル領域は、１行もしくは数行または１列もしくは数列である。したがって、好ましくは、前記照明モジュールによって生成される照明は、鉛直方向（上下方向）または水平方向（左右方向）のストライプ形状（帯状）特性を有する。ただし、その照明の形状は、正方形、矩形などの他の形状であってもよい。好ましくは、前記異なるピクセル領域は、互いに隣接する。ただし、前記異なるピクセル領域は、互いに重なり合ってもよい。いずれにせよ、好ましくは、前記ピクセル領域または前記視野の照明される一部分は、前記撮像センサのピクセル全体／視野全体のうちのごく一部であり、例えば１０％または１０％未満である。複数の異なるピクセル領域での結果が組み合わされることにより、前記撮像センサのピクセルフィールド全体によって取り込まれるシーンの、全体の完全な３Ｄデプスマップ（奥行き情報）が構築される。

【0010】

好ましくは、各ピクセル領域での取得が終わるたびに、前記撮像センサの前記ピクセルがリセットされる。

【0011】

ピクセル領域ごとに互いに独立して照明および測定を行う構成は、直接でない光路や多重反射を減らせると同時に、より直接的な光をピクセル領域が受光できるので、多重反射（マルチパス反射）に関して有利である。

【0012】

また、ピクセル領域の測定は、視野全体（full field）の測定よりも短時間で済む。これは、読出し時間および取得時間を短縮できるからである。これにより、従来のカメラに比べて、いわゆるモーションアーチファクトを抑えることができる。

【0013】

さらに、利用可能光パワーを、視野全体ではなくピクセルの一部領域に対して投射することにより、その照明されるピクセル領域において、バックグラウンド光に対する信号の比（信号対バックグラウンド光の比）を向上させることができる。

【0014】

概して述べると、本発明の一構成は、シーンの視野からの受光を復調する撮像センサと、前記シーンの視野の一部分を変調光で照明する照明モジュールと、を備える、飛行時間型カメラを特徴とする。

【0015】

各実施形態では、前記視野にわたって、照明される前記一部分が（好ましくは、順次的に）走査される。前記撮像センサは、前記視野の照明される前記一部分に対応するピクセルを読み出す。典型的には、照明される前記一部分が、前記視野全体にわたって逐次的に走査される水平方向のストライプである。

【0016】

一例において、前記照明モジュールは、光源および当該光源からの光を前記視野にわたって走査する走査装置を含む。前記走査装置の走査は、前記撮像センサによる取得と同期する。

【0017】

概して述べると、本発明の他の構成は、飛行時間型カメラの動作方法を特徴とする。この動作方法は、シーンの視野からの受光を復調する過程と、前記シーンの視野の一部分を変調光で照明する過程と、を含む。

【0018】

新規な各構成の詳細および構成要素の組合せも含め、本発明の上述の特徴およびその他の特徴、ならびにその他の利点を、添付の図面を参照しながら具体的に説明し、特許請求の範囲で指摘する。本発明を具体化した後述の装置および方法は一例にすぎず、本発明を限定するものではない。本発明の原理および特徴は、本発明の範囲を逸脱しない範囲で様々な実施形態に用いることができる。

【0019】

添付の図面における同一の符号は、異なる図をとおして同一の構成要素または構成を指す。図面は必ずしも縮尺どおりではなく、本発明の原理を表すことに重点を置いている。

【図面の簡単な説明】

【0020】

【図1】ＴＯＦ型カメラシステムの概略図である。

【図2】（Ａ）は、放射信号（すなわち、照明光）ＥＳおよび受信信号（すなわち、撮像センサに入射する光）ＲＳの、時間を横軸としたプロット図であり、（Ｂ）は、受信信号ＲＳの復調の様子を、時間を横軸として表したプロット図である。

【図3A】カメラの撮像センサの視野全体をカバーする、従来の照明方式を示す概略背面図である。

【図3B】カメラの撮像センサの視野全体をカバーする、従来の照明方式を示す概略側面図である。

【図4】（Ａ）〜（Ｅ）は、本発明にかかる照明モジュールによる、撮像センサの視野の順次的な照明方式を示す概略側面図である。

【図5】本発明の一実施形態における、異なるサンプルと、対応するピクセル領域とのイミング図である。

【図6】照明モジュールの一実施形態を示す概略図である。

【図7】外部制御による照明光の走査を示すプロット図であって、特定のピクセル領域を照明する間の低速の動きが、物体の動きに起因するアーチファクトを抑えるために、その物体の速度と同期している図である。

【図8】水平方向のストライプのシステム構成の場合の図であって、（Ａ）はシステムの概略正面図、（Ｂ）はレンズ部分を示す、カメラの概略断面図、（Ｃ）は照明モジュール部分を示す、カメラの概略断面図である。

【発明を実施するための形態】

【0021】

図１に、ＴＯＦ型カメラシステム５の動作を示す。

【0022】

照明モジュール２０から、変調照明光１１が、シーンの物体３０に対して放射される。放出される光パワー全体の一部は、カメラ５に向けて反射され（反射光１２）、光学系４０を通り、３Ｄ撮像センサ９０によって検出される。センサ９０は、復調ピクセル１００の二次元ピクセルマトリクスを具備する。各ピクセル１００は、レンズ４０によって集光されて撮像センサ９０に結像する入射光信号１０を復調可能なものとされる。電子制御部６０は、照明モジュール２０のタイミングおよびセンサ９０のタイミングを、同期検出が可能なように制御する。

【0023】

各ピクセルは、復調値から、シーン３０内の対応する点（箇所）の距離情報Ｒに直接対応する飛行時間を算出できる。このような距離情報を含む二次元グレイスケール画像が、データ出力インターフェース７０（例えば、画像プロセッサを具備する）で、三次元画像に変換される。この三次元画像は、ディスプレイＤによりユーザに表示されてもよく、マシンビジョンの入力として使用されてもよい。

【0024】

各ピクセルまでの距離Ｒは、以下の式により算出される：
Ｒ＝（c×TOF）/ 2
式中、cは光速であり、TOFは飛行時間である。

【0025】

飛行時間ＴＯＦは、シーン３０から反射されてセンサ９０の各ピクセル１００に入射する光信号１１を復調することによって得られる。様々な変調方式が知られており、例えば、疑似雑音変調（pseudo-noise modulation）、パルス変調、連続変調などが挙げられる。以降では、本発明をより詳しく説明するにあたり、連続変調を使用した場合を考えるが、本発明は必ずしもこの変調方式に限定されない。

【0026】

全てのピクセルが、前記光信号を、互いに並行して同時に復調（並列復調）することにより、リアルタイム、すなわち、最大３０ヘルツ（Ｈｚ）のフレームレート、あるいは、それ以上のフレームレートで、３Ｄ画像を提供することができる。連続正弦波変調を使用した場合、放射信号と受信信号との間の位相遅延Ｐは、以下の式のとおり距離Ｒに直接対応する（正比例する）：

【0027】

Ｒ＝ (P×c) / (4×π×fmod)

【0028】

式中、fmodは光信号の変調周波数である。技術水準の典型的な変調周波数は、数メガヘルツ（ＭＨｚ）ないし数百メガヘルツ（ＭＨｚ）、あるいは、それ以上のＧＨｚである。

【0029】

図２（Ａ）に、連続正弦波変調を適用した場合の放射光信号および反射光信号の一例を示し、図２Ｂに、その場合の検出信号のサンプリング過程を示す。

【0030】

図２（Ａ）には、放射される変調照明信号ＥＳ（または１１）と受信される入射信号ＲＳ（または１０）とが示されている。受信信号ＲＳの振幅ＡおよびオフセットＢ、ならびに信号ＥＳと信号ＲＳとの位相差Ｐは、そのままでは分からないが、受信信号ＲＳの少なくとも３個のサンプルを用いることにより、一義的に求めることができる。図２Ａの符号ＢＧは、受信信号ＲＳのうちの、バックグラウンド光に起因する部分を指す。

【0031】

図２（Ｂ）には、１回の変調周期につき、４個のサンプルをサンプリングする過程が示されている。各サンプルは、前記変調周期のうちの所定の一部である期間ｄｔにわたって、光電信号を積算したものである。典型的に、４つの積算ノードを有する復調ピクセルの場合、前記期間ｄｔは前記変調周期の１／４に相当する。各サンプルの信号対雑音比を向上させるために、前記積算ノードにおいて、複数回の変調周期ないし百万回の変調周期、あるいは、それ以上の変調周期にわたって、光生成電荷を蓄積してもよい。

【0032】

電子制御部６０（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を用いる）により、各ピクセルの復調時に同期したチャネル起動を行うのに必要な信号が生成される。

【0033】

４個のサンプルを使用することで、変調信号の決定的な３つの変調パラメータである振幅Ａ、オフセットＢおよび位相シフトＢを、以下の式によって導き出すことができる：

【0034】

Ａ＝ sqrt[(A3 - A1)^2 + (A2 - A0)^2] / 2
Ｂ＝ [A0 + A1 + A2 + A3] / 4
Ｐ＝ arctan[(A3 - A1) / (A0 - A2)]

【0035】

式中、Ａ０、Ａ１、Ａ２およびＡ３はサンプルである。

【0036】

視野全体の照明と取得とを並行して行うと、ＴＯＦ型カメラのフレームレートを極めて高くすることができる。

【0037】

これに対して、並行して取得を実行しようとすると、いかにしてシーン内の多重反射を補償するのかという課題が生じる。シーン内の多重反射の発生およびその補償技術については、Godbazらによる“Multiple Return Separation for a Full-Field Ranger Via Continuous Waveform Modelling（連続波形モデリングによる全視野測距のための多重反射分離）”, Department of Engineering, University of Waikato, Hamilton, New Zealand, Proc. SPIE 7251を参照されたい。多重反射を補償するアプローチは、その他にも、Fuchsによる“Multipath Interference Compensation in Time-of-Flight Camera Images（飛行時間型カメラ画像における多重路干渉の補償）”, German Aerospace Center, Germany, International Conference on Pattern recognition, IEEE, 2010に記載されている。

【0038】

これら以外にも、変調ベースのアプローチが、Schweizerらによる米国特許出願公開第2012/0033045号（“Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor（飛行時間型センサにおいて複数の変調周波数を用いた多重路補償）”）に記載されている。

【0039】

図３Ａおよび図３Ｂに、従来のＴＯＦ型カメラが採用する照明方式を示す。具体的には、このＴＯＦ型カメラ５は、照明光１１により、視野／シーン３０の全体を照明する。カメラの視野からの入射光信号１０が、集光されてＴＯＦ型カメラ５の撮像センサ９０に結像する。

【0040】

このように視野全体を一斉に照明する方式では、撮像センサ９０のピクセル１００全体で、照明光パワーを共有することになる。すると、ピクセルごとの信号出力が低くなるので、バックグラウンド光が高い条件（例えば、日光など）下では、ピクセル毎のバックグラウンド光パワーに対する変調光パワーの比（変調光パワー対バックグラウンド光パワーの比）が低下する。

【0041】

典型的なＴＯＦ型３Ｄカメラのタイミングには、ピクセルフィールドの積算および読出しのタイミングが含まれる。大抵のシステムでは、必要な全てのサンプルを１回の積算で記憶できないので、奥行き（距離）を導き出すのに十分なサンプルを生成するには、露光を複数回実行する必要がある。

【0042】

図４（Ａ）〜（Ｅ）に示す第１の実施形態では、照明光１２が水平方向のストライプ４１０に形成されて、カメラの視野を画定するシーン３０に投射される。図示の一連の時間間隔から分かるように、ストライプ４１０は、時間と共に下から上へと、カメラの視野にわたって順次的に走査される。照明ストライプに対応するピクセル領域は、水平方向の少なくとも１つの行であるが、好ましくは複数の行である。いずれにせよ、好ましくは、照明されるピクセル領域または視野のうちの照明される一部分は、カメラ５のピクセル全体／視野全体のうちのごく一部であり、例えば１０％または１０％未満である。

【0043】

図４（Ａ）には、最初の取得の様子が示されている。同図に示すように、照明光１２がシーンに投射される。カメラ５の撮像センサへの結像は、前記視野の下端のピクセルの少なくとも１行に対応する。理想的には、ストライプ照明が、まさにピクセル領域を照明する。

【0044】

第１のピクセル領域でデータを取得した後、図４（Ｂ）に示すように、照明光のストライプ４１０が第２の位置に移動して第２のピクセル領域を照明する。そして、第２のピクセル領域でデータが取得される。

【0045】

上記の手順が繰り返されて、完全な画像を取得するまで、照明光１２のストライプ４１０が、カメラ５の視野にわたってピクセル領域からピクセル領域へと移動する。

【0046】

最終的に、画像プロセッサ７０により、全てのピクセル領域の画像が組み合わされて完全な３Ｄ画像が生成される。

【0047】

好ましくは、ピクセル領域同士が互いに隣接しており、これらピクセル領域が一体となってカメラ５の視野をカバーする。

【0048】

システム５のロバスト性（頑健性）を向上させるために、取得される異なるピクセル領域が、互いに重なり合ってもよい。画像プロセッサ７０は、異なるピクセル領域の測定で取得されるピクセル値（画素値）の振幅値およびオフセット値を用いて、奥行き（距離）の各測定値を選択または重み付ける。

【0049】

また、異なる取得におけるストライプ形状の照明投光４１０が、互いに重なり合ってもよい。

【0050】

好ましくは、任意のピクセル領域について取得を行う間、照明が移動しない。ただし、高速取得モードでは、データを取得しながら、前記ストライプが連続的に移動してもよい。

【0051】

ピクセル領域は、上から下へと走査されてもよく、垂直方向のストライプ照明の場合には、左から右へとまたは右から左へと走査されてもよい。

【0052】

図５は、撮像センサ９０のピクセル１００のピクセルチャネル積算部位で実行されるサンプリングの様子を示すタイミング図である。詳細には、各ピクセル９０は、少なくとも２つの積算部位を有する。まず第１のピクセル領域が照明された後に、第２のピクセル領域が照明され、これは撮像センサ１００内の全てのピクセル領域が照明されるまで続く。

【0053】

１つのＴＯＦ型ピクセルにつき、４回ないしそれ以上の取得を実行する場合が多い。２つの記憶部位を有するＴＯＦ型ピクセルが最も普及しているが、その場合、奥行き（距離）を算出するにあたって一般的に露光を４回行う。一例として、１つのピクセル領域の奥行き測定（測距）に必要なサンプルを取得してから、次のピクセル領域に照明を投射する。

【0054】

そのような例では、積算（照明）が、常にピクセルの読出しの後に行われる。ただし、原則的には、ピクセル領域ｉの読出しを、ピクセル領域ｉ＋１（ｉ＝１…ｎ−１）（ｎはピクセル領域の総数を指す。）での積算と並行して行うことも可能である。

【0055】

図６に、照明モジュール２０の一実施形態を示す。この照明モジュール２０は、照明光１１を様々なピクセル領域に投射できるように、マイクロミラーデバイスを用いて照明光１１を走査する。

【0056】

好ましくは、光源６１０は、少なくとも１つのレーザダイオードまたは少なくとも１つのＬＥＤである。走査は、マイクロミラー６１４のような走査装置を用いて実行される。ただし、ポリゴンスキャナ、圧電式マイクロプリズム素子、さらには、ガルバノメータなどの使用も考えられる。集光光学系６１２により、光源６１０からの光が集められて前記ミラー６１４に投射される。

【0057】

照明モジュール２０（光源６１０の変調および走査装置６１４）は、制御部６０により、撮像センサ９０と同期される必要がある。また、同一のコントローラが検出と照明を制御することによって同期がなされてもよい。これら以外にも、走査装置の位置を感知し、その位置に基づいて検出制御を調整するアプローチが考えられる。

【0058】

回折光学装置６１６により、照明される範囲が、所望の形状（例えば、ストライプ形状など）に形成される。

【0059】

また、マイクロミラーの速度を外部信号で制御することにより、走査系全体を「スレーブ」モードのように動作させることも考えられる。この外部信号には、特定の用途固有の信号に同期した信号を用いることができる。例えば、コンベア用途の場合、そのコンベアの速度がシステム全体によって監視可能であることを前提として、前記外部信号を、そのコンベアの速度から導き出してもよい。これにより、そのコンベア上を移動する物体を３Ｄで測定しなければならない場合にも、特定のピクセル領域が照明されている間、走査装置により、その照明されている領域を物体の速度と同期して移動させることができるので、動きに起因するアーチファクトが生じない。

【0060】

図７に、物体の速度を補償するための、その物体の速度に基づいて外部から制御するマイクロミラーの経時的な変位の一例を示す。特定のピクセル領域を照明する間の低速の動きは、物体の速度を補償するためのものである。高速の動きは、照明される領域を次のピクセル領域に進めるためのものである。図７は、マイクロミラーの動きの制御が全体的に融通の利き易い制御であることを表している。

【0061】

照明ラインの変位の下限および上限は、制御することができる。これにより、物体のうちの撮像対象領域に合わせて、照明される範囲を動的に調節することが可能になる。従来の飛行時間型カメラシステムでは、センサの読出し時にしか狭い領域を規定することができず、照明される領域のサイズは最大サイズのままである。対照的に、上述した走査アプローチによれば、光の変位を絞る（小さい範囲に限定する）ことにより、対象の範囲のみに最適な照明を提供することができる。このように、撮像対象範囲の領域を絞ることができるので、その対象の領域外の範囲も照明して光が無駄になることがない。

【0062】

一実施形態において、撮像センサの光軸、および走査用ミラーによって規定される走査中心軸と、照明モジュールの光学列とは、互いに同一である。しかし、この構成には、放射される光も結像レンズを通らなければいけないことに由来する短所がある。具体的には、散乱光や設計制約が原因となり、技術的に困難なアプローチとなる。そのため、好ましくは、照明ユニット２０の照明開口（または照明絞り）が、光学結像レンズ４０の軸心の出来るだけ近傍に配置される。

【0063】

図８（Ａ）〜（Ｃ）に示すように、水平方向のストライプ照明の場合、結像レンズ系４０の光軸９１４、走査装置６１４（例えば、ＭＥＭＳマイクロミラー）の回転中心点および投光の中心線は、同じ水平平面上に位置するのが望ましい。

【0064】

この構成は、投光照明と前記光軸とが水平方向に互いに離れるものの、目標までの距離にかかわらず、各ピクセル領域が常に同じ投光照明位置に対応するので有利である。

【0065】

同様に、垂直方向のストライプ照明の場合には、照明とレンズ系とを垂直方向に互いに揃えるのが好ましい。

【0066】

投光ストライプとそれに対応する撮像ピクセル領域とがずれている場合には、信号の測定値を確認することにより、そのずれを検出することができる。完全なミスアライメント（不一致）の場合、理想的には、測定される信号がゼロになる傾向がある。しかし、実際には、雑音のレベルで信号の測定可能な下限が決まる。

【0067】

取得中の信号値を確認して、ピクセル領域を、任意の投光ストライプに合うように再設定する構成も考えられる。校正時に、信号値を用いて、ピクセル領域とこれに対応する投光方向とを設定してもよい。

【0068】

なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
飛行時間型カメラであって、
シーンの視野からの受光を復調する撮像センサと、
前記シーンの視野の一部分を変調光で照明する照明モジュールと
を備える、飛行時間型カメラ。
〔態様２〕
態様１に記載の飛行時間型カメラにおいて、前記視野にわたって、照明される一部分が走査される、飛行時間型カメラ。
〔態様３〕
態様１に記載の飛行時間型カメラにおいて、前記撮像センサが、前記視野の照明される前記一部分に対応するピクセルを読み出す、飛行時間型カメラ。
〔態様４〕
態様１に記載の飛行時間型カメラにおいて、照明される前記一部分がストライプ形状である、飛行時間型カメラ。
〔態様５〕
態様１に記載の飛行時間型カメラにおいて、照明される前記一部分が水平方向のストライプである、飛行時間型カメラ。
〔態様６〕
態様１に記載の飛行時間型カメラにおいて、照明される前記一部分が、前記視野全体にわたって逐次的に走査される水平方向のストライプである、飛行時間型カメラ。
〔態様７〕
態様１に記載の飛行時間型カメラにおいて、前記照明モジュールが、光源および当該光源からの光を前記視野にわたって走査する走査装置を含む、飛行時間型カメラ。
〔態様８〕
態様７に記載の飛行時間型カメラにおいて、前記走査装置の走査が、前記撮像センサによる取得と同期する、飛行時間型カメラ。
〔態様９〕
態様１に記載の飛行時間型カメラにおいて、前記視野の照明される前記一部分が、前記視野全体のうちの１０％未満である、飛行時間型カメラ。
〔態様１０〕
態様１に記載の飛行時間型カメラにおいて、前記照明モジュールによる走査が、外部信号源によって制御される、飛行時間型カメラ。
〔態様１１〕
飛行時間型カメラの動作方法であって、
シーンの視野からの受光を復調する過程と、
前記シーンの視野の一部分を変調光で照明する過程と、
を含む、飛行時間型カメラの動作方法。
〔態様１２〕
態様１１に記載の飛行時間型カメラの動作方法において、さらに、
前記視野の異なる部分を順次的に照明する過程、
を含む、飛行時間型カメラの動作方法。
〔態様１３〕
態様１１に記載の飛行時間型カメラの動作方法において、さらに、
撮像センサのうちの、前記視野の照明される前記一部分に対応するピクセルを読み出す過程、
を含む、飛行時間型カメラの動作方法。
〔態様１４〕
態様１１に記載の飛行時間型カメラの動作方法において、照明される前記一部分がストライプ形状である、飛行時間型カメラの動作方法。
〔態様１５〕
態様１１に記載の飛行時間型カメラの動作方法において、照明される前記一部分が水平方向のストライプである、飛行時間型カメラの動作方法。
〔態様１６〕
態様１１に記載の飛行時間型カメラの動作方法において、照明される前記一部分が、前記視野全体にわたって逐次的に走査される水平方向のストライプである、飛行時間型カメラの動作方法。
〔態様１７〕
態様１１に記載の飛行時間型カメラの動作方法において、前記視野の一部分を照明する前記過程が、光源で光を生成し、当該光を走査装置で前記視野にわたって走査することを含む、飛行時間型カメラの動作方法。
〔態様１８〕
態様１７に記載の飛行時間型カメラの動作方法において、さらに、
前記走査装置の走査を、撮像センサによる前記シーンからの光の取得と同期させる過程、
を含む、飛行時間型カメラの動作方法。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】