知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6882461
(24)【登録日】2021年5月10日
(45)【発行日】2021年6月2日
(54)【発明の名称】飛行時間深度測定のためのリアルタイム較正
(51)【国際特許分類】
G01S 17/894 20200101AFI20210524BHJP
G01S 7/497 20060101ALI20210524BHJP
【ＦＩ】
G01S17/894
G01S7/497
【請求項の数】20
【全頁数】24
(21)【出願番号】特願2019-517427(P2019-517427)
(86)(22)【出願日】2017年10月2日
(65)【公表番号】特表2019-529931(P2019-529931A)
(43)【公表日】2019年10月17日
(86)【国際出願番号】US2017054719
(87)【国際公開番号】WO2018064658
(87)【国際公開日】20180405
【審査請求日】2020年8月11日
(31)【優先権主張番号】62/402,770
(32)【優先日】2016年9月30日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】コーエン， デイビッド
(72)【発明者】
【氏名】ペルマン， アッサーフ
(72)【発明者】
【氏名】マゾール， ジャイ
(72)【発明者】
【氏名】タドモール， エレツ
(72)【発明者】
【氏名】ヤハブ， ジオラ
【審査官】
▲高▼場 正光
(56)【参考文献】
【文献】
米国特許第０９３３０４６４（ＵＳ，Ｂ１）
【文献】
米国特許出願公開第２０１６／０１２４０８９（ＵＳ，Ａ１）
【文献】
国際公開第２０１５／１２８９１５（ＷＯ，Ａ１）
【文献】
米国特許出願公開第２０１５／０１０９４１４（ＵＳ，Ａ１）
【文献】
特開２０１０−０６１３０４（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０１Ｓ ７／４８ − Ｇ０１Ｓ ７／５１
Ｇ０１Ｓ １７／００ − Ｇ０１Ｓ １７／９５
Ｇ０１Ｂ １１／００ − Ｇ０１Ｂ １１／３０
Ｇ０１Ｃ ３／００ − Ｇ０１Ｃ ３／３２
Ｇ０６Ｔ １／００ − Ｇ０６Ｔ １９／２０
(57)【特許請求の範囲】
【請求項1】
飛行時間（ＴＯＦ）撮像システムであって、
標的物体までの距離を決定するために、前記標的物体を照明するための光パルスを伝送するための照明器と、
前記光パルスから光学信号を受信するための感光性ピクセルアレイを有する画像センサであって、前記感光性ピクセルアレイは、アクティブ領域と、フィードバック領域とを含む、画像センサと、
前記照明器からの前記光パルスの一部を前記感光性ピクセルアレイの前記フィードバック領域に指向させるための光学フィードバックデバイスであって、前記光学フィードバックデバイスは、事前設定される基準深度を含む、光学フィードバックデバイスと
を備え、前記撮像システムは、
標的物体を照明するための光パルスを伝送することと、
前記感光性ピクセルアレイの前記フィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、前記光学フィードバックデバイスからの光を感知することと、
前記感光性ピクセルアレイの前記フィードバック領域内の前記感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正することと、
前記感光性ピクセルアレイの前記アクティブ領域において、前記標的物体から反射された光を感知することと、
前記感知された反射された光および前記較正されたＴＯＦ深度測定基準情報に基づいて、前記標的物体の距離を決定することと
を行うように構成される、飛行時間（ＴＯＦ）撮像システム。
標的物体までの距離を決定するために、前記標的物体を照明するための光パルスを伝送するための照明器と、
前記光パルスから光学信号を受信するための感光性ピクセルアレイを有する画像センサであって、前記感光性ピクセルアレイは、アクティブ領域と、フィードバック領域とを含む、画像センサと、
前記照明器からの前記光パルスの一部を前記感光性ピクセルアレイの前記フィードバック領域に指向させるための光学フィードバックデバイスであって、前記光学フィードバックデバイスは、事前設定される基準深度を含む、光学フィードバックデバイスと
を備え、前記撮像システムは、
標的物体を照明するための光パルスを伝送することと、
前記感光性ピクセルアレイの前記フィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、前記光学フィードバックデバイスからの光を感知することと、
前記感光性ピクセルアレイの前記フィードバック領域内の前記感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正することと、
前記感光性ピクセルアレイの前記アクティブ領域において、前記標的物体から反射された光を感知することと、
前記感知された反射された光および前記較正されたＴＯＦ深度測定基準情報に基づいて、前記標的物体の距離を決定することと
を行うように構成される、飛行時間（ＴＯＦ）撮像システム。
【請求項2】
前記フィードバック領域は、感光性ピクセルアレイの縁領域内にある、請求項１に記載のシステム。
【請求項3】
感光性ピクセルアレイは、前記アクティブ領域と前記フィードバック領域とを分離する隔離領域をさらに備える、請求項１に記載のシステム。
【請求項4】
前記感光性ピクセルアレイの前記フィードバック領域は、１〜１０×１０個のピクセルを備える、請求項１に記載のシステム。
【請求項5】
前記光学フィードバックデバイスは、反射器を備える、請求項１に記載のシステム。
【請求項6】
前記光学フィードバックデバイスは、光ファイバを備える、請求項１に記載のシステム。
【請求項7】
前記光ファイバは、照明器筐体内側からの光を前記感光性ピクセルアレイの角における前記フィードバック領域に結合させるように構成される、請求項６に記載のシステム。
【請求項8】
前記ＴＯＦ深度測定基準情報は、異なる時間遅延を伴う２つのシャッタを使用して、物体の距離を２つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、請求項１に記載のシステム。
【請求項9】
前記標的物体から反射された光を感知することは、異なる光からシャッタまでの遅延を伴う２つのシャッタを使用して、前記光を感知することを含み、前記光からシャッタまでの遅延の差異は、シャッタ窓の幅に等しい、請求項１に記載のシステム。
【請求項10】
前記較正は、フレーム周期の約１／３００の時間がかかる、請求項１に記載のシステム。
【請求項11】
複数の照明源と、対応する光学フィードバック領域とをさらに備える、請求項１に記載のシステム。
【請求項12】
前記撮像システムは、前記感光性ピクセルアレイの前記アクティブ領域において前記標的物体から反射された光を感知した後、飛行時間（ＴＯＦ）深度測定基準情報を較正するように構成される、請求項１に記載のシステム。
【請求項13】
事前設定されるフレームレートによって特徴付けられるデジタルカメラにおける方法であって、単一のフレーム周期において、
標的物体を照明するための光パルスを伝送することと、
感光性ピクセルアレイの第１の領域において、前記伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知することであって、前記光学フィードバックデバイスは、事前設定される基準深度を含み、前記光学フィードバックデバイスからの前記光は、距離の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる、ことと、
前記感光性ピクセルアレイの前記第１の領域内の前記感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正することと、
前記感光性ピクセルアレイの第２の領域において、前記伝送された光パルスからの前記標的物体から反射された光を感知することと、
前記感知された反射された光および前記較正されたＴＯＦ深度測定基準情報に基づいて、前記標的物体の距離を決定することと
を含む、方法。
標的物体を照明するための光パルスを伝送することと、
感光性ピクセルアレイの第１の領域において、前記伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知することであって、前記光学フィードバックデバイスは、事前設定される基準深度を含み、前記光学フィードバックデバイスからの前記光は、距離の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる、ことと、
前記感光性ピクセルアレイの前記第１の領域内の前記感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正することと、
前記感光性ピクセルアレイの第２の領域において、前記伝送された光パルスからの前記標的物体から反射された光を感知することと、
前記感知された反射された光および前記較正されたＴＯＦ深度測定基準情報に基づいて、前記標的物体の距離を決定することと
を含む、方法。
【請求項14】
前記光学フィードバックデバイスは、光ファイバを備える、請求項１３に記載の方法。
【請求項15】
前記光ファイバは、照明器筐体内側からの光を前記感光性ピクセルアレイの角における前記第１の領域に結合させるように構成される、請求項１４に記載の方法。
【請求項16】
前記ＴＯＦ深度測定基準情報は、異なる時間遅延を伴う２つのシャッタを使用して、物体の距離を２つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、請求項１３に記載の方法。
【請求項17】
前記標的物体から反射された光を感知することは、異なる光からシャッタまでの遅延を伴う２つのシャッタを使用して、光を感知することを含み、前記光からシャッタまでの遅延の差異は、シャッタ窓の幅に等しい、請求項１３に記載の方法。
【請求項18】
飛行時間（ＴＯＦ）カメラシステムを較正するための方法であって、
標的物体までの距離を決定するために、前記標的物体を照明するための光パルスを伝送することと、
感光性ピクセルアレイの第１の領域において、前記伝送された光パルスの一部を受光するフィードバック光学デバイスから提供される光を感知することであって、前記フィードバック光学デバイスは、事前設定される基準深度を含む、ことと、
前記感光性ピクセルアレイの第２の領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、前記伝送された光パルスからの前記標的物体から反射された光を感知することと、
前記フィードバック光学デバイスから提供される光に基づいて、飛行時間深度測定情報を較正することと、
前記標的物体から反射された光および前記較正された飛行時間深度測定情報に基づいて、前記標的物体の距離を決定することと
を含む、方法。
標的物体までの距離を決定するために、前記標的物体を照明するための光パルスを伝送することと、
感光性ピクセルアレイの第１の領域において、前記伝送された光パルスの一部を受光するフィードバック光学デバイスから提供される光を感知することであって、前記フィードバック光学デバイスは、事前設定される基準深度を含む、ことと、
前記感光性ピクセルアレイの第２の領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、前記伝送された光パルスからの前記標的物体から反射された光を感知することと、
前記フィードバック光学デバイスから提供される光に基づいて、飛行時間深度測定情報を較正することと、
前記標的物体から反射された光および前記較正された飛行時間深度測定情報に基づいて、前記標的物体の距離を決定することと
を含む、方法。
【請求項19】
前記標的物体から反射された光を感知することは、異なる光からシャッタまでの遅延を伴う２つのシャッタを使用して、光を感知することを含み、前記光からシャッタまでの遅延の差異は、シャッタ窓の幅に等しい、請求項１８に記載の方法。
【請求項20】
前記飛行時間深度測定情報は、異なる時間遅延を伴う２つのシャッタを使用して、物体の距離を２つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）温顔は、２０１６年９月３０日に出願された米国仮特許出願６２／４０２，７７０号に対する優先権を主張するものであり、該米国仮特許出願の内容は、その全体があらゆる目的のために参照により本明細書中に援用される。
【0002】
本発明の実施形態は、概して、飛行時間（ＴＯＦ）深度測定システムに関する。
【背景技術】
【0003】
飛行時間（ＴＯＦ）カメラは、画像の点毎のカメラと対象との間の光信号の飛行時間を測定する、光の速度に基づいて距離を分解する、測距撮像カメラシステムである。飛行時間カメラを用いて、場面全体が、レーザまたは光パルスそれぞれを用いて捕捉される。飛行時間カメラ製品は、半導体デバイスがそのような用途を支援するために高速になるにつれて人気を博しつつある。直接飛行時間撮像システムは、単一のレーザパルスがカメラから退出し、焦点面アレイの上に反射して戻るために要求される直接飛行時間を測定する。３次元画像が、完全な空間および時間データを捕捉し、単一のレーザパルスを用いて完全な３次元場面を記録する。これは、場面情報の迅速な取得およびリアルタイム処理を可能にし、幅広い範囲の用途につながる。これらの用途は、自動車用用途、ヒューマンマシンインターフェース、およびゲーム、測定ならびにマシンビジョン、産業および監視測定、ならびにロボット工学等を含む。
【0004】
最も単純なバージョンの飛行時間カメラは、複数の光パルスまたは単一の光パルスを使用する。照明が、短時間にわたってオンに切り替えられ、結果として生じる光パルスが、場面を照明し、視野内の物体によって反射される。カメラレンズが、反射された光を採集し、それをセンサまたは焦点面アレイの上に結像する。出射光と戻り光との間の時間遅延が、飛行時間であり、距離を決定するために、光の速度と併用され得る。一続きの時間窓を使用して光パルスを用いて物体または場面を照明し、センサにおいて受信される光学信号に畳み込みプロセスを適用することによって、より高性能のＴＯＦ深度測定が、実行され得る。
【発明の概要】
【課題を解決するための手段】
【0005】
従来の飛行時間深度測定システムは、プロセス、動作電圧、および熱的条件において変動を受けやすくあり得る。例えば、システムは、潜在的に、構成要素のそれぞれの熱的条件（Ｔ）または動作電圧（Ｖ）が修正された場合、修正される場合がある。加えて、ＴＯＦ測定はまた、カメラのフレームレートによって影響を及ぼされ得る。これらの変動は、構成要素のそれぞれのプロセス（Ｐ）に依存する場合がある。ＰＶＴ影響の性質を調査し、誤差を補償するためのモデルを調製することが可能であり得るが、本プロセスは、時間がかかり、必ずしも物理的範囲の完全網羅を提供し得ない。さらに、全範囲深度測定較正は、多くのフレームを使用し、動作オーバーヘッドを増加させ得るため、望ましくない。
【0006】
構成要素処理または動作条件における変動の影響を軽減させるために、本発明の実施形態は、光学フィードバックデバイスならびにセンサピクセルアレイ内の小型専用フィードバック感知領域を使用する、ＴＯＦ深度測定のランタイム較正のためのシステムおよび方法を提供する。少数のフィードバックピクセルは、高速の感知および信号処理を可能にし、例えば、光ファイバによって提供される強力なフィードバック照明を用いて、サンプリングパルスの数が、多いに低減され得る。照明および読出の多くのステップが、幅広い範囲の深度を較正するために短時間内に実行されることができる。結果として、深度較正は、カメラのフレームレートに影響を及ぼすことなく、各フレーム内のランタイムにおける幅広い範囲の深度測定にわたって実行されることができる。ピクセルアレイのフィードバック領域とアクティブ領域との間の隔離が、干渉を最小限にさせるために提供される。さらに、電力消費または専用フィードバックピクセル内のオーバーヘッドが、限定される。
【0007】
本発明のいくつかの実施形態では、飛行時間撮像システムは、標的物体までの距離または深度を決定するために、標的物体を照明するための光パルスを伝送するための、照明器を含む。撮像システムは、光パルスから光学信号を受信するための感光性ピクセルアレイを伴う画像センサを有する。ピクセルアレイは、アクティブ領域と、フィードバック領域とを含む。光学フィードバックデバイスは、照明器からの光の一部をピクセルアレイのフィードバック領域に指向させる。光学フィードバックデバイスは、較正のために、事前設定される基準深度を提供する。撮像システムは、標的物体を照明するための光パルスを伝送し、ピクセルアレイのフィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、光学フィードバックデバイスからの光を感知するように構成される。撮像システムは、ピクセルアレイのフィードバック領域内の感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正するように構成される。ＴＯＦ深度測定のために、撮像システムは、感光性ピクセルアレイのアクティブ領域において、標的物体から反射される光を感知し、感知された反射光および較正されたＴＯＦ測定基準情報に基づいて、標的物体の距離を決定するように構成される。
【0008】
上記のシステムのある実施形態では、ＴＯＦ測定基準情報は、物体の距離を、異なる時間遅延を伴う２つのシャッタを使用して、２つのサンプリングされる光信号の間の比率に相関させる、ルックアップテーブルを含む。
【0009】
本発明のいくつかの実施形態では、事前設定されるフレームレートによって特徴付けられるデジタルカメラでは、標的物体までの距離を決定するための方法が、単一のフレーム周期における距離較正に提供される。本方法は、標的物体を照明するための光パルスを伝送するステップと、感光性ピクセルアレイの第１の領域において、伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知するステップとを含む。フィードバック光学デバイスは、事前設定される基準深度を含む。光学フィードバックデバイスからの光は、ある範囲の距離を表す遅延時間を含む、一続きのシャッタ窓を使用して、サンプリングされる。本方法は、ピクセルアレイの第１の領域内の感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正するステップを含む。本方法はさらに、感光性ピクセルアレイの第２の領域において、伝送された光パルスからの標的物体から反射される光を感知するステップを含む。標的物体の距離が、感知された反射光および較正されたＴＯＦ測定基準情報に基づいて決定される。
【0010】
本発明のいくつかの実施形態では、標的物体までの距離を決定するための方法は、標的物体を照明するための光パルスを伝送するステップと、感光性ピクセルアレイの第１の領域において、伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知するステップとを含む。フィードバック光学デバイスは、事前設定される基準深度を含む。本方法は、ピクセルアレイの第１の領域内の感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正するステップを含む。本方法はさらに、感光性ピクセルアレイの第２の領域において、伝送された光パルスからの標的物体から反射される光を感知するステップを含む。標的物体の距離が、感知された反射光および較正されたＴＯＦ測定基準情報に基づいて決定される。
【0011】
以下の説明は、添付図面とともに、請求される発明の性質および利点のさらなる理解を提供するであろう。本発明は、例えば、以下を提供する。
（項目１）
飛行時間（ＴＯＦ）撮像システムであって、
標的物体までの距離を決定するために、標的物体を照明するための光パルスを伝送するための照明器と、
前記光パルスから光学信号を受信するための感光性ピクセルアレイを有する画像センサであって、前記ピクセルアレイは、アクティブ領域と、フィードバック領域とを含む、画像センサと、
前記照明器からの前記光の一部を前記ピクセルアレイのフィードバック領域に指向させるための光学フィードバックデバイスであって、前記光学フィードバックデバイスは、事前設定される基準深度を含む、光学フィードバックデバイスと
を備え、前記撮像システムは、
標的物体を照明するための光パルスを伝送することと、
前記ピクセルアレイのフィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、前記光学フィードバックデバイスからの光を感知することと、
前記ピクセルアレイのフィードバック領域内の前記感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正することと、
前記感光性ピクセルアレイのアクティブ領域において、前記標的物体から反射される光を感知することと、
前記感知された反射光および前記較正されたＴＯＦ測定基準情報に基づいて、前記標的物体の距離を決定することと
を行うように構成される、飛行時間（ＴＯＦ）撮像システム。
（項目２）
前記フィードバック領域は、感光性ピクセルアレイの縁領域内にある、項目１に記載のシステム。
（項目３）
感光性ピクセルアレイはさらに、前記アクティブ領域と前記フィードバック感知領域とを分離する隔離領域を備える、項目１に記載のシステム。
（項目４）
前記ピクセルアレイのフィードバック領域は、１〜１０×１０個のピクセルを備える、項目１に記載のシステム。
（項目５）
前記光学フィードバックデバイスは、反射器を備える、項目１に記載のシステム。
（項目６）
前記光学フィードバックデバイスは、光ファイバを備える、項目１に記載のシステム。
（項目７）
前記光ファイバは、照明器筐体内側からの光を前記ピクセルアレイの角における前記フィードバック領域に結合させるように構成される、項目６に記載のシステム。
（項目８）
前記ＴＯＦ測定基準情報は、異なる時間遅延を伴う２つのシャッタを使用して、物体の距離を２つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、項目１に記載のシステム。
（項目９）
前記標的物体から反射された光を感知することは、異なる時間遅延を伴う２つのシャッタを使用して、光を感知することを含む、項目１に記載のシステム。
（項目１０）
前記較正は、フレーム周期の約１／３００の時間がかかる、項目１に記載のシステム。
（項目１１）
複数の照明源と、対応する光学フィードバック領域とをさらに備える、項目１に記載のシステム。
（項目１２）
前記撮像システムは、前記感光性ピクセルアレイのアクティブ領域において前記標的物体から反射された光を感知した後、飛行時間（ＴＯＦ）深度測定基準情報を較正するように構成される、項目１に記載のシステム。
（項目１３）
事前設定されるフレームレートによって特徴付けられるデジタルカメラにおける方法であって、単一のフレーム周期において、
標的物体を照明するための光パルスを伝送することと、
感光性ピクセルアレイの第１の領域において、前記伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知することであって、フィードバック光学デバイスは、事前設定される基準深度を含み、前記光学フィードバックデバイスからの前記光は、ある範囲の距離を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる、ことと、
前記ピクセルアレイの第１の領域内の前記感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正することと、
前記感光性ピクセルアレイの第２の領域において、前記伝送された光パルスからの前記標的物体から反射される光を感知することと、
前記感知された反射光および前記較正されたＴＯＦ測定基準情報に基づいて、前記標的物体の距離を決定することと
を含む、方法。
（項目１４）
前記光学フィードバックデバイスは、光ファイバを備える、項目１３に記載の方法。
（項目１５）
前記光ファイバは、照明器筐体内側からの光を前記ピクセルアレイの角における前記第１の領域に結合させるように構成される、項目１３に記載の方法。
（項目１６）
前記ＴＯＦ測定基準情報は、異なる時間遅延を伴う２つのシャッタを使用して、物体の距離を２つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、項目１３に記載の方法。
（項目１７）
前記標的物体から反射された光を感知することは、異なる時間遅延を伴う２つのシャッタを使用して、光を感知することを含む、項目１３に記載の方法。
（項目１８）
飛行時間（ＴＯＦ）カメラシステムを較正するための方法であって、
前記標的物体までの距離を決定するために、標的物体を照明するための光パルスを伝送することと、
感光性ピクセルアレイの第１の領域において、前記伝送された光パルスの一部を受光するフィードバック光学デバイスから提供される光を感知することであって、前記フィードバック光学デバイスは、事前設定される基準深度を含む、ことと、
前記感光性ピクセルアレイの第２の領域において、前記伝送された光パルスから、前記標的物体から反射される光を感知することと、
前記フィードバック光学デバイスから提供される光に基づいて、飛行時間深度測定情報を較正することと、
前記標的物体から反射された光および前記較正された飛行時間深度測定情報に基づいて、前記標的物体の距離を決定することと
を含む、方法。
（項目１９）
前記光学フィードバックデバイスからの光を感知することは、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用することを含む、項目１８に記載の方法。
（項目２０）
前記標的物体から反射された光を感知することは、異なる時間遅延を伴う２つのシャッタを使用して、光を感知することを含む、項目１８に記載の方法。
（項目２１）
前記ＴＯＦ測定基準情報は、異なる時間遅延を伴う２つのシャッタを使用して、物体の距離を２つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、項目１８に記載の方法。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
本発明の実施形態は、光学フィードバックおよび高速画像処理を使用して高い正確度を提供するための較正を伴うＴＯＦ深度測定を可能にする、システムならびに方法を提供する。ある範囲の深度測定が、センサ性能および電力消費に及ぼす最小限の影響を伴って、フレーム毎に較正され得る。
【0014】
上記に列挙された一連の図面を参照して、下記の説明が、提示される。これらの略図は、実施例にすぎず、本明細書の請求項の範囲を不当に限定すべきではない。図示および説明される種々の側面に関連して、当業者は、他の変形例、修正、および代替物を認識するであろう。
【0015】
図１は、本発明の実施形態による、深度測定のための飛行時間（ＴＯＦ）撮像システムを図示する、略図である。図１に示されるように、ＴＯＦデジタルカメラとも称される、飛行時間（ＴＯＦ）撮像システム１００は、標的物体までの距離を決定するために、標的物体１２０を照明するための光パルス１１２を伝送するための照明器１１０を含む。照明器１１０は、標的物体に向かって光パルス１１２を放射するためのパルス照明ユニットおよび光学系を含み得る。本実施例では、照明器１１０は、例えば、レーザ光源を使用して光を標的物体に伝送するように構成される。しかしながら、例えば、赤外線光、無線周波数ＥＭ波等の他の電磁放射源もまた、使用され得ることを理解されたい。撮像システム１００はまた、センサレンズの視野（ＦＯＶ）１３２内の光パルスからの光学信号を受信するための感光性ピクセルアレイを含むゲートセンサユニットを有する、画像センサ１３０を含む。ピクセルアレイは、図２Ａおよび２Ｂに関連して下記に説明されるように、アクティブ領域と、フィードバック領域とを含む。撮像システム１００はまた、照明器１１０からの光の一部をピクセルアレイのフィードバック領域に指向させるための光学フィードバックデバイス１４０を有する。光学フィードバックデバイス１４０は、事前設定される基準深度を提供する。事前設定される基準深度は、固定ＴＯＦ長であり得、これは、感知された光対深度測定値を相関させるルックアップテーブル（ＬＵＴ）を作成するために使用され得る。いくつかの実施形態では、光学フィードバックデバイスは、照明ユニットからの直接光をセンサユニット内のレンズの視野（ＦＯＶ）の中に収め得る。撮像システム１００はさらに、光同期信号およびシャッタ同期信号を照明器ならびに画像センサに提供するためのＴＯＦタイミング発生器１５０を含む。
【0016】
図１では、ＴＯＦ撮像システム１００は、標的物体１２０を照明するための光パルスを伝送するように構成される。撮像システム１００はまた、ピクセルアレイのフィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、光学フィードバックデバイス１４０からの光を感知するように構成される。深度の範囲は、撮像システムによって決定され得るある範囲の距離全体を含み得る。撮像システム１００は、ピクセルアレイのフィードバック領域内の感知された光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正する。撮像システム１００はさらに、感光性ピクセルアレイのアクティブ領域において、標的物体から反射される光を感知し、感知された反射光および較正されたＴＯＦ測定基準情報に基づいて、標的物体の距離を決定するように構成される。
【0017】
図２Ａは、本発明の実施形態による、撮像システム１００内で使用され得るピクセルアレイを図示する、簡略図である。示されるように、ピクセルアレイ２００は、複数のピクセル２１２を含み、ピクセルアレイ内の各ピクセルは、入射光を電流に変換する、感光性要素（例えば、フォトダイオード）を含む。高速電子スイッチが、光感知動作のタイミングを制御するためのシャッタとして使用される。飛行時間（ＴＯＦ）カメラは、光が源から物体およびカメラのセンサまで進行する間の時間を決定することによって、深度画像を取得する。これは、一続きの時間窓を使用して光パルスを用いて物体または場面を照明し、センサにおいて受信される光学信号に畳み込みプロセスを適用することによって、行われることができる。さらなる詳細が、下記に説明される。図２Ａに示されるように、ピクセルアレイ２００は、アクティブ領域２１０と、フィードバック領域２２０とを含む。アクティブ領域は、標的物体の距離を決定するために使用され得、フィードバック領域は、深度較正のために使用され得る。ピクセルアレイはまた、干渉を低減させるために、アクティブ領域２１０からフィードバック領域２２０を分離する、隔離領域２２１を含み得る。隔離領域の寸法は、フィードバックループからの光が、対物レンズによって収集される撮像信号を汚染することを防止するように選択され得る。いくつかの実施形態では、例えば、隔離領域は、約１００μｍ〜２００μｍの幅を有し得る。いくつかの実施形態では、フィードバック領域２２０は、視野の外側にある、例えば、ピクセルアレイの角の中またはあまり使用されていない領域の中のピクセルアレイの一部内に位置し得る。したがって、センサの専用フィードバック領域は、あまりオーバーヘッドを被らない。小型のフィードバック領域は、限定される数のピクセル、例えば、単一のピクセルから１０×１０個のピクセルのアレイを有し得、これは、高速の感知および信号処理を可能にする。いくつかの実施形態では、より良好な信号対雑音比（ＳＮＲ）を提供するために、より大きなフィードバック領域が、使用され得る。ピクセルを小型のアレイに平均化することは、正確度に寄与し得る。いくつかの実施形態では、フィードバック領域およびアクティブ領域の両方が、較正段階の間に、別個に暴露される。その２つの間の差が、ランタイムにおける補償のために使用され得る。
【0018】
図２Ｂは、本発明の別の実施形態による、撮像システム１００内で使用され得る、ピクセルアレイを図示する、簡略図である。図２Ｂに示されるように、ピクセルアレイ２５０は、図２Ａのピクセルアレイ２００に類似するが、１つを上回るフィードバック領域を有し得る。ピクセルアレイ２５０は、アクティブ領域２１０と、２つ以上のフィードバック領域２２０とを含む。ピクセルアレイはまた、アクティブ領域から各フィードバック領域を分離する、隔離領域２２１を含み得る。隔離領域は、フィードバック領域とアクティブ領域との間の干渉を低減させ得る。ピクセルアレイ２５０は、２つの照明源を有するＴＯＦ撮像システム内で使用され得る。いくつかの実施形態では、撮像システムは、２つを上回る照明源と、対応するフィードバックセンサ領域とを含み得る。
【0019】
図３は、図１の飛行時間（ＴＯＦ）撮像システム１００の一部を図示する、単純化された概略図である。図３は、光学フィードバックデバイスが、光学フィードバックデバイス１４０からアレイ内の正常ピクセルへの光漏出を防止するように構成されることを図示する。ＦＯＶの縁内に挿入される光は、ピクセルアレイ内の特定のピクセルのみに衝打することができ、異なる角度を有する光は、センサの光学系に進入することができない。
【0020】
いくつかの実施形態では、光学フィードバックデバイスは、照明ユニットからの直接光をセンサユニット内のレンズの視野（ＦＯＶ）の中に収めるように構成され得る。図４Ａおよび４Ｂは、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間（ＴＯＦ）撮像システム４００を図示する、簡略図である。図４Ａは、撮像システムの上面図であり、図４Ｂは、その側面断面図である。撮像システム４００は、照明ユニット４１０と、プリント回路基板（ＰＣＢ）４０１上に配置されるセンサユニット４３０とを含む。図４Ａおよび４Ｂに示されるように、照明ユニット４１０は、照明筐体４１８の内側に、ダイオードレーザ源４１２と、コリメートレンズ４１４と、拡散器４１６とを含む。センサユニット４３０は、画像センサ４３２と、レンズ４３４と、画像センサ上に接着剤４３８を用いて搭載される、鏡筒４３６とを含む。撮像システム４００はまた、フィードバック経路を提供するための光ファイバ４２０を有する。本実施形態では、光ファイバ４２０が、照明筐体の内部（例えば、内側の寄生反射）からある量の光を収集し、それを画像センサ４３２のピクセルアレイ４４０の角４４２に、しかし鏡筒４３６の外側に指向させる。いくつかの実施形態では、不透明な接着剤４３８が、光を鏡筒に進入することから遮断する。本実施例では、ピクセルアレイの角領域４４２が、画像センサのフィードバック領域としての役割を果たす。
【0021】
図５は、本発明の実施形態による、飛行時間（ＴＯＦ）深度測定のための方法を図示する、タイミング図である。図５では、水平軸は、時間であり、垂直軸は、光信号の強度または大きさである。波形１は、標的から反射され得る、またはフィードバック光学デバイスによって提供され得る、センサに到着する光パルスを表す。波形２は、シャッタ窓を表す。光パルスが、幅Ｗｌｉｇｈｔを有し、シャッタ窓が、Ｗｓｈｕｔｔｅｒの幅を有することが理解され得る。さらに、光の前縁とシャッタとの間に、時間遅延ＤＬ−＞ＳＨが、存在する。センサによって感知された光の量は、光に対するシャッタの相対的遅延とともに変動することが理解され得る。
【0022】
図６は、本発明のいくつかの実施形態による、感知される光信号対光からシャッタまでの遅延時間の大きさを図示する、略図である。図６では、水平軸は、光からシャッタまでの遅延ＤＬ−＞ＳＨであり、垂直軸は、センサによって感知された光の量である。略図は、いくつかの領域６０１〜６０５に分割される。領域６０１では、シャッタ窓は、光パルスからはるか前方（左方）にあり、シャッタは、光が到着する前にすでに閉鎖されている。言い換えると、光からシャッタの遅延は、負である。したがって、シャッタと光との間に、重複は、存在ない。遅延は、水平軸の右側に移動し、増加する。点６１１において、シャッタが、光と重複し始める。遅延が領域６０２を通してさらに増加するにつれて、シャッタと光との間の重複が、増加し続け、さらなる光が、感知され、領域６０２内に上昇曲線をもたらす。点６１２において、光の全幅が、シャッタ窓と重複し始める。領域６０３では、シャッタは、光パルスの持続期間全体を通して完全に開放しており、領域６０３の幅は、シャッタ開口の幅部Ｗｓｈｕｔｔｅｒ−光パルスの幅Ｗｌｉｇｈｔによって決定される。本領域内で受光される光の大きさは、「シャッタＯＮ信号」とマーキングされている。点６１３において、シャッタ窓の立ち上がりエッジが、光パルスの立ち上がりエッジと整合され、点６１７によってマーキングされるように、遅延ＤＬ−＞ＳＨは、ゼロである。領域６０４では、遅延ＤＬ−＞ＳＨが、増加し続け、シャッタ窓と光との間の重複が、減少する。結果として、感知される光の大きさは、減少曲線によって示されるように、本領域内で減少する。点６１５において、遅延は、光の幅に等しく、シャッタは、光パルスが終了するにつれて開放し、結果として、光は、感知されない。領域６０５では、シャッタは、光パルスがすでに通過した後、開放する。領域６０５では、光は、感知されず、本領域内で感知される光の量は、「シャッタオフ信号」とマーキングされている。領域６０２および６０４では、センサによって収集される光の量が、光からシャッタまでの遅延ＤＬ−＞ＳＨに応じて変動することに留意されたい。これらの領域は、下記に説明されるように、ＴＯＦ深度測定較正において使用される。
【0023】
図７Ａは、本発明の実施形態による、２つのシャッタを用いた２つの信号の感知される光信号対光からシャッタまでの遅延時間を図示する、略図である。飛行時間（ＴＯＦ）カメラは、光が源から物体に進行し、カメラに反射して戻るのに必要とする時間を決定することによって、深度画像を取得する。これは、光パルスを用いて物体または場面を照明し、種々の遅延時間を伴う一続きの窓の畳み込みをセンサによって受信される光学信号に適用することによって行われ得る。いくつかの実施形態では、複数の群の較正光パルスが、深度の範囲を表す遅延時間を含む、一続きのシャッタ窓を使用して伝送される。読出動作が、光パルスの各群に続く。各読出において、光学フィードバックデバイスからの光が、センサのピクセルアレイのフィードバック領域内で感知される。読出データが、次いで、ＴＯＦ深度データを決定するために、畳み込みプロセスを使用して分析される。上記に説明されるように、図６の領域６０２および６０４では、センサにおいて収集される光の量は、光からシャッタまでの遅延ＤＬ−＞ＳＨに応じて変動する。図６のものに類似する、感知された光データが、収集され得る。これらの領域が、ＴＯＦ深度測定較正において使用される。図７Ａに示されるように、２つの較正シーケンスが、標的物体の未知の反射率の影響を低減させるために実行され得、図中、２つのシーケンスが、Ｓ１およびＳ２と示されている。ある実施形態では、２つのシーケンスに関する光からシャッタまでの遅延の差異ＤＬ−＞ＳＨは、シャッタ窓の幅Ｗｓｈｕｔｔｅｒに等しい。本条件下において、シーケンスＳ１の領域６０４およびシーケンスＳ２の領域６０２は、図７Ａのプロット内で整合され、スライスｔ−１、ｔ−２、．．．ｔ−ｋを形成し得る。各スライスでは、Ｓ１およびＳ２内で収集された光の量は、それぞれ、反射された光パルスの２つの部分を表し、Ｓ２／Ｓ１の比率は、標的物体までの対応する深度または距離に関連する。図７Ａの点ＡとＢとの間の領域は、本ＴＯＦ撮像機によって決定され得る深度範囲を表す。受光される光のデータは、標的の正面のＡとＢとの間の遅延を伴う複数の点において測定することによって収集され得る。畳み込みプロセスを使用して、標的までの深度または距離に対する比率Ｓ２／Ｓ１と関連するルックアップテーブル（ＬＵＴ）が、構成され得る。最初のルックアップテーブルが、工場較正プロセスにおいて較正され得る。後続のＴＯＦ深度測定では、２つの測定が、図７Ａの時間の同一のスライスからの遅延を用いて行われる。感知される光の比率Ｓ２／Ｓ１が、感知されたデータに基づいて決定され、対応する深度が、ルックアップテーブルから決定され得る。
【0024】
図７Ｂは、本発明の実施形態による、２つのシャッタを用いた２つの信号のシミュレーションされた信号対光からシャッタまでの遅延時間を図示する、略図である。カメラから１００ｃｍにおける平坦な標的を用いた静的試験上で、２つのシャッタを用いて、シミュレーションが、実行され、光からシャッタまでの遅延の範囲を走査した。図７Ａと同様に、２つのシャッタＳ１およびＳ２に関するシャッタ信号（すなわち、センサにおいて収集される光電子の数）が、プロットされている。本図では、深度は、負であり得る。図７Ｂの水平軸では、遅延が、以下の等式によって深度に変換される。＜深度＞＝＜光の速度＞／２＊（＜電子的遅延＞−＜シミュレーション遅延ベクトル＞）
【0025】
いくつかの実施形態では、光パルスの幅は、５〜１０ナノ秒であり、シャッタ窓幅は、５〜１５ナノ秒である。検査された遅延の範囲は、５〜２０ナノ秒である。いくつかの実施形態では、光パルス幅は、３ナノ秒〜２０秒であり得る。シャッタの幅は、同一の範囲内であり得る。
【0026】
図７Ｃは、本発明の実施形態による、２つのシャッタを用いた２つの信号のシミュレーションされた信号対深度を図示する、略図である。図７Ｃは、異なる距離における壁に対するレール上で測定されたものとしての（１／距離２の減衰を伴う）データを示す。Ｓ２／Ｓ１の比率と深度との間に相関が存在することが、理解され得る。
【0027】
図５、６、および７Ａ〜７Ｃにおいて説明される方法を使用して得られるもの等の試験データから、ルックアップテーブル（ＬＵＴ）が、工場較正プロセス内で構成される。ＴＯＦ深度測定では、Ｓ２／Ｓ１の比率が、感知されたデータに基づいて決定され、対応する深度が、ルックアップテーブルから決定され得る。
【0028】
上記に説明されるように、飛行時間深度測定システムは、プロセスおよび温度、電圧、ならびにフレームレート等の動作条件において変動を受けやすくあり得る。変動の影響を軽減させるために、本発明の実施形態は、上記に説明されるような光学フィードバックデバイスを使用する、ＴＯＦ深度測定のランタイム較正のためのシステムおよび方法を提供する。少数のフィードバックピクセルは、高速の感知および信号処理を可能にし、例えば、光ファイバによって提供される強力なフィードバック照明を用いて、サンプリングパルスの数が、多いに低減され得る。照明および読出のプロセスが、短時間内に実行されることができる。結果として、深度較正は、カメラのフレームレートに影響を及ぼすことなく、ランタイム時に実行されることができる。較正は、各フレーム内で実行されることができる。さらに、電力消費または専用フィードバックピクセル内のオーバーヘッドは、小さい。ピクセルアレイのフィードバック領域とアクティブ領域との間の隔離が、干渉を最小限にするために提供される。
【0029】
図８は、本発明の実施形態による、飛行時間深度測定のフレーム間の深度プロファイル較正のための方法を図示する、タイミング図である。本方法は、安定化周期８１０と、較正周期８２０と、測定周期８３０とを含む。安定化周期８１０では、熱的な安定化照明パルスが、放射され、センサの熱的な安定化のためのダミー読出が、後に続く。較正周期８２０では、飛行時間ルックアップテーブル（ＬＵＴ）が、較正される。ここで、複数の群の較正照明パルスＰ−１、Ｐ−２、．．．Ｐ−Ｎが、深度の範囲を表す遅延時間を含む、一続きのシャッタ窓を使用して放射される。読出動作Ｒ−１、Ｒ−２、．．．Ｒ−Ｎが、それぞれ、光パルスの各群の後に続く。各読出において、光学フィードバックデバイスからの光が、センサのピクセルアレイのフィードバック領域内で感知される。読出データが、次いで、図５、６、および７Ａ−７Ｃに関連して上記に説明されるように、ＴＯＦ深度データを決定するために、畳み込みプロセスを使用して分析される。深度データが、次いで、ルックアップテーブルを較正するために使用される。
【0030】
測定周期８３０は、２つのステップ８３１および８３２を有する。第１のステップ８３１では、第１のシャッタ遅延Ｄ１を伴う光パルスＳ１の第１の群が、標的を照明するために伝送される。少量の光のみが、シャッタ窓内のセンサによって収集され得るため、信号対雑音比を増加させるために、多くの場合、多数の、例えば、数千のパルスが、送出され、採集される。「Ｓ１読出」周期の間、標的から反射される光が、センサ内のピクセルのアクティブ領域内で感知される。第２のステップ８３２では、第２のシャッタ遅延Ｄ２を伴う光パルスＳ２の第２の群が、標的を照明するために伝送される。Ｓ２読出の間、標的から反射される光が、センサ内のピクセルのアクティブ領域内で感知される。次に、感知されるデータ読出値の比率Ｓ２／Ｓ１が、較正されたルックアップテーブルを使用して標的物体の距離を決定するために使用される。いくつかの実施形態では、Ｓ１およびＳ２は、工場較正プロセスまたは適用分野において選定される、事前設定された遅延を有する。
【0031】
図９は、本発明の実施形態による、深度プロファイル較正が飛行時間深度測定のフレーム間に適合し得ることを例証する、タイミング図である。図９は、図８に類似し、さらに、各動作が飛行時間深度測定のフレーム内で要する時間の長さの実施例を含む。本実施形態では、熱的な安定化パルスは、０．１５ミリ秒を要し、熱的な安定化のためのダミー読出は、０．１ミリ秒を要する。したがって、安定化周期の長さは、約０．２５ミリ秒である。ルックアップテーブル（ＬＵＴ）較正周期８２０では、それぞれが異なる光からシャッタまでの遅延時間を伴う、較正光パルスおよび読出の２０個のステップが、使用される。ある実施例では、各ステップは、それぞれが１５０ナノ秒のパルス幅を有し、３μ秒の読出処理がその後に続く、３０個のパルスを含む。したがって、較正周期は、約０．１５ミリ秒を要する。測定周期８３０では、Ｓ１ステップは、０．５ミリ秒の読出が後に続く、１．５ミリ秒の光パルス（例えば、１５０ナノ秒パルスの１，０００個のパルス）を含み得る。同様に、Ｓ２ステップは、０．５ミリ秒の読出が後に続く、２．０ミリ秒の光パルスを含み得る。本実施例では、安定化と、全範囲深度較正と、ＴＯＦ深度測定とを含む、全ての動作は、４．９ミリ秒を要する。較正段階は、動作時間全体の約１／３００を要する。本光学動作は、１秒あたり６０個以上のフレームのフレームレート（ｆｐｓ）に適合するように、十分に高速である。
【0032】
本発明の実施形態は、従来の方法に優る多くの利点を提供する。例えば、フィードバック光学デバイスは、較正のための強力な光を提供することができる。例えば、フィードバック光学デバイスは、光ファイバを含み得る。ピクセルアレイ内の１つ以上の別個のフィードバック領域は、フィードバック光学信号を感知するために使用される。フィードバック領域は、ピクセルアレイの未使用またはあまり使用されていない領域内に構成され、アレイのアクティブ領域よりはるかに小さい。例えば、いくつかのピクセルは、フィードバック光学デバイスが強力な信号を提供することができる場合、フィードバック感知のために十分である。小さいフィードバック感知領域は、迅速な感知および感知されたデータの高速処理を可能にし、着目深度範囲の高速較正を可能にする。
【0033】
図１０は、本発明の実施形態による、全範囲深度較正を含むＴＯＦ深度測定のための方法を図示する、単純化されたフローチャートである。上記に説明される方法は、図１０のフローチャート内で要約されることができる。示されるように、方法１０００は、ステップ１０１０において、標的物体を照明するための光パルスを伝送するステップを含む。次に、ステップ１０２０において、光学フィードバックデバイスから提供された光が、感光性ピクセルアレイの第１の領域内で感知される。ここで、第１の領域が、フィードバック領域として使用される。光学フィードバックデバイスは、伝送された光パルスの一部を受光する。フィードバック光学デバイスは、ＴＯＦ深度測定の事前設定された基準深度を含む。光学フィードバックデバイスからの光は、ある範囲の距離を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる。ＴＯＦ深度測定のために、本方法は、ステップ１０３０において、感光性ピクセルアレイの第２の領域において、伝送された光パルスからの標的物体から反射された光である、場面データを感知するステップを含む。第２の領域は、ピクセルアレイのアクティブ領域である。本方法は、ステップ１０４０において、ピクセルアレイの第１の領域内で感知される光に基づいて、飛行時間（ＴＯＦ）深度測定基準情報を較正するステップを含む。本プロセスは、図５、６、および７Ａ−７Ｃに関連して、上記に詳細に説明される。実施形態に応じて、ステップ１０３０および１０４０が、任意の順序で実行され得ることに留意されたい。例えば、較正データ（１０２０）および場面データ（１０４０）が捕捉された後、データ較正が、最初に処理され得、次いで、場面データが、処理される。代替として、ＴＯＦデータ較正および場面データ処理の両方が、同時に実行されることもできる。次いで、本方法は、ステップ１０５０において、感知された反射光および較正されたＴＯＦ測定基準情報に基づいて標的物体の距離を決定するステップを含む。
【0034】
いくつかの実施形態では、本方法は、事前設定されるフレームレートによって特徴付けられるデジタルカメラ内で実行されることができる。較正は、カメラの単一のフレーム周期に適合され得る。ある実施形態では、光学フィードバックデバイスからの光が、ある範囲の距離を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる。次いで、測定される信号を距離に相関させるために、畳み込みプロセスが、使用される。
【0035】
本発明の実施形態は、照明部分から画像センサ内の角ピクセルの中への高速飛行時間（ＴＯＦ）信号に関する光学フィードバックのための小型回路を形成するために統合される、力学、電子工学、および光学設計ならびに処理手順を提供する。本設計は、高レベルの統合、エネルギー消費を節約するためのフィードバックループ内の光の効率的な伝達、および生産公差に対するロバスト性を含む。実施形態はまた、対物レンズの背面焦点距離に制約を追加するのではなく、撮像光学系内のオクルージョンを回避し、フィードバックループから結像エリアの中へおよびその逆の光の漏出を回避することができる。さらなる詳細が、下記に説明される。
【0036】
図１１は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間（ＴＯＦ）撮像システム１１００の一部を図示する、斜視図である。撮像システム１１００は、照明ユニット１１１０と、プリント回路基板（ＰＣＢ）１１０１上に配置されるセンサユニット１１３０とを含む。図１１に示されるように、照明ユニット１１１０は、レーザダイオード源１１１２と、照明光学系１１１４と、拡散器１１１６とを含む。照明光学系１１１４は、ＰＣＢ１１０１内の空洞１１１８内に配置され、レーザダイオードからの光ビームを折曲し、コリメートするための統合されたレンズを伴う、プリズムを含み得る。センサユニット１１３０は、ピクセルアレイ１１３６を伴う画像センサ１１３２と、画像センサ１１３２上に搭載される対物レンズ１１３４（破線で示される）とを含む。図１１に示されるように、ＴＯＦ撮像に関して、拡散器１１１６から放射された光１１１１が、図１１の図の上方および外側に配置される標的物体に指向され、標的物体から反射された光１１３１が、対物レンズ１１３４を通して進入し、画像センサ１１３２内のピクセルアレイに到達する。撮像システム１１００はまた、フィードバック経路を提供するための光ファイバ１１２０を有する。本実施形態では、光ファイバ１１２０が、照明光学系筐体の内部（例えば、内側の寄生反射）から少量の光を収集し、それを画像センサ１１３２のピクセルアレイの角１１４２に取り付けられている、プリズム１１３８に指向させる。本実施例では、ピクセルアレイの角領域１１４２が、画像センサのフィードバック領域としての役割を果たす。
【0037】
図１２は、本発明の実施形態による、図１１の飛行時間（ＴＯＦ）撮像システム１１００の一部の断面平面図である。レーザダイオード１１１２が、照明ユニットの筐体の基部に結合される。光ファイバ１１２０が、照明光学系筐体の内部（例えば、内側の寄生反射）から少量の光を収集し、それを画像センサ１１３２のピクセルアレイの角１１４２に取り付けられている、プリズム１１３８に指向させる。いくつかの実施形態では、レーザ光の一部を光ファイバ１１２０に指向するための照明ユニット筐体内の特定の光学要素は、必要とされない。光ファイバ１１２０は、光をピクセルアレイのサンプルエリア１１４２に取り付けられている、プリズム１１３８に指向させる。本実施形態では、照明筐体から散乱された光が、光ファイバ１１２０によって収集され、プリズム１１３８から散乱された光が、ピクセルアレイのフィードバック感知エリア１１４２内で感知され得る。
【0039】
図１３は、本発明の実施形態による、図１１の飛行時間（ＴＯＦ）撮像システム１１００の一部の斜視図である。レーザダイオード１１１２が、照明ユニットの筐体の基部に結合されている。光ファイバ１１２０が、照明光学系筐体の内部（例えば、内側の寄生反射）から少量の光を収集し、それを画像センサ１１３２のピクセルアレイ１１３６の角１１４２に取り付けられている、プリズム１１３８に指向させる。本実施形態では、照明筐体から散乱された光が、光ファイバ１１２０によって収集される。光ファイバ１１２０は、散乱された光を、ピクセルアレイ１１３６のサンプルエリア１１４２に取り付けられている、プリズム１１３８に指向させる。プリズム１１３８からの光が、較正のために、ピクセルアレイ１１３６のフィードバック感知エリア１１４２内で感知され得る。
【0040】
図１４は、本発明の実施形態による、図１１の飛行時間（ＴＯＦ）撮像システム１１００の一部の断面平面図である。レーザダイオード１１１２が、照明ユニットの筐体の基部に結合されている。光ファイバ１１２０が、照明光学系筐体の内部（例えば、内側の寄生反射）から少量の散乱された光を収集し、それを画像センサ１１３２のピクセルアレイの角１１４２に取り付けられている、プリズム１１３８に指向させる。光ファイバ１１２０は、光をピクセルアレイ１１３６のサンプルエリア１１４２に取り付けられている、プリズム１１３８に指向させる。プリズム１１３８からの光が、ピクセルアレイ１１３６のフィードバック感知エリア１１４２内で感知され得る。
【0041】
図１５は、本発明の実施形態による、図１１の飛行時間（ＴＯＦ）撮像システム１１００の一部の断面平面図である。図１５の撮像システム１１００は、照明ユニット１１１０と、プリント回路基板（ＰＣＢ）１１０１上に配置されるセンサユニット１１３０とを含む。図１５に示されるように、照明ユニット１１１０は、レーザダイオード源（図示せず）と、照明光学系１１１４とを含む。センサユニット１１３０は、ピクセルアレイ１１３６を伴う画像センサ１１３２と、画像センサ１１３２上に搭載される対物レンズ１１３４とを含む。図１５に示されるように、ＴＯＦ撮像に関して、照明ユニット１１１０から放射された光１１１１は、図１５の図の上方および外側に配置される標的物体に指向され、標的物体から反射された光１１３１は、対物レンズ１１３４を通して進入し、画像センサ１１３２内のピクセルアレイ１１３６に到達する。撮像システム１１００はまた、フィードバック経路を提供するための光ファイバ１１２０を有する。本実施形態では、光ファイバ１１２０が、照明光学系筐体の内部からの少量の散乱された光を収集し、それを画像センサ１１３２のピクセルアレイ１１３６の角１１４２に取り付けられている、プリズム１１３８に指向させる。本実施例では、ピクセルアレイの角領域１１４２が、画像センサのフィードバック領域としての役割を果たす。
【0042】
図１６は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間（ＴＯＦ）撮像システム１１００の一部を図示する、別の斜視図である。図１６に示されるように、照明ユニット１１１０は、レーザダイオード源１１１２と、照明光学系１１１４と、拡散器１１１６とを含む。照明光学系１１１４は、ＰＣＢ１１０１内の空洞１１１８内に配置され、レーザダイオードからの光ビームを折曲し、コリメートするための統合されたレンズを伴う、プリズムを含み得る。センサユニット１１３０は、ピクセルアレイ１１３６を伴う画像センサと、画像センサ１１３２上に搭載される対物レンズ１１３４（破線で示される）とを含む。図１６に示されるように、ＴＯＦ撮像に関して、拡散器１１１６から放射された光１１１１は、図１１の図の上方および外側に配置される標的物体に指向され、標的物体から反射された光１１３１は、対物レンズ１１３４を通して進入し、画像センサ内のピクセルアレイ１１３６に到達する。撮像システムはまた、フィードバック経路を提供するための光ファイバ１１２０を有する。本実施形態では、光ファイバ１１２０が、照明光学系筐体の内部（例えば、内側の寄生反射）から少量の光を収集し、それを画像センサ１１３２のピクセルアレイの角１１４２に取り付けられている、プリズム１１３８に指向させる。本実施例では、ピクセルアレイの角領域１１４２が、画像センサのフィードバック領域としての役割を果たす。
【0043】
図１６では、光ビームＡが、レーザから照明光学系１１１４内のプリズムの折曲表面の中に進行する。プリズムから反射されて戻る光ビームＡ１が、迷光として照明ユニット内の空洞の中に入射する。光ビームＢが、プリズムからコリメートされて退出し、拡散器１１１５に指向される。光ビームＢ１が、迷光として拡散器から空洞の中に反射されて戻る。空洞からの迷光が、光ファイバ１１２０によって収集される。本発明の実施例では、迷光の量が、光強度測定器に接続されるファイバを使用することによって測定され、十分な光信号がフィードバック較正のために収集され得ることを検証した。
【0044】
図１７は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間（ＴＯＦ）撮像システム１１００のプリント回路基板（ＰＣＢ）１１０１を図示する、斜視図である。図１７に示されるように、ＰＣＢ１１０１は、照明ユニットのための第１の空洞１１１８と、画像センサのための第２の空洞１１３９と、光ファイバのための第３の空洞１１２１とを含む。図１７はまた、ＰＣＢ１１０１上に配置されるレーザダイオード１１１２を図示する。
【0045】
図１８は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間（ＴＯＦ）撮像システム１１００内で使用され得るプリズム１１３８を図示する、斜視図である。いくつかの実施形態では、プリズムは、ガラスまたは他の好適な透明光学材料から作製されることができる。プリズムは、両方とも表面「１」と標識される、上面と、底面と、それぞれ表面「２」と標識される、３つの側面とを有する。図１１−１６に図示されるように、光ファイバからの光が、側面２のうちの一方を通してプリズムに進入し、画像センサ内のピクセルアレイの中に結合されるべき底面１を通して退出する。したがって、いくつかの実施形態では、プリズムの上面および側面のうちの２つが、反射コーティングでコーティングされる。底面および側面のうちの一方は、コーティングされず、透明な状態であり、光ファイバからの光が、側面を通してプリズムに進入し、底面を通してプリズムから退出することを可能にする。いくつかの実施形態では、プリズムは、透明な接着剤を用いてピクセルアレイに接着され、次いで、不透明なペーストでコーティングされ、撮像光学系からフィードバック光学系を隔離する。
【0046】
図１１、１２、および１６に図示されるもの等のいくつかの実施形態では、光ファイバ１１２０が、プリズム１１３８の斜辺に結合され、プリズムの短辺が、ピクセルアレイと重複するように配置されている。シミュレーション研究は、これらの実施形態において、ファイバを通して進行する光の約５．８％が、ピクセルエリアに到達することを示す。図１３および１４に図示されるもの等の他の実施形態では、光ファイバ１１２０が、プリズム１１３８の短辺に結合され、プリズムの斜辺が、ピクセルアレイに重複するように配置される。シミュレーション研究は、これらの実施形態では、ファイバを通して進行する光の約８．７％が、ピクセルエリアに到達することを示す。
【0047】
図１９は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間（ＴＯＦ）撮像システムを形成するための方法を図示する、フローチャートである。本方法は、プロセス１９１０において、ＰＣＢアセンブリを形成するステップを含む。本方法は、プロセス１９２０において、チップ・オン・ボード（ＣｏＢ）によって画像センサアセンブリを形成するステップを含む。プロセス１９３０において、レーザダイオードアセンブリが、チップ・オン・ボード（ＣｏＢ）によって形成される。本方法は、プロセス１９４０において、光学フィードバック（ＯＦＢ）プリズムのための画像センサ上に透明な接着剤を分注するステップを含む。ＯＦＢプリズムは、照明ユニットからの直接光をレンズの視野（ＦＯＶ）の中に収める光学系を指す。次いで、プロセス１９５０において、プリズムが、ＰＣＢに取り付けられ、接着剤が、ＵＶ硬化プロセス（１９６０）を使用して硬化される。本方法はまた、プロセス１９７０において、光ファイバを取り付けるステップと、取付時間の間に透明な接着剤を分注するステップと、プロセス１９８０において、ＵＶ硬化を実施するステップとを含む。さらに、本方法は、プロセス１９９０において、プリズム上および透明な接着剤上に吸収性接着剤材料を分注するステップを含む。
【0048】
いくつかの実施形態では、光ファイバは、２５０μｍの光学グレードの非被覆プラスチック光ファイバであり得る。他の好適な光ファイバもまた、代替の実施形態において使用され得る。上記に言及される接着剤材料は、精密位置決め光学接着剤または好適な代替接着剤材料であり得る。
【0049】
本発明の好ましい実施形態が、図示され、説明されているが、本発明が、これらの実施形態のみに限定されないことが、明確となるであろう。多数の修正、変更、変形例、代用、および均等物が、本請求項に説明されるような本発明の精神ならびに範囲から逸脱することなく、当業者に明白となるであろう。