知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-15
(45)【発行日】2024-01-23
(54)【発明の名称】複数のＦ値レンズのための方法およびシステム
(51)【国際特許分類】
G03B 11/00 20210101AFI20240116BHJP
H04N 23/55 20230101ALI20240116BHJP
G02B 13/00 20060101ALI20240116BHJP
G02B 13/14 20060101ALI20240116BHJP
【ＦＩ】
G03B11/00
H04N23/55
G02B13/00
G02B13/14
【請求項の数】
18
【外国語出願】
(21)【出願番号】P 2022038046
(22)【出願日】2022-03-11
(62)【分割の表示】P 2019524158の分割
【原出願日】2017-11-03
(65)【公開番号】P2022066564
(43)【公開日】2022-04-28
【審査請求日】2022-03-11
(31)【優先権主張番号】62/420,249
(32)【優先日】2016-11-10
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】アサフ ペルマン
(72)【発明者】
【氏名】エレツ タドモール
(72)【発明者】
【氏名】デイビッド コーエン
(72)【発明者】
【氏名】ジオラ ヤハブ
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】特開２００２－３６９２２３（ＪＰ，Ａ）
【文献】特開２００２－１５２７７７（ＪＰ，Ａ）
【文献】特開２００２－３１８１０４（ＪＰ，Ａ）
【文献】特開２００５－００４１８１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ １１／００
Ｈ０４Ｎ ２３／５５
(57)【特許請求の範囲】
【請求項1】
結像システムであって、近赤外線（ＮＩＲ）波長範囲における光および可視波長範囲における光を受け取り、それを透過させるように構成されている第１の組のレンズ要素と、
開口絞りと、
前記開口絞りに位置付けられているフィルタであって、前記フィルタは、
第１の長さ寸法を有する中心領域であって、前記中心領域は、前記第１の組のレンズ要素を通して伝送された前記ＮＩＲ波長範囲における光および前記可視波長範囲における光の両方を透過するように構成されており、前記中心領域は、前記ＮＩＲ波長範囲における第１の透過帯域および前記可視波長範囲における第２の透過帯域によって特徴付けられており、前記第２の透過帯域は、前記第１の透過帯域と重複しない、中心領域と、
前記中心領域を包囲する外側領域であって、前記外側領域は、前記第１の長さ寸法より大きい第２の長さ寸法を有し、前記外側領域は、前記第１の組のレンズ要素を通して伝送された前記ＮＩＲ波長範囲における光のみを透過するように構成されており、前記外側領域は、前記ＮＩＲにおける１つのみの透過帯域によって特徴付けられている、外側領域と
を含む、フィルタと、
前記フィルタを通して伝送された前記ＮＩＲ波長範囲における光を第１の光学経路に沿うように向け、かつ、前記フィルタを通して伝送された前記可視波長範囲における光を第２の光学経路に沿うように向けるように構成されているダイクロイックビームスプリッタであって、前記フィルタは、前記第１の組のレンズ要素と前記ダイクロイックビームスプリッタとの間に配置されている、ダイクロイックビームスプリッタと、
前記第１の光学経路に沿って位置付けられている第２の組のレンズ要素であって、前記第１の組のレンズ要素および前記開口絞りおよび前記フィルタおよび前記第２の組のレンズ要素は、第１のレンズシステムを形成し、前記第１のレンズシステムは、第１の焦点面を画定する、第２の組のレンズ要素と、
前記第１の光学経路に沿って前記第１のレンズシステムの前記第１の焦点面に位置付けられている第１の画像センサであって、前記第１の画像センサは、前記ＮＩＲ波長範囲における光によって形成される第１の画像を検出するように構成されている、第１の画像センサと、
前記第２の光学経路に沿って位置付けられている第２の画像センサであって、前記第２の画像センサは、前記可視波長範囲における光によって形成される第２の画像を検出するように構成されている、第２の画像センサと
を含み、
前記フィルタは、前記外側領域の像側に配置されているブラックコーティングをさらに含み、前記ブラックコーティングは、前記可視波長範囲における高吸収係数と前記ＮＩＲ波長範囲における高透過率値とを有するように構成されている、結像システム。
【請求項2】
前記第１の画像は、飛行時間に基づく１つ以上のオブジェクトの３次元画像を含む、請求項１に記載の結像システム。
【請求項3】
前記第２の画像は、１つ以上のオブジェクトの２次元画像を含む、請求項１に記載の結像システム。
【請求項4】
前記第１のレンズシステムは、前記第２の長さ寸法に基づいて、前記ＮＩＲ波長範囲における光に対するＦ値によって特徴付けられている、請求項１に記載の結像システム。
【請求項5】
前記Ｆ値は、１．０～１．４の範囲である、請求項４に記載の結像システム。
【請求項6】
前記結像システムは、前記ダイクロイックビームスプリッタと前記第２の画像センサとの間に前記第２の光学経路に沿って位置付けられている第３の組のレンズ要素をさらに含み、前記第１の組のレンズ要素および前記開口絞りおよび前記フィルタおよび前記ダイクロイックビームスプリッタおよび前記第３の組のレンズ要素は、第２のレンズシステムを形成し、前記第２のレンズシステムは、第２の焦点面を画定し、前記第２の画像センサは、前記第２のレンズシステムの前記第２の焦点面に位置付けられている、請求項１に記載の結像システム。
【請求項7】
前記第２のレンズシステムは、前記第１の長さ寸法に基づいて、前記可視波長範囲における光に対するＦ値によって特徴付けられている、請求項６に記載の結像システム。
【請求項8】
前記Ｆ値は、２．０～２．８の範囲である、請求項７に記載の結像システム。
【請求項9】
前記フィルタの前記中心領域は、円形形状を有し、前記フィルタの前記外側領域は、環状形状を有し、前記第１の長さ寸法は、前記中心領域の直径であり、前記第２の長さ寸法は、前記外側領域の外径である、請求項１に記載の結像システム。
【請求項10】
前記第１の長さ寸法と前記第２の長さ寸法との比率は、０．４～０．６の範囲である、請求項９に記載の結像システム。
【請求項11】
前記結像システムは、前記ダイクロイックビームスプリッタと前記第１の画像センサとの間に前記第１の光学経路に沿って位置付けられているミラーをさらに含む、請求項１に記載の結像システム。
【請求項12】
前記結像システムは、第４のレンズ要素をさらに含み、前記ミラーは、前記第２の組のレンズ要素と前記第４のレンズ要素との間に前記第１の光学経路に沿って位置付けられている、請求項１１に記載の結像システム。
【請求項13】
前記結像システムは、前記第１の組のレンズ要素の正面に１つ以上のオブジェクトに向かって複数のＮＩＲ光パルスを放出するように構成されているＮＩＲ光源をさらに含み、前記複数のＮＩＲ光パルスの各々の一部は、前記１つ以上のオブジェクトから反射され、前記ＮＩＲ波長範囲における光は、それによって前記第１の画像が形成され、前記１つ以上のオブジェクトから反射された前記複数のＮＩＲ光パルスの各々の一部を含む、請求項１に記載の結像システム。
【請求項15】
前記波長選択的フィルタの前記中心領域は、第１の直径によって特徴付けられている円形形状を有し、前記波長選択的フィルタの前記外側領域は、前記第１の直径よりも大きい外側の第２の直径によって特徴付けられている環状形状を有する、請求項１４に記載の方法。
【請求項16】
前記第１の直径と、前記外側の第２の直径との比率は、０．４～０．６の範囲である、請求項１５に記載の方法。
【請求項17】
前記結像システムは、前記ダイクロイックビームスプリッタと前記第２の画像センサとの間に前記第２の光学経路に沿って位置付けられている第３の組のレンズ要素をさらに含み、前記第１の組のレンズ要素および開口絞りおよび前記波長選択的フィルタおよび前記ダイクロイックビームスプリッタおよび前記第３の組のレンズ要素は、第２のレンズシステムを形成し、前記第２のレンズシステムは、第２の焦点面を画定し、前記第２の画像センサは、前記第２のレンズシステムの前記第２の焦点面に位置付けられている、請求項１５に記載の方法。
【請求項18】
前記第１のレンズシステムは、前記外側の第２の直径に基づいて、前記ＮＩＲ波長範囲における光に対する第１のＦ値によって特徴付けられており、前記第２のレンズシステムは、前記第１の直径に基づいて、前記可視波長範囲における光に対する第２のＦ値によって特徴付けられている、請求項１７に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
（関連出願の引用）
本願は、米国仮特許出願第６２／４２０，２４９号（２０１６年１１月１０日出願）の利益を主張し、上記出願の内容は、その全体が参照により引用される。
本願は、米国仮特許出願第６２／４２０，２４９号（２０１６年１１月１０日出願）の利益を主張し、上記出願の内容は、その全体が参照により引用される。
【0002】
（発明の背景）
光学システムでは、結像レンズは、光をコリメートすること、光を収束させること等のために利用される。光学システムの開発においてなされた進歩にもかかわらず、当技術分野において改良された結像レンズに対する必要性がある。
光学システムでは、結像レンズは、光をコリメートすること、光を収束させること等のために利用される。光学システムの開発においてなされた進歩にもかかわらず、当技術分野において改良された結像レンズに対する必要性がある。
【発明の概要】
【課題を解決するための手段】
【0003】
（発明の要約）
本発明は、概して、複数のＦ値レンズを伴う結像システムに関する。本発明のある実施形態によると、結像システムは、１つ以上の第１のオブジェクトに向かって複数のＮＩＲ光パルスを放出するように構成された近赤外線（ＮＩＲ）光源を含む。複数のＮＩＲ光パルスの各々の一部は、１つ以上の第１のオブジェクトから反射され得る。結像システムは、結像レンズをさらに含む。結像レンズは、１つ以上の第１のオブジェクトから反射される複数のＮＩＲ光パルスの各々の一部を受け取り、それを結像面上に集束させることと、１つ以上の第２のオブジェクトから反射された可視光を受け取り、それを結像面上に集束させることとを行うように構成された１つ以上のレンズ要素を含む。結像レンズは、開口絞りと、開口絞りに位置付けられたフィルタとをさらに含む。フィルタは、第１の長さ寸法を有する中心領域と、第１の長さ寸法より大きい第２の長さ寸法を有する中心領域を包囲する外側領域とを含む。フィルタの中心領域は、ＮＩＲ波長範囲における第１の透過帯域と、可視波長範囲における第２の透過帯域とによって特徴付けられる。フィルタの外側領域は、ＮＩＲ波長範囲における第３の透過帯域と、可視波長範囲における実質的に低い透過率値とによって特徴付けられる。結像システムは、結像面に位置付けられた画像センサをさらに含む。画像センサは、ピクセルの２次元アレイを含む。画像センサは、可視波長範囲における１つ以上の第２のオブジェクトの２次元強度画像をビニングされていないピクセル分解能で検出し、ＮＩＲ波長範囲における１つ以上の第１のオブジェクトの飛行時間３次元画像をビニングされたピクセル分解能で検出するように構成されている。
本発明は、概して、複数のＦ値レンズを伴う結像システムに関する。本発明のある実施形態によると、結像システムは、１つ以上の第１のオブジェクトに向かって複数のＮＩＲ光パルスを放出するように構成された近赤外線（ＮＩＲ）光源を含む。複数のＮＩＲ光パルスの各々の一部は、１つ以上の第１のオブジェクトから反射され得る。結像システムは、結像レンズをさらに含む。結像レンズは、１つ以上の第１のオブジェクトから反射される複数のＮＩＲ光パルスの各々の一部を受け取り、それを結像面上に集束させることと、１つ以上の第２のオブジェクトから反射された可視光を受け取り、それを結像面上に集束させることとを行うように構成された１つ以上のレンズ要素を含む。結像レンズは、開口絞りと、開口絞りに位置付けられたフィルタとをさらに含む。フィルタは、第１の長さ寸法を有する中心領域と、第１の長さ寸法より大きい第２の長さ寸法を有する中心領域を包囲する外側領域とを含む。フィルタの中心領域は、ＮＩＲ波長範囲における第１の透過帯域と、可視波長範囲における第２の透過帯域とによって特徴付けられる。フィルタの外側領域は、ＮＩＲ波長範囲における第３の透過帯域と、可視波長範囲における実質的に低い透過率値とによって特徴付けられる。結像システムは、結像面に位置付けられた画像センサをさらに含む。画像センサは、ピクセルの２次元アレイを含む。画像センサは、可視波長範囲における１つ以上の第２のオブジェクトの２次元強度画像をビニングされていないピクセル分解能で検出し、ＮＩＲ波長範囲における１つ以上の第１のオブジェクトの飛行時間３次元画像をビニングされたピクセル分解能で検出するように構成されている。
【0004】
本発明の別の実施形態によると、結像レンズは、１つ以上の第１のオブジェクトから反射された第１の波長範囲における光を受け取り、それを結像面上に集束させることと、１つ以上の第２のオブジェクトから反射された第２の波長範囲における光を受け取り、それを結像面上に集束させることとを行うように構成された１つ以上のレンズ要素を含む。結像レンズは、開口絞りと、開口絞りに位置付けられたフィルタとをさらに含む。フィルタは、第１の長さ寸法を有する中心領域と、第１の長さ寸法より大きい第２の長さ寸法を有する中心領域を包囲する外側領域とを含む。フィルタの中心領域は、第１の波長範囲における第１の透過帯域と、第２の波長範囲における第２の透過帯域とによって特徴付けられる。フィルタの外側領域は、第１の波長範囲における第３の透過帯域と、第２の波長範囲における実質的に低い透過率値とによって特徴付けられる。
【0005】
本発明のさらに別の実施形態によると、結像システムを動作させる方法が、提供される。結像システムは、近赤外線（ＮＩＲ）光源と、結像レンズと、結像レンズの結像面に位置付けられた画像センサとを含む。方法は、ＮＩＲ光源を使用して、複数のＮＩＲ光パルスを１つ以上の第１のオブジェクトに向かって放出することであって、複数のＮＩＲ光パルスの各々の一部は、１つ以上の第１のオブジェクトから反射される、ことと、結像レンズを使用して、１つ以上の第１のオブジェクトから反射される複数のＮＩＲ光パルスの各々の一部を受け取り、画像センサ上に集束させることと、画像センサを使用して、放射から検出までの複数のＮＩＲ光パルスの各々の一部のための飛行時間を決定することによって、１つ以上の第１のオブジェクトの３次元画像を検出することとによって、結像システムを使用して３次元感知を実施することを含む。結像レンズは、開口絞りと、開口絞りに位置付けられた波長選択的フィルタとを含む。波長選択的フィルタは、第１の領域と、第１の領域を包囲する第２の領域とを有する。波長選択的フィルタは、ＮＩＲ光に第１の領域および第２の領域を透過させ、可視光に第１の領域のみを透過させるように構成されている。方法は、結像レンズを使用して、１つ以上の第２のオブジェクトから反射された周囲光源からの可視光を受け取り、画像センサ上に集束させることと、画像センサを使用して、１つ以上の第２のオブジェクトの２次元強度画像を検出することとによって、結像システムを使用してコンピュータビジョンを実施することをさらに含む。
【0006】
本発明のさらなる実施形態によると、第１の波長範囲および第２の波長範囲における光を感知するための画像センサは、ピクセルの２次元アレイと、プロセッサとを含む。プロセッサは、第１の波長範囲におけるピクセルのアレイの各ピクセルに対する光強度を測定し、ピクセルグループの組に対して、第２の波長範囲における光強度を測定するように構成されている。各ピクセルグループは、ｍ×ｎピクセルのアレイのピクセルを含み、ｍおよびｎは、整数であり、ｍおよびｎのうちの少なくとも１つは、２以上である。いくつかの実施形態では、第１の波長範囲は、可視波長に対応し、第２の波長範囲は、近赤外線（ＮＩＲ）波長に対応する。いくつかの実施形態では、ｍは、２と等しく、ｎは、２と等しい。いくつかの実施形態では、ピクセルグループの組に対する第２の波長範囲における光強度を測定することは、ｍ×ｎピクセルの各グループに対する電荷の総量を読み出すことを含む。いくつかの代替実施形態では、ピクセルグループの組に関する第２の波長範囲における光強度を測定することは、ピクセルのアレイの各ピクセルに対する電荷の量を読み出すことと、各グループ内のｍ×ｎピクセルの電荷の量を総和することによって、ｍ×ｎピクセルの各グループに対する電荷の総量を計算することとを含む。
【0007】
従来の技法に優る多数の利点が、本発明の方法によって達成される。例えば、本発明の実施形態は、波長選択的フィルタをその開口絞りにおいて利用することによって、ＮＩＲ光のためのより低いＦ値と、可視光のためのより高いＦ値とによって特徴付けられ得る結像レンズを提供する。さらに、本発明の実施形態は、ピクセルビニングを使用して、ＮＩＲ光のためのより低い分解能モードで、本来のピクセル分解能を使用して、可視光のためのより高い分解能モードで動作し得る画像センサを提供する。結像レンズおよび画像センサは、より高速のレンズおよびより多くの光統合が所望されるＮＩＲ波長範囲における能動照明を伴うＴＯＦ深度センサだけではなく、より高い画像分解能およびより大きな被写界深度が所望される可視波長範囲における受動照明を伴うコンピュータビジョンセンサとしての使用にも好適であり得る。結像レンズは、より低い写真速度において可視光を結像することと、より高速の写真速度においてＩＲ光を結像することの両方の使用のために好適であり得る。本発明のこれらおよび他の実施形態は、その利点および特徴の多くとともに、下記の文章および添付の図と併せてより詳細に説明される。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
結像システムであって、前記結像システムは、
１つ以上の第１のオブジェクトに向かって複数のＮＩＲ光パルスを放出するように構成された近赤外線（ＮＩＲ）光源であって、前記複数のＮＩＲ光パルスの各々の一部は、前記１つ以上の第１のオブジェクトから反射される、近赤外線（ＮＩＲ）光源と、
結像レンズであって、前記結像レンズは、
前記１つ以上の第１のオブジェクトから反射された前記複数のＮＩＲ光パルスの各々の一部を受け取り、それを結像面上に集束させることと、１つ以上の第２のオブジェクトから反射された可視光を受け取り、それを前記結像面上に集束させることとを行うように構成された１つ以上のレンズ要素と、
開口絞りと、
前記開口絞りに位置付けられたフィルタと
を含み、
前記フィルタは、
第１の長さ寸法を有する中心領域であって、前記中心領域は、ＮＩＲ波長範囲における第１の透過帯域と、可視波長範囲における第２の透過帯域とによって特徴付けられる、中心領域と、
前記中心領域を包囲する外側領域であって、前記外側領域は、前記第１の長さ寸法より大きい第２の長さ寸法を有し、前記外側領域は、前記ＮＩＲ波長範囲における第３の透過帯域と、前記可視波長範囲における実質的に低い透過率値とによって特徴付けられる、外側領域と
を含む、結像レンズと、
前記結像面に位置付けられた画像センサと
を備え、
前記画像センサは、ピクセルの２次元アレイを含み、前記画像センサは、
前記可視波長範囲における前記１つ以上の第２のオブジェクトの２次元強度画像をビニングされていないピクセル分解能で検出することと、
前記ＮＩＲ波長範囲における前記１つ以上の第１のオブジェクトの飛行時間３次元画像をビニングされたピクセル分解能で検出することと
を行うように構成されている、結像システム。
（項目２）
前記中心領域は、実質的に円形の形状を有し、前記外側領域は、実質的に環状の形状を有し、前記第１の長さ寸法は、前記中心領域の直径であり、前記第２の長さ寸法は、前記外側領域の外径である、項目１に記載の結像システム。
（項目３）
前記第１の長さ寸法と前記第２の長さ寸法との比率は、約０．４～約０．６に及ぶ、項目１に記載の結像システム。
（項目４）
前記第１の長さ寸法と前記第２の長さ寸法との比率は、約０．５である、項目２に記載の結像システム。
（項目５）
前記結像レンズは、前記第２の長さ寸法に基づく前記ＮＩＲ波長範囲における光のための第１のＦ値と、前記第１の長さ寸法に基づく前記可視波長範囲における光のための第２のＦ値とによって特徴付けられる、項目１に記載の結像システム。
（項目６）
前記第１のＦ値は、約１．０～約１．４に及び、前記第２のＦ値は、約２．０～約２．８に及ぶ、項目５に記載の結像システム。
（項目７）
前記画像センサは、前記ビニングされたピクセル分解能においてｍ×ｎピクセルの各グループの蓄積された電荷を読み出し、ｍおよびｎは、正の整数であり、ｍおよびｎのうちの少なくとも１つは、２以上の値を有する、項目１に記載の結像システム。
（項目８）
結像レンズであって、前記結像レンズは、
１つ以上の第１のオブジェクトから反射された第１の波長範囲における光を受け取り、それを結像面上に集束させることと、１つ以上の第２のオブジェクトから反射された第２の波長範囲における光を受け取り、それを前記結像面上に集束させることとを行うように構成された１つ以上のレンズ要素と、
開口絞りと、
前記開口絞りに位置付けられたフィルタと
を備え、
前記フィルタは、
第１の長さ寸法を有する中心領域であって、前記第１の波長範囲における第１の透過帯域と、前記第２の波長範囲における第２の透過帯域とによって特徴付けられる、中心領域と、
前記中心領域を包囲する外側領域であって、前記外側領域は、前記第１の長さ寸法より大きい第２の長さ寸法を有し、前記外側領域は、前記第１の波長範囲における第３の透過帯域と、前記第２の波長範囲における実質的に低い透過率とによって特徴付けられる、外側領域と
を含む、結像レンズ。
（項目９）
前記第１の波長範囲は、近赤外線（ＮＩＲ）波長に対応し、前記第２の波長範囲は、可視波長に対応する、項目８に記載の結像レンズ。
（項目１０）
前記中心領域は、実質的に円形の形状を有し、前記外側領域は、実質的に環状の形状を有し、前記第１の長さ寸法は、前記中心領域の直径であり、前記第２の長さ寸法は、前記外側領域の外径である、項目８に記載の結像レンズ。
（項目１１）
前記フィルタは、前記フィルタの背面上に形成された環状形状を有する薄膜をさらに含み、前記薄膜は、前記第２の波長範囲における光を吸収し、前記第１の波長範囲における光に透過させるように構成されている、項目１０に記載の結像レンズ。
（項目１２）
前記第１の長さ寸法と前記第２の長さ寸法との比率は、約０．４～約０．６に及ぶ、項目８に記載の結像レンズ。
（項目１３）
約１．０～約１．４に及ぶ前記第１の波長範囲における光のための第１のＦ値と、約２．０～約２．８に及ぶ前記第２の波長範囲における光のための第２のＦ値とによって特徴付けられる、項目８に記載の結像レンズ。
（項目１４）
結像システムを動作させる方法であって、前記結像システムは、近赤外線（ＮＩＲ）光源と、結像レンズと、前記結像レンズの結像面に位置付けられた画像センサとを備え、
前記方法は、
前記ＮＩＲ光源を使用して、複数のＮＩＲ光パルスを１つ以上の第１のオブジェクトに向かって放出することであって、前記複数のＮＩＲ光パルスの各々の一部は、前記１つ以上の第１のオブジェクトから反射される、ことと、
前記結像レンズを使用して、前記１つ以上の第１のオブジェクトから反射された前記複数のＮＩＲ光パルスの各々の一部を受け取り、それを前記画像センサ上に集束させることであって、前記結像レンズは、開口絞りと、前記開口絞りに位置付けられた波長選択的フィルタとを含み、前記波長選択的フィルタは、第１の領域および前記第１の領域を包囲する第２の領域を有し、前記波長選択的フィルタは、ＮＩＲ光に前記第１の領域および前記第２の領域を透過させることと、可視光に前記第１の領域のみを透過させることとを行うように構成されている、ことと、
前記画像センサを使用して、放射から検出までの前記複数のＮＩＲ光パルスの各々の一部のための飛行時間を決定することによって、前記１つ以上の第１のオブジェクトの３次元画像を検出することと
によって、前記結像システムを使用して３次元感知を実施することと、
前記結像レンズを使用して、１つ以上の第２のオブジェクトから反射された周囲光源からの可視光を受け取り、それを前記画像センサ上に集束させることと、
前記画像センサを使用して、前記１つ以上の第２のオブジェクトの２次元強度画像を検出することと
によって、前記結像システムを使用してコンピュータビジョンを実施することと
を含む、方法。
（項目１５）
３次元感知を実施することは、第１の時間スロット内で実施され、コンピュータビジョンを実施することは、第２の時間スロット内で実施される、項目１４に記載の方法。
（項目１６）
前記第１の時間スロットおよび前記第２の時間スロットの各々の持続時間は、約１ｍｓ～約５０ｍｓの範囲内である、項目１５に記載の方法。
（項目１７）
前記第１の領域は、第１の直径によって特徴付けられる実質的に円形の形状を有し、前記第２の領域は、前記第１の直径より大きい外側の第２の直径によって特徴付けられる実質的に環状の形状を有する、項目１４に記載の方法。
（項目１８）
前記第１の直径と前記第２の直径との比率は、約０．４～約０．６に及ぶ、項目１７に記載の方法。
（項目１９）
前記画像センサは、ピクセルの２次元アレイを備え、前記１つ以上の第１のオブジェクトの前記３次元画像を検出することは、ｍ×ｎピクセルの各グループに対する電荷の総量を読み出すことによって実施され、ｍおよびｎは、正の整数であり、ｍおよびｎのうちの少なくとも１つは、２以上である、項目１４に記載の方法。
（項目２０）
前記画像センサは、ピクセルの２次元アレイを備え、前記１つ以上の第１のオブジェクトの前記３次元画像を検出することは、
前記ピクセルの２次元アレイの各ピクセルに対する電荷の量を読み出すことと、
各グループ内のｍ×ｎピクセルの前記電荷の量を総和することによって、前記ｍ×ｎピクセルの各グループに対する電荷の総量を計算することであって、ｍおよびｎは、整数であり、ｍおよびｎのうちの少なくとも１つは、２以上である、ことと
によって実施される、項目１４に記載の方法。
（項目２１）
前記画像センサは、ピクセルの２次元アレイを備え、前記１つ以上の第２のオブジェクトの前記２次元強度画像を検出することは、前記ピクセルの２次元アレイの各ピクセルに対する電荷の量を読み出すことによって実施される、項目１４に記載の方法。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
結像システムであって、前記結像システムは、
１つ以上の第１のオブジェクトに向かって複数のＮＩＲ光パルスを放出するように構成された近赤外線（ＮＩＲ）光源であって、前記複数のＮＩＲ光パルスの各々の一部は、前記１つ以上の第１のオブジェクトから反射される、近赤外線（ＮＩＲ）光源と、
結像レンズであって、前記結像レンズは、
前記１つ以上の第１のオブジェクトから反射された前記複数のＮＩＲ光パルスの各々の一部を受け取り、それを結像面上に集束させることと、１つ以上の第２のオブジェクトから反射された可視光を受け取り、それを前記結像面上に集束させることとを行うように構成された１つ以上のレンズ要素と、
開口絞りと、
前記開口絞りに位置付けられたフィルタと
を含み、
前記フィルタは、
第１の長さ寸法を有する中心領域であって、前記中心領域は、ＮＩＲ波長範囲における第１の透過帯域と、可視波長範囲における第２の透過帯域とによって特徴付けられる、中心領域と、
前記中心領域を包囲する外側領域であって、前記外側領域は、前記第１の長さ寸法より大きい第２の長さ寸法を有し、前記外側領域は、前記ＮＩＲ波長範囲における第３の透過帯域と、前記可視波長範囲における実質的に低い透過率値とによって特徴付けられる、外側領域と
を含む、結像レンズと、
前記結像面に位置付けられた画像センサと
を備え、
前記画像センサは、ピクセルの２次元アレイを含み、前記画像センサは、
前記可視波長範囲における前記１つ以上の第２のオブジェクトの２次元強度画像をビニングされていないピクセル分解能で検出することと、
前記ＮＩＲ波長範囲における前記１つ以上の第１のオブジェクトの飛行時間３次元画像をビニングされたピクセル分解能で検出することと
を行うように構成されている、結像システム。
（項目２）
前記中心領域は、実質的に円形の形状を有し、前記外側領域は、実質的に環状の形状を有し、前記第１の長さ寸法は、前記中心領域の直径であり、前記第２の長さ寸法は、前記外側領域の外径である、項目１に記載の結像システム。
（項目３）
前記第１の長さ寸法と前記第２の長さ寸法との比率は、約０．４～約０．６に及ぶ、項目１に記載の結像システム。
（項目４）
前記第１の長さ寸法と前記第２の長さ寸法との比率は、約０．５である、項目２に記載の結像システム。
（項目５）
前記結像レンズは、前記第２の長さ寸法に基づく前記ＮＩＲ波長範囲における光のための第１のＦ値と、前記第１の長さ寸法に基づく前記可視波長範囲における光のための第２のＦ値とによって特徴付けられる、項目１に記載の結像システム。
（項目６）
前記第１のＦ値は、約１．０～約１．４に及び、前記第２のＦ値は、約２．０～約２．８に及ぶ、項目５に記載の結像システム。
（項目７）
前記画像センサは、前記ビニングされたピクセル分解能においてｍ×ｎピクセルの各グループの蓄積された電荷を読み出し、ｍおよびｎは、正の整数であり、ｍおよびｎのうちの少なくとも１つは、２以上の値を有する、項目１に記載の結像システム。
（項目８）
結像レンズであって、前記結像レンズは、
１つ以上の第１のオブジェクトから反射された第１の波長範囲における光を受け取り、それを結像面上に集束させることと、１つ以上の第２のオブジェクトから反射された第２の波長範囲における光を受け取り、それを前記結像面上に集束させることとを行うように構成された１つ以上のレンズ要素と、
開口絞りと、
前記開口絞りに位置付けられたフィルタと
を備え、
前記フィルタは、
第１の長さ寸法を有する中心領域であって、前記第１の波長範囲における第１の透過帯域と、前記第２の波長範囲における第２の透過帯域とによって特徴付けられる、中心領域と、
前記中心領域を包囲する外側領域であって、前記外側領域は、前記第１の長さ寸法より大きい第２の長さ寸法を有し、前記外側領域は、前記第１の波長範囲における第３の透過帯域と、前記第２の波長範囲における実質的に低い透過率とによって特徴付けられる、外側領域と
を含む、結像レンズ。
（項目９）
前記第１の波長範囲は、近赤外線（ＮＩＲ）波長に対応し、前記第２の波長範囲は、可視波長に対応する、項目８に記載の結像レンズ。
（項目１０）
前記中心領域は、実質的に円形の形状を有し、前記外側領域は、実質的に環状の形状を有し、前記第１の長さ寸法は、前記中心領域の直径であり、前記第２の長さ寸法は、前記外側領域の外径である、項目８に記載の結像レンズ。
（項目１１）
前記フィルタは、前記フィルタの背面上に形成された環状形状を有する薄膜をさらに含み、前記薄膜は、前記第２の波長範囲における光を吸収し、前記第１の波長範囲における光に透過させるように構成されている、項目１０に記載の結像レンズ。
（項目１２）
前記第１の長さ寸法と前記第２の長さ寸法との比率は、約０．４～約０．６に及ぶ、項目８に記載の結像レンズ。
（項目１３）
約１．０～約１．４に及ぶ前記第１の波長範囲における光のための第１のＦ値と、約２．０～約２．８に及ぶ前記第２の波長範囲における光のための第２のＦ値とによって特徴付けられる、項目８に記載の結像レンズ。
（項目１４）
結像システムを動作させる方法であって、前記結像システムは、近赤外線（ＮＩＲ）光源と、結像レンズと、前記結像レンズの結像面に位置付けられた画像センサとを備え、
前記方法は、
前記ＮＩＲ光源を使用して、複数のＮＩＲ光パルスを１つ以上の第１のオブジェクトに向かって放出することであって、前記複数のＮＩＲ光パルスの各々の一部は、前記１つ以上の第１のオブジェクトから反射される、ことと、
前記結像レンズを使用して、前記１つ以上の第１のオブジェクトから反射された前記複数のＮＩＲ光パルスの各々の一部を受け取り、それを前記画像センサ上に集束させることであって、前記結像レンズは、開口絞りと、前記開口絞りに位置付けられた波長選択的フィルタとを含み、前記波長選択的フィルタは、第１の領域および前記第１の領域を包囲する第２の領域を有し、前記波長選択的フィルタは、ＮＩＲ光に前記第１の領域および前記第２の領域を透過させることと、可視光に前記第１の領域のみを透過させることとを行うように構成されている、ことと、
前記画像センサを使用して、放射から検出までの前記複数のＮＩＲ光パルスの各々の一部のための飛行時間を決定することによって、前記１つ以上の第１のオブジェクトの３次元画像を検出することと
によって、前記結像システムを使用して３次元感知を実施することと、
前記結像レンズを使用して、１つ以上の第２のオブジェクトから反射された周囲光源からの可視光を受け取り、それを前記画像センサ上に集束させることと、
前記画像センサを使用して、前記１つ以上の第２のオブジェクトの２次元強度画像を検出することと
によって、前記結像システムを使用してコンピュータビジョンを実施することと
を含む、方法。
（項目１５）
３次元感知を実施することは、第１の時間スロット内で実施され、コンピュータビジョンを実施することは、第２の時間スロット内で実施される、項目１４に記載の方法。
（項目１６）
前記第１の時間スロットおよび前記第２の時間スロットの各々の持続時間は、約１ｍｓ～約５０ｍｓの範囲内である、項目１５に記載の方法。
（項目１７）
前記第１の領域は、第１の直径によって特徴付けられる実質的に円形の形状を有し、前記第２の領域は、前記第１の直径より大きい外側の第２の直径によって特徴付けられる実質的に環状の形状を有する、項目１４に記載の方法。
（項目１８）
前記第１の直径と前記第２の直径との比率は、約０．４～約０．６に及ぶ、項目１７に記載の方法。
（項目１９）
前記画像センサは、ピクセルの２次元アレイを備え、前記１つ以上の第１のオブジェクトの前記３次元画像を検出することは、ｍ×ｎピクセルの各グループに対する電荷の総量を読み出すことによって実施され、ｍおよびｎは、正の整数であり、ｍおよびｎのうちの少なくとも１つは、２以上である、項目１４に記載の方法。
（項目２０）
前記画像センサは、ピクセルの２次元アレイを備え、前記１つ以上の第１のオブジェクトの前記３次元画像を検出することは、
前記ピクセルの２次元アレイの各ピクセルに対する電荷の量を読み出すことと、
各グループ内のｍ×ｎピクセルの前記電荷の量を総和することによって、前記ｍ×ｎピクセルの各グループに対する電荷の総量を計算することであって、ｍおよびｎは、整数であり、ｍおよびｎのうちの少なくとも１つは、２以上である、ことと
によって実施される、項目１４に記載の方法。
（項目２１）
前記画像センサは、ピクセルの２次元アレイを備え、前記１つ以上の第２のオブジェクトの前記２次元強度画像を検出することは、前記ピクセルの２次元アレイの各ピクセルに対する電荷の量を読み出すことによって実施される、項目１４に記載の方法。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
本発明は、概して、複数のＦ値レンズを伴う結像システムに関する。光学では、レンズのＦ値（時として、焦点率、Ｆ率、Ｆ絞り、または口径比とも称される）は、入射瞳の直径に対するレンズの焦点距離の比率である。Ｆ値は、レンズ速度の定量的尺度である無次元数である。したがって、Ｆ値またはｆ／＃は、以下によって与えられる。
式中、ｆは、焦点距離であり、Ｄは、入射瞳（有効開口）の直径である。より高いＦ値は、所与の焦点長レンズに対するより小さい直径絞りを意味する。円形絞りは、面積Ａ＝πｒ２を有するので、開口直径を２倍にすること、したがって、Ｆ値を半分にすることは、４倍の光をシステムの中に入射させるであろう。逆に言えば、結像レンズのＦ値を増加させることは、開口サイズを減少させることによって、カメラに入射する光の量を減少させる。例えば、Ｆ値を２倍にすることは、１／４の光をシステムの中に入射させるであろう。
【数1】
式中、ｆは、焦点距離であり、Ｄは、入射瞳（有効開口）の直径である。より高いＦ値は、所与の焦点長レンズに対するより小さい直径絞りを意味する。円形絞りは、面積Ａ＝πｒ２を有するので、開口直径を２倍にすること、したがって、Ｆ値を半分にすることは、４倍の光をシステムの中に入射させるであろう。逆に言えば、結像レンズのＦ値を増加させることは、開口サイズを減少させることによって、カメラに入射する光の量を減少させる。例えば、Ｆ値を２倍にすることは、１／４の光をシステムの中に入射させるであろう。
【0010】
Ｆ値を２倍にした場合に同一写真露光を維持するために、露光時間は、４倍長くある必要があるであろう。または代替として、照明が、元のレベルの４倍のレベルまで増加される必要があるであろう。Ｆ値を増加させることは、被写界深度（ＤｏＦ）を増加させ、画像の空間分解能を増加させる利点を有し得る（例えば、変調伝達関数またはＭＴＦによって測定されるように）。
【0011】
図１は、本発明のある実施形態による、結像システム１０２と、照明源１０４とを含むシステム１００を図式的に図示する。システム１００は、図１に図示されるように、仮想現実（ＶＲ）または拡張現実（ＡＲ）体験のためにユーザによって装着され得るゴーグル内に統合され得る。システム１００は、ＶＲおよびＡＲ体験を生み出すための他の光学および電子コンポーネントを含み得る。
【0012】
一実施形態では、結像システム１０２および照明源１０４は、飛行時間（ＴＯＦ）深度感知のために使用され得る。照明源１０４は、複数のレーザパルスを放出するように構成されることができる。複数のレーザパルスの各々の一部は、ユーザの正面のオブジェクトから反射され得る。１つ以上のオブジェクトから反射された複数のレーザパルスの各々の一部は、結像システム１０２によって受け取られ、結像され得る。結像システム１０２は、放出から検出までのレーザパルスの各々のための飛行時間を決定し、それによって、ユーザからのオブジェクトの距離を決定するように構成されることができる。照明源１０４は、垂直キャビティ面発光レーザ（ＶＣＳＥＬ）等のレーザ源を備え得る。いくつかの実施形態では、レーザ源は、近赤外線（ＮＩＲ）波長範囲内、例えば、約７５０ｎｍ～約１４００ｎｍに及ぶ波長でレーザパルスを放出するように構成され得る。照明源１０４は、複数のレーザパルスをコリメートするためのコリメーションレンズも含み得る。
【0013】
いくつかの実施形態では、結像システム１０２は、コンピュータビジョンのためにも使用され得る。コンピュータビジョンのために使用されるとき、結像システム１０２は、可視波長範囲における受動周囲光によって照明されたオブジェクトをユーザの正面に結像するように構成される。ＴＯＦ深度感知およびコンピュータビジョンの両方のための共有結像システムを使用することによって、より低いコストおよびよりコンパクトなシステム設計が、実現され得る。結像システム１０２は、ＡＲまたはＶＲシステムの一部として上で説明されるが、結像システム１０２は、他のシステム内で使用され得ることを理解されたい。他の実施形態では、世界カメラ（ＷＣ）１０６および１０８ならびに写真カメラ１１０も、二重機能、すなわち、可視および赤外線光の両方を結像するために構成され得る。
【0014】
いくつかの実施形態では、システム１００は、結像システム１０２を時間共有方式において動作させ得、深度感知とコンピュータビジョンとが、異なる時間スロットにおいて交互に実施される。いくつかの実施形態では、各スロットの持続時間は、深度感知またはコンピュータビジョンのいずれかに有意な待ち時間が存在しないように、約１ｍｓ～約５０ｍｓに及び得る。他の実施形態では、システム１００は、下でより詳細に説明されるように、深度感知とコンピュータビジョンとを同時に実施するように、結像システム１０２を動作させ得る。
【0015】
図２は、本発明のいくつかの実施形態による、二重波長感知のために使用され得る結像システム２００を図式的に図示する。例えば、結像システム２００は、ＮＩＲ波長範囲におけるＴＯＦ深度感知と可視波長範囲におけるコンピュータビジョンとの両方のために使用され得る。結像システム２００は、結像レンズ２１０と、結像レンズ２１０の結像面に位置付けられた画像センサ２２０とを含む。結像レンズ２１０は、光学軸に沿って配置される１つ以上のレンズ要素２１６ａ－２１６ｅを含み得る。結像レンズは、入射瞳サイズを画定し得る開口絞り２１２をさらに含み得る。レンズシステムでは、画像に到達する光の量を決定する制限直径は、開口絞りと呼ばれる。いくつかの実施形態では、開口絞りは、複合結像レンズの正面の近傍に位置付けられ得る。いくつかの他の実施形態では、開口絞りは、複合結像レンズのレンズ要素の２つのグループ間に位置付けられ得る（例えば、図２に図示されるように）。そのような場合、入射瞳サイズは、開口絞りの画像によって決定され、開口絞りの画像は、開口絞りに先行するレンズ要素によって形成される。以下では、入射瞳サイズは、開口絞りサイズと同一であると仮定される。
【0016】
結像システム２００が、ＴＯＦ深度感知のために使用されるとき、比較的に低電力レーザ源が能動照明のために使用され得るように、結像レンズ２１０を高速レンズとして構成することが有利であり得る。より低い電力照明は、他の利点の中でもとりわけ、より低いコスト、より小さい形状因子、およびより低い電力消費につながり得る。ある場合、例えば、約ｆ／１～約ｆ／１．４の範囲内の比較的に低ｆ／＃が、ＴＯＦ深度感知のために望ましくあり得る。対照的に、結像システム２００が、コンピュータビジョンのために使用されるとき、より高い空間分解能およびより大きい被写界深度（ＤｏＦ）が達成され得るように、結像レンズ２１０を低速レンズとして構成することが有利であり得る。ある場合、例えば、約ｆ／２～約ｆ／２．８の範囲内の比較的に高ｆ／＃が、コンピュータビジョンのために望ましくあり得る。結像システム２００は、異なる波長範囲における光を感知するための異なるレンズ速度を有することが望ましくあり得る他の用途に適用され得る（例えば、赤外線感知および可視光感知のために）。
【0017】
本発明のある実施形態によると、結像レンズ２１０は、開口絞り２１２に位置付けられた波長選択的フィルタとして機能し得るフィルタ２１４を含む。図３は、本発明のある実施形態による、結像レンズ２１０内で使用され得るフィルタ２１４の基本構想図を示す。フィルタ２１４は、２つの領域、すなわち、第１の直径Ｄ１を伴う中心（例えば、円形）領域３１０と、中心領域３１０を包囲する外側（例えば、環状）領域３２０とを含み得る。外側領域３２０は、その外径としての第２の直径Ｄ２によって特徴付けられる。第２の直径Ｄ２は、開口絞り２１２の直径と実質的に同じであり得る。中心領域３１０は、図３では円形形状を有するように描写されるが、楕円形、正方形、長方形形状等の他の形状も、使用されることができることを理解されたい。同様に、外側領域３２０は、図３では環状形状を有するように描写されるが、他の形状も、可能である。
【0018】
図４Ａは、本発明のある実施形態による、フィルタ２１４の中心領域３１０のための波長の関数としての例示的透過率曲線のプロットである。図４Ｂは、本発明のある実施形態による、フィルタ２１４の外側領域３２０のための波長の関数としての例示的透過率曲線のプロットである。図４Ａに図示されるように、フィルタ２１４の中心領域３１０は、ＮＩＲ波長範囲（例えば、約８００ｎｍ～約９５０ｎｍ）内の第１の透過帯域４３０と、可視（ＶＩＳ）波長範囲（例えば、約４００ｎｍ～約７００ｎｍ）内の第２の透過帯域４４０とを有するように構成され得る。故に、中心領域３１０は、ＮＩＲおよび可視波長範囲の両方内の高透過率値によって特徴付けられ得る。図４Ｂに図示されるように、外側領域３２０は、外側領域３２０が、ＮＩＲ波長範囲における高透過率値であるが、可視波長範囲における低透過率値によって特徴付けられるように、ＮＩＲ波長範囲（例えば、約８００ｎｍ～約９５０ｎｍ）内の１つのみの透過帯域４５０を有するように構成され得る。
【0019】
いくつかの実施形態では、フィルタ２１４は、ガラス等の透明基板の表面上に形成される多層薄膜スタックを備え得る。多層薄膜は、異なる屈折率の２つ以上の材料から成る周期的層システムを備え得る。この周期的システムは、１つ以上の所望の波長範囲における表面の透過率を有意に向上させながら、他の波長範囲における表面の透過率を抑制するように工夫され得る。最大透過率は、スタック内の層の数の増加に伴って、最大約１００％まで増加され得る。多層薄膜スタックを構成する層の厚さは、概して、４分の１波であり、透過させられるビームが互いに建設的に干渉し、透過を最大化し、反射を最小化するように設計される。一実施形態では、中心領域３１０内の多層薄膜スタックは、２つの高透過率帯域（一方は、可視波長範囲内であって、他方は、ＮＩＲ波長範囲内である）を有し、かつ全ての他の波長のための低透過率を有するように工夫され得る。環状領域３２０内の多層薄膜スタックは、ＮＩＲ波長範囲における１つのみの高透過率帯域を有し、かつ全ての他の波長のための低透過率を有するように工夫され得る。他の実施形態では、メタ表面フィルタ等の他のタイプの帯域通過フィルタが、使用され得る。
【0020】
図５は、本発明のいくつかの実施形態による、波長選択的フィルタ５００の概略断面図を図示する。フィルタ５００は、ガラス片等の透明基板５０２と、基板５０２の正面表面上に配置される第１の多層薄膜５１０と、第１の多層薄膜５１０上に配置される第２の多層薄膜５２０とを含み得る。第１の多層薄膜５１０は、直径Ｄ２を伴う円形形状を有し得る。第２の多層薄膜５２０は、内径Ｄ１および外径Ｄ２を伴う環状形状を有し得る。いくつかの実施形態では、フィルタ５００は、反射防止コーティング５３０を基板５０２の背面上にさらに含み得る。
【0021】
第１の多層薄膜５１０は、図４Ａに図示されるように、ＮＩＲ波長範囲（例えば、約８００ｎｍ～約９５０ｎｍ）内の第１の透過帯域４３０と、可視（ＶＩＳ）波長範囲（例えば、約４００ｎｍ～約７００ｎｍ）内の第２の透過帯域４４０とを呈する透過率曲線を有するように構成され得る。第２の多層薄膜５２０は、図４Ａにおける破線曲線４６０によって図示されるようなＮＩＲ波長範囲における光に透過させ、可視波長範囲における光を遮断する高域通過フィルタとして構成され得る。したがって、第１の多層薄膜５１０と第２の多層薄膜５２０の組み合わせは、フィルタ５００の外側領域に対して図４Ｂに図示されるように、有効透過率曲線４５０をもたらし得る。したがって、フィルタ５００の外側領域は、ＮＩＲ波長範囲における光のみに効果的を透過させ得る一方、フィルタ５００の中心領域は、可視およびＮＩＲ波長範囲の両方内の光に透過させ得る。
【0022】
フィルタ２１４または５００が、図２に図示されるように、結像レンズ２１０内の開口絞り２１２に位置付けられると、フィルタ２１４または５００は、結像されている光の波長範囲に応じて、事実上、結像レンズ２１０のために２つの異なる開口をもたらし得る。図３および４Ａ－４Ｂを参照すると、結像レンズ２１０がＮＩＲ光を結像するために使用されるとき、例えば、ＴＯＦ深度感知のために使用されるとき、照明レーザ源１０４（図１に図示されるような）は、ＮＩＲ波長範囲内で動作し、ＮＩＲ光は、フィルタ２１４の中心領域３１０および外側領域３２０の両方を通して伝送される。したがって、ＮＩＲ光のための結像レンズ２１０の有効開口は、第２の直径Ｄ２である。結像レンズ２１０が可視光を結像するために使用されるとき、例えば、コンピュータビジョンのために使用されるとき、照明は、周囲可視光からのものであり、可視光は、中心領域３１０を通してのみ伝送される。したがって、可視光のための結像レンズ２１０の有効開口は、第１の直径Ｄ１である。波長選択的フィルタ２１４を伴う結像レンズ２１０は、異なる波長範囲における光を感知するために異なるレンズ速度を有することが望ましくあり得る他の用途に適用され得る。
【0023】
結像レンズ２１０は、焦点距離ｆを有すると仮定する。結像レンズが、可視光を結像するために使用されるとき、結像レンズ２１０は、以下によって与えられる可視光のための第１のｆ／＃によって特徴付けられ得る。
結像レンズが、ＮＩＲ光を結像するために使用されるとき、結像レンズ２１０は、以下によって与えられるＮＩＲ光のための第２のｆ／＃によって特徴付けられ得る。
【数2】
結像レンズが、ＮＩＲ光を結像するために使用されるとき、結像レンズ２１０は、以下によって与えられるＮＩＲ光のための第２のｆ／＃によって特徴付けられ得る。
【数3】
【0024】
したがって、結像レンズ２１０は、ＮＩＲ波長範囲におけるＴＯＦ深度感知のための比較的に低ｆ／＃ＮＩＲと、可視波長範囲におけるコンピュータビジョンのための比較的に高ｆ／＃ＶＩＳとを有するように構成されることができる。ＴＯＦ深度感知のために、より低いｆ／＃は、より多くの能動照明ＮＩＲ光が結像レンズ２１０を通過し得ることを意味する。したがって、比較的に低電力レーザ源が、照明のために使用され得、それは、他の利点の中でもとりわけ、より低いコスト、より小さい形状因子、およびより低い電力消費につながり得る。いくつかの実施形態では、Ｄ２の値は、ｆ／＃ＮＩＲが約ｆ／１～約ｆ／１．４の範囲内であるように選定され得る。
【0025】
可視波長範囲におけるコンピュータビジョンのために、より高いｆ／＃は、他の利点の中でもとりわけ、結像面におけるより高い空間分解能（例えば、ＭＴＦによって測定されるように）およびより大きいＤｏＦをもたらし得る。実際、より低いｆ／＃は、ある場合、可視光を結像するとき、所望されないこともある。下でより完全に説明されるように、画像センサは、典型的には、ＮＩＲ波長範囲内より可視波長範囲内に高い量子効率を有する。したがって、画像センサは、高速レンズが可視光を結像するために使用されるとき、飽和され得る。いくつかの実施形態では、Ｄ１の値は、ｆ／＃ＶＩＳが約ｆ／２～約ｆ／２．８の範囲内であるように選定され得る。ＶＩＳとＮＩＲモードとの間の強度比率は、故に、比率Ｄ１／Ｄ２に設定することによって制御されることができる。いくつかの実施形態では、Ｄ１／Ｄ２の比率は、約０．４～約０．６の範囲内であるように選定され得る。一実施形態では、Ｄ１／Ｄ２の比率は、ｆ／＃ＶＩＳの値がｆ／＃ＮＩＲの値の約２倍であるように、約０．５であるように選定され得る。
【0026】
図６は、いくつかの実施形態による、概略の結像システムを図示する。結像システムは、波長選択的フィルタ６００と、光学レンズ６１０と、画像センサ６２０とを含み得る。単一レンズ要素が、図６では、例証の便宜上、光学レンズ６１０に対して描写されるが、光学レンズ６１０は、いくつかのレンズ要素を含み得る。フィルタ６００は、ガラス片等の透明基板６０２と、第１の直径Ｄ１を伴う円形形状を有する第１の多層薄膜６０４と、第１の多層薄膜６０４を包囲する外径Ｄ２を伴う環状形状を有する第２の多層薄膜６０６とを含み得る。第１の多層薄膜６０４は、上で議論されるように、可視およびＮＩＲ波長範囲の両方のための高透過率を有するように構成され得、第２の多層薄膜６０６は、ＮＩＲ波長範囲のみのために高透過率を有するように構成され得る。
【0027】
図６に図示されるように、可視波長範囲における入射光線は、実線矢印によって表される光経路によって図示されるように、第１の多層薄膜６０４によって透過させられ、画像スポット６２２を画像センサに形成し得る。入射光の一部は、画像センサ６２０によって反射され、破線矢印によって表される光経路によって図示されるように、第２の多層フィルム６０６の背面側に入射し得る。可視波長範囲における入射光に対して、反射された光は、第２の多層薄膜６０６が可視波長範囲における低透過率値および高反射率値を有するように構成されるので、第２の多層薄膜６０６によって反射され得る。第２の多層薄膜６０６によって反射された光は、残影画像６２４を画像センサ６２０に形成し得る。ＮＩＲ波長範囲における入射光に対して、画像センサ６２０によって反射され、第２の多層薄膜６０６の背面側に入射する光の一部は、第２の多層薄膜６０６がＮＩＲ波長範囲における高透過率値を有するように構成されるので、第２の多層薄膜６０６によって主に透過させられるであろうことに留意されたい。したがって、フィルタ６００は、ＮＩＲ波長範囲における光に対する有意な残影画像問題を提示し得ない。
【0028】
図７は、いくつかの実施形態による、視野点（例えば、ある入射角におけるコリメートされた光線）のための例示的結像システムの光線トレース図を示す。画像システムは、波長選択的フィルタ７００と、光学レンズ７１０と、画像センサ７２０とを含み得る。図８は、光線トレースによってシミュレートされるような画像センサ７２０における強度分布を示す。図示されるように、強度分布は、画像点８１０と、残影画像８２０とを示す。残影画像は、実画像を曖昧にし得る。したがって、残影画像の形成を防止することが望ましくあり得る。
【0029】
図９は、いくつかの実施形態による、結像システム内で使用され得、残影画像形成を防止し得る波長選択的フィルタ９００の概略断面図を図示する。図６に図示される波長選択的フィルタ６００と同様に、フィルタ９００は、透明基板６０２と、第１の直径Ｄ１を伴う円形形状を有する基板６０２の正面側上に形成される第１の多層薄膜６０４と、第１の多層薄膜６０４を包囲するＤ２の外径を伴う環状形状を有する基板６０２の正面側上に形成される第２の多層薄膜６０６とを含む。第１の多層薄膜６０４は、上で議論されるように、可視およびＮＩＲ波長範囲の両方における高透過率値を有するように構成され得、第２の多層薄膜６０６は、ＮＩＲ波長範囲におけるみに高透過率値を有するように構成され得る。
【0030】
フィルタ９００は、基板６０２の背面側に形成される第３の薄膜９１０をさらに含み得る。第３の薄膜９１０は、外径Ｄ２および内径Ｄ３を伴う環状形状を有し得る。Ｄ３は、波長選択的フィルタ６００の中心領域（例えば、第１の多層薄膜６０４）を通して結像システムに入射する入射光線を遮断しないように、第２の多層薄膜６０６の内径Ｄ１を若干上回り得る。いくつかの実施形態では、Ｄ３の値は、基板６０２の厚さに依存し得る。比較的に薄い基板６０２に対して、Ｄ３は、Ｄ１に匹敵し得る。第３の薄膜９１０は、可視波長範囲における高吸収係数と、ＮＩＲ波長範囲における高透過率値とを有するように構成され得る。したがって、第３の薄膜９１０は、「ブラックコーティング」と称され得る。画像センサ６２０から反射された可視光が、第３の薄膜９１０上に入射すると、その有意な部分は、第３の薄膜９１０によって吸収され得、そのわずかな部分のみが、図９におけるより薄い破線矢印によって表される光経路によって図示されるように、第３の薄膜９１０によって透過させられ、第２の多層薄膜６０６の背面上に入射し得る。したがって、残影画像６２４の強度は、「ブラックコーティング」を伴わないフィルタ６００が図６に図示されるように使用される場合と比較して、有意に低減させられ得る。
【0031】
図１０Ａは、いくつかの実施形態による、図６に図示される波長選択的フィルタ６００を使用した光線トレースシミュレーションからの残影画像の強度分布を示す。図１０Ｂは、いくつかの実施形態による、「ブラックコーティング」９１０を含む図９に図示される波長選択的フィルタ９００を使用した光線トレースシミュレーションからの残影画像の強度分布を示す。図示されるように、残影画像の強度は、「ブラックコーティング」９１０を波長選択的フィルタ９００内に含むことによって、有意に低減させられ得る。図１０Ｃは、「ブラックコーティング」を含まない波長選択的フィルタ６００を使用した残影画像強度と「ブラックコーティング」９１０を伴う波長選択的フィルタ９００を使用した残影画像強度の比率を示す。図示されるように、残影画像強度は、「ブラックコーティング」９１０を波長選択的フィルタ９００内に含むことによって、２０倍も低減させられることができる。
【0032】
図１１は、いくつかの他の実施形態による、波長選択的フィルタ１１００の概略断面図を図示する。フィルタ１１００は、透明基板１１０２と、基板１１０２の正面表面上に形成される第１の多層薄膜１１１０とを含み得る。第１の多層薄膜１１１０は、図４Ａに図示されるように、ＮＩＲ波長範囲における第１の透過帯域４３０と、可視波長範囲における第２の透過帯域４４０とを有するように構成され得る。フィルタ１１００は、第１の多層薄膜１１１０の外側領域上に形成される第２の多層薄膜１１２０をさらに含み得る。第２の多層薄膜１１２０は、図５に図示される波長選択的フィルタ５００に類似する高域通過フィルタであるように構成され得る。フィルタ１１００は、基板１１０２の背面上に形成される反射防止コーティング１１３０をさらに含み得る。反射防止コーティング１１３０は、基板１１０２の背面から反射される入射光の量を防止または低減させることができる。フィルタ１１００は、反射防止コーティング１１３０の背面上に形成される「ブラックコーティング」１１４０をさらに含み得る。「ブラックコーティング」１１４０は、上で議論されるように、可視光を吸収し、ＮＩＲ光に透過させるように構成され得る。
【0033】
図１２は、いくつかの実施形態による、波長の関数として、「ブラックコーティング」１１４０の透過率曲線１２１０および反射率曲線１２２０を示す。第１の多層薄膜１１１０の透過率曲線１２３０も、示される。図示されるように、「ブラックコーティング」１１４０は、約４００ｎｍ～約７００ｎｍに及ぶ可視波長のための低透過率値と、約８００ｎｍ～約９５０ｎｍに及ぶＮＩＲ波長内の高透過率値とを有するように構成されることができる。「ブラックコーティング」１１４０は、約７００ｎｍ～約８００ｎｍに及ぶ波長において比較的に高反射率値を有し得るが、これは、この波長範囲における光が、主に、第１の多層薄膜１１１０の透過率曲線１２３０によって証明されるように、第１の多層薄膜１１１０によって遮断されるので、波長選択的フィルタ１１００の性能に有意に影響を及ぼさないこともある。
【0034】
「ブラックコーティング」１１４０は、可視波長範囲における低反射率値および低透過率値の両方を有することに留意されたい。したがって、「ブラックコーティング」１１４０は、可視光を実質的に吸収し、それによって、画像センサ６２０から反射された可視光（図９に図示されるように）が、透過させられ、第２の多層薄膜６０６の背面側に入射し、残影画像６２４を画像センサ６２０上に形成することを防止し得る。対照的に、反射防止コーティング１１３０は、通常、低反射率値であるが、高透過率値を有するように構成される。したがって、画像センサ６２０から反射された可視光は、「ブラックコーティング」１１４０の不在下、反射防止コーティング１１３０によって透過させられ、第２の多層薄膜１１２０によって反射され、残影画像６２４を画像センサ６２０上に形成し得る。
【0035】
図１３は、いくつかの実施形態による、波長の関数として、第２の多層薄膜１１２０の反射率曲線１３１０を示す。図示されるように、第２の多層薄膜１１２０は、約８００ｎｍ～約９５０ｎｍに及ぶＮＩＲ波長内のみの低反射率値（したがって、高透過率値）と、全ての他の波長のための比較的に高反射率値とを有するように構成され得る。図１３は、「ブラックコーティング」１１４０の反射率曲線１２２０と、第１の多層薄膜１１１０の透過率曲線１２３０とも示す。図示されるように、可視波長範囲における「ブラックコーティング」１１４０の低反射率値は、可視波長範囲における光の反射を低減させ、それによって、残影画像の強度を低減させ得る。
【0036】
図１４は、本発明のある実施形態による、図２に図示されるような結像システム２００内で使用され得る画像センサ２２０の波長の関数としての例示的量子効率（Ｑ．Ｅ．）曲線１４１０を示す。図示されるように、可視（ＶＩＳ）波長範囲における画像センサ２２０の量子効率は、ＮＩＲ波長範囲における量子効率の４倍であり得る。したがって、低ｆ／＃レンズは、多くの可視光が画像センサ２２０まで結像レンズ２１０を通過することを可能にし得、画像センサ２２０を飽和させ得る。
【0037】
いくつかの実施形態では、図２に図示される結像システム２００内の画像センサ２２０は、光をピクセルセルの２次元アレイの電子に変換する電荷結合素子（ＣＣＤ）または相補的金属酸化物半導体（ＣＭＯＳ）デバイスを備え得る。図１５は、本発明のある実施形態による、画像センサ２２０の平面図を図式的に図示する。画像センサ２２０は、ピクセルセル２２２の２次元アレイを含み得る。各ピクセルセル２２２の蓄積された電荷の値は、画像の強度分布を取得するために読み出され得る。結像システム２００が、可視波長範囲におけるコンピュータビジョンのために使用されるとき、最高可能空間分解能を画像センサ２２０に有することが望ましくあり得る。他方、結像システム２００が、ＮＩＲ波長範囲におけるＴＯＦ深度感知のために使用されるとき、ピクセル分解能を犠牲にして、より多くの光統合を有し、より良好な信号対雑音比（ＳＮＲ）を達成することが有利であり得る。
【0038】
本発明のいくつかの実施形態によると、画像センサ２２０は、可視波長範囲およびＮＩＲ波長範囲のために異なる分解能モードで動作させられ得る。一実施形態では、画像センサ２２０は、可視波長範囲のために、本来の分解能で、すなわち、画像センサの物理的ピクセルサイズがサポートし得る最大可能分解能で動作させられ得る。したがって、可視波長範囲におけるコンピュータビジョンのために、画像センサ２２０は、各ピクセルセル２２２内の蓄積された電荷が読み出されるように動作させられ得る。
【0039】
ＮＩＲ波長範囲のために、画像センサ２２０は、より多くの光統合のために、本来の分解能より低い分解能で動作させられ得る。図１６は、本発明のある実施形態による、画像センサ２２０の動作モードを図式的に図示する。ピクセルセル２２２の２次元アレイが、２×２グループ２２４にビニングされ得る。各グループ２２４は、４つのピクセルセル２２２ａ－２２２ｄを含む。この動作モードは、画像センサピクセルビニングと称され得る。他の実施形態では、他のビニング構成も、使用され得る。例えば、画像センサ２２０のピクセルセル２２２は、ｎ×ｎグループにビニングされ得、ｎは、２以上の整数である。画像センサのピクセルは、ｍ×ｎグループにもビニングされ得、ｍおよびｎは、整数であり、ｍおよびｎのうちの少なくとも１つは、１を上回り、ｍは、ｎと等しいことも、等しくないこともある。ピクセルをビニングすることによって、空間分解能は、本来の分解能と比較して低減させられ得る。画像センサ２２０が、波長選択的フィルタ２１４、５００、６００、９００、または１１００を含む結像システム内で使用されるとき、結像システムの空間分解能（例えば、変調伝達関数またはＭＴＦによって測定されるように）は、より大きい有効開口サイズにより、ＮＩＲ波長範囲内でより低くあり得ることから、画像センサにおける空間分解能の低減は、有害ではないこともある。より多くの光統合がビニングによってもたらされる場合、比較的に低電力レーザ源が、能動照明のために使用され得る。より低い電力照明は、他の利点の中でもとりわけ、より低いコスト、より小さい形状因子、およびより低い電力消費につながり得る。
【0040】
一実施形態では、ビニングは、アナログレベルで実施され得、各グループ内のｍ×ｎピクセルに対する総蓄積電荷の値が、読み出される。そのような場合、読み出し雑音は、追加されない。別の実施形態では、ビニングは、デジタルレベルで実施され得、各ピクセルのために蓄積された電荷の値が、読み出され、各グループ内のｍ×ｎピクセルに対する読み出し値は、次いで、総和される。そのような場合、読み出し雑音が、総和プロセス内に追加される。したがって、後者実施形態は、読み出し雑音が比較的に低い場合、より適切であり得る。
【0041】
上で説明されるように、図２に図示される結像システム２００は、波長選択的フィルタ２１４をその開口絞りにおいて利用することによって、ＮＩＲ光のためのより低いＦ値と、可視光のためのより高いＦ値とによって特徴付けられ得る結像レンズ２１０と、ピクセルビニングを使用したＮＩＲ光のためのより低い分解能モードと、可視光のためのより高い分解能モードとで動作させられ得る画像センサ２２０とを含む。結像システム２００は、より高速のレンズおよびより多い光統合が所望されるＮＩＲ波長範囲における能動照明を伴うＴＯＦ深度センサだけではなく、より高い画像分解能およびより大きい被写界深度が所望される可視波長範囲における受動照明を伴うコンピュータビジョンセンサとしての使用にも好適であり得る。
【0042】
図１７は、本発明の別の実施形態による、結像システム１７００を図示する概略図である。結像システム１７００は、複数のレンズ要素１７０２ａ－１７０２ｆと、開口絞り２１２に位置付けられるフィルタ２１４とを含み得る。結像システム８００は、フィルタ２１４後の光学経路内に位置付けられるダイクロイックビームスプリッタ１７１０をさらに含み得る。ダイクロイックビームスプリッタ１７１０は、可視光に第１の光学経路に沿って透過させ、ＩＲ光を第２の光学経路に沿って反射するように構成され得る。結像システム１７００は、可視光のための第１の画像センサ１７２０（ＶＩＳセンサ）と、ＩＲ光のための第２の画像センサ１７３０（ＩＲセンサ）とをさらに含み得る。第１の画像センサ１７２０は、第１の光学経路に沿って配置され、ダイクロイックビームスプリッタ１７１０によって透過させられる可視光を受け取るように構成される。第２の画像センサ１７３０は、第２の光学経路に沿って配置され、ダイクロイックビームスプリッタ１７１０によって反射されたＩＲ光を受け取るように構成される。この方式では、可視光およびＩＲ光は、それぞれ、第１の画像センサ１７２０および第２の画像センサ１７８３０によって、同時に結像され得る。この構成では、第１の画像センサ１７２０への第１の光学経路および第２の画像センサ１７３０への第２の光学経路は、互いに垂直である。
【0043】
図１８は、本発明のさらに別の実施形態による、結像システム１８００を図示する概略図である。結像システム１８００も、フィルタ２１４後に位置付けられ、可視光に第１の光学経路に沿って透過させ、ＩＲ光を第２の光学経路に沿って反射するように構成されるダイクロイックビームスプリッタ１７１０を含むという点で、結像システム１７００に類似する。結像システム１８００は、第２の光学経路に沿って位置付けられ、ＩＲ光を第２の画像センサ１７３０に向かって反射するように構成されるミラー１８１０をさらに含む。この構成では、第１の画像センサ１７２０への第１の光学経路および第２の画像センサ１７３０への第２の光学経路は、互いに平行である。結像システム１８００は、ＩＲ光を第２の画像センサ１７３０に再集束させるために、第２の光学経路に沿ってミラー１８１０後に位置付けられるレンズ要素１８２０をさらに含み得る。
【0044】
図１９は、本発明のある実施形態による、結像システムを動作させる方法１９００を図示する簡略化されたフローチャートである。方法１９００は、結像システムを使用して３次元感知を実施することを含む。いくつかの実施形態では、３次元感知を実施することは、第１の時間スロット内で実施される。結像システムは、近赤外線（ＮＩＲ）光源と、結像レンズと、結像レンズの結像面に位置付けられた画像センサとを含み得る。
【0045】
ある実施形態では、３次元感知は、ＮＩＲ光源を使用して、複数のＮＩＲ光パルスを１つ以上の第１のオブジェクトに向かって放出すること（１９１０）によって実施され得る。複数のＮＩＲ光パルスの各々の一部が、１つ以上の第１のオブジェクトから反射され得る。方法は、結像レンズを使用して、１つ以上の第１のオブジェクトから反射される複数のＮＩＲ光パルスの各々の一部を受け取り、画像センサ上に集束させること（１９１２）も含む。結像レンズは、開口絞りと、開口絞りに位置付けられた波長選択的フィルタとを含み得る。波長選択的フィルタは、第１の領域と、第１の領域を包囲する第２の領域とを有し得る。一実施形態では、波長選択的フィルタは、ＮＩＲ光を第１の領域および第２の領域の両方に透過させ、可視光に第１の領域のみを透過させるように構成される。方法は、画像センサを使用して、放出から検出までの複数のＮＩＲ光パルスの各々の一部のための飛行時間を決定することによって、１つ以上の第１のオブジェクトの３次元画像を検出すること（１９１４）をさらに含む。
【0046】
方法１９００は、結像システムを使用して第２の時間スロット内でコンピュータビジョンを実施することをさらに含む。コンピュータビジョンを実施することは、第１の時間スロットに続いて、第２の時間スロット内で実施され得る。ある実施形態では、コンピュータビジョンは、結像レンズを使用して、１つ以上の第２のオブジェクトから反射された周囲光源からの可視光を受け取り、画像センサ上に集束させること（１９１６）と、画像センサを使用して、１つ以上の第２のオブジェクトの２次元強度画像を検出すること（１９１８）とによって実施され得る。いくつかの実施形態では、第２のオブジェクトのうちのいくつかは、上で説明されるステップ１９１０－１９１４において結像された第１のオブジェクトのうちのいくつかと同一であり得る。
【0047】
本発明のある実施形態によると、画像センサは、ピクセルの２次元アレイを含む。いくつかの実施形態では、１つ以上の第１のオブジェクトの３次元画像を検出することは、ｍ×ｎピクセルの各グループに対して電荷の総量を読み出すことによって実施され、ｍおよびｎは、整数であり、ｍおよびｎのうちの少なくとも１つは、２以上である。いくつかの他の実施形態では、１つ以上の第１のオブジェクトの３次元画像を検出することは、ピクセルの２次元アレイの各ピクセルに対して電荷の量を読み出すことと、各グループ内のｍ×ｎピクセルの電荷の量を総和することによって、ｍ×ｎピクセルの各グルーに対する電荷の総量を計算することとによって実施され、ｍおよびｎは、整数であり、ｍおよびｎのうちの少なくとも１つは、２以上である。
【0048】
一実施形態では、１つ以上の第２のオブジェクトの２次元強度画像を検出することは、ピクセルの２次元アレイの各ピクセルに対して電荷の量を読み出すことによって実施される。
【0049】
いくつかの実施形態では、方法１９００は、３次元感知およびコンピュータビジョンをシーケンシャル時間スロットにおいて交互に実施することを含み得、各スロットの持続時間は、約１ｍｓ～約５０ｍｓに及び得る。
【0050】
【0051】
図１９に図示される具体的ステップは、本発明のある実施形態による特定の方法１９００を提供することを理解されたい。ステップの他のシーケンスも、代替実施形態に従って実施され得る。例えば、本発明の代替実施形態は、異なる順序で上で概略されたステップを実施し得る。さらに、図１９に図示される個々のステップは、個々のステップの必要に応じて種々のシーケンスで実施され得る複数のサブステップを含み得る。さらに、追加のステップが、特定の用途に応じて追加または除去され得る。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0052】
本明細書に説明される例および実施形態は、例証的目的のためだけのものであり、種々の修正または変更が、それに照らして、当業者に示唆され、本願の精神および範疇ならびに添付の請求項の範囲内に含まれるべきであることも理解されたい。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
