(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-19
(54)【発明の名称】イメージング・システム
(51)【国際特許分類】
G01S 17/894 20200101AFI20231212BHJP
G01S 7/484 20060101ALI20231212BHJP
G01C 3/06 20060101ALI20231212BHJP
G06T 7/521 20170101ALI20231212BHJP
H04N 23/56 20230101ALI20231212BHJP
H04N 23/95 20230101ALI20231212BHJP
【ＦＩ】
G01S17/894
G01S7/484
G01C3/06 120Q
G01C3/06 140
G06T7/521
H04N23/56
H04N23/95
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023528985
(86)(22)【出願日】2021-11-24
(85)【翻訳文提出日】2023-07-18
(86)【国際出願番号】 EP2021082877
(87)【国際公開番号】W WO2022112360
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】2018504.7
(32)【優先日】2020-11-25
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】523178385
【氏名又は名称】ライトコード フォトニクス オサウヒング
【氏名又は名称原語表記】ＬＩＧＨＴＣＯＤＥ ＰＨＯＴＯＮＩＣＳ ＯＵ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】ヴァルドマン、アンドレアス
(72)【発明者】
【氏名】ヴァルトナ、ヘリ
(72)【発明者】
【氏名】ボグダノフ、ヤン
(72)【発明者】
【氏名】オメルコフ、セルゲイ
【テーマコード（参考）】
2F112
5C122
5J084
5L096
【Ｆターム（参考）】
2F112AD01
2F112BA06
2F112CA12
2F112DA25
2F112DA28
2F112EA05
2F112EA11
2F112FA03
2F112FA21
2F112FA45
2F112GA01
5C122DA13
5C122FD04
5C122FH11
5C122GG10
5C122GG28
5C122HB01
5J084AA05
5J084AD01
5J084BA04
5J084BA07
5J084BA13
5J084BA18
5J084BA36
5J084BA40
5J084CA03
5J084CA31
5J084CA65
5J084CA67
5J084DA01
5J084EA40
5L096AA06
5L096AA09
5L096BA04
5L096CA04
5L096CA17
5L096DA01
5L096FA66
(57)【要約】
シーンをイメージングする方法は、照明パターンの系列(50)を用いてシーンを照明すること、および、センサを使用して前記系列の各照明パターンに対する前記シーンからの反射を検出することを含み、前記照明パターンの前記系列は、第１解像度を有する前記シーンの第１画像を構成するように構成され、第１解像度はセンサの解像度よりも高い。前記照明パターンの系列は、第２解像度を有する前記シーンの第２画像を構成するように構成された、照明パターンの第１サブセット(51)を含み、第２解像度は第１解像度より低い。該方法は、さらに、前記系列の照明パターンに対する、検出された反射を使用して、第１解像度を有する前記シーンの第１画像(56)を構成すること、および前記照明パターンの前記第１サブセットに対する、検出された反射を使用して第２解像度を有するシーンの第２画像(52)を構成することを含む。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
シーンをイメージングする方法であって、該方法は、前記シーンを照明すること、および、
センサを使用して複数のパターンの系列の各パターンに対する前記シーンからの反射を検出すること、
を含み、
前記複数のパターンの前記系列は、第１解像度を有する前記シーンの第１画像を構成するように構成され、前記第１解像度は前記センサの解像度よりも高く、
前記複数のパターンの前記系列は、前記複数のパターンの第１サブセットを含み、前記複数のパターンの前記第１サブセットは、第２解像度を有する前記シーンの第２画像を構成するように構成され、前記第２解像度は前記第１解像度より低く、かつ、
該方法は、さらに、
前記系列の前記複数のパターンに対して検出された前記反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成すること、および
前記複数のパターンの前記第１サブセットに対して検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成すること、を含むこと
を特徴とする方法。
【請求項2】
前記第２解像度は前記センサの解像度よりも高いことを特徴とする請求項１に記載の方法。
【請求項3】
複数の照明パターンの系列を使用して前記シーンを照らすこと、および、前記系列の各照明パターンに対する前記シーンからの反射を検出するために前記センサを使用すること、を含むこと
を特徴とする請求項１または２に記載の方法。
【請求項4】
複数の検出パターンの系列の各検出パターンに対する、前記シーンからの反射を検出するために前記センサを使用すること、を含むことを特徴とする請求項１または２に記載の方法。
【請求項5】
前記複数のパターンの系列は、前記第１解像度を有する前記シーンの画像を構成するためのフルパターン・セットを含み、かつ／または前記複数のパターンの前記第１サブセットは、前記第２解像度を有する前記シーンの画像を構成するためのフルパターン・セットを含むこと
を特徴とする請求項１から請求項４のいずれか１項に記載の方法。
【請求項6】
前記複数のパターンの第１サブセットは、前記系列の末尾前に配置され、かつ／又は前記方法が、前記複数のパターンの前記系列のすべてのパターンに対して反射が検出される前に、前記第２画像を構成することを含むこと
を特徴とする請求項１から請求項５のいずれか１項に記載の方法。
【請求項7】
前記第２画像が一つ又は複数の特性を有するかどうかを判定することと、前記判定に基づいて一つ又は複数の後続するパターンを制御すること、とをさらに含むこと
を特徴とする請求項１から請求項６のいずれか１項に記載の方法。
【請求項8】
前記判定に基づいて前記一つ又は複数の後続するパターンを制御することは、前記判定に基づいて前記系列の一つ又は複数の残りのパターンを制御すること、および／または、
前記判定に基づいて、複数のパターンからなる後続する系列の、一つ又は複数のパターンを制御すること、を含むこと
を特徴とする請求項７に記載の方法。
【請求項9】
前記第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むか否かを判定するステップを含み、前記第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むと判定したとき、前記方法は、
一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域内における、一つ又は複数の後続する照明パターンの照明強度を変更すること、かつ／又は、
一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域内おける、一つ又は複数の後続する検出パターンの検出強度かつ／又は検出効率を変化させること、をさらに含むこと
を特徴とする請求項１から請求項８のいずれか１項に記載の方法。
【請求項10】
前記第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むか否かを判定することは、前記第２画像が一つ又は複数の明るい領域を含むか否かを判定することを含み、前記第２画像が一つ又は複数の明るい領域および／または一つ又は複数の望ましくない領域を含むと判定した場合、前記方法は、
前記一つ又は複数の明るい領域内において一つ又は複数の後続の照明パターンの照明強度を低下させ、かつ／又は、
前記一つ又は複数の明るい領域内において一つ又は複数の後続の検出パターンの検出強度および／または検出効率を低下させること、を含むこと
を特徴とする請求項９に記載の方法。
【請求項11】
前記パターンの系列は、パターンの第２サブセットを含み、前記パターンの第２サブセットは、第３解像度を有する前記シーンの第３画像を構成することができるように構成され、
前記第３解像度は、前記第１解像度よりも低く、かつ、本方法は、
前記第３解像度を有する前記シーンの第３画像を構成するために、前記パターンの第２サブセットに対する、検出された反射を使用すること、をさらに含むこと
を特徴とする請求項１から請求項１０のいずれか１項に記載の方法。
【請求項12】
前記パターンの第２サブセットは、第２の系列の末尾前に配置され、かつ／又は、本方法が、前記系列の前記パターンのすべてに対して反射が検出される前に、前記第３画像を構成すること、を含むこと
を特徴とする請求項１１に記載の方法。
【請求項13】
前記第３画像を前記第２画像と比較すること、および、前記比較に基づいて一つ又は複数の後続パターンを制御することをさらに含むこと
を特徴とする請求項１１または１２に記載の方法。
【請求項14】
前記第３画像と前記第２画像とを比較すること、および、前記比較に基づいて、前記シーンが移動体を含むかどうかを判断すること、をさらに含むこと
を特徴とする請求項１１、１２、または１３に記載の方法。
【請求項15】
プログラムがデータ処理装置上で実行されるときに、請求項１から１４のいずれか１項に記載の方法を実行するためのコンピュータソフトウェアコードを含むことを特徴とするコンピュータプログラム。
【請求項16】
画像処理システムであって、該画像処理システムは、複数のパターンの系列に対するシーン反射が検出されるように、前記画像処理システムを制御するように構成された処理回路と、
前記系列の各パターンに対する前記シーンからの反射を検出するように構成されたセンサから情報を受信するように構成された処理回路と、を有し、
前記複数のパターンの前記系列は、第１解像度を有する前記シーンの第１画像を構成することができるように構成され、該第１解像度は前記センサの解像度より高く、
前記パターンの前記系列は、前記パターンの第１サブセットを含み、該パターンの第１サブセットは、第２解像度を有する前記シーンの第２画像を構成することができるように構成され、該第２解像度は前記第１解像度より低く、
前記画像処理システムはさらに処理回路を含み、該処理回路は、
前記系列の前記パターンに対する、検出された反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成し、かつ、
前記パターンの前記第１サブセットに対する、検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成するように構成されていること
を特徴とするシステム。
【請求項17】
イメージング・システムであって、該イメージング・システムは、シーンを照らすように構成された一つ又は複数のソースと、
複数のパターンの系列内の各パターンに対する、前記シーンからの反射を検出するように構成されたセンサと、を含み、
前記複数のパターンの系列は、第１解像度を有する前記シーンの第１画像が構成されることができるように構成され、前記第１解像度は前記センサの解像度よりも高く、
前記パターンの系列は、パターンの第１サブセットを含み、該パターンの第１サブセットは、第２解像度を有する前記シーンの第２画像が構成されることができるように構成され、該第２解像度は前記第１解像度より低く、かつ、
前記イメージング・システムは、処理回路をさらに備え、該処理回路は、
前記系列の前記パターンに対する、検出された反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成し、かつ、
前記パターンの第１サブセットに対する、検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成するように構成されていること
を特徴とするシステム。
【請求項18】
前記第２解像度は、前記センサの解像度よりも高いことを特徴とする請求項１６または１７に記載のシステム。
【請求項19】
前記一つ又は複数のソースは、照明パターンの系列を使用して前記シーンを照明するように構成され、かつ、前記センサは、前記系列の各照明パターンに対する、前記シーンからの反射を検出するように構成されることを特徴とする請求項１６、１７、または１８に記載のシステム。
【請求項20】
前記センサは、検出パターンの系列内の各検出パターンに対する、前記シーンからの反射を検出するように構成されることを特徴とする請求項１６、１７、または１８に記載のシステム。
【請求項21】
前記パターンの系列は、前記第１解像度を有する前記シーンの画像を構成するためのフルパターン・セットを含み、かつ／または前記パターンの第１サブセットは、前記第２解像度を有する前記シーンの画像を構成するためのフルパターン・セットを含むこと
を特徴とする請求項１６から２０のいずれか１項に記載のシステム。
【請求項22】
前記パターンの第１サブセットは、前記系列の末尾前に配置され、かつ／又は前記システムは、前記系列のすべてのパターンに対する反射が検出される前に、前記第２画像を構成するように構成されること
を特徴とする請求項１６から２１のいずれか１項に記載のシステム。
【請求項23】
前記システムは、前記第２画像が一つ又は複数の特性を有するか否かを判定し、かつ、前記判定に基づいて前記系列の残りの一つ又は複数のパターンを制御し、かつ／又は前記判定に基づいて前記系列の次に続く系列の一つ又は複数のパターンを制御するように構成されること
を特徴とする請求項１６から２２のいずれか１項に記載のシステム。
【請求項24】
前記システムは、前記第２画像が一つ又は複数の関心領域および／または、一つ又は複数の望ましくない領域を含むかどうかを判定し、
前記第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むと判定した場合に、
一つ又は複数の関心領域および／または、一つ又は複数の望ましくない領域内において、一つ又は複数の後続の照明パターンの照明強度を変更すること、および／または、
一つ又は複数の関心領域および／または、一つ又は複数の望ましくない領域内において、一つ又は複数の後続の検出パターンの検出強度かつ／又は検出効率を変更すること、を行うように構成されること
を特徴とする請求項１６から２３のいずれか１項に記載のシステム。
【請求項25】
前記システムは、前記第２画像が一つ又は複数の明るい領域を含むか否かを判定することによって、前記第２画像が一つ又は複数の関心領域および／または、一つ又は複数の望ましくない領域を含むか否かを判定し、かつ、
前記第２画像に一つ又は複数の明るい領域が含まれると判定した場合に、
前記一つ又は複数の明るい領域内において、一つ又は複数の後続の照明パターンの照明強度を低下させること、および／または
前記一つ又は複数の明るい領域内において、一つ又は複数の後続の検出パターンの検出強度および／または検出効率を低下させること、を行うように構成されていること
を特徴とする請求項２４に記載のシステム。
【請求項26】
前記パターンの系列はパターンの第２サブセットを含み、該パターンの第２サブセットは、第３解像度を有する前記シーンの第３画像を構成することができるように構成され、前記第３解像度は前記第１解像度よりも低く、前記システムは、前記パターンの第２サブセットに対する、検出された反射を使用して、前記第３解像度を有する前記シーンの前記第３画像を構成するように構成されていること
を特徴とする請求項１６から２５のいずれか１項に記載のシステム。
【請求項27】
前記パターンの第２サブセットは、前記系列の末尾の前に配置され、かつ／または前記システムは、前記シーンが前記系列の全てのパターンで照明される前に、前記第３画像を構成するように構成され、かつ／または、
前記システムは、前記検出パターの系列の全ての検出パターンを用いて反射が検出される前に、前記第３画像を構成するように構成されること
を特徴とする請求項２６に記載のシステム。
【請求項28】
前記システムは、前記第３画像と前記第２画像とを比較し、前記比較に基づいて一つ又は複数の後続パターンを制御するように構成されることを特徴とする請求項２６または２７に記載のシステム。
【請求項29】
前記システムは、前記第３画像と前記第２画像とを比較し、前記比較に基づいて前記シーンが移動体を含むか否かを判定するように構成されることを特徴とする請求項２６、２７または２８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載された技術は、一般に、例えばＬｉＤＡＲ（Light Detection and Ranging）イメージング方法およびＬｉＤＡＲイメージング・システム等のイメージング方法、画像再構成アルゴリズム、およびイメージング・システムに関する。
【背景技術】
【0002】
現在、旅客や貨物の移動用の自動運転車や運転支援システムの開発が進められている。自動運転車は、ナビゲーション用の精確なリアルタイムの３Ｄマップを作成するために、３Ｄイメージング手法を利用する。理想的な車載イメージング・システムは、遠方視野、広角視野、３軸すべてでの高解像度、高フレームレート、高ダイナミックレンジ（コントラスト）、レーザ安全規格への準拠、コンパクトサイズ、低コストといった特徴を兼ね備えている。
【0003】
これらの特徴の判定基準の多くは、相互に関連し、あるいは相互に排他的である。例えば、後方反射光の強度は物体距離の二乗に比例して減少するため、システムの測距範囲を改善するには、放射される光のパワーを上げる（レーザの安全性により制限される）、合成時間を増大させる（フレームレートが低下する）、より多量の光を集めるために大きな光学部品を使う（システムのサイズとコストが増加）、ノイズの多い信号を扱う（ダイナミックレンジが低下しアーチファクトが発生する可能性）等が必要となる。そのため、既存のＬｉＤＡＲでは、設計上の妥協をして、上記の要件の一部を満たす一方で、他の要件を犠牲にしている。
【0004】
異なる３Ｄイメージング・システム、例えば、狭角の遠方視野システムと広角の近辺システム等、を同時に使用することは可能である。しかし、この場合、センサパッケージのコストと複雑さが増し、これらの基準が量産車よりも緩やかな自立運転プラットフォームのテスト段階でのみ適用可能である。もう一つの可能性は、システムの一部を異なるモード間で切り替え可能にすることである。例えば、ズームレンズのような可変光学系を使用して、システムの視野を変えることができる。しかし、この場合、エンドユーザーや自立運転システムは、現在の状況に最適なモードを決定しなければならず、最適でないモードで動作すると重要な情報が失われる可能性がある（例えば、視野を狭いモードに設定すると、横から出現する危険を見逃すことがある）。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、異なるイメージングモードで同時に動作し、信頼性の高い最適なデータを常にユーザーに出力することができる真の適応型システムが必要とされている。
出願人は、イメージング方法とイメージング・システムに対し改良の余地が残されていると考えている。
出願人は、イメージング方法とイメージング・システムに対し改良の余地が残されていると考えている。
【課題を解決するための手段】
【0006】
第１の態様によれば、シーンをイメージングする方法が開示され、該方法は、
複数の照明パターンの系列を用いてシーンを照明すること、および、
センサを使用して前記系列の各照明パターンに対する前記シーンからの反射を検出すること、
を含み、
前記複数の照明パターンの前記系列は、第１解像度を有する前記シーンの第１画像を構成するように構成され、前記第１解像度は前記センサの解像度よりも高く、
前記照明パターンの前記系列は、前記照明パターンの第１サブセットを含み、前記照明パターンの前記第１サブセットは、第２解像度を有する前記シーンの第２画像を構成するように構成され、前記第２解像度は前記第１解像度より低く、かつ、
該方法は、さらに、
前記系列の前記照明パターンに対して検出された前記反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成すること、および
前記照明パターンの前記第１サブセットに対して検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成すること、
を含む。
複数の照明パターンの系列を用いてシーンを照明すること、および、
センサを使用して前記系列の各照明パターンに対する前記シーンからの反射を検出すること、
を含み、
前記複数の照明パターンの前記系列は、第１解像度を有する前記シーンの第１画像を構成するように構成され、前記第１解像度は前記センサの解像度よりも高く、
前記照明パターンの前記系列は、前記照明パターンの第１サブセットを含み、前記照明パターンの前記第１サブセットは、第２解像度を有する前記シーンの第２画像を構成するように構成され、前記第２解像度は前記第１解像度より低く、かつ、
該方法は、さらに、
前記系列の前記照明パターンに対して検出された前記反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成すること、および
前記照明パターンの前記第１サブセットに対して検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成すること、
を含む。
【0007】
第２の態様によればイメージング装置が開示され、該装置は、
照明パターンの系列を用いてシーンを照明するように構成された一つ又は複数のソース、および
前記系列の各照明パターンに対する前記シーンからの反射を検出するように構成されたセンサと、
を含み、ここで、
前記照明パターンの前記系列は、第１解像度を有する前記シーンの第１画像が構成されるように構成され、前記第１解像度は前記センサの解像度よりも高く、
前記照明パターンの前記系列は、前記照明パターンの第１サブセットを含み、前記照明パターンの前記第１サブセットは、第２解像度を有する前記シーンの第２画像が構成されるように構成され、前記第２解像度は前記第１解像度より低く、
前記装置はさらに処理回路を備え、該処理回路は、
前記系列の前記照明パターンに対して検出された前記反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成すること、および
前記照明パターンの前記第１サブセットに対して検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成することと、
を実行する。
照明パターンの系列を用いてシーンを照明するように構成された一つ又は複数のソース、および
前記系列の各照明パターンに対する前記シーンからの反射を検出するように構成されたセンサと、
を含み、ここで、
前記照明パターンの前記系列は、第１解像度を有する前記シーンの第１画像が構成されるように構成され、前記第１解像度は前記センサの解像度よりも高く、
前記照明パターンの前記系列は、前記照明パターンの第１サブセットを含み、前記照明パターンの前記第１サブセットは、第２解像度を有する前記シーンの第２画像が構成されるように構成され、前記第２解像度は前記第１解像度より低く、
前記装置はさらに処理回路を備え、該処理回路は、
前記系列の前記照明パターンに対して検出された前記反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成すること、および
前記照明パターンの前記第１サブセットに対して検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成することと、
を実行する。
【0008】
第３の態様によれば、以下の構成を備える画像処理システムが提供される。該画像処理システムは、
複数の照明パターンの系列を用いてシーンを照明するために一つ又は複数のソースを制御するように構成された処理回路と、
前記系列の各照明パターンに対する前記シーンからの反射を検出するように構成されたセンサから情報を受信するように構成された処理回路と、を有し、ここで、
前記複数の照明パターンの前記系列は、第１解像度を有する前記シーンの第１画像を構成することができるように構成され、該第１解像度は前記センサの解像度より高く、
前記照明パターンの前記系列は、前記照明パターンの第１サブセットを含み、該照明パターンの第１サブセットは、第２解像度を有する前記シーンの第２画像を構成することができるように構成され、該第２解像度は前記第１解像度より低く、
前記システムはさらに処理回路を含み、該処理回路は、
前記系列の前記照明パターンに対する、検出された反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成し、かつ、
前記照明パターンの前記第１サブセットに対する、検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成するように構成されている。
複数の照明パターンの系列を用いてシーンを照明するために一つ又は複数のソースを制御するように構成された処理回路と、
前記系列の各照明パターンに対する前記シーンからの反射を検出するように構成されたセンサから情報を受信するように構成された処理回路と、を有し、ここで、
前記複数の照明パターンの前記系列は、第１解像度を有する前記シーンの第１画像を構成することができるように構成され、該第１解像度は前記センサの解像度より高く、
前記照明パターンの前記系列は、前記照明パターンの第１サブセットを含み、該照明パターンの第１サブセットは、第２解像度を有する前記シーンの第２画像を構成することができるように構成され、該第２解像度は前記第１解像度より低く、
前記システムはさらに処理回路を含み、該処理回路は、
前記系列の前記照明パターンに対する、検出された反射を使用して、前記第１解像度を有する前記シーンの第１画像を構成し、かつ、
前記照明パターンの前記第１サブセットに対する、検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成するように構成されている。
【0009】
本明細書に記載の技術は、照明パターンの系列を用いてシーンを照明し、前記系列の各照明パターンに対して前記シーンからの反射を検出するための、該シーンをイメージングする方法（及びイメージング・システム）に関する。本明細書に記載の技術では、前記照明パターンの系列は、第１解像度を有する前記シーンの画像を構成できるように構成され、前記第１解像度は前記反射を検出するために用いられるセンサの解像度よりも高く、前記第１解像度を有する前記シーンの第１画像は、前記系列の前記照明パターンに対して検出された反射を使用して構成される。
【0010】
これに加えて（かつ、既知の技術とは対照的に）、本明細書に記載の技術では、前記照明パターンの系列は、照明パターンの第１サブセット（例えば、前記系列の末尾前に前記系列に出現するパターン）を含むように構成され、前記照明パターンの前記第１サブセットは、第２解像度を有する前記シーンの第２画像が構成されるように構成され、前記第２解像度は前記第１解像度よりも低く（かつ、オプションでセンサの解像度よりも高く）、前記シーンの第２画像が前記第１サブセットの前記照明パターンに対して検出された前記反射を使用して構成される。
【0011】
以下に、より詳細に説明するように、出願人は、照明パターンの系列を使用して構成することができる前記シーンの第１の（例えば、「フル」または「高」解像度の）画像に加えて、前記シーンの第２の低解像度の画像を、前記系列のパターンのサブセット（すなわち、全体より少ないパターン）を使用して構成できることを認識した。
【0012】
さらに、以下でより詳細に説明するように、こうして生成された前記第２画像は、例えば、前記照明パターンの系列における残りの照明パターンを制御し、かつ／又は後続の照明パターンの系列を制御するために、使用することができる。これにより、結果的に、イメージング処理に対する柔軟性および制御性を著しく改善することができる。
【0013】
したがって、本明細書に記載の技術は、シーンをイメージングする改善された方法、および改善されたイメージング・システムを提供することわかる。
【0014】
一つまたは複数のソースは、（異なる）複数の照明パターンの一つの系列でシーンを照明することができる任意の適切な電磁放射線（例えば光線の）ソース（複数可）を含むことができる。
【0015】
前記一つ又は複数のソースは、任意の（最大の）視野（例えば、ソース（複数可）が照明することができる立体角）を有し、その視野内のシーンの一部を照明するように構成することができる。前記一つ又は複数のソースは、前記視野が固定又は可変な方向かつ／又はサイズを有するように構成することができる。
前記一つのソース又は複数のソースの各々は、例えばパルスレーザのようなレーザ等の、電磁放射線の適切なソースを含むことができる。
前記イメージング装置は、単一のソース、又は、複数のソースを含むことができる。
前記一つのソース又は複数のソースの各々は、例えばパルスレーザのようなレーザ等の、電磁放射線の適切なソースを含むことができる。
前記イメージング装置は、単一のソース、又は、複数のソースを含むことができる。
【0016】
様々な特定の実施形態では、一つ又は複数のソースは、電磁放射（例えば光）ソースの１Ｄ（ライン）アレイまたは２Ｄアレイ等の複数の電磁放射（例えば光）ソースのアレイを構成する。アレイを構成するのに適したソースとしては、例えば、垂直共振器型面発光レーザ（ＶＣＳＥＬ： Vertical-Cavity Surface-Emitting Laser）等の固体レーザが挙げられる。アレイは、規則的なアレイ（正方形または長方形のアレイ等）、または不規則なアレイ等、任意の所望の構成を有することができる。
【0017】
これらの実施形態において、アレイ内のソースは、互いに同じ向き（例えば、アレイの平面に垂直な向き）を有することができる、かつ／又は、各ソースは、アレイ内で固定された一つの向きを有することができる。アレイの各ソースは、各ソースがシーン（の異なる部分）を選択的に照明するために（すなわち、各ソースがオンまたはオフになるように）使用することができるように、独立して制御可能にすることができる。それぞれの異なるパターンに対して、アレイの異なるソースがオン／オフするようにアレイを制御することによって、異なる照明パターンを形成することができる。
【0018】
他の様々な実施形態では、一つ又は複数のソースは、一つのソースによって放射される電磁放射（例えば光）の向きが可変になるように構成された一つ又は複数のソース（単一のソース等）を構成することができる。例えば、ソース自体の向きが可変であっすることができるし、ソースによって放射される電磁放射（例えば光）の向きを変化させるためにミラーを使用することができる。
【0019】
これらの実施形態では、一つ又は複数のまたは各ソースを使用してシーン（またはシーンの異なる部分）を選択的に照明することができるように、電磁放射の向きを制御することができる（そして、一つ又は複数のまたは各ソースを独立して（すなわち、オンまたはオフできるように）制御可能にすることができる。異なる照明パターンは、電磁放射の向きを制御することによって（例えば、ソースかつ／又はミラーを走査することによって）、シーンの異なる部分が異なるパターン各々に関して照明される／されないようにして、形成することができる。
したがって、一つ又は複数のソースは、多画素ソース、又は走査ソースを構成することができる。
したがって、一つ又は複数のソースは、多画素ソース、又は走査ソースを構成することができる。
【0020】
他の様々な実施形態が可能である。例えば、一つ又は複数の電磁放射ソースをミラーのアレイと共に用いれば、マルチピクセルソースを構成することが可能である。また、一つ又は複数のソースがホログラフィックソースを構成することもできる。
【0021】
センサは、（一つ又は複数のソースから放射された電磁放射（例えば光）の）シーンからの反射を検出することができる任意の適切な電磁放射（例えば光）センサから構成することができる。センサは、例えば、一つ又は複数のフォトダイオード、電荷結合素子（ＣＣＤ）等から構成することができる。
【0022】
センサ（複数可）は、特定の解像度、すなわち（総）画素数Ｐ（Ｐは正の整数である）を有する。センサは、単一画素センサ（Ｐ＝１）または多画素センサ（Ｐ＞１）にすることができる。
【0023】
様々な特定の実施形態において、センサは、１Ｄ（ライン）アレイピクセルまたは２Ｄアレイピクセル等の、複数のピクセルのアレイを含むことができる。アレイは、規則的なアレイ（正方形または長方形のアレイ等）、または不規則なアレイ等、任意の所望の構成を持つことができる。
【0024】
アレイは、例えば、単一光子アバランシェダイオード（ＳＰＡＤ： Single Photon Avalanche Diode）アレイ、またはガイガーモードアバランシェフォトダイオード（ＧｍＡＰＤ： Geiger mode Avalanche Photo Diode）アレイのような単一光子受光固体検出器アレイを含むことができる。もちろん、他の構成も可能である。
【0025】
センサは、各照明パターンの系列に対して、シーンからの反射を検出するように構成される。したがって、センサは、（反射された電磁放射線の）画像の系列をキャプチャするように構成され、ここで、キャプチャ画像の各々は、それぞれ、照明パターンの系列の単一の照明パターンに（だけ）対応する。これを行うために、イメージング・システムは、センサ及び一つ又は複数のソースの動作が適切に同期するように構成することができる。
【0026】
本明細書に記載された技術では、シーンは、照明パターンの系列で照明される。すなわち、シーンは、（異なる）照明パターンの系列の各々のパターンで順番に（一つずつ）照明される。
【0027】
照明パターンとは、（一つ又は複数のソースを持つ）イメージング・システムの視野内の照明強度分布のことである。
照明パターンは、２値、すなわち、二つの異なる照明レベル（例えば、照明された領域及び照明されてない領域）を有する。あるいは、照明パターンは、多数のレベル、すなわち、離散的な数の異なる照明レベルを含むようにすることができる。あるいは、照明パターンは、照明強度が異なる領域の視野の間で滑らかに変化する、連続的なものであっすることができる。
照明パターンは、２値、すなわち、二つの異なる照明レベル（例えば、照明された領域及び照明されてない領域）を有する。あるいは、照明パターンは、多数のレベル、すなわち、離散的な数の異なる照明レベルを含むようにすることができる。あるいは、照明パターンは、照明強度が異なる領域の視野の間で滑らかに変化する、連続的なものであっすることができる。
【0028】
各照明パターンは、実質的に、２次元強度分布パターンであってもよく、例えば、２次元パターンによって記述することができる。例えば、照明パターンの照明分布は、例えば、離散グリッド上で、視野内に規則的にまたは不規則に分布する離散的な数の空間点で、又は視野内の非離散空間座標の数学的関数として定義することができる。
【0029】
照明パターンの系列内の各パターンは、その系列内の他の各パターンと互いに異なる、すなわち、（一つ又は複数のソースを持つ）イメージング・システムの視野内の照明強度分布の点で互いに異なるようにすることができる。しかしながら、前記パターンのいくつかが系列内で繰り返すようにすることができる（いくつかの実施形態ではこの系列になっている）。
【0030】
本明細書に記載の技術では、照明パターンの系列は、第１解像度を有するシーンの第１画像を構成できるように構成され、前記第１解像度を有するシーンの第１画像は、前記系列の照明パターンの一部または全部に対して検出された反射（例えば、キャプチャ画像）を使用して構成され、前記第１解像度はセンサの解像度より大きい。
【0031】
前記第１解像度は、検出器の解像度よりも高い任意の適切な（「高」）解像度を含むことができる。前記第１解像度は、少なくとも一つの、例えば二つの（両方の）次元において、検出器の解像度よりも高くすることができる。一般に、第１画像は、Ｗ×Ｈの解像度の画像、すなわち、Ｗ＊Ｈ＝Ｍの総ピクセル（ここで、Ｗ、Ｈ、及びＭはそれぞれ正の整数である）を有し、Ｍ＞Ｐである画像を含むことができる。前記第１解像度は、例えば、イメージング・システムの最大（「フル」）解像度であってよい。
【0032】
当業者は、様々な実施形態に従って、一連の異なる照明パターンでシーンを照明し、各照明パターンについて画像を記録することにより、結合された画像を使用して構成された画像の有効解像度を、検出器のネイティブ解像度よりも高くすることができることを理解するだろう。当業者には理解されるように、これは、例えば、いわゆるコンピュテーショナル・ゴースト・イメージング（ＣＧＩ： Computational Ghost Imaging）アルゴリズム（および他の関連するアルゴリズム）を使用して達成することができる。
【0033】
本明細書で使用する「フルパターン・セット」とは、Ｐ＜Ｍの物理画素を有するセンサでＭ個の空間点（画素）の解像度でシーンの画像を構成できるように構成された照明パターンのセットである（これにより、Ｅ＝Ｍ／Ｐの解像度向上係数を提供する）。フルパターン・セットは、ＷｘＨの解像度を持つ少なくともいくつかの線形独立なパターンを含む必要がある。
【0034】
前記照明パターンの系列は、少なくとも一つの上記のようなフルパターン・セット、すなわち、前記第１解像度（ここで、前記第１解像度は前記センサの解像度よりも高い）を有するシーンの画像を構成するためのフルパターン・セットを含む必要がある。
【0035】
当業者は理解するだろうが、このような種々の「フルパターン・セット」は、例えば、Ｗａｌｓｈ－Ｈａｄａｍａｒｄ照明パターンセット、Ｆｏｕｒｉｅｒ照明パターンセット、これらの照明パターンセットの変形（例えば、本明細書に別途記載）等から構成することができる。
【0036】
複数の実施形態では、前記第１解像度を有するシーンの画像を構成するための完全な基底を形成するフルパターン・セットを使用することができる。そのようなフルパターン・セットは、正確にＥ個のパターンを含む線形独立なパターンの完全な基底セットにすることができる。しかしながら、他の実施形態も可能である。
【0037】
例えば、様々な実施形態において、フルパターン・セットは、（上述のような）完全な基底セット、プラス、その逆パターンの一部または全てから形成することができる（すなわち、パターンの明るい領域が暗い領域と置き換えられ、かつ、その逆も置き換えられる）。当業者は理解されるであろうが、このようなフルパターン・セットは、いわゆる差分けイメージングに使用することができ、２Ｅ個のパターンを含むことができる。差分けイメージングは、例えば、コントラストが改善された画像を生成するために使用することができる。
【0038】
更に別の様々な実施形態において、フルパターン・セットは、完全な基底セットのパターンの全てではないが一部（すなわち、サブセット）から形成される場合がある。例えば、フルパターン・セットは、完全な基底セットのパターンのサブセットから形成することができ、前記サブセットは、前記完全な基底セットのパターンの少なくとも５％を含み、前記サブセットは、第１の次元Ｗに沿って空間周波数ｆをＷ／４＜ ｆ ＜Ｗ／２の範囲に含む、少なくとも一つのパターンを含み、かつ、前記サブセットが、第２の（直交）次元Ｈに沿って、Ｈ／４＜ ｆ ＜Ｈ／２の範囲の空間周波数ｆを含む少なくとも一つのパターンを含む（ここで、Ｗ／２およびＨ／２は、ナイキストの定理に従って、対応する次元に沿って前記パターンにおいて可能な最高周波数である）。当業者は理解されるように、このようなフルパターン・セットは、いわゆる圧縮イメージングに使用することができる（ここで、典型的には、イメージングの品質は完全な基底セットを使用するイメージングの場合よりも低い）。
【0039】
また、これらの実施形態を組み合わせることも可能である。例えば、圧縮イメージングのフルパターン・セットは、差分イメージングのフルパターン・セットのパターンのサブセットから形成することができる。さらに、一つのフルパターン・セットは、上述のフルパターン・セットのいずれかと一つ又は複数の追加の照明パターンと合わせたものから形成することができる。
【0040】
したがって、種々の実施形態において、シーンは、第１の（高）解像度を有するシーンの画像を構成するための一つのフルパターン・セットを含む照明パターンの系列で照明される（ここで、前記第１解像度は、前記センサ解像度よりも高い）。
【0041】
様々な実施形態において、照明パターンの前記系列は、前記フルパターン・セットからのパターン（のみ）を含む。前記照明パターンの系列は、フルパターン・セットからの各パターンを少なくとも１回含む必要がある。前記照明パターンの系列は、フルパターン・セットのパターンのみから構成することができ（すなわち、フルパターン・セットの各パターンが系列中に１回だけ出現する）、またはフルパターン・セットの一つ又は複数のパターンが前記照明パターンの系列中に２回以上出現しすることができる。
【0042】
本明細書に記載の技術では、前記第１の（高）解像度を有するシーンの第１画像が、前記系列の照明パターンに対して検出された反射（例えば、キャプチャ画像）を用いて構成される。前記第１画像を構成するために、前記系列の照明パターンに対して検出された反射（例えば、記録された画像）は、例えば、適切なコンピュテーショナル・ゴースト・イメージング（ＣＧＩ）アルゴリズム（及び他の関連するアルゴリズム（複数可））を使用して結合される。
【0043】
前記第１画像は、前記系列の前記照明パターンのすべてに対して、または系列の照明パターンの一部に対して検出された反射（例えば、キャプチャ画像）を使用して構成することができる。
【0044】
例えば、照明パターンの系列がフルパターン・セットのパターンのみからなる場合（すなわち、フルパターン・セットの各パターンが系列内で１回のみ出現する場合）、第１画像は、系列の照明パターンの全てに関して検出された反射（例えば、キャプチャ画像）を使用して構成することができる。
【0045】
照明パターンの系列が一つのフルパターン・セットのパターンよりも多くのパターンを含む場合（例えば、フルパターン・セットの中の一つ又は複数のパターンが前記照明パターンの系列に２回以上出現する場合）、前記第１画像は、前記系列の前記照明パターンのすべて、または前記系列の照明パターンのすべてよりも少ないパターンに対して検出された反射（例えば、キャプチャ画像）を使用して構成される場合がある。例えば、繰り返されたパターンに対して検出された反射（例えば、キャプチャ画像）は、前記第１画像を構成するために使用されないことがあり、かつ／又は、繰り返されたパターンに対して検出された反射（例えば、キャプチャ画像）は、前記第１画像を構成するために使用される前に組合せ（例えば、平均化）されることがある。
【0046】
結果として得られる第１の（高解像度）画像は、２次元画像であっすることができるし、３次元画像（例えば、飛行時間法を用いて深度情報が提供される場合）であっすることができる。
【0047】
本明細書に記載の技術では、シーンの第１の（例えば「フル」または高）解像度画像と同様に、前記第１画像の解像度よりも低い解像度を有する前記シーンの第２画像も構成される。
【0048】
これは、照明パターンの一つの（第１の）サブセットを含むように照明パターンの系列を構成する（例えば選択する）ことによって行われ、ここで、前記照明パターンの一つの（第１の）サブセットは、第２解像度を有する前記シーンの第２画像を構成することができるように構成される。前記シーンの第２解像度を有する第２画像は、後で、前記照明パターンの第１サブセットに対して検出された反射（例えば、キャプチャ画像）を使用して構成することができる。
【0049】
前記第２解像度は、前記第１解像度よりも低い任意の適切な解像度を含むことができる。前記第２解像度は、検出器の解像度よりも高くすることができる。前記第２解像度は、少なくとも一つの次元、例えば二つの（両方の）次元において、検出器の解像度よりも高くすることができる。しかしながら、第２解像度は、（例えば、少なくとも一つの次元、例えば二つの（両方の）次元において）検出器の解像度と等しくすることも可能である。第２解像度は、少なくとも一つの次元、例えば二つの（両方の）次元において、前記第１解像度より低くすることもできる。
【0050】
様々な特定の実施形態において、（前記照明パターンの系列が形成される元になる）フルパターン・セットは、照明パターンの前記（第１の）サブセットを含むように構成（選択）される（ここで、前記照明パターンの（第１の）サブセットは、前記シーンの前記第２解像度を有する第２画像を構成することができるように構成される）。
【0051】
前記第１サブセットは、前記照明パターンの系列のパターンの任意の適切なサブセット（すなわち、系列の全てのパターン数より少ないパターン数のセット）を含むことができる。前記サブセットは、前記第２解像度を有するシーンの画像を構成するためのフルパターン・セットを含む必要がある（また、多様な実施形態で含んでいる）。出願人は、上述のような様々な低解像度のフルパターン・セットが、より高い解像度のフルパターン・セットのサブセットから（例えば、本明細書に記載のフルパターン・セットのいずれか一つから）形成できることを認識した。
【0052】
複数の実施形態では、前記第１サブセットは、前記第２の（より低い）解像度を有するシーンの画像を構成するための完全な基底を形成するフルパターン・セットを含む。しかし、一般に、前記第１サブセットは、上述のような異なるタイプのフルパターン・セットのいずれかを含むことができる（例えば、差分イメージングかつ／又は圧縮イメージングのフルパターン・セット、等を含む）。
【0053】
したがって、様々な実施形態において、シーンは、前記第１解像度を有するシーンの画像を構成するためのフルパターン・セットを含み、かつ、それ自体が前記第２の（より低い）解像度を有するシーンの画像を構成するためのフルパターン・セットを含む照明パターンの（第１の）サブセットを含む、照明パターンの系列によって照明される。複数の実施形態では、前記第１解像度を有するシーンの画像を構成するための前記フルパターン・セットは、そのフルパターン・セットのパターンのサブセットが前記第２解像度を有するシーンの画像を構成するための前記フルパターン・セットを形成するように構成（選択）される。
【0054】
前記パターンの（第１の）サブセットは、第２解像度のフルパターン・セットからのパターン（のみ）で構成することができる。前記パターンの（第１の）サブセットは、前記第２解像度のフルパターン・セットからのパターンのそれぞれを少なくとも１回は含む必要がある。前記パターンの（第１の）サブセットは、前記第２解像度のフルパターン・セットのパターンのみを含んでもよく（すなわち、前記第２解像度のフルパターン・セットの各パターンが前記（第１の）サブセットにおいて１回のみ出現する）、または、前記第２解像度のフルパターン・セットの一つまたは複数のパターンが前記パターンの（第１の）サブセット内に複数回出現することができる。
【0055】
本明細書に記載の技術では、前記第２解像度を有するシーンの第２画像は、前記（第１の）サブセットの照明パターンに対して検出された反射（例えば、キャプチャ画像）を使用して構成される。前記第２画像を構成するために、前記サブセットの照明パターンに対して検出された複数の反射（例えば、記録された画像）は、例えば、適切なコンピュテーショナル・ゴースト・イメージング（ＣＧＩ）アルゴリズム（及び他の関連するアルゴリズム（複数可））を使用して結合される。
【0056】
前記第２画像は、前記（第１の）サブセットの照明パターンのすべてに対して、または前記（第１の）サブセットの照明パターンより少ない照明パターンに対して検出された反射（例えば、キャプチャ画像）を用いて構成することができる。
【0057】
例えば、前記（第１の）サブセットが一つのフルパターン・セットのパターンのみを含む場合（すなわち、前記サブセット内に前記フルパターン・セットの各パターンが１回のみ出現する場合）、前記第２画像は、前記（第１の）サブセットの照明パターンのすべてに対して検出された反射を使用して構成することができる。
【0058】
前記（第１の）サブセットが一つのフルパターン・セットのパターンよりも多くのパターンを含んでいる場合（例えば、前記フルパターン・セットの一つ又は複数のパターンが前記（第１の）サブセット内に２回以上出現する場合）、前記第２画像は、前記（第１の）サブセットの照明パターンのすべてに対して、または前記（第１の）サブセットの照明パターンのすべてよりも少ない照明パターンに対して、検出された反射を用いて構成することができる。例えば、繰り返されたパターンに対する検出された反射（例えば、キャプチャ画像）は、前記第２画像を構成するために使用されなくてもよく、かつ／又は、繰り返されたパターンに対する検出された反射（例えば、キャプチャ画像）は、前記第２画像を構成するために使用される前に結合される（例えば、平均化される）ことができる。
【0059】
結果として得られる第２画像は、２次元画像、または３次元画像（例えば、深度情報は飛行時間法を用いて提供される）である。
【0060】
様々な特定の実施形態では、前記照明パターンの第１サブセットは、前記照明パターンの系列の末尾の前に（全体が）配置される、すなわち、前記系列の末尾の前に（全体が）前記系列内に出現する。しかしながら、前記照明パターンの第１サブセットが、前記照明パターンの系列の末尾に配置されることもまた可能である。前記照明パターンの第１サブセットは、前記系列内で連続して配置されることができるが、そうである必要はない。
【0061】
本出願人は、前記系列の末尾前に前記第１サブセットが配置される場合、前記第２画像は、シーンを系列の全てのパターンで照明する前に（そして前記第１画像が構成される前に）構成できることを認識した。
【0062】
したがって、様々な実施形態において、第２画像は、シーンが系列の全てのパターンで照明される前に構成される。第２画像は、第１画像が構成される前に構成することができる。
【0063】
これは、次に、上記のように生成された第２画像を、例えば、照明パターンの系列内の残りの照明パターンを制御するために、かつ／又は、照明パターンの次の系列を制御するために使用できることを意味する（様々な実施形態ではこれが行われる）。これは、ひいては、イメージングプロセスに対する著しく改善された柔軟性および制御を提供することができる。
【0064】
同様に、照明パターンの第１サブセットが照明パターンの系列の最後に配置される場合、第２画像は、例えば、照明パターンの次の系列を制御するために、使用することができる（様々な実施形態では、これが行われる）。
【0065】
したがって、様々な実施形態において、前記第２画像は解析され、（解析の結果は）照明パターンの系列における一つ又は複数の残りの照明パターンを制御する（すなわち、系列内の第１サブセットの後に出現する一つ又は複数の照明パターンを制御する）ため、かつ／または照明パターンの次の系列を制御する（すなわち、当該照明パターンの系列後に場面を照明するために使用される照明パターンの第２の系列の一つ又は複数のパターンを制御するため）ために用いられる。これは、第２画像が一つ又は複数の特定の特性を有するかどうかを判定することと、前記判定に基づいて前記系列内の一つ又は複数の残りのパターンを制御すること、かつ／又は前記判定に基づいて照明パターンの後続の系列を制御することを含む。
【0066】
これらの実施形態では、一つ又は複数の特定の特性は、第２画像の任意の適切な特性（複数可）を含むことができる。同様にして、前記系列の一つ又は複数の残りのパターンおよび／または照明パターンの後続の系列は、任意の適切な方法で制御することができる。
【0067】
様々な特定の実施形態において、前記一つ又は複数の特性は、第２画像には、特に明るい物体（複数可）、例えば再帰反射体（複数可）等の反射体（複数可）が存在している場合がある。再帰反射体等の明るい物体は、シーン内の他の物体からの反射を「ドラウニングアウト（かき消すこと」等の、従来のイメージング技術を使用して生成された画像の品質を著しく低下させることがある。
【0068】
様々な実施形態に基づいて、明るい物体が第２画像で検出されると、前記系列の残りのパターン、かつ／又は次の系列の一つ又は複数のパターンを制御して、その物体からの反射の強度を低下させることができる。これは、例えば、特定の不要な（マスクされた）領域がイメージングされるのを防止すること等によって、イメージング・システムの全体的な画像コントラスト（ダイナミックレンジ）を増大させる効果を有する。これは、照明パターンの第１サブセットが系列の末尾前に配置される場合に特に有益である。その理由は、例えば、第１の（「フル」解像度の）画像の画像コントラスト（ダイナミックレンジ）を「オンザフライ」（動作中変更）方式で増加させることができるからである。
【0069】
したがって、様々な実施形態において、第２画像が一つ又は複数の望ましくない領域（例えば、一つ又は複数の特に明るい領域）を含むかどうかが判定され、その判定に基づいて、系列内の一つ又は複数の残りのパターン照明パターン、および／または、一つ又は複数の次の照明パターンの系列が制御される。前記系列の一つ又は複数の残りのパターンおよび／または一つ又は複数の後続の系列（の一つ又は複数のパターン）を制御することができ、例えば、一つ又は複数の望ましくない領域内の照明強度を低減することができる。言い換えれば、一つ又は複数の望ましくない領域は、一つ又は複数の後続の照明パターンにおいて「マスク」することができる。
【0070】
一つ又は複数の望ましくない領域が、一つ又は複数の明るい物体を含むシーンの領域に対応する場合、上記処理により、第１の（「フル」解像度）画像の全体的な画像コントラスト（ダイナミックレンジ）を増加させることができる。
【0071】
また、一つ又は複数の特定の特性が、第２画像の任意の他の適切な特性または特性を構成することも可能であろう。同様に、系列の一つ又は複数の残りのパターンおよび／または照明パターンの後続の系列は、任意の他の適切な方法で制御することができる。
【0072】
例えば、前記または任意の一つの特性は、（第２画像における）関心領域の存在を含む場合があり、前記系列の一つ又は複数の残りのパターン、かつ／又は、一つ又は複数の次の系列の（一つ又は複数の）パターンは、例えば、一つ又は複数の関心領域内の照明強度を増加させるように、かつ／又は、イメージング解像度を増加させるように、制御することができる。
【0073】
他の実施形態も、もちろん、可能である。
したがって、一般に、第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むかどうかを決定することができ、第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むと決定されたとき、一つ又は複数の後続の照明パターンの照明強度を、一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域内で変更（例えば、増加又は減少）することができ、かつ／又は、一つ又は複数の後続の検出パターンの検出強度かつ／又は検出効率を、前記一つ又は複数の関心領域、／又は、一つ又は複数の望ましくない領域内で変更（例えば、増加又は減少）させることができる。
したがって、一般に、第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むかどうかを決定することができ、第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むと決定されたとき、一つ又は複数の後続の照明パターンの照明強度を、一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域内で変更（例えば、増加又は減少）することができ、かつ／又は、一つ又は複数の後続の検出パターンの検出強度かつ／又は検出効率を、前記一つ又は複数の関心領域、／又は、一つ又は複数の望ましくない領域内で変更（例えば、増加又は減少）させることができる。
【0074】
様々な実施形態において、第１および第２画像に加えて、任意の数のさらなる画像が構成することができる。
【0075】
様々な特定の実施形態では、シーンの第１の（例えば「フル」または高）解像度画像およびシーンの第２の（例えば低）解像度画像と同様に、シーンの第３画像も又、第１画像の解像度よりも低い解像度を有するように構成される。したがって、様々な実施形態では、高解像度画像よりも高いフレームレートで低解像度画像を提供することができる。
【0076】
これは、照明パターンの系列が、第３解像度を有するシーンの第３画像を構成することを可能にするような照明パターンの第２サブセットを含むように、この照明パターンの系列を構成する（例えば、選択する）ことによって実現できる。第３解像度を有するシーンの第３画像は、次に、照明パターンの第２サブセットに対して検出された反射（例えば、キャプチャ画像）を使用して構成することができる。
【0077】
これらの実施形態において、照明パターンの第２サブセットは、第１サブセットの照明パターンと異なる照明パターンから形成される（すなわち、第１および第２サブセットは、重複しないサブセットである）ことが望ましい。
【0078】
第３解像度は、第１解像度よりも低い任意の適切な解像度を有する。第３解像度は、検出器の解像度よりも高くすることができる。第３解像度は、少なくとも一つの、例えば二つの（両方の）、次元において、検出器の解像度よりも高くすることができる。しかしながら、第３解像度を、（例えば、少なくとも一つの、例えば二つの（両方の）次元において）検出器の解像度と等しくすることも可能である。第３解像度は、少なくとも一つの、例えば二つの（両方の）次元において、第１解像度よりも低くすることができる。第３解像度は、（一つまたは両方の次元において）第２解像度より低くも、等しくも、またはより大きくもすることができる。
【0079】
第２サブセットは、照明パターンの系列の任意の適切なサブセットの（すなわち、全体より少ない）パターンを含むことができる。
【0080】
例えば、フルパターン・セット（それから系列が形成される）は、（第１サブセットのパターンに加えて）照明パターンの第２サブセットを含むように構成（選択）されることができる。あるいは、（例えば、フルパターン・セットが単一の適切なサブセットのみを含む場合）、前記系列は、第１サブセットのパターンが前記系列内で繰り返されるように（すなわち、繰り返されたパターンが第２サブセットを形成するように）構成することができる。
【0081】
その他、第２サブセットは、第１サブセットに対応する（またはそれ以外の）態様で構成されることができる。
【0082】
したがって、第２サブセットは、第３解像度を有するシーンの画像を構成するためのフルパターン・セットを含むことが望ましい（そして様々な実施形態では、含んでいる）。第２サブセットは、第３解像度を有するシーンの画像を構成するための完全な基底を形成するフルパターン・セットを含むことができるが、一般に、第２サブセットは、上述のような様々なタイプのフルパターン・セットのいずれかを含むことができる（例えば、差分画像フルパターン・セット、および／または圧縮画像フルパターン・セット等を含む）。
【0083】
様々な実施形態において、前記シーンは照明パターンの系列によって照明されるが、該照明パターンの系列は、第１解像度を有するシーンの画像を構成するためのフルパターン・セットを含み、第２解像度を有するシーンの画像を構成するためのフルパターン・セットをそれ自体含む照明パターンの第１サブセットを含み、かつ、第３解像度を有するシーンの画像を構成するためのフルパターン・セットをそれ自体含む照明パターンの第２サブセットを含む。複数の実施形態では、第１解像度を有するシーンの画像を構成するためのフルパターン・セットは、そのパターンのサブセットが第２解像度を有するシーンの画像を構成するためのフルパターン・セットを形成し、かつ、そのパターンのサブセットが第３解像度を有するシーンの画像を構成するためのフルパターン・セットを形成するように構成（選択）される（ここで、第２および第３解像度のサブセットは、同じサブセットまたは異なるサブセットにすることができる）。
【0084】
パターンの第２サブセットは、第３解像度のフルパターン・セットからのパターン（のみ）を含む。該パターンの第２サブセットは、第３解像度のフルパターン・セットからの各パターンを少なくとも１回含むことが好ましい。該パターンの第２サブセットは、第３解像度のフルパターン・セットのパターンのみを含むことができ（すなわち、第３解像度のフルパターン・セットの各パターンが第２サブセットにおいて１回のみ出現する）、または第３解像度のフルパターン・セットの一つまたは複数のパターンがパターンの第２サブセットにおいて複数回出現することがある。
【0085】
第３解像度を有するシーンの第３画像は、第２サブセットの照明パターンに対する、検出された反射（例えば撮影画像）を用いて、例えば適切なコンピュテーショナル・ゴースト・イメージング（ＣＧＩ）、及び他の関連アルゴリズム（複数可）を用いて、検出された反射（例えば撮影画像）を組み合わせることによって構成することができる。
【0086】
第３画像は、第２サブセットの照明パターンのすべて、または第２サブセットの照明パターンのすべてより少ないパターンに対する、検出された反射（例えば、キャプチャ画像）を用いて構成することができる。
【0087】
例えば、第２サブセットがフルパターン・セットのパターンのみからなる場合（すなわち、フルパターン・セットの各パターンがサブセットで１回だけ出現する場合）、第３画像は、第２サブセットの照明パターンのすべてに対する、検出された反射（例えば、キャプチャ画像）を用いて構成することができる。
【0088】
第２サブセットがフルパターン・セットのパターンよりも多くのパターンを含む場合（例えば、フルパターン・セットの一つ又は複数のパターンが第２サブセットにおいて１回以上出現する場合）、第３画像は、第２サブセットの照明パターンのすべて、または第２サブセットの照明パターンのすべてよりも少ない照明パターンに対する、検出された反射（例えば、捕捉画像）を使用して構成することがある。例えば、繰り返されるパターンに対する、検出された反射（例えば、キャプチャ画像）は、第３画像を構成するために使用されないことがあり、かつ／又は、繰り返されるパターンに対する検出された反射（例えば、キャプチャ画像）は、第３画像を構成するために使用される前に結合（例えば、平均化）することができる。
【0089】
結果として得られる第３画像は、２次元画像、または３次元画像（例えば、飛行時間法を用いて深度情報が取得される場合）である。
【0090】
照明パターンの第２サブセットは、照明パターンの系列の末尾の前に（全体を）配置することができ、すなわち、系列の末尾の前に（全体が）系列内に出現する。あるいは、照明パターンの第２サブセットは、照明パターンの系列の末尾に配置することができる。照明パターンの第２サブセットは、系列内で、第１サブセットの前または後に出現することができる。照明パターンの第２サブセットは、系列内で連続することができるが、そうである必要はない。
【0091】
様々な実施形態において、第３画像は、シーンが系列の全てのパターンで照らされる前に構成される。第３画像は、第１画像が構成される前に構成することができる。第３画像は、第２画像が構成される前または後に（または同時に）構成することができる。
【0092】
このようにして生成された第３画像は、照明パターンの系列における残りの照明パターンの（一つ又は複数の）制御のために、かつ／又は照明パターンの後続の系列を制御するために、例えば、第２画像に関して上述した説明に対応する方法で、使用することができる。
【0093】
しかしながら、様々な特定の実施形態において、第３画像は第２画像と比較することができ、パターンの系列の一つ又は複数の残りのパターンを比較結果に基づいて制御することができ、および／または照明パターンの後続の系列の（一つ又は複数の）パターンを比較結果に基づいて制御することができる。これは、シーンが一つ又は複数の特定の特性を有するかどうかを決定するために第２および第３画像を比較すること、前記決定に基づいて系列の一つ又は複数の残りのパターンを制御すること、および／または前記決定に基づいて照明パターンの後続の系列の（一つ又は複数の）パターンを制御することを含む。
【0094】
これらの実施形態において、一つ又は複数の特定の特性は、シーンの任意の適切な特性又は性質を含むことができる。同様に、系列の一つ又は複数の残りのパターンおよび／または照明パターンの後続の系列は、任意の適切な方法で制御することができる。
【0095】
様々な特定の実施形態では、前記のまたは任意の特性は、シーン内の移動体（複数可）の存在を含む。移動体は、従来のイメージング技術を使用して生成された画像の品質を、例えば、画像に出現する望ましくないモーションアーティファクトのせいで、低下させることがある。
【0096】
様々な実施形態に従って、シーン内で移動体（複数可）が検出されると、系列の残りのパターンかつ／又は一つ又は複数の次の系列のパターンを制御して、その物体（複数可）からの反射強度を低下させることができる。これは、例えば、モーションアーティファクトを低減することによって、第１画像の品質を向上させる効果を有する。これは、照明パターンの第１および第２サブセットが系列の末尾前に配置される場合に特に有効であり、その理由は、例えば、画像を「オンザフライ」方式で改善することができるからである。
【0097】
したがって、様々な実施形態では、第２および第３画像が比較されて、シーンが一つ又は複数の移動物体を含むかどうかが決定され、照明パターンの系列の一つ又は複数の残りのパターンおよび／または一つ又は複数の後続の系列（の一つ又は複数のパターン）が、決定に基づいて制御される。系列の一つ又は複数の残りのパターンかつ／又は（一つ又は複数の次の系列の）一つ又は複数のパターンは、例えば、移動物体（複数可）が存在する一つ又は複数の領域内の照明強度を低減するように制御することができる。言い換えれば、移動体（複数可）は、一つ又は複数の後続の照明パターンにおいて「マスク」することができる。
【0098】
このように移動体をマスクすることに加えて、またはその代わりに、シーン内で移動体（複数可）が検出されると、第１画像および／または第１画像の一つ又は複数の領域は、信頼できないものとして（例えば、移動体を含むものとして）マークすることができる。
【0099】
もちろん、他の実施形態も可能である。
【0100】
シーンの第１の（例えば「フル」または高）解像度の画像、およびシーンの第２および第３の（例えば低）解像度の画像と同様に、シーンの一つ又は複数の第４画像も、それぞれが第１画像の解像度よりも低い解像度を有するように構成することができる。
【0101】
これは、照明パターンの系列を、照明パターンの一つ又は複数の第３サブセットを含むように構成する（例えば、選択する）ことによって行うことができ、ここで、一つ又は複数の第３サブセットの各々は、一つ又は複数の第４解像度を有するシーンの一つ又は複数の第４画像を構成することができるように構成される。次いで、一つ又は複数の第４解像度を有するシーンの一つ又は複数の第４画像は、照明パターンの一つ又は複数の第３サブセットに対する、検出された反射（例えば、キャプチャ画像）を使用して構成することができる。
【0102】
照明パターンの一つ又は複数の第３サブセットは、第１および第２サブセットの照明パターンとは異なる照明パターンから形成されることが好ましい（すなわち、第１、第２および一つ又は複数の第３サブセットは、重複しないサブセットにすることができる）。
【0103】
一つまたは複数の第４解像度は、それぞれ、第１解像度よりも低い任意の適切な解像度にすることができる、または複数の第４解像度は、それぞれ、（例えば、少なくとも一つの、例えば二つの（両方の）次元において）検出器の解像度より高くすることができる。
しかしながら、一つ又は複数の第４解像度の一つまたは複数の、またはそれぞれが、（例えば、少なくとも一つの、例えば二つの（両方の）次元において）検出器の解像度と等しくてもよい。一つまたは複数の第４解像度は、それぞれ、（一つまたは両方の次元において）第２および／または第３解像度より小さい、等しい、または大きい場合がある。
しかしながら、一つ又は複数の第４解像度の一つまたは複数の、またはそれぞれが、（例えば、少なくとも一つの、例えば二つの（両方の）次元において）検出器の解像度と等しくてもよい。一つまたは複数の第４解像度は、それぞれ、（一つまたは両方の次元において）第２および／または第３解像度より小さい、等しい、または大きい場合がある。
【0104】
一つ以上の第３サブセットの各々は、照明パターンの系列の任意の適切なパターンのサブセット（すなわち、全てより少ない）を構成することができる。一つ以上の第３サブセットの各々は、第１サブセットかつ／又は第２サブセットと対応する方法で、例えば上述したようにして構成することができる。
【0105】
様々な実施形態が、照明パターンの単一の系列及び単一の第１画像という観点から上記で説明されたが、複数の実施形態では、シーンの複数の第１の（及び第２の、等の）画像が順番に構成することができるように、シーンを照明パターンの複数の系列で順番に（一つずつ）照明することができることを理解されたい。
【0106】
照明パターンの系列を用いてシーンを照明する方法及びシステムに関して、様々な実施形態を上記で説明してきたが、いわゆる「単一画素イメージング」技術（かつ／又は類似の関連技術）を用いて対応する効果を達成することが、一緒に又は代わりに可能である（実施形態では、これが行われる）。
【0107】
これらの実施形態では、シーンを（例えば均等に、すなわち照明パターンを使用せずに）照明することがあり、反射光は（例えば適切なイメージング光学系を使用して）収集する場合がある。（検出）パターンの一つの系列が、例えば光が検出される前に、反射光にインポーズされることがある。
【0108】
これは、任意の好適な方法で実現することができる。例えば、検出パターンは、センサの前（例えば、前方）に配置された空間光変調器等によって、センサ上に形成されることがある。さらに又は代替的に、センサは、活性領域かつ／又は非活性領域（かつ／又は異なる感度を有する領域）を有するように構成することができ、これらの領域にはパターンを形成することができる。
【0109】
したがって、第４の態様によれば、シーンをイメージングする方法が提供され、該方法は、
シーンを照らすこと、および
センサを使用して、検出パターンの系列の各検出パターンに対する、シーンからの反射を検出すること、を含み
ここで、検出パターンの系列は、第１解像度を有するシーンの第１画像を構成するように構成され、第１解像度はセンサの解像度よりも高く、
検出パターンの系列は検出パターンの第１サブセットを含み、検出パターンの第１サブセットは第２解像度を有するシーンの第２画像が構成されるように構成され、前記第２解像度は第１解像度よりも低く、
該方法は、さらに、
第１解像度を有するシーンの第１画像を構成するために、系列の検出パターンに対する、検出された反射を使用すること、および、
前記検出パターンの第１サブセットに対する、検出された反射を使用して、前記第２解像度を有するシーンの第２画像を構成すること、を含む。
シーンを照らすこと、および
センサを使用して、検出パターンの系列の各検出パターンに対する、シーンからの反射を検出すること、を含み
ここで、検出パターンの系列は、第１解像度を有するシーンの第１画像を構成するように構成され、第１解像度はセンサの解像度よりも高く、
検出パターンの系列は検出パターンの第１サブセットを含み、検出パターンの第１サブセットは第２解像度を有するシーンの第２画像が構成されるように構成され、前記第２解像度は第１解像度よりも低く、
該方法は、さらに、
第１解像度を有するシーンの第１画像を構成するために、系列の検出パターンに対する、検出された反射を使用すること、および、
前記検出パターンの第１サブセットに対する、検出された反射を使用して、前記第２解像度を有するシーンの第２画像を構成すること、を含む。
【0110】
第５の態様によれば、以下の構成を有するイメージング装置が提供される。
該イメージング装置は、
シーンを照らすように構成された一つ又は複数のソース、および
検出パターンの系列内の各検出パターンに対する、シーンからの反射を検出するように構成されたセンサと、を備え、
検出パターンの系列は、第１解像度を有するシーンの第１画像が構成されるように構成され、該第１解像度はセンサの解像度よりも高く、
検出パターンの系列は、検出パターンの第１サブセットを含み、該検出パターンの第１サブセットは、第２解像度を有する、シーンの第２画像が構成されるように構成され、該第２解像度は第１解像度よりも低く、
前記システムは処理回路をさらに備え、該処理回路は、
第１解像度を有するシーンの第１画像を構成するために、前記系列の検出パターンに対する、検出された反射を使用し、
前記検出パターンの第１サブセットに対する、検出された反射を使用して、前記第２解像度を有するシーンの第２画像を構成するように構成される。
該イメージング装置は、
シーンを照らすように構成された一つ又は複数のソース、および
検出パターンの系列内の各検出パターンに対する、シーンからの反射を検出するように構成されたセンサと、を備え、
検出パターンの系列は、第１解像度を有するシーンの第１画像が構成されるように構成され、該第１解像度はセンサの解像度よりも高く、
検出パターンの系列は、検出パターンの第１サブセットを含み、該検出パターンの第１サブセットは、第２解像度を有する、シーンの第２画像が構成されるように構成され、該第２解像度は第１解像度よりも低く、
前記システムは処理回路をさらに備え、該処理回路は、
第１解像度を有するシーンの第１画像を構成するために、前記系列の検出パターンに対する、検出された反射を使用し、
前記検出パターンの第１サブセットに対する、検出された反射を使用して、前記第２解像度を有するシーンの第２画像を構成するように構成される。
【0111】
第６の態様によれば、以下の構成を備える画像処理システムが提供される。該画像処理システムは、
シーンからの反射が検出パターンの系列を用いて検出されるようにシステムを制御するように構成された処理回路、および
前記系列の各検出パターンに対するシーンからの反射を検出するように構成されたセンサから情報を受信するように構成された処理回路を含み、
前記検出パターンの前記系列は、第１解像度を有する、前記シーンの第１画像を構成するように構成され、該第１解像度はセンサの解像度よりも高く、
前記検出パターンの系列は、検出パターンの第１サブセットを含み、該検出パターンの第１サブセットは、第２解像度を有する、前記シーンの第２画像を構成するように構成され、該第２解像度は前記第１解像度よりも低く、
前記システムは、処理回路をさらに備え、該処理回路は、
前記第１解像度を有する、前記シーンの第１画像を構成するために、前記系列の検出パターンに対する、検出された反射を使用し、
前記検出パターンの前記第１サブセットに対する、検出された反射を使用して、前記第２解像度を有する、前記シーンの第２画像を構成するように構成されている。
シーンからの反射が検出パターンの系列を用いて検出されるようにシステムを制御するように構成された処理回路、および
前記系列の各検出パターンに対するシーンからの反射を検出するように構成されたセンサから情報を受信するように構成された処理回路を含み、
前記検出パターンの前記系列は、第１解像度を有する、前記シーンの第１画像を構成するように構成され、該第１解像度はセンサの解像度よりも高く、
前記検出パターンの系列は、検出パターンの第１サブセットを含み、該検出パターンの第１サブセットは、第２解像度を有する、前記シーンの第２画像を構成するように構成され、該第２解像度は前記第１解像度よりも低く、
前記システムは、処理回路をさらに備え、該処理回路は、
前記第１解像度を有する、前記シーンの第１画像を構成するために、前記系列の検出パターンに対する、検出された反射を使用し、
前記検出パターンの前記第１サブセットに対する、検出された反射を使用して、前記第２解像度を有する、前記シーンの第２画像を構成するように構成されている。
【0112】
当業者には理解されるように、これらの態様は、本明細書に記載された技術の任意の一つ又は複数の、あるいはすべての特徴を含むことができ、複数の実施形態では、例えば、照明パターンが必要に応じ適宜検出パターンと置き換えられることがあり、その逆もある。
【0113】
したがって、例えば、これらの実施形態において、検出パターンは、センサ上の照明強度分布、および／またはセンサの検出効率分布とすることができる。検出パターンは、二値、多値、又は連続値（例えば、上述したように必要な変更を加えて）とすることができる。各検出パターンは、実質的に、２次元の照明強度分布パターンおよび／または検出効率分布パターン（すなわち、２次元の検出分布パターン）にすることができ、例えば、２次元のパターンによって記述することができる（例えば、上述したように必要な変更を加えて）。系列内の各パターンは、系列内の他の各パターンとは、すなわち、センサ上の照明強度分布かつ／又はセンサの検出効率分布の点で異なる場合がある。
【0114】
検出パターンの系列は、第１解像度を有する、シーンの画像を構成するためのフルパターン・セットを含むことができ、かつ／または、検出パターンの第１サブセットは、第２解像度を有する、前記シーンの画像を構成するためのフルパターン・セットを含むことができる（例えば、上述のように必要な変更を加えて）。
【0115】
前記検出パターンの第１サブセットは、前記検出パターンの系列の末尾の前に（全体を）配置することができ、すなわち、系列の末尾の前に（全体を）系列内に出現させることができる。第２画像は、検出パターンの系列内の全ての検出パターンを用いて反射が検出される前に構成される（例えば、上述のように必要な変更を加えて）。
【0116】
これらの実施形態では、第２画像が一つ又は複数の特性を有するかどうかが判定され、一つ又は複数の後続の検出パターンを判定に基づいて制御することができ、例えば、判定に基づいて一つ又は複数の後続の検出パターンを制御することは、判定に基づいて検出パターンの系列内の一つ又は複数の残りのパターンを制御すること、および／または判定に基づいて検出パターンの後続する系列の一つ又は複数の検出パターンを制御することを含むことができる（例えば上述したように必要な変更を加えて）。
【0117】
これらの実施形態では、第２画像が一つ又は複数の関心領域、および／または、一つ又は複数の明るい領域のような一つ又は複数の望ましくない領域を含むかどうかを判断することができ、第２画像が一つ又は複数の関心領域および／または一つ又は複数の望ましくない領域を含むと判断した場合、一つ又は複数の望ましくない領域内での一つ又は複数の後続検出パターンの検出強度（例えばセンサ上の照明強度分布、および／またはセンサの検出効率分布）を変更（例えば、減少）する場合がある。これは、例えば、空間光変調器の対応する領域を通る光の透過率を変更する（例えば低減する）ことによって、かつ／又はセンサの対応する領域の感度を変更する（例えば低減する）ことによって行うことができる。
【0118】
これらの実施形態では、検出パターンの系列は、検出パターンの第２の（または第３、第４等の）サブセット（例えば、系列の末尾前に配置されていてもいなくてもよい）を含むことができ、検出パターンの第２サブセットは、第３解像度を有する、シーンの第３（または第４、第５等）画像を構成できるように構成することができ、ここで第３解像度はセンサの解像度より大きくすることができ、第３解像度は第１解像度より低くすることができる（例えば上述したように必要な変更を加えて）。
【0119】
これらの実施形態では、検出パターンの第２サブセットに対する、検出された反射は、第３解像度を有する、シーンの第３画像を構成するために使用することができる（例えば、第３画像は、反射が検出パターンの系列内のすべての検出パターンを使用して検出される前に任意で構成することができる）。第３画像は、第２画像と比較することができ、一つ又は複数の後続の検出パターンを、比較に基づいて制御することができ、および／または、比較に基づいてシーンが移動物体を含むかどうかを決定することができる（例えば、上述したように必要な変更を加えて）。
【0120】
また、照明パターンの系列を使用する方法と検出パターンの系列を使用する方法とを組み合わせることも可能である。例えば、照明系と検出系の両方で光を空間的に変調することもできる。
【0121】
したがって、第７の態様によれば、シーンをイメージングする方法が提供され、該方法は、
シーンを照らすこと、および
センサを使用して、パターンの系列内の各パターンに対する、シーンからの反射を検出すること、を含み、
前記パターンの系列は、第１解像度を有する、シーンの第１画像が構成されるように構成され、該第１解像度はセンサの解像度よりも高く、
前記パターンの系列は、パターンの第１サブセットを含み、該パターンの第１サブセットは、第２解像度を有する、シーンの第２画像が構成されるように構成され、
前記第２解像度は前記第１解像度より低く、
該方法は、さらに、
第１解像度を有する、シーンの第１画像を構成するために、前記系列のパターンに対して検出された反射を使用すること、および
前記パターンの第１サブセットに対する検出された反射を使用して、第２解像度を有するシーンの第２画像を構成する。
シーンを照らすこと、および
センサを使用して、パターンの系列内の各パターンに対する、シーンからの反射を検出すること、を含み、
前記パターンの系列は、第１解像度を有する、シーンの第１画像が構成されるように構成され、該第１解像度はセンサの解像度よりも高く、
前記パターンの系列は、パターンの第１サブセットを含み、該パターンの第１サブセットは、第２解像度を有する、シーンの第２画像が構成されるように構成され、
前記第２解像度は前記第１解像度より低く、
該方法は、さらに、
第１解像度を有する、シーンの第１画像を構成するために、前記系列のパターンに対して検出された反射を使用すること、および
前記パターンの第１サブセットに対する検出された反射を使用して、第２解像度を有するシーンの第２画像を構成する。
【0122】
第８の態様によれば、以下を備えるイメージング・システムが提供される。すなわち、該イメージング・システムは、
シーンを照らすように構成された一つ又は複数のソースと、
複数のパターンの系列内の各パターンに対する、前記シーンからの反射を検出するように構成されたセンサと、を含み、
前記複数のパターンの系列は、第１解像度を有する前記シーンの第１画像が構成されることができるように構成され、前記第１解像度は前記センサの解像度よりも高く、
前記パターンの系列は、パターンの第１サブセットを含み、該パターンの第１サブセットは、第２解像度を有する前記シーンの第２画像が構成されることができるように構成され、該第２解像度は第１解像度より低く、かつ、
前記システムは、処理回路をさらに備え、該処理回路は、
前記第１解像度を有する前記シーンの第１画像を構成するために、前記系列の前記パターンに対する、検出された反射を使用し、かつ、
前記パターンの第１サブセットに対する、検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成するように構成されている。
シーンを照らすように構成された一つ又は複数のソースと、
複数のパターンの系列内の各パターンに対する、前記シーンからの反射を検出するように構成されたセンサと、を含み、
前記複数のパターンの系列は、第１解像度を有する前記シーンの第１画像が構成されることができるように構成され、前記第１解像度は前記センサの解像度よりも高く、
前記パターンの系列は、パターンの第１サブセットを含み、該パターンの第１サブセットは、第２解像度を有する前記シーンの第２画像が構成されることができるように構成され、該第２解像度は第１解像度より低く、かつ、
前記システムは、処理回路をさらに備え、該処理回路は、
前記第１解像度を有する前記シーンの第１画像を構成するために、前記系列の前記パターンに対する、検出された反射を使用し、かつ、
前記パターンの第１サブセットに対する、検出された反射を使用して、前記第２解像度を有する前記シーンの第２画像を構成するように構成されている。
【0123】
第９の態様によれば、以下の構成を備える画像処理システムが提供される。該画像処理システムは、
シーンからの反射がパターンの系列に関して検出されるように、システムを制御するように構成された処理回路、および
前記系列の各パターンに対してシーンからの反射を検出するように構成されたセンサから情報を受信するように構成された処理回路を含む。
ここで、パターンの系列は、第１解像度を有する、シーンの第１画像が構成されるように構成され、第１解像度は、センサの解像度よりも高く、
前記パターンの系列は、パターンの第１サブセットを含み、該パターンの第１サブセットは、第２解像度を有する、シーンの第２画像が構成されるように構成され、第２解像度は、第１解像度より小さく、
前記システムは処理回路をさらに含み、該処理回路は、
第１解像度を有するシーンの第１画像を構成するために、前記系列のパターンに対して検出された反射を使用すること、および
前記パターンの第１サブセットに対して検出された反射を使用して、前記第２解像度を有するシーンの第２画像を構成することを、行うように構成され、
前記パターンの系列は、照明パターンの系列かつ／又は検出パターンの系列であり、前記シーンは、照明パターンの系列を使用して照明することができ、前記センサは、系列の各照明パターンに対する前記シーンからの反射を検出するために使用することができ、かつ／または、前記センサは、前記検出パターンの系列の各検出パターンに対して前記シーンからの反射を検出するために使用することができる。
シーンからの反射がパターンの系列に関して検出されるように、システムを制御するように構成された処理回路、および
前記系列の各パターンに対してシーンからの反射を検出するように構成されたセンサから情報を受信するように構成された処理回路を含む。
ここで、パターンの系列は、第１解像度を有する、シーンの第１画像が構成されるように構成され、第１解像度は、センサの解像度よりも高く、
前記パターンの系列は、パターンの第１サブセットを含み、該パターンの第１サブセットは、第２解像度を有する、シーンの第２画像が構成されるように構成され、第２解像度は、第１解像度より小さく、
前記システムは処理回路をさらに含み、該処理回路は、
第１解像度を有するシーンの第１画像を構成するために、前記系列のパターンに対して検出された反射を使用すること、および
前記パターンの第１サブセットに対して検出された反射を使用して、前記第２解像度を有するシーンの第２画像を構成することを、行うように構成され、
前記パターンの系列は、照明パターンの系列かつ／又は検出パターンの系列であり、前記シーンは、照明パターンの系列を使用して照明することができ、前記センサは、系列の各照明パターンに対する前記シーンからの反射を検出するために使用することができ、かつ／または、前記センサは、前記検出パターンの系列の各検出パターンに対して前記シーンからの反射を検出するために使用することができる。
【0124】
当業者には理解されるように、これらの態様は、本明細書に記載された技術の任意の一つ又は複数のまたはすべての任意の特徴を含むことができ、実施形態も同様である。
【0125】
当業者には理解されるように、本明細書に記載された技術のすべての態様および実施形態は、本明細書に記載された任意の一つ又は複数の、またはすべての任意の特徴を必要に応じ適切に含むことができる、また含んでもよい。
【0126】
本明細書に記載された技術に従った方法は、ソフトウェア例えばコンピュータプログラムを用いて少なくとも部分的に実施することができる。したがって、さらに別の態様から見た場合、データ処理装置にインストールされたときに本明細書に記載された方法を実行するように特別に適合されたコンピュータソフトウェア、また、データ処理装置上で実行されたときに、本明細書に記載の方法を実行するためのコンピュータソフトウェアのコード部分を含むコンピュータプログラム要素、そして、データ処理システム上で実行されたときに、本明細書に記載された一つまたは複数の方法のすべてのステップを実行するように適合されたコードを含むコンピュータプログラムが提供されることがわかるだろう。データ処理システムは、マイクロプロセッサ、プログラマブルＦＰＧＡ（Field Programmable Gate Array）等である。
【0127】
本明細書に記載された技術は、データプロセッサを含むイメージング・システムを動作させるために使用されると、前記データプロセッサと連動して前記システムに本明細書に記載された方法のステップを実行させる、そのようなソフトウェアを含むコンピュータソフトウェア媒体に拡張できる。このようなコンピュータソフトウェア媒体は、ＲＯＭチップ、ＣＤ－ＲＯＭ又はディスクのような物理的な記憶媒体にすることができるし、ワイヤ上を流れる電子信号、光学信号又は衛星等への無線信号のような信号にすることができる。
【0128】
本明細書に記載された方法のすべてのステップがコンピュータソフトウェアによって実施される必要はなく、したがって、さらなる広い態様から、本明細書に記載された技術は、本明細書に記載された方法のステップの少なくとも一つを実施するためのコンピュータソフトウェアおよびコンピュータソフトウェア媒体にインストールされたそのようなソフトウェアを提供することがさらに理解されるであろう。
【0129】
本明細書に記載の技術は、それに応じて、コンピュータ・システムで使用するためのコンピュータプログラム製品として好適に実装することができる。このような実装は、例えば、ディスケット、ＣＤ－ＲＯＭ、ＲＯＭ、またはハードディスク等の非一時的なコンピュータ可読媒体等の有形媒体に書き込まれた一連のコンピュータ可読命令から構成することができる。また、モデムまたは他のインターフェースコンピュータ・システムムまたはアナログ通信回線等の有形の媒体（これに限定されない）、またはマイクロ波、赤外線または他の伝送技術（これに限定されない）等の無線技術を使用して無形のまま、コンピュータ・システムに送信可能な一連のコンピュータ可読命令を構成することもできる。一連のコンピュータ可読命令は、本明細書で先に説明した機能の全て又は一部を実装する。
【0130】
当業者であれば、このようなコンピュータ可読命令は、多くのコンピュータアーキテクチャまたはオペレーティングシステムと共に使用するために、多くのプログラミング言語で記述できることを理解するであろう。さらに、このような命令は、半導体、磁気、または光学を含むが、これらに限定されない、現在または将来の任意のメモリ技術を使用して格納することができ、または光学、赤外線、またはマイクロ波を含むが、これらに限定されない、現在または将来の任意の通信技術を使用して伝送することができる。このようなコンピュータ・プログラム・プロダクトは、例えば、シュリンク包装されたソフトウェア等と、付随する印刷物または電子文書とともに取り外し可能な媒体として配布されるか、例えば、システムＲＯＭまたは固定ディスク等、コンピュータ・システムにあらかじめ搭載されるか、例えば、インターネットまたはワールドワイドウェブ等のネットワークを介してサーバまたは電子掲示板から配布されるようにできる。
【図面の簡単な説明】
【0131】
ここで、本明細書に記載された技術の多数の実施形態が、例としてのみ、添付の図面を参照しながら説明される。添付の図面について、以下、簡単に説明する。
【発明を実施するための形態】
【0132】
類似の構成要素に類似の参照数字が図中の適切な箇所には、使用されている。
【0133】
様々な実施形態は、一般に、例えばＬｉＤＡＲ（Light Detection and Ranging）イメージング方法及びＬｉＤＡＲイメージング・システム等の２Ｄ及び３Ｄイメージングの方法、画像再構成アルゴリズム、及びイメージング・システムに関するものである。
【0134】
ＬｉＤＡＲ（光検出および測距）イメージング・システム等の公知のイメージング・システムには、いくつかの制限がある。例えば、市販の中・遠方視野（５０－２００ｍ）走査型自動車用ＬｉＤＡＲシステムは、常に動き、損傷を受けやすい肉眼視可能な機械部品を含む。このような装置は高価であり、複雑な設計となっている。出力パラメータの動的・適応的な制御が可能な場合もあるが、その実現は困難で、他のパラメータについて妥協する必要がある。さらに、このようなシステムの出力（ポイントクラウド）を従来の写真カメラによる２Ｄ画像と相関させることは難しく、これは、２Ｄ画像用に開発された既存の画像認識アルゴリズムは、走査型ＬｉＤＡＲと組み合わせて使用することが困難であることを意味する。
【0135】
走査型ＬｉＤＡＲに代わるものとして、飛行時間（ＴｏＦ： Time-of-Flight）型３Ｄカメラ（例えば、単一光子アバランシェダイオード（ＳＰＡＤ： Single Photon Avalanche Diode）カメラ）が登場している。これらの装置は、従来の走査型ＬｉＤＡＲの問題点（特にかさばること、大きな可動部があること）を一部解決することができるが、現在のシステムは、一般的に画像の解像度（ピクセル数）が、自律航法用の車両に使用するには不十分なものである。既知の設計に基づく、さらに高度な高解像度システムは、比較的に実装が複雑で高価である。
【0136】
様々な実施形態が、ＬｉＤＡＲシステム等のアクティブカメラを動作させる方法に関するものである。特に、複数の実施形態は、符号化された照明を使用するアクティブカメラのマルチフレームレート及びマルチ解像度の同時動作に関する。
【0137】
アクティブイメージングカメラは、視野内のイメージングシーンの一部を選択的に照明するように構成された制御可能なソースと、シーン内の物体によって反射および散乱された光を検出するように構成された光検出器（複数の独立した光検出器またはピクセルを含む）と、を含む。アクティブカメラは、２Ｄカメラ、または深度情報が飛行時間法を用いて提供される３Ｄカメラ等とすることができる。
【0138】
本明細書の別の箇所でより詳細に説明されるように、様々な実施形態に従って、動的制御された符号化照明が、アクティブカメラが検出器のネイティブ解像度よりも高い解像度の画像を得ること（ここで、出力画像は検出器よりも多くの画素を含む）、及び任意に異なるフレームレートで異なる解像度の画像を同時に提供すること、を可能にするために使用されている。また、動的に制御された符号化照明は、移動体や信頼できないデータが画像のどの部分に含まれているかを検出したり、動的に割り当てられた関心領域（視野全体のサブセットである）の高解像度画像を提供したり、特定の不要な（マスクされた）領域のイメージングを防いだりすること等によって、画像全体のコントラスト（ダイナミックレンジ）を高めるために使用することもできる。
【0139】
図１は、様々な実施形態に従って動作させることができるＬｉＤＡＲシステムを示す図である。
ＬｉＤＡＲシステムは、シーンを照明し、光の飛行時間を直接または間接的に検出するアクティブセンサである。したがって、図１に示すように、ＬｉＤＡＲシステムは、一般に、照明装置１０、検出装置２０、および一つ又は複数の処理回路３０から構成される。
ＬｉＤＡＲシステムは、シーンを照明し、光の飛行時間を直接または間接的に検出するアクティブセンサである。したがって、図１に示すように、ＬｉＤＡＲシステムは、一般に、照明装置１０、検出装置２０、および一つ又は複数の処理回路３０から構成される。
【0140】
照明装置１０は、光等の電磁放射でシーン４０を照明するように構成される。これを行うために、照明装置は、一般に、主には、光ソース１２と、オプションのビームステアリング部品（複数可）１４と、光学系１６と、を備える。
【0141】
検出装置２０は、照明装置１０からの電磁放射（光）のシーン４０からの反射を検出するように構成される。これを行うために、検出装置２０は、一般に、主として、検出器２２、オプションのビームステアリング部品（複数可）２４、および光学系２６と、を有する。
【0142】
処理回路（複数可）３０は、照明装置１０および検出装置２０を制御するように構成され、例えば、それらのタイミングおよび同期を制御する（例えば、照明装置１０および検出装置２０が適切に同期していることを保証する）。処理回路（複数可）３０は、シーン４０の３Ｄ画像を構成するために、検出器２２によって取り込まれた画像を処理することもできる。
【0143】
ＬｉＤＡＲシステムは、例えば、短い（例えば、ナノ秒又はピコ秒持続時間）光パルスが照明に使用され、検出器２２が同等の時間分解能で構成される。前記システムは、光がソース１２からシーン４０に移動し、検出器２２に戻るまでにかかった時間を測定するように構成することができ、したがって、システムは、光を反射したシーン４０内の物体までの距離ｄを推定することができる。
【0144】
あるいは、ＬｉＤＡＲシステムは、例えば、変調された連続波電磁放射が照明に使用され、検出器２２は、送信信号及び受信信号の変調における位相差を検出するように構成される、間接的な飛行時間深度決定技術を使用するように構成することができる。前記変調は、例えば、放射線の振幅および／または周波数（波長）に適用することができる。前記システムは、光がソース１２からシーン４０に移動して検出器２２に戻るのにかかった時間の間に生じた変調の位相の変化を測定するように構成することができ、したがって、該システムは、光を反射したシーン４０内の物体までの距離を推定することができる。
【0145】
これらの実施形態において、システムは、符号化された光を使用して、関心のあるシーン４０を照らすように構成することができる。
【0146】
検出器２２は、例えば、単一光子アバランシェダイオード（ＳＰＡＤ）アレイ、またはガイガーモードアバランシェフォトダイオード（ＧｍＡＰＤ）アレイ等の単一光子感受性固体検出器アレイで構成することができる。このような検出器２２は、サブナノ秒の時間分解能を提供するように構成され、それによって、飛行時間の直接的な測定実施を可能にする。サブナノ秒分解能は、時間分解能がセンサの深さ分解能に直接変換されるため有利である（例えば、１００ｐｓの時間分解能は、１．５ｃｍの深さ分解能に相当する）。
【0147】
十分な短パルスを供給するレーザと組み合わせることで、ＳＰＡＤベースの検出器（ＳＰＡＤアレイを含む）は、ＬｉＤＡＲシステムにとって特に有益である。しかし、ＳＰＡＤアレイの画素数、つまり横方向の解像度は、従来の２Ｄカメラと比較して相対的に低くなることがある。
【0148】
様々な実施形態に従って、コンピュテーショナル・ゴースト・イメージング（ＣＧＩ）として公知の技術が、センサ２２のネイティブ解像度よりも高い有効画像解像度を達成するために使用することができる。
【0149】
ＣＧＩは、異なる光パターンでシーンを照らし（例えば、デジタルライトプロジェクターを用いて）、各光パターンの全反射光強度を単一画素センサで測定することにより、物体の２Ｄ画像を取得するために使用することができる。また、ＣＧＩは、マルチピクセルセンサの有効解像度を向上させ、シングルピクセルセンサまたはマルチピクセルセンサによる３Ｄイメージングにも使用することができる。
【0150】
他の様々な実施形態によれば、シングルピクセル・イメージング（またはシングルピクセルカメラ）として知られる類似の技術を使用して、同じ目的（シングルピクセルセンサによる２Ｄイメージング、マルチピクセルセンサの解像度向上、および３Ｄイメージング）を達成することができる。主な違いは、単一画素イメージングの場合、対象物は一様に照明され、反射光はシステムの検出器側では空間パターンを用いて空間的に符号化されることである。
【0151】
これらの実施形態では、シーン４０が照明され、反射光がイメージング光学系２６で収集される。光パターン（検出パターン）は、検出装置２０において反射光にインポーズされる。シーンは均一に照明することができ、パターンは、例えば検出器２２の前に配置された空間光変調器によって、シーン４０から反射された光を用いて光学系によって検出器２２上に形成することができる。さらにまたは代替的に、検出器２２は、一つまたは複数のパターンを形成する、活性領域および非活性領域（または広義には、異なる感度を有する領域）を有することができる。この場合、検出器２２は、シーンから反射された光によって均一に照らすることができる。
【0152】
さらに、これらの方法を組み合わせて、例えば、照明装置１０と検出装置２０の両方で光がアクティブに空間変調されるような方法を用いることができる。
【0153】
したがって、複数の実施形態では、異なる光パターンでシーン４０を照明し、各パターンについて検出器２２の信号値を記録すること、および／または、シーン４０を均一に照明すること、異なる検出パターンについて検出器２２の信号値を記録することを含む。これにより、結合画像の有効解像度を検出器２２のネイティブ解像度よりも高くすることができる。
【0154】
照明パターン」又は「光パターン」は、所定の測定ステップ（単一の検出器２２の露出時間期間中）における５イメージング・システムの視野内の照明強度分布を定義する。「フルパターン・セット」は、Ｍ個の空間点（画素）解像度で、Ｐ＜Ｍの物理的画素を有するセンサ２２を用いて、シーン４０の画像（３Ｄ－画像等）を再構成するのに十分である照明パターンのセットである。
【0155】
光パターンは、１）二つの異なる照明レベル（例えば、照明された領域と照明されていない領域）を有するバイナリ、２）離散的な数の、異なる照明レベルを含むマルチレベル、または３）照明強度が視野の領域間で滑らかに変化する連続、のいずれかになる。
【0156】
光パターンの照明分布は、例えば、離散的なグリッド（例えば、デカルトグリッドまたは極グリッド）上で定義、視野内に規則的に分布していてもいなくてもよい離散的な数の空間点において定義、または視野内の非離散的な空間座標の数学関数として定義、することができる。
【0157】
したがって、複数の実施形態は、パターンベースの照明、すなわち、光ソース１２がパターンの一系列を投影するように、すなわち、各パターンが予め定義された強度分布を有するように構成される。検出器のネイティブ解像度よりも高い解像度で画像を再構成するために、一組のパターンがシーン上に順次投影される。次に、出力画像は、単一画素イメージングアルゴリズム、ゴーストイメージングアルゴリズム、又はそれらの派生手法を使用して再構成される。
例えば、単一ピクセル検出器を考えてみると、最終的な２Ｄ画像の解像度が４×４ピクセル（この場合、画像の総ピクセル数は、Ｎ＝４×４＝１６）であることが望ましい。
例えば、単一ピクセル検出器を考えてみると、最終的な２Ｄ画像の解像度が４×４ピクセル（この場合、画像の総ピクセル数は、Ｎ＝４×４＝１６）であることが望ましい。
【0158】
この場合、ウォルシュ・ハダマード基底セットに基づく光パターンを使用することができる。Ｎ＝１６の場合のウォルシュ・ハダマードのフルパターン・セットを図２（ａ）に示す（すなわち、４×４画素の解像度でイメージングするためのウォルシュ・ハダマード光パターンセットである）。図２において、白は照明された領域を表し、黒は暗い領域を表す。
【0159】
図２（ａ）からわかるように、パターンの数は最終的な画像の画素数と同じである。したがって、Ｎ個の測定が行われ、Ｎ個の検出器信号が得られる。
【0160】
前記の画像再構成は、数学的には、Ｎ個の方程式とＮ個の未知数（すなわち画像画素値）を持つ完全決定型非均質系の線形方程式を解くことに相当する。前記方程式の係数は前記光パターンによって決定され、右辺のベクトルには測定された信号が含まれる。
【0161】
このような形式のＣＧＩでは、画像の解像度と測定時間がトレードオフの関係にあり、画像の解像度を上げると光のパターン数が直線的に増加するため、測定時間が長くなる。
【0162】
飛行時間型３ＤイメージングのＣＧＩでは、異なる（空間）光パターンでシーンが照明されるが、パルスレーザを光ソースとして使用し、反射光を高速光検出器で収集する。２Ｄイメージングとの主な違いは、各検出器の信号が時系列になり、時間軸上の位置がイメージング素子からの物体距離に直接対応することである。
【0163】
しかしながら、ＣＧＩ法は以下のように画像再構成に依然として応用することができる。時間軸は離散的な時間ビンに分割される。一つの時間ビン内では、異なる光パターンに対応する検出器信号が３Ｄ画像の一つのスライスに関するすべての情報を含み、ＣＧＩ再構成法を各スライスに個別に適用することができる。各スライスは、同じ時間帯（すなわち、同じビン）に対応することができるが、そうである必要はない。例えば、スライスは、異なる検出器画素に対して異なるビンによって形成されたものと定義することができる。
【0164】
多画素センサの有効解像度を上げる場合、物理的なセンサ画素はそれぞれ視野で個別に考えることができ、Ｎが解像度向上率（つまり、Ｎは、センサのネイティブ解像度に対して有効解像度がどれだけ高いかを示す）となる。例えば、センサのネイティブ解像度が１００×１００ピクセルで、希望する解像度拡張係数が４×４の場合、４００×４００ピクセルの画像を得るためには、合計１６種類の光パターンを投射する必要がある。
【0165】
ここでも、解像度向上率と測定時間の間にトレードオフがある。車載用ＬｉＤＡＲのようなアプリケーションでは、フレームレートの最低要件（通常２０－３０Ｈｚ程度）があり、これが解像度向上率の実用的な上限を設定している。さらに、フル光パターンセットの測定中に位置が大きく変化した移動体がシーンに存在する場合、最終的に再構成された２Ｄまたは３Ｄ画像にモーションアーティファクトが発生する可能性がある。
【0166】
複数の実施形態は、既存の技術の欠点を緩和する方法を提供する。実施形態は、高フレームレートの低解像度画像と低フレームレートの高解像度画像の同時取得を可能にする。さらに、低解像度画像の変化を解析することで、高解像度画像の異なる領域にモーションアーティファクトや低ＳＮ比が含まれているかどうかを予測することができる。複数の実施形態は、２Ｄおよび３Ｄイメージングの両方に使用することができるが、実施形態は３Ｄイメージングのためのものである。
【0167】
複数の実施形態では、光パターンの系列と信号の後処理は、複数の解像度と複数のフレームレートを同時に可能にするように構成される。
【0168】
特に、フルパターン・セットの少なくとも一つのサブセットは、フルセットが許容するよりも低い解像度で画像を再構成するために使用することができるが、それでもネイティブ検出器の解像度よりも高い。フルパターン・セットは、そのようなサブセットを複数含むことができる。
【0169】
フルセットからすべてのパターンが投影される前に低解像度画像を再構成できるように、フルパターン・セットのサブセットを形成する個々のパターンが順番に投影される。このようなサブセット（同じ、または異なるもの）は、フルセットが投影されるまで複数回投影することができる。
【0170】
複数の実施形態では、適応的パターン生成（例えば、マスキング）を利用することもでき、例えば、すべてのパターンに完全に黒い領域を挿入することによって、パターンをフレーム単位で変更することができる。適応的パターン生成（具体的には、パターンの一部をマスクする機能）により、画像のコントラスト（ダイナミックレンジ）を向上させるために、シーンから明るい物体（すぐ近くにある明るい物体または非常に高い反射率を持つ物体）を除外することができる。このような物体の位置に関する情報は、最初の低解像度画像では依然利用可能である。
【0171】
したがって、複数の実施形態は、特定仕様で設計されたパターン、特定の順序のパターン、及び適応的パターン生成（例えば、マスキング）の使用を含む。これらの特徴を合わせて、「動的に制御された符号化照明」と呼ぶ場合がある。
【0172】
従来の走査型ＬｉＤＡＲと比較して、動的に制御された符号化照明により、画像解像度を動的に制御可能なパラメータに変換し、そして、複数の解像度で同時に生成される画像を出力することができる。従来のフラッシュ型ＬｉＤＡＲと比較して、画像解像度は光検出器のネイティブ解像度に制限されることはない（現在の開発状況では、フラッシュ型ＬｉＤＡＲの解像度は２Ｄカメラよりもはるかに低く、完全な自律航行には不十分な場合が多い）。従来のゴースト／シングルピクセル・イメージング技術と比較して、複数の実施形態では、異なる解像度（すべて検出器のネイティブ解像度より高い）の複数の画像を同時に出力でき、１フレーム内で起こる速い動きを検出し、出力画像にモーションアーティファクトをラベル付けすることができる。
【0173】
自律航法に最適とは言えない解像度の比較的安価な光検出器を用いて、動的に制御された符号化照明により、解像度をパラメータとして動的に制御し、最適な解像度とフレームレートの組み合わせで複数の画像を同時に出力し、明るい物体（再帰反射体等）が存在する場合でも高コントラストないイメージングを可能とする３Ｄカメラシステムを構成することができる。
【0174】
図３は、様々な実施形態による多重解像度イメージング技術を示す図である。
【0175】
図３に示すように、照明パターンの初期系列が提供される。該照明パターンの初期系列は、「フル」または「高」解像度を有するシーンの画像を構成するためのフルパターン・セットを形成する（ステップ５０）。シーン４０は、パターン系列からの照明パターンのサブセットで照明される。ここで、該サブセットは、シーンの低解像度を有する画像を構成するためのフルパターン・セットを形成し（ステップ５１）、次に、シーンの低解像度画像が構成される（ステップ５２）。
【0176】
次に、低解像度画像を解析して、シーンに反射体が存在するかどうかを判断する（ステップ５３）。反射体が存在する場合、反射体からの反射を低減するように、系列内の残りのパターンを変更する（ステップ５４）。
【0177】
その後、シーンを系列内の残りの（変更された）パターンで照明し（ステップ５５）、シーンの完全な高解像度画像を構成する（ステップ５６）。
【0178】
次にこの系列を繰り返すことで、さらに、一つ又は複数の高解像度画像等を生成することができる。
【0179】
図４は、別の実施形態を示す。図４に示すように、照明パターンの初期系列が提供される。ここで、照明パターンの系列は、「フル」または「高」解像度を有するシーンの画像を構成するためのフルパターン・セットを形成する（ステップ６０）。 シーン４０は、系列から得られる照明パターンの第１サブセットで照明される。ここで、サブセットは、低解像度を有するシーンの画像を構成するためのフルパターン・セットを形成し（ステップ６１）、シーンの第１の低解像度画像が次に構成される（ステップ６２）。
【0180】
次に、シーンは、系列からの照明パターンの第２サブセットで照明され（ステップ６３）、次いで、系列からの照明パターンの第３サブセットで照明される（ステップ６４）。第３サブセットは、低解像度を有するシーンの画像を構成するためのフルパターン・セットを再び形成してもよい。そして、シーンの第２の低解像度画像が構成される（ステップ６５）。第３サブセットは、第１サブセットと同じ照明パターンを含んでもよいし、そうでなくてもよい。
【0181】
次に、第１および第２の低解像度画像を比較して、シーン内に一つ又は複数の移動体が存在するか否かを判定する（ステップ６６）。
【0182】
次に、シーンを系列の残りのパターンで照明し（ステップ６７）、シーンの完全な高解像度画像を構成する（ステップ６８）。ステップ６６において、シーンが移動体を含むと判断した場合、シーンの高解像度画像は、移動体を含むものとして、かつ／又は信頼できないものとしてマークしてもよい。
【0183】
この系列を繰り返すことで、一つ又は複数のさらに高解像度の画像等を生成することができる。
【0184】
図２の例に戻り、４×４画素の画像を「高解像度」画像とし、２×２画素の画像を「低解像度」画像とする配置を考えてみる。ウォルシュ・ハダマード・パターンセットの特性として、物体の低解像度画像を再構成するために必要な光パターンは、高解像度パターンのサブセットを形成する。
【0185】
図２（ｂ）は、マルチフレームレート多解像度イメージングのためのウォルシュ・ハダマード・パターンセットのサブセットへの分割を示す図である。図２（ｂ）に示すように、サブセットＡは、２×２画素の解像度でイメージングするための完全な基底を形成し、低解像度の画像を取得するためにフルセットとは独立して使用することができる。
【0186】
このように、サブセットＡのパターンを系列の末尾の前に表示することで、系列全体のパターンがすべて表示される前に（かつ、フル解像度画像が構成される前に）、低解像度画像を構成することができる。
【0187】
様々な更に別の実施形態において、以下のパターン系列を測定時に使用することができる。（ｉ）サブセットＡ（低解像度画像を即時に生成する）、次に（ｉｉ）サブセットＢ、次いで（ｉｉｉ）サブセットＡ（独立した低解像度画像を生成する）、次に（ｉｖ）サブセットＣ（以前のサブセットと一緒に用いて高解像度画像を生成する）。
【0188】
したがって、サブセットＡは系列の末尾前に２回繰り返され、それによって系列全体のパターンのすべてが表示される前に（そしてフル解像度画像が構成される前に）、二つの低解像度画像を構成することができる。２回目にサブセットＡを表示することにより、この例では、総測定時間が２５％増加することに留意されたい（パターン表示時間が一定である場合）。
【0189】
この実施形態では、各低解像度画像は、単一の測定ステップ（例えば、ステップ（ｉ）又は（ｉｉｉ））からのデータを用いて、従来のＣＧＩ技術に関して上述した方法で再構成することができる。
【0190】
高解像度画像を再構成するために、測定系列全体からのデータが使用される。これは、単一の測定ステップ（ステップ（ｉ）または（ｉｉｉ））からの信号を使用することによって、または同じ照明パターンを使用するステップ（ｉ）および（ｉｉｉ）における各測定ペアからの信号を平均化することによって行うことができる。この場合、有効な測定数はＮに減少し、再び従来のＣＧＩ技術を再構成に使用することができる。
【0191】
測定ステップ（ｉ）と（ｉｉｉ）で同様の結果が得られた場合（例えば、相互相関によって判定）、測定系列中にシーンが静止しており、高解像度画像内にモーションアーチァクトが存在しない可能性が高い。逆に、低解像度画像における差異がある場合、シーンに動きがある可能性を示していることがある。高解像度画像のこれらの部分は、ユーザーへの出力において、破棄されるか、信頼性が低いものとしてラベル付けすることができる。なお、３Ｄイメージングでは、低解像度の画像間の差異は、深さ方向の差である可能性もある（例えば、イメージング・システムに向かって移動する物体によって引き起こされる）。
【0192】
以上、具体的な例を説明したが、多数の実施形態が可能である。また、本発明の方法の様々な変形や一般化も可能である。
【0193】
例えば、様々な実施形態において、ウォルシュ・ハダマード・セット以外の基底集合を使用して光パターンを構成することができる。例えば、フーリエ基底も、マルチフレームレート多重解像度イメージングに必要な特性を有している。
【0194】
複数の実施形態では、高解像度および低解像度は、ウォルシュ・ハダマード・パターンセットに対しては２の任意の累乗とすることができ、水平および垂直解像度は同じである必要はない。例えば、低解像度は１×４ピクセル、対応する高解像度は１６×３２ピクセルとすることができる。フーリエ基底セットでは、制約がさらに緩くなり、両方の横軸で高解像度が低解像度で割り切れるなら、任意の整数の解像度も可能である。
【0195】
複数の実施形態では、サブセットＢとＣの間のパターンの分割は、図２（ｂ）に示すものとは異なっている。ＢとＣが同数のパターンを含む場合に最良の結果が得られる可能性があるが、これは必要ではない。
【0196】
複数の様々な実施形態において、フル系列の間に低解像度画像が２回以上取得されるパターン系列が形成される場合がある。
【0197】
例えば、再び図４を参照すると、照明パターンの第２サブセット（ステップ６３）が、低解像度を有するシーンの画像を構成するためのフルパターン・セットを形成し、シーンの追加の低解像度画像が、照明パターンの第２サブセットに対して検出された反射を使用して構成されるように、パターン列を形成することができる。さらに又は代替的に、照明パターンの第４サブセット（ステップ６７）が、低解像度を有するシーンの画像を構成するためのフルパターン・セットを形成し、シーンの追加の低解像度画像が、第４サブセットのパターンに対して検出された反射を使用して構成されるように、パターン系列を形成することができる。
【0198】
図４では、照明パターンの第１および第３サブセットを使用して生成された低解像度画像が比較されているが、複数の実施形態では、シーン内に移動体が存在するかどうかを判定するために比較される低解像度画像は、照明パターンの種々のサブセットのうちの任意の二つ（またはそれより多い数）を使用して生成される低解像度画像でよい（例えば、図４の第１サブセット６１、第２サブセット６３、第３サブセット６４、および第４サブセット６７のうちの任意の二つを使用して生成）。
【0199】
様々な実施形態において、同時に取得した二つの解像度の代わりに、３つ以上の解像度を持つパターン列を構成することができる。
【0200】
様々な実施形態において、本方法は、単一画素、１Ｄセンサ（線形センサ）または２Ｄセンサ（マトリックスセンサ）で使用することができる。
【0201】
複数の実施形態では、異なる光パターンは、走査型レーザ装置を用いて生成することができる。例えば、パルス幅の狭いパルスレーザビーム（例えば、１ＭＨｚで１００ｐｓ幅のパルス）は、シーンの異なるスポットを異なる個々のパルスで照射する（これを走査と呼ぶことがある）ように操作することができるが、センサ露出の全体時間（例えば、１ｍｓ）の間、センサによって蓄積される信号は、レーザによってスポットごとに描かれたパターンから得られるものと同等である。
【0202】
しかし、パルス幅が比較的狭いレーザビームでシーンを走査するという性質上、低解像度の画像には、走査軌跡の間に隙間があり、小さな物体が見逃される可能性がある。そこで、複数の実施形態では、低解像度の画像であっても、そのような小さな物体に関する情報を失わないように符号化フラッド照明を使用する。
【0203】
様々な更に別の実施形態においては、ホログラフィックに生成された投影を使用して、パターンを生成することができる。
【0204】
複数の実施形態では、多画素検出器の場合、低解像度画像の再構成において、複数の物理センサ画素からの信号が加算されることがある。これは、例えば、相対的な測定ノイズが高くなる可能性のある低照度条件において有利である。
【0205】
複数の実施形態では、差分けイメージングとして知られる技術を使用することができる。差分イメージングでは、各光パターンの後に、その逆の光パターン（照明領域が非照明領域と置き換えられ、その逆も同様に置き換えられたパターン）が続く。その結果、一つの画素検出器でＮ画素の画像を再構成するために、差分イメージングでは２Ｎ個のパターンが必要となる。
【0206】
複数の実施形態では、強く反射する物体（再帰反射体等）は、センサ信号を飽和させ、その結果、再構成精度を低下させることがある。このため、適応型イメージングアルゴリズムを使用することができ、上記のような反射体の位置が前のフレームから特定され、該反射体を含む視野の一部がより小さい強度で照明される（または全く照明されない）特別な光パターンが構成される。これにより、システムのダイナミックレンジを拡大することができる。
【0207】
様々な実施形態において、個々のパターンが、例えば図２（ｂ）のサブセットＡおよび他のサブセットからのパターンの線形結合であるパターン系列を構成することができる。そのようなパターン集合の例は、例えば、以下のようにして得ることができる。図２（ｂ）のサブセットＡが４回繰り返された場合、そのサブセットＡから、最初の繰り返しでは、各白の２×２ピクセル正方形は図５の第１列からのトップサブパターンに置き換えられ、各黒の２×２ピクセル正方形は図５の第１列からのボトムサブパターンに置き換えられ、２番目の繰り返しでは、各白の２×２ピクセル正方形は図５の第２列からのトップサブパターンに置き換えられ、各黒の２×２ピクセル正方形は図５の第２列からボトムサブパターンに置き換えられる。この操作が繰り返される。
【0208】
このようなパターンセットにより、測定時間を増やすことなく、フル系列中に４回の低解像度画像を得ることができる。しかし、低解像度画像のコントラストが低下するという欠点がある。
【0209】
一般に、サブパターンは、以下の基準を満たす限り、異なる方法で構成することができる。
１） サブパターンはアンバランスであること、すなわち、照明された領域と暗い領域の総面積が不均等であること、
２） 白のサブパターンは、高解像度画像と低解像度画像の解像度比に（両次元に沿って）等しい解像度のフルパターン・セットを形成すること、同様に黒のサブパターンも高解像度画像と低解像度画像の解像度比に（両次元に沿って）等しい解像度のフルパターン・セットを形成すること。
１） サブパターンはアンバランスであること、すなわち、照明された領域と暗い領域の総面積が不均等であること、
２） 白のサブパターンは、高解像度画像と低解像度画像の解像度比に（両次元に沿って）等しい解像度のフルパターン・セットを形成すること、同様に黒のサブパターンも高解像度画像と低解像度画像の解像度比に（両次元に沿って）等しい解像度のフルパターン・セットを形成すること。
【0210】
上述のように、異なる光パターンでシーンを照明し、各パターンの検出器の信号値を記録することにより、結合画像の有効解像度を検出器のネイティブ解像度より高くすることができる。結合画像はＷｘＨの解像度を有し、Ｗ＊Ｈ＝Ｍ個の全画素を有し、検出器はＰ＜Ｍ個の物理画素を有することができる。
【0211】
フルパターン・セットとは、Ｐ個の物理的な画素を持つ検出器を用いて、Ｍ個の空間点（画素）の解像度でシーンの画像を再構成するのに十分な照明パターンのセットである。解像度向上係数は、Ｅ＝Ｍ／Ｐと定義される。フルパターン・セットは、ＷｘＨの解像度を持つ少なくともいくつかの線形独立なパターンを含む必要がある。
【0212】
フルパターン・セットには、例えば、以下のような種類がある。
タイプ（１）：Ｅ個のパターンを含む、線形独立パターンの完全な基底セット、
タイプ（２）：タイプ（１）のパターンとその逆パターン（差分けイメージングに使用）をすべて含むセットで、合計パターン数は２Ｅである。
タイプ（３）：タイプ（１）のパターンのサブセットであり、タイプ（１）のパターンを少なくとも５％含み、本サブセットからの少なくとも一つのパターンが、次元Ｗに沿って、範囲Ｗ／４＜ｆ＜Ｗ／２の空間周波数ｆを含み、少なくとも一つのパターンが、次元Ｈに沿って、範囲Ｈ／４＜ｆ＜Ｈ／２の空間周波数ｆを含み、Ｗ／２とＨ／２がナイキストの定理に従って対応する次元に沿ったパターンのうち可能な最高周波数となるパターンである。このようなセットは、圧縮イメージングに使用することができる。
タイプ（４）：タイプ（３）のサブセットで、タイプ（１）のパターンではなく、タイプ（２）のパターンから構成される。
タイプ（５）：パターン（１）、（２）、（３）、（４）のいずれかをサブセットとして含む、任意のパターンセット。
タイプ（１）：Ｅ個のパターンを含む、線形独立パターンの完全な基底セット、
タイプ（２）：タイプ（１）のパターンとその逆パターン（差分けイメージングに使用）をすべて含むセットで、合計パターン数は２Ｅである。
タイプ（３）：タイプ（１）のパターンのサブセットであり、タイプ（１）のパターンを少なくとも５％含み、本サブセットからの少なくとも一つのパターンが、次元Ｗに沿って、範囲Ｗ／４＜ｆ＜Ｗ／２の空間周波数ｆを含み、少なくとも一つのパターンが、次元Ｈに沿って、範囲Ｈ／４＜ｆ＜Ｈ／２の空間周波数ｆを含み、Ｗ／２とＨ／２がナイキストの定理に従って対応する次元に沿ったパターンのうち可能な最高周波数となるパターンである。このようなセットは、圧縮イメージングに使用することができる。
タイプ（４）：タイプ（３）のサブセットで、タイプ（１）のパターンではなく、タイプ（２）のパターンから構成される。
タイプ（５）：パターン（１）、（２）、（３）、（４）のいずれかをサブセットとして含む、任意のパターンセット。
【0213】
一般に、複数の解像度で同時にイメージングできるようにするには、高解像度用のフルパターン・セットの選択を、低解像度イメージング用のそれ自体がフルパターン・セットである少なくとも二つのサブセットを含むように行う必要がある。高解像度のフルパターン・セットがそのようなサブセットを一つだけ含む場合、このサブセットのコピー（複数可）を、シーンに投影されるパターンの系列に追加することができる。
【0214】
以下の例では、Ｐ＝１（単画素検出器）を想定しているが、任意のＰに対して一般化することができる。
【0215】
いくつかの実施形態（図２を参照して説明した上記実施形態等）では、フルパターン集合は、高解像度イメージング用の完全に線形独立な基底を形成し、それ自体が低解像度の完全な基底である少なくとも一つのサブセット（例えば、図２においてＡで示されるサブセット）を含むことができる。このような基底セットの例には、ウォルシュ・ハドマード基底、離散コサイン変換基底（フーリエ変換の変形）、及びハールウェーブレット基底があるが、これがすべてではない。
【0216】
図２（ａ）の特定の例は、Ｍ＝４ｘ４＝１６のフルパターン・セットを描いており、図２（ｂ）のうち、サブセットＡは、それ自体がＭ＝２ｘ２＝４のフルパターン・セットである。低解像度の画像を２回取得するために、サブセットＡのコピーを前記パターンセットに追加する。
【0217】
図５に関して述べた上記実施形態では、パターンセットもタイプ（１）であるが、異なる方法で生成することもできる。一般に、パターンセットは、低解像度の完全な基底からのパターンおよび他のサブセットからのパターンの線形結合である独立なパターンを含む。これにより、ちょうどＥ個のパターンだけで低解像度の画像を複数回再構成することができる。
【0218】
このようなパターンセットを生成する方法としては、まず、低解像度画像（Ｍ画素）に対して、完全な線形独立基底セットを選択する。次に、アンバランスな基底パターンを含むサブパターン（Ｎ画素）に対して、別の完全な基底が選択される。最後に、両方のサブ基底から２次元基底関数のクロネッカー積を取ることによって、光パターンを構成する。
【0219】
クロネッカー積の特性として、最終的な高解像度パターンも高解像度画像（ＭｘＮピクセル）の完全な基底を形成する。ただし、この場合、光パターンの最終的なセットは、低解像度で完全な基底となるサブセットを含まず、そのような基底の近似となるサブセットに分割可能である。
【0220】
これらの実施形態において、高解像度パターン（ＭｘＮ画素）の近似は、高解像度パターンにローパス周波数フィルタリングを適用して低解像度（Ｍ画素）にダウンサンプリングすることによって得られる低解像度パターン（Ｍ画素）である。アンバランスなパターンセットは、任意のサブパターンの全画素の平均値が該アンバランスなパターンセットの全画素の平均値とは異なる、線形独立な基底パターンのセットである。
【0221】
様々な更に別の実施形態では、高解像度のフルパターン・セットまたはそのサブセット（複数可）（低解像度画像の再構成に使用）のいずれかは、タイプ３である。このようなパターンセットは、圧縮イメージングアルゴリズムと組み合わせて使用することができる。これらのアルゴリズムは、（例えば以前のフレームから得られた）シーンに関するいくつかの事前情報または推定とともに、パターンの不完全な基底を使用して画像を再構成することを可能にし、通常、より低い品質の画像を生成する。例えば、図２（ｂ）のサブセットＢやサブセットＣは、高解像度イメージング用のタイプ３のフルパターン・セットである。
【0222】
この場合の系列の例としては、以下のようなものが考えられる。
１）一つのタイプ１のフルパターン集合を複数のサブセットに分割し、そのサブセットのうち少なくとも二つがそれ自体タイプ３のフルパターン集合になるようにする。
２）第１サブセットを表示し、その結果に圧縮センシングを使用し、高解像度の低画質の画像を得る。その後、ローパスフィルターをかけ、ダウンサンプリングすることで、低画質の低解像度画像が得る。
３）タイプ３のフルパターン・セットである他のサブセットで前のステップを繰り返し、各ステップで低画質の低解像度画像を得る。
４）すべてのサブセットからの情報を、（圧縮センシングを使用せずに）通常の品質の高解像度画像を構成するために使用する。
１）一つのタイプ１のフルパターン集合を複数のサブセットに分割し、そのサブセットのうち少なくとも二つがそれ自体タイプ３のフルパターン集合になるようにする。
２）第１サブセットを表示し、その結果に圧縮センシングを使用し、高解像度の低画質の画像を得る。その後、ローパスフィルターをかけ、ダウンサンプリングすることで、低画質の低解像度画像が得る。
３）タイプ３のフルパターン・セットである他のサブセットで前のステップを繰り返し、各ステップで低画質の低解像度画像を得る。
４）すべてのサブセットからの情報を、（圧縮センシングを使用せずに）通常の品質の高解像度画像を構成するために使用する。
【0223】
その他、様々な他の系列が可能である。例えば、最初の高解像度パターンセットはタイプ３でもよく、その場合、最後のステップで得られる高解像度画像も低品質となる。
【0224】
いくつかのサブセットは、低解像度画像用のタイプ１のフルパターン・セット（例えば、図２（ｂ）のサブセットＡ）の場合もあり、この場合、対応するステップで通常品質の低解像度画像が取得される。
【0225】
第２ステップでは、高解像度の画像を再構成してダウンサンプリングする代わりに、再構成に使用するパターンを、表示されるパターンの低解像度近似値とすることができ、この場合、低解像度の画像が再構成される。
【0226】
本明細書では、照明パターンの系列を用いてシーンを照明する方法及びシステムに関して様々な実施形態を説明してきたが、その代わりに、いわゆる「単一画素イメージング」技術（かつ／又は類似の関連技術）を用いて同等の効果を達成することも可能であろう。これらの実施形態では、シーンは（例えば、均等に、すなわち照明パターンを使用せずに）照明され、反射光は（例えば、適切なイメージング光学系を使用して）収集することができる。
【0227】
一連の（検出）パターンを、例えば光が検出される前に、反射光にインポーズすることができる。これは、任意の適切な方法で実現できる。例えば、検出パターンは、センサの前（例えば、センサの正面前）に配置された空間光変調器等によって、センサ上に形成することができる。さらに又は代替的に、センサは、活性領域かつ／又は非活性領域（かつ／又は異なる感度を有する領域）を有するように構成することができ、これらの領域は、パターンを形成することができる。
【0228】
検出パターンは、上述の照明パターンに対応する特性を有するように、必要な変更を加えて構成することができる。
【0229】
複数の実施形態は、例えば、自動運転または運転支援機能のための局所的な状況認識を提供するために、車両の周囲のリアルタイム３Ｄマッピング用の３Ｄイメージングに使用することができる。
【0230】
車両は、経路計画やナビゲーションの前提となる状況認識のために３Ｄマップを必要とする場合がある。運転シナリオが異なれば、異なる（横方向側面の）解像度や反応速度が必要になることもある。
【0231】
例えば、操縦途中や駐車途中は運転速度が遅く、特に道路上の近くの物体（例えば０．５ー１０ｍ）の距離や寸法を高解像度（例えば０．１度の角度分解能）で、しかし比較的低いフレームレート（例えば数フレーム／秒（ｆｐｓ））でマッピングする必要がある。一方、市街地での運転では、車両から短距離から中距離（例えば５ー５０ｍ）にある静的および動的障害物を、比較的低い解像度（例えば１度の角度分解能）で、ビデオフレームレート（例えば２０ｆｐｓ）、および車両の周囲３６０度の視野で検出する必要がある。高速道路での運転では、狭い視野で高解像度の画像を高フレームレートで撮影し、同時に広い視野で低解像度の高フレームレートの画像を撮影する必要がある（例えば、不意に車線を変更する車を検出するため）。照明パターンの系列及び本発明の様々な実施形態の信号処理は、これらの特徴のそれぞれを提供するように構成することができる。
【0232】
さらに、通常の交通状況および様々な照明条件における物体の反射率は、光の大部分を反射するように設計された再帰反射体から、反射率が１０％未満の暗い物体（複数可）まで、大幅に変化する可能性がある。本願発明の様々な実施形態に基づいて、動的に制御された符号化照明を使用して、検出器のダイナミックレンジの強化を行い、それによって暗い物体の存在の検出を可能にすることができる。
【0233】
また、複数の実施形態は、例えば、グローバルな状況認識を提供するために、例えば、都市のインフラや工業用地等のリアルタイムの３Ｄマッピングに使用することができる。
【0234】
インフラストラクチャでは、リアルタイムの３Ｄマップの形で状況認識を提供するセンサは、例えば、５０ｍまでの動作半径の領域をカバーするように、例えば５ｍまでの高さに配置することができる。このような構成では、均一な角度分解能では、検出可能な物体の寸法に約１０倍の差をもたらすことがある（すなわち、比較的小さな物体は、大きく離れた距離にあると検出できないことがある）。様々な実施形態に従って解像度を選択的に調整する機能は、この均一性の問題を解決するために使用することができる。これらの実施形態では、カメラが静的である場合、他の静的な物体をイメージングするためのフレームレートは比較的低くてもよく、一方、移動体に対するフレームレートは高くすることができる。さらに、移動体を検出することができるように、カメラの解像度を、例えば、信頼性の高い物体認識及び高速の物体追跡が可能なように、例えば最適値に、調整することができる。
【0235】
様々な実施形態では、完全な機能を備えた３Ｄカメラ装置（カメラ）が提供され、例えば、車両に設置されるか、または不動体（例えば、ランプポスト）に固定することができる。カメラは、標準的なデジタルインターフェース（ＵＳＢ３．１やＰＣＩ Ｅｘｐｒｅｓｓ等）を介して中央処理装置（ＣＰＵ）に接続され、このインターフェースを介してＣＰＵからコマンドを受け取るように設計することができる。カメラは、動作中に取得した３Ｄ画像および／または視野の３Ｄマップ（例えば、認識した物体の種類、位置および寸法に関する情報を含む）をＣＰＵに出力することができる。
【0236】
これらの実施形態では、カメラ撮像パラメータは、ＣＰＵによって直接制御されるか、または、カメラによって自動的に調整され、例えばＣＰＵによって指示されるように画質を最適化することができる。カメラ撮像パラメータは、高解像度画像のフレームレート及びその解像度、低解像度画像のフレームレート及びその解像度、ダイナミックレンジ、視野、関心領域（ＲｏＩ： Region of Interest）、最大測定距離、マスク領域（その中の物体は画像化されない）を含むが、これらに限定されない。
【0237】
様々な実施形態は、３Ｄカメラ装置のオプトエレクトロニクスサブシステム（例えば、コンポーネントと電気インターフェースを備えたプリント回路基板）として提供することができ、例えば、別の製品に取り付けて、本明細書に記載された技術的特徴でその製品の機能を強化するために用いることができる。
【0238】
前記サブシステムは、画像化するシーンを照明するために照明ソースを制御するように構成されるが、別の製品にインストールされる可能性のある多画素光検出器（例えばＳＰＡＤアレイ）を含まないようにすることができる。前記サブシステムは、光検出器から、例えばデジタルインターフェースを介して情報を受信し、この情報を用いて光検出器のネイティブ解像度よりも高い解像度で３Ｄ画像を構成することができる。
【0239】
前記サブシステムは、これらの３Ｄ画像を、例えば、別のデジタルインターフェースを介して、別の製品に提供することができる。カメラ撮像パラメータ（上記に挙げている）は、他の製品によって直接制御されるか、または前記サブシステム自身によって、例えば、他の製品によって指示されたように自動的に調整して、画質を最適化することができる。他の製品は、光検出器のネイティブ解像度で３Ｄ画像を構成するために、光検出器の情報を使用してもよいし、しなくてもよい。
【0240】
図６は、様々な実施形態に従って構成された、三次元画像内の距離を決定するために使用されるイメージング・システムを示す図である。このシステムは、光パルスの発光時間とその光パルスの検出時間を記録し、距離の計算に光速を用いる、直接飛行時間（ＴｏＦ）測定法を利用する。
【0241】
３次元画像の横方向の解像度は、既知の特殊な光パターンをシーンに順次表示し、シーンから反射する各パターンからの光の量を１画素の光検出器で測定する、ＣＧＩ（コンピュテーショナル・ゴースト・イメージング）を使用して取得できる。その後、既知のパターンからのデータと、測定された光を組み合わせることで、シーンの画像を計算機で再構成することが可能になる。
【0242】
図６に示すような３次元飛行時間型コンピュテーショナル・ゴースト・イメージング（ＣＧＩ）システムは、パターンを用いてシーン４０の符号化照明を出力する投影装置１０と、光検出のための検出装置２０と、画像処理及び再構成のためのデータ処理ユニット３０とを含む。投影装置１０及び検出装置２０は、システムが画素多重化のコンセプトを実装することを可能にし、それにより、再構成された画像の画素数を、ラインセンサ又はマトリックスセンサの物理画素数よりも増加させる。
【0243】
投影装置１０では、パルス化ピコセカンドレーザ１２のビームが、ビームエキスパンダを介してデジタルマイクロミラーデバイス１４上に導かれ、次いで、レンズ１６を用いてシーン４０上に投影される。検出装置２０では、円筒レンズ２６により、各ＳＰＡＤラインセンサ２２のピクセルが、ピクセル毎に視野を狭めることによって、シーン４０の別々の領域から反射光を収集することができる。コンピュータ３２は、測定の制御、およびデータ処理に使用される。また、レーザ１２は、飛行時間の直接測定を可能にするために、ＳＰＡＤラインセンサ２２のための基準信号を提供する。
【0244】
測定に先立ち、前記イメージング・システムの投影装置１０は、任意の所望のパターンセットを表示するようにプログラムすることができ、これにより、所望のパターンセット設定のパラメータをソフトウェアで制御することができる。
【0245】
図７に示すように、図６のシステムを２５６画素のラインセンサで３Ｄイメージングに使用したところ、画素数が６４倍となり、１２８ｘ１２８の３Ｄ画像が得られた。同時に、６４ｘ６４の３Ｄ画像をフルパターン・セットの１／４だけで再構成することができた。
【0246】
図７（ａ）は、テストシーンの２次元画像（写真）を示す図である。図７（ｂ）は、ＳＰＡＤラインセンサ２２のセンサネイティブ解像度である１ｘ２５６画素の画像を示している。図７（ｃ）は、再構成された低解像度（６４ｘ６４）深度マップを示し、図７（ｄ）は、再構成された高解像度（１２８ｘ１２８）深度マップを示す。深度分解能は３ｃｍである。
【0247】
上記から、本明細書に記載された技術は、少なくともその実施形態では、イメージング・システムにおける高解像度及び低解像度の画像を提供するための技術を提供することがわかるであろう。この技術は、少なくとも複数の実施形態において、一つの系列の照明パターンに対して検出された反射を利用して、第１解像度を有するシーンの第１画像を構成し、前記系列の照明パターンのサブセットに対して検出された反射を使用して、シーンの第２画像を構成することによって達成される。
【0248】
前述の詳細な説明は、例示および説明の目的で提示されたものである。網羅的であること、または開示された形態に技術を正確に限定することは意図されていない。前述の教示に照らして多くの修正および変形が、可能である。記載された実施形態は、技術の原理およびその実用的な適用を最もよく説明するために選択され、それによって、当業者が、企図された特定の用途に適するように様々な実施形態および様々な修正を伴って技術を最もよく利用することができるようにすることが目的である。本明細書は、本明細書に添付された特許請求の範囲によって、その範囲が定義されることを意図している。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】