知財求人 - 知財ポータルサイト「IP Force」
▶ ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023052222
(43)【公開日】2023-04-11
(54)【発明の名称】ピクセルワイズイメージングの方法及びシステム
(51)【国際特許分類】
H04N 25/70 20230101AFI20230404BHJP
H04N 25/703 20230101ALI20230404BHJP
H04N 25/705 20230101ALI20230404BHJP
H04N 25/77 20230101ALI20230404BHJP
H04N 25/771 20230101ALI20230404BHJP
H04N 25/78 20230101ALI20230404BHJP
G01B 11/245 20060101ALI20230404BHJP
G01B 11/25 20060101ALI20230404BHJP
G01B 11/26 20060101ALI20230404BHJP
【ＦＩ】
H04N25/70
H04N25/703
H04N25/705
H04N25/77
H04N25/771
H04N25/78
G01B11/245 H
G01B11/25 H
G01B11/26 H
【審査請求】有
【請求項の数】39
【出願形態】ＯＬ
(21)【出願番号】P 2023000522
(22)【出願日】2023-01-05
(62)【分割の表示】P 2019559035の分割
【原出願日】2018-04-27
(31)【優先権主張番号】62/491,620
(32)【優先日】2017-04-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/649,763
(32)【優先日】2018-03-29
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】501318567
【氏名又は名称】ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ゲノフ、ローマン
(72)【発明者】
【氏名】クトゥラコス、キリアコス
(72)【発明者】
【氏名】サラーングネジャド、ナビッド
(72)【発明者】
【氏名】カティック、ニコラ
(72)【発明者】
【氏名】ウェイ、ミラン
(57)【要約】 （修正有）
【課題】シーンのピクセルワイズイメージングを行うための方法及びシステムを提供する。
【解決手段】方法は、画像センサの複数のピクセルのうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受信する工程と、そのようなピクセルがシーンから受光した光にさらされると、露光した各ピクセルで電子信号を生成する工程と、各ピクセルの電子信号を、各マスキング値に基づいて、該ピクセルに関連付けられ、それぞれ受信した電子信号を、統合可能な１つ又は複数の収集ノードに誘導する工程と、を含む。
【選択図】図３４
【解決手段】方法は、画像センサの複数のピクセルのうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受信する工程と、そのようなピクセルがシーンから受光した光にさらされると、露光した各ピクセルで電子信号を生成する工程と、各ピクセルの電子信号を、各マスキング値に基づいて、該ピクセルに関連付けられ、それぞれ受信した電子信号を、統合可能な１つ又は複数の収集ノードに誘導する工程と、を含む。
【選択図】図３４
【特許請求の範囲】
【請求項1】
シーンのピクセルワイズイメージングを行うためのシステムであって、
シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有するピクセル列を含む画像センサと、
各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な１つ又は複数の収集ノードを含む信号記憶モジュールと、
制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールであって、前記制御メモリはピクセルワイズパターンを受け取り、前記ピクセルワイズパターンは画像センサの各ピクセルに対するマスキング値を含み、各ピクセルについて、前記１つ又は複数の論理コンポーネントは、各マスキング値に基づいて、電子信号を１つ又は複数の収集ノードのそれぞれに誘導する、ようにした、制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールと、
を備えることを特徴とするシステム。
シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有するピクセル列を含む画像センサと、
各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な１つ又は複数の収集ノードを含む信号記憶モジュールと、
制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールであって、前記制御メモリはピクセルワイズパターンを受け取り、前記ピクセルワイズパターンは画像センサの各ピクセルに対するマスキング値を含み、各ピクセルについて、前記１つ又は複数の論理コンポーネントは、各マスキング値に基づいて、電子信号を１つ又は複数の収集ノードのそれぞれに誘導する、ようにした、制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールと、
を備えることを特徴とするシステム。
【請求項2】
前記１つ又は複数の収集ノードは、ピクセル当たり正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を１つの収集ノードに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする請求項１に記載のシステム。
【請求項3】
前記１つ又は複数の収集ノードは、ピクセル当たり正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードのそれぞれは２桁のバイナリ値の１つに関連付けられ、１つ又は複数の論理コンポーネントは、各２桁のバイナリ値に基づいて、電子信号を各収集ノードに誘導する、ことを特徴とする請求項１に記載のシステム。
【請求項4】
前記制御メモリは、フレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導する、ことを特徴とする請求項１に記載のシステム。
【請求項5】
前記制御メモリは、サブフレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導し、各フレームは複数のサブフレームを有する、ことを特徴とする請求項１に記載のシステム。
【請求項6】
前記制御メモリは、
次のサブフレームの新しいピクセルワイズパターンを格納する第１のメモリユニットと、
現在のサブフレームのピクセルワイズパターンを格納する第２のメモリユニットと
を備えることを特徴とする請求項５に記載のシステム。
次のサブフレームの新しいピクセルワイズパターンを格納する第１のメモリユニットと、
現在のサブフレームのピクセルワイズパターンを格納する第２のメモリユニットと
を備えることを特徴とする請求項５に記載のシステム。
【請求項7】
前記次のサブフレームの新しいピクセルワイズパターンが前記第１のメモリに順次ロードされ、前記現在のサブフレームのピクセルワイズパターンが前記第２のメモリに同時にロードされる、請求項６に記載のシステム。
【請求項8】
前記画像センサは、ピン止めフォトダイオード、フォトゲート、電荷結合素子、電荷注入デバイス、単一光子アバランシェダイオードのうちの１つを含む、ことを特徴とする請求項１に記載のシステム。
【請求項9】
前記論理コンポーネントは電荷移動ゲートを備え、収集ノードは浮遊拡散ノードを備える、ことを特徴とする請求項１に記載のシステム。
【請求項10】
各収集ノードでの統合の測定値をデジタル化して出力するデジタル化モジュールをさらに備えることを特徴とする請求項１に記載のシステム。
【請求項11】
前記画像センサはラインセンサであることを特徴とする請求項１に記載のシステム。
【請求項12】
前記シーンから受光した光は、光源からの時間変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記システムは、光源での変調光と感光性受容体で受光した光との位相差を測定することで変調光の飛行時間を決定するプロセッサをさらに備え、１つ又は複数の論理コンポーネントは、変調光の変調の第１の部分の間に電子信号を収集ノードの１つに誘導し、変調光の変調の第２の部分の間に電子信号を他の収集ノードに誘導する、ことを特徴とする請求項１に記載のシステム。
【請求項13】
前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする請求項１３に記載のシステム。
【請求項14】
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする請求項１に記載のシステム。
【請求項15】
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視し、直接光路、間接光路、又は反射光路からなる群から所定の経路タイプを選択するような相補パターンを含む、ことを特徴とする請求項１に記載のシステム。
【請求項16】
前記シーンから受光した光は、光源からの測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間に電子信号を収集ノードの１つに誘導し、第２の照明条件の間に電子信号を他の収集ノードに誘導し、上記システムは、各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定するプロセッサをさらに備える、ことを特徴とする請求項１に記載のシステム。
【請求項17】
前記法線は、２つ以上の隣接ピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項１６に記載のシステム。
【請求項18】
前記法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項１６に記載のシステム。
【請求項19】
前記シーンから受光した光は、光源からの構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、上記システムは、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定するプロセッサをさらに備える、ことを特徴とする請求項１に記載のシステム。
【請求項20】
前記深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項１９に記載のシステム。
【請求項21】
前記深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項１９に記載のシステム。
【請求項22】
シーンのピクセルワイズイメージングを行うための方法であって、
画像センサのピクセル列のうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、
そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、
各ピクセルの電子信号を各マスキング値に基づいて該ピクセルに関連付けられた１つ又は複数の収集ノードに誘導する工程であって、前記１つ又は複数の収集ノードは各々は受信した電子信号を統合可能とする、工程と、
を備えることを特徴とする方法。
画像センサのピクセル列のうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、
そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、
各ピクセルの電子信号を各マスキング値に基づいて該ピクセルに関連付けられた１つ又は複数の収集ノードに誘導する工程であって、前記１つ又は複数の収集ノードは各々は受信した電子信号を統合可能とする、工程と、
を備えることを特徴とする方法。
【請求項23】
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を収集ノードの１つに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする請求項２２に記載の方法。
【請求項24】
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードはそれぞれ２桁のバイナリ値の１つに関連付けられ、電子信号は、各２桁のバイナリ値に基づいて各収集ノードに誘導される、ことを特徴とする請求項２２に記載の方法。
【請求項25】
前記フレームごとに新しいピクセルワイズパターンを受信し、新しいピクセルワイズパターンのマスキング値に基づいて電子信号が誘導される、ことを特徴とする請求項２２に記載の方法。
【請求項26】
前記サブフレームごとに新しいピクセルワイズパターンを受信し、電子信号は新しいピクセルワイズパターンのマスキング値に基づいて誘導され、各フレームは複数のサブフレームを含む、ことを特徴とする請求項２２に記載の方法。
【請求項27】
前記現在のサブフレームのピクセルワイズパターンを格納する工程と、
次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程と、
をさらに備えることを特徴とする請求項２６に記載の方法。
次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程と、
をさらに備えることを特徴とする請求項２６に記載の方法。
【請求項28】
前記次のサブフレームの新しいピクセルワイズパターンが順次メモリにロードされ、現在のサブフレームのピクセルワイズパターンがメモリに同時にロードされる、ことを特徴とする請求項２７に記載の方法。
【請求項29】
前記各収集ノードでの統合の測定値をデジタル化して出力する工程をさらに備えることを特徴とする請求項２２に記載の方法。
【請求項30】
前記シーンから受光した光は時間的に変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光源での変調光と受光した光との位相差を測定することにより変調光の飛行時間を決定する工程をさらに備え、各ピクセルで電子信号を誘導する工程は、変調光の変調の第１の部分の間に収集ノードの１つに電子信号を誘導する工程と、変調光の変調の第２の部分の間に他の収集ノードに電子信号を誘導する工程とを含む、ことを特徴とする請求項２２に記載の方法。
【請求項31】
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする請求項２２に記載の方法。
【請求項32】
前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする請求項３１に記載の方法。
【請求項33】
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに含み、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードに誘導し、そうでない場合は、電子信号をブロック又は無視するような相補パターンを含み、直接光路、間接光路、反射光路からなる群から所定の経路タイプを選択する、ことを特徴とする請求項２２に記載の方法。
【請求項34】
前記シーンから受光した光は測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、電子信号は第１の照明条件の間に収集ノードの１つに誘導され、第２の照明条件の間に他の収集ノードに誘導され、
各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定する工程をさらに備える、ことを特徴とする請求項２２に記載の方法。
各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定する工程をさらに備える、ことを特徴とする請求項２２に記載の方法。
【請求項35】
前記法線は、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項３４に記載の方法。
【請求項36】
前記法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項３４に記載の方法。
【請求項37】
前記シーンから受光した光は、構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、
光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定する工程をさらに備える、ことを特徴とする請求項２２に記載の方法。
光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定する工程をさらに備える、ことを特徴とする請求項２２に記載の方法。
【請求項38】
前記深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項３７に記載の方法。
【請求項39】
前記深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項３７に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、イメージングに関し、特に、ピクセルワイズイメージングのための方法及びシステムに関するものである。
【背景技術】
【0002】
静止カメラ及びビデオカメラに見られるものなどの画像センサは、複数の感光性受容体を有する。これらの受容体は、通常、相補型金属酸化膜半導体（ＣＭＯＳ）デバイスである。光の光子は、受容体のフォトサイトで収集され、通常、各ピクセルに１つのフォトサイトが存在する。通常、光子は、１つ又は複数のレンズを介して画像センサの光受容体に誘導される。そのフォトサイトの受容体のシリコンで電荷が生成され、この電荷は、受光した光の強度に比例する。各電荷の値は、アナログ・デジタルコンバータによってデジタル値に変換される。
【0003】
従来のカラー画像センサの場合、フォトサイトの４分の１は赤色光を記録し、別の４分の１は青色光を記録し、残りの半分は緑色光を記録する。この各フォトサイトへの光のフィルタリングは、通常、各フォトサイトに色付きフィルタを配置することによって行われ、ベイヤーフィルター配列と呼ばれる。各カラーピクセルは、モザイク操作により、隣接するフォトサイトのカラーデータで補間され、各ピクセルにフルカラー値が割り当てられる。
【0004】
通常、従来の開口部が開くと、すべての光受容体が同時に光を受光する。これは、各ピクセルが画像にほぼ等しく寄与することを意味する。他の場合には、ローリングシャッターもあり、いくつかの光子が画像センサに到達するのを連続的にブロックすることにより、垂直又は水平方向において、画像センサ全体の時間的スキャンが行われる。どのフォトサイトのセットから来るフォトサイトかの選択性は、ある特定の瞬間にシャッターによって集合的にブロックされる。
【0005】
よって、本発明の目的は、従来の欠点を除去又は軽減し、所望の属性の達成を促進する方法及びシステムを提供することにある。
【発明の概要】
【0006】
一態様では、シーンのピクセルワイズイメージングを行うためのシステムが提供され、このシステムは、シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有する複数のピクセルを含む画像センサと、各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な１つ又は複数の収集ノードを含む信号記憶モジュールと、画像センサの各ピクセル及び各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る制御メモリと、各マスキング値に基づいて、電子信号を１つ又は複数の収集ノードのそれぞれに誘導する１つ又は複数の論理コンポーネントとを有する制御論理モジュールとを備えている。
【0007】
特定の場合において、１つ又は複数の収集ノードは、ピクセル当たり正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を１つの収集ノードに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す。
【0008】
別の場合では、１つ又は複数の収集ノードは、ピクセル当たり正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードのそれぞれは２桁のバイナリ値の１つに関連付けられ、１つ又は複数の論理コンポーネントは、各２桁のバイナリ値に基づいて、電子信号を各収集ノードに誘導する。
【0009】
さらに別の場合では、制御メモリは、フレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導する。
【0010】
さらに別の場合、制御メモリは、サブフレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を管理し、各フレームは複数のサブフレームを有する。
【0011】
さらに別の場合では、制御メモリは、次のサブフレームの新しいピクセルワイズパターンを格納する第１のメモリユニットと、現在のサブフレームのピクセルワイズパターンを格納する第２のメモリユニットとを備える。
【0012】
さらに別の場合では、次のサブフレームの新しいピクセルワイズパターンが第１のメモリユニットに順次ロードされ、現在のサブフレームのピクセルワイズパターンが第２のメモリユニットに同時にロードされる。
【0013】
さらに別の場合では、画像センサは、ピン止めフォトダイオード、フォトゲート、電荷結合素子、電荷注入デバイス、単一光子アバランシェダイオードのうちの１つを含む。
【0014】
さらに別の場合では、論理コンポーネントは電荷移動ゲートを備え、収集ノードは浮遊拡散ノードを備える。
【0015】
さらに別の場合では、上記システムは、各収集ノードでの統合の測定値をデジタル化して出力するデジタル化モジュールをさらに備える。
【0016】
さらに別の場合では、画像センサはラインセンサである。
【0017】
さらに別の場合では、シーンから受光した光は、光源からの時間変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記システムは、光源での変調光と感光性受容体で受光した光との位相差を測定することで変調光の飛行時間を決定するプロセッサをさらに備え、１つ又は複数の論理コンポーネントは、変調光の変調の第１の部分の間に電子信号を収集ノードの１つに誘導し、変調光の変調の第２の部分の間に電子信号を他の収集ノードに誘導する。
【0018】
さらに別の場合では、所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される。
【0019】
さらに別の場合では、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む。
【0020】
さらに別の場合では、１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視し、直接光路、間接光路、又は反射光路からなる群から所定の経路タイプを選択する。
【0021】
さらに別の場合では、シーンから受光した光は、光源からの測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間に電子信号を収集ノードの１つに誘導し、第２の照明条件の間に電子信号を他の収集ノードに誘導し、上記システムは、各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定するプロセッサをさらに備える。
【0022】
さらに別の場合では、法線は、２つ以上の隣接ピクセルの強度デモザイキング（ｄｅｍｏｓａｉｃｉｎｇ）により決定する。
【0023】
さらに別の場合では、法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する。
【0024】
さらに別の場合では、シーンから受光した光は、光源からの構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、上記システムは、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定するプロセッサをさらに備える。
【0025】
さらに別の場合では、深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する。
【0026】
さらに別の場合では、深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する。
【0027】
別の態様では、シーンのピクセルワイズイメージングを行うための方法が提供され、この方法は、画像センサの複数のピクセルのうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、各ピクセルの電子信号を、各マスキング値に基づいて、該ピクセルに関連付けられ、それぞれ受信した電子信号を統合可能な１つ又は複数の収集ノードに誘導する工程とを備える。
【0028】
特定の場合において、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を収集ノードの１つに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す。
【0029】
別の場合では、１つ又は複数の収集ノードは、各ピクセルにつき正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードはそれぞれ２桁のバイナリ値の１つに関連付けられ、電子信号は、各２桁のバイナリ値に基づいて各収集ノードに誘導される。
【0030】
さらに別の場合では、フレームごとに新しいピクセルワイズパターンを受信し、新しいピクセルワイズパターンのマスキング値に基づいて電子信号が送られる。
【0031】
さらに別の場合では、サブフレームごとに新しいピクセルワイズパターンを受信し、電子信号は新しいピクセルワイズパターンのマスキング値に基づいて送られ、各フレームは複数のサブフレームを含む。
【0032】
さらに別の場合では、上記方法は、現在のサブフレームのピクセルワイズパターンを格納する工程と、次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程とをさらに備える。
【0033】
さらに別の場合では、次のサブフレームの新しいピクセルワイズパターンが順次メモリにロードされ、現在のサブフレームのピクセルワイズパターンがメモリに同時にロードされる。
【0034】
さらに別の場合では、上記方法は、各収集ノードでの統合の測定値をデジタル化して出力する工程をさらに備える。
【0035】
さらに別の場合では、シーンから受光した光は時間的に変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光源での変調光と受光した光との位相差を測定することにより変調光の飛行時間を決定する工程をさらに備え、各ピクセルで電子信号を誘導する工程は、変調光の変調の第１の部分の間に収集ノードの１つに電子信号を誘導する工程と、変調光の変調の第２の部分の間に他の収集ノードに電子信号を誘導する工程とを含む。
【0036】
さらに別の場合において、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む。
【0037】
さらに別の場合では、所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される。
【0038】
さらに別の場合では、１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに含み、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードに誘導し、そうでない場合は、電子信号をブロック又は無視するような相補パターンを含み、直接光路、間接光路、反射光路からなる群から所定の経路タイプを選択する。
【0039】
さらに別の場合では、シーンから受光した光は測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、電子信号は第１の照明条件の間に収集ノードの１つに誘導され、第２の照明条件の間に他の収集ノードに誘導され、上記方法は、各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定する工程をさらに備える。
【0040】
さらに別の場合では、法線は、２つ以上の隣接するピクセルの強度デモザイキングにより決定する。
【0041】
さらに別の場合では、法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する。
【0042】
さらに別の場合では、シーンから受光した光は、構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、上記方法は、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定する工程をさらに備える。
【0043】
さらに別の場合では、深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する。
【0044】
さらに別の場合では、深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する。
【0045】
本明細書では、これら及び他の実施形態が企図され、説明されている。前述の概要は、システム及び方法の代表的な態様を示しており、熟練した読者が以下の詳細な説明を理解するのを支援することが理解されよう。
【0046】
本発明の特徴は、添付の図面を参照する以下の詳細な説明においてより明らかになるであろう。
【図面の簡単な説明】
【0047】
【図1】一実施形態に係るシーンのピクセルワイズイメージングを行うシステムの概略図である。
【図21】コード行列の例を示す概略図である。
【図31A】従来のカメラによってキャプチャされた氷塊のシーンを示す図である。
【図34】一実施形態に係るシーンのピクセルワイズイメージングの方法を示すフローチャートである。
【図35A】シーン上の直接光路の投影及び受光を行う場合の例を示す図である。
【図37A】光がレンズ効果を有するシーンに直接光路を投影及び受光する場合の例を示す図である。
【発明を実施するための形態】
【0048】
次に、図面を参照して実施形態を説明する。説明を簡単かつ明確にするために、適切であると考えられる場合、符号を図の間で繰り返して対応する又は類似の要素を示す場合がある。さらに、本明細書に記載の実施形態を完全に理解するため、多数の特定の詳細が記載されているが、本明細書に記載の実施形態は、これらの特定の詳細なしでも実施できることを当業者であれば理解するであろう。他の例では、本明細書に記載の実施形態を不明瞭にしないよう、周知の方法、手順、構成要素については詳細に説明されていない。また、以下の説明は、本明細書で説明する実施形態の範囲を限定するものとみなすべきではない。
【0049】
文脈上他の意味を示す場合を除き、本説明を通して使用されるさまざまな用語は、以下のように読まれ理解され得る。全体を通して使用される「又は」は、「及び／又は」と書かれているように包括的である。全体を通して使用される単数形の冠詞や代名詞は、複数形を含み、その逆もまた同様である。同様に、性別代名詞には対応する代名詞が含まれるため、代名詞は、単一の性別による使用、実装、性能などに限定されるものとして理解されるべきではない。「例示的」は「実例」又は「例証」として理解されるべきであり、必ずしも他の実施形態よりも「好ましい」とは限らない。用語の詳細な定義は、本明細書に記載されている場合があり、本説明を読むことで理解されるように、これらの用語の前後のインスタンスに適用される場合がある。
【0050】
命令を実行する本明細書で例示されるモジュール、ユニット、コンポーネント、サーバ、コンピュータ、端末、エンジン、デバイスは、記憶媒体、コンピュータ記憶媒体、又は、例えば、磁気ディスク、光ディスク、テープなどのデータ記憶装置（取り外し可能及び／又は取り外し不能）などのコンピュータ可読媒体を含むか、そうでなければアクセスすることが可能である。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は、他のデータなどの情報を記憶するための任意の方法又は技術で実装される揮発性及び不揮発性、取り外し可能及び取り外し不能媒体を含み得る。コンピュータ記憶媒体の例には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又はその他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又はその他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイス、又は、所望の情報の保存に使用可能で、アプリケーション、モジュール、又はその両方によりアクセス可能なその他の媒体が挙げられる。そのようなコンピュータ記憶媒体は、デバイスの一部であるか、それにアクセス可能又は接続可能であってもよい。さらに、文脈上他の意味を明確に示す場合を除き、本明細書に記載される任意のプロセッサ又はコントローラは、単一のプロセッサ又は複数のプロセッサとして実装されてもよい。複数のプロセッサは配列又は分散されてもよく、本明細書で言及する任意の処理機能は、単一のプロセッサが例示されていたとしても、１つ又は複数のプロセッサによって実行されてもよい。本明細書で説明する任意の方法、アプリケーション、又はモジュールは、そのようなコンピュータ可読媒体によって格納又は保持され、１つ又は複数のプロセッサによって実行されるコンピュータ可読／実行可能命令により実装されてもよい。
【0051】
以下は、概して、イメージングに関し、特に、ピクセルワイズイメージングを行うための方法及びシステムに関する。
【0052】
本明細書で使用する「ピクセルワイズ」とは、一般に、１ピクセル当たり又はピクセル単位での操作や機能を指すが、小グループのピクセル単位での操作や機能を含む場合もあることを理解されたい。
【0053】
本開示の実施形態は、少なくとも、強度ベースのイメージング、可視光又は赤外線イメージング、スペクトルイメージング、インパルスベース及び連続波飛行時間イメージング、偏光イメージング、構造化光イメージング、深さ検知又はその他のタイプのスキャン、及び、場合によってはアクティブな照明を用いた２次元及び３次元のイメージングアプリケーションに適用される。
【0054】
制御された照明下で画像をキャプチャする場合、光源のパワーは重要な要素であり、すべてが等しい場合、より明るい光源は、一般に、露光中により多くの光子を画像センサに送り、より明るく、よりノイズの少ない画像を生成可能である。ただし、光源の明るさは、画像センサに到達する光量を制御する方法の１つにすぎない。いくつかのアプローチでは、さまざまなデバイスにより、光源からキャプチャされたシーンに、又は、シーンから画像センサに光を転送する。これらのデバイスは、例えば、デジタルマイクロミラーデバイス、液晶パネル、位相変調器など、プログラム可能である。これらの場合、これらのデバイスの時空間挙動をプログラミングして、特定のイメージングタスク、電力、及び／又は、露出時間のエネルギー効率を最大化するのが望ましい場合が多い。これらの懸念は、特に、短時間の露出と低電力の制限が光を無駄にする余地をほとんど残さないライブイメージングに関連している。信号対雑音比（ＳＮＲ）が範囲と取得速度に及ぼす影響により、計算イメージング及び照明法の実用的なアプリケーションが大幅に制限される可能性がある。
【0055】
さらに、シーンを通る光伝搬は一般に複雑な現象であり、例えば、光は反射・屈折し、拡散及び鏡面相互反射を行い、体積的に散乱し、コーステックを作成する。光は、画像センサに到達する前に上記のすべてを行う場合がある。グローバル又は間接的な光輸送と広く呼ばれるこれらの輸送イベントは、不透明、屈折、又は半透明の側面を持っているため、一般に、我々の周りの世界のオブジェクトやシーンの外観を支配していたり、それらに大幅に貢献している。上記の光の複雑な現象を考慮すると、従来、グローバルな光輸送の分析は非常に困難である。本開示の実施形態は、これらの現象に対処するピクセルワイズでプログラム可能な露光イメージングを提供することが有利である。
【0056】
輸送対応カメラと呼ばれる、直接対間接の入射光を検出できる特定のタイプのカメラは、一般に、プログラム可能な光源とプログラム可能なセンサマスクを使用する。このようなカメラは、例えば、３Ｄセンシング、視覚認識、ジェスチャ分析、ロボットナビゲーション、産業用検査、医療／科学イメージングなど、さまざまな用途に使用できる。一般に、輸送対応カメラでは、プログラム可能なセンサマスキングを実施するのに、機械的に変形する大きなデジタルマイクロミラーデバイス（ＤＭＤ）が必要である。このアプローチには、例えば、過剰なフォームファクター、ＤＭＤによる大きなレンズの曲率による極端な歪み、アプリケーションの範囲を大幅に制限する低い電気機械マスクの更新速度、モバイル実装を妨げる高電力損失、高コストといった欠点がいくつかある。
【0057】
本明細書に記載の実施形態では、１フレーム時間の間にピクセル単位でプログラム可能な露出を行うのに有利な種類の光学画像センサ（又は撮像装置）、画像検出システム、画像検知を行う方法が提供される。各ピクセルが露光時間中にほぼすべての入射光を記録する他の画像センサとは異なり、ピクセル単位のプログラマブル露光イメージャ（ＰＰＥＩ）をプログラミングして、各ピクセルの入射光を収集し、１フレーム時間中に任意の間隔で１つ、２つ、又は複数の出力に分類できる。
【0058】
一例として、本明細書に記載するように、本実施形態の画像センサは、輸送を意識したイメージング技術における直接光及び間接光の検出に有利に使用可能である。本実施形態の画像センサは、例えば、強度ベースのイメージング、可視光又は赤外線イメージング、スペクトルイメージング、インパルスベース及び連続波飛行時間イメージング、偏光イメージング、構造化光イメージング、深さ検知、場合によってはアクティブ照明を用いた他のタイプの２Ｄ及び３Ｄイメージングアプリケーションなど、他の用途にも使用可能である。
【0059】
本明細書に記載の特定の実施形態では、光輸送の特定の構成要素、例えば、「望ましくない」光路を却下することにより、直接のみの寄与、間接のみの寄与、鏡面間接の寄与などは、画像センサに形成される画像に寄与できないよう選択することができる。一実施形態では、これは、１つのサブフレーム、フレーム又は期間内で、そのソース（例えば、プロジェクタ）及びその行き先（画像センサ）の両方で光を同時に制御することにより行うことができる。１つの画像を取得するには、「Ｎ」個の任意にプログラム可能なパターン、例示的な実施形態では、３０Ｈｚビデオフレーム当たり最大１０００個のマスクパターンのシーケンス全体を１つ又は複数のオブジェクトのシーンに投影する。投影中、画像センサは「Ｎ」個の「サブフレーム」に光を統合する。同時に、最初のパターンから派生してロックステップで適用される「Ｎ」個のパターンの２番目のシーケンスは、場合によっては、マスクの影響を受けるピクセルで光が記録されないように、（本明細書で説明するような）任意にプログラム可能なピクセルマスクを制御する。あるいは、他の場合には、光を別のバケットに誘導する。従って、この例では、一連の直接及び／又は間接パスである全体的なイメージング動作は、プロジェクタパターンとセンサマスクの正確なシーケンスによって決定することができる。
【0060】
輸送を意識したイメージングの実用的な実現には、一般に、画像センサでどの光路を受光し、どの光路をブロックするかを正確にピクセル単位で制御する必要がある。本実施形態では、機械ベースのデバイスを必要とせずに、例えば、輸送を意識したイメージングにおいて、任意のピクセルワイズで時間プログラマブル露光を実行するシステム及び方法を提供することが有利である。
【0061】
ここで、図１を参照すると、一実施形態に係るピクセルワイズイメージングを行うためのシステム１００が示されている。当業者によって理解されるように、場合によっては、システム１００のいくつかのコンポーネントは、別個のハードウェアで実装可能である。他の場合では、システム１００のいくつかのコンポーネントは、ローカル又はリモートで分散され得る１つ又は複数の汎用プロセッサ上で実装可能である。
【0062】
図１は、システム１００の実施形態のさまざまな物理的及び論理的コンポーネントを示す。図のように、システム１００は、１つ又は複数のプロセッサ１０２、データストレージ１０４、出力インタフェース１０６、画像センサ１１０、制御モジュール１１２、信号記憶モジュール１１４、デジタル化モジュール１１６、及びコンポーネントが互いに通信できるようにするローカルバス１１８を含む多数の物理的及び論理的コンポーネントを有する。一実施形態では、制御モジュール１１２は、１つ又は複数のプロセッサ上で実行可能である。他の実施形態では、制御モジュール１１２は、ハードウェアで、又は、専用プロセッサを介して実装可能である。
【0063】
本明細書で説明するように、出力インタフェース１０６は、別の電子デバイス又はコンピューティングデバイスがデータ（マスクデータなど）を送信したり、システム１００から出力を受信することを可能にする。いくつかの実施形態では、出力インタフェース１０６により、ユーザーインタフェース１０６は、例えばディスプレイ又はモニターを介してそのような出力を見ることができる。場合によっては、システム１００からの出力もデータストレージ１０４に保存することができる。一例では、このシステム１００は、画像センサ１１０が任意のピクセルマスキングを使用して所望の光路を選択できる輸送を意識したイメージングに使用可能である。場合によっては、このマスキングはさまざまな形状を取り、１回の画像フレームの露光中に何度も変化することがある。
【0064】
図２Ａは、単一フレーム内の連続する複数のサブフレームを説明するためのピクセルマスキングの例を示す。第１の例３０２では、連続するサブフレームにおいて、水平方向の一連のピクセルのみが光を記録するローリングマスキングが示されている。従来のローリングシャッター装置を模倣したものである。第２の例３０４では、連続するサブフレームにおいて、１つのピクセル群のみが光を記録するローリングバンドマスキングが示されている。このグループ化は、ピクセルの行全体よりも少ない。第３の例３０６では、任意のマスキングが適用される。この場合の「任意」とは、画像センサ１１０の１つ又は複数のピクセルの任意の配置又は組み合わせで光を記録することを意味する。そのようなピクセルは必ずしも互いに隣接しているわけではない。この配置は、サブフレームごとに変更できる。
【0065】
従って、上記システム１００は、どのピクセルをマスクするかを個別に選択することができる。一実施形態では、ピクセルが「マスク」されると、本明細書では第１の「バケット」と呼ばれる、そのピクセルに関連付けられた信号記憶モジュール１１４内の第１の信号収集ノードは、その各ピクセルからの信号を統合（収集）しない。場合によっては、代わりに、そのピクセルに関連付けられた信号記憶モジュール１１４内の第２の信号収集ノード（代替バケット又は第２のバケット）が、その信号からの電荷を統合する。これにより、システム１００は、受け取った光子を失うことなくマスキングを行うことができるので、システム１００の効率化させることができる。場合によっては、第２のバケットによって収集された「相補」信号は、さまざまな計算イメージングアプリケーションで使用し得る。逆に、ピクセルが「露出」し、マスキングが適用されていない場合、第１のバケットは各ピクセルから信号を収集し、第２のバケットは信号を受信しない。図２Ｂは、このアプローチの例を示す図である。制御論理モジュールの特定のピクセルに関連付けられたマスキングビットが「０」の場合、ピクセルで受光した光子は第２のバケットに統合される。逆に、マスキングビットが１の場合、ピクセルで受信された光子は最初のバケットに統合される。この場合、マスキングビットはサブフレームごとに変更できる。
【0066】
図３は、制御論理モジュール１１２の例示的な実施形態を示す。ピクセルワイズマスクのロード、格納、適用を行うために、ピクセル内メモリを使用することができる。図３は、ピクセルマスクを分類するために必要なメモリがピクセルに設けられているか埋め込まれているピクセルの一実施形態の例を示す図である。場合によっては、マスク値に基づいて１つ又は複数のバケットに「ソート」する信号を制御する論理回路を含めることもできる。センサ内のピクセルが受光する光の１つ又は複数のバケットへの信号（電子）のソートは、各マスク値に基づいた適切なバケットを選択することにより、マルチバケットフォトニックミキシングデバイス（ＰＭＤ）として機能する制御論理モジュール１１２によって実行できる。このシステム１００は、１つ又は複数（「ｋ」）のバケット、ひいては、出力インタフェース１０６又はデータストレージ１０４のための「ｋ」個の異なるピクセル出力（読み出し）を有することができる。
【0067】
上記システム１００の特定の実施形態は、信号記憶モジュール１１４内にピクセルごとに２つのバケットがある実施形態である。この実施形態では、各ピクセルが受信する信号は、そのピクセルに関連する２つのバケット（２つの記憶ノード）の間で分離される。この配置は、図４の図に例示されている。この例では、各ピクセルが光にさらされる前に、場合によっては連続的に、任意のパターンコードが制御論理モジュール１１２にロードされる。制御論理モジュール１１２の論理ゲートは、マスキングビットのそれぞれの値をデコードするのに使用することができるので、制御論理モジュール１１２のピクセル読み出し回路に適切な制御信号を提供することができる。これらの制御信号は、画像センサ１１０内のピクセルフォトダイオードから信号記憶モジュール１１４内の２つの記憶ノード（バケット又は浮遊拡散ノード）の１つへの電荷移動の制御に使用することができる。図４の例では、マスクビットがピクセルをマスクする必要があることを通知する場合、制御ロジックはフォトダイオードから第１の記憶ノードへの電荷（信号）移動をブロックし、フォトダイオードから第２の記憶ノードへの電荷（信号）移動を許可する制御信号を提供する。場合によっては、デジタル化モジュール１１４のピクセル出力増幅器は、対応する記憶ノードから信号（この場合、電圧）を取得し、それを各ピクセル読み出し列に転送（又は言い換えれば、バッファリング）することができる。図４に示すように、制御論理モジュール１１２にマスクビットを記憶するメモリは、マスキングビットの次のパターンをプリロードするための第１のメモリブロックと、マスキングビットの現在のパターンを適用するための第２のメモリブロックとの２つの別個のブロックに分割される。マスクのロード、ストレージ、使用を行う場合、信号収集に利用可能な時間を制限しないために、マスクの処理をピクセルの露出に依存しないようにすることが有用となり得る。従って、マスキングビットを事前に記憶するパイプライン操作は、２つのメモリブロックを介して行うことができる。このパイプライン操作には、マスクをすべてのピクセルに同時に（グローバルに）適用するという利点がある。
【0068】
本開示は、画像センサ１１０をフォトダイオードとして言及しているが、例えば、ピン付きフォトダイオード、フォトゲート、電荷結合素子、電荷注入素子、単一光子アバランシェダイオードなどの任意の適切な光検出器を使用することができる。本実施形態は、光の可視スペクトルについて言及しているが、本明細書で言及される光は、可視スペクトルの光とともに、又はその代わりに、電磁スペクトルの任意の部分、例えば、紫外線、近赤外線、短波赤外線、及び／又は、長波赤外線を含むものと理解される。
【0069】
上記の構造例を用いたピクセルの回路構造の例はを図５に示す。第１のメモリブロックの第１のメモリセル（ラッチ）によりマスクビットを格納する。マスクビット信号は垂直方向にルーティングされ、単一の列で物理的に同一である。対応するＬＯＡＤ ＲＯＷトリガ信号が到着すると、マスクの行全体が同時にロードされる。場合によっては、マスクビットを個別のチャネルを介してシリアルにロードし、ビットをパラレルデータ、つまり、個々の列ごとに１ビットに非シリアル化できる。すべてのマスクがすべての行に対して個別にロードされると、フルフレームの完全なマスクが第２のメモリブロック内の第２のラッチによってラッチされる。単一のサブフレームに対するこのマスクロード法の例を図６に示す。次に、単一フレーム内のすべてのサブフレームに対してマスクロード法を繰り返すことができる。２つのメモリブロックは、次のサブフレームのマスキングパターンが行ごとにロードされている間に現在のサブフレームの露光量のマスキングを可能にする。これにより、マスクの非シリアル化の操作がパイプライン化され、通常のピクセル操作がロードされる。１つ目のセルは、マスクを順次「行ごと」にロードするのに使用される。すべての行が対応するマスクを受け取ると、２つ目のメモリセルをロードすることにより、マスクがピクセルアレイ全体に同時に適用される。ラッチされたマスクビットの状態に応じて、制御論理モジュール１１２のスイッチＳＷ１及びＳＷ２により、収集された電荷を信号記憶モジュール１１４の適切なバケット、この場合、コンデンサＣＦＤ１で表される第１のバケット又はコンデンサＣＦＤ２で表される第２のバケットに誘導することができる。さらに、読み出し中はスイッチの１つがオンに保たれるため、スイッチのチャネル容量が全体の浮遊拡散容量を変化させる。これにより、ピクセルは２つのバケットで本質的に異なる変換ゲインを持つことができる。これは、通常、直接光は間接光よりも大幅に高いパワーを持っているため、直接及び間接光収集の例示的なアプリケーションでは有利な機能である。第２のラッチの出力「Ｑ」が「Ｃ」に接続され、第２のラッチの出力「Ｑ」バーが「Ｃｂ」に接続され、「ＣＤ」によりバケットの電荷をフラッシュする図７のトランジスタ配置を用いて、図５の回路構造の実装例を示す。
【0070】
図３５Ａ～図３５Ｄに示すように、光は、光が通る経路とは無関係に、従来のカメラ又は他の画像センサによって捕捉される。対照的に、上記システム１００の用途は、光の経路に基づいて光を弁別的に捕捉することである。システム１００を使用した単一ピクセル内のエピポーラ直接光及び間接光の捕捉の例を図３６Ａ及び図３６Ｂにそれぞれ示す。場合によっては、プロジェクタ（又は光源）が一筋の光を投影することも、ラスタスキャン操作を介して投影することもできる。図３６Ａ及び図３６Ｂはそれぞれ、ｎ個のサブフレームのうちの１つのサブフレームの例を示す。図３６Ａは、特定のピクセルの直接光路をキャプチャすることを示し、図３６Ｂは、間接（散乱及び鏡面反射）光のキャプチャを示している。プロジェクタに投影されるパターン（この場合は対応するピクセルの平面）に対応する画像センサ１１０で一連のピクセル（この場合はピクセルの平面）を定義することにより、画像センサは、直接経路の光から信号記憶モジュール１１４内の第１のバケットに光を収集することができ、間接経路の光から信号記憶モジュール１１４内の第２のバケットに光を収集することができる。一連のピクセルは、例えば、直接光路に対応するピクセルにマスク値１を適用し、間接光路に対応するピクセルにマスク値０を適用する制御論理モジュール１１２を用いて画像センサ１１０で定義できる。
【0071】
直接光路のみ又は間接光路のみが望ましいさらなる実施形態では、対応するピクセルから受光した光のみが信号記憶モジュール１１４に記憶され、他の受光した光は破棄される。このように、場合によっては、市販の画像センサ１１０を特定の照明及びタイミング条件の下で使用することができる。
【0072】
画像センサ１１０に接続されたレンズから、場合によっては、プロジェクタに接続されたレンズからの放射状歪みが存在する場合がある。このレンズは、図３７Ａに示すように、プロジェクタからの直線経路を画像センサ１１０上の曲線経路にマッピングさせることができる。ローリングシャッター画像センサ１１０の場合、タイミング条件は、周囲又は間接ブロッキング性能の著しい損失をもたらす可能性がある。図３７Ｂに示すように、上記システム１００を使用して、マスクパターンをレンズによる光の湾曲した経路に適応するように湾曲した形で画像センサ１１０をマスクするようにプログラミングすることができる。
【0073】
図３８Ａ及び図３８Ｂは、対応するピクセルの複数の平面（及び他の形状）を含む、より複雑なマスキングパターン及び投影パターンの例を示している。この場合、プロジェクタは、画像センサ１１０でのピクセルマスキングパターンに対応する任意の投影パターンを投影することができる。一例では、プロジェクタはＤＬＰベースのプロジェクタを用いることができる。このシステム１００は、信号記憶モジュール１１４の一方のバケットに直接＋１／２間接光を収集し、信号記憶モジュール１１４の他方のバケットに１／２間接光を収集する。図３８Ａ及び図３８Ｂは、２つの異なるサブフレームにおける１つのピクセルの例を示している。図３８Ａは、バケット１内の直接＋１／２間接の収集を示し、図３８Ｂは、バケット２内の１／２間接の収集を示す。この場合、直接経路のみの寄与を有する画像は、バケット１のピクセル値からバケット２のピクセル値を引くことにより抽出することができる。
【0074】
図３６Ａ～図３８Ｂは、本開示の提示を容易にするために簡略化された図である。実際の状況では、画像センサ１１０とプロジェクタは、プロジェクタのピクセルの画像センサ１１０のピクセルへのマッピングがピクセルマスクとそれに応じて決定された投影パターンで決定できるように較正することができる。実際には、使用状況に応じて、ピクセルマスクと投影パターンは必ずしも補完的に見えなくてもよい。
【0075】
ステレオペア（この場合、画像センサとプロジェクタ）がある場合、画像センサ１１０上のピクセルのラインをプロジェクタによって投影されるピクセルのラインに関連付ける、基本行列Ｆと呼ばれるマトリクスを使用することができる。この基本行列により、システム１００は、プロセッサ１０２を介して、光の直接経路を表す画像センサ１１０上のピクセルのラインに対応するプロジェクタ上のピクセルのラインを決定することができる。例えば、それぞれ画像センサ１１０及びプロジェクタ上の点であるｘ１、ｘ２がある場合、ｘ１及びｘ２が対応するエピポーラ線上にある場合にのみ、ｘ１’Ｆｘ２＝０である。ｘ１又はｘ２が固定されている場合、ｘ１Ｆ、Ｆｘ２は対応するラインのパラメーター（ａｘ＋ｂｙ＋ｃ＝０）を与える。この場合、ｘ１とｘ２には同次座標を使用する。つまり、これらは、画像センサ／プロジェクタの最初の２つの座標がそれぞれｘとｙ位置で、最後の座標が１である３Ｄベクトルである。従って、基本行列Ｆは、対応するエピポーラ線を見つけるのに使用できる。
【0076】
一例では、上記基本行列は、対応を用いて決定することができる。ｘ１’Ｆｘ２＝０であるため、画像センサ１１０とプロジェクタとの間の対応を決定することができ、それにより対応のリスト（ｘ１、ｘ２）が与えられる。線形方程式系を解くことで基本行列Ｆの要素を決定することができる。
【0077】
本実施形態では、ラッチをメモリとして使用することができるが、さらなる実施形態では、例えば、フリップフロップ、ＳＲＡＭ、ＤＲＡＭ、フラッシュ、メモリスタ、ＰＣＭ、磁気ハードドライブ、電荷バケットなど任意の適切なデータメモリ記憶装置を使用してもよい。
【0078】
一般に、物理レベルでは、信号マスキング（又は混合やソート）では、複数の電荷移動ゲートが実装され、これらのゲートによって、信号（受光エネルギーの結果としての電子の流れ）を適切なバケットに搬送する。システム１００の集積回路レイアウトの部分の例を、図８Ａの上面図に示す。この例示的な実施形態では、２つのバケット（フローティング拡散と呼ばれる－ＦＤ１及びＦＤ２）を使用する。フローティング拡散は、ｐドープ基板内にあるシリコンのｎドープ領域として実装される。ＴＸ１、ＴＸ２は、制御ロジックを実装するための転送ゲートであり、これらのゲートは多結晶シリコンからなる。画像センサ１１０は、軽くドープされたｐ基板（フォトダイオード）上に注入されたＮドープ領域の上に薄い高濃度ドープｐ層（ピン止め層）を有するＰＮＰ型構造のピン止めフォトダイオードである。別の例示的な実施形態を、複数（ｋ）個のバケットを示す図８Ｂに示す。従って、より多くの数の転送ゲート（ＴＸ１、ＴＸ２、．．．ＴＸｋ）と、より多くの浮動拡散ノード（ＦＤ１、ＦＤ２、．．．ＦＤｋ）が必要になる。
【0079】
任意のピクセル単位のプログラム可能な露光は、信号記憶モジュール１１４内のピクセル内信号記憶ノード及び制御論理モジュール１１２内の転送ゲートの組み合わせを使用して実施することができる。上記の集積回路レイアウトの別の実装例の断面図を図１０に示す。この例では、ピン付きダイオード構造が光検出器と信号記憶デバイスの両方として使用される。上記の集積回路レイアウトを図９に示し、その動作に対応する信号波形を図１１に示す。この例では、図９に示すように、ＴＸｇは、信号記憶モジュール１１４内のグローバル転送ゲートであり、信号（電荷）を画像センサ１１０内のピン付きフォトダイオード（ＰＰＤ）から、各サブフレームの端部にある信号記憶モジュール１１４内の記憶ノードに転送するために使用される。この転送は、画像センサ１１０ピクセルアレイの各ピクセルに対して同時に完了する。記憶ノードの構造はピン付きフォトダイオード（ＰＰＤ）デバイスに似ているが、入射光からシールドされ、電荷の保存にのみ使用される。従って、光検出ピン付きフォトダイオードのような光誘導電子の収集には使用されない。制御論理モジュール１１２内の転送ゲートＴＸ１及びＴＸ２は、バケット、この場合、フローティングディフュージョンＦＤ１及びＦＤ２と呼ばれる２つのバケットへの電荷の流れを制御するために使用される。転送ゲートは、前述のように、マスキングビットの値に基づいて制御される。従って、グローバル転送ゲート（ＴＸｇ）の電圧は、図１１の波形に示されるように、サブフレームごとに高くなる。転送ゲートＴＸ１及びＴＸ２の電圧は、各サブフレームの先頭から順番に（例えば、行ごとに）高くなる。ピクセルの行の各ピクセルの記憶ノードは、各ピクセルのマスキングビットの値に応じて順次読み取られるため、各ピクセル（ＴＸ１又はＴＸ２）ごとに異なる転送ゲートを高く設定できる。従って、この例では、ピン付きフォトダイオードが現在のサブフレームの電荷を統合（収集）している間に、前のサブフレームに関連付けられた記憶ノードに格納された電荷をフローティングディフュージョンに転送できる。
【0080】
さらなる場合には、システム１００の任意のピクセルワイズ露出制御によりさまざまなイメージング様式に適用することができる。図１２は、連続波飛行時間画像で使用するシステム１００の部分のレイアウト例を示す。飛行時間イメージング技術には、システム１００のプロセッサ１０２がシーン内のオブジェクトまでの距離を測定し、それにより３Ｄビューを再構築することを可能にする光強度の（光源での）時間変調と（センサ側での）復調が含まれる。この距離は、送受信された光信号の強度の位相差を推定することにより測定される。光が光源からオブジェクトに移動し、反射されてからセンサに戻るのに必要な時間により、受信した光信号は、送信された光と比較して位相シフトを有する。これにより、システム１００は、コード化された露出及び飛行時間センサの両方として同時に動作し、３Ｄイメージングをあらゆるタイプのマルチパス及び背景干渉に対して鈍感にすることができる。これにより、システム１００の性能を向上させ、例えば、「コーナーの周りを見る」などの飛行時間イメージングや時間符号化による疎なデコンボリューションといった有利な機能を持たせることができる。視覚シーンの３Ｄ表現を提供する機能により、飛行時間はシステム１００の有利なアプリケーションを表す。
【0081】
図１３は、飛行時間ピクセルマスキングを実施するための信号波形を示す１つのピクセルの例示的なタイミング図を示す。ピクセルがマスクされると（１のバイナリコードで表される）、制御論理モジュール１１２の両方の飛行時間変調ゲート（ＴＸ１及びＴＸ２）が閉じられるため、信号は統合されない。その時点で制御論理モジュール１１２内のドレインゲート（ＴＸＤ）が開かれ、光検出器から残留電荷（信号）を排出して、連続する信号サンプル間の干渉を回避する。ピクセルのマスクが取られる、つまり、露出される（バイナリコード０で表される）と、信号記憶モジュール１１４のバケットＦＤ１とＦＤ２が復調信号の形状と位相に基づいた信号を収集するよう、制御論理モジュール１１２の変調ゲート（ＴＸ１とＴＸ２）が交互に開かれる。図１３の場合、第１のバケットＦＤ１は、変調光源に関連する変調信号がオンのときに信号を受信し、第２のバケットＦＤ２は、変調信号がオフのときに信号を受信する。このようにして、変調光源と画像センサで受信した信号との間の位相差が決定され、飛行時間を決定するために使用される。
【0082】
図１４は、マルチピクセルアレイ用のシステム１００の部分の構造例を示す。この実装は、図７で説明したように、２つのピクセル内ラッチの組み合わせを使用して、行ごとにビットマスクを順番にロードし、サブフレームについてマスクをグローバルに適用して、ピクセルアレイのマスキングをほぼ同時に行う。
【0083】
システム１００の一部のＣＭＯＳ画像センサ実装の別の例を図１５に示す。図のように、画像センサの周辺回路とインタフェースの配置には典型的なものがある。この実装例のマスキングデータの信号波形を示すタイミング図の例を図６に示す。
【0084】
システム１００の部分の別の構造例を図１６に示す。この場合、画像センサの周辺回路とインタフェースは、ピクセルアレイの上下で分割される。
【0085】
図１７は、ラインセンサタイプの画像センサ１１０に適用されるシステム１００の部分の任意のピクセル単位のプログラム可能な露光の別の例を示す。ラインセンサは、単一のピクセル行又は異なるピクセルの複数の行を介して光子をキャプチャすることができる。場合によっては、制御論理モジュール１１２のマスクロード回路は、各ピクセルに隣接して接続されてもよい。他の場合では、マスクロード回路は、ピクセルライン／アレイエリアの周辺に配置できる。図１７に示す概略図の例では、マスクロード回路や信号変調回路はピクセルアレイの一方の側に配置され、読み出し回路は他方の側に配置される。オンチップとオフチップの両方を含む、これらの回路の他の配置方法も可能である。
【0086】
図１８は、カメラ環境におけるシステム１００の実装例を示す図である。この場合、ピクセル単位のプログラム可能な露出画像センサ１１０は、イメージャ集積回路（ＩＣ）として示される。カメラ環境は、ここではオフイメージャチップＤＲＡＭメモリ（ＤＤＲ）で示されるデータストレージ１０４を含み、ＤＲＡＭに格納され、ＦＰＧＡによってイメージャＩＣに送信されるマスキングコントロールを備えている。コード保存メモリは、イメージャＩＣ又はワイヤボンディング、フリップチップボンディング、又はチップスタックされた別のＩＣに直接実装することもできる。デジタル化モジュール１１６（ここではアナログ・デジタル変換器（ＡＤＣ）として示される）は、信号をアナログ電荷からデジタル値に変換し、場合によっては、チップ外に配置されてもよい。他の場合では、ＡＤＣは、イメージャチップ上に実装することもできる。
【0087】
本明細書に記載の実施形態は、空間的及び時間的露出コーディングを組み合わせて、ピクセルごとのプログラム可能性、ひいては、イメージング用途における性能向上を可能にする画像感知システムを提供することができる。本出願人によって行われたテストによって例示されるように、システム１００が可能な１つのビデオフレーム内の任意のパターンマスク露出の数は、毎秒３０フレームの公称フレームレートで１０００以上となる。これは、デジタルマイクロミラーデバイス、液晶パネル、位相変調器などを使用する方法と比較して、処理される感覚情報の量が１桁以上大幅に増加することを意味する。
【0088】
さらに、本明細書に記載の実施形態を利用するカメラは、屈折及び散乱を選択的に遮断又は増強することができる用途で有利に使用することができる。例えば、肉眼では気づかないほど微妙な視覚構造を明確にすることができる。別の例では、直射日光などの困難な条件下で、従来のイメージング技術では不可能な飛行時間アプローチを使用して、オブジェクトの表面を３次元で再構築できる。従って、本実施形態を使用する「深さカメラ」は、コンピュータビジョン及びロボット工学技術に多大な影響を及ぼす可能性がある。
【0089】
本明細書に記載の実施形態を利用して、光ビームがシーンをたどる実際の３Ｄ経路に応じて、その光の一部のみを選択的に検出するように輸送対応イメージャをプログラミングすることができる。このようなイメージャのアプリケーションドメインは、例えば、３Ｄセンシング、視覚認識、ジェスチャ分析、ロボットナビゲーション、産業検査、医療／科学イメージングなど多数存在する。従来の輸送対応カメラのプロトタイプでは、通常、プログラミング可能なセンサマスキングを実装するのに大きな機械的に変形するデジタルマイクロミラーデバイス（ＤＭＤ）が必要である。そのため、例えば、コンシューマー向けポータブル電子機器に対する障壁であるフォームファクターが大きすぎる、ＤＭＤによって課される大きなレンズの曲率によりレベルの歪みが非常に大きい、応用範囲を大幅に制限する低い電気機械的マスク更新速度、モバイル実装を妨げる高い電力損失、法外に高いコストなど、重大な欠点が生じる。対照的に、本明細書に記載の実施形態によれば、コード化された露出イメージング（ＣＥＩ）において以前では達成不可能であった多用途性を実現する。
【0090】
低電力プロジェクタを使用した実験では、システム１００は、例えば、困難な視覚シーン条件で３Ｄオブジェクトを再構築するなど、いくつかの一般的にユニークな能力を実証した。図２７は、従来のカメラ（上）とシステム１００（下）でキャプチャされた１６００ルーメン電球の３Ｄマップを示す。図２８は、従来のカメラ（上）による明るい日光の下での画像と、明るい日光の下でシステム１００（下）による３Ｄイメージングを示す。図２９Ａは、シーン内で一度だけ反射された直接光のみをシステム１００でキャプチャする場合を示す。図２９Ｂは同じシーンを示すが、ここではシーン内で複数回反射された光である間接光のみをシステム１００でキャプチャする場合を示す。図３０Ａは、間接光のみをキャプチャする、ひいては、少なくとも部分的にゴム手袋を通して見ることができる、あるいは、図３０Ｂに示すように、少なくとも部分的に、人間の手の皮膚を通して見ることができるシステム１００を示す。図３１Ａは、従来のカメラによってキャプチャされた氷塊のシーンを示す。図３１Ｃは、システム１００を使用して、直接のみの光の移動時間を検知することによる氷塊の３Ｄイメージングを示す。図３１Ｂは、（カメラに戻る前に複数のオブジェクトで反射する）間接光が結果として得られる画像をゆがめ、深さ解像度を低下させる従来の飛行時間イメージングによってキャプチャされた３Ｄ画像を示す。
【0091】
本明細書に記載の飛行時間カメラは、ビジョン及び計算写真タスク、高速運動解析のための非同期イメージングをサポートするイベントカメラ、３Ｄスキャンに使用することができる。本明細書に記載のシステム１００を使用して、少なくとも飛行時間イメージングのために、コード化された２バケット（Ｃ２Ｂ）カメラを実装することができる。Ｃ２Ｂカメラは、一般的に、入射光を遮らないコード化された露出カメラである。代わりに、ピクセルに関連付けられた信号記憶モジュール１１４の２つの「バケット」のどちらを統合するかを制御することにより、各ピクセルに到達する入射光を変調する。このようにして、システム１００は、ビデオフレームごとに２つの画像、バケットごとに１つの画像を出力することができ、バイナリ２Ｄマスキングパターンを介してアクティブなバケットを迅速かつピクセル単位で完全にプログラミング可能な方法で制御することを可能にする。
【0092】
Ｃ２Ｂカメラは、その光効率および電子変調により、コード化露光イメージングや光輸送分析タスクに特によく適したものとなる。以下に説明するように、システム１００の例示的な用途としては、高密度ワンショット３次元（３Ｄ）再構成が挙げられる。具体的には、アクティブな照明下で動的シーンの１つのＣ２Ｂビデオフレームを使用し、ピクセルごとの視差や法線を介して、画像センサのピクセル配列にできるだけ近い解像度でシーンの３Ｄスナップショットを再構築する。本出願人は、本明細書で説明する方法により、Ｃ２Ｂカメラが画像デモザイキングの２次元（２Ｄ）問題を利用することで技術的に非常に難しい３Ｄ再構成問題の解決を可能にすると判定したことが有利である。図３２は、システム１００を使用してキャプチャした画像の例を示し、第１のバケットで受信した画像と決定した法線の両方を示している。図３３は、システム１００を使用してキャプチャした画像の例を示し、第１のバケットで受信した画像と、深さ情報としてバケット間の推定視差との両方を示している。
【0093】
図のように、Ｃ２Ｂカメラは、１つのビデオフレームにおいて、Ｌ－１個のピクセルのバケットにわたって多重化されたＬ個の線形独立照明下でのシーンのビューを取得することができる。このようなフレームは、２バケット照明モザイクと呼ばれる。このモザイクの場合、各ピクセルでのバケット測定の比率は照明比であり、空間アルベド及び／又は反射率の変動にあまり依存せず、デモザイキングが容易になる可能性がある。さらに、照明モザイク又はそのバケット比のいずれかをデモザイキングすることにより、高密度の再構成を目的として、撮像されたシーンのフル解像度画像を得ることができる。
【0094】
一般に、従来の符号化露光センサは、全信号のアクティブバケットの設定を行うのにグローバル信号に依存するため、ピクセルごとの露光を制御できない。この点で、Ｃ２Ｂカメラは、システム１００を用いて、大きなピクセル、複雑なデザイン、小さなフィルファクターにつながるピクセルごとに複数の測定を行いたいという要望と、画像センサでピクセルごとの同時測定回数をハードコーディングしないことで柔軟性を維持したいという要望との間の最適なトレードオフが可能となる。
【0095】
一実施形態では、システム１００を組み込んだＣ２Ｂカメラのピクセルは、従来のカメラのピクセルとは異なる。Ｃ２Ｂカメラでは、各ピクセルは、信号記憶モジュール１１４内の２つのバケットに関連付けられる。各バケットは、ピクセルの光検出器１１０で受光した光を積分するための別個の回路、場合によっては、アナログ回路であってもよい。バケットはいずれも、ピクセルの感光領域に当たる光を統合できるが、ほとんどの場合、常に１つだけがアクティブな統合を行う。上記のように、図１９に図式的に示すように、各ピクセルは、その２つのバケットのどちらがアクティブであるかを制御する制御論理モジュール１１２内の１ビットデジタルメモリ（マスクとして知られる）に関連付けられる。このマスクはプログラミング可能であり、（図２０のタイミング図に示すように）単一フレーム内で何度も更新することができ、各ピクセルの関連マスクはピクセルごとに異なる場合がある。各フレームの終わりに、各ピクセル、すなわち、ピクセルの２つのバケットのデジタル化されたコンテンツに対して、デジタル化モジュール１１６によって２つの強度を読み出してデジタル化を行うことが可能である。従って、本実施形態では、Ｃ２Ｂカメラは、各バケットに１つずつ、ビデオフレームごとに２つの画像を出力することができる。本明細書ではそれぞれバケット１画像、バケット０画像と呼ばれる。
【0096】
Ｃ２Ｂカメラのプログラミングには、さまざまな時間スケール、例えば、（１）ピクセル内メモリの更新に対応するビデオフレーム内のサブフレームのスケール、又は（２）ビデオシーケンス内のフレームのスケールでの各ピクセルの関連マスキング値の時変コンテンツの指定を含むことができる。Ｆ個のフレームを有するビデオシーケンスと、Ｐ個のピクセルを有し、Ｓ個のサブフレームをサポートするカメラの場合、バケットのアクティビティはＰ×Ｆ×Ｓのサイズの３次元バイナリマトリックスＣとして表すことができる。Ｃはコードマトリックスと呼ばれ、図２１に概略的に示されている。
【0097】
図２１に示すように、コード行列Ｃの２つの特定の２Ｄ「スライス」を使用することができる。特定のピクセルｐについて、スライスＣｐは、すべてのフレームとサブフレームにわたるピクセルｐのバケットのアクティビティを表す。同様に、特定のフレームｆについて、スライスＣｆはｆのすべてのサブフレームにわたるすべてのピクセルのバケットアクティビティを表す。
ここで、ｃｐは、フレームｆのサブフレーム内のピクセルｐのアクティブなバケットを指定するＳ次元の行ベクトルである。ｃｆｓは、フレームｆのサブフレームｓのすべてのピクセルのアクティブなバケットを指定する列ベクトルである。
ここで、ｃｐは、フレームｆのサブフレーム内のピクセルｐのアクティブなバケットを指定するＳ次元の行ベクトルである。ｃｆｓは、フレームｆのサブフレームｓのすべてのピクセルのアクティブなバケットを指定する列ベクトルである。
【0098】
Ｃ２Ｂカメラは、コード化露光カメラの代わりに受動イメージング用途に使用することができるが、本実施形態は、照明がサブフレームタイムスケールでプログラミング可能なより一般的な場合を考慮する。特に、シーンの時変照明条件は、すべてのフレームに適用されるＳ×Ｌ照明行列Ｌとして表される。
ここで、行ベクトルｌｓは、各フレームのサブフレームｓでのシーンの照明条件を示す。この例では、強度がベクトルｌｓで与えられる一連のＬ方向光源と、「常にオン」であるＬ番目の光源として扱われる（つまり、すべてのｓにつき、要素ｌｓ［Ｌ］＝１）、周囲光の存在下でｌｓの最初のＬ－１要素で指定されたパターンを投影するプロジェクタとの２種類のシーン照明が考慮される。
ここで、行ベクトルｌｓは、各フレームのサブフレームｓでのシーンの照明条件を示す。この例では、強度がベクトルｌｓで与えられる一連のＬ方向光源と、「常にオン」であるＬ番目の光源として扱われる（つまり、すべてのｓにつき、要素ｌｓ［Ｌ］＝１）、周囲光の存在下でｌｓの最初のＬ－１要素で指定されたパターンを投影するプロジェクタとの２種類のシーン照明が考慮される。
【0099】
ピクセルｐの２バケット画像形成モデルの場合、ｉｐと
をそれぞれＦフレームでピクセルｐに関連付けられたバケット１とバケット０の強度を保持する列ベクトルとする。図２２に図示するように、この強度は、Ｌ光源からピクセルに関連付けられた２つのバケットへの光輸送の結果としてモデル化される。
ここで、
は、行列又はベクトルｂのバイナリ補数を示し、Ｃｐはｐに対応するコード行列のスライス、ｔｐはピクセルの輸送ベクトルである。このベクトルの要素ｔｐ［ｌ］は、１つのサブフレームのタイムスパンで、すべての光路と両方のバケットにわたってピクセルｐに輸送される光源ｌの強度の割合を特定する。
ここで、
【0100】
上記の方程式についての直観を得るために、フレームｆのバケットの強度を検討する。
※ピクセルｐ、バケット１、フレームｆの照明条件
※ピクセルｐ、バケット０、フレームｆの照明条件
※ピクセルｐ、バケット１、フレームｆの照明条件
※ピクセルｐ、バケット０、フレームｆの照明条件
【0101】
実際、ピクセルｐに関連付けられた２つのバケットは、それぞれベクトルｃｐＬと
によって与えられる２つの潜在的に異なる照明条件の下でシーンを「見る」と考えることができる。さらに、ｃｐ
ｆがフレームごとに異なる場合、これらの照明条件も変化する。
【0102】
すべてのフレームとピクセルにわたって２つのバケットの強度を収集するバケット１及びバケット０の画像シーケンスの場合、このデータを保持する２つのＦ×Ｐマトリクスが定義される。
【0103】
シーケンスＩ及び
を入力として使用して、各ピクセルでの複数の強度測定値からピクセルごとのジオメトリ（深さ、法線、又はその両方）を回復することができる。
【0104】
本明細書に記載の実施形態によれば、測光ステレオ及び構造化光ステレオを使用して法線と深さを推定する際の技術的問題に対する解決策を実現することができる。以下で説明するように、これらのタスクは各ピクセルで独立して有利に決定を行うことにより実現され、観測値と未知数の関係は一般に線形方程式系として表される。ここで説明する決定は、２バケットイメージングの特別な特性を示す例にすぎないが、高度な方法を使用してより一般的な設定を処理することも可能である。
【0105】
１つのフレームからの２つのバケットの制約がある場合、形状の制約はピクセルに関連付けられた２つのバケットによって与えられる。表記を簡単にするために、ピクセルとフレームのインデックスは削除され、代わりに、各バケットの強度はそれぞれスカラーｉと
で示され、各バケットの照明条件はベクトルｌ＝ｃｐ
ｆＬと
で示される。
【0106】
強度とピクセルの未知数との関係は、以下の関係式を介して、余弦パターンを用いた測光ステレオ及び構造化光三角測量の両方で同じ形をとることができる。
ここで、ｌ、
、Ｄはすべて既知である。Ｄは照明条件を表し、ｘはピクセル固有の未知数を含む３Ｄベクトルであり、ａは未知のスカラーであり、ｅ、
は観測ノイズである。各問題に関連する仮定の概要、及び、各問題の量と上記の関係式の要因のマッピングについては、以下の表１を参照する。
ここで、ｌ、
【0107】
【表1】
【0108】
ゼロ平均正規分布ノイズの仮定の下で、上記の関係式を法線及び深さに対する制約に変える方法としては、少なくとも３つの方法がある。
【0109】
第１の方法では、直接的なアプローチを使用して、上記の関係式をベクトルａｘに関する２つの独立した制約として処理し、十分な制約が利用可能になるとａ及びｘの両方を解く。このアプローチの利点は、構築時にエラーが通常分散されることである。欠点は、上記の関係式がアルベド（又は反射率）に依存することである。上記の関係式は、ａがピクセルごとに異なる場合、単一フレームの形状推定を難しくする可能性もある。
【0110】
第２の方法では、バケット比（ＢＲ）制約アプローチを使用して、２つのバケットが異なる照明条件を表すため、それらの比は照明比であり得る。これにより、ｘに対する制約が生成される。
【0111】
バケット比ｒは、その平均が理想的な（ノイズのない）バケット比であり、その標準偏差がａに弱く依存するガウス確率変数によって十分に近似される。具体的には、一般的な信号対雑音比の条件下では、ｒの標準偏差はσ／ｉｎに等しく、ｉｎはノイズのないバケット１強度、σはノイズの標準偏差である。実際には、２バケットイメージングによれば、フレームごとに１つの「反射率不変」画像が得られる。
【0112】
第３の方法では、バケットのクロス積（ＢＣＰ）制約アプローチを使用して、上記の関係式から明示的な比を計算する代わりに、ａを除去して以下を得ることができる。
上記の方程式は、要素として強度ｉ、
を持っているため、暗黙的にアルベドに依存する。
上記の方程式は、要素として強度ｉ、
【0113】
第１の方法では、少なくとも３つの独立したＤＭ制約が、３Ｄベクトルａｘを解くのに必要となる。この解決は、特異値分解によって実現することができる。第２及び第３の方法では、少なくとも２つの独立したバケット比（ＢＲ）又はバケットクロス乗積（ＢＣＰ）制約が与えられると、それらが形成する一般化固有値問題を解くことによりｘが得られる。
【0114】
上記のアプローチによれば、ピクセルごとに十分な独立制約がある場合に３Ｄ形状を得る方法が提供される。以下では、ピクセルｐの制約を与えるフレームのシーケンスをキャプチャする問題の解決策が提供される。特に、（１）フレーム数Ｆ、（２）フレームあたりのサブフレーム数Ｓ、（３）Ｆ×Ｓコード行列のピクセル固有スライスＣｐを選択する。これらのパラメータの決定は、最適な多重化問題の例と考えることができる。この問題では、Ｆの望ましい測定値からＦの実際のノイズの多い観測値への１対１のマッピングが扱われる。コード化された２バケットイメージングの場合、各フレームが１つだけではなく２つの測定値を生成するため、問題が独特である。
【0115】
出発点として、以下を展開する：
強度のみを含む関係を取得するには：
※バケット測定（２Ｆ×１）
※バケット多重化マトリクスＷ（２Ｆ×Ｓ）
※照明ｌ１，．．．．．，１Ｓでのピクセル強度（Ｓ×１）
強度のみを含む関係を取得するには：
※バケット測定（２Ｆ×１）
※バケット多重化マトリクスＷ（２Ｆ×Ｓ）
※照明ｌ１，．．．．．，１Ｓでのピクセル強度（Ｓ×１）
【0116】
上記の方程式の各スカラーｉｐ
ｓは、シーンの照明条件がｌｓであった場合に、従来のカメラピクセルが持ち得る強度である。上記式は、単一ピクセルｐに関する限り、コード化された２バケットイメージングが、ＳフレームのＦピクセルの２つのバケットに所望の強度測定値を多重化することを示す。
【0117】
このアプローチでは、ピクセルの２つのバケットによって合計２Ｆの測定値が得られる場合でも、多重化マトリクスＷはランク不足であるため、一般に、それらの最大Ｆ＋１は独立であり得る。
ランクＷ＝分（Ｆ＋１、Ｓ）
ランクＷ＝分（Ｆ＋１、Ｓ）
【0118】
注意として、Ｃ２Ｂカメラは、一般に、互いに完全に独立して動作する２つのコード化された露出カメラと同等ではない。これは、バケットのアクティビティを制御するマスキングが補完的であり、独立していないためである。従って、Ｆ個のフレームにわたるピクセルのバケットによってキャプチャされた２Ｆ強度のうち、Ｆ＋１が独立した制約を提供し、残りは一般に冗長な測定値を与えるため、ノイズがある場合の性能を改善するのに有用である。
【0119】
最適なＦ×（Ｆ＋１）行列Ｃｐを見つけるため、以下の式によりバケット多重化の平均二乗誤差（ＭＳＥ）の下限を得る。
ここで、すべての多重化行列Ｗについて、最良の不偏線形推定器のＭＳＥは、上記の式の下限を満たす。
ここで、すべての多重化行列Ｗについて、最良の不偏線形推定器のＭＳＥは、上記の式の下限を満たす。
【0120】
上記によって一般に明示的な構成は得られないが、ＭＳＥが下限である行列Ｗの最適性は保証される。この観測により、行列がＦの「現実的な」値に最適であることが証明される。Ｃｐ＝１（Ｈ＋１）とする。ここで、Ｈは、Ｆ×（Ｆ＋１）行列を作成する１の行を削除することによって、（Ｆ＋１）×（Ｆ＋１）アダマール行列から導出される。Ｃｐで定義されるバケット多重化行列Ｗは、（Ｆ＋１）、（Ｆ＋１）／１２、又は、（Ｆ＋１）／２０が２の累乗の場合、Ｆ≦１００００に最適である。上記が適用される最短のシーケンスはＦ＝３、Ｆ＝７である。主な目標はワンショット取得であるため、Ｆの他の小さな値の最適な行列も重要である。それらを見つけるには、小さなＦ×（Ｆ＋１）バイナリ行列の空間に対する総当たり検索により、ＭＳＥが最も低いものを見つけることができる。これらの行列を以下の表２に示す。
【0121】
【表2】
【0122】
システム１００を使用したＣ２Ｂカメラの技術的利点は、マルチフレーム取得に代わるものを提供できることである。多くのフレームを連続してキャプチャする代わりに、それらは単一フレームでそれらの空間多重化バージョンをキャプチャできる。このようなフレームは、２バケット照明モザイクと呼ばれる。従来のカラーセンサのＲＧＢフィルターモザイクに類似している。
【0123】
ＲＧＢモザイクと同様に、完全な画像シーケンスＩ、
は、画像センサ１１０の解像度の１／Ｆでサンプリングされる。フル解像度で３Ｄ形状を計算するには、画像デモザイキング技術によって照明モザイクをアップサンプリングし、ここで説明する技術をすべてのピクセルに個別に適用できる。カラーセンサに取り付けられ、通常変更できないカラーフィルターモザイクとは異なり、本実施形態の照明モザイクの取得は、あらゆるＦに対して完全にプログラミング可能である。特定の場合、形状解像度を最大化するために、Ｆ＝３又はＦ＝２フレームを１つのショットに多重化する、可能な限り最も密度の高いモザイクの取得が考慮される。これを図２３に示す。最初の３列のフレームは、３フレームコード行列Ｃによってキャプチャされたものである。この行列では、フレーム内のすべてのピクセルで同じであるが、フレーム間で異なる照明条件が割り当てられた。４列目には、一番右の画像の３ピクセルタイルを使用して左側のフレームを多重化する、１回のショットでキャプチャされた照明モザイクを示す。
【0124】
照明モザイクの取得は、対応するＦフレーム行列
を空間的に多重化する１フレームコード行列Ｃを特定することになる。これは、（１）センサ面の通常のＦピクセルタイリングを定義し、（２）タイル内のピクセルとフレーム間の１対１の対応（ｐｉ、ｆｉ）、１≦ｉ≦Ｆを特定することで行われる。
の列は、以下のように定義される。
【0125】
特定の場合において、照明モザイクの２Ｐ強度に上述の形状推定法を適用する方法には３つの異なる方法がある。
【0126】
第１の方法では、強度デモザイキング（ＩＤ）を使用して、タイル内の各ピクセルの各バケットの強度を、デモザイキングの目的のために別個の「カラーチャネル」として扱う。これらの強度は、一度に３つのこれらの２ＦチャネルにＲＧＢデモザイキング法を適用することでアップサンプリングされる。次に、上記の形状推定法のいずれかを結果に適用する。
【0127】
第２の方法では、収集ノード比デモザイキングとも呼ばれるバケット比デモザイキング（ＢＲＤ）によって、各ピクセルのバケット比を決定して、強度測定値をアルベド／反射率不変測定値に変換する。タイル内の各ピクセルの比率は、デモザイキングのために個別の「カラーチャネル」として扱われる。形状は、次のバケット比制約によって決定される。
【0128】
第３の方法では、デモザイキングを用いずに（ＮＤ）、アップサンプリングの代わりに、各タイルは、形状未知（通常、アルベド、視差など）がピクセルごとに変化しない「スーパーピクセル」として扱われる。タイルごとの１つの形状推定値は、ここで説明するアプローチのいずれかを使用して決定される。ピクセルごとの形状推定値を生成する他の２つの方法とは異なり、この方法では１／Ｆ少ない推定値が返される。
【0129】
本出願人は、合成データに関する本明細書に記載のＣ２Ｂカメラの性能を評価した。測光ステレオから計算された法線の有効解像度とアルベド不変性は、（１）空間的に変化する法線とアルベド、ノイズの多い画像を含む合成生成シーンに適用し、（２）空間周波数コンテンツに対する再構成性能を評価することで決定された。デモザイキングを除くすべての決定がピクセルごとに行われるため、パフォーマンスの周波数依存の変動はこれらのステップによるものである。図２４Ａは、本明細書に記載の方法のいくつかの組み合わせを比較するチャートである。また、フル解像度の画像を処理するベースライン３フレーム方式、及びカラー測光ステレオ法と比較される。決定したとおり、Ｃ２Ｂカメラのデータは、カラーベースの測光ステレオ法よりも優れたパフォーマンスを発揮する。図２４Ｂは、空間アルベド変動の影響を考慮したチャートである。図２４Ａ及び図２４Ｂの両方を比較すると、近傍処理のタイプに関係なく、非常に高いアルベド周波数ではパフォーマンスが低下するという直観に一致する。一般に、ピークＳ／Ｎ比（ＰＳＮＲ）が少なくとも３０の場合、Ｃ２Ｂカメラは、ナイキスト制限の３分の１までの空間周波数を持つシーンでパフォーマンスを大幅に向上させる。
【0130】
本出願人の例示的な実験では、実験設定は、Ｃ２Ｂカメラ、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＬｉｇｈｔＣｒａｆｔｅｒ ＤＭＤプロジェクタ、４つのＬＥＤで構成された。このカメラは、フレームあたり最大４つのサブフレームで１６～２０ＦＰＳで動作することができた。これにより、測光ステレオを実行し、ほぼビデオ速度でデータをキャプチャできる。
【0131】
地上検証データを取得するために、図２６に示すカラフルなバンド及びテクスチャを有する帽子と、帽子の一部を遮る本とからなる静的なシーンが作成された。このシーンが選択されたのは、従来、ワンショット方式は色の手がかりに依存して、異なる照明条件下でのシーンの外観を推測していたためである。これにより、困難な条件下で形状推定がどの程度うまく機能するかを評価できる。オブジェクトはカメラから２ｍ離れて配置された。２３ｍｍレンズがカメラに取り付けられ、約３０ｃｍ×３０ｃｍの視野が得られた。どちらの場合も、ノイズを減らすために、照明条件ごとに１０００個の画像がキャプチャされた。グラウンドトゥルースデータを１つのバケットでＢＲＤ－ＢＲ、ＩＤ－ＤＭ、ＩＤ－ＤＭと比較した。
【0132】
構造化光を使用する実際のオブジェクトについて、周波数１の４つの位相シフト正弦波パターン及び周波数１６の３つの位相シフト量子化正弦波パターンでオブジェクトを照明することにより、グランドトゥルース視差推定を行った。プロジェクタは、ベースラインが１．５ｍのオブジェクトから６０ｃｍ離れて配置された。低周波情報を使用して位相アンラップを実行し、高周波量子化された正弦波をグラウンドトゥルースとして使用した。シングルショット取得には３つのパターンが使用された。結果を図２５Ａに示す。構造化光の場合、ＢＲＤ－ＢＲは、外れ値が削除された後、２．７のＲＭＳＥで最高の応答が得られた。すべての外れ値を削除できないため、外れ値が保持された場合に４．７のＲＭＳＥが報告された。プロジェクタには６０８列があり、１６の周波数が使用されたため、可能な最大エラーは６０８／１６＝３８である。従って、最大エラーの約５～１０％の精度があった。量子化された正弦波が使用されたため、この値によりＣ２Ｂカメラのパフォーマンスの下限が得られる。
【0133】
測光ステレオを使用する実際のオブジェクトの場合、各光源の方向は、カメラから２ｍに配置されたクロム球とシーンから２～３ｍの光を使用して較正された。シーケンスをキャプチャするために、各光源に１つずつ、４つのサブフレームを使用して画像がキャプチャされた。この場合の結果も図２５Ｂに示す。ＩＤ－ＤＭは、ＲＭＳ角度誤差が１０．６９５°、角度誤差の中央値が５．６３°の測光ステレオに最適であることがわかった。ただし、ＮＤ－ＤＭのＲＭＳＥは依然として１０°を超えている。これは、各マスクに適用されるゲインが不均一であることによって説明できる。これは、最小二乗最適化Ｂ＝ＡＸで、Ａへのスキューが適用されていることを意味する。
【0134】
この結果は、センサ解像度で、又はセンサ解像度に近いＣ２Ｂカメラを使用して３Ｄ測定値を有利に取得できるという事実を裏付けている。
【0135】
図３４は、一実施形態に係る、シーンのピクセルワイズイメージングを行う方法３００を示す。ブロック３０２で、制御論理モジュール１１２は、画像センサ１１０のピクセルのアレイ内の各ピクセルのマスキング値を含むピクセルワイズパターンを受信する。ブロック３０４で、画像センサ１１０の各ピクセルは、そのようなピクセルがシーンから受光した光にさらされると、電子信号を生成する。ブロック３０６で、制御論理モジュール１１２は、各ピクセルの電子信号を、それぞれのマスキング値に基づいて、そのピクセルに関連付けられた信号記憶モジュール１１４内の１つ又は複数の収集ノードに誘導する。この１つ又は複数の収集ノードは、受信した電子信号をそれぞれ統合可能である。場合によっては、本明細書で説明するように、収集ノードの１つ又は一部のみが信号を受信する。
【0136】
場合によっては、ブロック３０８で、デジタル化モジュール１１６は、各収集ノードでの統合の測定値をデジタル化して出力することができる。
【0137】
場合によっては、ブロック３１０で、プロセッサ１０２は、収集ノードのそれぞれでの統合値に基づいて、例えば、飛行時間の決定、光路タイプの決定（直接、間接、又は鏡面反射）、深さ、法線など、さらなる決定を行うことができる。
【0138】
特定の実施形態を参照して本発明を説明したが、添付の特許請求の範囲に概説される本発明の精神及び範囲から逸脱することなく、その様々な修正が当業者には明らかであろう。上記に引用されたすべての参考文献の開示全体は、参照により本明細書に組み込まれる。
【0139】
本発明は、以下に例示された項目も含む。
(請求の項目)
（項目１）
シーンのピクセルワイズイメージングを行うためのシステムであって、
シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有するピクセル列を含む画像センサと、
各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な１つ又は複数の収集ノードを含む信号記憶モジュールと、
制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールであって、前記制御メモリはピクセルワイズパターンを受け取り、前記ピクセルワイズパターンは画像センサの各ピクセルに対するマスキング値を含み、各ピクセルについて、前記１つ又は複数の論理コンポーネントは、各マスキング値に基づいて、電子信号を１つ又は複数の収集ノードのそれぞれに誘導する、ようにした、制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールと、
を備えることを特徴とするシステム。
（項目２）
前記１つ又は複数の収集ノードは、ピクセル当たり正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を１つの収集ノードに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする項目１に記載のシステム。
（項目３）
前記１つ又は複数の収集ノードは、ピクセル当たり正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードのそれぞれは２桁のバイナリ値の１つに関連付けられ、１つ又は複数の論理コンポーネントは、各２桁のバイナリ値に基づいて、電子信号を各収集ノードに誘導する、ことを特徴とする項目１に記載のシステム。
（項目４）
前記制御メモリは、フレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導する、ことを特徴とする項目１に記載のシステム。
（項目５）
前記制御メモリは、サブフレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導し、各フレームは複数のサブフレームを有する、ことを特徴とする項目１に記載のシステム。
（項目６）
前記制御メモリは、
次のサブフレームの新しいピクセルワイズパターンを格納する第１のメモリユニットと、
現在のサブフレームのピクセルワイズパターンを格納する第２のメモリユニットと
を備えることを特徴とする項目５に記載のシステム。
（項目７）
前記次のサブフレームの新しいピクセルワイズパターンが前記第１のメモリに順次ロードされ、前記現在のサブフレームのピクセルワイズパターンが前記第２のメモリに同時にロードされる、項目６に記載のシステム。
（項目８）
前記画像センサは、ピン止めフォトダイオード、フォトゲート、電荷結合素子、電荷注入デバイス、単一光子アバランシェダイオードのうちの１つを含む、ことを特徴とする項目１に記載のシステム。
（項目９）
前記論理コンポーネントは電荷移動ゲートを備え、収集ノードは浮遊拡散ノードを備える、ことを特徴とする項目１に記載のシステム。
（項目１０）
各収集ノードでの統合の測定値をデジタル化して出力するデジタル化モジュールをさらに備えることを特徴とする項目１に記載のシステム。
（項目１１）
前記画像センサはラインセンサであることを特徴とする項目１に記載のシステム。
（項目１２）
前記シーンから受光した光は、光源からの時間変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記システムは、光源での変調光と感光性受容体で受光した光との位相差を測定することで変調光の飛行時間を決定するプロセッサをさらに備え、１つ又は複数の論理コンポーネントは、変調光の変調の第１の部分の間に電子信号を収集ノードの１つに誘導し、変調光の変調の第２の部分の間に電子信号を他の収集ノードに誘導する、ことを特徴とする項目１に記載のシステム。
（項目１３）
前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする項目１３に記載のシステム。
（項目１４）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする項目１に記載のシステム。
（項目１５）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視し、直接光路、間接光路、又は反射光路からなる群から所定の経路タイプを選択するような相補パターンを含む、ことを特徴とする項目１に記載のシステム。
（項目１６）
前記シーンから受光した光は、光源からの測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間に電子信号を収集ノードの１つに誘導し、第２の照明条件の間に電子信号を他の収集ノードに誘導し、上記システムは、各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定するプロセッサをさらに備える、ことを特徴とする項目１に記載のシステム。
（項目１７）
前記法線は、２つ以上の隣接ピクセルの強度デモザイキングにより決定する、ことを特徴とする項目１６に記載のシステム。
（項目１８）
前記法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする項目１６に記載のシステム。
（項目１９）
前記シーンから受光した光は、光源からの構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、上記システムは、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定するプロセッサをさらに備える、ことを特徴とする項目１に記載のシステム。
（項目２０）
前記深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする項目１９に記載のシステム。
（項目２１）
前記深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする項目１９に記載のシステム。
（項目２２）
シーンのピクセルワイズイメージングを行うための方法であって、
画像センサのピクセル列のうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、
そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、
各ピクセルの電子信号を各マスキング値に基づいて該ピクセルに関連付けられた１つ又は複数の収集ノードに誘導する工程であって、前記１つ又は複数の収集ノードは各々は受信した電子信号を統合可能とする、工程と、
を備えることを特徴とする方法。
（項目２３）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を収集ノードの１つに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする項目２２に記載の方法。
（項目２４）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードはそれぞれ２桁のバイナリ値の１つに関連付けられ、電子信号は、各２桁のバイナリ値に基づいて各収集ノードに誘導される、ことを特徴とする項目２２に記載の方法。
（項目２５）
前記フレームごとに新しいピクセルワイズパターンを受信し、新しいピクセルワイズパターンのマスキング値に基づいて電子信号が誘導される、ことを特徴とする項目２２に記載の方法。
（項目２６）
前記サブフレームごとに新しいピクセルワイズパターンを受信し、電子信号は新しいピクセルワイズパターンのマスキング値に基づいて誘導され、各フレームは複数のサブフレームを含む、ことを特徴とする項目２２に記載の方法。
（項目２７）
前記現在のサブフレームのピクセルワイズパターンを格納する工程と、
次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程と、
をさらに備えることを特徴とする項目２６に記載の方法。
（項目２８）
前記次のサブフレームの新しいピクセルワイズパターンが順次メモリにロードされ、現在のサブフレームのピクセルワイズパターンがメモリに同時にロードされる、ことを特徴とする項目２７に記載の方法。
（項目２９）
前記各収集ノードでの統合の測定値をデジタル化して出力する工程をさらに備えることを特徴とする項目２２に記載の方法。
（項目３０）
前記シーンから受光した光は時間的に変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光源での変調光と受光した光との位相差を測定することにより変調光の飛行時間を決定する工程をさらに備え、各ピクセルで電子信号を誘導する工程は、変調光の変調の第１の部分の間に収集ノードの１つに電子信号を誘導する工程と、変調光の変調の第２の部分の間に他の収集ノードに電子信号を誘導する工程とを含む、ことを特徴とする項目２２に記載の方法。
（項目３１）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする項目２２に記載の方法。
（項目３２）
前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする項目３１に記載の方法。
（項目３３）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに含み、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードに誘導し、そうでない場合は、電子信号をブロック又は無視するような相補パターンを含み、直接光路、間接光路、反射光路からなる群から所定の経路タイプを選択する、ことを特徴とする項目２２に記載の方法。
（項目３４）
前記シーンから受光した光は測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、電子信号は第１の照明条件の間に収集ノードの１つに誘導され、第２の照明条件の間に他の収集ノードに誘導され、
各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定する工程をさらに備える、ことを特徴とする項目２２に記載の方法。
（項目３５）
前記法線は、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする項目３４に記載の方法。
（項目３６）
前記法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする項目３４に記載の方法。
（項目３７）
前記シーンから受光した光は、構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、
光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定する工程をさらに備える、ことを特徴とする項目２２に記載の方法。
（項目３８）
前記深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする項目３７に記載の方法。
（項目３９）
前記深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする項目３７に記載の方法。
(請求の項目)
（項目１）
シーンのピクセルワイズイメージングを行うためのシステムであって、
シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有するピクセル列を含む画像センサと、
各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な１つ又は複数の収集ノードを含む信号記憶モジュールと、
制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールであって、前記制御メモリはピクセルワイズパターンを受け取り、前記ピクセルワイズパターンは画像センサの各ピクセルに対するマスキング値を含み、各ピクセルについて、前記１つ又は複数の論理コンポーネントは、各マスキング値に基づいて、電子信号を１つ又は複数の収集ノードのそれぞれに誘導する、ようにした、制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールと、
を備えることを特徴とするシステム。
（項目２）
前記１つ又は複数の収集ノードは、ピクセル当たり正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を１つの収集ノードに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする項目１に記載のシステム。
（項目３）
前記１つ又は複数の収集ノードは、ピクセル当たり正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードのそれぞれは２桁のバイナリ値の１つに関連付けられ、１つ又は複数の論理コンポーネントは、各２桁のバイナリ値に基づいて、電子信号を各収集ノードに誘導する、ことを特徴とする項目１に記載のシステム。
（項目４）
前記制御メモリは、フレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導する、ことを特徴とする項目１に記載のシステム。
（項目５）
前記制御メモリは、サブフレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導し、各フレームは複数のサブフレームを有する、ことを特徴とする項目１に記載のシステム。
（項目６）
前記制御メモリは、
次のサブフレームの新しいピクセルワイズパターンを格納する第１のメモリユニットと、
現在のサブフレームのピクセルワイズパターンを格納する第２のメモリユニットと
を備えることを特徴とする項目５に記載のシステム。
（項目７）
前記次のサブフレームの新しいピクセルワイズパターンが前記第１のメモリに順次ロードされ、前記現在のサブフレームのピクセルワイズパターンが前記第２のメモリに同時にロードされる、項目６に記載のシステム。
（項目８）
前記画像センサは、ピン止めフォトダイオード、フォトゲート、電荷結合素子、電荷注入デバイス、単一光子アバランシェダイオードのうちの１つを含む、ことを特徴とする項目１に記載のシステム。
（項目９）
前記論理コンポーネントは電荷移動ゲートを備え、収集ノードは浮遊拡散ノードを備える、ことを特徴とする項目１に記載のシステム。
（項目１０）
各収集ノードでの統合の測定値をデジタル化して出力するデジタル化モジュールをさらに備えることを特徴とする項目１に記載のシステム。
（項目１１）
前記画像センサはラインセンサであることを特徴とする項目１に記載のシステム。
（項目１２）
前記シーンから受光した光は、光源からの時間変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記システムは、光源での変調光と感光性受容体で受光した光との位相差を測定することで変調光の飛行時間を決定するプロセッサをさらに備え、１つ又は複数の論理コンポーネントは、変調光の変調の第１の部分の間に電子信号を収集ノードの１つに誘導し、変調光の変調の第２の部分の間に電子信号を他の収集ノードに誘導する、ことを特徴とする項目１に記載のシステム。
（項目１３）
前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする項目１３に記載のシステム。
（項目１４）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする項目１に記載のシステム。
（項目１５）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視し、直接光路、間接光路、又は反射光路からなる群から所定の経路タイプを選択するような相補パターンを含む、ことを特徴とする項目１に記載のシステム。
（項目１６）
前記シーンから受光した光は、光源からの測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間に電子信号を収集ノードの１つに誘導し、第２の照明条件の間に電子信号を他の収集ノードに誘導し、上記システムは、各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定するプロセッサをさらに備える、ことを特徴とする項目１に記載のシステム。
（項目１７）
前記法線は、２つ以上の隣接ピクセルの強度デモザイキングにより決定する、ことを特徴とする項目１６に記載のシステム。
（項目１８）
前記法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする項目１６に記載のシステム。
（項目１９）
前記シーンから受光した光は、光源からの構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、上記システムは、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定するプロセッサをさらに備える、ことを特徴とする項目１に記載のシステム。
（項目２０）
前記深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする項目１９に記載のシステム。
（項目２１）
前記深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする項目１９に記載のシステム。
（項目２２）
シーンのピクセルワイズイメージングを行うための方法であって、
画像センサのピクセル列のうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、
そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、
各ピクセルの電子信号を各マスキング値に基づいて該ピクセルに関連付けられた１つ又は複数の収集ノードに誘導する工程であって、前記１つ又は複数の収集ノードは各々は受信した電子信号を統合可能とする、工程と、
を備えることを特徴とする方法。
（項目２３）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を収集ノードの１つに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする項目２２に記載の方法。
（項目２４）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードはそれぞれ２桁のバイナリ値の１つに関連付けられ、電子信号は、各２桁のバイナリ値に基づいて各収集ノードに誘導される、ことを特徴とする項目２２に記載の方法。
（項目２５）
前記フレームごとに新しいピクセルワイズパターンを受信し、新しいピクセルワイズパターンのマスキング値に基づいて電子信号が誘導される、ことを特徴とする項目２２に記載の方法。
（項目２６）
前記サブフレームごとに新しいピクセルワイズパターンを受信し、電子信号は新しいピクセルワイズパターンのマスキング値に基づいて誘導され、各フレームは複数のサブフレームを含む、ことを特徴とする項目２２に記載の方法。
（項目２７）
前記現在のサブフレームのピクセルワイズパターンを格納する工程と、
次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程と、
をさらに備えることを特徴とする項目２６に記載の方法。
（項目２８）
前記次のサブフレームの新しいピクセルワイズパターンが順次メモリにロードされ、現在のサブフレームのピクセルワイズパターンがメモリに同時にロードされる、ことを特徴とする項目２７に記載の方法。
（項目２９）
前記各収集ノードでの統合の測定値をデジタル化して出力する工程をさらに備えることを特徴とする項目２２に記載の方法。
（項目３０）
前記シーンから受光した光は時間的に変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光源での変調光と受光した光との位相差を測定することにより変調光の飛行時間を決定する工程をさらに備え、各ピクセルで電子信号を誘導する工程は、変調光の変調の第１の部分の間に収集ノードの１つに電子信号を誘導する工程と、変調光の変調の第２の部分の間に他の収集ノードに電子信号を誘導する工程とを含む、ことを特徴とする項目２２に記載の方法。
（項目３１）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする項目２２に記載の方法。
（項目３２）
前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする項目３１に記載の方法。
（項目３３）
前記１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに含み、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードに誘導し、そうでない場合は、電子信号をブロック又は無視するような相補パターンを含み、直接光路、間接光路、反射光路からなる群から所定の経路タイプを選択する、ことを特徴とする項目２２に記載の方法。
（項目３４）
前記シーンから受光した光は測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、電子信号は第１の照明条件の間に収集ノードの１つに誘導され、第２の照明条件の間に他の収集ノードに誘導され、
各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定する工程をさらに備える、ことを特徴とする項目２２に記載の方法。
（項目３５）
前記法線は、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする項目３４に記載の方法。
（項目３６）
前記法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする項目３４に記載の方法。
（項目３７）
前記シーンから受光した光は、構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、
光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定する工程をさらに備える、ことを特徴とする項目２２に記載の方法。
（項目３８）
前記深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする項目３７に記載の方法。
（項目３９）
前記深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする項目３７に記載の方法。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図25A】
【図25B】
【図26】
【図27】
【図28】
【図29A】
【図29B】
【図30A】
【図30B】
【図31A】
【図31B】
【図31C】
【図32】
【図33】
【図34】
【図35A】
【図35B】
【図35C】
【図35D】
【図36A】
【図36B】
【図37A】
【図37B】
【図38A】
【図38B】
