知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-24
(54)【発明の名称】効率的なイメージセンサ
(51)【国際特許分類】
H04N 25/773 20230101AFI20250117BHJP
G06T 1/40 20060101ALI20250117BHJP
【ＦＩ】
H04N25/773
G06T1/40
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2024543313
(86)(22)【出願日】2023-01-19
(85)【翻訳文提出日】2024-09-13
(86)【国際出願番号】 EP2023051204
(87)【国際公開番号】W WO2023143997
(87)【国際公開日】2023-08-03
(31)【優先権主張番号】22153557.8
(32)【優先日】2022-01-27
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】523228565
【氏名又は名称】ボクセルセンサーズ エスアールエル
【氏名又は名称原語表記】ＶＯＸＥＬＳＥＮＳＯＲＳ ＳＲＬ
【住所又は居所原語表記】Ｃａｎｔｅｒｓｔｅｅｎ ４７， Ｂｒｕｓｓｅｌｓ， Ｂｅｌｇｉｕｍ
(74)【代理人】
【識別番号】100142022
【弁理士】
【氏名又は名称】鈴木 一晃
(74)【代理人】
【識別番号】100196623
【弁理士】
【氏名又は名称】松下 計介
(74)【代理人】
【識別番号】100175662
【弁理士】
【氏名又は名称】山本 英明
(72)【発明者】
【氏名】ウォード ファン デル テンペル
(72)【発明者】
【氏名】クリスチャン ムラド
【テーマコード（参考）】
5B057
5C024
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CA20
5B057DB02
5B057DB09
5B057DC40
5C024CY42
5C024GY45
(57)【要約】
本発明は、効率的な光センシングのためのイメージセンサ（１）に関する。センサ（１）は、複数の画素センサ（３）を備え、各画素センサ（３）は光検出器（４）を有し、各ピクセルはデジタル信号を出力するように適合されている。センサ（１）はさらに、処理手段、例えば複数のニューロン（６）を有するニューラルネットワーク（５）を備える。各光検出器（４）は、前記処理手段の近傍に位置する。さらに、各光検出器（４）は、処理手段に接続されている。
【特許請求の範囲】
【請求項1】
効率的な光センシングのためのイメージセンサ（１）であって、各画素センサ（３）が、光検出器（４）を含むとともに、論理信号を出力するように適合されている複数の画素センサ（３）と、
複数のニューロン（６）を有する少なくとも１つのニューラルネットワーク（５）である処理手段と、
を有し、
各光検出器（４）は、それに対応する少なくとも１つのニューロン（６）の近傍に位置していて、各光検出器（４）は、それに対応する前記少なくとも１つのニューロン（６）に対して並列に、好ましくは直接接続されていて、
前記光検出器（４）は、単一光子検出器、好ましくは単一光子アバランシェダイオードであり、
各ニューロン（５）は、パルス列を受信することを特徴とする、
イメージセンサ（１）。
【請求項2】
請求項１に記載のイメージセンサ（１）において、各ニューロン（６）は、少なくとも１つの近接するニューロン（６’）に接続されており、各ニューロン（６）は、前記光検出器（４）の出力（１１）だけでなく、少なくとも１つの近接する前記ニューロン（６’）の入力信号（１２）にも基づいて出力を生成可能である、
イメージセンサ（１）。
【請求項3】
請求項１又は２に記載のイメージセンサ（１）において、各ニューロン（６）は、前記ニューロン（６）の現在の状態だけでなく、前記ニューロン（６）への現在の入力（１１、１２）にも基づいて、出力（１３）を生成可能である、
イメージセンサ（１）。
【請求項4】
請求項１から３のいずれか一つに記載のイメージセンサ（１）において、前記ニューラルネットワーク（５）は、スパイキングニューラルネットワークである、
イメージセンサ（１）。
【請求項5】
請求項１から４のいずれか一つに記載のイメージセンサ（１）において、各検出器（４）と前記処理手段との間の距離（７）は、最大で１００マイクロメートル、好ましくは最大で５０マイクロメートル、より好ましくは最大で２５マイクロメートル、最も好ましくは最大で１０マイクロメートルである、
イメージセンサ（１）。
【請求項6】
請求項１から５のいずれか一つに記載のイメージセンサ（１）において、前記複数の画素センサ（３）は、前記処理手段上に積層されている、
イメージセンサ（１）。
【請求項7】
請求項１から６のいずれか一つに記載のイメージセンサ（１）と、前記イメージセンサ上にシーンの画像を生成することができる光学系とを有する光センシングシステム。
【請求項8】
請求項７に記載の光センシングシステムにおいて、前記システム（１）が、少なくとも１つの光源をさらに有し、前記光源が、シーン上のドットを照射するように適合され、前記光源が、前記シーン上の前記ドットを、好ましくは連続的に走査するように適合された手段を有する、
光センシングシステム。
【請求項9】
請求項７又は８に記載の光センシングシステムにおいて、前記ネットワーク（５）は、前記ネットワーク（５）への入力信号のセットの特徴を抽出するように訓練される、
光センシングシステム。
【請求項10】
請求項７から９のいずれか一つに記載の光センシングシステムを用いてシーンの特徴を抽出する方法であって、パルス列を受信するように前記ニューラルネットワーク（５）を適合させる適合ステップと、
前記ニューロン（６）が各パルスを受信した後、ニューロン（６）の活性化レベルを調整する調整ステップと、
前記活性化レベルが閾値を超えると出力信号を生成するように、前記ニューロン（６）を適合させる適合ステップと、
前記出力信号を前記ネットワーク（５）の後続層の少なくとも１つのニューロンに伝搬する伝播ステップと、
前記ネットワーク（５）の出力信号の特徴を抽出する抽出ステップと、
を有する方法。
【請求項11】
請求項１０に記載の方法において、前記方法は、視野の深度プロファイルを決定するステップをさらに有し、前記決定するステップは、ａ）前記光源によって少なくとも１つの光パターンを前記視野に投影し、この投影は１０μ秒未満、好ましくは１μ秒未満の時間窓で行われる投影ステップと、
ｂ）前記時間窓内の少なくとも１つの観測窓の間に、投影パターンの投影と同期して、前記イメージセンサ及び光学系によって前記投影パターンを撮像し、前記画素センサは、対応する前記光検出器によって光が検出されないときは偽の状態にあり、対応する前記光検出器によって光が検出されたときは真の状態にあり、それによって前記視野を表す画素の第１の二値行列を得る撮像ステップと、
ｃ）前記時間窓内の１つの観測又は少なくとも２つの前記観測の組み合わせで得られた画素の二値行列上で、少なくとも１つの近接する画素も前記真の状態にあるとともに自己も前記真の状態にある画素のみを考慮することにより、画素の前記二値行列上で前記投影パターンを外乱光ノイズから分離し、それによって前記投影パターンを表す画素の第２の二値行列を得る分離ステップと、
ｄ）前記光源の位置、前記イメージセンサの位置、及び、画素の前記第２の二値行列間の三角測量に基づいて、前記投影パターンに対応する深度プロファイルを計算する計算ステップと、
ｅ）全ての前記視野の深度プロファイルを決定するために、全ての前記視野でステップａからｄを繰り返すことにより、前記投影パターンを走査する走査ステップと、
を有し、
前記投影パターンの分離された各要素は、二値表現において、少なくとも２つの連続する画素上に位置している、
方法。
【請求項12】
請求項１０又は１１に記載の方法において、前記方法は、各検出器（４）の前記時間領域における衝突光子の強度データと強度変化データとを符号化する符号化ステップと、
前記ニューラルネットワーク（５）によって前記強度データと前記強度変化データとを復号する復号ステップと、
をさらに有する、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージセンサ及びそのようなイメージセンサを有する光センシングシステムに関する。特に、本発明は、効率的な光センシングのためのイメージセンサ及びそのようなイメージセンサを有する光センシングシステムに関する。
【背景技術】
【0002】
従来の画像信号処理ユニット又はＡＩベースの画像信号処理ユニットを用いて画像処理を行う場合、消費電力は最も重要なパラメータの１つである。通常、前記ユニットの光検出器は、フレームベースの方式で衝突光子を検出する。フレームレートが高いほど、全体の消費電力は高くなる。これは、光検出器のセットに衝突する光子が、フレームからフレームへ、また、連続する多くのフレームにわたって同じままである場合に不利である。この場合、フレームレートを高くすると、ユニットが類似又は同じフレームを繰り返し処理するため、消費電力が増加するだけである。
【0003】
別の欠点は、検出された光子の有無にかかわらず、すべての光検出器出力を処理する必要があるため、電力効率が悪いことである。例えば、論理「１」（例えば光子が検出され、例えば画像情報が利用可能）の場合と論理「０」（例えば光子がなく、例えば画像情報が利用不可能）の場合の両方で光検出器出力を処理する必要がある。したがって、検出がない場合も処理する必要があり、不必要な電力消費につながる。
【0004】
別の欠点は、光検出器からプロセッサへのデータ伝送にデータ・バスが必要なことである。さらに、各光検出器の出力には、所定の分解能を有する量子化器が必要である。前記量子化器の分解能が高ければ高いほど、量子化１回あたりの消費電力は高くなる。また、アナログ／デジタル変換器やランダム・アクセス・メモリも必要である。これらはいずれもスペースを必要とするが、それぞれの構成要素における電力損失により、非効率的なシステムになる。
【0005】
そのため、電力効率の高いイメージセンサ及び光センシングシステム、及び、信号処理ユニットが必要とされている。
【0006】
本発明は、上記の問題の少なくともいくつかを解決することを目的とする。
【発明の概要】
【0007】
本発明の実施形態の目的は、効率的なイメージセンサ及びそのようなイメージセンサを備える光センシングシステムを提供することである。上記目的は、本発明による装置及び方法によって達成される。
【0008】
第１の態様において、本発明は、効率的な光センシングのためのイメージセンサに関する。前記イメージセンサは、
－各画素センサが、論理信号を出力するように適合された光検出器を含む複数の画素センサと、
－処理手段と、を有し、
各光検出器が前記処理手段の近傍に位置していて、各光検出器が前記処理手段に対して接続され、好ましくは、直接接続されていることを特徴とする。
－各画素センサが、論理信号を出力するように適合された光検出器を含む複数の画素センサと、
－処理手段と、を有し、
各光検出器が前記処理手段の近傍に位置していて、各光検出器が前記処理手段に対して接続され、好ましくは、直接接続されていることを特徴とする。
【0009】
本発明の実施形態の利点は、センシング情報の処理が、直列化されたデータと命令とを有する従来のプロセッサではなく、例えば、ニューラルネットワークを使用して実装された、画素センサの各々への大規模並列入力接続を有する処理構造によって行われることである。読みやすくするために、本明細書の残りの部分ではニューラルネットワークを主な実装例として使用するが、本発明は、アレイ内の各画素センサへの専用接続を有する極めて並列化された計算の一般化にも適用可能である。例えば、前記処理手段が、複数のニューロンを有する少なくとも１つのニューラルネットワークであり、各光検出器が、それに対応する少なくとも１つのニューロンの近傍に位置していて、各光検出器が、それに対応する少なくとも１つのニューロンに対して接続され、好ましくは直接接続される。
【0010】
本発明の実施形態の利点は、従来のプロセッサに比べて、はるかに少ない電力で、はるかに高速にセンシング情報を処理できることである。
【0011】
本発明の実施形態の利点は、従来のプロセッサの必要性がなくなることである。
【0012】
本発明の実施形態の利点は、アナログ／デジタル変換器（ＡＤＣ）の必要性がなくなることである。本発明の実施形態の利点は、従来のランダム・アクセス・メモリ（ＲＡＭ）の必要性がなくなることである。
【0013】
本発明の実施形態の利点は、電力効率の高い光センシングシステムが得られることである。
【0014】
本発明の実施形態の利点は、光信号プロセッサの制限、例えばフレームベースの撮像の制限（例えば、類似又は同じフレームを繰り返し処理しなければならず、電力効率が悪い）が克服されることである。
【0015】
本発明の実施形態の利点は、前記検出器が衝突光子を検出した場合にのみ前記ネットワークを用いて光データを処理することにより、電力効率の高い光センシングシステムが得られることである。
【0016】
本発明の実施形態の利点は、コンパクトなシステムが得られることである。本発明の実施形態の利点は、各検出器とネットワーク内の対応するニューロンとの間に、データ伝送用の長い及び／又は幅の広いバス、又は、極めて高速の直列化リンクの必要性がなくなることである。
【0017】
本発明の実施形態の利点は、検出器とニューロンとの間の中間部品が回避され、したがってシステムの電力効率が向上することである。電力効率が高く、単純な接続が得られることは利点である。
【0018】
本発明の実施形態の利点は、検出器の出力が対応するニューロンによって同時に処理されることである。本発明の実施形態の利点は、ネットワークを使用した効率的で高速なデータ処理が得られることである。
【0019】
本発明の第１の態様の好ましい実施形態は、以下の特徴の１つ又は２つ以上の好適な組み合わせを有する。
【0020】
光検出器は単一光子検出器であり、好ましくは単一光子アバランシェダイオード（ＳＰＡＤ）である。本発明の実施形態の利点は、ＳＰＡＤが量子化器として機能することであり、これにより、追加の量子化器が不要になる。本発明の実施形態の利点は、前記ダイオードにおける衝突光子の強度データ（ならびに強度変化データ）が、前記ダイオードの出力の時間領域において符号化されることである。
【0021】
各検出器とそれに対応するニューロンとの間の距離は、好ましくは多くとも１００マイクロメートル、より好ましくは多くとも５０マイクロメートル、さらに好ましくは多くとも２５マイクロメートル、最も好ましくは１０マイクロメートルである。本発明の実施形態の利点は、各検出器とそれに対応するニューロンとの間において、短く、且つ、ほぼ直結した接続が得られることである。
【0022】
前記複数の画素センサは、前記複数のニューロン上に積層されてもよい。本発明の実施形態の利点は、前記画素センサと前記ニューロンとの間の最短接続が得られることである。本発明の実施形態の利点は、前記画素センサと前記ニューロンとの間のデータ伝送のための長いバスの必要性がなくなることである。本発明の実施形態の利点は、前記画素センサと前記ニューロンとの間の接続は固定であっても、各ニューロンにおける重みは設定可能であり、且つ、再設定可能であることである。
【0023】
各ニューロンは、少なくとも１つの近接するニューロン（neighbouring neuron）に接続されてもよく、各ニューロンは、前記検出器の出力だけでなく、少なくとも１つの近接する前記ニューロンの入力信号にも基づいて出力を生成可能である。本発明の実施形態の利点は、より正確な検出が得られることである。本発明の実施形態の利点は、偽陽性検出（false positive detection）及びノイズがフィルタリングされて低減されることである。
【0024】
各ニューロンは、好ましくは、前記ニューロンの現在の状態だけでなく、前記ニューロンへの現在の入力にも基づいて、出力を生成可能である。本発明の実施形態の利点は、今後起こり得る検出が予測されることである。本発明の実施形態の利点は、ネットワークがメモリのような挙動を示すことである。
【0025】
ネットワークは、好ましくは、パルス列に応答するように適合される。本発明の実施形態の利点は、前記単一の検出器出力（パルス又はスパイクの列）が前記ニューラルネットワークの入力と互換性があることである。本発明の実施形態の利点は、前記検出器の出力を前記ニューラルネットワークに受け入れられるように変換する必要がないことである。
【0026】
ニューラルネットワークは、有利にはスパイキングニューラルネットワークである。本発明の実施形態の利点は、電力効率の高い光センシングシステムを得るように、効率的なニューラルネットワークが使用されることである。本発明の実施形態の利点は、スパイキングニューラルネットワークを使用して、より速い光センシング速度が得られることである。本発明の実施形態の利点は、前記ネットワークが検出器の出力と互換性があることである。
【0027】
第２の態様において、本発明は、第１の態様によるイメージセンサと、前記イメージセンサ上にシーンの画像を生成することができる光学系とを有する光センシングシステムに関する。
【0028】
本発明の第２の態様の好ましい実施形態は、以下の特徴の１つ又は２つ以上の好適な組み合わせを有する。
－システムは、少なくとも１つの光源をさらに有し、前記光源は、シーン上のドットを照射するように適合され、前記光源は、シーン上の前記ドットを、好ましくは連続的に走査するように適合された手段を有する。
－前記ネットワークは、前記ネットワークへの入力信号のセットの特徴を抽出するように訓練される。
－前記特徴とは、シーン内の物体の質量、密度、動き、及び／又は、近接性である。
－システムは、少なくとも１つの光源をさらに有し、前記光源は、シーン上のドットを照射するように適合され、前記光源は、シーン上の前記ドットを、好ましくは連続的に走査するように適合された手段を有する。
－前記ネットワークは、前記ネットワークへの入力信号のセットの特徴を抽出するように訓練される。
－前記特徴とは、シーン内の物体の質量、密度、動き、及び／又は、近接性である。
【0029】
第３の態様において、本発明は、第２の態様による光センシングシステムを用いてシーンの特徴を抽出するための方法に関する。前記方法は、
－パルス列を受信するように前記ニューラルネットワークを適合させる適合ステップと、
－前記パルス列に基づいてニューロンの活性化レベルを調整する調整ステップと、
－前記活性化レベルが閾値を超えると出力信号を生成するように、前記ニューロンを適合させる適合ステップと、
－前記出力信号を、前記ネットワークの後続層の少なくとも１つのニューロンに伝搬する伝搬ステップと、
－前記ネットワークの出力信号の特徴を抽出する抽出ステップと、
を有する。
－パルス列を受信するように前記ニューラルネットワークを適合させる適合ステップと、
－前記パルス列に基づいてニューロンの活性化レベルを調整する調整ステップと、
－前記活性化レベルが閾値を超えると出力信号を生成するように、前記ニューロンを適合させる適合ステップと、
－前記出力信号を、前記ネットワークの後続層の少なくとも１つのニューロンに伝搬する伝搬ステップと、
－前記ネットワークの出力信号の特徴を抽出する抽出ステップと、
を有する。
【0030】
本発明の第３の態様の好ましい実施形態は、以下の特徴の１つ又は２つ以上の好適な組み合わせを有する。
－前記方法は、視野の深度プロファイルを決定するステップをさらに有し、前記決定するステップは、
ａ）前記光源によって少なくとも１つの光パターンを視野に投影し、この投影は１０μ秒未満、好ましくは１μ秒未満の時間窓で行われる投影ステップと、
ｂ）前記時間窓内の少なくとも１つの観測窓の間に、投影パターンの投影と同期して、前記イメージセンサ及び光学系によって前記投影パターンを撮像し、前記画素センサは、対応する前記光検出器によって光が検出されないときは偽の状態にあり、対応する前記光検出器によって光が検出されたときは真の状態にあり、それによって前記視野を表す画素の第１の二値行列を得る撮像ステップと、
ｃ）前記時間窓内の１つの観測又は少なくとも２つの観測の組み合わせで得られた画素の前記第１の行列上で、少なくとも１つの近接する画素も前記真の状態にあるとともに自己も前記真の状態にある画素のみを考慮することにより、画素の前記第１の二値行列上で前記投影パターンを外乱光ノイズから分離し、それによって前記投影パターンを表す画素の第２の二値行列を得る分離ステップと、
ｄ）前記光源の位置、前記イメージセンサの位置、画素の前記第２の二値行列間の三角測量に基づいて、前記投影パターンに対応する深度プロファイルを計算する計算ステップと（三角測量は、イメージセンサの相対位置と対応する第２の二値行列とを使用して、２つ以上のインスタンス間で行うこともできる）、
ｅ）全ての前記視野の深度プロファイルを決定するために、全ての前記視野でステップａからｄを繰り返すことにより、前記投影パターンを走査するスキャンステップと、
を有し、
前記投影パターンの分離された各要素は、二値表現において、少なくとも２つの連続する画素上に位置している。
－前記方法は、視野の深度プロファイルを決定するステップをさらに有し、前記決定するステップは、
ａ）前記光源によって少なくとも１つの光パターンを視野に投影し、この投影は１０μ秒未満、好ましくは１μ秒未満の時間窓で行われる投影ステップと、
ｂ）前記時間窓内の少なくとも１つの観測窓の間に、投影パターンの投影と同期して、前記イメージセンサ及び光学系によって前記投影パターンを撮像し、前記画素センサは、対応する前記光検出器によって光が検出されないときは偽の状態にあり、対応する前記光検出器によって光が検出されたときは真の状態にあり、それによって前記視野を表す画素の第１の二値行列を得る撮像ステップと、
ｃ）前記時間窓内の１つの観測又は少なくとも２つの観測の組み合わせで得られた画素の前記第１の行列上で、少なくとも１つの近接する画素も前記真の状態にあるとともに自己も前記真の状態にある画素のみを考慮することにより、画素の前記第１の二値行列上で前記投影パターンを外乱光ノイズから分離し、それによって前記投影パターンを表す画素の第２の二値行列を得る分離ステップと、
ｄ）前記光源の位置、前記イメージセンサの位置、画素の前記第２の二値行列間の三角測量に基づいて、前記投影パターンに対応する深度プロファイルを計算する計算ステップと（三角測量は、イメージセンサの相対位置と対応する第２の二値行列とを使用して、２つ以上のインスタンス間で行うこともできる）、
ｅ）全ての前記視野の深度プロファイルを決定するために、全ての前記視野でステップａからｄを繰り返すことにより、前記投影パターンを走査するスキャンステップと、
を有し、
前記投影パターンの分離された各要素は、二値表現において、少なくとも２つの連続する画素上に位置している。
【0031】
－前記方法は、
・各検出器の時間領域における入射光子の強度データと強度変化データとを符号化する符号化ステップと、
・ニューラルネットワークによって強度データと強度変化データとを復号する復号ステップと、
をさらに有する。
－前記方法は、前記ネットワークを訓練して、前記ニューラルネットワークへの入力信号のセットの特徴を抽出する訓練ステップをさらに含む。
・各検出器の時間領域における入射光子の強度データと強度変化データとを符号化する符号化ステップと、
・ニューラルネットワークによって強度データと強度変化データとを復号する復号ステップと、
をさらに有する。
－前記方法は、前記ネットワークを訓練して、前記ニューラルネットワークへの入力信号のセットの特徴を抽出する訓練ステップをさらに含む。
【0032】
本発明の上記及びその他の特性、特徴及び利点は、本発明の原理を例示的に説明する添付図面と併せて以下の詳細な説明から明らかになるであろう。この説明は、本発明の範囲を限定することなく、例示のためにのみ与えられる。
【図面の簡単な説明】
【0033】
本開示は、以下の説明及び添付図によってさらに説明される。
【図2】図２は、本発明の実施形態に関し、イメージセンサ（１）及びニューラルネットワーク（５）の断面図であり、各検出器（４）が少なくとも１つの対応するニューロン（６）の近傍にある。一定の深さを有するニューラルネットワークの場合、ネットワーク内の後続層からの追加のニューロンが存在してもよい。したがって、ネットワーク（５）は、イメージセンサ（１）に対応するニューロン又はイメージセンサ（１）のインターフェースとなるニューロンだけに限定されない。
【図3】図３は、本発明の実施形態に関し、イメージセンサ（１）及びニューラルネットワーク（５）の断面図であり、画素センサ（３）の検出器（４）がニューロン（６）上に積層されており、画素センサ層とニューロン層との間の物理的接続が存在し、各画素センサ（３）と対応するインターフェースニューロン（６）とのそれぞれの間の電気的接続を含む。物理的接続は、ウェハとウェハとの接合によって得ることができ、それによって電気的接続は、Ｃｕ－Ｃｕ接続を使用して作成される。検出器を制御及び／又はバイアスし、検出器信号の前処理又は処理するための局所的な画素回路は、画素センサ層に存在していてもよい。画素センサ層の製造の複雑さを軽減するために、そのような回路は、ニューラルネットワーク層（５）に部分的又は完全に実装してもよい。例えば、ＭＯＳトランジスタを使用するすべての回路をニューラルネットワーク層に実装すれば、ＭＯＳトランジスタの製造に必要な処理工程を回避できる。
【図5】図５は、本発明の実施形態に関し、イメージセンサ（１）及びニューラルネットワーク（５）の断面図であり、検出器（４）及びニューロン（６）の各々に対する少なくとも１つの接触パッド（８）が互いに積層されている。
【図11】図１１は、本発明の実施形態に関し、画素センサの配列からの３つの連続した入力信号を示していて、（ａ，ｂ，ｃ）は、環境ノイズ及び熱ノイズのない理想的な場合の検出であり、（ｄ，ｅ，ｆ）は、環境ノイズ及び熱ノイズのある現実的な場合の検出であり、また、（ｇ，ｈ，ｉ）は、フィルタリングされた出力である。
【図12】図１２は、本発明の実施形態に関し、（ａ）において、複数の画素センサ（３５）、処理ユニット（３８）、及び、メモリ素子（３７）を有するイメージセンサ（３４）の断面図を示し、（ｂ）において、マトリクス構成の前記複数の画素センサ（３５）の上面図を示す。
【図13】図１３は、本発明の実施形態に関し、マトリクス構成の前記複数の画素センサ（３５）、及び、その検出（３９）を示し、１つの画素センサ（３５’）において、２つの検出（３９’、３９’’）が２つの連続する時間ステップ（Ｔ１、Ｔ２）で発生する。
【図14】図１４は、本発明の実施形態に関し、マトリクス構成の前記複数の画素センサ（３５）、及びその検出（３９）を示し、２つの検出（３９’、３９’’）は、２つの連続する時間ステップ（Ｔ１、Ｔ２）において、２つのすぐ隣の画素センサ（３５’、３５’’）で発生し、今後の時間インスタンス（Ｔ３）における今後の検出（３９’’’）が外挿される。
【発明を実施するための形態】
【0034】
本発明は、効率的な画像センシングのためのイメージセンサに関する。
【0035】
本発明を、特定の実施形態に関して、特定の図面を参照して説明するが、本発明はこれに限定されるものではなく、特許請求の範囲によってのみ限定される。記載された図面は概略的なものであり、非限定的なものである。図面において、いくつかの要素の大きさは、例示の目的で誇張され、縮尺通りに描かれていない場合がある。寸法及び相対寸法は、本発明の実際の実施化に対応するものではない。
【0036】
本明細書及び特許請求の範囲における第１、第２などの用語は、類似の要素を区別するために使用されるものであり、必ずしも、時間的、空間的、順位的、又は、その他の方法での順序を説明するために使用されるものではない。このように使用された用語は、適切な状況下では交換可能であり、本明細書に記載される本発明の実施形態は、本明細書に記載又は図示された以外の順序で動作可能であることを理解されたい。
【0037】
さらに、本明細書及び特許請求の範囲における上（top）、下（under）などの用語は、説明目的で使用されており、必ずしも相対的な位置を説明するために使用されているわけではない。このように使用された用語は、適切な状況下では交換可能であり、本明細書に記載された本発明の実施形態は、本明細書に記載又は図示された以外の向きでも動作可能であることを理解されたい。
【0038】
本明細書において、多数の具体的な詳細が記載されている。しかしながら、本発明の実施形態は、これらの具体的な詳細がなくても実施され得ることが理解される。他の例では、本明細書の理解を不明瞭にしないために、周知の方法、構造及び技術は詳細に示されていない。
【0039】
本明細書全体を通して「１つの実施形態」又は「一実施形態」という言及は、実施形態に関連して記載される特定の特徴、構造、又は、特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書を通じて様々な箇所で「１つの実施形態において」又は「一実施形態において」という表現が現れるが、必ずしもすべてが同じ実施形態を指すわけではないが、そうであり得る。さらに、特定の特徴、構造、又は、特性は、１つ又は複数の実施形態において、本開示から当業者にとって明らかであるように、任意の適切な方法で組み合わせることができる。
【0040】
同様に、本発明の例示的な実施形態の説明において、本発明の様々な特徴が、開示を合理化し、１つ又は複数の様々な発明の態様の理解を助ける目的で、１つの実施形態、図、又は、その説明にまとめられていることがあることを理解されたい。しかしながら、この開示方法は、特許請求される発明が、各請求項に明示的に記載されている以上の特徴を必要とするという意図を反映していると解釈されるべきものではない。むしろ、以下の特許請求の範囲が示すように、発明の態様は、前に開示された単一の実施形態のすべての特徴よりも少ない特徴にある。したがって、詳細な説明に続く特許請求の範囲は、本明細書に明示的に組み入れられ、各請求項は、本発明の個別の実施形態としてそれ自体で成立する。
【0041】
さらに、本明細書に記載されるいくつかの実施形態は、他の実施形態に含まれるいくつかの特徴を含む一方で他の特徴は含まないが、異なる実施形態の特徴の組み合わせは、本発明の範囲内であることを意味し、当業者に理解されるように、異なる実施形態を形成する。例えば、以下の特許請求の範囲において、特許請求される実施形態のいずれも任意の組み合わせで使用することができる。
【0042】
特に定義しない限り、技術用語及び科学用語を含め、本発明を開示する際に使用されるすべての用語は、本発明が属する技術分野における当業者によって一般的に理解される意味を有する。さらなる指針として、本発明の教示をよりよく理解するために用語の定義が含まれる。
【0043】
本明細書において、以下の用語は以下の意味を有する。
【0044】
本明細書で使用される「A」、「an」及び「the」は、文脈上明らかにそうでない場合を除き、単数及び複数の両方を参照する。例として、「a contaminant」（汚染物質）は、１つ又は複数の汚染物質を指す。
【0045】
端点による数値範囲の記載は、記載された端点だけでなく、その範囲に含まれるすべての数値と分数とを含む。
【0046】
第１の態様において、本発明は、請求項１に記載の効率的な画像センシングのためのイメージセンサに関する。
【0047】
イメージセンサは、複数の画素センサを有する。各画素センサは、論理信号（例えば、「１」と「０」との列であり、例えば、「１」は検出であり、「０」は検出の不在である）を出力するように適合された光検出器を有する。イメージセンサは、処理手段をさらに有する。前記イメージセンサは、各光検出器が前記処理手段の近傍に位置していることを特徴とする。例えば、各光検出器と前記処理手段との間の距離による消費電力が低減されるように、ごく近くに位置している（in close proximity）。これは、コンパクトなセンサを得る上で有利であり、同時に、例えば、異なる構成要素間（例えば、前記光検出器の各々と前記処理手段との間）の長い接続、又は、データ伝送用の長い及び／又は幅の広いバス、又は、極めて高速の直列化リンクによる電力損失を最小限に抑えたセンサを得る上で有利である。このような分散コンピューティングアーキテクチャは、また、はるかに高速である。
【0048】
前記処理手段は、各検出器に並列に接続される。例えば、各光検出器の出力は、並列に処理手段によって受け取られ（又は、処理手段にフィードされ、又は、処理手段に接続され）、例えば、前記処理手段は、前記光検出器の出力を受け取るための複数の入力ポートを有する。これは、画素センサの出力（すなわち、光検出器の出力）におけるデータを処理手段によって同時に処理する（すなわち、データを並列に処理する）際に有利である。例えば、処理手段は、複数の処理素子を有し、各処理素子は１つの光検出器に並列的な方式で接続される。例えば、１，０００，０００個の画素センサの場合、各画素センサの出力（すなわち、各光検出器の出力）で１ビットのデータが利用可能であれば、１，０００，０００ビットのデータが処理手段に入力され、あるインスタンスで同時に処理される。そして、別のインスタンスでは、別の１，０００，０００ビットのデータが処理手段に入力され、処理される。これは、これらすべてのデータを効率的且つ高速に処理手段に入力し、処理する上で有利である。
【0049】
前記処理手段は、好ましくは少なくとも１つのニューラルネットワークである。しかしながら、本発明はニューラルネットワークの使用に限定されない。本明細書全体でニューラルネットワークを参照して説明した本発明の様々な特徴は、上述したような並列分散コンピューティングアーキテクチャの処理ユニットで実現することもできる。
【0050】
前記ニューラルネットワークは、複数のニューロンを有する。イメージセンサは、各光検出器が少なくとも１つの対応するニューロンの近傍に位置することを特徴とする。例えば、各光検出器とニューロンとの間の距離による消費電力が低減されるようにごく近くに位置している。例えば、各光検出器は、対応する１つのニューロンを有する。例えば、各光検出器と前記ニューロンとの間の距離は、最短距離であり、可能な限り近い。このことは、コンパクトなセンサを得る上で有利であり、同時に電力損失を最小限に抑えたセンサを得るのに有利である。前記電力損失は、例えば、長い接続、データ伝送用の長い及び／又は幅の広いバス、又は異なる構成要素間（例えば、前記光検出器と前記ニューロンとの間）の極めて高速の直列化されたリンクに起因する場合がある。
【0051】
ニューラルネットワークは、複数の光検出器からのセンシング情報を処理する。例えば、ニューラルネットワークは従来のプロセッサを置き換える。これは、従来のプロセッサの必要性をなくすだけでなく、光検出器によって生成されたアナログデータをプロセッサによって必要とされるデジタルデータに変換するために必要なアナログ／デジタル変換器（ＡＤＣ）の必要性をなくす点で有利である。これは、従来のランダム・アクセス・メモリ（ＲＡＭ）の必要性をなくすという点でも有利である。というのも、ニューラルネットワーク内のニューロンは、少なくとも一時的に履歴を保存することができるからである。例えば、ニューロンの状態は、以前の状態に影響される。これらのコンポーネント（従来のプロセッサ、従来のＲＡＭ、及び、ＡＤＣ）とそれらの接続、及び、その間の信号変換がすべて不要になるため、イメージセンサの効率が向上する。
【0052】
また、ニューラルネットワークは、従来のプロセッサよりも高速でセンシング情報を処理し、消費電力を大幅に低減する上で特に有利である。例えば、従来のプロセッサは、論理「０」だけでなく論理「１」などのすべての入力センシングデータを処理する必要があるが、ニューラルネットワークは、論理「１」データのみを処理し、「０」データのさらなる処理を制限できる。例えば、従来のプロセッサは、特に高フレームレートで論理「０」データを繰り返し処理する際に電力を消費するが、本発明では、情報がない場合にはさらなる処理を必要としないため、「０」データを処理する必要はない。
【0053】
各光検出器は、少なくとも１つの対応するニューロンに接続されている。例えば、各光検出器の出力は、少なくとも１つの対応するニューロンによって受信される（又は、フィードされる、又は、接続される）。これは、画素センサの出力（すなわち、光検出器の出力）におけるデータを、対応するニューロンによって同時に処理する（すなわち、データを並列処理する）際に有利である。例えば、１，０００，０００個の画素センサの場合、各画素センサの出力（すなわち、各光検出器の出力）で１ビットのデータが利用可能であれば、１，０００，０００ビットのデータがニューラルネットワークに入力され、あるインスタンスで同時に処理される。別のインスタンスでは、別の１，０００，０００ビットのデータがニューラルネットワークに入力され、処理される。これは、これらすべてのデータを効率的且つ高速にニューラルネットワークに入力し、処理する上で有利である。
【0054】
このようなセンサにおいて、従来のプロセッサ及びその他の必要な構成要素（例えば、ＡＤＣ及び従来のＲＡＭ）を排除することは自明ではない。イメージセンサをニューラルネットワークに組み合わせると、イメージセンサの出力とニューラルネットワークへの入力との間にミスマッチが生じる可能性がある。このため、ニューラルネットワークの近傍に検出器を配置することができない。本発明は、論理信号を出力するように適合された光検出器を有することによって可能になり、この光検出器は、ニューラルネットワークによって受け入れられる入力（すなわち、パルス列）を生成することができる。好ましい実施形態では、前記光検出器は単一光子検出器である。
【0055】
好ましい実施形態では、前記各光検出器とそれに対応する前記ニューロンとの間（又は各光検出器と前記処理手段との間）に、例えばフリップフロップのような同期要素が存在してもよい。これにより、非同期パルス又はスパイク（すなわち、前記光検出器から来る）を同期パルス又はスパイク（すなわち、ニューラルネットワークに入る）に変換することができる。これにより、同期動作又は同期入力データを必要とする可能性のある異なるタイプのニューラルネットワークによって本発明を実施することができる。
【0056】
好ましい実施形態では、このようなネットワークは、例えば、人間の脳のような生物学的ニューラルネットワークを模倣し、例えば、情報（例えば、デジタル画像又はビデオシーケンスの形式の視覚入力）が人間の脳と同様の方法で処理及び分析されるようにする。
【0057】
好ましい実施形態では、各画素検出器はパルスのストリームを生成することができ、各パルスは衝突光子の検出の結果である。パルス間の時間間隔は、検出される光信号の強度に関連する。ある時間窓における強度が高ければ高いほど、パルス間の平均時間は短くなる。もちろん、当業者には知られているように、パルス間の実際の時間はポアソン分布に従い、平均時間は光信号の強度によって定義される。
【0058】
好ましい実施形態では、前記イメージセンサは、好ましくは１００ｎｍと１０マイクロメートルとの間、より好ましくは１００ｎｍと１マイクロメートルとの間で動作する。例えば、各光検出器は、１００ｎｍから１０マイクロメートルの範囲内、好ましくは１００ｎｍから１マイクロメートルの範囲内、さらに好ましくは、使用される光源の波長によって定義される光学窓内にある検出窓内で、前記検出器に衝突する光子を検出することができる。例えば、８５０ｎｍを中心波長とする光源を使用する検出システムを構築する場合、検出用の光学窓も同じ波長を中心とする。
【0059】
好ましい実施形態では、単一光子検出器は、単一光子アバランシェダイオード（ＳＰＡＤ）であってもよい。このようなダイオードは、光子量子化器として機能し、センサ内の追加の量子化器が不要になる。さらに、このようなダイオードは、衝突光子の強度及び強度変化情報を、前記ダイオードの出力の時間領域情報において符号化することを可能にする。これは、前記ダイオードの前記出力の性質によるものである。前記出力はパルスのストリームであり、各パルスは前記ダイオード上で検出された光子に対応する。互いに等間隔である観測窓を設定することにより、２つの出力パルス（すなわち検出器の）間の平均時間遅延又は時間差は、衝突光子の強度（例えば、光パワー）に依存する。例えば、１つの観測窓で３つの検出された光子の平均の場合、前記検出器のパルス間の平均時間差は△Ｔ１である。一方、１つの観測窓で２つの検出された光子の平均の場合、前記検出器のパルス間の平均時間差は△Ｔ２であり、△Ｔ２＞△Ｔ１である。したがって、入射する光子の強度は、△Ｔが低いほど高くなり、△Ｔが高いほど低くなる。したがって、前記ダイオードにおける衝突光子の強度情報（及び強度変化）は、前記ダイオード出力の時間領域で符号化される。これは、従来のプロセッサ例えば前記処理手段を用いて復号されてもよいし、ニューラルネットワークを用いて復号されてもよい。ニューラルネットワークは、前記衝突光子の強度情報を得るために時間領域の情報を復号する必要があるだけである。これに対して、ＡＤＣ及びプロセッサが使用される場合、前記ＡＤＣは、センサ内の全てのダイオードの各フレームの全てのアナログデータをデジタル領域に変換する必要があり、その後、プロセッサは、前記データを処理し、例えば、前記光子を計数し、蓄積するだけでなく、前記ダイオード上の前記光子の強度を記録する必要がある。これは、特にフレームレートが高い場合、特に光検出器の数が多い場合、電力を消費し、時間のかかる処理である。ニューラルネットワークは、その効率的で高速な性質により、（従来のプロセッサと比較して）前記時間領域の情報をデコードする際に非常に有利である。
【0060】
好ましい実施形態では、各光検出器は、好ましくは、前記ニューラルネットワークの少なくとも１つの対応するニューロン（又は、前記処理手段）に直接接続され得る。例えば、前記光検出器と前記ニューラルネットワーク（又は、前記処理手段）との間に中間構成要素は存在しない。例えば、各光検出器は、対応するニューロン（又は、前記処理手段）に直接接続される。これは、消費電力の高い量子化器などの中間コンポーネントが回避されるため、電力効率の高いセンサを得る上で有利である。
【0061】
好ましい実施形態では、各検出器とそれに対応するニューロン（又は、前記処理手段）との間の距離は、最大で１００マイクロメートル、好ましくは最大で５０マイクロメートル、より好ましくは最大で２５マイクロメートル、最も好ましくは１０マイクロメートルであってもよい。これは、各検出器とその対応するニューロン（又は、前記処理手段）との間において、短く、且つ、ほぼ直結した接続を得る上で有利である。例えば、検出器とニューロン（又は、前記処理手段）との各々に設けられた金属パッドが互いに重なって配置される（例えば、互いに相補的な、例えば、恒久的に接合される）だけで、例えば、金属的に接続され、ほぼ直結した接続になる。例えば、検出器と対応するニューロン（又は前記処理手段）とは、パッドの厚さの分だけ離れている。例えば、ワイヤ接続は存在しない。あまり好ましくない実施形態では、例えば、前記検出器とそれに対応するニューロン（又は、前記処理手段）との間に短い接続を有することによって、距離は最大で１０００マイクロメートル、好ましくは最大で５００マイクロメートルであってもよい。
【0062】
好ましい実施形態では、各検出器とその最も近接する検出器との間の距離は、最大で２０マイクロメートル、好ましくは最大で１０マイクロメートル、より好ましくは最大で５マイクロメートル、最も好ましくは最大で１マイクロメートルであってもよい。各ニューロンとその最も近接するニューロンとの間の距離も同様に適合される。
【0063】
好ましい実施形態では、２つのニューロン間の距離と、前記検出器と対応するニューロン間の距離との比は、１：１０００と１：５との間、好ましくは１：１００と１：１０との間である。これは、処理手段がニューラルネットワークでない場合にも同様に適合される。
【0064】
好ましい実施形態では、各検出器は最も近いニューロンに接続される（対応する）。しかしながら、各検出器の対応するニューロンは、最も近いものではなく、例えば、２番目に近いもの、又は３番目に近いものであってもよい。
【0065】
好ましい実施形態では、複数の画素センサは、複数のニューロン上（又は、前記処理手段の複数の前記処理要素上）に積層されていてもよい。例えば、画素センサは、各検出器が対応するニューロン上に積層され、前記検出器と前記ニューロンとの間の距離が最小となるように積層される。積層とは、画素センサを前記ニューロンのごく近くに位置するように配置すること、例えば、互いの上に配置すること、例えば、互いに対向するように配置することを指す場合がある。これにより、各検出器の出力が対応するニューロンへの入力に容易に利用できるようになる。例えば、前記検出器と前記ニューロンとの間に、最小限の長さのコネクタがあるか、好ましくは、コネクタを必要としない。これにより、前記検出器と前記ニューロンとの間のバス接続で発現し得る余分な損失が取り除かれる。
【0066】
好ましい実施形態では、前記画素センサと前記ニューロン（又は、前記処理手段の前記処理要素）との間の接続は固定されていてもよい。例えば、積層が完了した後に、画素センサを別のニューロンに再接続することは容易ではない。しかしながら、ニューラルネットワークにおける各ニューロンの重みは調整可能（設定可能及び再設定可能）である。これにより、ユーザは、画素センサを対応するニューロンから切り離すことなく、ニューラルネットワークを再設定することができる。同様に、前記処理要素も再設定可能である。
【0067】
好ましい実施形態では、前記画素センサと前記ニューロン（又は、前記処理手段）との間に位置ずれがあってもよい。前記位置ずれは、好ましくは最大で１０マイクロメートル、より好ましくは最大で５マイクロメートル、さらに好ましくは最大で２マイクロメートル、最も好ましくは最大で１マイクロメートル、又は、マイクロメートル以下である。本発明のイメージセンサは１，０００，０００個の画素センサを有することがあるので、位置ずれは１マイクロメートル未満に容易に押し下げられ得る。これは、例えばアライメントマーカーを使用してイメージセンサの左上隅と右下隅とを位置合わせすることによって行われ、非常に高いアライメント精度が得られる。
【0068】
好ましい実施形態では、検出器は、例えばシリコン、ゲルマニウム、ＧａＡｓ、ＩｎＧａＡｓ、ＩｎＧａＡｓＰ、ＩｎＡｌＧａＡｓ、ＩｎＡｌＧａＰ、ＩｎＡｓＳｂＰなどの半導体を有していてもよい。例えば、検出器は、異なる半導体の異なる層を有していてもよい。また、対応するニューロンは、シリコン又はゲルマニウムなどの半導体を有していてもよい。例えば、ニューラルネットワークは、異なる材料の異なる層を有していてもよい。検出器と対応するニューロンとは、例えば導電性金属を有する２つの接触パッドによって接続されてもよい。例えば、前記導電性金属は、銅、金、銀、ニッケル、アルミニウム、チタン、又は好ましくはそれらの組み合わせであってもよい。
【0069】
好ましい実施形態では、検出器と対応するニューロンとは、同じチップ上にあってもよいし、２つの異なるチップ上にあってもよい。異なる２つのチップの場合、接触パッドは例えば両方のチップ上にあり、例えば、前記２つのチップを互いに重ねることによって接続される。
【0070】
好ましい実施形態では、各検出器は、例えば金属パッドなどの導電性金属接続を介して、対応するニューロン（又は、前記処理手段）に接続されていてもよい。例えば、前記パッドは、各画素センサ（すなわち、各検出器）上に配置され、相補的なパッドが、対応する各ニューロン上に配置される。例えば、１，０００，０００個の画素センサ上に１，０００，０００個のパッドがあり、前記画素センサに対応する１，０００，０００個のニューロン上に１，０００，０００個のパッドがある。各検出器が対応するニューロンのごく近くに位置していることは、余分なワイヤ接続による追加損失を避けることができるため、有利である。例えば、各検出器とその対応するニューロンとの間の距離が離れることによる追加損失は、１，０００，０００倍される（すなわち、各画素センサに対して同じ損失が累積される）ことになるが、本発明ではこれが回避される。
【0071】
好ましい実施形態では、前記ニューロンは、前記検出器の出力に基づいて発火（すなわち、出力信号を生成又は発生）可能であってもよい。例えば、検出器がそこに衝突する光子を検出する場合、前記検出器の出力は、例えば論理「１」又は例えば１パルスであり、前記ニューロンは、例えば前記検出器の少なくとも１つのパルスに基づいて発火することができる。一方、前記少なくとも１つのパルスがない場合、前記ニューロンは発火しなくてもよい。これは、検出がないことを表すデータを処理する必要がない（論理「０」データも処理する従来のプロセッサでは処理する）という点で有利である。これにより、電力効率及び処理速度が向上し、メモリと計算との両方の負担が軽減される。
【0072】
好ましい実施形態では、各ニューロンは少なくとも１つの近接するニューロンに接続されている。異なるニューロン同士は（例えば、リンクを介して）接続されていてもよい。例えば、近接する２つのニューロンは、他のニューロンよりも互いに近くに、すなわち、互いにごく近くに位置していてもよい。各ニューロンは、前記検出器（すなわち対応する検出器）の出力だけでなく、前記少なくとも１つの近接するニューロンからの入力信号に基づいて発火可能であってもよい。例えば、前記検出器の出力が論理「１」である、又はパルスを生じる偽陽性検出の場合、前記少なくとも１つの近接するニューロンからの入力信号は、これが偽陽性検出であるか真陽性検出（a true positive detection）であるかを決定するための確認信号として機能してもよい。これにより、ノイズを低減し、フィルタリングすることができる。
【0073】
例えば、近接するニューロンの定義は、必ずしも文字通りでなくてもよい。近接するニューロンは、他のニューロンの近隣（neighbourhood）に位置していてもよく、必ずしも最も近いニューロンである必要はない。
【0074】
好ましい実施形態では、ニューロンはまた、検出が偽陽性検出であるか真陽性検出であるかを判定する前に、例えば、イメージセンサにおける検出の最小数が達成されたかどうかを判定するために、近接しないニューロンに接続され、そこから信号を受信することができる。
【0075】
好ましい実施形態では、各検出器は逆バイアス構成で配置することができる。検出器は、そこに衝突する単一光子を検出可能である。検出器は、光子の検出時に電気的検出信号を出力するための出力を有する。例えば、検出信号は、論理「１」を有する信号（例えば、検出）によって表すことができ、検出信号無しは、論理「０」を有する信号（例えば、検出無し）によって表すことができる。あるいは、検出信号は、パルス信号によって表されるか、又は、パルス信号の結果であってもよく、例えば論理「０」から論理「１」に遷移した後、論理「１」から論理「０」に戻る遷移であってもよく、検出無しは、そのようなパルス信号がないことによって表されていてもよい（又は、結果であってもよい）。
【0076】
好ましい実施形態では、ネットワークは、ニューロンの少なくとも１つの層を有していてもよい。好ましくは、ネットワークは、ニューロンの入力層、ニューロンの出力層、及びデータを処理するための入力層と出力層との間の複数の中間層（例えば、少なくとも１つの層、好ましくは複数の層）を有する。
【0077】
好ましい実施形態では、１つの層内の各ニューロンは、次の層内の少なくとも１つのニューロン、好ましくは複数のニューロンに接続されていてもよい。例えば、各検出器は、入力層の少なくとも１つのニューロン、好ましくは複数のニューロンに接続される。例えば、入力層の各ニューロンは、第２層内の少なくとも１つのニューロン、好ましくは第２層内の複数のニューロンに接続される。
【0078】
好ましい実施形態では、１,０００,０００個の画素センサと、前記画素センサの各々に対応して１つのニューロン（又は、前記センサの各々に対応して１つの処理要素）が存在してもよい。したがって、前記ネットワークの入力層には、１，０００，０００個の画素センサに対して１，０００，０００個の接続によって接続された１，０００，０００個のニューロンが存在してもよく、各ニューロンは、それに対応する１つの検出器の出力を受信する。また、前記ネットワークの出力層にも１，０００，０００個のニューロンが存在し、前記ネットワークの前記入力層と前記出力層との間の各中間層にも少なくとも１，０００，０００個のニューロンが存在する。
【0079】
好ましい実施形態では、前記ニューラルネットワークは、前記検出器出力のデータを処理するように訓練されてもよい。例えば、前記ネットワークは、前記検出器出力の時間領域情報を復号するように訓練されてもよい。例えば、前記ネットワークは、前記検出器出力の時間領域情報を用いて、前記検出器における衝突光子の強度及び／又は強度変化情報を復号するように訓練されてもよい。ニューラルネットワークを使用した前記各検出器の出力の処理は、従来のプロセッサを使用した出力の処理と比較して、はるかに高速で、はるかに少ない電力で行われる。
【0080】
好ましい実施形態では、前記ネットワークは、例えば所定のインスタンスにおいて、前記ネットワークへの入力信号のセット、例えば入力信号の組み合わされたセットの特徴を抽出するように訓練されてもよい。前記特徴は、例えば分析及び／又は画像化されるシーンなどのシーン内における物体の質量、密度、動き、及び／又は、近接性（例えば、一方の物体と他方の物体との近接性、又は、前記検出器からの近接性）であってよい。特徴の他の例は、強度値、輪郭、超高速イベント、蛍光寿命イメージングなどであってもよい。例えば、検出器は、シーン内の少なくとも１つの物体、好ましくは複数の物体を監視し、前記検出器に衝突した光子は、前記検出器によって、前記ネットワークに入力されるパルス列に変換される。前記ネットワークは、その後、前記入力を分析し、例えば、前記入力に変換を適用することによって、前記特徴を抽出する。したがって、ネットワークは分析モジュールとして機能する。それにもかかわらず、ニューラルネットワークは、前記シーンの画像を再現可能である。例えば、画像表現モジュールは、前記ニューラルネットワークの出力を取り込み、シーンの画像を再現する。
【0081】
好ましい実施形態では、ニューラルネットワークは、パルス列に応答するように（すなわち、パルス列の入力を受け取るように）適合されてもよい。これは、従来のプロセッサのものよりも速い速度で、はるかに低い消費電力でセンシング情報を処理する際に特に有利である。例えば、前記検出器の出力を、前記ネットワークによって受け入れられるように変換する必要がない。ニューラルネットワークは、例えば、スパイキングニューラルネットワーク又はパルス結合ニューラルネットワークであってもよい。好ましい実施形態では、スパイキングニューラルネットワークは、スパイク畳み込みニューラルネットワーク（ＳＣＮＮ）、又はスパイキングリカレントニューラルネットワーク（ＳＲＮＮ）であってもよい。
【0082】
好ましい実施形態では、ニューラルネットワークはスパイキングニューラルネットワークを有する。前記スパイキングニューラルネットワークの入力層で提供される入力は、典型的には、パルス又はスパイクの列である。例えば、入力層内の各ニューロンは、一連のスパイクを入力として受け取る（例えば、少なくとも１つの対応する検出器出力から）。これらの入力スパイクは、異なる層にまたがって伝送される。出力層の出力も、典型的にはパルス又はスパイクの列である。
【0083】
好ましい実施形態では、前記スパイキングニューラルネットワークにおいて、前記ニューロン間に３つのタイプの接続のうちの少なくとも１つが存在してもよい。前記接続は、フィードフォワード接続（すなわち、入力から中間層を介した出力層への接続）であってもよい。前記接続は、あるいは、負の横方向接続（negative lateral connections）、又は、相互接続（reciprocal connections）であってもよい。
【0084】
好ましい実施形態では、スパイキングニューラルネットワーク内の各ニューロンは、積分発火ニューロンとして動作してもよい。前記ネットワークのニューロンは、発火する閾値を有していてもよい。例えば、前記ニューロンは、閾値が交差する瞬間にのみ発火してもよい。ニューロンの電位が閾値に達すると、ニューロンは発火し、他のニューロンに伝わる信号が発生する。この信号に応じて、他のニューロンの電位が増減する。したがって、スパイクは、前記ニューロンの電位が減衰するか発火するまで、ニューロンの電位の値を上昇させたり下降させたりする。発火後、ニューロンの電位は低い値にリセットされる。これは、入射光子に十分に強い変化（例えば、画素センサに衝突する光子の所定数によって決定される）がある場合にのみ信号が生成されるため、消費電力を削減する上で有利である。これにより、ネットワークの消費電力が少なくなり、その一部の活動が抑制される。例えば、対応する検出器に１つの光子しか入射しない場合には、ニューロンは発火しないであろうし、例えば、対応する検出器のグループに１つの光子又は少数の光子（閾値を乗り越えるのに必要な所定数の光子未満）しか入射しない場合には、ニューロンは発火しないであろう。このネットワークはさらに、各ニューロンへの入力の加重和を計算する際に、ゼロの加算を削減及び／又は排除するのに役立つ。このようなデータトラフィックの削減は、消費電力の削減及び処理速度の向上につながる。
【0085】
好ましい実施形態では、前記ニューロンは、最後の出力からの時間が不応期間より大きい場合にのみ発火することができる。これは、ニューロンが過剰に刺激された場合に、ニューロンが頻繁に発火するのを避けるのに有利である。
【0086】
好ましい実施形態では、スパイキングニューラルネットワーク内の各ニューロンは、漏れ積分発火ニューロン（a leaky-integrate-and-fire neuron）として動作する。前記ネットワークのニューロンは、積分発火ニューロンと同様に、発火する閾値を有していてもよい。しかしながら、ニューロンは、リークメカニズムを有していてもよい。例えば、ニューロンの電位は、時間とともに減少する。これは、例えば、ノイズによる増加が時間とともに減衰するような、電位に有意且つ持続的な増加がある場合にのみニューロンを発火させるのに有利である。
【0087】
好ましい実施形態では、ニューラルネットワークは、パルス結合ニューラルネットワークであってもよい。前記ネットワークにおいて、各ニューロンは、近接するニューロンと同様に、対応する画素センサの検出器に接続され、そこから入力信号を受信する。パルス結合ニューラルネットワークの各ニューロンは、リンキング区画（linking compartment）とフィーディング区画（feeding compartment）とを有する。リンキング区画は、近接するニューロンからの入力信号を受信し、合計する。フィーディング区画は、近接するニューロンからの入力信号と、対応する画素センサの検出器からの入力信号とを受信し、合計する。両区画の出力は乗算され、閾値区画（threshold compartment）にフィードされる。閾値区画への入力が閾値以上の場合、ニューロンは発火する。リンキング区画、フィーディング区画、及び、閾値区画のそれぞれが、フィードバック機構（すなわち、出力が前の出力に依存する）を有することが特に有利である。これは、ニューロンとその近接ニューロンとの以前の状態の履歴を保持するのに有利である。フィードバック機構により、閾値は動的である。このことは、ノイズに強いセンサ、及び、入力パターンのわずかな強度の変化に対応できるセンサ等を得る上で有利である。
【0088】
好ましい実施形態では、単一光子アバランシェダイオードは、例えばスパイキングニューラルネットワーク及びパルス結合ニューラルネットワークのような、パルス列に応答するニューラルネットワークと互換性があるので有利である。例えば、前記ダイオードの出力における符号化された強度及び強度変化情報は、前記ニューラルネットワークへの入力として適しており、前記ネットワークは、前記強度情報を復号することができる。
【0089】
好ましい実施形態では、ニューラルネットワーク内の各ニューロンは、前記ニューロンへの現在の入力と前記ニューロンの現在の状態とに基づいて出力を生成可能である。各ニューロンの現在の状態は、前記ニューロンへの以前の入力及び前記ニューロンの以前の状態に対応する。また、これらは他のニューロンからの入力の影響も受け、近接するニューロンの状態も影響を受ける可能性がある。したがって、各ニューロンは、異なる検出インスタンスのデータを記憶（例えば、少なくとも一時的に）して比較し、そこから移動体の軌跡を結論付けることができる。例えば、前記複数の画素センサの前を移動し、インスタンスＴ１、Ｔ２、及び、Ｔ３においてその検出器のいくつかによって検出された移動物体の軌跡を知れば、ニューロンは、次のインスタンスＴ４において、今後起こり得る検出を容易に決定できる。例えば、ニューロンは、（例えば、近くの検出器のうち）どの検出器が前記次のインスタンスにおいて衝突光子を検出する可能性が高いかを予測することができる。各ニューロンの出力は、ニューロンの現在の状態（前記ニューロンへの以前の入力によって決定される）と、現在の入力（例えば、この場合は検出器からの入力）との組み合わせによって決定されるため、スパイキングニューラルネットワークは、これを実現するのに特に有利である。これにより、ネットワークと各ニューロンとは、履歴を保持し、メモリのような挙動を示し、異なるインスタンスでの検出を比較できるようになり、各ニューロンの次の出力を決定しやすくなる。これはまた、ニューラルネットワークはノイズのある検出が発生する可能性が高いことを予測できるため、ノイズを低減し、ノイズのある検出（例えば偽陽性検出）をフィルタリングしやすくする。
【0090】
好ましい実施形態では、前記イメージセンサは、少なくとも１種類のニューラルネットワークを有していてもよい。あるいは、イメージセンサは、同じタイプ又は異なるタイプの異なるニューラルネットワークを有していてもよい。
【0091】
好ましい実施形態では、画素センサ及び対応するニューロンは、複数の行及び／又は複数の列に配置されてもよい。例えば、画素センサ及び対応するニューロンは、行列状に配置されてもよい。対応するニューロン（すなわち、ニューラルネットワークの入力層にある）は、好ましくは、画素センサの検出器と同一又は類似の構成に構成される。ニューラルネットワークの中間層及び出力層は、異なる構成であってもよい。このような配置により、より広い領域の検出が可能になり、各ニューロンが近接するニューロンを持つことができる。
【0092】
好ましい実施形態では、前記イメージセンサは、１００個以上の画素センサ、好ましくは１，０００個以上の画素センサ、より好ましくは１０，０００個以上の画素センサ、さらに好ましくは１００，０００個以上の画素センサ、最も好ましくは１，０００，０００個以上の画素センサを有していてもよい。例えば、イメージセンサは、マトリクス状に配置されてもよく、前記イメージセンサは、１，０００行の画素センサ行と１，０００列の画素センサ列を有していてもよい。
【0093】
好ましい実施形態では、前記イメージセンサは、移動可能であってもよい。例えば、イメージセンサの向きをｘ、ｙ、又は、ｚ方向のいずれかに変更することができる。例えば、１つのイメージセンサだけで３Ｄ映像を得ることが可能である。
【0094】
好ましい実施形態では、前記イメージセンサは、３Ｄ映像用途に使用することができる。例えば、イメージセンサは、物体を３次元で視覚化するために使用することができる。あるいは、前記センサは、必ずしも前記シーンの画像を生成することなく、例えば、シーン内の物体の特徴を抽出することによって、シーンを分析することを可能であってもよい。
【0095】
第２の態様において、本発明は、請求項８に記載の光センシングシステムに関し、第１の態様によるイメージセンサを備える。前記光センシングシステムは、前記イメージセンサ上にシーンの画像を生成することができる光学系をさらに有する。例えば、前記手段は、ニューラルネットワークに接続され、例えば、ニューラルネットワークの出力に接続される。例えば、シーンの画像が前記光学系によって再現されてもよく、例えば、シーン内の物体の点の位置が前記光学系によって再現されてもよい。前記光学系は、前記画像情報を再現するための積分器のアレイとしてニューラルネットワークを使用してもよい。例えば、各画素センサによる論理出力信号を作成する各画素センサの光入力信号は、画像を生成することができるように蓄積及び集約することができる。
【0096】
好ましい実施形態では、前記システムは、少なくとも１つの光源をさらに有していてもよい。例えば、光源は、画素センサによって検出可能な波長に適合される。例えば、１００ナノメートルと１０マイクロメートルとの間、好ましくは１００ナノメートルと１マイクロメートルとの間である。光源は、三角測量を可能にする上で有利である。例えば、シーン（例えば、環境）上に照射された光源と、例えば、互いに異なる向きに配置された２つの前記イメージセンサとを有するシステムを使用し、前記２つのイメージセンサがシーンの共有視野を有する場合、三角測量によって２つのセンサのｘ－ｙ時間データをｘ－ｙ－ｚ時間データに変換することが可能である。例えば、照射トレースにおいて前記シーン上のドットを照射するように前記光源を適合させることによって、前記光源は、前記シーン上の前記ドットを（好ましくは連続的に）走査するように適合された手段を有し、前記イメージセンサは、前記ドットを監視し、複数のインスタンスにおいて前記トレースに沿って前記シーン内の少なくとも１つの物体の点（例えば、前記物体の表面の点）の位置を出力し、２つのイメージセンサのｘ－ｙ時間データは、例えば、前記ニューラルネットワークを使用して、三角測量によってｘ－ｙ－ｚ時間データに変換することができる。光源は、例えば、基準点として機能し、第１のイメージセンサの前記物体の前記点の前記位置を第２のイメージセンサの前記物体の前記点の前記位置と同期させ、ｚ次元を作成することができる。光源は、リサージュ方式又はパターンで撮像されるシーンを照射及び走査してもよい。この照射軌道は、数回の照射サイクルの後、画像のかなりの部分が既に照射されているので、効率的で高速な画像検出を可能にする点で有利である。他の照射パターンも考えられる。
【0097】
好ましい実施形態では、前記システムは、複数のイメージセンサ及び／又は複数の光源をさらに有していてもよい。これは、３Ｄ映像を作成する際に有利である。例えば、各イメージセンサは、例えば２つのイメージセンサの出力を三角測量することによって、撮像されるシーンの３Ｄ認識が捕捉されるように、異なる向きにしてもよい。
【0098】
好ましい実施形態では、前記システムは、前記シーン内の前記物体の点の位置を再現するように、例えばスクリーンのような又は他の画像表現装置等の画像表現手段を有していてもよい。
【0099】
第３の態様において、本発明は、第２の態様による光センシングシステムを使用してシーンの特徴を抽出するための方法に関する。前記方法は、パルス列を受信するように前記ニューラルネットワークを適合させる適合ステップ、例えば、対応する光検出器によって生成されたパルス列を受信するように各ニューロンを適合させるステップを有する。
【0100】
前記方法はさらに、前記パルス列に基づいてニューロンの活性化レベル又は電位を調整するステップを含む。例えば、ニューロンによって受信される各パルスに対して、前記ニューロンの電位の活性化レベルが増加する。前記活性化レベルは、前記ニューロンに対応する光検出器への衝突光子の強度を表す。
【0101】
前記方法はさらに、前記活性化レベルが閾値を超えると、ニューロンが発火する（すなわち出力信号を生成する）ように適合させる適合ステップを有する。前記方法は、前記出力信号を前記ニューラルネットワークの後続層の少なくとも１つのニューロンに伝播する伝播ステップをさらに含む。前記方法は、前記出力信号を少なくとも１つの近接するニューロンに伝播する伝播ステップをさらに含んでもよい。
【0102】
前記方法はさらに、前記ネットワークの出力信号の特徴を抽出する抽出ステップを含む。例えば、前記ネットワークの出力層の出力信号の特徴を抽出する。
【0103】
好ましい実施形態では、前記方法は、視野（例えば前記シーン）の深度プロファイルを決定するステップをさらに有していてもよい。前記決定するステップは、
ａ）照射器（例えば前記光源）によって少なくとも１つの光パターンを視野に投影し、この投影は１０μ秒未満、好ましくは１μ秒未満の時間窓で行われる投影ステップと、
ｂ）前記時間窓内の少なくとも１つの観察窓の間にパターンの投影と同期して、カメラセンサ（例えば、前記イメージセンサ）及び光学系によって投影パターンを撮像し、前記カメラセンサは、各々が光検出器を含む画素の行列（例えば、前記画素センサ）を有し、前記画素は、対応する光検出器によって光が検出されないときは偽の状態にあり、対応する光検出器によって光が検出されたときは真の状態にあり、それによって視野を表す画素の第１の二値行列を得る撮像ステップと、
ｃ）前記時間窓内の１つの観測又は少なくとも２つの観測の組み合わせで得られた画素の二値行列上で、少なくとも１つの近接する画素も真の状態にあるとともに自己も真の状態にある画素のみを考慮することにより、画素の前記二値行列上で投影パターンを外乱光ノイズから分離し、それによって前記投影パターンを表す画素の二値行列を得る分離ステップと、
ｄ）照射器の位置、カメラの位置、及び、画素の第２の二値行列の間の三角測量に基づいて、投影されたパターンに対応する深度プロファイルを計算する計算ステップと、
ｅ）全ての視野の深度プロファイルを決定するために、全ての視野でステップａからｄを繰り返すことにより、投影パターンを走査する走査ステップと、
を有し、
パターンの分離された各要素は、二値表現において、少なくとも２つの連続する画素上に位置している。
ａ）照射器（例えば前記光源）によって少なくとも１つの光パターンを視野に投影し、この投影は１０μ秒未満、好ましくは１μ秒未満の時間窓で行われる投影ステップと、
ｂ）前記時間窓内の少なくとも１つの観察窓の間にパターンの投影と同期して、カメラセンサ（例えば、前記イメージセンサ）及び光学系によって投影パターンを撮像し、前記カメラセンサは、各々が光検出器を含む画素の行列（例えば、前記画素センサ）を有し、前記画素は、対応する光検出器によって光が検出されないときは偽の状態にあり、対応する光検出器によって光が検出されたときは真の状態にあり、それによって視野を表す画素の第１の二値行列を得る撮像ステップと、
ｃ）前記時間窓内の１つの観測又は少なくとも２つの観測の組み合わせで得られた画素の二値行列上で、少なくとも１つの近接する画素も真の状態にあるとともに自己も真の状態にある画素のみを考慮することにより、画素の前記二値行列上で投影パターンを外乱光ノイズから分離し、それによって前記投影パターンを表す画素の二値行列を得る分離ステップと、
ｄ）照射器の位置、カメラの位置、及び、画素の第２の二値行列の間の三角測量に基づいて、投影されたパターンに対応する深度プロファイルを計算する計算ステップと、
ｅ）全ての視野の深度プロファイルを決定するために、全ての視野でステップａからｄを繰り返すことにより、投影パターンを走査する走査ステップと、
を有し、
パターンの分離された各要素は、二値表現において、少なくとも２つの連続する画素上に位置している。
【0104】
好ましい実施形態では、前記方法は、前記ネットワークを訓練して、前記ネットワークへの入力信号のセットの特徴を抽出するステップをさらに有していてもよい。例えば、前記ネットワークへの光入力信号の場合、前記信号はパルス列である。前記特徴は、シーン内の少なくとも１つの物体の質量、密度、動き、及び／又は、近接性を含んでもよい。前記方法は、前記入力信号に対して変換を適用するステップをさらに含んでもよい。
【0105】
好ましい実施形態では、前記方法は、前記検出器出力の時間領域において、衝突光子の強度及び強度変化を符号化するステップをさらに有していてもよい。例えば、単一光子アバランシェダイオードを使用して、衝突光子の強度及び強度変化を符号化する。前記方法は、強度及び強度変化データを復号するために前記ニューラルネットワークを訓練するステップをさらに有していてもよい。前記方法は、前記強度及び強度変化データを復号するステップをさらに有していてもよい。
【0106】
第３の態様（方法）の特徴は、第１の態様（センサー）及び第２の態様（システム）で説明したとおりである。
【0107】
第４の態様において、本発明は、効率的な画像センシングのためのイメージセンサに関する。
【0108】
前記センサは、複数の画素センサを有し、各画素センサは、フォトディテクタを有する。前記センサは、前記各画素センサの検出を識別可能な処理ユニットをさらに有する。好ましくは、前記処理ユニットは、本発明の第１の態様の前記ニューラルネットワーク（又は本発明の第１の態様の前記処理手段の前記処理要素）に置き換えられ、その各画素センサ及び光検出器は、第１の態様に記載のように、対応するニューロンに接続される。
【0109】
前記センサは、前記ユニットが、連続する時間ステップにわたって空間内で連結された（又は、半連結された）、又は、特定のパターンを示す検出を識別可能であることを特徴とする。例えば、各画素センサの検出は、少なくとも２つの連続する時間ステップにわたる少なくとも２つの検出であり、前記少なくとも２つの検出は、少なくとも１つの画素センサに対応する、又は、少なくとも１つの画素センサ及び前記画素センサのすぐ隣の１つの画素センサに対応する。例えば、各画素センサは、複数のすぐ隣の画素センサを有する。例えば、前記２つの検出は、連続する時間ステップにわたって空間的に連結されており、例えば、連続する時間ステップにわたって１つの検出点又は近接する検出点で検出される。
【0110】
例えば、第１の時間ステップにおいて、前記検出点は、画素センサから第１のすぐ隣の画素センサにシフトしてもよく、連続する第２の時間ステップにおいて、前記検出点は、前記第１のすぐ隣の画素センサの第２のすぐ隣の画素センサにシフトしてもよい。あるいは、前記検出点は別の検出点にシフトせず、同じ検出点に留まってもよい。
【0111】
これは、一貫性のある検出、例えば検出がランダムでない、例えば一定のパターンを有する検出を決定する際に有利である。前記画素センサのサンプリングは十分に高速であるので、点によって定義される物体の一貫した検出は、少なくとも２つの連続する時間ステップにわたって１つの画素センサによって検出される、すなわち前記物体が前記２つの時間ステップの間に移動しなかった場合の検出か、又は、すぐ隣の画素センサによって検出される。例えば、前記ドット検出が、第１の時間インスタンスと第２の時間インスタンスとの間を移動しても、１つの画素センサをスキップしない場合である。これは、偽陽性検出である可能性が高いランダムな検出、例えば環境ノイズ及び熱ノイズをフィルタリングすることを可能にする点でさらに有利である。
【0112】
前記ニューラルネットワークは、例えばノイズのある検出をフィルタリングできるように、前記処理ユニットを置き換えるのに特に有利である。なぜなら、前記ニューラルネットワークは、例えばノイズのある検出をフィルタリングするなどの情報処理を高速かつ電力効率よく行えるからでる。さらに、このネットワークは、より伝統的なルールベースの処理で記述できる以上の、より複雑な性質のパターンを見つけるように訓練することができる。
【0113】
好ましい実施形態では、前記検出はさらに、前記画素センサに対して少なくとも１つのすぐ隣でない画素センサに対応し、各画素センサと前記すぐ隣でない画素センサとの間には、多くとも１つの画素センサが存在し、好ましくは、多くとも２つの画素センサが存在する。これは、前記画素センサのサンプリングレートに基づく設計上の選択である。例えば、サンプリングレートが十分に高くない場合、高速で移動する物体が１つ又は２つの画素センサをスキップする可能性がある。この場合、前記画素センサと前記すぐ隣でない画素センサとの間の検出は補間されてもよい。
【0114】
好ましい実施形態では、各画素センサのサンプリングレートは少なくとも１ＭＨｚ、好ましくは少なくとも１０ＭＨｚ、より好ましくは少なくとも１００ＭＨｚである。これは、検出器のサンプリングレートに比べて物体があまり速く動かないので有利である。例えば、センサは少なくとも１マイクロ秒、好ましくは少なくとも１００ナノ秒、より好ましくは少なくとも１０ナノ秒の時間分解能を有する。
【0115】
好ましい実施形態では、前記ユニットは、前記画素センサに沿った軌跡を計算可能である。前記軌跡は、シーン内のドットの動きを記述する。前記ドットは、シーン内で移動するオブジェクトに一般化することができ、前記オブジェクトは、複数のドットによって定義される。例えば、前記移動するオブジェクトを定義する点の軌跡を、例えば、第１及び第２の連続する時間インスタンスの間で計算する。例えば、前記時間ステップ内で空間的に一貫した軌跡を有する点等である。前記軌跡は、前記軌跡から外れた点をフィルタリングすることを可能にする。前記軌跡は、線軌跡であってもよいが、円軌跡、半円軌跡、又は、その他の軌跡であってもよい。
【0116】
好ましい実施形態では、前記ユニットは、前記軌跡に基づいて、今後の検出を外挿可能である。例えば、前記軌跡に基づいて、発生する可能性が最も高い点を決定する。例えば、物体又はパターンが一定の軌道に沿って移動すると仮定してもよい。前記外挿は、少なくとも２つの点の検出と、前記２つの点によって定義される軌跡を必要とするが、前記外挿は、２つ以上の点、例えば５つの時間ステップにわたる５つの点、例えば１０回の時間ステップにわたる１０つの点に基づけば、より正確である。例えば、第１のインスタンスＴ１と第１０のインスタンスＴ１０との間でｘ軸に沿って右方向に移動する物体は、前記物体が第１１のインスタンスＴ１１及びさらなる時間インスタンスにおいて同じ方向に移動し続ける可能性がある。好ましくは、前記ユニットは、外挿された検出を検証可能である。例えば、前記物体の軌道が変化したかどうかをチェックするように、例えば、各所定の時間ステップ後、例えば、２つ又は３つの時間ステップ毎に検証する。前記外挿は、例えば、実際に検出される前に、今後起こり得る検出を計算又は予測することを可能にすることにより、より高速なセンサを得ることを可能にする点で有利である。これにより、前記シーン内の物体の動きを検出するために必要な検出回数が少なくなるため、消費電力を低減することもできる。
【0117】
好ましい実施形態では、ユニットは、類似又は同一の軌跡に沿って移動する点、例えば１つの物体を定義する点をグループ化可能である。例えば、処理ユニットは、前記グループ化された点に基づいて輪郭を定義することができる。これにより、例えば偽陽性検出のように、前記物体を定義していない点又は前記輪郭から外れた点をフィルタリングすることができる。
【0118】
好ましい実施形態では、前記センサは、少なくとも１つのメモリ素子をさらに有しており、前記素子は、前記検出値を記憶可能である。例えば、前記検出値は、少なくとも一時的に、前記メモリ素子に記憶され、その後、例えば、偽陽性検出値のフィルタリング、前記軌跡の計算、又は前記今後の検出値の外挿のための処理のために、前記ユニットによって読み出される。前記メモリ素子は、前記ニューラルネットワークに置き換えられてもよい。例えば、前記ニューラルネットワークは、前記処理ユニットと前記メモリ素子との両方の機能を代替可能であり、例えば、ノイズのある検出がフィルタリングされるようにデータを記憶することができる。例えば、前記ネットワークの１つのニューロンは、１つの画素センサに対応する。
【0119】
好ましい実施形態では、前記ニューラルネットワークの異なる領域、例えば異なるニューロングループは、前記ニューロンに対応する画素センサのデータを処理することができる。例えば、関心領域に沿った移動検出の軌跡を識別する。
【0120】
第５の態様において、本発明は、光センシングのための方法に関する。前記方法は、第１の時間ステップにおいて第１の検出点における第１の検出を決定するステップを有する。前記方法は、前記第１の時間ステップに連続する第２の時間ステップにおいて、第２の検出点における第２の検出を決定するステップをさらに有する。前記方法は、前記第１及び第２の検出点が前記第１及び第２の時間ステップにわたって空間的に連結（又は半連結）されている前記第１及び第２の検出を特定するステップをさらに有することを特徴とする。例えば、前記第１検出点と前記第２検出点とが同一点又はすぐ隣の点である場合である。
【0121】
好ましい実施形態では、前記方法は、前記第１及び第２の時間ステップにわたって空間的に連結されていない検出をフィルタリングするステップをさらに有する。例えば、前記第１及び第２の検出点が、同じ点でも、すぐ隣の点でもない場合である。
【0122】
好ましい実施形態では、前記方法は、前記第１及び第２の検出の軌跡を計算するステップをさらに有する。例えば、シーン内を移動するドット、例えばシーン内を移動する多数のドットによって定義されるオブジェクトによって引き起こされる、ある検出点から別の検出点への前記検出の移動を記述する軌跡である。
【0123】
好ましい実施形態では、前記方法は、前記軌跡から外れた検出をフィルタリングするステップをさらに有する。これは、例えば熱ノイズ及び環境ノイズによって引き起こされるノイズのある検出をフィルタリングする際に有利である。好ましくは、前記方法は、前記軌跡に基づいて今後の検出を外挿するステップをさらに有していてもよい。
【0124】
第５の態様（方法）の特徴は、第４の態様（センサ）において対応するように説明されてもよい。さらに、第５の態様及び第４の態様の任意の特徴は、第１の態様（センサ）及び第２の態様（システム）において対応するように記載されてもよい。例えば、第１の態様のニューラルネットワークは、第４の態様のセンサにとって特に有利である。従って、第１の態様のニューラルネットワークの全ての特徴を、第４の態様のセンサと組み合わせてもよい。
【0125】
第６の態様において、本発明は、第１の態様によるセンサ、及び／又は、第２の態様による装置、及び／又は、第３の態様による方法、及び／又は、第４の態様によるセンサ、及び／又は、第５の態様による方法を、光センシング、好ましくは効率的な光センシングに使用することに関する。
【0126】
本発明の実施形態のさらなる特徴及び利点を、図を参照して説明する。本発明は、これらの図に示され又は実施例に記載された特定の実施形態に限定されるものではなく、特許請求の範囲によってのみ限定されることに留意すべきである。
【0127】
図１は、イメージセンサ（１）の上面図である。イメージセンサ（１）は、複数の画素センサ（３）を有し、各画素センサ（３）は、単一光子検出器（４）を有する。イメージセンサ（１）は、ニューラルネットワーク（５）をさらに有し、前記ネットワーク（５）は、複数のニューロン（６）を有する。各検出器（４）は、そこに衝突する光子（１０）を受け取って、それに基づいて対応する信号を生成する。例えば、１つの光子（１０）を検出した後、各検出器（４）によって電気パルスが生成される。次に、各検出器（４）は、対応するニューロンと接続される。例えば、検出器（４’）とニューロン（６’）とが接続され、又は、検出器（４’’）とニューロン（６’’）とが接続される。検出器（例えば４’及び４’’）と対応するニューロン（例えば６’及び６’’）とは、接続が整然且つ最小限になるように、対応する位置に配置される。例えば、検出器（４’）とニューロン（６’）とは接続（１８’）によって接続され、同様に検出器（４’’）とニューロン（６’’）とは接続（１８’’）によって接続される。
【0128】
図２は、イメージセンサ（１）及びニューラルネットワーク（５）の断面図である。各検出器（４）は、対応する１つのニューロン（６）の近傍にあり、それに接続されている。例えば、検出器（４’）は、ニューロン（６’）の近傍にあり、接続（１８’）を介してニューロン（６’）に接続されており、同様に検出器（４’’）は、ニューロン（６’’）の近傍にあり、接続（１８’’）を介してニューロン（６’’）に接続されている。各検出器（４）と対応するニューロン（６）とは、互いに距離（７）だけ離れている。
【0129】
図３は、イメージセンサ（１）及びニューラルネットワーク（５）の断面図であり、画素センサ（３）の検出器（４）がニューロン（６）上に積層されている。例えば、距離（７）は、接続（２０’、２０’’）が排除されるため、ゼロ、又はゼロに非常に近い。例えば、距離（７）は、接触パッド（図示せず）の厚さに等しい。
【0130】
図４は、イメージセンサ（１）及びニューラルネットワーク（５）の上面図であり、画素センサ（３）の検出器（４）は、ニューロン（６）上に積層される。例えば、各検出器（４）は、対応するニューロン（６）上に積層される。このような積層は、アライメント誤差が最小になるように慎重に行われる。
【0131】
図５は、イメージセンサ（１）及びニューラルネットワーク（５）の断面図であり、検出器（４）とニューロン（６）とのそれぞれの接触パッド（８）が互いに積層されている。接触パッド（８）は、導電性の金属材料でできており、ニューロン及び検出器は、半導体材料（９）でできている。各検出器（４）と対応するニューロン（６）との間の距離（７）は、コンタクトパッド（８）の厚さだけであってもよい。パッドは、互いに積み重ねるのに適しており、例えば相補的な形状であってもよい。また、パッドは、ニューラルネットワーク（５）に対してイメージセンサ（１）がそれ以上移動しないように、互いに恒久的に積み重ねられていてもよい。
【0132】
図６は、ニューラルネットワーク（５）のニューロン（６）にフィードする複数の検出器（４）を示している。各検出器（４）に衝突した光子（１０）は、検出器出力（１１）となり、対応する各ニューロンに入力される。この場合、各検出器は対応するニューロン（６）を１つずつ有している。ニューラルネットワークは、入力層（１４）、中間層（１５）、及び、出力層（１６）の３つの層に分けることができる。入力層（１４）は、検出器出力（１１）を入力とするニューロン（６）を有する。中間層（１５）は、入力層（１４）への入力（１１）を処理するニューロンを有する。出力層（１６）は、ニューラルネットワーク（５）の最終出力を出力するニューロンを有する。各ニューロンは、近接するニューロンと接続されている。例えばニューロン（６）及び（６’）は、入力信号（１２）を介して接続されている。近接するニューロンの前記入力信号（１２）は、ニューロンが近接するニューロンと通信することを可能にし、例えば、偽陽性検出の数を減らし、ノイズをフィルタリングするなど、より正確な検出を達成できる。１つの層の各ニューロンは、次の層の少なくとも１つのニューロン、好ましくは次の層の２つ以上のニューロンに接続される。図６に示したニューロン数、接続数、及び層数は、単に説明のためのものであり、実際には異なっていてもよい。
【0133】
図７は、スパイキングニューラルネットワークを使用したセンサ（１）の実装を示している。例えば、前記センサ（１）の検出器（４）が、図に示すように、時刻Ｔ＝Ｔ１から、Ｔ＝Ｔ２を経て、Ｔ＝Ｔ３まで、軌跡（１７）を移動する物体又は検出パターンを検出した場合、ニューラルネットワーク（５）は、前記軌跡（１７）に基づいて、物体が存在する次の検出点を予測することができる。これにより、前記物体の検出が容易になる。これは、ニューロンが近接するニューロンから入力を得ることで、フィードバック情報として機能することにより行ってもよい。例えば、あるニューロンが（近接するニューロンを通じて）、１０ニューロン離れたニューロンが発火し、続いて９ニューロン離れた別のニューロン、さらに８ニューロン離れたニューロンが発火していることを知れば、いつ発火するかを予測することができる。ニューラルネットワークは、このような検出が起こる可能性が高いと予測することができるため、ノイズも減らすことができる。さらに、次の検出点を予測する以外に、前記軌跡により、前記物体の一貫した動きを識別することができ、これによりノイズのある検出をフィルタリングすることができる。
【0134】
図８は、前記画素センサ（３）に入射する光子の強度の符号化及び復号を示している。前記強度の符号化はＳＰＡＤを用いて行われ、復号化はニューラルネットワーク（５）を用いて行われる。互いに等間隔である観測窓（１９）を設定することにより、前記窓（１９）においてノイズ（２０）を検出する可能性は減少する一方で、衝突光子を検出する可能性は変わらない。図８には２つの例が示されている。最初の例では、図８（ａ）はＳＰＡＤへの衝突光子の列を示している。検出器（４）は、図８（ｃ）に示すパルス列を生成し、パルス間の平均時間差は、△Ｔ１であり、△Ｔ１は入射光子の強度に対応する。２番目の例では、図８（ｂ）は別の衝突光子の列を示し、検出器（４）は、図８（ｄ）に示すパルス列を生成する。パルス間の平均時間差は△Ｔ２であり、△Ｔ２は入射光子の強度に対応する。図８（ｃ，ｄ）に示すように、図８（ｂ）で検出された強度は図８（ａ）よりも低いため、△Ｔ２＞△Ｔ１である。ニューラルネットワークは、図８（ｅ，ｆ）に示すように、パルス間の前記時間差に基づいて強度レベルを再構築することができるであろう。
【0135】
図９は、ニューラルネットワーク（５）を使用した検出器出力（１１）における熱ノイズ及び環境ノイズの低減を示す。図９（ａ，ｂ）には２つの例が示されている。図９（ａ）では、検出器（４）が入射光子（１０）を検出している。検出器（４）に対応するニューロン（６）は、この検出が真か偽かを判断する。これは、前記ニューロン（６）の履歴に基づき、近接するニューロン（６’、６’’）からの入力信号（１２）に基づく。この場合、偽の検出となる。一方、図９（ｂ）は真の検出を示しており、近接するニューロン（６’、６’’）（及び、それらの検出器（４’、４’’））が、これが真の検出であることを示す指示を前記ニューロン（６）に供給し、したがって前記ニューロン（６）によってパルスが生成される。図９では、動作を簡略化しており、実際のネットワークでは、検出器（４）への各入射光子の後、検出器出力（１３）でパルスが生成されるとは限らない。実際のネットワークでは、ニューロン（例えば（６））で、一定時間、検出の閾値に達したときのみ、パルスが生成される。
【0136】
図１０は、パルス結合ニューラルネットワーク（２７）のニューロンの動作を示す。受容野区画（receptive field compartment）（２１）がニューロンへの入力信号を受け取る。これらの信号は、近接するニューロン（１２、１２’、１２’’）からの入力信号であってもよい。あるいは、これらの信号は、別の層（例えば前の層）からニューロンへの刺激入力信号（１１）であってもよいし、前記ニューロンがニューラルネットワーク（５）の入力層（１４）にあった場合、検出器からの出力信号であってもよい。受容野区画（２１）において、近接ニューロン入力信号（１２、１２’、２’’）を受信する区画は、リンキング区画（２２）と呼ばれ、近接するニューロンと刺激入力信号（１１）との両方からの入力信号を受信する区画は、フィーディング区画（２３）と呼ばれる。リンキング区画（２２）において近隣ニューロン入力信号（１２、１２’、１２’’）は合計され、同様にフィーディング区画（２３）において近接ニューロン入力信号（１２、１２’、１２’’）と刺激入力信号（１１）とは合計される。リンキング区画（２４）とフィーディング区画（２５）との出力信号は、乗算器（２８）を用いて乗算され、その後、前記乗算器（２８）の出力（２９）は、閾値区画（２６）にフィードされる。リンキング区画（２２）、フィーディング区画（２３）、及び、閾値区画（２６）のそれぞれは、フィードバック機構（図示せず）を有し、各区画は、その前の状態を保持するが、減衰係数を有する。したがって、各区画は、前の状態の記憶を有しており、それは時間とともに減衰する。閾値区画への入力が閾値を超えた場合、ニューロンが発火する、すなわち閾値区画（１３）の出力が生成される。しかしながら、閾値は、フィードバック機構により、時間経過とともに変化する。ニューロンが発火した後、閾値は大幅に増加し、その後、ニューロンが再び発火するまで、時間経過とともに減衰する。
【0137】
図１１は、（ａ，ｂ，ｃ）に画素センサの配列からの３つの連続した入力信号を示していて、第１の位置（３０）、第２の位置（３１）、及び、第３の位置（３２）の間を移動する物体又はパターンを示している。これは、前記ドットが１つの時間ステップで１ピクセル以上移動しないと仮定している。図１１の（ａ，ｂ，ｃ）は、熱ノイズの環境を考慮しない理想的な場合の検出である。図１１の（ｄ，ｅ，ｆ）は、例えば（３３）のような環境ノイズ及び熱ノイズを考慮した、画素センサの配列からの現実的な３つの連続入力信号である。図１１は、（ｇ，ｈ，ｉ）に、各入力信号の処理手段、好ましくはニューラルネットワークによるフィルタリング出力を示す。処理手段、好ましくはニューラルネットワークは、前記物体の動きの一貫性、例えば一定方向に一貫した方法で移動する物体をチェックすることにより、（３３）のような環境ノイズ及び熱ノイズをフィルタリング可能である。さらに、オプションとして、ニューラルネットワークは、前記一貫性のある動きに基づいて、後の時間インスタンスにおける前記物体の動きを予測することができる。
【0138】
図１２（ａ）は、複数の画素センサ（３５）を有するイメージセンサ（３４）の断面図であり、各画素センサ（３５）は、光検出器（３６）を有する。センサ（３４）は、少なくとも１つのメモリ素子（３７）をさらに有する。各光検出器（３６）は、異なる時間インスタンスにおける前記各光検出器（３６）の検出出力（３９’、３９’’）を記憶するために、メモリ素子（３７）に接続されている。前記センサ（３４）は、処理ユニット（３８）をさらに有する。前記処理ユニット（３８）は、前記メモリ素子（３７）に記憶されたデータを取り出すことができる。このユニット（３８）は、上述したように、外挿、検出の軌跡の計算…等のような他の演算を実行することも可能である。
【0139】
図１２（ｂ）は、前記センサ（３４）の上面図であり、前記画素センサ（３５）は、例えば複数の画素センサ行及び列を有するマトリクス構成で配置されている。各検出器（３６）は、そこに衝突する光子（４２）を検出し、それに基づいて対応する信号を生成する。例えば、１つの光子（４２）を検出した後、各検出器（３６）によって電気パルスが生成される。各画素センサ（３５’）は、例えば（３５’’）のような複数のすぐ隣の画素センサと、例えば（３５’’’）のようなすぐ隣でない画素センサとを有する。
【0140】
図１３は、画素センサ（３５）及びその検出（３９）の行列を示し、１つの画素センサ（３５’）において、２つの検出（３９’、３９’’）が２つの連続する時間ステップ（Ｔ１、Ｔ２）で発生する。前記検出（３９’、３９’’）は、同一の画素センサ（３５’）において、２つの連続する時間ステップ（Ｔ１、Ｔ２）内に発生したので、一貫した検出であると考えられる。したがって、（４１）とは異なり、ノイズのある検出とはみなされない。
【0141】
図１４は、画素センサ（３５）及びその検出（３９）の行列を示し、２つの検出（３９’、３９’’）は、２つの連続する時間ステップ（Ｔ１、Ｔ２）において、２つのすぐ隣の画素センサ（３５’、３５’’）で発生する。前記検出は、２つのすぐ隣の画素センサ（３５’、３５’’）において、２つの連続する時間ステップ（Ｔ１、Ｔ２）内に発生したので、（４１）のノイズのある（すなわち偽陽性）検出とは異なり、一貫した検出であると考えられる。前記２つの検出（３９’、３９’’）に基づいて、検出の軌跡（４０）が前記ユニット（３８）によって計算されてもよい。前記軌跡（４０）に基づいて、ノイズのある検出（４１）をフィルタリングすることができる。さらに、前記軌跡（４０）に基づいて、今後の時間インスタンス（Ｔ３）における今後の検出（３９’’’）を外挿してもよい。これにより、発生前の検出を予測することができる。例えば、移動する物体の軌跡等である。センサ（３４）の前を移動する物体は、この場合、線状の軌跡（４０）を移動する単純な点である。しかし現実には、次の図に示すように、前記物体はより複雑である。
【0142】
図１５は、画素センサ（３５）及びその検出（３９）の行列を示し、２つの検出（３９’、３９’’）は、２つの連続する時間ステップ（Ｔ１、Ｔ２）において、２つのすぐ隣でない画素センサ（３５’、３５’’’）で発生する。設計上の選択に基づいて、例えば、各画素センサのサンプリングレートに基づいて、１つの画素センサをスキップする検出は一貫性があると考えられる。例えば、物体の動きが前記画素センサのサンプリングレートよりも速い場合などである。これは図３の動作の代替である。前記２つの検出（３９’、３９’’）に基づいて、ノイズのある検出（４１）をフィルタリングし、今後の検出（３９’’’）を外挿するように、軌跡（４０）を計算することができる。
【0143】
図１６は、第１及び第２の連続する時間インスタンス（Ｔ１、Ｔ２）の間でシーン（４４）内を移動する三角形状の物体（４３）の例を示している。簡単のため、物体（４３）は３つの検出点（４５’、４５’’、４５’’’）によって定義され、前記３つの検出点（４５’、４５’’、４５’’’）の各々は、第１及び第２の時間インスタンス（Ｔ１、Ｔ２）の間に１ピクセルだけ移動したと仮定する。これにより、（４６’、４６’’、４６’’’）のような、前記三角形の周囲の他のノイズのある検出をフィルタリングすることができる。本発明を具体化する方法及び装置の目的を達成するための他の配置は、当業者にとって明らかであろう。
【0144】
本明細書の記載は、本発明の特定の実施形態の詳細を説明する。しかしながら、上記の記述が文章でどれほど詳細に述べられているとしても、本発明は多くの方法で適用され得ることは明らかであろう。本発明の特定の特性又は態様を説明する際の特定の用語が使用されていることは、本明細書における用語が、この用語が結び付けられた本発明の特定の特性又は態様に限定されるように再定義されることを意味するものとして解釈されるべきではないことに留意されたい。
【符号の説明】
【0145】
１ イメージセンサ
３ 画素センサ
４ 単一光子検出器
５ ニューラルネットワーク
６ ニューロン
７ 距離
８ 接触パッド
９ シリコン
１０ 入射光子
１１ 検出器出力又はニューロン入力
１２ 近接ニューロンの入力信号
１３ ニューロン出力
１４ 入力層
１５ 中間層
１６ 出力層
１７ 移動物体の軌跡
１８ 検出器とニューロンとの接続
１９ 観察窓
２０ ノイズ
２１ 受容野
２２ リンキング区画
２３ フィーディング区画
２４ リンキング区画の出力
２５ フィーディング区画の出力
２６ 閾値区画
２７ パルス結合ニューラルネットワークのニューロン
２８ 乗算器
２９ 乗算器の出力
３０ 第１の位置
３１ 第２の位置
３２ 第３の位置
３３ ノイズ
Ｔ１ 第１の時間ステップ
Ｔ２ 第２の時間ステップ
Ｔ３ 今後の時間ステップ
３４ イメージセンサ
３５ 複数の画素センサ
３５’ 画素センサ
３５’’ すぐ隣の画素センサ
３５’’’ すぐ隣でない画素センサ
３６ 光検出器
３７ メモリ素子
３８ 処理ユニット
３９ 検出
３９’ 第１の検出
３９’’ 第２の検出
３９’’’ 今後の検出
４０ 軌跡
４１ ノイズのある検出
４２ 光子
４３ 三角形の物体
４４ シーン
４５’、４５’’、４５’’’ ３つの検出点
４６’、４６’’、４６’’’ ３つのノイズのある検出点
３ 画素センサ
４ 単一光子検出器
５ ニューラルネットワーク
６ ニューロン
７ 距離
８ 接触パッド
９ シリコン
１０ 入射光子
１１ 検出器出力又はニューロン入力
１２ 近接ニューロンの入力信号
１３ ニューロン出力
１４ 入力層
１５ 中間層
１６ 出力層
１７ 移動物体の軌跡
１８ 検出器とニューロンとの接続
１９ 観察窓
２０ ノイズ
２１ 受容野
２２ リンキング区画
２３ フィーディング区画
２４ リンキング区画の出力
２５ フィーディング区画の出力
２６ 閾値区画
２７ パルス結合ニューラルネットワークのニューロン
２８ 乗算器
２９ 乗算器の出力
３０ 第１の位置
３１ 第２の位置
３２ 第３の位置
３３ ノイズ
Ｔ１ 第１の時間ステップ
Ｔ２ 第２の時間ステップ
Ｔ３ 今後の時間ステップ
３４ イメージセンサ
３５ 複数の画素センサ
３５’ 画素センサ
３５’’ すぐ隣の画素センサ
３５’’’ すぐ隣でない画素センサ
３６ 光検出器
３７ メモリ素子
３８ 処理ユニット
３９ 検出
３９’ 第１の検出
３９’’ 第２の検出
３９’’’ 今後の検出
４０ 軌跡
４１ ノイズのある検出
４２ 光子
４３ 三角形の物体
４４ シーン
４５’、４５’’、４５’’’ ３つの検出点
４６’、４６’’、４６’’’ ３つのノイズのある検出点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9(a)】
【図9(b)】
【図10】
【図11(a)】
【図11(b)】
【図11(c)】
【図11(d)】
【図11(e)】
【図11(f)】
【図11(g)】
【図11(h)】
【図11(i)】
【図12(a)】
【図12(b)】
【図13】
【図14】
【図15】
【図16】
【国際調査報告】