(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024132860
(43)【公開日】2024-10-01
(54)【発明の名称】深度センサおよび深度センサの動作方法
(51)【国際特許分類】
H04N 25/707 20230101AFI20240920BHJP
H04N 25/47 20230101ALI20240920BHJP
G01B 11/25 20060101ALI20240920BHJP
【ＦＩ】
H04N25/707
H04N25/47
G01B11/25 H
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023213987
(22)【出願日】2023-12-19
(11)【特許番号】
(45)【特許公報発行日】2024-07-09
(31)【優先権主張番号】23162615.1
(32)【優先日】2023-03-17
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】サミュエル ブリナー
(72)【発明者】
【氏名】アストリッド ペティジャン
【テーマコード（参考）】
2F065
5C024
【Ｆターム（参考）】
2F065AA53
2F065BB05
2F065FF01
2F065FF09
2F065HH06
2F065HH13
2F065JJ03
2F065JJ08
2F065JJ26
2F065MM16
2F065PP23
5C024AX02
5C024CY17
5C024EX13
5C024GX03
5C024GX16
5C024GY31
5C024HX29
5C024HX51
5C024JX09
5C024JX46
(57)【要約】 （修正有）
【課題】イベントベースのセンサに基づく深度センシングを改善するシーンのデプスマップを生成するセンサデバイスを提供する。
【解決手段】シーンのデプスマップを生成するセンサデバイス１０００は、シーン上に一連の光パッチを投影するプロジェクタユニット１０１０と、光強度が所定の量以上変化したときのイベントの発生を示す複数のイベント検出画素１０２５を備えるレシーバユニット１０２０と、シーンのデプスマップを生成する制御ユニット１０３０と、を具備し、第１の方向ｘ１及び第２の方向ｘ２における光パッチのシフト中のイベント検出画素の立体角と、プロジェクタユニットがイベントが発生した時点で光パッチと、を投影した投影角度を平均化し、イベント発生毎に決定された立体角および平均化された投影角度に基づきシーンのデプスマップを決定する。
【選択図】図２
【解決手段】シーンのデプスマップを生成するセンサデバイス１０００は、シーン上に一連の光パッチを投影するプロジェクタユニット１０１０と、光強度が所定の量以上変化したときのイベントの発生を示す複数のイベント検出画素１０２５を備えるレシーバユニット１０２０と、シーンのデプスマップを生成する制御ユニット１０３０と、を具備し、第１の方向ｘ１及び第２の方向ｘ２における光パッチのシフト中のイベント検出画素の立体角と、プロジェクタユニットがイベントが発生した時点で光パッチと、を投影した投影角度を平均化し、イベント発生毎に決定された立体角および平均化された投影角度に基づきシーンのデプスマップを決定する。
【選択図】図２
【特許請求の範囲】
【請求項1】
シーンのデプスマップを生成するセンサデバイスであって、
前記シーン上に複数の時間的な一連の光パッチを投影するように構成されたプロジェクタユニットと、
前記プロジェクタユニットから所定の距離に配置され、前記シーンから前記光パッチの反射を観察するように構成されたレシーバユニットと、
投影された前記光パッチを、観察された前記反射と時間的に相関させ、この相関および前記所定の距離を用いて前記シーンの前記デプスマップを生成するように構成された制御ユニットと
を具備し、
1つの一連の連続する光パッチが、第1の方向または前記第1の方向と反対の第2の方向のいずれかに沿ってシフトされ、
前記レシーバユニットは、所定の時間内に、それぞれのイベント検出画素によって測定された光強度が所定の量以上変化したときのイベントの発生を示す複数のイベント検出画素を備え、
イベント検出画素がイベントの発生を示すのに要する時間は、光強度の変化の前の光強度の絶対的な大きさに依存し、
各イベント検出画素は、所定の立体角からのみ光を受け取るように構成され、隣接するイベント検出画素によって観測される立体角は隣接しており、すべてのイベント検出画素の観測された立体角は、前記レシーバユニットの視野にまたがっており、
前記制御ユニットは、前記第1の方向における光パッチのシフト中、および、前記第2の方向における光パッチのシフト中、それぞれの前記イベント検出画素の所定の立体角と、前記プロジェクタユニットがそのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するように構成され、
前記制御ユニットは、各所与の一対のイベント発生毎に、前記第1の方向における光パッチの前記シフトおよび前記第2の方向における光パッチの前記シフトに対してそれぞれ決定された投影角度を平均化し、イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、前記シーンのデプスマップを決定するように構成されている
センサデバイス。
前記シーン上に複数の時間的な一連の光パッチを投影するように構成されたプロジェクタユニットと、
前記プロジェクタユニットから所定の距離に配置され、前記シーンから前記光パッチの反射を観察するように構成されたレシーバユニットと、
投影された前記光パッチを、観察された前記反射と時間的に相関させ、この相関および前記所定の距離を用いて前記シーンの前記デプスマップを生成するように構成された制御ユニットと
を具備し、
1つの一連の連続する光パッチが、第1の方向または前記第1の方向と反対の第2の方向のいずれかに沿ってシフトされ、
前記レシーバユニットは、所定の時間内に、それぞれのイベント検出画素によって測定された光強度が所定の量以上変化したときのイベントの発生を示す複数のイベント検出画素を備え、
イベント検出画素がイベントの発生を示すのに要する時間は、光強度の変化の前の光強度の絶対的な大きさに依存し、
各イベント検出画素は、所定の立体角からのみ光を受け取るように構成され、隣接するイベント検出画素によって観測される立体角は隣接しており、すべてのイベント検出画素の観測された立体角は、前記レシーバユニットの視野にまたがっており、
前記制御ユニットは、前記第1の方向における光パッチのシフト中、および、前記第2の方向における光パッチのシフト中、それぞれの前記イベント検出画素の所定の立体角と、前記プロジェクタユニットがそのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するように構成され、
前記制御ユニットは、各所与の一対のイベント発生毎に、前記第1の方向における光パッチの前記シフトおよび前記第2の方向における光パッチの前記シフトに対してそれぞれ決定された投影角度を平均化し、イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、前記シーンのデプスマップを決定するように構成されている
センサデバイス。
【請求項2】
前記時間的な一連の光パッチは、時間的な一連の光線である
請求項１に記載のセンサデバイス。
請求項１に記載のセンサデバイス。
【請求項3】
前記光線は、所定の角度の下で前記第1の方向と交差する直線であるか、または、前記光線は曲線である
請求項２に記載のセンサデバイス。
請求項２に記載のセンサデバイス。
【請求項4】
前記制御ユニットは、前記第1の方向における光パッチのシフトおよび前記第2の方向における光パッチのシフトに対してそれぞれ決定された前記投射角度を差し引くことによって、前記光強度の変化前の光強度の前記絶対的な大きさを、それぞれの一対のイベント発生毎に決定するように構成されている
請求項１に記載のセンサデバイス。
請求項１に記載のセンサデバイス。
【請求項5】
複数の前記時間的な一連の光パッチは異なる色の一連の光パッチを含み、
前記第1の方向にシフトされる1つの色のそれぞれの一連の光パッチに対して、前記第2の方向にシフトされる同一色の一連の光パッチが存在する
請求項１に記載のセンサデバイス。
前記第1の方向にシフトされる1つの色のそれぞれの一連の光パッチに対して、前記第2の方向にシフトされる同一色の一連の光パッチが存在する
請求項１に記載のセンサデバイス。
【請求項6】
前記制御ユニットは、複数の前記時間的な一連の光パッチに用いられる前記異なる色の各々に対して、光強度の前記絶対的な大きさを決定するように構成されている
請求項５に記載のセンサデバイス。
請求項５に記載のセンサデバイス。
【請求項7】
前記レシーバユニットは、前記イベント検出画素に対して異なる色のカラーフィルタを提供するカラーフィルタアレイを備え、かつ、
前記制御ユニットは、前記カラーフィルタで使用される前記異なる色の各々に対して、光強度の前記絶対的な大きさを決定するように構成されている
請求項１に記載のセンサデバイス。
前記制御ユニットは、前記カラーフィルタで使用される前記異なる色の各々に対して、光強度の前記絶対的な大きさを決定するように構成されている
請求項１に記載のセンサデバイス。
【請求項8】
請求項１に記載のセンサデバイスの動作方法であって、
前記シーン上に複数の時間的な一連の光パッチを投影するステップと、
前記シーンから前記光パッチの反射を観察するステップと、
投影された前記光パッチを、観察された前記反射と時間的に相関させ、この相関および前記所定の距離を用いて前記シーンの前記デプスマップを生成するステップと、
前記第1の方向における光パッチのシフト中、および、前記第2の方向における光パッチのシフト中、それぞれの前記イベント検出画素の所定の立体角と、そのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するステップと、
各所与の一対のイベント発生毎に、前記第1の方向における光パッチの前記シフトおよび前記第2の方向における光パッチの前記シフトに対してそれぞれ決定された投影角度を平均化するステップと、
イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、前記シーンのデプスマップを決定するステップと
を含み、
1つの一連の連続する光パッチが、第1の方向または前記第1の方向と反対の第2の方向のいずれかに沿ってシフトされる
方法。
前記シーン上に複数の時間的な一連の光パッチを投影するステップと、
前記シーンから前記光パッチの反射を観察するステップと、
投影された前記光パッチを、観察された前記反射と時間的に相関させ、この相関および前記所定の距離を用いて前記シーンの前記デプスマップを生成するステップと、
前記第1の方向における光パッチのシフト中、および、前記第2の方向における光パッチのシフト中、それぞれの前記イベント検出画素の所定の立体角と、そのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するステップと、
各所与の一対のイベント発生毎に、前記第1の方向における光パッチの前記シフトおよび前記第2の方向における光パッチの前記シフトに対してそれぞれ決定された投影角度を平均化するステップと、
イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、前記シーンのデプスマップを決定するステップと
を含み、
1つの一連の連続する光パッチが、第1の方向または前記第1の方向と反対の第2の方向のいずれかに沿ってシフトされる
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、センサデバイスおよびセンサデバイスを動作させる方法に関する。特に、本開示は、シーンの深度マップの生成に関する。
【背景技術】
【0002】
近年、光を送受信して距離を自動計測する技術が注目されている。そのような技術は、構造化された光の使用、すなわち、例えば、ライン、バーまたはチェッカー盤パターン、またはアクティブなステレオ深度センシングを生成するような様々な立体角において、静的または時間的に変化するスパースな光パターンを有するオブジェクトの照明を含む。光源とカメラの既知の配向度に対して、光源の既知の位置、カメラ、空間内の出射光の配向度、及びカメラ上の光信号に従う位置に基づいて、三角測量からオブジェクトの形状および距離を決定することが可能である。
【0003】
このような構造化光システムをさらに改善することが望ましい。
【発明の概要】
【0004】
奥行き推定のための従来のシステムでは、所定の立体角で高強度を提供する一連の照明パターンが物体に送られ、物体から反射された光の分布がカメラのような受信機によって測定される。そして、作業は、既知の発光立体角、すなわち、レシーバ上の最大光受信の立体角を見つけることである。照明パターンの強度変化の密度が制限されていることと、ピクセル解像度が制限されていることから、最大受光量の立体角の判定のために、予想される強度分布の測定強度値への適合が行われなければならない。従来のシステムでは、これは、全ての異なる照明に対してカメラの全ての画素で得られる全ての強度値の記憶を必要とする。
すべての強度値が保存された後にのみ、デプスマップを生成できる。したがって、従来のシステムでは、メモリ空間は大きくなければならない。さらに、強度値を完全に保存すると、システムのレイテンシが向上する。また、利用可能なピクセル解像度は、リアルタイム挙動を有するアプリケーションが想定される場合、読み出し速度によって制限される。何故ならば、あまりに多くのピクセルはあまりに長い処理時間を導くからである。
すべての強度値が保存された後にのみ、デプスマップを生成できる。したがって、従来のシステムでは、メモリ空間は大きくなければならない。さらに、強度値を完全に保存すると、システムのレイテンシが向上する。また、利用可能なピクセル解像度は、リアルタイム挙動を有するアプリケーションが想定される場合、読み出し速度によって制限される。何故ならば、あまりに多くのピクセルはあまりに長い処理時間を導くからである。
【0005】
従来の深度推定技術のこれらの欠点は、イベントベースのセンサ、すなわち受信信号の変化のみに敏感なセンサを使用することによって緩和され得る。本開示は、イベントベースのセンサに基づく深度センシングを改善することを目的としている。
【0006】
この目的のために、シーンのデプスマップを生成するセンサデバイスが提供され、このセンサデバイスは、上記シーン上に複数の時間的な一連の光パッチを投影するように構成されたプロジェクタユニットと、上記プロジェクタユニットから所定の距離に配置され、上記シーンから上記光パッチの反射を観察するように構成されたレシーバユニットと、投影された上記光パッチを、観察された上記反射と時間的に相関させ、この相関および上記所定の距離を用いて上記シーンの上記デプスマップを生成するように構成された制御ユニットと、を具備し、1つの一連の連続する光パッチが、第1の方向または上記第1の方向と反対の第2の方向のいずれかに沿ってシフトされる。
ここで、上記レシーバユニットは、所定の時間内に、それぞれのイベント検出画素によって測定された光強度が所定の量以上変化したときのイベントの発生を示す複数のイベント検出画素を備える。また、イベント検出画素がイベントの発生を示すのに要する時間は、光強度の変化の前の光強度の絶対的な大きさに依存し、各イベント検出画素は、所定の立体角からのみ光を受け取るように構成され、隣接するイベント検出画素によって観測される立体角は隣接しており、すべてのイベント検出画素の観測された立体角は、上記レシーバユニットの視野にまたがっている。
上記制御ユニットは、上記第1の方向における光パッチのシフト中、および、上記第2の方向における光パッチのシフト中、それぞれの上記イベント検出画素の所定の立体角と、上記プロジェクタユニットがそのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するように構成され、上記制御ユニットは、各所与の一対のイベント発生毎に、上記第1の方向における光パッチの上記シフトおよび上記第2の方向における光パッチの上記シフトに対してそれぞれ決定された投影角度を平均化し、イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、上記シーンのデプスマップを決定するように構成されている。
ここで、上記レシーバユニットは、所定の時間内に、それぞれのイベント検出画素によって測定された光強度が所定の量以上変化したときのイベントの発生を示す複数のイベント検出画素を備える。また、イベント検出画素がイベントの発生を示すのに要する時間は、光強度の変化の前の光強度の絶対的な大きさに依存し、各イベント検出画素は、所定の立体角からのみ光を受け取るように構成され、隣接するイベント検出画素によって観測される立体角は隣接しており、すべてのイベント検出画素の観測された立体角は、上記レシーバユニットの視野にまたがっている。
上記制御ユニットは、上記第1の方向における光パッチのシフト中、および、上記第2の方向における光パッチのシフト中、それぞれの上記イベント検出画素の所定の立体角と、上記プロジェクタユニットがそのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するように構成され、上記制御ユニットは、各所与の一対のイベント発生毎に、上記第1の方向における光パッチの上記シフトおよび上記第2の方向における光パッチの上記シフトに対してそれぞれ決定された投影角度を平均化し、イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、上記シーンのデプスマップを決定するように構成されている。
【0007】
さらに、上述したようなセンサデバイスを動作させる方法は、上記シーン上に複数の時間的な一連の光パッチを投影するステップと、上記シーンから上記光パッチの反射を観察するステップと、投影された上記光パッチを、観察された上記反射と時間的に相関させ、この相関および上記所定の距離を用いて上記シーンの上記デプスマップを生成するステップと、上記第1の方向における光パッチのシフト中、および、上記第2の方向における光パッチのシフト中、それぞれの上記イベント検出画素の所定の立体角と、そのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するステップと、各所与の一対のイベント発生毎に、上記第1の方向における光パッチの上記シフトおよび上記第2の方向における光パッチの上記シフトに対してそれぞれ決定された投影角度を平均化するステップと、イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、上記シーンのデプスマップを決定するステップとを含み、
1つの一連の連続する光パッチが、第1の方向または上記第1の方向と反対の第2の方向のいずれかに沿ってシフトされる。
1つの一連の連続する光パッチが、第1の方向または上記第1の方向と反対の第2の方向のいずれかに沿ってシフトされる。
【0008】
光パッチ掃引の異なる方向に対して検出された投影角度を平均化することにより、シーンの輝度差によって生じるイベント検出画素のレイテンシ差による負の影響を抑制することができる。
【図面の簡単な説明】
【0009】
【図1A】画素アレイを含むソリッドステート撮像装置のイベント検出回路の簡略ブロック図である。
【図2】センサデバイスを模式的に示す。
【図3】別のセンサデバイスを概略的に示す。
【図4】イベント検出ピクセル待ち時間の明るさへの依存性を概略的に示す。
【図5】A～Cは、センサデバイスの動作原理を模式的に示す。
【図6】センサデバイスの動作原理を模式的に示す。
【図7】センサデバイスの動作原理を模式的に示す。
【図8】異なる色を有する光パッチの生成を模式的に示す。
【図9】センサデバイスに使用されるカラーフィルタアレイを概略的に示す。
【図10】AおよびBは、深度センサデバイスを備えるカメラの異なる例示的用途を図式的に示す。
【図11】深度センサデバイスを含むヘッドマウントディスプレイを概略的に示す。
【図12】深度センサデバイスを備える工業生産装置を概略的に示す。
【図13】センサデバイスを動作させる方法の概略的なプロセスフローを示す。
【図14】本開示の一実施形態に係る積層構造を有するソリッドステート撮像装置の簡略化された斜視図である。
【図15】本開示に係る技術を適用し得る多層ソリッドステート撮像装置の構成例の簡略図を示す。
【図16】車両制御システムの概略構成の一例を示すブロック図である。
【発明を実施するための形態】
【0010】
【0011】
図1Aは、イベントベースの変化検出を採用するソリッドステート撮像装置100のブロック図である。ソリッドステート撮像装置100は、1つ以上の撮像画素111を有する画素アレイ110を有し、ここで、各画素111は、光電変換素子PDを含み、画素アレイ110は、直線状または蛇行状に配列された全ての画素の光電変換素子PDを有する1次元画素アレイ(ラインセンサ)であってもよい。特に、画素アレイ110は、二次元アレイであり得、ここで、画素111の光電変換素子PDは、直線または蛇行した行に沿って、および、直線または蛇行した線に沿って配列され得る。
【0012】
図は、画素111の二次元アレイを示し、ここで、画素111は、直線行に沿って、および該行に直交して走る直線列に沿って配列されている。各画素111は、入ってくる光を、入ってくる光の強度を表す画像信号と、光の強度の変化を示すイベント信号（例えば、少なくとも上側閾値量(正の極性)だけの増加、および/または、少なくとも下側閾値量(負の極性)だけの低下）とに変換する。必要に応じて、強度およびイベント検出に関する各画素111の機能を分割し、同じ立体角を観察する異なるピクセルがそれぞれの機能を実装することができる。これらの異なる画素は、サブピクセルであってもよく、それらが回路の一部を共有するように実装することができる。
また、異なる画素は、異なるイメージセンサーの一部であってもよい。本開示に関し、それが画像信号およびイベント信号を発生することができるピクセルに言及される場合はいつでも、これは、上述のようにこれらの機能を実行する別々にピクセルの組み合わせも含むものと理解されるべきである。好ましくは、本開示では、画素111はイベント信号を生成することしかできない。
また、異なる画素は、異なるイメージセンサーの一部であってもよい。本開示に関し、それが画像信号およびイベント信号を発生することができるピクセルに言及される場合はいつでも、これは、上述のようにこれらの機能を実行する別々にピクセルの組み合わせも含むものと理解されるべきである。好ましくは、本開示では、画素111はイベント信号を生成することしかできない。
【0013】
コントローラ120は、画素アレイ110におけるプロセスの流量制御を実施する。例えば、制御部120は、画素アレイ110内の個々の画素111に対して閾値を決定して供給する閾値生成回路130を制御してもよい。読み出し回路140は、個々の画素111をアドレス指定するための制御信号を提供し、イベントを示すそのような画素111の位置に関する情報を出力する。ソリッドステート撮像装置100はイベントに基づく変化検出を採用しているため、読み出し回路140は、単位時間当たりに可変量のデータを出力することができる。
【0014】
図1Bは、それらのイベント検出能力に関する限り、図1Aにおける撮像画素111の例示的詳細を示す。もちろん、イベントの検出を可能にする他の任意の実装を採用することができる。各画素111は、感光体モジュールPRを含み、画素バックエンド300に割り当てられ、ここで、各完全画素バックエンド300は、1つの単一感光体モジュールPRに割り当てられてもよい。あるいは、画素バックエンド300またはその一部は、2つ以上の感光体モジュールPRに割り当てられてもよく、ここで、画素バックエンド300の共有部分は、多重化された方法で、割り当てられた感光体モジュールPRに順次接続されてもよい。
【0015】
感光体モジュールPRは、光電変換素子PD、例えばフォトダイオードまたは他のタイプの光センサを含む。この光電変換素子PDは、光電変換素子PDを介して、衝突光9を光電流Iphotoに変換するものであり、この光電流Iphotoの量は、衝突光9の光強度の関数である。
【0016】
感光体回路PRCは、光電流Iphotoを感光体信号Vprに変換する。感光体信号Vprの電圧は、光電流Iphotoの関数である。
【0017】
メモリキャパシタ310は電荷を蓄積し、量が過去の感光体信号Vprに依存するメモリ電圧を保持する。特に、メモリコンデンサ310は、メモリコンデンサ310の第1電極が、感光体信号Vpr、ひいては光電変換素子PDで受けた光に応答する電荷を運ぶように、感光体信号Vprを受け取る。メモリコンデンサC1の第2電極は、コンパレータ回路340の比較ノード(反転入力)に接続される。したがって、コンパレータノードの電圧Vdiffは、感光体信号Vprの変化に応じて変化する。
【0018】
コンパレータ回路340は、電流感光体信号Vprと過去の感光体信号との差を閾値と比較する。コンパレータ回路340は、各画素バックエンド300内にあるか、または画素のサブセット(例えば、列)間で共有されることが可能である。一実施形態によると、各画素111は、コンパレータ回路340を含むピクセルバックエンド300を含み、その結果、コンパレータ回路340は撮像画素111と一体化され、各撮像画素111は、専用コンパレータ回路340を有する。
【0019】
メモリ素子350は、コントローラ120からのサンプル信号に応答してコンパレータ出力を格納する。メモリ素子350は、サンプリング回路(例えば、スイッチおよび、寄生すなわち明示的コンデンサ)および/またはデジタルメモリ回路(例えば、ラッチまたはフリップフロップ)を含むことができる。メモリ素子350は、サンプリング回路であってもよい。メモリ素子350は、1つ、2つ以上のバイナリビットを格納するように構成してもよい。
【0020】
リセット回路380の出力信号は、コンパレータ回路340の反転入力を所定の電位に設定することができる。リセット回路380の出力信号は、メモリ素子350の内容に応答して、かつ/またはコントローラ120から受け取られたグローバルリセット信号に応答して制御され得る。
【0021】
ソリッドステート撮像装置100は、入射する放射線9の光強度の変化が、感光体信号Vprの変化と並進して次のように動作する。コントローラ120によって指定された時点で、コンパレータ回路340は、反転入力(比較ノード)におけるVdiffを、その非反転入力上に印加された閾値Vbと比較する。同時に、コントローラ120は、メモリ素子350を操作して、コンパレータ出力信号Vcompを格納する。メモリ素子350は、図1Aに示されている画素回路111または読み出し回路140のいずれかの中に位置することができる。
【0022】
記憶されたコンパレータ出力信号の状態が光強度の変化を示すとグローバルリセット信号GlobalReset (コントローラ120によって制御される)がアクティブであると、条件付きリセット回路380は、Vdiffを既知のレベルにリセットするリセット出力信号を出力する。
【0023】
メモリ素子350は、閾値を超えて画素111によって検出された光強度の変化を示す情報を含んでもよい。
【0024】
ソリッドステート撮像装置120は、光強度の変化が検出されたこれらの画素111のアドレス(画素111のアドレスは、その行および列番号に対応する)を出力してもよい。検出された光の強度は、特定の画素で変化する。これをイベントと呼ぶ。より具体的には、「イベント」という用語は、画素の光強度を表し、その関数である光レセプタ信号が、閾値生成回路130を介してコントローラによって適用される閾値以上の量だけ変化したことを意味する。イベントを送信するために、光強度の変化が正か負かを示すデータとともに、対応する画素111のアドレスが送信される(オプションとして)。光強度の変化が正か負かを示すデータは、単一ビットを含むことができる。
【0025】
現在のインスタンスと以前のインスタンスとの間の光強度変化を検出するために、各画素111は、以前のインスタンスにおける光強度の表現を時間内に格納する。
【0026】
より具体的には、各画素111は、当該画素111に登録された最後のイベント時の感光体信号と、この画素111における電流感光体信号との差分を表す電圧Vdiffを格納する。
【0027】
イベントを検出するために、コンパレータノードにおけるVdiffは、最初の閾値と比較されて、光強度の増加(ONイベント)を検出することができ、コンパレータ出力は、(明示的すなわち寄生)コンデンサ上でサンプリングされるか、または、フリップフロップ内に格納される。次に、コンパレータノードにおけるVdiffを第2の閾値と比較して、光強度の減少(OFFイベント)を検出し、コンパレータ出力を(明示的すなわち寄生)コンデンサ上でサンプリングするか、または、フリップフロップに格納する。
【0028】
グローバルリセット信号は、すべての画素111に送られ、各画素111において、このグローバルリセット信号は、サンプリングされたコンパレータ出力と論理積をとって、イベントが検出された画素のみをリセットする。次に、サンプリングされたコンパレータ出力電圧が読み出され、対応するピクセルアドレスがデータ受信デバイスに送信される。イベント検出の時間的精度はマイクロ秒の範囲であり得る。
【0029】
図1Cに、アクティブ画素センサAPSの形成で強度画像信号の読出しに用いられるイメージセンサアセンブリ10を含むソリッドステート撮像装置100の構成例を示す。ここで、図1Cは純粋に例示である。画像信号の読出しは、任意の他の公知の方法で実施することもできる。上述のように、イメージセンサアセンブリ10は、同じ画素111を使用することができ、または、これらの画素111を、それぞれの同じ立体角を観察する追加の画素で補うことができる。次の説明では、同じ画素アレイ110の使用例のケースが選択される。
【0030】
イメージセンサアセンブリ10は、画素アレイ110、アドレスデコーダ12、画素タイミング駆動部13、ADC (アナログ-デジタル変換器)14、およびセンサコントローラ15を含む。
【0031】
画素アレイ110は、行および列にマトリクス状に配列された複数の画素回路11Pを含む。各画素回路11Pは、感光体と、感光体が出力する信号を制御するFET(電界効果トランジスタ)とを有している。
【0032】
アドレスデコーダ12および画素タイミング駆動部13は、画素アレイ110内に配置された各画素回路11Pの駆動を制御する。すなわち、アドレスデコーダ12は、センサコントローラ15から供給されるアドレス、ラッチ信号等に応じて、画素タイミング駆動部13に駆動される画素回路11P等を指定するための制御信号を供給する。画素タイミング駆動部13は、センサコントローラ15から供給される駆動タイミング信号およびアドレスデコーダ12から供給される制御信号に従って画素回路11PのFETを駆動する。画素回路11Pの電気信号(画素出力信号、画像信号)は、垂直信号線VSLを介してADC 14に供給され、各ADC 14は、垂直信号線VSLの1つに接続され、各垂直信号線VSLは、画素アレイ部11の1つの列の全ての画素回路11Pに接続される。
各ADC 14は、画素アレイ部11の列から順次出力される画素出力信号に対してアナログ・デジタル変換を行い、デジタル画素データDPXSを信号処理部に出力する。この目的のために、各ADC 14は、コンパレータ23、デジタル-アナログ変換器22、およびカウンタ24を含む。
各ADC 14は、画素アレイ部11の列から順次出力される画素出力信号に対してアナログ・デジタル変換を行い、デジタル画素データDPXSを信号処理部に出力する。この目的のために、各ADC 14は、コンパレータ23、デジタル-アナログ変換器22、およびカウンタ24を含む。
【0033】
センサコントローラ15はイメージセンサアセンブリ10を制御する。すなわち、例えば、センサコントローラ15は、アドレスデコーダ12にアドレスおよびラッチ信号を供給し、画素タイミング駆動部13に駆動タイミング信号を供給する。さらに、センサコントローラ15は、ADC 14を制御するための制御信号を供給することができる。
【0034】
画素回路11Pは、感光体としての光電変換素子PDを備える。光電変換素子PDは、例えばフォトダイオードを含むものであってもよいし、または、これから構成されてもよい。1つの光電変換素子PDに関して、画素回路11Pは、能動素子としての4つのFET、すなわち、転送トランジスタTG、リセットトランジスタRST、増幅トランジスタAMPおよび選択トランジスタSELを有し得る。
【0035】
光電変換素子PDは、入射した光を光電変換して電荷(ここでは電子)とする。光電変換素子PDに発生する電荷量は、入射光量に相当する。
【0036】
転送トランジスタTGは、光電変換素子PDと浮遊拡散領域FDとの間に接続されている。転送トランジスタTGは、光電変換素子PDから浮遊拡散領域FDへ電荷を転送するための転送素子として機能する。浮遊拡散領域FDは、一時的なローカル電荷記憶として機能する。転送トランジスタTGのゲート(転送ゲート)には、トランスファー制御ラインを介して制御信号となるトランスファー信号が供給される。
【0037】
これにより、転送トランジスタTGは、光電変換素子PDで光電変換された電子を浮遊拡散領域FDに転送することができる。
【0038】
リセットトランジスタRSTは、浮遊拡散領域FDと、正の電源電圧VDDが供給される電源ラインとの間に接続されている。リセット制御信号となるリセット信号は、リセット制御線を介してリセット用トランジスタRSTのゲートに供給される。
【0039】
これにより、リセット素子としてのリセットトランジスタRSTは、浮遊拡散領域FDの電位を電源ラインの電位にリセットする。
【0040】
この浮遊拡散領域FDは、増幅素子としての増幅用トランジスタAMPのゲートに接続されている。すなわち、浮遊拡散領域FDは、増幅素子としての増幅トランジスタAMPの入力ノードとして機能する。
【0041】
増幅用トランジスタAMPと選択用トランジスタSELは、電源ラインVDDと垂直信号ラインVSLとの間に直列に接続されている。
【0042】
したがって、増幅トランジスタAMPは、選択トランジスタSELを介して信号線VSLに接続され、ADC 14の一部として図示された定電流源21を備えたソースフォロワ回路を構成する。
【0043】
そして、選択制御線を介してアドレス信号に応じた制御信号となる選択信号が選択トランジスタSELのゲートに供給され、選択トランジスタSELがオン状態となる。
【0044】
選択トランジスタSELがオン状態となると、増幅トランジスタAMPは、浮遊拡散領域FDの電位を増幅して、浮遊拡散領域FDの電位に応じた電圧を信号線VSLに出力する。信号線VSLは、画素回路11Pからの画素出力信号をADC 14に転送する。
【0045】
なお、転送トランジスタTG、リセットトランジスタRSTおよび選択トランジスタSELそれぞれのゲートは、例えば行単位で接続されているため、これらの動作は1行の画素回路11Pそれぞれについて同時に行われる。また、単一の画素や画素群を選択的に読み出すことも可能である。
【0046】
ADC 14は、DAC 22、垂直信号線VSLに接続された定電流源21、コンパレータ23、およびカウンタ24を含むことができる。
【0047】
この垂直信号線VSLは、画素回路11Pの定電流源21と増幅トランジスタAMPとが結合してソースフォロワ回路となる。
【0048】
DAC 22は、参照信号を生成し、出力する。例えば1つずつ一定間隔で増加させたデジタル信号のデジタル-アナログ変換を行うことにより、DAC 22は基準電圧ランプを含む参照信号を生成することができる。電圧ランプ内では、参照信号は時間単位あたり定常的に増加する。増加は、線形であるか、または線形でない可能性がある。
【0049】
コンパレータ23は、2つの入力端子を有する。DAC 22から出力された参照信号は、第1のコンデンサC1を介してコンパレータ23の第1の入力端子に供給される。垂直信号線VSLを通過した画素出力信号は、第2のコンデンサ素子C2を介してコンパレータ23の第2の入力端子に供給される。
【0050】
コンパレータ23は、2つの入力側端子に供給された画素出力信号と参照信号とを互いに比較し、その比較結果を表すコンパレータ出力信号を出力する。すなわち、コンパレータ23は、画素出力信号と参照信号との大小関係を表すコンパレータ出力信号を出力する。例えば、コンパレータ出力信号は、画素出力信号が参照信号よりも高いときにはHIGHレベルを有し、そうでないときにはLOWレベルを有することができ、またはその逆も可能である。コンパレータ出力信号VCOは、カウンタ24に供給される。
【0051】
カウンタ24は、所定のクロックに同期してカウント値をカウントする。すなわち、カウンタ24は、DAC 22が参照信号の低下を開始するとP位相またはD位相の開始からカウント値のカウントを開始し、画素出力信号と参照信号との大小関係が変化し、コンパレータ出力信号が反転するまでカウント値をカウントする。カウンタ24は、コンパレータ出力信号が反転すると、カウント値のカウントを停止し、そのときのカウント値を画素出力信号のAD変換結果(デジタル画素データDPXS)として出力する。
【0052】
前述のイベントセンサは、イベント検出と呼ばれる場合、以下で使用されてもよい。しかしながら、イベント検出の他のいかなる実施方法も適用可能である。
【0053】
図2は、シーンのデプスマップを生成するためのセンサデバイス1000を概略的に示す。このセンサデバイスは、例えば、対象物O、すなわち、センサデバイス1000への対象物Oの表面要素の距離の推定を可能にするデバイスを含む。センサデバイス1000は、奥行情報自体を生成することが可能であるか、または、奥行情報がさらなる処理ステップで確立され得ることに基づいてのみデータを生成することが可能である。センサデバイスは、プロジェクタユニット1010、レシーバユニット1020、および制御部1030を備える。
【0054】
プロジェクタユニット1010は、異なる時間帯に物体物Oの異なる場所を照明パターンで照明するように構成される。特に、プロジェクタユニット1010は、シーン上に複数の時間的に一連の光パッチを投影するように構成され、1つの一連の連続する光パッチは、第1の方向x1、または、第1の方向x1と反対である第2の方向x2に沿ってシフトされる。
【0055】
図2の例示的な説明において、および、線Lからなる以下の説明照明パターンが使用されることになるが、この場合、シーンの異なる時間帯に、線Lによって異なる部分が照らされるように、線Lの位置は時間と共に変化し、好ましくは、線Lによって照らされる立体角は、プロジェクタユニット1010の投影立体角PSを完全に満たすように、互いに隣接する。しかし、線Lは、また、一定の距離によって互いに分離されてもよい。
【0056】
図2は一例を示しているが、図3に模式的に示されているように、シーンに1つのラインのみが投射され、同時にいくつかのラインも投射され得る。図3の線の等間隔配置は、単純化のためにのみ選択されることに留意されたい。線は任意の位置を持つことができる。また、ラインの数、すなわち、照射される所定の立体角の数は、時間と共に変化し得る。
【0057】
以下の説明は、図2および図3に図示されたライン例に焦点を当てているが、チェッカーボードパターンまたはさらにピクセルワイズ照明のような他のスパースな照明パターンも使用可能であることを当業者は容易に理解する。ただし、シーンに投影される一連のライトパッチは、シーン全体で事前定義された可逆的な方法で移動する必要がある。図2に示す線Lの例では、これは、第1の方向x1に沿ってシーンを掃引する一連の線(すなわち、図2の右から左)に対して、逆方向、すなわち第2の方向x2(図2の左から右)にシーンを掃引する一連の線が存在することを意味する。ここで、1回の掃引の範囲は必ずしも投射立体角PS全体をカバーする必要はなく、この投射立体角のサブレンジをカバーすることもできる。例えば、一方向の掃引は、10、50または100の異なる位置の光投影を含むことができ、それに続いて、逆の順序で同じ位置の照明が行われる。
【0058】
上述のように、投影線の例は、説明を容易にするためだけに選択されている。プロジェクタユニット1010は、シーン上を可逆的に掃引することのできる任意の種類の光パッチを投影することができる。例えば、光ドットは、シーン全体の走査後(または走査中)に走査移動を逆にして、観測シーン上を行ごとに移動することができる。同じように、いくつかの光ドットを使用できる。また、投射立体角PS全体を横切って走る線の代わりに、線分を用いてもよい。
【0059】
照明の変化は、例えば、固定光源を使用することによって行うことができ、その光は異なる角度で異なる時間に偏向される。例えば、照射パターンを偏向させるために微小電気機械システム(MEMS)によって傾斜させたミラーを使用してもよく、かつ/または、屈折格子を使用して複数の線を生成してもよい。あるいは、シーン/対象物Oの異なる部分を異なる時間で照射する垂直キャビティ面発光レーザ(VCSEL)または任意の他のレーザLEDのアレイを使用してもよい。さらに、スリットプレートまたはLCDパネルのような遮光学系を使用して、時間的に変化する照明パターンを生成することも可能である。
【0060】
また、プロジェクタユニット1010は、プロジェクタユニット1010の視野内のいくつかの点が照明パターンで決して照射されないように配置され得ることにも留意されたい。
【0061】
あるいは、プロジェクタユニット1010から送出される照明パターンを固定し、対象物Oが照明パターンを横切って移動し、最初に一方向に移動した後、逆方向に移動するようにしてもよい。原理的には、対象物Oの異なる位置が可逆的な方法で異なる時間帯に照明される限り、照明パターンの生成の正確な方法およびオブジェクトを横切るその動きは任意である。
【0062】
センサデバイス1000は、プロジェクタユニット1010から所定の距離dの位置に配置され、シーンからの光パッチの反射を観察するように構成されるレシーバユニット1020を備える。シーン/対象物Oの表面構造により、プロジェクタユニット1010から投射された光パッチは、対象物Oから歪んだ形で反射され、レシーバユニット1020上に画像Iを形成する。
【0063】
レシーバユニット1020は、それぞれのイベント検出画素1025によって測定される光強度が、所与の時間帯に所定量以上変化した場合に、イベントの発生を示す複数のイベント検出画素1025を備える。したがって、レシーバユニット1020は、所与の閾値を超える受信強度の変化を検出することができる図1A~図1Cに関して上述したようなイベントセンサとして機能することができる。ここでは、正と負の変化が検出可能であり、いわゆる正または負の極性のイベントにつながってもよい。さらに、イベント検出閾値は動的に適応可能であり、正極性と負極性で異なってもよい。
【0064】
イベント検出画素1025がイベントの発生を示すのに要する時間は、光強度の絶対的な大きさ、即ち、光強度の変化の前(または後)に、シーンの観察された部分の明るさに依存する。ここで、受信される明るさは、オブジェクト距離、表面反射率、反射のタイプ(拡散、有向)、周辺光条件、および投影される光の特性などの複数の要因に依存する。さらに、各イベント検出画素1025は、所定の立体角からのみ光を受光するように構成され、隣接するイベント検出画素102によって観測される立体角は隣接し、すべてのイベント検出画素1025の観測立体角は受信機ユニット1020の視野にまたがる。
すなわち、イベント検出画素1025によって観察可能な立体角度が明るいほど、イベント検出画素1025がイベント検出において速くなる。明るく光るイベント検出画素1025は、ほぼ即座にイベント発生を検出するが、明るさを低下させると、イベント検出のレイテンシを増加させる。
すなわち、イベント検出画素1025によって観察可能な立体角度が明るいほど、イベント検出画素1025がイベント検出において速くなる。明るく光るイベント検出画素1025は、ほぼ即座にイベント発生を検出するが、明るさを低下させると、イベント検出のレイテンシを増加させる。
【0065】
これを模式的に図4に示す。図4は、明るく照らされた場(白い四角で表される)と比較して、この例では、イベント検出におけるレイテンシは、ほとんど照らされない場(より大きなレイテンシが可能)について、最大20μsまで平均して増加することを示す。図4では、ジッタの影響をエラーバーに反映している。
【0066】
検出可能な明るさに対するイベント検出の正確な時刻の本質的な依存は、シーンが、高反射性または白色および低反射性または黒色領域等の明るい領域および暗い領域から構成される場合に、イベント検出画素1025による深度測定のための問題を引き起こす。
【0067】
この問題は、図5A～図5Cに概略的に示されている。図5Aは、明るい領域A1(例えば、白色または明るい色の表面)および暗い領域A2(例えば、黒色または暗い色の表面)を含む、観察されたシーン内の対象物Oの一部を示す。両方の領域A1、A2にまたがって走る線Lは、最初に第1の方向x1に、次に第2の方向x2に、対象物Oの上にスイープされる。
【0068】
図5Bは、明るい領域A1からの線Lの反射に対するイベント検出を示す。線Lの反射Rがイベント検出画素1025まで見えるようになったときの明るさの変化により、イベントが発生する。明るい領域A1では、これはほぼ瞬時に起こる。イベント検出の時間と、線Lの投射角度が常に既知であることに依存することにより、イベントを引き起こした投射角度を決定することができる。各イベント検出画素1025は、視線として想像できるわずかな立体角のみを観察し、プロジェクタユニット1010と受信機ユニット1020との間の距離dは既知であるので、対象物O上の線Lの反射の位置とセンサデバイス1000との間の距離を求めることができる。
【0069】
センサデバイス1000のこの動作原理は、図5Cに関して説明されるように、暗領域A2が観察されるときに悪化する。
【0070】
明領域A1を照らす場合と同様に、照明ラインLは、イベント検出画素1025によって受信される反射Rを生じさせる。しかし、反射は暗い領域A2で生じるので、反射Rの明るさ、すなわち反射光の強度の絶対的な大きさは、明るい領域A1上での反射の場合よりも小さくなる。したがって、イベントの発生は、イベント検出画素1025によって即座に検出されることはなく、遅延αtで検出される。したがって、イベントのタイムスタンプは、線Lが投影された時点の時刻tではなく、後の時刻t+αtを示すことになる。したがって、線Lの投影角度を決定する際には、線Lが後の時点t+αtで投影されたと仮定される。線掃引の方向によっては、投影角度の過小評価または過大評価になる。
【0071】
特に、図5Cに模式的に示すように、線Lを第1の方向x1、すなわち、図5Cの右から左に移動させると、反射を生じさせた線Lではなく、後の時刻t+Δtで投影される線L'であると仮定する。この線L'は、時刻tで投射される線Lの投射角度αよりもΔαだけ小さい投射角度を有する。したがって、第1の方向x1で暗領域A2を横切って掃引するとき、すべての反射Rは、真の投射角度αよりもΔαだけ小さい投射角度を有する線によって生じると仮定されることになる。三角測量では、これは、次に、暗領域A2とセンサデバイス1000との間の距離の過小評価につながる。第1の方向のスイープ、すなわち、レシーバユニット1020に向かう方向のスイープについては、暗い領域は、したがって、真に近い領域よりも近いと推定される。
【0072】
逆方向、即ち第2の方向x2、即ちレシーバユニット1020から離れた方向にスイープする場合、遅延αtは、反射Rが、時間tで投影される線Lの投影角度よりも、量Δαより大きい投影角度を有する線L"によって引き起こされたという推定に導く。三角測量において、このより大きな投影角度は、暗領域A2とセンサデバイス1000との間の距離の過大評価をもたらす。したがって、第2の方向、即ち、レシーバユニット1020から離れた方向にスイープすると、暗い領域は遠くに見える。
【0073】
従って、対応策なしには、明るさに依存したレイテンシを有するイベント検出画素によって検出されたイベントに基づいて生成されるデプスマップは、観察されたオブジェクトの形状を真に表現しないであろう。この課題に対する可能な解決法は、例えば、レイテンシを補償するために、またはセンサ回路を調整するために、投射光パッチの光強度を増加させること、絶対強度を推定することを含む。ただし、光の強度が増すと問題は減るだけであるが、暗い面は明るい色の面よりも暗く見えるため、解決することはできない。さらに、絶対強度の推定は、原則として、例えば、画素あたりのイベント数、絶対強度に依存するジッタ/ノイズの測定、または、追加のカメラシステムによって可能であるが、これらのアプローチは、追加の処理および/または追加の構造要素を必要とする。
これにより、システムの複雑さおよびコスト、ならびにその処理時間が増加する。センサ回路の適応についても同様である。
これにより、システムの複雑さおよびコスト、ならびにその処理時間が増加する。センサ回路の適応についても同様である。
【0074】
したがって、本提案は、上記のように、構造化光システムにおけるイベント検出画素のレイテンシの問題を解決するか、または、少なくとも低下させるための異なる方法である。このソリューションでは、投影角度の変化の符号が、シーン全体にわたる投射光パッチのシフトの方向に依存するという事実を使用する。変化は、異なるシフト/スキャン/掃引方向に対して異なる方向を有するので、異なる掃引方向に対して実施される測定の組み合わせは、誤差をキャンセルしない場合は、少なくとも低減すべきである。
【0075】
このため、制御部1030は、投影された光パッチを観察された反射と時間的に相関させるとともに、相関および所定の距離を用いてシーンのデプスマップを生成するように構成される。特に、制御部1030は、第1の方向x1における光パッチのシフト中および第2の方向x2における光パッチのシフト中に、それぞれのイベント検出画素1025の所定の立体角と、プロジェクタユニット1010がそのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するように構成される。すなわち、制御部1030は、イベントを検出したイベント検出画素1025の視線と、イベントを検出した時刻と、イベント検出画素1025の視線を横切ることができた光パッチが投射された角度とを、イベント毎に一方向への掃引用に決定する。
その後、逆方向のスイープに対しても同様の処理が実行される。したがって、イベント毎に、検出画素1025/少なくとも一対の投影角度における視線が決定され、その差は、受け取った光の明るさ、すなわち、投影された光パッチを反射した表面の明るさに依存する。この面が非常に明るい場合は、遅延が発生しなかったため、投影角度のそのペアは本質的に等しくなる。
その後、逆方向のスイープに対しても同様の処理が実行される。したがって、イベント毎に、検出画素1025/少なくとも一対の投影角度における視線が決定され、その差は、受け取った光の明るさ、すなわち、投影された光パッチを反射した表面の明るさに依存する。この面が非常に明るい場合は、遅延が発生しなかったため、投影角度のそのペアは本質的に等しくなる。
【0076】
制御部1030は、次いで、各所与の一対のイベント発生毎、即ち、一対の投射角度毎に、第1の方向x1における光パッチのシフトと第2の方向x2における光パッチのシフトに対してそれぞれ決定された投射角度を平均化し、イベント発生毎に決定された一対の所定の立体角度および平均化された投射角度に基づいて、シーンのデプスマップを決定する。つまり、過小評価されたり過大評価されたりする可能性のある見かけ上の投射角度に基づいて三角測量は実行されず、異なる方向のスイープ中に測定された投射角度の平均に基づいて実行される。真の投影角度からの偏差は互いに補償し合うことになるので、三角測量は観測対象物への真の距離を提供することになる。従って、より信頼性の高いデプスマップを生成することができる。
【0077】
上記の説明では、2つの方向のそれぞれにおける1回のスイープからそれぞれ得られる2つの見かけの投影角度の平均が使用されると仮定された。もちろん、各方向でいくつかのスイープ(ただし同じ数)を実行し、三角形分割の前に検出されたすべての投射角度の値を平均化することも可能である。
【0078】
さらに、上記の説明では、両方向の光パッチのシフトの速度は同じで一定であると仮定していた。したがって、Δtの遅延は、常に同じ投影角度の変化をもたらすことになる。もちろん、異なる掃引速度、すなわち、1方向の単一のスイープ内または異なる方向のスイープに対して、時間単位当たりの投射角度の異なる変化を使用することも可能である。しかし、プロジェクタパターンは既知であるため、速度の変化も既知である。次いで、速度差を補償するために、平均化処理において、それぞれ決定された投影角度を重み付けまたは正規化することができる。上記の用語「平均化」は、そのような補償を含むものと理解されなければならない。
【0079】
このようにして、使用されたイベント検出画素1025の異なる遅延時間によって引き起こされる、デプスマップにおける誤差を、単純な演算によって、および、典型的な構造化された光システムの標準的な構成要件を使用することによって、補正または少なくとも低減することが可能である。従って、生成されたデプスマップの信頼性は、システムの複雑さと処理負荷の比較的少ない増加で増加させることができる。従って、デプスマップの生成は、システムコストまたはそのエネルギ消費を不当に増加させることなく、より信頼性の高いものにすることができる。
【0080】
ここで、制御部1030は、本明細書で説明する機能を実行できる回路の任意の配置でよい。例えば、制御部1030をプロセッサによって構成してもよい。制御ユニット1030は、センサデバイス1000の画素部の一部であってもよく、センサデバイス1000の他の構成要件と同じダイ上に配置されてもよい。しかし、制御部1030は、別個のダイ、別個のプロセッサ、または別個のコンピュータ上など、別個に配置してもよい。制御部1030の機能は、ハードウェアで、ソフトウェアで、完全に実装されるか、または、ハードウェアとソフトウェアの機能の混合として実装される。
【0081】
上述のように、光パッチの時系列は、シーンを横切ってスイープされる光線Lの時系列であってもよい。上述の説明では、光線Lは、90°で第1の方向x1と交差する直線であるが、光線は、0°から十分に異なる任意の所定の角度の下で原則的に第1の方向x1と交差し、シーンの完全なカバーを可能にし得る。あるいは、光線は曲線でもよい。上述したように、一連の光パッチは、ある時間系列における光パッチの特定の動きが別の時間系列において反転可能である限り、光点または点、線分、従って組合せなども含むことができる。
【0082】
上記の説明では、異なる方向へのスイープ中に測定される見かけの投射角度を使用して、真の投射角度αから偏差Δαを補正する。しかしながら、追加的にまたは代替的に、制御部1030は、第1の方向x1における光パッチのシフトおよび第2の方向x2における光パッチのシフトについて、それぞれ決定された投影角度を減算することによって、光強度の変化前の光強度の絶対的な大きさを、イベント発生の各ペアについて決定するように構成されてもよい。すなわち、暗い領域によって引き起こされるイベント検出における遅延、および結果として生じる投影角度の過大/過小評価を、イベント検出画素1025によって受け取られた絶対強度を決定するために使用することもできる。このようにして、シーンの画像を取得することができる。
【0083】
これは、図6および図7に概略的に例示されている。ここで、図6は、投影角度の偏差の補償がどのようになされるかを再度示す。いずれの図においても、明るい領域A1および暗い領域A2を有する平らな領域が観察される。第1の方向x1に掃引する場合、明るい領域A1および暗い領域A2に投影される線の投影角度は、暗い領域A2ではΔαだけ過小評価されるが、明るい領域A1では(十分に)補正されることになる。スイープ方向を逆にすると、暗い領域A2では投影角度が過大評価される。投射角度の2つの測定値を平均すると、明るい領域A1と暗い領域A2で真の投射角度αになる。
【0084】
一方、両方の測定値を差し引くと、図7に示すように、観測された領域の「暗さ」の尺度が得られる。ここで、測定値を差し引くことは、投影角度Δαのシフトを提供する。このシフトは、今度は、それぞれのイベント検出画素1025内の時間遅延に関連付けることができる。製造時のキャリブレーションから、この時間遅延が、イベント発生前(または発生後)の観測された絶対強度にどのように関連しているかがわかる。したがって、遅延を生じない強度レベル、すなわちΔα=0の投射角度のシフトから出発して、投射角度Δαのシフトに基づいて強度レベルを推測することが可能である。シフトΔαが大きいほど、イベント検出画素1025における絶対光強度は小さくなる。
【0085】
従って、時間遅延によるデプスマップの誤差を補償する以外に、上記の手順を使用して、観測された絶対強度値に関する追加情報を得ることもできる。
【0086】
上記では、プロジェクタユニットによって放射されるすべての光パッチが同じ色を有すること、すなわち、例えばレーザのような所与の波長(スペクトル)を有する光源によって生成されることが想定されていた。しかしながら、光パッチの複数の時系列は、第1の方向x1にシフトされる1つの色の光パッチの各系列に対して、第2の方向x2にシフトされる同じ色の光パッチの系列が存在するように、異なる色の光パッチの系列も含み得る。
【0087】
これは、図8に概略的に示すように、異なる色について、見かけの投影角度の上記測定を行うことを意味する。ここで、第1の方向x1のスイープが、赤色光Rで行われることを示す。そして、赤色光Rで第2の方向x2の反対側の掃引を行い、続いて、緑色光Gで第1の方向、第2の方向の掃引を行い、次に青色光Bで掃引を行う。もちろん、両方向へのスイープが各色に対して行われる限り、他の色/波長および他の次数のカラースイープを使用することができる。
【0088】
異なる色の投影光を使用することによって、一方では、イベント検出画素レイテンシの影響をさらに低減することが可能である。実際、シーン内の面は、さまざまな色に対して異なる明るさの度合いを持っている可能性がある。したがって、イベント検出の遅延は色によって異なる。したがって、異なる色に対して生成されたデプスマップは、異なる誤差の度合いを持つことになる。特に、観測された面でのエラーは、1つの色では大きくなり、他の色ではわずかである。たとえば、緑の面は緑のライトで掃引する場合は明るく表示され、その他のカラーでは暗く表示される。したがって、異なるカラースイープの結果を組み合わせると、レイテンシ補償が完全には成功しなかった場合に、結果のデプスマップの精度がさらに向上する。一連のライトパッチに異なる色を使用すると、デプスマップの信頼性がさらに向上する。
【0089】
これに加えて又はこれに代えて、制御部1030は、複数の光パッチの時間的系列において使用される異なる色のそれぞれについて、光強度の絶対的な大きさを決定するように構成されてもよい。これにより、上述したように、各色について、それぞれの絶対光強度を決定することが可能となる。これは、生成されたデプスマップを色情報で補足したり、シーンのカラー画像を生成したりするために使用できる。
【0090】
さらにまたは代替として、レシーバユニット1020は、イベント検出画素1025に対して異なる色のカラーフィルタ1028を提供するカラーフィルタアレイ1027を備えることができる。このようなカラーフィルタアレイ1027の一例が、RGBカラーフィルタ1028のための図9に示されている。もちろん、カラーフィルタ1028の他の任意の色または配置を使用することができる。次に、制御部1030は、カラーフィルタ1028で使用される異なる色のそれぞれについて、光強度の絶対的な大きさを決定するように構成される。また、カラーフィルタアレイの使用は、異なる色の明るさ情報を得ることを可能にし、生成されたデプスマップを色情報で補足するため、または、シーンの色画像を生成するために使用することができる。もちろん、異なる色の投影光の使用およびカラーフィルタの使用を組み合わせて、色情報の信頼度をさらに向上させることができる。
【0091】
このようにして、イベント検出を使用することによって得られる時間的に高い分解能を有する方法で、必要に応じて明るさまたは色の情報で補われた、高い信頼性のデプスマップを生成することが可能である。
【0092】
上述したセンサデバイス1000の以下の代表的な使用分野について簡単に説明する。
【0093】
図10Aおよび10Bは、上に記載したセンサデバイス1000を備えるカメラデバイス2000を概略的に示す。ここで、カメラデバイス2000は、上述した方法で、対象物Oを含むキャプチャされたシーン上に奥行き情報を生成するように構成されている。
【0094】
図10Aは、対象物Oのデプスマップなどの奥行情報を取得するために使用されるスマートフォンを示しており、これは、スマートフォンの拡張現実機能を改善したり、スマートフォンで利用可能なゲーム体験を強化したりするために使用される可能性がある。図10Bは、例えば、空港またはボーダー制御での顔認識、ウェブ会議における視点補正または人工メイクアップ、またはウェブ会議またはゲームのためのチャットアバターのアニメーション化のために使用され得る顔キャプチャセンサを示す。さらに、映画/アニメーション制作者は、このようなEVS強化フェイスキャプチャセンサを使用して、アニメーション化された数字を実際の生きた人物に適応させることができる。
【0095】
図11は、上述のようなセンサデバイス1000を備えるヘッドマウントディスプレイ3000をさらに一例として示す図であり、ヘッドマウントディスプレイ3000は、上述のようにヘッドマウントディスプレイ3000を通して見た対象物Oの奥行情報を生成するように構成されている。この例は、例えば複雑な医療作業を支援するなどして、拡張現実または仮想現実アプリケーションにおける正確なハンドトラッキングまたはジェスチャ認識のために使用され得る。
【0096】
図12は、上述のようなセンサデバイス1000を備える工業生産装置4000を概略的に示しており、工業生産装置は、対象物Oの異なる位置への照明パターンの投影を(部分的に)達成するために、プロジェクタユニット1010の前で対象物Oを移動させる手段4010を備えており、工業生産装は、対象物Oの奥行き情報を生成するように構成されている。例えば対象物Oを動かす手段4010を構成するコンベヤベルトは、レシーバユニット1020が十分に高い時間分解能を有する場合にのみ奥行き情報の生成を可能にする高い移動速度を有するので、この用途は、EVS強化デプスセンサに特に適応される。
これは、製造された対象物Oの完全に自動化され、正確で、高速な品質管理を可能にする工業的に製造された対象物Oの正確で高速のデプスマップ1000についての事例であるためである。奥行情報は、デプスマップおよび/またはコンベヤベルト上の対象物位置の分類、所望の製造基準からの偏差に関する情報、誤差分類等を含み得る。ここで、対象物Oを移動する手段4010は、センサデバイス1000を通過して対象物を少なくとも2回逆方向に移動しなければならないか、または、プロジェクタユニット1010は、両方向に掃引しなければならず、一方、コンベヤベルトは停止している(または、移動中であっても、結果として生じるモーションブラーが補正されている場合)。この例では、センサデバイス1000にフィードバックされるコンベヤ速度の知識との同期が存在するであろう。
これは、製造された対象物Oの完全に自動化され、正確で、高速な品質管理を可能にする工業的に製造された対象物Oの正確で高速のデプスマップ1000についての事例であるためである。奥行情報は、デプスマップおよび/またはコンベヤベルト上の対象物位置の分類、所望の製造基準からの偏差に関する情報、誤差分類等を含み得る。ここで、対象物Oを移動する手段4010は、センサデバイス1000を通過して対象物を少なくとも2回逆方向に移動しなければならないか、または、プロジェクタユニット1010は、両方向に掃引しなければならず、一方、コンベヤベルトは停止している(または、移動中であっても、結果として生じるモーションブラーが補正されている場合)。この例では、センサデバイス1000にフィードバックされるコンベヤ速度の知識との同期が存在するであろう。
【0097】
図13は、上に記載したセンサデバイス1000を用いてシーンのデプスマップを生成する方法のステップを要約している。センサデバイス1000を動作させるための方法は、以下を含む。
【0098】
S110では、シーン上に複数の時間的な一連の光パッチを投影し、1つの一連の連続する光パッチは、第1の方向x1、または、第1の方向x1と反対である第2の方向x2に沿ってシフトされる。
【0099】
S120において、シーンからの光パッチの反射を観察する。
【0100】
S130において、投射光パッチを観測された反射と時間的に相関させ、相関および所定の距離を用いてシーンのデプスマップを生成する。
【0101】
S140において、第1の方向x1における光パッチのシフト中および第2の方向x2における光パッチのシフト中において、それぞれのイベント検出画素1025の所定の立体角と、そのイベントが発生した時点において光パッチが投影された投影角度とが、イベントの発生毎に決定される。
【0102】
そして、S150では、各所与の一対のイベント発生に対して、第1の方向x1における光パッチのシフトと第2の方向x2における光パッチのシフトのためのそれぞれ決定された投射角度を平均化し、イベント発生毎に決定された一対の所定の立体角度と平均投射角度に基づいてシーンのデプスマップを決定する。
【0103】
このようにして、デプスマップのイベントベースの生成の正確性および信頼度における上記の強化を得ることができる。
【0104】
図14は、上記した機能を果たすことができる複数の画素がマトリクス状に配列されたソリッドステート撮像装置23020の積層構造の一例を示す斜視図である。各画素は、少なくとも一つの光電変換素子を含む。
【0105】
このソリッドステート撮像装置23020は、第1のチップ(上チップ)910と第2のチップ(下チップ)920との積層構造を有している。
【0106】
積層された第1のチップ910および第2のチップ920は、第1のチップ910内に形成されたTC(S)Vs(シリコン貫通接触)ビアを介して、互いに電気的に接続されてもよい。
【0107】
ソリッドステート撮像装置23020は、第1のチップ910および第2および920がウエハレベルで一緒にボンディングされ、ダイシングによって切り取られるように、積層構造を有するように形成されてもよい。
【0108】
上下2チップの積層構造において、第1チップ910は、各画素の少なくとも1つのアナログ部品、例えばアレイ状に配置された光電変換素子を含むアナログチップ(センサチップ)であってもよい。例えば、第1のチップ910は、光電変換素子のみを含むことができる。
【0109】
あるいは、第1のチップ910は、各感光体モジュールの更なる要素を含み得る。例えば、第1のチップ910は、光電変換素子に加えて、感光体モジュールのn-チャネルMOSFETの少なくとも一部または全部を含んでもよい。あるいは、第1のチップ910は、感光体モジュールの各要素を含んでもよい。
【0110】
また、第1のチップ910は、画素バックエンド300の一部を含んでもよい。例えば、第1のチップ910は、メモリキャパシタ、または、メモリキャパシタに加えて、メモリキャパシタとイベント検出コンパレータ回路との間に電気的に接続されたサンプル/ホールド回路および/またはバッファ回路を含むことができる。あるいは、第1のチップ910は、完全なピクセルバックエンドを含んでもよい。図13Aを参照すると、第1のチップ910は、読み出し回路140、閾値生成回路130、および/またはコントローラ120、もしくは制御ユニット全体の少なくとも一部をさらに含んでもよい。
【0111】
第2のチップ920は、主に、第1のチップ910上の回路を補完する素子をソリッドステート撮像装置23020に含むロジックチップ(デジタルチップ)であってもよい。第2のチップ920は、例えば、第1のチップ910からTCVを介して転送されるアナログ信号を量子化するアナログ回路をさらに含んでもよい。
【0112】
第2のチップ920は、1つ以上のボンディングパッドBPDを有し得、第1のチップ910は、第2のチップ920へのワイヤボンディングに使用するための開口部OPNを有し得る。
【0113】
2つのチップ910、920の積層構造を有するソリッドステート撮像装置23020は、以下の特徴的な構成を有してもよい。
【0114】
第1のチップ910と第2のチップ920との間の電気的接続は、例えば、TCVsを介して行われる。TCVは、チップ端部またはパッド領域と回路領域との間に配置されてもよい。なお、制御信号を送信し電源を供給するTCVは、主に、例えばソリッドステート撮像装置23020の四隅に集中していてもよく、これにより、第1のチップ910の信号配線領域を小さくすることができる。
【0115】
典型的には、第1のチップ910は、p型基板を含み、pチャネルMOSFETの形成は、典型的には、pチャネルMOSFETのp型ソースおよびドレイン領域を互いにかつさらなるp型領域から分離するnドープウェルの形成を含む。p-チャネルMOSFETの形成を回避することは、したがって、第1のチップ910の製造プロセスを単純化し得る。
【0116】
図15は、ソリッドステート撮像装置23010、23020の概略構成例を示す。
【0117】
図15Aに示される単層ソリッドステート撮像装置23010は、単一ダイ(半導体基板)23011を含む。単一ダイ23011上に実装され、かつ/または、形成されるのは、画素領域23012(光電変換素子)、制御回路23013(読み出し回路、閾値生成回路、コントローラ、制御部)、およびロジック回路23014(画素バックエンド)である。画素領域23012では、画素はアレイ状に配置されている。制御回路23013は、画素の駆動の制御を含む各種の制御を行う。ロジック回路23014は、信号処理を行う。
【0118】
図15BおよびCは、積層構造を有する多層ソリッドステート撮像装置23020の概略構成例を示す。図15BおよびCに例示されているように、2つのダイ(チップ)、すなわち、センサダイ23021(第1のチップ)およびロジックダイ23024(第2のチップ)が、ソリッドステート撮像装置23020内に積み重ねられる。これらのダイは、電気的に接続されて、単一の半導体チップを形成する。
【0119】
図15Bを参照すると、画素領域23012および制御回路23013は、センサダイ23021上に形成すなわち実装され、ロジック回路23014は、ロジックダイ23024上に形成すなわち実装される。ロジック回路23014は、画素バックエンドの少なくとも一部を含み得る。画素領域23012は、少なくとも光電変換素子を含む。
【0120】
図15Cを参照すると、画素領域23012は、センサダイ23021上に形成または搭載され、一方、制御回路23013およびロジック回路23014は、ロジックダイ23024上に形成または搭載される。
【0121】
別の例(図示せず)によれば、画素領域23012およびロジック回路23014、または、画素領域23012およびロジック回路23014の部分は、センサダイ23021上に形成または実装され得、制御回路23013は、ロジックダイ23024上に形成または実装される。
【0122】
複数の光レセプタモジュールPRを有するソリッドステート撮像装置内では、すべての光レセプタモジュールPRが同じモードで動作することができる。あるいは、感光体モジュールPRの第1のサブセットは、低SNRおよび高時間的分解能を有するモードで動作し、感光体モジュールの第2の相補的サブセットは、高いSNRおよび低時間的分解能を有するモードで動作し得る。また、制御信号は、照明条件の関数ではなく、例えば、ユーザ設定の関数であってもよい。
【0123】
（モバイルボディへの適用例）
本開示による技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、またはロボットのような任意のタイプの移動体に搭載される装置として実現することができる。
本開示による技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、またはロボットのような任意のタイプの移動体に搭載される装置として実現することができる。
【0124】
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0125】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図16に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040および統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052および車載ネットワークI/F(interface)12053が図示されている。
【0126】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0127】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、キーを代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0128】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識または路面上の文字等の物体検出処理もしくは距離検出処理を行ってもよい。
【0129】
撮像部12031は、本開示に係るイベント検出および感光体モジュールを備えたソリッドステート撮像センサであってもよく、またはこれを備えてもよい。撮像部12031は、イベントを検出した画素を特定する位置情報として、電気信号を出力してもよい。なお、撮像部12031が受光する光は可視光でもよいし、赤外線等の不可視光でもよい。
【0130】
車載情報検出部12040は、車内の情報を検出するものであり、本開示に係る、イベント検出機能付きソリッドステート撮像センサや、感光体モジュールなどを備えていてもよい。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運賃者状態検出部12041は、例えば、ドライバにフォーカスされたカメラを含む。車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合いまたは集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0131】
マイクロコンピュータ12051は、車外情報検出ユニット12030または車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構または制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避もしくは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、または車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0132】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030または車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構または制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0133】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車または対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0134】
音声/画像出力部12052は、視覚的または音声的に情報を通知可能な出力装置に対して、車両者または車外の者に対して、音声または画像の少なくとも1つの出力信号を送信する。図16の例では、出力装置として、オーディオスピーカ12061、表示部12062およびインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイまたはヘッドアップディスプレイの少なくとも1つを含んでもよい。
【0135】
図17は、撮像部12031の設置位置の一例を示す図であり、撮像部12031は、撮像部12101、12102、12103、12104、および12105を含んでもよい。
【0136】
撮像部12101、12102、12103、12104および12105は、例えば、車両12100のフロントノーズ、サイドビューミラー、リアバンパー、およびバックドア上の位置に配置されるとともに、車両の内部のフロントガラスの上部の位置に配置される。フロントノーズに備えられる撮像部12101および車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパーまたはバックドアに設けられた撮像部12104は、主に車両12100の後方の画像を得る。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両、歩行者、障害物、信号機、交通標識、車線等の検出に用いられる。
【0137】
なお、図17には、撮像部12101～12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮影範囲12112および12113は、それぞれ、サイドビューミラーに提供される撮像部12102および12103の撮影範囲を表す。撮像範囲12114は、リアバンパーまたはバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101～12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0138】
撮像部12101～12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101～12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0139】
例えば、マイクロコンピュータ12051は、撮像部12101～12104から取得された距離情報に基づいて、撮像範囲12111～12114内の各立体物までの距離や、その距離(車両12100に対する相対速度)の時間的変化を求め、これにより、車両12100の走行経路上に存在し、かつ、車両12100と略同一方向に所定の速度(例えば、0km/時以上)で走行する特に最も近い立体物を、先行車両として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0140】
例えば、マイクロコンピュータ12051は、撮像部12101～12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0141】
撮像部12101～12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101～12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。このような歩行者の認識は、例えば赤外線カメラとしての撮像部12101～12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101～12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0142】
本開示に係る技術が適用可能な車両制御システムの例については、上述した。イベントトリガー画像情報を取得するために光レセプタモジュールを適用することによって、通信ネットワークを介して送信される画像データを低減することができ、運転支援に悪影響を与えずに、消費電力を低減することが可能である。
【0143】
さらに、本技術の実施形態は、上述の実施形態に限定されるものではないが、本技術の要点から逸脱することなく、本技術の範囲内で様々な変更を行うことができる。
【0144】
本開示のソリッドステート撮像装置は、可視光、赤外光、紫外光、およびX線などの放射を分析かつ/または処理するために使用される任意のデバイスであってもよい。例えば、ソリッドステート撮像装置は、交通の分野、家電の分野、医療と医療の分野、セキュリティの分野、美容の分野、スポーツの分野、農業の分野、画像再生の分野などの任意の電子機器であってもよい。
【0145】
具体的には、画像再生の分野では、ソリッドステート撮像装置は、デジタルカメラ、スマートフォン、またはカメラ機能を有する携帯電話装置など、認識のために提供される画像を取り込むためのデバイスであってもよい。例えば、交通の分野では、ソリッドステート撮像装置は、例えば、自動停止、運転者の状態の認識などの安全な運転のために、前面、背面、周辺装置、車両の内部などをキャプチャする車載センサに、走行中の車両や道路を監視する監視カメラに、または、車両間の距離などを測定する距離計測センサに、統合することができる。
【0146】
家庭用電化製品の分野では、ソリッドステート撮像装置は、TV受信機、冷蔵庫、およびエアコン等の家庭用電化製品のために提供される装置に使用され、ユーザのジェスチャを捕捉し、ジェスチャに従って装置操作を行うことができる任意のセンサの種類内に一体化することができる。従って、ソリッドステート撮像装置は、TV受信機、冷蔵庫、およびエアコンのような家電、ならびに/または家電を制御する装置に統合されてもよい。更に、医療およびヘルスケアの分野では、ソリッドステート撮像装置は、内視鏡や赤外光を受信することによって血管撮影を行う装置などの医療およびヘルスケアで使用するために提供される、任意のセンサの種類、例えばソリッドステート画像装置に統合することができる。
【0147】
セキュリティの分野では、防犯用の監視カメラや人物認証用のカメラなど、セキュリティで使用するために提供される装置に、ソリッドステート撮像装置を統合することができる。さらに、美容の分野では、ソリッドステート撮像装置は、肌をキャプチャする肌測定器やプローブをキャプチャする顕微鏡など、美容に使用するために提供される装置に使用することができる。スポーツの分野では、ソリッドステート撮像装置は、スポーツで使用するために提供されるデバイス、例えば、スポーツ用のアクションカメラまたはウェアラブルカメラなどに統合することができる。さらに、農業の分野では、ソリッドステート撮像装置を、農業で使用するために提供される装置、例えば、野外および作物の状態を監視するためのカメラに使用することができる。
【0148】
また、本技術は以下に述べるように構成することができる:
[1] シーンのデプスマップを生成するセンサデバイス(1000)であって、
前記シーン上に複数の時間的な一連の光パッチを投影するように構成されたプロジェクタユニット(1010)と、
前記プロジェクタユニット(1010)から所定の距離(d)に配置され、前記シーンから前記光パッチの反射を観察するように構成されたレシーバユニット(1020)と、
投影された前記光パッチを、観察された前記反射と時間的に相関させ、この相関および前記所定の距離(d)を用いて前記シーンの前記デプスマップを生成するように構成された制御ユニット(1030)と
を具備し、
1つの一連の連続する光パッチが、第1の方向(x1)または前記第1の方向(x1)と反対の第2の方向(x2)のいずれかに沿ってシフトされ、
前記レシーバユニット(1020)は、所定の時間内に、それぞれのイベント検出画素(1025)によって測定された光強度が所定の量以上変化したときのイベントの発生を示す複数のイベント検出画素(1025)を備え、
イベント検出画素(1025)がイベントの発生を示すのに要する時間は、光強度の変化の前の光強度の絶対的な大きさに依存し、
各イベント検出画素(1025)は、所定の立体角からのみ光を受け取るように構成され、隣接するイベント検出画素(1025)によって観測される立体角は隣接しており、すべてのイベント検出画素(1025)の観測された立体角は、前記レシーバユニット(1020)の視野にまたがっており、
前記制御ユニット(1030)は、前記第1の方向(x1)における光パッチのシフト中、および、前記第2の方向(x2)における光パッチのシフト中、それぞれの前記イベント検出画素(1025)の所定の立体角と、前記プロジェクタユニット(1010)がそのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するように構成され、
前記制御ユニット(1030)は、各所与の一対のイベント発生毎に、前記第1の方向(x1)における光パッチの前記シフトおよび前記第2の方向(x2)における光パッチの前記シフトに対してそれぞれ決定された投影角度を平均化し、イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、前記シーンのデプスマップを決定するように構成されている
センサデバイス(1000)。
[2] 前記時間的な一連の光パッチは、時間的な一連の光線(L)である
[1]に記載のセンサデバイス(1000)。
[3] 前記光線(L)は、所定の角度の下で前記第1の方向(x1)と交差する直線であるか、または、前記光線は曲線である
[2]に記載のセンサデバイス(1000)。
[4] 前記制御ユニット(1030)は、前記第1の方向(x1)における光パッチのシフトおよび前記第2の方向(x2)における光パッチのシフトに対してそれぞれ決定された前記投射角度を差し引くことによって、前記光強度の変化前の光強度の前記絶対的な大きさを、それぞれの一対のイベント発生毎に決定するように構成されている
[1]～[3]のうちのいずれか1つに記載のセンサデバイス(1000)。
[5] 複数の前記時間的な一連の光パッチは異なる色の一連の光パッチを含み、
前記第1の方向(x1)にシフトされる1つの色のそれぞれの一連の光パッチに対して、前記第2の方向(x2)にシフトされる同一色の一連の光パッチが存在する
[1]～[4]のうちのいずれか1つに記載のセンサデバイス(1000)。
[6] 前記制御ユニット(1030)は、複数の前記時間的な一連の光パッチに用いられる前記異なる色の各々に対して、光強度の前記絶対的な大きさを決定するように構成されている
[5]に記載のセンサデバイス(1000)。
[7] 前記レシーバユニット(1020)は、前記イベント検出画素(1025)に対して異なる色のカラーフィルタ(1028)を提供するカラーフィルタアレイ(1027)を備え、かつ、
前記制御ユニット(1030)は、前記カラーフィルタ(1028)で使用される前記異なる色の各々に対して、光強度の前記絶対的な大きさを決定するように構成されている
[1]～[6]のいずれか1つに記載のセンサデバイス(1000)。
[8] [1]に記載のセンサデバイス(1000)の動作方法であって、
前記シーン上に複数の時間的な一連の光パッチを投影するステップと、
前記シーンから前記光パッチの反射を観察するステップと、
投影された前記光パッチを、観察された前記反射と時間的に相関させ、この相関および前記所定の距離(d)を用いて前記シーンの前記デプスマップを生成するステップと、
前記第1の方向(x1)における光パッチのシフト中、および、前記第2の方向(x2)における光パッチのシフト中、それぞれの前記イベント検出画素(1025)の所定の立体角と、そのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するステップと、
各所与の一対のイベント発生毎に、前記第1の方向(x1)における光パッチの前記シフトおよび前記第2の方向(x2)における光パッチの前記シフトに対してそれぞれ決定された投影角度を平均化するステップと、
イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、前記シーンのデプスマップを決定するステップと
を含み、
1つの一連の連続する光パッチが、第1の方向(x1)または前記第1の方向(x1)と反対の第2の方向(x2)のいずれかに沿ってシフトされる
方法。
[1] シーンのデプスマップを生成するセンサデバイス(1000)であって、
前記シーン上に複数の時間的な一連の光パッチを投影するように構成されたプロジェクタユニット(1010)と、
前記プロジェクタユニット(1010)から所定の距離(d)に配置され、前記シーンから前記光パッチの反射を観察するように構成されたレシーバユニット(1020)と、
投影された前記光パッチを、観察された前記反射と時間的に相関させ、この相関および前記所定の距離(d)を用いて前記シーンの前記デプスマップを生成するように構成された制御ユニット(1030)と
を具備し、
1つの一連の連続する光パッチが、第1の方向(x1)または前記第1の方向(x1)と反対の第2の方向(x2)のいずれかに沿ってシフトされ、
前記レシーバユニット(1020)は、所定の時間内に、それぞれのイベント検出画素(1025)によって測定された光強度が所定の量以上変化したときのイベントの発生を示す複数のイベント検出画素(1025)を備え、
イベント検出画素(1025)がイベントの発生を示すのに要する時間は、光強度の変化の前の光強度の絶対的な大きさに依存し、
各イベント検出画素(1025)は、所定の立体角からのみ光を受け取るように構成され、隣接するイベント検出画素(1025)によって観測される立体角は隣接しており、すべてのイベント検出画素(1025)の観測された立体角は、前記レシーバユニット(1020)の視野にまたがっており、
前記制御ユニット(1030)は、前記第1の方向(x1)における光パッチのシフト中、および、前記第2の方向(x2)における光パッチのシフト中、それぞれの前記イベント検出画素(1025)の所定の立体角と、前記プロジェクタユニット(1010)がそのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するように構成され、
前記制御ユニット(1030)は、各所与の一対のイベント発生毎に、前記第1の方向(x1)における光パッチの前記シフトおよび前記第2の方向(x2)における光パッチの前記シフトに対してそれぞれ決定された投影角度を平均化し、イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、前記シーンのデプスマップを決定するように構成されている
センサデバイス(1000)。
[2] 前記時間的な一連の光パッチは、時間的な一連の光線(L)である
[1]に記載のセンサデバイス(1000)。
[3] 前記光線(L)は、所定の角度の下で前記第1の方向(x1)と交差する直線であるか、または、前記光線は曲線である
[2]に記載のセンサデバイス(1000)。
[4] 前記制御ユニット(1030)は、前記第1の方向(x1)における光パッチのシフトおよび前記第2の方向(x2)における光パッチのシフトに対してそれぞれ決定された前記投射角度を差し引くことによって、前記光強度の変化前の光強度の前記絶対的な大きさを、それぞれの一対のイベント発生毎に決定するように構成されている
[1]～[3]のうちのいずれか1つに記載のセンサデバイス(1000)。
[5] 複数の前記時間的な一連の光パッチは異なる色の一連の光パッチを含み、
前記第1の方向(x1)にシフトされる1つの色のそれぞれの一連の光パッチに対して、前記第2の方向(x2)にシフトされる同一色の一連の光パッチが存在する
[1]～[4]のうちのいずれか1つに記載のセンサデバイス(1000)。
[6] 前記制御ユニット(1030)は、複数の前記時間的な一連の光パッチに用いられる前記異なる色の各々に対して、光強度の前記絶対的な大きさを決定するように構成されている
[5]に記載のセンサデバイス(1000)。
[7] 前記レシーバユニット(1020)は、前記イベント検出画素(1025)に対して異なる色のカラーフィルタ(1028)を提供するカラーフィルタアレイ(1027)を備え、かつ、
前記制御ユニット(1030)は、前記カラーフィルタ(1028)で使用される前記異なる色の各々に対して、光強度の前記絶対的な大きさを決定するように構成されている
[1]～[6]のいずれか1つに記載のセンサデバイス(1000)。
[8] [1]に記載のセンサデバイス(1000)の動作方法であって、
前記シーン上に複数の時間的な一連の光パッチを投影するステップと、
前記シーンから前記光パッチの反射を観察するステップと、
投影された前記光パッチを、観察された前記反射と時間的に相関させ、この相関および前記所定の距離(d)を用いて前記シーンの前記デプスマップを生成するステップと、
前記第1の方向(x1)における光パッチのシフト中、および、前記第2の方向(x2)における光パッチのシフト中、それぞれの前記イベント検出画素(1025)の所定の立体角と、そのイベントが発生した時点で光パッチを投影した投影角度とを、イベントの発生毎に決定するステップと、
各所与の一対のイベント発生毎に、前記第1の方向(x1)における光パッチの前記シフトおよび前記第2の方向(x2)における光パッチの前記シフトに対してそれぞれ決定された投影角度を平均化するステップと、
イベント発生毎に決定された一対の所定の立体角および平均化された投影角度に基づいて、前記シーンのデプスマップを決定するステップと
を含み、
1つの一連の連続する光パッチが、第1の方向(x1)または前記第1の方向(x1)と反対の第2の方向(x2)のいずれかに沿ってシフトされる
方法。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】2024-05-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項4】
前記制御ユニットは、前記第1の方向における光パッチのシフトおよび前記第2の方向における光パッチのシフトに対してそれぞれ決定された前記投影角度を差し引くことによって、前記光強度の変化前の光強度の前記絶対的な大きさを、それぞれの一対のイベント発生毎に決定するように構成されている
請求項１に記載のセンサデバイス。
請求項１に記載のセンサデバイス。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【0068】
図5Bは、明るい領域A1からの線Lの反射に対するイベント検出を示す。線Lの反射Rがイベント検出画素1025まで見えるようになったときの明るさの変化により、イベントが発生する。明るい領域A1では、これはほぼ瞬時に起こる。イベント検出の時間と、線Lの投影角度が常に既知であることに依存することにより、イベントを引き起こした投影角度を決定することができる。各イベント検出画素1025は、視線として想像できるわずかな立体角のみを観察し、プロジェクタユニット1010と受信機ユニット1020との間の距離dは既知であるので、対象物O上の線Lの反射の位置とセンサデバイス1000との間の距離を求めることができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【0071】
特に、図5Cに模式的に示すように、線Lを第1の方向x1、すなわち、図5Cの右から左に移動させると、反射を生じさせた線Lではなく、後の時刻t+Δtで投影される線L'であると仮定する。この線L'は、時刻tで投射される線Lの投影角度αよりもΔαだけ小さい投影角度を有する。したがって、第1の方向x1で暗領域A2を横切って掃引するとき、すべての反射Rは、真の投影角度αよりもΔαだけ小さい投影角度を有する線によって生じると仮定されることになる。三角測量では、これは、次に、暗領域A2とセンサデバイス1000との間の距離の過小評価につながる。第1の方向のスイープ、すなわち、レシーバユニット1020に向かう方向のスイープについては、暗い領域は、したがって、真に近い領域よりも近いと推定される。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【0076】
制御部1030は、次いで、各所与の一対のイベント発生毎、即ち、一対の投影角度毎に、第1の方向x1における光パッチのシフトと第2の方向x2における光パッチのシフトに対してそれぞれ決定された投影角度を平均化し、イベント発生毎に決定された一対の所定の立体角度および平均化された投影角度に基づいて、シーンのデプスマップを決定する。つまり、過小評価されたり過大評価されたりする可能性のある見かけ上の投影角度に基づいて三角測量は実行されず、異なる方向のスイープ中に測定された投影角度の平均に基づいて実行される。真の投影角度からの偏差は互いに補償し合うことになるので、三角測量は観測対象物への真の距離を提供することになる。従って、より信頼性の高いデプスマップを生成することができる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【0077】
上記の説明では、2つの方向のそれぞれにおける1回のスイープからそれぞれ得られる2
つの見かけの投影角度の平均が使用されると仮定されたスイープ(ただし同じ数)を実行し、三角形分割の前に検出されたすべての投影角度の値を平均化することも可能である。
つの見かけの投影角度の平均が使用されると仮定されたスイープ(ただし同じ数)を実行し、三角形分割の前に検出されたすべての投影角度の値を平均化することも可能である。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【0078】
さらに、上記の説明では、両方向の光パッチのシフトの速度は同じで一定であると仮定していた。したがって、Δtの遅延は、常に同じ投影角度の変化をもたらすことになる。もちろん、異なる掃引速度、すなわち、1方向の単一のスイープ内または異なる方向のスイープに対して、時間単位当たりの投影角度の異なる変化を使用することも可能である。しかし、プロジェクタパターンは既知であるため、速度の変化も既知である。次いで、速度差を補償するために、平均化処理において、それぞれ決定された投影角度を重み付けまたは正規化することができる。上記の用語「平均化」は、そのような補償を含むものと理解されなければならない。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【0082】
上記の説明では、異なる方向へのスイープ中に測定される見かけの投影角度を使用して、真の投影角度αから偏差Δαを補正する。しかしながら、追加的にまたは代替的に、制御部1030は、第1の方向x1における光パッチのシフトおよび第2の方向x2における光パッチのシフトについて、それぞれ決定された投影角度を減算することによって、光強度の変化前の光強度の絶対的な大きさを、イベント発生の各ペアについて決定するように構成されてもよい。すなわち、暗い領域によって引き起こされるイベント検出における遅延、および結果として生じる投影角度の過大/過小評価を、イベント検出画素1025によって受け取られた絶対強度を決定するために使用することもできる。このようにして、シーンの画像を取得することができる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【0083】
これは、図6および図7に概略的に例示されている補償がどのようになされるかを再度示す。いずれの図においてもい領域A2を有する平らな領域が観察される。第1の方向x1に掃引する場合および暗い領域A2に投影される線の投影角度はが、明るい領域A1では(十分に)補正されることになる領域A2では投影角度が過大評価される。投影角度の2つの測定値を平均すると域A1と暗い領域A2で真の投影角度αになる。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【0084】
一方、両方の測定値を差し引くと、図7に示すように、観測された領域の「暗さ」の尺度が得られる。ここで、測定値を差し引くことは、投影角度Δαのシフトを提供する。このシフトは、今度は、それぞれのイベント検出画素1025内の時間遅延に関連付けることができる。製造時のキャリブレーションから、この時間遅延が、イベント発生前(または発生後)の観測された絶対強度にどのように関連しているかがわかる。したがって、遅延を生じない強度レベル、すなわちΔα=0の投影角度のシフトから出発して、投影角度Δαのシフトに基づいて強度レベルを推測することが可能である。シフトΔαが大きいほど、イベント検出画素1025における絶対光強度は小さくなる。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【0102】
そして、S150では、各所与の一対のイベント発生に対して、第1の方向x1における光パッチのシフトと第2の方向x2における光パッチのシフトのためのそれぞれ決定された投影角度を平均化し、イベント発生毎に決定された一対の所定の立体角度と平均投影角度に基づいてシーンのデプスマップを決定する。