特許 7686139 画像感知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-22

(45)【発行日】2025-05-30

(54)【発明の名称】画像感知システム

(51)【国際特許分類】

   G01J 3/36 20060101AFI20250523BHJP

【ＦＩ】

G01J3/36

【請求項の数】 9

(21)【出願番号】P 2024505042

(86)(22)【出願日】2022-07-20

(65)【公表番号】

(43)【公表日】2024-07-19

(86)【国際出願番号】 EP2022070336

(87)【国際公開番号】W WO2023006542

(87)【国際公開日】2023-02-02

【審査請求日】2024-01-26

(31)【優先権主張番号】21188443.2

(32)【優先日】2021-07-29

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ファン アハト ビクトル マルチヌス ゲラルドゥス

【審査官】田中 洋介

(56)【参考文献】

【文献】国際公開第２０２１／０３８６９２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１０／０２２５７８３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０３２２５５２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｊ ３／００－３／５２

Ｈ０４Ｎ ５／００－５／９５６

(57)【特許請求の範囲】

【請求項1】

少なくとも２つのローリングシャッタ画像センサであって、各ローリングシャッタ画像センサは、幅方向に沿って延在する複数の画像ラインに配置され且つ前記幅方向に垂直な走査方向に配分された、フレームのピクセルのアレイを備え、各ローリングシャッタ画像センサは、前記走査方向に沿って各画像ラインをシーケンシャルに走査することによりそのフレームを走査し、各画像ラインを走査することは、各画像ラインにおける前記ピクセルを、所定の露出時間の間、光に対して感応性として、それぞれの前記画像ラインの各ピクセルに対する強度読出しを決定することを含む、少なくとも２つのローリングシャッタ画像センサと、
各ローリングシャッタ画像センサに対するフレームの走査を時間的にずらすことにより、各ローリングシャッタ画像センサに対する前記走査方向における第１の画像ラインからのフレームの走査を、他のローリングシャッタ画像センサに対して時間遅延を伴うように開始するように構成されたコントローラであって、各ローリングシャッタ画像センサに対するフレームの走査の開始と開始との間の前記時間遅延は、単一のフレームを走査するのに要する時間をローリングシャッタ画像センサの個数によって除算されたものに等しい、コントローラと、
対象の類似する送出画像を各ローリングシャッタ画像センサ上に投影するレンズシステムであって、前記対象上の位置に対応する送出画像の各ピクセルが前記対象上のそれぞれの前記位置に対応する他の送出画像のピクセル又はピクセルのグループと一致するように、前記送出画像が各ローリングシャッタ画像センサ上に投影される、レンズシステムとを備える画像センシングシステムであって、
前記画像センシングシステムは、
（ｉ）前記対象を照射するために、異なる波長によって規定される、光の少なくとも２つの異なる色を生成する光生成器と、各ローリングシャッタ画像センサに対する各フレームの走査中に光の前記少なくとも２つの異なる色をシーケンシャルに生成するように、前記光生成器を制御することにより、各送出画像が、各ローリングシャッタ画像センサによって取り込まれるようにするタイミングモジュールとを備えて、前記送出画像が、異なる波長によって規定される光の異なる色で各ローリングシャッタ画像センサによって取り込まれるか、又は、
（ｉｉ）他の送出画像の色と異なる単一の色で各送出画像を投影するために、前記レンズシステムが、異なる波長によって規定される光の２つ又はそれより多くの異なる色に入来光を分割するプリズムを備えることにより、各ローリングシャッタ画像センサが、光の異なる色で送出画像を取り込み、
前記画像センシングシステムは、
前記対象上のそれぞれの位置に対応する異なる送出画像の一致するピクセルを識別し、各一致するピクセルの前記強度読出しとそれぞれの一致するピクセルが感応性であった間に当該ピクセルが露出された光の前記色とに基づいて、各一致するピクセルからの色を重ねることにより、前記対象の前記色を決定するプロセッサを更に備える、
画像センシングシステム。

【請求項2】

各ローリングシャッタ画像センサ上の送出画像の各画像ラインは、前記対象上の位置に対応する他のローリングシャッタ画像センサの他の送出画像の画像ラインと一致し、前記プロセッサは、一致する画像ラインを識別し、前記一致する画像ラインにおける各ピクセルの前記強度読出しと、前記それぞれのピクセルが感応性であった間に当該ピクセルが露出された光の前記色とに基づいて、前記対象の前記それぞれの位置の前記色を決定する、請求項１に記載の画像センシングシステム。

【請求項3】

前記一致するピクセル又は前記一致する画像ラインは、前記ローリングシャッタ画像センサと前記レンズシステムとの構成に基づいて予め決められている、請求項１に記載の画像センシングシステム。

【請求項4】

単一のフレームを走査中の光の色と色との間のスイッチングの周波数は、画像センサの個数又はその倍数に等しい、請求項１から３のいずれか一項に記載の画像センシングシステム。

【請求項5】

前記光生成器が生成する光の色の個数は、ローリングシャッタ画像センサの個数又はその倍数に等しい、請求項１から３のいずれか一項に記載の画像センシングシステム。

【請求項6】

少なくとも２つのローリングシャッタ画像センサであって、各ローリングシャッタ画像センサは、幅方向に沿って延在する複数の画像ラインに配置され且つ前記幅方向に垂直な走査方向に配分された、フレームのピクセルのアレイを備え、各ローリングシャッタ画像センサは、前記走査方向に沿って各画像ラインをシーケンシャルに走査することによりそのフレームを走査し、各画像ラインを走査することは、各画像ラインにおける前記ピクセルを、所定の露出時間の間、光に対して感応性として、それぞれの前記画像ラインの各ピクセルに対する強度読出しを決定することを含む、当該少なくとも２つのローリングシャッタ画像センサを用いて、対象の色を決定する方法であって、
前記方法は、
各ローリングシャッタ画像センサに対するフレームの走査開始が、他のローリングシャッタ画像センサに対して時間遅延を伴って走査されるようなずれた様態で、各ローリングシャッタ画像センサのフレームを走査するステップであって、各ローリングシャッタ画像センサに対するフレームの走査の開始と開始との間の前記時間遅延は、単一のフレームを走査するのに要する時間をローリングシャッタ画像センサの個数によって除算されたものに等しい、ステップと、
前記対象上の位置に対応する送出画像の各ピクセルが前記対象上のそれぞれの前記位置に対応する他の送出画像のピクセル又はピクセルのグループと一致し、類似する送出画像を各ローリングシャッタ画像センサ上に投影するステップとを有し、
前記方法は、
（ｉ）他の送出画像と色が異なる単一の色で各送出画像を投影するために、異なる波長によって規定される光の２つ又はそれより多くの異なる色に入来光を分割するステップであって、これにより、各ローリングシャッタ画像センサが、光の異なる色を持つ送出画像を取り込み、前記送出画像が、異なる波長によって規定される光の異なる色で各ローリングシャッタ画像センサによって取り込まれる、ステップか、又は、
（ｉｉ）各送出画像が各ローリングシャッタ画像センサによって取り込まれるように、前記ローリングシャッタ画像センサの各フレームの走査中に前記対象を照射するため、異なる波長によって規定される光の少なくとも２つの異なる色をシーケンシャルに生成するステップを有し、
前記方法は、更に、
前記対象上のそれぞれの位置に対応する異なる送出画像の一致するピクセルを識別し、前記送出画像における各一致するピクセルの前記強度読出しと、それぞれの前記一致するピクセルが感応性であった間に当該ピクセルが露出された光の前記色とに基づいて、各一致するピクセルからの色を重ねることにより、前記対象のそれぞれの前記位置の前記色を決定するステップを有する、
方法。

【請求項7】

各ローリングシャッタ画像センサ上の送出画像の各画像ラインは、前記対象上の位置に対応する他のローリングシャッタ画像センサの他の送出画像の画像ラインと一致し、
前記方法は、一致する画像ラインを識別し、前記一致する画像ラインにおける各ピクセルの前記強度読出しと、前記それぞれのピクセルが感応性であった間に当該ピクセルが露出された光の前記色とに基づいて、前記対象の前記それぞれの位置の前記色を決定するステップを有する、請求項６に記載の方法。

【請求項8】

光の前記少なくとも２つの異なる色は、単一のフレームの走査中の画像センサの前記個数又はその倍数に等しい周波数でシーケンシャルに生成される、請求項６又は７に記載の方法。

【請求項9】

生成される光の色の前記個数は、ローリングシャッタ画像センサの前記個数又はその倍数に等しい、請求項６又は７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象の色を決定する画像センシングシステムと、対象の色を決定する方法とに関する。

【背景技術】

【0002】

マルチスペクトル撮像は人間の眼が区別することができる３つの色（赤、緑、及び青）より多くのスペクトル分解能（すなわち、色）を有する画像を作成することを含む。一般的に、色を有する画像を作成することは、複数の色を感知することができる画像センサの使用を含む。しかし、カラーセンサは、白黒画像センサよりも高価であり、３色より多くを感知可能なセンサは、更に高価であり、作成するのが難しい。

【0003】

米国特許出願公開第２０２０／０３２２５５２号は、蛍光撮像によってアクセス可能な情報の使用が最適化されることを可能にする方法を開示している。この目的のために、その方法は、蛍光カメラのローリングシャッタモードでの動作により、較正のためのプロトコルと蛍光マーカを励起させるパルス光の同期との組合せを実施している。適切な補正係数により、どの画像も失われないように、カメラのフォトダイオード全部によって統合される完全な信号が用いられることが可能になる。

【発明の概要】

【0004】

一態様によると、画像センシングシステムが提供され、この画像センシングシステムは、少なくとも２つのローリングシャッタ画像センサであって、各ローリングシャッタ画像センサは、幅方向に沿って延在する複数の画像ラインに配置され且つ幅方向に垂直な走査方向に配分された、フレームのピクセルのアレイを備え、各ローリングシャッタ画像センサは、走査方向に沿って各画像ラインをシーケンシャルに走査することによりそのフレームを走査し、各画像ラインを走査することは、各画像ラインにおけるピクセルを、所定の露出時間の間、光に対して感応性として、それぞれの画像ラインの各ピクセルに対する強度読出しを決定することを含む、少なくとも２つのローリングシャッタ画像センサと、各ローリングシャッタ画像センサに対するフレームの走査を時間的にずらすことにより、各ローリングシャッタ画像センサに対する走査方向における第１の画像ラインからのフレームの走査を、他のローリングシャッタ画像センサに対して時間遅延を伴うように開始するように構成されたコントローラと、対象の類似する送出画像を各ローリングシャッタ画像センサ上に投影するレンズシステムであって、対象上の位置に対応する送出画像の各ピクセルが対象上のそれぞれの位置に対応する他の送出画像のピクセル又はピクセルのグループと一致するように、また、送出画像が、異なる波長によって規定される光の異なる色で各ローリングシャッタ画像センサによって取り込まれるように、送出画像が各ローリングシャッタ画像センサ上に投影される、レンズシステムと、対象上のそれぞれの位置に対応する異なる送出画像の一致するピクセルを識別し、各一致するピクセルの強度読出しとそれぞれの一致するピクセルが感応性であった間に当該ピクセルが露出された光の色とに基づいて、各一致するピクセルからの色を重ねることにより、対象の色を決定するプロセッサとを備える。

【0005】

他の送出画像の色と異なる単一の色で各送出画像を投影するために、レンズシステムは、異なる波長によって規定される光の２つ又はそれより多くの異なる色に入来光を分割するプリズムを備えていることにより、各ローリングシャッタ画像センサが、光の異なる色を持つ送出画像を取り込む。

【0006】

この画像センシングシステムは、対象を照射するために、異なる波長によって規定される光の少なくとも２つの異なる色を生成する光生成器を備えている。この画像センシングシステムは、各ローリングシャッタ画像センサに対する各フレームの走査中に光の少なくとも２つの異なる色をシーケンシャルに生成するように、光生成器を制御することにより、各送出画像が、２つ又はそれより多くの異なる色を有する各ローリングシャッタ画像センサによって取り込まれるようにするタイミングモジュールを備えている。

【0007】

各ローリングシャッタ画像センサ上の送出画像の各画像ラインは、対象上の位置に対応する他のローリングシャッタ画像センサの他の送出画像の画像ラインと一致する。プロセッサは、一致する画像ラインを識別し、一致する画像ラインにおける各ピクセルの強度読出しと、それぞれのピクセルが感応性であった間に当該ピクセルが露出された光の色とに基づいて、対象のそれぞれの位置の色を決定する。

【0008】

一致するピクセル又は一致する画像ラインは、ローリングシャッタ画像センサとレンズシステムとの構成に基づいて予め決められている。

【0009】

最も単純な形態では、最小量の処理を要求するために、各ローリングシャッタ画像センサは、同じ個数の画像ラインを備え、各画像センサ上の画像ラインは、異なる画像センサ上の走査方向における同じ位置の対応する画像ラインと一致する。

【0010】

単一のフレームを走査中の光の色と色との間のスイッチングの周波数は、画像センサの個数又はその倍数に等しい。単一のフレームを走査する間の光の色の間のスイッチングの周波数は、画像センサの個数と等しいか、又はそれよりも多い。

【0011】

光生成器が生成するように構成されている光の色の個数は、ローリングシャッタ画像センサの個数又はその倍数に等しい。

【0012】

各ローリングシャッタ画像センサに対するフレームの走査の開始と開始との間の時間遅延は、単一のフレームを走査するのに要する時間をローリングシャッタ画像センサの個数によって除算されたものに等しい。

【0013】

レンズシステムは、同一の送出画像を少なくとも２つの異なるローリングシャッタ画像センサに投影する光ビームスプリッタを備えている。

【0014】

第２の態様によると、少なくとも２つのローリングシャッタ画像センサであって、各ローリングシャッタ画像センサは、幅方向に沿って延在する複数の画像ラインに配置され且つ幅方向に垂直な走査方向に配分された、フレームのピクセルのアレイを備え、各ローリングシャッタ画像センサは、走査方向に沿って各画像ラインをシーケンシャルに走査することによりそのフレームを走査し、各画像ラインを走査することは、各画像ラインにおけるピクセルを、所定の露出時間の間、光に対して感応性として、それぞれの画像ラインの各ピクセルに対する強度読出しを決定することを含む、少なくとも２つのローリングシャッタ画像センサを用いて、対象の色を決定する方法が提供され、この方法は、
各ローリングシャッタ画像センサに対するフレームの走査開始が、他のローリングシャッタ画像センサに対して時間遅延を伴って走査されるようなずれた様態で、各ローリングシャッタ画像センサのフレームを走査するステップと、対象上の位置に対応する送出画像の各ピクセルが対象上のそれぞれの位置に対応する他の送出画像のピクセル又はピクセルのグループと一致し、送出画像が、異なる波長によって規定される光の異なる色で各ローリングシャッタ画像センサによって取り込まれるように、類似する送出画像を各ローリングシャッタ画像センサ上に投影するステップと、対象上のそれぞれの位置に対応する異なる送出画像の一致するピクセルを識別し、送出画像における各一致するピクセルの強度読出しと、それぞれの一致するピクセルが感応性であった間に当該ピクセルが露出された光の色とに基づいて、各一致するピクセルからの色を重ねることにより、対象のそれぞれの位置の色を決定するステップとを有する。

【0015】

この方法は、他の送出画像と色が異なる単一の色で各送出画像を投影するために、異なる波長によって規定される光の２つ又はそれより多くの異なる色に入来光を分割するステップを有することにより、各ローリングシャッタ画像センサが、光の異なる色を持つ送出画像を取り込む。

【0016】

この方法は、各送出画像が２つ又はそれより多くの異なる色を有する各ローリングシャッタ画像センサによって取り込まれるように、対象を照射するため、ローリングシャッタ画像センサの各フレームの走査の間に、異なる波長によって規定される光の少なくとも２つの異なる色をシーケンシャルに生成するステップを有する。時間遅延は、単一のフレームを走査するのに要する時間よりも短い。

【0017】

各ローリングシャッタ画像センサ上の送出画像の各画像ラインは、対象上の位置に対応する他のローリングシャッタ画像センサの他の送出画像の画像ラインと一致する。この方法は、一致する画像ラインを識別し、一致する画像ラインにおける各ピクセルの強度読出しと、それぞれのピクセルが感応性であった間に当該ピクセルが露出された光の色とに基づいて、対象のそれぞれの位置の色を決定するステップを有する。

【0018】

一致する画像ラインは、ローリングシャッタ画像センサの構成と送出画像の投影とに基づいて、予め決定される。

【0019】

光の少なくとも２つの異なる色は、単一のフレームの走査の間の画像センサの個数又はその倍数に等しい周波数でシーケンシャルに生成される。単一のフレームを走査する間の光の色の間のスイッチングの周波数は、画像センサの個数と等しいか、又はそれよりも多い。

【0020】

生成される光の色の個数は、ローリングシャッタ画像センサの個数又はその倍数に等しい。

【0021】

各ローリングシャッタ画像センサに対するフレームの走査の開始と開始との間の時間遅延は、単一のフレームを走査するのに要する時間がローリングシャッタ画像センサの個数によって除算されたものに等しい。

【0022】

これらの及び他の態様は、本明細書において以下で説明される実施形態を参照して明らかになるだろう。

【0023】

次に、例示的な実施形態が、以下の図面を例としてのみ参照して説明されるだろう。

【図面の簡単な説明】

【0024】

【図1】第１の例示的な画像センシングシステムの概略的な図である。

【図2】図１の画像センシングシステムによって取り込まれる送出画像の例示的な取込み時間マップと例示的な走査時間マップとの概略的な図である。

【図3】図２の取込み時間マップのより詳細な概略的な図である。

【図4】第２の例示的な画像センシングシステムの概略的な図である。

【図5】図４の画像センシングシステムを用いて取り込まれる複数の画像とその処理との概略的な図である。

【図6】対象の色を決定する方法のステップを示すフローチャートである。

【発明を実施するための形態】

【0025】

図１は、対象１２の画像を感知して対象１２の色を決定するのに用いられる画像センシングシステム１０を示している。画像センシングシステム１０は、２つのローリングシャッタ画像センサ１４と、対象１２の類似する送出画像（ｏｕｔｇｏｉｎｇ ｉｍａｇｅｓ）を各画像センサ１４上に投影するように構成されているレンズシステム１６とを備える。したがって、この例では、レンズシステム１６は、対象１２の類似の送出画像を投影するように構成されている。いくつかの例では、２つより多くのローリングシャッタ画像センサが存在し、レンズシステムは、少なくとも１つの送出画像が各画像センサ上に投影されるように、対象の２つより多くの類似の送出画像を画像センサ上に投影するように構成される。

【0026】

この例におけるレンズシステム１６は、各画像センサ１４の前に、相互に隣接して配置されている２つのレンズ２４を備える。レンズシステム１６は、したがって、撮像される対象１２と画像センサ１４の各々との間に配置されるように構成される。

【0027】

他の例では、レンズシステムは、レンズと１つ又は複数のビームスプリッタとを備えてもよく、レンズと画像センサとの間にビームスプリッタが配置されるか、又はビームスプリッタと各画像センサとの間にレンズが配置されていることにより、ビームスプリッタは、２つ又はそれより多くの同一の画像を画像センサ上に投影するように、レンズからのビームを分割するように構成される。

【0028】

画像センシングシステム１０は、この例では対象１２を照射する光の２つの異なる色を生成するように構成された光生成器１８を備える。この例では、光生成器１８は、緑（Ｇ）及び赤（Ｒ）である２つのライト２０を備え、これらのライトは、異なる波長（すなわち、光の異なる色）で光のフラッシュを生成するように構成される。他の例では、光生成器は、３つのライトを用いて光の３つの異なる色を生成する、又は３つより多くのライトを用いて３つより多くの色を生成するように、構成され得る。更なる例では、ライトは、フラッシュとは対照的に、連続的な光を続けて生成するように構成され得る。光の異なる色を生成することは、ただ１つのライトを複数の異なる色フィルタと共に用いることでも達成可能であることが理解されよう。いくつかの例では、ライトの色は、緑及び赤とは異なる色であり得る。

【0029】

画像センシングシステム１０は、光の異なる色を適切な間隔で生成するように光生成器１８を制御する、換言すると、光生成器１８の異なるライト２０を正確な時点でフラッシュするように制御するように構成されたタイミングモジュール２６を備え、これについては、図２を参照して、後でより詳細に説明される。

【0030】

画像センシングシステム１０は、画像センサ１４の走査のタイミングを制御するように構成されたコントローラ２９を更に備えているが、これについても、図２を参照して、後でより詳細に説明される。

【0031】

図２は、取込み時間マップ４８において、２つのローリングシャッタ画像センサ１４（第１のローリングシャッタ画像センサ１４ａ及び第２のローリングシャッタ画像センサ１４ｂ）を用いてシーケンシャルに取り込まれた送出画像４２を有する複数のフレーム３０を示し、ここで、２つの画像センサ１４は、同じフレームレートを有する。

【0032】

各ローリングシャッタ画像センサ１４は、幅方向３６に沿って延在する画像ライン３４に配置され且つ幅方向３６に垂直な走査方向４０に配分された、フレーム３０のピクセル３２のアレイを備える。この例では、各画像センサ１４は、簡潔にするために、画像ライン３４を４つだけ備える。画像センサはいずれかの適切な数の画像ラインを有し得ることが理解されよう。

【0033】

各ローリングシャッタ画像センサ１４は、走査方向４０に沿って各画像ライン３４をシーケンシャルに走査することによって、ピクセル３２の全体のフレーム３０を走査するように構成されている。換言すると、各ローリングシャッタ画像センサ１４は、画像ライン３４を走査し、次に、走査方向４０に隣接する画像ライン３４が続く。

【0034】

各画像ライン３４の走査は、幅方向３６に沿って画像ライン３４の各ピクセル３２をシーケンシャルに走査することを含む。換言すると、画像センサ１４は、画像ライン３４のピクセル３２を走査し、次に、幅方向３６の画像ライン３４の隣接するピクセルが続く。各画像ライン３４を走査することは、所定の露出時間の間、それぞれの画像ライン３４におけるピクセル３２を光に対して感応性にして、次に、各ピクセル３２に対する強度読出しを読み出すことを含む。

【0035】

図２は、第１の画像センサ１４ａと第２の画像センサ１４ｂとの複数のフレーム３０がシーケンシャルに取り込まれるのを示しており、第１の画像センサ１４ａからのフレーム３０の走査と第２の画像センサ１４ｂからのフレーム３０の走査との間で比較した時間遅延はｔ_ｄである。時間遅延ｔ_ｄは、画像センシングシステム１０のコントローラ２９によって制御される。換言すると、コントローラ２９は、走査方向４０における第１の画像ライン３４からの各画像センサ１４に対するフレーム３０の走査を、他方の画像センサ１４に対して時間遅延ｔ_ｄを伴って開始させるように、各画像センサ１４に対するフレーム３０の走査を時間的にずらすように構成されている（図２に示されている）。この例では、時間遅延ｔ_ｄは、第１の画像センサ１４ａによって取り込まれる全フレーム３０と第２の画像センサ１４ｂによって取り込まれるフレーム３０との間で比較して同じであって、フレーム３０全体を走査するのに要する時間の半分に等しい。他の例では、時間遅延は、フレーム全体を走査するのに要する時間に対しフレーム全体を走査するのに要する時間の半分より多いか、又はフレーム全体を走査するのに要する時間の半分未満であり得る。走査を開始する時間遅延は、異なる画像センサの間で、等しくないことがあり得る。

【0036】

画像センサ１４の隣には、走査時間マップ５０が示されている。走査時間マップ５０は、左から右に時間の経過を示している。各画像ライン３４に対して、走査時間マップ５０は、露出時間５２と、それに続く強度の読出し５４とを示している。換言すると、所定の露出時間５２の間、画像ライン３４が光に対して感応性になると、画像センサ１４は、画像ライン３４のピクセル３２を読み出すように構成される。ピクセル３２を読み出すことは、露出時間５２の間にそれぞれのピクセル３２において受け取られた光の強度に対応する、それぞれの画像ライン３４の各ピクセル３２に対する強度を決定することを含む。

【0037】

走査方向４０における各画像ライン３４に対する露出時間５２の開始は、先行する画像ライン３４から所定の時間量だけオフセットされており、これは、画像ライン３４を読み出すのに要する時間量５４に対応する。したがって、各画像ライン３４は同じ時間量だけ光に対して感応性であるが、各画像ライン３４に対する光感応性は、異なる時刻において開始する。

【0038】

画像センシングシステム１０のタイミングモジュール２６は、各画像センサ１４の各フレーム３０の走査中に光の２つの異なる色をシーケンシャルに生成するように光生成器１８を制御するように構成されているため、各画像センサ１４の各フレーム３０は、それぞれの画像センサ１４のピクセル３２が光に対して感応性である間に光の２つの異なる色によって照射された送出画像を取り込む。換言すると、各画像センサ１４によって取り込まれる各送出画像４２は、光の少なくとも２つの異なる色を有する（図３において、最もよく示されている）。

【0039】

この例では、光生成器１８からの光のフラッシュ５６は、対象１２を、間隔をあけて照射するように制御されており、光のフラッシュ５６は緑（Ｇ）と赤（Ｒ）との間で交番していて、少なくとも１つの緑のフラッシュ５６と少なくとも１つの赤のフラッシュ５６とが各画像センサ１４に対する各フレーム３０の走査中に対象１２を照射するように、タイミングが決められている。この例では、光の各フラッシュ５６は、単一のフレーム３０の画像ライン３４の半分が感応性であるとき、対象１２を照射するように生成される。したがって、各フレーム３０の走査の間に、光のフラッシュが、２つ存在する。図２に示されている単純化された例では、これは、次のことを意味する。すなわち、第１の画像センサ１４ａの第１のフレーム３０の最初の２つの画像ライン３４だけが感応性であるときには、光の赤い（Ｒ）フラッシュ５６が生成され、次に、第２の画像センサ１４ｂの第１のフレーム３０の最初の２つの画像ライン３４だけが感応性であり、第１の画像センサ１４ａの第３及び第４の画像ライン３４が感応性であるときには、対象を照射するために、光の緑の（Ｇ）フラッシュ５６が生成される。これが、各フレーム３０に対して反復される。

【0040】

間隔をあけてフラッシュされた光の交番する色の結果として取り込まれる例示的な送出画像４２が、図３に示されている。

【0041】

図３には、複数の送出画像４２が、画像ライン３４が感応性である間に対象１２を照射した光の色（Ｇ）及び（Ｒ）と共に、取込み時間マップ４８に示されている。第１の画像センサ１４ａの第１のフレーム３０における送出画像４２の下半分と、第２の画像センサ１４ｂの第１のフレーム３０における送出画像４２の上半分とが、両方共、同時に緑に照射されていることを、見ることができる。したがって、第２の画像センサ１４ｂからの送出画像４２の上半分と第１の画像センサ１４ａからの送出画像４２の下半分とを合成することによって、フレーム３０の半分を読み出すのに要する時間で、緑の光によって照射された対象１２の全体を示す送出画像４２からの接合された画像６０が作成されることが可能である。これは、同時に赤い光（Ｒ）を用いて共に照射される第１の画像センサ１４ａからの第２のフレーム３０の上半分と第２の画像センサ１４ｂの第１のフレーム３０の下半分とに対して反復されることが可能であり、したがって、フレーム３０の半分を読み出すのに要する時間において赤い光（Ｒ）を用いて照射された対象１２の全体の接合された画像６０を作成することができる。これは、光の単一色によって照射される対象１２を取り込む両方の画像センサ１４から読み出される半フレーム３０ごとに対して反復されることが可能であり、送出画像４２から導かれる複数の接合された画像６０を生じさせる。

【0042】

図１を再び参照すると、画像センシングシステム１０は、更に、各々が対象１２上の同じ位置に対応する異なる送出画像４２の一致するピクセル３２を識別するように構成されているプロセッサ２８を備える。例えば、図３において各フレーム３０に対する走査方向と幅方向との第１のピクセル３２として示されているピクセルＡは、各フレーム３０に対して対象１２上の同じ位置に対応しているため、各フレーム３０上のピクセルＡは、他のフレーム３０上のピクセルＡに一致する。

【0043】

この例では、この例における送出画像４２は各画像センサ１４上において同じサイズに投影され、各画像センサ１４は同じ数の画像ライン３４を有するので、撮像されている対象１２が早く移動しないと仮定すると、対象１２上のある位置に対応するある送出画像４２の各ピクセル３２は、対象１２上の同じ位置に対応する別の送出画像４２の画像センサ１４の同じ位置におけるピクセル３２と一致する。更に、対象１２上のある位置に対応するある送出画像４２の画像ライン３４全体は、対象１２上の同じ位置に対応する別の送出画像４２上の画像ライン３４全体と一致する。

【0044】

送出画像は同一のサイズである必要はなく、対象上のある位置に対応するある送出画像のピクセルは、対象上の同じ位置に対応する別の送出画像のピクセルのグループに対応し得ることが理解されよう。

【0045】

一致する画像ライン３４とピクセル３２とは、レンズシステム１６と画像センサ１４との構成によって予め決められており、したがって、一致する画像ライン３４又は一致するピクセル３２を識別するには、非常に僅かな処理能力が要求されるだけである。画像センシングシステムが高速で移動している対象を取り込む蓋然性が高い場合には、類似する、したがって対象上の同じ位置に対応する蓋然性が高い各送出画像の部分を識別するのに、より多くの処理が要求される。

【0046】

他の例では、投影される送出画像が同じサイズでない場合には、全体の画像ラインが一致することはないが、依然として、一致するピクセルは、レンズシステムと画像センサとの構成に基づいて、予め決定され得る。

【0047】

プロセッサ２８は、緑の光と赤い光とによって照射される一致するピクセルＡの強度読出しに基づいて、各一致するピクセルの色を決定するように構成されている。例えば、緑の接合された画像６０と赤い接合された画像６０とを重ねることによって、用いられている画像センサ１４がモノクロの画像センサである場合であっても、各ピクセルにおける対象１２の色が決定された状態で、出力画像７０を作成することが可能である。換言すると、プロセッサ２８は、各一致するピクセル３２の強度読出しと、感応性であった間にそれぞれの一致するピクセル３２が露出された色とに基づいて、対象１２の色を決定するように構成されている。決定された色は、各フレーム３０の走査中に光生成器１８によって生成された光の２つの色の波長を含むスペクトル分解能を有する。

【0048】

接合された画像６０は送出画像４２から直接的に導かれるから、接合された画像６０を形成する中間ステップは色を決定することを要求されないことが理解されよう。むしろ、単に、一致するピクセル３２を送出画像４２とピクセル３２が露出された光の色とから識別し、異なる色とそれらの強度とを重ねることによって、色を決定することが可能である。

【0049】

複数の画像センサ１４と、各画像センサのずらされた走査とにより、出力画像７０の有効フレームレート（すなわち、決定された色を備えた画像）が増加する。この例では、有効フレームレートは２倍になるが、より多くの画像センサが存在する他の例では、有効フレームレートは、画像センサの個数の倍数だけ更に増加する。

【0050】

１つのフレーム３０の走査の間には光のフラッシュ５６は２つ生成されるとこれまで説明されてきたが、他の例では、タイミングモジュールが、各フレームの走査中に２つより多くのフラッシュなど、異なる周波数で光のフラッシュを生成するように、光生成器１８を制御することがあり得る。代替的に、単一のフレームの走査の間に、画像センサの個数と等しい又はその倍数に等しい周波数で光のフラッシュ５６を生成させると、色を分解するのに要求される処理を縮小することになるが、その理由は、時間的に隣接するフレームの間では、一致する画像ラインが常に同一であるからである。

【0051】

２つより多くの画像センサが存在するような、いくつかの例では、光の異なる色を生成するように構成されたより多くのライトが存在し得る。３つの画像センサが存在する例では、光の３つ又はそれより多くの異なる色を生成する３つ又はそれより多くのライトが存在し得る。光の色の数が画像センサの個数に等しい又はその倍数に等しいときには、色を決定するのに要求される処理は縮小する。

【0052】

この例では、異なるロールの走査の開始の間の時間遅延はフレーム全体を走査するのに要する時間の半分に等しいと説明されてきたが、他の例では、時間遅延は、いずれかの適切な時間遅延であり得る。この例におけるように、時間遅延が単一のフレームを走査するのに要する時間を画像センサの個数によって除算したものに等しいときには、色を決定するのに要求される処理は縮小する。更に、時間遅延の期間内に走査される画像ラインの個数が光の単一のフラッシュに露出される画像ラインの個数に等しい場合には、色を決定するのに要求される処理は更に縮小するが、その理由は、同じ画像ラインは、異なる色を有するフレームの間で常に一致し、その結果として、重ねられる一致する画像ラインを識別することは、画像センサによって取り込まれる隣接するフレームの間で常に同一であるからである。

【0053】

図４は、対象１２の画像を感知して対象１２の色を決定するのに用いられる第２の例示的な画像センシングシステム１００を示す。第２の例示的な画像センシングシステム１００は、第１の例示的な画像センシングシステム１０におけるローリングシャッタ画像センサ１４と類似する３つのローリングシャッタ画像センサ１４０を備える。

【0054】

画像センシングシステム１０は、対象１２の類似する送出画像を各画像センサ１４０上に投影するように構成されたレンズシステム１６０を備える。したがって、この例では、レンズシステム１６０は、対象１２の３つの類似する送出画像を投影するように構成される。いくつかの例では、ローリングシャッタ画像センサが２つだけしか存在しない、又は３つより多くの画像センサが存在していて、レンジシステムが、対象の２つ又は３つより多くの類似する送出画像を画像センサ上に投影するように構成される場合もあり得る。

【0055】

この例におけるレンズシステム１６０は、対象１２からの入来光を、異なる波長によって規定される光の３つの異なる色に分割するように構成された３原色プリズム１６２を備えており、この例では、異なる色とは、緑（Ｇ）、青（Ｂ）、及び赤（Ｒ）である。各画像センサ１４０は、プリズム１６２と各画像センサ１４０との間に配置されたレンズ２４を用いて、光の異なる色を有する送出画像１４２（図５に示されている）を取り込むように位置決めされている。他の例では、対象とプリズムとの間にただ１つのレンズが配置されている場合もあり得る。各画像センサ１４０は、したがって、黒白の画像センサでもよく、その理由は、光のどの色を各画像センサ１４０が受け取っているのか分かっており、したがって受け取られる光の強度はその色の強度に対応するからである。

【0056】

第２の例示的な画像センシングシステム１００は、プロセッサ１２８を備えており、このプロセッサ１２８は、対象１２上のそれぞれの位置に対応する異なる送出画像１４２の一致したピクセルを識別して、各一致したピクセルの強度読取りとそれぞれの一致したピクセルが感応性である間に露出された光の色とに基づいて、対象の色を決定するように構成されている。

【0057】

第２の例示的な画像センシングシステム１００は、コントローラ１２９を備え、このコントローラ１２９は、図２の取込み時間マップ４８に示されている第１の例示的な画像センシングシステム１０と類似の様態で、画像センサ１４０の走査のタイミングを制御するように構成されている。換言すると、コントローラ１２９は、各画像センサ１４０に対するフレーム１３０の走査の間に時間遅延が存在するように、各画像センサ１４０の走査を制御する。

【0058】

レンズシステムは入来光を異なる色の３つの送出画像に分割する３原色プリズムを備えると説明してきたが、いくつかの例では、プリズムは、光を、画像センサの個数に対応して、いずれかの適切な数の異なる色に分割し得る。

【0059】

図５は、第１の画像センサ１４０ａ、第２の画像センサ１４０ｂ、及び第３の画像センサ１４０ｃによって取り込まれる複数のフレーム１３０を示す。この例では、ある画像センサ１４０の走査の開始と別の画像センサ１４０の走査の開始との間の時間遅延ｔ_ｄは、フレーム１３０の全体を走査するのに要する時間の３分の１に等しい。他の例では、時間遅延は、フレームの全体を走査するのに要する時間の３分の１よりも長いか、又はフレームの全体を走査するのに要する時間の３分の１よりも短くてもよい。走査を開始する時間遅延は、異なる画像センサの間で、等しくない場合があり得る。

【0060】

第１の例示的な画像センシングシステム１０と第２の例示的な画像センシングシステム１００とにおける時間遅延が複数の画像センサの間で一定であり、単一のフレームを走査するのに要する時間を画像センサの個数で除算したものに等しいときには、一定の有効な増加したフレームレートが最大化される。

【0061】

レンズシステム１６０の構成により、各画像センサ１４０は、送出画像４２を単一の色で取り込むが、その色は各画像センサ１４０で異なる。

【0062】

出力画像１７０は、（シーケンスの最初の２つの画像、又はｎを画像センサの個数として、シーケンスの最初のｎ－１個の画像を除いて）任意の単一の送出画像１４２の走査が終了した後で、送出画像１４２から導かれ得る。例えば、各画像センサ１４０からの最初のフレーム１３０の後で、Ｒ１、Ｇ１、及びＢ１が取り込まれ、出力画像１７０が、プロセッサ１２８によって、フレームＲ１、Ｇ１、及びＢ１における各一致したピクセルの色を決定することによって、作成されることが可能である。第１の例示的な画像センシングシステム１０におけるように、ピクセル又は全体の画像ラインが、レンズシステムと画像センサとの構成に基づいて、一致する。次のフレームＲ２がフレーム１３０の３分の１を走査するのに要する時間の後で終了すると、次の出力画像１７０が、Ｒ２、Ｇ１、及びＢ１に基づいて作成されることが可能である。各出力画像１７０が、次に、各画像センサ１４０からの最も近い時点で終了した送出画像１４２（すなわち、各色の最も近い時点で終了した送出画像１４２）から導かれることが可能であることにより、新たな出力画像が、各画像センサ１４０のフレームレートの３倍のレートで作成される。したがって、複数の画像センサ１４０のずらした走査により、画像センシングシステム１００の有効フレームレートは、決定された色画像（すなわち、出力画像１７０）に対して、上昇させることが可能である。

【0063】

図６は、第１の例示的な画像センシングシステム１０又は第２の例示的な画像センシングシステム１００に示されているような、少なくとも２つのローリングシャッタ画像センサ１４、１４０を用いて、対象の色を決定する方法２００のステップを示すフローチャートである。

【0064】

方法２００のブロック２０２は、各画像センサ１４、１４０に対するフレーム３０、１３０を走査する開始が、別の画像センサ１４、１４０に対して時間遅延ｔ_ｄを伴って走査されるずれた様態で、各ローリングシャッタ画像センサ１４、１４０のフレーム３０、１３０を走査するステップを有する。

【0065】

方法２００のブロック２０４は、類似する送出画像４２、１４２を各画像センサ１４、１４０上に投影するステップを有し、この場合に、対象１２上のある位置に対応する送出画像４２、１４２の各ピクセル３２は、対象１２上のそれぞれの位置に対応する別の送出画像４２、１４２のピクセル３２又はピクセル３２のグループに一致することにより、送出画像４２、１４２は、異なる波長によって規定される光の異なる色で各ローリングシャッタ画像センサ１４、１４０によって取り込まれる。換言すると、各個別の送出画像は光の異なる色で取り込まれるか、又は各個別の送出画像は光の単一の色で取り込まれるが、各送出画像は光の異なる色で取り込まれる。

【0066】

方法２００のブロック２０６は、各送出画像が２つ又はそれより多くの頃なる色を有する各ローリングシャッタ画像センサによって取り込まれるように、ローリングシャッタ画像センサの各フレームの走査中に対象を照射するための光の異なる色をシーケンシャルに生成するステップを有する。例えば、それぞれの送出画像４２の異なる部分において光の２つ又はそれより多くの色を各々が取り込む送出画像４２を生成する第１の例示的な画像センシングシステム１０を用いる。

【0067】

例えば、入射光を異なる複数の色に分割するプリズム１６２を有する第２の例示的な画像センシングシステム１００を用いるブロック２０６は任意選択であり、光生成器は必要でないことが理解されよう。各個別の送出画像１４２は、光の単一色だけで取り込まれるが、画像センサ１４０の各々が、光の異なる色を取り込む。送出画像１４２は、対象１２の同一の視野を投影するが、各々が、対象１２の異なる色を投影する。

【0068】

方法２００のブロック２０８は、対象１２上のそれぞれの位置に対応する異なる送出画像４２、１４２の一致するピクセルを識別するステップと、送出画像４２、１４２における各一致するピクセルの強度読出しと、それぞれの一致するピクセルが感応性であった間にそれらが露出された色とに基づいて、対象１２のそれぞれの位置の色を決定するステップとを有する。決定された色は、ブロック２０６において生成された光の色を含む、又はプリズムによって画像センサに投影された光の色を含む色スペクトルを有する。既に説明されたように、一致する全体の画像ライン３４を識別することが可能であることにより、画像全体の色を決定するのに要求される処理が縮小される。

【0069】

画像センサの間でのフレームの走査を開始する時間遅延が１／（画像センサの個数）に等しいときには、ある画像センサ上の画像ライン全体は他の画像センサ上の他の画像ラインと一致すると仮定することが可能であるため、撮像されている対象の色を決定するために一致するピクセルを識別するのに要求される処理が縮小されるから、異なる画像センサの間で及び時間経過に伴い時間遅延は一定であり、色決定に要求される処理はずっと少なくなることが理解されるだろう。

【0070】

開示されている実施形態に対する変形は、本明細書に記載されている原理及び技術を実践することにより、図面と開示と添付の特許請求の範囲との検討から、当業者によって理解され実現されることが可能である。特許請求の範囲における「有する、備える、含む」という語句は他の要素又はステップを排除しないし、単数形の要素は複数を排除しない。特許請求の範囲に記載されている複数の項目の機能を、単一のプロセッサ又は他のユニットが充足することがあり得る。例えば、プロセッサとコントローラとが、同じユニットに統合されることがあり得る。単に何らかの手段が相互に異なる従属請求項に記載されているという事実があるとしても、それは、これらの手段が有利に組み合わされることが不可能であることを意味しない。コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として、光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶される又は配布され得るが、インターネット又は他の有線若しくは無線通信システムを経由するなど、他の形式で配信されることもあり得る。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】