(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024109072
(43)【公開日】2024-08-13
(54)【発明の名称】赤外画像のための背景光減算
(51)【国際特許分類】
G06T 5/50 20060101AFI20240805BHJP
G06T 7/194 20170101ALI20240805BHJP
G06V 20/62 20220101ALI20240805BHJP
G06V 20/58 20220101ALI20240805BHJP
H04N 23/20 20230101ALI20240805BHJP
H04N 25/20 20230101ALI20240805BHJP
H04N 25/531 20230101ALI20240805BHJP
【ＦＩ】
G06T5/50
G06T7/194
G06V20/62
G06V20/58
H04N23/20
H04N25/20
H04N25/531
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024008513
(22)【出願日】2024-01-24
(31)【優先権主張番号】23154105
(32)【優先日】2023-01-31
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】カールソン， ジェニー
【テーマコード（参考）】
5B057
5C024
5L096
【Ｆターム（参考）】
5B057AA16
5B057BA02
5B057CA01
5B057CA02
5B057CA08
5B057CA12
5B057CA16
5B057CB02
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE08
5B057CE18
5C024AX07
5C024BX04
5C024CX03
5C024HX29
5C024HX57
5C024JX41
5L096AA02
5L096AA03
5L096AA06
5L096BA04
5L096CA04
5L096DA01
5L096DA02
5L096EA37
5L096GA08
5L096GA40
5L096GA41
5L096GA51
5L096HA02
(57)【要約】 （修正有）
【課題】シーンを描写する赤外（ＩＲ）照射画像において背景光減算を実行する方法を提供する。
【解決手段】方法は、ローリングシャッタ画像センサを提供することと、オンおよびオフにされるように構成されたＩＲ光源を提供することと、画像をキャプチャする間にＩＲ光源のオンオフ状態を複数回変更することと、各画像フレームが、ＩＲライトがオンにされた状態でキャプチャされた画像データを含む画素ラインの第１のセットと、ＩＲライトがオフにされた状態でキャプチャされた画像データを含む画素ラインの第２のセットと、を含む２つ以上の画像フレームをキャプチャすることと、ＩＲ照射画像を作成することと、非ＩＲ照射画像を作成することと、非ＩＲ照射画像中の画素値を使用してＩＲ照射画像から背景光を減算することと、を含む。
【選択図】図７
【解決手段】方法は、ローリングシャッタ画像センサを提供することと、オンおよびオフにされるように構成されたＩＲ光源を提供することと、画像をキャプチャする間にＩＲ光源のオンオフ状態を複数回変更することと、各画像フレームが、ＩＲライトがオンにされた状態でキャプチャされた画像データを含む画素ラインの第１のセットと、ＩＲライトがオフにされた状態でキャプチャされた画像データを含む画素ラインの第２のセットと、を含む２つ以上の画像フレームをキャプチャすることと、ＩＲ照射画像を作成することと、非ＩＲ照射画像を作成することと、非ＩＲ照射画像中の画素値を使用してＩＲ照射画像から背景光を減算することと、を含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
シーンを描写する赤外（ＩＲ）照射画像において背景光減算を実行する方法であって、
複数の画素ラインを有するローリングシャッタ画像センサを提供することであって、画像のキャプチャ中の前記ローリングシャッタ画像センサが、一度に１つの画素ラインから画素データを読み出す、ローリングシャッタ画像センサを提供することと、
オンおよびオフにされるように構成されたＩＲ光源を提供することであって、オンにされると、ＩＲライトが、前記シーンを照射するように構成される、ＩＲ光源を提供することと、
前記ローリングシャッタ画像センサを用いて画像をキャプチャする間に前記ＩＲ光源のオンオフ状態を複数回変更することと、
前記ローリングシャッタ画像センサを使用して３つの画像フレームをキャプチャすることであって、前記３つの画像フレームが、時系列でキャプチャされ、時系列での最初の画像フレームと時系列での最後の画像フレームとを含み、前記ローリングシャッタ画像センサが、前記最後の画像フレームについての最初の画素ラインの読出しが前記最初の画像フレームへの最後の画素ラインの読出しの前に実行されるように、時間的にインターリーブされた前記３つの画像フレームに画像データを読み出すように構成され、各画像フレームが、
前記ＩＲライトがオンにされた状態でのみ露光される画素ラインの第１のセットと、
前記ＩＲライトがオフにされた状態でのみ露光される画素ラインの第２のセットと、
前記ＩＲライトがオンにされた状態とオフにされた状態の両方で露光される画素ラインの第３のセットと
を含む、３つの画像フレームをキャプチャすることと、
前記３つの画像フレームのラインの前記第１のセットのみを使用してＩＲ照射画像を作成することと、
前記３つの画像フレームのラインの前記第２のセットのみを使用して非ＩＲ照射画像を作成することと、
前記非ＩＲ照射画像中の画素値を使用して前記ＩＲ照射画像から背景光を減算し、それにより、修正されたＩＲ照射画像を作成することと
を含む、方法。
複数の画素ラインを有するローリングシャッタ画像センサを提供することであって、画像のキャプチャ中の前記ローリングシャッタ画像センサが、一度に１つの画素ラインから画素データを読み出す、ローリングシャッタ画像センサを提供することと、
オンおよびオフにされるように構成されたＩＲ光源を提供することであって、オンにされると、ＩＲライトが、前記シーンを照射するように構成される、ＩＲ光源を提供することと、
前記ローリングシャッタ画像センサを用いて画像をキャプチャする間に前記ＩＲ光源のオンオフ状態を複数回変更することと、
前記ローリングシャッタ画像センサを使用して３つの画像フレームをキャプチャすることであって、前記３つの画像フレームが、時系列でキャプチャされ、時系列での最初の画像フレームと時系列での最後の画像フレームとを含み、前記ローリングシャッタ画像センサが、前記最後の画像フレームについての最初の画素ラインの読出しが前記最初の画像フレームへの最後の画素ラインの読出しの前に実行されるように、時間的にインターリーブされた前記３つの画像フレームに画像データを読み出すように構成され、各画像フレームが、
前記ＩＲライトがオンにされた状態でのみ露光される画素ラインの第１のセットと、
前記ＩＲライトがオフにされた状態でのみ露光される画素ラインの第２のセットと、
前記ＩＲライトがオンにされた状態とオフにされた状態の両方で露光される画素ラインの第３のセットと
を含む、３つの画像フレームをキャプチャすることと、
前記３つの画像フレームのラインの前記第１のセットのみを使用してＩＲ照射画像を作成することと、
前記３つの画像フレームのラインの前記第２のセットのみを使用して非ＩＲ照射画像を作成することと、
前記非ＩＲ照射画像中の画素値を使用して前記ＩＲ照射画像から背景光を減算し、それにより、修正されたＩＲ照射画像を作成することと
を含む、方法。
【請求項2】
減算するステップが、前記非ＩＲ照射画像中の画素座標の少なくともサブセットの各画素座標について、前記非ＩＲ照射画像中の前記画素座標における前記画素値を、前記ＩＲ照射画像中の対応する画素座標における前記画素値から減算することを含む、請求項１に記載の方法。
【請求項3】
前記非ＩＲ照射画像中の前記画素値の明度に基づいて画素座標の前記サブセットを選択するステップをさらに含む、請求項２に記載の方法。
【請求項4】
減算するステップが、前記非ＩＲ照射画像中の画素座標の少なくともサブセットの各画素座標について、前記非ＩＲ照射画像中の前記画素座標における前記画素値に重み値を乗算することと、前記非ＩＲ照射画像中の前記画素座標における前記重み付けされた画素値を、前記ＩＲ照射画像中の対応する画素座標における前記画素値から減算することとを含む、請求項１に記載の方法。
【請求項5】
前記ＩＲライトのオンオフ状態を変更するステップが、第２の時間スパンｔｓｐａｎ＿２の間に前記ＩＲライトのオンオフサイクルを完了することを含み、
前記ＩＲライトが、前記第２の時間スパンの前半の間オンにされ、前記第２の時間スパンの後半の間オフにされ、
３つの画像フレームをキャプチャするステップが、
第１の画像フレームと、第２の画像フレームと、第３の画像フレームとをキャプチャすることと、
前記ローリングシャッタ画像センサによって、第１の時点ｔにおいて前記第１の画像フレームについて第１の画素ラインを読み出すことと、
前記ローリングシャッタ画像センサによって、
において前記第２の画像フレームについて前記第１の画素ラインを読み出すことと、
前記ローリングシャッタ画像センサによって、
において前記第３の画像フレームについて前記第１の画素ラインを読み出すことと
を含む、請求項１に記載の方法。
前記ＩＲライトが、前記第２の時間スパンの前半の間オンにされ、前記第２の時間スパンの後半の間オフにされ、
３つの画像フレームをキャプチャするステップが、
第１の画像フレームと、第２の画像フレームと、第３の画像フレームとをキャプチャすることと、
前記ローリングシャッタ画像センサによって、第１の時点ｔにおいて前記第１の画像フレームについて第１の画素ラインを読み出すことと、
前記ローリングシャッタ画像センサによって、
前記ローリングシャッタ画像センサによって、
を含む、請求項１に記載の方法。
【請求項6】
【請求項7】
前記シーン中の自然光の明度値を決定する最初のステップを含み、前記明度値が閾値明度を超えると判定すると、方法が中止され、前記明度値が閾値明度を超えないと判定すると、方法が継続される、請求項１に記載の方法。
【請求項8】
前記ローリングシャッタ画像センサが、すべての画素ラインについて同じ露光時間を有するように構成される、請求項１に記載の方法。
【請求項9】
前記修正されたＩＲ照射画像中のナンバープレートを検出するステップ
をさらに含む、請求項１に記載の方法。
をさらに含む、請求項１に記載の方法。
【請求項10】
前記ローリングシャッタ画像センサが、道路を含むシーンをキャプチャするカメラにおいて設けられる、請求項１に記載の方法。
【請求項11】
複数の画素ラインを有するローリングシャッタ画像センサであって、画像のキャプチャ中の前記ローリングシャッタ画像センサが、一度に１つの画素ラインから画素データを読み出す、ローリングシャッタ画像センサと、
オンおよびオフにされるように構成されたＩＲライトであって、オンにされると、前記ＩＲライトが、前記シーンを照射するように構成される、ＩＲライトと、
前記ローリングシャッタ画像センサを用いて画像をキャプチャする間に前記ＩＲライトのオンオフ状態を複数回変更するように構成されたＩＲライト制御ユニットと
を備える、システムであって
前記ローリングシャッタ画像センサが、３つの画像フレームをキャプチャするために構成され、前記３つの画像フレームが、時系列でキャプチャされ、時系列での最初の画像フレームと時系列での最後の画像フレームとを含み、前記ローリングシャッタ画像センサが、前記最後の画像フレームについての最初の画素ラインの読出しが前記最初の画像フレームへの最後の画素ラインの読出しの前に実行されるように、時間的にインターリーブされた前記３つの画像フレームに画像データを読み出すように構成され、各画像フレームが、
前記ＩＲライトがオンにされた状態でのみ露光される画素ラインの第１のセットと、
前記ＩＲライトがオフにされた状態でのみ露光される画素ラインの第２のセットと、
前記ＩＲライトがオンにされた状態とオフにされた状態の両方で露光される画素ラインの第３のセットと
を含み、
前記デバイスが、
前記３つの画像フレームのラインの前記第１のセットのみを使用してＩＲ照射画像を作成することと、
前記３つの画像フレームのラインの前記第２のセットのみを使用して非ＩＲ照射画像を作成することと、
前記非ＩＲ照射画像中の画素値を使用して前記ＩＲ照射画像から背景光を減算し、それにより、修正されたＩＲ照射画像を作成することと
を行うように構成された画像スティッチングユニットをさらに備える、システム。
オンおよびオフにされるように構成されたＩＲライトであって、オンにされると、前記ＩＲライトが、前記シーンを照射するように構成される、ＩＲライトと、
前記ローリングシャッタ画像センサを用いて画像をキャプチャする間に前記ＩＲライトのオンオフ状態を複数回変更するように構成されたＩＲライト制御ユニットと
を備える、システムであって
前記ローリングシャッタ画像センサが、３つの画像フレームをキャプチャするために構成され、前記３つの画像フレームが、時系列でキャプチャされ、時系列での最初の画像フレームと時系列での最後の画像フレームとを含み、前記ローリングシャッタ画像センサが、前記最後の画像フレームについての最初の画素ラインの読出しが前記最初の画像フレームへの最後の画素ラインの読出しの前に実行されるように、時間的にインターリーブされた前記３つの画像フレームに画像データを読み出すように構成され、各画像フレームが、
前記ＩＲライトがオンにされた状態でのみ露光される画素ラインの第１のセットと、
前記ＩＲライトがオフにされた状態でのみ露光される画素ラインの第２のセットと、
前記ＩＲライトがオンにされた状態とオフにされた状態の両方で露光される画素ラインの第３のセットと
を含み、
前記デバイスが、
前記３つの画像フレームのラインの前記第１のセットのみを使用してＩＲ照射画像を作成することと、
前記３つの画像フレームのラインの前記第２のセットのみを使用して非ＩＲ照射画像を作成することと、
前記非ＩＲ照射画像中の画素値を使用して前記ＩＲ照射画像から背景光を減算し、それにより、修正されたＩＲ照射画像を作成することと
を行うように構成された画像スティッチングユニットをさらに備える、システム。
【請求項12】
前記修正されたＩＲ照射画像中のナンバープレートを検出するように構成された画像分析ユニットをさらに備える、請求項１１に記載のシステム。
【請求項13】
処理能力を有するデバイス上で実行されたとき、請求項１から１０のいずれか一項に記載の方法を実行するための命令を記憶した、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、シーンを描写する赤外（ＩＲ）画像における背景光減算に関し、より具体的には、非ＩＲ画像を使用するＩＲ画像における背景光減算に関し、両方の画像がローリングシャッタ画像センサによってキャプチャされる。
【背景技術】
【0002】
赤外（ＩＲ）画像は、視覚情報が物体または現象を検出または分析するのに十分でない様々な状況において有利であり得る。一般的な例は、ＩＲカメラが暗所で画像をキャプチャすることができ、それらを、監視用途、捜索および救助、ならびに低照度環境における視認性を必要とする他の用途に有用にする、夜間または低照度条件を含む。一例は、赤外線ライトを有するカメラを使用してナンバープレート、道路標識を読み取ることまたは低照度条件においてトラフィックコーンを検出することを含む。ナンバープレート、道路標識およびトラフィックコーンは、典型的には、再帰反射器などの反射材料で作られ、多くのＩＲ光を返す。しかしながら、問題は、車両のヘッドライトなど、キャプチャされたシーン中の強い光源がカメラに向けられ、検出されるべき物体を覆う散乱および反射を引き起こすことがあり、分析ソフトウェアが物体を見つけ、分析すること（例えば、ナンバープレートを読み取ること、道路標識の内容を判断することなど）を困難にすることである。
【0003】
１つの一般的な解決策は、カメラのＩＲ波長のみを通過させる光バンドパスフィルタを使用することである。この解決策の不利な面は、画像全体の光が少ないために、カメラを位置合わせし、カメラの焦点を合わせるのがより困難であり、カメラが任意の他のライトをキャプチャすることができないために、カメラが、機能するＩＲライトに完全に依存し、ハードウェア構成要素がカメラの製造コストを増加させる（フィルタは、それをスイッチオンおよびオフにするための任意の機構を含む）ことであり得る。
【0004】
上記で説明された問題を克服する別の既存の解決策は、カメラ上のＩＲライトをカメラのセンサのフレームキャプチャと同期させることを含む。ＩＲライトは、１つのフルフレームについてスイッチオンにされ、次いで、次のフルフレームについてスイッチオフにされる。ＩＲなしの画像は、ＩＲありの画像から減算される。センサを高フレームレート、例えば６０ｆｐｓで動作させることは、ＩＲ画像から背景光が減算された状態で、そのフレームレートの半分、すなわち３０ｆｐｓでビデオをキャプチャすることを可能にする。しかしながら、この解決策に関する問題は、カメラが移動する（例えば、自動車内のカメラ）場合、またはシーンが移動する（例えば、シーンが道路を含む）場合、２つの画像のキャプチャ間の時間差が、背景光減算が十分にうまくいくように（ズームレベル、および例えば細部のレベルなどについての用途固有の要件に応じて）低速での移動（シーン中の物体および／またはカメラ）のみを許容することである。
【0005】
したがって、この文脈における改善が必要とされている。
【発明の概要】
【0006】
上記を考慮すると、添付の独立特許クレームに記載されているように、上記で説明された欠点のうちの１つまたはいくつかを解決するかまたは少なくとも低減することが有益であろう。
【0007】
本発明の第１の態様によれば、シーンを描写する赤外（ＩＲ）画像において背景光減算を実行する方法が提供され、本方法は、
－複数の画素ラインを有するローリングシャッタ画像センサを提供することであって、画像のキャプチャ中のローリングシャッタ画像センサが、一度に１つの画素ラインから画素データを読み出す、ローリングシャッタ画像センサを提供することと、
－オンおよびオフにされるように構成されたＩＲ光源を提供することであって、オンにされると、ＩＲライトが、シーンを照射するように構成される、ＩＲ光源を提供することと、
－ローリングシャッタ画像センサを用いて画像をキャプチャする間にＩＲ光源のオンオフ状態を複数回変更することと、
－ローリングシャッタ画像センサを使用して２つ以上の画像フレームをキャプチャすることであって、ローリングシャッタ画像センサが、時間的にインターリーブされた２つ以上の画像フレームに画像データを読み出すように構成され、各画像フレームが、
○ＩＲライトがオンにされた状態でキャプチャされた画像データを含む画素ラインの第１のセットと、
○ＩＲライトがオフにされた状態でキャプチャされた画像データを含む画素ラインの第２のセットと
を含む、２つ以上の画像フレームをキャプチャすることと
を含む。
－複数の画素ラインを有するローリングシャッタ画像センサを提供することであって、画像のキャプチャ中のローリングシャッタ画像センサが、一度に１つの画素ラインから画素データを読み出す、ローリングシャッタ画像センサを提供することと、
－オンおよびオフにされるように構成されたＩＲ光源を提供することであって、オンにされると、ＩＲライトが、シーンを照射するように構成される、ＩＲ光源を提供することと、
－ローリングシャッタ画像センサを用いて画像をキャプチャする間にＩＲ光源のオンオフ状態を複数回変更することと、
－ローリングシャッタ画像センサを使用して２つ以上の画像フレームをキャプチャすることであって、ローリングシャッタ画像センサが、時間的にインターリーブされた２つ以上の画像フレームに画像データを読み出すように構成され、各画像フレームが、
○ＩＲライトがオンにされた状態でキャプチャされた画像データを含む画素ラインの第１のセットと、
○ＩＲライトがオフにされた状態でキャプチャされた画像データを含む画素ラインの第２のセットと
を含む、２つ以上の画像フレームをキャプチャすることと
を含む。
【0008】
本方法は、２つ以上の画像フレームのラインの第１のセットに少なくとも部分的に基づいてＩＲ照射画像を作成することと、２つ以上の画像フレームのラインの第２のセットに少なくとも部分的に基づいて非ＩＲ照射画像を作成することとをさらに含む。
【0009】
本方法は、非ＩＲ照射画像中の画素値を使用してＩＲ照射画像から背景光を減算し、それにより、修正されたＩＲ照射画像を作成することをさらに含む。
【0010】
ローリングシャッタ画像センサは、シーンを、一度にすべてではなく、行ごとまたは列ごとに漸進的にスキャンすることによって画像をキャプチャするタイプの画像センサである。これは、画像が一度にすべてキャプチャされるのではなく、むしろ、一連の個々のスキャンラインから構成されることを意味する。ローリングシャッタの利点は、より速い画像キャプチャレートを可能にすることである。典型的には、ローリングシャッタ画像センサは、高ダイナミックレンジ（ＨＤＲ）画像をキャプチャするために使用され、ローリングシャッタ画像センサは、異なる露出を有する一連の画像（例えば、ある画像は短い露光時間を伴い、ある画像は長い露光時間を伴う）を矢継ぎ早にキャプチャするために使用され得、画像は、次いで、ＨＤＲ画像を作成するために組み合わせられ得る。しかしながら、ローリングシャッタ画像センサは、第１の画像と第２の画像とが同じまたは同様の露光時間でキャプチャされるように構成され得る。これは、ＩＲライトがあるフルフレームについてスイッチオンにされ、次いで、次のフルフレームについてスイッチオフにされる場合と比較してかなり高い速度でカメラまたはシーン中の物体の移動を可能にすることを可能にする。ローリングシャッタ画像センサの例は、ＤＯＬ ＷＤＲ（デジタル・オーバーラップ・ワイド・ダイナミック・レンジ）機能をサポートするＣＭＯＳ画像センサなど、ＳｏｎｙおよびＯｍｎｉｖｉｓｉｏｎによって製造されたセンサを含む。
【0011】
「時間的にインターリーブされた」という用語とは、本明細書の文脈では、第２の画像フレームについての画素ラインが、第１の画像フレームへの最後の画素ラインの読出しの前に読み出されることであると理解されるべきである。したがって、ローリングシャッタ読出しは、第２の画像フレーム中の画素ラインの読出しが、第１の画像フレーム中の対応する画素ラインの読出しの直後に、またはそれからほとんど間を置かずに開始し得るように、互い違いにされる（行インターリーブされる）。
【0012】
ローリングシャッタ画像センサを用いて画像をキャプチャする間にＩＲライトのオンオフ状態を複数回変更することによって、少なくとも２つの画像の各画像は、ＩＲライトがオンにされた状態でキャプチャされた画素ラインと、ライトがオフにされた状態でキャプチャされた画素ラインとを含む。有利には、ＩＲライトのオンオフサイクルは、露光時間、ならびに２つおよびさらなるキャプチャされた画像間の時間差と同期され得、これは、それぞれのキャプチャされた画像中の画素ラインの第１のセットからＩＲライトがオンにされた状態でキャプチャされた画像データを（ほとんど、またはそれのみ）含むＩＲ照射画像をスティッチすることを可能にする。同様に、それぞれのキャプチャされた画像中の画素ラインの第２のセットからＩＲライトがオフにされた状態でキャプチャされた画像データを（ほとんど、またはそれのみ）含む非ＩＲ照射画像をスティッチすることが可能であり得る。
【0013】
したがって、ＩＲ照射画像のキャプチャ時間と非ＩＲ照射画像のキャプチャ時間との差は、カメラおよび／またはシーン中の物体の移動がかなりのものである場合でも、非ＩＲ照射画像中の画素値を使用するＩＲ照射画像からの背景光の減算を可能にするのに十分に小さいことがある。
【0014】
「背景光」という用語とは、本明細書の文脈では、画像中の関心物体の検出および分析に悪影響を及ぼす画像中の任意の光と理解されるべきである。背景光は、太陽または月など、自然の源から生じ得るが、典型的には、背景光は、車両のヘッドライト、スポットライト、街灯など、明るい人工光源から生じ、これは、画像中に悪い反射および散乱を引き起こす。
【0015】
典型的には、非ＩＲ照射画像とＩＲ照射画像とは同じ解像度を有し得、これは、非ＩＲ照射画像中の座標（Ｘ，Ｙ）における画素の画素値がＩＲ照射画像中の同じ座標（Ｘ，Ｙ）における画素の画素値から減算され得るので、減算を単純化し、さもなければ、画像のうちの１つ中の座標空間の必要なスケール変換が必要とされ得る。ＩＲ照射画像と非ＩＲ照射画像とが、例えばグレースケール、ＲＧＢ、ＣＭＹＫなど、同じ色空間を使用してキャプチャされる場合、減算は、要素ごとの演算を使用して直接実行され得る。ＩＲ照射画像がグレースケールでキャプチャされる一方で、非ＩＲ照射画像がＲＧＢでキャプチャされるなど、異なる色空間が使用される場合、減算を実行する前に画像の一方または両方の色空間の必要な変換が必要とされ得る（例えば、減算を実行する前に、ＲＧＢ画像、および任意選択でグレースケール画像を、ＬＡＢ色空間に変換する）。
【0016】
いくつかの例では、減算するステップは、非ＩＲ照射画像中の画素座標の少なくともサブセットの各画素座標について、非ＩＲ照射画像中の画素座標における画素値を、ＩＲ照射画像中の対応する画素座標における画素値から減算することを含む。
【0017】
有利には、これは、例えば強いヘッドライトによって影響されない画像のエリアが、本明細書で説明されるように修正される必要がないので、修正されたＩＲ照射画像中の細部、および忠実であるという感覚を高め得る。
【0018】
いくつかの例では、画素座標のサブセットは、非ＩＲ照射画像中の画素値の明度（明るさなど）に基づいて選択される。したがって、これらの例では、本方法は、非ＩＲ照射画像中の画素値の明度に基づいて画素座標のサブセットを選択するステップを含む。例えば、（Ｘ，Ｙ）における画素の明度（例えば、ＬＡＢ色空間における明るさ、またはグレースケール色空間における値）が、閾値明度（ＬＡＢ色空間では、例えば、８０、９０、または任意の他の適切な閾値、あるいは、グレースケール色空間では、例えば、２００、２１５、または任意の他の適切な閾値）を超える場合、画素座標（Ｘ，Ｙ）はサブセットに含まれ、そうでない場合、含まれない。
【0019】
いくつかの実施形態では、減算するステップは、非ＩＲ照射画像中の画素座標の少なくともサブセットの各画素座標について、非ＩＲ照射画像中の画素座標における画素値に重み値を乗算することと、非ＩＲ照射画像中の画素座標における重み付けされた画素値を、ＩＲ照射画像中の対応する画素座標における画素値から減算することとを含む。例では、背景光の一部（１０％、５０％、６０％など）を減算することの結果、非ＩＲ照射画像の全背景光が減算される場合と比較して、修正されたＩＲ照射画像に付加されるノイズが少なくなり得る。有利には、本実施形態は、背景強度の異なる部分の減算を可能にし、それにより、減算される背景の量および付加されるノイズの量がシーンごとに最適化され得る。
【0020】
いくつかの実施形態では、２つ以上の画像フレームをキャプチャするステップは、第１の画像フレームおよび第２の画像フレームをキャプチャすることを含む。そのような実施形態では、ＩＲライトがオンの状態でキャプチャされた第１の画像中の画素ラインが、ＩＲライトをオフにせずにキャプチャされた第２の画像中の画素ラインに、可能な限り大きい程度まで対応し、逆もまた同様であるように、ＩＲライトのオンオフサイクルを第１の画像と第２の画像との時間差と同期させることが有利である。これは、ＩＲライトのオンオフ状態を連続的に変更するステップが第１の時間スパンｔｓｐａｎの間にＩＲライトのオンオフサイクルを完了することを含むことによって達成され得、ＩＲライトは、時間スパンの前半の間オンにされ、その時間スパンの後半の間オフにされる。その場合、２つの画像への画素ラインの読出しが、第１の画像について、ローリングシャッタ画像センサが第１の時点ｔにおいて第１の画素ラインを読み出し、第２の画像について、ローリングシャッタ画像センサが
において第１の画素ラインを読み出すように実施され得る。次いで、このパターンは、対応する画素ラインが第１の画像について読み出されてから０．５ｔｓｐａｎ後の時点において第２の画像中の画素ラインが読み出されるように、第１および第２の画像中のすべての画素ラインについて保持され得る。
【0021】
各画素ラインについての露光時間は、０．５ミリ秒未満であり得る。それが短い露光時間である場合でも、これは、依然として、いくつかの画素ラインがＩＲライトがオンの状態とオフの状態の両方で露光されることを意味する。ＩＲ照射画像および非ＩＲ照射画像中のこれらのラインを回避または制限するために、有利には、いくつかの実施形態は、第３の画像フレームをキャプチャすることを含む。その場合、３つの画像への画素ラインの読出しが、第１の画像について、ローリングシャッタ画像センサが第１の時点ｔにおいて第１の画素ラインを読み出すように実施され得る。第２の画像について、ローリングシャッタ画像センサは、
において第１の画素ラインを読み出し、第３の画像について、ローリングシャッタ画像センサは、
において第１の画素ラインを読み出す。３画像設定におけるｔｓｐａｎ（すなわち、ＩＲライトのオンオフサイクルを完了するための時間スパン）は、２画像設定におけるｔｓｐａｎと同じであり得るか、または異なり得ることに留意されたい。次いで、このパターンは、常に、対応する画素ラインが第１の画像について読み出されてから０．３３ｔｓｐａｎ後の時点において第２の画像中の画素ラインが読み出されるように、および、常に、対応する画素ラインが第１の画像について読み出されてから０．６６ｔｓｐａｎ後の時点において第３の画像中の画素ラインが読み出されるように、第１、第２および第３の画像中のすべての画素ラインについて保持され得る。その結果、第１、第２、および第３の露光からのラインデータが時間的にインターリーブされ得る。
【0022】
第１の画像および第２の画像をキャプチャすることを含むいくつかの実施形態では、ｔｓｐａｎは、２つ以上の画像フレーム中の任意の画素ラインの露光時間の少なくとも２倍であり得る。その結果、画素ラインが第１の画像において露光され、読み出され、その後、対応する画素ラインが第２の画像において露光され、読み出される。いくつかの実施形態におけるｔｓｐａｎは、露光時間の２倍から４倍の間のどこかであることに留意されたい。２つのフレームの実施形態では、より長い時間スパンの結果、ＩＲライトがオンの状態とオフの状態の両方で露光される画素ラインを有する領域がより少なくなり得る。より長い時間スパンは、フレーム間のより大きい時間間隔を生じ、これは、カメラまたはシーン中の物体の移動がそれほど高くないとき、あるいはシーンをキャプチャする画像中の細部のレベルの要件がそれほど高くないとき、十分であり得る。
【0023】
第１の画像、第２の画像および第３の画像をキャプチャすることを含むいくつかの実施形態では、ｔｓｐａｎは、
ように設定され得る。この実施形態では、ＩＲ照射画像は、ＩＲライトがオンの状態で露光される画素ラインのみを使用して作成され得る。さらに、非ＩＲ照射画像は、ＩＲライトがオフの状態で露光される画素ラインのみを使用して作成され得る。
【0024】
いくつかの実施形態では、本方法は、シーン中の自然光の明度値を決定する最初のステップを含み、明度値が閾値明度を超えると判定すると、本方法は中止され、明度値が閾値明度を超えないと判定すると、本方法は継続される。したがって、ＩＲライトは、シーン中に存在する自然光が、照射として自然光のみを使用して細部をキャプチャするのに十分でないときのみ使用される。
【0025】
いくつかの例では、ローリングシャッタ画像センサは、すべての画素ラインについて同じ露光時間を有するように構成される。これは、複雑さを低減し、ＩＲ照射画像および非ＩＲ照射画像を作成するプロセスを単純化する。
【0026】
いくつかの例では、ローリングシャッタ画像センサは、道路を含むシーンをキャプチャするカメラにおいて設けられる。上述したように、本開示は、シーンが急速に変化するときでも背景減算を可能にする。一例は、トラフィックシナリオである。いくつかの例では、本方法は、修正されたＩＲ照射画像中のナンバープレートを検出するステップをさらに含む。ナンバープレートは再帰反射器であり得、多くのＩＲ光を返すので、ナンバープレートを識別することは、有利には、ＩＲ照射を使用して行われ得る。その結果、ナンバープレート検出は、有利には、本開示による、背景減算とともに実施され得る。
【0027】
本発明の第２の態様によれば、上記の目的は、複数の画素ラインを有するローリングシャッタ画像センサであって、画像のキャプチャ中のローリングシャッタ画像センサが、一度に１つの画素ラインから画素データを読み出す、ローリングシャッタ画像センサと、オンおよびオフにされるように構成されたＩＲライトであって、オンにされると、ＩＲライトが、シーンを照射するように構成される、ＩＲライトと、ローリングシャッタ画像センサを用いて画像をキャプチャする間にＩＲライトのオンオフ状態を複数回変更するように構成されたＩＲライト制御ユニットとを備えるシステムによって達成される。
【0028】
ローリングシャッタ画像センサは、２つ以上の画像フレームをキャプチャするために構成され得、ローリングシャッタ画像センサは、時間的にインターリーブされた２つ以上の画像フレームに画像データを読み出すように構成され、各画像フレームが、ＩＲライトがオンにされた状態でキャプチャされた画像データを含む画素ラインの第１のセットと、ＩＲライトがオフにされた状態でキャプチャされた画像データを含む画素ラインの第２のセットとを含む。
【0029】
本システムは、２つ以上の画像フレームのラインの第１のセットに少なくとも部分的に基づいてＩＲ照射画像を作成することと、２つ以上の画像フレームのラインの第２のセットに少なくとも部分的に基づいて非ＩＲ照射画像を作成することと、非ＩＲ照射画像中の画素値を使用してＩＲ照射画像から背景光を減算し、それにより、修正されたＩＲ照射画像を作成することとを行うように構成された画像スティッチングユニットをさらに備え得る。
【0030】
例によれば、本システムは、修正されたＩＲ照射画像中のナンバープレートを検出するように構成された画像分析ユニットをさらに備える。
【0031】
本発明の第３の態様によれば、上記の目的は、処理能力を有するデバイス上で実行されたとき、第１の態様による方法を実行するための命令を記憶した、非一時的コンピュータ可読記憶媒体によって達成される。
【0032】
第２および第３の態様は、一般に、第１の態様と同じ特徴および利点を有し得る。本開示は、別段に明記されない限り、特徴のすべての可能な組合せに関連することにさらに留意されたい。
【0033】
本発明の上記の、ならびに追加の目的、特徴、および利点は、同様の要素について同じ参照番号が使用される添付の図面を参照して、本開示の実施形態の以下の例示的かつ非限定的な詳細な説明によってよりよく理解される。
【図面の簡単な説明】
【0034】
【図1】非ＩＲ照射画像中の画素値を使用してＩＲ照射画像から背景光を減算することによって、修正されたＩＲ照射画像が作成される、例示的なシナリオを示す図である。
【図2】ローリングシャッタ画像センサと変調ＩＲライトとを使用する、時間的にインターリーブされた２つの画像のキャプチャを概略的に示す図である。
【図3】ローリングシャッタ画像センサと変調ＩＲライトとを使用する、時間的にインターリーブされた３つの画像のキャプチャを概略的に示す図である。
【図4】ＩＲライトの変調と、ＩＲライトがオンの状態、オフの状態、またはＩＲライトがオンの状態とオフの状態の両方で露光される第１および第２の画像中の画素ラインと、これが修正されたＩＲ照射画像にどのように影響するかとを概略的に示す図である。
【図5】ＩＲライトの変調と、ＩＲライトがオンの状態、オフの状態、またはＩＲライトがオンの状態とオフの状態の両方で露光される第１、第２および第３の画像中の画素ラインと、これが修正されたＩＲ照射画像にどのように影響するかとを概略的に示す図である。
【図6】ローリング・シャッタ・センサと、オンおよびオフにされるように構成されたＩＲライトとを含むシステムを概略的に示す図である。
【図7】シーンを描写するＩＲ照射画像において背景光減算を実行するための方法を概略的に示す図である。
【発明を実施するための形態】
【0035】
次に、本開示は、本開示の実施形態が示されている添付の図面を参照して、以下でより十分に説明される。本明細書で開示されるシステム、デバイスおよびモジュールは、動作中に説明される。
【0036】
本開示は、背景光減算の分野に関する。
【0037】
上記で説明されたように、視覚情報が十分でない状況において、例えば、夜間においてまたは他の低照度条件において、ＩＲ画像は、有利には、シーン中の物体を検出および分析するために使用され得る。しかしながら、ＩＲ画像において描写されたシーンが、街灯、車のヘッドライトなど、１つまたは複数の強い光源を含む場合、これらは、検出されるべき物体を覆う散乱および反射を引き起こし得、分析ソフトウェアがＩＲ画像中の物体を見つけ、分析することを困難にする。本開示は、そのようなシナリオにおいて、特に、検出されるべき物体がシーン中で移動するシナリオにおいて、またはシーンをキャプチャするカメラが移動するときに背景光減算のために使用されるべき方法、システム、デバイスおよびソフトウェアを提供することを目的とする。
【0038】
図１は、ヘッドライトおよびナンバープレートを有する車両を含むような低照度シナリオを概略的に示す。図１では、ＩＲ照射画像１０２および非ＩＲ照射画像１０４が、上記で、および図２～図７に関連して以下でさらに説明されるように作成されている。図１に見られるように、ＩＲ照射画像１０２中のヘッドライトは、例えば、ヘッドライトから生じる散乱および／または反射がＩＲ照射画像１０２をキャプチャするカメラに向けられることにより、ナンバープレートの視認性を低下させる。有利には、非ＩＲ照射画像１０４からの画素値は、ナンバープレートが容易に検出および分析され得るようにＩＲ照射画像１０２から妨害光を減算するために使用され得る。図１では、ＩＲ照射画像１０２からの背景光が非ＩＲ照射画像１０４中の画素値を使用して減算された、修正されたＩＲ照射画像１０６が示されている。修正されたＩＲ照射画像１０６では、ナンバープレートは、明確に検出可能であり、車両または車両所有者を一意に識別する英数字ＩＤである登録識別子（ＡＸＩＳ１）を検出するために分析され得る。
【0039】
いくつかの実施形態では、非ＩＲ照射画像１０４全体からの画素値（例えば、非ＩＲ照射画像１０４中のすべての画素）は、ＩＲ照射画像中の背景光の減算のために使用される。他の実施形態では、修正されたＩＲ照射画像１０６を作成するとき、背景光減算のみがＩＲ照射画像１０２中の画素の対応するサブセットに適用されるように、非ＩＲ照射画像から画素座標のサブセットが決定される。非ＩＲ照射画像１０４中の画素座標のサブセットは、画素の明度が閾値を超える場合に画素の座標が画素座標のサブセットに含まれるように、非ＩＲ照射画像１０４中の画素値の明度の分析に基づいて決定され得る。背景減算のために使用される画素のセットを制限することは、減算演算により、修正されたＩＲ照射画像１０４に付加されるノイズを低減し得る。減算のために画素座標のサブセットを選択する概念が図１に例示されており、図１では、非ＩＲ照射画像１０４中のヘッドライト、およびヘッドライトからのグレアに対応する画素データ１０８、１１０の座標がサブセットに含まれ得る。画素座標１０８、１１０のこのサブセットは、明度値に基づいて画素座標を選択する概念の説明を容易にするための一例として使用されることに留意されたい。
【0040】
いくつかの例では、画素値は、背景光の減算のために使用される前に重み値（例えば、０．１、０．５、０．９など、０～１の間）で重み付けされ得る。非ＩＲ照射画像１０４から背景光の一部（１０％、５０％、９０％など）を減算することの結果、非ＩＲ照射画像の全画素値が減算される場合と比較して、修正されたＩＲ照射画像に付加されるノイズが少なくなり得る。
【0041】
いくつかの実施形態では、非ＩＲ照射画像１０４とＩＲ照射画像１０２とは、同じ色空間を使用してキャプチャされる。これらの場合、減算は、例えば、非ＩＲ照射画像１０４中の画素のＲＧＢ値を、ＩＲ照射画像１０２中の対応する画素のＲＢＧ値から減算することによって、要素ごとの演算を使用して直接実行され得る。他の実施形態では、非ＩＲ照射画像１０４およびＩＲ照射画像１０２の一方または両方は、非ＩＲ照射画像１０４のＬチャネルがＩＲ照射画像１０２のＬチャネルから減算されるように、減算を実行する前に別の色空間に、例えばＬＡＢ色空間に変換される。結果として得られる修正されたＩＲ照射画像１０６は、ＩＲ照射画像１０２の元の色空間に変換されることもされないこともある。非ＩＲ照射画像１０４とＩＲ照射画像１０２とが異なる色空間を使用してキャプチャされる場合、減算は、減算の前に一方または両方を異なる色空間に変換することによって達成され得る。例えば、ＩＲ照射画像１０４がグレースケール画像であり、非ＩＲ照射画像１０４がＲＧＢ画像である場合、以下のステップが実行され得る。
【0042】
１．ＲＧＢ画像１０４をＬＡＢ色空間に変換し、これは、画像の色（ａおよびｂ）次元から明度（Ｌ）を分離する。
２．ＬＡＢ画像からＬチャネルを抽出し、これは明度情報を含む。
３．要素ごとの演算を使用してグレースケール画像１０４の画素値からＬチャネル値を減算する。
２．ＬＡＢ画像からＬチャネルを抽出し、これは明度情報を含む。
３．要素ごとの演算を使用してグレースケール画像１０４の画素値からＬチャネル値を減算する。
【0043】
減算を実行する前に、非ＩＲ照射画像１０４およびＩＲ照射画像１０２の一方または両方の任意の他の適切な変換および／またはスケーリングが実行され得る。
【0044】
カメラによってキャプチャされる間に車両が移動するシナリオにおいて、または画像をキャプチャする間にカメラが移動するシナリオにおいて、減算を実行するために非ＩＲ照射画像１０４およびＩＲ照射画像１０２を使用することが可能であるように、非ＩＲ照射画像１０４およびＩＲ照射画像１０２は、有利には、時間的に近接してキャプチャされる。これは、フルセンサの読出し時間と比較してより小さい時間差で２つ以上の画像をキャプチャすること（例えば、最初に非ＩＲ照射画像１０４をキャプチャし、次いでＩＲ照射画像１０２をキャプチャすること、またはその逆）をサポートするローリングシャッタ画像センサを使用して達成され得る。ローリングシャッタ画像センサは、次に図２に関連して説明されるインターリーブ構成をサポートする。
【0045】
図２は、ローリングシャッタ画像センサと変調ＩＲ光源とを使用する、時間的にインターリーブされた２つの画像フレームのキャプチャを概略的に示す。
【0046】
ローリングシャッタ画像センサは、画像のキャプチャ中に一度に１つの画素ラインから画素データを読み出すように構成される。その結果、ローリングシャッタ画像センサを用いて画像をキャプチャする間にＩＲ光源がオンオフ状態２０６を複数回変更するようにＩＲ光源を変調することによって、画像フレームの各々は、ＩＲライトがオンにされた状態でキャプチャされた画像データを含む（図２では暗色の）画素ライン２１４の第１のセットと、ＩＲライトがオフにされた状態でキャプチャされた画像データを含む（図２では白色の）画素ライン２１６の第２のセットとを含む。有利には、ＩＲ照射画像（図１中の１０２参照）が、２つの画像フレーム２０２、２０４のライン２１４の第１のセットに少なくとも部分的に基づいて作成され得、非ＩＲ照射画像１０４が、２つの画像フレーム２０２、２０４のライン２１６の第２のセットに少なくとも部分的に基づいて作成され得る。両方の画像２０２、２０４は、点滅するＩＲライトと組み合わせたローリングシャッタ読出しパターンにより、ＩＲライトがオフの状態でキャプチャされた画素ライン（明るいストライプ）と、ＩＲライトがオンの状態でキャプチャされた画素ライン（暗いストライプ）とのパターンを含む。第１の画像フレーム２０２と第２の画像フレーム２０４との間の時間差２０８を、ＩＲライトのオンオフサイクルの時間スパンｔｓｐａｎ２１０の（実質的に）半分と同じ、またはその倍数に設定することによって、２つの画像フレーム２０２、２０４中のパターンは位相がずれる。言い換えれば、第１の画像フレーム２０２の第１の画素ライン２１２は、第１の時点ｔにおいて読み出され、第２の画像フレーム２０４の対応する第１の画素ライン２１２は、第２の時点
において読み出される。図２では、ＩＲ光源は方形波２０６（オン／オフ）で変調され、その波の周期の１／２が、２つのフレーム間の時間差２０８に対応する。例では、ｔｓｐａｎ２１０は、２つ以上の画像フレーム中の任意の画素ラインの露光時間の少なくとも２倍であり得る。
【0047】
例示的なシナリオでは、ＩＲライトのオンオフサイクルｔｓｐａｎは１～２ｍｓであり、ローリングシャッタ画像センサのシャッタ時間（露光時間）は０．５ｍｓであり、行時間（隣接する画素行／ラインの最初の露光間の時間差）は０．０１５ｍｓである。他の構成も同様に可能である。短い行時間の結果、ローリングシャッタ画像センサによってキャプチャされた各画像フレーム２０２、２０４中の移動物体の歪みが少なくなるので、これは有利である。しかしながら、シャッタ時間は無限に短いわけではなく、行時間は典型的にはシャッタ時間よりも短いので、画素ラインのうちのいくつかは、ＩＲライトがオンの状態とオフの状態の両方で露光される。これは図４に示されている。第１の画像フレーム２０２と第２の画像フレーム２０４の両方において時間スパン４０２中に読み出された画素ラインは、ＩＲライト２０６がオンの状態とオフの状態の両方で露光される。時間スパン４０２中に読み出される画素ラインの数は、シャッタ時間と行時間との比に対応する。第１の画像フレーム２０２と第２の画像フレーム２０４の両方において時間スパン４０４中に読み出された画素ラインは、ＩＲがオンの状態のみまたはオフの状態のみで露光される。
【0048】
その結果、図４に「結果」４０６として概略的に示されているように、２つのキャプチャされた画像フレーム２０２、２０４から作成されたＩＲ照射画像（または非ＩＲ照射画像）は、例えば、時間スパン４０２中に、ＩＲライトがオンの状態とオフの状態の両方で露光される画素ラインを含む。これは、図１に関連して説明されたように、修正されたＩＲ照射画像を作成するために減算を実行するのに依然として十分であり得る。しかしながら、例えば、修正されたＩＲ照射画像の画像分析の品質を低下させ得る画像データのストライプが、図２および図４に示されるような２画像設定において、修正されたＩＲ照射画像に生じる。
【0049】
この問題は、次に図３および図５に関連して説明されるような３画像設定を使用して解決され得る。３画像設定は、常に、画像のあらゆる行において１００％ＩＲライトオンを有する３つの画像フレームのうちの１つの画像フレームであるように、ＩＲライトの変調周波数が、第１の画像フレームと第２の画像フレームと第３の画像フレームとの間の時間差と一致されることを可能にし得る。対応して、画像のあらゆる行において１００％ＩＲライトオフを有する３つの画像フレームのうちの１つの画像フレームが存在する。
【0050】
図３は、ローリングシャッタ画像センサと変調ＩＲ光源とを使用する、時間的にインターリーブされた３つの画像フレーム３０２、３０４、３０６のキャプチャを概略的に示す。したがって、ローリングシャッタ画像センサは、３フレーム・インターリーブ・モードをサポートする。
【0051】
図２に関連して上記で説明されたのと同様に、ＩＲ光源は、ローリングシャッタ画像センサを用いて画像をキャプチャする間にオンオフ状態３０６を複数回変更するように変調され、画像フレームの各々は、ＩＲライトがオンにされた状態でキャプチャされた画像データを含む（図３では暗色の）画素ライン２１４の第１のセットと、ＩＲライトがオフにされた状態でキャプチャされた画像データを含む（図３では白色の）画素ライン２１６の第２のセットとを含む。有利には、ＩＲ照射画像（図１中の１０２参照）が、３つの画像フレーム３０２、３０４、３０６のライン２１４の第１のセットに少なくとも部分的に基づいて作成され得、非ＩＲ照射画像（図１中の１０４参照）が、３つの画像フレーム３０２、３０４、３０６のライン２１６の第２のセットに少なくとも部分的に基づいて作成され得る。
【0052】
第１の画像３０２と第２の画像３０４との間、および第２の画像３０４と第３の画像３０６との間の時間差３０８を、ＩＲライトのオンオフサイクルの時間スパンｔｓｐａｎ＿２３１０の（実質的に）１／３と同じ、またはその倍数に設定することによって、ＩＲライトがオンの状態とオフの状態の両方で露光される任意の画素ラインは、非ＩＲ照射画像およびＩＲ照射画像において回避され得る。別の言い方をすれば、図３の実施形態では、ローリングシャッタ画像センサは、第１の時点ｔにおいて第１の画像フレーム３０２についての第１の画素ライン２１２を読み出している。第２の画像フレーム３０４について、ローリングシャッタ画像センサは、
において第１の画素ライン２１２を読み出し、第３の画像フレーム３０６について、ローリングシャッタ画像センサは、
において第１の画素ライン２１２を読み出している。次いで、これは、３つの画像フレーム３０２、３０４、３０６中の画素ラインごとに繰り返される。いくつかの例では、ｔｓｐａｎ＿２は、各画像フレーム中の画素ラインがＩＲライト３０６がオンの状態とオフの状態の両方で露光されることを回避するために、シャッタ時間の少なくとも６倍であり得る。
【0053】
結果は図５に概略的に示されている。上記の図４に関連して説明されたものと同様に、各画像フレーム中のいくつかの画素ラインは、ＩＲライト３０６がオンの状態とオフの状態の両方で露光される。しかしながら、ＩＲライト３０６のオンオフサイクルの時間スパンの（実質的に）１／３と同じ、またはその倍数に、第１の画像３０２と第２の画像３０４との間、および第２の画像３０４と第３の画像３０６との間の時間差で３つの画像フレーム３０２、３０４、３０６をキャプチャすることによって、これらの画素ラインは結果５０６において回避され得る。したがって、結果５０６は、３つのキャプチャされた画像フレーム３０２、３０４、３０６から作成されたＩＲ照射画像（または非ＩＲ照射画像）を表し、ＩＲライトがオンの状態とオフの状態の両方で露光される画素ラインを含まないことがある。
【0054】
【0055】
システム６０２は、複数の画素ラインを有するローリングシャッタ画像センサ６０６を備え、画像のキャプチャ中のローリングシャッタ画像センサは、一度に１つの画素ラインから画素データを読み出す。したがって、Ｓ７０２において、ローリングシャッタ画像センサ６０６が提供される。
【0056】
システム６０２は、オンおよびオフにされるように構成されたＩＲ光源６０４をさらに備え、オンにされると、ＩＲライトは、シーンを照射するように構成される。したがって、Ｓ７０４において、ＩＲライトが提供される。ＩＲは、可視光の波長よりも長い波長を有する電磁放射（ＥＭＲ）である。したがって、ＩＲは人間の目には見えない。ＩＲは、一般に、約１ミリメートル（３００ＧＨｚ）から約７００ナノメートル（４３０ＴＨｚ）の可視スペクトルの公称レッドエッジまでの波長を包含すると理解される。赤外光源は、暗視デバイスによる変換に利用可能な周囲光を増強し、可視光源を実際に使用せずに暗所での視認性を高めるために使用され得る。いくつかの実施形態では、ＩＲ光源、したがって図７に示されている方法７００は、シーン中の自然光の決定された明度値が閾値明度を超えないときのみ使用される。シーン中の自然光の明度値を決定するために、任意のタイプの光センサ（例えば、露出計、照度計、または光度計）が使用され得る。閾値明度は、使用事例およびローリングシャッタ画像センサのパラメータに基づいて構成され得る。閾値明度は、例えば、２ルクス、１ルクス、０．５ルクスなどに設定され得る。
【0057】
電球、ランプまたはダイオードなど、任意の適切なＩＲ光源６０４が使用され得る。
【0058】
システム６０２は、Ｓ７０６において、ローリングシャッタ画像センサを用いて画像をキャプチャする間にＩＲライトのオンオフ状態を複数回変更するように構成されたＩＲライト制御ユニット６０８をさらに備える。
【0059】
ローリングシャッタ画像センサ６０６は、Ｓ７０８において、（図２～図３に例示されているように）２つ以上の画像フレームをキャプチャするために構成され、ローリングシャッタ画像センサは、時間的にインターリーブされた２つ以上の画像フレームに画像データを読み出すように構成される。その結果、各画像フレームは、ＩＲライトがオンにされた状態でキャプチャされた画像データを含む画素ラインの第１のセットと、ＩＲライトがオフにされた状態でキャプチャされた画像データを含む画素ラインの第２のセットとを含む。
【0060】
システム６０２は、Ｓ７１０において、図４～図５に例示されているように、２つ以上の画像フレームのラインの第１のセットに少なくとも部分的に基づいてＩＲ照射画像を作成（例えば、クロップおよびスティッチ）することと、Ｓ７１２において、２つ以上の画像フレームのラインの第２のセットに少なくとも部分的に基づいて非ＩＲ照射画像を作成することとを行うように構成された画像スティッチングユニット６１０をさらに備える。画像スティッチングユニット６１０は、Ｓ７１４において、非ＩＲ照射画像中の画素値を使用してＩＲ照射画像から背景光を減算し、それにより、（参照１０６として図１に示されているように）修正されたＩＲ照射画像を作成するようにさらに構成され得る。
【0061】
いくつかの実施形態では、システム６０２は、修正されたＩＲ照射画像中のナンバープレートを検出するように構成された画像分析ユニット６１２をさらに備える。ローリングシャッタ画像センサは、道路を含むシーンをキャプチャするカメラ６００において設けられ得る。
【0062】
いくつかの実施形態では、システム６０２は、無線送信機６１４をさらに備える。無線送信機６１４は、修正されたＩＲ照射画像または任意の検出されたナンバープレートなどのデータ、あるいは修正されたＩＲ照射画像を分析することからの他のデータを送信するために使用され得る。データは、記憶、またはサーバにおけるさらなる分析のために送信され得る。データは、データに従うように訓練された人間のオペレータによって受信され得る。
【0063】
システム６０２は、例では、カメラ６００などの単一のデバイスにおいて実装され得る。他の例では、異なる構成要素（モジュール、ユニットなど）６０６、６０８、６１０、６１２、６１４の一部または全部は、サーバまたはクラウドにおいて実装され得る。一般に、構成要素６０６、６０８、６１０、６１２、６１４を実装するデバイス（カメラ、サーバなど）は、構成要素６０６、６０８、６１０、６１２、６１４、およびより具体的にはそれらの機能性を実装するように構成された回路を備え得る。システム６０２中の説明された特徴は、有利には、データ記憶システムからデータおよび命令を受信し、データ記憶システムにデータおよび命令を送信するために結合された少なくとも１つのプログラマブルプロセッサと、カメラなどの少なくとも１つの入力デバイスと、ディスプレイなどの少なくとも１つの出力デバイスとを含むプログラマブルシステム上で実行可能な１つまたは複数のコンピュータプログラムにおいて実装され得る。命令のプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方と、任意の種類のコンピュータの単独のプロセッサまたは１つまたは複数のプロセッサもしくはコアとを含む。プロセッサは、ＡＳＩＣ（特定用途向け集積回路）によって補足されるか、またはＡＳＩＣに組み込まれ得る。
【0064】
上記の実施形態は、本発明の例示的な例として理解されるべきである。本発明のさらなる実施形態が想定される。例えば、画像分析ユニット６１２は、道路標識を検出するように構成され得る。画像分析ユニットからの出力は、カメラ６００が搭載された車両を制御するために使用され得る。任意の１つの実施形態に関連して説明された任意の特徴は、単独で、または説明された他の特徴と組み合わせて使用され得、また、実施形態の任意の他のものの１つまたは複数の特徴、または実施形態の任意の他のものの任意の組合せと組み合わせて使用され得ることを理解されたい。さらに、添付の特許請求の範囲において定義される本発明の範囲から逸脱することなく、上記で説明されていない均等物および修正が採用され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【外国語明細書】