知財求人 - 知財ポータルサイト「IP Force」
▶ オフィス ナショナル デテュード エ ドゥ ルシェルシュ アエロスパシアルの特許一覧
特表2023-504017メモリ効果を有する放射線感応素子を用いた画像キャプチャ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-01
(54)【発明の名称】メモリ効果を有する放射線感応素子を用いた画像キャプチャ
(51)【国際特許分類】
H04N 25/62 20230101AFI20230125BHJP
H04N 5/32 20230101ALI20230125BHJP
H04N 5/33 20230101ALI20230125BHJP
【ＦＩ】
H04N5/359
H04N5/32
H04N5/33
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022530838
(86)(22)【出願日】2020-11-14
(85)【翻訳文提出日】2022-05-25
(86)【国際出願番号】 EP2020082167
(87)【国際公開番号】W WO2021104905
(87)【国際公開日】2021-06-03
(31)【優先権主張番号】1913415
(32)【優先日】2019-11-28
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】518023164
【氏名又は名称】オフィス ナショナル デテュード エ ドゥ ルシェルシュ アエロスパシアル
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】クラペ，ジャン－クロードゥ
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024AX01
5C024AX06
5C024AX11
5C024CX17
5C024HX29
(57)【要約】
画像をキャプチャするための方法によれば、画像をキャプチャするために使用されるマトリクス（１０ａ）の感応素子（１）のメモリ効果を少なくとも部分的に補正することが可能となる。補正画像は、キャプチャされた新たなｒａｗ画像から、当該新たな画像に先行してキャプチャされた先行ｒａｗ画像の一部を減算することによって形成される。上記方法は、時間についての１次伝達関数を有する感応素子であるボロメータまたはマイクロボロメータなどに特に適している。メモリ効果の補正により、上記伝達関数を改善すること、および／または、シーン要素の移動時に画像内に現れるテール効果を低減することが可能となる。
【特許請求の範囲】
【請求項1】
画像をキャプチャするための方法であって、複数の感応素子（１）の同一のマトリクス（１０ａ）を使用して複数の画像が連続的にキャプチャされ、
上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ））を、上記ｒａｗ検出信号が読み出された読出時点において上記感応素子が受けた放射線の量のみならず、上記読出時点に先行して上記感応素子が受けた放射線の量にも依存させるメモリ効果を、各感応素子が示し、
上記メモリ効果について少なくとも部分的に補正された、補正画像（Ｓｃｏｒｒ（ｔ））と称される画像を形成するために、上記マトリクス（１０ａ）の各感応素子（１）に画像点強度値（Ｓｉ，ｊ＿ｃｏｒｒ（ｔ））が個別に割り当てられ、
上記画像点強度値は、
（ｉ）新ｒａｗ画像（Ｓｒａｗ（ｔ））と称される新たにキャプチャされた画像について読み出された上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ））と、
（ｉｉ）上記新ｒａｗ画像に先行してキャプチャされた先行ｒａｗ画像（Ｓｒａｗ（ｔ－Δ））と称される別の画像について読み出された同一の上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ））の一部と、
の差に比例し、
上記補正画像（Ｓｃｏｒｒ（ｔ））を形成するために、各感応素子（１）に割り当てられている上記画像点強度値（Ｓｉ，ｊ＿ｃｏｒｒ（ｔ））は、
（ｉ）上記新ｒａｗ画像（Ｓｒａｗ（ｔ））について読み出された上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ））と、
（ｉｉ）上記先行ｒａｗ画像（Ｓｒａｗ（ｔ－Δ））について読み出された同一の上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ））にｅｘｐ（－Δ／τ）を乗算した結果と、
の差を、［１－ｅｘｐ（－Δ／τ）］によって除算した結果に比例し、
ｅｘｐ（．）は、指数関数を表し、
τは、上記感応素子の特性応答時間であり、
Δは、上記新ｒａｗ画像および上記先行ｒａｗ画像のそれぞれについての上記感応素子の読出時点間の非零の期間である、方法。
【請求項2】
上記新ｒａｗ画像（Ｓｒａｗ（ｔ））および上記先行ｒａｗ画像（Ｓｒａｗ（ｔ－Δ））のそれぞれについての、同一の感応素子（１）のそれぞれの読出時点間の上記期間Δは、上記感応素子の上記特性応答時間τよりも短い、請求項１に記載の方法。
【請求項3】
上記先行ｒａｗ画像（Ｓｒａｗ（ｔ－Δ））は、複数のｒａｗ画像のキャプチャの時系列に従って上記新ｒａｗ画像（Ｓｒａｗ（ｔ））に先行してキャプチャされた複数の画像のうちの最終の画像である、請求項１または２に記載の方法。
【請求項4】
各感応素子（１）は、ボロメータもしくはマイクロボロメータ、サーモパイル、焦電センサ、強誘電体センサ、または、熱的変形可能なマイクロレバーセンサである、請求項１から３のいずれか１項に記載の方法。
【請求項5】
各補正画像（Ｓｃｏｒｒ（ｔ），Ｓｃｏｒｒ（ｔ－（Δ１＋Δ２）））は、ｒａｗ画像のペアから形成され、上記ｒａｗ画像のペアは、
（ｉ）新ｒａｗ画像（Ｓｒａｗ（ｔ），Ｓｒａｗ（ｔ－（Δ１＋Δ２）））と、
（ｉｉ）上記新ｒａｗ画像に先行してキャプチャされた先行ｒａｗ画像（Ｓｒａｗ（ｔ－Δ１），Ｓｒａｗ（ｔ－（２Δ１＋Δ２）））と、を含んでおり、
連続的な補正画像を形成するために使用される上記ｒａｗ画像の複数のペアは、互いに共通の要素を含まず、非インターレースであり、かつ、時系列的に連続している、請求項１から４のいずれか１項に記載の方法。
【請求項6】
複数の補正画像（Ｓｃｏｒｒ＿１，Ｓｃｏｒｒ＿２，Ｓｃｏｒｒ＿３，Ｓｃｏｒｒ＿４）は、同一の新ｒａｗ画像（Ｓｒａｗ（ｔ））を、当該新ｒａｗ画像に先行して連続的にキャプチャされた複数の先行ｒａｗ画像（Ｓｒａｗ（ｔ－Δ），Ｓｒａｗ（ｔ－２Δ），Ｓｒａｗ（ｔ－３Δ），Ｓｒａｗ（ｔ－４Δ））と組み合わせることにより形成され、
各補正画像は、各感応素子（１）に関連する上記期間Δについて、（ｉ）上記新ｒａｗ画像についての上記感応素子の読出時点と、（ｉｉ）上記補正画像を形成するために組み合わせられる上記先行ｒａｗ画像についての上記感応素子の読出時点と、の差を用いることにより得られる、請求項１から４のいずれか１項に記載の方法。
【請求項7】
イメージセンサ（１０）であって、複数の感応素子（１）のマトリクス（１０ａ）と、
画像処理モジュール（１１）と、を備えており、
上記感応素子から読み出されたｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ））を、上記ｒａｗ検出信号が読み出された読出時点において上記感応素子が受けた放射線の量のみならず、上記読出時点に先行して上記感応素子が受けた放射線の量にも依存させるメモリ効果を、各感応素子が示し、
上記画像処理モジュールは、上記メモリ効果について少なくとも部分的に補正された、補正画像（Ｓｃｏｒｒ（ｔ））と称される画像を出力し、
各補正画像は、上記マトリクス（１０ａ）の上記感応素子（１）にそれぞれ割り当てられた画像点強度値（Ｓｉ，ｊ＿ｃｏｒｒ（ｔ））によって形成されており、
上記画像処理モジュールは、複数の上記感応素子のうちの任意の１つの上記画像点強度値を、
（ｉ）新ｒａｗ画像（Ｓｒａｗ（ｔ））と称される新たにキャプチャされた画像について読み出された上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ））と、
（ｉｉ）上記新ｒａｗ画像に先行してキャプチャされた先行ｒａｗ画像（Ｓｒａｗ（ｔ－Δ））と称される別の画像について読み出された同一の上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ））の一部と、
の差に比例する値として算出し、
上記補正画像（Ｓｃｏｒｒ（ｔ））を形成するために、各感応素子（１）に割り当てられている上記画像点強度値（Ｓｉ，ｊ＿ｃｏｒｒ（ｔ））は、
（ｉ）上記新ｒａｗ画像（Ｓｒａｗ（ｔ））について読み出された上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ））と、
（ｉｉ）上記先行ｒａｗ画像（Ｓｒａｗ（ｔ－Δ））について読み出された同一の上記感応素子のｒａｗ検出信号（Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ））にｅｘｐ（－Δ／τ）を乗算した結果と、
の差を、［１－ｅｘｐ（－Δ／τ）］によって除算した結果に比例し、
ｅｘｐ（．）は、指数関数を表し、
τは、上記感応素子の特性応答時間であり、
Δは、上記新ｒａｗ画像および上記先行ｒａｗ画像のそれぞれについての上記感応素子の読出時点間の非零の期間である、イメージセンサ（１０）。
【請求項8】
請求項１から６のいずれか１項に記載の方法を実行するように適合化されている、請求項７に記載のイメージセンサ（１０）。
【発明の詳細な説明】
【発明の詳細な説明】
【0001】
［技術分野］
本明細書は、メモリ効果を示す感応素子（感知素子）を用いて画像をキャプチャするための方法に関し、当該方法を実行するイメージセンサにも関する。
本明細書は、メモリ効果を示す感応素子（感知素子）を用いて画像をキャプチャするための方法に関し、当該方法を実行するイメージセンサにも関する。
【0002】
［先行技術］
多種多様なイメージセンサが存在している。これらのイメージセンサは、感応する放射線のタイプおよび画像をキャプチャするための動作モードに応じて様々である。
多種多様なイメージセンサが存在している。これらのイメージセンサは、感応する放射線のタイプおよび画像をキャプチャするための動作モードに応じて様々である。
【0003】
本明細書では、放射線とは、シーンから生じ、かつ、当該シーンの画像がイメージセンサによってキャプチャされるように当該イメージセンサに到達しうる全てのタイプの外部信号を意味するものと理解される。各画像は、画像中の点へとそれぞれ割り当てられ、かつ、マトリクス状に配列されている強度値のセットの形態を取る。特に、放射線は、任意の波長範囲における、特に、Ｘ線、紫外線、可視光、近赤外線、およびいわゆる熱赤外線の範囲における電磁放射線であってよい。放射線は、特に超音波の分野における音響放射であってもよい。
【0004】
イメージセンサは、複数の感応素子のマトリクスを含んでいる。複数の感応素子は、自身が受けた放射線の強度に応じて変化する検出信号を個別に生成しうる。このため、画像内の点とイメージセンサの感応素子との間には、１対１対応が存在しうる。
【0005】
第１のタイプのセンサでは、定められた期間（一般的には蓄積期間と称される）に亘り、シーンから生じる放射線に各感応素子を曝すことによって、検出信号の取得がなされる。次いで、放射線により蓄積期間に亘り感応素子に生じた検出信号は、専用回路によって読み出される。次いで、（ｉ）画像をキャプチャするために実行される検出信号の読み出し時から、（ｉｉ）後続する画像をキャプチャするための新たな蓄積期間の開始時まで、感応素子はリセットされる。このリセットにより、個別の蓄積期間に対応して確実に画像を連続的にキャプチャできる。本明細書は、この第１のタイプの感応素子またはイメージセンサには関連しない。
【0006】
本明細書は、感応素子が受けた放射線に応じて、当該感応素子が可変な瞬時状態を取りうるイメージセンサに関する。この第２のタイプのセンサでは、センサマトリクス内の感応素子のそれぞれの瞬時状態に特有の値を読み出すことによって、画像がキャプチャされる。ほとんどの場合、各感応素子のリセットは不可能である、あるいは、２つの連続したキャプチャ画像間において各感応素子のリセットは実行されない。この場合、画像をキャプチャするために各感応素子から読み出された検出信号は、読出時点において当該感応素子が受けた放射線のみならず、当該感応素子が以前に受けていた放射線にも依存する。言い換えれば、読み出された検出信号は、読出時点までに感応素子が連続的に受けていた放射線強度の組み合わせの結果として生じる。当該効果（作用）は、当業者によって「メモリ効果」と一般的に称される。このメモリ効果に起因して、各キャプチャ画像は、連続的に生じていたシーン状態の組み合わせの結果として生じる。時間の変化に伴いシーンが変化する場合、メモリ効果は画像品質の劣化を引き起こす。メモリ効果は、シーン内の複数のパターンの性質、および、これらのパターンの一部の移動（動き）に応じて、異なる形態を取って現れうる。特に、第２のタイプのイメージセンサにおけるメモリ効果は、画像コントラストの低減、シーンの要素の移動に影響を及ぼすテール効果などの形態を取って現れうる。
【0007】
上述のメモリ効果を低減するための方法が開発されている。当該方法は、２つの連続した画像がキャプチャされる場合に、複数の時点間においてイメージセンサのマトリクス内の感応素子の少なくとも１つに消去シーケンスを適用することを含んでいる。当該消去シーケンスは、専用電子回路（熱化回路と称されることもある）によってなされる。当該方法は、イメージセンサ内の感応素子に作用するという意味合いにおいて、ハードウェアベースである。
【0008】
メモリ効果を低減するための別の方法が開発されている。当該方法は、ソフトウェアベースであり、感応素子の連続的な読み出しの結果として直接的に得られた複数のｒａｗ画像（生画像、未加工画像）を共に組み合わせることを含む。畳み込み（コンボリューション）および／または線形結合を通じて時間的なフィルタリング関数を生成するために、マトリクスまたは複数のスカラー係数が使用される。しかしながら、これらの係数の決定は、画像内に含まれている情報の低減を引き起こしうる、および／または、画像ノイズを増幅しうるため、難しいタスクである。さらに、上述のフィルタリング操作は、イメージセンサ内の感応素子におけるメモリ効果を補正するために適合化されていない。このため、結果として得られた補正は、メモリ効果について最適化されていない。
【0009】
［技術的課題］
そこで、本発明の目的は、上述の第２のタイプのイメージセンサにおいて、メモリ効果によって引き起こされる画像劣化を低減することにある。特に、本発明の目的は、イメージセンサの伝達関数を改善すること、および／または、シーンの要素の移動時に画像内に現れるテール効果を低減することにある。
そこで、本発明の目的は、上述の第２のタイプのイメージセンサにおいて、メモリ効果によって引き起こされる画像劣化を低減することにある。特に、本発明の目的は、イメージセンサの伝達関数を改善すること、および／または、シーンの要素の移動時に画像内に現れるテール効果を低減することにある。
【0010】
［発明の概要]
この目的または別の目的を実現するために、本発明の第１の態様は、画像をキャプチャするための方法を提案している。当該方法では、複数の感応素子の同一のマトリクスを使用して複数の画像が連続的にキャプチャされる。各感応素子は、メモリ効果を示す。当該メモリ効果は、上記感応素子のｒａｗ検出信号を、上記ｒａｗ検出信号が読み出された読出時点において当該感応素子が受けた放射線の量に依存させるとともに、上記読出時点に先行して同一の感応素子が受けた放射線の量にも依存させる。
この目的または別の目的を実現するために、本発明の第１の態様は、画像をキャプチャするための方法を提案している。当該方法では、複数の感応素子の同一のマトリクスを使用して複数の画像が連続的にキャプチャされる。各感応素子は、メモリ効果を示す。当該メモリ効果は、上記感応素子のｒａｗ検出信号を、上記ｒａｗ検出信号が読み出された読出時点において当該感応素子が受けた放射線の量に依存させるとともに、上記読出時点に先行して同一の感応素子が受けた放射線の量にも依存させる。
【0011】
本発明によれば、上記メモリ効果について少なくとも部分的に補正された画像（補正画像と称される）を形成するために、上記マトリクスの各感応素子に画像点強度値が個別に割り当てられる。この値は、（ｉ）新たにキャプチャされた画像（新ｒａｗ画像と称される）について読み出された上記感応素子のｒａｗ検出信号と、（ｉｉ）上記新ｒａｗ画像に先行してキャプチャされた別の画像（先行ｒａｗ画像と称される）について読み出された同一の上記感応素子のｒａｗ検出信号の一部と、の差に比例する。
【0012】
上述の補正によれば、感応素子から読み出されたｒａｗ検出信号によって構成されている各ｒａｗ画像について、感応素子のメモリ効果によって引き起こされる画像劣化が、画像点強度値によって構成されている補正画像において低減される。先行ｒａｗ画像は、メモリ効果の内容の少なくとも一部を評価するために使用され、メモリ効果の内容のこの部分は、各感応素子について個別に新ｒａｗ画像の内容から差し引かれる（減算される）。この場合、結果として得られる補正画像は、複数のｒａｗ画像の２つの読出時点間に各感応素子が受ける放射線に主に対応する。
【0013】
上述のメモリ効果の補正は、感応素子から読み出されたｒａｗ検出信号によって構成されているｒａｗ画像に替えて、本発明に従って計算される画像点強度値によって構成されている画像を用いることを含む。当該補正は、感応素子の読出時点間の短い期間において、「新」ｒａｗ画像および「先行」ｒａｗ画像がキャプチャされる場合に、より一層有効である。この目的のために、新ｒａｗ画像に先行して複数の先行ｒａｗ画像がキャプチャされた場合、補正画像についての画像点強度値を算出するために使用されるｒａｗ画像は、好ましくは、ｒａｗ画像のキャプチャの時系列順において、新ｒａｗ画像に先行してキャプチャされた複数の先行ｒａｗ画像のうちの、最終（最新）の先行ｒａｗ画像であってよい。
【0014】
本発明の好適な実施形態において、上記補正画像を形成するために各感応素子に割り当てられている上記画像点強度値は、（ｉ）上記新ｒａｗ画像について読み出された上記感応素子のｒａｗ検出信号と、（ｉｉ）上記先行ｒａｗ画像について読み出された同一の上記感応素子のｒａｗ検出信号にｅｘｐ（－Δ／τ）を乗算した結果と、の差に比例しうる。ｅｘｐ（．）は、指数関数を表す。τは、上記感応素子の特性応答時間である。Δは、上記新ｒａｗ画像と上記先行ｒａｗ画像とのそれぞれについての上記感応素子の読出時点間の非零の期間である。補正画像を生成するために、新ｒａｗ画像と先行ｒａｗ画像とをこのように組み合わせることは、各感応素子の動作が、（ｉ）時間についての１次伝達関数に対応する場合、または、（ｉｉ）時間についての当該１次伝達関数によって近似的に記述できる場合に、より一層適切である。本発明の文脈において、放射線感応素子の伝達関数は、ｆ（ｓ）として表記される。当該伝達関数は、入射放射線に応答して感応素子によって生成されるｒａｗ検出信号のラプラス変換についての、当該入射放射線の強度のラプラス変換による商である。言い換えると、ｆ（ｓ）＝Ａｄ（ｓ）／ＡＲ（ｓ）である。ｓは、ラプラス変数を表す。ｆは、感応素子の伝達関数を表す。ＡＲは、感応素子に入射する放射線の強度のラプラス変換を表す。Ａｄは、感応素子によって生成されるｒａｗ検出信号のラプラス変換を表す。この伝達関数が、
の形式を取る場合、当該伝達関数は時間について１次であると称される。Ｇはゲイン係数であり、τは特性応答時間である。これらは、各感応素子について一定である。本発明の好適な実施形態によって提供されるメモリ効果補正は、時間についての１次伝達関数を有する感応素子に特に適している。ただし、当該メモリ効果補正は、メモリ効果についての部分的な補正を提供することにより、時間についての１次伝達関数を有しない感応素子に対しても有効である。
【数1】
の形式を取る場合、当該伝達関数は時間について１次であると称される。Ｇはゲイン係数であり、τは特性応答時間である。これらは、各感応素子について一定である。本発明の好適な実施形態によって提供されるメモリ効果補正は、時間についての１次伝達関数を有する感応素子に特に適している。ただし、当該メモリ効果補正は、メモリ効果についての部分的な補正を提供することにより、時間についての１次伝達関数を有しない感応素子に対しても有効である。
【0015】
上述の本発明の好適な実施形態に関して、上記補正画像を形成するために、各感応素子に割り当てられている上記画像点強度値は、（ｉ）上記新ｒａｗ画像について読み出された上記感応素子のｒａｗ検出信号と、（ｉｉ）上記先行ｒａｗ画像について読み出された同一の上記感応素子のｒａｗ検出信号にｅｘｐ（－Δ／τ）を乗算した結果と、の差を、［１－ｅｘｐ（－Δ／τ）］によって除算した結果に比例しうる。［１－ｅｘｐ（－Δ／τ）］による除算によれば、特に、補正画像の強度の減衰を避けることができる。当該減衰は、新ｒａｗ画像と先行ｒａｗ画像とのそれぞれの読出時点間の期間Δが短い場合には、より一層大きくなりうる。随意に、１／［１－ｅｘｐ（－Δ／τ）］に加えて、付加的な比例係数が適用されてもよい。これにより、メモリ効果について補正された画像における画像点強度値のスケールを調整できる。この付加的な比例係数は、新ｒａｗ画像と先行ｒａｗ画像とのそれぞれの読出時点間の期間Δに依存せず、特性応答時間τにも依存しないという意味合いにおいて、一定であってよい。
【0016】
上述の好適な実施形態を含む本発明の様々な実施形態では、以下の付加的な構成のうちの少なくとも１つが、単独で、または当該構成のうちの複数を一緒に組み合わせることにより、随意に再現されてよい。
【0017】
・同一の感応素子における新ｒａｗ画像と先行ｒａｗ画像とのそれぞれの読出時点間の期間Δは、この感応素子の特性応答時間τよりも短くてもよい。
【0018】
・同一の感応素子における新ｒａｗ画像と先行ｒａｗ画像とのそれぞれの読出時点間の期間Δは、この感応素子の特性応答時間τの０．０２倍から０．２倍までであってよい。
【0019】
・各感応素子は、ボロメータもしくはマイクロボロメータ、サーモパイル、焦電センサ、強誘電体センサ、または、熱的変形可能なマイクロレバーセンサであってよい。
【0020】
・マトリクスにおける感応素子は、赤外線（特に熱赤外線）、Ｘ線、音響放射（特に超音波放射）などを含む電磁放射線に感応してよい。
【0021】
・特性応答時間τの同一の値は、マトリクスにおける全ての感応素子に共通であってよい。
【0022】
・上記方法は、特性応答時間τの値がマトリクスにおける複数の感応素子のそれぞれについて個別に決定される予備的なステップを含んでいてもよい。次いで、このようにして感応素子ごとに決定された特性応答時間τの値を用いて、当該特性応答時間に由来する画像点強度値を算出し、補正画像を形成してよい。
【0023】
・各補正画像は、（ｉ）新ｒａｗ画像と、（ｉｉ）当該新ｒａｗ画像に先行してキャプチャされた先行ｒａｗ画像と、を含む、ｒａｗ画像のペアから形成されてもよい。この場合、連続的な補正画像を形成するために使用されるｒａｗ画像の複数のペアは、互いに共通の要素を含まず（互いに素であり）、非インターレースであり、かつ、時系列的に連続していてよい。
【0024】
・複数の補正画像は、同一の新ｒａｗ画像を、当該新ｒａｗ画像に先行して連続的にキャプチャされた複数の先行ｒａｗ画像と組み合わせることによって形成されてもよい。この場合、各補正画像は、各感応素子に関連する期間Δについて、（ｉ）新ｒａｗ画像についての感応素子の読出時点と、（ｉｉ）この補正画像を形成するために使用される先行ｒａｗ画像についての感応素子の読出時点と、の差を使用することによって得られる。このようにして得られた補正画像を比較することにより、テール効果の漸進的な減少が観察されうる。場合によっては、テール効果のこの減少は、移動時に結像されたシーンのある要素の移動速度を評価することを可能とする。
【0025】
本発明の第２の態様は、イメージセンサを提案している。当該イメージセンサは、複数の感応素子のマトリクスと、画像処理モジュールと、を備えている。各感応素子は、メモリ効果を示す。当該メモリ効果は、この感応素子から読み出されたｒａｗ検出信号を、上記ｒａｗ検出信号が読み出された読出時点において上記感応素子が受けた放射線の量のみならず、上記読出時点に先行して上記感応素子が受けた放射線の量にも依存させる。上記画像処理モジュールは、上記メモリ効果について少なくとも部分的に補正された画像を出力する。各補正画像は、上記マトリクスの上記感応素子にそれぞれ割り当てられた画像点強度値によって形成されている。上記画像処理モジュールは、複数の上記感応素子のうちの任意の１つの上記画像点強度値を、（ｉ）新ｒａｗ画像について読み出された上記感応素子のｒａｗ検出信号と、（ｉｉ）上記新ｒａｗ画像に先行してキャプチャされた先行ｒａｗ画像について読み出された同一の上記感応素子のｒａｗ検出信号と、の差に比例する値として算出する。
【0026】
上記イメージセンサは、本発明の第１の態様に係る方法を実行するように適合化されていてもよい。随意に、上記イメージセンサは、実行についての好適なモードと任意の付加的な構成とを含んでいてもよい。
【0027】
［図面の簡単な説明］
本発明の構成および効果は、下記の添付の図面を参照することにより、非限定的な実施形態の一部の例についての以下の詳細の説明において、より明確になるであろう。
本発明の構成および効果は、下記の添付の図面を参照することにより、非限定的な実施形態の一部の例についての以下の詳細の説明において、より明確になるであろう。
【0028】
図１は、本発明に係るイメージセンサのブロック図である；
図２～図４は、本発明に係る補正画像を生成するための様々なシーケンスを示す；
図５は、画像コントラストについての本発明の第１の効果を示す；
図６は、画像内に現れうるテール効果についての本発明の第２の効果を示す。
図２～図４は、本発明に係る補正画像を生成するための様々なシーケンスを示す；
図５は、画像コントラストについての本発明の第１の効果を示す；
図６は、画像内に現れうるテール効果についての本発明の第２の効果を示す。
【0029】
［発明の詳細な説明］
図１によれば、イメージセンサ１０は、複数の感応素子１のマトリクス１０ａを備えている。複数の感応素子は、マトリクスの行および列の交点（交差位置）に配置されており、互いに独立していると見なされてよい。例えば、マトリクス１０ａは、３２０×２４０個の感応素子１によって構成されてよい。特に、当業者によって知られているモデルにおいて、全ての感応素子１は同等であってよい。例えば、各感応素子１は、マイクロボロメータであってよい。この場合、感応素子は、電気抵抗値が温度の関数として変化する導電性材料の部分を含んでいる。可変電気抵抗材料のこの部分は、当該部分の環境から少なくとも部分的に熱的に絶縁されている。それゆえ、この部分に照射され、かつ、当該部分によって吸収される放射線Ｒは、当該部分の温度上昇を生じさせ、その結果、当該部分の電気抵抗値の変化を生じさせる。この電気抵抗値は、各キャプチャ画像に対応して読み出されるｒａｗ検出信号を構成する。この測定原理はきわめて周知であるので、本明細書では説明を繰り返さない。
図１によれば、イメージセンサ１０は、複数の感応素子１のマトリクス１０ａを備えている。複数の感応素子は、マトリクスの行および列の交点（交差位置）に配置されており、互いに独立していると見なされてよい。例えば、マトリクス１０ａは、３２０×２４０個の感応素子１によって構成されてよい。特に、当業者によって知られているモデルにおいて、全ての感応素子１は同等であってよい。例えば、各感応素子１は、マイクロボロメータであってよい。この場合、感応素子は、電気抵抗値が温度の関数として変化する導電性材料の部分を含んでいる。可変電気抵抗材料のこの部分は、当該部分の環境から少なくとも部分的に熱的に絶縁されている。それゆえ、この部分に照射され、かつ、当該部分によって吸収される放射線Ｒは、当該部分の温度上昇を生じさせ、その結果、当該部分の電気抵抗値の変化を生じさせる。この電気抵抗値は、各キャプチャ画像に対応して読み出されるｒａｗ検出信号を構成する。この測定原理はきわめて周知であるので、本明細書では説明を繰り返さない。
【0030】
このタイプのマイクロボロメータは、時間についての１次伝達関数を有することも知られている。当該伝達関数は、（ｉ）Ｇと表記されるゲイン係数の値と、（ｉｉ）τと表記される特性応答時間の値と、によって特性決定される。ｆ（ｓ）と表記され、ラプラス変数ｓに依存する当該伝達関数は、
として表される。周波数νに従って時間経過に伴い正弦波的に変化する放射線Ｒの強度を伴う照射条件において、感応素子によって生成される検出信号も、周波数νにおいて時間経過に伴い変化する。当該検出信号の振幅は、
として与えられる。ＡＲは放射線Ｒの強度の複素振幅であり、Ａｄはｒａｗ検出信号の複素振幅であり、ｊは複素数における虚数単位である。一般的に、特性応答時間τは、７ｍｓ（ミリ秒）から１５ｍｓまでの値であってよい。ゲインＧの値は、感応素子の幾何学的特性および熱的特性に特に依存する。感応素子によって生成される検出信号は、検出信号が読み出される時点（瞬間）までの各時点において、当該感応素子が受けていた放射線Ｒの強度に依存する。この挙動は、メモリ効果と称され、放射線Ｒの強度の急速な変動に対する感応素子の感度を低下させる。この感度の低下は、受光素子が以前に受けていた放射線の強度の瞬時値について重み付けられた組み合わせの作用に起因している。このことは、感応素子によって生成された検出信号におけるこれらの値の時間的な平滑化（スムージング）をもたらす。特性応答時間τは、検出信号の読み取りに先行するある時点において受けた放射線から、読み取られる検出信号への寄与が発生する時間スケールを定める。読み出される検出信号の値への当該寄与は、読出時点に先立ち受けた放射線の強度に適用される、ｅｘｐ（－ｔ／τ）というタイプの乗法的減衰係数によって影響を受ける。ｔは、感応素子が放射線を受けた時点から読出時点までの間の期間である。
【数2】
として表される。周波数νに従って時間経過に伴い正弦波的に変化する放射線Ｒの強度を伴う照射条件において、感応素子によって生成される検出信号も、周波数νにおいて時間経過に伴い変化する。当該検出信号の振幅は、
【数3】
として与えられる。ＡＲは放射線Ｒの強度の複素振幅であり、Ａｄはｒａｗ検出信号の複素振幅であり、ｊは複素数における虚数単位である。一般的に、特性応答時間τは、７ｍｓ（ミリ秒）から１５ｍｓまでの値であってよい。ゲインＧの値は、感応素子の幾何学的特性および熱的特性に特に依存する。感応素子によって生成される検出信号は、検出信号が読み出される時点（瞬間）までの各時点において、当該感応素子が受けていた放射線Ｒの強度に依存する。この挙動は、メモリ効果と称され、放射線Ｒの強度の急速な変動に対する感応素子の感度を低下させる。この感度の低下は、受光素子が以前に受けていた放射線の強度の瞬時値について重み付けられた組み合わせの作用に起因している。このことは、感応素子によって生成された検出信号におけるこれらの値の時間的な平滑化（スムージング）をもたらす。特性応答時間τは、検出信号の読み取りに先行するある時点において受けた放射線から、読み取られる検出信号への寄与が発生する時間スケールを定める。読み出される検出信号の値への当該寄与は、読出時点に先立ち受けた放射線の強度に適用される、ｅｘｐ（－ｔ／τ）というタイプの乗法的減衰係数によって影響を受ける。ｔは、感応素子が放射線を受けた時点から読出時点までの間の期間である。
【0031】
イメージセンサ１０を形成するために、感応素子１のマトリクス１０ａは、ＣＴＲＬと表記されているコントローラ１０ｂに関連付けられている。公知の態様において、コントローラ１０ｂは、（ｉ）感応素子１のそれぞれに対する電源供給機能および読出機能（読取機能）と、（ｉｉ）マトリクス１０ａ内の感応素子１のそれぞれに対するアドレス指定機能と、（ｉｉｉ）場合によっては付加的な機能（感応素子１に対するテスト機能、感応素子の少なくとも一部に対する随意的な熱化機能、および検出信号のデジタル化機能など）と、を有する。マトリクス１０ａの全ての感応素子１における各読出サイクルにおいて、コントローラ１０ｂは、全ての感応素子１から読み出された検出信号の値を出力する。この場合、１つの検出信号値は、各キャプチャ画像について感応素子ごとに読み出される。これらの検出信号（本明細書の全般的な部分では、ｒａｗ検出信号と称されている）の読み出しは、画像キャプチャ操作を含む。したがって、このようにして直接的に得られる画像は、ｒａｗ画像と称される。感応素子のマトリクスの読み出しは、以下の２つのモード、すなわちローリングシャッタモードまたはスナップショットモードのうちの一方に従って実行されてよい。第１のケースでは、マトリスクの行は、１行ずつ順番に読み出される。第２のケースでは、全ての行が同時に読み出される。イメージセンサの読出モードにおけるこの差異は、本発明の原理に影響を及ぼすものではないし、結果に影響を及ぼすものでもない。以下の詳細な説明は、スナップショット読出モードの非限定的な実施例として提供されている。この説明を、ローリングシャッタモードを使用して画像を読み出すケースに置き換えるために、以降にて言及されている読出時間は、マトリクスの第１行における読出時間であるとみなすことができる。
【0032】
図１には示されていないが、マトリクス１０ａの前方（正面）において、光学系が使用されてもよい。これにより、結像させるべきシーンを知素子１のマトリクスに対して光学共役とすることができる。この場合、放射線Ｒは、感応素子１への入射に先立ち、この共役レンズを通過する。
【0033】
本発明において、イメージセンサ１０は、画像処理モジュール１１をさらに備える。当該画像処理モジュールは、コントローラ１０ｂによって出力されたｒａｗ画像を入力として取得するように接続されている。モジュール１１は、ｒａｗ画像から処理画像を生成するように設計されている。これにより、上述した感応素子１におけるメモリ効果を、補償または少なくとも部分的に補正できる。このため、このモジュールを含むイメージセンサによって本発明に従って生成された処理画像は、補正画像と称される。画像処理モジュール１１は、専用電子回路であってもよいし、プロセッサ内にホストされたソフトウェアモジュールであってもよいし、専用ＣＰＵであってもよい。
【0034】
本発明によれば、画像処理モジュール１１は、あるｒａｗ画像から、先行してキャプチャされ、かつ、定められた係数が乗算された別のｒａｗ画像を減算することにより、当該ｒａｗ画像から補正画像を生成する。ｒａｗ画像に係数を乗算することは、当該ｒａｗ画像を構成する全てのｒａｗ検出信号に当該係数を乗算することを含む操作を意味すると理解される。さらに、第２画像から第１画像を減算することは、各感応素子１について独立して、第２画像について読み出された検出信号と第１画像について読み出された検出信号との差を算出することを含む操作を意味すると理解される。このため、本発明によれば、Ｓｃｏｒｒ（ｔ）と表記されている補正画像は、
という値を算出およびグルーピングすることによって得られうる。ｔは、新ｒａｗ画像の読出時点である。Ｓｒａｗ（ｔ）と表記されている新ｒａｗ画像は、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ）によって構成されている。ｔ－Δは、先行ｒａｗ画像の読出時点である。Ｓｒａｗ（ｔ－Δ）と表記されている先行ｒａｗ画像は、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ）によって構成されている。Δは、ｒａｗ画像Ｓｒａｗ（ｔ）の読出時点とｒａｗ画像Ｓｒａｗ（ｔ－Δ）の読出時点との間の期間である。Ｓｉ，ｊ＿ｒａｗ（ｔ）は、時点ｔにおいてマトリクス１０ａの要素（成分）ｉ，ｊについて読み出されるｒａｗ検出信号である。ｉおよびｊはそれぞれ、考慮されている感応素子の行番号および列番号である。αは、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ）に適用される乗算係数である。βは、グローバルな乗算係数である。αおよびβは、正であり非零である。したがって、Ｓｉ，ｊ＿ｃｏｒｒ（ｔ）は、マトリクス１０ａの第ｉ行と第ｊ列との交点に配置された感応素子に関連付けられた画像点についての、補正画像Ｓｃｏｒｒ（ｔ）の画像点強度値である。
【数4】
という値を算出およびグルーピングすることによって得られうる。ｔは、新ｒａｗ画像の読出時点である。Ｓｒａｗ（ｔ）と表記されている新ｒａｗ画像は、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ）によって構成されている。ｔ－Δは、先行ｒａｗ画像の読出時点である。Ｓｒａｗ（ｔ－Δ）と表記されている先行ｒａｗ画像は、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ）によって構成されている。Δは、ｒａｗ画像Ｓｒａｗ（ｔ）の読出時点とｒａｗ画像Ｓｒａｗ（ｔ－Δ）の読出時点との間の期間である。Ｓｉ，ｊ＿ｒａｗ（ｔ）は、時点ｔにおいてマトリクス１０ａの要素（成分）ｉ，ｊについて読み出されるｒａｗ検出信号である。ｉおよびｊはそれぞれ、考慮されている感応素子の行番号および列番号である。αは、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ）に適用される乗算係数である。βは、グローバルな乗算係数である。αおよびβは、正であり非零である。したがって、Ｓｉ，ｊ＿ｃｏｒｒ（ｔ）は、マトリクス１０ａの第ｉ行と第ｊ列との交点に配置された感応素子に関連付けられた画像点についての、補正画像Ｓｃｏｒｒ（ｔ）の画像点強度値である。
【0035】
有益であることに、係数αは（場合によっては、係数βも）、ｒａｗ画像Ｓｒａｗ（ｔ－Δ）の読出時点とｒａｗ画像Ｓｒａｗ（ｔ）の読出時点との間の期間の関数として変化するように選択されてよい。ｒａｗ画像Ｓｒａｗ（ｔ－Δ）およびＳｒａｗ（ｔ）は、読み出されたｒａｗ信号Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ）およびＳｉ，ｊ＿ｒａｗ（ｔ）によって個別に構成されている。
【0036】
場合によっては、随意であるが、係数αおよびβのうちの少なくとも一方は、マトリクス１０ａ内において区別可能な感応素子１について異なる値を有していてよい。この場合、係数αおよびβの値は、各画像キャプチャシーケンスに先行して実行されうるキャリブレーションステップまたはベンチマーキングステップ時に、または、試験室において、感応素子１のそれぞれについて個別に決定されてよい。
【0037】
本発明の好適な実施形態では、
に従って係数αが決定されてよい。この場合も、Δはｒａｗ画像Ｓｒａｗ（ｔ－Δ）の読出時点とｒａｗ画像Ｓｒａｗ（ｔ）の読出時点との間の期間を示し、τは感応素子の特性応答時間を示す。随意に、特性応答時間τとして使用される値は、マトリクス１０ａ内の感応素子１について異なりうる。この場合、全ての感応素子１についての特性応答時間τは、各画像キャプチャシーケンスに先行して実行されるキャリブレーションステップまたはベンチマーキングステップ時に、または、試験室において、感応素子１のそれぞれについて個別に決定されうる。次いで、これらの値は、画像処理ユニット内、または、当該ユニットとアクセス可能なメモリ内に格納される。
【数5】
に従って係数αが決定されてよい。この場合も、Δはｒａｗ画像Ｓｒａｗ（ｔ－Δ）の読出時点とｒａｗ画像Ｓｒａｗ（ｔ）の読出時点との間の期間を示し、τは感応素子の特性応答時間を示す。随意に、特性応答時間τとして使用される値は、マトリクス１０ａ内の感応素子１について異なりうる。この場合、全ての感応素子１についての特性応答時間τは、各画像キャプチャシーケンスに先行して実行されるキャリブレーションステップまたはベンチマーキングステップ時に、または、試験室において、感応素子１のそれぞれについて個別に決定されうる。次いで、これらの値は、画像処理ユニット内、または、当該ユニットとアクセス可能なメモリ内に格納される。
【0038】
本発明のさらに好適な実施形態では、
に従って係数βが決定されてよい。ａは、補正画像の画像点強度値のスケールを設定しうる非零の定数である。したがって、これらの実施形態では、感応素子ｉ，ｊについての補正画像Ｓｃｏｒｒ（ｔ）の画像点強度値は、
と表される。係数βとして上記の値を使用することにより、２つのｒａｗ画像のそれぞれの読出時点間の期間Δが短い（小さい）場合に、補正画像の強度の減衰効果を低減することが可能となる。
【数6】
に従って係数βが決定されてよい。ａは、補正画像の画像点強度値のスケールを設定しうる非零の定数である。したがって、これらの実施形態では、感応素子ｉ，ｊについての補正画像Ｓｃｏｒｒ（ｔ）の画像点強度値は、
【数7】
と表される。係数βとして上記の値を使用することにより、２つのｒａｗ画像のそれぞれの読出時点間の期間Δが短い（小さい）場合に、補正画像の強度の減衰効果を低減することが可能となる。
【0039】
上記の通り表現されたα（場合によってはβも）によれば、上述の通り、感応素子が時間についての１次伝達関数を有するタイプである場合に、メモリ効果を有効に補正することが可能となる。実際に、この場合、本明細書の全般部分において先行ｒａｗ画像と称されているｒａｗ画像Ｓｒａｗ（ｔ－Δ）にα＝ｅｘｐ（－Δ／τ）が乗算された場合、当該ｒａｗ画像は、当該ｒａｗ画像のキャプチャに先行して各感応素子が受けた全ての放射線に関連するメモリ効果の寄与を定量化する。このメモリ効果の寄与は、長期メモリ効果とも称され、新ｒａｗ画像Ｓｒａｗ（ｔ）に寄与する。本発明によれば、このメモリ効果の寄与は、補正画像Ｓｃｏｒｒ（ｔ）では完全に除去されている。しかしながら、２つのｒａｗ画像のそれぞれの読出時点間の期間Δにおいて各感応素子が受けた放射線に関連する別のメモリ効果の寄与が残存している。当該別のメモリ効果の寄与は、短期メモリ効果とも称される。
【0040】
感応素子が時間についての１次伝達関数を有するタイプではない場合においても、特性応答時間τおよび期間Δの関数としての係数αの表現は、依然として使用されてよい。このため、考慮している感応素子に適合化された経験的な値は、当該値が感応素子の伝達関数ｆ（ｓ）に関連する理論的意義を有していない場合であっても、特性応答時間τに対して適用されてよい。
【0041】
図２は、期間Δだけ離れた読出時点においてｒａｗ画像が周期的にキャプチャされる映像（ビデオ）シーケンスキャプチャを示す。この場合、最終のｒａｗ画像Ｓｒａｗ（ｔ）は、読出時点ｔにおけるｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ）によって構成されている。直前の先行ｒａｗ画像Ｓｒａｗ（ｔ－Δ）は、読出時点ｔ－Δにおけるｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－Δ）によって構成されている。当該ｒａｗ画像に先行するｒａｗ画像Ｓｒａｗ（ｔ－２Δ）は、読出時点ｔ－２Δにおけるｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－２Δ）によって構成されている。当該ｒａｗ画像に先行するさらに別のｒａｗ画像Ｓｒａｗ（ｔ－３Δ）は、読出時点ｔ－３Δにおけるｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－３Δ）によって構成されている。以降も同様である。この場合、本発明に従って補正された複数の画像によって構成された補正映像シーケンスは、各ｒａｗ画像をその直前に読み出された最終のｒａｗ画像と組み合わせることによって、１／Δに等しい同一のフレームレートにて構成されうる。したがって、本発明に係る画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ（ｔ）から構成されている補正画像Ｓｃｏｒｒ（ｔ）を得るために、ｒａｗ画像Ｓｒａｗ（ｔ）とＳｒａｗ（ｔ－Δ）とが組み合わせられる。本発明に係る画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ（ｔ－Δ）から構成されている補正画像Ｓｃｏｒｒ（ｔ－Δ）を得るために、ｒａｗ画像Ｓｒａｗ（ｔ－Δ）とＳｒａｗ（ｔ－２Δ）とが組み合わせられる。本発明に係る画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ（ｔ－２Δ）から構成されている補正画像Ｓｃｏｒｒ（ｔ－２Δ）を得るために、ｒａｗ画像Ｓｒａｗ（ｔ－２Δ）とＳｒａｗ（ｔ－３Δ）とが組み合わせられる。以降も同様である。図２における左側の軸は、ｔと表記されている時間（時点）座標に対応する。このため、本発明のイメージセンサは、補正画像を表示するように制御される表示システムを備えていてよい。場合によっては、当該表示システムは、時間的対応に従ってｒａｗ画像も表示するように制御される。このため、長期メモリ効果の補正から生じる画像コントラストおよびテール減衰の改善を評価することができる。映像シーケンスにおける画像を補正するこのモードは、マトリクス１０ａおよびコントローラ１０ｂにおいて可能な最大画像キャプチャレートにおける補正画像のシーケンスを得るために特に適している。
【0042】
図３は、異なる補正画像に専用の、互いに共通の要素を含まず、非インターレースであり、かつ連続しているｒａｗ画像の複数のペアを用いて、２つの連続するｒａｗ画像を組み合わせることによって、各補正画像が得られる場合の図２に対応する。このため、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ）とＳｉ，ｊ＿ｒａｗ（ｔ－Δ１）とによって構成されているｒａｗ画像Ｓｒａｗ（ｔ）とＳｒａｗ（ｔ－Δ１）とは、本発明に係る補正画像Ｓｃｏｒｒ（ｔ）を得るために組み合わせられる。同様に、ｒａｗ検出信号Ｓｉ，ｊ＿ｃｏｒｒ（ｔ－（Δ１＋Δ２））とＳｉ，ｊ＿ｒａｗ（ｔ－（２Δ１＋Δ２））とによって構成されているｒａｗ画像Ｓｒａｗ（ｔ－（Δ１＋Δ２））とＳｒａｗ（ｔ－（２Δ１＋Δ２））とは、画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ（ｔ－（Δ１＋Δ２））によって構成されている本発明に係る補正後画像Ｓｃｏｒｒ（ｔ－（Δ１＋Δ２））を得るために組み合わせられる。以降も同様である。Δ１は、対応する補正画像を得るための、同一ペアの両ｒａｗ画像の読出時点間の期間である。Δ２は、最終ペアの先行ｒａｗ画像の読出時点から先行ペアの新たなｒａｗ画像の読出時点までの間の期間である。したがって、補正画像の映像周波数は、１／（Δ１＋Δ２）になる。映像シーケンス内の画像を補正するこの他のモードは、低フレームレートにて補正画像の映像を得るために適している。当該モードは、各補正画像を得るために組み合わされた２つのｒａｗ画像間の短い期間を使用することができる。
【0043】
図４も、図２に対応している。この場合においても、周波数１／Δにてキャプチャされるｒａｗ画像のビデオシーケンスを考慮している。ただし、この場合では、映像シーケンスの上流における先行ｒａｗ画像を時系列的かつ漸進的に使用することにより、最後にキャプチャされた同じｒａｗ画像を異なるｒａｗ画像と毎回組み合わせることによって、一連の補正画像が生成される。このため、画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ＿１によって構成されている第１補正画像Ｓｃｏｒｒ＿１は、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ）とＳｉ，ｊ＿ｒａｗ（ｔ－Δ）とによって個別に構成されているｒａｗ画像Ｓｒａｗ（ｔ）とＳｒａｗ（ｔ－Δ）とを、
および、
という係数を使用して組み合わせることによって得られる。画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ＿２によって構成されている第２補正画像Ｓｃｏｒｒ＿２は、ｒａｗ画像Ｓｒａｗ（ｔ）を再利用し、当該ｒａｗ画像Ｓｒａｗ（ｔ）を、
および、
という係数を使用して、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－２Δ）から構成されている画像Ｓｒａｗ（ｔ－２Δ）と組み合わせることにより得られる。画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ＿３によって構成されている第３補正画像Ｓｃｏｒｒ＿３は、ｒａｗ画像Ｓｒａｗ（ｔ）を、
および、
という係数を使用して、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－３Δ）によって構成されている画像Ｓｒａｗ（ｔ－３Δ）と組み合わせることにより得られる。同様に、画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ＿４によって構成されている第４補正画像Ｓｃｏｒｒ＿４は、ｒａｗ画像Ｓｒａｗ（ｔ）を、
および、
という係数を使用して、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－４Δ）によって構成されている画像Ｓｒａｗ（ｔ－４Δ）と組み合わせることにより得られる。以降も同様である。このようにして得られた補正画像のセットによれば、本発明に従って組み合わせられたｒａｗ画像間の期間が補正画像の品質に及ぼす影響を評価することが可能となる。これらの有利な効果の一部を示せば、次の通りである：横方向の移動（動き）が存在する画像における高空間周波数のより良いレンダリング、およびテール効果の低減。
【数8】
および、
【数9】
という係数を使用して組み合わせることによって得られる。画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ＿２によって構成されている第２補正画像Ｓｃｏｒｒ＿２は、ｒａｗ画像Ｓｒａｗ（ｔ）を再利用し、当該ｒａｗ画像Ｓｒａｗ（ｔ）を、
【数10】
および、
【数11】
という係数を使用して、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－２Δ）から構成されている画像Ｓｒａｗ（ｔ－２Δ）と組み合わせることにより得られる。画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ＿３によって構成されている第３補正画像Ｓｃｏｒｒ＿３は、ｒａｗ画像Ｓｒａｗ（ｔ）を、
【数12】
および、
【数13】
という係数を使用して、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－３Δ）によって構成されている画像Ｓｒａｗ（ｔ－３Δ）と組み合わせることにより得られる。同様に、画像点強度値Ｓｉ，ｊ＿ｃｏｒｒ＿４によって構成されている第４補正画像Ｓｃｏｒｒ＿４は、ｒａｗ画像Ｓｒａｗ（ｔ）を、
【数14】
および、
【数15】
という係数を使用して、ｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗ（ｔ－４Δ）によって構成されている画像Ｓｒａｗ（ｔ－４Δ）と組み合わせることにより得られる。以降も同様である。このようにして得られた補正画像のセットによれば、本発明に従って組み合わせられたｒａｗ画像間の期間が補正画像の品質に及ぼす影響を評価することが可能となる。これらの有利な効果の一部を示せば、次の通りである：横方向の移動（動き）が存在する画像における高空間周波数のより良いレンダリング、およびテール効果の低減。
【0044】
＜横方向の移動がある場合の画像空間周波数のレンダリング＞
感応素子のマトリクスの時間伝達関数の減衰を強調するための１つの方法は、周期的であり、かつ、その周期性の方向と平行に一定速度で移動する空間パターンを有する画像をキャプチャすることであることが知られている。この場合、各感応素子は、見かけの移動速度とパターンの周期との積に等しい時間的周波数値に従って瞬時強度が周期的に変化する放射線を受ける。マトリクス１０ａの列方向と平行なバンド（帯）から成り、かつ、その輝度がマトリクス１０ａの行方向と平行に正弦波的に変化するシーンが、感応素子１のマトリクス１０ａ上に結像される。シーン画像におけるこれらのバンドの空間周波数は、νｓと表記され、ピクセル－１（pixels-1）という単位によって表されうる。このシーンは、マトリクス１０ａの行と平行に一定速度で移動している。Ｖは、マトリクス１０ａ上のシーンの画像の移動速度を示し、ピクセル／秒（pixels per second）という単位によって表されうる。全ての感応素子１は、特性応答時間τについて同じ値を有しており、かつ、それらの共通の伝達関数は、
であるものとする。図５は、イメージセンサの見かけの伝達関数の変化を、空間画像周波数νｓまたは移動速度Ｖの関数として示すダイアグラムである。当該ダイアグラムの横軸は、無次元変数を得るために、特性応答時間τと速度Ｖとが乗算された空間周波数νｓの値を示す。積Ｖ・νｓは、それぞれの感応素子が受けた放射線の強度の変動の時間周波数に対応する。縦軸は、イメージセンサの見かけの伝達関数の振幅の値Ｆを示す。図５に現れ、「補正無」という文言によって示されている下方の曲線は、速度Ｖまたは空間周波数νｓの関数として、メモリ効果補正前にコントローラ１０ｂによって送信されるｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗに対応する。したがって、当該曲線は、シーンの移動時にキャプチャされた各ｒａｗ画像を構成する読出信号である。Δ＝τとして示されている曲線は、τに等しい期間Δだけ離れた読出時点におけるシーンの移動時にキャプチャされた２つのｒａｗ画像を組み合わせることによって得られる補正画像の画像点強度値に対応する。同様に、Δ＝τ／４として示されている曲線は、τ／４に等しい時間Δだけ離れた読出時点におけるシーンの移動時にキャプチャされた２つのｒａｗ画像を組み合わせることによって得られる補正画像の画像点強度値に対応する。本明細書において上述した通り、これらの補正画像は、各画像について計算された係数βの値を使用する。ｒａｗ画像からΔ＝τを用いて補正画像へ、次いでΔ＝τ／４を用いて補正画像へ向かう場合のイメージセンサの伝達関数の振幅Ｆの全般的な増加は、感応素子１のメモリ効果についてのさらなる補正に相当する。換言すれば、補正画像において補償されない短期メモリ効果は、さらに低減される。イメージセンサの伝達関数の振幅Ｆにおけるゲインは、Ｖ・τ・νｓに応じた整数値に対応する特定の空間周波数を除けば、無次元空間周波数が１．０より大きい場合のｒａｗ画像と比較して、Δ＝τによる補正画像に対して約２．１である。ブラインド周波数と称されるこれらの特定の空間周波数に対して、補正画像を得るために組み合わせられる両方のｒａｗ画像は同一である。このため、メモリ効果補正は、いかなる影響をも有しない。Δ＝τ／４による補正画像について、再びｒａｗ画像と比較すると、イメージセンサの伝達関数の振幅Ｆにおけるゲインは、無次元空間周波数が２．０より大きい場合には、約８である。ブラインド周波数は、４の倍数であるＶ・τ・νｓに応じた値に対応している。
感応素子のマトリクスの時間伝達関数の減衰を強調するための１つの方法は、周期的であり、かつ、その周期性の方向と平行に一定速度で移動する空間パターンを有する画像をキャプチャすることであることが知られている。この場合、各感応素子は、見かけの移動速度とパターンの周期との積に等しい時間的周波数値に従って瞬時強度が周期的に変化する放射線を受ける。マトリクス１０ａの列方向と平行なバンド（帯）から成り、かつ、その輝度がマトリクス１０ａの行方向と平行に正弦波的に変化するシーンが、感応素子１のマトリクス１０ａ上に結像される。シーン画像におけるこれらのバンドの空間周波数は、νｓと表記され、ピクセル－１（pixels-1）という単位によって表されうる。このシーンは、マトリクス１０ａの行と平行に一定速度で移動している。Ｖは、マトリクス１０ａ上のシーンの画像の移動速度を示し、ピクセル／秒（pixels per second）という単位によって表されうる。全ての感応素子１は、特性応答時間τについて同じ値を有しており、かつ、それらの共通の伝達関数は、
【数16】
であるものとする。図５は、イメージセンサの見かけの伝達関数の変化を、空間画像周波数νｓまたは移動速度Ｖの関数として示すダイアグラムである。当該ダイアグラムの横軸は、無次元変数を得るために、特性応答時間τと速度Ｖとが乗算された空間周波数νｓの値を示す。積Ｖ・νｓは、それぞれの感応素子が受けた放射線の強度の変動の時間周波数に対応する。縦軸は、イメージセンサの見かけの伝達関数の振幅の値Ｆを示す。図５に現れ、「補正無」という文言によって示されている下方の曲線は、速度Ｖまたは空間周波数νｓの関数として、メモリ効果補正前にコントローラ１０ｂによって送信されるｒａｗ検出信号Ｓｉ，ｊ＿ｒａｗに対応する。したがって、当該曲線は、シーンの移動時にキャプチャされた各ｒａｗ画像を構成する読出信号である。Δ＝τとして示されている曲線は、τに等しい期間Δだけ離れた読出時点におけるシーンの移動時にキャプチャされた２つのｒａｗ画像を組み合わせることによって得られる補正画像の画像点強度値に対応する。同様に、Δ＝τ／４として示されている曲線は、τ／４に等しい時間Δだけ離れた読出時点におけるシーンの移動時にキャプチャされた２つのｒａｗ画像を組み合わせることによって得られる補正画像の画像点強度値に対応する。本明細書において上述した通り、これらの補正画像は、各画像について計算された係数βの値を使用する。ｒａｗ画像からΔ＝τを用いて補正画像へ、次いでΔ＝τ／４を用いて補正画像へ向かう場合のイメージセンサの伝達関数の振幅Ｆの全般的な増加は、感応素子１のメモリ効果についてのさらなる補正に相当する。換言すれば、補正画像において補償されない短期メモリ効果は、さらに低減される。イメージセンサの伝達関数の振幅Ｆにおけるゲインは、Ｖ・τ・νｓに応じた整数値に対応する特定の空間周波数を除けば、無次元空間周波数が１．０より大きい場合のｒａｗ画像と比較して、Δ＝τによる補正画像に対して約２．１である。ブラインド周波数と称されるこれらの特定の空間周波数に対して、補正画像を得るために組み合わせられる両方のｒａｗ画像は同一である。このため、メモリ効果補正は、いかなる影響をも有しない。Δ＝τ／４による補正画像について、再びｒａｗ画像と比較すると、イメージセンサの伝達関数の振幅Ｆにおけるゲインは、無次元空間周波数が２．０より大きい場合には、約８である。ブラインド周波数は、４の倍数であるＶ・τ・νｓに応じた値に対応している。
【0045】
＜テール効果＞
使用されるマトリクス１０ａは、３２０列および２４０行の感応素子１を含む。全ての感応素子の特性応答時間τは、約１４ｍｓである。この感応素子のマトリクスから構成されるイメージセンサは、３つのラジアル（半径方向）スリット開口を有する不透明な回転ディスクの上部を通じて、３２５Ｋ（ケルビン）の黒体から構成される均一な背景を有する映像シーケンスをキャプチャする。マトリクス１０ａは、回転ディスクと光学共役であり、当該ディスクの回転軸は、使用される共役光学系の光軸と平行である。ディスクの回転速度は、１秒あたり１．５回転である。ｒａｗ画像取得レートは、１秒あたり６０画像であり、任意の２つの連続するｒａｗ画像のそれぞれの読出時点の間の期間（１６．７ｍｓに等しい）に対応している。図６のダイアグラムは、Ｓｒａｗ（ｔ－Δ）およびＳｒａｗ（ｔ）とそれぞれ表記されている連続的にキャプチャされた映像内の２つのｒａｗ画像について、マトリクス１０ａの行において読み出されるｒａｗ検出信号の値を表している。当該ダイアグラムは、２つのｒａｗ画像Ｓｒａｗ（ｔ－Δ）およびＳｒａｗ（ｔ）から本発明により得られた補正画像Ｓｃｏｒｒ（ｔ）について、マトリクス１０ａの同一行に対する画像点強度値をも表している。回転ディスクにおける複数のラジアルスリットのうちの１つの移動は、ダイアグラムの右から左に向かって、両方のｒａｗ画像間において可視である。図６のダイアグラムにおける横軸は、マトリクス１０ａにおいて考慮されている行における感応素子１を、列数数ｎｃによって示す。縦軸は、３つの画像Ｓｒａｗ（ｔ）、Ｓｒａｗ（ｔ－Δ）、およびＳｃｏｒｒ（ｔ）について、ｒａｗ検出信号の値または画像点の強度値Ｉを示す。ｒａｗ画像Ｓｒａｗ（ｔ）およびＳｒａｗ（ｔ－Δ）におけるスリットの２つのエッジに対応する、強度曲線における漸進的に傾斜した立ち上がりおよび立ち下がりエッジは、スリットの移動と感応素子１のメモリ効果との組み合わせに起因するテール効果を構成する。補正画像Ｓｃｏｒｒ（ｔ）では、スリットの２つのエッジがより鮮明に現れており、メモリ効果補正の有効性が示されている。この例では、本明細書における上述の係数αおよびβについて提供されている式は、
となる。一般的に、映像シーケンスにおける連続したｒａｗ画像を分離する期間Δと感応素子の特性応答時間τとの比率の調整は、（ｉ）テール効果の低減と、（ｉｉ）画像中のシーン要素の幾何学的レンダリングの改善と、（ｉｉｉ）補正画像中の画像ノイズの増幅と、のトレードオフに依存しうる。例えば、ｒａｗ画像の信号対雑音比が１５０より大きい場合に、比率Δ／τについて、０．０２から０．２までの値が適用されてよい（それぞれ１５）。
使用されるマトリクス１０ａは、３２０列および２４０行の感応素子１を含む。全ての感応素子の特性応答時間τは、約１４ｍｓである。この感応素子のマトリクスから構成されるイメージセンサは、３つのラジアル（半径方向）スリット開口を有する不透明な回転ディスクの上部を通じて、３２５Ｋ（ケルビン）の黒体から構成される均一な背景を有する映像シーケンスをキャプチャする。マトリクス１０ａは、回転ディスクと光学共役であり、当該ディスクの回転軸は、使用される共役光学系の光軸と平行である。ディスクの回転速度は、１秒あたり１．５回転である。ｒａｗ画像取得レートは、１秒あたり６０画像であり、任意の２つの連続するｒａｗ画像のそれぞれの読出時点の間の期間（１６．７ｍｓに等しい）に対応している。図６のダイアグラムは、Ｓｒａｗ（ｔ－Δ）およびＳｒａｗ（ｔ）とそれぞれ表記されている連続的にキャプチャされた映像内の２つのｒａｗ画像について、マトリクス１０ａの行において読み出されるｒａｗ検出信号の値を表している。当該ダイアグラムは、２つのｒａｗ画像Ｓｒａｗ（ｔ－Δ）およびＳｒａｗ（ｔ）から本発明により得られた補正画像Ｓｃｏｒｒ（ｔ）について、マトリクス１０ａの同一行に対する画像点強度値をも表している。回転ディスクにおける複数のラジアルスリットのうちの１つの移動は、ダイアグラムの右から左に向かって、両方のｒａｗ画像間において可視である。図６のダイアグラムにおける横軸は、マトリクス１０ａにおいて考慮されている行における感応素子１を、列数数ｎｃによって示す。縦軸は、３つの画像Ｓｒａｗ（ｔ）、Ｓｒａｗ（ｔ－Δ）、およびＳｃｏｒｒ（ｔ）について、ｒａｗ検出信号の値または画像点の強度値Ｉを示す。ｒａｗ画像Ｓｒａｗ（ｔ）およびＳｒａｗ（ｔ－Δ）におけるスリットの２つのエッジに対応する、強度曲線における漸進的に傾斜した立ち上がりおよび立ち下がりエッジは、スリットの移動と感応素子１のメモリ効果との組み合わせに起因するテール効果を構成する。補正画像Ｓｃｏｒｒ（ｔ）では、スリットの２つのエッジがより鮮明に現れており、メモリ効果補正の有効性が示されている。この例では、本明細書における上述の係数αおよびβについて提供されている式は、
【数17】
となる。一般的に、映像シーケンスにおける連続したｒａｗ画像を分離する期間Δと感応素子の特性応答時間τとの比率の調整は、（ｉ）テール効果の低減と、（ｉｉ）画像中のシーン要素の幾何学的レンダリングの改善と、（ｉｉｉ）補正画像中の画像ノイズの増幅と、のトレードオフに依存しうる。例えば、ｒａｗ画像の信号対雑音比が１５０より大きい場合に、比率Δ／τについて、０．０２から０．２までの値が適用されてよい（それぞれ１５）。
【0046】
上記にて詳細に説明した実施形態の第２の態様を変更しながら、引用した利点の少なくとも一部を保持しつつ、本発明が再現されうると理解されている。特に、補正画像を得るためにペアとして組み合わせられるｒａｗ画像の選択は、図示された例に対して修正されうる。さらに、組み合わせられたｒａｗ画像間における期間Δに依存する係数βの使用は、使用される係数αがこの期間Δに従って計算された場合であっても、任意であることが考慮されるであろう。
【図面の簡単な説明】
【0047】
【図1】本発明に係るイメージセンサのブロック図である。
【図2】本発明に係る補正画像を生成するための様々なシーケンスを示す。
【図3】本発明に係る補正画像を生成するための様々なシーケンスを示す。
【図4】本発明に係る補正画像を生成するための様々なシーケンスを示す。
【図5】画像コントラストについての本発明の第１の効果を示す。
【図6】画像内に現れうるテール効果についての本発明の第２の効果を示す。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】