特表 2024-509246 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-29

(54)【発明の名称】周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240221BHJP

   G06T 5/50 20060101ALI20240221BHJP

【ＦＩ】

G06T7/00 Z

G06T5/50

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023554860

(86)(22)【出願日】2022-01-26

(85)【翻訳文提出日】2023-09-07

(86)【国際出願番号】 EP2022051735

(87)【国際公開番号】W WO2022189060

(87)【国際公開日】2022-09-15

(31)【優先権主張番号】21161944.0

(32)【優先日】2021-03-11

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】アッセルマン ミシェル ヨセフ アグネス

(72)【発明者】

【氏名】ダモダラン マシヴァナン

(72)【発明者】

【氏名】ブールキン ヤニク パルリアン ジュリアン

(72)【発明者】

【氏名】パレロ ジョナサン アランブラ

(72)【発明者】

【氏名】フェルハーフェン リエコ

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE17

5B057DB02

5B057DB06

5B057DB09

5L096AA02

5L096AA06

5L096CA04

5L096CA17

5L096FA34

5L096GA19

5L096HA04

(57)【要約】

一態様によれば、動きによる周囲光補正画像の誤差を最小化する方法が提供される。該方法は：時間にわたり変化する制御された照明強度の複数の一次画像をキャプチャするステップ；複数の一次画像の複数の部分組の各々に関して動きによる誤差値を推定するステップ；及び最小の推定された誤差値を有する一次画像の誤差が最小化された部分組に対して周囲光補正を実行して、最小化された誤差の周囲光補正（ＡＬＣ）画像を生成するステップ；を有する。複数の一次画像の各部分組に関する誤差値を推定するステップは：前記部分組における第１の一次画像及び第２の一次画像を含む一次画像の対を識別するステップであって、第１の一次画像が第２の一次画像より時間的に前にキャプチャされるステップ；前記対の一次画像の間の変位ベクトル行列を決定するステップ；及び一次画像の部分組に関する誤差値を、前記対の一次画像の間の変位ベクトル行列に基づいて推定するステップ；を有する。変位ベクトル行列を決定するステップは：第１の一次画像を複数の第１の格子状エレメントに分割すると共に、第２の一次画像を複数の第２の格子状エレメントに分割するステップ；第１の格子状エレメントを物体上の同じ位置に対応する第２の格子状エレメントと照合するステップ；及び各々の照合された第１の格子状エレメントと第２の格子状エレメントとの間の変位ベクトルを決定して、各格子状エレメントの変位ベクトルを記述する変位ベクトル行列を決定するステップ；を含む。

【特許請求の範囲】

【請求項1】

動きによる周囲光補正画像の誤差を最小化する方法であって、
時間にわたり変化する制御された照明強度の複数の一次画像をキャプチャするステップと、
前記複数の一次画像の複数の部分組の各々に関して動きによる誤差値を推定するステップと、
最小の推定された誤差値を有する一次画像の誤差が最小化された部分組に対して周囲光補正を実行して、最小化された誤差の周囲光補正画像を生成するステップと
を有し、
前記複数の一次画像の各部分組に関する誤差値を推定するステップは、
前記部分組における第１の一次画像及び第２の一次画像を含む一次画像の対を識別するステップであって、前記第１の一次画像が前記第２の一次画像より時間的に前にキャプチャされる、ステップと、
前記対の一次画像の間の変位ベクトル行列を決定するステップと、
前記一次画像の部分組に関する誤差値を、前記対の一次画像の間の前記変位ベクトル行列に基づいて推定するステップと
を有し、
前記対の一次画像の間の変位ベクトル行列を決定するステップが、
前記第１の一次画像を複数の第１の格子状エレメントに分割すると共に、前記第２の一次画像を複数の第２の格子状エレメントに分割するステップと、
第１の格子状エレメントを物体上の同じ位置に対応する第２の格子状エレメントと照合するステップと、
各々の照合された第１の格子状エレメントと第２の格子状エレメントとの間の変位ベクトルを決定して、各格子状エレメントの変位ベクトルを記述する前記変位ベクトル行列を決定するステップと
を有する、方法。

【請求項2】

前記一次画像の部分組に関する誤差値を推定するステップが、前記対の一次画像に関する変位ベクトル行列における最大の変位ベクトルを選択するステップと、前記誤差値を該最大の変位ベクトルに基づいて推定するステップとを有する、請求項１に記載の方法。

【請求項3】

前記各部分組に関する誤差値を推定するステップが、
前記部分組における一次画像の複数の対を識別するステップと、
一次画像の各対に関して前記変位ベクトル行列を決定するステップと、
前記複数の一次画像の部分組に関する誤差値を、前記部分組における一次画像の各対に関する変位ベクトル行列に基づいて推定するステップと
を有する、請求項１又は２に記載の方法。

【請求項4】

前記複数の一次画像の部分組に関する誤差値を推定するステップが、一次画像の各対に関する前記最大の変位ベクトルから最も大きい絶対変位ベクトルを選択するステップと、前記誤差値を前記一次画像の部分組における該最も大きい絶対変位ベクトルに基づいて推定するステップとを有する、請求項２又は３に記載の方法。

【請求項5】

前記一次画像の時間的に隣接する対の間の変位ベクトルを決定するステップは、前記第１の格子状エレメント及び前記第２の格子状エレメントを照合するステップを有し、前記一次画像の時間的に隣接しない対の間の変位ベクトルを決定するステップが、前記一次画像の時間的に隣接する対の変位ベクトルを加算して、前記一次画像の時間的に隣接しない対の間の動き軌跡をマッピングするステップを有する、請求項３又は４に記載の方法。

【請求項6】

各々の照合された第１の格子状エレメントと第２の格子状エレメントとの間の変位ベクトルを決定するステップが、位相相関に基づいて変位推定を実行するステップを有する、請求項１から５の何れか一項に記載の方法。

【請求項7】

一次画像の各部分組は複数の時間的に隣接する一次画像を有し、一次画像の各部分組が一次画像の他の部分組から１つの時間的に隣接する一次画像分だけオフセットされる、請求項１から６の何れか一項に記載の方法。

【請求項8】

前記複数の部分組の各々に関して動きによる誤差値を推定するステップは前記一次画像の時間的に連続する部分組に対してリアルタイムで実行され、前記一次画像の部分組に関する推定された誤差値が、以前に推定されたいずれの誤差値よりも小さくなる毎に、当該方法が、前記一次画像の対応する部分組に対し周囲光補正を実行して、最小化された誤差のＡＬＣ画像を生成するステップを有する、請求項７に記載の方法。

【請求項9】

プロセッサにより実行された場合に、請求項１から８の何れか一項に記載の方法を実行させるコンピュータ可読命令を有する、非一時的コンピュータ可読記憶媒体。

【請求項10】

コンピュータにより読み取られた場合に、請求項１から８の何れか一項に記載の方法を実行させる、コンピュータプログラム。

【請求項11】

画像キャプチャ装置であって、
少なくとも１つのプロセッサと、
コンピュータ可読命令を含む少なくとも１つのメモリと
を有し、
前記少なくとも１つのプロセッサが前記コンピュータ可読命令を読み取って、請求項１から８の何れか一項に記載の方法を実行させる、
画像キャプチャ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、周囲光補正（ＡＬＣ）画像の誤差を最小化する方法及びそのための画像キャプチャ装置に関する。

【背景技術】

【0002】

カメラ又は画像キャプチャ装置によりキャプチャされる物体の画像は、しばしば、周囲光（環境光）及び別の照明源により照明される。同じ物体の画像を正確に比較し、又は物体の色を決定できるようにするために、周囲光は、周囲光補正画像を生成するために補正されねばならない。しかしながら、このような画像は、しばしば、キャプチャされた画像のピクセルを比較することにより生成され、このことは、フレーム間で物体の何らかの動きがあった場合に誤差を生じさせる。

【0003】

米国特許出願公開第２００４／０８０６２３号は、画像生成装置におけるモーションクラッタを最小化するためのシステム及び方法を開示している。時間的にインターリーブされた画像減算が、モーションクラッタの大きさを減少させ、静止画像の望ましい周囲光キャンセルに対して悪影響を有することはない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、従来技術の問題を解決することである。

【課題を解決するための手段】

【0005】

第１の特定の態様によれば、動きによる周囲光補正画像の誤差を最小化する方法が提供される。該方法は：時間にわたり変化する制御された照明強度の複数の一次画像をキャプチャするステップ；複数の一次画像の複数の部分組の各々に関して動きによる誤差値を推定するステップ；及び最小の推定された誤差値を有する一次画像の誤差が最小化された部分組に対して周囲光補正を実行して、最小化された誤差の周囲光補正（ＡＬＣ）画像を生成するステップ；を有する。複数の一次画像の各部分組に関する誤差値を推定するステップは：部分組における第１の一次画像及び第２の一次画像を含む一次画像の対を識別するステップであって、第１の一次画像が第２の一次画像より時間的に前にキャプチャされるステップ；前記対の一次画像の間の変位ベクトル行列を決定するステップ；及び一次画像の部分組に関する誤差値を、前記対の一次画像の間の変位ベクトル行列に基づいて推定するステップ；を有し、前記対の一次画像の間の変位ベクトル行列を決定するステップは：第１の一次画像を複数の第１の格子状エレメントに分割すると共に、第２の一次画像を複数の第２の格子状エレメントに分割するステップ；第１の格子状エレメントを物体上の同じ位置に対応する第２の格子状エレメントと照合するステップ；及び各々の照合された第１の格子状エレメントと第２の格子状エレメントとの間の変位ベクトルを決定して、各格子状エレメントの変位ベクトルを記述する変位ベクトル行列を決定するステップ；を含む。

【0006】

一次画像の部分組に関する誤差値を推定するステップは、前記対の一次画像に関する変位ベクトル行列における最大の変位ベクトルを選択するステップ、及び誤差値を該最大の変位ベクトルに基づいて推定するステップを有し得る。

【0007】

一次画像の各部分組に関する誤差値を推定するステップは：部分組における一次画像の複数の対を識別するステップ；一次画像の各対に関して変位ベクトル行列を決定するステップ；及び複数の一次画像の部分組に関する誤差値を、部分組における一次画像の各対に関する変位ベクトル行列に基づいて推定するステップ；を有し得る。

【0008】

複数の一次画像の部分組に関する誤差値を推定するステップは、一次画像の各対に関する最大の変位ベクトルから最も大きい絶対変位ベクトルを選択するステップ、及び誤差値を一次画像の部分組における該最も大きい絶対変位ベクトルに基づいて推定するステップ；を有し得る。

【0009】

一次画像の時間的に隣接する対の間の変位ベクトルを決定するステップは、第１の格子状エレメント及び第２の格子状エレメントを照合するステップを有し得る。一次画像の時間的に隣接しない対の間の変位ベクトルを決定するステップは、一次画像の時間的に隣接する対の変位ベクトルを加算して、一次画像の時間的に隣接しない対の間の動き軌跡をマッピングするステップを有し得る。

【0010】

各々の照合された第１の格子状エレメントと第２の格子状エレメントとの間の変位ベクトルを決定するステップは、位相相関に基づいて変位推定を実行するステップを有し得る。

【0011】

一次画像の各部分組は、複数の時間的に隣接する一次画像を有し得る。一次画像の各部分組は、一次画像の他の部分組から１つの時間的に隣接する一次画像分だけオフセットされ得る。

【0012】

複数の部分組の各々に関して動きによる誤差値を推定するステップは、一次画像の時間的に連続する部分組に対してリアルタイムで実行され得る。一次画像の部分組に関する推定された誤差値が、以前に推定されたいずれの誤差値よりも小さくなる毎に、当該方法は、一次画像の対応する部分組に対し周囲光補正を実行して、最小化された誤差のＡＬＣ画像を生成するステップを有し得る。

【0013】

第２の態様によれば、プロセッサにより実行された場合に、第１の態様による方法を実行させるコンピュータ可読命令を有する非一時的コンピュータ可読記憶媒体が提供される。

【0014】

第３の態様によれば、コンピュータにより読み取られた場合に、第１の態様による方法を実行させるコンピュータプログラムが提供される。

【0015】

第４の態様によれば、少なくとも１つのプロセッサ；及びコンピュータ可読命令を含む少なくとも１つのメモリ；を有する画像キャプチャ装置が提供され、少なくとも１つのプロセッサはコンピュータ可読命令を読み取って、第１の態様による方法を実行させるように構成される。

【0016】

これら及び他の態様は、後述される実施形態から明らかとなり、それら実施形態を参照して説明されるであろう。

【0017】

例示的な実施形態は、単なる例として、以下の図面を参照して説明されるであろう。

【図面の簡単な説明】

【0018】

【図1】図１は、周囲光補正画像の誤差を最小化する画像キャプチャ装置を概略的に示す。

【図2】図２は、周囲光補正画像の誤差を最小化する第１の例示的な方法のステップを示すフローチャートである。

【図3】図３は、第１の例示的な方法のステップを概略的に示す。

【図4】図４は、一次画像の部分組の誤差値を推定する第２の例示的な方法のステップを示すフローチャートである。

【図5A】図５Ａは、第２の例示的な方法のステップを概略的に示す。

【図5B】図５Ｂは、第２の例示的な方法のステップを概略的に示す。

【図5C】図５Ｃは、第２の例示的な方法のステップを概略的に示す。

【図6】図６は、周囲光補正画像の誤差を最小化する第３の例示的な方法のステップを示すフローチャートである。

【発明を実施するための形態】

【0019】

図１は画像キャプチャ装置１０を示し、該画像キャプチャ装置は画像キャプチャデバイス１２、ライト１４、プロセッサ１６、及びコンピュータ可読命令を含むメモリ１８を備える。画像キャプチャデバイス１２は、プロセッサ１６に接続されると共に、物体２０（この例では人間である）の画像をキャプチャするように構成され、これら画像はプロセッサ１６により読み取られて処理され得る。

【0020】

ライト１４は、物体２０を照明するように構成されると共に、プロセッサ１６にも接続さる。ライト１４は、プロセッサ１６により制御される可変強度の照明を発するように構成される。他の例において、ライト１４は、別のプロセッサ１６により制御することもできる。

【0021】

メモリ１８はコンピュータ可読命令を含み、プロセッサ１６は、該コンピュータ可読命令を読み取って周囲光補正（ＡＬＣ）画像の誤差を最小化する方法を実行するように構成される。

【0022】

図２は、ＡＬＣ画像における誤差を最小化する第１の例示的な方法１００のステップを示すフローチャートである。図３は、該方法のステップを、キャプチャ及び処理された画像の出力に関して示す。

【0023】

ブロック１０２において、第１の例示的な方法１００は、物体２０の複数の一次画像３０を時間にわたりキャプチャするステップを有し、その場合において、該物体２０はライト１４により照明され、該照明は時間とともに変化するように制御される。図３において、時間の経過は矢印３４により表されている。各一次画像３０は複数のピクセル５０を有し、これらピクセルの各々は、画像内の当該ピクセル５０の位置に対応するピクセルインデックス、及び当該ピクセル５０においてキャプチャされた光の強度を定義するピクセル値を有する。

【0024】

ブロック１０２に続くブロック１０４において、方法１００は一次画像３０の複数の部分組（サブセット）を識別するステップを含む。一次画像３０の各部分組は、周囲光補正（ＡＬＣ）画像４２を生成するために周囲光補正が実行される所定数の時間的に隣接する一次画像３０を含む。この例において、ＡＬＣ画像は２つの一次画像３０から生成され、したがって、一次画像３０の各部分組は２つの一次画像３０を含む。他の例では、単一のＡＬＣ画像が生成される任意の数の一次画像が存在し得る。周囲光補正のプロセスを、以下に更に詳細に説明する。

【0025】

一次画像３０の各部分組は、一次画像３０の先行する部分組から、１つの時間的に隣接する一次画像３０分だけオフセットされる。他の例では、一次画像の部分組間に２以上の一次画像のオフセットが存在し得る。

【0026】

ブロック１０４に続くブロック１０６において、方法１００は、一次画像３０の複数の部分組の各々の動きに起因する誤差値を推定するステップを有する。方法１００の該ブロック１０６は、ブロック１０８、ブロック１１０、ブロック１１２、ブロック１１４及びブロック１１６を含む。ブロック１０６におけるステップは一次画像３０の各部分組に適用されるので、これらステップは以下に単一の部分組の一次画像３０に関して説明する。

【0027】

ブロック１０８において、方法１００は、一次画像３０の当該部分組内の一次画像３０の対を識別するステップを有する。この例において、一次画像３０の部分組は２つの一次画像３０を含むので、一対の一次画像３０のみが存在する。一次画像３０の各対は、第１の一次画像３０ａ及び第２の一次画像３０ｂとして定義され、第１の一次画像３０ａは、第２の一次画像３０ｂより時間的に前に取り込まれるものである。

【0028】

一次画像の部分組が３以上の一次画像を含む場合、当該一次画像の部分組内には２対以上の一次画像が存在することが理解されるであろう。

【0029】

ブロック１０８に続くブロック１１０において、方法１００は、第１の一次画像３０ａを複数の第１の格子状エレメントに分割すると共に、第２の一次画像３０ｂを複数の第２の格子状エレメントに分割するステップを有する。各格子状エレメントは、１つのピクセル５０又は複数のピクセル５０を含むことができる。

【0030】

ブロック１１２において、方法１００は、各々が物体２０上の位置を表し得る第１の格子状エレメントを、物体２０上の同じ位置に対応する第２の格子状エレメントと照合するステップを有する。照合される第１の格子状エレメント及び第２の格子状エレメントは、第１の一次画像３０ａのキャプチャと第２の一次画像３０ｂのキャプチャとの間での物体２０の動きにより、異なるピクセルインデックスを持つピクセル５０を含み得る。

【0031】

ブロック１１４において、方法１００は、各々の照合された第１格子状エレメントと第２格子状エレメントとの間の変位ベクトルを決定し、物体２０の動きを第１の一次画像３０ａから第２の一次画像３０ｂへの動きに関して記述し、及び各々の照合された格子状エレメントの変位ベクトルを記述する変位ベクトル行列３６を決定するステップを有する。変位ベクトル行列３６は、格子状エレメントに対応するアレイで記録され得るベクトルのリストであるか、又は単に格子状エレメントとの対応を保持しないベクトルのリストであり得る。

【0032】

幾つかの例において、照合された第１の格子状エレメント及び第２の格子状エレメントの変位ベクトルを決定するステップは、位相相関に基づいて変位推定を実行するステップを有することができる。各ピクセル又は格子状エレメントにおいて受光された光の位相情報を使用して変位ベクトルを決定し、光の強度（すなわち、光の振幅）を無視することは、特に光に変化がある場合に、変位推定が一層正確になることを意味する。

【0033】

ブロック１１６において、方法１００は、一次画像３０の部分組の誤差値３８を、一対の一次画像３０の間の変位ベクトル行列３６に基づいて推定するステップを有する。一次画像の部分組内に２対以上の一次画像が存在する場合、該一次画像の部分組の誤差値は該部分組内の一次画像の各対の変位ベクトル行列に基づくものとなる。

【0034】

この例において、一次画像３０の部分組の誤差値３８を推定するステップは、一次画像３０の該対の変位ベクトル行列３６内の最大変位ベクトルを選択し、該最大変位ベクトルに基づいて誤差値を推定するステップを含む。一次画像３０の部分組内に２対以上の一次画像３０が存在する場合、誤差値３８を推定するステップは、一次画像３０の当該部分組内の一次画像３０の全ての対の変位ベクトル行列３６における最大変位ベクトルを選択し、該最大変位ベクトルに基づいて誤差値３８を推定するステップを含み得る。他の例において、誤差値を推定するステップは、例えば、変位ベクトルを合計することにより集計するステップ、又は平均絶対変位ベクトルを決定するステップを含み得る。

【0035】

ブロック１０８～１１６は一次画像３０の各部分組に対して繰り返されるので、ブロック１０６からの出力は、各々が一次画像３０の対応する部分組の動きによる推定誤差に対応する複数の誤差値３８である。

【0036】

ブロック１１８において、方法１００は、最小の誤差値Ｅｘを有する一次画像の誤差が最小化された部分組４０を選択すると共に、該一次画像の誤差が最小化された部分組４０に対して周囲光補正を実行して、最小化された誤差のＡＬＣ画像４２を生成するステップを有する。周囲光補正の簡略化された例において、第１の一次画像は当該物体を照明するためにライトをオンにしてキャプチャされ得る一方、第２の一次画像は周囲光のみが該物体を照明するようにライトをオフにしてキャプチャされ得る。第１の一次画像の各ピクセルに対して、当該ピクセルにおける第２の一次画像の強度が減算されてＡＬＣピクセルを生成することができ、これらＡＬＣピクセルの全てを結合することでＡＬＣ画像を生成する。もっと複雑な周囲光補正の例は、Ｋｏｌａｍａｎ，Ａｍｉｒ ＆ Ｈａｇｅｇｅ，Ｒａｍｉ ＆ Ｇｕｔｅｒｍａｎ，Ｈｕｇｏ．（２０１４）．Ｌｉｇｈｔ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｏｆ ｏｓｃｉｌｌａｔｉｎｇ ｌｉｇｈｔｓ．２０１４ ＩＥＥＥ ２８ｔｈ Ｃｏｎｖｅｎｔｉｏｎ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ ｉｎ Ｉｓｒａｅｌ， ＩＥＥＥＩ ２０１４． １－５． １０．１１０９／ＥＥＥＩ．２０１４．７００５８７４に見られる。

【0037】

図４は、３以上の一次画像３０を有する一次画像３０の部分組の誤差値３８を推定する第２の例示的方法２００のステップを示すフローチャートである。第２の例示的方法２００は、第１の例示的方法のブロック１０６を置き換えることができる。図５Ａ、図５Ｂ及び図５Ｃは、該第２の例示的方法２００のステップを概略的に示す。

【0038】

図３に戻ると、第２の例示的方法２００は種々のステップにおいて第１の例示的方法１００と同じ基本的出力を生成するので、以下の説明は図３の符号を参照する。

【0039】

ブロック２０２において、第２の例示的方法２００は、当該部分組内の複数の対の一次画像３０を識別するステップを有する。例えば、部分組が３つの一次画像を含む場合、該部分組は、（ｉ）第１の一次画像及び第２の一次画像、（ｉｉ）第２の一次画像及び第３の一次画像、及び（ｉｉｉ）第１の一次画像及び第３の一次画像を含む、３つの独立した対の一次画像を有するであろう。図５Ａ～図５Ｃに示される例において、当該部分組は、６つの一次画像３０を有し、これは１５対の一次画像３０を有する。

【0040】

ブロック２０４において、方法２００は、時間的に隣接する一次画像３０の各対について、第１の例示的方法１００のブロック１１０～１１４と同様の方法で、変位ベクトル行列３６を決定するステップを有する。図５Ａは複数の格子状エレメント４６に分割された第１の一次画像３０ａを示し、変位ベクトル４８が各格子状エレメント４６に対して矢印により示され、ここで、矢印の始点は当該対の第１の一次画像３０ａ上の格子状エレメントの位置であり、矢印の終点は当該対の第２の一次画像３０ｂ上の合致する格子状エレメントの位置である。複数の格子状エレメント４６に対する複数の変位ベクトル４８は、時間的に隣接する対の第１の一次画像３０ａと第２の一次画像３０ｂとの間の変位ベクトル行列３６を形成する。

【0041】

ブロック２０６において、方法２００は、一次画像３０の時間的に隣接する対の各格子状エレメント４６に関する変位ベクトル４８を加算することにより、一次画像３０の時間的に隣接しない対に関する変位ベクトル行列３６を決定して、時間的に隣接しない一次画像３０の対の間に動き軌跡５２をマッピングするステップを有する。

【0042】

図５Ｂは、一次画像３０の時間的に隣接する対の間の変位ベクトル４８を集約することにより、第１の一次画像と第６の一次画像との間の格子状エレメント４６に関する動き軌跡５２を示す。他の例において、時間的に隣接しない一次画像に関する変位ベクトル行列は、時間的に隣接する一次画像に関する変位ベクトル行列と同様の方法で計算できる。動きの軌跡をマッピングすることにより時間的に隣接しない画像の対に関する変位ベクトル行列を決定することは、格子状エレメントを照合し、一次画像の時間的に隣接しない対の間の照合された格子状エレメントの変位ベクトルを計算するよりも、少ない処理能力しか必要としない。

【0043】

図５Ｃは、動き軌跡５２上に重ね合わされた、一次画像の時間的に隣接しない対間の変位ベクトル４８を示す。

【0044】

ブロック２０８において、方法２００は、一次画像３０の部分組の誤差値３８を、該部分組内の一次画像３０の対の各々の間の変位ベクトル行列３６に基づいて推定するステップを有する。この例において、複数の一次画像３０の部分組の誤差値を推定するステップは、一次画像３０の該部分組内の一次画像３０の各対の最大変位ベクトルを決定し、これら最大変位ベクトルから最も大きい絶対変位ベクトルを選択するステップを有する。誤差値３８は、該最大の絶対変位ベクトルに基づくものであり得る。

【0045】

この方法２００は誤差値を推定するために一次画像３０の部分組ごとに繰り返すことができ、該方法は、第１の例示的方法１００のブロック１１８に進み、最小の誤差値Ｅｘを有する一次画像の誤差が最小化された部分組４０を選択し、一次画像の該誤差が最小化された部分組４０に対して周囲光補正を実行して、誤差が最小化されたＡＬＣ画像４２を生成することができる。

【0046】

図６は、動きによるＡＬＣ画像の誤差を最小化する第３の例示的方法３００を示す。

【0047】

ブロック３０２において、方法３００は、複数の一次画像３０を第１の例示的方法１００のブロック１０２と同様の方法でキャプチャするステップを有する。

【0048】

ブロック３０４において、当該方法は、周囲光補正（ＡＬＣ）画像４２を生成するために周囲光補正が実行されるべき所定数の時間的に隣接する一次画像３０を含む一次画像３０の部分組を第１の例示的方法１００のブロック１０４と同様の方法で識別するステップを有する。

【0049】

ブロック３０４に続くブロック３０６において、方法３００は、一次画像３０の部分組の動きによる誤差値３８を推定するステップを有する。これは、第２の例示的方法２００のブロック２０２～２０８、又は第１の例示的方法１００のブロック１０６と同様の方法によるものであり得る。

【0050】

ブロック３０８では、一次画像３０の当該部分組の誤差値３８が、これまでに見つかった最小の誤差値であるかが判定される。一次画像３０の当該部分組の誤差値３８がこれまでの最小ではないと判定された場合、方法３００はブロック３０２に戻り、少なくとも１つの更なる一次画像３０をキャプチャし、一次画像３０の他の後の部分組を識別する。一次画像３０の該後の部分組は一次画像３０の以前の部分組から１つの時間的に隣接する一次画像３０分だけオフセットされ得る。

【0051】

一次画像３０の各部分組は、一次画像３０の先行する部分組から、１つの時間的に隣接する一次画像３０分だけオフセットされる。他の例においては、一次画像の部分組間に２以上の一次画像のオフセットが存在し得る。

【0052】

ブロック３０８において、一次画像３０の当該部分組の誤差値がこれまでの最小のものである（すなわち、一次画像３０の該部分組は、一次画像の誤差が最小化された部分組４０である）と判定された場合、方法３００はブロック３１０に進み、該ブロックにおいて、該誤差が最小化された一次画像の部分組４０に対して周囲光補正が実行され、誤差が最小化されたＡＬＣ画像４２を形成する。

【0053】

次いで、方法３００はブロック３０２に戻り、更なる一次画像３０のキャプチャを継続する。したがって、該第３の例示的方法３００は、第１の例示的方法００と非常に類似するが、複数の一次画像３０がキャプチャされた後、一次画像３０の該複数の部分組のうちの何れが最小の推定誤差を有するかを判定し、該誤差が最小化された部分組に対して周囲光補正を実行するというより、一次画像の時間的に連続する部分組に対して一次画像３０の部分組の誤差値をリアルタイムで推定し、各部分組が以前に推定された誤差値よりも小さい推定誤差値３８を有するたびに一次画像３０の部分組に対して周囲光補正を実行する点で相違する。

【0054】

開示された実施形態の変形は、当業者によれば、本明細書に記載の原理及び技術を実施するに際して、図面、開示及び添付請求項の精査から理解し、実施できるものである。請求項において、「有する（含む）」という文言は他の要素又はステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットは、請求項に記載されている幾つかの項目の機能を果たすことができる。特定の手段が互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体等の適切な媒体により記憶又は配布することができるのみならず、インターネット又は他の有線若しくは無線通信システムを介して等のように、他の形態で配布することもできる。請求項における如何なる参照符号も、当該範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【国際調査報告】