(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-24
(54)【発明の名称】画像の動き補償を実行するためのシステム
(51)【国際特許分類】
G06T 7/38 20170101AFI20221116BHJP
H05B 45/20 20200101ALI20221116BHJP
H05B 47/16 20200101ALI20221116BHJP
H05B 47/125 20200101ALI20221116BHJP
G06V 10/24 20220101ALI20221116BHJP
【ＦＩ】
G06T7/38
H05B45/20
H05B47/16
H05B47/125
G06V10/24
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2022525819
(86)(22)【出願日】2020-10-28
(11)【特許番号】
(45)【特許公報発行日】2022-11-15
(85)【翻訳文提出日】2022-05-02
(86)【国際出願番号】 EP2020080213
(87)【国際公開番号】W WO2021089372
(87)【国際公開日】2021-05-14
(31)【優先権主張番号】19207436.7
(32)【優先日】2019-11-06
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ブールキン ヤニク パルリアン ジュリアン
(72)【発明者】
【氏名】パレロ ジョナサン アランブラ
(72)【発明者】
【氏名】シュイヤース エリク ゴシヌス ペトルス
【テーマコード（参考）】
3K273
5L096
【Ｆターム（参考）】
3K273PA09
3K273QA28
3K273SA21
3K273SA37
3K273SA40
3K273SA60
3K273TA05
3K273TA15
3K273TA31
3K273TA36
3K273TA41
3K273TA49
3K273TA77
3K273TA78
5L096AA02
5L096BA02
5L096CA04
5L096CA17
5L096GA08
5L096HA05
(57)【要約】
画像の動き補償を実行するためのシステム１００が提供される。システムは、光源１１０、イメージングユニット１２０、及び制御ユニット１３０を含む。光源は、複数のカラーチャネルで物体に多重化された照明を提供する。イメージングユニットは、複数のカラーチャネルで物体の第１の画像及び第２の画像を捕捉する。制御ユニットは、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定し、第１の画像と第２の画像との間の推定されるピクセルの動きを、複数のカラーチャネルのうちの少なくとも別の１つに外挿することによって、第１の動き補償された画像を生成する。
【特許請求の範囲】
【請求項1】
画像の動き補償を実行するためのシステムであって、前記システムは、複数のカラーチャネルで物体に多重化された照明を提供する光源であって、前記多重化された照明は、一度に、前記複数のカラーチャネルのうちの少なくとも１つのカラーチャネルが使用されるように提供される、光源と、
前記複数のカラーチャネルで前記物体の第１の画像及び第２の画像を捕捉するイメージングユニットであって、前記第１の画像は、前記照明が少なくとも第１のカラーチャネルで提供される第１の時点で捕捉され、前記第２の画像は、前記照明が少なくとも前記第１のカラーチャネルで提供される第２の時点で捕捉される、イメージングユニットと、
前記第１のカラーチャネルでの前記第１の画像と前記第２の画像との間の推定されるピクセルの動きを決定し、
前記第１の画像と前記第２の画像との間の推定される前記ピクセルの動きを、前記複数のカラーチャネルのうちの少なくとも別の１つのカラーチャネルに外挿することによって、第１の動き補償された画像を生成する、制御ユニットと、
を含む、システム。
【請求項2】
前記第１の時点では、前記照明は、前記第１のカラーチャネル及び第２のカラーチャネルで提供され、前記第２の時点では、前記照明は、前記第２のカラーチャネルでは提供されず、
前記制御ユニットは、
前記第１のカラーチャネルでの前記第１の画像と前記第２の画像との間の前記ピクセルの推定される動きを、前記第２のカラーチャネルに外挿することによって、前記第１の動き補償された画像を生成し、
前記第２のカラーチャネルでの前記第１の画像と前記第１の動き補償された画像との差に基づいて、周囲光補正を実行する、請求項１に記載のシステム。
【請求項3】
前記第２の時点では、前記照明は、第３のカラーチャネルで提供され、前記イメージングユニットはさらに、前記照明が前記第３のカラーチャネルで提供されるが前記第１のカラーチャネルでは提供されない第３の時点で、第３の画像を捕捉し、
前記制御ユニットはさらに、
前記第３のカラーチャネルでの前記第２の画像と前記第３の画像との間の推定されるピクセルの動きを決定し、
前記第３のカラーチャネルでの前記第２の画像と前記第３の画像との間の推定される前記ピクセルの動きを前記第１のカラーチャネルに外挿することによって、第２の動き補償された画像を生成し、
前記第１のカラーチャネルでの前記第２の画像と前記第３の画像との差に基づいて、周囲光補正を実行する、請求項２に記載のシステム。
【請求項4】
前記イメージングユニットは、ローリングシャッターカメラであり、前記制御ユニットは、前記第１の画像の第１のセクションと前記第２の画像の対応する第２のセクションとに基づいて、前記第１のカラーチャネルでの前記第１の画像と前記第２の画像との間の推定されるピクセルの動きを決定し、前記第１のセクション及び前記第２のセクションは、前記第１のカラーチャネルでの照明のオーバーラップに対応する、請求項１に記載のシステム。
【請求項5】
前記制御ユニットはさらに、前記第１の画像の第３のセクションと、第２のカラーチャネルでの前記第１の動き補償された画像の対応する第４のセクションとにおける周囲光補正を、前記第３のセクションと前記第４のセクションとの差に基づいて実行し、前記第３のセクション及び前記第４のセクションは、前記第２のカラーチャネルでの照明がオーバーラップしない領域に対応する、請求項４に記載のシステム。
【請求項6】
前記制御ユニットは、前記第１のカラーチャネルでの前記第１の画像に対する前記第２の画像の１つ以上のピクセルの変位を示す動きマップを生成することによって、前記第１のカラーチャネルでの前記第１の画像と前記第２の画像との間の推定されるピクセルの動きを決定し、かつ前記複数のカラーチャネルのうちの前記少なくとも１つでの前記第２の画像の対応する１つ以上のピクセルに前記動きマップを外挿することによって、前記第１の動き補償された画像を生成する、請求項１から５のいずれか一項に記載のシステム。
【請求項7】
前記動きマップの生成は、動き推定アルゴリズムを使用して、前記第１の画像と前記第２の画像との間の１つ以上のピクセルの変位を追跡すること含む、請求項６に記載のシステム。
【請求項8】
前記複数のカラーチャネルのうちの各々に関連付けられた帯域幅は、それぞれの所定の範囲内にある、請求項１から７のいずれか一項に記載のシステム。
【請求項9】
前記光源は、ＲＧＢの多重化された照明を提供し、前記イメージングユニットは、ＲＧＢセンサである、請求項１から８のいずれか一項に記載のシステム。
【請求項10】
画像の動き補償を実行するための方法であって、前記方法は、複数のカラーチャネルで物体に多重化された照明を提供するステップであって、前記多重化された照明は、一度に、前記複数のカラーチャネルのうちの少なくとも１つのカラーチャネルが使用されるように提供される、提供するステップと、
前記複数のカラーチャネルで前記物体の第１の画像及び第２の画像を捕捉するステップであって、前記第１の画像は、前記照明が少なくとも第１のカラーチャネルで提供される第１の時点で捕捉され、前記第２の画像は、前記照明が少なくとも前記第１のカラーチャネルで提供される第２の時点で捕捉される、捕捉するステップと、
前記第１のカラーチャネルでの前記第１の画像と前記第２の画像との間の推定されるピクセルの動きを決定するステップと、
前記第１の画像と前記第２の画像との間の推定される前記ピクセルの動きを、前記複数のカラーチャネルのうちの少なくとも別の１つに外挿することによって、第１の動き補償された画像を生成するステップと、
を含む、方法。
【請求項11】
前記第１の時点では、前記照明は、前記第１のカラーチャネル及び第２のカラーチャネルで提供され、前記第２の時点では、前記照明は、前記第２のカラーチャネルでは提供されず、
前記第１の動き補償された画像を生成するステップは、前記第１のカラーチャネルでの前記第１の画像と前記第２の画像との間の推定される前記ピクセルの動きを、前記第２のカラーチャネルに外挿するステップを含み、
前記方法はさらに、
前記第２のカラーチャネルでの前記第１の画像と前記第１の動き補償された画像との差に基づいて、周囲光補正を実行するステップを含む、請求項１０に記載の方法。
【請求項12】
前記第２の時点では、前記照明は、第３のカラーチャネルで提供され、前記方法はさらに、
前記照明が前記第３のカラーチャネルで提供されるが、前記第１のカラーチャネルでは提供されない第３の時点で、第３の画像を捕捉するステップと、
前記第３のカラーチャネルでの前記第２の画像と前記第３の画像との間の推定されるピクセルの動きを決定するステップと、
前記第３のカラーチャネルでの前記第２の画像と前記第３の画像との間の推定される前記ピクセルの動きを前記第１のカラーチャネルに外挿することによって、第２の動き補償された画像を生成するステップと、
前記第１のカラーチャネルでの前記第２の画像と前記第３の画像との差に基づいて、周囲光補正を実行するステップと、
を含む、請求項１１に記載の方法。
【請求項13】
前記第１のカラーチャネルでの前記第１の画像と前記第２の画像との間の推定されるピクセルの動きを決定するステップは、前記第１の画像の第１のセクションと前記第２の画像の対応する第２のセクションとに基づいており、前記第１のセクション及び前記第２のセクションは、前記第１のカラーチャネルでの照明のオーバーラップに対応する、請求項１０に記載の方法。
【請求項14】
前記第１の画像の第３のセクションと、第２のカラーチャネルでの前記第１の動き補償された画像の対応する第４のセクションとにおける周囲光補正を、前記第３のセクションと前記第４のセクションとの差に基づいて実行するステップをさらに含み、前記第３のセクション及び前記第４のセクションは、前記第２のカラーチャネルでの照明がオーバーラップしない領域に対応する、請求項１３に記載の方法。
【請求項15】
前記第１のカラーチャネルでの前記第１の画像と前記第２の画像との間の推定されるピクセルの動きを決定するステップは、前記第１のカラーチャネルでの前記第１の画像に対する前記第２の画像の１つ以上のピクセルの変位を示す動きマップを生成するステップを含み、前記第１の動き補償された画像を生成するステップは、前記複数のカラーチャネルのうちの前記少なくとも１つのカラーチャネルでの前記第２の画像の対応する１つ以上のピクセルに前記動きマップを外挿するステップを含む、請求項１０から１４のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像の動き補償を実行するためのシステム及び方法に関連する。
【背景技術】
【0002】
パーソナルケア及びヘルスアプリケーションの分野において、特に、皮膚感知において、目立たない測定及びモニタリングデバイスの需要が高まっている。現在利用可能な皮膚測定システムは、情報を消費者に提供する皮膚定量化及び皮膚特徴モニタリング機能を提供するが、この情報は、検出するには小さすぎたり、気が付くにはぼんやりとしすぎたり、フォローするには遅すぎたりする。これらのタイプのシステムが、通常の消費者によって使い物になると判断されるには、組み込まれている感知機能が、敏感であるだけでなく特異的である必要がある。また、消費者の信頼を築くためには、関連する測定値の堅牢性も不可欠である。
【0003】
このようなイメージング測定システムにおける重要な問題は、自宅などの制御されていない環境で使用する場合、典型的に、測定値に不整合が生じることである。これは、周囲照明が未定義であり、場合によっては変化するためである。周囲光の望ましくない影響を最小限に抑える１つのやり方は、周囲光よりもかなり強い既知の人工光源を提供することである。この場合、人工光は、周囲光を事実上マスキングする。しかし、特に晴れた屋外状況では、人工光の明るさは実用的ではなくなる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
周囲光の影響を最小限に抑える別のやり方は、人工光及び周囲光の両方を有する画像ショットを、周囲光のみを有する画像ショットと比較することである。２つの画像を減算すると、周囲光が実質的にない、したがって、高い再現性を持つ合成画像が得られる。ただし、この再現性のある画像の生成方法に関連する欠点の１つは、画像減算技術が、特に撮影された物体の端において、被写体の動きに非常に敏感であることである。したがって、画像の減算操作の前に、適切な動き補償を実行することが望ましい。しかしながら、オプティカルフローアルゴリズムなどの既存の動き推定アルゴリズムは、強度の大きな変化に対して十分に堅牢ではない。したがって、画像の動き補償を実行するための改善されたシステムと、画像の動き補償を実行するための方法を提供することが有利であろう。
【課題を解決するための手段】
【0005】
前述した１つ以上の問題に適切に対処するために、第１の態様では、画像の動き補償を実行するためのシステムが提供される。このシステムは、複数のカラーチャネルで物体に多重化された照明を提供する光源であって、多重化された照明は、一度に、複数のカラーチャネルのうちの少なくとも１つが使用されるように提供される、光源と、複数のカラーチャネルで物体の第１の画像及び第２の画像を捕捉するイメージングユニットであって、第１の画像は、照明が少なくとも第１のカラーチャネルで提供される第１の時点で捕捉され、第２の画像は、照明が少なくとも第１のカラーチャネルで提供される第２の時点で捕捉される、イメージングユニットと、制御ユニットであって、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定し、第１の画像と第２の画像との間の推定されるピクセルの動きを、複数のカラーチャネルのうちの少なくとも別の１つに外挿することによって、第１の動き補償された画像を生成する、制御ユニットとを含む。
【0006】
いくつかの実施形態では、第１の時点では、照明が第１のカラーチャネル及び第２のカラーチャネルで提供され、第２の時点では、照明は第２のカラーチャネルでは提供されない。これらの実施形態では、制御ユニットは、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを、第２のカラーチャネルに外挿することによって、第１の動き補償された画像を生成し、第２のカラーチャネルでの第１の画像と第１の動き補償された画像との差に基づいて、周囲光補正を実行する。
【0007】
さらに、第２の時点では、照明は、第３のカラーチャネルで提供され得る。これらの実施形態では、イメージングユニットはさらに、照明が第３のカラーチャネルで提供されるが、第１のカラーチャネルでは提供されない第３の時点で、第３の画像を捕捉し、制御ユニットはさらに、第３のカラーチャネルでの第２の画像と第３の画像との間の推定されるピクセルの動きを決定し、第３のカラーチャネルでの第２の画像と第３の画像との間の推定されるピクセルの動きを、第１のカラーチャネルに外挿することによって、第２の動き補償された画像生成し、第１のカラーチャネルでの第２の画像と第３の画像との差に基づいて、周囲光補正を実行する。
【0008】
いくつかの実施形態では、イメージングユニットは、ローリングシャッターカメラであり、制御ユニットは、第１の画像の第１のセクションと第２の画像の対応する第２のセクションとに基づいて、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定する。これらの実施形態では、第１及び第２のセクションは、第１のカラーチャネルでの照明のオーバーラップに対応する。さらに、制御ユニットはさらに、第１の画像の第３のセクションと、第２のカラーチャネルでの第１の動き補償された画像の対応する第４のセクションとにおける周囲光補正を、第３のセクションと第４のとの差に基づいて実行する。これらの実施形態では、第３のセクション及び第４のセクションは、第２のカラーチャネルでの照明がオーバーラップしない領域に対応する。
【0009】
いくつかの実施形態では、制御ユニットは、第１のカラーチャネルでの第１の画像に対する第２の画像の１つ以上のピクセルの変位を示す動きマップを生成することによって、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定し、かつ複数のカラーチャネルのうちの少なくとも１つでの第２の画像の対応する１つ以上のピクセルに動きマップを外挿することによって、第１の動き補償された画像を生成する。これらの実施形態では、動きマップの生成は、動き推定アルゴリズムを使用して、第１の画像と第２の画像との間の１つ以上のピクセルの変位を追跡することを含む。
【0010】
いくつかの実施形態では、複数のカラーチャネルのうちの各々に関連付けられた帯域幅は、それぞれの所定の範囲内にある。
【0011】
いくつかの実施形態では、光源は、ＲＧＢの多重化された照明を提供し、イメージングユニットは、ＲＧＢセンサである。
【0012】
第２の態様では、画像の動き補償を実行するための方法が提供される。この方法は、複数のカラーチャネルで物体に多重化された照明を提供するステップであって、多重化された照明は、一度に、複数のカラーチャネルのうちの少なくとも１つが使用されるように提供される、提供するステップと、複数のカラーチャネルで物体の第１の画像及び第２の画像を捕捉するステップであって、第１の画像は、照明が少なくとも第１のカラーチャネルで提供される第１の時点で捕捉され、第２の画像は、照明が少なくとも第１のカラーチャネルで提供される第２の時点で捕捉される、捕捉するステップと、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定するステップと、第１の画像と第２の画像との間の推定されるピクセルの動きを、複数のカラーチャネルのうちの少なくとも別の１つに外挿することによって、第１の動き補償された画像を生成するステップとを含む。
【0013】
いくつかの実施形態では、第１の時点では、照明が第１のカラーチャネル及び第２のカラーチャネルで提供され、第２の時点では、照明は第２のカラーチャネルでは提供されない。これらの実施形態では、第１の動き補償された画像を生成するステップは、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを、第２のカラーチャネルに外挿するステップを含む。さらに、この方法はさらに、第２のカラーチャネルでの第１の画像と第１の動き補償された画像との差に基づいて、周囲光補正を実行するステップを含む。
【0014】
さらに、いくつかの実施形態では、第２の時点では、照明は、第３のカラーチャネルで提供される。方法はさらに、照明が第３のカラーチャネルで提供されるが、第１のカラーチャネルでは提供されない第３の時点で、第３の画像を捕捉するステップと、第３のカラーチャネルでの第２の画像と第３の画像との間の推定されるピクセルの動きを決定するステップと、第３のカラーチャネルでの第２の画像と第３の画像との間の推定されるピクセルの動きを、第１のカラーチャネルに外挿することによって、第２の動き補償された画像生成するステップと、第１のカラーチャネルでの第２の画像と第３の画像との差に基づいて、周囲光補正を実行するステップとを含む。
【0015】
いくつかの実施形態では、第１のカラーチャネルでの第１の画像と第２の画像との間での推定されるピクセルの動きを決定するステップは、第１の画像の第１のセクションと第２の画像の対応する第２のセクションとに基づいている。第１及び第２のセクションは、第１のカラーチャネルでの照明のオーバーラップに対応している場合がある。
【0016】
いくつかの実施形態では、方法はさらに、第１の画像の第３のセクションと、第２のカラーチャネルの第１の動き補償された画像の対応する第４のセクションとにおける周囲光補正を、第３のセクションと第４のとの差に基づいて実行するステップを含む。これらの実施形態では、第３のセクション及び第４のセクションは、第２のカラーチャネルでの照明がオーバーラップしない領域に対応する。
【0017】
いくつかの実施形態では、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定するステップは、第１のカラーチャネルでの第１の画像に対する第２の画像の１つ以上のピクセルの変位を示す動きマップを生成するステップを含み、第１の動き補償さ含み得るた画像を生成するステップは、複数のカラーチャネルのうちの少なくとも１つでの第２の画像の対応する１つ以上のピクセルに動きマップを外挿するステップを含む。
【0018】
上記の態様及び実施形態によれば、既存の技術の制限が対処される。特に、上記の態様及び実施形態は、強度の大きな変化を処理できる堅牢な動き補償技術を提供する。したがって、画像の動き補償を実行するための改善されたシステム及び方法が提供される。本開示のこれらの及び他の態様は、以下に説明される実施形態から明らかになり、また、当該実施形態を参照して説明される。
【図面の簡単な説明】
【0019】
実施形態をさらに深く理解し、それがどのように実行されるかをより明確に示すために、ほんの一例として、添付の図面を参照する。
【0020】
【発明を実施するための形態】
【0021】
上記のように、既存の問題に対処する改善されたシステム及び方法が提供される。
【0022】
図１は、画像の動き補償を実行するために使用できる、実施形態によるシステム１００のブロック図を示している。このシステムは、光源１１０と、イメージングユニット１２０と、制御ユニット１３０とを含む。
【0023】
光源１１０は、複数のカラーチャネルで、物体（例えば、被写体の顔）に多重化された照明を提供する。より詳細には、多重化された照明は、一度に、複数のチャネルのうちの少なくとも１つが使用されるように、光源１１０によって提供される。いくつかの実施形態では、複数のカラーチャネルのうちの各々に関連付けられた帯域幅は、それぞれの所定の範囲内にある。例えば、いくつかの実施形態では、光源１１０は、約４５０ｎｍ、５２０ｎｍ、及び６３０ｎｍの狭帯域スペクトルを有する。また、いくつかの実施形態では、光源１１０は、ＲＧＢの多重化された照明を提供することもできる。十分に狭いカラーチャネルを使用することで、イメージングユニット１２０でのＲＧＢ感度のオーバーラップを最小限に抑えるか又は防止できる。
【0024】
イメージングユニット１２０は、複数のカラーチャネルで、物体の第１の画像及び第２の画像を捕捉する。第１の画像は、光源１１０によって照明が少なくとも第１のカラーチャネルで提供される第１の時点で捕捉され、第２の画像は、光源１１０によって照明が少なくとも第１のカラーチャネルで提供される第２の時点で捕捉される。いくつかの実施形態では、イメージングユニット１２０は、ローリングシャッターカメラである。また、いくつかの実施形態では、イメージングユニット１２０は、ＲＧＢセンサである。
【0025】
制御ユニット１３０は、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定し、第１の画像と第２の画像との間の推定されるピクセルの動きを、複数のカラーチャネルのうちの少なくとも別の１つに外挿することによって、第１の動き補償された画像を生成する。
【0026】
いくつかの実施形態では、光源１１０は、第１の時点では、照明が第１のカラーチャネル及び第２のカラーチャネルで提供され、第２の時点では、照明は第２のカラーチャネルでは提供されないように、照明を提供する。これらの実施形態では、制御ユニット１３０は、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを、第２のカラーチャネルに外挿することによって、第１の動き補償された画像を生成し、第２のカラーチャネルでの第１の画像と第１の動き補償された画像との差に基づいて、周囲光補正を実行する。
【0027】
さらに、これらの実施形態では、光源１１０は、第２の時点で、照明が第３のカラーチャネルで提供されるように、照明を提供し、イメージングユニット１２０は、照明が第３のカラーチャネルで提供されるが、第１のカラーチャネルでは提供されない第３の時点で、第３の画像を捕捉する。これらの実施形態では、制御ユニット１３０は、第３のカラーチャネルでの第２の画像と第３の画像との間の推定されるピクセルの動きを決定し、第３のカラーチャネルでの第２の画像と第３の画像との間の推定されるピクセルの動きを、第１のカラーチャネルに外挿することによって、第２の動き補償された画像を生成し、第１のカラーチャネルでの第２の画像と第３の画像との差に基づいて、周囲光補正を実行する。
【0028】
前述のように、いくつかの実施形態では、イメージングユニット１２０は、ローリングシャッターカメラである。これらの実施形態では、制御ユニット１３０は、第１の画像の第１のセクションと第２の画像の対応する第２のセクションとに基づいて、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定する。第１及び第２のセクションは、第１のカラーチャネルでの照明のオーバーラップに対応している。これらの実施形態では、制御ユニット１３０はさらに、第１の画像の第３のセクションと、第２のカラーチャネルでの第１の動き補償された画像の対応する第４のセクションとにおける周囲光補正を、第３のセクションと第４のセクションとの差に基づいて実行する。第３のセクション及び第４のセクションは、第２のカラーチャネルでの照明がオーバーラップしない領域に対応する。例示的な関連する実施形態については、図３Ａ及び図３Ｂを参照してより詳細に説明する。
【0029】
いくつかの実施形態では、制御ユニット１３０は、第１のカラーチャネルでの第１の画像に対する第２の画像の１つ以上のピクセルの変位を示す動きマップを生成することによって、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを決定し、かつ複数のカラーチャネルのうちの少なくとも１つでの第２の画像の対応する１つ以上のピクセルに動きマップを外挿することによって、第１の動き補償された画像を生成する。これらの実施形態では、制御ユニット１３０は、オプティカルフローアルゴリズムなどの動き推定アルゴリズムを使用して、第１の画像と第２の画像との間の１つ以上のピクセルの変位を追跡することによって、動きマップを生成する。
【0030】
システム１００の動作をより詳細に説明するために、画像が捕捉される様々な時点について、様々な組み合わせのＲＧＢのカラーチャネルが、照明のためにどのようにトリガされるかの例として、表１を提供する。この例では、画像番号（「画像＃」）は、画像が捕捉される順序に従って提供されている。したがって、画像＃１は、第１の時点で捕捉され、画像＃２は、第２の時点で捕捉され、画像＃３は、第３の時点で捕捉され、以降同様にされる。第１の時点から第９の時点は順次発生する。
【0031】
画像＃１～＃９の各々について、それぞれの列の「Ｒ」は、画像が捕捉されるそれぞれの時点で、照明が赤のカラーチャネルで提供されることを示し、それぞれの列の「Ｇ」は、画像が捕捉されるそれぞれの時点で、照明が緑のカラーチャネルで提供されることを示し、それぞれの列の「Ｂ」は、画像が捕捉されるそれぞれの時点で、照明が青のカラーチャネルで提供されることを示す。例えば、画像＃１は、照明が赤のカラーチャネル及び青のカラーチャネルで提供される第１の時点で捕捉され、画像＃２は、照明が赤のカラーチャネル及び緑のカラーチャネルで提供される第２の時点で捕捉される。
【表1】
【0032】
この例では、赤のカラーチャネルでの画像＃４及び画像＃５に基づいて、動き補償を実行できる。これらの画像は両方とも、照明が赤のカラーチャネルで提供される時点で捕捉されているからである。同じ論理を適用して、緑のカラーチャネルでの画像＃５及び画像＃６に基づいて、及び／又は青のカラーチャネルでの画像＃６及び画像＃７に基づいて、動き補償を実行することもできる。特定のカラーチャネルでの２つの画像間の推定されるピクセルの動きを決定した後で、２つの画像間の推定されるピクセルの動きを別のカラーチャネルに外挿することによって、動き補償された画像を生成できる。例えば、赤のカラーチャネルでの画像＃４と画像＃５との間の推定されるピクセルの動きを、緑のカラーチャネル及び青のカラーチャネルに外挿して、動き補償された画像Ｇｏｆｆ’、Ｒｏｆｆ’及びＢｏｆｆ’を生成できる。これらは、それぞれ、緑のカラーチャネル（しかし、関連する画像は、照明が緑のカラーチャネルでは提供されていない時点で捕捉されるので「Ｇ」＋「ｏｆｆ」）、赤のカラーチャネル（しかし、関連する画像は、照明が赤のカラーチャネルでは提供されていない時点で捕捉されるので「Ｒ」＋「ｏｆｆ」）、及び青のカラーチャネル（しかし、関連する画像は、照明が青のカラーチャネルでは提供されていない時点で捕捉されるので「Ｂ」＋「ｏｆｆ」）に対応する。表２に、画像＃４、画像＃５、及び画像＃６に基づいて動き補償を実行した後の表１の更新バージョンを示す。
【表2】
【0033】
これらの動き補償された画像に基づいて、特定のカラーチャネルでの周囲光補正は、当該特定のカラーチャネルで照明が提供されているときと、当該特定のカラーチャネルで照明が提供されていないときとに対応する画像を減算することによって実行できる。例えば、緑のカラーチャネルでの周囲光補正は、Ｇ（画像＃５）とＧｏｆｆ’（画像＃４）とに基づいて減算操作を実行することによって実現できる。同様に、青のカラーチャネルでの周囲光補正は、Ｂ’（画像＃４）とＢｏｆｆ’（画像＃５）とに基づいて減算操作を実行することによって実現でき、赤のカラーチャネルでは、Ｒ’（画像＃５）とＲｏｆｆ’（画像＃６）とに基づいて減算操作を実行することによって実現できる。
【0034】
一般に、制御ユニット１３０は、システム１００の動作を制御し、本明細書で説明する方法を実装できる。制御ユニット１３０は、本明細書に説明するやり方でシステム１００を制御するようにプログラムされた１つ以上のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを含み得る。特定の実装態様では、制御ユニット１３０は、本明細書に説明する方法の個別の又は複数のステップをそれぞれが実行するように構成された又は実行するための複数のソフトウェア及び／又はハードウェアモジュールを含む。
【0035】
いくつかの実施形態では、システム１００はさらに、少なくとも１つのユーザインターフェースを含む。あるいは又はさらに、少なくとも１つのユーザインターフェースは、システム１００の外部である（つまり、システムとは別個又はシステムから離れている）場合がある。例えば、少なくとも１つのユーザインターフェースは、別のデバイスの一部である。ユーザインターフェースは、本明細書で説明する方法からもたらされる情報を、システム１００のユーザに提供する際に使用される。あるいは又はさらに、ユーザインターフェースはユーザ入力を受信する。例えば、ユーザインターフェースは、システム１００のユーザが、命令、データ、又は情報を手動で入力できるようにする。これらの実施形態では、制御ユニット１３０は、１つ以上のユーザインターフェースからユーザ入力を取得する。
【0036】
ユーザインターフェースは、システム１００のユーザに対して情報のレンダリング（又は出力又は表示）を可能にする任意のユーザインターフェースである。あるいは又はさらに、ユーザインターフェースは、システム１００のユーザがユーザ入力を提供したり、システム１００と対話したり、システム１００を制御したりできるようにする任意のユーザインターフェースである。例えば、ユーザインターフェースは、１つ以上のスイッチ、１つ以上のボタン、キーパッド、キーボード、（例えば、タブレットやスマートフォン上の）タッチスクリーン若しくはアプリケーション、表示画面、グラフィカルユーザインターフェース（ＧＵＩ）若しくは他の視覚的レンダリング構成要素、１つ以上のスピーカ、１つ以上のマイク若しくは他の任意のオーディオ構成要素、１つ以上のライト、触覚フィードバックを提供する構成要素（例えば、振動機能）若しくは他の任意のユーザインターフェース、又はユーザインターフェースの組み合わせを含む。
【0037】
いくつかの実施形態では、システム１００はメモリを含む。あるいは又はさらに、１つ以上のメモリが、システム１００の外部である（つまり、システムとは別個又はシステムから離れている）場合がある。例えば、１つ以上のメモリは、別のデバイスの一部である。メモリは、本明細書に説明する方法を実行するために、制御ユニット１３０で実行可能なプログラムコード格納する。メモリを使用して、システム１００の制御ユニット１３０が取得又は作成した情報、データ、信号、及び測定値を格納する。例えば、メモリを使用して、制御ユニット１３０によって生成された第１の動き補償された画像を（例えば、ローカルファイルに）格納する。制御ユニット１３０は、第１の動き補償された画像を格納するためにメモリを制御する。
【0038】
いくつかの実施形態では、システム１００は、システム１００がシステム１００の内部又は外部にある任意のインターフェース、メモリ、及び／又はデバイスと通信できるようにする通信インターフェース（又は回路）を含む。通信インターフェースは、無線で又は有線接続を介して、任意のインターフェース、メモリ、及び／又はデバイスと通信できる。例えば、通信インターフェースは、無線で又は有線接続を介して、１つ以上のユーザインターフェースと通信できる。同様に、通信インターフェースは、無線で又は有線接続を介して、１つ以上のメモリと通信できる。
【0039】
図１は、システム１００の一態様を例示するために必要な構成要素のみを示しており、実際の実装態様では、システム１００は、図に示す構成要素に代わる又は追加される構成要素を含み得ることが理解されるであろう。また、３つのカラーチャネル（ＲＧＢ）を参照していくつかの実施形態及び例が説明されているが、代替実施形態では、より多く又は少ないカラーチャネルを使用してもよいことが理解されるであろう。例えば、いくつかの実施形態では、４つ以上のカラーチャネルを使用してもよく、システム１００のイメージングユニット１２０は、マルチスペクトルカメラであり得る。
【0040】
図２は、実施形態による画像の動き補償を実行するための方法を示している。図に示す方法は、通常、システム１００の制御ユニット１３０によって又はその制御下で実行できる。説明のために、図１のシステム１００の様々な構成要素を参照して、図２のブロックのうちの少なくともいくつかを説明する。
【0041】
図２を参照すると、ブロック２０２において、複数のカラーチャネルで、物体に多重化された照明が提供される。特に多重化された照明は、システム１００の光源１１０によって提供される。特に多重化された照明は、一度に、複数のチャネルのうち少なくとも１つが使用されるように提供される。複数のカラーチャネルのうちの各々に関連付けられた帯域幅は、それぞれの所定の範囲内にある。いくつかの実施形態では、多重化された照明は、ＲＧＢで提供される。
【0042】
図２に戻ると、ブロック２０４において、複数のカラーチャネルで、第１の画像及び第２の画像が捕捉される。具体的には、第１の画像及び第２の画像は、例えば、ローリングシャッターカメラである、システム１００のイメージングユニット１２０によって捕捉される。第１の画像は、光源１１０によって照明が少なくとも第１のカラーチャネルで提供される第１の時点で捕捉され、第２の画像は、光源によって照明が少なくとも第１のカラーチャネルで提供される第２の時点で捕捉される。いくつかの実施形態では、ブロック２０４において、第３の画像が第３の時点で捕捉される。
【0043】
図２に戻ると、ブロック２０６において、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きが決定される。具体的には、推定されるピクセルの動きは、システム１００の制御ユニット１３０によって決定される。
【0044】
ブロック２０４において少なくとも第１の画像及び第２の画像を捕捉するためにローリングシャッターカメラを使用するいくつかの実施形態では、ブロック２０６における、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きの決定は、第１の画像の第１のセクションと第２の画像の対応する第２のセクションとに基づいている。これらの実施形態では、第１及び第２のセクションは、第１のカラーチャネルでの照明のオーバーラップに対応する。
【0045】
いくつかの実施形態では、ブロック２０６における、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きの決定は、第１のカラーチャネルでの第１の画像に対する第２の画像の１つ以上のピクセルの変位を示す動きマップを生成することによって実行される。動きマップの生成は、動き推定アルゴリズムを使用して、第１の画像と第２の画像との間の１つ以上のピクセルの変位を追跡することを含む。
【0046】
図２に戻ると、ブロック２０８において、第１の画像と第２の画像との間の推定されるピクセルの動きを、複数のカラーチャネルのうちの少なくとも別の１つに外挿することによって、第１の動き補償された画像が生成される。具体的には、第１の動き補償された画像は、システム１００の制御ユニット１３０によって生成される。
【0047】
前述のように、いくつかの実施形態では、ブロック２０６における、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きの決定は、第１のカラーチャネルでの第１の画像に対する第２の画像の１つ以上のピクセルの変位を示す動きマップを生成することによって実行される。その後、これらの実施形態では、動きマップを、複数のカラーチャネルのうちの少なくとも１つでの第２の画像の対応する１つ以上のピクセルに外挿することによって、ブロック２０８における第１の動き補償された画像の生成を実行できる。
【0048】
いくつかの実施形態では、ブロック２０２において、第１の時点では、照明が第１のカラーチャネル及び第２のカラーチャネルで提供され、第２の時点では、照明は第２のカラーチャネルでは提供されない。これらの実施形態では、ブロック２０８において、第１の動き補償された画像を生成することは、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きを、第２のカラーチャネルに外挿することを含む。さらに、これらの実施形態では、方法はさらに、第２のカラーチャネルでの第１の画像と第１の動き補償された画像との差に基づいて、周囲光補正を実行することを含む。
【0049】
いくつかの実施形態では、第２の時点で、照明は第３のカラーチャネルで提供される。また、ブロック２０４において、照明が第３のカラーチャネルで提供されるが、第１のカラーチャネルでは提供されない第３の時点で、第３の画像が捕捉される。これらの実施形態では、方法はさらに、第３のカラーチャネルでの第２の画像と第３の画像との間の推定されるピクセルの動きを決定し、第３のカラーチャネルでの第２の画像と第３の画像との間の推定されるピクセルの動きを、第１のカラーチャネルに外挿することによって、第２の動き補償された画像を生成し、第１のカラーチャネルでの第２の画像と第３の画像との差に基づいて、周囲光補正を実行することを含む。これらの操作は、システムの制御ユニット１３０によって実行される。
【0050】
前述のように、ブロック２０４において少なくとも第１の画像及び第２の画像を捕捉するためにローリングシャッターカメラを使用するいくつかの実施形態では、ブロック２０６における、第１のカラーチャネルでの第１の画像と第２の画像との間の推定されるピクセルの動きの決定は、第１の画像の第１のセクションと第２の画像の対応する第２のセクションとに基づいている。これらの実施形態では、方法はさらに、第２のカラーチャネルでの第１の画像と第１の動き補償された画像との差と、第１の画像の第３のセクションと第１の動き補償された画像の対応する第４のセクションに基づいて、周囲光補正を実行することを含む。これらの実施形態では、第３及び第４のセクションは、第２のカラーチャネルでの照明がオーバーラップしない領域に対応する。
【0051】
図３Ａ及び図３Ｂはいずれも、実施形態による、ローリングシャッターカメラを使用して捕捉された第１の画像及び第２の画像を示している。より詳細には、図３Ａでは、第１の画像３１０及び第２の画像３２０は、それぞれの画像の網掛け領域が第１のカラーチャネルで照明される領域を表すように示されている。図３Ｂでは、第１の画像３１０及び第２の画像３２０は、それぞれの画像の網掛け領域が第２のカラーチャネルで照明される領域を表すように示されている。
【0052】
本実施形態では、第１の画像３１０及び第２の画像３２０は、ローリングシャッターカメラを使用して連続して捕捉された画像である。したがって、図３Ａ及び図３Ｂに示すように、異なる照明波長（異なるカラーチャネルに対応する）のオンフェーズ及びオフフェーズは、第１の画像３１０及び第２の画像３２０にカラーバンドとして現れる。特に、特定のカラーチャネル（例えば、第１のカラーチャネル）の照明を十分に長い時間提供することによって、２つの画像３１０及び３２０に大きなオーバーラップ照明領域を実現できる。
【0053】
この実施形態では、図３Ａに示すように、第１の画像３１０と第２の画像３２０との間の推定されるピクセルの動きは、オーバーラップセクション３３０に基づいて、第１のカラーチャネルで決定できる。具体的には、推定されるピクセルの動きは、第１のカラーチャネルでの第１の画像３１０に対する第２の画像３２０と、オーバーラップセクション３３０とにおける１つ以上のピクセルの変位を示す動きマップを生成することによって決定される。図３Ａに示すオーバーラップセクション３３０は、２つの画像３１０、３２０の第１のカラーチャネルでの照明のオーバーラップに対応している。第１の画像３１０と第２の画像３２０との間の推定されるピクセルの動きの決定は、システムの制御ユニット１３０によって決定される。
【0054】
その後、第１の画像３１０と第２の画像３２０との間の推定されるピクセルの動きを、少なくとも、オーバーラップセクション３３０について第２のカラーチャネルに外挿することによって、部分的に動き補償された画像を生成できる。
【0055】
第１のカラーチャネルでの第１の画像３１０と第２の画像３２０との間の推定されるピクセルの動きが決定され、部分的に動き補償された画像が生成されると、第１の画像の第３のセクションと、動き補償された画像の対応する第４のセクションとにおいて、周囲光補正を実行できる。第３及び第４のセクションは、第２のカラーチャネルでの照明がオーバーラップしない領域に対応する。この実施形態では、オーバーラップセクション３３０の少なくとも１つのサブセクション間の差に基づいて、オーバーラップセクション３３０内のサブセクションに対して周囲光補正が実行される。具体的には、少なくともオーバーラップセクション３３０において、第１の画像３１０及び／又は第２の画像３２０内の動きを補償した後、第２のカラーチャネルの光によって照明された領域に対応する、第１の画像３１０のサブセクションと、第２のカラーチャネルの光によって照明されていない領域に対応する、第２の画像３２０のサブセクションとについて周囲光補正が実行される。例えば、図３Ｂに示す第１の画像３１０の照明されていないサブセクション３４０は、本コンテキストでは第３のセクションと見なすことができ、第２の画像３２０の照明されているサブセクション３５０は、第１の画像３１０の照明されていないサブセクション３４０に位置的に対応しているため、本コンテキストでは第４のセクションと見なすことができる。
【0056】
別の例として、周囲光補正は、図３Ｂに示すように、第１の画像３１０の照明されているサブセクション３６０と、第２の画像３２０の照明されていないサブセクション３７０とに基づいても実行される。これは、第２の画像３２０の照明されていないサブセクション３７０が、第１の画像３１０の照明されているサブセクション３６０に位置的に対応しているからである。このコンテキストでは、サブセクション３６０は、第３のセクションと見なされ、サブセクション３７０は、第４のセクションと見なされる。
【0057】
いくつかの実施形態では、周囲光補正はセクション毎に実行される。例えば、第２のカラーチャネルでの周囲光補正は、照明されていないセクション３４０及び照明されているセクション３５０に基づいて実行されて、画像の対応する部分で所望の補正結果が得られる。次に、第２のカラーチャネルでの周囲光補正は、画像の対応する部分において、照明されるセクション３６０及び照明されないセクション３７０に基づいて実行される。画像の残りの部分は、同様のやり方で周囲光について補正できる。
【0058】
したがって、既存の問題を解決する、画像の動き補償を実行するための改善されたシステム及び方法が提供される。
【0059】
開示された実施形態の変形は、図面、開示及び添付の特許請求の範囲の検討から、請求項に係る発明を実施する際に当業者によって理解され、実行され得る。特許請求の範囲において、「含む」という語は、他の要素やステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを意味するものではない。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。
【図1】
【図2】
【図3A】
【図3B】
【国際調査報告】