特許 7507883 周囲光抑制

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】周囲光抑制

(51)【国際特許分類】

   H04N 23/74 20230101AFI20240621BHJP

   G01B 11/25 20060101ALI20240621BHJP

   A61B 5/1171 20160101ALI20240621BHJP

【ＦＩ】

H04N23/74

G01B11/25 H

A61B5/1171 200

【請求項の数】 20

(21)【出願番号】P 2022569168

(86)(22)【出願日】2021-05-07

(65)【公表番号】

(43)【公表日】2023-06-19

(86)【国際出願番号】 EP2021062136

(87)【国際公開番号】W WO2021228709

(87)【国際公開日】2021-11-18

【審査請求日】2023-10-10

(31)【優先権主張番号】20174915.7

(32)【優先日】2020-05-15

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ブールキン ヤニク パルリアン ジュリアン

(72)【発明者】

【氏名】キュイルリー エミリー

(72)【発明者】

【氏名】ダモダラン マシヴァナン

(72)【発明者】

【氏名】パレロ ジョナサン アランブラ

【審査官】高野 美帆子

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１０１３８２（ＵＳ，Ａ１）

【文献】特表２０１８－５０００５９（ＪＰ，Ａ）

【文献】国際公開第２０１９／１２０８９６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００

Ａ６１Ｂ ５／１１７１

Ｇ０１Ｂ １１／２５

(57)【特許請求の範囲】

【請求項1】

周囲光抑制を実行するためのシステムであって、前記システムは、
シーンの少なくとも一部に照明パターンを投影する画像投影ユニットであって、前記照明パターンが所定の空間周波数を有する時変空間変調パターンである、画像投影ユニットと、
前記照明パターンが前記シーンに投影されている間に前記シーンの複数の画像をキャプチャする、視野を有する撮像ユニットと、
前記照明パターンに基づいて、キャプチャされた前記複数の画像における目標区域に関して、前記複数の画像を復調し、該復調の結果に基づいて周囲光を抑制することにより前記シーンの周囲光抑制画像を生成する処理ユニットと
を有し、
前記目標区域は、前記撮像ユニットの視野の一部であって、
前記複数の画像がキャプチャされる間に前記照明パターンが投影される前記シーンの選択された部分、
前記投影された照明パターンが解像可能である前記シーンの部分、又は
所定の範囲を満たす前記複数の画像のピクセルに関するピクセル深度値を有する前記シーンの部分
のうちの１つに対応する、
システム。

【請求項2】

前記画像投影ユニットは、前記照明パターンを前記撮像ユニットの視野の選択された部分にのみ投影する一方、前記目標区域は前記照明パターンが投影される前記シーンの選択された部分に対応し、
前記処理ユニットは、前記目標区域に関して前記複数の画像を復調し、生成された前記シーンの前記周囲光抑制画像が前記撮像ユニットの視野の前記選択された部分に含まれる１以上の要素のみを描くようにする、
請求項１に記載のシステム。

【請求項3】

前記処理ユニットは、前記複数の画像を分析して前記シーンの３Ｄ深度情報を決定し、該３Ｄ深度情報は前記複数の画像のピクセルの各々に関する前記ピクセル深度値を含み、前記目標区域は前記シーンの３Ｄ深度情報に基づくものであり、
前記処理ユニットは、前記復調の結果を前記目標区域に関してのみ出力することにより前記シーンの周囲光抑制画像を生成する、
請求項１に記載のシステム。

【請求項4】

前記処理ユニットが前記複数の画像に位相マスクを適用することにより前記目標区域を決定する、請求項３に記載のシステム。

【請求項5】

前記時変空間変調パターンは、位相がシフトする正弦波パターンを有し、前記撮像ユニットが前記複数の画像を前記正弦波パターンの位相に対して所定の位相差でキャプチャする、請求項１に記載のシステム。

【請求項6】

前記照明パターンが所定のステップサイズの少なくとも１つの位相傾斜を更に有する、請求項１に記載のシステム。

【請求項7】

前記時変空間変調パターンは、位相がシフトする正弦波パターンを有し、前記撮像ユニットは前記照明パターンが前記シーン上に投影されている間に３組の画像をキャプチャし、前記３組の画像のうちの第１組は正弦波パターンの０°の位相シフトに対応し、前記３組の画像のうちの第２組は前記正弦波パターンの１２０°の位相シフトに対応し、前記３組の画像のうちの第３組が前記正弦波パターンの２４０°の位相シフトに対応する、請求項１に記載のシステム。

【請求項8】

前記撮像ユニットはカラーカメラを有し、前記第１、第２及び第３組の画像の各組が単一の画像を有する、請求項７に記載のシステム。

【請求項9】

前記第１、第２及び第３組の画像の各組は３つの画像を有し、前記３組の画像の各組における第１の画像は赤のカラーチャンネルに対応し、前記３組の画像の各組における第２の画像は緑のカラーチャンネルに対応し、前記３組の画像の各組における第３の画像が青のカラーチャンネルに対応する、請求項７に記載のシステム。

【請求項10】

前記処理ユニットは前記複数の画像を復調してＡＣ成分に対応する第１の画像及びＤＣ成分に対応する第２の画像を生成し、前記第１の画像が前記シーンの周囲光抑制画像として選択される、請求項１に記載のシステム。

【請求項11】

周囲光抑制を実行するためのシステムであって、前記システムは、
シーンの少なくとも一部に照明パターンを投影する画像投影ユニットであって、前記照明パターンが所定の空間周波数を有する時変空間変調パターンである、画像投影ユニットと、
前記照明パターンが前記シーンに投影されている間に前記シーンの複数の画像をキャプチャする、視野を有する撮像ユニットであって、前記シーンの前記複数の画像を所定の焦点深度でキャプチャし、前記照明パターンの前記所定の空間周波数及び前記撮像ユニットの前記所定の焦点深度は前記照明パターンが前記撮像ユニットの焦点から特定の距離内でのみ解像可能となるように選択される、撮像ユニットと、
前記照明パターンに基づいて、キャプチャされた前記複数の画像における目標区域に関して、前記複数の画像を復調し、該復調の結果に基づいて前記シーンの周囲光抑制画像を生成する処理ユニットと
を有し、
前記目標区域は、前記撮像ユニットの視野の一部であって、前記投影された照明パターンが解像可能である前記シーンの部分に対応し、
前記処理ユニットは、前記目標区域に関して前記複数の画像を復調し、生成された前記シーンの前記周囲光抑制画像が前記撮像ユニットの焦点から特定の距離内の視野に含まれる１以上の要素のみを描くようにする、
システム。

【請求項12】

周囲光抑制を実行するようにシステムを制御する方法であって、前記システムは画像投影ユニット、撮像ユニット及び処理ユニットを有し、当該方法は、
前記画像投影ユニットにより照明パターンをシーンの少なくとも一部に照射するステップであって、前記照明パターンが所定の空間周波数を有する時変空間変調パターンである、照射するステップと、
前記撮像ユニットにより、前記照明パターンが前記シーンに投影されている間に該シーンの複数の画像をキャプチャするステップと、
前記処理ユニットにより、前記照明パターンに基づいて、キャプチャされた前記複数の画像における目標区域に関して、前記複数の画像を復調するステップと、
前記処理ユニットにより、前記復調の結果に基づいて周囲光を抑制することにより前記シーンの周囲光抑制画像を生成するステップとを有し、
前記目標区域は、前記撮像ユニットの視野の一部であり、
前記複数の画像がキャプチャされている間に前記照明パターンが投影される前記シーンの選択された部分、
前記シーンのうちの前記投影された照明パターンが解像可能である部分、又は
前記シーンのうちの所定の範囲を満たすピクセルに関するピクセル深度値を有する部分、
のうちの１つに対応する、方法。

【請求項13】

前記照明パターンを前記シーンの少なくとも一部に投影するステップは前記照明パターンを前記撮像ユニットの視野の選択された部分にのみ投影するステップを含み、前記目標区域は前記照明パターンが投影される前記シーンの選択された部分に対応し、
前記目標区域に関して前記複数の画像を復調するステップが、前記シーンの生成された前記周囲光抑制画像が前記撮像ユニットの視野の前記選択された部分に含まれる１以上の要素だけを描くように実行される、
請求項１２に記載の方法。

【請求項14】

前記シーンの前記複数の画像をキャプチャするステップは所定の焦点深度において実行され、前記照明パターンの前記所定の空間周波数及び前記撮像ユニットの前記所定の焦点深度は、前記照明パターンが前記撮像ユニットの焦点から特定の距離内でのみ解像可能となるように選択され、前記目標区域は前記投影された照明パターンが解像可能である前記シーンの部分に対応し、
前記目標区域に関して前記複数の画像を復調するステップが、前記シーンの前記生成された周囲光抑制画像が前記撮像ユニットの焦点から特定の距離内の視野に含まれる１以上の要素のみを描くように実行される、
請求項１２に記載の方法。

【請求項15】

内部に具現化されたコンピュータ可読コードを有する非一時的コンピュータ可読媒体であって、該コンピュータ可読コードが、適切なコンピュータ又はプロセッサにより実行された場合に、該コンピュータ又はプロセッサに請求項１２に記載の方法を実行させる、非一時的コンピュータ可読媒体。

【請求項16】

前記複数の画像を分析して前記シーンの３Ｄ深度情報を決定するステップを更に有し、該３Ｄ深度情報は前記複数の画像のピクセルに関する前記ピクセル深度値を含み、前記目標区域は前記シーンの３Ｄ深度情報に基づくものであり、
前記シーンの周囲光抑制画像は、前記復調の結果を前記目標区域に関してのみ出力することにより生成される、
請求項１２に記載の方法。

【請求項17】

前記複数の画像に位相マスクを適用することにより前記目標区域を決定するステップを更に有する、請求項１６に記載の方法。

【請求項18】

前記時変空間変調パターンは、位相がシフトする正弦波パターンを有し、前記複数の画像は、前記正弦波パターンの位相に対して所定の位相差でキャプチャされる、請求項１２に記載の方法。

【請求項19】

前記時変空間変調パターンは、位相がシフトする正弦波パターンを有し、前記照明パターンが前記シーン上に投影されている間に該シーンの複数の画像をキャプチャするステップは、３組の画像をキャプチャするステップを含み、前記３組の画像のうちの第１組は正弦波パターンの０°の位相シフトに対応し、前記３組の画像のうちの第２組は前記正弦波パターンの１２０°の位相シフトに対応し、前記３組の画像のうちの第３組が前記正弦波パターンの２４０°の位相シフトに対応する、請求項１２に記載の方法。

【請求項20】

前記第１、第２及び第３組の画像の各組は３つの画像を有し、前記３組の画像の各組における第１の画像は前記撮像ユニットの赤のカラーチャンネルに対応し、前記３組の画像の各組における第２の画像は前記撮像ユニットの緑のカラーチャンネルに対応し、前記３組の画像の各組における第３の画像が前記撮像ユニットの青のカラーチャンネルに対応する、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、周囲光抑制を実行するためのシステム及び該システムを制御するための方法に関する。

【背景技術】

【0002】

目立たない測定及び監視、特にパーソナルケア及び健康アプリケーションのためのオンスキン感知の分野でのデジタル革新の探求活動において相当の開発及び投資が行われている。現在知られている皮膚測定システムは、検出するには小さすぎ、気づくには微弱すぎ、及び／又は追跡するには遅すぎ得る変化に関連する情報を消費者に提供するような、皮膚の定量化及び皮膚の特徴の監視を約束する。これらのシステムが消費者に受け入れられるためには、感知方法及びシステムが、高感度であると共に固有のものでなければならない。加えて、消費者の信頼を構築するためには測定のロバストさが不可欠である。このような撮像ベースのシステムに関連する１つの重大な問題は、制御されていない環境に（例えば、家庭に）配置された場合に、定まらず、潜在的に変化する周囲照明である。

【0003】

空間周波数ドメイン撮像（ＳＦＤＩ）等の変調撮像技術は、例えば皮膚の特性の分析のために使用できる画像を生成するために特定の光パターン、主に位相シフトされた正弦波パターンの投影を使用する技術である。位相シフトされているが同じ正弦波のパターンを用いた３つの空間変調された画像で、光の全てのＤＣ成分が除外され、したがって周囲光を除去した復調ＡＣ画像を再作成するのに十分である。復調は、各々が（０，２／３π，４／３π）の２／３πの位相差を持つが同一の空間周波数を持つ正弦波パターンの投影で記録された関心物体のＩ_１，Ｉ_２及びＩ_３の３つの画像を必要とする。これら画像の復調は、以下の式（１）及び（２）で表すことができ、

【数1】

【数2】

ここで、Ｍ_ＡＣは当該画像のＡＣ成分（変調された照明に対応すると見なすことができる）であり、Ｍ_ＤＣは該画像のＤＣ成分（周囲照明に対応すると見なすことができる）である。

【0004】

一例として、図１は複数の画像による周囲光補正処理を示している。具体的には、図１は、初期画像１１０、複数の変調（変調された）画像１２０Ａ、１２０Ｂ及び１２０Ｃ、並びに復調（復調された）画像１３０及び１４０を含み、該図は複数の変調画像に基づいて周囲光をどの様に補正できるかを示している。本開示の文脈において、「変調画像」という用語は、シーンの一部に変調パターンが投影されていることを描く画像を示し得る一方、「復調画像」という用語は、描かれた変調パターンに関して復調を受けた画像を示し得る。

【0005】

初期画像１１０において、当該シーンは周囲光のみにより照明されており、顔が不均一に照明されていることが分かる。第１の変調画像１２０Ａ、第２の変調画像１２０Ｂ及び第３の変調画像１２０Ｃの各々は、異なる位相シフトに関連付けられる。この例において、第１の変調画像１２０Ａは０°の位相シフトに関連付けられ、第２の変調画像１２０Ｂは１２０°の位相シフトに関連付けられ、第３の変調画像１２０Ｃは２４０°の位相シフトに関連付けられる。初期画像１１０に付与された不均一な照明は、変調画像１２０Ａ、１２０Ｂ及び１２０Ｃの前記式（１）及び（２）による復調を実行してＡＣ成分１３０及びＤＣ成分１４０を生成することにより補正できる。具体的には、３つの変調画像１２０Ａ、１２０Ｂ及び１２０Ｃでキャプチャされた３つの正弦波パターンが復調されて、復調画像１３０及び１４０を得るようにする。これら復調画像は、ＡＣ成分１３０（該復調信号の交番する部分を表す）及びＤＣ成分１４０（該復調信号の一定部分を表す）に各々対応する。この場合、ＡＣ成分１３０は、当該シーンが投影される変調照明及び周囲照明の両方により照明されている間の変調照明に対応する一方、該画像のＤＣ成分１４０は、当該シーンが変調照明及び周囲照明の両方により照明されている間の周囲照明に対応する。したがって、ＡＣ成分１３０は、初期画像１１０に描かれたシーンを表す「周囲光補正／抑制」バージョンと見なすことができる。

【0006】

米国特許出願公開第２０１９／０１０１３８３号は、周囲光の影響を克服するために構造化された光を使用して物体を決定する技術を開示していることに留意されたい。米国特許出願公開第２０１９／０１０１３８３号による技術は、種々の空間周波数の構造化光を利用する。

【0007】

更に、Ｂｏｄｅｎｓｃｈａｔｚ他は、論文“Ｄｉｆｆｕｓｅ ｏｐｔｉｃａｌ ｍｉｃｒｏｓｃｏｐｙ ｆｏｒ ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｄｅｐｔｈ－ｄｅｐｅｎｄｅｎｔ ｅｐｉｔｈｅｌｉａｌ ｂａｃｋｓｃａｔｔｅｒｉｎｇ ｉｎ ｔｈｅ ｃｅｒｖｉｘ”（Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ（ｖｏｌ．２１，ｎｏ．６，１ Ｊｕｎｅ ２０１６）において、異なる組織深度で観察を行うための異なる空間周波数の構造化光の使用について議論している。

【発明の概要】

【発明が解決しようとする課題】

【0008】

幾つかのスマートミラーシステムにおいては、皮膚分析のためにユーザの身体の顔又は他の部分の画像及び／又はビデオを記録するための撮像ユニット（例えば、カメラ）が設けられ得る。これらのシステムに関連する懸念の１つは、プライバシの潜在的侵害又は知覚される侵害である。現在知られているシステムにおいて、撮像ユニットはユーザと背景における他の要素とを区別せず、たとえユーザの顔だけが記録されたとしても、該ユーザを認識することは依然として比較的に容易である。例えば、現在利用可能なシステムにおいては、画像の関心のない領域を隠すために、ぼかしが使用されている。

【課題を解決するための手段】

【0009】

第１の特定の態様によれば、周囲光抑制を実行するためのシステムが提供され、該システムは：シーンの少なくとも一部に照明パターンを投影するように構成された画像投影ユニットであって、前記照明パターンが所定の空間周波数を有する時間的に変化する空間的に変調された（時変空間変調）照明パターンである画像投影ユニットと；前記所定の空間周波数を有する時変空間変調照明パターンが前記シーンに投影されている間に該シーンの複数の画像をキャプチャするように構成された撮像ユニットと；前記照明パターンに基づいて、キャプチャされた前記複数の画像における目標区域に関して、前記複数の画像を復調すると共に、該復調の結果に基づいて前記シーンの周囲光抑制画像を生成するように構成された処理ユニットと；を有し、前記目標区域は、前記シーンのうちの前記複数の画像がキャプチャされる間に前記照明パターンが選択的に投影される部分；前記シーンのうちの前記投影された照明パターンが解像可能である部分；及び前記シーンのうちの所定の範囲を満たすピクセル深度値を持つ部分；のうちの１つに対応し、前記目標区域は前記撮像ユニットの視野の一部である。

【0010】

幾つかの実施形態において、前記画像投影ユニットは前記照明パターンを前記撮像ユニットの前記視野の選択された部分にのみ選択的に投影するように構成され得る一方、前記目標区域は前記シーンのうちの前記照明パターンが選択的に投影される部分に対応する。これらの実施形態において、前記処理ユニットは、前記目標区域に関して前記複数の画像を復調し、生成された前記シーンの前記周囲光抑制画像が前記撮像ユニットの視野の前記選択された部分に含まれる１以上の要素のみを描くように構成できる。

【0011】

幾つかの実施形態において、前記撮像ユニットは前記シーンの前記複数の画像を所定の焦点深度でキャプチャするように構成でき、前記照明パターンの前記所定の空間周波数及び前記撮像ユニットの前記所定の焦点深度は、前記照明パターンが前記撮像ユニットの焦点から特定の距離内でのみ解像可能となるように選択され、前記目標区域は前記シーンのうちの前記投影された照明パターンが解像可能である部分に対応する。これらの実施形態において、前記処理ユニットは前記目標区域に関して前記複数の画像を復調し、生成された前記シーンの前記周囲光抑制画像が前記撮像ユニットの焦点から特定の距離範囲内の視野に含まれる１以上の要素のみを描くように構成できる。

【0012】

幾つかの実施形態において、前記処理ユニットは前記複数の画像を分析して前記シーンの３Ｄ深度情報を決定するように構成できる。該３Ｄ深度情報は前記複数の画像のピクセルの各々に関する深度値を含み得、前記目標区域は前記シーンの３Ｄ深度情報に基づくものであり得る。これらの実施形態において、前記処理ユニットは、前記復調の結果を前記目標区域に関してのみ出力することにより前記シーンの周囲光抑制画像を生成するよう構成され得る。

【0013】

幾つかの実施形態において、前記処理ユニットは前記複数の画像に位相マスクを適用することにより前記目標区域を決定するように構成できる。

【0014】

幾つかの実施形態において、前記照明パターンは位相がシフトする正弦波パターンを有することができ、前記撮像ユニットは前記複数の画像を前記正弦波パターンの位相に対して所定の位相差でキャプチャするように構成され得る。

【0015】

幾つかの実施形態において、前記照明パターンは所定のステップサイズの少なくとも１つの位相ランプ（傾斜）を更に有し得る。

【0016】

幾つかの実施形態において、前記撮像ユニットは前記照明パターンが前記シーン上に投影されている間に３組の画像をキャプチャするように構成できる。これらの実施形態において、前記３組の画像のうちの第１組は前記正弦波パターンの０°の位相シフトに対応し得、前記３組の画像のうちの第２組は前記正弦波パターンの１２０°の位相シフトに対応し得、前記３組の画像のうちの第３組は前記正弦波パターンの２４０°の位相シフトに対応し得る。

【0017】

幾つかの実施形態において、前記撮像ユニットはカラーカメラを有することができ、前記第１、第２及び第３組の画像の各組は単一の画像を有することができる。

【0018】

幾つかの実施形態において、前記第１、第２及び第３組の画像の各組は３つの画像を有することができる。前記３組の画像の各組における第１の画像は赤のカラーチャンネルに対応し得、前記３組の画像の各組における第２の画像は緑のカラーチャンネルに対応し得、前記３組の画像の各組における第３の画像は青のカラーチャンネルに対応し得る。

【0019】

幾つかの実施形態において、前記処理ユニットは前記複数の画像を復調してＡＣ成分に対応する第１の画像及びＤＣ成分に対応する第２の画像を生成するように構成できる。これらの実施形態において、前記第１の画像は前記シーンの周囲光抑制画像として選択され得る。

【0020】

第２の特定の態様によれば、周囲光抑制を実行するようにシステムを制御する方法が提供される。前記システムは、画像投影ユニット、撮像ユニット及び処理ユニットを有し、当該方法は、前記画像投影ユニットにより照明パターンをシーンの少なくとも一部に照射するステップであって、前記照明パターンが時変空間変調照明パターンであるステップと；前記撮像ユニットにより、前記時変空間変調照明パターンが前記シーンに投影されている間に該シーンの複数の画像をキャプチャするステップと；前記処理ユニットにより、前記照明パターンに基づいて、キャプチャされた前記複数の画像における目標区域に関して、前記複数の画像を復調するステップと；前記処理ユニットにより、前記復調の結果に基づいて前記シーンの周囲光抑制画像を生成するステップと；を有し、前記目標区域が、前記シーンのうちの前記複数の画像がキャプチャされている間に前記照明パターンが選択的に投影される部分、前記シーンのうちの前記投影された照明パターンが解像可能である部分、及び前記シーンのうちの所定の範囲を満たすピクセル深度値を有する部分、のうちの１つに対応する。

【0021】

幾つかの実施形態において、前記照明パターンを前記シーンの少なくとも一部に投影するステップは、前記照明パターンを前記撮像ユニットの視野の選択された部分にのみ選択的に投影するステップを有し得る。これらの実施形態において、前記目標区域は前記シーンのうちの前記照明パターンが選択的に投影される部分に対応し得る。また、これらの実施形態において、前記目標区域に関して前記複数の画像を復調するステップは、前記シーンの前記生成された周囲光抑制画像が前記撮像ユニットの視野の前記選択された部分に含まれる１以上の要素だけを描くように実行され得る。

【0022】

幾つかの実施形態において、前記照明パターンは所定の空間周波数を有し得、前記シーンの前記複数の画像をキャプチャするステップは所定の焦点深度において実行され得る。これらの実施形態において、前記照明パターンの前記所定の空間周波数及び前記撮像ユニットの前記所定の焦点深度は、前記照明パターンが前記撮像ユニットの焦点から特定の距離内でのみ解像可能となるように選択され得、前記目標区域は前記シーンのうちの前記投影された照明パターンが解像可能である部分に対応し得る。更に、前記目標区域に関して前記複数の画像を復調するステップは、前記シーンの前記生成された周囲光抑制画像が前記撮像ユニットの焦点から特定の距離範囲内の視野に含まれる１以上の要素のみを描くように実行され得る。

【0023】

第３の特定の態様によれば、コンピュータ可読媒体を有するコンピュータプログラム製品が提供され、該コンピュータ可読媒体は内部に具現化されたコンピュータ可読コードを有し、該コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる実行時に、該コンピュータ又はプロセッサが本明細書に記載の方法を実行するように構成される。

【0024】

これら及び他の態様は、後述される実施形態から明らかになり、斯かる実施形態を参照して解明されるであろう。

【0025】

例示的な実施形態が、以下の図面を参照して、例示のみのために後述されるであろう。

【図面の簡単な説明】

【0026】

【図1】図１は、複数の画像による周囲光補正動作の一例を示す。

【図2】図２は、一実施形態によるシステムのブロック図を示す。

【図3】図３は、一実施形態による、周囲光抑制を実行するためのシステムを制御する方法を示す。

【図4】図４は、一実施形態による、複数の画像による周囲光抑制処理を示す。

【図5】図５は、他の実施形態による、複数の画像による周囲光抑制処理を示す。

【図6】図６は、他の実施形態による、複数の画像による周囲光抑制処理を示す。

【図7】図７は、他の実施形態による周囲光抑制処理を示す。

【図8】図８は、他の撮像又は処理技術と比較した、一実施形態による周囲光抑制処理の結果を示す。

【発明を実施するための形態】

【0027】

前述したように、既存の問題に対処する、周囲光抑制を実行するための改善されたシステム及び斯かるシステムを制御するための方法が提供される。

【0028】

図２は、一実施形態によるシステム２００のブロック図を示しており、該システムは周囲光抑制を実行するため、特に画像における周囲光抑制のために使用することができる。図２に示されるように、該システムは、画像投影ユニット２１０、撮像ユニット２２０及び処理ユニット２３０を備える。

【0029】

画像投影ユニット２１０は、シーンの少なくとも一部上に照明パターンを投影するように構成される。該照明パターンは、時間的に変化する（時変的）空間変調されたパターンであり、位相シフト正弦波パターンを含むことができる。加えて、幾つかの実施形態において、該照明パターンは所定のステップサイズの少なくとも１つの位相ランプ（傾斜）を更に有し得る。幾つかの実施形態において、該照明パターンは所定の空間周波数及び／又は所定の波長を有することができる。更に、幾つかの実施形態において、画像投影ユニット２１０は、当該シーンの物体面に焦点を合わせるようにして該照明パターンを投影するように構成できる。

【0030】

幾つかの実施形態において、画像投影ユニット２１０は、上記照明パターンを前記撮像ユニットの視野の選択された部分上にのみ選択的に投影するように構成され得る。

【0031】

撮像ユニット２２０は、前記時変空間変調照明パターンが当該シーンに投影されている間において該シーンの複数の画像をキャプチャするように構成される。該撮像ユニット２２０は、照明パターンがシーン上に投影されている間に、３組の画像をキャプチャするように構成され得る。これらの３組の画像において、第１組は正弦波パターンの０°位相シフトに対応し、第２組は該正弦波パターンの１２０°位相シフトに対応し、第３組は該正弦波パターンの２４０°位相シフトに対応し得る。

【0032】

幾つかの実施形態において、上記撮像ユニットはカラーカメラを有し、上記第１、第２、及び第３組の画像の各組は単一の画像を含む。一部の代替実施形態において、第１、第２及び第３組の画像の各組は、３つの画像を含むことができる。これら代替実施形態において、上記３組の画像の各組における第１の画像は赤のカラーチャンネルに対応し、該３組の画像の各組における第２の画像は緑のカラーチャンネルに対応し、該３組の画像の各組における第３の画像は青のカラーチャンネルに対応することができる。

【0033】

幾つかの実施形態において、撮像ユニット２２０は、シーンの複数の画像を所定の焦点深度でキャプチャするように構成され得る。撮像ユニット２２０がシーンの複数の画像を所定の焦点深度でキャプチャするように構成されると共に前記照明パターンが所定の空間周波数を有するような幾つかの実施形態において、該照明パターンの所定の空間周波数及び該撮像ユニットの所定の焦点深度は、該照明パターンが撮像ユニット２２０の焦点から特定の距離内でのみ解像可能であるように選択され得る。

【0034】

前述したように、幾つかの実施形態において、当該照明パターンは位相がシフトする正弦波パターンを有し得る。これらの実施形態において、撮像ユニット２２０は前記複数の画像を上記正弦波パターンの位相に関して所定の位相差でキャプチャするように構成され得る。

【0035】

処理ユニット２３０は、上記複数の画像を、上記照明パターンに基づいて、且つ、複数のキャプチャされた画像内の目標区域に関して復調するように構成される。上記目標区域は、当該シーンのうちの前記複数の画像がキャプチャされる間に照明パターンが選択的に投影される部分、当該シーンのうちの投影された照明パターンが解像可能な部分、及び当該シーンのうちの所定の範囲を満たすピクセル深度値を持つ部分、のうちの１つに対応する。更に、処理ユニット２３０は当該シーンの周囲光抑制画像を上記復調の結果に基づいて生成するようにも構成される。

【0036】

処理ユニット２３０は、前記複数の画像を復調して、ＡＣ成分に対応する第１の画像及びＤＣ成分に対応する第２の画像を生成するように構成され得る。上記ＡＣ成分は前記複数の画像に関連する復調信号の交番部分に対応し得る一方、上記ＤＣ成分は該復調信号の一定部分に対応し得る。これらの実施形態において、第１の画像は当該シーンの周囲光抑制画像として選択され得る。当該復調は、例えば、図１を参照して前述された式（１）及び（２）を使用して実行できることが理解されるであろう。当該信号のＡＣ 成分及びＤＣ成分を得るために、本明細書には明示的に説明されていない他の方程式、例えば離散コサイン変換、フーリエ変換等に関連するものを使用できることも理解されるであろう。

【0037】

前述したように、幾つかの実施形態において、画像投影ユニット２１０は、照明パターンを前記撮像ユニットの視野の選択された部分上にのみ選択的に投影するように構成できる。これらの実施形態において、当該目標区域はシーンのうちの照明パターンが選択的に投影される部分に対応し得る。更に、これらの実施形態において、処理ユニット２３０は、目標区域に関して複数の画像を復調し、当該シーンの生成された周囲光抑制画像が撮像ユニット２２０の視野の選択された部分に含まれる１以上の要素のみを描くようにするよう構成され得る。

【0038】

前述したように、撮像ユニット２２０がシーンの複数の画像を所定の焦点深度でキャプチャするように構成されると共に照明パターンが所定の空間周波数を有する幾つかの実施形態において、該照明パターンの所定の空間周波数及び該撮像ユニットの所定の焦点深度は、該照明パターンが撮像ユニット２２０の焦点から特定の距離内でのみ解像可能となるように選択され得る。更に、これらの実施形態において、前記目標区域は当該シーンのうちの投影された照明パターンが解像可能である部分に対応し得る一方、処理ユニット２３０は、該目標区域に関して複数の画像を復調し、該シーンの生成された周囲光抑制画像が撮像ユニット２２０の焦点からの特定の距離範囲内で視野内に含まれる１以上の要素のみを描写するように構成できる。

【0039】

幾つかの実施形態において、処理ユニット２３０は、シーンの３次元（３Ｄ）深度情報を決定するために複数の画像を分析するように構成できる。該３Ｄ深度情報は、当該複数の画像の各ピクセルの深度値を含み得る。更に、これらの実施形態において、前記目標区域はシーンの３Ｄ深度情報に基づくことができる。処理ユニット２３０は、目標区域に関する復調結果のみを出力することによりシーンの周囲光抑制画像を生成するよう構成できる。

【0040】

更に、これらの実施形態において、処理ユニット２３０は当該複数の画像に位相マスクを適用することにより目標区域を決定するように構成できる。

【0041】

一般的に、処理ユニット２３０は、システム２００の動作を制御することができ、本明細書に記載の方法を実施することができる。処理ユニット２３０は、本明細書に記載の態様でシステム２００を制御するように構成又はプログラムされた１以上のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを備えることができる。特定の構成において、処理ユニット２３０は、本明細書に記載の方法の個々のステップ又は複数のステップを実行するように各々が構成された又は実行するための複数のソフトウェア及び／又はハードウェアモジュールを備えることができる。

【0042】

図２には示されていないが、幾つかの実施形態において、システム２００は少なくとも１つのユーザインターフェースを更に備え得る。代替的に又は追加的に、少なくとも１つのユーザインターフェースは、システム２００に対して外部の（すなわち、別個の又は遠隔の）ものであり得る。例えば、少なくとも１つのユーザインターフェースは、他の装置の一部であり得る。ユーザインターフェースは、システム２００のユーザに本明細書に記載の方法から得られる情報を提供する際に使用するためのものであり得る。代替的に又は追加的に、ユーザインターフェースはユーザ入力を受信するように構成され得る。例えば、ユーザインターフェースは、システム２００のユーザが、命令、データ又は情報を手動で入力することを可能にできる。これらの実施形態において、処理ユニット２３０は１以上のユーザインターフェースからユーザ入力を取得するように構成され得る。

【0043】

ユーザインターフェースは、システム２００のユーザに対し情報のレンダリング（又は出力若しくは表示）を可能にする任意のユーザインターフェースとすることができる。代替的に又は追加的に、ユーザインターフェースは、システム２００のユーザがユーザ入力を供給し、システム２００と対話し、及び／又はシステム２００を制御することを可能にする如何なるユーザインターフェースとすることもできる。例えば、該ユーザインターフェースは、１つ以上のスイッチ、１つ以上のボタン、キーパッド、キーボード、タッチスクリーン若しくはアプリケーション（例えば、タブレット又はスマートフォン）、ディスプレイ画面、グラフィックユーザインターフェース（ＧＵＩ）若しくは他の視覚的レンダリング部品、１以上のスピーカ、１以上のマイクロフォン若しくは何らかの他のオーディオ部品、１以上のライト、触覚フィードバックを提供するための部品（振動機能等）、何らかの他のユーザインターフェース、又はユーザインターフェースの組み合わせを含み得る。

【0044】

幾つかの実施形態において、システム２００はメモリを有し得る。代替的に又は追加的に、１以上のメモリは、システム２００に対して外部の（すなわち、別個の又は遠隔の）ものであり得る。例えば、１以上のメモリは他の装置の一部であり得る。メモリは、本明細書に記載の方法を実行するために処理ユニット２３０により実行できるプログラムコードを記憶するように構成できる。メモリを使用して、システム２００の処理ユニット２３０により取得又は作成された情報、データ、信号及び測定値を格納することができる。例えば、メモリを使用して、前記複数のキャプチャされた画像、複数の候補画像及び／又は周囲光抑制画像を記憶できる。処理ユニット２３０は、メモリを制御して、前記複数のキャプチャされた画像、複数の候補画像及び／又は周囲光抑制画像を記憶するように構成できる。

【0045】

幾つかの実施形態において、システム２００は、該システム２００の内部又は外部にある任意のインターフェース、メモリ及び／又は装置と該システム２００が通信できるようにするための通信インターフェース（又は回路）を備えることができる。該通信インターフェースは、任意のインターフェース、メモリ及び／又は装置と無線で又は有線接続を介して通信できる。例えば、該通信インターフェースは、１以上のユーザインターフェースと無線で又は有線接続を介して通信できる。同様に、該通信インターフェースは、前記１以上のメモリと無線で又は有線接続を介して通信できる。

【0046】

図２は、システム２００の一態様を示すために必要な構成要素のみを示しており、実際の実装において、該システム２００は図示されたものの代替の又は追加の構成要素を含み得ると理解されたい。

【0047】

図３は、周囲光抑制を実行するシステムを制御するための方法を示している。図示の方法は、概してシステム２００により実行することができ、具体的には、幾つかの実施形態において、該システム２００の処理ユニット２３０により又はその制御の下で実行され得る。解説目的で、図３におけるブロックの少なくとも幾つかを、図２のシステム２００の種々の構成要素を参照して以下に説明する。

【0048】

図３を参照すると、ブロック３０２において、シーンの少なくとも一部に照明パターンが投影される。該投影はシステム２００の画像投影ユニット２１０により実行でき、この投影はシーンの物体面上に焦点を合わせるように実行され得る。上記照明パターンは、時変空間変調パターン、位相シフト正弦波パターンであり、前記撮像ユニットは、正弦波パターンの位相に対して所定の位相差で複数の画像をキャプチャするように構成される。幾つかの実施形態において、当該照明パターンは所定の空間周波数及び／又は所定の波長を有し得る。代替的に又は追加的に、該照明パターンは、所定のステップサイズの少なくとも１つの位相ランプを含み得る。

【0049】

幾つかの実施形態において、ブロック３０２におけるシーンの少なくとも一部上に照明パターンを投影するステップは、前記撮像ユニットの視野の選択された部分上にのみ照明パターンを選択的に投影する動作を含み得る。

【0050】

図３に戻ると、ブロック３０４においては、ブロック３０２において時変空間変調照明パターンがシーンに投影されている間に該シーンの複数の画像がキャプチャされる。このように、少なくとも幾つかの実施形態において、ブロック３０２及びブロック３０４に示されるステップは同時に実行されるものと見なされ得る。上記複数の画像のキャプチャは、システム２００の撮像ユニット２２０により実行され得る。

【0051】

前述したように、幾つかの実施形態において、前記照明パターンは位相シフト正弦波パターンを含み得る。これらの実施形態において、ブロック３０４における複数の画像をキャプチャする動作は、該正弦波パターンの位相に対して所定の位相差で実行され得る。

【0052】

幾つかの実施形態においては、ブロック３０４において、照明パターンがシーンに投影されている間に、３組の画像がキャプチャされる。これらの実施形態において、上記３組の画像のうちの第１組は正弦波パターンの０°位相シフトに対応し得、該３組の画像のうちの第２組は該正弦波パターンの１２０°位相シフトに対応し得、該３組の画像のうちの第３組は該正弦波パターンの２４０°位相シフトに対応し得る。これらの実施形態の幾つかにおいて、第１、第２及び第３組の画像における各組は、単一の画像を含み得る。代わりに、第１、第２及び第３組の画像の各組は３つの画像を含むことができ、該３組の画像の各組における第１の画像は赤のカラーチャンネルに対応し得、該３組の画像の各組における第２の画像は緑のカラーチャンネルに対応し得、該３組の画像の各組における第３の画像は青のカラーチャンネルに対応し得る。

【0053】

図３に戻ると、ブロック３０６において、ブロック３０４でキャプチャされた複数の画像は、当該照明パターンに基づいて、且つ、複数のキャプチャされた画像内の目標区域に関して復調される。ブロック３０６における該復調は、システム２００の処理ユニット２３０により実行され得る。上記目標区域は、当該シーンにおける複数の画像がキャプチャされた際に照明パターンが選択的に投影された部分、当該シーンにおける投影された照明パターンが解像可能である部分、及び当該シーンにおける所定の範囲を満たすピクセル深度値を有する部分、のうちの１つに対応する。

【0054】

図３に戻ると、ブロック３０８において、当該シーンの周囲光抑制画像が上記復調の結果に基づいて生成される。該周囲光抑制画像の生成は、システム２００の処理ユニット２３０により実行され得る。

【0055】

幾つかの実施形態において、ブロック３０６における複数の画像を復調するステップは、ＡＣ成分に対応する第１の画像及びＤＣ成分に対応する第２の画像を生成し得る。該ＡＣ成分は前記複数の画像に関連する復調信号の交番部分に対応し得る一方、ＤＣ成分は該復調信号の一定部分に対応し得る。これらの実施形態においては、ブロック３０８において、第１の画像が当該シーンの周囲光抑制画像として選択され得る。当該復調は、例えば、図１を参照して先に提示された式（１）及び（２）を使用して実行され得ることが理解されるであろう。当該信号のＡＣ及びＤＣ成分を得るために、本明細書には明示的に述べられていない他の方程式、例えば、離散コサイン変換、フーリエ変換等に関連するものを使用できることも理解されよう。

【0056】

ブロック３０２に関連して前述したように、幾つかの実施形態において、ブロック３０２におけるシーンの少なくとも一部に照明パターンを投影するステップは、前記撮像ユニットの視野の選択された部分上にのみ照明パターンを選択的に投影するステップを有し得る。これらの実施形態において、前記目標区域は当該シーンのうちの照明パターンが選択的に投影される部分に対応し得、ブロック３０６における該目標区域に関して複数の画像を復調するステップは、ブロック３０８で生成される該シーンの周囲光抑制画像が前記撮像ユニットの視野の選択された部分に含まれる１以上の要素のみを描くように実行され得る。

【0057】

前述したように、幾つかの実施形態において、照明パターンは所定の空間周波数を有し得る。これらの実施形態において、ブロック３０４におけるシーンの複数の画像をキャプチャするステップは所定の焦点深度で実行され得る。これらの実施形態における上記照明パターンの所定の空間周波数及び撮像ユニットの所定の焦点深度は、該照明パターンがシステム２００における撮像ユニット２２０の焦点から特定の距離内でのみ解像可能となるように選択され得る。更に、前記目標区域は、当該シーンのうちの投影された照明パターンが解像可能である部分に対応し得る。更に、これらの実施形態において、ブロック３０６における目標区域に関して複数の画像を復調するステップは、ブロック３０８において生成されるシーンの周囲光抑制画像が、システム２００における撮像ユニット２２０の焦点から特定の距離範囲内の視野に含まれる１以上の要素のみを描くように実行され得る。

【0058】

図３には示されていないが、幾つかの実施形態において、当該方法は、複数の画像を分析して、シーンの３Ｄ深度情報を決定するステップを更に含むことができる。上記３Ｄ深度情報は複数の画像のピクセルの各々の深度値を含むことができ、これらの実施形態において、前記目標区域はシーンの３Ｄ深度情報に基づくものとすることができる。この点に関し、当該方法は、ブロック３０４でキャプチャされた複数の画像に位相マスクを適用することにより該目標区域を決定するステップを更に有することができる。

【0059】

更に、これらの実施形態において、ブロック３０８におけるシーンの周囲光抑制画像を生成するステップは、目標区域に関する復調結果のみを出力することにより実行できる。

【0060】

図４は、一実施形態による、複数の画像による周囲光抑制処理を示す。図示された処理は一般的にシステム２００により実行することができ、特に、幾つかの実施形態では、システム２００の処理ユニット２３０により又は該ユニットの制御の下で実行できる。解説目的で、図４に示される処理の少なくとも一部を、図２におけるシステム２００の種々の構成要素に関連して以下に説明する。

【0061】

図４に示されるように、複数の変調画像４１０Ａ、４１０Ｂ及び４１０Ｃ、ＡＣ成分画像４２０、並びにＤＣ成分画像４３０が設けられる。上記複数の変調画像は、第１の変調画像４１０Ａ、第２の変調画像４１０Ｂ及び第３の変調画像４１０Ｃを含む。ＡＣ成分画像４２０は復調信号の交番する部分に対応し得る一方、ＤＣ成分画像４３０は該復調信号の一定した部分に対応し得る。

【0062】

本実施形態に関し、第１の変調画像４１０Ａ、第２の変調画像４１０Ｂ及び第３の変調画像４１０Ｃの各々においては、照明パターンが、システム２００の画像投影ユニット２１０により、選択された（長方形の）部分上に選択的に投影されていることが分かる。当該照明パターンは、時変空間変調パターンである。具体的には、この実施形態において、当該照明パターンは複数の交互の水平方向の暗帯及び明帯からなっている。

【0063】

この実施形態において、照明パターンが投影された選択された部分は、撮像ユニット２２０の視野の全てというより、システム２００の該撮像ユニット２２０の視野の一部に対応する。この実施形態における変調画像の各々は、投影される照明パターンの異なる位相シフトに各々対応する異なる時点でキャプチャされたものである。第１の変調画像４１０Ａにおいて照明パターンは０°の位相シフトを有し、第２の変調画像４１０Ａにおいて該照明パターンは１２０°の位相シフトを有し、第３の変調画像４１０Ｃにおいて該照明パターンは２４０°の位相シフトを有する。

【0064】

変調画像４１０Ａ、４１０Ｂ及び４１０Ｃがキャプチャされたなら、システム２００の処理ユニット２３０は該変調画像４１０Ａ、４１０Ｂ及び４１０Ｃを、これら変調画像に描かれた照明パターンに基づくと共に目標区域に関して復調することができ、この実施形態において、該目標区域は当該シーンのうちの照明パターンが選択的に投影される部分に対応する。次いで、処理ユニット２３０は当該復調の結果に基づいて該シーンの周囲光抑制画像を生成することができる。

【0065】

更に詳細に述べると、処理ユニット２３０は変調画像４１０Ａ、４１０Ｂ及び４１０Ｃを目標区域に関して復調し、当該シーンの生成された周囲光抑制画像が撮像ユニット２２０の視野の選択された部分に含まれる１以上の要素のみを描写するようにすることができる。言い換えると、この実施形態において、当該シーンの生成された周囲光抑制画像は、照明パターンが投影された長方形部分に含まれる要素のみを描写する。処理ユニット２３０は、変調画像４１０Ａ、４１０Ｂ及び４１０Ｃを復調して、ＡＣ成分に対応する第１の画像（すなわち、ＡＣ成分画像４２０）及びＤＣ成分に対応する第２の画像（すなわち、ＤＣ成分画像４３０）を生成することができ、ここで、該ＡＣ成分は変調画像に関連する復調信号の交番部分に対応し、該ＤＣ成分は復調信号の一定部分に対応する。当該復調は、例えば、図１に関連して先に提示した式（１）及び（２）を使用して実行できることが理解されるであろう。また、当該信号のＡＣ及びＤＣ成分を得るために、本明細書に明示的に述べられていない他の方程式、例えば離散コサイン変換、フーリエ変換等に関連するものを使用できることも分かるであろう。

【0066】

この場合において、ＡＣ成分画像４２０が当該シーンの周囲光抑制画像として選択される。したがって、変調画像のシーン内にはあるが、選択された部分内にない要素は、該シーンの周囲光抑制画像から除外され得る。

【0067】

図５は、他の実施形態による、複数の画像による周囲光抑制処理を示す。図示の処理は、一般的にシステム２００により実行でき、特に、幾つかの実施形態では、システム２００の処理ユニット２３０により又は該ユニットの制御の下で実行できる。解説目的で、図５に示される処理の少なくとも一部を、以下に図２のシステム２００の種々の構成要素に関連して説明する。

【0068】

図５に示す実施形態において、システム２００の画像投影ユニット２１０は所定の空間周波数を有する照明パターンを投影するように構成される。更に、システム２００の撮像ユニット２２０はモノクロ（単色）カメラを備える。該撮像ユニット２２０は、シーンの複数の画像を所定の焦点深度において、各々、３つの異なるカラーチャンネル（ＲＧＢ）についてキャプチャするように構成される。当該照明パターンの所定の空間周波数及び当該撮像ユニットの所定の焦点深度は、該照明パターンが撮像ユニット２２０の焦点から特定の距離内でのみ解像可能となるように選択される。

【0069】

図５に示されるように、第１組の変調画像５２０‐１、第２組の変調画像５２０‐２及び第３組の変調画像５２０‐３を含む３組の変調画像が設けられる。第１組の変調画像５２０‐１はモノクロカメラによりキャプチャされた青のカラーチャンネルに対応し、第２組の変調画像５２０‐２は該モノクロカメラによりキャプチャされた緑のカラーチャンネルに対応し、第３組の変調画像５２０－３は該モノクロカメラでキャプチャされた赤のカラーチャンネルに対応する。更に、図５には、照明パターンが投影されない通常の状態でキャプチャされた、変調画像５２０‐１、５２０‐２及び５２０‐３に描かれたシーンの画像を表す通常画像５１０も示されている。更に、図５には、ＡＣ成分画像の組５３０、ＤＣ成分画像の組５４０、及び結果的画像５５０も示されている。

【0070】

図２を参照して先に説明したように、当該照明パターンは、時間とともに変化する空間的に変調されたパターンである。この実施形態における変調画像の第１、第２及び第３組５２０‐１、５２０‐２、５２０‐３の各々における３つの変調画像の各々は、投影された照明パターンの各々の異なる位相シフトに対応する異なる時点でキャプチャされたものであり、例えば、或る組における３つの画像の各々は、当該照明パターンが０°の位相シフトを有する時点、該照明パターンが１２０°の位相シフトを有する時点、及び該照明パターンが２４０°の位相シフトを有する時点に各々対応し得る。

【0071】

更に、この実施形態において、当該目標区域は当該シーンのうちの投影された照明パターンが解像可能な部分に対応する。図５に示されるように、照明パターンの所定の空間周波数と撮像ユニットの所定の焦点深度との適切な組み合わせを使用することにより、照明パターンを解像できないシーン内の焦点の合わされた物体からの距離が存在する。より詳細には、本実施形態の場合、第１組の変調画像５２０－１、第２組の変調画像５２０－２及び第３組の変調画像５２０－３の各々の各画像において、投影された照明パターン（複数の交互の水平方向の暗い帯及び明るい帯からなる）は、丸い要素及びペン上では区別可能であるが、当該シーンの背景（焦点深度から１ｍより離れて位置する物体）では区別できない。

【0072】

３組の変調画像５２０‐１、５２０‐２、５２０‐３がキャプチャされたなら、システム２００の処理ユニット２３０は、該３組の変調画像５２０‐１、５２０‐２、５２０‐３を、これらの変調された画像に描かれた照明パターンに基づくと共に目標区域に関して復調することができ、この実施形態において、該目標区域は当該シーンのうちの投影された照明パターンが解像可能な部分に対応する。次いで、処理ユニット２３０は、該シーンの周囲光抑制画像を該復調の結果に基づいて生成することができる。

【0073】

より詳細には、処理ユニット２３０は、３組の変調画像５１０‐１、５２０‐２、５２０‐３の各々を目標区域に関して復調し、青のカラーチャンネル、緑のカラーチャンネル及び赤のカラーチャンネルに各々対応する３つのＡＣ成分画像を生成することができる。これらの３つのＡＣ成分画像は、図５に示されるようなＡＣ成分画像の組５３０を形成する。また、当該復調動作は、青のカラーチャンネル、緑のカラーチャンネル及び赤のカラーチャンネルに各々対応する３つのＤＣ成分画像も生成し得る。これらの３つのＤＣ成分画像は、図５に示されるようなＤＣ成分画像の組５４０を形成する。当該復調は、例えば、図１を参照して先に提示された式（１）及び（２）を使用して実行できることが理解される。当該信号のＡＣ成分及びＤＣ成分を得るために、本明細書では明示的に述べられていない他の式、例えば離散コサイン変換、フーリエ変換等に関連する式を使用できることも理解されるであろう。

【0074】

この場合において、上記ＡＣ成分画像の組５３０が選択され、次いで処理（すなわち、ＲＧＢ再構成）されて、当該シーンの周囲光抑制画像５５０が生成される。このように、変調画像のうちの当該シーンの背景（焦点深度が１ｍを超える）にある要素は、該シーンの周囲光抑制画像５５０から除外され得る。言い換えると、この実施形態において、当該シーンの生成された周囲光抑制画像５５０は、照明パターンが解像可能な前景に含まれる要素のみを描写する。

【0075】

図６は、他の実施形態による、複数の画像による周囲光抑制処理を示す。図示された処理は、一般的にシステム２００により実行することができ、特に、幾つかの実施形態においては、システム２００の処理ユニット２３０により又は該ユニットの制御の下で実行できる。解説目的で、図６に示された処理の少なくとも一部を、以下に図２のシステム２００の種々の構成要素に関連して説明する。

【0076】

図５に示された構成と同様に、図６の実施形態において、システム２００の画像投影ユニット２１０は所定の空間周波数を有する照明パターンを投影するように構成される。更に、これも図５に示された構成と同様に、この実施形態において、システム２００の撮像ユニット２２０はモノクロカメラを備える。該撮像ユニット２２０は、当該シーンの複数の画像を、所定の焦点深度において各々３つの異なるカラーチャンネル（ＲＧＢ）についてキャプチャするように構成される。該照明パターンの所定の空間周波数及び撮像ユニットの所定の焦点深度は、照明パターンが撮像ユニット２２０の焦点から特定の距離内でのみ解像可能となるように選択される。

【0077】

図６に示されるように、第１組の変調画像６１０‐１、第２組の変調画像６１０‐２及び第３組の変調画像６１０‐３を含む３つの組の変調画像が設けられる。第１組の変調画像６１０－１はモノクロカメラによりキャプチャされた青のカラーチャンネルに対応し、第２組の変調画像６１０－２はモノクロカメラによりキャプチャされた緑のカラーチャンネルに対応し、第３組の変調画像６１０－３はモノクロカメラによりキャプチャされた赤のカラーチャンネルに対応する。

【0078】

先に図２を参照して説明したように、当該照明パターンは、時間とともに変化する空間的に変調されたパターンである。この実施形態における変調画像の第１、第２及び第３組６１０‐１、６１０‐２、６１０‐３の各々における３つの変調画像は、投影された照明パターンの異なる位相シフトに各々対応する異なる時点でキャプチャされたものであり、例えば、或る組におけるこれら３つの画像の各々は、当該照明パターンが０°の位相シフトを有する時点、該照明パターンが１２０°の位相シフトを有する時点、及び該照明パターンが２４０°の位相シフトを有する時点に各々対応し得る。

【0079】

更に、この実施形態において、当該目標区域は、当該シーンのうちの投影された照明パターンが解像可能な部分に対応する。図６に示されるように、上記照明パターンの所定の空間周波数及び撮像ユニットの所定の焦点深度の適切な組み合わせを使用することにより、当該シーン内の焦点が合わされた物体からの距離であって、照明パターンを解像できない距離が存在する。更に詳細には、本実施形態の場合、第１組の変調画像６１０－１、第２組の変調画像６１０－２及び第３組の変調画像６１０－３の各々の各画像において、投影された照明パターン（複数の交互の水平方向の暗い帯と明る帯からなる）は、当該シーンの背景にある長方形の物体上でのみ区別可能である。

【0080】

３組の変調画像６１０‐１、６１０‐２、６１０‐３がキャプチャされたなら、システム２００の処理ユニット２３０は該３組の変調画像６１０‐１、６１０‐２、６１０‐３を、これら変調画像に描かれた照明パターンに基づくと共に目標区域に関して復調でき、この実施形態において、該目標区域は当該シーンのうちの投影された照明パターンが解像可能な部分に対応する。次いで、処理ユニット２３０は、該復調の結果に基づいて当該シーンの周囲光抑制画像を生成することができる。

【0081】

より詳細には、処理ユニット２３０は、３組の変調画像６１０‐１、６２０‐２、６２０‐３の各々を目標区域に関して復調し、青のカラーチャンネル、緑のカラーチャンネル及び赤のカラーチャンネルに各々対応する３つのＡＣ成分画像を各々生成できる。また、当該復調処理は、青のカラーチャンネル、緑のカラーチャンネル及び赤のカラーチャンネルに各々対応する３つのＤＣ成分画像も生成できる。この場合、上記ＡＣ成分画像組が選択され、次いで処理（すなわち、ＲＧＢ再構成）されて、当該シーンの周囲光抑制画像６２０を生成することができる。当該復調は、例えば図１に関連して先に提示された式（１）及び（２）を使用して実行できることが理解されるであろう。また、当該信号のＡＣ及びＤＣ成分を得るために、本明細書に明示的に述べられていない他の方程式、例えば離散コサイン変換、フーリエ変換等に関連するものを使用できることも理解されよう。

【0082】

このように、変調画像のシーンの前景にある要素は、該シーンの周囲光抑制画像６２０において除外することができる。言い換えると、この実施形態において、当該シーンの生成された周囲光抑制画像６２０は、照明パターンが解像可能な背景に含まれる特定の要素のみを描写する。

【0083】

上記幾つかの実施形態を参照して、１つのカラーチャンネルに対応する変調画像の各組が３つの画像を有することを説明したが、他の実施形態においては、変調画像の各組が、例えば、利用可能な時間及び資源の量、目標又は当該システム自体の動き、並びに周囲光抑制の望まれるレベル等に依存して、一層少ない又は一層多い画像を有し得ることが分かる。

【0084】

図７は、他の実施形態による周囲光抑制処理を示す。図示された処理は、一般的にシステム２００により実行でき、特に、幾つかの実施形態においては、システム２００の処理ユニット２３０により又は該ユニットの制御の下で実行できる。解説目的で、図７に示される処理の少なくとも一部を、以下に図２のシステム２００の種々の構成要素に関連して説明する。

【0085】

図７に示されるように、複数の変調画像７１０が設けられる。先に図２を参照して説明したように、当該照明パターンは時変空間変調パターンであり、したがって、この実施形態における複数の変調画像７１０の各々は、投影される照明パターンの異なる位相シフトに各々対応する異なる時点でキャプチャされたものであり得る。更に、この実施形態における照明パターンは、所定のステップサイズの少なくとも１つの位相ランプを更に含む。

【0086】

複数の変調画像７１０がキャプチャされたなら、システム２００の処理ユニット２３０は、該変調画像を、これら変調画像に描かれた照明パターンに基づくと共に、目標区域に関して復調し得る。以下の段落で更に詳細に説明されるように、本実施形態における目標区域は、複数の変調画像７１０に描かれたシーンの３Ｄ深度情報に基づくものである。

【0087】

この実施形態において、処理ユニット２３０は、複数の変調画像７１０を分析して、描かれたシーンの３Ｄ深度情報を決定するように構成される。より詳細には、該複数の変調画像７１０に対し位相マスクが適用され得る。この処理は、図７では位相マスク７２０により表され、シーンの３Ｄ深度情報の決定の前に実行される。該３Ｄ深度情報は、複数の変調画像７１０のピクセルの各々に関する深度値を含む。シーンの３Ｄ深度情報が決定されたなら、処理ユニット２３０は、描かれたシーンの３Ｄ深度情報に基づいて目標区域を決定するようになされる。該シーンの３Ｄ深度情報は、図７に示されるような３Ｄ深度モデル７３０により表される。この実施形態における目標区域を決定する処理の一例として、処理ユニット２３０は、複数の変調画像７１０にける、所定の範囲の３Ｄ深度値に対応する１以上の部分、例えばユーザの顔に対応する部分を選択するように構成され得る。

【0088】

次いで、処理ユニット２３０は、当該復調の結果に基づいてシーンの周囲光抑制画像を生成することができる。具体的には、この実施形態において、処理ユニット２３０は、目標区域に関してのみ復調結果を出力することによって、当該シーンの周囲光抑制画像を生成するように構成される。このように、目標区域内に描かれていない要素（例えば、対応するピクセルの３Ｄ深度値が所定の範囲内に入らない場合）は、当該シーンの周囲光抑制画像で除外され得る。言い換えると、この実施形態において、シーンの生成された周囲光抑制画像は、３Ｄ深度値に関して特定の基準を満たす特定の要素のみを描く。

【0089】

図８は、一実施形態による周囲光抑制処理の結果を、他の画像化又は処理技術と比較して示している。

【0090】

参照目的で、通常の画像（画像処理又は変調無し）８１０が示されている。通常画像８１０に見られるように、第１の要素Ａ、第２の要素Ｂ、及び第３の要素Ｃが描かれている。図示された第１～第３の要素Ａ～Ｃは、撮像ユニットまでの各要素の複数の異なる距離に対応し、第１の要素Ａは撮像ユニットに最も近く、第３の要素Ｃは撮像ユニットから最も離れている。

【0091】

ぼかされた（ぼかし）画像８２０が、通常画像８１０の隣に示されている。ぼかし画像８２０は、描かれた細部の幾らかを除去する試みとして、通常画像８１０に対しぼかし処理を実行した後の結果的画像を表す。ぼかし画像８２０に示される例において、画像処理は、通常画像８１０の背景にある細部、すなわち第３の要素Ｃを除去するように実行される。

【0092】

第１の周囲光補正（ＡＬＣ）画像８３０が、ぼかし画像８２０の隣に示されている。第１のＡＬＣ画像８３０は、描かれた細部の幾らかを除去する試みとして、通常画像８１０に対してワイド照明周囲光補正処理を実行した後の結果的画像を表す。上述したぼかし画像８２０と同様に、第１のＡＬＣ画像８３０に示される例において、画像処理は、変調画像に対し背景にある細部を除去するように実行される。単にぼかしを実行する場合と比較して、ワイド照明周囲光補正は、背景の細部、例えば第３の要素Ｃを除去するのに一層効果的であることが示され得る。

【0093】

更に、第２のＡＬＣ画像８４０及び第３のＡＬＣ画像８５０が次に示され、ここで、該第２のＡＬＣ画像８４０及び第３のＡＬＣ画像８５０は、本明細書に記載の実施形態で説明される周囲光抑制処理を実行した後の結果的画像を表す。具体的には、この実施形態において、照明パターンは、複数の変調画像がキャプチャされる間に撮像ユニットの視野の選択された部分上にのみ選択的に投影される。第２のＡＬＣ画像８４０の例において、当該選択された部分は第１の要素Ａを描く部分に対応し、第３のＡＬＣ画像８５０の例において、当該選択された部分は第１の要素Ａの一部を描く長方形部分に対応する。このように、目標区域は、シーンのうちの照明パターンが選択的に投影された部分に対応する。

【0094】

第２のＡＬＣ画像８４０及び第３のＡＬＣ画像８５０により示される例の両方において、変調画像は各々の目標区域に関して復調され、当該シーンの各々の生成された周囲光抑制画像が、撮像ユニットの視野の選択された部分に含まれる１以上の要素のみを描くようにする。したがって、第２のＡＬＣ画像８４０及び第３のＡＬＣ画像８５０に示されるように、各々の結果においては、要素Ａのみが示され、及び要素Ａの一部のみが示される。

【0095】

このように、周囲光抑制を実行するための改良されたシステム及び該システムを制御する方法が提供される。本明細書に記載の実施形態は、浅い被写界深度検出撮像（例えば、ぼかしを含む）又はワイド照明周囲光補正のための現在知られている技術と比較して、画像内の背景要素の改善された抑制を可能にする。これは、本明細書に記載の技術が、画像から焦点が外れた部分を除去するより良いアプローチ、及び画像内の焦点の合った部分の下位選択を実行する改善された方法を提供するためである。

【0096】

また、コンピュータ可読媒体を有するコンピュータプログラム製品も提供され、該コンピュータ可読媒体は内部に具現化されたコンピュータ可読コードを有し、該コンピュータ可読コードは、適切なコンピュータ又はプロセッサにより実行されると、該コンピュータ又はプロセッサに本明細書に記載の方法を実行させるように構成される。このように、本開示は、コンピュータプログラム、特に、実施形態を実施するように適合された担体上又は担体内のコンピュータプログラムにも適用されることが理解されよう。該プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形態における等のソース及びオブジェクトコードの中間のコードの形態、又は本明細書に記載の実施形態による方法の実施に使用するのに適した任意の他の形式とすることができる。

【0097】

このようなプログラムは、多くの異なるアーキテクチャ設計を有し得ることも理解されるであろう。例えば、当該方法又はシステムの機能を果たすプログラムコードは、１以上のサブルーチンに細分できる。これらのサブルーチン間で機能を分配する多くの異なる方法は、当業者には明らかであろう。これらサブルーチンは、自己完結型のプログラムを形成するために１つの実行可能ファイル内に一緒に記憶できる。このような実行可能ファイルは、コンピュータ実行可能命令、例えばプロセッサ命令及び／又はインタプリタ命令（例えばＪａｖａインタプリタ命令）を含むことができる。代わりに、上記サブルーチンの１以上又は全てを、少なくとも１つの外部ライブラリファイルに格納し、メインプログラムと静的又は動的に（例えば実行時に）リンクすることもできる。該メインプログラムは、上記サブルーチンの少なくとも１つへの少なくとも１つのコールを含む。これらサブルーチンも、互いへの機能コールを含み得る。

【0098】

コンピュータプログラム製品に関する実施形態は、本明細書に記載の方法の少なくとも１つの各処理段階に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され、及び／又は静的又は動的にリンクされ得る１以上のファイルに記憶できる。コンピュータプログラム製品に関する他の実施形態は、本明細書に記載のシステム及び／又は製品の少なくとも１つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され、及び／又は静的又は動的にリンクされる１以上のファイルに記憶できる。

【0099】

コンピュータプログラムの担体は、プログラムを担持できる任意のエンティティ又は装置であり得る。例えば、該担体は、ＲＯＭ、例えばＣＤ ＲＯＭ若しくは半導体ＲＯＭ、又は磁気記録媒体、例えばハードディスク等のデータ記憶部を含むことができる。更に、該担体は、電気又は光ケーブルを介して、又は無線若しくは他の手段により伝達され得る、電気又は光信号等の伝送可能担体であってもよい。当該プログラムがそのような信号に具現化される場合、当該担体は、そのようなケーブル又は他の装置若しくは手段により構成され得る。代わりに、該担体は当該プログラムが埋め込まれた集積回路であってもよく、該集積回路は、関連する方法を実行し、又はその実行に使用されるように適合される。

【0100】

開示された実施形態に対する変形は、図面、開示及び添付請求項を検討することにより、本明細書に記載の原理及び技法を実践する当業者により理解され、実行され得るものである。請求項において、「有する（含む）」という言葉は他の要素又はステップを除外するものではなく、単数形は複数を除外するものではない。単一のプロセッサ又は他のユニットは、請求項に記載された幾つかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。コンピュータプログラムは、他のハードウェアと共に、又はその一部として供給される光学記憶媒体又はソリッドステート媒体等の適切な媒体により格納又は配布されてもよいが、インターネット又はその他の有線若しくは無線通信システムを介して等の様に、他の形態で分配することもできる。請求項における参照記号は、当該範囲を限定するものと解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】