特許 7418617 ピクセル情報の決定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】ピクセル情報の決定

(51)【国際特許分類】

   H04N 23/745 20230101AFI20240112BHJP

   A61B 5/00 20060101ALI20240112BHJP

   G06T 5/50 20060101ALI20240112BHJP

   H04N 23/76 20230101ALI20240112BHJP

【ＦＩ】

H04N23/745

A61B5/00 M

G06T5/50

H04N23/76

【請求項の数】 14

(21)【出願番号】P 2022576021

(86)(22)【出願日】2021-06-03

(65)【公表番号】

(43)【公表日】2023-06-22

(86)【国際出願番号】 EP2021064899

(87)【国際公開番号】W WO2021249857

(87)【国際公開日】2021-12-16

【審査請求日】2022-12-09

(31)【優先権主張番号】20179148.0

(32)【優先日】2020-06-10

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ブールキン ヤニク パルリアン ジュリアン

(72)【発明者】

【氏名】パレロ ジョナサン アランブラ

(72)【発明者】

【氏名】ダモダラン マシヴァナン

(72)【発明者】

【氏名】フェルハーフェン リエコ

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１６－１８９５２１（ＪＰ，Ａ）

【文献】特開２０１９－１０６５８８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１５４０２４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７４５

Ａ６１Ｂ ５／００

Ｇ０６Ｔ ５／５０

Ｈ０４Ｎ ２３／７６

(57)【特許請求の範囲】

【請求項1】

時間的に変調された照明によって照らされた被写体の、第１の画像フレーム、第２の画像フレーム及び第３の画像フレームを取得する少なくとも２つのイメージングデバイスを含むイメージングシステムによって取得される第１の画像フレーム、第２の画像フレーム、及び第３の画像フレームの少なくとも一部に対応するピクセル強度値を受信するステップであって、前記第１の画像フレームと前記第２の画像フレームとの間の取得開始時間の時間遅延は、前記第１の画像フレーム及び前記第２の画像フレームの取得中に時間のオーバーラップがあるような時間遅延であり、前記第２の画像フレームと前記第３の画像フレームとの間の取得開始時間の時間遅延は、前記第２の画像フレーム及び前記第３の画像フレームの取得中に時間のオーバーラップがあるような時間遅延であり、前記第１の画像フレームと前記第２の画像フレームとの間の取得開始時間の時間遅延と前記第２の画像フレームと前記第３の画像フレームとの間の取得開始時間の時間遅延とは前記時間的に変調された照明の変調時間に基づいており、前記時間遅延は、前記イメージングシステムが各画像フレームを取得するイメージング時間と、前記時間的に変調された照明の前記変調時間とのタイミング関係が、異なる空間的強度変調パターンが前記第１の画像フレーム、前記第２の画像フレーム及び前記第３の画像フレームの各々に記録されるようなものであるように、オーバーラップした取得時間内の時間で部分的に取得される画像フレームの数で、前記変調時間を割ったものに相当する、受信するステップと、
前記被写体の修正された画像を構築するための修正されたピクセル強度値を決定するステップであって、前記決定は、
各異なる対の組み合わせに対するピクセル強度値を決定するために、
前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの各異なる対の組み合わせの受信した前記ピクセル強度値間の差であって、前記第１の画像フレーム、前記第２の画像フレーム及び前記第３の画像フレームの各々が取得されたときにある周囲照明の影響を低減する当該差と、
前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの各々に現れる空間的強度変調パターンを相殺するために、各異なる対の組み合わせに対して決定されたピクセル強度値の組み合わせとに基づいている、決定するステップと、
を含む、コンピュータ実施方法。

【請求項2】

前記被写体の前記修正された画像を構築するための前記修正されたピクセル強度値は、
各異なる対の組み合わせの各対応するピクセルに対して得られるピクセル強度値を作るために、前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームのうちの各異なる対の組み合わせから対応するピクセルのピクセル強度値を差し引くことであって、当該差し引くことは、前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの各々が取得されたときにある周囲照明の影響を低減する当該差し引くことと、
前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの各々に現れる前記空間的強度変調パターンを相殺するために、各異なる対の組み合わせの前記得られるピクセル強度値を二乗し、各二乗したピクセル強度値を加算することと
に基づいて決定される、請求項１に記載のコンピュータ実施方法。

【請求項3】

前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの間の前記空間的強度変調パターンの位相シフトが等しく、前記被写体の前記修正された画像Ｍ_ＡＣを構築するための前記修正されたピクセル強度値は、式

【数1】

に基づいて決定され、
ここで、Ｉ_１は前記第１の画像フレームのピクセル強度値を示し、Ｉ_２は前記第２の画像フレームのピクセル強度値を示し、Ｉ_３は前記第１の画像フレームのピクセル強度値を示す、請求項１又は２に記載のコンピュータ実施方法。

【請求項4】

前記イメージングデバイスのうちの１つを使用して、前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームのうちの少なくとも１つを取得し、前記イメージングデバイスのうちの少なくとも１つの他のイメージングデバイスを使用して、前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームのうちの少なくとも１つの他の画像フレームを取得する、請求項１から３のいずれか一項に記載のコンピュータ実施方法。

【請求項5】

前記イメージングシステムに前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームを取得させるステップをさらに含む、請求項３又は４に記載のコンピュータ実施方法。

【請求項6】

前記時間的に変調された照明の変調パラメータの指示を受信するステップと、前記指示に基づいて前記イメージングシステムの動作パラメータを決定するステップと、前記動作パラメータに従って前記イメージングシステムを動作させるステップと、を含む、請求項１から５のいずれか一項に記載のコンピュータ実施方法。

【請求項7】

前記時間的に変調された照明の変調周波数、及び／又は前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームに関連付けられたフレームレートは、前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの前記空間的強度変調パターン間の位相シフトが同じになるように設定されている、請求項１から６のいずれか一項に記載のコンピュータ実施方法。

【請求項8】

前記修正されたピクセル強度値を決定するステップの前に、前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレーム内の前記被写体の位置が同じかどうかを識別するステップと、前記画像フレームのうちの少なくとも１つの画像フレームにおける前記被写体の位置の前記画像フレームのうちの少なくとも１つの他の画像フレームと比較した差が閾値を超える場合、前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの各々における前記被写体の前記位置が同じであるように、前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームのうちの少なくとも１つにおいて、画像シフト操作を実施するステップと、を含む、請求項１から７のいずれか一項に記載のコンピュータ実施方法。

【請求項9】

前記イメージングシステムは、前記イメージングシステムが各画像フレームを取得する前記イメージング時間と、前記時間的に変調された照明の前記変調時間との前記タイミング関係によるモードで動作し、前記モードは、
前記イメージングシステムの前記イメージング時間が前記変調時間よりも長いロールシャッタモード、又は
前記イメージング時間が前記変調時間よりも短いグローバルシャッタモードである、請求項１から８のいずれか一項に記載のコンピュータ実施方法。

【請求項10】

前記ピクセル強度値を受信するステップは、前記被写体の少なくとも１つの追加画像の少なくとも一部に対応するピクセル強度値を受信するステップをさらに含み、前記第３の画像フレームと前記少なくとも１つの追加画像フレームとの間の前記取得開始時間の前記時間遅延は、前記第３の画像フレーム及び前記少なくとも１つの追加画像フレームの取得中に時間のオーバーラップがあるような時間遅延であり、
前記第３の画像フレームと前記少なくとも１つの追加画像フレームとの間の前記時間遅延は前記時間的に変調された照明の前記変調時間に基づいており、
前記時間遅延は、前記イメージングシステムが各画像フレームを取得するイメージング時間と、前記時間的に変調された照明の前記変調時間とのタイミング関係が、異なる空間的強度変調パターンが前記第１の画像フレーム、前記第２の画像フレーム、前記第３の画像フレーム及び前記少なくとも１つの追加画像フレームの各々に記録されるようなものであるように、オーバーラップした取得時間内の時間で部分的に取得される画像フレームの数で、前記変調時間を割ったものに相当し、
前記修正されたピクセル強度値は、
各異なる対の組み合わせに対するピクセル強度値を決定するために、前記第１の画像フレーム、前記第２の画像フレーム、前記第３の画像フレーム及び前記少なくとも１つの追加画像フレームの各異なる対の組み合わせの受信した前記ピクセル強度値間の差であって、前記第１の画像フレーム、前記第２の画像フレーム、前記第３の画像フレーム及び前記少なくとも１つの追加画像フレームの各々が取得されたときにある周囲照明の影響を低減する当該差と、
前記第１の画像フレーム、前記第２の画像フレーム、前記第３の画像フレーム及び前記少なくとも１つの追加画像フレームの各々に現れる空間的強度変調パターンを相殺するために、各異なる対の組み合わせに対して決定されたピクセル強度値の組み合わせとに基づいている、
請求項１から９のいずれか一項に記載のコンピュータ実施方法。

【請求項11】

命令を保存している有形機械可読媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１から１０のいずれか一項に記載のコンピュータ実施方法を実施させる、有形機械可読媒体。

【請求項12】

処理回路を含む装置であって、前記処理回路は、
時間的に変調された照明によって照らされた被写体の、第１の画像フレーム、第２の画像フレーム及び第３の画像フレームを取得する少なくとも２つのイメージングデバイスを含むイメージングシステムによって取得される第１の画像、第２の画像、及び第３の画像の少なくとも一部に対応するピクセル強度値を受信する受信モジュールであって、前記第１の画像フレームと前記第２の画像フレームとの間の取得開始時間の時間遅延は、前記第１の画像フレーム及び前記第２の画像フレームの取得中に時間のオーバーラップがあるような時間遅延であり、前記第２の画像フレームと前記第３の画像フレームとの間の取得開始時間の時間遅延は、前記第２の画像フレーム及び前記第３の画像フレームの取得中に時間のオーバーラップがあるような時間遅延であり、前記第１の画像フレームと前記第２の画像フレームとの間の取得開始時間の時間遅延と前記第２の画像フレームと前記第３の画像フレームとの間の取得開始時間の時間遅延とは前記時間的に変調された照明の変調時間に基づいており、前記時間遅延は、前記イメージングシステムが各画像フレームを取得するイメージング時間と、前記時間的に変調された照明の前記変調時間とのタイミング関係が、異なる空間的強度変調パターンが前記第１の画像フレーム、前記第２の画像フレーム及び前記第３の画像フレームの各々に記録されるようなものであるように、オーバーラップした取得時間内の時間で部分的に取得される画像フレームの数で、前記変調時間を割ったものに相当する、受信モジュールと、
前記被写体の修正された画像を構築するための修正されたピクセル強度値を決定する決定モジュールであって、前記決定は、
各異なる対の組み合わせに対するピクセル強度値を決定するために、
前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの各異なる対の組み合わせの受信した前記ピクセル強度値間の差であって、前記第１の画像フレーム、前記第２の画像フレーム及び前記第３の画像フレームの各々が取得されたときにある周囲照明の影響を低減する当該差と、
前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの各々に現れる空間的強度変調パターンを相殺するために、各異なる対の組み合わせに対して決定されたピクセル強度値の組み合わせとに基づいている、決定モジュールと、
を含む、装置。

【請求項13】

前記第１の画像フレーム、前記第２の画像フレーム、及び前記第３の画像フレームの少なくとも一部に対応する前記ピクセル強度値を取得する前記イメージングシステム、及び／又は前記時間的に変調された照明を提供する照明ユニットをさらに含む、請求項１２に記載の装置。

【請求項14】

前記イメージングシステムは、前記イメージングシステムが各画像フレームを取得する前記イメージング時間と、前記時間的に変調された照明の前記変調時間との前記タイミング関係によるモードで動作し、前記モードは、
前記イメージングシステムの前記イメージング時間が前記変調時間よりも長いロールシャッタモード、又は
前記イメージング時間が前記変調時間よりも短いグローバルシャッタモードである、請求項１２又は１３に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定の設定におけるイメージングで使用するための方法、装置、及び有形機械可読媒体に関する。

【背景技術】

【0002】

邪魔にならない測定及びモニタリングの分野における関心のあるトピックは、パーソナルケア及びヘルスアプリケーション用のスキンセンシングに関する。皮膚の定量化や、検出するには小さすぎたり、気付くにはかすかすぎたり、追跡するには遅すぎたりする情報をユーザに提供し得る皮膚の特徴のモニタリングを可能にするスキンセンシングシステムが開発されている。ユーザにとって許容範囲内の結果を出すには、このようなスキンセンシングシステムは、スキンセンシングを実行する際に、感度と特異性を提供する必要がある。このようなスキンセンシングシステムによって測定される測定値が、堅牢で信頼性の高いものであることが証明されるならば、ユーザはこれらのスキンセンシングシステムに信頼を構築することができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

イメージングベースのスキンセンシングシステムは、周囲照明の変動などの制御が困難なパラメータによって影響を受ける可能性のある情報を決定する必要がある。例えばユーザの自宅などの特定の非制御環境は、未定義の周囲照明、及び／又は変動する可能性のある周囲照明を特徴とする。このような非制御環境では、ユーザの皮膚の誤った測定につながる可能性があり、これは、ユーザが許容できない結果や信頼できない結果を招く可能性がある。一部のイメージングベースのスキンセンシングシステムで使用される一部のカメラ（スマートフォンのカメラなど）のイメージング性能は、イメージングデータが予測不可能又は信頼できないように変動する可能性がある。

【0004】

イメージングベースのスキンセンシングシステムは、ユーザの皮膚及び／又は周囲の照明条件に関する特定の情報を決定するために、様々な画像処理手法を実施できる。ユーザとイメージングシステム間の相対的な動きが、特定の画像処理手法を実施する際にエラーを引き起こす可能性がある。

【0005】

本明細書に説明する態様又は実施形態は、特定の設定でのイメージングの向上に関する。本明細書に説明する態様又は実施形態は、被写体（ユーザなど）とイメージングシステム間に相対的な動きがある場合に特定の画像処理手法に関連付けられる１つ以上の問題を除去できる。

【課題を解決するための手段】

【0006】

第１の態様では、方法が説明される。本方法はコンピュータ実装方法である。本方法は、時間的に変調された照明によって照らされた被写体の第１の画像、第２の画像、及び第３の画像の少なくとも一部に対応するピクセル情報を受信するステップを含む。第１の画像、第２の画像、及び第３の画像はイメージングシステムによって取得される。第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、及び第３の画像の取得中に時間のオーバーラップがあるような時間遅延である。本方法はさらに、被写体の修正された画像を構築するための修正されたピクセル情報を決定するステップを含む。決定された修正されたピクセル情報は、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、及び第３の画像の受信したピクセル情報間の差に基づいている。決定された修正されたピクセル情報はさらに、第１の画像、第２の画像、及び第３の画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報の組み合わせに基づいている。空間的強度変調パターンは、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係に起因する。

【0007】

第１の態様に関連するいくつかの実施形態について以下に説明する。

【0008】

いくつかの実施形態では、第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、時間的に変調された照明の変調時間に基づいている。取得開始時間の時間遅延は、変調時間を画像の数で割ったものに相当する。

【0009】

いくつかの実施形態では、イメージングシステムは、第１の画像、第２の画像、及び第３の画像を取得する少なくとも２つのイメージングデバイスを含む。

【0010】

いくつかの実施形態では、イメージングデバイスのうちの１つは、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つを取得するために使用され、イメージングデバイスのうちの少なくとも１つの他のイメージングデバイスは、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つの他の画像を取得するために使用される。

【0011】

いくつかの実施形態では、本方法はさらに、イメージングシステムに第１の画像、第２の画像、及び第３の画像を取得させるステップを含む。

【0012】

いくつかの実施形態では、本方法はさらに、時間的に変調された照明の変調パラメータの指示を受信するステップと、指示に基づいてイメージングシステムの動作パラメータを決定するステップと、動作パラメータに従ってイメージングシステムを動作させるステップとを含む。

【0013】

いくつかの実施形態では、時間的に変調された照明の変調周波数、及び／又は第１の画像、第２の画像、及び第３の画像に関連付けられたフレームレートは、第１の画像、第２の画像、及び第３の画像の空間的強度変調パターン間の位相シフトが同じになるように設定されている。

【0014】

いくつかの実施形態では、本方法はさらに、修正されたピクセル情報を決定するステップの前に、第１の画像、第２の画像、及び第３の画像内の被写体の位置が同じかどうかを識別するステップを含む。上記画像のうちの少なくとも１つの画像における被写体の位置の上記画像のうちの少なくとも１つの他の画像と比較した差が閾値を超える場合、第１の画像、第２の画像、及び第３の画像の各々における被写体の位置が同じであるように、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つにおいて、画像シフト操作を実施するステップを含む。

【0015】

いくつかの実施形態では、被写体の修正された画像を構築するための修正されたピクセル情報は、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、及び第３の画像のうちの異なる対の組み合わせのピクセル情報を差し引き、第１の画像、第２の画像、及び第３の画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報を組み合わせることによって決定される。

【0016】

いくつかの実施形態では、イメージングシステムは、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係によるモードで動作する。モードは、イメージングシステムのイメージング時間が変調時間よりも長いロールシャッタモード、又は、イメージング時間が変調時間よりも短いグローバルシャッタモードである。

【0017】

いくつかの実施形態では、データを受信するステップは、被写体の少なくとも１つの追加画像の少なくとも一部に対応するピクセル情報を受信するステップをさらに含み、第１の画像と第２の画像と第３の画像と少なくとも１つの追加画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像の取得中に時間のオーバーラップがあるような時間遅延である。修正されたピクセル情報は、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像の受信したピクセル情報間の差と、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報間の組み合わせとに基づいている。

【0018】

第２の態様では、有形機械可読媒体が説明される。本有形機械可読媒体は、命令を保存し、この命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１の態様又は任意の関連する実施形態による方法を実施させる。

【0019】

第３の態様では、装置が説明される。装置は処理回路を含む。処理回路は、受信モジュールと、決定モジュールとを含む。受信モジュールは、時間的に変調された照明によって照らされた被写体の第１の画像、第２の画像、及び第３の画像の少なくとも一部に対応するピクセル情報を受信する。第１の画像、第２の画像、及び第３の画像はイメージングシステムによって取得される。第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、及び第３の画像の取得中に時間のオーバーラップがあるような時間遅延である。決定モジュールは、被写体の修正された画像を構築するための修正されたピクセル情報を決定する。決定された修正されたピクセル情報は、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、及び第３の画像の受信したピクセル情報間の差に基づいている。決定された修正されたピクセル情報はさらに、第１の画像、第２の画像、及び第３の画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報の組み合わせに基づいている。空間的強度変調パターンは、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係に起因する。

【0020】

第３の態様に関連するいくつかの実施形態について以下に説明する。

【0021】

いくつかの実施形態では、上記の装置はさらに、第１の画像、第２の画像、及び第３の画像の少なくとも一部に対応するピクセル情報を取得するイメージングシステム、及び／又は時間的に変調された照明を提供する照明ユニットをさらに含む。

【0022】

いくつかの実施形態では、イメージングシステムは少なくとも２つのイメージングデバイスを含む。イメージングシステムは、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係によるモードで動作する。モードは、イメージングシステムのイメージング時間が変調時間よりも長いロールシャッタモード、又は、イメージング時間が変調時間よりも短いグローバルシャッタモードである。

【0023】

本発明のこれらの及び他の態様は、以下に説明する実施形態から明らかになり、また、当該実施形態を参照して説明される。

【図面の簡単な説明】

【0024】

本発明の例示的な実施形態を、例としてのみ、次の図面を参照して以下に説明する。

【0025】

【図1】図１は、一実施形態による特定の設定でのイメージングを向上させる方法を示す。

【図2】図２は、一実施形態による特定の設定でのイメージングを向上させるためのシステムの概略図である。

【図3a-3b】図３は、２つの実施形態によるイメージングシステムの概略図である。

【図4】図４は、一実施形態による、本明細書に説明する特定の方法を実施するためのシステムの概略図である。

【図5a-5b】図５は、２つの実施形態によるイメージングシステムの概略図である。

【図6】図６は、一実施形態による特定の設定でのイメージングを向上させる方法を示す。

【図7】図７は、一実施形態による特定の設定でのイメージングを向上させるための機械可読媒体の概略図である。

【図8】図８は、一実施形態による特定の設定でのイメージングを向上させるための装置の概略図である。

【発明を実施するための形態】

【0026】

特定の設定では、周囲照明が特定のイメージングベースのスキンセンシングシステムの性能に影響を与える可能性がある。イメージングシステムによって取得された画像は、被写体とイメージングシステムとの間の相対な動きによって生じるアーチファクトの影響を受けている場合がある。この相対的な動きは、被写体が同じ位置に簡単に留まることができないこと、及び／又はイメージングシステムを含むデバイスを被写体が持っていて、被写体はイメージングシステムを安定させ続けることが難しいことが原因であり得る。デバイスの例には、スマートフォン、タブレット、スマートミラー、又は被写体の画像若しくは画像を表現するものを表示できる他のデバイスなどのスマートデバイスが含まれる。

【0027】

この相対的な動きは、被写体の連続した一連の画像が画像フレーム内の異なる位置に被写体を示す及び／又は一連の画像において被写体の外観を歪める可能性があることを意味する。したがって、本明細書に説明する実施形態は、周囲照明の補正、正規化、及び／又は連続画像間の周囲照明変動の影響の低減など、特定の画像処理手法を実行するときに、この相対的な動きの影響を低減するやり方を提供する。

【0028】

図１は、特定の設定でのイメージングを向上させる方法１００（例えばコンピュータ実施方法）を示している。方法１００は、ユーザデバイスなどのコンピュータ、又はサーバ若しくはクラウドベースのサービス（例えばユーザデバイスと通信的に結合されている）によって実施される。

【0029】

方法１００は、ステップ１０２において、時間的に変調され照明によって照らされた被写体の第１の画像、第２の画像、及び第３の画像（イメージングシステムによって取得される）の少なくとも一部に対応するピクセル情報（例えばピクセル強度値などの「データ」又は「強度データ」）を受信することを含む。第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、及び第３の画像の取得中に時間のオーバーラップがあるような時間遅延である。

【0030】

第１の画像、第２の画像、及び第３の画像の画像取得（例えば以下で詳しく説明するイメージングシステムによる）中、これらの画像の一部が、この方法１００を実施するコンピュータによって受信される。例えばロールシャッタモードで動作するイメージングシステムによって画像が取得される実施形態では、画像の一部が取得されてコンピュータに送信され、画像の後続の部分が取得されてコンピュータに送信される前に処理される。つまり、方法１００の残りの実施を容易にするために、画像フレーム全体を取得する必要はない。ただし、場合によっては、方法１００の残りを実施する前に画像全体が取得されることもある。

【0031】

以下で詳しく説明するように、照明ユニットが時間的に変調された照明を提供する。照明ユニットは、方法１００を実施する同じコンピュータによって制御されてもされなくてもよい。時間的に変調された照明は、時間の関数として強度が変化する被写体用の照明を提供する。例えば時間的に変調された照明は、経時的な照明強度レベルの正弦変動など、周期的に変化する照明強度レベルを有する。

【0032】

各画像の全体的な取得時間は、イメージングシステムのイメージングデバイスのフレームレートによって規定される。例えば一部のイメージングデバイスは３０ｆｐｓのフレームレートで動作するため、各フレームが３０ｍｓ以上で取得される。他のイメージングデバイスの中には、異なるフレームレートで動作するものもある。特定のイメージングデバイスでは、高いフレームレート（例えば３０ｆｐｓを超える）が達成され、相対的な動きに起因する取得画像におけるアーチファクトを低減するが、フレームあたりの露光時間が短くなるため、得る光が少なく（これは画質に影響する可能性がある）、及び／又はこれらのイメージングデバイスは、フレームレートが低い他のイメージングデバイスよりも、比較的高価である及び／又は実施が複雑な場合がある。逆に、特定のイメージングデバイスでは、より低いフレームレート（３０ｆｐｓ未満など）が達成され、相対的な動きに起因する取得画像におけるアーチファクトを増加させるが、フレームあたりの露光時間が長くなるため、フレームレートの高いイメージングデバイスと比較して画質が向上する場合がある。

【0033】

後続の各画像の取得開始時間の遅延が各画像の全体的な取得時間よりも小さい場合、イメージングシステムは、事実上高いフレームレートで動作する一方で、適切な画質も提供する（各画像の露光時間が、画像に十分な光を得るのに依然として十分な長さであるため）。例えば各画像の取得に３０ｍｓかかる場合、第１の画像の取得は、時間ｔ＝０（ゼロ）ｍｓから開始される。第２の画像の取得は、時間ｔ＝０の後、３０ｍｓ未満の時間（例えば、ｔ＝５ｍｓ、又は別の適切な時間）から開始される。第３の画像の取得は、時間ｔ＝０の後、３０ｍｓ未満の時間（例えば、ｔ＝１０ｍｓ、又は別の適切な時間）から開始される。したがって、第２の画像及び第３の画像の各々の取得は、第１の画像が取得されている間に開始される。さらに、第３の画像の取得は、第２の画像が取得されている間に開始される。例えば、４０ｍｓの時間フレーム内に３枚の画像が取得される場合（上記の例のように）、実効フレームレートは３／４０ｍｓ＝７５ｆｐｓになる（つまり、第１の画像、第２の画像、及び第３の画像の取得がオーバーラップしない３０ｆｐｓではなく）。したがって、高いフレームレートが達成される一方で、露光時間が十分に長く、適切な画質を達成できる。

【0034】

以下でより詳細に説明するように、イメージングシステムは、ステップ１０２で説明されたように、少なくとも第１の画像、第２の画像、及び第３の画像を時間遅延で取得して、高いフレームレートを達成する一方で、適切な画質も提供する。

【0035】

方法１００はさらに、ステップ１０４において、被写体の修正された画像（本明細書では「周囲補正された画像」と呼ぶ）を構築するための修正されたピクセル情報（ピクセル強度値など）を決定することを含む。修正されたピクセル情報は、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、及び第３の画像の受信したピクセル情報間の差に基づいている。修正されたピクセル情報はさらに、第１の画像、第２の画像、及び第３の画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報の組み合わせに基づいている。空間的強度変調パターンは、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係に起因する。つまり、ステップ１０４は、光源によって引き起こされる周囲照明の影響を低減するために、被写体の画像（即ち、「修正された画像」）の推定強度分布（即ち、「修正されたピクセル情報」）を決定する。推定強度分布の決定は、第１の画像、第２の画像、及び第３の画像の各々における空間的強度変調パターンに基づいている。

【0036】

空間的強度変調パターンは、第１の画像、第２の画像、及び第３の画像の各々において観察される。空間的強度変調パターンは、時間的に変調された照明によって、画像の取得中に時間の経過に伴って照明レベルに変化がもたらされた結果である（例えばいくつかの実施形態では、これはイメージングデバイスの異なる空間的部分が、これらの空間的部分をスキャンしている間に、変化する照明レベルを検出することをもたらすロールシャッタ効果が原因であり得る）。例えばイメージングデバイスの特定の空間的部分が、照明ユニットによって提供される照明レベルが高い特定の時間に、比較的高い照明レベルを記録し、イメージングデバイスの別の空間的部分が、照明ユニットによって提供される照明レベルが低い同じフレーム内の後の時間に、比較的低い照明レベルを記録する。

【0037】

これは、画像全体において他の領域よりも比較的高い照明レベルを有する特定の領域を示すことを意味し、これが「空間的強度変調パターン」を表していると考えられる。このパターンの例を以下に示す。画像取得の相対的なタイミング（即ち、「タイミング関係」）、画像取得レート、及び時間的に変調された照明の変調周波数によって、空間的強度変調パターンは後続の画像間で異なる。したがって、場合によっては、第１の画像、第２の画像、及び第３の画像はそれぞれ異なる空間的強度変調パターンを有する。この情報から、光源（例えば電球、日光など、照明ユニットとは異なる光源）による周囲照明の影響を低減する画像（即ち、第１の画像、第２の画像、及び第３の画像に基づいて構築された周囲補正画像又は周囲補償画像）の強度分布を推定できる。つまり、空間的強度変調パターンは、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係に起因する。ステップ１０４に関連して述べたように、受信したピクセル情報の組み合わせによって、第１の画像、第２の画像、及び第３の画像の各々に現れる空間的強度変調パターンが相殺される一方で、第１の画像、第２の画像、及び第３の画像の受信したピクセル情報間の差によって、受信したピクセル情報における周囲照明の影響が低減される。

【0038】

本明細書に説明する特定の方法（例えば方法１００）では、周囲補正（又は正規化）された画像を比較的短い捕捉時間で得ることができ、これにより、対処されなければ周囲照明の影響の低減に悪影響を及ぼす相対的な動きによるアーチファクトを低減できる。各画像で捕捉された光の量は、以下により詳細に説明する周囲光の低減、補正、又は正規化を容易にするための適切な画質を提供するのに十分である。

【0039】

上記の時間的に変調された照明の手法を使用した周囲光の低減、正規化、又は補正の場合、周囲光除去の品質は、相対的な動きによって影響を受ける。本明細書に説明する特定の実施形態によれば、比較的高速な画像取得時間が達成され、この結果、スキンセンシングアプリケーションに有用な画質で、相対的な動きに堅牢な周囲光の低減、補正、又は正規化がもたらされる。

【0040】

図２は、特定の実施形態によるイメージングを向上させる例示的なシステム２００を示している。システム２００は、上記の方法１００や下記の方法６００など、本明細書に説明する特定の方法を少なくとも部分的に実施できる。

【0041】

システム２００は、被写体２０２によって使用され、イメージングシステム２０４と照明ユニット２０６とを含む。イメージングシステム２０４を使用して、方法１００で参照された画像を取得する。照明ユニット２０６を使用して、時間的に変調された照明を提供する。イメージングシステム２０４及び／又は照明ユニット２０６は、上記のようなユーザデバイスに実装できる。したがって、いくつかの例では、別々のユーザデバイスがイメージングシステム２０４と照明ユニット２０６とを含んでいてもよいし、別の例では、同じユーザデバイスがイメージングシステム２０４及び照明ユニット２０６を含んでいてもよい。

【0042】

いくつかの実施形態では、イメージングシステム２０４は、被写体２０２の表面と相互作用する単一又は複数の光源を検出できる画像又はビデオを捕捉する少なくとも２つのイメージングデバイス（例えばロールシャッタモードのカメラ）を含む。少なくとも２つのイメージングデバイスのフレームレートは、互いに類似している。さらに、いくつかの実施形態では、少なくとも２つのイメージングデバイスのイメージング軸が実質的に同一線上にある。

【0043】

システム２００はさらに、コンピュータ２０８を含む（例えばユーザデバイスに実装される処理回路、又は本明細書に説明する特定の方法を実施するためにサーバ若しくはクラウドベースのサービスを含む）。したがって、コンピュータ２０８は、イメージングシステム２０４及び照明ユニット２０６と通信可能に結合して、これらのコンポーネントとの間で情報を送受信する。例えばコンピュータ２０８は、イメージングシステム２０４から第１の画像、第２の画像、及び第３の画像に対応するデータを受信する。このデータは、コンピュータ２０８の処理回路によって処理されるか、及び／又はメモリ（例えばコンピュータ２０８のメモリであるか又はコンピュータ２０８の処理回路がアクセス可能）に保存される。いくつかの実施形態では、コンピュータ２０８はイメージングシステム２０４及び／又は照明ユニット２０６の動作を制御する。いくつかの実施形態では、コンピュータ２０８は、照明パラメータ（例えば照明ユニット２０６の動作パラメータ）及び／又は検出パラメータ（例えばイメージングシステム２０４の動作パラメータ）を制御し、捕捉した画像又はビデオを保存及び／又は処理するためのコントローラを含む。

【0044】

図３ａ～図３ｂは、２つの実施形態による、第１の画像、第２の画像、及び第３の画像を取得するための（例えば図２に示すシステム２００の）２つの異なるイメージングシステム３０４ａ及び３０４ｂを概略的に示している。

【0045】

図３ａのイメージングシステム３０４ａは、第１のイメージングデバイス３１０ａ及び第２のイメージングデバイス３１０ｂを含む。これらの２つのイメージングデバイス３１０ａ～３１０ｂをトリガして、画像間に時間遅延がある画像の取得を開始する一方で、第１の画像、第２の画像、及び第３の画像のうちの少なくとも２つの画像間に時間オーバーラップを依然として提供する。図３ａのタイムラインに、第１の画像、第２の画像、及び第３の画像（図ではそれぞれ「１」、「２」、「３」のラベルが付いている）の取得タイミングを示している。取得の開始時に、第１のイメージングデバイス３１０ａを使用して第１の画像「１」が得られる。第１の画像の全体の取得時間（例えば図３ａのボックス「１」の「長さ」を参照）よりも短い時間遅延の後、第２のイメージングデバイス３１０ｂを使用して第２の画像「２」が得られる。第２の画像の全体の取得時間（例えば図３ａのボックス「２」の「長さ」を参照）よりも短い別の時間遅延の後、第１のイメージングデバイス３１０ａを使用して（即ち、第１の画像「１」の取得を完了した後に）第３の画像「３」が得られる。

【0046】

上記の実装形態における２つのイメージングデバイス３１０ａ、３１０ｂを使用すると、単一のイメージングデバイスを使用する場合よりも、第１の画像、第２の画像、及び第３の画像を短時間で取得できる。したがって、イメージングシステム３０４ａを使用して実効フレームレートを高めることができる。この例では、第２の画像「２」の取得開始時間は、第１の画像「１」の取得中の中間点にある。例えば第１の画像「１」の取得時間が３０ｍｓの場合、第２の画像「２」の取得は、第１の画像「１」の取得を開始してから１５ｍｓ後に開始される。同様に、第２の画像「２」に対して第３の画像「３」の取得が開始される。このタイミング設定は、他の実施形態では異なっていてもよい。例えば第２の画像「２」は、第１の画像「１」の取得開始に対して異なる時間遅延で取得され（例えば中間点の前又は後）、同様に、第２の画像「２」に対して第３の画像「３」が取得される。

【0047】

図３ｂのイメージングシステム３０４ｂは、図３ａのイメージングシステム３０４ａと同様のやり方で実装できる。ただし、イメージングシステム３０４ｂは、第１の画像、第２の画像、及び第３の画像をそれぞれ取得するための第１のイメージングデバイス３１０ａ、第２のイメージングデバイス３１０ｂ、及び第３のイメージングデバイス３１０ｃを含む。したがって、第３のイメージングデバイス３１０ｃは、第１のイメージングデバイス３１０ａが第１の画像「１」の取得を完了する前に、第３の画像「３」の取得を開始できる。図３ａのイメージングシステム３０４ａと比較して、イメージングシステム３０４ｂはより高速な実効フレームレートを提供する。

【0048】

したがって、いくつかの実施形態では、イメージングシステムは、第１の画像、第２の画像、及び第３の画像を取得する少なくとも２つのイメージングデバイスを含む。いくつかの実施形態では、少なくとも２つのイメージングデバイスは、ロールシャッタモードで動作するイメージングデバイス（即ち、ロールシャッタカメラ）を含む。これらのイメージングデバイスは、スマートフォンなどの一部のデバイスにあるものと同様に、互いに非常に近くに配置される。いくつかの実施形態では、少なくとも２つのイメージングデバイスは、グローバルシャッタモードで動作するイメージングデバイスを含む。

【0049】

さらに、いくつかの実施形態では、イメージングデバイスのうちの１つは、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つを取得するために使用され、イメージングデバイスのうちの少なくとも１つの他のイメージングデバイスは、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つの他の画像を取得するために使用される。

【0050】

図４は、第１の画像「１」、第２の画像「２」、及び第３の画像「３」が３つのイメージングデバイス３１０ａ、３１０ｂ、及び３１０ｃで取得される図３ｂのイメージングシステム３０４ｂを実装に基づいて、本明細書に説明する特定の方法を実施するシステムを概略的に示している。図４に示す第１の画像、第２の画像、及び第３の画像は、上記の空間的強度変調パターンを特徴としている。これら３つの画像に対応するデータに基づいて、（例えば方法１００のステップ１０４に従って）「周囲補正された」画像「４」を決定できる。

【0051】

前述のように、決定された修正されたピクセル情報は、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、及び第３の画像の受信したピクセル情報間の差に基づいている。決定された修正されたピクセル情報はさらに、第１の画像、第２の画像、及び第３の画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報の組み合わせに基づいている。

【0052】

いくつかの実施形態では、被写体の修正された画像を構築するための修正されたピクセル情報は、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、及び第３の画像のうちの異なる対の組み合わせのピクセル情報を差し引き、第１の画像、第２の画像、及び第３の画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報を組み合わせることによって決定される。

【0053】

いくつかの実施形態では、イメージングシステムは、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係によるモードで動作する。モードは、イメージングシステムのイメージング時間が変調時間よりも長いロールシャッタモードと、イメージング時間が変調時間よりも短いグローバルシャッタモードのいずれかである。どちらのモードでも、取得した各画像において空間的強度変調パターンが観察される。

【0054】

３つの画像の空間的強度変調パターン間の位相シフトが等しい場合（例えば上記の実施形態では１２０度）、例示的な次式に従って、周囲補正された画像Ｍ_ＡＣの強度を推定できる：

【数1】

ここで、Ｉ_１は第１の画像の（ピクセル）強度値を示し、Ｉ_２は第２の画像の（ピクセル）強度値を示し、Ｉ_３は第３の画像の（ピクセル）強度値を示す。上記の式で示すように、周囲補正された画像（即ち、そのような画像を構築するための修正されたピクセル情報）は、第１の画像、第２の画像、及び第３の画像の受信したピクセル情報間の「差」（即ち、（Ｉ_１－Ｉ_２）など）と、受信したピクセル情報の「組み合わせ」（即ち、（Ｉ_１－Ｉ_２）^２＋（Ｉ_２－Ｉ_３）^２＋（Ｉ_１－Ｉ_３）^２）とに基づいて決定される。いくつかの実施形態では、各式（Ｉ_１－Ｉ_２）、（Ｉ_２－Ｉ_３）、及び（Ｉ_１－Ｉ_３）は、「対の組み合わせ」を指す。本明細書に説明するいくつかの実施形態では、少なくとも１つの「追加画像」（第１の画像、第２の画像、及び第３の画像に加えて）を参照する。したがって、上記の例示的な式は、取得される画像の数に応じて変更される。

【0055】

いくつかの実施形態では、時間的に変調された照明の変調時間（即ち、「照明フリッカ」）は、約１５ｍｓ（即ち、７０Ｈｚの変調周波数の場合）である。第２のイメージングデバイスでは５ｍｓ、第３のイメージングデバイスでは１０ｍｓの遅延で画像の捕捉をトリガすることにより、捕捉された第１の画像、第２の画像、及び第３の画像で得られる空間的強度変調パターンは１２０度の位相シフトを有することになる。

【0056】

したがって、いくつかの実施形態では、第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、時間的に変調された照明の変調時間に基づいている。例えば７０Ｈｚを超える周波数で時間的に変調照明を提供する照明ユニットにより、変調時間が上記の実施形態よりも短い場合、第１の画像、第２の画像、及び第３の画像間の時間遅延は上記の実施形態よりも少なくなる。

【0057】

いくつかの実施形態では、取得開始時間（つまり、第１の画像、第２の画像、第３の画像の取得開始時間）の間の時間遅延は、変調時間を画像の数で割ったものに相当する。したがって、上記の実施形態では、変調時間は約１５ｍｓであり、３つの画像が取得される。したがって、この実施形態で使用する時間遅延は約５ｍｓである。

【0058】

いくつかの実施形態では、時間的に変調された照明の変調周波数、及び／又は第１の画像、第２の画像、及び第３の画像に関連付けられたフレームレートは、第１の画像、第２の画像、及び第３の画像の空間的強度変調パターン間の位相シフトが同じになるように設定されている。つまり、イメージングシステムの変調周波数及び／又はフレームレートは、第１の画像、第２の画像、及び第３の画像の間で位相シフトが同じになるように設定される。

【0059】

いくつかの実施形態では、（例えばステップ１０２の）データを受信することはさらに、被写体の少なくとも１つの追加画像（例えば少なくとも２つのイメージングデバイスのうちの１つによって取得された第４の画像、第５の画像など）の少なくとも一部に対応するデータを受信することを含む。第１の画像と第２の画像と第３の画像と少なくとも１つの追加画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像の取得中に時間のオーバーラップがあるような時間遅延である。（例えばステップ１０４の）修正されたピクセル情報を決定することは、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像の受信したピクセル情報間の差と、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報間の組み合わせとに基づいている。イメージングデバイスによっては、４つ以上の画像を取得する（例えばこのようなイメージングシステムが適切に設定されているか、及び／又はそれらが３つ以上又は４つ以上のイメージングデバイスを含む場合）。

【0060】

いくつかの実施形態では、第１の画像と第２の画像と第３の画像と少なくとも１つの追加画像との間の取得開始時間の時間遅延は、時間的に変調された照明の変調時間に基づいている。取得開始時間の時間遅延は、変調時間を画像の数で割ったものに相当する。例えばイメージングシステムが上記の実施形態よりも多くの画像（例えば少なくとも４つの画像）を取得できる場合、第１の画像と第２の画像と第３の画像と第４の画像（又はそれ以上の画像）との間の取得時間の時間遅延は、同じ変調時間（即ち、１５ｍｓ）について、上記の実施形態よりも少なくなる。

【0061】

図５ａ～図５ｂは、イメージングデバイス５１０ａ、５１０ｂ、５１０ｃ（例えば図３ｂのイメージングデバイス３１０ａ、３１０ｂ、３１０ｃと同様）が実施するロールシャッタのスキャン方向の可能な方向付けを概略的に示している。ロールシャッタのスキャン方向は、各画像の空間的強度変調パターンが（図５ａ～図５ｂに示すように）同じ方向に「スキャン」するように、各イメージングシステムで同じになる。図５ａは、ロールシャッタのスキャン方向を垂直方向にして、水平方向に離れた位置に位置決めされた３つのイメージングデバイス５１０ａ、５１０ｂ、５１０ｃを示している。図５ｂは、ロールシャッタのスキャン方向を水平方向にして、垂直方向に離れた位置に位置決めされた３つのイメージングデバイス５１０ａ、５１０ｂ、５１０ｃを示している。いくつかの実施形態では、イメージングデバイスは、ロールシャッタのスキャン方向と同じ（即ち、平行）方向に整列される。いくつかの実施形態では、イメージングデバイスは、ロールシャッタのスキャン方向に直角に交わる方向に整列される。

【0062】

イメージングデバイスの位置がロールシャッタのスキャン方向とは異なる方向にある場合、パターンの位相シフトが目的の被写体に対して１２０度に対応するように時間遅延が調整される。いくつかの実施形態では、ロールシャッタセンサのスキャン方向はセンサごとに異なる。

【0063】

図６は、特定の設定でのイメージングを向上させる方法６００（例えばコンピュータ実施方法）を示している。方法６００は、ユーザデバイスなどのコンピュータ、又はサーバ若しくはクラウドベースのサービス（例えばユーザデバイスと通信的に結合されている）によって実施される。方法６００は、方法１００のステップ１０２及びステップ１０４を含む。方法６００の特定のステップは省略されてもよい、及び／又は図６に示すステップは、示されている順序とは異なる順序で実施されてもよい。簡単にするために、方法６００の実施を説明する際に、図２のシステム２００を参照する。

【0064】

いくつかの実施形態では、方法６００はさらに、ステップ６０２において、イメージングシステム２０４に第１の画像、第２の画像、及び第３の画像を取得させることを含む。いくつかの実施形態では、４枚以上の画像が取得される。この場合、イメージングシステム２０４は、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像を取得する。

【0065】

いくつかの実施形態では、方法６００は、ステップ６０４において、また、修正されたピクセル情報を決定する前に、第１の画像、第２の画像、及び第３の画像内の被写体の位置が同じかどうかを識別することを含む。上記画像のうちの少なくとも１つの画像における被写体の位置の上記画像のうちの少なくとも１つの他の画像と比較した差が、閾値（画像間でシフトされる画像の特定の特徴のピクセル数の閾値など）を越える場合、方法６００のステップ６０４は、第１の画像、第２の画像、及び第３の画像の各々における被写体の位置が同じであるように、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つにおいて、画像シフト操作を実施することを含む。例えばイメージングデバイス間の距離、及び／又は被写体とイメージングシステム間の相対的な動きに起因して、（例えばステップ１０４における）周囲光補正を実行する前に、画像シフトを使用して画像を適切に再整列させる必要がある。

【0066】

しかし、いくつかの実施形態では、イメージングデバイス間の距離による画像シフト問題を回避するために、ビームスプリッタ又は他の光学配置（図示せず）を使用して、全く同じ画像を撮像するが、同じ光学的配置を使用して画像を受信する異なるイメージングデバイスで撮像する。

【0067】

いくつかの実施形態では、方法６００は、ステップ６０６において、時間的に変調された照明の変調パラメータ（変調周波数や変調期間など）の指示を受信することと、指示に基づいてイメージングシステム２０４の動作パラメータ（フレームレート、画像取得開始時間など）を決定することと、動作パラメータに従ってイメージングシステム２０４を動作させることとを含む。例えばシステム２００は、時間的に変調された照明の変調周波数の指示を決定又は受信し、それに応じてイメージングシステム２０４のイメージングデバイス間のフレームレート及び時間遅延を調整する。

【0068】

図７は、少なくとも１つのプロセッサ７０４によって実行されると、少なくとも１つのプロセッサ７０４に本明細書に説明する特定の方法（方法１００又は方法６００など）を実施させる命令７０２を保存している有形機械可読媒体７００を概略的に示している。

【0069】

この実施形態では、命令７０２は、少なくとも１つのプロセッサ７０４に方法１００のステップ１０２を実施させる命令７０６を含む。命令７０２はさらに、少なくとも１つのプロセッサ７０４に方法１００のステップ１０４を実施させる命令７０８を含む。

【0070】

図８は、方法１００及び／又は方法６００など、本明細書に説明する特定の方法の実施に使用できる装置８００を示している。装置８００は、図２のコンピュータ２０８など、図２のシステム２００に関連して説明した特徴に対応する機能を有しているモジュールを含む。

【0071】

装置８００は処理回路８０２を含む。処理回路８０２は、時間的に変調され照明によって照らされた被写体の第１の画像、第２の画像、及び第３の画像（イメージングシステムによって取得される）の少なくとも一部に対応するピクセル情報を受信する受信モジュール８０４を含む。第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、及び第３の画像の取得中に時間のオーバーラップがあるような時間遅延である。

【0072】

処理回路８０２はさらに、受信したピクセル情報における周囲照明の影響を低減するために、第１の画像、第２の画像、及び第３の画像の受信したピクセル情報間の差と、第１の画像、第２の画像、及び第３の画像の各々に現れる空間的強度変調パターンを相殺するために、受信したピクセル情報の組み合わせとに基づいて、被写体の修正された画像を構築するための修正されたピクセル情報を決定する決定モジュール８０６を含む。空間的強度変調パターンは、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係に起因する。

【0073】

いくつかの実施形態では、装置８００はさらに、第１の画像、第２の画像、及び第３の画像の少なくとも一部に対応するピクセル情報を取得するイメージングシステム（図２のイメージングシステム２０４など）を含む。

【0074】

いくつかの実施形態では、装置８００はさらに、時間的に変調された照明を提供する照明ユニット（図２の照明ユニット２０６など）を含む。

【0075】

いくつかの実施形態では、イメージングシステム２０４、３０４は、少なくとも２つのイメージングデバイス（図３ｂのイメージングデバイス３１０ａ、３１０ｂ、３１０ｃなど）を含み、少なくとも２つのイメージングデバイスによって実施されるロールシャッタのスキャン方向は同じである。

【0076】

いくつかの実施形態では、イメージングシステム３０４は少なくとも２つのイメージングデバイス３１０ａ、３１０ｂ、３１０ｃを含む。

【0077】

いくつかの実施形態では、イメージングシステム３０４は、イメージングシステムが各画像を取得するイメージング時間と、時間的に変調された照明の変調時間とのタイミング関係によるモードで動作する。モードは、イメージングシステムのイメージング時間が変調時間よりも長いロールシャッタモードと、イメージング時間が変調時間よりも短いグローバルシャッタモードのいずれかである。

【0078】

場合によっては、上記のモジュール（受信モジュール８０４及び／又は決定モジュール８０６など）のいずれかが、モジュールの機能を実施するための少なくとも１つの専用プロセッサ（特定用途向け回路（ＡＳＩＣ）及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）を含む。

【0079】

場合によっては、上記のモジュール（受信モジュール８０４及び／又は決定モジュール８０６など）は、命令を実施する少なくとも１つのプロセッサを含む。この命令は上記の少なくとも１つのプロセッサに上記のモジュールの機能を実施させる。このような例では、命令は少なくとも１つのプロセッサがアクセス可能な機械可読媒体（図示せず）に保存されている。いくつかの例では、モジュール自体が機械可読媒体を含む。いくつかの例では、機械可読媒体は、モジュール自体とは別のものである（例えばモジュールの少なくとも１つのプロセッサは機械可読媒体と通信してそこに保存されている命令にアクセスするために提供される）。

【0080】

本発明は、図面及び上記の説明に詳細に例示及び説明されているが、このような例示及び説明は、例示的又は模範的と見なされるべきであって、限定的と見なされるべきではない。本発明は、開示された実施形態に限定されない。

【0081】

１つの実施形態で説明される１つ以上の特徴を、別の実施形態で説明される特徴と組み合わせたり、置換したりすることができる。例えば図１の方法１００及び図６の方法６００は、（図２～図５を参照して）図２のシステム２００、機械可読媒体７００、及び／又は装置８００に関連して説明した特徴に基づいて変更されてもよく、また、その逆も可能である。

【0082】

本開示には、次の番号付きの項で定義される主題が含まれる。

【0083】

第１項：コンピュータ実施方法であって、
時間的に変調された照明によって照らされた被写体の第１の画像、第２の画像、及び第３の画像の少なくとも一部に対応するデータを受信するステップであって、第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、及び第３の画像の取得中に時間のオーバーラップがあるような時間遅延である、受信するステップと、
第１の画像、第２の画像、及び第３の画像の各々における空間的強度変調パターンに基づいて、光源によって引き起こされる周囲照明の影響を低減するために、被写体の画像の推定強度分布を決定するステップと、を含む、コンピュータ実施方法。

【0084】

第２項：第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、時間的に変調された照明の変調時間に基づいている、第１項に記載のコンピュータ実施方法。

【0085】

第３項：取得開始時間の時間遅延は、変調時間を画像の数で割ったものに相当する、第２項に記載のコンピュータ実施方法。

【0086】

第４項：イメージングシステムの少なくとも２つのイメージングデバイスを使用して画像を取得する、第１項から第３項のいずれかに記載のコンピュータ実施方法。

【0087】

第５項：イメージングデバイスのうちの１つを使用して、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つを取得し、イメージングデバイスのうちの少なくとも１つの他のイメージングデバイスを使用して、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つの他の画像を取得する、第４項に記載のコンピュータ実施方法。

【0088】

第６項：イメージングシステムに第１の画像、第２の画像、及び第３の画像を取得させるステップをさらに含む、第４項又は第５項に記載のコンピュータ実施方法。

【0089】

第７項：時間的に変調された照明の変調パラメータの指示を受信するステップと、指示に基づいてイメージングシステムの動作パラメータを決定するステップと、動作パラメータに従ってイメージングシステムを動作させるステップと、を含む、第４項から第６項のいずれか一項に記載のコンピュータ実施方法。

【0090】

第８項：時間的に変調された照明の変調周波数、及び／又は第１の画像、第２の画像、及び第３の画像に関連付けられたフレームレートは、第１の画像、第２の画像、及び第３の画像の空間的強度変調パターン間の位相シフトが同じになるように設定されている、第１項から第７項のいずれかに記載のコンピュータ実施方法。

【0091】

第９項：推定強度分布を決定するステップの前に、第１の画像、第２の画像、及び第３の画像内の被写体の位置が同じかどうかを識別するステップと、上記画像のうちの少なくとも１つの画像における被写体の位置の上記画像のうちの少なくとも１つの他の画像と比較した差が閾値を超える場合、第１の画像、第２の画像、及び第３の画像の各々における被写体の位置が同じであるように、第１の画像、第２の画像、及び第３の画像のうちの少なくとも１つにおいて、画像シフト操作を実施するステップと、を含む、第１項から第８項のいずれかに記載のコンピュータ実施方法。

【0092】

第１０項：データを受信するステップは、被写体の少なくとも１つの追加画像の少なくとも一部に対応するデータを受信するステップをさらに含み、第１の画像と第２の画像と第３の画像と少なくとも１つの追加画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像の取得中に時間のオーバーラップがあるような時間遅延であり、推定強度分布の決定は、第１の画像、第２の画像、第３の画像、及び少なくとも１つの追加画像の各々における空間的強度変調パターンに基づいている、第１項から第９項のいずれかに記載のコンピュータ実施方法。

【0093】

第１１項：第１の画像と第２の画像と第３の画像と少なくとも１つの追加画像との間の取得開始時間の時間遅延は、時間変調された照明の変調時間に基づいており、取得開始時間の時間遅延は、変調時間を画像の数で割ったものに相当する、第１０項に記載のコンピュータ実施方法。

【0094】

第１２項：命令を保存している有形機械可読媒体であって、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１項から第１１項までのいずれかに記載のコンピュータ実施方法を実施させる、有形機械可読媒体。

【0095】

第１３項：処理回路を含む装置であって、処理回路は、
時間的に変調された照明によって照らされた被写体の第１の画像、第２の画像、及び第３の画像の少なくとも一部に対応するデータを受信する受信モジュールであって、第１の画像と第２の画像と第３の画像との間の取得開始時間の時間遅延は、第１の画像、第２の画像、及び第３の画像の取得中に時間のオーバーラップがあるような時間遅延である、受信モジュールと、
第１の画像、第２の画像、及び第３の画像の各々における空間的強度変調パターンに基づいて、光源によって引き起こされる周囲照明の影響を低減するために、被写体の画像の推定強度分布を決定する決定モジュールと、を含む、装置。

【0096】

第１４項：第１の画像、第２の画像、及び第３の画像の少なくとも一部に対応するデータを取得するイメージングシステム、及び／又は時間的に変調された照明を提供する照明ユニットをさらに含む、第１３項に記載の装置。

【0097】

第１５項：イメージングシステムは、少なくとも２つのイメージングデバイスを含み、少なくとも２つのイメージングデバイスによって実施されるロールシャッタのスキャン方向は同じである、第１４項に記載の装置。

【0098】

本開示における実施形態は、方法、システムとして、又は機械可読命令と処理回路との組み合わせとして提供することができる。このような機械可読命令は、コンピュータ可読プログラムコードを有する非一時的機械（例えばコンピュータ）可読記憶媒体（ディスクストレージ、ＣＤ－ＲＯＭ、光学記憶装置などを含むが、これらに限定されない）に含まれている場合がある。

【0099】

本開示は、本開示の実施形態による方法、デバイス、及びシステムのフローチャート及びブロック図を参照して説明されている。上記のフローチャートは特定の実行順序を示しているが、実行順序は、図示されたものとは異なっていてもよい。１つのフローチャートに関連して説明されたブロックは、別のフローチャートのブロックと組み合わされてもよい。フローチャート及び／又はブロック図の各ブロック、並びにフローチャート及び／又はブロック図のブロックの組み合わせは、機械可読命令によって実現できることを理解されたい。

【0100】

機械可読命令は、例えば、汎用コンピュータ、特殊用途コンピュータ、組み込みプロセッサ、又は他のプログラム可能データ処理デバイスのプロセッサによって実行されて、説明及び図で説明されている機能を実現することができる。特に、プロセッサ若しくは処理回路、又はそのモジュールが、機械可読命令を実行することができる。したがって、システム２００及び／又は装置８００の機能モジュール（例えば受信モジュール８０６及び／又は決定モジュール８０８）及び本明細書に説明する他のデバイスは、メモリに保存されている機械可読命令を実行するプロセッサ又はロジック回路に組み込まれた命令に従って動作するプロセッサによって実施され得る。「プロセッサ」という用語は、ＣＰＵ、処理ユニット、ＡＳＩＣ、ロジックユニット、又はプログラマブルゲートアレイなどを含むように広く解釈される。方法及び機能モジュールはすべて、１つのプロセッサによって実行されるか、又は複数のプロセッサに分割されてもよい。

【0101】

このような機械可読命令は、コンピュータ又は他のプログラム可能なデータ処理デバイスを特定のモードで動作させることができるコンピュータ可読記憶装置に保存することもできる。

【0102】

このような機械可読命令はまた、コンピュータ又は他のプログラム可能なデータ処理デバイスにロードすることもできる。これにより、コンピュータ又は他のプログラム可能なデータ処理デバイスは、コンピュータ実装処理を生成するために一連の操作を実行する。したがって、コンピュータ又は他のプログラム可能デバイスで実行される命令は、フローチャート及び／又はブロック図のブロックで指定された機能を実現する。

【0103】

さらに、本明細書における教示内容は、コンピュータプログラム製品の形態で実装できる。コンピュータプログラム製品は、記憶媒体に保存されており、コンピュータデバイスに本開示の実施形態に記載される方法を実装させるための複数の命令を含む。

【0104】

１つの実施形態に関連して説明される要素又はステップは、別の実施形態に関連して説明される要素又はステップと組み合わせたり、置換したりすることができる。開示された実施形態の他の変形は、図面、開示及び添付の特許請求の範囲の検討から、請求項に係る発明を実施する際に当業者によって理解され、実行され得る。特許請求の範囲において、「含む」という語は、他の要素やステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを意味するものではない。コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される、光記憶媒体又はソリッドステート媒体などの任意の適切な媒体に格納又は配布することができるが、インターネット又はその他の有線若しくは無線通信システムを介してなど他の形式で配布することもできる。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5a】

【図5b】

【図6】

【図7】

【図8】