知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-03-05
(45)【発行日】2024-03-13
(54)【発明の名称】物体を分析する方法及びシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240306BHJP
【ＦＩ】
G06T7/00 660Z
【請求項の数】
7
(21)【出願番号】P 2023557031
(86)(22)【出願日】2022-03-09
(86)【国際出願番号】 EP2022055959
(87)【国際公開番号】W WO2022194623
(87)【国際公開日】2022-09-22
【審査請求日】2023-09-15
(31)【優先権主張番号】21163502.4
(32)【優先日】2021-03-18
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】パレロ ジョナサン アランブラ
(72)【発明者】
【氏名】ダモダラン マシヴァナン
(72)【発明者】
【氏名】ブールキン ヤニク パルリアン ジュリアン
(72)【発明者】
【氏名】フェルハーフェン リエコ
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２０１８－７３１２２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／１５４０２４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／３０５７８４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
皮膚表面を含む物体を分析する方法であって、前記方法は、少なくとも２つの照明源から提供される照明で前記物体を照明するステップであって、各前記照明源は、少なくとも１つの明確に異なる固有の特性で規定され、前記少なくとも１つの明確に異なる固有の特性は波長を含む、照明するステップと、
変調関数に従って、各前記照明源から提供される照明を時間的に変調するステップであって、各前記照明源の前記変調関数は周期変調関数であり、各前記周期変調関数はローリングシャッター画像センサのフレームレートの整数倍でない周波数を有する、変調するステップと、
前記ローリングシャッター画像センサを使用して、前記物体を表す第１の複数の画像フレーム及び第２の複数の画像フレームを捕捉するステップであって、前記第１及び第２の複数の画像フレーム各々は少なくともｎ＋１枚の画像フレームを含み、ｎは前記照明源の数であり、前記ローリングシャッター画像センサは明確に規定された一定のフレームレートを有する、捕捉するステップと、
前記第１の複数の画像フレーム及び第２の複数の画像フレームを、対応する前記照明源からの照明下の前記物体を各々表す第１及び第２の複数の成分画像と、周囲光条件下の前記物体を表す第１及び第２の周囲画像とに多重分離するステップであって、第１及び第２の複数の成分画像と、前記第１及び第２の周囲画像とは、バイナリ画像マスクを介して作成され、前記バイナリ画像マスクは各前記照明源の前記変調関数及び前記ローリングシャッター画像センサの前記フレームレートから推定される空間強度関数を使用して生成され、
各前記成分画像及び各前記周囲画像は対応する複数のピクセルを含み、前記複数のピクセルの各々は、ピクセル値を有し、前記成分画像内及び前記周囲画像内のそれぞれの前記ピクセルの場所に対応するピクセルインデックスによって規定される、多重分離するステップと、
各前記ピクセルインデックスにおいて、前記周囲画像各々の前記ピクセル値を前記成分画像各々の前記ピクセル値から差し引くことで、各前記第１の成分画像に対する第１の周囲光補正画像と各前記第２の成分画像に対する第２の周囲光補正画像とを生成するステップと、
各前記ピクセルインデックスにおいて、前記周囲光補正画像のピクセル値に関連付けられた生理学的パラメータを決定することで、前記第１の周囲光補正画像及び前記第２の周囲光補正画像から生理学的成分マップを生成するステップと、
前記第１の周囲光補正画像と前記第２の周囲光補正画像との間の前記生理学的成分マップの変化をモニタリングするステップとを含み、
前記生理学的パラメータが、酸素化ヘモグロビンレベル、脱酸素ヘモグロビンレベル、及びメラニンレベルからなる群から選択される、
方法。
【請求項2】
各前記変調関数は、位相、波形、及びデューティサイクルを有し、前記ローリングシャッター画像センサは、フレーム捕捉レートを有し、各前記変調関数の周波数は、前記フレーム捕捉レートよりも大きく、且つ前記フレーム捕捉レートの非整数倍である、請求項１に記載の方法。
【請求項3】
各前記照明源の前記固有の特性は、前記ローリングシャッター画像センサに対する相対位置及び／又は波長を含む、請求項１又は２に記載の方法。
【請求項4】
各前記照明源の前記固有の特性は、前記ローリングシャッター画像センサに対する相対位置を含み、各前記成分画像は、対応する複数のピクセルを含み、前記複数のピクセルの各々は、ピクセル値を有し、前記成分画像内の前記ピクセルの場所に対応するピクセルインデックスによって規定され、
前記方法は更に、
各ピクセルインデックスにおいて、前記成分画像内の対応する場所におけるピクセル値に基づいて、反射のないピクセル値を計算することで、前記成分画像から鏡面反射のない画像及び／又は鏡面反射のみの画像を生成するステップを含む、請求項１から３のいずれか一項に記載の方法。
【請求項5】
各前記照明源の前記固有の特性は、前記ローリングシャッター画像センサに対する相対位置を含み、各前記成分画像及び前記周囲画像は、対応する複数のピクセルを含み、前記複数のピクセルの各々は、ピクセル値を有し、前記成分画像内及び前記周囲画像内の前記ピクセルの場所に対応するピクセルインデックスによって規定され、
前記方法は更に、
各前記ピクセルインデックスについて、前記ピクセルインデックスにおける前記物体の表面に垂直なベクトルのｘ成分、ｙ成分、及びｚ成分を決定するステップと、
各前記ピクセルインデックスにおいて、前記ｘ成分、前記ｙ成分、及び前記ｚ成分に基づいて深度値を計算することで、前記成分画像及び前記周囲画像から深度マップを生成するステップと、
を含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記複数の照明源のうちの少なくとも１つは、光源の集合体を含み、各前記光源は明確に異なる波長によって規定され、前記方法は更に、前記成分画像を、対応する前記光源からの照明下の前記物体を各々が表す複数の光画像に多重分離するステップを含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
物体を分析するシステムであって、前記システムは、各照明源が少なくとも１つの明確に異なる固有の特性によって規定される、複数の照明源と、
ローリングシャッター画像センサと、
少なくとも１つのプロセッサと、
コンピュータ可読命令を含む少なくとも１つのメモリと、
を含み、
前記少なくとも１つのプロセッサは、前記コンピュータ可読命令を読み取り、請求項１から６のいずれか一項に記載の方法を実行させる、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体を分析する方法及びシステムに関する。特に、排他的ではないが、本方法及びシステムは、人間の顔や皮膚の表面などの物体の経時的な分析に適している。
【背景技術】
【0002】
物体の分析には通常、カメラによって捕捉された画像の分析が伴う。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかし、画像に歪みがあったり、アーチファクトが生じたりする場合があり、物体の変化を経時的にモニタリングするための画像間の有用な比較が困難になる。
【0004】
これまでに検討されてきた物体の分析方法及びシステムは通常、非常に複雑で、実験室又は臨床環境に限定されている。このようなシステムは複雑なスペクトルカメラを備え、周囲光条件を厳密に制御する必要がある。
【0005】
米国特許第９，４７９，２５１号には、変調光の検出方法が開示されている。この方法は、画像収集設定を有するローリングシャッターカメラを使用して収集した画像のセットを受信することと、上記画像の連続フレームにおいて、変調光源の変調周波数ｆｃとラインレートとの比率によって決定されるパターンを特定し、連続フレーム間で、上記変調周波数ｆｃと上記フレームレートとの比率によって決定される上記パターンの空間シフトを特定することと、上記パターンと、その空間シフトとに基づき、上記光源からの変調光振幅の推定値を提供することとを含む。
【課題を解決するための手段】
【0006】
第１の特定の態様によれば、物体を分析する方法が提供される。この方法は、少なくとも２つの照明源から提供される照明で物体を照明するステップであって、各照明源は、少なくとも１つの明確に異なる固有の特性で規定されている、照明するステップと、変調関数に従って、各照明源から提供される照明を時間的に変調するステップと、ローリングシャッター画像センサを使用して、物体を表す複数の画像フレームを捕捉するステップと、複数の画像フレームを、対応する照明源からの照明下の物体を各々表す複数の成分画像と、周囲光条件下の物体を表す周囲画像とに多重分離するステップとを含む。
【0007】
複数の画像フレームの各々は、対応する複数のピクセルを含み得る。複数のピクセルの各々は、画像フレーム内のピクセルの場所に対応するピクセルインデックスによって規定され得る。複数の画像フレームには、照明源の少なくとも３倍の画像フレームに、更に３つの画像フレームを足したものが含まれる（即ち、「ｎ」個の照明源がある場合、少なくとも３ｎ＋３枚の画像フレームある）。他の実施例では、周囲光が一定であるか又は時間的に変調されていないと仮定される場合は、複数の画像フレームには、照明源の少なくとも３倍の画像フレームに、更に１つの画像フレームを足したものが含まれる（即ち、「ｎ」個の照明源がある場合、少なくとも３ｎ＋１枚の画像フレームがある）。更に別の実施例では、複数の画像フレームには、周囲光が一定であると仮定される場合は、少なくとも照明源と同数の画像フレームに、更に１つの画像フレームを足したものが含まれる（即ち、「ｎ」個の照明源がある場合、少なくともｎ＋１枚の画像フレームがある）か、又は、周囲光が変調されている場合は、少なくとも照明源と同数の画像フレームに、更に３つの画像フレームを足したものが含まれる（即ち、「ｎ」個の照明源がある場合、少なくともｎ＋３枚の画像フレームがある）。
【0008】
これらの実施例の各々では、各照明源の変調関数は、複数の画像フレームの各々について、同じピクセルインデックスにおける対応する各ピクセルが捕捉されるときに物体の照明が異なるように構成される。
【0009】
各照明源の変調関数は、周期関数であり得る。各周期変調関数は、ローリングシャッター画像センサのフレームレートの整数倍ではない周波数を有し得る。各変調関数は、位相、波形、及びデューティサイクルを有し得、ローリングシャッター画像センサは、フレーム捕捉レートを有する。各変調関数の周波数は、フレーム捕捉レートよりも大きく、且つフレーム捕捉レートの非整数倍であり得る。
【0010】
各照明源の固有の特性は、ローリングシャッター画像センサに対する相対位置及び／又は波長を含み得る。
【0011】
各照明源の固有の特性は、画像センサに対する相対位置を含み得、各成分画像は、対応する複数のピクセルを含み得、複数のピクセルの各々は、ピクセル値を有し、成分画像内のピクセルの場所に対応するピクセルインデックスによって規定される。上記の方法は更に、各ピクセルインデックスにおいて、成分画像内の対応する場所におけるピクセル値に基づいて、反射のないピクセル値を計算することで、成分画像から鏡面反射のない画像及び／又は鏡面反射のみの画像を生成するステップを含み得る。
【0012】
各照明源の固有の特性は、画像センサに対する相対位置を含み得、各成分画像及び周囲画像は、対応する複数のピクセルを含み、複数のピクセルの各々は、ピクセル値を有し、成分画像内及び周囲画像内のピクセルの場所に対応するピクセルインデックスによって規定される。上記の方法は更に、各ピクセルインデックスについて、ピクセルインデックスにおける物体の表面に垂直なベクトルのｘ成分、ｙ成分、及びｚ成分を決定するステップと、各ピクセルインデックスにおいて、ｘ成分、ｙ成分、及びｚ成分に基づいて深度値を計算することで、成分画像及び周囲画像から深度マップを生成するステップとを含み得る。
【0013】
各成分画像及び周囲画像は、対応する複数のピクセルを含み得、複数のピクセルの各々は、ピクセル値を有し、成分画像内及び周囲画像内のピクセルの場所に対応するピクセルインデックスによって規定される。上記の方法は更に、各ピクセルインデックスにおいて、周囲画像のピクセル値を対応する成分画像のピクセル値から差し引くことで、各成分画像の周囲光補正画像を生成するステップを含み得る。
【0014】
物体は皮膚表面を含み得、各照明源の固有の特性は波長を含み得る。上記の方法は更に、各ピクセルインデックスにおいて、周囲光補正画像のピクセル値に関連付けられた生理学的パラメータを決定することで、周囲光補正画像から生理学的成分マップを生成するステップを含み得る。
【0015】
生理学的パラメータは、酸素化ヘモグロビンレベル、脱酸素ヘモグロビンレベル、及びメラニンレベルからなる群から選択され得る。
【0016】
複数の画像フレームは第１の複数の画像フレームであり得、成分画像は第１の成分画像であり得、周囲画像は第１の周囲画像であり得る。上記の方法は更に、ローラーシャッター画像センサを使用して、物体を表す第２の複数の画像フレームを捕捉するステップを含み得る。上記の方法は更に、第２の複数の画像フレームを第２の成分画像と第２の周囲画像とに多重分離するステップを含み得る。
【0017】
周囲光補正画像は、第１の周囲光補正画像であり得る。上記の方法は更に、各第２の成分画像に、第２の周囲光補正画像を生成するステップを含み得る。上記の方法は更に、第２の周囲光補正画像から生理学的成分マップを生成するステップを含み得る。上記の方法は更に、第１の周囲光補正画像と第２の周囲光補正画像との間の生理学的成分マップの変化をモニタリングするステップを含み得る。
【0018】
複数の照明源のうちの少なくとも１つは、光源の集合体を含み得る。各光源は、明確に異なる波長によって規定され得る。上記方法は更に、成分画像を、対応する光源からの照明下の物体を各々が表す複数の光画像に多重分離するステップを含み得る。
【0019】
第２の態様によれば、コンピュータ可読命令を含む非一時的コンピュータ可読記憶媒体が提供される。このコンピュータ可読命令は、プロセッサによって実行されると、第１の態様による方法を実行させる。
【0020】
第３の態様によれば、コンピュータプログラムが提供される。このコンピュータプログラムは、コンピュータによって読み取られると、第１の態様による方法を実行させる。
【0021】
第４の態様によれば、物体を分析するシステムが提供される。このシステムは、複数の照明源であって、各照明源は、少なくとも１つの明確に異なる固有の特性によって規定される、複数の照明源と、ローリングシャッター画像センサと、少なくとも１つのプロセッサと、コンピュータ可読命令を含む少なくとも１つのメモリと、を含み、少なくとも１つのプロセッサは、コンピュータ可読命令を読み取り、第１の態様による方法を実行させる。
【0022】
これらの及び他の態様は、以下に説明する実施形態から明らかになり、また、当該実施形態を参照して説明される。
【図面の簡単な説明】
【0023】
模範的な実施形態を、ほんの一例としてのみ、次の図面を参照して説明する。
【0024】
【発明を実施するための形態】
【0025】
図１は、物体２０を分析するシステム１０を示す。システム１０は、ローリングシャッター画像センサ１２、複数の照明源１４、２４、プロセッサ１６、及び（コンピュータ可読命令を含む）メモリ１８０を含む。
【0026】
この実施例では、複数の照明源１４、２４は、第１の照明源１４と第２の照明源２４とで構成されている。各照明源１４、２４は、明確な固有の特性によって規定される。この実施例では、この固有の特性には、ローリングシャッター画像センサ１２に対する照明源１４、２４の位置が含まれる。第１の照明源１４は、ローリングシャッター画像センサ１２の第１の側にあり、第２の照明源２４は、ローリングシャッター画像センサ１２の反対側の第２の側にある。追加的に又は代替的に、他の実施例では、この固有の特性は、各照明源が生成した照明の波長を含んでもよい。
【0027】
第１の照明源１４及び第２の照明源２４の各々は、物体２０を照明する。各照明源１４、２４はプロセッサ１６に接続されている。プロセッサ１６は、第１の照明源１４及び第２の照明源２４によって提供される照明を時間的に変調する。
【0028】
ローリングシャッター画像センサ１２は、プロセッサ１６に接続され、物体２０（この例では人間の顔）の画像フレームを捕捉する。捕捉された画像フレームは、プロセッサ１６によって読み取られ、処理され、メモリ１８に保存される。
【0029】
メモリ１８はコンピュータ可読命令を含み、プロセッサ１６はこのコンピュータ可読命令を読み取って、物体２０を分析する方法を実行する。物体２０を分析する方法は、本明細書に説明する方法のいずれかに従って行われる。
【0030】
いくつかの実施例では、システム１０は、スマートフォンなどの個人的なスマートデバイスやスマートミラーなどの家庭用スマートデバイスの一部を形成したり、組み込まれたりする。
【0031】
図２ａは、物体を分析する方法１００の第１の例のフローチャートである。この実施例では、この第１の例の方法１００はシステム１０によって実行される。他の実施例では、この第１の例の方法１００は任意の適切なシステムで実行される。図２ｂは、捕捉され処理された画像フレームの観点から、第１の例の方法１００を示している。
【0032】
第１の例の方法１００は、ステップ１０２から始まり、物体２０を少なくとも２つの照明源１４、２４から提供される照明で照明する。各照明源は、少なくとも１つの明確に異なる固有の特性で規定される。
【0033】
ステップ１０４では、第１の例の方法１００は、各照明源１４、２４から提供される照明をそれぞれの変調関数に従って時間的に変調することを含む。変調関数は、所定の関数に従って提供された照明の振幅を変調する。この実施例では、各照明源１４、２４の変調関数は、ローリングシャッター画像センサ１２のフレームレートよりも高い周波数を有する正弦関数であり、各照明源１４、２４は位相がずれて変調される。他の実施例では、変調関数は任意の周期関数である場合もあれば、非周期関数である場合もある。
【0034】
第１の例の方法１００はまた、ローリングシャッター画像センサ１２を使用して物体２０を表す複数の画像フレーム２１６を捕捉するステップ１０６を含む。図２ｂから、４つの画像フレーム２１６が捕捉されていることがわかる。また、ローリングシャッター画像センサ１２が各画像フレーム２１６を捕捉する間に照明源１４、２４が変調されることによって、単一の画像フレーム２１６内の物体２０の異なる部分の照明が異なっている。
【0035】
図２ｂに示す４つの画像フレーム２１６の各々は、第１の照明源１４及び第２の照明源２４の両方からの照明下での物体２０を表している。ローリングシャッター画像センサ１２によって捕捉された画像フレーム２１６は、複数の角度の付いた暗いバンドと明るいバンドとを含み、これらは各画像フレーム２１６の空間光強度パターンの一部である。この空間光強度パターンは、ローリングシャッター画像センサ１２の使用に起因して捕捉される。空間光強度パターンは、複数の空間強度関数を含む。各空間強度関数は、それぞれの照明源１４、２４の変調関数に対応し、したがって、それぞれの照明源１４、２４から提供される照明に関連している。
【0036】
ステップ１０８では、第１の例の方法１００は続いて、複数の画像フレーム２１６を、成分画像２１８、２２８と周囲画像２３８とに多重分離する。各成分画像２１８、２２８は、それぞれの照明源１４、２４からの照明下の物体２０を表している。したがって、この実施例の第１の成分画像２１８は、第１の照明源１４からの照明下の物体２０を表し、第２の成分画像２２８は、第２の照明源２４からの照明下の物体２０を表す。周囲画像２３８は、両方の照明源１４、２４がオフになっているとき、又は物体２０を照明していないときの周囲光条件下の物体２０を表す。各ピクセルでの第１の照明源１４からの物体２０の照明（即ち、ピクセルで受光した第１の照明源からの光の振幅）は、第１の未知の変数であり、各ピクセルでの第２の照明源２４からの物体２０の照明（即ち、ピクセルで受光した第２の照明源２４からの光の振幅）は、第２の未知の変数であり、各ピクセルでの物体２０の周囲照明（即ち、ピクセルで受光した周囲光からの光の振幅）は、第３の未知の変数である。したがって、第１の照明源１４及び第２の照明源２４の変調関数が既知であり、ローリングシャッター画像センサ１２が変調関数と同期している（即ち、ローリングシャッター画像センサ１２が明確に規定された一定のフレームレートを有し、それにより、各画像フレーム２０６を捕捉するタイミングが、光源１４、２４の制御された変調のタイミングに対して正確にマッピングされる）ならば、また、周囲光強度が時間の経過と共に大きく変化しないと仮定すると、少なくとも３つの画像フレーム２１６がある場合は、３つの未知の変数が決定される。つまり、各照明源は、１つの未知数を導入し、周囲光は１つの未知数を有しているので、全ての未知数を解決するにはｎ＋１枚の画像フレームが必要である。ここで、ｎは照明源の数である。
【0037】
いくつかの実施例では、ローリングシャッター画像センサのフレームレートが一定でない場合がある。そのため、平均フレームレートは既知であるが、各画像フレームを捕捉する実際の開始時間と終了時間は不明である。したがって、各画像フレームを捕捉するタイミングを、照明源の変調に対して正確にマッピングすることができない。このような実施例では、各照明の変調周波数と位相も未知であるため、各照明源の変調周波数、位相、及び振幅は全て未知であり、周囲光が一定であると仮定すると、周囲光の振幅も未知である。したがって、３ｎ＋１個の未知数が存在する（ここで、ｎは照明源の数である）ため、これらの未知の変数を解決するには３ｎ＋１枚の画像フレームを捕捉する必要がある。更なる実施例では、周囲光が一定でない（即ち、周囲光も変調されている）ため、変調周波数と位相が不明であるため、更に２つの未知の変数が発生し、解決するには更に２つの画像フレームが必要になる。
【0038】
図２ｃは、画像フレーム２１６の例と、２つの異なる照明源１４、２４による画像フレーム２１６の時間５０の経過に伴う照明とを示している。この実施例では、照明源１４、２４は交互にパルスするように変調され、この実施例では、単一フレームに７つのパルスがある。光パルスの周波数は、ローリングシャッター画像センサ１２のフレーム捕捉レートの周波数を上回っていてもよい。
【0039】
ローリングシャッター画像センサ１２の性質上、画像センサ１２のバンドは常に光に敏感であり、このバンドのサイズはローリングシャッター画像センサ１２の各ラインの露光時間ｔｅに依存する。したがって、ローリングシャッター画像センサ１２の各ラインは、各照明源１４、２４に対応する空間強度関数５２で光強度を捕捉し、図２ｃに示すような空間強度パターンを生成する。照明源１４、２４のバイナリ変調があることによって、２つ以上の照明源１４、２４からの照明に一時的にさらされる画像フレーム２１６の場所でさえも空間強度関数５２を予測可能に且つ簡単に計算できる。露光時間を最小化すると、常に敏感であるバンドのサイズが最小化され、したがって、画像フレーム２１６の任意の部分での異なる照明源からの光の混合が最小限に抑えられ、第１の例の方法１００のステップ１０８における多重分離に必要な処理能力が少なくて済む。
【0040】
物体に対応する画像の全ての部分が、時間の経過と共に１つの照明源１４、２４からの照明に確実にさらされるようにするためには、照明源の変調が周期的である場合、各照明源１４、２４が、ローリングシャッター画像センサ１２のフレームレートの整数倍ではない周波数を有する必要がある。これにより、各照明源１４、２４の空間強度関数５２が確実に複数の画像フレーム２１６にわたって画像をドリフトダウンする。
【0041】
一例では、各照明源１４、２４の変調関数及びローリングシャッター画像センサ１２のフレーム捕捉レートが既知である場合、対応する空間強度関数を推定できる。この空間強度関数を使用して、各照明源及び周囲光条件下の物体に対応する捕捉された画像フレーム２１６の各々のバイナリ画像マスクを生成できる。このバイナリ画像マスクを使用して、対応する照明源１４、２４に関連しない各画像フレーム２１６内のピクセルを除去できる。つまり、照明源のバイナリ画像マスクは、対応する照明源が物体２０を照明しているときに反応しないピクセルを除去するために使用される。次に、第１の照明源１４に対応する捕捉された各画像のバイナリ画像マスクを使用して、第１の照明源１４のみの照明下の物体２０を表す第１の成分画像２１８の例を作成する。
【0042】
次に、第２の照明源２４に対応する捕捉された各画像フレーム２１６のバイナリ画像マスクを使用して、第２の照明源２４のみの照明下の物体２０を表す第２の成分画像２２８の例を作成する。同様に、周囲光条件下の物体２０に対応する捕捉された各画像のバイナリ画像マスクを使用して、周囲光条件下のみの物体２０を表す周囲画像２３８を作成する。
【0043】
この実施例における周期関数を有する各照明源１４、２４の変調関数は、これから空間強度関数を容易に導出できるため、ステップ１０８における多重分離を単純化し、必要な処理能力が少なくて済む。いくつかの実施例では、変調関数が周期的ではない場合や、ローリングシャッター画像センサのフレームレート以下の周波数を有する場合があることが理解されるであろう。いくつかの実施例では、変調関数が、照明源がパルスされるなどオン又はオフであるバイナリ関数である場合や、振幅が正弦波で変調されるなどの連続的である場合がある。
【0044】
各照明源に同じ変調関数がある必要はない。複数の照明源の変調関数が異なる場合もあれば、同じである場合は、互いに位相がずれている場合もある。
【0045】
変調関数には、位相、周波数、波形、及びデューティサイクルがある。
【0046】
波形は幾何学的波形であり得る。幾何学的波形は、三角（ｔｒｉｇｏｎｏｍｅｔｒｉｃ）波形、双曲波形、台形波形、又は矩形波形などであり得る。波形は複数の波形が重ね合わされていてもよい。波形が幾何学的波形の場合、空間強度関数の計算が簡単になるため、ステップ１０８で行う多重分離操作に必要な処理能力が少なくて済む。
【0047】
図１の実施例を参照して説明したように、物体が人間の顔である場合、人間の観察者が複数の照明源内のちらつきを知覚しないようにすることが望ましい。したがって、各変調関数の周波数は６０Ｈｚ以上であり得る。いくつかの実施例では、各変調関数の周波数は２００Ｈｚ以上であり得る。
【0048】
各照明源の固有の特性や周囲の動作条件によっては、複数の照明源内のちらつきを人間の観察者が知覚しないような各変調関数の周波数は、約６０Ｈｚであり得る。各照明源の固有の特性や周囲の動作条件に関係なく、各変調関数の周波数が２００Ｈｚ以上の場合、人間の観察者は複数の照明源内のちらつきを知覚しない。
【0049】
図３ａは、物体２０を分析する方法３００の第２の例のフローチャートである。この方法は、物体２０を分析するサブ方法の複数の分岐を含む。
【0050】
第２の例の方法３００は、前述したようにステップ１０２、１０４、１０６、及び１０８で構成されている図２ａに示す第１の例の方法１００を実行することから始まる。第１の例の方法１００の出力は、各照明源１４、２４によって照明された物体２０に対応する成分画像２１８、２２８、及び周囲画像２３８である。第１の例の方法１００から、第２の例の方法３００は、第１のサブ方法３０１、第２のサブ方法３０３、第３のサブ方法３０５のいずれか１つに進む。第２の例の方法３００には、これらのサブ方法の各サブ方法又はそれらの任意の組み合わせが含まれる。
【0051】
ステップ１０８において複数の画像フレーム２１６から多重分離された各成分画像２１８、２２８及び周囲画像２３８は、対応する複数のピクセルを含む。複数のピクセルの各々がピクセル値を有し、対応する成分画像２１８、２２８、又は周囲画像２３８内のピクセルの場所に対応するピクセルインデックスによって規定される。
【0052】
第１のサブ方法３０１はステップ３０２を含む。これは、捕捉され処理された画像フレームに関して第１のサブ方法３０１のステップを示す図３ｂに示されている。第２の例の方法３００は、各照明源１４、２４の固有の特性がローリングシャッター画像センサ１２に対する相対位置を含む場合、第１のサブ方法３０１に進む。
【0053】
ステップ３０２では、各ピクセルインデックスにおいて、成分画像２１８、２２８内の対応する場所におけるピクセル値に基づいて、反射のないピクセル値を計算することにより、成分画像２１８、２２８から鏡面反射のない画像３１２が生成される。例えば、鏡面反射のない画像３１２は、各ピクセルインデックスにおいて、成分画像２１８、２２８内の対応する場所（同じピクセルインデックスなど）において、成分画像２１８、２２８から最も低いピクセル値を選択することによって生成される。
【0054】
追加的に又は代替的に、ステップ３０２では、各ピクセルインデックスにおいて、成分画像２１８、２２８内の対応する場所におけるピクセル値に基づいて、反射のみのピクセル値を計算することにより、成分画像２１８、２２８から鏡面反射のみの画像が生成される。例えば、鏡面反射のみの画像は、各ピクセルインデックスにおいて、成分画像２１８、２２８内の対応する場所（同じピクセルインデックスなど）において、成分画像２１８、２２８から最も高いピクセル値を選択することによって生成される。
【0055】
別の実施例では、各ピクセルインデックスにおける反射のないピクセル値は、成分画像内の対応する場所において成分画像から局所光強度勾配を決定することによって計算される。次に、この局所光強度勾配を使用して、各成分画像内の対応する場所での鏡面反射の寄与を決定する。これを除去して、反射のないピクセル値が計算される。これの詳細については、Ｆｅｒｉｓ，Ｒ．、Ｒａｓｋａｒ，Ｒ．、Ｔａｎ，ＫＨ．他による「Ｓｐｅｃｕｌａｒ ｈｉｇｈｌｉｇｈｔｓ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒｅｄｕｃｔｉｏｎ ｗｉｔｈ ｍｕｌｔｉ－ｆｌａｓｈ ｐｈｏｔｏｇｒａｐｈｙ」（Ｊ Ｂｒａｚ Ｃｏｍｐ Ｓｏｃ １２、３５～４２（２００６））を参照されたい。これは、参照により本明細書に組み込まれる。
【0056】
第２の例の方法３００は、第１の例の方法１００から第２のサブ方法３０３に進んでもよい。図３ｃに、第２のサブ方法３０３を用いる第２の例の方法３００を示す。図３ｃは、捕捉され処理された画像フレームに関して方法のステップを示している。第２の例の方法３００は、各照明源１４、２４の固有の特性がローリングシャッター画像センサ１２に対する相対位置を含む場合、第２のサブ方法３０３に進む。
【0057】
第２のサブ方法３０３は、ステップ３０４から始まる。ステップ３０４では、各ピクセルインデックスについて、成分画像２１８、２２８、及び周囲画像２３８に基づいて、ピクセルインデックスにおいて物体２０の表面に垂直なベクトルのｘ成分、ｙ成分、及びｚ成分が決定される。図３ｃは、第１の成分画像２１８から導出された第１の法線ベクトルマップ（ｘ、ｙ、ｚ成分マップを含む）３１４、第２の成分画像２２８から導出された第２の法線ベクトルマップ３１６、及び周囲画像２３８から導出された第３の法線ベクトルマップ３１８を示している。
【0058】
第２のサブ方法３０３は、次にステップ３０６に進み、各ピクセルインデックスにおいて、ｘ成分、ｙ成分、及びｚ成分に基づいて深度値を計算することで、成分画像２１８、２２８、及び周囲画像２３８から深度マップを生成する。
【0059】
第２のサブ方法３０３は、例えば、Ｈｅｒｎａｎｄｅｚ，Ｃ、Ｖｏｇｉａｔｚｉｓ，Ｇ ＆ Ｃｉｐｐｏｌｌａ，Ｒの２００８年の「Ｍｕｌｔｉｖｉｅｗ ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第３０巻、第３号、５４８～５５４ページ）に説明されているようなランバート反射モデルを使用して実行される。これは、参照により本明細書に組み込まれる。
【0060】
第２の例の方法３００は、第１の例の方法１００から、ステップ３０８から始まる第３のサブ方法３０５に進んでもよい。ステップ３０８では、各ピクセルインデックスにおいて、周囲画像２３８のピクセル値を対応する成分画像２１８、２２８のピクセル値から差し引くことで、各成分画像の周囲光が補正された画像が生成される。
【0061】
各成分画像２１８、２２８は、対応する照明源１４、２４からの照明下の物体を表しているため、対応する周囲光補正画像は、周囲光条件の影響が補正された対応する照明源１４、２４からの照明下の物体２０を表す。
【0062】
この実施例では、ステップ３０８に続いて、第３のサブ方法３０５がステップ３０９に進む。他の実施例では、第３のサブ方法３０５はステップ３０８で終わり、ステップ３０９に進まない場合がある。第３のサブ方法３０５は、各照明源の固有の特性が波長を含む場合に、ステップ３０９に進む。したがって、第１の例の方法１００で生成された成分画像２１８、２２８は各々異なる波長の光で照明された物体２０を表しており、各周囲光補正画像は、周囲光条件が補正された異なる波長の光によって照明された物体２０を表している。
【0063】
ステップ３０９では、各ピクセルインデックスにおいて、周囲光補正画像のピクセル値に関連付けられた生理学的パラメータを決定することで、周囲光補正画像から生理学的成分マップが生成される。生理学的パラメータは、酸素化ヘモグロビンレベル、脱酸素化ヘモグロビンレベル、又はメラニンレベルなどである。生理学的パラメータは、物体２０が皮膚表面を構成している場合など、物体が生物体の一部を形成している場合に、物体の健康状態を示すことができる。
【0064】
いくつかの実施例では、生理学的成分マップを生成することは、Ｓｅｔｉａｄｉ，Ｉｗａｎ＆Ｎａｓｕｔｉｏｎ，Ａｕｌｉａ＆Ｃｈａｎｄｒａ，Ｔｈｅｏｄｏｒｅ．（２０１９）の「Ａ ｎｅｗ ＬＥＤ－ｂａｓｅｄ ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ｂｌｏｏｄ ａｎｄ ｍｅｌａｎｉｎ ｃｏｎｔｅｎｔ ｅｓｔｉｍａｔｉｏｎ：Ｔｈｅ ｖａｌｉｄａｔｉｏｎ」（ＡＩＰ会議議事録。２１９３．０５００１７．１０．１０６３／１．５１３９３９０）に説明されているようなクベルカ－ムンク（Ｋｕｂｅｌｋａ－Ｍｕｎｋ）モデルに基づいている。これは、参照することにより本明細書に組み込まれる。
【0065】
ステップ３０９で使用されるアルゴリズムは、生理学的パラメータが、対応する周囲光補正画像のピクセル値に関連付けられていると仮定する。そして、周囲光補正画像は、対応する照明源からの照明下の物体を表す。
【0066】
他の実施例では、数値モデルを使用して、各ピクセルインデックスにおいて、周囲光補正画像のピクセル値に関連付けられた生理学的パラメータが決定される。この数値モデルは、周囲光補正画像のピクセル値に基づいて生理学的パラメータを予測するための機械学習アルゴリズムに基づいていてもよい。
【0067】
ステップ３０２、３０４、３０６、３０８、及び３０９は、任意の適切な順序で行われてもよいことが理解されるであろう。
【0068】
図４は、物体を分析する方法４００の第３の例のフローチャートである。
【0069】
第３の例の方法４００は、図２ａを参照して説明したようにステップ１０２、１０４、１０６、及び１０８で構成されている第１の例の方法１００を実行することから始まる。第１の例の方法では、捕捉された複数の画像フレーム２１６は第１の複数の画像フレーム２１６であり、成分画像２１８、２２８は第１の成分画像２１８、２２８であり、周囲画像２３８は第１の周囲画像２３８である。第３の例の方法４００では、次に、図３ａを参照して説明したように、第１の成分画像２１８、２２８の各々に対して、第１の周囲光補正画像が生成され、生理学的パラメータマップが生成されるステップ３０８及びステップ３０９を含む第３のサブ方法３０５を実行する。他の実施例では、第３の例の方法４００から第３のサブ方法３０５を省略したり、第３の例の方法４００で第３のサブ方法３０５からステップ３０９を省略したりすることができる。
【0070】
第３の例の方法４００は更に、ローリングシャッター画像センサ１２を使用して物体２０を表す第２の複数の画像フレームを捕捉するステップ４０６を含む。第２の複数の画像フレームは、図２ａを参照して説明したステップ１０２と同様のやり方で捕捉される。
【0071】
第３の例の方法４００は次に、第２の複数の画像フレームを、第２の成分画像（各々、対応する照明源１４、２４からの照明下の物体２０を表す）と、周囲光条件下の物体２０を表す第２の周囲画像とに多重分離するステップ４０８に進む。ステップ４０８は、図２ａを参照して説明したステップ１０４～１０８と同様のやり方で実行される。
【0072】
第３の例の方法４００は次に、図３ａを参照して説明した第３のサブ方法３０５のステップ３０８と同様のやり方で、第２の周囲光補正画像が生成されるステップ４１０に進む。
【0073】
第３の例の方法４００は更に、図３ａを参照して説明した第３のサブ方法３０５のステップ３０９で生成された生理学的パラメータマップと同様のやり方で生理学的パラメータマップが生成されるステップ４１２に進む。いくつかの実施例では、第３の例の方法４００から第３のサブ方法３０５が省略された場合、ステップ４１０～４１２も第３の例の方法から省略される。第３の例の方法４００の第３のサブ方法３０５からステップ３０９が省略された場合、ステップ４１２も省略される。
【0074】
第３の例の方法４００は、第１の周囲光補正画像と第２の周囲光補正画像との間の生理学的成分マップの変化がモニタリングされるステップ４１４に進む。
【0075】
第３の例の方法４００は、時間の経過に伴う変化を検出するためにモニタリングされる周囲光補正画像及び生理学的成分マップを生成すると説明されているが、図３ａ及び図３ｃを参照して説明した深度マップにも同様の方法を適用できることが理解されるであろう。この場合、ステップ４１４は、時間の経過に伴う深度マップ又は鏡面反射のない画像の変化をモニタリングする。
【0076】
実施例では２つの照明源があるものとして説明されているが、任意の適切な数の照明源があってもよいことが理解されるであろう。前述の方法のいずれかにおいて、少なくとも１つの照明源が光源の集合体を含んでいてもよい。この場合、各光源が明確に異なる波長によって規定される。この方法は更に、ステップ１０８において、成分画像を、対応する光源からの照明下の物体を各々が表す複数の光画像に多重分離する。
【0077】
一例では、成分画像がＲＧＢ形式で、ローリングシャッター画像センサの各ＲＧＢチャンネルの相対分光感度が既知である場合、各光源から各成分画像に提供される照明の寄与が決定される。そして、各光源から提供される照明の寄与は、各成分画像から抽出されて、各光源からの照明下の物体２０を表す光画像が生成される。
【0078】
各光源の波長は、光源の集合体が白色光のような選択された色として人間の観察者によって知覚されるように選択され得る。これにより、ユーザにとってあまり煩わしくないように、ユーザに対して着色光のちらつきが軽減される。
【0079】
開示された実施形態の変形例は、図面、開示、及び添付の特許請求の範囲の検討から、本明細書に説明する原理及び技法を実践する際に当業者によって理解され、実行され得る。特許請求の範囲において、語「含む」は、他の要素又はステップを排除するものではなく、単数形の要素は複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用することができないことを意味するものではない。コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される、光記憶媒体又はソリッドステート媒体などの任意の適切な媒体に格納又は配布することができるが、インターネット又は他の有線若しくは無線通信システムを介してなど他の形式で配布することもできる。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。
【要約】
一態様によれば、物体を分析する方法が提供される。この方法は、少なくとも２つの照明源から提供される照明で物体を照明するステップであって、各照明源は、少なくとも１つの明確に異なる固有の特性で規定されている、照明するステップと、変調関数に従って、各照明源から提供される照明を時間的に変調するステップと、ローリングシャッター画像センサを使用して、物体を表す複数の画像フレームを捕捉するステップと、複数の画像フレームを、対応する照明源からの照明下の物体を各々表す複数の成分画像と、周囲光条件下の物体を表す周囲画像とに多重分離するステップとを含む。
【図1】
【図2a】
【図2b】
【図2c】
【図3a】
【図3b】
【図3c】
【図4】