(58)【調査した分野】(Int.Cl.,DB名)
前記方程式を解くステップは、簡易化された方程式を得るために参照方程式を減算するための演算を含み、前記参照方程式は、前記参照画像から得られる、請求項7に記載の方法。
前記センサ(12)は、写真撮影装置、カメラ、マルチチャネル撮像装置及びハイパースペクトル撮像装置からなる群から選択される、請求項10〜12のいずれか一項に記載のデバイス。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従って、信頼性が高くかつ実装し易い、反射率を決定するための方法が必要である。
【課題を解決するための手段】
【0007】
この目的のため、物体の反射率を決定するための方法であって、
− 未知で可変の照射を有する外部の光源を使用して、物体に照射するステップと、
− 物体に照射する少なくとも1つの光のフラッシュを放射するステップであって、光のフラッシュの各々は、放射源によって放射されて、波長範囲内の既知の照射を有する、ステップと、
− 物体によって反射された波を収集して、センサ上で少なくとも1つの画像を形成するステップと、
− 幾つかの未知数を伴う方程式を得るステップであって、方程式は形成された画像から得られ、物体の反射率及び外部の光源の照射が方程式の2つの未知数である、ステップと、
− 方程式を解くステップと
を含み、
方程式を解くステップは、
− 方程式の解の定義点を計算するステップと、
− 計算された定義点を補間関数によって補間するステップと、
− 方程式を解くために、以下の近似:
・各画像が別個の光のフラッシュの放射から導出されるとする第1の近似、
・補間関数が方程式の安定点を決定するとする第2の近似、
・光のフラッシュの放射の時点の外部の光源の照射はその前の時点の外部の光源の照射と等しいとする第3の近似
の少なくとも1つを使用するステップと
を含む、方法が提案される。
【0008】
物体の反射率ρを決定するためのこのような方法は、実行し易いものであり、可変の外部の光源を用いる場合でも、物体の実際の反射率ρの信頼できるモデルを得ることを可能にする。このような実装形態により、方法の精度を保持しながら計算時間を低減することができる。
【0009】
特定の実施形態によれば、物体の反射率を決定するための方法は、単独と見なされるか又は技術的に可能な任意の組み合わせ従って、以下の特徴の1つ又は複数を含む。
− 放射源及びセンサは同じ装置上に配置される。
− 複数の光のフラッシュが放射され、フラッシュの各々が最大波長照射を有し、収集するステップは、放射された光のフラッシュの各々に対して実行され、また少なくとも2つの光のフラッシュは、少なくとも20ナノメートルだけ離れた最大照射を有する。
− 収集するステップは同じ光のフラッシュに対して数回実行され、得られた方程式は方程式の過剰決定系であり、解くステップは、複数の反射率関数を得るために、第1の近似を使用することによって複数の決定された方程式系に対して実行され、当該方法は、複数の反射率関数の平均を計算することにより、物体の反射率を計算するステップをさらに含む。
− 方程式を解くステップ中に第2の近似が使用され、補間関数は、具体的には3次スプラインにおける有限数の補間点によってシールされた基底関数の重み付け組み合わせであり、各補間点が方程式の安定点である。
− 複数の光のフラッシュが放射され、フラッシュの各々が最大波長照射を有し、収集するステップは、放射された光のフラッシュの各々に対して実行される。補間点は、少なくとも以下の特性:補間点の数がフラッシュの数と等しいことを検証する。
− 第3の近似が用いられ、この方法は、放射源によって放射されるフラッシュが存在しない場合、センサ上で少なくとも1つの画像を形成するために、物体によって反射された波を収集することによって参照画像を得るステップを含む。
− 方程式を解くステップは、簡易化された方程式を得るために参照方程式を減算するための演算を含み、参照方程式は、参照画像から得られる。
− この方法は、
・外部の光源の照射の変動時間間隔を推定するステップと、
・第1の近似を有効な状態に維持するために、推定した変動時間間隔から、参照画像を得るステップを反復する頻度を決定するステップと
をさらに含む。
− 当該方法は、光の流れの形態で表現されるカラー光源を放射することができる手段及び電子カラー画像センサを含むデバイスを使用して、物体の少なくとも1つのポイントにおける均等拡散反射率
ρOBJ(λ)を測定するための方法において、
・着色光の流れの形態のカラー光源を放射することができる前記手段
の照射フィールド内に位置し、前記電子カラー画像センサの視野内に位置するゾーンに前記物体を配置するステップであって、前記物体は、未知で一定の周辺の外部の光の流れI
ext(λ)の形態の外部の光源にもさらされ、λは、一連のN個の光源S
SOURCE(λ)
iの前記手段による放射の波長を指定し(ここで、Nは、1より大きい自然整数であり、iは、1〜Nで様々であり、λは、波長である)、S
SOURCE(λ)
iは、着色光の流れを放射することができる前記手段の入力パラメータの関数として知られている、ステップと、前記電子カラー画像センサにより、前記物体の少なくとも1つのポイントにおいて、センサに入る反射された光の流れを捕捉するステップであって、前記光の流れがE
capteur(λ)
iであり、Nが厳密に2より大きい自然整数であり、iが1〜Nで様々であり、λが波長である、ステップと、光波の加法的な性質に起因して、物体(30)の少なくとも1つのポイントにおける均等拡散反射率
ρOBJ(λ)の定義により、
E
capteur(λ)
i=
ρOBJ(λ)
*(I
ext(λ)+S
SOURCE(λ)
i)
のようにN個の方程式「E
i」を得るステップと、
・前記デバイスを介して、
− 選択された測色ベースで各感度を示すために参照b
jを使用することにより、放射源スペクトルとセンサスペクトルとの交差上で各方程式E
iを積分することであって、各方程式E
iは、従って、「E
i積分」方程式の組:
【数1】
を生成する、積分することにより、
− ディジタル画像センサからの出力パラメータを使用して、積分方程式E
iの左項に対応する数値を計算することにより、
− 2つの未知の連続関数
ρOBJ(λ)及びI
ext(λ)の連続性質を保持するために少なくとも1つの補間関数s(λ)によって結び付けられた有限数の補間点(λ
i,y
i)を使用して、前記未知の連続関数
ρOBJ(λ)及びI
ext(λ)を表現することであって、λ
iは、放射源スペクトルとセンサスペクトルとの交差上で選択された波長であり、所定の精度で補間点の数を最小化するために選択された方法の入力パラメータである、表現することにより、
− 積分方程式E
iから生じた最小二||A
*X−B||
2の系を最小化する関数
ρOBJ(λ)及びI
ext(λ)のパラメータy
iを求めることにより、
N個の方程式E
iの系を解くことにより、2つの未知の連続関数
ρOBJ(λ)及びI
ext(λ)を決定するステップと
を含むことを特徴とする方法である。
− 当該方法は、外部の光源I
ext(λ)の値を決定するためのステップをさらに含む。
− 当該方法は、所定の光源に対して物体の少なくとも1つのポイントにおける均等拡散反射率関数
ρOBJ(λ)をCIE XYZ座標に転写するためのステップをさらに含む。
− 物体の少なくとも1つのポイントにおける均等拡散反射率
ρOBJ(λ)及び外部の光源I
ext(λ)の値を決定するため、フラッシュの数は、補間点の数とほぼ同じ程度の大きさのものである。
− 当該方法は、幾つかのスペクトルバンドにおける、物体の少なくとも1つのポイントにおける均等拡散反射率
ρOBJ(λ)及び外部の光源I
ext(λ)の値を決定するためのステップを含む。
− 当該方法は、物体の分光写真を撮り、色順応(ホワイトバランス調整)を自由に実行するために実装される。
− 当該方法は、以下の群:材料、固体、液体、気体、塗料、壁紙、グラフィックス、織物、プラスチック、木材、金属、土壌、鉱物、植物及び食物に含まれる要素の色を測定するために実装される。
− 当該方法は、人間、及び以下の群:皮膚、吹き出物、ほくろ、頭皮、毛髪、化粧及び歯に含まれる少なくとも1つの要素の有機体に対する医療又は美容の目的で色を測定するために実装される。
− 当該方法は、1つ又は複数の次元を有するカラーバーコードの使用のために実装される。
− 当該方法は、色盲及び/又は盲目の人を支援することを目的として実装される。
【0010】
また、本説明は、物体の反射率を決定するためのデバイスであって、
物体は、未知で可変の照射を有する外部の光源によって照射され、
当該前記デバイスは、
− 物体に照射する少なくとも1つの光のフラッシュを放射することができる放射源であって、光のフラッシュの各々は、波長範囲内の既知の照射を有する放射源によって放射される、放射源と、
− 物体によって反射された波を収集することによって、少なくとも1つの画像を形成することができるセンサと、
− 以下のステップ:
・幾つかの未知数を伴う方程式を得るステップであって、方程式は、形成された画像から得られ、物体(4)の反射率及び外部の光源(6)の照射が方程式の2つの未知数である、ステップと、
・方程式を解くステップと
を実行することができる処理ユニット(14)と
を含み、
方程式を解くステップは、
− 方程式の解の定義点を計算するステップと、
− 計算された定義点を補間関数によって補間するステップと、
− 方程式を解くために、以下の近似:
・各画像が別個の光のフラッシュの放射から導出されるとする第1の近似、
・補間関数が方程式の安定点を決定するとする第2の近似、
・光のフラッシュの放射の時点の外部の光源の照射は、その前の時点の外部の光源の照射と等しいとする第3の近似
の少なくとも1つを使用するステップと
を含む、デバイスにも関する。
【0012】
特定の実施形態によれば、物体の反射率を決定するためのデバイスは、単独と見なされるか又は技術的に可能な任意の組合せに従って以下の特徴の1つ又は複数を含む。
− センサ及び放射源は同じ装置上に配置される。
− 放射源は、発光画面、又は、発光ダイオードのセットである。
− センサは、写真用カメラ、カメラ、マルチチャネル撮像装置及びハイパースペクトル撮像装置からなる群から選択される。
− 装置はスマートフォンである。
− 当該デバイスは、カラーフラッシュを放射するための光源のセットと、対象物体によって反射された光を捕捉するための電子画像センサとを実装する。
− 当該デバイスは、内蔵又はリムーバブルフラッシュを備えたフォトグラフィックカメラ又はカメラである。
− 当該デバイスは、カラーフラッシュの放射及び知覚を通過させるための導波路を実装する。
− 当該デバイスは、物体の分光写真を撮り、色順応(ホワイトバランス調整)を自由に実行するために実装される。
− 当該デバイスは、以下の群:材料、固体、液体、気体、塗料、壁紙、グラフィックス、織物、プラスチック、木材、金属、土壌、鉱物、植物及び食物に含まれる要素の色を測定するために実装される。
− 当該デバイスは、人間、及び以下の群:皮膚、吹き出物、ほくろ、頭皮、毛髪、化粧及び歯に含まれる少なくとも1つの要素の有機体に対する医療又は美容の目的で色を測定するために実装される。
− 当該デバイスは、1つ又は複数の次元を有するカラーバーコードの使用のために実装される。
− 当該デバイスは、色盲及び/又は盲目の人を支援することを目的として実装される。
− デバイスは、物体の少なくとも1つのポイントにおける均等拡散反射率
ρOBJ(λ)を測定するために、色の光の流れの形態のカラー光源を放射することができる手段及び電子カラー画像センサをさらに含み、物体は、色を放射することができる前記手段
の照射フィールド内に位置し、電子カラー画像センサの視野内に位置するゾーンに配置され、I
ext(λ)で示される一定で未知の周辺の外部の光の流れの形態の外部の光源にさらされる。また、デバイスは、
・一連のN個の光源S
SOURCE(λ)
iを放射する手段(ここで、Nは、1より大きい自然整数であり、iは、1〜Nで様々であり、λは、波長である)であって、S
SOURCE(λ)
iは、着色光の流れを放射することができる前記手段の入力パラメータの関数として知られている、手段と、前記電子カラー画像センサにより、前記物体の少なくとも1つのポイントにおいて、センサに入る反射された光の流れを捕捉する手段であって、前記光の流れはE
capteur(λ)
iであり、Nは厳密に2より大きい自然整数であり、iは1〜Nで様々であり、λは波長である、手段と、光波の加法的な性質に起因して、物体の少なくとも1つのポイントにおける均等拡散反射率
ρOBJ(λ)の定義により、
E
capteur(λ)
i=
ρOBJ(λ)
*(I
ext(λ)+S
SOURCE(λ)
i)
のようにN個の方程式「E
i」を得る手段と、
・以下:
− 選択された測色ベースで各感度を示すために参照b
jを使用することにより、放射源スペクトルとセンサスペクトルとの交差上で各方程式E
iを積分することであって、各方程式E
iは、従って、「E
i積分」方程式の組:
【数3】
を生成する、積分することにより、
− ディジタル画像センサからの出力パラメータを使用して、積分方程式E
iの左項に対応する数値を計算することにより、
− 2つの未知の連続関数
ρOBJ(λ)及びI
ext(λ)の連続性質を保持するために少なくとも1つの補間関数s(λ)によって結び付けられた有限数の補間点(λ
i,y
i)を使用して、前記未知の連続関数
ρOBJ(λ)及びI
ext(λ)を表現することであって、λ
iは、放射源スペクトルとセンサスペクトルとの交差上で選択された波長であり、所定の精度で補間点の数を最小化するために選択された方法の入力パラメータである、表現することにより、
− 積分方程式E
iから生じた最小二乗||A
*X−B||
2の系を最小化する関数
ρOBJ(λ)及びI
ext(λ)のパラメータy
iを求めることにより、
N個の方程式E
iの系を解くことにより、2つの未知の連続関数
ρOBJ(λ)及びI
ext(λ)を決定する手段と
を含む。
【0018】
本発明の他の特徴及び利点は、図面を参照して単なる例として提供される本発明の実施形態の以下の説明を読むことで明らかになる。
【発明を実施するための形態】
【0020】
図1には、物体4の反射率を決定するためのデバイス1と、物体4と、外部の光源6とが示されている。
【0021】
物体4の反射率を決定するためのデバイス1は、放射源10と、センサ12と、処理ユニット14とを含んでいる。
【0022】
決定デバイス1は、物体4の反射率を決定するための方法を実行することができ、その実施形態の例は、
図2に示されている。
【0023】
【数9】
によって示される物体の実際の反射率は、λで示される波長の関数
【数10】
である。
【0024】
反射率は、色の意味において、物体4の色に関する情報を提供する。物体4の反射率は、物体4の反射表面の材料に左右される。
【0025】
物体4の反射率は、物体4が受けた照射と物体4が反射した輝度との比率として定義される。
【0026】
輝度は、表面の明度の視覚に対応する特性である。物体4が受けた輝度は、物体4が受けた光の強度を物体4の可視表面の面積で除した商として定義される。物体4が反射した輝度は、物体4が反射した光の強度を物体4の可視表面の面積で除した商として定義される。可視表面は、観察方向に垂直な物体4のエリアの投影である。
【0027】
物体4への照射は、物体4が受けた輝度及び観察幾何学から知られる。
【0028】
決定方法では、物体4の表面は、ランバート面と考えられる。ランバート面は、輝度が観察方向と無関係の表面である。物体4の表面の鏡面反射成分(すなわち、その光沢がある外観)は、無視できるか、又は光源10、物体4及びセンサ12間の適切な幾何学的配置のために、デバイス1によって収集されないものと仮定される。
【0029】
物体4への照射は、表面単位が受けた光の流れに対応する。
【0030】
反射率の決定は、規格によれば、波長の範囲にわたる物体4の実際の反射率
【数11】
にできる限り近い決定された反射率(ρで示される)を見出すことからなる。波長の範囲は、決定デバイス1の放射源10及びセンサ12に左右される。例えば、反射率は、可視領域の波長の範囲にわたって決定される。
【0031】
残りの説明において、決定された反射率はρで示される。
【0032】
決定方法によって決定された反射率ρは、以下で説明されるように、有利には、波長の範囲にわたる実際の反射率
【数12】
に近い。
【0033】
実際の反射率
【数13】
に対する、決定された反射率ρの誤差Fは、実際の反射率
【数14】
と、決定された反射率ρとの間の標準偏差から定義された波長の関数である。
【0034】
決定された反射率ρが全ての波長に対して実際の反射率
【数15】
と等しい場合、誤差Fは零関数である。これは、誤差Fが高いほど、決定された反射率ρと、実際の反射率
【数16】
との間の偏差が大きいことを示している。
【0035】
反射率ρを決定するための方法と、物体4の反射率ρを決定するためのデバイス1とは、いかなる物体4の反射率ρをも決定することにおいて、適用可能であることが理解される。
【0036】
例えば、物体4は、患者の皮膚の一部、カラーバーコード、塗料、ファンデーションなどの化粧品又は同様のものである。
【0037】
物体4は、物体4の未知数の照射源を含む環境に配置される。物体4を排除する放射源のセットは、物体4の反射率を決定するための方法中に変えることができる。その上、物体4に照射する決定デバイス1の放射源10とは別の異なる放射源からの照射は、物体4の反射率を決定するための方法中に変動させることができる。
【0038】
例えば、光が当たる窓に配置された物体4は、未知で可変の光の流れを伴う、窓を通過する昼光による照射及び店内の電球による照射を受ける。
【0039】
物体4に照射する決定デバイス1の放射源10とは別の放射源のセットは、Iで示される、時間の関数としての未知で可変の照射を有する外部の光源6で表される。
【0040】
外部の光源6の照射Iは、物体4に照射するデバイス10の放射源とは別の物体4の照射源の変動のセットに左右される。
【0041】
特定の条件下では、外部の光源6の照射Iは固定される。
【0042】
各時点において、物体4は、外部の光源6による照射を受け、任意選択的に、放射源10による照射を受ける。物体4が受ける照射は、決定デバイス1の放射源10からの照射と、外部の光源6からの照射との総和である。
【0043】
各時点tにおいて、外部の光源6による照射を受け、任意選択的に、放射源10による照射を受ける物体4は、物体4の実際の反射率
【数17】
に応じて、波20を反射する。
【0044】
図1に示される決定デバイス1の実施形態では、センサ12及び放射源10は、同じ装置16上に配置される。
【0045】
例えば、装置16は、タッチセンサ式のタブレット、携帯電話、スマートフォン、又は同様のものである。
【0046】
放射源10は、物体4に照射する少なくとも1つの光のフラッシュ18を放射することができる。
【0047】
例えば、放射源10は、発光画面、又は、電球のセットである。例えば、電球のセットは、発光ダイオード(LED)のセットである。
【0048】
光のフラッシュ18は、短い時間間隔中に放射される光の流れである。例えば、放射時間間隔は、1ms(ミリ秒)〜2s(秒)で構成される。放射時間間隔は、放射源10及びセンサ12の特性に左右される。
【0049】
光のフラッシュ18の光の流れは、放射源10に応じて、波長の関数としての放射強度を有する。
【0050】
放射源10は、可視領域においてフラッシュ18の各々を放射することができる。これは、フラッシュ18の各々に対して、放射強度が、380nm(ナノメートル)〜800nmで構成される少なくとも1つの波長について、人間の目による知覚の閾値を上回ることを意味する。代替として又は加えて、放射源10は、赤外線領域において、具体的には800nm〜1000nmで構成される波長で放射することができる。
【0051】
放射源10によって放射された各光のフラッシュ18iは、E
iで示される物体4への照射を有し、波長に左右される。各フラッシュiに対して、波長の範囲内の照射E
iは、放射源10の既知の特性である。放射源10の特性は、メモリに保存される。
【0052】
放射源10の特性は、決定方法を実行する前に決定される。
【0053】
波長の範囲は、最小波長値λ
min及び最大波長値λ
maxによって区切られる。波長の範囲の各波長は、最小波長値λ
min〜最大波長値λ
maxで構成される。波長の範囲は、フラッシュ18を放射するため及び受けるために使用される放射源10及びセンサ12に左右される。
【0054】
放射源10は、光のフラッシュ18を放射することができる。フラッシュiの照射E
iは、波長の範囲における最大照射を有する。最大照射は、波長の関数としての照射E
iの極大値である。フラッシュiの最大照射は、λ
iで示される波長である。
【0055】
放射源10がフラッシュを放射する時点は、放射時点と呼ばれる。フラッシュiの各放射時点はt
iで示される。各フラッシュiの放射時点t
iは、メモリに保存されるデータである。
【0056】
放射源10は、幾つかのフラッシュ18を連続して放射することができる。連続したフラッシュi、jの2つの放射時点t
i及びt
j間の時間間隔は、例えば1ms〜2sで構成される。
【0057】
放射源10は、異なる色の(すなわち異なるスペクトルを有する)幾つかのフラッシュ18を放射することができる。放射源10は、少なくとも20ナノメートル(nm)だけ離れた波長λ
i及びλ
jの最大照射を有する、光18の少なくとも2つの放射フラッシュi、jを放射することができる。
【0058】
一例では、放射源10は、4つのフラッシュ(すなわち青色のフラッシュ、赤色のフラッシュ、緑色のフラッシュ及び白色のフラッシュ)を放射することができる。
図3では、各曲線110、112、114、116は、外部の光源6なしでの、それぞれのフラッシュに対する、波長の関数としての放射源10による物体4への照射を示している。
図3では、第1の曲線110に対応する青色のフラッシュ「flash1」は、λ
flash1の値において最大照射を有し、112で示される第2の曲線に対応する赤色のフラッシュ「flash2」は、λ
flash2の値において最大照射を有する。
【0059】
センサ12は、少なくとも1つの画像を形成するために、物体4によって反射された波20を収集することができる。
【0060】
例えば、センサ12は、写真用カメラ又はカメラである。
【0061】
センサ12は、放射源10の放射波長範囲内で光の強度を検出することができる。
【0062】
波長範囲内のセンサ12の感度は、メモリに格納されるセンサ12の特性である。センサ12の特性は、決定方法を実行する前に決定される。
【0063】
その上、センサ12の感知部は、放射源10に向けて方向付けられていない。これにより、放射源10によって放射される光のフラッシュ18からの直接光によって反射波20の収集が妨げられないようにすることができる。
【0064】
形成された画像は、測色データを含む。形成された画像kの各々に対して、画像からのデータはB
kで示される。
【0065】
センサ12が画像を提供する時点は、収集時点と呼ばれる。画像kの各収集時点はt
kで示される。同様に、各画像kの収集時点t
kは、メモリに保存されるデータである。
【0066】
センサ12は、幾つかの画像を連続して収集することができる。センサ12は、高速である(すなわち、センサ12は、近い収集時点で画像を形成することができる)。連続したフラッシュ画像k、lの2つの収集時点t
k及びt
l間の時間間隔は、例えば1ms〜2sで構成される。
【0067】
図1に示されるデバイス1の実施形態では、処理ユニット14は、放射源10及びセンサ12が配置される装置16上に配置される。
【0068】
処理ユニット14は、例えばプロセッサ及びメモリを含む。
【0069】
処理ユニット14は、データを処理することができる。加えて、処理ユニット14は、それぞれの形成された画像k及び各収集時点t
kに対するデータをセンサ12から受信し、放射された各フラッシュiの照射E
iに対する放射時点t
iにおけるデータを放射源10から受信することができる。
【0070】
処理ユニット14は、形成された画像から、幾つかの未知数を伴う方程式を得ることができる。以下では、得られた方程式は、解くべき方程式(1)と呼ばれる。
【0071】
物体4の反射率ρ及び外側の光源6の照射Iは、両方とも解くべき方程式(1)の未知数である。
【0072】
その上、処理ユニット14は、解くべき方程式(1)を解くことを保証することができる。
【0073】
処理ユニット14によって解くべき方程式(1)を得ること及び解くべき方程式(1)を解くことについては、説明の続きにおいて説明する。
【0074】
ここで、
図2を参照してデバイス1の操作について説明する。
図2は、物体4の反射率ρを決定するための方法の実装形態の第1の例のフローチャートである。
【0075】
反射率ρを決定するための方法は、以下の5つのステップ:照射ステップ100、放射ステップ102、収集ステップ104、得るステップ106及び解くステップ108を含む。
【0076】
照射ステップ100中、tで示される各時点において、物体4は、照射I
tを有する外部の光源6による照射を受ける。
【0077】
放射ステップ102は、デバイス1の放射源10によって実行される。
【0078】
放射ステップ102中、放射源10は、放射時点t
iにおいて、物体4に照射する光のフラッシュiを放射する。
【0079】
好ましい一実施形態では、放射ステップ中、放射源10は、複数の光のフラッシュ18を放射し、各フラッシュiは、異なる放射時点t
iに放射される。
【0080】
各光の放射フラッシュ18iの放射時点t
i及び照射E
iは、処理ユニット14に送信される。
【0081】
収集ステップ104は、デバイス1のセンサ12によって実行される。
【0082】
収集ステップ104中、物体4によって反射された波20は、収集時点においてセンサ12上で少なくとも1つの画像を形成するために収集される。
【0083】
好ましい一実施形態では、収集ステップ104は、光の放射フラッシュ18の各々に対して実行される。
【0084】
収集時点及び形成された画像に対するデータは、処理ユニット14に送信される。
【0085】
処理ユニット14は、放射源10及びセンサ12からそれぞれ形成された、フラッシュからの照射に対する、放射時点t
i、収集時点t
k及び画像におけるデータを受信する。
【0086】
得るステップ106中、解くべき方程式(1)が得られる。
【0087】
得るステップ106は、処理ユニット14によって実行される。
【0088】
処理ユニット14は、それぞれの形成された画像を方程式に変換する。
【0089】
例えば、各画像kに対して、処理ユニット14は、画像kの収集時点t
kがフラッシュの放射時点に起こるかどうかを判断する。
【0091】
第1の事例では、画像iの収集時点t
iがフラッシュの放射時点である場合、フラッシュはiで示され、処理ユニット14は、画像kから、形成された画像iからのデータB
iを物体4の反射率ρにリンクする第1の方程式(2)を得る。
【0092】
次いで、第1の方程式(2)は、ランバート面の事例では、以下の形態で記載される。
【数18】
ただし、上式において、K
1は第1の定数であり、「
*」は乗算演算である。また、
【数19】
は、間隔[λ
min,λ
max]において変数λの関数fを積分するための数学演算である。
【0093】
第2の事例では、画像kの収集時点t
kがフラッシュの放射時点でない場合、処理ユニット14は、画像kから、形成された画像kからのデータB
kを物体4の反射率ρにリンクする第2の方程式(3)を得る。
【0094】
次いで、第2の方程式(3)は、以下の形態で記載される。
【数20】
【0095】
次いで、処理ユニット14は、解くべき方程式(1)を形成するために、少なくとも第1の方程式(2)又は第2の方程式(3)を抽出する。
【0096】
有利には、解くべき方程式(1)は、幾つかの形成された画像に対して得られた第1の方程式(2)及び/又は第2の方程式(3)から形成される方程式の系である。
【0097】
方程式(1)は、N1の第1の方程式(2)及びN2の第2の方程式(3)を含む。N1は、放射時点である収集時点に形成された画像の非ゼロの自然整数である。N2は、フラッシュ放射なしで収集時点に形成された画像の整数である。
【0098】
物体4の反射率ρ及び外側の光源6の照射Iは、両方とも解くべき方程式(1)の未知数である。
【0099】
以下では、解くべき方程式(1)は、ランバート面の場合、行列方程式の形態で容易に表せることに留意すべきである。
【0100】
得るステップ106の終了時、解くべき方程式(1)は、処理ユニット14を使用して得られている。
【0101】
次いで、解くステップ108は、処理ユニット14によって実行される。
【0102】
解くステップ108は、解くべき方程式(1)を解くことを目的とする。
【0103】
より具体的には、解くステップ108中、目的は、解くべき方程式(1)の解である反射率ρを求めることである。
【0104】
一般的な事例では、解くべき方程式(1)の解は、観察及び/又はモデリング誤差による影響を強く受ける。
【0105】
解ρに対する誤差の影響を制限するため、解くステップ108中に3つのサブステップを組み合わせることが提案される。
【0106】
結果的に、
図2の実施形態の例によれば、解くステップ108は3つのサブステップを含む。
【0107】
解くステップ108の3つのサブステップ150、152、154は、処理ユニット14によって連続して又は並行して実行される。
【0108】
第1のサブステップ150中、解くべき方程式(1)の解の定義点が計算される。
【0109】
処理ユニット14は、計算すべき解の定義点Pの数Nを決定する。計算すべき解の定義点Pの数Nは、非ゼロの自然整数である。
【0110】
計算すべき解の定義点Pの各々は、2つの座標(すなわちx座標及びy座標)を含む。
【0111】
提案される例によれば、最初にx座標が決定され、次いで関連するy座標が計算される。
【0112】
処理ユニット14はN個の計算波長λ
Pを決定し、各計算波長は解の定義点のx座標である。
【0113】
通常、例えば、計算すべき解の定義点Pの数Nは4〜10で構成される。
【0114】
例えば、計算波長λ
Pは、波長の範囲にわたって均等に分布する。
【0115】
解の定義点Pの各々に対して、処理ユニット14は、計算波長λ
Pと関連付けられた反射率値ρ
Pを計算し、反射率値ρ
Pは、解くべき方程式(1)を検証する。
【0116】
解の定義点の各々の計算サブステップ150の終了時、処理ユニット14は、複数の解の定義点Pを得る。解の定義点Pの各々は、計算波長λ
Pと関連付けられた反射率値ρ
Pを含み、反射率値ρ
Pは、解くべき方程式(1)を検証する。
【0117】
第2のサブステップ152中、解の定義点Pの補間は、補間関数を使用して処理ユニット14によって実行される。
【0118】
第2のサブステップ152を実行するため、第1のサブステップ中に見出された解の定義点P、解くべき方程式(1)及び補間基準が使用される。
【0119】
補間基準は、検討すべき補間関数のタイプを定義する。
【0120】
一例によれば、補間基準は、補間関数の定義点が通過しなければならない解くべき方程式(1)の周りの空間を区切る。
【0121】
別の例によれば、補間基準は、使用する補間関数を制限する。
【0122】
従って、特定の一事例では、補間関数は、有限数n
pの基底関数φ
kの重み付け組み合わせの形態で記載される。
【0123】
例えば、反射率ρの補間関数は、以下の形態で記載される。
【数21】
ただし、係数a
kは、基底関数φ
kと関連付けられた重みである。
【0124】
第2のサブステップ152中、処理ユニット14は、重みa
kの値及び基底関数φ
kの形態を決定する。
【0125】
例えば、補間基準によれば、処理ユニット14は、解の定義点Pの各々を補間点として定義する。
【0126】
或いは、第2のサブステップ152中、他の補間基準が使用される。
【0127】
例えば、一補間基準によれば、基底関数φ
kは、シールされた3次スプラインである。3次スプラインは、区間によって定義される3次多項式である。関数の各区間は、2つの補間点によって区切られた波長の各間隔の3次多項式関数である。
【0128】
計算された定義点に対する第2のサブステップ152の終了時、処理ユニット14は、補間基準を検証する補間関数を得る。
【0129】
本出願人は、解くべき方程式(1)を解くためのこの手法が非最適な解を招く場合があることを指摘している。
【0130】
この問題を補うため、第1のサブステップ150又は第2のサブステップ152と同時に、第3のサブステップ154が実行される。
【0131】
この第3のサブステップ154中、第1の近似及び第2の近似の中から少なくとも1つの近似が使用される。代替として又は加えて、この第3のサブステップ154中、処理ユニット14によって第3の近似が使用される。
【0132】
第1の近似によれば、各画像は、別個の光のフラッシュ18の放射から導出される。
【0133】
第2の近似によれば、補間関数は、解くべき方程式(1)の安定点を決定する。
【0134】
第3の近似によれば、光のフラッシュ18の放射の時点の外部の光源6の照射は、その前の時点の外部の光源6の照射と等しい。
【0135】
解くステップ108の終了時、処理ユニット14は、決定された反射率ρを得る。
【0136】
近似の選択は、本出願人が複数の考えられる近似をテストすることによって行われる。これらの近似は、反射率を決定するための方法を信頼性が高く且つ実行し易いものにするという利点を有する。
【0137】
これにより、各事例において、同じ計算時間に対してより優れた決定された反射率ρが得られる。
【0138】
近似の各々に対する特定の実装形態モードを以下で概説する。
【0139】
図4は、第1の近似が実行される際の反射率ρを決定するための方法の特定の一実装形態を示すフローチャートである。
【0140】
図2による方法の実装形態に対するものと同じステップが実行される。
【0141】
収集ステップ104は、同じ光のフラッシュ中に数回実行される。
【0142】
第2の近似を使用することにより、各画像は異なるフラッシュからのものであると考えられる。
【0143】
その結果、得るステップ106では、解くべき方程式(1)は、未知数より多くの方程式を含む。従って、解くべき方程式(1)は過剰決定される。
【0144】
次いで、解くべき方程式(1)から複数の解くべきサブ方程式が抽出される。解くべきサブ方程式の各々は、過剰決定系を形成する。
【0145】
解くステップ108では、各サブ方程式を解く。
【0146】
これにより、解である複数の反射率ρ
solutionが得られ、その各々により、解くべき方程式(1)を検証する。
【0147】
反射率ρを決定するため、解くステップ108の第4のサブステップ180中、解である複数の反射率ρ
solutionの平均が計算される。
【0148】
例えば、平均の計算は、算術平均計算によって実行される。
【0149】
別の例によれば、平均の計算は、2次平均計算によって実行される。
【0150】
そのような実施形態は、追加のフラッシュを伴わないために実行し易い。具体的には、そのような方法は、精度を向上しながら同じ速度で実行される。
【0151】
ここで、第2の近似が実行される際の反射率ρを決定するための方法の特定の一実装形態について説明する。
【0152】
この例では、方程式の安定点における補間点の数を低減することが提案される。
【0153】
第2の近似によれば、方程式の安定点は、補間関数によって決定される。
【0154】
好ましくは、補間点は、波長の間隔にわたって分布し、波長の間隔は、スマートフォンの事例では、例えば380ナノメートル〜780ナノメートルで構成される。
【0155】
この第2の近似は、
図5〜7によって示される本出願人による作業の結果である。
【0156】
誤差Fのディジタルシミュレーションは、反射率ρを決定するための幾つかのシミュレーションに対して行われた。
【0157】
各シミュレーションでは、異なる雑音値が各画像データ及びフラッシュの各々の照射に追加される。例えば、追加された雑音は、白色ガウス雑音である。雑音は、放射源10又はセンサ12における異なる欠陥のモデルである。
【0158】
図5は、ρ(λ)の補間関数に対して選択された補間点の数による波長λの関数としての誤差関数Fを示している。各曲線200、202、204、206、208は、それぞれ9、8、7、6又は5つの補間点に対して得られている。
【0159】
図5の解析は、特定の波長が他の波長より雑音による影響が大きいこと、及び補間点の数が高い(すなわち補間関数が基本関数を多く含む)ほど、解くべき方程式(1)が不安定性による影響を強く受けることを示している。
【0160】
図6は、5つの補間点に対する波長の関数としての誤差関数Fを示している。スケールは、
図5のスケールと比べて誤差関数Fの詳細を示すために修正されている。誤差関数Fは、4つの最小値220を有し、最小値220は、解くべき方程式(1)の安定点である。関数Fを最小化する波長に対して見出された反射率ρは、雑音による影響が少ない。
【0161】
従って、その例では補間点の数は4に等しい。
【0162】
有利には、補間点の数はフラッシュ18の数に等しい。
【0163】
図7では、実線の各曲線230は、異なる雑音シミュレーションで計算された100の反射率ρに対する波長の関数としての反射率ρを表している。点線の曲線234は、他の手段によって知られている実際の反射率を表している。安定点220は、実際の反射率ρと、計算された反射率ρとの偏差が安定点220からの偏差ほど著しくない点である。
【0164】
これらのシミュレーションは、第2の近似の重要性を示している。
【0165】
実施形態の全てにおいて、物体の反射率ρを決定するための方法は、可変の外部の光源を用いる場合でも、物体の実際の反射率ρの信頼できるモデルを得ることを可能にする。「信頼できる」とは、補間によって決定された反射率ρが、放射源10及びセンサ12からの雑音に関連する誤差にほとんど左右されないことを意味する。
【0166】
図8及び
図9は、本出願人が決定方法を実行する利点を示している。
図8及び
図9では、点線の曲線240は、他の手段によって知られている実際の反射率
【数22】
を表している。
【0167】
図8では、実線の曲線242は、第1の近似も第2の近似も使用しない方法の実装形態で決定された反射率を表している。
図9では、実線の曲線244は、本発明による決定方法の実装形態で決定された反射率を表している。
図8及び
図9の解析は、決定方法から決定された反射率が、第1の近似も第2の近似も使用しない方法から決定された反射率より、実際の反射率
【数23】
に近いことを示している。
【0168】
第3の近似は、解くべき方程式(1)の未知数の数を低減することを可能にする。
【0169】
これにより、同じ計算時間でより優れた決定された反射率ρが得られる。本出願人にとっての課題は、決定された反射率ρの精度を損なうことなく、計算時間を減少する近似を選択することにあった。
【0170】
第3の近似の特定の一実装形態を以下で概説する。
【0171】
図10は、反射率ρを決定するための方法の特定の一実装形態を示すフローチャートである。
【0172】
図2による方法の実装形態に対するものと同じステップが実行される。
【0173】
その上、方法は、3つの追加ステップを含む。
【0174】
第1の追加ステップ160によれば、参照画像は、放射源10によるフラッシュ放射なしでセンサ12によって得られる。
【0175】
以前に説明しているものと同様に、参照画像のデータを物体4のスペクトル挙動にリンクする方程式を推測することが可能である。そのような方程式は、参照方程式(4)と呼ばれる。
【0176】
次いで、第3の近似を以下の通り使用することができる。第3の近似によれば、光のフラッシュ18の放射の時点の外部の光源6の照射は、その前の時点の外部の光源6の照射と等しい。
【0177】
参照方程式(4)は、外部の光源6からの照射へのアクセスを提供する。次いで、参照方程式(4)を減算するための演算を通じて、解くべき方程式(1)を解くことをより簡単にする。
【0178】
この演算により、解くべき方程式(1)から1つの未知数(すなわち外部の光源6の照射)が排除され、それにより簡易化された方程式が得られる。
【0179】
次いで、簡易化された方程式に対して、第1のサブステップ150及び第2のサブステップ152が実行される。
【0180】
また、
図10に示される実施形態では、第2の追加ステップ170及び第3の追加ステップ172も実行される。
【0181】
第2の追加ステップ170中、外部の光源6の照射に対する変動時間間隔が推定される。
【0182】
そのような推定は、例えば、センサ12によって得られた一連の画像を比較することによって得られる。
【0183】
第3の追加ステップ172中、参照画像が推定変動時間間隔で得られていることを保証するために、参照画像取得頻度が決定される。
【0184】
例えば、画像取得頻度は、決定された変動時間間隔の数値関係によって推測される。
【0185】
そのような関係は、例えば比例関係である。
【0186】
別の例によれば、そのような関係は、安全マージンの設定に至る線形関係である。
【0187】
そのような実施形態は、追加の画像を得るのに十分であるために実行し易い。具体的には、追加の機器は使用されない。
【0188】
実施形態の全てにおいて、物体の反射率ρを決定するための方法は、可変の外部の光源を用いる場合でも、物体の実際の反射率ρの信頼できるモデルを得ることを可能にする。「信頼できる」とは、補間によって決定された反射率ρが、放射源10及びセンサ12からの雑音に関連する誤差にほとんど左右されないことを意味する。
【0189】
一代替形態では、センサ12及び放射源10は、異なる装置16上に配置される。
【0190】
一代替形態では、センサ12及び放射源10は、同じ装置16上に配置され、処理ユニット14は、装置16から離れて位置する。
【0191】
その上、方法は、センサ12の各画像ポイントに対する観察表面の反射率を決定することを可能にすることに留意すべきである。