特許 6454328 物体の複数の画像から物体の表面の隆起レリーフマップを生成するための方法、システムおよびコンピュータプログラム製品。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6454328

(24)【登録日】2018年12月21日

(45)【発行日】2019年1月16日

(54)【発明の名称】物体の複数の画像から物体の表面の隆起レリーフマップを生成するための方法、システムおよびコンピュータプログラム製品。

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190107BHJP

   G06T 7/60 20170101ALI20190107BHJP

   G06T 1/00 20060101ALI20190107BHJP

   G01B 11/24 20060101ALI20190107BHJP

【ＦＩ】

   G06T7/00 C

   G06T7/60 150S

   G06T1/00 315

   G01B11/24 K

【請求項の数】18

【全頁数】60

(21)【出願番号】特願2016-514419(P2016-514419)

(86)(22)【出願日】2014年5月22日

(65)【公表番号】特表2016-527591(P2016-527591A)

(43)【公表日】2016年9月8日

(86)【国際出願番号】EP2014060582

(87)【国際公開番号】WO2014187919

(87)【国際公開日】20141127

【審査請求日】2017年3月3日

(31)【優先権主張番号】13305672.1

(32)【優先日】2013年5月23日

(33)【優先権主張国】EP

(31)【優先権主張番号】13305673.9

(32)【優先日】2013年5月23日

(33)【優先権主張国】EP

(31)【優先権主張番号】13180149.0

(32)【優先日】2013年8月12日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】304043936

【氏名又は名称】ビオメリュー

【氏名又は名称原語表記】ＢＩＯＭＥＲＩＥＵＸ

(73)【特許権者】

【識別番号】510184472

【氏名又は名称】コミッサリア ア レネルジ アトミック エ オ ゼネルジ アルテルナティヴ

【氏名又は名称原語表記】ＣＯＭＭＩＳＳＡＲＩＡＴ Ａ Ｌ’ＥＮＥＲＧＩＥ ＡＴＯＭＩＱＵＥ ＥＴ ＡＵＸ ＥＮＥＲＧＩＥＳ ＡＬＴＥＲＮＡＴＩＶＥＳ

(74)【代理人】

【識別番号】100080447

【弁理士】

【氏名又は名称】太田 恵一

(72)【発明者】

【氏名】アラノ，ロレーヌ

(72)【発明者】

【氏名】キルジゾヴァ，クリスティナ

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１２−２４８１８３（ＪＰ，Ａ）

【文献】 松下 康之，照度差ステレオ，情報処理学会研究報告 ２０１１ Ｊｕｎｅ，日本，一般社団法人 情報処理学会，２０１１年 ６月１５日，第１頁−第１２頁，ＩＳＳＮ １８８４−０９３０

【文献】 Athinodoros S. Georghiades，Recovering 3-D Shape and Reflectance From a Small Number of Photographs，Eurographics Symposium on Rendering 2003，２００３年 ６月，第１頁−第１２頁，ＵＲＬ，http://dx.doi.org/10.2312/EGWR/EGWR03/230-240

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

Ｇ０１Ｂ １１／２４

(57)【特許請求の範囲】

【請求項1】

物体（１０７）の複数の画像から前記物体の表面のモデルを得るための方法であって、物体（１０７）が一つ以上の照明光源（１０４、１０５、１０６）で照明され、
− 各々一つの画素アレイを含み一つの物体の類似のビューを表わす画像セットを得るステップであって、類似のビューが異なる照明条件下で得られるステップと；
− ・複数の画像について同じであるアルベド値である、各画素の場所にある物体（１０７）のアルベドを表わす第一のモデル成分（Ａ）；
・各画像の全ての画素について同じである照明光源強度値である、各画像についての照明強度を表わす第二のモデル成分（Ｌ）；
・各画像について異なり各画像の全ての画素について同じである照明ベクトルである、特定の照明方向を表わす第三のモデル成分（Ｖ）；
・全ての画像について同じである法線ベクトルである、各画素位置における物体表面の表面法線方向を表わす第四のモデル成分（Ｎ）；
という未知のモデル成分の観点から、画像の公知の画素強度値を表現するモデル関数（ｆ）を定義づけするステップと；
− 画像セットから得られた画素値と前記モデル関数（ｆ）を用いて計算された画素値との間の差分関数を最小化するために、一つ以上の最小化演算シーケンスを実施するステップであって、他のモデル成分が不変の状態にとどまっている間に前記モデル成分（Ａ、Ｌ、Ｖ、Ｎ）の一つが変動できるようにすることによって各々の最小化演算が実施されるステップと；
− 物体表面の前記モデルとして第四のモデル成分（Ｎ）を出力するステップと、
を含み、
最小化演算が実施されて前記第一のモデル成分（Ａ）と前記第二のモデル成分（Ｌ）を変動させる前に、最小化演算が実施されて前記第三のモデル成分（Ｖ）と前記第四のモデル成分（Ｎ）が多数回変動させられる、方法。

【請求項2】

前記最小化演算シーケンスが、後続する反復の前に少なくとも一回前記モデル成分（Ａ、Ｌ、Ｖ、Ｎ）の各々が順番に変動させられる反復ループを含み、前記反復ループが、終結条件が満たされるまで反復される、請求項１に記載の方法。

【請求項3】

前記反復ループが、前記モデル成分（Ａ、Ｌ）の別のサブセットが変動させられる前に、前記モデル成分（Ｖ、Ｎ）の一つのサブセットが多数回変動させられる一つ以上の内側ループを含む、請求項２に記載の方法。

【請求項4】

一つの内側ループが、前記第三のモデル成分（Ｖ）および前記第四のモデル成分（Ｎ）を多数回変動させるステップを含む、請求項３に記載の方法。

【請求項5】

一つの内側ループが、前記第一のモデル成分（Ａ）と前記第二のモデル成分（Ｌ）を変動させるステップを含む、請求項３に記載の方法。

【請求項6】

第一のモデル成分（Ａ）が、第一のモデルサブ成分（Ａ’）と第一の構造化成分（Ｗ_A）を含み、ここで第一の構造化成分（Ｗ_A）が、物体（１０７）の表面特性を再現するために第一のモデルサブ成分（Ａ’）を適応させる、請求項１〜５のいずれか一つに記載の方法。

【請求項7】

第二のモデル成分（Ｌ）が、第二のモデルサブ成分（Ｌ’）と第二の構造化成分（Ｗ_L）とを含み、ここで第二の構造化成分（Ｗ_L）が、照明光源（１０４、１０５、１０６）の照明条件を再現するために第二のサブ成分（Ｌ’）を適応させる、請求項１〜６のいずれか一つに記載の方法。

【請求項8】

第三のモデル成分（Ｖ）が、第三のモデルサブ成分（Ｖ’）と第三の構造化成分（Ｗ_V）とを含み、ここで第三の構造化成分（Ｗ_V）が、照明光源（１０４、１０５、１０６）の照明条件を再現するために第三のモデルサブ成分（Ｖ’）を適応させる、請求項１〜７のいずれかに記載の方法。

【請求項9】

第一の構造化成分（Ｗ_A）が、複数の画像に関しての各画素についての同じアルベド値を含む複数の画像についての同じ係数を表わす、請求項６に記載の方法。

【請求項10】

第二の構造化成分（Ｗ_L）が、複数の画像のうちの一つの画像の全ての画素についての同じ強度係数を表わす、請求項７に記載の方法。

【請求項11】

第三の構造化成分（Ｗ_V）が、前記複数の画像のうちの一つの画像と結びつけられた一つの照明光源（１０４、１０５、１０６）の照明方向を表わし、これは、複数の画像のうちの一つの画像の全ての画素について同じである、請求項８に記載の方法。

【請求項12】

一つ以上の照明光源（１０４、１０５、１０６）が、赤、緑および青のカラーチャネルを含む、請求項１〜１１のいずれか一つに記載の方法。

【請求項13】

第一のモデル成分（Ａ）が、複数の画像について、各画素および各カラーチャネルに関して同じであり、第二のモデル成分（Ｌ）が、各画像の全ての画素について各カラーチャネルに関して同じである、請求項１２に記載の方法。

【請求項14】

第一の構造化成分（Ｗ_A）が、複数の画像について、各カラーチャネルに関して各画素について同じアルベド値を含む、請求項１２に記載の方法。

【請求項15】

第二の構造化成分（Ｗ_L）が、各画像の全ての画素に関して各カラーチャネルについての同じ強度係数を表わす、請求項１２に記載の方法。

【請求項16】

モデル関数（ｆ）が修正モデル関数（ｇ）を含み、ここで、第一、第二、第三および第四のモデル成分（Ａ、Ｌ、Ｖ、Ｎ）に関係づけされたモデル関数（ｆ）が、第一、第二および第三のモデルサブ成分（Ａ’、Ｌ’、Ｖ’）ならびに第四のモデル成分（Ｎ）に関係づけされた修正モデル関数（ｇ）に等しい、請求項６〜１１のいずれかに記載の方法。

【請求項17】

実行された時点で、請求項１〜１６に記載の方法のステップをプログラマブルデータ処理装置に実施させることになる命令を含むコンピュータプログラム。

【請求項18】

物体（１０７）の複数の画像から前記物体の表面のモデルを得るための画像形成システム（１００）であって、
− 異なる照明方向で物体（１０７）を照明するための一つ以上の照明光源（１０４、１０５、１０６）であって、各画像が一つの特定の照明方向と結びつけられている照明光源と；
− 複数の画像の各画像内の各画素の画素値を検出するための画像キャプチャデバイス（１０８）と；
− ・複数の画像について同じであるアルベド値である、各画素の場所にある物体（１０７）のアルベドを表わす第一のモデル成分（Ａ）；
・各画像の全ての画素について同じである照明光源強度値である、各画像についての照明強度を表わす第二のモデル成分（Ｌ）；
・各画像について異なり各画像の全ての画素について同じである照明ベクトルである、特定の照明方向を表わす第三のモデル成分（Ｖ）；
・全ての画像について同じである法線ベクトルである、各画素位置における物体表面の表面法線方向を表わす第四のモデル成分（Ｎ）；
という未知のモデル成分を記憶するための第一のメモリーコンポーネント（１１６）を含むデータプロセッサ（１１４）と；
を含む画像形成システム（１００）であって、
データプロセッサ（１１４）が、画像セット上で受け取った画素値と、未知のモデル成分の観点から画像の公知の画素値を表現する定義済みのモデル関数（ｆ）を用いて計算された画素値との間の差分関数を最小化するために、一つ以上の最小化演算シーケンスを実施し、かつ
他のモデル成分が固定された状態にとどまっている間に、前記モデル成分（Ａ、Ｌ、Ｖ、Ｎ）の一つが変動できるようにすることによって、各々の最小化演算が実施され、
さらに物体表面の前記モデルとして法線モデル成分（Ｎ）を出力することを目的とする、
画像形成システム（１００）であって、
データプロセッサ（１１４）がさらに、物体（１０７）の表面特性および照明光源（１０４、１０５、１０６）の照明条件を再現するようにモデルサブ成分（Ａ’、Ｌ’、Ｖ’）の一つ以上を適応させるべく構造化成分（Ｗ_A、Ｗ_V、Ｗ_L）を記憶するための第二のメモリーコンポーネント（１１８）を含んでいる、画像形成システム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の複数の画像から物体の表面の隆起レリーフマップを生成するための方法、システムおよびコンピュータプログラム製品に関する。

【背景技術】

【0002】

画像処理の分野では、物体の表面の隆起レリーフマップを生成する周知の方法は、照度差ステレオ法（ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ ｐｒｏｃｅｓｓ）である。照度差ステレオ法は、一つ以上の照明光源が異なる照明方向を提供している状態で、定位置にあるカメラを用いて撮られた物体の複数の画像を使用することによって動作する。照度差ステレオ法の目的は、撮影中の画像に関係づけされたデータに対して特定のアルゴリズムを適用することによって、物体の表面の隆起レリーフマップを提供することにある。例えば生物学的分析の分野においては、物体には微生物が含まれる。このような方法を用いて得られた微生物などの物体の隆起レリーフマップは、表面のテクスチャおよびレリーフタイプなどの、微生物の複数の特徴を同定できるようにする。したがって、アルゴリズムは、物体の表面の隆起レリーフマップまたは深度マップとも呼ばれる深さマップを生成する。

【0003】

さらに、生物学的分析の特定の分野においては、生体試料中に潜在的に存在する微生物のタイプを決定するために生体試料のインビトロ分析が実施される。微生物の成長を可能にするため、特異的環境が生体試料と結びつけられる。特異的環境は、例えばペトリ皿内に設置され得る。公開されている欧州特許出願公開第２５２０９２３号に記載されている通り、生体試料を含むペトリ皿のインキュベーションの後、ペトリ皿の表面は画像形成システムを用いて照射される。画像形成システムは、生体試料の周りに位置設定された複数の照明光源を含む。各照明光源は、生体試料を異なる方向から照明してよい。定位置カメラがペトリ皿の同一表面の異なる画像を撮影してよい。異なる照明方向に結びつけられた複数の照明光源は、複雑な照明条件を提示する。

【0004】

先行技術において、参考文献［１２］に開示されている照度差ステレオ法は、照明が行なわれた時点でグレースケール画像の画像特性を描写する三つの成分に関係づけされた三つの行列を考慮に入れるアルゴリズムを含む。第一の行列Ａは、物体の表面によって反射されている入射照明の比率を表わすアルベド値（ａｌｂｅｄｏ ｖａｌｕｅ）に関係する。表面全体は推定上同じ材料でできていることから、行列Ａは、全ての画素について同じ値を含む。第二の行列Ｖは、カメラによりキャプチャされた各画像についての照明光源の場所を表わす。第三の行列Ｎは、３次元空間内の各画像の各画素の標準値を表わす。しかしながら、このようなアルゴリズムは、照明光源が点光源であり、かつ照明光源の方向が公知である場合にのみ動作する。例えば、生物学的分析の分野において、照明光源は点光源ではなく、照明光源の場所は未知であるかまたはモデリングが容易なものではない。したがって、アルゴリズムをこのような画像に適用することはできない。さらに、生物学的物体の表面の光学特性、または方向もわかっていない。したがって、このような物体のためのアルベド値は未知である。その上、このアルゴリズムにおいて、照明光源の強度に関係づけされたパラメータは全く考慮されない。したがって、再構築プロセス中、物体の表面の特性に関する情報が欠如しているかまたは不十分であり、物体の表面の不正確な表現を導く場合がある。結果として、このようなアルゴリズムは、生物学的分析の分野において撮られる画像、または定位置カメラおよび複雑な照明条件または未知の照明方向で撮影されたあらゆる画像の照度差ステレオ再構築において使用するのにつねに好適なものとはかぎらない。

【0005】

参考文献［１３］は、照度差ステレオ法において使用するための改善されたアルゴリズムを開示している。アルゴリズムは、照明光源のさまざまな強度を表わす値Ｌに関係づけされた第四の行列を考慮に入れる。しかしながら、このようなアルゴリズムは、照明光源の位置および／または画像の特定の画素の法線が公知である場合にのみ動作する。一部の状況において、このような情報は、入手可能でないか、または得るのが困難である。したがって、このアルゴリズムを適用するために近似が必要となる。その結果、このようなアルゴリズムは、生物学的分析の分野で多くの場合にそうであるように、照明条件が未知である場合に、物体の表面の正確な画像を生成するためには好適でない。さらに、近似は、画像再構築プロセスの終りで物体の表面の画像の不正確な表現を導く場合がある。

【0006】

結果として、関連する先行情報が全く入手できず、かつ異なる照明方向を有する複数の照明光源に結びつけられている物体の表面の再構築を有効化するように、物体の表面の隆起レリーフマップの生成を可能にするために、標準的な照度差ステレオ法を改善する必要性が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、先行技術に付随する問題の少なくとも一部を克服することにある。

【0008】

本発明のさらなる目的は、物体を照明する照明光源の位置および／または方向に関するいかなる情報も使用することなく、かつ物体の表面の法線に関するいかなる情報も使用することなく、照度差ステレオ法を用いて物体の表面の隆起レリーフマップまたは一つの表現を生成するための方法、システムおよびコンピュータプログラム製品を提供することにある。

【課題を解決するための手段】

【0009】

本発明は、添付の請求の範囲に提示されている物体の隆起レリーフマップを生成するための方法、システムおよびコンピュータプログラム製品を提供する。

【0010】

本発明の一態様によると、物体の複数の画像から物体表面のモデルを得るための方法であって、物体が一つ以上の照明光源で照明され、
−各々一つの画素アレイを含み一つの物体の類似のビューを表わす画像セットを得るステップであって、類似のビューが異なる照明条件下で得られるステップと；
− ・複数の画像について同じであるアルベド値である、各画素の場所にある物体のアルベドを表わす第一のモデル成分；
・各画像の全ての画素について同じである照明光源強度値である、各画像についての照明強度を表わす第二のモデル成分；
・各画像について異なり各画像の全ての画素について同じである照明ベクトルである、特定の照明方向を表わす第三のモデル成分；
・全ての画像について同じである法線ベクトルである、各画素位置における物体表面の表面法線方向を表わす第四のモデル成分；
という未知のモデル成分の観点から、画像の公知の画素強度値を表現するモデル関数を定義づけするステップと；
− 画像セットから得られた画素値と前記モデル関数を用いて計算された画素値との間の差分関数を最小化するために、一つ以上の最小化演算シーケンスを実施するステップであって、他のモデル成分が不変の状態にとどまっている間に前記モデル成分の一つが変動できるようにすることによって各々の最小化演算が実施されるステップと；
− 物体表面の前記モデルとして第四のモデル成分を出力するステップと、
を含む方法が提供されている。

【0011】

好ましくは、前記最小化演算シーケンスは、後続する反復の前に少なくとも一回前記モデル成分の各々が順番に変動させられる反復ループを含み、前記反復ループは、終結条件が満たされるまで反復される。

【0012】

好ましくは、前記反復ループは、前記モデル成分の別のサブセットが変動させられる前に、前記モデル成分の一つのサブセットが多数回変動させられる一つ以上の内側ループを含む。

【0013】

好ましくは、一つの内側ループは、前記第三のモデル成分および前記第四のモデル成分を多数回変動させるステップを含む。

【0014】

好ましくは、一つの内側ループは、前記第一のモデル成分と前記第二のモデル成分を変動させるステップを含む。

【0015】

好ましくは、最小化演算が実施されて前記第一のモデル成分と前記第二のモデル成分を変動させる前に、最小化演算が実施されて前記第三のモデル成分と前記第四のモデル成分が多数回変動させられる。

【0016】

好ましくは、第一のモデル成分は、第一のモデルサブ成分と第一の構造化成分を含み、ここで第一の構造化成分は、物体の表面特性を再現するために第一のモデルサブ成分を適応させる。

【0017】

好ましくは、第二のモデル成分は、第二のモデルサブ成分と第二の構造化成分とを含み、ここで第二の構造化成分は、照明光源の照明条件を再現するために第二のモデルサブ成分を適応させる。

【0018】

好ましくは、第三のモデル成分は、第三のモデルサブ成分と第三の構造化成分とを含み、ここで第三の構造化成分は、照明光源の照明条件を再現するために第三のモデルサブ成分を適応させる。

【0019】

好ましくは、第一の構造化成分は、複数の画像に関しての各画素についての同じアルベド値を含む複数の画像についての同じ係数を表わす。

【0020】

好ましくは、第二の構造化成分は、複数の画像のうちの一つの画像の全ての画素についての同じ強度係数を表わす。

【0021】

好ましくは、第三の構造化成分は、前記複数の画像のうちの一つの画像と結びつけられた一つの照明光源の照明方向を表わし、これは、複数の画像のうちの一つの画像の全ての画素について同じである。

【0022】

好ましくは、一つ以上の照明光源は、赤、緑および青のカラーチャネルを含む。

【0023】

好ましくは、第一のモデル成分は、複数の画像について、各画素および各カラーチャネルに関して同じであり、第二のモデル成分は、各画像の全ての画素について各カラーチャネルに関して同じである。

【0024】

好ましくは、第一の構造化成分は、複数の画像について、各カラーチャネルに関して各画素について同じアルベド値を含む。

【0025】

好ましくは、第二の構造化成分は、各画像の全ての画素に関して各カラーチャネルについての同じ強度係数を表わす。

【0026】

好ましくは、モデル関数は修正モデル関数を含み、ここで、第一、第二、第三および第四のモデル成分に関係づけされたモデル関数は、第一、第二および第三のモデルサブ成分ならびに第四のモデル成分に関係づけされた修正モデル関数に等しい。

【0027】

本発明の第二の態様によると、実行された時点で、方法のステップをプログラマブルデータ処理装置に実施させることになる命令を含むコンピュータプログラム製品が提供される。

【0028】

本発明の第三の態様によると、物体の複数の画像から一つの物体表面のモデルを得るための画像形成システムであって、
− 異なる照明方向で物体を照明するための一つ以上の照明光源であって、各画像が一つの特定の照明方向と結びつけられている照明光源と；
− 複数の画像の各画像内の各画素の画素値を検出するための画像キャプチャデバイスと；
− ・複数の画像について同じであるアルベド値である、各画素の場所にある物体のアルベドを表わす第一のモデル成分；
・各画像の全ての画素について同じである照明光源強度値である、各画像についての照明強度を表わす第二のモデル成分；
・各画像について異なり各画像の全ての画素について同じである照明ベクトルである、特定の照明方向を表わす第三のモデル成分；
・全ての画像について同じ法線ベクトルである、各画素位置における物体表面の表面法線方向を表わす第四のモデル成分；
という未知のモデル成分を記憶するための第一のメモリーコンポーネントを含むデータプロセッサと；
を含む画像形成システムであって、
データプロセッサが、画像セット上で受け取った画素値と、未知のモデル成分の観点から画像の既知の画素値を表現する定義済みのモデル関数を用いて計算された画素値との間の差分関数を最小化するために、一つ以上の最小化演算シーケンスを実施し、かつ
他のモデル成分が固定された状態にとどまっている間に、前記モデル成分の一つが変動できるようにすることによって、各々の最小化演算が実施され、
物体表面の前記モデルとして法線モデル成分を出力することを目的とする、
画像形成システムが提供されている。

【0029】

好ましくは、データプロセッサはさらに、物体の表面特性および照明光源の照明条件を再現するようにモデルサブ成分の一つ以上を適応させるべく構造化成分を記憶するための第二のメモリーコンポーネントを含んでいる。

【0030】

一例として、ここで添付図面を参照する。

【図面の簡単な説明】

【0031】

【図1】本発明の一実施形態に係る、一つの物体のために使用されるさまざまなタイプの照明方向を示す画像形成システムの簡略図を示す。

【図2】本発明の一実施形態に係る、画像形成システムのモジュールを示す画像形成システムの簡略図を示す。

【図3】本発明の一実施形態に係る、照度差ステレオ法をモデリングする数式を示す。

【図4】本発明の別の実施形態に係る、照度差ステレオ法をモデリングする数式を示す。

【図5】本発明の一実施形態に係る方法のフローチャートを示す。

【図6】本発明の一実施形態に係る第一の物体の初期画像の一例を示す。

【図7】本発明の一実施形態に係る第二の物体の初期画像の一例を示す。

【図8】本発明の一実施形態に係る第三の物体の初期画像の一例を示す。

【図9】本発明の一実施形態に係る第四の物体の初期画像の一例を示す。

【図10】本発明の一実施形態に係る、図６の第一の物体の隆起レリーフマップを示す。

【図11】本発明の一実施形態に係る、図７の第二の物体の隆起レリーフマップを示す。

【図12】本発明の一実施形態に係る、図８の第三の物体の隆起レリーフマップを示す。

【図13】本発明の一実施形態に係る、図９の第一の物体の隆起レリーフマップを示す。

【図14】本発明の一実施形態に係る第五の物体の初期画像の一例を示す。

【図15】本発明の一実施形態に係る、第五の物体の三つの初期画像を考慮した場合の、図１４の第五の物体の隆起レリーフマップを示す。

【図16】本発明の一実施形態に係る、第五の物体の五つの初期画像を考慮した場合の、図１４の第五の物体の隆起レリーフマップを示す。

【図17】本発明の一実施形態に係る、第五の物体の１０個の初期画像を考慮した場合の、図１４の第五の物体の隆起レリーフマップを示す。

【図18.19.20.21】本発明の一実施形態に係る、各初期画像が異なる照明方向に関連している、第六の物体の四つの初期画像を示す。

【図22】本発明の一実施形態に係る、図１８、１９、２０および２１の初期画像を考慮した場合の第六の物体の隆起レリーフマップの上面図を示す。

【図23】本発明の一実施形態に係る、図２２に示された第六の物体の隆起レリーフマップの側面図を示す。

【図24.25.26.27】それぞれ、本発明の一実施形態に係るさまざまな物体の隆起レリーフマップの側面図を示す。

【図28】本発明の第一および第二の実施形態における、本発明の方法を用いて得られた異なる再構築済み表面を比較するための表を示す。

【図29a.29b.29c】それぞれ初期画像、グランドトゥルース正像および深度画像マップに関する。

【図29d】異なる初期化動作を考慮した場合の、本発明の方法を用いて得られる異なる再構築済み表面を比較するための表を示す。

【図30】異なる終結条件を考慮した場合の、本発明の方法を用いて得られる異なる再構築済み表面を比較するための表を示す。

【図31.32.33.34】本プリプロセスの一実施形態に係る、各々異なる場所に明ゾーンを含む同一物体の複数の画像を示す。

【図35.36.37】本プリプロセスの一実施形態に係る、赤／緑／青空間内の図３１の表現をそれぞれ示している。

【図38】本プリプロセスの一実施形態に係る、一つの特定のカラーチャネルに関する他の画像内の対応する画素についての他の画素値に対する一つの画像の選択された画素の画素値の比率を表わすグラフを示す。

【図39】本プリプロセスの一実施形態に係る、一つの画像から明ゾーンを除去するためのシグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）の一表現を示す。

【図40】本プリプロセスの一実施形態に係る、一つの画像から明ゾーンおよび暗ゾーンを同時に除去するためのシグモイド関数の一表現を示す。

【図41】本プリプロセスの一態様に係る方法のフローチャートを示す。

【図42.43.44.45】本プリプロセスの一実施形態に係る、各明ゾーンが補正済みである、図３１、３２、３３および３４の同じ物体の複数の補正済み画像を示す。

【図46.47.48】本プリプロセスの一実施形態に係る、赤／緑／青空間内の図４２の表現をそれぞれ示す。

【図49】明ゾーンを含む物体の一表現を示す。

【図50】本プリプロセスの一実施形態に係る、複数の明ゾーンが表わされた、図４９に示されている物体の細部の一表現を示す。

【図51】本プリプロセスの一実施形態に係る、図５２に示された細部の補正済み画像の一表現を示す。

【図52.53.54】本プリプロセスの一実施形態に係る、物体が特定の明ゾーンと暗ゾーンとを含む同じ物体の三つの異なる画像を示す。

【図55.56.57】それぞれ本プリプロセスの一実施形態に係る図５２、５３および５４の補正済み画像に関するものである。

【図58】本プリプロセスの一実施形態に係る、図５３に示された画像の赤のカラーチャネルに関係づけされた初期画像Ｉ１の一表現を示す。

【図59】本プリプロセスの一実施形態に係る、図２６に示された画像の赤のカラーチャネルに関係づけされた基準画像Ｉ２の一表現を示す。

【図60】本プリプロセスの一実施形態に係る、図５８に示された初期画像Ｉ１についての問題の画素線に関係づけされた強度値または画素値を表わす実線と、図５９に示された基準画像Ｉ２についての問題の画素線に関係づけされた強度値または画素値を表わす破線とを含むグラフを示す。

【図61】本プリプロセスの一実施形態に係る、図５９に示された基準画像Ｉ２を用いた図５８に示された初期画像Ｉ１の補正済み画像Ｉ１ｃを示す。

【図62】本プリプロセスの一実施形態に係る、平均値Ｗを表わす実線と、図５８に示された初期画像Ｉ１および図５９に示された基準画像Ｉ２についての補正済み関数ｆ（Ｗ）を表わす破線とを含むグラフを示す。

【図63】本プリプロセスの一実施形態に係る、図５８に示された初期画像Ｉ１に関する問題の画素線についての強度値または画素値を表わす実線と、図６１に示された補正済み画像Ｉ１ｃに関する問題の画素線についての強度値または画素値を表わす破線とを含むグラフを示す。

【図64】本プリプロセスの一実施形態に係る、図５８に示された初期画像Ｉ１と図５９に示された基準画像Ｉ２の比率として推定された平均値Ｗを表わす実線と、図６１に示された補正済み画像Ｉ１ｃと図５９に示された基準画像Ｉ２の比率として推定された補正済み平均値Ｗｃを表わす破線とを含むグラフを示す。

【図65】本プリプロセスの一実施形態に係る、異なるタイプの点線と共に示された、ｋ＝０．７５そしてα＝１００が固定値であり、かつ閾値Ｖ＝１、１．２および１．５である、ｆ（Ｗ）の三つの表現を示す。

【図66】本プリプロセスの一実施形態に係る、異なるタイプの点線と共に示された、Ｖ＝１．２５そしてα＝１００が固定値であり、かつｋ＝１、０．７５および０．５である、ｆ（Ｗ）の三つの表現を示す。

【図67】本プリプロセスの一実施形態に係る、異なるタイプの点線と共に示された、Ｖ＝１．２５そしてｋ＝０．７５が固定値であり、かつα＝１０³、１０²および１０である、ｆ（Ｗ）の三つの表現を示す。

【図68】本プリプロセスの一実施形態に係る、異なる照明方向でキャプチャされた物体の人工表面を表わす。

【図69】本プリプロセスの一実施形態に係る、明ゾーンの補正が必要とされている初期画像の一つを表わす。

【図70】本発明の一実施形態に係る、均等に空間的に分布した七つの照明光源に対応する七つの画像の鏡面反射成分の重畳（ｓｕｐｅｒｉｍｐｏｓｉｔｉｏｎ）からなる人工画像を表わす。

【図71a】本発明の一実施形態に係る、均等に空間的に分布した七つの照明光源から獲得した七つの基準画像を用いた、図６９の補正済み画像を表わす。

【図71b】本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図４３ａに示された水平白線に沿った画素強度分布を表わす。

【図72】本発明の一実施形態に係る、ランダムに空間的に分布した７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。

【図73a】本発明の一実施形態に係る、ランダムに空間的に分布した７つの照明光源から獲得した７つの基準画像を用いた、図６９の補正済み画像を表わす。

【図73b】本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図７３ａに示された水平白線に沿った画素強度分布を表わす。

【図74】本発明の一実施形態に係る、密に位置設定された７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。

【図75a】本発明の一実施形態に係る、密に位置設定された７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。

【図75b】本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図７５ａに示された水平白線に沿った画素強度分布を表わす。

【図76】本発明の一実施形態に係る、補正対象の鏡面反射ゾーン（ｓｐｅｃｕｌａｒ ｚｏｎｅ）とは反対側の照明光源に対応する一つの画像の鏡面反射成分を表わす。

【図77a】本発明の一実施形態に係る、補正対象の鏡面反射ゾーンとは反対側の一つの照明光源から獲得した一つの基準画像を用いた、図６９の補正済み画像を表わす。

【図77b】本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図７７ａに示された水平白線に沿った画素強度分布を表わす。

【図78】本発明の一実施形態に係る、ランダムに空間的に分布した９９個の照明光源に対応する９９個の画像の鏡面反射成分の重畳からなる人工画像を表わす。

【図79a】本発明の一実施形態に係る、ランダムに空間的に分布した９９個の照明光源から獲得した９９個の基準画像を用いた図６９の補正済み画像を表わす。

【図79b】本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図７９ａに示された水平白線に沿った画素強度分布を表わす。

【図80a.80b.80c.80d】本プリプロセスの一実施形態に係る、いかなる重複ゾーンもない異なる場所の明ゾーンを含む円形物体の四つの初期画像を表わす。

【図81a.81b.81c.81d】本プリプロセスの一実施形態に係る、先行技術において周知の修復プロセスを用いて明ゾーンが補正された、図８０ａ、８０ｂ、８０ｃおよび８０ｄの円形物体の画像を表わす。

【図82a.82b.82c.82d】本プリプロセスの一実施形態に係る、ソフト補正に関係する本発明の方法の適用後の、図８０ａ、８０ｂ、８０ｃおよび８０ｄの円形物体の補正済み画像を表わす。

【図83】本プリプロセスの一実施形態に係る、明ゾーンのいかなる補正もなく表面再構築方法を用いて処理した後の、図８０ａ、８０ｂ、８０ｃおよび８０ｄの円形物体の表面の輪郭線の概略図を表わす。

【図84】本プリプロセスの一実施形態に係る、先行技術において周知の修復プロセスを伴う再構築の後の、図８０ａ、８０ｂ、８０ｃおよび８０ｄの円形物体の表面の輪郭線の概略図を示す。

【図85】本プリプロセスの一実施形態に係る、先行技術のＣｏｌｅｍａｎおよびＪａｉｎのアルゴリズムを用いた、図８０ａ、８０ｂ、８０ｃおよび８０ｄの円形物体の表面の輪郭線の概略図を示す。

【図86】本プリプロセスの一実施形態に係る、Ｖ＿ｈｉｇｈ、ｋ＿ｈｉｇｈ、ｋ＿ｌｏｗおよびα＿ｈｉｇｈ、α＿ｌｏｗの具体的な設定値を伴う、本発明の一実施形態に係る再構築方法を用いた処理の後の、物体の輪郭線の概略図を表わす。

【図87】本プリプロセスの一実施形態に係る、各画像が一つの鏡面反射ゾーンを含み、かついかなる鏡面反射ゾーンも別の鏡面反射ゾーンと重複していない四つの画像の重畳の概略図を表わす。

【図88】本プリプロセスの一実施形態に係る、各画像が一つの鏡面反射ゾーンを含み、かつ全ての鏡面反射ゾーンが少なくとも一つの別の鏡面反射ゾーンと部分的に重複している、四つの画像の重畳の概略図を表わす。

【図89】各画像が一つの鏡面反射ゾーンを含み、かつ少なくとも一つの鏡面反射ゾーンが別の鏡面反射ゾーンと完全に重複している、四つの画像の重畳の概略図を表わす。

【発明を実施するための形態】

【0032】

以下の説明は、具体的な例に基づいて、十分に明確かつ完全な形で本発明を開示している。しかしながら、この説明は、保護の範囲を以下に記述する具体的実施形態および実施例に限定するものとして理解されるべきではない。

【0033】

以下の説明において、「画素」という用語は、一つの画像内の一つの位置に関連し、「画素値」および「画素強度値」は、前記画像内の画素の検出された値または対応するキャプチャされた強度を意味する。

【0034】

以下の説明において、「初期画像」および「画像」という用語は、一つの物体の一つの画像を意味する。物体は、複数の初期画像と結びつけられてよい。本発明において、初期画像の数は少なくとも３に等しい。物体の初期画像は、照明光源の特定の照明方向か、または複数の照明光源の主要な照明方向に対応する。さらに、各初期画像は、既定の場所において定位置カメラで撮影される。説明されている実施形態は、三つの初期画像、すなわち、定位置を有するカメラにより異なる照明方向下で撮られた画像１、２および３を含む。本発明は同様に、複数の初期画像を処理するためにも好適であるということを理解すべきである。各初期画像は複数の画素と、ＲＧＢ空間すなわち赤、緑および青の三つのカラーチャネルを含む。以下の計算では、一例として各初期画像内の画素１などの一つの画素のみが考慮されている。一つの初期画像の複数の画素に対しても、計算が適用可能であることを理解すべきである。「ｎｉ」という用語は、一つの物体の初期画像の数を意味する。「ｎｐ」という用語は、各初期画像内の画素の数を意味する。

【0035】

画像は、二つの成分の組合せとして定義されてよい。第一の成分は、いかなる優先的な方向もなく反射されている光の部分に対応する拡散成分である。第二の成分は、優先的な方向で反射されている光の部分に対応する鏡面反射成分である。本発明の目的は、鏡面反射成分を除去して、拡散成分を取り戻すことにある。

【0036】

さらに、以下の説明において、「物体」という用語は、さまざまな照明方向で照明されている任意の物体に関するものであり得、ここで物体の初期画像は定位置カメラで撮影される。物体は、微生物などの寸法の小さい一つ以上の物体に対応するか、またはウオーターボトル、動物などのより大きい寸法の物体に対応するものであってよい。

【0037】

「シェーディング」という用語は、光の位置および物体の表面に起因する物体上の光の分布に対応する情報に関する。本発明の画像のためには、この情報を用いて、本発明のステレオ照度差法で物体表面を再構築してもよい。

【0038】

以下の説明において、隆起レリーフマップを用いた物体の表面の表現は、直交空間ｘ、ｙ、ｚ内で行なわれ、ここでｚは、ｘおよびｙの一関数、例えばｚ＝ｆ（ｘ，ｙ）である。

【0039】

図１は、一つ以上のベースユニット１０２を含む画像形成システム１００を示す。各ベースユニット１０２は、ＲＧＢカラーチャネルに関する赤（Ｒ）、緑（Ｇ）および青（Ｂ）の照明を生成するための光学部品と制御回路１０３を含む。各ベースユニット１０２は、対応する赤、緑、青の照明光源１０４、１０５、１０６を含み、これらの照明光源は全て独立して制御可能である。照明光源１０４、１０５、１０６は、環状照明、逆環状照明、または側方照明などを作り出す可能性がある。

【0040】

画像形成システム１００は任意には、物体１０７を保持するための保持ユニット１０１を含んでいてよい。照明光源１０４、１０５、１０６が、物体の上方に位置設定される。

【0041】

照明光源１０４、１０５、１０６の方向づけに関しては、照明光源１０４、１０５、１０６の光学軸は、照明光源が物体１０７に対して直交しない一つの方向に照明を適用するような形で配置される。

【0042】

画像形成システム１００は同様に、保持ユニット１０１に向けられたカメラなどの画像キャプチャデバイス１０８をも含んでいる。ベースユニット１０２のいずれかからの照明光源１０４、１０５、１０６の任意の組合せからの照明を、物体の方に向けることができる。画像キャプチャデバイス１０８は次に、照明を受けた任意の物体１０７の初期画像をキャプチャしてよい。

【0043】

図１に示されているように、環状ビーム１０９が同様に物体１０７を照明してよく、これはベースユニット１０２の一つにより生成される。

【0044】

照明光源１０４、１０５、１０６は、任意の好ましいタイプのもの、例えば赤（Ｒ）、緑（Ｇ）および青（Ｂ）の周波数で動作する発光ダイオード（ＬＥＤ）、単純な白色光源、紫外線（ＵＶ）源、または他の任意の適切な放射線源であってよい。任意の場所における光源の数は、本明細書中に示され説明されているものから変動し得る。各ＲＧＢ照明は、それぞれの各周波数で動作する三つのＬＥＤで構成されている。代替的には、一つのＬＥＤがＲＧＢ照明を生成してよい。異なる照明光源について、ＲＧＢ ＬＥＤの異なる組合せが存在してよい。代替的には、ダイオードのラインまたはバーを配置して、一つの照明方向を生成してもよい。

【0045】

各ユニット１０２内でその機能を制御する制御回路および光学部品１０３に加えて、少なくとも一つのコンピュータ、ディスプレイユニット、処理モジュールおよび画像エンハンスアルゴリズム、および他の任意のプロセスまたは技術を含む全体的制御システム１１０が存在していてよい。

【0046】

制御システム１１０は、特定のアプリケーション用に使用すべき照明光源の選択を制御するために使用されてよい。さらに制御システムは、異なるアプリケーション用に異なる画像エンハンス技術、および画像処理手順を適用してよい。画像エンハンス技術は、初期画像の品質をエンハンスするため、または例えば生物学的分野において画像のコンテンツを分析する専門家にとって、関連情報を可視的なものにするための方法および技術である。画像処理は、例えば決定支援を提供するかまたは自動決定を可能にするための初期画像からの情報の抽出を提供するために、画像行列に適用される数学演算に関係する。

【0047】

制御システム１１０は、画像形成システム１００のための他の任意の機能および／または制御動作を実施するために使用されてよい。これらには、以下のものが含まれるが、それらに限定されるわけではない：
− 輝度の制御；
− 赤、緑、青成分のバランス制御；
− 露出時間の制御；
− 照明組合せの制御；
− システムのテスト；
− システムの較正；および
− 分析の用途および目的に基づく他の任意の適切な制御。

【0048】

本発明の目的は、物体の表面の特性、および照明条件が全く未知な状態で、物体の複数の初期画像から、一つの物体の表面の隆起マップとも呼ばれる隆起レリーフマップである画像を生成するための改善された照度差ステレオ法を提供することにある。

【0049】

図２に示されているように、画像キャプチャデバイス１０８は、一つの画像内の各画素を選択し、その画素の対応する画素値または強度Ｉを決定するための強度検出デバイス１１２を含んでいる。強度検出デバイス１１２は、異なるカラーチャネルＲ、Ｇ、Ｂの各々について規定数の画像内で各画素の強度を検出または観察して、全ての初期画像についての全ての画素の検出または観察またはキャプチャされた強度値を表す行列を生成する。

【0050】

第一の実施形態において、強度検出デバイス１１２は、画像１などの一つの初期画像を選択する。強度検出デバイス１１２はこのとき、カラーチャネルＲなどの特定のカラーチャネルを選択する。強度検出デバイス１１２は、カラーチャネルＲについて画像１内の各画素の画素値を検出する。画像１内の画素１という具体的例を考慮した場合、検出された画素値はＩＲ１（画素１）を意味してよい。

【0051】

強度検出デバイス１１２は、画像１についてカラーチャネルＧおよびＢでも同じ要領で続行する。同様にして、検出された画素値は例えば、カラーチャネルＧについてはＩＧ１（画素１）、そしてカラーチャネルＢについてはＩＢ１（画素１）を意味していてよい。

【0052】

強度検出デバイス１１２は次に、画像２および３について同じステップを実施する。強度検出デバイス１１２は、他の全ての初期画像内の対応する画素をつねに選択して、全ての異なる初期画像内の同じ画素の対応する強度を決定する。「同じ画素」という文言は、画素が全ての初期画像内で同じ空間位置に位置設定され得ることを意味すると理解すべきである。したがって、画像１中の画素１は、画像２および３内の画素１と同じ場所に位置設定される。

【0053】

検出された画素値は、例えば画素１を考慮した場合、以下の表記を意味する：
− 画像２について：
ＩＲ２（画素１）
ＩＧ２（画素１）
ＩＢ２（画素１）；
− 画像３について：
ＩＲ３（画素１）
ＩＧ３（画素１）
ＩＢ３（画素１）。

【0054】

強度検出デバイス１１２は、画像１、そして付随するカラーチャネルＲについての全ての画素値を表わす行列ＩＲ１などの対応する行列内に、検出された強度を記憶してよい。

【0055】

類似の要領で、画像１の、カラーチャネルＧと結びつけられた全ての画素の画素値は、行列ＩＧ１の形に組織され、画像１の、カラーチャネルＢに関係づけされた画素値は、行列ＩＢ１の形に配置される。

【0056】

画像１の画素に対応する画素値が行列ＩＲ１、ＩＧ１、およびＩＢ１の形に配置されるのと同じ要領で、全ての画像についての全ての画素の検出された画素値は、例えば、以下のものを示す対応する行列の形に配置される：
カラーチャネルＲおよび画像２について、ＩＲ２
カラーチャネルＲおよび画像３について、ＩＲ３

カラーチャネルＧおよび画像２について、ＩＧ２
カラーチャネルＧおよび画像３について、ＩＧ３

カラーチャネルＢおよび画像２について、ＩＢ２
カラーチャネルＢおよび画像３について、ＩＢ３

【0057】

対応する行列に集められた画素値の数に起因して、強度検出デバイス１１２は、アンラップステップを処理して、行列を１本のデータラインを含むベクトルに変換してよく、こうして画素値に基づくさらなる計算が容易になる。こうして行列Ｉは、初期画像の数に等しい行を有し、ここで初期画像は三つのカラーチャネルに関係する３本のラインを含む。行列Ｉは、各初期画像について同じである画素数に等しい列数を有する。

【0058】

画像形成システム１００は同様に、画素値、および規定の数式に基づく特定の計算を実施するためのデータプロセッサ１１４を含んでいる。

【0059】

画像形成システム１００はさらに、四つのモデル成分を記憶するためのモデル成分データベースを記憶するための第一のメモリーコンポーネント１１６を含む。

【0060】

第一のモデル成分は、第一の行列Ａと結びつけられた初期画像の一つの画素のアルベド値を表わす。第一の行列Ａは、画素のアルベド値を含み、各アルベド値は物体の表面の各画素によって反射されている入射照明の比率に関係する。こうして、アルベド値は、物体表面の材料に左右される光学特性を表わす。第一の行列Ａは、３×ｎｉに等しい行数を有し、ここで各行は、特定のカラーチャネルに関する一つの初期画像の全ての画素についてのアルベド値を表わす。したがって、三つの行は、三つのカラーチャネルＲ、Ｇ、Ｂを表わす。第一の行列Ａは、初期画像内の画素数に等しい列数を含む。

【0061】

第二のモデル成分は、各照明光源の強度を表わし、第二の行列Ｌと結びつけられる。各画像獲得について、一度に一つの照明光源のみが使用される。こうして、第二の行列Ｌは、非ゼロ値を伴う各行が、各初期画像について一意的である照明光源の強度値に関係している行列である。第二の行列Ｌは、各初期画像の各カラーチャネルについての強度値を表わすため３×ｎｉに等しい数の行を含む。第二の行列Ｌは、ｎｐという数の値と等しい数の列を含む。

【0062】

第三のモデル成分Ｖは、各照明光源の照明方向を表わす。第三のモデル成分は、正規直交空間（ｘ、ｙ、ｚ）に関係づけされた三つの成分Ｖｘ、ＶｙおよびＶｚを含む第三の行列Ｖを含む。こうして、ベクトル（Ｖｘ、Ｖｙ、Ｖｚ）は、画像獲得プロセス中の照明光源の方向を表わす。第三の行列Ｖは、各初期画像のための全てのＲＧＢチャネルについて一つのみの特定の、または主要な照明方向を有するという条件を強制する。例えば、同じ画像について同じ照明方向を全てが有している三つのカラーチャネルＲ、Ｇ、Ｂのために、ＬＥＤなどの同じ照明光源を使用してよい。このとき、照明光源は、各カラーチャネルについて特定の波長を発出する。こうして、Ｖ^Tは、三つの行および３×ｎｉに等しい数の列を含む。本発明においては、以下に示す数学関数ｆおよびｇに基づく計算上の制約条件に起因して、転置行列Ｖ^Tが使用されなければならない。その場合、転置行列Ｖ^Tの形態で、以下の関数ｆおよびgの中に第三のモデル成分Ｖが適用される。こうして第三の行列Ｖは、３×ｎｉに等しい数の行を有し、ここで一つの行は一つのカラーチャネルを表わし、三つのカラーチャネルがＲ、ＧおよびＢであるものとして初期画像が表わされることから、初期画像は３本の行を伴って表わされる。第三の行列Ｖは、３本の列を含み、ここで各列は、正規直交空間の１本の軸ｚ、ｙ、ｚに関係する。

【0063】

第四のモデル成分は、一つの画像の一つの画素の３次元法線、つまり３Ｄ法線の位置を表わす。３Ｄ法線は、画素の接平面に直交するベクトルである。法線または表面方向づけは、表面の固有の特性に関係することから、このような特性は照明条件に左右されない。したがって、同じ画素を考慮する場合、法線ベクトルは全ての画像において同じである。第四のモデル成分は、第四の行列Ｎと結びつけられる。第四の行列Ｎは、正規直交空間の各軸ｘ、ｙ、ｚに関係づけされる３に等しい数の行を含む。第四の行列Ｎは、正規直交空間（ｘ、ｙ、ｚ）内の画素の各法線の座標を表わす列を含む。第四の行列Ｎは、ｎｐという数に等しい数の列を含む。

【0064】

以下で示す通りの第一の数式（１）が、上述の四つのモデル成分Ａ、Ｌ、ＶおよびＮに基づく照度差ステレオモデルをモデリングする。

【0065】

【数1】

【0066】

Ａ、Ｌ、ＶおよびＮを本発明の方法を用いて取り出してｆ（Ａ、Ｌ、Ｖ、Ｎ）＝Ｉを得なくてはならない。

【0067】

図３は、各行列Ａ、Ｌ、ＶおよびＮの構造を概略的に示す。

【0068】

数式（１）は、不均一な照明条件を有する大きなサイズの画像を考慮する場合に使用される任意の行列Ｃを含んでいてよい。このとき数式（１）は、任意の数式（１ａ）を意味してよい。

【0069】

【数2】

【0070】

本発明の一実施形態によると、初期画像は、光の分布が均一であるとみなしてよい小さなサイズの画像に関係するということが理解される。したがって、使用すべき数式は、任意の行列Ｃを含まず、数式（１）を意味する。

【0071】

上述の数式（１）はさらに、四つのモデル成分のための全ての行列Ａ、Ｎ、ＬおよびＶ^Tの間で大量のデータが処理されていることに起因する計算時間の増加を回避するように、特定の計算最適化を含んでいてよい。

【0072】

こうして、データプロセッサ１１４はさらに、計算を最適化する少なくとも三つの構造化成分を記憶するための構造化成分データベースを記憶するための第二のメモリーコンポーネント１１８を含む。構造化成分Ｗは、物体の表面の特性および照明条件を考慮することによって初期画像の物理的特性および制約を考慮しモデリングすることで、数式（１）を適応させる。

【0073】

第一の構造化成分Ｗ_Aは、複数の初期画像のための同じアルベド係数を表わし、０と１の値のみを含む。複数の初期画像の各画素は、同じカラーチャネルＲ、ＧまたはＢについて同じアルベド値を有することから、行列Ｗ_Aは、例えば以下で示す通りの３×ｎｉに等しい数の行を有する。

【0074】

【数3】

【0075】

第二の構造化成分Ｗ_Lは、各カラーチャネルに関して複数の初期画像の全ての画素について同じまたは同一の強度を表わす。

【0076】

したがって、各照明光源は等しい強度のものであることから、Ｗ_Lは例えば以下のようなｎｐという数に等しい長さを有するベクトルである。

【0077】

【数4】

【0078】

第三の構造化成分Ｗ_Vは、各画素および各カラーチャネルについての複数の初期画像のうちの一つの画像と結びつけられた一つの照明光源の照明方向を表わす。

【0079】

Ｗ_Vは、三つの初期画像を考慮した場合、以下に示す通りである。

【0080】

【数5】

【0081】

最適化プロセスは、各行列Ａ、ＬおよびＶについて同一の行と列を反復させることを回避するために行なわれ、各行列を、それぞれ行列Ａ’、Ｌ’およびＶ’である多数のモデルサブ成分、および、それぞれＷ_A、Ｗ_VおよびＷ_Lである対応する構造化成分Ｗへと分解することによって実施される。

【0082】

こうして、モデル成分は以下の通りである（２）：
行列Ａについて：Ａ＝Ｗ_A．Ａ’
行列Ｌについて：Ｌ＝Ｌ’．Ｗ_L
行列Ｖについて：Ｖ＝Ｗ_V．Ｖ’^T

【0083】

行列Ａ’、Ｖ’およびＬ’は、一つの画像についての画素に関係づけされた一意的データセットを表わす。行列Ｗ_A、Ｗ_VおよびＷ_Lはそれぞれ、（２）中に示された乗算を計算するときに行列Ａ、ＶおよびＬのコンテンツを取り出すため、各行列Ａ’、Ｖ’およびＬ’について係数を提供する。

【0084】

こうして、データプロセッサ１１４は同様に、以下の数式（３）に示されているように今や構造化成分およびモデルサブ成分を含む対応する関数ｇも演算する。

【0085】

【数6】

【0086】

式中、ｆ（Ａ、Ｌ、Ｖ、Ｎ）＝ｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）である。

【0087】

本発明の目的は、行列Ａ’、Ｌ’、Ｖ’およびＮの値を決定して、その結果としてのｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）についての値を得ることにある。結果として得られる最良の値は、画像キャプチャデバイス１０８から撮られる初期画像の強度値を表わすＩの値に可能な限り近い値である。したがって、関数ｆまたはｇは、Ｉの値に等しい公知の結果を有する。関数ｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）は、Ｗ_A、Ｗ_LおよびＷ_Vである公知の構造化成分を含む。モデル成分Ａ’、Ｌ’、Ｖ’およびＮは、観察された値Ｉに可能な限り近いｇについての結果としての値を得るように評価されなければならない。

【0088】

図４は、各々のモデル成分Ａ’、Ｌ’、Ｖ’、Ｎ、ならびに構造化成分Ｗ_A、Ｗ_LおよびＷ_Vの構造を概略的に示す。

【0089】

本再構築プロセスの一実施形態として、図５に係る方法の説明の中では、モデル成分Ａ’、Ｌ’、Ｖ’、Ｎおよび対応する構造化成分Ｗ_A、Ｗ_LおよびＷ_Vを含む関数ｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）が使用されている。図５に係る方法は、同様に、関数ｆ（Ａ、Ｌ、Ｖ、Ｎ）を使用してよい。

【0090】

したがって追加のプロセスは、観察された強度Ｉと、対応する計算上の強度ｇまたはｆとの間の誤差を最小化するために、特定の要領でＡ’、Ｌ’、Ｖ’またはＡ、Ｌ、ＶおよびＮの値を決定するための方法を提供する。このとき第四のモデル成分に関係づけされた得られた行列Ｎを使用することによって、観察対象の物体の表面の隆起レリーフマップまたは表現を、作成することができる。

【0091】

方法には、図５に示されたステップに基づいてアルゴリズムを動作させることが含まれる。アルゴリズムは、参考文献［１］、［２］および［３］に開示されているものを除く全ての変数を連続的に設定することによって、目的関数を最小化することからなる既存の発見的アルゴリズムの一つに属する交互最適化（ａｌｔｅｒｎａｔｉｎｇ ｏｐｔｉｍｉｚａｔｉｏｎ）に関係する。一部の条件下（例えば非負性）において観察行列の二つの行列への因数分解を目的とする場合に、ブラインドソースセパレーション（ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ）を提供するために、多くの場合交互最適化の発見的アルゴリズムが使用される。

【0092】

本発明によると、アルゴリズムは４成分行列表現（ｆｏｕｒ−ｃｏｍｐｏｎｅｎｔ ｍａｔｒｉｘ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を包含し、各々のモデル成分についての追加の制約条件を含む。

【0093】

アルゴリズムは、以下で説明され図５に詳細に示されている二つのサブ最小化手順を含む。

【0094】

アルゴリズムは、メインループ変数ｉおよび終結条件と結びつけられたメインループを含む。本実施形態において、メインループのための終結条件は、メインループの反復数ｎ＿ｉｔを含む。ｎ＿ｉｔの数は、例えば１０に等しいかもしれない。メインループは、第一のループおよび第二のループである内側ループを含む。第一のループは、第一のループ変数ｊと結びつけられ、第二のループは第二のループ変数ｋと結びつけられる。

【0095】

ステップ５００において、方法の各々のモデル成分Ａ’、Ｌ’、Ｎは、対応する既定値Ａ’₀、Ｌ’ ₀、Ｎ ₀と等しくなるように初期化される。

【0096】

ステップ５０２において、方法のメインループ変数を表わすｉの値は０に初期化される。

【0097】

ステップ５０４において、ｎ＿ｉｔの値は、この値がメインループ変数ｉの値よりも大きいか否かを決定するためにメインループ変数ｉと比較される。

【0098】

反復サイクル数ｎ＿ｉｔの値がメインループ変数ｉの値よりも大きい場合には、プロセスはステップ５０６で続行する。

【0099】

ステップ５０６において、第一のループ変数ｊは０に初期化される。

【0100】

ステップ５０８において、第一のループ変数ｊの値は、第一のループに結びつけられた既定の値ｐと比較されて、ｐ＝５などのｐの値がｊの値よりも大きいか否かを決定する。ｐの値がｊの値よりも大きい場合、方法はステップ５１０で続行する。こうして、ｊ＜ｐが終結条件を表わす。

【0101】

以下のステップ５１０および５１２は、第一のサブ最小化手順を表わす。こうして、ｊ＜ｐが、第一の最小化方法のための終結条件である。

【0102】

ステップ５１０では、最小化演算などの最適化プロセスが適用される。最小化演算には、二次損失関数などの最小二乗最小化技術の適用が含まれる。本実施形態において、関数ｇを使用することにより観察された強度Ｉと計算上の強度との間の二次誤差を得るために、二次損失関数が適用される。ステップ５１０において、二次損失関数は、モデル成分Ｖ’の値の変動に基づいている。ステップ５１０において、観察された強度Ｉと関数ｇの間の最小差を提供するように、Ｖ’の具体的値が評価される。モデル成分Ａ’、Ｌ’、Ｎは不変の状態にとどまる。Ｖ’の評価値が決定される。

【0103】

ステップ５１２において、二次損失関数は、同様に、モデル成分Ｎの値の変動に基づいている。ステップ５１２において、観察された強度Ｉと関数ｇの間の最小差を提供するように、Ｎの具体的値が決定される。モデルサブ成分Ａ’、Ｌ’、Ｖ’は不変の状態にとどまる。値Ｖ’は、ステップ５１０由来のＶ’の評価値に対応する。Ｎの評価値が決定される。

【0104】

ステップ５１４において、第一のループ変数ｊはｊからｊ＋１まで増大させられる。

【0105】

ステップ５０８において、増大したｊの値はｐの値と比較される。第一のループは、ｊの値がｐの値より大きくなるまで演算する。ｊの値がｐの値よりも小さい場合は、ステップ５１０は第一のループの新たな反復において再び演算する。最小化演算によりＶ’の新たな評価値が決定されて、Ｉとｇの間の最小差を提供する最適な評価値Ｖ’を得、ここでｇは第一のループの先行する反復においてステップ５１２由来のＮの評価値を考慮する）。

【0106】

ステップ５１２における第一のループの新たな反復では、ステップ５１２のＮの全ての先行する評価値とＮの新たな評価値が比較されて、Ｉとｇの間の最小差を提供する評価値Ｎが決定され、ここでｇは第一のループの先行する反復におけるステップ５１０由来のＶ’の評価値を考慮する。

【0107】

第一のループは、Ｖ’およびＮについて最適な評価値を提供する。

【0108】

ｊの値がｐの値よりも大きい場合、方法は、ステップ５１６で始まる第二のループで続行する。

【0109】

ステップ５１６において、第二のループ変数ｋは、０に初期化される。ステップ５１８において、第二のループ変数ｋの値は、第二のループと結びつけられた既定の値ｐと比較されて、ｐ＝５などのｐの値がｋの値よりも大きいか否かが決定される。ｐの値がｋの値よりも大きい場合、方法はステップ５２０で続行する。

【0110】

こうして、ｋ＜ｐが終結条件である。

【0111】

以下のステップ５２０および５２２は、第二のサブ最小化手順を表わす。こうしてｋ＜ｐは、第二の最小化方法のための終結条件を表わす。

【0112】

ステップ５２０において、二次損失関数はモデル成分Ｌ’で適用される。ステップ５２０において、観察された強度Ｉと関数ｇの間の最小差を提供するようにＬ’の具体的値が評価される。モデルサブ成分Ａ’、Ｖ’およびモデル成分Ｎは不変の状態にとどまる。Ｖ’とＮの値は、共にＩとｇの間の最小差を提供する第一のループ由来のＶ’の最適評価値に対応する。Ｌ’の評価値が決定される。

【0113】

ステップ５２２において、二次損失関数はモデル成分Ａ’で適用される。ステップ５２２において、観察された強度Ｉと関数ｇの間の最小差を提供するようにＡ’の具体的値が評価される。モデルサブ成分Ｌ’、Ｖ’およびモデル成分Ｎは、不変の状態にとどまる。Ｌ’の値は、ステップ５２０由来のＬ’の評価値に対応し、Ｖ’とＮの値は、共にＩとｇの間の最小差を提供する第一のループ由来のＶ’およびＮの最適評価値に対応する。Ａ’の評価値が決定される。

【0114】

ステップ５２４において、第二のループ変数ｋはｋ＋１まで増大させられる。

【0115】

第二のループは、ｋの値がｐの値より大きくなるまで演算する。ｋの値がｐの値よりも小さい場合、ステップ５２０は第二のループの新たな反復において再び演算する。最小化演算によりＬ’の新たな評価値が決定されて、Ｉとｇの間の最小差を提供する最適な評価値Ｌ’を得、ここでｇは第二のループの先行する反復においてステップ５２０由来のＡ’の評価値を考慮する。

【0116】

ｋの値がｐの値よりも大きい場合、方法は、ステップ５２６で続行し、ここで、メインループ変数ｉがｉ＋１まで増大させられる。

【0117】

方法は次に、ステップ５０４で続行して、ループ反復数ｎ＿ｉｔをメインループ変数ｉの値と比較する。メインループは、反復数ｎ＿ｉｔがメインループ変数ｉの値より小さくなるまで演算する。メインループ変数ｉの値が反復数ｎ＿ｉｔの値よりも大きい場合には、方法は停止する。

【0118】

ｎ＿ｉｔは、本方法のための具体的終結条件を表わす。

【0119】

代替的終結条件には、観察された強度Ｉと計算上の強度ｆ（Ａ、Ｌ、Ｖ、Ｎ）またはｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）の間に得られる差分値に結びつけられる閾値が含まれる場合がある。こうして、方法は、ＩとｆまたはＩとｇの間の計算上の差が、例えば閾値または差分閾値以下となった時点で停止する。

【0120】

別の代替的終結条件は、差分閾値に基づいていてよい。差分閾値を使用する場合、方法は、二つの連続する反復に基づく同じモデル成分の二つの値の間の差が閾値以下となった場合に停止する。

【0121】

方法の目的は、各々のモデル成分Ａ’、Ｌ’、Ｖ’およびＮについて、二次損失関数の計算において最小差を提供する値を別個にかつ反復的に考慮することにある。方法は、モデル成分Ａ’、Ｌ’、Ｖ’およびＮの値の決定を最適化するため、メインループ、第一および第二の反復的ループに基づいている。メインループ、第一のループおよび第二のループの反復の目的は、最良の収束に達することにある。こうして、各々のステップ５１０、５１２、５２０および５２２について、データプロセッサ１１４は、第一および第二のループの各反復において、かつ各モデル成分について、比較ステップを演算する。実際、データプロセッサ１１４が二次損失関数を計算して、特定のモデル成分を増大させた時点での差分値を得る毎に、データプロセッサ１１４は、先に得た既存の差分値と得られた差分値とを比較する。こうして、データプロセッサ１１４は、最小差分値を決定し、さらなる計算のための最小差分値を保持することができる。

【0122】

反復数ｐの値は、ｊおよびｋについて同じであってよい規定数である。第一のループは、モデル成分ＶおよびＮに関係し、第二のループは、方法の改善された最適化のためモデル成分ＡおよびＬに関係する。

【0123】

モデル成分Ｖ、Ｎは、物体の表面の方向と、照明光源１０４、１０５、１０６の方向の間の相互作用に関係する。このような相互作用が、これら二つの方向の間の角度を決定する。このような角度の決定に関係づけされた計算は、対応する行列のサイズに起因して実行するのが比較的複雑である。

【0124】

こうして、第一のループは、第二のループと結びつけられた計算および計算時間を最適化するために、モデル成分ＶおよびＮまたはＶ’およびＮに関する計算を提供する。第二のループは、モデル成分ＡおよびＬに関する計算を提供する。Ａは、物体の表面と結びつけられた重みづけ係数に対応する。Ｌは、照明光源と結びつけられた重みづけ係数に対応する。したがって、このようなモデル成分に関係づけされた計算は、対応する行列のサイズに起因して比較的実行が容易である。

【0125】

このような第一および第二のループ内でのモデル成分Ａ、Ｌ、Ｖ、ＮまたはＡ’、Ｌ’、Ｖ’、Ｎの配置は、方法のより優れた収束を提供する。こうして、最小化演算などの最適化プロセスを実施するためのモデル成分Ａ、Ｌ、Ｖ、Ｎ、またはＡ’、Ｌ’、Ｖ’、Ｎの異なる配置と比較した場合、計算時間が削減される。

【0126】

代替的配置は、以下のようなものであってよい：Ｖ’、Ｎ、Ｌ’、Ａ’、またはＶ’、Ｎ、Ａ’、Ｌ’、またはＶ’、Ｌ’、Ａ’、Ｎ、またはＶ’、Ｌ’、Ｎ、Ａ’、またはＶ’、Ａ’、Ｎ、Ｌ’、またはＶ’、Ａ’、Ｌ’、Ｎ。

【0127】

メインループ、第一のループおよび第二のループの全ての反復が処理された場合、方法は停止する。

【0128】

データプロセッサ１１４は、再構築プロセスの方法から決定されたＮの値を取り出す。このとき、データプロセッサ１１４は、参考文献［４］、［５］、［６］および［７］の中で開示されているアルゴリズムの一つを適用することで各画素についてのＮの値を考慮することにより、画素毎に表面を構築する。

【0129】

こうして、データプロセッサ１１４は、考慮対象の物体の表面の隆起レリーフマップを提供する。

【0130】

図６、７、８および９は、各々第一の物体の初期画像を示す。図１０、１１、１２および１３は、図６、７、８および９の物体の表面の本発明に係る隆起レリーフマップを示す。この実施形態において、ループ反復数はｎ＿ｉｔ＝１０であり、第一および第二のループ変数の値はｐ＝５である。

【0131】

本方法は、有意な数の優れた品質の画像を考慮する場合に、モデル成分Ａ’、Ｌ’、Ｖ’およびＮのより優れた評価が提供されることを保証する。さらに、画像獲得中の照明光源の均等な空間的分布が、より良い結果を提供する。図１４は、ティーバッグである物体の初期画像を表わす。図１５は、図１４に示された物体の三つの初期画像を考慮した場合の、図１４の物体の隆起レリーフマップを示す。図１６は、図１４に示された物体の五つの初期画像を考慮した場合の、図１４の物体の隆起レリーフマップを示す。図１７は、図１４に示された物体の１０個の初期画像を考慮した場合の、図１４の物体の隆起レリーフマップを示す。目視によると、図１７中の隆起レリーフマップは、図１５および１６中の隆起レリーフマップに比べて物体のより多くの細部を含んでいる。隆起レリーフマップの表面の視覚的分析結果は、初期画像と比べて全体的表面形態に対する有意な影響が全く無い隆起レリーフマップの改善された品質を示している。

【0132】

図１８、１９、２０および２１は、微生物である第一の物体の初期画像を示す。図２２は、図１８、１９、２０および２１の物体の表面の隆起レリーフマップの上面図を示す。

【0133】

図２３は、図２２の物体の側面図を表わす。

【0134】

図２４、２５、２６および２７は、本発明に係る、微生物などのさまざまな物体の隆起レリーフマップを表わす。

【0135】

上述の最適化は、表面の法線を決定するため、および深度マップを再構築するための一つの解決法を提供する、本発明の方法の第一の実施形態に関係する。

【0136】

上述の第一の実施形態においては、最小化ステップ中に、値の制約条件および品質制約条件が考慮されていない。各モデル成分は、最小二乗法を用いて評価可能である。反復的手順の実行中、各サブ最小化後に得られた値を制約条件内に投影することが可能である。アルベド成分Ａ’については、ゼロ未満の全ての値がゼロと等しくされ、１より大きい全ての値は１に設定される。類似の演算を光源強度についても実施することができる。ゼロより小さいＬ行列中の値は、ゼロまたは非常に低い値に設定される。照明方向Ｖ、および表面法線Ｎは、第一の最小化ループの評価後に初めて正規化される。正規化の直後に品質平滑度制約条件を実行に移すため３×３のスライドウィンドウを伴う平均化フィルターにより、補足的表面法線をフィルタリングすることができる。このような評価後の制約条件の適用は、アルゴリズムの反復的性質に起因して可能になっている。以下の第二の実施形態中で説明されている、制約条件の評価に関係する追加のステップを、方法の終りに提供して、第一の照度差ステレオモデル成分近似を提供してもよい。

【0137】

第二の実施形態において、本発明は、最適化方法の実行中に照度差ステレオモデルについての値制約条件、および品質制約条件を考慮するための解決法を提供している。

【0138】

照度差ステレオ成分のための値および品質制約条件を統合する目的で、アルベド値、光源強度、光源方向、および表面法線行列を発見するための最小化関数は、補足的等式および不等式制約条件を考慮に入れる。各モデル成分のための最小化演算について以下で説明する。

【0139】

図５において、ノルム制約条件を含む光源方向行列は、

【数7】

を条件として、Ｖについて示された式を用いて求められるべきである。

【0140】

なおここで、ｋ＝１、…、ｎｉであり、ベクトル

【数8】

は、ｋ番目の画像の獲得中に使用される照明方向に対応する。

【0141】

値ノルム制約条件、および品質制約条件を伴う表面法線行列を得るためには、図５中の行列Ｎのための最小化手順を、以下の条件で使用しなければならない。

【0142】

【数9】

【0143】

式中、ｊ＝１、…、ｎｐであり、ｎ_jはｊ番目の画素の３Ｄ法線に対応し、ｎ_j^(p,l)は、初期非ベクトル化画像内のｊ番目の画素隣接物を表わす。

【0144】

光源強度ベクトルは、０より大きく、かつ画像の可能最大値Ｈ未満の値のみを含まなければならない。したがって、図５に示された行列Ｌ’は、以下の条件で使用されなければならない。

【0145】

ｌ_k＞０、かつｌ_k＜Ｈ

【0146】

なお式中、ｋ＝１、…、３ｎｉであり、ｎｉは入力されたカラー画像数であり、ｌ_kはｋ番目の入力画像の獲得中に使用される光源の強度に対応する。

【0147】

アルベド行列は、間隔［０；１］からの値のみを含んでいなければならない。したがって、図５中のアルベド近似についての最小化関数Ａ’_iは、
ａ_kj≧０、かつａ_kj≦１
という条件で使用されなければならない。

【0148】

なお式中、ｋ＝１、…、３ｎｉ、ｊ＝１、…、ｎｐであり、ｎｉは入力カラー画像数であり、ｎｐは各入力画像内の画素数である。

【0149】

不等式制約条件、すなわちアルベドＡ’および光源強度Ｌ’についての最小化問題は、ラグランジュ乗数（Ｌａｇｒａｎｇｅ ｍｕｌｔｉｐｌｉｅｒ）を含む最適化誤差関数［９］について、参考文献［８］に示されているカルーシュ・キューン・タッカー（ＫＫＴ）条件を分析することにより解明することができる。照明方向および表面法線についての等式制約条件が非線形性であることから、サブ最小化のための最良の解決法は、参考文献［１０］中に示されている、ラグランジュ乗数を含む損失関数のためのレーベンバーグ・マーカートアルゴリズムを使用して得ることができる。

【0150】

照度差ステレオモデル解像度は、単位法線、すなわち各画素内の表面、方向づけを提供する。これらの法線から深度マップを得るためには、既存のアルゴリズムの一つを適用しなければならない。深度マップは、法線行列により提供されるものよりも容易な結果としての表面の視覚的分析を可能にする。実験中、参考文献［４］、［５］、［６］および［７］に提示されたアルゴリズムがテストされた。［４］で提示されている積分アルゴリズムは、所与の例全てについて最も速く最も効率の良いものであることが判明した。このアルゴリズムは、二つの観点からの、すなわち離散導関数（隣接する点の間の単純な差分）、および表面法線に基づいて計算された導関数としての、表面偏導関数表現に基づいている。このアルゴリズムはこうして、交互最適化の後に得られた法線と視覚化された深度マップのと間の遷移のために使用された。以下の実証の全てにおいて、深度マップを用いた再構築の品質が分析される。

【0151】

図２８は、参考文献［１１］に示されている通りのＭＩＴ固有画像データセット由来の物体について、および単純な半球物体についての再構築結果の比較を示している。提示された実施例のためには、各々の最小化について１０個の包括的反復と５個の内部反復で、図５由来の交互方法が使用された。得られた結果は、制約条件を実装する必要性を示している。半球形などの単純な物体については、いかなる変数値制約条件もない交互最適化で十分である。しかしながら、より複雑な表面には制約条件を使用することが求められる。図２８に示されているように、各最小化手順内に直接統合された制約条件、および制約条件のない各々の変数評価の後の制約条件の空間内投影という、制約条件の実装の異なる形態を、異なる処理時間ｔで比較することができる。第二の実施は、第一の実施に近い結果を提供するが、評価処理時間は著しく削減される。こうして、さらなる実験においては、第二の評価モードが優先された。Ｍａｔｌａｂ Ｒ２０１２ｂ環境を用いて、６４ビット、Ｉｎｔｅｌ（Ｒ）、Ｃｏｒｅ（ＴＭ）ｉ７−２６００、ＣＰＵ ３．４０ＧＨｚ、ＲＡＭ＝８Ｇｏのシステムについての評価時間が提示されている。

【0152】

図５において、ステップ５００は、Ａ’、Ｌ’およびＮについての規定値に基づく初期化ステップに関係する。

【0153】

いかなる先行情報も入手可能でない場合、交互最適化アルゴリズムのために必要なモデル成分の初期化を、入力画像に基づいて行なわなければならない。実験から、一部の変数の初期化の影響が他のものよりも大きいことが分かった。最も重要であるのは、法線行列Ｎの初期化である。Ａ’およびＬ’などの初期値を必要とする他の全ての変数は、一つの値またはランダム値の行列として選択されてよい。図２９ａは、物体の初期画像に関係する。図２９ｂは、グランドトゥルース法線（ｇｒｏｕｎｄ ｔｒｕｔｈ ｎｏｒｍａｌ）の行列に基づく画像に関係する。図２９ｃは、深度マップに基づく画像に関係する。図２９ｄは、行列Ｎのための異なる初期化基準に基づき異なる画像を比較するための表の形に配置された複数の結果として得られた画像を含む表を示している。各々の初期化基準は、以下で説明する通り、表中の特定の行に関係する。

【0154】

第一の行Ｎｏは、交互手順の第一のステップにおいて使用されるＮの初期値に関係する。Ｎｘは、表現のカラーチャネルＲに対応し、ＮｙはカラーチャネルＧに対応し、ＮｚはカラーチャネルＢに対応する。

【0155】

第二の行「Ｎ」は、交互最適化アルゴリズムによって取り出される行列Ｎに関係する。第二の行は、Ｒ、Ｇ、Ｂチャネル内でコード化され行Ｎｏから異なる初期化を用いて得られた、法線の結果として得られた値に関係する。

【0156】

第三の行「ＳＦ」は、結果として得られた物体表面に関係し、これは、行Ｎ由来の結果として得られた法線に基づいて得られた深度マップに対応する。

【0157】

第一の列「Ｏｎｅｓ」は、単位行列に関係する。

【0158】

第二の列「Ｒａｎｄｎ」は、ガウス分布にしたがった値の行列などの、正規分布したランダム値の行列に関係する。

【0159】

第三の列「Ｒａｎｄ」は、均一に分布したランダム値の行列に関する。

【0160】

第四の列「Ｍｅｄに対する３Ｄノーマル（ｎｏｒｍａｌ）」は、ノーマルのための異なる初期化タイプを含む行列に関係する。初期ノーマルは、各画素の中央強度値に対する３Ｄノーマルに等しい。第四の列の基準を組合せるアルゴリズムが最高品質の画像を提供すると思われる。

【0161】

図２９ｄは、行列Ｎの異なる初期化についての再構築結果を含む。したがって、各画素中央強度値に対する３Ｄノーマルに等しい初期化されたノーマルを伴う再構築された表面は、他の初期化されたノーマルの場合よりも著しく優れたものである。

【0162】

評価された例において、アルベド行列Ａ’は、適切なサイズ［３×ｎｐ］の単位行列として選択された。光源強度ベクトルＬ’は、全ての画像チャネルの３ｎｉ中央値のベクトルとして理解された。表面ノーマルの初期行列Ｎ’は、各行列中央強度値に対する３Ｄノーマルとして定義された。こうして、行列Ｎ’は、求められる［３×ｎｐ］のサイズを有する。説明された初期化は、唯一の考えられる選択肢ではないが、提案された交互方法と組合わせて、定性的表面を得るために効果的であることが分かっている。

【0163】

図５に示された好ましい実施形態において、メインループの終結条件は、定義された反復ループ数に基づく。代替的終結条件は、初期データと評価された変数との間の小さい二次誤差、および反復間の小さな変数変動（またはたった一つの最重要変数）を含んでいてよい。図３０は、異なる物体に関係する三つの異なる行を示す表を含み、ここで第一の列は、グランドトゥルース表面に関係し、第二の列は第一の終結条件に関係する。第三の列は、第二の終結条件に関係し、第四の列は、第三の終結条件および対応する処理時間ｔに関係する。結果は、言及された基準全てを使用して満足のいく表面を得ることが可能であることを示している。

【0164】

再構築される表面の複雑性、初期画像のサイズ、および品質に応じて、モデル

【数10】

および反復間のノーマル変動

【数11】

の分析である、１０個のアルゴリズム反復に等しいｉｔ_max値で、類似の再構築結果が得られた。

【0165】

このとき、ＥｒｒおよびＶａｒは、経験的に決定された閾値と比較される。所望される結果および評価時間制約条件に応じて、これらの基準の一つを使用することができる。

【0166】

選択可能な最も単純な基準は、反復数である。メインループ内の反復の数は１０に等しく、サブ最小化の各々の中の反復数は５である。これらの値について、アルゴリズム収束が得られ、結果として得られた表面の品質は、さらなる分析のために十分なものである。

【0167】

初期画像の品質を改善するための追加の具体的な画像プリプロセスが、本発明の中で使用される前記画像に対して、本発明の方法を適用する前に、初期画像の品質を改善するために本発明と共に実施されてよい。このような追加の画像プリプロセスは、深さマップの不正確な表現を導くかもしれない画素値を含む、初期画像内部のあらゆる暗ゾーンまたは明ゾーンを除去し得る。

【0168】

データプロセッサ１１４は、上述の行列に基づいて、異なるカラーチャネルについての特定の画像内の画素の画素値と、対応するカラーチャネルについての他の画像内の対応する画素の画素値との間の比較に関連する特定の比率を計算してよい。１という比率は、同じ画素値を有する二つの画素の画素値との比較に対応する。こうして、比率が１と異なる場合、比率は、一つの画像内の一つの画素の第一の画素値と、一つ以上の他の画像内の同じ画素の第二の画素値との間の相違を決定する。実際、比率が１より大きい場合、これはすなわち、問題の画素がより明るい画素に対応することを意味する。例えば、比率は、これは１に等しい比率の２０％の増加を表わす１．２０であってもよい。比率が１より小さい場合、これはすなわち、問題の画素がより暗い画素に対応することを意味する。

【0169】

画像１について：
比率には、カラーチャネルＲと結びつけられた画像１内において、同じカラーチャネルについての画像２と比べた場合の明ゾーンの存在を決定するために、例えばＩＲ１／ＩＲ２が含まれる。

【0170】

結果として得られる比率値は、例えば、以下のような対応する比率行列の形に配置されてよく、ここで各ベクトルは、画素毎の画像１の全ての画素の比率に関係し、ここで行列の各列は、関連している画像内の特定の画素に対応する。

【0171】

画像１について：
ＩＲｌ＿ｒａｔｉｏ＝（ＩＲ１／ＩＲ２；ＩＲ１／ＩＲ３）
ＩＲ２＿ｒａｔｉｏ＝（ＩＲ２／ＩＲ１；ＩＲ２／ＩＲ３）
ＩＲ３＿ｒａｔｉｏ＝（ＩＲ３／ＩＲ１；ＩＲ３／ＩＲ２）

【0172】

画像２および画像３について：
データプロセッサ１１４は、画像２および３について、かつ、各画像１、２、３についてならびに画像２と画像３内の各画素についての他のカラーチャネルＧおよびＢについてそれぞれ、類似の比率行列を得るため、類似の比率計算を反復して実施する。

【0173】

Ｎ個という多数の画像を考慮する場合、データプロセッサ１１４は、各カラーチャネルに関してＮ個の画像全ての画素全てについて、このような比率計算を反復的に実施する。

【0174】

データプロセッサ１１４は同様に、以上で得られた比率行列に基づく平均値である重みづけ値Ｗを計算してもよい。

【0175】

平均値は、統計的尺度に基づく一般化平均値に対応する。一般化平均は、一組のデータセットの値を集約して、結果として得られた、そのデータセットを特徴づけるかまたは表わすデータ値を提供する。結果として得られたデータ値は、データセットの任意のデータ値と同じタイプのものである。こうして、結果として得られるデータ値は、データセットの任意のデータ値と比較できる。一般化平均は、計算された比率の算術平均（すなわちアベレージ）、加重算術平均、幾何平均、または中央値などの中心傾向尺度（ｃｅｎｔｒａｌ ｔｅｎｄｅｎｃｙ ｍｅａｓｕｒｅ）を意味してよい。

【0176】

第一の実施形態において、重みづけ値Ｗは、各画像の各画素について、および各カラーチャネルについて計算され、以下に記す通りに定義づけされてよい。

【0177】

【数12】

【0178】

上記式中、ｃ_jは加重平均の計算を可能にする係数である。それは、算術平均の場合１／ｐに等しいものであってよく、ここでｐは基準画像の数であり；
Ｉ_refjは、ｐ個という複数の基準画像内のｊ番目の画像であり；
Ｉは、補正対象の画像である。

【0179】

結果として得られた重みづけ値Ｗは、以下の通りの対応する重みづけ行列の形に配置されていてよい。

【0180】

カラーチャネルＲについて：
ＷＲ１＝画像１内の全画素についての平均ＩＲ１＿ｒａｔｉｏ
ＷＲ２＝画像２内の全画素についての平均ＩＲ２＿ｒａｔｉｏ
ＷＲ３＝画像３内の全画素についての平均ＩＲ３＿ｒａｔｉｏ

【0181】

上述の例において、ＷＲ１は、画像１の赤チャネルの全画素についてのＷの値を集める重みづけ行列である。

【0182】

カラーチャネルＧおよびＢについて、類似の重みづけ行列が得られる。

【0183】

Ｎ個という多数の画像を考慮した場合、データプロセッサ１１４は、各カラーチャネルについてのＮ個の画像全ての画素全てについて、このような重み行列計算を反復的に実施する。

【0184】

図３８は、画像１内のそのそれぞれの場所で識別されている６０００の画素を含む、図３１に示されている画像１についての比率ＷＲ１の一表現を示す。この例において、算術平均は、図３２、図３３および図３４に示されている基準画像として使用されている他の三つの画像に基づいて平均値ＷＲ１を計算するために使用される。こうして、ＷＲ１の高い値は、画素１５００から画素２０００の間に位置設定されている明ゾーンに対応する。

【0185】

重みづけ値Ｗは、閾値Ｖと重みづけ値Ｗを比較して、どの状況において重みづけ値と結びつけられた画像が明ゾーンを含むかを決定するため、１に等しい閾値Ｖと結びつけられる。

【0186】

重みづけ値Ｗが閾値１に等しい場合、これはすなわち、二つの考慮対象画像内の同じ画素の強度値が同じであることを意味している。

【0187】

重みづけ値Ｗが閾値１よりも大きい場合、これはすなわち、画素が恐らく鏡面反射画素に関係していることを意味する。

【0188】

重みづけ値Ｗが、特定の画素について１より小さい場合、これはすなわち、画素が鏡面反射画素に関係しないことを意味している。

【0189】

重みづけ値Ｗが値０に接近した場合、これはすなわち、画素が恐らくは暗ゾーンに関係していることを意味する。

【0190】

重みづけ値Ｗは、二つの対応する閾値間隔を定義するため、明ゾーンについてはＶｍ＿ｈｉｇｈ、そして暗ゾーンについてはＶｍ＿ｌｏｗなどの具体的な余裕値Ｖｍと結びつけられてよい。このような閾値間隔は、鏡面反射ゾーンまたは陰影ゾーンに無関係である場合がある特定の明ゾーンおよび暗ゾーンを画像内に保持することを可能にする。実際、このような特定の明ゾーンおよび暗ゾーンは、例えば特定の照明方向または物体の特定の性質によってひき起こされる照明光源と物体との相互作用に起因して発生するかもしれない。したがって、閾値間隔を考慮する場合、このような特定のゾーンは、本発明の方法を用いて補正されるべき明ゾーンまたは暗ゾーンとはみなされず、画像内で不変の状態にとどまる。Ｖｍ＿ｈｉｇｈおよびＶｍ＿ｌｏｗの値は、Ｖｍ＿ｈｉｇｈが０．２に等しく、Ｖｍ＿ｌｏｗが０．８に等しいといった定義値である。

【0191】

第一の閾値間隔は、１という値に接近し明画素の不在を示す、より高いＷの値に関係する。余裕値Ｖｍ＿ｈｉｇｈの値に基づいて、第一の閾値間隔は、１からＶ＿ｈｉｇｈまでのＶの値に関係し、ここでＶ＿ｈｉｇｈは明画素についてのＶの既定値に対応する。Ｖｍ＿ｈｉｇｈが０．２に等しいこの例において、第一の閾値間隔は、１から１＋Ｖｍ＿ｈｉｇｈ、すなわち１．２までのＶの値に対応する。こうして、重みづけ値Ｗが１に等しくなく第一の閾値間隔内に含まれている場合、これは、関係づけされた画素が鏡面反射画素に対応する任意の明画素を含むものとみなされないことを暗示する。こうして、例えば物体の特定の性質などに起因する光の効果によって発生させられることのある高い強度を有する画素値が、画素補正のために考慮されるが、画素値の補正の後ほぼ不変の状態にとどまる。

【0192】

第二の閾値間隔は、０という値に接近し暗画素の存在を示す、より低いＷの値に関係する。余裕値Ｖｍ＿ｌｏｗの値に基づいて、第二の閾値間隔は、Ｖ＿ｌｏｗから１までのＶの値に対応し、ここでＶ＿ｌｏｗは暗画素についてのＶの既定値に対応する。Ｖｍ＿ｌｏｗが０．８に等しいこの例において、第二の閾値間隔は、１から１−Ｖｍ＿ｌｏｗ、すなわち０．２までのＶの値に対応する。こうして、重みづけ値Ｗが１に等しくなく第二の閾値間隔内に含まれている場合、これは、関係づけされた画素が暗ゾーンに対応する任意の暗画素を含むものとみなされないことを暗示する。こうして、例えば物体またはペトリ皿材料の特定の性質などに起因する光の効果によって発生させられることのある低い強度を有する画素値が、画素値補正のために考慮されるが、画素の補正の後ほぼ不変の状態にとどまる。

【0193】

閾値Ｖは、本発明の方法を用いた画素値補正が必要とされるか否かを決定するための一つの要件を表わしている。

【0194】

データプロセッサ１１４は、上述の比率、重みづけ値Ｗおよび閾値Ｖに基づいて規定の式を計算して、補正済み画素値または補正済み強度Ｉｃを提供し、考慮中の画素の既定の画素値Ｉと置換させることができ、この式は、例えば以下の形態をとってよい。

【0195】

【数13】

【0196】

式中、
ｉｍ＿ｎｕｍｂｅｒは、Ｎ個という複数の画像からの補正済み画像のための添え字つき（ｓｕｂｓｃｒｉｐｔｅｄ）リファレンスであり；
ｐ＿ｎｕｍｂｅｒは補正済み画素のための添え字つきリファレンスであり；かつ
ｆ（Ｗ）は、補正されるべき明画像と暗画像に関する連続補正を提供する。シグモイド関数がこのような連続性を可能にする。

【0197】

ｆ（Ｗ）は、以下のシグモイド関数のような関数であり、０より大きく１未満の値を表わしていてよい。

【0198】

【数14】

【0199】

式中、
−ｋは、以下に定義されている補正レベルの変調に関係づけされる係数であり；
−Ｖは、閾値間隔に関して以上で説明した閾値であり；
−αは、シグモイド関数の遷移鮮明度を定義するパラメータであり；
−Ｗは、上述した重みづけ値である。

【0200】

上記式中、ｋは、補正レベルを変調して、物体の補正済み画像上で問題の画素によりひき起こされた歪を変調するため、および画像内部の他の画素に対する画素補正の影響のレベルを変調するための既定の係数であり、ｋの値は０より大きく１未満である。ｋの高い値は、画素の有意な補正を提供する。明画素および暗画素についての図６６に示されているような例えばｋ＝０．７５などのｋの既定の値はそれぞれ、ｋ＿ｈｉｇｈおよびｋ＿ｌｏｗを意味していてよい。

【0201】

上記の式に基づいて、重みづけ値Ｗが閾値Ｖに比べて相対的に高い場合、関数ｆ（Ｗ）は、関連する画素値の補正を提供するｋの値に接近する。

【0202】

同様にして、重みづけ値Ｗが閾値Ｖよりも相対的に低い場合、関数ｆ（Ｗ）は、画素値を有意に変えない関連する画素値の厳正な補正をも提供する値０に接近する。

【0203】

上記式中、αは、シグモイド関数の遷移鮮明度を定義づけるパラメータである。これはすなわち、αが、図６７に示されている画像内の物体の補正済みゾーンと非補正ゾーンの間の可視的遷移を平滑化するように補正を変調するために変動可能であることを意味する。遷移の平滑性は、画像に対する補正の可視的効果を改善すると同時に、物体表面の再構築のためのさらなる照度差ステレオ法などのプロセスのための画像の品質を改善する。明画素および暗画素のためのαの既定値は、それぞれα＿ｈｉｇｈおよびα＿ｌｏｗと呼ばれる。

【0204】

パラメータα、ｋおよびＶについての上述の区別に基づいて、ｆ（Ｗ）の上記一般式を、以下のように詳細な形で記すことができる。

【0205】

【数15】

【0206】

図３９、６５、６６および６７は、パラメータｋ、ｆ（Ｗ）、Ｖ＿ｈｉｇｈおよびＶ＿ｌｏｗ、そしてαについての異なる値セットを含む異なる実施形態を示す。

【0207】

図６５は、ｋ＝０．７５およびα＝１００が固定値であり、ｆ（Ｗ）に対するＶの影響を示すためＶ＝１、１．２および１．５である、ｆ（Ｗ）の一表現に各々関係づけされている３本の点線を表わす。

【0208】

図６６は、Ｖ＝１．２５およびα＝１００が固定値であり、ｆ（Ｗ）に対するｋの影響を示すためｋ＝１、０．７５および０．５である、ｆ（Ｗ）の一表現に各々関係づけされている３本の点線を表わす。

【0209】

図３９は、Ｖおよびｋが固定値であり、ｆ（Ｗ）に対するαの影響を示すためα＝１０³、１０²および１０である、ｆ（Ｗ）の一表現に各々関係づけされている３本の点線を表わす。

【0210】

図６７は、Ｖ＝１．２５およびｋ＝０．７５が固定値であり、同様にｆ（Ｗ）に対するαの影響を示すためα＝１０³、１０²および１０である、ｆ（Ｗ）の一表現に各々関係づけされている３本の点線を表わす。

【0211】

図４０は、α＿ｈｉｇｈ＝１００およびα＿ｌｏｗ＝５０およびｋ＿ｈｉｇｈ＝０．６およびｋ＿ｌｏｗ＝０．８である、明ゾーンおよび暗ゾーンと結びつけられたαおよびｋの異なる値を伴う、ｆ（Ｗ）の一表現を示す。

【0212】

図４１に示されているように、追加のプリプロセスの方法は、以下で説明されている通りの複数のステップ１３０２、１３０４、１３０６および１３０８を含む。方法は、画像キャプチャデバイス１０８が、Ｎ個という複数の画像を獲得するステップ１３０２を含んでいる。説明された実施形態においては、異なる照明光源により、異なる照明方向で少なくとも二つの画像が撮影されなければならない。

【0213】

ステップ１３０２では、強度検出デバイス１１２が異なる画像１、２および３を各々考慮し、各カラーチャネルについての各画素の強度を検出して、各画素、各画像および各カラーチャネルについての画素値ＩＲを得る。

【0214】

ステップ１３０４では、データプロセッサ１１４は、一つの画像内で考慮中の画素の強度と他の画像内の対応する画素の強度との間の比率を同じ画素について計算し、同じカラーチャネルが、対応する比率値を得るようにする。

【0215】

ステップ１３０６では、データプロセッサ１１４は、各画素、各画像および各カラーチャネルについて各々計算された比率の対応する平均値を計算する。

【0216】

ステップ１３０８では、データプロセッサ１１４は、各画像上の各画素についておよび各カラーチャネルについて、上記式に基づいて、補正済み画素値Ｉｃを計算する。

【0217】

図４２、図４３、図４４および図４５は、それぞれ図３１、図３２、図３３および図３４の物体の補正済み画像を示し、ここでは明ゾーンは、比率推定のための基準画像として他の三つの画像を用いて各画像内で補正されている。Ｗを計算するための平均値として、算術平均が使用された。図４６、４７および４８は、それぞれ赤、緑および青チャネル内で図４２の補正済み画像を示す。

【0218】

図４６、４７および４８に示された補正例においては、上述のパラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗは、以下で示す通りに決定され得る：
ｋ＿ｈｉｇｈ＝ｋ＿ｌｏｗ＝０．７５
Ｖ＿ｈｉｇｈ＝１．２およびＶ＿ｌｏｗ＝０．２
α＿ｈｉｇｈ＝１００およびα＿ｌｏｗ＝５０

【0219】

厳密な補正のためには、パラメータＶ＿ｈｉｇｈは１．２に等しくてよい。

【0220】

ソフト補正のためには、パラメータＶ＿ｈｉｇｈは１．２に等しくてよく、パラメータαは、異なるｋ値と組合せた形で１０に等しいかもしれない。ｋ＝１である場合、補正は最大になるように思われる。

【0221】

ｋが０に接近した場合、いかなる補正も提供されない。

【0222】

パラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗのこれらの値は、比率の計算された平均値に基づいて経験的に決定される。本明細書の全ての実施例において、以上に記したパラメータセットが使用されている。

【0223】

図４９〜５０および５２〜５４は、Ａ．Ｈｅｒｔｚｍａｎｎ、Ｓ．Ｍ．Ｓｅｉｔｚ、「Ｅｘａｍｐｌｅ−Ｂａｓｅｄ Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ：Ｓｈａｐｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ Ｇｅｎｅｒａｌ Ｖａｒｙｉｎｇ ＢＲＤＦ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ２７、８、ｐ．１２５４〜１２６３、２００５年中で言及されている公開データベースの中に記憶されている画像を示す。図４９は、公開データベース中で入手可能であるネコを表わす物体の８個の画像のうちの一つに対応する。図５２、５３および５４は、公開データベース中で入手可能である魚を表わす物体の１４個の画像のうちの三つに対応する。

【0224】

図４９は、複数の明ゾーンを有するネコを表わす物体の画像を示す。

【0225】

図５０は、ネコの目の周りおよび上に位置設定された特定の明ゾーンを示す。追加のプリプロセスの方法を用いて図４９に示された画像を処理した後、図５１に示された補正済み画像が得られる。補正済み画像を得るための方法は、基準画像としてネコの他の７個の画像を使用することによって実施される。算術平均は平均値Ｗを計算するために使用され、パラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗのセットは、以上で言及されたものと同じである。目視により、図５０中に示された画像内に存在する明ゾーンが、図５１に示された画像内には現われないということが分かる。その上、さらに目視すると、ネコの目を表わす図５０の細部が、追加のプリプロセスに係る方法を適用した結果として改変されなかったことが分かる。

【0226】

図５２、５３および５４に示された他の実施例では、複数の明ゾーンと暗ゾーンとを観察することができる。図５５、５６および５７に示されている通り、暗ゾーンおよび明ゾーンは、本発明に係る方法を適用することによって除去された。補正済み画像を得るために使用される方法は、基準画像として魚の他の１３個の画像を使用することからなり、ここで１３個の画像は、補正対象の画像と異なる。算術平均は平均値Ｗを計算するために使用され、パラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗのセットは、以上で言及されたものと同じである。その上、目視すると、物体の細部が、本発明に係る方法を適用した結果として改変されなかったことが分かる。

【0227】

初期画素値、Ｗ値、ｆ（Ｗ）値および補正済み画素値の値を表わす目的で、ここで図５３および図５４の画像に基づく一つの実施例について説明する。赤のカラーチャネルなどの一つのカラーチャネルが考慮される。図５３および図５４の画像の各赤カラーチャネルが、それぞれ図５８および図５８に表わされている。図５８および図５９は、Ｗおよびｆ（Ｗ）の値を例示するため、問題の画素線を表わす白線を示している。

【0228】

図６０は、図５８に示されている初期画像Ｉ１および図５９に示されている基準画像Ｉ２についての問題の画素線についての、画素値または強度値を表わすグラフを示す。

【0229】

図６１は、図５９上の基準画像Ｉ２を用いた、図５８内の初期画像Ｉ１の補正済み画像Ｉ１ｃを表わしている。平均値Ｗは、図５９に示された一つの基準画像を用いて計算される。こうして、平均値は、図５８に示された初期画像Ｉ１と図５９に示された基準画像Ｉ２の比率に等しい。

【0230】

図６２は、平均値Ｗおよび補正済み関数ｆ（Ｗ）を表わすグラフを示す。ｆ（Ｗ）は、以上で言及したものと同じパラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗを用いて計算される。図６２は、ｆ（Ｗ）の値をゼロに等しくないものとして示しており、これは補正対象の画素を示す。値は、明ゾーンすなわち比較的高いＷの値、および暗ゾーン、すなわち比較的低いＷの値の両方に対応している。

【0231】

図６３は、図５８に示されている初期画像Ｉ１および図６１に示されている補正済み画像Ｉ１ｃについての問題の画素線についての画素値を表わすグラフを示す。

【0232】

図６４は、図５８に示された初期画像Ｉ１と図５９に示された基準画像Ｉ２の比率として推定された平均値Ｗ、および図６１に示された補正済み画像Ｉ１ｃと図５９に示された基準画像Ｉ２の比率であるものとして推定された補正済み平均値Ｗｃを表わすグラフを示す。

【0233】

図６３に示されているように、補正済み画像Ｉ１ｃ中の明ゾーンの強度値は、図６０に示された通りの画像Ｉ１中の明ゾーンの強度値よりも低い。同様にして、図６３に示されているように、補正済み画像Ｉ１ｃ中の暗ゾーンの強度値は、図６０中に示されている通りの画像Ｉ１中の暗ゾーンの強度値よりも高い。さらに、物体のテクスチャおよび表面を特徴づけする画素の強度値は、図６０に示されている画像Ｉ１内の一部の画素の強度値と比べた場合、図６３中の補正済み画像Ｉ１ｃについて不変の状態にとどまっている。

【0234】

初期画像Ｉ１および基準画像Ｉ２両方の上の明ゾーンまたは暗ゾーンである一部のゾーンは検出されず、したがって補正されていないことを指摘することができる。その結果、これらのゾーンの強度値は、それぞれ異常なほどに高く、または低くとどまっている。しかしながら、互いに完全に重複していない明ゾーンまたは暗ゾーンを伴うより多くの基準画像を使用すると、本発明の方法は最適化され、この方法は少なくともこのような誤検出を回避するように導かれる。

【0235】

代替的には、上述のパラメータについての具体的な値を決定する代りに、パラメータの値を適応させるための自動システムを実施してもよい。

【0236】

各画像上の鏡面反射ゾーンの位置設定は、本発明に係る方法を用いて補正済み画像の品質を改善するために極めて重要である。実際、すでに言及した通り、各鏡面反射ゾーン、すなわち明ゾーンあるいは暗ゾーンは、改善された品質の補正済み画像を提供するために、別の鏡面反射ゾーンと完全に重複すべきではない。

【0237】

こうして、図８７は、物体５８０の四つの画像の重畳の概略図を表わし、ここで画像１は、鏡面反射ゾーン５９０を含み、画像２は鏡面反射ゾーン５９１を含み、画像３は鏡面反射ゾーン５９２を含み、画像４は鏡面反射ゾーン５９３を含む。いかなる鏡面反射ゾーンも別の鏡面反射ゾーンと重複していない。本プリプロセスに係る方法は、鏡面反射ゾーンが図８７にある通りに位置設定されている状態で、最良の結果を提供する。

【0238】

図８８は、物体５８０の四つの画像の重畳の概略図を表わし、ここで画像１は、鏡面反射ゾーン６０１を含み、画像２は鏡面反射ゾーン６０２を含み、画像３は鏡面反射ゾーン６０３を含み、画像４は鏡面反射ゾーン６０４を含む。鏡面反射ゾーン６０１、６０２、６０３および６０４の各々が、少なくとももう一つの鏡面反射ゾーンと部分的に重複している。

【0239】

図８９は、物体５８０の四つの画像の重畳の概略図を表わし、ここで画像１は、鏡面反射ゾーン６１１を含み、画像２は鏡面反射ゾーン６１２を含み、画像３は鏡面反射ゾーン６１３を含み、画像４は鏡面反射ゾーン６１４を含む。少なくとも鏡面反射ゾーン６１１が、鏡面反射ゾーン６１２、６１３および６１４と完全に重複している。

【0240】

図６８は、異なる照明方向でキャプチャされた物体の人工表面を表わす。

【0241】

図６９は、明ゾーンの補正が必要とされている初期画像の一つを表わす。

【0242】

図７０は、均等に空間的に分布した７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。

【0243】

図７１ａは、均等に空間的に分布した７つの照明光源から獲得した７つの基準画像を用いた、図６９の補正済み画像を表わす。

【0244】

図７１ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図７１ａに示された水平白線に沿った画素強度分布を表わす。明ゾーンは均等に位置設定されていることから、補正済み画像の品質は満足のいくものである。これは、図４３ｂのグラフ上で拡散成分に続く結果としての成分により示されている。さらに、補正を必要としないゾーンに対する具体的な影響は全くない。

【0245】

図７２は、ランダムに空間的に分布した７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。

【0246】

図７３ａは、ランダムに空間的に分布した７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。

【0247】

図７３ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図７３ａに示された水平白線に沿った画素強度分布を表わす。照明光源がランダムに位置設定されている場合、補正済み画像の品質は同様に満足のいくものである。

【0248】

図７４は、密に位置設定された７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。

【0249】

図７５ａは、密に位置設定された７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。

【0250】

図７５ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図７５ａに示された水平白線に沿った画素強度分布を表わす。図７４に示された明ゾーンは重複することから、補正プロセスは完了していない可能性がある。実際、重複する明ゾーンは、不正確な強度を有するゾーンであるものとして検出されない可能性がある。

【0251】

図７６は、補正対象の鏡面反射ゾーンとは反対側の照明光源に対応する一つの画像の鏡面反射成分を表わす。

【0252】

図７７ａは、補正対象の鏡面反射ゾーンとは反対側の一つの照明光源から獲得した一つの基準画像を用いた、図６９の補正済み画像を表わす。

【0253】

図７７ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図７７ａに示された水平白線に沿った画素強度分布を表わす。物体の表面上での光の全体的分布は得られないものの、補正済み画像は優れた品質のものである。

【0254】

図７８は、ランダムに空間的に分布した９９個の照明光源に対応する９９個の画像の鏡面反射成分の重畳からなる人工画像を表わす。

【0255】

図７９ａは、ランダムに空間的に分布した９９個の照明光源から獲得した９９個の基準画像を用いた図６９の補正済み画像を表わす。

【0256】

図７９ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図７９ａに示された水平白線に沿った画素強度分布を表わす。補正済み画像は、改善された品質のものである。

【0257】

こうして、画像補正の最良の結果は、ランダムにまたは均等に空間的に分布した有意な数の画像を考慮に入れた場合に得られる。

【0258】

相対する光源方向で獲得した二つの初期画像を用いると、結果として互いに遠距離に位置設定された明ゾーンが得られる。したがって、先に定義した通りの重みづけ値Ｗが最適な形で適用され、補正済み画像は改善された品質のものである。

【0259】

近い光源方向で獲得した１２個の画像などの複数の初期画像を使用した場合、アーチファクトおよび明ゾーンの全体的または部分的重複ゾーンが出現するかもしれない。こうして、先に定義した通りの重みづけ値Ｗが正しく明ゾーンを検出しないか、あるいはこのような明ゾーンを効率良く補正しない可能性がある。

【0260】

図８０ａ、８０ｂ、８０ｃおよび８０ｄは、いかなる重複ゾーンもない異なる場所の明ゾーンを含む円形物体の四つの初期画像を表わす。

【0261】

図８１ａ、８１ｂ、８１ｃおよび８１ｄは、先行技術において周知の修復プロセスを用いて明ゾーンが補正された円形物体の画像を表わす。

【0262】

図８２ａ、８２ｂ、８２ｃおよび８２ｄは、ソフト補正を用いた本発明の方法の適用後の円形物体の補正済み画像を表わす。図８２ａ、８２ｂ、８２ｃおよび８２ｄの補正済み画像は、周知の修復プロセスで得られた対応する補正済み画像８１ａ、８１ｂ、８１ｃおよび８１ｄと比較した場合、改善された品質のものであると思われる。

【0263】

複数の円形線を含む物体の画像上の鏡面反射ゾーンを除去するための先行技術のプロセスを比較するために、図式的比較を提供することができる。

【0264】

図８３は、明ゾーンの補正が全くない状態での表面再構築プロセスの後の、円形物体の表面の輪郭線の概略図を示す。一部の円形線は延伸しているように見える。

【0265】

図８４は、先行技術において公知の修復プロセスを伴う再構築の後の、円形物体の表面の輪郭線の概略図を示す。一部の円形線はなおも延伸しているように見える。補正済み画像は品質の劣るものである。

【0266】

図８５は、先行技術において公知のＣｏｌｅｍａｎおよびＪａｉｎのアルゴリズムを用いた、円形物体の表面の輪郭線の概略図を示す。円形線は延伸して、大幅に修正されている。補正済み画像は、品質の劣るものである。

【0267】

図８６は、パラメータがＶ＿ｈｉｇｈ＝１．２、ｋ＿ｈｉｇｈ＝ｋ＿ｌｏｗ＝０．５そしてα＿ｈｉｇｈ＝α＿ｌｏｗ＝１０である、本発明の方法を用いて得られた再構築プロセスの後の、物体の輪郭線の概略図を示す。

【0268】

図８６に示されているように、円形線は延伸しておらず、各円形線間の距離は一定にとどまっている。本発明に係る鏡面反射ゾーンを除去するための方法は、最良の結果を提供する。

【0269】

【数16】

および

【数17】

を含む第一の実施形態は、以下のアルゴリズム内で動作する。

【0270】

アルゴリズム１：ソフト鏡面性補正アルゴリズム。

【数18】

【0271】

上述の第一の実施形態は、ユーザーが基準画像セットに基づいて各パラメータｋ、Ｖおよびαについての適応された設定値を定義し得る状況下での、エンハンスされた品質を伴った結果を提供する。

【0272】

第二の実施形態において、重みづけ値Ｗは、以下に定義される通りに計算される。

【0273】

【数19】

【0274】

第二の実施形態において計算されているＷに基づいて、ｆ（Ｗ）はこのとき、パラメータαの値のみに基づく適応修正に関係する。

【0275】

Ｉは、補正対象の画像の画素強度に関係する。第二の実施形態において画像数ｉｍ＿ｎｕｍｂｅｒ＝１であり、したがって以降の表記においては無視することができる。画像がアンラップされた、すなわちベクトル化された場合、画像Ｉ内の各画素はＩ（ｐ＿ｎｕｍｂｅｒ）と呼ばれる。さらに、第二の実施形態についてのこの説明において、画像Ｉおよび補正のために使用される画像は、グレースケール画像すなわちシングルチャネル画像であるものと仮定される。したがって、ＩＲ、ＩＧおよびＩＢの表記を使用する必要は全くない。画像Ｉは、アルゴリズム中で使用される唯一の可変的表現である。画像Ｉを補正するためには、ｐ個の基準画像のセット（抜け）も同様に使用され、画像｛Ｉ_ref｝は同じ固定カメラ位置から異なる光源位置で撮影される。例えば、初期画像セットが三つの画像Ｉ₁、Ｉ₂、Ｉ₃を含む場合、画像Ｉの第一の補正＝Ｉ₁は、基準画像セット｛Ｉ_ref｝＝｛Ｉ₂、Ｉ₃｝と結びつけられる。同様にして、画像Ｉの第二の補正＝Ｉ₂は、基準画像セット｛Ｉ_ref｝＝｛Ｉ₁、Ｉ₃｝と結びつけられる。同様にして、画像Ｉの第三の補正＝Ｉ₃は、基準画像セット｛Ｉ_ref｝＝｛Ｉ₁、Ｉ₂｝と結びつけられる。基準画像は、補正対象の画像を除く初期シーケンスの他の全ての画像に対応してよい。各画像Ｉについての全体的光源分布または位置設定は、低周波数成分と見られ、追加の強度平面におおよそ近似され得る。平面および対応する並進運動の方向は、光源の位置および強度によって左右される。

【0276】

画像Ｉが基本的シェーディングを有する場合には、各画像

【数20】

の相対的シェーディングが、比率値の行列

【数21】

の以下で詳述される通りのＬｉｎＡｐｐｒｏｘと呼ばれる線形近似として表現されてよく、式中の

【数22】

はポイントツーポイント分割（ｐｏｉｎｔ−ｔｏ−ｐｏｉｎｔ ｄｉｖｉｓｉｏｎ）に関係する。

【0277】

こうして、近似された平面をＩＲ＿ｒａｔｉｏの評価された値から減算する場合、全体的シェーディングは除去され、鏡面反射ゾーンが全くない場合、この減算の値はゼロに向かう方向にある。

【0278】

ＬｉｎＡｐｐｒｏｘ（Ｉ、Ｉ^l_ref）は、線形またはロバスト回帰係数を用いた平面による比率値

【数23】

の行列の近似である。ｃ_Iは一般化平均値についての画像比率の重みを表わす。線形近似の係数は、以下の誤差を最小化することによって得られる場合がある。

【0279】

【数24】

【0280】

式中、α₀、α₁、α₂は近似された平面を定義する等式の係数である。

【0281】

比率値と近似平面の間の剰余に対し１を加えることで、単比の場合のようにＷで演算することが可能になる。Ｗ（ｐ_-ｎｕｍｂｅｒ）の値が１に近づけば近づくほど、Ｉ（ｐ_-ｎｕｍｂｅｒ）とＩ^l_ref（ｐ_-ｎｕｍｂｅｒ）の間の差は小さくなる。

【0282】

評価された適応比率の適用により、この第二の実施形態内で閾値Ｖを使用する必要はなくなる。得られた近似平面ＬｉｎＡｐｐｒｏｘ（Ｉ、Ｉ^l_ref）は、各画素（ｐ_-ｎｕｍｂｅｒ）に適しかつ各基準画像Ｉについての閾値行列として見られてよい。補正済み画像画素Ｉｃ（ｐ_-ｎｕｍｂｅｒ）を、以下のように評価することができる。

【0283】

【数25】

αは補正済みゾーンと非補正済みゾーンの間の遷移鮮明度を定義している。パラメータｋおよびαは、適応閾値なしのソフト鏡面性除去アルゴリズムの場合と同じ意味を有する。

【0284】

第二の実施形態は、以下の対応する第二のアルゴリズムで動作する。

【0285】

アルゴリズム２：適応ソフト鏡面性補正アルゴリズム

【数26】

【0286】

それぞれ一つの物体の補正済み画像を提供するために第一および第二の実施形態に関係づけされたアルゴリズム１およびアルゴリズム２の両方共が、同じ補正原理を有する。しかしながら、アルゴリズム１では、予め定義された閾値Ｖは予め補正関数評価の中に含み入れられていた（アルゴリズム１、８行目）。アルゴリズム２では、この値は、比率値の行列ＩＲの線形近似の演算（アルゴリズム２、７行目）、および比率値の初期行列からの減算（アルゴリズム２、８行目）の結果として、もはや減算されない（アルゴリズム２、１２行目）。これは、画像の全ての画素についての固定値Ｖの代りに、各画像画素について固有の閾値を有することと類似している。画像補正は、線形近似Ｓのために比率値の行列ＩＲの全ての値を識別する必要性に起因して（アルゴリズム２、７行目）、二つのループに分割される（アルゴリズム２、３〜９行目およびアルゴリズム２、１０〜１４行目）。他の演算は全て、アルゴリズム１については、画素と関係づけられたものにとどまっている。

【0287】

第二の実施形態は、品質がエンハンスされた結果を提供し、補正対象の画像が関係する照明条件は基準画像の照明条件と著しく異なっている。

【0288】

こうして、例えば物体の特定の性質に起因する光の効果によって発生させられる場合がある高い強度を有する画素値が画素補正のために考慮され、Ｖｍ＿ｈｉｇｈよりも高い重みづけ値Ｗを生成する画素値を有する画素に比べてその補正度は低い。

【0289】

こうして、例えば物体またはペトリ皿の特定の性質に起因する光の効果により発生させられる場合がある低い強度を有する画素値が画素補正のために考慮され、Ｖｍ＿ｈｉｇｈよりも高い重みづけ値Ｗを生成する画素値を有する画素に比べてその補正度は低い。

【0290】

本発明は、処理されつつある画像の全画素値を置換するための解決法を提供する。本発明は、鏡面反射画素などの明画素、および陰影画素などの暗画素を含む特定のゾーンまたは画像領域の画素値の同時補正を提供する。本発明は、照明光源の照明方向および／または位置設定に関する既定の情報を必要とすることなく、このようなゾーン内で対応する画素値を補正するための解決法を提供する。本発明は、全ての画像内の全ての画素を順次考慮することによる、多数の画像に基づく方法を提供する。このことは、鏡面反射画素または陰影画素に結びつけられているあらゆる画素に対して補正を提供するために、全ての画素からの画素情報が使用されることを暗示している。本発明は、特定の照明方向に関する画像と結びつけられた具体的情報を含む特定のゾーンの画素値が不変の状態にとどまることができるようにする。実際、このような特定のゾーンの各画素値は処理され、この画素値について異なる画素値が求められていないことから、同じ画素値で置換される。特定のゾーンの画素値は、関係づけされた画像のシェーディング情報に関係するかもしれない。したがって、本発明においては、画像内の全ての画素が考慮に入れられ、統合されて画素値の置換と同時に補正を提供する。この態様により、例えばこの方法のさらなる一ステップにおいて照度差ステレオ法を処理している場合に、物体の表面の方向づけを高い信頼性で推定することが可能となる。本発明は多数の初期画像に基づいて多数の補正済み画像を提供することから、さらなる照度差ステレオ法の処理も同様に改善される。一つの具体的実施形態においては、さらなる表面再構築プロセスが全く求められていない場合、物体の唯一つの画像の画素値を補正するために、物体の最低二つの画像が必要である。

【0291】

さらに、本発明は、複雑な画素テクスチャを含み実質的なサイズを有するゾーンを考慮する場合でも、画像の強調表示ゾーンおよび陰影ゾーンを復元するのに好適である。

【0292】

本プリプロセスの解決法を最適化するためには、有意な数の画像を使用してよく、有意な数の照明光源を物体の周りに均等に位置設定してよい。こうして、物体の画素値に関係づけされた大量の情報を考慮することが可能である。その結果、画素値の補正を改善することができる。その上、画素値の補正を最適化するために、問題のゾーンが、他の全ての画像内の別の問題のゾーンと完全に重複してはならない。

【0293】

本プリプロセスの方法は、微生物の画像などの鏡面反射の半球形物体に関係づけされた画像に対して、最適な形で適用される。

【0294】

参考文献

【符号の説明】

【0295】

１〜３ 画像
１００ 画像形成システム
１０１ 保持ユニット
１０２ ベースユニット
１０３ 光学部品と制御回路
１０４〜１０６ 照明光源
１０７ 物体
１０８ 画像キャプチャデバイス
１１０ 制御システム
１１２ 強度検出デバイス
１１４ データプロセッサ
５８０ 物体
５９０〜５９３ 鏡面反射ゾーン
６０１〜６０４ 鏡面反射ゾーン
６１１〜６１４ 鏡面反射ゾーン

【先行技術文献】

【特許文献】

【0296】

【特許文献1】欧州特許出願公開第２５２０９２３号明細書

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29a】

【図29b】

【図29c】

【図29d】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】

【図58】

【図59】

【図60】

【図61】

【図62】

【図63】

【図64】

【図65】

【図66】

【図67】

【図68】

【図69】

【図70】

【図71a】

【図71b】

【図72】

【図73a】

【図73b】

【図74】

【図75a】

【図75b】

【図76】

【図77a】

【図77b】

【図78】

【図79a】

【図79b】

【図80a】

【図80b】

【図80c】

【図80d】

【図81a】

【図81b】

【図81c】

【図81d】

【図82a】

【図82b】

【図82c】

【図82d】

【図83】

【図84】

【図85】

【図86】

【図87】

【図88】

【図89】