知財求人 - 知財ポータルサイト「IP Force」
▶ タンデント ビジョン サイエンス インコーポレーティッドの特許一覧
特許6047561同一シーンの複数の画像を処理するための方法、コンピュータシステム、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6047561
(24)【登録日】2016年11月25日
(45)【発行日】2016年12月21日
(54)【発明の名称】同一シーンの複数の画像を処理するための方法、コンピュータシステム、およびコンピュータプログラム
(51)【国際特許分類】
G06T 7/20 20060101AFI20161212BHJP
H04N 5/232 20060101ALI20161212BHJP
【ＦＩ】
G06T7/20 A
H04N5/232 Z
【請求項の数】23
【全頁数】27
(21)【出願番号】特願2014-515832(P2014-515832)
(86)(22)【出願日】2012年5月18日
(65)【公表番号】特表2014-524074(P2014-524074A)
(43)【公表日】2014年9月18日
(86)【国際出願番号】US2012038604
(87)【国際公開番号】WO2012173743
(87)【国際公開日】20121220
【審査請求日】2015年5月11日
(31)【優先権主張番号】13/162,192
(32)【優先日】2011年6月16日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】507254746
【氏名又は名称】タンデント ビジョン サイエンス インコーポレーティッド
(74)【代理人】
【識別番号】100091867
【弁理士】
【氏名又は名称】藤田 アキラ
(74)【代理人】
【識別番号】100154612
【弁理士】
【氏名又は名称】今井 秀樹
(72)【発明者】
【氏名】スミス ケーシー アーサー
(72)【発明者】
【氏名】スタイン アンドリュー ニール
(72)【発明者】
【氏名】マックスウェル ブルース アレン
(72)【発明者】
【氏名】フリードホフ リチャード マーク
【審査官】
佐藤 実
(56)【参考文献】
【文献】
米国特許第０７４３３５４０（ＵＳ，Ｂ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ １／００ − ７／６０
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
画像を処理するための自動化され、コンピュータ化された方法であって、
コンピュータメモリに、同一シーンの画像を示す画像ファイルのシーケンスを提供するステップと、
画像シーケンスにわたって、前記同一シーンに関連する対応付け情報を決定するステップと、
空間スペクトル演算子／制約／ソルバモデルに従って固有画像プロセスを実行することによって、前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップと
を含む、方法。
コンピュータメモリに、同一シーンの画像を示す画像ファイルのシーケンスを提供するステップと、
画像シーケンスにわたって、前記同一シーンに関連する対応付け情報を決定するステップと、
空間スペクトル演算子／制約／ソルバモデルに従って固有画像プロセスを実行することによって、前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップと
を含む、方法。
【請求項2】
前記画像シーケンスの各画像内のトークン領域を識別するさらなるステップを含み、前記対応付け情報が、前記画像シーケンスにわたるマッチングトークン情報を含む、請求項１に記載の方法。
【請求項3】
対応付け情報を決定するステップが、粗い対応付け技法を実行することによって実施される、請求項１に記載の方法。
【請求項4】
対応付け情報を決定するステップが、密な対応付け技法を実行することによって行われる、請求項１に記載の方法。
【請求項5】
前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップが、アンカ制約を実行することによって行われる、請求項１に記載の方法。
【請求項6】
前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップが、マルチ画像求解技法を実行することによって行われる、請求項１に記載の方法。
【請求項7】
前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップが、前記対応付け情報を使用して、生成された固有画像に対して後処理技法を実施することをさらに含む、請求項１に記載の方法。
【請求項8】
前記粗い対応付け技法が、パッチ登録技法、ヒストグラムベースの対応付け技法およびスペクトル比ベースの対応付け技法からなる群から選択される、請求項３に記載の方法。
【請求項9】
ＣＰＵと、同一シーンの画像を示す画像ファイルのシーケンスを記憶するメモリとを備えるコンピュータシステムであって、
前記ＣＰＵが、画像シーケンスにわたって前記同一シーンに関連する対応付け情報を決定し、空間スペクトル演算子／制約／ソルバモデルに従って固有画像プロセスを実行することによって、前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するルーチンを実行するように、配置および構成される、
コンピュータシステム。
前記ＣＰＵが、画像シーケンスにわたって前記同一シーンに関連する対応付け情報を決定し、空間スペクトル演算子／制約／ソルバモデルに従って固有画像プロセスを実行することによって、前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するルーチンを実行するように、配置および構成される、
コンピュータシステム。
【請求項10】
非一時的なコンピュータ可読媒体に配置されたコンピュータプログラムであって、コンピュータメモリに、同一シーンの画像を示す画像ファイルのシーケンスを提供し、画像シーケンスにわたって、前記同一シーンに関連する対応付け情報を決定し、空間スペクトル演算子／制約／ソルバモデルに従って固有画像プロセスを実行することによって、前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するように、コンピュータを制御するよう動作可能なコンピュータ実行可能プロセスステップを含むコンピュータプログラム。
【請求項11】
前記画像シーケンスの各画像内のトークン領域を識別するさらなるステップを含み、前記対応付け情報が、前記画像シーケンスにわたるマッチングトークン情報を含む、請求項１０に記載のコンピュータプログラム。
【請求項12】
対応付け情報を決定するプロセスステップが、粗い対応付け技法を実行することによって実施される、請求項１０に記載のコンピュータプログラム。
【請求項13】
対応付け情報を決定するプロセスステップが、密な対応付け技法を実行することによって実施される、請求項１０に記載のコンピュータプログラム。
【請求項14】
前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するプロセスステップが、アンカ制約を実行することによって行われる、請求項１０に記載のコンピュータプログラム。
【請求項15】
前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するプロセスステップが、マルチ画像求解技法を実行することによって行われる、請求項１０に記載のコンピュータプログラム。
【請求項16】
前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するプロセスステップが、前記対応付け情報を使用して、生成された固有画像に対して後処理技法を実施することをさらに含む、請求項１０に記載のコンピュータプログラム。
【請求項17】
前記粗い対応付け技法が、パッチ登録技法、ヒストグラムベースの対応付け技法およびスペクトル比ベースの対応付け技法からなる群から選択される、請求項１２に記載のコンピュータプログラム。
【請求項18】
前記同一シーンが物体を含む、請求項１に記載の方法。
【請求項19】
前記物体が予め選択される、請求項１８に記載の方法。
【請求項20】
前記同一シーンが物体を含む、請求項９に記載のコンピュータシステム。
【請求項21】
前記物体が予め選択される、請求項２０に記載のコンピュータシステム。
【請求項22】
前記同一シーンが物体を含む、請求項１０に記載のコンピュータプログラム。
【請求項23】
前記物体が予め選択される、請求項２２に記載のコンピュータプログラム。
【発明の詳細な説明】
【背景技術】
【0001】
現代のコンピュータ技術の多くの有意義な、かつ商業的に重要な用途は、画像に関係する。これらは、画像処理、画像解析、およびコンピュータビジョン用途を含む。例えば、物体認識や光学文字認識などのコンピュータビジョン用途では、画像の照明アスペクトと物質アスペクトの分離が、コンピュータパフォーマンスの精度および効率を大幅に改良することができることが判明している。画像の照明アスペクトと物質アスペクトに関係付けられる重要な先駆的な発明は、特許文献１および特許文献２に開示されている（これらの特許を、本明細書では以後、Ｆｒｉｅｄｈｏｆｆ特許と呼ぶ）。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】「Differentiation Of Illumination And Reflection Boundaries」という名称のRichard Mark Friedhoffへの米国特許第７，８７３，２１９号明細書
【特許文献2】「Method And System For Identifying Illumination Flux In An Image」という名称のRichard Mark Friedhoff等への米国特許第７，６７２，５３０号明細書
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、Ｆｒｉｅｄｈｏｆｆ特許の根本の教示に対する改良および向上を提供し、同一シーンの複数の画像に対応する固有画像を正確かつ適正に識別する画像技法を備える方法およびシステムを含む。固有画像は、照明画像と、物質反射率画像とを含む。
【課題を解決するための手段】
【0004】
本発明の第１の例示的実施形態では、画像を処理するための自動化され、コンピュータ化された方法が提供される。本発明の１つの特徴によれば、この方法は、コンピュータメモリに、同一シーンの画像を示す画像ファイルのシーケンスを提供するステップと、画像シーケンスにわたって、同一シーンに関連する対応付け情報を決定するステップと、対応付け情報に応じて、画像シーケンスの各画像に関して個別の固有画像を生成するステップとを含む。
【0005】
本発明の第２の例示的実施形態では、コンピュータシステムが提供される。このコンピュータシステムは、ＣＰＵと、同一シーンの画像を示す画像ファイルのシーケンスを記憶するメモリとを備える。本発明の１つの特徴によれば、ＣＰＵが、画像シーケンスにわたって同一シーンに関連する対応付け情報を決定し、対応付け情報に応じて、画像シーケンスの各画像に関して個別の固有画像を生成するためのルーチンを実行するように配置および構成される。
【0006】
本発明の第３の例示的実施形態では、非一時的なコンピュータ可読媒体に配置されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピュータメモリに、同一シーンの画像を示す画像ファイルのシーケンスを提供し、画像シーケンスにわたって、同一シーンに関連する対応付け情報を決定し、対応付け情報に応じて、画像シーケンスの各画像に関して個別の固有画像を生成するように、コンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを含む。
【0007】
本発明のさらなる実施形態によれば、上述した方法を行うように構成された（例えばプログラムされた）１つまたは複数のコンピュータを含むコンピュータシステムが提供される。本発明の他の実施形態によれば、上述した実施形態を実施するためにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを記憶している非一時的なコンピュータ可読媒体が提供される。本発明は、例えば集積回路チップにおけるようなハードウェア回路として実装される命令を含む、本発明の方法を実行するためにコンピュータで使用可能な情報を実施する任意の製品としてのコンピュータ可読媒体を企図する。自動化され、コンピュータ化された方法は、デジタルコンピュータ、アナログコンピュータ、光センサ、状態機械、シーケンサ、または、本発明の方法のステップを実施するように設計もしくはプログラムすることができる任意のデバイスもしくは装置によって行うことができる。
【図面の簡単な説明】
【0008】
【図1】画像に関係付けられた操作を行うように配置および構成されたコンピュータシステムのブロック図である。
【図3B】タイプＣトークンの識別で一例として使用される元の画像を示す図である。
【図4】本発明のいくつかの特徴による、同一シーンの複数の画像間の対応付け情報を識別して使用するためのルーチン実施技法に関する流れ図である。
【図5】本発明の１つの例示的実施形態による、トークン対応付け技法を選択するためのルーチンに関する流れ図である。
【図6】本発明の１つの特徴による一括トークン化技法を例示する図である。
【発明を実施するための形態】
【0009】
次に図面を参照し、まず図１を参照すると、画像に関係付けられた操作を行うように配置および構成されたコンピュータシステム１０のブロック図が示されている。ＣＰＵ１２は、例えばＵＳＢポートを介して、例えばデジタルカメラ１４などのデバイスに結合される。デジタルカメラ１４は、同一シーンの複数の画像、またはビデオを撮影するように動作し、静止位置で動作させることも、移動させながら動作させることもできる。カメラ１４は、カメラ１４にローカルで記憶された画像をＣＰＵ１２にダウンロードする。ＣＰＵ１２は、ダウンロードされた画像を画像ファイル１８としてメモリ１６に記憶する。モニタ２０に表示するため、またはプリンタ２２でプリントアウトするために、画像ファイル１８にＣＰＵ１２がアクセスすることができる。
【0010】
あるいは、ＣＰＵ１２は、例えばデジタルカメラ１４やロボットなどのデバイスに埋め込まれたマイクロプロセッサとして実装することができる。また、ＣＰＵ１２には、例えばロボット操作やユーザとの対話操作に関連する、画像に関係付けられたリアルタイム操作のためのリアルタイム操作システムを備え付けることもできる。
【0011】
図２に示されるように、各画像ファイル１８は、Ｎ×Ｍ画素アレイを備える。各画素ｐは、画像全体の別々の部分に対応するピクチャ要素である。すべての画素が合わさって、画像ファイル１８によって表される画像を定義する。各画素は、１組のカラーバンド、例えばピクチャ要素の赤色、緑色、および青色成分（ＲＧＢ）に対応するデジタル値を備える。本発明は、各バンドが電磁スペクトルの一部分に対応する任意のマルチバンド画像に適用可能である。画素アレイは、それぞれｎ行ｍ列を含み、画素ｐ（１，１）から始まり、画素ｐ（ｎ，ｍ）で終わる。画像を表示または印刷するとき、ＣＰＵ１２は、一般に知られているように、対応する画像ファイル１８をメモリ１６から検索し、画像ファイル１８内の画素のデジタル値に応じて、場合によりモニタ２０またはプリンタ２２を動作させる。
【0012】
画像操作中、ＣＰＵ１２は、記憶されている画像ファイル１８の画素のＲＧＢ値を解析するように動作して、様々な目的を実現し、そのような目的は、例えば、画像ファイル１８内に記録されたシーン内に示される単一の物質に対応する画像の領域を識別することである。Ｆｒｉｅｄｈｏｆｆ特許に開示されている、本発明の基本的な発見の根底にある根本的な考えは、画像が２つの成分、すなわち物質成分と照明成分とを備えることである。画像のすべての変化は、これらの成分の一方または他方によって引き起こされる。これらの成分の一方、例えば物質成分を検出するための方法は、物体の縁部など物質または物体の幾何形状を、照明と陰影の境界から見分けるためのメカニズムを提供する。
【0013】
そのようなメカニズムは、固有画像を生成するために使用することができる技法を実現可能にする。固有画像は、元の画像、例えば入力された画像ファイル１８内に示される画像に対応する。固有画像は、例えば、画像内に示される表面上での各点に入射する光の強度および色を取り込むための照明画像と、画像内に示される表面の反射率特性（表面が反射する光の各波長のパーセンテージ）を取り込むための物質反射率画像とを含む。固有画像内の物質から照明を分離することは、コンピュータビジョンなどの用途において、より効果的かつ正確なさらなる処理のために最適化された画像をＣＰＵ１２に提供する。
【0014】
米国特許出願公開第２０１０／０１４２８０５号明細書および同第２０１０／０１４２８２５号明細書は、元の画像から固有画像を生成するためのコンピュータ操作に関する空間スペクトル演算子／制約／ソルバモデルにおけるＦｒｉｅｄｈｏｆｆ特許の根本の教示を利用する方法を開示する。引用する特許公開に開示されている発明の特徴によれば、画像ファイル１８内に示されるシーンの照明アスペクトと物質アスペクトの区別のためのプロセスを容易にするために、空間スペクトル演算子が生成される。
【0015】
空間スペクトル演算子は、画像の物質アスペクトと照明アスペクトの処理で有用な空間スペクトル情報を含む画像の表現または特性を備える。空間スペクトル演算子は、演算子間の制約空間スペクトル関係を定義する制約を受けて、ソルバに入力される。ソルバは、空間スペクトル演算子間の制約関係に応じて、画像ファイル１８に記憶されている元の画像から導出される物質画像および／または照明画像などの固有画像を生成するための最適化解を得るように動作する数学的処理エンジンを含む。
【0016】
本発明の１つの特徴によれば、引用する特許公開の方法が、同一シーンの複数の画像を処理すべきシナリオに拡張される。シーンは、同一の物体、すなわちシーン内に示される建物など単一の物体または１群の物体の複数の画像に関して定義することができる。一般に、このシナリオは、例えば、グラフィックスアプリケーションに関して環境をモデリングするときに生じることがあるように、場合によっては間隔の広い複数の視点からの同一シーンの複数のビューを示す複数の画像が存在するときに生じる。別の例は、静止カメラまたは移動カメラによって生成されるビデオデータで生じるように、時間および空間的に間隔が狭い画像のシーケンスである。
【0017】
固有画像を生成するための方法の実行は、１組の複数の画像にわたる情報収集形態に応じて、複数の画像それぞれに関して行うことができる。１組の複数の画像全体に関連する情報の使用は、いくつかの異なるビューで示される各同一シーンパッチ間の対応付けを保証し、１組の画像にわたる一貫した結果を提供する。
【0018】
引用する特許公開に開示されている発明の特徴によれば、空間スペクトル演算子は、例えば、トークン、トークンマップ情報、対数色度表現値、Ｘ−ｊｕｎｃｔｉｏｎ、およびＢＩＤＲモデル表現を含む。
【0019】
トークンは、画像の連接領域であり、その領域の画素は、物質および照明の識別など、画像の特徴および特性の識別に関連する様式で互いに関係付けられている。トークンの使用は、ある画像の１組の特定の物質／照明／幾何学的特性が単一の画素を超えて広がっていることを認識し、したがって、本明細書で説明する画像処理を画素レベルで行うことができると共に、トークンが画像性質のより効率的な処理を促進する。トークンの画素は、例えば画素間の色の密接な相関など均質因子に関して、またはＲＧＢ空間など色空間内で幾何学的に関連する異なる色値（例えば一般にテクスチャと呼ばれる）など不均質因子に関して関係付けることができる。本発明は、トークン領域を識別するために、画像ファイル１８内に示される画像の連続する画素に関連する空間スペクトル情報を利用する。空間スペクトル情報は、画素のカラーバンド（例えばＲＧＢ値）に関する連続する画素間のスペクトル関係と、単一の物質に関連する画素スペクトル特性の空間的な広がりとを含む。
【0020】
本発明の１つの例示的実施形態によれば、トークンはそれぞれ、タイプＡトークン、タイプＢトークン、またはタイプＣトークンとして分類される。タイプＡトークンは、連続する画素を備える連接画像領域であり、この領域は、シーン内の単一物質（均一な反射率）を含む可能な最大の画像領域を表す。タイプＢトークンも、連続する画像を備える連接画像領域であり、シーン内の単一物質を含む画像領域を表すが、必ずしも、その物質に対応する均一な反射率の最大領域ではない。また、タイプＢトークンは、すべて同じ反射率（物質の色）を有する１つまたは複数の画像領域または画素の集合体と定義することもできるが、必ずしも、その物質の色に対応するすべての画素ではない。
【0021】
タイプＣトークンは、トークンの連続する画素間で類似の画像性質、例えば単一のロバストな色測定に対する類似の色および強度を有する連接画像領域を備え、ここで、類似性は、画像を記録するために使用される撮像システムに関する雑音モデルに関して定義される。タイプＣトークンは、数学的な計算の効率、および色測定の精度のために使用される。タイプＣトークンを使用することによって、処理すべき画像は、類似の色および強度特性を有する連続する画素の領域（タイプＣトークン）に分割される。したがって、処理の目的で、それぞれのトークンの各個の成分画素を解析する（この解析はより時間がかかる）のではなく、各トークンが単一のユニットとして解析される。さらに、各トークンの色は、実質的に類似の成分画素の平均として計算されて、本発明の例示的実施形態のプロセスで使用するためのよりロバストな色測定を提供する。
【0022】
線形トークンは、画像の連接領域を備える不均質トークンであり、その領域の隣接画素が異なる色測定値を有し、これらの値は、ＲＧＢ空間内で、正の勾配に沿った暗色側の端部（陰影）から明色側の端部（照明端部）への円筒形内にある。本発明の１つの特徴によれば、色変化が、画像内に示されるシーンの単一の物質にわたって陰影を生み出す照明変化（すなわち、照明領域内での入射または直接光源と周囲光源との相互作用としての入射光源の強度減少）によるものであるとき、円筒形構成は二光源二色性反射モデル（ＢＩＤＲモデル）によって予測される。
【0023】
線形トークンを記述、識別、および使用するために、ＢＩＤＲモデルは、Ｉ（ｘ，ｙ，ｚ，θ，φ，λ）＝ｃｂ（λ）ｌｄ（λ）γｂ＋Ｍａ（λ）ｃｂ（λ）と記述することができ、ここで、Ｉ（ｘ，ｙ，ｚ，θ，φ，λ）は、波長λに関する方向θ、φでの（ｘ，ｙ，ｚ）での表面点の放射輝度であり、ｃｂ（λ）は、波長λに関する表面の幾何学的に独立した物体の反射率であり、ｌｄ（λ）は、波長λに関する入射光量（incident illuminant）であり、γｂは、陰影因子ｓｘ，ｙ，ｚと幾何学的因子ｍｂ（θｉ）との積であり、Ｍａ（λ）は、入射光量を除いた、半球にわたる周囲光量（ambient illuminant）と幾何学的物体反射率との積分である。ＢＩＤＲモデルに関するより詳細な情報については、２００７年８月２日に米国特許出願公開第２００７／０１７６９４０号明細書として公開された、「Bi-illuminant Dichromatic Reflection Model For Image Manipulation」という名称の２００６年１月２７日出願の米国特許出願第１１／３４１，７５１号明細書を参照されたい。
【0024】
トークンマップ情報は、画像内のトークンの互いに対する位置を示す。マップ情報を使用して、隣接するトークンを識別し、トークン間の空間スペクトル制約関係に関連するトークン隣接関係の解析を行って、ソルバに入力する。
【0025】
対数色度表現値は、画像の画素に関する照明不変値を提供する。画像画素のカラーバンド値の対数値が、対数色空間グラフに描かれる。次いで、対数値が、ＢＩＤＲモデルに応じて方向付けられた対数色度投影面に投影される。色度面値は、各画素のカラーバンド値（例えばＲＧＢ値）の代わりとなる。対数色度表現値に関するより詳細な情報については、「Method And System For Separating Illumination And Reflectance Using a Log Color Space」という名称の米国特許第７，５９６，２６６号明細書を参照されたい。
【0026】
Ｘ−ｊｕｎｃｔｉｏｎは、物質縁部と照明境界が互いに交差する画像領域である。Ｘ−ｊｕｎｃｔｉｏｎは、画像の物質アスペクトと照明アスペクトの正確な解析のための最適な位置である。
【0027】
引用する特許公開に開示されている発明の特徴によれば、制約は、アンカ制約、同一照明制約、平滑照明制約、同一物質制約、線形トークン制約、ＢＩＤＲ施行制約、対数色度類似性制約、およびＸ−ｊｕｎｃｔｉｏｎ制約を備える。各制約は、それぞれの制約によって利用される空間スペクトル演算子を定義する制約ジェネレータソフトウェアモジュールとして構成され、成分演算子に課される制約関係の表現を提供する。
【0028】
アンカ制約は、トークンまたは画素の照度または物質反射率を指定値に固定する。例えば、アンカ制約は、画像内のいくつかの最も明るい／最大のタイプＣトークンに関して生成することができ、それぞれのタイプＣトークンを、画像内の観察された色に等しい反射率を有するように制約する。この例での制約の適用は、最も明るい／最大のトークンが白色光によって完全に照明されるという仮定に従う。さらに、他の制約が、トークンの相対的な物質反射率値または照度値しか指定しない場合、アンカ制約は、画像内の反射率または照度の絶対値を指定する助けとなり得る。
【0029】
同一照明制約は、画像およびトークンマップ情報において識別されるタイプＣトークンおよびタイプＢトークンを利用する。この制約関係は、トークンマップ情報によって示される隣接するタイプＣトークンが、同一のタイプＢトークンの一部でない限り、同一照明であるというものである。用語「照明」に関連する用語「同一」は、画像を記録するために使用される撮像システムに関する雑音モデルに関する平均値を意味するものとして使用される。これは、同一のタイプＢトークンの一部ではない隣接するタイプＣトークン間の任意の観察される見た目の差を、物質変化に制約する。
【0030】
平滑照明制約では、制約は、隣接するタイプＣトークン間の共有される境界付近の画素の平均照度に基づく。これは、１つのトークンにわたって区分的に一定ではなく、照明領域をいくぶん滑らかなものとなるように制約する。
【0031】
同一物質制約またはタイプＢトークン制約も、タイプＣトークンとタイプＢトークンを利用する。しかし、この制約関係は、同一のタイプＢトークンの一部であるすべてのタイプＣトークンが同一物質に制約されるというものである。この制約は、タイプＢトークンの定義、すなわち、連続する画素を備える連接画像領域であり、シーン内で単一の物質を含む画像領域を表すが、必ずしもその物質に対応する最大領域ではないという定義を施行する。したがって、同一のタイプＢトークン内にあるすべてのタイプＣトークンは、タイプＢトークンに課される定義によって、同一物質のものであるが、必ずしも同一照明ではない。したがって、タイプＣトークンは、異なる照明によって引き起こされる観察される見た目の差に対応するように制約される。
【0032】
したがって、タイプＢトークン制約は、上述したように観察される差を照明変化ではなく物質変化に対応するものとして制約する同一照明制約および平滑照明制約を補完するものである。これは、同一照明制約および平滑照明制約それぞれにおいて、隣接しているが、同一のタイプＢトークンの一部ではないタイプＣトークンが同一照明に制約されることに起因する。これらのタイプＣトークンは異なる物質を備えるはずである。なぜなら、制約により、それらは同一のタイプＢトークン内にはなく、したがって、制約によって施行されるタイプＢトークンの定義により、含んでいる物質がただ１つではないからである。したがって、照明は一定であるはずであり、任意の観察される差は物質変化に起因するものとみなされる。
【0033】
要約すると、引用する特許公開に開示されている発明の特徴によれば、照明と物質の区別を可能にする画像の特性を提供するために、タイプＣトークンおよびタイプＢトークン空間スペクトル演算子が定義される。各タイプＣトークンは、画像ファイル１８に記録および記憶された類似の画像性質、例えば類似の色を有する連接画像領域を備える。したがって、隣接するタイプＣトークンは、何らかの形態の画像変化を示すか、または同一のタイプＣトークンを成す。タイプＢトークンは単一の物質を含む。同一／平滑照明制約とタイプＢトークン制約という補完的な制約が、物質変化または照明変化を示すトークン間の関係を施行する。
【0034】
隣接するタイプＣトークンが同一のタイプＢトークン内にある場合、共通のタイプＢトークンの同一物質特性により、それらのタイプＣトークン間の差は、タイプＢトークン制約におけるように照明変化に対応するはずである。隣接するタイプＣトークンが同一のタイプＢトークン内にない場合、共通の単一物質タイプＢトークンによっては両方のタイプＣトークンが定義されないので、それらのタイプＣトークン間の差は、同一／平滑照明制約におけるように物質変化に対応するはずである。
【0035】
線形トークン制約は、タイプＣトークンと線形トークンを利用する。この制約関係は、線形トークンによって離隔された２つのタイプＣトークン間の差が、画像に関する特性光源スペクトル比にほぼ等しいというものである。定義したように、線形トークンは、色空間を通って正の勾配に沿った円筒形構成に従う。ＢＩＤＲモデルは、暗色側の端部と明色側の端部との間の色の差が、画像に関する特性光源スペクトル比に等しいと予測する。したがって、線形トークンは、単一物質での照明遷移を取り込むので、それぞれ線形トークンの暗色側の端部と明色側の端部にある２つのタイプＣトークンの色の差が、画像に関する特性光源スペクトル比の値を反映するはずである。線形トークンの下でのタイプＣトークンは、すべて同一物質であり、同一物質となるように制約することができる。
【0036】
ＢＩＤＲ施行制約は、タイプＣトークンと、対数色度投影面に関するＢＩＤＲモデル定義垂直ベクトルを利用する。この制約関係は、画像の局所パッチでのすべてのタイプＣトークンに関する照明が、対数色空間内で線を成し、その線の向きが、ＢＩＤＲモデル定義垂直ベクトルによって定義されるというものである。したがって、この制約は、画像内に存在する照明領域を、照明に関するＢＩＤＲモデル予測に明示的に適合させる。
【0037】
したがって、線形トークン制約とＢＩＤＲ施行制約はそれぞれ、画像の照明アスペクトと物質アスペクトを区別するための基礎としてＢＩＤＲモデル予測を利用する。ＢＩＤＲモデルは、色変化が、画像内に示されるシーンの単一の物質にわたって陰影（すなわち、照明領域内での入射または直接光源と周囲光源の相互作用としての、入射光源の強度の減少）を生み出す照明変化によるものであるときに、画像の色変化を予測する。ＢＩＤＲモデルの色変化予測は、照明領域の入射光源成分と周囲光源成分との間で生じるスペクトル変化の相互作用に応じて操作することによって、タイプＣトークン間のすべてのカラーバンド変化を、画像内で生じる照明領域効果に正確に制約する。したがって、ＢＩＤＲモデルベースの制約は、すべてのカラーバンド変化を１つの統合的な制約関係に組み合わせる。ＢＩＤＲモデル制約は、照明領域が周囲光による領域から完全に照明された領域まで及ぶことを保証し、照明色の物質依存変化を防止する。
【0038】
対数色度類似性制約は、タイプＣトークンと対数色度表現値を利用する。この制約関係は、類似の対数色度表現値を有する画素を含むタイプＣトークンが同一物質色値に制約され、観察される差が照明領域の変化に起因するというものである。
【0039】
Ｘ−ｊｕｎｃｔｉｏｎ制約は、タイプＣトークンとＸ−ｊｕｎｃｔｉｏｎ演算子を利用する。上述したように、Ｘ−ｊｕｎｃｔｉｏｎは、物質縁部と照明境界が互いに交差する画像の領域である。Ｘ−ｊｕｎｃｔｉｏｎは、典型的には４つのタイプＣトークン、すなわち物質縁部を形成する２対の同一物質タイプＣトークンによって形成され、同一物質の各対が、照明されているタイプＣトークンの対と陰影がかかっているタイプＣトークンの対とに同一物質を分割する照明境界を含む。この制約関係は、以下のようなものである。１）同一物質制約が、Ｘ−ｊｕｎｃｔｉｏｎを形成する同一物質のタイプＣトークンの各対（それらの間に照明境界を有する対）の間で課され、かつ、２）同一照明制約が、Ｘ−ｊｕｎｃｔｉｏｎの物質縁部を形成するタイプＣトークンの各対の間で課される。Ｘ−ｊｕｎｃｔｉｏｎ、および成分トークンの関係のより詳細な説明については、「Method And System For Identifying Illumination Flux In An Image」という名称の米国特許第７，６７２，５３０号明細書を参照されたい。
【0040】
引用する特許公開に開示されている発明の１つの特徴による例示的なソルバは、最適化関数、例えば［Ａ］［ｘ］＝［ｂ］によって表される式の結果の最適化を実行するための数学的処理エンジンを備え、ここで［Ａ］は、演算子および選択された制約の制約関係の定義が満たすことができる（したがってそれらによって求解されると考えられる）値の行列であり、［ｘ］は、式が最適解を見出す際の変数の行列であり、例えば画素またはトークンの照明成分または物質成分の一方であり、［ｂ］は、既知の値または指定値の行列であり、これらの値は、例えば処理のために選択された画像内で観察された値、例えば画像ファイル１８の各画素のＲＧＢカラーバンドに関する記録値である。
【0041】
行列［ｂ］に関する他のベースは、以下のものである。− 汎用のアンカ制約。この制約では、［ｂ］は、任意の指定値でよく、トークンの物質色が［ｂ］内の値であるべきであることを示し、ここで、その値は、画像からの値またはユーザによって指定された任意の値でよく、例えば、人の顔の場合、ユーザが、スキントークンに関して値０．４を指定することができる（それにより、すべての顔が、画像内にあるものとして記憶されるように妥当な強度で現れる）。
− 同一物質制約。この制約では、［ｂ］内の値は０であり、関連の式は、２つのトークンの物質色の差が０であることを指定している。
− 同一照明制約。この制約では、［ｂ］内の値は、元の画像内の各トークンに関して測定された２つの色の差であり、関連の式は、元の画像内の２つのトークンの差が、それらの物質色の差であることを示す（これは、照明の差が０であることを意味する）。
− 平滑照明制約。この制約では、［ｂ］内の値は、例えば平滑照明の場合にはフィルタ応答の出力として、または他のバージョンの平滑照明制約の場合には近隣の画素の差の平均として、元の画像から計算される何らかの値である。
【0042】
例示的なソルバでは、最適化式は、例えば最小二乗ソルバや前処理付き共役勾配ソルバなどの既知の凸最適化操作など、１組の既知の最適化ソルバから選択される数学的な最適化関数で実施することができる。
【0043】
本発明の１つの特徴によれば、対応付け情報が識別され、例えば、複数画像のシーケンスに記録された同一シーンの画素またはタイプＣトークンをマッチさせて、複数の画像のさらなる処理、例えば固有画像の生成に使用する。マッチは、画像シーケンスの第１の画像内の画素またはタイプＣトークンによって示される１つの画像の部分または特徴が、画像シーケンスの後続画像内の対応する画素またはタイプＣトークンによって示される同一シーンの同一部分または特徴に対応することを示す。以下の説明は、一般に、２つの画像間のマッチを識別するための技法の例を提供する。しかし、開示する技法は、シーケンス内の任意の数の画像に適用することができる。さらに、以下の説明は、例示的な赤、緑、青（ＲＧＢ）色空間に関するものである。しかし、開示する技法は、電磁スペクトル内での任意の分散からサンプルされた任意の数のカラーバンド、例えば（黄、マゼンタ、シアン）、（赤、緑、青、エメラルド）、または（赤外、赤、緑、青）に適用することができる。
【0044】
本発明の例示的な実施形態では、同一シーンの画像シーケンスに関する識別される対応付け情報は、ＣＰＵ１２によって、固有画像を生成するために画像シーケンスを処理する際に適用される。例えば、ＣＰＵ１２は、マッチするタイプＣトークンの間でアンカ制約を実施することができ、それにより、シーケンスの第２の画像内のトークンの反射率が、第１の画像内の対応するトークンの反射率に制約され、以下同様である。
【0045】
本発明のさらなる例示的な実施形態では、マルチ画像求解が、ＣＰＵ１２によって実行される。マルチ画像求解では、シーケンスのすべての画像のすべてのタイプＣトークンが、ソルバの行列式において未知のものとしてリストされる。異なる画像の対応するトークンに応じて、同一物質制約を実施することができる。
【0046】
本発明のさらに別の例示的実施形態では、各画像は、対応する固有画像を生成するために別々に処理することができ、固有画像は、次いで後処理操作で調節され、それにより、いくつかの物質画像それぞれの反射率が、対応付け情報に応じて互いにマッチされる。アンカ制約、マルチ画像求解、および後処理技法をそれぞれ以下に詳細に説明する。
【0047】
次に図３Ａを参照すると、本発明の好ましい例示的実施形態による、図２の画像ファイル１８内に示されるシーン内のタイプＣトークン領域を識別するための流れ図が示されている。本発明の１つの特徴によれば、タイプＣトークンは、図３Ａのステップを利用して、同一シーンを示す画像シーケンスの各画像で容易に識別することができ、次いで、対応付け情報に応じて解析および処理される。
【0048】
１次の均一かつ均質なタイプＣトークンは、画像の連続する画素間で単一のロバストな色測定を備える。識別ルーチンの開始時、ＣＰＵ１２は、メモリ内の領域マップをセットアップする。ステップ１００で、ＣＰＵ１２は、領域マップをクリアし、領域ＩＤを割り当てる。領域ＩＤは、始めは１に設定される。画素数に対応するルーチンの反復が、ｉ＝０に設定され、トークンを決定するためにシードとして使用するためのＮ×Ｎ画素アレイに関する数値が、初期値Ｎ＝Ｎｓｔａｒｔに設定される。Ｎｓｔａｒｔは、任意の整数＞０とすることができ、例えば１１または１５画素に設定することができる。
【0049】
ステップ１０２で、シードテストが開始される。ＣＰＵ１２は、例えば第１の画素ｉ＝１、画素（１，１）、すなわち画像ファイル１８の第１のＮ×Ｎサンプルの左上隅の画素を選択する（図２参照）。次いで、決定ブロック１０４で、この画素がテストされて、選択された画素が良好なシードの一部であるか判定される。このテストは、選択された画素の色値と、その画素に隣接する、シードとして予め選択された数の画素（例えばＮ×Ｎアレイ）の色値との比較を含むことができる。色値の比較は、画素の複数のカラーバンド値（本明細書の例ではＲＧＢ）に関するものとすることができる。比較が、シード内の画素に対して（例えば記録デバイスの雑音レベル内で）ほぼ等しい値をもたらさない場合、ＣＰＵ１２は、次のＮ×Ｎシードサンプルに関してｉの値を増分し（ステップ１０６）（例えばｉ＝２、画素（１，２））、次いで、ｉ＝ｉｍａｘであるか判定するためにテストする（決定ブロック１０８）。
【0050】
画素値が、ｉｍａｘ、すなわち、改良された結果を得るためにシードサイズを減少させるという決定を下すためのしきい値として選択された値である場合、シードサイズＮが、例えばＮ＝１５からＮ＝１２に減少される（ステップ１１０）。本発明の１つの例示的実施形態では、ｉｍａｘは、図２に示されるように画素（ｎ，ｍ）で終了する画像内の画素の数に設定することができる。このようにして、図３Ａのルーチンは、第１のＮ値で画像全体をパースしてから、減少されたＮの値に関してルーチンを繰り返す。
【0051】
シードサイズの減少後、ルーチンはステップ１０２に戻り、トークンシードに関してテストを続ける。また、ステップ１１０で、解析が完了したかどうか判定するために、Ｎｓｔｏｐ値（例えばＮ＝２）もチェックされる。Ｎの値がＮｓｔｏｐである場合、ＣＰＵ１２は、画像画素アレイの調査を完了してルーチンから出る。
【0052】
ｉの値がｉｍａｘ未満であり、かつＮがＮｓｔｏｐよりも大きい場合、ルーチンは、ステップ１０２に戻り、トークンシードに関してテストを続ける。
【0053】
良好なシード（ほぼ等しい画素値を有するＮ×Ｎアレイ）が見出されると（ブロック１０４）、シードからトークンが成長する。ステップ１１２で、ＣＰＵ１２は、シードからの画素をキューにプッシュする。キュー内のすべての画素が、領域マップ内で、現行領域ＩＤでマークされている。次いで、ＣＰＵ１２は、キューが空かどうか問い合わせる（決定ブロック１１４）。キューが空でない場合、ルーチンはステップ１１６に進む。
【0054】
ステップ１１６で、ＣＰＵ１２は、先頭の画素をキューから抜き出し、ステップ１１８に進む。ステップ１１８で、ＣＰＵ１２は、対象画素の周りの「良好な」隣接画素、すなわち、現行領域ＩＤを有する、対象画素と色値がほぼ等しい隣接画素をマークする。マークされた良好な隣接画素はすべて領域マップ内に置かれ、やはりキューにプッシュされる。次いで、ＣＰＵ１２は決定ブロック１１４に戻る。キューが空になるまでステップ１１４、１１６、１１８のルーチンが繰り返される。そのとき、現行領域内のトークンを形成するすべての画素が、タイプＣトークンとして識別されて、領域マップ内でマークされる。
【0055】
キューが空であるとき、ＣＰＵ１２はステップ１２０に進む。ステップ１２０で、ＣＰＵ１２は、次のトークンの識別で使用するために領域ＩＤを増分する。次いで、ＣＰＵ１２は、ステップ１０６に戻り、新たな現行トークン領域に関してルーチンを繰り返す。
【0056】
Ｎ＝Ｎｓｔｏｐに達する（図３Ａの流れ図のステップ１１０）と、または画像と一致する領域マップが完成すると、ルーチンは、トークン生成タスクを完了する。図３Ｂは、トークンの識別において一例として使用される元の画像である。画像は、青色領域および濃い青色領域、ならびに茶色領域および濃い茶色領域を示す。図３Ｃは、図３Ｂの画像に関して、例えば図３Ａのルーチンの実行によって識別された領域マップに対応するトークン領域（タイプＣトークン）を示す。トークン領域は、図３Ｂの画像のトークン作成を示すためにカラーコード化され、画像の完全な青色および茶色の領域と着色領域の陰影との間の半影領域を含む。
【0057】
各タイプＣトークンが、画像の連続する画素間で単一のロバストな色測定値を有する画像領域を備える一方で、トークンは、物質境界をまたいで成長することができる。典型的には、異なる物質が、ネック領域を介して一体につながって１つのタイプＣトークンを成し、ネック領域は、多くの場合、陰影境界に位置されるか、または類似の色調であるが異なる強度を有する異なる物質を横切って変化する照明を有する領域内に位置される。ネック画素は、隣接する画素の特性を検査することによって識別することができる。ある画素が、対応するトークン内部にない２つの連続する画素を両側に有し、かつ対応するトークン内部にある２つの連続する画素を両側に有するとき、その画素はネック画素と定義される。
【0058】
図３Ｅは、タイプＣトークンに関するネックテストに関する流れ図を示す。ステップ１２２で、ＣＰＵ１２は、識別されたトークンの各画素を検査して、検査中の画素の任意のものがネックを形成するかどうか判定する。図３Ｅのルーチンは、図３Ａのルーチンの実行中に特定のトークンが識別された直後に、サブルーチンとして実行することができる。ネックとして識別されるすべての画素が「成長不可能」とマークされる。決定ブロック１２４で、ＣＰＵ１２は、任意の画素がマークされたかどうか判定する。
【0060】
「はい」の場合、ＣＰＵ１２は、ステップ１２８に進み、図３Ａのルーチンに従って、シードサイズおよび領域ＩＤに関するカウントを変えずに、現行のトークンのマークされていない画素の中から選択されたシード位置からトークンを再成長させるように動作する。再成長プロセス中、ＣＰＵ１２は、「成長不可能」と事前にマークされた画素は含まない。トークンが再成長された後、事前にマークされた画素がマークを外され、したがって、他のトークンがそこに成長することができる。
【0061】
事前にマークされた画素を含まないトークンの再成長後、ＣＰＵ１２は、ステップ１２２に戻り、新たに再成長されたトークンをテストする。ネックテストは、物質境界を横切るタイプＣトークンを識別し、識別されたトークンを再成長させて、タイプＢトークンを作成するために使用するのに適した単一物質のタイプＣトークンを提供する。
【0062】
図３Ｄは、図３ＣのタイプＣトークンから生成されるタイプＢトークンを示す。米国特許出願公開第２００９／００３４８３５号明細書は、画像ファイル１８の画像内で識別されるタイプＣトークンを解析することによってタイプＢトークンを構成するための新規の例示的な技法を教示する。これらの技法は、任意境界除去、隣接平坦トークンマージング、およびローカルトークン解析を含む。これらの技法は、例えばＣＰＵ１２による図３Ａのルーチンの実行によって識別されるような連続および／または重畳するタイプＣトークン（各タイプＣトークンが単一のロバストな色測定値の領域を備える）の特性を解析し、解析で使用されるそれぞれのタイプＣトークンの間での照明条件の変化とは無関係に、対応するタイプＢトークン（それぞれ単一物質の領域を備える）を決定する。上述したように、本発明の特徴に従って、タイプＣトークンおよびタイプＢトークンを使用して、同一シーンの複数の画像に対して様々な空間スペクトル制約を実施する。
【0063】
次に図４を参照すると、本発明の特徴による、同一シーンの複数の画像間の対応付け情報を識別して使用するためのルーチン実施技法に関する流れ図が示されている。上述したように、これらの技法は、同一シーンの複数の画像を処理すべきシナリオに関して実行される。やはり上述したように、このシナリオは、例えば、場合によっては間隔の広い複数の視点からの同一シーンの複数のビューを示す複数の画像、または静止カメラもしくは移動カメラによって生成されるビデオデータで生じ得るような時間および空間的に間隔が狭い画像のシーケンスが存在するときに生じる。
【0064】
いずれの場合にも、ステップ２００で、同一シーンの複数の画像Ｉ０，Ｉ１，．．．，ＩｔがＣＰＵ１２に入力される。シーンは、任意の物体または１群の物体を示すことができ、処理は、シーン全体、またはシーンの任意の領域、例えば単一の物体もしくは１群の物体を示す領域に対して実施することができる。
【0065】
ステップ２００で、適用可能なときには、任意選択で、例えば３Ｄまたは深さ情報など他のデータが、以下に説明するように使用するためにＣＰＵ１２に入力される。入力された複数の画像Ｉ０，Ｉ１，．．．，Ｉｔはそれぞれ、同一シーンを示す画像ファイル１８を備えることができ、または、シーンの同一物体もしくは１群の物体を示す各画像ファイル１８の領域を備えることができる。入力された複数の画像Ｉ０，Ｉ１，．．．，Ｉｔは、例えばユーザがグラフィカルユーザインターフェースを介して選択することができる密な技法または粗い技法に従って、ＣＰＵ１２によって処理される。
【0066】
粗い技法は、例えばポイントワイドマッチなど、粗い明確な１組の特徴マッチに応じて、対応付け情報を識別する。密な技法は、画素毎のマッチングに応じて、対応付け情報を識別する。両方の技法を単一のシーンにおいて実施することができ、各技法が、ユーザが選択することができる画像の様々な部分に対して使用される。例えば、粗い技法は、処理が、共通のシーンでの単一物体または１群の物体に焦点を当てられているときに使用することができる。また、ユーザは、画像シーケンスがビデオであることも、静止カメラが使用されたかを示すこともできる。
【0067】
ステップ２００で、ユーザが粗い技法を選択した場合、ＣＰＵ１２は、ステップ２０２に進む。ステップ２０２は、ユーザ入力によって実施することができる。この手法では、ユーザは、例えば、画像Ｉ０内に示された記録されたシーンのＮ個の位置を選択し、次いで、シーンの後続画像、例えば画像Ｉ１内で同じＮ個の位置を選択して、Ｎ個のマッチを提供する。ユーザによって選択されたＮ個の位置は、対象の物体または１群の物体をユーザに示すことができる。また、ユーザ入力を使用して、本発明の例示的実施形態による技法に関連付けて使用される他の特徴マッチング技法を初期化または補正することもできる。
【0068】
あるいは、ステップ２０２は、例えば、ＳＩＦＴ、ＭＳＥＲ、またはHarris Corners（例えば、Harris and Stephens，「A combined corner and edge detector」，Proceedings of the ４ｔｈ Alvey Vision Conference，ｐｐ．１４７−１５１，１９８８参照）など既知の特徴マッチング技法をＣＰＵ１２によって実行することによって実施することができる。これらの既知の技法は、画像シーケンスにわたって点をマッチさせる機能を提供する。例えば、シーン内に示され、ＣＰＵ１２によるＳＩＦＴモジュールの実行によって識別される窓の隅は、シーケンスの後続画像内での同一の窓の隅にマッチするように動作する。そのような技法は、典型的には、複数の写真を継ぎ合わせてより大きいパノラマにするために画像間の対応付けを確立するために使用される。
【0069】
ＣＰＵ１２の動作による、またはユーザによって入力される粗い１組のマッチング点の識別後、ＣＰＵ１２は、ステップ２０４で、１組の粗い特徴を出力する。
【0070】
決定ブロック２０６で、ＣＰＵ１２は、同一シーンの複数の画像Ｉ０，Ｉ１，．．．，Ｉｔが、ビデオシーケンスであるか、それとも同一シーンの複数のビューを示す１組の静止画像であるかどうかに関して検査する。
【0071】
複数の画像が１組の静止画像である場合、ＣＰＵ１２は、ステップ２０８に進む。ステップ２０８で、ＣＰＵ１２は、１組の画像間の特徴をマッチさせるための既知の技法を継続する。本発明の例示的実施形態の１つの特徴によれば、任意選択で、例えば空間スペクトル演算子／制約／ソルバモデルによる上述したような固有画像の初期生成がＣＰＵ１２によって行われて、複数の画像Ｉ０，Ｉ１，．．．，Ｉｔそれぞれに関する物質画像を提供する。次いで、ＣＰＵ１２は、改良された結果を得るためのより正確な特徴マッチングのために、初期物質画像を使用して特徴マッチングを行う。次いで、初期固有画像を用いて識別された特徴から得られる対応付け情報を使用して、ＣＰＵ１２によって第２の固有画像生成操作が行われる。
【0072】
顔または他の同様に限定された領域を示す画像を処理するとき、例えば、適応形状モデルなどの領域特有技法を実施して、特徴マッチングタスクを行うことができる。そのような技法を使用して、目、眉毛、鼻など顔の特徴を位置特定することができる。次いで、位置特定された特徴を使用して、画像内の対応する点を識別することができる。
【0073】
決定ブロック２０６での結果が「はい」である（ビデオを示す）場合、ＣＰＵ１２は、ステップ２１０に進む。ビデオでは、画像は、互いに密接に連続して取り込まれる。したがって、そのような場合には、ステップ２１０で、ＣＰＵ１２は、ビデオのフレームからフレームへの点または特徴の運動を追跡することができる。例えばLucasおよびKanadeによって述べられる追跡技法（B. D. Lucas and T. Kanade，「An iterative image registration technique with an application to stereo vision」，Proceedings of Imaging Understanding Workshop，ｐｐ．１２１−１３０，１９８１参照）など、既知の追跡技法を実施することができる。追跡は、上述したように、ＳＩＦＴなど特徴マッチング技法を使用して識別される特徴に基づくことができる。
【0074】
いずれの場合にも、ステップ２０８または２１０の一方の出力が、複数の画像Ｉ０，Ｉ１，．．．，Ｉｔに関する点対応付け情報を提供する（ステップ２１２）。図４の流れ図に示される本発明の例示的実施形態の１つの特徴によれば、特徴マッチングまたは特徴追跡ステップ２０８、２１０で見られる点対応付けは、例えば、タイプＣトークンによって表される画像領域に相関される。このようにして、固有画像を生成するための操作において、マッチまたは対応するタイプＣトークンは、対応付け情報に応じて複数の画像にわたって処理することができる。したがって、ステップ２１４で、ＣＰＵ１２は、上述したように図３Ａのルーチンを実行して、複数の画像Ｉ０，Ｉ１，．．．，ＩｔそれぞれでタイプＣトークンを識別する。
【0075】
ステップ２１６で、ＣＰＵ１２は、パッチ登録によって、ステップ２１４で識別されたタイプＣトークンとの点対応付けを相関させるように動作する。画像をマッチさせるための最良の特徴は、典型的には、複数の物質領域の交点に存在する。本発明の例示的実施形態では、固定された比較的小さい画素パッチが、複数画像の組の各画像での各対応付け点の周りに定義される。画素の数としての各パッチのサイズは、例えば、１つのマッチング点と、別の画像内の異なる点にマッチする同一画像内の最も近い点との間の平均距離の２倍の幅に設定することができる。
【0076】
１つの対応付け点の周りのパッチは、後続画像の対応する点の周りのパッチにマッチされる。各対のパッチが、１対のパッチの２つのパッチ内部の画素毎の画像データを最良にマッチさせるために、伸縮または歪関数を推定することによって登録される。この目的は、パッチの位置を整列させるため、および／またはパッチ内部の画素値の差を最小にするために、特定のクラスの変換に関するパラメータを決定することである。例えば、この目的は、アフィン変換を実施することによって実現することができる。アフィン変換は、あるシーケンスの１つの画像からそのシーケンスの次の画像への、マッチされる特徴の間で生じ得る回転、並進、拡大縮小、および歪を取り込むことが可能なパラメータを有する線形変換である。
【0077】
１つのオプションは、各対のパッチに関する最良の登録を識別するために、ＣＰＵ１２によってルーチンを実行することである。上で引用したＬｕｃａｓとＫａｎａｄｅの記事に記載されている技法など、任意の数のよく知られている技法を実施して、この機能を行うことができる。この技法は、１対のパッチの一方と、その対の他方のパッチの伸縮バージョンとの見た目の最小差を与える最良の変換を見出すために、反復最適化を行う。
【0078】
パッチ登録のための第２のオプションは、画像全体に関する大域的な登録を決定するというものである。この手法は、単一画像伸縮または歪を使用して、画像シーケンスのパッチ対のすべてまたはほとんどをマッチさせることができると想定する。そのような大域的な登録は、シーケンスの１つの画像内の特徴点の空間的位置と、シーケンスの後続画像内の対応する伸縮された位置との差を最小にする推定値に基づく変換でよい。次いで、大域的な解を、パッチを登録するために各個のパッチ対に適用することができる。
【0079】
第３のオプションは、最初の２つのオプションを組み合わせるものである。この手法では、ＣＰＵ１２は、各個のパッチ対それぞれに関して最良のものとして決定された登録変換の特定の１つを洗練するための初期化として、大域的な解を実施する。
【0080】
登録変換に関する上述したオプションの１つの実行後、ＣＰＵ１２は、画像Ｉ０，Ｉ１，．．．，Ｉｔのシーケンスの２つの連続する画像それぞれから１つずつ、識別された対応する画素パッチを有し、１対のパッチの一方における各画素が他方のパッチにおける対応する画素と同じビットのシーンを示すように、それらのパッチの一方が歪曲される。次いで、ＣＰＵ１２は、ステップ２１４で図３Ａのルーチンの実行によって決定されるように、それぞれのマッチされたパッチの成分画素を解析して、成分画素が属するタイプＣトークンを識別することによって、１対の各パッチに対応するタイプＣトークンを識別することができる。
【0081】
上述したように、画像をマッチさせるための最良の特徴は、典型的には、複数の物質領域の交点に存在する。したがって、おそらく、解析される領域内に多くの境界が存在する。境界の存在は、マッチングプロセスでのエラーを引き起こすことがある。
【0082】
マッチされた特徴を表すタイプＣトークンの識別におけるエラーを最小にするために、ＣＰＵ１２は、例えば、よく知られているように、ガウスぼかしフィルタとそれに続く前進差分演算子など単純な勾配フィルタを用いて局所勾配を決定するように動作させることができる。このとき、ＣＰＵ１２は、予め選択されたしきい値を超える勾配の大きさを有するすべての画素を無視することができる。あるいは、ＣＰＵ１２は、最大量の画素（例えば１０画素）よりも多くの画素を有するタイプＣトークンのみを処理することによって、または、トークン決定のために最小シードサイズ（例えば、３×３シード最小値）を超えるシードサイズを使用するタイプＣトークンを識別することによって、高勾配領域を避けることができる。
【0083】
パッチ登録技法に加えて、ＣＰＵ１２は、ヒストグラムベースの対応付け技法（ステップ２１８）またはスペクトル比ベースの対応付け技法（ステップ２２０）を選択的に実行して、トークン対応付けを識別することができる。
【0084】
図５は、本発明の例示的実施形態による、トークン対応付け技法を選択するためのルーチンに関する流れ図である。ステップ３００で、ＣＰＵ１２は、画像シーケンス内の２つの画像Ｉｔ、Ｉｔ＋１それぞれに関して、タイプＣトークンＴｔ、Ｔｔ＋１を出力する。ステップ３０２で、ＣＰＵ１２は、各トークンセットのサブセット、すなわちトークンセットＴｔからのサブセットＡと、トークンセットＴｔ＋１からのサブセットＢとを選択する。サブセットは、トークンセットＴｔ、Ｔｔ＋１を計算するために使用される連続する画像の対応する領域（識別された対応付け点によって示される）にわたって広がるタイプＣトークンを含む。
【0085】
ステップ３０４で、ＣＰＵ１２は、各サブセットＡおよびＢの平均強度を計算するように動作し、次いでステップ３０６に進む。ステップ３０６で、ＣＰＵ１２は、サブセットに関して、計算された平均強度を比較する。決定ブロック３０８で、ＣＰＵ１２は、比較ステップが、２つのトークンサブセットＡとＢの間で同様の平均強度を示すかどうか判定する。
【0086】
「はい」の場合、ＣＰＵ１２は、ヒストグラムベースの対応付け技法に進む（図４のステップ２１８）。ＣＰＵ１２は、マッチ結果に関して、サブセットＡおよびＢに関するヒストグラムベースの対応付け技法を行う。
【0087】
「いいえ」である場合、ＣＰＵ１２は、スペクトル比ベースの対応付け技法に進む（図４のステップ２２０）。ＣＰＵ１２は、マッチ結果に関して、サブセットＡおよびＢに関するスペクトル比ベースの対応付け技法を行う。
【0088】
ステップ３１０で、ＣＰＵ１２は、ヒストグラムベースの技法またはスペクトル比ベースの技法の実行によって得られたマッチ結果に関するマッチ品質を決定する。品質が、許容レベルを満たすまたは超える場合、ＣＰＵ１２は、決定ブロック３１２に進む。品質が許容レベルを満たさない場合、決定ブロック３１２に進む前に、デフォルトの技法、例えばパッチ登録技法をＣＰＵ１２によって実行することができる。
【0089】
決定ブロック３１２で、ＣＰＵ１２は、画像の対Ｉｔ、Ｉｔ＋１すべてがスキャンされたかどうかを判定する。
【0090】
「いいえ」の場合、ＣＰＵ１２は、ステップ３０２に戻り、別の１組の対応付け点を表す別の１対のトークンサブセットを解析のために選択する。
【0091】
「はい」の場合、ＣＰＵ１２は、トークン対応付けを出力する（図４でのステップ２２２）。
【0092】
本発明の例示的実施形態によれば、ヒストグラムベースのトークン対応付け技法（図４のステップ２１８）は、対応するパッチ間の色変換に基づく。上述したように、２つのトークンサブセットＡとＢの間で同様の平均強度が存在することを比較ステップ（ステップ３０６）が示す場合、ＣＰＵ１２によって実行するためにヒストグラムベースの技法が選択される。このシナリオは、例えば、画像Ｉｔ内の物質の集合体が画像Ｉｔ＋１内で同様の照明を有する場合に見られる。
【0093】
点対応付けの判定と同様に、２つのパッチがシーンの同一の特徴を示すと仮定すると、２つのパッチ間の生じ得る差は、照明、露出、およびカメラ白色バランスの差によって表現することができる。そのような場合、単純な色変換は、以下の式によって表現することができる。【数1】
【0094】
上の数学的な式では、ｃ１およびｃ２によって表される色は、マッチされた１対の各パッチから１つずつの、（Ｒ，Ｇ，Ｂ）色ベクトルとして表された、（それぞれの画像ファイル１８内に画素として記憶されている）測定された色である。Ｔは、ｃ２およびｃ１からの色をマップするための３×３変換行列である。最も単純な場合には、Ｔは、以下のような対角行列である。【数2】
【0095】
上の行列式と等価な式は、以下の３つの式によって表現することができる。【数3】
【0096】
１対の各パッチの色を検査するようにＣＰＵ１２を動作させて主要変換を見つけることによって、行列Ｔに関する１組の値を決定することができ、ここで、主要変換は、第２のパッチ内の色のできるだけ多くが第１のパッチ内の色に近くなるようにし、また、第１のパッチ内の色のできるだけ多くが、第１のパッチの各色それぞれに近い第２のパッチからの変換された色を有するようにする。
【0097】
本発明の例示的実施形態では、主要変換を決定するために既知のＲＡＮＳＡＣ技法を実施することができる。例えば、Martin A. Fischer and Robert C. Bolles，「Random Sample Consensus：A Paradigm for Model Fitting with Application to Image Analysis and Automated Cartography」，Comm. of the ACM ２４：３８１３９５（１９８１年６月）を参照されたい。
【0098】
本発明のさらなる特徴によれば、変換は、画像シーケンスに示されるシーンの記録の状況に基づいて制限することができる。例えば、空間的に離れているが、時間的には近い記録された２つの画像の場合、シーン内の表面および光源のスペクトル特性は、比較的一定であると期待することができる。それに従って、行列Ｔは、以下のように制限することができる。指定されたεに関して、【数4】
【0099】
この場合、この制限は、変換行列Ｔが単純なスカラー倍に近いことを指定する。すなわち、パッチの色の全体的な明度は、画像毎に大幅に変わる可能性があるが、例えば、カラーバンドＲ、Ｇ、およびＢに関する相対的な大きさは、同様のままであるはずである。さらに、互いに近接する複数の対に関する変換の間に連続性または平滑性を課すことによって、１対のパッチの間の変換を正則化することができる。
【0100】
変換行列Ｔが決定された後、ＣＰＵ１２は、それぞれ画像Ｉｔ、Ｉｔ＋１内の１対のパッチ間の色対応付けを見出すことができる。画像Ｉｔ内の第１のパッチの画素を含む各タイプＣトークンに関して、ＣＰＵ１２は、マッチされた対の第２のパッチからの成分画素を有する後続画像Ｉｔ＋１内の対応するタイプＣトークンを位置特定することができ、以下同様である。境界によって引き起こされることがあるエラーを最小にするために、パッチ登録技法に関して上述した境界を回避するための方法を実施することができる。
【0101】
ステップ３０６の実行が、２つのトークンサブセットＡとＢの間で同様の平均強度がないことを示す場合、ＣＰＵ１２は、トークン対応付けを位置特定するためにスペクトル比ベースの対応付け技法を選択する（図４のステップ２２０）。そのような状況は、一般に、２つの画像が空間的には近いが、時間的には離れている場合に生じる。その状況では、画像Ｉｔ、Ｉｔ＋１内の物質は、同一であり得るが、共通のシーンのすべてまたは一部にわたる照明スペクトルは、例えば陰影の変化により画像毎に大幅に異なることがある。
【0102】
Ｆｒｉｅｄｈｏｆｆ特許の根本の教示は、画像が２つの成分、すなわち物質成分と照明成分を備えることである。照明は、周囲照明と、入射または直接照明とを備える。したがって、ＣＰＵ１２は、入射または直接光源と周囲光源との相互作用によって引き起こされるスペクトルシフトの認識によって、物質アスペクトと照明束とを区別するように動作させることができる。入射光源と周囲光源に関するスペクトルは互いに異なることがある。Ｆｒｉｅｄｈｏｆｆ特許によって教示されるように、陰影によって引き起こされるスペクトルシフト、すなわち入射光源の強度の減少は、画像内に示されるシーン内に存在する異なる物質にわたって実質的に不変となる。
【0103】
Ｆｒｉｅｄｈｏｆｆ特許の教示に従って、スペクトルシフト情報は、光源比、または入射光源と周囲光源との相互作用によって生成される特性スペクトル比によって表される。スペクトル比は、画像内に示されるシーンの２つの領域間の色または強度の差に基づく比であり、そのような差は、異なる物質、照明変化、またはそれら両方によってもたらされることがある。画像シーケンスに関するそのような特性スペクトル比または大域的なスペクトル比は、上述したように、各画像が空間的に近いが、共通のシーンのすべてまたは一部にわたる照明スペクトルが例えば陰影の変化によりシーケンスの各画像間で大幅に異なるような画像シーケンスの状況において使用することができる。
【0104】
周囲照明と入射照明との正規化された特性スペクトル比は、陰影がかかっているときと、あるレベルの入射照明で照明されたときとの表面の見た目の関係を制約する。正規化されたスペクトル比は、以下の式によって表現される。【数5】
【0105】
本発明の１つの特徴によれば、スペクトル比情報は、スペクトル比ベースの対応付け技法でトークンをマッチさせるために使用される。例えば、画像シーケンスの第１の画像内の暗色トークンの集合体と、シーケンスの第２の画像からの暗色トークンの集合体との状況において、トークンの明色／暗色集合体に基づいて、正規化されたスペクトル比を計算して、画像シーケンスに関する特徴的な大域的なスペクトル比に対して解析することができる。
【0106】
２つの集合体（暗色および明色）によって表される物質の類似性の尺度を提供するマップは、大域的な正規化されたスペクトル比と、明色／暗色集合体から計算された正規化されたスペクトル比との二乗誤差である。この関係は以下のように表される。【数6】
【0107】
マッピングＭは、単一の色チャネル内部で明度の順序を保存すべきである。したがって、暗色集合体内のトークンが、最も暗いものから最も明るいものへ順序付けられる場合、暗色トークンｉが明色トークンｊにマップするとき、暗色トークンｉ＋１は、明色トークンｋ（ここでｋ≧ｊ）にマップしなければならない。スペクトル比情報に基づいて対応付けを提供するためにマップを生成するために、動的時間伸縮などの既知の技法を実施することができる。
【0108】
エラーマップを生成する際に使用するための大域的なスペクトル比は、例えば以下のように計算することができる。− ユーザが、陰影領域内および照明領域内の同一物質を識別し、識別された領域からの画素色値の関数として特性スペクトル比を計算する。
− 例えば米国特許第７，６７２，５３０号明細書に開示されている自動技法など、特性スペクトル比を決定するための自動技法がＣＰＵ１２によって実行される。
− 暗色および明色画素をサンプルし、それらのサンプルを使用して妥当な特性スペクトル比を計算するようにＣＰＵ１２を動作させる。
− 暗色および明色画素をサンプルし、それらのサンプルをミーンシフトなどの技法で使用して特性スペクトル比を識別するようにＣＰＵ１２を動作させる。
【0109】
いずれにせよ、ステップ２１６、２１８、および／または２２０の少なくとも１つのステップの実行後、ＣＰＵ１２は、トークン対応付け情報を出力する（ステップ２２２）。
【0110】
ステップ２００に戻り、ユーザが密な技法を選択した場合、ＣＰＵ１２は、ステップ２２４に進む。ステップ２２４で、ＣＰＵ１２は、画像Ｉ０，Ｉ１，．．．，Ｉｔのシーケンスに関する画像ファイル１８をメモリ１６から取得する。決定ブロック２２６で、ＣＰＵ１２は、同一シーンの複数の画像Ｉ０，Ｉ１，．．．，Ｉｔが、ビデオシーケンスであるか、それとも同一シーンの複数のビューを示す１組の静止画像であるかどうかに関して検査する。
【0111】
複数の画像がビデオシーケンスからのものである場合、ＣＰＵ１２は、ステップ２２８に進む。決定ブロック２２８で、ＣＰＵ１２は、画像シーケンスが静止カメラによって記録されたかどうかを判定する。
【0112】
「はい」の場合、ＣＰＵ１２は、ステップ２３０に進む。ステップ２３０で、ＣＰＵ１２は、記録されたシーンを通って移動する物体などフォアグラウンドの物体を識別する。上述した粗い技法を、シーンに関する対応付け情報の発見と並行して、または独立した操作で実施して、フォアグラウンド物体に関する対応付け情報を決定することができる。次いで、ＣＰＵ１２は、ステップ２３２に進む。
【0113】
「いいえ」の場合、ＣＰＵ１２は、ステップ２３２に直接進む。ステップ２３２で、ＣＰＵ１２は、オプティカルフロー操作を実施する。例えば、ステップ２１０でＣＰＵ１２によって実行されるような特徴追跡技法は、この例では、ＣＰＵ１２が、画像Ｉ０，Ｉ１，．．．，Ｉｔのシーケンスに関して画像ファイル１８から画像ファイル１８への各画素の運動を追跡するように実施される。その結果、画素毎の密な対応付けが得られる（ステップ２３４）。
【0114】
決定ブロック２２６が、同一シーンの複数のビューを示す１組の静止画像を示す場合、ＣＰＵ１２は、決定ブロック２３６に進む。決定ブロック２３６で、ＣＰＵ１２は、画像の記録中のカメラの相対位置に関して、画像が較正されているかどうか判定する。
【0115】
「いいえ」の場合、ＣＰＵ１２は、ステップ２３８に進む。ステップ２３８で、ＣＰＵ１２は、位置のシーケンスの記録中のカメラの相対位置を推定し、次いでステップ２４０に進む。
【0116】
「はい」の場合、ＣＰＵ１２は、ステップ２４０に直接進む。ステップ２４０で、ＣＰＵ１２は、例えば、Fundamental Matrix（Q. T. Luong and and O. D. Faugeras，「The Fundamental Matrix，Theory，Algorithms，and Stability Analysis」，International Journal of Computer Vision，１７（１），ｐｐ．４３−７５，１９９６参照）に基づく技法を実行することによって、修正された画像を生成するように動作する。
【0117】
ステップ２４２で、ＣＰＵ１２は、１つの画像の２つ以上のビューについて、ステレオマッチングに関する任意の既知の技法を実行することによって、修正された画像を使用して画素毎の密な対応付けを決定し、出力する（ステップ２３４）。
【0118】
ステップ２００で述べたように、例えば３Ｄまたは深さ情報などの追加のデータをＣＰＵ１２に入力することができる。既知のマッチングアルゴリズムは、３Ｄまたは深さ情報が利用可能であるときに使用して、ステップ２３４で密な対応付け出力を提供することができる。
【0119】
粗い対応付け技法の使用の場合と同様に、ＣＰＵ１２は、固有画像の生成で使用するために、画素毎の密な対応付けをタイプＣトークンに相関させるように動作する（ステップ２２２）。１つのオプションは、図３Ａのルーチンに従って、画素の対応付けを、ステップ２１４の実行中にＣＰＵ１２によって識別されるタイプＣトークンと相関させることである。密な対応付けによって連係される成分画素を有するすべてのそのようなタイプＣトークンが、マッチングトークンとしてマークされる。
【0120】
第２のオプションでは、ＣＰＵ１２は、ステップ２１４Ａで、一括トークン化を実施する。図３Ａのルーチンによれば、各タイプＣトークンは、画素のシードに隣接する画素から成長し、これらの画素はすべて同一画像内にある。ステップ２１４Ａで、ルーチンは、画素毎の密な対応付けを使用するために調節されて、画像シーケンスの先行画像および後続画像内での対応する画素を含むようにトークンを成長させる。実際には、先行画像および後続画像は、密な対応付けに基づいて伸縮させることができ、それにより、それらの画像の画素は、シーケンスの参照画像に位置合わせされ、隣接する画素を、複数の画像にわたって同一の空間的位置に位置させることができる。
【0121】
ビデオの場合、連続する画像は、時間的に間隔が狭く、フレーム間での動きがほぼゼロであると仮定することができる。したがって、図６に示されるように、トークンは、ビデオの画像にわたって、時間的に前または後に成長させることができる。図６は、本発明の１つの特徴による一括トークン化技法を示す。
【0122】
ステップ２２２の完了後、ＣＰＵは、上述した空間スペクトル演算子／制約／ソルバモデルに従って、固有画像生成の実行中にトークン対応付けを利用する。ＣＰＵ１２は、ステップ２４４、２４６、および２４８で、それぞれ、アンカ制約、マルチ画像求解、および後処理技法の１つまたは複数を実行するように動作させることができる。
【0123】
ステップ２４４のアンカ制約技法が選択される場合、ＣＰＵ１２は、第２の画像内のトークンの物質反射率が第１の画像内の対応するトークンの物質反射率に制約されるという制約を実施するように動作する。
【0124】
アンカ制約の第１の実装形態では、図７の固定アンカの例示で示されるような固定アンカが使用される。図７に示されるように、固定アンカ手法では、固有画像の生成で使用するために固定アンカ値が計算または指定される（ステップ４００）。アンカに関する固定値は、例えば以下のようないくつかの異なる方法に従って設定することができる。１）第１の画像（Ｉ０）に関して単独で求解し、決定された反射率を、（トークン対応付けによって）すべての後続画像に関する固定アンカとして使用する（４００ａ）。
２）ユーザに、１つまたは複数のトークンの反射率を示す入力値を提供させ、次いで、これを使用して、（トークン対応付けによって）すべての後続画像をアンカする（４００ｂ）、または
３）１組の対応するアンカに関して画素値を解析し、例えば最大値、９０パーセンタイル、中央値、または平均値など、その組の何らかの関数を得る（４００ｃ）。
【0125】
次いで、ステップ４０６、４０８で、ＣＰＵ１２によって、ステップ４００ａ、４００ｂ、または４００ｃの１つで設定された物質反射率に関する固定アンカ値４００の関数として、対応するトークンシーケンスの対応するトークン４０２、４０４に関して、連続する画像Ｉｔ、Ｉｔ＋１における求解が行われる。
【0126】
アンカ制約の第２の実装形態では、シーケンスの先行画像から計算された物質反射率に基づくアンカが、シーケンスの現行画像に関する求解において使用される。図７に示されるように、先行画像Ｉｔ−１に関する求解からのアンカ４１０が、現行画像Ｉｔでのトークン４１２に関する求解に使用される（ステップ４１４）。次いで、ステップ４１４の求解で計算された物質反射率が、次の画像Ｉｔ＋１での対応するトークン４１８に関する求解に関してアンカ４１６として使用され、以下同様である。
【0127】
アンカ制約に関する第３の実装形態では、フィルタを通して更新されたアンカが使用される。図７に示されるように、前のアンカ手法が実施される（ステップ４１０〜４２０）。さらに、シーケンスの各画像で、アンカの使用なしで求解（ステップ４２２）が行われる。例えば、上述したように、ＣＰＵ１２によって、同一物質制約を平滑または同一照明制約と共に実行することができる。時間にわたって制約の値を更新するために、（アンカ制約を用いた、および用いない）各計算の結果が、カルマンフィルタなどのフィルタに入力される（ステップ４２４）。フィルタベースの手法での目的は、各フレームを（前の求解からの値に結び付けるアンカを用いずに）別々に求解して、アンカすべきトークンの物質反射率値の独立した推定値を得ることである。これは、厳格でない様式で、時間にわたる画像間の結び付きを提供する。すなわち、対応するトークンの反射率は、画像シーケンスにわたって変化することができるが、原理的にゆっくりと変化する。
【0128】
図８は、本発明の１つの特徴に従って、図４のルーチンに関連するマルチフレーム求解（図４のステップ２４６）を実施するためのルーチンに関する流れ図である。マルチフレーム手法に関する１つのオプションでは、シーケンスの２つ以上の画像に関するタイプＣトークンがすべて一度に求解される。例えば、同一物質反射率制約を、シーケンスの連続する画像Ｉｔ、Ｉｔ＋１内での対応するトークン５００、５０２に課すことができる（ステップ５０４）。
【0129】
第２のオプションでは、ステップ５０６で、ステップ２１４Ａで行われるような一括トークン化がＣＰＵ１２によって実行されて、連続する画像Ｉｔ、Ｉｔ＋１に関して、マルチフレームの対応するトークンを提供する（ステップ５０８）。求解は、マルチフレームの対応するトークンに対して行うことができる（ステップ５１０）。求解は、例えば、同一または平滑照明制約、同一物質反射率制約、およびアンカ制約の組合せに基づくことがある。この目的は、様々な制約をまとめて適用し、求解ステップに進むことである。例えば連立一次方程式の最小二乗解として実施される求解ステップは、完全には適合しない制約を同時に最大限に満たすことによって、パワーを提供する。
【0130】
図９は、本発明の１つの特徴による、図４のルーチンと共に使用するための後処理技法（図４のステップ２４８）を実施するためのルーチンに関する流れ図である。後処理技法では、ＣＰＵ１２によって、シーケンスの各画像、例えば画像Ｉｔ、Ｉｔ＋１に関して求解が別々に行われて、例えば、ステップ６０４、６０６でそれぞれ、画像Ｉｔのトークン６００に関して物質反射率Ｒｔおよび照度Ｌｔを決定し、画像Ｉｔ＋１のトークン６０２に関して物質反射率Ｒｔ＋１および照度Ｌｔ＋１を決定する。
【0131】
独立した求解の実施後、ＣＰＵ１２は、後処理操作を行い、これは例えば、トークン６００の反射率にトークン６０２の反射率をマッチさせるための変換を見出すこと（ステップ６０８）、およびトークン６００に関する照明に対して、時間にわたって、トークン６０２に関して平滑な一貫性のある照明を施行することである（ステップ６１０）。それらの結果は、ステップ６１２で、シーケンスからの先行画像の対応するトークン６００に関する求解に応じた、トークン６０２に関する反射率および照度の更新された求解として出力され、以下同様である。
【0132】
ステップ６０８で、ＣＰＵ１２は、Ｒｔ＝ＴＲｔ＋１となるように変換Ｔを決定し、ここで、Ｔは３×３の対角行列である。行列Ｔは大域的でよく、すなわち、対応するトークンのすべての対にわたって適用される平均でよく、または、Ｔは空間的に変えることができ、各トークン対の位置でＴを記録し、画像の残りにブレンドする。空間的に変化するＴの場合、ブレンドは、滑らかに、または、対応する縁部が反射率画像内に存在するときにはＴでの縁部が許容されるような様式で行うことができる。さらに、空間的に変化するバージョンのＴでは、この行列は、画像空間内でぼかすことができ、それにより滑らかに変化する。ガウスぼかしを、指定されたσで実施することができ、または代替形態として、バイラテラルフィルタなどエッジ保存ぼかしフィルタを使用することができる。
【0133】
ステップ６１０で、ＣＰＵ１２は、画像から画像への照明平滑性を施行するように動作することができる。なぜなら、照明は、ゆっくりと空間的に変化する傾向があり、これはまた時間的にも施行することができるからである。
【0134】
以上の明細書において、本発明を、その特定の例示的実施形態および例を参照して説明してきた。しかし、添付の特許請求の範囲に記載する本発明のより広範な精神および範囲から逸脱することなく、様々な修正および変更をそれらに加えることができることは明らかであろう。したがって、明細書および図面は、限定的な意味ではなく例示的なものとみなすべきである。