知財求人 - 知財ポータルサイト「IP Force」
▶ タンデント ビジョン サイエンス インコーポレーティッドの特許一覧
特許5998049画像を処理するための自動化されコンピュータ化された方法とそのような方法を実行するコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5998049
(24)【登録日】2016年9月2日
(45)【発行日】2016年9月28日
(54)【発明の名称】画像を処理するための自動化されコンピュータ化された方法とそのような方法を実行するコンピュータプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20160915BHJP
【ＦＩ】
G06T1/00 500A
【請求項の数】10
【全頁数】38
(21)【出願番号】特願2012-508469(P2012-508469)
(86)(22)【出願日】2010年4月22日
(65)【公表番号】特表2012-525631(P2012-525631A)
(43)【公表日】2012年10月22日
(86)【国際出願番号】US2010001196
(87)【国際公開番号】WO2010126574
(87)【国際公開日】20101104
【審査請求日】2012年3月13日
【審判番号】不服2015-2341(P2015-2341/J1)
【審判請求日】2015年2月6日
(31)【優先権主張番号】12/387,258
(32)【優先日】2009年4月30日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】507254746
【氏名又は名称】タンデント ビジョン サイエンス インコーポレーティッド
(74)【代理人】
【識別番号】100091867
【弁理士】
【氏名又は名称】藤田 アキラ
(74)【代理人】
【識別番号】100154612
【弁理士】
【氏名又は名称】今井 秀樹
(72)【発明者】
【氏名】フライドホフ リチャード マーク
(72)【発明者】
【氏名】スミス ケーシー アーサー
(72)【発明者】
【氏名】マックスウェル ブルース アレン
(72)【発明者】
【氏名】オルドリン ニール
(72)【発明者】
【氏名】ブッシェル スティーヴン ジョーゼフ
(72)【発明者】
【氏名】ロジャース ジュニア ティモシー キング
【合議体】
【審判長】
藤井 浩
【審判官】
清水 正一
【審判官】
渡辺 努
(56)【参考文献】
【文献】
特開平５−１７４１１６（ＪＰ，Ａ）
【文献】
特表２００８−５２９１６９（ＪＰ，Ａ）
【文献】
特表２００５−５１５５１５（ＪＰ，Ａ）
【文献】
特表２００８−５２３４５４（ＪＰ，Ａ）
【文献】
特開２００７−１８０７１８（ＪＰ，Ａ）
【文献】
特開２００７−２０１５３３（ＪＰ，Ａ）
【文献】
特開平６−２３６４４０（ＪＰ，Ａ）
【文献】
米国特許出願公開第２００８／００８９５７６（ＵＳ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
G06T 1/00 - 7/60
(57)【特許請求の範囲】
【請求項1】
画像を処理するための自動化されコンピュータ化された方法であって、
コンピュータメモリ（１６）に、画像を示す画像ファイル（１８）を提供するステップと、
前記画像ファイル（１８）に対して画像分離操作を行って、前記画像に対応し照明画像と素材画像を有する１組の固有画像（３４）を生成するステップと、
１組の事前選択された操作にしたがって前記１組の固有画像（３４）のうち事前選択された固有画像を修正するステップと、
前記１組の固有画像（３４）のうち修正された固有画像を前記１組の固有画像（３４）に対してマージして、修正された出力画像を提供するステップと
を含む方法において、
前記画像分離操作が、
色バンドに関する連続する画素間のスペクトル関係のような画像の連続する画素に関連する情報や、画像に示される単一素材または画像にエフェクトをかける照明束のような画像の特性に関連する画素スペクトル特性の空間的広がりである、空間スペクトル情報を含む、画像の表現若しくは特性である空間スペクトル演算子であって、連接画像領域であるトークンのような空間スペクトル演算子を生成し、ゾルバへの入力のために、前記空間スペクトル演算子間の制約空間スペクトル関係を定義する制約を、前記空間スペクトル演算子に受けさせることによって、実行され、
前記制約のそれぞれは、絶対素材色制約、同一素材制約、および相対反射度制約の１つであり、前記絶対素材制約は、画像の特定の位置での素材を特定の色に制約し、前記同一素材制約は、複数の空間スペクトル演算子を同一素材に制約し、前記相対反射度制約は、複数の空間スペクトル演算子を、反射度特性の類似性を有するように制約するもので、これら制約空間スペクトル関係は行列式Ａｘ＝ｂとして表され、Ａは空間スペクトル演算子と制約空間スペクトル関係の定義によって満足する値の行列であり、ｂは画像で観察される値の行列であり、ｘは解かれる変数の行列であり、行列ｘは前記固有画像（３４）の１つに対応する画像の照明成分と素材成分の一方を表し、行列Ａの各行は１つの制約に対応する、方法。
コンピュータメモリ（１６）に、画像を示す画像ファイル（１８）を提供するステップと、
前記画像ファイル（１８）に対して画像分離操作を行って、前記画像に対応し照明画像と素材画像を有する１組の固有画像（３４）を生成するステップと、
１組の事前選択された操作にしたがって前記１組の固有画像（３４）のうち事前選択された固有画像を修正するステップと、
前記１組の固有画像（３４）のうち修正された固有画像を前記１組の固有画像（３４）に対してマージして、修正された出力画像を提供するステップと
を含む方法において、
前記画像分離操作が、
色バンドに関する連続する画素間のスペクトル関係のような画像の連続する画素に関連する情報や、画像に示される単一素材または画像にエフェクトをかける照明束のような画像の特性に関連する画素スペクトル特性の空間的広がりである、空間スペクトル情報を含む、画像の表現若しくは特性である空間スペクトル演算子であって、連接画像領域であるトークンのような空間スペクトル演算子を生成し、ゾルバへの入力のために、前記空間スペクトル演算子間の制約空間スペクトル関係を定義する制約を、前記空間スペクトル演算子に受けさせることによって、実行され、
前記制約のそれぞれは、絶対素材色制約、同一素材制約、および相対反射度制約の１つであり、前記絶対素材制約は、画像の特定の位置での素材を特定の色に制約し、前記同一素材制約は、複数の空間スペクトル演算子を同一素材に制約し、前記相対反射度制約は、複数の空間スペクトル演算子を、反射度特性の類似性を有するように制約するもので、これら制約空間スペクトル関係は行列式Ａｘ＝ｂとして表され、Ａは空間スペクトル演算子と制約空間スペクトル関係の定義によって満足する値の行列であり、ｂは画像で観察される値の行列であり、ｘは解かれる変数の行列であり、行列ｘは前記固有画像（３４）の１つに対応する画像の照明成分と素材成分の一方を表し、行列Ａの各行は１つの制約に対応する、方法。
【請求項2】
前記１組の事前選択された操作が、強度調節、色変化、陰影改変、幾何学的編集、カットアンドペースト編集、およびそれらの組合せを含む、請求項１に記載の方法。
【請求項3】
前記１組の固有画像（３４）のうち事前選択された固有画像を修正する前記ステップが、前記照明画像を修正することによって行われる、請求項１に記載の方法。
【請求項4】
前記１組の固有画像（３４）のうち事前選択された固有画像を修正する前記ステップが、前記素材画像を修正することによって行われる、請求項１に記載の方法。
【請求項5】
前記１組の固有画像（３４）のうち事前選択された固有画像を修正する前記ステップが、前記画像の全体の修正のために前記素材画像と前記照明画像の両方を別個に修正することによって行われる、請求項１に記載の方法。
【請求項6】
前記画像の全体の修正のために前記素材画像と前記照明画像の両方を別個に修正する前記ステップが、前記画像の幾何学的編集を行うために実施される、請求項５に記載の方法。
【請求項7】
前記画像の全体の修正のために前記素材画像と前記照明画像の両方を別個に修正する前記ステップが、事前選択された順序で前記素材画像と前記照明画像を修正することによって行われる、請求項５に記載の方法。
【請求項8】
前記１組の固有画像のうち事前選択された固有画像を修正する前記ステップが、ダイナミックレンジ圧縮で前記照明画像を修正することによって行われる、請求項１に記載の方法。
【請求項9】
前記ダイナミックレンジ圧縮がガンマ補正である、請求項８に記載の方法。
【請求項10】
コンピュータ可読な媒体に配されたコンピュータプログラムであって、コンピュータを制御すべく操作可能でコンピュータで実行可能なプロセスステップを含み、これらプロセスステップが、コンピュータメモリ（１６）に、画像を示す画像ファイル（１８）を提供するステップと、前記画像ファイル（１８）に対して画像分離操作を行って、前記画像に対応し照明画像と素材画像を有する１組の固有画像（３４）を生成するステップと、１組の事前選択された操作にしたがって前記１組の固有画像（３４）のうち事前選択された固有画像を修正するステップと、前記１組の固有画像（３４）のうち修正された固有画像を前記１組の固有画像（３４）に対してマージして、修正された出力画像を提供するステップとであり、
前記画像分離操作が、
色バンドに関する連続する画素間のスペクトル関係のような画像の連続する画素に関連する情報や、画像に示される単一素材または画像にエフェクトをかける照明束のような画像の特性に関連する画素スペクトル特性の空間的広がりである、空間スペクトル情報を含む、画像の表現若しくは特性である空間スペクトル演算子であって、連接画像領域であるトークンのような空間スペクトル演算子を生成し、ゾルバへの入力のために、前記空間スペクトル演算子間の制約空間スペクトル関係を定義する制約を、前記空間スペクトル演算子に受けさせることによって、実行され、
前記制約のそれぞれは、絶対素材色制約、同一素材制約、および相対反射度制約の１つであり、前記絶対素材制約は、画像の特定の位置での素材を特定の色に制約し、前記同一素材制約は、複数の空間スペクトル演算子を同一素材に制約し、前記相対反射度制約は、複数の空間スペクトル演算子を、反射度特性の類似性を有するように制約するもので、これら制約空間スペクトル関係は行列式Ａｘ＝ｂとして表され、Ａは空間スペクトル演算子と制約空間スペクトル関係の定義によって満足する値の行列であり、ｂは画像で観察される値の行列であり、ｘは解かれる変数の行列であり、行列ｘは前記固有画像（３４）の１つに対応する画像の照明成分と素材成分の一方を表し、行列Ａの各行は１つの制約に対応する、コンピュータプログラム。
前記画像分離操作が、
色バンドに関する連続する画素間のスペクトル関係のような画像の連続する画素に関連する情報や、画像に示される単一素材または画像にエフェクトをかける照明束のような画像の特性に関連する画素スペクトル特性の空間的広がりである、空間スペクトル情報を含む、画像の表現若しくは特性である空間スペクトル演算子であって、連接画像領域であるトークンのような空間スペクトル演算子を生成し、ゾルバへの入力のために、前記空間スペクトル演算子間の制約空間スペクトル関係を定義する制約を、前記空間スペクトル演算子に受けさせることによって、実行され、
前記制約のそれぞれは、絶対素材色制約、同一素材制約、および相対反射度制約の１つであり、前記絶対素材制約は、画像の特定の位置での素材を特定の色に制約し、前記同一素材制約は、複数の空間スペクトル演算子を同一素材に制約し、前記相対反射度制約は、複数の空間スペクトル演算子を、反射度特性の類似性を有するように制約するもので、これら制約空間スペクトル関係は行列式Ａｘ＝ｂとして表され、Ａは空間スペクトル演算子と制約空間スペクトル関係の定義によって満足する値の行列であり、ｂは画像で観察される値の行列であり、ｘは解かれる変数の行列であり、行列ｘは前記固有画像（３４）の１つに対応する画像の照明成分と素材成分の一方を表し、行列Ａの各行は１つの制約に対応する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像を処理するための自動化されコンピュータ化された方法とそのような方法を実行するコンピュータプログラムに関するものである。
【背景技術】
【0002】
画像に示されるシーンを改良する、変更する、その見た目を修正する、またはその他の改変を行うために、コンピュータメモリなどに記憶された画像の修正および改変が行われることがよくある。例えば、典型的にはダイナミックレンジ圧縮アルゴリズムを使用して画像強度を調節し、それにより暗い画像を明るくして、表示の見た目をより良くすることができる。モニタに表示する際または印刷時に画像を明るくするための１つの業界標準のダイナミックレンジ圧縮法は、ガンマ補正である。この標準によれば、画像内の各画素に関して、強度が０〜１のスケールで測定され、照明強度が元の強度の（１．０／γ）乗（ここでγは１．０以上の値）となるように画像が調節される。ガンマ補正は、照明に関係なくすべての画素をいくらか明るくする。他の形態のダイナミックレンジ圧縮と同様に、ガンマ補正は陰影を明るくするが、色補正された陰影のない相当物と色があまり類似せず、したがって画像の見た目を歪曲する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
画像に関係する操作を正確かつ適正に実施するためのコンピュータの利用における課題は、仮想世界で生じる物理的な現象を真に反映および表現するアルゴリズムの開発である。例えばガンマ補正など画像修正のための従来の技法を利用するとき、色などの画像特性が受け入れられないほど歪むことがある。さらに、画像の多くの改変では、例えばシーンの幾何形状の変化など所望の変化の結果が、画像の素材状況（material aspect／材質様相）に及ぼすのとは異なる形で画像の照明状況に影響を及ぼすことは無視されている。したがって、より正確に補正された色など、画像の見た目の改良、画像強度調節、またはユーザが画像を改変もしくは修正するより大きな自由度を提供するために、画像に関係するコンピュータの操作で利用することができる正確で適正な技法の開発が引き続き求められている。
【課題を解決するための手段】
【0004】
本発明は、例えばより正確に補正された色や画像強度調節など、改良された結果をもたらす画像修正および改変を行うために、画像に関連する空間スペクトル情報を利用する画像処理技法を実施する方法およびコンピュータプログラムを提供する。
【0007】
本発明の第１の例示的実施形態では、画像を処理するための自動化されコンピュータ化された方法が提供される。本発明の１つの特徴によれば、方法は、コンピュータメモリに、画像を示す画像ファイルを提供するステップと、前記画像ファイルに対して画像分離操作を行って、前記画像に対応し照明画像と素材画像を有する１組の固有画像を生成するステップと、１組の事前選択された操作にしたがって前記１組の固有画像のうち事前選択された固有画像を修正するステップと、１組の固有画像のうち修正された固有画像を１組の固有画像に対してマージして、修正された出力画像を提供するステップとを含み、前記画像分離操作が、色バンドに関する連続する画素間のスペクトル関係のような画像の連続する画素に関連する情報や、画像に示される単一素材または画像にエフェクトをかける照明束のような画像の特性に関連する画素スペクトル特性の空間的広がりである、空間スペクトル情報を含む、画像の表現若しくは特性である空間スペクトル演算子であって、連接画像領域であるトークンのような空間スペクトル演算子を生成し、ゾルバへの入力のために、前記空間スペクトル演算子間の制約空間スペクトル関係を定義する制約を、前記空間スペクトル演算子に受けさせることによって、実行され、
前記制約のそれぞれは、絶対素材色制約、同一素材制約、および相対反射度制約の１つであり、前記絶対素材制約は、画像の特定の位置での素材を特定の色に制約し、前記同一素材制約は、複数の空間スペクトル演算子を同一素材に制約し、前記相対反射度制約は、複数の空間スペクトル演算子を、反射度特性の類似性を有するように制約するもので、これら制約空間スペクトル関係は行列式Ａｘ＝ｂとして表され、Ａは空間スペクトル演算子と制約空間スペクトル関係の定義によって満足する値の行列であり、ｂは画像で観察される値の行列であり、ｘは解かれる変数の行列であり、行列ｘは前記固有画像（３４）の１つに対応する画像の照明成分と素材成分の一方を表し、行列Ａの各行は１つの制約に対応する。
【0009】
本発明の第２の実施形態によれば、コンピュータ可読媒体が提供され、このコンピュータ可読媒体は、上述した実施形態を実施するためにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを記憶している。自動化されコンピュータ化された方法は、デジタルコンピュータ、アナログコンピュータ、光センサ、状態機械、シーケンサ、または、本発明の方法のステップを実施するように設計またはプログラムすることができる任意のデバイスもしくは装置によって行うことができる。
【図面の簡単な説明】
【0010】
【図1】画像に関係付けられた操作を行うように配置され構成されたコンピュータシステムのブロック図である。
【図5】本発明の画像分離システムアーキテクチャ機能の実施に関連付けて使用するためのグラフィカルユーザインターフェースを示す図である。
【図6b】タイプＣトークンの識別で一例として使用される元の画像を示す図である。
【図8】本発明の１つの特徴に従って任意境界除去技法によってタイプＢトークンを構成するための流れ図である。
【図9】本発明の１つの特徴に従ってトークンマップ情報を含むトークングラフを作成するための流れ図である。
【図10】本発明の１つの特徴に従って隣接平面トークンマージ技法によってタイプＢトークンを構成するための流れ図である。
【図11】本発明の１つの特徴に従って局所トークン分析技法によってタイプＣトークンを生成するための流れ図である。
【図13】本発明の１つの特徴による［Ａ］［ｘ］＝［ｂ］行列関係の図である。
【発明を実施するための形態】
【0011】
次に図面を参照し、まず図１を参照すると、画像に関係付けられた操作を行うように配置されて構成されたコンピュータシステム１０のブロック図が示されている。ＣＰＵ１２は、例えばＵＳＢポートを介して、例えばデジタルカメラ１４などのデバイスに結合される。デジタルカメラ１４は、カメラ１４にローカルに記憶された画像をＣＰＵ１２にダウンロードするように動作する。ＣＰＵ１２は、ダウンロードされた画像を画像ファイル１８としてメモリ１６に記憶する。モニタ２０に表示するため、またはプリンタ２２でプリントアウトするために、画像ファイル１８にＣＰＵ１２がアクセスすることができる。
【0012】
あるいは、ＣＰＵ１２は、例えばデジタルカメラ１４やロボットなどのデバイスに埋め込まれたマイクロプロセッサとして実装することができる。また、ＣＰＵ１２には、例えばロボット操作やユーザとの対話操作に関連する、画像に関係付けられたリアルタイム操作のためのリアルタイム操作システムを備え付けることができる。
【0013】
図２ａに示されるように、各画像ファイル１８は、ｎ×ｍの画素アレイを備える。各画素ｐは、画像全体の個々の部分に対応するピクチャ要素である。画素がすべて合わさって、画像ファイル１８によって表される画像を定義する。各画素は、１組の色バンド／カラーバンド、例えばピクチャ要素の赤色、緑色、および青色成分（ＲＧＢ）に対応するデジタル値を有する。本発明は、各バンドが電磁スペクトルの一部分に対応する任意のマルチバンド画像に適用可能である。画素アレイは、それぞれｎ行ｍ列を含み、画素ｐ（１，１）から始まり、画素ｐ（ｎ，ｍ）で終わる。画像を表示または印刷するとき、ＣＰＵ１２は、対応する画像ファイル１８をメモリ１６から検索し、一般に知られているように、画像ファイル１８内の画素のデジタル値に応じて、場合に応じてモニタ２０またはプリンタ２２を動作させる。
【0014】
本発明の１つの特徴によれば、画像処理において、ＣＰＵ１２は、画像ファイル１８に記憶された画像の画素のＲＧＢ値などの情報を分析して処理するように動作して、例えばより正確な色補正や画像の修正など様々な目的を達成する。本発明の１つの例示的実施形態の１つの特徴によれば、対応する固有画像を生成するために、画像ファイル１８の画像に示されるシーンの照明状況と素材状況の分離が行われる。固有画像は、例えば照明画像と素材画像を含み、どちらも元の画像に対応する。次いで、画像に示されるシーンの見た目を改良、変更、修正する、またはその他の方法でシーンを改変するために、画像の修正および改変が行われる。本発明の１つの特徴によれば、画像の修正は、固有画像の一方または両方に対して選択的に行われて、元の画像の修正または改変で通常得ることができるものに勝る改良を結果的に実現することができる。本明細書で使用する際、用語「修正」は、画像の修正、改変、または任意の他の変更の任意のものを意味するものとして使用する。
【0015】
そのような修正は、例えば、画像の強度もしくは色に関するものでよく、または陰影の改変、例えば画像内の陰影の見た目のパターンまたは特徴の変更に関するものでよい。改変は、画像を変形する、歪曲する、または画像の形態の任意の他の幾何学的変換を行うための幾何学的編集を含むことができる。次いで、修正された固有画像が、他方の固有画像とマージされて、修正または改変された出力画像を提供する。
【0016】
そのために、図３は、本発明の１つの特徴に従って図２ａの画像ファイル１８の画像に対する画像修正、例えばガンマ補正などの強度調節を行うためのルーチンに関する流れ図を示す。ステップ１０００で、ＣＰＵ１２は、メモリ１６から画像ファイル１８を検索する。ステップ１００２で、ＣＰＵ１２は、検索された画像ファイル１８に示される画像にどちらも対応する照明画像と素材画像それぞれを生成するために、画像分離操作を行う。本発明の１つの特徴によれば、ＣＰＵ１２によって行われる画像分離操作は、画像の照明成分と素材成分を識別するために空間スペクトル演算子／制約／ソルバモデルを実施する。
【0017】
本発明の基本的な発見の根底にある根本的な知見は、画像が２つの成分、すなわち素材成分と照明成分を備えることである。画像のすべての変更は、これらの成分の一方または他方によってもたらされる。空間スペクトル情報は、画像ファイル１８に示される画像の連続する画素に関連する情報であり、例えば、画素のＲＧＢ値など色バンドに関する連続する画素間のスペクトル関係や、画像に示される単一素材または画像にエフェクトをかける照明束に関するものなど画像の特性に関連する画素スペクトル特性の空間的広がりである。画像内で素材か照明の一方が分かっているとき、他方を容易に導き出すことができる。
【0018】
さらに、照明束は、入射光源と環境光源を含む。入射光源と環境光源に関するスペクトルは互いに異なることがある。したがって、陰影によって、すなわち入射光源の強度の減少によってスペクトルシフトが生じる。スペクトルシフトは、完全な陰影から半影を介して十分な照明まで、シーンに示される素材の色の変化を引き起こすことができる。本発明の１つの特徴によれば、スペクトルシフト現象は、空間スペクトル情報内に取り込まれる。空間スペクトル情報はスペクトル比を含む。これは、画像に示されるシーンの２つの領域間の色または強度の差に基づく比であり、そのような差は、異なる素材（物体縁部）、照明変化（照明境界）、またはその両方によってもたらされることがある。
【0019】
本発明の１つの特徴によれば、検索された画像ファイル１８に示されるシーンの照明状況と素材状況の分離のためにステップ１００２で行われるプロセスを容易にするために、空間スペクトル演算子が生成される。空間スペクトル演算子は、画像の素材状況と照明状況の処理で有用な空間スペクトル情報を含む画像の表現または特性を備える。空間スペクトル演算子は、ソルバへの入力のために、演算子間の制約空間スペクトル関係を定義する制約を受ける。ソルバは、空間スペクトル演算子間の制約関係に応じて、検索された画像ファイル１８に記憶された元の画像から導出される素材画像および／または照明画像など固有画像を生成するために最適化解を得るように動作する数学的な処理エンジンを含む。
【0020】
空間スペクトル演算子は、例えば、トークン、トークンマップ情報、対数色度表現値、Ｘ−ｊｕｎｃｔｉｏｎ、ＢＩＤＲモデル表現、境界表現、およびトークンヒストグラムベースの画素表現を含む。
【0021】
本発明の１つの特徴によれば、トークンは、画像の連接領域であり、この領域の画素は、素材および照明の識別など画像特徴および特性の識別に関連して互いに関係付けられている。トークンの使用は、画像の素材／照明／幾何的特性の特定の組が単一の画素を超えて広がっていることを認識し、したがって、本明細書で説明する画像処理を画素レベルで行うことができる一方で、トークンが画像性質のより効率的な処理を速める。トークンの画素は、例えば画素間の色値の近接補正など均質因子に関して、またはＲＧＢ空間など色空間内で幾何的に関係付けられた異なる色値（例えば一般にテクスチャと呼ばれる）など不均質因子に関して関係付けることができる。本発明の例示的実施形態は、画像ファイルの処理を改良するために、様々なタイプの均質または不均質トークンを識別するための方法およびシステムを提供する。本発明は、トークン領域を識別するために、画像ファイル１８に示される画像の連続する画素に関連する空間スペクトル情報を利用する。
【0022】
本発明の１つの例示的実施形態によれば、均質トークンはそれぞれ、タイプＡトークン、タイプＢトークン、またはタイプＣトークンに分類される。タイプＡトークンは、シーン内で単一の素材を含む取り得る最大の画像領域を表す連続する画素を備える連接画像領域である。タイプＢトークンは、シーン内で単一の素材を含む画像領域を表す連続する画像を備える連接画像領域であるが、その素材に対応する最大領域である必要は必ずしもない。タイプＣトークンは、トークンの連続する画素間で類似の画像性質、例えば類似の色および強度を有する連接画像領域を備え、ここで、類似性は、画像を記録するために使用される撮像システムに関する雑音モデルに関して定義される。
【0023】
線形トークンは、画像の連接領域を備える不均質トークンであり、ここで、領域の隣接する画素が異なる色測定値を有し、これらの値は、ＲＧＢ空間内で正の勾配に沿った暗色側の端部（陰影）から明色側の端部（照明端部）への円筒形内にある。本発明の１つの特徴によれば、色変化が、画像に示されるシーンの単一の素材にわたって陰影を形成する照明変化（すなわち、照明領域内での入射または直接光源と環境光源の相互作用としての入射光源の強度減少）によるものであるとき、円筒形構成は二光源二色性反射モデル（ＢＩＤＲモデル）によって予測される。
【0024】
線形トークンを記述、識別、および使用するために、ＢＩＤＲモデルは、Ｉ（ｘ，ｙ，ｚ，θ，φ，λ）＝ｃｂ（λ）ｌｄ（λ）γｂ＋Ｍａ（λ）ｃｂ（λ）と記述することができ、ここで、Ｉ（ｘ，ｙ，ｚ，θ，φ，λ）は、波長λに関する方向θ、φでの（ｘ，ｙ，ｚ）での表面点の放射輝度であり、ｃｂ（λ）は、波長λに関する表面の、幾何形状に無関係な物体の反射度／反射率であり、Ｉｄ（λ）は、波長λに関する入射光量である。γｂは、陰影因子Ｓｘ，ｙ，ｚと幾何学的因子ｍｂ（θｉ）の積であり、Ｍａ（λ）は、入射光量を除外した、半球にわたる環境光量と幾何学体の反射度の積分である。ＢＩＤＲモデルに関するより詳細な情報は、２００７年８月２日に米国特許出願公開第２００７／０１７６９４０号として公開された、「Bi-illuminant Dichromatic Reflection Model For Image Manipulation」というタイトルの２００６年１月２７日出願の米国特許出願第１１／３４１７５１号明細書を参照すべきである。
【0025】
トークンマップ情報は、画像内のトークンの互いに対する位置を示す。マップ情報を使用して隣接トークンを識別し、ソルバへの入力のために、トークン間の制約空間スペクトル関係に関連するトークン隣接関係の分析を行う。
【0026】
対数色度表現値は、画像の画素に関する照明不変値を提供する。画像画素の色バンド値の対数値が、対数色空間グラフに描かれる。次いで、対数値が、ＢＩＤＲモデルに相関して方向付けられた対数色度投影面に投影される。色度面値は、各画素の色バンド値（例えばＲＧＢ値）の代わりとなる。対数色度表現値に関するより詳細な情報は、２００７年１０月１８日に米国特許出願公開第２００７／０２４２８７８号として公開された、「Method And System For Separating Illumination And Reflectance Using a Log Color Space」というタイトルの２００６年４月１３日出願の米国特許出願第１１／４０３７１９号明細書を参照すべきである。
【0027】
Ｘ−ｊｕｎｃｔｉｏｎは、素材縁部と照明境界が互いに交差する画像の領域である。Ｘ−ｊｕｎｃｔｉｏｎは、画像の素材状況および照明状況の正確な分析のための最適な位置である。
【0028】
境界表現は、例えば隣接するタイプＢトークンによって形成される境界の各側での画素の配列である。この配列は、境界の分析を容易にするために使用され、（照明縁部、深さ境界、または照明と素材の同時変化など別のタイプの境界とは対照的に）滑らかな表面上での素材境界として境界を分類する。画素表現は、境界を形成するタイプＢトークンそれぞれの内部に画素のサンプルを提供するように構成される。サンプルの画素は空間スペクトル分析を受け、結果が比較されて、それぞれの境界が素材変化に対応する可能性を求める。
【0029】
テクストンは、テクスチャを備える画像領域に関する均質表現である。画像テクスチャは、画素強度の空間的変化に相関して定義することができる。画像テクスチャパターンは、画像表面の物理的性質または反射性質によるものであることが多い。一般に、画像テクスチャは、空間的な均質性に関連付けられ、典型的には、しばしば何らかのランダムな変化（例えばランダムな位置、向き、または色）を伴う繰返し構造を含む。また、画像テクスチャはしばしば、規則性、粗さ、コントラスト、および方向性などいくつかの視覚的性質によって特徴付けられる。画像テクスチャの一例は、縞模様の画像である。なぜなら、これは、空間的に均質であると見られ、何らかの繰返しパターンを形成する色強度の変化を含むものと思われるからである。いくつかの画像テクスチャは、ストライプまたはスポットなどの幾何学的特性によって定義することができる。テクストンベースの演算子は、テクスチャ付きの素材によって成される様々な反射度のパターンを均質表現に変換し、この均質表現は、画像内のテクスチャ付き領域のスペクトル特性および空間的特性を取り込む。
【0030】
制約は、例えば固定制約（anchor constraint）、同一照明制約、平滑照明制約、タイプＢトークン制約、線形トークン制約、ＢＩＤＲ施行制約、同一テクストンヒストグラム制約、対数色度類似性制約、Ｘ−ｊｕｎｃｔｉｏｎ制約、および境界表現制約を備える。各制約は、それぞれの制約によって利用される空間スペクトル演算子を定義する制約ジェネレータソフトウェアモジュールとして構成され、成分演算子に課される制約関係の表現を提供する。
【0031】
固定制約は、画像内のいくつかの最高輝度／最大のタイプＣトークンを利用する。この制約関係は、選択された最高輝度／最大のタイプＣトークンの素材が、画像内で観察される色／輝度に関する絶対値となるように制約されるというものである。この制約は、画像に関する素材マップを絶対輝度に固定して、相対輝度制約を回避する。
【0032】
同一照明制約は、画像およびトークンマップ情報内で識別されるタイプＣトークンおよびタイプＢトークンを利用する。この制約関係は、トークンマップ情報によって示される隣接するタイプＣトークンが同じタイプＢトークンの一部でない限り同一照明であるというものである。用語「照明」に関連する用語「同一」は、画像を記録するために使用される撮像システムに関する雑音モデルに対する平均値を意味するものとして使用される。明らかなように、これは、同じタイプＢトークンの一部でない隣接するタイプＣトークン間の任意の観察される見た目の相違を、素材変化に制約する。
【0033】
平滑照明制約は、同一照明制約と同様である。しかし、同一照明制約の場合のように隣接するタイプＣトークンのすべての画素を同一照明に制約するのではなく、平滑照明制約では、制約は、隣接するタイプＣトークン間の共有された境界付近の画素の平均照明に基づく。これは、１つのトークンにわたって区分的に一定（上に定義した「同一」）ではなく、照明領域をいくぶん滑らかなものとなるように制約する。
【0034】
タイプＢトークン制約も、タイプＣトークンとタイプＢトークンを利用する。しかし、この制約関係は、同じタイプＢトークンの一部であるすべてのタイプＣトークンが同一素材に制約されるというものである。この制約は、タイプＢトークンの定義、すなわちシーン内で単一の素材を含む画像領域を表す連続する画素を備える連接画像領域であるが、その素材に対応する最大領域である必要は必ずしもないという定義を施行する。すなわち、同じタイプＢトークン内にあるすべてのタイプＣトークンが、タイプＢトークンに課される定義によって同一素材のものとなり、しかし同一照明である必要は必ずしもない。したがって、タイプＣトークンは、様々な照明によって引き起こされる観察される見た目の相違に対応するように制約される。
【0035】
したがって、タイプＢトークン制約は、同一照明制約および平滑照明制約を補完するものであり、それらの照明制約は、上述したように、観察される相違を照明変化ではなく素材変化に対応するように制約する。これは、同一照明制約および平滑照明制約それぞれにおいて、隣接しているが同じタイプＢトークンの一部ではないタイプＣトークンが同一照明に制約されることによる。これらのタイプＣトークンは異なる素材を備えるはずである。なぜなら、制約により、それらは同じタイプＢトークンになく、したがって制約によって施行されるタイプＢトークンの定義により、含んでいる素材がただ１つではないからであり、したがって照明が一定であるはずであり、任意の観察される相違は素材変化に起因するものと考えられる。
【0036】
要約すると、本発明の１つの特徴によれば、照明と素材の分離を可能にする画像の特性を提供するために、タイプＣトークンおよびタイプＢトークン空間スペクトル演算子が定義される。各タイプＣトークンは、画像ファイル１８に記録および記憶された類似の画像性質、例えば類似の色を有する連接画像領域を備える。したがって、隣接するタイプＣトークンは、何らかの形態の画像変化を示すか、または同じタイプＣトークンを形成する。タイプＢトークンは単一の素材を含む。同一／平滑照明制約とタイプＢトークン制約という補完的な制約が、素材変化または照明変化を示すトークン間の関係を規定する。
【0037】
隣接するタイプＣトークンが同じタイプＢトークン内にある場合、タイプＢトークン制約と同様に、共通のタイプＢトークンの同一素材特性により、それらの相違は照明変化に対応するはずである。隣接するタイプＣトークンが同じタイプＢトークン内にない場合、同一／平滑照明制約と同様に、単一素材の共通のタイプＢトークンによって両方は定義されないので、それらの間の相違は素材変化に対応するはずである。
【0038】
線形トークン制約は、タイプＣトークンと線形トークンを利用する。この制約関係は、線形トークンによって離隔された２つのタイプＣトークン間の差が、画像に関する特徴的な光源スペクトル比にほぼ等しいというものである。定義したように、線形トークンは、色空間を通って正の勾配に沿った円筒形構成に従う。ＢＩＤＲモデルは、正の勾配が、画像に関する特徴的な光源スペクトル比に等しいことを予測する。したがって、それぞれ線形トークンの暗色側の端部および明色側の端部にある２つのタイプＣトークンの色の相違が、画像に関するそれぞれの特徴的な光源スペクトル比の値を反映すべきである。
【0039】
ＢＩＤＲ施行制約は、タイプＣトークンと、対数色度投影面に関するＢＩＤＲモデル定義垂直ベクトルを利用する。この制約関係は、画像の局所パッチでのすべてのタイプＣトークンに関する照明が対数色空間内の１組の平行線を成し、平行線の向きが、ＢＩＤＲモデル定義垂直ベクトルによって定義されるというものである。したがって、この制約は、画像内に存在する照明領域を、照明に関するＢＩＤＲモデル予測に明確に適合させる。
【0040】
したがって、線形トークン制約とＢＩＤＲ施行制約はそれぞれ、画像の照明状況および素材状況を分離するための基礎としてＢＩＤＲモデル予測を利用する。ＢＩＤＲモデルは、色変化が、画像に示されるシーンの単一の素材にわたって陰影を形成する照明変化（すなわち、照明領域内での入射または直接光源と環境光源の相互作用としての入射光源の強度の減少）によるものであるとき、画像の色変化を予測する。ＢＩＤＲモデルの色変化予測は、照明領域の入射光源成分と環境光源成分の間で生じるスペクトル変化の相互作用に応じて操作することによって、タイプＣトークン間のすべての色バンド変化を、画像内で生じる照明領域効果に正確に制約する。したがって、ＢＩＤＲモデルベースの制約は、すべての色バンド変化を１つの統合制約関係に組み合わせる。
【0041】
同一テクストンヒストグラム制約は、タイプＣトークンと、画像内のテクスチャ領域に関して識別されるテクストンヒストグラム演算子とを利用する。テクストン分析が利用され、その際、例えばＲＧＢ色バンド値などそれぞれの画像ファイル１８の記録された色バンド表現からの画像の各画素（またはテクスチャを備えるものと識別された画像領域の画素）が２つのバンド表現に変換され、これら２つのバンドは、テクストンラベルとテクストンヒストグラムラベルを備える。次いで、以下に述べるように、２つのバンド表現を使用してテクスチャトークンを識別する。同一テクスチャトークン内のすべてのタイプＣトークンが同一平均素材のものであるという制約を課すことができる。
【0042】
対数色度類似性制約は、タイプＣトークンと対数色度表現値を利用する。この制約関係は、類似の対数色度表現値を有する画素を有するタイプＣトークンが同一の色値に制約され、観察される相違が照明領域の変化に起因するというものである。
【0043】
Ｘ−ｊｕｎｃｔｉｏｎ制約は、タイプＣトークンとＸ−ｊｕｎｃｔｉｏｎ演算子を利用する。上述したように、Ｘ−ｊｕｎｃｔｉｏｎは、素材縁部と照明境界が互いに交差する画像の領域である。Ｘ−ｊｕｎｃｔｉｏｎは、典型的には４つのタイプＣトークン、すなわち素材縁部を形成する２対の同一素材タイプＣトークンによって識別され、同一素材の各対が、それぞれの同一素材を、照明されたタイプＣトークンと陰影のかかったタイプＣトークンとの対に分割する照明境界を有する。この制約関係は、１）タイプＢトークン制約が、Ｘ−ｊｕｎｃｔｉｏｎを形成する同一素材のタイプＣトークンの各対（それらの間に照明境界を有する対）の間で課されるというものであり、かつ２）同一照明制約が、Ｘ−ｊｕｎｃｔｉｏｎの素材縁部を形成するタイプＣトークンの各対の間で課されるというものである。Ｘ−ｊｕｎｃｔｉｏｎ、および成分トークンの関係のより詳細な説明は、２００６年８月１０日に米国特許出願公開第２００６／０１７７１４９号として公開された、「Method And System For Identifying Illumination Flux In An Image」というタイトルの２００６年１月２７日出願の米国特許出願第１１／３４１７４２号明細書を参照すべきである。
【0044】
境界表現制約は、標準的な比率の制約によって定義される。境界表現に対して行われる分析は、素材変化を示すときには、照明が領域にわたって変化するときでさえ、境界によって定義される２つの隣接する領域間、例えば隣接するタイプＢトークン間の色の比率の推定量を提供する。この制約は、２つの隣接する領域の色の比率がＸであることを表す。境界表現分析はタイプＢトークンのレベルで実行されて、境界を、素材変化によって引き起こされるものとして分類し、次いで成分タイプＣトークンのレベルに下げて伝えられる。タイプＢトークンレベルでの境界分析のより詳細な説明は、「System and Method For Illumination Invariant Image Segmentation」というタイトルの２００８年３月２８日出願の米国特許出願第１２／０７９８７８号明細書を参照すべきである。
【0045】
本発明の１つの特徴によれば、境界表現分析によって示されるように、境界表現制約は、境界に沿ったタイプＣトークンのすべての隣接する対（境界の各側に１つずつのタイプＣトークンがあり、すべてのタイプＣトークンが、それぞれの境界を形成するタイプＢトークン内にある）が、比率Ｘを満たす色を有することを表す。
【0046】
本発明の１つの好ましい実施形態によれば、上述した制約はそれぞれ、３つの基本的なタイプの制約、すなわち絶対素材色制約、同一素材制約、および相対反射度制約の１つに分類することができる。絶対素材制約は、例えば固定制約で実施されるように、画像の特定の位置での素材が特定の色であるように制約する。同一素材制約は、画像に関連する演算子（例えば２つの画素またはタイプＣトークン）が同一素材であるように制約する。同一素材タイプの制約は、例えばタイプＢ、Ｘ−ｊｕｎｃｔｉｏｎ、対数色度類似性、同一テクストンヒストグラム、および線形トークン制約で実施することができる。相対反射度制約は、画像に関連する演算子（例えば２つの画素またはタイプＣトークン）を、平滑照明および同一照明制約によって定義されるような反射度特性の類似性を有するように制約し、これは、Ｘ−ｊｕｎｃｔｉｏｎおよび境界表現制約によって規定することができる。
【0047】
本発明の１つの特徴による例示的なソルバは、最適化関数、例えば［Ａ］［ｘ］＝［ｂ］によって表される式の結果の最適化を実行するための数学的処理エンジンを備え、ここで［Ａ］は、選択された制約によって示される演算子の定義および演算子に関する制約関係が満たすことができる（したがってそれらによって解かれると考えられる）値の行列であり、［ｘ］は、式が最適解を見出す変数の行列であり、例えば画素やトークンなど画像成分の照明成分または素材成分の一方であり、［ｂ］は、例えば、画像ファイル１８の各画素のＲＧＢ色バンドに関する記録された値を処理するために、選択された画像で観察される値の行列である。最適化式は、例えば最小二乗ソルバや前処理付き共役勾配ソルバなど既知の凸型最適化操作など、１組の既知の最適化ソルバから選択される数学的な最適化関数で実施することができる。
【0048】
本発明のさらなる１つの特徴によれば、制約関係に加えて、実世界照明および素材現象に応じて、限度／境界を含む因子がソルバ操作に導入されて、以下に述べるように物理的に妥当な範囲内で素材／照明値を保ち、これは例えばリミット１，リミット無限（Ｌ１，Ｌ∞）ソルバ、有界最小二乗ソルバ（bounded least squares solver）、または有界Ｌ１，Ｌ∞ソルバである。
【0049】
図４は、本発明の１つの特徴による、例えば図１のコンピュータシステム内で実装される画像分離システムアーキテクチャの機能ブロック図を示す。あるいは、図４の機能ブロック図は、図４のブロックの機能を実施するように構成された専用ハードウェア回路内に実装することができる。（画像ファイル１８に示される）画像３２が、前処理ブロック３３に入力される。前処理ブロック３３は、画像３２の色収差の補正などの機能を行うことができ、複数の画像を組み合わせ、高いダイナミックレンジの画像を提供したり、画像に関する画素データを線形化したりして、処理のために画像を最適化する。次いで、前処理された画像がタイプＣトークン化ブロック３５に入力され、ブロック３５は、以下に説明するように、前処理された画像内のタイプＣトークンを識別するように動作する。タイプＣトークンは、本発明の例示的実施形態で利用される制約の多くに共通であり、したがって、入力画像３２に関するタイプＣトークンの初期識別がさらなる処理を速める。
【0050】
本発明の１つの例示的実施形態では、ＣＰＵ１２は、前処理ブロック３３とタイプＣトークン化ブロック３５の両方、およびサービスプロバイダ２４を実施するためにコードを実行し、サービスプロバイダ２４は、（メモリ１６に構成された）中央エージェントおよびキャッシング構造として機能して、本発明の教示による処理のために画像を取り扱う。サービスプロバイダ２４は、前処理された画像、およびタイプＣトークン化ブロック３５からの関連のタイプＣトークン情報を受信および記憶し、（ＣＰＵ１２によって実行される）演算子ブロック２８に結合され、演算子ブロック２８は、選択された制約によって必要とされる画像に関する任意の他の演算子を生成するように構成されている。また、サービスプロバイダ２４は、広域特徴抽出（global features extraction）入力２９に結合される。広域特徴抽出入力２９を使用して、処理される画像に関連する情報をシステムに提供することができ、この情報は例えば、画像が撮影されたときの光源の標示（太陽光、蛍光、白熱光）、日時、場所、ドメイン知識、例えば画像の性質に関連する情報、例えば屋内、屋外、建物、緑色の芝生、紅葉した木など、および画像処理に関連する任意の他のパラメータである。サービスプロバイダ２４は、関連の入力画像３２と共に広域特徴抽出入力２９を記憶する。
【0051】
制約生成器２６が、サービスプロバイダ２４に結合される。制約生成器２６は、（メモリ１６内に構成される）制約ジェネレータライブラリを使用し、このライブラリは、上述した様々な制約のための制約ジェネレータソフトウェアモジュールを記憶する。サービスプロバイダ２４および制約生成器２６は、制約ジェネレータソフトウェアモジュールの選択された１つに応じて、例えば［Ａ］［ｘ］＝［ｂ］行列式で、前処理された画像に関連する空間スペクトル演算子を構成するように動作する。
【0052】
（ＣＰＵ１２によって実行される）ソルバ３０が制約生成器２６に結合され、前処理された画像から固有画像を生成するのに使用するために、［Ａ］［ｘ］＝［ｂ］行列式に関する最適解を求めるための上述したような最適化操作を実施する。また、ソルバ３０は、何らかの後処理操作のための（ＣＰＵ１２によって実行される）後処理ブロック３６に結合される。後処理操作は、例えば単調性維持を含むことができる。単調性維持では、２つの大きな領域が入力画像３２内で線形遷移を示す場合に、その遷移が、出力される固有画像３４内でも線形遷移を残すべきである。また、後処理は照明伝播を含むこともでき、これは、ソルバ３０、照明マップベースの白バランス、および他のフィルタリング平滑プロセスによって残った穴を埋める働きをする。後処理ブロック３６は、固有画像３４を出力する。
【0053】
次に図５を参照すると、本発明の画像分離システムアーキテクチャ機能の例示的実装形態に関連して使用するためのグラフィカルユーザインターフェース（ＧＵＩ）が示されている。図５のＧＵＩは、ユーザが所望の画像分離操作を選択するために、サービスプロバイダ２４によってコンピュータシステム１０のモニタ２０に表示される。ＧＵＩの左上隅は、「画像を開く」、「画像をトリミングする」、「パラメータを示す」、および「分離する」という選択インジケータを示す。ユーザは、所望のセレクタインジケータ上にカーソルを移動してクリックすることができる。「画像を開く」インジケータは、メモリ１６に現在記憶されているすべての画像ファイル１８を列挙し、ユーザが処理のために画像を選択できるようにする。選択された画像は、（前処理ブロック３３およびタイプＣトークン化ブロック３５を介して）サービスプロバイダ２４への入力３２（図４参照）となり、サービスプロバイダ２４は、選択された画像をモニタ２０（図５）の中央上部に表示するように動作する。
【0054】
選択された画像から例示的分離システムの動作によって導出された素材画像が、ソルバ３０による画像分離処理の実行後の出力３４（図４参照）であり、モニタ２０（図５）の右下に表示される。導出された照明画像は、モニタ２０（図５）の右下に表示される。
【0055】
本発明の１つの特徴によれば、「画像をトリミングする」セレクタは、ユーザが、選択された画像をトリミングして、画像全体の一部分を処理できるようにする。「パラメータを示す」セレクタは、選択された画像ファイル１８に関連するパラメータを表示する。各画像ファイル１８に関するパラメータは、対応する画像ファイル１８に関連付けられたパラメータデータファイルに記憶することができ、関連の画像ファイル１８に示される画像の処理に関連する任意のパラメータ、例えば広域特徴抽出入力２９を含む。パラメータは、画像処理に関連する任意のデータを含むことができ、このデータは例えば、空間スペクトル演算子の生成時などＣＰＵ１２による画像分析のための任意の変数、およびドメイン知識、例えば画像の性質に関連する情報、例えば屋内、屋外、建物、緑色の芝生、紅葉した木などである。
【0056】
選択インジケータの下には、ソルバ３０として使用することができる最適化機能それぞれのリストと、制約生成器２６の制約ジェネレータライブラリに含まれる制約ジェネレータそれぞれのさらなるリストがある。ユーザは、所望の数学的操作、および選択された画像に課すべき制約の１つまたは複数を選択する。処理すべき画像、課すべき制約、および実行すべき数学的操作の選択後、ユーザは、「分離」インジケータをクリックして、画像分離処理を開始することができる。
【0057】
画像分離処理が開始されると、サービスプロバイダ２４は、選択された制約のための制約ジェネレータソフトウェアモジュールを検索して、選択された制約によって利用される空間スペクトル演算子を識別する。分離される画像に関して、サービスプロバイダ２４によってまだ記憶されていない任意の空間スペクトル演算子が演算子ブロック２８によって生成され、サービスプロバイダ２４が結果をキャッシュする。キャッシュされた結果は、同じ関連パラメータセットを用いて、選択された画像に関する任意の後続の操作で再使用することができる。
【0058】
例えば、選択された制約が同一照明制約である場合、サービスプロバイダ２４は、選択された画像に関してタイプＣトークン、タイプＢトークン、およびトークンマップを識別する。タイプＣトークンは、タイプＣトークン化ブロック３５によって生成されている。サービスプロバイダ２４は、演算子ブロック２８を動作させて、同一照明制約によって指定される残りの演算子を生成する。
【0059】
次に図６ａを参照すると、本発明の１つの特徴に従って図２ａの画像ファイル内にタイプＣトークン領域を生成するための流れ図が示されている。図６ａのステップを利用して、タイプＣトークン化ブロック３５によってタイプＣトークンを画像内で容易に識別することができる。次いで、明らかなように、演算子ブロック２８は、選択された制約によって指定されるときに、タイプＣトークンを分析して処理してタイプＢトークンを構成することができる。
【0060】
図６ａのルーチンの実行前に、ＣＰＵ１２は、対象画像ファイル１８に示される画像をフィルタするように動作することができる。フィルタは、画像テクスチャフィルタを含むことができ、例えば、テクスチャ付き素材によって成される様々な反射度のパターンを均質表現に変換する。均質表現は、画像内のテクスチャ付き領域のスペクトル特性および空間的特性を取り込む。タイプＢトークンの識別は、画像テクスチャで困難なことがある。テクスチャ付き画像は、例えば定義付与特性である複数の反射性をもつ素材を含む。例えば、定義付与特性は、テクスチャ内部の色のパターンでよく、テクスチャは、画像のテクスチャ付き領域内の任意の場所から選択された任意のパッチまたは領域内で何らかの色分布を表す。
【0061】
多くの例では、画像の大部分が均質に着色された物体を含むことがあるので、テクスチャフィルタは入力画像の一部でしか必要とされないことがある。したがって、テクスチャフィルタの適用前に、均質な色の領域を識別してマスク除去することが有用である。次いで、テクスチャフィルタは、テクスチャ付き素材であると思われる領域にのみ適用される。テクスチャ付き領域を識別するための例示的アルゴリズムは、以下のようなものである。１）Ｎバンド色値（例えばＲＧＢ）に対してタイプＣトークン化を実行し、トークン結果を領域マップＲに記憶し、領域マップ内の各画素が、それが属するトークンのトークンＩＤを有する（図５ａの図参照）。
２）領域マップＲに対して中央値フィルタを実行する（例えば、各画素Ｐ＿ｉｊが、Ｐ＿ｉｊの周りの７×７ボックスの中央値トークンＩＤによって置き換えられる）。Ｒ中央値の結果を記憶する。
３）各色バンドに関して、各画素の周りのボックス（例えば７×７）内の画素の標準偏差を計算するフィルタを元の画像に対して実行する。Ｓの結果を与える。
４）Ｓの各画素について、各色バンドに関して計算された標準偏差を、推定される雑音モデル値で割る。例示的な雑音モデルは、Ｓｎ＝Ａ＊ｍａｘＶａｌｕｅ＋Ｂ＊ｐｉｘｅｌＶａｌｕｅであり、ここでｍａｘＶａｌｕｅは、取り得る最大の色バンド値であり、ｐｉｘｅｌＶａｌｕｅは、特定のバンドの強度であり、ＡおよびＢは、撮像システムに関して経験的に決定される制約である（例えば、Ａ＝０．００１およびＢ＝０．０６が典型的である）。このステップは、各色バンドに関して、標準偏差を正規化された偏差に変換する。Ｓｎの結果を記憶する。
５）Ｓｎでの各画素について、すべてのＮ個の色バンドに関して正規化された偏差の二乗を足し合わせ、結果の平方根を取り、バンドの数Ｎで割って、偏差値Ｄ＿ｉｊを生成する。得られた偏差値Ｄ＿ｉｊをしきい値（例えば１．０）と比較し、しきい値よりも高い偏差値を有する任意の画素には１を割り当て、そうでない場合には画素に０を割り当てる。テクスチャマスク画像Ｔの結果を記憶する。
６）Ｔでの各画素について、テクスチャマスク値Ｔｉｊ＝１であり、中央値領域マップＲ−ｍｅｄｉａｎ＿ｉｊで与えられるｉｄを有するトークン領域のシードサイズがしきい値未満（例えば＜４）である場合、テクスチャ付き画素として画素にラベル付けする。そうでない場合、均質画素としてラベル付けする。テクスチャマスクＴｍａｓｋの結果を記憶する。
【0062】
上のアルゴリズムの出力はマスクＴｍａｓｋであり、これは、元の画像ファイル１８（ｎ，ｍ）のサイズのアレイである。値１を有するアレイ内の対応するＴｍａｓｋ位置を有する画素（ｐ（ｎ，ｍ））は、テクスチャ素材に対応する画像領域の一部として処理すべきであり、値０を有する対応するＴｍａｓｋアレイ位置を有する画素は、均質な色の素材に対応する画像領域の一部として処理すべきである。
【0063】
ＣＰＵ１２は、テクスチャを取り扱う任意のよく知られている方法を実施するソフトウェアモジュールを実行することができ、例えば、Ｌａｗｓのフィルタバンクやウェーブレット（例えばRanden，T．［Trygve］，Huso□，□．□．［□□□□ □akon］，Filtering for Texture Classification：A Comparative Study，ＰＡＭＩ（２１），Ｎｏ．４，April１９９９，pp２９１−３１０参照）などである。また、「Are Filter Banks Necessary？」Proceedings of the ＩＥＥＥ Conference on Computer Vision and Pattern Recognition，June ２００３，volume ２，pages ６９１−６９８も参照されたい。
【0064】
本発明の１つの例示的実施形態では、画像の各画素に関して（または好ましくは、テクスチャを備えるものとして識別された領域内の画像の画素に関して）強度ヒストグラム図を使用して、タイプＣトークンが生成される。次いで、強度ヒストグラムを使用して発生されたタイプＣトークンが、タイプＢトークンを生成するために使用される。テクスチャフィルタ出力画像での各画素に関する強度ヒストグラム表現は、以下のアルゴリズムを使用して生成することができる。Ａ）Ｔｍａｓｋアレイ（ｎ，ｍ）内のすべてのメモリアドレス／インデックスを通ってループする。
Ｂ）Ｔｍａｓｋアレイの各メモリアドレス／インデックスで、各位置での値が１か０かを決定する。
Ｃ）Ｔｍａｓｋのメモリアドレス／インデックスが、テクスチャを示す値１を有する場合、
ａ．対応する画像ファイル１８内の対応するメモリアドレス／インデックスｐ（ｎ，ｍ）を開き、そのメモリアドレス／インデックスにアクセスする。
ｂ．データを書き込むためのメモリアドレス／インデックスを開く。
ｃ．各色バンドに１つずつ、Ｎ個の８ビンヒストグラムをゼロに初期化する。
ｄ．ｐの近傍（例えば１１×１１画素アレイ）にある各画素ｑに関して、
ｑのＮ色値Ｃｎ（例えば各色値が０〜２５５の間に設定されるＲＧＢ）それぞれに関して、
（ｉ）Ｎ色値が０〜３１である場合、色Ｎの８ビンヒストグラムでの最初のビンを増分する。
（ｉｉ）Ｎ色値が３２〜６４である場合、色Ｎの８ビンヒストグラムでの第２のビンを増分する。
（ｉｉｉ）Ｎ色値が６５〜９７である場合、色Ｎの８ビンヒストグラムでの第３のビンを増分する。
（ｉｖ）Ｎ色値が９８〜１３０である場合、色Ｎの８ビンヒストグラムでの第４のビンを増分する。
（ｖ）Ｎ色値が１３１〜１６３である場合、色Ｎの８ビンヒストグラムでの第５のビンを増分する。
（ｖｉ）Ｎ色値が１６４〜１９６である場合、色Ｎの８ビンヒストグラムでの第６のビンを増分する。
（ｖｉｉ）Ｎ色値が１９７〜２２９である場合、色Ｎの８ビンヒストグラムでの第７のビンを増分する。
（ｖｉｉｉ）Ｎ色値が２３０〜２５５である場合、色Ｎの８ビンヒストグラムでの第８のビンを増分する。
ｅ．８×Ｎ要素ベクトルを備える単一強度ヒストグラムに、Ｎ個の８ビンヒストグラム値を連結する。
ｆ．画像ファイルアレイｐ（ｎ，ｍ）内の対応する画素ｐに８×Ｎ要素ベクトルを割り当てる。
ｇ．現在の、または次のメモリアドレス／インデックスが最後のもの／Ｔｍａｓｋ（ｎ，ｍ）でない場合、Ｔｍａｓｋ（ｎ，ｍ）アレイ内の次のメモリアドレス／インデックスに移動し、ステップＢを実行する。
ｈ．現在のメモリアドレス／インデックスが最後のもの／Ｔｍａｓｋ（ｎ，ｍ）である場合、Ｔｍａｓｋ（ｎ，ｍ）アレイを通るループを打ち切る。
Ｄ）メモリアドレス／インデックスが値０を有する場合、
ｉ．現在のアドレス／インデックスが、Ｔｍａｓｋ（ｎ，ｍ）アレイ内の最後の要素でない場合には、Ｔｍａｓｋ（ｎ，ｍ）アレイ内の次のメモリアドレス／インデックスに移動し、ステップＢを実行する。
ｉｉ．現在のメモリアドレス／インデックス位置が、Ｔｍａｓｋ（ｎ，ｍ）アレイ内の最後の要素である場合には、Ｔｍａｓｋ（ｎ，ｍ）アレイを通るループを打ち切る。
【0065】
画像のテクスチャ付き領域内の各画素に関して、ＲＧＢなど１組の色バンドから、８×Ｎ連結など１組のフィルタ出力を備える強度ヒストグラムベクトルに変換した後、タイプＣトークンの識別に関して、元の色バンド画像として画像が正確に処理され、８×Ｎ要素強度ヒストグラムベクトルがＲＧＢ色バンド値の代わりに使用される。
【0066】
図２ｂは、画像ファイル１８の左上隅での１１×１１画素アレイを示す。図２ｂの１１×１１画素アレイを使用して、上述した例示的アルゴリズムに従って、アレイの中心Ｚで画素ｐ（６，６）に関する強度ヒストグラム表現を生成する。本明細書の例では、１１×１１アレイは、画像ファイル１８に示される画像中の市松模様パターン内にあると仮定する。市松模様パターンは、図示されるように、交互の赤色、緑色、および青色ボックスのパターンを備える。したがって、本明細書の例の画素ｐ（６，６）は、ＣＰＵ１２によって生成される対応するＴｍａｓｋで値１を有する。
【0067】
例示的アルゴリズムに従って、対象画素ｐ（６，６）の赤色値、緑色値、および青色値それぞれに１つずつ、３つの８ビンヒストグラムがＣＰＵ１２によって初期化される（図２ｃ参照）。次いで、１１×１１画素アレイを使用して、３つのヒストグラムのビン内部の値を求める。本明細書の例では、１１×１１アレイの左上区域は、市松模様パターンの赤色ボックスであり、その区域内の各画素（ｐ（１，１）〜ｐ（５，５））は、ＲＧＢ値（１２３，０，０）である。右上区域は緑色であり、すなわち、その区域内の画素（ｐ（１，７）〜ｐ（５，１１））はそれぞれ、ＲＧＢ値（０，１２３，０）である。左下区域は青色ボックスであり、画素ｐ（７，１）〜ｐ（１１，５）がそれぞれ、ＲＧＢ値（０，０，１２３）である。最後に、繰り返しの赤色、緑色、および青色市松模様パターンにおいて、本明細書の例の右下区域は再び赤区域であり、画素ｐ（７，７）〜ｐ（１１，１１）はそれぞれ、ＲＧＢ値（１２３，０，０）である。
【0068】
図２ｂに示されるように、赤色象限（ｐ（１，１）〜ｐ（５，５））、緑色象限（ｐ（１，７）〜ｐ（５，１１））、青色象限（ｐ（７，１）〜ｐ（１１，５））、および赤色象限（ｐ（７，７）〜ｐ（１１，１１））の間の１画素の厚さの交差境界線、すなわちｐ（６，１）〜ｐ（６，ｍ）の間の任意の画素、およびｐ（ｎ，６）〜ｐ（１１，６）の間の任意の画素は、ＲＧＢ値（１２３，１２３，１２３）であることがある。また、中心Ｚでの画素ｐ（６，６）もＲＧＢ値（１２３，１２３，１２３）であることがある。
【0069】
次に、その中心が画素Ｚである１１×１１画素ボックス３０１を使用して、以下に例示的に述べるステップを用いて、画素ＺのＲＧＢ色バンド値のヒストグラム表現による画素Ｚの値を求める。図２ｂに示されるように、ｐ（１，１）は、ＲＧＢ色値（１２３，０，０）であり、これは、赤色があり緑色と青色はないことを示す。ｐ（１，１）の赤色値は１２３であるので、図２ｃに示されるように赤色８ビンヒストグラム内でその数値に関する対応するビンが増分され、すなわち赤色８ビンヒストグラム内の第４のビンが増分される。このプロセスは、画素ボックス３０１内のｐ（ｎ，ｍ）に達するまで繰り返される。この時までに、図２ｃに示されるように３つの８ビンヒストグラムは様々な値で満たされることがある。次いで、これらの値を、単一の８×３要素ベクトルに連結させ、図２ｂの画像ファイル１８に示される１１×１１画素アレイ内の画素Ｚに割り当てることができる。
【0070】
その結果、上述した例示的アルゴリズム、および図２ｂに示される画像１８内に示される１１×１１画素ボックス３０１内の市松模様パターンによれば、３つの８ビンヒストグラムが、以下のように満たされる。
【0071】
赤色８ビンヒストグラムでは、第４のビンが値７１を有する（２５画素の２つの赤色象限内での赤色値９８〜１３０の繰返し量と、ｐ（６，１）〜ｐ（６，ｍ）の間の１１画素での赤色値９８〜１３０の繰返し量と、ｐ（ｎ，６）〜ｐ（１１，６）の間の１０画素での赤色値９８〜１３０のの繰返し量の和から、２５＋２５＋１１＋１０＝７１が得られる）。同様の計算で、第１のビンは値５０を有し、赤色に関して値０を有する画素すべてを示す。赤色８ビンヒストグラムでのすべての他のビンは、値０を有する。したがって、赤色８ビンヒストグラムは、［５０，０，０，７１，０，０，０，０］である。
【0072】
緑色８ビンヒストグラムでは、第４のビンが値４６を有する（２５画素の緑色象限での緑値９８〜１３０の繰返し量と、ｐ（６，１）〜ｐ（６，ｍ）の間の１１画素での緑値９８〜１３０の繰返し量と、ｐ（ｎ，６）〜ｐ（１１，６）の間の１０画素での緑値９８〜１３０の間の和から、２５＋１１＋１０＝４６が得られる）。第１のビンは（緑色の値０に関して）値７５を有する。緑色８ビンヒストグラム内のすべての他のビンは、値０を有する。したがって、緑色８ビンヒストグラムは、［７５，０，０，４６，０，０，０，０］である。
【0073】
青色８ビンヒストグラムでは、第４のビンが値４６を有する（２５画素での青色象限の青値９８〜１３０の繰返し量と、ｐ（６，１）〜ｐ（６，ｍ）の間の１１画素での青値９８〜１３０の繰返し量と、ｐ（ｎ，６）〜ｐ（１１，６）の間の１０画素での青値９８〜１３０の繰返し量の和から、２５＋１１＋１０＝４６が得られる）。ここでも、第１のビンが値７５を有する。青色８ビンヒストグラムでのすべての他のビンは、値０を有する。したがって、青色８ビンヒストグラムは、［７５，０，０，４６，０，０，０，０］である。
【0074】
上述したアルゴリズムの結果、本明細書の例では３つの８ビンヒストグラムがそれぞれ、ただ１つの８×３要素ベクトルに連結される。したがって、このベクトルは、［５０，０，０，７１，０，０，０，０，７５，０，０，４６，０，０，０，０，７５，０，０，４６，０，０，０，０］である。
【0075】
次に、上述したベクトルが、１１×１１アレイの中心Ｚにあるｐ（６，６）に割り当てられ、したがって、元々は（１２３，１２３，１２３）であった画素ｐ（６，６）のＲＧＢ値の代わりとなり、強度ヒストグラムが［５０，０，０，７１，０，０，０，０，７５，０，０，４６，０，０，０，０，７５，０，０，４６，０，０，０，０］と記述される。
【0076】
１次の均一であり均質なタイプＣトークンは、画像の連続する画素間で単一のロバスト色測定値を備える。図６ａの識別ルーチンの開始時、（タイプＣトークン化ブロック３５として実行する）ＣＰＵ１２が、メモリ内の領域マップをセットアップする。ステップ１００で、ＣＰＵ１２は、領域マップをクリアし、領域ＩＤを割り当て、これは始めは１に設定される。画素数に対応するルーチンの反復がｉ＝０で設定され、トークンを決定するためのシードとして使用するためのＮ×Ｎ画素アレイに関する数値が、初期値Ｎ＝Ｎｓｔａｒｔに設定される。Ｎｓｔａｒｔは、任意の整数＞０でよく、例えば１１または１５画素に設定することができる。
【0077】
ステップ１０２で、シードテストが開始される。ＣＰＵ１２は、例えば第１の画素ｉ＝（１，１）、すなわち画像ファイル１８の第１のＮ×Ｎサンプルの左上隅の画素を選択する（図２ａ参照）。次いで、この画素が決定ブロック１０４でテストされて、選択された画素が良好なシードの一部であるか判定される。テストは、選択された画素の色値と、シードとしての、事前選択された数の隣接画素、例えばＮ×Ｎアレイの色値との比較を含むことができる。色値比較は、画素の複数の色バンド値（本明細書の例ではＲＧＢ）に関するものでよく、または上述したように画像がテクスチャ領域に関してフィルタされた場合には、画素のフィルタ出力強度ヒストグラム表現に関するものでよい。比較が、シード内の画素に関してほぼ等しい値（例えば、ＲＧＢ値に関して記録デバイスの雑音レベル内）をもたらさない場合、ＣＰＵ１２は、次のＮ×Ｎシードサンプルに関してｉの値を増分し（例えばｉ＝（１，２））、次いでｉ＝ｉｍａｘであるか判定するためにテストする（決定ブロック１０８）。
【0078】
画素値がｉｍａｘである場合、結果の改良のためにシードサイズを減少させることを決定するためのしきい値として選択される値、すなわちシードサイズＮが、例えばＮ＝１５からＮ＝１２に減少される（ステップ１１０）。本発明の１つの例示的実施形態では、ｉｍａｘは、ｉ＝（ｎ，ｍ）に設定することができる。このようにして、図５ａのルーチンは、減少されたＮ値に関するルーチンを繰り返す前に、最初のＮ値で画像全体を解析する。
【0079】
シードサイズの減少後、ルーチンはステップ１０２に戻り、トークンシードに関してテストを続ける。ステップ１１０で、Ｎｓｔｏｐ値（例えばＮ＝２）もチェックされて、分析が完了したかどうか判定する。Ｎの値がＮｓｔｏｐである場合、ＣＰＵ１２は、画像画素アレイの調査を完了してルーチンから出る。
【0080】
ｉの値がｉｍａｘ未満である場合、ＮはＮｓｔｏｐよりも大きく、ルーチンは、ステップ１０２に戻り、トークンシードに関するテストを続ける。良好なシード（ほぼ等しい画素値を有するＮ×Ｎアレイ）が見出されると（ブロック１０４）、シードからトークンが成長する。ステップ１１２で、ＣＰＵ１２は、シードからの画素を待ち行列に入れる。待ち行列内のすべての画素が、領域マップ内の現行領域ＩＤでマークされている。次いで、ＣＰＵ１２は、待ち行列が空かどうか問い合わせる（決定ブロック１１４）。待ち行列が空でない場合、ルーチンはステップ１１６に進む。
【0081】
ステップ１１６で、ＣＰＵ１２は、最初の画素を待ち行列から取り出し、ステップ１１８に進む。ステップ１１８で、ＣＰＵ１２は、対象画素の周りの「良好な」隣接画素をマークし、これは、現行領域ＩＤを有する、対象画素と色値がほぼ等しい隣接画素である。マークされた良好な隣接画素はすべて領域マップ内に配置され、また待ち行列に入れられる。次いで、ＣＰＵ１２は決定ブロック１１４に戻る。待ち行列が空になるまでステップ１１４、１１６、１１８のルーチンが繰り返される。そのとき、現行領域内のトークンを形成するすべての画素がタイプＣトークンとして識別されて、領域マップ内でマークされる。画素が強度ヒストグラム表現を備える場合、トークンはタイプＣＴとマークすることができる。
【0082】
待ち行列が空であるとき、ＣＰＵ１２はステップ１２０に進む。ステップ１２０で、ＣＰＵ１２は、次のトークンの識別で使用するために領域ＩＤを増分する。次いで、ＣＰＵ１２は、ステップ１０６に戻り、新たな現行トークン領域に関してルーチンを繰り返す。
【0083】
Ｎ＝Ｎｓｔｏｐに達する（図６ａの流れ図のステップ１１０）と、または画像と一致する領域マップが完了すると、ルーチンは、トークン生成タスクを完了する。図６ｂは、トークンの識別において一例として使用される元の画像である。画像は、青色領域および陰影のかかった青色領域、ならびに茶色領域および陰影のかかった茶色領域を示す。図６ｃは、図６ｂの画像に関して、例えば図６ａのルーチンの実行によって識別される領域マップに対応するトークン領域（タイプＣトークン）を示す。トークン領域は、図６ｂの画像のトークン作成を示すためにカラーコード化され、画像の完全な青色および茶色の領域と着色領域の陰影との間の半影領域を含む。
【0084】
タイプＣトークン化ブロック３５による図６ａのルーチンの完了後、サービスプロバイダ２４は、選択された画像に関するタイプＣトークン領域情報を記憶する。識別されたタイプＣトークンからタイプＢトークンを生成するための任意のプロセスを開始する前に、演算子ブロック２８が、各識別されたタイプＣトークンをテストして、各タイプＣトークンが単一の素材を含むことを確認する。各タイプＣトークンが、画像の連続する画素間で単一のロバスト色測定値を有する画像領域を備える一方で、トークンは、素材境界を越えて成長することができる。
【0085】
典型的には、異なる素材が、ネック領域を介して一体につながって１つのタイプＣトークンを成し、ネック領域は、陰影境界に位置されるか、または類似の色調であるが強度の異なる別の素材間をまたぐ異なる照明を有する領域内に位置されることが多い。ネック画素は、隣接する画素の特性を検査することによって識別することができる。画素が、対応するトークン内部にない２つの連続する画素を両側に有し、かつ対応するトークン内部にある２つの連続する画素を両側に有するとき、画素はネック画素と定義される。
【0086】
図７は、タイプＣトークンに関するネックテストに関する流れ図を示す。ステップ１２２で、ＣＰＵ１２は、識別されたトークンの各画素を検査して、検査中の画素の任意のものがネックを形成するかどうか判定する。図６のルーチンは、図６ａのルーチンの実行中に特定のトークンが識別された直後に、サブルーチンとして実行することができる。ネックとして識別されるすべての画素が「成長不可能」とマークされる。決定ブロック１２４で、ＣＰＵ１２は、任意の画素がマークされたかどうか判定する。
【0088】
マークされている場合、ＣＰＵ１２は、ステップ１２８に進み、図６ａのルーチンに従って、シードサイズおよび領域ＩＤに関するカウントを変えずに、現行のトークンのマークされていない画素の中から選択されたシード位置からトークンを再成長させるように動作する。再成長プロセス中、ＣＰＵ１２は、「成長不可能」と事前にマークされた画素は含まない。トークンが再成長された後、事前にマークされた画素がマークを外され、したがって他のトークンがそこに成長することができる。
【0089】
事前にマークされた画素を用いないトークンの再成長後、ＣＰＵ１２は、ステップ１２２に戻り、新たに再成長されたトークンをテストする。
【0090】
ネックテストは、素材境界を横切るタイプＣトークンを識別し、識別されたトークンを再成長させて、タイプＢトークンを作成するために使用するのに適した単一素材タイプＣトークンを提供する。図６ｄは、本発明の１つの特徴に従って、図６ｃのタイプＣトークンから生成されたタイプＢトークンを示す。本発明は、タイプＣトークンからタイプＢトークンを構成するための画素特性分析のいくつかの例示的技法を提供する。１つの例示的技法は、任意境界除去に関わる。任意境界除去技法は、タイプＣトークンが、画素のＮ色バンド値（本明細書の例ではＲＧＢ）を使用して生成されたか、それとも画像がフィルタされた場合に画素のフィルタ出力表現を使用して生成されたかに関わらず、タイプＣトークンに適用することができる。任意の特定のタイプＣトークンの実際の境界は、トークンを生成するために使用されるシード位置によって変わり、したがってある程度は任意である。典型的には、各特定のトークンに関して多くの可能なシード位置が存在し、可能なシード位置はそれぞれ、記録機器の雑音範囲内で、様々なシードの画素の色値の相違によりわずかに異なる境界および空間的広がりを有するトークンを生成する。
【0091】
図８は、本発明の１つの特徴に従って任意境界除去技法によってタイプＢトークンを構成するための流れ図である。ステップ２００で、ＣＰＵ１２は、図７のルーチンによるネック除去によって、図６ａのルーチンによるシードサイズ（Ｓ）で生成されたタイプＣトークンの集合（Ｔｃ）を設けられる。シードサイズＳ＝Ｓｍａｘであり、例えばＳ＝４画素である。ステップ２０２で、各タイプＣトークン、すなわち集合Ｔｃ内のｔｃに関して、ＣＰＵ１２がいくつか（例えば５０個）の可能なシードｓ１〜ｓｎを選択する。本明細書の例では、選択されるシードはそれぞれトークン領域内からの４×４画素アレイであり、アレイの画素は（記録デバイスの雑音レベル内で）ほぼ等しい値である。
【0092】
ステップ２０４で、ＣＰＵ１２は、図６ａおよび図７のルーチンを利用して、集合Ｔｃ内の各トークンｔｃの各シード位置ｓ１〜ｓｎから新規のタイプＣトークンを成長させる。各トークンｔｃに関して新たに成長されたトークンは、トークンｒｃ１〜ｒｃｎとして表される。一般に、各トークンｔｃに関して新たに成長されたトークンｒｃ１〜ｒｃｎは、元のタイプＣトークンｔｃと重なり合い、また互いにも重なり合う。
【0093】
ステップ２０６で、ＣＰＵ１２は、それぞれ各トークンｔｃの新たに生成されたトークンｒｃ１〜ｒｃｎをマージするように動作する。その結果、集合Ｔｃ内のそれぞれの元のトークンｔｃに対応する新たなトークンＲｔが得られる。新たなトークンＲｔはそれぞれ、対応する元のトークンｔｃから生成されたそれぞれの重なり合うトークンｒｃ１〜ｒｃｎの領域すべてを含む。それぞれのマージされた新たなトークンＲｔを備える領域の全体は、それぞれ集合の元のタイプＣトークンよりも広いトークンである。得られたマージされた新たなトークンＲｔは、画像ファイル１８のいくつかの領域を生じ、各領域は、それぞれのトークンＲｔの画素間の変化範囲が元のタイプＣトークンよりもはるかに広いが、成分画素間の変化範囲はそれでもなお比較的滑らかである。Ｒｔは、制限された形態のタイプＢトークン、すなわちタイプＢａｂ１と定義され、本発明の１つの特徴に従って任意境界除去技法の最初の段階（ステップ２００〜２０６）によって生成されるトークンを示す。
【0094】
ステップ２０８で、ＣＰＵ１２は、トークンの集合Ｔｃからステップ２０２〜２０６で生成される各タイプＢａｂ１トークンを記憶し、ステップ２１０に進む。ステップ２０２〜２０６の実行によって生成されるタイプＢａｂ１トークンは、かなり重なり合うことがある。ステップ２１０で、ＣＰＵ１２は、それぞれのサイズの数パーセントだけ互いに重なり合ったステップ２０８で記憶されたＲｔトークンをマージするように動作する。例えば、一般に、３０％の重なりが、異なる素材を含む領域を組み合わせる偽陽性マージを、あったとしてもほとんどなくすのに十分である。マージされたトークンの新たな集合は、重なり合ったトークンを依然として有することがあり、例えば３０％未満の重なりを有した、前から重なり合っているトークンを有することがある。すべてのマージが完了した後、ＣＰＵ１２がステップ２１２に進む。
【0095】
ステップ２１２で、ＣＰＵ１２は、複数のトークン内（すなわち、２つ以上のトークンの重なり合った部分内）にあるすべての画素を識別する。識別された画素はそれぞれ、画像の最大領域を占有するトークンに割り当てられる。したがって、すべての重なり合ったトークンが、すべての重なりをなくすように修正される。
【0096】
ステップ２１４で、ＣＰＵ１２（タイプＣトークン化ブロック３５または演算子ブロック２８として）が、マージおよび修正されたトークン（ここではタイプＢａｂ２トークンと表す）の最終的な集合を記憶し、次いでルーチンから出る。上述したように、タイプＢａｂ２トークンは、タイプＣから生成されたものであり、タイプＣトークンが、画素のＮ色バンド値（本明細書の例ではＲＧＢ）を使用して生成されたか、それとも画像がフィルタされた場合に画素のフィルタ出力表現を使用して生成されたかには関わらない。
【0097】
タイプＣトークンを使用してタイプＢトークンを作成するための本発明による第２の例示的な技法は、隣接平面トークンマージである。隣接平面トークンマージは、画像が、均一な色の区域、すなわちテクスチャなしの画像領域に関する区域を示すときに実施することができる。始めに、トークングラフを使用して、互いに近いトークンを識別する。図９は、本発明の１つの特徴に従って、トークンマップ情報を含むトークングラフを作成するための流れ図を示す。図６ａおよび図７のルーチンの実行によって生成されるタイプＣトークンの集合Ｔｃ内の各トークンｔｃが、集合Ｔｃの隣接する一対のトークンｔｃ、ｔｎを定義するトークン間の最大距離Ｄｍａｘ、隣接する一対のトークンの各トークンにおけるトークン周縁画素の最小数Ｐｍｉｎ、およびＤｍａｘ以内である必要がある隣接する一対のトークンの各トークンの周縁画素の最小比率Ｆｍｉｎに関して評価される。
【0098】
ステップ３００で、ＣＰＵ１２は、タイプＣトークンの集合Ｔｃ内のタイプＣトークンｔｃを選択し、トークンの周縁を形成する選択されたトークンｔｃの画素を識別する。決定ブロック３０２で、ＣＰＵ１２は、周縁画素の数がＰｍｉｎ（例えば１０画素）未満であるかどうか判定する。
【0099】
そうである場合、ＣＰＵ１２は、決定ブロック３０４に進み、タイプＣトークンの集合Ｔｃ内に残りのトークンｔｃがあるかどうか決定する。ある場合、ＣＰＵ１２はステップ３００に戻り、ない場合、ＣＰＵ１２はルーチン３０６から出る。
【0100】
ない場合、ＣＰＵ１２は、ステップ３０８に進む。ステップ３０８で、ＣＰＵ１２は、マスクとして使用される境界ボックスを生成して、選択されたトークンｔｃを取り囲む。境界ボックスは、すべての方向で、選択されたトークンｔｃよりも大きく、少なくともＤｍａｘとなるように寸法設定される。既知の距離変換（例えば、Ｐ．Felzenszwalb and Ｄ．Huttenlocher，Distance Transforms of Sampled Functions，Cornell Computing and Information Science Technical Report ＴＲ２００４−１９６３，September ２００４に示されるようなもの）が実行されて、選択されたトークンｔｃの各周縁画素から、取り囲む境界ボックス内のすべての画素までの距離を見出す。距離変換の出力は、それぞれ境界ボックスとサイズが同じ２つのマップ、すなわち距離マップと最近接画素マップを備える。距離マップは、境界ボックスの各画素から、選択されたトークンｔｃの最も近い周縁画素までのユークリッド距離を含む。最近接画素マップは、距離マップ内の各画素に関して、どの周縁画素がその画素に最も近いかを識別する。
【0101】
ステップ３１０で、ＣＰＵ１２は、ステップ３０８で生成された距離マップを走査して、（図６ａのルーチンによって生成される領域マップから）境界ボックスの画素に対応するトークンを識別し、境界ボックス内の画素によって表されるすべてのトークンの中から、距離Ｄｍａｘ以内の画素の数Ｎｃｎを有するトークンを識別し、ここでＮｃｎは、Ｐｍｉｎよりも大きく、かつそれぞれのトークンのＦｍｉｎ＊周縁画素よりも大きく、それぞれのトークンとｔｃの間の平均距離は、境界ボックス内の画素に対応するトークンの中で最小である。これらの条件が満たされる場合、それぞれのトークンが、可能なトークン対ｔｃ、ｔｎのｔｎと表され、リンクＬｃｎがアクティブとマークされる。
【0102】
ステップ３１２で、ＣＰＵ１２は、相互リンクＬｃｎもアクティブとマークされているかどうか判定するためにチェックし、アクティブとマークされているときには、トークン対ｔｃ、ｔｎが隣接トークン対であるという標示をマークしてトークングラフに記憶する。相互リンクは、現行評価においてｔｎと表されるトークンの評価でのリンクステータスを表す。そのトークンをまだ評価しなければならない場合、この対は、トークンｔｎの後続の評価においてリンクＬｃｎがアクティブと検証されるまで隣接トークン対とは表されない。次いで、ＣＰＵ１２は、集合Ｔｃ内にさらなるトークンがあるかどうか判定するために、決定ブロック３０４に戻る。
【0103】
トークングラフの完成後、ＣＰＵ１２は、図１０のルーチンの実行時にグラフに記憶されたトークン対情報を利用する。図１０は、本発明の１つの特徴に従って、隣接平面トークンマージ技法によってタイプＢトークンを構成するための流れ図を示す。隣接平面マージ技法では、トークンの対は、その対のトークンどうしに２次元尺度で滑らかであり一貫性のある色値の変化があるかどうか判定するために検査される。色変化は、例えば本発明の例示的実施形態によれば画素のＲＧＢ成分など、色の各チャンネルの平面表現に関して検査される。滑らかな変化は、１組の平面（１つの色成分につき１つの平面）が、２つの隣接するトークンの画素値に対して合致する状態と定義される。要約すると、隣接するトークンは、２次元での色変化がほぼ平面的であるときに、同一素材でありタイプＢトークンであると考えられる。
【0104】
ステップ３２０で、ＣＰＵ１２は、トークングラフからトークン対ｔｃ、ｔｎを選択する。決定ブロック３２２で、ＣＰＵ１２は、トークンｔｃでの平均色がトークンｔｃでの平均色と大きく異なるかどうか判定する。この相違は、既知の統計的測定法であるｚスコア（例えば、Abdi，Ｈ．（２００７），Z-scores，in Ｎ．Ｊ．Salkind（Ｅｄ．），Encyclopedia of Measurement and Statistics，Thousand Oaks，ＣＡ：Ｓａｇｅ参照）に応じたものでよく、例えばｚスコアが３．０よりも大きい。
【0105】
トークン対の平均色が異なる場合、ＣＰＵ１２は、決定ブロック３２４に進んで、トークングラフ内にさらなるトークン対があるかどうか判定する。ある場合、ＣＰＵ１２はステップ３２０に戻る。ない場合、ＣＰＵ１２はルーチンから出る（ステップ３２６）。
【0106】
平均色がｚスコアパラメータ内にある場合、ＣＰＵ１２はステップ３２８に進む。ステップ３２８で、ＣＰＵ１２は、例えば最小二乗平均回帰などの数学的操作を行い（例えば、Peter Ｊ．Rousseeuw，Least Median of Squares Regression，Journal of the American Statistical Association，Vol．７９，No．３８８（Ｄｅｃ，１９８４），pp．８７１−８８０参照）、行ｎと列ｍ（図２参照）に相関してトークン対ｔｃ、ｔｎの画素の各色チャンネル（本明細書の例ではＲＧＢ）に平面を適合させ、この平面は、以下の式によって定義される。Ｒ＝ＸＲｎ＋ＹＲｍ＋ＺＲ Ｇ＝ＸＧｎ＋ＹＧｍ＋ＺＧ Ｂ＝ＸＢｎ＋ＹＢｍ＋ＺＢ
ここで、パラメータ値Ｘ、Ｙ、およびＣは、ＣＰＵ１２の最小二乗平均回帰操作によって決定される。
【0107】
平面当てはめ操作の完了後、ＣＰＵ１２はステップ３３０に進む。ステップ３３０で、ＣＰＵ１２は、トークン対ｔｃ、ｔｎの各トークンの各画素を検査して、トークンの各画素と、最小二乗平均回帰操作の式によって表現される平面当てはめとの間でｚスコアを計算する。少なくとも、対の各トークンの画素のしきい値パーセンテージ（例えば８０％）が最大ｚスコア（例えば０．７５）以内であるとき、その隣接トークン対は、画像内で同一素材を示すものとしてトークングラフ内でマークされる。ステップ３３０の完了後、ＣＰＵ１２は、決定ブロック３２４に戻る。
【0108】
図１０のルーチンを出た後、ＣＰＵ１２は、同一素材を示すすべてのトークン対に関してトークングラフを検査する。ＣＰＵ１２は、例えばユニオンファインド（union find）アルゴリズムなど既知の技法の実施によって検査を実現することができる（例えば、Zvi Galil and Giuseppe Ｆ．Italiano．Data Structures and algorithms for disjoint set union problems，ＡＣＭ Computing Surveys，Volume ２３，Issue ３（September １９９１），pages ３１９−３４４）参照）。単純な例として、１組の７個のタイプＣトークンＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７を仮定する。図９の実行（隣接平面分析の実施）の結果が、トークンＴ１とＴ２が同一素材としてマークされ、トークンＴ１とＴ３も同一素材としてマークされることを示すと仮定する。加えて、結果がさらに、トークンＴ４とＴ５が同一素材としてマークされ、トークンＴ５とＴ６も同一素材としてマークされることを示す。したがって、ユニオンファインドアルゴリズムの実行の結果は、トークン｛Ｔ１，Ｔ２，Ｔ３｝が、単一素材からなる画像内の第１のグループを形成し、トークン｛Ｔ４，Ｔ５，Ｔ６｝が、単一素材からなる画像内の第２のグループを形成し、トークン｛Ｔ７｝が、単一素材からなる画像内の第３のグループを形成することを示す。グループ｛Ｔ１，Ｔ２，Ｔ３｝、｛Ｔ４，Ｔ５，Ｔ６｝、および｛Ｔ７｝が、３つのタイプＢトークンを形成する。
【0109】
タイプＣトークンを使用してタイプＢトークンを作成するための本発明による第３の例示的技法は、局所トークン分析である。局所トークン手法は、画像ファイル１８で示されるシーンの窓分析を使用してタイプＣトークンを生成する。そのようなトークンは、タイプＣｗトークンと表される。図１１は、本発明の１つの特徴に従って局所トークン分析技法によってタイプＣｗトークンを生成するための流れ図である。
【0110】
ステップ４００で、ＣＰＵ１２は、画像にわたる事前選択された一連の走査位置の上に、固定サイズの窓、例えば３３×３３画素アレイマスクを配置する。窓は、正方形以外の形状でもよい。走査位置は、固定量、例えば１／２窓サイズだけ互いからずらされ、全体として画像を完全に覆うように配置される。各走査位置での画素の窓領域は、タイプＣｗトークンを生成するが、それぞれの走査位置での窓内のあらゆる画素が、それぞれの走査位置で生成されるタイプＣｗトークン内にあるわけではない。
【0111】
各走査位置（ステップ４０２）で、ＣＰＵ１２は、窓内の画素に応じて、１組の平面それぞれに適合するように動作し、各平面が、窓内の色の開始点Ｉ０と終点Ｉ１によって特徴付けられて、各色チャンネル（例えばＲＧＢ）の強度およびＲＧＢ空間内のＲＧＢ線に対応する。平面当てはめは、窓内の画素強度の空間的表現を与え、線当てはめは、窓内の画素のスペクトル表現を提供する。
【0112】
平面当てはめに関して、平面は、式Ｒ＝ＸＲｎ＋ＹＲｍ＋ＺＲ Ｇ＝ＸＧｎ＋ＹＧｍ＋ＺＧ Ｂ＝ＸＢｎ＋ＹＢｍ＋ＺＢ
によって定義され、ここで、パラメータ値Ｘ、Ｙ、およびＣは、数学的操作を実行することによってＣＰＵ１２によって決定され、例えば上述した最小二乗平均回帰、特異値分解などの最小二乗推量、またはＲＡＮＳＡＣ（例えば、M．A．Fischler，R．C．Bolles．Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography．Comm．of the ＡＣＭ，Vol ２４，pp ３８１−３９５，１９８１参照）などのロバスト推定量である。
【0113】
ＲＧＢ線当てはめに関して、線は、Ｉ（ｒ，ｇ，ｂ）＝Ｉ０（ｒ，ｇ，ｂ）＋ｔ（Ｉ１（ｒ，ｇ，ｂ）−Ｉ０（ｒ，ｇ，ｂ））
によって定義され、ここで、パラメータｔは、０と１の間の値を有し、平面当てはめを見出すために使用される数学的技法の任意のものを利用してＣＰＵ１２によって決定することができる。
【0114】
各走査位置で、ステップ４０２の完了後、ステップ４０４で、ＣＰＵ１２は、それぞれの窓走査位置に対応する平面当てはめ表現およびＲＧＢ線表現それぞれに関して窓内の各画素を検査するように動作する。各画素に関して、ＣＰＵ１２は、確立された平面とＲＧＢ線それぞれに対する画素に関する誤差係数を決定する。誤差係数は、画素から、平面当てはめまたはＲＧＢ線当てはめへの画素の投影までの絶対距離に関係付けられる。誤差係数は、記録機器で生じる雑音の関数でよく、または窓内の最大ＲＧＢ値のパーセンテージ、例えば１％でよい。空間的平面当てはめまたはスペクトル線当てはめに対する誤差係数以内の任意の画素距離が、それぞれの走査位置で生成されるタイプＣｗトークンに関してインライアとラベル付けされる。また、ＣＰＵ１２は、それぞれの走査位置で生成されるタイプＣｗトークンに関して、すべてのインライア画素のリストを記録する。
【0115】
各走査位置で、ステップ４０４の完了後、ステップ４０６で、ＣＰＵ１２は、窓内の各インライア画素にメンバーシップ値を割り当てるように動作する。メンバーシップ値は、平面当てはめまたはＲＧＢ線当てはめからのインライア画素の距離に基づくことがある。本発明の１つの例示的実施形態では、メンバーシップ値は、画素に関するインライアステータスを決定するために使用される距離の逆数である。第２の例示的実施形態では、インライア画素に関するメンバーシップ値を計算するために、標準偏差を有するゼロを中心としたガウス分布が実行される。
【0116】
走査位置ごとに１つずつタイプＣｗトークンを生成するためにすべての走査位置が処理された後、ＣＰＵ１２は、トークンデータリストを編纂して記憶するように動作する（ステップ４０８）。トークンデータリストは、２つのリストを含む。第１のリストは、画像ファイル１８内のすべての画素と、各画素に関して、それがインライア画素としてラベル付けされた各タイプＣｗトークンの標示と、対応するメンバーシップ値とを列挙する。第２のリストは、すべての生成されたタイプＣｗトークンと、各トークンに関して、それぞれのトークンのインライア画素の標示と、対応するメンバーシップ値とを列挙する。トークンデータリストを編纂して記憶した後、ＣＰＵ１２は、ルーチンから出る（ステップ４１０）。
【0117】
図１２は、本発明の１つの特徴に従って局所トークン分析技法によって生成されるタイプＣｗトークンからタイプＢトークンを構成するための流れ図である。ステップ４２０で、ＣＰＵ１２は、図１０８のルーチンの実行によって生成された隣接するタイプＣｗトークンまたは重なり合うタイプＣｗトークンの空間的平面寸法およびスペクトルＲＧＢ線のパラメータの類似性を計算する。重なり合うタイプＣｗトークンおよび隣接するタイプＣｗトークンは、重なり合う走査位置または連続する走査位置に対応するトークンとして定義することができる。類似性しきい値は、比較される２つの重なり合うタイプＣｗトークンまたは隣接するタイプＣｗトークンの空間的平面寸法およびスペクトルＲＧＢ線それぞれの間の差のパーセンテージとして設定することができる。パーセンテージは、例えば画像ファイル１８のシーンを記録するために使用されるカメラ１４の雑音の関数でよい。類似性しきい値以内の計算された類似性を有するすべての重なり合うタイプＣｗトークン対または隣接するタイプＣｗトークン対がリストに挙げられる。
【0118】
ステップ４２２で、ＣＰＵ１２は、類似性しきい値以内の計算された類似性を有する重なり合うタイプＣｗトークン対または隣接するタイプＣｗトークン対のリストを、最も類似性の高い対から最も類似性の低い対への順で並べ替える。ステップ４２４で、ＣＰＵ１２は、並べ替えの順序で、類似のトークン対をマージし、類似性の度合いに従って対にラベル付けする。マージされたトークン対はそれぞれタイプＢトークンと考えられる。ステップ４２６で、ＣＰＵ１２は、タイプＢトークンのリストを記憶して、ルーチンから出る。
【0119】
本発明のさらなる例示的実施形態では、（演算子ブロック２８として実行する）ＣＰＵ１２が、任意境界除去、隣接平面トークンマージ、および局所トークン分析技法のそれぞれによって、および／またはそれらの１つまたは複数の組合せによって個別に生成されるタイプＢトークンのリストを編纂する。使用される技法の組合せの決定は、一部では、画像のテクスチャ化により画像の特定の領域がフィルタされたかどうかに依存する。説明した技法によって生成される各タイプＢトークンは、異なる照明条件下で単一素材を表すので、異なる様々な技法の使用によって生成される十分に重なり合ったタイプＢトークンのマージにより、単一素材を備える画像のより広い領域を表してタイプＡトークンの広がりに接近するマージされたタイプＢトークンが得られる。
【0120】
十分な重なりは、例えば以下のいくつかの画素特性基準を満たすことによって定義することができる。Ａ）２つのタイプＢトークンが、少なくともｎ個の元のタイプＣトークンを共通で有し、例えばｎ＝１である。
Ｂ）２つのタイプＢトークンが、少なくともｎ個の画素を共通で有し、例えばｎ＝２０である。
Ｃ）２つのタイプＢトークンが少なくともｎ％の重なりを有し、すなわち、２つのタイプＢトークンのうち第１のトークンでの画素の少なくともｎ％が、２つのタイプＢトークンのうち第２のトークンの中にも見い出され、逆も成り立ち、ここで例えばｎ％＝１０％である。
Ｄ）２つのタイプＢトークンのうち大きい方の中にも見出される、２つのタイプＢトークンのうち小さい方での画素のパーセンテージが、事前選択されたしきい値、例えば１５％を超える。
Ｅ）基準Ａ〜Ｄの事前選択された組合せ。
【0121】
２つの十分に重なり合ったタイプＢトークンのマージは、上述したユニオンファインドアルゴリズムの実行など数学的操作によって達成することができる。上述した基準を満たさない２つの重なり合ったタイプＢトークンの場合、２つのトークンの重なり合った画素を、２つのタイプＢトークンのうち大きい方に割り当てることができる。
【0122】
本発明の特徴によるトークン生成およびマージ技法の（ＣＰＵ１２による）タイプＣトークン化ブロック３５および／または演算子ブロック２８による実行の結果、画像は、シーンに示される個々の素材を表すトークン（タイプＢトークン）と、ロバスト類似色の領域を表すトークン（タイプＣトークン）に正確に分離することができ、それにより、トークン表現がかなりの数の成分画素の空間スペクトル情報を取り込むので、計算効率のための基礎となる。サービスプロバイダ２４は、例えば隣接平面トークンマージ技法の実行によって決定される関連のトークンマップ情報と共に、上述したトークン生成技法の実行によって生成されるすべてのタイプＣおよびタイプＢトークンを記憶し、記憶された演算子結果を関連の選択された画像ファイル１８と相互参照して、選択された画像の任意の分離処理で使用する。
【0123】
同一照明制約の本明細書での例では、サービスプロバイダ２４は、選択された制約によって必要とされる演算子としてタイプＣトークンとタイプＢトークンを識別する。タイプＣトークン化ブロック３５がタイプＣトークンを生成した。サービスプロバイダ２４は、演算子ブロック２８を操作して上述した技法を実行し、画像３２に関する関連のタイプＢトークン、およびトークンマップを生成する。制約生成器２６は、ソルバ３０への入力のために、例示的な行列式［Ａ］［ｘ］＝［ｂ］に従って、生成されるトークン演算子を編成する。同一照明制約では、関連する制約ジェネレータソフトウェアモジュールの制約関係は、トークンマップ情報によって示される隣接するタイプＣトークンが同じタイプＢトークンの一部でない限り同一照明によって照明されるというものである。
【0124】
サービスプロバイダ２４によって記憶された各タイプＣトークンは、領域ＩＤによって識別され、行および列の数だけ各成分画素のリストを含む。タイプＣトークンの各画素は、画像を記録するために使用される機器の雑音レベル内で、同じタイプＣトークンのすべての他の成分画素と（例えばＲＧＢ値に関して）ほぼ同じ色値を有する。各特定のタイプＣトークンの成分画素に関する色値の平均を使用して、それぞれのタイプＣトークンに関する色値を表すことができる。各タイプＢトークンは、成分タイプＣトークンによって識別され、したがって、それぞれの成分タイプＣトークンによってその成分画素すべてを識別できるように処理することができる。
【0125】
本発明の１つの特徴によれば、２つの成分、すなわち素材成分と照明成分を備えるという画像の基本概念を、画像形成に関するモデルが反映する。この関係は、Ｉ＝ＭＬとして表現することができ、Ｉは、それぞれの画像ファイル１８に記録および記憶された画像の色であり、Ｍは、記録された画像の色の素材成分であり、Ｌは、記録された画像の色の照明成分である。したがって、各タイプＣトークンに関するＩ値は、トークンの成分画素の記録された色値に関する平均色値である。
【0126】
したがって、ｌｏｇ（Ｉ）＝ｌｏｇ（ＭＬ）＝ｌｏｇ（Ｍ）＋ｌｏｇ（Ｌ）である。これは、ｉ＝ｍ＋ｌと書き換えることができ、ここで、ｉはｌｏｇ（Ｉ）を表し、ｍはｌｏｇ（Ｍ）を表し、ｌはｌｏｇ（Ｌ）を表す。同一照明制約の制約関係において、３つのタイプＣトークンａ、ｂ、およびｃ（図１３参照）が隣接している（かつ（すべての成分画素に関する行および列の数の比較から分かるように）同じタイプＢトークン内にない）例では、ｌａ＝ｌｂ＝ｌｃである。なぜなら、ｌａ＝ｉａ−ｍａ、ｌｂ＝ｉｂ−ｍｂ、およびｌｃ＝ｉｃ−ｍｃであり、これらの数学的関係は、（１）ｍａ＋（−１）ｍｂ＋（０）ｍｃ＝（ｉａ−ｉｂ）、（１）ｍａ＋（０）ｍｂ＋（−１）ｍｃ＝（ｉａ−ｉｃ）、および（０）ｍａ＋（１）ｍｂ＋（−１）ｍｃ＝（ｉｂ−ｉｃ）と表現することができるからである。
【0127】
図１３は、同一照明制約によって制約された、上述した３つの隣接するタイプＣトークンａ、ｂ、およびｃの例の数学的関係に関する［Ａ］［ｘ］＝［ｂ］行列式の表現を示す。隣接するタイプＣトークンａ、ｂ、およびｃは同一照明である。図１５の行列式では、［ｂ］行列でのｌｏｇ（Ｉ）に関する様々な値は、分離のために選択された画像からタイプＣトークン化ブロック３５によって生成された隣接するタイプＣトークンａ、ｂ、およびｃの成分画素に関する記録された平均画素色値から分かっている。０、１、および−１の［Ａ］行列は、上述したように、選択される同一照明制約を表現する方程式群によって定義される。［Ａ］行列内で上から下への行の数は、トークンに課される実際の制約の数、この場合は３に対応し、３つの隣接するタイプＣトークン間で同一照明である。［Ａ］行列内で左から右への列の数は、解くべき未知数の数に対応し、この場合、やはり３である。したがって、［ｘ］行列内での各タイプＣトークンａ、ｂ、およびｃの素材成分に関する値は、行列式で解くことができる。実際には、各値が、本明細書の例のＲＧＢ色バンドに対応する３つの値のベクトルであることに留意すべきである。
【0128】
したがって、制約生成器２６によって構成される図１３の行列式は、制約生成器２６によってソルバ３０に入力され、選択された画像の隣接するタイプＣトークンａ、ｂ、およびｃの素材成分の値に関する最適解を与える。上述したように、本発明の例示的ＧＵＩ実施形態では、ユーザは、制約式［Ａ］［ｘ］＝［ｂ］の系に対する最適解を見出すためのいくつかの数学的技法の１つを選択する。ＣＰＵ１２は、ユーザによって選択された数学的操作に従ってソルバ３０を構成する。
【0129】
例えば、標準的な最小二乗ソルバでは、行列式は、＼ｕｎｄｅｒｓｅｔ｛ｘ｝｛ｍｉｎ｝（Ａｘ−ｂ）２と書き換えられる。次いで、ソルバ３０が、最小二乗操作を実行して、ｍａ、ｍｂ、およびｍｃそれぞれに関する最適値を求める。次いで、ソルバ３０は、最適なｍａ、ｍｂ、およびｍｃ値に基づいて素材画像を生成および表示する。素材画像では、それぞれのトークンの各画素に関して、ｍａ、ｍｂ、およびｍｃ値が、元の記録されたＲＧＢ値の代わりとなる。また、ソルバ３０は、ｉ＝ｍ＋ｌによって表現されるモデルを利用して、既知の記録された画像値ｉａ、ｉｂ、ｉｃ、ならびに決定されたｍａ、ｍｂ、およびｍｃ値から照明画像を生成することもできる。
【0130】
素材画像および照明画像はそれぞれ、例えばＧＵＩ（図５参照）を介してモニタ２０に表示され、サービスプロバイダ２４によって記憶して、元の画像ファイル１８と相互参照することができる。本発明の１つの特徴によれば、説明したように、上述した空間スペクトル演算子／制約／ソルバプロセスの実施によって生成される素材画像と照明画像の一方または両方に修正および／または改変が施される。
【0131】
本発明のさらなる１つの特徴によれば、ソルバ３０は、実世界での照明および素材現象の限度を取り込んだ境界を含む因子を導入するように構成することができ、解［ｘ］として最適化手順によって決定される素材／照明値を、物理的に妥当な範囲内に保つ。これは、例えば反復技法において、各反復で、［ｘ］内の限度外の値に対する追加の不等号制約を導入するように実施することができ、規定の限度内の値での解を得るように実行される。したがって、（［ｘ］の入力によって表現される）個々の素材推定量に対する下限値および上限値を含むように、上述した最小二乗技法を拡張することができる。さらに、［ｘ］の入力は、素材推定量が素材特性の先験的（a priori）知識と合致するように調整することができる。
【0132】
本発明の例示的実施形態では、選択される制約［Ａ］および［ｂ］を指定するために最小二乗ソルバで使用される行列は、以下の問題によって表現される以下の限度を受ける。線形最小二乗公式：ｍｉｎｘ’：Σｉ（ＡｉＴｘ’−ｔｉ）２
ただし、
ｘ’≧αｍｌ
ｘ’≦ωｍｌ
ｘ’≧ｉｍｇｊ
を前提とする。ここで、ｌは、すべて１のベクトルを表し、αｍは、取り得る最も暗い素材値（例えば素材は石炭よりも暗くすることができない）であり、ωｍは、取り得る最も明るい素材値である。ｉｍｇｊ値は、特定のトークンｊでの対数強度値であり、分離された素材の色は元の画像に現れていた色よりも暗くはなり得ないという実世界の観察に基づく制約を与える。なぜなら、照明は、観察される素材の見掛けの色を明るくするだけであるからである。
【0133】
線形最小二乗公式では、ｘ’に関する一意の最小解は、ＡＴＡｘ’＝ＡＴｔによって表現される線形系で、目標素材差ｔと推定差ＡｉＴｘ’との平均二乗差を最小にする素材マップである。例えば、「第ｉの」制約Ａｉが、２つのトークンａとｂが同一素材であることを示す場合、ＡＴＡｘ’は、ｘ’でトークンａとｂの値の差を取り、目標値ｔｉ＝０からの歪を計算する。
【0134】
上述した「前提」限度によって表される不等号は、取り得る最大および最小の素材色値の実世界制約を満たす素材解ｘ’の実現可能な集合を形成する。これは、標準的な既知の最小二乗解とは以下の点で異なる。すなわち、ｘ’は、「前提」限度によるさらなる制約がない場合には、実世界での反射度の観察に反するがmin ｘ’公式に関してより最適な解を実現する値を、所与の画像位置（例えば特定の画素またはトークン）で取ることができる。
【0135】
ソルバ３０によって実行される最適化プロセスでは、プロセスの特定の反復において任意のトークンが「前提」不等号に反する素材色値を有するときはいつでも、追加の一時制約が加えられ、これは、違反している素材値を、境界条件を満たす値に固定する。したがって、元の行列［Ａ］および［ｂ］は、（「前提」限度の表現として）新たな境界制約Ａｂｏｕｎｄｓおよびｂｂｏｕｎｄｓを指定する新たな行列によって拡張されて、行列式［Ａ；Ａｂｏｕｎｄｓ］［ｘ］＝［ｂ，ｂｂｏｕｎｄｓ］という新たな拡張された系を定義する。拡張された方程式系は、例えば既知の最小二乗処置を使用して、元の系と同様に解くことができる。
【0136】
本発明の上述した限度付きの特徴によれば、色値が実世界現象に反するときにはいつでも、追加の一時的な制約が追加される。必要に応じて、拡張された方程式を再び解くことを繰り返すことができ、各場合に元の系ＡＴＡｘ’＝ＡＴｔから始めて（すなわち反復間で一時境界制約を引き継ぐ必要はない）、「前提」限度が満たされるまで、拡張された系Ａ’ＴＡ’ｘ’＝Ａ’Ｔｔ’を繰り返し解く。
【0137】
本発明のさらに別の特徴によれば、Ｌ１，Ｌ∞目的関数が、少数の素材変化に関する嗜好性を符号化することによって最適解を正則化する。実際上、Ｌ１，Ｌ∞ソルバは、素材マップが性能指数で少数の素材を含むべきであるという先験的な考え方を含んでいる。システムのソルバにおいて、目的関数と、あらゆる可能な解に性能指数を割り当てる公式と、解、すなわち所与の目的関数に従った最適値を見出すために使用されるアルゴリズムとの間で区別がある。本明細書の例示的実施形態での問題は、最小化ｍｉｎｘ’：Σｉ（ＡｉＴｘ’−ｔｉ）２と表されるので、目的関数が割り当てる値は「コスト」として特徴付けることができる。
【0138】
本明細書の問題では、ｘ’を、いくつかの行のトークンといくつかの列の色バンドの行列とし、ここでｘ’ｃは、第ｃの色バンドと関連付けられた第ｃの列を示す。公式での最小二乗目的関数は、以下のように拡張される。【数1】
【数2】
【0139】
例えば、トークンａとｂの間の同一素材制約を仮定すると、Ｌ１，Ｌ∞関数は、色チャンネルｃにわたるｘｃａとｘｃｂの最大差を有する色チャンネルに関する項のみを含む。本発明の例示的実施形態では、例えば目的関数【数3】
【0140】
図１４は、サービスプロバイダ２４および制約生成器２６に関する一般化された機能ブロック図である。上述した制約の例を一般的な方式で要約するために、画像３２の選択、および１組の制約ジェネレータ１、２、・・・、Ｎからのいくつかの制約ジェネレータ（制約ジェネレータソフトウェアモジュール）の選択が、例えばＧＵＩを介してユーザによって行われる。１組の制約ジェネレータ１〜Ｎは、上述した制約を含み、かつ、画像に関する空間スペクトル情報に応じて生成される任意の追加の制約関係を含む。上述した１組の制約は一例として与える。本発明は、空間スペクトル演算子に基づく任意の制約関係を企図し、この制約関係は、画像の素材状況および照明状況に関する論理的推論を可能にし、したがって行列［Ａ］および［ｂ］を構成するための基礎を成し、最適解が所与の画像固有の照明成分と素材成分を取り込むような１組の式を定義する。
【0141】
同様に、タイプＣトークン化ブロック３５または演算子ブロック２８によって生成される１組の演算子１〜Ｍは、制約ジェネレータモジュール１〜Ｎで定義されるすべての演算子を含む。図１４に示されるように、サービスプロバイダ２４は、選択された制約ジェネレータ１〜Ｎによって必要とされるすべての演算子１〜Ｍを提供し、さらに、選択された制約ジェネレータ１〜Ｎを論理的スイッチ４０を介して制約アセンブリ３９に結合させる（どちらも制約生成器２６内に構成される）。選択された画像３２に関する演算子１〜Ｍの任意のものがサービスプロバイダ２４によってまだ記憶されていない場合、サービスプロバイダ２４は、演算子ブロック２８を利用して、要求に応じてそのような演算子を上述した様式で計算する。制約アセンブリ３９は、選択された制約ジェネレータのそれぞれ１つに関して、演算子と、それぞれの制約ジェネレータ１〜Ｎで定義される制約関係とに応じて、個別の［Ａ］［ｘ］＝［ｂ］を構成する。各場合に、［Ａ］［ｘ］＝［ｂ］行列は、同一照明の例に関して上述したのと同様に構成される。
【0142】
選択される制約ジェネレータｉ＝｛１，２，・・・，Ｎ｝それぞれに関する式［Ａ］ｉ［ｘ］＝［ｂ］ｉの系の構成の完了後、制約アセンブリ３９が、各制約ジェネレータからの制約行列［Ａ］ｉ、［ｂ］ｉを連結する。連結された式それぞれが異なる未知数サブセット［ｘ］を含むことができるので、［ｘ］内の特定の未知数を制約する個々の行列［Ａ］ｉの対応する列が整列されるように組み立てられる。次いで、連結された行列［Ａ］［ｘ］＝［ｂ］がソルバ３０に入力され、選択された最適化処置に従って、完全な［ｘ］ベクトルでの未知数の解を導き出して、固有画像３４を出力する。連結された行列［Ａ］［ｘ］＝［ｂ］内の個々の制約は、それぞれの制約、強度、または経験的に決定される信頼性レベルの認識される重要性などの因子に応じて、互いに対して重み付けすることができる。
【0143】
同一照明制約の上述した例は、タイプＣトークンおよびタイプＢトークン空間スペクトル演算子を利用する。これらのトークン演算子は、単一素材の大きな表面積を含む画像の優れた表現を提供し、そのような画像は、例えば人工物体を含む画像で多く見られる。しかし、多くの自然のシーンでは、砂、草、石、葉など明瞭なテクスチャの付いた領域が大きな面積で存在することが多い。上述したように、タイプＣトークンを使用したタイプＢトークンの識別は、画像テクスチャ内では難しいことがある。本発明のさらなる特徴によれば、テクストンヒストグラム演算子は、例えば［Ａ］［ｘ］＝［ｂ］行列式によって表現される制約ベース最適化で有用なように、テクスチャ付き領域の統計的に均一な空間変化を取り込むためのメカニズムを提供する。
【0144】
したがって、本発明のこの特徴によれば、画像のテクスチャ付き領域内でタイプＣトークンを生成するのではなく、上述したように、タイプＢトークンを識別するのに使用するために、強度ヒストグラムから、制約で使用するためにテクスチャトークンが一種のタイプＢトークンとして生成される。テクストンヒストグラム演算子の例示的実施形態では、演算子ブロック２８は、画像の各画素（またはテクスチャを備えるものと識別された画像領域の画素）を、例えばＲＧＢ色バンド値など、それぞれの画像ファイル１８の記録された色バンド表現からの２つのバンド表現に変換し、これら２つのバンドは、テクストンラベルとテクストンヒストグラムラベルを備える。次いで、明らかなように、画素に関する２つのバンド表現が、テクスチャトークンを識別するために使用される。
【0145】
各画素に関するテクストンラベルは、クラスタ化プロセスの実行によって生成される。テクスチャは、テクスチャ基本要素（例えば草のテクスチャ内では草の葉）、および基本要素の空間的分布によって特徴付けることができる。テクストン分析は、例えばクラスタ化アルゴリズムによってテクスチャ基本要素を特徴付けるための分析的方法である。クラスタ化は、データ中の自然なグループまたはクラスタの中心を位置特定するためのプロセスである。本発明の例示的実施形態では、データは、素材成分と照明成分に分離される画像の画素の中から選択される画素パッチを備える。例えば３×３画素パッチは、Ｋ個の異なるグループにクラスタ化され、各グループが、表示番号（１、２、３、…、Ｋ）を割り当てられる。３×３アレイの各画素に関するテクストンラベルは、クラスタ化プロセス中にそれぞれのパッチが割り当てられたグループのグループ番号である。
【0146】
クラスタ化アルゴリズムの実行を速めるために、３×３パッチのランダムなサンプルを画像全体にわたって、またはテクスチャを備えるものと識別された画像領域全体にわたって選択してクラスタ化アルゴリズムを処理することができる。（演算子ブロック２８として動作する）ＣＰＵ１２によるクラスタ化アルゴリズムの実行後、画像の３×３パッチがそれぞれ、選択されたランダムなサンプルに関して実行されるクラスタ化プロセスで識別されたＫ個のグループ中心のうち最も近い中心のテクストンラベルを割り当てられる。
【0147】
有利には、クラスタ化アルゴリズムの実行前に、画像の画素が画像強度正規化を受ける。強度ベースの距離行列を利用するクラスタ化プロセスでは、画像の暗色領域を単一のグループに入れることができ、これにより、画像のテクスチャ付き領域の陰影領域に関するグループの過少表現（under representation）が得られる。画像の正規化は、異なる照明の下でテクスチャ領域に関してより正確なテクストン表現を提供する。画素に関する正規化された強度は、ｉｎｏｒｍ（ｎ，ｍ）＝ｌｏｇ（ｉ（ｎ，ｍ）／ｉｂ（ｎ，ｍ））
によって与えることができ、ここで、ｉｎｏｒｍ（ｎ，ｍ）は、画素ｐ（ｎ，ｍ）に関する正規化された強度であり、ｉ（ｎ，ｍ）は、画像ファイル１８に記録された画素ｐ（ｎ，ｍ）に関する強度であり、ｉｂ（ｎ，ｍ）は、画素ｐ（ｎ，ｍ）のぼかしたバージョンまたはローパスフィルタされたバージョンである。例えば、１０画素のぼかし半径を、任意の標準的なぼかし機能に使用することができる。
【0148】
クラスタ化は、Ｋ平均クラスタ化など任意の既知のクラスタ化アルゴリズムに従って実行することができ、Ｋ平均クラスタ化では、Ｋ個のクラスタまたはグループＳｉ（ｉ＝１、２、・・・、Ｋ）が存在し、μｉが、すべてのデータ点ｘｊ∈Ｓｉの平均点または中心点である。本明細書の例では、各ｘｊは、選択された３×３画素パッチを備え、これは、パッチ内の９個の画素の９×１ベクトルとして構成される（ベクトルの９個の画素それぞれのＲＧＢ値を含む合計２７要素）。上述したように、各平均点μｉは、テクストンラベル１、２、３、・・・、Ｋを割り当てられ、これらのテクストンラベルは、それぞれの平均点が中心となるグループにクラスタ化された３×３パッチの任意の画素に関するテクストンラベルになる。
【0149】
本発明の例示的実施形態によれば、ＣＰＵ１２は、始めに、画像の３×３画素パッチを表す選択された９×１ベクトルをＫ個の初期グループＳｉに区分化することによってアルゴリズムを実行する。次いで、ＣＰＵ１２は、強度ベースの距離行列を利用して各グループＳｉに関して中心点μｉを計算する。各グループＳｉに関して中心点μｉを決定した後、ＣＰＵ１２は、各９×１ベクトルを最も近い中心点μｉに関連付け、必要であればグループを変える。次いで、ＣＰＵ１２は中心点μｉを計算し直す。ＣＰＵ１２は、各９×１ベクトルを最も近い中心点μｉに関連付けるステップと、中心点μｉを計算し直すステップとの繰返しを、収束するまで実行する。収束とは、９×１ベクトルの任意のものに関してグループを変える必要がなくなった時である。その点で、ＣＰＵ１２は、それぞれの中心点μｉに関するグループ番号を、そのグループ内の各ベクトルの画素に関するテクストンラベルとして割り当てる。
【0150】
上述したように、クラスタ化のためのサンプルとして選択されない３×３パッチの画素は、選択されたランダムサンプルに関して実行されたクラスタ化プロセスで識別されたＫ個のグループ中心μｉのうち最も近い中心のテクストンラベルを割り当てられる。テクストンラベルマップは、サービスプロバイダ２４によって記憶され、図２の画素アレイと同一の広がりをもつ。テクストンラベルマップには、各画素位置に関してそれぞれのテクストンラベルの標示がある。
【0151】
画像の画素に関するテクストンラベル割当ての完了後、ＣＰＵ１２は、各画素に関してテクストンヒストグラムを生成するように動作して、画像のテクスチャ付き領域内でのテクストン表現の空間的変化の表現を提供する。そのために、ＣＰＵ１２は、テクストンラベルマップにアクセスする。テクストンラベルマップ内の各画素位置で、例えば２１×２１画素の画素パッチが現行位置の周りに設定される。２１×２１パッチサイズは、テクスチャの空間的変化を取り込めるように、テクストン表現を生成するために使用される３×３パッチサイズよりもはるかに大きい。次いで、上述した強度ヒストグラムと同様に、テクストンヒストグラムが、２１×２１パッチの中心での画素位置に関して生成される。しかし、テクストンヒストグラムでは、色バンド値に基づくビンではなく、各テクストンラベル値１、２、３、・・・、Ｋごとにビンがある。各ビンに関するカウントは、それぞれのビンに関するテクストンラベル値を有する２１×２１パッチ内の画素の数に対応する。
【0152】
テクストンヒストグラムがテクストンラベルマップの各画素に関して生成されるとき、ＣＰＵ１２は、第２のクラスタ化ステップを実行する。第２のクラスタ化ステップでは、テクストンヒストグラムは、スペクトルクラスタ化を使用してクラスタ化される。スペクトルクラスタ化技法は、対象のデータの類似性行列（本明細書の例ではテクストンヒストグラム）のスペクトルを使用して、より低次元でクラスタ化するように次元を減少させる。所与の１組のデータ点Ａに関する類似性行列は、行列Ｓと定義することができ、ここでＳｉｊは、点ｉ，ｊ∈Ａ間の類似性の尺度を表す。本明細書の例では、ラプラシアンの固有ベクトルが、平均値シフトを使用してクラスタ化される。距離計量は、ヒストグラムのカイ自乗距離である。
【0153】
テクストンヒストグラムラベル（１、２、・・・）が、クラスタ化処置によって定義される各クラスタグループに割り当てられる。テクストンラベルマップの各画素に関して、それぞれの画素に関するテクストンヒストグラムに最も近いテクストンヒストグラムに対応するクラスタグループに関するテクストンヒストグラムラベルが、その画素に割り当てられる。距離は、カイ自乗ヒストグラム距離として定義される。各画素へのテクストンヒストグラムラベルの割当ての完了後、次に、各画素が、２つのバンド、すなわちテクストンラベル表現とテクストンヒストグラムラベル表現によって表される。
【0154】
本発明の１つの特徴によれば、画像ファイル１８の画素に関する２つのバンド、すなわちテクストンラベル表現とテクストンヒストグラムラベル表現は、連結行列［Ａ］［ｘ］＝［ｂ］内の［Ａ］ｉ［ｘ］＝［ｂ］ｉ成分の構成に関する制約に利用することができる。例えば、領域内の連続する画素がすべて同じ２つのバンド、すなわちテクストンラベル表現とテクストンヒストグラムラベル表現を有する画像領域は、画像に示されるテクスチャの同一平均素材の領域を備えると仮定することができる。そのような領域は、テクスチャトークンと呼ぶことができ、一種のタイプＢトークンである。したがって、同じテクスチャトークン内のすべてのタイプＣトークンが同一平均素材であるという制約を課すことができる。この制約では、タイプＣトークンは、タイプＣトークン化ブロック３５によって成分画素の色バンド値から生成されたタイプＣトークンである。
【0155】
本発明の上記の例示的実施形態は、ＧＵＩを介してユーザが制約ジェネレータおよび数学的操作を選択することと共に説明してきたが、例えば自動的に他の動作モードで画像分離処理を行うことができ、例えば画像パラメータの関数として画像、制約ジェネレータ、および数学的操作が自動的に選択される。
【0156】
図３をもう一度参照すると、素材画像と照明画像を含む固有画像の生成（ステップ１００２）後、ＣＰＵ１２はステップ１００４に進む。ステップ１００４で、ＣＰＵ１２は、改良されたより高い品質の出力画像のために、素材画像と照明画像の一方または両方を修正および／または改変するために任意の数の事前選択された操作を実施する。
【0157】
例えば、ＣＰＵ１２は、強度調節、例えばガンマ補正など業界標準のダイナミックレンジ圧縮で照明画像を修正することができ、より正確に色補正されたバージョンの出力画像を提供する。上述したように、ガンマ補正は陰影を明るくするが、色補正された陰影のない相当物と色があまり類似せず、したがって画像の見た目を歪曲する。画像の照明状況に関してのみ強度を調節することによって、画像への歪曲が最小にされる。全体の結果を改良するための照明画像の他の修正は、照明画像内の画素のＲＧＢ値を調節することによる色修正を含むことができる。また、画像内の陰影のパターンまたは特徴を変えるために照明画像に対して陰影改変が行われ、この陰影改変は、例えば陰影除去や、鮮明な陰影を滑らかにして陰影をぼかすことなどである。
【0158】
同様に、ＣＰＵ１２は、素材画像も修正することができる。本発明の１つの特徴によれば、カットアンドペースト操作や素材色変更などいくつかの編集作業が素材画像に対して行われる。例えば、文字記号に強い陰影が落ちるような時間に撮影された、文字記号を含むシーンの画像に関する編集の際、ユーザは、素材画像内の記号を囲んで選択し、その記号を別の素材画像にカットアンドペーストすることができ、新たな素材画像に対応する照明画像とマージされるときに、その記号が挿入されており新たな画像の照明特性を有するシーンの表示を作成することができる。
【0159】
他の修正および／または改変も、素材画像と照明画像の両方に関してＣＰＵ１２によって行うことができる。例えば、素材画像と照明画像それぞれに対する個別の改変によって、現行の画像ファイル１８に示されるシーンの幾何形状の変換を物理的に妥当な様式で実施することができる。幾何学的変換が、元の画像に対してではなく固有画像に対して個別の操作で完了されるとき、結果が改良される。なぜなら、そのような個別の変換操作は、画像幾何形状の表面変化の際に、同じ表面上での素材変化とは異なる様式での表面への入射照明の変化に対してより正確に対応するからである。したがって、画像の素材領域と照明領域それぞれにおける修正および改変を個別に指定することによって、より現実的な正確な結果を実現することができる。さらに、素材画像と照明画像に同時に修正を行うことができ、または事前選択された順序で修正を行うこともでき、一例として、例えば照明画像の変更が、素材画像にも変更を及ぼすような性質のものであるときには、照明画像を最初に修正する。
【0160】
本発明の１つの例示的実施形態では、ユーザが、画像ファイル１８で示されるシーン内で既知の幾何形状を有する領域を選択し、さらに、シーンに望ましい改変タイプ用の幾何学的変換機能を選択する。照明画像に対して、ユーザは、照明源に関する方向を選択することができる。次いで、ＣＰＵ１２は、照明源方向によって定義される平面上に照明を投影するように動作する。より正確な陰影表示のために、ユーザは、例えば落ちている陰影内の色を環境光源として利用することによって、直接照明と環境光源の区別を選択することができる。そのために、ユーザは、選択されたシーン領域の陰影の点、および領域の照明されている点をクリックして、直接光源および環境光源の色を指定することができる。
【0161】
その後、上述したように、ＣＰＵ１２は、生成された対応する固有画像にアクセスする。ＣＰＵ１２は、最初に幾何学変換機能に従って照明画像の表面幾何形状を改変し、次いで、修正された表面幾何形状に対して、光源方向に従って照明を投影することによって照明画像を修正するように動作する。また、新たな表面幾何形状によって引き起こされる照明画像の変化を反映するために、陰影項および自己被陰項を組み込むこともできる。陰影項は、例えば、新たな表面の表面垂線と照明源方向とが成す角度の余弦でよい。自己被陰項は、例えば、所与の表面点に直接照明が達するのを新たな表面幾何形状が妨げる領域内では、環境照明色に設定することができる。それとは別に、ＣＰＵ１２は、ユーザによって選択された幾何学変換機能に従って素材画像を歪曲、変形、またはその他の形で改変するように動作して、画像の素材状況の表面幾何形状を変える。
【0162】
上述したように、ステップ１００６で、ＣＰＵ１２は、ステップ１００４で修正または改変された固有画像を、公式Ｉ＝ＭＬによって表される関係に従ってマージする。その結果、修正された出力画像が得られる（ステップ１００８）。出力画像の品質は、元の画像から生成される個別の固有画像に関する独立した個別の修正操作により改良される。
【0163】
以上の明細書において、本発明を、その特定の例示的実施形態および例を参照して説明した。しかし、添付の特許請求の範囲に記載する本発明のより広範な精神および範囲から逸脱することなく様々な修正および変化を行うことができることは明らかであろう。したがって、明細書および図面は、限定的な意味ではなく例示的なものとみなすべきである。
【符号の説明】
【0164】
１０ コンピュータシステム１２ ＣＰＵ
１４ カメラ
１６ メモリ
１８ 画像ファイル
２０ モニタ
２２ プリンタ
２４ サービスプロバイダ
２６ 制約生成器
２８ 演算子ブロック
２９ 広域特徴抽出
３０ ソルバ
３２ 入力画像
３３ 前処理ブロック
３４ 出力固有画像
３５ タイプＣトークン化ブロック
３６ 後処理ブロック
３９ 制約アセンブリ
４０ 論理的スイッチ