特許 5775608 複数の画像を用いる材料識別

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5775608

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月9日

(54)【発明の名称】複数の画像を用いる材料識別

(51)【国際特許分類】

   G01N 23/02 20060101AFI20150820BHJP

   G01N 23/223 20060101ALI20150820BHJP

   G01N 23/225 20060101ALI20150820BHJP

   G01N 23/227 20060101ALI20150820BHJP

   G01N 21/3563 20140101ALI20150820BHJP

   G01N 21/65 20060101ALI20150820BHJP

   A61B 5/055 20060101ALI20150820BHJP

【ＦＩ】

   G01N23/02

   G01N23/223

   G01N23/225 312

   G01N23/225 322

   G01N23/227 310

   G01N23/227 320

   G01N21/3563

   G01N21/65

   A61B5/05 380

【請求項の数】21

【全頁数】24

(21)【出願番号】特願2013-553992(P2013-553992)

(86)(22)【出願日】2011年6月6日

(65)【公表番号】特表2014-506996(P2014-506996A)

(43)【公表日】2014年3月20日

(86)【国際出願番号】GB2011051060

(87)【国際公開番号】WO2012110754

(87)【国際公開日】20120823

【審査請求日】2013年10月15日

(31)【優先権主張番号】1102614.3

(32)【優先日】2011年2月15日

(33)【優先権主張国】GB

(73)【特許権者】

【識別番号】507329985

【氏名又は名称】オックスフォード インストルメンツ ナノテクノロジー ツールス リミテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100082005

【弁理士】

【氏名又は名称】熊倉 禎男

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100103609

【弁理士】

【氏名又は名称】井野 砂里

(74)【代理人】

【識別番号】100095898

【弁理士】

【氏名又は名称】松下 満

(74)【代理人】

【識別番号】100098475

【弁理士】

【氏名又は名称】倉澤 伊知郎

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(72)【発明者】

【氏名】ステイサム ピーター ジョン

【審査官】 藤田 都志行

(56)【参考文献】

【文献】 特開平０６−２３１７１７（ＪＰ，Ａ）

【文献】 特開平１０−２４６６９８（ＪＰ，Ａ）

【文献】 特開昭６１−０６２８５０（ＪＰ，Ａ）

【文献】 特開昭５８−１９０７１６（ＪＰ，Ａ）

【文献】 特開２００１−２６６７８３（ＪＰ，Ａ）

【文献】 米国特許第０５３５７１１０（ＵＳ，Ａ）

【文献】 濱田 忠平，「SEM.EPMAによる紙パルプ関連試料の観察, 分析技術の推移 (第3報) EPMAによるカラーマッピング(1)」，紙パ技協誌，紙パルプ技術協会，２０００年 ２月 １日，Vol. 5, No. 2，p. 229-242

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２３／０２

Ｇ０１Ｎ ２３／２２３

Ｇ０１Ｎ ２３／２２５

Ｇ０１Ｎ ２３／２２７

Ｇ０１Ｎ ２１／３５６３

Ｇ０１Ｎ ２１／６５

Ａ６１Ｂ ５／０５５

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＣｉＮｉｉ

(57)【特許請求の範囲】

【請求項1】

コンピュータによって実施される、材料分析のための画像処理の方法であって、
ａ）各データセットが画像ピクセルの強度値を表す、Ｎ個の画像データセットを取得するステップであって、前記データセットによって表される前記画像ピクセルは、共通の空間的に重ね合わされた位置にあり、Ｎは３より大きい整数である、取得するステップと、 ｂ）比較基準を画像データセットの各対に割り当てるように前記Ｎ個の画像データセットを処理するステップであって、画像データセットの所与の対についての前記比較基準は、前記対の、一方の画像データセット内の空間的強度情報と他方の画像データセット内の空間的強度情報との間を比較したときの差異を表す、処理するステップと、
ｃ）前記比較基準に基づいてある数の前記画像データセットを選択するステップと、
ｄ）色セットの色の対の間の差異を表す色差基準を定めるステップと、
ｅ）前記選択された画像データセットの各々に色を割り当てるステップであって、それぞれの対の中のデータセットの間で異なる空間的強度情報を有する前記選択された画像データセットの対に、異なる色差基準を有するそれぞれの色が割り当てられるように、色を割り当てるステップと、
ｆ）カラー画像の形成のための出力カラー画像データセットを形成するためにある数の前記選択された画像データセットを組み合わせるステップであって、前記カラー画像の各ピクセルが、前記ある数の選択された画像データセットの相対的強度及び色に応じた色を呈するようにさせ、その結果、１つのデータセットの前記ピクセル強度が他の全ての選択されたデータセットのピクセル強度の和に対して支配的である場合に、前記画像のそれぞれの部分における出力色が、ステップ（ｅ）においてその画像データセットに割り当てられた色に類似するようにする、組み合わせるステップと、
を自動的に実行することを含むことを特徴とする方法。

【請求項2】

前記割り当てられる色の数は、所定の整数より小さいことを特徴とする、請求項１に記載の方法。

【請求項3】

前記色差基準は、角度色相の関数であることを特徴とする、請求項１〜請求項２のいずれかに記載の方法。

【請求項4】

前記画像データセットの空間的情報コンテンツの和が角度色相の範囲に関して計算されて、角密度が色相角の関数として求められ、ここで、各画像データセットは、現在の最大強度に対して正規化され、各画像データセット内の強度は、前記角密度により重み付けされた後で加え合わされて、合成出力カラー画像データセットが形成されることを特徴とする、請求項３に記載の方法。

【請求項5】

前記画像データセットを処理するステップは、各々の画像データ対に対する数値比較基準の行列を計算するステップを含むことを特徴とする、請求項１〜請求項４のいずれかに記載の方法。

【請求項6】

前記比較基準は、対の中の２つの画像のピクセル強度の外積の和であることを特徴とする、請求項５に記載の方法。

【請求項7】

複数の前記画像データセットが共線であるかどうか評価し、そうである場合には、共線性の基準を減らすために１つのデータセットを除去するステップをさらに含むことを特徴とする、請求項５〜請求項６のいずれかに記載の方法。

【請求項8】

画像データセットの各対に関する割り当てられた色の間の前記色差基準の大きさは、前記対の前記比較基準の大きさの関数であることを特徴とする、請求項５に記載の方法。

【請求項9】

複数の画像データセットが、十分に類似の空間的強度情報を有すると評価された場合、さらなる処理のために、それらデータセットのいずれか１つが選択されるか、又は、前記複数の画像データセットから合成画像データセットが形成されることを特徴とする、請求項１〜請求項８のいずれかに記載の方法。

【請求項10】

各画像データセット内のノイズの影響を評価するステップをさらに含むことを特徴とする、請求項１〜請求項９のいずれかに記載の方法。

【請求項11】

強度の変化がノイズ閾値を超えないあらゆる画像データセットを前記方法から初めに除去するステップをさらに含むことを特徴とする、請求項９に記載の方法。

【請求項12】

前記出力カラー画像データセットは、赤色値、緑色値及び青色値を含み、前記値は、各画像データセット内の対応する成分の赤色値、緑色値及び青色値の和であることを特徴とする、請求項１〜請求項１１のいずれかに記載の方法。

【請求項13】

前記出力カラー画像データセットの前記ピクセル強度値は、減法混色モデルによって設定されることを特徴とする、請求項１〜請求項１１のいずれかに記載の方法。

【請求項14】

前記出力カラー画像データセットは、各画像データセットからの個々のピクセルデータを含み、異なる画像データセットからのピクセルが、前記画像データセットの各々の中のピクセル位置に対応する位置を囲む空間的近傍に配置されることを特徴とする、請求項１〜請求項１３のいずれかに記載の方法。

【請求項15】

各々の画像データセットは、対応する画像の視野内の材料の特定の元素又は性質の分布を表すことを特徴とする、請求項１〜請求項１４のいずれかに記載の方法。

【請求項16】

ハイパースペクトルデータセットを取得するステップ、及び、ステップ（ａ）において取得されるＮ個の画像データセットを生成するように前記ハイパースペクトルデータセットを処理するステップをさらに含むことを特徴とする、請求項１〜請求項１５のいずれかに記載の方法。

【請求項17】

１つ又はそれ以上の前記出力カラー画像データセット、選択された数の前記画像データセット又は各々の前記画像データセットを表示するステップをさらに含むことを特徴とする、請求項１〜請求項１６のいずれかに記載の方法。

【請求項18】

表示されるデータセットをグレースケールのトポグラフィデータと合成して、トポグラフィ情報を含む表示用カラー画像を生成するステップをさらに含むことを特徴とする、請求項１７に記載の方法。

【請求項19】

前記出力カラー画像データセットに画像のセグメント化を適用して、一定の材料組成を有する領域を識別するステップをさらに含むことを特徴とする、請求項１〜請求項１８のいずれかに記載の方法。

【請求項20】

前記画像データセットは、波長分散型分光、エネルギー分散型分光、Ｘ線蛍光分析、電子エネルギー損失分光、粒子誘起Ｘ線放射（ＰＩＸＥ）、オージェ電子分光（ＡＥＳ）、ガンマ線分光、二次イオン質量分析（ＳＩＭＳ）、Ｘ線光電子分光（ＸＰＳ）、ラマン分光、磁気共鳴イメージング（ＭＲＩ）、赤外反射率測定、赤外分光から成る群から選択される方法を行う分析装置から生じる画像データセットであることを特徴とする、請求項１〜請求項１９のいずれかに記載の方法。

【請求項21】

コンピュータ上で実行されるとき、請求項１〜請求項２０のいずれかに記載の方法を実行するように構成されたプログラムコードを含むことを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の画像を用いる材料識別の方法、例えば、ユーザが画像データを理解するのに役立つ複数カラー画像の生成における方法に関する。本発明は、複数の信号源からデータを取得し、異なる材料組成の領域を示す単一の視像を表示する、教師なし方法を含む。

【背景技術】

【0002】

走査型電子顕微鏡（ＳＥＭ）及び１つ又はそれ以上のＸ線検出器を用いてデジタルＸ線画像を取得するための確立された技術が存在する。この技術は、試料表面上の格子点にわたって順次電子ビームを向けることを伴う。各格子点において、いわゆる「波長分散型分光計（ＷＤＳ）」を用いて特定のＸ線エネルギーにおける測定が行われ、又はエネルギー分散型分光計（ＥＤＳ）を用いてＸ線エネルギースペクトルが取得され、このスペクトルから関心のある選択された化学元素に関するデータが抽出される。最も簡単な場合、これらのデータは、関心のある各元素の特性エネルギーを囲むエネルギーバンド（又は窓）内に記録されたカウント数の、例えば、Ｎ個の積分からなる。全エネルギースペクトルが利用可能な場合、より高度な技術を用いて、バックグラウンドより上の各特性ピークの面積が抽出され、ピークの重なりに対して補正され、それにより関心のある元素の特性線強度が得られる。各データ値は、関心のある元素のその格子点における「ピクセル」強度として用いられるので、視野を覆う全ての格子点にわたる走査の後、関心のあるＮ個の化学元素に対応するＮ個のデジタル画像のセットが得られる。

【0003】

これらの画像は、通常「Ｘ線マップ」と呼ばれる。これらは通常、各元素に対して別個の色又は色相を用い、コンピュータモニタを用いて表示される。例えば、「ケイ素」マップは青色で表示することができ、「鉄」マップは赤色、「カリウム」マップは緑色、及び「カルシウム」マップは黄色で表示することができる。例えば、非特許文献１を参照されたい。

【0004】

画像はまた、試料の領域内のどこに特定の要素が共存するかを示すように処理することによって合成されている。即ち、ひとたび原Ｘ線マップデータが取得されると、画像は検査され、次いで適切な組合せで再び組み合わされ、試料中の相の分布が示される（各相は特定の存在度で見出される元素から成り、他の相とは相異なる色を呈示する）。例えば、非特許文献１を参照されたい。この文献では、Ｓｉ（青）、Ｋ（黄）及びＦｅ（赤）マップが組み合わされ、その結果、２つの元素が共存し、かつ閾値を超える場所では混合色が示され（例えば、青色＋黄色＝緑色、など）、３つの元素が全て存在する場所では白色が表示される。

【0005】

このようにして提示される情報は、正しい色を選択して適切な仕方でＮ個のデジタル画像を処理することができる熟練オペレータによって取得される必要がある。

【0006】

励起のためにＳＥＭを用い、検出のためにＷＤＳ又はＥＤＳを使用する上記の技術に加えて、材料コンテンツのある種の側面を表す画像はまた、様々な他のセンサ及び励起源、例えば、Ｘ線蛍光（ＸＲＦ）、電子エネルギー損失分光（ＥＥＬＳ）、粒子励起Ｘ線放射（ＰＩＸＥ）、オージェ電子分光（ＡＥＳ）、ガンマ線分光、二次イオン質量分光（ＳＩＭＳ）、Ｘ線光電子分光（ＸＰＳ）、ラマン分光、磁気共鳴イメージング（ＭＲＩ）、ＩＲ反射率測定及びＩＲ分光によって生成されるものとすることもできる。

【0007】

Ｎ個の画像の集合は、画像の「マルチスペクトル」セットと呼ばれることがあり、視野内の異なる材料の位置を強調する単一の合成画像を生成するという要求条件が存在することが多い。場合によっては、１つより多くのモダリティが使用可能であり、その結果、対象上の特定のピクセル位置に対して、１つより多くのセンサタイプからの信号を得ることができるので、一般に「マルチスペクトル」セットは、異なるモダリティからの画像を含むことができる。

【0008】

現況では、画像の「マルチスペクトル」セットは、各ピクセルの全スペクトルを定めるデータの一連の連続チャネルが各ピクセルにおいて取得される「ハイパースペクトル」データセットと同じものではない。しかし、「マルチスペクトル」データと「ハイパースペクトル」データは、「ハイパースペクトル」データセット内の各スペクトルを処理して、画像の「マルチスペクトル」セットの強度として用いることができる１つ又はそれ以上の値を生成することができるので、明らかに関連する。例えば、単一ピクセルに対する例えば１０２４チャンネルのデジタルデータから成る全Ｘ線エネルギースペクトルを処理して、Ｓｉ Ｋ、Ｆｅ Ｋ、Ｋ Ｋ及びＣａ Ｋの特性Ｘ線の線に対応する４つの強度を取得することができ、その結果、全ハイパースペクトルの「スペクトル画像」が、Ｓｉ、Ｆｅ、Ｋ及びＣａの元素マップからなるマルチスペクトルセットに変換される。マルチスペクトルセット内の各画像は、通常、例えば、特定の元素の濃度、材料の平均原子番号、又は陰極ルミネセンス放射の特定の波長などの、特定の性質の空間分布を識別するものであり、その結果、マルチスペクトルセット内の各画像は、既に観測者に何らかの情報を伝えている。

【0009】

３原色、即ち、赤、緑及び青（Ｒ、Ｇ、Ｂ）に対応する画像を混合することによってカラー画像を得ることができることは良く知られている（例えば、非特許文献２を参照されたい）。特定のピクセルにおける強度値が、１つの画像においてＸｒ、第２の画像においてＸｇ、第３の画像においてＸｂである場合、タプル（Ｘｒ、Ｘｇ、Ｘｂ）を用いて、単一のフルカラー画像内の対応するピクセルの色を定めることができる。第１の画像が１つの化学元素の濃度を表し、他の画像が他の元素の濃度を表す場合、合成フルカラー画像の横に並んで第１の画像が赤色で示されると、第１の画像が支配的なピクセル強度を有する領域において、合成画像は外見上やはり赤色となる。従って、混合色の領域があっても、原画像と合成フルカラー画像との間には、ある程度の直感的対応が存在する。

【0010】

一般に、Ｎが３以下の場合、単一のフルカラー画像は、原色成分Ｒ、Ｇ又はＢの１つを各原画像に割り当てることによって簡単に構成することができる。

【0011】

Ｎ＞３の場合、典型的なＲＧＢカラーディスプレイには独立チャネルは３つだけしか存在しないので、上記の基本的な方法で全ての画像を組み合せることは不可能である。しかし、材料コンテンツを示す単一色画像を生成するための１つの方策は、Ｒ、Ｇ及びＢにコード化することができる３つの適切な画像を取得するためにＮ個の画像内のデータを操作し、次いでこれら３つの画像を混合して、材料コンテンツの輪郭を示す混合色を各ピクセルにおいて呈示することである。この手法は、ときとしてカラー画像融合と呼ばれ、その目的は、合成フルカラー画像内の情報量を最大にすることである。この目的のために、主成分分析（ＰＣＡ）などの多変量統計手法がしばしば用いられ、初めの３つの主成分に対応する画像が生成される。３つの主成分画像の各々がＲ、Ｇ及びＢに割り当てられ、最終的なフルカラー画像が形成される。この手法は詳細に説明され評価されている（例えば、非特許文献３を参照されたい）。

【0012】

Ｎ個の原画像が化学元素分布マップ（例えば、ＥＤＳ／ＳＥＭにおける元素マップ、又はＳＩＭＳにおける特定の質量数のマップ）に対応する場合、原マップは解釈が容易である。しかし、成分を抽出するために多変量統計の手法が用いられるとき、各々の導出された成分画像は数学的抽象化であり、これは、必ずしもＮ個の原画像のいずれかとの何らかの直接的関係を有するとは限らない。

【0013】

改善された手法が非特許文献４に記載されており、同文献には、多変量統計分析（ＭＳＡ）を用いてハイパースペクトルデータセットを分析する方法が記載されており、その場合、抽象的主成分が、物理的に意味のある「純」成分、従って、カラー成分画像に変換される。選択された成分画像は色付けされ、混合又は「融合」されて、成分画像に直接的関係を有する合成画像が形成される。しかし、合成画像と、通常、一連のＸ線元素マップとして示される個々の化学元素の分布との間の視覚的つながりを提供する試みはなされていない。図１はこの従来技術を要約したものであり、Ｘ線元素マップの構成と、ＭＳＡによって導かれた成分の可視化との間に直接的つながりがないことを示す。ハイパースペクトルデータセットを用いてＸ線マップが構成される。別に、多変量統計分析をハイパースペクトルデータセットに適用して成分画像が生成され、これが次に「融合」されて、異なる組成の領域を示す合成カラー画像が生成される。この方法は、ＭＳＡを用いて合成カラー画像を生成するものであるが、その色は、Ｘ線マップに対して選択された色には結び付けられない。

【0014】

Ｎ＞３のとき、簡単な手法は、弁別的な個々の色を各原画像に割当て、次いで各ピクセルにおいて、全ての画像からの色寄与を加え合わせることである。各画像に対して、各ピクセルにおける信号強度を用いて、同じ色相を維持しながらｒ、ｇ、ｂ成分を調整する。合成混合画像に対して、個々に色付けされた原画像の全てからのｒ、ｇ、ｂ値が加え合わされ、あらゆるピクセル位置ごとに単一のｒ、ｇ、ｂ値を得る。必要な場合には、合成混合画像をスケール調整して、ｒ、ｇ又はｂのいずれの値も使用されるディスプレイ技術によって許される最大値を越えないようにすることができる。この手法は、原画像内の明るいピクセル間に殆ど重なりがないときには上手く機能するが、その理由は、１つの原画像が支配的である領域においては、同じ色が合成画像においても現れることになるからである。しかし、原画像のうちの幾つかが外見的に類似する場合、これらの画像が他の画像よりも支配的なピクセルにおいて、合成ピクセル色は原画像のいずれにも対応せず、それゆえに、原画像と合成画像との間の対応性が失われることになる。さらに、原画像の数Ｎが増すにつれて、各々の原画像に割り当てられる色の間の知覚できる差異が減少する。従って、この方法を用いて成功するためには、熟練者が、混合のための原画像の適切なサブセットを選択し、他を無視することが常に必要である。

【先行技術文献】

【特許文献】

【0015】

【特許文献1】米国特許第５，３５７，１１０号明細書

【特許文献2】米国特許第７，５３３，０００号明細書

【特許文献3】米国特許第６，５８４，４１３号明細書

【非特許文献】

【0016】

【非特許文献1】Ｐ．Ｊ．Ｓｔａｔｈａｍ及びＭ．Ｊｏｎｅｓ、「Ｅｌｅｍｅｎｔａｌ Ｍａｐｐｉｎｇ Ｕｓｉｎｇ Ｄｉｇｉｔａｌ Ｓｔｏｒａｇｅ ａｎｄ Ｃｏｌｏｕｒ Ｄｉｓｐｌａｙ」、Ｓｃａｎｎｉｎｇ、１９８０年、第３巻、第３号、ｐｐ．１６９−１７１

【非特許文献2】Ｊｏｈｎ Ｊ．Ｆｒｉｅｌ及びＣｈａｒｌｅｓ Ｅ．Ｌｙｍａｎ、「Ｘ−ｒａｙ Ｍａｐｐｉｎｇ ｉｎ Ｅｌｅｃｔｒｏｎ−Ｂｅａｍ Ｉｎｓｔｒｕｍｅｎｔｓ」、Ｍｉｃｒｏｓｃ．Ｍｉｃｒｏａｎａｌ．、２００６年、第１２巻、ｐｐ．２−２５、図１４

【非特許文献3】Ｖ．Ｔｓａｇａｒｉｓ及びＶ．Ａｎａｓｔａｓｓｏｐｏｕｌｏｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ、２００５年８月１０日、第２６巻、第１５号、ｐｐ．３２４１−３２５４

【非特許文献4】Ｋｏｔｕｌａ他、Ｍｉｃｒｏｓｃ．Ｍｉｃｒｏａｎａｌ．、２００３年、第９巻、ｐｐ．１−１７

【非特許文献5】Ｄｏｎａｌｄ Ｈｅａｒｎ及びＭ．Ｐａｕｌｉｎｅ Ｂａｋｅｒ著、「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ」、１９８６年、ＩＳＢＮ ０−１３−１６５５９８−１、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ、１４章

【非特許文献6】Ｐ．Ｊ．Ｓｔａｔｈａｍ、「Ｄｅｃｏｎｖｏｌｕｔｉｏｎ ａｎｄ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｂｙ ｌｅａｓｔ ｓｑｕａｒｅｓ ｆｉｔｔｉｎｇ ｗｉｔｈ ｐｒｅｆｉｌｔｅｒｉｎｇ ｏｆ ｓｐｅｃｔｒａ」、Ａｎａｌ．Ｃｈｅｍ．、１９７７年、第４９巻、ｐｐ．２１４９−２１５４

【非特許文献7】Ｍ．Ｒ．Ｋｅｅｎａｎ著、「Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ」、第５章、Ｗｉｌｅｙ＆Ｓｏｎｓ、２００７年、ＩＳＢＮ９７８−０−４７０−０１０８６−０

【非特許文献8】「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ」、Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、１９８６年、ＩＳＢＮ ０−５２１−３０８１１−９

【非特許文献9】Ｂｏｎｄｙｏｐａｄｈｙａｙ他、Ｉｎｔ．Ｊ．Ｎｕｍｅｒ．Ｍｏｄｅｌ、２００５年、第１８巻、ｐｐ．４１３−４２７

【非特許文献10】ｈｔｔｐ：／／ｗｅｂ．ｓｉａｔ．ａｃ．ｃｎ／〜ｂａｏｑｕａｎ／ｐａｐｅｒｓ／ＩｎｆｏＶｉｓ＿Ｐａｉｎｔ．ｐｄｆ

【発明の概要】

【発明が解決しようとする課題】

【0017】

従って、材料分析の用途において、多数の異なる入力画像データセットを処理して合成画像データセットを形成し、合成画像内の対応する領域に大きく寄与する入力画像の領域が、入力画像と合成画像のそれぞれの領域の間で、認識可能な色の類似性を有するようにするための、自動化された方法を提供する必要がある。

【課題を解決するための手段】

【0018】

本発明の第１の態様により、材料分析のための画像処理の、コンピュータによって実施される方法が提供され、この方法は、以下の一連のステップ、即ち、
ａ）各々のデータセットが画像ピクセルの強度値を表すＮ個の画像データセットを取得するステップであって、データセットで表される画像ピクセルは、共通の空間的に重ね合わされた位置にあり、Ｎが３より大きい整数である、取得するステップと、
ｂ）比較基準を画像データセットの各対に割当てるようにＮ個の画像データセットを処理するステップであって、画像データセットの所与の対に対する比較基準は、対の、一方の画像データセット内の空間的強度情報と他方の画像データセット内の比較の空間的強度情報との間を比較したときの差異を表す、処理するステップと、
ｃ）比較基準に基づいてある数の画像データセットを選択するステップと、
ｄ）色セットの色の対の間の差異を表す色差基準を定めるステップと、
ｅ）選択された画像データセットの各々に色を割り当てるステップであって、それぞれの対の中のデータセットの間で実質的に異なる空間的強度情報を有する選択された画像データセットの対に、実質的に異なる色差基準を有するそれぞれの色が割り当てられるように、色を割り当てるステップと、
ｆ）カラー画像の形成のための出力カラー画像データセットを形成するためにある数の選択された画像データセットを組み合わせるステップであって、カラー画像の各ピクセルが、ある数の選択された画像データセットの相対的強度及び色による色を呈するようにさせ、その結果、１つのデータセットのピクセル強度が他の全ての選択されたデータセットのピクセル強度の和より実質的に大きい場合に、画像のそれぞれの部分の出力色が、ステップ（ｅ）においてその画像データセットに割り当てられた色に実質的に一致するようにする、組み合わせるステップと、
を自動的に実行するステップを含む。

【0019】

本発明は、色を一連の入力「画像」に割当てて、原入力画像が全ての他の画像に対して支配的強度を有する領域内で原入力画像と合成画像との間の色関係を維持する単一のフルカラー「画像」を生成する、自動的かつ教師なしの方法を可能にする。原画像が元素含有量を表す場合には、合成カラー画像は、元素の比率が異なる領域を異なる色で示すことになる。従って、合成画像には、一連の領域が、各色が特定の材料を表す異なる色で出現することになる。さらに、特定の元素が支配的なピクセルは、その元素に関する原画像に類似の色を有することになる。何らかの事前定義された画像の組合せを用いるのではなく、本方法は教師なしの方法であり、調査中の対象のいずれの予備知識も用いず、全ての原入力画像の情報及び統計的コンテンツを用いて、適切な配色及び適切な混合画像を作り出す方法である。

【0020】

熟練者であれば、色及び混合の手動選択により同様の目的を達成することができるであろうが、本発明の目的は、これを、ユーザの介入を何ら必要としない自動アルゴリズムによっていかなる画像集団に対しても達成することである。このことの大きな利点は、ユーザが、有益な配色を有する出力カラー画像の完全な利益を確実に得るために、もはや画像処理の熟練者である必要がないことである。

【0021】

本発明の利益は、実際的に言えば、適切な色のセットを選択し、これらを適切な数のデータセットに適用する能力に由来する。本発明は、各データセットに異なる色を割り当てることができるという意味で、各々のデータセットに対する色の割当てを企図するものである。しかし、方法の中で、例えばひとたびデータセット同士の相互の類似性が判定されたときに、特定のデータセットに共通の色を割り当てることができること、又は特定のデータセットをさらなる考察から除外することも、同様に企図される。

【0022】

含めるためのデータセットを選択するステップは、処理の出力又は最終部分と考えることができる。この選択ステップは、選択される画像データセットの数が処理されるデータセットの数と同じである可能性を含み、その場合、この選択ステップは、次の処理段階へ向けた処理済みデータセットの単なる準備であり得る。他の場合には、選択ステップは、処理される画像データセットからのより少ない数の画像データセットの選択を含む。処理は、典型的には、データセット間の関係を表す又は記述する、評価される付加的なデータをもたらし、このデータは比較基準を含む。他の選択ステップ、例えば、初期の（言及したその他のあらゆるステップの前）、又は、例えば色の割当ての後などのステップもまた企図される。

【0023】

処理されるデータセット及び選択されるデータセットの数は、取得するステップにおける場合と同様にＮとすることができる。従って、処理のためのデータセットの初期の数（取得するステップの前）は、Ｎとすることができる。しかし、Ｎより多い数のデータセットを最初に評価し、次いで取得するステップの前にＮまで減らすことができ、これは、色の数が増すにつれて、出力データセットとそれが生成される元となった成分入力データセットとの間の「視覚的」関係を維持する際の困難さが増すので、本方法は比較的少数の色（例えば、７色又はそれ以下）の利益を享受することを認識してのことである。

【0024】

割り当てられる色の数は、所定の整数より小さいことが好ましい。７色又はそれ以下の色が割り当てられることが最も好ましい。割り当てられる色は、人間の観測者、例えば本方法を実施するコンピュータシステムのユーザに対して、最大の識別可能な視覚的差異を与えるように選択されることが好ましい。本方法で用いられる色差の基準は、角度色相（ａｎｇｕｌａｒ ｃｏｌｏｕｒ ｈｕｅ）の関数であることが好ましい。

【0025】

適切な色をデータセットに割り当てるための多数の異なる方法が存在する。そのような１つの方法においては、画像データセットの空間的情報コンテンツの和が、角度色相の範囲にわたって計算されて、角密度が色相角の関数として求められる。この方法の一環として、各画像データセットは、典型的には、存在する最大強度に対して正規化され、これにより、各画像データセット内の強度は、強度が加え合わされて合成出力カラー画像データセットが形成される前に、角密度により重み付けされる。同様の効果を達成する代替的な方法もまた、例えば画像データセットの強度を正規化するなど、正規化手法を用いることができる。

【0026】

処理ステップは、典型的には、データセット間の多数の対ごと（ペアワイズ）の比較を考慮することによって達成される。これを画像データセットの処理の一環として達成することができる便利なやり方は、行列を用いることによる方法である。典型的には、画像データセットを処理するステップは、各画像データセット対に対する数値的比較基準の行列を計算するステップを含む。例えば、比較基準は、考察中の画像データセットの対における２つの画像のピクセル強度の外積の和とすることができる。そのような手法の１つの利益は、処理が、複数の画像データセットが実質的に共線的であるかどうかを評価し、そうである場合には、共線性の基準を減らすために１つのデータセットを除去するステップをさらに含むことができることである。データセット間の共線性の数学的分析は、特定の実施に利点をもたらす。しかし、データセット対の間の強度データの差の統計的基準を用いる、比較基準がこれら統計的基準に関連した大きさを有するような代替的手法もまた、大きな価値がある。例えば、画像データセットの各対に割り当てられる色の間の色差基準の大きさは、そのような条件下での対に関する比較基準の大きさの関数とすることができる。

【0027】

上述のように、幾つかの実施においては、全てのデータセットに異なる色が割り当てられるわけではない。例えば、複数の画像データセットが十分に類似した空間的強度情報を有すると評価された場合、さらなる処理のために、それらデータセットのいずれか１つを選択することができ、又はそれら複数の画像データセットから合成画像データセットを形成することができる。そのようなデータセットは、共線性計算の一環として除去することができる。画像データセットはまた、別の仕方で、例えば、各画像データセット内のノイズの影響を評価することによって処理することができる。これが方法の初期段階に行われる場合、強度の変化がノイズ閾値を超えないあらゆる画像データセットを方法から除去することによって、処理リソースのより効率的な使用が可能になる。

【0028】

選択された画像データセットを組み合わせるステップは、色が割り当てられた画像データセットの各々を組み合わせるステップを含むことができる。代替的に、より少数のそれら画像データセットを、組み合わせるステップのために選択することができる。

【0029】

選択されたデータセットに、適切な赤色値、緑色値及び青色値を有することが好ましい適切な色を割り当てた後、本方法は、典型的には、対応する赤色値、緑色値及び青色値を有する出力カラー画像データセットを形成するために、寄与するデータセット内のそれらの値を加え合わせることを含む。この手法は、原色の加法性を利用するものであるが、減法混色モデルに従って出力カラー画像データセットのピクセル強度値を用いることが好ましい場合がある。このような減法モデルは、塗料の混合との相似性がより大きいので、より直感的な混色を提供することができる。

【0030】

色値の数値的な組合せに対する代替又は付加として用いることができる、データセットを組み合わせる別の可能な方法は、異なるデータセットからの色を、隣接するピクセルの小さい領域内に適用することである。従って、出力カラー画像データセットが各画像データセットからの個々のピクセルデータを含むとき、異なる画像データセットからのピクセルは、画像データセットの各々の中のピクセル位置に対応する位置を囲む空間的近傍内に配置することができる。これは、一種の「ディザリング」と考えることができる。

【0031】

画像データセットは、多数の異なる種類の空間的情報を表すことができ、この情報の種類は、主として、データを取得するのに用いる物理的技術によって決定される。しかし、典型的には、各画像データセットは、対応する画像の視野内の材料の特定の元素又は性質の分布を表す。従って、データセットは、特定の元素の「Ｘ線マップ」を表すことができる。

【0032】

最初の取得ステップ中に取得されるデータセットは、画像を取得するのに用いたそれぞれの装置から直接得られたデータセットとすることができる。しかし、これらは計算によって生成することができる。装置がハイパースペクトルデータセット（実際上、各ピクセルにおける連続スペクトル）を生成する場合には、本方法は、ステップ（ａ）で取得されるＮ個の画像データセットを生成するようにハイパースペクトルデータセットを処理することを含むことができる。

【0033】

ひとたび出力カラー画像データセットが生成されると、通常、これは次に表示される。表示される出力カラー画像データセットから最大の利益を得るために、これは、１つ又はそれ以上の画像データセット、選択された数の画像データセット、又は各々の画像データセットと共に表示することが好ましい。このことは、出力の画像データセットと、寄与した「入力」画像データセットとの間の直接比較を可能にする。表示されるデータセットをグレースケールのトポグラフィデータと合成して、トポグラフィ情報を含んだ表示されるカラー画像を生成することによって、さらなる利益を得ることができる。また、出力カラー画像データセットに画像のセグメント化を適用して、実質的に一定の材料組成を有する領域を識別するなどの、付加的な技術を適用することもできる。

【0034】

本発明による方法は、多くの技術及び対応する分析装置を用いて取得されるデータと共に用いるのに適している。そのような技術としては、波長分散型分光、エネルギー分散型分光、Ｘ線蛍光分析、電子エネルギー損失分光、粒子誘起Ｘ線放射（ＰＩＸＥ）、オージェ電子分光（ＡＥＳ）、ガンマ線分光、二次イオン質量分析（ＳＩＭＳ）、Ｘ線光電子分光（ＸＰＳ）、ラマン分光法、磁気共鳴イメージング（ＭＲＩ）、赤外反射率測定、及び赤外分光が挙げられる。上記の技術の各々は、通常、コンピュータを用いて実施され、画像は付属のコンピュータモニタ上に表示され、処理される。本法は、そのようなコンピュータシステム上で実施されることが好ましいが、分析装置から分離した１つ又はそれ以上の遠隔コンピュータシステムに、インターネットを含む適切なネットワークを用いてデータを転送することができる。従って、本発明は、適切なコンピュータ上で実行されるときに本方法を実行するように構成されたプログラムコードを含むコンピュータプログラム製品を含む。

【0035】

次に、本発明の幾つかの実施例を、添付の図面を参照しながら説明する。

【図面の簡単な説明】

【0036】

【図1】多変量統計分析を用いて合成カラー画像を生成する従来技術の方法の概略図を示す。

【図2】元素マップから形成される出力画像の生成を示す。

【図3】本発明の例による一般的方法を示す。

【図4】共線画像データセットの実際の影響を示す。

【図5】出力画像及びそれらに関連付けられる入力画像の種々の可能な概略図を示す。

【発明を実施するための形態】

【0037】

以下、本発明の幾つかの例を説明する。例証の目的で、各々の原画像が全てのピクセル位置において特定の化学元素の濃度を表す、「元素マップ」と呼ばれる事例について主に言及する。しかし、この手法はまた、どの画像内の同じピクセル位置の信号も現実の対象物の視野内の同じ位置に関連付けられるように完璧に重ね合わされた画像の任意の集団（即ち、上述の画像の「マルチスペクトル」セット）に適用することができる。

【0038】

特定の材料の領域が分析システムの「視野」内に存在するとき、この領域はある特定の元素を固定比率で含むことになる。図２は、３つの異なる材料、Ａ、Ｂ及びＣが目に見える例示的な視野を示す。元素マップが、元素Ｅ１、Ｅ２、Ｅ３、Ｅ４及びＥ５に対して取得される。これらもまた図２に示す。Ｅ１、Ｅ２及びＥ３は材料Ａ内にのみ現れるので、Ｅ１、Ｅ２及びＥ３のマップは外見が非常に良く似ているが、材料Ａ内の元素の相対濃度を反映する強度を有する。この事例では、元素Ｅ２は、Ｅ１又はＥ３より高い濃度を有する。Ｅ４は材料Ｂ内にのみ存在するので、Ｅ４のマップはこの材料の輪郭をはっきりと示す。Ｅ５は、材料Ｂ及びＣの両方に存在し、Ｅ５のマップはこれら材料の両方を示し、Ｂ及びＣに対応する領域内の強度は、２つの材料中のＥ５の相対含量に応じて異なることもあり、異ならないこともある。強度が等しい場合、ＢとＣの境界はＥ５単独からは明白にならないが、Ｅ４及びＥ５の両方を考慮すれば明白になる。この事例では、僅かに異なる濃度が存在するので、材料ＢとＣの間の境界は目に見える。

【0039】

元素マップＥ１、Ｅ２及びＥ３は全て、材料の位置に関する同じ情報を与える。原画像Ｅ１、Ｅ２及びＥ３が異なる色を用いて色分けされており、そして色付き画像が互いに混合（例えば、算術的組合せ）された場合、合成画像は原画像のいずれとも異なった色を示すことになり、従って、合成と原信号源との間の強い色の関係は無くなることになる。従って、本発明の１つの原理は、外見が類似したマップには類似の色を割当てることであり、それにより、いかなる算術混合においても、類似の原画像のセットが他のいずれの画像よりも明るい領域において、合成色はこれらの原画像に対して用いられた色と類似することになる。マップＥ４はマップＥ１からＥ３までとは異なることが明らかであり、従って異なる色がＥ４に割り当てられる。さらに、Ｅ５は、他の全てのマップとは異なるので、さらに別の色がＥ５に割り当てられる。本発明の別の原理は、前に割り当てられた色から可能な限り異なる色を割り当てることであり、それにより、合成画像内の領域の輪郭が良く示されるようになる。

【0040】

どこでも均一な強度を有する画像は、異なる組成のいかなる領域も表すことができない。従って、本発明の多くの実施の基礎となる別の原理は、より大きい空間的強度変化を有する画像を優先させるように画像の選択に優先順位を付けることである。各原画像は、おそらく付加的なノイズを有するであろう。例えば、画像がＸ線マップである場合、各ピクセルにはカウント数のポアソン確率分布が存在し、材料組成が変化しない領域内であってもピクセル毎のカウント数レベルにランダムな揺らぎが存在することになる。画像内の強度変化が、ノイズ揺らぎによる変化より大きくなければ、画像の細部はノイズによって不明瞭となり、そのような画像は、合成混合画像に有用なコントラストを付加しないので、除外すべきである。従って、本発明に利点をもたらす別の原理は、おそらくはランダムなノイズの揺らぎに比べて大きい空間的強度変化を有する画像を優先させることである。

【0041】

このように、本発明の１つの実施において、類似の空間的コンテンツを示す全ての原画像は類似の色に帰せられ、不十分な信号対ノイズを有する画像は拒絶され、著しく異なる空間的コンテンツを有する画像には明確に異なる色が与えられる。予想されるランダムノイズに比べてより空間的強度変化が大きい画像が優先され、合成画像は、適切に色付けされた入力画像を組み合わせることによって形成される。

【0042】

マップの空間的コンテンツ間の差異の基準又は尺度、及び色の間の差異の基準又は尺度に基づいて色を個々のマップに割り当てるための種々の方策が企図される。色相は０度と３６０度との間の角度で表すことができるので、色差の一つの基準は色相角の差であり、２つの画像ｉとｊとの空間的コンテンツの差異の基準Ｄ（ｉ，Ｊ）が与えられると、この基準に従って色相を割り当てることができる。例えば、この基準における任意の２つの画像間の最大の差異は、１８０度の色相差に関連付けることができる。最大の差異を有する２つの画像には、色相環上の０度及び１８０度の色相角が割り当てられる。次に、残りの画像には、以下の関数を最大にするように色相番号が割り当てられる。
ｓｕｍ（Ｄ（ｉ，ｊ）× ａｂｓ（Ｈｕｅ（ｉ）−Ｈｕｅ（ｊ）））
式中、ａｂｓ（Ｈｕｅ（ｉ）−Ｈｕｅ（ｊ））は、画像ｉ及びｊに割り当てられた色相番号間の差の絶対値であり、和（ｓｕｍ）は画像ｉ及びｊの全ての対にわたる。ひとたび色相が割り当てられると、画像には、ノイズに相対的な空間的情報コンテンツの基準に従って重みＳ（ｉ）が割り当てられ、次いで一定の角度範囲にわたる空間的情報コンテンツの和が計算され、空間的情報コンテンツの角密度が色相角の関数として決定される。画像が、同じ最大強度に正規化された後、各画像は角密度で割られ、その後に画像が加え合わされて合成画像が形成される。従って、有用な空間的情報コンテンツは、異なる材料組成の領域の輪郭を示すために、空間分布における差異を強調するように全ての利用可能な色にわたって広げられる。このタイプの手法に必要な組合せ最適化は、多数の入力画像があるときには、計算費用が高いのですぐに非現実的なものとなってしまう。しかし、本発明の目的を達成する、計算が実際的な代替のスキームについて、次に説明する。

【0043】

Ｎ個の画像のセットが与えられると、画像は、有意情報コンテンツに従い、予想されるランダムノイズのレベルを考慮に入れて、ランク付けされる。ある一定の閾値より低い信号対ノイズ比を有する画像が除外される。最も高くランク付けされた画像に色コードが割り当てられ、より低いランクの他の画像との類似性について検定される。より低くランク付けされた画像が十分に類似している場合、これには同じ色コードが割り当てられ、そうでない場合には色は割り当てられない。次の色コードは、未だ色が割り当てられていない最高ランクの画像に割り当てられ、このプロセスが、全ての画像に色コードが割り当てられるまで、又は場合によっては、所定の最大数の色が割り当てられるまで繰返される。

【0044】

一般に、割り当てられるＭ個の色コードが存在し、ここでＭ≦Ｎである。これらのＭ個の色コードに対して別々の色相が割り当てられ、この場合、色相は可能な限り異なるように選択され、等間隔となるように、例えば色相環の回りに３６０／Ｍ度の間隔となるように選択されるのが便利であるが、人間の視覚反応による色コントラストを最大にするように色間隔を選択することもできる。色相は、次に画像に割り当てられ、この割当ては任意の順序にすることができる。しかし、空間的コンテンツにおける最大の差異を示す画像が色相環上の隣接する色相に割り当てられないように順序を変えることによって、かなりの利益を得ることができる。

【0045】

各画像は、ピクセル強度値を用いて、選択された色相によって定められる比率のｒ、ｇ、ｂ値を調整することにより、フルカラー画像に変換される。異なる色のＭ個の画像が混合のために選択される。同じ色コードを割り当てられた画像については、最高にランク付けされた画像が選択されるか、又は、これらの画像を組み合わせて（例えば、加重平均することにより）その色を有する単一画像を与えることができる。

【0046】

各ピクセルにおいて、Ｍ個の色付けされた画像の全てからのｒ、ｇ、ｂ値を加え合わせて、合成画像のｒ、ｇ、ｂ値が得られ、この合成画像は、必要であれば、画像の表示に用いられるシステムに適するようにスケール調整される。材料コンテンツを明らかにする色付けされた合成画像はまた、例えばトポグラフィを示すグレースケール画像と合成することもできる。色を加え合わせる方法及びグレースケール画像と合成する方法は、例えば、特許文献１（Ｓｔａｔｈａｍ、Ｖｉｓｕａｌ Ｃｏｌｏｕｒ Ｍａｐｐｉｎｇ Ｘ−ｒａｙ Ａｎａｌｙｓｉｓ Ａｐｐａｒａｔｕｓ）に記載されており、ＨＳＶ（色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）及び明度（Ｖａｌｕｅ））又はＨＬＳ（色相、彩度及び明度（Ｌｉｇｈｔｎｅｓｓ））色合成の一般的原理に従うものであり、ここでグレースケール画像の強度を用いてＶ又はＬが調整される。色相の定義、並びに、ＨＳＶ、ＨＬＳ及びＲＧＢ色モデルの間の関係は周知であり、例えば、非特許文献５を参照されたい。

【0047】

合成カラー画像は空間コンテンツが全て異なる色付き画像から集成されたものであるので、これらの画像のうちの１つが一領域の強度を支配している場合、合成色はもとの元素マップの場合と同じになる。従って、原マップと合成色マップとの間の関係は明白になり、これは本方法の１つの望ましい利益である。異なる材料組成の領域は、１つの材料に関する原画像の強度及び色のｒ、ｇ、ｂ和が別の材料に関する和と同一ではないという条件で、異なる色に見えることになる。混合画像にできる限り多くの異なる元素マップを含めることは重要であるが、より多くの色を割り当てると、色の間の差異が小さくなり、２つの異なる材料が混合画像中で同じ色に見える可能性が増す。従って、この問題に対する１つの手法は、割り当てることができる色の最大数を単に制限することである。

【0048】

材料コンテンツの差異は、微量成分の元素に起因することがある。さらに、組成と強度との間の関係は、異なる元素ごとに異なることがある。従って、選択されたマップの強度を混合の前に正規化して、最大値が全て同じ強度を有するようにすることが有益である。

【0049】

元素マップが、ハイパースペクトルデータセットから、各ピクセルにおけるスペクトル内の固定エネルギー窓にわたる積分を用いて導かれるとき、２つの特性元素放射系列が大きく重なる場合には、元素マップの外見が似る可能性がある。例えば、ＴｉのＫ系列放射とＢａのＬ系列放射は同じエネルギー領域内にあるので、高Ｔｉ含量の材料に対しては、Ｔｉ元素マップとＢａ元素マップの両方が高強度を示すことになる。同様に、高Ｂａ含量の材料に対しては、Ｔｉ元素マップとＢａ元素マップの両方が高強度を示すことになる。従って、ＴｉマップとＢａマップは外見が非常に良く似ることになり、異なるＴｉ又はＢａ濃度を有する領域は輪郭が示されないことになる。ある元素が低濃度で存在するとき、エネルギー窓内の積分強度はバックグラウンド（制動放射）強度で支配されることがある。このバックグラウンド強度は異なる材料に対して変わり得るので、この元素のマップは、必ずしも元素含量を表さないことになる。従って、本方法の機能を向上させるためには、バックグラウンドより上の各特性ピークの面積を抽出し、ピーク重なりに関して補正することにより関心のある元素を表す強度を得る、より高度な技術を用いて、原マップが導出されることが望ましい。

【0050】

原画像が元素マップであるとき、視野内にある材料中に存在する全ての元素に対してマップが得られることが重要である。ある種の用途では、存在し得る元素のリストが分かっており、これら全ての元素に対してマップを取得することができる。完全に未知の試料の場合には、元素は通常、視野内のあらゆるピクセルから取得されたスペクトルの和である和スペクトル（即ち、ハイパースペクトルデータセット）を調べることによって検出される。この手法には問題があり、その理由は、視野内に独特の材料の小区域が存在する場合、この材料を含まない全てのピクセルによって支配される和の中で、この小区域からのスペクトルコンテンツが意味のないものになってしまう可能性があるからである。この問題は、特許文献２（Ｓｔａｔｈａｍ及びＰｅｎｍａｎ、Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏr Ａｎａｌｙｓｉｎｇ ａ Ｄａｔａｓｅｔ ｏｆ Ｓｐｅｃｔｒａ）において対処されており、その場合、独特の材料のそのような小さい「ナゲット」に寄与するスペクトルエネルギーバンドを、和スペクトル中でそのエネルギーにおいてピークが明白でなくても検出することができる。従って、特許文献２に記載されている技術を用いて、それらピークエネルギー、従ってマッピングする必要がある元素を識別することが望ましく、その結果、これらの小さい「ナゲット」が本方法によって可視化されることになる。

【0051】

代替的手法は、視野をサブ領域の格子に分割し、各サブ領域内のピクセルについてスペクトルを加え合わせ、これらサブ領域の和スペクトルの全てを調べて、存在する元素を識別することである。材料の「ナゲット」は、サブ領域のサイズに比べて遥かに大きいので、独特のスペクトルはもはや、残りのピクセルからのスペクトルによって支配されるものではなくなるので、元素が検出される確率がより高くなる。

【0052】

合成カラー画像では、異なる材料が異なる色で現れることになるので、観察者は、異なる材料の空間的位置を見ることができるようになる。ランダムノイズのために色の多少の揺らぎが存在するが、観察者は、付加的なノイズがあっても、材料を表す平均色で各領域を知覚することになる。自動的方法を適用して、領域の輪郭を示し、視野内に幾つの異なる材料が存在するかを定量化することができる。例えば、クラスタ化などの画像セグメント化技術を合成ＲＧＢ色画像に適用することができる。代替的に、合成画像のｒ、ｇ、ｂ値を用いるのではなく、選択された原画像のＭ個の強度の組合せを各ピクセルにおけるベクトル強度として考え、画像セグメント化技術を施すことができる。Ｎ個の原マップからのＭ個のマップの選択は、情報コンテンツの冗長性を減らし、これらのセグメント化技術の成果を向上させる。視野が異なる領域にセグメント化されているとき、原マップがピクセル毎に１つスペクトルを有するハイパースペクトルデータセットから導かれたものである場合、ある領域内の全てのピクセルのスペクトルデータを加え合わせて、材料を表すスペクトルを得ることができる。

【0053】

本発明の実施形態
各画像内の情報コンテンツ及び存在するノイズを評価するために、自己相関からの画像エントロピー及び信号対ノイズの見積り値などの種々の基準を用いることができる。特許文献２によれば、ピクセル値がカウント数のポアソン確率分布に従うＸ線元素マップのような画像に関して、統計学によって予測されるカウント数に対する空間的変化の１つの有用な基準は、
ｃｈｉｓｑ＝ｓｕｍ｛（ｙ−ｙｍｅａｎ）²／ｙｍｅａｎ｝
であり、式中ｙはピクセル内のカウント値であり、ｙｍｅａｎは画像全体にわたる平均ピクセル強度であり、和（ｓｕｍ）は全ての画像ピクセルにわたる。この基準は、材料が視野全体にわたって完全に均一であるときに最小値を取ることになる。特許文献２に示されるように、Ｘ線マップが視野全体にわたって均一である場合、この和（ｓｕｍ）の確率分布は予測することができ、ｃｈｉｓｑが閾値以下となる場合、この画像は有意な空間的変化を示さないので除外することができる。

【0054】

マップが、各ピクセルにおける完全スペクトルデータを処理することによって準備されたものであるとき、統計計算を用いて、各ピクセルにおけるピーク強度及び結果の分散が見積られる（例えば、非特許文献６を参照されたい）。その場合、空間変化に関する等価な基準は、
ｃｈｉｓｑ＝ｓｕｍ｛（Ｐ−Ｐｍｅａｎ）²／ＶａｒＰ｝
であり、式中ＶａｒＰは全ピクセルにわたる平均分散であり、Ｐは関心のある特性ピークの強度であり、Ｐｍｅａｎは全ピクセルにわたる平均強度である。

【0055】

画像間の類似性の程度（又は、逆に差異の程度）を評価するために、例えば、正規化された相互相関係数などの種々の基準、並びに、相互情報及び結合エントロピーなどの概念が用いられている。以下は、ピクセル値がポアソン分布したカウント数であるときの画像ＸとＹとの間の差異の実際的基準である。
ｃｈｉｓｑｄｉｆｆ（Ｘ，Ｙ）＝ｓｕｍ｛（ｙ／ｙｍｅａｎ−ｘ／ｘｍｅａｎ）²／（１／ｘｍｅａｎ＋１／ｙｍｅａｎ）｝
式中、ｘ及びｙは各画像内の同じピクセルのカウント値であり、ｘｍｅａｎ及びｙｍｅａｎは各画像内の全てのピクセルの平均カウント値であり、和（ｓｕｍ）は全ての画像ピクセルにわたる。画像が処理の結果である場合には、等価な表現は
ｃｈｉｓｑｄｉｆｆ（Ｘ，Ｙ）＝ｓｕｍ｛（Ｐｙ／Ｐｙｍｅａｎ−Ｐｘ／Ｐｘｍｅａｎ）²／（ＶａｒＸ／Ｐｘｍｅａｎ²＋ＶａｒＹ／Ｐｙｍｅａｎ²）｝
であり、式中Ｐｘ及びＰｙは同じピクセル位置で計算された強度であり、Ｐｘｍｅａｎ及びＰｙｍｅａｎは全画像ピクセルにわたる平均強度であり、ＶａｒＸ及びＶａｒＹは全画像ピクセルにわたる平均統計分散であり、和（ｓｕｍ）は全画像ピクセルにわたる。

【0056】

この基準の最小値は、スケーリング定数を別として画像の基となる信号コンテンツが同一であるときに生じる。この場合、上記の基準は確率分布を有し、この分布は近似的に、画像内のピクセル数をＮｐｉｘとして、Ｎｐｉｘの自由度を有するカイ２乗分布の確率分布である。従って、この和（ｓｕｍ）が閾値を超える場合に画像が有意に異なると見なされるような閾値を設定することができる。

【0057】

これらの、画像情報コンテンツの基準であるｃｈｉｓｑ、及び画像の差異の基準であるｃｈｉｓｑｄｉｆｆは、以下で説明するアルゴリズム中で用いられ、合成カラー画像、及び表示のための選択された色付き入力画像のセットが生成される。合成画像において、異なる材料に対応する領域は異なる色で現れる可能性が高く、材料が１つの元素からの寄与によって支配されるとき、合成画像と色付き入力元素マップは同じ色で現れるので、元素分布と材料の位置との間の直感的関係が確立されることになる。

【0058】

図２の簡単な例において、画像Ｅ１、Ｅ２及びＥ３は空間的に類似しているので同じ色コードが割り当てられることになり、Ｅ２がより大きいｃｈｉｓｑのゆえに、表示に用いる最適の画像として選択されることになる。Ｅ４及びＥ５には異なる色コードが割り当てられるので、全部で３つの色コードが割り当てられ、０度、１２０度及び２４０度の色相角が割り当てられることになる。次いで、Ｅ１、Ｅ２及びＥ３が同じ彩度の色で色付けされることになり、他方Ｅ４及びＥ５は違う彩度の色で色付けされることになるが、この際、強度分布は維持される。合成画像は、図示された材料分布に対応する色付き領域を示すことになり、ここで、Ａは画像Ｅ１、Ｅ２及びＥ３と同じ色を呈し、ＢはＥ４及びＥ５からの色の混合色となり、ＣはＥ５と同じ色を示すことになる。従って、原入力データと合成画像との間の色関係が、Ｅ４を除く全ての元素に対して確立される。

【0059】

本方法が、ピクセル毎に１つのスペクトルを有するハイパースペクトルデータセットとともに用いられるとき、入力マップが視野内のいずれかの材料中に存在し得る全ての元素を含むことを確実にするために、特許文献２に記載の方法を用いて、有意な空間変化を有するマップを生成する可能性が高いスペクトル内のエネルギー領域が検出される。次に、これらのエネルギー領域は、これらのエネルギー領域に対応する特性線列を有する元素を識別するための基礎として用いられる。さらに、各スペクトルを非特許文献６に記載のように処理してピーク重なり及びバックグラウンドの差引に対処することで元素マップ画像セット内の冗長性が減るので、これにより本方法を改善することができる。

【0060】

この手法の全体の要約は図３に示され、この手法においては、確立された方法でハイパースペクトルデータセットから元素マップが生成された後、新規な融合方法を用いて合成画像が生成され、この合成画像は、材料コンテンツ情報を色で表し、ユーザにとって見慣れたＸ線元素マップとの色関係を保持する。

【0061】

入力元素マップの集合から単一の結果画像を生成するのに適したアルゴリズムは以下の通りである（「ペアワイズ融合アルゴリズム」）。
１）色の最大数をＮＣＯＬに割り当てる。
２）有意情報閾値をＴｓｉｇに割り当てる。
３）有意差異閾値をＴｄｉｆｆに割り当てる。
４）ｃｈｉｓｑ＜Ｔｓｉｇの場合にマップを削除する。
５）残りのＮ個のマップをｃｈｉｓｑの降順に並べ替える。
６）全てのマップの色コードを「ＮＯＮＥ」に設定する。
７）色番号をＩＣＯＬ＝０に設定する。
８）１からＮまでの各マップＩについて、
マップＩの色コードＩが「ＮＯＮＥ」ならば、
ＩＣＯＬ＝ＩＣＯＬ＋１
マップＩの色コード＝ＩＣＯＬに設定する
Ｊ＝Ｉ＋１からＮまで
マップＪの色コードが「ＮＯＮＥ」であり
かつｃｈｉｓｑｄｉｆｆ（Ｉ，Ｊ）＜Ｔｄｉｆｆならば
マップＪの色コード＝ＩＣＯＬに設定する
次のＪ
ＩＣＯＬ＝ＮＣＯＬならば終了し（９）に進む
次のＩ

（Ｉｆ ｃｏｌｏｕｒ ｃｏｄｅ ｏｆ ｍａｐ Ｉ ｉｓ “ＮＯＮＥ”
ｔｈｅｎ
ＩＣＯＬ＝ＩＣＯＬ＋１
ｓｅｔ ｃｏｌｏｕｒ ｃｏｄｅ ｏｆ ｍａｐ Ｉ＝ＩＣＯＬ
Ｆｏｒ Ｊ＝Ｉ＋１ ｔｏ Ｎ
Ｉｆ ｃｏｌｏｕｒ ｃｏｄｅ ｍａｐ ｊ ｉｓ “ＮＯＮＥ” ａｎｄ ｃｈｉｓｑｄｉｆｆ（Ｉ，Ｊ）＜Ｔｄｉｆｆ
ｔｈｅｎ ｓｅｔ ｃｏｌｏｕｒ ｃｏｄｅ ｏｆ ｍａｐ Ｊ＝ＩＣＯＬ
Ｎｅｘｔ Ｊ
Ｉｆ ＩＣＯＬ＝ＮＣＯＬ ｆｉｎｉｓｈ ａｎｄ ｇｏ ｔｏ （９）
Ｎｅｘｔ Ｉ）

９）各色コードに対して１つのマップ、例えば、最大ｃｈｉｓｑ値を有するマップを選択する。
１０）色相環にそって色相（ＨＵＥ）値を割り当てる。
（例えば、ｉ＝１からＩＣＯＬ，Ｓ＝１，Ｖ＝１に関して、ＨＵＥ（ｉ）＝３６０×（ｉ−１）／ＩＣＯＬ）
１１）全ての隣接するマップにわたって、ｓｕｍ｛ｃｈｉｓｑｄｉｆｆ（Ｉ，Ｉ＋１）｝（色は循環的となるのでｃｈｉｓｑｄｉｆｆ（ＩＣＯＬ，１）を含む）が最小となるようにマップの順序を変える。
１２）全てのマップを同じ最大値１にスケール調整する（割り当てられた色相（ＨＵＥ）、Ｓ＝１、Ｖ＝強度を用いて、各ピクセルにおいてＨＳＶ色を取得し、各色相に対して１つずつ、ＲＧＢ色付き画像に変換する）。
１３）各ピクセルにおいて、全ての選択されたマップ及び割り当てられた色に関して強度×ｒｇｂ色の積を加え合わせることによって結果のピクセルを計算する。
１４）合成ｒｇｂ画像を表示のためにスケール調整し、又は、ＨＳＶ若しくはＨＬＳ合成を用いてグレースケール画像と組み合わせる。
１５）合成色付き画像及び入力マップを割り当てられた色相で表示する。

【0062】

次に、上で説明した手法に対する代替的な融合手法を説明するが、これはデータセット間の「共線性」を取り扱うための技術を含む、数学的により「純粋な」手法を採用するものである。

【0063】

ｍ個のピクセル及び各ピクセルにおいてｎ個の連続的データチャネルを有するハイパースペクトルデータセット（他箇所で説明した）の成分分析の既知の技術において、その目的は、データセットを、成分画像行列とスペクトル成分行列への因子分解によって、以下の様に近似することである。

【数1】

式中、Ａ（ｍ×ｐ）は成分画像のセットであり、Ｓ（ｎ×ｐ）は成分スペクトルのセットである。目標は、Ｄの実情報コンテンツの適切な表現を与えるのに必要な成分の数ｐを最少にすることである。回転による多義性のために、データに対する同一のフィットをもたらす無数の因子対Ａ及びＳが存在するので、最も適切な対を選択するために導入すべき付加的基準が必要とされる（非特許文献７を参照されたい）。従来の主成分分析（ＰＣＡ）において、因子分解は、Ａの列が互いに直交すること、及びＳの列が正規直交であることを必要とする。これはデータを表現する方法を与えるが、直交性の束縛条件は、負値を含む成分画像及びスペクトルのセットを生じさせ、これらの成分は物理的に妥当なものではなく、解釈するのが困難である。代替的手法は、より現実的な非負の束縛を課すので、各成分スペクトルが現実の材料からのスペクトルのように見えるようになり、この成分の相対的な存在度が対応する成分画像内に示されるようになる（特許文献３）。しかし、それら成分スペクトルは、うわべは現実的で理解が容易であるように見えるが、依然として数学的抽象化が存在する。例えば、非負束縛条件によるそのような手法を用いて、以前に引用した論文においてＫｏｔｕｌａ他（非特許文献４）は、赤色、青色、緑色及びシアン色を用いた４つの成分画像を混合することによって合成色画像を得た（非特許文献４の図１０を参照されたい）。ＦｅＣｏを含む現実の粒子は、普通、ＦｅＫ、ＦｅＬ、ＣｏＫ及びＣｏＬ線が存在するスペクトルを示すことになる。しかし、Ｋｏｔｕｌａ他（非特許文献４）の図１１では、多変量統計因子分解は、一方がＦｅＫ及びＣｏＫ線を有し、他方がＦｅＬ及びＣｏＬ線を有する２つの成分スペクトルを生成した。これらの成分スペクトルのいずれも現実のものではなく、２つの成分画像を合成して「ＦｅＣｏ」の分布を表す１つの青色画像にするよう決断することによってこの実際的な矛盾を解決するには、著者の専門技術を必要とした。

【0064】

既に説明したように、本発明は異なる手法を用いるものであり、単独で解釈することができる画像のセットを用いて開始する。その目的は、混合画像内の合成色が異なる材料の位置を示す可能性が高くなるように、現実の画像を混合するために用いるのにふさわしい因子及び色の適切なセットを選択することである。各々の現実の画像には特定の色が付随するので、入力画像と結果の合成画像との間の関係もまた直感的なものとなる。ノイズが多過ぎる画像は、明示的に又はゼロの因子を用いて除外することができる。１つの入力画像が、たまたま１つ又はそれ以上の他の画像の線形結合に近い場合、それら他の画像は、異なる材料の輪郭を示す助けとなる空間情報をさらに追加しない点で冗長である。さらに、合成混合画像内でそれら他の画像に異なる色を用いたとすると、混合色はもはや入力画像のいずれとも一致せず、それゆえに入力画像と出力合成画像との間の色の関係が失われることになる。従って、この「共線性」を画像データセット間の数学的関係式を用いて識別できることが有用である。図４は、共線性の含意を示す。

【0065】

図４において、３つの入力画像のセットが示され、ここで画像ＡはＢとＣの和として表すことができる。従って、Ａ、Ｂ、Ｃは、どの２つの画像も似ていないが、数学的な意味で共線である（この区別は「ペアワイズ融合アルゴリズム」と比べたときに重要である）。３つの画像全てが色混合に用いられると、合成画像Ｘは、一方は色ｒ＋ｂを有し、他方は色ｒ＋ｇを有する２つの領域を示す。これら２つの領域は色が異なるが、その色は３つの入力画像のいずれとも一致せず、それゆえに入力色と出力色との間の関係は小さくなるか又は失われる可能性がある。さらに、３つの色を用いても材料分布に関する新しい情報が何ら得られないことにより、色が「浪費される」。共線性が認識され、これらの画像のうちの１つ、例えばＡが除外された場合、結果Ｙの中の２つの領域は色ｂ及びｇを有し、これらの色は依然として原入力画像における色と同じである。従って、自動色付けアルゴリズムは、共線性を認識すること、及び、異なる領域の間を区別する独自の付加的情報を追加しない画像を削除することができる場合に、より良好に機能することになる。

【0066】

上記で図３に関連して説明した方法（「ペアワイズ融合アルゴリズム」）について再び言及すると、この方法はどの２つの画像も似ていないことをチェックするが、より高次の共線性を探し求めることはしない。しかし、そのような共線性は、行列代数の方法によって検定することができる。本実施形態はこの方法を利用して、「共線性管理による融合」を提供する。

【0067】

視野内にｎ個の画像データセット及びｍ個のピクセルがある場合、ｍピクセル×ｎ画像のデータの行列は、特異値分解（ＳＶＤ）によって次式の様に３つの行列の積に分解することができる。
Ｄ＝ＵＷＶ^T
式中、Ｕはｍ×ｎ行列、Ｖはｎ×ｎ行列、及びＷはｎ×ｎ対角行列であり、上付き文字Ｔは行列の転置を意味する（非特許文献８を参照されたい）。Ｗの対角要素は、Ｄ^TＤの固有値の平方根である特異値であり、最小特異値に対する最大特異値の比は、その行列の「条件数」である。入力画像セット内の冗長情報は、Ｄの２つ又はそれ以上の列の間の線形依存性として現れる。画像にノイズがなければ、そのような線形依存性は少なくとも１つの特異値をゼロにし、従って、条件数が無限大になる。実際には、各画像はある程度のノイズを有する可能性が高く、それゆえに条件数は無限大にはならない。ノイズレベルが予測可能である場合、適切な統計的重みをＤの行及び列に加え、その結果、データに対する系統的ノイズ及びランダムノイズの寄与を表す固有値の大きな分離が存在するようにすることができる（例えば、非特許文献７を参照されたい）。

【0068】

条件数の逆数「ＩＣＮ」を考えると、より大きい値のＩＣＮが望ましく、これはＤ行列が冗長情報を何ら有しないことを示す。

【0069】

ＳＶＤを用いることも可能であるが、ｍピクセル＞＞ｎ画像であるときには、外積Ｄ^TＤを形成して固有値分解を行い、Ｄの対応する特異値の２乗である固有値を見出すことがより効率的である（例えば、特許文献３を参照されたい）。外積Ｄ^TＤは相互相関の形であり、行列の値は、画像の各対の間の差異、又は反対に類似性に依存する。

【0070】

従って、作業は、もとのＮ個の画像データセットから、満足できるほど大きいＩＣＮを与えるｎ個画像のサブセットを見出すこととして表すことができる。ＩＣＮに対する適切な最小閾値を設定すれば、Ｎ個入力画像のセットが、共線性ではない少なくともＮ個の画像を含むかどうか検定することができる。ＩＣＮが小さすぎる場合には、一部の冗長情報を除去するように少なくとも１つの画像を削除する必要がある。種々の方法を用いて冗長画像を削除することができる（例えば、非特許文献９を参照されたい）が、以下のアルゴリズムは、高ＩＣＮを有する最適セットを得るための１つの方法を示す。

【0071】

共線性管理アルゴリズムによる融合
１）ｎ＝Ｎの画像データセットを用いて開始し、ｍピクセル×ｎの行列Ｄを作成し、適切な場合には統計的重みを加える。
２）Ｄ^TＤの固有値分解を行い、ｍ×ｎ行列Ｄの逆条件数（ＩＣＮ）を計算する。
３）ＩＣＮ＜閾値、又はｎ＞ＮＣＯＬ（色の最大数）である場合、
入力データセットを１つずつ順に削除してｍ×（ｎ−１）行列を形成し、最大のＩＣＮを有するｍ×（ｎ−１）行列を得るにはどのデータセットを削除するかを見出し、
そのデータセットを削除し、ｎ＝ｎ−１と設定し、最大ＩＣＮ数を維持する。
４）操作（３）を繰返し、必要であれば別のデータセットを削除する。
５）最後に、色環に沿って等間隔に離間した色相を用いて、Ｍ個の残りの画像データセットに色を割り当て、これらが合成色混合に用いられる。

【0072】

２つの異なるアルゴリズムの手法を、「ペアワイズ融合」及び「共線性管理による融合」アルゴリズムの観点で説明したが、各々は、基本的には以下の自動化手順に従う。
（ａ）材料を示す色マップを生成し、
（ｂ）元素マップと色付き出力画像との間の関係を維持する、コンピュータによって実施される色混合方法を用いる。

【0073】

表示出力の観点による本発明の多数の可能な実際的な実施を図５に示す（左から右へ（ａ）から（ｄ）までで示す）。
（ａ）これは図２の状況に類似しており、出力カラー画像が、それぞれ緑色（Ｇ）、オレンジ色（Ｏ）及び黄色（Ｙ）の領域Ａ、Ｂ、Ｃで示される。成分画像Ｅ１、Ｅ２、Ｅ３は、似ているが同一ではない緑の陰影で示されており、画像Ｅ４とＥ５は異なる色（それぞれ、マゼンタと黄色）で示されている。出力カラー画像と「入力」（成分）画像は必ずしも同時に目に見える必要はないことに留意されたい。
（ｂ）（ａ）と同様であるが、画像Ｅ２、Ｅ４、Ｅ５のみがアルゴリズム内で使用される。このことは、これらの画像が適切な仕方で、ディスプレイ上でタグ付けされるか又は強調されることによって示される（例えば、囲みを用いて示される）。
（ｃ）（ａ）と同様であるが、画像Ｅ２のみが緑色に色付けされている。画像Ｅ１及びＥ３は、依然として表示されており、依然として本発明を有用なものにすることができる灰色に色付けすることができ、例えば「中間」青色で色付けすることができることに留意されたい。
（ｄ）（ｃ）と同様であるが、画像Ｅ２のみがＥ４及びＥ５と共に実際に表示される。

【0074】

図５において、色はＧ（緑）、Ｏ（オレンジ）、Ｙ（黄）、Ｍ（マゼンタ）、Ｂ／Ｇｙ（青又はグレースケール）で示される。（ｂ）から（ｄ）までにおける（ａ）と比べて等しい位置の色は、特段の指示がない限り（ａ）における色と同じである。オレンジ色は黄色とマゼンタの混合を示すことに留意されたい。

【0075】

出力カラー画像データセットのさらに別の表示方法は、それを同じ視野からのグレースケール画像と「融合させる」ことである。グレースケール画像は、例えばトポグラフィを示すことができる。

【0076】

入力画像と合成画像との間の色の関係を確立するとき、１つの元素が材料の組成を支配する（同じ色の）領域を識別することができることが有用である。２つの元素濃度が高い領域において、どの２つの元素の色が混合色に寄与しているのか合成色から推定するのが容易であれば有利であろう。これは、次に論じるように達成可能である。

【0077】

カラー画像が説明の中で含意したように加法及びスケール調整によって合成されるとき、これは本質的に「加法」混色モデルであり、その場合、原色はＲ、Ｇ及びＢであり、色は加え合わされてより大きい強度をもたらす。加法混色モデルにおいて、例えば、赤色＋緑色は黄色の結果を与え、ここで黄色は赤色又は緑色自体よりも明るく、これは、例えば塗料を混合したときに起ることとは異なる。塗料の混合は、「減法」混色モデルに従い、その場合、光から色が「除去」される。従って、混合色のより直感的な概念は、色付き入力画像を「塗料」であるかの様に取り扱い、減法混色モデルを用いてそれらを組み合わせることである。これは、１つの強度が他よりも遥かに大きいときの色と変わりないが、混合色はより直感的に見える（例えば、図５の場合のように、マゼンタ（ピンク）＋黄＝オレンジ）。

【0078】

従って、重要な実施形態は、色付き入力画像の減法混色によって生成される出力カラー画像の生成である。この場合、入力画像は、ピクセル強度がゼロの場所ではどこでも白色となり、ピクセル強度が最大のときは彩度の高い色となるように色付けされる。出力カラー画像ピクセルは、入力画像ピクセルが他の全ての画像よりも遥かに高い強度を有するときは依然として入力画像と同じ色を呈するが、１つより多くの入力画像ピクセルが有意な強度を有するときには、出力色は、ライトボックス上に色フィルタを重ねた結果と等しくなる。

【0079】

この「塗料様の」混合を実現するために提案されたさらに別のバリエーションは、各入力画像から１つずつ、一連のピクセルをすぐ近くに提示することである。ディザリングにより位置がランダム化されると、全体としての効果は減法的な塗料の混合の効果となる。

【0080】

従って、色を組み合わせて合成画像にするための広範囲の可能性がある。最も簡単なのは加法混色モデルであり、この場合、色のｒ、ｇ、ｂ成分が加え合わされ、その結果がディスプレイの範囲に合うようにスケール調整される。より複雑なモデルは「減法」混色モデル（ＣＭＹ、非特許文献５を参照されたい）であり、これはインクの混合のルールにより近く似ており、より直感的なものとなり得る。「減法」混色は、加えられるのではなく吸収される色に対応するので、実際には乗算操作として実施されるべきである。そして各々の画像は一連の層として表すことができ、各層をその層の上に描かれた色付き画像を有する透明なアセテートのシートで表したとすると、合成画像は、重ね合わされたアセテート層を通して白色光又はグレースケール画像を見たときに観測されることになる画像に対応するように計算することができる。直感的混色効果をもたらすための、他のより精緻なモデルが提案されている（例えば、非特許文献１０）。どの混合法を用いるにしても、重要な要件は、１つの入力画像内の原ピクセル強度が支配的である（即ち、このピクセルにおける他の入力画像の全ての強度の和より大きい）ならば、合成色はこの入力画像の色に類似すべきであるということである。

【図1】

【図3】

【図4】

【図2】

【図5】