特開2016-224031(P2016-224031A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ザ・ボーイング・カンパニーの特許一覧
特開2016-224031フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング
<>
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000010
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000011
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000012
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000013
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000014
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000015
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000016
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000017
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000018
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000019
  • 特開2016224031-フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-224031(P2016-224031A)
(43)【公開日】2016年12月28日
(54)【発明の名称】フォービエイテッド圧縮投影を用いたハイパースペクトルデミキシング
(51)【国際特許分類】
   G01N 21/27 20060101AFI20161205BHJP
【FI】
   G01N21/27 B
【審査請求】未請求
【請求項の数】14
【出願形態】OL
【外国語出願】
【全頁数】20
(21)【出願番号】特願2016-80785(P2016-80785)
(22)【出願日】2016年4月14日
(31)【優先権主張番号】14/693,401
(32)【優先日】2015年4月22日
(33)【優先権主張国】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.MATLAB
2.イーサネット
(71)【出願人】
【識別番号】500520743
【氏名又は名称】ザ・ボーイング・カンパニー
【氏名又は名称原語表記】The Boeing Company
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林特許業務法人
(72)【発明者】
【氏名】オウェッコ, ユリ
【テーマコード(参考)】
2G059
【Fターム(参考)】
2G059AA05
2G059BB08
2G059EE02
2G059EE07
2G059EE12
2G059FF01
2G059HH01
2G059HH02
2G059MM01
(57)【要約】      (修正有)
【課題】ハイパースペクトルイメージング及び分光データ解析における、スペクトルデミキシング(demixing)のためのシステム及び方法を提供する。
【解決手段】試料と相互作用した複数の電磁エネルギー周波数を示す実験に基づいた分光データを取得すること、スペクトルライブラリを示す階層スペクトルクラスタツリーのコンピュータ読取り可能な表現にアクセスすること、階層スペクトルクラスタツリーの複数のレベルの各データを用いて実験に基づいた分光データに由来するフォービエイテッド分光データをデミキシングすること、階層スペクトルクラスタツリー中の少なくとも1つのノードを実験に基づいた分光データに対応すると特定すること、及び最低でも少なくとも1つのノードに対応する試料の端成分存在度評価を出力することを含む。
【選択図】なし
【特許請求の範囲】
【請求項1】
スペクトルデミキシングのための方法であって、
試料と相互作用した複数の電磁エネルギー周波数を示す実験に基づいた分光データを取得すること(502)、
スペクトルライブラリを示す階層スペクトルクラスタツリーのコンピュータ読取り可能な表現にアクセスすること(504)、
前記階層スペクトルクラスタツリーの複数のレベルの各データを用いて前記実験に基づいた分光データに由来するフォービエイテッド分光データをデミキシングすること(506)、
前記階層スペクトルクラスタツリー中の少なくとも1つのノードを前記実験に基づいた分光データに対応すると特定すること(514)、及び
最低でも前記少なくとも1つのノードに対応する前記試料の端成分存在度評価を出力すること(516)
を含む方法。
【請求項2】
前記実験に基づいた分光データは、
前記試料から反射された複数の電磁エネルギー周波数、又は
ピクセル
のうちの少なくとも1つを示す、請求項1に記載の方法。
【請求項3】
前記階層スペクトルクラスタツリーは、
個々の端成分を示すノードを含む少なくとも1つのターミナルレベルを含む複数のレベル、又は
各プロトタイプノードが複数の端成分を示す複数のプロトタイプノード
のうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項4】
前記スペクトルライブラリを階層的にクラスタリングすることを更に含む、請求項1から3のいずれか一項に記載の方法。
【請求項5】
フォービエイテッド分光データを前記デミキシングすることは、フォービエイテッド圧縮投影を実行すること(508)を含む、及び/又はフォービエイテッド分光データを前記デミキシングすることは、スパース再構成(510)を含む、請求項1に記載の方法。
【請求項6】
地理空間解析、目標認識、監視、化学物質検知、リモートセンシング、及びこれらの組み合わせのうちの少なくとも1つのために、前記端成分存在度評価を使用することを更に含む、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記出力することは、表示を人が読みうる形式にさせることを含む、請求項1に記載の方法。
【請求項8】
スペクトルデミキシングのためのシステムであって、
試料と相互作用した複数の電磁エネルギー周波数を示す実験に基づいた分光データを取得するように設定されたインターフェース、
スペクトルライブラリを示す階層スペクトルクラスタツリーのコンピュータ読取り可能な表現に通信可能に接続された少なくとも1つの電子プロセッサ、
前記階層スペクトルクラスタツリーの複数のレベルの各データを用いて前記実験に基づいた分光データに由来するフォービエイテッド分光データをデミックスするように設定された少なくとも1つの電子プロセッサ、
前記階層スペクトルクラスタツリー中の少なくとも1つのノードを前記実験に基づいた分光データに対応すると特定するように設定された少なくとも1つの電子プロセッサ、及び
最低でも前記少なくとも1つのノードに対応する前記試料の端成分存在度評価を出力するように設定された少なくとも1つの電子プロセッサ
を含むシステム。
【請求項9】
前記実験に基づいた分光データは、
前記試料から反射された複数の電磁エネルギー周波数、又は
ピクセル
のうちの少なくとも1つを示す、請求項8に記載のシステム。
【請求項10】
前記階層スペクトルクラスタツリーは、
個々の端成分を示すノードを含む少なくとも1つのターミナルレベルを含む複数のレベル、又は
各プロトタイプノードが複数の端成分を示す複数のプロトタイプノード
のうちの少なくとも1つを含む、請求項8に記載のシステム。
【請求項11】
前記スペクトルライブラリを階層的にクラスタ化するように設定された少なくとも1つの電子プロセッサを更に含む、請求項8から10のいずれか一項に記載のシステム。
【請求項12】
フォービエイテッド分光データをデミックスするように設定された前記少なくとも1つの電子プロセッサは更に、フォービエイテッド圧縮投影を実行するように設定されており、及び/又はフォービエイテッド分光データをデミックスするように設定された少なくとも1つの電子プロセッサは更にスパース再構成を実行するように設定されている、請求項8に記載のシステム。
【請求項13】
地理空間解析、目標認識、監視、化学物質検知、リモートセンシング、及びこれらの組み合わせのうちの少なくとも1つのために、前記端成分存在度評価を提供するように設定された少なくとも1つの電子プロセッサを更に含む、請求項8〜12のいずれか一項に記載のシステム。
【請求項14】
出力するように設定された前記少なくとも1つの電子プロセッサは更に、表示を人が読みうる形式にさせるように設定されている、請求項8に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は概して、ハイパースペクトルイメージング及び分光法に関する。
【背景技術】
【0002】
ハイパースペクトルカメラは、空間次元とスペクトル次元の両方でシーンの撮像を行う。可視光帯に重なり合う3つの広範なカラーチャネルを有する従来のカラーカメラとは異なり、ハイパースペクトルカメラは可視光から長波長赤外線の範囲にわたって、数百又は数千の狭い隣接した波長のチャネルを有する。ハイパースペクトルカメラは、各ピクセルが反射スペクトルを表わす数百万ピクセルを含む画像を捕捉しうる。
【0003】
ハイパースペクトルイメージングは、地球科学及びリモートセンシングの分野では重要な領域になってきている。加えて、ハイパースペクトルイメージングカメラのサイズ、重量が減少し、電力要件が緩和され、コストが下がるにつれて、物体検出、路面解析、自律航行、及び自動目標認識における新しい応用が模索されている。
【0004】
ハイパースペクトルデータ解析におけるスペクトルデミキシング(demixing)の問題は、反射率スペクトルに基づく混合物の組成判定が中心課題となる。測定された反射率スペクトルは通常、混合物中の種々の純物質、すなわち「端成分(endmember)」に起因するスペクトルの混合からなる。スペクトルデミキシングは、混合物中の端成分を特定し、その存在度を推定するプロセスである。
【発明の概要】
【0005】
様々な例により、スペクトルデミキシングの方法が開示される。本方法は、試料と相互作用した複数の電磁エネルギー周波数を示す実験に基づいた分光データを取得すること、スペクトルライブラリを示す階層スペクトルクラスタツリーのコンピュータ読取り可能な表現にアクセスすること、階層スペクトルクラスタツリーの複数のレベルのそれぞれのデータを用いて実験に基づいた分光データに由来するフォービエイテッド分光データ(foveated spectroscopic data)をデミキシングすること、階層スペクトルクラスタツリー中の少なくとも1つのノードを実験に基づいた分光データに対応すると特定すること、及び最低でも少なくとも1つのノードに対応する 試料の端成分存在度評価を出力することを含む。
【0006】
上述の方法例の様々なオプション特性には、以下が含まれる。実験に基づいた分光データは、試料から反射された複数の電磁エネルギー周波数を示しうる。実験に基づいた分光データはピクセルを示しうる。階層スペクトルクラスタツリーは、個々の端成分を示すノードを含む、少なくとも1つのターミナルレベルを含む複数のレベルを含みうる。階層スペクトルクラスタツリーは、各プロトタイプノードが複数の端成分を示す複数のプロトタイプノードを含んでもよい。本方法は、スペクトルライブラリを階層的にクラスタリングすることを含みうる。フォービエイテッド分光データのデミキシングは、フォービエイテッド圧縮投影の実施を含みうる。フォービエイテッド分光データのデミキシングは、スパース再構成(sparse reconstruction)を含みうる。本方法は、地理空間解析、目標認識、監視、化学物質検知、リモートセンシング、及びこれらの組み合わせのうちの少なくとも1つのために、端成分存在度評価を使用することを含みうる。出力には、表示を人が読みうる形式にさせることが含まれうる。
【0007】
様々な例により、スペクトルデミキシングのためのシステムが開示される。本システムは、試料と相互作用した複数の電磁エネルギー周波数を示す実験に基づいた分光データを取得するように設定されたインターフェース、スペクトルライブラリを示す階層スペクトルクラスタツリーのコンピュータ読取り可能な表現に通信可能に接続された少なくとも1つの電子プロセッサ、階層スペクトルクラスタツリーの複数のレベルの各データを用いて実験に基づいた分光データに由来するフォービエイテッド分光データをデミックスするように設定された少なくとも1つの電子プロセッサ、階層スペクトルクラスタツリー中の少なくとも1つのノードを実験に基づいた分光データに対応すると特定するように設定された少なくとも1つの電子プロセッサ、及び最低でも少なくとも1つのノードに対応する試料の端成分存在度評価を出力するように設定された少なくとも1つの電子プロセッサ、を含む。
【0008】
上述のシステム例の様々なオプション特性には、以下が含まれる。実験に基づいた分光データは、試料から反射された複数の電磁エネルギー周波数を示しうる。実験に基づいた分光データはピクセルを示しうる。階層スペクトルクラスタツリーは、個々の端成分を示すノードを含む、少なくとも1つのターミナルレベルを含む複数のレベルを含みうる。階層スペクトルクラスタツリーは、各プロトタイプノードが複数の端成分を示す複数のプロトタイプノードを含んでもよい。本システムは、スペクトルライブラリを階層的にクラスタ化するように設定された少なくとも1つの電子プロセッサを含みうる。フォービエイテッド分光データをデミックスするように設定された少なくとも1つの電子プロセッサは更に、フォービエイテッド圧縮投影を実行するように設定されうる。フォービエイテッド分光データをデミックスするように設定された少なくとも1つの電子プロセッサは更に、スパース再構成を実行するように設定されうる。本システムは、地理空間解析、目標認識、監視、化学物質検知、リモートセンシング、及びこれらの組み合わせのうちの少なくとも1つのために、端成分存在度評価を提供するように設定された少なくとも1つの電子プロセッサを含みうる。出力するように設定された少なくとも1つの電子プロセッサは更に、表示を人が読みうる形式にさせるように設定されうる。
【0009】
実施例は、以下の詳細な説明を参照し、添付の図面と関連性を考慮することによって、より深く理解されるため、本開示の様々な特性は、更に十分に評価されうる。
【図面の簡単な説明】
【0010】
図1】純物質及び混合物の例示的なスペクトルを概略的に示している。
図2】2つの方法でスペクトルライブラリを概略的に示している。
図3】ある実施例によるスペクトルクラスタツリーとして工夫されたスペクトルライブラリを概略的に示している。
図4】ある実施例によるフォービエイション行列の使用を示している。
図5】ある実施例による方法を示すフロー図である。
図6】ある実施例による圧縮センシング再構成の安定性及び正確性におけるフォービエイションの効果を示している。
図7】従来技術を実施例と比較する試験事例を示している。
図8】従来技術を実施例と比較する試験事例を示している。
図9】従来技術を実施例と比較する試験事例を示している。
図10】従来技術を実施例と比較する試験事例を示している。
図11】ある実施例によるシステムを示している。
【発明を実施するための形態】
【0011】
添付図面に図解される本開示の実施例について詳細に言及する。可能な場合には、同一の又は類似した部品を参照するために、図面全体を通して同一の参照番号が使用される。以下の説明において、添付図面を参照するが、添付図面は本明細書の一部を形成するものであり、特定の例示的な実装の形で示される。これらの実施例は、当業者が本開示を実施することができるよう十分に詳細に記載されており、他の実施例が利用可能であること、本開示の精神及び範囲から逸脱せずに、変更を加えうることが理解されるであろう。したがって、以下の説明は単なる例示にすぎない。
【0012】
ある実施例は、様々な解像度に基づいてハイパースペクトルデミキシングを実行するためのフォービエイテッド圧縮投影、すなわち、非線形圧縮センシングに基づくスパース性(sparsity)最大化及びオーバーサンプリングと組み合わせた階層ツリーとして体系化された多くの異なる材料のスペクトルを示すスペクトルライブラリを「フォービエイテッド」表示することを利用する。フォービエイテッド圧縮投影により、精度、ノイズに対するロバスト性及び計算効率が高い状態で、端成分が判定される。
【0013】
従来技術の線形で経験則に基づくデミキシング方法とは異なり、本明細書に記載のある実施例は、各端成分のデータに純物質ピクセルが存在すると仮定することなく、また、そのピクセルを自動ハイパースペクトル解析応用に適したものにする人間の指針なしで、ハイパースペクトル内の端成分の存在度を測定することができる。ある実施例により、非常に大きなライブラリを使用することが可能になり、入力データから端成分を(人間が)推定することが不要になる。従来技術のスパース性に基づく方法とは異なり、本明細書に記載のある実施例は、デミキシングの精度及びノイズロバスト性を改善するため、フォービエイテッド投影、オーバーサンプリング、及びツリー構成されたマルチ解像度スペクトルライブラリを使用する。加えて、スペクトルライブラリのツリーベースクラスタリングとフォービエイションとを組み合わせることにより、各レベルで最適なマッチング分枝に下がることによって、端成分を極めて迅速に特定することが可能になる。これは、マッチングさせるために調べなければならないスペクトルプロトタイプの数を大幅に減らし、計算複雑度を低減する。計算複雑度が低減されることにより、デミキシング処理の処理時間が短縮され、コンピュータハードウェアの要件が緩和され、電力消費が低下する。更に、従来技術のデミキシングアプローチとは異なり、フォービエイテッド圧縮投影の計算複雑度は、スペクトルライブラリの大きさに対して対数的に変化する。加えて、ある実施例では、存在度空間におけるデミキシング処理の解像度は、処理が続くにつれて増大する。したがって、混合物コンポーネントの粗度分類が充分であれば、処理はツリーのボトム(すなわち、ターミナルツリーレベル)に到達する前に停止され、これによって、処理時間が更に短縮される。
【0014】
図1は、純物質及び混合物の例示的なスペクトルを概略的に示している。具体的には、スペクトルグラフ102は、電磁エネルギーの多数の波長の測定された相対強度を示している。この測定値は、数千又は数百万(又はそれ以上)のピクセルからなるハイパースペクトルカメラによって撮影された画像の1つのピクセルを表わしうる。一般的に、物質は波長に対して特徴的な反射率の変化を有し、この変化はシーンの組成を遠方から測定するために使用することができる。
【0015】
多くの場合、1つのピクセルは複数の物質又は端成分を有する領域をカバーするため、スペクトルの加法混合を形成する結果となる。ハイパースペクトルデミキシング問題の目的は、1つの測定された混合スペクトルから端成分の存在度を推定することにある。多数のスペクトルをグラフィカルに描画しているグラフ104は、加法的に合成していくと、グラフ102に図示したような物質サンプルのスペクトルを形成する。したがって、グラフ104は、グラフ102に図示されたサンプルのスペクトルに適用されるハイパースペクトルデミキシングを示している。
【0016】
図2は、2つの方法でスペクトルライブラリを概略的に示している。具体的には、図2は、行列202の振幅を示す陰影によって、並びにコンポーネントスペクトル204によって、例示的なスペクトルライブラリを示している。図2に示したように、1つのピクセルに対して測定されたスペクトルベクトルxは、行列Φによって示されるスペクトルライブラリ内に含まれるN個の端成分(純物質)の線形混合としてモデル化されうる。例示的なスペクトルライブラリΦは、N=16の鉱物スペクトル端成分を使用して形成される。ΦのN列は、端成分スペクトルからなり、Q行は波長チャネルを示す。この例ではQ=480である。このようなスペクトルライブラリに関するハイパースペクトルミキシング問題の検討は以下のようになる。
【0017】
ハイパースペクトルデミキシング問題は、限定しない例として、次の方程式(1)を使用して部分的に定式化されうる。
x=Φα (1)
【0018】
方程式(1)では、記号xは測定されたQx1スペクトルベクトルを表わし、記号αは求められるNx1端成分存在度ベクトルを表わし、更に記号Φは行列の形にされたスペクトルライブラリを表わす。方程式(1)に関して、xはαの混合係数を有する端成分の混合物としてモデル化されている。これらの表現方法では、ハイパースペクトルデミキシングの目標は、所定のx及びΦに対するαを推定することにある。
【0019】
ハイパースペクトルデミキシングの問題は、大きなスペクトルライブラリを有する必要性、多くのスペクトルの類似性、測定されたスペクトルのノイズによって、難しいものとなる。加えて、1つのピクセルによってカバーされる異なる物質の数は通常小さいため、αはまばらになり、非ゼロαエレメントの数KはNと比較して小さくなりうる。これは、Φの擬似逆行列を使用する最小二乗解が多くの誤検出を含み、精度が低いことを意味する。
【0020】
ある表示ドメイン内で感知される物理的な信号のスパース性を利用することによって、出力データ解像度を低下させることなく、カメラ又は他のセンシングハードウェアに必要とされる物理的なセンサー又はピクセルの数を低減させる方法として、圧縮センシングが開発された。言い換えるならば、この方法は信号のスパース性構造を利用している。これまで、ハイパースペクトルイメージングにおけるこの方法の利用は、センサーの数を減らした新しい光学ハードウェアの設計及び構築に限られていた。
【0021】
ある実施例によれば、圧縮センシング分野の技術は、xを乗じてMx1測定ベクトルyを形成する既知のMxQランダム測定行列Aを使用して、Φの相互コヒーレンスを低減することによって、スパース性に基づくデミキシングを改善するために使用される。次に、圧縮センシング技術は、限定しない実施例として、以下の方程式(2)及び(3)によるL1規範及び最小二乗誤差最小化を使用して、αを推定するために使用されうる。
【0022】
上記の方程式(2)及び(3)では、ノイズ項ξ=Aζは、元のセンサーデータでの測定ノイズζを考慮している。圧縮センシング技術は、αを推定するのに必要な測定値数Mの下限が、例えば、次の方程式(4)によって与えられることを示している。
【0023】
上記の方程式(4)では、項KはNx1ベクトルα(スパース性の測定値)の非ゼロエレメントの数を表わし、γは小さな定数で、相互コヒーレンス関数μは、限定しない例として、以下の方程式(5)によって規定される。
【0024】
上記の方程式(5)では、項|<A,Φ>|は、Aのi行とΦのj列との内積である。ある実施例によれば、αの収束と推定の成功に必要な測定値の数は、AとΦとの間のコヒーレンスμを下げることによって低減可能である。μを下げるための汎用解となりうるランダムなA行列が見つかっている。しかも、特別な用途でMを更に下げるため、ライブラリΦにAを適用する既知の方法が存在する。
【0025】
図3は、ある実施例による階層スペクトルクラスタツリーとして工夫されたスペクトルライブラリを概略的に示している。単純にするため、各クラスタ(例えば、302)は、b=3個の分枝で描かれている。しかしながら、一般的には、分枝はクラスタごとに異なることがあり、ライブラリ構造に依存する。経路が独立したもの、或いは重なりの少ないものになればなるほど、実装のための並列化が可能になる。
【0026】
最終レベルより上の各クラスタは、スペクトルプロトタイプを表わす。一般的に、レベルLのクラスタは、レベルL−1のサブクラスタから構成される。各プロトタイプクラスタは、その構成要素サブクラスタの平均(例えば、平均値又は中央値)となりうる。代替的に、ある実施例によれば、クラスタはその構成要素サブクラスタを包み込む凸形の殻として形成される。代替例では、他のクラスタリングアルゴリズムが採用されうる。したがって、混合スペクトルは、各ツリー分枝に沿って精度が高まるようにモデル化されている。
【0027】
一般的に、Mの限界を引き下げる(ひいては、再構成安定性、ノイズロバスト性、及び精度を改善する)ため、相互コヒーレンスμを低減することは、所定のΦに対してAを適切に選択することで<A,Φ>を低減することのみならず、存在度ベクトルαのサイズNを低減することによっても実現されうる。このアプローチを単純に追及することにより、スペクトルライブラリの端成分の数を減らしうる。
しかしながら、αとΦの両方にフォービエイション又はマルチレベル解像度を使用すること、並びに図3に示したように、及びある実施例で行われるように、類似性に基づく階層ツリー構造内でライブラリ端成分をクラスタリングすることによって、検出される端成分の数を減らすことなく、Nを低減することができる。
【0028】
一般的に、ある実施例は階層スペクトルクラスタツリーのレベルを下方に進み、フォービエイテッド圧縮投影及び、例えば方程式(2)〜(5)に従って、スパース再構成方法を使用して、各レベルでクラスタプロトタイプのデミキシング及び特定を実行する。1つのレベルの1つのクラスタ内でのサブクラスタプロトタイプを測定されたスペクトルに対応すると特定することで、ツリーのどの分枝が下へ進んでデミキシングの次のレベルを実行するのかを判定することができる。このプロセスは、ツリーのボトムの端成分レベル(例えば、「葉」のレベル)に到達するまで、或いは十分な精度が得られるまで、継続しうる。一般的に、ターミナルノードへ進むことは、K個のツリー分枝をたどる結果となる。ここでKは混合物中の端成分の数である。
【0029】
図3に描かれているように階層スペクトルクラスタツリーを使用することには、多くの利点がある。このようなツリーを使用してハイパースペクトルデミキシング問題を解く際の計算複雑度は、ツリー検索構造により、スペクトルライブラリサイズNの対数となる。ツリーを下に進み、各レベルでより小さなデミキシング問題を解決する場合には、計算複雑度は、フォービエイションなしで1つの大きなデミキシング問題を解決する場合よりも小さくなる。
【0030】
図4は、ある実施例によるフォービエイション行列の例示的な使用を示している。フォービエイション、例えば、スペクトルライブラリと存在度ベクトルの対応する係数の両方を多数の階層クラスタに構成することによって、Nをより小さな数Nにすることは、図4に示すように、分離可能なフォービエイション行列演算子F=F(406,410)を使用して、α(412)とΦ(402)を修正することによって、適合的に実施されうる。具体的には、図4は、N×Nフォービエイション演算子F=F(406,410)が、階層クラスタリングとフォービエイションをスペクトルライブラリと端成分存在度の双方にどのように実装するかを概略的に示している。F(410)は、存在度ベクトルα(412)に影響し、αを形成し、グループ化及び行の追加によって、そのサイズをNx1からN×1に低減する。同様に、Fは、端成分ライブラリΦ(404)の列に対して同様に影響し、Φ(408)を形成し、そのサイズをQxNからQxNに低減する。
【0031】
端成分をクラスタにグループ化し、ツリーの上位レベルでクラスタをより大きなクラスタにグループ化する樹形図402によって示されているように、F(406,410)の形態及びNの値は、Φの階層ツリークラスタリングを使用して判定される。1つのレベルの各クラスタは、クラスタ内のスペクトルの平均又は他の関数になりうる、プロトタイプスペクトルによって表わされている。プロトタイプは、クラスタ化されたライブラリΦ=ΦFを形成する。ツリーの1つのレベルに対するこの実施例では、Fは、N=16でのαとΦのクラスタリングをN=5クラスタに実装する。プロトタイプは、Φの列を形成する。クラスタリングの各レベルは、それ自体のΦ及びαによって表わされる。一般的に、任意の既知のクラスタリング技術が使用されうる。
【0032】
ある実施例によるハイパースペクトルデミキシングプロセスは、ツリーのレベルを下に進むこと、並びに圧縮投影及びスパース再構成方法を使用して各レベルでクラスタプロトタイプのデミキシング及び特定を実行することを含む。1つのレベルで混合物内のプロトタイプを特定することで、ツリーのどの分枝が下へ進んでデミキシングの次のレベルを実行するのかを判定することができる。端成分空間におけるスペクトル混合モデルの解像度は各下方レベルで増大するが、波長の解像度は一定に留まる。混合物内の端成分スペクトルの類似性に応じて、1つのレベルで2つ以上のクラスタを選択することが可能である。これにより、その後のレベルの各々で2つ以上のデミキシングプロセスが導かれる。このプロセスは、ツリーのボトムの端成分レベルに到達するまで、高い混合物モデリング精度で進みうる。端成分間で高い識別が必要とされない場合、並びに端成分クラス又はカテゴリの特定が十分な場合には、この複数解像度プロセスはツリーのボトムに到達する前に停止されうることがあり、これにより計算複雑度を更に低減する。ツリーを下に進み、各レベルでより小さなデミキシング問題を解決する場合の計算複雑度は、スペクトルライブラリのサイズ及び桁においては対数的で、フォービエイションなしで1つの大きなデミキシング問題を解決する場合よりも小さくなる。
【0033】
フォービエイテッド存在度ベクトルαを再構成するための例示的なアルゴリズムは、限定しない例として、以下の方程式によって与えられる。
【0034】
上記の方程式では、yは測定された投影ベクトルで、ξはセンサーノイズを表わす。αの再構成に必要な測定値の数Mの引き下げられた下限は、限定しない例として、以下の方程式によって与えられる。
【0035】
Mと比較したMの低減係数は、限定しない例として、以下の方程式によって与えられる。
【0036】
方程式(10)は、以下の方程式(11)によって表わされる観測結果を利用している。
【0037】
したがって、フォービエイションはNを低減するためだけでなく、フォービエイテッド圧縮投影再構成が安定するMの範囲を広げるためにも使用されうる。
【0038】
図5は、ある実施例による方法を示すフロー図である。図5の方法は、適切に設定された計算装置ですべて或いは部分的に実装されうる。
【0039】
ブロック502では、本方法は実験に基づいた分光データを取得する。分光データは、限定しない例として、適切なセンサー及び光学素子を使用した測定によって、(例えば、以前の測定データを)電子記憶装置から取り出すことによって、或いは(例えば、以前の測定データを)電子ネットワークで収集することによって、取得されうる。したがって、本方法は、例えば電子送信によってデータを取得しうる。分光データはこれまで、分光データを取得するための何らかの従来技術によって、例えば、顕微鏡、望遠鏡、又は他の光学レンズ装置などの古典的なニュートン光学機器に接続された適切なセンサーを使用して取得されてきた。分光データは複数の周波数と関連する振幅を表わしうるが、振幅は相対値であってもよい。より具体的には、分光データは、反射、蛍光、或いは分光目的に適した試料との他の何らかのタイプの相互作用による電磁エネルギーの測定値を表わしうる。
【0040】
ブロック504では、本方法は階層スペクトルクラスタツリーにアクセスする。このアクセスは電子的なアクセスであってもよく、階層スペクトルクラスタツリーは、例えば、図2から図4を参照して本明細書で詳述されているように、多数の異なる物質について保存されたスペクトルのスペクトルライブラリを表わしうる。
【0041】
ブロック506では、本方法は、階層スペクトルクラスタツリーの少なくとも1つのレベルで、フォービエイテッド分光データのデミキシングを実行する。このブロックの技術は、例えば、本明細書で図3及び図4を参照して説明されているように実行されうる。ブロック506の動作は、例えば、本明細書で図3及び図4を参照して詳述されているように、フォービエイテッド圧縮投影及び/又はスパース再構成を含みうる。
【0042】
ブロック512では、本方法は、階層スペクトルクラスタツリーの分枝をたどることを停止するかどうかを判定する。ある実施例によれば、本方法は、階層スペクトルクラスタツリーの一又は複数の分枝をたどってエンド(リーフ)ノードに至った時点または至る前に終了することがある。代替的に、又は追加的に、現在の結果が充分に正確であるとユーザーが判断する場合には、本方法は、リーフノードのレベルに至る前に終了することがある。ブロック512で本方法を続けるべきであると判断される場合には、制御はブロック506に戻る。そうでない場合には、制御はブロック514に進む。
【0043】
ブロック514では、本方法は、階層スペクトルクラスタツリーで少なくとも1つのノードを特定する。特定されたノードは、この時点で本方法によってたどりつかれた最も近いマッチングノードに対応しうる。
【0044】
ブロック516では、本方法は端成分存在度評価を出力する。端成分存在度評価は、ブロック514での特定されたノードに基づいてもよい。端成分存在度評価は、人が読みうる形式であってもよく、例えば、化学的記述によって置き換えられたスペクトルを有してもよい。出力は様々な形式のいずれであってもよく、例えば、コンピュータモニタへの出力、ビデオプロセッサへの出力、目標とする機構への出力などであってもよい。
【0045】
図6は、ある実施例による圧縮センシング再構成の安定性及び正確性におけるフォービエイションの効果を示している。具体的には、図6は(δ,ρ)位相面602におけるミニマックスノイズ感度M(δ,ρ)の曲線を示している。δ=M/Nの項はサブサンプリングレート、ρ=K/Mの項はスパース性を表わす(Mを測定値の数Mと混同してはならない)。平均すると、デミキシングのノイズすなわち誤差は、測定した混合物のノイズのM倍に等しい。破線の曲線604は、位相境界(δ,ρMSE(δ))を示している。この曲線の上方で、M(δ,ρ)は無限大に近づき、再構成(例えば、デミキシング)は失敗する。色のついた線はM(δ,ρ)の曲線を表わす。投影(測定値)の数Mが増えることにより、ρは減少してδは増加し、これまでの動作点をMの勾配に下げることによって、デミキシングの精度を改善する。フォービエイションは、デミキシングの安定性を確保するため、位相空間内で動作点をシフトするための自由度を増やす。
【0046】
したがって、ある実施例は、階層ツリークラスタリングを使用して、類似性に従ってライブラリΦ内のスペクトルをクラスタ化し、ツリーの各レベルで別々のスパース再構成を使用して、端成分存在度を探すため、マルチ解像度ツリーベース検索を実行する。各レベルでNが減少するため、再構成の精度が各レベルで改善される。複数のレベルにわたる処理の総数はかなり少なくなり、すべての端成分にわたって同時に検索する大きなNの単一再構成が実行された場合よりも、最終精度は高くなるであろう。この観測は、図7から図10を参照して以下に示され、説明されるように、例示的なデミキシング問題を使用して示されている。
【0047】
ある実施例の計算複雑度は一般的に、ライブラリツリーの形態及び端成分がどのようにクラスタ化されるかに、部分的に依存する。計算複雑度の上限は、スペクトルライブラリクラスタツリーとツリーを下方にたどる経路に関して、最悪の場合(例えば、各ノードで最大数の分枝があり、すべての分枝が最終レベルに達する場合)を仮定することによって推定できる。このような推定に対して、すべてのクラスタがb個の分枝を有し、K個の混合物端成分までの経路が重ならないという単純な場合を仮定する。この場合、ツリーのボトムでの端成分候補の数(ライブラリサイズ)はN=N=bである。ここでLはレベルの数を表わす。このような実施例は、N=N=bでそれぞれ、KL=Klog(N)/log(b)デミキシング問題を解決しなければならない。したがって、ある実施例による計算複雑度は、スペクトルライブラリΦのサイズNの対数となる。フォービエイション又はツリーベースクラスタリングなしの圧縮センシングの場合には、実施例は、N=N=bで1つの大きなスパース再構成を実行する必要がある。スパース再構築にMATLABのCoSampアルゴリズムを使用すると、その複雑度はO(KMN)で、Kは混合物の端成分の数である。この場合に、M=Nを仮定すると、フォービエイテッド圧縮投影を採用する実施例の複雑度はO(LK)であり、圧縮センシングの複雑度はO(Kb2L)となる。したがって、フォービエイテッド圧縮投影を利用する実施例の計算複雑度は、圧縮センシングのみを利用する実施例の計算複雑度よりもKLb2(1−L)倍小さくなる。代わりに使用されうるムーア・ペンローズの擬似逆行列の解決策の複雑度はO(QN)=O(Qb)となる。ここでQはハイパースペクトルチャネルの数である。したがって、マルチレベルフォービエイションを使用してツリーを下に進み、各レベルで小さなデミキシング問題を解決する場合には、複雑度は、フォービエイションなしで1つの大きなデミキシング問題を解決する場合よりも小さくなる。
【0048】
例えば、N=103、K=2、b=10、及びL=3でフォービエイテッド圧縮投影を採用する実施例は、フォービエイションなしで圧縮センシングを採用する実施例と比べて使用する処理の数は6×10−4倍に少なくなり、この実施例(スペクトルチャネル数に対してQ=480を仮定)についてムーア・ペンローズの擬似逆行列を使用する場合と比べて使用する処理の数は1.3×10−3倍に少なくなる。
【0049】
図7から図10は、従来技術を様々な実施例と比較する様々な試験事例を示している。これらの図は、図2によって示されるデータを利用している。図2に描かれたコレクションのN=16鉱物スペクトルは、様々な実施例を試験して従来技術と対比するためのスペクトルライブラリΦを形成するために使用された。波長帯の数はQ=480であった。K=2の試験スペクトル入力となるよう、1%の付加ノイズを加えた2つのスペクトルの混合xが形成された。存在度αは、一般的に入手可能な圧縮センシングコードを使用して推定された。
【0050】
図7では、NxN単位行列(702)に等しいFに対する圧縮センシング結果、すなわち、非フォービエイション圧縮センシング結果が示されている。5%のノイズを有するM=13の投影に関しては、圧縮センシング(704)は6.31%の誤差を有したが、一方擬似逆行列誤差は634%であった。しかも、擬似逆行列は、混合物中に存在しない端成分に対して、誤警報又は非ゼロ値を生成した。フォービエイションなしの圧縮センシングには誤警報はなかった。MATLABのCoSampの動作時間は7.5ミリ秒であった。
【0051】
図8は、ライブラリに存在しない端成分からなる入力スペクトルに対する結果を示している。フォービエイションがないため、F(802)は単位行列になっている。測定ノイズ値は5%であった。圧縮センシングの残存部分は10.1で、ライブラリに存在しないスペクトルがあるため圧縮センシングは収束しないことがありうることが示唆された。したがって、入力スペクトルがライブラリに存在しない端成分からなる場合には、入力スペクトルは測定されたスペクトル804の再構成時の残存誤差の大きな値から検出されうる。
【0052】
図9は、クラスタレベル1のフォービエイションに対する例示的な結果904、906を示している。フォービエイテッド圧縮センシングは、混合物の端成分がクラスタ2の中にあり、他のクラスタについては存在度がゼロであったことを問題なく検出した。擬似逆行列は、5つのクラスタすべてについて、非ゼロ存在度を生成した。5%の測定ノイズに対しては、フォービエイテッド圧縮センシングの誤差は6.0%であったが、擬似逆行列の誤差は115%であった。図10では、クラスタレベル1で混合物の端成分を含むと判定されたクラスタ2に対してフォービエイトするためにF(902)が使用された。フォービエイテッド圧縮センシングは、第2クラスタ中の他の3つの端成分に対しては存在度ゼロのまま、クラスタ中の正しい2つの端成分を問題なく検出した。擬似逆行列は、5つのクラスタすべてに対して、非ゼロ存在度を生成した。5%の測定ノイズに対しては、フォービエイテッド圧縮センシング誤差は5.9%で、擬似逆行列誤差は143%であった。
【0053】
図10は、図9と同一の試験事例を示しているが、F(1002)によって、更に高い解像度で第2のクラスタをフォービエイトするように修正されている。結果1004、1006が示されている。クラスタレベル1でクラスタ2が端成分を含むと判定されたことに留意されたい。測定ノイズ値は5%で、MC=16であった。フォービエイテッド圧縮投影は、誤警報なしで、2つの端成分を問題なくデミックスした。フォービエイテッド圧縮センシング誤差は0.16%で、一方、擬似逆行列誤差は143%であった。図9では、クラスタレベル1に対して再構成の精度が改善されていることに留意されたい。
【0054】
以下の表は、図7から図10を参照して本明細書に記載されている試験問題に対する結果をまとめたものである。
【0055】
フォービエイテッド圧縮投影は、混合物の端成分存在度の判定において、また、入力スペクトルの正確なモデリングにおいて、ノイズを抑制した正確性を実現した。圧縮センシング及びフォービエイテッド圧縮投影の双方に対する圧縮係数は、この試験例ではQ/K=480/2=240倍に等しかった。圧縮センシングと比較して、フォービエイテッド圧縮投影デミキシング誤差は2.25倍減少し、処理の数は3.85倍減少した。0.16%のフォービエイテッド圧縮投影デミキシング誤差は、存在度を判定するために、データ中にどの端成分があるかを事前に知って、最小二乗適合を単純に実行したオラクルデミキサー(oracle demixer)にほぼ等しかった。圧縮センシングとフォービエイテッド圧縮投影は共に誤警告を発することはなかった。言い換えるならば、入力データ中に存在しなかったすべての端成分に対して、推定存在度はゼロであった。擬似逆行列の方法は、143%という非常に大きなデミキシング誤差を有し、入力データ中に存在しなかったほとんどすべての端成分に対して、ゼロでない存在度を示した。これらの結果は、高い精度、低い誤警報率、及びデータへの適合による計算複雑度の低減を実現する、ハイパースペクトルデータ解析の自動化ツールとしてのフォービエイテッド圧縮投影の使用を支持するものである。
【0056】
図11は、ある実施例によるシステムを示している。具体的には、図11は、本開示の実施例によるシステム及び方法で装置1106の実装に使用されうる、様々なハードウェア、ソフトウェア、及びその他のリソースを示している。示した実施例では、装置1106は、オペレーティングシステムの制御下で、或いはオペレーティングシステムと連動して動作するランダムアクセスメモリに接続されたプロセッサ1110を含みうる。実施例のプロセッサ1110は、一又は複数のサーバー、クラスタ、或いは他のコンピュータまたはハードウェアリソースに組み込み可能であるか、クラウドベースのリソースを使用して実装可能である。プロセッサ1110は、データにアクセスする又はデータを保存するために、ローカルのハードドライブ又はドライブアレイに保存されたデータベースなどのデータストア1112と通信を行うことができる。プロセッサ1110は更に、イーサネット又は無線データ接続などのネットワークインターフェース1108と通信可能である。ネットワークインターフェース1108は、インターネット又は他の公衆ネットワーク又はプライベートネットワークなど、一又は複数のネットワーク1104と通信を行い、これを介して、分光データ取得装置1102から分光データを得ることができる。装置1102は、例えば、分光器、スタンドオフ型検出器、標的システム、或いはリモート又はローカルに設置されている持続性の記憶装置又は動的な記憶装置であってもよい。プロセッサ1110は更に、本明細書に記載のように平行処理を可能にする計算コプロセッサ1114に接続されている。プロセッサ1110は、一般的に、制御ロジック及び制御デミキシング処理を実行するようにプログラム又は設定することが可能である。装置1106の他の設定、関連するネットワーク接続、及び他のハードウェア、ソフトウェア、及びリソースが可能である。
【0057】
以下はある実施例の特性である。階層クラスタリングは、スペクトルライブラリ上で実行されてよく、その結果生じるツリーは、複数のレベルを有するデシジョンツリーに体系化されてよい。1つのレベルの各クラスタは、前のレイアのサブクラスタプロトタイプを表わしうる。同一のクラスタリングは、フォービエイション演算子F及びFを使用して、ライブラリ及び混合物端成分存在度の両方で実行されうる。端成分及びその存在度が判定されるまで、ツリーはトップからボトムまでたどられるように、フォービエイテッド圧縮投影及びスパース再構成は、高い精度で混合物スペクトルを再構成しモデル化するよう、ツリーの各レベルで実行されうる。オーバーサンプリング、すなわち、クラスタ数よりも多くの投影を使用することにより、ノイズがある場合にもデミキシングの精度を高めることができる。各レベルで選択されたプロトタイプは、混合物中の端成分及びその存在度を判定するため、どのようにツリーをたどるかを判定しうる。ツリークラスタリング及びフォービエイションは、1つの大きな再構成を実行する代わりに、デシジョンツリーに整えられた複数の小さなスパース再構成を使用することにより、全体的な計算複雑度を大幅に低減し、大きなライブラリに対するスケーリングを改善する。
【0058】
更に、本開示は下記の条項による態様を含む。
【0059】
条項1. スペクトルデミキシングのための方法であって、試料と相互作用した複数の電磁エネルギー周波数を示す実験に基づいた分光データを取得すること、スペクトルライブラリを示す階層スペクトルクラスタツリーのコンピュータ読取り可能な表現にアクセスすること、階層スペクトルクラスタツリーの複数のレベルの各データを用いて実験に基づいた分光データに由来するフォービエイテッド分光データをデミキシングすること、前記階層スペクトルクラスタツリー中の少なくとも1つのノードを前記実験に基づいた分光データに対応すると特定すること、及び最低でも前記少なくとも1つのノードに対応する前記試料の端成分存在度評価を出力すること、を含む方法。
【0060】
条項2. 前記実験に基づいた分光データは、前記試料から反射された複数の電磁エネルギー周波数を示す、条項1に記載の方法。
【0061】
条項3. 前記実験に基づいた分光データはピクセルを示す、条項1又は2に記載の方法。
【0062】
条項4. 前記階層スペクトルクラスタツリーは、個々の端成分を示すノードを含む少なくとも1つのターミナルレベルを含む複数のレベルを備える、条項1から3のいずれか一項に記載の方法。
【0063】
条項5. 前記階層スペクトルクラスタツリーは、各プロトタイプノードが複数の端成分を示す複数のプロトタイプノードを含む、条項1から4のいずれか一項に記載の方法。
【0064】
条項6. 前記スペクトルライブラリを階層的にクラスタリングすることを更に含む、条項1から5のいずれか一項に記載の方法。
【0065】
条項7. フォービエイテッド分光データを前記デミキシングすることは、フォービエイテッド圧縮投影を実行することを含む、条項1から6のいずれか一項に記載の方法。
【0066】
条項8. フォービエイテッド分光データを前記デミキシングすることは、スパース再構成を含む、条項1から7のいずれか一項に記載の方法。
【0067】
条項9. 地理空間解析、目標認識、監視、化学物質検知、リモートセンシング、及びこれらの組み合わせのうちの少なくとも1つのために、前記端成分存在度評価を使用することを更に含む、条項1から8のいずれか一項に記載の方法。
【0068】
条項10. 前記出力することは、表示を人が読みうる形式にさせることを含む、条項1から9のいずれか一項に記載の方法。
【0069】
条項11. スペクトルデミキシングのためのシステムであって、試料と相互作用した複数の電磁エネルギー周波数を示す実験に基づいた分光データを取得するように設定されたインターフェース、スペクトルライブラリを示す階層スペクトルクラスタツリーのコンピュータ読取り可能な表現に通信可能に接続された少なくとも1つの電子プロセッサ、前記階層スペクトルクラスタツリーの複数のレベルの各データを用いて前記実験に基づいた分光データに由来するフォービエイテッド分光データをデミックスするように設定された少なくとも1つの電子プロセッサ、前記階層スペクトルクラスタツリー中の少なくとも1つのノードを前記実験に基づいた分光データに対応すると特定するように設定された少なくとも1つの電子プロセッサ、及び最低でも前記少なくとも1つのノードに対応する前記試料の端成分存在度評価を出力するように設定された少なくとも1つの電子プロセッサ、を含むシステム。
【0070】
条項12. 前記実験に基づいた分光データは、前記試料から反射された複数の電磁エネルギー周波数を示す、条項11に記載のシステム。
【0071】
条項13. 前記実験に基づいた分光データはピクセルを示す、条項11又は12に記載のシステム。
【0072】
条項14. 前記階層スペクトルクラスタツリーは、個々の端成分を示すノードを含む少なくとも1つのターミナルレベルを含む複数のレベルを備える、条項11から13のいずれか一項に記載のシステム。
【0073】
条項15. 前記階層スペクトルクラスタツリーは、各プロトタイプノードは複数の端成分を示す複数のプロトタイプノードを含む、条項11から14のいずれか一項に記載のシステム。
【0074】
条項16. 前記スペクトルライブラリを階層的にクラスタ化するように設定された少なくとも1つの電子プロセッサを含む、条項11から15のいずれか一項に記載のシステム。
【0075】
条項17. フォービエイテッド分光データをデミックスするように設定された少なくとも1つの電子プロセッサは更に、フォービエイテッド圧縮投影を実行するように設定されている、条項11に記載のシステム。
【0076】
条項18. フォービエイテッド分光データをデミックスするように設定された少なくとも1つの電子プロセッサは更に、スパース再構成を実行するように設定されている、条項11に記載のシステム。
【0077】
条項19. 地理空間解析、目標認識、監視、化学物質検知、リモートセンシング、及びこれらの組み合わせのうちの少なくとも1つのために、前記端成分存在度評価を提供するように設定された少なくとも1つの電子プロセッサを含む、条項11から18のいずれか一項に記載のシステム。
【0078】
条項20. 出力するように設定された前記少なくとも1つの電子プロセッサは更に、表示を人が読みうる形式にさせるように設定される、条項11に記載のシステム。
【0079】
実施例は、スペクトルの一部の特定のスペクトルに限定されないことに留意されたい。したがって、ある実施例は、フォービエイテッド圧縮投影を使用して、スペクトルデミキシングを実行する。ある実施例は、フォービエイテッド圧縮投影を使用して、ハイパースペクトルデミキシングを実行する。
【0080】
上述のある実施例は、コンピュータアプリケーション又はプログラムを使用して部分的に実行されうる。コンピュータプログラムは、機能している場合も休止しているも、様々な形態で存在しうる。
例えば、コンピュータプログラムは、ソースコード、オブジェクトコード、実行可能コード又は他の形式のプログラム命令、ファームウェアプログラム、又はハードウェア記述言語(HDL)ファイルからなりうる、一又は複数のソフトウェアプログラム、ソフトウェアモジュール、又はその両方で存在しうる。上述のいずれかは、圧縮された形態又は非圧縮形態のコンピュータ可読記憶デバイス及び媒体を含みうる、コンピュータ可読媒体上で具現化されうる。例示的なコンピュータ可読デバイス及び媒体は、従来のコンピュータシステムのRAM(ランダムアクセスメモリ)、ROM(読出し専用メモリ)、EPROM(消去可能なプログラマブルROM)、EEPROM(電気的に消去可能なプログラマブルROM)、及び磁気ディスク又は磁気テープ或いは光ディスクを含む。
【0081】
当業者であれば、上述の実施例に対して、その理念及び範囲を逸脱することなく、様々な修正を行うことが可能であろう。本明細書で使用されている用語及び記述は、説明のみを目的としたもので、限定を意図していない。特に、方法は実施例によって説明されているが、方法のステップは例示とは異なる順序で、或いは同時に実行されることがある。当業者であれば、これらのステップ及び他の変形例は、下記の特許請求の範囲及びその均等物で画定される理念及び範囲内にあることが理解されよう。
図1
図3
図5
図6
図7
図8
図9
図10
図11
図2
図4
【外国語明細書】
2016224031000001.pdf
2016224031000002.pdf
2016224031000003.pdf
2016224031000004.pdf