特許 7123309 二次元サーモグラフィにおける血管抽出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-15

(45)【発行日】2022-08-23

(54)【発明の名称】二次元サーモグラフィにおける血管抽出

(51)【国際特許分類】

   A61B 5/01 20060101AFI20220816BHJP

   G06T 1/00 20060101ALI20220816BHJP

   G06T 7/00 20170101ALI20220816BHJP

【ＦＩ】

A61B5/01 350

G06T1/00 290Z

G06T7/00 612

【請求項の数】 14

(21)【出願番号】P 2018567044

(86)(22)【出願日】2017-06-29

(65)【公表番号】

(43)【公表日】2019-09-05

(86)【国際出願番号】 IB2017053903

(87)【国際公開番号】W WO2018002863

(87)【国際公開日】2018-01-04

【審査請求日】2020-06-24

(31)【優先権主張番号】62/356,238

(32)【優先日】2016-06-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518298027

【氏名又は名称】ニラマイ・ヘルス・アナリティックス・ピーブイティー・エルティーディ

(74)【代理人】

【識別番号】100107847

【弁理士】

【氏名又は名称】大槻 聡

(72)【発明者】

【氏名】テジャ・カキレティ・シヴァ

【審査官】高松 大

(56)【参考文献】

【文献】米国特許第０５８１００１０（ＵＳ，Ａ）

【文献】米国特許出願公開第２０１１／０２４３４０９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１３５７２９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／００１９８４６（ＵＳ，Ａ１）

【文献】Siva Teja Kakileti，Automated Blood Vessel Extraction in Two-Dimensional Breast Thermography，2016 IEEE International Conference on Image Processing (ICIP)，2016年08月19日，pp. 380-384

【文献】Elham Saniei et al.，A vascular network matching in dynamic thermography for breast cancer detection，Quantitative InfraRed Thermography Journal，2015年03月23日，Vol. 12，pp. 24-36

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０１

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

患者のサーモグラフィ画像から血管を分離する方法であって、
患者のサーモグラフィ画像を受信するステップと、
前記サーモグラフィ画像から管状構造の画素を抽出するための形状に基づく検出基準と周囲に対する相対的な強度に基づいて前記サーモグラフィ画像から血管の画素を抽出する温度に基づく検出基準との両方を満たす画素として候補画素を特定するステップと、
前記管状構造の幅方向において極大強度を有しない非血管画素を前記候補画素から取り除き、前記サーモグラフィ画像における血管構造に関連する血管画素を特定するステップと、
前記サーモグラフィ画像上に線を引き、特定された血管構造を示すステップと、を含む方法。

【請求項2】

前記温度に基づく検出基準は、
前記サーモグラフィ画像を所定の大きさの非重複画素ブロックに分割するステップと、
前記非重複画素ブロックの各画素を当該ブロックの画素の平均値に等しい閾値で二値化し、候補画素を特定するステップと、を用いて前記サーモグラフィ画像から血管の画素を抽出するための基準である請求項１に記載の方法。

【請求項3】

前記形状に基づく検出基準は、次の式を用いて前記サーモグラフィ画像から血管の画素を抽出するための基準であり、

【数17】

Ｖ_Ｓは縮尺ｓの血管性尺度であり、ｔは血管領域と非血管領域とを決める閾値であり、λ_１、λ_２はヘッセ行列の固有ベクトルであって｜λ_１｜≧｜λ_２｜であり、筒状構造についてはＶ_Ｓ＝１であり、その他構造についてはＶ_Ｓ＝０又はＶ_Ｓ＝－１であることを特徴とする請求項１に記載の方法。

【請求項4】

前記サーモグラフィ画像において前記血管画素に異なる色で印を付け、前記胸部組織の血管構造を視覚的に識別可能にするステップを更に含む請求項１に記載の方法。

【請求項5】

前記血管構造の屈曲に基づき胸部組織を悪性又は非悪性のいずれかに分類する分類装置システムに前記印付き血管構造を提供するステップを更に含む請求項４に記載の方法。

【請求項6】

前記分類装置システムがサポートベクトルマシン、ニューラルネットワーク、ベイジアンネットワーク、ロジスティック回帰、ナイーブベイズ、ランダムフォレスト、決定木及びブースト決定木、Ｋ近傍法、制限付きボルツマンマシン、並びに、これらの組み合わせからなるハイブリッドシステムのいずれかを含むことを特徴とする請求項５に記載の方法。

【請求項7】

患者のサーモグラフィ画像の血管を分離するシステムであって、
記憶装置と、
前記記憶装置から機械可読指令を読み出すプロセッサと、を具備し、
当該機械可読指令が前記プロセッサで実行されると、前記プロセッサが、
患者のサーモグラフィ画像を受信し、
前記サーモグラフィ画像から管状構造の画素を抽出するための形状に基づく検出基準と周囲に対する相対的な強度に基づいて前記サーモグラフィ画像から血管の画素を抽出する温度に基づく検出基準との両方を満たす画素として候補画素を特定し、
前記管状構造の幅方向において極大強度を有しない非血管画素を前記候補画素から取り除き、前記サーモグラフィ画像における血管構造に関連する血管画素を特定し、
前記サーモグラフィ画像上に線を引き、特定された血管構造を示し、
前記血管画素を前記記憶装置に伝達することを可能にするシステム。

【請求項8】

前記温度に基づく検出基準は、
前記サーモグラフィ画像を所定の大きさの非重複画素ブロックに分割するステップと、
前記非重複画素ブロックの各画素を当該ブロックの画素の平均値に等しい閾値で二値化し、候補画素を特定するステップと、を用いて前記サーモグラフィ画像から血管の画素を抽出するための基準である請求項７に記載のシステム。

【請求項9】

前記形状に基づく検出基準は、次の式を用いて前記サーモグラフィ画像から血管の画素を抽出するための基準であり、

【数18】

Ｖ_Ｓは縮尺ｓの血管性尺度であり、ｔは血管領域と非血管領域とを決める閾値であり、λ_１、λ_２はヘッセ行列の固有ベクトルであって｜λ_１｜≧｜λ_２｜であり、筒状構造についてはＶ_Ｓ＝１であり、その他構造についてはＶ_Ｓ＝０又はＶ_Ｓ＝－１であることを特徴とする請求項７に記載のシステム。

【請求項10】

前記サーモグラフィ画像において前記血管画素に異なる色で印を付け、前記胸部組織の血管構造を視覚的に識別可能にするステップを更に含む請求項７に記載のシステム。

【請求項11】

表示装置、前記記憶装置及びネットワーク上の遠隔装置のいずれかに前記印付き画像を伝達するステップを更に含む請求項１０に記載のシステム。

【請求項12】

前記血管構造の屈曲に基づき前記胸部組織を悪性又は非悪性のいずれかに分類する分類装置システムに前記印付き血管構造を提供するステップを更に含む請求項１０に記載のシステム。

【請求項13】

前記分類装置システムがサポートベクトルマシン、ニューラルネットワーク、ベイジアンネットワーク、ロジスティック回帰、ナイーブベイズ、ランダムフォレスト、決定木及びブースト決定木、Ｋ近傍法、制限付きボルツマンマシン、並びに、これらの組み合わせからなるハイブリッドシステムのいずれかを含むことを特徴とする請求項１２に記載のシステム。

【請求項14】

表示装置、前記記憶装置及びネットワーク上の遠隔装置のいずれかに前記分類を伝達するステップを更に含む請求項１２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は人のサーモグラフィ画像において血管を分離するシステム及び方法に関する。

【背景技術】

【0002】

女性の全ての癌の中でも発生率において乳癌は首位を占め、検出される癌の約４分の１を占める。このように総人口における発生率が高く、西洋ではおよそ８人に１人、インドでは１１人に１人の女性が生涯のうちいつか乳癌となり、検出や治療といった介入を必要とする。乳癌は早期に検出されると完治可能であるため、早期検出が重要となっている。サーモグラフィは代替方法として出現した非放射性非接触の乳癌検出検診方法であり、その感度は女性の年齢に左右されない。乳癌検診の取り組みとして、サーマルカメラの解像度や技術が改良されたサーモグラフィへの関心がここ十年で再燃してきた。サーモグラフィをその他身体部分の撮像に使用することもでき、皮膚上の温度分布が正確に現れる。

【0003】

悪性腫瘍は血管数を増加させる。このような悪性腫瘍増殖と血管新生の依存に関する実験的証拠が知られている。癌組織から放出される一酸化窒素の存在により癌では微小循環が変化する。この一酸化窒素が血液循環を増加させることで新たな導管が形成され、休止管も回復される。悪性腫瘍は周囲組織よりも温度が高いことが接触温度測定で観察される。悪性腫瘍は腫瘍に関連する血管の温度よりも高いことも観察された。癌細胞の代謝活性増加により熱が発生する。この熱はサーマルカメラにより検出可能である。悪性腫瘍は血管形状の局所変化を引き起こし、正常血管に比べ血管の幅や長さといった血管寸法を大きくする。正常血管と悪性血管の幅の顕著な違いは血液供給の増加によるものである。癌の早期段階に屈曲（管成長のねじれや曲がり）が現れ、腫瘍血管にはやや深い屈曲があり、大きな湾曲上には小さな湾曲が多数あることが示される。このため管口径、管長、結果として生じる屈曲が大きくなり、この影響により癌細胞への血流も増加する。屈曲の分析を可能にするために胸部組織サーモグラフィ画像を正確に分離（抽出）できるようにすることは重要である。本発明は特にこの取り組みに関する。

【発明の概要】

【0004】

本発明は、乳癌検診に着目し、１又は２以上の非悪性カテゴリーのサブセットと１又は２以上の悪性サブセットとを区別する特徴の熱画像からの抽出に着目する。これらの特徴の一部は、熟練のサーモグラファによる目視観察と関連するが、全く同じではない。このような特徴を抽出するアルゴリズムは、表現において視覚的特徴とは異なり、熱画像からの観察を数量化するという利点を提供する。視覚的解釈が難しい別の特徴も他にあり、医学的妥当性をもって、複数の非悪性事例から悪性事例を区別するために設計されたものである。これらの特徴を血管特徴と非血管特徴とに分けて本書で説明する。本発明では、画像にホットスポットや不均一な熱が存在しても、強度や形状に基づく記述子を考慮することにより、熱画像から血管を抽出する。本方法の一実施形態は、患者胸部のサーモグラフィ画像において血管を分離するために次のように使用される。患者の胸部のサーモグラフィ画像を受信する。温度に基づく分析が画像上で行われ、血管画素が検出される。形状に基づく分析も行われ、管状構造の画素が検出される。温度に基づく基準と形状に基づく基準を共に満たす候補画素が特定される。その後、両基準を満たす候補画素に極大性の制約が課され、不要な非血管画素を除去する。胸部組織の血管構造を視覚的に識別できるように両基準を満たす候補画素に異なる色で印を付ける。血管構造の屈曲に基づき熱画像の細胞を悪性又は非悪性のいずれかに分類する分類装置システムに血管構造を提供する。

【0005】

上記方法の特徴や効果は以下の詳細な説明及び添付図面から容易に明らかになる。

【図面の簡単な説明】

【0006】

本書に開示する対象事項の上記及びその他の特徴や効果は、以下の詳細な説明と添付図面とを併せて明らかにされる。

【0007】

図１は、女性患者と共に、患者の正面で左右に半円軌道に沿ってカメラを動かす摺動可能で軸回転可能なロボットアームに搭載されたサーマルカメラの一例を示す。

【0008】

図２は、患者の胸部サーモグラフィ画像を示す。

【0009】

図３は、図２の画像が本書の教示に従い処理され、血管が特定された画像を示す。

【0010】

図４は、患者の胸部サーモグラフィ画像において血管を分離する本方法の一実施形態を示すフローチャートである。

【0011】

図５は、図４のフローチャートについて記載した実施形態に従い乳癌検診用サーモグラフィ画像を処理する画像処理システムの一例の機能ブロック図を示す。

【発明を実施するための形態】

【0012】

患者のサーモグラフィ画像において血管を分離するシステムおよび方法を開示する。
＜非限定的定義＞

【0013】

「患者」は男性又は女性を示す。性別代名詞は、添付の請求範囲を厳密に女性に限定すると見なされない。また、本開示の全体を通して「被験者」、「人」、「患者」という用語をほぼ同じ意味で使用するものの、癌検診を受ける患者は人間以外、例えば霊長目の動物でもよいと認識しなければならない。このため、こうした用語を使用することで添付の請求範囲を人間に限定するものではない。

【0014】

「サーマルカメラ」はスチルカメラ又はビデオカメラのいずれかを意味し、そのレンズは、場面の物体の赤外線エネルギーを、画素単位で赤外線エネルギーを電気信号に変換する専用センサの配列に合わせ、所望の波長帯域の画像において物体の温度に対応する色値の画素配列を含む熱画像を出力する。図１は摺動可能で軸回転可能なロボットアーム１０２に搭載されたサーマルカメラ１０１を示し、ロボットアーム１０２は右側面図１０４、正面図１０５、左面図１０６、その中間の様々な斜視角度でサーモグラフィ画像を取り込めるように患者の正面で半円軌道１０３に沿って左右にカメラを移動させることができる。サーマルカメラは単帯域赤外線カメラ、熱領域の多帯域赤外線カメラ、熱領域のハイパースペクトル赤外線カメラでもよい。サーマルカメラの解像度は実際には画素サイズである。画素が少ない場合、より多くの画素が熱画像に含まれ、結果として生じる画像の解像度が高くなり、空間鮮明度が良くなる。サーマルカメラの温度設定はダイナミックレンジが比較的大きいが、カメラの温度範囲を人の身体表面温度の前後を中心に比較的小さくし、画素色変化の見地から小さな温度変更を増幅させ、温度変化の尺度を向上させることが好ましい。サーマルカメラは各種流通で容易に入手できる。一実施形態においてサーマルカメラは、例えばサーマルカメラのレンズの焦点調整、サーマルカメラの解像度変更、サーマルカメラのズームレベルの変更等のサーマルカメラの各種側面の手動又は自動制御を可能にするワークステーションと有線又は無線通信するように配置される。

【0015】

「サーモグラフィ画像」又は単に「熱画像」は複数の画素を含み、各画素は関連する対応温度値を有する。熱画像では温度値の高い画素が第１色で表示され、温度値の低い画素が第２色で表示される。低温度値と高温度値の間の温度値の画素は、第１色と第２色の間の色の階調で表示される。熱画像はサーマルイメージング装置のメモリ又は記憶装置から検索可能、あるいはネットワーク上の遠隔装置から取得可能である。熱画像をＣＤ－ＲＯＭ又はＤＶＤ等の媒体から検索してもよい。処理用の熱画像が入手可能なウェブベースのシステムから熱画像をダウンロードしてもよい。幅広く出回っている手のひらサイズ携帯装置用アプリケーション等を使用して熱画像を検索し、ユーザの携帯電話、あるいはｉＰａｄやタブレット等のその他手のひらサイズ計算装置で処理することもできる。「画像」という用語の使用は「ビデオ」も意味するものとする。この熱画像は純粋に、熱画像の各画素の色で示される測定温度値機能として抽出される実数値二次元マトリックス（放射測定画像としても知られる）として記憶／検索することもできる。

【0016】

患者の癌検診用「熱画像を受信する」は幅広く解釈されるものとし、ビデオ画像フレームの検索、取込、取得、又は入手を含む。ネットワーク上で遠隔装置から、又はＣＤ－ＲＯＭやＤＶＤ等の媒体から画像を受信、又は検索することができる。本書に開示する方法に従いビデオを処理できるようにするウェブベースのシステム又はアプリケーションから画像をダウンロードしてもよい。手のひらサイズの携帯装置用アプリケーション等から画像を検索し、携帯電話又はｉＰａｄやタブレットＰＣ等のその他手のひらサイズの計算装置で処理することもできる。画像又はビデオを取り込むためのイメージング装置のメモリ又は記憶装置から画像を直接受信可能である。対側胸部の熱画像を分析することで胸部にホットスポットが存在するかどうかを判定する。

【0017】

「分類装置システム」又は単に「分類装置」は少なくともプロセッサとメモリを含み、プロセッサはメモリから機械可読プログラム指令を読み出し、こうした指令を実行することでプロセッサが所定の血管性尺度に基づき胸部熱画像の組織を分類する。別の実施形態では特定された血管構造の屈曲に基づき胸部熱画像の組織を分類する。分類装置は機械学習技術で理解されるサポートベクトルマシン（ＳＶＭ）、ニューラルネットワーク、ベイジアンネットワーク、ロジスティック回帰、ナイーブベイズ、ランダムフォレスト、決定木ならびにブースト決定木、Ｋ近傍法、制限付きボルツマンマシン（ＲＢＭ）、これらの組み合わせからなるハイブリッドシステムを含む様々な形態のいずれであってもよい。より詳細なディスカッションについては、「Foundations of Machine Learning」、MIT Press（２０１２）、ＩＳＢＮ－１３：９７８－０２６２０１８２５８、ならびに「Design and Analysis of Learning Classifier Systems: A Probabilistic Approach」、Springer（２００８）、ＩＳＢＮ－１３：９７８－３５４０７９８６５１等の分類装置に関する多彩なテキストを参照されたい。分類装置はトレーニングセットを使用したトレーニングであり、様々な実施形態における患者の診療記録や過去のデータを含む。トレーニングセットに基づき分類装置が閾値を設定する。一旦トレーニングされるとその後は分類装置が閾値を活用して分類を行う。必要に応じて使用者が閾値を調整又は操作し、誤った陽性及び／又は誤った陰性を最小化することができる。分類装置をトレーニングするためのトレーニングセットに新データセット又は追加パラメータを加えると、これに伴い分類装置が使用する閾値又は決定境界が変わることになる。

【0018】

本書で使用する「受信」、「分析」、「伝達」、「実行」、「判定」、「選択」、「提供」、「特定」、「取り除く」等のステップは、具体的内容に係る、又は具体的目的のための各種技術ならびに数学演算のいずれかの応用を含むものと認識しなければならない。こうしたステップは、機械可読プログラム指令を実行するマイクロプロセッサにより意図する機能が効果的に実施されるように円滑化又は実施されてよい。
＜一実施形態のフローチャート＞

【0019】

図４のフローチャートを参照すると、患者の胸部サーモグラフィ画像で血管を分離する本方法の一実施形態が示される。フロー処理はステップ４００で始まり直ちにステップ４０２に進む。

【0020】

ステップ４０２で患者の胸部サーモグラフィ画像を受信する。サーモグラフィ画像は両胸部の１つの画像、又は左胸部と右胸部の一方の画像であってもよい。図２は処理するために受信する患者の胸部のサーモグラフィ画像を示す。

【0021】

ステップ４０４で受信画像上の血管を検出し、これには血管画素を検出する温度に基づく方法と、血管状構造の画素を検出する形状に基づく方法を含む。

【0022】

ステップ４０６で温度に基づく方法と形状に基づく方法を共に満たす熱画像の胸部組織の血管構造と関連する候補画素を特定する。

【0023】

ステップ４０８で両基準を満たす各候補画素に極大性の厳密な制約を課すことで（候補画素の集合から）非血管画素を取り除く。本書の教示に従い図２の画像を処理し、血管が特定された画像を図３に示す。本実施形態ではその後の処理を停止する。別の実施形態ではこのような画素を胸部組織の熱画像で視覚的に識別することができるように両基準を満たす残りの候補画素に異なる色で印を付け、その後本実施形態では印をつけた血管構造は、印をつけた血管構造の屈曲に基づき胸部細胞を悪性と非悪性とに分類する分類装置システムに提供される。

【0024】

本書に示すフローチャートは例示であると理解しなければならない。フローチャートに示す１つ又は複数の動作を異なる順番で行ってもよい。別の動作を追加、修正、改良、統合してもよい。こうした変更は添付の請求範囲内に含まれるものとする。フローチャートの全て又は一部を、機械可読／実施可能プログラム指示と併せて一部又は全てハードウェアで実施してもよい。
＜５．１ 非血管熱特徴の自動抽出＞

【0025】

癌検診に関係して悪性腫瘍による温度上昇とその他非悪性腫瘍状態とを識別したい。このため、まず自動的な温度上昇領域の抽出を要する。

【0026】

各特徴は１つ又は複数の非悪性腫瘍事例から悪性腫瘍事例を識別するように設計される。悪性腫瘍ではその他非悪性腫瘍事例よりも温度が上昇し高くなるのが一般的である。よって、高温領域を自動抽出する異なる２つの設定で一方を悪性腫瘍事例、他方を非悪性腫瘍事例が使用される。悪性腫瘍をホルモン反応と区別するために、ホルモン反応は両胸部に存在することが予測されるため、対側胸部の対応領域で類似する温度上昇領域があるかどうかを検出する特徴を設計する。一方の胸部の悪性腫瘍は、当該胸部の温度上昇を著しく高める。良性状態と悪性腫瘍とを識別するために、温度上昇領域の境界が規則的か変則的かを確認する特徴を使用する。悪性腫瘍増殖の境界は通常変則的であるのに対し、良性腫瘍はより規則的である。こうした特徴は複数の基準から構成してもよく、その詳細を次のとおり説明する。

【0027】

こうした特徴は撮影プロトコルやカメラ解像度に依存しない。解像度やダイナミックレンジが異なる３種類のカメラを使用した。使用した撮影プロトコルは２種類で、一方は全関連図を監察するために人が左右に回るビデオであり、他方は異なる３つの角度、つまり各胸部の正面／斜視／側面図を撮影する。一方の胸部の最も温度が高い領域が（その面積に基づき）最も鮮明に見える最良図と、他方の胸部の対側図によりビデオから特徴を抽出することができる。

【0028】

その画像からの最良図は、高温領域が最も顕著に存在する３つの図のうちの１つに該当する。
・（恐らく悪性の）腫瘍が存在するかどうか：以下の条件を満たす領域の区画を腫瘍と定義する。
（１）領域温度が、温度ヒストグラム形態の平均と最高温度により付与される閾値を超える。
（２）領域温度が（全体最大温度－２）以上。
（３）領域温度が全体最大温度以下。
（４）領域の大きさがカメラ解像度（仮に６４画素）次第でＢ画素を超える。
・最良図とその対側図の（恐らく良性の）ホットパッチの数：以下の条件を満たす領域の区画を（恐らく良性の）ホットパッチと定義する。
（１）領域温度が、３つの図（正面、側面、斜視）の温度の中央値の平均により付与される閾値を超える。
（２）領域温度が（全体最大温度－２）以上。
（３）領域の大きさが６４画素を超える。
・最良図の関心領域について検出された腫瘍／ホットパッチの大きさ
（１）腫瘍又はホットパッチの大きさを対応関心領域の大きさで分割する。
（２）ホルモン事例の対称尺度となる対側図のホットパッチの大きさを検討する。
・（Ｄ）悪性腫瘍からホルモン反応を区別する対側胸部のホットパッチの類似性
（１）１つの図と対応対側図（存在すれば）の腫瘍／ホットパッチの重なり度合：
（ｉ）両胸部に存在する２つの温度上昇領域のうち大きい方を畳み込み、重なり面積と重なり割合を判定する。
（ｉｉ）ホットパッチがある場合、対側上の温度が低いパッチも検討し、対称尺度を得る。こうした温度が低いホットパッチは閾値が低いホットパッチと考えられる：（全体最大温度－３）。
（２）正面／斜視／側面図の腫瘍／ホットパッチの面積差（存在する場合、なければ０）
・（Ｅ）検出された腫瘍／ホットパッチ領域と周辺領域の温度差
（１）最良図で検出された腫瘍／ホットパッチ領域を除く関心領域の平均温度と、腫瘍／ホットパッチ領域の平均温度とにより温度差を算出し、その差を検討する。
（２）ホットパッチがあれば、対称尺度を提供する温度差を対側図でも検討する。
・円又は楕円形に対する腫瘍／ホットパッチ形状の変則性
（１）下記式を使用して円に対する変則性尺度を算出する。

【数1】

（ｘ_i、ｙ_i）は境界上の点であり、上線付きのｘとｙはそれぞれｘ_iとｙ_iの平均値であり、Ｎ（Ｒ）は領域Ｒ内の点の数である。
（ｉ）検出されたホットパッチの最良図とその対側図で変則性尺度を取得する。
（ｉｉ）腫瘍があればこの尺度を最良図のみで検討する。
（２）腫瘍形状のベストフィット楕円形からの偏差。係数ベクトルと点座標のドット積をとり、ベストフィット楕円形からどれぐらいずれているかを検討することにより、腫瘍形状の偏差が算出される。楕円形は、Ｆ（ａ，Ｘ）＝ｆ（ａ，（ｘ，ｙ））＝Ｄ．ａ＝０となる点集合Ｘ＝（ｘ，ｙ）と定義することができる。ここで、楕円形については、Ｄ＝（ｘ^２，ｘｙ，ｙ^２，ｘ，ｙ，１）及びａ＝（ａ_xx，ａ_xy，ａ_yy，ａ_x，ａ_y，ａ₁）及び４ａ_xxａ_yy-ａ_xy ^２＞０である。これはａ^ＴＣａ＞０と等価である。ここで、ＣはＣ_1,3＝Ｃ_3,1＝２、Ｃ_2,2＝-１、その他は全てＣ_i,j＝０という値の６Ｘ６行列である。距離△（ａ，ｘ）＝Σｆ（ａ，ｘ_i）^２＝Σ（ａ^ＴＤ_i ^ＴＤ_iａ）＝ａ^ＴＳａを最小化することにより、楕円形をＮデータ点にフィットさせることができる。ここでＳ＝Σ（Ｄ_i ^ＴＤ_i）である。よって、△（ａ，ｘ）が最小で、正のθについてａ^ＴＣａ＝θとなるａを求める必要がある。上記制約付き問題を解決するために、ラグランジュ乗数λとラグラジアンＬ（ａ）＝△（ａ，ｘ）-λ（ａ^ＴＣａ－θ）を導入し、Ｌ（ａ）、ｄＬ（ａ）／ｄａ＝０、Ｓａ＝λＣａ、ａ／λ＝Ｓ^－１Ｃａを最小化する。上記固有値問題を固有値１／λで解消し、固有ベクトルａが得られ、楕円形の方程式が与えられる。この楕円形から腫瘍の境界がずれる尺度は、Ｄとａのドット積により与えられる。
（３）中心が全点の重心である円からの腫瘍形状の偏差
腫瘍の重心から腫瘍の境界点の距離の標準偏差を取得することで腫瘍形状の偏差を算出する。距離をｄ_i＝（ｘ_i-ＸＡ）^２＋（ｙ_i-ＹＡ）^２として算出する。ここでＸＡとＹＡはｘ_iとｙ_iの重心である。こうした距離の標準偏差をσ＝ｓｑｒｔ（（Σ（ｄ_i-ＤＡ）^２）／ｎ）として算出する。ここでＤＡは距離ｄ_iの平均値であり、ｎは境界点の数である。
＜５．２ 血管特徴の自動抽出＞

【0029】

血管特徴は悪性腫瘍の分類において重要な役割を果たす。これら特徴の重要性は、分類／格付中におけるＭＲＩやマンモグラムのようなその他モダリティを伴う分類での顕著な役割からも理解できる。実際、サーモグラファは熱生体格付中にこうした特徴を考慮する。サーモグラフィでは周辺細胞よりも顕著な温度差を示す場合にのみ正常血管を検出する。悪性腫瘍があれば血流量が大きくなるため血管から発せられる熱が増大し、これを放射画像／温度記録で捉えることができる。血管から特徴を設計／分析するために、まず関心領域（ＲＯＩ）から血管を抽出する必要がある。項目５．２．１はサーモグラフィの血管抽出の詳細を示す。抽出後の血管特徴については項目５．２．２で言及する。
＜５．２．１ 血管自動抽出＞

【0030】

既存の２Ｄ血管検出アルゴリズムをサーモグラフィ画像上で適用すると、血管を適切に抽出することができない。むしろ熱拡散や腫瘍の辺縁を血管として選び取る場合がある。本アルゴリズムでは、画像にホットスポットや不均一な熱が存在しても、強度や形状に基づく記述子を考慮して血管を正しく抽出する。本アルゴリズムでは上下にずらしたガウス分布の整合フィルタ応答を改善技術として使用し、続いてヘッセ行列の固有値から得た形状に基づき、定義した血管性基準で血管状構造を抽出する。血管の形態的抽出を使用して、周囲に対する強度に基づき、画素を検出する。両事例で検出される画素を血管画素として検討する。この種の手法では、胸部領域の変則的な熱拡散のため場合によってはサーモグラフィ画像の腫瘍／ホットスポットの辺縁を血管画素として選び取るかもしれない。これを回避するために、左右のガウス分布により別個に整合フィルタ応答を算出し、アルゴリズムで説明される有効な血管画素を抽出する。

【0031】

血管は背景よりも暗く、ｙ軸に沿った血管方向で絶対的平均によりｘ軸に沿ってずらした反転ガウス分布曲線に近似させることができる。この種の血管検出用整合フィルタ応答手法は参考文献［１］「Detection Of Blood Vessels In Retinal Images Using Two- Dimensional Matched Filters」、Chaudhuri, S.；Chatterjee, S.；Katz, N.；Nelson, M.；Goldbaum, M.；IEEE Transactions on Medical Imaging、第８巻、No.3、２６３～２６９頁（１９８９）、参考文献［２］「An Efficient Algorithm For Extraction Of Anatomical Structures In Retinal Images」、Thitiporn, C.、Fan, G.L.、Proc. Of Intl. Conf. on Image Processing、第１巻、１０９３～１０９６頁（２００３）、参考文献［３］「Retinal Vessel Extraction By Matched Filter With First-Order Derivative Of Gaussian」、Zhang B他、Computers In Biology And Medicine、４０：４３８－４４５、（２０１０）で提案されている。この整合フィルタを数学的に記載すると次のようになる。

【数2】

ここでＡは振幅を示し、σは血管幅の半分の相当し、Ｅ（．）は予測／平均値を示す。σをｆ（ｘ，ｙ）における血管の最大幅の半分と想定すれば十分である。ｆ（ｘ，ｙ）を１５°間隔で０°から１８０°に回転させ、画像と畳み込むことで各画素の応答を算出し、各画素のピーク応答を見出す。画素を中心としたｆ（ｘ，ｙ）の方向に血管を合わせるとピークが得られる。参考文献［１～３］では整合フィルタ応答を適切な閾値で二値化することで血管画素を判定している。厳密な閾値は適宜機能しないかもしれず、場合によっては満足な結果が得られない。この閾値を二値化の代わりに使用することで画像を引き伸ばし、改良画像を得る。これは閾値を超える全ての画素を閾値に置き換え、続いて［０，２５５］の限度内で引き伸ばすことで達成される。この最終改良画像を使用して血管と非血管とに分類することができる。

【0032】

参考文献［３］で提案された二値化機構を改良技術として使用する。この二値化機構は、対象内におけるグレー階調遷移と、対象及び背景間におけるグレー階調遷移とのエントロピーの合計を最大化するグレー階調値として算出される。これを数学的に分析すると次のようになる。Ｔ＝［ｔ_ｉｊ］がグレー階調共起行列（ＧＬＣＭ）を示すとすれば、次にように定義される。

【数3】

ＧＬＣＭの確率、つまり２つの画素が隣接する確率は次のように得られる。

【数4】

Ｈ_A（Ｔ_h）とＨ_C（Ｔ_h）は、閾値Ｔ_hでの対象内のグレー階調遷移と対象及び背景間のグレー階調遷移とのエントロピーを示す。Ｌが画像のグレー階調の数を示す場合、エントロピーの定義から次の式が得られる。

【数5】

ここで

【数6】

となり、

【数7】

となる。ここで

【数8】

となる。最終的な閾値は次のように算出できる。

【数9】

閾値Ｔにより画像を改良する。
＜血管性基準に基づく多縮尺形状：＞

【0033】

画像の画素が血管の一部であるか否かを分類するために、ヘッセ行列Ｈの固有値を分析することができる。こうした固有値により画素湾曲に関する多くの情報が得られる。Ｈの固有ベクトルは、当該画素における血管の湾曲を示す。背景が明るく血管が暗い場合（筒状構造）、｜λ₂｜≒０で｜λ_１｜≫｜λ_２｜の血管の方向において最小固有値が得られる。これは既に認識され、画像分類用の血管性関数は参考文献［４］「Multi-Scale Vessel Enhancement Filtering」、A. Frangi、W. Niessen、K. Vincken、M. Viergever、Medical Image Computing and Computer-Assisted Intervention MICCAI 98、１３０～１３７頁（１９９８）で提案されている。

【0034】

新たな血管性関数を次のように定義する。

【数10】

ここでＶ_sは縮尺ｓの血管性を示し、筒状構造の場合は０に収束し、小塊／シート状構造の場合は１に収束する。ｔの値は画素が血管であるか否かを判定する閾値を意味する。血管からの熱拡散のため、下方縮尺で血管と検出された画素は、上方縮尺でもある程度血管と検出されることが認められる。これに基づき血管性の最終基準を次のように定義する。

【数11】

最大数ではなくモードを採用することでノイズや、特定の縮尺では血管と検出されるかもしれない不要画素の排除に役立つ。また、全体の応答の算出に最大数を使用すると、血管に近似する画素の誤分類に至る虞がある。モードを使用することでこれが防止され、実際の幅に等しい血管予想幅を得るのに役立つ。血管に属する画素を排除しないようにＳ_min、Ｓ_maxの値を慎重に選択する。適切な閾値を使用すればいずれのＶ_Sでも関数を使用でき、例えば次のようになる。

【数12】

【0035】

＜血管形態的分割＞
画像を［Ａ１ Ａ２］の大きさの非重複ブロックに分割する。各ブロック平均を閾値として設定して各ブロックを２進数に変換する。血管画素の強度は局所的に最小であるため、この二値化では血管画素がブロック平均よりも低い画素を１に、そうではない場合は０に設定する。最大ウィンドウサイズ［Ａ１ｍａｘ，Ａ２ｍａｘ］から最小ウィンドウサイズ［Ａ１ｍｉｎ，Ａ２ｍｉｎ］への異なるウィンドウサイズの交差を段階比「ｒ」で取得し、血管の境界を適宜薄くする。ウィンドウサイズの最大値を画像サイズとすることができ、血管幅に応じて最小ウィンドウサイズを設定する。この形態的血管検出は強度に基づく胸部領域の血管検出手法である。血管抽出の最終的な精度は、より優れた血管の形態的改良技術で改善される。

【0036】

＜血管抽出アルゴリズム：＞
１）所与のＲＧＢ画像をＬＡＢ色空間に変換する。ここでＬは明るさ、ａとｂは反対色を示す。
２）参考文献［６］「A Threshold Selection Method From Gray-Level Histogram」、Nobuyuki Otsu、IEEE Transactions on Sys. Man. And Cybernetics、第９巻、No. 1、６２～６６頁（１９７９年１月）に記載のＯｓｔｕの分割をＬで使用して背景領域から人体を分離する。
３）取得画像は明るい血管と暗い背景とで構成される。画像の補数を求めて血管を暗くする。
４）上下にずらしたガウス分布と、左右上下にずらしたガウス分布とにより整合フィルタ（ＭＦ）の応答を算出すると、血管画素のピーク応答が得られる。これは画素中心の血管輪郭は左右ガウスカーネルの組み合わせであるためで、次の式を使用して左ガウス分布（ｆ^ｌ）、右ガウス分布（ｆ^ｒ）、全ガウスカーネル（ｆ^ｇ）に対応するＭＦ応答から改良画像を算出する。

【数13】

５）ステップ４で得たＭＦ応答を式（２）から得た各閾値で引き伸ばす。
６）改良画像それぞれに血管形態的分割を適用し、局所最小画素を得る。こうした対応応答をＰ^ｌ、Ｐ^ｒ、Ｐ^ｇとする。
７）ステップ５で得た改良画像それぞれについて、各閾値ｔ、ｔ、０で血管性尺度を算出する。式（３）の血管性尺度（Ｖ_S）に対し「ｔ」を０．５に設定することができる。出力はそれぞれＶ^ｌ、Ｖ^ｒ、Ｖ^ｇとする。
８）形態的分割と血管性尺度の対応交差を取得し、形状と強度に基づく条件を共に満たす画素を得る。

【数14】

ここではＡ＝｛ｌ，ｒ，ｇ｝である。
９）画素が左右の改良画像で検出される場合、分類される画素は血管画素のみである。

【数15】

１０）Ｆ^ｌで検出された血管を分離し、Ｆ ^ｇ を使用してこれら血管画素を再接合して連続血管を得る。Ｆ ^ｇ では不要血管も選ばれるかもしれない。そのため、Ｆ^ｌには全く存在しない血管を取り除く。Ｆ^ｌは血管検出の最終出力である。偽事例をまた取得するかもしれないが、これらは不要血管除去で排除することができる。
＜不要血管除去＞

【0037】

勾配方向に沿って進むとウィンドウサイズが血管幅（Ｗ）を超える場合、血管として検出されない血管を取り除くことで不要血管が排除される。これは次のように実施される。
（１）各検出血管について、勾配方向に沿ったウィンドウ［３^＊Ｗ，Ｌ］の画素の強度と平均強度の差がゼロ以下の画素を選択する。これにより背景から区分される筒状構造を得る。Ｌの値は小さく、１、２、３、...Ｗ／４という値をとる。
（２）血管の中央線の強度は、線上の各点の法線に沿って最小である。この助けを借りて、ウィンドウ［１，Ｗ］の勾配方向ならびに反対方向に沿って局所的に最小の画素を選択する。小塊状構造の中央線はこの基準を満たさないため検出し得ない。画像を交差させた後に拡張することで、小塊状の画素を取り除いた実際の血管が得られる。
（３）各検出血管について、血管である確率を算出する。

Ｐ（血管）＝ｉとｉｉで共に検出された画素の総数／検出血管の画素の総数

ここでＰは構成要素が血管である確率を示す。小塊状構造ではステップ１と２で得られる画素カウントが低いため、Ｐは低くなる。
（４）最大長の血管からＰが０．３以下の血管、又は検出血管要素が近くに存在しない長さ３０画素以下の血管を取り除く。
＜５．２．２ 血管特徴＞

【0038】

上記のとおり血管特徴は悪性腫瘍の分類において重要な役割を果たす。血管から特徴を抽出するために、距離変換のような標準アルゴリズムを使用して特徴を形骸化する。これらアルゴリズムにより得られた短い偽血管分岐は、血管分岐の長さに閾値を加えることで取り除かれる。項目３での医療的根拠を反復すると、悪性腫瘍では血管の長さ、内径、屈曲が増大し、血管新生のため血管が追加され、血管密度が増加する。悪性腫瘍に関連する、又は悪性腫瘍により生成される血管の温度も高くなる。これらを抽出するための特徴を以下に示す。対側正常胸部の血管分布状態は悪性胸部とは異なる。正常な対象では両側の血管分布状態は類似する。これに基づき血管対称特徴を設計し、正常な被験者と悪性被験者とを識別する。こうした医学関連の血管特徴に加え、追加的特徴が実験的に検証できるかどうかも確認したく、こうした内容を次に説明する。
＜血管数：＞

【0039】

悪性腫瘍が存在すると新たな血管新生を誘発するため、こうした特徴は悪性腫瘍の分類において重要や役割を果たす。（形骸血管で）構成要素が２つ以上接続された分岐点を基に血管端部を得る。又は１つの接続構成要素を基に終点を得る。端部の発見後に各血管を取り除き、血管カウントを増やす。これを血管がなくなるまで繰り返す。
＜平均温度：＞

【0040】

上述のとおり悪性腫瘍の血管は血液供給が多く、熱の発生が多くなる。各血管の平均温度を次のように算出する。

【数16】

ここでＴ^ｉ _meanはｉ番目の血管の画素の平均温度を示す。
＜屈曲：＞

【0041】

屈曲とは血管がどれぐらいねじれ／屈曲していることである。既存方法については次の参考文献で説明されている。参考文献［７］「Measuring Tortuosity Of The Intracerebral Vasculature From MRA Images」、Bullitt, E.、Gerig, G.、Pizer, S. M.、Lin, W.、Aylward, S. R.、IEEE Transactions on Medical Imaging、２２（９）、１１６３～１１７１頁（２００３）、参考文献［８］「Automated Measurement of Retinal Vascular Tortuosity」、Hart, W. E.他、Proc. AMIAAnnual Fall Symposium、４５９～４６３頁（１９９７年秋）、参考文献［９］「Image Processing Techniques For The Quantification Of Atherosclerotic Changes」、K. Chandrinos、M. Pilu、R. Fisher、P. Trahanias、Dai Research Paper、（１９９８）。我々のデータセットで分類結果を改善する屈曲方法も更に調査し、選択する。
＜平均内径：＞

【0042】

内径とは血管の直径のことである。悪性腫瘍があれば血管が広がり（内径が増大し）、腫瘍領域に血液が供給される。よって、この特徴は正常と悪性の分類で重要な役割を果たす。修正後の各形骸地点の内径を、形骸画素と血管境界の間の最短距離の２倍と定義する。この平均が血管の平均血管径となる。
＜密度：＞

【0043】

関心領域（ＲＯＩ）に対する血管面積の割合を密度と定義する。これにより胸部領域で血管がどのような状態であるのを予測する。上述のとおり悪性腫瘍は血管分布状態を増加させ、これにより腫瘍領域に供給される血液量が大きくなり、温度が上昇する。これは放射画像で明確に現れるため、密度は分類において決定的な役割を果たす。
＜対称性：＞

【0044】

悪性腫瘍の分類、特に正常事例の区別において対称特徴は意義深い役割を担っている。両胸部間で血管パターンが対称かどうかを確認したい。このため、血管用形状記述子と血管位置により血管パターンを特定する。血管パターン記述子が両胸部において類似する場合、これは正常事例に該当するであろう。
＜特徴の検証：＞

【0045】

実験的検証による乳癌の分類において特徴は重要な役割を担うのかどうかを確認する。
ｉ）平均分岐数：平均分岐数が分類においてどのように重要な役割を担うのかを調べ、悪性腫瘍の状態で分岐数が増加するのかどうかを検証する。これは分岐点の除去後に各血管樹の血管区分を数えることで算出される。
ｉｉ）血管度合：ＲＯＩに関して血管で覆われる面積を算出することで度合を得る。血管分布状態のｘ、ｙ座標のｍｉｎとｍａｘにより、覆われた面積の近似着想が得られる。
ｉｉｉ）位置：各血管の重心を算出する。血管間の距離と角度を使用してＲＯＩの重心に関する血管位置を定義する。
＜５．３ 病歴特徴＞

【0046】

年齢と非悪性状態の存在によって熱パターンは変化する。乳癌の危険因子も複数あり、これらは乳癌検診に役立つ。危険因子の一部は病歴に関する質問事項や自己／臨床検査から容易に入手可能である。これらをサーモグラフィと共に使用すると、癌検診の感度／特異性の改善に役立つであろう。こうした特徴を以下に列挙する。
ａ）人／患者の年齢
ｂ）臨床歴で観察された左右胸部のしこりの存在
ｃ）過去の臨床検査でのしこりの存在
ｄ）前の日付から予測したサーモグラフィ検査当日の近似ホルモンレベル
ｅ）月経期間及び月経周期の期間
ｆ）個人の乳癌歴又はその他癌歴
ｇ）ＢＲＣＡ１／ＢＲＣＡ２遺伝子の存在
ｈ）家族の乳癌歴又は卵巣癌歴
ｉ）妊娠／授乳、最近の胸部手術、炎症、感染状態等のその他関連医学的状態
＜５．４ 抽出特徴の自動分類＞

【0047】

対象が分類され得る基本的な２種類は悪性と非悪性である。悪性、良性ならびにホルモン反応事例の他、その他非悪性状態では熱的上昇が見られる。更に、悪性事例では異なる状態の異なる熱パターンがあるかもしれない。使用する分類装置は非悪性と悪性部類用で、その他サブクラスには別個の熱パターンがある。しかしながら、目的は癌検診であるため、非悪性サブクラス内の誤差や悪性サブクラス内の誤差には関心はない。よって、複数の部類でトレーニングを行い、２種類（悪性／非悪性）のみで実験を行う。項目６に記載する実施ではサポートベクターマシン（ＳＶＭ）やランダムフォレスト（ＲＦ）等の標準分類装置を使用した。ランダムフォレストの方がよりよい感度／特異性を示すことが判明した。これは設計される特徴が決定木によく適しており、ランダムフォレスト分類装置は一式の決定木を使用することで精度が改善されるためである。
＜画像処理システムのブロック図＞

【0048】

図５を参照すると、図４のフローチャートについて説明した実施形態に従い乳癌検診用サーモグラフィ画像を処理する画像処理システム５００の一例の機能ブロック図が示される。

【0049】

画像受信装置５０２はアンテナ５０１を介して図１のビデオ撮像装置１０１から送信されたビデオを無線受信する。温度プロセッサ５０３は温度に基づく方法を実行し、受信画像の血管画素を検出する。形状プロセッサ５０４は形状に基づく方法を実行し、受信画素における管状構造の画素を検出する。両モジュール５０３、５０４はその結果を記憶装置５０５に記憶する。候補画素認識装置モジュール５０６は記憶装置５０５から温度に基づく方法と形状に基づく方法の結果を受信し、温度に基づく方法と形状に基づく方法を共に満たす熱画像の胸部組織の血管構造に関連する候補画素の特定を進める。非血管画素除去装置モジュール５０７はモジュール５０６から候補画素を受信し、両基準を満たす各候補画素に極大性の厳密な制約を課すことで非血管画素を取り除くことを進める。中央処理装置５０８はメモリ５０９から機械可読プログラム指令を読み出し、システム５００のモジュールのいずれかの機能を促進する。単独又はその他プロセッサと併せて作動するＣＰＵ５０８を、システム５００のモジュール又は処理装置の機能を支援又は実行し、システム５００とワークステーション５１０の間の通信を促進するように構成してもよい。

【0050】

ワークステーション５１０と通信するように配置されたシステム５００が示される。ワークステーションのコンピュータケースは各種構成要素を収容し、これにはプロセッサとメモリを備えたマザーボード、ネットワークカード、ビデオカード、フロッピーディスク、光学ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、磁気テープ等の機械可読媒体５１１やその他ソフトウェアを読み書き可能なハードドライブ、コンピュータワークステーションの機能を実行するのに必要なハードウェアが含まれる。ワークステーションは更に情報、画像、分類、算出値、抽出血管、患者の医療情報、結果、暫定値等を表示するＣＲＴ、ＬＣＤ、タッチスクリーン装置等の表示装置５１２を含む。使用者はそのような情報のいずれかを検視し、そこに表示されるメニューオプションから選択を行うことができる。キーボード５１３やマウス５１４が使用者の入力を実施する。本書の教示に従い処理に必要な情報を入力、選択、修正、受け付けるために、ワークステーションは英数字の値、メニュー、スクロールバー、ダイヤル、摺動可能バー、プルダウン選択肢、選択可能ボタン等を表示するよう構成された操作システムやその他専用ソフトウェアを備えると認識しなければならない。ワークステーションは更に、引き出された熱画像、ホットスポット、血管構造、分類を表示可能とされる。実装によっては、使用者又は専門家が必要に応じ、又は所望通りにワークステーションのユーザーインターフェースを使用してパラメータを設定し、画素値を検視／調整／削除し、実行される温度に基づく方法及び／又は形状に基づく方法の各種様態を調整してもよい。こうした選択や入力のいずれかを記憶装置５１１に記憶／回収してもよい。記憶装置からデフォルト設定を検索することができる。ワークステーションの使用者はデータベース５１６に記憶された患者記録データ、まとめて５１５、のいずれかを検視又は操作することもできる。受信した画像、結果、抽出血管等のいずれかをワークステーション５１０内部の記憶装置に記憶してもよい。デスクトップコンピュータとして示されているが、ワークステーションはラップトップ、メインフレーム、ＡＳＩＣ等の専用コンピュータ、回路等でもよい。図６のワークステーションの実施形態は例示であり、当該技術で周知のその他機能を含めてもよい。

【0051】

ワークステーションの構成要素のいずれかを、システム５００のモジュールや処理装置のいずれかと通信するように配置してもよい。意図する機能を行うために必要に応じてシステム５００のモジュールのいずれかを記憶装置５０５、５１６、１０６及び／又はコンピュータ可読媒体５１１と通信するように配置することができ、データ、変数、記録、パラメータ、機能及び／又は機械可読／実行可能プログラム指令を格納／読み出してもよい。システム５００の各モジュールをネットワーク５１７上で１つ又は複数の遠隔装置と通信するように配置してもよい。システム５００のモジュール又は処理装置のいずれかが行う機能の一部又は全ては、ワークステーションが全て又は一部を行うことができると認識しなければならない。図示した実施形態は例示であり、添付の請求の範囲を厳密にその構成に限定するものとみなしてはならない。各種モジュールが１つ又は複数の構成要素を指定し、その構成要素には意図した機能を実行するように設計されたソフトウェア及び／又はハードウェアを含めてもよい。

【0052】

本書の教示内容は、該当する当業者が何らかの周知あるいは後に開発したシステム、構造、装置、及び／又はソフトウェアを使用して、不要な実験をすることなく、本書に示す機能的説明と関連技術の一般知識から、ハードウェア又はソフトウェアにおいて実施可能である。本書に記載の方法の１つ又は複数の側面が製品に組み入れられるものとし、製品を出荷、販売、リースしてもよく、あるいは別々に単体で、あるいは製品一式又はサービスの一部として提供してもよい。上記及びその他特徴や機能、又はその代案は別のシステムやアプリケーションに組み合わされることが望ましい場合もあると認識しなければならない。現時点では予想外又は想定外の代案、修正、変更、又は改善が明らかになることもあり、及び／又は当業者が後に行ってもよく、それも以下の請求項に含まれるものとする。本書で引用した刊行物の教示は全て引用により本書に組み入れられる。

【図1】

【図2】

【図3】

【図4】

【図5】