知財求人 - 知財ポータルサイト「IP Force」
▶ ライトラボ・イメージング・インコーポレーテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-07
(45)【発行日】2024-11-15
(54)【発明の名称】Ｘ線画像特徴検出および位置合わせのシステムおよび方法
(51)【国際特許分類】
A61B 6/50 20240101AFI20241108BHJP
A61B 6/00 20240101ALI20241108BHJP
A61B 6/46 20240101ALI20241108BHJP
A61B 6/12 20060101ALI20241108BHJP
A61B 5/026 20060101ALI20241108BHJP
A61B 1/00 20060101ALI20241108BHJP
A61B 1/045 20060101ALI20241108BHJP
A61B 1/313 20060101ALI20241108BHJP
A61B 8/12 20060101ALI20241108BHJP
【ＦＩ】
A61B6/50 511E
A61B6/00 550D
A61B6/46 506Z
A61B6/12
A61B5/026 110
A61B1/00 526
A61B1/045 620
A61B1/313 510
A61B8/12
【請求項の数】
20
【外国語出願】
(21)【出願番号】P 2023108995
(22)【出願日】2023-07-03
(62)【分割の表示】P 2021094026の分割
【原出願日】2016-11-18
(65)【公開番号】P2023138502
(43)【公開日】2023-10-02
【審査請求日】2023-08-02
(31)【優先権主張番号】62/257,213
(32)【優先日】2015-11-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】509128672
【氏名又は名称】ライトラボ・イメージング・インコーポレーテッド
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【氏名又は名称】池本 理絵
(72)【発明者】
【氏名】ダスカル，ロリーナ
(72)【発明者】
【氏名】ウィンクラー，アイタイ
【審査官】亀澤 智博
(56)【参考文献】
【文献】国際公開第２０１４／１７５８５３（ＷＯ，Ａ１）
【文献】特表２０１５－５１９９８７（ＪＰ，Ａ）
【文献】特表２０１４－５１１７１３（ＪＰ，Ａ）
【文献】国際公開第２０１４／１１１９２９（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１４／０２７０４３６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１０／０２２６９０３（ＵＳ，Ａ１）
【文献】特開２０１０－１３１３７１（ＪＰ，Ａ）
【文献】特開２００６－０８１９０６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００ － ６／５８
Ｇ０６Ｔ １／００
Ａ６１Ｂ ８／００ － ８／１５
Ａ６１Ｂ １／００ － １／３２
(57)【特許請求の範囲】
【請求項1】
一つまたは複数のプロセッサが、血管データと、血管内画像データと、血管造影法画像データとを受領する段階と、前記一つまたは複数のプロセッサが、血管造影法画像データにおける造影クラウド領域を識別する段階と、
前記一つまたは複数のプロセッサが、前記識別された造影クラウド領域を含む前記血管造影法画像データの領域を除外する前記血管造影法画像データの部分集合を決定する段階と、
前記一つまたは複数のプロセッサが、前記血管内画像データと、前記血管造影法画像データの部分集合とを相互位置合わせする段階と、
前記一つまたは複数のプロセッサが、受領した血管データに基づいて、圧力測定値に基づく血流データを決定する段階と、
前記一つまたは複数のプロセッサが、前記血流データに基づいて、血管に沿った複数の点の圧力ベースの測定または血流測定のうちの少なくとも一つを決定する段階と、
前記一つまたは複数のプロセッサが、前記相互位置合わせされた血管内画像データおよび前記相互位置合わせされた血管造影法画像データの部分集合と、前記圧力ベースの測定または血流測定の少なくとも一つを示すこととを出力として提供する段階であって、該示すことは前記血管内画像データまたは前記血管造影画像データの部分集合の少なくとも一つの上に提供されるものである、出力として提供する段階と
を含む方法。
【請求項2】
前記血管内画像データと前記血管造影法画像データの部分集合とを相互位置合わせする段階は、前記一つまたは複数のプロセッサが、血管内画像データのフレームと血管造影法画像データの部分集合の間の相互位置合わせにおける信頼のレベルを示すスコアを生成する段階と、
前記一つまたは複数のプロセッサが、複数の血管造影法画像フレームと、フレーム毎の複数の血管内画像タイムスタンプと、フレーム毎の複数の血管造影法画像タイムスタンプと、前記スコアを含む複数の血管内画像フレームとを含む相互位置合わせテーブルを生成する段階と
を含む、請求項１に記載の方法。
【請求項3】
前記血管内画像データと前記血管造影法画像データの部分集合とを相互位置合わせする段階は、前記一つまたは複数のプロセッサが、前記血管造影法画像データの部分集合の中心線を生成する段階と、
前記一つまたは複数のプロセッサが、前記血管造影法画像データの部分集合におけるマーカーを検出する段階と、
前記一つまたは複数のプロセッサが、前記中心線に沿って前記マーカの位置を追跡する段階と、
前記一つまたは複数のプロセッサが、前記追跡した位置に基づいて前記血管内画像データと前記血管造影法画像データの部分集合を相互位置合わせする段階と
を含む、請求項１に記載の方法。
【請求項4】
前記血管内画像データは、光干渉断層撮影（ＯＣＴ）画像データまたは血管内超音波（ＩＶＵＳ）画像データのうちの少なくとも一つである、請求項１に記載の方法。
【請求項5】
前記血流データは、血流予備量比（ＦＦＲ）データである、請求項１に記載の方法。
【請求項6】
前記血管データを受領する段階は、前記一つまたは複数のプロセッサが、圧力ワイヤから圧力測定値を受領する段階を含む、請求項１に記載の方法。
【請求項7】
前記一つまたは複数のプロセッサが、前記血管内画像データと前記血管造影法画像データの部分集合とを用いて前記圧力測定値を相互位置合わせする段階をさらに含む、請求項６に記載の方法。
【請求項8】
前記一つまたは複数のプロセッサが、前記血管の長手方向の表現を出力として提供する段階をさらに含む、請求項１に記載の方法。
【請求項9】
前記一つまたは複数のプロセッサが、前記血管内画像データまたは前記血管造影法画像データの部分集合のうちの少なくとも一つにおいて、ステント表現を出力として提供する段階をさらに含む、請求項１に記載の方法。
【請求項10】
前記ステント表現は、ステント配備前の表現またはステント配備後の表現である、請求項９に記載の方法。
【請求項11】
血管データと、血管内画像データと、血管造影法画像データとを受領し、血管造影法画像データにおける造影クラウド領域を識別し、
前記識別された造影クラウド領域を含む前記血管造影法画像データの領域を除外する前記血管造影法画像データの部分集合を決定し、
前記血管内画像データと、前記血管造影法画像データの部分集合とを相互位置合わせし、
受領した血管データに基づいて、圧力測定値に基づく血流データを決定し、
前記血流データに基づいて、血管に沿った複数の点の圧力ベースの測定または血流測定のうちの少なくとも一つを決定し、
前記相互位置合わせされた血管内画像データおよび前記相互位置合わせされた血管造影法画像データの部分集合と、前記圧力ベースの測定または血流測定の少なくとも一つを示すこととを出力として提供し、該示すことは前記血管内画像データまたは前記血管造影画像データの部分集合の少なくとも一つの上に提供される
ように構成される、一つまたは複数のプロセッサを備えるシステム。
【請求項12】
前記血管内画像データと前記血管造影法画像データの部分集合とを相互位置合わせするときに、前記一つまたは複数のプロセッサは、血管内画像データのフレームと血管造影法画像データの部分集合との間の相互位置合わせにおける信頼のレベルを示すスコアを生成し、
複数の血管造影法画像フレームと、フレーム毎の複数の血管内画像タイムスタンプと、フレーム毎の複数の血管造影法画像タイムスタンプと、前記スコアを含む複数の血管内画像フレームとを含む相互位置合わせテーブルを生成する
ようにさらに構成される、請求項１１に記載のシステム。
【請求項13】
前記血管内画像データと前記血管造影法画像データの部分集合とを相互位置合わせするときに、前記一つまたは複数のプロセッサは、前記血管造影法画像データの部分集合の中心線を生成し、
前記血管造影法画像データの部分集合におけるマーカーを検出し、
前記中心線に沿って前記マーカの位置を追跡し、
前記追跡した位置に基づいて前記血管内画像データと前記血管造影法画像データの部分集合を相互位置合わせする
ようにさらに構成される、請求項１１に記載のシステム。
【請求項14】
前記血管内画像データは、光干渉断層撮影（ＯＣＴ）画像データまたは血管内超音波（ＩＶＵＳ）画像データのうちの少なくとも一つである、請求項１１に記載のシステム。
【請求項15】
前記血流データは、血流予備量比（ＦＦＲ）データである、請求項１１に記載のシステム。
【請求項16】
前記血管データを受領することは、前記一つまたは複数のプロセッサが、圧力ワイヤから圧力測定値を受領することを含む、請求項１１に記載のシステム。
【請求項17】
前記一つまたは複数のプロセッサは、前記血管内画像データと前記血管造影法画像データの部分集合とを用いて前記圧力測定値を相互位置合わせするようにさらに構成される、請求項１６に記載のシステム。
【請求項18】
前記一つまたは複数のプロセッサは、前記血管の長手方向の表現を提供するようにさらに構成される、請求項１１に記載のシステム。
【請求項19】
前記一つまたは複数のプロセッサは、前記血管内画像データまたは前記血管造影法画像データの部分集合のうちの少なくとも一つにおいて、ステント表現を出力として提供するようにさらに構成される、請求項１１に記載のシステム。
【請求項20】
一つまたは複数のプロセッサによって実行されると、血管データと、血管内画像データと、血管造影法画像データとを受領し、
血管造影法画像データにおける造影クラウド領域を識別し、
前記識別された造影クラウド領域を含む前記血管造影法画像データの領域を除外する前記血管造影法画像データの部分集合を決定し、
前記血管内画像データと、前記血管造影法画像データの部分集合とを相互位置合わせし、
受領した血管データに基づいて、圧力測定値に基づく血流データを決定し、
前記血流データに基づいて、血管に沿った複数の点の圧力ベースの測定または血流測定のうちの少なくとも一つを決定し、
前記相互位置合わせされた血管内画像データおよび前記相互位置合わせされた血管造影法画像データの部分集合と、前記圧力ベースの測定または血流測定の少なくとも一つを示すこととを出力として提供し、該示すことは前記血管内画像データまたは前記血管造影画像データの部分集合の少なくとも一つの上に提供されるものである、出力を提供する
ように前記一つまたは複数のプロセッサに実行させる命令を含む、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は2015年11月18日に出願された米国仮特許出願第62/257,213号の優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。
本願は2015年11月18日に出願された米国仮特許出願第62/257,213号の優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。
【0002】
技術分野
部分的には、本開示は概括的に、血管系および末梢血管系の撮像およびデータ収集の分野に関する。より詳細には、本開示は、部分的には、画像特徴の検出および解析に関する。
部分的には、本開示は概括的に、血管系および末梢血管系の撮像およびデータ収集の分野に関する。より詳細には、本開示は、部分的には、画像特徴の検出および解析に関する。
【背景技術】
【0003】
X線画像は、さまざまな学問分野における重要な診断ツールを提供する。たとえば、介入心臓病医はX線ベースの撮像システムをさまざまな手順および試験において使う。具体的なX線撮像の型として、X線透視法は一般に、血管の血管造影撮像を実行するために使われる。カテーテル法の間に動脈を視覚化することは、貴重な診断ツールである。そのような視覚化は、カテーテル配置およびステント配備を計画および実行する助けとなる。結果として、正確な視覚化を達成することは、X線撮像し、それに関係する特徴およびオブジェクトを追跡するための重要な技術的要件である。数多くの撮像および相互位置合わせの課題が生じることがあり、それによりそのような正確さを達成することが難しくなる。特に、X線ベースの撮像方法が、光干渉断層撮影や超音波プローブを用いた血管内撮像と結合されるとき、撮像および相互位置合わせの課題は一層複雑になる。撮像装置を位置決めし、案内するために使われる種々の撮像方法および装置に関連するさまざまな要因も、位置合わせおよび相互位置合わせに負の影響を及ぼすことがある。これらの要因は対処すべき追加的な問題を作り出すことがある。
【0004】
たとえば、血管造影法による血管の撮像を向上させるための造影剤の注入は、動脈内に配置された光学式、音響式および他の撮像プローブを見えにくくすることがある。脈管系におけるガイドワイヤおよびカテーテルの使用もある種の目印を見えにくくしたり、他の仕方で撮像および解析ツールに干渉したりすることがある。結果として、これらの要因すべておよびその他によって、診断血管内撮像ならびに画像表示および診断プロセスの一部としての位置合わせを実行することが困難になる。加えて、撮像、画像解析および位置合わせに関係する課題は、そのような撮像データおよび関連する診断情報に依拠するステント計画および他の手順にも負の影響を及ぼす。
【0005】
本開示は、これらの課題およびその他に対処する。
【先行技術文献】
【特許文献】
【0006】
【文献】米国特許第9,351,698号
【発明の概要】
【課題を解決するための手段】
【0007】
本開示は概括的には、血管系および末梢血管系のデータ収集、撮像、画像処理およびそれに関係する特徴検出の分野に関する。部分的には、本開示は、より特定的には、たとえば血管内撮像の間のX線画像のシーケンスに関して、X線画像における造影クラウドの位置およびサイズを検出するための方法に関する。これらの技法は、造影剤が、さまざまな血管造影法または他のX線に関係した撮像方法の一部として、血管または他の身体管腔に導入されるときに有用である。造影剤の注入または他の送達は、血管造影法または他のX線に関係した撮像方法のために、動脈を放射線不透明にする。たとえば、心臓手順のための動脈の撮像において、造影剤が一つまたは複数の動脈に導入される。部分的には、本開示は、たとえばX線画像のシーケンスに関して、X線画像における造影クラウドに関係したパラメータを検出するための方法に関する。これらのパラメータは、所与の造影クラウドの位置およびサイズを含むことができる。
【0008】
X線画像から金属ワイヤ、たとえば冠動脈手順において使われるガイドワイヤを検出し、抽出する方法も本稿に記載される。さらに、X線画像の諸シーケンスにおけるような一つまたは複数の画像についての脈管木を位置合わせする方法も開示される。部分的には、本開示は、血管造影法画像およびそのような画像における要素を処理、追跡および位置合わせすることに関する。位置合わせは、血管内撮像モダリティー、たとえば光干渉断層撮影（OCT: optical coherence tomography）または血管内超音波（IVUS: intravascular ultrasound）からの画像に関して実行されることができる。
【0009】
部分的には、本開示は、X線画像フレーム上の造影クラウドを検出し、X線画像のクラウド含有領域が一つまたは複数のその後のX線画像処理段階から除外されることができるようにして、フレーム横断位置合わせ精度を高めることに関する。造影クラウド領域の検出／識別は、X線フレーム間のフレーム横断位置合わせの精度を高める安定した血管中心線を提供する。加えて、造影クラウド検出のおかげで、X線画像での放射線不透明なマーカー検出は、より安定な血管中心線から向上されることができる。ある実施形態では、血管中心線はトレースとも称され、逆にトレースは血管中心線とも称される。
【0010】
部分的には、本開示は、複数のフレームにまたがって脈管木または脈管木の一つまたは複数のセグメントを位置合わせする方法に関する。部分的には、本開示は、血管造影図から生成されたスケルトンから分岐位置を抽出する方法ならびに一連のフレーム上の同じ分岐位置の融合に関する。ある実施形態では、本方法は、偽分岐を消去することを含む。消去されない場合、そのような偽分岐検出は、脈管木を通る経路を生成するために使われてしまい、正確な画像位置合わせおよび他のその後の処理段階に干渉する。部分的には、本開示は、分岐を、その特性（特徴）、たとえば分離角（take-off angle）、弧長位置、絶対的な角度、強度、サイズ（スケール）に基づいて表現する方法に関する。ある実施形態では、分離角は、親血管に対して測られる。そのような特徴抽出を実行するためのさまざまな画像処理方法が、本稿で記載されるように使用されることができる。
【0011】
部分的には、本開示は、複数の血管造影図から抽出された同じ解剖学的分岐を、特徴空間におけるクラスタリングに基づいて関連付ける方法に関する。これは、過剰なデータをフィルタリングし、欠けている代表を完成させるための方法を含む。部分的には、本開示は、フレーム横断画像位置合わせを低減する改良のための一つまたは複数のアンカー点のはたらきをすることができる好適な分岐クラスターを選択する方法に関する。フレーム横断画像位置合わせは、X線画像間の位置の連続性を容易にし、位置を追跡するときの向上した精度を許容するとともに、ステント配備および血管造影を使って実行される他の血管内手順のための参照フレームを許容する。
【0012】
ある実施形態では、本方法はさらに、一つまたは複数の候補領域または前記融合された造影クラウド領域を膨張させて、マーカーの追跡を除外するための安全ゾーンを提供することを含む。ある実施形態では、本方法はさらに、OCT画像データおよび複数の前記血管造影法画像フレームを相互位置合わせすることを含む。ある実施形態では、本方法はさらに、特定の所望されるスケールをもつ要素が保存されるよう、一つまたは複数の血管造影法フレームに平滑化フィルタを適用する段階を含む。
【0013】
ある実施形態では、本方法はさらに、平滑化された画像を適応的に閾値処理することを含む。それにより、小スケールの画像要素が除去されて二値画像を生成する。二値画像においては、造影クラウド領域内のピクセルは、第一の値または閾値、たとえば二値画像内の強度値または閾値である。ある実施形態では、本方法はさらに、前記二値画像における前記第一の値をもつクラウド領域を含むよう、造影クラウド近傍を選択し、該近傍を一つまたは複数の血管造影法フレームに重ねることを含む。ある実施形態では、本方法はさらに、前記近傍において前記第一の値を含むピクセルの量を数えるまたはスコア付けすることを含む。ある実施形態では、本方法はさらに、第一の値を含むピクセルを適応的に閾値処理し、前記第一の値以外の値を含む各近傍からのピクセルを除去することを含む。
【0014】
ある実施形態では、本方法はさらに、複数の血管造影法フレームにおけるガイドワイヤを検出し、一つまたは複数の画像マスクを生成し、そのようなガイドワイヤ位置および前記一つまたは複数のマスクを使って、解剖学的な安定なアンカー点を見出すことを含む。ある実施形態では、決定されたアンカー点は、血管中心線の遠位端点として選択される。そのような端部を決定することは、ある実施形態では、血管中心線生成を改善する。
【0015】
ある実施形態では、本方法はさらに、分岐に関連付けられた複数のクラスターをプロットし、それらのクラスターを使って血管造影法フレーム間のフレーム横断位置合わせを実行することを含む。それは、各フレームにおける分岐、屈曲および血管中心線端点のような二つのアンカー点の間に定義される血管セグメントどうしの間の弧長補間に基づく。ある実施形態では、本方法はさらに、任意の好適な最短または光学経路決定アルゴリズム、たとえばビタビ・アルゴリズムを使うことによって、複数の解剖学的に関連付けられた屈曲点をグループ化することを含む。そのようなアルゴリズムまたは他の方法は、諸位置の確からしいシーケンスおよび血管セクション中の、関連付けられた最も確からしい経路を決定するために使用できる。ある実施形態では、コスト基準は、屈曲角変化または曲率または曲率類似物、血管中心線に沿った屈曲位置、連続するフレーム間での屈曲角偏差の差に基づく。
【0016】
ある実施形態では、本方法はさらに、カーネル行列または他の画像変換演算子もしくは行列のような画像処理変換を一つまたは複数のフレームに適用して、少なくとも一つのフレームにおける特徴を除去または修正することを含む。本方法は、一つまたは複数のその後の画像処理段階の間に特徴抽出を実行するためのマスクを生成することを含むことができる。ここで、前記特徴は画像におけるガイドワイヤである。
【0017】
部分的には、本開示は、血管造影画像データと、血管を通じたプルバックの間に得られた血管内画像データとを相互位置合わせするプロセッサ・ベースの方法に関する。本方法は、光干渉断層撮影法データの複数のフレームをメモリに記憶し；血管造影法画像データの複数のフレームをメモリに記憶し；血管造影法画像データの前記複数のフレームを処理して、フレーム横断の相互位置合わせされた血管造影法データのセットを生成し；血管造影法画像データの前記複数のフレームについての血管中心線を生成し；血管造影法画像データの前記複数のフレームにおけるプローブ・マーカーを検出し；一つまたは複数の血管中心線に沿って前記プローブ・マーカーの位置を追跡し；追跡された位置を使って、血管造影法画像データの前記複数のフレームおよび光干渉断層撮影法データの前記複数のフレームを相互位置合わせすることを含む。
【0018】
ある実施形態では、本方法はさらに、血管造影法画像データのフレームと光干渉断層撮影法データのフレームとの間の相互位置合わせにおける信頼のレベルを示すスコアを生成する段階を含む。ある実施形態では、血管造影法画像データの前記複数のフレームおよび光干渉断層撮影法データの前記複数のフレームを相互位置合わせする段階は、コンピューティング装置を使って、相互位置合わせテーブルを生成することを含み、前記相互位置合わせテーブルは、血管造影法画像フレーム、フレーム毎のOCTタイムスタンプの複数、フレーム毎の血管造影法タイムスタンプの複数および光干渉断層撮影法画像フレームを含み、それぞれの相互位置合わせされた位置についてのスコア測定値を含む。
【0019】
ある実施形態では、本方法はさらに、OCT画像および血管造影法画像におけるステント表現を、ユーザー・インターフェースにおいて、前記相互位置合わせテーブルおよびコンピューティング装置を使って表示することを含む。ある実施形態では、本方法はさらに、一つまたは複数のOCT画像または血管造影法画像における分枝を、前記相互位置合わせテーブルおよび前記分枝を表示するよう構成されたユーザー・インターフェースを使って、識別することを含む。
【0020】
ある実施形態では、X線画像位置合わせは、一つまたは複数のX線画像に関して、フレーム横断位置合わせの一部として実行されることができる。画像位置合わせは、脈管木のセクションのような動脈セグメントの表現に対して、あるいはかかる表現を使って、実行されることもできる。これらの表現は、スケルトン、血管または脈管木座標または位置システム、一つまたは複数の血管の幾何学的モデルおよび一つまたは複数の血管を通る経路をトレースする曲線もしくは中心線を含むことができる。これらのさまざまな表現は、OCT、IVUSまたは他の血管内撮像モダリティーのような別の撮像モダリティーからの一つまたは複数の他の画像に関して、検出、生成または位置合わせされることができる。
【0021】
〈造影クラウドに関係した実施形態〉
部分的には、本開示は、造影クラウド検出方法ならびに一つまたは複数の検出された造影クラウド領域を含む血管造影法画像フレームの診断および解析に関する。
部分的には、本開示は、造影クラウド検出方法ならびに一つまたは複数の検出された造影クラウド領域を含む血管造影法画像フレームの診断および解析に関する。
【0022】
ある側面では、本開示は、動作時にシステムにアクションを実行させるソフトウェア、ファームウェア、ハードウェア、ソフトウェア・ベースの画像処理モジュールまたはそれらの組み合わせがシステムにインストールされているおかげで特定の動作またはアクションを実行するよう構成されることのできる一つまたは複数のコンピューティング装置のシステムに関する。一つまたは複数のコンピュータ・プログラムは、データ処理装置によって実行されるときに装置にアクションを実行させる命令を含んでいるおかげで特定の動作またはアクションを実行するよう構成されることができる。ある一般的な側面は、一つまたは複数のX線画像における一つまたは複数の関心領域を検出する、コンピューティング装置ベースの方法を含む。本方法は、造影剤が血管中にある一つまたは複数の時間期間を含む第一の時間期間の間に得られた血管造影法画像フレームのセットを電子的メモリ・デバイスに記憶する段階と；一つまたは複数の血管造影法フレームにおける複数の候補造影クラウド領域を検出する段階と；前記複数の候補造影クラウド領域を組み合わせて、融合造影クラウド領域を生成する段階とを含み、融合造影クラウド領域はクラウド境界をもつ。この側面の他の実施形態は、対応するコンピュータ・システム、装置および一つまたは複数のコンピュータ記憶デバイスに記録されたコンピュータ・プログラムを含む。それぞれは、本方法のアクションを実行するよう構成される。
【0023】
さまざまな実施形態において、実装は、以下の特徴の一つまたは複数を含んでいてもよい。本方法はさらに、融合造影クラウド領域内に位置する血管造影法画像データを、一つまたは複数のその後のデータ処理方法から除外することを含む。ある実施形態では、前記一つまたは複数のその後のデータ処理方法は、血管中心線の生成を含む。本方法はさらに、一つまたは複数の血管造影法画像フレームについての一つまたは複数の血管中心線を生成することを含む。本方法において、前記一つまたは複数のその後のデータ処理方法は、血管造影法画像フレームの前記セットの二つ以上の血管造影法画像フレームのフレーム横断位置合わせを含む。本方法はさらに、血管造影法画像フレームの前記セットの二つ以上の血管造影法画像フレームのフレーム横断位置合わせを実行することを含む。
【0024】
ある実施形態では、本方法はさらに、フレーム横断位置の集合を生成することを含む。本方法において、前記一つまたは複数のその後のデータ処理方法は、アンカー点抽出；弧長補間；およびフレーム横断位置生成を含む群から選択されるプロセスを含む。本方法はさらに、一つまたは複数の候補領域または融合造影クラウド領域を膨張させて、拡大された除外ゾーンを提供することを含み、さらに、拡大された除外ゾーン内に位置される血管造影法画像データを、一つまたは複数のその後のデータ処理方法から除外することを含む。本方法はさらに、OCT画像データおよび複数の前記血管造影法画像フレームを相互位置合わせすることを含む。本方法はさらに、特定の所望されるスケールをもつ要素が保存されるよう、一つまたは複数の血管造影法フレームに平滑化フィルタを適用することを含む。本方法はさらに、小スケールの要素が除去された平滑化された血管造影法フレームを適応的に閾値処理して、二値画像を生成する段階を含む。二値画像においては、造影クラウド領域内の一つまたは複数のピクセルは、二値画像内の第一の値である。
【0025】
ある実施形態では、本方法はさらに、前記二値画像における前記第一の値をもつクラウド領域を含むよう、造影クラウド近傍を選択し、該近傍を一つまたは複数の血管造影法フレームに重ねることを含む。本方法はさらに、前記近傍において前記第一の値を含むピクセルの数を数えるまたはスコア付けする段階を含む。本方法はさらに、第一の値を含むピクセルを適応的に閾値処理し、前記第一の値以外の値を含む各近傍からのピクセルを除去する段階を含む。本方法はさらに、マスクを生成し、該マスクを使って、血管中心線の近位端点のはたらきをする解剖学的な安定なアンカー点を検出する段階を含む。
【0026】
ある実施形態では、本方法はさらに、血管造影法画像フレームの前記セットにおける複数の解剖学的特徴を検出し；検出された解剖学的特徴のクラスターを生成し；それらのクラスターを使って、血管造影法フレーム間のフレーム横断位置合わせを実行する段階を含む。ここで、クラスターとは、複数のフレームから抽出された単一の解剖学的特徴を指す。ある実施形態では、解剖学的特徴は、脈管木における分岐または屈曲点である。
【0027】
ある実施形態では、本方法はさらに、関連付けられた諸屈曲点を通る確からしい経路を識別する最短経路発見アルゴリズムを使って複数の解剖学的に関連付けられた屈曲点をグループ化する段階を含む。本方法では、確からしい経路は、屈曲角変化、曲率、曲率類似物、中心線に沿った屈曲位置および連続するフレーム間での屈曲角偏差の差を含む群から選択される一つまたは複数の基準に応答して識別される。本方法はさらに、画像処理変換を一つまたは複数のフレームに適用して、少なくとも一つのフレームにおける特徴を除去または修正し、一つまたは複数のその後の画像処理段階の間に特徴抽出を実行するためのマスクを生成する段階を含む。ここで、前記特徴は画像におけるガイドワイヤである。
【0028】
ある実施形態では、本方法はさらに、血管造影画像データの前記複数のフレームと、光干渉断層撮影法データの前記複数のフレームを、相互位置合わせテーブルを使って相互位置合わせすることを含む。前記相互位置合わせテーブルは、血管造影法画像フレーム、フレーム毎のOCTタイムスタンプの複数、フレーム毎の血管造影法タイムスタンプの複数および光干渉断層撮影法画像フレームを含み、それぞれの相互位置合わせされた位置についてのスコア測定値を含む。本方法はさらに、OCT画像および血管造影法画像におけるステント表現を、ユーザー・インターフェースにおいて、前記相互位置合わせテーブルおよびコンピューティング装置を使って表示することを含む。本方法はさらに、一つまたは複数のOCT画像または血管造影法画像における分枝を、前記相互位置合わせテーブルおよび前記分枝を表示するよう構成されたユーザー・インターフェースを使って、識別することを含む。
【0029】
ある実施形態では、本方法はさらに、複数のフレーム横断位置合わせされた血管造影法画像を、診断システムを使って表示することを含む。ここで、前記複数のフレーム横断位置合わせされた血管造影法画像は前記セットから選択される。
【0030】
本方法では、本方法の一つまたは複数の段階は、血管造影法システムからフレームの前記セットを受領するための入力と、前記セットを記憶するための一つまたは複数の電子的メモリ・デバイスと、前記入力および前記一つまたは複数のメモリ・デバイスと電気通信する一つまたは複数のコンピューティング装置と、前記方法の一つまたは複数の段階を実行するために前記一つまたは複数のコンピューティング装置によって実行可能な命令、画像フィルタおよび画像処理ソフトウェア・モジュールとを含む診断システムを使って実装される。記載される技法の実装は、ハードウェア、方法もしくはプロセスまたはコンピュータ・アクセス可能媒体上のコンピュータ・ソフトウェアを含んでいてもよく、あるいは非一時的なコンピュータ可読媒体のようなコンピュータ可読媒体に記憶されてもよい。
【0031】
〈ガイドワイヤ検出および抽出に関係した実施形態〉
部分的には、本開示は、血管造影法データの一つまたは複数のフレームにおいてガイドワイヤを検出するシステムおよび方法に関する。部分的には、本開示は、一つまたは複数のガイドワイヤ・セグメントを含む血管造影法画像に対して作用するのに好適なさまざまな診断および画像処理方法に関する。
部分的には、本開示は、血管造影法データの一つまたは複数のフレームにおいてガイドワイヤを検出するシステムおよび方法に関する。部分的には、本開示は、一つまたは複数のガイドワイヤ・セグメントを含む血管造影法画像に対して作用するのに好適なさまざまな診断および画像処理方法に関する。
【0032】
ある実施形態では、本開示は、動作時にシステムにアクションを実行させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせがシステムにインストールされているおかげで特定の動作またはアクションを実行するよう構成されることのできる一つまたは複数のコンピュータのシステムに関する。一つまたは複数のコンピュータ・プログラムは、データ処理装置によって実行されるときに装置にアクションを実行させる命令を含んでいるおかげで特定の動作またはアクションを実行するよう構成されることができる。ある一般的な側面は、一つまたは複数のX線画像における一つまたは複数の関心領域を検出する、プロセッサ・ベースの方法を含む。本方法は、第一の時間期間の間に得られた血管造影法画像フレームのセットを電子的メモリ・デバイスに記憶する段階と；前記セットの一つまたは複数のフレームにおけるガイドワイヤを検出する段階と；前記セットの一つまたは複数のフレームにおける動脈セグメントを検出する段階と；フレームの群に関して複数のフレーム横断位置を生成する段階とを含む。フレームの群は下記を含む。一つまたは複数の関心領域を検出する本プロセッサ・ベースの方法はまた、検出されたガイドワイヤを含む一つまたは複数のフレームを含む。一つまたは複数の関心領域を検出する本プロセッサ・ベースの方法はまた、検出された動脈セグメントの一つまたは複数を含む一つまたは複数のフレームを含む。この側面の他の実施形態は、対応するコンピュータ・システム、装置および一つまたは複数のコンピュータ記憶デバイスに記録されたコンピュータ・プログラムを含む。それぞれは、本方法のアクションを実行するよう構成される。
【0033】
実装は、以下の特徴の一つまたは複数を含んでいてもよい。本方法はさらに下記を含む。本方法はまた、前記セットの一つまたは複数のフレームにおける一つまたは複数の検出された動脈セグメントに関して弧長補間を実行することを含んでいてもよい。本方法はさらに、前記複数のフレーム横断位置を使って、血管造影法画像フレームの前記セットのフレーム横断位置合わせを実行することを含む。本方法はさらに、フレームの一つまたは複数における複数の解剖学的特徴を識別することを含む。本方法では、解剖学的特徴を識別することは、複数のフレームにまたがる検出された解剖学的特徴の集合を含むクラスターを生成することを含み、ここで、クラスターは、検出された解剖学的特徴が異なる時刻に異なるフレームで撮像された同じ解剖学的特徴であることを示す。本方法はさらに下記を含む。本方法はまた、一つまたは複数の血管造影法フレームにおける複数の候補造影クラウド領域を検出することをも含んでいてもよい。本方法はさらに、血管造影法フレームの一つまたは複数のフレームの、造影クラウド領域を含むと識別された領域を、中心線生成プロセスから除外することを含む。本方法はさらに、前記候補造影クラウド領域の一つまたは複数から選択された端点を使って、一つまたは複数の血管中心線の近位端点を定義することを含む。さらに、検出されたガイドワイヤの端点を使って一つまたは複数の血管中心線の遠位端点を定義することを含む。本方法はさらに、前記セットにおける複数の前記血管造影法画像フレームについて複数の血管中心線を生成することを含む。さらに、検出されたガイドワイヤの端点を使って一つまたは複数の血管中心線の遠位端点を定義することを含む。本方法はさらに、前記第一の時間期間の間に血管内データ収集プローブのプルバックを実行することを含む。本方法では、前記セットの一つまたは複数のフレームにおいてガイドワイヤを検出することを含む。
【0034】
ある実施形態では、本方法はまた、血管造影法画像フレームに複数のフィルタを適用することを含んでいてもよい。本方法はまた、フィルタリングされた血管造影法フレームを適応的に閾値処理することを含んでいてもよい。本方法はまた、強度フィルタを使って適応的に閾値処理された血管造影法フレームに対して作用して、強度フィルタリングされたフレームを生成することを含んでいてもよい。本方法はまた、強度フィルタリングされたフレームにおけるガイドワイヤ部分を検出することを含んでいてもよい。本方法では、前記複数のフィルタは、形態学的フィルタおよびリッジ強調フィルタを含む。ある実施形態では、コンピューティング装置は、前記セットの一つまたは複数のフレームにおける一つまたは複数の検出された動脈セグメントに関して弧長補間を実行するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、前記複数のフレーム横断位置を使って、血管造影法画像フレームの前記セットのフレーム横断位置合わせを実行するためのさらなる命令を含む。
【0035】
ある実施形態では、コンピューティング装置は、一つまたは複数の血管造影法フレームにおける複数の候補造影クラウド領域を検出するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、前記候補造影クラウド領域の一つまたは複数から選択された端点を使って、一つまたは複数の血管中心線の近位端点を定義するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、検出されたガイドワイヤの端点を使って一つまたは複数の血管中心線の遠位端点を定義するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、前記セットにおける複数の前記血管造影法画像フレームについて複数の血管中心線を生成するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、検出されたガイドワイヤの端点を使って一つまたは複数の血管中心線の遠位端点を定義するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、前記セットの一つまたは複数のフレームにおいてガイドワイヤを検出することが、血管造影法画像フレームに複数のフィルタを適用することを含むようなさらなる命令を含む。システムはまた、フィルタリングされた血管造影法フレームを適応的に閾値処理することを含んでいてもよい。システムはまた、強度フィルタを使って、適応的に閾値処理された血管造影法フレームに対して作用して、強度フィルタリングされたフレームを生成することを含んでいてもよい。システムはまた、強度フィルタリングされたフレームにおけるガイドワイヤ部分を検出することを含んでいてもよい。ある実施形態では、前記複数のフィルタは、形態学的フィルタおよびリッジ強調フィルタを含む。記載される技法の実装は、ハードウェア、方法もしくはプロセスまたはコンピュータ・アクセス可能な媒体上のコンピュータ・ソフトウェアを含んでいてもよい。
【0036】
一つの一般的な側面は、血管造影画像における一つまたは複数の特徴を検出するためのシステムを含む。本システムは：一つまたは複数のメモリ・デバイスと、前記メモリ・デバイスと通信するコンピューティング装置とを含み、前記メモリ・デバイスは、コンピューティング装置によって実行可能な命令を含み、前記命令はコンピューティング装置に：第一の時間期間の間に得られた血管造影法画像フレームのセットを電子的メモリ・デバイスに記憶する段階と；前記セットの一つまたは複数のフレームにおけるガイドワイヤを検出する段階と；前記セットの一つまたは複数のフレームにおける動脈セグメントを検出する段階と；フレームの群に関して複数のフレーム横断位置を生成する段階とを実行させるものである。本システムはまた、検出されたガイドワイヤを含む一つまたは複数のフレームを含む。本システムはまた、検出された動脈セグメントの一つまたは複数を含む一つまたは複数のフレームを含む。この側面の他の実施形態は、対応するコンピュータ・システム、装置および一つまたは複数のコンピュータ記憶デバイスに記録されたコンピュータ・プログラムを含む。それぞれは、本方法のアクションを実行するよう構成される。
【0037】
実装は、以下の特徴の一つまたは複数を含んでいてもよい。ある実施形態では、コンピューティング装置は、前記セットの一つまたは複数のフレームにおける一つまたは複数の検出された動脈セグメントに関して弧長補間を実行するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、本稿に記載されるようなさらなる命令を含む。本システムはまた、前記複数のフレーム横断位置を使って、血管造影法画像フレームの前記セットのフレーム横断位置合わせを実行することを含んでいてもよい。ある実施形態では、コンピューティング装置は、一つまたは複数の血管造影法フレームにおける複数の候補造影クラウド領域を検出するためのさらなる命令を含む。
【0038】
ある実施形態では、コンピューティング装置は、前記候補造影クラウド領域の一つまたは複数から選択された端点を使って、一つまたは複数の血管中心線の近位端点を定義するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、検出されたガイドワイヤの端点を使って一つまたは複数の血管中心線の遠位端点を定義するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、前記セットにおける複数の前記血管造影法画像フレームについて複数の血管中心線を生成するためのさらなる命令を含む。ある実施形態では、コンピューティング装置は、検出されたガイドワイヤの端点を使って一つまたは複数の血管中心線の遠位端点を定義するためのさらなる命令を含む。
【0039】
ある実施形態では、コンピューティング装置は、前記セットの一つまたは複数のフレームにおいてガイドワイヤを検出することが含むようなさらなる命令を含む。システムはまた、血管造影法画像フレームに複数のフィルタを適用することを含んでいてもよい。システムはまた、フィルタリングされた血管造影法フレームを適応的に閾値処理することを含んでいてもよい。システムはまた、強度フィルタを使って、適応的に閾値処理された血管造影法フレームに対して作用して、強度フィルタリングされたフレームを生成することを含んでいてもよい。システムはまた、強度フィルタリングされたフレームにおけるガイドワイヤ部分を検出することを含んでいてもよい。ある実施形態では、前記複数のフィルタは、形態学的フィルタおよびリッジ強調フィルタを含む。記載される技法の実装は、ハードウェア、方法もしくはプロセスまたはコンピュータ・アクセス可能な媒体上のコンピュータ・ソフトウェアを含んでいてもよい。
【0040】
〈解剖学的特徴検出の実施形態〉
部分的には、本開示は、解剖学的特徴検出およびクラスタリング・ベースの検証方法に関する。ある側面では、本開示は、一つまたは複数のX線画像における一つまたは複数の関心領域を検出するプロセッサ・ベースの方法に関する。本方法は、第一の時間期間の間に得られた血管造影法画像フレームのセットを電子的メモリ・デバイスに記憶し；複数の前記血管造影法画像フレームについて複数の血管中心線を生成し、血管造影法画像フレームの群について血管造影法画像フレームの二値画像を生成し；二値画像からスケルトン画像を生成することを含む。
部分的には、本開示は、解剖学的特徴検出およびクラスタリング・ベースの検証方法に関する。ある側面では、本開示は、一つまたは複数のX線画像における一つまたは複数の関心領域を検出するプロセッサ・ベースの方法に関する。本方法は、第一の時間期間の間に得られた血管造影法画像フレームのセットを電子的メモリ・デバイスに記憶し；複数の前記血管造影法画像フレームについて複数の血管中心線を生成し、血管造影法画像フレームの群について血管造影法画像フレームの二値画像を生成し；二値画像からスケルトン画像を生成することを含む。
【0041】
ある実施形態では、本方法は、スケルトン画像に対してリブ・フィルタ（rib filter）または時間的フィルタを適用することを含む。ある実施形態では、本方法は、スケルトン画像において一つまたは複数の解剖学的特徴を検出することを含む。ある実施形態では、解剖学的特徴は複数の分岐である。ある実施形態では、解剖学的特徴は複数の屈曲点である。ある実施形態では、本方法は、解剖学的特徴を検出することが、複数のフレームにまたがる検出された解剖学的特徴の集合を含むクラスターを生成することを含むことを含み、ここで、クラスターは、検出された解剖学的特徴が異なる時刻に異なるフレームで撮像された同じ解剖学的特徴であることを示す。ある実施形態では、本方法は、スケルトン画像に対して血管交差フィルタを適用することを含む。ある実施形態では、スケルトン画像は血管中心線から生成される。ある実施形態では、本方法は、複数のクラスターを生成することを含む。ここで、各クラスターは、フレームの群から抽出される単一の解剖学的特徴である。ある実施形態では、本方法は、二つ以上のクラスターの間の一つまたは複数の距離指標を生成することを含む。
【0042】
ある実施形態では、距離メトリックは、ユークリッド・メトリックである。ある実施形態では、本方法は、解剖学的特徴を、それが二つ以上の血管造影法画像フレームに存在していることの結果として、有効確認することを含む。ある実施形態では、本方法は、クラスターをまとめて、それぞれが各関心対象フレームから単一の代表をもつクラスターの集合を生成することを含む。ある実施形態では、本方法は、一つまたは複数のクラスターを選択することを含む。ある実施形態では、それらのクラスターは、弧長標準偏差、規格化された弧長標準偏差、角度差標準偏差、他のクラスターへの近接性、フレーム当たりの冗長な解剖学的特徴記録の平均数およびフレーム当たりの欠けている分岐記録の平均数からなる群から選択されるパラメータに基づいて選択される。
【0043】
本発明は種々の側面および実施形態に関係するが、本稿に開示される種々の側面および実施形態は適宜、全体としてまたは部分において一緒に統合されることができることは理解される。このように、本稿に開示される各実施形態は、所与の実装のために、適宜、さまざまな度合いにおいて、各側面において組み込まれることができ、さまざまな方法からの段階は限定なしに組み合わされることができる。
【0044】
開示される実施形態の他の特徴および利点は、以下の記述および付属の図面から明白となるであろう。
【図面の簡単な説明】
【0045】
図面は必ずしも同縮尺ではなく、概して例示的原理に強調が置かれている。図面はあらゆる側面において例解するものと考えられるものであり、本開示を限定することは意図されていない。本開示の範囲は請求項によってのみ定義される。
【図1】本開示のある例示的実施形態に基づく、X線ベースの撮像システムおよび血管内撮像およびデータ収集システムの概略図である。
【図2A】本開示のある例示的実施形態に基づく、複数のフレーム横断位置を生成することによって、X線画像を血管内画像と相互位置合わせするために好適な、血管造影法画像処理およびフレーム追跡システムおよびその構成要素の概略図である。
【図2B】本開示のある例示的実施形態に基づく、フレーム間の相互位置合わせを実行するための、さまざまなパラメータと、OCTまたは他の血管内プルバックの間にX線システムを使って撮像を実行することからの出力とを含む例示的な相互位置合わせテーブルである。
【図2C】本開示のある例示的実施形態に基づく、三つのOCT画像フレームと、放射線不透明なマーカーをもつOCTプローブの動脈を通じたプルバックの間に得られた対応する三枚の血管造影法画像フレームとの概略図である。
【図3】本開示のある例示的実施形態に基づく、造影剤の血管への注入によって生成される一つまたは複数のX線画像において造影クラウドを検出する方法を示すフローチャートである。
【図4】本開示のある例示的実施形態に基づく、画像フレームにノイズ除去プロセスが適用された後の、造影剤が注入された血管のX線画像フレームである。
【図5】本開示のある例示的実施形態に基づく、血管のX線画像フレームに適応的な閾値処理が適用された後の造影クラウドの例示的な二値画像を示す図である。
【図6】本開示のある例示的実施形態に基づく、造影クラウドのまわりのあらかじめ定義された近傍における明ピクセル・スコアまたはカウントまたは他のピクセル・ベースもしくは強度ベースのメトリックを生成することから帰結する例示的な画像を示す図である。
【図7】本開示のある例示的実施形態に基づく、画像フレームから造影クラウドの潜在的な位置およびサイズが検出された例示的な画像を示す図である。
【図8】本開示のある例示的実施形態に基づく、複数の画像フレームからの例示的な融合されたクラウド・マスクを示す図である。
【図9】本開示のある例示的実施形態に基づく、金属ワイヤを検出する方法を示すフローチャートである。
【図10】本開示のある例示的実施形態に基づく、候補ワイヤのような細長い構造を示すよう向上された例示的な画像を示す図である。
【図11】Ａは、本開示のある例示的実施形態に基づく、ボトムハット・フィルタが適用された、ワイヤおよびその二つの端点の例示的な画像を示す図である。Ｂは、本開示のある例示的実施形態に基づく、リッジ・フィルタのような画像処理フィルタが適用された例示的な画像を示す図である。
【図12】本開示のある例示的実施形態に基づく、血管内にワイヤが配置された脈管系の一部の例示的な強度閾値画像を示す図である。
【図13】本開示のある例示的実施形態に基づく、X線画像において血管内ガイドワイヤのようなワイヤを検出する画像処理方法の間に使うのに好適な例示的なマスクを示す図である。
【図14】本開示のある例示的実施形態に基づく、脈管構造の一つまたは複数の検出された屈曲および分岐によって複数のフレームにおける脈管木セグメントを位置合わせする方法を示すフローチャートである。
【図15A】本開示のある例示的実施形態に基づく、スケルトン画像生成に先立って前処理された血管造影法フレームである。
【図15B】本開示のある例示的実施形態に基づく、画像処理およびデータ解析の適用後の、もとの血管造影法画像である。
【図15C】本開示のある例示的実施形態に基づく、画像処理およびデータ解析の適用後の、上記画像内の主要な血管の一つのスケルトンである。
【図16】Ａは、本開示のある例示的実施形態に基づく、脈管系の一部に対応する血管造影法画像のサブセットであり、Ｂは、本開示のある例示的実施形態に基づく、脈管系のその一部の表現であって、脈管木の一部としての分岐ならびに血管分枝とその由来元（親）血管との間の関連する角度βを示している。
【図17A】本開示のある例示的実施形態に基づく、分枝セグメントの規格化された弧長（縦軸）を角度測定値（横軸）に対してプロットすることから生成される複数のクラスターを示すプロットである。
【図18】ＡおよびＢは、本開示のある例示的実施形態に基づく、血管造影法画像データのフレームであって、本稿に記載される方法およびシステムを使って識別された合流点または屈曲を同定するラベルとともに、画像に重ねられた、さまざまな血管セグメントを通ってトレースされる経路を示している。
【発明を実施するための形態】
【0046】
本開示は、血管造影法のようなX線撮像およびその心臓病医学への応用に関するさまざまな方法、システムおよび装置に関する。特に、本開示は、そのようなフレームにまたがるまたはそのようなフレームの間で、血管造影法データのフレームに関する特徴を相互位置合わせすることに関する。本開示は、たとえば血管造影法データのフレームに関連して誤差を低減するまたは構造を検出することによって、そのような相互位置合わせを改善するためのさまざまな方法にも関する。
【0047】
そのような誤差低減方法および他の血管造影法または末梢血管系撮像向上の例として、いくつかが本稿で詳細に論じられる。これらの実施形態は、造影クラウド検出、X線画像データのフレームにおけるワイヤを抽出または識別することおよびたとえば角度をもった分枝および分岐もしくはガイドワイヤに関して脈管系に対して特徴および装置を追跡または位置合わせすることに関する。これらの実施形態は、他の位置合わせプロセスを通じて伝搬し、追加的な誤差および不正確さにつながることのある誤差を低減する。最終的には、そのような誤差は、血管造影法フレーム間の適正なフレーム横断位置合わせ（cross-frame registration）、そして他の撮像モダリティーの、そのような血管造影法フレームとの相互位置合わせ（co-registration）を阻むことがある。誤差は、放射線不透明なマーカーのような一つまたは複数のマーカーを含むプローブについてのプローブ動きを追跡および相互位置合わせすることにも干渉しうる。
【0048】
介入心臓病医は、血管造影法撮像のためなどに造影剤注入と組み合わせたX線透視法を使う。造影剤は脈管木を通じて広がり、脈管木がX線によって見えるようにする。典型的には、時間変化する造影クラウドがカテーテル先端付近に形成される。造影剤溶液の送達の位置または点は、ブロブまたは雲〔クラウド〕のような形をもち、きわめて可変的である。この変動が大きい構造は、根底にある解剖学的情報を隠し、追跡およびオブジェクトもしくは特徴検出のようなさまざまな画像処理およびコンピュータ・ビジョン・アルゴリズムを混乱させることがある。クラウドは、不規則な形状をもつさまざまなローブまたは領域をもつことができる。結果として、さまざまな検出された領域を組み合わせ、それらを総合するかそれらを包絡線または境界線を用いて定義して、全体的なクラウド領域を定義するために、ORまたは他の組み合わせまたは合併演算子が使われることができる。ある実施形態では、造影クラウドは、造影剤含有領域であると判定されたさまざまな領域または近傍の合併によって定義される、データ除外領域を定義する。
【0049】
造影クラウドの存在自身が、望まれない撮像アーチファクトおよび誤差を生成することがある。同様に、撮像の間の動脈における一つまたは複数のガイドワイヤの存在は、撮像誤差およびガイドワイヤの誤解釈につながることがある。さらに、脈管系の曲がりくねった重なり合う性質自身が、データの血管造影法フレームに対して所与の血管内プローブまたは他の医療デバイスがどこに位置されているかを追跡することを難しくすることがある。また、人間の観察者および自動化された診断システムにとって、血管造影法データのフレームにおける血管のどの表示されているセグメントが、さまざまな分枝および経路をもつ脈管系のひねりや曲がりならびに重なるセクションに対応し、整列するのかを判別することは難しい。本稿に記載される方法およびシステムのいくつかは、これらの困難に対する解決策を容易にする。上記に鑑み、部分的には、本開示は、造影X線スキャン、たとえばX線血管造影法の間に生成される造影クラウドの位置および広がりを検出する方法に関する。
【0050】
さらに、さまざまな処置、診断および血管内撮像技法の間、カテーテル、バルーン、ステントまたは他のデバイスを案内するためにさまざまなワイヤが使用されることができる。診断および血管内撮像技法の一部としてのユーザーに対する情報の表示の一部として、本開示は、血管造影法フレームのようなデータのフレームからワイヤおよび／またはワイヤ先端の位置を決定するための方法に関する。さらに、この情報は、脈管系のX線および血管内画像のユーザーによる観察および解釈をサポートし、向上させるために使用されることができる。脈管系は、種々の分枝および幹線をトレースするさまざまな曲がりくねった経路を含む。結果として、本開示は、X線画像のシーケンスにおける脈管木の位置合わせのための方法をも記述する。このように、X線における重なり合う動脈分枝がどのように枝分かれした三次元木に対応するかの当て推量が。該三次元木の枝が心拍または他の現象に応答してフレームごとに変化および移動する際に該三次元木の枝がナビゲートされ、解釈される必要がある。上記の特徴は、位置合わせ誤差を引き起こしうる要因に対処することによって、フレーム横断位置合わせの正確さを高める助けとなる。
【0051】
本稿に記載されるこれらのカテゴリーの実施形態およびその他は、光干渉断層撮影、超音波または他の撮像およびデータ収集システムと協調して機能するものを含むさまざまなX線撮像システムにおいて使用されることができる。血管内撮像技術は、X線透視法または他のX線撮像システムの代わりにまたはそれと組み合わせて使用できる貴重なツールである。血管内を見ることによって、これらの撮像技術は、所与の被験体についての血管の状態に関する高分解能のデータを得ることができる。これらの血管内画像を、血管内撮像の間に得られたフレーム横断位置合わせされた血管造影法画像と組み合わせ、造影クラウド・ノイズ、重なり合う枝およびガイドワイヤ・アーチファクトの課題の一部を解決することは、診断精度を直接改善する。
【0052】
結果として、光干渉断層撮影（OCT）および血管内超音波（IVUS）のような音響技術その他といった血管内撮像技術も本稿で記述される。たとえば、そのような血管撮像は、バイパス手術またはステント留置といった介入の間に血管疾病を診断し、位置特定し、処置するために、医師によって使用される。図１は、本発明の一つまたは複数の実施形態を実装するための例示的なシステム２であって、血管造影法システムのようなX線撮像システム４を含むものを示している。
【0053】
データ収集システム２は、システム４によって示される、核磁気共鳴、X線、計算機援用断層撮影または他の好適な非侵襲撮像技術のような非侵襲撮像システムを含んでいる。そのような非侵襲撮像システムの限定しない例として示されるように、たとえばシネ（cine）を生成するために好適な血管造影法システム４が示されている。血管造影法システム４は、X線透視システムを含むことができる。血管造影法システム４は非侵襲的に被験体Sを撮像するよう構成される。それにより、典型的には画像データのフレームの形の血管造影法データのフレームが生成される。このX線撮像は、プローブを使ってプルバック手順が実行される間に行なわれ、被験体Sの領域Rにおける血管が血管造影法ならびにたとえばOCTもしくはIVUSのような一つまたは複数の撮像技術を使って撮像される。非侵襲的スキャンの撮像結果（ディスプレイ７における左右の画像）およびOCTもしくはIVUSからなどの血管内撮像結果がディスプレイ７の中央パネルに示される。上記ディスプレイに加えて、血管内データを収集するために使われるプローブが使い捨てであってもよく、システム２の一部として患者インターフェース・ユニット（patient interface unit）またはPIUに接続することができる。
【0054】
血管造影システム４は、血管造影法データ記憶および画像管理システム１２と通信する。システム１２はある実施形態では、ワークステーションまたはサーバーとして実装されることができる。ある実施形態では、収集された血管造影法信号に関係するデータ処理は、直接、血管造影法システム４の検出器上で実行される。システム４からの画像は、血管造影法データ記憶および画像管理システム１２によって記憶され、管理される。ある実施形態では、サブシステム、サーバーまたはワークステーションがシステム１２の機能を扱う。ある実施形態では、システム４全体はX線のような電磁放射を生成する。システム４は、被験体Sを通過した後のそのような放射を受けることもする。さらに、データ処理システム１２は、血管造影法システム４からの信号を使って、被験体Sの、領域Rを含む一つまたは複数の領域を画像化する。ある実施形態では、システム１２および血管内システム１８はみな、一つの統合されたシステムの一部である。
【0055】
この特定の例に示されるように、関心領域Rは、特定の血管のような血管系または末梢血管系のサブセットである。この領域Rは、OCTまたは他の血管内モダリティーを使って撮像されることができる。カテーテル・ベースのデータ収集プローブ３０は被験体１０に導入され、たとえば冠動脈のような特定の血管の管腔内に配置される。プローブ３０は、多様な型のデータ収集プローブ、たとえばOCTプローブ、FFRプローブ、IVUSプローブ、上記のうち二つ以上の特徴を組み合わせたプローブおよび血管内で撮像するために好適な他のプローブであることができる。プローブ３０は典型的には、プローブ先端、一つまたは複数の放射線不透明なマーカー、光ファイバーおよびトルク・ワイヤを含む。さらに、プローブ先端は一つまたは複数のデータ収集サブシステム、たとえば光学ビーム・ディレクター、音響ビーム・ディレクター、圧力検出器センサー、他のトランスデューサまたは検出器および以上の組み合わせを含む。
【0056】
光学ビーム・ディレクターを含むプローブについては、光ファイバー３３はビーム・ディレクターをもつプローブと光通信する。トルク・ワイヤは、光ファイバーが配置されるボアを画定する。図１では、光ファイバー３３は、それを囲むトルク・ワイヤなしで示されている。さらに、プローブ３０は、カテーテルの一部をなすポリマー・シース（図示せず）のようなシースをも含む。OCTシステムのコンテキストでは干渉計のサンプル・アームである光ファイバー３３は、図のように、患者インターフェース・ユニット（PIU）に光学的に結合される。
【0057】
患者インターフェース・ユニットPIUは、プローブ３０の端部を受け入れてそれに光学的に結合されるのに好適なプローブ・コネクタを含んでいる。典型的には、データ収集プローブ３０は使い捨てである。PIUは、使用されるデータ収集プローブの型に基づいて、好適なジョイントおよび要素を含む。
【0058】
たとえば、組み合わせOCTおよびIVUSデータ収集プローブは、OCTおよびIVUS PIUを必要とする。PIUは典型的には、プルバック手順の一部としてトルク・ワヤ、シースおよびその中に配置される光ファイバー３３をプルバックするのに好適なモーターをも含む。このように、被験体１０の血管は長手方向に、あるいは断面で撮像されることができる。プローブ３０は、FFRまたは他の圧力測定のような特定のパラメータを測定するために使われることもできる。
【0059】
さらに、PIUは、一つまたは複数の血管内データ収集システム１８に接続される。血管内データ収集システム１８はOCTシステム、IVUSシステム、別の撮像システムおよび上記の組み合わせであることができる。たとえば、プローブ３０がOCTプローブであるコンテキストにおけるシステム１８は、干渉計のサンプル・アーム、干渉計の参照アーム、フォトダイオード、制御システムおよび患者インターフェース・ユニットを含むことができる。同様に、もう一つの例として、IVUSシステムのコンテキストでは、血管内データ収集システム１８は、超音波信号生成および処理回路、ノイズ・フィルタ、回転可能なジョイント、モーターおよびインターフェース・ユニットを含むことができる。
【0060】
ある実施形態では、データ収集システム１８および血管造影法システム４は、血管造影法ビデオ・フレームのタイムスタンプとOCT画像フレームのタイムスタンプを同期させるよう構成された、共有されたクロックまたは他のタイミング信号をもつ。ある実施形態では、血管造影法システム１２は、１５ａ、１５ｂ、１５ｃによって示されるさまざまな画像処理および特徴検出ならびに他のソフトウェア・ベースのプロセスを走らせる。ある実施形態では、血管造影法システム１２は、１５ａ、１５ｂ、１５ｃによって示されるさまざまな画像処理および特徴検出ならびに他のソフトウェア・ベースのプロセスを走らせる。これらのプロセスは、造影クラウド検出プロセス、特徴抽出プロセス、それに関するワイヤ検出および特徴抽出、フレーム間位置合わせプロセス、フレーム横断位置合わせプロセスならびに本稿に記載される他のプロセス、方法および段階を含むことができる。
【0061】
一般的に、ソフトウェア・ベースのプロセス１５ａ、１５ｂ、１５ｃは、フレーム横断位置合わせにおける誤差を低減し、本稿に記載される他のプロセスを実行する、たとえばX線画像における特徴を検出し、その後の処理段階において使うまたは除外するためにそれにフラグ付けするよう設計される。このように、そのようなソフトウェア・プロセスによって造影クラウドが検出され、次いでフラグ付けされることができる。それにより、クラウドの領域が、その領域における位置不定性およびノイズによって負の影響を受けるプロセスのためには使用されなくなる。
【0062】
ある実施形態では、造影クラウドがX線によって撮像される血管の近位端点付近に位置していることが有利である。中心線を決定するプロセスの一部として、端点を選択するために造影クラウド位置が使用されることができ、候補端点の集合から中心線端点を選択するまたは所与の中心線端点を定義することを助ける。ある実施形態では、ガイドワイヤがX線によって撮像される血管の遠位端点付近に位置していることが有利である。中心線を決定するプロセスの一部として、端点を選択するためにガイドワイヤ位置が使用されることができ、候補端点の集合から中心線端点を選択するまたは所与の中心線端点を定義することを助ける。
【0063】
本開示は、一つまたは複数のコンピュータ・プログラム・プロダクト、すなわちデータ処理装置による実行のためのまたはデータ処理装置の動作を制御するためのコンピュータ可読媒体上にエンコードされたコンピュータ・プログラム命令の一つまたは複数のモジュールとして実現されることができる。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリ・デバイスまたはそれらのうち一つまたは複数の組み合わせであることができる。用語「データ処理装置」はデータを処理するためのすべての装置、デバイスおよび機械を包含し、たとえば、プログラム可能なプロセッサ、コンピューティング装置、たとえばコンピュータまたは複数のプロセッサまたはコンピュータを含む。装置は、ハードウェアに加えて、問題のコンピュータ・プログラムのための実行環境を作り出すコード、たとえば、プロセッサ・ファームウェア、プロトコル・スタック、データベース管理システム、オペレーティング・システムまたはそれらのうち一つまたは複数の組み合わせを構成するコードを含むことができる。
【0064】
コンピュータ・プログラム（プログラム、ソフトウェア、ソフトウェア・アプリケーション、スクリプトまたはコードとしても知られる）は、コンパイルまたはインタープリットされる言語を含めいかなる形のプログラミング言語で書かれることもでき、スタンドアローン・プログラムとしてまたはモジュール、コンポーネント、サブルーチンまたはコンピューティング環境において使うのに好適な他のユニットとしてを含め、いかなる形で配備されることもできる。コンピュータ・プログラムは必ずしもファイル・システムにおけるファイルに対応しない。プログラムは、他のプログラムまたはデータ（たとえばマークアップ言語文書に格納された一つまたは複数のスクリプト）を保持するファイルの一部分に、問題のプログラム専用の単一のファイルに、あるいは複数の協調したファイル（たとえば、コードの一つまたは複数のモジュール、サブプログラムまたは諸部分を格納する諸ファイル）に記憶されることができる。コンピュータ・プログラムは、一つのコンピュータ上で、あるいは一つのサイトに位置するまたは複数のサイトにまたがって分散されて通信ネットワークによって相互接続された複数のコンピュータ上で実行されるよう配備されることができる。
【0065】
本開示に記載されるプロセスおよび論理フローは、入力データに対して作用して出力を生成することによって機能を実行するよう一つまたは複数のコンピュータ・プログラムを実行する一つまたは複数のプログラム可能なプロセッサによって実行されることができる。特殊目的の論理回路、たとえばFPGA（フィールドプログラマブルゲートアレイ）またはASIC（特定用途向け集積回路）によって、プロセスおよび論理フローが実行されることもでき、装置が実装されることもできる。
【0066】
コンピュータ・プログラムの実行のために好適なプロセッサは、たとえば、汎用および特殊目的両方のマイクロプロセッサおよび任意の種類のデジタル・コンピュータの任意の一つまたは複数のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受け取る。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための一つまたは複数のメモリ・デバイスとである。一般に、コンピュータは、データを記憶するための一つまたは複数の大容量記憶デバイス、たとえば磁気、光磁気ディスクまたは光ディスクを含むか、そのような記憶デバイスからデータを受領しそのような記憶デバイスにデータを転送するよう動作上結合されるか、その両方である。
【0067】
コンピュータまたはコンピューティング装置は、インターフェースのようなグラフィカル・ユーザー・インターフェースを表示するための一つまたは複数のソフトウェア・モジュールを含む機械可読媒体または他のメモリを含むことができる。コンピューティング装置は、モニタリング・データまたは他のデータのようなデータをネットワークを使って交換することができる。ネットワークは、一つまたは複数の有線、光学式、無線またはその他のデータ交換接続を含むことができる。
【0068】
コンピューティング装置またはコンピュータは、サーバー・コンピュータ、クライアント・ユーザー・コンピュータ、制御システム、血管内または血管造影法診断システム、マイクロプロセッサまたは当該コンピューティング装置によって行なわれるべきアクションを指定する一組の命令（逐次的またはそれ以外）を実行できる任意のコンピューティング装置を含みうる。さらに、用語「コンピューティング装置」は、個別にまたは合同して一組の（または複数組の）命令を実行してソフトウェア特徴または方法の任意の一つまたは複数を実行する、あるいは本稿に記載されるシステム・コンポーネントの一つとして動作するコンピューティング装置の任意の集合体を含むとも解釈される。
【0069】
図１の侵襲的および非侵襲的画像データ収集システムおよびデバイスに加えて、被験体の領域Rおよび被験体の、関心対象の他のパラメータに関して、さまざまな他の型のデータが収集されることができる。これは、位置情報、血管直径、血管分岐位置、ピクセル強度変動の領域および近傍ならびに他のデータを含むことができる。
【0070】
データ収集システム２は、データの血管造影法フレーム、OCTフレーム、OCTおよび血管造影法データのためのユーザー・インターフェースを示す一つまたは複数のディスプレイ７を含むことができる。血管造影法フレームの、他の血管造影法フレームに対する相互位置合わせが許容する。ディスプレイ７は、他のコントロールおよび関心対象の特徴をも示すことができる。
【0071】
血管造影法画像解析および処理システム１２を使って生成される非侵襲画像データは、図１に示したシステム１２またはシステム１８であることができる一つまたは複数のサーバーまたはワークステーションに送信され、記憶され、処理されることができる。血管内画像処理システム１６は、PIUおよび画像処理サブシステム１８と電気通信することができる。サブシステム１８は、マーカー位置を追跡し、血管内画像フレームとX線画像フレームとの間の相互位置合わせを実行するためのさまざまなソフトウェア・モジュールを含む。血管内画像データ、たとえばデータ収集プローブ３０を使って生成された血管内データのフレームは、PIU ３５を介してプローブに結合されたデータ収集処理システム４５にルーティングされることができる。ビデオ・フレーム取り込み装置、たとえばシステム１２からの血管造影法画像データを捕捉するよう構成されたコンピュータ・ボードが、さまざまな実施形態において使用されることができる。
【0072】
図２Ａに示されるように、段階およびプロセス・フロー５０の全体的な構成の一部として、X線画像５１のシーケンスが、血管造影法システム４の出力として生成され、画像処理および記憶のためにデータ収集システム１２に送信される。ある実施形態では、動脈を通じたプルバック血管内プローブの際にX線が得られる。各動脈は、脈管系の一部であり、さまざまな合流点または分岐や一つまたは複数の分枝につながることがある。これらの枝および分岐は、関心対象の動脈、たとえばOCTまたはIVUSを使ってプルバック撮像手順を同時に受けている動脈のセクションから、さまざまな角度で発散しうる。ガイドワイヤ抽出サブシステムおよび方法５３は、所与の画像フレームにおける、プローブ３０を位置決めするために使われるガイドワイヤの出現を除去するために、X線に対して作用し、変換することができる。検出されたガイドワイヤに沿った位置および末端端点および他の点も評価され、本稿に記載される他の画像およびデータ処理および解析の一部として、アンカー点として使われることができる。ある実施形態では、本稿での用法では、「抽出」への言及は、「検出」または「判別」をいうものと考えられることができ、逆も成り立つ。
【0073】
本稿で論じるように、そのような動脈の撮像は、放射線不透明な造影剤の導入によって向上される。X線画像の個々のフレーム上での領域として見える造影クラウドが作り出される。このクラウドは、造影剤が導入されるところの近傍に形成される。データ収集システムは、X線画像フレームに作用して、造影クラウドおよびその領域を特徴付けおよび／または検出する、造影クラウド検出サブシステムおよび／または方法５５を含む。このサブシステムは、システム１２の一部として、ソフトウェア・モジュール１５ａ、１５ｂまたは１５ｃまたはそれらの組み合わせにおいて実装されることができる。造影クラウド検出モジュール５５は、X線画像に対して作用し、該画像の特徴を検出するまたは所与のフレームの画像属性を増大もしくは減少させることなどによって、変換する一つまたは複数のソフトウェア・コンポーネントを使って実装されることができる。図２Ａに示され、あるいは他所で本稿に記載されるさまざまなフローチャート、段階およびプロセスは、本稿に記載される血管内システムおよび血管造影システムならびに他のコンピューティング装置および診断制御システムおよびプロセッサを使って実行されることができる。
【0074】
検出および画像処理段階を実行して血管造影法フレームの問題のある造影剤含有領域を識別して除外することに加えて、本開示は、血管中心線を生成することに関する処理段階およびソフトウェア・ベースの方法６０をも含む。中心線生成は、造影クラウド領域の除外の結果として向上されることができる。ひとたび中心線が生成されたら、アンカー点抽出段階および／または方法６５を使って、X線画像における任意の好適な解剖学的特徴、たとえば分岐および屈曲を検出することができる。これらの特徴は、さまざまな診断および画像処理方法のために使用されることができる。ある実施形態では、これらの構造に対してひとたび特徴抽出が実行されたら、フレーム毎の代表的な解剖学的特徴、たとえば分岐および屈曲のクラスターおよび群が、相互位置合わせ誤差および低い信頼スコアを軽減するために使用されることができる。
【0075】
結果として、相互位置合わせされるまたはフレーム横断ベースの位置合わせがされる相手の血管内画像フレームに対してディスプレイにどの血管造影フレームが示されるかの間の精度が増す。相互位置合わせとフレーム横断位置合わせプロセスは、診断レビュー、ステント配備レビューおよびステント計画を容易にする。結果として、造影クラウド検出、ガイドワイヤ抽出および分岐および屈曲の検出を通じた位置合わせ誤差を軽減することは、正確な相互位置合わせを達成し、エンドユーザーによって動脈状態もしくはステント状態を診断するために重要である。さまざまな実施形態において、位置合わせは、相互位置合わせおよびフレーム横断位置合わせを含み、逆も成り立つ。ある実施形態では、造影クラウド検出プロセス５５およびガイドワイヤ抽出プロセス５３は、中心線端点を定義するための位置値を生成できる。たとえば、第一の中心線端点値C1および第二の中心線端点値C2が、それぞれ造影クラウド検出５５およびガイドワイヤ抽出５３から生成されることができ、あるいは逆も成り立つ。造影クラウド検出データおよびガイドワイヤ検出データを使っての中心線についての近位および遠位の端点値の生成は、中心線の信頼度を高め、追加的なレベルの計算を削減する。所与の中心線の末端位置を通知するために血管造影画像データを使うからである。
【0076】
図２Ａに示されるように、検出されたアンカー点に関して弧長補間段および関係する段階６７が実行されることができ、X線画像上で検出されることのできる任意の解剖学的目印または特徴が、すべての血管造影法フレームにおいて対応する血管セグメントを識別するために使われることができる。ある実施形態では、解剖学的目印または特徴は、分岐、屈曲を、すべての血管造影法フレームにおける対応する血管セグメントを識別するための分岐および屈曲情報の一つまたは複数として、含む。弧長ベースの補間を使うことによって、フレーム横断位置が生成されることができる。フレーム横断位置は、プローブの放射線不透明なマーカーの位置を、諸血管造影法フレームにまたがって追跡することを容易にする。マーカーは、図２Ｃに示されるようにプルバックの間の種々の点を通って遷移する、動く要素である。たとえば、これらの位置は、血管造影法フレームにおける解剖学的特徴または他の目印に対して追跡されることができる。ある実施形態では、これらの位置の追跡は、血管内撮像データとの相互位置合わせを実行するために、放射線不透明なマーカーの追跡と組み合わされる。
【0077】
図２Ｂは、血管造影法フレームがフレーム横断相互位置合わせを受けた後に図１のシステムの一つまたは複数によって生成される相互位置合わせテーブルを示している。すなわち、異なる血管造影法フレームの間の相互位置合わせである。図２Ａのテーブルは、OCTおよび血管造影法フレームについて異なる時間を示している。両者は典型的には異なるシステムまたはデータ・サンプリング・クロックまたは時間期間で動作するからである。各フレームでのプローブ・マーカーの(x,y)位置がテーブルに表示されている。血管造影法フレームとOCTフレームとの間の位置合わせの信頼性の指標であるスコアも示されている。アンギオ・インデックスは、血管造影法の画像シーケンスについてのフレーム番号である。図２Ｃは、時間とともに異なる(x,y)空間位置に動くプローブ上のマーカーの概略的な表現と、どのOCTフレームが関連付けられた血管造影法フレームに対応するかを示している。マーカーは三つの血管内画像フレーム（OCT-0、OCT-1、OCT-2）および三つの血管造影法フレーム（Angio-0、Angio-1、Angio-2）のそれぞれにおける位置A、B、Cを通じて動き、フレーム間で、フレーム横断式に位置合わせされることができる。
【0078】
〈造影クラウド特徴抽出／検出に関係した方法および解析〉
部分的には、本開示は、近位血管端点の追跡精度を改善する方法に関する。近位血管端点は、典型的には、造影クラウドに近接して位置され、造影クラウドへの近接性によって乱される。造影クラウドの検出は、OCT‐血管造影法相互位置合わせにおける近位血管端点の安定化の改善を許容する。具体的には、造影クラウドの存在は、OCT‐血管造影法の相互位置合わせ（co-registration）およびX線フレーム間のフレーム横断位置合わせ（cross-frame registration）を複雑化し、たとえば、血管造影法フレーム集合にまたがって解剖学的位置を維持する端点をもつ中心線を決定するときの不確定性を生じる。
部分的には、本開示は、近位血管端点の追跡精度を改善する方法に関する。近位血管端点は、典型的には、造影クラウドに近接して位置され、造影クラウドへの近接性によって乱される。造影クラウドの検出は、OCT‐血管造影法相互位置合わせにおける近位血管端点の安定化の改善を許容する。具体的には、造影クラウドの存在は、OCT‐血管造影法の相互位置合わせ（co-registration）およびX線フレーム間のフレーム横断位置合わせ（cross-frame registration）を複雑化し、たとえば、血管造影法フレーム集合にまたがって解剖学的位置を維持する端点をもつ中心線を決定するときの不確定性を生じる。
【0079】
X線に案内される手順の間に、医師は、血管および心腔を視覚化するために、造影剤と組み合わされたX線スキャンを使う。造影剤注入の間、造影クラウドが造影リーディング・カテーテル（contrast-leading catheter）の近くに形成されることがある。造影クラウドは典型的には不定形であり、スキャンの間に収集される異なる画像フレームにおいて形状およびサイズが変化する。造影クラウドは、根底にある構造を遮蔽するまたは隠す可能性があり、潜在的には、さまざまな画像処理およびコンピュータ・ビジョン・アルゴリズムのパフォーマンスの低下につながる。単一のまたは複数の画像フレームから造影クラウドの位置および広がりを検出すれば、画像処理およびコンピュータ・ビジョン・アルゴリズムを適用するときに、洗練された関心領域が確立される。
【0080】
他の目的のためには、それは画像目印として使われてもよい。本質的に、それらの領域または検出された造影クラウドは、ノイズのあるまたは不定の領域としてフラグ付けされることができ、それに関しては他のその後の画像およびデータ処理のために使われる位置データおよび他の画像情報が除外される。これは、そのようなノイズのあるまたは不定な領域からのデータは誤差を導入することがあり、かかる誤差は他のその後の画像データ変換を通じて伝搬し、それはひいては追加的な誤差および位置合わせの不正確さを引き起こすからである。
【0081】
造影クラウド検出器を利用して二値画像を生成することができる。二値画像の明るいコンポーネントがクラウド領域を含む画像の領域である。あるいはまた、他の実施形態では、明るい領域が反転されて、暗い領域がクラウド検出のために使われることができる。ある例示的実施形態では、複数の画像フレームからの二値画像から、融合されたマスクが生成されることができ、これは、ピクセルごとのOR演算を使うことを含め、多様な技法を使って生成されることができる。
【0082】
ポスト・フィルタリング段を使って、関心領域外にある小さなコンポーネント（単数または複数）を除去することができる。これらのクラウド領域またはクラウド領域の和またはクラウド領域のORされた組み合わせが、除外されるべき領域を定義する。そのような領域またはその部分集合では、マーカー追跡は実行されない。これらのクラウド領域は、フレーム横断プロセス、中心線生成および本稿に記載される他のプロセスからも除外されることができる。ORされた組み合わせは、クラウド領域を組み合わせて、総合されたまたは融合されたクラウド領域にするOR演算を実行することから得られる。このようにして、造影クラウドが存在する可能性が高い領域を適正に除外する可能性を高めるために、複数の候補クラウド領域が組み合わされることができる。これらの領域は、もし使われたとしたら、誤差およびマーカー位置不確定性の源になり、その後の処理段階に対して有害な効果をもつことになる。
【0083】
このように、ある実施形態では、システム４を使って生成されたX線画像フレームに対して撮像プローブの不透明マーカーを追跡するときに、造影クラウドを含むものとして識別された領域は除外され、そこではマーカー追跡は実行されない。同じ除外は、本稿に記載される他の検出およびプロセスにも適用される。画像中の造影クラウド領域は、フレーム横断解析（cross-frame analysis）からも除外されることができる。造影クラウドを検出し、それに関連付けられた領域を定義することによって、造影クラウドの近くまたは造影クラウド上の解剖学的位置は、より高い精度で追跡されることができる。
【0084】
さらに、検出された造影クラウドの境界または端は、位置合わせプロセスまたは本稿に記載される他のプロセスのような他のプロセスを開始するためにどのフレームを使うことができるかを同定するための基礎を提供する。結果として、たとえば、より大きな追跡精度が、血管中心線決定を改善し、よって、フレーム横断位置を決定するときに達成される精度を改善する。これは、撮像アーチファクトならびに図２Ｂに示されるような相互位置合わせテーブルを生成することなどによって相互位置合わせプロセスが実行された後の血管セグメント間の整列不良を低減する。
【0085】
図３は、各入力画像について造影クラウドを検出するための方法のフローチャート１００を示している。段階Ａ１では、画像が、造影クラウドの検出のための処理のためにシステムに入力される。段階Ａ２では、画像はノイズ除去されて、よりなめらかな画像を生じる。この段階は任意的な段階であることができるが、画像を改善することができ、ノイズのあるX線画像について重要であることができる。画像がよりよい品質の画像である場合には、段階Ａ２はスキップできる。図４は、画像ノイズ除去が実行された後の、造影剤１６０領域をもつ血管１７０のX線画像１５０の例示的な画像を示している。クラウド１６０の位置を知ることは、血管中心線の一貫性および安定性の改善を許容し、それは相互位置合わせおよびプローブのマーカーの追跡の改善された精度につながる。
【0086】
段階Ａ３では、任意的に、（ギャップの数を減らすことによって）強度および形状の点で平滑化し、クラウド均一性を改善するために、形態学的フィルタが画像に適用される。ある実施形態では、段階Ａ２およびＡ３は一般的なノイズ除去段階において組み合わされることができる。ある実施形態では、段階Ａ２およびＡ３はいずれもオプティカルである。段階Ａ４では、画像に対して第一の適応的な閾値処理が使われて、二値画像を生じる。図５は、二値画像１８０を生じるために適応的な閾値処理が使われた例示的な画像を示している。図５に見られるように、潜在的な造影クラウドのエリアを含む、より暗い領域であった図４の画像のピクセルまたは諸部分が、図５の二値画像１８０では明るい白色領域２００、２３５、２４０、２５０によって表わされている。図５では、適応的な閾値処理が実行された後の二値画像が示されている。
【0087】
段階Ａ５では、段階Ａ３において生成される二値画像における各画像ピクセルについて、検出を必要とする造影クラウドの典型的なサイズに似ている近傍エリア内部の明るいピクセルの数が数えられる。造影クラウドのまわりの典型的な近傍エリアは、円板形、長方形または任意の随意の形であることができる。ある実施形態では、近傍の寸法は約5mm未満である。ある実施形態では、近傍の寸法は約1mmから約4cmの範囲である。ある実施形態では、前記寸法は直径、弦または線分である。図６は、造影クラウド３００のまわりのあらかじめ定義された近傍に含まれる、図５の画像の明るい白色領域における明るい白色ピクセル３００、３２５、３３０、３３５を数えることから帰結する例示的な画像２９０を示している。
【0088】
段階Ａ６では、段階Ａ５で生成された画像からの各ピクセルに対して適応的な閾値処理が使われる。使われる適応的な閾値は、図６に示されるように、段階Ａ５において画像を生成するために使われた近傍のサイズに関係する閾値である。段階Ａ７では、段階Ａ６で生成された画像から大きなコンポーネントを除去するためにコンポーネント・フィルタが使われる。図６では、示される画像２９０は、あらかじめ定義された近傍における明るいピクセルを数える段階が実行された後に帰結するものである。
【0089】
段階Ａ７では、クラウド・マスク・サイズを増すための画像拡大カーネルのようなマスク拡大画像処理演算子を用いて膨張マスク段階が任意的に使われる。図７は、単一のX線フレームからの造影クラウドの潜在的な位置およびサイズが検出された例示的な画像３５０を示している。膨張された（dilated）クラウド・マスク３６０が、縁または境界３７０とともに示されている。これは、段階Ａ１０において造影クラウドのクラウド・マスクを生成するために使われる。クラウド・マスクは、個々におよび総合される場合に、造影クラウドが存在する不確定性の領域を定義することができる。マスクを拡大する（expanding）ことは、クラウド領域におけるプローブを追跡してしまう可能性を減らす。ある実施形態では、クラウド領域は、検出され、除外ゾーンとして定義される。
【0090】
段階Ｂ１～Ｂ４において、複数の画像からのクラウド・マスクを融合するために、任意的な処理段階が使われることができる。段階Ｂ１では、単一の融合マスクを生成するために、複数の画像からのクラウド・マスクが一緒に使われる。段階Ｂ２では、複数のX線フレームからの情報を組み込む併合された造影クラウド・マスクを得るために、ピクセルごとのOR演算子が使われることができる。併合マスクを得た後、段階Ｂ３において、別のコンポーネント・ベースのフィルタを使って、小さなコンポーネントまたは関心領域の外にあるコンポーネントを除去することができる。造影剤溶液の初期の送達に続く時間期間にわたってクラウドが拡大および分散することを考えると、複数のX線フレームの使用は有利である。
【0091】
段階Ｂ４では、各フレームからのクラウド・マスクが図８に示されるように融合されることができる。図８は、X線画像シーケンスからの融合された造影クラウド・マスク４１０の例示的な画像１６０を示している。このマスクは、生成され、造影クラウド領域を識別するために画像に適用されることができる。これは、安全因子として、まわりにバッファ・ゾーンを含んでいてもよい。これらの識別された造影クラウド領域は次いで、追加的な画像処理を実行するときの無視／回避領域としてメモリに記憶されることができる。ある実施形態では、図８の融合されたクラウド・マスクは、複数のクラウド・マスク間でピクセルごとのORを取ることによって導出される。
【0092】
〈ガイドワイヤおよび細い要素の検出に関係した方法および解析〉
もう一つの側面では、X線画像、たとえばX線血管造影で細い金属ワイヤのようなワイヤの位置を検出するための方法が提供される。本稿に記載される型の手順で使われる金属ワイヤは、ガイドワイヤまたはワイヤのまわりのエリアにおける生理学的状態を測定するための生理学的ゲージをもつワイヤを含むことができる。たとえば、生理学的ゲージまたは検出器をもつワイヤは、圧力ワイヤ、あるいは温度、磁気、インピーダンスおよび電流および／または電圧を含むがそれに限られない他の任意の状態を測定するためのゲージを含むワイヤの形であることができる。
もう一つの側面では、X線画像、たとえばX線血管造影で細い金属ワイヤのようなワイヤの位置を検出するための方法が提供される。本稿に記載される型の手順で使われる金属ワイヤは、ガイドワイヤまたはワイヤのまわりのエリアにおける生理学的状態を測定するための生理学的ゲージをもつワイヤを含むことができる。たとえば、生理学的ゲージまたは検出器をもつワイヤは、圧力ワイヤ、あるいは温度、磁気、インピーダンスおよび電流および／または電圧を含むがそれに限られない他の任意の状態を測定するためのゲージを含むワイヤの形であることができる。
【0093】
本稿に記載されるガイドワイヤ抽出方法は、複数のフレームにおいて安定して、一貫した血管中心線を生じるために使われることができる。ひとたびガイドワイヤが検出されて抽出されたら、本稿に記載されるシステムおよび方法は、ガイドワイヤ位置情報を使って一貫した安定した位置を定義することができる。たとえば、ある実施形態では、検出されたガイドワイヤ位置は、すべての血管造影法フレームにおいて血管中心線端点の一つを定義するために選択される。ある実施形態では、検出後に選択される検出されたガイドワイヤ位置は、遠位の検出されたガイドワイヤ位置である。このように、調査される血管の遠位部分に位置するガイドワイヤをもつことは、位置合わせおよびフレーム横断誤差を低減するために使用されることができる。
【0094】
ワイヤ位置および／またはワイヤ先端位置の自動抽出は、さまざまな診断手順のために重要である。たとえば、金属ワイヤは、生理学的測定ゲージを含むことができ、ワイヤの位置は、ゲージからの測定値を自動的にその対応する解剖学的位置に関連付けるために使用されることができる。別の例では、金属ワイヤがX線スキャン・エリアにおいて動かされるとき、自動軌跡抽出が適用されることができる。加えて、ワイヤが特定の解剖学的位置にアンカーされているとき、一貫した解剖学的位置の自動検出が、この方法を使って達成されることができる。
【0095】
図９は、X線画像においてワイヤを検出する方法のフローチャート５００を示している。プロセス・フローの段階は、血管造影法画像のようなX線画像または血管造影法シーケンスまたはシネのような複数の画像について実行されることができる。段階５２０では、X線画像または画像シーケンスの画像平滑化が実行されて、画像における細長い構造を向上させる。このフィルタは、修正された非等方拡散フィルタであり、各反復工程において、フィルタ係数はもとの画像強度をブロブおよびリッジ検出器、ラプラシアン・ガウシアン（LoG）と組み合わせたものから導出される。ある実施形態では、細長い構造は、血管、ガイドワイヤ、肋骨〔リブ〕または画像データにおける他のエッジ含有要素の一つまたは複数を含む。図１０は、血管のX線画像の例示的な画像を示しており、画像平滑化が行なわれた後にワイヤが検出されている。図１０では、画像は、画像平滑化段階を実行することによって向上されている。このプロセスの一部として、細長い構造が強調される。ガイドワイヤWは右側に示されており、端点P1およびP2をもつ。動脈分枝A1およびA2に対して二つの分岐B1およびB2が示されている。
【0096】
段階５２５では、図１１のＡに示されるように、画像中の幅広の構造を消去できる形態学的フィルタが画像に適用される。ある実施形態では、形態学的フィルタはボトムハット・フィルタである。ある実施形態では、形態学的フィルタは、細い要素のような小スケールの特徴を向上させるまたは選択するよう構成されたまたは制約された任意のフィルタである。図１１のＡは、形態学的フィルタが適用された後の例示的な画像６００を示している。ある実施形態では、形態学的フィルタはボトムハット・フィルタである。好適な形態学的フィルタは、所与の形態学的フィルタ、たとえばボトムハット・フィルタにおいて使われる構造要素に対する典型的なスケールをもつ、画像における暗い細長い要素の向上を許容する。別の実施形態では、形態学的フィルタは、同様の結果を生成するメジアン・フィルタによって置き換えられることができる。
【0097】
段階５３０では、図１１のＢに示されるように、リッジ向上フィルタもしくは検出器または血管セグメンテーション・フィルタが適用される。ある実施形態では、そのようなフィルタまたは検出器は、図１１のＢに示されるように画像中の線を強調するために画像に適用されるリッジ向上フィルタ、たとえばフランギ（Frangi）・フィルタまたは他の好適なフィルタを使って実装される。リッジ向上フィルタは、ヘシアン・フィルタ、フランギ・フィルタまたは他のリッジもしくはエッジ検出器を含むことができる。
【0098】
図１１のＢは、リッジ向上フィルタが画像中のリッジ構造を向上させるために適用された後の例示的な画像６０５を示している。このように、リッジ向上フィルタは、画像中の細くて長く延びた特徴の抽出のために使われる。リッジ向上フィルタ出力は閾値処理されて、閾値処理された画像において明るいピクセルとして見える細くて長く延びた暗い要素を含む二値画像を生成する。
【0099】
段階５３５では、処理段階として入力画像に対して適応的な閾値処理を実行することによって、画像中の明るい領域が拒否される。金属ワイヤは放射線不透明であり、X線画像上で暗い細長い領域として見える。関心のない強度値をもつ画像エリアを拒否するために、適応的な二分閾値が適用される。こうして、ある実施形態では、暗い値に対応する強度値または値範囲に関連付けられたある閾値よりも大きな強度をもつ明るいエリアが、拒否されることができる。図１２は、強度閾値画像処理段階を実行するプロセスの結果として画像の明るいエリアが拒否された例示的な画像６１０を示している。
【0100】
段階５４０では、リッジ向上フィルタ出力結果および適応的な強度フィルタ結果が、ピクセルごとのAND演算子を使ってマージされて、併合された金属ワイヤ・マスク・コンポーネントが得られる。ある実施形態では、本稿に記載される血管造影法画像処理ソフトウェア・モジュールおよび方法は、諸画像において検出されたワイヤ断片を接続し、フィルタリングする。段階５５０では、ワイヤは断片において抽出されることができ、ワイヤに関係していない、画像中の他のコンポーネントが検出されることがある。ワイヤ断片は、分離角（takeoff angle）および断片間の距離の組み合わされた測定を使って結び合わされることができる。
【0101】
任意的な段階において、ワイヤ検出の間に結び合わされた可能性がある周囲のエリアからの要素を除去するために、コンポーネントのポスト・フィルタリングおよび／またはコンポーネントの細線化が実行されることができる。段階５６０において、先行する諸段階の画像処理の結果が、検出されたワイヤのマスクを生成するために使われる。図１３は、段階５６０で生成されたワイヤ・マスク６２０の例示的な画像を示している。マスク６２０は、二値レベルをもって示されており、一方の強度レベルはワイヤWに関連付けられ、マスクの残りの部分は画像の背景に対応する暗いまたは黒い第二の強度レベルである。ワイヤWは図のようにそれぞれ端点P1、P2をもつ。マスク６２０は、細線化プロセス５６０を実行後に表示される。ある実施形態では、端点P1およびP2の一つまたは複数が、血管中心線の端点を設定するために使用されることができる。ある実施形態では、一つまたは複数の遠位ガイドワイヤ端点を識別するためにガイドワイヤ検出が実行される。前記一つまたは複数の遠位ガイドワイヤ端点は、血管中心線端点を定義するために選択されることができる。
【0102】
ある実施形態では、ある実施形態において血管中心線遠位端点を追跡するのに先立って、ワイヤ・マスキング段階が実行される。ワイヤ・マスクの適用は、一つまたは複数の血管造影法フレームについての血管中心線の遠位端点を向上した精度をもって追跡することにおいて支援する。造影クラウド領域の識別およびそのような領域をマーカー追跡および他の画像処理段階の間に避けることは、安定した、一貫した中心線端点をもつことを容易にする。さらに、安定した一貫した端点をもつことにより、フレーム横断位置合わせの精度が高まる。
【0103】
〈脈管木位置合わせ〉
さまざまな医学用途は、動きおよび変形の間の異なるフレームにおいて捕捉された同じ解剖学的位置の間の正確なマッピングを必要とする。たとえば、血管内撮像プルバックおよびそれに続くステント配備の間の動脈の血管造影法撮像は、一つのそのような用途である。心臓は速く動く器官であり、複雑な変形がある。結果として、そのようなマッピングは作るのが難しいことがある。これは、血管造影法は曲がりくねった3D系の2Dビューを与えるものであり、2Dビューにおいては脈管木の構成要素、分岐およびガイドワイヤ、インプラント、ステントおよび他の血管内撮像デバイスが互いに重なり合って、被験体の脈管系に実際に存在するのではない曖昧さおよび重なり領域を血管造影法画像において生成するからである。本発明のさまざまな実施形態は、本稿で開示されるように、解剖学的目印、たとえば屈曲、アンカー点および分岐を使ってそのようなマッピングを実行するための方法およびシステムを提供する。
さまざまな医学用途は、動きおよび変形の間の異なるフレームにおいて捕捉された同じ解剖学的位置の間の正確なマッピングを必要とする。たとえば、血管内撮像プルバックおよびそれに続くステント配備の間の動脈の血管造影法撮像は、一つのそのような用途である。心臓は速く動く器官であり、複雑な変形がある。結果として、そのようなマッピングは作るのが難しいことがある。これは、血管造影法は曲がりくねった3D系の2Dビューを与えるものであり、2Dビューにおいては脈管木の構成要素、分岐およびガイドワイヤ、インプラント、ステントおよび他の血管内撮像デバイスが互いに重なり合って、被験体の脈管系に実際に存在するのではない曖昧さおよび重なり領域を血管造影法画像において生成するからである。本発明のさまざまな実施形態は、本稿で開示されるように、解剖学的目印、たとえば屈曲、アンカー点および分岐を使ってそのようなマッピングを実行するための方法およびシステムを提供する。
【0104】
加えて、本開示は、血管造影法画像上で分岐抽出を検出する方法にも関する。複数のX線フレームからの分岐をグループ化するための方法も開示される。さらに、複数のX線フレームからの血管屈曲位置を検出し、グループ化する方法が開示される。3D脈管構造についての動き推定も、本稿に記載される検出方法ならびに時間を追ってのフレーム間での目印およびその相対的な動きの追跡を使って、実行されることができる。異なるX線フレームにまたがる分岐および屈曲に基づくアンカー点の検出を組み込むことによって、フレーム横断位置合わせの精度を改善する方法が達成できる。本稿に記載される他の検出および除外プロセスも、そのようなフレーム横断位置合わせを改善する助けとなることができる。
【0105】
部分的には、本開示は、複数のX線フレーム、たとえば血管造影法データのフレーム上で撮像された脈管木、脈管木セグメントまたは他の脈管構成要素を位置合わせする方法に関する。ある実施形態では、本方法は、たとえば第一のフレームと第二のフレームの間の所与の位置合わせにおけるステップまたは段階として、アンカー抽出、屈曲点もしくは分岐点抽出を使うことができる。ある実施形態では、本方法は、たとえば第一のフレームと第二のフレームの間の所与の位置合わせにおけるステップまたは段階として、血管抽出を使うことができる。
【0106】
本稿で述べるように、血管造影法画像は、一つまたは複数の分岐を含むことができる。本開示は、フレーム毎にまたはフレームを横断して分岐を抽出するまたは他の仕方で識別するための画像データ処理および解析段階を記述する。ある実施形態では、複数のX線フレームからの分岐をグループ化するための方法が記述される。本開示は、フレーム毎にまたはフレームを横断して血管屈曲を抽出するまたは他の仕方で識別するための画像データ処理および解析段階を記述する。ある実施形態では、複数のX線フレームからの血管屈曲および分岐をグループ化するための方法が記述される。
【0107】
たとえばX線血管造影の間に異なる造影X線フレームから抽出された脈管木を位置合わせする方法が本稿に記載される。ある実施形態では、関心対象の血管分枝のそれぞれについて、血管中心線が既知であるまたは既知であるものとして扱われる。そのような中心線を検出するプロセスは、特許文献１に記載されるさまざまな方法を使って実行できる。同文献の開示はここに参照によってその全体において組み込まれる。ある実施形態では、本稿に記載される位置合わせ方法は、分岐点（もし存在すれば）および屈曲点（もし存在すれば）を、異なるフレームの間で解剖学的位置をマッチングするための「アンカー」として使う。ひとたびマッチする「アンカー点」の集合が得られたら、位置合わせは、中心線の弧長に沿って測られる相対的な測地距離に基づいて、マッチする位置について補間することに基づく。適宜、さまざまな距離メトリックが使用できる。
【0108】
さらに、三次元の心臓の動きおよび変形の推定を生成するために、「アンカー点」融合が使われることができる。同じ心位相からの一対の血管造影画像（2D投影）を使って、木血管の三次元的な再構成を得ることができる。心臓サイクルの複数の位相におけるこれらの3D血管構造再構成は、3Dでの心臓の動きの理解のために有益である。画像シーケンスに沿った各ビューでのこれらのアンカー点の変位は、3D脈管構造における動き推定の計算するすべを誘導する。脈管木のフレーム間位置合わせのための「アンカー点」マッチングを実行する方法に関するさらなる詳細は、本稿の下記および他所で記載される。
【0109】
〈解剖学的特徴検出――分岐点の抽出／検出およびグループ化〉
図１４は、第一および第二の血管造影法フレームの間の脈管木のような心臓系に関連した点を位置合わせするために好適な例示的なプロセス・フロー６３０を示している。このプロセス・フローは、解剖学的特徴を検出して、フレーム横断（cross-frame）／フレーム間（interframe）位置合わせのために使うために、使われることができる。フレーム横断位置合わせは、血管に沿って見出される他の解剖学的特徴または解剖学的目印によって達成されることもできる。方法６３０は、図のように脈管木のフレーム間位置合わせを実行するために使用されることができる。
図１４は、第一および第二の血管造影法フレームの間の脈管木のような心臓系に関連した点を位置合わせするために好適な例示的なプロセス・フロー６３０を示している。このプロセス・フローは、解剖学的特徴を検出して、フレーム横断（cross-frame）／フレーム間（interframe）位置合わせのために使うために、使われることができる。フレーム横断位置合わせは、血管に沿って見出される他の解剖学的特徴または解剖学的目印によって達成されることもできる。方法６３０は、図のように脈管木のフレーム間位置合わせを実行するために使用されることができる。
【0110】
ある実施形態では、解剖学的特徴、たとえば分岐点、たとえば動脈の第一および第二の血管への分かれ目または所与の脈管木についての屈曲を検出するプロセスならびにそのような点をグループ化する関連プロセスが、さまざまなデータ変換および画像処理段階を使って実装されることができる。初期に、本方法は、X線画像のシーケンスおよび関連する中心線を、ユーザー選択または他の基準などにより、処理のために決定する（段階Ｃ１）。
【0111】
中心線は、本稿で記載されるように決定されることができる。これらのX線画像は前処理段階Ｃ２を受ける。そのような前処理された画像６４０の例が図１５Ａに示されている。ある実施形態では、前処理段階として、関心対象の各中心線のまわりでスケルトン画像が生成される。図１５Ａに示されるように周辺特徴を明るくして動脈特徴を暗くする結果として、さまざまな動脈分枝および関連する屈曲および分離合流点およびその角度が明白であり、検出可能である。
【0112】
図１５Ｂおよび１５Ｃは、それぞれ、もとの血管造影法画像と、本開示の例示的実施形態に基づく画像処理およびデータ解析の適用後の、その画像における血管の一つのスケルトンおよびその周囲環境の一部である。図１５Ｃのスケルトン画像は、段階Ｃ３の出力に対応する。引き続き図１４を参照するに、本方法は、二つの処理経路またはカテゴリーにグループ化できる段階を含む。ある実施形態では、二つの処理経路またはカテゴリーは、第一の解剖学的特徴または解剖学的目印に関係することができ、一つは分岐に関係し、一つは屈曲点に関係する。
【0113】
ある実施形態では、本方法の分岐に関係した部分は、すべてのフレームの全部または部分集合において分岐を検出する段階（段階Ｃ４）およびクラスタリングによって分岐をグループ化する段階（段階Ｃ５）を含む。本方法の屈曲に関係した部分は、すべてのフレームの全部または部分集合において「屈曲」点検出を検出する段階（段階Ｃ６）および検出された屈曲点をグループ化する段階（段階Ｃ７）を含む。分岐および屈曲点のこれらのグループ化は続いて、脈管木または他の脈管構造もしくはそれらの部分集合のフレーム間位置合わせを実行するために使われる（段階Ｃ８）。一般に、第一の解剖学的構造と第二の解剖学的構造の任意のグループが本稿に記載されるようにしてグループ化またはクラスタリングされることができ、続いて脈管木または他の脈管構造もしくはそれらの部分集合のフレーム間位置合わせを実行する（段階Ｃ８）ために使われることができる。
【0114】
〈分岐検出――特徴抽出に関係した特徴〉
ある実施形態では、図１４の段階Ｃ４に関して述べたような分岐に関する特徴抽出を実行することは、さまざまな段階を含む。ある実施形態では、特徴抽出を実行することなどによる分岐の検出は、もとの画像に対して陰影除去（shadow removal）フィルタを適用することを含む。ある実施形態では、このフィルタリングは、大きな構造要素をもつボトムハットの形態学的演算を使って実行される。これは横隔膜の心臓の影の効果を低減し、さらに血管を向上させる。以前の段階からの出力が、ヘシアン・ベースのフィルタ画像を使って処理されることができる。
ある実施形態では、図１４の段階Ｃ４に関して述べたような分岐に関する特徴抽出を実行することは、さまざまな段階を含む。ある実施形態では、特徴抽出を実行することなどによる分岐の検出は、もとの画像に対して陰影除去（shadow removal）フィルタを適用することを含む。ある実施形態では、このフィルタリングは、大きな構造要素をもつボトムハットの形態学的演算を使って実行される。これは横隔膜の心臓の影の効果を低減し、さらに血管を向上させる。以前の段階からの出力が、ヘシアン・ベースのフィルタ画像を使って処理されることができる。
【0115】
ある実施形態では、ヘシアン・フィルタリングからの出力は適応的に閾値処理されて二値画像を生じる。ある実施形態では、二値画像にスケルトン生成アルゴリズムが適用されて、スケルトン画像が得られる。次いで、スケルトン画像は、スケルトン画像から小さなコンポーネントを消去することによって改善できる。ある実施形態では、小さなコンポーネントは、約5ピクセル未満である。ある実施形態では、小さなコンポーネントは約10ピクセル未満である。ある実施形態では、小さなコンポーネントは約15ピクセル未満である。ある実施形態では、小さなコンポーネントは約20ピクセル未満である。ある実施形態では、小さなコンポーネントは約25ピクセル未満である。ある実施形態では、小さなコンポーネントは約30ピクセル未満である。
【0116】
ある実施形態では、スケルトン画像の生成およびもしあればその後の向上の後に、本方法は、各フレーム上の、たとえば各フレームの中心線上の分岐の集合を検出する段階を含むことができる。ある実施形態では、分岐は、スケルトンにおける合流点として同定される。分岐点の正確な結果を得るために、血管交差および肋骨のような、偽の、分岐に似た特徴の消去が必要とされる。その目的のために、次のように、一連の一つまたは複数のフィルタが適用される。
【0117】
ある実施形態では、画像において胸郭または個々の肋骨によって呈されることがあり、脈管木構造の一部と誤解されうる任意の寄与を低減するために、リブ・フィルタが適用される。肋骨は、より速く動く血管に比してほとんど静的である。肋骨または他の静的な要素をイメージングするために、画像から静的な要素を削減するよう構成されたいかなるフィルタがここで使われることもできる。ある実施形態では、時間的フィルタが使われる。かかるフィルタは、画像シーケンス全体において一つ一つのピクセルを取って、あたかもそれが1D信号であるかのようにフィルタリングするよう動作する。さらに、いくつかの実施形態では、高域通過フィルタによってこれらの信号の集合体をフィルタリングして、静的なバックグラウンドを消去することが望ましい。複数のフレームから平均画像が計算されて、関心対象フレームから差し引かれる。このようにして、X線画像データのフレームに対して解析および画像処理を実行するときに、肋骨のような静的な要素が除去または無視されることができる。
【0118】
ある実施形態では、血管交差フィルタまたは検出器がX線画像フレームに適用される。所与のフレームにおいて、血管交差は二つの隣接する分岐が反対方向に分離していくように見えることがある。主要中心線に対する枝の分離角が、そのような血管交差の生起およびそれに関わる、血管の交差に起因する相互位置合わせ誤差の可能性を解決するために使われる。さらに、血管交差は、主要中心線の異なる側に位置し、主要中心線に沿った隣接する分離位置をもち180°に近い絶対的な角度差をもつという条件を満たす分岐枝を除外することによっても対処される。
【0119】
分岐のような解剖学的特徴の関連付けまたはグループ化プロセスは、クラスタリングに基づく。このクラスタリングまたはグループ化プロセスは、図１４からの段階Ｃ５に対応する。このコンテキストにおいて、クラスターは、複数のフレームから抽出された単一の分岐を指す。同じ分岐が、たとえわずかに異なる位置および配向においてであっても、複数のフレームで検出される場合、諸フレームにまたがる代表的な分岐の前記セットは、それが異なるフレームで異なる時刻に撮像された同じ分岐であることを示すクラスターをなすべきである。ある実施形態では、クラスター間で、一つまたは複数のリンクまたはベクトルが同定され、測定されることができる。二つのクラスターの間の距離メトリックは、分岐の特徴または何であれ評価され比較される特徴の間の差を考慮に入れる。これらの特徴は：主要血管中心線に対する角度、分岐の規格化された弧長および分岐枝に沿った平均画像強度、分岐スケール（または幅）、血管造影法画像での絶対的な角度および分岐管腔形状を含むことができる。このように、上記の特徴は、差を同定し、所与の特徴のクラスタリング挙動を評価し比較するための距離メトリックを生成するために使われることができる。
【0120】
ある実施形態では、さまざまな特徴を使って、分岐記述子空間またはモデルが生成される。特徴は、枝の平均画像強度値（I値）、枝の分離の絶対角（A値）および枝の規格化された弧長（S値）の一つまたは複数を含む。特徴空間においてデータ点を関連付けるために、類似性指標およびまたは距離指標／メトリックが使用されることができる。そのようなメトリックの例は、下記で定義されるユークリッド・メトリックD(Ci,Cj)であることができる。
【0121】
D(Ci,Cj)＝sqrt（(Ii－Ij)2＋(Ai－Aj)2＋(Si－Sj)2）
D(Ci,Cj)について、Iは平均画像強度を表わし、Aは分離枝の絶対的な角度を表わし、Sは枝の規格化された弧長を表わす。インデックスiおよびjは異なる血管造影法フレームiおよびjに対応する。
D(Ci,Cj)について、Iは平均画像強度を表わし、Aは分離枝の絶対的な角度を表わし、Sは枝の規格化された弧長を表わす。インデックスiおよびjは異なる血管造影法フレームiおよびjに対応する。
【0122】
複数のフレームにおける同じ分岐を表わす分岐データセットのクラスターが検出および／または選択される。検出／選択するプロセスは、特徴抽出を使って実行できる。特徴抽出の使用は、クラスターにおける画像ノイズの存在および欠けている情報があることを考えると、有益である。ある実施形態では、ある分岐が複数の画像フレーム上で検出され、諸フレームにまたがる諸検出のこのセットは一緒にクラスタリングされることができ、その分岐を異なるフレームを通じて同じものであると検証する助けとなる。特徴抽出は、ある実施形態では、画像ノイズのような余計なデータをフィルタリングする段階を含む。さらに、特徴抽出は、補間または他のプロセスなどにより、一つまたは複数のクラスターにおける欠けている情報を補完する段階を含むことができる。
【0123】
あるサイズの諸クラスター（大きなクラスターや、小さなまたは中サイズのクラスター）が、ある実施形態では、次の処理段階のために選択される。クラスターが、選択およびさらなる処理のための好適に大きなサイズであると識別されるのは、OCTプルバックの間に捕捉された血管造影法フレームのセットに比べての、その代表の数に基づく。ひとたび選択されたら、それらのクラスターは、クラスター統合段階において使われる。クラスターを統合するプロセスは、それぞれが各関心フレームからの単一の代表をもつクラスターの集合を生成する。
【0124】
図１６のＡは、二つの分枝B1およびB2から形成される分岐をもつ血管造影法画像のサブセットを示している。図１６のＢは、本開示のある例示的実施形態に基づく、脈管木の一部として分岐と、血管分枝とそのもとになる（親）血管の間の関連する角度βとを示す脈管系のその部分の表現である。図のように、図１６のＢでは、（親）血管分枝B1に対する分岐の角度が、分岐の概略表現において角度βとして示されている。角度βは、枝B1と枝B2の合流点から形成され、B1からB2への開きとして、矢印によって示されている。これらの分岐は、図１７Ａに示されるある実施形態では、角度および弧長に基づいて、プロットされるか、他の仕方でグループ化される。
【0125】
〈クラスター統合〉
図１７Ａは、規格化された弧長（縦軸）を角度測度（横軸）に対してプロットすることから生成される複数のクラスターを示している。関心のある三つのクラスターが１、２、３とラベル付けされている。クラスター１はクラスター２の左にあり、より多数のデータ点を含む。データ点は円形領域として示されている。クラスター３はクラスター１の上にあり、そのクラスターを上から下へとスパンする長方形領域に沿ってより多数の重なり合うデータ点をもつ。ある実施形態では、冗長性消去段階が実行される。
図１７Ａは、規格化された弧長（縦軸）を角度測度（横軸）に対してプロットすることから生成される複数のクラスターを示している。関心のある三つのクラスターが１、２、３とラベル付けされている。クラスター１はクラスター２の左にあり、より多数のデータ点を含む。データ点は円形領域として示されている。クラスター３はクラスター１の上にあり、そのクラスターを上から下へとスパンする長方形領域に沿ってより多数の重なり合うデータ点をもつ。ある実施形態では、冗長性消去段階が実行される。
【0126】
たとえば、同じフレームから複数の代表を含むクラスターの場合、クラスター重心に最も近い単一の点が選択される。図１７のＢは、クラスターを生成するために解析された血管造影法データのフレーム上で各クラスターについて対応する位置を示している。各フレームから単一のクラスター代表をもつことが望ましい。よって、クラスターがフレーム（単数または複数）からの代表を欠く場合、欠けている情報の代替として、直近の諸フレームに基づく補間された値が、クラスターを完成させるために使われる。クラスターを完成させるまたはそのようなクラスターの境界を定義するため、いかなる型の補間（線形、サイクリック、スプライン・ベース、曲線当てはめなど）が実装されることもできる。クラスターの要素は、ある実施形態では、そのような要素を、諸画像を通じて同じ要素として扱うための基礎である。
【0127】
〈クラスター選択〉
各分岐クラスターは、クラスター選択のために使われる品質等級を割り当てられる。次の因子が等級にはいる：弧長標準偏差、規格化された弧長標準偏差、角度差標準偏差、他の分岐クラスターへの近接性（異なるクラスターの重心間の距離に基づく）、フレーム当たりの冗長な分岐記録の平均数、フレーム当たりの欠けている分岐記録の平均数。これらのさまざまな因子を含む重み付けされた平均が、等級を生成するために使用されることができる。最良の諸等級をもつ諸クラスターが最終的に選ばれる。
各分岐クラスターは、クラスター選択のために使われる品質等級を割り当てられる。次の因子が等級にはいる：弧長標準偏差、規格化された弧長標準偏差、角度差標準偏差、他の分岐クラスターへの近接性（異なるクラスターの重心間の距離に基づく）、フレーム当たりの冗長な分岐記録の平均数、フレーム当たりの欠けている分岐記録の平均数。これらのさまざまな因子を含む重み付けされた平均が、等級を生成するために使用されることができる。最良の諸等級をもつ諸クラスターが最終的に選ばれる。
【0128】
〈血管屈曲特徴抽出／検出および特徴〉
図１４に示されるように、方法は段階Ｃ６およびＣ７を含む、屈曲に関係したパスをも含む。これらの段階に関するさらなる詳細を下記に述べる。一組の解剖学的「アンカー」が、血管屈曲の位置に基づいて、特徴として抽出される。血管屈曲は、血管がその方向を変えて、高い曲率を示すコーナー様構造を作り出す点として定義される。各フレームにおいて、先述した血管中心線から、マルチスケール曲率または曲率類似物が抽出される。
図１４に示されるように、方法は段階Ｃ６およびＣ７を含む、屈曲に関係したパスをも含む。これらの段階に関するさらなる詳細を下記に述べる。一組の解剖学的「アンカー」が、血管屈曲の位置に基づいて、特徴として抽出される。血管屈曲は、血管がその方向を変えて、高い曲率を示すコーナー様構造を作り出す点として定義される。各フレームにおいて、先述した血管中心線から、マルチスケール曲率または曲率類似物が抽出される。
【0129】
ある実施形態では、方法は、すべてのフレームにおいてまたはフレームの標本において各屈曲の位置を決定するために、ビタビ・アルゴリズムのような、追跡または最短経路アルゴリズムを使う。さまざまな実施形態において、所与の画像フレームにおける解剖学的およびその他の特徴もしくは目印を検出するために、特徴抽出が使われる。ある実施形態では、屈曲角サイズ、弧長または規格化された弧長を用いての血管中心線に沿った屈曲位置および連続するフレームにおける二つの屈曲の間の角度偏差の差に基づくコスト基準を最適化することによって、関心フレームすべてから、最短経路の特徴が抽出される。ある実施形態では、さまざまなフレームにまたがる屈曲および分岐の集合が、経路を同定するまたはさもなくば血管造影法フレームの間の位置合わせを実行するために使われる。
【0130】
複数の開始点からコスト基準が計算された後、所与の解についての関連付けられたコスト基準のランキングに基づいて、解が抽出される。複数のフレームからのすべての屈曲候補が抽出された後、小さな屈曲または血管中心線に沿って一貫しない位置を表示する屈曲に由来する解を消去するために、フィルタリング段階が適用されてもよい。
【0131】
図１８のＡおよびＢは、複数の脈管木の二つの血管造影法フレームを描いている。各フレーム７００、７０５において、二つのX線フレームから三つの屈曲が検出された。各X線フレームに対して中心線検出が実行された。結果として得られる検出された中心線は、各フレームに重ねられた白い線によって描かれている。各X線フレームに関して屈曲検出も実行された。屈曲位置は、白い菱形によって示されている。左の画像フレーム７００および右の画像フレーム７０５のそれぞれにおいて、下から上に１、２、３と番号を付された三つの屈曲が示されている。各血管中心線は、屈曲３、２、１に沿って動脈を通る経路をトレースする。特定の屈曲の、すべての血管造影法フレームにおける位置が、解剖学的なアンカーまたは参照点として、フレーム横断位置を正確に識別するために使用されることができる。
【0132】
〈スケルトンおよび血管中心線／生成に関するさらなるサポート詳細〉
さらに、ある実施形態では、血管造影法画像の前処理の一部として、解剖学的特徴検出が実行される。ある実施形態では、これは、血管中でプローブが取る経路に関係するある種の先験的情報を生成するために実行されることができる。スケルトン生成プロセスなどを通じた線分の生成は、特徴検出のために使用されることができる。ある実施形態では、スケルトンは、撮像される被験体の血管をたどるのを助けるために生成される一つまたは複数の線分のような静的なオブジェクトである。
さらに、ある実施形態では、血管造影法画像の前処理の一部として、解剖学的特徴検出が実行される。ある実施形態では、これは、血管中でプローブが取る経路に関係するある種の先験的情報を生成するために実行されることができる。スケルトン生成プロセスなどを通じた線分の生成は、特徴検出のために使用されることができる。ある実施形態では、スケルトンは、撮像される被験体の血管をたどるのを助けるために生成される一つまたは複数の線分のような静的なオブジェクトである。
【0133】
中心線生成およびマーカー追跡に情報を与えるために使用されることのできる、データ収集プローブについての血管中での候補経路を生成するための、スケルトンまたは線分ベースのアプローチの使用は、そのようなアプローチを使わないことに対して、いくつかの利点を提供する。たとえば、スケルトン・ベースのアプローチは、普通なら分枝または撮像プローブ・カテーテルを通過してしまうある種の血管中心線が生成されることを防ぐことができる。
【0134】
スケルトンを生成することは、中心線生成を容易にするために、撮像される血管および分枝および他の血管の幾何についての初期の候補を、マップまたはフレームワークとして、決定する方法を提供する。スケルトンを生成することにより、マーカーおよび血管中心線の追跡を安定化させ、血管造影法画像データのフレームを通じた追跡品質を検証するために、分岐点および血管セグメントのような関心対象の点を抽出することが可能になる。
【0135】
ある実施形態では、分枝および血管幾何のような解剖学的特徴を検出するためにスケルトンを生成するプロセスは、血管造影法画像の前処理の間に実装される。スケルトンは、主要分岐および外挿点のような解剖学的特徴を検出するために使用されることができる。さらに、スケルトンは、なめらかな血管中心線を検出および生成するために使用されることができる。たとえば、スケルトンは、ビタビ、デイクストラ・アルゴリズムまたは中心線生成を容易にする他のアルゴリズムのような最短経路アルゴリズムとともに使われることができる。スケルトンは、前処理されたヘシアン画像に基づいて生成されることができる。血管造影法画像上の、ガイドワイヤ位置に関係するユーザー選択された点が、ノイズを低減し、スケルトン生成を容易にするために使用されることができる。他の実施形態では、これは、画像特徴に基づいて点を選択することによって実装されることができる。
【0136】
ある実施形態では、一つまたは複数のソフトウェア・モジュールが、血管造影法データの所与のフレームについて血管中心線を生成し、追跡するために使用される。ある実施形態では、本稿で中心線とも称される血管中心線は、光または音響センサーまたは血管造影データ収集の際に導入される他の撮像もしくはデータ収集センサーに付随するマーカー・バンドを求めて、血管造影法データのフレームの各候補サブセットを対話的に評価することに基づいて生成される、モデルまたはシミュレーションである。
【0137】
ある実施形態では、たとえばビタビ・アルゴリズムのような任意の好適な最短経路もしくは光学経路決定アルゴリズムの一つまたは複数の段階を実装するソフトウェア・モジュールのような動的プログラム・ソフトウェア・モジュールが、放射線不透明なマーカーの追跡のために使われる。中心線の生成および追跡は、典型的には、他のアルゴリズムまたはその組み合わせによって扱われる。中心線追跡は、中心線の端点を定義するためのガイドワイヤまたは目印検出のような特徴検出を使うことによって、向上されることができる。中心線端点を定義することによって、フレーム横断位置合わせおよび中心線決定における信頼度が有利に高められる。
【0138】
所与の図面における方向性を示す矢印の使用またはその不在は、情報が流れることのできる方向を限定または要求することを意図したものではない。たとえば図１に示される要素をつなぐものとして示される矢印および線のような所与の接続子について、情報は、所与の実施形態のために好適なように、一つまたは複数の方向に、あるいは一つの方向にのみ、流れることができる。接続は、光学式、有線、電力、無線または電気接続のような、さまざまな好適なデータ伝送接続を含むことができる。
【0139】
〈血管造影法および血管内データ収集方法およびシステムを実装するための、限定しないソフトウェア特徴および実施形態〉
以下の記述は、本稿に記載される開示の方法を実行するために好適な、装置ハードウェアおよび他の動作コンポーネントの概観を提供することを意図されている。この記述は、本開示の適用可能な環境または範囲を限定することを意図したものではない。同様に、ハードウェアおよび他の動作コンポーネントは、上記の装置の一部として好適であることがありうる。本開示は、パーソナル・コンピュータ、マルチプロセッサ・システム、マイクロプロセッサ・ベースのまたはプログラム可能な電子装置、ネットワークPC、ミニコンピュータ、メインフレーム・コンピュータなどを含む他のシステム構成とともに実施されることができる。
以下の記述は、本稿に記載される開示の方法を実行するために好適な、装置ハードウェアおよび他の動作コンポーネントの概観を提供することを意図されている。この記述は、本開示の適用可能な環境または範囲を限定することを意図したものではない。同様に、ハードウェアおよび他の動作コンポーネントは、上記の装置の一部として好適であることがありうる。本開示は、パーソナル・コンピュータ、マルチプロセッサ・システム、マイクロプロセッサ・ベースのまたはプログラム可能な電子装置、ネットワークPC、ミニコンピュータ、メインフレーム・コンピュータなどを含む他のシステム構成とともに実施されることができる。
【0140】
詳細な説明のいくつかの部分は、アルゴリズムおよびコンピュータ・メモリ内のデータ・ビットに対する演算の記号表現を用いて提示されている。これらのアルゴリズム的な記述および表現は、コンピュータおよびソフトウェアに関係する分野の当業者によって使われることができる。ある実施形態では、アルゴリズムは、ここでは、また一般に、所望される結果につながる自己無矛盾な一連の動作であると考えられる。本稿に記載される方法段階としてまたは他の仕方で実行される動作は、物理量の物理的な操作を必要とするものである。必須ではないが通例、こうした量は記憶、転送、結合、変換、比較および他の仕方で操作されることのできる電気信号または磁気信号の形を取る。
【0141】
特に断りのない限り、以下の議論から明白なように、本稿を通じて、「処理」または「コンピューティング」または「計算」または「比較」または「弧長測定」または「検出」または「トレース」または「マスキング」または「サンプリング」「クラスタリング」「特徴抽出」または「適応的な閾値処理」または「動作」または「生成」または「決定」または「表示」または「発見」または「抽出」または「フィルタリング」または「回避」または「除外」または「補間」または「最適化」などといった用語を利用した議論は、コンピュータ・システムまたは同様の電子的コンピューティング装置の、該コンピュータ・システムのレジスタもしくはメモリ内の物理的な（電子的な）量として表現されたデータを操作し、同様に該コンピュータ・システム・メモリもしくはレジスタもしくは他のそのような情報記憶、伝送もしくは表示デバイス内の物理量として表現された他のデータに変換するアクションおよびプロセスを指すことは理解される。
【0142】
本開示は、いくつかの実施形態では、本稿における動作を実行する装置にも関する。この装置は要求される目的のために特別に構築されてもよいし、あるいはコンピュータ内に記憶されたコンピュータ・プログラムによって選択的に作動されるもしくは再構成される汎用コンピュータであってもよい。
【0143】
本稿に提示されるアルゴリズムおよび表示は、いかなる特定のコンピュータもしくは他の装置にも本来的に関係していない。さまざまな汎用システムが本稿における教示に基づくプログラムと一緒に使用されることができ、あるいは要求される方法ステップを実行するためにより特化した装置を構築することが便利であると判明することもありうる。こうした多様なシステムについての要求される構造は、以下の説明から明白である。
【0144】
本発明の実施形態は、多くの異なる形で実装されてもよく、そうした形には、決してこれに限られるものではないが、プロセッサ（たとえばマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサまたは汎用コンピュータ）と一緒に使うためのコンピュータ・プログラム論理、プログラム可能な論理デバイス（たとえばフィールドプログラマブルゲートアレイ（FPGA）または他のPLD）と一緒に使うためのプログラム可能論理、離散的なコンポーネント、集積回路（たとえば特定用途向け集積回路（ASIC））またはそれらの組み合わせを含む他の任意の手段が含まれる。本開示の典型的な実施形態では、OCTプローブ、FFRプローブ、血管造影法システムおよび他の撮像および被験体モニタリング装置およびプロセッサ・ベースのシステムを使って収集されるデータの処理の一部または全部は、一組のコンピュータ・プログラム命令として実装され、それがコンピュータ実行可能形式に変換されて、コンピュータ可読媒体においてそのようにして記憶され、オペレーティング・システムの制御のもとでマイクロプロセッサによって実行される。このように、ユーザー・インターフェース命令ならびにプルバックの完了もしくは相互位置合わせ要求に基づくトリガーが、たとえば、OCTデータを生成し、上記のさまざまなおよび他の特徴および実施形態を使って画像処理を実行するために好適な、プロセッサが理解できる命令に変換される。
【0145】
本稿で先に述べた機能の全部または一部を実装するコンピュータ・プログラム論理は、さまざまな形で具現されうる。そうした形には、決してこれに限られるものではないが、ソースコード形式、コンピュータ実行可能形式およびさまざまな中間形式（アセンブラー、コンパイラー、リンカーまたはロケーターによって生成される形）が含まれる。ソースコードは、さまざまなオペレーティング・システムまたは動作環境とともに使うための、さまざまなプログラミング言語（たとえば、オブジェクトコード、アセンブリ言語または高水準言語、たとえばフォートラン、C、C++、JAVA（登録商標）またはHTML）の任意のもので実装される一連のコンピュータ・プログラム命令を含みうる。ソースコードは、さまざまなデータ構造および通信メッセージを定義し、使用してもよい。ソースコードは、（たとえばインタープリターを介して）コンピュータ実行可能な形式であってもよいし、あるいはソースコードは（たとえば翻訳機、アセンブラーまたはコンパイラーを介して）コンピュータ実行可能な形式に変換されてもよい。
【0146】
コンピュータ・プログラムは、恒久的にまたは一時的に、いかなる形（ソースコード形式、コンピュータ実行可能形式または中間形式）で有体な記憶媒体に固定されてもよい。有体な記憶媒体は、半導体メモリ・デバイス（たとえば、RAM、ROM、PROM、EEPROMまたはフラッシュ―プログラマブルRAM）、磁気メモリ・デバイス（たとえばディスケットまたは固定ディスク）、光メモリ・デバイス（たとえばCD-ROM）、PCカード（たとえばPCMCIAカード）または他のメモリ・デバイスといったものである。コンピュータ・プログラムは、さまざまな通信技術の任意のものを使ってコンピュータに伝送可能な信号の任意の形で固定されてもよい。そうした技術には、決してこれに限られるものではないが、アナログ技術、デジタル技術、光技術、無線技術（たとえばブルートゥース（登録商標））、ネットワーキング技術およびインターネットワーキング技術を含む。コンピュータ・プログラムは、付属の印刷されたまたは電子的なドキュメントと一緒に、リムーバブル記憶媒体として任意の形で頒布されてもよく（たとえばシュリンクラップされたソフトウェア）、コンピュータ・システムに（たとえばシステムROMまたは固定ディスクに）あらかじめロードされていてもよく、あるいはサーバーまたは電子掲示板から通信システム（たとえばインターネットまたはワールドワイドウェブ）を通じて配信されてもよい。
【0147】
本稿で先に述べた機能の全部または一部を実装するハードウェア論理（プログラム可能な論理デバイスと一緒に使うためのプログラム可能な論理を含む）は、伝統的な手作業の方法を使って設計されてもよく、あるいはコンピュータ援用設計（CAD）、ハードウェア記述言語（たとえばVHDLまたはAHDL）またはPLDプログラミング言語（たとえばPALASM、ABELまたはCUPL）のようなさまざまなツールを使って電子的に設計、捕捉、シミュレートまたは文書化されてもよい。
【0148】
プログラム可能論理は、恒久的にまたは一時的に、有体な記憶媒体に固定されてもよい。有体な記憶媒体は、半導体メモリ・デバイス（たとえば、RAM、ROM、PROM、EEPROMまたはフラッシュ―プログラマブルRAM）、磁気メモリ・デバイス（たとえばディスケットまたは固定ディスク）、光メモリ・デバイス（たとえばCD-ROM）または他のメモリ・デバイスといったものである。プログラム可能論理は、さまざまな通信技術の任意のものを使ってコンピュータに伝送可能な信号において固定されてもよい。そうした技術には、決してこれに限られるものではないが、アナログ技術、デジタル技術、光技術、無線技術（たとえばブルートゥース）、ネットワーキング技術およびインターネットワーキング技術を含む。プログラム可能論理は、付属の印刷されたまたは電子的なドキュメントと一緒に、リムーバブル記憶媒体として頒布されてもよく（たとえばシュリンクラップされたソフトウェア）、コンピュータ・システムに（たとえばシステムROMまたは固定ディスクに）あらかじめロードされていてもよく、あるいはサーバーまたは電子掲示板から通信システム（たとえばインターネットまたはワールドワイドウェブ）を通じて配信されてもよい。
【0149】
好適な処理モジュールのさまざまな例について、下記でより詳細に論じる。本稿での用法では、モジュールは、特定のデータ処理またはデータ伝送タスクを実行するのに好適なソフトウェア、ハードウェアまたはファームウェアをいう。ある実施形態では、モジュールは、特徴抽出および処理命令またはさまざまな型のデータを受領、変換、ルーティング、実行するのに好適なソフトウェア・ルーチン、プログラムまたは他のメモリ常駐アプリケーションをいう。データはたとえば血管造影法データ、OCTデータ、IVUSデータ、フレーム横断データ、ピクセル座標、クラスター、クラウド、不透明領域、中心線、影、ピクセル、クラスター、距離メトリック、強度パターン、解剖学的特徴、解剖学的目印、分岐、屈曲および本稿に記載される関心対象となる他の情報である。
【0150】
本稿に記載されるコンピュータおよびコンピュータ・システムは、データを取得、処理、記憶および／または通信することにおいて使用されるソフトウェア・アプリケーションを記憶するための、メモリのような動作上関連したコンピュータ可読媒体を含んでいてもよい。そのようなメモリは、その動作上関連するコンピュータまたはコンピュータ・システムに関して、内部、外部、リモートまたはローカルであることができることは理解できる。
【0151】
メモリは、ソフトウェアまたは他の命令を記憶するための任意の手段をも含んでいてもよく、たとえば、限定なしに、ハードディスク、光ディスク、フロッピーディスク、DVD（デジタル多用途ディスク）、CD（コンパクトディスク）、メモリースティック、フラッシュメモリ、ROM（読み出し専用メモリ）、RAM（ランダムアクセスメモリ）、DRAM（動的ランダムアクセスメモリ）、PROM（プログラム可能型ROM）、EEPROM（拡張消去可能PROM）および／または他の同様のコンピュータ可読媒体を含む。
【0152】
一般に、本稿に記載される本開示の実施形態に関連して適用されるコンピュータ可読メモリ媒体は、プログラム可能な装置によって実行される命令を記憶することのできる任意のメモリ媒体を含んでいてもよい。適用可能な場合には、本稿に記載される方法は、コンピュータ可読メモリ媒体またはメモリ・メディアに記憶された命令として具現または実行されてもよい。これらの命令は、C++、C、Javaおよび／または本開示の実施形態に基づく命令を生成するよう適用されうる多様な他の種類のソフトウェア・プログラミング言語のようなさまざまなプログラミング言語で具現されたソフトウェアであってもよい。
【0153】
本開示の側面、実施形態、特徴および例は、あらゆる観点で例示的と考えられ、本開示を限定することは意図されていない。本開示の範囲は、請求項によってのみ定義される。特許請求される開示の精神および範囲から外れることなく、他の実施形態、修正および使用が、当業者には明白であろう。
【0154】
本願における見出しおよびセクションの使用は、本開示を限定することは意図されていない。各セクションは、本開示の任意の側面、実施形態または特徴に適用できる。
【0155】
本願を通じて、構成物が特定のコンポーネントをもつ、含むまたは有すると記述される場合、あるいはプロセスが特定のプロセス段階をもつ、含むまたは有すると記述される場合、本願の教示の構成物が、本質的には記載されるコンポーネントから構成される、あるいは記載されるコンポーネントからなることも考えられ、本願の教示のプロセスが、本質的には記載されるプロセス段階から構成される、あるいは記載されるプロセス段階からなることも考えられる。
【0156】
本願において、要素またはコンポーネントが、記載される要素またはコンポーネントのリストに含まれるおよび／または該リストから選択されると述べられる場合、その要素またはコンポーネントは、記載される要素またはコンポーネントの任意の一つであることができ、あるいは記載される要素またはコンポーネントの二つ以上からなる群から選択されることができることを理解しておくべきである。さらに、本稿に記載される構成物、装置または方法の要素および／または特徴は、本願の教示の精神および範囲から外れることなく、本稿で明記されていようと暗黙的であろうと、多様な仕方で組み合わされることができることを理解しておくべきである。
【0157】
「含む」、「もつ」または「有する」という用語の使用は、そうでないことが明記されない限り、一般に、限定するものではない、オープンエンドとして理解されるべきである。
【0158】
本稿での単数形の使用は、そうでないことが明記されない限り、複数を含む（逆も成り立つ）。さらに、文脈が明確にそうでないことを指定するのでない限り、単数形は複数形を含む。さらに、「約」という用語の使用が定量的な値の前にある場合、そうでないことが明記されない限り、本願の教示はその特定の定量的な値自身をも含む。本稿での用法では、用語「約」は、公称値から±10%の変動を指す。
【0159】
段階の順序またはある種のアクションを実行するための順序は、本願の教示が機能できるままである限り、重要ではないことを理解しておくべきである。さらに、二つ以上の段階またはアクションが同時に実施されてもよい。
【0160】
値の範囲またはリストが与えられる場合、値のその範囲またはリストの上限と下限の間のそれぞれの途中の値が個々に考えられ、あたかもそれぞれの値が具体的に本稿で挙げられているかのうように、本開示に包含される。さらに、所与の範囲の上限および下限を含む中間の、より小さな範囲が考えられており、本開示内に包含される。例示的な値または範囲のリストは、所与の範囲の上限および下限を含む中間の他の値または範囲を放棄するものではない。
【0161】
請求される開示のさまざまな側面が本稿に開示される技法のサブセットおよびサブステップに向けられることを理解しておくべきである。さらに、本稿で用いられる用語および表現は、限定ではなく、説明の用語として使われており、そのような用語および表現の使用には、示され記載される特徴の何らかの等価物またはその一部を除外する意図はない。請求される開示の範囲内でさまざまな修正が可能であることが認識される。よって、特許状によって保護されることが望まれるものは、あらゆる等価物を含む、付属の請求項において定義され、区別される開示である。
【0162】
いくつかの態様を記載しておく。
〔態様１〕
一つまたは複数のX線画像における一つまたは複数の関心領域を検出するコンピュータ装置ベースの方法であって：
造影剤が血管中にある一つまたは複数の時間期間を含む第一の時間期間の間に得られた血管造影法画像フレームのセットを電子的メモリ・デバイスに記憶する段階と；
一つまたは複数の血管造影法フレームにおける複数の候補造影クラウド領域を検出する段階と；
前記複数の候補造影クラウド領域を組み合わせて、融合造影クラウド領域を生成する段階とを含み、前記融合造影クラウド領域はクラウド境界をもつ、
方法。
〔態様２〕
前記融合造影クラウド領域内に位置する血管造影法画像データを、一つまたは複数のその後のデータ処理方法から除外することをさらに含む、態様１記載の方法。
〔態様３〕
前記一つまたは複数のその後のデータ処理方法は、血管中心線の生成を含む、態様２記載の方法。
〔態様４〕
一つまたは複数の血管造影法画像フレームについての一つまたは複数の血管中心線を生成することを含む、態様３記載の方法。
〔態様５〕
前記一つまたは複数のその後のデータ処理方法は、血管造影法画像フレームの前記セットの二つ以上の血管造影法画像フレームのフレーム横断位置合わせを含む、態様２記載の方法。
〔態様６〕
血管造影法画像フレームの前記セットの二つ以上の血管造影法画像フレームのフレーム横断位置合わせを実行することをさらに含む、態様５記載の方法。
〔態様７〕
フレーム横断位置の集合を生成することをさらに含む、態様６記載の方法。
〔態様８〕
前記一つまたは複数のその後のデータ処理方法は、アンカー点抽出；弧長補間；およびフレーム横断位置生成からなる群から選択されるプロセスを含む、態様２記載の方法。
〔態様９〕
一つまたは複数の候補領域または前記融合造影クラウド領域を膨張させて、拡大された除外ゾーンを提供することをさらに含み、前記拡大された除外ゾーン内に位置される血管造影法画像データを、一つまたは複数のその後のデータ処理方法から除外することをさらに含む、態様２記載の方法。
〔態様１０〕
OCT画像データおよび複数の前記血管造影法画像フレームを相互位置合わせすることをさらに含む、態様２記載の方法。
〔態様１１〕
特定の所望されるスケールをもつ要素が保存されるよう、一つまたは複数の血管造影法フレームに平滑化フィルタを適用することをさらに含む、態様１記載の方法。
〔態様１２〕
小スケールの要素が除去された平滑化された血管造影法フレームを適応的に閾値処理して、二値画像を生成する段階をさらに含み、前記二値画像において、造影クラウド領域内の一つまたは複数のピクセルは第一の値である、態様１１記載の方法。
〔態様１３〕
前記二値画像における前記第一の値をもつクラウド領域を含むよう、造影クラウド近傍を選択し、該近傍を一つまたは複数の血管造影法フレームに重ねることをさらに含む、態様１２記載の方法。
〔態様１４〕
前記近傍において前記第一の値を含むピクセルの数を数えるまたはスコア付けする段階をさらに含む、態様１３記載の方法。
〔態様１５〕
第一の値を含むピクセルを適応的に閾値処理し、前記第一の値以外の値を含む各近傍からのピクセルを除去する段階をさらに含む、態様１記載の方法。
〔態様１６〕
マスクを生成し、該マスクを使って、血管中心線の近位端点のはたらきをする解剖学的な安定なアンカー点を検出する段階をさらに含む、態様１記載の方法。
〔態様１７〕
血管造影法画像フレームの前記セットにおける複数の解剖学的特徴を検出し；検出された解剖学的特徴のクラスターを生成し；それらのクラスターを使って、血管造影法フレーム間のフレーム横断位置合わせを実行する段階をさらに含み、クラスターは、複数のフレームから抽出された単一の解剖学的特徴を指す、態様１記載の方法。
〔態様１８〕
複数の解剖学的に関連付けられた屈曲点を、該関連付けられた屈曲点を通る確からしい経路を識別する最短経路発見アルゴリズムを使って、グループ化する段階をさらに含む、態様１記載の方法。
〔態様１９〕
前記確からしい経路は、屈曲角変化、曲率、曲率類似物、中心線に沿った屈曲位置および連続するフレーム間での屈曲角偏差の差からなる群から選択される一つまたは複数の基準に応答して識別される、態様１８記載の方法。
〔態様２０〕
画像処理変換を一つまたは複数のフレームに適用して、少なくとも一つのフレームにおける特徴を除去または修正し、一つまたは複数のその後の画像処理段階の間に特徴抽出を実行するためのマスクを生成する段階をさらに含む、態様１記載の方法。
〔態様２１〕
血管造影画像データの前記複数のフレームと、光干渉断層撮影法データの前記複数のフレームを、相互位置合わせテーブルを使って相互位置合わせすることをさらに含み、前記相互位置合わせテーブルは、血管造影法画像フレーム、複数のフレーム毎OCTタイムスタンプ、複数のフレーム毎血管造影法タイムスタンプおよび光干渉断層撮影法画像フレームを含み、それぞれの相互位置合わせされた位置についてのスコア測定値を含む、態様１記載の方法。
〔態様２２〕
OCT画像および血管造影法画像におけるステント表現を、ユーザー・インターフェースにおいて、前記相互位置合わせテーブルおよびコンピューティング装置を使って表示することをさらに含む、態様２１記載の方法。
〔態様２３〕
一つまたは複数のOCT画像または血管造影法画像における分枝を、前記相互位置合わせテーブルおよび前記分枝を表示するよう構成されたユーザー・インターフェースを使って、識別することをさらに含む、態様２１記載の方法。
〔態様２４〕
複数のフレーム横断位置合わせされた血管造影法画像を、診断システムを使って表示することをさらに含み、前記複数のフレーム横断位置合わせされた血管造影法画像は前記セットから選択される、態様１記載の方法。
〔態様２５〕
当該方法の一つまたは複数の段階は、血管造影法システムから前記セットを受領するための入力と、前記セットを記憶するための一つまたは複数の電子的メモリ・デバイスと、前記入力および前記一つまたは複数のメモリ・デバイスと電気通信する一つまたは複数のコンピューティング装置と、当該方法の一つまたは複数の段階を実行するために前記一つまたは複数のコンピューティング装置によって実行可能な命令、画像フィルタおよび画像処理ソフトウェア・モジュールとを有する診断システムを使って実装される、態様１記載の方法。
〔態様２６〕
前記解剖学的特徴が脈管木における分岐または屈曲点である、態様１７記載の方法。
〔態様１〕
一つまたは複数のX線画像における一つまたは複数の関心領域を検出するコンピュータ装置ベースの方法であって：
造影剤が血管中にある一つまたは複数の時間期間を含む第一の時間期間の間に得られた血管造影法画像フレームのセットを電子的メモリ・デバイスに記憶する段階と；
一つまたは複数の血管造影法フレームにおける複数の候補造影クラウド領域を検出する段階と；
前記複数の候補造影クラウド領域を組み合わせて、融合造影クラウド領域を生成する段階とを含み、前記融合造影クラウド領域はクラウド境界をもつ、
方法。
〔態様２〕
前記融合造影クラウド領域内に位置する血管造影法画像データを、一つまたは複数のその後のデータ処理方法から除外することをさらに含む、態様１記載の方法。
〔態様３〕
前記一つまたは複数のその後のデータ処理方法は、血管中心線の生成を含む、態様２記載の方法。
〔態様４〕
一つまたは複数の血管造影法画像フレームについての一つまたは複数の血管中心線を生成することを含む、態様３記載の方法。
〔態様５〕
前記一つまたは複数のその後のデータ処理方法は、血管造影法画像フレームの前記セットの二つ以上の血管造影法画像フレームのフレーム横断位置合わせを含む、態様２記載の方法。
〔態様６〕
血管造影法画像フレームの前記セットの二つ以上の血管造影法画像フレームのフレーム横断位置合わせを実行することをさらに含む、態様５記載の方法。
〔態様７〕
フレーム横断位置の集合を生成することをさらに含む、態様６記載の方法。
〔態様８〕
前記一つまたは複数のその後のデータ処理方法は、アンカー点抽出；弧長補間；およびフレーム横断位置生成からなる群から選択されるプロセスを含む、態様２記載の方法。
〔態様９〕
一つまたは複数の候補領域または前記融合造影クラウド領域を膨張させて、拡大された除外ゾーンを提供することをさらに含み、前記拡大された除外ゾーン内に位置される血管造影法画像データを、一つまたは複数のその後のデータ処理方法から除外することをさらに含む、態様２記載の方法。
〔態様１０〕
OCT画像データおよび複数の前記血管造影法画像フレームを相互位置合わせすることをさらに含む、態様２記載の方法。
〔態様１１〕
特定の所望されるスケールをもつ要素が保存されるよう、一つまたは複数の血管造影法フレームに平滑化フィルタを適用することをさらに含む、態様１記載の方法。
〔態様１２〕
小スケールの要素が除去された平滑化された血管造影法フレームを適応的に閾値処理して、二値画像を生成する段階をさらに含み、前記二値画像において、造影クラウド領域内の一つまたは複数のピクセルは第一の値である、態様１１記載の方法。
〔態様１３〕
前記二値画像における前記第一の値をもつクラウド領域を含むよう、造影クラウド近傍を選択し、該近傍を一つまたは複数の血管造影法フレームに重ねることをさらに含む、態様１２記載の方法。
〔態様１４〕
前記近傍において前記第一の値を含むピクセルの数を数えるまたはスコア付けする段階をさらに含む、態様１３記載の方法。
〔態様１５〕
第一の値を含むピクセルを適応的に閾値処理し、前記第一の値以外の値を含む各近傍からのピクセルを除去する段階をさらに含む、態様１記載の方法。
〔態様１６〕
マスクを生成し、該マスクを使って、血管中心線の近位端点のはたらきをする解剖学的な安定なアンカー点を検出する段階をさらに含む、態様１記載の方法。
〔態様１７〕
血管造影法画像フレームの前記セットにおける複数の解剖学的特徴を検出し；検出された解剖学的特徴のクラスターを生成し；それらのクラスターを使って、血管造影法フレーム間のフレーム横断位置合わせを実行する段階をさらに含み、クラスターは、複数のフレームから抽出された単一の解剖学的特徴を指す、態様１記載の方法。
〔態様１８〕
複数の解剖学的に関連付けられた屈曲点を、該関連付けられた屈曲点を通る確からしい経路を識別する最短経路発見アルゴリズムを使って、グループ化する段階をさらに含む、態様１記載の方法。
〔態様１９〕
前記確からしい経路は、屈曲角変化、曲率、曲率類似物、中心線に沿った屈曲位置および連続するフレーム間での屈曲角偏差の差からなる群から選択される一つまたは複数の基準に応答して識別される、態様１８記載の方法。
〔態様２０〕
画像処理変換を一つまたは複数のフレームに適用して、少なくとも一つのフレームにおける特徴を除去または修正し、一つまたは複数のその後の画像処理段階の間に特徴抽出を実行するためのマスクを生成する段階をさらに含む、態様１記載の方法。
〔態様２１〕
血管造影画像データの前記複数のフレームと、光干渉断層撮影法データの前記複数のフレームを、相互位置合わせテーブルを使って相互位置合わせすることをさらに含み、前記相互位置合わせテーブルは、血管造影法画像フレーム、複数のフレーム毎OCTタイムスタンプ、複数のフレーム毎血管造影法タイムスタンプおよび光干渉断層撮影法画像フレームを含み、それぞれの相互位置合わせされた位置についてのスコア測定値を含む、態様１記載の方法。
〔態様２２〕
OCT画像および血管造影法画像におけるステント表現を、ユーザー・インターフェースにおいて、前記相互位置合わせテーブルおよびコンピューティング装置を使って表示することをさらに含む、態様２１記載の方法。
〔態様２３〕
一つまたは複数のOCT画像または血管造影法画像における分枝を、前記相互位置合わせテーブルおよび前記分枝を表示するよう構成されたユーザー・インターフェースを使って、識別することをさらに含む、態様２１記載の方法。
〔態様２４〕
複数のフレーム横断位置合わせされた血管造影法画像を、診断システムを使って表示することをさらに含み、前記複数のフレーム横断位置合わせされた血管造影法画像は前記セットから選択される、態様１記載の方法。
〔態様２５〕
当該方法の一つまたは複数の段階は、血管造影法システムから前記セットを受領するための入力と、前記セットを記憶するための一つまたは複数の電子的メモリ・デバイスと、前記入力および前記一つまたは複数のメモリ・デバイスと電気通信する一つまたは複数のコンピューティング装置と、当該方法の一つまたは複数の段階を実行するために前記一つまたは複数のコンピューティング装置によって実行可能な命令、画像フィルタおよび画像処理ソフトウェア・モジュールとを有する診断システムを使って実装される、態様１記載の方法。
〔態様２６〕
前記解剖学的特徴が脈管木における分岐または屈曲点である、態様１７記載の方法。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図16A】
【図16B】
【図17A】
【図17B】
【図18A】
【図18B】
