特許 6739561 物体の識別

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6739561

(24)【登録日】2020年7月27日

(45)【発行日】2020年8月12日

(54)【発明の名称】物体の識別

(51)【国際特許分類】

   A61B 6/12 20060101AFI20200730BHJP

   A61B 6/00 20060101ALI20200730BHJP

   G06T 1/00 20060101ALI20200730BHJP

   G06T 7/00 20170101ALI20200730BHJP

   G06T 7/60 20170101ALI20200730BHJP

   A61B 8/14 20060101ALI20200730BHJP

【ＦＩ】

   A61B6/12

   A61B6/00 350A

   G06T1/00 290A

   G06T7/00 300H

   G06T7/60 200C

   A61B8/14

【請求項の数】15

【全頁数】45

(21)【出願番号】特願2019-27931(P2019-27931)

(22)【出願日】2019年2月20日

(62)【分割の表示】特願2016-567229(P2016-567229)の分割

【原出願日】2015年5月13日

(65)【公開番号】特開2019-111359(P2019-111359A)

(43)【公開日】2019年7月11日

【審査請求日】2019年3月19日

(31)【優先権主張番号】61/993,123

(32)【優先日】2014年5月14日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516300690

【氏名又は名称】エスワイエヌシー‐アールエックス、リミテッド

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】クライマン エルダド

(72)【発明者】

【氏名】スタインバーグ アレクサンダー

(72)【発明者】

【氏名】カーモン ニリ

(72)【発明者】

【氏名】セーモ サリット

(72)【発明者】

【氏名】コーヘン ラン

【審査官】 井上 香緒梨

(56)【参考文献】

【文献】 特開昭６２−１２５４８１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２７９４７６（ＵＳ，Ａ１）

【文献】 国際公開第２０１３／１７５４７２（ＷＯ，Ａ２）

【文献】 特表２０１５−５１９９５７（ＪＰ，Ａ）

【文献】 特表２０１０−５２１１９８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０１４１７６６（ＵＳ，Ａ１）

【文献】 特開２００５−１２２３５１（ＪＰ，Ａ）

【文献】 中国特許出願公開第１７７７９１５（ＣＮ，Ａ）

【文献】 米国特許出願公開第２０１１／０２８６６２７（ＵＳ，Ａ１）

【文献】 特開２０１２−０４３４３６（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０２１５６８７０（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／００−６／１４

Ｇ０６Ｔ ７／００−７／９０

Ａ６１Ｂ ８／００−８／１５

(57)【特許請求の範囲】

【請求項1】

線状構造の物体を含む画像とともに使用するための装置であって、
出力デバイスと；
少なくとも１つのコンピュータプロセッサであって、
前記画像から、前記画像内の所与の画素の周りに配置され、前記物体の幅よりも大径である一組の同心円を抽出すること；
前記同心円の各々に、第１組の回転不変記述子及び第２組の回転不変記述子を生成するための少なくとも１つの関数を適用すること；及び
前記第１組の回転不変記述子及び前記第２組の回転不変記述子に基づいて、前記所与の画素が前記物体の一部に対応するかどうかを識別すること
により、前記所与の画素が前記物体の前記一部に対応するかどうかを識別し、且つ
前記所与の画素が前記物体の前記一部に対応すると識別することに少なくとも部分的に応じて、前記出力デバイスで出力を生成するコンピュータプロセッサと
を含む、装置。

【請求項2】

前記少なくとも１つの関数は、前記第１組及び第２組の回転不変記述子を含む機械学習分類関数である、請求項１に記載の装置。

【請求項3】

前記コンピュータプロセッサは、
前記画像の少なくとも一部内の各画素について、前記画素が前記画像内の他の画素とともに、前記物体の前記一部に関連付けられた所与の特性を有する画素の組の一部を形成する程度を測定する、物体らしさの度合いを決定することと；
前記画素の組の一部を形成する少なくともいくつかの画素の付近に配置された１つの画素と前記画素の組に属する１つの画素とからなる群から選択された１つの画素を選択することによって、前記識別することが適用される前記画素を選択することと
により、前記識別することが適用される前記画素を選択する、請求項１に記載の装置。

【請求項4】

前記装置は、被験者の血管の画像とともに使用するためのものであって、前記コンピュータプロセッサは、前記画像内の前記所与の画素が前記血管の内部に配置された物体の一部に対応するかどうかを識別することによって、前記画像内の前記所与の画素が前記物体の前記一部に対応するかどうかを識別する、請求項１乃至３のいずれか一項に記載の装置。

【請求項5】

前記血管の内部に配置された前記物体は、ガイドカテーテル、ワイヤ、管腔内撮像デバイス、放射線不透過性マーカ、及びステントからなる群から選択される、請求項４に記載の装置。

【請求項6】

前記コンピュータプロセッサは、前記同心円の各々の時間・周波数ドメイン変換の絶対係数を計算することによって、前記同心円の各々に前記少なくとも１つの関数を適用する、請求項１乃至３のいずれか一項に記載の装置。

【請求項7】

前記時間・周波数ドメイン変換は、フーリエ変換、離散サイン変換、及び離散コサイン変換からなる群から選択される、請求項６に記載の装置。

【請求項8】

前記コンピュータプロセッサは、前記所与の画素が前記物体の前記一部に対応すると識別することに少なくとも部分的に応じて、前記画像を第２の画像と整列させる、請求項１乃至３のいずれか一項に記載の装置。

【請求項9】

前記コンピュータプロセッサは、前記画像と前記第２の画像とを、前記画像と前記第２の画像とが互いに整列された画像ストリームで表示することによって、前記出力を生成する、請求項８に記載の装置。

【請求項10】

前記コンピュータプロセッサは、前記画像と前記第２の画像との前記整列に基づいて合成画像を生成することによって、前記出力を生成する、請求項８に記載の装置。

【請求項11】

前記コンピュータプロセッサは、前記所与の画素が前記物体の前記一部に対応すると識別することに少なくとも部分的に応じて、前記画像と第２の画像との間のマッピングのための変換関数を決定し、前記コンピュータプロセッサは、前記決定された変換関数に基づいて前記出力を生成する、請求項１乃至３のいずれか一項に記載の装置。

【請求項12】

前記装置は、被験者の血管内に配置された管腔内デバイスの画像とともに使用するためのものであって、
前記コンピュータプロセッサは、前記画像内の前記所与の画素が前記血管の内部に配置された物体の一部に対応するかどうかを識別することによって、前記画像内の前記所与の画素が前記物体の前記一部に対応するかどうかを識別し、
前記コンピュータプロセッサは、前記決定された変換関数に基づいて前記血管内における前記管腔内デバイスの位置を決定し、
前記コンピュータプロセッサは、前記管腔内デバイスの前記決定された位置に応じて前記出力を生成することにより前記出力を生成する、請求項１１に記載の装置。

【請求項13】

前記管腔内デバイスは管腔内データ取得デバイスを含み、
前記コンピュータプロセッサは、前記血管内における前記管腔内デバイスの前記位置を決定することによって、前記管腔内データ取得デバイスにより管腔内データポイントが取得された前記血管内の位置を決定し、
前記コンピュータプロセッサは、前記管腔内データ取得デバイスにより前記管腔内データポイントが取得された前記血管内の前記位置を決定することに基づいて前記出力を生成することにより前記出力を生成する、請求項１２に記載の装置。

【請求項14】

前記装置は、被験者の血管の内部に配置された管腔内デバイスの画像とともに使用するためのものであって、
前記コンピュータプロセッサは、前記画像内の前記所与の画素が前記血管の内部に配置された物体の一部に対応するかどうかを識別することによって、前記画像内の前記所与の画素が前記物体の前記一部に対応するかどうかを識別し、
前記コンピュータプロセッサは、前記所与の画素が前記物体の前記一部に対応すると識別することに少なくとも部分的に応じて、前記血管内における前記管腔内デバイスの位置を決定し、
前記コンピュータプロセッサは、前記管腔内デバイスの前記決定された位置に応じて前記出力を生成することにより前記出力を生成する、請求項１乃至３のいずれか一項に記載の装置。

【請求項15】

前記管腔内デバイスは管腔内データ取得デバイスを含み、
前記コンピュータプロセッサは、前記血管内における前記管腔内デバイスの前記位置を決定することによって、前記管腔内データ取得デバイスにより管腔内データポイントが取得された前記血管内の位置を決定し、
前記コンピュータプロセッサは、前記管腔内データ取得デバイスにより前記管腔内データポイントが取得された前記血管内の前記位置を決定することに基づいて前記出力を生成することにより前記出力を生成する、請求項１４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、「医療用デバイスの存在下における画像解析」と題され、２０１４年５月１４日に提出された、クレイマン（Ｋｌａｉｍａｎ）による米国仮特許出願第６１／９９３，１２３号の優先権を主張する。同出願は参照により本明細書に組み込まれる。

【0002】

本発明のいくつかの適用は、概して医療用撮像に係る。具体的には、本発明のいくつかの適用は、医療用撮像と、被験者の身体内に器具が存在しているときに斯様な画像が取得される場合における斯様な画像の解析とに関する。

【背景技術】

【0003】

冠動脈カテーテル法などの血管カテーテル法は、頻繁に行われる医学的介入である。斯様な介入は、一般的に、潜在的な病気について血管を診断するため、及び／又は病気の血管を治療するために行われる。一般的には、カテーテル法は、血管の観察を可能にするために、管腔外撮像に基づいて行われる。また、処置によっては、管腔内撮像及び／又は測定を行うために、管腔内データ取得デバイスが用いられる。管腔外撮像、及び適用可能な場合には管腔内データは、一般的には、介入の過程で、ならびに処置の後に、医療従事者により相互に組み合わせて評価される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明のいくつかの適用については、コンピュータプロセッサが、画像の所与の画素を解析して、例えばその画素が画像内の物体の一部に対応するかどうかを自動的に識別する。一般的には、解析は、被験者の血管の画像（例えば透視画像）に関して行われ、画像内の所与の画素が血管内に配置された物体（例えばデバイス）の一部に対応するかどうかを識別するために用いられる。例えば、血管内に配置された物体は、ガイドカテーテル、ワイヤ（例えばガイドワイヤ）、治療管腔内デバイス、管腔内データ取得デバイス、放射線不透過性マーカ、及び／又はステントであり得る。

【0005】

画素を解析するために、コンピュータプロセッサは、画素の周りに配置された一組の同心円を抽出する。コンピュータプロセッサは、これらの円が第１組の回転不変記述子によって定義されるように、円の各々に第１の関数を適用する。例えば、コンピュータプロセッサは、時間・周波数ドメイン変換（例えばフーリエ変換、離散サイン変換、及び／又は離散コサイン変換）をこれらの円に適用してもよく、また、コンピュータプロセッサは、円の各々の時間・周波数ドメイン変換の絶対係数を決定してもよい。

【0006】

コンピュータプロセッサは、円の組に第２の関数を適用して、例えば第２組の記述子を生成し、第２組の記述子の各々は円の各対の間の差を表す。次に、コンピュータプロセッサは、第２組の記述子が、回転不変になることにより、第２組の回転不変記述子を形成するように、第２組の記述子に第３の関数を適用する。例えば、コンピュータプロセッサは、時間・周波数ドメイン変換（例えばフーリエ変換、離散サイン変換、及び／又は離散コサイン変換）を第２組の記述子に適用してもよく、また、コンピュータプロセッサは、第２組の記述子の各々の時間・周波数ドメイン変換の絶対係数を決定してもよい。

【0007】

いくつかの適用については、コンピュータプロセッサは、第１組及び第２組の回転不変記述子の組み合わせを代表する代表記述子を生成する。

【0008】

いくつかの適用については、コンピュータプロセッサは、まず、円の各対の間の差を表す記述子の組を生成する。その後、コンピュータプロセッサは、（ａ）時間・周波数ドメイン変換（例えばフーリエ変換、離散サイン変換、及び／又は離散コサイン変換）を両方の円と円の各対の間の差を表す記述子の組とに適用すること、及び（ｂ）結果として得られる時間・周波数ドメイン変換の絶対係数を決定することによって、第１及び第２の回転不変記述子を生成する。一般的には、これらのステップの出力は、円と円同士の間の差との両方の回転不変記述子の組を代表する記述子である。

【0009】

代表記述子は、画素の周りに抽出された領域に関して回転不変であり、同心円の互いに関する回転アライメントが定義される。コンピュータプロセッサは、所与の画素が物体の一部に対応するかどうかを、代表記述子に基づいて及び／又は第１組及び第２組の回転不変記述子に基づいて、例えば機械学習分類をその代表記述子及び／又は第１組及び第２組の回転不変記述子に適用することにより、識別する。コンピュータプロセッサは、所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、出力を生成する。

【0010】

いくつかの適用については、画像内における物体の位置は、画像内の複数の画素に関して上述の解析を行うことによって決定される。いくつかの適用については、所与の画像内における物体の位置を決定することに応じて画像が第２の画像と整列されるが、これは各画像における物体の位置を互いに整列させることによって行われる。代替的又は追加的には、所与の画像内における物体の位置の識別は、例えばトルコヴスキー（Ｔｏｌｋｏｗｓｋｙ）による米国特許出願公開第２０１２／０００４５３７号明細書、ステインバーグ（Ｓｔｅｉｎｂｅｒｇ）による米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、管腔内における管腔内デバイスの位置の決定を容易にするために用いられる。これらの出願は参照により本明細書に組み込まれる。さらに代替的又は追加的には、所与の画像内における物体の位置の識別は、例えばステインバーグの米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグの国際公開第１３／１７５４７２号に記載された技術に従って、画像と第２の画像との間のマッピングのための変換関数の決定を容易にするために用いられる。両出願は参照により本明細書に組み込まれる。

【0011】

本発明のいくつかの適用については、コンピュータプロセッサは、管腔の管腔外ロードマップ画像内における位置と管腔の第２の管腔外画像内における位置との間のマッピングのための変換関数を決定する。一般的には、管腔の少なくとも１つの第１の管腔外画像が取得され、コンピュータプロセッサがその少なくとも１つの第１の管腔外画像をロードマップ画像として指定する。さらに一般的には、管腔の第１組の管腔外画像が取得され、コンピュータプロセッサがその第１組の画像のうち少なくとも１つをロードマップ画像として指定する。コンピュータプロセッサは、ロードマップ画像内におけるロードマップ経路を指定する。

【0012】

少なくとも１つの追加的な管腔外画像が取得される。一般的には、管腔の第２組の管腔外画像が取得される。さらに一般的には、第２組の管腔外画像は透視画像であり、そのうち少なくともいくつかは、管腔内に造影剤が不在であるとき、さらに一般的には管腔内デバイス（例えば管腔内データ取得デバイス又は管腔内治療デバイス）が管腔の中に配置されている間に、取得される。

【0013】

コンピュータプロセッサは、スコアリング関数が適用される画素の各々が画素が所与の特性を有する程度を示すスコアを指定されるように、追加的な管腔外画像（例えば第２組の管腔外画像に属する画像）内の少なくともいくつかの画素にスコアリング関数を適用することによって、スコア画像を生成する。なお、いくつかの適用については、スコアリング関数は、画素を所与の物体（ガイドカテーテル、ワイヤ、又は放射線不透過性マーカなど）に対応するものとして識別するという結果をもたらさない。いくつかの適用については、単一のフィルタが画像に適用される。例えば、ヘシアンフィルタ又はハイパスフィルタが画像の少なくとも一部に適用されてもよい。いくつかの適用については、スコアリング関数は、画素の各々に、画素の強度を示すスコアを指定する。代替的又は追加的には、スコアリング関数は、画素の各々に、画素が非解剖学的物体に対応しそうな程度を示すスコアを指定する。

【0014】

スコアリング関数が適用された画素のうち少なくともいくつかのスコアに基づいて、コンピュータプロセッサは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定する。一般的には、コンピュータプロセッサは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を、例えばロードマップ経路を画像の画素に最もよく適合させる最適適合アルゴリズムを適用することによって決定し、それらの画素のスコアは、それらの画素がロードマップ経路の画素と対応しそうであることを示す。

【0015】

ロードマップ経路の一部とスコア画像内の曲線との間の対応に基づいて、コンピュータプロセッサは、ロードマップ画像内の位置と追加的な管腔外画像（例えば第２組の管腔外画像に属する画像）内の位置との間のマッピングのための変換関数を決定する。決定された変換関数に応じて、コンピュータプロセッサは出力を生成する。

【0016】

いくつかの適用については、コンピュータプロセッサは、決定された変換関数に基づき、例えばステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、管腔内における管腔内デバイスの位置を決定する。両出願は参照により本明細書に組み込まれる。例えば、追加的な管腔外画像は、管腔内デバイスが管腔の内部にある間に取得され得る。コンピュータプロセッサは、変換関数に基づき、ロードマップ画像に関して管腔内デバイスの位置を決定してもよく、ロードマップ画像に関して管腔内デバイスの決定された位置を示す出力を生成してもよい。

【0017】

いくつかの適用については、コンピュータプロセッサは、変換関数に基づき、管腔内データ取得デバイス（例えば管腔内撮像デバイス、又は複数の機能的管腔内データポイントを取得するように構成された管腔内データ取得デバイス）により１つ以上の管腔内データポイントが取得された管腔内の位置を決定する。管腔内データポイントが取得された管腔内の決定された位置に基づいて、コンピュータプロセッサは、例えば管腔内撮像スタックを生成することにより、及び／又は管腔内データポイントと管腔内データポイントが取得された管腔内の位置との間の対応の指標（ｉｎｄｉｃａｔｉｏｎ）を生成することにより、出力を生成してもよい。代替的には、コンピュータプロセッサは、管腔内データポイントが取得された管腔内の決定された位置に基づき、上述の及び／又はトルコヴスキーによる米国特許出願公開第２０１２／０００４５３７号明細書、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術を用いて、管腔内データポイントと管腔外撮像とを併用してもよい。これらの出願は参照により本明細書に組み込まれる。

【課題を解決するための手段】

【0018】

よって、本発明のいくつかの適用に従って提供されるのは、物体を含む画像とともに使用するための方法であって、
画像から、画素の周りに配置された一組の同心円を抽出すること；
円が第１組の回転不変記述子によって定義されるように円の各々に第１の関数を適用すること；
第２組の記述子の各々は円の各対の間の差を表す当該第２組の記述子を生成するように円の組に第２の関数を適用すること；
第２組の記述子が、回転不変になることにより、第２組の回転不変記述子を形成するように、第２組の記述子に第３の関数を適用すること；及び
第１組及び第２組の回転不変記述子に基づいて所与の画素が物体の一部に対応するかどうかを識別すること
により、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別する、少なくとも１つのコンピュータプロセッサを使用することと、
所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、出力を生成することと
を含む方法である。

【0019】

いくつかの適用については、第１組及び第２組の回転不変記述子に基づいて所与の画素が物体の一部に対応するかどうかを識別することは、機械学習分類を第１組及び第２組の回転不変記述子に適用することを含む。

【0020】

いくつかの適用については、方法は、
画像の少なくとも一部内の各画素について、その画素が画像内の他の画素とともに、物体の一部に関連付けられた所与の特性を有する画素の組の一部を形成する程度を測定する、物体らしさ（ｏｂｊｅｃｔｎｅｓｓ）の度合いを決定することと；
画素の組の一部を形成する少なくともいくつかの画素の付近に配置された１つの画素と画素の組に属する１つの画素とからなる群から選択された１つの画素を選択することによって、識別することが適用される画素を選択することと
により、識別することが適用される画素を選択することをさらに含み、
方法は、被験者の血管の画像とともに使用するためのものであって、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別することは、画像内の所与の画素が血管の内部に配置された物体の一部に対応するかどうかを自動的に識別することを含む。

【0021】

いくつかの適用については、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別することは、画像内の所与の画素が、ガイドカテーテル、ワイヤ、管腔内撮像デバイス、放射線不透過性マーカ、及びステントからなる群から選択された、血管の内部に配置された物体の一部に対応するかどうかを自動的に識別することを含む。

【0022】

いくつかの適用については、円が第１組の回転不変記述子によって定義されるように円の各々に第１の関数を適用することは、円の各々の時間・周波数ドメイン変換の絶対係数を計算することを含む。

【0023】

いくつかの適用については、円の各々の時間・周波数ドメイン変換の絶対係数を計算することは、円の各々の、フーリエ変換、離散サイン変換、及び離散コサイン変換からなる群から選択された時間・周波数ドメイン変換の絶対係数を計算することを含む。

【0024】

いくつかの適用については、第２組の記述子に第３の関数を適用することは、第２組の記述子の各々の時間・周波数ドメイン変換の絶対係数を計算することを含む。

【0025】

いくつかの適用については、第２組の記述子の各々の時間・周波数ドメイン変換の絶対係数を計算することは、第２組の記述子の各々の、フーリエ変換、離散サイン変換、及び離散コサイン変換からなる群から選択された時間・周波数ドメイン変換の絶対係数を計算することを含む。

【0026】

いくつかの適用については、方法は、所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、画像を第２の画像と整列させることをさらに含む。

【0027】

いくつかの適用については、出力を生成することは、画像と第２の画像とを、画像と第２の画像とが互いに整列された画像ストリームで表示することを含む。

【0028】

いくつかの適用については、出力を生成することは、画像と第２の画像との整列に基づいて合成画像を生成することを含む。

【0029】

いくつかの適用については、方法は、所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、画像と第２の画像との間のマッピングのための変換関数を決定することをさらに含み、出力を生成することは、決定された変換関数に基づいて出力を生成することを含む。

【0030】

いくつかの適用については、
方法は、被験者の血管の内部に配置された管腔内デバイスの画像とともに使用するためのものであって、
画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別することは、画像内の所与の画素が血管の内部に配置された物体の一部に対応するかどうかを自動的に識別することを含み、
方法は、決定された変換関数に基づいて血管内における管腔内デバイスの位置を決定することをさらに含み、
出力を生成することは、管腔内デバイスの決定された位置に応じて出力を生成することを含む。

【0031】

いくつかの適用については、
管腔内デバイスは管腔内データ取得デバイスを含み、
血管内における管腔内デバイスの位置を決定することは、管腔内データ取得デバイスにより管腔内データポイントが取得された血管内の位置を決定することを含み、
出力を生成することは、管腔内データ取得デバイスにより管腔内データポイントが取得された血管内の位置を決定することに基づいて出力を生成することを含む。

【0032】

いくつかの適用については、
方法は、被験者の血管の内部に配置された管腔内デバイスの画像とともに使用するためのものであって、
画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別することは、画像内の所与の画素が血管の内部に配置された物体の一部に対応するかどうかを自動的に識別することを含み、
方法は、所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、血管内における管腔内デバイスの位置を決定することをさらに含み、
出力を生成することは、管腔内デバイスの決定された位置に応じて出力を生成することを含む。

【0033】

いくつかの適用については、
管腔内デバイスは管腔内データ取得デバイスを含み、
血管内における管腔内デバイスの位置を決定することは、管腔内データ取得デバイスにより管腔内データポイントが取得された血管内の位置を決定することを含み、
出力を生成することは、管腔内データ取得デバイスにより管腔内データポイントが取得された血管内の位置を決定することに基づいて出力を生成することを含む。

【0034】

本発明のいくつかの適用に従ってさらに提供されるのは、物体を含む画像とともに使用するための装置であって、
出力デバイスと；
少なくとも１つのコンピュータプロセッサであって、
画像から、画素の周りに配置された一組の同心円を抽出すること；
円が第１組の回転不変記述子によって定義されるように円の各々に第１の関数を適用すること；
第２組の記述子の各々は円の各対の間の差を表す当該第２組の記述子を生成するように円の組に第２の関数を適用すること；
第２組の記述子が、回転不変になることにより、第２組の回転不変記述子を生成するように、第２組の記述子に第３の関数を適用すること；及び
第１組及び第２組の回転不変記述子に基づいて所与の画素が物体の一部に対応するかどうかを識別すること
により、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別し、且つ
所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、出力デバイスで出力を生成するように構成されたコンピュータプロセッサと
を含む装置である。

【0035】

いくつかの適用については、コンピュータプロセッサは、機械学習分類を第１組及び第２組の回転不変記述子に適用することによって所与の画素が物体の一部に対応するかどうかを識別するように構成されている。

【0036】

いくつかの適用については、コンピュータプロセッサは、
画像の少なくとも一部内の各画素について、その画素が画像内の他の画素とともに、物体の一部に関連付けられた所与の特性を有する画素の組の一部を形成する程度を測定する、物体らしさの度合いを決定することと；
画素の組の一部を形成する少なくともいくつかの画素の付近に配置された１つの画素と画素の組に属する１つの画素とからなる群から選択された１つの画素を選択することによって、識別することが適用される画素を選択することと
により、識別することが適用される画素を選択するように構成されている。

【0037】

いくつかの適用については、装置は、被験者の血管の画像とともに使用するためのものであって、コンピュータプロセッサは、画像内の所与の画素が血管の内部に配置された物体の一部に対応するかどうかを自動的に識別することによって、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別するように構成されている。

【0038】

いくつかの適用については、コンピュータプロセッサは、画像内の所与の画素が、ガイドカテーテル、ワイヤ、管腔内撮像デバイス、放射線不透過性マーカ、及びステントからなる群から選択された、血管の内部に配置された物体の一部に対応するかどうかを自動的に識別することによって、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別するように構成されている。

【0039】

いくつかの適用については、コンピュータプロセッサは、円の各々の時間・周波数ドメイン変換の絶対係数を計算することによって、円の各々に第１の関数を適用するように構成されている。

【0040】

いくつかの適用については、コンピュータプロセッサは、円の各々の、フーリエ変換、離散サイン変換、及び離散コサイン変換からなる群から選択された時間・周波数ドメイン変換の絶対係数を計算することによって、円の各々の時間・周波数ドメイン変換の絶対係数を計算するように構成されている。

【0041】

いくつかの適用については、コンピュータプロセッサは、第２組の記述子の各々の時間・周波数ドメイン変換の絶対係数を計算することによって、第２組の記述子に第３の関数を適用するように構成されている。

【0042】

いくつかの適用については、コンピュータプロセッサは、第２組の記述子の各々の、フーリエ変換、離散サイン変換、及び離散コサイン変換からなる群から選択された時間・周波数ドメイン変換の絶対係数を計算することによって、第２組の記述子の各々の時間・周波数ドメイン変換の絶対係数を計算するように構成されている。

【0043】

いくつかの適用については、コンピュータプロセッサは、所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、画像を第２の画像と整列させるように構成されている。

【0044】

いくつかの適用については、コンピュータプロセッサは、画像と第２の画像とを、画像と第２の画像とが互いに整列された画像ストリームで表示することによって、出力を生成するように構成されている。

【0045】

いくつかの適用については、コンピュータプロセッサは、画像と第２の画像との整列に基づいて合成画像を生成することによって、出力を生成するように構成されている。

【0046】

いくつかの適用については、コンピュータプロセッサは、所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、画像と第２の画像との間のマッピングのための変換関数を決定するように構成されており、コンピュータプロセッサは、決定された変換関数に基づいて出力を生成するように構成されている。

【0047】

いくつかの適用については、
装置は、被験者の血管内に配置された管腔内デバイスの画像とともに使用するためのものであって、
コンピュータプロセッサは、画像内の所与の画素が血管の内部に配置された物体の一部に対応するかどうかを自動的に識別することによって、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別するように構成されており、
コンピュータプロセッサは、決定された変換関数に基づいて血管内における管腔内デバイスの位置を決定するように構成されており、
コンピュータプロセッサは、管腔内デバイスの決定された位置に応じて出力を生成することにより出力を生成するように構成されている。

【0048】

いくつかの適用については、
管腔内デバイスは管腔内データ取得デバイスを含み、
コンピュータプロセッサは、血管内における管腔内デバイスの位置を決定することによって、管腔内データ取得デバイスにより管腔内データポイントが取得された血管内の位置を決定するように構成されており、
コンピュータプロセッサは、管腔内データ取得デバイスにより管腔内データポイントが取得された血管内の位置を決定することに基づいて出力を生成することにより出力を生成するように構成されている。

【0049】

いくつかの適用については、
装置は、被験者の血管の内部に配置された管腔内デバイスの画像とともに使用するためのものであって、
コンピュータプロセッサは、画像内の所与の画素が血管の内部に配置された物体の一部に対応するかどうかを自動的に識別することによって、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別するように構成されており、
コンピュータプロセッサは、所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、血管内における管腔内デバイスの位置を決定するように構成されており、
コンピュータプロセッサは、管腔内デバイスの決定された位置に応じて出力を生成することにより出力を生成するように構成されている。

【0050】

いくつかの適用については、
管腔内デバイスは管腔内データ取得デバイスを含み、
コンピュータプロセッサは、血管内における管腔内デバイスの位置を決定することによって、管腔内データ取得デバイスにより管腔内データポイントが取得された血管内の位置を決定するように構成されており、
コンピュータプロセッサは、管腔内データ取得デバイスにより管腔内データポイントが取得された血管内の位置を決定することに基づいて出力を生成することにより出力を生成するように構成されている。

【0051】

本発明のいくつかの適用に従ってさらに提供されるのは、物体を含む画像とともに使用するためのコンピュータソフトウェア製品であって、コンピュータソフトウェア製品は、プログラム命令が格納された非一時的コンピュータ可読媒体を含み、命令は、コンピュータにより読み出されたときに：画像から、画素の周りに配置された一組の同心円を抽出すること；円が第１組の回転不変記述子によって定義されるように円の各々に第１の関数を適用すること；第２組の記述子の各々は円の各対の間の差を表す当該第２組の記述子を生成するように円の組に第２の関数を適用すること；第２組の記述子が、回転不変になることにより、第２組の回転不変記述子を形成するように、第２組の記述子に第３の関数を適用すること；及び第１組及び第２組の回転不変記述子に基づいて所与の画素が物体の一部に対応するかどうかを識別することにより、画像内の所与の画素が物体の一部に対応するかどうかを自動的に識別するステップと、所与の画素が物体の一部に対応すると識別することに少なくとも部分的に応じて、出力を生成するステップと、をコンピュータに実施させる。

【0052】

本発明のいくつかの適用に従ってさらに提供されるのは、被験者の身体の管腔の管腔外画像を取得するように構成された管腔外撮像デバイス及び出力デバイスとともに使用するための方法であって、方法は、
管腔外撮像デバイスを用いて、管腔の少なくとも１つの第１の管腔外画像を取得することと；
少なくとも１つの第１の管腔外画像をロードマップ画像として指定することと；
ロードマップ画像内におけるロードマップ経路を指定することと；
管腔の少なくとも１つの追加的な管腔外画像を取得することと；
スコアリング関数が適用される画素の各々が画素が所与の特性を有する程度を示すスコアを指定されるように、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することによって、スコア画像を生成することと；
スコアリング関数が適用された画素のうち少なくともいくつかのスコアに基づいて、ロードマップ経路の少なくとも一部とスコア画像内の曲線との間の対応を決定することと；
ロードマップ経路の一部とスコア画像内の曲線との間の対応に基づいて、ロードマップ画像内の位置と追加的な管腔外画像内の位置との間のマッピングのための変換関数を決定することと；
それに応じて、出力デバイスで出力を生成することと
を含む。

【0053】

いくつかの適用については：
管腔の少なくとも１つの第１の管腔外画像を取得することは、管腔の第１組の管腔外画像を取得することを含み；
少なくとも１つの第１の管腔外画像をロードマップ画像として指定することは、第１組の管腔外画像のうち少なくとも１つをロードマップ画像として指定することを含む。

【0054】

いくつかの適用については、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することは、スコアリング関数が適用される画素の各々が、その画素を所与の物体に対応するものとして識別することなく、スコアを指定されるように、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することを含む。

【0055】

いくつかの適用については、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することは、画像に単一のフィルタを適用することを含む。

【0056】

いくつかの適用については、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することは、スコアリング関数が適用される画素の各々が画素の強度を示すスコアを指定されるように画像内の少なくともいくつかの画素にスコアリング関数を適用することを含む。

【0057】

いくつかの適用については、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することは、スコアリング関数が適用される画素の各々が画素が非解剖学的物体に対応しそうな程度を示すスコアを指定されるように画像内の少なくともいくつかの画素にスコアリング関数を適用することを含む。

【0058】

いくつかの適用については、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することは、画像の少なくとも一部にハイパスフィルタを適用することを含む。

【0059】

いくつかの適用については、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することは、画像の少なくとも一部にヘシアンフィルタを適用することを含む。

【0060】

いくつかの適用については、管腔の追加的な管腔外画像を取得することは、管腔内に造影剤が不在であるときに追加的な管腔外画像を取得することを含む。

【0061】

いくつかの適用については、管腔の追加的な管腔外画像を取得することは、管腔内の造影剤の存在によって管腔が少なくとも部分的に可視である間に追加的な管腔外画像を取得することを含む。

【0062】

いくつかの適用については、方法は、マッピングに基づいて、ロードマップ画像の各部分に関連付けられた複数の局部的な較正係数を決定することをさらに含む。

【0063】

いくつかの適用については、管腔の少なくとも１つの第１の管腔外画像を取得することは、管腔内に造影剤が不在であるときに管腔の少なくとも１つの第１の管腔外画像を取得することを含む。

【0064】

いくつかの適用については、ロードマップ経路を指定することは、ロードマップ画像内の特徴の組を識別することと、識別された特徴の組に応じてロードマップ経路を指定することと、を含む。

【0065】

いくつかの適用については、管腔の少なくとも１つの第１の管腔外画像を取得することは、管腔内の造影剤の存在によって管腔が少なくとも部分的に可視である間に管腔の少なくとも１つの第１の管腔外画像を取得することを含む。

【0066】

いくつかの適用については、ロードマップ経路を指定することは、ロードマップ画像内で管腔を識別することと、管腔内に配置されたロードマップ経路を指定することと、を含む。

【0067】

いくつかの適用については、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定することは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定するために動的プログラミングアルゴリズムを用いることを含む。

【0068】

いくつかの適用については、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定することは、
ロードマップ経路に沿った第１の画素と追加的な管腔外画像の第１の画素との間の対応を決定することと；
ロードマップ経路に沿った第２の画素と追加的な管腔外画像の第２の画素との間の対応を、
ロードマップ経路に沿った第１の画素と追加的な管腔外画像の第１の画素との間の決定された対応、及び
スコアリング関数が適用された画素のうち少なくともいくつかのスコア
に基づいて決定することと
を含む。

【0069】

いくつかの適用については、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定することは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定するために勾配降下アルゴリズムを用いることを含む。

【0070】

いくつかの適用については、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定することは、追加的な管腔外画像内に所与のシーケンスで配置された画素がロードマップ経路に沿った各画素に対応すると決定することを含み、対応する画素は同じ所与のシーケンスでロードマップ経路に沿って配置される。

【0071】

いくつかの適用については、
管腔の少なくとも１つの追加的な管腔外画像を取得することは、管腔内デバイスが管腔の内部に配置されている間に第２組の管腔外画像を取得することを含み、
ロードマップ画像内の位置と追加的な管腔外画像内の位置との間のマッピングのための変換関数を決定することは、ロードマップ画像内の位置と第２組の管腔外画像に属する各画像内の位置との間のマッピングのための各変換関数を決定することを含み、
方法は、マッピングに基づき、ロードマップ画像に関して第２組の管腔外画像の各管腔外画像内の管腔内デバイスの位置を決定することをさらに含む。

【0072】

いくつかの適用については、ロードマップ画像に関して第２組の管腔外画像の各管腔外画像内の管腔内デバイスの位置を決定することは、第２組の管腔外画像の管腔外画像の取得に関して実時間で、ロードマップ画像に関して第２組の管腔外画像の各管腔外画像内の管腔内デバイスの位置を決定することを含み、出力を生成することは、ロードマップ画像に関して管腔内デバイスの決定された実時間位置を示す出力を生成することを含む。

【0073】

いくつかの適用については、
管腔内デバイスは、管腔内を移動している間に複数の管腔内データポイントを取得するように構成された第１の管腔内データ取得デバイスを含み、
方法は、ロードマップ画像に関して第２組の管腔外画像の各管腔外画像内の管腔内デバイスの位置を決定することに基づいて、各管腔内データポイントをロードマップ画像内の各位置に位置合わせする（ｃｏ−ｒｅｇｉｓｔｅｒｉｎｇ）ことをさらに含み、
出力を生成することは、ロードマップ画像内の各位置への管腔内データポイントの位置合わせに基づいて出力を生成することを含む。

【0074】

いくつかの適用については、管腔内データ取得デバイスは、管腔内を移動している間に複数の管腔内画像を取得するように構成された管腔内撮像デバイスを含み、各管腔内データポイントをロードマップ画像内の各位置に位置合わせすることは、各管腔内画像をロードマップ画像内の各位置に位置合わせすることを含む。

【0075】

いくつかの適用については、管腔内データ取得デバイスは、管腔内を移動している間に管腔に関する機能的データを取得するように構成された管腔内データ取得デバイスを含み、各管腔内データポイントをロードマップ画像内の各位置に位置合わせすることは、各機能的管腔内データポイントをロードマップ画像内の各位置に位置合わせすることを含む。

【0076】

いくつかの適用については、位置合わせに基づいて出力を生成することは、管腔内データポイントのスタックを生成することを含み、ここで、スタック内における管腔内データポイントの相対的な配置はロードマップ画像に関する管腔内データポイントの相対的な位置に対応する。

【0077】

本発明のいくつかの適用に従ってさらに提供されるのは、被験者の身体の管腔の管腔外画像を取得するように構成された管腔外撮像デバイスとともに使用するための装置であって、装置は、
出力デバイスと；
少なくとも１つのコンピュータプロセッサであって、
管腔外撮像デバイスを用いて、管腔の少なくとも１つの第１の管腔外画像を取得し；
少なくとも１つの第１の管腔外画像をロードマップ画像として指定し；
ロードマップ画像内におけるロードマップ経路を指定し；
管腔の少なくとも１つの追加的な管腔外画像を取得し；
スコアリング関数が適用される画素の各々が画素が所与の特性を有する程度を示すスコアを指定されるように、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することによって、スコア画像を生成し；
スコアリング関数が適用された画素のうち少なくともいくつかのスコアに基づいて、ロードマップ経路の少なくとも一部とスコア画像内の曲線との間の対応を決定し；
ロードマップ経路の一部とスコア画像内の曲線との間の対応に基づいて、ロードマップ画像内の位置と追加的な管腔外画像内の位置との間のマッピングのための変換関数を決定し；
それに応じて、出力デバイスで出力を生成する
ように構成されたコンピュータプロセッサと
を含む。

【0078】

いくつかの適用については、コンピュータプロセッサは、
管腔の第１組の管腔外画像を取得することによって管腔の少なくとも１つの第１の管腔外画像を取得し；
第１組の管腔外画像のうち少なくとも１つをロードマップ画像として指定することにより、少なくとも１つの第１の管腔外画像をロードマップ画像として指定する
ように構成されている。

【0079】

いくつかの適用については、コンピュータプロセッサは、スコアリング関数が適用される画素の各々が、その画素を所与の物体に対応すると識別することなく、スコアを指定されるように、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することにより、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用するように構成されている。

【0080】

いくつかの適用については、コンピュータプロセッサは、画像に単一のフィルタを適用することにより、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用するように構成されている。

【0081】

いくつかの適用については、コンピュータプロセッサは、スコアリング関数が適用される画素の各々が画素の強度を示すスコアを指定されるように画像内の少なくともいくつかの画素にスコアリング関数を適用することにより、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用するように構成されている。

【0082】

いくつかの適用については、コンピュータプロセッサは、スコアリング関数が適用される画素の各々が画素が非解剖学的物体に対応しそうな程度を示すスコアを指定されるように画像内の少なくともいくつかの画素にスコアリング関数を適用することにより、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用するように構成されている。

【0083】

いくつかの適用については、コンピュータプロセッサは、画像の少なくとも一部にハイパスフィルタを適用することにより、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用するように構成されている。

【0084】

いくつかの適用については、コンピュータプロセッサは、画像の少なくとも一部にヘシアンフィルタを適用することにより、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用するように構成されている。

【0085】

いくつかの適用については、コンピュータプロセッサは、管腔内に造影剤が不在であるときに追加的な管腔外画像を取得することにより、管腔の追加的な管腔外画像を取得するように構成されている。

【0086】

いくつかの適用については、コンピュータプロセッサは、管腔内の造影剤の存在によって管腔が少なくとも部分的に可視である間に追加的な管腔外画像を取得することにより、管腔の追加的な管腔外画像を取得するように構成されている。

【0087】

いくつかの適用については、コンピュータプロセッサは、マッピングに基づいて、ロードマップ画像の各部分に関連付けられた複数の局部的な較正係数を決定するように構成されている。

【0088】

いくつかの適用については、コンピュータプロセッサは、管腔内に造影剤が不在であるときに管腔の少なくとも１つの第１の管腔外画像を取得することにより、管腔の少なくとも１つの第１の管腔外画像を取得するように構成されている。

【0089】

いくつかの適用については、コンピュータプロセッサは、ロードマップ画像内の特徴の組を識別することと、識別された特徴の組に応じてロードマップ経路を指定することと、により、ロードマップ経路を指定するように構成されている。

【0090】

いくつかの適用については、コンピュータプロセッサは、管腔内の造影剤の存在によって管腔が少なくとも部分的に可視である間に管腔の少なくとも１つの第１の管腔外画像を取得することにより、管腔の少なくとも１つの第１の管腔外画像を取得するように構成されている。

【0091】

いくつかの適用については、コンピュータプロセッサは、ロードマップ画像内で管腔を識別することと、管腔内に配置されたロードマップ経路を指定することと、により、ロードマップ経路を指定するように構成されている。

【0092】

いくつかの適用については、コンピュータプロセッサは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を、動的プログラミングアルゴリズムを用いて決定するように構成されている。

【0093】

いくつかの適用については、コンピュータプロセッサは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を、
ロードマップ経路に沿った第１の画素と追加的な管腔外画像の第１の画素との間の対応を決定することと；
ロードマップ経路に沿った第２の画素と追加的な管腔外画像の第２の画素との間の対応を、
ロードマップ経路に沿った第１の画素と追加的な管腔外画像の第１の画素との間の決定された対応、及び
スコアリング関数が適用された画素のうち少なくともいくつかのスコア
に基づいて決定することと
により決定するように構成されている。

【0094】

いくつかの適用については、コンピュータプロセッサは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を、勾配降下アルゴリズムを用いて決定するように構成されている。

【0095】

いくつかの適用については、コンピュータプロセッサは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を、追加的な管腔外画像内に所与のシーケンスで配置された画素がロードマップ経路に沿った各画素に対応すると決定することにより決定するように構成されており、対応する画素は同じ所与のシーケンスでロードマップ経路に沿って配置される。

【0096】

いくつかの適用については：
装置は、管腔の内部に設置されるように構成された管腔内デバイスとともに使用するためのものであり、
コンピュータプロセッサは、管腔内デバイスが管腔の内部に配置されている間に第２組の管腔外画像を取得することにより、管腔の少なくとも１つの追加的な管腔外画像を取得するように構成されており、
コンピュータプロセッサは、ロードマップ画像内の位置と第２組の管腔外画像に属する各画像内の位置との間のマッピングのための各変換関数を決定することにより、ロードマップ画像内の位置と追加的な管腔外画像内の位置との間のマッピングのための変換関数を決定するように構成されており、
コンピュータプロセッサは、マッピングに基づき、ロードマップ画像に関して第２組の管腔外画像の各管腔外画像内の管腔内デバイスの位置を決定するように構成されている。

【0097】

いくつかの適用については、コンピュータプロセッサは、第２組の管腔外画像の管腔外画像の取得に関して実時間で、ロードマップ画像に関して第２組の管腔外画像の各管腔外画像内の管腔内デバイスの位置を決定することにより、ロードマップ画像に関して第２組の管腔外画像の各管腔外画像内の管腔内デバイスの位置を決定するように構成されており、コンピュータプロセッサは、ロードマップ画像に関して管腔内デバイスの決定された実時間位置を示す出力を生成することにより、出力を生成するように構成されている。

【0098】

いくつかの適用については、
管腔内デバイスは、管腔内を移動している間に複数の管腔内データポイントを取得するように構成された第１の管腔内データ取得デバイスを含み、
コンピュータプロセッサは、ロードマップ画像に関して第２組の管腔外画像の各管腔外画像内の管腔内デバイスの位置を決定することに基づいて、各管腔内データポイントをロードマップ画像内の各位置に位置合わせするように構成されており、
コンピュータプロセッサは、ロードマップ画像内の各位置への管腔内データポイントの位置合わせに基づいて出力を生成することにより、出力を生成するように構成されている。

【0099】

いくつかの適用については、管腔内データ取得デバイスは、管腔内を移動している間に複数の管腔内画像を取得するように構成された管腔内撮像デバイスを含み、コンピュータプロセッサは、各管腔内画像をロードマップ画像内の各位置に位置合わせすることにより各管腔内データポイントをロードマップ画像内の各位置に位置合わせするように構成されている。

【0100】

いくつかの適用については、管腔内データ取得デバイスは、管腔内を移動している間に管腔に関する機能的データを取得するように構成された管腔内データ取得デバイスを含み、各管腔内データポイントをロードマップ画像内の各位置に位置合わせすることは、各機能的管腔内データポイントをロードマップ画像内の各位置に位置合わせすることを含む。

【0101】

いくつかの適用については、コンピュータプロセッサは、管腔内データポイントのスタックを生成することにより、位置合わせに基づいて出力を生成するように構成されており、ここで、スタック内における管腔内データポイントの相対的な配置はロードマップ画像に関する管腔内データポイントの相対的な位置に対応する。

【0102】

本発明のいくつかの適用に従ってさらに提供されるのは、被験者の身体の管腔の管腔外画像を取得するように構成された管腔外撮像デバイス及び出力デバイスとともに使用するためのコンピュータソフトウェア製品であって、コンピュータソフトウェア製品は、プログラム命令が格納された非一時的コンピュータ可読媒体を含み、命令は、コンピュータにより読み出されたときに：管腔外撮像デバイスを用いて、管腔の少なくとも１つの第１の管腔外画像を取得するステップと；少なくとも１つの第１の管腔外画像をロードマップ画像として指定するステップと；ロードマップ画像内におけるロードマップ経路を指定するステップと；管腔外撮像デバイスを用いて、管腔の少なくとも１つの追加的な管腔外画像を取得するステップと；スコアリング関数が適用される画素の各々が画素が所与の特性を有する程度を示すスコアを指定されるように、追加的な管腔外画像内の少なくともいくつかの画素にスコアリング関数を適用することによって、スコア画像を生成するステップと；スコアリング関数が適用された画素のうち少なくともいくつかのスコアに基づいて、ロードマップ経路の少なくとも一部とスコア画像内の曲線との間の対応を決定するステップと；ロードマップ経路の一部とスコア画像内の曲線との間の対応に基づいて、ロードマップ画像内の位置と追加的な管腔外画像内の位置との間のマッピングのための変換関数を決定するステップと；それに応じて、出力デバイスで出力を生成するステップと、をコンピュータに実施させる。

【0103】

本発明は、以下の本発明の実施形態の詳細な説明及び図面から、より完全に理解されるであろう。

【図面の簡単な説明】

【0104】

【図1】本発明のいくつかの適用に従った、カテーテル検査室において用いられる装置の概略図である。

【図2A】本発明のいくつかの適用に従った、病変を有する血管の管腔外画像の概略図である。

【図2B】本発明のいくつかの適用に従った、閉塞の治療などのために血管の内部で最大限膨張された血管形成術用バルーンの管腔外画像の概略図である。

【図2C】本発明のいくつかの適用に従った、閉塞の治療などのために血管の内部で最大限膨張された血管形成術用バルーンの管腔外画像である。

【図2D】本発明のいくつかの適用に従った、閉塞の治療などのために血管の内部で最大限膨張された血管形成術用バルーンの管腔外画像である。

【図3A】本発明のいくつかの適用に従った、計算されるべきパラメータを指定するためにコンピュータプロセッサにより実施される手順のステップを示すフローチャートである。

【図3B】本発明のいくつかの適用に従った、計算されるべきパラメータを指定するためにコンピュータプロセッサにより実施される手順のステップを示すフローチャート。

【図3C】本発明のいくつかの適用に従った、計算されるべきパラメータを指定するためにコンピュータプロセッサにより実施される手順のステップを示すフローチャート。

【図4】本発明のいくつかの適用に従った、血管の画像であって、ワイヤ（例えばガイドワイヤ）が血管の内部に配置されているものである。

【図5】本発明のいくつかの適用に従った、血管の管腔外画像内におけるワイヤの放射線不透過性部分の先端の位置を決定するためにコンピュータプロセッサにより実施される手順のステップを示すフローチャートである。

【図6A】血管の内部に配置されたガイドワイヤの各管腔外画像の長方形の標本抽出領域の概略図であって、領域は従来技術を用いて抽出される。

【図6B】血管の内部に配置されたガイドワイヤの各管腔外画像の長方形の標本抽出領域の概略図であって、領域は従来技術を用いて抽出される。

【図7】本発明のいくつかの適用に従った、物体を含む画像内の所与の画素が物体の一部に対応するかどうかを識別するために用いられる手順のステップを示すフローチャートである。

【図8A】本発明のいくつかの適用に従った、ガイドワイヤの画像の概略図である。

【図8B】本発明のいくつかの適用に従った、画像の画素の周りに抽出された円形の標本抽出領域の概略図である。

【図9A】本発明のいくつかの適用に従った、各管腔外画像の領域の概略図であって、その円形の標本抽出領域が画像のある画素の周りに抽出されたものである。

【図9B】本発明のいくつかの適用に従った、各管腔外画像の領域の概略図であって、その円形の標本抽出領域が画像のある画素の周りに抽出されたものである。

【図10】本発明のいくつかの適用に従った、管腔のロードマップ画像内の位置と管腔の第２の画像内の位置との間のマッピングのための変換関数を決定するために用いられる手順のステップを示すフローチャートである。

【図11A】本発明のいくつかの適用に従った、被験者の管腔（例えば動脈）の画像の概略図である。

【図11B】本発明のいくつかの適用に従った、被験者の管腔（例えば動脈）の画像の概略図である。

【図11C】本発明のいくつかの適用に従った、被験者の管腔（例えば動脈）の画像の概略図である。

【発明を実施するための形態】

【0105】

・「医療用ツール（ｍｅｄｉｃａｌ ｔｏｏｌ）」、「ツール（ｔｏｏｌ）」、「装置（ｄｅｖｉｃｅ）」、及び「プローブ（ｐｒｏｂｅ）」という用語は、心臓血管カテーテル、ステント送達、配置、及び／又は回収ツール、バルーン送達、配置、及び／又は回収ツール、弁送達、修復、配置、及び／又は回収ツール、移植片送達、配置、及び／又は回収ツール、植え込み可能装置又はこのような装置の一部の送達、配置、及び／又は回収のためのツール、植え込み可能装置又はその一部、ギャップを閉鎖するためのツール、中隔欠損を閉鎖するためのツール、ガイドワイヤ、マーカーワイヤ、縫合ツール、クリッピングツール（弁−尖頭−クリッピングツールなど）、生検ツール、吸引ツール、ナビゲーションツール、局所化ツール、１つ以上の位置センサを含むプローブ、組織性状診断プローブ、流体の解析のためのプローブ、測定プローブ、電気生理学的プローブ、刺激プローブ、切除ツール、血管内の部分又は完全閉塞を貫通又は開放するためのツール、薬物又は物質送達ツール、化学療法ツール、光線力学療法ツール、小線源照射療法ツール、局所照射ツール、レーザー装置、エネルギーを送達するためのツール、マーカー又はバイオマーカーを送達するためのツール、生理学的接着剤を送達するためのツール、洗浄装置、吸引装置、換気装置、電気生理学的装置のリード線を送達、配置、及び／又は回収するための装置、電気生理学的装置のリード線、ペーシング装置、冠状静脈洞装置、撮像装置、検出プローブ、光ファイバを含むプローブ、ロボットツール、遠隔制御されるツール、摘出ツール、プラーク摘出ツール（プラーク摘出カテーテルなど）、或いはこれらの任意の組み合わせを含むがこれらに限定されない任意のタイプの診断用ツール、治療用ツール、又はその他の機能的ツールを指す。

【0106】

・「画像（ｉｍａｇｅ）」及び「撮像（ｉｍａｇｉｎｇ）」という用語は、電離放射線を使用する撮像、非電離放射線を使用する撮像、ビデオ、Ｘ線透視、血管造影、超音波、ＣＴ、ＭＲ、ＰＥＴ、ＰＥＴ−ＣＴ、ＣＴ血管造影、ＳＰＥＣＴ、ガンマカメラ撮像、光コヒーレンス断層撮影法（ＯＣＴ）、近赤外分光（ＮＩＲＳ）、バイブレーションレスポンスイメージング（ＶＲＩ）、光学撮像、赤外線撮像、電気マッピング撮像、その他の形式の機能撮像、集束音響コンピュータ断層撮影（ＦＡＣＴ）、光周波数領域撮像（ＯＦＤＩ）、或いはこれらの任意の組み合わせ又は融合を含むがこれらに限定されず、典型的に一連の画像の生成をもたらす任意のタイプの医療画像又は医療用撮像を指す。超音波撮像の例としては、気管支内超音波（ＥＢＵＳ）、経胸壁心エコー（ＴＴＥ）、経食道心エコー（ＴＥＥ）、血管内超音波（ＩＶＵＳ）、心臓内超音波（ＩＣＥ）、又はこれらの任意の組み合わせを含む。

【0107】

・「造影剤（ｃｏｎｔｒａｓｔ ａｇｅｎｔ）」という用語は、その適用例に関連して撮像とともに使用される場合、身体器官が撮像されている間にその器官の解剖学的構造、機能、及び／又は組成を強調するか及び／又は他のやり方で強化するために使用される任意の物質を指す。

【0108】

・「安定化（ｓｔａｂｉｌｉｚｅｄ）」という用語は、表示された画像に関連して使用される場合、撮像されている身体器官（複数も可）及び／又は観察されている医療用ツールの定期的、周期的、及び／又はその他の動作が画像フレーム全体又は少なくともその一部分に関して部分的に又は完全に低減されるようなやり方で一連の画像を表示することを意味する。

【0109】

・「自動的（ａｕｔｏｍａｔｉｃ）」という用語は、ロードマップの生成及び使用について記述するために使用される場合、「ユーザの介入又は対話を必要とせずに」を意味する。（しかし、このような対話又は介入は、場合によっては依然として任意選択である。）

【0110】

・「リアルタイム（ｒｅａｌ−ｔｉｍｅ）」という用語は、顕著な遅延なしを意味する。

【0111】

・「ほぼリアルタイム（ｎｅａｒ ｒｅａｌ−ｔｉｍｅ）」という用語は、（適用可能な器官の約１又は２動作サイクル、その動作が主に心周期の結果である器官又は血管に関する手順の場合は２秒未満などの）短い顕著な遅延ありを意味する。

【0112】

・「オンライン（ｏｎ−ｌｉｎｅ）」という用語は、画像処理又は画像上で行われている測定に関連して使用される場合、手順内にリアルタイム又はほぼリアルタイムに画像処理が実行されるか及び／又は測定が行われることを意味する。

【0113】

次に図１に言及するが、この図は本発明の幾つかの適用例により、カテーテル検査室で使用される装置の概略図である。典型的に、被験者は管腔外撮像装置（即ち、管腔外画像取得装置）２０を使用して撮像され、その装置は、撮像中の被験者の血管内に造影剤が存在する間に正規モード及び／又は血管造影モードでＸ線透視画像を取得するＸ線透視装置を含む。適用例によっては、撮像装置は、Ｘ線透視、ＣＴ、ＭＲ、ＰＥＴ、ＳＰＥＣＴ、超音波、又はこれらの任意の組み合わせを実行する。

【0114】

図１は、ガイドワイヤ２４を覆って被験者の血管（例えば、被験者の冠状動脈）内に挿入されているガイドカテーテル２２を追加的に示している。管腔内医療装置２６は、ガイドカテーテルを通り、ガイドワイヤを覆って被験者の血管内に（例えば、被験者の冠状動脈内に）挿入されている。コンピュータプロセッサ２８は典型的に撮像装置から入力を受け取る。コンピュータプロセッサはメモリ２９とやりとりする。ユーザインターフェース３０を介して、ユーザ（例えば、医師及び／又はカテーテル検査技師）はコンピュータプロセッサに指示を送る。適用例によっては、ユーザインターフェースは、キーボード３２、マウス３４、ジョイスティック３６、タッチスクリーン装置３８（スマートフォン又はタブレットコンピュータなど）、タッチパッド、トラックボール、ボイスコマンドインターフェース、及び／又は当技術分野で知られているその他のタイプのユーザインターフェースを含む。典型的に、コンピュータプロセッサは出力装置４０を使用して出力を生成する。更に典型的に、出力装置はモニタ（図１に示されている通り）などのディスプレイを含み、出力はディスプレイ上に表示される出力を含む。適用例によっては、ディスプレイは、ヘッドアップディスプレイ及び／又はＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）などのヘッドマウントディスプレイを含む。適用例によっては、プロセッサは、例えば、スピーカ、ヘッドホン、スマートフォン、又はタブレットコンピュータなどの異なるタイプの視覚、テキスト、グラフィクス、触覚、オーディオ、及び／又はビデオ出力装置上で出力を生成する。適用例によっては、ユーザインターフェース３０は入力装置と出力装置の両方として動作する。適用例によっては、プロセッサは、ディスク又はポータブルＵＳＢドライブなどのコンピュータ可読媒体（例えば、非一時的コンピュータ可読媒体）上で出力を生成する。

【0115】

適用例によっては、２つ以上のプロセッサが使用されることは注目に値する。適用例によっては、２つ以上の管腔外撮像装置がプロセッサ２８とともに使用される。例えば、第１の管腔外撮像装置を使用して第１の組の管腔外画像を取得し、第２の管腔外撮像装置を使用して第２の組の管腔外画像を取得する。

【0116】

適用例によっては、管腔内医療装置２６は、被験者の血管内からデータ（例えば、機能データ又は画像）を取得するように構成された管腔内データ取得装置を含む。適用例によっては、管腔内データ取得装置は撮像プローブである。適用例によっては、撮像プローブは、ＩＶＵＳプローブ、ＥＢＵＳプローブ、異なるタイプの超音波プローブ、ＯＣＴプローブ、ＮＩＲＳプローブ、ＭＲプローブ、ＦＡＣＴプローブ、ＯＦＤＩプローブ、又はこれらの任意の組み合わせである。適用例によっては、管腔内データ取得装置は追加の機能を実行する。例えば、管腔内データ取得装置は、Ｖｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎ（米国サンディエゴ）から販売され、ＩＶＵＳ機能と冠状動脈バルーン機能の両方を含む、ＶＩＢＥ（ＴＭ）ＲＸ血管造影バルーンカテーテルなどのプローブを含む。適用例によっては、管腔内データ取得装置は画像以外の形でデータを取得する。例えば、このデータは、圧力、流量、温度、電気的活性度、酸素化、生化学的組成、又はこれらの任意の組み合わせに関連するデータを含む。適用例によっては、データが冠状動脈血管について取得される場合には典型的に、管腔内データ取得装置は冠血流予備量比（ＦＦＲ）プローブ及び／又は瞬時血流予備能（ｉＦＲ）プローブである。適用例によっては、ＦＦＲ及び／又はｉＦＲ測定値は管腔外画像について画像処理を実行することによって決定され、導出されたＦＦＲ及び／又はｉＦＲ測定値は本明細書に記載されている技法を使用して管腔の管腔内画像とともに位置合わせ（ｃｏ−ｒｅｇｉｓｔｅｒ）される。適用例によっては、ＦＦＲ及び／又はｉＦＲ測定値は管腔内画像について画像処理を実行することによって決定され、導出されたＦＦＲ及び／又はｉＦＲ測定値は本明細書に記載されている技法を使用して管腔の管腔外画像とともに位置合わせされる。適用例によっては、管腔内画像は本明細書に記載されている技法を使用して管腔の管腔外画像とともに位置合わせされ、ＦＦＲ及び／又はｉＦＲ測定値は位置合わせされた画像について画像処理を実行することによって決定される。

【0117】

適用例によっては、管腔内医療装置２６は、部分又は完全閉塞部、固有弁、動脈瘤、切開部、形成異常、中隔欠損、悪性が疑われる腫瘤、炎症性が疑われる腫瘤など、治療を必要とするか又は潜在的に必要とする解剖学的特徴に位置決め及び／又は配備された管腔内治療装置を含む。例えば、管腔内治療装置は、バルーン（例えば、血管形成バルーン）、ステント、弁、及び／又はワイヤ（例えば、ガイドワイヤ）を含む。

【0118】

適用例によっては、本明細書に記載されている装置及び方法は、ステント、移植片、又は置換弁など、前に植え込まれた装置の植え込み部位に位置決め及び／又は配備された管腔内治療装置とともに使用する。管腔内データは植え込み部位で及び／又はその近傍で決定される。例えば、本明細書に記載されている技法は、前に植え込まれてもはや機能していない人工大動脈弁の部位（例えば、内側）に新しい人工大動脈弁を配置している間に使用する。

【0119】

適用例によっては、本明細書に記載されている装置及び方法は、ステント、移植片、又は置換弁など、前に植え込まれた装置に対する定義位置（ｄｅｆｉｎｅｄ ｌｏｃａｔｉｏｎ）に位置決め及び／又は配備された管腔内治療装置とともに使用する。管腔内データは定義位置で及び／又はその近傍で決定される。例えば、本明細書に記載されている技法は、長い病変及び／又は冠状動脈に沿って拡散している病変を治療するために新しいステントが前に植え込まれたステントと重なるか又はそれに隣接するように冠状動脈ステントを配置している間に使用する。

【0120】

適用例によっては、出力装置４０は、血管の管腔外画像４２（例えば、Ｘ線透視画像）、血管の管腔内画像４４（例えば、ＩＶＵＳ画像）、及び／又は管腔内画像の断面のスタック４６（例えば、ＩＶＵＳ画像のスタック）を表示するように構成されたディスプレイである。

【0121】

次に図２Ａ及び図２Ｂに言及するが、これらの図は本発明の幾つかの適用例により、血管の管腔外画像の概略図である。また、図２Ｃ及び図２Ｄにも言及するが、これらの図は本発明の幾つかの適用例により、動脈内部に配置されたバルーンの画像である。図２Ｄは図２Ｃに示されている画像の強化バージョンを示しており、バルーンのエッジラインが画像上にマークされている。

【0122】

図２Ａは、本発明の幾つかの適用例により、例えば、部分閉塞５２などの病変を有する血管５０（冠状動脈など）の管腔外画像の概略図である。典型的に、血管内部のデバイスの非存在下では、（例えば、ユーザが画像内の病変の近傍の単一ポイントを指示することにより）ユーザが病変の位置を指示したことに呼応して、プロセッサは自動的に病変の近傍の血管について量的血管解析を実行する。典型的に、どちらも参照により本明細書に組み込まれる、Ｓｔｅｉｎｂｅｒｇによる米国出願公報第２０１２／０２３０５６５号及び／又はＣｏｈｅｎによる米国出願公報第２０１０／０２２２６７１号に記載されているものなどの技法を使用して、病変の近傍で量的血管解析を実行する。例えば、ユーザは、入力装置（例えば、ユーザインターフェース３０）を使用して、（例えば、入力装置を使用してその位置で又はその近くでシングルクリック又は複数クリックを行うことにより）位置を指定し、ユーザがその位置を指定したことに呼応して、システムは自動的にその近傍で病変を検出する。例えば、システムは病変のエッジライン及び基準直径５４を識別する。病変の基準直径は典型的に病変の縦方向の末端における血管の直径である（縦方向の末端は当業者にとって「健常肩部（ｈｅａｌｔｈｙ ｓｈｏｕｌｄｅｒ）」又は「基準動脈（ｒｅｆｅｒｅｎｃｅ ａｒｔｅｒｙ）」としても知られている）。適用例によっては、基準直径は、解析される血管の切片内で最も幅広の位置である。病変を検出したことに呼応して、病変に対して量的血管解析を実行する。適用例によっては、例えば、病変であると判断される血管の切片を強調又は着色することにより、病変を図表によって指示する。適用例によっては、病変の近傍で、病変の長さ、中心線に沿った各ポイントでの血管の直径、及び／又は最小管腔直径などの測定値を決定する。適用例によっては、最小管腔直径における閉塞のレベル（典型的にパーセンテージで示される）は、そのポイントにおける血管の直径を血管の基準点における血管の直径と比較することによって決定される。

【0123】

典型的に、どちらも参照により本明細書に組み込まれる、Ｓｔｅｉｎｂｅｒｇによる米国出願公報第２０１２／０２３０５６５号及び／又はＣｏｈｅｎによる米国出願公報第２０１０／０２２２６７１号に記載されているものなどの技法を使用して、血管の中心線及び／又はエッジラインの位置を決定することによって量的血管解析を実行する。適用例によっては、以下の手順により、病変が自動的に検出される。

【0124】

サンプリングする血管のセグメントの中心線に垂直な走査線を生成する。走査線に沿って画像をサンプリングし直す。対応する階調値を長方形行列Ｍの列として記憶し、それにより、まっすぐにした血管セグメントとしてその血管のセグメントをサンプリングし直す。まっすぐにした血管セグメントについて、（Ｍの中央行に対して）Ｍの最初の列と最後の列を接続する最適上部経路及び最適下部経路を決定する。この最適化基準では、Ｍの列に沿った階調の変化及び経路の傾斜を考慮に入れる。元の画像上の上部及び下部最適経路の逆投影を介して血管のエッジラインを得る。

【0125】

エッジラインにおける小さいギャップ及びループなどの不規則性を回避するために、最短路アルゴリズム（例えば、参照により本明細書に組み込まれる、「Ａ Ｎｏｔｅ ｏｎ Ｔｗｏ Ｐｒｏｂｌｅｍｓ ｉｎ Ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ Ｇｒａｐｈｓ」という表題のＤｉｊｋｓｔｒａによる論文（１９５９年、Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ １、２６９〜２７１ページ）に記載されているもの）を使用する。適用例によっては、検出したエッジラインに基づいて中心線を訂正し、新しい走査線を構築する。それぞれの新しい走査線について、その走査線が血管の境界と交差する２つのポイント間の距離として血管の直径を定義する。

【0126】

図２Ｂは、本発明の幾つかの適用例により、閉塞の治療などのために、血管内部で最大限に膨張させた（即ち、血管内などでバルーンを安全に膨張させることができる最高圧力まで膨張させた）血管形成バルーン５５（例えば、コンプライアント血管形成バルーン）の管腔外画像の概略図である。図２Ｃ及び図２Ｄは、血管形成バルーン５５の実際の画像であり、このバルーンは、本発明の幾つかの適用例により、部分閉塞において動脈内部で膨張させたものである。図２Ｄは図２Ｃに示されている画像の強化バージョンを示しており、バルーンのエッジラインが画像上にマークされている。図２Ｂ〜図２Ｄに示されているように、場合によっては、バルーンを最大限に膨張させた後でも閉塞は完全に治療されず、残留くびれ（ｒｅｓｉｄｕａｌ ｗａｉｓｔ）５６として知られているものを維持している。典型的に、閉塞の残留くびれにおいて血管の直径を計算できることが望ましい。

【0127】

適用例によっては、内部にバルーンを含む血管について量的血管解析を実行するためにプロセッサが上記のアルゴリズムを使用する場合、システムは血管のエッジラインとバルーンのエッジラインとを区別しないので、プロセッサはバルーンの一端又は両端５８を最小管腔直径の位置であると識別する可能性がある。従って、適用例によっては、プロセッサがバルーンの一端又は両端５８を最小管腔直径の位置であると識別するのを回避するために、プロセッサはバルーンが血管内に存在すると判断する。プロセッサは、例えば、図３Ａ〜図３Ｃに関連して以下に記載する技法により、血管内のバルーンの存在を判断したことに呼応して、血管のパラメータを決定する。

【0128】

次に図３Ａ〜図３Ｃに言及するが、これらの図は本発明の幾つかの適用例により、コンピュータプロセッサ２８によって実行される手順の諸ステップを示すフローチャートである。

【0129】

図３Ｂに示されているように、適用例によっては、プロセッサは、画像内の血管内の装置の存在を判断し（ステップ６３）、バルーンなどの所与の装置タイプとして装置を分類する（ステップ６４）。装置の分類を決定したことに呼応して、プロセッサは計算すべきパラメータを指定する（ステップ６５）。適用例によっては、画像内の血管内の装置の存在の判断（ステップ６３）と所与の装置タイプとしての装置の分類（ステップ６４）が同時に実行されるか又は図３Ｂに示されているものとは逆の順序で実行されることは注目に値する。適用例によっては、ユーザは、ユーザインターフェース３０を介して、所与の装置タイプ（例えば、バルーン）が現在、血管内に挿入されている（或いは血管内に挿入する予定であるか又はすでに挿入されている）ことを指示する。ユーザからの指示に基づいて、プロセッサは装置が血管内部に存在する時期を自動的に判断し、ステップ６５に移行する。

【0130】

計算すべきパラメータを指定した後（ステップ６５）、プロセッサは指定されたパラメータを計算し（ステップ６６）、それに呼応して出力を生成する（ステップ６８）。例えば、図２Ｂに示されている血管形成バルーン５５の例では、バルーンとして装置を分類したことに呼応して、プロセッサは計算すべきパラメータとして、バルーンの２つの端部間及び又は閉塞の残留くびれに対応するバルーンの２つの放射線不透マーカー５７（図２Ｂ）間の血管の最小直径を指定する。

【0131】

図３Ｃに示されているように、適用例によっては、閉塞の残留くびれを計算するために、バルーンとして装置を分類したことに呼応して（ステップ７０）、プロセッサはバルーンの端部の位置及び／又は放射線不透バルーンマーカー５７の位置を識別する（ステップ７２）。典型的に、プロセッサは、画像処理技法を使用して、例えば、バルーンマーカーを識別するために本明細書に記載されている技法を使用して、及び／又はどちらも参照により本明細書に組み込まれる、Ｓｔｅｉｎｂｅｒｇによる米国出願公報第２０１２／０２３０５６５号及び／又はＣｏｈｅｎによる米国出願公報第２０１０／０２２２６７１号に記載されている技法を使用して、バルーンマーカーを識別する。適用例によっては、図７を参照して以下に説明される技術を使用して、バルーンマーカーが検出される。適用例によっては、プロセッサは、例えば、概ねまっすぐなエッジライン（血管のエッジラインに対応する）が存在し、そのまっすぐなエッジライン内に先細のエッジライン対（バルーンの先細エッジに対応する）が存在する画像内の位置を検出することにより、バルーンの端部の位置を決定する。

【0132】

プロセッサは、バルーンが配置されている血管の領域として、バルーンの放射線不透マーカー間の血管の領域及び／又はバルーンのそれぞれの縦方向の端部における先細のエッジライン対間の血管の領域を指定する（ステップ７４）。次にプロセッサは、バルーンが配置されている血管の領域内の最小管腔直径を決定する（ステップ７６）。バルーンが配置されている血管の領域内の最小管腔直径は閉塞の残留くびれである。次にプロセッサは、計算された残留くびれを示す出力を生成する（ステップ７８）。

【0133】

適用例によっては、装置の検出及び／又は分類（図３Ｂのステップ６３及びステップ６４）は、本明細書に記載されている１つ以上のアルゴリズムを使用してプロセッサによって自動的に実行される。例えば、プロセッサは、自動画像処理技法を使用して、装置の存在及び／又は分類を判断する。適用例によっては、プロセッサは、装置を自動的に分類するために機械学習アルゴリズムを使用する。このような適用例の場合、プロセッサは、検出した装置の外観及び／又は特性を、機械学習した外観及び特性と比較する。例えば、以下の１つ以上の機械学習技術：サポートベクトルマシーン（ＳＶＭ）、Deep Believe Networks、ニューラルネットワーク、及び／又はRandom Decision Forestが使用されてもよい。代替的に又は追加的に、プロセッサは、画像の一領域の外観及び／又は特性を、機械学習した特性及び外観と比較する。更に代替的に又は追加的に、プロセッサは、血管内部の装置の存在及び／又は装置の分類を示す入力をユーザから（典型的に、ユーザインターフェース３０を介して）受け取る。上記のように、適用例によっては、ユーザは、ユーザインターフェース３０を介して、所与の装置タイプ（例えば、バルーン）が現在、血管内に挿入されている（或いは血管内に挿入する予定であるか又はすでに挿入されている）ことを指示する。ユーザからの指示に基づいて、プロセッサは装置が血管内部に存在する時期を自動的に判断し、ステップ６５に移行する。

【0134】

適用例によっては、プロセッサは、本明細書に記載されている１つ以上のアルゴリズムを使用して、計算すべきパラメータを指定する（図３Ｂのステップ６５）。適用例によっては、プロセッサは、計算すべき血管のパラメータを指定することにより、計算すべきパラメータを指定する。幾つかの適用例により、血管のパラメータは血管の寸法及び／又は血管の機能的パラメータである。例えば、ステントとして装置を分類したことに呼応して、プロセッサは、ステントの存在下での血管の最小管腔直径を決定するために、計算すべきパラメータとして、ステントが配置されている血管の領域内の血管の最小管腔直径を指定する。適用例によっては、ステントはバルーンの周りに配置され、プロセッサは、その周りにステントが配置されているバルーンの放射線不透マーカーの位置を決定することにより、ステントが配置されている血管の領域を決定する。

【0135】

代替的に又は追加的に、ステントとして装置を分類したことに呼応して、プロセッサは、血管の機能的予備流量（ｆｕｎｃｔｉｏｎａｌ ｆｌｏｗ ｒｅｓｅｒｖｅ）（又はもう１つの管腔流量関連指数（ｌｕｍｉｎａｌ ｆｌｏｗ−ｒｅｌａｔｅｄ ｉｎｄｅｘ））に対するステントの効果を判断するために、計算すべきパラメータとして、ステントの位置における機能的予備流量（又はもう１つの管腔流量関連指数）を指定してもよい。適用例によっては、プロセッサは、計算すべき装置のパラメータを指定することにより、計算すべきパラメータを指定する。例えば、ステントとして装置を分類したことに呼応して、プロセッサは、計算すべきパラメータとして、ステントの最大直径又はステントの最小直径を指定する。適用例によっては、ステントはバルーンの周りに配置され、プロセッサは、その周りにステントが配置されているバルーンの放射線不透マーカーの位置を決定することにより、ステントが配置されている血管の領域を決定する。

【0136】

適用例によっては、プロセッサはイベントを指定し、そのイベントの発生時に計算すべきパラメータを指定することにより、計算すべきパラメータを指定する。例えば、図２Ｂ及び図３Ｃに関連して記載されている例では、プロセッサは、イベントとしてバルーンの最大膨張を指定し、プロセッサは最大バルーン膨張の発生時に閉塞の残留くびれを決定する。適用例によっては、プロセッサは、例えば、自動画像処理技法を使用して、指定されたイベントの発生を自動的に検出する。

【0137】

典型的に、本明細書に記載されている１つ以上のアルゴリズムを使用して、パラメータを計算する（図３Ｂのステップ６６）。適用例によっては、自動画像処理技法を使用して画像を解析することにより、パラメータを計算する。例えば、どちらも参照により本明細書に組み込まれる、Ｓｔｅｉｎｂｅｒｇによる米国出願公報第２０１２／０２３０５６５号及び／又はＣｏｈｅｎによる米国出願公報第２０１０／０２２２６７１号に記載されている技法を使用して、血管及び／又は装置の寸法を計算する。代替的に又は追加的に、例えば、参照により本明細書に組み込まれる、Ｔｏｌｋｏｗｓｋｙによる国際出願公報第１４／００２０９５号に記載されている技法を使用して、機能的パラメータを自動的に計算してもよい。

【0138】

適用例によっては、パラメータを計算するために、本明細書に記載されている技法を使用して、血管及び／又は装置のエッジラインを自動的に識別する。例えば、サンプリングする血管のセグメントの中心線に垂直な走査線を生成する。走査線に沿って画像をサンプリングし直す。対応する階調値を長方形行列Ｍの列として記憶し、それにより、まっすぐにした血管セグメントとしてその血管のセグメントをサンプリングし直す。まっすぐにした血管セグメントについて、（Ｍの中央行に対して）Ｍの最初の列と最後の列を接続する最適上部経路及び最適下部経路を決定する。この最適化基準では、Ｍの列に沿った階調の変化及び経路の傾斜を考慮に入れる。元の画像上の上部及び下部最適経路の逆投影を介して血管のエッジラインを得る。

【0139】

エッジラインにおける小さいギャップ及びループなどの不規則性を回避するために、最短路アルゴリズム（例えば、参照により本明細書に組み込まれる、「Ａ Ｎｏｔｅ ｏｎ Ｔｗｏ Ｐｒｏｂｌｅｍｓ ｉｎ Ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ Ｇｒａｐｈｓ」という表題のＤｉｊｋｓｔｒａによる論文（１９５９年、Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ １、２６９〜２７１ページ）に記載されているもの）を使用する。適用例によっては、検出したエッジラインに基づいて中心線を訂正し、新しい走査線を構築する。それぞれの新しい走査線について、その走査線がエッジラインと交差する２つのポイント間の距離として血管及び／又は装置の直径を定義する。

【0140】

適用例によっては、本明細書に記載されている技法は、上記のものに対するその他の装置に関して及び／又は被験者の身体のその他の部分に関して実行される。

【0141】

適用例によっては、穴閉鎖装置に関連するパラメータを決定するために、本明細書に記載されている技法を使用する。例えば、穴閉鎖装置は、心房中隔欠損閉鎖装置、左心房付属器閉鎖装置、及び／又は被験者の心臓の尖及び／又は大腿静脈又は大腿動脈などの末梢血管などに外科的に作成した穴を閉鎖するために使用する穴閉鎖装置である。被験者の身体の一部分の画像内で装置の存在を判断し、穴閉鎖装置としてその装置を分類したことに呼応して、コンピュータプロセッサ２８は、穴閉鎖装置の配備後に穴閉鎖装置の最大直径を決定する。代替的に又は追加的に、植え込み可能弁（人工大動脈弁及び／又は人工僧帽弁など）に関連するパラメータ、例えば、弁の最大直径を弁の配備後に決定するために、本明細書に記載されている技法を使用してもよい。更に代替的に又は追加的に、血管フィルタ（例えば、Ｖｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎ（米国カリフォルニア州）によって製造されたＣｒｕｘ（登録商標）大静脈フィルタなどの大静脈フィルタ）に関連するパラメータ、例えば、フィルタの最大直径を血管内でのフィルタの配備後に決定するために、本明細書に記載されている技法を使用してもよい。

【0142】

適用例によっては、被験者の身体の一部分の画像内で前に植え込まれた装置（現在の手順が実行される前に（例えば、現在の手順が実行される少なくとも１日前に）植え込まれたステント、移植片、又は置換弁など）の存在を判断したことに呼応して、所与の装置タイプとして前に植え込まれた装置を分類したことに呼応して、前に植え込まれた装置に関連するパラメータを決定するために、本明細書に記載されている技法を使用する。

【0143】

次に図４に言及するが、この図は本発明の幾つかの適用例により、ワイヤ（例えば、ガイドワイヤ）が血管内部に配置されている血管の画像の概略図である。図４Ａの右画面８２は左画面８０の一部分の拡大であり、この拡大部分はガイドワイヤの放射線不透端部部分８４の画像を含んでいる。適用例によっては、本明細書に記載されている技法を使用して、ガイドワイヤの放射線不透部分の先端部８６を自動的に識別する。典型的に、図４で観察されるように、血管のＸ線透視画像（又は異なる管腔外画像）では、ノイズにより画像内に暗いピクセルが存在する。従って、典型的に、単純にそれぞれのピクセルの強度を解析することにより、ガイドワイヤの放射線不透部分に対応するピクセルを周囲のピクセルと区別することは可能ではない。適用例によっては、コンピュータプロセッサ２８は、図５に関連して記載する技法を使用して、画像内のワイヤの放射線不透部分の先端部の位置を自動的に決定する。

【0144】

次に図５に言及するが、この図は本発明の幾つかの適用例により、血管の管腔外画像内でワイヤの放射線不透部分の先端部の位置を決定するためにコンピュータプロセッサ２８によって実行される手順の諸ステップを示すフローチャートである。

【0145】

画像の少なくとも一部分内のそれぞれのピクセルについて、そのピクセルのワイヤ性尺度を決定する（ステップ９０）。（本明細書で使用する「ピクセル（ｐｉｘｅｌ）」という用語は、画面上に表現された写真の制御可能な最小要素に限定されるものと解釈してはならないことは注目に値する。むしろ、本明細書で使用する「ピクセル」という用語は、１つ以上のこのような要素の１組を意味するものと解釈しなければならない。）適用例によっては、ワイヤ性尺度は画像全体のピクセルについて決定される。代替的に、画像の一部分のみのピクセルのワイヤ性尺度が決定される。例えば、（例えば、画像内のその他の特徴の位置に基づいて）ワイヤの放射線不透部分が配置されることが予想される画像の一領域内のピクセルのワイヤ性尺度がサンプリングされる。代替的に又は追加的に、プロセッサは、ワイヤの放射線不透部分が配置されることが予想される画像の一領域を指示する入力をユーザから受け取ってもよい。

【0146】

ワイヤ性尺度は、それぞれのピクセルがワイヤ様特性を有する程度の尺度である。適用例によっては、本明細書に記載されている１つ以上のアルゴリズムを使用して、ピクセルのワイヤ性尺度を決定する。典型的に、選択されたピクセルのそれぞれについて、そのピクセルが画像内のその他のピクセルとともに、暗さ、明るさ、及び／又は異なる特性などの所与の特性（即ち、ワイヤ性指示特性）を有する長く薄い１組のピクセルの一部を形成する程度を測定することにより、ワイヤ性尺度が決定される。典型的に、ワイヤ性尺度は、その１組内のその他のピクセルとともに、ワイヤに対応するピクセルを示すものである。

【0147】

適用例によっては、ピクセルの血管性尺度（ｖｅｓｓｅｌｎｅｓｓ ｍｅａｓｕｒｅ）を決定するための、どちらも参照により本明細書に組み込まれる、Ｓｔｅｉｎｂｅｒｇによる米国出願公報第２０１２／０２３０５６５号及び／又はＣｏｈｅｎによる米国出願公報第２０１０／０２２２６７１号に記載されているものと概ね同様の技法を使用して、ピクセルのワイヤ度尺度を決定する。例えば、参照により本明細書に組み込まれる、「Ｍｕｌｔｉｓｃａｌｅ ｖｅｓｓｅｌ ｅｎｈａｎｃｅｍｅｎｔ ｆｉｌｔｅｒｉｎｇ」という表題のＦｒａｎｇｉ他による論文（Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ-−ＭＩＣＣＡＩ １９９８−-Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、第１４９６巻、Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ、ドイツベルリン、１３０〜１３７ページ）に記載されているフィルタなどのヘシアンフィルタにより、及び／又は曲線構造の強化、検出、及び／又はセグメント化を実行するフィルタにより、ワイヤ性を決定する。適用例によっては、Ｆｒａｎｇｉフィルタと同様であるが、（ａ）ワイヤ性が同次関数であること及び／又は（ｂ）スケールの正規化に乗数が使用されることという点でＦｒａｎｇｉフィルタとは異なるフィルタを使用する。

【0148】

適用例によっては、ピクセルのワイヤ性尺度は、ピクセルの勾配が最も高い固有値に対応するヘシアン行列の固有ベクトルに直交する程度を判断することによって得られる。適用例によっては、この判断は、ワイヤ自体を構成すると最終的に判断されるピクセルに隣接するピクセルに適用された投票関数によって支援される。

【0149】

適用例によっては、閾値処理はヒステリシスにより画像ピクセルに適用される。例えば、そのワイヤ性値がヒステリシスの高い閾値を下回るが、ヒステリシスの低い閾値より上であるピクセルは、ヒステリシスの高い閾値になるか又はそれを上回るピクセルと連続する場合にその１組のピクセルに組み込まれる。

【0150】

適用例によっては、前述の１組を形成するピクセルは形態学的操作により決定される。例えば、このような形態学的操作は閾値処理した血管性画像のスケルトナイズを含む。適用例によっては、適用される閾値は、画像内の特定の領域に応じて適応可能である。

【0151】

適用例によっては、機械学習技法を使用して、ピクセルのワイヤ性尺度を決定する。

【0152】

手順の次のステップでは、画像の少なくとも一部分内のそれぞれのピクセルについて、ピクセルの強度を決定する（ステップ９２）。適用例によっては、ステップ９０及びステップ９２が図５のフローチャートに示されているものとは逆の順序で実行されることは注目に値する。

【0153】

画像の一部分内のピクセルのワイヤ性尺度及び強度が決定された後、コンピュータプロセッサ２８は、画像の一部分内の第１のサンプリング領域を指定する（ステップ９４）。適用例によっては、第１のサンプリング領域は本明細書に記載されている１つ以上のアルゴリズムにより指定される。例えば、このサンプリング領域は単一ピクセル又は複数のピクセルを含む。第１のサンプリング領域はランダムに及び／又はユーザからの入力に呼応して生成される。適用例によっては、プロセッサは、ガイドワイヤの先端部が配置されそうなサンプリング領域を指定することにより、第１のサンプリング領域を指定する。例えば、プロセッサは、高い値のワイヤ性尺度を有する１つ以上の領域を指定することにより、第１のサンプリング領域を指定する。代替的に又は追加的に、プロセッサは、画像の機械学習解析に基づいて、画像の一領域がワイヤの先端部を含みそうであると判断したことに呼応して、第１のサンプリング領域を指定してもよい。

【0154】

適用例によっては、ステップ９４はステップ９０及びステップ９２の前に実行され、ステップ９０及びステップ９２は指定されたサンプリング領域のみについて実行される。

【0155】

プロセッサは、第１のサンプリング領域内で、そのピクセルに隣接し、ワイヤ性指示特性を有する１つ以上のピクセルのワイヤ性尺度の値に対して閾値量より大きいワイヤ性尺度の変化が存在する少なくとも１つのピクセルが存在するかどうかを判断する（ステップ９６）。適用例によっては、プロセッサは、本明細書に記載されている１つ以上のアルゴリズムを使用して、ステップ９６を実行する。例えば、例証として、プロセッサは、あるピクセルと隣接するピクセルとの間で閾減少パーセンテージを超えるワイヤ性尺度の減少が存在すると判断する。或いは、プロセッサは、少なくとも１つのピクセルがその１組のピクセルに属するすべてのピクセルの平均ワイヤ性尺度より閾パーセンテージ以上小さいワイヤ性尺度を有し、そのピクセルに隣接する１つ以上のピクセルが閾値を超えるワイヤ性尺度（複数も可）を有すると判断する。

【0156】

適用例によっては、指定された領域内で、プロセッサは、ワイヤ性指示特性を有する１組のピクセルの局所的指向性を判断する。プロセッサは、その方向に沿って、そのピクセルに隣接し、ワイヤ性指示特性を有する１つ以上のピクセルに対して閾値量より大きいワイヤ性尺度の変化が存在する少なくとも１つのピクセルが存在するかどうかを判断する。

【0157】

第１のサンプリング領域内で、少なくとも１つのピクセルにおいて閾値を超えるワイヤ性尺度の変化が存在しないと判断したことに呼応して、プロセッサは次のサンプリング領域に移行し（ステップ９８）、第２のサンプリング領域でステップ９６を繰り返す。第２のサンプリング領域は典型的に、第１のサンプリング領域の選択と概ね同様に及び／又は第１のサンプリング領域に対する空間関係に基づいて選択される。サンプリング領域内の少なくとも１つのピクセルにおけるワイヤ性尺度の変化が閾値を超えると判断したことに呼応して、プロセッサは、少なくとも１つのピクセルにおいて、ワイヤ性指示特性を有する１組のピクセルのうちの少なくとも幾つかの強度の値に対してそのピクセルの強度について閾値量より大きい変化が存在するかどうかを判断する（ステップ１００）。適用例によっては、プロセッサは、本明細書に記載されている１つ以上のアルゴリズムを使用して、ステップ１００を実行する。例えば、例証として、プロセッサは、あるピクセルと隣接するピクセルとの間で閾増加パーセンテージを超える強度の増加が存在すると判断する。或いは、プロセッサは、１つのピクセルがその１組のピクセルに属するすべてのピクセルの平均強度を閾パーセンテージ以上超える強度を有すると判断する。

【0158】

適用例によっては、指定された領域内で、プロセッサは、ワイヤ性指示特性を有する１組のピクセルの局所的指向性を判断する。プロセッサは、その方向に沿って、ワイヤ性指示特性を有する１組のピクセルに属するピクセルのうちの少なくとも幾つかに対して閾値量より大きい強度の変化が存在する少なくとも１つのピクセルが存在するかどうかを判断する。

【0159】

現在のサンプリング領域内で、少なくとも１つのピクセルにおいて閾値を超える強度の変化が存在しないと判断したことに呼応して、プロセッサは次のサンプリング領域に移行し（ステップ９８）、次のサンプリング領域でステップ９６を繰り返す。現在のサンプリング領域内の少なくとも１つのピクセルにおける強度の変化が閾値を超えると判断したことに呼応して、ワイヤの放射線不透部分の先端部が現在のサンプリング領域内に配置されていると判断される（ステップ１０２）。画像内のワイヤの放射線不透部分の先端部の決定された位置に呼応して、出力が生成される。

【0160】

適用例によっては、ステップ９６及びステップ１００が逆の順序で実行され、プロセッサが、まず、少なくとも１つのピクセルにおいて閾値量より大きい強度の変化が存在するかどうかを判断し、その後、少なくとも１つのピクセルにおいて閾値量より大きいワイヤ性尺度の変化が存在するかどうかを判断することは注目に値する。

【0161】

典型的に、画像内のワイヤの放射線不透部分の先端部の決定された位置に呼応して、コンピュータプロセッサ２８によって出力が生成される。適用例によっては、プロセッサは、ワイヤの放射線不透部分の両方の先端部の位置を決定し、それにより、画像内のワイヤの放射線不透部分の位置及び／又は画像内のワイヤの放射線不透部分の中心の位置を決定する。画像内のワイヤの放射線不透部分の決定された位置に呼応して及び／又は画像内のワイヤの放射線不透部分の中心の決定された位置に呼応して、出力が生成される。

【0162】

適用例によっては、所与の画像内でワイヤの放射線不透部分の先端部の位置を決定したことに呼応して、プロセッサは、それぞれの画像内のワイヤの放射線不透部分を互いに位置合わせすることにより、その画像を第２の画像と位置合わせする。それぞれの適用例により、両方の画像が互いに位置合わせされている画像ストリームとして位置合わせされた画像が表示されるか及び／又はその画像と第２の画像との位置合わせに基づいて、複合画像が生成される。例えば、プロセッサは、その画像と第２の画像を互いに位置合わせした後、両方の画像を平均する。一般に、いずれの出願も参照により本明細書に組み込まれる、Ｉｄｄａｎによる米国出願公報第２００８／０２２１４４０号、Ｓｔｅｉｎｂｅｒｇによる米国出願公報第２０１２／０２３０５６５号、及びＣｏｈｅｎによる米国出願公報第２０１０／０２２２６７１号のいずれかに記載されている画像安定化及び／又は強化技法のいずれかを実行するために、所与の画像内のワイヤの放射線不透部分の先端部の位置の識別が使用される。

【0163】

適用例によっては、例えば、参照により本明細書に組み込まれる、Ｔｏｌｋｏｗｓｋｙによる米国出願公開第２０１２／０００４５３７号、Ｓｔｅｉｎｂｅｒｇによる米国出願公開２０１４／００９４６９１号及び／又はＳｔｅｉｎｂｅｒｇによる国際出願公開第１３／１７５４７２号に記載されている技法により、管腔内の管腔内装置の位置の決定を容易にするために、所与の画像内のワイヤの放射線不透部分の先端部の位置の識別を使用してもよい。例えば、１つ以上の管腔内データポイントが管腔内データ取得装置（例えば、管腔内撮像装置或いは複数の機能的管腔内データポイントを取得するように構成された管腔内データ取得装置）によって取得された血管内の位置が決定される。管腔内データポイントが取得された血管内の決定された位置に基づいて、プロセッサは、管腔内撮像スタックを生成すること及び／又は管腔内データポイントとその管腔内データポイントが取得された血管内の位置との対応の指示を生成することなどにより、出力を生成する。

【0164】

適用例によっては、指定された管腔部位を含む血管の管腔セグメントに沿って管腔内データ取得装置を位置決めすることにより、管腔内データポイントが取得される。その後、管腔セグメントの管腔外画像を観察しながら、そのセグメントに沿った１つ以上の位置がユーザ入力装置（例えば、ユーザインターフェース３０）によって指示される。ユーザ入力装置による１つ以上の位置の指示に呼応して、それに対応する前に取得した管腔内画像が表示される。

【0165】

典型的に、指定された管腔部位は、診断の結果に従って治療装置が位置決めされて配備される診断中の部位、例えば、解剖学的特徴の部位、前に植え込まれた装置の植え込み部位、及び／又は植え込み部位に対して定義位置にある部位を含む。例えば、指定された管腔部位は、管腔の周囲の部分に対して狭い管腔の一部分及び／又は病変の部位を含む。

【0166】

適用例によっては、指定された管腔部位に管腔内データ取得装置を位置決めすることにより、管腔内データポイントが取得される。その後、管腔内治療装置が管腔外撮像に基づいて指定された管腔部位に位置決めされて配備され、治療装置の現在位置で管腔内データ取得装置によって前に取得された管腔内データをリアルタイムに同時に表示する。典型的に、管腔内データは、指定された管腔内部位の近傍のそれぞれの管腔内部位で取得される。その後、管腔内治療装置が管腔内部に配置されると、前に取得した管腔内データは、治療装置（又はその一部分）の現在位置に対応するように、典型的に自動的にしかも典型的にリアルタイムで表示されて更新され、治療装置の位置は典型的に治療装置の位置決め中に変化する。

【0167】

適用例によっては、管腔外撮像及び前に取得した管腔内データポイントは、治療装置がリアルタイム管腔外撮像及びリアルタイム管腔内データ取得の両方に基づいて位置決めされて配備されている場合のように相互使用（ｃｏ−ｕｓｅ）される。これは、（ａ）管腔外撮像がリアルタイムで実行され、（ｂ）管腔内データがリアルタイムで取得されない場合でも治療装置の現在位置に対応する管腔内データが表示されるからである。

【0168】

本発明の幾つかの適用例により、治療装置が管腔内部に配置されると、管腔内の装置の位置は、管腔内部の装置の管腔外画像について画像処理を実行することによって決定される。

【0169】

いくつかの適用については、所与の画像内におけるワイヤの放射線不透過性部分の先端の位置の識別は、例えばステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、画像と第２の画像との間のマッピングのための変換関数の決定を容易にするために用いられてもよい。両出願は参照により本明細書に組み込まれる。例えば、変換関数は、現在の透視画像を先に取得された血管造影画像にマッピングするために決定されてもよく、又はその逆であってもよい。いくつかの適用については、変換関数は、現在の透視画像内の２つ以上の特徴の配列を先に取得された血管造影画像内の経路の少なくとも一部の形状と比較することによって、現在の透視画像を先に取得された血管造影画像にマッピングするために決定される。いくつかの適用については、特徴のうち少なくとも１つは、現在の透視画像内のガイドワイヤの放射線不透過性部分である。

【0170】

いくつかの適用については、決定された変換関数に基づき、プロセッサは、例えばステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、管腔内における管腔内デバイスの位置を決定する。両出願は参照により本明細書に組み込まれる。例えば、１つ以上の管腔内データポイントが管腔内データ取得デバイス（例えば管腔内撮像デバイス、又は複数の機能的管腔内データポイントを取得するように構成された管腔内データ取得デバイス）により取得された血管内の位置が決定されてもよい。管腔内データポイントが取得された血管内の決定された位置に基づいて、プロセッサは、例えば管腔内撮像スタックを生成することにより、及び／又は管腔内データポイントと管腔内データポイントが取得された血管内の位置との間の対応の指標を生成することにより、出力を生成してもよい。代替的には、管腔内データポイントが取得された血管内の決定された位置に基づいて、プロセッサは、上述の技術、及び／又はトルコヴスキーによる米国特許出願公開第２０１２／０００４５３７号明細書、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術を用いて、管腔内データポイントと管腔外撮像とを併用してもよい。これらの出願は参照により本明細書に組み込まれる。

【0171】

いくつかの適用については、所与の画像内におけるワイヤの放射線不透過性部分の先端の位置の識別は、例えばステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、画像の一部をガイドワイヤの遠位端に関連付けられたものとする分類を容易にするために用いられてもよい。両出願は参照により本明細書に組み込まれる。例えば、画像の一部をガイドワイヤの遠位端に関連付けられたものとする分類は、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、ある画像を別の画像にマッピングするための変換関数の決定を容易にするために用いられてもよい。両出願は参照により本明細書に組み込まれる。

【0172】

ここで図６Ａ及び図６Ｂを参照する。これらの図は、血管の内部に配置されたガイドワイヤ（ガイドワイヤ２４など）の各管腔外画像の長方形の標本抽出領域１１０及び１１２の概略図であり、これらの領域は従来技術を用いて抽出されている。図６Ａの長方形の標本抽出領域１１０は、長方形の長さが、ガイドワイヤが画像内で局部的に配置されている方向に概ね平行に配置されるように、抽出される。画像内のＸの中心にある所与の画素１１１は、標本抽出領域の中心に配置される。図６Ｂの長方形の標本抽出領域１１２は、長方形の長さが、ガイドワイヤが画像内で局部的に配置されている方向に概ね垂直に配置されるように、抽出される。画像内のＸの中心にある画素１１１は、標本抽出領域の中心に配置される。

【0173】

図６Ａの下部分は、標本抽出領域１１０を、標本抽出領域１１４の機械学習された外観と並べて示しており、その中心画素はガイドワイヤの一部に対応している。図６Ｂの下部分は、標本抽出領域１１２を、標本抽出領域１１４と並べて示している。標本抽出領域１１０を領域１１４と比較することによって画素１１１がガイドワイヤの一部に対応するかどうかを決定するためにプロセッサ２８により機械学習技術が用いられる場合には、プロセッサは、画素１１１がガイドワイヤの一部に対応すると決定するであろう。しかしながら、プロセッサが標本抽出領域１１２を領域１１４と比較する場合には、プロセッサは、画素１１１がガイドワイヤの一部に対応しないと決定するであろう。

【0174】

図６Ａ及び図６Ｂの説明によると、画素１１１を中心とした回転可変領域を抽出することによっては、機械学習分類アルゴリズムは、画素１１１がガイドワイヤ２４の一部に対応するかどうかを正確に決定することができないかもしれない。本発明のいくつかの適用によれば、所与の画素が物体の一部に対応するかどうかを決定するためには、画素を中心とした回転不変領域が抽出され、その回転不変領域に、後述するように、機械学習分類が適用される。例えば、以下の機械学習技術のうち１つ以上が用いられ得る：サポートベクターマシン（ＳＶＭ）、深層信念ネットワーク（Ｄｅｅｐ Ｂｅｌｉｅｖｅ Ｎｅｔｗｏｒｋｓ）、ニューラルネットワーク、及び／又はランダム決定フォレスト。

【0175】

ここで図７を参照する。同図は、本発明のいくつかの適用に従った、物体を含む画像内の所与の画素が物体の一部に対応するかどうかを識別するために用いられる手順のステップを示すフローチャートである。図８Ａ及び図８Ｂも参照する。これらの図は、本発明のいくつかの適用に従った、ガイドワイヤの画像の概略図、及び画像の画素１１１の周りに抽出された円形の標本抽出領域１３０の概略図であって、円形の標本抽出領域は画素１１１の周りに配置された一組の同心円１３２ａ乃至１３２ｃを含む。

【0176】

一般的に、図７に示される手順は、被験者の血管の画像（例えば透視画像）に関して実施されるもので、画像内の所与の画素（例えば画素１１１）が血管の内部に配置された物体の一部に対応するかどうかを識別するために用いられる。例えば、血管の内部に配置された物体は、ガイドカテーテル２２、ワイヤ（例えばガイドワイヤ２４）、治療管腔内デバイス、管腔内データ取得デバイス、放射線不透過性マーカ（図２Ｂに示されるマーカ５７など）、及び／又はステントであり得る。

【0177】

図７に示されるように、第１のステップ（ステップ１２０）において、プロセッサ２８は、画素の周りに配置された一組の同心円を抽出する。例えば、図８Ｂの上部分は、画素１１１の周りに抽出された一組の同心円１３２ａ乃至１３２ｃを示す。プロセッサは、一般的には本明細書に記載されたアルゴリズムのうち１つ以上を用いて、円が第１組の回転不変記述子によって定義されるように、円の各々に第１の関数を適用する（ステップ１２２）。例えば、プロセッサは円に時間・周波数ドメイン変換（例えばフーリエ変換、離散サイン変換、及び／又は離散コサイン変換）を適用してもよく、プロセッサは円の各々の時間・周波数ドメイン変換の絶対係数を決定してもよい。時間・周波数ドメイン変換の絶対係数を決定することの効果は、同一のパターンを有するが互いに対して回転する２つの類似の円の記述子が等しくなるように、変換から位相シフトを除去することである。こうして、この段階で、円は、図８Ｂの下部分に比喩的に示される各回転不変記述子１３２ａ’乃至１３２ｃ’で表される。

【0178】

ここで図９Ａ及び図９Ｂを参照する。これらの図は、図７のステップ１２０及びステップ１２２が適用される各管腔外画像の領域の概略図である。図９Ａはガイドワイヤの画像を示しており、画像の画素１１１の周りに円形の標本抽出領域１３０が抽出されている。図９Ｂは、画素１１１の周りに配置された暗い画素を含む例示的な管腔外画像であり、図９Ｂに示される画素１１１はガイドワイヤの一部に対応していない。図９Ｂにおいて、円形の標本抽出領域１３０は、画像の画素１１１の周りに抽出される。

【0179】

図９Ａ及び図９Ｂの中央部分は円形の標本抽出領域１３０の拡大を示し、図９Ａ及び図９Ｂの下部分は画素１１１を囲む同心円１３２ａ乃至１３２ｃの組を示す。上述のように、ステップ１２２を同心円１３２ａ乃至１３２ｃに適用することの結果として、円１３２ａ乃至１３２ｃを表す記述子は回転不変となる。よって、互いに関して回転することは別として、図９Ｂに示される同心円は図９Ａに示されるものと類似であるため、これら２組の同心円は、ステップ１２２を円の各組に適用することの結果として、互いに類似の回転不変記述子の組をもたらすであろう。したがって、本発明のいくつかの適用に従い、図７のステップ１２４、１２６、及び１２７が適用される。ステップ１２４、１２６、及び１２７を適用することの効果は、同心円１３２ａ乃至１３２ｃが標本抽出領域１３０に関して回転不変の記述子で表され、同心円１３２ａ乃至１３２ｃの互いに関する回転アライメントが定義されるということである。したがって、ステップ１２４、１２６、及び１２７の適用後、図９Ａの領域１３０の代表記述子は、図９Ｂの領域１３０の代表記述子とは異なる。

【0180】

再び図７を参照すると、ステップ１２４において、プロセッサ２８は、円の組１３２ａ乃至１３２ｃに第２の関数を適用して、例えば第２組の記述子を生成し、この第２組の記述子の各々は、一般的には本明細書に記載されたアルゴリズムのうち１つ以上を用いて、円の各対の間の差を表す。例えば、円は、第２組の記述子が（ａ）円１３２ｃと円１３２ａとの間の差を表す第１の記述子、（ｂ）円１３２ｃと円１３２ｂとの間の差を表す第２の記述子、及び（ｃ）円１３２ｂと円１３２ａとの間の差を表す第３の記述子を含むように、別の円から引かれてもよい。ステップ１２６においては、第２組の記述子が、一般的には本明細書に記載されたアルゴリズムのうち１つ以上を用いて、回転不変になることにより、第２組の回転不変記述子を形成するように、第３の関数が第２組の記述子に適用される。例えば、プロセッサは時間・周波数ドメイン変換（例えばフーリエ変換、離散サイン変換、及び／又は離散コサイン変換）を第２組の記述子に適用してもよく、プロセッサは第２組の記述子の各々の時間・周波数ドメイン変換の絶対係数を決定してもよい。いくつかの適用については、第２組の回転不変記述子は、円を代表する回転不変記述子の間の差を計算することにより決定される。

【0181】

（ステップ１２７のまわりの破線のボックスにより示されるように）任意選択的なステップ１２７において、プロセッサは、一般的には本明細書に記載されたアルゴリズムのうち１つ以上を用いて、第１組及び第２組の回転不変記述子を代表する代表記述子を生成する。一般的には、代表記述子は、例えば記述子を互いに組み合わせて列挙することで、第１組及び第２組の回転不変記述子を組み合わせることにより生成される。

【0182】

なお、ステップ１２４及びステップ１２６は、一般的にはステップ１２２と並行して実施されるものであり、必ずしもステップ１２２の後で及び／又はこれと連続して実施されるものではない。いくつかの適用については、（円同士の間の差を代表する第２組の記述子が生成される）ステップ１２４は、ステップ１２２及び（第１組及び第２組の回転不変記述子が生成される）ステップ１２６が実施されるよりも前に実施される。いくつかの斯様な適用については、ステップ１２２及びステップ１２６は、例えば、時間・周波数ドメイン変換（例えばフーリエ変換、離散サイン変換、及び／又は離散コサイン変換）を円の組と円同士の間の差を表す第２組の記述子との両方に適用し、それから時間・周波数ドメイン変換の結果の絶対係数を決定することによって、互いに一緒に実施される。上述のように、いくつかの適用については、第２組の回転不変記述子は、円を代表する回転不変記述子の間の差を計算することによって決定される。一般的には、結果として生じる絶対係数の組は、円の組と円同士の間の差との両方を表す回転不変記述子である。したがって、斯様な適用については、ステップ１２７は、ステップ１２２及び１２６を実施することによって、自動的に実施される。

【0183】

上述のように、図７のステップ１２４、１２６、及び１２７を適用することの効果は、同心円１３２ａ乃至１３２ｃが、標本抽出領域１３０に関しては回転不変であるが互いに関しては同心円１３２ａ乃至１３２ｃの回転アライメントを記述する記述子により表されるということである。同様に、たとえステップ１２７が実施されなくても、ステップ１２２及びステップ１２６の出力は、互いに組み合わせて解析されたとき、円が標本抽出領域１３０に関しては回転不変であるように、しかし互いに対する同心円１３２ａ乃至１３２ｃの回転アライメントが定義されるように、同心円１３２ａ乃至１３２ｃを表す。

【0184】

ステップ１２８において、プロセッサは、代表記述子に基づき、一般的には本明細書に記載されたアルゴリズムのうち１つ以上を用いて、画素１１１が物体の一部（例えばガイドワイヤ２４の一部）に対応するかどうかを決定する。あるいは、ステップ１２７が実施されない適用については、プロセッサは、第１組及び第２組の回転不変記述子に基づき、画素１１１が物体の一部に対応するかどうかを決定する。一般的に、プロセッサは、機械学習分類をステップ１２７によってもたらされた代表記述子に適用することにより、及び／又は機械学習分類をステップ１２２及びステップ１２６によってもたらされた第１組及び第２組の回転不変記述子に適用することにより、画素１１１が物体の一部に対応するかどうかを決定する。ステップ１２９において、画素１１１が物体の一部に対応するとプロセッサが決定する場合には、プロセッサは、少なくとも部分的にそれに応じて出力を生成する。

【0185】

なお、いくつかの適用については、プロセッサは、図７に示される手順を画像内の画素のすべてには適用しない。例えば、プロセッサは、画像の少なくとも一部内の各画素について物体らしさの度合いを決定することによって、手順が適用される画素を選択してもよい。物体らしさの度合いは、一般的に、画素が画像内の他の画素とともに物体の一部に関連付けられた所与の特性を有する画素の組を形成する程度を測定する。例えば、物体がガイドワイヤであれば、物体らしさの度合いは、上述のワイヤらしさの度合いに類似し得る。いくつかの適用については、他の物体の物体らしさの度合いは、必要に応じて変更を加えて、概ね上述のワイヤらしさの度合いに類似する。次いで、プロセッサは、画素の組を形成する少なくともいくつかの画素の付近に配置された画素及び／又は画素の組に属する画素を選択することによって、図７に示される前述の手順を適用する画素を選択し得る。

【0186】

上述のように、一般的に、図７に示される手順は、被験者の血管の画像（例えば透視画像）に関して実施されるもので、画像内の所与の画素（例えば画素１１１）が血管の内部に配置された物体の一部に対応するかどうかを識別するために用いられる。例えば、血管内に配置された物体は、ガイドカテーテル２２、ワイヤ（例えばガイドワイヤ２４）、治療管腔内デバイス、管腔内データ取得デバイス、放射線不透過性マーカ（図２Ｂに示されるマーカ５７など）、及び／又はステントであり得る。いくつかの適用については、画像内の物体の位置は、画像内の複数の画素に関して図７に示される手順を実施することにより決定される。

【0187】

いくつかの適用については、画像内における物体の位置を決定することに応じて、プロセッサは、画像の各々内の物体を互いに整列させることにより、画像を第２の画像と整列させる。各適用に従って、整列された画像は、画像が互いに整列された画像ストリームで表示されてもよく、及び／又は画像と第２の画像との整列に基づいて合成画像が生成されてもよい。例えば、プロセッサは、画像を互いに整列させることの後で、画像と第２の画像とを平均してもよい。概して、画像内の物体の位置を決定することは、イッダン（Ｉｄｄａｎ）による米国特許出願公開第２００８／０２２１４４０号明細書、ステインバーグによる米国特許出願公開第２０１２／０２３０５６５号明細書、及びコーエン（Ｃｏｈｅｎ）による米国特許出願公開第２０１０／０２２２６７１号明細書のうちいずれかに記載された画像安定化及び／又は強調技術のうちいずれかを実施するために用いられ得る。これらの出願はすべて、参照により本明細書に組み込まれる。

【0188】

いくつかの適用については、画像内における物体の位置は、例えばトルコヴスキーによる米国特許出願公開第２０１２／０００４５３７号明細書、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、管腔内の管腔内デバイスの位置の決定を容易にするために用いられる。これらの出願は、参照により本明細書に組み込まれる。例えば、管腔内データポイントが管腔内データ取得デバイス（例えば管腔内撮像デバイス、又は機能的管腔内データポイントを取得するように構成された管腔内データ取得デバイス）により取得された血管内の位置が決定されてもよい。プロセッサは、管腔内データポイントが取得された血管内の決定された位置に基づいて、例えば管腔内撮像スタックを生成することにより、及び／又は管腔内データポイントと管腔内データポイントが取得された管腔内の位置との間の対応の指標を生成することにより、出力を生成してもよい。

【0189】

いくつかの適用については、決定された画像内における物体の位置は、例えばステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、画像と第２の画像との間のマッピングのための変換関数の決定を容易にするために用いられる。両出願は参照により本明細書に組み込まれる。例えば、変換関数は、現在の透視画像を先に取得された血管造影画像にマッピングするために決定されてもよく、又はその逆であってもよい。いくつかの適用については、変換関数は、現在の透視画像内の２つ以上の特徴の配列を先に取得された血管造影画像内の経路の少なくとも一部の形状と比較することによって、現在の透視画像を先に取得された血管造影画像にマッピングするために決定される。いくつかの適用については、特徴のうち少なくとも１つは物体であり、その位置は、現在の透視画像内において、本明細書に記載の技術を用いて決定される。

【0190】

いくつかの適用については、決定された変換関数に基づき、プロセッサは、例えばステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に基づいて、管腔内における管腔内デバイスの位置を決定する。両出願は参照により本明細書に組み込まれる。例えば、管腔内データポイントが管腔内データ取得デバイス（例えば管腔内撮像デバイス又は機能的管腔内データポイントを取得するように構成された管腔内データ取得デバイス）により取得された血管内の位置が決定されてもよい。管腔内データポイントが取得された血管内の決定された位置に基づいて、プロセッサは、例えば管腔内撮像スタックを生成することにより、及び／又は管腔内データポイントと管腔内データポイントが取得された管腔内の位置との間の対応の指標を生成することにより、出力を生成してもよい。代替的には、管腔内データポイントが取得された血管内の決定された位置に基づいて、プロセッサは、上述の技術、及び／又はトルコヴスキーによる米国特許出願公開第２０１２／０００４５３７号明細書、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術を用いて、管腔内データポイントと管腔外撮像とを併用してもよい。これらの出願は参照により本明細書に組み込まれる。

【0191】

いくつかの適用については、決定された画像内における物体の位置は、例えばステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、画像の一部を物体に関連付けられたものとする分類を容易にするために用いられる。両出願は参照により本明細書に組み込まれる。例えば、画像の一部を物体に関連付けられたものとする分類は、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、ある画像を別の画像にマッピングするための変換関数の決定を容易にするために用いられてもよい。両出願は参照により本明細書に組み込まれる。

【0192】

ここで図１０を参照する。同図は、本発明のいくつかの適用に従った、管腔のロードマップ画像内の位置と管腔の第２の画像内の位置との間のマッピングのための変換関数を決定するために用いられる手順のステップを示すフローチャートである。図１１Ａ乃至図１１Ｃも参照する。これらの図は、本発明のいくつかの適用に従った、被験者の管腔（例えば動脈）１６０の画像の概略図である。

【0193】

手順の第１のステップ１４０において、管腔の少なくとも１つの第１の管腔外画像が取得される。一般的には、管腔の第１組の管腔外画像が、管腔外撮像デバイスを用いて取得される。例えば、管腔外撮像デバイス２０（図１）が、被験者の血管（例えば冠動脈）の第１組の管腔外画像を取得するために用いられてもよい。各適用に従って、第１組の管腔外画像は、管腔内に造影剤が存在しているとき、又は管腔内に造影剤が不在であるときに取得される。

【0194】

ステップ１４２において、プロセッサ２８は、少なくとも１つの第１の管腔外画像をロードマップ画像として指定する。一般的には、第１組の管腔外画像が取得され、プロセッサは、本明細書に記載されたアルゴリズムのうち１つ以上を用いて、その第１組の画像のうち少なくとも１つをロードマップ画像として指定する。一般的には、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、第１組の画像のうち少なくとも１つが、ロードマップ画像として指定される。両出願は参照により本明細書に組み込まれる。例えば、画像は、以下の基準に基づいて選択されてもよい：（ａ）画像が所望の心位相（一般的には拡張末期）に取得される、及び／又は（ｂ）画像内で、造影剤が管腔を強調表示する。本明細書に記載された技術が被験者の冠動脈に対して実施される手順については、画像は、画像の組における冠動脈の少なくとも一部の可視性に基づいて、その画像の組から選択されてもよい。いくつかの適用については、冠動脈の可視性が最大である血管造影図が選択され、斯様な選択は一般的には自動的に行われる。最大の可視性は、一般的には、観察される動脈の最大総数、動脈に帰せられる画像画素の最大数、及び／又は特定の動脈の外観における最大の画像コントラストに基づいて決定される。いくつかの適用については、複数の管腔外画像に基づく管腔外画像（例えば複数の画像を平均することに基づく画像）が選択され、ロードマップ画像として指定される。

【0195】

図１１Ａは、本発明のいくつかの適用に従った、ロードマップ画像として指定された被験者の動脈の画像を示す。ロードマップ画像においては、動脈１６０が造影剤によって強調表示されることが観察され得る。

【0196】

再び図１０を参照すると、ステップ１４４において、プロセッサ２８は、一般的には本明細書に記載されたアルゴリズムのうち１つ以上を用いて、ロードマップ画像内におけるロードマップ経路を指定する。一般的には、ロードマップ経路は、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って指定される。両出願は参照により本明細書に組み込まれる。いくつかの適用については、ロードマップ経路は、手動のユーザ入力に応じて、及び／又は自動的に指定される。例えば、経路は、行路に沿ったいくつかのポイントを示すユーザと、行路を完成させるプロセッサとにより、手動で表示されたポイントに基づいて指定されてもよい。いくつかの適用については、ロードマップ経路は、少なくとも部分的には、管腔の中心線を決定することによって決定される。例えば、管腔の中心線は、米国特許出願公開第２０１２／０２３０５６５号明細書、国際公開第１０／０５８３９８、国際公開第１２／０１４２１２号、及び／又は米国特許出願公開第２０１２／０００４５３７号明細書に記載された管腔の中心線を決定するための技術を用いて決定されてもよい。これらの出願は参照により本明細書に組み込まれる。

【0197】

いくつかの適用については、第１の管腔外画像（又は第１組の管腔外画像）は、管腔内に造影剤が不在であるときに取得される。斯様な適用については、ロードマップ経路は、ロードマップ画像内の特徴の組を識別すること、及び識別された特徴の組に応じてロードマップ経路を指定することによって、指定されてもよい。一般的には、特徴の組は、管腔の内部に配置された放射線不透過性の特徴（放射線不透過性マーカ、及び／又はガイドカテーテルの放射線不透過性先端など）に対応する。このように、特徴の組は、一般的には画像内における管腔の位置を示す。

【0198】

図１１Ｂは図１１Ａのロードマップ画像を示し、ロードマップ経路１６２が動脈１６０内に指定されている。なお、図１１Ｂにおいては経路１６２はロードマップ画像内に表示されているが、いくつかの適用については、ロードマップ経路は、行路がディスプレイ上に実際に表示されることなしに指定される。

【0199】

再び図１０を参照すると、ステップ１４６において、管腔外撮像デバイス（例えば図１に示される管腔外撮像デバイス２０）は、追加的な管腔外画像を取得し、一般的には第２組の管腔外画像を取得する。一般的には、第２組の管腔外画像は透視画像であり、そのうち少なくともいくつかは、管腔内に造影剤が不在であるとき、さらに一般的には管腔内デバイス（例えば管腔内データ取得デバイス、又は管腔内治療デバイス）が管腔内に配置されている間に、取得される。

【0200】

図１１Ｃは、管腔内に造影剤が不在であるときに取得された管腔外画像の一例を示す。図１１Ｃには、管腔内に配置された放射線不透過性物体に対応する画像の暗い部分があるが、管腔自体は造影剤によって強調表示されてはいないことが観察され得る。

【0201】

ステップ１４８において、追加的な管腔外画像に基づき（例えば第２組の管腔外画像に属する少なくとも１つの画像に基づき）、プロセッサ２８は、スコアリング関数が適用される画素の各々が画素が所与の特性を有する程度を示すスコアを指定されるように、画像内の少なくともいくつかの画素にスコアリング関数を適用することにより、スコア画像を生成する。

【0202】

一般的には、スコア画像は、本明細書に記載されたアルゴリズムのうち１つ以上を用いて生成される。なお、いくつかの適用については、スコアリング関数は、画素を所与の物体（ガイドカテーテル、ワイヤ、又は放射線不透過性マーカなど）に対応するものとして識別するという結果をもたらさない。代替的には、スコアリング関数は、１つ以上の画素を所与の物体（ガイドカテーテル、ワイヤ、又は放射線不透過性マーカなど）に対応するものとして識別するという結果をもたらしてもよい。いくつかの適用については、ステップ１４８において、単一のフィルタが画像に適用される。例えば、ヘシアンフィルタ又はハイパスフィルタが、画像の少なくとも一部に適用されてもよい。いくつかの適用については、スコアリング関数は、画素の各々に、画素の強度を示すスコアを指定する。代替的又は追加的には、スコアリング関数は、画素の各々に、画素が非解剖学的物体に対応しそうな程度を示すスコアを指定する。

【0203】

ステップ１５０においては、スコアリング関数が適用された画素のうち少なくともいくつかのスコアに基づいて、プロセッサ２８が、ロードマップ経路の少なくとも一部とスコア画像内の曲線との間の対応を決定する。一般的には、ロードマップ経路の少なくとも一部とスコア画像内の曲線との間の対応は、本明細書に記載されたアルゴリズムのうち１つ以上を用いて決定される。一般的には、プロセッサは、ロードマップ経路の一部とスコア画像内の曲線との間の対応を、例えばロードマップ経路を画像の画素に最もよく適合させる最適適合アルゴリズムを適用することによって決定し、それらの画素のスコアは、それらの画素がロードマップ経路の画素と対応しそうであることを示す。例えば、プロセッサは、他の画素よりも暗い画素がロードマップ経路に沿った画素に対応しそうであると決定してもよい。代替的又は追加的には、プロセッサは、非解剖学的物体に対応する画素を示すスコアを有する画素がロードマップ経路に沿った画素に対応しそうであると決定してもよい。

【0204】

いくつかの適用については、プロセッサ２８は、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定するために、動的プログラミングアルゴリズムを用いる。例えば、プロセッサは、ロードマップ経路に沿った第１の画素と追加的な管腔外画像の第１の画素との間の対応を決定してもよい。その後、プロセッサは、ロードマップ経路に沿った第２の画素と追加的な管腔外画像の第２の画素との間の対応を、（ａ）ロードマップ経路に沿った第１の画素と追加的な管腔外画像の第１の画素との間の決定された対応、及び（ｂ）スコアリング関数が適用された画素のうち少なくともいくつかのスコアに基づいて、決定してもよい。

【0205】

代替的又は追加的には、プロセッサ２８は、ロードマップ経路の一部とスコア画像内の曲線との間の対応を決定するために、勾配降下アルゴリズムを用いる。いくつかの適用については、プロセッサは、正規化関数（ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を含む勾配降下アルゴリズムを用いる。正規化関数の効果は、追加的な管腔外画像内に所与のシーケンスで配置された画素が、ロードマップ経路に沿った各画素に対応すると決定されることであり、対応する画素はロードマップ経路に沿って同じ所与のシーケンスで配置される。

【0206】

再び図１０を参照すると、ステップ１５２においては、ロードマップ経路の一部とスコア画像内の曲線との間の対応に基づいて、プロセッサ２８が、ロードマップ画像内の位置と追加的な管腔外画像内の位置との間のマッピングのための変換関数を決定する。一般的には、ロードマップ画像の取得と追加的な管腔外画像の取得との間に、管腔は（例えば被験者の呼吸周期に起因して、被験者の心周期に起因して、被験者の他の動きに起因して、及び／又は管腔を移動した管腔内のデバイスに起因して）位置及び形状が変化している。一般的に、ステップ１５２においては、追加的な管腔外画像内の位置がロードマップ画像内の対応する位置にマッピングされ得るように、及び／又はその逆となるように、プロセッサが、追加的な管腔外画像に適用されるべき変形（例えば伸張、回転、収縮、釣り合い、ゆがみ等）の推定される度合いを決定する。いくつかの適用については、本明細書に記載された技術は、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載されているような、管腔外画像をロードマップ画像にマッピングするためのアルゴリズムと組み合わせられる。両出願は参照により本明細書に組み込まれる。

【0207】

例えば、マッピングを実施するために、マッピング機能性は、管腔の一般的な形状と管腔に沿った特徴の間の関係とが、管腔の移動の全体を通じて概ね保たれると推測してもよい。所望のインデックスマッピングを見つけるためには、可能な各マッピングについて変形の度合いが定義され、所望のマッピングは、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載されているように、その変形の度合いを最小化することによって得られる。両出願は参照により本明細書に組み込まれる。

【0208】

再び図１０を参照すると、ステップ１５４において、プロセッサ２８は、決定された変換関数に応じて、出力デバイス４０で出力を生成する。

【0209】

いくつかの適用については、プロセッサ２８は、管腔の一部の物理的寸法と、その管腔の一部に対応するロードマップ経路の一部における画素の数との関係（例えば、ロードマップ経路に沿った画素毎の、管腔に沿ったｍｍ単位の長さ）を決定することによって、ロードマップ経路を較正する。なお、管腔の各部分は管腔外撮像デバイスに関してそれぞれの角度で配置されることから、一般的には、管腔の各部分に関連付けられた較正係数は、画像内で変化する。したがって、一般的には、プロセッサは、ロードマップ経路に沿って複数の局部的な較正係数を決定する。いくつかの適用については、決定された変換関数に応じ、プロセッサは、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載されたものと概ね類似の技術を用いて、ロードマップ経路に沿って局部化された較正係数を決定する。両出願は参照により本明細書に組み込まれる。

【0210】

いくつかの適用については、決定された変換関数に基づき、プロセッサは、例えばステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に従って、管腔内における管腔内デバイスの位置を決定する。両出願は参照により本明細書に組み込まれる。例えば、追加的な管腔外画像は、管腔内デバイスが管腔の内部にある間に取得されてもよい。変換関数に基づき、プロセッサは、ロードマップ画像に関して管腔内デバイスの位置を決定してもよく、ロードマップ画像に関して管腔内デバイスの決定された位置を示す出力を生成してもよい。いくつかの適用については、ロードマップ画像に関して管腔内デバイスの決定された位置を示す出力は、プロセッサにより、第２組の画像に属する画像の取得に関して実時間で及び／又はオンラインで生成される。

【0211】

いくつかの適用については、各変換関数は、ロードマップ画像内の位置と第２組の管腔外画像に属する各画像内の位置との間のマッピングのために決定される。マッピングに基づき、ロードマップ画像に関して、第２組の管腔外画像の各管腔外画像における管腔内デバイスの位置が決定される。

【0212】

いくつかの適用については、管腔内デバイスは、管腔内データ取得デバイス（例えば管腔内撮像デバイス、又は複数の機能的管腔内データポイントを取得するように構成された管腔内データ取得デバイス）である。各管腔外画像内の管腔内デバイスの位置に基づき、プロセッサは、ロードマップ画像に関して、１つ以上の管腔内データポイントが管腔内データ取得デバイスにより取得された管腔内の位置を決定する。

【0213】

例えば、管腔内データポイントが取得された管腔内の決定された位置に基づいて、プロセッサは、例えば管腔内撮像スタックを生成することにより、及び／又は管腔内データポイントと管腔内データポイントが取得された管腔内の位置との間の対応の指標を生成することにより、出力を生成してもよい。代替的には、管腔内データポイントが取得された管腔内の決定された位置に基づいて、プロセッサは、上述の技術、及び／又はトルコヴスキーによる米国特許出願公開第２０１２／０００４５３７号明細書、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術を用いて、管腔内データポイントと管腔外撮像とを併用してもよい。これらの出願は参照により本明細書に組み込まれる。

【0214】

いくつかの適用については、第２組の管腔外画像に属する画像に対してマッピングを実施することにより、マッピングが適用される管腔外画像の各々について、管腔内データ取得デバイスが、管腔外データポイント（例えば画像）が取得された時刻に、ロードマップ経路に関してどこに配置されていたのかの推定が決定される。特に、マッピングが適用される管腔外画像の各々については、データ取得デバイスのデータ取得部（例えば管腔内データ取得デバイスヘッド）が、管腔外画像が取得された時刻に、ロードマップ経路上のどこに配置されていたのかの推定が決定される。

【0215】

一般的に、プロセッサ２８は、どの管腔内データポイントが各管腔外画像と同時に取得されたのかを決定する。例えば、単一のコンピュータ（又は時刻同期された２つ以上のコンピュータ）が管腔外撮像及び管腔内データ取得の両方を動作させてもよく、そのコンピュータが管腔外画像及び管腔内データポイントが取得された時刻のログをとってもよい。あるいは、プロセッサは、どの管腔内データポイントが各管腔外画像と同時に取得されたのかを、管腔外画像及び管腔内データポイントが取得される既知のフレームレートに基づいて、決定してもよい。データ取得デバイスのデータ取得部（例えば管腔内データ取得デバイスヘッド）が、管腔外画像が取得された時刻に、ロードマップ画像に関してどこに配置されていたかの推定を決定することによって、プロセッサは、ロードマップ画像に関して、管腔外画像と同時に取得された管腔内データポイントの位置を決定する。

【0216】

いくつかの適用については、プロセッサ２８は、例えば管腔に対する管腔内データ取得デバイスの移動の最中の任意の時刻に（すなわち、たとえ第２組の管腔外画像に属する管腔外画像の取得合間の時刻であっても）ロードマップ画像に関して管腔内データ取得デバイスのデータ取得部の位置を決定するために、ロードマップ画像に関して決定された管腔内データ取得デバイスのデータ取得部の位置に対して補間を行う。いくつかの適用については、補間を実施するために、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術に概ね類似の技術が用いられる。両出願は参照により本明細書に組み込まれる。

【0217】

一般的には、補間は、管腔に関する管腔内データ取得デバイスの移動の全体を通じて管腔内データ取得デバイスの軌道のコストを最適化することにより実施される。コストは、所与の特徴の間（例えばマーカの対の間）の所与の分離を維持すること、管腔内データ取得デバイスの速度、移動の連続性、及びガイドカテーテルのマッピングの品質などのパラメータを含む。もたらされる軌道は平滑化され、結果はロードマップ画像に沿った管腔内データ取得デバイス位置の浮動小数点モデルインデックス（ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｍｏｄｅｌ ｉｎｄｅｘ）である。いくつかの適用については、補間は、ロードマップ画像に沿った管腔内データ取得デバイスのデータ取得部の決定された位置にパラメータ推定技術（ｐａｒａｍｅｔｅｒ ｅｓｔｉｍａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ）を適用することによって実施される。例えば、時間的濾過技術（ｔｅｍｐｏｒａｌ ｆｉｌｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ）、及び／又は外れ値除去技術（ｏｕｔｌｉｅｒ ｒｅｍｏｖａｌ ｔｅｃｈｎｉｑｕｅｓ）が、ロードマップ経路に沿った管腔内データ取得デバイスのデータ取得部の決定された位置に適用されてもよい。

【0218】

いくつかの適用については、補間を実施するために、例えば、上述の技術、及び／又はステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載された技術を用いて、まず、ロードマップ画像の少なくとも一部（例えばロードマップ経路）が較正される。両出願は参照により本明細書に組み込まれる。

【0219】

上述のように、一般的に、管腔内データポイントの一部は、各管腔外画像と同時に取得される。これらの管腔内データポイントについて、プロセッサ２８は、上述のように、各管腔内データポイントに対応する管腔外画像とロードマップ画像との間のマッピングにより、ロードマップ画像に関する管腔内データポイントの位置を決定する。さらに一般的には、管腔の管腔外画像の取得の合間に、管腔内データポイントの第２の部分が取得される。これらの管腔内データポイントについて、プロセッサ２８は、一般的に、補間技術を用いて、ロードマップ画像に関する管腔内データポイントの位置を決定する。

【0220】

いくつかの適用については、プロセッサ２８は、管腔内データポイントの第１の部分とロードマップ画像内の位置との間の対応のみを示す。例えば、ユーザからの（例えばユーザインタフェース３０を介した）入力に応じて、プロセッサは、管腔内データポイントの第１の部分とロードマップ画像内の位置との間の対応のみを示してもよい。代替的又は追加的には、プロセッサは、管腔内画像の第１の部分に属する管腔内画像だけを用いて、管腔内データポイントのスタック（例えば管腔内画像スタック）を生成してもよい。

【0221】

いくつかの適用については、プロセッサは、管腔内データポイントの第１及び第２の部分の両方とロードマップ画像内の位置との間の対応を示し、及び／又は管腔内データポイントの第１及び第２の部分の両方に属する管腔内画像を用いて管腔内データポイントのスタックを生成する。さらに、プロセッサは、例えば、管腔内データポイントのうち第１の部分に属する管腔内データポイントと第２の部分に属する管腔内データポイントとを区別するための配色又は代替的な図形的特徴を用いて、管腔内データポイントのうちいずれが管腔内データポイントの第１の部分に属し、管腔内データポイントのうちいずれが管腔内データポイントの第２の部分に属するのかの指標を生成する。

【0222】

いくつかの適用については、管腔内データポイントの第１の部分と第２の部分とを見分けるための上述の技術は、ステインバーグによる米国特許出願公開第２０１４／００９４６９１号明細書、及び／又はステインバーグによる国際公開第１３／１７５４７２号に記載されているような、管腔外画像とロードマップ画像との間のマッピングのためのマッピング技術と組み合わせて実施される。両出願は参照により本明細書に組み込まれる。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11A】

【図11B】

【図11C】