IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アシスト・メディカル・システムズ,インコーポレイテッドの特許一覧 ▶ バル−チャム,リミティド パートナーシップの特許一覧

特許7104632半自動化画像セグメント化システム及び方法
<>
  • 特許-半自動化画像セグメント化システム及び方法 図1
  • 特許-半自動化画像セグメント化システム及び方法 図2
  • 特許-半自動化画像セグメント化システム及び方法 図3
  • 特許-半自動化画像セグメント化システム及び方法 図4
  • 特許-半自動化画像セグメント化システム及び方法 図5
  • 特許-半自動化画像セグメント化システム及び方法 図6A
  • 特許-半自動化画像セグメント化システム及び方法 図6B
  • 特許-半自動化画像セグメント化システム及び方法 図6C
  • 特許-半自動化画像セグメント化システム及び方法 図6D
  • 特許-半自動化画像セグメント化システム及び方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-12
(45)【発行日】2022-07-21
(54)【発明の名称】半自動化画像セグメント化システム及び方法
(51)【国際特許分類】
   A61B 8/12 20060101AFI20220713BHJP
【FI】
A61B8/12
【請求項の数】 30
(21)【出願番号】P 2018553845
(86)(22)【出願日】2016-12-29
(65)【公表番号】
(43)【公表日】2019-02-14
(86)【国際出願番号】 US2016069205
(87)【国際公開番号】W WO2017117389
(87)【国際公開日】2017-07-06
【審査請求日】2019-12-27
(31)【優先権主張番号】62/273,610
(32)【優先日】2015-12-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】508286762
【氏名又は名称】アシスト・メディカル・システムズ,インコーポレイテッド
(73)【特許権者】
【識別番号】518235860
【氏名又は名称】バル-チャム,リミティド パートナーシップ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100119987
【氏名又は名称】伊坪 公一
(74)【代理人】
【識別番号】100196601
【弁理士】
【氏名又は名称】酒井 祐市
(72)【発明者】
【氏名】マリー-エレーヌ ロイ カーディナル
(72)【発明者】
【氏名】フランソワ デトレンペス
(72)【発明者】
【氏名】ジョーセフ エー.ジャメッロ,ザ サード
(72)【発明者】
【氏名】ガイ クラウティア
(72)【発明者】
【氏名】ケンドール アール.ウォーターズ
(72)【発明者】
【氏名】トーマス シー.ムーア
【審査官】永田 浩司
(56)【参考文献】
【文献】特表2009-504329(JP,A)
【文献】特表2007-512862(JP,A)
【文献】米国特許出願公開第2015/0073279(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00
(57)【特許請求の範囲】
【請求項1】
プログラムを記憶するメモリと前記メモリに接続された少なくとも1つのプロセッサを有し、前記少なくとも1つのプロセッサが前記プログラムを実行して画像をセグメント化する機器の動作方法であって、
前記少なくとも1つのプロセッサが、画像解析アルゴリズムを使用して、画像データの初期化前画像解析を実行して、修正された画像を生成し、ディスプレイ上に前記修正された画像を提示するステップであって、前記画像データが、複数の画像要素を表現する、ステップと、
前記少なくとも1つのプロセッサが、前記初期化前画像解析によって生成された前記修正された画像の初期化を実行するステップであって、前記ディスプレイ上の前記修正された画像上にユーザ入力を受信することを含む、初期化を実行するステップと、
前記少なくとも1つのプロセッサが、前記実行された初期化の前記受信されたユーザ入力を評価するセグメント化アルゴリズムを使用して前記修正された画像をセグメント化し、前記ディスプレイ上にセグメント化された画像を表示するステップと、を含み、
前記修正された画像が、提案された制御輪郭を含み、
前記ディスプレイ上の前記修正された画像上の前記提案された制御輪郭が、前記提案された制御輪郭の第1の部分に沿った第1の視覚的インジケータ、及び前記提案された制御輪郭の第2の部分に沿った第2の視覚的インジケータを含み、前記第1の視覚的インジケータ及び第2の視覚的インジケータが異なり、前記第1の視覚的インジケータ及び第2の視覚的インジケータのうちの1つは、前記提案された制御輪郭の前記それぞれの部分が、前記初期化前画像解析によって判定される情報の閾値レベル未満であることを指定する、方法。
【請求項2】
前記少なくとも1つのプロセッサが、血管内超音波画像化システムを用いて前記複数の画像要素を表現する、前記初期化前画像解析において使用される前記画像データを生成するステップを更に含み、
前記血管内超音波画像化システムは、
エネルギーを放出及び受信し、かつ画像化データを生成するように構成されている画像化モジュールを有する血管内画像化デバイスを含むカテーテルアセンブリであって、前記画像化データが、複数の画像要素を表現する、カテーテルアセンブリと、
画像ディスプレイ領域を含むユーザインターフェースであって、ユーザからの入力を受信するように構成されている、ユーザインターフェースと、
前記血管内画像化デバイス及び前記ユーザインターフェースと通信しており、かつ、
前記少なくとも1つのプロセッサに実装された画像化エンジンと、を備え、
前記画像化エンジンが、
前記生成された画像化データを前記カテーテルアセンブリから受信して、前記少なくとも1つのプロセッサを使用して、画像解析アルゴリズムを使用した前記画像データの初期化前画像解析を実行して、修正された画像を前記画像ディスプレイ領域上に生成することと、
前記画像ディスプレイ領域上の前記修正された画像上の前記ユーザからの入力を受信し、前記少なくとも1つのプロセッサを使用して、前記受信されたユーザ入力を含むように前記修正された画像を初期化することと、
前記修正された画像上の前記ユーザからの前記受信された入力を評価するセグメント化アルゴリズムを使用して、前記修正された画像をセグメント化し、セグメント化された画像を前記画像ディスプレイ領域上に生成することと、を行うように構成されている、請求項1に記載の方法。
【請求項3】
前記血管内超音波画像化システムを用いて前記画像データを生成することが、
エネルギーを放出及び受信するための前記画像化モジュールを有する前記血管内画像化デバイスを含む前記カテーテルアセンブリ、断面画像データを収集することを含む、請求項2に記載の方法。
【請求項4】
前記血管内画像化デバイスが、超音波エネルギーを放出及び受信するように構成されている超音波振動子を備える、請求項3に記載の方法。
【請求項5】
前記画像解析アルゴリズムが、前記画像データの確率密度関数を算出することを含む、請求項1に記載の方法。
【請求項6】
前記画像解析アルゴリズムが、前記画像データの勾配関数を算出することを含む、請求項1に記載の方法。
【請求項7】
前記修正された画像が、前記画像データの前記初期化前画像解析が実行される前に、前記画像データを使用して生成された画像に対してより鮮明である、請求項1に記載の方法。
【請求項8】
前記提案された制御輪郭が、前記提案された制御輪郭の一部に沿って視覚的インジケータを含む、請求項1に記載の方法。
【請求項9】
前記ディスプレイ上の前記修正された画像上の前記ユーザ入力を受信することが、前記ディスプレイ上の前記修正された画像上に提示される、提案された制御輪郭、又はその一部の確認を受信することを含む、請求項1に記載の方法。
【請求項10】
前記ディスプレイ上の前記修正された画像上の前記ユーザ入力を受信することが、前記ディスプレイ上の前記修正された画像上に提示される、提案された制御輪郭、又はその一部の修正を受信することを含む、請求項1に記載の方法。
【請求項11】
前記ディスプレイ上の前記修正された画像上の前記ユーザ入力を受信することが、前記ディスプレイ上の前記修正された画像上に設けられている制御輪郭を受信することを含む、請求項1に記載の方法。
【請求項12】
前記制御輪郭が、前記ディスプレイ上の前記修正された画像上の管腔・内膜インターフェースの位置において、又は該位置の近くに設けられている、請求項11に記載の方法。
【請求項13】
前記制御輪郭が、前記ディスプレイ上の前記修正された画像上の中膜・外膜インターフェースの位置において、又は該位置の近くに設けられている、請求項11に記載の方法。
【請求項14】
前記制御輪郭が、前記ディスプレイ上の長手方向画像上に設けられ、第1の制御点が、前記ディスプレイ上の第1の断面画像上に生成され、前記第1の制御点が、前記第1の断面画像上の前記制御輪郭の位置に対応する、請求項11に記載の方法。
【請求項15】
前記第1の制御点が、前記ディスプレイ上の前記長手方向画像上に生成され、第2の制御点が、前記ディスプレイ上の前記長手方向画像上に生成され、前記第2の制御点が、第2の断面画像上の前記制御輪郭の位置に対応し、前記第1の断面画像及び前記第2の断面画像が、断面画像の所定の間隔によって前記長手方向画像に沿って離間している、請求項14に記載の方法。
【請求項16】
前記ディスプレイ上の前記修正された画像上に前記制御輪郭を設けることが、係合入力及び運動入力を含む運動入力を実行することを含む、請求項11に記載の方法。
【請求項17】
前記係合入力が、マウスのクリックアンドホールドを含み、前記運動入力が、前記マウスのドラッグを含む、請求項16に記載の方法。
【請求項18】
前記係合入力が、タッチスクリーンを接触点と接触させることを含み、前記運動入力が、前記タッチスクリーン上の前記接触点のスワイプを含む、請求項16に記載の方法。
【請求項19】
前記制御輪郭が、前記ディスプレイ上の長手方向画像上に設けられており、前記運動入力が、第1の方向において前記長手方向画像を回転させる前記ディスプレイに沿って、第1の一般的に水平方向の運動を含む、請求項16に記載の方法。
【請求項20】
前記運動入力が、前記第1の方向で更に前記長手方向画像を回転させる前記ディスプレイに沿って、第2の一般的に水平方向の運動を含み、前記第2の一般的に水平方向の運動が、前記第1の一般的に水平方向の運動とは一般的に反対側の前記ディスプレイに沿った方向にある、請求項19に記載の方法。
【請求項21】
前記運動入力が、第2の方向において前記長手方向画像を回転させる前記ディスプレイに沿って、第2の一般的に水平方向の運動を含み、前記第2の方向が、前記第1の方向とは一般的に反対側にあり、前記第2の一般的に水平方向の運動が、前記第1の一般的に水平方向の運動とは一般的に反対側の前記ディスプレイに沿った方向にある、請求項19に記載の方法。
【請求項22】
前記提案された制御輪郭の前記第2の部分に沿った前記第2の視覚的インジケータは、前記提案された制御輪郭の前記第2の部分が情報の閾値レベル未満であることを指定し、前記第2の視覚的インジケータが、前記第1の視覚的インジケータの色とは異なる色及び前記第1の視覚的インジケータの線パターンとは異なる線パターンのうちの1つを含む、請求項1に記載の方法。
【請求項23】
前記初期化前画像解析によって判定される情報の前記閾値レベルが、前記画像データの信号対雑音比を含み、前記第1の視覚的インジケータ及び第2の視覚的インジケータのうちの1つは、前記提案された制御輪郭の前記それぞれの部分が前記画像データの前記閾値レベル信号対雑音比未満であることを指定する、請求項1に記載の方法。
【請求項24】
前記セグメント化アルゴリズムを使用して前記画像をセグメント化することが、管腔・内膜インターフェースを識別することを含む、請求項1に記載の方法。
【請求項25】
前記セグメント化アルゴリズムを使用して前記画像をセグメント化することが、中膜・外膜インターフェースを識別することを含む、請求項1に記載の方法。
【請求項26】
画像化システムであって、
エネルギーを放出及び受信し、かつ画像化データを生成するように構成されている画像化モジュールを有する血管内画像化デバイスを含むカテーテルアセンブリであって、前記画像化データが、複数の画像要素を表現する、カテーテルアセンブリと、
画像ディスプレイ領域を含むユーザインターフェースであって、ユーザからの入力を受信するように構成されている、ユーザインターフェースと、
前記血管内画像化デバイス及び前記ユーザインターフェースと通信しており、かつ少なくとも1つのプロセッサを備える画像化エンジンと、
前記カテーテルアセンブリ内の前記血管内画像化デバイスを並進するように構成されている並進デバイスと、を備え、前記画像化エンジンが、
前記生成された画像化データを前記カテーテルアセンブリから受信して、前記少なくとも1つのプロセッサを使用して、画像解析アルゴリズムを使用した画像データの初期化前画像解析を実行して、修正された画像を前記画像ディスプレイ領域上に生成することと、
前記画像ディスプレイ領域上の前記修正された画像上の前記ユーザからの入力を受信し、前記少なくとも1つのプロセッサを使用して、前記受信されたユーザ入力を含むように前記修正された画像を初期化することと、
前記修正された画像上の前記ユーザからの前記受信された入力を評価するセグメント化アルゴリズムを使用して、前記修正された画像をセグメント化し、セグメント化された画像を前記画像ディスプレイ領域上に生成することと、を行うように構成されている、画像化システム。
【請求項27】
前記画像ディスプレイ領域が、長手方向画像及び断面画像を含む、請求項26に記載のシステム。
【請求項28】
コンピュータ実行可能命令が上に格納されている非一時的コンピュータ可読格納物品であって、少なくとも1つのプログラム可能なプロセッサに、
画像解析アルゴリズムを使用して、画像データの初期化前画像解析を実行して、修正された画像を生成し、ディスプレイ上に前記修正された画像を提示することであって、前記画像データが、複数の画像要素を表現する、初期化前画像解析を実行することと、
前記初期化前画像解析によって生成された前記修正された画像の初期化を実行することであって、前記初期化が、前記ディスプレイ上の前記修正された画像上のユーザ入力を受信することを含む、初期化を実行することと、
前記初期化の前記受信されたユーザ入力を評価するセグメント化アルゴリズムを使用して前記修正された画像をセグメント化し、前記ディスプレイ上にセグメント化された画像を表示することと、を行わせ、
前記修正された画像が、提案された制御輪郭を含み、
前記ディスプレイ上の前記修正された画像上の前記提案された制御輪郭が、前記提案された制御輪郭の第1の部分に沿った第1の視覚的インジケータ、及び前記提案された制御輪郭の第2の部分に沿った第2の視覚的インジケータを含み、前記第1の視覚的インジケータ及び第2の視覚的インジケータが異なり、前記第1の視覚的インジケータ及び第2の視覚的インジケータのうちの1つは、前記提案された制御輪郭の前記それぞれの部分が、前記初期化前画像解析によって判定される情報の閾値レベル未満であることを指定する、非一時的コンピュータ可読格納物品。
【請求項29】
前記画像解析アルゴリズムが、前記画像データの確率密度関数を算出することを含む、請求項28に記載の物品。
【請求項30】
前記ディスプレイ上の前記修正された画像上の前記受信されたユーザ入力が、前記ディスプレイ上の前記修正された画像上に設けられている制御輪郭を含む、請求項28に記載の物品。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、参照によりその内容が本明細書に組み込まれる、2015年12月31日に出願された米国仮出願番号第62/273,610号の利益を主張するものである。
【0002】
本開示は、概して、画像化に関し、より具体的には、画像セグメント化に関する。
【背景技術】
【0003】
医療画像化技術は、概して、データを収集して、解剖学的関心区域の生体内の視覚化を生成するために使用され得る。1つのそのような例は、血管構造及び管腔が画像化され得る血管内画像化である。例えば、血管内画像化は、冠状動脈壁において、又は冠状動脈壁の近くに、冠状動脈管腔、冠状動脈壁形態、及びステントなどのデバイスのうちの1つ以上の画像を作成するために使用され得る。医療画像化技術を使用して生成された画像は、血管の診断上有意な特性を識別するなどの診断目的に有用であり得る。
【0004】
しかしながら、概して、医療画像化の最中に収集される情報は、有意なデータ量を含み得、該データのいくらかは、画像化が実行されている目的に関連しない場合がある。結果的に、画像解釈を単純化して、臨床的に有用なパラメータの測定を自動化するように、収集されたデータ、及び/又は医療画像化の最中に生成された画像を更に解析することは有用であり得る。
【0005】
一例として、画像セグメント化は、画像の主な特徴の解釈及び測定を単純化するために使用され得る。画像セグメント化は、画像又は1組の画像を1つ以上の関心領域に分割するために使用されて、画像における関連情報の識別を容易にし得る。
【発明の概要】
【0006】
本開示は、一般に、画像セグメント化に関する。画像セグメント化は、修正された画像を生成するための画像解析アルゴリズムを使用する画像データの初期化前画像解析を含み得、修正された画像は、ディスプレイ上に提示され得る。初期化は、修正された画像上のユーザ入力を含む修正された画像上で実行され得る。初期化の前に実行されている初期化前画像解析により、初期化は、より少ないユーザの対話を要求する及び/又はより時間がかからない場合がある。修正された画像は、ユーザ入力を評価するセグメント化アルゴリズムを使用して、セグメント化され得る。ユーザ入力を評価する際、セグメント化アルゴリズムにより、ディスプレイ上に提示され得るセグメント化された画像が作成され得る。
【0007】
本開示に記載される例は、既存のシステム及び方法に対する1つ以上の利点を提供し得る。例えば、結果として生じるセグメント化された画像の精度は、改善されて、同時に、時間、及びユーザから要求される対話を最小化し得る。そのような利点は、ユーザインターフェースとの無菌のユーザの対話に制約を設け得る医療分野において特に重要である。
【0008】
実施形態は、そのような改善されたセグメント化、そのような改善されたセグメント化を実行する命令を実行することができるコンピュータ可読媒体、及びそのような改善されたセグメント化を実行する方法を実行するように構成されているデバイス並びにシステムを含む。
【0009】
1つ以上の例の詳細は、以下に添付図面及び説明において述べられる。他の特徴、目的、及び利点は、説明及び図面から、並びに特許請求の範囲から明らかであろう。
【0010】
以下の図面は、本発明の特定の例を例示するもので、したがって本発明の範囲を制限しない。図面は、尺度通りではなく(そのように述べられない限り)、以下の詳細な説明において説明と併せて使用することを意図される。本発明の例は、添付の図面と併せて以下に記載され、同様の数字は同様の要素を意味する。
【図面の簡単な説明】
【0011】
図1】血管内画像化を実行するように構成されているシステムの例示的な例である。
図2】ユーザインターフェースの例示的な例である。
図3】画像をセグメント化する方法を図解するフローチャートである。
図4】血管内画像化デバイスを使用して生成された横断面画像を図解する。
図5】修正された横断面画像を図解する。
図6A】初期化を行った画像の例を図解する。
図6B】初期化の別の実施形態を行った画像の例を図解する。
図6C】初期化の追加の実施形態を行った画像の例を図解する。
図6D】初期化の更なる実施形態を行った画像の例を図解する。
図7】セグメント化された横断面画像の例を図解する。
【発明を実施するための形態】
【0012】
以下の詳細な説明は、本質的に例示的であり、いずれにしても本発明の範囲、利用可能性、又は構成を制限することを意図されない。むしろ、以下の説明は、本発明の例を実装するためのいくつかの実用的な図解を提供する。構成、材料、寸法、製造プロセスの例は、選択された要素に提供され、他の全ての要素は、本発明の分野において当業者に知られているものを利用する。当業者は、顕著な例の多くが、様々な好適な代替物を有することを認識するであろう。
【0013】
本発明の実施形態は、セグメント化された電子画像を表示するのに有用な画像セグメント化動作を含む。そのような画像セグメント化動作が様々な環境及びアプリケーションにおいて有用であり得るが、本開示は、血管内超音波(IVUS)、光コヒーレンス断層撮影法(OCT)、血管内画像を生成するために使用される他の好適な画像化技術を利用する、血管内画像化システムに対するユーザインターフェースの文脈において、そのような画像セグメント化動作を主として指す。医療機器が無菌環境においてユーザインターフェースを多くの場合利用する医療フィールドにおいて、開示されたシステム及び方法は有用であり得る。
【0014】
図1は、血管内画像化を実行するように構成されているシステム100の例を図解する。システム100は、カテーテルアセンブリ102、並進デバイス104、及びコンピューティングデバイス106を含み得る。カテーテルアセンブリ102は、患者112の血管内に挿入されるように構成されている近位端108及び遠位端110を含み得る。1つのアプリケーションでは、カテーテルアセンブリ102は、大腿動脈を介して患者112内に挿入されて、患者112内の関心区域に案内され得る。図1における破線は、患者112内のカテーテルアセンブリ102の部分を表現する。
【0015】
いくつかの例では、カテーテルアセンブリ102は、波形エネルギーを放出及び受信し、かつ画像化データを生成する(例えば、患者112内の関心区域を画像化する)ように構成されている遠位端110内の血管内画像化デバイス114を含み得る。例えば、システム100がIVUSシステムである場合、血管内画像化デバイス114は、超音波エネルギーを放出及び受信し、かつ超音波データを生成するように構成されている超音波振動子を含むIVUS画像化プローブを備え得る。別の例では、システム100はOCTシステムであり得、血管内画像化デバイス114は、光を放出及び受信し、かつOCTデータを生成するように構成されているOCT画像化プローブを備え得る。画像化デバイス114によって生成された画像データは、画像化デバイス114の位置において、患者112内の関心区域の断面を表現し得る。画像データは、例えば、患者112の血管の様々な層、及び/又は血管(例えば、プラーク)内の任意の蓄積された物質などの画像化デバイス114の断面位置において、概して、複数の画像要素を表現するものとする。
【0016】
並進デバイス104は、カテーテルアセンブリ102の血管内画像化デバイス114を並進するように構成され得る。並進デバイス104は、線形並進システム(LTS)116を備え得る。LTS116は、カテーテルアセンブリ102と機械的に係合され、例えば、引き戻し又は押し出し動作などの並進動作の最中に、患者112内で制御された距離にカテーテルアセンブリ102を並進するように構成され得る。いくつかの実施形態では、LTS116は、カテーテルアセンブリ102を並進する、並びにカテーテルアセンブリ102に関して画像化デバイス114を並進するように構成され得る。システム100は、カテーテルアセンブリ102と並進デバイス104をインターフェースするように構成されている患者インターフェースモジュール(PIM)118を備え得る。画像化デバイス114を並進することは、断面画像データが、様々な長手方向位置において収集されることを可能にし得る。様々な長手方向位置におけるこの断面画像データは、次いで、関心区域の長手方向断面画像を生成するようにコンパイルされ得る。
【0017】
コンピューティングデバイス106は、血管内画像化デバイス114及び並進デバイス104と通信している場合がある。いくつかの例に従って、コンピューティングデバイス106は、画像化エンジン及びユーザインターフェースを備え得る。画像化エンジンは、1つ以上のプログラム可能なプロセッサ及び1つ以上のメモリモジュールを含み得る。1つ以上のプログラム及び/又は実行可能な命令は、1つ以上のメモリモジュール上に格納されて、1つ以上のプロセッサによって実行されるように構成され得る。画像化エンジンは、血管内画像化デバイス114から受信される画像化データを処理するように構成され得る。例えば、画像化エンジンは、画像化デバイス114から受信される断面画像データを処理して、長手方向断面画像を生成するように構成され得る。
【0018】
いくつかの例では、画像化エンジンは、動的ユーザインターフェース、画像解析、及び画像セグメント化を作成する、画像化のための1つ以上のモジュールを含むがこれに限定されない、1つ以上のプログラミングモジュールを備え得る。画像化するためのモジュールは、画像化データを受信し、かつ画像化データに基づいて電子画像を生成するように適合され得る。画像解析モジュールは、画像解析アルゴリズムを使用して画像化モジュールによって受信される画像化データに基づいて、画像化データ及び電子画像の解析を実行するように適合され得る。ユーザインターフェースモジュールは、ユーザから(例えば、マウス又はタッチスクリーンから)の入力を受信し、かつユーザに電子画像を表示するように適合され得る。いくつかの例では、インターフェースモジュールは、ユーザからの運動入力を検出するように適合され得る。そのような例では、画像セグメント化モジュールは、ユーザインターフェースモジュールからのユーザ入力を受信して、インターフェースモジュールに、ユーザ入力を評価するセグメント化アルゴリズムに従って電子画像を表示させるように適合され得る。異なる例は、特定の目的に好適なように、他のプログラミングモジュールを含み得る。
【0019】
いくつかの例では、コンピューティングデバイス106は、システムユーザ120からの入力を受信して、及び/又はカテーテルアセンブリ102から獲得されるデータを表示するように構成されているユーザインターフェースを含み得る。いくつかの例では、ユーザインターフェースは、画像化エンジン(例えば、画像化エンジンのユーザインターフェースモジュール)と通信しており、画像化エンジンによって描画される画像を表示するように構成され得る。ユーザインターフェースは、特定のアプリケーションに好適な任意の入力/出力デバイスを備え得る。例えば、ユーザインターフェースは、ユーザ120が、例えば、指先、スタイラス、又は他接触点を使用してディスプレイと対話することを可能にするように構成されているタッチスクリーンを備え得る。タッチスクリーンは、例えば、抵抗膜式タッチスクリーン、表面弾性波タッチスクリーン、又は静電容量式タッチスクリーンを含む任意型であり得る。いくつかの例では、ユーザインターフェースは、コンピュータ周辺機器(例えば、マウス及びキーボード)、ソフトウェア(例えば、音声認識)、又はユーザ120からの入力を受信する任意の他の好適なデバイス若しくはプログラムを備え得る。
【0020】
図2は、図1に関して示され、記載されるようにシステム100において使用され得るユーザインターフェース200の例を示す。ユーザインターフェース200は、メニュー205、並びに第1のディスプレイ領域210及び第2のディスプレイ領域215を含む画像ディスプレイ領域208を備え得る。メニュー205は、ユーザからの入力を受信するように構成され得、ユーザインターフェース200若しくはユーザインターフェース200と通信している画像化エンジンによって実行可能である特定の関数又はタスクと関連付けられた選択可能なグラフィックアイコン220を含み得る。上記したように、ユーザインターフェース200は、画像化デバイスから受信されるユーザ画像化データに表示するように構成され得る。ユーザインターフェース200によって表示される画像化データは、実質的にリアルタイムであるか、又は1つ以上のメモリモジュールにおいて格納され得る。画像ディスプレイ領域208の第1及び第2のディスプレイ領域210及び215は、例えば、血管内画像などの画像を含む画像化データを表示するように構成され得る。
【0021】
ユーザインターフェース200の1つのアプリケーションでは、第2のディスプレイ領域215は、患者の血管235の横断面図230を備える電子画像225を表示し得る一方で、第1のディスプレイ領域210は、血管235の長手方向断面図260を表示し得る。電子画像225は、画像化エンジンによって描画され得、画像化データは、血管内画像化デバイスによって生成される。この例では、電子画像225は、血管235の血管管腔245内にカテーテルマスク240の焦点を含む。ディスプレイ領域208は、ヘルスケア専門家が、血管235の診断上有意な特性(例えば、閉塞、病変、ステントの位置)を識別するのを補助するために使用され得る。例えば、電子画像225は、血管壁255上のアテローム硬化プラーク250を示し得る。第1のディスプレイ領域210によって表示される血管235の長手方向断面図260は、血管235内の画像化エンジンを並進して、長手方向断面図260を生成するように(例えば、画像化エンジンによって)コンパイルされ得る複数の横断図断面画像を生成することによって、生成され得る。このように、ユーザインターフェース200は、画像ディスプレイ領域208上に、1つ以上の横断面図230及び1つ以上の長手方向断面図260の両方を同時に表示し得る。
【0022】
ユーザインターフェース200は、ユーザからの入力を受信するように構成され得る。例えば、画像ディスプレイ領域208の第1及び第2のディスプレイ領域210及び215一方又は両方は、ユーザからの入力を受信するように構成され得る。第1のディスプレイ領域210が長手方向断面図260を表示するように構成される場合、第1のディスプレイ領域210において受信されるユーザ入力は、例えば、長手方向断面図260上の血管235内の位置を示すユーザ入力を含み得る。次いで、第1のディスプレイ領域210においてそのようなユーザ入力を受信する際、ユーザインターフェース200は、血管235内の選択位置を表現する長手方向断面図260上のユーザ入力に対応する血管235の横断面図230を表示し得る。これは、ユーザが、長手方向断面図260を使用して患者の血管235を検査して、血管235のより詳細な横方向断面図230に迅速にアクセスすることができるので、診断上の利点を提供し得る。
【0023】
画像ディスプレイ領域208(例えば、第1及び第2のディスプレイ領域210及び215の一方又は両方)によって受信されるユーザ入力は、血管235内の2つの層及び/又は1つの層と材料の蓄積との間のインターフェースの位置を示すユーザ入力を追加的に含み得る。血管235内の2つの層及び/又は1つの層と材料の蓄積との間のインターフェースの位置を示すユーザ入力は、画像ディスプレイ領域208上の制御輪郭及び/又制御点のユーザによる配置を含み得る。1つのアプリケーションでは、画像230又は260のうちの一方の上の血管235内の2つの層及び/又は1つの層と材料の蓄積との間のインターフェースの位置に関するユーザ入力を受信する際に、ユーザインターフェース200は、断面230又は260のうちの他方の上の2つの層及び/又は1つの層と材料の蓄積との間のインターフェースのユーザ入力された位置を表示し得る。例えば、そのようなアプリケーションにおいて、ユーザは、長手方向断面図260上の血管235の2つの層間のインターフェースの一部に沿って制御輪郭を設け得る。その結果、ユーザインターフェース200は、特定の横方向断面図230上に制御輪郭の位置に対応する制御点を表示し得る。長手方向断面図260を覆う設けられた制御輪郭のユーザインターフェース200、及び横方向断面図230を覆う対応する制御点によってもたらされるこのリアルタイム視覚化は、血管235内の所望の関心領域を正確に識別するのを援助する。
【0024】
ユーザインターフェース200は、ユーザからの運動入力(例えば、運動入力を含むか、運動入力から成るか、運動入力から本質的に成る)に基づいてユーザ入力を受信するように構成され得る。運動入力は、ドラッグ運動(例えば、係脱点への単一のドラッグ運動)などの運動入力が続く係合入力を含み得る。係脱入力が検出されるまで、運動入力は継続し得る。一例では、ユーザインターフェース200が、タッチスクリーンを使用してユーザ入力を受信するように構成されている場合、係合入力、運動入力、及び係脱入力は、指先、スタイラス、又は他の接触点でタッチスクリーンに触れることと、タッチスクリーンの表面に沿って指先、スタイラス、又は他の接触点をドラッグすることと、タッチスクリーンの表面からそれぞれ指先、スタイラス、又は他の接触点を取り除くことと、を含み得る。別の例では、ユーザインターフェース200が、マウスを使用して入力を受信するように構成されている場合、係合入力は、マウスボタンを押すことを含み得、運動入力は、マウスボタンが押される一方でマウスをドラッグすることを含み得、係脱入力は、マウスボタンを解放することを含み得る。ユーザインターフェース200が、ユーザからの運動入力に基づいてユーザ入力を受信するように構成されている場合、ユーザによる制御輪郭及び/又は制御点の配置は、運動入力を使用して達成され得る。
【0025】
図3は、画像をセグメント化する方法300を図解するフローチャートである。方法300は、本説明の残りを通して、かつ図4~7の説明と併せて考察される。方法300は、画像セグメント化の半自動化プロセスのためのステップを提供する(そのプロセスの一部として自動化ステップ及びユーザ入力ステップを含むため)。
【0026】
図3の実施形態では、方法300は、最初にステップ310において画像データを生成することを含む。画像データは、いくつかの実施形態では、波形エネルギーを放出及び受信して、受信された波形エネルギーに基づいて画像データを生成するための血管内画像化デバイスを有する血管内画像化システムを使用して生成され得る。いくつかの実施形態では、画像データは、血管の縦軸に沿って、血管の一連の断面を表現し得る。例えば、1つのアプリケーションでは、各断面は、特定の位置において冠状動脈のリアルタイム構造を表現し得る。しかしながら、多くの実例では、ステップ310において生成された画像データは、ユーザが生の形態において解析することが困難であり得る血管の断面画像をもたらし得る。そのような場合、ステップ310において生成された画像データは、ユーザへの診断値を増加させるために更に処理される必要があり得る。
【0027】
図4は、ユーザが解析することが困難であり得る、血管内画像化デバイスを使用して生成された患者の血管の横断図断面画像400の一例を示す。ステップ310において生成された画像データは、アプリケーションに従って様々な要因に影響を受け得る。いくつかのアプリケーションでは、そのような要因は、例えば、電気雑音、熱雑音、血管と血管内の画像化デバイスと間の相対運動、及び/又はスペックルを含み得る。これらの要因は、アーティファクトを包含する及び/又はぼやけて見える画像をもたらし得る。見られ得るように、図4において生成された画像データは、ユーザが血管内の異なる構造または関心領域を見分けることを困難にする画像400をもたらす。例えば、画像400の領域410(破線を用いてこの数字において指示される)において、血管の2つの層間のインターフェースは、どこに位置決めされ及び/又は材料の蓄積がどこで終わり、血管層がどこで始まるかが、ユーザにとって不明である場合がある。これは、例えば、1つの関心領域がどこで終わり、別の関心領域がどこで始まるのかを識別することができることなく、血管の管腔内のプラークの蓄積などの血管内の材料の任意の蓄積が、識別されない場合があるので、様々なアプリケーションにおいて有意であり得る。これは、特に指示された領域410において画像400を使用して関心のパラメータを測定することを試みるとき、エラーをもたらし得る。
【0028】
示されるように、方法300は、ステップ320において初期化前画像解析を実行することを含み得る。初期化前画像解析は、画像解析アルゴリズムにおいてステップ310において生成された断面画像データを処理することによって実行されて、修正された画像を生成し得る。初期化前画像解析は、ステップ310において生成された各断面画像上で実行され得るか、又は他の例では、初期化前画像解析は、断面画像の所定の間隔に対応する画像データ(例えば、100番目の断面画像ごとの画像データ)上で実行され得る。このステップは、ユーザの任意の関与なしで、自動的に作動し得る。ステップ320の初期化前画像解析は、ステップ310において生成された画像データを更に明確にする機能を果たし得(そうでなければ、アーティファクトを包含する及び/又はぼやけて見え得)、これによって、ステップ320において初期化前画像解析を使用して生成された修正された画像は、ステップ310において生成された画像データに対して血管内の関心領域を更に画定する。
【0029】
画像解析アルゴリズムは、解析画像データを解析して、修正された画像を生成するための任意の有用な解析を利用し得る。いくつかの例では、ステップ320において使用される画像解析アルゴリズムは、確率関数を算出し得る。1つの例では、画像解析アルゴリズムは、ステップ310において生成された画像データの確率密度関数を算出することを含み得る。画像化デバイスが超音波振動子を含むアプリケーションにおいて、レイリー確率密度関数の混合は、組織の複数の層を含む血管を表現する全断面画像において超音波スペックルパターンのカラーマップ分布(例えば、グレイレベルカラーマップ分布)をモデル化するためのBモード(輝度変調)画像化において使用され得る。いくつかの場合では、レイリー確率密度関数の混合が存在し得、その各々は、管腔、内膜のプラーク構造、中膜、周囲の組織を含む外膜などの特定の構造に対応する。
【0030】
同様に、そのようなアプリケーションにおいて、ガウス確率密度関数の混合は、RFモード(高周波)画像化において使用されて、組織の複数の層を含む血管を表現する全断面画像において超音波スペックルパターンのカラーマップ分布をモデル化し得る。再度、いくつかの場合では、これらは、ガウス確率密度関数の混合であり得、各々が特定の構造に対応する。これは、ステップ310において生成された他の断面画像に関して(例えば、断面画像の所定の間隔において)、繰り返され得る。別の例としては、ステップ320において使用される画像解析アルゴリズムが、ステップ310において生成された画像データの確率密度関数を算出する場合、ガンマ分布の混合を使用する確率密度関数モデルが挙げられる。ガンマ分布の混合は、組織の複数の層を含む血管を表現する全断面画像において超音波スペックルパターンのカラーマップ分布(例えば、グレイレベルカラーマップ分布)をモデル化するためのBモード画像化において使用され得る。いくつかの場合では、ガンマ確率密度関数の混合が存在し得、その各々は、管腔、内膜のプラーク構造、中膜、周囲の組織を含む外膜などの特定の構造に対応する。ここで提供される説明は例示的であり、更なる例としては、ライス分布などの様々な他の分布の使用が挙げられる。
【0031】
画像解析アルゴリズムにおいて確率密度関数を算出することは、確率密度関数混合パラメータを評価するなど、確率密度関数の省略した又は非表示にされた混合パラメータを評価するように、任意の不完全なデータに関する最大推定値の反復計算技法(例えば、期待値最大化アルゴリズム)を更に含み得る。そのような反復計算技法は、全断面画像のピクセルのサブセットに適用され得る。
【0032】
理解されるように、他の推定されたグレイレベル確率密度関数は、修正された画像を生成するために使用され得る。例えば、グレイレベル振幅に関する非パラメトリック確率密度関数モデルが採用され得る。いくつかのアプリケーションでは、そのような非パラメトリック確率密度関数モデルは、組織の所望の領域(例えば、ガイドワイヤー及び管腔を表現する1つの領域、内膜を表現する第2の領域、中膜を表現する第3の領域、及び周囲の組織を表現する第4の領域)に関して採用され得る。
【0033】
別の例では、ステップ320において使用される画像解析アルゴリズムは、画像データの勾配関数を算出することによって断面画像データの分布カラーマップを推定することを含み得る。画像データの勾配関数を算出することは、断面画像のグレイレベル勾配を算出して、画像データの高勾配領域及び低勾配領域を見分けることを伴い得る。画像解析アルゴリズムにおいて画像データの勾配関数を算出することは、修正された画像が、画像化された血管の更なる画定された構造を表示するように生成されることを可能にし得る。これは、ステップ310において生成された他の断面画像に関して、繰り返され得る。理解されるように、様々な他の画像解析技法は、修正された画像を生成するためにステップ320において使用され得る。
【0034】
修正された画像は、ステップ320において初期化前画像解析を実行することによって生成された後、例えば、ユーザインターフェース上に提示され得る。修正された画像は、初期化前画像解析が実行された断面画像、並びに初期化前画像解析が実行されたコンパイルされた断面画像から少なくとも部分的に成る1つ以上の長手方向断面画像を含み得る。
【0035】
図5は、修正された横断面画像500の例示的な例を示す。修正された横断面画像500は、ステップ320の初期化前画像解析を行った後の図4の横断面画像400である。見られ得るように、修正された断面画像500は、画像データを使用して生成された断面画像400と比較して変更される。1つの例では、修正された断面画像500は、画像データを使用して生成された画像に対して明確にされることによって変更され得る。修正された画像500は、例えば、隣接領域とのより大きな対比を図解するという点で、明確にされ得る。例えば、領域510は、図4の領域410に対応するが、図5に見られるように、領域510は、隣接領域の間のより大きな対比を含み、このように、ユーザが解析するのがより容易であり得る。したがって、初期化前画像解析ステップ320を実行することによって、結果として生じる修正された画像500は、ユーザが、血管の層及び/又は血管内の材料の蓄積の間のインターフェースなど、画像化されている血管の特性並びに/又は領域を適時に見分けることを可能にし得る。
【0036】
加えて、修正された画像500は、いくつかの実施形態では、1つ以上の関心領域(後の図に示される)を表現する長手方向及び/若しくは断面画像上に設けられている1つ以上の提案された制御輪郭並びに/又は制御点を含むことによって、画像データを使用して生成された画像に対して変更され得る。修正された画像500が1つ以上の提案された制御輪郭及び/又は制御点を含むそのような例では、提案された1つ以上の制御輪郭は、制御輪郭の一部に沿って1つ以上の視覚的インジケータを含み得る。
【0037】
ステップ320において初期化前画像解析を実行することによって修正された画像を生成した後に、修正された画像の初期化は、ステップ330において実行され得る。図6A~6Dは、初期化されている修正された画像の例を図解する。画像600は、ステップ320の初期化前画像解析を行って、初期化されている(ユーザ入力を受信することによってなど)修正された画像である。ステップ330の初期化を実行する前にステップ320の初期化前画像解析を実行することによって、ユーザが修正された画像を初期化するために要求される時間は、例えば、ステップ320の初期化前画像解析によって提供され得る増強された明瞭性を考慮に入れると、最小化され得る。
【0038】
ステップ330の初期化は、様々な例示的な実施形態では、関心領域における制御輪郭及び/若しくは制御点の形態で、ユーザ入力を受信することと、ステップ320の初期化前画像解析の結果として修正された画像600上に提示される、提案された制御輪郭(若しくはその一部)及び/若しくは制御点の確認の形態で、ユーザ入力を受信することと、並びに/又はステップ320の初期化前画像解析の結果として修正された画像600上に提示される、提案された制御輪郭(若しくはその一部)及び/若しくは制御点の修正の形態で、ユーザ入力を受信することと、を含み得る。
【0039】
ステップ320の初期化前画像解析が更なる画定された画像600を提供する実施形態では、ユーザは、より少ない対話で1つ以上の関心領域において1つ以上の制御輪郭及び/又は制御点をより正確に設けることによって、特定のアプリケーションに関する所望の関心領域をより容易に認識し、かつ画像を初期化し得る。追加的に、ステップ320の初期化前画像解析が、修正された画像を生成して、1つ以上の提案された制御輪郭及び/又は制御点を含む実施形態において、修正された画像の初期化は、1つ以上の提案された制御輪郭及び/又は制御点の位置に関して、ユーザからの確認を受信することを含み得る。その上、1つ以上の提案された制御輪郭及び/又は制御点が所望の関心領域において正確に設けられていないアプリケーションにおいてさえ、修正された画像の初期化は、1つ以上の制御輪郭及び/又は制御点の修正をユーザから受信して、所望の関心領域において1つ以上の制御輪郭及び/又は制御点をより正確に位置決めすることを含み得る。そのようなアプリケーションは、必要に応じてユーザの専門知識を活用することによって精度を改善する一方で、適時な初期化を可能にし得る。
【0040】
1つのアプリケーションでは、修正された画像600は、ユーザインターフェース上に提示され得る。修正された画像600は、血管615の1つ以上の横断面画像605及び1つ以上の長手方向断面画像610の両方を含み得る。断面画像605は、血管615における特定の位置において取られた断面を表現する一方で、長手方向断面画像610は、血管615の縦軸に沿って取られた断面を表現する。長手方向断面画像610は、初期化前画像解析を行った一連の個々の断面画像605を使用して構築され得る。
【0041】
血管615は、例えば、冠状動脈などの患者の任意の内部血管であり得る。血管615が冠状動脈である実例では、血管615は、血が満たされた管腔620、及び組織構造625を含み得る。組織構造625は、内側から外側まで、内膜層、中膜層、及び外膜層を含む3層の壁を備え得る。いくつかの場合では、プラーク630は、組織構造625の内膜層において蓄積し得る。血管615はまた、ステップ310に関して記載されるように、画像データを生成するために管腔620内に存在するカテーテルアセンブリ635を含み得る。
【0042】
ステップ330では、初期化は、例えば、ユーザインターフェース上に提示されるなど、画像600上で実行され得る。初期化は、例えば、ユーザインターフェース上など、画像600上にユーザ入力を受信することを含み得る。一実施形態では、画像600上に受信されたユーザ入力は、画像600上に制御輪郭640を設けることを含み得る。制御輪郭640は、特定のアプリケーションに好適な血管615の任意の関心領域に沿って、又は該関心領域の近くに設けられ得る。図6の例示的な例に示されるように、制御輪郭640は、長手方向断面画像610上に、プラーク630と管腔620とのインターフェースに沿って、又は該インターフェースの近くに設けられ得る。この初期化は、次いで、関心の領域(複数可)に画像600をセグメント化するためのセグメント化アルゴリズムの入力として、以下に更に詳細に記載されるように、使用され得る。
【0043】
ユーザが、長手方向断面画像610上の関心領域に沿って、又は該関心領域の近くに制御輪郭640を入力するとき、制御点645が、長手方向画像610上の設けられた制御輪郭640の位置に対応する断面画像605上の位置において生成されるように、ユーザインターフェース及び画像化エンジンは構成され得る。この特定の断面画像605は、ユーザインターフェース上の長手方向画像610の表示と同時で表示され得る。同時に表示された画像605は、特定の画像605上の(画像610上に設けられた)制御輪郭640の位置を表現する制御点645を表示するように構成され得る。長手方向断面画像610を覆う設けられた制御輪郭640及び断面画像605を覆う対応する制御点645のユーザインターフェースによってもたらされたこのリアルタイム視覚化は、所望の関心領域を正確に初期化することを援助する。例えば、ユーザは、特定の画像605上の制御点645が所望の関心領域において位置付けられていないことに気づくならば、画像605に対応する画像610上の位置において画像610上の制御輪郭640を調節して、所望の関心領域において制御点645をより正確に整合し得る。この精度検証は、任意の数の特定の画像605に関して行われ得、その数は、初期化前画像解析において解析された画像データ情報のレベルに応じて変動し得る。
【0044】
制御輪郭640は、単一の運動入力などの運動入力を実行することによって、ユーザによって、長手方向断面画像610上などの画像600上に設けられ得る。単一の運動入力は、運動入力が続く単一の係合入力を含み得る。係脱入力が検出されるまで、単一の運動入力は継続し得る。
【0045】
図6Aの例では、ユーザインターフェースは、マウスを介してユーザ入力を受信するように構成され得る。マウスがユーザ入力を受信するために使用される場合、係合入力は、マウスボタンを押して押さえることを含み得、運動入力は、マウスボタンが押される一方で、画像610上の関心領域に沿って又は該関心領域の近くでマウスをドラッグすることを含み得、係脱入力は、所望の関心領域の端部に達する際にマウスボタンを解放することを含み得る。いくつかの実施形態では、ユーザが係脱入力を実行する前に、制御輪郭640、及びこのように対応する制御点645は、マウスボタンを押さえている間(例えば、ユーザは、特定の画像605上の制御点645が所望の関心領域において正確に設けられていないことに気がつくときなど)、ユーザによって調節され得る。
【0046】
図6Bに示される例では、ユーザインターフェースが、ユーザインターフェース上に直接、接触点650を介してユーザからの運動入力を受信するように構成されるように、ユーザインターフェースは、タッチスクリーンを備え得る。図6Bに示されるような接触点650は、指先であるが、他の例では、接触点650は、スタイラス又は他の接触点であり得る。
【0047】
図6Bの例では、ユーザインターフェースがタッチスクリーンを使用してユーザ入力を受信するように構成され得る場合、運動入力の655の係合入力は、関心領域において又は該関心領域の近くで、接触点650でタッチスクリーンに触れて、初期化される(例えば、プラーク630のインターフェース及び管腔620の内部)ことを含み得る。ユーザが655において係合入力を実行する際に、660における運動入力は、実行され得、該運動入力は、タッチスクリーンの表面に沿って接触点650のスワイプを備える一方で、接触点650は、タッチスクリーン上に係合されている。660における運動入力は、所望の関心領域において、長手方向断面画像610上などのユーザインターフェース上に制御輪郭640を設け得る。ユーザインターフェースは、いくつかの実施形態では、接触点650がユーザインターフェースと係合する間いつでも制御輪郭の位置が調節され得るように、構成され得る。
【0048】
図6Bに示されるように、660におけるスワイプは、第1の点において開始して、第1の点から離間した第2の点までの距離にわたって続く。いくつかの実施形態では、画像化エンジンが、スワイプの位置における又は該位置の近くの正確な関心領域において制御輪郭640をより正確に設けるように構成されるように、660におけるスワイプは、左から右に又は右から左に一般的に水平であるタッチスクリーン上の方向にあり得る。換言すれば、たとえいくつかのアプリケーションにおける関心領域が左から右に必ずしも水平ではなく、いくつかの垂直変形を有し得ても、ユーザインターフェースは、一般的に水平のスワイプを受信し、スワイプの位置に対してその領域の任意の垂直及び/又は水平変位を含む関心領域に沿って制御輪郭を設けるように構成され得る。例えば、1つの事例において、660におけるスワイプは、長手方向断面画像がタッチスクリーン(示されるように)上に垂直に配向されている一般的に垂直方向にあり得る。別の実施形態では、660におけるスワイプは、例えば、タッチスクリーンの下部に位置決めされた点からタッチスクリーンの上部に位置決めされた点まで(又は逆もまた同じ)、一般的に垂直であるタッチスクリーン上の方向にあり得る。例えば、1つの事例において、660におけるスワイプは、長手方向の断面画像がタッチスクリーン上に垂直に配向されている一般的に垂直方向にあり得る。初期化の最中のユーザの一般的な運動入力の位置は、既に実行された初期化前画像解析に基づいて関心領域において制御輪郭を設けるために使用され得る。ユーザは、関心領域の近くの一般的に水平の(又は垂直の)スワイプが、制御輪郭が所望の関心領域とは異なる位置において位置付けられることをもたらすと認識するならば、係合運動を入力することを継続し、別の一般的に水平の(又は垂直の)スワイプを実行して、ユーザインターフェースに制御輪郭を再配置させ得る。他の実施形態では、スワイプは、水平方向及び垂直方向の両方において係合入力位置から関心領域に続く方向にあり得る。例えば、660におけるスワイプは、制御輪郭640が設けられている関心領域に一致するのに必要である場合、垂直変形運動に関するタッチスクリーンに沿った一般的に水平方向にあり得る。
【0049】
単一の運動入力の665の係脱入力は、タッチスクリーンの表面から接触点650を取り除くことを含み得、接触点650を使用してスワイプされた位置において制御輪郭640を設けることをもたらし得る。
【0050】
図6Bにも示されるように、いくつかのアプリケーションでは、ユーザインターフェースは、制御輪郭640に沿って複数の制御点645を生成するように構成され得る。1つの例では、制御点645は、初期化前画像解析によって判定されるような情報の閾値レベル未満の情報から生成された断面画像605に対応する画像610上の位置において、長手方向断面画像610に沿ってユーザインターフェース上に生成され得る。これは、設けられた制御輪郭640の位置が、(ユーザ検証を必要とする可能性が非常に高い位置が識別されるので、)任意の数の適切な断面画像605において効率的に調べられることを可能にする。したがって、長手方向断面画像610を覆う設けられた制御輪郭640及び断面画像605を覆う対応する複数の制御点645のリアルタイム視覚化は、所望の関心領域を正確に初期化することを援助する。ユーザは、特定の断面画像605上の制御点645が関心領域に正確に位置決めされないことに気がつくならば、制御点645が不正確である特定の断面画像605に対応する長手方向画像610上の区域において、別のスワイプを実行し得る。これは、所望の関心領域のいずれか又は全てにおいて制御点645の正確な配置を容易にする。
【0051】
様々な実施形態では、修正された画像の初期化は、複数の制御輪郭640及び対応する制御点645を含み得る。1つの実例では、2つの制御輪郭640は、関心領域のそれぞれの側に配置されるように互いから長手方向画像上に垂直に離間している修正された画像上に、生成され得る。このように、関心領域が位置決めされる区域は、セグメント化アルゴリズムが関心領域に対する取り囲まれた領域を評価することを可能にする2つの制御輪郭640によって取り囲まれ得る。同じ長手方向画像上の他の関心領域のそのような取り囲みはまた、組み込まれ得る。上に記載されたことに類似して、断面画像上のそれぞれの制御輪郭640の位置に対応する制御点645は、取り囲まれた関心領域の精度を解析するために調べられ得る。
【0052】
いくつかのアプリケーションでは、長手方向画像に関して取られた2つ以上の切断面において長手方向画像上の制御輪郭を初期化することは、有用であり得る。いくつかの実例では、第1の切断面の長手方向画像は、雑音又はアーティファクトに不均衡に影響を受け得、そのような干渉の効果は、第2の異なる切断面に関する長手方向画像を生成することによって、実質的に低減され得る。
【0053】
図6Cは、横断面画像677に対して示される第1の切断面676に関して取られた長手方向断面画像675Aの実施形態を示す。図6Cにおける画像は、初期化前ステップの後に提示されて、初期化ステップの用意ができている。横断面画像677は、画像675上のユーザの手678の位置において、長手方向断面画像675に対応する。以前に記載されたことに類似して、1つ以上の制御輪郭は、画像675A上の1つ以上の関心領域(例えば、管腔・内膜インターフェース)において初期化され得る。第1の切断面676に関して取られた長手方向画像675Aは、第2の異なる切断面679を表示するように回転されて、長手方向断面画像675Bが第2の異なる切断面679に関して表示されていることをもたらし得る。いくつかの例では、追加又は代替の1つ以上の制御輪郭は、画像675Aのものに対して同じ1つ以上の関心領域において初期化され得る。
【0054】
図6Bに関して記載されるように、ユーザインターフェースがタッチスクリーンを使用してユーザ入力を受信するように構成されている場合などのいくつかの実施形態では、ユーザインターフェースは、図6Cに示されるもののように、スワイプ運動入力を受信して、長手方向断面画像に存在する切断面に回転させるように構成され得る。例えば、1つのアプリケーションでは、ユーザがスワイプ運動入力を行う(例えば、図6Cに示されるように、ユーザインターフェースに沿って左から右に水平に、又はユーザインターフェースに沿って上から下に垂直に)とき、切断面が所定の角度を通して回転するように、長手方向断面画像の切断面の回転率は選択され得る。図6Cの例では、切断面は、第1の切断面676から第2の切断面679まで測定されるように、90°の所定の角度を通して回転する。次いで、ユーザは、一般的に反対方向においてスワイプ運動入力を行い得(例えば、ユーザインターフェースに沿って右から左に水平に、又はユーザインターフェースに沿って下から上に垂直に)、それにより、長手方向断面画像の切断面に、同じ回転方向において、例えば90°などの追加の所定の角度を回転させる。係脱運動がユーザから受信されず、かつスワイプの任意の所与の部分において、長手方向画像の切断面が異なる角度位置にあり得るように、両方のスワイプは連続であり得る。このように、この例では、一般的に反対方向における2つの水平方向のスワイプジェスチャーの組み合わせは、長手方向断面画像の切断面に、合計180°を通して連続的に回転させ得る。別の例では、反対方向における第2の水平線スワイプは、長手方向画像の切断面に、第1の水平線スワイプによってもたらされる回転方向の反対方向において回転させ得る(例えば、第1のスワイプの最中に90°、及び第2のスワイプの最中に原点に向かって90°)。
【0055】
任意の所望の角度範囲を回転し得る長手方向断面画像を生成する能力は、初期化動作に有害に影響を及ぼし得る画像アーティファクトの存在を低減し得る。そのような画像アーティファクトは、例えば、正確に制御輪郭及び制御点を識別する能力を制限し得る。例えば、ある特定のアプリケーションでは、ユーザインターフェース上に最初に表示された長手方向画像の特定の切断面が、画像化ガイドワイヤー及び/又はカルシウム若しくは他の物質の蓄積に有害に影響を受け得る。このように、縦方向の断面画像を回転させることは、そのようなアーティファクトが画像に実質的に影響を及ぼさない角度において、長手方向断面画像を表示することをもたらし得る。追加的に、これは、ユーザが、初期化を実行する(別々の切断面に制限されず、したがって初期化精度を増加させ得る、関心領域において、若しくは該関心領域の近くに制御輪郭及び/又は制御点(例えば、最少の干渉を有する切断面の関心領域、若しくは該関心領域の近くの、制御輪郭及び/又は制御点)を設けるなど)ことを可能にし得る。さらにその上、ユーザによる1つ以上の連続する相対的迅速なスワイプにのみ基づいて長手方向画像の切断面を回転させるようにユーザインターフェースを構成することは、初期化に必要とされる時間を有意に最小化し得る。
【0056】
図6Dは、初期化前ステップの後に提示されたもので、初期化ステップの用意ができている修正された画像700の別の実施形態の例を図解する。画像700は、初期化前ステップ320の結果として関心領域に沿って設けられている制御輪郭710を含む(例えば、制御輪郭710は、ユーザ入力なしで初期化前ステップ320の結果として画像700上に自動的に表示される)。初期化前ステップ320は、所望の関心領域(血管内の2つの層及び/又は1つの層と材料の蓄積との間のインターフェースの位置)を推定することによって、画像700上に制御輪郭710を自動的に設け得る。
【0057】
いくつかの例では、1つ以上の制御輪郭は、所望の関心領域に対応する(例えば、管腔、内膜のプラーク構造、中膜、周囲の組織を含む外膜などの特定の構造に対応する)確率関数などの初期化前ステップ320に関して以前に記載された確率関数のうちのいずれかを使用して、推定された所望の関心領域において、自動的に設けられ得る。他の例では、1つ以上の確率密度関数の使用に加えて、又はその代替として、フィルタ処理又はテクスチャ解析(例えば、勾配フィルタ、ガボールフィルタ、及び/又はガンマラベルマップ)を使用して、1つ以上の制御輪郭を自動的に設け得る。
【0058】
したがって、1つ以上の制御輪郭が、1つ以上の関心領域において画像上に自動的に設けられるとき、初期化ステップ330は、例えば、自動的に設けられた制御輪郭のユーザ確認、又は自動的に設けられた制御輪郭の1つ以上の部分のユーザ修正を含み得る。初期化ステップ330後の結果として生じる輪郭は、次いで、画像をセグメント化することにおける入力として使用され得る(ステップ340)。
【0059】
図6Dの図解された実施例では、制御輪郭710は、制御輪郭の第1の部分725に沿って視覚的インジケータ720を含む一方、制御輪郭710の第2の部分730は、視覚的インジケータを含まない。視覚的インジケータは、制御輪郭710の別の部分(複数可)に対して制御輪郭710の一部の任意の視覚的特徴を含み得る。示されるように、視覚的インジケータ720は、制御輪郭710の第1の部分725に沿った破線である一方、制御輪郭710の第2の部分730は、実線である。他の例では、視覚的インジケータは、制御輪郭の別の部分上で使用されるものとは異なる、他の線パターン及び/又は様々な色であり得る。
【0060】
初期化前分析アルゴリズムは、制御輪郭710の1つ以上の部分に関する視覚的インジケータ725を生成するように構成され得、制御輪郭710のその部分は、閾値レベルの情報未満の情報から生成される。閾値レベルの情報未満の情報は、いくつかのアプリケーションでは、例えば、制御輪郭のそれぞれの部分を表す断面画像に対応する画像データの低い信号対雑音比を含み得る。1つのアプリケーションでは、6dB未満の信号対雑音比を有する情報から生成された制御輪郭の任意の部分が、視覚的インジケータを使用して表示されるように、情報の閾値レベルは、例えば、6dBの信号対雑音比であり得る。別のアプリケーションでは、12dB未満の信号対雑音比を有する情報から生成された制御輪郭の任意の部分が、視覚的インジケータを使用して表示されるように、情報の閾値レベルは、例えば、12dBの信号対雑音比であり得る。他のアプリケーションでは、所望のアプリケーションに好適であるように、様々な信号対雑音比は、所望のアプリケーションに必要とされる精度のレベル、利用可能な時間、及び/又はアプリケーションによって許可されたユーザの対話の程度を考慮し得る閾値レベルとして使用され得る。
【0061】
ユーザインターフェース上に表示された画像が閾値レベルの情報未満の情報から生成される、制御輪郭710に沿った1つ以上の位置において、視覚的インジケータ725を表示することによって、ユーザは、制御輪郭のそのような部分が、精度に関して更に調べるために望ましく、かつこの位置において更なるユーザ入力を提供するために望ましくあり得る、という警報を出され得る。このように、これは、ユーザが、そのような専門知識から利益を得る可能性のある部分に関する専門知識を活用することを可能にし得る一方で、より大きなレベルの情報に基づく制御輪郭710の他の部分を調べることに費やされる時間を必要としない。また、ユーザインターフェース上に表示された画像が閾値レベルの情報未満の情報から生成される、制御輪郭710に沿った1つ以上の位置において、視覚的インジケータ725を表示することは、ユーザが、どの画像、又は画像の一部が、セグメント化ステップ(ステップ340)における入力として使用されるのかを選択的に選択することを可能にし得る。例えば、一実施形態では、視覚的インジケータを欠く画像は、セグメント化ステップのための唯一の入力として使用するために有益であり得る。このように、視覚的インジケータの使用は、ユーザが、セグメント化及びこのような定量的測定のために、高信頼の画像又は画像の一部を選択することを案内し得る。これは、結果として生じる測定の精度を増加させ得る。
【0062】
他の実施形態では、1つ以上の視覚的インジケータは、視覚的インジケータを使用して表示される制御輪郭のそれぞれの1つ以上の部分に対応するユーザに、確実性の範囲を伝達するために使用され得る。例えば、様々な色のスペクトルは、視覚的インジケータとして使用され得、スペクトルの一端における又はその近くの色は、制御輪郭が生成された様々な程度の相対的に低レベルの情報(及び制御輪郭のその部分に関するこのようにより低レベルの確実性)に対応し、スペクトルの反対の端における又はその近くの色は、制御輪郭が生成された様々な程度の相対的に高レベルの情報(及び制御輪郭のその部分に関するこのようにより高レベルの確実性)に対応する。1つのアプリケーションでは、赤色の視覚的インジケータは、低レベルの情報に基づく制御輪郭の一部に沿って表示され得る。加えて、黄色の視覚的インジケータは、低レベルの情報に基づく制御輪郭の一部に沿って表示され得るが、そのようなレベルの情報は、赤色の視覚的インジケータをもたらすレベルの情報よりも大きい。同様に、青紫色の視覚的インジケータは、高レベルの情報に基づく制御輪郭の一部に沿って表示され得る。加えて、青色の視覚的インジケータは、高レベルの情報に基づく制御輪郭の一部に沿って表示され得るが、そのようなレベルの情報は、青紫色の視覚的インジケータをもたらすレベルの情報よりも小さい。
【0063】
理解されるように、初期化ステップ330は、任意の数の関心領域において、任意の数の制御輪郭及び/若しくは制御点の配置、修正、並びに/又は確認を含み得る。例えば、1つのアプリケーションでは、ユーザは、ユーザインターフェースに、2つ以上の関心領域の各々に関する1つ以上の制御輪郭を受信させ得る。
【0064】
ステップ330において画像を初期化した後、画像は、ステップ340においてセグメント化され得る。ステップ340において画像をセグメント化することは、初期化の最中に受信されたユーザ入力(例えば、関心領域における制御輪郭及び/若しくは制御点の形態のユーザ入力、ステップ320の初期化前画像解析の結果として修正された画像600上に提示される、提案された制御輪郭(若しくはその一部)及び/若しくは制御点の確認の形態で、ユーザ入力を受信することと、並びに/又はステップ320の初期化前画像解析の結果として修正された画像600上に提示される、提案された制御輪郭(若しくはその一部)及び/若しくは制御点の修正の形態で、ユーザ入力を受信すること)を組み込むセグメント化アルゴリズムを使用することを含み得る。例えば、セグメント化アルゴリズムは、例えば、セグメント化アルゴリズムにおける入力としての制御点を使用して、(例えば、ユーザが長手方向画像上に制御輪郭を設ける結果として生じる)断面画像上の関心領域において初期化される制御点を評価し得る。
【0065】
セグメント化アルゴリズムは、ユーザによって初期化される任意の所望の関心領域を識別するために使用され得る。例えば、1つのアプリケーションでは、セグメント化アルゴリズムは、血管における管腔・内膜インターフェース、血管における中膜・外膜インターフェース、及び/又はプラークの蓄積と管腔の内部容積との間のインターフェースを識別するために、初期化の最中にユーザ入力を使用し得る。ステップ340において画像をセグメント化することは、画像が1つ以上の所望の関心領域に分割されていることをもたらして、医療専門家による診断解析を容易にし得る。セグメント化された画像は、ユーザインターフェースなどのディスプレイ上に提示されて、診断解析を容易にし得る。
【0066】
一実施形態では、セグメント化は、参照によりその内容が本明細書に組み込まれる、米国特許第7,925,064号に記載された高速マーチングモデル(FMM)などの、確率関数に基づくFMMを使用して、実行され得る。FMMは、例えば、通常の境界の方とは反対方向に各々移動する2つの取り囲むインターフェースを使用して、2つの領域の間の境界を見出すように作動し得る。速度関数は、境界に向かう移動の速度に関する各インターフェースと関連付けられ得る。FMMを使用するとき、1つ以上の所望の関心領域(例えば、外側弾性膜と外膜との間の境界、及び/又は管腔と内膜との間の境界)は、出力として提供され得、例えば、各々がFMMにおいて速度関数下で伝達する層状輪郭としてモデル化され得る。2つのインターフェースが境界において遭遇したとき、関連付けられた速度関数が最小であるように、FMMは、速度関数ごとの到着時間関数を構築し得る。初期化ステップの結果として生じる1つ以上の制御輪郭及び/又は制御点は、境界として使用され得る。FMMは、そのような画像において関連した1つ以上の関心領域を画定するために、各々の所望の画像に適用され得る。
【0067】
図7は、輪郭755及び760をセグメント化したセグメント化された横断面画像750の例を示す。セグメント化された輪郭755、760のうちの1つ以上は、それぞれのセグメント化された輪郭755、760上の各点においてFMMの速度関数の値に基づいてカラーマップを使用して表示され得る。例えば、セグメント化された輪郭755が管腔と内膜の間の境界に対応する図7の例において、色値は、輪郭755の各ピクセルにおいて速度関数の値まで対応するように表示される。同様に、この例では、セグメント化された輪郭760が外側弾性膜と外膜との間で境界に対応する場合、色値は、輪郭760の各ピクセルにおける速度関数の値に対応するように表示される。カラーマップを用いてセグメント化された輪郭755及び/又は760を表示することは、セグメント化された輪郭の各部分上の確実性の測度に関する可視指示を提供し得る。実際、FMMアルゴリズムの目標は、速度関数がゼロに近いなどの極小値を有する最適なセグメント化された輪郭を計算することであり得る。このように、表示されたセグメント化された輪郭の一部としてのカラーマップの使用は、FMMアルゴリズムによって作成された警告をユーザに提供し得、セグメント化された輪郭のその一部分(複数可)は、より高信頼でない場合がある(例えば、輪郭上のそのような位置における対応する速度関数値がゼロ超又はゼロ未満の所定の値を超える場合)。
【0068】
他の実施形態は、画像をセグメント化する方法を含み得、本方法は、ユーザが、画像データの初期化前画像解析を実行するか、又は実行させて、修正された画像を生成することを含む。ユーザは、血管内画像化システムを使用して画像データを生成し得、画像データは、複数の画像要素を表現し得る。ユーザは、画像解析アルゴリズムを使用して、初期化前画像解析を実行するか、又は実行させ得る。初期化前画像解析を実行するか、又は実行させた後、ユーザは、修正された画像の初期化を実行し得る。ユーザは、ユーザ確認又は制御輪郭などの情報を修正された画像上に入力することによって、修正された画像の初期化を実行し得る。ユーザは、初期化を実行した後、修正された画像をセグメント化するか、又はセグメント化させ得る。ユーザは、入力された情報をセグメント化アルゴリズムにおいて評価することによって、修正された画像をセグメント化するか、又はセグメント化させ得る。ユーザは、セグメント化された画像を表示するか、又は表示させ得る。
【0069】
更なる実施形態は、画像化システムを含み得る。システムは、画像化データを生成するための血管内画像化デバイスを有するカテーテルアセンブリを含み得る。カテーテルアセンブリによって生成された画像データは、複数の画像要素を表現し得る。システムは、画像ディスプレイ領域を有するユーザインターフェースも含み得る。いくつかの例では、ユーザインターフェースは、ユーザからの入力を受信するように構成され得、少なくとも部分的には、1つ以上のタッチスクリーンを含み得る。システムは、血管内画像化デバイス及びユーザインターフェースと通信している画像化エンジンを更に含み得る。
【0070】
画像化エンジンは、少なくとも1つのプロセッサを有し得る。画像化エンジンは、カテーテルアセンブリによって生成された画像データを受信して、少なくとも1つのプロセッサを使用して画像データの初期化前画像解析を実行するように構成され得る。画像化エンジンは、画像解析アルゴリズムを使用して初期化前画像解析を実行し得る。画像化エンジンは、次いで、修正された画像を画像ディスプレイ領域上に生成し得る。一旦修正された画像が生成されたならば、画像化エンジンは、修正された画像上のユーザからの入力を受信し得る。画像化エンジンは、次いで、修正された画像を初期化する少なくとも1つのプロセッサを使用して、受信されたユーザ入力を含み得る。画像化エンジンは、次いで、セグメント化アルゴリズムを使用して、修正された画像をセグメント化し得る。画像化エンジンによって使用されるセグメント化アルゴリズムは、修正された画像上の受信されたユーザ入力を評価し得る。画像化エンジンは、次いで、セグメント化された画像を画像ディスプレイ領域上に表示させ得る。
【0071】
別の実施形態は、コンピュータ実行可能命令が上に格納されている非一時的コンピュータ可読格納物品であって、少なくとも1つのプログラム可能なプロセッサに画像データの初期化前画像解析を実行させる非一時的コンピュータ可読格納物品を含み得る。画像データは、複数の画像要素を表現し得る。初期化前画像解析は、画像解析アルゴリズムを使用して少なくとも1つのプログラム可能なプロセッサによって実行されて、修正された画像をディスプレイ上に生成し得る。追加的に、少なくとも1つのプログラム可能なプロセッサは、初期化前画像解析から生成された修正された画像の初期化を実行し得る。少なくとも1つのプログラム可能なプロセッサによって実行される初期化は、ユーザ入力を受信することと、ユーザ入力が、ディスプレイ上の修正された画像上に表示されることと、を含み得る。少なくとも1つのプログラム可能なプロセッサは、次いで、セグメント化アルゴリズムを使用して、修正された画像をセグメント化し得る。セグメント化アルゴリズムは、受信されたユーザ入力を評価し得る。少なくとも1つのプログラム可能なプロセッサは、セグメント化された画像を表示させ得る。
【0072】
本発明の様々な例を説明した。ある特定の開示された実施形態に関して本発明をかなりの詳細に説明したが、実施形態は、図解の目的のために提示されるが、制限されるものではない。本発明を組み込む他の実施形態が可能である。当業者は、様々な変更、適合、及び修正が、本発明の趣旨及び添付の特許請求の範囲から逸脱しない範囲で行われ得ることを理解するであろう。
図1
図2
図3
図4
図5
図6A
図6B
図6C
図6D
図7