知財求人 - 知財ポータルサイト「IP Force」
特表2023-553420マルチモーダル画像を蛍光透視像に融合する方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-21
(54)【発明の名称】マルチモーダル画像を蛍光透視像に融合する方法および装置
(51)【国際特許分類】
A61B 6/00 20060101AFI20231214BHJP
A61B 6/03 20060101ALI20231214BHJP
【ＦＩ】
A61B6/00 350P
A61B6/00 360Z
A61B6/03 360G
A61B6/00 370
A61B6/00 331E
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023534352
(86)(22)【出願日】2021-12-02
(85)【翻訳文提出日】2023-07-28
(86)【国際出願番号】 US2021061560
(87)【国際公開番号】W WO2022120018
(87)【国際公開日】2022-06-09
(31)【優先権主張番号】63/120,476
(32)【優先日】2020-12-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
(71)【出願人】
【識別番号】523207593
【氏名又は名称】アクルー イメージング，インコーポレイテッド
【氏名又は名称原語表記】ＡＣＲＥＷ Ｉｍａｇｉｎｇ， Ｉｎｃ．
【住所又は居所原語表記】３８８５２ Ｃｅｄａｒ Ｗａｘｗｉｎｇ Ｌａｎｅ， Ｏｃｅａｎ Ｖｉｅｗ， ＤＥ， １９９７０， ＵＳ
(74)【代理人】
【識別番号】110003812
【氏名又は名称】弁理士法人いくみ特許事務所
(72)【発明者】
【氏名】プリシュカー， ウィリアム
(72)【発明者】
【氏名】ヒュ－ズ，クレイグ
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA13
4C093AA24
4C093AA25
4C093AA26
4C093CA23
4C093DA02
4C093FF12
4C093FF13
4C093FF34
4C093FF35
4C093FF37
4C093FF42
4C093FH08
(57)【要約】
本発明は変換された画像が２Ｄ蛍光透視像データセットに位置合わせされるように３Ｄ画像データセットを変換するための装置を含む。３Ｄ画像の特徴を２Ｄ画像と位置合わせさせる変換の発見において本発明の処理は画像レジストレーションと見なされる。蛍光透視像レジストレーションシステムは画像レジストレーションの結果を段階的に改良する複数ステージのフレームワークを有する。各ステージはパラメータ空間を繰り返し検索する蛍光透視レジストレーションエンジンを利用する。コアレジストレーションエンジンが候補的変換を作成しそれを使用してデジタル再構成放射線像を作成し次にそれを供給された蛍光透視像と比較し反復位置合わせエンジンが処理を終了するかまたはそれを使用して新しい候補的変換を構成する。類似性の測定は明暗度およびレジストレーションシナリオに関連するなんらかのカスタムデータに基づく。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ＰＡＣＳ画像ソースからのデジタル再構成放射線像（ＤＲＲ）画像を、蛍光透視像撮影装置ソースからの蛍光透視像を用いて、繰り返し改良し、前記ＤＲＲ画像を前記蛍光透視像と合致させる蛍光透視レジストレーションエンジンを含む画像レジストレーションシステムであって、前記蛍光透視レジストレーションエンジンは、クライアントコンピュータもしくはサーバの一方に配置され、
前記蛍光透視レジストレーションエンジンは、
前記ＤＲＲ画像を得るための候補的変換を作成し、前記ＤＲＲ画像と前記蛍光透視像を比較するコアレジストレーションモジュールと、
グラフィックスメモリモジュールと、
反復位置合わせモジュールとを備え、
前記グラフィックスメモリモジュールは、
前記ＰＡＣＳ画像ソースからのボリュームデータを格納するボリュームデータストレージと、
前記蛍光透視像ソースからの動画データを格納する動画データストレージと、
を備え、
前記コアレジストレーションモジュールは、前記ＰＡＣＳ画像ソースおよび前記蛍光透視像撮影装置ソースからの前記データの取得と、それらデータの前記グラフィックスメモリモジュールへの送信および格納とを制御し、
前記反復位置合わせモジュールは、
蛍光透視像との合致について前記ＤＲＲ画像を評価し、
前記コアレジストレーションモジュールからの新しい候補的変換を用いる新しいＤＲＲ画像を生成するための処理を、その新しいＤＲＲ画像による合致が達成されるまで繰り返し実行し、
前記新しい候補的変換は、ボリュメトリック空間内の構造物に適用され、前記蛍光透視像と融合され、変換画像となり、画像レジストレーションが実行される、画像レジストレーションシステム。
【請求項2】
前記ＰＡＣＳ画像ソースおよび前記蛍光透視像撮影装置ソースからの前記データを、それらデータの前記グラフィックスメモリモジュールへの送信に先行して、受信および格納する入力メモリモジュールをさらに備え、前記入力メモリモジュールは、
前記ＰＡＣＳ画像ソースからのボリュームデータを格納するボリュームデータストレージ、および、
前記蛍光透視像撮影装置ソースからの動画データを格納する動画データストレージをさらに備える、請求項１に記載の画像レジストレーションシステム。
【請求項3】
前記蛍光透視像撮影装置ソースに接続されるフレーム取込モジュールをさらに備え、前記フレーム取込モジュールは、前記蛍光透視像撮影装置ソースによる前記動画データのストリームから個別のデジタルフレームを取り込み、前記動画データを前記入力メモリモジュールの前記動画データストレージに送信する、請求項２に記載の画像レジストレーションシステム。
【請求項4】
前記コアレジストレーションモジュールが、前記画像レジストレーションのステータスを自律的に判断するイベント分類器をさらに備え、
前記イベント分類器は、前記フレーム取込モジュールによって前記蛍光透視像撮影装置ソースから取り込まれる複数の蛍光透視像フレームを入力として取得し、
前記コアレジストレーションモジュールが、前記複数の蛍光透視像フレームのその時点の蛍光透視像フレームの特徴を分析し、前記ＤＲＲ画像と比較し、前記合致を確認し、前記画像レジストレーションを動的に行う、請求項３に記載の画像レジストレーションシステム。
【請求項5】
コンピュータシステムの表示部をさらに備え、前記コアレジストレーションモジュールが、グラフィカルユーザーインターフェース（ＧＵＩ）モジュールを備え、
グラフィカルユーザーインターフェース（ＧＵＩ）モジュールは、
前記入力メモリモジュールから受信される蛍光透視像の読み込み、表示、および相互通信を補助し、
ユーザの前記蛍光透視レジストレーションエンジンとの相互通信、および、前記表示部のスクリーンに対し、前記蛍光透視像と前記変換画像との少なくとも一方の表示を可能にする、請求項４に記載の画像レジストレーションシステム。
【請求項6】
前記グラフィックスメモリモジュールが、前記反復位置合わせモジュールから前記変換画像を受信し、前記変換画像をレンダリングされた画像として前記表示部へ送信する出力フレームバッファモジュールをさらに備える、請求項５に記載の画像レジストレーションシステム。
【請求項7】
前記反復位置合わせモジュールが、前記ＤＲＲ画像の開始パラメータと、それ以前に変換されたＤＲＲ画像のいずれかとを使用して、前記新しい候補的変換を構成する候補的変換モジュール、
前記新しい候補的変換を取得し、前記新しいＤＲＲ画像を生成するデジタル再構成モジュール、および、
前記新しいＤＲＲ画像と前記蛍光透視像との類似性を判断し、前記合致について判断する類似性モジュールをさらに備える、請求項６に記載の画像レジストレーションシステム。
【請求項8】
前記コアレジストレーションモジュールが、前記類似性モジュールが確認した前記類似性の結果から前記候補的変換モジュールの前記新しい候補的変換の作成を誘導する最適化モジュールをさらに備える、請求項７に記載の画像レジストレーションシステム。
【請求項9】
前記コアレジストレーションモジュールが、前記新しいＤＲＲ画像に対して、２Ｄ剛体変換を示す３－パラメータレジストレーションを行う、請求項８に記載の画像レジストレーションシステム。
【請求項10】
前記コアレジストレーションモジュールが、前記３－パラメータレジストレーションの後に、６－パラメータレジストレーションを行い、患者の身体の面外回転および前記蛍光透視像撮影装置からの距離のばらつきを把握する、請求項９に記載の画像レジストレーションシステム。
【請求項11】
構成物の非直線運動を把握するために、前記新しいＤＲＲ画像に対して非剛体レジストレーションが行われ、
多－パラメータ非剛体レジストレーションの各パラメータが、前記新しいＤＲＲ画像内の局所的な変形をモデル化可能とする、請求項１０に記載の画像レジストレーションシステム。
【請求項12】
画像レジストレーションを実行する方法であって、ユーザ用インターフェースおよび蛍光透視像レジストレーションシステムを提供するグラフィックスユーザインターフェース（ＧＵＩ）モジュールを利用して、コンピュータシステムの表示部上で、画像レジストレーションを開始し、
クライアントコンピュータまたはサーバの一方に配置された、前記蛍光透視像レジストレーションシステムの蛍光透視レジストレーションエンジンを、起動し、
前記蛍光透視レジストレーションエンジンが下記ステップ：
前記蛍光透視レジストレーションエンジンのコアレジストレーションモジュールにより候補的変換を作成し、デジタル再構成放射線像（ＤＲＲ）画像を得るステップ、
前記蛍光透視レジストレーションエンジンの反復位置合わせモジュールを用いて、前記ＤＲＲ画像を前記蛍光透視像と比較するステップ、
前記蛍光透視像との合致について、前記ＤＲＲ画像を評価するステップ、
前記コアレジストレーションモジュールからの新しい候補的変換を用いて、前記ＤＲＲ画像を繰り返し改良し、新しいＤＲＲ画像の生成を、その新しいＤＲＲ画像による合致が達成されるまで行うステップ、
前記合致に至った前記新しい候補的変換をボリュメトリック空間内の構造物に適用するステップ、および、
前記新しい候補的変換を前記蛍光透視像と融合し、変換画像とし、画像レジストレーションを実行するステップ
を行う、画像レジストレーション方法。
【請求項13】
前記コアレジストレーションモジュールが、前記ＰＡＣＳ画像ソースおよび前記蛍光透視像撮影装置ソースからの前記データの取得と、
それらデータの前記グラフィックスメモリモジュールへの送信および格納とを制御する、請求項１２に記載の画像レジストレーション方法。
【請求項14】
前記蛍光透視像撮影装置ソースに接続されるフレーム取込モジュールを用いて、前記蛍光透視像撮影装置ソースからの動画データのストリームから個別のデジタルフレームを取り込むステップ、および、前記動画データを前記蛍光透視レジストレーションエンジンの入力メモリモジュールの動画データストレージに送信するステップ
をさらに含む、請求項１３に記載の画像レジストレーション方法。
【請求項15】
前記反復位置合わせエンジンモジュールのイベント分類器を用いて、前記画像レジストレーションのステータスを自律的に判断するステップをさらに含み、
前記イベント分類器は、前記フレーム取込器が前記蛍光透視像撮影装置ソースから取り込んだ複数の蛍光透視像フレームを入力として取得し、
前記コアレジストレーションモジュールが、前記複数の蛍光透視像フレーム中における、その時点の蛍光透視像フレームの特徴を分析し、前記合致のための前記ＤＲＲ画像と比較し、前記画像レジストレーションを動的に行う、請求項１４に記載の画像レジストレーション方法。
【請求項16】
前記入力メモリモジュールから受信された前記蛍光透視像と出力フレームバッファモジュールから受信された前記変換画像と
の少なくとも一方が表示される表示部を提供することにより、前記ユーザによる前記蛍光透視像の読み込み、表示、および相互通信を可能とするステップ
をさらに含み、
前記出力フレームバッファモジュールが、前記反復位置合わせモジュールからの前記変換画像を受信し、前記変換画像をレンダリングされた画像として前記表示部へ送信する、請求項１５に記載の画像レジストレーション方法。
【請求項17】
前記新しい候補的変換を構成するために前記ＤＲＲ画像の開始パラメータと、それ以前に変換されたＤＲＲ画像のいずれかとを使用し、前記反復位置合わせモジュールの候補的変換モジュールを用いて、前記新しい候補的変換を構成するステップと、
前記反復位置合わせエンジンのデジタル再構成モジュールを用いて、前記新たなＤＲＲ画像を生成するステップと、
前記反復位置合わせエンジンの類似性モジュールを用いて、前記新たなＤＲＲ画像と前記蛍光透視像との類似性を判断し、前記合致について判断するステップと、
をさらに含む、請求項１６に記載の画像レジストレーション方法。
【請求項18】
前記コアレジストレーションモジュールの最適化モジュールを用いて、前記類似性モジュールが確認した前記類似性の結果から、前記候補的変換モジュールの前記新しい候補的変換を作成することをさらに含む、請求項１７に記載の画像レジストレーション方法。
【請求項19】
前記新しいＤＲＲ画像に対して、２Ｄ剛体変換を示す３－パラメータレジストレーションを、前記コアレジストレーションモジュールを用いて行うステップ、および、前記３－パラメータレジストレーションの後に、６－パラメータレジストレーションを、前記コアレジストレーションモジュールを用いて行い、患者の身体の面外回転および前記蛍光透視像撮影装置からの距離のばらつきを把握するステップ
をさらに含む、請求項１８に記載の画像レジストレーション方法。
【請求項20】
構成物の非直線運動を把握するために、前記新しいＤＲＲ画像に対して非剛体レジストレーションを行うステップ
をさらに含み、
多－パラメータの非剛体レジストレーションの各パラメータが、前記新しいＤＲＲ画像内の局所的な変形をモデル化可能とする、請求項１９に記載の画像レジストレーション方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２０年１２月２日出願の米国仮出願第６３／１２０，４７６号の優先権を主張するものであり、上記仮出願は、その全体が参照により本明細書に援用される。
【0002】
本発明は、３次元（３Ｄ）診断画像と、例えば、２ＤのＸ線画像を含むナビゲーション２次元（２Ｄ）画像との新規な画像融合に関する。より詳細には、本発明は、事前に取得した３Ｄ画像を修正および融合し、それら３Ｄ画像を、Ｘ線蛍光透視システムなどの２Ｄ画像生成装置から処置時に得られる（ライブ／リアルタイム）２Ｄ画像と組み合わせ可能な装置および方法に関する。
【背景技術】
【0003】
蛍光透視法は、Ｘ線を用いて、人体などの被写体の内部のリアルタイム動態画像（動画）を得る撮像技術である。医用画像の撮像における蛍光透視法の基本的な適用において、蛍光透視装置により、医師が患者の内部構造および機能を見ることができるようになり、例えば、心臓のポンプ作用や嚥下動作などが観察できる。この技術は、診断および治療の双方に有用であり、一般的な放射線医学、放射線腫瘍学、インターベンショナルラジオロジー処置、インターベンショナルカーディオロジー処置、手術、特に、画像誘導手術、および、医療の他分野に応用されている。
【0004】
この技術のもっとも簡易な形式のひとつに、患者がその間に配置されるＸ線源および画像増強器/検出器を備える蛍光透視装置がある。ほとんどの蛍光透視装置は、Ｘ線画像増強器およびカメラも含んでおり、画像の視認性を向上させ、その画像を、ローカルディスプレイまたはリモートディスプレイスクリーンで確認することができる。
【0005】
何十年もの間、蛍光透視法は、録画されないライブ動画を生成する傾向にあったが、１９６０年代以降、技術改良に伴い、検査の特定部位の録画や再生が標準的なものとなった。
【0006】
蛍光透視法には、多くの制約があり、臨床医にとって蛍光透視法がさらに有用になることを妨げている。第１に、蛍光透視法は電離放射線を使用するので、蛍光透視装置が作動するたびに、その処置室にいる患者や他の者へ放射線被爆のリスクが加わる。専門家の共通意見や多数の研究では、放射線被爆の増加と、発癌率の増加、あるいは、直接的または間接的な組織損傷とが、関連付けられている。これらの影響で、実際、患者の被爆可能な放射線の量が制限され、その結果、一定期間に撮影できる蛍光透視像の枚数が制限され、それら画像の質も制限される。
【0007】
第２に、コンピュータ断層撮影法（ＣＴ）や磁気共鳴画像法（ＭＲＩ）とは異なり、Ｘ線蛍光透視法は、体内の特定の構造に対しての感度が制限される。例えば、骨は、ほとんどの場合で目視することができる一方で、軟部組織構造は、はるかに見えにくいことが多い。血管などの一部の構造物は、色の濃度を高める造影剤を注入して、蛍光透視像のコントラストを強めることにより、容易に確認できる。血管のインターベンションには、通常、ヨード系の造影剤が用いられるが、そのヨード系の造影剤は、肝臓への毒性を引き起こすことがある。
【0008】
これらの制限により、医師は、処置の可視化を、自身で制限する場合があり、処置に時間を要する可能性が生じる。これにより、鎮静された患者が、鎮静/麻酔からの覚醒に関連して、さらなるリスクにさらされる恐れがある。全身麻酔下の患者の場合、処置時間が長くなるほど、入院期間も長くなり、回復期間も長くなる。より一般的には、視覚化に制限があると、その処置時に提供される有意義な解剖学的情報が不足することで、リアルタイムナビゲーションによる意思決定が損なわれ、不十分な処置結果を招く恐れがある。
【0009】
したがって、この分野では、正確かつ適時の方法で有意義な画像情報を提供できる新規な視覚化方法が要求されている。上記の問題のいくつかの側面に対しては、すでにいくつかの手法により対処されている。例えば、デジタル再構成放射線像（ＤＲＲ）は、３次元コンピュータ断層撮影（ＣＴ）画像から、蛍光透視像をシミュレートする。追跡用ハードウェアを使用して、透視エンジンと正確に重なるＤＲＲを構成するために必要なパラメータを決定できる。
【0010】
解決法として、上記の手法および他の手法が存在する一方、ＣＴ、ＭＲＩ、陽電子放出断層撮影（ＰＥＴ）などでスキャンされた３Ｄ画像の構造物を、蛍光透視像に対して、人体の全体にわたって一般的な方法で重ねたエンハンスドＤＲＲを作成するために必要な変換用パラメータを見出すことができる、基準不要（「マーカーレス」）の追跡方法は、存在しない。
【発明の概要】
【0011】
本発明は、三次元（３Ｄ）診断画像と、例えば、２ＤのＸ線画像を含むナビゲーション２次元（２Ｄ）投影画像との新規な画像融合に関する。より詳細には、本発明は、事前に取得した３Ｄ画像を修正および融合し、それら３Ｄ画像を、Ｘ線蛍光透視システムなどの２Ｄ画像生成装置から処置時に得られる（ライブ／リアルタイム）２Ｄ画像と組み合わせ可能な装置および方法に関する。これにより、従来の２Ｄ蛍光透視像では見ることができなかったであろう腹部大動脈などの構造物を、ＣＴ、ＭＲＩ、３Ｄ、ボリューム超音波、または、その他の断面／３Ｄ画像スキャンによる大動脈と重ねることによって、簡易に、確認および動的追跡できる。
【0012】
一実施形態において、本発明は、変換された画像が２Ｄ蛍光透視像データセットに位置合わせされるように、３Ｄ画像データセットを変換するための装置を含んでいる。３Ｄ画像の特徴を２Ｄ画像と位置合わせさせる変換の発見において、本発明の処理は、発明者らによって、「画像レジストレーション」と見なされる。
【0013】
一実施形態において、本発明は、デジタル再構成放射線像（ＤＲＲ）と蛍光透視像との合致を推進する変換パラメータの最適な組み合わせを発見するための複数のステージに関し、発明者らによって、「蛍光透視像レジストレーション」と称される。
【0014】
より具体的には、本発明の蛍光透視像レジストレーションシステムは、その中核に、画像レジストレーションの結果を段階的に改良する複数ステージのフレームワークを有する。一実施形態では、各ステージは、そのステージによって定義されたパラメータ空間を繰り返し検索する同じコアレジストレーションエンジンつまりモジュールを利用する。一実施形態では、コアレジストレーションエンジンは、候補的変換を作成し、それを使用してＤＲＲを作成し、次にそれを供給された蛍光透視像と比較し、処理を終了するか、またはそれを使用して新たな候補的変換を構成する。一実施形態では、候補的変換の類似性の測定は、明暗度およびレジストレーションシナリオに関連するなんらかのカスタムデータに基づく。
【0015】
一般的にいうと、一実施形態において、本発明のアルゴリズムは、第１ステージにて、コアレジストレーションエンジンにより、開始される。コアレジストレーションエンジンは、ユーザ位置の初期設定（例えば、前後方向の（ＡＰ）腹部）により決定される開始パラメータ（つまり、画像および事前に変換されたなんらかの画像）を使用する。コアレジストレーションエンジンは、ユーザ位置の初期設定を使用し、ＤＲＲ候補を構成する。しかし、同結果を達成する機能の多くは、反復位置合わせエンジンのイベント分類器によるものである。
【0016】
一実施形態では、ＤＲＲと実際の蛍光透視像との類似性は、コアレジストレーションエンジンにより、メモリに記録され、画像ボリューム、画像フレーム、および候補的変換が、反復位置合わせエンジンへ転送され、アルゴリズムが、反復位置合わせエンジンによって制御される第２ステージにおいて、摂動する候補的変換を用いた処理を繰り返す（「デジタル放射線像再構成」）。
【0017】
一実施形態では、反復位置合わせエンジンによって決定される類似性の結果（第３ステージ、「類似性」）が、コアレジストレーションエンジンの最適化エンジンによって記録され続ける。最適化エンジンは、第４ステージにおいて、これらの結果から新たな候補的変換の作成を誘導する（「最適化エンジン」）。これら結果は、続いて、ＤＲＲ画像の生成に使用され、そして、生成されたＤＲＲ画像が、最新の蛍光透視ナビゲーション画像との合致について評価される。
【0018】
一実施形態では、反復位置合わせエンジンによる所定のパラメータに基づいて変換が許容されない場合は、反復位置合わせエンジンにより、新たな候補的変換が生成される。反復位置合わせエンジンにより制御される反復は、収束基準に至るまで継続され、最良の候補的変換が、ボリュメトリック空間内の関連する構成物に適用され、その結果が元の蛍光透視像フレームと融合される。
【0019】
一実施形態において、画像レジストレーションシステムは、ＰＡＣＳ画像ソースからのデジタル再構成放射線像（ＤＲＲ）画像を、蛍光透視像撮影装置ソースからの蛍光透視像を用いて、繰り返し改良し、前記ＤＲＲ画像を前記蛍光透視像と合致させる蛍光透視レジストレーションエンジンを含む画像レジストレーションシステムであって、前記蛍光透視レジストレーションエンジンは、クライアントコンピュータもしくはサーバの一方に配置され、前記蛍光透視レジストレーションエンジンは、前記ＤＲＲ画像を得るための候補的変換を作成し、前記ＤＲＲ画像と前記蛍光透視像を比較するコアレジストレーションモジュールと、グラフィックスメモリモジュールと、反復位置合わせモジュールとを備え、前記グラフィックスメモリモジュールは、前記ＰＡＣＳ画像ソースからのボリュームデータを格納するボリュームデータストレージと、前記蛍光透視像ソースからの動画データを格納する動画データストレージと、を備え、前記コアレジストレーションモジュールは、前記ＰＡＣＳ画像ソースおよび前記蛍光透視像撮影装置ソースからの前記データの取得と、それらデータの前記グラフィックスメモリモジュールへの送信および格納とを制御し、前記反復位置合わせモジュールは、蛍光透視像との合致について前記ＤＲＲ画像を評価し、前記コアレジストレーションモジュールからの新しい候補的変換を用いる新しいＤＲＲ画像を生成するための処理を、その新しいＤＲＲ画像による合致が達成されるまで繰り返し実行し、前記新しい候補的変換は、ボリュメトリック空間内の構造物に適用され、前記蛍光透視像と融合され、変換画像となり、画像レジストレーションが実行される。
【0020】
一実施形態において、画像レジストレーションシステムは、前記ＰＡＣＳ画像ソースおよび前記蛍光透視像撮影装置ソースからの前記データを、それらデータの前記グラフィックスメモリモジュールへの送信に先行して、受信および格納する入力メモリモジュールをさらに備え、前記入力メモリモジュールは、前記ＰＡＣＳ画像ソースからのボリュームデータを格納するボリュームデータストレージ、および、前記蛍光透視像撮影装置ソースからの動画データを格納する動画データストレージをさらに備える。
【0021】
一実施形態において、画像レジストレーションシステムは、前記蛍光透視像撮影装置ソースに接続されるフレーム取込モジュールをさらに備え、前記フレーム取込モジュールは、前記蛍光透視像撮影装置ソースによる前記動画データのストリームから個別のデジタルフレームを取り込み、前記動画データを前記入力メモリモジュールの前記動画データストレージに送信する。
【0022】
一実施形態において、前記コアレジストレーションモジュールが、前記画像レジストレーションのステータスを自律的に判断するイベント分類器をさらに備え、前記イベント分類器は、前記フレーム取込モジュールによって前記蛍光透視像撮影装置ソースから取り込まれる複数の蛍光透視像フレームを入力として取得し、前記コアレジストレーションモジュールが、前記複数の蛍光透視像フレームのその時点の蛍光透視像フレームの特徴を分析し、前記ＤＲＲ画像と比較し、前記合致を確認し、前記画像レジストレーションを動的に行う。
【0023】
一実施形態において、画像レジストレーションシステムは、コンピュータシステムの表示部をさらに備え、前記コアレジストレーションモジュールが、グラフィカルユーザーインターフェース（ＧＵＩ）モジュールを備え、グラフィカルユーザーインターフェース（ＧＵＩ）モジュールは、前記入力メモリモジュールから受信される蛍光透視像の読み込み、表示、および相互通信を補助し、ユーザの前記蛍光透視レジストレーションエンジンとの相互通信、および、前記表示部のスクリーンに対し、前記蛍光透視像と前記変換画像との少なくとも一方の表示を可能にする。
【0024】
一実施形態において、前記グラフィックスメモリモジュールが、前記反復位置合わせモジュールから前記変換画像を受信し、前記変換画像をレンダリングされた画像として前記表示部へ送信する出力フレームバッファモジュールをさらに備える。
【0025】
一実施形態において、前記反復位置合わせモジュールが、前記ＤＲＲ画像の開始パラメータと、それ以前に変換されたＤＲＲ画像のいずれかとを使用して、前記新しい候補的変換を構成する候補的変換モジュール、前記新しい候補的変換を取得し、前記新しいＤＲＲ画像を生成するデジタル再構成モジュール、および、前記新しいＤＲＲ画像と前記蛍光透視像との類似性を判断し、前記合致について判断する類似性モジュールをさらに備える。
【0026】
一実施形態において、前記コアレジストレーションモジュールが、前記類似性モジュールが確認した前記類似性の結果から前記候補的変換モジュールの前記新しい候補的変換の作成を誘導する最適化モジュールをさらに備える。
【0027】
一実施形態において、前記コアレジストレーションモジュールが、前記新しいＤＲＲ画像に対して、２Ｄ剛体変換を示す３－パラメータレジストレーションを行う。
【0028】
一実施形態において、前記コアレジストレーションモジュールが、前記３－パラメータレジストレーションの後に、６－パラメータレジストレーションを行い、患者の身体の面外回転および前記蛍光透視像撮影装置からの距離のばらつきを把握する。
【0029】
一実施形態において、構成物の非直線運動を把握するために、前記新しいＤＲＲ画像に対して非剛体レジストレーションが行われ、多－パラメータ非剛体レジストレーションの各パラメータが、前記新しいＤＲＲ画像内の局所的な変形をモデル化可能とする。
【0030】
一実施形態において、画像レジストレーション方法は、画像レジストレーションを実行する方法であって、ユーザ用インターフェースおよび蛍光透視像レジストレーションシステムを提供するグラフィックスユーザインターフェース（ＧＵＩ）モジュールを利用して、コンピュータシステムの表示部上で、画像レジストレーションを開始し、クライアントコンピュータまたはサーバの一方に配置された、前記蛍光透視像レジストレーションシステムの蛍光透視レジストレーションエンジンを、起動し、前記蛍光透視レジストレーションエンジンが下記ステップ：前記蛍光透視レジストレーションエンジンのコアレジストレーションモジュールにより候補的変換を作成し、デジタル再構成放射線像（ＤＲＲ）画像を得るステップ、前記蛍光透視レジストレーションエンジンの反復位置合わせモジュールを用いて、前記ＤＲＲ画像を前記蛍光透視像と比較するステップ、前記蛍光透視像との合致について、前記ＤＲＲ画像を評価するステップ、前記コアレジストレーションモジュールからの新しい候補的変換を用いて、前記ＤＲＲ画像を繰り返し改良し、新しいＤＲＲ画像の生成を、その新しいＤＲＲ画像による合致が達成されるまで行うステップ、前記合致に至った前記新しい候補的変換をボリュメトリック空間内の構造物に適用するステップ、および、前記新しい候補的変換を前記蛍光透視像と融合し、変換画像とし、画像レジストレーションを実行するステップを行う。
【0031】
一実施形態において、前記コアレジストレーションモジュールが、前記ＰＡＣＳ画像ソースおよび前記蛍光透視像撮影装置ソースからの前記データの取得と、それらデータの前記グラフィックスメモリモジュールへの送信および格納とを制御する。
【0032】
一実施形態において、画像レジストレーション方法は、画像レジストレーションを実行する方法であって、前記蛍光透視像撮影装置ソースに接続されるフレーム取込モジュールを用いて、前記蛍光透視像撮影装置ソースからの動画データのストリームから個別のデジタルフレームを取り込むステップ、および、前記動画データを前記蛍光透視レジストレーションエンジンの入力メモリモジュールの動画データストレージに送信するステップをさらに含む。
【0033】
一実施形態において、画像レジストレーション方法は、前記反復位置合わせエンジンモジュールのイベント分類器を用いて、前記画像レジストレーションのステータスを自律的に判断するステップをさらに含み、前記イベント分類器は、前記フレーム取込器が前記蛍光透視像撮影装置ソースから取り込んだ複数の蛍光透視像フレームを入力として取得し、前記コアレジストレーションモジュールが、前記複数の蛍光透視像フレーム中における、その時点の蛍光透視像フレームの特徴を分析し、前記合致のための前記ＤＲＲ画像と比較し、前記画像レジストレーションを動的に行う。
【0034】
一実施形態において、画像レジストレーション方法は、前記入力メモリモジュールから受信された前記蛍光透視像と出力フレームバッファモジュールから受信された前記変換画像との少なくとも一方が表示される表示部を提供することにより、前記ユーザによる前記蛍光透視像の読み込み、表示、および相互通信を可能とするステップをさらに含み、前記出力フレームバッファモジュールが、前記反復位置合わせモジュールからの前記変換画像を受信し、前記変換画像をレンダリングされた画像として前記表示部へ送信する。
【0035】
一実施形態において、画像レジストレーション方法は、前記新しい候補的変換を構成するために、前記ＤＲＲ画像の開始パラメータと、それ以前に変換されたＤＲＲ画像のいずれかとを使用し、前記反復位置合わせモジュールの候補的変換モジュールを用いて、前記新しい候補的変換を構成するステップと、前記反復位置合わせエンジンのデジタル再構成モジュールを用いて、前記新たなＤＲＲ画像を生成するステップと、前記反復位置合わせエンジンの類似性モジュールを用いて、前記新たなＤＲＲ画像と前記蛍光透視像との類似性を判断し、前記合致について判断するステップと、をさらに含む。
【0036】
一実施形態において、画像レジストレーション方法は、前記コアレジストレーションモジュールの最適化モジュールを用いて、前記類似性モジュールが確認した前記類似性の結果から、前記候補的変換モジュールの前記新しい候補的変換を作成することをさらに含む。
【0037】
一実施形態において、画像レジストレーション方法は、前記新しいＤＲＲ画像に対して、２Ｄ剛体変換を示す３－パラメータレジストレーションを、前記コアレジストレーションモジュールを用いて行うステップ、および、前記３－パラメータレジストレーションの後に、６－パラメータレジストレーションを、前記コアレジストレーションモジュールを用いて行い、患者の身体の面外回転および前記蛍光透視像撮影装置からの距離のばらつきを把握するステップをさらに含む。
【0038】
一実施形態において、画像レジストレーション方法は、構成物の非直線運動を把握するために、前記新しいＤＲＲ画像に対して非剛体レジストレーションを行うステップをさらに含み、多－パラメータの非剛体レジストレーションの各パラメータが、前記新しいＤＲＲ画像内の局所的な変形をモデル化可能とする。
【発明の効果】
【0039】
一実施形態では、蛍光透視レジストレーションエンジンは、蛍光透視動画データのラベル付け、および、インデックス作成の独自の方法を可能にし、コアレジストレーションエンジンは、代表的ワークフローに関連し、上述した動画撮像と、３Ｄ画像データにより作成されるその他のアノテーション（つまり、レジストレーション内容や既存のマップに基づき、自動アノテーションされたラベル）とを取得し、アノテーションがあれば、そのアノテーションを各動画フレームの一組のピクセルと関連付ける。
【0040】
一実施形態におけるその他の使用例としては、ステント挿入、針生検、アブレーション、または、造影剤注入などの治療処置の最も重要な部分／臨床的関連性がある部分を確認することができるように、蛍光透視レジストレーションエンジンのコアレジストレーションエンジンを使用して、インターベンション処置のセマンテックインデックスを作成することであろう。
【0041】
一実施形態では、蛍光透視レジストレーションエンジンは、ターゲット追跡を通して、蛍光透視像のモーション安定化をはかることができ、特定の対象物が編集前の配信動画では動いていたとしても、その対象物を、動画ストリーム内において、同じ位置に固定できる。この方法は、患者の動きが蛍光透視レジストレーションエンジンの使用により追跡され、腫瘍の実際の動きについての更新された追跡情報として治療提供システムにフィードバックされる放射線治療にも、適用されるであろう。一実施形態では、対象物の動きを使用して、患者の処置に使用される放射線ビームを誘導し、放射線ビームは、腫瘍と連動して動く。または、放射線ビームは、変調されるか、あるいは、特定領域に腫瘍が位置した場合のみ、照射される。これにより、患者／腫瘍の動きに関わらず、処置の精度を最大にし、周辺の軟組織や骨への不必要な放射線を最小に抑える。
【0042】
一実施形態では、蛍光透視像レジストレーションシステムは、ターゲットの動きの履歴を使用し、より正確にそのターゲットの場所を予測する。一実施形態では、蛍光透視レジストレーションエンジンにより記録されたそれ以前の動きが３Ｄパスとしてモデル化され、モデル化されたパスは、蛍光透視像によって追跡される動きに対して位置づけされる。一実施形態では、対象のパスの調節において、蛍光透視レジストレーションエンジンにより傾向が検知されると、ターゲット追跡モデルに、予測的な調節がさらに適用され、コアレジストレーションエンジンにより、２Ｄ蛍光透視像から３Ｄ動作パスの動的修正が可能になる。本発明の蛍光透視像レジストレーション結果に基づく周期的な動きの調整によれば、処置のマージンが調節、つまり、縮小され、健康な組織が温存される。
【0043】
一実施形態では、蛍光透視像レジストレーションシステム技術を用いることで、呼吸サイクルにおける肺病変の位置決めをより精緻化でき、処置の放射線ビームの調節ができ、ターゲットがターゲットパスのうちの一つを移動すると判明している場合のみ、ある量の放射線が照射される。一実施形態では、マージンを狭くすることで、健康な細胞に到達する放射線量が少なくなり、合併症を軽減し、予後を改善させる。
【0044】
よって、本発明に一致するいくつかの特徴は、以下に続く本発明の詳細な説明をよりよく理解できるよう、また、本発明の技術分野への貢献をより理解できるように、上記に概説された。もちろん、本発明に一致する追加の特徴があり、それらは、以下に記載され、本書類に添付の請求項の主題を形成する。
【0045】
この点において、本発明に一致する少なくとも一実施形態を詳述する前に、本出願において、本発明が、後述もしくは図示される構成の詳細および構成要素の配置によって、限定されない旨、理解されなければならない。本発明に一致する方法および装置は、その他の実施形態をとり得る、また、様々な方法で実施および実行され得る。また、本書類で使用される表現および文言は、後述の要約と同様に、説明を目的とするものであり、限定的に解釈されないことも理解されるべきである。
【0046】
よって、当業者は、本発明の目的を達成するための他の構成、方法およびシステムを設計するための基礎として、本開示の着想を容易に利用できる旨、理解するであろう。よって、それら均等物は、本発明に一致する方法および装置の趣旨および範囲を逸脱しない限り、請求項に含まれるとみなされることが重要である。
【図面の簡単な説明】
【0047】
図面の説明は本開示の実施形態の例を含むが、本開示の範囲を限定するものとはみなされない。
【発明を実施するための形態】
【0048】
ここで使用される用語は特定の実施形態を説明することのみを目的としており、本発明を限定することは意図していない。ここで使用される、「および／または」という文言は、それに付随して記載される項目のすべてのいかなる組み合わせをも含む。ここで使用される単数形「ａ」、「ａｎ」および「ｔｈｅ」は、その文脈に明確な記載が特にない限りは、単数形と同様に複数形も含むことを意図している。また、「ｉｎｃｌｕｄｅｓ」、「ｃｏｍｐｒｉｓｅｓ」および／または「ｉｎｃｌｕｄｉｎｇ」、「ｃｏｍｐｒｉｓｉｎｇ」という用語が、本明細書で使用される場合は、記述される特徴、ステップ、操作、要素、および／または、成分を明示するが、その他の特徴、ステップ、操作、要素、成分および／またはそれらの群の存在および追加を除外するものではないと理解されるものである。
【0049】
特に定義されない限り、ここで使用される全ての文言（技術用語および科学用語を含む）は、本発明が関わる技術分野の当業者が一般的に理解するのと同じ意味を持つ。また、一般的に使用される辞書で定義される用語などの文言は、関連技術および本開示の文脈の意味に一致した意味を持つと解釈されるべきであり、ここで明確に定義されない限りは、理想化された意味または過度に形式的な意味で解釈されることはないと理解されるものである。
【0050】
本発明の説明において、多くの技術およびステップが開示されると理解されるものである。これらそれぞれは、個々に利点を持ち、その他の開示技術の１つ以上、または、場合によっては全てと併用できる。また、各ステップが、開示と異なる順序で行われてもよい。したがって、分かりやすくするために、本明細書では、個々のステップのすべての潜在的な組み合わせを不必要に繰り返すことは差し控える。しかしながら、本明細書は、そのような組み合わせが完全に発明の範囲内であることを理解されたうえで読まれるべきである。
【0051】
医療アプリケーションは、既存の情報システムに接続されるシステムによって、実行される。既存の情報システムは、病院情報システム（ＨＩＳ）、放射線科情報システム（ＲＩＳ）、放射線撮影装置、および／または、その他の情報システムであり、その他の情報システムは、ＰＡＣＳ、および／または、その他のシステムである。そのシステムは、Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）など、関連する規格に準拠するよう設計されうる。システムおよび情報システムの間の双方向通信は、これらシステム間における情報取得および／または情報提供を可能とし、情報システムに格納されている情報の更新を可能とし、所望のレポートおよび／またはその他の情報の生成を可能とする。
【0052】
ここでは、非蛍光透視像の位置合わせおよび融合のための蛍光透視像融合装置、器具、および、方法について論じる。以下の記載では、説明を目的として、多数の具体的詳細が、本発明を十分に理解するために説明される。しかしながら、当業者において、本発明は、詳細な具体例がなくとも実施可能であり、また、詳細な記載のない具体例は、故意に省略されたものではなく、本技術分野において既知のものと考えられるという点は、明らかであろう。
【0053】
本発明の蛍光透視像レジストレーションシステムは、例えば、パーソナルコンピュータ（ＰＣ）などのクライアントコンピュータを含んでもよく、クライアントコンピュータは、ＰＡＣＳと連動もしくは一体化していてもしていなくてもよく、例えば、２Ｄまたは３Ｄでの高解像度デジタル画像を提供できる画像表示装置を含んでもよい。本発明の一実施形態によると、クライアントコンピュータは、画像解像度が十分に高ければ、携帯端末でもよい。携帯端末は、ユーザが遠隔でそのプログラムに接続することにより操作可能であり、携帯コンピュータ端末、携帯データオーガナイザ（ＰＤＡ）、タブレット、スマートフォン、もしくは、その他の携帯端末が挙げられる。
【0054】
入力装置またはその他の選択装置は、クリック可能なアイコン、選択ボタンおよび／またはその他のセレクタを選択するために、提供されていてもよい。これらは、メニュー、ダイアログボックス、プルダウンウィンドウ、もしくは、その他のユーザインターフェースを使用して、ユーザインターフェース内で表示可能である。ユーザインターフェースは、クライアントコンピュータ上に表示されていてもよく、また、ユーザが、（マルチ機能）プログラム可能なスタイラス、キーボード、マウス、音声処理装置、レーザーポインタ、タッチスクリーン、もしくは、その他の入力装置を介して、ユーザインターフェースにコマンドを入力してもよい。入力装置またはその他の選択装置は、ハードウェアの専用部品によって実装されてもよく、もしくは、その機能が、クライアントプロセッサ上で実行されるコード命令によって実行されてもよい。例えば、入力装置またはその他の選択装置は、スタイラスもしくはキーボードを使用して選択内容を入力するための選択ウィンドウを表示するために、表示装置に実装されてもよい。
【0055】
クライアントコンピュータは、（内部もしくは外部の）プロセッサを備え、プロセッサは、中央処理装置（ＣＰＵ）もしくはグラフィックス処理装置（ＧＰＵ）、並列プロセッサ、入力／出力（Ｉ／Ｏ）インターフェース、データ構造を有するプログラムを伴うメモリ、および／または、その他の構成要素を備える。プロセッサの構成要素は、プログラムにより実行される特定の機能を実行するために特化されたものでもよい。クライアントコンピュータは、入力装置、画像表示装置、および、一つ以上の二次記憶装置を備えていてもよい。
【0056】
画像表示装置は、鮮明、簡単、正確に、Ｘ線画像および／またはその他の画像などの画像を表示できる。画像表示装置は、他のタッチセンサ式デバイスを用いて実装されていてもよい。他のタッチセンサ式デバイスとしては、タブレット型パーソナルコンピュータ、ポケットパーソナルコンピュータ、および、プラズマスクリーンが挙げられる。高解像度ゴーグルが、エンドユーザに画像を確認する能力を提供するためのグラフィカルディスプレイとして、使用されてもよい。
【0057】
クライアントコンピュータは、クライアントコンピュータ上に常駐（し、既存のコンピュータオペレーティングシステムまたは特化型システムを実行するよう記述されたアプリケーションを有していてもよい。ユーザは、グラフィカルユーザーインターフェースを介して、アプリケーションと相互通信してもよい。クライアントコンピュータアプリケーションは、その他のパーソナルコンピュータ（ＰＣ）ソフトウェア、携帯型情報端末（ＰＤＡｓ）、携帯電話、および／または、グラフィカルユーザーインターフェースおよび相応のストレージボリュームを有する、その他の何らかのデジタルデバイスに移植されてもよい。
【0058】
プロセッサは、所定の演算を行うように構成されたプログラムを実行できる。本発明の一実施形態によると、プロセッサは、メモリにアクセス可能である。メモリには、コード命令のシーケンスの少なくとも１つが、格納される。コードは、所定の演算を実行するためのデータ構造およびプログラムを含む。メモリおよびプログラムは、クライアントコンピュータ内もしくはその外部に配置されていてもよい。本発明のシステムは、特定の機能を行うと説明されることがあるが、当業者は、システム本体によってというよりも、プログラムによって、その機能が実行されることを容易に理解するであろう。
【0059】
プログラムは、所望の演算を実行するコードを有する分割プログラムを含んでもよく、ある演算のサブ演算を実行する特化型モジュールを複数含んでいてもよく、または、その演算を提供するさらに大きなプログラムの単一モジュールの一部であってもよい。プロセッサは、ユーザインターフェースの補助、通信機能の提供、データマイニング機能の実行、Ｅ－メール操作の実行、および／または、その他の演算など、複数の演算に相当する複数のプログラムに対してアクセス、および／または、それらプログラムを実行するように、構成されていてもよい。
【0060】
データストレージ装置は、集中型データベースおよび／または分散型データベースなどのデータベースを含んでもよく、それらデータベースは、ネットワークを介して接続されたリレーショナルデータベースであってよい。データストレージ装置は、サーバおよび／またはクライアントコンピュータに直接接続されていてもよく、ＬＡＮ、ＷＡＮ、および／または、その他のネットワーク、あるいは、インターネットなどの通信ネットワークを介して、間接的に接続されていてもよい。データストレージ装置は、内部記憶装置であってもよく、外部記憶装置であってもよい。
【0061】
クライアントコンピュータは、通信リンクを介して、その他のクライアントコンピュータやサーバと接続されてもよい。通信リンクは、有線通信リンクを含んでいてもよく、無線通信リンクを含んでいてもよく、交換回線通信リンクを含んでいてもよい。また、通信リンクは、ＬＡＮ、ＷＡＮ、インターネット、または、これらの組み合わせのような、データ処理装置のネットワークを含んでいてもよい。通信リンクは、Ｅメールシステム、ＦＡＸシステム、電話システム、ポケットベルや携帯電話などの無線通信システム、無線ＰＤＡシステム、および、その他の通信システムを接続してもよい。通信リンクは、ハードウェアの専用部品を用いて実装されてもよく、プログラムからの命令を実行する一般的なＣＰＵを用いて実装されてもよい。本発明の一実施形態によると、通信リンクは、プログラムからの命令を実行するプロセッサに、少なくとも部分的に含まれてもよい。
【0062】
サーバは、集中型環境において提供される。サーバは、構造および操作においてクライアントコンピュータと同様であってもよい。もしくは、分散型クライアントコンピュータが、個別のプロセッサを複数含むように提供されていてもよく、それらプロセッサは、一つ以上のマシンに配置されていてもよい。サーバは、単一のユニットを備えてもよいし、複数のサーバまたはデータ処理ユニットを有する分散システムを備えてもよい。その（それらの）サーバは、互いに直接接続もしくは間接接続されている複数のユーザによって共有されてもよい。その（それらの）サーバは、通信リンクと接続されてもよく、その通信リンクは、複数のクライアントコンピュータと通信するように構成されていることが好ましい。
【0063】
本発明は、クライアントコンピュータおよび／またはサーバ環境に常駐するソフトウェアアプリケーションを用いて実行されてもよく、コンピュータ化されたネットワークを介し、多数のクライアントコンピュータシステムにわたる分散システムに常駐するソフトウェアアプリケーションを用いて実行されてもよい。よって、個別の演算は、クライアントコンピュータもしくはサーバのいずれか、または、その両方で実行されてもよい。本発明に一致する演算は、クライアントコンピュータもしくはサーバのいずれか、または、その両方で実行されてもよい。サーバが用いられる場合、そのサーバは、インターネットを介してクライアントコンピュータによってアクセス可能なものであってよい。
【0064】
グラフィカルユーザーインターフェース（ＧＵＩｓ）を含むユーザインターフェースは、ディスプレイスクリーン、音声認識システム、スピーカ、マイク、入力ボタン、および／または、その他のインターフェースを含む複数のインターフェースを補助するように提供されていてもよい。
【0065】
上記物理アーキテクチャは、クライアントコンピュータ側の構成要素もしくはサーバ側の構成要素として記載されているが、当業者は、その物理アーキテクチャの構成要素が、クライアントコンピュータまたはサーバのいずれに配置されてもよいし、分散型環境において配置されてもよいことを理解するであろう。さらには、上記の特徴および演算処理は、特化型ハードウェアによって実現されてもよいし、データ処理ユニット上で実行されるコード命令を有するプログラムとして実現されてもよいが、演算の上記シーケンスのいくつかの部分をハードウェア内で実行されていてもよく、その一方で、上記演算処理の他の部分がソフトウェアを使用して実行されてもよい。
【0066】
この基盤技術は、様々な他のサイトへの複製が可能である。それぞれの新サイトは、壊滅的な故障が起きた場合に、一つ以上のサーバがアプリケーションの実行状態を継続し、システムが、要望に応じて、アプリケーションの負荷を地理的に分散できるように、周囲との通信を維持していてもよい。
【0067】
さらには、本発明の一実施形態の様態が、メモリに記録されると記載されるが、当業者は、本発明の全てまたは一部が、二次記憶装置など、その他のコンピュータ可読媒体上に格納されてもよい、もしくは、そのような媒体から読み出されてもよいことを理解するであろう。それら二次記憶装置は、ＣＤ－ＲＯＭ、ハードドライブ、フラッシュドライブ、もしくは、ＲＯＭあるいはＲＡＭのその他の形式など、既知のものや今後開発されるもののいずれかである。さらには、システムの特定の構成要素が記載されているが、当業者は、本発明の方法およびシステムと併用するのに適したシステムが追加の構成要素もしくは異なる構成要素を含んでもよい旨、理解するであろう。
【0068】
本開示は、本発明の例示として見なされ、本発明を、下記の図または記載で説明される特定の実施形態に限定することは意図していない。
【0069】
ここでは、好ましい実施形態および特定の実施例が参照され、本発明が記載および説明されるが、その他の実施形態や実施例が類似の機能を実行しうること、および／または、同様の結果をもたらしうることは、当業者にとって、明らかであろう。そのような同等の実施形態および実施例はすべて、本発明の趣旨および範囲に含まれ、それによって検討され、本開示に含まれることを意図している。
【0070】
一実施形態では、本発明は、３次元（３Ｄ）の診断画像と、例えば、２ＤのＸ線画像などのナビゲーション２次元（２Ｄ）画像との新規の画像融合に関する。より詳細には、一実施形態において、本発明は、事前に取得した３Ｄ画像を修正および融合し、それら３Ｄ画像を、Ｘ線蛍光透視システムなどの２Ｄ画像生成装置から処置時に得られる（ライブ／リアルタイム）２Ｄ画像と組み合わせ可能な装置および方法に関する。これにより、例えば、従来の２Ｄ蛍光透視像では見ることのできなかった腹部大動脈などの構造物を、ＣＴ、ＭＲＩ、３Ｄ、ボリューム超音波、または、その他の断面／３Ｄ画像スキャンによる大動脈と重ねることによって、簡易に、確認および動的追跡できる。
【0071】
一実施形態において、本発明は、融合セッション中に、変換された画像が２Ｄ蛍光透視像データセットに位置合わせされるように、３Ｄ画像データセットを変換するための装置を含んでいる。３Ｄ画像の特徴を２Ｄ画像と位置合わせさせる変換の発見において、本発明の処理は、発明者らによって、「画像レジストレーション」と見なされる。
【0072】
より詳しくは、一実施形態では、一つの融合セッションにおいて、一つのフローティング（もしくはムービング）画像が存在し、そのフローティング画像は変換され、蛍光透視像レジストレーション処理下、セッション中に読み込まれる後続の画像の全てと融合される画像である。これらの後続画像は参照画像（もしくは固定画像）と称され、新たな参照画像が読み込まれるたびに、そのセッション用のフローティング画像が変換され、参照画像と位置合わせされる。
【0073】
一実施形態において、本発明は、デジタル再構成放射線像（ＤＲＲ）と蛍光透視像との合致を推進する変換パラメータの最適な組み合わせを発見するための複数のステージに関し、発明者らによって、「蛍光透視像レジストレーション」と称される。
【0074】
より具体的には、本発明の蛍光透視像レジストレーションシステムは、その中核に、レジストレーション結果を段階的に改良する複数ステージのフレームワークを有する。一実施形態では、各ステージは、そのステージによって定義されたパラメータ空間を繰り返し検索する同じコアレジストレーションエンジンつまりモジュールを利用する。一実施形態では、コアレジストレーションエンジンは、候補的変換を作成し、それを使用してデジタル再構成放射線像（ＤＲＲ）を作成し、次にそれを供給された蛍光透視像と比較し、処理を終了するか、またはそれを使用して新たな候補的変換を構成する。一実施形態では、候補的変換の類似性の測定は、明暗度およびレジストレーションシナリオに関連するなんらかのカスタムデータに基づく。
【0075】
一実施形態では、本発明は、特化型プロセッサを備えるコンピュータを使用し、特化型プロセッサにより、コンピュータの根本的な動作が向上し、さらに後述するような医療技術分野での進歩を遂げる。
【0076】
本発明の一実施形態では、図１～図２は、動画ソース１０２およびネットワークソース１０６からのデータが、本発明の蛍光透視像レジストレーションシステム１００のメモリ１０４に入力され、最適化エンジンつまりモジュール１１７およびグラフィックスエンジンつまりモジュール１１３により処理され、最終的に表示部１２０にレンダリングされるときの、特化型コンピュータ資源と、そのアルゴリズムのフローチャートおよびそのフローチャートの個々のステップとを、総合的に示す。
【0077】
より具体的には、図１に示されるように、一実施形態では、本発明の蛍光透視像レジストレーションシステム１００は、蛍光透視レジストレーションエンジン１０１つまり処理ボード１０１、および、独立した電子機器フレーム取込モジュール１０３を備える。一実施形態では、蛍光透視レジストレーションエンジン（ＦＲＥ）１０１は、３からＮの自由度（ＤＯＦ）で、明暗度に基づき、蛍光透視像とＤＲＲとを反復レジストレーションするものであり、そのＦＲＥのＤＯＦは、変換の種類が、２Ｄ線形面内変換（３ＤＯＦ）から、３Ｄ線形変換（６ＤＯＦ）、非剛体変形のモデル化に必要とされる任意の次元数の変換（Ｎ ＤＯＦ）に及ぶ。一実施形態では、蛍光透視レジストレーションエンジン１０１は、クライアントコンピュータもしくはサーバ上に配置されてよく、分散型システムであってもよい。
【0078】
一実施形態では、図１に示すように、蛍光透視像撮影装置１０２は、医用画像の撮像において、患者がその間に配置されるＸ線源および蛍光スクリーンを備え、病院つまり医療施設内で、Ｘ線を用いて患者の内部のリアルタイム動画像を取得する。蛍光透視像撮影装置１０１は、データ取得、データストレージ、および、画像分析ソフトウェアを提供してディスプレイスクリーン上で画像を使用可能にするコンピュータを使用でき、これと同様に、画像視認性を向上させるためのＸ線画像増強器およびカメラなど、その他の機器を使用できる。
【0079】
一実施形態では、蛍光透視像レジストレーションシステム１００のフレーム取込モジュール１０３は、蛍光透視像撮影装置１０２とともに取り付けられるか、別々に取り付けられ、例えば、ＨＤＭＩケーブルによって、蛍光透視像撮影装置１０２と接続される。一実施形態では、フレーム取込器１０３は、蛍光透視像撮影装置１０２からのデジタル動画のストリームから個別のデジタル静止フレームを取り込む（図２のステップ２００参照）。一実施形態では、フレーム取込モジュール１０３は、個別のデジタル静止フレームのそれぞれの情報を、ネットワークつまりケーブルを介して、蛍光透視レジストレーションエンジン１０１の入力メモリモジュール１０４（図２のステップ２０１）に送信し、その情報が動画データストレージ１０５として格納される。
【0080】
一実施形態では、ＰＡＣＳ１０６は、ＤＩＣＯＭ規格によって画像を双方向通信し、病院つまり医療施設での医用画像の格納および送信を制御し、スキャナ、サーバ、ワークステーション、プリンタ、ネットワークハードウェア、および、ネットワークなどの医用画像装置と一体化されるものであり、蛍光透視像撮影装置１０２から２Ｄボリュメトリックデータを受信する。一実施形態では、本発明の蛍光透視レジストレーションエンジン１０１は、ネットワークつまりケーブルを介して、ＰＡＣＳ１０６から送信される３Ｄボリュメトリックデータを収集し（図２のステップ２０２）、ボリュメトリック画像データを入力メモリモジュール１０４およびボリュームデータストレージ１０７に格納する（図２のステップ２０３）。
【0081】
一実施形態では、本発明の蛍光透視レジストレーションエンジン１０１の特化型コアレジストレーションエンジンつまりモジュール１０８が、メモリ１２３を有する特化型プロセッサ１０８（図１参照）を少なくとも一つ備え、その特化型プロセッサ１０８は、フレーム取込モジュール１０３およびＰＡＣＳ１０６によるデータの取得と、そのデータの入力メモリモジュール１０４への送信および格納とを制御するものである。そのコアレジストレーションエンジン１０８は、動画データストレージ１０５およびボリュームデータストレージ１０７からの受信データを処理し、そのデータを、蛍光透視レジストレーションエンジン１０１の特化型グラフィックスプロセッサメモリモジュール１１１の動画データストレージ１０９およびボリュームデータストレージ１１０へそれぞれ格納する。
【0082】
一実施形態では、蛍光透視レジストレーションエンジン１０８は、反復位置合わせエンジン１０９（図１参照）として、少なくとも一つの特化型グラフィックスプロセッサ１１３を備える。一実施形態では、反復位置合わせエンジン１１３は、イベント分類器１１２、候補的変換モジュール１１４、デジタル放射線像再構成モジュール１１５、および類似性モジュール１１６を備える。
【0083】
一実施形態では、イベント分類器１１２（図１参照）は、蛍光透視レジストレーションエンジン１０１がいずれのレジストレーションシナリオにあるべきかを自律的に決定するために、使用される。一実施形態では、この分類は、蛍光透視動画データ１０５にのみ基づくが、その決定を下すために、一つ以上のフレームを用いる。一実施形態では、イベント分類器１１２は、フレーム取込器１０３により蛍光透視装置１０２から取り込まれた、もしくは、直接撮影されたフレームを、入力として取得し、各最新のフレームが、コアレジストレーションエンジン１０８によって転送され、入力メモリモジュール１０４の動画データストレージ１０５に格納され、それ以前のフレームも格納されている特化型グラフィックスプロセッサメモリモジュール１１１の動画データストレージ１１０に送信される。一実施形態では、コアレジストレーションエンジン１１３が、その時点の画像フレーム（および最後のフレーム）の特徴を分析し、動的画像融合を行い、途切れがなく、相互通信不要な融合をユーザに提供できる。
【0084】
一実施形態では、蛍光透視レジストレーションエンジン１０１が、図３に示す、一連のステージ３００に分割される。一般的に、一実施形態では、本発明のアルゴリズム（図１～図４Ｂ）は、第１ステージにおいて、コアレジストレーションエンジン１０８により、開始される（ステップ２０４、図２）。コアレジストレーションエンジン１０８は、ユーザ位置の初期設定（例えば、前後方向の（ＡＰ）腹部）により定義される開始パラメータ（つまり、画像、および、それ以前に変換された画像）を使用して、ＤＲＲ候補（「候補的変換パラメータ」３０１）を構成する。なお、同結果を達成する機能の多くは、反復位置合わせエンジン１１３（図１参照）のイベント分類器１１２によるものである。
【0085】
一実施形態では、ＤＲＲと実際の蛍光透視像との類似性は、コアレジストレーションエンジン１０８によって、メモリ１２５に記録され、画像ボリューム、画像フレーム、および候補的変換が、反復位置合わせエンジン１１３へ転送される（ステップ２０５、図２）。そして、アルゴリズムは、第２ステージにおいて、反復位置合わせエンジン１１３によって制御され、摂動する候補的変換を伴った処理を、反復的に実行する（「デジタル放射線像再構成」３０２）。
【0086】
一実施形態では、類似性の結果（第３ステージ、「類似性」３０３）が、反復位置合わせエンジン１１３によって決定され、コアレジストレーションエンジン１０８の最適化エンジン１１７によって記録され続ける。最適化エンジン１１７は、第４ステージにおいて、それらの結果からの新たな候補的変換の作成を誘導し（「最適化エンジン」３０４）それらの結果は、続いて、ＤＲＲ画像を生成するために使用される。そのＤＲＲ画像は、最新の蛍光透視ナビゲーション画像との合致について評価される（ステップ２０６、図２）。
【0087】
一実施形態では、反復位置合わせエンジン１１３による所定のパラメータに基づいて、変換が許容されない場合（ステップ２０８、図２）は、反復位置合わせエンジン１１３により、新たな候補的変換が生成される（ステップ２０９、図２）。反復位置合わせエンジン１１３により制御される反復は、収束基準に至るまで継続され、最良の候補的変換が、ボリュメトリック空間内の関連する構成物に適用され、その結果が元の蛍光透視像フレームと融合される（ステップ２１０、図２）。
【0088】
特に、第１ステージ３０１／４００（図４Ａ参照）での候補的変換パラメータの作成に関して、３－パラメータの調査、６－パラメータを用いた剛体リファインメント、および最終的な画像変換をもたらす非剛体リファインメントが、図４Ａおよび４Ｂに示される。一実施形態では、パラメータ調査は、３－パラメータ、６－パラメータ、および非剛体リファインメントに対して、明暗度に基づいて、繰り返し行われる。
【0089】
一実施形態では、第１ステージに関して、コアレジストレーションエンジン１０８は、蛍光透視像撮影のおおよその角度と拡大表示の視野内において画像化された身体のＤＲＲを作成する。一実施形態において、コアレジストレーションエンジン１０８は、山登り法的アプローチに基づくシンプレックス法をベースとした、新規なグラフィックプロセッサを構成する。グラフィックプロセッサにおいて、一連の解候補は、Ｎ次元空間中で多面体を構成する。シンプレックス法は、実際の医療画像の中で見つかるノイズがある時において、うまく機能する。
【0090】
一実施形態では、コアレジストレーションエンジン１０８は、各ＤＲＲをつなぎ合わせ、全身のＤＲＲを作成する。その全身のＤＲＲは、コアレジストレーションエンジン１０８による３－パラメータレジストレーションによって見出される（図４Ａ参照、「基本位置設定、３－パラメータ調査」４０１）。上記３－パラメータは、２Ｄ剛体変換を示す（面内回転および面内［ｘ－ｙ］平行移動）。一実施形態において、コアレジストレーションエンジン１０８によって、合致する位置が一度発見されると、その位置において、コアレジストレーションエンジン１０８によって、ＤＲＲパラメータが更新される。
【0091】
本発明の本ステップは、ＣＴ画像とＤＲＲのおおまかな重なりを作成するものであり、身体の面外の回転やカメラからの距離のばらつきを把握するものではない。本発明の一実施形態では、これらの位置ずれに対処するため、コアレジストレーションエンジン１０８は、前のステップからの開始位置に基づいて、６－パラメータレジストレーションを行う（「剛体リファインメント、６パラメータ」４０２参照）。
【0092】
剛体レジストレーションの結果は、軟組織のような被写体が異なる位置または異なる呼吸段階から伸長および変形するという、画像中の構造物の非線形動作を把握しない。そこで、本発明の一実施形態では、コアレジストレーションエンジン１０８が、６－パラメータレジストレーションの代わりに、各パラメータが局所的な変形のモデル化を実行する多-パラメータレジストレーションを作成し、それによる非剛体レジストレーションが、これら変形に対処する（「非剛体リファインメント、非剛体レジストレーション」４０３参照）。一実施形態では、これら多－パラメータは、変形領域の全体を定義するために、調整される。その変換領域において、変換されるボリューム内の各ボクセルは、新規画像内のどこに属するかを定義する固有ベクトルを有する。一実施形態では、様々な３Ｄ変換モデル（例えば、ｂ－スプラインにより連結された均一グリッド、ｂ－スプラインにより連結された不均一グリッド、四元数補間により接続された階層的サブボリュームなど）が存在する。このフェーズ４０３では、前のレジストレーションフェーズ４０１、４０２と同じ基本構成が保持され、反復位置合わせエンジン４０４によって、候補的変換が作成され、繰り返し評価される。
【0093】
一実施形態では、図３に示すように、蛍光透視レジストレーションエンジン１０１が類似性を用いて各合致に関して、ＤＲＲ画像を評価し、その変換が臨床的に許容されるかどうかを事前に訓練された閾値に基づいて決定する（ステップ２０８、図２）。一実施形態において、ステージ３０１～３０４の最終結果は、ボリューム内で特徴を変形させ、ＤＲＲと蛍光透視像との間の位置合わせの強化および融合するための変換フィールドである（ステップ２１０、図２）。
【0094】
一実施形態では、第１ステージにおいて、コアレジストレーションエンジン１０８によって、ボリュームと初期値が決定されると、パラメータが、コアレジストレーションエンジン１０８によって、反復位置合わせエンジン１１３／４０４に転送される（図４Ａ参照）。一実施形態では、反復位置合わせエンジン４０４は、３－パラメータレジストレーションおよび６－パラメータレジストレーションを行い、同様に、非剛体レジストレーションを行う。非剛体レジストレーションは、複雑さを軽減させるため、パラメータ調査に階層を加え、非剛体レジストレーションの問題のあるボリュームそれぞれをより低い次元内に維持する。一実施形態では、反復位置合わせエンジン４０４は、各フェーズ４０１、４０２、４０３に共通し、共通の反復レジストレーション手法を用いる。一実施形態では、反復位置合わせエンジン４０４の各反復において、各点のその時点の値は、膨大なヒューリスティクス計算に基づき、空間内で次に評価される解の候補を決定する。
【0095】
より具体的には、一実施形態では、イベント分類器１１２のマルチスレッドプロセッサで並行して行われるエントロピー演算によって、イベント分類器１１２が、グラフィックスプロセッサメモリモジュール１１１の動画データストレージ１１０内の空のフレームをフィルタリングする。一実施形態では、反復位置合わせエンジン１１３が、残った実フレームをマクロブロック（ＭＢ）演算に送信し、マクロブロック（ＭＢ）演算によって、残った実フレームにわたるサブブロックの動きを合致させ、および、推測する。一実施形態では、ＭＢ演算は、イベント分類器１１２のマルチスレッドプロセッサにまたがるイベント分類器１１２と、画像の領域を保持する各マルチプロセッサ１０８、１１３のローカルのメモリモジュール１２２とで行われる。
【0096】
一実施形態では、イベント分類器１１２は、同じローカルメモリ１２に常駐する前のフレームを用いて、ＭＢ動きベクトルの計算に影響を与え、その計算結果は、イベント分類器１１２によって、メイングローバルメモリ１２３に返送および統合される。一実施形態では、イベント分類器１１２は、データ結果を、メモリ１２３から、イベント分類器１１２のマルチスレッドハードウェア上で動作する事前訓練された分類器へ送信し、動きベクトルが十分に多様で、データの部分的な再レジストレーションもしくは全体的な再レジストレーションが開始できるかどうかの決定を行う（ステップ２０８、図２）。
【0097】
一実施形態では、反復位置合わせエンジン１１３による決定は、３つに分類される。（１）動きベクトルの変更が最小限であり、再レジストレーションが不要である、（２）動きベクトルに重大な変更があり、部分的な再レジストレーションが必要である、（３）共通ＭＢがほとんどまたは全くなく、全面的な再レジストレーションが必要である。
【0098】
一実施形態では、第１の分類（１）の場合、反復位置合わせエンジン１１３によって再計算が必要であるパラメータはないと決定される。一実施形態では、第２の分類（２）の場合、反復位置合わせエンジン１１３は、パラメータの半分、つまり、面内のもののみ再計算が必要であると決定する。一実施形態では、各フレームの全体的なレジストレーションを回避することにより、反復位置合わせエンジン１１３の分類器は、（３）よりも著しく高速である（１）および（２）を切り替えて、より高いフレームレートを可能とする。
【0099】
一実施形態では、反復位置合わせエンジン４０４の反復機能は、一般的に、類似性モジュール１１６による新規な類似特徴点（の数）の最大化を図り、よりよい点が発見された場合に、多面体内の点を置換する。
【0100】
一実施形態では、類似性モジュール１１６は、相互情報量（ＭＩ）を用いて、２組のピクセル間の明暗度の値に共通する情報を分析する。これは、本発明における実際の画像と合成画像との合致のための理想的な候補となる、いかなる先験的なピクセル間の合致も前提としていない。一実施形態では、ＭＩが選択されたのは、二つの画像が完全に異なるものとされるレジストレーションの各種シナリオにおいて、そのＭＩが強固な測定基準となることが示されたからである。一実施形態では、ＭＩは、ＤＲＲと蛍光透視像との類似性を計算するために使用される（ステップ２０７、図２参照）。さらに、一実施形態では、ＭＩは、二つの画像に共通しない構造物を無視し、それは、つまり、機器や造影促進剤が用いられている時に強固であることを意味する。
【0101】
一実施形態では、画像レジストレーションアルゴリズムは、グラフィックスプロセッサ１１３の並行演算機能を用いる。特に、一実施形態では、元の固定画像（つまり、蛍光透視像）と変換された「フローティング」画像（つまり、ＤＲＲ画像）との間における標準化相互情報量（ＮＭＩ）の計算は、アルゴリズムにおいて集中的に演算が行われるステップであり、グラフィックプロセッサ１１３カーネルにおいて促進される。
【0102】
一実施形態では、とあるサブボリューム内のボクセルは、とあるマルチプロセッサ１１３内のメモリリソースを共有し、アルゴリズムのための演算リソースを最適化する一方、上記とは別のサブボリュームはそれを行わないため、上記とは別のマルチプロセッサに対するサブボリュームとして位置づけられる。
【0103】
一実施形態では、反復位置合わせエンジン１１３によって、全てのサブボリュームのための６ＤＯＦ剛体変換の最適化された組み合わせが見つかると、再サンプリンググラフィックスプロセッサ１１３カーネルがそれら最終変換を取得し、それら最終変換を補間し、なめらかな変換領域を派生し、その領域をフローティング画像に適用し、最終レジストレーション画像を作成する（ステップ２１０、図２）。一実施形態では、各ボクセルの６ＤＯＦ剛体変換は、そのボクセルを囲むサブボリュームの中心の変換を補間する反復位置合わせエンジン１１３によって推定される。本発明の一実施形態では、変換の独立構成要素は、反復位置合わせエンジン１１３によって、別々に補間され、座標軸に沿った３つの平行移動はトリキュービック補間法によって決定され、一方で、３Ｄの回転姿勢は、球面三次四元数補間で決定される。一実施形態では、変換、補間、および最終的な再サンプリングの適用は、ボクセルレヴェルで独立しており、単一のスレッドに各ボクセルが位置づけできる。一実施形態では、これらカーネルの両方において、アルゴリズム実行のためのスレッドグループおよびスレッドを使用することにより、これら時間を要するカーネルのために反復位置合わせエンジン１１３を高度に使用することを確実にする。
【0104】
一実施形態では、変換画像は、クライアントコンピュータシステム１２１の表示部１２０上に表示される。一実施形態では、表示部１２０のスクリーンが、各再読み込みのたびに定義された各ピクセルを有していなければならないので、反復位置合わせエンジン１１３は専用のフレームバッファ１１９を備える。一実施形態では、フレームバッファ１１９は、表示部１２０に連続的に送信されるデータのフレームを保持するために使用されるメモリ１１１の領域である。
【0105】
一実施形態では、フレームバッファ１１９は、表示可能な最大画像のサイズであり、グラフィックスカード（表示部アダプタ）上の独立したメモリバンクであってもよく、標準のメモリ１１１に確保された部分でもよい。一実施形態では、融合が完了したとき、変換画像は、このフレームバッファ１１９に転送され、表示部１２０が、出力フレームバッファ１１９からの、レンダリングされたエンハンスド画像を画面に表示する。
【0106】
一実施形態では、コアレジストレーションエンジン１０８は、グラフィカルユーザーインターフェース（ＧＵＩ）モジュール１１８（図１参照）を備え、モジュール１１８により、ユーザは、クライアントコンピュータシステム１２１の表示部１２０を介して、蛍光透視像レジストレーションシステム１００と相互通信することが可能になる。一実施形態では、ＧＵＩ１１６が、表示部のスクリーン１２０上に、入力メモリ１０４から受信した画像と、蛍光透視像レジストレーションシステム１００を介した融合処理により作成され、特化型グラフィックスプロセッサメモリモジュール１１１および出力フレームバッファモジュール１１４から送信される画像とを、表示する。一実施形態では、融合セッションは、ＧＵＩ１１６の一回の実行、つまり、ＧＵＩ１１６の起動から、ＧＵＩ１１６の終了までにより定義される。
【0107】
一実施形態では、ＧＵＩモジュール１１８は、入力メモリ１０４から受信した医用画像と、蛍光透視像レジストレーションシステム１００を介した融合処理により作成された画像との読み込み、表示、および相互通信を補助し、適切な画像の選択や融合開始のタイミングの指示などの融合処理を設定するために、ユーザから情報を集める。一実施形態では、情報は、設定テキストファイル１２４に集められ、入力メモリ１０４から、同じメインメモリ１１１に画像入力と共に転送される。一実施形態では、ＧＵＩモジュール１１８は、特化型グラフィックスプロセッサ１１３を用いて、フレームバッファ１１９を介して出力される要素をレンダリングする。
【0108】
本発明の演算に関して、上記のように、本発明は、患者からの解剖学的な画像と、機能的な画像との間の情報の視覚的評価、比較、融合によって、ユーザ（つまり、医療の専門家）を支援する。本発明は、患者評価のためのユーザの既存のワークフローへの追加情報と、複数のＤＩＣＯＭ対応画像モダリティソースからの医用画像データの比較方法とを提供する。本発明は、診断放射線医学、腫瘍学、放射線治療のプランニング、インターベンショナルラジオロジー処置、インターベンショナルカーディオロジー処置、およびその他の医療分野における医用画像の表示、蛍光透視像レジストレーション、および、融合を可能とする。
【0109】
一実施形態では、クライアントコンピュータシステム１２１から、ユーザがグラフィックスユーザインターフェース（ＧＵＩ）１１８を起動し、グラフィックスユーザインターフェース（ＧＵＩ）１１８は、表示部１２０のスクリーン上に、画像が読み込まれていない新しいＧＵＩウィンドウを作成する。蛍光透視レジストレーションエンジン１０１は、ネットワーク設定を起動し、基盤となるコンピュータープラットホームをテストし、本発明の蛍光透視像レジストレーションを実行する内部処理を起動する。
【0110】
一実施形態では、コアレジストレーションエンジン１０８は、ユーザ用のその他の相互通信ボタンの中でも少なくともステータスの概要を、表示部１２０上に示し、準備ができたら、ユーザが新たなセッションを開始できることを、表示部１２０上にテキストやカラーコードなどで示す。
【0111】
一実施形態では、セッションは、ＧＵＩモジュール１１８インターフェース処理と、蛍光透視レジストレーションエンジン１０１処理との２つの処理を作成する。一実施形態では、ユーザは、ＧＵＩ１１８と相互通信し、同時に、ＧＵＩ１１８は、図１および図３が参照されるように、上述した蛍光透視像レジストレーションシステム１００の処理により決定され、新規に到着する蛍光透視像をモニタリングする。本発明は、蛍光透視像レジストレーション処理による融合結果を確認するために必要な相互通信の量を最小化するように設計される。
【0112】
一実施例において、セッションの開始に先行して、２つの画像ソース（蛍光透視像撮影装置１０２およびＰＡＣＳ１０６）がコアレジストレーションエンジン１０８によって、事前に設定され、蛍光透視像がクライアントコンピュータまたはサーバの蛍光透視レジストレーションエンジン１０１処理ボードへ送信される。一実施形態では、コアレジストレーションエンジン１０８は、ＰＡＣＳ１０６画像ソースからの画像（画像１－フローティング画像）をプッシュ送信し、ＧＵＩモジュール１１８は、フレームバッファ１１９を介して画像を受信し、自動的に表示部１２０に表示する。
【0113】
一実施形態では、新たな画像の場合、その画像フレームがクライアントコンピュータシステム１２０によって受信され、フレームバッファ１１９によって、ＧＵＩモジュール１１８のメイン表示ペイン／表示部のスクリーン１２０にレンダリングされる。この時点で、一実施形態では、ユーザが、ウィンドウレベルの変更（サイズの上げ、下げ、縮小、拡大）やカラーマップ（アクションインディケータ）へのアクセスなど、残りのセッションで蛍光透視レジストレーションエンジン１０１によって使用される画像が必要とする動作を、実行することができる。
【0114】
一実施形態では、コアレジストレーションエンジン１０８が、蛍光透視像撮影装置１０２などの別の画像ソースからのもう一つの画像（画像２‐参照画像）をプッシュ送信する。画像２は、ＧＵＩモジュール１１８を用いて、フレームバッファ１１９を介して受信され、表示部のスクリーン１２０上に表示される。一実施形態では、画像が二つある場合は、ＧＵＩモジュール１１８が、その２つの画像のレジストレーション動作を作成し、蛍光透視像レジストレーション処理が、本発明の蛍光透視像レジストレーションシステム１０１よって開始される。上記のように、その処理において、コアレジストレーションエンジン１０８は、画像１をフローティング画像として、画像２を参照画像として扱う。
【0115】
一実施形態では、画像１は、（画像１および画像２の間で見つかった何らかの変更を修正する目的で）コアレジストレーションエンジン１０８および反復位置合わせエンジン１１３によって変換され、反復位置合わせエンジン１１３が、蛍光透視像レジストレーションシステム１００に関連して上記で説明した処理によって、画像１を画像２と融合する。一実施形態では、蛍光透視レジストレーションエンジン１０１が完了し、融合が行われた後、変換されたＤＲＲ画像は、ＧＵＩ１１８に返送され、ＧＵＩ１１８は、フレームバッファ１１９を介して、最新画像を順次レンダリングする。よって、一実施形態では、ユーザは、画像の読み取りと、ズーム、ウィンドウレベルの変更、融合（重ねられた画像の透明度の変更）およびパンなどの操作とを行う実行するために、ＧＵＩ１１８を介して、それら画像と再び相互通信してもよい。
【0116】
一実施形態では、画像レジストレーションに微調整が必要な場合は、ユーザが、表示部１２０の矢印キー、または、コンピュータシステム１２１のキーボードを使って、重なっている画像をその場で数ピクセルずつ動かすことにより、レジストレーション画像を動かすことができる。
【0117】
一実施形態では、画像レジストレーションにおけるエラーは、管理者に報告される。さらに、一実施形態では、位置ずれや、位置の大きな変化のため、画像レジストレーションのやり直しが必要な場合は、レジストレーションを再度開始することができ、最新のフレームが、レジストレーションの新たな最終画像となる。
【0118】
この実施形態例において、いくらかの時間の経過後、蛍光透視像撮影装置画像ソース１０２からもう一つの画像が取り込まれ（画像３）、フレームバッファ１１９を介して受信、レンダリングされ、クライアントコンピュータ１２１の表示部１２０によって表示される。一実施形態では、画像３が、セッションのためにコアレジストレーションエンジン１０８によって破棄された画像２に代替する。一実施形態では、コアレジストレーションエンジン１０８および反復位置合わせエンジン１１３が、画像３に関連して画像１を変換するが、ウィンドウレベル、融合レベル、ズームなどの状態は、当初は、画像１と画像２との融合画像表示に基づいているため、この時点で、必要に応じて、ユーザが、融合画像の表示を変更するために、再び表示部１２０上の画像と相互通信してもよい。
【0119】
一実施形態では、コアレジストレーションエンジン１０８によって、このセッションで取り込まれた追加の画像があれば、現時点の参照画像の置き換えがこのパターンで続けられる一方、セッションでフローティング画像としてプッシュ送信された最初の画像は維持される。この実施形態例において、これ以上取り込まれる画像がなければ、ユーザがＧＵＩ１１８を閉じ、表示部１２０上の開始画面に戻る。融合セッションはこの時点で終了し、一実施形態では、前回のセッションで使用された画像が、次回以降のセッションで、直接使用可能（もしくは不可能）となる。
【0120】
一実施形態では、この実施形態例のワークフローおよびＧＵＩ１１８全般を円滑にするのは、蛍光透視レジストレーションエンジン１０１の基盤となるコアレジストレーションエンジン１０８と、蛍光透視像に関するボリュメトリック画像の変換を行う反復位置合わせエンジン１１３とである。一実施形態では、蛍光透視レジストレーションエンジン１０１が、あるモダリティ画像を、異なるモダリティ画像に直接変換することができる。一方、一実施形態では、以前のフレームが受信融合されている場合は、本発明の蛍光透視レジストレーションエンジン１０１が、ヒューリスティクス手法を試みて、現在のレジストレーションを誘導するために、それ以前のレジストレーション結果を使用する。
【0121】
一実施形態では、ユーザが行った全ての動作の詳細なログが、コアレジストレーションエンジン１０８のメモリ１２５によって、記録される。
【0122】
一実施形態では、この実施形態例のワークフローは、異なるニーズに対応するために種々変更可能である。例えば、一実施形態では、ＧＵＩ１１８を介したＤＩＣＯＭ ＰＡＣＳ１０６の読み込みによって、ＵＳＢまたはＣＤから直接画像をアップロードしてもよい。他の実施形態では、単一の画像ソースが、１セッションで使用される全ての画像を生成してもよいが、他の実施形態において、その画像ソースが多数あってもよい。また、他の実施形態では、融合は、自動的に実施されるのではなく、ＧＵＩ１１８のボタンを使用するユーザが開始することもできる。
【0123】
一実施形態では、現在のレジストレーションに関連するそれ以前のレジストレーションの解がない場合における、３Ｄ画像のボリュームを蛍光透視像にレジストレーションする代表的ワークフローを以下に説明する。蛍光透視を行う間に、様々な他のシナリオが発生する可能性があり、そのセッションからの事前のレジストレーションは、本発明が現在のレジストレーションの不具合のために使用することができる変換結果を有する。
【0124】
一実施形態では、蛍光透視法を要するステージが始まる前に、全ての既存の３Ｄ画像は、（上記の）コアレジストレーションエンジン１０８における非剛体レジストレーション技術を用いて、蛍光透視像と共にレジストレーションされる３ＤＣＴ画像の空間に、まとめてレジストレーションされる。一実施形態では、３ＤＣＴ画像は、蛍光透視像との基準線合わせにおいて使用される。
【0125】
より詳しくは、一実施形態では、蛍光透視レジストレーションエンジン１０１の自律的融合処理の代表的ワークフローは、大動脈セグメントをライブ蛍光透視像と重ね合わせる状況での（図５参照）ＤＩＣＯＭ ＰＡＣＳ１０６のプッシュインターフェースの使用を含む。
【0126】
代表的ワークフロー５００の一実施形態では、まず、造影ＣＴ画像５０１が、本処置の対象血管である大動脈５０２について、（適切な医療機器を使用して）セグメント化される。一実施形態では、大動脈セグメント５０２は、コアレジストレーションエンジン１０８によって、ラベルマップとして、グラフィックスメモリ１１１のボリュームデータ１１０に保存され、元のＣＴ画像５０１と同じボリュメトリック空間内に新たな画像ボリュームが作成される。一実施形態では、大動脈セグメント５０２と、元のＣＴ画像５０１との両方が、コアレジストレーションエンジン１０８によって、画像選択処理にプッシュ送信される。コアレジストレーションエンジン１０８は、入力メモリ１０４から、対応ボリューム（参照画像）および視覚化ボリューム（フローティング画像）としての画像を、それぞれ選択する。
【0127】
一実施形態では、ユーザによって、腹部が体内の位置として選択され、最初の方向がＡＰ前後方向として選択される。この時点で、一実施形態では、蛍光透視レジストレーションエンジン５０３の反復位置合わせエンジン１１３が、蛍光透視像５０４とＣＴ画像５０１との対応箇所を発見し（画像５０５参照）、それらのパラメータを用いて、蛍光透視像５０４上に大動脈セグメントの画像５０２を重ね合わせ（重ね合わせ画像５０６参照）、フレーム内の位置を明確にすることで、融合が進められる。
【0128】
一実施形態では、３ＤＣＴ画像５０１および蛍光透視像５０４の配置が見出されると、３ＤＣＴ画像５０１と位置合わせされている他の画像データは、上記と同じ変換方法を利用して、リンファインメントに使用されてもよく、高度視覚化に使用されてもよい。
【0129】
一実施形態では、処理の視覚化に関する部分が終了すると、表示部１２０上の蛍光透視像フレームが空になり、コアレジストレーションエンジン１０８に融合処理を停止させる。
【0130】
一実施例において、蛍光透視像レジストレーション処理のステージのいくつかは、適切な条件下で蛍光透視レジストレーションエンジン１０１によって変更されてもよい。例えば、最初の視覚化画像が現れると、蛍光透視像レジストレーションシステム１００の融合処理によって、それ以降の蛍光透視像の更新が続けられる。しかしながら、蛍光透視カメラの従来の一般動作は、患者の体の別の領域に焦点を合わせるための、患者に沿った移動／調整である。一実施形態では、ユーザによって適用された画像ツールは、画像内で移動するが、患者の体は静止しており、よって、融合画像は同じ位置にある。
【0131】
しかしながら、一実施形態おいて、何らかの時に、ユーザの操作により、体の異なる部分へのカメラフレームの不連続なパンが起こる。一実施形態では、コアレジストレーションエンジン１０８がそれを検出し、蛍光透視像レジストレーション処理をもう一度開始し、数秒後に、反復位置合わせエンジン１１３によって、新たな融合画像が作成される。よって、一実施形態では、その後、それ以前の画像レジストレーション処理の結果は、蛍光透視レジストレーションエンジン１０１の同じ変換による調整のみを必要とする。
【0132】
一実施形態では、蛍光透視像が重さなる場合（つまり、被検体に対してカメラのスムーズなパンが行われた場合）、２つのレジストレーション画像のレジストレーションにおいて、蛍光透視レジストレーションエンジン１０１によって、この変換を、明らかにできる。一実施形態では、上記変換は、同様に、融合処理中の画像に適用することができ、その画像を動かすことにより、全てのレジストレーションステージ（つまり、類似性、最適化など）を必要とせずに、画像の迅速で正確な更新が行われる。
【0133】
患者の位置に関して、その他の実施形態例では、造影剤の投与時に一般的に取得される血管造影用画像またはデジタルサブトラクション画像が、患者の血管およびその他の構造物の２Ｄ投影図を生成する。一実施形態では、これら構造物が強調されることにより、被検体の位置が変更されることはないが、内部の変形可能な構造物の形状および位置の変化に関する新たな情報が提供される。同様に、血管内に導入されたカテーテルなど、構造物に対応する蛍光透視像内で見えるユーザの機器によっても、構造物の変形の情報が得られる。しかしながら、一実施形態では、本発明の蛍光透視レジストレーションエンジン１０１は、非剛体レジストレーションの最終ステージを実行し、非線形変換のみを更新することにより、対応する重ね合わせ画像を更新し、より正確な重ね合わせ画像を作成する。
【0134】
一実施形態では、臨床医による追加の相互通信を必要とせずに上記の各シナリオを呼び出すために、イベント分類器１１２が、上記のようにコアレジストレーションエンジン１０８と連動させて使用される。一実施形態では、上記のように、コアレジストレーションエンジン１０８は、蛍光透視装置から直接撮影されたフレームを入力として取得し、その時点の画像フレーム（および最後のフレーム）の特徴を分析し、いずれのシナリオを呼び出すか決定する。一実施形態では、その結果は、画像融合を動的に呼び出すシステムであり、途切れがなく、相互通信不要な融合をユーザに提供できる。
【0135】
一実施形態では、図６に示すように、蛍光透視レジストレーションエンジン１０１は、蛍光透視動画データのラベル付け、および、インデックス作成の独自の方法を可能にする。一実施形態では、コアレジストレーションエンジン１０８が、代表的ワークフローに関連し、上述した撮影動画と、３Ｄ画像データにより作成されるその他のアノテーション（つまり、レジストレーション内容や既存のマップに基づき、自動アノテーションされたラベル）とを取得し、アノテーションがあれば、各動画フレームのピクセル一組と関連付ける。一実施形態では、３Ｄラベルと２Ｄ動画データとの関連付けは、蛍光透視レジストレーションエンジン１０１により発見された変換を通して行われる。一実施形態では、特定のフレームに関連するアノテーションにより、動画ストリームに対するユーザによるクエリ（「質問例」参照）は、解剖学的構造などのこれらラベルを含むことができ、それらクエリは、セマンティック処理（画像とラベルとがセマンティックレコードに追加され）を経て、コアレジストレーションエンジン１０８により処理され、即座にメモリ１１１から画像を検索および返送し、迅速かつ豊富な症例確認を可能とする。
【0136】
例えば、特定の臓器に関連するフレームを複数探している臨床医は、動画シーケンスの全てを確認することなく、それら全てを見つけることができ、長尺動画の広範な確認が不要になる。一実施形態では、図４Ｂに示すように、この方法をイベント分類器１１２のラベルと組み合わせることで、コアレジストレーションエンジン１０８によって蛍光透視動画のシーケンス自体から抽出されたラベルを、ユーザによるクエリに、取り込むことがさらに促進される。
【0137】
一実施形態におけるその他の使用例としては、ステント挿入、針生検、アブレーション、または、造影剤注入などの治療処置の最も重要な部分／臨床的関連性がある部分を確認することができるように、蛍光透視レジストレーションエンジンのコアレジストレーションエンジンを使用して、インターベンション処置のセマンテックインデックスを作成することであろう。
【0138】
その他の実施形態例では、蛍光透視レジストレーションエンジン１０１によって可能になる独自の方法として、ターゲット追跡による蛍光透視像のモーション安定化７００（図７参照）がある。一実施形態では、本発明の蛍光透視安定化は、特定の対象物が編集前の配信動画では動いていたとしても、その対象物を、動画ストリーム内において、同じ位置に固定する。例えば、脊椎への処置は、意識下鎮静法が用いられることが多く、処置の間に患者が動くことが起こりうる。先行技術では、患者の全身の動きに沿って、ターゲットの腰椎も処置中に蛍光透視像内で動き、臨床医が、そのつど調整しなければならない。しかしながら、本発明の蛍光透視レジストレーションエンジン１０１によれば、実際の患者の動きに関わらず、処置の対象をフレーム内で固定することができ、周辺の構造物の相対的な動きのみが表示される。
【0139】
その他の実施形態例では、同じ方法が、蛍光透視法で特定される腫瘍が対象位置として固定される放射線治療に適用される。一実施形態では、蛍光透視レジストレーションエンジン１０１を用いて、患者の動きが追跡され、腫瘍の実際の動きの更新追跡情報として治療提供システムへフィードバックされる。一実施形態では、コアレジストレーションエンジン１０８によって捉えられた対象物の動きを使用して、患者の処置に使用される放射線ビームを誘導し、放射線ビームは、腫瘍と連動して動く。または、放射線ビームは、変調されるか、あるいは、特定領域に腫瘍が位置した場合のみ、照射される。これにより、患者／腫瘍の動きに関わらず、処置の精度を最大にし、周辺の軟組織や骨への不必要な放射線を最小に抑える。
【0140】
特に、リアルタイムで、あらゆる度合いの動きが正確に解釈できない場合、本発明の蛍光透視像レジストレーションシステム１００によって、ターゲットの動きの履歴を使用することができ、その位置をより正確に予測することができる。一実施形態では、蛍光透視レジストレーションエンジン７０１により記録されたそれ以前の動きが３Ｄパス７０２としてモデル化される。一実施形態では、このパスは、蛍光透視像７０３によって追跡される動きに対して位置づけされる。一実施形態では、画像レジストレーションにより、モデル化された３Ｄ動作と、蛍光透視像７０３で確認される２Ｄ動作との間のブリッジが作成される。一実施形態では、４次元（４Ｄ）画像シーケンス（３Ｄボリュームの周期時間シーケンス配列）が用いられ、対象の動きをモデル化した３Ｄトラックを作成する。逆に、複数の角度からの蛍光透視像７０３から派生する３Ｄターゲットの動きをモデル化するために、２Ｄでの周期的な動きが同期され、対象のパスが三角測量される。これは、心拍や継続的な呼吸など周期的に繰り返される動きに特に有用である。
【0141】
セッション中にターゲットの周期的な動きに（例えば、呼吸が荒くなるなどの）変化があると、一実施形態において、蛍光透視レジストレーションエンジン７０１によって、３Ｄターゲット追跡モデルが調整される（符号７０４参照）。一実施形態では、ターゲットパス７０５の調整において、蛍光透視レジストレーションエンジン７０１によって傾向が検出されると、それ以降の調整が、あらかじめターゲット追跡モデルに適用され、コアレジストレーションエンジン１０８による２Ｄ蛍光透視像から３Ｄ動作パスの動的修正が可能となる。
【0142】
周期的な動きの調整は、ターゲットが呼吸による動きの影響を受ける場合の放射線治療において有用である。処置が、固定された光線、モーションゲート、もしくは、画像誘導ロボットのいずれによって行われても、その違いに対応して、現在の標準医療では、処置に対する十分なマージンが設けられるが、有害な放射線が健康な組織まで過剰に処置する恐れがある。本発明の蛍光透視像レジストレーション結果に基づく周期的な動きの調整によれば、こういった処置のマージンが調節７０６、つまり、縮小され、健康な組織が温存される。
【0143】
肺疾患に関するその他の実施形態例では、病変の周期的な動きのパスのいくつかについては、ターゲットの最初のパスと戻る時のパスとが異なるループ内を、ターゲットが移動する。例えば、（呼吸器の診断で三番目に多い）慢性閉塞性肺疾患（ＣＯＰＤ）患者は、瘢痕による肺の屈折や気泡とともに見られる実質性肺障害により、ターゲットの動きのパスが非対称であることが多い。こう言った非対称な動きにより、現在の放射線治療のプランニングは複雑化し、処置対処となりうる全領域にマージンを加えることになる。放射線の形や強度は病変に十分な放射線が確実に届くよう構成されるが、十分な放射線量が健康な組織にも投与さることになり、合併症を引き起こし、予後を悪化させる。
【0144】
しかしながら、図６を参照して上述したように、本発明の蛍光透視像レジストレーションシステム１００の技術を用いることにより、呼吸サイクルにある病変の位置決めを、精緻化できる。その時の患者の呼吸がどのフェーズにあるかを知るだけで、一実施形態では、処置の放射線ビームの調節ができ、ターゲットがターゲットパスのうちの一つを移動すると判明している場合のみ、ある量の放射線が照射される。一実施形態では、マージンを狭くすることで、健康な細胞に到達する放射線量が少なくなり、合併症を軽減し、予後を改善させる。
【0145】
本発明の上記の実施形態は、本発明の原理を明確に理解するために実施のありうる例を単に述べたものであることが強調される。本発明の上記実施例には、本発明の趣旨や原理から逸脱しない変形、改良がなされてもよい。それら全ての変形および改良は、本発明の範囲に含まれ、下記請求項にて保護されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】