特許 7490737 心腔内エコー法のスマートイメージナビゲーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-17

(45)【発行日】2024-05-27

(54)【発明の名称】心腔内エコー法のスマートイメージナビゲーション

(51)【国際特許分類】

   A61B 8/12 20060101AFI20240520BHJP

   A61B 6/12 20060101ALI20240520BHJP

   A61B 34/20 20160101ALI20240520BHJP

【ＦＩ】

A61B8/12

A61B6/12

A61B34/20

【請求項の数】 23

【外国語出願】

(21)【出願番号】P 2022184683

(22)【出願日】2022-11-18

(65)【公開番号】P2023077407

(43)【公開日】2023-06-05

【審査請求日】2023-03-31

(31)【優先権主張番号】17/456,458

(32)【優先日】2021-11-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】593063105

【氏名又は名称】シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド

【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ．

(74)【代理人】

【識別番号】110003317

【氏名又は名称】弁理士法人山口・竹本知的財産事務所

(74)【代理人】

【識別番号】100075166

【弁理士】

【氏名又は名称】山口 巖

(74)【代理人】

【識別番号】100133167

【弁理士】

【氏名又は名称】山本 浩

(74)【代理人】

【識別番号】100169627

【弁理士】

【氏名又は名称】竹本 美奈

(72)【発明者】

【氏名】ルゥイ リィアォ

(72)【発明者】

【氏名】ヨン－ホ キム

(72)【発明者】

【氏名】ジャーロッド コリンズ

(72)【発明者】

【氏名】セバスチャン ピアット

(72)【発明者】

【氏名】アンクル カプール

(72)【発明者】

【氏名】アブドゥル アジーズ アマドゥ

(72)【発明者】

【氏名】トマーゾ マンシ

(72)【発明者】

【氏名】ノハ エイ－ゼヒリ

(72)【発明者】

【氏名】ドラン コマニチ

(72)【発明者】

【氏名】サシャ グルビッチ

(72)【発明者】

【氏名】ポォー リウ

(72)【発明者】

【氏名】ジン－ヒョン パク

(72)【発明者】

【氏名】ヂォゥピン シィー

(72)【発明者】

【氏名】シィェンヂィン エス． ヂァン

【審査官】松岡 智也

(56)【参考文献】

【文献】特表２０２１－５１５６４７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１４５４１２（ＵＳ，Ａ１）

【文献】特表２０１４－５１８１２３（ＪＰ，Ａ）

【文献】特表２０１９－５０１７０３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２、８／００－８／１５、３４／００－９０／９８

Ａ６１Ｆ ２／８２－２／９７

Ａ６１Ｍ ２５／００－２９／０４、３５／００－３６／０８、

３７／００、９９／００

Ｇ０６Ｔ １／００－１／４０、３／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０、３０／４１８、

４０／１６、４０／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータにより実行される方法であって、
前記コンピュータが、患者内のカテーテルの現在ビューの画像を受信し、
前記コンピュータが、前記カテーテルを前記現在ビューから目標ビューを目指してナビゲートするロボットナビゲーションシステムのアクションセットを、機械学習ベースネットワークを用いて判断し、
前記機械学習ベースネットワークは、位置推定コンポーネント及びローカル探索コンポーネントを備え、前記位置推定コンポーネントが、前記目標ビューに対する前記現在ビューの相対位置を推定するように構成され、前記ローカル探索コンポーネントが、ＡＩエージェントを訓練して前記カテーテルを前記目標ビューに近づける可能なアクションの報酬値を予測するように構成され、
前記コンピュータが、前記アクションセットに従って前記ロボットナビゲーションシステムを作動させ、前記現在ビューから前記目標ビューを目指して、前記カテーテルを患者内で自動ナビゲートする、ことを含む、方法。

【請求項2】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断するときに、
前記コンピュータが、
前記目標ビューを表す、患者の術前医用画像を受信し、
前記術前医用画像と前記カテーテルの前記現在ビューの前記画像との間の第１のレジストレーションを実行し、
前記術前医用画像と、前記現在ビューの位置から患者内の予定の位置にナビゲートされた前記カテーテルのビューの画像と、の間の第２のレジストレーションを実行し、
前記第１のレジストレーションと前記第２のレジストレーションとに基づいて、前記現在ビューから前記術前医用画像に表された前記目標ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する、ことを含む、請求項１に記載の方法。

【請求項3】

前記術前医用画像は、前記カテーテルを自動ナビゲートする実施中の医療処置の計画段階で取得された医用画像である、請求項２に記載の方法。

【請求項4】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断するときに、
前記コンピュータが、
１つ以上の保存医用画像から選択された、前記目標ビューを表す保存医用画像を受信し、
前記カテーテルの前記現在ビューの前記画像に対応する前記ロボットナビゲーションシステムの設定を表す第１の頂点から、前記選択された保存医用画像に対応する前記ロボットナビゲーションシステムの設定を表す第２の頂点へ、グラフにおける経路を決定し、
該決定した経路に基づいて、前記現在ビューから前記選択された保存医用画像に表された前記目標ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する、ことを含む、請求項１に記載の方法。

【請求項5】

前記１つ以上の保存医用画像を、前記カテーテルを自動ナビゲートする実施中の医療処置中に保存することをさらに含む、請求項４に記載の方法。

【請求項6】

ユーザ入力の受信に応じて前記グラフに頂点を付すことによってユーザが前記カテーテルをナビゲートするときに前記グラフを生成することをさらに含む、請求項４に記載の方法。

【請求項7】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断するときに、
前記コンピュータが、
前記目標ビューとして患者の標準的な解剖学的ビューを表している１つ以上の画像を受信し、
前記現在ビューから前記１つ以上の画像に表されている前記標準的な解剖学的ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する、ことを含む、請求項１に記載の方法。

【請求項8】

前記標準的な解剖学的ビューが、患者の臨床的に重要なビューである、請求項７に記載の方法。

【請求項9】

前記コンピュータが、前記現在ビューの前記画像を前記目標ビューの画像と比較して類似性尺度を判断し、
前記コンピュータが、前記受信と前記判断と前記自動ナビゲートを、類似性閾値を満足するまで繰り返す、ことをさらに含む、請求項１に記載の方法。

【請求項10】

前記コンピュータが、前記カテーテルの前記現在ビューの分類又は前記カテーテルの前記現在ビュー中の１つ以上の解剖学的対象の同定の少なくともいずれかを実行し、
前記コンピュータが、前記カテーテルの前記現在ビューの前記分類又は前記カテーテルの前記現在ビュー中の前記１つ以上の解剖学的対象の同定の少なくともいずれかを識別する、ことをさらに含む、請求項１に記載の方法。

【請求項11】

患者内のカテーテルの現在ビューの画像を受信する手段と、
前記カテーテルを前記現在ビューから目標ビューを目指してナビゲートするロボットナビゲーションシステムのアクションセットを、機械学習ベースネットワークを用いて判断する手段と、
前記機械学習ベースネットワークは、位置推定コンポーネント及びローカル探索コンポーネントを備え、前記位置推定コンポーネントが、前記目標ビューに対する前記現在ビューの相対位置を推定するように構成され、前記ローカル探索コンポーネントが、ＡＩエージェントを訓練して前記カテーテルを前記目標ビューに近づける可能なアクションの報酬値を予測するように構成され、
前記アクションセットに従って前記ロボットナビゲーションシステムにより、前記現在ビューから前記目標ビューを目指して、前記カテーテルを患者内で自動ナビゲートする手段と、を含む装置。

【請求項12】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断する前記手段は、
前記目標ビューを表す、患者の術前医用画像を受信する手段と、
前記術前医用画像と前記カテーテルの前記現在ビューの前記画像との間の第１のレジストレーションを実行する手段と、
前記術前医用画像と、前記現在ビューの位置から患者内の予定の位置にナビゲートされた前記カテーテルのビューの画像と、の間の第２のレジストレーションを実行する手段と、
前記第１のレジストレーションと前記第２のレジストレーションとに基づいて、前記現在ビューから前記術前医用画像に表された前記目標ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する手段と、を含む、請求項１１に記載の装置。

【請求項13】

前記術前医用画像は、前記カテーテルを自動ナビゲートする実施中の医療処置の計画段階で取得された医用画像である、請求項１２に記載の装置。

【請求項14】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断する前記手段は、
１つ以上の保存医用画像から選択された、前記目標ビューを表す保存医用画像を受信する手段と、
前記カテーテルの前記現在ビューの前記画像に対応する前記ロボットナビゲーションシステムの設定を表す第１の頂点から、前記選択された保存医用画像に対応する前記ロボットナビゲーションシステムの設定を表す第２の頂点へ、グラフにおける経路を決定する手段と、
該決定した経路に基づいて、前記現在ビューから前記選択された保存医用画像に表された前記目標ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する手段と、を含む、請求項１１に記載の装置。

【請求項15】

前記１つ以上の保存医用画像を、前記カテーテルを自動ナビゲートする実施中の医療処置中に保存する手段をさらに含む、請求項１４に記載の装置。

【請求項16】

ユーザ入力の受信に応じて前記グラフに頂点を付すことによってユーザが前記カテーテルをナビゲートするときに前記グラフを生成する手段をさらに含む、請求項１４に記載の装置。

【請求項17】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断する前記手段は、
前記目標ビューとして患者の標準的な解剖学的ビューを表している１つ以上の画像を受信する手段と、
前記現在ビューから前記１つ以上の画像に表されている前記標準的な解剖学的ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する手段とを含む、請求項１１に記載の装置。

【請求項18】

コンピュータプログラム命令を記録する非一時的コンピュータ可読媒体であって、
前記コンピュータプログラム命令を実行するプロセッサが、
患者内のカテーテルの現在ビューの画像を受信し、
前記カテーテルを前記現在ビューから目標ビューを目指してナビゲートするロボットナビゲーションシステムのアクションセットを、機械学習ベースネットワークを用いて判断し、
前記機械学習ベースネットワークは、位置推定コンポーネント及びローカル探索コンポーネントを備え、前記位置推定コンポーネントが、前記目標ビューに対する前記現在ビューの相対位置を推定するように構成され、前記ローカル探索コンポーネントが、ＡＩエージェントを訓練して前記カテーテルを前記目標ビューに近づける可能なアクションの報酬値を予測するように構成され、
前記アクションセットに従って前記ロボットナビゲーションシステムにより、前記現在ビューから前記目標ビューを目指して、前記カテーテルを患者内で自動ナビゲートする、ことを含むオペレーションを実行する、非一時的コンピュータ可読媒体。

【請求項19】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断するオペレーションは、
前記目標ビューを表す、患者の術前医用画像を受信し、
前記術前医用画像と前記カテーテルの前記現在ビューの前記画像との間の第１のレジストレーションを実行し、
前記術前医用画像と、前記現在ビューの位置から患者内の予定の位置にナビゲートされた前記カテーテルのビューの画像と、の間の第２のレジストレーションを実行し、
前記第１のレジストレーションと前記第２のレジストレーションとに基づいて、前記現在ビューから前記術前医用画像に表された前記目標ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する、ことを含む、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断するオペレーションは、
１つ以上の保存医用画像から選択された、前記目標ビューを表す保存医用画像を受信し、
前記カテーテルの前記現在ビューの前記画像に対応する前記ロボットナビゲーションシステムの設定を表す第１の頂点から、前記選択された保存医用画像に対応する前記ロボットナビゲーションシステムの設定を表す第２の頂点へ、グラフにおける経路を決定し、
該決定した経路に基づいて、前記現在ビューから前記選択された保存医用画像に表された前記目標ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する、ことを含む、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項21】

前記カテーテルを前記現在ビューから前記目標ビューを目指してナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを、前記機械学習ベースネットワークを用いて判断するオペレーションは、
前記目標ビューとして患者の標準的な解剖学的ビューを表している１つ以上の画像を受信し、
前記現在ビューから前記１つ以上の画像に表されている前記標準的な解剖学的ビューを目指して前記カテーテルをナビゲートする前記ロボットナビゲーションシステムの前記アクションセットを判断する、ことを含む、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項22】

前記標準的な解剖学的ビューが、患者の臨床的に重要なビューである、請求項２１に記載の非一時的コンピュータ可読媒体。

【請求項23】

前記オペレーションは、
前記現在ビューの前記画像を前記目標ビューの画像と比較して類似性尺度を判断し、
前記受信と前記判断と前記自動ナビゲートを、類似性閾値を満足するまで繰り返す、ことをさらに含む、請求項１８に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概してＩＣＥ（intracardiac echocardiography：心腔内エコー法）におけるスマートイメージナビゲーションに関し、具体的には、ＩＣＥにおけるカテーテルの自動ナビゲーションに関する。

【背景技術】

【0002】

ＩＣＥ（心腔内エコー法）は、心臓電気生理学的処置のための確立された画像モダリティ（診断法）である。ＩＣＥによりオペレータは、全身麻酔不要で心臓の解剖学的構造、血流、及びデバイスを可視化することができるので、治療ガイダンスや、有害事象の検出と監視に非常に適している。このような利点にもかかわらず、ＩＣＥは、電気生理学的処置でたまにしか使用されない。これは、ＩＣＥの実施が複雑であること、ＩＣＥカテーテルの視野が限られていること、ＩＣＥ処置に２人のオペレータが必要であること、効果的な操作及び撮像には広範な訓練が必要とされること、に起因する。

【発明の概要】

【0003】

一態様によれば、患者内でカテーテルを自動ナビゲートするシステム及び方法が提供される。患者内のカテーテルの現在ビュー（現在像）の画像を受信する。カテーテルを現在ビューから目標ビュー（目標像）を目指してナビゲートするロボットナビゲーションシステムのアクションセット（動作の組み合わせ）を、機械学習ベース（を基礎にした）ネットワークを用いて判断する。カテーテルは、そのアクションセットに従ってロボットナビゲーションシステムにより、現在ビューから目標ビューを目指して、患者内で自動ナビゲートされる。

【0004】

一態様において、患者の術前医用画像を受信する。術前医用画像とカテーテルの現在ビューの画像との間の第１のレジストレーション（位置合わせ）を実行する。術前医用画像と患者内の予定の位置にナビゲートされたカテーテルのビュー（像）の画像との間の第２のレジストレーションを実行する。現在ビューから術前医用画像に相当するビューを目指してカテーテルをナビゲートするロボットナビゲーションシステムのアクションセットは、第１のレジストレーションと第２のレジストレーションとに基づいて判断する。術前医用画像は、カテーテルを自動ナビゲートする当該医療処置の計画段階で取得された医用画像である。

【0005】

一態様において、１つ以上の保存医用画像から選択された保存医用画像を受信（選択を実行）する。カテーテルの現在ビューの画像に対応するロボットナビゲーションシステムの設定（構成／配置）を表す第１の頂点から、選択保存医用画像に対応するロボットナビゲーションシステムの設定を表す第２の頂点へ、グラフにおける経路を決定する。現在ビューから、選択保存医用画像に表された（描写された）ビューを目指してカテーテルをナビゲートする、ロボットナビゲーションシステムのアクションセットは、その決定した経路に基づいて判断する。１つ以上の保存医用画像は、カテーテルを自動ナビゲートする当該医療処置中に保存されたものである。グラフは、ユーザ入力の受信に応じてグラフに頂点を付すことによってユーザがカテーテルをナビゲートするときに生成される。

【0006】

一態様において、患者の標準的な解剖学的ビューを表している１つ以上の画像を受信する。現在ビューからその１つ以上の画像に表されているビューを目指してカテーテルをナビゲートするロボットナビゲーションシステムのアクションセットを判断する。標準的な解剖学的ビューを表している１つ以上の画像は、臨床的に重要なビューを含んでいる。

【0007】

一態様において、現在ビューの画像を目標ビューの画像と比較して類似性尺度を判断する。受信、判断、及び自動ナビゲーションは、類似性閾値を満足するまで繰り返す。

【0008】

一態様において、カテーテルの現在ビューの分類又はカテーテルの現在ビュー中の１つ以上の解剖学的対象の同定の少なくともどちらかを実行する。カテーテルの現在ビューの分類又はカテーテルの現在ビュー中の１つ以上の解剖学的対象の同定の少なくともいずれかが識別される。

【0009】

本発明に関するこれらの利点及び他の利点は、以下の詳細な説明及び図面を参照することにより、当分野で通常の知識をもつ者に把握される。

【図面の簡単な説明】

【0010】

【図1】医療処置の実施にあたりロボットカテーテルナビゲーションシステムを用いてカテーテルを自動ナビゲートするフレームワークを示す、一実施例に係る図。

【図2】医療処置の実施にあたりロボットカテーテルナビゲーションシステムを用いてカテーテルを自動ナビゲートする方法を示す、一実施例に係る図。

【図3】１つ以上の医用画像に従い、術前医用画像に表された目標ビューを目指してカテーテルをナビゲートする方法を示す図。

【図4】１つ以上の医用画像に従い、保存医用画像に表された目標ビューを目指してカテーテルをナビゲートする方法を示す図。

【図5】グラフを生成する際の概略図を示す、一実施例に係る図。

【図6】１つ以上の医用画像に従い、患者の標準的な解剖学的ビューを目指してカテーテルをナビゲートする方法を示す図。

【図7】現在ビューから目標ビューを目指してカテーテルをナビゲートするロボットナビゲーションシステムのアクションセットを判断する際のワークフローを示す、一実施例に係る図。

【図8】１つ以上の目標ビューに対しカテーテルの現在ビューの相対的位置を推定する深層学習（ディープラーニング）モデルのネットワークアーキテクチャを示す、一実施例に係る図。

【図9】標識された解剖学的対象と共にカテーテルのビューの一例を示す、一実施例に係る図。

【図10】患者の解剖学的構造の実時間定量化及びそこに識別された治療デバイスの実時間追跡と共にカテーテルのビューの一例を示す、一実施例に係る図。

【図11】一実施形態を実行するために使用可能な人工ニューラルネットワークを例示する図。

【図12】一実施形態を実行するために使用可能な畳み込みニューラルネットワークを例示する図。

【図13】一実施形態を実行するために使用可能なコンピュータの高レベルブロック図。

【発明を実施するための形態】

【0011】

本発明は、概して言えば、ＩＣＥ（心腔内エコー法）におけるスマートイメージナビゲーションの方法及びシステムに関する。本発明の実施例が、当該方法及びシステムを視覚的に理解できるようにここで説明される。デジタル画像は、多くの場合、１つ以上の物体（又は形状）のデジタル表現から構成される。物体のデジタル表現は、おおよそ、物体を識別し操作するという観点でここに説明される。その操作は、コンピュータシステムのメモリや他の回路／ハードウエアにおいて達成される仮想操作である。したがって、本発明の実施例は、コンピュータシステムに保存されたデータを用いてコンピュータシステムで実行可能であることが理解される。

【0012】

本発明は、概して、ロボットカテーテルナビゲーションシステムを自動制御し、医療処置において患者の医用画像に表された目標ビューを目指してカテーテルをナビゲートすることに関する。ここで使用する場合、医用画像に表されたビューは、医用画像の描写にあてはまる。したがって、医用画像に表された目標ビューを目指してカテーテルをナビゲートすることにより、カテーテルのビューが医用画像に表された目標ビューと実質的に同じになるように、カテーテルがナビゲートされる。ここに説明する様々な実施例は、術前計画医用画像に表されたビュー、医療処置中に先に取得されてブックマークされた医用画像に表されたビュー、又は、標準の解剖学的に重要なビューである、目標ビューを提供する。ここに説明する実施例は、効率的で、正確で、再現性のあるビュー回復及び所見を提供する利点がある。

【0013】

一実施例に係る図１は、医療処置を実施するためにロボットカテーテルナビゲーションシステムを用いてカテーテルを自動ナビゲートする際のフレームワーク１００を示す。図１については、図１～図１０を参照して以下に詳述する。一実施例に係る図２は、医療処置を実施するためにロボットカテーテルナビゲーションシステムを用いてカテーテルを自動ナビゲートする方法２００を示す。方法２００の各ステップは、例えば図１３のコンピュータ１３０２など、１つ以上の適切なコンピューティングデバイスによって実行される。図１のフレームワーク１００及び図２の方法２００は、例えばＩＣＥ、ＴＥＥ（transesophageal echo：経食道心エコー法）などの様々な医療処置のために、ロボットカテーテルナビゲーションシステムを用いてカテーテルを自動ナビゲートする際に実行される。

【0014】

図２のステップ２０２において、患者内のカテーテルの現在ビューの画像を受信する。カテーテルの現在ビューは、カテーテルが現在位置している所での当該カテーテルのビューにあてはまる。一例では、図１に示す場合、現在ビューの画像は、フレームワーク１００において、現在のプローブポーズ及びＵＳ（超音波）画像外観１０２に含まれる。

【0015】

現在ビューの画像は、例えば、ＣＴ（コンピュータ断層撮影法）、ＭＲＩ（磁気共鳴画像法）、ＵＳ、Ｘ線、又は他のあらゆる医療画像モダリティ、又は医療画像モダリティの組み合わせなどのいずれかの適切なモダリティのものとすることができる。現在ビューの画像は、例えば二次元（２Ｄ）画像及び／又は三次元（３Ｄ）ボリュームからなり、１つの入力医用画像又は複数の入力医用画像からなる。現在ビューの画像は、画像が取得される都度に例えばＣＴスキャナなどの画像取得デバイスから直接受信することができるし、又は、コンピュータシステムのストレージ又はメモリ（例えば、ＰＡＣＳ（picture archiving and communication system：医療用画像管理システム））から、先に（前に）取得された医用画像をロードしたり、リモート（遠隔）コンピュータシステムから送信されてきた医用画像を受信したりして、受け取ることができる。

【0016】

図２のステップ２０４において、機械学習ベース（を基礎にした）ネットワークを用いて、現在ビューから目標ビューを目指してカテーテルをナビゲートするためにロボットナビゲーションシステムのアクションセットを判断する。ロボットカテーテルナビゲーションシステムには、カテーテルの全１２の自由度を操作できるロボットカテーテルナビゲーションシステムが含まれる。カテーテルの１２自由度は、カテーテルを動かすために可能なすべてのアクション：Ｘ、Ｙ、Ｚ平面における正負の平行移動、ヨー、ピッチ、ロールの各軸に関する時計回りと反時計回りの回転、を表す。アクションセットは、カテーテルを動かすために可能なこれらアクションから選択される。

【0017】

第１の実施例において、目標ビューは、術前医用画像に表されたビューである。例えば、図１に示されるように、アクションセットは、フレームワーク１００のオプション１として示す、術前３Ｄデータ（例えば、ＣＴ、ＭＲ、ＵＳ画像）１０４にナビゲートするために判断される。術前医用画像に表された目標ビューを目指してナビゲートすることについては、図３を参照して後述する。

【0018】

第２の実施例において、目標ビューは、カテーテルをナビゲートしている当該医療処置において、先に（前に）取得して保存しておいた医用画像に表されたビューである。例えば、図１に示されるように、アクションセットは、フレームワーク１００のオプション２として示す、保存したＩＣＥビュー１０６にナビゲートするために判断される。保存医用画像に表された目標ビューを目指してナビゲートすることについては、図４を参照して後述する。

【0019】

第３の実施例において、目標ビューは、標準的な解剖学的ビューからなるビューである。標準的な解剖学的ビューは、例えば心臓のＡ４Ｃ（apical 4 chamber：心尖部四腔）などの臨床的に重要なビューである。例えば、図１に示されるように、アクションセットは、フレームワーク１００のオプション３として示す、標準ＩＣＥビュー１０８にナビゲートするように判断される。標準ビューの医用画像に表された目標ビューを目指してナビゲートすることについては、図６を参照して後述する。

【0020】

一実施例において、アクションセットは、カテーテルを動かすために可能なアクションのそれぞれについて報酬値（reward）を予測する機械学習ベースネットワークを用いて判断する。例えば、ＡＩ（人工知能）エージェントが深層強化学習（deep reinforcement learning）で訓練され、ロボットナビゲーションシステムの可能なアクションそれぞれについて報酬値を予測し、最大の報酬値をもつ１つ以上のアクションがアクションセットとして選択される。一例において、図１に示すように、ＡＩビューナビゲーションシステム１１０が、可能なアクションごとに報酬値１１２を予測し、最大報酬値をもつアクションが、ロボットカテーテルナビゲーションシステム１１６を使用してカテーテルをナビゲートするために選択１１４される。機械学習ベースネットワークを用いてアクションセットを判断することについては、図７を参照して後述する。

【0021】

図２のステップ２０６において、カテーテルは、アクションセットに基づいてロボットナビゲーションシステムを使用することで、現在ビューから目標ビューを目指して患者内で自動ナビゲートされる。一例において、図１に示すように、ロボットナビゲーションシステム１１６は、最も高い報酬値をもつアクションを実行１１８する。その後、現在のプローブポーズ及びＵＳ画像外観１０２が更新され、ＡＩビューナビゲーション１１０は、目標ビューを目指してカテーテルをナビゲートするための次のアクションを繰り返し判断する。すなわち、方法２００は、カテーテルを目標ビュー目指してナビゲートするために、何度も繰り返して（例えば、所定回数繰り返して）、反復的に再実行され得る。

【0022】

図３は、１つ以上の医用画像に従って、術前医用画像に表された目標ビューを目指してカテーテルをナビゲートする方法３００を示す。方法３００の各ステップは、例えば図１３のコンピュータ１３０２などの１つ以上の適切なコンピューティングデバイスによって実行可能である。一実施例において、方法３００は、図２のステップ２０４において実行される。図３の方法３００は、図１のオプション１に対応する。

【0023】

図３のステップ３０２において、患者の術前医用画像が受信される。術前医用画像は、カテーテルがナビゲートされている当該医療処置（例えば、図１のフレームワーク１００又は図２の方法２００で実行される医療処置）の計画段階で取得された医用画像である。一例において、図１に示すように、術前医用画像はフレームワーク１００の術前３Ｄデータ１０４である。

【0024】

術前医用画像は、例えば、ＣＴ、ＭＲＩ、ＵＳ、Ｘ線、又は他の医療画像モダリティ、又は、医用画像モダリティの組み合わせなど、各種の適切なモダリティのものである。術前医用画像は、２Ｄ画像及び／又は３Ｄボリュームからなり、１つの入力医用画像又は複数の入力医用画像からなる。術前医用画像は、画像が取得される都度に例えばＣＴスキャナなどの画像取得デバイスから直接受信することができるし、又は、先に取得された医用画像をコンピュータシステム（例えばＰＡＣＳ）のストレージやメモリからロードしたり、リモートコンピュータシステムから送信されてきた医用画像を受信したりして、受け取ることができる。

【0025】

図３のステップ３０４において、術前医用画像とカテーテルの現在ビューの現在画像との間の第１のレジストレーションを実行する。一例において、図１に示すように、第１のレジストレーションは、フレームワーク１００のＡＩ画像フュージョン及び計画システム１２０によって実行される。現在画像は、図２のステップ２０２で受信される現在画像である。カテーテルの現在ビューは、カテーテルが現在位置している所のカテーテルのビューにあたる。第１のレジストレーションは、例えば、各種の適切なアプローチを用いて、ＣＴとＸ線のレジストレーション（例えば、２Ｄ／３Ｄレジストレーション）、ＣＴとＤｙｎａＣＴのレジストレーション（３Ｄ／３Ｄレジストレーション）、又は、ＣＴとＵＳのレジストレーションとして、実行することができる。例えば、第１のレジストレーションは、既知の画像ベースのレジストレーション技術又は既知の深層学習レジストレーション技術に基づいて実行される。第１のレジストレーションは、術前画像に対するカテーテルの位置特定を提供する。

【0026】

図３のステップ３０６において、術前医用画像と、患者内の予定の位置にナビゲートされたカテーテルのビューの画像との間の第２のレジストレーションが実行される。一例において、図１に示すように、第２のレジストレーションは、フレームワーク１００のＡＩ画像フュージョン及び計画システム１２０によって行われる。現在画像（ステップ３０４）を取得した後、カテーテルを患者内の予定の位置にナビゲートし、画像を取得する。患者内の予定の位置は、標準的な位置であってもよいし、そうでなければ既知の位置であってもよく、解剖学的ランドマークをつけてあってよい。第２のレジストレーションは、ステップ３０４における第１のレジストレーションに関して説明されているとおりに実行し得る。第２のレジストレーションは、患者の解剖学的構造に対するカテーテルの位置特定を提供し、術前医用画像が目標ビューを画定するために利用可能な場合にのみ実行される。

【0027】

一実施例において、第２のレジストレーションを実行する代わりに、患者の解剖学的構造に対するカテーテルの位置特定を、２つのＸ線画像を取得してカテーテル先端の正確な姿勢推定を確定することによって、行うことができ、これは次に、（ステップ３０４で決定された）術前画像に自動的にマッピングされる。別の代替例では、ロボットセンサやカテーテルの先端部にある他のセンサ（例えば、慣性測定ユニット又はファイバブラッググレーティング（ＦＢＧ）センサ）を使用してカテーテルの先端部を測位する。

【0028】

図３のステップ３０８において、第１のレジストレーション及び第２のレジストレーションに基づいて、カテーテルの現在ビューから、術前医用画像に表されたビューを目指してカテーテルをナビゲートするために、ロボットナビゲーションシステムのアクションセットを判断する。一例において、図１に示すように、アクションセットは、フレームワーク１００のＡＩビューナビゲーションシステム１１０によって判断される。アクションセットは、図７を参照して後述するが、機械学習ベースネットワークを用いて判断される。

【0029】

一実施例において、ＡＩ（人工知能）エージェントは、第１のレジストレーション及び第２のレジストレーションに基づいて、術前医用画像に表されたそれぞれの目標ビューに対する現在ビューの相対的位置を推定するために、マルチタスク位置推定について訓練される。ＡＩエージェントはＤＲＬ（Deep Reinforcement Learning：深層強化学習）を用いて訓練され、各ステップで継続して目標ビューへ近づいていく。マルチタスク位置推定から得られる目標ビュー位置特定の精度をさらに高めるために、次に深層アクション学習モデルを用いてローカル（局所）サーチ（探索）を実行する。

【0030】

図４は、１つ以上の医用画像に従い、保存された医用画像に表された目標ビューを目指してカテーテルをナビゲートする方法４００を示す。方法４００の各ステップは、例えば図１３のコンピュータ１３０２などの１つ以上の適切なコンピューティングデバイスによって実行される。一実施例において、方法４００は、図２のステップ２０４で実行される。図４の方法４００は、図１のオプション２に対応する。

【0031】

図４のステップ４０２において、保存されている１つ以上の医用画像から保存医用画像の選択を実行する。１つ以上の保存医用画像は、カテーテルをナビゲートしている当該医療処置（例えば、図１のフレームワーク１００又は図２の方法２００で実施される医療処置）において先に取得されて保存された画像である。具体的に、先立つ医療処置の初期段階において、ユーザがカテーテルを患者内の対象となる１つ以上の解剖学的ビューにナビゲートし、そして、ユーザからユーザ入力を受信して、１つ以上の医用画像を取得しブックマークとしてメモリ又はストレージに保存医用画像を保存することにより、容易に再現可能なビューのライブラリを生成する。該医療処置の次の段階において、ステップ４０２で、ユーザは、カテーテルをナビゲートするために１つ以上の保存医用画像からいずれかを選択し、対象の１つ以上の解剖学的ビューを見る。一例において、図１に示す場合、１つ以上の保存医用画像は、フレームワーク１００の保存したＩＣＥビュー１０６である。

【0032】

保存医用画像は、例えば、ＣＴ、ＭＲＩ、ＵＳ、Ｘ線、又は他の医用画像モダリティ、又は医用画像モダリティの組み合わせなど、いずれかの適切なモダリティのものである。例えば、保存医用画像は、２Ｄ画像及び／又は３Ｄボリュームからなり、１つの入力医用画像又は複数の入力医用画像かならる。保存医用画像は、画像を取得する都度に例えばＣＴスキャナなどの画像取得装置から直接受信することができるし、先に取得してある医用画像をコンピュータシステム（例えばＰＡＣＳ）のストレージ又はメモリからロードしたり、リモートコンピュータシステムから送信されてきた医用画像を受け取ることなどでも受信することができる。

【0033】

図４のステップ４０４において、カテーテルの現在ビューの画像に対応するロボットナビゲーションシステムの設定（構成／配置）を表す第１の頂点から、選択保存医用画像に対応するロボットナビゲーションシステムの設定を表す第２の頂点まで、グラフにおける経路を判断する。

【0034】

グラフは、医療処置の事前初期段階において、ユーザが１つ以上の対象とする解剖学的ビューにカテーテルをナビゲートするときに実質的に実時間で、生成される。１つ以上の実施例に係る図５は、グラフを作成する際の概略図５００を示している。医療処置の事前初期段階において、ユーザは、患者内の経路５０２に沿ってカテーテルをナビゲートする。ユーザ入力が受信され、対象の解剖学的ビューを表す画像５０４－Ａ，５０４－Ｂ，５０４－Ｃ，５０４－Ｄ（まとめて保存画像５０４と呼ぶ）を取得して保存する。グラフ５０６は、頂点（又はノード）（図において点で示されている）と頂点を接続するエッジから構成されている。

【0035】

形式的に、letＧ（Ｖ，Ｅ）がトポロジーグラフ５０６を表し、Ｖは頂点の集合、Ｅは、ロボットナビゲーションシステムの設定空間において頂点を接続するエッジである。頂点Ｖは、ロボットナビゲーションシステムの設定ｑを表す。図５に示してある頂点５０８－Ａ，５０８－Ｂ，５０８－Ｃ，５０８－Ｄ（まとめて頂点５０８と呼ぶ）は、保存画像５０４を取得し保存するユーザ入力を受信したときの、ロボットナビゲーションシステムの設定ｑ（運動／動力の状態）に対応している。グラフＧ５０６は、頂点Ｖが接近しずぎないように密度パラメータαに従って頂点Ｖを挿入することにより、生成フェーズにおいて実質的に実時間で生成される。密度パラメータαは、探索空間の解像度に関するユーザ定義パラメータである。密度パラメータαが大きくなれば探索は速くなるが、経路に沿ったステップが大きくなって解剖学的構造と衝突する可能性が高まり、経路の安全性が保証されない可能性が出てくる。（図４に示すステップ４０４の）クエリーフェーズにおいて、ユーザリクエスト（すなわち、図４に示すステップ４０２における保存医用画像の選択）に応じ、開始設定ｑ＿ｓ及び目標設定ｑ＿ｔを含む一組の設定が生成される。開始設定ｑ＿ｓはロボットナビゲーションシステムの現在の設定に相当し、目標設定ｑ＿ｔは、選択保存医用画像に対するロボットナビゲーションシステムの設定に相当する。グラフＧ５０６において頂点Ｖとして各設定が表現されているので、離散探索アルゴリズムを適用して、グラフＧ５０６において開始設定ｑ＿ｓと目標設定ｑ＿ｔとの間の経路を結ぶエッジのシーケンスを判断することができる。離散探索アルゴリズムは、開始設定ｑ＿ｓと目標設定ｑ＿ｔとの間の経路を判断するために適切な各種のアルゴリズムで、例えばＡ＊（エースター）探索アルゴリズムなどである。カテーテルの現在位置がグラフＧ５０６の頂点に対応していない場合は、（密度パラメータαが満たされていると仮定して）新しいノードを現在位置のためにグラフＧ５０６に追加する。

【0036】

図４のステップ４０６において、判断した経路に基づいて、カテーテルの現在ビューから、選択保存医用画像に表されたビューを目指してカテーテルをナビゲートするために、ロボットナビゲーションシステムのアクションセットを判断する。アクションセットは、選択保存医用画像に表された目標ビューに基づいて与えられる。現在の状態（１つのノード）が既知なので、目標ビューへの経路（動作セット）は特定される。図４の方法４００は、経路を容易に再現するために、以前に生成されたすべての可能な軌跡を有する。一例において、図１に示すように、アクションセットは、フレームワーク１００のＡＩビューナビゲーションシステム１１０によって判断される。アクションセットは、図７を参照して後述するが、機械学習ベースネットワークを用いて判断できる。

【0037】

一実施例において、カテーテルの現在ビューの画像を選択保存医用画像と比較して実時間画像類似性尺度を生成することによって、ローカル（局所）ビューの微調整を適用することができる。画像類似性尺度は、各種の適切な尺度であり、例えば、正規化相互相関（ＮＣＣ）、構造類似性尺度、Ｄｉｃｅ類似性係数、又は他の適切な測定基準である。実時間画像類似性尺度は目的関数として扱われ、カテーテルの現在ビューの画像と選択保存医用画像との間の画像類似性閾値を最大化するか又は満足するように、カテーテルが操作される。このアプローチは連続して実行され、それによって、カテーテルは、判断された経路に従って目標ビューを目指し操作され、そしてカテーテルの位置は、最小の画像類似性基準が満たされるまで、徐々に微調整される（例えば、方法２００を反復することによって）。

【0038】

図６は、１つ以上の医用画像に従って、患者の標準的な解剖学的ビューにカテーテルをナビゲートする方法６００を示す。方法６００の各ステップは、例えば図１３のコンピュータ１３０２などの１つ以上の適切なコンピューティングデバイスによって実行することができる。一実施例において、方法６００は、図２のステップ２０４で実行される。図６の方法６００は、図１のオプション３に対応する。

【0039】

図６のステップ６０２において、患者の標準的な解剖学的ビューを表している１つ以上の画像を受信する。標準的な解剖学的ビューは、患者の臨床的に重要なビューである。標準的な解剖学的ビューの例には、ＰＬＡＸ（傍胸骨長軸）、ＰＳＡＸ（傍胸骨短軸）、Ａ４Ｃ（心尖部四腔）、Ａ３Ｃ（心尖部三腔）、Ａ２Ｃ（心尖部二腔）、肋骨下、及びＳＳＮ（胸骨上）が含まれる。この標準的な解剖学的ビューは、カテーテルがナビゲートされている当該医療処置（例えば、図１のフレームワーク１００又は図２の方法２００で実行されている医療処置）において、前に見られていない又はナビゲートされていない。一例において、図１に示す場合、１つ以上の保存医用画像は、フレームワーク１００の標準ＩＣＥビュー１０８である。

【0040】

標準的な解剖学的ビューを表す１つ以上の画像は、各種の適切なモダリティのものであり、例えば、ＣＴ、ＭＲＩ、ＵＳ、Ｘ線、又はその他の医療画像モダリティ、又は医療画像モダリティの組み合わせなどである。この１つ以上の画像は、２Ｄ画像及び／又は３Ｄボリュームからなり、１つの入力医用画像又は複数の入力医用画像からなる。１つ以上の画像は、画像が取得される都度に例えばＣＴスキャナなどの画像取得装置から直接受信することができるし、先に取得されている医用画像をコンピュータシステム（例えばＰＡＣＳ）のストレージ又はメモリからロードしたり、リモートコンピュータシステムから送信されてきた医用画像を受信したりして、受信することもできる。

【0041】

図６のステップ６０４において、機械学習ベースネットワークを用いて、現在ビューから標準的な解剖学的ビューを表している１つ以上の画像へカテーテルをナビゲートするために、ロボットナビゲーションシステムのアクションセットを判断する。一例において、図１に示す場合、アクションセットは、フレームワーク１００のＡＩビューナビゲーションシステム１１０によって判断される。アクションセットは、図７を参照して後述するが、機械学習ベースネットワークを用いて判断される。

【0042】

一実施例に係る図７は、現在ビューから目標ビューを目指してカテーテルをナビゲートするためのロボットナビゲーションシステムのアクションセットを判断するワークフロー７００を示す。一例において、ワークフロー７００は、図１のＡＩビューナビゲーションシステム１１０によって実行される。ワークフロー７００は、図２のステップ２０４、図３のステップ３０８、図４のステップ４０６、又は図６のステップ６０４において、ロボットナビゲーションシステムのアクションセットを判断するために実行される。ワークフロー７００に示されるように、現在ビュー７０２から１つ以上の目標ビュー７０８を目指してカテーテルをナビゲートするアクションセットは、位置推定コンポーネント７０４及びローカル探索コンポーネント７０６による。

【0043】

位置推定コンポーネント７０４は、１つ以上の目標ビュー７０８に対する現在ビュー７０２の相対位置を推定する。一実施例に係る図８は、１つ以上の目標ビューに対するカテーテルの現在ビューの相対的位置を推定するための深層学習モデルのネットワークアーキテクチャ８００を示す。ほぼ決定論的なヒト心臓構造を考慮すると、すべての目標ビューに対する現在ビューの相対位置をマルチタスク学習により同時に学習することが可能である。カテーテルの現在ビューの画像Ｉ８０２と、Ｐ_Ｅ１８０８－Ａ，Ｐ_Ｅ２８０８－Ｂ，Ｐ_ＥＮ８０８－Ｃとして示されている相対位置（まとめて相対位置８０８と呼ぶ）をもつＮ個の目標ビューとが与えられ、ネットワークアーキテクチャ８００は、特徴抽出コンポーネント８０４及び位置推定コンポーネント８０６を含んでいる。特徴抽出コンポーネント８０４は、畳み込み（conv）層とプーリング（pooling）層とを含み、Ｗでパラメータ化されて画像Ｉ８０２から潜在的な特徴を抽出する。位置推定コンポーネント８０６は、画像Ｉ８０２の相対位置８０８をそれぞれ推定するためのＮ分岐を含む。位置推定コンポーネント８０６の各枝は、ＦＣ（全結合）層からなり、｛Ｗ_ｉ｝^ｎ _ｉ＝１でパラメータ化される。マルチタスクモデル訓練対象は、次の目的関数に従って定義される。
［式１］

【0044】

目標ビューごとのネットワークアーキテクチャ８００の深層学習モデルの個別の訓練を比較することで、マルチタスクモデルには次の利点がある。すべての目標ビューの相対的位置には高い相関関係があるから、教師あり学習においてすべての情報を使用することで、Ｐ_Ｅ１８０８－Ａ、Ｐ_Ｅ２８０８－Ｂ、及びＰ_ＥＮ８０８－Ｃの一つ一つを推定する精度を高めることができる。特徴抽出コンポーネントはすべての位置推定コンポーネントによって共有されるので、図８に示した実施例は、Ｎ個の目標ビューに対する相対位置を別々に推定するためのＮ個のモデルを訓練するよりも、メモリ効率に優れる。

【0045】

図７のローカル探索コンポーネント７０６は、各ステップでカテーテルを目標ビューに近づける適切な報酬値を予測するＡＩ（人工知能）エージェントを訓練する深層強化学習により、学習する。この報酬値は、例えば、既知の技術を用いて予測することができる。

【0046】

一実施例において、訓練で、個々の目標ビューの空間関係をさらに活用することができる。例えば、Ａ４Ｃの目標ビューからＡ３Ｃへカテーテルを移動させるためにはプローブ回転のみが必要とされる。上述の方法に従ってＡ４Ｃビューが取得されたとする。Ａ４ＣビューからＡ３Ｃビューへの回転パラメータを予測するために、畳み込みニューラルネットワークを次の目的関数に従って学習させる。
［式２］

式中、Ａ_ｉは訓練画像Ｉ_ｉのグランドトゥルース（正解）回転パラメータであり、μ_{Ａ４Ｃ－Ａ３Ｃ}はＡ４ＣからＡ３Ｃへの平均回転角度であり、訓練サンプルから統計的に学習される。経験的に、μ_{Ａ４Ｃ－Ａ３Ｃ}を予備知識として使用することで、モデル予測精度を大幅に改善することができる。訓練サンプルは、様々なアプローチを経て取得される。例えば、訓練サンプルは、大規模患者集団を通じたヒトの解剖学的構造の全体ビューをもっている他の３Ｄモダリティ（例えば、ＣＴ、ＭＲなど）からＵＳ画像のシミュレーションとして取得できる。別の例では、訓練サンプルは、大規模患者集団を通じて記録されたカテーテル位置及びカテーテル位置の多数のバリエーションとのＵＳ画像の同期取得により、取得される。このような訓練サンプルは、オフライン訓練に使用してもよい。別の例では、訓練サンプルは、オフライン訓練されたモデルからの、より少数の患者を通じたエージェントのオンライン更新によって、取得される。

【0047】

一実施例において、カテーテルのナビゲーション中（例えば、図２のステップ２０６において）、カテーテルの現在ビューは特定の標準的な解剖学的ビュー（例えば、ＰＬＡＸ、ＰＳＡＸ、Ａ４Ｃ、Ａ３Ｃ、Ａ２Ｃ、肋骨下、又はＳＳＮ）であると自動的に分類され、カテーテルの現在ビューに現れている解剖学的対象（例えば、心房、心室、肺静脈、左心耳など）が同定され、現在ビューの分類及び同定された解剖学的対象が現在ビューにおいて識別される。一実施例において、図１に示す場合、カテーテルの現在ビューの分類と解剖学的対象の同定及びラベリングを、フレームワーク１００のＡＩアナトミー認識１２２によって行うことができる。一実施例において、現在ビューの分類及び解剖学的対象のラベリングは、機械学習ベースネットワークを用いて実行される。カテーテルのナビゲーション中に遭遇する解剖学的対象を認識し、認識した解剖学的対象を、次のアクションを最適に計画するためＡＩエージェントに提供することによって、現在ビューの分類及び解剖学的対象のラベリングは、カテーテルのナビゲーションを容易にする。一実施例に係る図９は、ラベルされた解剖学的対象と共にカテーテルを例示する。ビュー９０２では、ＬＡ（左心房）及びＬＡＡ（左心耳）がビューにラベルされている。ビュー９０４では、ＬＡ、ＬＡＡ、及びＬＳＰＶ（左上肺静脈）がビューにラベルされている。

【0048】

一実施例において、例えば「Deep Q-learning from Demonstrations」を用いて、カテーテルをナビゲートするために使用されるＡＩエージェントの訓練及び実行に、臨床医の知識を組み込むことができる。一例において、図１に示す場合、臨床知識が、フレームワーク１００の臨床ノウハウ１２４として表されている。臨床医の知識は、解剖学に関する知識と、具体的な処置における経路計画の一般的手法とを含む。臨床医の知識の例としては、典型的にはＩＣＥ検査が、右心房中央に配置されたカテーテル及び三尖弁に面する中立位置のトランスデューサを用いて得られるホームビューで開始されることが挙げられる。ホームビューは、右心房、三尖弁、右心室、及び大動脈弁の典型的には斜位又は短軸ビューの画像化を提供する。ホームビューから、カテーテルを時計回りに回転させると、大動脈弁を長軸に、右室流出路を見ることができる。さらに時計回りに回転させることにより、左心耳を前方に且つ冠静脈洞を後方にして、僧帽弁及び心房中隔を視覚化することができる。

【0049】

一実施例において、安全チェックが、例えば、画像ベースのアプローチ又はセンサベースのアプローチを使用して、実行される。一例では、図１に示す場合、安全チェックは、フレームワーク１００の安全チェック１２６によって実行される。安全チェックを実行するために、カテーテル（例えば、ＩＣＥカテーテル及び治療用カテーテル）近傍の組織境界が明確に輪郭描画される（例えば、ユーザによって）。カテーテルのナビゲーション中に適正な安全域を割り当てることができるように、カテーテルの実時間追跡を実行する。ＩＣＥカテーテルをナビゲートする場合、共に位置合わせされた術前画像によって提供される拡大解剖学的ビューが、患者の解剖学的構造に対してＩＣＥカテーテルの相対位置を提供するために利用される。

【0050】

一実施例において、実時間（ライブ）の追跡及び定量化を行う。一例において、図１に示す場合、実時間追跡及び定量化は、フレームワーク１００のＡＩ実時間定量化１２８によって実行される。患者の解剖学的構造の実時間定量化と治療デバイスの実時間追跡は、治療提供の最適なガイダンス及びモニタリングをもたらす。一実施例に係る図１０は、患者の解剖学的構造の実時間定量化とそこに同定された治療デバイスの実時間追跡を伴って、カテーテルのビューを例示する。ビュー１００２に示されているのは、左心耳閉鎖処置に関するもので、ＬＡＡ入口モデル１００６は、心周期を通して形状検出及びその測定値の追跡を提供することが示され、これは、デバイスの選択及び治療結果予測に重要である。ビュー１００４に示される場合、心房経中隔穿刺針が、トラッカー１００８によって追跡されている。ＩＣＥ画像における治療デバイスの追跡と、４Ｄ－ＩＣＥ又は共に位置合わせされた術前ボリュメトリック画像（例えば、ＣＴ、ＭＲ、ＵＳ）のいずれかから生成される３Ｄロードマップの背景におけるその表示は、治療中のデバイス位置の監視に役立つ。さらに、同定され追跡される対象の治療デバイス及び／又は解剖学的構造が、ＩＣＥカテーテルをナビゲートするためにＡＩエージェントの制御ループに送られるように使用され、対象の治療デバイス又は解剖学的構造が、処置中、ビューの中心に維持されるか、さもなければビュー内に最適配置される。

【0051】

ここに説明する実施例は、特許請求の範囲に係る方法と共に特許請求の範囲に係るシステムに関して説明される。ここに記載される特徴、利点、代替の実施例は、特許請求の範囲に係る他の対象にもあてはまり、その逆もまた同様である。言い換えれば、システムの請求項は、方法の観点で記載又は請求されている特徴をもって改良することができる。この場合、方法の機能的特徴は、提供するシステムの目的ユニットによって実施される。

【0052】

さらに言えば、ここに説明する特定の実施例は、機械学習ベースネットワークを訓練する方法及びシステムに関して説明され、また、訓練された機械学習ベースネットワーク（又はモデル）を利用する方法及びシステムに関して説明される。ここに記載される特徴、利点、代替の実施例は、特許請求の範囲に係る他の対象にもあてはまり、その逆もまた同様である。言い換えれば、機械学習ベースネットワークを訓練する方法及びシステムの請求項は、訓練された機械学習ベースネットワークを利用する方法及びシステムの観点で記載又は請求されている特徴をもって改良することができ、その逆もまた同様である。

【0053】

具体的に、ここに説明される実施例で適用される訓練された機械学習ベースネットワークは、機械学習ベースネットワークを訓練する方法及びシステムでアレンジされ得る。さらに、訓練された機械学習ベースネットワークの入力データは、訓練入力データの有益な特徴及び実施例を含むことが可能で、その逆もまた同様である。また、訓練された機械学習ベースネットワークの出力データは、出力訓練データの有益な特徴及び実施例を含むことが可能で、その逆もまた同様である。

【0054】

概して言うと、訓練された機械学習ベースネットワークは、ヒトが他人の感情と付き合う認知機能を模倣する。具体的には、訓練データに基づく訓練により、訓練された機械学習ベースネットワークは、新しい状況に適応し、パターンを検出し推測することができる。

【0055】

概して言えば、機械学習ベースネットワークのパラメータは、訓練によって適応させることができる。具体的には、教師あり訓練、半教師あり訓練、教師なし訓練、強化学習、及び／又は能動学習（アクティブラーニング）を用いることができる。さらには、表現学習（別の用語が「特徴学習」）を用いることができる。特に、訓練された機械学習ベースネットワークのパラメータは、訓練のいくつかのステップによって繰り返し適応させることができる。

【0056】

具体的に言うと、訓練された機械学習ベースネットワークには、ニューラルネットワーク、サポートベクトルマシン、決定木、及び／又はベイジアンネットワークを用いることができ、及び／又は、訓練された機械学習ベースネットワークは、ｋ平均クラスタリング、Ｑ学習、遺伝的アルゴリズム、及び／又はアソシエーションルール（結合規則）に基づいたものとすることができる。特に、ニューラルネットワークは、ディープニューラルネットワーク、畳み込みニューラルネットワーク、又は畳み込みディープニューラルネットワークとし得る。さらに言えば、ニューラルネットワークは、敵対的ネットワーク、深層敵対的ネットワーク、及び／又は敵対的生成ネットワークとすることができる。

【0057】

一実施例に係る図１１は、人工ニューラルネットワーク１１００の実施例を示している。「人工ニューラルネットワーク」の別名が、「ニューラルネットワーク」、「人工ニューラルネット」、又は「ニューラルネット」である。例えば、図１のＡＩビューナビゲーションシステム１１０やＡＩアナトミー認識１２２、図２のステップ２０４で適用される機械学習ベースネットワーク、図７の位置推定７０４、及び図８のネットワークアーキテクチャ８００など、ここに説明される機械学習ネットワークは、人工ニューラルネットワーク１１００を使用して実行され得る。

【0058】

人工ニューラルネットワーク１１００は、ノード１１０２－１１２２及びエッジ１１３２，１１３４，・・・，１１３６を含み、各エッジ１１３２，１１３４，・・・，１１３６は、第１のノード１１０２－１１２２から第２のノード１１０２－１１２２への有向接続である。大まかに言うと、第１のノード１１０２－１１２２と第２のノード１１０２－１１２２は別々のノード１１０２－１１２２であり、第１のノード１１０２－１１２２と第２のノード１１０２－１１２２が同一であることも可能である。例えば、図１１において、エッジ１１３２は、ノード１１０２からノード１１０６への有向接続であり、エッジ１１３４は、ノード１１０４からノード１１０６への有向接続である。第１のノード１１０２－１１２２から第２のノード１１０２－１１２２へのエッジ１１３２，１１３４，・・・，１１３６は、第２のノード１１０２－１１２２については「入ってくるエッジ」として、第１のノード１１０２－１１２２については「出ていくエッジ」として、表される。

【0059】

この実施例において、人工ニューラルネットワーク１１００のノード１１０２－１１２２は、層１１２４－１１３０に配列することができ、この層は、ノード１１０２－１１２２の間のエッジ１１３２，１１３４，・・・，１１３６によって導かれる本質的順位を含むことが可能である。特に、エッジ１１３２，１１３４，・・・，１１３６は、ノードの隣り合った層の間にのみ存在することができる。図１１に示した実施例では、入ってくるエッジのないノード１１０２，１１０４のみからなる入力層１１２４、出ていくエッジのないノード１１２２のみからなる出力層１１３０、及び入力層１１２４と出力層１１３０との間の隠れ層１１２６，１１２８がある。通例、隠れ層１１２６，１１２８の数は適宜選択することができる。入力層１１２４内のノード１１０２，１１０４の数は、通常、ニューラルネットワーク１１００の入力値の数に関係し、出力層１１３０内のノード１１２２の数は、通常、ニューラルネットワーク１１００の出力値の数に関係する。

【0060】

具体的には、番号（実数）を、ニューラルネットワーク１１００のノード１１０２－１１２２それぞれに値として割り振ることができる。ここで、ｘ^（ｎ） _ｉ は、ｎ番目の層１１２４－１１３０ のｉ番目のノード１１０２－１１２２の値を表す。入力層１１２４のノード１１０２－１１２２の値は、ニューラルネットワーク１１００の入力値に等しく、出力層１１３０のノード１１２２の値は、ニューラルネットワーク１１００の出力値に等しい。さらに、エッジ１１３２，１１３４，・・・，１１３６のそれぞれは、実数である重み（ウェイト）を含むことができ、特に、重みは区間［－１，１］又は区間［０，１］の範囲内の実数である。ここで、ｗ^{（ｍ，ｎ）} _ｉ，ｊは、ｍ番目の層１１２４－１１３０ のｉ番目のノード１１０２－１１２２とｎ番目の層１１２４－１１３０ のｊ番目のノード１１０２－１１２２との間のエッジの重みを表す。さらに、省略形のｗ^（ｎ） _ｉ，ｊが重みｗ^{（ｎ，ｎ＋１）} _ｉ，ｊに対して定義される。

【0061】

具体的に、ニューラルネットワーク１１００の出力値を計算するために、入力値がニューラルネットワークを通して伝播される。特に、（ｎ＋１）番目の層１１２４－１１３０のノード１１０２－１１２２の値は、ｎ番目の層１１２４－１１３０のノード１１０２－１１２２の値に基づいて、次式によって計算することができる。
［式３］

【0062】

ここに述べる関数ｆは伝達関数である（別名「活性化関数」）。既知の伝達関数は、ステップ関数、シグモイド関数（例えば、ロジスティック関数、一般化ロジスティック関数、双曲線タンジェント、アークタンジェント関数、エラー関数、スムーステップ関数）、又は正規化関数である。伝達関数は主に正規化目的に用いられる。

【0063】

具体的に、上記の値は、ニューラルネットワークを通して層の方向に伝播され、この場合、入力層１１２４の値は、ニューラルネットワーク１１００の入力によって与えられ、第１の隠れ層１１２６の値は、ニューラルネットワークの入力層１１２４の値に基づいて計算することができ、第２の隠れ層１１２８の値は、第１の隠れ層１１２６の値に基づいて計算することができる、などとなる。

【0064】

エッジに値ｗ^{（ｍ，ｎ）} _ｉ，ｊを設定するために、ニューラルネットワーク１１００は、訓練データを用いて訓練する必要がある。具体的には、訓練データは、訓練入力データと訓練出力データとを含む（ｔ_ｉとして表される）。訓練ステップで、ニューラルネットワーク１１００に訓練入力データを適用して、計算された出力データを生成する。特に、訓練データ及び計算された出力データは複数の値を含み、その数が出力層のノード数に等しい。

【0065】

具体的に、計算された出力データと訓練データとの比較が、ニューラルネットワーク１１００において重みを再帰的に適応させるために使用される（逆伝播アルゴリズム）。特に、重みは次式に従って変化する。
［式４］

式中、γは訓練レートであり、番号δ^（ｎ） _ｊは次式のように再帰的に計算できる。
（ｎ＋１）番目の層が出力層でない場合、δ^{（ｎ＋１）} _ｊに基づいて、
［式５］

とし、（ｎ＋１）番目の層が出力層１１３０である場合、
［式６］

とし、ｆ’が活性化関数の一次導関数であり、ｙ^{（ｎ＋１）} _ｊが出力層１１３０のｊ番目のノードに関する比較訓練値である。

【0066】

一実施例に係る図１２は、畳み込みニューラルネットワーク１２００を示している。例えば、図１のＡＩビューナビゲーションシステム１１０やＡＩアナトミー認識１２２、図２のステップ２０４で適用される機械学習ベースネットワーク、図７の位置推定７０４、及び図８のネットワークアーキテクチャ８００など、ここに説明される機械学習ネットワークは、畳み込みニューラルネットワーク１２００を使用して実行装され得る。

【0067】

図１２に示す実施例において、畳み込みニューラルネットワーク１２００は、入力層１２０２と、畳み込み層１２０４と、プーリング層１２０６と、全結合層１２０８と、出力層１２１０とを含む。あるいは、畳み込みニューラルネットワーク１２００は、他の種類の層と共に、複数の畳み込み層１２０４、複数のプーリング層１２０６、及び複数の全結合層１２０８を含むことができる。層の順序は適宜選択することができ、通常は、全結合層１２０８が、出力層１２１０の前の最後の層として使用される。

【0068】

具体的には、畳み込みニューラルネットワーク１２００において、１つの層１２０２－１２１０のノード１２１２－１２２０は、ｄ次元マトリックスとして又はｄ次元画像としてアレンジされているとみなすことができる。特に、二次元の場合、ｎ番目の層１２０２－１２１０においてｉとｊでインデックスされたノード１２１２－１２２０の値は、ｘ^（ｎ） _{［ｉ，ｊ］}と表すことができる。しかし、１つの層１２０２－１２１０のノード１２１２－１２２０の配置は、これらが単にエッジの構造と重みによって与えられるというようなことから、畳み込みニューラルネットワーク１２００で実行される計算に影響を及ぼさない。

【0069】

具体的に、畳み込み層１２０４は、特定数のカーネルに基づいて畳み込み演算をなす入ってくるエッジの構造と重みによって特徴付けられる。特に、入ってくるエッジの構造及び重みは、畳み込み層１２０４のノード１２１４の値ｘ^（ｎ） _ｋが、前の層１２０２のノード１２１２の値ｘ^{（ｎ－１）}に基づいて畳み込みｘ^（ｎ） _ｋ＝Ｋ_ｋ＊ｘ^{（ｎ－１）}として計算されるように、選択される。このときの畳み込み＊は、二次元の場合、次のように定義される。
［式７］

【0070】

ここで、ｋ番目のカーネルＫ_kは、ｄ次元マトリックス（本実施例では二次元マトリックス）であり、通常、ノード１２１２－１２１８の数と比較して小さい（例えば、３×３マトリックス、又は５×５マトリックス）。特に、これは、入ってくるエッジの重みが独立ではなく、それらが前記畳み込み方程式を生成するように選択されることを意味する。具体的に、カーネルが３×３マトリックスである場合、それぞれの層１２０２－１２１０のノード１２１２－１２２０の数にかかわらず、９個の独立した重み（１つの独立した重みに対応するカーネルマトリックスの各エントリー）しかない。特に、畳み込み層１２０４では、畳み込み層のノード１２１４の数は、カーネル数を乗じた先行層１２０２のノード１２１２の数に等しい。

【0071】

先行層１２０２のノード１２１２がｄ次元マトリックスとして配列されている場合、複数のカーネルを用いることは、さらなる次元（「深さ」次元と表す）を加えていると解釈することができ、その結果、畳み込み層１２０４のノード１２１４が、（ｄ＋１）次元マトリックスとして配列される。先行層１２０２のノード１２１２が、深さ次元を含む（ｄ＋１）次元マトリックスとして既に配列されている場合、複数のカーネルを使用することは、深さ次元に沿って拡張していると解釈することができ、その結果、畳み込み層１２０４のノード１２１４は、（ｄ＋１）次元マトリックスとしても配列され、この場合、深さ次元に関する（ｄ＋１）次元マトリックスのサイズは、先行層１２０２よりも大きくカーネル数倍である。

【0072】

畳み込み層１２０４を使用する利点は、入力データの空間的にローカルな相関関係を、隣の層のノード間のローカルな結合性パターンを強化することによって、特に、先行層のノードの小さな領域のみに結合されている各ノードによって、活用可能であることである。

【0073】

図１２に示す実施例において、入力層１２０２は、二次元６×６マトリックスとして配配列された３６のノード１２１２を含む。畳み込み層１２０４は、２つの二次元６×６マトリックスとして配置された７２のノード１２１４を含み、２つのマトリックスの各々は、カーネルを用いた入力層の値の畳み込みの結果である。すなわち、畳み込み層１２０４のノード１２１４は、三次元６×６×２マトリックスとして配列されていると解釈することができ、最後の次元が深さ次元である。

【0074】

プーリング層１２０６は、非線形プーリング関数ｆに基づくプーリング演算をなす、入ってくるエッジの構造と重み及びそのノード１２１６の活性化関数によって、特徴付けることができる。例えば、二次元の場合、プーリング層１２０６のノード１２１６の値ｘ^（ｎ）は、先行層１２０４のノード１２１４の値ｘ^{（ｎ－１）}に基づいて次のように計算することができる。
［式８］

【0075】

言い換えると、プーリング層１２０６を用いることによって、先行層１２０４内の隣り合うノード１２１４の数ｄ１・ｄ２を、プーリング層内の隣り合う上記ノード数の値の関数として計算される１つのノード１２１６と置き換えることによって、ノード１２１４，１２１６の数を減らすことができる。具体的に、プーリング関数ｆは、最大関数、平均値、又はＬ２－Ｎｏｒｍとすることができる。特に、プーリング層１２０６については、入ってくるエッジの重みが固定されており、訓練によって修正されない。

【0076】

プーリング層１２０６を使用する利点は、ノード１２１４，１２１６の数及びパラメータの数が減少することである。このことは、ネットワーク内の計算量の減少とオーバーフィッティング（過剰適合）の抑制につながる。

【0077】

図１２に示される実施例において、プーリング層１２０６は最大値プーリングであり、隣り合った４つのノードを１つだけのノードに置き換え、その値は、隣り合った４つのノードの値の最大値である。最大値プーリングは、先行層のｄ次元マトリックスごとに適用され、この実施例においては、最大値プーリングは、２つの二次元マトリックスごとに適用され、ノードの数を７２から１８に減らす。

【0078】

全結合層１２０８は、先行層１２０６のノード１２１６と全結合層１２０８のノード１２１８との間の大部分の、特にすべての、エッジが存在するということによって、特徴付けられ、この場合、エッジそれぞれの重みは、個々に調節可能である。

【0079】

本実施例において、全結合層１２０８の先行層１２０６のノード１２１６は、二次元マトリックスとして、さらに関係性のないノード（より見易いようにノードの数を減らしてある、ノードの列として示されている）として、両方とも表示されている。本実施例では、全結合層１２０８内のノード１２１８の数は、先行層１２０６内のノード１２１６の数と等しい。あるいは、ノード１２１６，１２１８の数は違っていてもよい。

【0080】

加えて言うと、本実施例において、出力層１２１０のノード１２２０の値は、ソフトマックス関数を先行層１２０８のノード１２１８の値に適用することによって決定される。ソフトマックス関数を適用することにより、出力層１２１０のすべてのノード１２２０の値の合計は１となり、出力層のすべてのノード１２２０の値は０と１の間の実数となる。

【0081】

畳み込みニューラルネットワーク１２００は、ＲｅＬＵ（rectified linear units：正規化線形ユニット）層又は非線形伝達関数を伴う活性化層を含むこともできる。特に、ＲｅＬＵ層に含まれるノード数とノード構造は、先行層に含まれるノード数とノード構造に等しい。具体的には、ＲｅＬＵ層における各ノードの値は、先行層の対応するノードの値に正規化関数を適用して計算される。

【0082】

個々の畳み込みニューラルネットワークブロックの入力と出力は、和（residual：残差／dense：高密度ニューラルネットワーク）、要素ごとの積（attention）、又は他の微分演算子（作用素）を用いて接続することができる。したがって、パイプライン全体が微分可能であれば、畳み込みニューラルネットワークアーキテクチャはシーケンシャルであるよりはネスト（入れ子）化され得る。

【0083】

具体的に、畳み込みニューラルネットワーク１２００は、逆伝播（バックプロパゲーション）アルゴリズムに基づいて訓練することができる。過剰適合を防止するために、正則化法、例えば、ノード１２１２－１２２０のドロップアウト、確率的プーリング、人工データの使用、Ｌ１又はＬ２ノルムに基づく重み減衰、又は最大ノルム制約を使用することができる。１つのニューラルネットワークを訓練するために別々の損失関数を組み合わせて、合同訓練（ジョイントトレーニング）目的関数に反映させることができる。ニューラルネットワークパラメータのサブセットは、他のデータセットで事前に訓練された重みを保持するために最適化から除外することができる。

【0084】

ここに説明するシステム、装置、及び方法は、デジタル回路を利用して実行可能であるし、周知のコンピュータプロセッサ、メモリユニット、ストレージデバイス、コンピュータソフトウェア、及びその他のコンポーネントを使用する１つ以上のコンピュータを利用して実行可能でもある。通例、コンピュータは、命令を実行するプロセッサと、命令及びデータを保存する１つ以上のメモリとを含む。コンピュータはまた、１つ以上の、磁気ディスク、内蔵ハードディスク及びリムーバブルディスク、磁気光学ディスク、光ディスクなど、１つ以上のストレージデバイスを含むか、又はそれらを接続する。

【0085】

ここに説明するシステム、装置、及び方法は、クライアント－サーバ関係において作動するコンピュータを使用して実行され得る。通常、このようなシステムでは、クライアントコンピュータはサーバコンピュータから離れた所にあり、ネットワークを介して交信する。クライアント－サーバ関係は、クライアントコンピュータ及びサーバコンピュータそれぞれで実行されるコンピュータプログラムによって定義され、制御される。

【0086】

ここに説明するシステム、装置、及び方法は、ネットワークベースのクラウドコンピューティングシステムにおいて実行され得る。このネットワークベースのクラウドコンピューティングシステムの場合、ネットワークに接続されたサーバ又は別のプロセッサが、ネットワークを介して１つ以上のクライアントコンピュータと通信する。クライアントコンピュータは、例えば、クライアントコンピュータに常駐し作動するネットワークブラウザアプリケーションにより、サーバと通信することができる。クライアントコンピュータは、データをサーバに格納し、ネットワークを介してデータにアクセスすることができる。クライアントコンピュータは、ネットワークを介してサーバに、データの要求又はオンラインサービスの要求を送信することができる。サーバは、要求されたサービスを実行し、１つ以上のクライアントコンピュータにデータを提供することができる。また、サーバは、クライアントコンピュータに特定の機能、例えば、計算を実行させたり、特定のデータを画面に表示させたり、というような機能を実行させるように構成されたデータを送信する。例えば、サーバは、図１～図４及び図６の１つ以上のステップ又は機能を含む、ここに説明する方法及びワークフローの１つ以上のステップ又は機能を、クライアントコンピュータに実行させるように構成された要求を送信する。図１～図４及び図６の１つ以上のステップ又は機能を含む、ここに説明する方法及びワークフローの特定のステップ又は機能は、サーバによって、又はネットワークベースのクラウドコンピューティングシステム内の別のプロセッサによって、実行されてもよい。図１～図４及び図６の１つ以上のステップを含む、ここに説明する方法及びワークフローの特定のステップ又は機能は、ネットワークベースのクラウドコンピューティングシステム内のクライアントコンピュータによって実行されてもよい。図１～図４及び図６の１つ以上のステップを含む、ここに説明する方法及びワークフローのステップ又は機能は、サーバにより、及び／又はネットワークベースのクラウドコンピューティングシステム内のクライアントコンピュータにより、あらゆる組み合わせにおいて、実行されてもよい。

【0087】

ここに説明するシステム、装置、及び方法は、情報担体、例えば非一時的機械可読ストレージデバイス、に有形に具体化され、プログラマブルプロセッサにより実行される、コンピュータプログラム（を記録した製品）を使用して実行され得る。図１～図４及び図６の１つ以上のステップ又は機能を含む、ここに説明する方法及びワークフローのステップは、そのようなプロセッサによって実行可能な１つ以上のコンピュータプログラムを使用して実行され得る。コンピュータプログラムは、コンピュータで直接的又は間接的に使用されて特定のアクティビティを実行したり、特定の結果をもたらすことの可能なコンピュータプログラム命令のセットである。コンピュータプログラムは、コンパイル又はインタプリタ言語を含む各種形式のプログラミング言語で書くことができ、スタンドアロンプログラムや、コンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニットを含む、各種形式で展開することができる。

【0088】

ここに説明するシステム、装置、及び方法を実行するために使用可能なコンピュータ１３０２の高レベルブロック図を、図１３に示す。コンピュータ１３０２は、データストレージデバイス１３１２及びメモリ１３１０と直接又は間接的に接続可能なプロセッサ１３０４を含む。プロセッサ１３０４は、コンピュータ１３０２の全体的なオペレーションを定義するコンピュータプログラム命令を実行することにより、コンピュータ１３０２の全体的なオペレーションを制御する。コンピュータプログラム命令は、データストレージデバイス１３１２又は他のコンピュータ可読媒体に記録されるか、コンピュータプログラム命令の実行が求められるときにメモリ１３１０にロードされる。すなわち、図１～図４及び図６の方法及びワークフローのステップ又は機能は、メモリ１３１０及び／又はデータストレージデバイス１３１２に記憶されたコンピュータプログラム命令により定義され、該コンピュータープログラム命令を実行するプロセッサ１３０４によって制御される。例えば、コンピュータプログラム命令は、当分野で通常の知識を有する者によってプログラムされたコンピュータ実行可能コードとして実装され、図１～図４及び図６の方法及びワークフローのステップ又は機能を実行する。したがって、プロセッサ１３０４は、コンピュータプログラム命令を実行することによって、図１～図４及び図６の方法及びワークフローのステップ又は機能を実行する。コンピュータ１３０２はまた、ネットワークを介して他のデバイスと通信するためにネットワークインターフェース１３０６を１つ以上含む。コンピュータ１３０２は、さらに、ユーザがコンピュータ１３０２と対話することを可能にする１つ以上の入力／出力デバイス（Ｉ／Ｏ）１３０８（例えば、ディスプレイ、キーボード、マウス、スピーカー、ボタンなど）を含むことができる。

【0089】

プロセッサ１３０４は、汎用マイクロプロセッサと特殊用途マイクロプロセッサの両方を含み、コンピュータ１３０２の単一プロセッサ又は複数のプロセッサのうちの１つである。プロセッサ１３０４は、例えば、１つ以上の中央処理ユニット（ＣＰＵ）を含む。プロセッサ１３０４、データストレージデバイス１３１２、及び／又はメモリ１３１０は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）及び／又は１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むか、これらによって補助されるか又は組み込まれる。

【0090】

データストレージデバイス１３１２及びメモリ１３１０は、それぞれ、有形の非一時的コンピュータ可読記録媒体を含む。データストレージデバイス１３１２及びメモリ１３１０は、それぞれ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダブルデータレートシンクロナスランダムアクセスメモリ（ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートデバイスなどの高速ランダムアクセスメモリを含み、そして、内蔵ハードディスク及びリムーバブルディスクなどの１つ以上の磁気ディスク、磁気光学ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）などの半導体メモリデバイス、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタルバーサタイルディスクリードオンリメモリ（ＤＶＤ－ＲＯＭ）、又は他の不揮発性固体ストレージデバイスなど、不揮発性メモリを含む。

【0091】

入力／出力デバイス１３０８は、プリンタ、スキャナ、ディスプレイスクリーンなどの周辺機器を含む。例えば、入力／出力デバイス１３０８は、ユーザに情報を表示するための陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）モニタなどのディスプレイデバイス、キーボード、及び、ユーザがコンピュータ１３０２に入力を行うことができるマウス又はトラックボールなどのポインティングデバイスを含む。

【0092】

画像取得デバイス１３１４は、コンピュータ１３０２に接続され、画像データ（例えば、医用画像）をコンピュータ１３０２に入力する。画像取得デバイス１３１４及びコンピュータ１３０２を１つのデバイスとして実装することが可能である。また、画像取得デバイス１３１４及びコンピュータ１３０２は、ネットワークを介して無線で通信することも可能である。一実施例において、コンピュータ１３０２は、画像取得デバイス１３１４に対して離れた所にある。

【0093】

ここに説明するシステム及び装置のいずれか又はすべては、コンピュータ１３０２などの１つ以上のコンピュータを利用して実行され得る。

【0094】

当分野で通常の知識を有する者には、実際のコンピュータ又はコンピュータシステムの実行／実装は、他の構造をもつことが可能であると共に他のコンポーネントを含むことも可能であること、そして、図１３は、例示の目的で、そのようなコンピュータのコンポーネントのいくつかの高レベルの表現を示していること、が当然理解される。

【0095】

以上の詳細な説明は、あらゆる点で説明と例示であって限定的ではない、ということが理解されるべきであり、ここに開示される発明の範囲が詳細な説明に基づいて決められるのではなくて、特許法により許可される全範囲に従って解釈される特許請求の範囲に基づいて決められるべきである。ここにあげて説明する実施例が、本発明の原理の例示に過ぎないこと、発明の範囲及び思想から逸脱することなく当分野で通常の知識を有する者が様々な変更／派生を実施可能であること、は当然である。当分野で通常の知識を有する者は、発明の範囲及び思想から逸脱することなく、様々な他の特徴／機能の組み合わせを実施することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】