特表 2024-524427 形状クラスタリングを使用したシステム及びデバイス制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-05

(54)【発明の名称】形状クラスタリングを使用したシステム及びデバイス制御

(51)【国際特許分類】

   A61B 5/00 20060101AFI20240628BHJP

   A61B 34/20 20160101ALI20240628BHJP

   A61B 34/10 20160101ALI20240628BHJP

   A61B 90/00 20160101ALI20240628BHJP

【ＦＩ】

A61B5/00 G

A61B5/00 B

A61B34/20

A61B34/10

A61B90/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023580774

(86)(22)【出願日】2022-07-04

(85)【翻訳文提出日】2024-02-14

(86)【国際出願番号】 EP2022068361

(87)【国際公開番号】W WO2023280732

(87)【国際公開日】2023-01-12

(31)【優先権主張番号】63/219,507

(32)【優先日】2021-07-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】21199460.3

(32)【優先日】2021-09-28

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】バイドロン トーレ ミシェル

(72)【発明者】

【氏名】フレックスマン モリー ララ

(72)【発明者】

【氏名】シンハ アユシ

(72)【発明者】

【氏名】ポポヴィッチ アレクサンドラ

(72)【発明者】

【氏名】トポレク グジェゴジ アンドレイ

(72)【発明者】

【氏名】トルイェセン アリッサ

(72)【発明者】

【氏名】バリキ マーチン アルカディウシュ

(72)【発明者】

【氏名】パイ ライカル ヴィプル シュリハリ

(72)【発明者】

【氏名】エキン アフメト

(72)【発明者】

【氏名】シェイディ マハ

【テーマコード（参考）】

4C117

【Ｆターム（参考）】

4C117XB01

4C117XE33

4C117XK24

4C117XQ13

(57)【要約】

患者に対して行われる処置において１つ又は複数のデバイスを制御するためのコンピュータ実施システムＣ－ＳＹＳ及び関連する方法である。形状センシングシステムは、形状測定データを取得するために使用される。予測ロジック部ＰＬは、この形状測定結果に基づいて、解剖学的ロケーション、処置タイプ、又は斯様な処置の段階を予測する。システムは、患者内のデバイスのナビゲーションをサポートする。ナビゲーションでの処置中に画像を取得する必要はない。予測ロジック部ＰＬは、機械学習モデルに基づく。モデルなどの訓練のため及び訓練データを生成するためのシステムＴＳ、ＴＤＳ及び方法もまた本明細書に記述されている。

【特許請求の範囲】

【請求項1】

患者に対して実行することができる医療処置における、少なくとも１つのデバイスの動作を制御するためのシステムであって、前記システムは、
少なくとも部分的に前記患者の内部の変形可能な細長い形状のセンシングデバイスの入力形状測定データを含む入力データを受信するための入力インターフェースと、
前記入力形状測定データから、ｉ）前記患者の内部の解剖学的ロケーション、ｉｉ）前記医療処置の段階、又は、ｉｉｉ）処置のタイプのうちのいずれか１つ又は複数のインジケーションを含む結果を出力するように、解剖学的ベースの特性を用いて構成されたロジック部と、
前記出力に基づいて、前記少なくとも１つのデバイスのための制御信号を出力する制御インターフェースとを備える、システム。

【請求項2】

患者に対して実行することができる医療処置における、少なくとも１つのデバイスの動作を制御するためのシステムであって、前記システムは、
少なくとも部分的に前記患者の内部の変形可能な細長い形状のセンシングデバイスを含む形状センシングシステムによって生成された入力形状測定データを含む入力データを受信するための入力インターフェースと、
ｉ）前記入力形状測定データ、及びｉｉ）以前の形状測定データに基づいて、ｉ）前記患者の内部の解剖学的ロケーション、ｉｉ）前記医療処置の段階、又は、ｉｉｉ）処置のタイプのうちのいずれか１つ又は複数のインジケーションを含む結果を予測する予測ロジック部と、
予測された前記結果に基づいて、少なくとも１つの前記デバイスのための制御信号を出力する制御インターフェースとを備える、システム。

【請求項3】

前記ロジック部が、受信された前記入力形状測定データを、前記結果と関連付けられるカテゴリ、すなわち、ｉ）前記患者の内部の解剖学的ロケーション、ｉｉ）処置の段階、又は、ｉｉｉ）処置のタイプのカテゴリに分類することになっている、請求項１又は２に記載のシステム。

【請求項4】

前記ロジック部が、しきい値より高い不確実性で出力した場合、前記システムが、以前の１つ又は複数のカテゴリとは異なる新たなカテゴリを確立し、前記入力形状測定データを前記新たなカテゴリに割り当てる、請求項１から３のいずれか一項に記載のシステム。

【請求項5】

複数の斯様なカテゴリの中のそれぞれのカテゴリのサイズの均衡をとり直すリバランサを含む、請求項３又は４に記載のシステム。

【請求項6】

以前の前記形状測定データ上で訓練された機械学習モデルに基づいて、前記ロジック部が前記結果を出力する、請求項１から５のいずれか一項に記載のシステム。

【請求項7】

訓練データが、ｉ）以前の斯様な医療処置の際に収集された履歴的な斯様な形状測定結果と、ｉｉ）ユーザ生成のデータと、ｉｉｉ）画像ベースのコンピュータ生成データとのうちのいずれか１つ又は複数を含む、請求項６に記載のシステム。

【請求項8】

入力形状測定結果及び前記結果が、前記機械学習モデルを再訓練するためにメモリに格納され、前記ロジック部及び前記システムが、この再訓練を実施するように構成されている、請求項６又は７に記載のシステム。

【請求項9】

変形が、周囲の解剖学的組織に少なくとも部分的に順応する前記形状センシングデバイスによって生じ得、前記ロジック部はさらに、受信された形状測定結果が、前記形状センシングデバイスが周囲の前記解剖学的組織に順応した結果であるか否か予測して、否である場合、さらに、前記形状測定データを補正し、前記結果をそのように補正された前記形状測定データに基づかせる、請求項１から８のいずれか一項に記載のシステム。

【請求項10】

前記入力データが、前記形状測定データ以外の追加データを含み、前記追加データが、前記形状測定データに対してコンテキストに沿っており、前記予測ロジック部によって予測された前記結果がさらに、斯様な追加データに基づいており、コンテキストデータが、ｉ）形状測定取得時刻、又は斯様な時間データから導出されたデータを含む時間データと、ｉｉ）以前の形状測定結果の時系列データと、ｉｉｉ）患者データを含むメタデータと、ｉｖ）前記医療処置中に使用された又は使用されるべき前記デバイスのうちのいずれか１つ若しくは複数に関する又は前記デバイスによって生成されるデータと、ｖ）以前の１つ又は複数の予測結果と、ｖｉ）２Ｄ又は３Ｄ画像データ関連とのうちのいずれか１つ又は複数を含む、請求項１から９のいずれか一項に記載のシステム。

【請求項11】

前記コンテキストデータがアノテータの操作によって獲得され、前記アノテータが、前記入力形状測定データ又は以前の前記形状測定データにタグ付けするように動作可能であり、前記タグが、前記コンテキストデータを示している、請求項１０に記載のシステム。

【請求項12】

前記少なくとも１つのデバイスが、
ｉ）前記制御信号が画像取得設定の変更をもたらし得る撮像装置と、
ｉｉ）ディスプレイデバイスであって、ａ）前記予測結果と、ｂ）今の入力形状測定結果と、ｃ）以前の前記形状測定データの１つ又は複数のカテゴリと、ｄ）前記解剖学的ロケーションの仮想及び／又は撮像表現と一緒の、前記形状センシングデバイスの再構築された形状の仮想画像と、ｅ）前記形状センシングデバイスのナビゲーション経路内の前記形状センシングデバイスによって通過される可能性が高い次の解剖学的ロケーションの仮想及び／又は撮像表現と、ｆ）前記結果に基づいてナビゲーションの計画された経路の表現と、ｇ）前記形状センシングデバイスによって進入された新たな関連する器官に関連付けられた新たに予測された解剖学的ロケーションのインジケーションとのうちのいずれか１つ又は複数のグラフィカル又はテキストインジケーションを含むグラフィック表示の前記ディスプレイデバイス上への表示を前記制御信号がもたらし得る前記ディスプレイデバイスと、
ｉｉｉ）前記医療処置において使用可能な介入デバイスであって、前記制御信号が、前記介入デバイスの動作モード又はパラメータを適合させ得る介入デバイスと、
ｉｖ）前記制御信号が、前記形状センシングシステムの動作モード又はパラメータを適合させ得る前記形状センシングシステムと、
ｖ）前記形状センシングデバイスを運転するロボットであって、前記制御信号が、前記ロボットを制御し得るロボットと、
ｖｉ）前記予測結果を他のデータと一緒に統合、使用、又は処理するワークフロー管理システムであって、前記制御信号が、前記ワークフロー管理システムの動作を制御し得るワークフロー管理システムと、
ｖｉｉ）前記制御信号が、今の前記入力形状測定データが格納されるべきか否か制御し得るデータベース又はメモリシステムと、
ｖｉｉｉ）画像に介入デバイス及び／又は形状センシングデバイスを位置合わせする位置合わせモジュールであって、前記制御信号が、介入デバイス及び／又は形状センシングデバイスが所与の画像に位置合わせ又は再位置合わせされるべきかどうか制御し得る位置合わせモジュールと
のうちのいずれか１つ又は複数である、又は、いずれか１つ又は複数を含む、請求項１から１１のいずれか一項に記載のシステム。

【請求項13】

前記ロジック部が、取得された前記患者の画像データを使用せずに前記結果を予測できる、請求項１から１２のいずれか一項に記載のシステム。

【請求項14】

訓練データインスタンスを生成して、少なくとも部分的に患者の内部の形状センシングデバイスによって収集された形状測定結果から、ｉ）前記患者内の解剖学的ロケーションと、ｉｉ）医療処置の段階と、ｉｉｉ）医療処置のタイプとのうちのいずれか１つ又は複数のインジケーションを含む結果を予測することを容易にするためのシステム。

【請求項15】

ユーザが、患者の医療画像における経路を規定できるようにするユーザインターフェースと、ロジック部向けのパラメータ又は訓練データの１つ又は複数のインスタンスを獲得するため、前記経路を形状測定結果に変換することができるコンバータとを含む、請求項１４に記載のシステム。

【請求項16】

少なくとも１つの処理ユニットによって実行されると、前記少なくとも１つの処理ユニットに、
訓練データに基づいて、少なくとも部分的に患者の内部の形状センシングデバイスによって収集可能な形状測定結果から、ｉ）前記患者内の解剖学的ロケーションと、ｉｉ）医療処置の段階と、ｉｉｉ）処置のタイプとのうちのいずれか１つ又は複数のインジケーションを含む結果を予測することができる機械学習モデルを訓練するためのコンピュータ実施方法と、
訓練データインスタンスを生成して、少なくとも部分的に前記患者の内部の形状センシングデバイスによって収集された形状測定結果から、ｉ）患者内の解剖学的ロケーションと、ｉｉ）医療処置の段階と、ｉｉｉ）医療処置のタイプとのうちのいずれか１つ又は複数のインジケーションを含む結果を予測することを容易にするためのコンピュータ実施方法と、
患者に対して実行することができる医療処置における、少なくとも１つのデバイスの動作を制御するための方法であって、前記方法が、
少なくとも部分的に前記患者の内部の変形可能な形状センシングデバイスを含む形状センシングシステムによって生成された入力形状測定データを含む入力データを受信することと、
ｉ）前記入力形状測定データ、及びｉｉ）以前の形状測定データに基づいて、ｉ）前記患者の内部の解剖学的ロケーション、ｉｉ）前記医療処置の段階、又は、ｉｉｉ）処置のタイプのうちのいずれか１つ又は複数のインジケーションを含む結果を予測することと、
前記予測結果に基づいて、少なくとも１つの前記デバイスのための制御信号を出力することとを含む方法と、
患者に対して実行することができる医療処置における、少なくとも１つのデバイスの動作を制御するための方法であって、前記方法が、
少なくとも部分的に前記患者の内部の変形可能な細長い形状センシングデバイスの入力形状測定データを含む入力データを受信することと、
前記入力形状測定データから、ｉ）前記患者の内部の解剖学的ロケーション、ｉｉ）前記医療処置の段階、又は、ｉｉｉ）処置のタイプのうちのいずれか１つ又は複数のインジケーションを含む結果を、解剖学的ベースの特性を用いて構成されたモデルから出力することと、
前記予測結果に基づいて、少なくとも１つの前記デバイスのための制御信号を出力することとを含む方法と
のうちの１つを実行させる、コンピュータプログラム。

【請求項17】

請求項１６に記載のコンピュータプログラムを格納している、少なくとも１つのコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療処置における少なくとも１つのデバイスの動作を制御するためのシステム、関連する方法、機械学習モジュールを訓練する方法及びシステム、訓練データを生成する方法及びシステム、コンピュータプログラム要素、並びにコンピュータ可読媒体に関する。

【背景技術】

【0002】

最小侵襲性外科手術（「栓孔手術」とも呼ばれる）は、患者及び医療提供者に同様に有利である。オープン外科手術の代わりに、カテーテル及び外科用器械などの介入デバイスが、進入ポイント（しばしば１つ又は複数のごく小さな切開部）において患者の中に導入される。ナビゲーション段階では、介入デバイスは、治療及び／又は診断のため、進入ポイントから患者の内部を進み、患者の内部の病変部に到達する。これまでの侵襲性、オープン外科手術と比較して、最小侵襲性外科手術では、患者は迅速に回復し、早く退院することができ、患者の心地よさは一般に大幅に向上する。

【0003】

介入、特にナビゲーション段階は、一般に、画像案内方式で行われる。患者の内部解剖学的組織の画像が、介入中の撮像装置によって取得される。画像は、ライブストリームとして取得される。電離放射線が、しばしば撮像装置によって使用される。そのような画像は有用であるが、患者及び介入者にとって放射線量の犠牲を伴う。電離放射線は健康上危険なものであり、癌を含む一定の範囲の健康上の問題を引き起こすおそれがある。

【0004】

形状センシングは、米国特許第２００９／０１３７９５２Ａ１号に記述されている。以前は、ある特定の介入デバイスのＸ線不透過像は、投影画像におけるそのようなデバイスの今の形状の詳細な描写をすることができたので利用されていた。デバイスの操縦中、その形状又は状態はしばしば変化し、そのことは、Ｘ線画像のストリームを取得することによってモニタすることができる。しかしながら前述のとおり、やはり、これは放射線量の犠牲を伴う。介入デバイスに一体化された、米国特許第２００９／０１３７９５２Ａ１号に記述されている形状センシングデバイスによって、画像を取得せずとも、形状センシングデバイスによる形状測定結果から、介入デバイスの今の形状を推測することができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

介入を含む処置の追加のサポートが必要である。

【0006】

本発明の目的は、さらなる実施形態が従属請求項に組み入れられる場合の独立請求項の主題によって達成される。本発明の以下に記述されている態様が、等しく、関連する方法、機械学習モジュールを訓練する方法及びシステム、訓練データを生成する方法及びシステム、コンピュータプログラム要素、並びにコンピュータ可読媒体に関することに留意されるべきである。

【課題を解決するための手段】

【0007】

本発明によるシステム及び方法は、添付の特許請求の範囲による。

【0008】

提案されたシステム及び方法は、脈管（ガイドワイヤ、カテーテル、ステントシース、配備システムなど）、管腔内（内視鏡、気管支鏡）、整形外科的（ｋワイヤ＆ねじ回し）を含む、介入などの処置の範囲、並びに非医療用途で適用される。提案された制御システム及び方法は、処置の効率化を促進するために、ナビゲーションを、及び／又は、異なるデバイスのホストの制御を支援する。

【0009】

本明細書において使用される形状センシングは、好ましくは電離放射線を使用しない、任意のタイプの又は技術のものとすることができる。例えば、形状センシングは、レイリー散乱（強化型及び通常型）又は１つ若しくは複数の形状センシングファイバのファイバブラッグ実装に基づくことができる。特に、形状センシングシステムは、連続的に分散させた形状センシング要素、又は、本明細書で「（形状センシング）アーム」と称される、変形可能な、好ましくは柔軟な細長い部分若しくは本体に沿って配設された別個のセンシング要素に基づく。アームの少なくとも一部は、患者の身体の内部にある。そこで収集されたセンシング離散データポイントは、システムによって補間されて、形状測定データのインスタンスをもたらし、又は、代替的に、センシングは、介入デバイスに沿って連続的に分散される。好ましくは、この形状センシングシステムは、ファイバの／アームの長さの少なくとも一部分にわたる１つ又は複数の光ファイバ上に設けられた形状センシング要素を備える光学的形状センシングシステムである。そのような光学的形状センシング要素は、ひずみ若しくは形状又は温度とともにその光学的特性が変化するファイバブラッグ格子を含む。それらは、光ファイバ内、又は、前記アームを形成する光ファイバのマルチコア内に設けることができる。ファイバ又はコアは、ファイバが介入デバイスに一体化される、介入デバイスに取り付けられる、又は別の方法で空間的に介入デバイスに関連付けられアームと並んで延びる、当該介入デバイス（例えば、ガイドワイヤ若しくはカテーテル、又は他のそのような全体的に細長いデバイス）の形状を取り込むように配設される。この構成は、例えば、中心ファイバ又はコアを含み、他のファイバ又はコアは、当技術分野で知られているように、中心ファイバ又はコアの周りに角度を付けて配設されて巻かれる。代替的に、又は、そのような光学的形状センシングに加えて、ピエゾ抵抗型柔軟形状柔軟センサの抵抗の変化、又は、電磁気センサからもたらされる電磁フィールドの変化もまた、形状変化を測定するために使用される。

【0010】

形状測定データは、アームがユーザ又はロボットによって患者の身体の内部で動かされる間、アームの前記一部の変形に応答して生成される。アームは、介入デバイスに、一体化されるか、又は結合される。介入デバイスの一部は、アームとともに変形する。しかしながら、そのようなアームは本明細書において必須の要件ではなく、任意の他の形状センシング技術もまた本明細書において想定される。形状測定データは、例えば、アームの異なる位置に沿った曲率、応力、及びひずみのうちのいずれかの１つ又は複数の測定結果を含む。アーム／介入デバイスの形状を表現する、又はアーム／介入デバイスの形状に転換可能な、他の量の測定もまた、本明細書において想定される。

【0011】

特定の実装形態では、形状センシング介入デバイス（例えば、ガイドワイヤが形状センシングアームと並んで延びる）は、非形状センシングの他の介入デバイス若しくはツール（例えば、カテーテル、シース、他の外科手術ツール）の中又は周りで同軸に使用される。非形状センシングの他の介入デバイスの形状は、２つの介入デバイスの相互の位置合わせのおかげで、コンピューティングデバイスによって再構築される。そのような位置合わせは、例えば、両方のデバイスを受けるハブを介して、又は、形状情報を付与することができる任意の他の結合デバイスを介して実行される。こうして、本明細書で提案されている形状データの使用は、非形状センシング介入デバイスが形状センシング介入デバイスに位置合わせされているケースでは、さらに非形状センシング介入デバイスまで拡張される。

【0012】

本発明のロジック部は、機械学習モデルなどの訓練されたモデルに基づいている。訓練は訓練データに基づいている。訓練は、１回限りの動作であるか、又は、好ましくは、配備中に遭遇した測定結果が、訓練データ集合を拡大若しくは構築するために加えられる、動的学習手法で繰り返される。どの新たな測定結果を訓練データ集合に加えるか決定するため、出力又は予測に関連付けられた不確実性値が使用される。どの測定結果をそのように加えるか決定するため、インタラクティブなユーザインターフェースオプションもまた、本明細書において想定される。

【0013】

訓練データは、画像データを含んでもよく、又は含まなくてもよい。好ましくは、訓練データは画像データを含まない。ロジック部は、形状センシングシステムによってセンシングされた入力形状測定結果、及び、以前の形状測定結果、並びに、任意選択で、コンテキストデータに基づいて結果を算出することができる。形状測定結果及びコンテキストデータは、一緒に「強化データ」を形成する。そのような強化データを使用することにより、ロバストな出力又は予測が可能になる。例えば、訓練データ集合の分散が増大する。強化データは、そのように訓練アルゴリズムをサポートするために良好なコンテキストを提供する。コンテキストデータは、アノテータモジュール（「アノテータ」）によって注釈又はタグとして含まれる。アノテータは、グラフィカルユーザインターフェースなどの適切なユーザインターフェースを介したユーザ操作型である。代替的に、アノテータは、半自動式（そのため、何らかのユーザ入力がある）、又は自動式（ユーザ入力なし）である。

【0014】

ロジック部の操作が（今の形状測定データに加えて）それに基づく、以前の形状測定データは、「その」今の患者以外の一人又は複数の患者に関係する。したがって、以前の測定結果は、例えば、異なる一人又は複数の患者から収集された以前の処置からの履歴データから抜き出される。以前の前記データは、ロジック部のモデルがその上で訓練された訓練データを形成する。訓練データとしての以前の測定データは、必ずしも履歴的ではなく、代わりに、画像ベースであろうとなかろうと、ユーザによって、又はコンピュータによって自動的に、合成訓練データとして人工的に生成される。以前のデータは、もっぱら履歴的であるか、もっぱら合成であるか、又は合成と履歴との混合である。

【0015】

配備の際、「以前の形状測定データ」は、代わりに、又は、追加的に、同じ患者に対して同じ処置で収集された、早期の形状測定データに関係する。したがって、ロジック部による出力又は予測を今の形状測定結果のみに基づかせる（本明細書においてさらに想定されている）のではなく、ロジック部は今の形状測定結果とともに（時間において）以前のｎ個の形状測定結果（ｎ≧１）を、好ましくは形状センシングシステムによって早期に取得された時系列的な順序で、協働処理する。処置の初期部分を占めるブロック又はバッファ長ｎを変更する。バッファ長ｎは、初期は小さく選択され、次いで、処置のさらに後で拡張される。

【0016】

予測結果又は出力結果は、解剖学的ロケーション、前記処置の処置タイプ又は段階を含む。処置は、好ましくは、器官、又は解剖学的組織、病変、対象物部位などに対する介入など、医療的である。予測された又は出力された解剖学的ロケーションは、アーム若しくは介入デバイスが今患者の身体内のどこに存在するか、又は、アーム／介入デバイスがどの処置タイプで若しくは処置のどの段階で今使用されているのかについての推定である。

【0017】

配備中、ロジック部は、画像データを使用せずに出力又は予測を算出することができる。配備時にロジック部の操作のために、患者の取得された画像（ライブであろうとなかろうと）は必要としない。ロジック部はもっぱら形状測定データに対して操作し、特に、画像データ無しで操作する。したがって、Ｘ線線量は低減されるか、又は完全に回避することができる。予測結果又は出力結果により、取得された画像に頼ることなく例示のナビゲーションが可能になる。ユーザは、予測結果又は出力結果によって、デバイス／アームがどこにあるのか、及び、どの処置又は処置のどの段階なのか知らされる。

【0018】

出力結果若しくは予測結果及び／又は今の形状測定結果のグラフィカルな若しくは別様のインジケーションが、ナビゲーションの際にユーザを支援するためにディスプレイデバイス上に表示される。しかし、そのようなディスプレイデバイスの制御は、どのように予測結果又は出力結果が使用されてデバイスを制御するか、についての単なる１つの例である。本明細書に記述され特許請求されているディスプレイデバイスの制御に加えて又は代わりに、１つ又は複数の他のデバイスの他の制御動作が想定される。

【0019】

ロジック部を備える制御システムは、配備時に遭遇した形状測定結果に基づいて、モデルの動的学習の再訓練をするために、訓練システムに結合される。今の訓練データ集合は、新しいデータによって非常に拡張され、１つ又は複数の訓練セッションは、コンテキストデータ又は予測若しくは出力不確実性に基づいて、ユーザ又は自動的にトリガされることによって要求された訓練システムによって再動作される。

【0020】

モデルは、履歴的に、及び／又は合成によって生成された形状測定結果を含む訓練データ上で訓練され構築された、クラスタリングの１つである。したがって、予測された又は出力されたカテゴリは、訓練データのクラスタによって提供される。訓練は、Ｘ線画像などの画像から独立して行われるが、しかし、代替的に、特に、本明細書に記述され特許請求される訓練データ生成システムによって合成訓練データが生成されるとき、そのような画像がやはり使用される。

【0021】

クラスタなどの、形状測定結果の各カテゴリは、次いで、形状データ以外の任意の追加情報なしに（しかしながら所望の場合、任意選択で、コンテキストデータはやはり使用されるものの）取り込むことができる解剖学的特徴に、或いはそれぞれの解剖学的部分／ロケーション又は処置タイプ若しくは段階に関連付けることができる。クラスタリング手法が使用される場合、今の測定結果は、いくつか又は全てのクラスタのグラフィカルな描画と同時に表示される。しかしながら、ロジック部のために本明細書で想定されるモデルは、クラスタタイプモデルに限定されない。人工ニューラルネットワーク、エンコーダ－自動エンコーダ、さらに他のものなど、他の（機械学習）モデルもまた、本明細書における実施形態において想定される。言い換えれば、予測された又は出力されたカテゴリは、訓練データのクラスタを必ずしも示すのではなく、代わりに選別器結果などに関係する。前記クラスのグラフィカルなインジケーションもまた表示される。

【0022】

性能を向上させるため、訓練及び／又は配備は、必ずしも未加工の形状測定結果に基づくものではなく（これはまだ行うことができるが）、未加工の測定結果は最初に新たな表現に変換される。次いで、訓練及び／又は配備は、形状測定結果に基づいてこうして変換される。本明細書で使用される「表現」は、形状測定結果を記述する又は表すために使用されるシステム、パラメータ、量に関係する。表現の変化は、数、並びに／又は、そのようなシステムの性質、パラメータ、及び量、の変化を伴う。表現の変化は、座標変換、基礎要素の変化、かさの低減、基礎要素の集合に対する相対的なスパース性の変化を含む。変換は、１つのパラメータ空間（ベクトル空間など）の要素を別の空間、又はサブ空間などの要素にマッピングする。そのような変換は、ロジック部の返し時間を低減する助けとなり、訓練及び／若しくは配備をよりロバストにし、並びに／又はメモリ要件を低減する。

【0023】

本明細書でサポートされる介入は、介入デバイスの手動及び／又はロボット操作を含む。

【0024】

述べたように、本明細書では要求されていないものの、提案されたシステム及び方法がさらに、Ｘ線、超音波、ＭＲＩ、ＣＴ、ＯＣＴ、ＩＶＵＳ、内視鏡検査などを含む任意の撮像システムと組み合わせて使用されることが可能である。オプションとして、介入デバイス／アームＰを所与の画像に位置合わせすべきかどうか決定するため、予測された又は出力されたカテゴリが使用される。

【0025】

「ユーザ」は、医療スタッフ、又は撮像装置を操作する若しくは撮像処置を監視する他の人などの人に関係する。言い換えれば、ユーザは一般に患者ではない。

【0026】

一般に、用語「機械学習」は、機械学習（「ＭＬ」）アルゴリズムを実装するコンピュータ化された構成体（又はモジュール）を含む。いくつかのそのようなＭＬアルゴリズムは、明示的なモデリングを使用する。それらは、機械学習モデルを調整するように動作する。モデルは、パラメータを含む１つ又は複数の関数を有する。パラメータは、訓練データに基づいて調整される。パラメータの調整は、パラメータ空間で規定されたオブジェクト関数によって案内される。モデルは、タスクを実行する（「学習する」）ように構成される。暗黙的なモデリングにおいてなど、いくつかのＭＬモデルは、訓練データを含む。訓練データコーパスの調整又は更新は「訓練」と呼ばれる。タスクを実行するためにデータを処理する、訓練されたモデルの使用は、本明細書では、配備又は推測と称される。訓練は、１回限りの操作であるか、又は、異なる配備の後に繰り返し行われる。一般に、ＭＬモジュールによるタスク性能は、訓練経験によって、測定可能なほど改善される。訓練経験は、適切な訓練データへの露出を含む。訓練は、教師あり、又は教師なしである。タスク性能は、データが、学習されるタスクを良好に表現するときに改善される。「最終的なシステム性能が測定された例の分布を、訓練データが良好に表す場合、訓練経験は、性能を改善する助けとなる」。性能は、モジュールへのテストデータの供給に応答して、モジュールによって作り出された出力に基づいて、目的のテストによって測定される。性能は、所与のテストデータに対して達成されるべき、ある特定の誤差率によって規定される。例えば、Ｔ．Ｍ．Ｍｉｔｃｈｅｌｌ，“Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ”、頁２、セクション１．１、頁６ １．２．１、ＭｃＧｒａｗ－Ｈｉｌｌ，１９９７を参照されたい。

【0027】

用語「ラベリング」／「注釈する」／「タグ付けする」は、本明細書では大部分は交換可能に使用され、訓練時又は配備中に、追加の／コンテキストのデータを形状測定結果に関連付けることに関係する。用語ラベリングは主に（しかし、排他的にではなく）本明細書では、訓練データに対して使用され、特に、教師あり学習構成体に対して使用され、但し、ラベルはそれぞれの対象物に関係する。

【0028】

用語「解剖学的ロケーション」とは、必ずしもポイントロケーションではなく、領域を含むか、又は解剖学的特徴に関係する。

【0029】

用語「カテゴリ」は、ロジック部によって予測された／算出された予測結果又は出力結果である。このカテゴリは、一般には、クラスタ又はクラスラベルに関係する。カテゴリは、解剖学的ロケーション、処置タイプ、又は処置の段階と関連付けることができる。本明細書に記述されている例／実施形態では、主な言及は、カテゴリが解剖学的ロケーションを表示することに対してなされているが、これは本明細書において限定的ではない。特に、本開示における「解剖学的ロケーション」への各言及は、代わりに、又は追加的に、前記「処置タイプ」又は「処置の段階」への言及と解釈される。

【0030】

「介入デバイス」は、いずれかの好ましくは少なくとも部分的に患者の中に導入するための全体的に細長い形状又はそのような部分を有する医療デバイス、ツール、器械若しくは手段である。好ましくは、そのような介入デバイスは、形状センシングシステムの形状センシングアームと一緒に使用される。

【0031】

本明細書で使用されている「コンテキストデータ」は、形状測定結果にコンテキスト的に沿ったデータを指す。これは、形状測定結果に影響を及ぼす（したがって、予測された若しくは出力されたカテゴリ）及び／又は、形状測定結果が収集される方式を記述するデータを含む。コンテキストデータは、本明細書では、ロジック部の性能を改善するために使用される。

【0032】

本明細書で使用されている「予測する」は、モデルに基づいて結果を出力するために、入力データのロジック部（例えば、算出手段又はコンピュータプログラム）による計算又は算出を指す。

【0033】

ここで、以下の図面を参照して、本発明の例示的な実施形態を説明することとする。

【図面の簡単な説明】

【0034】

【図1】介入をサポートする構成のブロック図である。

【図2】図１の構成で使用される形状センシングシステムの動作を示す図である。

【図3】上記構成で使用され、形状測定結果を処理することができる制御システム、及び、機械学習モジュールを訓練するための訓練システムのブロック図である。

【図4】訓練された機械学習モジュールを含む制御システムの詳細なブロック図である。

【図5】解剖学的ロケーションを表現するクラスタを規定する例示的な形状測定結果を表す図である。

【図6】形状測定結果を分類するための機械学習モデルを訓練するための訓練アルゴリズムのブロック図である。

【図7】ニューラルネットワークタイプの機械学習モデルのアーキテクチャを示す図である。

【図8】形状測定結果の表現を学習するために、本明細書における実施形態で使用されるエンコーダ－デコーダタイプのネットワークを示す図である。

【図9】機械学習モデルを訓練するための訓練システムを示す図である。

【図10】動的学習能力を有する制御システムの実施形態を示す図である。

【図11】機械学習モデルの訓練での使用のための合成訓練データの画像ベースの生成を示す図である。

【図12】位置合わせを使用して訓練データの画像ベースの生成を示す図である。

【図13】形状測定結果のカテゴリ分類を検証するための検証モジュールを示す図である。

【図14】訓練データにおけるクラスタのサイズを変化させるリバランサモジュールの操作を示す図である。

【図15】形状測定結果の経時的な進展と、コンテキストデータによるそれらの注釈とを示す図である。

【図16】経時的な形状測定結果の表現の進展を示す図である。

【図17】望ましくない座屈を表現する形状測定結果を表す図である。

【図18】予測されたカテゴリに基づいて、位置合わせ構成要素の制御動作を示す図である。

【図19】医療デバイスを制御するコンピュータ実施方法のフローチャートである。

【図20】訓練データを生成するコンピュータ実施方法を示す図である。

【図21】機械学習モデルを訓練する実装されたコンピュータを示す図である。

【発明を実施するための形態】

【0035】

図１を参照すると、これは、医療的介入又は他の医療処置をサポートするために使用される構成のブロック図を示している。構成は、撮像装置ＩＡ（時には本明細書で「イメージャ」と称される）と、介入中に生成されるある特定のデータを処理するためのコンピュータ実施システムＳＹＳとを含む。

【0036】

サポートされる介入は、バルーンカテーテルＣＢなどの医療ツール又は器具を使用したヒト又は動物患者内の狭窄症の治療のうちの１つである。他のカテーテルタイプ、若しくは、異なるツールが使用される他の医療的介入、又は、僧帽弁修復処置などの医療処置がさらに本明細書において想定される。

【0037】

撮像装置は、好ましくは、Ｘ線撮影においてなどの単一Ｘ線露光を、又は、Ｘ線透視若しくは血管造影用途として、リアルタイム動画として適切なフレームレートでＸ線露光のシーケンスを、作り出すＸ線撮像装置である。静止画像もまた想定される。画像のコントラストを増強するために、注入器を通して造影剤が投与される。イメージャＩＡによって作り出された画像は、介入心臓病専門医などの医療ユーザが介入を実行するのを支援するために、ディスプレイデバイスＤＤ上に表示される。

【0038】

介入中のコンピュータシステムＳＹＳによるオンラインサポートは概ね本明細書において想定されるが、コンピュータシステムＳＹＳはさらに、代わりに、介入前又は介入後調査のために使用される。例えば、システムＳＹＳは、介入の準備をする若しくは介入を計画するために使用されるか、或いはフォローアップ治療、介入、若しくは他の方策を計画する、又は知らせるために、以前の１つ又は複数の介入中に生成されたデータを分析するために使用される。したがって、コンピュータシステムはスタンドアロンシステムであり、必ずしもいかなる撮像装置にも結合されず、処理されたデータは、必ずしもライブデータではないが、代わりに、データベース又は他のストレージから取り出された履歴データである。

【0039】

概して、システムＳＹＳは、医療処置中に使用されるある特定のデバイス／システムＤｊを制御するための（サブ）システムＣ－ＳＹＳを含む。介入などのいくつかの医療処置では、本明細書では「介入デバイスＩＤ」と称されるある特定のツール又はデバイスが使用される。１つ又は複数の介入デバイスＩＤは、少なくとも部分的に患者の中に導入されて治療又は診断を行う。デバイスＩＤの導入された部分は、このように全体的に閉塞されて、見通しがきかないか、又は非常に限られた見通ししかきかない。デバイスの導入された部分は、介入のナビゲーション段階で患者内の対象物にナビゲートされる必要がある。制御Ｃ－ＳＹＳシステムは、ナビゲーション中、又は医療処置の他の段階中にユーザをサポートするために、情報を提供する。制御システムＣ－ＳＹＳ（本明細書では、ときには「コントローラ」と称される）は、機械学習を使用する。

【0040】

制御システムＣ－ＳＹＳを詳細に説明する前に、提案されている制御システムＣ－ＳＹＳの動作を効果的に示すため、最初にいくつかの例示的な医療処置及び撮像装置ＩＡについて詳細に説明することとする。

【0041】

ここで最初に撮像装置ＩＡに進むと、これは好ましくはＸ線タイプのものであり、Ｘ線投影画像を取得するように構成されている。画像は単一の静止画像であり、そのようなものは、Ｘ線撮影で取得されるか、又は、Ｘ線透視などの映像フィードを表示するために使用される画像（「フレーム」）のストリームの一部である。静止画像又はストリームは、ディスプレイデバイスＤＤ上に表示される。

【0042】

撮像装置ＩＡは、Ｘ線ソースＸＳ、及びＸ線感知検出器Ｄを含む。撮像装置ＩＡにより、好ましくは、異なる投影方向ｄから画像を取得することができる。撮像装置は、Ｘ線ソースＸＳ及び／又は検出器Ｄが接続される任意選択のガントリＧＴを含む。障害が生じた部位ＳＴ又はＲＯＩの周りのガントリの（それとともにＸ線ソースＸＳ及び検出器Ｄの）回転によって、異なる投影方向に沿って投影画像が取得される。そのようなガントリベースの撮像装置は、Ｃ－又はＯ－アームシステムを含み、主に本明細書において想定されているが、さらに（ＣＴ）コンピュータ断層撮影スキャナでもある。検出器Ｄと放射線ソースＸＳとの間の物理的接続がない又は恒久的にはないモバイル又はポータブル撮像デバイスなどの非ガントリベースの撮像ソリューションもまた想定されている。システムＳＹＳによって処理されるべき画像Ｉは、検出器Ｄによって記録された投影ドメイン内の投影画像であるか、又は、コンピュータ断層撮影アルゴリズムによって獲得された画像ドメイン内の再構築画像を含む。

【0043】

詳細には、撮像中、Ｘ線ソースＸＳは、Ｘ線ビームを放射し、Ｘ線ビームは投影方向ｄに沿って伝播して、患者組織及び／又はバルーンカテーテル若しくは他の医療デバイスＢＣとインタラクトし、それによって、修正されたＸ線ビームを患者の遠端部で出現させて検出器Ｄで検出される。検出器Ｄのデータ取得回路（図示せず）は、受信された修正された放射線を数の集合に転換し（「ピクセル値」）、数の集合は、好ましくは、フレーム／画像ごとに、それぞれの行及び列を有するそれぞれの行列に格納される。行及び列は、画像／フレームのサイズを規定する。ピクセル値は、検出された強度を表す。フレーム／画像ごとのピクセル値は、介入中にディスプレイデバイスＤＤ上に画像の表示を行うために、可視化構成要素ＶＣによって使用されることが可能である。以下では、もはやフレームと静止画像との間を区別しないこととし、単に用語「画像（ｉｍａｇｅ）／画像（ｉｍａｇｅｒｙ）」を両方に対する総称的な言及として使用する。

【0044】

撮像装置の操作は、特に画像取得は、操作者コンソール又は制御ユニットＯＣからユーザによって制御される。操作者コンソールは撮像装置に通信可能に結合された専用コンピューティングユニットとして構成される。操作者コンソールは、イメージャＩＡと同じ部屋、又は近隣の「制御部屋」に置かれる。遠隔制御される撮像システムＩＡが、適切な通信ネットワークを介して、撮像装置から場合によっては遠隔に配置された、制御ユニットＯＣに接続されることが、本明細書における実施形態において想定される。制御ユニットＯＣが、ユーザ入力がない又はほとんどない、完全に自立的に又は半自立的に動作する、自立的な撮像システムがさらに本明細書で想定されている。

【0045】

撮像制御ユニットＯＣは、ある特定の撮像パラメータＩＰを設定することによって、撮像動作を制御する。撮像パラメータは、コントラスト機構、したがって、システムＳＹＳによって処理される作り出された画像の画像品質を決定する、又は、少なくともその画像品質に影響を与える。記録された画像内にキャプチャされた強度値（したがってピクセル値）は、パラメータの変化の影響を受ける可能性があり、これは、医療処置の異なる段階が、通常、医療撮像プロトコルによって記述される異なる撮像設定を必要とするために、しばしば起こることである。Ｘ線撮像では、撮像パラメータは、例えば、撮像幾何学形状の設定を含む。撮像幾何学形状は、撮像される患者と、又は少なくとも関心の領域（「ＲＯＩ」）と、Ｘ線ソースと、及び／又は検出器Ｄの平面との間の空間関係を記述する。したがって、撮像幾何学形状は、特に、投影方向ｄを決定する。撮像幾何学形状は、今のＦＯＶを決定する。撮像幾何学形状、したがってＦＯＶは、介入中にユーザが異なる撮像パラメータを設定することによって、要求可能なように動的に変化する。撮像幾何学形状の他の撮像パラメータは、視準パラメータを含む。視準パラメータは、撮像装置ＩＡの視準部（図示せず）に関係する。視準部は、所望の形状及び／又はサイズのアパーチャにそのように規定するために視準パラメータを設定することによって、操作者コンソールＯＣを介して調整することができるいくつかのＸ線不透過ブレードを備える。アパーチャの形状／サイズを制御することにより、Ｘ線ビームを制限又は広げ、したがって、さらにＦＯＶを規定することができる。

【0046】

制御ユニットＯＣはさらに、アクチュエータ及びエンドエフェクタの処理チェーンを介してなどで、オーバーザワイヤで介入デバイスを動かす又は操作するのを助けることができる、ある特定のロボットのユーザ操作を可能にする。介入のある特定の重大な段階にはきわめて安定した手技が必要である。訓練された外科医師は、これが非常に得意であることが多いが、ロボットは、特に多くの患者が治療される日に、又は非常に緊張に満ちた状況で、依然としてそこで数日支援することができるだけである。

【0047】

撮像パラメータはさらに、Ｘ線ビームの本質に、したがって、放射線が患者の組織とインタラクトする方式に影響を与え、こうして、キャプチャされた画像のコントラストに影響を与える。Ｘ線放射線の性質は、特に、Ｘ線ソースＸＳの設定によって決まる。実施形態では、Ｘ線ソースＸＳは、カソード及びアノードを含むＸ線管（略して「管」）である。１つのそのような撮像パラメータは、Ｘ線管のアンペア数及び／又は電圧に関係する。管操作のための撮像パラメータは、本明細書ではまとめて（Ｘ線）ソースパラメータと称される。Ｘ線ソースパラメータは、特に、Ｘ線ビームのエネルギーを規定する。ソースパラメータは、特定の撮像プロトコル又はモダリティに依存する。実施形態では、本明細書で想定される主な用途は、Ｘ線透視撮像である。図１にスケッチされているＣ－アーム又はＵ－アーム撮像システムＩＡは、Ｘ線透視で使用される。Ｘ線透視では、想定されるビームエネルギーは通常、５０～６０ｋｅＶの範囲にある。他の用途では他のエネルギー範囲が必要である。

【0048】

イメージャの視野（ＦＯＶ）内に存在する医療デバイスを使用する１つのタイプの（医療的）介入は、少なくとも時には、心臓狭窄症の治療、又は、経皮トランスルミナル血管形成（ＰＴＡ）としても知られるバルーン血管形成である。ＦＯＶは、撮像装置によって撮像中の空間の一部分である。狭窄症は、バルーンカテーテルＢＣの遠位部分を（進入ポイントＥＰから）患者を通して、狭窄部位ＳＴ、障害が生じた血管の部分などの障害が生じた部位まで前進させることによって治療される。遠位部分は、膨張可能なバルーン部分として形成される。対象領域（狭窄が位置する）に到達すると、バルーンは膨張されて狭窄を治療する。バルーンが膨張させられることで、力が血管壁ＶＬに作用し、狭窄を広げる。ガイドワイヤＧＷが、カテーテルの遠位治療部分を部位ＳＴまでナビゲートし押すために使用される。オーバーザワイヤ（ＯＴＷ）タイプ、若しくは迅速交換（ＲＸ）タイプ、又はさらに他のタイプのものを含む異なるタイプのバルーンカテーテルの範囲が本明細書において想定されている。

【0049】

本明細書において想定される全ての他の医療処置又は介入は、経カテーテル大動脈弁置換（ＴＡＶＲ）介入、又は経カテーテル大動脈弁移植（ＴＡＶＩ）介入においてなど他の医療デバイスを必要とする。これらの又は類似の処置では、１つ又は複数のツール／デバイスが、イメージャＩＡのＦＯＶ内に少なくとも時には存在する。ツール／デバイスのうちのいくつかは、可動であり、及び／又は異なる形状／状態を想定することができる。

【0050】

上記で簡潔に述べたように、（医療）処置は、少なくとも介入の一部時間中に使用される介入デバイスに頼ることが多い。そのような介入デバイスＩＤは、少なくとも部分的に、及び時には、患者の身体内に存在する。言及したバルーンカテーテル、ガイドワイヤ、案内カテーテル、マイクロカテーテル、導入器シース、圧力ガイドワイヤ、ロボット操縦式ガイドワイヤ及び器械、センシングカテーテル、経食道的心エコー検査（ＴＥＥ）プローブ、脈管内超音波（ＩＶＵＳ）、若しくは光コヒーレント断層撮影デバイスなどの撮像システム、センシング機能、例えばスペクトルセンシングを有する任意のカテーテル、レーザアテレクトミーデバイス、機械式アテレクトミーデバイス、血圧デバイス、及び／若しくは流量センサデバイス、針、アブレーション電極、心臓電気生理現象マッピング電極、バルーン、ｅｎｄｏｇｒａｐｈ、ステント、ステントレトリーバ、動脈瘤コイル、及び、極めて多くの、僧帽弁クリップ、ペースメーカ、インプラント、他の人工心臓弁、血管などの他の治療若しくは診断ツールなどのそのような介入医療デバイスＩＤは、介入中に外部から患者の中に導入される。

【0051】

撮像装置ＩＡ及びコンピュータ実施システムＣ－ＳＹＳは一緒に、ユーザが患者に対して治療及び／又は診断介入を実行するのをサポートする画像案内治療又は診断システムを形成する。

【0052】

そのような介入の例には、上述のように冠動脈疾患の治療又は診断がある。心臓に対する他の介入には、例えばペースメーカなどの心臓デバイスの埋め込みがある。他のタイプの脈管発明は、血栓症又は静脈瘤の治療など、末梢脈管構造に関する。しかしながら、循環系及び／又は脈管構造系の周りの介入は、肺の治療の診断のための気管支鏡検査などの他の発明を排除するものではなく、胆管又は泌尿器系の治療又は診断のための介入、及びさらに他の介入もある。

【0053】

医療的介入は医療処置である。医療処置は、タイプの点で様々であり、ナビゲーション段階などのいくつかの異なる段階からなる。異なる段階は、使用されるべき異なるタイプの医療器械又は器具を必要とし、異なるタイプの薬剤を投与して、必要な医療専門知識を有する適切なスタッフを招いてフォローアップ治療又は診断のリソースを割り振るなどによって医療処置を管理するようにスケジューリング及び後方支援する必要がある。

【0054】

撮像装置ＩＡ（「イメージャ」）の操作は、取得された画像のタイプ及び品質に影響を与えるある特定の撮像パラメータを調整することによって、操作者コンソールＯＣから制御される。例えば、撮像装置は、医療処置の特定のタイプ及び／又は段階に最適な異なるＦｏＶで画像をそのように取得するように、その撮像幾何学形状の調整を行うことをできるようにする。例えば医療処置の異なる段階で、患者の少なくとも一部に対して相対的に、検出器Ｄ及び／又はソースＳＳの３Ｄ空間内での姿勢を変更して、異なる投影方向ｐに沿った画像を取得することができる。撮像幾何学形状の、したがってＦＯＶの調整は、制御システムＣ－ＳＹＳによって自動的に要求されるか、又はロボット若しくはヒト操作者によって制御される。それぞれ、ＣＴ又はＸ線撮影などの投影又は断層撮影タイプのＸ線撮像は、本明細書において想定される唯一の撮像モダリティではない。他の撮像モダリティには、超音波、ＭＲＩ、及び核撮像がある。

【0055】

画像案内サポートにより、患者の内部のライブ画像を取得し、それによって、介入のための病変又は他の特定のエリアなどの周囲の解剖学的組織及び対象部位に対する患者の内部のデバイスＩＤの位置をモニタすることができる。述べたように、そのような画像のストリームは、例えば、デバイスＩＤの病変へのナビゲーションをサポートするために取得される。そのようなタイプの画像は、介入の画像案内サポートを表現する。上記で言及したものなどの最小侵襲タイプの介入のための画像案内サポートは有用である一方、費用が高くなる。撮像機器は、高価で、複雑であり、延長された使用期間中の経年劣化の作用を吸収するため、保守を必要とする。例えば、Ｘ線タイプイメージャのＸ線管ソースＳＳ（「管」）内のカソードディスクは、極端な高温及び温度勾配に繰り返しさらされるので、置き換えを必要とする。さらに、Ｘ線及び核などのいくつかのタイプの撮像モダリティは、電離放射線を使用するので、患者及びスタッフは放射線線量の損害を被り、この損害は、利益に対して釣り合わせる必要がある。患者には時には、画像のコントラストを向上させるために造影剤を注入する必要があるが、これには患者にとってマイナスの健康影響がある可能性がある。例えば、造影剤は腎臓を損傷させる可能性がある。

【0056】

撮像機器ＩＡへの依存を低減するため、コンピュータ実施サポートシステムＳＹＳは、撮像機器及び画像を使用せずに、患者の内部で介入ツールＩＴのナビゲーションを容易にする制御構成要素ＳＹＳを含む。医療デバイスＩＤのロケーションについて知るために画像を取得する必要はない。すぐに明らかになることではあるが、ナビゲーションサポートの代わりに、又は、ナビゲーションサポートに加えて、制御構成要素ＳＹＳは、好ましくは医療処置中に他のタイプのシステムのデバイスＤｊを制御するために使用される。基本的には、提案されている制御システムＣ－ＳＹＳは撮像を完全に置き換える可能性があるが、これは本明細書における全ての実施形態において必ずしも想定されるわけではない。したがって、イメージャＩＡと新たに提案された制御システムＣ－ＳＹＳとの協働は、イメージャＩＡの使用頻度を、及び、医療処置中の画像への依存を低減させるのを助けることが本明細書において想定される。

【0057】

概して、提案された制御システムＣ－ＳＹＳは、介入デバイスが今存在する解剖学的ロケーションについての非画像ベースの情報を集める。この情報は、グラフィック表示にレンダリングされ、ディスプレイデバイス上に、介入デバイスＩＤの今のロケーションのユーザへのインジケーションとして表示されることが可能である。さらに、又は代わりに、そのように集められたロケーションに基づいて、システムは、医療処置の異なる段階で訪れるデバイス又はシステムＤ_ｊのうちの任意の１つ又は複数を制御するなど、医療処置の他の態様を制御する。

【0058】

この非画像ベースのロケーション情報収集を達成するため、制御システムＣ－ＳＹＳは、形状センシングシステムＳＳＳを含む、又は、形状センシングシステムＳＳＳと少なくとも協働する。分散型センシングシステムＳＳＳは、電離放射線を使用しない形状センシングのために構成される。形状センシングシステムＳＳＳは、好ましくは、図１に概略的に示された細長い形状のデバイス（本明細書では「（形状センシング）アームＡ」と称されることが可能な）を含む。下記で詳細に説明されることとなるアームＡは、自身が身体内のナビゲーション中に変形するときの自身の形状を測定できるようにする。アームは介入デバイスＩＤに結合されており、したがって、デバイスが使用されるとき、又は介入中に動かされるとき、アームは変形する。特に、いくつかの実施形態では、形状センシングシステムは、アームＡの今の形状についての幾何学形状インジケーションとして３Ｄ曲線を表すために、その細長いアームＡの長さに沿った変形を測定する。３Ｄ曲線は、その変形の結果としてアームＡによって生成された形状測定結果によって表現される。形状センシングシステムＳＳＳの簡単な実施形態では、単なる２Ｄ曲線の測定で十分である。本明細書ではイタリック体「ｓ」で表すことができる形状測定結果の性質について下記で詳細に説明することとする。形状測定においてキャプチャされ、３Ｄ曲線によって表すことができる空間情報が、アームＡが今存在するそれぞれの解剖学的ロケーションと相互に関連付けることができることが判明した。形状測定結果自体は相互に関連付けられている。形状測定結果ｓから推定される解剖学的ロケーションは、ディスプレイデバイスＤＤを含む他の前記デバイスＤ_ｊを制御するために使用することができ、但し、今の解剖学的ロケーションＬＡ_ｉに対するインジケーションは、グラフィックで、テキストで、又は両方で示される。デバイスＤ_ｊの今の形状測定結果ｓに基づく制御システムによる制御は、適切な制御インターフェースＣＩＦを介する。

【0059】

前に簡潔に言及したように、使用の際、形状測定収集アームＡは、並んで延びる介入デバイスＩＤの細長い部分に、一体化されるか、又は少なくとも取り付けられるので、両方とも介入中に同じ方式で変形する。変形に応答して、異なる形状測定結果が経時的に取得され、新たに提案された制御システムＣ－ＳＹＳによって解析されて、アームＡ／介入デバイスＩＤの今の解剖学的ロケーションを推測し、それに基づいて、１つ又は複数のサポートデバイス／システムＤ_ｊが制御される。ほとんどの実施形態では、アームＡ及び介入デバイスはそのように結合されているので、アームＡの形状又は変形への言及はさらに、関連付けられた介入デバイスＩＤへの言及などとして読み取れ、又は、逆もまた同様である。形状センシングアームＡは、好ましくは、細長い介入デバイスと並んで延びるように配設される。したがって、形状センシングアームＡは、介入デバイスと一緒に使用されると、それにより、介入デバイスは形状センシング介入デバイスになる。本明細書で提案されている形状データの使用は、ＷＯ２０１７／０５５６２０又はＷＯ２０１７／０５５９５０に記述されているハブデバイスなどの適切な結合デバイスによって、さらなる（したがって非形状センシングの）介入デバイスまで「拡張される」。２つの介入デバイスは、互いに対して位置合わせされる。そのような位置合わせは、例えば、両方の介入デバイスの少なくとも一部を受けるように構成された前記ハブデバイスを介して行われる。この方式で、形状データは、２つ又はそれ以上の介入デバイスに対して付与される。したがって、形状センシングアームは、１つ又は複数の介入デバイスに直接又は間接的に結合される。しかしながら、１つ又は複数のそのような介入デバイスと組み合わせた形状センシングアームＡの使用は、例えば探査中に関連付けられた介入デバイスＩＤがなく、アームＡがそれ自体で使用される、本明細書ではあり得る使用シナリオを排除するものではない。

【0060】

形状測定結果ｓは、下記で詳細に説明されるように、データベースＤＢに格納される。新たに提案された形状測定ベースの制御システムＣ－ＳＹＳは、有益には、機械学習モジュールＭＬＭによって実装される。

【0061】

図２は、提案された形状センシング制御システムＣ－ＳＹＳの動作の原理を示している。

【0062】

上記で説明された医療処置の共通の特徴が、図２Ａの略図に示されている。上記で説明された脈管、胆管、又は泌尿器介入は、一般に複雑なキャビティシステムＳＣの探査のタスクとして理解されることが可能である。単純化された高度な概略化方式で、システムＣＳは、交差線のシステムとして図２に示されている。図２ＡにスケッチされたキャビティシステムＳＣは、ジャンクションを含む、相互接続管のネットワークとみなされる。介入者向けのタスクは、カテーテルなどの介入デバイスＩＤを、経路（点線のタイプで示されている）に沿って、進入ポイントＥＰから対象位置ＴＧまで前進させることである。表現を容易にするため、図２Ａにおける経路は、システムＣＳと並んで延びているように示されており、アームＡの経路がシステムＣＳ内で延びていることが理解される。進入ポイントは、自然のオリフィスであるか、又は身体の切開によって作成される。ナビゲーション中、介入デバイスＩＤは、管状構造体に沿って通される。図２Ａに線の簡単な交差として示されている管状ジャンクションは、患者の心臓の所与の動脈又は静脈内の狭窄などの対象ロケーションＴＧに到達するために、成功裏にナビゲートされる必要があることになる。交差又は分岐点の全てが必ずしも単なる二股分岐ではなく、ナビゲーション上の問題をさらに難しくする複数管への分岐を行う複数分岐である。しかしながら、わかりやすくするために、本明細書では、３つ以上の管が前記交差で交差し得ると理解した上で、二股、又は複数分岐をジャンクションと称すこととする。

【0063】

進入ポイントＥＰから対象物ＴＧまでのその通路上の介入デバイスは、いくつかの解剖学的ロケーションＡＬ１～４を通過することになる。例示のため、示されているのは４つのみであるが、多い場合も少ない場合もある。各ジャンクションで「右」に曲がることによって、アームＡ／デバイスＩＤは対象物に到達する。いくつかの又はそれぞれのそのようなジャンクションは、それぞれの異なる解剖学的ロケーションを表している。所与の医療処置で右折をすることによって、介入デバイスは、管状構造体及びｊｕｎｃｔｉｏｎ ｔｈｅｒｅａｔの曲げ及びコースに順応するためにある特定の形状をとるよう強いられる。分布型形状センシングアームＡは、介入デバイスに取り付けられ、又は、介入デバイスと一体化されるので、アームＡも同様に、対象物ＴＧに向かって通過中に、異なるそのようなロケーションＡＬ１～３で、異なる時間インスタンスＴ１、Ｔ２、Ｔ３に、異なる形状読み取り値を引き出す、同じ変形を受ける。したがって、形状測定結果ｓ_ｊは、図２Ａに示されるように、解剖学的ロケーションＡＬ_ｊのそれぞれの１つに相互に関連付けられていると理解することができる。

【0064】

図２Ｂは、本明細書におけるいくつかの実施形態において想定される形状センシングシステムＳＳＳについて詳しい説明をしている。必ずしも全ての実施形態ではないが、いくつかの実施形態では、変形可能なアームＡの長さに沿って、適切な増分ΔＬで、ローカルな形状センサＬＳ_ｊが配設されている。アームＡのローカルセンサＬＳ_ｊは、形状センシングシステムＳＳＳのデータ処理ユニットＤＰＵと有線又は無線通信する。データ処理ユニット又は質問器は、光センサＬＳＥ及び光源ＬＳＯを含むか、又は、光センサＬＳＥ及び光源ＬＳＯと通信する。光源ＬＳＯは、光信号をローカル形状センサＬＳ_ｊに送信するように動作可能であり、光センサＬＳＥは、局所的な形状センサＬＳ_ｊによって反射されたか、又は局所的な形状センサＬＳ_ｊによって別の方法で生じさせた、それぞれの光寄与をキャプチャする。好ましくはＡ２Ｄ（アナログ－デジタル）変換ステージを含むデータプロセッサ構成要素ＤＰは、反射された光信号を、形状測定結果ｓを表す数に変換する。

【0065】

通常の当業者のうちの一人であればよく知っているように、アームＡは、形状情報を検出し、形状センシングデバイスの形状を示す形状センシングデータを提供するためのひずみセンサとして使用される一体型ファイバブラッグ格子（ＦＢＧ）を有する１つ又は複数の光ファイバを含む。例えば、形状センシングシステムＳＳＳは、ファイバ光学実形状（ＦＯＲＳ）技術を使用して実装されており、その場合、形状センシングデータは、限定はしないが、形状センシングデバイス１４０の３Ｄ形状、曲率、及び軸方向ひずみを含むＦＯＲＳデータを含む。ファイバ光学ブラッグ格子の代替として、及び本明細書における実施形態において想定される、従来の光ファイバにおける固有の後方散乱を活用することができる。１つのそのような手法は、標準の単一モード通信ファイバにおけるレイリー散乱を使用することである。代替の実施形態では、光学的形状センシングとは別の形状センシング技術を使用して形状センシングシステムＳＳＳが実装される。例えば、形状センシングシステムＳＳＳは、アームＡの形状を決定することができるように、トランスデューサ、電極、及び／又は、アームＡの少なくとも一部分に沿って配設された、ピエゾ電気センサなどの電磁気センサを含む。例えば、３つ以上の電磁気センサがアームＡに取り付けられている場合には、形状は３つの位置から決定され、それによって、アームＡの、したがってアームＡに関連付けられたデバイスＩＤのロケーション及び配向がもたらされる。一般に、アームＡ上に多くのセンサが配設されるほど、優れた形状解像度及び形状精度となる。図２Ｂは、単一アームＡを備えるセンシングシステムＳＳＳを示しているが、複雑な形状をキャプチャするために、２つ以上のそのような細長いアームを備える他のマルチアームシステムもまた想定される。次いで、形状測定結果は、二股、又は複数分岐を伴う曲線として表現される。１Ｄパラメータによってパラメータ化可能な線状曲線としてではなく表面として形状測定結果をキャプチャするために、細長い（非撮像）プローブ／アームの代わりに形状センシングシートがさらに本明細書において想定される。

【0066】

アームＡは通常、それぞれの介入デバイスＩＤに取り付けられるか、それぞれの介入デバイスＩＤに一体化されるが、このことは必ずしも全ての実施形態でそのようになされないことが理解されるであろう。いくつかの代替の実施形態では、アームＡを使用して、介入デバイス自体が患者の中を通って前進するが、しかし、このことは、本明細書では、ほとんどの医療用途にとって関心が低い。しかしながら、診断的な目的で純粋な形状探査を行うことをさらに検討する。そのような形状探査は、非医療分野において、例えば、エンジン、又は船舶、航空機、若しくは自動車の油圧システムなどの機械部分内の配管システムのケーブル／ホース製品の探査などにおいても興味深いものである。そのようなスタンドアロンの実施形態では、しかし、また、アームＡが介入デバイスＩＤに取り付けられている実施形態でも、細長い変形可能なアームＡは、適切な硬さのポリマーなどの生体親和性に優れた材料から形成されており、ＦＢＧセンサ又は任意の他のセンサはその中に埋め込まれて、アームＡの長さに沿って配設される。

【0067】

アームＡ／形状センシングシステムＳＳＳのいくつかの実施形態について上記で説明したが、デバイスＩＤ／アームＡのひずみ、曲率、たわみ、ねじりなどの形状量、又はそのような（幾何学）形状を表す任意の他の量を測定することによって、デバイスＩＤ／アームＡの形状を決定することができる限り、任意の形状センシング技術が本明細書において想定される。

【0068】

次に図２Ｃを参照すると、これは、図２Ｃの線図のそれぞれの軸に沿った、異なる解剖学的ロケーションＡＬ_ｊと形状測定結果読み取り値ｓとの間の関係を示す定性的な線図を示している。

【0069】

それぞれの解剖学的ロケーションは、形状測定アームＡが、介入デバイスとともに、又は介入デバイスを伴わず、例えば患者の脈管構造を通ってなど、関心の管状システムを通って前進するとき、形状測定アームＡによって記録される特有の曲げパターンによってほとんど特定されることとなる。

【0070】

介入デバイスＩＤに関連付けられたアームＡを加えた介入デバイスＩＤは、関心の管状システムを通ってある特定の増分、好ましくは小さな増分で動かされる。何故なら、これは、負傷を防止するために介入ロボット又はユーザによって注意深く行われなければならないからである。アームＡはまた、ある特定の長さ、例えば１０～３０ｃｍを有するものであるが、全ての連続した形状測定結果読み取り値が、異なる解剖学的関心ロケーションと関係するわけではないことを図２Ａと併せて理解することができる。いくつかの測定結果、特に連続して獲得された測定結果は、図２Ｃの測定結果グラフのＰｊのプラトーによって示されているのと同じ解剖学的ロケーションＡＬｊと関係する。

【0071】

アームＡは、所与の解剖学的ロケーションからその次までの進路をくねらされているので、形状測定結果のある特定の特性が十分に変化したとき、このことは、患者の中をアームＡが通過する際に遭遇する、次の前記解剖学的ロケーションへの到達を示している。この変化は徐々に発生する。したがって、プラトーＰ１～５の間には、測定結果はまだどちらの解剖学的ロケーションにも、つまり、１つがちょうどアームＡが通過した解剖学的ロケーション、もう１つがアームＡが次に到達する解剖学的ロケーションのどちらにも（十分に）対応していない、ある特定の移行領域Ｔ１～Ｔ３があることになる。本明細書では排除されないが、本明細書において使用される用語「解剖学的ロケーション」は、一般に、ポイントロケーションを示しているのではなく、アームＡが解剖学的ロケーションを通過するときのアームＡによって記録されたある特定の特有の形状の測定結果読み取り値を生じさせるロケーションの範囲又は領域を示している。

【0072】

図２Ａ～２Ｃを全体として検討すると、一方では、異なる解剖学的ロケーションと、使用中にアームＡによって収集された、時系列の形状測定結果との間には、潜在的な関係性又はマッピングがあることが明らかとなる。提案されているシステムＣ－ＳＹＳが活用するように構成されているのは、この潜在的な関係性又は相関関係である。解剖学的ロケーション対形状測定結果のこの潜在的な関係性を厳密且つ解析的にモデリングすることは困難であろう。しかしながら、本明細書では、機械学習手法は、そのような解析的且つ厳密なモデリングを必要としないものの、訓練データに基づいて潜在的な前記関係性を十分な精度で確認することが可能なことが判明した。

【0073】

訓練データＴＤは、好ましくは、これまでに行われたそれぞれの介入において、適切な広範囲の患者から収集された以前の形状測定結果を含む。したがって、訓練データは、異なる生命特性の異なる患者について収集された履歴的な形状測定結果を表す。いくつかのケースでは、５人又はより少数の患者など、単一又はごく少数の患者についての履歴的な測定結果は、十分な訓練データであることが認められた。訓練データは、関心の医療処置について収集された形状測定結果を表すべきであるが、さらに、心臓脈管構造などの同じ解剖学的領域に関与する異なる処置にも関係する。他の実施形態では、以前の形状測定結果は、早期の医療処置で同じ患者について収集された形状測定結果に関係するか、又は、実際、今の処置で早期の時点で収集された形状測定結果に関係する。この後者の実施形態は、完全に下記で詳述される動的学習のパラダイムと結びつき、特に有用である。さらに、上述の実施形態のいずれかでは、以前の測定結果は、必ずしも、説明された介入でなど、現実の医療処置で行われた以前の現場測定結果から生ずるものではなく、実際は、コンピュータシミュレーションを介して自動的にユーザによって、又は、研究室の生体外（人体模型）若しくは生体内（動物モデル）セットアップによって合成されている。再度、合成訓練データ生成のこの後者の態様は、下記で詳細に探究されることとなる。

【0074】

機械学習（「ＭＬ」）では、訓練データは、解剖学的ロケーション対形状測定結果の潜在的な関係性を確認するために集合的に解析されることが可能である。この解析のおかげで、ＭＬは、特定の未来、又は、形状センシングアームＡが使用される新たな介入において新たに測定される、訓練データからは取得されない、新たな形状測定結果を与える解剖学的ロケーションを予測することができる。

【0075】

次に、本明細書において想定される制御システムＣ－ＳＹＳのブロック図を示す図３Ａへの参照を行うこととする。

【0076】

言及したように、システムＣＳＹＳは、機械学習に基づいており、訓練された機械学習モジュールＭＬＭを含む。モジュールは、訓練又は学習処置（これはさらに下記で説明される）で処理された機械学習モデルＭを利用する。システムＣＳＹＳは、十分に訓練されると、配備の準備が整い、臨床的な使用中に解剖学的ロケーションを予測するために、所与の介入中に収集された新たな形状測定結果を取り込むことができる。

【0077】

配備の際、今の（新たな）形状測定結果が、訓練された機械学習モジュールによって処理され、例えば、モデルに適用されて、カテゴリｃなどの結果をもたらす。言い換えると、機械学習モジュールは、新たな形状測定結果を複数のカテゴリｃ_ｊからあるカテゴリに分類しようとする。各カテゴリｃは、好ましくは、所与のそれぞれ解剖学的ロケーションＡＬｊに関連付けられるか、又は関係する。そのように算出されたカテゴリ結果ｃは、直接そのまま使用されるか、又は、処置タイプ若しくは段階のインジケーションなど、別の情報項目若しくは関心の結果に変換若しくはマッピングされる。変換器ＣＶによる変換は、テーブル又はデータベースルックアップ、すなわちＬＵＴによってなど、非ＭＬ手段によって行われる。次いで、カテゴリｃ、又は変換された結果ＣＶ（ｃ）は、モニタ若しくはディスプレイデバイスＤＤ又は拡張現実ヘッドセットなどの言及されたデバイスＤｊのうちの任意の１つ又は複数を制御するために使用される。解剖学的ロケーション、処置のタイプ又は段階は、グラフィック表示として可視化され、モニタ上、又はヘッドセット内に表示される。機械学習モジュールによって算出されたカテゴリの他の用途は、さらに下記で詳細に論ずることとする。

【0078】

したがって、コンピュータ化されたシステム、及び、特に機械学習モジュールは、少なくとも２つのステージ、又は、学習／訓練段階若しくは配備段階などの段階で動作可能であると理解される。一般に、訓練段階は、解剖学的ロケーション対形状測定結果の相互関係などの上述の潜在的な関係性を学習するために、訓練データのコンピュータ計算による処理を含む。

【0079】

この潜在的な関係性をキャプチャすることを可能にする十分な多様性を呈する、十分に大きい、代表的な訓練データ集合が使用される場合、機械学習モデルは、訓練段階の末期に、十分訓練されたとみなされ、次いで、図２Ａに示すように配備の準備が整う。広範囲の経験（例えば、異なる解剖学的組織を有する患者、介入デバイスＩＤを様々に操作するユーザ、又は異なる介入デバイスＩＤ、異なる経年劣化度を有する形状センシング機器、較正の品質）を包含する比較的大きな訓練データ（例えば、用途に応じてＮ＞＞１００）は、訓練モデルの性能を改善し、臨床的な使用中に都合よく遭遇する可能性が高い、予想するシナリオを表すことになる。

【0080】

好ましくは、学習は１回限りの動作ではなく（これはいくつかの実施形態においてもやはりそうであるが）、むしろ、配備中にある特定の間隔／速度で１回又は複数回繰り返される。配備時に形状測定の、元々の訓練データ集合によってまったく表されないか、又は十分に良好に表されない、新たなカテゴリに遭遇した場合、学習は再トリガされる。このタイプの動的学習は、自身が配備中となる以前にもたらされる新たなデータに鑑みて、機械学習モジュールＭＬＭの進行中の適合を可能にする。

【0081】

図３Ｂのブロック図は、図３Ａの配備段階と反対の訓練段階の例示である。（１つ又は複数の）訓練データベースＴＤ内に保持された履歴的な形状測定結果を特に含む、訓練データをコンピュータによって処理するコンピュータ化された訓練システムＴＳＳが使用される。訓練データは、図２に関連して上述で説明されたように、今の若しくは早期の医療処置において同じ患者に関係するか、又は、早期の医療処置からの一人又は複数の異なる患者に関係する。動的学習の実施形態では、特に、配備のための制御システムＣ－ＳＹＳ及び訓練システムＴＳＳは、単一若しくは複数のコンピューティングシステム上に実装可能な、又は、連合の学習フレームワークの一部としての、共通システムに一体化される。後者の場合、好ましくは、コンピューティングシステムは、通信可能に通信ネットワーク内に結合されるべきである。代替的に、特に、訓練が１回限りとして想定されるとき、又は、訓練がめったに行われないと予期される場合、制御システムＣ－ＳＹＳ及び訓練システムは、別個のコンピューティングシステム上で動かされる。次いで、訓練されたモデルＭは、ネットワークを介して（又はポータブルストレージ手段などの使用により）データ転送によって、医療施設のコンピューティングシステムに移植されるが、医療施設には、制御システムが配備され、臨床的な用途で動かされる。

【0082】

訓練データは、ＰＡＣＳ又は他の医療／患者記録ＭＤＢなどの医療データベースから取り出すこと及びアクセスすることができる。訓練データは、手作業で供給される。代替的に、コンピュータ化された検索が、データベース言語又はスクリプト言語を使用することによって構築される。

【0083】

十分に大きな及び／又は相応する数の訓練データ標本を常に供給できるとは限らない。そのようなケースでは、人工的に又は合成によって、以前存在していなかった訓練データ標本を生成できるようにする訓練データ生成器ＴＤＧが、本明細書において想定される。さらに下記において詳細に説明するように、これは、完全に自動的に行われるか、又は、適切なユーザインターフェースＵＩを介してユーザの関与によって行われることが可能である。

【0084】

訓練システムＴＳＳは、モデルＭを調整するために訓練／学習アルゴリズムを訓練データに適用する。具体的には、訓練データに基づくモデルの調整は、本明細書では、訓練又は学習と称される。

【0085】

図３Ｃは記述されている訓練データ生成器ＴＤＧの略図を示している。既存の訓練データ集合は、合成によって生成された訓練データ標本によって上積みされる。言い換えれば、人工的に生成された形状測定結果は、「現実の」履歴的形状測定結果の既存ストックに追加されるか、又は、訓練データ集合ＴＤは、そのような合成によって生成された測定結果から完全にゼロから蓄積される。

【0086】

人工的な生成、又は医療データベースからの履歴的な既存の形状測定結果からの取り出し、のどちらかによって、適切なばらつきを有する、十分な数のそのような形状測定結果が得られた時点で、これらを訓練データとして訓練システムＴＳＳに渡すことができる。訓練システムＴＳＳは、図３Ｂにおいて上記で言及されたモデルを調整するために、訓練データを処理する。訓練データの生成及び訓練は、下記で再び詳細にされる。

【0087】

次に、提案されている制御システムＣ－ＳＹＳの詳細な構成要素で示す図４のブロック図を最初に参照する。

【0088】

配備中、形状センシングシステムＳＳＳの変形可能な形状センシングアームＡは、変形され、アームＡに沿ってローカルセンサＬＳによって出力された上述の信号のストリームを生成する。次いで、この信号のストリームは、ある特定の時刻に形状測定結果ｓを作り出すように、形状センシングシステムのデータプロセッサＤＰＳによって処理される。形状測定結果ｓは、システムＣ－ＳＹＳの入力インターフェースで受信される。

【0089】

形状測定インスタントあたりの動作が１つのモードにおいて想定され、同様に、ブロックあたり動作モードが集約されるが、ここでは、ある特定の時間期間に収集された形状測定結果がバッファリングされ、次いで、制御システムＣ－ＳＹＳによって処理するためにブロックとして渡される。本明細書において別様に記述されていない限り、本明細書では、２つのモードに対して特定の区別をなすことはない。したがって、形状測定結果ｓに対する言及は、所与の時間インスタントでの単一測定データへの、又は、複数の時間インスタントに対する複数のそのような測定結果への言及と解釈される。

【0090】

制御システムＣ－ＳＹＳは、予測ロジック部ＰＬを含む。予測ロジック部ＰＬは、インターフェースを介して形状測定結果ｓを受信する訓練された機械学習モジュールＭＬＭを含む。機械学習モデルＭには、それぞれの解剖学的ロケーション、処置の段階、又は処置のタイプを示すカテゴリｃを出力として与えるために、形状測定結果が適用される。

【0091】

予測ロジック部Ｐｌは、形状測定結果ｓを処理して、予測されたカテゴリとするために、ＭＬベースのロジック部だけを必ずしも使用するわけではない。システムＣ－ＳＹＳはさらに、コンテキストデータκを処理するための、特に、ＭＬ予測されたカテゴリに対するあいまいさ又は不確実性を解消するための１つ又は複数のロジック部を含む。したがって、予測はロバストになり得る。代替的に、両方を処理して、形状測定結果を予測されたカテゴリとするのは、ＭＬベースのロジック部ＰＬである。

【0092】

コンテキストデータκの概念は、下記で詳細に探究することとする。コンテキストデータの１つの特定のタイプは、時間であり、特に、介入の過程でカテゴリが予測される（「予測時間」）時系列の順序である。今の介入における以前の予測の順序は、次の予測を知らせるために使用することができる。時間情報の処理、特に、早期の予測（予測時間）の順序の処理は、次のカテゴリを予測するために、今の形状測定結果と併せて機械学習モデルによって行われ得る。代替的に、言及された補助ロジック部は、ルックアップテーブルとして格納された予想された順序に対して、予測されたカテゴリの順序を比較する。したがって、補助ロジック部の操作は、必ずしもＭＬを必要とせず、ルックアップ操作、補間などによって行われる。本明細書において、詳細に説明されることとなるが、ＭＬベースの予測ロジック部ＰＬが予測することと、補助ロジック部が予想することとの間に矛盾があるときのみ、訓練データベースの更新、例えば、新たなカテゴリの開設、又はモデルＭの再学習などの改善のためのアクションがとられる。

【0093】

所望の場合、及び、早期に簡単に言及したように、変換ステージＣＶは、予測されたカテゴリｃを、医療処置の適用可能な段階になど、別の結果Ｒ（ＣＶ（ｃ））に変換するか、又は、実際、所望通りのタイプの医療処置を示す。変換された結果Ｒ又はカテゴリＣは、番号が付けられたデータなど、適切にコード化されて出力され、次いで、制御インターフェースＣＩＦに転送される。制御インターフェースＣＩＦは、図４の右手側に例示的に示されるデバイス又はシステムＤｊ＝｛Ｄ１～Ｄ６｝のうちの１つ又は複数を制御できるようにするミドルウェアを含む。ミドルウェアは、予測されたカテゴリｃ／結果を適切な制御コマンドにマッピングする。ルックアップテーブル又は他の構造体が使用される。

【0094】

デバイスＤｊは、運営中の劇場内のモニタ、及び／若しくは画面上への投影、或いは、介入中にユーザが装着している拡張現実ヘッドセットの制御などの、結果又はカテゴリのグラフィカルな、テキストを用いた、若しくは両方の、ディスプレイデバイス上への、グラフィック表示／可視化の表示を行う可視化器モジュールＤ１を含む。

【0095】

可視化モジュールＤ１は、今の解剖学的ロケーション、処置のタイプ、又はその段階を含む予測結果に基づいて、グラフィック表示を生成する。インターフェースＣＩＦは、映像回路がディスプレイデバイスＤＤ上に（又は、異なるディスプレイデバイス上に）グラフィック表示の表示を行うように制御する。そのように生成されたグラフィック表示は、予測ロジック部の動的な性質に動的に対応している。すなわち、グラフィック表示は、アームＡが介入時に動かされながら形状測定結果のストリームを取得するので、予測されたカテゴリのストリームに基づくように適合される。予測されたカテゴリがそれぞれの解剖学的ロケーションを示しているとき、グラフィック表示におけるグラフィックウィジェットの位置は、それぞれの新たに予測されたカテゴリとともに更新される。例えば、円、毛十字シンボル又はその他などのカーソルウィジェットは、コンテキストにおいて解剖学的ロケーションを示すために、解剖学的図解又は類似のものなどの患者の解剖学的組織のグラフィカル描画に対して表示される。純粋なテキスト情報、又は、文字列、例えば、「今の解剖学的ロケーション：下大動脈」を含むテキストボックスなどの、グラフィカル情報に追加したテキスト情報もまた想定される。今の形状測定結果もまた、異なるビュー面における同じ又は異なるグラフィック表示上のグラフィカルビュー内にレンダリングされる。ユーザは、異なるそのような面間で切り替えることができる。特に、視覚チェック援助として、今の形状測定結果を、図５と同様に、訓練データクラスタのグラフィカル描画に対して可視化する。今の形状測定結果は、その予測されたクラスタと関連付けて表示され、他の１つ又は複数のクラスタもまた、グラフィック表示の他の部分内に表示される。したがって、ユーザは、予測されたクラスタが信頼できるかどうか、視覚によって非常に迅速にチェックすることができる。処置のための計画された経路もまた、必要な場合表示される。予測されたカテゴリが、解剖学的ロケーションの代わりに処置タイプ又は段階を示している場合、グラフィック表示は、段階を示す部分とともに時間線又は時間図を含む。予測ロジック部が時間の経過にしたがいカテゴリを予測したのに応答して、グラフィック表示は動的に更新されて、その結果、グラフィカルウィジェットは、今の段階を示すために、線／図に沿って視覚的に進行又は「移動」するように見えてくる。さらに他の可視化の実施形態では、グラフィック表示は、形状センシングデバイスの再構築された形状の仮想画像を含み、任意選択で、解剖学的ロケーションの仮想及び／又は撮像された表現と一緒に含む。仮想表現は、コンピュータグラフィック要素、ＣＡＤ要素などを含む。さらに、又は代わりに、形状センシングデバイスによって次の解剖学的ロケーションの仮想及び／又は撮像された表現が渡されそうな又は入りそうな先には、グラフィック表示が含まれる。任意選択で、形状センシングデバイスＡ、ＩＤのナビゲーション経路は、グラフィック表示内に表される。任意選択で、及び、場合によりさらに、今の及び／又は次の解剖学的ロケーションは、前記経路と関連付けられて表され、動的ウィジェットは経路描画に重ねられ、ウィジェットは見たところ、予測がロジック部ＰＬによって更新されたときに、経路に沿って又は経路上を移動するなどする。さらに別の実施形態では、前に述べた実施形態のいずれかと組み合わせて、先験的に知られているか、又は、早期に予測された結果からロジック部ＰＬによって導出された、ナビゲーションの計画された経路の描写が、グラフィック表示に含まれる。いくつかの実施形態では、グラフィック表示は、場合によっては、形状アームＡが中に進入していく新たな関連する器官に関連付けられた、新たに予測された解剖学的ロケーションのインジケーションを含む。次の前記解剖学的ロケーション及び新たに進入されるロケーション／器官、段階若しくはタイプ又は処置は、早期の予測のストリームの時間挙動、及び／又は、下記で詳細に説明されることとなる形状測定結果クラスタにおいてなど、算出されたカテゴリの特性のある特定の変化のロジック部ＰＬによる解析によって得られる。

【0096】

制御されると想定される他のデバイスは、撮像装置ＩＡなどの撮像システムＤ２を含み、撮像システムＤ２の撮像パラメータは、算出されたカテゴリ及び／又は結果に応答して変更される。ＦＯＶは、処置が今ある段階に応じて、又は、今の解剖学的ロケーションに応じてなどで変更される。

【0097】

１つ又は複数の制御可能なデバイスＤｊは、モニタリングデバイスＤ５を含む。モニタリングデバイスＤ５は、患者のバイタルサインをモニタする。モニタリングデバイスＤ５の動作モードは、予測されたカテゴリｃに基づいて変更される。例えば、モニタリングデバイスＤ５のサンプリングレートは調整されるか、又は任意の他の設定である。医療デバイスは、代わりに、又は、さらに、データベースモジュールＤ４を含む。制御可能なデバイスは、介入デバイスＤ３＝ＩＤ自体を含む。例えば、介入デバイスＩＤに供給される電力は、ロジック部ＰＬによって推測されたカテゴリｃの関数として制御される。電力供給された介入デバイスＩＤは、レーザパワーがそこで調整されるアテレクトミーカテーテルである。別の例は、例えば、ＩＶＵＳ（脈管内超音波）又はＩＣＥ（心臓内エコー）カテーテルの撮像カテーテル向けの撮像パラメータの調整向けである。

【0098】

制御されるデバイスＤ６は、臨床ワークフローを指導する又は管理するための、ページングする、又は別の状況では、予測された結果、カテゴリｃに基づいてメッセージを臨床スタッフに送信する、通信デバイスなどの管理デバイスを含む。

【0099】

いくつかの実施形態において想定されるように、形状データｓがロジック部ＰＬによって未加工データとして処理される一方で、これは処理するのが非効率であることが判明する。例えば、データは、ノイズ寄与を含むか、又は別の状況では比較が難しい。処理を改善するために、データ準備ステージＰＳが設けられ、データ準備ステージＰＳは、形状測定結果を前処理し、それによって、効率的な処理を促進する。例えば、準備ステージＰＳは、ノイズフィルタリングなどのフィルタリングをするように構成されるか、又は、下記で詳細に説明することとなる、データｓを正規化するための正規化演算を行うように構成される。

【0100】

さらに、又は代わりに、データのいくつかの次元が冗長であるか、又はタスクに関係のある情報を含まないため、データｓが非常にかさばり過ぎることがある。かさばり過ぎるデータは、さらに、処理ロジック部ＰＬに過剰なコンピュータ計算又はメモリリソースを消費させる。コンピュータ計算効率及び／又はメモリリソースの使用率を向上させるために、データ変換ステージＰＳが設けられ、データ変換ステージＰＳは、形状測定結果を、効率的な処理を促進する描写に変換する。例えば、変換ステージを利用して、データｓのかさを低減し、以て、データの最も関連性のある特徴のみを使用して、そのように効率的な演算を促進する。例えば、変換ステージＴＳで、主成分分析（ＰＣＡ）又は他の要因分析アルゴリズムを使用して、形状測定結果ｓの描写を簡略化することができる。経時的に取得された形状測定結果は、基底ベクトルからなる基底に対する座標を有するベクトル空間などの高次元空間のいくつかの離散要素（「ポイント」）として概念化される。ＰＣＡ又は他の要因分析技法などのプロジェクションベースのかさの低減（「ＤＲ」）技法では、前記ポイントは、低い次元のサブ空間に投影されて、以て、少ない基底ベクトルを有する、新しい小さい基底に対する少ない座標によってなど、単純な描写が可能になる。様々なＰＣＡ異型（カーネルベース、グラフベースなど）などの他のタイプのかさの低減技法もまた、本明細書において想定されるが、さらに、統計学的技法、例えばＬＤＡ（「線形判別分析」）などの他の技法も想定される。ＬＤＡは、特徴の線形結合を見出し、訓練データ標本の基礎となる集合を成分に分離して、簡略化された描写、したがってコンピュータ実装の利点を達成する。しかしながら、前述のＤＲ技法のうちのいくつかの少なくともいくつかの態様の根拠をなす「投影による簡略化」のパラダイムは、必ずしも、本明細書において想定される全ての実装形態において必要であるわけではない。例えば、特徴選択タイプのＤＲ技法もまた、本明細書において想定されており、但し、集合からのある特定のメンバ、又はそのある特定の特質（「特徴」）は、代表として指定され、次いで、さらなる処理はそれらの代表に基づく。そのような特徴選択レジームは、相互情報、フィッシャ情報、又はその他などの情報理論量によって駆動される。小さい又は大きいスパース性の表現への変換もまた、本明細書における実施形態において想定されており、スパース性は、データの異なる表現のさらに別の例である。

【0101】

上記のように述べられており、変換状態ＴＳによって実装される表現アルゴリズムのそのような変化は、必ずしもかさの低減タイプではないことを指摘する価値がある。例えば、時間単位又はスペクトルドメイン単位の形状測定結果の処理が、主に本明細書において想定される一方、変換ステージＴＳは、適切なフーリエ又はウェーブレット演算によって周波数ドメインへの変換をサポートする。変換ステージＴＳは、下記で詳細に説明される。次いで、一般に、変換ステージＴＳは、形状測定結果ｓの集合を、推測器ロジック部ＰＬに対して効率的な処理（例えば、迅速な、低い遅延所要時間など）及び／又は保守的なメモリ使用率などの実装上の利点を付与する、表現に変換する任意のアルゴリズムによって実施される。

【0102】

機械学習モジュールは、主に本明細書において想定されるようにマルチクラスカテゴライザとして動作し、マルチクラスカテゴライザは、異なる解剖学的関心ロケーションＡＬ_ｊごとに、形状測定結果をいくつかのカテゴリのうちの１つに分類する。各カテゴリｃ_ｊは、異なる所与の解剖学的関心ロケーションＡＬ_ｊを表す。いくつかの機械学習モデルにより、算出されたカテゴリｃのいくつか又はそれぞれに関連付けられた不確実性又は予測誤差Δを算出することができる。したがって、システムは、不確実性決定器ＵＤを含む。カテゴリと解剖学的ロケーションとの間のマッピングは、いくつかの実施形態において、訓練によって、例えば、教師あり訓練スキームにおいて、適切にラベル付けされた形状データを使用することによって、達成される。例えば、初期に言及された、合成によって生成された、又は供給された履歴的訓練データには、ヒト熟練者によって、それぞれの解剖学的ロケーションを示すラベルが割り当てられる。形状測定結果の３Ｄ曲線としての可視化により、経験を積んだユーザは、腸骨大動脈移行部、又はヒト若しくはほ乳動物の脈管構造の関心の他の部分などのそれぞれの解剖学的ロケーションを推定することができる。

【0103】

不確実性決定器ＵＤによる予測誤差Δの計算は、上記で簡単に説明した動的学習の実施形態と連携して特に有用である。動的学習では、訓練段階は、配備前に１回限りの動作として１回行われるのではなく、訓練段階は、むしろ配備中に進行中の動作であると考えられており、配備中にシステムが遭遇する新たなデータに基づいている。この任意選択の動的学習／訓練の実施形態では、システムＣ－ＳＹＳはさらに、予測ロジック部ＰＬと協働する訓練ステージＴＳを含む。１つの例では、不確実性決定器によって返された予測誤差が高い、例えば、ある特定のしきい値よりも高い場合、警告信号がユーザに発出される。代替的に、又は、そのような警告の発出に加えて、予測誤差がある特定のしきい値を超えた場合、今処理された、高い不確実性を生じる形状測定結果ｓは、動的訓練から排除されて、訓練システムＴＳＳに渡される。大きさが増大するにつれて高い不確実性を示す不確実性値Δへの言及を本明細書において主に行うが、これは、信頼度値の観点から、予測誤差の相当する定量化を排除するものではない。したがって、低い信頼度値は高い不確実性に対応し、上記で説明されたΔを超えるしきい値処理は、Δが、不確実性ではなく信頼度値に対してコード化する場合、逆向きにされる必要があることが理解されるであろう。

【0104】

高い予測誤差は、これまでモデルを訓練するために使用された訓練データを代表しない、データの新たなカテゴリに遭遇したことを示す。そのような状況では、新たなカテゴリが開設され、今の形状測定結果が、この新たなカテゴリに対する新たな訓練データ標本として訓練メモリＴＤに追加される。自動の又はユーザが運転可能な注釈ツールＡＴを使用して、ロジック部ＰＬに高不確実性カテゴリを算出させるそれぞれの形状測定結果に注釈する。この新たに開設されたカテゴリは、新たな解剖学的ロケーション、若しくは、普通でないように形づくられた既知の解剖学的ロケーションを表し、又は、図２Ｃと関連して早期に説明した関心の２つの解剖学的ロケーションＡＬ_ｊ ＡＬ_ｊ＋ｋ、（ｋ≧１）間の移行領域を単に表すだけである。目下のタスクにとってそれ自体先験的な関心はないが、移行領域である「中間ロケーション」に対するそのようなカテゴリは、ロジック部ＰＬが、患者の身体内でアームＡが今存在する場所を特定することができるように、システムを更新するために有益にさらに使用される。アームＡが今２つのＡＬ_ｊ ＡＬ_ｊ＋ｋロケーションの中間にある新たなカテゴリに基づく局部化カテゴリ分類は、依然として、ナビゲーションの観点からユーザにとって有益である。そのような移行領域カテゴリのより一層の追加によって、予測ロジック部ＰＬの空間解像度能力は、任意の所望の粒度まで改良される。不確実性値は、測定結果を複数のカテゴリに割り当てるために使用される。したがって、不確実性値は、カテゴリに対する帰属数を測定し数量化するために使用される。

【0105】

訓練システムＴＳＳは、同様に、任意選択で、予測ロジック部ＰＬの前処理及び変換ステージＰＳ、ＴＳに対応する前処理ＰＳ’及び／又は変換ステージＴＳ’を含む。演算は、好ましくは同一である。

【0106】

ニューラルネットワークを含む複数の機械学習技法が本明細書において想定されており、これらは下記で詳細に論じられることになる。

【0107】

クラスタリングにおいてなど、機械学習技法のある特定のタイプにおいて、リバランス構成要素ＲＢは、これまで遭遇したクラスタのサイズをリバランス又は変化させるために使用される。これにより、記録上のクラスタが、システムが遭遇したそれぞれのロケーションに対して十分な代表となることが保証される。十分に大きいサイズのクラスタがあるため、それぞれ又はほとんどが、十分な数の異なる代表を含むことになり、その結果、機械学習モジュールＭＬＭのロバストな性能がもたらされる。

【0108】

予測ロジック部の機械学習モデルの実装形態に対する詳細な説明に進む前に、形状測定データｓの特性を詳細に説明することが有用である。上記で図２において例示された形状測定結果の性質に基づいて、形状測定結果ｓが空間－時間の量であることは明らかである。形状測定結果は、集合的にＳ＝（ｓ^ｊ）＝（ｓ^ｊ（ｘ^ｊ，ｔ^ｊ））と記述される。

【0109】

この表記では、インデックスｊは測定結果が取得されたそれぞれの患者を表しているが、このインデックスは、本明細書では省くことができる。インデックスｘは、それぞれのローカルセンサＬＳ_Ｘが位置し、それぞれの形状測定結果が記録されたアームＡに沿った空間上の増分を示している。インデックスｔは、時間を示し、ユーザ又はロボットがアームＡを患者の中を通して前進させているときに、経時的に取得された異なる形状読み取り値を指している。しかしながら、代わりに、形状は、国際的に、アームＡの全体に対して所与の時刻ｔにおいて、平均値、例えば、平均ひずみ、曲率などによってなど、単一の量、又はそのような国際的な量によって規定されるので、ロケーションｘによるそのような指し示しは、本明細書では必ずしも必要ではない。

【0110】

形状測定結果Ｓ＝ｓ^ｊ（ｘ^ｊ，ｔ^ｊ）は、アームＡによって獲得された任意の形態の測定結果を含む。例えば、測定結果は、アームＡのそれぞれの光ファイバから得られる。測定結果は、限定ではないが、アームＡの、曲率、軸方向ひずみ、ねじり、又は３Ｄ形状を含む。３Ｄ形状は、空間的な３Ｄ座標（Ｘ，Ｙ，Ｚ）^Ｘの集合によって示され、アームＡに沿ったロケーションｘによって指し示し可能であり、何らかの座標系に対して相対的である。現在の目的のため、形状測定結果（ｓ値）が、空間座標、曲率、又はひずみなどとして表されるかどうかは重要ではなく、任意のそのようなセマンティックフォーマットは本明細書において想定される。

【0111】

ここで予測ロジック部ＰＬの演算に対して詳細に言及すると、これは、主に本明細書において想定される機械学習技法によって実施することができる。いくつかのそのような機械学習技法は、予測の基礎をなすモデルを使用する。

【0112】

モデルは、形状測定データをモデルに適用させて、予測結果、例えば、カテゴリｃを算出可能にするデータ構造体、関数、又は関数のシステムである。

【0113】

訓練段階では、モデルは訓練データを所与として、適合又は調整される。訓練データは、合成の又は履歴的な形状測定データを含む。予測ロジック部ＰＬによる予測の結果は、好ましくは、マルチカテゴリ分類のうちの１つである。すなわち、配備の際、例えば、介入中に収集された新たに観測された形状測定結果は、複数のカテゴリのうちの１つに分類される。各カテゴリは、それぞれの解剖学的ロケーション、処置タイプ、又は処置の段階を表す。

【0114】

所与の時刻にアームＡによって測定されたそのときの形状測定結果が与えられると、これをもとにして、予測ロジック部ＰＬは、複数の解剖学的ロケーションのうちのどの解剖学的ロケーションに形状測定アームＡがそのとき位置しているかを予測することができる。ほとんどの場合、及び、空間的に分散されている形状測定結果の特性の上述の説明（図２において）が与えられると、用語「ロケーション」は、形状アームＡが、予測ロジック部ＰＬによって予測されたそれぞれの解剖学的ロケーションにわたって延びることを意味すると理解されるであろう。詳細な局部化が必要な場合、測定結果は、アームＡの長さに沿ってそれぞれの参照ポイント、例えば、形状測定アームＡの、及び／又は、アームＡが一体化される若しくは関連付けられるそれぞれの介入デバイスＩＤの、中間部分又は好ましくは端部部分に対して較正されることが可能である。

【0115】

訓練段階では、訓練又は学習アルゴリズムは、メモリＴＤ内に現在保持されている訓練データに適用されるか、又は、関係する。訓練が完了した時点で、配備段階中に、予想器アルゴリズムはモデルを使用して、モデルを配備段階測定データに適用する。予想器アルゴリズムは、調整されたモデル及び新たに受信された形状測定結果を処理して、解剖学的ロケーションのカテゴリである予測結果を作り出す。

【0116】

訓練アルゴリズムは教師ありであるか、又は教師なしである。教師あり訓練の場合、各訓練標本又は形状測定結果は、各訓練標本又は形状測定結果が関係する、前に知られていた解剖学的ロケーションに関連付けられる。教師なし学習では、そのような（明示的な）ラベル付けは必要ない（、又は、少なくとも明示的なラベル付けは必要ない）。教師あり又は教師なし学習の両方の異型が本明細書において想定される。そのような例は、さらに下記で論じられ、実装形態において想定される。

【0117】

一般に、２つのケース、すなわち、明示的又は暗黙的なＭＬモデリングのケースが本明細書では区別される。両方に共通であるのは、形状測定結果から解剖学的ロケーションを表すカテゴリ

【数1】

にマッピングするｓ－＞ｃ_ｊモデルＭである。モデルは一般に、マルチカテゴライザ／マルチビナーのうちの１つであるが、ロジック部の目的が単に、アームＡがあらかじめ規定された解剖学的ロケーションに位置しているか否かを確立する又は「テストする」にすぎないときなど、バイナリカテゴライザは本明細書において排除されない。

【0118】

いくつかの実装形態では、モデルは、各カテゴリが選別ラベルｃを表す（このケースでは同じ表記を使用する）、バイナリ又はマルチクラス選別器である。しかしながら、他の実施形態では、モデルは、各カテゴリｃ_ｊがクラスタに対応する、クラスタ又は複数のクラスタｃ_ｊのうちの１つである。各クラスタは、訓練データのそれぞれの部分集合であるｃ⊂Ｓ’。

【0119】

今後は、大文字Ｓ’は集合測定結果ｓ’∈Ｓ’を表すために使用され、プライム符号「’」指示子は、訓練データ集合Ｓ’又はそこからの標本ｓ’への参照を示すこととする。したがって、表記「ｓ」（「’」指示子がない）は定義

【数2】

による、したがって、配備中の、訓練後に受信した形状測定結果への参照である。

【0120】

暗黙的なモデリングでは、モデルを構成するのは、訓練データ自体であり、モデルＭ＝（Ｓ’，Ｄ（））は、任意選択で、標本ｓ’又はＳ’の部分集合Ｓ’_ｊを記述する記述関数Ｄを含む。上述のように本明細書におけるいくつかの実施形態において想定されるクラスタリングアルゴリズムは、暗黙的なモデリングの一例である。

【0121】

明示的なモデリングでは、モデルは、１つ若しくは複数のパラメータ化された関数、又は、関数のシステムＭ＝Ｍ^θ（）として表され、訓練データの集合Ｓ自体とは異なるコンピュータ計算エンティティを形成する。いくつかの実装形態では、関数Ｍ^θ（）のうちのいくつか又は全ては、ニューラルネットワークタイプのモデル内のノードなどの機能的構成物によって接続された入力及び／又は出力を有し、但し、１つの関数からの出力は、１つ又は複数の他の関数などに対する入力として設けられている。関数Ｍ^θ（）は、訓練集合（空間）ＳからカテゴリのスペースＣ＝｛ｃ_ｊ｝へのマッピングを行う。本明細書において想定される他のタイプの明示的なモデリングは、決定ツリー、ランダム森を含むが、さらに、特にガウス成分を含むガウス混合モデル（「ＧＭＭ」）と称される、混合モデルなどの統計学的技法も含む。

【0122】

明示的なモデリングでは、訓練アルゴリズムは、訓練データＳ’に基づいて、モデル関数Ｍ^θ（）のパラメータθを調整することになる。いくつかのそのような実施形態では、訓練アルゴリズムは、最適化プロセスとして定式化され、但し、１つ又は複数のオブジェクト関数Ｆは、Ｍ^θ（）のパラメータの調整を案内するように使用される。モデルＭは、オブジェクト関数Ｆによって測定されたあらかじめ規定された目標を達成した時点で、十分に訓練されているとみなされる。オブジェクト関数は、コスト関数又は効用関数のうちの一方である。例えば、コスト関数に関して最適化を定式化したとき、目標は、コスト関数を最小化することであるか、又は、少なくともパラメータを、コストがあらかじめ規定されたしきい値より低くなるように、調整することである。
θ^＊＝ａｒｇｍｉｎ_θΣ_{ｓ’∈Ｓ’}Ｆ（Ｍ^θ（ｓ’）） （１ａ）

【0123】

オブジェクト関数Ｆは、目標又はコストを測定する距離関数などの何らかの関数である。訓練データＳ’の全体に、又はある部分集合にわたる総コストは、加算によって表されると考えられる。教師ありマルチクラス、又はバイナリ選別のコンテキストでは、（１ａ）は、具体的に
ａｒｇｍｉｎ_θＦ＝Σｋ｜｜Ｍ^θ（ｓ’），ｃ_ｋ｜｜ （１ｂ）
と表現される。
｜｜．｜｜は、ある距離、或いは、平均二乗誤差（Ｌ^２ノルム）若しくは平均絶対誤差（Ｌ^１ノルム）、又は任意の他のものなど、選別タスクのために構成された類似性尺度／関数である。パラメータは、確率分布のパラメータであり、その場合、｜｜．｜｜は、ある統計学的類似性尺度として選択される。表記｜｜．｜｜は、本明細書では一般的な意味において使用されているので、Ｌｐノルムに限定されるものではないが、一般的な類似性尺度を含み、クロスエントロピー、若しくはカルバック－ライブラー（「ＫＬ」）発散、又はさらに他のものによって定義されるなどである。

【0124】

明示的なモデリングでは、（１ａ，ｂ）から続いて、訓練されたモデルＭ^θ＊が使用されて、予測器アルゴリズムを
Ｍ^θ＊（ｓ）＝ｃ∈｛ｃ_ｊ｝ （１ｃ）
と定式化する。

【0125】

暗黙的なモデリングでは、訓練アルゴリズムは、訓練集合Ｓ’によって、下記のように定式化される。
Π^＊＝ａｒｇｍｉｎ_ΠΣ_ΠＦ（Π） Π＝∪Ｓ_ｊ’，Ｓ_ｊ’⊂Ｓ’ （２ａ）
Πは、Ｓ’のＳ_ｊ’の部分集合の上述の記述子関数Ｄ（Ｓ_ｊ’）によって定義されるある仕切りである。

【0126】

しかしながら、暗黙的なモデリングにおける学習のいくつかの実施形態は、単に新たな集合Π^＋＝Π∪Ｓ_ｋ’，ｋ≠ｊを追加するために、クラスタリングにおいてなど、単に新たなカテゴリを格納することを含む。Ｓ_ｋ’によって表される新たなカテゴリｃ_ｋは、単集合である。それは、配備Ｓ_ｋ’＝｛ｓ｝中に遭遇する１つ（又は複数の）新たな測定結果ｓから導出される。

【0127】

さらに、いくつかの実施形態では、暗黙的なモデリングにおける学習段階が必要とするのは、いくつかの実施形態において想定されるｋ最近傍（「ｋ－ＮＮ」）アルゴリズムにおいてなど、訓練データ標本ｓ’∈Ｓ’を格納するだけである。

【0128】

予測器アルゴリズムは、以下の最適化に基づき、各ｓをそのクラスタに割り当てるように構成される。

【数3】

及び
Ｍ（ｓ）＝ｃ、 （２ｃ）
ｃは（２ｂ）によって、クラスタＳ_ｊ’^＊に関連付けられている。

【0129】

クラスタリングタイプの機械学習アルゴリズムは、形状測定結果を分類するのに特に有用であることが判明している。クラスタリングタイプの機械学習手法は、ＭＬにおける上述の暗黙的なモデリングの例である。概して、本明細書において想定されるそのようなクラスタリングアルゴリズムでは、訓練データＳ’集合は分裂されて、重なり合う又は重なり合わない、部分集合又はクラスタになる。これは、（２ａ）による仕切り動作を表している。クラスタＳ_ｊ’は、クラスタＳ_ｊ’のそれぞれの、重心又は他の特有の特徴などの記述子関数Ｄ（）によって記述される。訓練データ集合Ｓ’の訓練データ標本ｓ’は、自身が属するクラスタの代表又はメンバであると言われ、重心Ｄ（Ｓ_ｊ’）はそれぞれの原型である。

【0130】

配備の際、予測ロジック部ＰＬは、予測器アルゴリズムを実施して、所与の新たな測定結果ｓがそこに収まると言うことができる１つ又は複数のクラスタを見出す（２ｂ）。各クラスタは、カテゴリｃを構成し、したがって、それぞれの解剖学的ロケーションを示している。（２ｂ）のオブジェクト関数では、予測アルゴリズムを適用するときにそれぞれの帰属関係のためのスコアを算出するため、ハードな又はソフトな帰属関係が使用される。

【0131】

早期に実施されたｋ最近傍アルゴリズムは、教師ありの様式で実施され、各測定結果標本ｓ’は、そのラベルｃを有している。次いで、新たな測定結果ｓに対する、配備の際の予測アルゴリズムは、Ｄ（）及びいくつかの近似関数に基づいて、ｓ’∈Ｓの中から多数決によって分類される。例えば、ｓは、ｓに近接している重心Ｄ（Ｓ_ｊ’）を有するクラスタＳ’_ｊに割り当てられるか、又はｓのある特定の近辺内に重心があるそれらのクラスタに割り当てられる。

【0132】

一般に、（１ａ～ｃ）、（２ａ～ｃ）を解くために、勾配ベースの技法が使用され、この場合、オブジェクト関数Ｆの勾配が算出され、パラメータ調整は、パラメータ空間Θ∋θにおいて、方向を規定する前記勾配に基づく。ニューラルネットワークタイプのモデル向けの逆方向伝播アルゴリズムは、一例であり、本明細書における実施形態において想定される。１つ又は複数の順方向パスが、逆伝播において使用される変数を算出するために使用される。（１ａ～ｃ）の解明は、使用される数値ソルバアルゴリズム次第であり、解θ^＊に到達するために、１回又は複数回の繰り返しサイクルｉ：＝ｉ＋１においてパラメータが更新される繰り返し更新処置を生じさせる。数値ソルバアルゴリズムは、以下の、勾配降下、確率勾配、共役勾配、ネルダーミード期待値最大化（ＥＭ）、最大尤度法、又は任意の他の技法のうちの任意の１つ又は複数に基づく。更新器ＵＰモジュールは更新処置を実施する。上述のＧＭＭの例では、ＥＭタイプのアルゴリズムが訓練アルゴリズムとして使用される。非勾配ベースの手法は、本明細書では除外されるものではない。

【0133】

上記の最適化（１ａ～ｃ）、（２ａ～ｃ）は、最小化問題として定式化されているが、これは本明細書において限定的ではない。何故なら、それぞれの二重定式化も、効用関数の観点から本明細書において想定されており、（１ａ～ｃ）、（２ａ～ｃ）での最適化は、最大化のうちの１つであるためである。また、上記の等式（１ａ～ｃ）、（２ａ～ｃ）は最適化に関するものの、これは絶対的且つ厳密な最小又は最大の排他的な追求と解釈されるべきではない。これは実際、本明細書において必ずしも想定されるわけではなく、ほとんどの実際的な目的では、最小化問題（１ａ～ｃ）、（２ａ～ｃ）が解明されたとみなすためには、コストが品質しきい値εより下に降下するまで、繰り返しを行うのが十分である。さらに、ε内で達成された最小又は最大は、極小又は極大であり、これらはいくつかの適用シナリオにおいては十分である。

【0134】

前に述べたように、算出されたカテゴリ分類の不確実性を数量化するためのｕ決定器ＵＤによって算出された不確実性結果Δもあり、好ましくは、選別結果と連携される。不確実性が設定されたしきい値より高い場合、今処理された形状測定結果ｓは、今のモデルではまだ占められていない新しいクラスを示している。不確実性は、システムによって自動的に拒絶されるのではなく、ユーザに提示されることもあり得る。不確実性値Δ（「Δ値」）は、どこかに記述されているモデルＭのいくつかの又は全てのパラメータにわたってベイズ分析によって算出される。例えば暗黙的なモデリングでは、そのΔ値によって特定可能なこの新たな形状測定データは、既存の訓練データ集合Ｓ’に加えられ、以て、モデルを更新する。いくつかの実施形態では、クラスタリングアルゴリズム（２ｂ）は、新たに加えられた１つ若しくは複数の形状測定結果を考慮して、新たなクラスタを定義するように、又は新たな１つ若しくは複数の形状測定結果を既存のクラスタに割り当てるように、再動作される必要がある。他の実施形態では、ｋ－ＮＮにおいてなど、訓練アルゴリズムは、新たな標本ｓとされるもの（高不確実性値Δを引き寄せた）を訓練データ集合Ｓ’に加えることになるにすぎない。ニューラルネットワークタイプのモデル、サポートベクトルマシン（「ＳＶＭ」）、決定ツリーなどの暗黙的なモデリング（１ａ～ｃ）では、モデルのパラメータは、配備中に判明した新たに加えられた形状測定結果を含む、今や拡張された訓練データ集合に基づいて再調整される必要がある。

【0135】

形状測定結果のカテゴリ分類のためのクラスタリングタイプアルゴリズムの有用性は、次に参照を行う図５の図の集合によって例示されている。図５は、複数の患者から収集された例示的な形状測定データを示している。所与の患者に対する各形状測定結果標本は、空間ドメインにおいて、Ｘ、Ｙ－Ｚ座標における３Ｄ曲線として描写される。曲率、軸方向ひずみなどの観点からの他の描写を代わりに等しく使用することも可能であった。前に示したように、図５における空間ドメイン描写の代わりに、周波数ドメインにおける描写及び処理もまた、本明細書における実施形態において想定される。各略図５Ａ～Ｆは、面Ａにおける中間大動脈向けなどの特定の解剖学的ロケーション向けに取られた測定結果を示している。面Ｂにおける測定結果は、下大動脈を示しており、面Ｃにおいては大動脈弓を、面Ｄにおいては上大動脈を、面Ｅにおいては側枝を、面Ｆにおいては腸骨大動脈移行部を示している。数人の異なる患者から取られた形状測定結果にもかかわらず、各解剖学的ロケーションに対するそれぞれの形状測定結果は、クラスタリングのために、一般的には、そのような潜在的な構造的類似性が成功裏に利用することができる任意のタイプの機械学習手法のために、本明細書において活用することができる注目に値する構造的類似性を示している。面Ａ～Ｆにおける黒い部分は、形状測定結果ｓのクラスタ又は「束」を描写している。形状測定結果は、３Ｄ曲線として描写される。黒い部分は、各クラスタを構成する曲線の幾何学的包絡線として解釈される。

【0136】

次に図６を参照すると、これは、教師なし学習のための訓練構成のブロック図を示している。概して、図６は、上述のクラスタリングタイプのアルゴリズムの実施形態を示している。形状測定データＳ’は、異なる陰影の四角で例示されており、一方の四角は空間的に分解された曲率測定結果を、他方は空間的に分解されたひずみ測定結果を表している。空間解像度は、アームＡの長さに沿っており、ｘによって指し示し可能である。しかしながら、図５などにおける空間座標を、組み合わせの代わりに使用する。

【0137】

並列処理をサポートするためなどのコンピュータ計算効率のために、訓練データ入力ｓは、前記四角によって概略的に示された２次元以上（テンソル）の行列として格納される。訓練システムＴＳＳ及び／又は予測ロジック部ＰＬは、マルチコア設計のプロセッサなどの、そのような並列処理をサポートするハードウェアによって実装される。これは、グラフィカルプロセッサユニット（ＧＰＵ）若しくはテンソルプロセッサユニット（ＴＰＵ）、又は何らかのそのようなものを含む。１つの次元（行又は列）は、アームＡに沿った増分ｘごとの形状測定結果を含み、別の次元は時間ｔを指し示す。第３の次元は、患者ｊを指し示す。さらなる次元が、アノテータＡＴによって提供される適切なタグ付け、又は注釈から得られたコンテキストデータκを指し示す。

【0138】

アノテータＡＴによって提供された、タグ／注釈としてのコンテキストデータは、処置中の任意の事象又は臨床的に関係のある患者のパラメータを含む。例えば、血圧レベル、血流力学、鎮静作用のレベルのためには、心臓ペーシングの誘起などが必要である。アノテータは、これを内部処置ヘルス記録ログ又はＥＭＲから獲得する。コンテキストデータはさらに、（介入）撮像システムの、又は、他のデバイスＤｊのうちの任意の１つ若しくは複数の設定又はパラメータを含む。

【0139】

訓練メモリＴＤに保持された履歴的に、又はユーザによって生成された形状測定結果Ｓ’は、任意選択で、未加工の形状測定結果をフィルタリングする、及び／又は正規化する目的で、前に言及した前処理ステージＰＳ’によって前処理される。信号の平滑化、又は信号からのノイズ除去などのフィルタリングは、モデルＭの予測精度を改善するために役立つ。正規化とは、異なる患者からの形状測定結果を比較できるようにすることである。例えば、アームＡが異なる患者において使用され、未加工測定プロセスにはすでに較正が考慮に入れられていても、アームＡにわたる小さい調整又は正規化は依然としてモデルＭには役立つ。正規化は、集合Ｓにわたる標準偏差によるスケーリング、及び／又は、母平均によるシフティングなどの統計学的分析を介す。

【0140】

本明細書における表記では、そのような前処理された形状測定結果と未加工の形状測定結果との間を区別しないものとし、前に定義されたように、下位のｓ’を有するそれぞれを指すか、又は集合的にＳ’と称される。

【0141】

形状測定結果Ｓは、前処理されていようとなかろうと、行及び列においてなど、行列の形に構成されるが、これは必ずしも必要ではない。形状測定結果の曲げ部分及びひずみ部分は、図６の上側部分に示されるように別個に処理されるか、又は、曲げ及びひずみ測定結果を図６の底部部分に示される単一の連結行列に統合することによる結合方式で処理される。

【0142】

次いで、形状測定結果は、別個であろうと又は結合であろうと、任意選択の変換器ステージＴＳ’に通される。変換ステージＴＳ’は、形状測定データＳを処理にとって好ましい表現に変換する。実施形態では、これは、かさの低減アルゴリズムによる処理を含む。代替的に、及び追加的に、そのような処理は、他のタイプの処理、例えば、疎な表現から密な（それほど疎でない）表現への変換を含む。さらに代替的に、又は追加的に、周波数ドメインにおける処理が望まれる場合、フーリエ又はウェーブレット変換が、ステージＴＳ’で使用される。

【0143】

かさの低減の実施形態では、主成分分析ＰＣＡが変換ステージＴＳ’によって実施される。異なる動作モードは、図６の中央部分の大きな長方形内の項目１）～４）によって示されるように本明細書では想定される。例えば、曲率とひずみデータとの行列は、処理されて別個に主成分となり、次いで、そのように得られた主成分は結合されて、１）で示される単一の訓練データ行列になる。代替的に、２）及び３）に示されるように、連結された行列は、最初に形成され、次いで、全体として主成分分析によって処理される。トップの２個又はトップの３個の主成分のケースでは、それぞれ２）、３）で示されるなど、最初のｋ個の主成分が維持される。３より大きいｋもまた想定される。

【0144】

次いで、そのように変換された訓練データ行列はモデルビルダＭＢに渡されて、モデルビルダＭＢは機械学習モデルＭを算出するために訓練アルゴリズムを実施する。実施形態では、これはｋ－ｍｅａｎｓアルゴリズムによって行うことができ、但し、変換されたデータは、暗黙的なＭＬモデリングに対して（２ｂ）で上述されたように、それぞれがそれぞれのクラスタを表す部分集合に分割される。それぞれの重心など、クラスタごとに記述子Ｄ（）が算出される。

【0145】

代替的な実施形態では、変換ステージＴＳ’は省略され、データは直接モデルビルダステージＭＢに渡される。これは、大きな長方形の項目４）に示されている。

【0146】

変換ステージＴＳ’が使用されないとき、曲げ及びひずみのそれぞれの形状測定部は、４）で示される連結形態においてではなく、別個にモデルビルダＭＢに渡される。未加工データの処理もまた本明細書において想定されるため、ノイズフィルタリング又は正規化などの前処理ステージＰＳ’もまた省略される。

【0147】

前処理ＰＳ’及び表現変換ＴＳ’が、訓練システムＴＳＳのコンテキストにおいて説明された一方、同じ実装形態が、配備中に、予測器アルゴリズムを実装する予測ロジック部ＰＬより上段で使用される。ステージＰＳ、ＴＳが、訓練システムＴＳＳにおいて使用されている場合、好ましくは、ステージＰＳ、ＴＳは、予測ロジック部ＰＬと協働して使用される。そうでない場合、ステージＰＳ、ＴＳは省略される。

【0148】

図６におけるようなクラスタリングスキーム又は類似のものは、クラスタが、既知でも先験的でもないので、教師なしである一方、いくつかのクラスタ（一般にハイパーパラメータＫ）はあらかじめ規定されており、臨床的知識によって知らされる可能性が高い。クラスタリングは、ボロノイセルベースのテセレーションアルゴリズム（Ｌｌｏｙｄのアルゴリズム）、Ｈａｒｔｉｇａｎ－Ｗｏｎｇ法、又はさらに他のものなど、任意の知られているクラスタリングアルゴリズムを使用してモデルビルダＭＢによって算出される。クラスタと解剖学的ロケーションとの間

【数4】

の割り当ては、図５に似た算出されたクラスタのグラフィカルレンダリングによってサポートされるヒト熟練者によって行われる。図５におけるような曲線包絡線の代わりに、曲線自体がクラスタに表示される。クラスタは、ディスプレイデバイスＤＤ上の空間ドメイン内に、それぞれの異なる面で又は連続でレンダリングされる。ユーザは、解剖学的ロケーションの識別子で外観検査をするや否や注釈ツールＡＴを使用して、それぞれのクラスタにタグ付けする。

【0149】

図６における訓練システムＴＳＳは、別個の曲げ、ひずみ、及び形状プロファイルをもたらしたことが判明した。モデルにおいて軸方向ひずみ及び曲率データの両方を使用することにより、良好な予測及びクラスタ同士の分離がもたらされた。ＰＣＡは、曲率行列及びひずみ行列上で別個に実行されて、結合された行列を低減するよりも良好な性能をもたらした。

【0150】

新たな形状が提供されると（例えば、テストデータ、臨床処置中に得られたデータ）、ＰＣＡ次元のそれぞれの次元に沿ったその重みが算出され、その重みと、いくつか又は全ての以前に特定されたクラスタの重心との間の距離（又は、他の類似メトリック）が計算される。新たな形状は、その距離があらかじめ規定されたしきい値より低い場合のみ、特定のクラスタに属す。そうでない場合、新たなサンプルは、外れ値、又は、完全に新しい特定されていないクラスタの一部であり、このことはユーザインターフェース上で対話メッセージを介してユーザに伝達される。代替的に、形状データは、複数のクラスタの混合物であるとみなすことができる。このことは特に、アームＡが、１つの解剖学的位置から別の解剖学的位置にナビゲートされている間に、測定結果を取得する場合に当てはまる。こうして、前に言及した移行領域の定義が、取得されたデータ内に現れる。そのようなケースをサポートするため、ハードなクラスタ帰属関係の代わりに、ソフトな帰属関係機能を、クラスタリング関数において使用することができる。本文献では、これはファジークラスタリング、又はソフトｋ－ｍｅａｎｓとして知られている。

【0151】

Ｋ－ｍｅａｎｓアルゴリズム（ハード又はソフトな帰属関係機能）は、収束を保証する。しかしながら、ｋ－ｍｅａｎｓタイプのアルゴリズムは、高度に不均衡なデータに対して良好に一般化しないようであり、データのかさが増大すると、コンピュータ計算的に高価になる。ＰＣＡなどのかさ低減方法による情報の損失を回避するため、ニューラルネットワークベースの深層学習方法を代替的に使用することができる。この実施形態では、形状データ選別のための２つの深層学習方法、すなわち、教師あり及び教師なし方法を提案する。次に両方について詳細に説明することとする。

【0152】

次に、具体的に、教師あり学習タイプの明示的ＭＬモデリングのための一実施形態を表す、ニューラルネットワークタイプモデルのブロック図を示す、図７への参照を行う。

【0153】

ニューラルネットワーク（「ＮＮ」）タイプのアーキテクチャＭは、形状測定結果ｓを、上述の複数（Ｋ個）の既知のカテゴリｃｊの１つ（１≦ｌ≦Ｋ）に選別するための、マルチクラス単一ラベル教師あり学習選別器を表す。

【0154】

選別器は、図７の一般的なＮＮ図の特殊ケースである、演算子図の図８Ａ）に概略的に示される、ネットワークｇとしてのコンボリューションニューラルネットワーク（「ＣＮＮ」）アーキテクチャに配設される。形状測定結果は、空間的相関関係を呈す可能性が高いので、そのようなＣＮＮアーキテクチャは、本明細書において有益である。

【0155】

どのＮＮとも同じように、ＣＮＮは、カスケード接続された層内に配設されたコンピュータ計算ノード（関数）を含む。カスケード接続された層は、入力層ＩＬと出力層ＯＬとの間に、単一の又は複数の中間（「隠し」）層Ｌ_ｊを含む。出力層ＯＬはまた、タスク層と称される。所与の層内のノードは、前の層内のノードから受信した出力を処理して、次の層のノードのための出力を作り出す。各層の出力はまた、特徴マップφと称される。いくつかの層（すなわち、ネットワークの「深さ」）は、データ又はタスクの複雑さに依存する（例えば、形状の長さ、クラスタの数、臨床部位の範囲など）。ＣＮＮでは、いくつか又はそれぞれの中間層は、コンボリューション演算の出力を処理して特徴マップ値にするためのコンボリューション演算及び非線形起動関数（例えば、ＲｅＬＵ、Ｌｅａｋｙ ＲｅＬＵ、シグモイド、双曲線正接など）を含む。任意選択で、層ごとに、バッチ正規化、ドロップアウト、空間的プーリングのうちの任意の１つ又は複数を含む１つ又は複数の追加の演算子がある。

【0156】

最後の中間層Ｌ_Ｎから生成された特徴マップは、かさが低い表現に再成形される。広域平均プーリングがこの再成形のために使用される。再成形された出力は、単一又は複数のタスク層ＯＬによって処理される。このため、タスク層は選別層である。選別層は、ソフトマックス起動関数によって実装される。出力層ＯＬによって作り出された出力は、選別ベクトルによって提示され、その各エントリは、それぞれのクラス、したがって解剖学的カテゴリ／ロケーションについての確率を表す。ＣＮＮを使用する代わりに、少なくとも部分的に完全に接続されたネットワークが使用される。

【0157】

ＮＮ又はＣＮＮベースの選別器ｇは、訓練データ集合Ｓ’からランダムに選択された単一若しくは複数の訓練インスタンス（ｓ‘_ｉ，ｃ_ｉ）を使用する確率的な又はミニバッチ訓練手法を使用して、訓練システムＴＳＳによって訓練される。この訓練データは、異なるタイプの関心の医療処置（脈管処置など）と、手術部位と、解剖学的組織と、ＦＯＲＳ対応のガイドワイヤタイプなどのアームＡと関連付けられる介入デバイスＩＤとの理にかなったカバレッジを伴う大きな患者個体群Ｎ（例えば、Ｎ＞＞１００）を表す。

【0158】

訓練データの変化量を拡げるために、可変ウィンドウサイズ、データの幾何学的変形、及びノイズ追加を用いた形状データの平滑化などのデータ拡張技法を適用することができる。

【0159】

訓練データＳ’は、複数列／複数行の形状データインスタンスＨ_ｉ⊂ｓ_ｉ’など、上述の曲率、ひずみ、ひねり／ねじり、正規化された位置及び／又は回転などのうちの任意の１つ又は複数の値からなる連続データとして訓練される際に、組織化され処理される。例えば、行列（ａ_ｉｊ）内の値は、デバイスがナビゲートされているときのアームＡに沿ったいくつか又は各ポイントにおける曲率及び／又はひずみ値を表す。一方のインデックスｉは、アームＡに沿ってポイントにわたって繰り返し、他方の、例えばｊは、ワイヤが経時的に解剖学的組織を通ってナビゲートするとき、経時的に繰り返す。

【0160】

任意選択で、コンテキストデータκは、強化データＨ_ｉを得るために、（純粋に）形状測定データと結合される。そのような強化データはまた、テンソルなど、コンテキストデータκを収容するために追加の次元を用いる、マルチインデックス構造において表される。結合は、形状測定結果とコンテキストデータとを結び付けて、及び／又は、圧縮して、そのようなテンソル／行列構造体にすることを含む。そのようなマルチインデックス構造体により、学習及び性能を向上させるために、コンテキストデータとともに形状測定結果の効率的な処理が可能になる。コンテキストデータを形状測定結果と結び付ける他の方式もまた想定される。とはいえ、異なるデータ構造体において、訓練時、及び／又は、配備時の強化データを別個に処理することは、本明細書において排除されず、代替的な実施形態において想定される。コンテキストデータκは、温度、取得時間、又は、アノテータＡＴによって割り当てられた他の注釈／ラベルのうちの任意の１つ又は複数を含む。訓練データＨ_ｉは、熟練者によってラベル付けされて、いくつかのカテゴリに、この場合にはクラスｃ_ｉになる。クラスは、対象物又はグラウンドトルースとして機能する。経時的な形状測定結果が、そのような行列又はテンソルに格納される、上述の行列又はテンソル表現の使用もまた、配備中に使用される。

【0161】

いくつかの実施形態では、コンテキストデータは、同じ患者に対する所与の（今の）処置において算出された１つ又は複数の早期の予測を含む。これは、以前の予測の時間的な順序が次の予測に対してさらなる手がかりを与えるので、訓練及び性能をロバストに及び信頼性を高くするのに助けとなる。実施形態では、今のカテゴリｃ_ｔを算出するために、今の測定結果ｓ_ｔとともに処理されるのは直前の予測ｃ_ｔ－１だけであり、又は、回帰性のニューラルネットワーク（「ＲＮＮ」）におけるように、１つ又は複数の先行する測定結果が、今のカテゴリを算出するために今の測定結果とともに処理される。これの改良では、今の予測を算出するために使用されるのは、１つ又は複数の最新の予測結果であり、すなわち、それぞれの異なる解剖学的ロケーションを正しく／高い信頼度で予測したそれらの予測結果の部分集合である。これにより、移行領域予測、又は、信頼度が高くない、若しくは関心が低い他の測定結果／予測を排除することができる。不確かさΔ、又は類似ベースのフィルタリングが、早期の予測のうちのどの単一又は複数を使用するか決定するために使用される。１つのみの又はわずかな早期の予測（全て又は多数ではなく）を処理することにより、高速の低遅延処理、及び／又は低いメモリ要件が可能になる。

【0162】

ネットワークｇは、予測された（訓練出力）ラベル

【数5】

が、クロスエントロピー損失、対数損失などのコスト関数Ｆを使用して、グラウンドトルースラベルｃ_ｉと比較される、繰り返しプロセスにおいて訓練される。訓練は、収束に到達するまで、すなわち、予測がグラウンドトルースに合致するまで（あらかじめ規定された許容範囲内で）複数の繰り返しを継続する、ここで、

【数6】

であり、Ｋはクラスの数を表す。

【0163】

未加工の測定結果を使用する代わりに、変換ステージＴＳ’、ＴＳ、及びそのように変換されたデータが、代わりにネットワークｇへの入力として使用される。ＰＣＡは、例えば上記で説明されたように使用される。未加工の測定結果の代わりに、変換された特徴が使用された場合、十分な精度を達成することができる場合がある。そのような場合、軽量のモデルＭは訓練されて、計算電力が低いシステム部分に配備されることが可能である。例えば、未加工の測定結果のかさばるバッチを処理するために使用される中間層の数と比較して、中間層の数は低減される。代替的に、ＰＣＡ特徴などの変換されたデータＴＳ’（Ｓ’）は、訓練のために、元々の未加工測定データに結び付けられる。

【0164】

ＣＮＮネットワークは、任意選択の上段変換器ステージＴＳ’、ＴＳ（ある場合）、と関係なく、及び、に加えて、それ自体がかさ減少器として働くことが理解されるであろう。言い換えれば、概して、かさが高い測定結果入力Ｈ_ｉは、長さＫの単一選別ベクトルに変換される。ＣＮＮによって行われたこのかさ低減は、図８Ａ）において、及び、残りの図８Ｂ）～Ｃ）において、回転された三角形演算子シンボル

【数7】

によって示されている。

【0165】

サポートベクトル機械（ＳＶＭ）、決定ツリー（ランダム森）、多層パーセプトロン（ＭＬＰ）、又は多変量回帰（重み付けされた線形若しくはロジスティック回帰）のうちの任意の１つ又は複数などの、ＮＮ／ＣＮＮタイプのものとは別の選別器もまた、本明細書において想定される。

【0166】

次に、変換ステージＴＳ’、ＴＳのさらなる実施形態を示す図８Ａ）への詳細な参照を行う。図８の実施形態によって、変換ステージＴＳ’、ＴＳは、それ自体が機械学習によって実施される。実施形態では、変換ステージＴＳ、ＴＳ’は、好ましい特徴の描写を学習することをできるようにするある特定のニューラルネットワークタイプのアーキテクチャによって実施される。１つのそのようなニューラルネットワークのクラスは、変動タイプの自動エンコーダ（ａｕｔｏ－ｅｎｃｏｄｅｒ）又は自動エンコーダ（ａｕｔｏｅｎｃｏｄｅｒ）を含み、一般的には、エンコーダ－デコーダタイプのアーキテクチャを含む。一般に、エンコーダ－デコーダ（「Ａ／Ｄ」）タイプのアーキテクチャは、図８Ａ）に示されるようなボトルネック構造を有するＣＮＮタイプのものである。

【0167】

具体的には、そのような（「Ａ／Ｄ」）ネットワークは、形状入力データのかさを、収縮経路（ｇ_ｅ、エンコーダ）において潜在的表現ｏ_ｉに低減し、入力データ形状を再構築して潜在的表現ｏ_ｉから膨張経路（ｇ_ｄ、デコーダ）内に戻すように構成される。潜在的表現ｏ_ｉはベクトルである。自動エンコーダ又は変動型自動エンコーダネットワークなどの（「Ａ／Ｄ」）ネットワークは、訓練アルゴリズムが今、選別ではなく回帰のうちの１つであることを除いて、訓練アルゴリズムのうちの任意の１つ及び上述のセットアップを使用することによって、形状データの好ましくは大きなデータ集合Ｓ’で訓練される。コスト関数Ｆのための適切な距離関数｜｜．｜｜は、例えば、ユークリッド距離の二乗であるか、又は二乗誤差平均（Ｌ１ノルム）であり、追加的に、ネットワークに、潜在的表現にわたる分布をさらに学習させることをできるようにする変動型自動エンコーダにおけるＫＬ発散である。

【0168】

図８Ｂ）は、（図８Ａにおけるように）自動エンコーダによって学習された表現を使用して、ＣＮＮなどのモデルの訓練を行って、データをクラスｃ_ｉに選別することを示している。

【0169】

図８Ｃ）は、時刻ｔにおける１つ又は複数の「ライブ」形状測定結果ｓ⊆Ｈ_ｔが、行列又はテンソルの形態で表される、配備中の訓練されたＣＮＮを示す略図である。

【0170】

（「Ａ／Ｄ」）タイプのものなど、かさ低減アルゴリズムは、最も関連性が高い特徴を抽出することを学習し、それによって、かさが低い潜在的表現からの入力を再構築させることができるようになり、そのようなニューラルネットワークベースのかさ低減アルゴリズムは、複雑な多次元データを組み込む。潜在的表現（例えば、ベクトル）のサイズは、あらかじめ規定されるが、形状データの複雑さにかんがみて最良に選択される。そのようなＡ／Ｄネットワークの訓練中、潜在的表現ｏ_ｉのサイズは、小さく開始し、ある有効性確認データに関して評価される、入力とｇ_ｄでの再構築との間の差が、あるしきい値よりも小さくなるまで、訓練中に徐々に増大させることができる。しきい値はユーザによって設定される。潜在的表現のかさがさらに大きすぎる場合、追加の非ＭＬかさ低減方法を適用することができる。当技術分野で知られている典型的なかさ低減方法は、前記ＰＣＡ法、独立成分分析（ＩＣＡ）、ｔ分布型確率的近傍埋め込み法（ｔ－ＳＮＥ）などである。

【0171】

代替的に、形状測定結果に対して意味のある表現は、訓練の際に時間次元を使用して、形状測定結果を、コンテキストデータとして取得又は予測時刻と結合することによって学習することができる。したがって、（「Ａ／Ｄ」）タイプのネットワークは、初期の形状測定結果から将来の形状測定結果を予測するように訓練される。すなわち、入力形状を再構築することができる潜在的表現ｏ_ｉを学習する代わりに、時刻ｔにおける形状から潜在的表現

【数8】

を学習することができ、それにより時刻ｔ＋１における形状を再構築することができるようになる。エンコーダ－デコーダネットワークもまた、時間間隔［ｔ，ｔ＋ｎ］中に形状データを取り込み、将来の時間間隔［ｔ＋ｎ＋１，ｔ＋ｍ］中に形状データを再構築することができる潜在的表現を学習することができる。将来を予測することのような、複雑なタスクを学習することにより、ネットワークに、意味のある分離可能な潜在的表現を学ばせることができることが示されている。分離可能な潜在的表現は、例えば、ｔ－ＳＮＥを使用して低いかさに投影されると、異なるラベル（例えば、解剖学的ロケーション）と相関関係があるクラスタ間の多くの分離を示す。多くの分離とはクラスタ間の重なり合いが少ないことを意味しており、それにより、データをクラスタに割り当てる際に誤差又はあいまいさが低減される。

【0172】

ｋ－ｍｅａｎｓ、及び、上記に記述されている教師あり機械学習手法の主な欠点は、訓練データにラベル付けすることができるように、前もってクラスタ／クラスの数（Ｋ）が知らされている必要があることである。代替的に、クラスタの数が、わかっておらず、若しくはラベル付けされておらず、及び／又は訓練データが、利用できない、若しくは生成できない場合、このケースでは、教師なし特徴の学習方法を使用することができる。以下には、教師なし学習手法の一実施形態が記述されている。好ましくは、上述の（「Ａ／Ｄ」）タイプのネットワークベースの変換器ステージＴＳ、ＴＳ’が使用される。概して、訓練された（「Ａ／Ｄ」）タイプのネットワークベースの変換器ステージＴＳ’は、訓練集合Ｓ’を好ましい表現に変換するために使用される。訓練された（「Ａ／Ｄ」）タイプのネットワークのエンコーダステージｇ_ｅだけが、変換器ステージＴＳ’によって使用される。次いで、そのように変換された表現は、Ｋの知識が要求されない任意のクラスタリングアルゴリズムによってクラスタリングされる。次いで、予測アルゴリズムが配備時に使用されて、予測アルゴリズムは、距離尺度に基づいて、形状測定結果ｓに対して関連性のあるクラスタを特定する。詳細には、前もって訓練されたエンコーダネットワークｇ_ｅを使用して、形状データを入力として与える潜在的な表現（ベクトル）ｏ_ｉが抽出される。デコーダネットワークは、このステージでは排除することができる。これは全ての、又はあらかじめ規定された数の訓練データ標本ｓ’に対して行われる。次いで、そのように獲得された潜在的な空間がクラスタリングされる。クラスタの数Ｋに関する先験的な知識を必要としない適切なクラスタリングアルゴリズムは、階層的なクラスタリング（凝集型、区分型）、モデルベースのクラスタリング（ガウスの混合）、又は、ノイズを含む適用例の密度ベースの空間クラスタリング（ＤＢＳＣＡＮ）のうちのいずれか１つを含む。それらの記述子Ｄ（）（ある場合）を含む、そのように獲得されたクラスタリング定義は、メモリＭＥＭに格納される。一旦、配備中に新たな形状ｓが与えられると、配備変換器ＴＳによって算出された新たなサンプルの潜在的な表現と、全ての以前に特定されたクラスタの記述子（重心など）との間の距離（又は他の類似メトリック）が計算される。新たな形状ｓは、距離が、あらかじめ規定されたしきい値よりも低い場合のみ、特定のクラスタに属す。そうでない場合、動的学習セットアップでは、新たなサンプルｓは、外れ値であるか、又は、完全に新しいがまだ特定されていない、移行領域向けなどのクラスタの一部である。新たな測定結果ｓは、例えば、上述の移行領域を表している。このことは、ユーザインターフェース上で対話メッセージを介してユーザに伝達される。そのような外れ値が検出された場合、再訓練ルーチンがトリガされて、動的学習に関連して図１０において下記で詳細に論じることとなるように、モデルＭが新たに採用される。

【0173】

上記のいずれかの改良のように、上記で明示された方法のうちの１つを使用して、学習された表現を明示的にクラスタリングする必要はない。例えば、教師なし学習方法が、十分に分離可能な表現を学習することができると想定すると、問題は、クラスタを特定し（例えば、いくつあるか、各クラスタの程度など）各クラスタに意味のあるラベル（例えば、特定の解剖学的ロケーション）をラベル付けすることに軽減される。これは、１ショット又は少数ショットの学習手法によって達成することができる。

【0174】

この手法では、少なくとも１つのラベル付けされたデータがあると想定される。このケースでは、これは、各フレームにおいて、デバイスの解剖学的ロケーションについての情報を含む、できるだけ少数の単一の精巧にラベル付けされた処置を必要とする。このラベル付けされたデータ集合、「プロトタイプ集合」は、訓練には使用されず、しかし、学習された表現内のクラスタを特定するために使用される。これは、図３Ｂにおいて上記で示された自動ラベラＡＬＬの機能によって実施される。

【0175】

実施形態では、自動ラベラＡＬＬは、プロトタイプ集合のラベル付けされたデータのいくつかの若しくは各フレームの、又はフレームの期間（ウィンドウ）ｓの潜在的な表現を獲得するために、変換器ステージＴＳ’とインターフェースするように動作することができる。例えば、訓練されたエンコーダｇ_ｅが使用され、自動ラベラＡＬＬが、既知のラベル内のいくつかの又は全てのフレーム／ウィンドウと、ラベル付けされていない訓練データのいくつかの又は全てのエンコーダ生成表現との間の距離尺度を算出する。１つの適切な距離尺度は、コサイン類似度、若しくは二乗ユークリッド距離（Ｌ２ノルム）、又はその他である。

【0176】

次いで、自動ラベラＡＬＬは、その特定のラベルのための訓練データのいくつか又は全てのエンコーディングに対する最も強い応答をそのように算出するために、フレーム／ウィンドウごとベースで最小の距離尺度（又は、最大の類似性尺度）をロギングすることによって進行する。次いで、自動ラベラＡＬＬは、全てのラベルのうちのいくつかを通して循環して、訓練データのそれぞれに、最も強い応答を引き出したそれぞれのラベルを割り当てる。こうして、自動ラベラＡＬＬは、ラベルをプロトタイプ集合から訓練集合全体に伝播させることができる。クラスタの数は、プロトタイプ集合内のラベルの数によって規定される。今や、クラスタ中心を見出すことができ、任意の新たなラベル付けされていないデータの潜在的な表現は、特定のクラスタに割り当てるためにクラスタ中心と比較することができる。

【0177】

次に訓練システムＴＳＳのブロック図を示す図９への参照を行う。訓練システムは、明示的及び暗黙的モデリング、等式（１ａ～ｂ）、（２ａ～ｂ）に対する上述の学習アルゴリズムのうちの適用可能な学習アルゴリズムを解くように構成される。最適化プロセスは、言及されたオブジェクト関数Ｆを改善することによって案内される。関数Ｆは、明示的なモデリングにおけるモデルＭ^θの訓練パラメータθを調整することによって、又は、クラスタリングタイプのアルゴリズムにおいてなど、暗黙的モデリングにおける訓練データの集合を格納及び処理することによって、改善される。システムＴＳは、前述の実施形態のいずれかの前処理ＰＳ’及び／又は変換ＴＳ’ステージＰＳと協働する。

【0178】

訓練システムは１回限りとして使用されるか、又は、一旦新たな訓練データが出現した時点で、繰り返し動的学習に使用される。訓練システムＴＳＳの動作は、十分な数の新たな訓練データ標本ｓ^＋’が蓄積された時点で、ユーザによって、又は、自動的にトリガされる。

【0179】

例えば、ＣＮＮタイプのモデルＭ用、又は変換器ステージＴＳ用の上述のアーキテクチャでは、訓練パラメータは、ＣＮＮモデルの全てのコンボリューション／デコンボリューションフィルタカーネルのための重みＷ及び任意選択でバイアスを含む。重みは層ごとに異なり、各層は、複数のコンボリューション演算子を含み、いくつか又はそれぞれは異なるカーネルの集合を有する。特に、訓練段階で学習されるのはこれらの重みＷｊであり、但し、インデックスｊは層及びその中のコンボリューション演算子にわたって適用される。訓練段階が終了した時点で、完全に学習された重みは、ノードが中に配設されたアーキテクチャと一緒に、１つ又は複数のデータメモリに格納され、配備のために使用することができる。訓練システムＴＳＳは、他のニューラルネットワークタイプモデルに適用可能であるか、又は、実は、ＳＶＭ、ランダム森、若しくは上述のタイプの任意のモデルなどの非ニューラルネットワークタイプＭモデルに適用可能である。

【0180】

教師ありタイプの明示的なモデリングでは、訓練データは、ｋ個のデータペア（ｘ_ｋ，ｙ_ｋ）を含む。訓練データは、ペアｋごとに、訓練入力データｓ’_ｋ、及び関連する対象物ｃ_ｋを含む。こうして、訓練データは、特に、本明細書における実施形態において想定される教師あり学習スキームでは、ペアｋ単位で組織化される。しかしながら、教師なし学習スキームが本明細書において排除されないことに留意されたい。ｓ’_ｋは、履歴的形状測定結果ｓ’を表し、ｃ_ｋは、それぞれの解剖学的ロケーションＡＬ_ｊを表す関連するカテゴリｃｋを示す。

【0181】

訓練入力データｓ’_ｋは、Ｃａｔｈラボにおいて取得された履歴データから得られ、医療リポジトリ、例えば、ＨＩＳ（病院情報システム）、例えば、又は患者データベースシステムなどに格納される。対象物ｃ_ｋ又は「グラウンドトルース」は、特に選別タイプのモデルＭに対する選別ラベルを表す。

【0182】

そのようなラベルは、医療データリポジトリから取り出されるか、又は医療熟練者によって後で割り当てられる。それぞれのラベルは、ヘッダーデータにおいて見出されるか、又は、履歴データの医療記録及びメモの精査から推測することができる。選別タイプモデルを訓練するためのラベルｙ_ｋは、それぞれの解剖学的ロケーションの任意のインジケーションを含む。

【0183】

訓練がコンテキストデータκを含むことになる場合、概して、所与のペアｋでは、対象物ｃ_ｋには対応するコンテキストデータが含まれない。言い換えると、コンテキストデータで学習するため、ペアは概して形態（（ｓ’_ｋ，κ），ｃ_ｋ）を有すが、コンテキストデータκは、訓練入力ｓ’_ｋ，だけに関連付けられ、対象物ｃ_ｋには関連付けられていない。

【0184】

訓練段階では、図７、８において示されているＣＮＮネットワークなどの機械学習モデルＭのアーキテクチャには、初期の重み集合が前もってポピュレートされる。これらはランダムに選択することができる。モデルＭの重みθは、パラメータ表示Ｍ^θを表しており、訓練システムＴＳＳの目的は、等式（１ａ～ｂ）、（２ａ～ｂ）のいずれかによってオブジェクト関数Ｆを改善するために訓練データ（ｓ’_ｋ，ｃ_ｋ）ペアに基づいて、パラメータθを最適化する、したがって更新することである。

【0185】

例えば、教師あり学習での明示的モデリングにおいて、等式（１ｂ）によってコスト関数Ｆは、総計された剰余、すなわち、モデルによって推定されたデータＭ^θ（ｓ_ｋ）と、訓練データペアｋのうちのいくつか又は全てによる対象物との間で発生する誤差を計測する。

【0186】

ＮＮタイプモデルの教師あり訓練では、訓練ペアの訓練入力データｘ_ｋは、初期化されたネットワークＭを通って伝播される。特に、ｋ番目のペアでの訓練入力ｓ’_ｋは、入力ＩＬで受信されて、モデルを通り抜けて、出力ＯＬで出力訓練データＭ^θ（ｓ’）として出力される。適切な類似性尺度｜｜・｜｜が、モデルＭによって作り出されたＭ^θ（ｓ_ｋ）と所望の対象物ｃ_ｋとの間の差を計測するために、クロスエントロピーなどのコスト関数によって使用される。

【0187】

モデルのパラメータθが、今のペア（ｓ’_ｋ，ｃ_ｋ）に対して更新器ＵＰによって更新される第１の内部ループにおける１回又は複数回の反復後、訓練システムＴＳＳは、次の訓練データペアｓ’_ｋ＋１，ｃ_ｋ＋１が適宜処理される第２の外部ループに入る。更新器ＵＰの構造は、使用される最適化スキームに依存する。例えば、更新器ＵＰによって管理される内部ループは、順方向／逆伝播アルゴリズムにおける１つ又は複数の順方向パス及び逆方向パスによって実施される。パラメータを適合させている間、オブジェクト関数を改善するために、全ての訓練ペアの統合される、例えば合計される剰余は、今のペアまでであると考えられる。統合される剰余は、オブジェクト関数Ｆを、各ペアに対していくつか又は全ての考えられる剰余の等式（１ｂ）においてなど、剰余の二乗の合計として構成されることによって形成されることが可能である。二乗和の代わりに他の代数学的な組み合わせもまた想定される。反復が訓練データ項目の集合（バッチ）にわたる場合、上述のように訓練データ項目ごとに進行する代わりに、バッチ単位の訓練が行われる。極端なケースとして、全ての訓練データ項目が、一度に検討され、処理される。バッチ単位の訓練は、本明細書において好ましい。

【0188】

図９に示される訓練システムは、クラスタリングを含む全ての学習スキーム向け、特に教師ありスキーム向けであると考えられることが可能であり、但し、オブジェクト関数Ｆは、クラスタタイプアルゴリズム、等式（２ａ～ｂ）におけるように、訓練データ集合Ｓ’の部分集合への訓練分割と関連する、何らかの目標を計測するように構成される。クラスタの数は、先験的に知られていることも知られていないこともある。

【0189】

教師なし学習スキームもまた、本明細書における代替的な実施形態において想定される。教師なしスキームでは、グラウンドトルースデータｙ_ｋはなく、更新器ＵＰは、１つ又は複数の反復サイクルにおいて、オブジェクト関数Ｆを更新する。オブジェクト関数Ｆは、かさを低減した訓練データの表現からの訓練データの最適な再構築など、訓練データに関連する何らかの他の目標を計測するように構成される。

【0190】

ＧＰＵ又はＴＰＵは、訓練システムＴＳＳを実装するために使用される。

【0191】

訓練された機械学習モジュールＭは、１つ又は複数のメモリＭＥＭ又はデータベースに格納され、システムＣ－ＳＹＳにおける使用のためのあらかじめ訓練された機械学習モデルとして利用可能にすることができる。訓練されたモデルＭは、クラウドサービスにおいて利用可能になる。アクセスは、無料で提供されることが可能であるか、又は、それらの使用はライセンスペイ、若しくはペイパーユーススキームを介して許可されることが可能である。

【0192】

次に、予測ロジック部ＰＬの操作モードを例示する図１０におけるブロック図への継続した参照を行う。操作モードは、動的学習のうちの１つである。コンテキストデータκが、分散センシングシステムＳＳＳから受信される形状測定結果と併せて使用される。しかしながら、そのようなコンテキストデータκの使用は任意選択である。

【0193】

前に説明したように、所与の形状測定結果ｓは、機械学習モジュールＭＬＭによって処理される。その訓練されたモデルＭは、配備中に受信された形状測定結果ｓに適用されて、今のカテゴリ分類結果ｃを算出する。結果ｃは、上述の実施形態のうちのいずれかによる選別器によって獲得された選別結果であるか、又は、カテゴリは、クラスタリングセットアップにおいて獲得されたクラスタを表す。カテゴリｃ_ｊは、それぞれの解剖学的ロケーションＡＬ_ｊに関連付けられる。予測結果ｃを使用して、１つ又は複数の制御インターフェースＣＩＳを通じて、前に言及したデバイス／システムＤｊのうちの１つ又は複数を制御することができる。

【0194】

しかしながら、ロジック部ＰＬが、配備中に、訓練システムＴＳＳによって前に割り当てられていなかった新たなカテゴリを表す形状測定結果ｓ^＋に遭遇することが発生する。ロジック部ＰＬがそのような新たな標本に遭遇すると、それにより、訓練段階への復帰がトリガされて、新たなデータに照らしてモデルＭを適合させる。訓練中に受信される測定結果ｓの品質によってトリガされる、この繰り返される復帰は、本明細書では、動的学習と称される。このようにして、配備中に、今の訓練データ集合Ｓ’は、そのような新たなカテゴリを表すデータ標本ｓ^＋によって補足される。したがって、予測ロジック部は、新たなデータＳ^＋に遭遇するにつれ、信頼性が高くなり、経時的に良好に一般化するように学習する。動的学習の再訓練への復帰は、測定データごとにトリガされるか、又はバッチ単位でトリガされる。具体的には、データごとの処理では、受信された形状測定結果ごとに、それが、新たな形状測定結果カテゴリｃ^＋を構成するか否か判定する。それが、新たな形状測定結果カテゴリｃ^＋を構成する場合、プロセスフローは、訓練システムＴＳＳに渡り、再訓練がトリガされる。代替的に、データごとの再訓練をトリガする代わりに、新たなカテゴリｃ^＋を表すある特定の数の形状測定結果ｓ^＋が受信された時点でのみ、再訓練がトリガされるなど、低い再訓練速度が選択される。言い換えると、新たなカテゴリの形状測定結果がバッファに格納され、ユーザが設定することができる、又は別様にあらかじめ規定された、限界数に到達した時点で、訓練ＴＳはモデルを再訓練する。

【0195】

再訓練は、モデルを訓練するために以前に使用されたが、新たなデータを考慮に入れる訓練アルゴリズムを再動作させることを含む。例えば、明示的なモデリングでは、ニューラルネットワークタイプモデルの、又は任意の他の選別器のパラメータは、例えば、逆伝播訓練アルゴリズムを再動作させることによって調整される。代替的に、クラスタリングタイプの機械学習手法が使用されていた場合、訓練データＳ’^＋は更新されて、今や、新たなカテゴリｃ^＋／クラスタを表す新たな測定結果ｓ^＋を含む。使用されるクラスタリングアルゴリズム（２ｂ）のタイプに応じて、これは再動作される必要がある。代替的に、ｋ－ＮＮスキームなどでは、単に訓練集合を更新するだけで十分である。特に、新たな訓練標本ｓ^＋は、新たな解剖学的ロケーションを表す新たなカテゴリ又はクラスタを規定する。訓練アルゴリズムを再動作させると、これまで新しい標本ｓ＋と考えられたうちのいくつかが、実は、以前に知られているカテゴリのうちの１つ又は複数に属すことになり、新たなカテゴリは開設される必要がないと思われる。

【0196】

再訓練のトリガは、配備中にｕ決定器ＵＤによって算出された前に言及した不確実性値Δに基づく。前に言及したように、不確実性値Δは、ベイズ分析に基づいており、訓練されたモデルＭの内部パラメータθ^＊の今の集合に基づいて、不確実性決定器ＵＤによって算出される。しかしながら、そのような専用の補足的な不確実性計算は必ずしも必要ではない。予測自体は、不確実性を数量化するために使用される。カテゴリ分類結果は、選別によって提供される場合、通常、それぞれが、それぞれのクラスごとのそれぞれの確率を表す、エントリを有するベクトルとして出力される。最終の選別出力は、通常、最も高い確率を招いたカテゴリとして提供される。しかしながら、カテゴリのうちのいずれも５０％などのある特定の限界しきい値Δ_０より高い確率を招くことがなければ、これは、これ自体において、確率量としての不確実性がクラスタ／カテゴリのうちの大部分又は全てにわたってほぼ等しく分散されていることを示している可能性がある。この実施形態では、ｕ－決定器ＵＤはスレッショルダを演じる。そのように算出された又は確認されたクラス確率のいずれにおいても不確実性が限界しきい値の値Δ_０より高くなければ、再訓練がトリガされる。限界しきい値の値Δ_０は、ユーザ調整されることが可能である。不確実性決定器ＵＤは、予測ロジック部ＰＬの構成要素である。不確実性が高い形状測定結果標本が見出されたことにより、メッセージの発出をトリガすることができるフラグΦによってフラグが立てられる。メッセージは、オーディオ信号、又は任意の他の手段によって、視覚的にユーザの注意をもたらす。類似の不確実性決定器もまた、クラスタリングアルゴリズム向けに行われる。

【0197】

図８Ｂ）と関連して上記で簡潔に言及されたように、新たなデータに照らして再訓練をトリガするための別の実施形態は、データ中心型である。この又は類似の手法では、類似性尺度を使用して、所与の新たに受信された形状測定結果Ｓ^＊と、すでに分類された、例えばクラスタリングされた、訓練データベースＴＤ内の形状測定結果との間の距離／類似度を計測する。新たな形状測定結果Ｓ^＊が、任意のあらかじめ規定されたクラスタに対する距離を超える場合、再訓練がトリガされる。

【0198】

訓練データ集合Ｓの動的な更新に加えて、処置が開始され、アームＡが解剖学的組織を通ってナビゲートされた時点で、形状データｓは、準連続的に理にかなった、プリセットされた又はユーザがトリガしたフレームレートで、ロジック部ＰＬによって処理される。いくつかの実施形態では、クラスタリングにおいてなど、予測ロジック部ＰＬは、今測定された形状ｓが訓練データ集合Ｓ’内のクラスタと合致するかどうか判定する。合致しているか、合致していないかは、、今の形状と前のクラスタとの間の類似度メトリック又は確実性スコア等式（２ｃ）に基づいて確立される。

【0199】

類似度の算出は、変換器状態ＴＳ’によって促進され、類似度はそのように変換されたデータに基づいて算出される。前に説明したように、訓練データｓ’は、主成分分析ＰＣＡを実行することによって構築された低減された次元空間に投影される。次いで、主成分又はモードが訓練システムＴＳＳによって使用されて、例えばＫ－ｍｅａｎｓを介してデータをクラスタリングする。

【0200】

各クラスタは類似形状を含むので、各クラスタ内の形状のモード重みは同じようになると予想することができる。統計学的類似性は、訓練されたモデルに基づくクラスタなどのカテゴリを算出することに加えて又は代わりに、ロジック部ＰＬによって規定され、使用される。このため、クラスタ内のデータの分散は、±ｃσ内であると推定され、但しσは、モードごとの固有値の分散又は平方根である。ｃは、平均からどれだけ離れた分散が許容できるかを規定する定数である。例えば、ｃ＝２の場合、分散は、クラスタと関連付けられた分布によってサンプリング可能なデータのうちの９５．４５％を占める。新たな形状がこのクラスタにロジック部ＰＬによって割り当てられるが、この形状に対するモード重みが、許容される±２σ範囲の外側になる場合、これは、新たな形状が新たなクラスタを必要とすることを示している可能性がある。この類似性尺度は、統計学的であろうとそれ以外であろうと、クラスタを予測するために使用される訓練されたモデルに加えて、使用される。したがって、類似性尺度は、早期に言及した不確実性数量器ＵＤの別の実施形態である。

【0201】

さらに、新たな形状が、データベースに今保持されている形状と異なり、モデルＭがそのことをベースに構築された場合、新たな形状をＰＣＡモードに投影することによって作り出されたモード重みのみを使用して、新たな形状を構築することは、不十分な再構築に帰着することとなる。元々の形状と再構築された形状との差は、また、新たな形状とクラスタにおける形状との間の類似度又は非類似度を示す可能性があり、新たなクラスタが必要かどうかを示すために使用されることが可能である。

【0202】

ＰＣＡの代替として、変換器ステージＴＳ、ＴＳ’は、前に言及したＶＡＥなど、それ自体でＭＬを使用するように構成される。ＶＡＥはまた、形状データの別のかさが低い表現を学習するために使用される。ＰＣＡの欠点は、ＰＣＡが、データの分散を成功裏に解釈することができる形状間のポイント単位の対応付けを必要とすることである。この対応関係は、ユーザが訓練データ生成器ＴＤＧ（図１１）を操作して事前計画中に画像内の形状を引き出すときなど、常に利用できるわけではない。そのような、又は類似のケースでは、ＶＡＥを代わりに使用して、代表的な対応する特徴、並びに、ＶＡＥのエンコーダｇ_ｅを介した低いかさの潜在的な形状表現の両方を自動的に学習する。ＶＡＥはまた、形状の潜在的空間にわたる分布を学習する。したがって、上記と同様に、クラスタに割り当てられる新たな形状を受け入れる、又は拒否するために、その分布内の許容できる分散の範囲が規定される。

【0203】

さらに、デコーダｇ_ｄが形状の潜在的な表現を使用して、入力形状の低いかさの表現のみを使用し、新たな形状を再構築することができる。形状が訓練データによって十分に表現されない場合、元々の形状と再構築された形状との差は大きくなる。上記のように、この差はまた、新たなクラスタが新たな形状に必要かどうかを示すために使用することができる。この差の単純なしきい値処理が、クラスタなどの新たなカテゴリを開設するか否か決定するために、ロジック部ＰＬによって使用される。

【0204】

類似性メトリックが、しきい値を下回る（すなわち、同様ではない）場合、今の形状は「クラスタ同士の中間」にあるので、移行領域を表すか、又は、あらかじめ構築されたデータベースＴＤは、間近の処置のための全てのタイプの関連のある形状データをキャプチャしなかったかのどちらかである。

【0205】

オーバーフレームベースの類似度観測が、そのような移行を区別するために行われる。今の形状がクラスタ同士の中間にないことを保証するため、いくつかのフレーム（時点）にわたって取得された形状は、以前のクラスタ／カテゴリとの低い類似度を招くことが予想される可能性がある。低い類似度を招く後続のフレーム数がしきい値を下回る場合、実は、形状はあるクラスタから別のクラスタへの移行であったとの判定がなされる。この移行区別スレショルドは、過去の患者データから遡及的に学習される。しかしながら、低い類似度を招くフレーム数がしきい値を上回る場合、このことは、形状が、新たな今のところ規定されていないクラスタを表すことを示している可能性がある。

【0206】

そのような新たなクラスタが見出された場合、コントローラＣ－ＳＹＳは、システム又はユーザに警報を提供する。今の形状ｓは、新たなクラスタとしてデータベースＴＤに保存される。今の形状測定結果の後に取得され、他のどのクラスタよりもこの形状に良好に合致する任意の新たな形状測定結果ｓは、代表として新たなクラスタに加えられる。新形状クラスタの開設により、訓練システムＴＳＳに、再クラスタリング／再学習がトリガされるべきであるというフラグが立つ。再訓練が、処置内で、又は処置後に必要に応じて行われる。

【0207】

新たな患者が非典型的であるか、又は複雑な解剖学的組織を有することが処置の前に知らされている可能性もあり、したがって、その場で新たなクラスタが構築される必要がある形状を観測する尤度が増大する。この情報は、手術前の３Ｄ撮像から知らされている。そのようなケースでは、その場で新たなクラスタを形成する代わりに、あらかじめ構築されるクラスタを生成するために使用される形状データがシミュレートされる異なる手法が取られる。シミュレーションは、横断される脈管を区分し、３Ｄメッシュを抽出することによって行うことができる。使用されるデバイスＩＤの知られている機械的特質（例えば、厚さ、柔軟性、先端形状など）は、訓練データ生成器に送り込まれて、３Ｄメッシュ内で、アクセスポイントから対象物ロケーションまでの経路をシミュレートする。シミュレートされた形状は、上述のように保存され、クラスタリングされることが可能である。図１１のステップはこの目的のために使用される。データがシミュレートされるので、いくつかのばらつきが生成されて（例えば、デバイスシミュレーションを制御するパラメータを微調整することによって）、大量のデータがもたらされることが可能である。処置中、処置のデバイスによって生成された形状は、シミュレートされたデータから構築されたクラスタに割り当てられ、したがって、ＣＰＵリソースを消費する可能性が高い、その場で新たなクラスタ又はカテゴリを開設する尤度は低減される。

【0208】

代替として、シミュレートされた形状は、過去の患者データ（又は、今の患者に似た患者からのデータ）からの形状と結合されることが可能であり、クラスタが、結合されたデータから形成される。このケースでは、いくつかのクラスタは、過去の患者データからの形状とシミュレートされた形状との両方を含む一方、いくつかのクラスタ（非典型的な解剖学的組織を表す）は、シミュレートされた形状だけを含む。典型的なクラスタ（実形状とシミュレートされた形状との両方を含む）へとクラスタリングされる処置からのデバイス形状と、非典型的なクラスタ（シミュレートされたデータのみ／が大部分）へとクラスタリングされる形状との比は、患者がどれだけ非典型的なのかを数量化するために使用される。

【0209】

モデルを訓練するのが有用であるのは、形状測定結果Ｓに対してだけでなく、早期に言及したコンテキストデータκに対しても一緒に訓練するのが有用であることが判明したのは、動的学習手法に関するだけでなく、以前に説明した実施形態のうちのいずれか１つにも関する。したがって、訓練及び／配備のための入力は、強化された測定結果（ｓ，κ）からなる。言い換えれば、新たな次元が形状測定データにそのように追加される。この強化されたデータ（ｓ，κ）は、高次元の行列によって表すことができ、実際の形状測定結果ｓ及びコンテキストデータκ上でモデルを一緒に訓練するために、モデルを別個のチャネルとして訓練するとき、訓練システムによって処理することができる。コンテキストデータは、取得時刻を、若しくは患者の特性を、又は、介入若しくは患者、を記述する、若しくは、に関する任意の他の適切なタイプのコンテキストデータを示す。コンテキストデータは、数値にエンコードされ、ベクトル若しくは行列、又はテンソルとして表される。コンテキストデータκは、医療処置において使用若しくは操作される任意のデバイスＤ_ｊ、又はシステムによって生成されたデータを含む。コンテキストデータは、Ｘ線画像などの患者の２Ｄ又は３Ｄ画像を含む。画像は処置内、又は処置間のものである。ＭＲＩ、ＰＥＴ、ＵＳなどの他のモダリティもまた想定される。コンテキストデータは、本明細書において有用に活用されて、既存のカテゴリに分類できない外れ値形状測定結果を正しく分類する。

【0210】

本質的に必ずしも数値ではないコンテキストデータ部分κは、望ましくないスパース性を受ける。例えば、自動エンコーダに基づくアルゴリズムの埋め込みを使用して、密度が高い表現を見出し、次いで、モデルＭを訓練するために形状測定結果と一緒に処理するときに使用されるのは、コンテキストデータκのこの密度が高い表現である。

【0211】

上述の動的学習は、既存の訓練データ集合が補足され、それに応じてモデルを適合させる、その場での訓練である。しかしながら、追加データは、必ずしも配備中に出現するのではなく、代わりに合成によって生成することができる。これは、自動的に行われるか、又はユーザ支援型であり得る。システムＴＳがモデルをその上で訓練する追加の訓練データの生成は、訓練データ生成器ＴＤＧによって実施される。

【0212】

訓練データ生成器ＴＤＧは、訓練データの生成を支援するために、ユーザが入力をポインタツールを介して行うことができる、タッチスクリーンなどのユーザインターフェースＵＩ、及びスタイラス、マウスなどの当該ポインタツールを含む。任意選択で、形状測定結果が、コンテキストデータκを使用することによって生成される。実施形態では、コンテキストデータκは、２Ｄ又は３Ｄの手術前又は手術中の医療画像を含む。この画像を使用して、クラスタ又は選別ラベルなどのそれらのそれぞれのカテゴリを含む合成的な測定結果を生成することができる。

【0213】

１つのそのようなユーザ支援型の例は図１１に示されている。特に、図１１は、２Ｄ若しくは３ＤのＸ線画像、又はＭＲＩ、ＰＥＴなどの任意の他のモダリティからの画像を示している。

【0214】

例えば、３Ｄ撮像データは、気道又は血管などの解剖学的組織の特定の外観を表すやり方で再構築される。腫瘍又は血管の修復必要部分などの１つ又は複数の対象物ロケーションを特定することで、３Ｄ経路が開始ポイントから対象物まで描かれることが可能である。これらの３Ｄ形状又は経路は、撮像データから抽出されることが可能である。次いで、経路全体／形状全体、又は経路／形状の区分は、それぞれ、単一形状クラスタを規定する。Ｘ線撮影においてなど、３Ｄ画像データの代わりに、２Ｄ投影データを使用してもよい。

【0215】

詳細には、区分アルゴリズムＳＥＧは、ユーザがユーザインターフェースＵＩを介してインタラクトすることができる血管ツリーＶＴを規定するために使用される。例えば、ユーザは、フリーハンドの描画ツールを使用して、血管の、ある特定の部分などの関心の解剖学的ロケーションを表す形状を血管ツリーに描き込む。代替的に、別個のいくつかの制御ポイントＣＰ１～５が、インターフェースを介してユーザによって血管ツリー内に設定され、スプラインアルゴリズムを使用して、それらの制御ポイントを通過する曲線を算出し、区分された血管ツリーの関連部分と形状の合致をさせる。形状、曲率、又はひずみに基づいて、応力値が所望に応じて算出され、又は代替的に、３Ｄ（Ｘ，Ｙ，Ｚ）又は２Ｄ（Ｘ，Ｙ）座標が、形状ｓを規定するために使用される。ひずみ及び／又は応力を算出するため、使用されるアームＡの材料特質が必要である。形状は、血管ツリーの中心線を使用して区分器ＳＥＧによって自動的に生成される。

【0216】

そのように生成された合成形状データＳ^＋は、基礎をなす画像によって表される解剖学的組織を認識しているユーザによって描かれるので、カテゴリ分類は暗黙的である。ユーザツールを使用して、それぞれの解剖学的ロケーションに対して、適宜識別子によって、描画された形状にタグ付けする。この方式で、画像の集合における、又はそれの異なる部分における形状を描くことによって、多くの分類された訓練データが合成によって生成されて、既存の訓練データの集合Ｓ’に加えられる。このことは、例えば、不十分に蓄えられた訓練データベースが上積みされることを可能にし、又は、医療施設にアテンドしている患者の特性を表しそうな局部画像を使用して、新たな場所で新たなシステムをセットアップするのを支援する。全体としてそのような人工的に生成された標本を含む全訓練データ集合Ｓ’を、ゼロから作り上げることもできる。

【0217】

訓練のためにクラスタリングアルゴリズムが使用される場合、それらのそれぞれのカテゴリが付加されたそのように生成された人工的な形状Ｓ＋は、それらのカテゴリに応じてグループ化されて、新たな形状測定結果を既存のクラスタに割り当てるために、配備中に、直ちに使用することができるクラスタを規定する。クラスタにグループ化するために、ユーザ生成されたタグを分析する言語分析器構成要素が使用される。代替的に、訓練アルゴリズムが再動作されて、ニューラルネットワーク又は他の選別器モデルのパラメータを調整し、それによって、新たに加えられた合成訓練データ標本Ｓ^＋に対処する。新たに生成されたデータに加えて、すでに格納された以前の（古い）訓練データが、モデルを再訓練するために使用される。合成形状測定結果Ｓ^＋の生成は、図１１において上記で説明されたユーザインターフェースＵＩを介したユーザサポートに必ずしも依存せず、しかし、完全に自動的に行われる。この実施形態では、画像は前のように区分され、血管ツリーの部分は解剖学的ロケーションに対してラベル付けされる。次いで、スプライン曲線が解剖学的組織にわたって延びて、人工的な形状測定結果Ｓ^＋が得られる。

【0218】

訓練データを生成する別の実施形態は、血管形状及びデバイスの機械的特質に基づいて、介入デバイスＩＤ（ガイドワイヤ又はカテーテルなど）が最もとる可能性が高い経路を規定するために、生物物理学的モデリングアルゴリズムに基づく。合成によって生成された形状測定結果が上記のようにそこから生成された経路は、前記生物物理学的モデリングアルゴリズムによって駆動されるこの予測に基づいて規定される。加えて、又は代わりに、実施形態では、形状センシングシステム又は他のトラッキング技術によって提供されるなど、過去のデバイスＩＤデータを使用して、対象物までへの上首尾のナビゲーション中にデバイスによって最もとられる可能性が高い経路を学習する。様々な自動エンコーダが、このＭＬタスクのために使用される。任意選択で、様々な自動エンコーダのエンコーダステージによって獲得可能な標準偏差又はその他など、経路ごとに不確実性値が提供される。

【0219】

したがって、そこでは撮像データを使用して形状／線を規定し、次いで、形状／線を使用してそれぞれのクラスタ、及びそれらの解剖学的ロケーションタグ／注釈を規定する。関心の解剖学的組織の画像は、処置の開始時、又は処置中に取得される。画像は２ＤのＸ線画像である。提案された訓練データ生成器ＴＤＧを用いる。ユーザは、意味のある彼／彼女自身のクラスタを作成するために、対象の分岐血管まで、又は、例えば、ステント移植片が配備されるべきポイントまでの経路などの線を「描く」ことができる。

【0220】

一旦ユーザがＸ線画像上に、予想される形状（例えば、左腎など）を描いた時点で、これらの描かれた形状を使用して、どのクラスタが処置中に見えると予想されるかを特定する。訓練データ発生器ＴＤＧは、可視化構成要素を含む。各クラスタからのあり得る形状の分布が、すでにこれらのクラスタに属す形状を使用して、そのように表示される。

【0221】

新たな２Ｄ又は３Ｄ形状／経路／線が使用されて、今の患者に特有なクラスタをゼロから作成する。代替的に、及び追加的に、合成によって生成された形状は、既存の訓練データ集合が（まだ）適合クラスタを含む場合、追加のクラスタを作成するために使用されることが可能である。

【0222】

ユーザ支援手段による訓練データの生成の別の実施形態が、図１２に示されている。この実施形態は、処置中に時折必要となる画像に位置合わせされた、形状測定結果を使用する。連続線は今の画像の構造体上に位置合わせされた形状測定結果を示している。ユーザは、点線及び一点短鎖線ｕｇ１、ｕｇ２によって示される、追加の人工的に生成された形状測定データｓ^＋を規定することができる。ユーザは、描画ソフトウェアと併せて、コンピュータマウス、スタイラス、タッチスクリーンなどの適切なユーザインターフェースを使用して、人工的な形状測定データｓ^＋を生成する。カテゴリ分類／ラベリングは、位置合わせに起因して暗黙的である。例えば、アームＡが腎動脈内にある場合、ユーザはそのとき取得された形状に「腎動脈」とタグ付けすることができる。アームＡによって返された３Ｄ形状測定結果は、例えば、２ＤのＸ線からユーザによって規定された「腎動脈」タグとともに保存される。

【0223】

しかしながら、そのようなユーザ支援入力は、必ずしも本明細書では必要ではない。代替的に、タグ／注釈もまた、３Ｄ血管図解を３Ｄ手術前データに位置合わせすることによって自動的に獲得される。次いで、いくつか又は各それぞれのタグ付けされたロケーション及び形状測定結果ｓは、それぞれのクラスタとして格納される。ユーザ又はシステムが発生させるクラスタが多すぎる場合、任意選択で、自然言語処理及び／又は形状分析が利用されて、注釈から類似のタグ／クラスタをグループ化することができる。合成訓練データＳ^＋を生成するための上述の実施形態のいずれかは、「実」履歴データの代わりに、又は、「実」履歴データと併せて使用される。訓練データ拡張技法は、訓練データの多様性を向上させ、そうして、優れた訓練成果を促進するために使用される。

【0224】

Ｘ線などの画像タイプのコンテキストデータと併せた形状測定データは、学習中に見出されるカテゴリにラベル付けするための方法を提供する。すなわち、アームＡによって提供された形状データを使用して、意味のあるクラスタ、又は、一般的にはカテゴリを自動的に見出す一方で、Ｘ線撮像データなどのコンテキスト画像データを使用して、解剖学的組織に対して、どこで形状データがカテゴリのそれぞれにおいて取得されたかを自動的に推測する。コンテキスト画像データを含まない形状測定結果を使用して、このデータを事前に存在するカテゴリに分類することによって、又は、動的学習において早期に言及したように、新たなクラスタを形成することによって、多くのデータを訓練集合Ｓ’に追加する。このようにして、解剖学的ロケーションラベルには、Ｘ線画像からのグラウンドトルースがなくても形状測定結果が割り当てられることが可能である。Ｘ線画像を取得したころに取得される形状データは、自然な変化を形状に生じさせ、本明細書では、平均などのクラスタ特質をロバストに推定するために使用されることが可能である。それにより、例えば、それぞれのロケーションに処置の後期に再び訪れたとき、クラスタを正しく検出する助けとなり得る。

【0225】

解剖学的ロケーションタグを、機械学習によって見出されたカテゴリと互いに関係付けるため、自動ラベラＡＬＬは、画像のそれぞれの部分に対するラベルを作り出すために画像処理アルゴリズムを実施する。例えば、腎臓が、画像処理アルゴリズムによって画像内で特定された場合、特定された腎臓に繋がっている血管が見出され、自動ラベラＡＬＬは、適切な解剖学的ラベルの例として、これらにラベル「腎動脈」を割り当てる。しかしながら、動脈瘤が特定された場合、動脈瘤のいずれの側の主動脈にも「大動脈」などをラベル付けすることができる。処理された画像からラベルをピックアップするため、アームＡをＸ線画像に位置合わせする（すなわち、Ｘ線画像と同じ座標系）。代わりに、ユーザに、手作業でデータにラベル付けさせることができるユーザインターフェースが提供される。

【0226】

処置の段階を決定するため、画像タイプのコンテキストデータが、予測されたカテゴリとともに、予測ロジック部ＰＬによって使用される。例えば、ステントが、予測される今のカテゴリと組み合わせて手術中のＸ線画像において検出可能であることにより、処置の今の段階に対して十分な手がかりがもたらされる。

【0227】

別のやり方で、システムＣ－ＳＹＳは、今の予想されるカテゴリ情報、及び、撮像システムから受信される撮像パラメータなどの任意の今の情報（例えば、Ｃ－アーム位置、テーブル位置、又は他のもの）を利用して、処置を容易にする。例えば、ユーザが、この瞬間に画像取得を要求するよう決定した場合、組み合わされた情報を使用して、ｃ－アームの今の位置がデバイス及び解剖学的組織の最適な画像（短縮法でも不適当な角度ビューでもない）に帰着することになるかどうかを判定する。次いで、システムＣ－ＳＹＳは、画像を取得する前に、良好なＦｏＶのための撮像幾何学形状を変化させるために、ユーザにフラグを立てることができる。

【0228】

追加的に、又は代わりに、システムＣ－ＳＹＳは、組み合わされた情報を使用して、アームＡが、Ｘ線イメージャＩＡなどの撮像システムに、再位置合わせされるべきかどうか、又は、いつ再位置合わせされるべきかを決定する。例えば、かなりの量の差し迫った動きがありそうなとき、ユーザがステント移植片を配備している間は、再位置合わせは、好ましくは試みられないようにすべきである。しかしながら、介入デバイスＩＤ／アームＡが、上部大動脈内に留め置かれる場合、このことは、デバイスが、ある時間の間安定状態に保持されることを示しており、デバイスは、すぐに動かされそうにないため、再位置合わせするのによい瞬間がもたらされ、以て、位置合わせの精度が、したがって、画像に関するアームＡの可視化が改善される。したがって、本明細書では、（再）位置合わせの試みに資する、処置の固定的な段階を特定するために、組み合わされた情報が活用される。

【0229】

上記で検討した画像タイプのコンテキストデータとは対照的に、コンテキストデータκの別のタイプ又は構成要素は時間である。さらに、又は代わりに、新たな形状測定結果を生成するため、訓練中の性能を向上させるため、及び／若しくは注釈のため、又は、正確に医療処置の今の段階若しくはタイプを予測するために、本明細書において有効に活用されるのは時間データである。時間成分は、所与の形状測定結果が形状センシングシステムＳＳＳによっていつ取得されたかを表すタイムスタンプである。したがって、形状センシングシステムＳＳＳのアームＡが、処置中に動かされているとき、形状センシングシステムＳＳＳによって提供される形状測定結果のストリームに応答して、予測ロジック部が、予測されるカテゴリのストリーム又はシーケンスを算出するという点で、予測ロジック部は動的な方式で操作すると理解される。時間成分は、変換ユニットＣＶによって使用されて、形状測定結果を解剖学的ロケーションにだけではなく、代替的に、又は追加的に、アームＡが、したがって、関連するデバイスＩＤが使用される医療処置のタイプ、又は医療処置の段階にも変換する。時間成分は、予測時間であり、すなわち、ロジック部ＰＬが、進行している処置中に測定された形状データｓに応答して、所与のカテゴリを予測する、絶対的、又は特定の時間的順序である。したがって、時間、及び、特に、所与のカテゴリが処置中にロジック部ＰＬによって特定される時点は、処置の今の段階を自動的に決定するのを助けるための有用な情報を表す。次いで、この情報は、処置における、及び／又は、病院運営に関係する、様々なシステム又はサブプロセスのうちの任意の１つ又は複数を制御するために使用されることが可能である。

【0230】

形状センシングシステムＳＳＳ、撮像システムＩＡ、又は任意の他のシステム／デバイスＤｊによって発出されたタイミング情報は、処置を容易にするために本明細書において使用される。

【0231】

一実施形態では、タイミング情報は、動的学習モードの状態で、訓練システムＴＳＳによって使用される。例えば、アームＡの形状を利用する今の訓練データ集合Ｓ’上でクラスタリングアルゴリズムを動作させると、タイミング情報を使用してクラスタへの分割からあいまいさを取り除く。例えば、訓練データ集合Ｓ’が、アームＡの形状だけからなっている場合、クラスタリングアルゴリズムは、類似している形状を１つのクラスタ（又は、一般的にカテゴリ）のみに分類する。しかしながら、類似形状は、実は、処置中の異なる時点からもたらされ、したがって、実は、処置の異なるステージを表す。したがって、形状がいつ取得されたかについてのタイミング情報を使用して、訓練データ集合Ｓ’を、ほんの単一カテゴリの代わりに２つ以上のカテゴリ（類似形状を含む）に分離することができる。

【0232】

例えば、アームＡの形状、及びタイムスタンプに基づくクラスタは、他のシステムＤｊを制御するために使用することができる処置の段階を決定するために使用することができる。例えば、ステントが腎動脈内に置かれる処置では、カテーテルが大腿動脈から大動脈にナビゲートされ、次いで、ステントの配備前に腎動脈に入らなければならない。このナビゲーション中に遭遇するクラスタは、その特定の順序で、（図５を見ると）Ａ）（形状ａａ、０～３０分）、Ｂ）（形状ｂｂ、３０～３５分）、Ｃ）（形状ａａ、３５～４５分）、Ｄ）（形状ｃｃ、４５～５０分）及びＥ）（形状ｂｂ、５０～７５分）と表される。Ａ）及びＢ）クラスタが発生すると、システムは、クラスタＣ）が次に来ることを認識し、他のシステムＤｊに、来たるべき処置の段階はクラスタＣ）であることを通知する。クラスタＣ）に到達することによって、撮像システムは、異なる撮像プロトコルが設定されることが必要となるか、又は、今の処置が、処置の段階に基づき終末に近づきつつあるので、病院システムは、次の患者の準備をするように看護スタッフに警報を出す。

【0233】

別の実施形態では、クラスタに遭遇するのは、特定の順序（図５の例では、これはＡ）、Ｂ）、Ｃ）、Ｄ）、次いでＥ）であることが予想される上記の同じ例を使用して、処置が予想されるより長くかかることになり、医師がクラスタａ）の状態に３０分までの代わりに４５分間ある場合、残りのクラスタのタイミングは、新たな時間予測とともに動的に更新される。上述の時間順序ベースの手法は、一般的にはカテゴリとともに使用され、クラスタリング実施形態に限定されるものではない。

【0234】

ユーザ入力を備える訓練データ生成器ＴＤＧを参照すると、ユーザが、所与の処置中に予測されると予想される形状を描くとき、描かれた形状は、出現すると予想されるクラスタを特定するために使用されることが可能であるだけではなく、処置中にどの順序で描かれた形状が予測されると予想される「とき」にも使用されることが可能である。したがって、時間次元を追加することによって、ロジック部ＰＬは、配備中に測定された形状に対するカテゴリを予測するとき、形状カテゴリに割り当てられた順序タグによって規定される、この決定的な「時間軌跡」を事前知識として使用することができる。ロジック部ＰＬは、追加的に、又は代わりに、描画される形状まで導かれると予測されるカテゴリを提案する。提案は、ユーザが、予測される形状をさらに描くにつれ、微調整されるか、又は更新される。

【0235】

処置中に予測されるようなカテゴリがこの順序に従っていない場合、このことは、新たなシーケンスが異なるタイプの処置を規定していることの表れである。次いで、クラスタのこの新たなシーケンスは、新たな前記処置を規定するものとして、あらかじめ規定されたデータベースＴＤに保存し直される。このような方式で、システムは、臨床診療中に新たな処置を学習することができる。

【0236】

予想されるカテゴリ予測順序からの逸脱はまた、処置の複雑さ、又は難しさを示しており、このことは、処置時間に影響を与える可能性があるか、又は様々な適性を有するさらなるユーザからの支援を必要とする。

【0237】

カテゴリ予測順序及び／又はタイミング情報は、システムＣ－ＳＹＳによって使用されて、制御システムＩＳに通知され、使用する処置カードを提案し、特定のソフトウェア（血管ナビゲータなど）若しくは他のツールを有効化し、代替の撮像プロトコルを使用し、又は処置中に試みられ得る代替手法をユーザに警告することができる。

【0238】

タイミング情報はまた、異なるタイプのユーザを区別するために、システムＣ－ＳＹＳによって使用される。例えば、初心者ユーザは、ステップを完了するのに経験を積んだユーザよりも多くの時間がかかるか、又は、特定のデバイス手技と格闘して、新たなカテゴリが形成されることとなるか、若しくは、あらかじめ規定されたデータベースＴＤに保持されたものと比較して順不同なカテゴリがもたらされる。

【0239】

ユーザが処置を正しく完了して、カテゴリが、予想されるより遅いものの、予想される順序で予測される場合、コントローラＣ－ＳＹＳは、今のユーザに「初心者」ユーザとフラグを立てる。次いで、任意の後続の予測時間が、さらにこの先、又は次の処置で、そのユーザに対する初心者マージンによって延長される可能性がある。

【0240】

「初心者」ユーザがフラグを立てられると、クラスタ及び／又は新たなクラスタのシーケンスが、処置の後の再調査のためにコントローラＣ－ＳＹＳによって保存される。これは、処置を正しく、又は最適に行うよう奮闘しているエリア内の初心者ユーザを教育する助けとなる。

【0241】

ユーザに対してインラボディスプレイデバイスＤＤ上に表示されるナビゲーション計画又は可視化スキームは、それぞれのカテゴリが、処置中にいつ予測されるのかに基づいて、コントローラＣ－ＳＹＳによって適合される。例えば、腸骨ビューの代わりに腎動脈ビューが表示される。したがって、予測時間を考慮に入れることによって、視覚サポートスキームが、予測されるカテゴリのストリームとライブ同期される。

【0242】

予測順序は、形状センシングシステムＳＳＳに関連して、φにフラグを立てる、又は有用な事象をトリガするために使用される。例えば、ロジック部ＰＬは、同じカテゴリの繰り返される予測によって示されるように、デバイスＩＤが延長された（あらかじめ規定された）時間期間の間、単一のクラスタ／カテゴリにある場合、デバイスＩＤを撮像システムに再位置合わせするように、トリガする（又は、そうするように提案する）。例えば、デバイスＩＤが、大動脈内に「留め置かれ」、医師は別のデバイスの準備に取り組んでいる場合、「留め置かれた」デバイスＩＤは、安定しており使用されていないため、撮像システムに再位置合わせされるのに適切な時間となる。時折の再位置合わせにより、デバイスＩＤのＸ線透視画像に対する精度が良好であることが保証される。

【0243】

代替的に、又は上記のいずれかに加えて、コンテキストデータκは、患者人口統計値／性別、体重、年齢、ＢＭＩなどの患者の生命特性を含む。

【0244】

形状カテゴリは、患者人口統計情報、及び／又は処置情報を利用することによって、今の患者に十分に適合するように予測されることが可能である。年齢、ＢＭＩ、解剖学的対象物、又は処置タイプのうちのいずれか１つを使用すると、既存の訓練データ集合Ｓ’をフィルタリングし、カテゴリを予測するとき類似の患者特性を有する患者のみからの情報を使用することによって、予測されるカテゴリのロバストネス及び精度を改善することができる。こうして、訓練データ集合Ｓ’を、患者特性に応じて階層化することができる。システムＣ－ＳＹＳは、今の患者からの特性についてユーザに照会し、次いで、患者特性に対応する訓練データ標本の部分集合のみを使用する。

【0245】

例えば、訓練中、訓練システムＳＹＳは、訓練されたモデルの一般化する能力を改善するため、クロス有効性確認（場合によってはｎ倍、ｎ＞１）を実施するように動作する。クロス有効性確認では、訓練データはグループに分割され、次いで、グループは、訓練及び有効性確認のために異なる組み合わせで使用される。訓練データは、ＢＭＩなどに基づいて分割される。同じデータを使用して、こうして、訓練システムは１つの汎用モデルＭ（これはいくつかの実施形態において依然として想定されるが）ではなく、特定のタイプの患者に適合させる異なるモデルを生成する。

【0246】

配備の際、ロジック部ＰＬは、新たな患者の患者特性を獲得して、獲得された患者特性に最良に対応する正しいモデルに動的にアクセスし、そのモデルを使用する。

【0247】

代替的に、システムＴＳは、患者特性に基づいてあなたの未加工データＳ’を分割する。しかしながら、モデルは依然として全てのデータ上で訓練されるが、訓練は、患者特性に基づくデータ分割に基づいて調整される。ある特定の患者特性に属すことになる新たな患者については、ロジック部ＰＬは、その患者部分母集団に適合するモデルに動的にアクセスする。

【0248】

代替的に、今の患者の３Ｄ解剖学的組織を前の患者と比較することができる。この比較は、ＣＢＣＴ、ＣＴ、又はＭＲＩなどの３Ｄ画像データなど、画像データに基づく。処置に関する、脈管構造体などの関心の構造体の類似度は数量化されることが可能である。次いで、モデルが類似の解剖学的パターンに基づいて選択される。

【0249】

さらに別の実施形態では、データＳを「正規化」するために患者特性を使用することができる。例えば、小児科のケースからの形状は、成人のケースからの形状より小さいものの、その形状と同様に見えるに違いない。小児科及び成人のケースは、クラスタリングにおいてなど、モデルを訓練するために一緒に使用されるが、各形状を正規化するために使用されたそれぞれの「スケーリング」因子が考慮に入れられる。次いで、スケーリング因子は、異なる患者特性ごとに異なるため、所与のカテゴリで費やされた時間（ロジック部が同じカテゴリに対して予測を返す時間）に関連付けられることが可能である。

【0250】

データ不均衡を補正することに加えて、若しくは代えて、及び／又は、バイアスに対するテストの延長として、上記で言及された患者情報／特性が使用される。

【0251】

図１０のブロック図を参照し直すと、新たなカテゴリの今の形状測定結果ｓ^＋が検出されたことが、制御ロジック部ＰＬによってフラグを立てられ、対応するフラグφを出力することができる。新たなカテゴリ警報フラグφが使用されて、制御ロジック部ＰＬが、様々なデバイス又はシステムＤ_ｊのうちの１つ又は複数を制御する方式に影響を与える。

【0252】

例えば、一旦そのようにフラグが立てられた時点で、予測ロジック部ＰＬは、撮像装置ＩＡのある特定の撮像パラメータに影響を与える、又はその撮像パラメータを変更するため、制御インターフェースＣＩＦに信号を出力するように指図する。例えば、撮像幾何学形状は、ガントリＧＴを動かすことよって変化させられる。加えて、又は代わりに、アームＡ自体の操作／設定が変更されるか、又は、介入デバイスの操作／設定が変更される。

【0253】

次に図１３を参照すると、これは、予測ロジック部ＰＬによって予測されたある特定の予測カテゴリｃを、特に高い不確実性の（又は、言い換えると、低い信頼度の）カテゴリに対してユーザに検証させることができるように構成されたユーザインターフェースＵＩを含む検証モジュールＷＭを示している。ユーザインターフェースＵＩは、必ずというわけではないが、好ましくは、ヒューマンインタラクションのために構成された複数のグラフィカルウィジェットＷｊを含むグラフィカルユーザインターフェース（図１３に示されるように）として配設される。

【0254】

一度、そのようなウィジェットＷ１は、アームＡによって収集された受信された形状測定結果Ｓについて予測されるカテゴリに対する識別子を含む。形状測定結果ｓ自体は、可視化モジュールによって３Ｄ又は２Ｄ曲線、例えば、ｇ（ｓ）としてグラフィカルにレンダリングされる。ユーザは、識別子ウィジェットによって表される予測される解剖学的ロケーションである提案されたカテゴリ分類が、ディスプレイデバイスＤＤ上、又は別のディスプレイデバイスＤＤ上に表示される形状ｇ（ｓ）と一致するかどうか視覚的に評価することができる。さらに１つ又は複数の制御ウィジェットＷ１、Ｗ２は、ユーザに、Ｗ２予測を確認させるか、又はＷ２予測を拒否させることのどちらか一方をさせることができるように設けられる。好ましくは、ユーザの視界内に、今の形状測定結果に対応する今のロケーションを、表示されている通りに正しく表す新たな識別子が、ユーザによって提供されることが可能である。正しい識別子は、キーボードアクション又はタッチスクリーンアクションを介して、拒否ボタンＷ３が作動するとウィジェットＷ１が変化するテキストボックスに入力される。次いで、ユーザは、間違った機械提案識別子を解剖学的ロケーションで置き換える。ユーザ提供補正をキャプチャするための他の入力オプションもまた企図され、この機能がどのように実施されるかとの観点から、上記は多数のうちのほんの一実施形態である。また、図１３に示されるタッチスクリーンインタラクションが好ましい一方、このことは必ずしも本明細書において要件ではなく、インタラクションの他の手段は、スタイラス又はマウスなどのポインタツールの使用を含み、さらに、本明細書において決して排除されることがないのは、キーボードベースのインタラクションである。次いで、新たな識別子は、新たなカテゴリのためのラベルとして役立つか、又は測定結果ｓは、既存のカテゴリに訓練集合Ｓ’に従って割り当てられる。自然言語分析器は、新たに設けられた識別子を分析し、既存のカテゴリがある場合、そのカテゴリとの対応付けを確立しようと試みる。そのような自然言語（ＮＬ）処理ベースの調和の必要性は、制御されたボキャブラリを使用することによってなくなる。正しい識別子を提供するためのユーザ向けの入力ウィジェットは、提案される識別子をユーザがそこから選択するリスト、又はドロップダウンメニューの形態をとる。提案されるリストは、医療処置のタイプ、例えば、介入のタイプによって、検証されるべき測定結果ｓがとられたコンテキストにおいて通知される。

【0255】

形状クラスタを解剖学的ラベルと関連付けることができる配備されたシステムＣ－ＳＹＳは、予測されるラベルをオンスクリーンＤＤに表示することができる。ユーザがラベルを受け入れると、確認されたラベルと一緒に、今の形状が、ラベル付けされたクラスタデータベースに加えられる。ユーザがラベルを拒否し、正しいラベルを提供すると、形状は補正されたラベルと一緒に保存される。しかしながら、ユーザが、正しいラベルを提供せずにラベルを拒否した場合、形状データは、廃棄されるか、又は遡及的にラベル付けするために取っておかれるかのうちのどちらか一方である。図１１の実施形態及び類似のものは、手術前のＣＴ又はライブＸ線透視画像と一緒に使用される。そのような適用シナリオでは、予測されるラベルは、モジュールＷＭによって、手術前又は手術中の画像（それらは自動セグメンテーションなどから取得可能である）からの解剖学的ラベルと自動的にクロスチェックされることが可能である。予測されるラベルと画像ラベルとが一貫して不適合である場合、システムは、位置合わせを再算出するために候補をトリガする。

【0256】

しかしながら、しばしば、ユーザはラベルを確認も拒否もしない。このケースでは、ラベルの受け入れ又は拒否は、不確実性値Δを算出する不確実性決定器によって、又は早期に上述した類似性尺度を使用して、数量化されるような、予測されるラベルにおけるシステムの信頼度に基づく。システムが、今のカテゴリとの高い信頼度／高い類似性を有する場合、ラベルは、ユーザから確認されることなくデータベースに追加することができる。しかしながら、信頼度／類似性が低い場合、形状データ及び予測されるラベルは、ユーザからの確認なしではデータベースＴＤに追加されない。ある特定の信頼度しきい値を下回る場合、予測されるラベルはユーザに示されない。例として、形状測定結果ｓは、非常に曲がりくねった腸骨動脈を通る今のナビゲーションによるものである。この解剖学的コンテキストは、撮像データがないシステムには利用できない。場合によっては、動脈の並外れた蛇行故に、測定された形状ｓは、ラベル付けされたクラスタデータベース内で十分に表現されないことがある。しかしながら、予測ロジック部ＰＬは、上述のように時間コンテキストκの使用に基づいて、アームＡが腸骨動脈内にある、と依然として推測する。ロジック部は、アームＡ／デバイスＩＤが通り抜けて今の不明瞭な形状測定結果ｓまで導かれる、クラスタの順序（又はステップ）を使用する。このシナリオでは、このラベルにおけるシステムの信頼度は低い。したがって、ユーザが、検証モジュールを介して（例えば、ポップアップウィジェットｗ１によって）、予測されるラベルを受け入れない場合、形状及びラベルは、今のラベル付けされたクラスタデータベース／メモリＴＤに含まれない。不明瞭な、割り当てられない測定結果ｓが、別個の形状データベース／メモリ、又は「はぐれ」カテゴリに加えられ、熟練者によって手作業でしかも遡及的にラベル付けされる。

【0257】

早期に言及したリバランサＲＢモジュールの操作の例示である図１４への参照を行う。訓練データベースＴＤが、新たなデータを加えることによって更新される、特に動的学習のコンテキストでは、異なるサイズのクラスタが、ある特定の時刻ｔ１に確立される状況が、特にクラスタリングベースの機械学習アルゴリズムで生じる。各クラスタにおける代表の数である異なるサイズは、図１４の上部分内で、異なるサイズの楕円によって図解で示されている。例として、３つのクラスタが、Ａ、Ｂ、及びＡＢと明示されて示されている。クラスタのうちのいくつかが少数の代表のみを含む一方、クラスタのうちの残りは多数の代表を含む状況が出現する。そのような状況は、予測ロジック部ＰＬ性能の不十分な操作及び精度又は一貫性の低下につながる。クラスタが、匹敵する数の代表を含むことが、又は、少なくとも、これにより予測ロジック部ＰＬの性能が不安定になり得る、ほんのごく少数の限界数代表未満しか含まないクラスタがないようにすることが、望ましい。リバランサＲＢの操作により、場合によっては、大きなクラスタのうちのいくつかのサイズを犠牲にして小さなクラスタが増加する。この状況は、図１４におけるその下部において、後の時刻ｔ２＞ｔ１に関して概略的に示されており、ここで、早期の小さなクラスタＡＢが増大してクラスタＡＢ’になった一方、早期の１つ又は複数の大きなクラスタＡ、Ｂは、いくつかの代表を新たな拡張されたクラスタＡＢ’に漏洩させたため、小さなクラスタＡ’、Ｂ’に収縮している。特に、不均衡であるのはその場で構築されたクラスタである（すなわち、ごく少数のデータサンプルしか含まない）。クラスタ間の均衡をとり直すため、及び／又はクラスタリングされていないデータに対処するため、形状データはクラスタリングし直される（か、又は、クラスタリングモデルは、再訓練される）。ほとんどの形状は、類似クラスタに再割り当てされるべきである。例えば、図１４では、クラスタリングし直す前のクラスタＡ及びＢに属すほとんどのデータサンプルは、クラスタリングし直した後も依然として、それぞれ、クラスタＡ’、Ｂ’に属すことになる。他方、クラスタＡＢ’は今や、その場で構築されてクラスタＡとＢとの中間にあった形状をキャプチャした、クラスタＡＢより大きい。クラスタＡＢ’は今や、クラスタＡ及びＢ内のデータ分布の末尾付近にあったデータサンプルを含むはずである。

【0258】

新たなクラスタには、そのクラスタ内のデータサンプルの大多数（又はあるパーセンテージ）に関連付けられたラベルに基づいて、解剖学的ラベルを割り当てることができる。大多数のグループが、あるしきい値パーセンテージを下回ることになった場合、クラスタは、解剖学的ラベルをそれに割り当てることができる前に、熟練者によって再検討されなければならない。以前のクラスタは、新たなクラスタが認可されるまで、維持される。クラスタリングし直すと、システムの精度が低下し、システムは古いクラスタに戻ることができる。代替的に、外れ値データサンプルは、各クラスタ内で特定することができ、（例えば、類似性尺度に基づいて上記で説明されたように）、システム性能が以前のクラスタと一致するまで、又は、優れるまで、クラスタから次第に除去することができる。代替的に、誤差に対する高い寄与を示す以前のクラスタリングされていないデータから生成された、任意の新たなクラスタは除去される。

【0259】

しかしながら、図１４の図解は概念的であるだけではなく、今のクラスタリング状況のために、ディスプレイデバイスＤＤ上に、又は異なるディスプレイデバイスＤＤ上に表示される同様のそのようなグラフィカルレンダリングが本明細書における実施形態において想定される。レンダリングでは、色、又はグラフィカル／幾何学的形状若しくはシンボルが、図１４において楕円を使用して行われたように、クラスタサイズに対してコード化される。これは、訓練データ集合Ｓ’の今の状態に対して、ユーザにグラフィカルフィードバックを提供する。

【0260】

次に、アノテータＡＴの動作を例示する図１５への参照を行う。一般に、解剖学的ロケーションに対するタグをそれぞれのカテゴリに割り当てるのを容易にするため、本明細書において、注釈、及び関係する注釈ツールＡＴが使用される。これにより、クラスタ又は選別を、それぞれの解剖学的ロケーション、医療処置の段階、又はタイプに関連付けることができる。上記では、ＭＬモデルは、医療処置の段階又はタイプにマッピングされるカテゴリを予測したが、一方、ＭＬは、生来、ポストコンバータＣＶなしで、そのようにエンドツーエンドで予測するように訓練される。

【0261】

概して、アノテータは、訓練データベースＴＤ内の形状測定データに、及び／又は、新たに取得された形状測定結果ｓに、タイムタグｔなどのタグ、或いは、解剖学的注釈κ_ａ、メタデータ注釈κ_ｍ、及び／又はシステム若しくはワークフロー注釈κ_ｗのうちの任意の１つ若しくは複数などのある特定の時間派生コンテキストデータκを注釈するように動作可能である。それらのコンテキスト注釈κ_ａ、κ_ｍ、κ_ｗの全ての３つのクラスは、結局時間派生である。図１５は、時間を通じて変化又は変形し得る形状データｓ_ｊの例を示しており、時間軸は水平方向に描かれている（空間平面は画像平面と平行である）。

【0262】

アノテータＡＴは、形状センシング／測定システムＳＳＳに統合され、タイムタギングのためのタイムスタンプを割り当てるタイムスタンプとして実装され、各タイムタグは、それぞれの形状ｓ（ｔ）がアームＡによって測定された時刻をエンコードする。別の有用なタギングは、早期に論じられた予測時間である。アノテータは、配備又は訓練の際に使用されて、新たな形状測定データに、又は訓練データのインスタンスに注釈する／タグ付けする。

【0263】

ここでまずより詳細に解剖学的注釈／コンテキストκ_ａに向かうと、処置が開始され進行するにつれて、時系列順の横断した解剖学的コンテキスト又は遭遇した事象ｗが、図５の例示のクラスタ／カテゴリ順ａ）～ｆ）と関連して早期に言及されたように、注釈に使用される。例えば、時刻ｔ_０からｔ_１までとすると、アームＡは導入器を介して脈管系に進入した。そのような別個の時間間隔が使用されて、処置内のみならず複数の処置データ集合間の３Ｄ形状データｓ、時間データ、及び３Ｄ形状＋時間データのクラスタリングにタグ付けすること及び注釈することができる。

【0264】

処置内及び処置同士間の解剖学的コンテキストに基づく形状カテゴリの進展は、図１６においてさらに下記で詳細に探究されることとなり、但し、クラスタ内の固有分散は、時間的特性と関連付けられる。

【0265】

メタデータ注釈κ_ｍについては、これは、ＥＭＲ処置内記録とともに使用して、処置のそれぞれのステップと関連付けられた、時間クラスタ及び形状データクラスタなどのメタデータにタグ付けする。これは、処置中に重大なステップを特定すること又は重大なステップに注釈することをできるようにするのみならず、不都合な事象を特定するのを助ける。処置中のテレメトリ（システム及びデバイス）からのデータには、解剖学的コンテキストを注釈する。

【0266】

メタデータ注釈κ_ｍは、患者管理のための処置内ステップにコンテキストを提供することができるアルゴリズムを開発することができるようにする。例えば、（僧帽弁修復のような）心臓を対象にする処置では、ある特定の患者集団において、心臓におけるナビゲーションが困難であると判明した場合、心拍／呼吸数の減速が勧められる。

【0267】

メタデータ注釈κ_ｍはさらに、特定のクラスタの既知の複雑さ及び他の悪影響との関連付けを許容する。例えば、特定の血管のカニューレ挿入が困難な場合、今の形状測定結果がその血管と関連すると予測される事実は、来たるべきステップが複雑であるか、又は、高い尤度の有害事象と関連があることをユーザに警告するメッセージをトリガする。これが、ユーザに対してツール手技を減速するよう忠告することなどの、ユーザの注意を引く提案、又は、早期に説明したように、今のユーザが未熟者と特定された場合、より上位のユーザが引き継ぐとの提案をトリガする。

【0268】

システム又はワークフロー注釈κ_ｗについては、これは、処置内テレメトリ（システム及びデバイス）データに、解剖学的コンテキストから導出された時間を注釈することに関する。これは、データのクラスタリング／カテゴリ分類中の事象に基づいて、システムパラメータに対する予測最適化を開発するのを助けることができる。さらに処置同士間の時間ベースの事象コンテキストは、患者集団に基づいて、事前設定を作成するのを助けることができる。

【0269】

例えば、Ｃ－アーム設定などの撮像幾何学設定は、処置ステップが複雑であることが判明した場合、クラスタリングに基づいて行われる。今のＣ－アーム設定は、今予測される特定のクラスタ／カテゴリと関連付けられたＣ－アーム設定（又は、そのような設定の平均若しくは中央）に基づく。単一のカテゴリはまた、異なるＣ－アーム設定に関連付けられる。例えば、異なるそのような設定は、そのカテゴリに対する予測の時系列的な順序などの異なる予測時間に関連付けられる。詳細には、早期に予測されたカテゴリに関連付けられた設定は、後に予測された同じカテゴリに関連付けられた設定とは異なる。システムは、カテゴリが時間の経過とともに予測されるにつれ、したがって、カテゴリの進展が表されるにつれ、これらの設定を提案することができる。

【0270】

システムＣ－ＳＹＳは、今のクラスタ予測が与えられた適切な時刻に、来たるべきカテゴリ予測に備えるための指令をユーザに提供する。これにより処置が合理化される。例えば、処置が今のカテゴリに平均で６分とどまり、形状の進展が平均ペースで進行する場合、４分で特定のアクションをとるとの警告が示される。これらのアクションは、来たるべきロケーション、又はＯＲにおける光の弱化などで必要とされる特定のツール又は撮像デバイス（位置、用量など）を準備することを含む。しかしながら、形状が今のカテゴリを通じて平均よりも速く進展している場合、警告は早期に（例えば、クラスタの予測される終わりの２分前に）示される。

【0271】

他の患者又はシステムのコンテキストデータκが、ロジック部ＰＬによる形状カテゴリ分類をロバストにするのをさらに助けるタグ又は注釈を作成するために使用されてもよい。

【0272】

一般に、予測ロジック部ＰＬは、（アームＡ以外の）デバイスＤｊによって作り出されたタグを、カテゴリ予測を算出するために考慮に入れる。例えば、造影剤注入器などのある特定のデバイスＤｊは、形状データｓに「コントラストＯＮ」タグをタグ付けするデータタグを作り出す。予測ロジック部は、そのようにタグ付けされた形状データを処理する。形状は不明瞭であるため、２つの異なるカテゴリ（Ａ又はＢ）に属すことができる。しかしながら、「コントラストＯＮ」のタグを有するＢクラスタが割り当てられる。何故なら、造影剤注入は通常、クラスタＡが、横断されるロケーションＬＡｊの先験的に既知である時系列順に基づいて予測されると予想され得る、処置のポイントにおいて行われないからである。

【0273】

形状からあいまいさを取り除くために有用な他のタイプのタグは、Ｘ線オン／オフ、ＣＢＣＴオン／オフ、注入される造影剤量、患者に投与される薬剤の量、患者の心拍数、形状のサイズ、患者サイズなどのうちの任意の１つ又は複数であり得る。システム使用中の欠落タグを推定するのを助けることができるこれらのタグ同士間にはしばしば相関がある。例えば、形状のサイズは、患者のサイズと互いに関係がある。したがって、新たなデータがデバイス形状及び形状のサイズに基づいてカテゴリに割り当てられると、そのクラスタに関連付けられた平均患者サイズを、患者サイズと推測することができる。形状ｓは、変換器ステージＴＳによって新たな表現に変換され、患者サイズと関連付けることができるのは、この表現の特徴である。患者サイズを決定するのは、多くの適用にとって有用である（例えば、二重エネルギーＸ線撮像のためのｋｅＶ設定の調整、注入する造影剤の量など）。

【0274】

デバイスＤｊによって作り出されたデータタグはまた、予測後に有用である。例えば、タグ付けされたデータがロジック部ＰＬによって処理されて、カテゴリＡを予測すると想定し、コントローラＣ－ＳＹＳが、カテゴリＡの予測に応答して、通常、特定のやり方で制御動作を開始すると想定する。しかしながら、このシナリオにおいて、カテゴリＡの結果と、例えば、どれだけの時間、デバイスＩＤが、前記カテゴリＡ内にあったのかについての追加情報とは、「複雑」又は「初心者ユーザ」タグを作り出す。そのようなタグのうちの１つが生成された場合、コントローラＣ－ＳＹＳは、異なる制御操作を行う。例えば、そのような「複雑」タグが出力された場合、予測ロジック部ＰＬは、システムインターフェースＣＩＦに、良い解剖学的観察のための新たな角度にｃ－アームを回転させること、ユーザがコントラスト画像を取得する必要があるようになるため、造影剤注入器を新たな用量にセットアップすること、又は、異なるデバイスを選択するように、ユーザにフィードバックを行うこと、のうちのいずれか１つ又は複数を行うように指図する。「初心者ユーザ」タグについては、システムＣ－ＳＹＳは、「上級ユーザ」が所与のシナリオで通常使用するものとは異なる撮像ビュー又はプロトコルを提案する。

【0275】

「複雑」タグ又は他のタグは、新たなクラスタを作成するために使用される。例えば、形状測定結果ｓに、及び、場合によっては、デバイスＤｊからの追加データに基づいて、「複雑」タグが割り当てられ、カテゴリＡが予測される場合、新たなカテゴリは、「カテゴリＡ＋複雑」と定義され、このことは、次いで、訓練システムＴＳＳにフィードバックされ得る。したがって、既存のカテゴリは、新たなカテゴリを形成するように改良される。この新たなカテゴリ「カテゴリＡ＋複雑」が、新たな処置において予測されると、複雑タグ、したがってクラスタのタイプを、高速で見出すことができ、適切な制御動作を高速で行うことができる。

【0276】

「複雑」タグは、クラスタに費やされた時間量、特定の時間期間において使用された造影剤の量のうちのいずれか一方、又は両方に基づいて割り当てられる。他の条件は、他のデバイスに対して適用される。

【0277】

造影剤注入は、形状測定結果においてキャプチャされた軸方向ひずみの変化をもたらす。造影剤注入は、測定結果特性の変化に基づいて、ロジック部ＰＬによって検出される。したがって、造影剤がいつどれくらいの期間注入されたかは、測定データから導出することができる。代替的に、又は追加的に、造影剤注入器自体は、上述のように、造影剤の量に関する情報をロジック部ＰＬにデータタグの形態で提供する。

【0278】

複雑タグの授与をトリガする別の手がかりは、取得されるＸ線画像又はＣＢＣＴ画像の数である。

【0279】

反復運動もまた、そのような複雑タグの授与を保証する。アームＡのそれぞれの運動は、所与のカテゴリにおいて費やされた時間の量、又は、アームＡが所与の解剖学的ロケーションの前後／内外を動かされた回数／頻度によって規定される。この不規則な運動挙動は、対応する一連の変動するカテゴリ予測に反映されることとなる。

【0280】

複雑タグの授与をトリガする別のインジケーションは、アームＡの先端における軸方向ひずみが増大する回数又は頻度である。何故なら、これは、例えば、アームＡの先端が血管壁と又はインプラントと衝突することを示すからである。

【0281】

複雑タグの授与をトリガするさらに別のインジケーションは、患者に投与される薬剤の量であり、例えば、インプラントの配備がうまく進んでいない場合、構造的な心臓修復処置のために心拍数を減速させるための薬物が必要である。

【0282】

図１６は、訓練データが、最初、関心の解剖学的ロケーションＬＡ_ｊのクラスタだけを含んだ場合、新たな異なるクラスタ／カテゴリ又はクラスを生じる解剖学的ロケーション同士間の早期に言及した移行領域を表す様々な特性を有する、時間期間ｔ_１－ｔ_ｍにわたって取得された形状データのダイナミクスを示している。例えば、時刻ｔ_１には、形状センシングアームＡが新たな解剖学的ロケーションに入ろうとしている場合の、取得された形状測定結果ｓ_１が示されている。後の時刻ｔ_ｎでは、このとき、アームＡ測定結果ｓ_ｎが解剖学的ロケーションを完全にキャプチャし、一方、さらに後の時刻ｔ_ｍに、アームＡがその経路上を前進し続けているとき、末尾データがアームＡによって生成される。時刻ｔ_ｍに取得された末尾データは、今の解剖学的ロケーションからのアームＡの今の離脱を示している。したがって、上記の時刻ｔ_１、ｔ_ｍ、ｔ_ｎによる３つの段階は、それぞれ、「形状進入カテゴリ」、「カテゴリ内存在」、又は「カテゴリ退去」と称される。このタイプの示唆的な言い回しは本明細書において簡略表現として時折使用される。

【0283】

例えば、クラスタリングベースの機械学習アルゴリズムのコンテキストにおいて、移行領域を通過する形状測定ダイナミクスは、クラスタの変化によって理解される。概念的には、これは、形状データがｔ_１においてクラスタに進入し、ｔ_ｎにおいてクラスタ内に存在し、次いで、ｔ_ｍにおいてクラスタを退去する、クラスタ空間における形状測定結果の仮想移動として理解される。

【0284】

図１６の下部分は、潜在的な表現

【数9】

、ｊ：１→ｍでの、時間の経過にともなう類似のダイナミクスを示しており、表現は、変動型自動エンコーダ又は上記で説明した他のものなど、適切な変換ステージＴＳ、ＴＳ’の形状データｓ上での演算によって導出される。

【0285】

具体的には、タイムタグ付き／タイムスタンプ付き形状測定データｓ（ｔ）に対して、適切な表現に変換するために、確率論的な手法が変換器ステージＴＳ、ＴＳ’によって使用される。具体的には、いくつかの実施形態では、変動型自動エンコーダのエンコーダステージは、確率分布のパラメータによって、受信された形状測定結果を表現にエンコードする。確率分布は、遭遇する形状の分布を、したがって、クラスタ、又は一般的にはカテゴリにわたる分布を表す。

【0286】

変換器ステージＴＳ、ＴＳ’の変動型自動エンコーダの実施形態によって得られたそのような潜在的空間表現

【数10】

を使用することにより、確率分布による初期形状のデータのコンパクトな有用な表現が可能になるだけでなく、さらに、任意の個数の合成によって生成可能な形状を生成するためにそれらの分布からサンプリングすることも可能になる。実は、そのような変動型自動エンコーダベースの実施形態は、訓練データ生成器ＴＤＧに対して特に想定される。

【0287】

潜在的空間表現

【数11】

の経時的なダイナミクスは、初心者ユーザを熟練者ユーザから区別するために使用され、対応するタグが、さらなる行為を促すために割り当てられる。

【0288】

したがって、実施形態では、本明細書において、形状の潜在的表現に関する確率分布を学習するため、変換器ステージＴＳ’の変動型自動エンコーダ（ＶＡＥ）が使用され、各形状の潜在的表現ｚと、その形状に対するタイムスタンプとの関係を学習することができる。例えば、所与のクラスタ（「形状進入クラスタ／カテゴリ」）の予測前に記録された形状は、図１６の下部分に示されるような、ロジック部が所与のクラスタ（「形状退去クラスタ／カテゴリ」）を予測した後に記録された形状測定結果ｓと異なる可能性が高く、異なる潜在的変数ｚと関連付けられている。したがって、そのような形状は、それぞれ、クラスタに進入したとき、クラスタ内にあるとき、及びクラスタを退出するときに測定されると言うことができる。図１６では、

【数12】

は、クラスタに進入する形状のための潜在的空間の構成を示している。陰影付きオーバレイは、このクラスタに進入した形状によって作り出されたｚ値の範囲を示している。同様に、

【数13】

は、クラスタを退出しようとすることに関するこの情報を示している。陰影付き領域は、特定の時間に関する状態での形状に関連付けられたｚの構成に関する分布を示している。既知のタイムスタンプを有するデータから、このやり方で潜在的空間表現ｚの構成を規定することによって、タイムスタンプを有さない新たなデータが、自動的に適切なカテゴリにリンクされるだけではなく、デバイスが今位置しているところにもリンクされることが可能である。これらのカテゴリをサブカテゴリに分裂させることができる。例えば、クラスタが十分大きくなる場合、又は十分な分散を示す場合、クラスタを別個のクラスタに分裂させる。

【0289】

上述の潜在的空間ベースの観測を使用して、例えば、困難な又は曲がりくねった解剖学的組織における形状／データ統計学に基づくサブクラスタデータに、解剖学的コンテキストを提供する。

【0290】

上記の図１６による、本明細書における、潜在的空間Ｚにおける形状ダイナミクスに関する観測は、また、バイナリ又はマルチクラス選別器に対するクラスの観点からの他のＭＬカテゴリ分類に適用可能であり、クラスタリングアルゴリズムに対して固有ではないことが理解されるであろう。

【0291】

処置中に使用されたデバイスＤｊのタイプは、コンテキストデータκのさらなるソースである。データ取得中の時間成分を含むのと同様、アームＡと関連付けられたデバイスタイプ又はデバイス特性もまた、形状データｓと一緒に含むことができる。デバイス形状が、同じ解剖学的組織をナビゲートするときでさえ顕著な差を有する場合（例えば、非常に柔軟なデバイス対非常に堅いデバイス）、これらの形状は、ロジック部ＰＬによって予測されている別個のカテゴリに帰着する。これらのカテゴリと関連付けられたラベルは、解剖学的コンテキストとデバイスタイプ又はいくつかの他の特徴的なデバイス特性との両方を含む。コンテキストデータのさらに別のソースは、処置中に使用されたＥＨＲ／薬剤データである。

【0292】

さらに、時間に関して上記で説明したように、クラスタ内の形状における分散もまた、デバイス特性に起因し得る。例えば、別個の／新たなクラスタ又はカテゴリを生成するのに有意には十分でない差は、一般的には、同じカテゴリ内の異なるデバイスタイプ／特性によって作り出された潜在的表現ｚの構成の差を観測することによって、さらに分離することができる。次いで、特定のカテゴリに割り当てられた新たなデータは、デバイス特性が作り出すｚ構成と関連付けられたデバイス特性と関連付けられることが可能である。さらに、新たなデータが既知のデバイスタイプに対して生成されると、他のデバイスタイプに関連付けられたクラスタを、クラスタリングアルゴリズムを用いてフィルタリングすることができ、それにより、システムは、適切なデバイスタイプに関連付けられた新たなデータクラスタにのみ割り当てができるようになる。これにより、クラスタリングにおける誤差のみならず、どのクラスタを次に予想するかについての予測における誤差も低減することができる。再び、デバイスタイプに関する同じ差異が、選別器ＭＬアルゴリズムにも使用される。

【0293】

次に、サニティチェッカーＳＣの動作を例示する図１７への参照を行う。一般に、形状測定結果ｓは、例えば、ユーザ又はロボットが、アームＡを血管系などの解剖学的組織を通して前進させるとともに、変形可能アームＡが動的に周囲の解剖学的組織に順応しようとすることに応答して、生成される。したがって、アームＡは、通常、解剖学的組織を前進させられ、解剖学的組織に囲まれる血管部分の曲げを受けるように強いられる。

【0294】

しかしながら、アームＡを前進させている間、図１７Ａ）及び図１７Ｂ）に示されるようなアームＡの座屈につながる摩擦作用が生じる。キンクＫが出現し、不要な形状測定読み取り値を生じさせ、それにより、予測ロジック部が今の形状測定結果を間違って分類することになる。実際、それらの座屈事象は、正しいカテゴリ分類がまったく行われ得ない状況、及び算出されたカテゴリ分類が高い不確実性値Δを引き寄せる状況、又は、一旦、確率マスがどのカテゴリにも十分集中しない状況を生じさせる。機械学習モジュールＭＬＬは、そのような座屈事象を、特定のさらなる非解剖学的組織カテゴリとして認識するように訓練されることが可能である。

【0295】

したがって、そのような実施形態では、選別又はクラスタは、解剖学的ロケーション、処置タイプ又は処置の段階を表すだけではなく、座屈事象を示すさらにもう１つのカテゴリを含む。いくつかのそのような実施形態では、一旦バルキング事象が分類されると、この事実には、フラグΦが設定された状態で、システムにおいてフラグが立てられる。警告メッセージがインターフェースＣＩＦを介してユーザの電話、タブレット、ポケットベル、ラップトップコンピュータ、デスクトップコンピュータ、又は他のユーザ端末デバイスなど、ユーザに送信される。代替的に、又は追加的に、運営中の劇場／Ｃａｔｈラボにおいて、警告ライトがエネルギー供給され、メッセージがディスプレイデバイスＤＤ上に表示されており、若しくは警告音が鳴らされ、又は任意の他の適切な知覚出力がユーザに警告するために提供される。

【0296】

実施形態では、サニティチェッカーＳＣは、座屈事象Ｋによってゆがめられた不要な形状読み取り値ｓを補正しようと試みるように構成される。図１７Ａ）及び１７Ｂ）において見ることができるように、キンク部分を削除するために補間線ｌ（点線スタイルで示される）を割り当てる。キンク部分は「切り取られ」て、図１７Ｂ）に示される接線補間線部分によって置き換えられる。この線によって、アームＡの近位部に関するローカル測定結果が、アームＡの遠位部に関する測定結果に接続される。次いで、このように補正された／再構築された形状測定読み取り値は、サニティチェッカーＳＣによって、ロジック部ＰＬの機械学習モジュールＭＬＭに再提出され、再分類され、ここで、優れたカテゴリｃを出力する。この再構築された形状は、形状測定結果ｓだけから、又は、３Ｄ画像（例えばＣＴ画像）などのセグメント化された画像からの追加情報に基づいて、生成することができる。次いで、このように再構築された形状は、最も密接に合致する解剖学的クラスタに基づいてタグ付けされることが可能である。

【0297】

座屈による誤分類を回避するため、座屈を有していると検出されるデバイス形状は、様々なやり方で自動的にタグ付けされる。

【0298】

そのように「座屈した形状」は、クラスタリングデータベースに保存されないように、「非解剖学的」形状としてタグ付けされることが可能である。座屈した形状には、それら自体のクラスタとしてタグ付けすることができる。形状が、座屈アームＡと関連すると検出された場合、システムは、ユーザに、提案されたタグを受け入れるか、又は自身のタグを入力するように促すことができる。

【0299】

ここで、制御インターフェースＣＩＦが、早期に言及した様々なデバイスを制御するために、予測されるカテゴリ分類ｃ及び／又はタグを使用している異なる方式の更なる詳細のために、ここで、図１８が参照される。

【0300】

１つのそのような制御可能デバイスは、予測ロジック部と同じコンピューティングユニット上で動作するか、又は予測ロジック部と異なるコンピューティングユニット上で動作する、位置合わせモジュールを含む。位置合わせモジュールは、上述のように、（次の）位置合わせを行う時刻を予測するように構成される。

【0301】

提案されたシステムＣ－ＳＹＳは、撮像を完全に置き換えるために使用されるが、本明細書では、撮像と一緒に予測ロジック部ＰＬを使用するのが好ましく、したがって、撮像装置ＩＡは、実際の治療を提供するときなど、解剖学的又はデバイス特徴を可視化するのに撮像が有利である、低減したレートで及び瞬時に使用されることが可能である。したがって、システムＣ－ＳＹＳは、介入中に少ない画像を取得させる。何故なら、予測ロジック部ＰＬによって算出された分類された形状測定結果は、すでに、身体内のどこにアームＡが存在するか、したがって、関連する介入デバイスＩＤがどこに位置するかについての十分なインジケーションを提供しているからである。

【0302】

介入中に撮られたごく少数の画像は依然として有用であり、ユーザに追加情報を提供するのに役立つ。そのような実施形態では、予測ロジック部が撮像装置と一緒にある場合、時折、測定された形状ｓを取得された画像に位置合わせするのが望ましい。そのため、位置合わせモジュールＲＥＧは、位置合わせアルゴリズムを動作させる。一般に、位置合わせアルゴリズムは、２つのデータ集合内のそれぞれのポイント間の対応関係、このケースにおいては、画像及び形状測定結果において特定された３Ｄ曲線を確立する。弾性又は剛性位置合わせアルゴリズムは、本明細書における異なる実施形態において想定される。

【0303】

引き続き図１８を参照すると、これは、位置合わせ構成要素ＲＥＧが、ロジック部ＰＬの算出されたカテゴリ分類によってどのように制御され得るかについて例示するブロック図を示している。位置合わせは、形状測定結果が移行を表さず、しかし、実際には、アームＡが関心の解剖学的ロケーションに存在していることを示しているときが、最も有効であることが観測されている。解剖学的ロケーション同士間の単なる移行を表現する形状測定結果によって今取得された画像の位置合わせを試みるのはコンピュータ計算リソースの浪費である。図１８は、位置合わせ操作とカテゴリ分類結果ｃとの間の同期を示している。ある開始時刻ｔ_０に、形状測定結果ｓ（ｔ_０）が、例えば３Ｄ曲線の（Ｘ，Ｙ，Ｚ）座標の形態で、アームＡによってキャプチャされ、一方、ほぼ同じ時刻に、Ｘ線画像が取得される。次いで、形状データ及び画像が、位置合わせモジュールＲＥＧによって位置合わせされる。デバイスＩＤのフットプリントは、位置合わせに十分に集中するために、セグメンテーションによって容易に特定される。

【0304】

後の時刻ｔ＞ｔ_０に、新たな形状測定結果ｓ（ｔ）がアームＡによってキャプチャされる。次いで、予測ロジック部ＰＬは、上記のようにカテゴリｃによって解剖学的ロケーションの予測を作り出すため、測定結果ｓ（ｔ）に対して演算する。次いで、位置合わせロジック部ＲＥＧ－Ｌは、今のカテゴリによる今のロケーションが、位置合わせに適切かどうかチェックする。位置合わせロジック部ＲＥＧ－Ｌは、例えば、見出されたカテゴリｃが、移行期間を又は関心の解剖学的ロケーションを示しているかどうかチェックする。このために、上記の時間コンテキストデータが使用される。今のカテゴリが、たまたま移行を表していたために位置合わせには適切でない場合、待機ループに入れられる。一旦、次の画像が取得されると、位置合わせロジック部ＲＥＧ－Ｌは、この時点で位置合わせが得策かどうか再チェックする。もし得策であれば、すなわち、今、測定結果が移行の解剖学的ロケーションではなく関心の解剖学的ロケーションを示していれば、キャプチャされる次の画像が次に今の形状測定結果に位置合わせされるのを確実にするために、同期遅延ループがトリガされ、同期遅延ループに入れられる。

【0305】

遅延構成要素は、測定結果が、解剖学的ロケーション同士の中間の移行領域ではなく解剖学的ロケーションを示していれば、図２において早期に説明したプラトー事象がある、という事実を活用する。すなわち、アームＡが、ゆっくりと徐々に解剖学的ロケーションを通って、同じ解剖学的ロケーションを示す多くのそのような測定結果で移動する（したがって、図２ｃにおいて説明した時間対形状測定結果図において識別可能なプラトー事象）ので、ある特定の数のフォローアップ測定が依然として同じ解剖学的ロケーションと関係がある可能性が高い。

【0306】

言い換えれば、測定結果が関心の解剖学的ロケーションを表すことが確立されたら、次の画像が取得されるまで待ち、この次の画像を今の形状測定結果ｓに位置合わせするか、又は、同じ解剖学的ロケーションを示している可能性が高い次の形状測定結果に位置合わせすることは良い戦略である。

【0307】

ここで、予測ロジック部によって算出されたカテゴリに基づく他の制御動作を、異なるデバイス又はシステムＤ_ｊについて説明する。

【0308】

実施形態では、そのように制御されるのはアームＡ又は形状センシングシステムＳＳＳである。例えば、自動データ保存ルーチンを、いくつかの形状測定結果ｓを保存するために起動する。形状センシングシステムＳＳＳは、予測される形状カテゴリｃを使用して、いくつかの実現可能なやり方で制御される。制御の１つのタイプは、ある特定の形状測定結果ｓの自動保存を有効化することである。フレームレートがおよそ６０Ｈｚであり、処置に数時間とることができる場合の、形状測定結果ｓの各フレームは、それ自体では、著しく大きな量のデータではないが、処置全体に対して全ての形状測定結果ｓを保存することは、必要な場合は依然として行うものの、リソース消耗事業である。代わりに、本明細書において好ましくは、形状センシングシステムＳＳＳは、あるカテゴリから別のカテゴリに移動するとき、又は、所与のカテゴリ内で形状の顕著な変化が検出されたとき、自動的に形状測定結果ｓを保存するようにトリガする。同様に、メモリリアルエステートにふさわしい、関心のデータは、デバイスが何もせずに一箇所にあるままであるときと比較して、カテゴリ同士間の移行領域を表すデータである。自動保存形状測定結果に加えて、任意の他の処置関連データもまた保存される。

【0309】

想定される別の制御動作は、イメージャＩＡ、Ｄ２の制御である。例えば、画像取得パラメータは、検出されたカテゴリｃに依存して設定される。

【0310】

画像取得パラメータのうちのいずれか１つ又は複数を、システムコントローラＣ－ＳＹＳを介して設定する。オーバーザワイヤデバイス向けのこれらのパラメータは、限定するものではないが、フレームレート、視野、撮像深さ、プルバックスピード、Ｘ線ソース電圧又はアンペア数、画像角度を含む。外部撮像システムでは、これらは、限定するものではないが、視準、ウインドーイング、Ｘ線線量を含む。ＩＣＥ、ＩＶＵＳ、又はＯＣＴカテーテルのようなオーバーザワイヤ撮像デバイスでは、高品質画像を獲得するため、撮像デバイスが中に配置される血管のタイプが、取得パラメータを設定するために重要である。例えば、カテゴリ予測が上大動脈対腎動脈をリターンした場合、撮像深さ又はフレームレートに対する取得パラメータは、大いに異なる。ここであらかじめ規定された画像取得パラメータの集合は、様々なカテゴリに割り当てることができる。カテゴリ予測が制御インターフェースＣＩＦに送信されると、そのカテゴリに対する適切な画像取得パラメータが取り出され、撮像システムＩＡに設定される。

【0311】

想定される別の制御オプションは、自動画像取得のトリガリングである。例えば、あるカテゴリから別のカテゴリへの移動は、システムコントローラＣ－ＳＹＳを自動的に新たな画像をキャプチャするようトリガするか、又は、医師に、それらが新たなカテゴリに進入したこと、及び新たな画像を取得すべきことを警告する。

【0312】

ＩＶＵＳカテーテルは、処置のある特定のステージで重要な流量を測定することができる。流量撮像モードは、ＩＶＵＳカテーテルが受けた予測されたカテゴリ若しくはカテゴリのシーケンス及び／又は変化をモニタすることによって自動的にオンすることができる。例えば、流量は、ステントが置かれた後に測定されるべきである。しかし、ステントを置くために、アームＡ／デバイスＩＤは、ナビゲーションステップの特定のシーケンスを経ているはずである。これらの様々なナビゲーションステップは、処置の全体を通して特定されたカテゴリに基づいて決定することができる。カテゴリの正しいシーケンスが予測された後、次いで、システムコントローラＣ－ＳＹＳは、流量撮像を自動的にオンすることができる。

【0313】

特定の形状カテゴリは、予測されると、システムＩＡが自身のパラメータ（例えば、ＰＩＤコントローラ、若しくは温度補償方法）又は他のものを変更することができるように使用される。

【0314】

撮像デバイスを制御する代わりに、又は、制御することに加えて、治療送達装置は、治療送達パラメータを設定することによって制御される。そのような治療送達パラメータは、電力、治療滞留時間、又はさらに他のもののうちのいずれか１つ又は複数を含む。

【0315】

想定される別の制御動作は、介入デバイスＩＤ、Ｄ３の機械的特質を変化させる制御動作である。いくつかのデバイスＩＤには、いくつかのタイプの結腸内視鏡におけるようなその機械的特質（例えば、硬さ）を変更するためのオプションがある。例えば、カテーテルは、通常、柔らかいが、活性化されると、硬くなることができる。このケースでは、デバイスの機械的特質は、予測されるカテゴリｃに応答して、コントロールシステムＣ－ＳＹＳによって、設定されるように、又は設定されるようにトリガされるようにすることができる。デバイスＩＤが、特定のカテゴリ内に、又は複数のそのようなカテゴリ内にあると、硬さは低減され（柔らかく設定され）、他のカテゴリ内にあると、硬さは硬くなる。このタイプの制御は、ＣＴＯクロッシングにとって、又は、ＥＶＡＲ若しくはＦＥＶＡＲ移植片を配備することができる硬質レールを維持するために有用である。

【0316】

想定される別の制御動作は、ロボット制御である。ロボットデバイスＤ３は、継続的に介入処置に導入されている。処置においてロボットが使用されると、以下の制御オプションのうちのいずれかの１つ又は複数が、ロボット制御のために有効化される。

【0317】

制御インターフェースＣＩＦは、今のカテゴリに、及び／又は新たなカテゴリへの移行に基づいて、最大及び最小スピード／印加される力／ロボットデバイスＤ３の曲げの変更を行う。例えば、デバイスＩＤの遠位端が、蛇行した脈管カテゴリに近づきつつある場合、下側最大許容前進スピードが要求される。

【0318】

制御インターフェースＣＩＦは、アームＡが、予測されたカテゴリに従って、今存在する血管のタイプに応じて、変化力ゲインを触覚ユーザインターフェースにもたらす。例えば、アームＡが小さな触覚フィードバックを伴う大きな血管内にある場合、感度は、ロボットシステム又は触覚ハブにおいて高く設定される。設定感度は、小さな血管内で低い値に設定される。

【0319】

制御インターフェースＣＩＦは、デバイスが特定のカテゴリに進入するときのロボット制御のためのジョイスチックボタンなどのユーザインターフェースレイアウトの変更を行う。経由ポイントとして使用されるカテゴリ同士間で自動的なデバイスの前進が本明細書におけるいくつかの実施形態において想定される。

【0320】

制御インターフェースＣＩＦは、予測されるカテゴリに応じて、自動（ロボット）ナビゲーション制御スキームの選択を行い、例えば、大きな血管の中に向かわせるために直接的な操縦を使用する。小さな直径を有する枝管へのナビゲーティングのための確率論的な手法、例えば、枝管にカニューレが挿入されるまで、前進－回転－後退－前進の繰り返しが使用される。

【0321】

本明細書において想定される別の制御動作は、データベース／メモリにデータを記憶することである。これは、自動注釈及び文書化のために使用される。処置は、通常、処置の後にユーザによって注釈され、文書化される。予測される形状カテゴリは、自動的に処置のある特定の態様に注釈し、その態様を文書化し、自動的に適切なデータを保存するのに助けとなるように使用されることが可能である。例えば、処置中の時点、及びカテゴリによって特定される解剖学的ロケーションについての情報を利用して、ステント配置ゾーンは、自動的にラベル付けされることが可能である。これは、例えば、まず、解剖学的ロケーションを、次いで、処置における時点を特定し（処置の時系列において、いつ予測が行われたか、など）、さらに、ガイドワイヤ又は他のデバイスＩＤからの移動情報を利用して、どのオーバーザワイヤデバイスがステントを配備していたか判定することによって行われる。

【0322】

別の例では、血管のインタラクション数が、ある特定の領域（カテゴリに基づく）において計算される。処置において費やされた時間のパーセンテージは、報告目的で自動的に文書化される。

【0323】

造形剤の使用量とある特定の領域とを互いに関係付け、処置の後期のステージにおいて限界に到達する可能性を予測する、別の文書化が想定される。

【0324】

患者特有計画立案に関する制御もまた、いくつかの実施形態において想定される。例えば、患者の解剖学的組織が普通ではない（例えば、外傷性損傷、又は以前の手術）異例のケースでは、形状データベースＴＤは、その患者の手術前及び手術中の３Ｄ脈管画像、並びに、早期に上述したシミュレーション法を使用して、患者特有になるように調整されることが可能である。例えば、血管は、セグメント化され、患者脈管を横断する「仮想」アームＡのモンテカルロ様シミュレーションが使用されて、場合によっては、多数の測定結果ｓを生成し、次いで、測定結果ｓはデータベースＴＤに加えられて、訓練データＳ’を患者特有にする。

【0325】

制御する際に想定される別の制御動作は、ユーザにフィードバックを提供することである。理想的には、ユーザは、処置中に、いくつかの因子を認識しており、自身が解釈している、又は受信している情報に基づいて、方法又は手法を変更する。予測される形状カテゴリを利用して、処置中にユーザにフィードバックを提供することができる。例えば、予測されるカテゴリに基づいて、いつユーザは、注意深くあるべきか、又は、自身の手法に関して寛容／攻撃的でいることができるかについて述べるユーザメッセージを発出する。具体的には、介入デバイスＩＤが、デバイスの精密な操縦が安全又は精度のために重要である、解剖学的ロケーションにあるか、又は、処置中の時点にある場合、ユーザは減速させるために信号を提供する。代替的に、リスクが低いエリアでは、ユーザは自身のデバイス操縦スピードを増大させることができる。

【0326】

さらなる例として、予測されるカテゴリに基づき、システムは、ユーザが間違った側にデバイスを有しているかどうか（すなわち、「間違った側の手術」）検出することができる。

【0327】

解剖学的異常値／外れ値が検出される。集団の一部分が、あらかじめ知らされていない異常値を有すると、処置が困難になる。そのような異常値を検出することにより、優れたユーザ案内が可能になる。

【0328】

システムは、どのユーザが自身のワークフローに基づいてシステムを使用しているか、及びどのカテゴリが予測されているか、並びにどの順序／シーケンスにおいてなのか自動的に判定する。個人化パラメータがシステムに対して設定される。これにより、（予測されるカテゴリに従って）ユーザが異なる領域に費やした時間的長さに基づいて、処置後の患者リスク、又は操作者スキルの十分な理解が可能になる。外科的訓練は、予測されるカテゴリ、それらの順序及び各カテゴリに費やされる時間を使用することにより彼らが経験を積んだユーザからどれだけ離れているか評価することができることにより、容易になる。人は、カテゴリの重複が有利である場合（さらなる訓練が必要ない）、カテゴリの重複が不利である場合（被訓練者はさらなる時間及び実践を必要とする）を見定める。

【0329】

想定される別の制御動作は、患者モニタリングに対して制御することである。例えば、予測されるカテゴリに基づいて、血圧モニタに対する警報が、デバイスロケーションに基づいて多少高感度となるように調整される。例えば、カテーテルＩＤが心臓内に位置していることがわかった場合、血圧の変化に対する警報感度を低下させる。さもなくば、警報が過度に頻繁に起動される。予測されるカテゴリはさらに、いつベースライン血圧測定を行うかを決定するために使用される。

【0330】

想定される別の制御動作は、臨床ワークフローを制御することである。以下では、臨床ワークフローを改善するため、どのような形状カテゴリを使用することができるかについて様々な例を説明する。態様は処置ワークフローである。例えば、カテーテルが到達しなければならない対象物、及び予測されるカテゴリのシーケンスが与えられると、１つ又は複数のカテゴリの次のシリーズが予測され、例えば、対象物に到達中に前方に何があるかをユーザに示すためのフローチャートを表示することによって、ユーザは適宜報告される。特定された対象物が例えばバックトラッキングなしには獲得できない場合、ユーザは、信号又はメッセージによって変更される。

【0331】

別の例では、処置においてある特定のポイントに到達されると、ユーザは警告される。したがって、ユーザは、すでに扱われたカテゴリのおかげで、どれだけの時間が残されているか報告される。したがって、ユーザは、処置の段階について報告され、任意選択で、且つ自動的に、どれだけの時間が各カテゴリに費やされたかについて報告される。このようにして、次の患者は十分に準備されることができ、医療チームは、優れた時間供給のために警告されることが可能である。

【0332】

上記のほとんどの例は、形状測定結果ｓに基づくカテゴリ情報を利用する。しかしながら、カテゴリはさらに、デバイススピード、若しくはある特定の位置における時間、又は任意の他の理にかなったパラメータに基づいて形成されることが可能である。

【0333】

言及したように、カテゴリの不確実性Δは算出される。特定のカテゴリに入らない、又はカテゴリに対して高い不確実性を有する形状は、そのようにフラグが立てられ、形状センシングシステムＳＳＳ、撮像システム、デバイスなどに対して異なる設定が選択されることになり得る。デバイス又は形状センシングシステムＳＳＳに適用された２つの実現可能な代替的な設定の例は、カテゴリ、したがって解剖学的ロケーションが不確実な場合、アテローム切除デバイスに対する電力を下げることである。さらに、又は代わりに、デバイスが誤動作しないようにするように形状センシングシステムＳＳＳ診断チェックがトリガされる。

【0334】

上述のカテゴリ従属制御オプションのいずれも、全ての制御オプション使用することを含めて、単独、任意の組み合わせ、又は副組み合わせで使用することができる。

【0335】

ここで、図１９～図２１におけるフローチャートへの参照を行う。フローチャートは、上述の制御システムＣ－ＳＹＳ、訓練システムＴＳＳ、及び訓練データ生成器ＴＧＳによって実施可能な方法のステップを例示している。しかしながら、下記で説明される方法は、必ずしも上述のアーキテクチャと結び付けられるものではないことが理解され、また、それ自体の権利における教示と理解されるであろう。

【0336】

最初に図１９に進むと、これは、処置を容易にするための医療処置における１つ又は複数のデバイス／システムの動作を制御するコンピュータ実施方法のフローチャートを示している。

【0337】

医療処置は患者に対して行われる。医療処置は、介入器具、ツール、器械、又はデバイスが、医療処置において患者の中に少なくとも部分的に導入される場合の脈管介入などの介入を含む。

【0338】

本明細書において、形状センシングを、そのように導入されたデバイスと一緒に、又はそれ自体で、のどちらか一方で使用することが想定される。形状センシングシステムは、上述のように変形可能アームＡを含む。アームＡは、少なくとも部分的に患者の中に導入され、そのように導入されたアームＡの一部を取り囲む解剖学的組織との物理的インタラクションによって変形する。アームＡは、介入デバイスＩＤに結合され、両方とも同じ方式で変形すると予想される。アームＡのそのような変形又は物理的インタラクションに応答して、形状センシングシステムは、処置における使用中に、形状測定データｓを生成する。形状測定データｓは、本明細書において、デバイスが導入される解剖学的環境の形状と相互に関連付けることが可能であることが判明しており、したがって、デバイス及び／又はアームＡが今存在する解剖学的ロケーションに対するインジケーションを提供することができる。デバイス処置は、処置のある特定の段階に特定の解剖学的組織に訪れると予想されるので、形状測定結果はさらに、処置のタイプ又は処置の段階と相互に関連付けることが可能である。

【0339】

好ましくは、本明細書において機械学習を使用して、形状測定結果を処理し、所与の形状測定データに対する解剖学的ロケーションを予測する。処置タイプ又は処置の段階もまた、そのように予測される。しかしながら、以下では、解剖学的ロケーションの予測に主に焦点を当てることとし、処置タイプ又は処置の段階の予測もまた、実施形態において想定されることが理解されるであろう。予測は、アームＡが対象物に向かって患者の内部を動かされているとき、好ましくはリアルタイムで更新される。予測は、形状測定結果が分類されるカテゴリの形態にある。カテゴリは、機械学習選別器におけるなどクラスの１つであるか、又は、クラスタリングベースの機械学習若しくは他のモデリング手法におけるクラスタである。カテゴリは、関心／処置タイプ若しくは段階のそれぞれの解剖学的ロケーションと関連付けられる。こうしてカテゴリを算出することにより、アームＡが今ある、又は処置タイプ若しくは処置段階が今いる関心の解剖学的ロケーションが明らかになる。

【0340】

予測されるカテゴリ又はそれから導出可能なインジケーションを使用して、医療処置中に使用されるデバイス／システムのうちの１つ又は複数を制御する。

【0341】

詳細には、ステップＳ１９１０において、図２において上記で説明したタイプの形状センシングシステムによって取得された形状測定データｓが受信される。任意のタイプの形状センシングが本明細書において想定される。形状測定結果は、造影剤を使用せずに形状センシングシステムによって取得することができる。また、形状測定結果は、患者及び／又はデバイスＩＤ若しくはアームＡを操作しているスタッフに有害な任意の電離若しくは他の放射線を生じさせずに又は使用せずに、形状センシングシステムによって取得される。患者の組織の放射線に対する暴露によって生じ得る光学又はその他の、いかなる種類の画像も、本明細書において、形状測定データを取得するために必要としない。形状センシングシステムのアームＡの少なくとも一部は、部分的に患者の内部にあり、異なる形状測定結果は、介入を行う又は介入において支援するユーザ及び／又はロボットによって要求されたためにアームＡが動かされた、前進させられた、又は任意の姿勢変化を受けたときの、アームＡによる変形に応答して生成されることが理解される。

【0342】

形状測定データは、図５において示される空間（Ｘ，Ｙ，Ｚ）座標における３Ｄ曲線として可視化されるが、さらに、代わりに、好ましくは３Ｄにおいて、他の量、そのような応力、ひずみ又は曲率値／座標によって表される。２Ｄ形状測定結果もまた、本明細書において想定される。

【0343】

そのような形状測定結果のストリームは、ステップＳ１９１０において異なる時刻に対して受信され、又は、単一形状測定データは、本明細書においてそのように受信され、処理される。

【0344】

任意選択のステップＳ１９２０において、未加工形状測定データは、データ準備アルゴリズムにかけられて、データ準備アルゴリズムは、形状測定結果をフィルタリング、正規化、又は他の方法で前処理して、効率的な後段処理を促進する。形状測定結果は、再構築されるか、又は未加工フォーマット状態でいることができる。較正行列が形状測定結果に適用されることが可能であり、又は未較正形状データが提供されることが可能である。

【0345】

任意選択のステップＳ１９３０において、未加工形状測定データｓ、又は任意選択のステップＳ１９２０において準備されたそのようなデータは、後段処理を容易にする、特に、後段における時間及び／又は処理要件を低減する、適切な表現に変換される。特に、かさ低減操作はこのステップで行われる。形状測定結果をかさが低い表現に変換するための主要成分分析、又は任意の要因分析方法がステップＳ１９３０において使用される。かさ低減以外を実行するその他のタイプの変換もまた、かさ低減と一緒に、又は一緒ではなく、本明細書において想定される。例えば、形状測定データにスパース性が加わっているにちがいない場合、密度が高い表現を作り出すスパース性低減アルゴリズムもまた本明細書において想定されている。代替的に、疎な表現に変換することが望ましい場合がある。Ｓ１９３０におけるステップは、上記のいずれかの代わりに、又は上記のいずれかに加えて、フーリエタイプ、ウェーブレット、又は他の変換処理による周波数ドメインへの変換を含む。好ましくは、ＦＦＴが使用される。ステップＳ１９３０は、変換が一般に、単なる前処理Ｓ１９２０では期待されない、かさが低い、又は異なる空間におけるなど、新たな、好ましい表現をもたらす点で、ステップＳ１９２０における前処理とは区別される。ステップＳ９１３０の順序は、実際に両方とも適用される場合、逆になる。

【0346】

ステップＳ１９４０において、機械学習ベースの予測アルゴリズムは、形状測定データｓに適用されて（おそらく、ステップＳ１９２０、Ｓ１９３０のうちの一方又は両方によって前処理及び／又は変換された）、分散センシングシステムのアームＡが患者内の今ある解剖学的ロケーションを示す前記カテゴリｃを出力として作り出す／予測する。

【0347】

任意選択で、この解剖学的組織ロケーション表示カテゴリｃは、実行される医療処置のタイプ、及び／又は、その処置の段階向けのインジケーションに変換される。代替的に、機械学習予測アルゴリズムは、処置タイプ又はその段階に関するインジケーションをエンドツーエンドで提供するように構成される。形状測定結果が時間中に取得される順序は、次の形状測定結果が何を示すかについての手がかりをすでに保持しているので、予測アルゴリズムに、最後の（今の）形状測定結果ｓだけではなく、バッファに保持されている、前に取得された測定結果のうちの１つ又は複数も送り込むことが有利である。したがって、ステップＳ９１４０において、配備中の入力は、単一の形状測定データではなく、ベクトル又はブロック（ｓ，ｓ_ｊ．．．ｓ_ｎ）であり、ベクトル又はブロック（ｓ，ｓ_ｊ．．．ｓ_ｎ）は、最新の測定結果ｓを含み、ｎ～（ｎ＞０）（必ずしも連続ではない）より早期の測定結果ｓ_ｊ、ｊ＝１．．．ｎである。この「ブロック単位」処理は優れた性能をもたらす。

【0348】

カテゴリｃは、ニューラルネットワークが明示的なＭＬモデリングの一例であるなど、機械学習ベースの選別器モデルによって作り出された選別結果であり、そのようなニューラルネットワークは、選別層を出力層として含む。選別層は、介入中に遭遇すると予想される異なるタイプの関心の解剖学的ロケーションを数字で表す選別ビンを含む。形状センシングアームＡの座屈によって引き起こされる間違った読み取り値を示す追加の選別バケット／クラスが提供される。ニューラルネットワークの代わりに、ＳＶＭ、又は、本明細書における他のどこかに記述されているさらに他のものなど、他のモデルが使用される。

【0349】

代替的に、ステップＳ１９４０において使用される機械学習アルゴリズムは、クラスタリングアルゴリズムなどの暗黙的なモデリングのうちの１つであり、但し、今受信された形状測定結果ｓは、あらかじめ規定された複数のクラスタに割り当てられ、各クラスタは、異なるタイプの解剖学的ロケーション、その医療処置タイプ又は段階を表す。どのタイプの機械学習アルゴリズムが使用されても、これは訓練データと、そのような以前の訓練データに適合される、又は、そのような以前の訓練データから導出されるモデルとに基づく。訓練データは、前もって取得された履歴的形状測定結果を含み、及び／又は、合成によって／人工的に生成された形状測定結果標本を含む。履歴的形状測定結果又は人工的に生成された形状測定結果は、進行中の医療処置を受けている同じ患者に関係するか、又は、一人若しくは複数の他の患者に関係する。クラスタリング、又は他の暗黙的なモデリングＭＬスキームでは、訓練データ自体がモデルの一部を形成する。

【0350】

早期に言及したように、予測操作Ｓ１９４０は、もっぱらそのような形状測定データ上で行われる。他のいかなるデータも本明細書では必要ではない。しかしながら、そのような他のいかなるデータも全ての実施形態において使用されないと言っているわけではない。いくつかの実施形態において、コンテキストデータが形状測定データと一緒に使用される。実際、前記コンテキストデータは、さらに十分なロバストネスのための画像データを含む。画像データは、解剖学的特徴、ロケーション、段階若しくはタイプ、又は処置を表すデータを含む。コンテキストデータのうちのいくつかは、形状センシングデータを解剖学的ロケーション、特徴、処置の段階又はタイプに関連付けるユーザ入力を含む。ユーザ入力は、１つ又はタグとして提供される。そのようなユーザ情報は、図２０において下記で説明するように、又は別のやり方で、生成される。

【0351】

ステップＳ１９５０では、算出されたカテゴリｃが、医療デバイスを制御するために使用される。医療デバイスは処置において使用される。医療デバイスは、撮像デバイス、形状センシングシステム自体、又は早期に言及した介入器械デバイスＩＤのいずれかである。ステップＳ１９５０は、算出されたカテゴリに基づいて、算出された今のカテゴリ、又は１つ若しくは複数の早期に算出されたカテゴリと組み合わせて、適切な制御信号を出力することを含む。

【0352】

算出されたカテゴリに基づいて介入をサポートするための他のデバイス／システムの制御もまた、本明細書において想定される。そのように制御されるシステム／デバイスは、前述の代わりに、又は前述に加えて、臨床ワークフロー管理システム、位置合わせモジュール、バイタルサイン測定デバイス、及びさらに他のもののうちのいずれか１つ又は複数を含む。上述のデバイス／システムのうちの単一の１つ、全てのそのようなデバイスの複数の任意の組み合わせ、又は全てのそのようなデバイス及びそれ以上がそのように制御される。ＬＵＴ若しくは関連するアレイ、又は他の機構が使用されて、予測されるカテゴリを所望の制御コマンドにマッピングし、次いで、その制御コマンドがベースに使用されて、１つ又は様々な制御動作を行う。

【0353】

例えば、ステップＳ１９５０において、制御されるデバイスは、撮像装置（ＩＡ）である。制御信号を使用して、視準、管電圧／アンペア数、又は、上述の任意の他のものなどの画像取得設定を変更する。

【0354】

さらに、又は代わりに、制御されるデバイスはディスプレイデバイス（ＤＤ）を含む。制御信号は、グラフィック表示のディスプレイデバイス上への表示をさせるためのものである。グラフィック表示は、ａ）予測結果、ｂ）今の入力形状測定結果、ｃ）以前の形状測定データの１つ又は複数のカテゴリ、のうちのいずれか１つ又は複数のグラフィカル表示若しくはテキスト表示を含む。これにより、ユーザを、介入デバイス／形状センシングアームＡのナビゲーションにおいて支援することができる。

【0355】

さらに、又は代わりに、制御されるデバイスは介入デバイスＩＤ自体、又は処置の際に使用される任意の他の器械を含む。制御信号は、エネルギー設定、又は動作に影響を及ぼす他の設定などの、介入デバイスの動作モードを適応させるように構成される。

【0356】

代わりの追加では、制御されるシステムは、形状センシングシステムを含む。予測されるカテゴリによって生じさせる制御信号は、光強度、サンプリングレートなど、形状センシングシステム（ＳＳＳ）の動作モードを適合させるように動作可能である。

【0357】

代わりの追加では、制御されるシステムは、処置の少なくとも一部を容易にするように構成されたロボットを含む。制御信号は、前記ロボット、例えば、介入デバイスを操作しているロボットのエンドエフェクタのスピードを制御するためのものである。

【0358】

代わりの追加では、制御されるシステムは、ワークフロー管理システムを含む。制御信号は、フォローアップ介入のスケジューリング、治療又は撮像セッションのブッキングなど、ワークフロー管理システムの動作を制御するためのものである。

【0359】

代わりの追加では、制御されるシステムは、データベース又はメモリシステムを含む。制御信号は、例えば、今の入力形状測定データが格納されるべきかどうかを制御するためのものである。

【0360】

任意選択のステップＳ１９４０Ａにおいて、予測結果Ｃに対する不確実性値が算出される。

【0361】

概して、不確実性値は、ステップＳ１９１０において新たに受信された測定結果ｓはどれくらい、以前の（訓練）データの特性に適合又は合致するか計測する。特性は、ある場合、ステップＳ１９４０Ａにおいて使用されるＭＬモジュールの今の配備段階より前の、早期の訓練段階においてそのようなデータに対してあらかじめ規定された、今のカテゴリ（クラス又はクラスタ）の集合を含む。

【0362】

この不確実性値は、ステップＳ１９４０Ｂで使用されて、不確実性値の大きさに応じて他の処理ステップＳ１９４０Ｃ～Ｆをトリガする。こうして、Ｓ１９０４０Ｂにおけるステップは、決定ロジックとして実施する。実施形態では、しきい値処理が、１つ又は複数の以下のステップをトリガするために出力される。不確実性値が限界しきい値Δ_０以内であれば、どのステップもトリガされない。不確実性値が限界しきい値Δ_０を破った場合、以下の処理ステップＳ１９４０Ｃ～Ｆのうちのいずれか１つがトリガされる。代替的に、不確実性値の算出は単にロギングのためであるか、又は、Δ値はユーザに対する情報のため、単にディスプレイデバイス上に表示される。このように、不確実性値は、必ずしも前記決定ロジックに埋め込まれる必要はない。一般に、ステップＳ１９４０Ｂ～Ｆは、訓練システムとのインタラクションをコーディネートして、モデルの再訓練をトリガする、及び／又は新たな訓練データを格納し、場合によっては、早期に言及したコンテキストデータがタグ付けされた、形状測定結果の大きな訓練データ集合を作り上げる。

【0363】

以下のさらなる処理ステップＳ１９４０Ｃ～Ｆは、ユーザ要求の受信によってなど、他の事象によってトリガされることにさらに留意されたい。例えば、ステップＳ１９５０における制御動作は、上述のように、３Ｄ又は２Ｄ曲線によって今の測定結果ｓの可視化を表示することを含み、これに応答して、ユーザは、ＧＵＩ又はその他などの入力インターフェースを使用することによって、以下の処理ステップのうちのいずれかをトリガすることを決定する。図１３において早期に説明された検証モジュールは、下記の処理ステップＳ１９４０Ｃ～Ｆのうちのいずれか１つがそれを通じてトリガされる一実施形態である。不確実性値の大きさ以外の条件以外に基づく自動トリガリングもまた想定される。

【0364】

ここで前記処理ステップＳ１９４０Ｃ～Ｆに詳細に向かい、これらのうちのいくつかは、主として、早期に言及した動的学習パラダイムの実装形態である。

【0365】

例えば、一実施形態では、ステップＳ１９４０Ｃにおいて、予測結果ｃの高い不確実性値Δ（又は、言い換えると、低い信頼度値）が、今の形状測定結果がこれまで未知の、解剖学的ロケーションのカテゴリに関係していることについてのインジケーションとして使用される。

【0366】

ステップＳ１９４０Ｃの一実施形態では、今の形状測定結果ｓは、今の、既存の訓練データの集合を拡張し、更新するために、今の、既存の訓練データの集合に加えられる。新たなカテゴリ（学習段階が最近完了したことにより、１つ又は複数の今規定されているカテゴリとは異なる）が、高い不確実性値を引き寄せた今の形状測定結果ｓのために開設される。

【0367】

例えば、高い不確実性値は、測定結果ｓが移行領域Ｔ_ｉに関係することを示し、但し、アームＡは２つの既知の解剖学的ロケーションＡＬ_ｊ、ＡＬ_ｊ＋ｋ（ｋ≧１）の中間に今存在するとみなされ、インデックスｋは、アームＡが所与の処置において、解剖学的ロケーションを横断すると予想される順序に対するインデックスに関係する。単に１つの既知の解剖学的ロケーションがある場合、又は解剖学的ロケーションが、アームＡの経路上の第１の若しくは最後のそのようなロケーションである場合、移行領域は、既知の単一の若しくは第１の解剖学的ロケーションに到達する前のアームＡのロケーションに関係するか、又は、その通路上の、アームＡが通る単一若しくは最後のそのようなロケーションを越えたロケーションに関係する。本明細書で使用される「既知の解剖学的ロケーション」とは、前もって訓練段階において規定された、このロケーション向けのカテゴリがすでにあることを意味する。

【0368】

使用されるＭＬセットアップがクラスタリングの１つである場合、今の測定結果は、この新たなカテゴリの代表として記録される。ＭＬセットアップが選別の１つであり、予測アルゴリズムが選別器モデルに基づいている場合、高い不確実性を引き寄せた今の測定結果は新たなラベルでラベル付けされる。次いで、モデルは、この新たなカテゴリ向けの十分な数の形状測定結果が記録された時点で、再訓練される。

【0369】

解剖学的ロケーションが所与の処置で横断されるべき順序はわかっているので、２つの隣接した解剖学的ロケーションに対する移行領域が、十分に規定され、それを自動的に確立し、ラベル又はクラスタセマンティックスに含めることができる。

【0370】

一般に、Ｓ９１４０Ｃにおいて新たに開設されたカテゴリの厳密なセマンティックスは、ユーザによって規定される。このため、方法はさらに、タグ又は注釈が受信される追加ステップＳ１９４０Ｄを含む。タグは、ＧＵＩなどの適切なユーザインターフェースを使用して、ユーザによって割り当てられる。注釈又はタグは、今の形状測定結果に割り当てられる。タグ値は、取得時刻、又は上述の任意の他のコンテキストデータのうちのいずれか１つを表す。タグは、新たに開設されたカテゴリのセマンティックスを示す。タグは、新たな解剖学的ロケーション若しくは移行領域の識別子を含むか、又は別様にセマンティックス若しくは新たなカテゴリの目的を明示する。ユーザは少なくとも最初に、文字列「ＮＥＷ ＣＡＴ＿ｋ」又は類似の「ｋ」を含むカウンタインデックスなどの単なる汎用のプレースホルダタグを割り当てることも可能である。次いで、ユーザは、新たに開設されたカテゴリに属す多くの代表が今の又はフォローアップの医療処置中に蓄積された時点で、このカテゴリに再訪する。次いで、ユーザは、この（今ではもはや新しくない）カテゴリに、適切に命名されたタグを授与するのにふさわしい位置にある。

【0371】

ステップＳ１９４０Ｅでは、ＭＬ訓練アルゴリズムが再動作されて、今度は、今の測定結果がステップＳ１９４０Ｃで加えられた、この拡張された訓練データ集合に基づいて、ステップＳ１９４０Ａにおいて使用された機械学習モジュールを再訓練する。

【0372】

例えば、クラスタリングタイプの機械学習アルゴリズムでは、新たなクラスタは、新たに加えられた形状測定結果によって規定され、次いで、この新たなクラスタは将来の予測に対して考慮に入れられる。すなわち、クラスタベース又は類似の暗黙的な訓練ＭＬセットアップでは、訓練は、新たな測定結果を新たなクラスタとして格納するだけか、又はわずかにそれを超えるだけとなる。新たな測定結果がただ１つの代表であれば些細なことではあるが、重心などの新たな記述子Ｄ（ｓ）は初期化される必要があり、しかし、記述子Ｄは、さらなる代表が将来追加されるにつれて、再算出される必要がある。

【0373】

モデリングが明示的である場合、訓練アルゴリズムは、今では新たな測定結果を含む新たな訓練データ集合に基づいて、ニューラルネットワークの重みなどの、モデルのパラメータを新たに調整することによって再動作される必要がある。早期に概説したように、ある特定の数の新たな測定結果が加えられた時点でのみ、このステップをトリガするのが有用である。連合学習、又は補強学習が使用される。モデルが新たに配備される前に、再訓練されたモデルに適用されたテストデータを含む１つ又は複数のテストが行われる必要がある。それに対して、ユーザは、早期に訓練されたモデルを使用し続ける。

【0374】

任意選択のステップＳ１９４０Ｅでは、クラスタなどの、既存の１つ又は複数のカテゴリの１つ又は複数のサイズの均衡がとり直される。これは、予測アルゴリズムの効率を増大させるように１つ又は複数のクラスタのサイズを変化させることを含む。

【0375】

ステップＳ１９４０Ｆでは、高い不確実性値を引き寄せた形状測定結果は、アームＡの座屈事象に、又は形状センシングシステムの別の障害に関係する。そのような障害事象に関する新たなカテゴリが開設され、訓練アルゴリズムは、将来そのような障害を正しく認識するようにモデルを訓練するため、訓練段階の新たなインスタンスにおいて再動作する。形状測定結果は、形状測定データにおける座屈寄与を除去するように補正され、次いで、そのように補正された形状測定データは、ステップＳ１９４０Ａにおいて、予想のために再提出される。

【0376】

したがって、不確実性値評価を、動的学習に有用に活用することができることを理解することができる。新たなセマンティックスを含む新たなカテゴリを加えると決定することによって、及び／又は、新たなカテゴリに対処する学習アルゴリズムのさらなる動作によるモデルの更新によって、モデルが時間の経過とともに改良されているのと同時に、新たなカテゴリがモデルに加えられている。したがって、時間の経過とともに、モデルは、以前よりも幅広い範囲のカテゴリを分類することができるようになる。次いで、時間の経過とともに、いくつかのカテゴリは、ダイナミックに成長することが予想され、先験的な関心の解剖学的ロケーションに対する初期カテゴリだけではなく、１つ又は複数の、解剖学的ロケーション同士の中間（移行領域）、並びに座屈及びさらに他のものなどの障害事象、のうちのいずれか１つ又は複数に対するカテゴリも含む。

【0377】

ステップＳ１９４０Ｃにおける、新たなデータを加えることによる訓練データ集合の更新は、新たなデータを加える代わりに合成によって生成された訓練データ標本／インスタンスを含み、新たな１つ又は複数のカテゴリの開設は、そのように新たに加えられた訓練データに関係することに留意されたい。新たなデータの生成は、詳細に図２０で説明することとする。新たに加えられた訓練データは、後にならないと、関心のものであることが、又は、存在した訓練データ標本が少なすぎた若しくはまったく無かったことが、わからない、新たな解剖学的ロケーションに関係する。医療的又は処置的関心のいずれかの他のカテゴリが加えられ、ステップＳ１９４０Ｄにおいてモデルがそのようにして改良される。

【0378】

ここで、訓練データの合成による生成のためのコンピュータ実施方法のフローチャートを示す図２０への参照を行う。このデータにより、形状測定結果の既存の訓練データ集合を拡張させてシステムＣ－ＳＹＳの性能を向上させることができる。以前の処置において生成された同じ又は他の患者からの医療データリポジトリから既存データを供給するのではなく、合成によってデータを生成することは、全体として、又は、特定の解剖学的組織若しくは患者タイプに対して、そのような既存の履歴的測定データが不足している場合、有用である。

【0379】

データ生成の１つのそのような実施形態では、方法は画像ベースである。方法は、ステップＳ２０１０において、所与の患者に対する関心の解剖学的組織の今の画像又は以前の画像を表示することを含む。

【0380】

ステップＳ２０２０において、画像上に描かれる幾何学的経路を規定するユーザ入力が受信される。

【0381】

次いで、ステップＳ２０３０において、例えば、一連のローカル曲率値を算出することによって、前記幾何学的経路が形状測定データに変換される。代替的に、将来の介入において使用される、変形されたアームの材料特性の仕様が与えられると、応力又はひずみ値が算出される。しかしながら、変換ステップＳ２０３０は、任意選択であるか、又は、形状測定結果が、ステップＳ２０２０においてユーザによって指定されるように、直接、空間で好ましくは３Ｄ座標（Ｘ，Ｙ，Ｚ）で提供されるので、一致操作である。

【0382】

ステップＳ２０２０において、経路の仕様は、離散数の制御ポイントが、画像内に表現された血管ツリーのセクションに、又は、関心の身体部分／１つの解剖学的組織／複数の解剖学的組織を表現する画像の他の部分に設定されることによって提供される。スプラインアルゴリズムを使用して、曲線を、制御ポイントを通過させ、形状データを獲得することができる。基礎をなす画像は、Ｘ線撮像装置によって獲得される。二重平面Ｘ線撮像装置の画像が使用される。

【0383】

画像において表示するツリー構造は、必ずしも血管系に関係しない、胆管、又は肺における二股分岐のネットワークなどの他のキャビティ系に関係する。血管ツリーなどの木構造は、ステップＳ２０１０において、画像をセグメント化すること、及び、セグメント化された画像を表示することによって獲得される。

【0384】

ここで、上記の実施形態において使用された機械学習モデルを訓練するコンピュータ実施方法のステップを示す図２１におけるフローチャートへの参照を行う。モデルは、形状測定結果がとられた解剖学的ロケーションを表すカテゴリを、形状測定結果から予測することができるように訓練されることになる。

【0385】

ステップＳ２１１０において、今の訓練データ集合の訓練データが受信される。訓練データは、図２０若しくはそれ以外によって生成されたか、又は、形状センシングデータが収集されて格納されている、早期の介入から供給されたか、のどちらか一方による形状測定結果を含む。

【0386】

ステップＳ２１２０において、訓練アルゴリズムが訓練データに基づいて適用される。実施形態では、モデルのパラメータは、明示的なモデリングにおいてなど、訓練データに基づいて適合される。他の実施形態では、暗黙的なモデリングなどにおいて、データ中心のモデルが使用され、クラスタリングなどにおいて、訓練データが格納され、任意選択で、重心が各クラスタを記述するなどの訓練データクラスタの特性を表す記述子が算出される。訓練データ形状測定結果ｓ’は、所与の取得時間の間、訓練において、又は、今の形状測定結果の、及び上述のような１つ又は複数の早期の測定結果の、ブロック（ｓ’，ｓ’_１．．．ｓ’_ｎ）、ｎ≧１において、適用される。訓練は、時間コンテキスト１～ｎが、正しいカテゴリに関する手がかりを含むにつれ、改善することができる。

【0387】

次いで、ステップＳ２１３０において、そのように適合されたモデルは配備のために利用可能になる。

【0388】

ステップＳ２１４０において、新たな訓練データが受信されているかどうかチェックし、イエスの場合、訓練段階は、新たに受信された訓練データに対処するために、ステップＳ２１２０において再始動することができる。

【0389】

ステップＳ２１２０において、訓練アルゴリズムはそれ自体で反復し、モデルのパラメータは、所与の訓練データ標本／インスタンスに対して１つ又は複数の反復ステップにおいて適合される。それは、例えば、後方伝播タイプのアルゴリズムに当てはまり、一般的には、他の勾配ベースのアルゴリズムに当てはまる。そのような反復訓練アルゴリズムは、本明細書において想定されるニューラルネットワークタイプモデルに使用される。インスタンスごとの訓練の代わりに、訓練インスタンスの集合が一度に処理され、訓練は、好ましくは本明細書において想定されるバッチ単位学習においてなど、集合ごとに進む。

【0390】

しかしながら、任意の他の訓練アルゴリズムは、それぞれのモデル、そのようなサポートベクトルマシン、決定ツリー、ランダム森などに基づいて使用される。カテゴリ分類目的（すなわち、クラスタリング又は選別）で任意の他のタイプの訓練が、本明細書において想定される。

【0391】

訓練スキームもまた、エンコーダ－デコーダタイプの変換ステージ向けなどの変換ステージの、特に、変動型自動エンコーダタイプのＭＬ実装形態に、又は他の自動エンコーダ実装形態、及びさらに他のものに使用される。

【0392】

システムＣ－ＳＹＳの構成要素は、１つ又は複数のソフトウェアモジュールとして実装され、イメージャＩＡに関連付けられたワークステーションなどの１つ若しくは複数の汎用処理ユニットＰＵ上で、又はイメージャのグループに関連付けられたサーバコンピュータ上で動かされる。

【0393】

代替的に、システムＣ－ＳＹＳのいくつかの又は全ての構成要素は、撮像システムＩＡに一体化された、適切にプログラムされたマイクロコントローラ若しくはマイクロプロセッサ、そのようなＦＰＧＡ（フィールドプログラマブルゲートアレイ）又は、ハードワイアードＩＣチップ、特定用途向け集積回路（ＡＳＩＣ）などの、ハードウェアの状態で構成される。またさらなる実施形態では、システムＴＳ、ＳＹＳのうちのいずれか１つが、部分的にソフトウェアの状態で、及び部分的にハードウェアの状態での両方で実装される。

【0394】

いずれか１つ又はシステムＣ－ＳＹＳの異なる構成要素は、単一データ処理ユニットＰＵ上に実装される。代替的に、いくつか又は多い構成要素は、場合によっては、分散アーキテクチャの状態で遠隔で配設され、クラウド設定又はクライアントサーバセットアップにおいてなど、適切な通信ネットワークの状態で接続可能な、異なる処理ユニットＰＵ上に実装される。

【0395】

本明細書において記述されている１つ又は複数の特徴は、コンピュータ可読媒体内のエンコードされる回路、及び／又は、その組み合わせ、として、又は、とともに、構成され、又は、実装されることが可能である。回路は、個別及び／若しくは集積回路、システムオンアチップ（ＳＯＣ）、並びにその組み合わせ、マシン、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含む。

【0396】

本発明の別の例示的な実施形態では、適切なシステム上で、先出の実施形態のうちの１つによる方法の方法ステップを実行するように適合されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。

【0397】

したがって、コンピュータプログラム要素は、本発明の実施形態の一部でもあり得るコンピュータユニット上に格納され得る。このコンピューティングユニットは、上述の方法のステップの実行を行う又は誘起するように適合される。その上、そのコンピューティングユニットは、上述の装置の構成要素を動作させるように適合される。コンピューティングユニットは、ユーザの命令を、自動的に動作させる、及び／又は、実行するように適合されることが可能である。コンピュータプログラムは、データプロセッサのワーキングメモリ内にロードされる。こうして、データプロセッサは、本発明の方法を実行するように装備される。

【0398】

本発明のこの例示的な実施形態は、ちょうど始めから本発明を使用するコンピュータプログラムと、更新によって既存のプログラムを、本発明を使用するプログラムに転換させるコンピュータプログラムとの両方をカバーする。

【0399】

さらに、コンピュータプログラム要素は、上述のような方法の例示的な実施形態の処置を遂行するために、全ての必要なステップを提供することができ得る。

【0400】

本発明のさらなる例示的な実施形態に従い、ＣＤ－ＲＯＭなどのコンピュータ可読媒体が提供され、コンピュータ可読媒体は、その上に格納されたコンピュータプログラム要素を有し、そのコンピュータプログラム要素は、先出のセクションによって説明されている。

【0401】

コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される光ストレージ媒体又はソリッドステート媒体などの適切な媒体（特に、しかし必ずというわけではないが、非一時的媒体）上に格納及び／又は分配され、しかし、さらに、インターネット又は他の有線若しくは無線通信システムを介してなど、他の形態で分配される。

【0402】

しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提供され、そのようなネットワークからデータプロセッサのワーキングメモリにダウンロードすることができる。本発明のさらなる例示的な実施形態によると、コンピュータプログラム要素をダウンロードで利用できるようにするための媒体が提供され、そのコンピュータプログラム要素は、本発明の以前に説明された実施形態のうちの１つによる方法を実行するように構成されている。

【0403】

本発明の実施形態は、異なる主題を参照して説明されることに留意しなければならない。特に、いくつかの実施形態は、方法タイプの請求項を参照して説明されるが、他の実施形態は、デバイスタイプの請求項を参照して説明される。しかしながら、当業者であれば、別様に通知されていないかぎり上記の及び以下の記述から、主題の１つのタイプに属する特徴の任意の組合せに加えて、異なる主題に関連する特徴間の任意の組合せも、本出願により開示されるべきであると考えられると推論する。しかしながら、全ての特徴は結合されて、特徴の単純な加算より大きな相乗効果をもたらすことができる。

【0404】

本発明は図面と前の記述において詳細に図解され、説明されてきたが、そのような図解及び説明は、説明的又は例示的であり、限定的であると考えられるべきではない。本発明は開示された実施形態に限定されるものではない。開示された実施形態に対する他の変形形態は、図面、本開示、及び従属請求項の調査から特許請求された発明を実践する際に当業者によって理解され、成し遂げられることができる。

【0405】

本特許請求の範囲では、単語「備える」は、他の要素又はステップを除外せず、単数形の要素は、複数を除外しない。単一のプロセッサ、又は他のユニットは、本請求項の範囲において記載されているいくつかの項目の機能を満たす。ある特定の方策が、互いに異なる従属請求項において再引用される単なる事実が、これらの方策の組み合わせが有利に使用できないことを示しているわけではない。本特許請求の範囲におけるいかなる参照符号も範囲を限定するものと解釈されるべきではない。

【図1】

【図2A)】

【図2B)】

【図2C)】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A)】

【図8B)】

【図8C)】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A)】

【図17B)】

【図18】

【図19】

【図20】

【図21】

【国際調査報告】