▶ ボストン サイエンティフィック サイムド，インコーポレイテッドの特許一覧
特表2024-523449生体内ナビゲーションのための機械学習を利用するシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-28
(54)【発明の名称】生体内ナビゲーションのための機械学習を利用するシステムおよび方法
(51)【国際特許分類】
A61B 8/12 20060101AFI20240621BHJP
【ＦＩ】
A61B8/12
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023578787
(86)(22)【出願日】2022-06-21
(85)【翻訳文提出日】2024-01-29
(86)【国際出願番号】 US2022073050
(87)【国際公開番号】W WO2022272239
(87)【国際公開日】2022-12-29
(31)【優先権主張番号】63/213,458
(32)【優先日】2021-06-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】506192652
【氏名又は名称】ボストン サイエンティフィック サイムド，インコーポレイテッド
【氏名又は名称原語表記】ＢＯＳＴＯＮ ＳＣＩＥＮＴＩＦＩＣ ＳＣＩＭＥＤ，ＩＮＣ．
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】トゥルー、カイル
(72)【発明者】
【氏名】フォスター、ダニエル ジェイ．
(72)【発明者】
【氏名】オルダス カルボニ、セバスチャン
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601EE16
4C601FE01
4C601GB03
4C601JC06
4C601KK31
4C601LL21
(57)【要約】
医療デバイスの生体内ナビゲーションを提供する方法は、患者の解剖学的構造の入力医療イメージングデータを受信すること、解剖学的構造内のデバイスの遠位端上のセンサから入力非光学的生体内画像データを受信すること、訓練されたモデルを使用して、入力画像データにおける遠位端の位置を特定することを含み、モデルは、（ｉ）１人または複数の個人の解剖学的構造の訓練用医療イメージングデータおよび訓練用非光学的生体内画像データ、および（ｉｉ）グラウンドトルースとして訓練用イメージングデータにおける位置に訓練用画像データを関連付けるレジストレーションデータに基づいて訓練されて、訓練用画像データと訓練用イメージングデータとの間の関連付けを学習し、方法は、学習された関連付けおよび入力データを使用して医療デバイスの出力位置を決定すること、決定された位置を描くように入力イメージングデータを修正すること、ディスプレイに、修正された入力イメージングデータを出力させることを含む。
【特許請求の範囲】
【請求項1】
医療デバイスの生体内ナビゲーションを提供するためのシステムであって、命令および訓練された機械学習モデルを格納するメモリを備え、
前記訓練された機械学習モデルは、（ｉ）１人または複数の個人の解剖学的構造の少なくとも一部分の訓練用医療イメージングデータおよび訓練用非光学的生体内画像データ、および（ｉｉ）グラウンドトゥルースとして前記訓練用医療イメージングデータにおける位置に前記訓練用非光学的生体内画像データを関連付けるレジストレーションデータに基づいて訓練されており、
前記訓練は、前記訓練された機械学習モデルに、前記訓練用非光学的生体内画像データと前記訓練用医療イメージングデータとの間の関連付けを学習させるように構成されており、
前記システムは、
ディスプレイと、
前記ディスプレイおよび前記メモリに動作可能に接続され、前記命令を実行して動作を実施するように構成されたプロセッサと
を備え、前記動作は、
患者の解剖学的構造の少なくとも一部分に関連付けられた入力医療イメージングデータを受信すること、
前記患者の前記解剖学的構造の前記部分の中に前進させられる医療デバイスの遠位端上に配置されたセンサから入力非光学的生体内画像データを受信すること、
学習された関連付けを使用して、前記入力医療イメージングデータにおける前記医療デバイスの前記遠位端の位置を決定すること、
前記医療デバイスの前記遠位端の決定された位置を示す位置インジケータを含むように前記入力医療イメージングデータを修正すること、
前記ディスプレイに、前記位置インジケータを含む修正された入力医療イメージングデータを出力させること
を含む、システム。
【請求項2】
前記動作は、前記医療デバイスが前記患者の前記解剖学的構造の前記部分内で移動すると、前記センサからさらなる非光学的生体内画像データを受信すること、
前記学習された関連付けを使用して、前記さらなる非光学的生体内画像データに基づいて前記医療デバイスの前記遠位端の更新された位置を決定すること、
前記入力医療イメージングデータを更新して、前記医療デバイスの前記遠位端の前記更新された位置に基づいて前記位置インジケータを調整すること、
前記ディスプレイに、更新された入力医療イメージングデータを出力させること
を含む、請求項１に記載のシステム。
【請求項3】
前記更新された位置の決定、前記入力医療イメージングデータの更新、および前記更新された入力医療イメージングデータの前記ディスプレイを介した出力は、リアルタイムまたはほぼリアルタイムで行われ、前記ディスプレイは、前記医療デバイスの前記遠位端のライブ位置を出力するように構成されている、請求項２に記載のシステム。
【請求項4】
前記訓練された機械学習モデルは、前記訓練用非光学的生体内画像データの一連の非光学的生体内画像と前記訓練用医療イメージングデータ内の移動経路との間の関連付けを学習するように構成されている、請求項１～３のうちのいずれか一項に記載のシステム。
【請求項5】
前記訓練された機械学習モデルは、前記入力非光学的生体内画像データを使用して、前記入力医療イメージングデータにおける以前の位置からの前記医療デバイスの前記遠位端の移動経路を予測することによって、前記入力医療イメージングデータにおける前記医療デバイスの前記遠位端の位置を決定するように構成されている、請求項１～４のうちのいずれか一項に記載のシステム。
【請求項6】
前記動作は、前記入力非光学的生体内画像データから少なくとも１つの三次元構造を抽出すること、
前記入力医療イメージングデータからの前記解剖学的構造の前記少なくとも一部分の幾何学的形状に前記少なくとも１つの三次元構造をレジストレーションすること
をさらに含み、
前記医療デバイスの前記遠位端の前記位置の決定は、前記少なくとも１つの三次元構造の前記幾何学的形状との前記レジストレーションにさらに基づいている、請求項１～５のうちのいずれか一項に記載のシステム。
【請求項7】
前記訓練された機械学習モデルは、長短期記憶ネットワークまたはシーケンスツーシーケンスモデルのうちの１つまたは複数を含む、請求項１～６のうちのいずれか一項に記載のシステム。
【請求項8】
前記動作は、前記医療デバイスの前記遠位端に近接して配置された位置センサから位置信号を受信することをさらに含み、前記医療デバイスの前記遠位端の前記位置の決定は、前記位置信号にさらに基づいている、請求項１～７のうちのいずれか一項に記載のシステム。
【請求項9】
前記動作は、前記位置信号を使用して前記医療デバイスの前記遠位端の位置を前記患者の前記解剖学的構造の前記部分内の領域に限定することをさらに含み、前記学習された関連付けを使用して、前記入力医療イメージングデータにおける前記医療デバイスの前記遠位端の位置を決定することは、前記学習された関連付けを使用して、限定された領域内の前記遠位端の位置を識別することを含む、請求項８に記載のシステム。
【請求項10】
前記入力非光学的生体内画像データは、フェーズドトランスデューサアレイからの３６０度画像データを含む、請求項１～９のうちのいずれか一項に記載のシステム。
【請求項11】
前記訓練は、前記訓練用非光学的生体内画像データを解剖学的構造の内部部分の直径に関連付けるように構成されており、前記学習された関連付けを使用して、前記医療デバイスの前記遠位端の位置を決定することは、
前記学習された関連付けを使用して、前記医療デバイスの前記遠位端の現在の位置における前記患者の前記解剖学的構造の内部部分の直径を決定すること、
現在の直径を前記入力医療イメージングデータの幾何学的形状と比較して、決定された直径に一致する前記入力医療イメージングデータにおける位置を識別すること
を含む、請求項１～１０のうちのいずれか一項に記載のシステム。
【請求項12】
前記訓練された機械学習モデルは、前記訓練用非光学的生体内画像データに基づいて決定された一連の直径と前記訓練用医療イメージングデータ内の移動経路との間の関連付けを学習するように構成されており、前記訓練された機械学習モデルは、前記入力非光学的生体内画像データを使用して、前記入力医療イメージングデータにおける以前の位置からの前記医療デバイスの前記遠位端の移動経路を予測することによって、前記入力医療イメージングデータにおける前記医療デバイスの前記遠位端の位置を決定するように構成されている、請求項１～１１のうちのいずれか一項に記載のシステム。
【請求項13】
前記患者の前記解剖学的構造の前記部分は、前記患者の肺の末梢部分を含む、請求項１～１２のうちのいずれか一項に記載のシステム。
【請求項14】
前記入力非光学的生体内画像データは、超音波データである、請求項１～１３のうちのいずれか一項に記載のシステム。
【請求項15】
前記訓練された機械学習モデルは、前記医療デバイスのさらなるセンサから受信された前記医療デバイスに関連付けられた形状情報に基づいて、前記入力医療イメージングデータにおける前記医療デバイスの前記遠位端の位置を決定するように構成されている、請求項１～１４のうちのいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の様々な実施形態は、概して、生体内ナビゲーションのための機械学習ベースの技術に関し、より詳細には、非光学的画像データ、例えば、超音波画像データと、医療イメージングデータとの間のレジストレーションを決定するためのシステムおよび方法に関する。
【背景技術】
【0002】
ある医療処置では、医療デバイスが少なくとも部分的に患者の体内に前進させられる。例えば、患者の肺内から望ましくない組織を除去するための肺アブレーション処置中に、アブレーションデバイスが望ましくない組織を有する肺の末梢部分内に前進させられる。例えば針を介した直接挿入を使用する技術が使用されているが、そのような技術は一般に合併症のリスクが高い。気管支鏡を利用する技術など、侵襲性の低い技術が開発されている。しかしながら、このような技術にも欠点がある。
【0003】
本開示は、上述した課題に対処するためのものである。本明細書に提供される背景技術の説明は、本開示の背景を一般的に提示することを目的としている。本明細書において別段の記載がない限り、このセクションで説明された資料は、本出願の特許請求の範囲に対する先行技術ではなく、このセクションに含めることによって、先行技術または先行技術の示唆であることを認めるものではない。
【発明の概要】
【0004】
本開示の特定の態様によれば、医療デバイスの生体内ナビゲーションを提供するための方法およびシステムが開示される。
一態様では、医療デバイスの生体内ナビゲーションを提供するためのシステムの例示的な実施形態は、メモリと、ディスプレイと、ディスプレイおよびメモリに動作可能に接続されたプロセッサとを含むことができる。メモリは、命令および訓練された機械学習モデルを格納していてよい。機械学習モデルは、（ｉ）１人または複数の個人の解剖学的構造の少なくとも一部分の訓練用医療イメージングデータおよび訓練用非光学的生体内画像データ、および（ｉｉ）グラウンドトゥルースとして訓練用医療イメージングデータにおける位置に訓練用非光学的生体内画像データを関連付けるレジストレーションデータに基づいて訓練されていてよい。訓練は、訓練された機械学習モデルに、訓練用非光学的生体内画像データと訓練用医療イメージングデータとの間の関連付けを学習させるように構成されていてよい。プロセッサは、メモリ内の命令を実行して動作を実施するように構成されていてよい。動作は、患者の解剖学的構造の少なくとも一部分に関連付けられた入力医療イメージングデータを受信すること、患者の解剖学的構造の一部分の中に前進させられる医療デバイスの遠位端上に配置されたセンサから入力非光学的生体内画像データを受信すること、学習された関連付けを使用して、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定すること、医療デバイスの遠位端の決定された位置を示す位置インジケータを含むように入力医療イメージングデータを修正すること、ディスプレイに、位置インジケータを含む修正された入力医療イメージングデータを出力させることを含んでいてよい。
一態様では、医療デバイスの生体内ナビゲーションを提供するためのシステムの例示的な実施形態は、メモリと、ディスプレイと、ディスプレイおよびメモリに動作可能に接続されたプロセッサとを含むことができる。メモリは、命令および訓練された機械学習モデルを格納していてよい。機械学習モデルは、（ｉ）１人または複数の個人の解剖学的構造の少なくとも一部分の訓練用医療イメージングデータおよび訓練用非光学的生体内画像データ、および（ｉｉ）グラウンドトゥルースとして訓練用医療イメージングデータにおける位置に訓練用非光学的生体内画像データを関連付けるレジストレーションデータに基づいて訓練されていてよい。訓練は、訓練された機械学習モデルに、訓練用非光学的生体内画像データと訓練用医療イメージングデータとの間の関連付けを学習させるように構成されていてよい。プロセッサは、メモリ内の命令を実行して動作を実施するように構成されていてよい。動作は、患者の解剖学的構造の少なくとも一部分に関連付けられた入力医療イメージングデータを受信すること、患者の解剖学的構造の一部分の中に前進させられる医療デバイスの遠位端上に配置されたセンサから入力非光学的生体内画像データを受信すること、学習された関連付けを使用して、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定すること、医療デバイスの遠位端の決定された位置を示す位置インジケータを含むように入力医療イメージングデータを修正すること、ディスプレイに、位置インジケータを含む修正された入力医療イメージングデータを出力させることを含んでいてよい。
【0005】
いくつかの実施形態では、動作は、医療デバイスが患者の解剖学的構造の部分内で移動すると、センサからさらなる非光学的生体内画像データを受信すること、学習された関連付けを使用して、さらなる非光学的生体内画像データに基づいて医療デバイスの遠位端の更新された位置を決定すること、入力医療イメージングデータを更新して、医療デバイスの遠位端の更新された位置に基づいて位置インジケータを調整すること、ディスプレイに、更新された入力医療イメージングデータを出力させることをさらに含んでいてよい。
【0006】
いくつかの実施形態では、ディスプレイが、医療デバイスの遠位端のライブ位置を出力するように構成されるように、更新された位置の決定、入力医療イメージングデータの更新、および更新された入力医療イメージングデータのディスプレイを介した出力は、リアルタイムまたはほぼリアルタイムで行われてよい。
【0007】
いくつかの実施形態では、訓練された機械学習モデルは、訓練用非光学的生体内画像データの一連の非光学的生体内画像と訓練用医療イメージングデータ内の移動経路との間の関連付けを学習するように構成されていてよい。
【0008】
いくつかの実施形態では、訓練された機械学習モデルは、入力非光学的生体内画像データを使用して、入力医療イメージングデータにおける以前の位置からの医療デバイスの遠位端の移動経路を予測することによって、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定するように構成されていてよい。
【0009】
いくつかの実施形態では、動作は、入力非光学的生体内画像データから少なくとも１つの三次元構造を抽出すること、入力医療イメージングデータからの解剖学的構造の少なくとも一部分の幾何学的形状に少なくとも１つの三次元構造をレジストレーションすることをさらに含んでいてよい。いくつかの実施形態では、医療デバイスの遠位端の位置の決定は、少なくとも１つの三次元構造の幾何学的形状とのレジストレーションにさらに基づいていてよい。
【0010】
いくつかの実施形態では、訓練された機械学習モデルは、長短期記憶ネットワークまたはシーケンスツーシーケンスモデルのうちの１つまたは複数を含んでいてよい。
いくつかの実施形態では、動作は、医療デバイスの遠位端に近接して配置された位置センサから位置信号を受信することをさらに含んでいてよい。いくつかの実施形態では、医療デバイスの遠位端の位置の決定は、位置信号にさらに基づいていてよい。
いくつかの実施形態では、動作は、医療デバイスの遠位端に近接して配置された位置センサから位置信号を受信することをさらに含んでいてよい。いくつかの実施形態では、医療デバイスの遠位端の位置の決定は、位置信号にさらに基づいていてよい。
【0011】
いくつかの実施形態では、動作は、位置信号を使用して医療デバイスの遠位端の位置を患者の解剖学的構造の部分内の領域に限定することをさらに含んでいてよい。いくつかの実施形態では、学習された関連付けを使用して、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定することは、学習された関連付けを使用して、限定された領域内の遠位端の位置を識別することを含んでいてよい。
【0012】
いくつかの実施形態では、入力非光学的生体内画像データは、フェーズドトランスデューサアレイからの３６０度画像データを含んでいてよい。
いくつかの実施形態では、訓練は、訓練用非光学的生体内画像データを解剖学的構造の内部部分の直径と関連付けるように構成されていてよい。いくつかの実施形態では、学習された関連付けを使用して医療デバイスの遠位端の位置を決定することは、学習された関連付けを使用して、医療デバイスの遠位端の現在の位置における患者の解剖学的構造の内部部分の直径を決定すること、現在の直径を入力医療イメージングデータの幾何学的形状と比較して、決定された直径に一致する入力医療イメージングデータにおける位置を識別することを含んでいてよい。
いくつかの実施形態では、訓練は、訓練用非光学的生体内画像データを解剖学的構造の内部部分の直径と関連付けるように構成されていてよい。いくつかの実施形態では、学習された関連付けを使用して医療デバイスの遠位端の位置を決定することは、学習された関連付けを使用して、医療デバイスの遠位端の現在の位置における患者の解剖学的構造の内部部分の直径を決定すること、現在の直径を入力医療イメージングデータの幾何学的形状と比較して、決定された直径に一致する入力医療イメージングデータにおける位置を識別することを含んでいてよい。
【0013】
いくつかの実施形態では、訓練された機械学習モデルは、訓練用非光学的生体内画像データに基づいて決定された一連の直径と訓練用医療イメージングデータ内の移動経路との間の関連付けを学習するように構成されていてよい。いくつかの実施形態では、訓練された機械学習モデルは、入力非光学的生体内画像データを使用して、入力医療イメージングデータにおける以前の位置からの医療デバイスの遠位端の移動経路を予測することによって、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定するように構成されていてよい。
【0014】
いくつかの実施形態では、患者の解剖学的構造の部分は、患者の肺の末梢部分を含んでいてよい。
いくつかの実施形態では、入力非光学的生体内画像データは、超音波データを含んでいてよい。
いくつかの実施形態では、入力非光学的生体内画像データは、超音波データを含んでいてよい。
【0015】
いくつかの実施形態では、訓練された機械学習モデルは、医療デバイスのさらなるセンサから受信された医療デバイスに関連付けられた形状情報に基づいて、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定するように構成されていてよい。
【0016】
別の態様では、医療デバイスの生体内ナビゲーションを提供するための方法の例示的な実施形態は、患者の解剖学的構造の少なくとも一部に関連付けられた入力医療イメージングデータを受信すること、患者の解剖学的構造の一部分の中に前進させられる医療デバイスの遠位端上に配置されたセンサから入力非光学的生体内画像データを受信すること、訓練された機械学習モデルを使用して、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定することを含んでいてよく、訓練された機械学習モデルは、（ｉ）１人または複数の個人の解剖学的構造の少なくとも一部分の訓練用医療イメージングデータおよび訓練用非光学的生体内画像データ、および（ｉｉ）グラウンドトゥルースとして訓練用医療イメージングデータにおける位置に訓練用非光学的生体内画像データを関連付けるレジストレーションデータに基づいて訓練されており、訓練は、訓練された機械学習モデルに、訓練用非光学的生体内画像データと訓練用医療イメージングデータとの間の関連付けを学習させるように構成されており、訓練された機械学習モデルは、学習された関連付けを使用して、入力非光学的生体内画像データに基づいて、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定するように構成されており、方法は、医療デバイスの遠位端の決定された位置を示す位置インジケータを含むように入力医療イメージングデータを修正すること、ディスプレイに、位置インジケータを含む修正された入力医療イメージングデータを出力させることを含んでいてよい。
【0017】
いくつかの実施形態では、入力非光学的生体内画像データは、超音波データを含んでいてよい。いくつかの実施形態では、患者の解剖学的構造の部分は、患者の肺の末梢部分を含んでいてよい。
【0018】
さらなる態様では、入力医療イメージングデータを受信し、医療デバイスの遠位端に配置されたセンサから入力非光学的生体内画像データを受信することに応答して、入力医療イメージングデータ内の患者の解剖学的構造における医療デバイスの遠位端の出力位置を決定するために機械学習モデルを訓練する方法の例示的な実施形態は、機械学習モデルに訓練データを入力することであって、訓練データは、１人または複数の個人の解剖学的構造の少なくとも一部分の訓練用医療イメージングデータおよび訓練用非光学的生体内画像データを含む、訓練データを入力すること、訓練用非光学的生体内画像データを訓練用医療イメージングデータにおける位置に関連付けるレジストレーションデータを含む機械学習モデルにグラウンドトゥルースを入力すること、訓練データおよびグラウンドトゥルースを機械学習モデルと共に使用して、医療デバイスの遠位端の出力位置を決定するために機械学習モデルによって使用可能な訓練用非光学的生体内画像データと訓練用医療イメージングデータとの間の関連付けを学習することを含んでいてよい。
【0019】
いくつかの実施形態では、方法は、訓練データおよびグラウンドトルースを機械学習モデルと共に使用して、一連の訓練用非光学的生体内画像と訓練用医療イメージングデータ内の移動経路との間の関連付けを学習することをさらに含んでいてよく、それにより、機械学習モデルは、入力非光学的生体内画像データを使用して、入力医療イメージングデータにおける以前の位置からの医療デバイスの遠位端の移動経路を予測することによって、入力医療イメージングデータにおける医療デバイスの遠位端の位置を決定するように構成されている。
【0020】
いくつかの実施形態では、訓練非光学的生体内画像データは、超音波データである。
前述の概説および以下の詳細な説明の両方は、例示的かつ説明的なものに過ぎず、特許請求の範囲に記載される開示された実施形態を限定するものではないことを理解されたい。
前述の概説および以下の詳細な説明の両方は、例示的かつ説明的なものに過ぎず、特許請求の範囲に記載される開示された実施形態を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0021】
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、様々な例示的な実施形態を示し、説明と共に、開示される実施形態の原理を説明する役割を果たす。
【図4A-1】図４Ａ（図４Ａ－１および図４Ａ－２）は、１つまたは複数の実施形態による、医療デバイスの生体内ナビゲーションを提供するために訓練された機械学習モデルを使用する例示的な方法のフローチャートを示す。
【発明を実施するための形態】
【0022】
本開示の特定の態様によれば、医療デバイス、例えば患者の肺の末梢内でナビゲートされるアブレーションデバイスの生体内ナビゲーションを提供するための方法およびシステムが開示される。特定の医療処置では、医療デバイスを体内のある位置にナビゲートすることが望ましい場合がある。しかしながら、従来のナビゲーション技術は適切でない場合がある。例えば、従来の技術は、標的部位にナビゲートすること、および／または標的部位に到達したことを確認することに関して十分に正確ではない場合がある。また、従来のナビゲーション技術は、光源、カメラ、および／またはレンズを含むことに依存する場合があり、その結果、医療デバイスのサイズが大きくなりすぎて、標的部位によってはナビゲーションできない場合がある。
【0023】
以下でより詳細に説明されるように、様々な実施形態において、機械学習を使用して、医療デバイスの遠位端に配置されたセンサから受信された非光学的生体内画像データ（non-optical in vivo image data）に基づいて、医療イメージングデータ（medical imaging data）、例えば術前ＣＴスキャンデータを参照して、医療デバイスの遠位端の位置を特定するためのシステムおよび方法が説明される。非光学的生体内画像データと医療イメージングデータ内の医療デバイスの遠位端の位置との間の関連付けを学習するために、例えば教師あり学習または半教師あり学習を介して機械学習モデルを訓練することにより、訓練された機械学習モデルは、医療デバイスに関するナビゲーション情報、例えば医療デバイスの遠位端のライブ位置を示す医療イメージングデータにおける位置インジケータを提供するために使用可能であり得る。
【0024】
任意の特定の手順への言及は、本開示において便宜上提供されるに過ぎず、本開示を限定することを意図するものではない。当業者は、開示されるデバイスおよび方法の基礎をなす概念が、任意の適切な処置において利用され得ることを認識するであろう。本開示は、以下の説明および添付の図面を参照して理解することができ、ここで、同様の要素は同じ参照番号で参照される。
【0025】
以下で使用される用語は、本開示のある特定の例の詳細な説明と併せて使用されているとしても、その最も広く合理的な方法で解釈され得る。実際に、特定の用語が以下で強調されることがあるが、限定的に解釈されることが意図される任意の用語は、この詳細な説明のセクションにおいてそのように明白かつ具体的に定義される。前述の一般的な説明および以下の詳細な説明は両方とも、例示的かつ説明的なものに過ぎず、請求されるような特徴を限定するものではない。
【0026】
説明を容易にするために、デバイスおよび／またはその構成要素の部分は、近位部分および遠位部分と称される。「近位」という用語は、デバイスのユーザにより近い部分を指すことが意図され、「遠位」という用語は、本明細書では、ユーザからさらに離れた部分を指すために使用されることに留意されたい。同様に、「遠位に」延びるとは、構成要素が遠位方向に延びることを示し、「近位に」延びるとは、構成要素が近位方向に延びることを示す。
【0027】
本開示では、「～に基づく」という用語は、「～に少なくとも部分的に基づく」ことを意味する。単数形「１つの（a）」、「１つの（an）」、および「その（the）」は、文脈上そうでないことを示さない限り、複数の指示対象を含む。「例示的」という用語は、「理想的」ではなく「例」の意味で使用される。「備える」、「備えている」、「含む」、「含んでいる」という用語、またはそれらの他の変形は、要素のリストを備えるプロセス、方法、または製品が必ずしもそれらの要素のみを含むのではなく、明示的に列挙されていない他の要素、またはそのようなプロセス、方法、物品、もしくは装置に固有の他の要素を含み得るように、非排他的な包含をカバーすることが意図されている。「または」という用語は、「ＡまたはＢのうちの少なくとも１つ」が、（Ａ）、（Ｂ）、（ＡおよびＡ）、（ＡおよびＢ）などを含むように、選言的に使用される。「実質的に」および「概して」などの相対的な用語は、記載された値または理解された値の±１０％の変動の可能性を示すために使用される。
【0028】
本明細書で使用される場合、「医療イメージングデータ」などの用語は、概して、例えば、医療イメージングを介して生成され得る、および／または患者の解剖学的構造の画像、例えば、二次元画像、三次元画像またはモデル、ビデオ、時間変化画像などとして表され得る、患者の幾何学的形状および／または生理機能に関連付けられた、および／またはそれを示すデータを包含する。医療イメージングは、一般に、信号（光、電磁エネルギー、放射など）が生成され、その信号が患者とどのように相互作用するか、および／または患者によってどのように影響を受けるか、患者をどのように透過するかなどを示す測定値が取得される技術を包含する。医療イメージング技術の例は、ＣＴスキャン、ＭＲＩスキャン、Ｘ線スキャン、または例えば患者の解剖学的構造の少なくとも一部分の内部を視覚化するために使用され得る任意の他の適切なモダリティを含む。医療イメージングデータは、例えば、二次元データおよび／または画像、三次元データおよび／または画像、ボクセルデータ、患者の解剖学的構造の少なくとも一部分の幾何学的モデル、患者の解剖学的構造の部分のソリッドモデル、解剖学的構造の部分および／または解剖学的構造の部分の特性を表すノードまたは点のメッシュ、および／または患者および／または医療イメージングに関連付けられた任意の他の適切なデータを含み得る。
【0029】
本明細書で使用される場合、「非光学的画像データ」は、概して、画像を示し、画像に関連付けられ、および／または画像を生成するために使用可能であり、例えば、超音波トランスデューサによって生成される信号を介して、非光学的信号を使用して生成されたデータを包含する。
【0030】
本明細書で使用される場合、「機械学習モデル」は、概して、入力を受け取り、重み、バイアス、分類、または分析のうちの１つまたは複数を入力に適用して出力を生成するように構成された命令、データ、および／またはモデルを包含する。出力は、例えば、入力の分類、入力に基づく分析、入力に関連付けられた設計、プロセス、予測、もしくは推奨、または任意の他の適切なタイプの出力を含んでいてよい。機械学習モデルは、概して、訓練データ、例えば、経験データおよび／または入力データのサンプルを使用して訓練され、訓練データは、モデルの１つまたは複数の態様、例えば、重み、バイアス、分類またはクラスタを形成するための基準などを確立、調整、または修正するために、モデルに供給される。機械学習モデルの態様は、ネットワーク（例えば、ニューラルネットワーク）を介して、または任意の適切な構成を介して、入力に対して線形に、並列に動作し得る。
【0031】
機械学習モデルの実行は、線形回帰、ロジスティック回帰、ランダムフォレスト、勾配ブーストマシン（ＧＢＭ）、深層学習、および／または深層ニューラルネットワークなどの１つまたは複数の機械学習技術の展開を含み得る。教師ありおよび／または教師なし訓練が用いられてもよい。例えば、教師あり学習は、訓練データおよび訓練データに対応するラベルを提供することを含んでいてよい。教師なしアプローチは、クラスタリング、分類などを含み得る。Ｋ平均クラスタリング（K-means clustering）またはＫ最近傍法（K-Nearest Neighbors）も使用することができ、これは教師ありまたは教師なしとすることができる。Ｋ最近傍法と教師なしクラスタ技術との組み合わせも使用され得る。例えば、確率的、勾配ブースト、ランダムシード、再帰的、エポックまたはバッチベースなど、任意の適切なタイプの訓練を使用することができる。
【0032】
特定の医療処置では、望ましくない組織のアブレーションなどの処置のために、医療デバイスを患者の体内の標的部位、例えば患者の肺の末梢にナビゲートすることが望ましい場合がある。しかしながら、従来の生体内ナビゲーション技術、例えば、従来の気管支鏡技術は、標的部位にナビゲートすること、または標的部位に到達したことを検証することに関して十分に正確ではない場合がある。
【0033】
気管支鏡技術に関する懸念は、アブレーションのために標的に正確にナビゲートするだけでなく、標的に到達したことを確認する能力でもある。一般に、上記のような処置中に、処置前または処置中に取得された患者のＣＴ画像などの医療イメージングが、気管支鏡を介した能動的ナビゲーションと併せて受動的マップとして使用され得る。そのような目的のための気管支鏡技術は、ナビゲーション（電磁および／またはビデオ）気管支鏡検査、ラジアルプローブ気管支内超音波検査、およびロボット気管支鏡検査を含む。
【0034】
しかしながら、前述のものを含む従来のナビゲーション技術は、標的への正確なナビゲーションおよびターゲットの確認の問題に十分に対処することができない。一般に、電磁ナビゲーションだけでは、きめの細かい詳細を提供し、および／または標的部位に到達したことを確認するには不十分である。ビデオナビゲーションは、標的部位への到着を確認するために使用され得るが、提供される情報は限られており、さらに、気管支鏡には、光源、カメラ、およびレンズが必要であるため、肺の周辺の所望の部分に到達するには大きすぎるサイズまでデバイス直径を増加させ得る。ラジアルプローブは、イメージングのためにデバイスの回転を必要とし、これは、患者へリスクを及ぼす場合があり、および／または患者の生理機能および／またはデバイスの位置によっては可能でない場合がある。また、ロボット気管支鏡検査は、概して、ＣＴ撮像装置などの、処置と連動して動作する患者の外部にある大型および／または複雑な機械を伴い、それは、扱いにくく、および／または高価であり得る。従来の技術は、医療デバイスが大きすぎて、標的部位にナビゲートできず、患者にリスクを及ぼす可能性があり、および／または処置と連動して動作するために大型で複雑であり、および／または高価な外部機械を必要とする可能性がある。したがって、医療デバイスの生体内ナビゲーションに関する技術の改善が必要とされている。
【0035】
以下の説明では、添付図面を参照して実施形態を説明する。以下でより詳細に論じられるように、様々な実施形態において、医療デバイスの生体内ナビゲーションを提供するためのシステムおよび方法が説明される。
【0036】
例示的な使用事例では、医療処置は、患者の体内の標的部位に医療デバイスを導入および／または前進させることを含む。標的部位を含む患者の身体の少なくとも一部分について、例えば、処置の前および／または処置中に、ＣＴスキャンなどの医療イメージングを取得することができる。患者の身体の標的部位の位置は、医療イメージングにおいて識別され得る。医療デバイスは、標的部位に向かって前進させられるように患者の体内に導入することができる。例えば、医療デバイスは、患者の肺における標的部位に向かって前進させられるように、患者の気道を介して導入されてもよい。医療デバイスは、例えば、治療処置を行うために、医療デバイスの遠位端上に配置された、アブレーションデバイスなどのエンドエフェクタを含んでいてよい。医療デバイスは、超音波医療画像を示す信号を生成するように構成されたトランスデューサなど、医療デバイスの遠位端に配置されたセンサをさらに含むことができる。医療デバイスは、いくつかの例では、カメラ、光源、またはレンズのうちの１つまたは複数を含んでいなくてもよい。ナビゲーションシステムは、センサによって生成された信号を受信するように、例えば、センサから非光学的生体内画像データを受信するように構成されていてよい。ナビゲーションシステムは、センサから受信された非光学的生体内画像データに基づいて、医療イメージングデータにおける患者の身体内の医療デバイスの遠位端の位置を決定するように構成された、訓練された機械学習モデルを含んでいてよい。ナビゲーションシステムは、医療イメージングデータによって示される患者の解剖学的構造内の医療デバイスの遠位端の位置を示す位置インジケータを含むように医療イメージングデータを修正することができ、修正された医療イメージングデータをディスプレイに出力させることができる。例えば、ディスプレイは、医療デバイスが患者の解剖学的構造内を移動する際の医療イメージングデータ内の医療デバイスの遠位端のライブ位置を描くことができる。
【0037】
別の例示的な使用事例では、機械学習モデルは、医療イメージングデータ内で、患者の解剖学的構造の中へ前進させられる医療デバイスの遠位端の位置を決定するように訓練され得る。１人または複数の個人の解剖学的構造の少なくとも一部分の医療イメージングデータおよび非光学的生体内画像データを含む訓練データが、機械学習モデルに入力され得る。非光学的生体内画像データを医療イメージングデータ内の位置に関連付けるレジストレーションデータを含むグラウンドトゥルースも、機械学習モデルに入力され得る。訓練データおよびグラウンドトゥルースは、機械学習モデルとともに使用され、医療デバイスの遠位端の出力位置を決定するために機械学習モデルによって使用可能な非光学的生体内画像データと医療イメージングデータとの間の関連付けを開発することができる。
【0038】
いくつかの例では、グラウンドトゥルースは、追加のナビゲーション技術を用いて少なくとも部分的に開発され得る。例えば、訓練データおよびグラウンドトゥルースは、例えば超音波トランスデューサなどのセンサを含み、カメラなどの光学センサも含む医療デバイスを使用して取得され得る。ビデオ気管支鏡検査は、センサからの信号と医療イメージングデータにおける医療デバイスの位置との間のグラウンドトルース関連付けを生成するために、医療デバイスの位置を決定および／または検証するために使用されてもよい。さらに、機械学習モデルの訓練は、訓練されたモデルを介して決定された位置を、ビデオ気管支鏡検査を介して決定された位置と比較することによって検証され得る。
【0039】
上記の例のうちのいくつかは超音波を伴うが、本開示による技術は、任意の適切なタイプの非光学的イメージングに適合され得ることを理解されたい。一例では、圧力センサ、医療イメージング技術などを使用して、患者の体内の圧力、温度、または他の生物学的もしくは生理学的特性を決定することができる。医療デバイスは、上述のセンサの代わりに、またはそれに加えて、そのような生物学的または生理学的特性のうちの１つまたは複数を感知するように構成されたさらなるセンサを含んでいてよい。身体内の１つまたは複数の決定された特性、およびさらなるセンサによって感知された１つまたは複数の決定された特性は、機械学習モデルのための入力として使用され得る。さらに、上記の例のうちのいくつかは、気管支鏡検査および／または肺の周辺内の組織のナビゲーションおよび／またはアブレーションを含むが、本開示による技術は、例えば、心臓または心臓弁の処置、肺、胃腸、泌尿器、または他の体管における任意の処置、内視鏡、気管支鏡、結腸鏡、尿管鏡、または他の同様のデバイスを使用する任意の処置、および／または例えば、生検、アブレーション、切除、切開、注射、薬物もしくは治療薬の適用など、またはそれらの組み合わせを含む、任意の治療または診断処置を含む、医療デバイスの生体内ナビゲーションを伴う任意の適切な処置に適合され得ることが理解されるべきである。上記の例は例示的なものにすぎないことも理解されるべきである。本開示の技法および技術は、任意の適切なアクティビティに適応され得る。
【0040】
以下に提示されるのは、医療デバイスの生体内ナビゲーションに適合され得る機械学習技術の様々な態様である。以下でより詳細に論じられるように、医療イメージングデータを参照して、患者の解剖学的構造内の医療デバイスの位置および／または移動経路を決定するように適合された機械学習技術は、本開示による１つまたは複数の態様、例えば、訓練データの特定の選択、機械学習モデルのための特定の訓練プロセス、訓練された機械学習モデルとともに使用するのに適した特定のデバイスの動作、医療イメージングデータなどの特定のデータと併せた機械学習モデルの動作、機械学習モデルによるそのような特定のデータの修正など、および／または本開示に基づいて当業者に明らかであり得る他の態様を含み得る。
【0041】
図１は、本明細書で提示される技術とともに利用され得る例示的な環境１００を示す。１つまたは複数のユーザデバイス１０５、１つまたは複数の医療デバイス１１０、１つまたは複数のディスプレイ１１５、１つまたは複数の医療プロバイダ１２０、および１つまたは複数のデータストレージシステム１２５が、電子ネットワーク１３０を介して通信し得る。以下でさらに詳細に説明するように、１つまたは複数のナビゲーションシステム１３５が、電子ネットワーク１３０を介して環境１００の他の構成要素のうちの１つまたは複数と通信することができる。１つまたは複数のユーザデバイス１０５は、ユーザ１４０、例えば、医療デバイスの生体内ナビゲーションを提供するための機械学習モデルの生成、訓練、もしくは調整、医療イメージングデータの生成、取得、もしくは分析、および／または医療処置の実施のうちの１つまたは複数に関連付けられたユーザに関連付けられていてよい。
【0042】
いくつかの実施形態では、環境１００の構成要素は、共通のエンティティ、例えば、病院、施設などに関連付けられている。いくつかの実施形態では、環境の構成要素のうちの１つまたは複数は、別のエンティティとは異なるエンティティに関連付けられている。環境１００のシステムおよびデバイスは、任意の構成で通信することができる。本明細書で論じるように、環境１００のシステムおよび／またはデバイスは、他の活動の中でもとりわけ、医療デバイス１１０のための生体内ナビゲーションを提供するために機械学習モデルを生成、訓練、または使用することのうちの１つまたは複数のために通信することができる。
【0043】
ユーザデバイス１０５は、ユーザ１４０が環境１００内の他のシステムにアクセスおよび／または相互作用することを可能にするように構成されていてよい。例えば、ユーザデバイス１０５は、例えば、デスクトップコンピュータ、モバイルデバイス、タブレットなどのコンピュータシステムであってよい。いくつかの実施形態では、ユーザデバイス１０５は、ユーザデバイス１０５のメモリ上にインストールされた１つまたは複数の電子アプリケーション、例えば、プログラム、プラグイン、ブラウザ拡張などを含んでいてよい。いくつかの実施形態では、電子アプリケーションは、環境１００内の他の構成要素のうちの１つまたは複数に関連付けられていてもよい。例えば、電子アプリケーションは、システム制御ソフトウェア、システムモニタリングソフトウェア、ソフトウェア開発ツールなどのうちの１つまたは複数を含んでいてよい。
【0044】
図２Ａは、医療デバイス１１０の例示的な実施形態を示す。しかしながら、図２の実施形態は例示に過ぎず、標的部位への生体内ナビゲーションのための任意の適切な医療デバイスが使用されてもよいことを理解されたい。医療デバイス１１０は、チューブ２１５を介して近位端２１０に接続された遠位端２０５を含んでいてよい。
【0045】
遠位端２０５は、構成要素を受け入れること、またはチューブ２１５に配置されたルーメンと連通することのうちの１つまたは複数を行うように構成された、１つまたは複数の部分２２０を含んでいてよい。例えば、少なくとも１つのセンサ２２５は、部分２２０のうちの１つに配置されていてよい。別の例では、エンドエフェクタ２３０を有するツール、例えば、アブレーションデバイス、鉗子、ネット、流体および／または物質を取り込むまたは出力するためのオリフィスなどが、部分２２０のうちの別の１つに配置されてもよい。センサ２２５は、例えば、トランスデューサ、電磁位置センサ、光ファイバ位置センサなどを含み得る。図２に示す実施形態では、センサ２２５は、トランスデューサアレイを含むが、任意の適切なタイプの非光学的センサが使用され得ることを理解されたい。
【0046】
チューブ２１５は、いくつかの実施形態では、可撓性材料から形成されていてよい。チューブ２１５は、遠位端２０５と近位端２１０との間を連通する１つまたは複数のルーメン（図示せず）を含んでいてよい。いくつかの実施形態では、チューブ２１５は、遠位端２０５における構成要素、例えばセンサ２２５と、近位端２１０との間でデータを通信するように構成されたワイヤコネクタなどの他の要素をさらに含み、かつ／または収容することができる。
【0047】
近位端２１０は、例えば、オペレータが遠位端２０５を操作、前進、後退、および／または方向付けることを可能にするハンドル部分２４５を含んでいてよい。近位端２１０は、データを出力し、電気信号を送信または受信し、および／または流体もしくは物質を医療デバイス１１０に出入りさせるための、１つまたは複数のインタフェース２５０、例えば、アンビリカスをさらに含んでいてよい。データのためのインタフェースは、有線接続または無線接続のうちの１つまたは複数を含み得る。インタフェース２５０は、センサ２２５またはエンドエフェクタ２３０を動作させるための電力を受け取るように構成されていてもよい。
【0048】
この実施形態では、医療デバイス１１０は、光ファイバラインおよびレンズ、カメラなどの視覚ナビゲーション要素を含まない。結果として、遠位端２０５、およびいくつかの実施形態では、チューブ２１５は、気管支鏡などの従来の医療デバイスと比較して小さい外径を有することができる。例えば、医療デバイス１１０は、肺の末梢へのナビゲーションに適した外径、例えば３ミリメートル以下の直径を有することができる。
【0049】
いくつかの実施形態では、医療デバイス１１０、または少なくともその一部分は、使い捨て可能、例えば、単回使用デバイスであるように構成されている。視覚ナビゲーション要素を含まないことによって、医療デバイス１１０の廃棄に起因するコストは、従来の医療デバイスと比較して低減され得る。
【0050】
再び図１を参照すると、ディスプレイ１１５は、環境１００の他のシステムから受信された情報を出力するように構成され得る。例えば、ディスプレイ１１５は、モニタ、タブレット、テレビ、モバイルデバイスなどであってよい。いくつかの実施形態では、ディスプレイ１１５は、環境の別の構成要素、例えば、ユーザデバイス１０５に統合されていてもよい。
【0051】
医療プロバイダ１２０は、コンピュータシステムを使用する人、コンピュータシステム、および／またはコンピュータシステムを使用するエンティティを含む、および／または表すことができる。例えば、医療プロバイダ１２０は、ＣＴスキャナなどの医療イメージングデバイス、医療イメージングデバイスを使用する病院または外来患者施設などのエンティティ、医療データ交換システムなどを含むことができる。医療プロバイダ１２０は、例えば、患者に対して医療イメージングを行うことによって、医療イメージングデータを生成するか、そうでなければ取得することができ、および／または取得された医療イメージングデータの分析を実施することができる。例えば、医療プロバイダ１２０は、患者に対してＣＴスキャンを実行し、患者の解剖学的構造の少なくとも一部の三次元モデルおよび／または二次元画像を生成することができる。医療プロバイダ１２０は、年齢、病歴などの任意の適切な患者固有の情報を取得することもできる。医療プロバイダ１２０は、環境１００の他の構成要素のうちの１つまたは複数、例えば、以下でさらに詳細に議論されるようなナビゲーションシステム１３５に、医療イメージングデータおよび／または任意の他のデータを提供し、および／または医療イメージングデータおよび／または任意の他のデータへのアクセスを提供することができる。
【0052】
データストレージシステム１２５は、サーバシステム、電子医療データシステム、ハードドライブ、フラッシュドライブ、ディスクなどのコンピュータ可読メモリを含んでいてよい。いくつかの実施形態では、データストレージシステム１２５は、他のシステム、例えば、環境の他の構成要素のうちの１つまたは複数と、データを交換するためのアプリケーションプログラミングインタフェースを含み、および／またはそれと相互作用する。データストレージシステム１２５は、医療イメージングデータのためのリポジトリまたはソースを含み、および／またはリポジトリまたはソースとして機能することができる。例えば、ＣＴスキャンから得られる医療イメージングデータは、以下でより詳細に説明するように、データストレージシステム１２５によって格納され、および／またはデータストレージシステム１２５によってナビゲーションシステム１３５に提供されてよい。
【0053】
様々な実施形態において、電子ネットワーク１３０は、ワイドエリアネットワーク（「ＷＡＮ」）、ローカルエリアネットワーク（「ＬＡＮ」）、パーソナルエリアネットワーク（「ＰＡＮ」）などであってよい。いくつかの実施形態では、電子ネットワーク１３０は、インターネットを含み、様々なシステム間で提供される情報およびデータは、オンラインで生じる。「オンライン」は、インターネットに結合された他のデバイスまたはネットワークから離れた位置からのソースデータまたは情報に接続またはアクセスすることを意味し得る。代替的に、「オンライン」は、モバイル通信ネットワークまたはデバイスを介して電子ネットワーク（有線または無線）に接続またはアクセスすることを指し得る。インターネットは、コンピュータネットワークの世界規模のシステムであり、ネットワークに接続された１つのコンピュータまたは他のデバイスにおける当事者が、任意の他のコンピュータから情報を取得し、他のコンピュータまたはデバイスの当事者と通信することができるネットワークのネットワークである。インターネットの最も広く使用されている部分は、ワールドワイドウェブ（しばしば「ＷＷＷ」と略され、または「ウェブ」と呼ばれる）である。「ウェブサイトページ」は、一般に、位置、データストアなどを包含し、それは、例えば、オンラインでアクセス可能であるようにコンピュータシステムによってホストおよび／または操作され、ウェブブラウザなどのプログラムに、データの送信、受信、または処理などの動作を実行させ、視覚表示および／または対話型インタフェースなどを生成させるように構成されたデータを含むことができる。
【0054】
以下でさらに詳細に説明するように、ナビゲーションシステム１３５は、他の活動の中でもとりわけ、（ｉ）医療デバイス１１０の遠位端２０５の位置を決定するように構成された機械学習モデルを生成、格納、訓練、または使用すること、例えば遠位端２０５の決定された位置に基づいて患者の医療イメージングデータを調整して、その位置の視覚的インジケータを含めること、ディスプレイ１１５を動作させて、調整された医療イメージングデータを表示することのうちの１つまたは複数を行うことができる。ナビゲーションシステム１３５は、機械学習モデルおよび／または機械学習モデルに関連付けられた命令、例えば、機械学習モデルを生成するための命令、機械学習モデルを訓練するための命令、機械学習モデルを使用するための命令などを含み得る。ナビゲーションシステム１３５は、医療イメージングデータを検索し、例えば機械学習モデルの出力に基づいて、医療イメージングデータを調整し、および／または例えば機械学習モデルに基づいて調整された、医療イメージングデータを出力するようにディスプレイ１１５を動作させるための命令を含むことができる。ナビゲーションシステム１３５は、訓練データ、例えば、１人または複数の個人からの医療イメージングデータおよび非光学的生体内画像データを含むことができ、グラウンドトゥルース、例えば、非光学的生体内画像データを医療イメージングデータにおける位置と関連付けるレジストレーションデータを含むことができる。
【0055】
いくつかの実施形態では、非光学的画像データは、超音波データを含む。超音波データは、一般に、それによって高周波振動のパルスが、プローブ、例えば、超音波トランスデューサを使用して組織内に伝送される超音波の患者の解剖学的構造への印加を介して生成された患者の解剖学的構造の一部分の内部構造に関連付けられたデータを含む。振動は、少なくとも部分的に、身体内の音響インピーダンスの変化を表す表面、例えば、構造または組織の幾何学的形状から反射する。トランスデューサに戻る反射された振動は、例えば、チューブ２１５内のワイヤを介して、近位端２１０上のコネクタおよび／または画像データに処理するための医療プロバイダシステム１２０に伝送され得る。画像データの生成は、振動の印加後に反射がトランスデューサに戻るのにかかる時間と、戻ってきた反射の強度とに基づく。従来のトランスデューサは、一般に、１つの次元のみにわたる信号応答の変動を受信するように構成されている。言い換えれば、トランスデューサの静的な位置に対して、超音波画像に対するピクセルデータの１つの列のみが受信され得る。したがって、画像を生成するために、トランスデューサは、一般に、データに値の列を連続的に追加および／またはリフレッシュするために、視野上で掃引され、例えば、前後に回転される。
【0056】
データは受信された反射に基づいて収集されるので、一般に、ある位置で信号を受信するために、トランスデューサは、周囲の組織と接触していなければならない。但し、特に医療デバイスが、それがナビゲートされる解剖学的構造のサイズよりも小さい直径を有する場合には、常に当てはまるわけではない。トランスデューサおよび周囲の組織に起因する空気または気体のギャップなどがあると、一般に、トランスデューサからの信号が反射されて戻ってくる。図２Ｂは、本質的に空白の超音波画像が形成されるように、空気中で動作するトランスデューサの例示的な超音波画像を示す。図２Ｃは、気道内で動作するトランスデューサの例示的な超音波画像を示し、トランスデューサの掃引の少なくとも一部にわたってトランスデューサと周囲の組織との間にギャップが存在する。このギャップにより、画像データ内に「リングダウン」アーチファクトとして知られるアーチファクト２８０が生じ、これは一般に、画像データの診断的利用を低下させると考えられる。しかしながら、画像データは、そのようなアーチファクトが存在する場合であっても、ナビゲーションの目的のために使用され得る。例えば、リングダウンアーチファクトの存在は、医療デバイスが移動している管腔の直径がデバイスに対して大きすぎることを示す可能性があり、これは、管腔の直径が減少する肺の周辺部までデバイスが十分に前進していない可能性を示すものとして機能し得る。そのようなイメージングデータのさらなる使用は、以下でより詳細に説明される。
【0057】
上述したように、いくつかの実施形態では、医療デバイス１１０は、トランスデューサアレイを含む。トランスデューサアレイは、例えば、互いに平行に配置された、例えば遠位端の外周の少なくとも一部にわたって分散された、複数のトランスデューサを含んでいてよい。その結果、センサ２２５を回転させることなく、複数列のデータを一度に感知することができる。様々な実施形態では、並列の任意の適切なトランスデューサが使用されてもよい。追加のトランスデューサは、センサ２２５の静的視野を効果的に拡大させる。様々な実施形態では、センサ２２５、医療デバイス１１０、および／または別のシステムは、並列のトランスデューサを備えたセンサを使用したデータの取得を制御し、および／または並列のトランスデューサからの信号を結合された医療イメージングデータへと結合することを制御するように構成されている。
【0058】
いくつかの実施形態では、ナビゲーションシステム１３５以外のシステムまたはデバイスが、機械学習モデルを生成および／または訓練するために使用される。例えば、そのようなシステムは、機械学習モデルを生成するための命令、訓練データおよびグラウンドトゥルース、および／または機械学習モデルを訓練するための命令を含んでいてよい。結果として得られる訓練された機械学習モデルは、次いで、ナビゲーションシステム１３５に提供されてよい。
【0059】
一般に、機械学習モデルは、訓練データの適用を介して異なる値に調整される、例えば重み付けされるかまたはバイアスされる、例えばノード、ニューロン、フィルタなどの変数のセットを含む。教師あり学習では、例えば、提供された訓練データについてグラウンドトゥルースが知られている場合、訓練は、訓練データのサンプルを、例えば、ガウスノイズや事前に訓練されたモデルなどに基づいて、ランダムに、初期化された値に設定された変数を有するモデルに供給することによって進めることができる。出力をグラウンドトゥルースと比較して誤差を決定することができ、次いで、誤差はモデルを通して逆伝播されて、変数の値を調整することができる。
【0060】
訓練は、任意の適切な方法、例えば、バッチで行われてよく、任意の適切な訓練方法、例えば、確率的または非確率的勾配降下、勾配ブースティング、ランダムフォレストなどを含んでいてよい。いくつかの実施形態では、訓練データの一部は、訓練中に与えられなくてもよく、および／または訓練された機械学習モデルを検証するために使用されてもよく、例えば、訓練されたモデルの精度を評価するために、訓練されたモデルの出力を訓練データのその部分についてのグラウンドトゥルースと比較してもよい。機械学習モデルの訓練は、機械学習モデルに、非光学的生体内画像データと医療イメージングデータとの間の関連付けを学習させるように構成されていてよく、それにより、訓練された機械学習モデルは、学習された関連付けに基づいて、入力医療イメージングデータおよび入力非光学的生体内画像データに応答して、入力医療イメージングデータ内の出力位置を決定するように構成されている。
【0061】
上述のように、機械学習モデルは、入力として医療イメージングデータおよび非光学的生体内画像データを受信するように構成されていてよい。そのようなデータは、一般に、ピクセルまたはボクセルのアレイとして表現され得る。例えば、単色二次元画像は、画像のピクセルの強度に対応する値の二次元アレイとして表され得る。例えばＣＴスキャンなどから得られる三次元イメージングデータは、三次元アレイとして表され得る。機械学習モデルの変数は、出力を生成するために入力データに対して演算を実行する。出力は、上述したように、医療イメージングデータ内の位置、例えば、三次元座標またはそれを示すデータであってよい。前述のデータの次元数は例示的なものであり、任意の適切なタイプのデータ、例えば、時間成分を有するデータが使用され得ることを理解されたい。
【0062】
様々な実施形態では、機械学習モデルの変数は、出力を生成するために、任意の適切な配列で相互に関連付けられていてよい。例えば、いくつかの実施形態では、機械学習モデルは、医療イメージングデータおよび／または非光学的生体内画像データのうちの１つまたは複数における特徴、幾何学的形状、および／または構造を識別、分離、および／または抽出するように構成された画像処理アーキテクチャを含んでいてよい。例えば、機械学習モデルは、医療イメージングデータおよび／または非光学的生体内画像データにおける特徴を識別するように構成された１つまたは複数の畳み込みニューラルネットワーク（「ＣＮＮ」）を含んでいてよく、医療イメージングデータにおける位置を決定するために、識別された特徴の間の関係を決定するように構成されたさらなるアーキテクチャ、例えば、接続層、ニューラルネットワークなどを含んでいてよい。
【0063】
いくつかの例では、訓練データおよび／または入力データの異なるサンプルは独立していないことがある。例えば、医療デバイス１１０の遠位端２０５が患者の解剖学的構造内で移動すると、現在の位置でセンサ２２５によって感知された非光学的生体内画像データは、前の位置でセンサ２２５によって感知された非光学的生体内画像データに関連する可能性がある。換言すれば、患者の解剖学的構造の幾何学的特徴のうちの１つまたは複数および遠位端２２５の連続的な移動などのファクタが、センサ２２５によって感知された非光学的生体内画像データを、関連する連続的なインスタントしてもたらし得る。したがって、いくつかの実施形態では、機械学習モデルは、複数のサンプル間の関係を説明および／または決定するように構成されていてよい。
【0064】
例えば、いくつかの実施形態では、ナビゲーションシステム１３５の機械学習モデルは、リカレントニューラルネットワーク（「ＲＮＮ」）を含んでいてよい。一般に、ＲＮＮは、一連の入力を処理することに適したフィードフォワードニューラルネットワークの一種である。いくつかの実施形態では、機械学習モデルは、長短期記憶（「ＬＳＴＭ」）モデルおよび／またはシーケンスツーシーケンス（「Ｓｅｑ２Ｓｅｑ」）モデルを含んでいてよい。ＬＳＴＭモデルは、少なくともいくつかの前のサンプルおよび／または出力を考慮に入れるサンプルから出力を生成するように構成されていてよい。Ｓｅｑ２Ｓｅｑモデルは、例えば、入力として一連の非光学的生体内画像を受信し、出力として医療イメージングデータにおける一連の位置、例えば、経路を生成するように構成されていてよい。
【0065】
図１では別個の構成要素として示されているが、環境１００の構成要素または構成要素の一部は、いくつかの実施形態では、１つまたは複数の他の構成要素と統合されていてもよく、またはその中に組み込まれてもよいことを理解されたい。例えば、ディスプレイ１１５の一部は、エンティティユーザデバイス１０５、または医療プロバイダ１２０に関連付けられたコンピュータシステムに統合されていてもよい。別の例では、ナビゲーションシステム１３５は、医療プロバイダシステム１２０および／またはデータストレージシステム１２５と統合されていてもよい。いくつかの実施形態では、上述した構成要素のうちの１つまたは複数の動作または態様は、１つまたは複数の他の構成要素間で分散されていてもよい。環境１００の様々なシステムおよびデバイスの任意の適切な配置および／または統合が使用され得る。
【0066】
機械学習モデルのさらなる態様、および／または、医療デバイスを患者の解剖学的構造内の標的部位にナビゲートするために医療デバイス１１０および／または医療処置と併せて機械学習モデルがどのように利用され得るかは、以下の方法においてさらに詳細に説明される。以下の方法では、様々な動作は、ナビゲーションシステム１３５、ユーザデバイス１０５、医療デバイス１１０、ディスプレイ１１５、医療プロバイダシステム１２０、またはそれらの構成要素など、図１からの構成要素によって実施または実行されるものとして説明することができる。しかしながら、様々な実施形態において、上述した環境１００の様々な構成要素は、命令を実行してもよく、または以下に説明する動作を含む動作を実行してもよいことを理解されたい。デバイスによって実行される動作は、そのデバイスに関連付けられたプロセッサ、アクチュエータなどによって実行されると見なされてよい。さらに、様々な実施形態では、様々なステップが任意の適切な方法で追加、省略、および／または再配置され得ることを理解されたい。
【0067】
図３は、上述した様々な例におけるような、第１の医療イメージングデータの入力と、医療デバイスの遠位端に配置されたセンサから受信された第１の非光学的生体内画像データの入力とに応答して、第１の医療イメージングデータ内の患者の解剖学的構造における医療デバイス１１０の遠位端２０５の出力位置を決定するように機械学習モデルを訓練するための例示的なプロセスを示す。ステップ３０５において、医療プロバイダ１２０は、１人または複数の個人の医療イメージングデータを取得することができる。例えば、医療プロバイダ１２０は、１人または複数の個人の解剖学的構造の一部分、例えば、個人の肺の末梢部分のＣＴスキャンを実施してよく、および／または、別のソース、例えば、データストレージシステム１１５、または病院もしくは外来患者施設などの別のエンティティから、例えば、電子医療データベースを介して、そのような医療イメージングデータを読み出してもよい。いくつかの実施形態では、個人は、１つまたは複数の基準、例えば、年齢、性別、身長、体重、および／または任意の他の適切なデモグラフィックデータに基づいて分類されていてよい。いくつかの実施形態では、個人（individual）はヒトでなくてもよい。例えば、訓練データは、ヒトに対して少なくともいくらかの解剖学的類似性を有する種、例えばブタなどを使用する動物研究から生成され得る。一般に、取得された医療イメージングデータは、各個人の解剖学的構造の部分の視覚的表現を描写するために使用可能である。
【0068】
ステップ３１０において、医療プロバイダ１２０は、１人または複数の個人の解剖学的構造の少なくとも一部分の非光学的生体内画像データを取得することができる。例えば、医療プロバイダ１２０、例えば、医師またはオペレータなどは、医療デバイス、例えば、医療デバイス１１０などを１人または複数の個人の体内に導入し、医療デバイスの遠位端がそれぞれの個人の体内の標的部位にナビゲートされる際に非光学的生体内画像データを取り込むことができる。
【0069】
いくつかの実施形態では、非光学的生体内画像データは、超音波データである。いくつかの実施形態では、医療デバイスは、トランスデューサアレイを含み、それにより、超音波データは、遠位端の掃引または回転を必要とせずに受信される。いくつかの実施形態では、非光学的生体内画像データは、解剖学的構造の内部の周囲の少なくとも一部分に関連付けられた画像データを含む。例えば、いくつかの実施形態では、非光学的生体内画像データの視野は、３０度、９０度、１８０度、３６０度などであってよい。いくつかの実施形態では、トランスデューサアレイは、例えば、トランスデューサアレイが個人の解剖学的構造内を移動するときに、トランスデューサアレイの各セグメントについてデータ値の連続シーケンスが取り込まれるように、データを連続的に取り込むように構成されている。
【0070】
ステップ３１５において、医療プロバイダ１２０は、非光学的画像データが取り込まれる際に、医療デバイスの遠位端の位置に関連付けられた位置情報を取得することができる。任意の適切なタイプの位置情報を使用することができる。いくつかの実施形態では、医療デバイス１１０の遠位端は、例えば、位置センサの三次元位置を決定するために１つまたは複数の電磁信号を使用する、電磁位置センサを含んでいてよい。いくつかの実施形態では、医療デバイスの遠位端は、医療プロバイダ１２０が、患者の解剖学的構造内の医療デバイスの遠位端の位置を視覚的に検査し、例えば、ユーザデバイス１０５を介して、そのようなデータを入力することを可能にする、光学ナビゲーション要素、例えば、カメラ、光ファイバ、レンズなどを含んでいてよい。いくつかの実施形態では、医療デバイス１１０は、光ファイバ形状感知機構を含んでいてよい。いくつかの実施形態では、位置情報は、医療デバイス１１０の形状に関連付けられた形状情報を含む。いくつかの実施形態では、外部スキャナ、例えば、ＣＴスキャナ、Ｘ線スキャナなどは、個人内の医療デバイスの移動と連動して動作させられてもよく、個人内の遠位端の位置を決定するために使用されてもよい。本方法における医療デバイスは、訓練データを生成する目的で、前述の光学的ナビゲーション要素および技術のうちのいくつかを利用し得るが、以下でさらに詳細に議論されるように、モデルを訓練するために使用される訓練データが、光学的ナビゲーションを使用する医療デバイスを用いて収集された場合であっても、そのような要素または技術が、訓練された機械学習モデルを使用する手順の間に使用される必要がないことを理解されたい。
【0071】
いくつかの実施形態では、医療プロバイダ１２０は、医療イメージングデータおよび／または非光学的生体内画像データに加えて、および／またはそれに基づいて、付加的データを取得し得る。例えば、いくつかの実施形態では、医療プロバイダ１２０は、医療イメージングデータおよび／または非光学的生体内画像データから少なくとも１つの三次元構造を抽出することができる。例えば、医療プロバイダ１２０は、医療イメージングデータに基づいて三次元モデルを生成することができる。
【0072】
ステップ３２０において、ナビゲーションシステム１３５は、取得された医療イメージングデータ、非光学的生体内画像データ、位置情報、および任意選択で付加的データを受信することができ、非光学的生体内画像データが取り込まれた位置を医療イメージングデータにおける位置に関連付けるレジストレーションデータを生成することができる。いくつかの実施形態では、レジストレーションデータを生成することは、個人の解剖学的構造を医療イメージングデータおよび／または生成された三次元モデルとレジストレーションすること、次いで、非光学的生体内画像データが取り込まれた位置を、レジストレーションされた医療イメージングデータにおける対応する位置と関連付けることとを含んでいてよい。いくつかの実施形態では、医療プロバイダは、医療イメージングデータから抽出された構造の位置を、非光学的生体内画像データから抽出された類似する構造にレジストレーションすることができる。構造的類似性の任意の適切な尺度が使用され得る。いくつかの実施形態では、医療プロバイダ１２０は、例えば、医療イメージングデータに対する位置情報を設定、調整、または微調整するために、ユーザ入力を受信するように構成されていてよい。例えば、いくつかの実施形態では、ディスプレイ１１５は、光学的ナビゲーション要素の出力と併せて医療イメージングデータを出力し、ユーザが、医療イメージングデータにおける医療デバイスの遠位端の現在位置の位置を設定、選択、調整、または同調することを可能にしてもよい。いくつかの実施形態では、医療デバイス１１０の形状は、医療イメージングデータの幾何学的形状にレジストレーションされていてよい。上記は単なる例であり、位置情報を使用して医療イメージングデータと非光学的生体内画像データとをレジストレーションするための任意の適切な技術が使用されてよい。
【0073】
ステップ３２５において、ナビゲーションシステム１３５は、１人または複数の個人の解剖学的構造の少なくとも一部分の医療イメージングデータおよび非光学的生体内画像データを、訓練データとして機械学習モデルに入力することができる。いくつかの実施形態では、訓練データは、バッチで入力される。いくつかの実施形態では、訓練データの少なくとも一部は、検証データとして使用されるために、機械学習モデルに与えられない。いくつかの実施形態では、訓練データは、１人または複数の個人の各々に対応するそれぞれのシーケンスとして入力される。
【0074】
ステップ３３０において、ナビゲーションシステム１３５は、グラウンドトゥルースとして、機械学習モデルにレジストレーションデータを入力することができる。いくつかの実施形態では、ステップ３３０は、ステップ３２５と同時に、並行して、または順番に、例えば交互に実行される。
【0075】
ステップ３３５において、ナビゲーションシステム１３５は、訓練データおよびグラウンドトゥルースを機械学習モデルとともに使用して、医療デバイスの遠位端の出力位置を決定するために機械学習モデルによって使用可能な非光学的生体内画像データと医療イメージングデータとの間の関連付けを開発することができる。例えば、ナビゲーションシステム１３５は、例えば、訓練データの各サンプル、訓練データのバッチなどについて、機械学習モデルを使用して、訓練データとグラウンドトゥルースとの間の誤差を決定し、機械学習モデルの１つの態様を調整するために誤差を逆伝播させることができる。機械学習モデルの態様、例えば、変数、重み、バイアス、ノード、ニューロンなどを調整することによって、機械学習モデルは、医療デバイスの遠位端の出力位置を決定するために機械学習モデルによって使用可能な非光学的生体内画像データと医療イメージングデータとの間の関連付けを学習するように訓練される。
【0076】
いくつかの実施形態では、関連付けを学習することによって、機械学習モデルは、第１の非光学的生体内画像データを使用して、第１の医療イメージングデータにおける以前の位置からの医療デバイス１１０の遠位端２０５の移動経路を予測することによって、第１の医療イメージングデータにおける医療デバイス１１０の遠位端２０５の位置を決定するように構成されていてよい。例えば、いくつかの実施形態では、機械学習モデルおよび／またはナビゲーションシステム１３５は、経時的に遠位端２０５の位置を追跡および／または格納し、および／または以前の位置に基づいて遠位端２０５の現在位置を決定するように構成されていてよい。例示的な実施形態では、機械学習モデルは、例えば、上記の例のうちの１つまたは複数において議論されたように、長短期記憶ネットワークまたはシーケンスツーシーケンスモデルのうちの１つまたは複数を含んでいてよい。
【0077】
いくつかの実施形態では、機械学習モデルは、医療デバイス１１０の形状、例えば、医療デバイス１１０が動かされると経時的に変化する形状と、医療イメージングデータ内の遠位端２０５の位置との間の関連付けを学習するように構成されている。
【0078】
いくつかの実施形態では、機械学習モデルは、非光学的生体内画像データに基づいて決定される一連の寸法または測定値、例えば、体管腔の断面直径などの直径と、医療イメージングデータ内の移動経路との間の関連付けを学習するように構成されている。例えば、いくつかの実施形態では、医療プロバイダ１２０および／またはナビゲーションシステム１３５は、医療イメージングデータにおける位置の直径を決定することができ、および／または非光学的生体内画像データについての直径を決定することができ、そのような決定された直径を機械学習モデルへのさらなる入力として使用することができる。いくつかの実施形態では、医療イメージングデータにおける位置の直径は、医療イメージングデータに関連付けられた解剖学的構造の部分の幾何学的形状に基づいて決定され得る。いくつかの実施形態では、医療イメージングデータおよび非光学的生体内画像データにおける位置の直径は、訓練データとして使用され、位置の決定された直径は、機械学習モデル、および／または非光学的生体内画像データの入力に応答して直径を出力するように構成された別の機械学習モデルのためのグラウンドトルースとして使用される。非光学的生体内画像データに基づいて解剖学的構造の内部部分の直径を決定するための任意の適切な技術が使用され得る。上記の実施形態のうちのいくつかは直径に関するが、少なくともいくつかの実施形態では、寸法または測定値は、円または円の近似に限定されず、任意の適切な寸法、測定値、および／または幾何学的形状が使用されてもよいことを理解されたい。
【0079】
任意選択で、ステップ３４０において、ナビゲーションシステム１３５は、訓練された機械学習モデルを検証することができる。例えば、ナビゲーションシステム１３５は、訓練データ、例えば、訓練中に機械学習モデルに与えられなかった訓練データの一部を検証データとして入力し、訓練された機械学習モデルを使用して、医療イメージングデータ内の出力位置を生成することができる。次いで、ナビゲーションシステム１３５は、生成された出力の位置を、入力検証データに対応するグラウンドトゥルースのレジストレーションデータからの位置と比較して、訓練された機械学習モデルの精度を生成することができる。例えば、ナビゲーションシステム１３５は、出力における各位置とレジストレーションデータにおける対応する位置との間の平均距離に基づいて精度を決定することができる。任意の適切な精度尺度を使用することができる。ナビゲーションシステム１３５は、精度が所定の閾値を上回るかまたは下回るかに基づいて、機械学習モデルの訓練をそれぞれ検証または拒絶することができる。
【0080】
図４は、例えば、上述の１つまたは複数の実施形態に従って訓練された機械学習モデルなどの訓練された機械学習モデルを利用することによって、医療デバイスの生体内ナビゲーションを提供するための例示的なプロセスを示す。ステップ４０５において、ナビゲーションシステム１３５は、患者の解剖学的構造の少なくとも一部分に関連付けられた第１の医療イメージングデータを受信することができる。第１の医療イメージングデータは、患者のＣＴスキャンなどに関連付けられていてよい。第１の医療イメージングデータは、データストレージシステム１２５から受信され得る。例えば、第１の医療イメージングデータは、例えば、患者の医療イメージングを介して、以前の時間に、例えば、手術前に取得されていてよい。第１の医療イメージングデータは、医療プロバイダ１２０から、例えば、本方法と連動して動作するＣＴスキャナなどの医療イメージング走査デバイスから受信され得る。解剖学的構造の少なくとも一部分は、患者の肺の周辺部であってよい。第１の医療イメージングデータは、患者の解剖学的構造内の標的部位、例えば、アブレーションされるべき望ましくない組織の位置、病変などの病気または疾病の位置、異物、または任意の他の適切な医学的に関連する位置を識別することができる。
【0081】
ステップ４１０において、医療プロバイダ１２０は、医療デバイス１１０の遠位端２０５を患者の体内に挿入し、遠位端２０５を標的部位に向かって前進させることができる。例えば、医療プロバイダ１２０は、遠位端２０５を患者の体内に、気管支的に、内視鏡的に、腹腔鏡的に、または任意の他の適切な技術を介して挿入することができる。
【0082】
ステップ４１５において、ナビゲーションシステム１３５は、医療デバイス１１０の遠位端２０５に配置されたセンサから第１の非光学的生体内画像データを受信することができる。第１の非光学的生体内画像データは、超音波データを含んでいてよい。センサは、超音波トランスデューサを含んでいてよい。超音波トランスデューサは、トランスデューサアレイであってよい。第１の非光学的生体内画像データは、例えば、３０度、９０度、１８０度、３６０度などの視野を有する、円周の掃引にわたって延在する非光学的画像データを含んでいてよく、それにより、センサを掃引または回転させることなく視野を取得することができる。第１の非光学的画像データは、例えば、医療デバイス１１０の近位端２１０上のインタフェースを介して受信され得る。
【0083】
任意選択で、ステップ４２０において、ナビゲーションシステム１３５は、例えばインタフェースを介して、医療デバイス１１０の遠位端２０５に近接して配置された位置センサから位置信号を受信することができる。位置信号は、位置センサの位置を所定の領域に限定（localize）するために使用可能な情報を含んでいてよい。例えば、位置信号は、約６インチ、３インチ、１インチなどの精度の三次元位置情報を含んでいてよい。様々な実施形態では、位置センサは、例えば、電磁位置センサ、光ファイバ形状感知機構など、またはそれらの組み合わせを含んでいてよい。いくつかの実施形態では、位置信号は、医療デバイス１１０の形状などに関連する情報を含む。
【0084】
任意選択で、ステップ４２５において、ナビゲーションシステム１３５は、第１の医療イメージングデータまたは第１の非光学的生体内画像データのうちの１つまたは複数から１つまたは複数の三次元構造を抽出することができる。いくつかの実施形態では、ステップ４０５で受信されるデータは、１つまたは複数の抽出された構造、例えば、患者の解剖学的構造の幾何学的三次元モデルなどを含んでいてよい。いくつかの実施形態では、抽出された構造は、患者の解剖学的構造の内部部分の直径を含む。
【0085】
ステップ４３０において、ナビゲーションシステム１３５は、訓練された機械学習モデル、例えば、図３の方法および／または上述した他の実施形態に従って訓練されたモデルを使用して、第１の医療イメージングデータにおける医療デバイス１１０の遠位端２０５の位置を決定することができる。例えば、訓練された機械学習モデルは、（ｉ）訓練データとしての１人または複数の個人の解剖学的構造の少なくとも一部分の第２の医療イメージングデータおよび第２の非光学的生体内画像データ、および（ｉｉ）グラウンドトゥルースとして第２の医療イメージングデータにおける位置に第２の非光学的生体内画像データを関連付けるレジストレーションデータに基づいて訓練されていてよい。訓練は、訓練された機械学習モデルに、非光学的生体内画像データと医療イメージングデータとの間の関連付けを学習させるように構成されていてよく、それにより、訓練された機械学習モデルは、学習された関連付けに基づいて、入力医療イメージングデータおよび入力非光学的生体内画像データに応答して、入力医療イメージングデータ内の出力位置を決定するように構成されている。いくつかの実施形態では、訓練された機械学習モデルは、長短期記憶ネットワークまたはシーケンスツーシーケンスモデルのうちの１つまたは複数を含む。
【0086】
いくつかの実施形態では、ナビゲーションシステム１３５は、位置信号を使用して、医療デバイスの遠位端の位置を患者の解剖学的構造の部分内の領域に限定することができる。いくつかの実施形態では、ナビゲーションシステム１３５は、訓練された機械学習モデルへの第１の医療イメージングデータ入力を、限定された領域のみに制限する。いくつかの実施形態では、ナビゲーションシステム１３５は、訓練された機械学習モデルのさらなる入力として、限定された領域を入力する。いくつかの実施形態では、訓練された機械学習モデルは、入力として位置信号を受信するようにさらに構成されている。いくつかの実施形態では、位置信号は、三次元座標、三次元領域またはボリューム、例えば光ファイバ形状センサに関連付けられた医療デバイス１１０の形状などのうちの１つまたは複数を含む。
【0087】
いくつかの実施形態では、ナビゲーションシステム１３５は、第１の非光学的生体内画像データから抽出された少なくとも１つの構造を、第１の医療イメージングデータにおける患者の解剖学的構造の少なくとも一部分の幾何学的形状、例えば、第１の医療イメージングデータから抽出された少なくとも１つの構造にレジストレーションするように構成されている。いくつかの実施形態では、医療デバイス１１０の遠位端２０５の位置の決定は、少なくとも１つの三次元構造の幾何学的形状とのレジストレーションにさらに基づく。例えば、レジストレーションおよび／または１つまたは複数の抽出された構造は、訓練された機械学習モデルへのさらなる入力として使用されてもよい。別の例では、レジストレーションを使用して、位置を決定するために解剖学的構造の限定された領域を識別することができる。
【0088】
いくつかの実施形態では、訓練された機械学習モデルは、非光学的生体内画像データと、寸法または測定値、例えば、解剖学的構造の内部部分の直径との間の関連付けを学習するように訓練された。いくつかの実施形態では、ナビゲーションシステム１３５は、訓練された機械学習モデルを使用して、医療デバイス１１０の遠位端２０５の現在の位置における患者の解剖学的構造の内部部分の直径を決定することができる。いくつかの実施形態では、ナビゲーションシステム１３５は、例えば、医療デバイス１１０の遠位端２０５の位置を決定するために、現在の直径を医療イメージングデータの幾何学的形状と比較して、決定された直径に一致する医療イメージングデータにおける位置を識別することができる。
【0089】
いくつかの実施形態では、訓練された機械学習モデルは、非光学的生体内画像データの一連の非光学的生体内画像と医療イメージングデータ内の移動経路との間の関連付けを学習するように訓練された。いくつかの実施形態では、訓練された機械学習モデルは、第１の非光学的生体内画像データを使用して、第１の医療イメージングデータにおける以前の位置からの医療デバイスの遠位端２０５の移動経路を予測することによって、第１の医療イメージングデータにおける医療デバイス１１０の遠位端２０５の位置を決定するように構成されている。例えば、いくつかの実施形態では、訓練された機械学習モデルは、第１の医療イメージングデータおよび第１の非光学的生体内画像データにおける一連の非光学的生体内画像を入力として受け入れ、第１の医療イメージングデータにおける一連の位置、例えば経路を出力として生成するように構成されていてよい。
【0090】
いくつかの実施形態では、訓練された機械学習モデルは、例えば、非光学的生体内画像データに基づいて決定された直径などの一連の寸法または測定値と、医療イメージングデータ内の移動経路との間の関連付けを学習するように訓練された。訓練された機械学習モデルは、第１の非光学的生体内画像データを使用して、第１の医療イメージングデータにおける以前の位置からの医療デバイス１１０の遠位端２０５の移動経路を示すシーケンスを予測することによって、第１の医療イメージングデータにおける医療デバイス１１０の遠位端２０５の位置を決定するように構成されていてよい。
【0091】
ステップ４３５において、ナビゲーションシステム１３５は、医療デバイスの遠位端の決定された位置を示す位置インジケータを含むように第１の医療イメージングデータを修正することができる。様々な実施形態では、位置インジケータは、遠位端２０５の位置を示すグラフィックまたはオブジェクト、例えば、矢印、円などの幾何学的形状、遠位端２０５の経路を示すグラフィックまたはオブジェクト、例えば、実線、破線、通過した第１の医療イメージングデータの部分（複数可）の着色などのうちの１つまたは複数を含み得る。いくつかの実施形態では、位置インジケータは、医療イメージングデータ内の医療デバイス１１０および／または遠位端２０５の表現を含む。いくつかの実施形態では、第１の医療イメージングデータは、第１の医療イメージングデータまたは第１の非光学的生体内画像データのうちの１つまたは複数から抽出された少なくとも１つの構造の描写を含むようにさらに調整されてよい。いくつかの実施形態では、第１の医療イメージングデータは、遠位端２０５の現在位置における患者の解剖学的構造のレンダリングまたは三次元モデルを含むようにさらに調整されてよい。いくつかの実施形態では、第１の医療イメージングデータは、第１の非光学的生体内画像データに基づいて生成された画像を含むようにさらに調整されてよい。いくつかの実施形態では、第１の医療イメージングデータは、遠位端２０５と標的部位との間の距離、または例えば、ナビゲーションシステム１３５によって決定されるような、標的部位が遠位端２０５によって到達されたという確認などの付加的データの視覚的描写を含むようにさらに調整されてよい。
【0092】
ステップ４４０において、ナビゲーションシステム１３５は、ディスプレイ１１５に、位置インジケータを含む修正された第１の医療イメージングデータを出力させることができる。例えば、ディスプレイ１１５は、医療イメージングデバイスの遠位端２０５の現在位置を識別する位置インジケータとともに、第１の医療イメージングデータを患者の解剖学的構造のマップとして示すことができる。
【0093】
図４Ｂおよび図４Ｃは、ナビゲーションシステム１３５によって生成され得る出力４７５の異なる例示的な実施形態を示す。図４Ｂおよび図４Ｃに示すように、ナビゲーションシステム１３５によって生成される出力４７５は、患者の解剖学的構造の少なくとも一部分を示す医療イメージングデータ４７７、医療イメージングデータ４７７に重ね合わされ、医療デバイス１１０の現在および／または過去の位置を示す位置情報４７９および／または経路情報４８１、医療イメージングデータの対応する位置に重ね合わされた超音波画像データ４８３などのうちの１つまたは複数を含むことができる。
【0094】
いくつかの実施形態では、ナビゲーションシステム１３５、ユーザデバイス１０５、ディスプレイ１１５のタッチスクリーン入力などは、ユーザ１４０からの入力を受信して、例えば、第１の医療イメージングデータの視点を操作し、第１の非光学的生体内画像データまたは上述の付加的データに基づいて生成された画像などのさらなる情報を出力に含める、移動させる、調整する、および／または除去するように構成されている。
【0095】
図４Ａ（図４Ａ－１および図４Ａ－２）に戻ると、任意選択で、ステップ４４５において、医療プロバイダ１２０は、医療デバイス１１０を移動させることができ、それにより、例えば、患者の解剖学的構造内の遠位端２０５の位置が変化する。
【0096】
任意選択で、ステップ４５０において、例えば医療デバイス１１０の遠位端２０５の新しい位置を考慮するために、ステップ４１５～ステップ４４０のうちの１つまたは複数が繰り返されてもよい。例えば、ナビゲーションシステム１３５は、センサからさらなる非光学的生体内画像データを受信してもよく、訓練された機械学習モデルを使用して、さらなる非光学的生体内画像データに基づいて医療デバイス１１０の遠位端２０５の更新された位置を決定してもよい。さらに、ナビゲーションシステム１３５は、医療デバイス１１０の遠位端２０５の更新された位置に基づいて位置インジケータを調整するように第１の医療イメージングデータを更新することができ、更新された第１の医療イメージングデータを出力するようにディスプレイ１１５を更新することができる。いくつかの実施形態では、そのような繰り返しは、リアルタイムまたはほぼリアルタイムで行われてよく、それにより、ディスプレイ１１５は、医療デバイス１１０の遠位端２０５のライブ位置を出力するように構成される。
【0097】
任意選択で、ステップ４５５において、ナビゲーションは、遠位端２０５が標的部位に到達したとナビゲーションシステム１３５が決定すると、ディスプレイ１１５に標的部位確認を出力させるように構成されていてよい。
【0098】
任意選択で、ステップ４６０において、医療プロバイダ１２０は、医療デバイス１１０を使用して標的部位において処置を実施することができる。例えば、医療プロバイダは、標的部位で組織を切除するために、エンドエフェクタ２３０、例えば、アブレーションデバイスを作動させることができる。
【0099】
任意選択で、ステップ４６５において、ナビゲーションシステム１３５および／または医療プロバイダは、遠位端２０５にあるセンサから受信されるさらなる非光学的生体内画像データに基づいて、処置の完了を確認することができる。例えば、処置は、患者の解剖学的構造の幾何学的形状に対する修正を伴い得る。ナビゲーションシステム１３５は、患者の解剖学的構造の１つまたは複数の修正された構造を抽出し、修正された構造（複数可）を以前に抽出された構造（複数可）と比較するように構成されていてよい。例えば、第１の医療イメージングデータは、切除されるべき組織を識別していてもよく、ナビゲーションシステム１３５は、当該組織が切除されたか、または患者内に依然として残っているかを識別するように構成されていてよい。
【0100】
ステップ４７０において、医療プロバイダ１２０は、患者の身体から医療デバイス１１０を引き抜くことができる。いくつかの実施形態では、医療プロバイダ１２０は、医療デバイス１１０を処分してもよい。
【0101】
本開示における実施形態は例示的なものにすぎず、他の実施形態は、他の実施形態からの特徴の様々な組み合わせ、ならびに追加のまたはより少ない特徴を含み得ることを理解されたい。例えば、上記の実施形態のいくつかは、肺の周辺内の組織のアブレーションに関する。しかしながら、任意の適切な処置が使用され得る。さらに、上記の実施形態のいくつかは超音波に関するが、任意の適切な非光学的画像モダリティまたは技術が使用されてもよい。例示的な実施形態では、センサの代わりに、またはそれに加えて、医療デバイス１１０は、遠位端２０５の位置感知のために使用可能である、光ファイバライトおよび受信機光ファイバを含む。
【0102】
一般に、図３および図４に示されるプロセスなど、コンピュータ実装可能であると理解される本開示で説明する任意のプロセスまたは動作は、上述したような、図１の環境１００のシステムまたはデバイスのうちの任意のものなど、コンピュータシステムの１つまたは複数のプロセッサによって実行することができる。１つまたは複数のプロセッサによって実行されるプロセスまたはプロセスステップは、動作とも呼ばれ得る。１つまたは複数のプロセッサは、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにプロセスを実行させる命令（例えば、ソフトウェアまたはコンピュータ可読コード）へのアクセスを有することによって、そのようなプロセスを実行するように構成され得る。命令は、コンピュータシステムのメモリに格納されていてよい。プロセッサは、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または任意の適切なタイプの処理ユニットであってよい。
【0103】
上記の例におけるプロセスまたは動作を実装するシステムまたはデバイスなどのコンピュータシステムは、図１におけるシステムまたはデバイスのうちの１つまたは複数などの１つまたは複数のコンピューティングデバイスを含み得る。コンピュータシステムの１つまたは複数のプロセッサは、単一のコンピューティングデバイスに含まれていてもよく、または複数のコンピューティングデバイス間に分散されていてもよい。コンピュータシステムのメモリは、複数のコンピューティングデバイスの各コンピューティングデバイスのそれぞれのメモリを含むことができる。
【0104】
図５は、本開示の例示的な実施形態による、図３および図４の方法を実行するためのデバイスとして構成され得るコンピュータ５００の簡略化された機能ブロック図である。例えば、コンピュータ５００は、本開示の例示的な実施形態によるナビゲーションシステム１３５および／または別のシステムとして構成され得る。様々な実施形態において、本明細書におけるシステムのうちの任意のものは、例えば、パケットデータ通信のためのデータ通信インタフェース５２０を含むコンピュータ５００であってよい。コンピュータ５００は、プログラム命令を実行するための１つまたは複数のプロセッサの形態の中央処理ユニット（「ＣＰＵ」）５０２も含んでいてよい。コンピュータ５００は、内部通信バス５０８と、コンピュータ可読媒体５２２上にデータを格納することができるストレージユニット５０６（ＲＯＭ、ＨＤＤ、ＳＤＤなど）とを含むことができるが、コンピュータ５００は、ネットワーク通信を介してプログラミングおよびデータを受信することができる。コンピュータ５００は、本明細書で提示される技術を実行するための命令５２４を格納するメモリ５０４（ＲＡＭなど）も有し得るが、命令５２４は、コンピュータ５００の他のモジュール（例えば、プロセッサ５０２および／またはコンピュータ可読媒体５２２）内に一時的にまたは永続的に格納されてもよい。コンピュータ５００は、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入出力デバイスと接続するための入出力ポート５１２および／またはディスプレイ５１０も含んでいてよい。様々なシステム機能は、処理負荷を分散させるために、複数の類似のプラットフォーム上で、分散方式で実装され得る。代替的に、システムは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。
【0105】
本技術のプログラム態様は、典型的には、あるタイプの機械可読媒体で搬送または具現化される実行可能コードおよび／または関連データの形態の「製品」または「製造品」と考えることができる。「ストレージ」タイプの媒体は、ソフトウェアプログラミングのためにいつでも非一時的ストレージを提供することができる、様々な半導体メモリ、テープドライブ、ディスクドライブなどの、コンピュータ、プロセッサなどの有形メモリ、またはそれらの関連モジュールのいずれかまたはすべてを含む。ソフトウェアのすべてまたは一部は、インターネットまたは様々な他の電気通信ネットワークを介して通信されることがある。そのような通信は、例えば、１つのコンピュータまたはプロセッサから別のコンピュータまたはプロセッサへの、例えば、モバイル通信ネットワークの管理サーバまたはホストコンピュータからサーバのコンピュータプラットフォームへの、および／またはサーバからモバイルデバイスへのソフトウェアのロードを可能にし得る。したがって、ソフトウェア要素を担持することができる別のタイプの媒体は、ローカルデバイス間の物理インタフェースにわたって、有線および光地上通信線ネットワークを通して、および様々なエアリンクを介して使用されるような、光、電気、および電磁波を含む。有線または無線リンク、光リンクなど、そのような波を搬送する物理的要素も、ソフトウェアを担持する媒体とみなすことができる。本明細書で使用される場合、非一時的有形「ストレージ」媒体に限定されない限り、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
【0106】
開示される方法、デバイス、およびシステムは、データを送信することを例示的に参照して説明されるが、開示される実施形態は、デスクトップまたはラップトップコンピュータ、自動車エンターテインメントシステム、ホームエンターテインメントシステムなど、任意の環境に適用可能であることを理解されたい。また、開示された実施形態は、任意のタイプのインターネットプロトコルに適用可能であってよい。
【0107】
本発明の例示的な実施形態の上記の説明において、本発明の様々な特徴は、開示を合理化し、様々な発明の態様のうちの１つまたは複数の理解を助ける目的で、単一の実施形態、図、またはその説明にまとめられる場合があることを理解されたい。しかしながら、この開示方法は、請求される発明が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の態様は、前述の開示された単一の実施形態のすべての特徴よりも少ない特徴にある。したがって、詳細な説明に続く特許請求の範囲は、本明細書によってこの詳細な説明に明確に組み込まれ、各請求項は、本発明の別個の実施形態として独立している。
【0108】
さらに、本明細書に記載されるいくつかの実施形態は、他の実施形態に含まれるいくつかの特徴を含み、他の特徴は含まないが、当業者によって理解されるように、異なる実施形態の特徴の組み合わせは、本発明の範囲内にあり、異なる実施形態を形成することが意図される。例えば、以下の特許請求の範囲において、請求される実施形態のうちの任意のものが、任意の組み合わせで使用され得る。
【0109】
したがって、特定の実施形態を説明してきたが、当業者であれば、本発明の技術思想から逸脱することなく他の修正およびさらなる修正をそれに対して行うことができ、本発明の範囲内に入るそのようなすべての変更および修正を請求することが意図されていることを認識するであろう。例えば、機能がブロック図に追加または削除されてもよく、動作が機能ブロック間で交換されてもよい。ステップは、本発明の範囲内で説明される方法に追加または削除されてもよい。
【0110】
上記で開示された主題は、限定ではなく例示であると見なされるべきであり、添付の特許請求の範囲は、本開示の真の技術思想および範囲内に入るすべてのそのような修正、強化、および他の実装を包含することが意図されている。したがって、法律によって許容される最大限まで、本開示の範囲は、以下の特許請求の範囲およびそれらの均等物の最も広い許容可能な解釈によって決定されるべきであり、前述の詳細な説明によって制限または限定されるべきではない。本開示の様々な実装形態について説明してきたが、本開示の範囲内でより多くの実装形態が可能であることが当業者には明らかであろう。したがって、本開示は、添付の特許請求の範囲およびそれらの均等物を考慮することを除いて制限されるべきではない。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4A-1】
【図4A-2】
【図4B】
【図4C】
【図5】
【国際調査報告】