知財求人 - 知財ポータルサイト「IP Force」
特許7462672超音波撮像におけるセグメンテーション及びビューガイダンス並びに関連するデバイス、システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-28
(45)【発行日】2024-04-05
(54)【発明の名称】超音波撮像におけるセグメンテーション及びビューガイダンス並びに関連するデバイス、システム及び方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20240329BHJP
【ＦＩ】
A61B8/14
【請求項の数】
15
(21)【出願番号】P 2021558735
(86)(22)【出願日】2020-03-30
(65)【公表番号】
(43)【公表日】2022-05-25
(86)【国際出願番号】 EP2020058898
(87)【国際公開番号】W WO2020201183
(87)【国際公開日】2020-10-08
【審査請求日】2023-03-29
(31)【優先権主張番号】62/828,185
(32)【優先日】2019-04-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/964,715
(32)【優先日】2020-01-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】チェン アルヴィン
(72)【発明者】
【氏名】ヴァイジャ クナル
(72)【発明者】
【氏名】リー ブライアン
(72)【発明者】
【氏名】パイ ライカル ヴィプル シュリハリ
(72)【発明者】
【氏名】ズン ミンシン
(72)【発明者】
【氏名】バーラト シャム
(72)【発明者】
【氏名】ジャイン アーミート クマー
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】特表２０１９－５０８０７２（ＪＰ，Ａ）
【文献】特開２０１８－１３４３８６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／００５９８５１（ＵＳ，Ａ１）
【文献】B. Khanal et al.，EchoFusion: Tracking and Reconstruction of Objects in 4D Freehand Ultrasound Imaging Without External Trackers，Data Driven Treatment Response Assessment and Preterm, Perinatal, and Paediatric Image Analysis，2018年09月15日，Vol. 11076，pp. 117-127，DOI: 10.1007/978-3-030-00807-9_12
【文献】X. Yang et al.，Fine-Grained Recurrent Neural Networks for Automatic Prostate Segmentation in Ultrasound Images，Proceedings of the AAAI Conference on Artificial Intelligence，2017年02月12日，Vol. 31, No. 1，pp. 1633-1639，DOI: 10.1609/aaai.v31i1.10761
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００ － ８／１５
Ｇ０６Ｎ ３／０４４
Ｇ０６Ｔ １／００ － １／６０
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ１６Ｈ ３０／００ － ３０／４０
Ｇ１６Ｈ ５０／００ － ５０／８０
(57)【特許請求の範囲】
【請求項1】
超音波撮像デバイスと通信するプロセッサ回路を備える、超音波撮像システムであって、前記プロセッサ回路は、前記超音波撮像デバイスから、ある期間にわたって運動物体の入力画像フレームの時間的シーケンスを受信することであって、前記運動物体は、患者の解剖学的組織又は前記患者の解剖学的組織を通って移動する医療デバイスのうちの少なくとも１つを含み、前記運動物体の一部は、前記入力画像フレームのシーケンスの第１の入力画像フレームにおいて少なくとも部分的に不可視的である、受信することと、
画像セグメンテーションに関連付けられた回帰型予測ネットワークを前記入力画像フレームのシーケンスに適用して、セグメンテーションデータを生成することであって、前記回帰型予測ネットワークは、前記入力画像フレームのシーケンスに保持された時間的情報に基づいて前記運動物体の運動及び／又は位置を予測し、前記回帰型予測ネットワークは、次の画像フレームの予測のための入力として現在の画像フレームに関する予測を渡すための深層学習ネットワークを含む、生成することと、
前記セグメンテーションデータに基づいて出力画像フレームのシーケンスを、前記プロセッサ回路と通信するディスプレイに出力することであって、前記運動物体の前記一部は、前記出力画像フレームのシーケンスの第１の出力画像フレームにおいて完全に可視的であり、前記第１の出力画像フレーム及び前記第１の入力画像フレームは前記期間内における同一の時間的瞬間に関連付けられている、出力することと
を行う、超音波撮像システム。
【請求項2】
前記回帰型予測ネットワークを適用する前記プロセッサ回路は更に、前記入力画像フレームのシーケンスの以前の入力画像フレームに基づいて以前のセグメンテーションデータを生成することであって、前記以前の入力画像フレームは前記第１の入力画像フレームよりも前に受信される、生成することと、
前記第１の入力画像フレーム及び前記以前のセグメンテーションデータに基づいて、第１のセグメンテーションデータを生成することと
を行う、請求項１に記載の超音波撮像システム。
【請求項3】
前記以前のセグメンテーションデータを生成する前記プロセッサ回路は、畳み込みエンコーダ及び回帰型ニューラルネットワークを前記以前の入力画像フレームに適用することを行い、前記第１のセグメンテーションデータを生成する前記プロセッサ回路は、
前記畳み込みエンコーダを前記第１の入力画像フレームに適用して、エンコード済みのデータを生成することと、
前記回帰型ニューラルネットワークを前記エンコード済みのデータ及び前記以前のセグメンテーションデータに適用することと
を行い、
前記回帰型予測ネットワークを適用する前記プロセッサ回路は更に、
畳み込みデコーダを前記第１のセグメンテーションデータ及び前記以前のセグメンテーションデータに適用すること
を行う、請求項２に記載の超音波撮像システム。
【請求項4】
前記畳み込みエンコーダ、前記回帰型ニューラルネットワーク、及び前記畳み込みデコーダは、複数の空間的解像度において動作する、請求項３に記載の超音波撮像システム。
【請求項5】
前記運動物体は、前記患者の解剖学的組織を通って移動する前記医療デバイスを含み、前記畳み込みエンコーダ、前記回帰型ニューラルネットワーク、及び前記畳み込みデコーダは、前記患者の解剖学的組織から前記医療デバイスを識別し、前記患者の解剖学的組織を通って移動する前記医療デバイスに関連付けられた運動を予測するように訓練される、請求項３に記載の超音波撮像システム。
【請求項6】
前記運動物体は、心臓運動、呼吸運動、又は動脈パルスのうちの少なくとも１つを有する前記患者の解剖学的組織を含み、前記畳み込みエンコーダ、前記回帰型ニューラルネットワーク、及び前記畳み込みデコーダは、前記患者の解剖学的組織の静的部分から前記患者の解剖学的組織の運動部分を識別し、前記運動部分に関連付けられた運動を予測するように訓練される、請求項３に記載の超音波撮像システム。
【請求項7】
前記運動物体は前記患者の解剖学的組織を通って移動する前記医療デバイスを含み、前記超音波撮像システムは前記医療デバイスを備える、請求項１に記載の超音波撮像システム。
【請求項8】
前記医療デバイスは、ニードル、ガイドワイヤ、カテーテル、誘導式カテーテル、療法デバイス、又は介入デバイスのうちの少なくとも１つを備える、請求項７に記載の超音波撮像システム。
【請求項9】
前記入力画像フレームは、２次元的画像フレーム又は３次元的画像フレームのうちの少なくとも１つを含む、請求項１に記載の超音波撮像システム。
【請求項10】
前記プロセッサ回路は更に、前記セグメンテーションデータに基づいて前記入力画像フレームのシーケンスにスプラインフィッティングを適用することを行う、請求項１に記載の超音波撮像システム。
【請求項11】
前記超音波撮像デバイスを更に備え、前記超音波撮像デバイスは、前記入力画像フレームのシーケンスを取得する超音波トランスデューサアレイを備える、請求項１に記載の超音波撮像システム。
【請求項12】
超音波画像を処理する方法であって、前記方法は、超音波撮像デバイスから、ある期間にわたって患者の解剖学的組織を表す画像フレームのシーケンスを受信するステップと、
画像取得に関連付けられた回帰型予測ネットワークを前記画像フレームのシーケンスに適用して、前記患者の解剖学的組織の臨床的特性に関連付けられた撮像平面データを生成するステップであって、前記回帰型予測ネットワークは、前記画像フレームのシーケンスに保持された時間的情報に基づいて前記患者の解剖学的組織の運動及び／又は位置を予測し、前記回帰型予測ネットワークは、次の画像フレームの予測のための入力として現在の画像フレームに関する予測を渡すための深層学習ネットワークを含む、生成するステップと、
前記患者の解剖学的組織の目標撮像平面と、前記目標撮像平面に向かって前記超音波撮像デバイスを再度位置決めするための命令とのうちの少なくとも１つをディスプレイに出力するステップと
を有する、方法。
【請求項13】
前記回帰型予測ネットワークを適用するステップは、前記画像フレームのシーケンスの第１の画像フレームに基づいて第１の撮像平面データを生成するステップと、
前記画像フレームのシーケンスの第２の画像フレーム及び前記第１の撮像平面データに基づいて第２の撮像平面データを生成するステップとを有し、前記第２の画像フレームは、前記第１の画像フレームの後に受信される、
請求項１２に記載の方法。
【請求項14】
前記第１の撮像平面データを生成するステップは、畳み込みエンコーダ及び回帰型ニューラルネットワークを前記第１の画像フレームに適用するステップ
を有し、
前記第２の撮像平面データを生成するステップは、
前記畳み込みエンコーダを前記第１の画像フレームに適用して、エンコード済みのデータを生成するステップと、
前記回帰型ニューラルネットワークを前記エンコード済みのデータ及び前記第１の撮像平面データに適用するステップと
を有し、
前記回帰型予測ネットワークを適用するステップは、
畳み込みデコーダを前記第１の撮像平面データ及び前記第２の撮像平面データに適用するステップ
を有する、請求項１３に記載の方法。
【請求項15】
請求項１２に記載の方法のステップの全てをプロセッサに実施させるためのプログラムコードが記憶された、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本出願は、適用可能な全ての目的に関して以下において完全に記載されているかのようにその全体が参照によって本明細書に組み込まれる２０１９年４月２日出願の米国仮特許出願第６２／８２８，１８５号及び２０２０年１月２３日出願の米国仮特許出願第６２／９６４，７１５号の優先権及び利益を主張する。
[0001] 本出願は、適用可能な全ての目的に関して以下において完全に記載されているかのようにその全体が参照によって本明細書に組み込まれる２０１９年４月２日出願の米国仮特許出願第６２／８２８，１８５号及び２０２０年１月２３日出願の米国仮特許出願第６２／９６４，７１５号の優先権及び利益を主張する。
【0002】
[0002] 本開示は、概して、超音波撮像、特には、運動物体のセグメンテーション及び最適な撮像ビューの場所を特定するためのガイダンスを提供することに関する。
【背景技術】
【0003】
[0003] 超音波は、医療処置（例えば、診断、介入及び／又は治療）中に解剖学的組織及び／又は医療デバイスの無放射の、安全で、リアルタイムの動的撮像を提供し得る。従来、臨床医は、医療処置中に、診断におけるガイダンス及び／又は患者の身体内を通る医療デバイスのナビゲーションを提供する２次元的（２Ｄ）超音波撮像に頼っていた。しかしながら、いくつかの事例において、医療デバイス及び／又は解剖学的構造は、肉薄で、剛性が無く、及び／又は運動していることがあり、２Ｄ超音波画像においてそれらを識別することを困難なものとしている。同様に、解剖学的構造は、肉薄で、曲がりくねり、いくつかの事例においては常に運動中である（例えば、呼吸、心臓及び／又は動脈パルスによる）。
【0004】
[0004] ３次元的（３Ｄ）超音波の近年の発達及び可用性は、２Ｄ画像スライスではなく３Ｄボリュームを観察することを可能とする。３Ｄボリュームの視覚化が可能であることは、医療処置において役に立ち得る。例えば、医療デバイスの先端部は２Ｄ画像スライスにおいては短縮遠近法のせいではっきりわからないが、３Ｄボリュームにおいて観察すると明白である。３Ｄボリュームにおける最適な撮像平面の位置決めなどの動作は、４次元的（４Ｄ）撮像（例えば、経時的な３Ｄ撮像）から著しい利益を得ることができる。３Ｄ及び／又は４Ｄ撮像から利益を得ることができる臨床分野の例としては、末梢血管系疾患（ＰＶＤ）及び器質的心疾患（ＳＨＤ）の診断及び／又は治療などがある。
【0005】
[0005] ３Ｄ及び／又は４Ｄ撮像が医療処置に有益な視覚化及び／又はガイダンスを提供し得る一方、３Ｄ及び／又は４Ｄ撮像データの解釈は、データの高ボリューム、高次元性、低解像度、及び／又は低フレームレートに起因して複雑で、困難であることがある。例えば、３Ｄ及び／又は４Ｄ撮像データの正確な解釈は、広範囲にわたる訓練を積み、高度な専門知識を有するユーザ又は臨床医を必要とする。加えて、データの解釈は、ユーザ次第である。典型的には、超音波誘導式処置中に、臨床医は、患者の解剖学的組織及び／又は医療デバイスの理想的な撮像ビューを見つけるために多くの時間を費やす。
【0006】
[0006] 概して、コンピュータは、高ボリュームで高次元性のデータの解釈をより良好に行う。例えば、アルゴリズムモデルが、３Ｄ及び／又は４Ｄ撮像データの解釈、及び／又は最適な撮像ビューの場所特定を補助するために適用され得る。しかしながら、従来のアルゴリズムは、超音波画像における薄肉の物体及び／又は運動物体の識別及び／又はセグメンテーションを良好に実施するわけではなく、これは、例えば、低信号対雑音比（ＳＮＲ）、超音波アーチファクト、脈管壁に沿ったものなど紛らわしい姿勢にあるデバイスの閉塞、及び／又は運動物体に類似した高強度のアーチファクトに起因する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
[0007] 画像セグメンテーション及び画像ガイダンスのための向上されたシステム及び技術に対する臨床的需要が依然としてある。本開示の実施形態は、運動物体をセグメンテーションするため及び／又は撮像ガイダンスを提供するために、３次元的（３Ｄ）超音波データ及び／又は４次元的（４Ｄ）超音波データにおける時間的連続性情報を利用する深層学習ネットワークを提供する。３Ｄ超音波データとは、経時的に２Ｄ超音波撮像から取得された一連の時系列的な２Ｄ画像を指す。４Ｄ超音波データとは、経時的に３Ｄ超音波撮像から取得された一連の時系列的な３Ｄボリュームを指す。時間認識的深層学習ネットワークは、複数の異なる空間的解像度において動作する複数の畳み込みエンコード－デコード層に結合された回帰型コンポーネント（例えば、回帰型ニューラルネットワーク（ＲＮＮ））を含む。深層学習ネットワークは、運動物体及び／又は医療デバイスを含む一連の時系列的な２Ｄ又は３Ｄ超音波撮像フレームに適用される。回帰型コンポーネントは、現在の画像フレームに関する深層学習ネットワークの予測を、次の画像フレームの予測に対する二次的入力として渡す。
【課題を解決するための手段】
【0008】
[0008] 実施形態において、深層学習ネットワークは、解剖学的構造（例えば、心臓、肺、及び／又は脈管）を通過する可撓性で長尺で薄肉形状の医療デバイス（例えば、カテーテル、ガイドワイヤ、ニードル、療法デバイス、及び／又は治療デバイス）を、解剖学的構造から見分け、超音波画像フレームにおける時間連続性情報に基づいて医療デバイスの位置及び／又は運動を予測するように訓練される。実施形態において、深層学習ネットワークは、解剖学的構造の静的部分から、心臓運動、呼吸運動及び／又は動脈パルスによって引き起こされる解剖学的構造の運動部分を識別し、超音波画像フレームにおける時間連続性情報に基づいて運動部分の運動を予測するように訓練される。実施形態において、深層学習ネットワークは、解剖学的構造の目標撮像平面を予測するように訓練される。深層学習ネットワークの予測は、目標撮像平面を撮像するために超音波ビームを自動的にステアリングするための制御信号及び／又は命令（例えば、回転及び／又は並進）を生成するために使用され得る。代替的に、深層学習ネットワークの予測は、超音波撮像デバイスを目標撮像平面に向かってナビゲートするための命令をユーザに提供するために使用され得る。深層学習ネットワークは、動的なセグメンテーション及び撮像ガイダンスを提供するために、３Ｄ及び／又は４Ｄ撮像中にリアルタイムで適用され得る。
【0009】
[0009] 一実施形態において、超音波撮像システムは、超音波撮像デバイスと通信するプロセッサ回路を備え、プロセッサ回路は、超音波撮像デバイスから、ある期間にわたって運動物体の入力画像フレームのシーケンスを受信することであって、運動物体は、患者の解剖学的組織又は患者の解剖学的組織を通って移動する医療デバイスのうちの少なくとも１つを備え、運動物体の一部は、入力画像フレームのシーケンスの第１の入力画像フレームにおいて少なくとも部分的に不可視的である、受信することと；画像セグメンテーションに関連付けられた回帰型予測ネットワークを入力画像フレームのシーケンスに適用して、セグメンテーションデータを生成することと；セグメンテーションデータに基づいて出力画像フレームのシーケンスを、プロセッサ回路と通信するディスプレイに出力することであって、運動物体の一部は、出力画像フレームのシーケンスの第１の出力画像フレームにおいて完全に可視的であり、第１の出力画像フレーム及び第１の入力画像フレームは期間内における同一の時間的瞬間に関連付けられている、出力することとを行うように構成されている。
【0010】
[0010] いくつかの実施形態において、回帰型予測ネットワークを適用するように構成されたプロセッサ回路は更に、入力画像フレームのシーケンスの以前の入力画像フレームに基づいて以前のセグメンテーションデータを生成することであって、以前の入力画像フレームは第１の入力画像フレームよりも前に受信される、生成することと；第１の入力画像フレーム及び以前のセグメンテーションデータに基づいて、第１のセグメンテーションデータを生成することとを行うように構成される。いくつかの実施形態において、以前のセグメンテーションデータを生成するように構成されたプロセッサ回路は、畳み込みエンコーダ及び回帰型ニューラルネットワークを以前の入力画像フレームに適用することを行うように構成され、第１のセグメンテーションデータを生成するように構成されたプロセッサ回路は、畳み込みエンコーダを第１の入力画像フレームに適用して、エンコード済みのデータを生成することと；回帰型ニューラルネットワークをエンコード済みのデータ及び以前のセグメンテーションデータに適用することとを行うように構成され、回帰型予測ネットワークを適用するように構成されたプロセッサ回路は更に、畳み込みデコーダを第１のセグメンテーションデータ及び以前のセグメンテーションデータに適用することを行うように構成される。いくつかの実施形態において、畳み込みエンコーダ、回帰型ニューラルネットワーク、及び畳み込みデコーダは、複数の空間的解像度において動作する。いくつかの実施形態において、運動物体は、患者の解剖学的組織を通って移動する医療デバイスを含み、畳み込みエンコーダ、回帰型ニューラルネットワーク、及び畳み込みデコーダは、患者の解剖学的組織から医療デバイスを識別し、患者の解剖学的組織を通って移動する医療デバイスに関連付けられた運動を予測するように訓練される。いくつかの実施形態において、運動物体は、心臓運動、呼吸運動、又は動脈パルスのうちの少なくとも１つを有する患者の解剖学的組織を含み、畳み込みエンコーダ、回帰型ニューラルネットワーク、及び畳み込みデコーダは、患者の解剖学的組織の静的部分から患者の解剖学的組織の運動部分を識別し、運動部分に関連付けられた運動を予測するように訓練される。いくつかの実施形態において、運動物体は患者の解剖学的組織を通って移動する医療デバイスを含み、超音波撮像システムは医療デバイスを備える。いくつかの実施形態において、医療デバイスは、ニードル、ガイドワイヤ、カテーテル、誘導式カテーテル、療法デバイス、又は介入デバイスのうちの少なくとも１つを備える。いくつかの実施形態において、入力画像フレームは、２次元的画像フレーム又は３次元的画像フレームのうちの少なくとも１つを含む。いくつかの実施形態において、プロセッサ回路は更に、セグメンテーションデータに基づいてスプラインフィッティングを入力画像フレームのシーケンスに適用することを行うように構成される。いくつかの実施形態において、超音波撮像システムは、超音波撮像デバイスを更に備え、超音波撮像デバイスは、入力画像フレームのシーケンスを取得するように構成された超音波トランスデューサアレイを備える。
【0011】
[0011] 一実施形態において、超音波撮像システムは、超音波撮像デバイスと通信するプロセッサ回路を備え、プロセッサ回路は、超音波撮像デバイスから、ある期間にわたって患者の解剖学的組織を表す画像フレームのシーケンスを受信することと；画像取得に関連付けられた回帰型予測ネットワークを画像フレームのシーケンスに適用して、患者の解剖学的組織の臨床的特性に関連付けられた撮像平面データを生成することと；撮像平面データに基づいて、患者の解剖学的組織の目標撮像平面と、目標撮像平面に向かって超音波撮像デバイスを再度位置決めするための命令とのうちの少なくとも１つを、プロセッサ回路と通信するディスプレイに出力することとを行うように構成されている。
【0012】
[0012] いくつかの実施形態において、回帰型予測ネットワークを適用するように構成されたプロセッサ回路は更に、画像フレームのシーケンスの第１の画像フレームに基づいて第１の撮像平面データを生成することと；画像フレームのシーケンスの第２の画像フレーム及び第１の撮像平面データに基づいて第２の撮像平面データを生成するステップとを行うように構成され、第２の画像フレームは、第１の画像フレームの後に受信される。いくつかの実施形態において、第１の撮像平面データを生成するように構成されたプロセッサ回路は、畳み込みエンコーダ及び回帰型ニューラルネットワークを第１の画像フレームに適用することを行うように構成され、第２の撮像平面データを生成するように構成されたプロセッサ回路は、畳み込みエンコーダを第１の画像フレームに適用して、エンコード済みのデータを生成することと；回帰型ニューラルネットワークをエンコード済みのデータ及び第１の撮像平面データに適用することとを行うように構成され、回帰型予測ネットワークを適用するように構成されたプロセッサ回路は更に、畳み込みデコーダを第１の撮像平面データ及び第２の撮像平面データに適用することを行うように構成される。いくつかの実施形態において、畳み込みエンコーダ、回帰型ニューラルネットワーク、及び畳み込みデコーダは、複数の空間的解像度において動作し、畳み込みエンコーダ、回帰型ニューラルネットワーク、及び畳み込みデコーダは、患者の解剖学的組織の臨床的特性を撮像するために、目標撮像平面を予測するように訓練される。いくつかの実施形態において、画像フレームは、患者の解剖学的組織の２次元的画像フレーム又は３次元的画像フレームのうちの少なくとも１つを含む。いくつかの実施形態において、プロセッサ回路は、臨床的特性を含む患者の解剖学的組織の断面画像スライス、直交画像スライス、又は多平面再構成（ＭＰＲ）画像スライスのうちの少なくとも１つを含む目標撮像平面を出力するように構成される。いくつかの実施形態において、超音波撮像システムは、超音波撮像デバイスを更に備え、超音波撮像デバイスは、画像フレームのシーケンスを取得するように構成された超音波トランスデューサアレイを備える。いくつかの実施形態において、プロセッサ回路は更に、撮像平面データに基づいて超音波ビームステアリング制御信号を生成することと；超音波ビームステアリング制御信号を超音波撮像デバイスに出力することとを行うように構成される。いくつかの実施形態において、プロセッサ回路は、超音波撮像デバイスの回転又は並進のうちの少なくとも１つを含む命令を出力することを行うように構成される。
【0013】
[0013] 本開示の追加的な態様、特徴、及び利点は、以下の詳細な説明から明らかになるであろう。
【0014】
[0014] 本開示の例示的な実施形態が、添付の図面を参照して説明される。
【図面の簡単な説明】
【0015】
【図1】[0015] 本開示の態様による超音波撮像システムの概略図である。
【図2】[0016] 本開示の態様による深層学習に基づく画像セグメンテーションスキームの概略図である。
【図3】[0017] 本開示の態様による時間認識的深層学習ネットワークのための構成を示す概略図である。
【図4】[0018] 本開示の態様による時間認識的深層学習ネットワークのための構成を示す概略図である。
【図5】[0019] 本開示の態様による超音波誘導式処置のシナリオを示す図である。
【図6】[0020] 本開示の態様による超音波誘導式処置のシナリオを示す図である。
【図7】[0021] 本開示の態様による超音波誘導式処置のシナリオを示す図である。
【図8】[0022] 本開示の態様による超音波誘導式処置のシナリオを示す図である。
【図9】[0023] 本開示の態様によるスプラインフィッティングを伴う深層学習に基づく画像セグメンテーションスキームの概略図である。
【図10】[0024] 本開示の態様による深層学習に基づく撮像ガイダンススキームの概略図である。
【図11】[0025] 本開示の態様による超音波誘導式処置から取得される超音波画像を示す図である。
【図12】[0026] 本開示の実施形態によるプロセッサ回路の概略図である。
【図13】[0027] 本開示の態様による深層学習に基づく超音波撮像方法のフロー図である。
【図14】[0028] 本開示の態様による深層学習に基づく超音波撮像方法のフロー図である。
【発明を実施するための形態】
【0016】
[0029] 本開示の原理の理解を促すために、図面に示される実施形態が参照され、これを説明するために特定の述語が使用される。それでもなお、本開示の範囲に対する制限が意図されるものではないことが理解される。本開示が関連する技術分野の当業者に通常想到されるように、説明されるデバイス、システム、及び方法への任意の改変及び更なる修正、並びに本開示の原理の任意の更なる適用は完全に想定され、本開示に含まれる。特には、１つの実施形態に関して説明される特徴、コンポーネント、及び／又はステップは、本開示の他の実施形態に関して説明される特徴、コンポーネント、及び／又はステップと組み合わされ得ることが完全に想定される。しかしながら、簡潔さのために、これらの組み合わせの多くの繰り返しは個別には説明されない。
【0017】
[0030] 図１は、本開示の態様による超音波撮像システム１００の概略図である。システム１００は、患者の身体のエリア又はボリュームをスキャンするために使用される。システム１００は、通信インタフェース又はリンク１２０を介してホスト１３０と通信する超音波撮像プローブ１１０を含む。プローブ１１０は、トランスデューサアレイ１１２と、ビーム形成器１１４と、処理コンポーネント１１６と、通信インタフェース１１８とを含む。ホスト１３０は、ディスプレイ１３２と、処理コンポーネント１３４と、通信インタフェース１３６とを含む。
【0018】
[0031] 例示的な実施形態において、プローブ１１０は、ユーザによる手持ち式の動作のために構成された筐体を含む外部の超音波撮像デバイスである。トランスデューサアレイ１１２は、ユーザが、トランスデューサアレイ１１２が患者の皮膚に隣接及び／又は接触して位置決めされるようにプローブ１１０の筐体を把持しているときに超音波データを取得するように構成され得る。プローブ１１０は、プローブ１１０が患者の身体の外側に位置決めされているときに患者の身体内の解剖学的組織の超音波データを取得するように構成される。いくつかの実施形態において、プローブ１１０は、経胸郭（ＴＴＥ）プローブである。いくつかの他の実施形態において、プローブ１１０は、経食道（ＴＥＥ）超音波プローブであってよい。
【0019】
[0032] トランスデューサアレイ１１２は、患者の解剖学的物体１０５に向かって超音波信号を射出し、物体１０５から反射されてトランスデューサアレイ１１２に戻ってきたエコー信号を受信する。超音波トランスデューサアレイ１１２は、１つ又は複数の音響要素及び／又は複数の音響要素などの任意の適切な数の音響要素を含み得る。いくつかの場合において、トランスデューサアレイ１１２は１つの音響要素を含む。いくつかの場合において、トランスデューサアレイ１１２は、任意の適切な構成の任意の数の音響要素を有する音響要素のアレイを含む。例えば、トランスデューサアレイ１１２は、２つの音響要素、４つの音響要素、３６個の音響要素、６４個の音響要素、１２８個の音響要素、５００個の音響要素、８１２個の音響要素、１０００個の音響要素、３０００個の音響要素、８０００個の音響要素などの個数の、及び／又はこれらよりも大きい及び小さい他の個数の音響要素など、１つの音響要素から１００００個の音響要素を含み得る。いくつかの場合において、トランスデューサアレイ１１２は、線形アレイ、平面アレイ、湾曲アレイ、曲線アレイ、円周アレイ、環状アレイ、位相式アレイ、マトリックスアレイ、１次元的（１Ｄ）アレイ、１．ｘ次元的アレイ（例えば１．５Ｄアレイ）、又は２次元的（２Ｄ）アレイなど任意の適切な構成の任意の数の音響要素を有する音響要素のアレイを含む。音響要素のアレイ（例えば、１つ又は複数の行、１つ又は複数の列、及び／又は１つ又は複数の向き）は、均一に又は個別に制御及び作動され得る。トランスデューサアレイ１１２は、患者の解剖学的組織の１次元的、２次元的、及び／又は３次元的画像を取得するように構成され得る。いくつかの実施形態において、トランスデューサアレイ１１２は、圧電微細加工超音波トランスデューサ（ＰＭＵＴ）、容量性微細加工超音波トランスデューサ（ＣＭＵＴ）、単結晶、ジルコン酸チタン酸鉛（ＰＺＴ）、ＰＺＴ複合体、他の適切なトランスデューサタイプ、及び／又はこれらの組み合わせを含む。
【0020】
[0033] 物体１０５は、超音波撮像検査に適した患者の血管、神経線維、気道、僧帽弁尖、腎臓、及び／又は肝臓など、任意の解剖学的組織を含む。いくつかの実施形態において、物体１０５は、患者の心臓、肺、及び／又は皮膚の少なくとも一部を含む。いくつかの実施形態において、物体１０５は、例えば呼吸、心臓活動、及び／又は動脈パルスの結果として常時運動している。運動は、心臓サイクル又は心拍サイクルの文脈においては、例えば心臓、関連する脈管、及び／又は肺の運動によって規則正しく、又は周期的である。本開示は、これらに限定されるものではないが、肝臓、心臓、腎臓、胆嚢、膵臓、肺を含む臓器；導管；腸；脳、硬膜嚢、脊髄、末梢神経などの神経系構造；尿路；並びに血管内の弁、血液、心臓の心室若しくは他の部分、及び／又は身体の他の系などの、任意の数の解剖学的場所及び組織タイプの文脈において実現され得る。解剖学的組織は、心血管系、末梢血管系、神経血管系、腎臓血管系及び／又は身体内の任意の他の適切な管腔を含む、患者の血管系の動脈又は静脈などの血管であってよい。自然の構造に加えて、本開示は、これらに限定されるものではないが、心臓弁、ステント、シャント、フィルタ、インプラント及び他のデバイスなどの、人工的な構造の文脈において実現され得る。
【0021】
[0034] いくつかの実施形態において、システム１００は、医療処置（例えば、治療、診断、療法、及び／又は介入）中に臨床医をガイドするために使用される。例えば、臨床医は、解剖学的物体１０５内に医療デバイス１０８を挿入する。いくつかの実施例において、医療デバイス１０８は、薄肉の幾何学的形状を有する長尺で可撓性の部材を含む。いくつかの実施例において、医療デバイス１０８は、ガイドワイヤ、カテーテル、誘導式カテーテル、ニードル、血管内超音波（ＩＶＵＳ）デバイス、診断デバイス、治療／療法デバイス、介入デバイス、及び／又はカテーテル内撮像デバイスである。いくつかの実施例において、医療デバイス１０８は、患者の解剖学的組織の撮像に適した任意の撮像デバイスであり、光トモグラフィ（ＯＣＴ）及び／又は内視法などの任意の適切な撮像モダリティのものである。いくつかの実施例において、医療デバイス１０８は、シース、撮像デバイス、及び／又は埋め込みデバイスを含む。いくつかの実施例において、医療デバイス１０８は、バルーン、ステント、及び／又はアテレクトミーデバイスなどの治療／療法デバイスである。いくつかの実施例において、医療デバイス１０８は、血管の直径よりも小さな直径を有する。いくつかの実施例において、医療デバイス１０８は、約０．５ミリメートル（ｍｍ）以下の直径又は厚さを有する。いくつかの実施例において、医療デバイス１０８は、約０．０３５インチの直径を有するガイドワイヤである。このような実施形態において、トランスデューサアレイ１１２は、物体１０５及び医療デバイス１０８に反射された超音波エコーを生むことができる。
【0022】
[0035] ビーム形成器１１４はトランスデューサアレイ１１２に結合される。ビーム形成器１１４は、例えば、超音波信号の送信及び超音波エコー信号の受信に関してトランスデューサアレイ１１２を制御する。ビーム形成器１１４は、応答又は受信された超音波エコー信号に基づいて画像信号を処理コンポーネント１１６に提供する。ビーム形成器１１４は、ビーム形成の複数のステージを含む。ビーム形成は、処理コンポーネント１１６への結合のための信号ラインの数を減少させ得る。いくつかの実施形態において、ビーム形成器１１４と組み合わされたトランスデューサアレイ１１２は、超音波撮像コンポーネントと称される。
【0023】
[0036] 処理コンポーネント１１６はビーム形成器１１４に結合される。処理コンポーネント１１６は、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、他のハードウェアデバイス、ファームウェアデバイス、又は本明細書において説明される動作を実施するように構成されたこれらの任意の組み合わせを含む。処理コンポーネント１３４は、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成としても実現される。処理コンポーネント１１６は、ビーム形成された画像信号を処理するように構成される。例えば、処理コンポーネント１１６は、画像信号を調節するためにフィルタリング及び／又は直交復調を実施する。処理コンポーネント１１６及び／又は１３４は、物体１０５及び／又は医療デバイス１０８に関連付けられた超音波データを取得するためにアレイ１１２を制御するように構成され得る。
【0024】
[0037] 通信インタフェース１１８は処理コンポーネント１１６に結合される。通信インタフェース１１８は、１つ又は複数の送信器、１つ又は複数の受信器、１つ又は複数の送受信器、及び／又は、通信信号を送信及び／又は受信するための回路を含む。通信インタフェース１１８は、通信リンク１１２を介したホスト１３０への信号の搬送に適した特定の通信プロトコルを実現するハードウェアコンポーネント及び／又はソフトウェアコンポーネントを含み得る。通信インタフェース１１８は、通信デバイス又は通信インタフェースモジュールと称され得る。
【0025】
[0038] 通信リンク１２０は任意の適切な通信リンクである。例えば、通信リンク１２０は、ユニバーサルシリアルバス（ＵＳＢ）リンク又はＥｔｈｅｒｎｅｔリンクなどの有線リンクである。代替的に、通信リンク１２０は、超広帯域（ＵＷＢ）リンク、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）８０２．１１ ＷｉＦｉリンク、又はＢｌｕｅｔｏｏｔｈリンクなどの無線リンクである。
【0026】
[0039] ホスト１３０において、通信インタフェース１３６は画像信号を受信する。通信インタフェース１３６は、通信インタフェース１１８と実質的に同様である。ホスト１３０は、ワークステーション、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、又はモバイルフォンなどの任意の適切なコンピューティング及びディスプレイデバイスである。
【0027】
[0040] 処理コンポーネント１３４は通信インタフェース１３６に結合される。処理コンポーネント１３４は、ソフトウェアコンポーネントとハードウェアコンポーネントとの組み合わせとして実現される。処理コンポーネント１３４は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、ＦＰＧＡデバイス、他のハードウェアデバイス、ファームウェアデバイス、又は本明細書において説明される動作を実施するように構成されたこれらの任意の組み合わせを含む。処理コンポーネント１３４は、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成としても実現される。処理コンポーネント１３４は、プローブ１１０から受信された画像信号から画像データを生成するように構成され得る。処理コンポーネント１３４は、先進の信号処理及び／又は画像処理技術を画像信号に適用し得る。いくつかの実施形態において、処理コンポーネント１３４は、画像データから３次元的（３Ｄ）ボリューム画像を形成し得る。いくつかの実施形態において、処理コンポーネント１３４は、画像データにリアルタイム処理を実施して、物体１０５及び／又は医療デバイス１０８の超音波画像のストリーミングビデオを提供し得る。
【0028】
[0041] ディスプレイ１３２は処理コンポーネント１３４に結合される。ディスプレイ１３２は、モニタ又は任意の適切なディスプレイであってよい。ディスプレイ１３２は、超音波画像、画像ビデオ、及び／又は、物体１０５及び／又は医療デバイス１０８の任意の撮像情報を表示するように構成される。
【0029】
[0042] 上述されたように、システム１００は、医療処置におけるガイダンスを臨床医に提供するために使用される。実施例において、システム１００は、医療デバイス１０８が物体１０５を通って移動するときに、物体１０５及び医療デバイス１０８の超音波画像のシーケンスをキャプチャし得る。超音波画像のシーケンスは、２Ｄ又は３Ｄであってよい。いくつかの実施例において、システム１００は、超音波画像のシーケンスを二平面画像又は多平面画像としてそれぞれ提供するために、二平面撮像又は多平面撮像を実施するように構成される。いくつかの場合において、医療デバイス１０８の運動及び／又は医療デバイス１０８の薄肉の幾何学的形状のせいで、臨床医はキャプチャされた画像に基づいて物体１０５から医療デバイス１０８を識別すること及び／又は区別することが困難である。例えば、医療デバイス１０８は、時間連続性なしに１つのフレームから別のフレームへとジャンプしたかのように見えることがある。デバイス１０８が物体１０５を通って運動するときのデバイス１０８の視覚化、安定性、及び／又は時間連続性を向上させるために、処理コンポーネント１３４は、セグメンテーションのために訓練された時間認識的深層学習ネットワークを一連の画像に適用し得る。深層学習ネットワークは、解剖学的物体１０５から医療デバイス１０８を識別及び／又は区別し、経時的にキャプチャされた画像のシーケンスに保持された時間的情報を使用して医療デバイス１０８の運動及び／又は位置を予測する。処理コンポーネント１３４は、フレームからフレームへと運動する医療デバイス１０８の安定したビューを有する一連の時系列的な出力画像を提供するために、キャプチャされた２Ｄ及び／又は３Ｄ画像フレームに予測を組み込み得る。
【0030】
[0043] いくつかの実施例において、深層学習ネットワークに入力される超音波画像のシーケンスは３Ｄボリュームであり、出力される予測は２Ｄ画像、二平面画像、及び／又は多平面画像である。いくつかの実施例において、医療デバイス１０８は２Ｄ超音波撮像プローブであり、深層学習ネットワークはボリュメトリック３Ｄセグメンテーションを予測するように構成され得、ここで、深層学習ネットワークに入力される超音波画像のシーケンスは、２Ｄ画像、二平面画像、及び／又は多平面画像であり、出力される予測は３Ｄボリュームである。
【0031】
[0044] いくつかの実施例において、解剖学的構造（例えば、物体１０５）は、解剖学的構造の幾何学的形状及び／又は運動のせいで、２Ｄ及び／又は３Ｄ撮像の下では識別することが困難であることがある。例えば、遠位の末梢的解剖学的組織における曲がりくねった血管及び／又は心臓に近接した小さな構造は、動脈及び／又は心臓の運動によって影響される。心臓のフェーズに依存して、僧帽弁尖及び／又は他の構造は、ある期間にわたり超音波撮像ビューを出たり入ったりする。別の実施例において、脈管、気道、腫瘍は、患者の呼吸運動のせいで、気管支内超音波撮像中に超音波撮像ビューを出たり入ったりする。同様に、解剖学的構造の運動の視覚化、安定性、及び／又は時間連続性を向上させるために、処理コンポーネント１３４は、セグメンテーションのために訓練された時間認識的深層学習ネットワークを経時的にキャプチャされた物体１０５の一連の２Ｄ及び／又は３Ｄ画像に適用し得る。深層学習ネットワークは、物体１０５の比較的より静的な部分（例えば、背景）から物体１０５の運動部分（例えば、前景）を識別及び／又は区別し、経時的にキャプチャされた画像のシーケンスに保持された時間的情報を使用して運動部分の運動及び／又は位置を予測する。例えば、心臓撮像において、運動部分は僧帽弁尖に対応し、静的部分は心室に対応し、これは弁よりも比較的よりゆっくりと運動する。末梢血管系撮像において、運動部分は脈動する動脈に対応し、静的部分は周囲の組織に対応する。肺撮像において、運動部分は肺室及び気道に対応し、静的部分は周囲の空洞及び組織に対応する。処理コンポーネント１３４は、フレームからフレームへと運動する解剖学的構造の安定したビューを有する一連の出力画像を提供するために、キャプチャされた画像フレームに予測を組み込み得る。時間認識的深層学習モデルを使用して運動物体（例えば、医療デバイス１０８及び／又は物体１０５）の安定したビューを提供するための機構は、本明細書においてより詳細に説明される。
【0032】
[0045] 実施形態において、システム１００は、特定の臨床的特性又は臨床的検査のために患者の最適な撮像ビューを見つけるときに臨床医を補助するために使用される。例えば、処理コンポーネント１３４は、キャプチャされた２Ｄ及び／又は３Ｄ画像から特定の臨床的特性のために物体１０５の最適な撮像ビュー又は画像スライスを予測するために、画像取得のために訓練された時間認識的深層学習ネットワークを利用し得る。例えば、システム１００は心臓撮像のために構成され、心室ボリュームを測定するとき、心不整脈の存在を判定するとき、中隔横断穿刺を実施するときに臨床医を補助し、及び／又は修復又は交換のために僧帽弁の視覚化を提供する。心臓撮像は、４心室ビュー、３心室ビュー、及び／又は２心室ビューを提供するように構成され得る。実施例において、心臓撮像は、左室流出路（ＬＶＯＴ）を視覚化するために使用され得、これは僧帽弁の交換におけるマイトラクリップ及び弁のために不可欠である。実施例において、心臓撮像は、輪状形成を伴う任意の処置のために僧帽弁輪を視覚化するために使用され得る。実施例において、心臓撮像は、比例配分を防止するために中隔横断穿刺（ＴＳＰ）中に左心房付属肢を視覚化するために使用され得る。気管支内超音波撮像に関しては、臨床的特性は、疑わしい腫瘍の存在及び場所であり、超音波トランスデューサが腫瘍及び隣接する気道路と整列する側方方向又は矢状方向の超音波ビューから取得される。いくつかの実施例において、処理コンポーネント１３４は、深層学習ネットワークによって出力された予測に基づいて臨床的特性の最適な撮像ビューを取得するためにプローブ１１０を１つの場所から別の場所へと又は１つの撮像平面から別の撮像平面へと操作するための命令（例えば、回転及び／又は並進）を臨床医に提供し得る。いくつかの実施例において、処理コンポーネント１３４は最適な撮像ビューに到達するプロセスを自動化し得る。例えば、処理コンポーネント１３４は、深層学習ネットワークによって出力される予測に基づいて、トランスデューサアレイ１１２によって生み出される２Ｄ又はＸ－平面ビームを最適な撮像場所へと自動的にステアリングするように構成される。Ｘ－平面は断面平面及び長手方向平面を含む。深層学習モデルを使用して最適な撮像ビューに到達するための機構は、本明細書においてより詳細に説明される。
【0033】
[0046] いくつかの実施形態において、システム１００は、深層学習ネットワーク訓練のための訓練データセットを形成するための超音波画像の収集のために使用され得る。例えば、ホスト１３０はメモリ１３８を含み、これは、キャッシュメモリ（例えば、処理コンポーネント１３４のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、固体状態メモリデバイス、ハードディスクドライブ、固体状態ドライブ、他の形態の揮発性及び不揮発性メモリ、又は異なるタイプのメモリの組み合わせなど、任意の適切な記憶デバイスである。メモリ１３８は、画像セグメンテーション及び／又は撮像ビューガイダンスのための時間認識的深層学習ネットワークを訓練するために画像データセット１４０を記憶するように構成され得る。時間認識的深層学習ネットワークを訓練するための機構は、本明細書においてより詳細に説明される。
【0034】
[0047] 図２～図４は、時間認識的多層深層学習ネットワークを使用した画像セグメンテーションのための機構を集合的に示す。図２は、本開示の態様による深層学習に基づく画像セグメンテーションスキーム２００の概略図である。スキーム２００はシステム１００によって実現される。スキーム２００は、超音波画像における運動物体のセグメンテーションを提供するために時間認識的多層深層学習ネットワーク２１０を利用する。いくつかの実施例において、運動物体は、患者の解剖学的組織（例えば、物体１０５と同様の心臓、肺、脈管、及び／又は皮膚）内で運動する医療デバイス（例えば、デバイス１０８及び／又は２１２と同様のガイドワイヤ、カテーテル、誘導式カテーテル、ニードル、又は療法デバイス）である。いくつかの実施例において、運動物体は、心臓運動、呼吸運動及び／又は動脈パルスを有する解剖学的構造（例えば、物体１０５）である。ハイレベルにおいて、多層深層学習ネットワーク２１０は、デバイス及び／又は解剖学的構造の超音波画像フレーム２０２のシーケンスを受信する。各画像フレーム２０２は、時間認識的多層深層学習ネットワーク２１０に通される。現在の画像フレーム２０２に関する深層学習ネットワーク２１０の予測は、次の画像フレーム２０２の予測のための入力として渡される。換言すれば、深層学習ネットワーク２１０は、予測のために超音波画像フレーム２０２のシーケンスにおける時間的連続性を利用する回帰型コンポーネントを含む。故に、深層学習ネットワーク２１０は、回帰型予測ネットワークとも称される。
【0035】
[0048] 画像フレーム２０２のシーケンスは、ある期間にわたって経時的に（例えば時間Ｔ０から時間Ｔｎ）キャプチャされる。画像フレーム２０２は、システム１００を使用してキャプチャされる。例えば、画像フレーム２０２のシーケンスは、トランスデューサアレイ１１２によって収集され、ビーム形成器１１４によってビーム形成され、処理コンポーネント１１６及び／又は１３４によってフィルタリング及び／又は調節され、処理コンポーネント１３４によって再構築された超音波エコーから再構築される。画像フレーム２０２のシーケンスは、深層学習ネットワーク２１０に入力される。図２は画像フレーム２０２を３Ｄボリュームとして示しているが、スキーム２００は、同様に、セグメンテーションを提供するために、経時的にキャプチャされた２Ｄ入力画像フレームのシーケンスに適用される。いくつかの実施例において、経時的な３Ｄ画像フレーム２０２のシーケンスは、連続的４Ｄ（例えば、３Ｄボリューム及び時間）超音波シーケンスと称され得る。
【0036】
[0049] 深層学習ネットワーク２１０は、畳み込みエンコーダ２２０と、時間認識的ＲＮＮ２３０と、畳み込みデコーダ２４０とを含む。畳み込みエンコーダ２２０は複数の畳み込みエンコード層２２２を含む。畳み込みデコーダ２４０は複数の畳み込みデコード層２４２を含む。いくつかの実施例において、畳み込みエンコード層２２２の数と畳み込みデコード層２４２の数とは同一である。いくつかの実施例において、畳み込みエンコード層２２２の数と畳み込みデコード層２４２の数とは異なる。図２は、説明及び議論の簡略化のために、畳み込みエンコーダ２２０における４つの畳み込みエンコード層２２２Ｋ０、２２２Ｋ１、２２２Ｋ２、及び２２２Ｋ３と、畳み込みデコーダ２４０における４つの畳み込みデコード層２４２Ｌ０、２２４Ｌ１、２４２Ｌ２、及び２４２Ｌ３を示しているが、本開示の実施形態は、任意の適切な数の畳み込みエンコード層２２２（例えば、約２、３、５、６又はそれよりも多く）及び任意の適切な数の畳み込みデコード層２４２（例えば、約２、３、５、６又はそれよりも多く）を含むように拡大／縮小されることが認識されよう。下付き文字Ｋ０、Ｋ１、Ｋ２、及びＫ３は畳み込みエンコード層２２２の層を指し示す指標を表す。下付き文字Ｌ０、Ｌ１、Ｌ２、及びＬ３は畳み込みデコード層２４２の層を指し示す指標を表す。
【0037】
[0050] 畳み込みエンコード層２２２の各々及び畳み込みデコード層２４２の各々は、畳み込みフィルタ又はカーネルを含む。畳み込みカーネルは、深層学習ネットワーク２１０が２Ｄ画像上又は３Ｄボリューム上で動作するように構成されているかに応じて、２Ｄカーネル又は３Ｄカーネルであり得る。例えば、画像フレーム２０２が２Ｄ画像であるとき、畳み込みカーネルは２Ｄフィルタカーネルである。代替的に、画像フレーム２０２が３Ｄボリュームであるとき、畳み込みカーネルは３Ｄフィルタカーネルである。畳み込みカーネルのフィルタ係数は、本明細書においてより詳細に説明される様に、運動物体のセグメンテーションを学習するように訓練される。
【0038】
[0051] いくつかの実施形態において、畳み込みエンコード層２２２及び畳み込みデコード層２４２は、複数の異なる空間的解像度において動作する。このような実施形態において、各畳み込みエンコード層２２２には、ダウンサンプリング層が続く。各畳み込みデコード層２４２は、アップサンプリング層に先行され得る。ダウンサンプリング及びアップサンプリングは、任意の適切な係数であってよい。いくつかの実施例において、各ダウンサンプリング層におけるダウンサンプリング係数及び各アップサンプリング層におけるアップサンプリング係数は約２であってよい。畳み込みエンコード層２２２及び畳み込みデコード層２４２は、異なる空間的解像度において画像フレーム２０２のシーケンスから特徴を抽出するように訓練され得る。
【0039】
[0052] ＲＮＮ２３０は、畳み込みエンコード層２２２と畳み込みデコード層２４２との間に位置付けられる。ＲＮＮ２３０は、運動物体のセグメンテーションのために入力画像フレーム２０２のシーケンスから時間的情報（例えば、時間的連続性）をキャプチャするように構成される。ＲＮＮ２３０は、複数の時間認識的回帰型コンポーネント（例えば、図３及び図４の回帰型コンポーネント２３２）を含む。例えば、矢印２０４によって示されるように、ＲＮＮ２３０は、現在の画像フレーム２０２（時間Ｔ０においてキャプチャされる）に関する予測を、次の画像フレーム２０２（時間Ｔ１においてキャプチャされる）についての予測に関する二次的入力としてＲＮＮ２３０に戻す。運動物体のセグメンテーションのための異なる空間的解像度における時間的情報の使用は、図３及び図４に関して、より詳細に以下に説明される。
【0040】
[0053] 図３は、本開示の態様による時間認識的深層学習ネットワーク２１０のための構成３００を示す概略図である。図３は、深層学習ネットワーク２１０における時間的情報の使用のより詳細なビューを提供する。説明及び議論の簡略化のために、図３は２つの時点Ｔ０及びＴ１におけるネットワーク２１０の動作を示している。しかしながら、後続の時間Ｔ２、Ｔ３、．．．、Ｔｎにも同様の動作が伝播していく。加えて、簡略化のために、畳み込みエンコード層２２２は、層を指し示す下付き文字Ｋ０、Ｋ１、Ｋ２、及びＫ３なしに示され、畳み込みデコード層２４２は、層を指し示す下付き文字Ｌ０、Ｌ１、Ｌ２、及びＬ３なしに示されている。図３は、時間を指し示す指標を表す下付き文字Ｔ０及びＴ１を使用する。
【0041】
[0054] 時間Ｔ０において、システム１００は画像フレーム２０２Ｔ０をキャプチャする。画像フレーム２０２Ｔ０は深層学習ネットワーク２１０に入力される。画像フレーム２０２Ｔ０は、畳み込みエンコード層２２２の各々によって処理される。畳み込みエンコード層２２２は、エンコード済みの特徴３０４Ｔ０を生む。本明細書においてより詳細に以下に説明されるように、エンコード済みの特徴３０４Ｔ０は、異なる空間的解像度における特徴を含む。
【0042】
[0055] ＲＮＮ２３０は、複数の回帰型コンポーネント２３２を含み、その各々は空間的解像度のうちの１つにおいて動作する。いくつかの実施例において、回帰型コンポーネント２３２は、長短期記憶（ＬＳＴＭ）ユニットである。いくつかの実施例において、回帰型コンポーネント２３２は、ゲート付き回帰型コンポーネント（ＧＲＵ）である。出力３０６Ｔ０を作るために、各回帰型コンポーネント２３２は対応する解像度のエンコード済みの特徴３０４Ｔ０に適用される。出力３０６Ｔ０はメモリ（例えば、メモリ１３８）に記憶される。いくつかの実施例において、回帰型コンポーネント２３２は、特徴チャンネルごとに１つの畳み込み動作を含み得る。
【0043】
[0056] 続いて、信頼性マップ３０８Ｔ０を生むために、出力３０６Ｔ０は畳み込みデコード層２４２の各々によって処理される。信頼性マップ３０８Ｔ０は、画像のピクセルが運動物体を含むか否かを予測する。実施例において、信頼性マップ３０８Ｔ０は、ピクセルが運動物体を含む可能性を表す約０から約１の間の値を含み、１に近い値は運動物体を含む可能性の高いピクセルを表し、０に近い値は運動物体を含む可能性の低いピクセルを表す。代替的に、１に近い値が運動物体を含む可能性の低いピクセルを表し、０に近い値が運動物体を含む可能性の高いピクセルを表してもよい。一般に、各ピクセルに関して、信頼性マップ３０８Ｔ０は、ピクセルが運動物体を含む確率又は信頼性レベルを示す。換言すれば、信頼性マップ３０８Ｔ０は、シーケンスの各画像フレーム２０２における運動物体の位置及び／又は運動の予測を提供し得る。
【0044】
[0057] 時間Ｔ１において、システム１００は画像フレーム２０２Ｔ１をキャプチャする。深層学習ネットワーク２１０は、画像フレーム２０２Ｔ０に対するものと同一の動作を画像フレーム２０２Ｔ１に適用する。しかしながら、各畳み込みエンコード層２２２によって生み出されたエンコード済みの特徴３０４Ｔ１は、畳み込みデコード層２４２に渡される前に、（矢印３０１によって示されるように）以前の時間Ｔ０からの出力３０６Ｔ０と連結される。渡された出力３０６Ｔ０と現在のエンコード済みの特徴３０４Ｔ１との連結は、各空間的解像度層において実施される。各空間的解像度層における時間Ｔ０における以前の出力３０６Ｔ０と現在のエンコード済みの特徴３０４Ｔ０との連結は、ネットワーク２１０の回帰型部分が、現在の時間Ｔ１における入力画像フレーム２０２Ｔ１に対する予測を行う前に、過去の全ての時点及び全ての空間的解像度レベル（例えば、粗いものから細かいものへ）における特徴に対して完全に露出することを可能とする。各空間的解像度層における時間的情報のキャプチャは、図４に関して、より詳細に以下に説明される。
【0045】
[0058] 図４は、本開示の態様による時間認識的深層学習ネットワーク２１０のための構成４００を示す概略図である。図４は、深層学習ネットワーク２１０における内部動作のより詳細なビューを提供する。議論及び説明の簡略化のために、図４は、単一の入力画像フレーム２０２（例えば時間Ｔ１におけるもの）における深層学習ネットワーク２１０の動作を示す。しかしながら、同様の動作がシーケンスにおける各画像フレーム２０２に対して適用される。加えて、動作は４つの異なる空間的解像度４１０、４１２、４１４、及び４１６に関して示されている。しかしながら、同様の動作が任意の適切な数（例えば、約２、３、５、６又はそれよりも多く）の空間的解像度に対して適用されてよい。図４は、ＲＮＮ２３０の拡張されたビューを提供する。図示されるように、ＲＮＮ２３０は、各空間的解像度４１０、４１２、４１４、及び４１６における時間的情報をキャプチャするために、各空間的解像度４１０、４１２、４１４、及び４１６において回帰型コンポーネント２３２を含む。回帰型コンポーネント２３２は、空間的解像度４１０、４１２、４１４、及び４１６のそれぞれに関して２３２Ｒ０、２３２Ｒ１、２３２Ｒ２、２３２Ｒ３として図示されている。加えて、畳み込みエンコード層２２２の各々には、ダウンサンプリング層４２２が続き、畳み込みデコード層２４２の各々は、アップサンプリング層４４２に先行される。
【0046】
[0059] 時間Ｔ１において、画像フレーム２０２Ｔ１がキャプチャされ、深層学習ネットワーク２１０に入力される。画像フレーム２０２Ｔ１は、畳み込みエンコード層２２２Ｋ０、２２２Ｋ１、２２２Ｋ２、２２２Ｋ３の各々に通される。画像フレーム２０２Ｔ１は、空間的解像度４１０を有する。図示されるように、画像フレーム２０２Ｔ１は、畳み込みエンコード層２２２Ｋ０によって畳み込まれ、空間的解像度４１０におけるエンコード済みの特徴３０４Ｔ１，Ｋ０（例えば、テンソルの形態）を出力する。畳み込みエンコード層２２２Ｋ０の出力は、ダウンサンプリング層４２２Ｄ０によってダウンサンプリングされ、空間的解像度４１２におけるテンソル４０２Ｄ０を生む。テンソル４０２Ｄ０は、畳み込みエンコード層２２２Ｋ１によって畳み込まれ、空間的解像度４１２におけるエンコード済みの特徴３０４Ｔ１，Ｋ１を出力する。畳み込みエンコード層２２２Ｋ１の出力は、ダウンサンプリング層４２２Ｄ１によってダウンサンプリングされ、空間的解像度４１４におけるテンソル４０２Ｄ１を生む。テンソル４０２Ｄ１は、畳み込みエンコード層２２２Ｋ２によって畳み込まれ、空間的解像度４１４におけるエンコード済みの特徴３０４Ｔ１，Ｋ２を出力する。畳み込みエンコード層２２２Ｋ２の出力は、ダウンサンプリング層４２２Ｄ２によってダウンサンプリングされ、空間的解像度４１６におけるテンソル４０２Ｄ２を生む。テンソル４０２Ｄ２は、畳み込みエンコード層２２２Ｋ３によって畳み込まれ、空間的解像度４１６におけるエンコード済みの特徴３０４Ｔ１，Ｋ３を出力する。
【0047】
[0060] 時間的連続性情報は、空間的解像度４１０、４１２、４１４、及び４１６の各々においてキャプチャされる。空間的解像度４１０において、エンコード済みの特徴３０４Ｔ１，Ｋ０は、畳み込みエンコード層２２２Ｋ０に関して以前の時間Ｔ０において取得された回帰型コンポーネント２３２Ｒ０の出力３０６Ｔ０，Ｋ０と連結される。例えば、以前の出力３０６Ｔ０，Ｋ０は、時間Ｔ０においてメモリ（例えば、メモリ１３８）に記憶され、時間Ｔ１における処理のためにメモリから読み出される。メモリからの以前の回帰型コンポーネントの出力３０６Ｔ０，Ｋ０の読み出しは、空白矢印によって示されている。回帰型コンポーネント２３２Ｒ０はエンコード済みの特徴３０４Ｔ１，Ｋ０と出力３０６Ｔ０，Ｋ０との連結に適用されて、出力３０６Ｔ１，Ｋ０を生む。いくつかの実施例において、出力３０６Ｔ１，Ｋ０がエンコード済みの特徴３０４Ｔ１，Ｋ０と同一の寸法を有するように、出力３０６Ｔ１，Ｋ０はダウンサンプリングされ得る。出力３０６Ｔ１，Ｋ０は、メモリに記憶され（パターン付き矢印によって示される）、次の時間Ｔ２における同様の連結のために読み出され得る。
【0048】
[0061] 同様に、空間的解像度４１２において、エンコード済みの特徴３０４Ｔ１，Ｋ１は、以前の時間Ｔ０において取得された回帰型コンポーネント２３２Ｒ１の出力３０６Ｔ０，Ｋ１と連結される。回帰型コンポーネント２３２Ｒ１はエンコード済みの特徴３０４Ｔ１，Ｋ１と出力３０６Ｔ０，Ｋ１との連結に適用されて、出力３０６Ｔ１，Ｋ１を生む。出力３０６Ｔ１，Ｋ１は、次の時間Ｔ２における同様の連結のためにメモリに記憶される（パターン付き矢印によって示される）。
【0049】
[0062] 空間的解像度４１４において、エンコード済みの特徴３０４Ｔ１，Ｋ２は、以前の時間Ｔ０において取得された回帰型コンポーネント２３２Ｒ２の出力３０６Ｔ０，Ｋ２と連結される。回帰型コンポーネント２３２Ｒ２はエンコード済みの特徴３０４Ｔ１，Ｋ２と出力３０６Ｔ０，Ｋ２との連結に適用されて、出力３０６Ｔ１，Ｋ２を生む。出力３０６Ｔ１，Ｋ２は、次の時間Ｔ２における同様の連結のためにメモリに記憶される（パターン付き矢印によって示される）。
【0050】
[0063] 最後の空間的解像度４１６において、エンコード済みの特徴３０４Ｔ１，Ｋ３は、以前の時間Ｔ０において取得された回帰型コンポーネント２３２Ｒ３の出力３０６Ｔ０，Ｋ２と連結される。回帰型コンポーネント２３２Ｒ３はエンコード済みの特徴３０４Ｔ１，Ｋ３と出力３０６Ｔ０，Ｋ３との連結に適用されて、出力３０６Ｔ１，Ｋ３を生む。出力３０６Ｔ１，Ｋ３は、次の時間Ｔ２における同様の連結のためにメモリに記憶される（パターン付き矢印によって示される）。
【0051】
[0064] 出力３０６Ｔ１，Ｋ３、３０６Ｔ１，Ｋ２、３０６Ｔ１，Ｋ１、及び３０６Ｔ１，Ｋ０はそれぞれ、畳み込みデコード層２４２Ｌ０、２４２Ｌ１、及び２４２Ｌ２に渡される。例えば、出力３０６Ｔ１，Ｋ３は、アップサンプリング層４４２Ｕ０によってアップサンプリングされ、テンソル４０８Ｕ０（例えば、抽出された特徴を含む）を生む。テンソル４０８Ｕ０及び出力３０６Ｔ１，Ｋ２は、畳み込みデコード層２４２Ｌ０によって畳み込まれ、アップサンプリング層４４２Ｕ１によってアップサンプリングされ、テンソル４０８Ｕ１を生む。テンソル４０８Ｕ１及び出力３０６Ｔ１，Ｋ１は、畳み込みデコード層２４２Ｌ１によって畳み込まれ、アップサンプリング層４４２Ｕ２によってアップサンプリングされ、テンソル４０８Ｕ２を生む。テンソル４０８Ｕ２及び出力３０６Ｔ１，Ｋ０は、畳み込みデコード層２４２Ｌ２によって畳み込まれ、信頼性マップ３０８Ｔ１を生む。図４は、４つのエンコード層２２２及び３つのデコード層２４２を示しているが、ネットワーク２１０は、代替的に、同様の予測を提供するために４つのデコード層２４２を含むように構成され得る。一般に、エンコーダ（図４におけるネットワーク２１０の左側に図示される）は、学習プロセスが発生する場所である。エンコード層２２２の数は、入力ボリュームのサイズ及びネットワーク２１０の受容フィールドに基づいて決定され得る。ネットワーク２１０の深さは、入力画像がどのくらい大きいか、及び特徴の学習に対するその影響に基づいて、すなわち、ネットワーク２１０の受容フィールドを制御することによって変更され得る。このように、ネットワーク２１０は、最も内側の層に対応するデコーダ／アップサンプリング層を有さなくてよい。デコーダ（図４におけるネットワーク２１０の右側に図示される）は、より低い解像度の特徴マップから特徴を取り出し、元の出力サイズに向かってアップサンプリングしながらそれらを組み合わせる。
【0052】
[0065] 図から分かるように、深層学習ネットワーク２１０は、現在の（時間Ｔｎにおける）画像フレーム２０２に関して、単一の時点においてキャプチャされた単一の画像フレームに基づくのではなく、現在の画像フレーム２０２及び（時間Ｔｎ－１における）以前の画像フレーム２０２から抽出された特徴に基づいて予測を実施する。深層学習ネットワーク２１０は、過去の情報に基づいて、運動物体に関連付けられた運動及び／又は位置情報を推論し得る。時間連続性情報（例えば、時間的連結によって提供される）は、追加的な次元情報を提供し得る。時間的情報の使用は、薄肉の物体をセグメンテーションするときに特に有用であり得、というのは、薄肉の物体は、典型的には、撮像フレームにおいて、より肉厚の物体よりも比較的少ない数のピクセルによって表されるからである。それ故、本開示は、運動する医療デバイス及び／又は運動部分を有する解剖学的構造の超音波画像及び／又はビデオにおける視覚化及び／又は安定性を向上させ得る。
【0053】
[0066] ダウンサンプリング層４２２は、任意の適切なダウンサンプリング係数においてダウンサンプリングを実施し得る。実施例において、各ダウンサンプリング層４２２は、係数２によってダウンサンプリングを実施する。例えば、入力画像フレーム２０２Ｔ１は、２００×２００×２００ボクセルの解像度（例えば、空間的解像度４１０）を有する。入力画像フレーム２０２Ｔ１は２によってダウンサンプリングされて、１００×１００×１００ボクセルの解像度（例えば、空間的解像度４１２）のテンソル４０２Ｄ０を生む。テンソル４０２Ｄ０は２によってダウンサンプリングされて、５０×５０×５０ボクセルの解像度（例えば、空間的解像度４１４）のテンソル４０２Ｄ１を生む。テンソル４０２Ｄ１は２によってダウンサンプリングされて、２５×２５×２５ボクセルの解像度（例えば、空間的解像度４１６）のテンソル４０２Ｄ２を生む。アップサンプリング層４４２はダウンサンプリングを逆転させる。例えば、アップサンプリング層４４２の各々は、係数２によってアップサンプリングを実施する。いくつかの他の実施例において、ダウンサンプリング層４２２は、異なるダウンサンプリング係数においてダウンサンプリングを実施し、アップサンプリング層４４２は、ダウンサンプリング係数に一致する係数を使用してアップサンプリングを実施する。例えば、ダウンサンプリング層４２２Ｄ０、４２２Ｄ１、及び４２２Ｄ２はそれぞれ、ダウンサンプリングを２、４、及び８によって実施し、アップサンプリング層４４２Ｕ０、４４２Ｕ１、及び４４２Ｕ２はそれぞれ、アップサンプリングを８、４、２によって実施する。
【0054】
[0067] 畳み込みエンコード層２２２及び畳み込みデコード層２４２は、任意のサイズの畳み込みカーネルを含む。いくつかの実施例において、カーネルサイズは、入力画像フレーム２０２のサイズに依存し、ネットワーク２１０を特定の複雑性に限定するように選択され得る。いくつかの実施例において、畳み込みエンコード層２２２の各々及び畳み込みデコード層２４２の各々は、５×５×５の畳み込みカーネルを含む。実施例において、畳み込みエンコード層２２２Ｋ０は、空間的解像度４１０において約１つの特徴を提供する（例えば、特徴３０４Ｔ１，Ｋ０はサイズ１を有する）。畳み込みエンコード層２２２Ｋ１は、空間的解像度４１２において約２つの特徴を提供する（例えば、特徴３０４Ｔ１，Ｋ１はサイズ２を有する）。畳み込みエンコード層２２２Ｋ２は、空間的解像度４１４において約４つの特徴を提供する（例えば、特徴３０４Ｔ１，Ｋ２はサイズ４を有する）。畳み込みエンコード層２２２Ｋ３は、空間的解像度４１６において約８つの特徴を提供する（例えば、特徴３０４Ｔ１，Ｋ３はサイズ８を有する）。一般に、空間的解像度が低下するにつれて特徴の数は増加する。
【0055】
[0068] いくつかの実施形態において、畳み込みエンコード層２２２及び／又は畳み込みデコード層２４２における畳み込みは繰り返され得る。例えば、畳み込みエンコード層２２２Ｋ０における畳み込みは２回繰り返され得、畳み込みエンコード層２２２Ｋ１における畳み込みは１回実施され得、畳み込みエンコード層２２２Ｋ２における畳み込みは２回繰り返され得、畳み込みエンコード層２２２Ｋ３における畳み込みは２回繰り返され得る。
【0056】
[0069] いくつかの実施形態において、畳み込みエンコード層２２２の各々及び／又は畳み込みデコード層２４２の各々は、非線形関数（例えば、パラメトリック整流線形ユニット（ＰＲｅＬｕ））を含み得る。
【0057】
[0070] いくつかの実施例において、回帰型コンポーネント２３２の各々は、畳み込みゲート付き回帰型コンポーネント（ｃｏｎｖＧＲＵ）を含む。いくつかの実施例において、回帰型コンポーネント２３２の各々は、畳み込み長短期記憶（ｃｏｎｖＬＳＴＭ）を含む。
【0058】
[0071] 図４は、２つの時点にわたる時間的情報の伝播（例えば、Ｔ０からＴ１、又はＴ１からＴ２）を示しているが、いくつかの実施例において、時間的情報は、より多くの時点（例えば、３つから４つ）にわたって伝播され得る。
【0059】
[0072] 図２に戻ると、深層学習ネットワーク２１０は、各画像フレーム２０２に関して信頼性マップ３０８を出力する。上述されたように、画像フレーム２０２における各ピクセルに関して、対応する信頼性マップ３０８は、ピクセルが運動物体を含む確率又は信頼性レベルを含み得る。出力画像フレーム２０６のシーケンスは、入力画像フレーム２０２のシーケンス及び対応する信頼性マップ３０８に基づいて生成され得る。いくつかの実施例において、時間認識的推論は、信頼性マップ３０８に基づいて、運動物体の失われた画像情報を補間又は他のやり方によって予測し得る。いくつかの実施例において、推論、補間、及び／又は予測は、深層学習ネットワーク２１０の外部で実現され得る。いくつかの実施例において、補間及び／又は再構築は、深層学習ネットワーク２１０の一部として実現され得る。換言すれば、深層学習ネットワーク２１０の学習及び訓練は、失われた撮像情報の推論、補間、及び／又は予測を含む。
【0060】
[0073] 実施形態において、深層学習ネットワーク２１０は、長尺で可撓性で薄肉の運動する医療デバイス（例えば、ガイドワイヤ、誘導式カテーテル、カテーテル、ニードル、療法デバイス、及び／又は治療デバイス）を解剖学的組織から見分けるように訓練され得る。例えば、訓練データセット（例えば、画像データセット１４０）が、システム１００を使用した訓練のために作り出され得る。訓練データセットは、入力－出力のペアを含み得る。各入力－出力のペアに関して、入力は、経時的に解剖学的組織（例えば、物体１０５）にわたって移動する医療デバイス（例えば、デバイス１０８）の画像フレームのシーケンス（例えば、２Ｄ又は３Ｄ）を含み、出力は、シーケンスにおける各画像フレーム内の医療デバイスの位置のグラウンドトルース又は注釈を含む。実施例において、医療デバイスのグラウンドトルース位置は、撮像中に超音波センサを医療デバイス（例えば、医療デバイスの先端部）に取り付け、その後、少なくとも先端部をスプラインのためのエンドポイント制約として使用してカーブ又はスプラインをキャプチャされた画像にフィッティングすることによって取得され得る。超音波画像にカーブをフィッティングした後、画像には訓練のためにグラウンドトルースによって注釈付け又はラベル付けがなされ得る。訓練中に、深層学習ネットワーク２１０は、出力を生むために前方伝播を使用して画像フレームのシーケンスに適用され得る。畳み込みエンコード層２２２、回帰型コンポーネント２３２、及び／又は畳み込みデコード層２４２における畳み込みカーネルの係数は、出力とデバイスのグラウンドトルース位置との間の誤差を最小化するように後方伝播を使用して調整され得る。訓練プロセスは、訓練データセットにおける各入力－出力のペアに対して繰り返され得る。
【0061】
[0074] 別の実施形態において、深層学習ネットワーク２１０は、訓練データセット（例えば、画像データセット１４０）を使用して、解剖学的組織の静的部分から解剖学的組織の運動部分を見分けるように訓練され得る。例えば、訓練データセット（例えば、画像データセット１４０）は、システム１００を使用して訓練のために作り出され得る。訓練データセットは、入力－出力のペアを含み得る。各入力－出力のペアに関して、入力は、運動を有する解剖学的組織（例えば、心臓、呼吸、及び／又は動脈パルスに関連付けられたもの）の画像フレームのシーケンス（例えば、２Ｄ又は３Ｄ）を含み、出力は、解剖学的組織の様々な運動部分及び／又は静的部分のグラウンドトルース又は注釈を含む。グラウンドトルース及び／又は注釈は、医療コミュニティが利用可能な様々な注釈付きデータセットから取得され得る。代替的に、画像フレームのシーケンスは、グラウンドトルースによって手動で注釈付けされ得る。訓練データセットを取得した後、上述されたものと同様の機構（例えば運動物体のためのもの）が、運動する解剖学的構造のセグメンテーションのために深層学習ネットワーク２１０を訓練するために使用される。
【0062】
【0063】
[0076] 図５は、本開示の態様による超音波誘導式処置のシナリオ５００を示す。シナリオ５００は、システム１００が、閉塞領域５２０（例えば、プラーク及び／又はカルシウム沈着）を含む脈管壁５０２を有する脈管管腔５０４を通過する薄肉のガイドワイヤ５１０（例えば、医療デバイス１０８）の超音波画像をキャプチャするために使用されるときのシナリオに対応する。例えば、超音波画像のシーケンスは、時間Ｔ０、Ｔ１、Ｔ２、Ｔ３、及びＴ４においてキャプチャされる。図５の右側の欄は、チェックマーク及びバツ印を含む。チェックマークは、対応する画像フレームにおいてガイドワイヤ５１０が完全に可視的であることを示す。バツ印は、対応する画像フレームにおいてガイドワイヤ５１０が完全には可視的でないことを示す。
【0064】
[0077] 時間Ｔ０において、ガイドワイヤ５１０は管腔５０４に進入する。時間Ｔ１において、ガイドワイヤ５１０の開始部分５１２ａ（点線によって示される）が閉塞領域５２０に進入する。時間Ｔ２において、ガイドワイヤ５１０は管腔５０４内の通過を継続し、ガイドワイヤ５１０の中間部分５１２ｂ（点線によって示される）は閉塞領域５２０内にある。時間Ｔ３において、ガイドワイヤ５１０は管腔５０４内の通過を継続し、ガイドワイヤ５１０の終端部分５１２ｃ（点線によって示される）は閉塞領域５２０内にある。時間Ｔ４において、ガイドワイヤ５１０は閉塞領域５２０を出る。
【0065】
[0078] 時間的情報を利用しない一般的３Ｄセグメンテーションは、時間Ｔ１、Ｔ２、及びＴ３においてそれぞれ閉塞領域５２０内の部分５１２ａ、５１２ｂ、及び５１２ｃのセグメンテーションに失敗することがある。故に、時間Ｔ１、Ｔ２、及びＴ３において時間的情報なしに取得された画像フレームは各々が、閉塞領域５２０内の部分５１２ａ、５１２ｂ、及び５１２ｃにそれぞれ対応するガイドワイヤ５１０の失われたセグメント、セクション、又は部分を含む。そのため、時間的情報を有さないセグメンテーションに関する欄において、時間Ｔ１、Ｔ２、及びＴ３に関してバツ印が示されている。
【0066】
[0079] 時間認識的深層学習ネットワーク２１０は、失われた情報を以前の画像フレームに基づいて補間するように設計されており、故に、システム１００は、画像において失われた部分５１２ａ、５１２ｂ、及び５１２ｃを推論するために、深層学習ネットワーク２１０を適用し得る。そのため、時間的情報を有するセグメンテーションに関する欄において、時間Ｔ１、Ｔ２、及びＴ３に関してチェックマークが示されている。
【0067】
[0080] いくつかの実施例において、シナリオ５００は、末梢血管系介入処置においても同様であり、その場合、閉塞領域５２０は、末梢血管系構造に交差する慢性完全閉塞（ＣＴＯ）に対応する。いくつかの実施例において、シナリオ５００は、追跡デバイスが、空隙、カルシウム沈着、又はシャドウイングの領域（例えば、閉塞領域５２０）を通過する臨床的処置においても同様である。
【0068】
[0081] 図６は、本開示の態様による超音波誘導式処置のシナリオ６００を示す。シナリオ６００は、システム１００が、脈管壁６０２を有する脈管管腔６０４を通過するガイドワイヤ６１０（例えば、医療デバイス１０８）の超音波画像をキャプチャするために使用されるときのシナリオに対応し、このシナリオでは、ガイドワイヤ６１０は、ある期間の間、脈管壁６０２に沿って滑走する。例えば、超音波画像のシーケンスは、時間Ｔ０、Ｔ１、Ｔ２、Ｔ３、及びＴ４においてキャプチャされる。図６の右側の欄は、チェックマーク及びバツ印を含む。チェックマークは、対応する画像フレームにおいてガイドワイヤ６１０が完全に可視的であることを示す。バツ印は、対応する画像フレームにおいてガイドワイヤ６１０が完全には可視的でないことを示す。
【0069】
[0082] 時間Ｔ０において、ガイドワイヤ６１０は、最初に、管腔６０４に管腔６０４のおよそ中央において進入する。時間Ｔ１において、ガイドワイヤ６１０の部分６１２ａ（点線によって示される）が脈管壁６０２に接触するように滑動する。ガイドワイヤ６１０は脈管壁６０２に接触するように滑動し続ける。図示されるように、時間Ｔ２において、ガイドワイヤ６１０の部分６１２ｂ（点線によって示される）が脈管壁６０２に隣接している。時間Ｔ３において、ガイドワイヤ６１０の部分６１２ｃ（点線によって示される）が脈管壁６０２に隣接している。時間Ｔ４において、ガイドワイヤ６１０の部分６１２ｄ（点線によって示される）が脈管壁６０２に隣接している。
【0070】
[0083] ガイドワイヤ６１０は、脈管壁６０２と同様に反射性であり、故に、時間的情報を利用しない一般的３Ｄセグメンテーションは、時間Ｔ１、Ｔ２、Ｔ３、Ｔ４においてそれぞれ脈管壁６０２に近接する部分６１２ａ、６１２ｂ、６１２ｃ、６１２ｄのセグメンテーションに失敗することがある。故に、時間Ｔ１、Ｔ２、Ｔ３、及びＴ４において時間的情報なしに取得された画像フレームは各々が、部分６１２ａ、６１２ｂ、６１２ｃ、及び６１２ｄにそれぞれ対応するガイドワイヤ６１０の失われたセグメント、セクション、又は部分を含む。そのため、時間的情報を有さないセグメンテーションに関する欄において、時間Ｔ１、Ｔ２、Ｔ３，及びＴ４に関してバツ印が示されている。
【0071】
[0084] 時間認識的深層学習ネットワーク２１０は、経時的な超音波画像フレーム又はビデオフレームの全体的シーケンスに露出しているので、時間Ｔ１、Ｔ２、Ｔ３、及びＴ４においてそれぞれ脈管壁６０２に近接する部分６１２ａ、６１２ｂ、６１２ｃ、及び６１２ｄの位置及び／又は運動を予測するために画像のシーケンスに適用される。故に、時間的情報を有するセグメンテーションに関する欄において、時間Ｔ１、Ｔ２、Ｔ３，及びＴ４に関してチェックマークが示されている。
【0072】
[0085] いくつかの実施例において、シナリオ６００は、医療デバイス又はガイドワイヤが心室の壁に沿って滑走する心臓撮像処置においても同様である。いくつかの実施例において、シナリオ６００は、閉塞をバイパスするために内膜下が意図的に脈管壁の外膜内に向けられる末梢血管系介入処置においても同様である。
【0073】
[0086] 図７は、本開示の態様による超音波誘導式処置のシナリオ７００を示す。シナリオ７００は、システム１００が、脈管壁７０２を有する脈管管腔７０４を通過するガイドワイヤ７１０（例えば、医療デバイス１０８）の超音波画像をキャプチャするために使用されるときのシナリオに対応し、このシナリオでは、音響結合が、ある期間の間、失われている。例えば、超音波画像のシーケンスは、時間Ｔ０、Ｔ１、Ｔ２、Ｔ３、及びＴ４においてキャプチャされる。図７の右側の欄は、チェックマーク及びバツ印を含む。チェックマークは、対応する画像フレームにおいてガイドワイヤ７１０が完全に可視的であることを示す。バツ印は、対応する画像フレームにおいてガイドワイヤ７１０が完全には可視的でないことを示す。
【0074】
[0087] 時間Ｔ０において、ガイドワイヤ７１０は管腔７０４に進入する。時間Ｔ１及びＴ２において、音響結合が失われる。音響結合は、時間Ｔ３において回復する。時間的情報を利用しない一般的３Ｄ撮像は、音響結合が失われると、ガイドワイヤ６１０の位置の全ての情報を失ってしまう。故に、ガイドワイヤ７１０は、時間Ｔ１及びＴ２において時間的情報なしに取得された画像フレームにおいては可視的でない。そのため、時間的情報を有さないセグメンテーションに関する欄において、時間Ｔ１及びＴ２に関してバツ印が示されている。
【0075】
[0088] 時間認識的深層学習ネットワーク２１０は、ガイドワイヤ７１０の場所を少なくとも２，３フレームの間、記憶しておく能力を有し、故に、時間Ｔ１及びＴ２におけるガイドワイヤ７１０の場所を予測するために画像のシーケンスに適用され得る。故に、時間的情報を有するセグメンテーションに関する欄において、時間Ｔ１及びＴ２に関してチェックマークが示されている。もしも音響結合が失われる期間が延長されると、時間認識的深層学習ネットワーク２１０が不正確なセグメンテーション結果を生む可能性が低くなる。
【0076】
[0089] シナリオ７００は、音響結合が失われたときにはいつでも発生する。撮像中の全ての期間において音響結合を維持するのは困難である。故に、時間認識的深層学習に基づくセグメンテーションは、特には自動化を伴う場合、例えば、自動ビームステアリング、画像に基づく制約を有するセンサ追跡、及び／又は超音波撮像デバイスのロボット式制御の最中に、超音波画像における様々なデバイス及び／又は解剖学的構造の視覚化を向上させ得る。他のシナリオにおいて、例えば、心臓の運動のせいで音響結合が心臓撮像中に短期間の間失われることがある。故に、時間認識的深層学習に基づくセグメンテーションは、心臓撮像における視覚化を向上させ得る。
【0077】
[0090] 図８は、本開示の態様による超音波誘導式処置のシナリオ８００を示す。シナリオ８００は、システム１００が、脈管壁８０２を有する脈管管腔８０４を通過するガイドワイヤ８１０（例えば、医療デバイス１０８）の超音波画像をキャプチャするために使用されるときのシナリオに対応し、このシナリオでは、撮像中にガイドワイヤ８１０が平面を出たり入ったりする。例えば、超音波画像のシーケンスは、時間Ｔ０、Ｔ１、Ｔ２、Ｔ３、及びＴ４においてキャプチャされる。図８の右側の欄は、チェックマーク及びバツ印を含む。チェックマークは、対応する画像フレームにおいてガイドワイヤ８１０が完全に可視的であることを示す。バツ印は、対応する画像フレームにおいてガイドワイヤ８１０が完全には可視的でないことを示す。
【0078】
[0091] 時間Ｔ０において、ガイドワイヤ８１０は管腔８０４に進入し、撮像の際には平面内にある。時間Ｔ１において、ガイドワイヤ８１０は、平面の外へとドリフトを開始する（例えば、部分的に平面の外に出る）。時間Ｔ２において、ガイドワイヤ８１０は、完全に平面の外に出る。時間Ｔ３において、ガイドワイヤ８１０はドリフトを継続し、部分的に平面の外に出ている。時間Ｔ４において、ガイドワイヤ８１０は平面内に戻る。時間的情報を利用しない一般的３Ｄ撮像は、平面の外にある如何なる構造も検知しない。故に、ガイドワイヤ８１０は、時間Ｔ１、Ｔ２、及びＴ３において時間的情報なしに取得された画像フレームにおいては完全には可視的でない。そのため、時間的情報を有さないセグメンテーションに関する欄において、時間Ｔ１、Ｔ２、及びＴ３に関してバツ印が示されている。
【0079】
[0092] 時間認識的深層学習ネットワーク２１０は、平面の外のデバイス位置を予測して、デバイスの完全な可視性を提供することができ、故に、ガイドワイヤ８１０の場所を予測するために画像のシーケンスに適用され得る。故に、時間的情報を有するセグメンテーションに関する欄において、時間Ｔ１、Ｔ２、及びＴ３に関してチェックマークが示されている。
【0080】
[0093] いくつかの実施例において、シナリオ８００は、非ボリュメトリック撮像モード（例えば、２Ｄ撮像）が使用される超音波誘導式処置において発生する。いくつかの実施例において、シナリオ８００は、十分に高いフレームレートを維持するために比較的小さいサイズの３Ｄボリュームが横方向において獲得されるリアルタイム３Ｄ撮像において発生する。いくつかの実施例において、シナリオ８００は、心臓の運動によって心臓の特定の部分が撮像平面を出入りする心臓撮像において発生する。
【0081】
[0094] シナリオ５００～８００は、運動するガイドワイヤ（例えば、ガイドワイヤ５１０、６１０、７１０、及び／又は８１０）のセグメンテーションを提供するための時間認識的深層学習ネットワーク２１０の使用を示すが、同様の時間認識的深層学習に基づくセグメンテーション機構は、任意の長尺で可撓性で薄肉形状の運動するデバイス（例えば、カテーテル、誘導式カテーテル、ニードル、ＩＶＵＳデバイス、及び／又は療法デバイス）、及び／又は運動部分を有する解剖学的構造に適用され得る。一般に、時間認識的深層学習に基づくセグメンテーションは、撮像されている運動するデバイス及び／又は運動を有する解剖学的組織の視覚化及び／又は安定性を向上させるために使用され得る。換言すれば、時間認識的深層学習に基づくセグメンテーションは、運動するデバイス及び／又は運動する解剖学的構造の運動における不連続性を最小化又は除去し得る。
【0082】
[0095] 図９は、本開示の態様によるスプラインフィッティングを伴う深層学習に基づく画像セグメンテーションスキーム９００の概略図である。スキーム９００はシステム１００によって実現される。スキーム９００は、スキーム２００と実質的に同様である。例えば、スキーム９００は、超音波画像における運動物体のセグメンテーションを提供するために時間認識的多層深層学習ネットワーク２１０を利用する。加えて、スキーム９００は、深層学習ネットワーク２１０の出力に結合されたスプラインフィッティングコンポーネント９１０を含む。スプラインフィッティングコンポーネント９１０は、システム１００における処理コンポーネント１３４によって実現され得る。
【0083】
[0096] スプラインフィッティングコンポーネント９１０は、深層学習ネットワーク２１０によって出力された信頼性マップ３０８にスプラインフィッティング機能を適用するように構成される。シーケンスにおける画像フレーム２０２に関する信頼性マップ３０８の拡張されたビューがヒートマップ９０２として図示される。図示されるように、深層学習ネットワーク２１０はカーブ９３０によって示されるように運動物体を予測した。しかしながら、カーブ９３０は、不連続的であり、ギャップ９３２を含んでいる。スプラインフィッティングコンポーネント９１０は、スプライン９３４をフィッティングして、ギャップ９３２におけるカーブ９３０の不連続性を均して除去するように構成される。スプラインフィッティングコンポーネント９１０は、撮像されている運動物体に関連付けられたデバイスパラメータ９０４を考慮してスプラインフィッティングを実施する。デバイスパラメータ９０４は、デバイスの形状、デバイスの先端部位置、及び／又は、デバイスの他の寸法及び／又は幾何学的情報を含む。故に、時間的深層学習に基づく予測への後処理調整としてのスプラインフィッティングの使用は、撮像されている運動物体の視覚化及び／又は安定性を更に向上させ得る。
【0084】
[0097] 図１０は、本開示の態様による深層学習に基づく撮像ガイダンススキーム１０００の概略図である。スキーム１０００はシステム１００によって実現される。スキーム１０００は、スキーム２００と実質的に同様である。例えば、スキーム１０００は、超音波画像のための撮像ガイダンスを提供するために時間認識的多層深層学習ネットワーク１０１０を利用する。深層学習ネットワーク１０１０は、深層学習ネットワーク２１０と実質的に同様のアーキテクチャを有する。例えば、深層学習ネットワーク１０１０は、畳み込みエンコーダ１０２０と、時間認識的ＲＮＮ１０３０と、畳み込みデコーダ２１００とを含む。畳み込みエンコーダ１０２０は複数の畳み込みエンコード層１０２２を含む。畳み込みデコーダ１０４０は複数の畳み込みデコード層１０４２を含む。畳み込みエンコード層１０２２、畳み込みデコード層１０４２、及びＲＮＮ１０３０はそれぞれ、畳み込みエンコード層２２２、畳み込みデコード層２４２、及びＲＮＮ２３０と実質的に同様であり、構成４００において示されたように、複数の異なる空間的解像度（例えば、空間的解像度４１０、４１２、４１４、及び４１６）において動作する。しかしながら、畳み込みエンコード層１０２２、畳み込みデコード層１０４２、及びＲＮＮ１０３０は、目標となる解剖学的組織（例えば、関心対象となる特定の臨床的特性を含む）を撮像するための最適な撮像平面を予測するように訓練される。最適な撮像平面は、２Ｄ平面、Ｘ－平面（例えば、断面平面及び直交撮像平面を含む）、ＭＰＲ、又は任意の適切な撮像平面であってよい。
【0085】
[0098] 例えば、画像フレーム１００２のシーケンスは、ある期間にわたって経時的に（例えば時間Ｔ０から時間Ｔｎ）キャプチャされる。画像フレーム２０２は、システム１００を使用してキャプチャされる。深層学習ネットワーク１０１０は、最適な撮像平面を予測するために画像フレーム１００２のシーケンスに適用され得る。例として、脈管壁１０５４を有する脈管管腔１０５２（例えば、物体１０５）を医療デバイス１０５０（例えば、医療デバイス１０８）が通過する間に、入力画像フレーム１００２のシーケンスがキャプチャされる。深層学習ネットワーク１０１０の出力は、最適な長軸スライス１００６及び短軸スライス１００８を提供する。スキーム２００と同様に、画像フレーム１００２の各々は、畳み込みエンコード層１０２２の各々及び畳み込みデコード層１０４２の各々によって処理される。矢印１００４によって示されるように、ＲＮＮ１０３０は、現在の画像フレーム１００２（時間Ｔ０においてキャプチャされる）に関する予測を、次の画像フレーム１００２（時間Ｔ１においてキャプチャされる）についての予測に関する二次的入力としてＲＮＮ１０３０に戻す。
【0086】
[0099] 第１の実施例において、深層学習ネットワーク１０１０によって出力された予測は、最適な場所へと超音波ビームを自動的にステアリングするために、システム１００によって使用され得る。例えば、処理コンポーネント１１６及び／又は１３４は、予測に基づいてトランスデューサアレイ１１２によって生成された超音波ビームを制御又はステアリングするように構成され得る。
【0087】
[00100] 第２の実施例において、深層学習ネットワーク１０１０は、最適な撮像平面が傾いた平面であることを予測する。深層学習ネットワーク１０１０は、プローブ１１０の軸を予測された最適な平面と整列させるようにプローブ１１０を操作（例えば、回転及び／又は並進）するように、ユーザにナビゲーション命令を提供する。いくつかの実施例において、ナビゲーション命令は、ディスプレイ１３２と同様のディスプレイ上に表示され得る。いくつかの実施例において、ナビゲーション命令は、グラフィカル表現（例えば、回転シンボル又は並進シンボル）を使用して表示され得る。ユーザがプローブ１１０を提案された場所に再度位置決めした後、撮像平面は傾いた平面ではなくなる。故に、深層学習ネットワーク１０１０は、第１の実施例において説明されたように予測を提供するように遷移し得、トランスデューサアレイ１１２によって生成されたビームをステアリングするために処理コンポーネント１１６及び／又は１３４と通信する。
【0088】
[00101] 図１１は、本開示の態様による超音波誘導式処置から取得される超音波画像１１１０、１１２０、及び１１３０を示す。画像１１１０は、ＰＶＤ検査中にシステム１００と同様のシステムを使用して取得された３Ｄ画像である。画像１１１０は、脈管壁１１１６によって包囲された脈管管腔１１１４（例えば、物体１０５）を通って移動する薄肉のガイドワイヤ１１１２（例えば、医療デバイス１０８及び／又は１０５０）を示す。デバイス１１１２はｘ軸に沿って脈管を通って移動する。システムは、デバイス１１１２が脈管を通って移動するにつれて画像１１１０と同様の一連の３Ｄ画像をキャプチャする。上述されたように、デバイス１１１２の運動によって、デバイス１１１２は撮像ビューを出たり入ったりすることがある。加えて、デバイス１１１２の薄肉の幾何学的形状によって、デバイス１１１２を解剖学的組織（例えば、脈管管腔１１１４及び／又は脈管壁１１１６）から区別することが困難になることがある。
【0089】
[00102] 視覚化を向上させるために、セグメンテーション及び／又は撮像ガイダンスのために訓練された時間認識的深層学習ネットワークは、一連の３Ｄ画像（画像１１１０を含む）に適用され得る。深層学習ネットワーク１０１０によって生み出された予測結果は、デバイス１１１２の先端部を通過し、デバイス１１１２の主軸（例えば、ｘ軸及びｙ軸）と整列されるＭＰＲを自動的に設定するために使用される。画像１１２０及び１１３０は、深層学習セグメンテーションに基づいて生成される。画像１１２０は、深層学習ネットワークによって出力された予測結果に基づいて画像１１１０から構築された（ｚ－ｘ平面に沿った）長手方向ＭＰＲを示す。画像１１３０は、予測結果に基づいて画像１１１０から構築された（ｙ－ｚ平面に沿った）横方向ＭＰＲを示す。直交するＭＰＲ平面（例えば、画像１１２０及び１１３０）は、予測されたセグメンテーションに基づいて生成された。この事例において、画像１１２０及び１１３０はそれぞれ、セグメンテーションされたデバイス１１２の先端部を通過する長手方向及び矢状方向平面に対応するが、同様の機構を使用して他のＭＰＲ平面も同様に生成され得る。
【0090】
[00103] いくつかの事例において、デバイス１１１２は、解剖学的組織（例えば、脈管壁）に極めて近接して配置され得、解剖学的組織と同等に反射性であり得る。故に、臨床医は、キャプチャされた画像からデバイス１１１２を視覚化することが困難である。視覚化を更に向上させるために、画像１１２０及び１１３０は、色分けされ得る。例えば、解剖学的構造はグレースケールで示され得、デバイス１１１２は赤色又は任意の他の適切な色で示され得る。
【0091】
[00104] 図１２は、本開示の実施形態によるプロセッサ回路１２００の概略図である。プロセッサ回路１２００は、図１のプローブ１１０及び／又はホスト１３０において実現される。図示されるように、プロセッサ回路１２００は、プロセッサ１２６０と、メモリ１２６４と、通信モジュール１２６８とを含む。これらの要素は、互いに直接的又は間接的に、例えば１つ又は複数のバスを介して、通信している。
【0092】
[00105] プロセッサ１２６０は、ＣＰＵ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、ＦＰＧＡ、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書において説明された動作、例えば、図１～図１１及び図１３～図１５の態様を実施するように構成されたこれらの任意の組み合わせを含む。プロセッサ１２６０は、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成としても実現される。
【0093】
[00106] メモリ１２６４は、キャッシュメモリ（例えば、プロセッサ１２６０のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、固体状態メモリデバイス、ハードディスクドライブ、他の形態の揮発性及び不揮発性メモリ、又は異なるタイプのメモリの組み合わせを含む。実施形態において、メモリ１２６４は、非一時的コンピュータ可読媒体を含む。メモリ１２６４は、命令１２６６を記憶する。命令１２６６は、プロセッサ１２６０によって実行されたときに、プロセッサ１２６０に本明細書において説明された動作、例えば、図１～図１１及び図１３～図１５の態様及びプローブ１１０及び／又はホスト１３０（図１）に関連する態様を行わせる命令を含む。命令１２６６は、コードとも称される。「命令」及び「コード」という用語は、任意のタイプのコンピュータ可読文を含むように広範に解釈されるべきである。例えば、「命令」及び「コード」という用語は、１つ又は複数のプログラム、ルーチン、サブルーチン、機能、手続き等を指す。「命令」及び「コード」は、単一のコンピュータ可読文又は多くのコンピュータ可読文を含む。
【0094】
[00107] 通信モジュール１２６８は、プロセッサ回路１２００、プローブ１１０、及び／又はディスプレイ１３２の間でのデータの直接的又は間接的な通信を促進する任意の電子回路及び／又は論理回路を含み得る。この点に関して、通信モジュール１２６８は、入力／出力（Ｉ／Ｏ）デバイスであってよい。いくつかの場合において、通信モジュール１２６８は、プロセッサ回路１２００及び／又はプローブ１１０（図１）及び／又はホスト１３０（図１）の様々な要素の間での直接的又は間接的な通信を促進する。
【0095】
[00108] 図１３は、本開示の態様による深層学習に基づく超音波撮像方法１３００のフロー図である。方法１３００は、システム１００によって、例えば、プロセッサ回路１２００などのプロセッサ回路、並びに／又はプローブ１１０、処理コンポーネント１１４、ホスト１３０、及び／若しくは処理コンポーネント１３４などの他の適切なコンポーネントによって実現される。いくつかの実施例において、システム１００は、プログラムコードが記録されたコンピュータ可読媒体を含み得、プログラムコードは、システム１００に方法１３００のステップを行わせるコードを含む。方法１３００は、図２、図９、図１０に関してそれぞれ説明されたスキーム２００、９００及び／又は１０００、図３及び図４に関してそれぞれ説明された構成３００及び／又は４００、及び／又は、図５、図６、図７及び／又は図８に関してそれぞれ説明されたシナリオ５００、６００、７００及び／又は８００におけるものと同様の機構を用いる。示されるように、方法１３００は、いくつもの列挙されたステップを有するが、方法１３００の実施形態は、列挙されたステップの前、後、及び間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップのうちの１つ又は複数が省略されてよく、又は異なる順序で実施されてよい。
【0096】
[00109] ステップ１３１０において、方法１３００は、プロセッサ回路（例えば、処理コンポーネント１１６及び／又は１３４、及び／又はプロセッサ回路１２００）によって、超音波撮像デバイス（例えば、プローブ１１０）から、ある期間にわたって（例えば、時間Ｔ０、Ｔ１、Ｔ２、．．．、Ｔｎにわたって）運動物体の入力画像フレームのシーケンス（例えば、画像フレーム２０２）を受信するステップを有する。運動物体は、患者の解剖学的組織又は患者の解剖学的組織を通って移動する医療デバイスのうちの少なくとも１つを含み、運動物体の一部は、入力画像フレームのシーケンスの第１の入力画像フレームにおいて少なくとも部分的に不可視的である。第１の入力画像フレームは、入力画像フレームのシーケンスにおける任意の画像フレームである。解剖学的組織は物体１０５と同様のものであり、患者の心臓、肺、脈管（例えば、脈管管腔５０４、６０４、７０５及び／又は８０４、及び脈管壁５０２、６０２、７０２及び／又は８０２）、神経線維、及び／又は患者の任意の適切な解剖学的構造を含む。医療デバイスは、医療デバイス１０８、及び／又はガイドワイヤ５１０、６１０、７１０及び／又は８１０と同様のものである。
【0097】
[00110] ステップ１３２０において、方法１３００は、プロセッサ回路によって、画像セグメンテーションに関連付けられた回帰型予測ネットワーク（例えば、深層学習ネットワーク２１０）を入力画像フレームのシーケンスに適用して、セグメンテーションデータを生成するステップを有する。
【0098】
[00111] ステップ１３３０において、方法は、セグメンテーションデータに基づいて出力画像フレームのシーケンス（例えば、画像フレーム２０６及び／又は９０６）を、プロセッサ回路と通信するディスプレイ（例えば、ディスプレイ１３２）に出力するステップを有する。運動物体の一部は、出力画像フレームのシーケンスの第１の出力画像フレームにおいて完全に可視的であり、第１の出力画像フレーム及び第１の入力画像フレームは期間内における同一の時間的瞬間に関連付けられている。
【0099】
[00112] いくつかの実施例において、例えば図５に関して上述されたシナリオ５００において示されるように、運動物体の一部は、閉塞領域（例えば、閉塞領域５２０）内にある。いくつかの実施例において、例えば図６に関して上述されたシナリオ６００において示されるように、運動物体の一部は、患者の解剖学的構造（例えば、脈管壁６０５、６０２、７０２及び／又は８０２）に接触するように位置している。いくつかの実施例において、例えば図７に関して上述されたシナリオ７００において示されるように、運動物体の一部は、音響結合が弱いか又は失われている間にキャプチャされる。いくつかの実施例において、例えば図８に関して上述されたシナリオ８００において示されるように、運動物体の一部は、第１の入力画像フレームがキャプチャされるときに平面の外にある。
【0100】
[00113] 実施形態において、回帰型予測ネットワークを適用するステップは、入力画像フレームのシーケンスの以前の入力画像フレームに基づいて以前のセグメンテーションデータを生成するステップであって、以前の入力画像フレームは第１の入力画像フレームよりも前に受信される、ステップと、第１の入力画像フレーム及び以前のセグメンテーションデータに基づいて、第１のセグメンテーションデータを生成するステップとを有する。以前の入力画像フレームは、第１の入力画像フレームの前に受信されたシーケンスにおける任意の画像フレーム又はシーケンスにおける第１の入力画像フレームの直前の画像フレームであってよい。例えば、図３に関して説明された構成３００において示されるように、第１の入力画像フレームは、現在の時間Ｔ１において受信された入力画像フレーム２０２Ｔ１に対応し、第１のセグメンテーションデータは出力３０６Ｔ１に対応し、以前の入力画像フレームは、以前の時間Ｔ０において受信された入力画像フレーム２０２Ｔ０に対応し、以前のセグメンテーションデータは、出力３０６Ｔ０に対応する。
【0101】
[00114] 実施形態において、以前のセグメンテーションデータを生成するステップは、畳み込みエンコーダ（例えば、畳み込みエンコーダ２２０）及び回帰型ニューラルネットワーク（例えば、ＲＮＮ２３０）を以前の入力画像フレームに適用するステップを有する。第１のセグメンテーションデータを生成するステップは、エンコード済みのデータを生成するために畳み込みエンコーダを第１の入力画像フレームに適用するステップと、回帰型ニューラルネットワークをエンコード済みのデータ及び以前のセグメンテーションデータに適用するステップとを有する。回帰型予測ネットワークを適用するステップは、畳み込みデコーダ（例えば、畳み込みデコーダ２４０）を第１のセグメンテーションデータ及び以前のセグメンテーションデータに適用するステップを更に有する。実施形態において、畳み込みエンコーダ、回帰型ニューラルネットワーク、及び畳み込みデコーダは、複数の空間的解像度（例えば、空間的解像度４１０、４１２、４１４、及び４１６）において動作する。
【0102】
[00115] 実施形態において、運動物体は、患者の解剖学的組織を通って移動する医療デバイスを含む。このような実施形態において、畳み込みエンコーダ、回帰型ニューラルネットワーク、及び畳み込みデコーダは、患者の解剖学的組織から医療デバイスを識別し、患者の解剖学的組織を通って移動する医療デバイスに関連付けられた運動を予測するように訓練される。
【0103】
[00116] 実施形態において、運動物体は、心臓運動、呼吸運動、又は動脈パルスのうちの少なくとも１つを有する患者の解剖学的組織を含む。このような実施形態において、畳み込みエンコーダ、回帰型ネットワーク、及び畳み込みデコーダは、患者の解剖学的組織の静的部分から患者の解剖学的組織の運動部分を識別し、運動部分に関連付けられた運動を予測するように訓練される。
【0104】
[00117] 実施形態において、運動物体は患者の解剖学的組織を通って移動する医療デバイスを含み、システムは医療デバイスを含む。実施形態において、医療デバイスは、ニードル、ガイドワイヤ、カテーテル、誘導式カテーテル、療法デバイス、又は介入デバイスのうちの少なくとも１つを備える。
【0105】
[00118] 実施形態において、入力画像フレームは３Ｄ画像フレームを含み、回帰型予測ネットワークは、時間的情報に基づく４Ｄ画像セグメンテーションのために訓練される。実施形態において、入力画像フレームのシーケンスは２Ｄ画像フレームを含み、回帰型予測ネットワークは、時間的情報に基づく３Ｄ画像セグメンテーションのために訓練される。
【0106】
[00119] 実施形態において、方法１３００は、セグメンテーションデータに基づいて入力画像フレームのシーケンスにスプラインフィッティング（例えば、スプラインフィッティングコンポーネント９２０）を適用するステップを更に有する。スプラインフィッティングは、入力画像フレームのシーケンスにおける空間的情報及び時間的情報並びに回帰型予測ネットワークによる予測を利用する。
【0107】
[00120] 図１４は、本開示の態様による深層学習に基づく超音波撮像方法のフロー図である。方法１４００は、システム１００によって、例えば、プロセッサ回路１２００などのプロセッサ回路、並びに／又はプローブ１１０、処理コンポーネント１１４、ホスト１３０、及び／若しくは処理コンポーネント１３４などの他の適切なコンポーネントによって実現される。いくつかの実施例において、システム１００は、プログラムコードが記録されたコンピュータ可読媒体を含み得、プログラムコードは、システム１００に方法１４００のステップを行わせるコードを含む。方法１４００は、図１０に関して説明されたスキーム１０００、図３及び図４に関してそれぞれ説明された構成３００及び４００におけるものと同様の機構を用いる。示されるように、方法１４００は、いくつもの列挙されたステップを有するが、方法１４００の実施形態は、列挙されたステップの前、後、及び間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップのうちの１つ又は複数が省略されてよく、又は異なる順序で実施されてよい。
【0108】
[00121] ステップ１４１０において、方法１４００は、プロセッサ回路（例えば、処理コンポーネント１１６及び／又は１３４、及び／又はプロセッサ回路１２００）によって、超音波撮像デバイス（例えば、プローブ１１０）から、ある期間にわたって（例えば、時間Ｔ０、Ｔ１、Ｔ２、．．．、Ｔｎにわたって）、患者の解剖学的組織を表す入力画像フレームのシーケンス（例えば、画像フレーム１００２及び／又は１１１１０）を受信するステップを有する。解剖学的組織は物体１０５と同様のものであり、患者の心臓、肺、及び／又は任意の解剖学的構造を含む。
【0109】
[00122] ステップ１４２０において、方法１４００は、患者の解剖学的組織の臨床的特性に関連付けられた撮像平面データを生成するために、画像取得に関連付けられた回帰型予測ネットワーク（例えば、深層学習ネットワーク１０１０）を画像フレームのシーケンスに適用するステップを有する。臨床的特性は、心臓の状態、肺の状態、及び／又は任意の他の臨床的状態に関連付けられる。
【0110】
[00123] ステップ１４３０において、方法１４００は、撮像平面データに基づいて、患者の解剖学的組織の目標撮像平面（例えば、断面平面、長手方向平面、又はＭＰＲ平面）又は目標撮像平面に向かって超音波撮像デバイスを再度位置決めするための命令のうちの少なくとも１つを、プロセッサ回路と通信するディスプレイ（例えば、ディスプレイ１３２）に出力するステップを有する。
【0111】
[00124] 実施形態において、回帰型予測ネットワークを適用するステップは、画像のシーケンスの第１の画像フレームに基づいて第１の撮像平面データを生成するステップと、画像フレームのシーケンスの第２の画像フレーム及び第１の撮像平面データに基づいて第２の撮像平面データを生成するステップであって、第２の画像フレームは、第１の画像フレームの後に受信される、ステップとを有する。例えば、図１０に関して説明されたスキーム１０００において示されるように、第１の画像フレームは、以前の時間Ｔ０において受信された入力画像フレーム１００２に対応し、第１の撮像平面データは、時間Ｔ０におけるＲＮＮ１０３０の出力に対応し、第２の画像フレームは、現在の時間Ｔ１において受信された入力画像フレーム１００２Ｔ１に対応し、第２の撮像平面データは、時間Ｔ１におけるＲＮＮ１０３０の出力に対応する。
【0112】
[00125] 実施形態において、第１の撮像平面データを生成するステップは、畳み込みエンコーダ（例えば、畳み込みエンコーダ１０２０）及び回帰型ニューラルネットワーク（例えば、ＲＮＮ１０３０）を第１の画像フレームに適用するステップを有する。第２の撮像平面データを生成するステップは、畳み込みエンコーダを第２の画像フレームに適用して、エンコード済みのデータを生成するステップと、回帰型ニューラルネットワークをエンコード済みのデータ及び第１の撮像平面データに適用するステップとを有する。回帰型予測ネットワークを適用するステップは、畳み込みデコーダ（例えば、畳み込みデコーダ１０４０）を第１の撮像平面データ及び第２の撮像平面データに適用するステップを更に有する。実施形態において、畳み込みエンコーダ、回帰型ニューラルネットワーク、及び畳み込みデコーダは、複数の空間的解像度（例えば、空間的解像度４１０、４１２、４１４、及び４１６）において動作する。実施形態において、畳み込みエンコーダ、回帰型ネットワーク、及び畳み込みデコーダは、患者の解剖学的組織の臨床的特性を撮像するために、目標撮像平面を予測するように訓練される。
【0113】
[00126] 実施形態において、入力画像フレームは３Ｄ画像フレームを含み、回帰型予測ネットワークは、時間的情報に基づく３Ｄ画像取得のために訓練される。実施形態において、入力画像フレームのシーケンスは２Ｄ画像フレームを含み、回帰型予測ネットワークは、時間的情報に基づく２Ｄ画像取得のために訓練される。
【0114】
[00127] 実施形態において、方法１４００は、臨床的特性を含む患者の解剖学的組織の断面画像スライス（例えば、画像スライス１００６及び／又は１１２０）、直交画像スライス（例えば、画像スライス１００８及び／又は１１３０）、又は多平面ＭＰＲ画像スライスのうちの少なくとも１つを含む目標撮像平面を出力する。
【0115】
[00128] 実施形態において、方法１４００は、撮像平面データに基づいて超音波ビームステアリング制御信号を生成するステップと、超音波ビームステアリング制御信号を超音波撮像デバイスに出力するステップとを有する。例えば、超音波ビームステアリング制御信号は、超音波撮像デバイスのトランスデューサアレイ（例えば、トランスデューサアレイ１１２）によって生成された超音波ビームをステアリングする。
【0116】
[00129] 実施形態において、プロセッサ回路は、超音波撮像デバイスの回転又は並進のうちの少なくとも１つを含む命令を出力する。命令は、患者の解剖学的組織の目標画像ビューを取得するために超音波撮像デバイスを最適な撮像場所（例えば、目標撮像平面）へと操作するときのガイダンスをユーザに提供し得る。
【0117】
[00130] 本開示の態様は、いくつかの利益を提供し得る。例えば、深層学習ネットワーク（例えば、深層学習ネットワーク２１０及び１０１０）における時間的連続性情報の使用は、深層学習ネットワークが、単一の時点における観察ではなく時間における一連の観察に基づいて学習し、予測することを可能とする。時間的連続性情報は、その他のやり方ではセグメンテーションが困難な長尺で可撓性で薄肉形状の運動物体のセグメンテーションを向上させ得る追加的な次元情報を提供する。それ故、開示された実施形態は、２Ｄ及び／又は３Ｄ撮像の下で運動物体の運動の安定したビューを提供し得る。深層学習ネットワーク出力への調整としてのスプラインフィッティングの使用は、撮像されている運動物体に関連付けられた運動の円滑な遷移を更に提供する。時間的連続性情報の使用は、例えば、目標撮像ビューに到達するときのビームステアリング制御及び／又は撮像ガイダンス命令を含む、ビューの自動的な発見も提供し得る。
【0118】
[00131] 当業者は、上述された装置、システム、及び方法は様々なやり方で修正され得ることを認識するであろう。それ故、当業者は、本開示に包含される実施形態は、上述された特定の例示的な実施形態に限定されるものではないことを理解するであろう。この点に関して、例示的な実施形態が図示され、説明されたが、前述の開示において広範な修正、変更、及び代替が想定される。このような変形は、本開示の範囲から逸脱することなく前述のものに対してなされることが理解される。それ故、添付の特許請求の範囲は、幅広く、本開示と首尾一貫したやり方で解釈されることが適切である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】