特許 7464593 医用画像内でのインターベンションデバイスの識別

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】医用画像内でのインターベンションデバイスの識別

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240402BHJP

【ＦＩ】

A61B8/14

【請求項の数】 17

(21)【出願番号】P 2021523306

(86)(22)【出願日】2019-10-31

(65)【公表番号】

(43)【公表日】2022-01-17

(86)【国際出願番号】 EP2019079878

(87)【国際公開番号】W WO2020089416

(87)【国際公開日】2020-05-07

【審査請求日】2022-10-26

(31)【優先権主張番号】62/754,250

(32)【優先日】2018-11-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/909,392

(32)【優先日】2019-10-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ヤン，ホンシュ

(72)【発明者】

【氏名】コーレン，アレクサンデル フランシスキュス

(72)【発明者】

【氏名】シャン，カイフェン

(72)【発明者】

【氏名】デ ウィット，ペーテル ヘンドリク ネリス

【審査官】下村 一石

(56)【参考文献】

【文献】特表２０１８－５２２６４６（ＪＰ，Ａ）

【文献】特開２０１８－１０９９４７（ＪＰ，Ａ）

【文献】特開２０１３－０３７４８８（ＪＰ，Ａ）

【文献】特開平０７－０５７０９４（ＪＰ，Ａ）

【文献】HONGXU YANG; ET AL，CATHETER DETECTION IN 3D ULTRASOUND USING TRIPLANAR-BASED CONVOLUTIONAL NEURAL NETWORKS，IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING，IEEE，2018年10月07日，PAGE(S):371-375，https://doi.org/10.1109/ICIP.2018.8451586

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

超音波画像を生成する信号を取得するよう構成される超音波プローブと、
前記取得された信号を表すデータを含む第１データセットを生成し、
前記画像内で識別されるべき対象のサイズ又は形状に基づいておりかつ前記識別されるべき対象に関連した前記第１データセットからのデータを選択するよう適応されている前処理モデルを前記第１データセットに適用することによって、前記第１データセットから、前記第１データセットよりも小さく、前記第１データセットのサブセットである第２データセットを選択し、
前記識別されるべき対象を含む前記第２データセットのデータを識別するよう前記第２データセットを解析し、該第２データセットを解析することは、前記第２データセットをニューラルネットワークへ供給することを含み、
前記対象を含むものとして識別された前記第２データセットの前記データから、前記画像内の前記対象を表す第３データセットを生成するよう構成されるプロセッサと
を有する超音波撮像システム。

【請求項2】

前記プロセッサは、
前記第２データセットをキューブに細分し、
各キューブから複数の面を取り出し、
前記複数の面に含まれるデータからのみ前記第２データセットを選択する
よう更に構成される、
請求項１に記載の超音波撮像システム。

【請求項3】

前記複数の面は、３つの直交面を含み、該３つの直交面の夫々は、前記キューブの中心を通る、
請求項２に記載の超音波撮像システム。

【請求項4】

前記ニューラルネットワークは、２段階訓練プロセスによって訓練される、
請求項１に記載の超音波撮像システム。

【請求項5】

前記前処理モデルは、フランジ・ベッセルネス又はガボール・フィルタの少なくとも１つを含む、
請求項１に記載の超音波撮像システム。

【請求項6】

前記前処理モデルは、適応閾値化アルゴリズムを更に含む、
請求項５に記載の超音波撮像システム。

【請求項7】

前記プロセッサは、少なくとも１つの曲線当てはめ技術を前記第３データセットのデータに適用することによって前記第３データセットから第４データセットを選択するよう更に構成され、前記第４データセットは、前記対象のローカライゼーションを表す、
請求項１に記載の超音波撮像システム。

【請求項8】

複数の前もってセットされたモデルのうちの１つを前記前処理モデルとして選択するユーザ入力を受けるよう構成されるユーザインターフェースを更に有する、
請求項１に記載の超音波撮像システム。

【請求項9】

超音波プローブ及びプロセッサを備える超音波撮像システムの作動方法であって、
前記超音波プローブによって、超音波画像を生成するための信号を取得することと、
前記プロセッサによって、前記取得された信号を表すデータを含む第１データセットを生成することと、
前記プロセッサによって、前記第１データセットを前処理モデルを用いて処理して、前記第１データセットよりも小さい第２データセットを生成することであり、前記第２データセットは前記第１データセットのサブセットであり、前記前処理モデルは、前記画像内で識別されるべき対象のサイズ又は形状に少なくとも部分的に基づいており、かつ、前記識別されるべき対象に関連した前記第１データセットからのデータを選択するよう適応されている、前記生成することと、
前記プロセッサによって、前記識別されるべき対象を含む前記第２データセットのデータを識別するよう前記第２データセットを解析することであり、該第２データセットを解析することは、前記第２データセットをニューラルネットワークへ供給することを含む、前記解析することと、
前記プロセッサによって、前記対象を含むものとして識別された前記第２データセットの前記データを、前記画像内の前記対象を表す第３データセットとして出力することであり、前記第３データセットは表示のために出力される、前記出力することと
を有する方法。

【請求項10】

前記超音波撮像システムのユーザインターフェースによって、前記識別されるべき対象のタイプを含むユーザ入力を受けることを更に有する、
請求項９に記載の方法。

【請求項11】

前記プロセッサによって、
前記第２データセットを３Ｄパッチに細分し、
各３Ｄパッチから少なくとも１つのスライスを取り出し、
前記少なくとも１つのスライスに含まれるデータを、解析のための前記第２データセットとして出力すること
を更に有する、請求項９に記載の方法。

【請求項12】

前記プロセッサによって、少なくとも１つの曲線当てはめ技術を用いて前記第３データセット内で前記対象をローカライズし、前記対象を含む第４データセットを出力することを更に有する、
請求項９に記載の方法。

【請求項13】

前記対象をローカライズすることは、３次スプライン当てはめを含む、
請求項１２に記載の方法。

【請求項14】

実行される場合に、撮像システムに、
超音波画像を生成するための信号を取得させ、前記信号は超音波プローブによって取得され、
前記取得された信号を表すデータを含む第１データセットを生成させ、
前記第１データセットを、前記画像内で識別されるべき対象のサイズ又は形状に基づいておりかつ前記識別されるべき対象に関連した前記第１データセットからのデータを選択するよう適応されている前処理モデルを用いて処理して、前記第１データセットよりも小さく、前記第１データセットのサブセットである第２データセットを生成させ、
前記識別されるべき対象を含む前記第２データセットのデータを識別するよう前記第２データセットを解析させ、前記第２データセットを解析することは、前記第２データセットをニューラルネットワークへ供給することを含み、
前記対象を含むと決定された前記第２データセットの前記データを含む第３データセットを出力させ、前記第３データセットは、前記画像内の前記対象を表し、
前記第３データセットを含む表示を生成させる
命令を含む非一時的なコンピュータ可読媒体。

【請求項15】

実行される場合に、前記撮像システムに、前記第２データセットに対してトライプレーナを実行させる命令を更に含み、
前記トライプレーナによって取り出されたデータのみが、解析されるべき前記第２データセットとして出力される、
請求項１４に記載の非一時的なコンピュータ可読媒体。

【請求項16】

実行される場合に、前記撮像システムに、前記第３データセット内で前記対象をローカライズさせる命令を更に含む、
請求項１４に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記前処理モデルは、フランジ・ベッセルネス又はガボール・フィルタの少なくとも１つを含む、
請求項１４に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像内の対象を識別する撮像システム及び方法、特に、医用画像内でインターベンションデバイスを識別する撮像システム及び方法に関係がある。

【背景技術】

【0002】

臨床医は、インターベンション処置の前、その間、及びその後に医用画像を当てにある。医用画像は、皮膚表面下の下層組織を理解する上での手がかりとなり、臨床医が体内の異物を見ることも可能にする。インターベンション処置の間、医用画像は、処置に使用されている医用デバイス（例えば、カテーテル、ガイドワイヤ、インプラント、など）の場面を見ることを臨床医に可能にすることにおいて特に実用的であることができる。しかし、その実用性は、ときどき、医用デバイスの位置がノイジーな又はより低品質の医用画像では簡単には見えないことがあるということで、医用デバイスが画像内で検出可能である精度に依存する。画像内のデバイスの検出は、様々な成功度で多数の画像処理技術のうちの１つを用いて自動化され得る。

【0003】

更に、ｘ線のようないくつかの撮像モダリティは、放射線や造影流体を必要とし、これは、処置の長さを増大させ、視覚的かつ自動的な画像検出を阻害する可能性がある。超音波は、それが放射線を用いず、２Ｄ（平面）、３Ｄ（体積）及び４Ｄ（体積及び時間）画像データセットにより柔軟性を提供するということで、ｘ線撮像に対する魅力的な代替手段である。これらの利点にかかわらず、超音波により生成された画像は、しばしば、低解像度かつ低コントラスの３Ｄ空間であり、臨床医が処置内で医用デバイスを適宜ローカライズすることを困難にする。

【発明の概要】

【0004】

本開示は、画像内の医用デバイス又は他の対象の検出を向上させ、かつ、画像内のデバイスを検出するための計算時間を短縮して実時間の適用を可能にするためのシステム及び方法について記載する。これは、臨床結果を改善し、処置時間を短縮し得る。特に、システム及び方法は、画像データセット内の候補ピクセル／ボクセルに対象検出を集中させる技術を用いて、対象検出（例えば、カテーテル、ガイドワイヤ、インプラント、など）を可能にする。画像データセットは、２次元（２Ｄ）、３次元（３Ｄ）、又は４次元（４Ｄ）のデータセットを含み得る。いくつかの実施形態において、対象に基づく前もってセットされたモデルが、対象と相関した画像データに基づいて候補ピクセル／ボクセルを検出するために使用されてよい。前もってセットされたモデルは、システムによって供給されるか、あるいは、ユーザによって選択されてよい。前もってセットされたモデルは、用途に応じて１つ以上のフィルタ、アルゴリズム、又は他の技術を含んでもよい。例えば、チューブ状の対象は、フランジ・ベッセルネス・フィルタ又はガボール・フィルタに値し得る。これらのフィルタは、候補ピクセル／ボクセルを決定するために単独で又は１つ以上の他のフィルタと組み合わせ使用されてよい。特定の実施形態では、前もってセットされたモデルは、検出されるべき対象の形状に対応する。いくつかの実施形態において、候補ピクセル／ボクセルは、次いで、画像データ内の対象を分類するよう訓練されたニューラルネットワークを用いて処置されてよく、対象は、画像データ内で識別される。いくつかの実施形態において、識別され対象は、曲線当てはめ又は他の技術によってローカライズされ得る。

【0005】

候補ピクセル／ボクセルを識別するために画像データのモデルベースのフィルタリングを使用し、ニューラルネットワークによって候補ピクセル／ボクセルのみを処理することによって、本明細書で記載されるシステム及び方法は、対象の識別及び／又は分類を強化し得る。本明細書で記載されるシステム及び方法はまた、加えられたステップ数にかかわらず（例えば、ニューラルネットワークへ直接にデータを供給するのではなく、モデルを適用し、それからニューラルネットワークにより処理する。）、対象を識別するための時間の量を低減させ得る。

【0006】

本開示の例に従う超音波撮像システムは、超音波画像を生成する信号を取得するよう構成される超音波プローブと、信号から画像を表す表示データの第１の組を含む第１データセットを生成し、画像内で識別されるべき対象の特性に基づくモデルを第１データセットに適用することによって第１データセットから表示データの第１の組の第１サブセットを選択し、対象を表す第１サブセットからデータポイントの第２サブセットを選択し、データポイントの第２サブセットから、画像内の対象を表す表示データの第２の組を生成するよう構成されるプロセッサとを含んでよい。

【0007】

本開示の例に従う方法は、画像の第１データセットをモデルを用いて処理して、第１データセットよりも小さい第２データセットを生成することであり、第２データセットは第１データセットのサブセットであり、モデルは、画像内で識別されるべき対象の特性に少なくとも部分的に基づく、前記生成することと、第２データセットのどのデータポイントが対象を含むかを識別するよう第２データセットを解析することと、対象を含むものとして識別された第２データセットのデータポイントを第３データセットとして出力することであり、第３データセットは表示のために出力される、前記出力することとを含んでよい。

【0008】

本開示の例に従って、非一時的なコンピュータ可読媒体は、実行される場合に、撮像システムに、画像の第１データセットを、前記画像内で識別されるべき対象の特性に基づくモデルを用いて処理させ、モデルに基づいて、第１データセットのサブセットである第２データセットを出力させ、第２データセットのどのデータポイントが対象を含むかを決定するよう第２データセットを解析させ、対象を含むと決定された第２データセットのデータポイントを含む第３データセットを出力させ、第３データセットを含む表示を生成させる命令を含んでよい。

【図面の簡単な説明】

【0009】

【図1】本開示の原理の概要を表す。

【図2】本開示の原理に従って、３Ｄ超音波ボリュームにおけるカテーテル識別のためのデータ処理ステップを表す。

【図3】本開示の原理に従う超音波システムのブロック図である。

【図4】本開示の原理に従うプロセッサの例を表すブロック図である。

【図5】本開示の原理に従うニューラルネットワークの訓練及びデプロイのためのプロセスのブロック図である。

【図6】本開示の原理に従うニューラルネットワークの実例である。

【図7】本開示の原理に従うニューラルネットワークの実例である。

【図8】本開示の原理に従うニューラルネットワークの実例である。

【図9】本開示の原理に従うトライプレーナ抽出のプロセスを表す。

【図10】本開示の原理に従うニューラルネットワークの実例である。

【図11】本開示の原理に従って、対象識別部の出力の画像の例を示す。

【図12】本開示の原理に従って、カテーテルのためのローカライゼーションプロセスの例を表す。

【図13】本開示の原理に従って、ローカライゼーションの前後のカテーテルの画像の例を示す。

【図14】本開示の原理に従って、画像内の対象を識別する方法の概要を表す。

【発明を実施するための形態】

【0010】

特定の実施形態の以下の記載は、事実上例にすぎず、決して本発明又はその用途若しくは使用を限定する意図はない。本システム及び方法の実施形態の以下の詳細な説明では、本明細書の部分を形成し、実例として、記載されるシステム及び方法が実施され得る具体的な実施形態を示されている添付の図面が、参照される。これらの実施形態は、当業者が目下開示されているシステム及び方法を実施することができるほど十分に詳細に記載されており、理解されるべきは、他の実施形態が利用されてよいことと、構造上及び論理上の変更が本システムの精神及び範囲から逸脱しない範囲で行われてもよいこととである。更には、明りょうさのために、特定の特徴の詳細な説明は、本システムの記載を不明りょうにしないように、それらが当業者にとって明らかである場合には議論されない。従って、以下の詳細な説明は、限定の意味で捉えられるべきではなく、本システムの範囲は、添付の特許請求の範囲によってのみ画定される。

【0011】

ニューラルネットワーク及びディープラーニングアルゴリズムなどの機械学習技術は、医用画像、更にはより低解像度の画像を解析することにおいて進歩をもたらし、画像内の対象を識別しローカライズする能力を改善してきた。これらの技術は、診断のためにまたは治療の評価（例えば、インプラントの配置の確認）のために使用され得る。しかし、多くの機械学習技術は、依然として計算が複雑であり、医用画像、特に３次元医用画像を処理することは、相当量の時間を必要とすることがある。これは、インターベンション処置などの実時間の適用において機械学習を使用する実用性を制限する可能性がある。

【0012】

本明細書で開示されるように、画像は、ニューラルネットワークによって解析される前に、関心のあるボクセル（Voxels of Interest，ＶＯＩ）を選択するために、１つ以上の技術によって前処理されてよい。前処理のための技術には、フィルタの適用、ニューラルネットワークよりも精度及び／又は複雑性が低い第１段階のニューラルネットワーク、アルゴリズム、画像セグメンテーション、３Ｄパッチからのプレーナ抽出、又はそれらの組み合わせが含まれ得るが、これらに限られない。簡単のために、前処理技術は、モデルと呼ばれてよく、モデルは、画像に適用されてよい。しかし、モデルは複数の技術を含んでよいことが理解される。いくつかの例では、前処理は、画像内で識別されるべき対象の事前知識（例えば、既知のインターベンションデバイス、対象にわたって比較的に一様に現れる解剖学的特徴）を利用してよい。事前知識は、対象の形状、サイズ、又は音響信号などの、対象の特性を含んでよい。前処理は、ニューラルネットワークが処理するデータの量を低減し得る。データの量を低減することは、ニューラルネットワークが画像内で対象を識別するために必要な時間を減らし得る。ニューラルネットワークによって必要とされる時間の低減は、前処理に必要とされる時間よりも大きくなり得る。よって、画像内で対象を識別するための全体の時間は、画像をニューラルネットワークへ直接に供給することと比べると低減され得る。

【0013】

本開示の原理の概要は図１で与えられている。画像１００は２Ｄ、３Ｄ又は４Ｄ画像であってよい。いくつかの例では、それは、超音波撮像システム、コンピュータ断層撮影システム、又は磁気共鳴撮像システムによって取得された画像などの医用画像であってよい。画像は、ブロック１０２によって示されるものとしてＶＯＩを選択するよう前処理のために供給されてよい（２Ｄ画像の場合に、関心のあるピクセル（Pixels of Interest，ＰＯＩ）が選択される。）。上述されたように、前処理はモデルを利用してよく、モデルは、識別されるべき対象の特性に少なくとも部分的に基づいてよい。例えば、心臓インターベンション中にカテーテルが使用される場合に、事前知識はカテーテルのチューブ形状となる。この例を続けると、フランジ・ベッセルネス・フィルタ又はガボール・フィルタが、ＶＯＩを選択するためにブロック１０２で画像１００に適用されてよい。対象の他の例には、ガイドワイヤ、心臓プラグ、人工心臓弁、弁クリップ、閉鎖デイバス、及び弁形成システムがある。

【0014】

ブロック１０２に含まれるモデルは、ＶＯＩのみを含む画像１０４を出力し得る。ＶＯＩは、識別される対象を含むボクセルと、画像１００内の他のエリア及び／又は対象からのいくつかの誤検知（false positive）ボクセルとを含み得る。カテーテルの例では、ＶＯＩは、カテーテルを含むボクセルと、組織又は他の要素からのいくつかの誤検知ボクセルとを含み得る。画像１０４は、更なる処理のためにニューラルネットワーク（図１では図示せず。）へ供給されてよい。

【0015】

いくつかの応用では、前処理が誤検知を含むことを可能にすることは、更なる精度が必要とされた場合よりも前処理の時間がかからないことを可能にし得る。しかし、誤検知があるとしても、画像１０４に含まれるデータは、画像１００に含まれるデータよりも相当に小さくなる。これは、画像１０４を受け取るニューラルネットワークが、ニューラルネットワークが画像１００を受け取った場合よりも速く結果を供給することを可能にし得る。いくつかの応用では、ニューラルネットワークは，画像１００よりもむしろ画像１０４に基づいて、より正確な結果を供給し得る。

【0016】

図２は、本開示の原理に従って、超音波ボリュームにおけるカテーテル識別のためのデータ処理ステップを表す。ブロック２００は、超音波ボリュームがニューラルネットワークへ直接に供給される状況を表す。ブロック２０２は、超音波ボリュームがニューラルネットワークへ供給される前に前処理のために供給される状況を表す。ブロック２００及び２０２は両方とも、カテーテルを含む組織の１５０×１５０×１５０ボクセル超音波ボリューム２０４を有する。ブロック２００では、超音波ボリューム２０４は、カテーテル２０９が識別されている出力ボリューム２０８を生成するよう、ブロック２０６でディープラーニングアルゴリズム（例えば、ニューラルネットワーク）によって処理される。ディープラーニングアルゴリズムは、標準のｎＶｉｄｉａグラフィカル処理ユニットでディープラーニングフレームワークによって１５０×１５０×１５０ボクセルを処理するために約１６８秒を要する。

【0017】

ブロック２０２では、超音波ボリューム２０４は、最初に、ＶＯＩを選択するようブロック２１０での前処理のために供給される。フランジ・フィルタが使用される場合に、ボクセルを処理するために約６０秒かかる。これらの計算時間の両方が、コード最適化なしの標準の中央演算処理装置に基づく。フランジ及びガボール・フィルタは、単に実例として使用された。他のフィルタ又は技術が、他の例では、前処理ステップのために使用されてもよい。ブロック２１０での前処理からのＶＯＩは、ブロック２１２でのディープラーニングアルゴリズムによる処理のために供給される。ディープラーニングアルゴリズムは、カテーテル２０９が識別されている出力ボリューム２１４を生成する。ディープラーニングアルゴリズムは、１５０×１５０×１５０ボクセルを処理するために約６秒を要する。よって、ブロック２０２はブロック２００と比較して余分のステップを含むが、ブロック２０２内のプロセスは、ブロック２００の１６８秒と比較してたった７～６６秒しかかからなかった。

【0018】

図３は、本開示の原理に従って構成された超音波撮像システム３００のブロック図を示す。本開示に従う超音波撮像システム３００は、トランスデューサアレイ３１４を含んでよく、トランスデューサアレイ３１４は、超音波プローブ３１２、例えば、心腔内超音波検査（Intra Cardiac Echography，ＩＣＥ）プローブ又は経食道超音波検査（Trans Esophagus Echography，ＴＥＥ）プローブなどの外部プローブ又は内部プローブに含まれてよい。他の実施形態では、トランスデューサアレイ３１４は、撮像対象（例えば、患者）の表面に共形に適用されるよう構成されたフレキシブルアレイの形をとってよい。トランスデューサアレイ３１４は、超音波信号（例えば、ビーム、波）を送信し、超音波信号に応答するエコーを受信するよう構成される。様々なトランスデューサアレイ、例えば、直線アレイ、曲面アレイ、又はフェーズドアレイ、が使用されてよい。トランスデューサアレイ３１４は、例えば、２Ｄ及び／又は３Ｄ撮像のための仰角及び方位角の両方の次元におけるスキャンが可能なトランスデューサの２次元アレイ（図示される。）を含むことができる。一般的に知られているように、軸方向は、アレイの面の法線方向であり（曲面アレイの場合に、軸方向は扇形に広がる。）、方位角方向は、一般的に、アレイの長手方向によって画定され、仰角方向は、方位角方向に対して横切って広がる。

【0019】

いくつかの実施形態において、トランスデューサアレイ３１４は、マイクロビームフォーマ３１６へ結合されてよい。マイクロビームフォーマ３１６は、超音波プローブ３１２に位置してよく、アレイ３１４内のトランスデューサ要素による信号の送信及び受信を制御し得る。いくつかの実施形態において、マイクロビームフォーマ３１６は、アレイ３１４内のアクティブな要素（例えば、如何なる所与の時点でもアクティブ開口を画定するアレイの要素のアクティブサブセット）による信号の送信及び受信を制御し得る。

【0020】

いくつかの実施形態において、マイクロビームフォーマ３１６は、例えば、プローブケーブルによって又は無線により、送信／受信（ＴＲ）スイッチ３１８へ結合されてよい。ＴＲスイッチ３１８は、送信及び受信の間を切り替え、メインビームフォーマ３２２を高エネルギ伝送信号から保護する。いくつかの実施形態において、例えば、ポータブル超音波システムでは、Ｔ／Ｒスイッチ３１８及びシステム内の他の要素は、画像処理エレクトロニクスを収容し得る超音波システムベースにではなく超音波プローブ３１２に含まれ得る。超音波システムベースは、通常は、信号処理及び画像データ生成のための回路と、ユーザインターフェースを提供するための実行可能な命令とを含むソフトウェア及びハードウェア部品を含む。

【0021】

マイクロビームフォーマ３１６の制御下のトランスデューサアレイ３１４からの超音波信号の送信は、送信コントローラ３２０によって方向付けられる。送信コントローラ３２０は、Ｔ／Ｒスイッチ３１８及びメインビームフォーマ３２２へ結合されてよい。送信コントローラ３２０は、ビームがステアリングされる方向を制御し得る。ビームは、トランスデューサアレイ３１４からまっすぐ前に（それに直交して）、又はより広い視野のための異なる角度で、ステアリングされてよい。送信コントローラ３２０は、ユーザインターフェース３２４へも結合され、ユーザコントロールのユーザの操作から入力を受け取ってよい。ユーザインターフェース３２４は、コントロールパネル３５２などの１つ以上の入力デバイスを含んでよい。コントロールパネル３５２は、１つ以上の機械コントロール（例えば、ボタン、エンコーダ、など）、タッチ検知コントロール（例えば、トラックパッド、タッチスクリーン、など）、及び／又は他の既知の入力デバイスを含んでよい。

【0022】

いくつかの実施形態において、マイクロビームフォーマ３１６によって生成された部分的にビームフォーミングされた信号は、メインビームフォーマ３２２へ結合されてよい。メインビームフォーマ３２２で、トランスデューサ要素の個々のパッチからの部分的にビームフォーミングされた信号は、完全にビームフォーミングされた信号へと結合され得る。いくつかの実施形態において、マイクロビームフォーマ３１６は省略され、トランスデューサアレイ３１４は、ビームフォーマ３２２の制御下にあり、ビームフォーマ３２２は、信号の全てのビームフォーミングを実行する。マイクロビームフォーマ３１６の有無によらず、実施形態において、ビームフォーマ３２２のビームフォーミングされた信号は、処理回路３５０へ結合され、処理回路３５０は、ビームフォーミングされた信号（すなわち、ビームフォーミングされたＲＦデータ）から超音波画像を生成するよう構成された１つ以上のプロセッサ（例えば、信号プロセッサ３２６、Ｂモードプロセッサ３２８、ドップラープロセッサ３６０、並びに１つ以上の画像生成及び処理コンポーネント３６８）を含んでよい。

【0023】

信号プロセッサ３２６は、バイパスフィルタリング、デシメーション、Ｉ及びＱ成分分離、並びに高調波信号分離などの様々な方法で、受け取られたビームフォーミングされたＲＦデータを処理するよう構成されてよい。信号プロセッサ３２６は、スペックル低減、信号複合、及びノイズ削除などの追加の信号エンハンスメントも実行してよい。処理された信号（Ｉ及びＱ成分又はＩＱ信号とも呼ばれる。）は、画像生成のための追加の下流信号処理回路へ結合されてよい。ＩＱ信号は、システム内の複数の信号パスへ結合されてよく、各信号パスは、異なるタイプの画像データ（例えば、Ｂモード画像データ、ドップラー画像データ）を生成するのに適した信号処理コンポーネントの特定の配置と関連付けられ得る。例えば、システムは、信号プロセッサ３２６からの信号を、Ｂモード画像データを生成するＢモードプロセッサ３２８へ結合するＢモード信号パス３５８を含んでよい。

【0024】

Ｂモードプロセッサ３２８は、体内の構造の撮像のために振幅検出を用いることができる。Ｂモードプロセッサ３２８によって生成された信号は、スキャンコンバータ３３０及び／又はマルチプレーナリフォーマッタ３３２へ結合されてよい。スキャンコンバータ３３０は、エコー信号が受信された空間関係から所望の画像フォーマットへエコー信号を配置するよう構成されてよい。例えば、スキャンコンバータ３３０は、２次元（２Ｄ）セクタ形状フォーマット、又はピラミッド形の若しくは別な形状の３次元（３Ｄ）フォーマットにエコー信号を配置してよい。例えば、米国特許第６４４３８９６号（Detmer）に記載されているように、マルチプレーナリフォーマッタ３３２は、身体の体積領域内の共通平面内のポイントから受信されたエコーをその平面の超音波信号（例えば、Ｂモード画像）に変換することができる。スキャンコンバータ３３０及びマルチプレーナリフォーマッタ３３２は、いくつかの実施形態において、１つ以上のプロセッサとして実装されてよい。

【0025】

例えば、米国特許第６５３０８８５号（Entrekin et al.）に記載されているように、ボリュームレンダラ３３４は、所与の基準点から見られている３Ｄデータセットの画像（プロジェクション、レンダー、又はレンダリングとも呼ばれる。）を生成してよい。ボリュームレンダラ３３４は、いくつかの実施形態において、１つ以上のプロセッサとして実装されてよい。ボリュームレンダラ３３４は、表面レンダリング及び最大強度レンダリングなどのいずれかの既知又は将来的に既知の技術によって、ポジティブレンダー又はネガティブレンダーなどのレンダーを生成してよい。

【0026】

いくつかの実施形態において、システムは、信号プロセッサ３２６からの出力をドップラープロセッサ３６０へ結合するドップラー信号パス３６２を含んでよい。ドップラープロセッサ３６０は、ドップラーシフトを推定し、ドップラー画像データを生成するよう構成されてよい。ドップラー画像データはカラーデータを含んでよく、カラーデータは、次いで、表示のためにＢモード（すなわち、グレースケール）画像データとオーバーレイされる。ドップラープロセッサ３６０は、例えば、ウォールフィルタを用いて、不要な信号（すなわち、無運動組織と関連付けられたノイズ又はクラッタ）を除去するよう構成されてよい。ドップラープロセッサ３６０は、既知の技術に従って速度及びパワーを推定するよう更に構成されてよい。例えば、ドップラープロセッサ３６０は、速度（ドップラー周波数）推定がＬａｇ－１自己相関関数の引数に基づき、ドップラーパワー推定がＬａｇ－０自己相関関数の大きさに基づく自己相関器などのドップラー推定器を含んでよい。既知の位相領域（例えば、ＭＵＳＩＣ、ＥＳＰＲＩＴなどのパラメトリック周波数推定器）又は時間領域（例えば、相互相関）信号処理技術によって、動きも推定可能である。加速度、あるいは、時間的及び／又は空間的速度導関数の推定器などの、速度の時間的又は空間的分布に関連した他の推定器が、速度推定器の代わりに又はそれに加えて使用可能である。いくつかの実施形態において、速度及びパワー推定は、セグメンテーション並びに充てん及び平滑化などの後処理に加えて、ノイズを更に低減するための更なる閾値検出を受けてよい。速度及びパワー推定は、次いで、カラーマップに従って所望の範囲の表示色にマッピングされてよい。ドップラー画像データとも呼ばれるカラーデータが、次いでスキャンコンバータ３３０へ結合されてよい。スキャンコンバータ３３０で、ドップラー画像データは、所望の画像フォーマットへ変換され、カラードップラー又はパワードップラー画像を形成するよう組織構造のＢモード画像にオーバーレイされてよい。

【0027】

本開示の原理に従って、超音波画像と総称されるＢモード画像及びドップラー画像などのスキャンコンバータ３３０からの出力は、ＶＯＩ（Voxel of Interest）セレクタ３７０へ供給されてよい。ＶＯＩセレクタ３７０は、超音波画像内で識別されるべき対象を含み得る関心のあるボクセルを識別し得る。いくつかの実施形態において、ＶＯＩセレクタ３７０は、１つ以上のプロセッサ及び／又は特定用途向け集積回路によって実装されてよい。ＶＯＩセレクタ３７０は、１つ以上のモデルを含んでよく、各モデルは、１つ以上のフィルタ、より精度の低いニューラルネットワーク、アルゴリズム、及び／又は画像セグメンタを含んでよい。いくつかの実施形態において、ＶＯＩセレクタ３７０は、ＶＯＩを選択するときに対象の特性（例えば、サイズ、形状、音響特性）の先在する知識を適用してよい。いくつかの実施形態において、ＶＯＩセレクタ３７０は、識別されるべき対象に基づく１つ以上の前もってセットされたモデルを含んでよい。いくつかの実施形態において、これらの前もってセットされたモデルは、ユーザインターフェース３２４を介してユーザによって選択されてよい。

【0028】

任意に、いくつかの実施形態において、ＶＯＩセレクタ３７０は、ボクセルの３Ｄパッチ（例えば、キューブ）を３つの直交平面に変換すること（例えば、トライプレーナ抽出）によって、超音波画像からのデータを更に低減し得る。例えば、ＶＯＩセレクタ３７０は、３つの直交平面をとってよく、各直交平面は、パッチの中心を通る。パッチ内の残りのボクセルは、いくつかの実施形態において捨てられるか、又は無視されてよい。

【0029】

ＶＯＩセレクタ３７０によって選択されたＶＯＩは、対象識別部３７２へ供給されてよい。対象識別部３７２は、ＶＯＩのどのボクセルが関心のある対象を含むかを識別するよう、ＶＯＩセレクタ３７０から受け取られたＶＯＩを処理してよい。例えば、ボクセルを、関心のある対象を含むもの又は含まないとして分類することによって、いくつかの実施形態において、対象識別部３７２は、識別されたボクセルが強調表示（例えば、異なる色、異なる強度）されている原超音波画像を出力してよい。他の実施形態では、対象識別部３７２は、原画像との再結合のために、識別されたボクセルを画像プロセッサ３３６へ出力してよい。

【0030】

任意に、いくつかの実施形態において、対象識別部３７２及び／又は画像プロセッサ３３６は更に、対象識別部３７２によって生成された識別されたボクセル内の対象をローカライズしてもよい。ローカライゼーションは、識別されたボクセルに対する曲線当てはめ及び／又は識別されるべき対象の知識に基づく他の技術を含んでよい。

【0031】

いくつかの実施形態において、対象識別部３７２は、１つ以上のプロセッサ及び／又は特定用途向け集積回路によって実装されてよい。いくつかの実施形態において、対象識別部３７２は、１つ以上の機械学習、人工知能アルゴリズム、及び／又は多重ニューラルネットワークを含んでよい。いくつかの例では、対象識別部３７２は、対象を認識するために、ディープニューラルネットワーク（Deep Neural Network，ＤＮＮ）、畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）、回帰ニューラルネットワーク（Recurrent Neural Network，ＲＮＮ）、オートエンコーダニューラルネットワーク、などを含んでよい。ニューラルネットワークは、ハードウェア（例えば、ニューロンは物理コンポーネントによって表される。）及び／又はソフトウェア（例えば、ソフトウェアアプリケーションで実装されたニューロン及びパスウェイ）コンポーネントで実装されてよい。本開示に従って実装されるニューラルネットワークは、所望の出力を生成するために、ニューラルネットワークを訓練するための様々なトポロジ及び学習アルゴリズムを使用してよい。例えば、ソフトウェアベースのニューラルネットワークは、命令を実行するよう構成されたプロセッサ（例えば、シングル若しくはマルチコアＣＰＵ、シングルＧＰＵ若しくはＧＰＵクラスタ、又は並列処理のために配置された複数プロセッサ）を用いて実装されてよい。命令は、コンピュータ可読媒体に記憶されてよく、実行される場合に、プロセッサに、ＶＯＩセレクタ３７０から受け取られたＶＯＩにおいて対象を識別する訓練されたアルゴリズムを実行させる。

【0032】

様々な実施形態において、ニューラルネットワークは、超音波画像、測定、及び／又は統計量の形で入力データを解析し、対象を識別するよう構成されるニューラルネットワーク（例えば、ノードの訓練されたアルゴリズム又はハードウェアベースのシステム）を取得するよう、現在知られている又は今後開発される様々な学習技術のいずれかを用いて訓練されてよい。いくつかの実施形態において、ニューラルネットワークは、静的に訓練されてよい。すなわち、ニューラルネットワークは、データセットにより訓練され、そして、対象識別部３７２にデプロイされてよい。いくつかの実施形態において、ニューラルネットワークは、動的に訓練されてもよい。このような実施形態では、ニューラルネットワークは、初期データセットにより訓練され、そして、対象識別部３７２にデプロイされてよい。しかし、ニューラルネットワークは、対象識別部３７２でのニューラルネットワークのデプロイ後にシステム３００によって取得された超音波画像に基づいて引き続き訓練し変更されてよい。

【0033】

いくつかの実施形態において、対象識別部３７２は、ニューラルネットワークを含まなくてもよく、代わりに、画像セグメンテーション、ヒストグラム解析、エッジ検出、又は他の形状若しくは対象認識技術などの、対象識別のための他の画像処理技術を実装してよい。いくつかの実施形態において、対象識別部３７２は、対象を識別するための他の画像処理方法と組み合わせてニューラルネットワークを実装してもよい。ニューラルネットワーク及び／又は対象識別部３７２に含まれる他の要素は、関心のある対象の先在する知識に基づいてよい。いくつかの実施形態において、ニューラルネットワーク及び／又は他の要素は、ユーザインターフェース３２４を介してユーザによって選択されてよい。

【0034】

対象識別部３７２、スキャンコンバータ３３０、マルチプレーナリフォーマッタ３３２、及び／又はボリュームレンダラ３３４からの出力（例えば、Ｂモード画像、ドップラー画像）は、画像ディスプレイ３３８で表示される前に、更なるエンハンスメント、バッファリング及び一時記憶のために画像プロセッサ３３６へ結合されてよい。例えば、いくつかの実施形態において、画像プロセッサ３３６は、識別されるべき対象を含むボクセルを識別する対象識別部３７２の出力を受け取ってよい。画像プロセッサ３３６は、識別されたボクセルを原超音波画像の上にオーバーレイしてよい。いくつかの実施形態において、対象識別部３７２によって供給されたボクセルは、原超音波画像のボクセルとは異なった色（例えば、緑、赤、黄）又は強度（例えば、最大強度）でオーバーレイされてよい。いくつかの実施形態において、画像プロセッサ３３６は、識別された対象のみが表示のために供給されるように、対象識別部３７２によって供給された識別されたボクセルのみを供給してよい。

【0035】

スキャンコンバータ３３０からの出力は、ＶＯＩセレクタ３７０及び対象識別部３７２を介して画像プロセッサ３３６へ供給されるものとして示されているが、いくつかの実施形態において、スキャンコンバータ３３０の出力は、画像プロセッサ３３６へ直接に供給されてもよい。グラフィクスプロセッサ３４０は、画像による表示のためのグラフィックオーバーレイを生成してよい。これらのグラフィックオーバーレイは、例えば、患者名、画像の日時、撮像パラメータ、などの標準の識別情報を含むことができる。このために、グラフィクスプロセッサ３４０は、タイプ入力された患者入力又は他の注釈などのユーザインターフェース３２４からの入力を受け取るよう構成されてよい。ユーザインターフェース３２４は、複数のマルチプレーナ再フォーマット（MultiPlanar Reformatted）画像の表示の選択及び制御のためにマルチプレーナリフォーマッタ３３２へも結合されてよい。

【0036】

システム３００は、ローカルメモリ３４２を含んでよい。ローカルメモリ３４２は、如何なる適切な非一時的なコンピュータ可読媒体（例えば、フラッシュドライブ、ディスクドライブ）としても実装されてよい。ローカルメモリ３４２は、超音波画像を含むシステム３００によって生成されたデータ、実行可能命令、撮像パラメータ、訓練データセット、又はシステム３００の動作のために必要な何らかの他の情報を記憶してよい。

【0037】

上述されたように、システム３００は、ユーザインターフェース３２４を含む。ユーザインターフェース３２４は、ディスプレイ３３８及びコントロールパネル３５２を含んでよい。ディスプレイ３３８は、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、又はプラズマディスプレイ技術などの様々な既知のディスプレイ技術を用いて実装された表示デバイスを含んでよい。いくつかの実施形態において、ディスプレイ３３８は、複数のディスプレイを有してもよい。コントロールパネル３５２は、ユーザ入力（例えば、検査タイプ、識別されるべき対象のための前もってセットされたモデル）を受け取るよう構成されてよい。コントロールパネル３５２は、１つ以上のハードコントロール（例えば、ボタン、ノブ、ダイアル、エンコーダ、マウス、トラックボール、又は他）を含んでよい。いくつかの実施形態において、コントロールパネル３５２は、追加的に、又は代替的に、タッチ検知ディスプレイに設けられたソフトコントロール（例えば、ＧＵＩ制御要素又は単に、ＧＵＩコントロール）を含んでもよい。いくつかの実施形態において、ディスプレイ３３８は、コントロールパネル３５２の１つ以上のソフトコントロールを含むタッチ検知ディスプレイであってもよい。

【0038】

いくつかの実施形態において、図３に示される様々なコンポーネントは、組み合わされてもよい。例えば、画像プロセッサ３３６及びグラフィクスプロセッサ３４０は、単一のプロセッサとして実装されてよい。他の例では、ＶＯＩセレクタ３７０及び対象識別部３７２は、単一のプロセッサとして実装されてよい。いくつかの実施形態において、図３に示される様々なコンポーネントは、別々のコンポーネントとして実装されてもよい。例えば、信号プロセッサ３２６は、各撮像モード（例えば、Ｂモード、ドップラー）のための別々の信号プロセッサとして実装されてもよい。いくつかの実施形態において、図３に示される様々なプロセッサの１つ以上は、特定のタスクを実行するよう構成された汎用プロセッサ及び／又はマイクロプロセッサによって実装されてよい。いくつかの実施形態において、様々なプロセッサの１つ以上は、特定用途向け回路として実装されてよい。いくつかの実施形態において、様々なプロセッサの１つ以上（例えば、画像プロセッサ３３６）は、１つ以上のグラフィカル処理ユニット（ＧＰＵ）により実装されてもよい。

【0039】

図４は、本開示の原理に従うプロセッサ４００を例示するブロック図である。プロセッサ４００は、本明細書で記載される１つ以上のプロセッサ及び／又はコントローラ、例えば、図３に示される画像プロセッサ及び／又は図３に示される何らかの他のプロセッサ若しくはコントローラを実装するために使用されてよい。プロセッサ４００は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）（ＦＰＧＡは、プロセッサを形成するようプログラムされている。）、グラフィカル処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）（ＡＳＩＣは、プロセッサを形成するよう設計されている。）、又はそれらの組み合わせを含むがこれらに限られない如何なる適切なプロセッサタイプであってもよい。

【0040】

プロセッサ４００は、１つ以上のコア４０２を含んでよい。コア４０２は、１つ以上の算術論理ユニット（ＡＬＵ）４０４を含んでよい。いくつかの実施形態において、コア４０２は、ＡＬＵ４０４に加えて又はそれに代えて、浮動小数点論理ユニット（ＦＰＬＵ）４０６及び／又はデジタル信号処理ユニット（ＤＳＰＵ）４０８を含んでよい。

【0041】

プロセッサ４００は、コア４０２へ通信可能に結合された１つ以上のレジスタ４１２を含んでよい。レジスタ４１２は、専用の論理ゲート回路（例えば、フリップフロップ）及び／又は任意のメモリ技術を用いて実装されてよい。いくつかの実施形態において、レジスタ４１２は、静的メモリを用いて実装されてよい。レジスタ４１２は、データ、命令及びアドレスをコア４０２へ供給してよい。

【0042】

いくつかの実施形態において、プロセッサ４００は、コア４０２へ通信可能に結合された１つ以上のレベルのキャッシュメモリ４１０を含んでよい。キャッシュメモリ４１０は、コンピュータ可読命令を実行のためにコア４０２へ供給してよい。キャッシュメモリ４１０は、コア４０２による処理のためにデータを供給してよい。いくつかの実施形態において、コンピュータ可読命令は、ローカルメモリ、例えば、外部バス４１６に取り付けられたローカルメモリによってキャッシュメモリ４１０へ供給されていてよい。キャッシュメモリ４１０は、如何なる適切なキャッシュメモリタイプによっても、例えば、私的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、及び／又は何らかの他の適切なメモリ技術などの金属酸化膜半導体（ＭＯＳ）メモリにより実装されてよい。

【0043】

プロセッサ４００は、コントローラ４１４を含んでよい。コントローラ４１４は、システムに含まれている他のプロセッサ及び／又はコンポーネント（例えば、図３に示されるコントロールパネル３５２及びスキャンコンバータ３３０）からプロセッサ４００への入力、及び／又はプロセッサ４００からシステム内の他のプロセッサ及び／又はコンポーネント（例えば、図３に示されるディスプレイ及びボリュームレンダラ３３４）への出力を制御してよい。コントローラ４１４は、ＡＬＵ４０４、ＦＰＬＵ４０６及び／又はＤＳＰＵ４０８内のデータパスを制御してよい。コントローラ４１４は、１つ以上の状態機械、データパス及び／又は専用の制御ロジックとして実装されてよい。コントローラ４１４のゲートは、スタンドアロンのゲート、ＦＰＧＡ、ＡＳＩＣ、又は何らかの他の適切な技術として実装されてよい。

【0044】

レジスタ４１２及びキャッシュメモリ４１０は、内部接続４２０Ａ、４２０Ｂ、４２０Ｃ及び４２０Ｄを介してコントローラ４１４及びコア４０２と通信してよい。内部接続は、バス、マルチプレクサ、クロスバースイッチ、及び／又は何らかの他の適切な接続技術として実装されてよい。

【0045】

プロセッサ４００のための入力及び出力は、バス４１６を介して供給されてよい。バス４１６は、１つ以上の導電路を含んでよい。バス４１６は、プロセッサ４００の１つ以上のコンポーネント、例えば、コントローラ４１４、キャッシュメモリ４１０、及び／又はレジスタ４１２へ通信可能に結合されてよい。バス４１６は、上述されたディスプレイ３３８及びコントロールパネル３５２などの、システムの１つ以上のコンポーネントへ結合されてよい。

【0046】

バス４１６は、１つ以上の外部メモリへ結合されてよい。外部メモリは、リードオンリーメモリ（ＲＯＭ）４３２を含んでよい。ＲＯＭ４３２は、マスクドＲＯＭ、電気的プログラム可能リードオンリーメモリ（ＥＰＲＯＭ）、又は何らかの他の適切な技術であってよい。外部メモリは、ランダムアクセスメモリ（ＲＡＭ）４３３を含んでよい。ＲＡＭ４３３は、静的ＲＡＭ、バッテリバックアップ型静的ＲＡＭ、動的ＲＡＭ（ＤＲＡＭ）、又は何らかの他の適切な技術であってよい。外部メモリは、電気的消去可能なプログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）４３５を含んでよい。外部メモリは、フラッシュメモリ４３４を含んでよい。外部メモリは、ディスク４３６などの磁気記憶デバイスを含んでもよい。いくつかの実施形態において、外部メモリは、図３に示される超音波撮像システム３００などのシステム、例えばローカルメモリ３４２に含まれてもよい。

【0047】

いくつかの実施形態において、システム３００は、対象を識別する（例えば、対象又はその部分が画像のピクセル又はボクセルに含まれているかどうかを決定する）ために、ＶＯＩセレクタ３７０及び／又は対象識別部３７２に含まれている、ＣＮＮを含み得るニューラルネットワークを実装するよう構成可能である。ニューラルネットワークは、関心のある１つ以上のアイテムが存在するとしてラベルを付されている画像フレームなどの撮像データにより訓練されてよい。ニューラルネットワークは、特定の医療検査（例えば、心エコー検査の異なる標準ビュー）と関連付けられた対象となる解剖学的特徴を認識するよう訓練されてよく、あるいは、ユーザが、１つ以上のカスタムの対象となる解剖学的特徴（例えば、埋め込まれたデバイス、カテーテル）を見つけるようニューラルネットワークを訓練してよい。

【0048】

いくつかの実施形態において、ニューラルネットワークと関連付けられたニューラルネットワーク訓練アルゴリズムは、特定の超音波画像から取得された測定ごとに信頼度を決定するようニューラルネットワークを訓練するために、数千又は数百万の訓練データセットを与えられ得る。様々な実施形態において、ニューラルネットワークを訓練するために使用される超音波画像の数は、約５０，０００以下から２００，０００以上までの範囲に及んでよい。ネットワークを訓練するために使用される画像の数は、関心のあるより多くの異なったアイテムが識別されるべき場合に、あるいは、より多種多様な患者バリエーション、例えば、体重、身長、年齢、などに適応するよう、増大されてよい。訓練画像の数は、関心のある異なったアイテム又はその特徴ごとに異なってよく、特定の特徴の出現の変動に依存してよい。例えば、腫瘍は、通常は、正常な生体構造よりも広範に変動性を有している。人口全体の変動性が高い特徴と関連付けられた関心のあるアイテムの存在を評価するためにネットワークを訓練することは、より多くの訓練画像を必要とし得る。

【0049】

図５は、本開示の原理に従って、ニューラルネットワークの訓練及びデプロイのためのプロセスのブロック図を示す。図５に示されるプロセスは、ＶＯＩセレクタ３７０及び／又は対象識別部３７２に含まれているニューラルネットワークを訓練するために使用されてよい。図５の左手側のフェーズ１は、ニューラルネットワークの訓練を表す。ニューラルネットワークを訓練するために、入力アレイ及び出力分類の複数のインスタンスを含む訓練セットがニューラルネットワークの訓練アルゴリズム（例えば、Krizhevsky, A., Sutskever, I. and Hinton, G. E.，“ImageNet Classification with Deep Convolutional Neural Networks”，NIPS 2012に記載されているＡｌｅｘＮｅｔ訓練アルゴリズム又はそれに由来するもの）へ与えられてよい。訓練は、開始ネットワークアーキテクチャ５１２の選択と、訓練データ５１４の準備とを含んでよい。開始ネットワークアーキテクチャ５１２は、ブランクアーキテクチャ（例えば、ノードのレイヤ及び配置が定義されているが、前に訓練された如何なる重みも使用しないアーキテクチャ）又は部分的に訓練されたネットワーク、例えば、インセプション（inception）ネットワークであってよく、次いで、超音波画像の分類のために更に調整されてよい。開始アーキテクチャ５１２（例えば、ブランク重み）及び訓練データ５１４は、モデルを訓練する訓練エンジン５１０へ供給される。十分な回数の繰り返しが起こると（例えば、許容可能なエラー内で一貫してモデルが実行する場合に）、モデル５２０は、訓練されたと言われ、デプロイの準備ができている。これは、図５の真ん中のフェーズ２に表されている。図５の右手側、すなわち、フェーズ３で、訓練されたモデル５２０は、新しいデータ５３２の解析のために（推論エンジン５３０を介して）適用される。新しいデータ５３２は、（フェーズ１での）初期訓練中にモデルに与えられなかったデータである。例えば、新しいデータ５３２は、患者のスキャン中に取得されたライブ超音波画像（例えば、心エコー検査中の心臓画像）などの未知の画像を含んでよい。エンジン５３０を介して実装された訓練されたモデル５２０は、出力５３４（例えば、識別された対象を含むボクセル）を供給するよう、モデル５２０の訓練に従って未知の画像を分類するために使用される。出力５３４は、次いで、その後のプロセス５４０のためにシステムによって使用されてよい（例えば、ＶＯＩセレクタ３７０のニューラルネットワークの出力は、対象識別部３７２のための入力として使用されてよい。）。

【0050】

訓練されたモデル５２０が対象識別部３７２のニューラルネットワークを実装するために使用される実施形態では、開始アーキテクチャは、画像フレームインデックス作成、画像セグメンテーション、画像比較、又はそれらの組み合わせを実行するよう訓練され得る畳み込みニューラルネットワーク又はディープ畳み込みニューラルネットワークのそれであってよい。医用画像データの記憶容量が増えると、高品質の臨床画像の利用可能性が高まる。これは、所与のピクセル又はボクセルが識別されるべき対象（例えば、カテーテル、弁クリップ）を含む可能性を学習するようニューラルネットワークを訓練するために活用され得る。訓練データ５１４は、訓練画像とも呼ばれる複数（数百、しばしば、数千以上）の注釈付き／ラベル付き画像を含んでよい。訓練画像は、撮像システムによって生成された画像全体（超音波プローブの全視野又はＭＲＩボリューム全体を表す。）を含む必要はなく、関心のあるラベル付きアイテムの画像のパッチ又は部分を含み得る。

【0051】

様々な実施形態において、訓練されたニューラルネットワークは、プロセッサによって実行される実行可能な命令、例えば、対象識別部３７２及び／又はＶＯＩセレクタ３７０、を含むコンピュータ可読媒体において少なくとも部分的に実装されてよい。

【0052】

医用画像による訓練のために、クラス不均衡（class imbalance）が問題となる。すなわち、対象を含むピクセル又はボクセルよりも、識別されるべき対象（例えば、組織）を含まないピクセル又はボクセルの方が相当に多い場合がある。例えば、非カテーテルボクセルに対するカテーテルボクセルの割合は、一般的に、１／１０００に満たない。補償するために、ニューラルネットワークの２段階訓練が、後述されるいくつかの例で実行されてよい。

【0053】

第１に、訓練画像内の不均衡なボクセルの数は、カテーテルボクセルと同量を得るよう非カテーテルボクセルに対してリサンプリングされてよい。これらの均衡の取れたサンプルがニューラルネットワークを訓練する。次いで、訓練画像は、誤って分類されたボクセルを選択するよう、訓練されたモデルにおいて検証される。これは、より精細な最適化のためにネットワークを更新するために使用される。具体的に、ニューラルネットワークが対象識別部３７２においてデプロイされる場合とは異なり、訓練プロセスは、ＶＯＩセレクタ３７０によって供給されたＶＯＩのみではなく超音波画像全体において適用される。この更新ステップは、最も簡単なサンプルポイントを落とすことによってクラス不均衡を低減する（いわゆる２段階訓練）。

【0054】

いくつかの実施形態において、ネットワークのパラメータは、より速い収束のためにＡｄａｍオプティマイザを用いて、交差エントロピを最小限にすることによって学習されてよい。２段階訓練中に、交差エントロピは、クラス分布のバランスを取るために異なった形式に特徴付けられる。最初の訓練段階では、交差エントロピは標準フォーマットで特徴付けられる。しかし、更新中には、関数は、重み付き交差エントロピとして再定義される。これらの異なったエントロピは、第２段階でのポジティブ訓練サンプルよりも通常５から１０倍大きい誤検知の数により起こる更新段階でのバイアスを回避する。重み付き交差エントロピの結果として、ネットワークは、分類後に、捨てるよりも多くの対象ボクセル（例えば、カテーテル）を維持する傾向がある。重み付き交差エントロピは、

Ｌｏｓｓ（ｙ，ｐ）＝－（１－ｗ）ｙｌｏｇ（ｐ）－ｗ（１－ｐ） 式１

として定式化される。ここで、ｙは、サンプルのラベルを示し、一方、ｐは、サンプルのクラス確率であり、パラメータｗは、訓練サンプル間のサンプルクラス比である。

【0055】

訓練中、いくつかの実施形態において、ドロップアウトは、１０^－５強度によるＬ２正則化とともに畳み込みネットワークの完全接続層（Fully Connect layers，ＦＣ）における５０％の確率での過剰適合を回避するために、使用されてよい。いくつかの実施形態において、初期学習レートは、０．００１にセットされ、毎５エポック後に係数０．２によって再スケーリングされてよい。一方で、向き及び画像強度バリエーションにおいてネットワークを一般化するために、回転、ミラーリング、コントラスト及び輝度変換のようなデータ拡張（data augmentation）技術が追加的に適用されてもよい。いくつかの実施形態において、ミニバッチサイズは１２８であってよく、総訓練エポックは２０であってよく、これは、最初の訓練では約２５ｋであり、一方、第２訓練における繰り返しは約１００ｋである。

【0056】

上の２段階訓練法は、単に一例として与えられている。他の多段階又は単段階訓練法が他の例では使用されてもよい。

【0057】

ＶＯＩセレクタ３７０に戻ると、いくつかの実施形態において、ＶＯＩセレクタ３７０は、候補ボクセルを選択するようガボール・フィルタ又はフランジ・ベッセルネス・フィルタなどのフィルタを含んでよい。いくつかの場合に、フィルタの使用は、特に、ノイジーな及び／又は低品質の３Ｄ画像において、弱いボクセル弁別により多数の誤検知をもたらす可能性がある。多数の誤検知は、必要以上のデータセットが解析のために対象識別部３７２へ供給されるようにする可能性がある。これは、対象識別部３７２の速度を低減させる可能性がある。

【0058】

いくつかの実施形態において、誤検知の数を減らすために、ＶＯＩセレクタ３７０は、任意に、追加のモデルを含んでもよい。例えば、フランジ・フィルタは、適応閾値化法とともに使用されてよい。この例では、画像ボリュームは、最初に、予め定義されたスケールでフランジ・フィルタによってフィルタをかけられ、単位インターバル［０，１］，Ｖに再スケーリングされる。フランジ・フィルタリングの後、適応閾値化法が、最も高いベッセルネス応答のＮ個のボクセルを粗く選択するようＶに適用されてよい。先と同じく、フランジ・フィルタは、単に（例えば、チューブ構造を見つけるための）一例として与えられている。他のフィルタも（例えば、検出されるべき対象の形状又は他の特性の事前知識に基づいて）使用されてよい。閾値化法は、Ｖにおいて上位Ｎ個の可能なボクセルを見つけ得る。フィルタ応答は異なる画像において大きい変動を有するので、閾値の適応調整は、画像自体に基づいて閾値Ｔを繰り返し増大又は低減することによって、漸進的にＮ個のボクセルを選択することができる。いくつかの例では、初期閾値は、Ｔ＝０．３にセットされてよい。Ｎの値は、ＶＯＩセレクタ３７０及び／又は対象識別部３７２の分類の効率及び／又は分類性能のバランスを取るよう選択されてよい。いくつかの応用では、Ｎの値は、１０ｋのステップサイズで１０ｋから１９０ｋまでの範囲に及んでよい。いくつかの例では、値は、３分割交差検証（three-fold cross validation）を通じて全ての試験ボリュームの平均化によって取得されてよい。適応閾値化のための擬似コードは、以下で示される：

Require:フィルタ処理されたボリュームＶ，必要とされるボクセル数Ｎ及び初期閾値Ｔ
初期閾値ＴによってＶに閾値化を適用する。Ｋの量で、Ｔより大きい残りのボクセルを見つける。
if Ｋ＜Ｎ then
while Ｋ＜Ｎ do
Ｔ＝Ｔ－０．０１
ＴによってＶに閾値化を適用し、Ｔよりも大きいボクセルの数Ｋを見つける。
end while
else if Ｋ＞Ｎ then
while Ｋ＞Ｎ do
Ｔ＝Ｔ＋０．０１
ＴによってＶに閾値化を行い、Ｔよりも大きいボクセルの数Ｋを見つける。
end while
end if
return 適応された閾値Ｔよりも大きい応答を有するボクセル

【0059】

他の例では、誤検知を減らすための他の技術が使用されてもよい。例えば、固定値閾値化法が使用されてよい。更に、上記の例は、フィルタと組み合わせた適応閾値化の使用について説明しているが、適応閾値化又は他の技術は、他の実施形態では、モデル及び／又はニューラルネットワークとともに使用されてもよい。

【0060】

いくつかの実施形態において、ＶＯＩセレクタ３７０によって出力されたＶＯＩは、対象識別部３７２によって受け取られ処理されてよい。例えば、対象識別部３７２は、ＶＯＩを解析する３Ｄ畳み込みネットワークを含んでよい。いくつかの実施形態において、ＶＯＩは、３Ｄパッチ（例えば、キューブ）に細分され、３Ｄ畳み込みネットワークによって解析されてよい。体積データのボクセルワイズ分類のために、いくつかの実施形態において、対象識別部３７２は、ＶＯＩセレクタ３７０によって供給されたＶＯＩを分類するためにニューラルネットワークによって３Ｄ局所情報を処理してよい。いくつかの実施形態において、ニューラルネットワークは、畳み込みニューラルネットワークであってよい。いくつかの実施形態において、分類は、関心のある対象を含む又は含まない、といった二値分類であってよい。いくつかの実施形態において、ボクセルは、それらの３Ｄ近傍に基づいて分類されてよい。例えば、図６に示されるように、３Ｄキューブ６０２の中心に位置する候補ボクセルごとに、キューブ６０２は、ボクセルの分類６０６を出力するよう３Ｄ畳み込みネットワーク６０４によって処理されてよい。しかし、入力として３Ｄデータキューブを使用する場合に、このアプローチは、ニューラルネットワークに多くのパラメータを含める。これは、画像ボリュームにおけるボクセルワイズ分類の効率を妨げる可能性がある。いくつかの例では、３Ｄ情報を維持し、かつ、対象識別部３７２によって実行される動作を更に減らすために、２Ｄスライスが各キューブ（例えば、３Ｄパッチ）から取り出されてよく、各スライスは、キューブを通って異なる角度からとられる。いくつかの実施形態において、マルチプレーナ抽出がＶＯＩセレクタ３７０によって実行されてよい。他の実施形態では、マルチプレーナ抽出は、対象識別部３７２によって実行されてもよい。

【0061】

図７に示されるように、いくつかの実施形態において、夫々の取り出されたスライス７０２Ａ～Ｃは、別個の各々のニューラルネットワーク７０４Ａ～Ｃへ供給されてよい。スライスからの取り出された特徴ベクトル７０６は、ボクセルの二値クラス７１０を出力するために完全接続層（ＦＣ）にそれらを供給するよう連結されてよい。これはスライシングアプローチによって３Ｄ情報を維持し得るが、多数の個別的なニューラルネットワーク枝は冗長性をもたらす場合があり、これは次善の適用及び計算時間をもたらす可能性がある。

【0062】

図８に示されるように、いくつかの実施形態において、取り出されたスライス８０２Ａ～Ｃは、赤－緑－青（ＲＧＢ）チャネル８０４に再編されてよい。ＲＧＢチャネル８０４は、次いで、二値クラス８０４を出力するよう単一のニューラルネットワーク８０６へ供給される。しかし、いくつかの応用では、これは、各スライス間の空間情報が、ニューラルネットワーク８０６の畳み込みネットワークの最初の段階で畳み込みフィルタによって厳格に処理されるようにし得る。浅い処理（shallow processing）によれば、低レベルの特徴しか処理され得ず、いくつかの応用でスライス間の空間関係を十分に活用することができない。

【0063】

図９は、本開示の実施形態に従うトライプレーナ抽出のプロセスを表す。ＶＯＩセレクタ３７０によって供給されたＶＯＩに基づいて、キューブ９０２は、キューブの中心に位置する各ＶＯＩについて取得されてよい。次いで、キューブ９０２の中心９０４を通る３つの直交面が取り出される。次いで、３つの直交面９０６Ａ～Ｃは、対象識別部３７２のニューラルネットワーク及び／又は他の対象識別技術へ入力として供給される。いくつかの例では、キューブは２５×２５×２５のボクセルであってよく、４～６個のボクセルの典型的なカテーテル寸法よりも大きくてよい。しかし、他のサイズのキューブが、識別されるべき対象のサイズに少なくとも部分的に基づいて、他の例では使用されてもよい。

【0064】

図１０は、本開示の実施形態に従うニューラルネットワークを示す。図７に示されるようにスライスごとにニューラルネットワークを訓練するのではなく、畳み込みネットワークのような単一のニューラルネットワーク１００４が、いくつかの実施形態において、トライプレーナ抽出からの３つ全てのスライス１００２Ａ～Ｃを入力として受け取るよう訓練されてよい。共有された畳み込みネットワークからの全ての特徴ベクトル１００６は、いくつかの実施形態において、分類のためのより大きい特徴ベクトルを形成するよう連結されてよい。単一のニューラルネットワーク１００４は、平面１００２Ａ～Ｃにおけるボクセルの二値分類１００８を出力してよい。いくつかの応用では、ニューラルネットワーク１００４は、高レベルの特徴空間でスライス１００２Ａ～Ｃの空間相関を利用してよい。

【0065】

図６、７、９及び／又は１０に示されるニューラルネットワークは、いくつかの実施形態において、図５を参照して上述されたように訓練されてよい。

【0066】

図１１は、本開示の様々な実施形態に従って、対象識別部の出力の例を示す。図１１に示される例となる出力の全てが、カテーテルを含む３Ｄ超音波画像（例えば、ボリューム）から生成された。ペイン１１０２及び１１０４は、図８に示されたようなニューラルネットワークを含む対象識別部からカテーテルを含むものとして出力されたボクセルを含む。ペイン１１０２は、超音波撮像システムによって取得された原ボリュームからニューラルネットワークによって生成された。ペイン１１０４は、ＶＯＩセレクタの出力からニューラルネットワークによって生成された。ペイン１１０６及び１１０８は、図１０に示されたようなニューラルネットワークを含む対象識別部からカテーテルを含むものとして出力されたボクセルを示す。ペイン１１０６は、超音波撮像システムによって取得された原ボリュームからニューラルネットワークによって生成された。ペイン１１０８は、ＶＯＩセレクタの出力からニューラルネットワークによって生成された。ペイン１１１０及び１１１２は、図７に示されたようなニューラルネットワークを含む対象識別部からカテーテルを含むものとして出力されたボクセルを示す。ペイン１１１０は、超音波撮像システムによって取得された原ボリュームからニューラルネットワークによって生成された。ペイン１１１２は、ＶＯＩセレクタの出力からニューラルネットワークによって生成された。

【0067】

図１１に示されるように、３つ全てのニューラルネットワークが、ＶＯＩセレクタの出力に基づいて出力を生成する場合に、よりノイズが少ない出力を供給する。よって、いくつかの応用では、３Ｄ画像を前処理してＶＯＩを選択するだけでなくニューラルネットワークの速度を上げ、更にはニューラルネットワークの性能を改善することもできる。更に、いくつかの応用では、図１０に示されたようなニューラルネットワークを含む対象識別部は、図７又は８に示されたようなニューラルネットワークを含む対象識別部と比べて、よりノイズの少ない出力を供給し得る。

【0068】

いくつかの応用では、識別されるべき対象を含むものとして分類されたボクセルは、図１１では、識別されたカテーテルを囲む“デブリ”（debris）で見られるように、いくつかの外れ値（outliers）を含むことがある。これは、いくつかの場合に、ぼやけた組織境界又はカテーテル様の解剖学的構造に起因し得る。任意に、いくつかの実施形態において、識別されるべき対象を含むボクセルが対象識別部３７２によって（例えば、ニューラルネットワークによって分類されたように）分類された後に、対象は、追加の技術によって更にローカライズされてよい。これらの技術は、いくつかの実施形態において、対象識別部３７２及び／又は画像プロセッサ３３６によって実行されてよい。いくつかの実施形態において、予め定義されたモデル及び曲線当てはめ技術が使用されてよい。

【0069】

図１２は、本開示の実施形態に従って、カテーテルの場合におけるローカライゼーションプロセスの例を表す。この例では、固定半径を有する曲面円筒（curved cylinder）モデルが使用されてよい。カテーテル１２０２を含むものとして分類されたボクセルのボリューム１２００は、クラスタ１２０４を生成するよう連続性解析によって処理されてよい。クラスタスケルトン１２０６が、スパースボリューム１２０８を生成するよう取り出される。当てはめ段階が次いで実行される。当てはめ中に、多数の制御ポイント１２１０（例えば、図１２に示される３つの点）が、スパースボリューム１２０８から自動的にかつランダムに選択され、主成分分析によって向きにおいて順序付けられてよい。再順序付けされたポイント１２１０は、３次スプライン当てはめ（cubic spline fitting）が順番にポイントを通ることを確かにし得る。これは、カテーテルモデルスケルトン１２１２を生成し得る。いくつかの実施形態において、ボリューム１２００内でインライア（inliers）の数が最も多いローカライズされたスケルトン１２１２が、適合したカテーテルとして採用され得る。いくつかの実施形態において、インライアは、スケルトン１２１２までのそれらのユークリッド距離によって決定されてよい。

【0070】

図１３は、本開示の実施形態に従って、ローカライズ前後のカテーテルの画像の例を示す。ペイン１３０２は、強調表示されたカテーテル１３０６として分類されたボクセルを含む３Ｄ超音波画像を示す。組織内の外れ値も、カテーテル１３０６の部分として識別されるものとして強調表示されている。ペイン１３０４は、ローカライゼーションプロセス（例えば、図１２を参照して説明されたプロセス）が実行された後の、カテーテル１３０６を分類されたボクセルを含む３Ｄ超音波画像を示す。図１３に示されるように、カテーテル１３０６を含むボクセルは、より狭く画定されており、外れ値１３０８は除かれている。図１３に示されるように、対象識別部のニューラルネットワーク及び／又は他の分類スキームの出力に対してローカライゼーションプロセスを実行することは、いくつかの応用では、識別された対象の視覚化を改善し得る。

【0071】

図１４は、本開示の実施形態に従って、画像内で対象を識別する方法１４００の概要を表す。ブロック１４０２で、画像又は画像ボリューム（例えば、３Ｄ超音波画像）が、画像又は画像ボリュームを表す表示データから関心のあるデータを選択するようモデルによって前処理される。いくつかの実施形態において、モデルは、プロセッサによって実装されてよく、ＶＯＩセレクタ、例えば、ＶＯＩセレクタ３７０、と呼ばれ得る。関心のあるデータは、識別されるべき対象を含むか、又はその可能性を有し得る。前処理によって出力された関心のあるデータは、表示データのサブセット（例えば、第２サブセット）であってよい。

【0072】

任意に、ブロック１４０４で、第２データセットが３Ｄデータセット（例えば、ボリューム）である場合に、第２データセットは、３Ｄパッチ（例えば、キューブ）に細分されてよい。複数の平面（例えば、スライス）が次いで、各３Ｄパッチから取り出されてよい。例えば、いくつかの実施形態において、各３Ｄパッチの中心を通る３つの直交面が取り出されてよい。いくつかの実施形態において、プレーナ抽出は、ＶＯＩセレクタによって実行されてよい。他の実施形態では、プレーナ抽出は、対象識別部３７２のような対象識別部によって実行されてもよい。いくつかの実施形態において、対象識別部は、プロセッサによって実装されてよい。いくつかの実施形態において、単一のプロセッサが、ＶＯＩセレクタ及び対象識別部の両方を実装してよい。平面の組は、次いで、ＶＯＩセレクタ又は対象識別部によって出力されてよい。

【0073】

ブロック１４０６で、第２データセットは、識別されるべき対象を含む第２データセット内でデータポイント（例えば、ボクセル又はピクセル）を識別するよう処理されてよい。例えば、データポイントは、それらが対象を含むか否かを決定するよう解析されてよい。いくつかの実施形態において、３Ｄデータセットのデータポイントは、ニューラルネットワーク、例えば、図６に示されるニューラルネットワークによって処理されてよい。いくつかの実施形態において、処理は、ニューラルネットワークを含み得る対象識別部によって実行されてよい。他の実施形態では、２Ｄデータセットのデータポイントが、図６に示されるものと類似したニューラルネットワークによって処理されてよいが、そのニューラルネットワークは、２Ｄ画像データセットに対して訓練されていてよい。いくつかの実施形態において、関心のある対象を含むものとして識別された第２データセットのデータポイントは、第３データセットとして出力されてよく、第３データセットは、第２データセットのサブセットであってよい。第３データセットは対象を表してよい。いくつかの実施形態において、第３データセットは、ディスプレイへ出力すべき表示データを生成するために使用され、かつ／あるいは、表示のために原画像又は画像ボリュームと再結合されてよい。

【0074】

他の実施形態では、ブロック１４０６で、ブロック１４０４で３Ｄパッチから取り出された平面は、識別されるべき対象を含む平面においてデータポイントを識別するよう処理されてよい。いくつかの実施形態において、データポイントは、ニューラルネットワーク、例えば、図７、８及び／又は１０に示されるニューラルネットワークによって処理されてよい。いくつかの実施形態において、処理は、ニューラルネットワークを含み得る対象識別部によって実行されてよい。いくつかの実施形態において、関心のある対象を含むものとして識別された平面のデータポイントは、第３データセットとして出力されてよく、第３データセットは、平面に含まれているデータポイントのサブセットであってよい。いくつかの実施形態において、第３データセットは、表示のために出力され、かつ／あるいは、表示のために原画像ボリュームと再結合されてよい。

【0075】

任意に、いくつかの実施形態において、対象は、ブロック１４０８で第３データセットにおいて更にローカライズされてよい。いくつかの実施形態において、ローカライゼーションプロセスは、対象識別部又は、画像プロセッサ３３６のような画像プロセッサによって、実行されてよい。いくつかの実施形態において、ローカライゼーションは、ボリューム内で識別されるべき対象の知識（例えば、対象の特性）に少なくとも部分的に基づいてモデル及び／又は曲線当てはめ技術を第３データセットに適用することを含んでよい。いくつかの実施形態において、ローカライズされたボクセル及び／又はピクセルは、第４データセットとして出力されてよい。第４データセットは、第３データセットのサブセットであってよい。いくつかの実施形態において、第４データセットは、表示のために出力され、かつ／あるいは、表示のために原画像又は画像ボリュームと再結合されてよい。

【0076】

図１４に表されている方法１４００の前に、いくつかの実施形態において、データポイントを選択するための及び／又は識別されるべき対象を含むデータポイントを識別するための１つ以上のニューラルネットワークが、本明細書で上述された１つ以上の方法によって訓練されもよい。

【0077】

本明細書で開示されているように、画像は、ニューラルネットワークによって解析される前に関心のあるボクセル（ＶＯＩ）を選択するよう１つ以上の技術によって前処理されてよい。前処理は、ニューラルネットワークが処理するデータの量を減らし得る。任意に、データは、ＶＯＩの組から直交面を取り出し、直交面をニューラルネットワークへ供給することによって、更に低減され得る。データの量を減らすことは、ニューラルネットワークが画像において対象を識別するために必要な時間を減らし得る。ニューラルネットワークによって必要とされる時間の低減は、前処理に必要とされる時間よりも大きくなり得る。よって、画像において対象を識別するための全体の時間は、ニューラルネットワークへ直接に画像を供給することと比較して低減され得る。任意に、ニューラルネットワークによって識別された対象は更に、曲線当てはめ又は他の技術によってローカライズされてよい。これは、いくつかの応用では、ニューラルネットワークによって供給される対象の視覚化を増強し得る。

【0078】

本明細書で記載されている例は、超音波画像データの処理について説明するが、本開示原理は超音波に限定されず、磁気共鳴撮像及びコンピュータ断層撮影のような他のモダリティからの画像データに適用されてもよい、ことが理解される。

【0079】

コンポーネント、システム、及び／又は方法が、コンピュータに基づくシステムまたはプログラム可能なロジックなどのプログラム可能なデバイスを用いて実装される様々な実施形態で、当然ながら、上記のシステム及び方法は、“Ｃ”、“Ｃ＋＋”、“Ｃ＃”、“Ｊａｖａ（登録商標）”、“Ｐｙｔｈｏｎ”などのような様々な既知の又は今後開発されるプログラミング言語のいずれかを用いて実装可能である。従って、磁気コンピュータディスク、光ディスク、電子メモリなどのような様々な記憶媒体が準備可能であり、それらは、コンピュータなどのデバイスに上記のシステム及び／又は方法を実装するよう指示することができる情報を含むことができる。適切なデバイスが記憶媒体に含まれている情報及びプログラムへのアクセスを有すると、記憶媒体は情報及びプログラムをデバイスへ供給することができ、このようにしてデバイスが本明細書で記載されているシステム及び／又は方法の機能を実行することを可能にする。例えば、ソースファイル、オブジェクトファイル、実行ファイルなどのような適切な素材を含むコンピュータディスクがコンピュータへ供給された場合に、コンピュータは、情報を受け取り、それ自身を適切に構成し、様々な機能を実装するよう上記の図及びフローチャートで説明された様々なシステム及び方法の機能を実行し得る。すなわち、コンピュータは、上記のシステム及び／又は方法の異なる要素に関係があるディスクからの情報の様々な部分を受け取り、個々のシステム及び／又は方法を実装し、上記の個々のシステム及び／又は方法の機能を協働させ得る。

【0080】

本開示を鑑み、本明細書で記載される様々な方法及びデバイスは、ハードウェア、ソフトウェア、及びファームウェアで実装可能である。更に、様々な方法及びパラメータは、単なる例として、如何なる限定の意味でもなく含まれている。本開示を鑑み、当業者は、本発明の範囲内にありながら、それらの技術を達成するための彼ら自身の技術及び必要とされる設備を決定するに際して本教示を実装することができる。本明細書で記載されるプロセッサの１つ以上の機能性は、より少ない又は単一の処理ユニット（例えば、ＣＰＵ）に組み込まれてよく、本明細書で記載される機能を実行するよう実行可能命令に応答してプログラムされている特定用途向け集積回路（ＡＳＩＣ）又は汎用処理回路を用いて実装されてよい。

【0081】

本システムは、超音波撮像システムを特定に参照して記載されてきたかもしれないが、本システムは、１つ以上の画像を体系的方法で取得される他の医療撮像システムに拡張可能であることも企図される。従って、本システムは、腎臓、精巣、胸部、卵巣、子宮、甲状腺、肝臓、肺、筋骨格、脾臓、心臓、動脈及び血管系に関係があるがこれらに限られない画像情報、並びに超音波誘導インターベンションに関係がある他の撮像アプリケーションを取得及び／又は記録するために使用されてよい。更に、本システムは、従来の撮像システムが本システムの特徴及び利点を提供し得るように従来の撮像システムとともに使用され得る１つ以上のプログラムも含んでよい。本開示の特定の更なる利点及び特徴は、本開示を検討することで当業者に理解され得るか、あるいは、本開示の新規のシステム及び方法を用いる者によって経験され得る。本システム及び方法の他の利点は、従来の医療画像システムが本システム、デバイス、及び方法の特徴及び利点を組み込むよう容易にアップグレード可能であることであってよい。

【0082】

当然、本明細書で記載される例、実施形態又はプロセスのうちのいずれか１つは、１つ以上の他の例、実施形態又はプロセスと組み合わされるか、あるいは、本システム、デバイス及び方法に従って別々のデバイス又はデバイス部分の間で実行されてよいことが理解されるべきである。

【0083】

最後に、上記は、本システムを単に例示するよう意図され、如何なる特定の実施形態又は実施形態のグループにも添付の特許請求の範囲を限定するものとして解釈されるべきではない。よって、本システムは、例となる実施形態を参照して特に詳細に記載されてきたが、多数の変更及び代替の実施形態が、続く特許請求の範囲で説明されている本システムのより広い意図された精神及び範囲から逸脱せずに、当業者によって考えられ得ることも理解されるべきである。従って、明細書及び図面は、例示と見なされるべきであり、添付の特許請求の範囲の範囲を限定する意図はない。

【0084】

［関連出願］
本願は、２０１８年１１月１日付けで出願された米国特許仮出願第６２／７５４２５０号、及び２０１９年１０月２日付けで出願された米国特許仮出願第６２／９０９３９２号に対する優先権を主張する。優先権の基礎となるこれらの特許出願の内容は、如何なる目的のためにも参照により本願に援用される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】