特表 2024-539083 超音波撮像のための自動深度選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】超音波撮像のための自動深度選択

(51)【国際特許分類】

   A61B 8/14 20060101AFI20241018BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024523391

(86)(22)【出願日】2022-10-20

(85)【翻訳文提出日】2024-04-18

(86)【国際出願番号】 US2022047320

(87)【国際公開番号】W WO2023076104

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】17/509,987

(32)【優先日】2021-10-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518322506

【氏名又は名称】エコーノース インコーポレーテッド

【氏名又は名称原語表記】ＥｃｈｏＮｏｕｓ， Ｉｎｃ．

【住所又は居所原語表記】８３１０ １５４ｔｈ Ａｖｅｎｕｅ Ｎｏｒｔｈｅａｓｔ， Ｂｕｉｌｄｉｎｇ Ｂ， Ｒｅｄｍｏｎｄ， Ｗａｓｈｉｎｇｔｏｎ ９８０５２ ＵＳ

(74)【代理人】

【識別番号】100091904

【弁理士】

【氏名又は名称】成瀬 重雄

(72)【発明者】

【氏名】クック、マシュー

(72)【発明者】

【氏名】アインデ、ババジデ

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601DD15

4C601EE11

4C601EE22

4C601GB04

4C601GB06

4C601HH15

4C601HH21

4C601JB34

4C601JB53

4C601LL01

4C601LL26

(57)【要約】

特定の深度設定を用いて患者から取り込まれた超音波画像を評価するための設備が説明される。設備は、受信された超音波画像に少なくとも１つのニューラルネットワークを適用して、ニューラルネットワークごとに推論を生成する。生成された推論に基づいて、設備は、超音波画像が取り込まれた深度設定が最適であったかどうかを決定する。

【特許請求の範囲】

【請求項1】

システムであって、
深度構成設定を有する超音波感知装置と、
コンピューティング装置と、を備え、前記コンピューティング装置が、
人から前記超音波感知装置によって感知された超音波エコーデータを直接受信するように構成された通信インターフェースであって、受信された前記超音波エコーデータが、特定の深度構成設定値を使用してそれぞれ取り込まれた、１つ以上の超音波画像のシーケンスを含む、通信インターフェースと、
前記シーケンス中の超音波画像に応答してそれぞれ推論を生成するための機械学習モデルを記憶するように構成されたメモリと、
プロセッサであって、
前記シーケンスの各超音波画像について、前記通信インターフェースによるその受信に応答して、
前記超音波画像に前記機械学習モデルを適用して推論を生成し、前記推論が、
前記超音波画像が取り込まれた前記深度構成設定値が最適の許容範囲内にあるかどうかを示し、
前記推論が、前記超音波画像が取り込まれた前記深度構成設定値が最適の許容範囲内にないことを示す場合、前記深度構成設定値が最適に近くなるように調整されるべき方向と、
前記推論が、前記超音波が取り込まれた前記深度構成設定値が最適の許容範囲内にあることを示す場合、前記超音波画像のシーケンスを終了させ、
前記推論が、前記超音波が取り込まれた前記深度構成設定値が最適の許容範囲内にないことを示す場合、前記超音波画像を取り込むために使用された前記深度構成設定値から前記示された方向にある深度構成設定値を使用して、前記シーケンスの次の超音波画像が取り込まれるようにする、ように構成されるプロセッサと、
を備える、システム。

【請求項2】

前記超音波感知装置が、トランスデューサを含む、請求項１に記載のシステム。

【請求項3】

前記記憶された機械学習モデルは、心臓の超音波画像を使用して訓練されたものであり、
前記シーケンスの前記超音波画像は、心臓の超音波画像である、請求項１に記載のシステム。

【請求項4】

前記記憶された機械学習モデルは、前記超音波画像の最適性及び方向から予測するように訓練されたニューラルネットワークである、請求項１に記載のシステム。

【請求項5】

各推論は、前記深度構成設定値が最適であるために前記示された方向に変更されるべき大きさを更に示す、請求項１に記載のシステム。

【請求項6】

前記記憶された機械学習モデルは、
前記超音波画像から、前記超音波画像の取込元のビューを予測するように訓練された第１のニューラルネットワークと、
前記超音波画像から、前記超音波画像内で視覚化された１つ以上のオブジェクトのタイプ及び位置を予測するように訓練された第２のニューラルネットワークと、
ビューとオブジェクトタイプとの異なる組合せから、前記ビューから取り込まれた超音波画像内で視覚化された前記オブジェクトタイプのオブジェクトの前記位置から前記超音波画像の底部までの経験的に導出された最適距離へのマッピングと、
を備え、
前記超音波画像に前記機械学習モデルを適用することは、前記視覚化されたオブジェクトのうちの少なくとも１つのそれぞれについて、
前記予測されたビューからマッピング先の前記最適距離を決定し、前記マッピングから前記視覚化されたオブジェクトの予測されたタイプを決定することと、
前記視覚化されたオブジェクトの予測された位置と前記超音波画像の底部との間の距離を決定することと、
前記最適距離と前記決定された距離との間の差を計算することと、
を含む、請求項５に記載のシステム。

【請求項7】

前記超音波画像に前記機械学習モデルを適用することは、
前記視覚化されたオブジェクトにわたって、前記計算された差を集約することを更に含む、請求項６に記載のシステム。

【請求項8】

前記記憶された機械学習モデルは、
超音波画像から、前記超音波画像が最適な深度で取り込まれたか否かを予測し、そうでない場合、前記深度構成設定値が最適に近くなるように調整されるべき方向を予測する第１のサブモデルと、
超音波画像から、前記深度構成設定値が最適に近くなるように調整されるべき方向及び距離を予測する第２のサブモデルと、
を含み、
前記プロセッサは、
前記第１及び第２のモデルからの推論反映結果が一貫していない場合、前記超音波画像のシーケンスを終了し、
前記第１及び第２のモデルからの前記推論反映結果が一貫している場合、前記超音波画像を取り込むために使用された前記深度構成設定値から前記示された方向における前記示された距離である深度構成設定値を使用して、前記シーケンスの次の超音波画像が取り込まれるようにする、
ように更に構成される、請求項６に記載のシステム。

【請求項9】

最適マージン表データ構造を集合的に含む１つ以上のメモリであって、前記データ構造は、
複数のエントリを含み、各エントリは、
超音波ビューを識別する第１の情報と、
前記第１の情報によって識別される前記超音波ビューにおいて典型的に視覚化可能な解剖学的構造を識別する第２の情報と、
前記第１の情報によって識別される前記超音波ビューから取り込まれた超音波画像について、前記第２の情報によって識別される前記解剖学的構造の視覚化されたインスタンスの底部から、前記超音波画像の底部までの最適距離を反映する最適マージンサイズを指定する第３の情報と、
を含み、
超音波ビューと解剖学的構造との特定の組合せに対して、エントリを選択し、前記エントリの第３の情報を取り出して、超音波ビューと解剖学的構造とのその組合せに対する最適マージンサイズを決定することができる、１つ以上のメモリ。

【請求項10】

各エントリについて、前記エントリの第３の情報によって指定される前記最適マージンサイズは、人間のドメインエキスパートによって最適として分類される前記エントリの第２の情報によって識別される前記解剖学的構造の１つ以上を含む前記エントリの第１の情報によって識別される前記超音波ビューから取り込まれた超音波画像において測定されたマージンを集約することによって経験的に決定される、請求項９に記載の１つ以上のメモリ。

【請求項11】

超音波画像から、前記超音波画像が（ａ）最適な深度で取り込まれたか、（ｂ）最適よりも浅い深度で取り込まれたか、又は（ｃ）最適よりも深い深度で取り込まれたかを予測するための訓練されたニューラルネットワークを更に含む、請求項９に記載の１つ以上のメモリ。

【請求項12】

超音波画像から、前記超音波画像の取込元の超音波ビューを予測するための第１の訓練されたニューラルネットワークと、
超音波画像から、前記超音波画像において視覚化された１つ以上の解剖学的構造のそれぞれについて、前記解剖学的オブジェクトのタイプ及び位置を予測するための第２の訓練されたニューラルネットワークと、
を更に含み、
前記第１の訓練されたニューラルネットワークによって予測された前記ビューと、前記第２の訓練されたニューラルネットワークによって予測された各視覚化された解剖学的構造の前記タイプとを使用して、前記最適マージン表のエントリを選択し、前記エントリの第３の情報によって指定された前記最適マージンを取り出すことができ、
前記第２の訓練されたニューラルネットワークによって予測された各視覚化された解剖学的構造の位置を使用して、前記超音波画像の実際のマージンを計算することができ、
前記計算された実際のマージンは、前記取り出された最適マージンと比較することができる、請求項９に記載の１つ以上のメモリ。

【請求項13】

コンピューティングシステムに方法を実行させるように構成された内容を集合的に有するコンピュータ可読媒体の１つ以上のインスタンスであって、前記方法が、
特定の深度設定で患者から取り込まれた超音波画像を受信することと、
前記受信された超音波画像に少なくとも１つのニューラルネットワークを適用し、各ニューラルネットワークについて推論を生成することと、
前記生成された推論に基づいて、前記超音波画像が取り込まれた前記深度設定が最適であったかどうかを決定することと、
を含む、コンピュータ可読媒体の１つ以上のインスタンス。

【請求項14】

前記方法は、
超音波画像が取り込まれた前記深度設定が最適でなかったと決定したことに応答して、前記超音波画像が取り込まれた前記深度設定とは異なる深度設定で前記患者から取り込まれるべき追加の超音波画像の取込を行うことを更に含む、請求項１３に記載のコンピュータ可読媒体の１つ以上のインスタンス。

【請求項15】

前記方法は、
前記生成された推論に基づいて、最適な深度設定が、前記超音波画像が取り込まれた前記深度設定と異なる方向を決定することを更に含み、
前記取込を行うことは、前記超音波画像が取得された前記深度設定とは前記決定された方向において異なる深度設定において、前記患者から追加の超音波画像の取込を行う、請求項１４に記載のコンピュータ可読媒体の１つ以上のインスタンス。

【請求項16】

前記方法は、
前記生成された推論に基づいて、前記最適な深度設定が、前記超音波画像が取り込まれた前記深度設定と異なる大きさを決定することを更に含み、
前記取込を行うことは、前記超音波画像が取り込まれた前記深度設定とは前記決定された大きさだけ異なる深度設定において、前記患者から追加の超音波画像の取込を行う、請求項１５に記載のコンピュータ可読媒体の１つ以上のインスタンス。

【請求項17】

前記方法は、
前記少なくとも１つのニューラルネットワークを訓練するために、患者から取り込まれた超音波画像を使用することを更に含む、請求項１３に記載のコンピュータ可読媒体の１つ以上のインスタンス。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、その全体が参照により本明細書に組み込まれる、２０２１年１０月２５日に出願され、「ＡＵＴＯＭＡＴＩＣ ＤＥＰＴＨ ＳＥＬＥＣＴＩＯＮ ＦＯＲ ＵＬＴＲＡＳＯＵＮＤ ＩＭＡＧＩＮＧ」と題された米国特許出願第１７／５０９，９８７号に対する優先権を主張する。本出願が参照により組み込まれる文書と矛盾する場合、本出願が優先される。

【背景技術】

【0002】

超音波撮像は、有用な医療撮像モダリティである。例えば、患者の身体の内部構造は、治療的介入の前、最中、又は後に撮像され得る。医療専門家は通常、「トランスデューサ」と呼ばれることもある携帯型超音波プローブを患者に近接して保持し、必要に応じてトランスデューサを移動させて、患者の関心領域内の１つ以上の標的構造を視覚化する。トランスデューサは、身体の表面上に配置されてもよく、又はいくつかの手順では、トランスデューサが患者の体内に挿入される。医療専門家は、三次元容積の二次元断面などの、スクリーン上の所望の表現を得るために、トランスデューサの動きを座標化する。

【0003】

器官若しくは他の組織又は身体特徴（体液、骨、関節など）の特定のビューは臨床的に重要であることがある。そのようなビューは、標的器官、診断目的などに応じて、超音波検査オペレータが取り込むべきビューとして臨床基準によって規定される場合がある。

【0004】

超音波画像における患者の身体の内部のビューは、典型的には、トランスデューサの活性表面から下方に、ある「深度」、すなわちトランスデューサの活性表面の下のある距離まで延びる。この深度は、生成される画像をそれらの意図された目的のために最適化するために、超音波検査者又は超音波装置を使用する他の人によって調整され得る超音波装置のいくつかの設定のうちの１つである。例えば、オペレータは、一般に、関心領域を完全に取り込むのに十分な大きさであるが、関心領域をはるかに超えて（下に）延びるほどには大きくない深度を選択する。

【0005】

オペレータは、典型的には、超音波装置に統合されたノブ又は一対のボタンなどの特定の制御を使用して、深度を手動で選択する。経験のあるオペレータが、異なる深度値を漸進的に選択し、結果として生じる画像を観察し、関心領域の全てを取り込むのに有効であるがあまり深くない深度が見出されるまで、深度を調整し続けることが一般的である。

【図面の簡単な説明】

【0006】

【図1】本開示の１つ以上の実施形態による、生理学的感知装置１０の概略図である。

【図2】設備が動作するコンピュータシステム及び他の装置のうちの少なくともいくつかに通常組み込まれる構成要素のうちのいくつかを示すブロック図である。

【図3】設備の動作の概要を提供するデータフロー図である。

【図4】直接及び間接モデルを構築及び訓練するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。

【図5】いくつかの実施形態における、設備によって訓練及び／又は適用されるニューラルネットワークのアーキテクチャ詳細を示す、ニューラルネットワークアーキテクチャ図である。

【図6】いくつかの実施形態において設備によって構築及び／又は使用される最適マージン表のサンプル内容を示す表図である。

【図7】超音波画像の深度をより最適に調整するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。

【図8】直接モデルを超音波画像に適用するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。

【図9】間接モデルを超音波画像に適用するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。

【図10】深度が小さすぎると設備が決定する心尖部四腔ビューから取り込まれた超音波画像を示す超音波図である。

【図11】深度が大きすぎると設備が決定する心尖部四腔ビューから取り込まれた超音波画像を示す超音波図である。

【図12】深度が最適の許容範囲内にあると設備が決定する心尖部四腔ビューから取り込まれた超音波画像を示す超音波図である。

【発明を実施するための形態】

【0007】

本発明者らは、超音波装置の深度設定を制御する従来のアプローチが有意な欠点を有することを認識している。特に、従来のアプローチは、オペレータからの手動入力を必要とする。このため、オペレータによる画像取込タスクの困難さが増し、特に、初心者のオペレータがこのタスクを効果的に実行する可能性が低くなる。これは特定のレベルの誤差に関連し、生成された画像の意図された目的のための価値がしばしば低下し、各超音波検査を実行するのにかかる時間が長くなる。特に、深度が小さすぎる場合、左心室のような下位臓器解剖学的構造全体などの関心領域全体を見て評価する能力が妨げられる。深度が大きすぎる場合、関心領域全体は見えるが、それを見て評価するのに最適な解像度よりも低い解像度である。

【0008】

これらの欠点を認識したことに応じて、本発明者らは、機械学習を使用して超音波撮像のための深度を自動的に選択するソフトウェア及び／又はハードウェア設備（「設備」）を考案し、実施に移した。

【0009】

いくつかの実施形態では、設備は、直接的な定性的機械学習モデルを訓練し、適用する。直接機械学習モデルは、人工ニューラルネットワークを使用して、特定の深度設定で取り込まれた超音波画像について、（１）深度設定が小さすぎる、すなわち、関心領域全体が取り込まれなかった、又は関心領域がその下に不適切なマージンを伴って取り込まれた確率、（２）深度設定が最適又はほぼ最適であった確率、及び（３）深度設定が大きすぎる、すなわち、関心領域全体が、その下に大きすぎるマージンを伴って取り込まれた確率を予測する。いくつかのそのような実施形態では、深度設定が小さすぎる予測確率が他の２つの確率よりも高い画像に対して、設備は、より高い深度設定で別の画像を取り込むように超音波装置を自動的に制御するか、又はこれを行うように装置のオペレータに促す。深度設定が大きすぎる予測確率が他の２つの確率よりも高い画像については、設備は、より低い深度設定で別の画像を取り込むように超音波装置を自動的に制御するか、又は装置のオペレータにこれを行うように促す。

【0010】

いくつかの実施形態では、設備は、特定の深度設定を用いて取り込まれた超音波画像について、深度設定が最適になるように変更しなければならない方向及び大きさを予測する間接的なビューベースの定量的機械学習モデルを訓練し、適用する。このモデルでは、１つ以上のニューラルネットワークが、（１）画像が対応するビュー（ビューは、特定の視点から特定の関心領域を取り込む手法である）、及び（２）オブジェクト検出及び／又はオブジェクトセグメンテーションなどを介した、画像内のオブジェクトの位置特定を予測する。位置特定の結果は、画像内のオブジェクトタイプ及びオブジェクト位置の両方を含む。識別されたオブジェクトごとに、設備は、（１）オブジェクトの底部から画像の底部までの距離を計算し、（２）予測されたビューに識別されたオブジェクトを加えたものを使用して、オブジェクトの底部から画像の底部までの経験的に決定された最適距離を取り出し、（３）取り出された距離から計算された距離を減算して、深度設定における示された推奨変更を取得する。複数のオブジェクトが識別される場合、設備は、それらの中央値を決定することなどによって、複数のオブジェクトにわたるこれらの推奨変更を集約する。いくつかの実施形態では、設備は、超音波装置を自動的に制御して、示された推奨変更が追加された新しい深度で別の画像を取り込むか、又は装置のオペレータにこれを行うように促す。

【0011】

いくつかの実施形態では、設備は、両方のモデルを各画像に適用し、両方のモデルによって画像に対して生成された結果が一致する場合にのみ、深度設定を自動的に変更するか、又はオペレータにこれを行うように促す。

【0012】

様々な実施形態では、設備は、例として、心臓（心臓超音波）、肝臓、腎臓、肺の中若しくは近くの胸膜ライン若しくは肋骨腔、又は筋骨格超音波における静脈若しくは神経を含む、異なる撮像部位に適合される。様々な実施形態では、本設備は、コンピュータ断層撮影、磁気共鳴撮像、マンモグラム、蛍光透視法、及び陽電子放出断層撮影を含む、種々の撮像モダリティに適合される。

【0013】

これらの方法のいくつか又は全てを実行することによって、本設備は、適切な深度設定を手動で選択する超音波装置のオペレータの能力に依存することなく、より短い期間でより適切な超音波画像を生成する。これより、装置の経験の少ないオペレータが、装置をよりうまく使用できるようになり、より自信を持つことができる。

【0014】

更に、設備は、特定のタスクを実行するために必要な動的表示領域、処理、記憶、及び／又はデータ送信リソースを低減させ、それによって、タスクをより性能が低く、より容量が少なく、及び／若しくはより安価なハードウェア装置によって実行するのを可能にし、並びに／又はタスクをより短い待ち時間で実行するのを可能にし、並びに／又は保存されたリソースのうちのより多くを他のタスクを実行する際に使用できるように維持することなどによって、コンピュータ又は他のハードウェアの機能を向上させる。例えば、超音波セッションの平均時間長を短縮することによって、超音波装置が使用される診療所又は他の医療施設は、同じ量の検査を行うためにより少ない装置を購入及び使用することによって、超音波装置を購入及び維持する総コストを低減することができる。代替として、診療所は、同じ数の超音波装置を用いて、より多くの量の検査を行うことができる。

【0015】

図１は、本開示の１つ以上の実施形態による、生理学的感知装置１０の概略図である。装置１０は、図示した実施形態では、ケーブル１７によってハンドヘルドコンピューティング装置１４に電気的に結合されたプローブ１２を含む。ケーブル１７は、プローブ１２をコンピューティング装置１４に取り外し可能に接続するコネクタ１８を含む。ハンドヘルドコンピューティング装置１４は、タブレットコンピュータ、スマートフォンなどの、ディスプレイを有する任意のポータブルコンピューティング装置であってもよい。いくつかの実施形態では、プローブ１２は、ハンドヘルドコンピューティング装置１４に電気的に結合されている必要はないが、ハンドヘルドコンピューティング装置１４とは独立して動作してもよく、かつプローブ１２は、無線通信チャネルを介してハンドヘルドコンピューティング装置１４と通信してもよい。

【0016】

プローブ１２は、超音波信号を標的構造に向けて送信し、超音波信号の送信に応答して標的構造から戻って来たエコー信号を受信するように構成されている。プローブ１２は、様々な実施形態では、超音波信号を送信し、その後のエコー信号を受信することができるトランスデューサ素子（例えば、トランスデューサアレイ）のアレイを含み得る超音波センサ２０を含む。

【0017】

装置１０は、処理回路及び駆動回路を更に含む。部分的には、処理回路は、超音波センサ２０からの超音波信号の送信を制御する。駆動回路は、例えば、処理回路から受信した制御信号に応答して、超音波信号の送信を駆動するための超音波センサ２０に動作可能に結合される。駆動回路及びプロセッサ回路は、プローブ１２及びハンドヘルドコンピューティング装置１４の一方又は両方に含まれてもよい。装置１０はまた、例えば、パルス波動作モード又は連続波動作モードで超音波信号を送信するための駆動回路に電力を供給する電源を含む。

【0018】

プローブ１２の超音波センサ２０は、超音波信号を送信する１つ以上の送信トランスデューサ素子と、超音波信号の送信に応答して標的構造から戻って来るエコー信号を受信する１つ以上の受信トランスデューサ素子と、を含んでもよい。いくつかの実施形態では、超音波センサ２０のトランスデューサ素子の一部又は全部は、第１の期間中に送信トランスデューサ素子として機能し、第１の期間とは異なる第２の期間中に受信トランスデューサ素子として機能してもよい（すなわち、同じトランスデューサ素子が異なる時間に、超音波信号を送信し、エコー信号を受信するために使用可能であってもよい）。

【0019】

図１に示すコンピューティング装置１４は、ディスプレイ画面２２及びユーザインターフェース２４を含む。ディスプレイ画面２２は、ＬＣＤ又はＬＥＤディスプレイ技術を含むがこれに限定されない、任意の種類のディスプレイ技術を組み込んだディスプレイであってもよい。ディスプレイ画面２２を使用して、超音波信号の送信に応答して受信されたエコー信号から得られたエコーデータから生成された１つ以上の画像を表示し、いくつかの実施形態では、ディスプレイ画面２２は、例えば、カラードプライメージング（Color Doppler imaging、ＣＤＩ）モードで提供され得るようなカラーフロー画像情報を表示するために使用されてもよい。更に、いくつかの実施形態では、ディスプレイ画面２２は、取得された又は調整された聴診信号を表す波形などの音声波形を表示するために使用され得る。

【0020】

いくつかの実施形態では、ディスプレイ画面２２は、画面にタッチするオペレータから入力を受け取ることができるタッチスクリーンであってもよい。そのような実施形態では、ユーザインターフェース２４は、タッチを介してオペレータ入力を受信することが可能な、ディスプレイ画面２２の一部分又は全体を含んでもよい。いくつかの実施形態では、ユーザインターフェース２４は、超音波装置１０のオペレータから入力を受け取ることが可能な１つ以上のボタン、ノブ、スイッチなどを含んでもよい。いくつかの実施形態では、ユーザインターフェース２４は、音声コマンドなどの可聴入力を受け取ることができるマイクロフォン３０を含んでもよい。

【0021】

コンピューティング装置１４は、取得若しくは調整された聴診信号、又はエコー信号、ドップラー超音波撮像中の血流、若しくは装置１０の動作から導出される他の特徴の可聴表現を出力するために使用され得る１つ以上のオーディオスピーカ２８を更に含んでもよい。

【0022】

プローブ１２は、プローブ１２の外側部分を形成するハウジングを含む。ハウジングは、ハウジングの遠位端の近くに位置するセンサ部分、及びハウジングの近位端と遠位端との間のハンドル部分を含む。ハンドル部分は、センサ部分に対して近位側に位置する。

【0023】

ハンドル部分は、使用中にプローブ１２を保持、制御、及び操作するためにオペレータによって把持される、ハウジングの一部分である。ハンドル部分は、１つ以上の滑り止めなどの把持機構を含んでもよく、いくつかの実施形態では、ハンドル部分は、ハンドル部分の遠位側又は近位側のハウジングの部分と同じ概略形状を有してもよい。

【0024】

ハウジングは、例えば、駆動回路、処理回路、発振器、ビーム形成回路、フィルタリング回路などの電子機器を含む、プローブ１２の内部電子構成要素及び／又は回路を取り囲む。ハウジングは、感知面などのプローブ１２の外部に配置された部分を取り囲むか、又は少なくとも部分的に取り囲むように形成されてもよい。ハウジングは、水分、液体、又は他の流体がハウジングに入ることが防止されるように、封止されたハウジングであってもよい。ハウジングは、任意の好適な材料で形成されてもよく、いくつかの実施形態では、ハウジングはプラスチック材料で形成される。ハウジングは、単一の部品（例えば、内部構成要素を取り囲むように成形される単一の材料）で形成されてもよい。あるいは、互いに接合されるか又は別の方法で互いに取り付けられる、２つ以上の部品（例えば、上側半体及び下側半体）で形成されてもよい。

【0025】

いくつかの実施形態では、プローブ１２は、動きセンサを含む。動きセンサは、プローブ１２の動きを感知するように動作可能である。動きセンサは、プローブ１２内又はプローブ１２上に含まれ、例えば、プローブ１２の動きを感知するための１つ以上の加速度計、磁力計、又はジャイロスコープを含んでもよい。例えば、動きセンサは、プローブ１２の動きを感知することが可能な圧電式、ピエゾ抵抗式、又は静電容量式の加速度計のいずれかであってもよく、それらの加速度計のいずれかを含んでもよい。いくつかの実施形態では、動きセンサは、３つの軸のうちのいずれかの周りの動きを感知することが可能な３軸動きセンサである。いくつかの実施形態では、２つ以上の動きセンサ１６がプローブ１２内又はプローブ１２上に含まれる。いくつかの実施形態では、動きセンサは、少なくとも１つの加速度計及び少なくとも１つのジャイロスコープを含む。

【0026】

動きセンサは、プローブ１２のハウジング内に少なくとも部分的に収容されてもよい。いくつかの実施形態では、動きセンサは、プローブ１２の感知面に又は感知面の近くに配置される。いくつかの実施形態では、感知面は、超音波撮像又は聴診感知などの検査中に患者と動作可能に接触する表面である。超音波センサ２０及び１つ以上の聴診センサは、感知面上、感知面の部分、又は感知面の近くに位置付けられる。

【0027】

いくつかの実施形態では、超音波センサ２０のトランスデューサアレイは、トランスデューサ素子の一次元（one-dimensional、１Ｄ）アレイ又は二次元（two-dimensional、２Ｄ）アレイである。トランスデューサアレイは、例えばチタン酸ジルコン酸鉛（lead zirconate titanate、ＰＺＴ）などの圧電セラミックを含んでもよく、又は微小電気機械システム（microelectromechanical system、ＭＥＭＳ）に基づいたものであってもよい。例えば、様々な実施形態では、超音波センサ２０は、微小電気機械システム（ＭＥＭＳ）ベースの圧電超音波トランスデューサである圧電微小加工超音波トランスデューサ（piezoelectric micromachined ultrasonic transducers、ＰＭＵＴ）を含んでもよいか、又は、超音波センサ２０は、静電容量の変化に起因してエネルギー変換が提供される静電容量式微小加工超音波トランスデューサ（capacitive micromachined ultrasound transducer、ＣＭＵＴ）を含んでもよい。

【0028】

超音波センサ２０は、トランスデューサアレイ上に位置付けられ得、かつ感知面の一部を形成し得る超音波集束レンズを更に含んでもよい。集束レンズは、トランスデューサアレイから患者に向かって送信された超音波ビームを集束させるように、及び／又は患者からトランスデューサアレイへと反射された超音波ビームを集束させるように動作可能な任意のレンズであってもよい。いくつかの実施形態では、超音波集束レンズは、湾曲した表面形状を有してもよい。超音波集束レンズは、所望の用途、例えば所望の動作周波数などに応じて、異なる形状を有してもよい。超音波集束レンズは、任意の好適な材料で形成されてもよく、いくつかの実施形態では、超音波集束レンズは、室温加硫（room-temperature-vulcanizing、ＲＴＶ）ゴム材料で形成される。

【0029】

いくつかの実施形態では、第１の膜及び第２の膜が、超音波センサ２０の互いに向かい合う側に隣接して位置付けられ、感知面の一部を形成してもよい。膜は、任意の好適な材料で形成されてもよく、いくつかの実施形態では、膜は、室温加硫（ＲＴＶ）ゴム材料で形成される。いくつかの実施形態では、膜は、超音波集束レンズと同じ材料で形成される。

【0030】

図２は、コンピュータシステム及び設備が動作する他の装置のうちの少なくともいくつかに通常組み込まれる構成要素のうちのいくつかを示すブロック図である。様々な実施形態では、これらのコンピュータシステム及び他の装置２００は、サーバコンピュータシステム、クラウドコンピューティングプラットフォーム又は他の構成の仮想マシン、デスクトップコンピュータシステム、ラップトップコンピュータシステム、ネットブック、携帯電話、パーソナルデジタルアシスタント、テレビ、カメラ、自動車コンピュータ、電子メディアプレーヤー、生理学的感知装置及び／又はそれらの関連ディスプレイ装置などを含むことができる。様々な実施形態では、コンピュータシステム及び装置は、以下のそれぞれを０個以上含み、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＮＮＰ、ＦＰＧＡ、又はＡＳＩＣなどの、コンピュータプログラムを実行するため、及び／又は機械学習モデルを訓練若しくは適用するためのプロセッサ２０１、設備及び関連するデータ、カーネルを含むオペレーティングシステム、並びに装置ドライバを含む、プログラム及びデータが使用されている間そのプログラム及びデータを記憶するためのコンピュータメモリ２０２、プログラム及びデータを持続的に記憶するためのハードドライブ又はフラッシュドライブなどの永続的記憶装置２０３、コンピュータ可読媒体に記憶されたプログラム及びデータを読み取るためのフロッピー、ＣＤ－ＲＯＭ、又はＤＶＤドライブなどのコンピュータ可読媒体ドライブ２０４、並びにインターネット又は別のネットワーク、並びにスイッチ、ルータ、リピータ、電気ケーブル及び光ファイバ、発光体及び光受信器、無線送信機及び受信機などの、そのネットワーク化ハードウェアを介してデータを送受信するためにコンピュータシステムを他のコンピュータシステムに接続するためのネットワーク接続２０５である。上記のように構成されたコンピュータシステムは、典型的には、設備の動作を支持するために使用されるが、当業者は、設備が様々なタイプ及び構成の装置を使用して実装され、様々な構成要素を有してもよいことを理解するであろう。

【0031】

図３は、設備の動作の概要を提供するデータフロー図である。設備は、超音波画像３０１を直接機械学習モデル３１０及び間接機械学習モデル３２０のそれぞれに渡す。直接モデルは、超音波画像を分析して、定性的深度評価３１１を生成する。間接モデルは、画像を分析して、定量的深度評価３２１を生成する。定性的及び定量的深度評価から、設備は、コンセンサス深度評価３３１を生成し、いくつかの実施形態では、特定の有向距離変化を有する追加の超音波画像の取込を行うかどうかを決定するための基礎として使用する。

【0032】

図４は、直接及び間接モデルを構築及び訓練するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。動作４０１において、設備は、（１）超音波画像についての方向深度評価、（２）超音波画像の取込元のビュー、及び（３）視覚化されたドメインオブジェクトごとに、オブジェクトのタイプ及び位置、の注釈がそれぞれ付けられた訓練超音波画像を取得する。いくつかの実施形態では、方向深度評価は、深度が浅すぎる（すなわち、小さすぎる）か、最適であるか、又は深すぎる（すなわち、大きすぎる）かのいずれかを指定する。

【0033】

動作４０２において、設備は、動作４０１において取得された訓練画像及びそれらの注釈を使用して、間接モデルの第１のニューラルネットワークを訓練して、各訓練画像に基づいてその訓練画像が取り込まれたビューを予測する。動作４０３において、設備は、動作４０１において取得された訓練画像及びそれらの注釈を使用して、間接モデルの第２のニューラルネットワークを訓練し、各訓練画像及びビューに基づいて、その訓練画像において視覚化された解剖学的構造（「オブジェクト」）のタイプ及び位置を予測する。動作４０４において、設備は、動作４０１において取得された訓練画像及びそれらの注釈を使用して、直接モデルのニューラルネットワークを訓練し、各訓練画像からその訓練画像の定性的深度評価を予測する。

【0034】

動作４０５において、設備は、ビューと視覚化されたオブジェクトタイプとの各組合せに対して、最適な画像をもたらすオブジェクトの底部と画像の底部との間のマージン（「最適マージン」）を指定する最適マージン表を構築する。設備は、ビューとオブジェクトタイプとの各組合せについて、そのビューから取り込まれた訓練画像であって、そのタイプの１つ以上のオブジェクトを含み、最適な定性的深度評価を有する訓練画像にわたって、これらのオブジェクトの底部と画像の底部との間のマージンを集約することによって、この最適なマージンを決定する。動作４０５の後、このプロセスは終了する。

【0035】

当業者は、図４に示され、以下で考察されるフロー図のそれぞれにおける動作は、様々な方法で変更され得ることを理解するであろう。例えば、動作の順序が並べ替えられてもよく、いくつかの動作が並列に実行されてもよく、図示した動作が省略されてもよく、又は他の動作が含まれてもよく、図示した動作が部分動作に分割されてもよく、又は複数の図示した動作が単一の動作に組み合わされてもよい。

【0036】

図５は、いくつかの実施形態における、設備によって訓練及び／又は適用されるニューラルネットワークのアーキテクチャ詳細を示す、ニューラルネットワークアーキテクチャ図である。示されるように、設備によって使用される３つのニューラルネットワークは、単一の畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）５００において接続される。ＣＮＮは、一連の畳み込みブロック（「ＣｏｎｖＢｌｏｃｋｓ」）５１０から構成され、各畳み込みブロックは、２Ｄ畳み込み層５１１と、それに続く２Ｄバッチ標準化層５１２と、Ｌｅａｋｙ ＲｅＬＵ活性化関数層５１３とからなる。畳み込みブロック５２１～５２５、５３１、５４１、及び５５１に加えて、ＣＮＮは、２Ｄ平均プーリング層５４２及び５５２を含む。

【0037】

ＣＮＮは、その入力として、１×２２４×２２４グレースケール超音波画像などの超音波画像５０１をとる。ＣＮＮは、３つの出力、すなわち、超音波画像内の関心構造（例えば、左心室）の位置及び寸法を予測する検出出力５３９、超音波画像が取り込まれた標準超音波ビュー（「ビュー」又は「ウィンドウ」）（例えば、心尖部４腔）を予測するビュー出力５４９、及び、深度設定が深すぎるか、浅すぎるか、又は最適であるかを予測する深度出力５５９、を生成する。いくつかの実施形態では、検出出力は、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（「ＹＯＬＯ」）フォーマットで表される。これは、Ｊｏｓｅｐｈ Ｒｅｄｍｏｎ ａｎｄ Ａｌｉ Ｆａｒｈａｄｉ，ＹＯＬＯｖ３：Ａｎ Ｉｎｃｒｅｍｅｎｔａｌ Ｉｍｐｒｏｖｅｍｅｎｔ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｗａｓｈｉｎｇｔｏｎ，２０１８（ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０４．０２７６７で入手可能）に記述されており、参照によりその全体が本明細書に組み込まれる。参照により本明細書に組み込まれる文書が本開示と矛盾する場合、本開示が優先する。

【0038】

直接モデルのニューラルネットワークとして上述したニューラルネットワークは、他の２つの構成ニューラルネットワークと共有されるブランチ５２０、及びブランチ５５０から構成され、深度出力５５９を生成する。間接モデルの第１のニューラルネットワークとして上述したニューラルネットワークは、ブランチ５２０及び５４０から構成され、ビュー出力５４９を生成する。間接モデルの第２のニューラルネットワークとして上述したニューラルネットワークは、ブランチ５２０及び５３０から構成され、検出出力５３９を生成する。

【0039】

図６は、いくつかの実施形態において設備によって構築及び／又は使用される最適マージン表のサンプル内容を示す表図である。表６００は、それぞれがビューとオブジェクトタイプとの様々な組合せに対応する、行６０１～６０９などの行から構成される。各行は、以下の列に分割される。すなわち、超音波画像の取込元の準ビューを識別するビュー列６１１と、ビュー列に記憶されたビュー中にそのオブジェクトが出現し得るオブジェクトタイプを識別するオブジェクト名列６１２と、ビュー及びオブジェクト名列によって識別されたビューとオブジェクトタイプとの組合せについて、識別されたオブジェクトタイプのオブジェクトの底部から、識別されたビューから取り込まれた超音波画像の底部までの最適距離を指定する、平均最適マージン列６１３である。いくつかの実施形態では、上記のように、設備は、最適な深度にあるものとしてタグ付けされたこのビューから取り込まれた訓練画像内のこのタイプのオブジェクトに関するこのマージン距離を、平均化などにより集約することによって、これらの値を決定する。

【0040】

図６は、その内容及び構成が人間の読み手によってより理解しやすくなるように設計された表を示しているが、当業者は、この情報を記憶するために設備によって使用される実際のデータ構造が、例えばそれらが異なる方法で構成されてもよく、図示したよりも多いか又は少ない情報を含んでもよく、圧縮、暗号化、及び／又はインデックス付けされてもよく、図示したよりはるかに多くの行を含んでもよい、という点で、図示の表とは異なる場合があることが理解されよう。

【0041】

図７は、超音波画像の深度をより最適に調整するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。動作７０１において、設備は、取り込まれた超音波画像を受信する。動作７０１の後、設備は、動作７０２及び動作７０３の両方を実行する。動作７０２において、設備は、動作７０１において受信された画像に直接モデルを適用して、超音波画像の定性的深度評価を取得する。動作７０２については、図８に関連して以下でより詳細に説明する。動作７０３において、設備は、動作７０１において受信された画像に間接モデルを適用して、画像の定量的深度評価を取得する。動作７０３については、図９に関連して以下でより詳細に説明する。動作７０２及び７０３の後、設備は動作７０４に進む。動作７０４において、動作７０２で取得された定性的深度評価及び動作７０３で取得された定量的深度評価の両方により、深度が最適であると判定された場合、このプロセスは終了し、そうでない場合、設備は動作７０５に進む。動作７０５において、定性的及び定量的深度評価が、深度を変更する推奨方向について一致する場合、設備は動作７０６に進み、そうでない場合、このプロセスは終了する。動作７０６において、設備は、定量的深度評価において間接モデルによって推奨される深度変化を有する新しい画像の取込を開始する。動作７０６の後、設備は動作７０１に進み、次の取り込まれた画像を受信して処理する。

【0042】

図８は、図７に示される動作７０２などにおいて、直接モデルを超音波画像に適用するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。動作８０１において、設備は、超音波画像に直接モデルのニューラルネットワークを適用して、定性的深度評価を予測する。動作８０２において、設備は、動作８０１において予測された定性的深度評価を報告する。動作８０２の後、このプロセスは終了する。

【0043】

図９は、図７に示される動作７０３などにおいて、間接モデルを超音波画像に適用するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。動作９０１において、設備は、画像に間接モデルの第１のニューラルネットワークを適用して、画像の取込元のビューを予測する。動作９０２において、設備は、画像に間接モデルの第２のニューラルネットワークを適用して、画像内に生じるオブジェクトタイプ及びそれらの位置を予測する。動作９０３～９０７において、設備は、動作９０２において超音波画像内に生じると予測された各オブジェクトをループする。動作９０４において、設備は、オブジェクトの底部と超音波画像の底部との間の距離を計算する。動作９０５において、設備は、最適マージン表において、動作９０１において予測されたビューと動作９０２において予測されたオブジェクトタイプとの組合せに対する最適マージンを検索する。動作９０６において、設備は、動作９０５において検索された最適マージンから、動作９０４において計算された距離を減算して、推奨される定量的な深度変化を取得する。動作９０７において、追加のオブジェクトが未処理のままである場合、設備は、次のオブジェクトを処理するために動作９０３に進み、そうでない場合、設備は、動作９０８に進む。動作９０８において、設備は、動作９０６において取得された推奨される定量的な深度変化を、それらを平均することなどによって集約して、定量的深度評価を取得する。動作９０８の後、このプロセスは終了する。

【0044】

図１０～図１２は、同じ患者から取り込まれた超音波画像及び同じビュー（心臓の心尖部四腔ビュー）を示す超音波図である。これらの図はそれぞれ、深度設定が浅すぎる場合、深すぎる場合、及び最適な場合に撮影された画像を示す。これらの図において、超音波画像は、明瞭度及び再現性を最大化するために、それらの典型的な形態から白黒反転されている。

【0045】

図１０は、深度が小さすぎると設備が決定する心尖部四腔ビューから取り込まれた超音波画像を示す超音波図である。図１０００では、画像が１３．０ｃｍの深度１００１を有し、左心室１０１０の底部が、画像の底部、すなわち、図の底部に最も近く示される超音波円錐の湾曲した基部から５．０ｃｍの距離１００２にあることが分かる。いくつかの実施形態では、設備の直接モデルは、この深度が小さすぎると判定し、設備の間接モデルは、５．０ｃｍのこのマージンを、図６に示される最適マージン表の行６０５において指定される８．８８ｃｍの最適マージンと比較し、マージン、したがって、画像の深度が３．８８ｃｍ小さすぎると判定する。したがって、設備は、３．８８ｃｍ大きい深度など、より大きい深度で追加の画像を取り込む。

【0046】

図１１は、深度が大きすぎると設備が決定する心尖部四腔ビューから取り込まれた超音波画像を示す超音波図である。図１１００では、画像が２２．０ｃｍの深度１１０１を有し、左心室１１１０の底部が画像の底部から１２．９ｃｍの距離１１０２にあることが分かる。いくつかの実施形態では、設備の直接モデルは、この深度が大きすぎると判定し、設備の間接モデルは、１２．９ｃｍのこのマージンを、図６に示される最適マージン表の行６０５において指定される８．８８ｃｍの最適マージンと比較し、マージン、したがって、画像の深度が４．０１ｃｍ大きすぎると判定する。したがって、この機能は、４．０１ｃｍ小さい深度など、より小さい深度で追加の画像を取り込む。

【0047】

図１２は、深度が最適の許容範囲内にあると設備が決定する心尖部四腔ビューから取り込まれた超音波画像を示す超音波図である。図１２００では、画像が１８．０ｃｍの深度１２０１を有し、左心室１２１０の底部が画像の底部から９．０ｃｍの距離１２０２にあることが分かる。いくつかの実施形態では、設備の直接モデルは、この深度が最適であると判定し、設備の間接モデルは、９．０ｃｍのこのマージンを、図６に示される最適マージン表の行６０５において指定される８．８８ｃｍの最適マージンと比較し、画像のマージンが、０．１２ｃｍ差で最適の許容範囲内にあると判定する。したがって、設備は、いかなる追加画像も取り込まない。

【0048】

上に記載した様々な実施形態を組み合わせ、更なる実施形態を提供することができる。米国特許、本明細書で言及され、及び／又は出願データシートに列挙された米国特許出願公開、米国特許明細書、外国の特許、外国の特許明細書及び非特許刊行物は全て、それらの全体が参考として本明細書に援用される。実施形態の態様を改変し、必要な場合には、様々な特許、明細書及び刊行物の概念を使用して、更なる実施形態を提供することができる。

【0049】

上記の「発明を実施する形態」を考慮して、これらの変更及び他の変更を実施形態に行うことができる。概して、以下の「特許請求の範囲」において、使用される用語は、「特許請求の範囲」を明細書及び「特許請求の範囲」に開示される具体的な実施形態に限定するものと解釈すべきではなく、このような「特許請求の範囲」によって権利が与えられる均等物の全範囲に沿った全ての可能な実施形態を含むと解釈すべきである。したがって、「特許請求の範囲」は、本明細書の開示によって制限されるものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】