特開 2022-168851 ３Ｄモデル構築のための自動フレーム選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022168851

(43)【公開日】2022-11-08

(54)【発明の名称】３Ｄモデル構築のための自動フレーム選択

(51)【国際特許分類】

   A61B 8/12 20060101AFI20221031BHJP

【ＦＩ】

A61B8/12

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022071395

(22)【出願日】2022-04-25

(31)【優先権主張番号】17/239,817

(32)【優先日】2021-04-26

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】511099630

【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド

【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】ロイ・ウルマン

(72)【発明者】

【氏名】リロン・シュムエル・ミズラヒ

(72)【発明者】

【氏名】ヤリブ・アブラハム・アモス

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601DD15

4C601EE22

4C601FE01

4C601FE04

4C601FF08

4C601JB34

4C601JB53

4C601JC06

(57)【要約】

【課題】医用撮像を行うこと。
【解決手段】方法は、プロセッサによって、対象の心臓の一部を示す超音波フレームのセットを取得することと、フレームのサブセットを、サブセットが対象の少なくとも１つの生理学的周期の１つ以上の所定位相で取得されたことに応答して特定することと、少なくともフレームのサブセットについてそれぞれの画質スコアを計算することであって、スコアのそれぞれが、１つ以上の着目した解剖学的部分がフレームのそれぞれにおいて示される画質を定量化する、計算することと、画質スコアに基づいて、後続の使用のために、フレームのサブセットから少なくとも１つのフレームを選択することと、を含む。他の実施形態も、記載されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

システムであって、
対象の少なくとも１つの生理学的周期を追跡する少なくとも１つの信号を受信及び処理するように構成された回路と、
プロセッサであって、
前記信号の前記処理に続いて、前記回路から前記信号を受信することと、
前記対象の心臓の一部を示す超音波フレームのセットを取得することと、
前記信号に基づいて、前記フレームのサブセットを、前記サブセットが前記生理学的周期の１つ以上の所定位相で取得されたことに応答して特定することと、
少なくとも前記フレームの前記サブセットについてそれぞれの画質スコアを計算することであって、前記スコアのそれぞれが、１つ以上の着目した解剖学的部分が前記フレームのそれぞれにおいて示される画質を定量化する、ことと、
前記画質スコアに基づいて、後続の使用のために、前記フレームの前記サブセットから少なくとも１つのフレームを選択することと、
を行うように構成されている、プロセッサと、
を備える、システム。

【請求項2】

前記生理学的周期が呼吸周期を含む、請求項１に記載のシステム。

【請求項3】

前記生理学的周期が心臓周期を含む、請求項１に記載のシステム。

【請求項4】

前記プロセッサが、三次元解剖学的モデルを構築する際に使用するための前記フレームを選択するように構成されている、請求項１に記載のシステム。

【請求項5】

前記着目した解剖学的部分が、左心房体、肺静脈（ＰＶ）、左心耳、左心室（ＬＶ）心内膜、ＬＶ心外膜、後内側乳頭筋、前外側乳頭筋、左冠状動脈尖、右冠状動脈尖、無冠尖、及び冠状静脈洞から成る解剖学的部分の群から選択される解剖学的部分を含む、請求項１に記載のシステム。

【請求項6】

前記プロセッサが、ニューラルネットワークを使用して前記画質スコアを計算するように構成されている、請求項１に記載のシステム。

【請求項7】

前記セットが６０～１２０個のフレームを含む、請求項１に記載のシステム。

【請求項8】

前記プロセッサが、
所定の画質スコア閾値を超える前記画質スコアの数が、所定のフレーム数閾値未満であることを確認することと、
前記確認に応答して、警告を出力することと、
を行うように更に構成されている、請求項１に記載のシステム。

【請求項9】

方法であって、
プロセッサによって、対象の心臓の一部を示す超音波フレームのセットを取得することと、
前記フレームのサブセットを、前記サブセットが前記対象の少なくとも１つの生理学的周期の１つ以上の所定位相で取得されたことに応答して特定することと、
少なくとも前記フレームの前記サブセットについてそれぞれの画質スコアを計算することであって、前記スコアのそれぞれが、１つ以上の着目した解剖学的部分が前記フレームのそれぞれにおいて示される画質を定量化する、ことと、
前記画質スコアに基づいて、後続の使用のために、前記フレームの前記サブセットから少なくとも１つのフレームを選択することと、
を含む、方法。

【請求項10】

前記生理学的周期が呼吸周期を含む、請求項９に記載の方法。

【請求項11】

前記生理学的周期が心臓周期を含む、請求項９に記載の方法。

【請求項12】

前記フレームを選択することが、三次元解剖学的モデルを構築する際に使用するための前記フレームを選択することを含む、請求項９に記載の方法。

【請求項13】

前記着目した解剖学的部分が、左心房体、肺静脈（ＰＶ）、左心耳、左心室（ＬＶ）心内膜、ＬＶ心外膜、後内側乳頭筋、前外側乳頭筋、左冠状動脈尖、右冠状動脈尖、無冠尖、及び冠状静脈洞から成る解剖学的部分の群から選択される解剖学的部分を含む、請求項９に記載の方法。

【請求項14】

前記画質スコアを計算することが、ニューラルネットワークを使用して前記画質スコアを計算することを含む、請求項９に記載の方法。

【請求項15】

前記セットが６０～１２０個のフレームを含む、請求項９に記載の方法。

【請求項16】

所定の画質スコア閾値を超える前記画質スコアの数が、所定のフレーム数閾値未満であることを確認することと、
前記確認に応答して、警告を出力することと、を更に含む、請求項９に記載の方法。

【請求項17】

プログラム命令が格納される有形の非一時的なコンピュータ可読媒体を含むコンピュータソフトウェア製品であって、前記命令がプロセッサによって読み取られると、前記プロセッサに、
対象の心臓の一部を示す超音波フレームのセットを取得することと、
前記フレームのサブセットを、前記サブセットが前記対象の少なくとも１つの生理学的周期の１つ以上の所定位相で取得されたことに応答して特定することと、
少なくとも前記フレームの前記サブセットについてそれぞれの画質スコアを計算することであって、前記スコアのそれぞれが、１つ以上の着目した解剖学的部分が前記フレームのそれぞれにおいて示される画質を定量化することと、
前記画質スコアに基づいて、後続の使用のために、前記フレームの前記サブセットから少なくとも１つのフレームを選択することと、
を行わせる、コンピュータソフトウェア製品。

【請求項18】

前記生理学的周期が呼吸周期を含む、請求項１７に記載のコンピュータソフトウェア製品。

【請求項19】

前記生理学的周期が心臓周期を含む、請求項１７に記載のコンピュータソフトウェア製品。

【請求項20】

前記命令が、前記プロセッサに、ニューラルネットワークを使用して前記画質スコアを計算させる、請求項１７に記載のコンピュータソフトウェア製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用撮像の分野に関する。

【背景技術】

【0002】

米国特許第８，８９１，８８１号は、最適な画像フレームを識別するための方法を記載している。本方法は、着目した対象の着目した解剖学的領域の選択を受信することを含む。更に、本方法は、選択された着目した解剖学的領域に対応する複数の画像フレームを取得することを含む。本方法はまた、複数の取得された画像フレームに対応するリアルタイムインジケータを判定することを含み、リアルタイムインジケータは、画像フレームの品質を表す。更に、本方法は、リアルタイムインジケータを伝送して、最適な画像フレームを選択するのを支援することを含む。

【0003】

米国特許出願公開第１０，１４３，３９８号は、標的の事前取得画像、並びに位置センサ及び超音波撮像センサを有するカテーテルを使用して、患者の身体内の標的を撮像するシステム及び方法を説明している。カテーテルは患者の体内に留置され、患者の体内のカテーテルの部分の位置情報は位置センサを使用して決定される。カテーテルは、超音波撮像センサを使用して標的の超音波画像を生成するために使用される。画像処理プロセッサは、標的の超音波画像の任意の画素に対する位置情報を決定し、事前取得画像を超音波画像と位置合わせするために使用され、ディスプレイは、位置合わせされた事前取得画像及び超音波画像を表示するために使用される。

【0004】

米国特許出願公開第２０１７／０３６０４１１号は、オペレータが超音波デバイスを使用するのを誘導するための技術を記載している。例えば、技術のうちのいくつかを使用して、超音波デバイスを用いて撮像する対象の特定の解剖学的ビューを識別し、超音波デバイスのオペレータが特定の解剖学的ビューを含む対象の超音波画像を捕捉するのを誘導し、及び／又は捕捉された超音波画像を分析して対象に関する医療情報を識別することができる。

【0005】

米国特許出願公開第２０１１／０１５２６８４号は、生体の体内の空洞の複数の二次元（２Ｄ）超音波画像を取得することを含む三次元（３Ｄ）マッピングの方法を記載しており、２Ｄ画像は、３Ｄ参照フレーム内の異なるそれぞれの位置を有する。２Ｄ超音波画像のそれぞれにおいて、空洞の内部の位置に対応する画素が特定される。複数の２Ｄ画像から特定された画素は、空洞の内部に対応する容積を画定するように３Ｄ参照フレームに登録される。容積の外面が再構成され、空洞の内面を表す。

【0006】

Ｚａｙｅｄらの「Ａｕｔｏｍａｔｉｃ ｆｒａｍｅ ｓｅｌｅｃｔｉｏｎ ｕｓｉｎｇ ＣＮＮ ｉｎ ｕｌｔｒａｓｏｕｎｄ ｅｌａｓｔｏｇｒａｐｈｙ」、ａｒＸｉｖプレプリントａｒＸｉｖ：２００２．０６７３４（２０２０）は、畳み込みニューラルネットワーク（ＣＮＮ）を使用して、エラストグラフィ用の一対の高周波（ＲＦ）フレームの適合性を判定するか、又は高品質のひずみ画像を生成するＲＦフレームの最良対を自動的に選択する方法を紹介している。

【発明の概要】

【課題を解決するための手段】

【0007】

本発明のいくつかの実施形態によれば、対象の少なくとも１つの生理学的周期を追跡する少なくとも１つの信号を受信及び処理するように構成された回路と、プロセッサと、を含むシステムが提供される。プロセッサは、信号の処理後に回路から信号を受信するように構成されている。プロセッサは、対象の心臓の一部を示す超音波フレームのセットを取得するように更に構成されている。プロセッサは、信号に基づいて、フレームのサブセットを、サブセットが生理学的周期の１つ以上の所定位相で取得されたことに応答して特定するように更に構成されている。プロセッサは更に、少なくともフレームのサブセットについてそれぞれの画質スコアを計算することであって、スコアのそれぞれが、１つ以上の着目した解剖学的部分がフレームのそれぞれにおいて示される画質を定量化する、計算することを行うように構成されている。プロセッサは、後続の使用のために、画質スコアに基づいて、フレームのサブセットから少なくとも１つのフレームを選択するように更に構成されている。

【0008】

いくつかの実施形態では、生理学的周期は呼吸周期を含む。

【0009】

いくつかの実施形態では、生理学的周期は心臓周期を含む。

【0010】

いくつかの実施形態では、プロセッサは、三次元解剖学的モデルを構築する際に使用するためのフレームを選択するように構成されている。

【0011】

いくつかの実施形態では、着目した解剖学的部分は、左心房体、肺静脈（ＰＶ）、左心耳、左心室（ＬＶ）心内膜、ＬＶ心外膜、後内側乳頭筋、前外側乳頭筋、左冠状動脈尖、右冠状動脈尖、無冠尖、及び冠状静脈洞から成る解剖学的部分の群から選択される解剖学的部分を含む。

【0012】

いくつかの実施形態では、プロセッサは、ニューラルネットワークを使用して画質スコアを計算するように構成されている。

【0013】

いくつかの実施形態では、セットは６０～１２０個のフレームを含む。

【0014】

一部の実施形態では、プロセッサは、
所定の画質スコア閾値を超える画質スコアの数が、所定のフレーム数閾値未満であることを確認することと、
確認に応答して、警告を出力することと、を行うように更に構成されている。

【0015】

本発明のいくつかの実施形態によれば、プロセッサによって、対象の心臓の一部を示す超音波フレームのセットを取得することを含む方法が更に提供される。本方法は、フレームのサブセットを、サブセットが対象の少なくとも１つの生理学的周期の１つ以上の所定位相で取得されたことに応答して特定することを更に含む。本方法は、少なくともフレームのサブセットについてそれぞれの画質スコアを計算することであって、スコアのそれぞれが、１つ以上の着目した解剖学的部分がフレームのそれぞれにおいて示される画質を定量化する、計算することを更に含む。本方法は、画質スコアに基づいて、後続の使用のために、フレームのサブセットから少なくとも１つのフレームを選択することを更に含む。

【0016】

本発明の一部の実施形態によれば、プログラム命令が格納されている有形の非一時的なコンピュータ可読媒体を含むコンピュータソフトウェア製品が更に提供される。命令は、プロセッサによって読み取られると、プロセッサに、対象の心臓の一部を示す超音波フレームのセットを取得させる。命令は更に、プロセッサに、フレームのサブセットを、サブセットが対象の少なくとも１つの生理学的周期の１つ以上の所定位相で取得されたことに応答して特定させる。命令は更に、プロセッサに、少なくともフレームのサブセットについてそれぞれの画質スコアを計算することであって、スコアのそれぞれが、１つ以上の着目した解剖学的部分がフレームのそれぞれにおいて示される画質を定量化する、計算することを行わせる。命令は更に、プロセッサに、後続の使用のために、画質スコアに基づいて、フレームのサブセットから少なくとも１つのフレームを選択させる。

【0017】

本発明は、以下の「発明を実施するための形態」を図面と併せて考慮することで、より完全に理解される。

【図面の簡単な説明】

【0018】

【図1】本発明のいくつかの実施形態による、超音波撮像及びフレーム選択システムの概略図である。

【図2】本発明のいくつかの実施形態による、マッピングプロセッサの例示的なモジュール図である。

【図3】本発明のいくつかの実施形態による、１つ以上の着目した解剖学的部分を示す超音波フレームを選択するためのアルゴリズムのフローチャートである。

【図4】本発明のいくつかの実施形態による、スコアリングされた超音波フレームの概略図である。

【発明を実施するための形態】

【0019】

概論
いくつかの用途では、超音波フレームから導出された情報が、解剖学的モデルに組み込まれる。しかしながら、超音波フレームは、重要な解剖学的特徴が示される画質に関して互いに大きく変動する場合があり、十分な画質を有するフレームを手動で選択するには時間がかかる。

【0020】

この課題に対処するために、本発明の実施形態は、典型的には訓練されたニューラルネットワークを使用して、画質に関して超音波フレームを自動的にスコアリングするように構成されたプロセッサを提供する。次いで、比較的高いスコアを有するフレームが、解剖学的モデルを建築する際の後続の使用のために選択され、比較的低いスコアを有するフレームは、廃棄される。典型的には、プロセッサは更に、特定の心臓位相及び／又は呼吸位相中に取得されたフレームのみが選択されるように、フレームが取得された対象の心臓周期及び／又は呼吸周期毎にフレームをフィルタリングする。

【0021】

システムの説明
最初に、本発明のいくつかの実施形態による、超音波撮像及びフレーム選択システム２０の概略図である図１を参照する。

【0022】

システム２０は、体内撮像プローブ２８を備える。図１に示すように、医師２２は、プローブの遠位端が対象２６の心臓２４内に位置付けられるまで、対象２６の血管系を通してプローブ２８をナビゲートし得る。続いて、医師２２は、プローブを使用して、対象の心臓内組織を撮像する。

【0023】

より具体的には、プローブ２８の遠位端は、１つ以上のトランスデューサ５２を備える超音波撮像装置５０を備える。トランスデューサ５２は、対象の心臓内組織で超音波を放出し、これらの波の反射を受信し、反射に応答して信号を出力するように構成されている。信号は、プローブ２８を通って、例えば、第１のコンソール３５内に配置され得る超音波プロセッサ３１まで延びるワイヤ５６によって搬送される。当該技術分野で知られている標準的な技術を使用して、信号に基づいて、超音波プロセッサ３１は、心臓２４の内部を示す超音波フレームを構築する。このようにして、システム２０は、例えば、２０～４０フレーム／秒を取得し得る。

【0024】

いくつかの実施形態では、各超音波フレームは二次元である。（代替的に、２Ｄフレームは、「画像」と称されてもよい）。他の実施形態では、各超音波フレームは三次元である。（代替的に、３Ｄフレームは、「容積」と称されてもよい）。

【0025】

システム２０は、典型的にはコンソール３４内に配置されるマッピングサブシステム２７を更に含む。マッピングサブシステム２７は、マッピング回路２９、マッピングプロセッサ３８、及びランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリ及び／又は不揮発性メモリを含むメモリ３２を備える。メモリ３２は、典型的にはニューラルネットワークを備えるフレームスコアリングモデル４４を格納するように構成されている。

【0026】

マッピングプロセッサ３８は、任意の適切な有線又は無線インターフェースを介して、超音波プロセッサ３１から取得された超音波フレームのストリームを受信するように構成されている。ストリームが受信されると、マッピングプロセッサは、本明細書では「クリップ」と呼ばれる連続フレームのセットにフレームを分離する。各クリップは、６０～１２０個のフレームなどの任意の好適な数のフレームを含み得る。

【0027】

プローブ２８の遠位端は、追跡センサ５４を更に備え、追跡センサは、身体内のセンサの位置及び配向を示す追跡信号を出力する。追跡信号は、ワイヤ５６によって、アナログ－デジタル（Ａ／Ｄ）コンバータ、及び任意選択的にノイズフィルタ及び／又は他の信号処理回路を含むマッピング回路２９まで搬送される。追跡信号をデジタル化した、及び任意選択的にそれ以外の処理を施した後、マッピング回路２９は、追跡信号をマッピングプロセッサ３８に送る。追跡信号に基づいて、マッピングプロセッサは、各フレームに表される２Ｄ又は３Ｄ解剖学的スライスの位置及び配向を確認する。

【0028】

いくつかの実施形態では、追跡センサ５４は電磁センサを含む。コンソール３４内のドライバ回路３６は、磁場発生器３０を駆動して磁場を生成し、追跡センサ５４において前述の追跡信号を誘導する。

【0029】

他の実施形態では、追跡センサは、インピーダンスベース又は超音波センサを含む。

【0030】

典型的には、システム２０は、対象の身体に結合された複数の心電図（ＥＣＧ）電極３３を更に備える。（例示を容易にするために、１つの表面電極３３のみを図１に示す）。対象の心臓周期を追跡する電極３３からの信号は、マッピング回路２９によって受信される。ＥＣＧ信号をデジタル化した、及び任意選択的にそれ以外の処理を施した後、マッピング回路２９は、ＥＣＧ信号をマッピングプロセッサ３８に送る。ＥＣＧ信号に基づいて、マッピングプロセッサは、各フレームが取得される対象の心臓周期の位相を確認する。

【0031】

典型的には、マッピングプロセッサは、各フレームが取得される対象の呼吸周期の位相を更に確認する。

【0032】

例えば、いくつかの実施形態では、システム２０は、対象の身体に結合された複数の電極パッチ３７を更に備える。（例示を容易にするために、１つの電極パッチ３７のみを図示する）。電流が電極パッチ間に送られ、電極パッチにおいて結果として生じる信号は、マッピング回路２９によって受信される。（対象が呼吸する際、対象の身体のインピーダンスが変化する結果、電極パッチ３７における信号が呼吸周期にわたって変動する。したがって、パッチ３７からの信号は、対象の呼吸周期を追跡する）。これらの信号をデジタル化、及び任意選択的にそれ以外の処理を施した後、マッピング回路２９は、これらの信号をマッピングプロセッサ３８に送る。これらの信号（及び任意選択的に、プローブの位置）に基づいて、マッピングプロセッサは、各フレームが取得された呼吸位相を確認する。

【0033】

代替的又は追加的に、マッピングプロセッサは、対象の胸部上の位置センサから受信された信号に基づいて呼吸位相を確認し得る。

【0034】

典型的には、システム２０は、図２～３を参照して以下に記載される警告などのマッピングプロセッサからの任意の出力と共に、任意の取得された超音波フレームを表示するように構成されたディスプレイ４０を更に備える。いくつかの実施形態では、ディスプレイ４０は更に、例えば、プローブの遠位端を表すアイコンを心臓の画像（又はシミュレートされた画像）上に重ね合わせることによって、プローブの遠位端の位置及び配向を示す。

【0035】

典型的には、システム２０は、１つ以上の入力デバイス４２を更に備え、この入力デバイスを用いて、医師２２はシステム２０に任意の好適な入力を提供し得る。入力は、任意の好適な有線又は無線インターフェースを介して、第１のコンソールと第２のコンソールとの間で転送され得る。

【0036】

他の実施形態では、プローブ２８は、上述のように超音波フレームを取得するように、対象２６の胸部に対して配置され得る外部超音波撮像デバイスを含む。

【0037】

概して、マッピングプロセッサ３８は、単一のプロセッサとして、又は協働的にネットワーク化若しくはクラスタ化されたプロセッサのセットとして具現化され得る。マッピングプロセッサ３８のいくつかの機能は、例えば、１つ以上の固定機能若しくは汎用集積回路、特定用途向け集積回路（ＡＳＩＣ）、及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用して、ハードウェアにのみ実装されてもよい。あるいは、この機能は、少なくとも部分的にソフトウェアで実装されてもよい。例えば、マッピングプロセッサ３８は、例えば、中央処理装置（ＣＰＵ）及び／又はグラフィック処理ユニット（ＧＰＵ）を備える、プログラムされたプロセッサとして具現化され得る。ソフトウェアプログラムを含むプログラムコード、及び／又はデータは、ＣＰＵ及び／又はＧＰＵによる実行並びに処理のためにＲＡＭにアップロードしてもよい。プログラムコード及び／又はデータは、例えば、ネットワークを介して、電子形態でマッピングプロセッサにダウンロード可能である。代替的に又は追加的に、プログラムコード及び／又はデータは、磁気記憶装置、光学的記憶装置、又は電子的記憶装置などの非一時的有形媒体上に提供及び／又は記憶され得る。このようなプログラムコード及び／又はデータは、マッピングプロセッサに提供されると、本明細書に記載されているタスクを行うように構成された機械又は専用コンピュータを作り出す。

【0038】

いくつかの実施形態では、マッピングプロセッサの機能は、いくつかのモジュールにわたって分割され、それらのそれぞれは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェア要素との組み合わせで実装され得る。これに関して、本発明のいくつかの実施形態による、マッピングプロセッサ３８の例示的なモジュール図である図２を更に参照する。

【0039】

いくつかの実施形態では、マッピングプロセッサは、上述したように、超音波プロセッサ３１から超音波フレームのストリームを受信し、フレームをクリップに分離するように構成された超音波フレーム（ＵＳフレーム）受信手段７６を実行する。

【0040】

マッピングプロセッサは、回路２９から処理されたＥＣＧ信号を受信するように構成されたＥＣＧ信号受信手段７８を更に実行する。マッピングプロセッサは、処理されたパッチ信号を受信するように構成されたパッチ信号受信手段８０を更に実行し、パッチ信号は、回路２９から対象の呼吸周期を追跡する。マッピングプロセッサは、処理された追跡信号を受信するように構成された追跡信号受信手段８２を更に実行し、追跡信号は、回路２９からセンサ５４の位置及び配向を追跡する。

【0041】

４つの前述のモジュールのそれぞれは、受信データをフレーム／メタデータ関連付け手段８４に送る。信号とフレームが取得されたそれぞれの時間とを相関させることによって、フレーム／メタデータ関連付け手段８４は、各フレームのメタデータを確認し、メタデータをフレームと関連付ける。メタデータは、典型的には、フレームに表されるスライスの位置及び配向と共に、フレームが取得された心臓位相及び呼吸位相を含む。

【0042】

超音波フレームの各クリップは、それと関連付けられたメタデータと共に、クリップ内のフレームが取得されたそれぞれの心臓位相及び／又は呼吸位相に基づいてクリップをフィルタリングするフレームフィルタリング手段８６に送られる。フィルタを通過するこれらのフレームは、画質についてフレームをスコアリングするフレームスコアリング手段８８に送られる。スコアに基づいて、フレーム選択手段９０は、後続の使用のためにフレームのいくつかを選択し得る。次いで、選択されたフレームは、フレーム記憶手段９２によってメモリ３２に記憶され得る。代替的又は追加的に、不十分な数のフレームが選択された場合、警告出力手段９４は警告を出力し得る。フレームフィルタリング手段８６、フレームスコアリング手段８８、フレーム選択手段９０、及び警告出力手段９４の機能に関する更なる詳細を、図３を参照して以下に述べる。

【0043】

図２のモジュール図は、単なる例として提供され、マッピングプロセッサの機能は、任意の好適なモジュールセットにわたって分割され得ることを強調しておく。

【0044】

フレームのフィルタリング、スコアリング、及び選択
次に、本発明のいくつかの実施形態による、１つ以上の着目した解剖学的部分を示す超音波フレームを選択するためのアルゴリズム５８のフローチャートである図３を参照する。アルゴリズム５８、又はアルゴリズム５８の機能と同様の機能を実行する任意の適切な代替アルゴリズムが、マッピングプロセッサ３８（図１）によって実行される。

【0045】

アルゴリズム５８は、クリップ取得工程６０から開始され、この工程で、マッピングプロセッサは、関連付けられたメタデータと共に、対象２６（図１）から取得された超音波フレームのクリップを取得する。例えば、図２を参照して上述したように、フレームフィルタリング手段８６は、フレーム／メタデータ関連付け手段８４からクリップ及びメタデータを受信し得る。代替的に、マッピングプロセッサは、ハードドライブ又はフラッシュドライブなどのローカル又はリモートストレージデバイスからクリップ及びメタデータを読み出してもよい。

【0046】

図２を参照して上述したように、メタデータは、典型的には、クリップに属するフレームが取得されたそれぞれの心臓位相及び呼吸位相を含む。代替的に、メタデータは、心臓位相のみ又は呼吸位相のみを含んでもよい。いずれの場合でも、対象の生理学的周期（複数可）に関するメタデータの部分に基づいて、マッピングプロセッサは、サブセットが生理学的周期（複数可）の１つ以上の所定位相で取得されたことに応答してフレームのサブセットを識別する。

【0047】

例えば、アルゴリズム５８によると、クリップ及びメタデータの取得後、マッピングプロセッサは、マッピングプロセッサが心臓位相によってクリップをフィルタリングする第１のフィルタリング工程６２を実行し、続いて、マッピングプロセッサが呼吸位相によってクリップをフィルタリングする第２のフィルタリング工程６４を実行する。代替的に、第２のフィルタリング工程６４は、第１のフィルタリング工程６２の前に実行されてもよい。図２を参照して上述したように、これらのフィルタリング工程は、フレームフィルタリング手段８６によって実行され得る。

【0048】

より具体的には、第１のフィルタリング工程６２では、マッピングプロセッサは、心臓周期の１つ以上の所定位相で取得されたそれらのフレームを保持する一方、異なる位相で取得されたフレームを廃棄する。所定位相は、Ｔ波の終わりにまたがる間隔など、対象のＥＣＧ信号の任意の好適な部分に対応し得る。典型的には、第１のフィルタリング工程６２は、各心臓周期から１～５個のフレームを保持し、フレームの数は、所定位相の長さとフレームが取得された速度の関数として変化する。したがって、例えば、クリップが約３秒にわたり、かつ３～４回の心臓周期に及んで取得された９０個のフレームを含むと仮定すると、第１のフィルタリング工程６２は、５～２０個のフレームを、残りのフレームをフィルタリングしながら保持し得る。

【0049】

同様に、第２のフィルタリング工程６４では、マッピングプロセッサは、呼気終末位相などの呼吸周期の１つ以上の所定位相で取得されたフレームを保持する一方で、異なる位相で取得されたフレームを廃棄する。典型的には、第２のフィルタリング工程６４は、各呼吸周期からのフレームの約５０％を保持する。したがって、例えば、第１のフィルタリング工程が５～２０個のフレームを保持し、第２のフィルタリング工程が第１のフィルタリング工程に続いて実行されると仮定すると、第２のフィルタリング工程は、２～１０個のフレームを保持し、残りを廃棄し得る。

【0050】

クリップのフィルタリングに続いて、スコアリング工程６６で、マッピングプロセッサは、フレームのそれぞれの画質スコアを計算するように、フレームスコアリングモデル４４を残りのフレームに適用する（図１）。スコアのそれぞれは、１つ以上の着目した解剖学的部分がフレームのそれぞれにおいて示される画質を定量化する。典型的には、以下で想定されるように、比較的高いスコアは、比較的高い画質を示すが、反対の規則も代替的に使用され得る。図２を参照して上述したように、スコアリング工程６６は、フレームスコアリング手段８８によって実行され得る。

【0051】

例えば、マッピングプロセッサは、複数のスコアが単一のフレームに対して計算され得るように、フレームに示される着目した各解剖学的部分のそれぞれのスコアを計算し得る。代替的に、マッピングプロセッサは、各フレームについて単一スコアを計算してもよい。

【0052】

続いて、画質スコアに基づいて、フレーム選択工程６８で、マッピングプロセッサは、後続の使用のための任意の高スコアフレームを選択する。図２を参照して上述したように、フレーム選択工程６８は、フレーム選択手段９０によって実行され得る。

【0053】

例えば、単一スコアがフレーム毎に計算される実施形態では、マッピングプロセッサは、スコアが所定の画質スコア閾値を超える各フレームを選択し得る。任意選択的に、選択されたフレームの数は、上限が課せられてもよく、すなわち、マッピングプロセッサは、（たとえＮ超のスコアが画質スコア閾値を超える場合でも）Ｎ個以下のフレームを選択してもよく、Ｎは任意の所定の正の整数である。スコアが解剖学的部分毎に計算される実施形態では、マッピングプロセッサは、所定の画質スコア閾値を超える少なくとも１つのスコアを有する各フレームを選択し得る。（任意選択的に、解剖学的部分は、異なるそれぞれの画質スコア閾値を有してもよい）。

【0054】

いくつかの実施形態では、着目した解剖学的部分は、左心房体、肺静脈（ＰＶ）、左心耳、左心室（ＬＶ）心内膜、ＬＶ心外膜、後内側乳頭筋、前外側乳頭筋、左冠状動脈尖、右冠状動脈尖、無冠尖、及び冠状静脈洞、のうちの１つ以上を含む。

【0055】

フレーム選択工程６８に続いて、マッピングプロセッサは、チェック工程７０で、十分なフレームが選択されたかどうかをチェックする。特に、単一スコアがフレーム毎に計算される実施形態について、マッピングプロセッサは、選択されたフレームの数とフレーム数閾値とを比較する。スコアが解剖学的部分毎に計算される実施形態では、マッピングプロセッサは、解剖学的部分のそれぞれについて、解剖学的部分のスコアが画質スコア閾値を超える選択されたフレームの数をカウントし、次いでこのカウントをフレーム数閾値と比較する。（任意選択的に、解剖学的部分は、異なるそれぞれのフレーム数閾値を有し得る）。チェック工程７０は、フレーム選択手段９０によって、又は警告出力手段９４（図２）によって実行され得る。

【0056】

十分なフレームが選択された場合、アルゴリズム５８は終了する。さもなければ、マッピングプロセッサは、警告工程７２で（典型的には、警告を表示することによって）警告を出力する。警告に応答して、医師は別のクリップを取得し得る。図２を参照して上述したように、警告工程７２は、警告出力手段９４によって実行され得る。

【0057】

代替の実施形態では、スコアリング工程６６は、第１のフィルタリング工程６２及び／又は第２のフィルタリング工程６４の前に実行される。例えば、クリップ全体が、クリップの任意のフィルタリングの前にスコアリングされ得る。

【0058】

いくつかの実施形態では、選択された各フレームは、三次元解剖学的モデルを構築するために使用される。例えば、フレームに示される着目した解剖学的部分の特徴をモデルに組み込み得る、又は解剖学的部分をモデルにタグ付けし得る。（そのような実施形態では、十分な画質を有する着目した各解剖学的部分を示す１～３個のフレームが必要とされ得る、すなわち、前述のフレーム数閾値は１～３であり得る）。代替的又は追加的に、選択されたフレームを使用して、経時的な解剖学的変化を追跡し得る。

【0059】

フレームスコアリングモデル
いくつかの実施形態では、フレームスコアリングモデルは、機械学習モデルを含む。

【0060】

例えば、いくつかの実施形態では、フレームスコアリングモデルは、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークを含む。そのようなニューラルネットワークは、コンピュータビジョンアプリケーションで使用される任意の好適な従来のニューラルネットワークから得ることができる。そのような従来のニューラルネットワークの例は、インセプション畳み込みニューラルネットワークのエディション（例えば、Ｉｎｃｅｐｔｉｏｎ－ｖ３又はＩｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２）であり、Ｓｚｅｇｅｄｙ，Ｃｈｒｉｓｔａｉｎらの「Ｇｏｉｎｇ ｄｅｅｐｅｒ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎｓ」、２０１５年のコンピュータビジョン及びパターン認識に関するＩＥＥＥ会議の議事録に記載されており、その開示を引用により本明細書に組み込む。別の例は、残差ニューラルネットワーク（例えば、ＲｅｓＮｅｔ５０）のエディションであり、Ｈｅ，Ｋａｉｍｉｎｇらの「Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」、２０１６年のコンピュータビジョン及びパターン認識に関するＩＥＥＥ会議の議事録に記載されており、その開示を引用により本明細書に組み込む。更に別の例は、視覚幾何学群ニューラルネットワーク（例えば、ＶＧＧ－１９）のエディションであり、Ｓｉｍｏｎｙａｎ、Ｋａｒｅｎ、及びＡｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎの「Ｖｅｒｙ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｌａｒｇｅ－ｓｃａｌｅ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」、ａｒＸｉｖプレプリントａｒＸｉｖ：１４０９．１５５６（２０１４）に記載されており、その開示を引用により本明細書に組み込む。

【0061】

例えば、従来のニューラルネットワークの最後の数個（例えば、最後の２つ）の層は、画質スコアを出力するように構成された単一の出力ニューロンを含む２つの高密度層で置き換えられ得る。例えば、Ｉｎｃｅｐｔｉｏｎ－ｖ３及びＩｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２に類似する変形は、例えば、Ｋａｕｒ、Ｔａｒａｎｊｉｔ、及びＴａｐａｎ Ｋｕｍａｒ Ｇａｎｄｈｉの「Ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｆｏｒ ａｕｔｏｍａｔｅｄ ｂｒａｉｎ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ３１．３（２０２０）：１－１６に記載されており、その開示を引用により本明細書に組み込む。例えば、Ｉｎｃｅｐｔｉｏｎ－ｖ３及びＲｅｓＮｅｔ５０に類似するもう１つの変形は、例えば、Ｖｅｓａｌ，Ｓｕｌａｉｍａｎらの「Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｂｒｅａｓｔ ｃａｎｃｅｒ ｈｉｓｔｏｌｏｇｙ ｉｍａｇｅｓ ｕｓｉｎｇ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ」、画像解析及び認識国際会議、Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ、２０１８年に記載されており、その開示を引用により本明細書に組み込む。

【0062】

ニューラルネットワークは、多数の超音波フレームを含む学習セットで訓練される。いくつかの実施形態では、学習セット内の各フレーム（又はフレームに示される着目した各解剖学的部分）は、「高画質」又は「低画質」としてタグ付けされ、画質スコアは、スコアリングされたフレーム（又は解剖学的部分）が「高画質」クラスに属する確率である。

【0063】

いくつかのそのような実施形態では、フレームスコアリングモデルは、どの着目した解剖学的部分が所与のフレームに示されるかを確認するように訓練された補助ニューラルネットワークを更に含む。補助ニューラルネットワークからの出力は、フレームスコアリングニューラルネットワークへの入力として送られる。代替的に、着目した解剖学的部分は、スコアリングプロセス中にフレームスコアリングニューラルネットワークによって暗黙的に特定されてもよい。

【0064】

典型的には、各フレームについて、前述のメタデータに含まれるスライス位置及び配向が、フレームスコアリングニューラルネットワーク又は補助ニューラルネットワークに入力される。

【0065】

他の実施形態では、マッピングプロセッサは、フレームを機械学習モデルに入力することなく、画質スコアを計算する。例えば、フレームの品質がフレームに示される血液－組織境界の鮮明度の関数であることを考えると、マッピングプロセッサは、フレーム内の画素又は３Ｄ画素間の勾配の大きさに基づいて各フレームをスコアリングし得る。代替的又は追加的に、マッピングプロセッサは、フレームが関連する着目した解剖学的部分を表す１つ以上の所定パターンに一致する程度に基づいて、各フレームをスコアリングし得る。

【0066】

次に、本発明のいくつかの実施形態による、スコア化された超音波フレーム７４の概略図である図４を参照する。

【0067】

フレーム７４は、右心房（ＲＡ）、冠状静脈洞（ＣＳ）、無冠尖（ＮＣＣ）、左冠状動脈尖（ＬＣＣ）、及び左心室（ＬＶ）を示す。本実施例では、スコアは、０～１の尺度であり、１は最高画質に対応する。血液－組織境界が比較的鮮明なＲＡ及びＣＳは、比較的高いスコアを有する一方、他の解剖学的部分は比較的低いスコアを有する。

【0068】

本発明が、本明細書に具体的に示され、上述されたものに限定されない点が、当業者には理解されよう。むしろ、本発明の実施形態の範囲は、本明細書に上述されている様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに、上記の説明を一読すれば当業者には想起されると思われる、先行技術には存在しない特徴の変更例及び改変例を含む。参照により本特許出願に組み込まれる文献は、これらの組み込まれた文献において、いずれかの用語が本明細書において明示的又は暗示的になされた定義と矛盾する様式で定義される程度まで、本明細書における定義のみを考慮するものとする点を除き、本出願の不可欠な部分と見なすものとする。

【0069】

〔実施の態様〕
（１） システムであって、
対象の少なくとも１つの生理学的周期を追跡する少なくとも１つの信号を受信及び処理するように構成された回路と、
プロセッサであって、
前記信号の前記処理に続いて、前記回路から前記信号を受信することと、
前記対象の心臓の一部を示す超音波フレームのセットを取得することと、
前記信号に基づいて、前記フレームのサブセットを、前記サブセットが前記生理学的周期の１つ以上の所定位相で取得されたことに応答して特定することと、
少なくとも前記フレームの前記サブセットについてそれぞれの画質スコアを計算することであって、前記スコアのそれぞれが、１つ以上の着目した解剖学的部分が前記フレームのそれぞれにおいて示される画質を定量化する、ことと、
前記画質スコアに基づいて、後続の使用のために、前記フレームの前記サブセットから少なくとも１つのフレームを選択することと、
を行うように構成されている、プロセッサと、
を備える、システム。
（２） 前記生理学的周期が呼吸周期を含む、実施態様１に記載のシステム。
（３） 前記生理学的周期が心臓周期を含む、実施態様１に記載のシステム。
（４） 前記プロセッサが、三次元解剖学的モデルを構築する際に使用するための前記フレームを選択するように構成されている、実施態様１に記載のシステム。
（５） 前記着目した解剖学的部分が、左心房体、肺静脈（ＰＶ）、左心耳、左心室（ＬＶ）心内膜、ＬＶ心外膜、後内側乳頭筋、前外側乳頭筋、左冠状動脈尖、右冠状動脈尖、無冠尖、及び冠状静脈洞から成る解剖学的部分の群から選択される解剖学的部分を含む、実施態様１に記載のシステム。

【0070】

（６） 前記プロセッサが、ニューラルネットワークを使用して前記画質スコアを計算するように構成されている、実施態様１に記載のシステム。
（７） 前記セットが６０～１２０個のフレームを含む、実施態様１に記載のシステム。
（８） 前記プロセッサが、
所定の画質スコア閾値を超える前記画質スコアの数が、所定のフレーム数閾値未満であることを確認することと、
前記確認に応答して、警告を出力することと、
を行うように更に構成されている、実施態様１に記載のシステム。
（９） 方法であって、
プロセッサによって、対象の心臓の一部を示す超音波フレームのセットを取得することと、
前記フレームのサブセットを、前記サブセットが前記対象の少なくとも１つの生理学的周期の１つ以上の所定位相で取得されたことに応答して特定することと、
少なくとも前記フレームの前記サブセットについてそれぞれの画質スコアを計算することであって、前記スコアのそれぞれが、１つ以上の着目した解剖学的部分が前記フレームのそれぞれにおいて示される画質を定量化する、ことと、
前記画質スコアに基づいて、後続の使用のために、前記フレームの前記サブセットから少なくとも１つのフレームを選択することと、
を含む、方法。
（１０） 前記生理学的周期が呼吸周期を含む、実施態様９に記載の方法。

【0071】

（１１） 前記生理学的周期が心臓周期を含む、実施態様９に記載の方法。
（１２） 前記フレームを選択することが、三次元解剖学的モデルを構築する際に使用するための前記フレームを選択することを含む、実施態様９に記載の方法。
（１３） 前記着目した解剖学的部分が、左心房体、肺静脈（ＰＶ）、左心耳、左心室（ＬＶ）心内膜、ＬＶ心外膜、後内側乳頭筋、前外側乳頭筋、左冠状動脈尖、右冠状動脈尖、無冠尖、及び冠状静脈洞から成る解剖学的部分の群から選択される解剖学的部分を含む、実施態様９に記載の方法。
（１４） 前記画質スコアを計算することが、ニューラルネットワークを使用して前記画質スコアを計算することを含む、実施態様９に記載の方法。
（１５） 前記セットが６０～１２０個のフレームを含む、実施態様９に記載の方法。

【0072】

（１６） 所定の画質スコア閾値を超える前記画質スコアの数が、所定のフレーム数閾値未満であることを確認することと、
前記確認に応答して、警告を出力することと、を更に含む、実施態様９に記載の方法。
（１７） プログラム命令が格納される有形の非一時的なコンピュータ可読媒体を含むコンピュータソフトウェア製品であって、前記命令がプロセッサによって読み取られると、前記プロセッサに、
対象の心臓の一部を示す超音波フレームのセットを取得することと、
前記フレームのサブセットを、前記サブセットが前記対象の少なくとも１つの生理学的周期の１つ以上の所定位相で取得されたことに応答して特定することと、
少なくとも前記フレームの前記サブセットについてそれぞれの画質スコアを計算することであって、前記スコアのそれぞれが、１つ以上の着目した解剖学的部分が前記フレームのそれぞれにおいて示される画質を定量化することと、
前記画質スコアに基づいて、後続の使用のために、前記フレームの前記サブセットから少なくとも１つのフレームを選択することと、
を行わせる、コンピュータソフトウェア製品。
（１８） 前記生理学的周期が呼吸周期を含む、実施態様１７に記載のコンピュータソフトウェア製品。
（１９） 前記生理学的周期が心臓周期を含む、実施態様１７に記載のコンピュータソフトウェア製品。
（２０） 前記命令が、前記プロセッサに、ニューラルネットワークを使用して前記画質スコアを計算させる、実施態様１７に記載のコンピュータソフトウェア製品。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】