(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-14
(45)【発行日】2022-12-22
(54)【発明の名称】超音波臨床特徴検出及び関連する装置、システム、及び方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20221215BHJP
【ＦＩ】
A61B8/14
【請求項の数】
18
(21)【出願番号】P 2019553196
(86)(22)【出願日】2018-03-28
(65)【公表番号】
(43)【公表日】2020-04-23
(86)【国際出願番号】 EP2018058030
(87)【国際公開番号】W WO2018178212
(87)【国際公開日】2018-10-04
【審査請求日】2021-03-26
(31)【優先権主張番号】62/477,536
(32)【優先日】2017-03-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】キム，スンス
(72)【発明者】
【氏名】ラジュ，バラスンダー イヤヴ
【審査官】冨永 昌彦
(56)【参考文献】
【文献】国際公開第２０１６／０４６１４０（ＷＯ，Ａ１）
【文献】特開２０１６－２２１２６４（ＪＰ，Ａ）
【文献】米国特許第０９５８９３７４（ＵＳ，Ｂ１）
【文献】国際公開第２０１６／１９３９７９（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１６／０２３９９５９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００ － ８／１５
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
臨床状態検出システムであって、当該システムは、超音波イメージング装置と通信し、且つある期間に亘って被検体を表す一連の超音波画像フレームを受信するように構成される通信装置と、
該通信装置と通信するプロセッサと、含み、
該プロセッサは、
第１の深層学習ネットワークを前記一連の超音波画像フレームの各超音波画像フレームに適用することにより、前記一連の超音波画像フレームにおける空間ドメイン情報を分類して、臨床特性の第１のセットの各臨床特性の確率を含む分類ベクトルを生成し、
第２の深層学習ネットワークを前記生成した分類ベクトルに適用することにより、前記期間に亘る前記一連の超音波画像フレームに対応する前記分類ベクトルにおける時間ドメイン情報を分類して、臨床特性の第２のセットの各臨床特性の確率を生成し、且つ
前記臨床特性の第２のセットの前記確率に基づいて前記被検体の臨床状態を特定する、ように構成される、
システム。
【請求項2】
前記第１の深層学習ネットワークは畳み込みニューラルネットワークである、請求項１に記載のシステム。
【請求項3】
前記プロセッサは、前記臨床特性の第２のセットの前記確率から最も高い確率を選択することによって、前記臨床状態を特定するようにさらに構成される、請求項１に記載のシステム。
【請求項4】
前記臨床特性の第１のセットは、前記臨床特性の第２のセットと同一である、請求項１に記載のシステム。
【請求項5】
前記臨床特性の第１のセットは、異なるタイプの臨床的特徴に関連付けられ、前記臨床特性の第２のセットは、前記異なるタイプの臨床的特徴のうちの少なくとも１つの特徴の異なる重症度に関連付けられる、請求項１に記載のシステム。
【請求項6】
前記臨床特性の第１のセットは、異なるタイプの臨床的特徴又は異なる重症度のうちの少なくとも一方の第１のカテゴリー分類に関連付けられ、前記臨床特性の第２のセットは、前記異なるタイプの臨床的特徴又は前記異なる重症度のうちの少なくとも一方の第２のカテゴリー分類に関連付けられる、請求項１に記載のシステム。
【請求項7】
前記被検体には、肺の少なくとも一部が含まれる、請求項１に記載のシステム。
【請求項8】
前記臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、又は胸水のうちの少なくとも１つに関連する特徴が含まれる、請求項７に記載のシステム。
【請求項9】
前記臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、又は胸水のうちの少なくとも１つの重症度に関連する特徴が含まれる、請求項７に記載のシステム。
【請求項10】
少なくとも前記第１の深層学習ネットワーク又は前記第２の深層学習ネットワークは、異なる超音波イメージング装置によって取り込まれた前記臨床状態を含む、テスト被検体を表す複数のスキャン形式の超音波画像を提供すること、
前記異なる超音波イメージング装置から独立した共通の次元又は共通のフォーマットの少なくとも一方に基づいて、前記複数のスキャン形式の超音波画像を複数のスキャン前形式の超音波画像に変換すること、及び
前記臨床状態に関して、前記複数のスキャン前形式の超音波画像の各超音波画像にスコアを割り当てること、により訓練される、請求項１に記載のシステム。
【請求項11】
前記異なる超音波イメージング装置は、線形超音波トランスデューサ装置、曲線超音波トランスデューサ装置、又はフェーズドアレイ超音波トランスデューサ装置のうちの少なくとも１つを含む、請求項１０に記載のシステム。
【請求項12】
前記プロセッサと通信し、且つ前記臨床状態の指標を表示するように構成されたディスプレイをさらに含む、請求項１に記載のシステム。
【請求項13】
臨床状態検出システムの作動方法であって、当該作動方法は、前記臨床状態検出システムの処理コンポーネントが、ある期間に亘って被検体を表す一連の超音波画像フレームを超音波イメージング装置から受信するステップと、
前記処理コンポーネントが、第１の深層学習ネットワークを前記受信した一連の超音波画像フレームの各超音波画像フレームに適用することにより、前記一連の超音波画像フレームにおける空間ドメイン情報を分類して、臨床特性の第１のセットの各臨床特性の確率を含む分類ベクトルを生成するステップと、
前記処理コンポーネントが、第２の深層学習ネットワークを前記生成した分類ベクトルに適用することにより、前記期間に亘る前記一連の超音波画像フレームに対応する前記分類ベクトルにおける時間ドメイン情報を分類して、臨床特性の第２のセットの各臨床特性の確率を生成するステップと、
前記処理コンポーネントが、前記臨床特性の第２のセットに前記確率に基づいて前記被検体の臨床状態を特定するステップと、を含む、
作動方法。
【請求項14】
前記第１の深層学習ネットワークは畳み込みニューラルネットワークである、請求項１３に記載の作動方法。
【請求項15】
前記特定するステップは、前記処理コンポーネントが、前記臨床特性の第２のセットの前記確率から最も高い確率を選択するステップ、を含む、請求項１３に記載の作動方法。
【請求項16】
前記被検体には、肺の少なくとも一部が含まれ、前記臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、又は胸水のうちの少なくとも１つに関連する特徴が含まれる、請求項１３に記載の作動方法。
【請求項17】
前記被検体には、肺の少なくとも一部が含まれ、前記臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、又は胸水のうちの少なくとも１つの重症度に関連する特徴が含まれる、請求項１３に記載の作動方法。
【請求項18】
前記臨床状態検出システムのディスプレイが、前記臨床状態の指標を表示するステップをさらに含む、請求項１３に記載の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、２０１７年３月２８日に出願された米国仮出願第６２／４７７，５３６号の優先権及び利益を主張するものであり、この文献は、その全体が参照により本明細書に組み込まれる。
本願は、２０１７年３月２８日に出願された米国仮出願第６２／４７７，５３６号の優先権及び利益を主張するものであり、この文献は、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、概して、超音波イメージングに関し、特に、様々な臨床状態及び／又は疾患の評価のために臨床的特徴を検出するための自動化されたシステム及び方法の提供に関する。
【背景技術】
【0003】
肺の超音波検査は、肺炎、気胸、及び急性呼吸窮迫症候群（ＡＲＤＳ）等の肺疾患、及びうっ血性心不全を含む臨床状態の指標を提供することができる。例えば、臨床医又は医師は、患者の超音波画像を取得することにより患者に対して超音波検査を行い、超音波画像から特定した特徴に基づいて患者が特定の臨床状態を有し得るかどうかを判定することができる。肺の超音波画像の特徴の例には、Ｂライン・アーチファクト、コンソリデーション（consolidation）、エア・ブロンコグラム（air bronchogram）、及び／又は胸水が含まれ得る。そのような特徴の存在は、特定の肺の症状又は疾患を示す可能性があるが、これらの特徴の欠如は、健康な正常肺を示し得る。経験豊富な超音波ユーザは、取得した超音波画像からこのような肺超音波画像の特徴を容易に特定することができる。しかしながら、経験の無いユーザや経験の浅いユーザは、取得した画像の解釈が困難になる場合がある。そのような臨床評価手順における標準化及び／又は定量化の欠如は、経験豊富なユーザの間でも異なる結果につながる可能性がある。そのため、超音波検査に続いて、Ｘ線等の追加検査が必要になることがよくある。
【発明の概要】
【0004】
既存の超音波イメージングは臨床評価及び診断に有用であることが証明されたが、自動化された臨床診断ツールを提供するための改良されたシステム及び技術に対する臨床的必要性が残っている。本開示の実施形態は、自動化された超音波画像ビデオ分類のための深層学習フレームワークを提供する。分類は、臨床評価を支援するために使用できる。分類には、空間的特徴解析のためのフレーム毎の分類と、それに続く時系列ベクトル解析が含まれる。例えば、ビデオには、時間をかけた一連の超音波画像フレームが含まれ得る。フレーム毎の分類は、各超音波画像フレームを臨床特性の第１のセットに関連付けられた複数のカテゴリーのうちの１つにカテゴリー分類する。時系列ベクトル解析は、例えば、フレーム毎の分類出力を解析して、臨床特性の第２のセットに基づいた分類を決定する。臨床特性の第１のセット及び臨床特性の第２のセットは、異なるタイプの疾患又は臨床状態及び／又は異なる重症度を表す特徴を含むことができる。開示される実施形態は、フレーム毎の画像分類のために畳み込みニューラルネットワーク（ＣＮＮ）を使用することができ、且つ時系列ベクトル解析のために機械学習ネットワーク又はモデルを使用することができる。フレーム毎の画像分類及び時系列ベクトル解析から得られた累積又は統合された分類及び解析結果は、特定のタイプの疾患又は特定の疾患の重症度のレベルを示すことができる。開示される実施形態について、肺の状態を特定するための肺の超音波画像特徴分類の文脈で説明しているが、開示される実施形態は、異なるタイプの疾患を特定するために異なる器官（例えば、心臓）の超音波画像に適用することができる。
【0005】
一実施形態では、臨床状態検出システムは、超音波イメージング装置と通信し、且つある期間に亘って被検体（subject body）を表す一連の超音波画像フレームを受信するように構成された通信装置と；通信装置と通信するプロセッサと；を含み、プロセッサは、第１の予測ネットワークを一連の超音波画像フレームに適用することにより、一連の超音波画像フレームを臨床特性の第１のセットに分類して、臨床特性の第１のセットを表す分類ベクトルのセットを生成し；且つ第２の予測ネットワークを分類ベクトルのセットに適用することにより、被検体の臨床状態を特定する；ように構成される。
【0006】
いくつかの実施形態では、プロセッサは、第１の予測ネットワークを一連の超音波画像フレームの各超音波画像フレームに適用することにより、一連の超音波画像フレームを分類して、分類ベクトルのセットのうちの１つの分類ベクトルを生成するようにさらに構成される。いくつかの実施形態では、第１の予測ネットワークは畳み込みニューラルネットワークであり、各分類ベクトルには、臨床特性の第１のセットに関して対応する超音波画像フレームの複数のスコアが含まれる。いくつかの実施形態では、プロセッサは、第２の予測ネットワークが、臨床特性の第２のセットに関して分類ベクトルのセットのための複数のスコアを生成すること；及び複数のスコアから最も高いスコアを選択すること；により、臨床状態を特定するようにさらに構成される。いくつかの実施形態では、臨床特性の第１のセットは、臨床特性の第２のセットと同一である。いくつかの実施形態では、臨床特性の第１のセットは、異なるタイプの臨床的特徴に関連付けられ、臨床特性の第２のセットは、異なるタイプの臨床的特徴のうちの少なくとも１つの特徴の異なる重症度に関連付けられる。いくつかの実施形態では、臨床特性の第１のセットは、異なるタイプの臨床的特徴及び異なる重症度のうちの少なくとも一方の第１のカテゴリー分類に関連付けられ、臨床特性の第２のセットは、異なるタイプの臨床的特徴及び異なる重症度のうちの少なくとも一方の第２のカテゴリー分類に関連付けられる。いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれる。いくつかの実施形態では、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム（bronchogram）、及び胸水のうちの少なくとも１つに関連する特徴が含まれる。いくつかの実施形態では、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水のうちの少なくとも１つの重症度に関連する特徴が含まれる。いくつかの実施形態では、少なくとも第１の予測ネットワーク又は第２の予測ネットワークは、異なる超音波イメージング装置によって取り込まれた臨床状態を含む、テスト被検体（test subject bodies）を表す複数のスキャン形式の超音波画像を提供すること；異なる超音波イメージング装置から独立した共通の次元及び共通のフォーマットの少なくとも一方に基づいて、複数のスキャン形式の超音波画像を複数のスキャン前形式の超音波画像に変換すること；及び臨床状態に関して、複数のスキャン前形式の超音波画像の各超音波画像にスコアを割り当てること；により訓練される。いくつかの実施形態では、異なる超音波イメージング装置は、線形超音波トランスデューサ装置、曲線超音波トランスデューサ装置、及びフェーズドアレイ超音波トランスデューサ装置のうちの少なくとも１つを含む。いくつかの実施形態では、システムは、プロセッサと通信し、且つ臨床状態の指標を表示するように構成されたディスプレイをさらに含む。
【0007】
一実施形態では、臨床状態検出のための方法は、ある期間に亘って被検体を表す一連の超音波画像フレームを超音波イメージング装置から受信するステップと；第１の予測ネットワークを一連の超音波画像フレームに適用することにより、一連の超音波画像フレームを臨床特性の第１のセットに分類して、臨床特性の第１のセットに関連する分類ベクトルのセットを生成するステップと；第２の予測ネットワークを分類ベクトルのセットに適用することにより、被検体の臨床状態を特定するステップと；を含む。
【0008】
いくつかの実施形態では、分類するステップは、第１の予測ネットワークを一連の超音波画像フレームの各超音波画像フレームに適用して、分類ベクトルのセットのうちの１つの分類ベクトルを生成するステップを含む。いくつかの実施形態では、第１の予測ネットワークは畳み込みニューラルネットワークであり、各分類ベクトルには、臨床特性の第１のセットに関して対応する超音波画像フレームの複数のスコアが含まれる。いくつかの実施形態では、特定するステップは、第２の予測ネットワークが、臨床特性の第２のセットに関して分類ベクトルのセットに対する複数のスコアを生成するステップと；複数のスコアから最も高いスコアを選択するステップと；を含む。いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれ、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水のうちの少なくとも１つに関連する特徴が含まれる。いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれ、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水のうちの少なくとも１つの重症度に関連する特徴が含まれる。いくつかの実施形態では、この方法は、ディスプレイが、臨床状態の指標を表示するステップをさらに含む。
【0009】
本開示の追加の態様、特徴、及び利点が、以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0010】
本開示の例示的な実施形態について、添付の図面を参照して説明する。
【図1】本開示の態様による超音波イメージング・システムの概略図である。
【図2】本開示の態様による超音波画像特徴検出スキームを示す概略図である。
【図3A】本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。
【図3B】本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。
【図3C】本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。
【図4A】本開示の態様による、正常肺の状態を示す超音波画像である。
【図4B】本開示の態様による、Ｂライン・アーチファクトを示す超音波画像フレームである。
【図4C】本開示の態様による、コンソリデーションを示す超音波画像フレームである。
【図4D】本開示の態様による、エア・ブロンコグラムを示す超音波画像フレームである。
【図4E】本開示の態様による、胸水を示す超音波画像フレームを示す図である。
【図5】本開示の態様による、畳み込みニューラルネットワーク（ＣＮＮ）の構成を示す概略図である。
【図6】本開示の態様による、超音波画像特徴検出のための深層学習ネットワークの構成を示す概略図である。
【図7】本開示の態様による、自動化された超音波画像特徴検出方法のフロー図である。
【発明を実施するための形態】
【0011】
本開示の原理の理解を促す目的で、図面に示された実施形態について参照を行い、特定の言語を使用してそれら実施形態を説明する。それにもかかわらず、本開示の範囲に対する限定は意図していないことが理解される。説明する装置、システム、及び方法に対するあらゆる変更及び更なる修正、並びに本開示の原理の任意の更なる適用は、本開示が関係する当業者に通常想起されるように、本開示の範囲内で完全に企図され且つ含まれる。特に、一実施形態に関して説明する特徴、構成要素、及び／又はステップは、本開示の他の実施形態に関して説明する特徴、構成要素、及び／又はステップと組み合わせることができると十分に企図される。ただし、簡潔にするために、これらの組合せの多数の繰返しについては個別に説明しない。
【0012】
図１は、本開示の態様による超音波イメージング・システム１００の概略図である。システム１００は、患者の身体の領域又はボリュームをスキャンするために使用される。システム１００は、通信インターフェイス又はリンク１２０を介してホスト１３０と通信する超音波イメージング・プローブ１１０を含む。プローブ１１０は、トランスデューサ１１２、ビームフォーマ（beamformer）１１４、処理コンポーネント１１６、及び通信インターフェイス１１８を含む。ホスト１３０は、ディスプレイ１３２、処理コンポーネント１３４、及び通信インターフェイス１３６を含む。
【0013】
トランスデューサ１１２は、解剖学的対象物１０５に向けて超音波信号を放射し、対象物１０５から反射されてトランスデューサ１１２に戻るエコー信号を受信する。超音波トランスデューサ１１２は、１つ以上の音響素子又は複数の音響素子を含む、任意の適切な数の音響素子を含むことができる。場合によっては、トランスデューサ１１２は単一の音響素子を含む。場合によっては、トランスデューサ１１２は、任意の適切な構成の任意の数の音響素子を有する音響素子のアレイを含むことができる。例えば、トランスデューサ１１２は、１個の音響素子～１０００個の音響素子（例えば２個の音響素子、４個の音響素子、３６個の音響素子、６４個の音響素子、１２８個の音響素子、５００個の音響素子、８１２個の音響素子、及び／又はこれより大きい、小さい他の値等を含む）を含むことができる。場合によっては、トランスデューサ１１２は、線形アレイ、平面アレイ、湾曲アレイ、曲線アレイ、周囲アレイ、環状アレイ等、フェーズドアレイ、マトリックスアレイ、１次元（１Ｄ）アレイ、１．ｘ次元アレイ（例えば、１．５Ｄアレイ）、又は２次元（２Ｄ）アレイ等の、任意の適切な構成の任意の数の音響素子を有する音響素子のアレイを含むことができる。音響素子のアレイ（例えば、１つ又は複数の行、１つ又は複数の列、及び／又は１つ又は複数の向き）を均一に又は独立して制御及びアクティブ化することができる。トランスデューサ１１２は、患者の解剖学的構造の１次元、２次元、及び／又は３次元画像を取得するように構成することができる。いくつかの実施形態では、超音波イメージング素子１１２は、圧電マイクロマシン超音波トランスデューサ（ＰＭＵＴ）、容量マイクロマシン超音波トランスデューサ（ＣＭＵＴ）、単結晶、チタン酸ジルコン酸鉛（ＰＺＴ）、ＰＺＴ複合材料、他の適切なトランスデューサタイプ、及び／又はこれらの組合せを含むことができる。
【0014】
ビームフォーマ１１４は、トランスデューサ・アレイ１１２に結合される。ビームフォーマ１１４は、例えば、超音波信号の送信及び超音波エコー信号の受信のためにトランスデューサ・アレイ１１２を制御する。ビームフォーマ１１４は、応答又は受信した超音波エコー信号に基づいて画像信号を処理コンポーネント１１６に提供する。ビームフォーマ１１４は、複数の段階のビームフォーミング（beamforming）を含むことができる。ビームフォーミングによって、処理コンポーネント１１６に結合するための信号線の数を減らすことができる。いくつかの実施形態では、ビームフォーマ１１４と組み合わされたトランスデューサ・アレイ１１２は、超音波イメージング・コンポーネントと呼ばれ得る。いくつかの実施形態では、対象物１０５には、肺の超音波検査のために患者の肺の少なくとも一部が含まれ得る。他の実施形態では、対象物１０５には、適切な超音波イメージング検査である、患者の任意の解剖学的構造（例えば、血管、心臓、腎臓、及び／又は肝臓）が含まれ得る。
【0015】
処理コンポーネント１１６は、ビームフォーマ１１４に結合される。処理コンポーネント１１６は、本明細書で説明する動作を行うように構成された中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）装置、別のハードウェア装置、ファームウェア装置、又はこれらの任意の組合せを含むことができる。処理コンポーネント１３４は、コンピュータ装置の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ又は複数のマイクロプロセッサ、又は他のそのような構成として実装してもよい。処理コンポーネント１１６は、ビームフォーミングされた画像信号を処理するように構成される。例えば、処理コンポーネント１１６は、フィルタリング及び／又は直交復調を行って、画像信号を調整することができる。
【0016】
通信インターフェイス１１８は、処理コンポーネント１１６に結合される。通信インターフェイス１１８は、１つ又は複数の送信機、１つ又は複数の受信機、１つ又は複数のトランシーバ、及び／又は、通信信号を送信及び／又は受信する回路を含み得る。通信インターフェイス１１８は、通信リンク１２０を介して信号をホスト１３０に転送するのに適した特定の通信プロトコルを実装するハードウェア・コンポーネント及び／又はソフトウェア・コンポーネントを含むことができる。通信インターフェイス１１８は、通信装置又は通信インターフェイス・モジュールと呼ぶことができる。
【0017】
通信リンク１２０は、任意の適切な通信リンクであり得る。例えば、通信リンク１２０は、ユニバーサル・シリアル・バス（ＵＳＢ）リンク又はイーサネット（登録商標）・リンク等の有線リンクであってもよい。あるいはまた、通信リンク１２０は、ウルトラワイドバンド（ＵＷＢ）リンク、ＩＥＥＥ（電気電子技術者協会）８０２．１１ＷｉＦｉリンク、又はブルートゥース（登録商標）・リンク等の無線リンクであってもよい。
【0018】
ホスト１３０において、通信インターフェイス１３６は画像信号を受信することができる。通信インターフェイス１３６は、通信インターフェイス１１８と実質的に同様であってよい。ホスト１３０は、ワークステーション、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、又は携帯電話等の任意の適切なコンピュータ及び表示装置であり得る。
【0019】
処理コンポーネント１３４は、通信インターフェイス１３６に結合される。処理コンポーネント１３４は、ソフトウェア・コンポーネントとハードウェア・コンポーネントとの組合せとして実装してもよい。処理コンポーネント１３４は、本明細書で説明する動作を行うように構成された中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、ＦＰＧＡ装置、別のハードウェア装置、ファームウェア装置、又はこれらの任意の組合せを含み得る。処理コンポーネント１３４は、コンピュータ装置の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ又は複数のマイクロプロセッサ、又は他のそのような構成として実装してもよい。処理コンポーネント１３４は、プローブ１１０から受信した画像信号から画像データを生成するように構成することができる。処理コンポーネント１３４は、高度な信号処理及び／又は画像処理技術を画像信号に適用することができる。いくつかの実施形態では、処理コンポーネント１３４は、画像データから３次元（３Ｄ）ボリューム画像を形成することができる。いくつかの実施形態では、処理コンポーネント１３４は、画像データに対してリアルタイム処理を行って、対象物１０５の超音波画像のストリーミングビデオを提供することができる。
【0020】
いくつかの実施形態では、処理コンポーネント１３４は、画像データに対してスキャン形式（scan format）変換を行うことができる。例えば、処理コンポーネント１３４は、画像データを表示データに補間することができる。画像データは、画像信号を取り込むために使用されるトランスデューサ（例えば、トランスデューサ・アレイ１１２）又はプローブのタイプに応じて、様々なフォーマットにすることができる。プローブタイプのいくつかの例には、線形、曲線、及びフェーズドアレイが含まれる。線形プローブは、線形アレイ構成で配置されたトランスデューサのアレイを含み得る。曲線プローブは、曲線又は凸構成で配置されたトランスデューサのアレイを含み得る。フェーズドアレイ・プローブは、（例えば、遅延及び位相制御に基づいて）操縦可能な集束ビームを生成できるトランスデューサのアレイを含み得る。プローブ１１０が線形プローブ（例えば、線形構成で配置されたトランスデューサ・アレイ１１２）である場合に、画像データはデカルト座標であってもよい。プローブ１１０が曲線プローブ（例えば、曲線構成で配置されたトランスデューサ・アレイ１１２）又はフェーズドアレイ・プローブ（例えば、遅延及び位相制御を含むトランスデューサ・アレイ１１２）である場合に、画像データは極座標であってもよい。処理コンポーネント１３４は、本明細書でより詳細に説明するように、画像データに対して座標変換を行って、表示用のスキャン形式（scan-formatted）の画像フレームを生成することができる。
【0021】
いくつかの実施形態では、処理コンポーネント１３４は、臨床評価のために画像データ又は画像フレームに対して画像解析を行うことができる。例えば、処理コンポーネント１３４は、本明細書でより詳細に説明するように、画像データ又は画像フレームに基づいて臨床評価を行うために深層学習ベースの技術を適用することができる。
【0022】
ディスプレイ１３２は、処理コンポーネント１３４に結合される。ディスプレイ１３２は、モニタ又は任意の適切なディスプレイであり得る。ディスプレイ１３２は、処理コンポーネント１３４によって処理された超音波画像、画像ビデオ、及び／又は診断結果を表示するように構成される。
【0023】
システム１００は、臨床評価のために超音波イメージング特徴検出の様々な段階で使用するように構成することができる。一実施形態では、システム１００は、超音波画像を収集して訓練データセットを形成するために使用され得る。例えば、ホスト１３０は、メモリ１３８を含むことができ、メモリ１３８は、キャッシュメモリ（例えば、処理コンポーネント１３４のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、固体状態メモリ装置、ハードディスクドライブ、固体状態ドライブ、他の形式の揮発性及び不揮発性メモリ、又は異なる種類のメモリの組合せ等の任意の適切なストレージ装置であり得る。メモリ１３８は、深層学習ベースの訓練のためにスキャン形式の画像フレームを含む画像データセット１４０を記憶するように構成され得る。
【0024】
いくつかの実施形態では、システム１００は、臨床的特徴の検出及び評価のために深層学習ネットワークを訓練するために使用され得る。訓練データセット１４０は、訓練に適した特定のフォーマット、例えばスキャン前形式（pre-scan format）に変換され得る。スキャン前形式のデータセットを使用して、深層学習ネットワークを訓練し、特定の臨床的特徴及び／又は状態に関してプローブ１１０によって取り込まれた超音波画像又はビデオ内の特徴を分類することができる。
【0025】
いくつかの実施形態では、システム１００は、臨床状態を決定するために訓練された深層学習ネットワークが適用され得るライブ超音波検査の臨床設定で使用され得る。学習ベースの技術に基づいて超音波画像から臨床的特徴及び／又は臨床状態を自動的且つ体系的に検出するためのメカニズムについて、本明細書でより詳細に説明する。
【0026】
図２は、本開示の態様による超音波画像特徴検出スキーム２００を示す概略図である。スキーム２００は、様々な段階の超音波画像特徴検出のためにシステム１００によって使用され得る。スキーム２００は、深層学習ベースの技術を使用して、超音波画像及び／又はビデオから臨床的特徴を抽出し、臨床評価のために臨床的特徴を分類する。スキーム２００には、逆スキャン変換段階２１０、深層学習訓練段階２２０、及び臨床応用段階２３０が含まれる。逆スキャン変換段階２１０は、異なる超音波プローブ（例えば、線形プローブ、曲線プローブ、及びフェーズドアレイ・プローブ）を使用して取得した超音波画像を、深層学習ネットワークの訓練に適した共通の画像フォーマット及び／又は次元にフォーマット化する。深層学習ネットワーク段階２２０は、深層学習ネットワークを訓練して、例えば逆スキャン変換段階２１０によって出力される訓練データを使用して、超音波画像を臨床評価に適した臨床的特徴カテゴリーに分類する。臨床応用段階２３０は、訓練された深層学習ネットワークを患者から取り込まれたライブ又はリアルタイムの超音波イメージングビデオに適用して、患者の臨床状態を特定する。スキーム２００について、図３Ａ、図３Ｂ、図３Ｃ、図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、図４Ｅ、図５、及び図６を参照して以下に説明する。
【0027】
逆スキャン変換段階２１０では、スキャン形式の超音波画像２０２は、スキャン前形式（pre-scan-formatted）の超音波画像２０４に変換される。スキャン形式の超音波画像２０２は、処理コンポーネント１３４によって生成され且つメモリ１３８に訓練データセット１４０として記憶されるスキャン形式の画像に対応し得る。上述したように、超音波画像は、線形プローブ、曲線プローブ、及びフェーズドアレイ・プローブ等の様々なタイプのトランスデューサプローブ（例えば、プローブ１１０）によって取り込まれ得る。プローブの形状と画像フォーマットの違いにより、超音波画像のサイズ及び／又は画像形状が異なる場合がある。異なるサイズ及び／又は画像形状は、有用又は有意義な臨床情報を伝えない可能性がある。それどころか、画像フォーマットの違いやバリエーションは、臨床的特徴分類のための深層学習ネットワークの訓練に影響を与えたり、バイアスをかけたりする可能性がある。
【0028】
逆スキャン変換は、トランスデューサタイプ、及び／又は、撮像深度及び／又は視野角等の撮像構成に関係なく、様々なタイプのプローブから得られたスキャン形式の画像２０２を、同じフォーマット又は同じ次元の超音波画像に再フォーマット化する。逆スキャン変換には、臨床分類に重要な画像部分又は領域を含めることができ、訓練に影響を与える可能性のある画像部分又は領域を排除することができる。例えば、肺の超音波では、特定の肺の状態は、超音波画像におけるＢライン・アーチファクト、コンソリデーション、胸水、及び／又はブロンコグラム等の特定の臨床的特徴の有無に基づいて決定され、画像のジオメトリの長さ及び／又は面積に基づいて決定されるものではない。
【0029】
図３Ａは、本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。超音波画像３１０は、上述したように線形プローブによって取り込まれ、スキャン形式化される。図示されるように、超音波画像３１０は、線形プローブが平行な超音波ビームを放出するため、肺の画像を長方形で示す。超音波画像３１２は、逆スキャン変換後の超音波画像３１０に対応する。例えば、超音波画像３１０はスキャン形式の画像２０２に対応し得、超音波画像３１２はスキャン前形式の画像２０４に対応し得る。
【0030】
図３Ｂは、本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。超音波画像３２０は、上述したように、曲線プローブによって取り込まれ、スキャン形式化される。図示されるように、超音波画像３２０は、曲線プローブが超音波ビームを（発散する）異なる角度又は方向で放出するため、肺の画像を扇形又はパイ形で示す。超音波画像３２２は、逆スキャン変換後の超音波画像３２０に対応する。例えば、超音波画像３２０はスキャン形式の画像２０２に対応し得、超音波画像３２２はスキャン前形式の画像２０４に対応し得る。
【0031】
図３Ｃは、本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。超音波画像３３０は、上述したように、フェーズドアレイ・プローブによって取り込まれ、スキャン形式化される。図示されるように、超音波画像３３０は、フェーズドアレイ・プローブが超音波ビームを様々な角度又は方向に集束させるように電子ステアリングを適用するため、肺の画像を扇形又はパイ形で示す。超音波画像３３２は、逆スキャン変換後の超音波画像３３０に対応する。例えば、超音波画像３３０はスキャン形式の画像２０２に対応し得、超音波画像３３２はスキャン前形式の画像２０４に対応し得る。
【0032】
図３Ａ～図３Ｃから分かるように、超音波画像３１２、３２２、及び３３２では、画像３１０、３２０、及び３３０からプローブ特有の画像特徴（例えば、パイ形状又は扇形）がそれぞれ除外される。つまり、逆スキャン変換は、スキャン形式の画像をスキャン前形式に戻すように変換する。加えて、逆スキャン変換は、肺の部分を含まない、画像３１０、３２０、及び３３０の暗い部分又は領域を除去する。
【0033】
スキーム２００は、逆スキャン変換段階２１０とともに示されているが、いくつかの実施形態では、逆スキャン変換段階２１０はオプションであり得る。例えば、ホスト１３０は、スキャン形式の画像フレームの代わりに又はその画像フレームに加えて、スキャン形式変換前の処理済み画像データをメモリ１３８に記憶させることができる。換言すれば、ホスト１３０は、スキャン前形式の超音波画像２０４をメモリ１３８に記憶させることができる。こうして、スキャン前形式の超音波画像２０４は、逆スキャン変換段階２１０を必要とせずに、スキーム２００で使用することができる。
【0034】
深層学習訓練段階２２０では、スキャン前形式の超音波画像２０４を使用して、深層学習ネットワーク２０６を訓練することができる。例えば、スキャン前形式の超音波画像２０４は、特定の肺の状態を示す様々な可視構造及び／又はアーチファクトを含む肺の画像であり得る。深層学習ネットワーク２０６は、特定の臨床状態又は疾患を決定するのに有用な特定の画像特徴又はアーチファクトを認識するように訓練することができる。例えば、深層学習ネットワーク２０６は、スキャン前形式の超音波画像２０４を複数のカテゴリーの臨床的重要性に分類するように訓練することができる。図４Ａ～図４Ｅは、肺の超音波検査又は評価に役立つ様々な臨床的特徴を示す。
【0035】
図４Ａは、本開示の態様による、正常肺の状態を示す超音波画像４１０である。図４Ｂは、本開示の態様による、Ｂライン・アーチファクトを示す超音波画像４２０である。超音波画像４２０には、略水平な複数の白い線４２２が含まれ、これらの線はＢライン・アーチファクトと呼ばれ、正常な状態では肺の超音波画像４１０に存在しない。Ｂライン・アーチファクトは、肺末梢部の通気（aeration）の喪失による密度の増加の兆候を表し得る。
【0036】
図４Ｃは、本開示の態様による、コンソリデーションを示す超音波画像４３０である。超音波画像４３０には、正常な状態では肺の超音波画像４１０に存在しない、充実性（solid）で且つ均一な低エコーであるように見えるくさび形領域４３２が含まれる。低エコーのくさび形領域４３２は、肺のコンソリデーション状態を示し得る。
【0037】
図４Ｄは、本開示の態様による、エア・ブロンコグラムを示す超音波画像４４０である。超音波画像４４０には、正常な状態では肺の超音波画像４１０に存在しない明るい管状構造４４２が含まれる。管状構造４４２は、肺のブロンコグラム状態を示し得る。
【0038】
図４Ｅは、本開示の態様による、胸水を示す超音波画像４５０を示す。超音波画像４５０には、正常な状態では肺の超音波画像４１０に存在しない無響領域４５２が含まれる。無響領域４５２は、肺の胸水状態を示し得る。
【0039】
深層学習ネットワーク２０６は、複数の段階又は層の深層学習又は複数の深層学習サブネットワークを含むことができる。本明細書でより詳細に説明するように、異なる層又は異なるサブネットワークは、異なるドメイン（例えば、空間ドメイン及び時間ドメインを含む）で特徴解析及び／又は分類を実行し得る。深層学習には、（分類又はパターン解析に非線形処理と特徴抽出及び／又は変換とを使用する、）機械学習及び畳み込みニューラルネットワーク（ＣＮＮ）等の様々な学習ベースの手法が含まれ得る。例えば、深層学習ネットワーク２０６は、肺の状態の特定を容易にするために、肺超音波画像を複数のカテゴリーに分類するように訓練することができる。カテゴリーは、図４Ａ～図４Ｅに関して上述した特徴及び／又は状態（例えば、正常、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び／又は胸水）と同様であってもよい。一例として、深層学習ネットワーク２０６は、フレーム毎の解析を行うＣＮＮ（例えば、図５のＣＮＮ５１０及び図６のＣＮＮ６１２）と、フレーム毎の解析の出力に対して時間解析を行う機械学習コンポーネント（例えば、図６の機械学習コンポーネント６１４）とを含むことができる。
【0040】
図５は、本開示の態様による、ＣＮＮ５１０の構成５００を示す概略図である。ＣＮＮ５１０は、フレーム毎の分類のためにスキーム２００によって使用され得る。ＣＮＮ５１０は、Ｎ個の畳み込み層５１２のセットと、それに続くＫ個の完全に接続された層５１４のセットとを含むことができ、ここでＮ及びＫは任意の正の整数とすることができる。値Ｎ及びＫは、実施形態に応じて変化し得る。いくつかの実施形態では、ＮとＫとの両方が少なくとも３であってもよい。各畳み込み層５１２は、入力画像から撮像特徴（例えば、１次元（ＩＤ）特徴マップ）を抽出するように構成されるフィルタ５２０のセットを含み得る。完全に接続された層５１４は、非線形であってもよく、且つ最後の畳み込み層５１２（Ｎ）の高次元出力を出力５１６における分類５３０の数に対応する長さに徐々に縮小してもよい。例えば、分類５３０には、正常肺の状態、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水が含まれ得る。
【0041】
図５には示されていないが、いくつかの実施形態では、畳み込み層５１２はプーリング（pooling）層とインターリーブされ得、各々が、抽出されたイメージング特徴の次元性を低減し得るダウンサンプリング動作のセットを含む。加えて、畳み込み層５１２は、修正された特徴マップを抽出するように構成された非線形関数（例えば、修正された非線形（ＲｅＬＵ）演算を含む）を含むことができる。
【0042】
入力画像５０２（例えば、スキャン前形式の超音波画像２０４）は、特徴抽出、解析、及び／又は分類のために各層５１２及び５１４を連続して通過させることができる。各層５１２又は５１４は、入力画像５０２又は前の層５１２又は５１４の出力に適用される重み（例えば、畳み込み層５１２のフィルタ５２０のフィルタ係数及び完全に接続された層５１４の非線形重み）を含むことができる。
【0043】
訓練中に、ＣＮＮ５１０は、例えば、フォワード・プロパゲーション（forward propagation）を使用して各スキャン前形式の画像２０４に適用され、各カテゴリー又は分類５３０についてスキャン前形式の画像２０４の出力又はスコアを取得することができる。畳み込み層５１２のフィルタ５２０の係数及び完全に接続された層５１４の重みは、例えば、出力誤差を最小化するためにバックワード・プロパゲーション（backward propagation）を使用することにより調整することができる。例えば、Ｂライン・アーチファクトを含む入力画像５０２を使用して、ＣＮＮ５１０がＢラインカテゴリーについて高い確率（例えば、９０％以上）を出力できるようにＣＮＮ５１０を訓練することができる。
【0044】
機械学習コンポーネントは、ＣＮＮ５１０と同じアーキテクチャ又は異なるアーキテクチャを含むことができる。機械学習コンポーネントは、実質的に同様のメカニズムを使用して訓練することができ、訓練によって、機械学習コンポーネントが高い分類精度の出力を生成できることを保証することができる。本明細書では、フレーム毎の解析及び時間的解析のメカニズムについてより詳細に説明する。
【0045】
深層学習ネットワーク２０６が訓練された後に、深層学習ネットワーク２０６は臨床応用段階２３０で使用することができる。例えば、臨床医又はユーザはシステム１００を使用して患者の肺の画像ビデオ２３２を取り込むことができる。ホスト１３０は、画像ビデオ２３２をリアルタイムで受信することができる。ホスト１３０上の処理コンポーネント１３４は、訓練された深層学習ネットワーク２０６を画像ビデオ２３２に適用して、患者の臨床状態２０８を決定することができる。
【0046】
図６は、本開示の態様による、超音波画像特徴検出のための深層学習ネットワーク６１０の構成６００を示す概略図である。深層学習ネットワーク６１０は、深層学習ネットワーク２０６に対応し得る。深層学習ネットワーク６１０は、入力画像ビデオ６０２が与えられると臨床状態を予測することができる。深層学習ネットワーク６１０は、ＣＮＮ６１２（例えば、ＣＮＮ５１０）と、機械学習コンポーネント６１４とを含む。深層学習ネットワーク６１０は、ハードウェア・コンポーネントとソフトウェア・コンポーネントとの組合せを使用して実装することができる。例えば、深層学習ネットワーク６１０は、臨床的特徴及び／又は臨床状態のリアルタイム分類を行うために処理コンポーネント１３４によって実装され得る。ＣＮＮ６１２は、空間ドメインでフレーム毎の解析又は分類を行うように訓練することができる。機械学習コンポーネント６１４は、時系列ベクトル分類を行うように訓練することができる。
【0047】
深層学習ネットワーク６１０は、例えば、システム１００を使用して取り込まれた超音波画像ビデオ６０２を受信するように構成される。ビデオ６０２は、ビデオ２３２に対応し得る。ビデオ６０２は、ある期間に亘った、例えば時刻t（０），ｔ（１），・・・ｔ（Ｎ）での患者（例えば、肺の少なくとも一部）を表す一連の超音波画像フレーム６０４を含むことができ、ここでＮは正の整数である。超音波画像フレーム６０４は、６０４ｔ（０），６０４ｔ（１），・・・６０４ｔ（Ｎ）として示されている。例えば、一連の超音波画像フレーム６０４は、Ｉｉｎ（ｘ，ｙ，ｔ）によって表すことができ、ここでｘ及びｙは空間ドメインを表し、ｔは１～Ｎまで変化する時間を表すことができる。超音波画像フレーム６０４は、超音波画像３１０、３２０、３３０、４１０、４２０、４３０、４４０、４５０、及び５０２と同様であり得る。
【0048】
フレーム毎の解析を行うために、ＣＮＮ６１２が各超音波画像フレーム６０４に適用される。ＣＮＮ６１２は、超音波画像フレーム６０４毎に出力ベクトル６２０を生成する。出力ベクトル６２０は、６２０ｔ（０），６２０ｔ（１），・・・６２０ｔ（Ｎ）として示されており、それぞれ、超音波画像フレーム６０４ｔ（０），６０４ｔ（１），・・・６０４ｔ（Ｎ）の出力に対応する。出力ベクトル６２０は、出力５１６と同様であってもよい。各出力ベクトル６２０は、（Ｍ＋１）個のスコア又は値６２２を含むことができ、ここでＭは正の整数である。各値６２２は、入力超音波画像フレーム６０４が特定のカテゴリー（例えば、特定の臨床的特徴又は臨床状態を含む）に分類される可能性（likelihood）又は確率を表す。カテゴリーは、Ｃ（０）～Ｃ（Ｍ）で表され得る。（Ｍ＋１）個のカテゴリーの出力値６２２又は確率が、６２２Ｃ（０），６２２Ｃ（１），・・・６２２Ｃ（Ｍ）として示される。例えば、出力ベクトルのセット６２０はＹＩ（ｃ，ｔ）で表すことができ、ここでｃは１～Ｍまで変化するカテゴリー・インデックスを表し、ｔは１～Ｎまで変化する時間を表すことができる。
【0049】
上述した肺の症状評価の例にＣＮＮ６１２を適用する場合に、Ｍは約４であり得る。例えば、カテゴリーＣ（０）は正常肺の状態を表すことができ、カテゴリーＣ（１）はＢライン・アーチファクト状態を表すことができ、カテゴリーＣ（２）は肺のコンソリデーション状態を表すことができ、カテゴリーＣ（３）はブロンコグラム状態を表すことができ、カテゴリーＣ（４）は肺の胸水状態を表すことができる。換言すれば、ＣＮＮ６１２を入力画像フレーム６０４に適用して、入力画像フレーム６０４が正常な状態、Ｂライン・アーチファクト状態、肺コンソリデーション状態、ブロンコグラム状態、又は胸水状態の画像を含むかどうかを判定することができる。ＣＮＮ６１２は、肺の状態毎の確率を示す出力ベクトル６２０を生成することができる。
【0050】
時間ドメイン解析を行うために、機械学習コンポーネント６１４は、出力ベクトル６２０のセット（例えば、（Ｍ＋１）×（Ｎ＋１）行列）に適用される。機械学習コンポーネント６１４は、（Ｋ＋１）個のスコア又は値６３２を含む出力ベクトル６３０を生成し、ここでＫは正の整数である。各値６３２は、ビデオ６０２が特定のカテゴリー（例えば、特定の臨床的特徴又は臨床状態を含む）に分類される可能性又は確率を表す。カテゴリーは、Ｄ（０）～Ｄ（Ｋ）で表すことができる。（Ｋ＋１）個のカテゴリーの出力値６３２又は確率は、６３２Ｄ（０），６３２Ｄ（１），・・・６３２Ｄ（Ｋ）として示される。機械学習コンポーネント６１４は、分類のための任意の適切な学習ベースの技術を使用することができる。いくつかの実施形態では、機械学習コンポーネント６１４は、深層学習ネットワーク、ニューラルネットワーク、又はＣＮＮを含むことができる。最大の確率（例えば、出力ベクトル６３０内の最大値６３２）を有するカテゴリーは、ビデオ６０２の分類（例えば、臨床状態）を示し得る。いくつかの実施形態では、ＣＮＮ６１２によって出力されるカテゴリーＣ（０）～Ｃ（Ｍ）は、機械学習コンポーネント６１４によって出力されるＤ（０）～Ｄ（Ｋ）と同一であってもよい。換言すれば、ＫはＭに等しい。例えば、カテゴリーＣ（０）～Ｃ（Ｍ）は、正常肺の状態、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水等の、異なるタイプの臨床的特徴に対応し得る。カテゴリーＤ（０）～Ｄ（Ｋ）は、カテゴリーＣ（０）～Ｃ（Ｍ）と同じ肺特徴のセットに対応し得る。
【0051】
いくつかの実施形態では、カテゴリーＣ（０）～Ｃ（Ｍ）は異なるタイプの臨床的特徴に対応し得、カテゴリーＤ（０）～Ｄ（Ｍ）は異なる重症度に対応し得る。例えば、カテゴリーＣ（０）～Ｃ（Ｍ）は異なるタイプの肺の状態に対応し得、カテゴリーＤ（０）～Ｄ（Ｋ）は正常肺の状態、軽度のＢライン状態、重度のＢライン状態、軽度のコンソリデーション、及び重度のコンソリデーションを含み得る。
【0052】
いくつかの実施形態では、カテゴリーＣ（０）～Ｃ（Ｍ）は、異なるタイプの臨床的特徴及び異なる重症度のうちの少なくとも一方の第１のカテゴリー分類に対応し得、カテゴリーＤ（０）～Ｄ（Ｍ）は、異なるタイプの臨床的特徴及び異なる重症度のうちの少なくとも一方の第２のカテゴリー分類に対応し得る。
【0053】
深層学習ネットワーク６１０は、ＣＮＮ６１２及び機械学習コンポーネント６１４を含むように示されているが、いくつかの実施形態では、深層学習ネットワーク６１０は、ＣＮＮ６１２の代わりに機械学習コンポーネント及び／又は機械学習コンポーネント６１４の代わりにＣＮＮを含み、同様の機能を実現することができる。
【0054】
図７は、本開示の態様による、自動化された超音波画像特徴検出方法７００のフロー図である。方法７００のステップは、プローブ１１０等の超音波イメージング・プローブ又はホスト１３０等のホストのコンピュータ装置（例えば、プロセッサ、処理回路、及び／又は他の適切なコンポーネント）によって実行することができる。方法７００は、図２に関して説明したスキーム２００と同様のメカニズムを使用してもよく、そして、図５及び図６に関してそれぞれ説明した構成５００及び６００のように、深層学習ベースの分類メカニズムを使用してもよい。例示されるように、方法７００は、複数の列挙されたステップを含むが、方法７００の実施形態は、列挙されたステップの前、後、及び間に追加のステップを含んでもよい。いくつかの実施形態では、列挙されたステップのうちの１つ又は複数は、省略されるか、異なる順序で実行してもよい。
【0055】
ステップ７１０において、方法７００は、ある期間（例えば、時刻t（０）～ｔ（Ｎ）まで）に亘って被検体（例えば、対象物１０５又は患者の肺、心臓、腎臓、又は肝臓）を表す一連の超音波画像フレーム（例えば、超音波画像フレーム６０４）を超音波イメージング装置（例えば、プローブ１１０又はトランスデューサ・アレイ１１２）から受信するステップを含む。一連の超音波画像フレームは、画像ビデオ（例えば、ビデオ２３２又は６０２）に対応し得る。
【0056】
ステップ７２０において、方法７００は、第１の予測ネットワーク（例えば、ＣＮＮ５１０及び６１２）を一連の超音波画像フレームに適用することにより、一連の超音波画像フレームを臨床特性の第１のセット（例えば、カテゴリーＣ（０）～Ｃ（Ｍ））に分類するステップを含む。臨床特性の第１のセットは、分類ベクトル（例えば、出力ベクトル６２０）のセットによって表され得る。
【0057】
ステップ７３０において、方法７００は、第２の予測ネットワーク（例えば、機械学習コンポーネント６１４）を分類ベクトルのセットに適用することにより、被検体の臨床状態（例えば、肺の状態）を特定するステップを含む。
【0058】
いくつかの実施形態では、方法７００は、第１の予測ネットワークを一連の超音波画像フレームの各超音波画像フレームに適用することにより、一連の超音波画像フレームを分類して、分類ベクトルのセットのうちの１つの分類ベクトルを生成することができる。第１の予測ネットワークは、ＣＮＮ（例えば、ＣＮＮ５１０及び６１２）であり得、各分類ベクトルは、臨床特性の第１のセットに関して対応する超音波画像フレームの複数のスコア（例えば、確率値６２２）を含む。
【0059】
いくつかの実施形態では、方法７００は、第２の予測ネットワークが、臨床特性の第２のセット（例えば、カテゴリーＤ（０）～Ｄ（Ｋ））に関して分類ベクトルのセットのための複数のスコア（例えば、確率値６３２）を生成すること、及び複数のスコアから最も高いスコアを選択することによって、臨床状態を特定することができる。最も高いスコアを有するカテゴリーは、統合された分類結果（例えば、臨床状態）を表し得る。
【0060】
いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれ得、臨床状態には、正常肺（例えば、超音波画像４１０）、Ｂライン・アーチファクト（例えば、超音波画像４２０）、コンソリデーション（例えば、超音波画像４３０）、ブロンコグラム（例えば、超音波画像４４０）、及び胸水（例えば、超音波画像４５０）のうちの少なくとも１つに関連する特徴が含まれる。
【0061】
いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれ、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、胸水、及びブロンコグラムのうちの少なくとも１つの重症度に関連する特徴が含まれる。
【0062】
いくつかの実施形態では、方法７００は、ディスプレイ（例えばディスプレイ１３２）が、臨床状態の指標を表示するステップを含む。
【0063】
いくつかの実施形態では、少なくとも第１の予測ネットワーク又は第２の予測ネットワークは、異なる超音波イメージング装置によって取り込まれた臨床状態を含むテスト被検体を表す複数のスキャン形式の超音波画像（例えば、スキャン形式の超音波画像２０２）を提供することにより訓練される。異なる超音波イメージング装置は、線形超音波トランスデューサ装置、曲線超音波トランスデューサ装置、及びフェーズドアレイ超音波トランスデューサ装置のうちの少なくとも１つを含むことができる。訓練には、複数のスキャン形式の超音波画像を、異なる超音波イメージング装置から独立した共通の次元及び共通フォーマットの少なくとも一方に基づいて、複数のスキャン形式の超音波画像を複数のスキャン前形式の超音波画像（例えば、スキャン前形式の超音波画像２０４及び５０２）に変換することがさらに含まれる。訓練には、臨床状態に関して複数のスキャン前形式の超音波画像の各超音波画像にスコアを割り当てることをさらに含まれ得る。
【0064】
本開示の態様は、いくつかの利点を与えることができる。例えば、分類を、空間ドメインのフレーム毎の分類と時間ドメイン解析に分割することによるビデオの分類によって、従来の機械学習ベースのビデオ分類フレームワークと比較して分類の複雑さを軽減することができる。分類の問題を複数の段階に分割することによって、従来のビデオ分類機械学習ベースのネットワークよりも小さな訓練データセットを使用して訓練を行うことができる。深層学習ネットワークを使用することにより、臨床状態の評価を自動化することができ、臨床状態を決定する際に臨床医をガイドするための支援を提供することができる。さらに、自動化により、より一貫した評価結果が得られ、異なる臨床医の異なる解釈から生じる可能性のある変動を排除することができる。さらに、自動化により、例えばある疾患の進行又はある治療の利点を評価するために、特定の臨床状態について患者を経時的に監視することができる。
【0065】
当業者は、上述した装置、システム、及び方法を様々な方法で修正できることを認識するであろう。従って、当業者は、本開示に含まれる実施形態が上述した特定の例示的な実施形態に限定されないことを理解するであろう。その点に関して、例示的な実施形態を示し、説明してきたが、前述の開示では、広範な修正、変更、及び置換が企図されている。そのような変形は、本開示の範囲から逸脱することなく、前述の開示に対してなされ得ることが理解される。従って、添付の特許請求の範囲を広く、本開示と一致する方法で解釈することが適切である。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5】
【図6】
【図7】