知財求人 - 知財ポータルサイト「IP Force」
特許7407790誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-21
(45)【発行日】2024-01-04
(54)【発明の名称】誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
(51)【国際特許分類】
A61B 8/14 20060101AFI20231222BHJP
【ＦＩ】
A61B8/14
【請求項の数】
21
(21)【出願番号】P 2021503763
(86)(22)【出願日】2019-07-22
(65)【公表番号】
(43)【公表日】2021-11-25
(86)【国際出願番号】 EP2019069637
(87)【国際公開番号】W WO2020020809
(87)【国際公開日】2020-01-30
【審査請求日】2022-07-20
(31)【優先権主張番号】PCT/CN2018/097194
(32)【優先日】2018-07-26
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】62/711,974
(32)【優先日】2018-07-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】シエ フア
(72)【発明者】
【氏名】スウィッシャー クリスティーン メンキング
(72)【発明者】
【氏名】エリコ クラウディア
(72)【発明者】
【氏名】シャムダサーニ ビジャイ タークル
(72)【発明者】
【氏名】デン インフイ
【審査官】下村 一石
(56)【参考文献】
【文献】米国特許出願公開第２０１７／０３６０４０３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／０１５５２２７（ＵＳ，Ａ１）
【文献】KIM Kwang Baek, et al.，Quantification of Hepatorenal Index for Computer-Aided Fatty Liver Classification with Self-Organizing Map and Fuzzy Stretching from Ultrasonography，BioMed Reaearch International，Hindawi Publishing Corporation，2015年07月13日，2015(6):535894，pp.1-9
【文献】SANTOS Jaime, et al.，Detection of pathologic liver using ultrasound images，Biomedical Signal Processing and Control，ELSEVIER，2014年09月06日，Vol.14，pp.248-255
【文献】ANDRADE Andreia, et al.，Classifier Approaches for Liver Steatosis using Ultrasound Images，Procedia Technology，ELSEVIER，2012年12月，Vol.5，pp.763-770
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００－８／１５
(57)【特許請求の範囲】
【請求項1】
被検者の生体組織の画像を生成するために、前記被検者に向けて超音波を送信するプローブと、前記画像を受信し、少なくとも１つのニューラルネットワークを使用して、前記画像がターゲット画像ビューに従って前記生体組織を視覚化する確率を示す信頼メトリックを出力するプロセッサと、
を含む、超音波イメージングシステムであって、
前記生体組織を視覚化する確率を示す信頼メトリックは、前記少なくとも２つの異なるタイプの生体組織を視覚化する確率を示し、
前記プロセッサはさらに、前記信頼メトリックの値が閾値を超える場合、
前記画像を選択し、
記憶された前記画像をセグメント化して、少なくとも２つの異なるタイプの生体組織に関連する領域を特定し、
前記少なくとも２つの異なるタイプの生体組織のうちの１つにそれぞれ関連する、第１の複数のピクセル及び第２の複数のピクセルを特定することによって、前記画像内の第１の関心領域及び第２の関心領域の場所を決定し、
前記第１の関心領域及び前記第２の関心領域のエコー強度値の比を計算する、
超音波イメージングシステム。
【請求項2】
前記プロセッサはさらに、前記信頼メトリックの前記値が前記閾値を超えない場合、１つ以上の連続リアルタイム画像フレームを自動的に受信し、前記１つ以上の連続リアルタイム画像フレームそれぞれの信頼メトリックを出力する、請求項１に記載の超音波イメージングシステム。
【請求項3】
前記生体組織は、肝組織、腎組織、又はこれらの組み合わせのうちの少なくとも１つを含み、前記少なくとも１つのニューラルネットワークは、前入力画像が、肝臓／腎臓エコー強度比の計算に適した肝臓及び右腎臓サジタルビューに対応する場合に、前記閾値を超える信頼メトリックを生成するようにトレーニングされる、請求項１に記載の超音波イメージングシステム。
【請求項4】
前記少なくとも１つのニューラルネットワークは、入力画像をセグメント化してセグメンテーションマップを生成するようにトレーニングされた畳み込みニューラルネットワークを含み、前記信頼メトリックは、リアルタイム画像の前記セグメンテーションマップに少なくとも部分的に基づいている、請求項１に記載の超音波イメージングシステム。
【請求項5】
前記畳み込みニューラルネットワークは、前記入力画像を、縮小パスの後に拡張パスに沿って伝播して、前記セグメンテーションマップを生成する完全畳み込みネットワークを含む、請求項４に記載の超音波イメージングシステム。
【請求項6】
前記少なくとも１つのニューラルネットワークは、入力画像内の物体を検出し、検出された前記物体の場所と、前記検出された物体がターゲット物体カテゴリに対応する確率とを出力するようにトレーニングされた深層畳み込みネットワークを含み、前記信頼メトリックは、前記確率に基づいている、請求項１に記載の超音波イメージングシステム。
【請求項7】
前記プロセッサは、前記検出された物体の前記場所に基づいて、第１の関心領域及び第２の関心領域の場所を決定する、請求項６に記載のシステム。
【請求項8】
前記少なくとも１つのニューラルネットワークは、入力画像を、複数の信頼メトリックに対応する複数の分類のうちの１つに分類する深層畳み込みネットワークを含む、請求項１に記載の超音波イメージングシステム。
【請求項9】
前記プロセッサは、記憶された前記画像と同時に少なくとも１つの推奨関心領域ペアを自動的に特定及び表示し、
前記少なくとも１つの推奨関心領域ペアからの１つの推奨関心領域ペアの選択の指示を受信することによって、
前記第１の関心領域及び前記第２の関心領域の場所を決定し、
前記プロセッサは、前記第１の関心領域及び前記第２の関心領域を、選択された前記推奨関心領域ペアに対応するように設定する、
請求項１に記載の超音波イメージングシステム。
【請求項10】
前記プロセッサはさらに、前記信頼メトリックの現在値を表すグラフィカルインジケータを生成し、前記グラフィカルインジケータを、前記超音波イメージングシステムのディスプレイに表示させ、かつ、前記少なくとも１つのニューラルネットワークによって新しい信頼メトリックが出力されるたびに前記ディスプレイ上で動的に更新させる、請求項１に記載の超音波イメージングシステム。
【請求項11】
被検者の生体組織の超音波検査方法であって、超音波システムのプロセッサが、１つ以上のタイプの生体組織を表すリアルタイム超音波画像を受信するステップと、
前記リアルタイム超音波画像を、各入力画像の信頼メトリックを出力するようにトレーニングされた少なくとも１つの畳み込みニューラルネットワークに提供するステップであって、前記信頼メトリックは、前記リアルタイム超音波画像が、ターゲット画像ビューに従って前記生体組織を視覚化する確率を示す、提供するステップと、
前記信頼メトリックが閾値を超える場合は、
前記リアルタイム超音波画像を、前記超音波システムのメモリに自動的に記憶するステップと、
記憶された画像をセグメント化して、少なくとも２つの異なるタイプの生体組織に関連する領域を特定するステップと、
前記少なくとも２つの異なるタイプの生体組織のうちの１つにそれぞれ関連する、第１の複数のピクセル及び第２の複数のピクセルを特定するステップを含む、第１の関心領域及び第２の関心領域の場所を決定するステップと、
前記第１の関心領域のエコー強度値と前記第２の関心領域のエコー強度値との比を計算するステップと、
前記信頼メトリックが前記閾値を超えない場合は、
１つ以上の連続リアルタイム画像それぞれの信頼メトリックを決定するために、前記１つ以上の連続リアルタイム画像を前記少なくとも１つの畳み込みニューラルネットワークに自動的に提供するステップと、
を含み、前記生体組織を視覚化する確率を示す信頼メトリックは、前記少なくとも２つの異なるタイプの生体組織を視覚化する確率を示す、超音波検査方法。
【請求項12】
前記リアルタイム超音波画像内に表される前記生体組織は、肝組織、腎組織、又はこれらの組合せのうちの少なくとも１つを含み、前記ターゲット画像ビューは、肝臓／腎臓エコー強度比の計算に適した肝臓及び右腎臓サジタルビューに対応する、請求項１１に記載の超音波検査方法。
【請求項13】
前記少なくとも１つの畳み込みニューラルネットワークは、入力画像をセグメント化してセグメンテーションマップを生成するようにトレーニングされ、リアルタイム画像の前記セグメンテーションマップに基づいて前記信頼メトリックを計算するステップを含む、請求項１１に記載の超音波検査方法。
【請求項14】
前記少なくとも１つの畳み込みニューラルネットワークは、前記入力画像を、縮小パスの後に拡張パスに沿って伝播して、前記セグメンテーションマップを生成する完全畳み込みネットワークを含む、請求項１３に記載の超音波検査方法。
【請求項15】
前記少なくとも１つの畳み込みニューラルネットワークは、１つ以上の物体カテゴリの物体が前入力画像内に存在する確率と、前入力画像内の前記物体の場所とを決定するようにトレーニングされた深層畳み込みネットワークを含む、請求項１１に記載の超音波検査方法。
【請求項16】
前記少なくとも１つの畳み込みニューラルネットワークは、入力画像を、前記閾値を超える値に関連する分類を含む複数の分類のうちの１つに分類する深層畳み込みネットワークを含む、請求項１１に記載の超音波検査方法。
【請求項17】
第１の関心領域及び第２の関心領域の場所を決定するステップは、前記記憶された画像と同時に少なくとも１つの推奨関心領域ペアを自動的に特定及び表示するステップと、
前記少なくとも１つの推奨関心領域ペアからの１つの推奨関心領域ペアの選択の指示を受信するステップと、
を含み、
前記第１の関心領域及び前記第２の関心領域は、選択された前記推奨関心領域ペアに対応するように設定されている、
請求項１１に記載の超音波検査方法。
【請求項18】
コンピュータ支援の肝イメージングモードの起動の指示を受信するステップと、前記閾値を超える信頼メトリックが前記少なくとも１つの畳み込みニューラルネットワークによって出力されるまで、各入力リアルタイム超音波画像を前記少なくとも１つの畳み込みニューラルネットワークに自動的に提供するステップとをさらに含む、請求項１１に記載の超音波検査方法。
【請求項19】
前記信頼メトリックの現在値を表すグラフィカルインジケータを表示するステップをさらに含み、前記表示するステップは、リアルタイム超音波画像が入力されるたびに更新される前記信頼メトリックの前記現在値を表すように前記グラフィカルインジケータを動的に更新するステップを含む、請求項１８に記載の超音波検査方法。
【請求項20】
前記信頼メトリックが前記閾値を超えるという決定に応答して、前記超音波システムのリアルタイムイメージングモードからフリーズモードに自動的に遷移するステップをさらに含み、前記遷移するステップは、前記記憶された超音波画像を表示するステップを含む、請求項１１に記載の超音波検査方法。
【請求項21】
実行されると、医用イメージングシステムのプロセッサに、請求項１１から２０のいずれか一項に記載の方法を行わせる実行可能命令を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[001] 本開示は、生体組織を超音波検査するための超音波イメージングシステム及び方法、より具体的には人工ニューラルネットワークを使用する、誘導かつ少なくとも部分的に自動化された肝腎比定量化のための超音波イメージングシステム及び方法に関する。
【背景技術】
【0002】
[002] 超音波イメージングは、例えば、任意の数の異なる疾患及びその治療の進行又は成功を診断するために、患者の内部組織又は器官を非侵襲的にイメージングするために一般的に使用されている。例えば、肝臓と腎臓との間のエコー強度の比は、肝臓脂肪含有量についての定量的なバイオマーカである。超音波イメージングを使用してこの比を測定できるが、測定目的に適したフレームを得ることが難しいことから、誤診又は誤判別の可能性がある。既存のシステムは、例えば肝腎比の定量化のための画像データの収集の改善を図るツールを提供できるが、欠点もあり、したがって、超音波イメージングシステムの設計者及び製造業者は、それに対する改善を求め続けている。
【発明の概要】
【0003】
[003] 本開示は、いくつかの例では、人工ニューラルネットワークを使用する自動化された肝臓腎臓定量化によく適している超音波イメージングシステム及び方法について説明する。実施形態において、また、以下にさらに説明されるように、例えば、肝腎比の定量化に適した超音波画像の取得を誘導するためだけでなく、（例えば、ＲＯＩ配置のための）追加のガイダンスを提供するために、及びプロセスの特定の側面を自動化するために、１つ以上の人工ニューラルネットワークが使用される。
【0004】
[004] 本開示のいくつかの実施例によれば、超音波システムが、被検者の生体組織のリアルタイム（又はライブ）画像を生成するために、被検者に向けて超音波を送信するプローブと、リアルタイム画像を受信し、リアルタイム画像の信頼メトリックを出力するプロセッサとを含む。信頼メトリックは、リアルタイム超音波画像が、ターゲット画像ビューに従って生体組織を視覚化する確率を示す。少なくともいくつかの実施形態では、プロセッサは、少なくとも１つの人工ニューラルネットワークを使用して、信頼メトリックを生成する。信頼メトリックが閾値を超えると決定されると、プロセッサはさらに、リアルタイム超音波画像を自動的にキャプチャし（すなわち、ローカルメモリに記憶し）、第１及び第２の関心領域（ＲＯＩ）の場所を決定し、第１及び第２のＲＯＩのエコー強度値の比を計算する。信頼メトリックが閾値を超えない場合、プロセッサはさらに、１つ以上の連続するリアルタイム画像フレームを自動的に受信し、１つ以上の連続するリアルタイム画像フレームそれぞれの信頼メトリックを出力して、エコー強度比定量化のための適切な画像フレームを特定するプロセスを続ける。一実施形態では、システムは、肝組織を超音波検査するように特に構成され、したがって、画像フレーム内の生体組織は、肝組織、腎組織、又はこれらの組合せのうちの少なくとも１つを含んでもよく、ニューラルネットワークは、入力画像が肝臓／腎臓エコー強度比の計算に適した肝臓及び右腎臓サジタルビューに対応する場合、閾値を超える信頼メトリックを生成するように特にトレーニングされていてもよい。
【0005】
[005] いくつかの実施形態では、人工ニューラルネットワークは、入力画像をセグメント化してセグメンテーションマップを生成するようにトレーニングされた畳み込みニューラルネットワークを含み、信頼メトリックは、リアルタイム画像のセグメンテーションマップに少なくとも部分的に基づいている。いくつかの実施例では、（例えば、別のニューラルネットワーク又は非機械学習アルゴリズムを実装している）プロセッサが、セグメンテーションニューラルネットワークによって出力されたセグメンテーションマップを、ターゲット画像ビューに対応するセグメンテーションマップ又は画像と比較する。比較は、ニューラルネットワーク又は他の画像処理技法によって、例えば、２つのマップを重ね合わせ、差を定量化することによって行われる。さらに他の実施例では、信頼メトリックは、例えば、マップ、したがってソース画像が十分な量の特定のタイプの組織（例えば、腎組織）を含むかどうか、及び／又は画像が画像内の適切な場所で特定のタイプの組織を視覚化するかどうかを決定するために、セグメンテーションマップの内容を定量的に分析することによって計算される。いくつかのそのような実施形態では、ニューラルネットワークは、入力画像を、縮小パスの後に拡張パスに沿って伝播して、前記セグメンテーションマップを生成する完全畳み込みネットワークを含む。いくつかの実施例では、完全畳み込みネットワークは、縮小パスに沿ったいくつかのダウンサンプリング畳み込み層と、拡張パスに沿った同数のアップサンプリング畳み込み層とを有する対称ネットワークを含む。
【0006】
[006] いくつかの実施形態では、信頼メトリックは、入力画像を複数のカテゴリのうちの１つに分類することによって決定される。このような実施例では、ニューラルネットワークは、入力画像を複数のカテゴリ又はクラスのうちの１つに分類する深層畳み込みネットワークを含み、カテゴリ又はクラスのそれぞれは、複数の異なる信頼メトリック値のうちの１つに関連している。このような実施例では、画像をカテゴリに分類すると、システムは、（ニューラルネットワーク又は非機械学習ベースのアプローチを使用して）画像をセグメント化し、異なるタイプの組織に対応する画像内の領域を特定し、したがって、エコー強度比を測定するための推奨ＲＯＩを自動的に生成することに進む。いくつかの実施例では、推奨ＲＯＩは、画像と共に表示され（例えば、画像内のそれぞれの場所にオーバーレイされ）、ユーザによる選択後に、システムは、測定用のＲＯＩを推奨ＲＯＩに設定し、エコー強度比を計算する。いくつかの実施形態では、システムはさらに、信頼メトリックの現在値を表すグラフィカルインジケータを表示することなどによって、適切なビューの取得中にユーザにガイダンスを提供する。グラフィカルインジケータは、システムがビュー特定又はマッチングをバックグラウンドで行っている間にリアルタイムで動的に更新され、この結果、グラフィカルインジケータは、任意の所与の時間に、信頼メトリックの現在の計算値を表す。
【0007】
[007] いくつかの実施例による生体組織の超音波検査方法は、超音波システムのプロセッサによって、１つ以上のタイプの生体組織を表すリアルタイム超音波画像を受信するステップと、リアルタイム超音波画像を、各入力画像の信頼メトリックを出力するようにトレーニングされた少なくとも１つの畳み込みニューラルネットワークに提供するステップとを含む。さらに説明されるように、信頼メトリックは、リアルタイム超音波画像がターゲット画像ビューに従って生体組織を視覚化する確率を示す。信頼メトリックが、超音波システムによって閾値を超えると決定された場合、例示的な方法は、リアルタイム超音波画像を超音波システムのローカルメモリに自動的に記憶するステップと、関心領域（ＲＯＩ）の場所を決定するステップと、第１の関心領域（ＲＯＩ）のエコー強度値の第２の関心領域（ＲＯＩ）のエコー強度値に対する比を計算するステップとを続ける。信頼メトリックが閾値を超えないと決定された場合、方法は、例えば、十分に高い信頼メトリックを有する画像が特定されるまで、１つ以上の連続するリアルタイム画像それぞれの信頼メトリックを判定するために、１つ以上の連続するリアルタイム画像を少なくとも１つの畳み込みニューラルネットワークに自動的に提供するステップを続ける。
【0008】
[008] 本明細書で説明される方法のいずれか、又はそのステップは、実行可能命令を含む非一時的コンピュータ可読媒体で具現化される、実行可能命令は、実行されると、医用イメージングシステムのプロセッサに、本明細書で具現化される方法又はステップを行わせる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
[022] 特定の実施形態の以下の説明は、本質的に単に例示的なものであり、本発明、その応用又は使用を限定することを決して意図するものではない。本システム及び方法の実施形態の以下の詳細な説明では、本明細書の一部を形成し、説明されるシステム及び方法を実施することができる特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が、ここに開示されたシステム及び方法を実施することを可能にするのに十分詳細に説明されている。また、他の実施形態が利用されてもよく、構造的及び論理的な変更が本システムの精神及び範囲から逸脱することなく、なされてもよいことが理解されるべきである。さらに、明確にするために、特定の特徴の詳細な説明は、本システムの説明を不明瞭にしないように、当業者に明らかである場合には論じない。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではなく、本システムの範囲は、添付の特許請求の範囲によってのみ定義される。
【0011】
[023] 非アルコール性脂肪肝疾患（ＮＡＦＬＤ）は、肥満及び糖尿病の割合の上昇による、世界中で最も一般的な肝疾患である。脂肪肝疾患は、非アルコール性脂肪肝炎（ＮＡＳＨ）及び肝線維症を含む長期合併症につながる可能性がある。治療せずに放置すると、肝硬変や原発性肝がんという命にかかわる段階にさらに進行する可能性がある。
【0012】
[024] 現在の臨床診療において、肝疾患を評価するためのゴールドスタンダードは、肝生検であるが、これは、サンプリングエラーや解釈のばらつきが生じやすい侵襲的な手順である。ＭＲプロトン密度脂肪分画（ＰＤＦＦ）が、肝脂肪含有量の定量的バイオマーカを提供することができるので、ＮＡＦＬＤ診断のための新しい参照標準と考えられている。しかし、ＭＲ－ＰＤＦＦは高価な診断ツールであり、すべての病院では利用できない可能性がある。超音波に基づく肝腎エコー強度比測定（又は単純に肝腎比、すなわち、Ｈ／Ｒ比）は、脂肪肝検出のための比較的簡単で費用効果の高い方法である。ＭＲと比べて、超音波はリアルタイムで、費用効果の高いイメージングモダリティであり、一般集団及び低リスク群のスクリーニングにより適している。
【0013】
[025] 一般に、Ｈ／Ｒ比を決定するための超音波エコー強度は、肝臓及び腎臓皮質内に同じ深さにある関心領域（ＲＯＩ）を１つずつ選択し、２つのＲＯＩのエコー強度間の比率を（例えば、平均値、中間値、中央値、又は他の何らかの統計値を使用して）計算することによって算出される。肝臓内の過剰な脂肪浸潤は、音響後方散乱係数を増加させ、超音波Ｂモード画像においてより高いグレースケール値をもたらす。正常な状態では、肝実質及び腎皮質のエコー輝度は同程度である。脂肪沈着が多くなると、肝臓は腎皮質よりもエコー輝度が高いように（すなわち、明るく）見えるようになる。臨床診療におけるＨ／Ｒ比の使用は、提案されている他の脂肪肝診断超音波法より一般的に好まれているが、そのオペレータ依存性及び測定値のばらつきのため、Ｈ／Ｒ肝の使用は、日常的に使用される臨床ツールとしてまだ受け入れられていない。
【0014】
[026] 超音波肝臓検査は、例えば、肋骨下又は肋間像を取得するためにプローブを配置することによって、肝臓の異なる領域（例えば、左葉及び右葉）をスキャンするために腹部の様々な位置で行われ得る。しかしながら、Ｈ／Ｒ比の定量化には、肋間スキャンによる特定の肝臓及び右腎臓サジタルビューが必要である。超音波イメージング中に両方の器官が視野内にあることが重要である。肝臓と右腎臓との境界は、画像の中心付近に配置されるべきである。この画像のビューは、非常に熟練した超音波検査技師にとっては比較的容易に得ることができるが、経験の少ないオペレータでは困難である（また、ばらつきがある）可能性がある。したがって、最適なビューが、スキャンを行うユーザによって変わってしまうので、Ｈ／Ｒ比測定は依然としてオペレータ依存性の高いプロセスである。オペレータ間及びオペレータ内のばらつきも、Ｈ／Ｒ比の評価における測定誤差及びばらつきをもたらし、潜在的な誤診につながる可能性がある。Ｈ／Ｒ比を一次脂肪肝スクリーニングツールにするためには、標準化され自動化された測定が、特に、リソースの少ない環境における経験の少ないユーザのために望ましい。本明細書の実施例によれば、オペレータ依存性を低減し、従って、測定信頼性を向上させ、例えば、Ｈ／Ｒ比定量化の信頼性を向上させ得る、インテリジェント肝スキャンインターフェースを有する超音波システムが説明される。いくつかの実施形態では、本明細書のシステム及び技法は、１つ以上の適切にトレーニングされたニューラルネットワークを使用することによってさらによくされる。
【0015】
[027] 本明細書の実施例によれば、超音波イメージングシステムは、Ｈ／Ｒ比の定量化に適したビューの特定及び／又は捕捉においてユーザを支援するように構成される。本明細書のシステム及び技法はさらに、Ｈ／Ｒ比定量化のプロセスにおいてユーザを支援するように構成される。上述したように、信頼性のあるＨ／Ｒ比計算は、Ｈ／Ｒ比の定量化に適したビューを選択することと、深さに依存するエコー強度の減衰を回避するために、同じ深さでの肝臓及び腎臓実質におけるＲＯＩの正確な配置とに依存する。ワークフローのこれらの側面は、経験のないユーザにとって特に難しく、したがって、本明細書で説明されるシステム及び方法は、ＲＯＩの適切な選択、及びＨ／Ｒ比の計算の実行においてユーザを支援するために、肝スキャンプロトコルの１つ以上のステップを自動化する。
【0016】
[028] 図１は、本開示の原理によるＨ／Ｒ定量化のための例示的なプロセスのフロー図１００を示す。Ｈ／Ｒ定量化プロセスは、例えば、超音波検査技師が超音波画像データを取得している間にリアルタイムで行われる。例えば、リアルタイム超音波イメージング（ステップ１１０）中に、例えばユーザ入力に応答して、インテリジェント肝スキャンモードが起動される（ステップ１１２）。いくつかの実施例では、インテリジェント肝スキャンモードを起動するためのユーザ入力は、イメージングの前又は開始時に、ユーザによるグラフィカルユーザ制御（例えば、図３参照）の選択に応答して、又はインテリジェント肝スキャンモードを呼び出すように適切に構成された任意の他のタイプのユーザ制御の動作に応答して生成される。他の実施例では、インテリジェント肝スキャンモードは、例えばテキストフィールドにおけるスキャンの性質（例えば、肝臓）の指定に応答して、音声コマンドに応答して、又は、画像データ若しくは他の補助データ（例えば、患者病歴、以前の患者検査）に基づいてスキャンの性質を決定するシステムによって自動的に、異なるタイプの入力に応答して起動される。インテリジェントの肝スキャンモード中に、システムは、以下でさらに詳細に説明するように、１つ以上の命令セットを実行する。
【0017】
[029] 図１に示されるように、インテリジェント肝スキャンモード１０１の間、システムは、ビューマッチング、自動画像キャプチャ、ＲＯＩ特定、及びエコー強度比定量化のための１つ以上の命令セットを実行する。図１の例示的なプロセスでは、インテリジェント肝スキャンモード１０１の起動の後、プロセスは、ビューマッチングステップ（ステップ１１４）に進み、Ｈ／Ｒ比の定量化に適した画像ビューが特定される。このプロセスの間、システムは、Ｈ／Ｒ比の定量化に適したビューに対応するライブ超音波画像を示す信頼メトリックを決定及び／又は（例えば、ユーザに表示するために）出力する。上述したように、Ｈ／Ｒ比定量化に適切なビューは、肝臓／右腎臓サジタルビューであるので、システムは、画像が適切な画像ビュー（ターゲット画像ビューとも呼ぶ）に対応するかどうかを認識するようにトレーニングされるか、又は他の方法で構成されていてよい。いくつかの実施形態では、ビューマッチングサブプロセスは、１つ以上の機械学習画像分類モデルを用いて行われるか又は強化される（ステップ１１５）。このような実施例では、適切な画像分類を行うようにトレーニングされた機械学習画像分類モデル（又は分類ニューラルネットワーク）に、生体組織の１つ以上の超音波画像（例えば、患者の肝臓のリアルタイム超音波画像）が提供される。分類ニューラルネットワークは、各入力画像を１つ以上の分類（例えば、「一致」、「一致／不一致」、又は一致と不一致との間の、一致の品質を示す任意の数の中間カテゴリ）に分類し、分類又は他の何らかの形式の信頼メトリック（例えば、コールドホットカラーバーにグラフィカルに表示され得る数値）を出力する。いくつかの実施例では、プロセスは、一致として分類される画像が特定されると（例えば、分類の結果が表示されることなく）、ステップ１１６に自動的に進む。他の実施例では、ステップ１１４におけるビューマッチングプロセスは、追加的に又は代替的に、現在知られている又は今後開発される他の画像処理及び分類技術によって行われてもよい。
【0018】
[030] システムは、適切な画像ビューを表すものとして特定された画像を自動的にキャプチャして（例えば、ローカルメモリに記憶して）（ステップ１１６）、Ｈ／Ｒ比定量化のための後続のステップに進んでもよい。例えば、システムは、例えば、従来の画像処理技術を使用して、又は好ましくは機械学習画像セグメンテーションモデルを使用して（ステップ１１９）画像セグメンテーション（ステップ１１８）を行い、異なるタイプの組織（例えば、肝臓及び腎臓）に対応する画像内の領域を特定する。セグメンテーションは、適切なビューを特定するために、及び／又は測定ＲＯＩの配置を推奨するために使用される。適切なビューが特定されると、システムは、ビューを自動的に（すなわち、ユーザが「取得」ボタンを押す必要なく）キャプチャする。これは、ワークフローを改善し、ユーザがボタンを押す必要がある結果としてプローブが動いてしまうリスクを低減し、したがって、取得された画像ビューが所望の／ターゲットビューから逸脱するリスクを低減する。いくつかの実施形態では、システムは、（例えば、可聴音によって、又は自動的にフリーズモードになって、取得されたビューを表示することによって）所望のビューが取得されたことの通知を提供する。
【0019】
[031] 次いで、システムは、ガイダンスを提供するか、又は、Ｈ／Ｒ定量化のためのＲＯＩを自動的に選択する。例えば、システムは、第１及び第２のＲＯＩ（例えば、肝臓及び腎臓のＲＯＩ）を配置するための場所の１つ以上の適切なペアを特定する。システムは、（例えば、ペアリングを示すために同じペア内のＲＯＩを同じ色を使って表示するか、又はペアを順番に表示して、ユーザがペアのセットをスクロールすることを可能にすることによって）適切なペアをユーザに表示し、ＲＯＩのペアのユーザ選択を待つ。あるいは、システムは、ＲＯＩのペアを自動的に選択し、Ｈ／Ｒ比を計算するためにステップ１２０に進んでもよい。適切なＲＯＩのペアは、画像内の同じ深さにあるように、第１及び第２のＲＯＩがそれぞれ肝臓及び腎臓組織内にあるように、またＲＯＩがイメージングアーチファクトとなる傾向がある領域（例えば、組織間の境界に近すぎるか又は重なり合う、血管又は他の不均一な身体構造に近いか又は重なり合う）内にないように特定される。さらに、推奨されるＲＯＩは、ＲＯＩが（腎洞及び腎髄質を避けた）腎皮質内の場所に確実に配置され、かつ、肝臓の場合は、ＲＯＩが血管又は病変のない肝実質に確実に配置されるように、システムによって適応的に（例えば、腎皮質及び肝臓のサイズ及び形状に基づいて）定義される。複数のＲＯＩペアがユーザに提案されてユーザ選択を可能にし、測定精度を向上させる。又は、場合によっては、Ｈ／Ｒ比定量化は、同じ画像上の複数のＲＯＩペアに対して行われて、より良好な測定性能が達成される。
【0020】
[032] ステップ１２０において、システムは、例えば、ＲＯＩ内のすべてのピクセルのエコー強度の平均値、中間値、中央値、又は他の何らかの統計的に適切な表現などの、各ＲＯＩのエコー強度の代表値を決定し、２つの代表エコー強度値の比をとることによって、Ｈ／Ｒ比を計算する。計算されたＨ／Ｒ比は、画像と共に、例えば、画像上の注釈として、画像ファイルのヘッダに添付されるメタデータとして、レポートにアーカイブされる測定値として、又は任意の他の適切な関連付けを使用して記憶され、次いで、注釈付けされた／添付された画像は、（最初はローカルに、検査の完了時には、例えば、外部記憶装置に長期保管で）記憶され、これにより、イメージングデータ及び測定値は、臨床決定支援のために使用できる（ステップ１２２）。
【0021】
[033] 理解されるように、図１のステップ及びその配列は、単に例示のためのものであり、ステップの組み合わせ、再配列、追加、又は削除などの変形形態が企図される。例えば、図１のプロセスは、リアルタイムイメージングのコンテキストで示されているが、当然ながら、プロセスは以前に取得されたデータを用いて行ってもよい。例えば、インテリジェント肝スキャン特徴を起動したとき、システムは、肝臓及び腎臓を含む被検者のボリュームの以前に取得された３Ｄ画像データのセットを受信し、３Ｄ画像データ内の各スライスをスクロールするように進んで、ステップ１１４を参照して説明されたように、Ｈ／Ｒ比定量化の適切なビューを表す適切なスライス又はＭＰＲビューを特定する。適切なビューが特定されると、システムは、前述したように、画像セグメンテーション及びＨ／Ｒ比定量化に進み、次いで、抽出されたＭＰＲビュー及び計算された測定値を後続の診断目的のために記憶する。
【0022】
[034] 別の実施例では、例えば、画像セグメンテーションを行うようにトレーニングされた１つ以上のニューラルネットワークを使用して、ビューマッチングサブプロセスとセグメンテーションサブプロセスとを組み合わせてもよい。画像セグメンテーションは、画像が両方のタイプの組織を含むかどうか、また、信頼性のあるＨ／Ｒ比定量化のために必要とされる十分な量の２つのタイプの組織を含むかどうかを決定するために使用されるので、適切なビューの特定の間に、ステップ１１４において使用される。次に、ステップ１１８及び１１９を参照して説明したように、ニューラルネットワークによって生成された画像セグメンテーションを、（例えば、システムによるガイダンス又は自動選択のために）ＲＯＩ配置のために使用できる。このようなシナリオでは、ステップ１１９の機械学習画像セグメンテーションモデルは、プロセスの早期に（例えば、ステップ１１２の後に）呼び出されてもよく、入力画像（例えば、リアルタイム画像フレーム）は、画像ビューマッチングのためにステップ１１９のニューラルネットワークに提供されてもよく、これは、分類モデル１１５を不要にする。このようなシナリオでは、自動画像キャプチャ（このプロセスはリアルタイムイメージング中に行われると仮定する）が画像セグメンテーションステップ１１９の後に続く。任意の数の他の変形又は組合せも可能であり、本開示を考慮すると理解されるであろう。
【0023】
[035] 図２は、本開示のいくつかの実施例によるシステム２００のブロック図を示す。図２のシステムは、プロセス１００若しくはその任意のサブプロセスを少なくとも部分的に具現化するか、又は、それを行うために使用される。図２は、超音波トランスデューサ又はプローブ２１１、ビームフォーマ２２０、コントローラ２２４、及び信号プロセッサ２２２を含む超音波データ取得ユニット２１０を示す。図２はまた、ディスプレイ２３８を含むユーザインターフェース２３６と、メモリ２２９と、少なくとも１つの画像データプロセッサ２２３とを示しており、これらはすべて、例えばデータバス２２６を介して超音波データ取得ユニット２１０に通信可能に結合されている。図２に示すシステム２００の構成要素及びその配置は、単に例示的であり、構成要素の組み合わせ、再配置、追加、又は除去などの変形形態が企図される。
【0024】
[036] 超音波データ取得ユニット２１０は、超音波画像データ２３２を取得する。超音波画像データは、リアルタイムで（すなわち、被検者を超音波スキャンすることによって画像データが取得されるにつれて）ディスプレイ２３８に表示される。超音波データ取得ユニット２１０は、典型的な超音波スキャナの構成要素のいくつか又はすべてを含んでいてもよい。例えば、超音波データ取得ユニット２１０は、超音波センサアレイ２１２を含む超音波トランスデューサ又はプローブ２１１を含む。センサアレイ２１２は、生体組織２１６（例えば、肝臓、腎臓、乳房、心臓組織、又は被検者の他のタイプの生体組織）に向けて超音波２１４を送信し、生体組織２１６からエコー２１８を検出して、生体組織２１６を超音波イメージングする。いくつかの実施例では、イメージングされた組織２１６は、少なくとも２つの異なるタイプの組織、例えば、肝実質２１７及び腎実質２１９を含む。例えば、線形アレイ、曲面アレイ、又はフェーズドアレイである様々なトランスデューサアレイを使用できる。アレイ２１２は、例えば、２Ｄ及び／又は３Ｄイメージングのための仰角寸法及び方位角寸法の両方でスキャンすることができるトランスデューサ素子の２次元アレイを含む。超音波データ取得ユニット２１０は、信号プロセッサ２２２を含み、これは、センサアレイ２１２と、一緒に収容されていても、物理的に分離されていて、通信可能に（例えば、有線又は無線接続を介して）結合されていてもよい。例えば、アレイ２１２は、ハンドヘルドプローブ内に配置されていて、一方、信号プロセッサ２２２は、超音波システムベース２３０内に配置されていて、場合によっては、タブレットなどのポータブルコンピューティングデバイス内に具現化されていてもよい。
【0025】
[037] アレイ２１２は、アレイ２１２の動作を制御するビームフォーマ２２０を介してシステムベース２３０に結合される。いくつかの実施形態では、ビームフォーマ２２０が１つ以上のビームフォーマ（例えば、超音波システムベース内のメインビームフォーマと組み合わせられるマイクロビームフォーマ、送信及び受信マイクロビームフォーマ及び／又はメインビームフォーマの組み合わせ）を含む。ビームフォーマ２２０は、アレイ２１２による超音波の送信及びエコー信号の受信を制御する。いくつかの実施形態では、ビームフォーマ２２０は、プローブ内の超音波アレイと同じ場所に配置され、超音波センサアレイ２１２のセンサ素子のグループによる信号の送信及び／又は受信のためにセンサ素子のグループに作用するマイクロビームフォーマを含む。いくつかの実施形態では、マイクロビームフォーマは、メインビームフォーマを高エネルギー送信信号から保護するように送信と受信とを切り替える送信／受信（Ｔ／Ｒ）スイッチ（図示せず）に結合される。いくつかの実施形態では、例えば、ポータブル超音波システムでは、Ｔ／Ｒスイッチ及びシステムの他の要素は、システムベース２３０ではなく超音波プローブに含まれていてもよい。超音波ベースは、通常、信号処理及び画像データ生成のための回路だけでなく、ユーザインターフェースを提供するための実行可能命令を含むソフトウェア及びハードウェア構成要素を含む。いくつかの実施形態では、超音波プローブは、無線接続（例えば、ＷｉーＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標））を介して、又は有線接続（例えば、並列又は直列データ伝送用に構成されたプローブケーブル）を介して、超音波システムベースに結合される。
【0026】
[038] システム２００は、アレイ２１２によって検出されたエコーから超音波画像を生成するための１つ以上の処理構成要素を含む。例えば、システム２００は、超音波画像２３２を生成するためにトランスデューサ２１１から受信されたエコー信号を処理する信号プロセッサ２２２と、システムのディスプレイ上に超音波画像を提示する少なくとも１つの画像データプロセッサ２２３とを含む。超音波データ取得ユニット２１０は、ユーザインターフェース２３６を含むか、又はそれに動作可能に結合される。ユーザインターフェース２３６は、信号プロセッサ２２２を収容するシステムベース２３０と一体化されるか、又は物理的に接続される。いくつかの実施形態では、ユーザインターフェースの少なくともいくつかの構成要素は、信号プロセッサ２２２に無線で接続されていてもよい。
【0027】
[039] ユーザインターフェース２３６は、超音波画像２３２、場合によっては対話型グラフィカルユーザインターフェース（ＧＵＩ）構成要素を表示するためのディスプレイ２３８を含む。ユーザインターフェース２３６はまた、システム２００の動作を制御するための１つ以上のユーザ制御部２３７を含む。いくつかの実施形態では、ユーザ制御部２３７は、システムベース２３０のコントロールパネル上に提供される１つ以上のハード制御部（例えば、ボタン、ノブ、ダイヤル、エンコーダ、マウス、トラックボールなど）を含み得る。いくつかの実施形態では、ユーザ制御部２３７は、タッチセンシティブディスプレイ上に提供されるソフト制御部（例えば、ＧＵＩ制御素子又は単に、ＧＵＩ制御部）を追加的に又は代替的に含み得る。システム２００はまた、ローカルメモリ２２９を含む。ローカルメモリは、１つ以上のハードディスクドライブ、ソリッドステートドライブ、又は不揮発性メモリを含む任意の他のタイプの適切な記憶デバイスによって提供される。ローカルメモリ２２９は、画像データ、実行可能命令、又はシステム２００の動作に必要な他の任意の情報を記憶する。いくつかの実施例では、システム２００はまた、外部メモリ、例えば、画像データ及び他の患者情報の長期記憶のための画像保管及び通信システム（ＰＡＣＳ）記憶デバイスに（有線又は無線接続を介して）通信可能に接続されていてもよい。
【0028】
[040] 信号プロセッサ２２２は、センサアレイ２１２及び／又はビームフォーマ２２０に通信可能、動作可能、及び／又は物理的に結合される。信号プロセッサ２２２は、センサアレイ２１２によって検出された超音波エコー２１８を表す、フィルタリングされていない無秩序の超音波データを受信する。このデータから、信号プロセッサ２２２は、超音波画像データを生成し、この超音波画像データは、例えば、プロセッサ２２３によって、表示のために画像２３２に適切に構成される。例えば、信号プロセッサ２２２は、帯域通過フィルタリング、デシメーション、Ｉ及びＱ成分分離、及び高調波信号分離などの様々なやり方で受信エコー信号を処理する。また、信号プロセッサ２２２はまた、スペックル低減、信号複合化、及び雑音除去などの追加の信号強化を行ってもよい。次いで、信号プロセッサ２２２は、振幅検出、又は、体内の構造のイメージングのための任意の他の既知の又は後で開発される技術を採用するなどして、成分信号からＢモード画像データを生成する。Ｂモード画像データはさらに、例えば信号をそれが受信された空間関係で所望の画像フォーマットで配置するために、スキャン変換によって処理される。例えば、スキャン変換は、信号を、２次元（２Ｄ）扇形フォーマット、又は角錐状若しくは他の方法で成形された３次元（３Ｄ）フォーマットに配置する。Ｂモード画像データは、あるいは又はさらに、例えば米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に説明されているように、身体内のボリュメトリック領域内の共通平面内の点から受け取ったエコーを、その平面の超音波画像（例えば、Ｂモード画像）に変換するマルチプレーナリフォーマッタによって処理されてもよい。システム２００の１つ以上のプロセッサ（例えば、プロセッサ２２２又は２２３）は、さらに又はあるいは、例えば米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎ他）に説明されているように、Ｂモード画像データのボリュームレンダリング（すなわち、所与の基準点から見た３Ｄデータセットの画像）を生成してもよい。
【0029】
[041] 信号処理及び画像データの生成は、オペレータが組織２１６を超音波スキャンする際にリアルタイムで行われ、それにより、画像データは、被検者のリアルタイム（すなわち、ライブ）画像として表示される。あるいは、画像２３２は、システム２００に関連付けられているメモリ（例えば、ローカル又は外部メモリ）に記憶された、以前に取得された画像データから生成されてもよい。上述したように、超音波データ取得ユニット２１０は、例えば、アレイ２１２による信号の送受信だけでなく、システム２００の特定の信号及び画像処理機能を制御するために、システム２００のイメージングパラメータを設定するコントローラ２２４を含む。コントローラ２２４はとりわけ、システム２００のイメージングパラメータを制御又は設定し、この設定は、アレイ２１２による信号の送信及び検出のために、アレイの素子の励起を制御する際にビームフォーマ２２０によって利用される。コントローラ２２４によって適用される設定はまた、例えば、画像の表示のための圧縮されたダイナミックレンジ、又は他の画像処理もしくは表示設定を制御することによって、取得された超音波データの信号及び画像処理に影響を及ぼす。上述したように、ビームフォーマの制御下でのトランスデューサアレイ２１２からの超音波パルスの送信は、Ｔ／Ｒスイッチに結合され、ユーザインターフェース２３６のユーザ操作からの入力を受信する送信／受信コントローラによって指示される。コントローラ２２４によって制御され得る別の機能は、電子的ステアリング可能なアレイの場合、ビームがステアリングされる方向である。ビームは、トランスデューサアレイ２１２から（トランスデューサアレイ２１２に直交して）まっすぐ前にステアリングされても、又はより広い視野のために異なる角度でステアリングされてもよい。
【0030】
[042] 図２に示されるように、データ取得ユニット２１０は、例えば、本明細書に説明されるように、インテリジェント又は誘導肝スキャンを行うために、生体組織のインテリジェントスキャン（コンピュータ支援スキャン又はＡＩ支援スキャンとも呼ぶ）に関連する機能のうちの１つ以上を行う少なくとも１つのプロセッサ２２３に通信可能に接続される。プロセッサ２２３は、１つ以上の処理ユニット（例えば、１つ以上のシングル又はマルチコアＣＰＵ、単一のＧＰＵ又はＧＰＵクラスタ、又は、例えば並列処理のために構成された複数のプロセッサの任意の配置）を含み、本明細書に説明する機能を行うように一意的に構成されている。例えば、プロセッサ２２３は、リアルタイム画像を受信し、リアルタイム画像の信頼メトリックを出力する。信頼メトリックは、ターゲット画像ビューに従ってリアルタイム超音波画像が生体組織を視覚化する確率を示す。少なくともいくつかの実施形態では、プロセッサ２２３は、少なくとも１つの人工ニューラルネットワークを使用して、信頼メトリックを生成する。信頼メトリックが閾値を超えると決定されると、プロセッサ２２３はさらに、リアルタイム超音波画像を自動的にキャプチャし（すなわち、ローカルメモリに記憶し）、第１及び第２の関心領域（ＲＯＩ）の場所を決定し、第１及び第２のＲＯＩのエコー強度値の比を計算する。信頼メトリックが閾値を超えない場合、プロセッサ２２３はさらに、１つ以上の連続するリアルタイム画像フレームを自動的に受信し、１つ以上の連続するリアルタイム画像フレームそれぞれの信頼メトリックを出力して、エコー強度比定量化のための適切な画像フレームを特定するプロセスを続ける。
【0031】
[043] １つの例示的な実施形態では、システム２００は、肝組織を超音波検査するために具体的に構成され、したがって、画像フレーム内の生体組織は、肝組織、腎組織、又はこれら２つの組合せの少なくとも一部を含み、ニューラルネットワークは、肝臓／腎臓エコー強度比を計算するのに適した肝臓及び右腎臓サジタルビューに所与の入力画像が対応する確率を定量化する信頼メトリックを生成するように具体的にトレーニングされる。このために、ニューラルネットワークは、画像が、閾値を超える数値に関連する少なくとも１つのカテゴリを含む複数のカテゴリのうちの１つ以上に分類されるべき確率を決定するようにトレーニングされる。本明細書の実施例は、肝イメージングのコンテキストで説明されているが、当然ながら、本開示の原理は、他のイメージング用途に適用されてもよい。例えば、生体組織におけるエコー強度を使用して、組織組成、組織の均質性又は不均質性、肝臓以外の生体組織における水及び／又は脂肪含有量を評価することができ、したがって、本明細書に詳細に説明される肝イメージングの実施例以外の他の用途において、組織を特徴付ける又は診断することができる。
【0032】
[044] プロセッサ２２３は、生体組織のインテリジェントスキャンに関連する機能を行うことに加えて、画像データ及び関連情報の表示に関連する他の機能を提供する。いくつかの実施形態では、プロセッサ２２３は、表示プロセッサ２３４を含み、表示プロセッサは、注釈を生成し、ディスプレイ２３８に、注釈を画像データ、（例えばビューマッチング中のフィードバックを提供するための）グラフィカルインジケータ、及び／又はシステム２００のインテリジェントスキャンモードに関連するグラフィカルユーザインターフェース構成要素のいずれかと共に提示させる機能をさらに含む。例えば、表示プロセッサ２３４は、ディスプレイ２３８上に表示される前さらなる強調、バッファリング、及び一時記憶のために画像データを受信する。ディスプレイ２３８は、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、又はプラズマディスプレイ技術などの、種々の既知のディスプレイ技術を用いて実施されるディスプレイデバイスを含み得る。図２では、例示のために、エンジン２２７と表示プロセッサ２３４とは別個の構成要素として示されているが、実際には、これらの構成要素（及び本明細書で説明される任意の他の処理構成要素）の機能は、単一のプロセッサ又は一緒に（例えば、並列に）動作するように構成されたプロセッサのクラスタに統合されていてもよい。
【0033】
[045] さらに説明されるように、プロセッサ２２３は、ソフトウェア（例えば、ソースコード又はコンパイルされた／機械命令の形態の実行可能命令）及びハードウェア構成要素（例えば、実行可能命令及び／又はエンジン２２７の機能のうちの１つ以上を行うように具体的にプログラムされた特定用途向け集積回路ＡＳＩＣなどの配線回路によってプログラム可能な１つ以上のプロセッサ）の任意の適切な組合せで具現化されるエコー強度比定量化エンジン２２７を含む。エンジン２２７は、図１を参照して説明したステップのうちの１つ以上を行うための機能を含む。いくつかの実施例では、エンジン２２７の機能は、プロセッサ実行可能命令２２５によって実装される。プロセッサ実行可能命令２２５は、プロセッサ２２３によって実行されると、イメージングのための適切なビューの特定及び／又は２つのＲＩＯのエコー強度比の定量化に関連する機能を行うようにプロセッサを構成又はプログラムする。いくつかの実施形態では、本明細書でさらに説明するように、エンジン２２７は、エンジン２２７の機能の１つ以上を行うようにトレーニングされた少なくとも１つのニューラルパーセプトロンの人工ネットワーク２２８（本明細書では人工ニューラルネットワーク又は単にニューラルネットワークとも呼ぶ）を含む。任意の適切なタイプの機械学習アルゴリズム（例えば、生成的、判別的、又はこれらの組合せ）及び／又はアーキテクチャを使用して、ニューラルネットワーク２２８を実装できる。いくつかの実施例では、ニューラルネットワーク２２８は、画像分類、画像セグメンテーション、画像比較、又はこれらの任意の組合せを実行するようにトレーニングされている深層ニューラルネットワーク、より具体的には深層畳み込みニューラルネットワークを含む。（例えば、ＰＡＣＳ又はクラウドストレージ内に）記憶される医用画像データや、トレーニング用画像に必要なラベリングを提供可能な注釈付き画像データのボリュームが増加すると共に、高品質な臨床画像の利用可能性が増加しており、これを利用して、医用画像データに対して分類、セグメンテーション、物体認識、又は他の画像処理タスクを行うようにニューラルネットワークをトレーニングすることができる。トレーニング画像は、イメージングシステムによって生成された完全な画像を含む必要はなく、関連するターゲット生体組織又は器官の医用画像のパッチ又は部分を含むことが理解されるであろう。
【0034】
[046] ニューラルネットワーク２２８は、任意の適切なアーキテクチャを有することができ、したがって、任意の数の入力層、出力層及び隠れノード層を任意の適切な構成（例えば、畳み込み層、正規化層、プーリング層、及び／又は高密度若しくは全結合層）で含む。いくつかの実施例では、ネットワーク２２８は、所望の結果を生成するようにトレーニングされたより大きなネットワークを形成する１つ以上のサブネットワークの任意の適切な構成を含む。さらなる実施例では、ニューラルネットワーク２２８は、例えば、ニューラルネットワーク２２８に入力されるデータの前処理及び／又はネットワーク２２８の出力の後処理を実行して、エコー強度比定量化エンジン２２７から適切な結果を生成するように、追加のプログラムに動作可能に関連付けられる。
【0035】
[047] 上述したように、システム２００の構成要素のいくつか又はすべては、（例えば、システムベース２３０内に）同じ場所に配置され、（例えば、データバス２２６を介して）通信可能に接続される。さらに又はあるいは、システム２００の構成要素は、１つ以上の有線又は無線接続を介して遠隔構成要素に接続されてもよい。例えば、システムベース２３０はさらに、外部ストレージ２３５（例えば、外部ドライブ又は医療施設のＰＡＣＳ記憶デバイス）に通信可能に結合される。いくつかの実施形態では、エンジン２２７の機能のいくつか又はすべては、クラウドサーバなどのリモートコンピューティングデバイス２３９内に常駐していてもよい。例えば、１つ以上のニューラルネットワーク２２８は、リモートコンピューティングデバイス２３９上に常駐して、実行され、システムベース２３０（例えば、タブレット超音波イメージングシステムなどのポータブルシステム）は、分類及び／又はセグメンテーションのためにライブ画像をクラウドに送信し、プローブ２１１によって取得された関連画像データと共に表示するために、エンジン２２７の出力（例えば、信頼メトリック）を受信する。
【0036】
[048] 本明細書に説明されるように、プロセッサ２２３は、エコー強度比定量化（例えば、Ｈ／Ｒ比を使用する脂肪定量化のための肝イメージングの場合）に適したビューを（例えば、入力されるリアルタイム画像から）を特定し、エコー強度比の計算に関連するさらなる処理のために、特定された適切なビューを自動的にキャプチャする。これらのプロセスは、集合的にインテリジェントスキャン又はＡＩ支援スキャンと呼ぶ。図３は、本明細書の実施例による超音波イメージングシステムのインテリジェントスキャンモードを起動し、したがって、プロセッサ２２３の関連機能を呼び出すために使用するグラフィカルユーザインターフェース（ＧＵＩ）３００の一例を示す。ＧＵＩ３００は、超音波システム（例えば、システム２００）のタッチセンシティブディスプレイ上に提供され、システムの機能を選択又は起動するための制御部３１０の１つ以上の対話型ＧＵＩ要素を含む。例えば、ＧＵＩ３００は、システム２００のインテリジェントスキャンモード３０１（ＡＩ支援の肝スキャン）を起動するための制御部３１０（例えば、脂肪定量化ソフトボタン）を含む。システム２００の任意の数のＡＩ支援機能を起動するために、任意の数のそのような制御部が提供されていてよい。インテリジェントスキャンモードで動作すると、システムは、ユーザにガイダンスを提供するか、又は対応するスキャンプロトコルの特定の動作を自動化する。
【0037】
[049] いくつかの実施例では、システムは、組織の適切なビューの取得においてユーザを誘導する。図４のパネルａ～ｃは、ＡＩ支援の肝スキャン中に提供され得る追加のグラフィック表示を示す。例えば、制御部３１０－１を介する起動時、システムは、例えば、タッチセンシティブディスプレイ上又はメインディスプレイ上の新しいウィンドウに、アイコン４１０（図４、パネルａ）などの１つ以上のガイダンスアイコンを表示する。このアイコンは、適切な解剖学的ビューを取得するためのプローブの配置においてユーザを誘導するようにデザインされたグラフィックを含む。さらに又はあるいは、システムは、所望の解剖学的ビュー内の器官の相対位置を示すグラフィックであるアイコン４１２（図４、パネルｂ）を表示してもよい。アイコン４１２は、ユーザ（特に、未経験のユーザ）が、スキャンを行う前又はスキャンを行っている間に最適なビューを視覚化するのを支援する。アイコン４１０、４１２の１つ以上は、スキャンセッションの開始時に一度表示されても、ユーザがスキャンを行い、システムがディスプレイのアクティブ領域４２０内にリアルタイム画像４２２を表示している間に、ディスプレイ上に同時に（例えば、縮小／サムネイル形式で）表示されてもよい（図４、パネルｃ）。オペレータがプローブを患者に当て、音響ウィンドウを取得すると、システムは（例えば、パネルｃに示すように）ライブ画像表示を自動的に起動し、システムは、被検者のリアルタイム画像、すなわち、ライブ画像の表示を開始する。いくつかの実施形態では、システムは、（例えば、プローブの視野内の所望の組織をより良好にキャプチャするために、ユーザにプローブをサジタル面上に沿って又はつま先からかかとに移動させるための視覚的又は聴覚的命令によって）プローブの操作方法に関する命令をユーザに提供するなど、システムがバックグラウンドで画像ビュー解析を行う間に、追加のガイダンスを提供する。
【0038】
[050] インテリジェントスキャンモード中に、各取得フレームの画像データは、リアルタイムで適切なビューの特定のためにエンジン２２７に提供される。上述したように、ビュー特定（又はビューマッチング）は、人工ニューロンの１つ又は任意の数の積み重ねられた、接続された、又はその他の適切に構成されたネットワークを含むニューラルネットワーク２２８によって行われる。いくつかの実施例では、ニューラルネットワーク２２８は、各入力画像について、信頼メトリック（本明細書ではマッチングスコアとも呼ぶ）を出力する深層畳み込みネットワークを含む。信頼メトリック（又はマッチングスコア）は、所与の画像が所望の又はターゲット画像ビューに対応する確率又は信頼レベルの指標を提供する。マッチングスコアは、少なくとも部分的に、分類、セグメンテーション、物体検出、又は画像の内容を解析するための他の技法、又はこれらの任意の適切な組合せによって導出される。いくつかの実施例では、深層畳み込みネットワークは、画像セグメンテーションを行うようにトレーニングされた完全畳み込みネットワークを含む。いくつかの実施形態では、深層畳み込みネットワークは、物体検出、画像セグメンテーション、又は両方を行う少なくとも１つの畳み込みサブネットワークと、任意選択で、物体検出又はセグメンテーションの出力を分類して信頼メトリックを生成する少なくとも１つの追加サブネットワークとを含む。いくつかの実施例では、完全畳み込みネットワークは、高密度（すなわち、ピクセルごとの）予測によく適しているため、画像を関連するピクセルの複数のセグメントに分割するように効果的にトレーニングできるので、画像セグメンテーションの機械学習に特によく適している。
【0039】
[051] 一例では、ネットワーク２２８（例えば、深層畳み込みネットワーク）は、各入力画像を複数のカテゴリのうちの１つに分類するように画像分類を行うようにトレーニングされる。深層畳み込みネットワークは、入力画像を受信する入力層と、分類（例えば、バイナリ分類か、又は入力画像が分類カテゴリのいずれか１つに関連する確率をリストしたベクトル）を出力する出力層と、畳み込み層、プーリング層、正則化層、及び全結合（又は高密度）層を含む任意の数の中間層とを含む。図５は、本開示のいくつかの実施例で使用され得る畳み込みネットワークの例示的なアーキテクチャを示す。ネットワーク５００は、入力層５１０と、各々が１つ以上の正則化層及びプーリング層に関連付けられている４つの畳み込み層５１２と、２つから４つ（この特定の場合には３つ）の全結合層５１４とを含み、最後の全結合層が出力層５１４－３である。しかし、他の実施例では、ネットワークは、例えば、データセットの複雑さに応じて異なる数の層、例えば、より少ない又はより多い数の畳み込み層及び／又は全結合層を含み得る。入力層５１０は、入力画像５０１（例えば、肝組織及び／又は腎組織を視覚化する超音波画像）を受信する。画像５０１は、単一チャネル（グレースケール）又はマルチチャネル（カラー）画像であり得る。図示の例では、入力画像５０１は、１５０×１５０ピクセル解像度を有する３チャネルグレースケール画像であり、したがって、ネットワーク５００に入力されるボリュームは、サイズ１５０×１５０×３を有するピクセル値の３次元アレイであるが、他の実施例では入力サイズが異なってもよい（例えば、１２８×１２８、２５６×２５６、又は任意の他の解像度の画像を受け入れる）ことが理解されよう。各畳み込み層において、複数のフィルタが入力画像に畳み込み演算を行い、特徴（又は活性化）マップ（例えば、層５１２－１で３２個、層５１２－２で１６個、層５１２－３で８個、及び層５１２－４で４個）のスタックである各畳み込み層の出力を生成する。プーリングを伴う畳み込み層に続いて、空間次元における入力サイズが縮小され（例えば、１５０から７５へ、次いで３７）、このダウンサンプリングは、一部のプーリングのタイプ（例えば、最大、平均、Ｌ２ノルムなど）、畳み込みストライド、及びプーリングストライドに依存する。図示の具体例では、入力画像は、最後の畳み込み層５１２－４の出力において、４つの３７×３７活性化マップのスタックに処理され、次いで、第１の全結合層５１４－１に提供され、第１の全結合層は３２サイズのベクトルを出力する。次に、第１の全結合層５１４－１の出力は、それぞれ１６及び２の出力サイズを有する２つの追加の全結合層５１４－２、５１４－３を通って伝播され、最後の全結合（すなわち、出力）層５１４－３において、２次元ベクトルを出力し、各次元は２つの、すなわち、バイナリ分類（例えば、一致又は不一致）カテゴリのいずれかに入る画像の確率を表す。図５に示す特定のアーキテクチャは、単に例示のために提供されたものであり、特定のアーキテクチャ、層の数、ならびに入力及び出力サイズは、他の実施例では異なってもよいことが理解されるであろう。例えば、他の実施形態では、ネットワーク５００は、４、５、６又はそれよりも多い数の分類カテゴリを有するような、異なるサイズの分類ベクトルを（出力層５１４－３において）出力するようにトレーニングされてもよい。
【0040】
[052] バイナリ分類（すなわち、一致又は最適なビュー、及び不一致又は準最適なビュー）の場合、ネットワークは、ラベル付けされた画像のセット（トレーニングデータとも呼ぶ）を使用してトレーニングされる。トレーニングデータは、（例えば、数百から数千の）多数の臨床画像を含み、各画像は、一致（又は最適なビュー）又は不一致（準最適なビュー）のいずれかとして（例えば、経験豊富な超音波検査技師又は臨床医によって）ラベル付けされている。図６は、トレーニングデータとして使用される画像６００の一例を示す。それぞれが十分な量の肝組織及び腎組織の両方を視覚化する画像のセット６１０は、「一致」分類カテゴリに属するものとしてラベル付けされている。主に肝組織を示すか、又はＨ／Ｒ比定量化に適していない画像のセット６１２は、「不一致」分類カテゴリに属するものとしてラベル付けされている。トレーニングデータ６００は、ニューラルネットワークに提供され、ネットワークのパラメータは、トレーニングプロセス全体にわたって（例えば、バックプロパゲーション又は他の技法によって）更新される。ニューラルネットワーク５００の１つの実験的なバージョンでは、５４００枚以上の臨床画像をトレーニング及び検証に使用した。トレーニング画像は、トレーニングセットと、テスト又は検証セットとに分割された。トレーニング及び検証データセットは、トレーニングのためにネットワークに提供されるラベル付き画像を含む。トレーニング中にネットワークに示されることのなかったラベル付きテスト画像を使用して、システムの性能がテストされ、これは、実験的な使用では、少なくとも８５％の正確な予測を提供することが示された。このようにして、ニューラルネットワーク（例えばネットワーク５００）はトレーニングされて、新しい未知の画像を、ネットワークがそれに対してトレーニングされた分類カテゴリの１つに分類する。
【0041】
[053] 理解されるように、ネットワーク５００は、入力画像を３つ以上のカテゴリに分類するようにトレーニングされてもよい。このシナリオでは、トレーニングされているすべてのカテゴリがトレーニングデータで表現されるように、ネットワークは３つ以上のカテゴリにラベル付けされた画像でトレーニングされる。例えば、トレーニングデータは、不一致を表す画像（例えば、ビュー内に肝実質及び腎実質を共に含まない画像）、したがって、０の値でラベル付けされる画像と、画像内の肝臓及び腎臓の理想的な位置付けを含み、一致（又は最適なビュー）としてラベル付けされ、及び／又は１の値が割り当てられる画像とを含む。最適ビューと許容できないビューとの間のどこかに該当する残りの画像は、任意の数の中間カテゴリに分割され、対応して０と１との間の値でラベル付けされて、一致の質を示す。例えば、腎組織を含まない任意の画像を、例えば、ほとんど不一致（０．２）、許容できる一致（０．４）、良好な一致（０．６）、及び非常に良好な一致（０．８）と示すことができる。トレーニング画像の中間分類は、部分的に、経験豊富な超音波検査技師又は臨床医が判断したビュー、又は、画像中に視覚化されている肝組織及び腎組織の割合の計算、肝臓と腎臓との境界の場所などの定量的評価による質に基づいていてもよい。
【0042】
[054] 本開示によるニューラルネットワークをトレーニングするために、ＶＧＧＮｅｔ又はＲｅｓＮｅｔのようなアーキテクチャなど、任意の適切なアーキテクチャを使用してもよく、また、「ブランクスレート」ネットワークを一から（すなわち、重みの事前構成なしに）トレーニングしてもよい。図７に示すように、必要とされるトレーニングデータの量を減らすために、（図７に示すように）Ｉｎｃｅｐｔｉｏｎ Ｖ３などの事前トレーニングされたネットワーク又は別のネットワークを開始点として使用できる。次いで、事前トレーニングされたネットワーク７１０は、具体的には、特定の臨床用途（この場合は肝イメージング）の医用画像（例えば、超音波画像７１２）のはるかに小さいトレーニングデータセットで医用画像データを分類するために微調整される。微調整は、例えば、Ｉｎｃｅｐｔｉｏｎ Ｖ３ネットワークの最後から２番目の層を、所望の分類（例えば、一致／不一致）を生成する新しい出力分類器７１４（例えば、全結合層から構成される）に入力することによって、又は、Ｉｎｃｅｐｔｉｏｎ Ｖ３ネットワークによって出力された特徴ベクトルを、トレーニングデータが少なくて済む新しい分類器に提供することによって行われる。
【0043】
[055] 上述したように、適切なビューが特定されると、システムは、適切なビューを表す画像を自動的にキャプチャする（例えば、ローカルメモリに記憶する）。適切なビューの特定は、エンジン２２７が一致を示すメトリック又はスコアを出力することに基づき得る。例えば、所与の画像が、７５％以上で良好ビューのカテゴリ内であり、２５％以下で不良ビューのカテゴリ内であると分類される場合、システムは、入力画像が適切なビューに対応すると決定する。同様に、非バイナリ分類の場合、システムは、例えば、分類値によって重み付けされた各分類の確率を合計することによって、ビューマッチングスコアを計算する。例えば、ネットワークが、画像をｎ個のカテゴリに分類するようにトレーニングされ（各カテゴリは、例えば０と１との間の一意の値に関連付けられる）、それぞれのカテゴリに対応する画像の確率を表す分類ベクトルｙ(ｃ１、ｃ２、ｃｎ）を出力する場合、エンジン２２７は、分類ベクトルの重み付けされた値を合計することによってビューマッチングスコアＭを計算する。すなわち、
である。エンジンは、ビューマッチングスコアが閾値（例えば、０．５、０．６５、０．７０以上）を超える場合、ビューは一致である（例えば、定量化に適している）ことを決定する。他の実施例では、システムは、非常に良好との分類又は最適との分類のいずれかの確率が特定の値（例えば、５０％以上）を超える場合にのみ、ビューは一致であると決定してもよい。
【数1】
【0044】
[056] いくつかの実施形態では、マッチングは、バックグラウンドで行われてもよいし、ユーザに対して実質的に透過的であってもよい。いくつかのそのような実施例では、ユーザがプローブを操作し、ディスプレイがリアルタイム画像を表示し続ける間は、システムが適切なビューを特定するまで、ビューマッチングプロセスによって生成される他の情報は提供されない。ビューが特定されると、システムはフリーズモードに入り、適切なビューを表す画像はディスプレイ上に（フリーズモードで）表示される。フリーズモードの自動起動は、適切なビューが特定されたことの指示を提供する。
【0045】
[057] インテリジェントスキャンモード中、システムは、適切なビューの取得においてユーザを支援するために（例えば、プローブの操作においてユーザを支援する命令の形態で）、ユーザにガイダンスを提供する。いくつかの実施形態では、システムは、システムのプロセッサ（例えば、プロセッサ２２３）によって計算されている信頼メトリックの現在値を表すグラフィカルインジケータを表示するなどによってガイダンスを提供する。
【0046】
[058] 図８は、グラフィカルインジケータを有する、超音波システムの例示的なスクリーンキャプチャを示す。グラフィカルインジケータは、任意の所与のライブ画像の信頼メトリックのリアルタイムの視覚的指示を提供するために動的に更新される。この例では、グラフィカルインジケータは、可動ゲージを有するカラーバー（例えば、ホット又は赤色が一致に対応し、コールド又は青色が不一致に対応するホットコールドカラーバー）の形態のマッチインジケータ８２０として実装される。図８のパネルａ～ｄの各々は、肝組織８０２のライブ超音波画像８１０、８１２、８１４、及び８１６のスクリーンキャプチャを示し、各ライブ画像は、カラーバーマッチインジケータ８２０と同時に表示される。マッチインジケータ８２０は、現在表示されている画像フレームのビューマッチングスコアの値を示すためにカラーバーを上下に移動する動的構成要素８２２（例えば、スライドレベル又はバー）を含む。最小値及び最大値は、分類カテゴリの最小値及び最大値、ここでは０及び１に対応し、動的構成要素８２２は、計算された又は別の方法で導出されたビューマッチングスコアを表す。図示のように、画像８１０では、ビューマッチングスコアは約０．２であり、これは腎組織がビューに含まれていないことを反映する比較的低いマッチング確率を示す。ユーザがプローブを操作すると、システムは、連続するフレームについてビューマッチングスコアを連続的に再計算し、カラーバーに沿った動的構成要素８２２の位置を動的に更新する。画像８１６内のビューは、４つのビューマッチングスコアのうち最も高いものに関連付けられ、図８に示す４つのビューのうちの最良のものを表す。上述したように、好ましい実施形態では、ビューマッチングスコアは、ニューラルネットワークの動作に応答して生成されるが、ビューマッチングスコアは、従来のコンピュータビジョンアプローチ及び／又は手作りの特徴生成（例えば、キャニーエッジ検出、輝度勾配ヒストグラム、及びサポートベクターマシン）を追加的に又は代替的に使用して取得されてもよい。他の実施例では、一致インジケータは、ゼロ速度が最小値の信頼メトリックに対応し、最大速度が最大値の信頼メトリックに対応し、ダイヤル内の矢印が信頼メトリックの現在地を示すように動的に更新されるスピードダイヤルなど、異なるタイプのグラフィカル要素を使用して実装されてもよい。さらなる実施例では、信頼メトリックは、画像と共に数値的に表示されてもよい。他のグラフィカルインジケータを使用して、ディスプレイ上に信頼メトリックを視覚化してもよい。
【0047】
[059] いくつかの実施形態では、ビューマッチングは、画像セグメンテーションを使用して行われる。例えば、図２に戻って参照すると、システム２００が採用する１つ以上のニューラルネットワーク２２８は、入力画像をセグメント化し、画像のセグメンテーションに基づいて、画像がターゲットビューに対応するかどうか（例えば、画像がビュー内に組織／器官のターゲット配置を含むかどうか）の決定を行うようにトレーニングされる。ネットワーク２２８は、各入力画像のセグメンテーションマップを生成するようにトレーニングされた任意の数の層（例えば、畳み込み層、プーリング層、及び正則化層）を含む。非機械学習技法と同様に、セグメンテーションプロセスは、デジタル画像を複数の領域又はセグメント（すなわち、ピクセルのセット、又は、３Ｄ画像データの場合はボクセルのセット）に分割する。具体的な例では、ネットワーク２２８は、ピクセルごとに意味的セグメンテーションを行うようにトレーニングされ、それによって、画像内の各ピクセルを複数のカテゴリ（例えば、肝臓、腎臓、肺、モリソン窩、血管、病変など）のうちの１つに割り当てる。
【0048】
[060] 図９は、画像セグメンテーションを行うようにトレーニングされた完全畳み込みニューラルネットワーク９００の一例を示す。ネットワーク９００は、ラベル付き画像（例えば、異なるタイプの組織の、手動又はコンピュータ支援のいずれかで描写された境界が重ね合わされた肝臓及び／又は腎臓の画像）を含むトレーニングデータを使用してトレーニングされる。したがって、ネットワーク９００は、入力超音波画像をセグメント化して、セグメンテーションマップを生成するようにトレーニングされる。セグメンテーションマップでは、同じカテゴリ（例えば、同じ組織タイプ）に関連していると機械学習アルゴリズムによって決定された隣接ピクセルのグループが、同じ意味カテゴリに割り当てられる。セグメンテーションマップは、複数のセグメンテーションマスクから構築されてもよく、各セグメンテーションマップは、複数のカテゴリのうちの１つに対応する。所与のセグメント内のすべてのピクセル（すなわち、スーパーピクセル）には、同じピクセル値（グレースケール又はカラーのいずれか）が割り当てられ、最終的なセグメンテーションマップは、スーパーピクセルを単一のマップとなるように組み合わせることによって組み立てられる（例えば、セグメンテーションマップ９２０参照）。ネットワーク９００は、少なくとも部分的に、図２のネットワーク２２８を実施するために使用される。ネットワーク９００は、同じ「レベル」上にあるエンコーダ層からデコーダ層へのスキップ接続を有する畳み込みオートエンコーダとして実装されてもよい。このようなアーキテクチャの例としては、２Ｄ画像のセグメンテーションに適している、図１０Ａに示すＵ－ｎｅｔアーキテクチャ１０１０や、３Ｄ画像データのセグメンテーションによく適している、図１０Ｂに示すＶ－ｎｅｔアーキテクチャ１０２０がある。図９及び図１０に示すように、このようなネットワークは、縮小パス（例えば、図１０Ａのパス１０１２）を含み、それに続いて、畳み込み層及び最大プーリング層のカスケードを伴う拡張パス（例えば、図１０Ａのパス１０１４）を含み得る。縮小パスは、空間次元において画像データをダウンサンプリングし、拡張パスは、データを元の画像サイズにアップサンプリングする。実施形態では、機械学習において画像セグメンテーションが使用され、このようなニューラルネットワークは、例えば、図１０Ａ及び図１０Ｂに示すように、拡張パスに沿ったアップサンプリング層の数と同数のダウンサンプリング畳み込み層を縮小パスに沿って有する左右対称の完全畳み込みネットワークを含み得る。
【0049】
[061] 他のタイプの深層畳み込みニューラルネットワークをトレーニングして、入力画像をセグメント化し、セグメンテーションマップを生成し、その結果、信頼メトリックは、リアルタイム超音波画像のセグメンテーションマップに少なくとも部分的に基づいて計算される。いくつかの実施形態では、信頼メトリックの計算は、セグメンテーションを使用する場合、ニューラルネットワークによって出力されたセグメンテーションマップを所望のビューのセグメンテーションマップと比較することを含む。いくつかの実施形態では、ニューラルネットワークは複数のサブネットワークを含み、そのうちの１つがセグメンテーションを行うようにトレーニングされ、そのうちの別の１つが、例えば、セグメンテーションマップを一致の質に対応するクラスに分類することによって、信頼メトリックを計算するようにトレーニングされ得る。このような例では、第１のサブネットワークが入力画像を受信して、セグメンテーションを行ってセグメンテーションマップを生成する。セグメンテーションマップは、セグメンテーションマップがターゲットビュー（例えば、最適な肝臓／右腎臓のサジタルビュー）に対応するかどうかを認識するようにトレーニングされている第２のサブネットワーク（例えば、畳み込み分類アルゴリズム又は別のタイプの畳み込みネットワーク）に提供される。さらに他の実施例では、信頼メトリックは、セグメンテーションマップ、したがって、ソース画像が十分な量の特定のタイプの組織（例えば、腎組織）を含むかどうか、及び／又は画像が画像内の適切な位置で特定のタイプの組織を視覚化しているかどうかを決定するためなど、セグメンテーションマップの内容のみを定量的に解析することによって（すなわち、最適マップと比較することなく）計算される。
【0050】
[062] 図９に示すように、ネットワーク９００は入力画像（例えば、肝臓の超音波画像９１０）を受信し、ピクセル単位の予測を行ってセグメンテーションマップ９２０を導出するようにトレーニングされる。例えば、ネットワーク９００は、画像９１０の各ピクセルを、複数のセグメンテーションカテゴリ又はマスク（例えば、肝臓、腎臓、肺、若しくは背景、又は例えば腎髄質から腎皮質をさらにセグメント化する他の組合せ）のうちの１つに分類するようにトレーニングされる。トレーニングのために、ネットワーク９００には、複数のトレーニング画像が提供される。各トレーニング画像は、それぞれのピクセルをセグメンテーションに割り当てるために適切にラベル付けされている。例えば、トレーニング画像は、臨床画像に、オペレータが描写した又はコンピュータが特定したセグメンテーションマップと重ね合わせることによって準備される。特定の例におけるネットワーク９００の特定のアーキテクチャは、用途（例えば、セグメント化される画像データの複雑さ）に基づいて異なるが、いくつかの実施例では、ネットワークは、縮小パスに沿ったいくつかの畳み込み層９１２と、アップサンプリングパスに沿った等しい数の拡張畳み込み層とを含み、それぞれ（例えば、図１０Ａ及び図１０Ｂに示すように）正則化及びプーリングに関連付けられる。
【0051】
[063] さらに別の例では、１つ以上のネットワークが、追加的に又は代替的に物体検出を行うようにトレーニングされてもよい。ＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）ネットワークなどのいくつかのニューラルネットワークアーキテクチャが、画像内の物体を検出するために開発されており、任意のそのような物体検出ネットワークを開始点（例えば、事前にトレーニングされたネットワーク）として使用してよく、これは、後に、特に医用画像データでさらにトレーニングされて、超音波画像内の臨床的に関連する物体を検出するように微調整される。例えば、図１１に示すように、物体検出ネットワークは、好ましい実施例では、リアルタイムで（例えば、各フレームが受信されるときに）、任意の数のカテゴリの物体（例えば、腎臓（例えば、境界ボックス１１１０）、血管（例えば、境界ボックス１１１２－１、１１１２－２、及び１１１２－３））、ならびにターゲット解剖学的構造の画像内に存在し得る他のカテゴリ又はクラスの物体（例えば、境界ボックス１１１４）の存在及び位置を認識するようにトレーニングされる。このような物体検出ネットワークは、入力画像が物体のクラスのうちの１つ以上及びそれらのそれぞれの場所（例えば、検出された物体の周りの境界ボックスの形態で）を含む確率を出力する。物体検出ネットワークは、（例えば、物体検出ネットワークの出力を結合することによって）１つ以上の他のネットワーク（例えば、分類又は他のタイプのニューラルネットワーク）又は非機械学習後処理構成要素に動作可能に接続されて、入力画像がターゲット画像ビューに対応するかどうかを決定し、この決定に基づいて信頼スコアを出力する。
【0052】
[064] システムは、セグメンテーション又は物体検出の結果を利用して、ＲＯＩ配置を推奨する。例えば、入力画像のセグメンテーションが完了すると、システムは、セグメンテーションマップを利用して、推奨ＲＯＩがエコー強度比の正確な計算のために信頼性をもって使用できるように、ＲＯＩ配置のための適切な場所を推奨する。同様に、物体検出プロセスの結果を使用して、ＲＯＩ配置を誘導できる。例えば、画像内の異なるクラスの物体及びそれらの場所／境界ボックス（例えば、腎臓に対応する領域、ならびに血管及び病変などの他の構造に対応する１つ以上の領域）を特定した後、システムは、適切な測定ＲＯＩの基準を満たす画像内のピクセルのグループ、例えば、肝臓及び腎臓内の同じ深さにあり、ほぼ均一な組織に対応する（例えば、血管又は病変などの他の身体構造に重ならない）ピクセルのグループを自動的に特定する。図１１に示すように、プロセッサは、画像上に、例えば、検出された物体のカテゴリ、腎臓に関連付けられた境界ボックス（例えば、境界ボックス１１１０）で第１のピクセルグループを示すことによって、また、画像内の同じ深さであるが境界ボックス１１１０の外側にあり、他の構造（例えば、血管、病変など）に関連付けられた他の境界ボックスに重ならない第２のピクセルグループを示すことによって、定量化のために推奨されるＲＯＩ１１１６－Ｒ及び１１１６－Ｈの１つ以上のペアを示す。
【0053】
[065] 図１２は、超音波システムディスプレイの例示的なスクリーンキャプチャ１２１０を示し、これは、定量化のための適切なビューを表すように特定された画像１２１２を示す。推奨ＲＯＩの１つ以上のセットがシステムによって（例えば、プロセッサ２２３によって）提供される。図示の実施例では、推奨ＲＯＩの２つのセットが表示画像上に示されているが、他の実施例では、異なる数のＲＯＩのペア、例えば、最適な場所にあると考えられる単一のペアのみ、又は複数（２、３、４、又はそれ以上）のペアが推奨されて、統計的解析を使用して最終的に計算されるエコー強度比を決定できるように、比率がペアのそれぞれについて計算されてもよいことが理解されるであろう。いくつかの実施例では、比率は、ＲＯＩの１つのペアに関してしか計算されない。
【0054】
[066] 図１２の特定の例では、肝臓ＲＯＩ１２２１－Ｈ及び腎臓ＲＯＩ１２２１－Rを含む第１のＲＯＩセットが、例えば、プロセッサ２２３によって特定され、第１のＲＯＩセットには、プロセッサ２２３に応答して、第１の深さにおいて画像上に円形のマーカが配置される。肝臓ＲＯＩ１２２２－Ｈ及び腎臓ＲＯＩ１２２２－Ｒを含む第２のＲＯＩセットが、例えば、プロセッサ２２３によって特定され、第２のＲＯＩセットには、プロセッサ２２３に応答して、画像内の第２の深さにおいて第２のセットの円形マーカが配置される。特に、各推奨ＲＯＩペアは、ペア内のＲＯＩが同じ深さにあるように選択され、これは、曲面トランスデューサの場合、同じ円弧１２２４－１又は１２２４－２に沿って存在するＲＯＩに対応する。推奨ＲＯＩセットは、複数のセットが決定された場合、同時に又は順番にユーザに提示されて、ユーザが所望のＲＯＩペアを確認又は選択することを可能にする。いくつかの実施例では、ディスプレイはまた、ユーザが推奨ＲＯＩの配置を視覚化し、より良く認識することができるように、セグメンテーションステップによって決定される腎組織を描写するインジケータや、こちらもユーザが推奨ＲＯＩの適切な配置を認識し、視覚的に確認することを可能にする深さインジケータ（例えば、円弧１２２４－１及び１２２４－２）を含んでもよい。いくつかの実施形態では、適切なＲＯＩの選択が、ユーザの関与なしに、例えば、システムが最適なＲＯＩ配置を決定することによって行われる。このような実施形態では、システムが事前にプログラムされた論理（例えば、ルールベースの決定木）又は適切にトレーニングされたニューラルネットワークを使用して、選択されたＲＯＩが各実質（例えば、肝臓及び腎臓）の実質的に均一な組織を表すように、ＲＯＩがアーチファクト誘発構造と重ならないように、かつ、それらが同じ深さに配置されるように、測定ＲＯＩの最も適切な配置を決定してもよい。
【0055】
[067] （例えば、所与のペアの２つのＲＯＩのうちのいずれか１つをクリックするか又は深さインジケータ（例えば、円弧１２２４－１又は１２２４－２）をクリックすることによる）ユーザ入力に応答して、又はシステムによる自動選択に応答して所望のＲＯＩペアが選択されると、システムは、Ｈ／Ｒエコー強度比の計算を自動的に進める。Ｈ／Ｒエコー強度比を計算するために、システムは、第１の又は肝臓ＲＯＩにおけるエコー強度の代表値を、第２の又は腎臓ＲＯＩにおけるエコー強度の代表値で割る。代表値は、ＲＯＩ内のすべてのピクセルのエコー強度値の平均値、又は、例えば、ヒストグラミング処理又は他の統計的解析技法によって取得される、何らかの他の代表値（例えば、平均値、中央値など）であってよい。Ｈ／Ｒエコー強度比の計算は、生のＲＦデータを使用して（例えば、対数圧縮の前に）行われ、これは、定量化の精度を高めることができる。
【0056】
[068] 本明細書のいくつかの実施例による、生体組織を超音波検査する方法は、超音波システムのプロセッサによって、１つ以上のタイプの生体組織を表すリアルタイム超音波画像を受信するステップと、リアルタイム超音波画像を、各入力画像の信頼メトリックを出力するようにトレーニングされた少なくとも１つの畳み込みニューラルネットワークに提供するステップとを含む。図１３は、本開示の原理による例示的なプロセスのフロー図を示す。図１３に示すように、プロセスは、超音波システムのプロセッサ１３０１が、超音波画像を受信し（ステップ１３０４）、Ｈ／Ｒ定量化プロセスを起動するための入力を受信する（ステップ１３０２）ことによって開始される。超音波画像データは、入力超音波画像内の画像ビューが所望のビューに対応するかどうかを特定するようにトレーニングされたニューラルネットワークに結合される（ステップ１３１０）。画像を、定量化に対する画像の適合性を定性的に表す複数のカテゴリのうちの１つに分類することなどによって、本明細書の実施例のいずれかに従って、ビューマッチング又は特定が行われる。ステップ１３１０において、ニューラルネットワークは、信頼メトリック（例えば、ビューマッチングスコア１３０６）を計算する。上述したように、信頼メトリックは、ターゲットビュー、例えば、肝イメージングのコンテキストでは、肝実質及び腎皮質の実質的に均一な組織内への測定ＲＯＩを配置することを可能にするように、十分な量の肝臓及び右腎皮質を視覚化するサジタルビューに従って生体組織を視覚化するリアルタイム超音波画像の確率を示す。
【0057】
[069] ステップ１３１２において、信頼メトリックが基準を満たすと決定された場合（例えば、ビューマッチングスコアがある値を超えるなどして、信頼メトリックが、ビューは適切なビューであることを示す場合）、プロセスは、ステップ１３１４に続いて、画像を自動的にキャプチャする（ローカルメモリに記憶する）。信頼メトリックが基準を満たさないと決定される場合、プロセスはステップ１３１０に戻り、ニューラルネットワークは、次の画像フレームを受信し、解析する。システムがインテリジェントスキャンモードにある間（例えば、Ｈ／Ｒ定量化アプリケーションの実行中）、適切なビューが特定されるまでビューマッチングが繰り返される。システムは、例えば、システムによって生成される可聴音の形態で、システムがディスプレイ上に表示された取得画像を用いて自動的にフリーズモードを開始することによって（ステップ１３１８）、又はその２つの組合せで、一致ビューが取得されたことの指示を提供する（ステップ１３１６）。他のタイプのフィードバック（例えば、適切なビューの取得に続くプローブのわずかな振動による触覚によって）が、ビューが特定されたことの指示として提供されてもよい。
【0058】
[070] 次いで、プロセスは進んで、ステップ１３２０に示すように、ＲＯＩ配置のためのガイダンスを提供する。システムは、例えば、キャプチャされた画像をセグメント化して、異なるタイプの組織（例えば、肝臓及び腎臓）に対応する画像内の領域を特定することによって、少なくとも１つのＲＯＩペアの位置を決定する。次いで、プロセッサは、表示された画像上に、肝臓領域内のピクセルのグループを推奨肝臓ＲＯＩとして示し、画像内の同じ深さであるが腎臓皮質内のピクセルの別のグループを推奨腎臓ＲＯＩとして示す。複数のこのような推奨ペアが画像上に提示される。システムは、推奨ＲＯＩペアのうちの１つ以上の選択を待ち、選択を受信すると、各ＲＯＩペアについてＨ／Ｒ比を計算する（ステップ１３２２）。計算された比は、画像データと共に記憶され（ステップ１３２４）、プロセスは終了する（ステップ１３２６）。本明細書で説明するように、画像セグメンテーションだけでなく、プロセスの他のステップは、１つ以上の適切にトレーニングされたニューラルネットワークによって行われる。これらのネットワークは、商用システム内への配備の前にトレーニングされていても、（例えば、システム又は診断臨床医によって、その後にさらなるトレーニングデータとして使用するのに適したやり方で自動的に注釈付け又はラベル付けされる、実際の患者検査からの）その後に取得された画像データを使用して追加のトレーニングが現場で行われてもよい。
【0059】
[071] 本明細書では、超音波画像データを参照して疎にサンプリングされたデータから医用画像を生成する実施例を説明しているが、本明細書の実施例は、磁気共鳴イメージング（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）、陽電子放出断層撮影法（ＰＥＴ）、及び実質的にすべての他のイメージングモダリティなど、任意のイメージングモダリティの疎のデータセットから画像を生成するためにニューラルネットワークをトレーニングすることに等しく適用可能であることを理解されたい。
【0060】
[072] 構成要素、システム、及び／又は方法が、コンピュータベースのシステム又はプログラマブル論理などのプログラマブルデバイスを使用して実装される様々な実施形態では、上述のシステム及び方法が、「Ｃ」、「Ｃ＋＋」、「ＦＯＲＴＲＡＮ」、「パスカル」、「ＶＨＤＬ」などの様々な既知の又は後に開発されるプログラミング言語のいずれかを使用して実装できることを理解されたい。したがって、上述のシステム及び／又は方法を実装するようにコンピュータなどのデバイスに指示することができる情報を含むことができる、磁気コンピュータディスク、光ディスク、電子メモリなどの様々な記憶媒体を準備することができる。適切なデバイスが、記憶媒体に含まれる情報及びプログラムにアクセスできると、記憶媒体は情報及びプログラムをデバイスに提供することができ、したがって、デバイスは、本明細書に説明するシステム及び／又は方法の機能を行うことができる。例えば、ソースファイル、オブジェクトファイル、実行可能ファイルなどの適切な材料を含むコンピュータディスクが、コンピュータに提供された場合、コンピュータは情報を受信し、適切に自身を構成し、様々な機能を実装するために、上述の図及びフローチャートに概説された様々なシステムの機能及び方法を行うことができる。すなわち、コンピュータは、上述のシステム及び／又は方法の異なる要素に関連する情報の様々な部分をディスクから受信し、個々のシステム及び／又は方法を実装し、上述の個々のシステムの機能及び／又は方法を調整することができる。
【0061】
[073] 本開示を考慮して、本明細書で説明される様々な方法及びデバイスは、ハードウェア、ソフトウェア、及びファームウェアで実装され得ることに留意されたい。さらに、様々な方法及びパラメータは、例としてのみ含まれ、いかなる限定的な意味においても含まれない。本開示を考慮して、当業者は、本発明の範囲内に留まりながら、当業者自身の技術及びこれらの技術に影響を及ぼすために必要とされる機器を決定する際に、本教示を実施することができる。本明細書で説明される１つ以上のプロセッサの機能は、より少ない数又は単一の処理ユニット（例えば、ＣＰＵ）に組み込まれてもよく、また、本明細書で説明される機能を行うために実行可能命令に応答してプログラムされる特定用途向け集積回路（ＡＳＩＣ）又は汎用処理回路を使用して実装されてもよい。
【0062】
[074] 本システムは、超音波イメージングシステムを特に参照して説明されてきたが、本システムは、１つ以上の画像が系統的な方法で得られる他の医用イメージングシステムに拡張することができることも想定される。したがって、本システムは、次に限定されないが、腎臓、精巣、乳房、卵巣、子宮、甲状腺、肝臓、肺、筋骨格、脾臓、心臓、動脈及び血管系、ならびに超音波誘導介入に関連する他のイメージング用途に関連する画像情報を取得及び／又は記録するために使用され得る。さらに、本システムはまた、本システムの特徴及び利点を提供するように、従来のイメージングシステムと共に使用できる１つ以上のプログラムを含んでもよい。本開示の特定の追加の利点及び特徴は、本開示を検討することにより当業者に明らかであり得るか、又は本開示の新規なシステム及び方法を採用する当業者によって経験され得る。本システム及び方法の別の利点は、従来の医用画像システムが、本システム、デバイス、及び方法の特徴及び利点を組み込むように容易にアップグレードされ得ることである。
【0063】
[075] 当然のことながら、本明細書で説明される実施例、実施形態、又はプロセスのうちの任意の１つは、１つ以上の他の実施例、実施形態、及び／又はプロセスと組み合わせることができ、又は本システム、デバイス、及び方法に従って、別個のデバイス又はデバイス部分間で分離及び／又は行うことができることを理解されたい。
【0064】
[076] 最後に、上記の議論は、単に本システムを例示することを意図しているものであり、添付の特許請求の範囲を任意の特定の実施形態又は実施形態のグループに限定するものとして解釈されるべきではない。したがって、本システムは、例示的な実施形態を参照して特に詳細に説明されてきたが、当業者であれば、以下の特許請求の範囲に記載される本システムのより広くかつ意図された精神及び範囲から逸脱することなく、多数の変更実施形態及び代替実施形態を考案することができることも理解されたい。したがって、本明細書及び図面は、例示的と見なされるべきであり、添付の特許請求の範囲を限定することを意図するものではない。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図4c】
【図5】
【図6】
【図7】
【図8a】
【図8b】
【図8c】
【図8d】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】