特許7401447ニューラルネットワークを使用した超音波撮像平面整列並びに関連するデバイス、システム、及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】ニューラルネットワークを使用した超音波撮像平面整列並びに関連するデバイス、システム、及び方法
(51)【国際特許分類】
A61B 8/12 20060101AFI20231212BHJP
A61B 8/14 20060101ALI20231212BHJP
【ＦＩ】
A61B8/12
A61B8/14
【請求項の数】
15
(21)【出願番号】P 2020548795
(86)(22)【出願日】2019-03-12
(65)【公表番号】
(43)【公表日】2021-07-26
(86)【国際出願番号】 EP2019056072
(87)【国際公開番号】W WO2019175129
(87)【国際公開日】2019-09-19
【審査請求日】2022-03-10
(31)【優先権主張番号】62/641508
(32)【優先日】2018-03-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】トポレク グジェゴジ アンドレイ
(72)【発明者】
【氏名】ワン ハーイボー
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特表２０２０－５１６３７０（ＪＰ，Ａ）
【文献】国際公開第２０１７／２２２９７０（ＷＯ，Ａ１）
【文献】特表２０１７－５０８５０２（ＪＰ，Ａ）
【文献】国際公開第２０１７／１２２１０９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００ － ８／１５
(57)【特許請求の範囲】
【請求項1】
自動化された医療検査システムの作動方法であって、
通信デバイスが、対象者の身体に対して前記対象者の身体の外部から撮影を行う撮像デバイスが第１の撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第１の画像を受信するステップと、
プロセッサが、第１の予測ネットワーク、前記第１の画像、及び臨床特性を含む目標画像ビューに基づいて、前記撮像デバイスを前記第１の撮像位置から第２の撮像位置に再配置するための第１の動き制御設定を決定するステップと、
前記撮像デバイスに結合されたロボット式システムが、第１の動き制御設定に基づいて、前記撮像デバイスを前記第２の撮像位置に再配置するステップと、
前記通信デバイスが、前記対象者の身体に対して前記撮像デバイスが前記第２の撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第２の画像を受信するステップと、
前記プロセッサが、第２の予測ネットワークに基づいて、前記第２の画像が前記目標画像ビューの臨床特性を含むか否かを判定するステップと、
前記プロセッサが、前記第２の画像が前記目標画像ビューの臨床特性を含むと判定されたとき、前記第２の撮像位置のための調節を決定するステップと、
前記ロボット式システムが、前記調節に基づいて前記撮像デバイスを第３の撮像位置に再配置するステップと、
前記通信デバイスが、前記対象者の身体に対して前記撮像デバイスが前記第３の撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第３の画像を受信するステップと、
前記プロセッサが、第３の予測ネットワークに基づいて、前記第２の撮像位置及び前記第３の撮像位置から目標撮像位置を選択するステップと、を有する、
医療検査システムの作動方法。
【請求項2】
前記プロセッサが、前記第２の画像が前記目標画像ビューの臨床特性を含まないと判定されたとき、第２の動き制御設定を決定するステップと、前記ロボット式システムが、前記第２の動き制御設定に基づいて、前記撮像デバイスを第３の撮像位置に再配置するステップと、
前記通信デバイスが、前記対象者の身体に対して前記撮像デバイスが前記第３の撮像位置に配置されているときに、前記対象者の身体を表す第３の画像を受信するステップと、を更に有する、
請求項１に記載の医療検査システムの作動方法。
【請求項3】
前記目標画像ビューの臨床特性を含む画像が前記撮像デバイスから受信されるまで、前記プロセッサが、前記第２の動き制御設定を決定するステップと、前記ロボット式システムが、前記撮像デバイスを前記第３の撮像位置に再配置するステップと、前記通信デバイスが、前記第３の画像を受信するステップとを繰り返すステップを更に有する、請求項２に記載の医療検査システムの作動方法。
【請求項4】
前記通信デバイスが、選択された前記目標撮像位置に前記撮像デバイスが配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第４の画像を受信するステップと、前記プロセッサが、前記第４の画像に基づいて、臨床特性に関連付けられた医療検査結果を決定するステップと、を更に有する、
請求項１に記載の医療検査システムの作動方法。
【請求項5】
前記プロセッサが、前記撮像デバイスを再配置するための運動のセットをサンプリングすることによって、複数の動き制御設定候補を決定するステップと、前記プロセッサが、前記第１の予測ネットワーク、前記第１の画像、及び前記目標画像ビューに基づいて、前記複数の動き制御設定候補から前記第１の動き制御設定を選択することによって前記第１の動き制御設定を決定するステップと、を更に有する、
請求項１に記載の医療検査システムの作動方法。
【請求項6】
前記第１の予測ネットワークは、前記目標画像ビューを取得するために、少なくとも２つの撮像位置から前記撮像デバイスによって取得された複数の画像を提供することと、
前記少なくとも２つの撮像位置に関連付けられた前記撮像デバイスの向き又は運動に基づいて複数の動き制御設定を取得することと、
前記目標画像ビューに対する前記複数の動き制御設定と前記複数の画像との間の関係性にスコアを割り当てることとによって、訓練される、
請求項１に記載の医療検査システムの作動方法。
【請求項7】
前記撮像デバイスは経胸腔心エコー検査法プローブであり、前記第１の動き制御設定は、前記撮像デバイスを移動させるための線速度又は角速度のうちの少なくとも１つに対応する１つ又は複数のパラメータを含む、請求項１に記載の医療検査システムの作動方法。
【請求項8】
撮像デバイスと通信し、前記撮像デバイスが対象者の身体に対して第１の撮像位置に配置されているときに、前記対象者の身体を表す第１の画像を受信する通信デバイスと、前記通信デバイスと通信し、第１の予測ネットワーク、前記第１の画像、及び臨床特性を含む目標画像ビューに基づいて、前記撮像デバイスを前記第１の撮像位置から第２の撮像位置に再配置するための第１の動き制御設定を決定するプロセッサと、
前記通信デバイスと通信し、前記撮像デバイスに結合されたロボット式システムであって、前記第１の動き制御設定に基づいて、前記撮像デバイスを前記第２の撮像位置に再配置するロボット式システムとを含み、
前記通信デバイスは更に、前記撮像デバイスが前記対象者の身体に対して前記第２の撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第２の画像を受信し、
前記プロセッサは更に、第２の予測ネットワークに基づいて、前記第２の画像が前記目標画像ビューの臨床特性を含むか否かを判定し、
前記プロセッサは更に、前記第２の画像が前記目標画像ビューの臨床特性を含むと判定されたとき、前記第２の撮像位置のための調節を決定し、
前記ロボット式システムは更に、前記調節に基づいて前記撮像デバイスを第３の撮像位置に再配置し、
前記通信デバイスは更に、前記撮像デバイスが前記対象者の身体に対して前記第３の撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第３の画像を受信し、
前記プロセッサは更に、第３の予測ネットワークに基づいて、前記第２の撮像位置及び前記第３の撮像位置から目標撮像位置を選択する、
自動化された医療検査システム。
【請求項9】
前記プロセッサは更に、前記第２の画像が前記目標画像ビューの臨床特性を含まないと判定されたとき、第２の動き制御設定を決定し、前記ロボット式システムは更に、前記第２の動き制御設定に基づいて、前記撮像デバイスを第３の撮像位置に再配置し、
前記通信デバイスは更に、前記撮像デバイスが前記対象者の身体に対して第３の撮像位置に配置されているときに、前記対象者の身体を表す第３の画像を受信する、
請求項８に記載の自動化された医療検査システム。
【請求項10】
前記目標画像ビューの臨床特性を含む画像が前記撮像デバイスから受信されるまで、前記プロセッサは更に、第２の動き制御設定を決定することを繰り返し、
前記ロボット式システムは更に、前記撮像デバイスを前記第３の撮像位置に再配置することを繰り返し、
前記通信デバイスは更に、前記第３の画像を受信することを繰り返す、
請求項９に記載の自動化された医療検査システム。
【請求項11】
前記通信デバイスは更に、前記撮像デバイスが選択された前記目標撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第４の画像を受信し、前記プロセッサは更に、前記第４の画像に基づいて、前記臨床特性に関連付けられた医療検査結果を決定する、
請求項８に記載の自動化された医療検査システム。
【請求項12】
前記プロセッサは更に、前記撮像デバイスを再配置するための運動のセットをサンプリングすることによって、複数の動き制御設定候補を決定することと、前記第１の予測ネットワーク、前記第１の画像、及び前記目標画像ビューに基づいて、前記複数の動き制御設定候補から前記第１の動き制御設定を更に選択することによって前記第１の動き制御設定を決定することとを行う、
請求項８に記載の自動化された医療検査システム。
【請求項13】
前記第１の予測ネットワークは、前記目標画像ビューを取得するために、少なくとも２つの撮像位置から前記撮像デバイスによって取得された複数の画像を提供することと、
前記少なくとも２つの撮像位置に関連付けられた前記撮像デバイスの向き又は運動に基づいて複数の動き制御設定を取得することと、
前記目標画像ビューに対する前記複数の動き制御設定と前記複数の画像との間の関係性にスコアを割り当てることとによって、訓練される、
請求項８に記載の自動化された医療検査システム。
【請求項14】
前記撮像デバイスは経食道心エコー検査法プローブであり、前記第１の動き制御設定は、前記対象者の身体の左－右平面に沿った前記撮像デバイスの運動、前記対象者の身体の前－後平面に沿った撮像デバイスの運動、前記撮像デバイスの撮像平面の向き、又は前記撮像デバイスの軸に対する前記撮像デバイスの回転のうちの少なくとも１つに対応する１つ又は複数のパラメータを含む、請求項８に記載の自動化された医療検査システム。
【請求項15】
前記撮像デバイスは経胸腔心エコー検査法プローブであり、前記第１の動き制御設定は、前記撮像デバイスを移動させるための線速度又は角速度のうちの少なくとも１つに対応する１つ又は複数のパラメータを含む、請求項８に記載の自動化された医療検査システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本発明は、参照によって組み込まれる２０１８年３月１２日出願の米国仮特許出願第６２／６４１，５０８号の利益及びこれに対する優先権を主張する。
本発明は、参照によって組み込まれる２０１８年３月１２日出願の米国仮特許出願第６２／６４１，５０８号の利益及びこれに対する優先権を主張する。
【0002】
[0001] 本開示は、概して、超音波撮像に関し、特には、撮像コンポーネントを所望の撮像平面に対して整列させるための運動又は制御を予測する深層予測ネットワークを訓練すること、及び臨床環境の最中に臨床処置をガイドするために深層予測ネットワークを適用することに関する。
【背景技術】
【0003】
[0002] 経食道的心エコー検査法（ＴＥＥ）は、患者の心臓の運動の画像を撮影するために超音波を使用し、臨床処置において有用であり得る。例えば、ＴＥＥプローブは、患者の心臓の画像を撮影するために患者の食道に挿入される。ＴＥＥから利益を得るいくつかの処置としては、心臓切開及び胸部大動脈手術などの術中処置、経カテーテル大動脈弁植え込み（ＴＡＶＩ）、左心耳閉塞（ＬＡＡＣ）、経カテーテル僧帽弁修復（ＴＭＶＲ）などの経カテーテル処置のガイダンス、並びに診断処置などがある。代替的に、経胸腔的心エコー検査法（ＴＴＥ）は、患者の身体の外部から患者の心臓の様々なビューを撮影するために使用され得る外部撮像技術である。例えば、ＴＴＥプローブは、患者の心臓の画像を撮影するために患者の胸部又は腹部に置かれる。
【0004】
[0003] 場合によっては、心臓画像の撮影において、ＴＥＥは、ＴＴＥよりも効果的である。例えば、左心耳（ＬＡＡ）はＴＴＥから視認できないが、ＴＥＥからは視認できる。近年の研究は、ＬＡＡ隔離が、心房細動を有する患者に対する治療オプションとなることを示している。ＬＡＡ隔離は、塞栓症イベントのリスクを減少させ得る。ＬＡＡ隔離は、典型的には、ＬＡＡＣデバイスを使用して経皮的に実施される。患者にＬＡＡ隔離処置を実施する前に、臨床医は、ＴＥＥプローブを使用して患者の心臓の画像を撮影する。臨床医は、この画像に基づいて患者の心臓におけるＬＡＡ開口部のサイズ及び／又は長さを求め、ＬＡＡ開口部のサイズ及び／又は長さがＬＡＡＣデバイスの寸法内にあるか否かを判断する。ＬＡＡの複雑さ及び解剖学的変動性、例えば、分葉の存在及びその数からして、形態の完全な評価のためには、典型的には、複数のビューからのＬＡＡの撮像及び描写が必要とされる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
[0004] しかしながら、臨床医が、動いている心臓内で最適なビューを見つけることは難しい。例えば、ＴＥＥプローブは、患者の食道において前進又は後退され、時計周り又は反時計回りに回転され、及び４つの異なる方向に屈曲され、撮像平面は、０度から１８０まで回転され得る。複数の自由度のせいで、ＴＥＥプローブの手動調節は、厄介で時間のかかるものになり得る。ＴＴＥプローブは、デカルト平面に沿って移動され、故に、同様に最適な撮像平面の設置が難しい。
【0006】
[0005] ＴＥＥプローブ又はＴＴＥプローブを使用するための既存の処置が臨床的又は治療的処置のために有用であることは実証されているが、撮像コンポーネントを所望の撮像平面に対して整列させるための効率的で、正確な、自動的処置を提供するための向上されたシステム及び技術が依然として臨床において必要とされている。基準画像に対する類似性測度に頼ることなく撮像コンポーネントの整列を自動化するための１つのやり方は、統計的な予測ネットワークを使用することである。本開示の実施形態は、撮像コンポーネントを所望の撮像平面に対して整列させるための運動及び／又は制御を予測する深層予測ネットワークを訓練し、適用するための機構を提供する。開示される実施形態は、予測畳み込みニューラルネットワーク（予測ＣＮＮ）、微調整ＣＮＮ、及び、目標ＣＮＮを含む閉ループ制御システムを用いる。予測ＣＮＮは、現在の撮影画像に基づいて撮像コンポーネントを目標撮像ビューへと操作するための最も適した運動を予測又は推測し得る。予測ＣＮＮは、所望の解剖学的ビューを撮影するための目標撮像平面に到達する可能性を最大化することによってこの運動を決定する。目標ＣＮＮは、撮像コンポーネントが予測ＣＮＮによって方向付けられた目標位置に到達したときに撮像コンポーネントによって撮影された画像の適格性確認を行い得る。適格性確認は、画像が目標撮像ビューの臨床的特徴を含むか否かに応じて合格又は失格を示す。微調整ＣＮＮは、予測ＣＮＮを使用して撮像コンポーネントが目標撮像ビューに対して整列された後に、撮像コンポーネントの位置を改善し得る。ＣＮＮは、撮像コンポーネントの相対運動と、対応する運動が撮像コンポーネントを目標撮像平面へと導き得るか否かを示すスコアとに画像を関連付ける大規模な撮像データセットを使用して訓練され得る。訓練は、任意の適切なビューにおける特定の解剖学的目標（例えば、心臓の解剖学的構造）又は一般的な解剖学的目標に基づき得る。訓練は、シミュレートされたデータと臨床データとの組み合わせを使用し得る。ＣＮＮは、臨床環境において、ロボット式システムを使用して、又はユーザ制御と組み合わせて、自動的に訓練及び適用され得る。
【課題を解決するための手段】
【0007】
[0006] 一実施形態において、自動化された医療検査の方法が提供される。方法は、撮像デバイスが対象者の身体に対して第１の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第１の画像を受信するステップと；第１の予測ネットワーク、第１の画像、及び臨床特性を含む目標画像ビューに基づいて、撮像デバイスを第１の撮像位置から第２の撮像位置に再配置するための第１の動き制御設定を決定するステップと；撮像デバイスに結合されたロボット式システムによって、第１の動き制御設定に基づいて、撮像デバイスを第２の撮像位置に再配置するステップとを有する。
【0008】
[0007] いくつかの実施形態において、方法は、撮像デバイスが対象者の身体に対して第２の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第２の画像を受信するステップと；第２の予測ネットワークに基づいて、第２の画像が目標画像ビューの臨床特性を含むか否かを判定するステップとを更に有する。いくつかの実施形態において、方法は、第２の画像が目標画像ビューの臨床特性を含まないと判定されたとき、第２の動き制御設定を決定するステップと；第２の動き制御設定に基づいて、撮像デバイスを第３の撮像位置に再配置するステップと；撮像デバイスが対象者の身体に対して第３の撮像位置に配置されているときに、対象者の身体を表す第３の画像を受信するステップとを更に有する。いくつかの実施形態において、方法は、第２の動き制御設定を決定するステップと、撮像デバイスを第３の撮像位置に再配置するステップと、目標画像ビューの臨床特性を含む画像が撮像デバイスから受信されるまで、第３の画像を受信するステップとを繰り返すステップを更に有する。いくつかの実施形態において、方法は、第２の画像が目標画像ビューの臨床特性を含むと判定されたとき、第２の撮像位置のための調節を決定するステップと；ロボット式システムによって、調節に基づいて撮像デバイスを第３の撮像位置に再配置するステップと；撮像デバイスが対象者の身体に対して第３の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第３の画像を受信するステップと；第３の予測ネットワークに基づいて、第２の撮像位置及び第３の撮像位置から目標撮像位置を選択するステップとを更に有する。いくつかの実施形態において、方法は、撮像デバイスが選択された目標撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第４の画像を受信するステップと；第４の画像に基づいて、臨床特性に関連付けられた医療検査結果を決定するステップとを更に有する。いくつかの実施形態において、方法は、撮像デバイスを再配置するための運動のセットをサンプリングすることによって、複数の動き制御設定候補を決定するステップを更に有し、第１の動き制御設定を決定するステップは、第１の予測ネットワーク、第１の画像、及び目標画像ビューに基づいて、複数の動き制御設定候補から第１の動き制御設定を選択するステップを更に有する。いくつかの実施形態において、第１の予測ネットワークは、目標画像ビューを取得するために、少なくとも２つの撮像位置から撮像デバイスによって取得された複数の画像を提供することと；少なくとも２つの撮像位置に関連付けられた撮像デバイスの向き又は運動に基づいて複数の動き制御設定を取得することと；目標画像ビューに対する複数の動き制御設定と複数の画像との間の関係性にスコアを割り当てることとによって訓練される。いくつかの実施形態において、撮像デバイスは経食道的心エコー検査法（ＴＥＥ）プローブであり、第１の動き制御設定は、対象者の身体の左－右平面に沿った撮像デバイスの運動、対象者の身体の前－後平面に沿った撮像デバイスの運動、撮像デバイスの撮像平面の向き、又は撮像デバイスの軸に対する撮像デバイスの回転のうちの少なくとも１つに対応する１つ又は複数のパラメータを含む。いくつかの実施形態において、撮像デバイスは経胸腔的心エコー検査法（ＴＴＥ）プローブであり、第１の動き制御設定は、撮像デバイスを移動させるための線速度又は角速度のうちの少なくとも１つに対応する１つ又は複数のパラメータを含む。
【0009】
[0008] 一実施形態において、自動化された医療検査システムが提供される。自動化された医療検査システムは、撮像デバイスと通信し、撮像デバイスが対象者の身体に対して第１の撮像位置に配置されているときに、対象者の身体を表す第１の画像を受信するように構成された通信デバイスと；通信デバイスと通信し、第１の予測ネットワーク、第１の画像、及び臨床特性を含む目標画像ビューに基づいて、撮像デバイスを第１の撮像位置から第２の撮像位置に再配置するための第１の動き制御設定を決定するように構成されたプロセッサと；通信デバイスと通信し、撮像デバイスに結合されたロボット式システムであって、第１の動き制御設定に基づいて、撮像デバイスを第２の撮像位置に再配置するように構成されたロボット式システムとを含む。
【0010】
[0009] いくつかの実施形態において、通信デバイスは更に、撮像デバイスが対象者の身体に対して第２の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第２の画像を受信するように構成され、プロセッサは更に、第２の予測ネットワークに基づいて、第２の画像が目標画像ビューの臨床特性を含むか否かを判定するように構成される。いくつかの実施形態において、プロセッサは更に、第２の画像が目標画像ビューの臨床特性を含まないと判定されたとき、第２の動き制御設定を決定するように構成され、ロボット式システムは更に、第２の動き制御設定に基づいて、撮像デバイスを第３の撮像位置に再配置するように構成され、通信デバイスは更に、撮像デバイスが対象者の身体に対して第３の撮像位置に配置されているときに、対象者の身体を表す第３の画像を受信するように構成される。いくつかの実施形態において、プロセッサは更に、目標画像ビューの臨床特性を含む画像が撮像デバイスから受信されるまで、第２の動き制御設定を決定することを繰り返すように構成され、ロボット式システムは更に、撮像デバイスを第３の撮像位置に再配置することを繰り返すように構成され、通信デバイスは更に、第３の画像を受信することを繰り返すように構成される。いくつかの実施形態において、プロセッサは更に、第２の画像が目標画像ビューの臨床特性を含むと判定されたとき、第２の撮像位置のための調節を決定するように構成され、ロボット式システムは更に、調節に基づいて撮像デバイスを第３の撮像位置に再配置するように構成され、通信デバイスは更に、撮像デバイスが対象者の身体に対して第３の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第３の画像を受信するように構成され、プロセッサは更に、第３の予測ネットワークに基づいて、第２の撮像位置及び第３の撮像位置から目標撮像位置を選択するように構成される。いくつかの実施形態において、通信デバイスは更に、撮像デバイスが選択された目標撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第４の画像を受信するように構成され、プロセッサは更に、第４の画像に基づいて、臨床特性に関連付けられた医療検査結果を決定するように構成される。いくつかの実施形態において、プロセッサは更に、撮像デバイスを再配置するための運動のセットをサンプリングすることによって、複数の動き制御設定候補を決定することと；第１の予測ネットワーク、第１の画像、及び目標画像ビューに基づいて、複数の動き制御設定候補から第１の動き制御設定を選択することによって更に第１の動き制御設定を決定することとを行うように構成される。いくつかの実施形態において、第１の予測ネットワークは、目標画像ビューを取得するために、少なくとも２つの撮像位置から撮像デバイスによって取得された複数の画像を提供することと；少なくとも２つの撮像位置に関連付けられた撮像デバイスの向き又は運動に基づいて複数の動き制御設定を取得することと；目標画像ビューに対する複数の動き制御設定と複数の画像との間の関係性にスコアを割り当てることとによって訓練される。いくつかの実施形態において、撮像デバイスは経食道的心エコー検査法（ＴＥＥ）プローブであり、第１の動き制御設定は、対象者の身体の左－右平面に沿った撮像デバイスの運動、対象者の身体の前－後平面に沿った撮像デバイスの運動、撮像デバイスの撮像平面の向き、又は撮像デバイスの軸に対する撮像デバイスの回転のうちの少なくとも１つに対応する１つ又は複数のパラメータを含む。いくつかの実施形態において、撮像デバイスは経胸腔的心エコー検査法（ＴＴＥ）プローブであり、第１の動き制御設定は、撮像デバイスを移動させるための線速度又は角速度のうちの少なくとも１つに対応する１つ又は複数のパラメータを含む。
【0011】
[0010] 本開示の追加的な態様、特徴、及び利点は、以下の詳細な説明から明らかになるであろう。
【0012】
[0011] 本開示の例示的な実施形態が、添付の図面を参照して説明される。
【図面の簡単な説明】
【0013】
【図1】[0012] 本開示の態様による、経食道的心エコー検査法（ＴＥＥ）プローブを含む医療用撮像システムの概略図である。
【図2A】[0013] 本開示の態様による、ＴＥＥプローブのための構成を示す概略図である。
【図2B】[0014] 本開示の態様による、ＴＥＥプローブのための構成を示す概略図である。
【図2C】[0015] 本開示の態様による、ＴＥＥプローブのための構成を示す概略図である。
【図2D】[0016] 本開示の態様による、ＴＥＥプローブのための構成を示す概略図である。
【図3】[0017] 本開示の態様による、経胸腔的心エコー検査法（ＴＴＥ）プローブを含む医療用撮像システムの概略図である。
【図4】[0018] 本開示の態様による、撮像コンポーネント整列処置を自動化するための手法を示す概略図である。
【図5】[0019] 本開示の態様による、大規模な画像データセットを取得するための手法を示す概略図である。
【図6】[0020] 本開示の態様による、ＴＥＥプローブを再配置するためのシナリオを示す概略図である。
【図7】[0021] 本開示の態様による、ＴＴＥプローブを再配置するためのシナリオを示す概略図である。
【図8A】[0022] 本開示の態様による、ＬＡＡの目標画像ビューの例を示す。
【図8B】[0023] 本開示の態様による、ＬＡＡを撮影するための撮像平面の例を示す。
【図8C】[0024] 本開示の態様による、撮像コンポーネントによって撮影されたＬＡＡの画像の例を示す。
【図9】[0025] 本開示の態様による、予測畳み込みニューラルネットワーク（ＣＮＮ）のための構成を示す概略図である。
【図10】[0026] 本開示の態様による、微調整ＣＮＮのための構成を示す概略図である。
【図11】[0027] 本開示の態様による、目標ＣＮＮのための構成を示す概略図である。
【図12】[0028] 本開示の態様による、予測ＣＮＮを訓練するための手法を示す概略図である。
【図13】[0029] 本開示の態様による、微調整ＣＮＮを訓練するための手法を示す概略図である。
【図14】[0030] 本開示の態様による、目標ＣＮＮを訓練するための手法を示す概略図である。
【図15】[0031] 本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるための手法を示す概略図である。
【図16】[0032] 本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるガイダンスを提供するための手法を示す概略図である。
【図17A】[0033] 本開示の態様による、撮像コンポーネント整列ガイダンス表示ビューを示す概略図である。
【図17B】[0034] 本開示の態様による、撮像コンポーネント整列ガイダンス表示ビューを示す概略図である。
【図17C】[0035] 本開示の態様による、撮像コンポーネント整列ガイダンス表示ビューを示す概略図である。
【図18】[0036] 本開示の態様による、ＣＮＮを訓練するための撮像データセットを取得する方法のフロー図である。
【図19】[0037] 本開示の態様による、ＣＮＮを訓練する方法のフロー図である。
【図20】[0038] 本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるためにＣＮＮを適用する方法のフロー図である。
【図21】[0039] 本開示の態様による、ＣＮＮに基づく撮像コンポーネント整列ガイダンスを提供する方法のフロー図である。
【図22】[0040] 本開示の態様による、医療検査を自動化する方法のフロー図である。
【図23】[0041] 本発明の態様による制御ループを示す図である。
【図24】本発明の態様による制御ループを示す図である。
【発明を実施するための形態】
【0014】
[0042] 本開示の原理の理解を促す目的で、図面において示された実施形態が参照され、これらを説明するために具体的な用語が使用される。それにもかかわらず、本開示の範囲に対する限定が意図されるものではないと理解されるものである。説明されるデバイス、システム及び方法に対する任意の変更及び更なる修正、並びに本開示の原理の任意の更なる適用は、本開示が関連する技術分野の当業者が通常思いつくように、完全に想定され、本開示に含まれるものである。特には、１つの実施態様に関して説明される特徴、コンポーネント及び／又はステップが、本開示の他の実施形態に関して説明される特徴、コンポーネント及び／又はステップと組み合わされ得ることは、完全に想定されるものである。しかしながら、簡略化のために、これらの組み合わせの多くの繰り返しは、別個に説明されるものではない。
【0015】
[0043] 図１は、本開示の態様による、ＴＥＥプローブ１１０を含む医療用撮像システム１００の概略図である。システム１００は、ホスト１３０と、ロボット式システム１２０と、ＴＥＥプローブ１１０とを含み、これらは互いに通信している。ハイレベルにおいて、ＴＥＥプローブ１１０は、患者１０２の心臓の画像を撮影するために、患者１０２の口を通って食道に挿入され得、ホスト１３０は、ＴＥＥプローブ１１０を所望の場所に再配置するようにロボット式システム１２０に命令し得る。例えば、ＬＡＡＣ処置では、ホスト１３０は、心臓のＬＡＡを含む画像がＴＥＥプローブ１１０によって撮影されるようにＴＥＥプローブ１１０を配置するようにロボット式システム１２０に命令する。システム１００は、超音波撮像システムであってよく、プローブ１１０は超音波プローブであってよい。
【0016】
[0044] ＴＥＥプローブ１１０は、柔軟性長尺部材１１２と、撮像コンポーネント１１４と、ハンドル１１６とを含む。柔軟性長尺部材１１２は、食道などの患者の身体管腔内に配置されるようなサイズ及び／又は形状に形成され得、構造的に配置され得、及び／又は他のやり方で構成され得る。部材１１２は、内視鏡と称される。撮像コンポーネント１１４は、部材１１２の遠位端部に取り付けられる。場合によっては、プローブ１１０は、ガイドワイヤ、カテーテル、又はガイドカテーテルであり得る。撮像コンポーネント１１４は、１つ又は複数の超音波センサ又はトランスデューサ要素を含む。撮像コンポーネント１１４は、患者１０２の解剖学的構造（例えば、心臓）に向かって超音波エネルギーを射出するように構成される。超音波エネルギーは、患者の血管系及び／又は組織構造によって反射される。撮像コンポーネント１１４における超音波トランスデューサ要素は、反射された超音波エコー信号を受信する。いくつかの実施形態において、ＴＥＥプローブ１１０は、超音波エコー信号を局所的に処理して、撮像されている患者１０２の解剖学的構造を表す画像信号を生成し得る内部の又は一体式の処理コンポーネントを含む。超音波トランスデューサ要素は、患者１０２の解剖学的構造の２次元的（２Ｄ）画像又は３次元的（３Ｄ）画像を提供するように構成され得る。本明細書においてより詳細に説明されるように、ＴＥＥプローブ１１０によって取得される画像は、挿入の深度、並びにＴＥＥプローブ１１０の回転及び／又は傾きに依存する。
【0017】
[0045] ハンドル１１６は、部材１１２の近位端部に結合される。ハンドル１１６は、撮像コンポーネント１１４及び／又は部材１１２を操作するための制御要素を含む。図示されるように、ハンドル１１６は、ノブ１１７及び１１８と、スイッチ１１９とを含む。ノブ１１７は、部材１１２及び撮像コンポーネント１１４を患者１０２（例えば、心臓）の前－後平面に沿って屈曲させる。ノブ１１８は、部材１１２及び撮像コンポーネント１１４を患者１０２の左－右平面に沿って屈曲させる。スイッチ１１９は、撮像コンポーネント１１４におけるビーム形成を制御（例えば、撮像平面の角度を調節）する。
【0018】
[0046] ロボット式システム１２０は、ハンドル１１６を制御する（例えば、ノブ１１７及び１１８のダイアルを回転させる、及び／又は、スイッチ１１９をオン及び／又はオフにする）ように構成されたモータ、ローラ、ギアなどの電気的及び／又は機械的コンポーネントを含む。代替的に、ロボット式システム１２０は、直接的にＴＥＥプローブ１１０を操縦するように構成される。ロボット式システム１２０は、ホスト１３０から動き制御コマンドを受信し、ハンドル１１６上のノブ１１７及び１１８及び／又はスイッチ１１９を制御し、及び／又は、動き制御コマンドに基づいてＴＥＥプローブ１１０を直接的に駆動する。動き制御コマンドは、本明細書においてより詳細に説明される。
【0019】
[0047] ホスト１３０は、メモリ１３２と、ディスプレイ１３４と、処理コンポーネント１３６と、通信インタフェース１３８とを含む。処理コンポーネント１３６は、メモリ１３２、ディスプレイ１３４、及び通信インタフェース１３８に結合され、これらと通信する。ホスト１３０は、コンピュータワークステーション、モバイルフォン、タブレット、又は任意の適切なコンピューティングデバイスである。
【0020】
[0048] メモリ１３２は、キャッシュメモリ（例えば、処理コンポーネント１３６のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ソリッドステートメモリデバイス、ハードディスクドライブ、ソリッドステートドライブ、他の形態の揮発性又は不揮発性メモリ、又は異なるタイプのメモリの組み合わせなど、任意の適切なデータ記憶デバイスである。メモリ１３２は、データベース１４０及び１つ又は複数のＣＮＮ１４２を記憶するように構成される。
【0021】
[0049] 処理コンポーネント１３６は、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書において説明される動作を実施するように構成されたこれらの任意の組み合わせを含む。処理コンポーネント１３６は、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成として実現されてもよい。
【0022】
[0050] 実施形態において、処理コンポーネント１３６は、患者１０２などの患者又は解剖学的模型（例えば、心臓模型）から画像を取得し、ＴＥＥプローブ１１０を制御するための動き制御パラメータを生成し、特定の又は選択された臨床特性を含む目標画像ビューに対する取得された画像及び動き制御パラメータの適格性確認又は有効性確認を行うためのラベル又はスコアを決定し、及び／又はデータベース１４０を生成するように構成される。データベース１４０は、取得された画像を動き制御パラメータ及びスコアに関連付けて記憶する。
【0023】
[0051] 実施形態において、処理コンポーネント１３６は、データベース１４０に基づいて撮像コンポーネント１１４を目標撮像平面に対して整列させるためにＣＮＮ１４２を訓練するように構成される。実施形態において、処理コンポーネント１３６は、臨床処置のために撮像コンポーネント１１４を患者１０２などの患者に対して整列させるロボット式システム１２０のための動き制御コマンドを決定するように、臨床環境においてＣＮＮ１４２を適用するように構成される。例えば、撮像コンポーネント１１４は、ＬＡＡＣ処置のために患者１０２のＬＡＡの画像を取得するように整列される。データベース１４０のためのデータセットを取得し、ＣＮＮ１４２を訓練し、ＣＮＮ１４２を適用するための機構は、本明細書においてより詳細に説明される。
【0024】
[0052] いくつかの実施形態において、メモリ１３２は、非一時的コンピュータ可読媒体を含む。メモリ１３２は、処理コンポーネント１３６によって実行されたときに、本開示の実施形態と関連するデータ取得、ＣＮＮ訓練及び／又はＣＮＮ適用を参照して本明細書において説明される動作を処理コンポーネント１３６に実施させる命令を記憶する。命令はコードとも称される。「命令」及び「コード」という用語は、任意のタイプのコンピュータ可読命令文を含むように広範に解釈されるべきである。例えば、「命令」及び「コード」という用語は、１つ又は複数のプログラム、ルーチン、サブルーチン、機能、プロシージャなどを指す。「命令」及び「コード」は単一のコンピュータ可読命令文を含む。
【0025】
[0053] ディスプレイ１３４は、ユーザインタフェース（ＵＩ）１４４を表示するためのコンピュータスクリーン又は任意の適切なディスプレイを含む。ＵＩ１４４は、例えばノブ１１７及び１１８並びにスイッチ１１９を含むハンドル１１６のグラフィカル表現又はビューを含む。ＵＩ１４４は、本明細書においてより詳細に説明されるように、ノブ１１７及び１１８のダイアルを回す方向及び／又は量、スイッチ１１９をオン又はオフにする命令、及び／又はＴＥＥプローブ１１０を回転させる方向及び／又は程度を示す視覚的インジケータを含む。ディスプレイ１３４はホスト１３０に一体的なコンポーネントとして図示されているが、いくつかの実施形態において、ディスプレイ１３４は、ホスト１３０の外部にあって、通信インタフェース１３８を介してホスト１３０と通信してもよい。例えば、ディスプレイ１３４は、スタンドアローンディスプレイ、拡張現実グラス、又はモバイルフォンを含んでよい。
【0026】
[0054] 通信インタフェース１３８は、１つ又は複数の送信機、１つ又は複数の受信機、１つ又は複数の送受信機、及び／又は、通信信号を送信及び／又は受信するための回路を含む。通信インタフェース１３８は、通信リンク１５０及び１５２を介して信号を搬送するために適した特定の通信プロトコルを実現するハードウェアコンポーネント及び／又はソフトウェアコンポーネントを含み得る。通信インタフェース１３８は、通信デバイス又は通信インタフェースモジュールと称され得る。通信インタフェース１３８は、通信リンク１５０及び１５２を介してそれぞれロボット式システム１２０及び撮像コンポーネント１１４とインタフェースし、これらと通信するように構成される。例えば、ホスト１３０は、通信リンク１５０を介して動き制御コマンドをロボット式システム１２０に送り、通信リンク１５２を介して撮像コンポーネント１１４から取得された画像を受信する。通信リンク１５０及び１５２は、無線リンク及び／又は有線リンクを含む。無線リンクの例としては、低電力Ｂｌｕｅｔｏｏｔｈ（登録商標）無線リンク、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）８０２．１１（ＷｉＦｉ）リンク、又は任意の適切な無線リンクなどがある。有線リンクの例としては、ユニバーサルシリアルバス（ＵＳＢ）リンク又は任意の適切な有線リンクなどがある。
【0027】
[0055] いくつかの実施形態において、ＵＩ１４４は、ＴＥＥプローブ１１０を所望の場所に対して整列させるようにハンドル１１６を動作させるための命令を表示する。例えば、処理コンポーネント１３６は、命令及び／又は視覚的インジケータのフォーマットの動き制御コマンドをＵＩ１４４を介してディスプレイ１３４に出力し、臨床医は、ロボット式システム１２０を用いる代わりにこの命令に基づいて、ＴＥＥプローブ１１０を患者１０２に対して手動で整列させる。通信インタフェース１３８は更に、例えばキーボード、マウス、又はタッチスクリーンを介してユーザ入力を受信するように構成される。ＵＩ１４４は、ユーザ入力に基づいて特定の表示又はビューを更新する。ＵＩ１４４は、本明細書においてより詳細に説明される。
【0028】
[0056] システム１００はＴＥＥプローブ１１０とともに示されているが、システム１００は、臨床処置のために任意の適切な撮像コンポーネントを患者に対して自動的に整列させるように構成される。撮像コンポーネントは、内部撮像モダリティを提供し、この場合、撮像コンポーネントは患者の解剖学的構造の画像を取得するために患者の身体内に挿入される。代替的に、撮像コンポーネントは、外部撮像モダリティを提供してもよく、この場合、撮像コンポーネントは患者の解剖学的構造の画像を取得するために患者の身体の外側に置かれる。撮像モダリティとしては、血管内超音波（ＩＶＵＳ）撮像、前方視血管内超音波（ＦＬ－ＩＶＵＳ）撮像、血管内光音響（ＩＶＰＡ）撮像、心臓内心エコー検査法（ＩＣＥ）、光学的撮像、光コヒーレンス断層撮影（ＯＣＴ）、放射線撮像、Ｘ線撮像、血管造影、蛍光透視、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、エラストグラフィなどがある。
【0029】
[0057] いくつかの他の実施形態において、システム１００は、圧力センサ、流量センサ、温度センサ、光ファイバ、反射体、鏡、プリズム、切除要素、無線周波数（ＲＦ）電極、導体、及び／又は臨床的又は治療的処置を実施するためのこれらの組み合わせなどの任意の適切な感知コンポーネントを含み、処置を受ける患者の解剖学的構造の画像が撮像コンポーネント１１４によって処置の前、最中、及び／又は後に撮影される。
【0030】
[0058] ＴＥＥプローブ１１０は、様々な自由度において操作される。図２Ａ～図２Ｄは、ＴＥＥプローブ１１０を操作するための様々な機構を示す。図２Ａは、本開示の態様による、ＴＥＥプローブ１１０のための構成２１０を示す概略図である。ＴＥＥプローブ１１０は、矢印２１２によって示されるように患者の食道内へと手動で前進され得、又は矢印２１４によって示されるように患者の食道から引き出され得る。ＴＥＥプローブ１１０は、矢印２１６及び２１８によってそれぞれ示されるようにＴＥＥプローブ１１０の長手軸２０２に対して左方向（例えば、反時計回り方向）に又は右方向（例えば、時計回り方向）に手動で回転され得る。部材１１２の回転は、γとして示されるパラメータによって表され得る。
【0031】
[0059] 図２Ｂは、本開示の態様による、ＴＥＥプローブ１１０のための構成２２０を示す概略図である。ＴＥＥプローブ１１０は、矢印２２２及び２２４によって示されるように（例えば、ビーム形成のために）０度から１８０度まで、例えば、ハンドル１１６のスイッチ１１９を制御することによって、電子的に回転され得る。撮像平面の回転は、ωとして示されるパラメータによって表され得る。
【0032】
[0060] 図２Ｃは、本開示の態様による、ＴＥＥプローブ１１０のための構成２３０を示す概略図である。ＴＥＥプローブ１１０は、矢印２３２及び２３４によって示されるように、例えばハンドル１１６のノブ１１８のダイアルを回転させることによって、例えば患者の心臓に対して前－後平面に沿って屈曲され得る。前－後平面に沿った屈曲は、αとして示されるパラメータによって表され得る。
【0033】
[0061] 図２Ｄは、本開示の態様による、ＴＥＥプローブ１１０のための構成２４０を示す概略図である。ＴＥＥプローブ１１０は、矢印２４２及び２４４によって示されるように、例えばハンドル１１６のノブ１１７のダイアルを回転させることによって、例えば患者の心臓に対して左－右平面に沿って屈曲され得る。左－右平面に沿った屈曲は、βとして示されるパラメータによって表され得る。
【0034】
[0062] 図３は、本開示の態様による、ＴＴＥプローブ３１０を含む医療用撮像システム３００の概略図である。システム３００は、システム１００と実質的に同様であるが、システム３００は、内部撮像コンポーネント（例えばＴＥＥプローブ１１０）の代わりに外部撮像コンポーネント（例えば、ＴＴＥプローブ３１０）を目標撮像平面に対して整列させるために使用される。図示されるように、システム３００は、ホスト１３０と、ロボット式システム３２０と、ＴＴＥプローブ３１０とを含み、これらは互いに通信している。ハイレベルにおいて、ＴＴＥプローブ３１０は、患者１０２の解剖学的構造の画像を患者１０２の身体の外部から撮影するように構成され、ホスト１３０は、ＴＴＥプローブ３１０を所望の場所に再配置するようにロボット式システム３２０にリンク１５０を介して命令し得る。システム３００は、超音波撮像システムであってよく、プローブ３１０は超音波プローブであってよい。
【0035】
[0063] ＴＴＥプローブ３１０は、撮像コンポーネント１１４と実質的に同様の機構によって動作する撮像コンポーネントを含む。例えば、撮像コンポーネントは、外部撮像によって患者１０２の解剖学的構造（例えば、心臓）の２Ｄ画像又は３Ｄ画像を撮影するように構成された超音波トランスデューサ要素を含む。同様に、ＴＴＥプローブ３１０は、取得された画像信号をリンク１５２を介してホスト１３０に送る。
【0036】
[0064] ロボット式システム３２０は、ＴＴＥプローブ３１０を保持し、患者１０２の外部表面上（例えば、心臓を撮像するための胸部エリア周辺）でＴＴＥプローブ３１０を操作するように構成された複数のジョイント３２４に結合された複数のリンク３２２を含む。処理コンポーネント１３６は、システム１００におけるものと実質的に同様の機構を使用してデータベース１４０及びＣＮＮ１４２を生成するが、本明細書においてより詳細に説明されるように、動き制御コマンドは、ＴＥＥプローブ１１０の回転及び屈曲の代わりに、デカルト座標における速度のフォーマットである。
【0037】
[0065] 概して、システム１００、システム３００、プローブ１１０、プローブ３１０、及び／又は本明細書において説明される他のデバイスは、患者身体１０２の任意の適切な解剖学的構造及び／又は管腔を検査するために利用され得る。場合によっては、プローブ１１０は、患者身体１０２の解剖学的構造及び／又は管腔内に配置され得る。他の場合には、プローブ１１０は、身体１０２の内部の解剖学的構造及び／又は管腔を検査するために身体１０２の外側に配置され得る。解剖学的構造及び／又は管腔は、自然及び人工の両方の、流体で充満された構造又は流体で囲まれた構造を表す。例えば、本開示のプローブは、患者の食道内に配置され得、及び／又は、これを検査するために使用され得る。いくつかの実施形態において、本開示のプローブは、これらに限定するものではないが、肝臓、心臓、腎臓、胆嚢、膵臓、肺などの臓器；管；腸；脳、硬膜嚢、脊髄、末梢神経などの神経系構造；尿路；並びに心臓の血液、心室又は他の部分内の弁、及び／又は身体の他の系などの、任意の数の解剖学的場所及び組織タイプを検査するために使用される。身体１０２内の解剖学的構造及び／又は管腔は、心臓血管系、末梢血管系、神経血管系、腎血管系などの患者の血管系の動脈又は静脈などの血管、及び／又は身体内の任意の他の適切な管腔である。自然の構造に加えて、本開示のプローブは、これらに限定するものではないが、心臓弁、ステント、シャント、フィルタ及び他のデバイスなどの、人工的な構造を検査するために使用される。
【0038】
[0066] 図４は、本開示の態様による、撮像コンポーネント整列処置を自動化するための手法４００を示す概略図である。手法４００は、システム１００及び３００におけるホスト１３０によって実施される。手法４００は、データ取得フェーズ４０２、ＣＮＮ訓練フェーズ４０４、及び臨床操作フェーズ４０６を含む。データ取得フェーズ４０２及びＣＮＮ訓練フェーズ４０４はオフラインで実施され、臨床操作フェーズ４０６は臨床環境において実施される。
【0039】
[0067] データ取得フェーズ４０２において、データ取得コンポーネント４１０は、撮像コンポーネント（例えば、ＴＥＥプローブ１１０又はＴＴＥプローブ３１０）を使用して画像データを取得し、撮像コンポーネントを（例えば、ロボット式システム１２０又は３２０を使用して）対象者の身体（例えば、患者１０２又は解剖学的模型）に対する様々な場所へと操作するための動き制御パラメータを生成し、撮像コンポーネントの場所及び対応する画像を目標画像ビューに関連付けてデータベース１４０を生成するように構成される。データ取得コンポーネント４１０は、撮像コンポーネント及び目標ビューの対応する位置の間の関係性に基づいて、取得された画像に自動的に注釈又はラベルを付ける。データ取得コンポーネント４１０は、繰り返し又は周期的に、データを取得し、データベース１４０を更新する。データを取得し、データベース１４０を生成するための機構は、本明細書においてより詳細に説明される。
【0040】
[0068] ＣＮＮ訓練フェーズ４０４において、ＣＮＮ訓練コンポーネント４２０は、データベース１４０に基づいてＣＮＮ１４２を訓練するように構成される。ＣＮＮ１４２は、予測ＣＮＮ１４２ａと、微調整ＣＮＮ１４２ｂと、目標ＣＮＮ１４２ｃとを含む。予測ＣＮＮ１４２ａは、撮像コンポーネントから現在取得された画像を受信し、目標画像ビューを撮影するための所望の場所に撮像コンポーネントが到達する可能性の最も高い動きベクトル（例えば、動き制御パラメータを含む）を推測又は推定するように訓練される。例えば、予測ＣＮＮ１４２ａは、特定の又は所定の臨床特性（例えば、ＬＡＡ）を含む目標画像ビューのために訓練される。微調整ＣＮＮ１４２ｂは、一対の画像が同一の品質レベルを有するか否かを検証するように、又はより高い品質レベルを有する画像を一対の画像から選択するように訓練される。目標ＣＮＮ１４２ｃは、目標画像ビュー（例えば、ＬＡＡ）が撮影されたか否かを判定するように訓練される。いくつかの実施形態において、ＣＮＮ訓練コンポーネント４２０は、微調整ＣＮＮ１４２ｂ及び／又は目標ＣＮＮ１４２ｃを、追加的な臨床データを使用して訓練する。ＣＮＮ１４２を訓練するための機構は、本明細書においてより詳細に説明される。
【0041】
[0069] 臨床操作フェーズ４０６において、ＣＮＮ適用コンポーネント４３０は、目標画像ビューを取得するために撮像コンポーネントを患者の解剖学的構造に再配置又は整列させるための動きベクトルを決定するために訓練済みのＣＮＮ１４２を適用する。ＣＮＮ適用コンポーネント４３０は、整列のために閉ループ制御アルゴリズムを用いる。例えば、ＣＮＮ適用コンポーネント４３０は、撮像コンポーネントを方向付けるために予測ＣＮＮ１４２ａを適用し、撮像コンポーネントが所望の場所にあるか否かをチェックするために目標ＣＮＮ１４２ｃを適用する。ＣＮＮ適用コンポーネント４３０は、目標ＣＮＮ１４２ｃが目標画像ビューを検知するまで予測ＣＮＮ１４２ａ及び目標ＣＮＮ１４２ｃを繰り返し適用する。続いて、ＣＮＮ適用コンポーネント４３０は、目標画像ビューを撮影するための最適な場所に撮像コンポーネントを方向付けるために微調整ＣＮＮ１４２ｂを適用する。ＣＮＮ適用コンポーネント４３０は、整列プロセスにおいて撮像コンポーネントを再配置又は整列させるようにロボット式システムに命令する。代替的に、ＣＮＮ適用コンポーネント４３０は、例えばＵＩ１４４における表示のために、運動ガイダンスコンポーネント４３２に動きベクトルを提供する。ＣＮＮ１４２を適用するための機構は、本明細書においてより詳細に説明される。
【0042】
[0070] 図５は、本開示の態様による、大規模な画像データセットを取得するための手法５００を示す概略図である。手法５００は、システム１００及び３００並びにデータ取得コンポーネント４１０によって実施される。手法５００は、データ取得フェーズ４０２における自動的なデータ取得プロセスのより詳細なビューを提供する。手法５００は、運動生成コンポーネント５１０と、ロボット式システム５２０と、適格性確認コンポーネント５３０と、データ関連付けコンポーネント５４０と、データベース生成コンポーネント５５０と、データベース記憶コンポーネント５６０と、撮像デバイス５７０とを含む。実施形態において、撮像デバイス５７０はＴＥＥプローブ１１０に対応し、ロボット式システム５２０はロボット式システム１２０に対応する。別の実施形態において、撮像デバイス５７０はＴＴＥプローブ３１０に対応し、ロボット式システム５２０はロボット式システム３３０に対応する。
【0043】
[0071] 運動生成コンポーネント５１０は、撮像平面位置のセット（例えば、２Ｄ撮像のため）を生成し、撮像平面位置を動き制御設定へとエンコードするように構成される。動き制御設定は、撮像デバイス５７０を再配置するために使用される。動き制御設定は、ｍｔとして示される動きベクトルによって表される。動き制御設定は、使用中の撮像コンポーネントタイプに応じて異なるパラメータを含む。例えば、撮像デバイス５７０がＴＥＥプローブ１１０であるとき、図２Ａ、図２Ｂ、図２Ｃ、及び図２Ｄに関してそれぞれ図示及び説明されたように、動き制御設定は、パラメータγ、ω、α、及びβを含む。代替的に、撮像デバイス５７０がＴＴＥプローブ３１０であるとき、動き制御設定は、線速度パラメータ及び角速度パラメータによって表される。いくつかの実施形態において、運動生成コンポーネント５１０は、動き制御設定のためのパラメータを生成するために確率関数を用いる。運動生成コンポーネント５１０は、動き制御設定をロボット式システム５２０及びデータ関連付けコンポーネント５４０に提供する。
【0044】
[0072] いくつかの実施形態において、動き制御設定は、撮像デバイス５７０の物理的な場所を変更することに加えて、ボリュメトリック超音波画像内で撮像平面を変化させるように撮像デバイス５７０を動作せるための制御を含み得る。例えば、撮像平面は、ボリュメトリック撮像中に仰角方向又はボリュメトリック領域の軸に対する任意の適切な角度に傾けられる。
【0045】
[0073] 概して、動き制御設定は、ユーザ又はロボットによって提供されたデバイスの特定の位置又は特定の動きに関する任意の測定可能なデータを含み得る。様々な動き制御設定が本出願全体を通じて説明され、本明細書における方法／システムは、これらの動き制御設定のうちの任意の１つ又は組み合わせを含み得る。場合によっては、動き制御設定は、１つ又は複数のパラメータを含む。パラメータは、方向ベクトル又は速度ベクトル、及び／又は撮像平面位置を含む。
【0046】
[0074] ロボット式システム５２０は、動き制御設定に基づいて、撮像デバイス５７０を再配置する。撮像デバイス５７０は、対象者の身体５８０（例えば、心臓模型）の画像を撮影し、Ｕｔとして示される画像を適格性確認コンポーネント５３０及びデータ関連付けコンポーネント５４０に提供する。
【0047】
[0075] 適格性確認コンポーネント５３０は、取得された画像が、特定の臨床処置（例えば、ＬＡＡＣ処置）のための意味を持つ特定の臨床特性（例えば、ＬＡＡ）を含むか否かを判定する。例として、手法５００は、特定の臨床特性を含む、Ｕｔａｒｇｅｔとして示される目標画像ビューを撮影するためのデータベース１４０を生成するように構成される。適格性確認コンポーネント５３０は、ｌｔとして示されるスコア又はラベルを出力する。例えば、選択された動き制御設定が、取得された画像が目標画像ビューの撮影に成功した場所に撮像デバイス５７０を配置したとき、適格性確認コンポーネント５３０はスコアｌｔの値として１を出力する。これとは逆に、取得された画像が目標画像ビューの撮影に失敗したとき、適格性確認コンポーネント５３０はスコアｌｔの値として０を出力する。適格性確認コンポーネント５３０は、スコアｌｔをデータ関連付けコンポーネント５４０に提供する。
【0048】
[0076] 実施形態において、データ関連付けコンポーネント５４０は、ｑｔとして示される現在位置において撮像デバイス５７０によって撮影された、Ｕｔとして示される現在の画像を受信する。ロボット式システム５２０は、動き制御ベクトルｍｔに基づいて、撮像デバイス５７０を、ｑｅｎｄとして示される次の位置に再配置する。これは以下のように表される。
ｍｔ＝ｑｅｎｄ－ｑｔ （１）
適格性確認コンポーネント５３０は、撮像デバイス５７０が位置ｑｅｎｄに再配置されたときに撮像デバイス５７０によって撮影された対象者の身体５８０の次の画像を受信し、この画像はＵｔ＋１として示される。適格性確認コンポーネント５３０は、画像Ｕｔ＋１が目標画像ビューＵｔａｒｇｅｔを含むか否かに基づいて、画像Ｕｔ＋１を生成する動きコマンドのためのスコアｌｔを決定する。代替的に、対象者の身体５８０が模型であるときは、目標画像ビューを撮影するための目標位置は既知である。故に、適格性確認コンポーネント５３０は、位置ｑｅｎｄを目標位置と比較することによってスコアｌｔを決定する。
ｍｔ＝ｑｅｎｄ－ｑｔ （１）
適格性確認コンポーネント５３０は、撮像デバイス５７０が位置ｑｅｎｄに再配置されたときに撮像デバイス５７０によって撮影された対象者の身体５８０の次の画像を受信し、この画像はＵｔ＋１として示される。適格性確認コンポーネント５３０は、画像Ｕｔ＋１が目標画像ビューＵｔａｒｇｅｔを含むか否かに基づいて、画像Ｕｔ＋１を生成する動きコマンドのためのスコアｌｔを決定する。代替的に、対象者の身体５８０が模型であるときは、目標画像ビューを撮影するための目標位置は既知である。故に、適格性確認コンポーネント５３０は、位置ｑｅｎｄを目標位置と比較することによってスコアｌｔを決定する。
【0049】
[0077] データ関連付けコンポーネント５４０は、現在の画像Ｕｔを動き制御ベクトルｍｔ及びスコアｌｔに関連付けて、ｄｔとして示されるデータタプルを形成する。これは以下のように表される。
ｄｔ＝（Ｕｔ，ｍｔ，ｌｔ） （２）
手法５００は、目標画像ビューに到達するための各試行又は試みにおいてＫステップのシーケンスを行い、ここでＫは正の整数である。各試行又は試みは、Ｓｎとして示されるシーケンスによって表される。これは以下のように表される。
Ｓｎ＝｛ｄ１，ｄ２，．．．，ｄＫ｝ （３）
ここで、ｄｔは、シーケンスＳｎにおける特定のステップｔにおけるデータタプルを表す。データ関連付けコンポーネント５４０は、シーケンスＳｎをデータベース生成コンポーネント５５０に提供する。
ｄｔ＝（Ｕｔ，ｍｔ，ｌｔ） （２）
手法５００は、目標画像ビューに到達するための各試行又は試みにおいてＫステップのシーケンスを行い、ここでＫは正の整数である。各試行又は試みは、Ｓｎとして示されるシーケンスによって表される。これは以下のように表される。
Ｓｎ＝｛ｄ１，ｄ２，．．．，ｄＫ｝ （３）
ここで、ｄｔは、シーケンスＳｎにおける特定のステップｔにおけるデータタプルを表す。データ関連付けコンポーネント５４０は、シーケンスＳｎをデータベース生成コンポーネント５５０に提供する。
【0050】
[0078] シーケンスＳｎは、様々な条件によって終了する。例えば、シーケンスＳｎは、画像Ｕｔ＋１と目標画像ビューＵｔａｒｇｅｔとの間の類似性測度が大きいときに終了する。２つの単一モード画像の間の類似性測度を決定するために、様々な機構が使用される。例えば、類似性測度を決定するために、正規化された相互相関、差分二乗和（ＳＳＤ）、テンプレートマッチング、及び／又はシャム畳み込みニューラルネットワークが使用される。代替的に、シーケンスＳｎは、ステップｄｔのための位置ｑｅｎｄが既知の目標場所（例えば、模型に関して登録された目標座標）に対応したときに終了する。シーケンスＳｎは、試行又はステップの回数（例えば、Ｋ）が、目標画像ビューに到達していないにもかかわらず閾値を超えたとき、又は全ての動き制御パラメータを使い果たした後、例えば、特定の動きについてハードウェアリミットに、又はソフトウェアリミットに達したときにも終了する。ハードウェアリミットの例は、ＴＥＥプローブ１１０の屈曲及び回転それぞれのための掃引α、β、又はγである。ソフトウェアリミットの例は、０度から１８０度までの全ての角度を通じて撮像平面を変化させるための掃引ωである。場合によっては、ソフトウェアリミットは、各自由度α、β、γ、又はωについてロボット式システム１２０によって任意的に定められる。
【0051】
[0079] データベース生成コンポーネント５５０は、Ｎ回の試みから取得されたシーケンスＳｎから、Ｄとして示される関連データセットを形成することによってデータベース１４０を生成する。これは以下のように表される。
Ｄ＝｛Ｓ１，Ｓ２，．．．，ＳＮ｝ （４）
ここで、Ｎは正の整数である。
Ｄ＝｛Ｓ１，Ｓ２，．．．，ＳＮ｝ （４）
ここで、Ｎは正の整数である。
【0052】
[0080] データベース記憶コンポーネント５６０は、データベース１４０又はデータセットＤをメモリ１３２などのメモリに記憶する。いくつかの実施形態において、手法５００は、模型を使用して実施され、次いで、臨床環境を使用して繰り返される（例えば、患者１０２の画像を撮影する）。このような実施形態において、撮像デバイス５７０の再配置は、ユーザによって手動で、又はロボット式システム５２０によって自動的に実施される。撮像デバイス５７０の再配置が手動で実施されるとき、運動は運動感知コンポーネントによって感知され、運動感知コンポーネントは、感知された運動に基づいて動き制御設定を記録する。加えて、画像／位置適格性確認が、適格性確認コンポーネント５３０によって自動的に、又はユーザによって手動で実施される。場合によっては、ＵＩ１４４は、ユーザが取得された画像又は撮像平面位置の適格性確認を行うための、又はシーケンスＳｎにおける最終ステップを示すための様々な設定を含む。
【0053】
[0081] 実施形態において、ゲイン及び深さなどの超音波撮像パラメータは取得のために調節される。実施形態において、臨床医又はユーザは、特定の臨床処置のために、臨床コミュニティによって推薦された臨床的に関連するビューのセットから目標画像ビューＵｔａｒｇｅｔを選択する。実施形態において、臨床医は、画像ボリューム全体にわたる広範な検索によって目標画像ビューＵｔａｒｇｅｔの場所を手動で特定する。別の実施形態において、臨床医は、取得のための異なる撮像パラメータ又は位置を有するいくつかの目標画像ビューを取得する。
【0054】
[0082] 実施形態において、手法５００が、撮像ボリュームの一部分について画像データセットを取得するために十分な数の動き制御設定を生成した後、臨床医は、撮像デバイス５７０を異なる場所に再配置し、撮像ボリュームの異なる部分を取得するために手法５００を繰り返す。実施形態において、取得される撮像データセットの多様性を増加させるために、手法５００は、いくつかの他の対象者の身体５８０（例えば、複数の心臓模型）を使用して繰り返される。実施形態において、撮像データセットの多様性を増加させるために、手法５００は、いくつかの撮像デバイス５７０（例えば、複数のＴＥＥプローブ１１０又は複数のＴＴＥプローブ３１０）を使用して繰り返される。撮像平面位置又は動き制御設定の数、及び繰り返しの回数は、臨床医によって任意的に選択される。深層学習ニューラルネットワーク訓練をサポートするために、撮像データセットのサイズは比較的大規模である必要がある。
【0055】
[0083] 手法５００は特定の目標ビューのためのデータベース１４０を生成するためのものとして示されているが、手法５００は、異なる目標画像ビューのために繰り返されてもよい。手法５００は、異なる目標画像ビューのデータセットを同一のデータベース又は異なるデータベースに記憶する。
【0056】
[0084] 図６は、本開示の態様による、ＴＥＥプローブを再配置するためのシナリオ６００を示す概略図である。シナリオ６００は、撮像デバイス５７０がＴＥＥプローブ１１０に対応するときに撮像デバイス５７０を再配置するステップに対応する。図示されるように、ＴＥＥプローブ１１０は、部材１１２及び撮像コンポーネント１１４を屈曲する又は部材１１２及び撮像コンポーネント１１４の配置を調節する調節可能な部材６１０を含む。撮像コンポーネント１１４は、一連の位置に沿って、例えば、現在位置ｑｔから次の位置ｑｔ＋１に移動され、終了位置ｑｅｎｄにおいて移動を終了する。ＴＥＥプローブ１１０が位置ｑｔ＋１にあるとき、撮像コンポーネント１１４は画像６２０（例えば、Ｕｔ＋１）を撮影する。動き制御ベクトルｍｔは以下のように表され得る。
ｍｔ＝ｑｔ＋１－ｑｔ＝（α，β，γ，ω）Ｔ （５）
ここで、Ｔは転置演算子である。
ｍｔ＝ｑｔ＋１－ｑｔ＝（α，β，γ，ω）Ｔ （５）
ここで、Ｔは転置演算子である。
【0057】
[0085] 図７は、本開示の態様による、ＴＴＥプローブを再配置するためのシナリオ７００を示す概略図である。シナリオ７００は、撮像デバイス５７０がＴＴＥプローブ３１０に対応するときに撮像デバイス５７０を再配置するステップに対応する。図示されるように、ＴＴＥプローブ３１０は、一連の位置に沿って、例えば、ｐｔによって表される現在位置からｐｔ＋１によって表される次の位置に移動され、ｐｅｎｄによって表される終了位置において移動を終了する。ここで、ｐｔ、ｐｔ＋１、及びｐｅｎｄは４－ｂｙ－４変換マトリクス（例えば、並進及び回転を含む）である。故に、動き制御ベクトルｍｔは、３Ｄ並進ベクトル（例えば、線速度）及び現在位置から終了位置への各軸の（例えば、ｘ－ｙ－ｚ空間における）周りの向きにおける変化（例えば、角速度）によって表され得る。ＴＴＥプローブ３１０が位置ｐｔ＋１にあるとき、ＴＴＥプローブ３１０は、患者１０２の画像７１０（例えば、Ｕｔ＋１）を撮影する。動き制御ベクトルｍｔは以下のように表され得る。
ｍｔ＝ｐｔ＋１－ｐｔ＝（νｘｔ，νｙｔ，νｚｔ，ωｘｔ，ωｙｔ，ωｚｔ）Ｔ（６）
ここで、νｘｔ、νｙｔ、及びνｚｔはそれぞれ、ｘ、ｙ、及びｚ軸に沿った線速度を表し、ωｘｔ、ωｙｔ、及びωｚｔはそれぞれ、ｘ、ｙ、及びｚ軸に対する角速度を表す。ＴＴＥプローブ３１０を使用する手法５００を適用するとき、ユーザは、ＴＴＥプローブ３１０が再配置される位置（例えば、患者の心臓を撮像するときの患者の胸部エリア周辺の境界）を限定する境界条件又は終了条件を任意的に決定する。
ｍｔ＝ｐｔ＋１－ｐｔ＝（νｘｔ，νｙｔ，νｚｔ，ωｘｔ，ωｙｔ，ωｚｔ）Ｔ（６）
ここで、νｘｔ、νｙｔ、及びνｚｔはそれぞれ、ｘ、ｙ、及びｚ軸に沿った線速度を表し、ωｘｔ、ωｙｔ、及びωｚｔはそれぞれ、ｘ、ｙ、及びｚ軸に対する角速度を表す。ＴＴＥプローブ３１０を使用する手法５００を適用するとき、ユーザは、ＴＴＥプローブ３１０が再配置される位置（例えば、患者の心臓を撮像するときの患者の胸部エリア周辺の境界）を限定する境界条件又は終了条件を任意的に決定する。
【0058】
[0086] 図８Ａ～図８Ｃは、手法５００において使用される画像に対応する様々な例示的な画像又は画像ビューを示す。図８Ａは、本開示の態様による、ＬＡＡ８１２の目標画像ビュー８１０の例を示す。例えば、目標画像ビュー８１０はＵｔａｒｇｅｔに対応し、ＬＡＡ８１２は所望の臨床特性に対応する。図８Ｂは、本開示の態様による、患者の心臓８２２内のＬＡＡを撮影するための撮像平面８２０の位置の例を示す。例えば、手法５００は、撮像平面８２０において画像を撮影するように撮像デバイス５７０を再配置するために使用される。図８Ｃは、本開示の態様による、撮像平面８２０における撮像デバイス５７０又はＴＥＥプローブ１１０などの撮像コンポーネントによって撮影されたＬＡＡ８３２の目標画像８３０の例を示す。例えば、目標画像８３０はＵｔａｒｇｅｔに対応し、ＬＡＡ８３２は所望の臨床特性に対応する。
【0059】
[0087] 図９～図１１は、ＣＮＮ１４２の内部構成を示す。図９は、本開示の態様による、予測ＣＮＮ１４２ａのための構成９００を示す概略図である。予測ＣＮＮ１４２ａは、入力画像９０２が与えられたときに撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、及び撮像デバイス５７０）の再配置のために使用される動き制御設定の候補が、特定の目標ビュー（例えば、Ｕｔａｒｇｅｔに対応する目標画像８３０）のための最適な撮像場所に導くか否かを予測するために使用される。例えば、予測ＣＮＮ１４２ａは、患者の身体（例えば、患者１０２）に対して現在位置（例えば、ｑｔに対応する）に位置する撮像コンポーネントによって撮影された現在の画像９０２（例えば、Ｕｔに対応する）を受信する。予測ＣＮＮ１４２ａは、動き制御設定候補９０４（例えば、ｍｔに対応する）のセットからの動き制御設定が現在の画像に基づいて撮像コンポーネントを目標画像ビューに導き得るか否かを判定する。いくつかの実施形態において、動き制御設定候補９０４のセットは、ボリュメトリック超音波画像内で撮像平面を変化させるための制御を含み得る。予測ＣＮＮ１４２ａは、動き制御設定候補の各々について目標画像ビューに到達する可能性９０８（例えば、出力９０８）を計算し、目標画像ビューに到達する可能性の最も高い動き制御設定候補を選択する。予測ＣＮＮ１４２ａは、畳み込みレイヤ９１０及びプーリングレイヤ９１２の第１のセットと、空間タイリングレイヤ９２０と、加算コンポーネント９３０と、畳み込みレイヤ９４０及びプーリングレイヤ９４２の第２のセットとを含む。
【0060】
[0088] 予測ＣＮＮ１４２ａは、畳み込みレイヤ９１０及びプーリングレイヤ９１２の第１のセットを現在の画像９０２に適用する。各畳み込みレイヤ９１０は、画像９０２から画像特徴を抽出するように構成されたフィルタ９１４のセットを含む。各プーリングレイヤ９１２は、抽出された画像特徴の次元の数を減少させるフィルタ９１６のセットを含む。
【0061】
[0089] 予測ＣＮＮ１４２ａは、空間タイリングレイヤ９２０を各動き制御設定候補９０４に適用する。空間タイリングレイヤ９２０はフィルタ９２２のセットを含む。空間タイリングレイヤ９２０は、動き制御設定候補９０４を第１のセットの最後のプーリングレイヤ９１２（例えば、ｐｏｏｌＮとして図示されているもの）の出力空間寸法に変換又はマッピングする。加算コンポーネント９３０は、第１のセットの最後のプーリングレイヤ９１２の出力と空間タイリングレイヤ９２０の出力との間の和９０６（例えば、点ごとの和）を計算する。
【0062】
[0090] 予測ＣＮＮ１４２ａは、インタリーブした畳み込みレイヤ９４０及びプーリングレイヤ９４２の第２のセットを和９０６に適用する。畳み込みレイヤ９４０及びプーリングレイヤ９４２はそれぞれ、畳み込みレイヤ９１０及びプーリングレイヤ９１２と実質的に同様の構造を有する。例えば、各畳み込みレイヤ９４０はフィルタ９４４のセットを含み、各プーリングレイヤ９４２はフィルタ９１６のセットを含む。予測ＣＮＮ１４２ａは、各動き制御設定候補９０４について目標画像ビューに到達する可能性を表す出力９０８を生む。故に、可能性の最も高い動き制御設定が、動き制御設定候補９０４から選択される。フィルタ９１４、９１６、９２２、９４４、及び９４６は任意の適切な順序を有してよい。フィルタ９１４、９１６、９２２、９４４、及び９４６のための係数は、本明細書においてより詳細に説明されるように、学習又は訓練される。
【0063】
[0091] 図１０は、本開示の態様による、微調整ＣＮＮ１４２ｂのための構成１０００を示す概略図である。微調整ＣＮＮ１４２ｂは、より高い品質を有する画像を一対の入力画像１００２及び１００４から選択するために使用される。例えば、本明細書においてより詳細に説明されるように、微調整ＣＮＮ１４２ｂは、予測ＣＮＮ１４２ａが撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、及び撮像デバイス５７０）を所望の場所に対して方向付けた後に、撮像コンポーネントの位置を改善するために適用される。微調整ＣＮＮ１４２ｂは、畳み込みレイヤ１０１０及びプーリングレイヤ１０１２の第１のセットと、畳み込みレイヤ１０２０及びプーリングレイヤ１０２２の第２のセットと、選択コンポーネント１０３０とを含む。
【0064】
[0092] 微調整ＣＮＮ１４２ｂは、インタリーブした畳み込みレイヤ１０１０及びプーリングレイヤ１０１２の第１のセットを一方の入力画像１００２に適用し、インタリーブした畳み込みレイヤ１０２０及びプーリングレイヤ１０２２の第２のセットを他の入力画像１００４に適用する。各畳み込みレイヤ１０１０はフィルタ１０１４のセットを含み、各プーリングレイヤ１０１２はフィルタ１０１６のセットを含む。同様に、各畳み込みレイヤ１０２０はフィルタ１０２４のセットを含み、各プーリングレイヤ１０２２はフィルタ１０２６のセットを含む。選択コンポーネント１０３０は、より高い品質を有する画像１０３２を一対の画像１００２及び１００４から選択するように構成される。フィルタ１０１４、１０１６、１０２４、１０２６のための係数は、本明細書においてより詳細に説明されるように、学習又は訓練される。
【0065】
[0093] 図１１は、本開示の態様による、目標ＣＮＮ１４２ｃのための構成１１００を示す概略図である。目標ＣＮＮ１４２ｃは、目標画像ビューに対する入力画像１１０２の適格性確認を行うために使用される。例えば、目標ＣＮＮ１４２ｃは、入力画像１１０２が目標画像ビュー（例えば、Ｕｔａｒｇｅｔに対応する目標画像ビュー８１０）又は所定の若しくは選択された臨床特性（例えば、ＬＡＡ８１２）を含むか否かを判定する。実施形態において、目標ＣＮＮ１４２ｃは、肺、肝臓、又は心臓などの特定の解剖学的カテゴリを認識するように訓練される。目標ＣＮＮ１４２ｃは、畳み込みレイヤ１１１０及びプーリングレイヤ１１１２のセットと、領域提案ネットワーク１１２０とを含む。目標ＣＮＮ１４２ｃは、インタリーブした畳み込みレイヤ１１１０及びプーリングレイヤ１１１２のセットを入力画像１１０２に適用する。各畳み込みレイヤ１１１０はフィルタ１１１４のセットを含み、各プーリングレイヤ１１１２はフィルタ１１１６のセットを含む。畳み込みレイヤ１１１０及びプーリングレイヤ１１１２のセットは特徴マップ１１０４を出力する。
【0066】
[0094] 領域提案ネットワーク１１２０は特徴マップ１１０４に適用される。領域提案ネットワーク１１２０はＣＮＮとして構成される。例えば、領域提案ネットワーク１１２０は、畳み込みレイヤ及びプーリングレイヤのセットを含み、その各々はフィルタのセットを含む。領域提案ネットワーク１１２０は、複数の解剖学的カテゴリ又は撮像カテゴリ（例えば、心臓、肺、肝臓、Ｂライン撮像）に基づいて特徴マップ１１０４にスコアを付ける。こうして、領域提案ネットワーク１１２０は、最も高いスコアに基づいて、入力画像１１０２をカテゴリのうちの１つに分類する。目標ＣＮＮ１４２ｃは、特定のカテゴリ（例えば、心臓の画像ビュー）を検知するように訓練され、目標ビュー又は特定のカテゴリが検知されたか否かを示す出力１１０６を生む。例えば、入力画像１１０２が目標画像ビューを含むとき、出力１１０６は値として１を含む。これとは逆に、入力画像１１０２が目標画像ビューを含まないとき、出力１１０６は値として０を含む。出力１１０６は、ラベル又はスコアと称される。フィルタ１１１４及び１１１６並びに領域提案ネットワーク１１２０におけるフィルタのための係数は、本明細書においてより詳細に説明されるように、学習又は訓練される。
【0067】
[0095] 図１２～図１４は、ＣＮＮ１４２を訓練するための機構を示す。図１２は、本開示の態様による、予測ＣＮＮ１４２ａを訓練するための手法１２００を示す概略図である。手法１２００は、システム１００又は３００によって実施される。手法１２００は、ＣＮＮ訓練コンポーネント４２０によって実施される動作のより詳細なビューを提供する。手法１２００は、シミュレートされたデータ（例えば、模型から撮影された画像）及び／又は臨床データ（例えば、患者１０２から撮影された画像）を使用してオフラインで実施される。手法１２００は、特定の目標画像ビュー（例えば、目標画像ビュー８１０）に到達するように撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０）を再配置するための運動を予測するように予測ＣＮＮ１４２ａを訓練するために使用される。目標画像ビューは、臨床処置（例えば、ＬＡＡＣ処置）に関連する特定の臨床特性（例えば、ＬＡＡ８１２）を含む。手法１２００は、周期的に更新される関連データセット（例えば、データベース１４０）に基づいて予測ＣＮＮ１４２ａを少しずつ訓練する。
【0068】
[0096] ステップ１２１０において、対象者の身体（例えば、解剖学的模型）の画像が撮像コンポーネントを使用して取得される。撮像コンポーネントの配置は、例えば、図５に関して上述の手法５００において図示されたものと同様の機構を使用して、モータコマンド、動き制御設定、又は動きベクトルのセットに基づいて、ロボット式システム（例えば、ロボット式システム１２０、３２０、又は５２０）によって制御される。
【0069】
[0097] ステップ１２１２において、目標ＣＮＮ１４２ｃが取得された画像に適用される。目標ＣＮＮ１４２ｃは、取得された各画像について、目標画像ビューに基づいてスコア又はラベルを決定する。例えば、取得された画像において目標ＣＮＮ１４２ｃが目標画像ビュー（例えば、所望の臨床特性）を検知したとき、目標ＣＮＮ１４２ｃは値として１を出力する。これとは逆に、取得された画像において目標ＣＮＮ１４２ｃが目標画像ビューを検知することに失敗したとき、目標ＣＮＮ１４２ｃは値として０を出力する。ステップ１２１２は、適格性確認コンポーネント５３０の動作に対応する。
【0070】
[0098] ステップ１２１４において、取得された画像は、関連データセットを生むために、対応するモータコマンド及びラベルに関連付けられる。例えば、各関連データセットは、上記の式（２）において示されたデータタプルｄｔに対応する。ステップ１２１６において、データメモリは関連データセットを用いて更新される。例えば、データメモリは、メモリ１３２に記憶されたデータベース１４０に対応する。１２１０、１２１２、１２１４、及び１２１６のステップは周期的に繰り返される。
【0071】
[0099] ステップ１２１８において、予測ＣＮＮ１４２ａは、関連データセットのバッチ又はサブセットを受信する。サブセットは、データメモリから無作為に選択される。実施形態において、予測ＣＮＮ１４２ａにおけるフィルタ９１４、９１６、９２２、９４４、及び９４６のための係数は、任意の値で初期化される。予測ＣＮＮ１４２ａは、例えば前方伝播を使用して、サブセットにおける各関連データセットに適用される。フィルタ９１４、９１６、９２２、９４４、及び／又は９４６のための係数は、出力誤差（例えば、予測ＣＮＮ１４２ａの出力９０８と対応する関連データセットのためのラベルとの間の出力誤差）を最小化するために、例えば後方伝播を使用して、調節される。
【0072】
[00100] ステップ１２２０において、訓練を停止するか又は更なる関連データセットによって訓練を続けるかが判定される。訓練を続けると判定されたとき、矢印１２２２によって示されるように、関連データセットの次のサブセット又はバッチがデータメモリから取得（例えば、無作為に選択）され、予測ＣＮＮ１４２ａの訓練が関連データセットの次のサブセットのために繰り返される。
【0073】
[00101] 訓練を停止すると判定されたとき、ステップ１２２４において、予測ＣＮＮ１４２ａを更に訓練するために臨床データ（例えば、臨床環境において撮影された患者の画像）が取得される。ステップ１２２６において、臨床医は、臨床画像に目標画像ビューが含まれているか否かを示すラベルによって各臨床画像に注釈を付ける。矢印１２２８によって示されるように、注釈付き臨床画像は、予測ＣＮＮ１４２ａを更に訓練又は微調整するため、例えば、フィルタ９１４、９１６、９２２、９４４、及び／又は９４６のための係数を更に調節するために使用される。
【0074】
[00102] 図１３は、本開示の態様による、微調整ＣＮＮ１４２ｂを訓練するための手法１３００を示す概略図である。手法１３００は、システム１００又は３００によって実施される。手法１３００は、ＣＮＮ訓練コンポーネント４２０によって実施される動作のより詳細なビューを提供する。手法１３００は、模型及び／又は臨床データから取得された画像を使用してオフラインで実施される。例えば、ステップ１３１０において、目標画像のセットが取得される。目標画像は特定の目標画像ビュー（例えば、目標画像ビュー８１０）を含む。
【0075】
[00103] ステップ１３１２において、目標画像のセットから画像対が無作為に選択され、より高い画像品質を有する画像が各対から選択される。
【0076】
[00104] ステップ１３１４において、微調整ＣＮＮ１４２ｂは、画像対のサブセット及び対応する選択（例えば、画像対からより高い品質を有する画像を示す選択）を受信する。実施形態において、微調整ＣＮＮ１４２ｂにおけるフィルタ１０１４、１０１６、１０２４、及び１０２６のための係数は、任意の値で初期化される。微調整ＣＮＮ１４２ｂが各画像対に適用され、対応する選択が、例えば前方伝播を使用して行われる。フィルタ１０１４、１０１６、１０２４、及び／又は１０２６のための係数は、出力誤差（例えば、微調整ＣＮＮ１４２ｂの出力画像１０３２と選択との間の出力誤差）を最小化するために、例えば後方伝播を使用して、調節される。微調整ＣＮＮ１４２ｂの訓練は、画像対の次のサブセット及び対応する選択のために繰り返される。
【0077】
[00105] 図１４は、本開示の態様による、目標ＣＮＮ１４２ｃを訓練するための手法１４００を示す概略図である。手法１４００は、システム１００又は３００によって実施される。手法１４００は、ＣＮＮ訓練コンポーネント４２０によって実施される動作のより詳細なビューを提供する。手法１４００は、模型及び／又は臨床データから取得された画像を使用してオフラインで実施される。例えば、ステップ１４１０において、ラベル付きデータセットが取得される。ラベル付きデータセットは、カテゴリ（例えば、肺、心臓、肝臓、Ｂライン及びＬＡＡ）に分類された画像を含み、画像には、分類区分に基づいてラベルが付けられる。ステップ１４１２において、取得されたラベル付き画像、例えば、模型及びロボット式システム（例えば、ロボット式システム１２０又は３２０）を使用して取得された又はデータベース１４０から取得されたラベル付き画像が、取得される。
【0078】
[00106] ステップ１４１４において、目標ＣＮＮ１４２ｃは、ラベル付きデータセットのサブセット及び取得されたラベル付き画像のサブセットを受信する。実施形態において、目標ＣＮＮ１４２ｃにおけるフィルタ１１１４及び１１１６のための係数は、任意の値で初期化される。目標ＣＮＮ１４２ｃは、例えば前方伝播を使用して、ラベル付きデータセットのサブセット及び取得されたラベル付き画像のサブセットに適用される。フィルタ１１１４及び／又は１１１６のための係数は、出力誤差（例えば、目標ＣＮＮ１４２ｃの出力１１０６と分類又はラベルとの間の出力誤差）を最小化するために、例えば後方伝播を使用して、調節される。目標ＣＮＮ１４２ｃの訓練は、ラベル付きデータセットの次のサブセット及び取得されたラベル付き画像のサブセットのために繰り返される。
【0079】
[00107] 図１５は、本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるための手法１５００を示す概略図である。手法１５００は、システム１００又は３００によって実施される。手法１５００は、ＣＮＮ適用コンポーネント４３０によって実施される動作のより詳細なビューを提供する。手法１５００は、臨床環境において、臨床処置（例えば、ＬＡＡＣ処置）の前に、患者の解剖学的構造（例えば、患者１０２の心臓）の画像を取得するために使用される。臨床医は、目標画像ビューＵｔａｒｇｅｔ（例えば、目標画像８３０）を選択する。臨床医は、撮像デバイス１５０４（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０）を患者の関心対象解剖学的構造の近くの初期位置ｑｔに配置する。
【0080】
[00108] ステップ１５１０において、撮像デバイス１５０４によって、患者の解剖学的構造を表す画像Ｕｔが取得される。ステップ１５１２において、動きベクトルＭのセットが、例えば、処理コンポーネント１３６によって、臨床医によって任意的に選ばれた動きの一定の範囲内で生成される。動きベクトルＭのセットは、以下のように表される。
Ｍ＝｛ｍｘ＿１，ｍｘ＿２，．．．，ｍｘ＿ｎ｝ （７）
ここで、ｍｘ＿１からｍｘ＿ｎは動きベクトルであり、これらは式（５）又は（６）において上述されたｍｔと同様であり、撮像デバイス１５０４に依存する。例えば、撮像デバイス１５０４がＴＥＥプローブ１１０と同様のＴＥＥプローブであるとき、動きベクトルｍｘ＿１からｍｘ＿ｎは、上記の式（５）において示されるように、パラメータα、β、γ、及びωを含む。代替的に、撮像デバイス１５０４がＴＴＥプローブ３１０と同様のＴＴＥプローブであるとき、動きベクトルｍｘ＿１からｍｘ＿ｎは、上記の式（６）において示されるように、パラメータνｘｔ、νｙｔ、νｚｔ、ωｘｔ、ωｙｔ、及びωｚｔを含む。いくつかの他の場合には、動きベクトルのセットは、ボリュメトリック画像内で撮像平面を変化させるパラメータを含む。
Ｍ＝｛ｍｘ＿１，ｍｘ＿２，．．．，ｍｘ＿ｎ｝ （７）
ここで、ｍｘ＿１からｍｘ＿ｎは動きベクトルであり、これらは式（５）又は（６）において上述されたｍｔと同様であり、撮像デバイス１５０４に依存する。例えば、撮像デバイス１５０４がＴＥＥプローブ１１０と同様のＴＥＥプローブであるとき、動きベクトルｍｘ＿１からｍｘ＿ｎは、上記の式（５）において示されるように、パラメータα、β、γ、及びωを含む。代替的に、撮像デバイス１５０４がＴＴＥプローブ３１０と同様のＴＴＥプローブであるとき、動きベクトルｍｘ＿１からｍｘ＿ｎは、上記の式（６）において示されるように、パラメータνｘｔ、νｙｔ、νｚｔ、ωｘｔ、ωｙｔ、及びωｚｔを含む。いくつかの他の場合には、動きベクトルのセットは、ボリュメトリック画像内で撮像平面を変化させるパラメータを含む。
【0081】
[00109] ステップ１５１４において、予測ＣＮＮ１４２ａは、画像Ｕｔと、動きベクトルＭのセットとを受信する。予測ＣＮＮ１４２ａは、目標撮像ビューＵｔａｒｇｅｔに到達する可能性の最も高い動きベクトルｍｘ＿ｋをセットＭから選択又は推測する。図１５は、予測ＣＮＮ１４２ａが１つの動きベクトルｍｘ＿ｋを選択することを示しているが、いくつかの実施形態において、予測ＣＮＮ１４２ａは、目標撮像ビューＵｔａｒｇｅｔに到達する可能性の最も高い動きベクトルの組み合わせ（例えば、｛ｍｘ＿ｋ１，ｍｘ＿ｋ２，ｍｘ＿ｋ３｝）をセットＭから選択してよい。
【0082】
[00110] ステップ１５１６において、ロボット式システム１５０２（例えば、ロボット式システム１２０、３２０、又は５２０）は、決定された動きベクトルｍｘ＿ｋを受信する。ロボット式システム１５０２は、動きベクトルｍｘ＿ｋに基づいて、撮像デバイス１５０４を再配置する。ロボット式システム１５０２は、撮像デバイス１５０４の配置を制御するために、比例－積分－微分（ＰＩＤ）制御法則などの制御法則を適用する。例えば、ロボット式システム１５０２は、動きベクトルｍｘ＿ｋに基づいて、撮像デバイス１５０４を次の位置ｑｔ＋１に再配置する。ステップ１５１８において、撮像デバイス１５０４は、撮像デバイス１５０４が位置ｑｔ＋１にあるときに、患者の解剖学的構造の次の画像Ｕｔ＋１を撮影する。
【0083】
[00111] ステップ１５２０において、目標ＣＮＮ１４２ｃは画像Ｕｔ＋１を受信する。目標ＣＮＮ１４２ｃは画像Ｕｔ＋１に適用される。ステップ１５２２において、目標ＣＮＮ１４２ｃが画像Ｕｔ＋１において目標画像ビューＵｔａｒｇｅｔを検知したか否かが判定される。目標ＣＮＮ１４２ｃが画像Ｕｔ＋１において目標画像ビューを検知することに失敗したとき、ステップ１５１０から１５２２が繰り返される。
【0084】
[00112] 目標ＣＮＮ１４２ｃが画像Ｕｔ＋１において目標画像ビューＵｔａｒｇｅｔを検知したとき、手法１５００はステップ１５２４に進む。ステップ１５２４において、動きパラメータのうちの１つ又は複数を小量だけ修正することによって動きベクトルｍｘ＿ｋが修正され、ｍｘ＿ｋ’として示される修正済み動きベクトルを生む。手法１５００は、動きベクトルｍｘ＿ｋ’のためにステップ１５１６及び１５１８を繰り返す。例えば、ロボット式システム１５０２は、動きベクトルｍｘ＿ｋ’に基づいて撮像デバイス１５０４を位置ｑｔ＋ｎに再配置し、撮像デバイス１５０４は、撮像デバイス１５０４が位置ｑｔ＋ｎにあるときに患者の解剖学的構造の画像Ｕｔ＋ｎを撮影する。
【0085】
[00113] ステップ１５２６において、微調整ＣＮＮ１４２ｂは、画像Ｕｔ＋１及びＵｔ＋１’について対ごとの比較を実施し、より高い画像品質を有する画像を選択する。いくつかの実施形態において、１５２４及び１５２６の改善ステップが繰り返される。例えば、複数の修正済み動きベクトルが生成され、最も高い品質を有する画像に導く動きベクトルを選択するために微調整ＣＮＮ１４２ｂが適用される。
【0086】
[00114] 図１６は、本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるガイダンスを提供するための手法１６００を示す概略図である。手法１６００は、システム１００又は３００によって実施される。手法１６００は、手法１５００におけるものと実質的に同様の機構を用いる。例えば、手法１６００は、臨床環境において、臨床処置（例えば、ＬＡＡＣ処置）の前に、患者の解剖学的構造（例えば、患者１０２の心臓）の画像を取得するために使用される。臨床医は、目標画像ビューＵｔａｒｇｅｔ（例えば、目標画像ビュー８１０）を選択する。臨床医は、撮像デバイス１６０４（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０若しくは１５０４）を患者の関心対象解剖学的構造の近傍の位置ｑｔに配置する。手法１６００は、手法１５００において説明されたように、予測ＣＮＮ１４２ａ、微調整ＣＮＮ１４２ｂ、及び／又は目標ＣＮＮ１４２ｃを適用する。しかしながら、手法１６００は、ロボット式システム１２０を使用して撮像デバイス１６０４を自動的に整列させる代わりに、手動整列のための命令を臨床医に提供する。
【0087】
[00115] ステップ１６１０において、撮像デバイス１６０４によって、患者の解剖学的構造を表す画像Ｕｔが取得される。ステップ１６１２において、動きベクトルＭのセットが、例えば、処理コンポーネント１３６によって、臨床医によって任意的に選ばれた動きの一定の範囲内で生成される。動きベクトルＭのセットは、上記の式（７）において示されたように表される。
【0088】
[00116] ステップ１６１４において、予測ＣＮＮ１４２ａは、画像Ｕｔと、動きベクトルＭのセットとを受信する。予測ＣＮＮ１４２ａは、目標撮像ビューＵｔａｒｇｅｔに到達する可能性の最も高い動きベクトルｍｘ＿ｋをセットＭから選択又は推測する。
【0089】
[00117] ステップ１６１６、ディスプレイ１６０２（例えば、ディスプレイ１３４）は、決定された動きベクトルｍｘ＿ｋを受信し、撮像デバイス１６０４を操縦するように臨床医に命令する命令を表示する。本明細書において以下により詳細に説明されるように、命令は、（例えば、ＵＩ１４４における）撮像デバイス１６０４の運動又は制御のグラフィカル表現のフォーマットであってよい。
【0090】
[00118] ステップ１６１８において、臨床医は、ディスプレイ１６０２に表示された命令に基づいて、撮像デバイス１６０４を次の位置ｑｔ＋１に再配置する。
【0091】
[00119] ステップ１６２０において、撮像デバイス１６０４は、撮像デバイス１６０４が位置ｑｔ＋１にあるときに、患者の解剖学的構造の次の画像Ｕｔ＋１を撮影する。
【0092】
[00120] ステップ１６２２において、目標ＣＮＮ１４２ｃが画像Ｕｔ＋１に適用される。
【0093】
[00121] ステップ１６２４において、目標ＣＮＮ１４２ｃが画像Ｕｔ＋１において目標画像ビューＵｔａｒｇｅｔを検知したか否かが判定される。目標ＣＮＮ１４２ｃが画像Ｕｔ＋１において目標画像ビューを検知することに失敗したとき、ステップ１６１０から１６２４が繰り返される。
【0094】
[00122] 目標ＣＮＮ１４２ｃが画像Ｕｔ＋１において目標画像ビューＵｔａｒｇｅｔを検知したとき、手法１６００はステップ１６２６に進む。ステップ１６２６において、臨床医は、最適な目標ビューを取得するために撮像デバイス１６０４の位置を改善する。
【0095】
[00123] 図１７Ａ～図１７Ｃは、最適な目標ビューを取得するために撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、撮像デバイス５７０、１５０４、及び１６０４）を所望の場所に対して整列させるように臨床医をガイドするための様々な表示ビューを示す。図１７Ａは、本開示の態様による、撮像コンポーネント整列ガイダンス表示ビュー１７１０を示す概略図である。ビュー１７１０は、システム２００若しくは３００におけるディスプレイ１３４又は手法１６００におけるディスプレイ１６０２上での表示ビューに対応する。図１７Ｂは、本開示の態様による、撮像コンポーネント整列ガイダンス表示ビュー１７２０を示す概略図である。図１７Ｃは、本開示の態様による、撮像コンポーネント整列ガイダンス表示ビュー１７３０を示す概略図である。図１７Ａ～図１７Ｃは、ＵＩ１４４がＴＥＥプローブ１１０を操作するための運動のビューを表示することを示しているが、代替的に、ＵＩ１４４は、ＴＴＥプローブ（例えば、ＴＴＥプローブ３１０）又は異なる撮像モダリティの別の撮像デバイスを操作するための運動のビューを表示するように構成されてよい。
【0096】
[00124] ビュー１７１０において、ＵＩ１４４は、ＴＥＥプローブ１１０のハンドル１１６の前方ビューのグラフィカル表現、及びＴＥＥプローブを所望の場所に方向付け又は整列させるために必要とされる運動を表示する。ビュー１７２０において、ＵＩ１４４は、ハンドル１１６の側方ビューのグラフィカル表現、及びＴＥＥプローブを所望の場所に方向付け又は整列させるために必要とされる運動を表示する。ビュー１７３０において、ＵＩ１４４は、ハンドル１１６の後方ビューのグラフィカル表現、及びＴＥＥプローブを所望の場所に方向付け又は整列させるために必要とされる運動を表示する。ＵＩ１４４は、ユーザが異なるビュー１７１０、１７２０、１７３０の間で選択することを可能とする選択オプション１７１２を提供する。
【0097】
[00125] ＵＩ１４４は、ＴＥＥプローブ１１０を、例えば、図２Ｄに図示されるように患者の心臓に対して左－右平面に沿って屈曲させるためにノブ１１７のダイアルを回す方向を（矢印１７１４によって示されるように）示し得る。いくつかの実施形態において、ＵＩ１４４は、式（５）において示された対応する動きベクトルのパラメータβに基づいて必要とされる運動の量も示し得る。
【0098】
[00126] ＵＩ１４４は、ＴＥＥプローブ１１０を、図２Ｃに図示されるように患者の心臓に対して前－後に沿って屈曲させるためにノブ１１８のダイアルを回す方向を（矢印１７１６によって示されるように）示し得る。いくつかの実施形態において、ＵＩ１４４は、式（５）において示された対応する動きベクトルのパラメータαに基づいて必要とされる運動の量も示し得る。
【0099】
[00127] ＵＩ１４４は更に、ＴＥＥプローブ１１０を、例えば、図２Ａに図示されるようにＴＥＥプローブ１１０の長手軸２０２に対して回転させる方向を（矢印１７１８によって示されるように）示し得る。いくつかの実施形態において、ＵＩ１４４は、式（５）において示された対応する動きベクトルのパラメータγに基づいて必要とされる運動の量も示し得る。
【0100】
[00128] ＵＩ１４４は更に、例えば、図２Ｂに図示されるようにＴＥＥプローブ１１０の撮像平面の回転を可能とする、又はこれを禁じるスイッチ１１９のための制御器（例えば、赤ボタン１７０２又は緑ボタン１７０４）を示し得る。例えば、スイッチ１１９が回転可能となるように設定されると、撮像平面は軸の周りで、一定の速度で０度から１８０度掃引され、この回転の軸は設定可能である。いくつかの実施形態において、ＵＩ１４４は、式（５）において示された対応する動きベクトルのパラメータωに基づいて必要とされる運動の量も示し得る。
【0101】
[00129] 図１８は、本開示の態様による、ＣＮＮを訓練するための撮像データセットを取得する方法１８００のフロー図である。方法１８００のステップは、システム１００及び３００によって実行され得る。方法１８００は、図４、図５、図１２、図１５、及び図１６に関してそれぞれ説明された手法４００、５００、１２００、１５００、及び１６００におけるものと同様の機構を用いる。示されるように、方法１８００はいくつもの列挙されたステップを有するが、方法１８００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。
【0102】
[00130] ステップ１８１０において、方法１８００は、撮像コンポーネントが第１の撮像位置に配置されているときに、撮像コンポーネント又は撮像デバイスから、例えば、通信インタフェース１３８と同様の通信デバイスを介して、第１の画像を受信するステップを有する。撮像デバイスは、超音波トランスデューサ又は超音波トランスデューサアレイを含み得る。撮像デバイスは、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０、１５０４、１６０４に対応する。第１の画像及び第１の撮像位置は、手法５００において説明されたＵｔ及びｑｔにそれぞれ対応する。場合によっては、第１の撮像位置は、ボリュメトリック超音波画像内の特定の撮像平面に対応する。
【0103】
[00131] ステップ１８２０において、方法１８００は、撮像コンポーネントを第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を送信するステップを有する。動き制御設定及び第２の撮像位置は、手法５００において説明されたｍｔ及びｑｔ＋１にそれぞれ対応する。場合によっては、第１の撮像位置は、ボリュメトリック超音波画像内の特定の撮像平面に対応する。
【0104】
[00132] ステップ１８３０において、方法１８００は、第１の画像、動き制御設定、及び臨床特性（例えば、ＬＡＡ８１２）を含む目標ビュー（例えば、目標画像ビュー８１０）に対する第２の撮像位置と第１の画像との間の関係性を表すスコア（例えば、上述のｌｔに対応する）を関連付けることによってデータベース（例えば、データベース１４０）を生成するステップを有する。
【0105】
[00133] 実施形態において、動き制御設定は、撮像コンポーネントを第２の撮像位置へと移動させるための１つ又は複数のパラメータを含む。例えば、撮像コンポーネントがＴＥＥプローブ１１０であるとき、動き制御設定は、式（５）において示されるように、パラメータα、β、γ、及びωを含む。代替的に、撮像コンポーネントがＴＴＥプローブ３１０であるとき、動き制御設定は、上記の式（６）において示されるように、パラメータνｘｔ、νｙｔ、νｚｔ、ωｘｔ、ωｙｔ、及びωｚｔを含む。方法１８００は、１つ又は複数のパラメータを決定するステップを有し得る。
【0106】
[00134] 実施形態において、方法１８００は、撮像コンポーネントが第２の撮像位置に配置されているときに、撮像コンポーネントから、対象者の身体を表す第２の画像（例えば、上述のＵｔ＋１に対応する）を受信するステップと；第２の画像と目標画像ビューとの比較に基づいてスコアを決定するステップとを有し得る。例えば、第２の画像が目標画像ビューに合致するとき、スコアは値として１を有する。これとは逆に、第２の画像が目標画像ビューに合致しないとき、スコアは値として０を有する。第２の画像は、手法５００において説明されたＵｔ＋１に対応する。
【0107】
[00135] 実施形態において、方法１８００は、第２の撮像位置と目標画像ビューに対応する対象者の身体の画像を取得するための撮像コンポーネントの目標撮像位置との比較に基づいてスコアを決定するステップを有し得る。例えば、対象者の身体が模型であるとき、特定の臨床特性又はビューを取得するための目標撮像位置は登録されており、故に、スコアは、登録されている目標撮像位置と第２の撮像位置との比較に基づく。
【0108】
[00136] 実施形態において、方法１８００は、撮像コンポーネントを制御するロボット式システム（例えば、ロボット式システム１２０、３２０、５２０、及び１５０２）に動き制御設定を送信するステップを有し得る。
【0109】
[00137] 図１９は、本開示の態様による、ＣＮＮを訓練する方法１９００のフロー図である。方法１９００のステップは、システム１００及び３００によって実行され得る。方法１９００は、図９、図１０、図１１、図１２、図１３、及び図１４に関してそれぞれ説明された構成９００、１０００、及び１１００並びに手法１２００、１３００、及び１４００におけるものと同様の機構を用いる。示されるように、方法１９００はいくつもの列挙されたステップを有するが、方法１９００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。
【0110】
[00138] ステップ１９１０において、方法１９００は、画像を動き制御設定及びスコアと関連付けるデータセットを取得するステップを有する。画像は、対象者の身体（例えば、患者１０２）を表す。画像は、撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、及び撮像デバイス５７０、１５０４、及び１６０４）によって撮影される。動き制御設定は、撮像コンポーネントを再配置するために使用される。スコアは、臨床特性（例えば、ＬＡＡ８１２）を含む目標画像ビュー（例えば、目標画像ビュー８１０）に対する複数の動き制御設定と複数の画像との間の関係性を表す。実施形態において、データセットは、上記の式（４）におけるＤに対応する。画像、動き制御設定、及びスコアは、上記の式（２）におけるＵｔ、ｍｔ、及びｌｔにそれぞれ対応する。
【0111】
[00139] ステップ１９２０において、方法１９００は、データセットに基づいて第１のＣＮＮ（例えば、予測ＣＮＮ１４２ａ）を訓練するステップを有する。
【0112】
[00140] ステップ１９３０において、方法１９００は、データセット又は臨床データに基づいて第２のＣＮＮ（例えば、微調整ＣＮＮ１４２ｂ）を訓練するステップを有する。
【0113】
[00141] ステップ１９４０において、方法１９００は、データセット又は臨床データに基づいて第３のＣＮＮ（例えば、目標ＣＮＮ１４２ｃ）を訓練するステップを有する。
【0114】
[00142] 実施形態において、第１のＣＮＮは、構成９００と同様の構成を有する。例えば、方法１９００は、少なくとも第１の畳み込みレイヤ（例えば、畳み込みレイヤ９１０）及び第１のプーリングレイヤ（例えば、プーリングレイヤ９１２）を複数の画像のうちの第１の画像（例えば、画像９０２）に適用することによって第１のＣＮＮを訓練し得る。方法１９００は、第１のプーリングレイヤの出力及び第１の画像に関連付けられた複数の動き制御設定のうちの第１の動き制御設定に基づいて和を求めるステップを有し得る。方法１９００は、少なくとも第２の畳み込みレイヤ（例えば、畳み込みレイヤ９４０）及び第２のプーリングレイヤ（例えば、プーリングレイヤ９４２）を和に適用するステップを有し得る。方法１９００は、第２のプーリングレイヤの出力（例えば、出力９０８）及び第１の画像に関連付けられた複数のスコアのうちの第１のスコアに基づいて、第１の畳み込みレイヤ、第１のプーリングレイヤ、第２の畳み込みレイヤ、又は第２のプーリングレイヤのうちの少なくとも１つにおける係数（例えば、フィルタ９１４、９１６、９２２、９４４、９４６の係数）を調節するステップを有し得る。訓練済みの第１のＣＮＮは、入力画像に基づいて、臨床特性を含む画像を取得するための動き制御設定を予測し得る。
【0115】
[00143] 実施形態において、第２のＣＮＮは、構成１０００と同様の構成を有する。方法１９００は、目標画像ビューに対して、複数の画像のうちの第１の画像（例えば、画像１００２）が複数の画像のうちの第２の画像（例えば、画像１００４）よりも高い品質を有することを示す指標を取得するステップを有し得る。方法１９００は、少なくとも第１の畳み込みレイヤ（例えば、畳み込みレイヤ１０１０）及び第１のプーリングレイヤ（例えば、プーリングレイヤ１０１２）を第１の画像に適用することによって第２のＣＮＮを訓練し得る。方法１９００は、少なくとも第２の畳み込みレイヤ（例えば、畳み込みレイヤ１０２０）及び第２のプーリングレイヤ（例えば、プーリングレイヤ１０２２）を第２の画像に適用するステップを有し得る。方法１９００は、第１のプーリングレイヤの出力、第２のプーリングレイヤの出力、及び指標（例えば、画像１０３２）に基づいて、第１の畳み込みレイヤ、第１のプーリングレイヤ、第２の畳み込みレイヤ、又は第２のプーリングレイヤのうちの少なくとも１つにおける係数（例えば、フィルタ１０１４、１０１６、１０２４、及び１０２６の係数）を調節するステップを有し得る。訓練済みの第２のＣＮＮは、目標画像ビューに対して、一対の入力画像からより高品質の画像を選択し得る。
【0116】
[00144] 実施形態において、第３のＣＮＮは、構成１１００と同様の構成を有する。方法１９００は、候補画像及び候補画像を解剖学的部分の複数のカテゴリのうちの第１のカテゴリに分類する分類区分を取得するステップを有し得る。方法１９００は、候補画像及び第１のカテゴリの分類区分に基づいて、第３のＣＮＮを訓練し得る。訓練済みの第３のＣＮＮは、入力画像を複数のカテゴリのうちの１つに分類し得る。
【0117】
[00145] 図２０は、本開示の態様による、ＣＮＮを適用する方法２０００のフロー図である。方法２０００のステップは、システム１００及び３００によって実行され得る。方法２０００は、図４、図１５、及び図１６に関してそれぞれ説明された手法４００、１５００、及び１６００におけるものと同様の機構を用いる。示されるように、方法２０００はいくつもの列挙されたステップを有するが、方法２０００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。
【0118】
[00146] ステップ２０１０において、方法２０００は、撮像コンポーネントから、第１の画像（例えば、画像９０２）を受信するステップを有する。画像は、対象者の身体（例えば、患者１０２）を表す。画像は、撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、及び撮像デバイス５７０、１５０４、及び１６０４）が第１の撮像位置に配置されているときに、撮像コンポーネントによって撮影される。第１の撮像位置は、超音波撮像コンポーネントの特定の物理的な場所（例えば、手法５００において説明されたｑｔ）及び／又はボリュメトリック超音波画像内の特定の撮像平面を指す。
【0119】
[00147] ステップ２０２０において、方法２０００は、撮像コンポーネントを再配置するための複数の動き制御設定候補（例えば、動き制御設定候補９０４）を取得するステップを有する。
【0120】
[00148] 実施形態において、複数の動き制御設定候補は、撮像コンポーネントを再配置するための運動パラメータのセットを無作為にサンプリングすることによって取得され得る。例えば、撮像コンポーネントがＴＥＥプローブ１１０であるとき、動き制御設定は、式（５）において示されるように、パラメータα、β、γ、及びωを含み得る。代替的に、撮像コンポーネントがＴＴＥプローブ３１０であるとき、動き制御設定は、上記の式（６）において示されるように、パラメータνｘｔ、νｙｔ、νｚｔ、ωｘｔ、ωｙｔ、及びωｚｔを含み得る。
【0121】
[00149] ステップ２０３０において、方法２０００は、第１の動き制御設定（例えば、設定９０４）を生むために、第１のＣＮＮ（例えば、予測ＣＮＮ１４２ａ）を第１の画像及び動き制御設定候補に適用するステップを有する。第１のＣＮＮは、臨床特性（例えば、ＬＡＡ８１２）を含む目標画像ビュー（例えば、目標画像ビュー８１０）に基づいて訓練される。
【0122】
[00150] ステップ２０４０において、方法２０００は、第１の動き制御設定に基づいて、撮像コンポーネントを再配置するステップを有する。例えば、撮像コンポーネントは、第１の撮像位置から第２の撮像位置に再配置される。第２の撮像位置は、超音波撮像コンポーネントの特定の物理的な場所（例えば、手法５００において説明されたｑｔ＋１）及び／又はボリュメトリック超音波画像内の特定の撮像平面を指す。
【0123】
[00151] 実施形態において、第１のＣＮＮを適用するステップは、少なくとも第１の畳み込みレイヤ（例えば、畳み込みレイヤ９１０）及び第１のプーリングレイヤ（例えば、プーリングレイヤ９１２）を第１の画像に適用するステップを有する。第１のＣＮＮを適用するステップは、第１のプーリングレイヤの出力及び複数の動き制御設定候補のうちの第１の動き制御設定候補に基づいて和を求めるステップを更に有し得る。第１のＣＮＮを適用するステップは、少なくとも第２の畳み込みレイヤ（例えば、畳み込みレイヤ９４０）及び第２のプーリングレイヤ（例えば、プーリングレイヤ９４２）を和に適用するステップを更に有し得る。第１のＣＮＮを適用するステップは、最後の予測レイヤの出力に基づいて第１の動き制御設定を決定するステップを更に有し得る。
【0124】
[00152] 実施形態において、方法２０００は、目標画像ビューに対する第２の画像の適格性確認を行うために、第２のＣＮＮ（例えば、目標ＣＮＮ１４２ｃ）を第２の画像に適用するステップを更に有する。第２のＣＮＮが第２の画像の適格性が確認されなかったことを示すとき、方法２０００は、撮像コンポーネントを第２の撮像位置から第３の撮像位置に再配置するための第２の動き制御設定を生むために、第１のＣＮＮを第２の画像に再適用し得、目標画像ビューに対する第３の画像の適格性確認を行うために、第２のＣＮＮを再適用し得る。方法２０００は、撮像コンポーネントが目標画像ビューを撮影し得るようになるまで、第１のＣＮＮ及び第２のＣＮＮの再適用のステップを繰り返し得る。
【0125】
[00153] 一方で、第２のＣＮＮが第２の画像の適格性が確認されたことを示すとき、方法２０００は、第３のＣＮＮ（例えば、微調整ＣＮＮ１４２ｂ）に基づいて第２の撮像位置を調節し得る。例えば、方法２０００は、撮像コンポーネントを第３の撮像位置に再配置し得、撮像コンポーネントが第３の撮像位置にあるときに、対象者の身体の第３の画像を撮影し得る。方法２０００は、第３のＣＮＮを第２の画像及び第３の画像に適用し得る。方法２０００は、第３のＣＮＮの出力に基づいて第２の画像又は第３の画像を選択し得る。
【0126】
[00154] 実施形態において、方法２０００は、ロボット式システム（例えば、ロボット式システム１２０、３２０、又は１５０２）に命令を送って、第１の動き制御設定に基づいて、撮像コンポーネントを第２の撮像位置に再配置するようにロボット式システムに命令し得る。
【0127】
[00155] 図２１は、本開示の態様による、ＣＮＮに基づく撮像コンポーネント整列ガイダンスを提供する方法２１００のフロー図である。方法２１００のステップは、システム１００及び３００によって実行され得る。方法２１００は、図４、図１６、図１７Ａ、図１７Ｂ、及び図１７Ｃに関してそれぞれ説明された手法４００及び１６００並びにビュー１７１０、１７２０、及び１７３０におけるものと同様の機構を用いる。示されるように、方法２１００はいくつもの列挙されたステップを有するが、方法２１００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。
【0128】
[00156] ステップ２１１０において、方法２１００は、撮像コンポーネント又は撮像デバイスを対象者の身体（例えば、患者１０２）に対する第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を取得するステップを有する。撮像デバイスは、超音波トランスデューサ又は超音波トランスデューサアレイを含み得る。撮像デバイスは、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０、１５０４、１６０４に対応する。動き制御設定は予測ネットワーク（例えば、ＣＮＮ１４２）に基づいて取得され得、対象者の身体の画像は撮像コンポーネントが第１の撮像位置に配置されているときに撮影され、目標画像ビュー（例えば、目標画像ビュー８１０）は臨床特性（例えば、ＬＡＡ８１２）を含む。画像は、手法１６００における画像Ｕｔに対応する。動き制御設定は、手法１６００における動きベクトルｍｘ＿ｋに対応する。第１及び第２の撮像位置は、超音波撮像コンポーネントの特定の物理的な場所（例えば、手法５００において説明されたｑｔ及びｑｔ＋１）及び／又はボリュメトリック超音波画像内の特定の撮像平面を指す。
【0129】
[00157] ステップ２１２０において、方法２１００は、動き制御設定に基づいて、撮像コンポーネントと通信する制御コンポーネント（例えば、ハンドル１１６）を、撮像コンポーネントが第２の撮像位置に再配置されるように動作させるために、命令を表示するステップを有する。
【0130】
[00158] 方法２１００は、ビュー１７１０、１７２０、及び１７３０において示されたものと同様のディスプレイを使用して命令を表示し得る。例えば、方法２１００は、制御コンポーネントのグラフィカルビューと、制御コンポーネントを動作させるための運動の方向又はこの運動の量のうちの少なくとも１つを示す視覚的インジケータとを表示し得る。グラフィカルビューは、制御コンポーネントの斜視図を含み得る。
【0131】
[00159] 実施形態において、方法２１００は、制御コンポーネントの複数のビューのうちの第１のビューのリクエストを受信し得、リクエストに応答して、グラフィカルビューを複数のビューのうちの現在のビューから第１のビューへと切り替え得る。複数のビューは、制御コンポーネントの前方ビュー、制御コンポーネントの側方ビュー、又は制御コンポーネントの後方ビューのうちの少なくとも１つを含み得る。制御コンポーネントは、対象者の身体の左－右平面に沿った撮像コンポーネントの運動を制御する第１のサブコンポーネント（例えば、ノブ１１７）、対象者の身体の前－後平面に沿った撮像コンポーネントの運動を制御する第２のサブコンポーネント（例えば、ノブ１１８）、又は撮像コンポーネントの撮像平面の向きを制御する第３のサブコンポーネント（例えば、スイッチ１１９）のうちの少なくとも１つを含み得る。動き制御設定は、第１のサブコンポーネントを動作させるための第１のパラメータ、第２のサブコンポーネントを動作させるための第２のパラメータ、第３のサブコンポーネントを動作させるための第３のパラメータ、又は撮像コンポーネントを撮像コンポーネントの軸に対して回転させるための第４のパラメータのうちの少なくとも１つを含み得る。第１のパラメータ、第２のパラメータ、第３のパラメータ、及び第４のパラメータは、上に示された式（５）のα、β、ω、及びγに対応する。表示するステップは、矢印（例えば、矢印１７１４、１７１６、及び１７１８）又はオン／オフインジケータ（例えば、ボタン１７０２及び１７０４）のうちの少なくとも１つを含む視覚的インジケータを表示するステップを有し得る。方法２１００は、ＴＥＥプローブの文脈で説明されているが、ＴＴＥプローブ又は別の撮像モダリティの撮像デバイスのための整列ガイダンスを提供するために同様の機構が適用され得る。
【0132】
[00160] 図２２は、本開示の態様による、医療検査を自動化する方法２２００のフロー図である。方法２２００のステップは、システム１００及び３００によって実行され得る。方法２２００は、図４、図１５、及び図２０に関してそれぞれ説明された手法４００、１５００、及び２０００におけるものと同様の機構を用いる。示されるように、方法２２００はいくつもの列挙されたステップを有するが、方法２２００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。
【0133】
[00161] ステップ２２１０において、方法２２００は、撮像デバイスが対象者の身体（例えば、患者１０２）に対して第１の撮像位置に配置されているときに、撮像デバイスから第１の画像を受信するステップを有する。第１の画像は、通信インタフェース１３８と同様の通信デバイスを介して受信される。画像は、対象者の身体を表す。撮像デバイスは、超音波トランスデューサ又は超音波トランスデューサアレイを含み得る。撮像デバイスは、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０、１５０４、１６０４に対応する。
【0134】
[00162] ステップ２２２０において、方法２２００は、第１の予測ネットワーク（例えば、ＣＮＮ１４２ａ）、第１の画像、及び臨床特性（例えば、ＬＡＡ８１２）を含む目標画像ビュー（例えば、目標画像ビュー８１０）に基づいて、撮像デバイスを第１の撮像位置から第２の撮像位置に再配置するための第１の動き制御設定を決定するステップを有する。第１及び第２の撮像位置は、超音波撮像コンポーネントの特定の物理的な場所（例えば、手法５００において説明されたｑｔ及びｑｔ＋１）及び／又はボリュメトリック超音波画像内の特定の撮像平面を指す。
【0135】
[00163] ステップ２２３０において、方法２２００は、撮像デバイスに結合されたロボット式システムによって、第１の動き制御設定に基づいて、撮像デバイスを第２の撮像位置に再配置するステップを有する。ロボット式システムは、ロボット式システム１２０及び３２０と同様のものである。
【0136】
[00164] 実施形態において、方法２２００は、撮像デバイスが対象者の身体に対して第２の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第２の画像を受信するステップと、第２の予測ネットワーク（例えば、ＣＮＮ１４２ｂ）に基づいて、第２の画像が目標画像ビューの臨床特性を含むか否かを判定するステップとを更に有する。
【0137】
[00165] 方法２２００は、第２の画像が目標画像ビューの臨床特性を含まないと判定されたとき、第２の動き制御設定を決定するステップと、第２の動き制御設定に基づいて、撮像デバイスを第３の撮像位置に再配置するステップと、撮像デバイスが対象者の身体に対して第３の撮像位置に配置されているときに、対象者の身体を表す第３の画像を受信するステップとを更に有する。方法２２００は、目標画像ビューの臨床特性を含む画像が撮像デバイスから受信されるまで、動き制御設定（例えば、第２、第３、第４、第５、第ｎ番目の動き制御設定）を決定するステップと、撮像デバイスを撮像位置（例えば、第３、第４、第５、第ｎ番目の撮像位置）に再配置するステップと、画像（例えば、第３、第４、第５、第ｎ番目の画像）を受信するステップとを繰り返すステップを更に有し得る。
【0138】
[00166] 方法２２００は、第２の画像が目標画像ビューの臨床特性を含むと判定されたとき、第２の撮像位置のための調節を決定するステップを更に有し得る。方法２２００は、ロボット式システムによって、調節に基づいて撮像デバイスを第３の撮像位置に再配置するステップと、撮像デバイスが対象者の身体に対して第３の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第３の画像を受信するステップと、第３の予測ネットワークに基づいて、第２の撮像位置及び第３の撮像位置から目標撮像位置を選択するステップとを更に有し得る。方法２２００は、撮像デバイスが選択された目標撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第４の画像を受信するステップと、第４の画像に基づいて、臨床特性に関連付けられた医療検査結果を決定するステップとを更に有し得る。
【0139】
[00167] 実施形態において、方法２２００は、撮像デバイスを再配置するための運動のセットをサンプリングすることによって、複数の動き制御設定候補を決定するステップを更に有し得る。第１の動き制御設定を決定するステップは、第１の予測ネットワーク、第１の画像、及び目標画像ビューに基づいて、複数の動き制御設定候補から第１の動き制御設定を選択するステップを更に有し得る。
【0140】
[00168] 実施形態において、例えば、方法１９００において説明されているように、第１の予測ネットワークは、目標画像ビューを取得するために、少なくとも２つの撮像位置から撮像デバイスによって取得された複数の画像を提供することと、少なくとも２つの撮像位置に関連付けられた撮像デバイスの向き又は運動に基づいて複数の動き制御設定を取得することと、目標画像ビューに対する複数の動き制御設定と複数の画像との間の関係性にスコアを割り当てることとによって訓練される。
【0141】
[00169] 本出願の態様はいくつかの利益を提供し得る。例えば、予測ネットワークにおける解剖学的統計モデリングの使用は、基準画像に対する類似性測度を計算する必要をなくし、故に、異なる解剖学的構造、異なる画像品質、及び／又は異なる撮像コンポーネントに起因するばらつきを除去し得る。予測ＣＮＮは、単に撮像平面又は位置の適格性確認を行う代わりに、目標撮像平面に撮像コンポーネントを方向付けるために最適な運動及び／又は制御を予測し得る。微調整ＣＮＮは、予測ＣＮＮの適用後に撮像コンポーネントの位置を改善し、所望の目標ビューを取得するために最適な場所に撮像コンポーネントを更にガイドすることを可能とする。目標ＣＮＮは、画像の自動的な注釈並びに撮像平面及び／又は位置の適格性確認を可能とする。予測ネットワークの訓練における撮像コンポーネントに固有の運動及び／又は制御パラメータの使用は、開示される実施形態が、任意の撮像モダリティの任意の撮像コンポーネントに適用されることを可能とする。ロボット式システムの使用は、自動化を可能とするとともに、撮像コンポーネントの操作において首尾一貫性を提供し得る。閉ループ制御システムの使用は、所望のビューを撮像するために最適な場所に撮像コンポーネントを方向付けるために、撮像コンポーネントの自動的な調節を可能とする。開示される実施形態は、診断上の及び非診断上の心臓病学的処置及び心臓手術においてガイダンスを提供するための使用に適している。術中処置又は手術のいくつかの例としては、心臓切開手術、胸部大動脈手術、冠状動脈バイパス移植手術などがある。経カテーテル処置のいくつかの例としては、ＴＡＶＩ、ＬＡＡＣ、及びＴＭＶＲなどがある。診断検査の例としては、ＬＡＡの検査、人工心臓弁の評価、及び胸壁の外傷を有する患者又は人工呼吸器を装着している患者の検査などがある。開示される実施形態は、ＴＥＥプローブ又はＴＴＥプローブをガイドするための予測ネットワークの訓練及び適用の文脈において説明されているが、開示される実施形態は、任意の撮像モダリティの任意の撮像コンポーネントの自動的な整列を提供するために適用され得る。
【0142】
[00170] 図２３は、本発明の態様による制御ループを更に図示する。図２３において示されるように、感知システム（例えば、超音波プローブ、ＩＶＵＳカテーテル、ＩＣＥカテーテル、ＴＥＥプローブ、又は腹腔鏡）は、身体の画像を取得し、画像（Ｓ）をニューラルネットワーク（本明細書において前述されたものなど）に供給する。ニューラルネットワークは、画像を使用して、目標画像へとイメージャを移動させるために必要とされる相対的な動き（Ｔｃ）を求める。動きＴｃは、フィードバックループにおいて示されるように、ロボットによって実行され得、又は、ユーザインタフェースを介した手動での実行のためにユーザに対して提示されてもよい。準最適な画像（Ｓ’）がニューラルネットワークｇ（Ｓ）に提供された場合、恒等行列が予測され得る。結果として、ロボットは一時的に停止し、正しい画像が届くのを待つ。故に、未確定な状態での内視鏡の偶発的な動きが回避される。図において、制御法則は、比例－積分－微分（ＰＩＤ）制御法則など当技術分野において知られる任意の制御法則を表す。
【0143】
[00171] 以下において、図２３のフィードバックループごとの動きの実行が例示される。変換Ｔ＾が与えられると、ロボットコントローラは、ロボット運動学のモデルを使用してジョイント位置又はジョイント速度を計算し、それに応じてコマンドをロボットに送る。代替的に、処置中に、以下の方法論に従って、ユーザによって所望のビューの場所が変更され得る。イメージャの視野角を変更する目的のため、例えば、肝臓の上側の実質組織を視覚化するために、ロボットアームをユーザが手動で再配置する。ユーザによって選択されたビューの画像が予測ネットワークｇを有する処理ユニットへと送られ、予測ネットワークｇはユーザが選択したビューと基準ビューとの間の相対変換を推測する。ユーザは、例えば臓器の異なる部位を手術するために、異なる場所へと移動する。以前に定められたビューに戻ることをユーザが欲すると即座に、ロボット制御ループが使用可能とされ、画像が継続的に予測ニューラルネットワークｇ（Ｓ）に送られ得る。このネットワークは、実際の画像と基準画像との間の相対変換を反復的に推測し、これは、コントローラによって、ユーザが定めたビューへの最終的な変換を計算するために使用される。
図２４は、本発明の態様による別のフィードバック制御ループを示す。図２４において図示されるように、フィードバック制御ループは、最適な設置及びその後の撮像のための撮像システムの究極的な変換に影響を与える追加的なパラメータを明らかにするために修正され得る。例えば、制御ループは、例えば呼吸運動に基づいて送達システムの運動又は変位を明らかにする動きコントローラを更に含む。この実施形態において、ロボット制御ループは、目標場所の近くでのロボット制御ループの振動運動を防ぐために術中呼吸運動モデルを使用する。次いで、ニューラルネットワークからの予測が、呼吸運動コントローラによって術中に作られた呼吸運動モデルに対して有効化される。このモデルは以下のように実行される。ロボットアームが静止状態を保っているときに、対象者の画像のシーケンスが、少なくともいくつかの呼吸サイクルにわたって取得され、シーケンスにおける各画像について、ネットワークｇ（Ｓ）によって変換Ｔ＾が予測され、これらの変換の並進成分を使用して平均変位が計算され、基準（平均）値からの最大絶対変位ｄ＿”ｍａｘ”が計算される。この最大変位値は、ロボット制御ループにおける将来的な動き予測を受容又は拒絶するための閾値として使用される。画像Ｓが与えられてユーザが制御ループを使用可能とすると即座に、予測ネットワークは、所望のビュー、例えば胆嚢のビューへの相対変換Ｔ＾を予測する。続いて、この変換ｔｃの並進成分が、呼吸運動モデルから抽出された最大変位ｄｍａｘと比較される。もしも予測された動きが所与の閾値ｄｍａｘを超えたならば、現在の予測がロボットコントローラに提供され；そうでない場合は、恒等行列Ｉ４ｘ４がロボットコントローラに送られ、結果としてロボットを一時停止させる。
図２４は、本発明の態様による別のフィードバック制御ループを示す。図２４において図示されるように、フィードバック制御ループは、最適な設置及びその後の撮像のための撮像システムの究極的な変換に影響を与える追加的なパラメータを明らかにするために修正され得る。例えば、制御ループは、例えば呼吸運動に基づいて送達システムの運動又は変位を明らかにする動きコントローラを更に含む。この実施形態において、ロボット制御ループは、目標場所の近くでのロボット制御ループの振動運動を防ぐために術中呼吸運動モデルを使用する。次いで、ニューラルネットワークからの予測が、呼吸運動コントローラによって術中に作られた呼吸運動モデルに対して有効化される。このモデルは以下のように実行される。ロボットアームが静止状態を保っているときに、対象者の画像のシーケンスが、少なくともいくつかの呼吸サイクルにわたって取得され、シーケンスにおける各画像について、ネットワークｇ（Ｓ）によって変換Ｔ＾が予測され、これらの変換の並進成分を使用して平均変位が計算され、基準（平均）値からの最大絶対変位ｄ＿”ｍａｘ”が計算される。この最大変位値は、ロボット制御ループにおける将来的な動き予測を受容又は拒絶するための閾値として使用される。画像Ｓが与えられてユーザが制御ループを使用可能とすると即座に、予測ネットワークは、所望のビュー、例えば胆嚢のビューへの相対変換Ｔ＾を予測する。続いて、この変換ｔｃの並進成分が、呼吸運動モデルから抽出された最大変位ｄｍａｘと比較される。もしも予測された動きが所与の閾値ｄｍａｘを超えたならば、現在の予測がロボットコントローラに提供され；そうでない場合は、恒等行列Ｉ４ｘ４がロボットコントローラに送られ、結果としてロボットを一時停止させる。
【0144】
[00172] 本開示の更なる実施形態は、医療用超音波撮像システムを含む。システムは、対象者の身体を表す複数の画像を複数の動き制御設定及び複数のスコアと関連付けるデータセットを記憶するように構成されたメモリであって、複数の画像は超音波撮像コンポーネントによって撮影され、複数の動き制御設定は超音波撮像コンポーネントを再配置し、複数のスコアは臨床特性を含む目標画像ビューに対する複数の動き制御設定と複数の画像との間の関係性を表す、メモリと；メモリと通信し、データセットに基づいて第１の畳み込みニューラルネットワーク（ＣＮＮ）を訓練するように構成された処理コンポーネントであって、訓練済みの第１のＣＮＮは、入力画像に基づいて、臨床特性を含む画像を取得するための動き制御設定を予測する、処理コンポーネントとを含む。
【0145】
[00173] いくつかの実施形態において、処理コンポーネントは更に、少なくとも第１の畳み込みレイヤ及び第１のプーリングレイヤを複数の画像のうちの第１の画像に適用することと；第１のプーリングレイヤの出力及び第１の画像に関連付けられた複数の動き制御設定のうちの第１の動き制御設定に基づいて和を求めることと；少なくとも第２の畳み込みレイヤ及び第２のプーリングレイヤを和に適用することと；第２のプーリングレイヤの出力及び第１の画像に関連付けられた複数のスコアのうちの第１のスコアに基づいて、第１の畳み込みレイヤ、第１のプーリングレイヤ、第２の畳み込みレイヤ、又は第２のプーリングレイヤのうちの少なくとも１つにおける係数を調節することとを行うことによって、第１のＣＮＮを訓練するように構成される。いくつかの実施形態において、対象者の身体は解剖学的模型であり、処理コンポーネントは更に、臨床特性を含む臨床画像に基づいて、第１の畳み込みレイヤ、第１のプーリングレイヤ、第２の畳み込みレイヤ、又は第２のプーリングレイヤのうちの少なくとも１つにおける係数を更新するように構成される。いくつかの実施形態において、処理コンポーネントは更に、目標画像ビューに対して、複数の画像のうちの第１の画像が複数の画像のうちの第２の画像よりも高い品質を有することを示す指標を取得することと；第１の画像、第２の画像、及び指標に基づいて、第２のＣＮＮを訓練することとを行うように構成され、訓練済みの第２のＣＮＮは、目標画像ビューに対する一対の入力画像からより高品質の画像を選択する。いくつかの実施形態において、処理コンポーネントは更に、少なくとも第１の畳み込みレイヤ及び第１のプーリングレイヤを第１の画像に適用することと；少なくとも第２の畳み込みレイヤ及び第２のプーリングレイヤを第２の画像に適用することと；第１のプーリングレイヤの出力、第２のプーリングレイヤの出力、及び指標に基づいて、第１の畳み込みレイヤ、第１のプーリングレイヤ、第２の畳み込みレイヤ、又は第２のプーリングレイヤのうちの少なくとも１つにおける係数を調節することとを行うことによって、第２のＣＮＮを訓練するように構成される。いくつかの実施形態において、処理コンポーネントは更に、候補画像及び候補画像を解剖学的部分の複数のカテゴリのうちの第１のカテゴリに分類する分類区分を取得することと；候補画像及び第１のカテゴリの分類区分に基づいて、第３のＣＮＮを訓練することとを行うように構成され、訓練済みの第３のＣＮＮは、入力画像を複数のカテゴリのうちの１つに分類する。いくつかの実施形態において、候補画像は複数の画像のうちの画像又は臨床画像のうちの少なくとも１つである。いくつかの実施形態において、超音波撮像コンポーネントは経食道的心エコー検査法（ＴＥＥ）プローブであり、複数の動き制御設定のうちの第１の動き制御設定は、対象者の身体の左－右平面に沿って超音波撮像コンポーネントを移動させるためのパラメータ、対象者の身体の前－後平面に沿って超音波撮像コンポーネントを移動させるためのパラメータ、超音波撮像コンポーネントの撮像平面を方向付けるためのパラメータ、又は超音波撮像コンポーネントの軸に対して超音波撮像コンポーネントを回転させるためのパラメータのうちの少なくとも１つを含む。いくつかの実施形態において、超音波撮像コンポーネントは経胸腔的心エコー検査法（ＴＴＥ）プローブであり、複数の動き制御設定のうちの第１の動き制御設定は、超音波撮像コンポーネントを移動させるための線速度パラメータ又は角速度パラメータのうちの少なくとも１つを含む。
【0146】
[00174] 本開示の更なる実施形態は、医療用超音波撮像システムを含む。システムは、超音波撮像コンポーネントと通信し、超音波撮像コンポーネントが対象者の身体に対して第１の撮像位置に配置されているときに、対象者の身体を表す第１の画像を受信することと；超音波撮像コンポーネントが対象者の身体に対して第２の撮像位置に配置されているときに、対象者の身体を表す第２の画像を受信することとを行うように構成されたインタフェースと；インタフェースと通信し、超音波撮像コンポーネントを第１の撮像位置から第２の撮像位置に再配置するための第１の動き制御設定を生むために、第１の畳み込みニューラルネットワーク（ＣＮＮ）を第１の画像に適用するように構成された処理コンポーネントであって、第１のＣＮＮは臨床特性を含む目標画像ビューに少なくとも基づいて訓練される、処理コンポーネントとを含む。
【0147】
[00175] いくつかの実施形態において、処理コンポーネントは更に、超音波撮像コンポーネントを再配置するための複数の動き制御設定候補を取得することと；第１のＣＮＮを複数の動き制御設定候補に更に適用することとを行うように構成され、第１の動き制御設定は複数の動き制御設定候補のうちの１つである。いくつかの実施形態において、処理コンポーネントは更に、超音波撮像コンポーネントを再配置するための運動パラメータのセットを無作為にサンプリングすることによって複数の動き制御設定候補を取得するように構成される。いくつかの実施形態において、処理コンポーネントは更に、少なくとも第１の畳み込みレイヤ及び第１のプーリングレイヤを第１の画像に適用することと；第１のプーリングレイヤの出力及び複数の動き制御設定候補のうちの第１の動き制御設定候補に基づいて和を求めることと；少なくとも第２の畳み込みレイヤ及び第２のプーリングレイヤを和に適用することと；第２のプーリングレイヤの出力に基づいて第１の動き制御設定を決定することとを行うことによって、第１のＣＮＮを適用するように構成される。いくつかの実施形態において、処理コンポーネントは更に、目標画像ビューに対する第２の画像の適格性確認を行うために、第２のＣＮＮを第２の画像に適用するように構成される。いくつかの実施形態において、インタフェースは更に、超音波撮像コンポーネントが対象者の身体に対して第３の撮像位置に配置されているときに、対象者の身体を表す第３の画像を受信するように構成され、処理コンポーネントは更に、第２のＣＮＮの出力が第２の画像の適格性が確認されなかったことを示すことを判定することと；超音波撮像コンポーネントを第２の撮像位置から第３の撮像位置に再配置するための第２の動き制御設定を生むために、第１のＣＮＮを第２の画像に再適用することと；目標画像ビューに対する第３の画像の適格性確認を行うために、第２のＣＮＮを再適用することとを行うように構成される。いくつかの実施形態において、処理コンポーネントは更に、第２のＣＮＮの出力が第２の画像の適格性が確認されたことを示すことを判定することと；第３のＣＮＮに基づいて第２の撮像位置を調節することとを行うように構成される。いくつかの実施形態において、インタフェースは更に、超音波撮像コンポーネントが対象者の身体に対して第３の撮像位置に配置されているときに、対象者の身体を表す第３の画像を受信するように構成され、処理コンポーネントは更に、超音波撮像コンポーネントを第２の撮像位置から第３の撮像位置に再配置するための第２の動き制御設定を決定することと；第３のＣＮＮを第２の画像及び第３の画像に適用することと；第３のＣＮＮの出力に基づいて第１の動き制御設定又は第２の動き制御設定を選択することとを行うことによって、第２の撮像位置を調節するように構成される。いくつかの実施形態において、インタフェースは更に、超音波撮像コンポーネントに結合されたロボット式システムと通信し、インタフェースは更に、第１の動き制御設定に基づいて超音波撮像コンポーネントを第２の撮像位置に再配置するようにロボット式システムに命令する命令を送信するように構成される。いくつかの実施形態において、超音波撮像コンポーネントは経食道的心エコー検査法（ＴＥＥ）プローブであり、第１の動き制御設定は、対象者の身体の左－右平面に沿って超音波撮像コンポーネントを移動させるためのパラメータ、対象者の身体の前－後平面に沿って超音波撮像コンポーネントを移動させるためのパラメータ、超音波撮像コンポーネントの撮像平面を方向付けるためのパラメータ、又は超音波撮像コンポーネントの軸に対して超音波撮像コンポーネントを回転させるためのパラメータのうちの少なくとも１つを含む。いくつかの実施形態において、超音波撮像コンポーネントは経胸腔的心エコー検査法（ＴＴＥ）プローブであり、第１の動き制御設定は、超音波撮像コンポーネントを移動させるための線速度パラメータ又は角速度パラメータのうちの少なくとも１つを含む。
【0148】
[00176] 当業者は、上述の装置、システム、及び方法は、様々なやり方で修正され得ることを認識されよう。それ故、当業者は、本開示によって包含される実施形態は、上述の特定の例示的な実施形態に限定されるものではないことを理解されよう。これに関して、例示的な実施形態が図示及び説明されたが、前述の開示において広範な修正、変更、代替が想定される。このような変形は、本開示の範囲から逸脱することなく前述のものになされることが理解されるものである。それ故、添付の特許請求の範囲は、本開示と一貫するやり方で広範に解釈されることが適当である。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図17C】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】