IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アノード アイピー エルエルシーの特許一覧

特表2024-513400診断用途または介入用途のための電子医用画像を処理するシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-25
(54)【発明の名称】診断用途または介入用途のための電子医用画像を処理するシステムおよび方法
(51)【国際特許分類】
   A61B 8/14 20060101AFI20240315BHJP
【FI】
A61B8/14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023560551
(86)(22)【出願日】2022-04-01
(85)【翻訳文提出日】2023-11-15
(86)【国際出願番号】 US2022071492
(87)【国際公開番号】W WO2022213119
(87)【国際公開日】2022-10-06
(31)【優先権主張番号】63/170,377
(32)【優先日】2021-04-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521495736
【氏名又は名称】アノード アイピー エルエルシー
【氏名又は名称原語表記】Anode IP LLC
【住所又は居所原語表記】501 East Kennedy Boulevard, 14th Floor Tampa FL 33602 U.S.A.
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】チェン、ジョン
(72)【発明者】
【氏名】チャペル、クレイグ
(72)【発明者】
【氏名】チャン、サミュエル
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601DD10
4C601DD14
4C601EE11
4C601FF06
4C601FF11
4C601GA20
4C601GA26
4C601JC05
4C601JC08
4C601JC13
4C601KK09
4C601KK31
4C601LL21
4C601LL23
(57)【要約】
診断用途および/または介入用途のために超音波画像を処理して対象物を識別するためのシステムおよび方法が本明細書に開示される。例えば、解剖学的構造の超音波画像は、超音波イメージングシステムのコンピューティングデバイスから受信され得る。超音波画像は、解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力され得る。複数の対象物は、解剖学的特徴、破壊的特徴、および/または器具を含み得る。超音波画像内で識別された複数の対象物からの1つまたは複数の対象物の予測は、機械学習モデルの出力として受信され得る。超音波イメージングシステムのディスプレイ上に表示するために、予測の指示がコンピューティングデバイスに提供され得る。
【特許請求の範囲】
【請求項1】
超音波画像を処理して対象物を識別するためのシステムであって、
プロセッサと、
前記プロセッサに接続され、命令を保存するメモリと、を備え、前記命令は、前記プロセッサによる実行時に、前記システムに、
超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、
前記超音波画像を、前記解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供すること、ここで、前記複数の対象物は、解剖学的特徴、破壊的特徴、および/または器具を含んでおり、
前記超音波画像内で識別された前記複数の対象物からの1つまたは複数の対象物の予測を前記機械学習モデルの出力として受信すること、
前記超音波イメージングシステムのディスプレイ上に表示するために、前記予測の指示を前記コンピューティングデバイスに提供すること、を含む動作を実行させる、システム。
【請求項2】
前記動作は、
前記予測に基づいて視覚化を生成すること、ここで、前記視覚化は、前記超音波画像内で識別された前記1つまたは複数の対象物のラベル付けを含んでおり、
前記視覚化を指示として提供すること、をさらに含む、請求項1に記載のシステム。
【請求項3】
前記動作は、
識別された前記1つまたは複数の対象物のうちの少なくとも1つに関連する測定値を決定すること、
前記測定値を、識別された前記少なくとも1つの対象物と共に前記超音波イメージングシステムの前記ディスプレイ上に表示するために提供すること、をさらに含む、請求項1に記載のシステム。
【請求項4】
前記機械学習モデルは、第1の機械学習モデルであり、前記動作は、
前記超音波画像を、前記超音波画像が前記第1の機械学習モデルによって識別された前記1つまたは複数の対象物の最適な画像であるかどうかを識別するように訓練された第2の機械学習モデルに入力として提供することを含む、請求項1に記載のシステム。
【請求項5】
前記第2の機械学習モデルが、前記超音波画像が非最適な画像であるという予測を出力する場合、前記動作は、
識別された前記1つまたは複数の対象物の最適な画像をキャプチャするために、オペレータが前記超音波イメージングシステムのプローブの向きを現在の向きから前記第2の機械学習モデルによって学習された新たな向きに調整するためのプロンプトを生成すること、
前記超音波イメージングシステムの前記ディスプレイ上に表示するために、前記プロンプトを前記コンピューティングデバイスに提供すること、をさらに含む、請求項4に記載のシステム。
【請求項6】
前記動作は、
前記超音波イメージングシステムの前記コンピューティングデバイスから、識別されるべき1つまたは複数の対象物のタイプを示すオペレータ入力を受信すること、
前記1つまたは複数の対象物のタイプを前記機械学習モデルに入力として提供して、前記超音波画像内で識別された前記1つまたは複数の対象物の前記予測が少なくとも前記1つまたは複数の対象物のタイプを含むようにすること、をさらに含む、請求項1に記載のシステム。
【請求項7】
前記超音波画像は診断処置中に受信されるものであり、識別された前記1つまたは複数の対象物の前記予測が、解剖学的特徴と、筋骨格系障害を示す前記解剖学的構造に対する破壊的特徴とを含んでおり、前記超音波イメージングシステムの前記ディスプレイ上に表示するために前記コンピューティングデバイスに提供される前記予測の前記指示によって、前記筋骨格系障害の診断が円滑に進む、請求項1に記載のシステム。
【請求項8】
前記超音波画像は、介入処置中に受信されるものであり、前記超音波イメージングシステムの前記ディスプレイ上に表示するために前記コンピューティングデバイスに提供される前記予測の前記指示によって、前記介入処置が案内される、請求項1に記載のシステム。
【請求項9】
前記解剖学的特徴は、骨、腱、靭帯、軟骨、筋肉、神経、静脈、および/または動脈を含む、請求項1に記載のシステム。
【請求項10】
前記破壊的特徴は、ガングリオン、胸水、カルシウム沈着、腫瘤、および/または病変を含む、請求項1に記載のシステム。
【請求項11】
前記器具は、針、メス、ナイフ、ツール、および/またはバルーンを含む、請求項1に記載のシステム。
【請求項12】
超音波画像を処理して対象物を識別するための方法であって、
超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、
前記超音波画像を、前記解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供すること、ここで、前記複数の対象物は、解剖学的特徴、破壊的特徴、および/または器具を含んでおり、
前記超音波画像内で識別された前記複数の対象物からの1つまたは複数の対象物の予測を前記機械学習モデルの出力として受信すること、
前記超音波イメージングシステムのディスプレイ上に表示するために、前記予測の指示を前記コンピューティングデバイスに提供すること、を含む方法。
【請求項13】
前記予測に基づいて視覚化を生成すること、ここで、前記視覚化は、前記超音波画像内で識別された前記1つまたは複数の対象物のラベル付けを含んでおり、
前記視覚化を指示として提供すること、をさらに含む、請求項12に記載の方法。
【請求項14】
識別された前記1つまたは複数の対象物のうちの少なくとも1つに関連する測定値を決定すること、
前記測定値を、識別された前記少なくとも1つの対象物と共に前記超音波イメージングシステムの前記ディスプレイ上に表示するために提供すること、をさらに含む、請求項12に記載の方法。
【請求項15】
前記機械学習モデルは、第1の機械学習モデルであり、前記方法は、
前記超音波画像を、前記超音波画像が前記第1の機械学習モデルによって識別された前記1つまたは複数の対象物の最適な画像であるかどうかを識別するように訓練された第2の機械学習モデルに入力として提供することを含む、請求項12に記載の方法。
【請求項16】
前記第2の機械学習モデルが、前記超音波画像が非最適な画像であるという予測を出力する場合、前記方法は、
識別された前記1つまたは複数の対象物の最適な画像をキャプチャするために、オペレータが前記超音波イメージングシステムのプローブの向きを現在の向きから前記第2の機械学習モデルによって学習された新たな向きに調整するためのプロンプトを生成すること、
前記超音波イメージングシステムの前記ディスプレイ上に表示するために、前記プロンプトを前記コンピューティングデバイスに提供すること、をさらに含む、請求項15に記載の方法。
【請求項17】
前記超音波イメージングシステムの前記コンピューティングデバイスから、識別されるべき1つまたは複数の対象物のタイプを示すオペレータ入力を受信すること、
前記1つまたは複数の対象物のタイプを前記機械学習モデルに入力として提供して、前記超音波画像内で識別された前記1つまたは複数の対象物の前記予測が少なくとも前記1つまたは複数の対象物のタイプを含むようにすること、をさらに含む、請求項12に記載の方法。
【請求項18】
前記超音波画像は診断処置中に受信されるものであり、識別された前記1つまたは複数の対象物の前記予測が、解剖学的特徴と、筋骨格系障害を示す前記解剖学的構造に対する破壊的特徴とを含んでおり、前記超音波イメージングシステムの前記ディスプレイ上に表示するために前記コンピューティングデバイスに提供される前記予測の前記指示によって、前記筋骨格系障害の診断が円滑に進む、請求項12に記載の方法。
【請求項19】
前記超音波画像は、介入処置中に受信されるものであり、前記超音波イメージングシステムの前記ディスプレイ上に表示するために前記コンピューティングデバイスに提供される前記予測の前記指示によって、前記介入処置が案内される、請求項12に記載の方法。
【請求項20】
プロセッサによる実行時に、前記プロセッサに、超音波画像を処理して対象物を識別するための動作を実行させる命令を記憶する非一時的なコンピュータ可読媒体であって、前記動作は、
超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、
前記超音波画像を、前記解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供すること、ここで、前記複数の対象物は、解剖学的特徴、破壊的特徴、および/または器具を含んでおり、
前記超音波画像内で識別された前記複数の対象物からの1つまたは複数の対象物の予測を前記機械学習モデルの出力として受信すること、
前記超音波イメージングシステムのディスプレイ上に表示するために、前記予測の指示を前記コンピューティングデバイスに提供すること、を含む非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で提示される様々な技法は、概して、人工知能(AI)を使用して臨床診断、測定、および/または観察を提供するための電子医用画像の処理に関する。より具体的には、本開示の特定の技法は、機械学習モデルを訓練および使用して、診断または介入超音波画像から筋骨格系障害(musculoskeletal disorders)に関連する臨床診断、測定、および/または観察を予測するためのシステムおよび方法に関する。
【背景技術】
【0002】
筋骨格系障害は、米国においても世界的においても生活の質に著しい影響を与える。筋骨格系障害の影響を受ける解剖学的構造のイメージングは、障害の臨床診断を円滑に進めるために、および/または障害を治療するための介入の一部として(例えば、案内するために)使用され得る。しかしながら、患者は、コンピュータ断層撮影法(CT)、磁気共鳴イメージング(MRI)および陽電子放出断層撮影法(PET)などの高価な高度医用イメージングの過度の使用および/または誤用により、患者がスケジューリング遅延、追加費用、および不要な放射線被曝にさらされることに関して患者は関心を持つようになりつつある。従って、筋骨格系障害に関連する診断イメージングおよび介入イメージングのために、超音波などの代替イメージング技法がますます使用され得る。
【0003】
前述の一般的な説明および以下の詳細な説明は、例示的かつ説明的なものにすぎず、本開示を限定するものではない。本明細書で提供される背景技術の説明は、本開示の状況を一般的に提示することを目的とする。本明細書において別段の指示がない限り、この欄で説明される題材は、本出願の特許請求の範囲に対する先行技術ではなく、この欄に含めることによって、先行技術または先行技術の提案であると認められるものではない。
【発明の概要】
【0004】
本開示の特定の態様によれば、超音波画像などの電子画像を処理して、診断用途および/または介入用途のために対象物(objects)を識別するためのシステムおよび方法が開示される。
【0005】
例示的な一態様では、超音波画像を処理して対象物を識別するためのシステムが説明される。例示的なシステムは、プロセッサと、プロセッサに結合されたメモリとを含み得る。メモリは、プロセッサによる実行時に、システムに動作を実行させる命令を記憶し得る。動作は、超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、超音波画像を、解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供することを含み得る。複数の対象物は、解剖学的特徴、破壊的特徴、および/または器具を含み得る。動作は、超音波画像内で識別された複数の対象物からの1つまたは複数の対象物の予測を機械学習モデルの出力として受信すること、超音波イメージングシステムのディスプレイ上に表示するために予測の指示をコンピューティングデバイスに提供することをさらに含み得る。
【0006】
別の例示的な態様では、超音波画像を処理して対象物を識別するための方法が記載される。例示的な方法は、超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、超音波画像を、解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供することを含み得る。複数の対象物は、解剖学的特徴、破壊的特徴、および/または器具を含み得る。本方法は、超音波画像内で識別された複数の対象物からの1つまたは複数の対象物の予測を機械学習モデルの出力として受信すること、超音波イメージングシステムのディスプレイ上に表示するために予測の指示をコンピューティングデバイスに提供することをさらに含み得る。
【0007】
さらなる例示的な態様では、超音波画像を処理して対象物を識別するための非一時的なコンピュータ可読媒体が記載される。例示的な非一時的なコンピュータ可読媒体は、プロセッサによる実行時に、プロセッサに、超音波画像を処理して対象物を識別するための動作を実行させる命令を記憶し得る。動作は、超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、超音波画像を、解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供することを含み得る。複数の対象物は、解剖学的特徴、破壊的特徴、および/または器具を含み得る。動作は、超音波画像内で識別された複数の対象物からの1つまたは複数の対象物の予測を機械学習モデルの出力として受信すること、超音波イメージングシステムのディスプレイ上に表示するために予測の指示をコンピューティングデバイスに提供することをさらに含み得る。
【0008】
前述の概略的な説明および以下の詳細な説明は両方とも、例示的かつ説明的なものにすぎず、特許請求の範囲に記載されるような、開示された実施形態を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0009】
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、様々な例示的な実施形態を示し、説明と共に、開示される実施形態の原理を説明する役割を果たす。
図1】本明細書で説明される技法による、電子医用画像を処理するためのネットワーク環境の例示的なブロック図である。
図2】本明細書で説明する技法による、医用画像処理システムによって実行される例示的なプロセスのブロック図である。
図3】本明細書に記載される技術による、筋骨格系障害の診断を予測するために機械学習モデルを訓練するための例示的な方法を示すフローチャートである。
図4】本明細書に記載される技術による、筋骨格系障害の診断を予測するための例示的な方法を示すフローチャートである。
図5A】本明細書に説明される技法による、肩の損傷の診断を予測するための機械学習モデルの訓練プロセスを描写する概念図である。
図5B】本明細書に説明される技法による、肩の損傷の予測された診断を表示する例示的なアプリケーションユーザインタフェースを示す図である。
図6】本明細書で説明される技法による、解剖学的構造の医用画像内の対象物を識別するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。
図7】本明細書で説明される技法による、解剖学的構造の医用画像内の対象物を識別するための例示的な方法を示すフローチャートである。
図8】本明細書で説明される技法による、解剖学的構造の医用画像内で識別された対象物の最適な画像を識別するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。
図9】本明細書で説明される技法による、医用画像がその中で識別された対象物の最適な画像であるかどうかを判定するための例示的な方法を示すフローチャートである。
図10】本明細書に提示される技法に従って表示され得る、医用画像内で識別された対象物を表示する例示的なアプリケーションユーザインタフェースを示す図である。
図11】本明細書で説明される技法による、器具の位置を予測するために機械学習モデルを訓練するための例示的な方法を示すフローチャートである。
図12】本明細書で説明される技法による、器具の位置を予測するための例示的な方法を示すフローチャートである。
図13】本明細書で説明される技法による、器具の軌跡を予測するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。
図14】本明細書で説明される技法による、器具の軌跡を予測するための例示的な方法を示すフローチャートである。
図15】本明細書で説明される技法による、予測された器具の位置および軌跡を表示する例示的なアプリケーションユーザインタフェースを示す図である。
図16】本明細書に説明される技法による、解剖学的特徴を識別するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。
図17】本明細書で説明される技法による、医用画像において識別された解剖学的構造の解剖学的特徴を視覚化するための例示的な方法を示すフローチャートである。
図18】本明細書に記載の技術による、解剖学的構造の医用画像内で識別された解剖学的構造の解剖学的特徴の視覚化情報を表示する例示的なアプリケーションユーザインタフェースを示す図である。
図19】本明細書で説明される技法による、医用画像内で識別された解剖学的特徴とのプローブアライメントを検出するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。
図20】本明細書に記載の技法による、解剖学的構造の医用画像内で識別された解剖学的構造の1つまたは複数の解剖学的特徴とのプローブアライメントを検出するための例示的な方法を示すフローチャートである。
図21】本明細書で説明する技法による、最適な画像フレームを識別するために機械学習モデルを訓練するための例示的な方法を示すフローチャートである。
図22】本明細書で説明される技法による、最適な画像フレームをキャプチャするための例示的な方法を示すフローチャートである。
図23】本明細書に提示される技法を実行し得る例示的なシステムを示す図である。
【発明を実施するための形態】
【0010】
ここで、本開示の例示的な実施形態を詳細に参照し、その例を添付の図面に示す。可能な限り、同一または同様の部分を指すために、図面全体を通して同一の参照番号が使用される。
【0011】
本明細書に開示されるシステム、デバイス、および方法は、例として、かつ図面を参照して詳細に説明される。本明細書で説明される例は、例示的なものにすぎず、本明細書で説明される装置、デバイス、システム、および方法の説明を補助するために提供される。図面に示されるか、または以下で説明される特徴または構成要素のいずれも、必須であると具体的に指定されない限り、これらのデバイス、システム、または方法のいずれかの任意の特定の実施形態のために必須であると見なされるべきではない。
【0012】
また、説明される任意の方法に関して、方法がフロー図と共に説明されるかどうかにかかわらず、文脈によって別段に指定または要求されない限り、方法の実行において行われるステップの明示的または暗示的な順序付けは、それらのステップが提示された順序で行われなければならないことを含意せず、代わりに、異なる順序でまたは並行して行われ得ることを理解されたい。
【0013】
本明細書で使用される場合、「例示的」という用語は、「理想的」ではなく「例」という意味で使用される。さらに、本明細書における「1つの(a)」および「1つの(an)」という用語は、量の限定を示すのではなく、参照される項目のうちの1つまたは複数の存在を示す。
【0014】
診断イメージングにおいて、医師は、患者のイメージング検査中に電子画像を評価して、障害、損傷、および/または状態の診断(それらの任意の分類(例えば、カテゴリ、ステージ、フェーズ、グレードなど)を含む)を円滑に進め得る。介入イメージングにおいて、医師は、処置中に電子画像を利用して、例えば、患者の体内に挿入された器具を視覚化して、医師が意図した標的領域に器具を安全に案内するのを支援し得る。従来、コンピュータ断層撮影法(CT)、磁気共鳴イメージング(MRI)および陽電子放出断層撮影法(PET)などの高度医用イメージングが、診断イメージングおよび/または介入イメージングに使用されてきた。しかしながら、超音波などの代替的なイメージング技術も、診断イメージングおよび介入イメージング、特に筋骨格系障害のために使用され得る。超音波イメージングシステムは、コストが低いため、より容易に利用可能であり(例えば、医師は複数の超音波システムを利用し得るが、CTイメージングシステムは1つのみ利用し得る)、これはスケジューリング遅延を低減し、より低いコストを患者に提供する。加えて、超音波イメージングは、患者が放射線にさらされることを回避する。超音波デバイスはまた、ポータブルであり得、デバイスを遠隔場所に配送することを可能にするか、またはさもなければ、遠隔地または困難な地理的領域でのより迅速な輸送またはアクセスを可能にする。
【0015】
本明細書に開示される技術は、診断超音波イメージングおよび/または介入超音波イメージングのためのAIツールを提供する。例えば、複数の機械学習モデルは、超音波画像から筋骨格系障害に関連する診断、観察、および/または測定値を予測するように訓練および導入され得る。例示的な観察は、解剖学的特徴、身体の機能を破壊し得る解剖学的構造には通常存在しない特徴、および/または体内に挿入された異物(例えば、器具)などの超音波画像内の対象物の識別を含み得る。観察はまた、対象物の位置および/または軌跡の予測、および/または対象物の最適な画像がキャプチャされているかどうかの予測を含み得る。予測に基づく視覚化情報は、医師が患者に対して診断検査を実行しているとき、および/または医師が診断された障害を治療するためであり得る超音波ガイド下処置を実行しているときに、リアルタイムで生成されて医師に提供され得る。
【0016】
本開示全体に含まれる特定の例は超音波イメージングを含むが、本開示による技法は、他のタイプのイメージングモダリティに適合され得ることを理解されたい。例えば、本技法は、MRI、CT、PET、X線等の任意の医療イメージングモダリティに適合され得る。
【0017】
環境
図1は、本開示の例示的な技法による、電子医用画像を処理するための環境100の例示的なブロック図を示す。環境は、ネットワーク120を介して、1つまたは複数のイメージングシステム130、1つまたは複数のユーザコンピューティングデバイス140、1つまたは複数の画像保管通信(PAC)システム150、および/または医療イメージングデータベース160と通信するサーバシステム110を含み得る。
【0018】
サーバシステム110は、処理デバイス112およびストレージデバイス114を含み得る。処理デバイス112は、医用画像処理システム116(以下、システム116という)を実装するように構成され得る。システム116は、ネットワーク120を介して、例えば、イメージングシステム130、ユーザコンピューティングデバイス140、またはPACシステム150から受信される医用画像に対して、AI、機械学習、および/または画像処理技法を適用し得る。代替的に、システム116、訓練済みの機械学習モデル118、またはサーバシステム110とともに説明される他の特徴は、イメージングシステム130自体とともに配置され得る。さらに、システム116によって実行されるものとして本明細書で説明される技法は、例えば、イメージングコンピューティングデバイス136またはユーザコンピューティングデバイス140によって実行され得る。
【0019】
例えば、システム116は、例えば、ネットワーク120を介して1つまたは複数の医用イメージングデータベース160から受信した訓練用医用画像(training medical images)のデータセットに基づいて、複数の訓練済みの機械学習モデル118を生成しかつ訓練するように構成された訓練用画像プラットフォームを含み得る。訓練用医用画像は、人間および/または動物(例えば、獣医学的背景における)の解剖学的構造の画像であり得る。訓練用医用画像は、実際の画像であり得るか、または必要に応じてデータの希薄性を補償するために合成的に生成された画像であり得る。受信された訓練用医用画像は、医師および/または他の医療専門家によって注釈が付けられ得る。解剖学的構造の所与の訓練用医用画像に対して、本明細書の他の箇所で詳細に説明するように、解剖学的構造の解剖学的特徴、身体の機能を破壊し得る解剖学的構造には通常存在しない特徴、異物、特徴および/または身体に関連する測定値、画像から識別可能な診断、および/または画像ビュータイプ(例えば、プローブの向き)の注釈が付けられ得る。訓練用医用画像は、画像分類器、ビデオ分類器、画像セグメンテーション、対象物検出、対象物の向き、インスタンスセグメンテーション、セマンティックセグメンテーション、ボリュメトリックセグメンテーション、複合オブジェクト、キーポイント検出、キーポイントマッピング、2次元/3次元および6自由度の対象物姿勢、姿勢推定、回帰ネットワーク、楕円回帰(ellipsoid regression)、3D立方体推定、光学文字認識、テキスト検出、および/またはアーチファクト検出等の既知のモデルタイプまたは将来のモデルタイプのうちのいずれか1つまたは複数を訓練するために、ポリゴン、ブラシ/消しゴム、バウンディングボックス、キーポイント、キーポイント骨格、線、楕円、直方体、分類タグ、属性、インスタンス/対象物追跡識別子、フリーテキスト、および/または方向ベクトル等の既知のデータ注釈技法または将来のデータ注釈技法のうちの1つまたは複数を使用して注釈が付けられ得る。
【0020】
訓練済みの機械学習モデル118は、畳み込みニューラルネットワーク(CNN:convolutional neural networks)、サポートベクトルマシン(SVM:support vector machines)、敵対的生成ネットワーク(GAN:generative adversarial networks)、および/または教師あり、教師なし、およびまたは強化学習技法を使用して訓練される他の同様のタイプのモデルを含み得る。例えば、本明細書で使用される場合、「機械学習モデル」は、概して、入力を受信して、重み、バイアス、分類、または分析のうちの1つまたは複数を入力に適用して出力を生成するように構成された命令、データ、および/またはモデルを包含する。出力は、例えば、入力の分類、入力に基づく分析、入力に関連する設計、プロセス、予測、または推奨、または任意の他の適切なタイプの出力を含み得る。機械学習システムまたは機械学習モデルは、システムの1つまたは複数の態様(例えば、重み、バイアス、分類またはクラスタを形成するための基準など)を確立、調整、または修正するためにシステムに供給される訓練データ(例えば、経験データおよび/または入力データのサンプル)を使用して訓練され得る。訓練データは、内部リソースまたは外部リソースから生成、受信、および/または他の方法で取得され得る。機械学習システムの態様は、入力に対して線形に、並列に、ネットワーク(例えば、ニューラルネットワーク)を介して、または任意の適切な構成を介して動作し得る。
【0021】
機械学習システムの実行は、線形回帰、ロジスティック回帰、ランダムフォレスト、勾配ブーストマシン(GBM)、深層学習、および/または深層ニューラルネットワーク(例えば、多層パーセプトロン(MLP)、CNN、再帰型ニューラルネットワーク)などの1つまたは複数の機械学習技法の導入を含み得る。教師あり訓練および/または教師なし訓練が用いられ得る。例えば、教師あり学習は、訓練データおよび訓練データに対応するラベルを、例えば、グラウンドトゥルースとして提供することを含み得る。訓練データは、人間の技術者および/または他の医療専門家によって注釈が付けられた医用画像を含み得る。教師なし手法は、クラスタリング、分類などを含み得る。K平均クラスタリングまたはK最近傍法も使用することができ、これは教師ありまたは教師なしであり得る。K最近傍法および教師なしクラスタ技法の組合せも使用され得る。例えば、確率的、勾配ブースト、ランダムシード、再帰的、エポックベースまたはバッチベースなど、任意の適切なタイプの訓練を使用し得る。代替的に、強化学習を用いて訓練を行い得る。例えば、強化学習は、環境の現在の状態に基づいて決定を行い、フィードバック(例えば、決定の正確さに基づく肯定的または否定的な報酬)を受信し、報酬を最大化するようにその決定を調整し、損失関数が最適化されるまで再び繰り返すように、環境と相互作用するエージェントを訓練することを含み得る。
【0022】
訓練済みの機械学習モデル118は、例えば、医用画像が処理のために受信されたときに、システム116によるその後の取得および使用を可能にするために、ストレージデバイス114によって保存され得る。他の技法では、サードパーティシステムが、複数の訓練済みの機械学習モデル118を生成し、訓練し得る。サーバシステム110は、訓練済みの機械学習モデル118をサードパーティシステムから受信し、ストレージデバイス114内に保存し得る。
【0023】
イメージングシステム130は、複数の異なるイメージングモダリティを実装するシステムを含み得る。例えば、イメージングシステム130の1つは、超音波イメージングシステム132であり得る。超音波イメージングシステム132は、1つまたは複数のプローブ134(例えば、トランスデューサ)と、プローブ134に通信可能に接続されたイメージングコンピューティングデバイス136と、ディスプレイ138とを含み得る。プローブは、イメージングされるべき解剖学的構造の近傍で患者(ヒトまたは動物)の皮膚と接触して配置されると、患者の体内に音波を放出し、反射して戻ってくる音波を受信し、その音波から画像がイメージングコンピューティングデバイス136によって作成され得る。例えば、プローブ134は、反射音波に基づいて電気信号を生成し、電気信号は、画像を生成するためにイメージングコンピューティングデバイス136に送信され得る。次いで、画像はディスプレイ138上に表示され得る。プローブ134によって音波が送信される周波数および深度は、超音波イメージングシステム132の調節可能な設定であり得る。画像はライブ画像であり得る。超音波イメージングシステム132の制御は、ライブ画像がフリーズされ静止画像としてキャプチャされることを可能にし得る。他の例示的なイメージングシステムは、X線イメージングシステム、CTシステム、MRIシステム、および/またはPETシステムを実行する。
【0024】
いくつかの例では、イメージングシステム130によって生成された画像は、医師が確認するためにネットワーク120を介してユーザコンピューティングデバイス140に送信され得る。例えば、超音波イメージングシステム132を使用して(例えば、超音波イメージングシステム132を操作する資格を有する技術者によって)患者のイメージングが行われた後、生成された画像は、初期分析のために1つまたは複数のユーザコンピューティングデバイス140(例えば、医師のコンピューティングデバイス)に送信され得る。ユーザコンピューティングデバイス140は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートセルラーフォン(例えば、モバイルフォン)、スマートウォッチ、または他の電子ウェアラブルなどを含み得る。追加的にまたは代替的に、イメージングシステム130によって生成された画像は、保存のためにPACシステム150のうちの1つにネットワーク120を介して送信され得る。
【0025】
超音波イメージングシステム132のイメージングコンピューティングデバイス136のメモリおよび/またはユーザコンピューティングデバイス140のメモリに保存された1つまたは複数の命令の少なくとも一部は、ネットワーク120を介してサーバシステム110と通信するように構成された、システム116に関連するアプリケーション(例えば、クライアントアプリケーション)を実行するための命令を含み得る。1つの例示的な例として、患者が超音波イメージングシステム132を使用してイメージングが行われているとき、アプリケーションは、生成された画像のシステム116によるリアルタイム処理を可能にするためにイメージングコンピューティングデバイス136上で実行され得る。別の例示的な例として、アプリケーションは、ユーザコンピューティングデバイス140上で実行され得、ユーザ(例えば、医師)は、システム150による処理のために、(例えば、PACシステム116から)以前にキャプチャされ保存された画像を選択し得る。いくつかの例では、アプリケーションは、医師からの音声コマンドを(例えば、音声インタフェースを介して)キャプチャして処理することが可能であり得る。
【0026】
加えて、イメージングコンピューティングデバイス136および/またはコンピューティングデバイス140の1つまたは複数の構成要素は、メモリに保存された命令/情報、環境100内の他のシステムから受信された命令/情報、および/または同様のものに基づいて、1つまたは複数のグラフィックユーザインタフェース(GUI)を生成し得るか、または生成させ得、かつ個別のデバイスのディスプレイを介してGUIを表示させ得る。GUIは、例えば、モバイルアプリケーションインタフェースまたはブラウザユーザインタフェースであり得、かつテキスト、入力テキストボックス、選択制御、および/はたは同様のものを含み得る。ディスプレイは、タッチスクリーンまたは個別のデバイスの管理コンタクトおよび/またはゲストコンタクトがその機能を制御するための他の入力システム(例えば、マウス、キーボード等)を備えたディスプレイを含み得る。
【0027】
環境100の1つまたは複数の構成要素が通信するネットワーク120は、ワイドエリアネットワーク(「WAN」)、ローカルエリアネットワーク(「LAN」)、パーソナルエリアネットワーク(「PAN」)、セルラーネットワーク(例えば、3Gネットワーク、4Gネットワーク、5Gネットワーク等)または同様のものの1つまたは複数の有線ネットワークおよび/または無線ネットワークを含み得る。1つの技法では、ネットワーク120はインターネットを含み、様々なシステム間で提供される情報およびデータはオンラインで発生する。「オンライン」は、インターネットに結合された他のデバイスまたはネットワークから離れた場所からのソースデータまたは情報に接続またはアクセスすることを意味し得る。代替的に、「オンライン」は、モバイル通信ネットワークまたはデバイスを介して電子ネットワーク(有線または無線)に接続またはアクセスすることを指し得る。サーバシステム110、イメージングシステム、コンピューティングデバイス140、PACシステム150、および/または医用画像データベース160は、1つまたは複数の標準通信プロトコルを使用して、ネットワーク120を介して接続され得る。
【0028】
図1では別個の構成要素として示されているが、例示的な環境100のシステム内の構成要素または構成要素の一部は、いくつかの実施形態では、1つまたは複数の他の構成要素と統合され得るか、または1つまたは複数の他の構成要素に組み込まれ得ることを理解されたい。例えば、ディスプレイ138は、超音波イメージングシステム等のイメージングコンピューティングデバイス136と一体化され得る。いくつかの実施形態では、上述した構成要素のうちの1つまたは複数の動作または態様は、1つまたは複数の他の構成要素間で分散され得る。例示的な環境100の様々なシステムおよびデバイスの任意の適切な配置および/または統合が使用され得る。
【0029】
以下の開示では、様々な動作が、サーバシステム110、イメージングシステム、コンピューティングデバイス140、またはそれらの構成要素など、図1の構成要素によって実施または実行されるものとして説明され得る。しかしながら、様々な実施形態において、上述した例示的な環境100の様々な構成要素は、命令を実行し得るか、または以下に説明する動作を含む動作を実行し得ることを理解されたい。デバイスによって実行される動作は、そのデバイスに関連するプロセッサ、アクチュエータなどによって実行されると見なされ得る。さらに、様々な実施形態では、様々なステップが任意の適切な方法で追加、省略、および/または再配置され得ることを理解されたい。
【0030】
医用画像処理の大まかな概要
図2は、システム116によって実行される例示的なプロセス200のブロック図を示す。プロセス200は、入力202がシステム116において受信されたときに開始され得る。入力202は、解剖学的構造の1つまたは複数の医用画像を含み得る。医用画像は、イメージングコンピューティングデバイス136および/またはユーザコンピューティングデバイス140などのコンピューティングデバイス上で動作しているシステム116に関連するアプリケーションによりネットワーク120を介して受信され得る。次に、ステップ204において、入力202は前処理され得る。前処理の一部として、任意の関連する健康データが医用画像から抽出され得(例えば、識別を解除するために)、医用画像は、ポータブルグラフィックスフォーマット(PNG)などの可逆画像フォーマットに変換され得る。加えて、いくつかの例では、医用画像は、画像鮮明度を増加させるために(例えば、画像を再構成および雑音除去するために)、敵対的生成ネットワーク(GAN)を通して供給され得る。
【0031】
次いで、解剖学的構造の前処理済みの医用画像は、ストレージデバイス114に保存された複数の機械学習モデル118からの訓練済みの機械学習モデル118Aに入力として提供され得る。訓練済みの機械学習モデル118は、解剖学的構造に影響を及ぼす筋骨格系の診断、解剖学的構造の解剖学的特徴、身体の機能を破壊し得る身体内に通常存在しない特徴、および/または体内に挿入された異物などの1つまたは複数の対象物に関連する観察、および/または特徴および/または身体の面積または体積などの観察に関連する測定値のうちの少なくとも1つを予測するように訓練され得る。対象物に関連する観察は、対象物または関心領域、対象物の位置、対象物の軌跡、および/または画像品質(例えば、適切な画像深度、画像焦点ゾーン、および画像利得などの所与の対象物の最適な画像であるか、および異方性、シャドーイング、屈折シャドーイング、後方エコー増強または増加した透過、後方反射、およびリングダウンアーチファクトを含む超音波検査のアーチファクトの認識)の識別および/または輪郭表示/視覚的表示を含み得る。また、訓練済みの機械学習モデル118のうちの1つまたは複数は、所与の診断または介入処置に対する最適な画像フレームキャプチャを推測するように訓練され得る。
【0032】
訓練済みの機械学習モデル118Aによる予測出力は、次いで、出力208を生成するためにステップ206において後処理され得る。追加的にまたは代替的に(点線によって示されるように)、訓練済みの機械学習モデル118Aによる予測出力は、ストレージデバイス114に保存された複数の機械学習モデル118から別の訓練済みの機械学習モデル118Bに入力として提供され得、その出力はまた、出力208を生成するためにステップ206において後処理され得る。訓練済みの機械学習モデル118のうちの1つまたは2つのみがプロセス200に示されているが、他の例では、任意の数の訓練済みの機械学習モデルが実装され得る。
【0033】
ステップ206における後処理は、例えば、訓練済みの機械学習モデル118Aおよび/または訓練済みの機械学習モデルからの予測(単数または複数)に基づいて結果を生成して、出力208を生成し得る。言い換えれば、後処理ステップ206は、予測を、医師または他の医療専門家によって消費可能な情報フォーマットおよび/または表示に変換する。例示的な情報フォーマットおよび/または表示は、ヒートマップ、画像上に重ね合わされたテキストオーバーレイ、数値表フォーマット、順位表フォーマット、テキスト表、強調表示表、および/または棒グラフを含み得る。いくつかの例では、外部(例えば、サードパーティ)システムが、結果を生成するために利用され得る。
【0034】
1つの例示的な結果は、診断および/または介入を行う際に医師を支援するために、医用画像内の予測を示す視覚化情報を含み得る。システム116は、アプリケーションを介して、イメージングコンピューティングデバイス136またはユーザコンピューティングデバイス140等の、医用画像が受信されるコンピューティングデバイスへの表示のために、これらの視覚化情報を提供し得る。前述のように、訓練済みの機械学習モデルに入力される画像の鮮明度を増加させるために、医用画像は、ステップ204においてGANを通して供給され得る。追加的にまたは代替的に、医用画像は、医師または他の医療専門家への視覚化情報の出力の品質を改善するために、ステップ206においてGANを介して供給され得る。
【0035】
生成される別の例示的な結果は、医師の注意のための優先順位付けされた症例のリストを含み得、例えば、重症度または分類が高まったと推測される診断が優先順位付けされる。生成されるさらなる例示的な結果は、医師によってレビューされかつ認証された医用画像分析の事前入力された書面のレポートを含み得る。加えて、結果は、元の医師、患者自身、患者自身の介護者または家族、外科医、理学療法士などの臨床現場における他の当事者への医用画像分析を含む通信の生成および送信を含み得る。
【0036】
筋骨格系障害のための診断予測
患者の検査中にキャプチャされた診断画像は、障害、損傷、および/または状態の任意の分類(例えば、カテゴリ、ステージ、フェーズ、グレードなど)を含む、障害、損傷、および/または状態の医師による診断を円滑に進め得る。図3図4に説明される技法は、筋骨格系障害を診断するために、機械学習モデルを訓練および使用することを含む。図5Aおよび図5Bは、回旋筋腱板断裂などの肩の損傷を診断するように訓練された例示的な機械学習モデルを示す。
【0037】
図3は、本明細書に提示される例示的な技法による、筋骨格系障害の診断を予測するために機械学習モデル(例えば、訓練される機械学習モデル118のうちの1つ)を訓練するための例示的な方法300を示すフローチャートを示す。例示的な方法300(例えば、ステップ302~306)は、システム116によって実行され得る。例示的な方法300は、以下のステップのうちの1つまたは複数を含み得る。
【0038】
ステップ302において、複数のラベル付けされた訓練用医用画像が(例えば、ネットワーク120を介して医用画像データベース160から)受信され得る。訓練用医用画像は、1つまたは複数の筋骨格系障害によって影響を受けた特定の解剖学的構造の超音波画像を含み得る。訓練用医用画像は、画像内に存在する1つまたは複数の筋骨格系障害(もしあれば)を少なくとも示す医師からの注釈によりラベル付けされ得る。また、注釈は、解剖学的特徴(例えば、骨、腱、靭帯、筋肉、神経等)および/または身体に通常存在せず、かつ画像に存在する1つまたは複数の筋骨格系障害に関連し得る破壊的特徴を示し得る。筋肉損傷、靭帯損傷、および/または腱損傷に関連する例示的な破壊的特徴は、出血、筋浮腫、血腫、液体貯留、病変、瘢痕、炎症、欠損、腱症、靭帯症、腱炎、および/または断裂を含み得る。骨損傷に関連する例示的な破壊的特徴は、疲労骨折、腱および靭帯付着部における裂離、カルス形成、骨折偽関節、成長板損傷、および/または腱のスクリューインピンジメント(screw impingement)を含み得る。他の例示的な破壊的特徴としては、感染に関連する蜂巣炎および/または膿瘍、関節炎(例えば、関節リウマチ、乾癬性関節炎、痛風、または変形性関節症)、筋炎および糖尿病性筋梗塞、軟組織異物(例えば、木材、プラスチック、金属、ガラス、有機物および/または植物)、末梢神経絞扼、軟部組織腫瘤(例えば、脂肪腫、末梢神経鞘腫瘍、血管異常、ガングリオン嚢胞、リンパ節、および/または悪性軟部組織腫瘍)、ならびに骨腫瘤が挙げられ得る。さらに、注釈は、これらの特徴のいずれかの面積および/または体積を示し得る。訓練用医用画像は、前処理(図2のステップ204で説明した前処理と同様の)され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から抽出されるか、または他の方法で特定されて、訓練用医用画像とは別個のラベルを形成し得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。
【0039】
特定の種類の筋骨格系障害については、所与の種類の障害について複数の分類が存在し得る。分類は、カテゴリ、ステージ、フェーズ、グレード、および/または同様のものを含み得る。例えば、図5Aを参照してより詳細に説明されるように、回旋筋腱板病変などの肩の損傷を診断するために、回旋筋腱板は、正常(例えば、病変がない場合)、腱炎、腱症、石灰沈着性腱炎、石灰沈着性腱症、層間剥離、関節側断裂、関節内断裂(intrasubstance tear)、滑液包側断裂、または全層断裂として分類され得る。同様の損傷は、解剖学的構造の任意の部分について分類することができ、訓練用画像は、各分類の複数の例を含み得る。例えば、肩の損傷に加えて、損傷は、肘、手首、手、指、臀部、大腿部、膝、足首、足、および/または下腿部について分類され得る。関心のある筋骨格系障害が複数の分類を含む場合、受信したラベル付けされた訓練用医用画像は、ラベル付けされた訓練用医用画像のサブセットから構成され得、各サブセットは、複数の分類からの個別の分類に対応し得る。各サブセット内の訓練用医用画像に対する対応するラベルは、画像内に存在する筋骨格系障害に対する複数の分類からの既知の分類をさらに示す注釈を含み得る。
【0040】
ステップ304において、複数のラベル付けされた訓練用医用画像を使用して、解剖学的構造に影響を及ぼす筋骨格系障害に関連する診断を予測するための機械学習モデルが生成され訓練され得る。例えば、訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、本明細書で前に列挙された例示的なタイプのいずれかであり得る。機械学習モデルは、筋骨格系障害に関連する診断を予測し得る。いくつかの例では、予測された診断は、筋骨格系障害に関連する所与の解剖学的構造に対する対象物の予測される識別に基づき得る。例えば、石灰沈着性腱炎の予測された診断は、回旋筋腱板の腱上の予測されるカルシウム沈着に基づき得る。機械学習モデルは、各訓練用画像に関して、少なくとも筋骨格系障害が存在するかどうかの予測を出力し得る。さらに、予測された診断が、筋骨格系障害に関連する所与の解剖学的構造に対する対象物の予測される識別に基づき得る場合、予測される関心のある対象物は、機械学習モデルによる予測された診断に加えて、またはその代わりに出力され得る(例えば、腱上のカルシウム沈着)。他の例では、障害が複数の分類を含む場合、機械学習モデルは、訓練用画像ごとに、訓練用医用画像が筋骨格系障害の個別の分類を示す可能性を表す分類ごとのスコア(例えば、確率)を出力し得る。
【0041】
機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された筋骨格系障害に関連する予測された診断を、訓練用医用画像に対応するラベルと比較して、損失または誤差を決定し得る。例えば、第1の訓練用画像に対する予測された診断は、対応するラベルによって識別される第1の訓練用画像内の既知の診断と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る(例えば、重みおよび/またはバイアスが調整され得る)。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。
【0042】
例示的な例を提供するために、図5Aは、肩の損傷の診断を予測するための機械学習モデルの訓練プロセスを示す概念図500である。回旋筋腱板断裂などの肩の損傷を診断するために、回旋筋腱板断裂は、正常(例えば、断裂がない場合)、関節側断裂、関節内断裂、滑液包側断裂、または全層断裂として分類され得る。従って、回旋筋腱板断裂の診断を予測するための機械学習モデルを生成しかつ訓練するために使用されるラベル付けされた訓練用医用画像は、各個別のカテゴリに対応するラベル付けされた訓練用医用画像のサブセットから構成され得る。例えば、第1のサブセット502は、回旋筋腱板断裂のない肩の画像を含み得、第2のサブセット504は、関節側断裂を伴う肩の画像を含み得、第3のサブセット506は、滑液包側断裂508を伴う肩の画像を含み得、第4のサブセット510は、全層断裂を伴う肩の画像から成り得る。上述のサブセットの各々に含まれる画像の例示的な数と、全画像中の各サブセットの表現(例えば、パーセンテージ)とが、表512に示されている。また、表512は、訓練セットにおいて使用された各サブセット内の画像数と検証セットに対して保留された画像数との内訳を含む。
【0043】
図3に戻ると、機械学習モデルが十分に訓練されると、ステップ306において、訓練済みの機械学習モデルは、その後の使用のために(例えば、ストレージデバイス114に保存された訓練済みの機械学習モデル118のうちの1つとして)保存され得る。いくつかの例では、訓練済みの機械学習モデルは、所与の解剖学的構造に影響を及ぼす複数の異なる筋骨格系障害の診断を予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法300は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、所与の解剖構造に影響を及ぼす特定の筋骨格系障害の診断を予測する(例えば、回旋筋腱板断裂を識別するための1つのモデル、回旋腱板における石灰沈着性腱炎を識別するための1つのモデルなど)。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。
【0044】
図4は、本明細書に提示される例示的な技法による、筋骨格系障害の診断を予測するための例示的な方法400を示すフローチャートを示す。例示的な方法400(例えば、ステップ402~408)は、システム116によって実行され得る。例示的な方法400は、以下のステップのうちの1つまたは複数を含み得る。
【0045】
ステップ402において、解剖学的構造の医用画像が、コンピューティングデバイスから受信され得る。医用画像は、超音波画像、または本明細書で説明される任意のイメージングモダリティであり得、コンピューティングデバイスは、ユーザコンピューティングデバイス140または超音波イメージングシステム132のイメージングコンピューティングデバイス136を含み得る。例えば、コンピューティングデバイスは、医用画像処理システム110に関連するアプリケーション(例えば、クライアントアプリケーション)を実行し得る。いくつかの態様では、医用画像は、以前にキャプチャされ保存された画像であり得、その画像は、コンピューティングデバイスのローカルストレージまたはリモートデータストレージシステム(例えば、PACシステム150)から選択されるか、またはアプリケーションを介してシステム116に送信される。他の態様では、医用画像は、(例えば、患者がイメージングされているときに超音波イメージングシステム132によって)リアルタイムでキャプチャされ、かつアプリケーションを介してシステム116に送信されるライブ画像であり得る。いくつかの例では、また、ユーザは、アプリケーションのユーザインタフェースを介して、医用画像においてキャプチャされた解剖学的構造に影響を及ぼし得る筋骨格系障害のタイプを選択し得る。筋骨格系障害のタイプは、患者によって報告された症状、および/または身体診察および/または医用画像の初期レビューの際に医師によって検出された徴候に基づいて選択され得る。
【0046】
ステップ404において、解剖学的構造に影響を及ぼす筋骨格系障害に関連する診断を予測するために、医用画像が、図3を参照して説明した方法300を用いて訓練された機械学習モデルなどの訓練済みの機械学習モデルに入力として提供され得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法300が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、筋骨格系障害のタイプが医師によって選択された場合、筋骨格系障害のタイプを識別するように訓練された機械学習モデルのみが実行され得る(例えば、コンピューティングリソースを節約するために)。
【0047】
ステップ406において、予測された診断は、訓練済みの機械学習モデルから受信され得る。いくつかの例では、予測された診断は、医用画像における筋骨格系障害の存在または不在の指示を少なくとも含み得る。分類を伴う筋骨格系障害の場合、予測された診断は、予測された分類を示し得る。追加的にまたは代替的に、予測された診断が筋骨格系障害に関連する所与の解剖学的構造に対する対象物の予測される識別に基づき得る例では、予測された診断は、識別された予測された対象物を含み得る(対象物の識別は以下でより詳細に説明される)。追加的にまたは代替的に、予測された診断は、予測に関連する信頼度を表す関連スコアを有し得る。同様に、筋骨格系障害が分類を含む場合、予測された診断は、筋骨格系障害についての個別の分類を示す医用画像の可能性を表す各分類に対するスコアを含み得、最高スコアを有する分類が予測された診断であり得る。
【0048】
ステップ408において、医用画像および予測された診断は、表示のためにコンピューティングデバイスに提供され得る。例えば、医用画像および予測された診断は、コンピューティングデバイス(例えば、ユーザコンピューティングデバイス140および/またはイメージングコンピューティングデバイス136)上で実行されるアプリケーションを介して受信され、図5Bに示される例示的なユーザインタフェースなどのアプリケーションのユーザインタフェース内に表示され得る。
【0049】
図5Bは、肩の損傷の予測された診断を表示する例示的なアプリケーションユーザインタフェース550を示す。アプリケーションユーザインタフェース550は、ユーザコンピューティングデバイス140および/またはイメージングコンピューティングデバイス136などのコンピューティングデバイス上で実行される、システム116に関連するアプリケーションのユーザインタフェースであり得る。複数の機械学習モデル118のうちの1つは、図5Aを参照して説明される例示的な訓練用医用画像を使用して、回旋筋腱板断裂の診断を予測するように生成され訓練され得る。肩の回旋筋腱板の医用画像552などの医用画像は、(例えば、例示的な方法400を使用して)システム116によって処理するために受信され得る。医用画像552は、回旋筋腱板構造の組織、筋肉、および腱、具体的には棘上筋/腱複合体を含み得る。一旦、処理されると、システム116は、少なくとも医用画像552および予測された診断554を、アプリケーションユーザインタフェース550に表示するためにアプリケーションに提供し得る。例えば、予測された診断554は、断裂を示し、かつ全層断裂の予測された分類を含み得る。
【0050】
加えて、予測された診断554に関連するスコア556が表示され得る。スコア556は、筋骨格系障害についての予測された診断554が医用画像552内に存在する可能性または確率を示し得る。スコア556は、診断プロセスにおいて医師を支援し得る。例えば、医師は、医師が自身の目で視覚化できるものに対応する(または少なくとも矛盾しない)予測された診断554のスコア556の高い値があるとき、診断プロセスにおける1つの因子として予測された診断554を使用することにより自信を感じ得る。加えて、回旋筋腱板断裂のような複数の分類(例えば、カテゴリ)を有する筋骨格系障害に関して、分類560および関連スコア562の各々を列挙した表558または他の同様のグラフィカル要素が、ユーザインタフェース550上に表示され得る。例えば、表558に示されるように、医用画像552が正常な回旋筋腱板(断裂なし)、関節側断裂、関節内断裂、滑液包側断裂、または全層断裂を示す個別のスコアが、表示のために含まれ得る。
【0051】
上記で説明したアプリケーションユーザインタフェース550は、単に例として提供されており、図5Bに示されるものよりも追加の、より少ない、異なる、または異なって構成された情報を含み得る。
【0052】
図3図5Bを参照して上述した筋骨格系障害診断のための概略的な技法は、以下でより詳細に説明するように、多くの可能性のある特定の用途または使用事例を有し得る。例えば、同様の技術は、関節、筋肉、腱および靭帯における整形外科手術を円滑に進める(ガイドする)ために、医用画像内の対象物を識別するために使用され得る。追加的にまたは代替的に、上記の技法は、非外科的整形外科、または治療医師によって患者に施されるような臨床医による治療技法(拡張する、軽く圧迫および軽く抵抗をかける等)を含み得る、整骨術的手技治療(Osteopathic Manipulative Treatment)において使用され得る。上記の技法では、超音波画像が訓練済みの機械学習モデルに入力される画像モダリティであるが、他の技法では、CTスキャナからの画像、X線画像など、別の医用イメージングモダリティからのデジタル画像が、脳損傷、骨損傷など、患者の身体の他の領域における損傷を診断するために使用され得る。
【0053】
診断的観察または介入的観察の対象物の識別、測定、および視覚化
図6図7に記載される技法は、解剖学的構造の医用画像内の対象物を識別するために機械学習モデルを訓練し、使用することを含む。対象物は、例えば、解剖学的構造の解剖学的特徴、身体の機能を破壊し得る身体には通常存在しない特徴、および/または処置中に挿入される異物を含み得る。対象物の識別は、診断のために、ならびに診断後の介入をガイドするときに有用であり得る。加えて、料金の請求の目的のために、医師は、所与の処置の証拠を提供するために、特定の対象物が識別された画像を提出することを要求され得る。例えば、針生検処置を実行するとき、識別された針を含む画像が、請求書類の一部として提出され得る。
【0054】
一旦、対象物が識別されると、対象物の面積および/または体積など、対象物に関連する測定値も決定され得る。測定値は、病状が正常であるか異常であるかを決定する際に医師にとって有用であり得るとともに、筋骨格系障害の診断プロセスにおいて使用され得る。加えて、経時的に(例えば、後続の患者診察中に)関心のある対象物の測定値を取得することによって、筋骨格系障害に関連する患者の進行および/または退行が、医師によって追跡され得る。例えば、手根管症候群に関して、正中神経の領域は、診断のための有用な指標であり得るとともに、手根管症候群が退行しているか否か(例えば、治療後)を判定するために経時的に監視され得る。別の例として、回旋筋腱板断裂に関して、(例えば、治療後)損傷が退行しているか否かを判定するために、骨質から分離された腱の量が経時的に監視され得る。さらなる例として、ガングリオン嚢胞、胸水、カルシウム沈着、腫瘤、病変など、通常は体内に存在せず、体の機能を破壊する可能性がある破壊的特徴を識別した後、その構造の少なくとも一部が外科的に摘出され得、術後画像がキャプチャされ得る。手術前画像および手術後画像におけるこの特徴の測定値は、システムによって自動的に比較されて、関心のある対象物がどれだけ摘出されたかの客観的な証拠を提供することができる。例えば、以前のイメージングセッションからの画像は、現在のイメージングセッションからの画像と自動的に共同登録され得る。複数の共同登録点が自動的に識別され得、ユーザによって画像セットの少なくとも1つにおいて示され得る対応する対象物が、過去および現在の両方の画像セットにおいて識別され得る。以前の画像セットにおけるカルシウム沈着は、現在のイメージングセッションにおける同じカルシウム沈着と自動的に関連付けられ得、疾患の進行または退行を判定するために測定値が自動的に取得され得る。いくつかの事例では、嚢胞または腫瘤等の対象物は、手術または他の処置に起因して、現在のセッションの画像から完全になくなっている場合がある。この場合、システムは、以前のイメージングセッションにおいて関心のある対象物であった対象物がもはや存在しないことを自動的に判定し得る。
【0055】
いくつかの例では、識別された対象物は、別のプロセスに入力され得る。例えば、図8図9に記載されるように、機械学習モデルは、医用画像が識別された対象物に対して最適な画像である(例えば、対象物に対して最適な視野角である)かどうかを判定し、かつ視野角をもたらす画像をキャプチャするプローブの向きを予測するために訓練され、かつ使用され得る。医用画像が最適でない場合、識別された関心のある対象物に対してより最適な画像をキャプチャするために提案されるプローブ移動は、予測されたプローブの向き(例えば、現在のプローブの向き)および最適な画像のキャプチャに関連する学習されたプローブの向きに基づいて決定され得る。
【0056】
さらに、図10を参照して図示および説明されるように、識別された対象物および対象物に関連する任意の測定値を示すための視覚化情報が、表示のために提供され得る。加えて、医用画像が、識別された対象物のうちの1つまたは複数に対して最適でないと判定された場合、視覚化情報は、より最適な画像をキャプチャするために、提案されるプローブ移動を示す方向インジケータをさらに含み得る。
【0057】
図6に戻ると、フローチャートは、本明細書に提示される例示的な技法による、解剖学的構造の医用画像内の対象物を識別するために機械学習モデル(例えば、訓練される機械学習モデル118のうちの1つ)を訓練するための例示的な方法600を示す。例示的な方法600(例えば、ステップ602~606)は、システム116によって実行され得る。例示的な方法600は、以下のステップのうちの1つまたは複数を含み得る。
【0058】
ステップ602において、複数のラベル付けされた訓練用医用画像が(例えば、ネットワーク120を介して医用画像データベース160から)受信され得る。訓練用医用画像は、特定の解剖学的構造の超音波画像を含み得る。訓練用医用画像は、個別の画像内の複数の対象物を示す医師からの注釈によってラベル付けされ得る。注釈付き対象物は、骨、腱、靭帯、軟骨、筋肉、神経、静脈、動脈等の解剖学的構造の解剖学的特徴を含み得る。また、注釈付き対象物は、ガングリオン、カルシウム沈着、胸水、断裂、腫瘤、病変、制限、インピンジメント、圧迫等の、身体の機能を破壊し得る解剖学的構造内には通常存在しない特徴(例えば、破壊的特徴)を含み得る。注釈付き対象物は、処置の一部として体内に挿入され得る、膨張可能なバルーン、針、ナイフ、メス、フィンガー、ステント、血管内デバイス、カテーテル、手術器具等の異物をさらに含み得る。さらに、注釈は、上述の対象物のいずれかの面積および/または体積を示し得る。訓練用医用画像は、様々な異なるタイプの対象物を表し得る。例えば、訓練用画像の第1のサブセットはガングリオンを含み得、第2のサブセットはカルシウム沈着を含み得、第3のセットは膨張可能なバルーンを含み得、第4のセットは針を含み得る、などである。いくつかの例では、訓練用医用画像はさらに、個別の画像内の対象物のうちの1つまたは複数に関連する測定値を示す注釈によりラベル付けされ得る。例えば、画像は、対象物の面積および/または体積によって注釈が付けられ得る。対象物の体積が所与の対象物に対して注釈付けされる場合、所与の訓練用画像に対して、画像シーケンスのサブセットが存在し得、画像シーケンスのサブセット内の各画像は、プローブ134の位置を移動させることなく、超音波イメージングシステム132の異なる深度設定および周波数設定でキャプチャされ得る。
【0059】
訓練用医用画像は、前処理(図2のステップ204で説明した前処理と同様の)され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像とは別個のラベルを形成するために、受信された訓練用医用画像から抽出されるか、または他の方法で識別され得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。訓練用医用画像のための対応するラベルは、注釈が付けられた対象物の各々の既知のタイプを含み得る。
【0060】
ステップ604において、複数のラベル付けされた訓練用医用画像を使用して、対象物を識別するための機械学習モデルが生成され訓練され得る。例えば、訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、訓練用医用画像内の1つまたは複数の対象物を識別し得る。いくつかの例では、機械学習モデルは、対象物に関連する測定値(例えば、面積および/または体積)を予測し得る。
【0061】
機械学習モデルを訓練するために、訓練用医用画像に対する機械学習モデルによる出力を、訓練用医用画像に対応するラベルと比較して、損失または誤差を決定し得る。例えば、第1の訓練用画像内で識別された対象物(単数または複数)は、対応するラベルによって識別された既知の対象物のタイプと比較され得る。さらに、予測が、識別された対象物(単数または複数)に関連する測定値を含む場合、第1の訓練用画像内で識別された対象物に対して予測された測定値は、対応するラベルによって識別された第1の訓練用画像に含まれる既知の対象物のタイプの既知の測定値と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る(例えば、重みおよび/またはバイアスが調整され得る)。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。
【0062】
機械学習モデルが十分に訓練されると、ステップ606において、訓練済みの機械学習モデルは、その後の使用のために(例えば、ストレージデバイス114に)保存され得る。いくつかの例では、訓練済みの機械学習モデルは、解剖学的構造の医用画像内に存在し得る異なるタイプの対象物の各々を識別するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法600は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、特定のタイプの対象物を識別する(例えば、1つのシステムはガングリオンを識別するためのものであり、別のシステムはカルシウム沈着を識別するためのものであるなど)。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。
【0063】
図7は、本明細書に提示される例示的な技法による、解剖学的構造の医用画像内の対象物を識別するための例示的な方法700を示すフローチャートを示す。例示的な方法700(例えば、ステップ702~708)は、システム116によって実行され得る。例示的な方法700は、以下のステップのうちの1つまたは複数を含み得る。
【0064】
ステップ702において、解剖学的構造の医用画像がコンピューティングデバイスから受信され得る。医用画像は超音波画像であり得、コンピューティングデバイスは、ユーザコンピューティングデバイス140または超音波イメージングシステム132のイメージングコンピューティングデバイス136を含み得る。例えば、コンピューティングデバイスは、医用画像処理システム110に関連するアプリケーション(例えば、クライアントアプリケーション)を実行し得る。いくつかの態様では、医用画像は、以前にキャプチャされ保存された画像であり得、その画像は、コンピューティングデバイスのローカルストレージまたはリモートデータストレージシステム(例えば、PACシステム150)から選択されるか、またはアプリケーションを介してシステム116に送信される。他の態様では、医用画像は、(例えば、患者がイメージングされているときに超音波イメージングシステム132によって)リアルタイムでキャプチャされ、かつアプリケーションを介してシステム116に送信されるライブ画像であり得る。いくつかの例では、2つ以上の医用画像が受信され得る(例えば、様々な深度および周波数の組合せでキャプチャされた解剖学的構造の画像シーケンスのサブセットが受信され得る)。
【0065】
いくつかの例では、医師はまた、アプリケーションのユーザインタフェースを介して、画像内で存在していることを確認すること、かつ/または画像内で区別することを所望する1つまたは複数の特定のタイプの対象物を選択し得る。1つの例示的な例として、特定の手術では、手術中にバルーンを膨張させるために、生理食塩水などの流体で充填された膨張可能なバルーンが体内に挿入され得る。医師の目では、超音波画像においてバルーンと別の特徴(ガングリオンなど)とを区別することは困難な場合がある。従って、医師は、手術中にバルーン(ガングリオンのような特徴ではない)を流体で充填するための針の案内を円滑に進めるために、特定の関心のある対象物としてバルーンを選択し得る。例えば、医師の選択を受信すると、バルーン(ガングリオンではない)は、針とともに視覚的に強調され得(例えば、強調表示され)、針は、バルーンと同様であるが識別可能な様式で視覚化され(例えば、異なる色で強調表示され)、従って、バルーンおよび針の相対的な位置および/または向きを観察者に示し得る。
【0066】
ステップ704において、医用画像は、図6を参照して説明した方法600を用いて訓練された訓練済み機械学習モデルなどの訓練済みの機械学習モデル(例えば、訓練済み機械学習モデル118のうちの1つ)に入力として提供され得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法600が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、1つまたは複数の特定のタイプの関心のある対象物が医師によって選択されると、それらの特定のタイプの関心対象を識別するように訓練された機械学習モデルのみが実行され得る(例えば、計算リソースを節約するために)。
【0067】
ステップ706において、識別された1つまたは複数の対象物の予測が、訓練済みの機械学習モデルから受信され得る。加えて、予測は、予測に関連する信頼度(例えば、識別された各タイプの対象物が実際に医用画像内の対象物である可能性)を表す関連スコアを有し得る。いくつかの例では、機械学習モデルはまた、識別された対象物のうちの1つまたは複数に関連する面積および体積などの測定値を出力するように訓練され得る。面積は、対象物の断面積を表し得、システムは、断面積を得るための最適な角度を得るために、プローブ134を移動させるようにユーザに指示し得る。識別された対象物のうちの1つまたは複数の体積が予測される事例では、複数の医用画像(例えば、様々な深度および周波数の組み合わせでキャプチャされた解剖学的構造の画像シーケンスのサブセット)が、ステップ702において受信され、かつ体積予測を可能にするために、ステップ704においてモデルに入力され得る。そのような例では、予測はまた、識別された対象物に関連する予測された測定値を含み得る。
【0068】
ステップ708において、予測の指示が、表示のためにコンピューティングデバイスに提供され得る(例えば、コンピューティングデバイス140および/またはイメージングコンピューティングデバイス136上で実行されるアプリケーションを介して)。例えば、視覚化情報は、図2を参照して説明された後処理ステップ206における予測に基づいて生成され得る。視覚化は、医用画像内で識別された対象物をラベル付けし、強調表示し、または他の方法で強調し得、視覚化情報は、アプリケーションユーザインタフェース内での表示のために提供され得る。加えて、視覚化情報は、各対象物についての予測に関連するスコアを含み得る。さらに、視覚化情報は、識別された対象物のうちの1つまたは複数に関連する任意の測定値を含み得る。例示的な視覚化情報が以下に説明するように図10に示される。
【0069】
上記で説明したように、いくつかの例では、機械学習モデルは、識別された対象物のうちの1つまたは複数に関連する面積および体積などの測定値を出力するように訓練され得る。他の例では、識別された所与の対象物に関連する測定値は、ステップ706で受信された予測とは無関係に取得され得る。1つの非限定的な例として、いくつかの態様では、(例えば、ステップ708において)コンピューティングデバイスに提供される視覚化情報はまた、アプリケーションユーザインタフェース内にトレーサツール制御要素を含み得る。トレーサツール制御要素は、表示された医用画像内の対象物の境界に沿ってトレースするために、医用画像を観察している医師によって選択可能であり得る。次いで、システム116は、トレースされた境界を使用して対象物の面積を決定し、対象物の面積を表示のためにコンピューティングデバイスに提供することが可能であり得る。
【0070】
別の非限定的な例として、いくつかの態様では、対象物の体積を決定するために、体積掃引イメージングが実施され得る。例えば、様々な深度および周波数でキャプチャされた解剖学的構造の複数の超音波画像は、位置および向きを有する2次元(2D)スライスとして受信され得る。システム116は、2Dスライスを使用して対象物の3次元(3D)視覚化情報を再構成し得、対象物の体積は、3D視覚化情報から決定され得る。次いで、体積は、表示のためにコンピューティングデバイスに提供され得る。
【0071】
加えて、いくつかの例では、識別された対象物(単数または複数)を有する医用画像の視覚化情報を表示した後、オペレータは、識別された対象物のうちの1つ(例えば、ユーザにとって関心のある対象物)に対して視覚的ロックをかけることを選択して、オペレータがプローブを移動させたときに、識別された対象物が、プローブ移動後の新たな医用画像内でラベル付けされ、強調表示され、または他の方法で強調された状態を維持するようにし得る。例えば、オペレータは、ロックされるべき対象物に対応する医用画像のエリア内でコンピューティングデバイスのディスプレイにタッチ入力を提供し得る。医用画像をキャプチャするプローブの位置(例えば、現在のプローブ位置)に対する対象物の位置が、基準として使用するために特定され得る。対象物は静止状態であり得、従って、プローブの動きの前にプローブに対する対象物の第1の位置(例えば、基準)を認識し、プローブの動きを決定することによって、プローブの動きに対する対象物の第2の位置が決定され得る。プローブの動きは、加速度計、ジャイロスコープ、および/または慣性センサなど、プローブに取り付けられたセンサを使用して検出され得る。識別された対象物は、プローブ移動後の新たな医用画像内の第2の位置において、ラベル付けされ、強調表示され、または他の方法で強調され得る。例えば、視覚的にロックされた識別された対象物は、超音波ガイド下手術の一部として摘出される病変または腫瘤であり得る。その結果、処置中にプローブが移動されるにつれて、病変または腫瘤は、外科医が病変または腫瘤の視野を維持することが可能となるように、ラベル付けされ、強調表示され、または他の方法で強調され続ける。
【0072】
図8は、本明細書に提示される例示的な技法による、機械学習モデル(例えば、訓練される機械学習モデル118のうちの1つ)を訓練して、解剖学的構造の医用画像内の識別された対象物に対する最適な画像を識別するための例示的な方法800を示すフローチャートを示す。例示的な方法800(例えば、ステップ802~806)は、システム116によって実行され得る。例示的な方法800は、以下のステップのうちの1つまたは複数を含み得る。
【0073】
ステップ802において、解剖学的構造の複数のラベル付けされた訓練用医用画像が(例えば、ネットワーク120を介して医用画像データベース160から)受信され得る。訓練された医用画像は、画像内の注釈が付けられた複数の対象物を含み得る。注釈付き対象物は、骨、腱、靭帯、軟骨、筋肉、神経、静脈、動脈等の解剖学的構造の解剖学的特徴を含み得る。また、注釈付き対象物は、ガングリオン、カルシウム沈着、胸水、断裂、腫瘤、病変、制限、インピンジメント、圧迫等の、身体の機能を破壊し得る解剖学的構造内には通常存在しない特徴を含み得る。注釈付き対象物は、処置の一部として体内に挿入され得る、膨張可能なバルーン、針、ナイフ、メス、フィンガー、ステント、血管内デバイス、カテーテル、手術器具等の異物をさらに含み得る。
【0074】
訓練された医用画像は、画像内で注釈が付けられた様々な異なるタイプの対象物を表し得る。所与の対象物のタイプに関して、その所与の対象物のタイプを含む訓練用医用画像のサブセットは、画像内の対象物の複数の異なる視野角(例えば、画像をキャプチャするために使用されるイメージングシステムのプローブの向きに基づく異なる視野角)を有する画像から構成され得る。異方性、後方強調またはシャドーイング、エッジアーチファクト等の筋骨格系超音波アーチファクトの有無に基づいて、特定の視野角は、対象物のタイプに対して他の視野角よりも最適であり得る。例として異方性を使用すると、異なる視野方向から測定されたときに組織の特性が変化する場合、組織は異方性である。例えば、腱または靭帯が超音波ビームに対して垂直に撮像されるとき、特徴的な高エコー(視覚的に明るい灰色として表示される)の線維状の外観を確認することができる。しかしながら、超音波ビームが腱の長軸に対して2~3度の角度である場合、正常な高エコー(明るい灰色)は失われ、腱は、角度が増加するにつれてより低エコー(暗い灰色)になる。一旦、腱が識別されると、病的状態(pathology)を排除するために異方性が補正され得る。
【0075】
訓練用医用画像は、対応するグラウンドトゥルースラベルを有し得る。例えば、各画像は、対象物のタイプの既知の最適な画像または既知の非最適な画像としてラベル付けされ得る。いくつかの例では、グラウンドトゥルースラベルはまた、訓練用医用画像がキャプチャされたときのプローブの既知の向きを含み得る。訓練用医用画像はまた、前処理(図2のステップ204で説明した前処理と同様の)され得る。
【0076】
ステップ804において、複数のラベル付けされた訓練用医用画像を使用して、医用画像が医用画像内で識別された対象物の最適な画像であるかどうかを予測するための機械学習モデルが生成され訓練され得る。いくつかの例では、機械学習モデルはまた、医用画像をキャプチャするために使用される関連するプローブの向きを予測するように生成され訓練され得る。機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された予測を、訓練用医用画像に対応するグラウンドトゥルースラベル(単数または複数)と比較して、損失または誤差を決定し得る。例えば、第1の訓練用医用画像に対する最適な画像または非最適な画像の予測は、その中の対象物の既知の最適な画像または既知の非最適な画像である訓練用医用画像に対する対応するグラウンドトゥルースラベルと比較され得る。加えて、予測出力がプローブの予測された向きをも含む場合、予測された向きは、対応するグラウンドトゥルースラベルに含まれるプローブの既知の向きと比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る(例えば、重みおよび/またはバイアスが調整され得る)。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。
【0077】
機械学習モデルが十分に訓練されると、ステップ806において、訓練済みの機械学習モデルは、その後の使用のために(例えば、ストレージデバイス114に保存された訓練済みの機械学習モデル118のうちの1つとして)保存され得る。いくつかの例では、訓練済みの機械学習モデルは、解剖学的構造の医用画像が、その中に含まれ得る複数の異なる対象物のタイプの最適な画像であるかどうかを予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法800は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、解剖学的構造の医用画像が、その中で識別される特定の対象物のタイプの最適な画像であるかどうかを予測する。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。いくつかの例では、対象物の特定の対象物のタイプが識別される(例えば、方法700などの別のプロセスの出力として受信される)場合、解剖学的構造の医用画像が特定の対象物のタイプの最適な画像であるかどうかを予測するように訓練された機械学習モデルのみが、コンピューティングリソースを節約するために実行され得る。
【0078】
図9は、本明細書に提示される例示的な技法による、医用画像がその中で識別された対象物の最適な画像であるかどうかを判定するための例示的な方法900を示すフローチャートを示す。例示的な方法900(例えば、ステップ902~912)は、システム116によって実行され得る。例示的な方法1900は、以下のステップのうちの1つまたは複数を含み得る。
【0079】
ステップ902において、解剖学的構造の医用画像がコンピューティングデバイスから受信され得る。医用画像は超音波画像であり得、コンピューティングデバイスは、ユーザコンピューティングデバイス140または超音波イメージングシステム132のイメージングコンピューティングデバイス136を含み得る。例えば、コンピューティングデバイスは、医用画像処理システム110に関連するアプリケーション(例えば、クライアントアプリケーション)を実行し得る。いくつかの例では、医用画像は、以前にキャプチャされ保存された画像であり得、その画像は、コンピューティングデバイスのローカルストレージまたはリモートデータストレージシステム(例えば、PACシステム150)から選択されるか、またはアプリケーションを介してシステム116に送信される、他の例では、医用画像は、(例えば、患者がイメージングされているときに超音波イメージングシステム132によって)リアルタイムでキャプチャされ、かつアプリケーションを介してシステム116に送信されるライブ画像であり得る。いくつかの例では、ユーザはまた、アプリケーションのユーザインタフェースを介して、医用画像内に存在していることを確認すること、かつ/または医用画像内で区別することを所望する1つまたは複数の特定のタイプの対象物を選択し得る。
【0080】
ステップ904において、医用画像は、(例えば、第1の訓練済みの機械学習モデルの出力として)識別された1つまたは複数の対象物の予測を取得するために、第1の訓練済みの機械学習モデルに入力として提供され得る。第1の訓練済みの機械学習モデルは、図6および図7を参照して説明される解剖学的構造の医用画像内の対象物を識別するために訓練され使用される機械学習モデルであり得る。例えば、第1の訓練済みの機械学習モデルは、超音波画像内で識別された対象物が肩の腱上に位置するカルシウム沈着を含むことを予測し得る。
【0081】
ステップ906において、医用画像は、医用画像が識別された対象物(単数または複数)(例えば、第1の訓練済みの機械学習モデルからの予測として識別され受信された特定のタイプの対象物)の最適な画像であるかどうかを識別するための第2の訓練済みの機械学習モデルに提供され得る。第2の訓練済みの機械学習モデルは、図8を参照して説明した方法800を使用して訓練された訓練済みの機械学習モデルであり得る。上記の例を続けると、識別された対象物が肩の腱上に位置するカルシウム沈着を含む場合、第2の訓練済みの機械学習モデルは、カルシウム沈着の最適な画像を少なくとも識別するように訓練され得る。
【0082】
ステップ908において、医用画像が識別された対象物(単数または複数)の最適な画像であるかどうかの予測が、第2の訓練済みの機械学習モデルの出力として受信され得る。いくつかの例では、予測出力はまた、医用画像をキャプチャするプローブの予測された向き(例えば、最適または非最適のいずれかである識別された対象物(単数または複数)の視野角が結果的に生じる現在のプローブの向き)を含み得る。
【0083】
ステップ910において、予測の指示が、表示のためにコンピューティングデバイスに提供され得る。例えば、視覚化情報は、図2を参照して説明された後処理ステップ206における予測に基づいて生成され得る。いくつかの例では、医用画像が、識別された対象物(単数または複数)の最適な画像であると予測される場合、医用画像と共に肯定的な視覚インジケータを表示させる命令がコンピューティングデバイスに提供され得る。他の例では、医用画像が識別された対象物(単数または複数)の非最適な画像であると予測される場合、識別された対象物(単数または複数)の最適な画像のキャプチャを可能にするために、オペレータがプローブ調整(例えば、プローブの向きを変える)を行うためのプロンプトを表示させる命令がコンピューティングデバイスに提供され得る。
【0084】
プロンプトは、最適な画像のキャプチャを達成するために、予測された向きに対応するようにプローブの現在の向きを調整するようにオペレータを案内する方向指示を含み得る。例えば、訓練の一部として、訓練済みの機械学習モデルは、ラベル付けされた訓練用医用画像からの個別のタイプの識別された対象物(単数または複数)の最適な視野角(例えば、最適な画像が結果的に生じる)に関連するプローブの向きを学習し得る。従って、特定のタイプの識別された対象物(単数または複数)の最適な画像のキャプチャに関連する学習されたプローブの向きを現在のプローブの向きと比較して、現在のプローブの向きを学習されたプローブの向きに調整するための方向指示を生成し得る。いくつかの例では、方向指示は、図10を参照して示されるように、プローブ方向インジケータの形態であり得る。
【0085】
図10は、医用画像内で識別された対象物および関連する対象物の測定値を表示する例示的なアプリケーションユーザインタフェース1000である。アプリケーションユーザインタフェース1000は、ユーザコンピューティングデバイス140および/またはイメージングコンピューティングデバイス136上に表示される、アプリケーションのユーザインタフェースであり得る。図6を参照して説明した例示的な方法600を使用して訓練された機械学習モデルなどの機械学習モデルが、肩関節の超音波画像内の対象物を識別するために生成され訓練され得る。
【0086】
患者の肩の超音波画像は、超音波画像内の他の対象物の中でもとりわけ、腱1004(例えば、解剖学的特徴)およびカルシウム沈着1006(例えば、身体の機能を破壊し得る、身体内には通常存在しない特徴)を識別するために、(例えば、例示的な方法600を使用して)システム116による処理のために、アプリケーションから受信され得る。一旦、処理されると、システム116は、腱1004およびカルシウム沈着1006がラベル付けされ、強調表示され、または他の方法で強調された医用画像1002を少なくとも含む視覚化情報を、アプリケーションユーザインタフェース1000により表示するためにアプリケーションに提供し得る。
【0087】
加えて、訓練済みの機械学習モデルの追加の出力として取得されるか、または独立して取得される(例えば、面積を取得するための上述のトレースおよび/または体積を取得するための体積掃引イメージング技法を使用して)、カルシウム沈着1006等の識別された対象物のうちの1つまたは複数に関連する測定値1008が、表示され得る。いくつかの例では、図示されるように、測定値1008は、カルシウム沈着1006と共に医用画像1002の注釈として表示され得る。
【0088】
さらに、アプリケーションユーザインタフェース1000は、例えば、表示される現在の画像よりも、カルシウム沈着1006のより最適な画像をキャプチャするために、超音波イメージングシステム132のプローブ134を移動させるための方向を提案するプローブ方向インジケータ1010を含み得る。医用画像1002がカルシウム沈着1006の最適な画像であるか否かの判定、およびそうでない場合の、プローブの移動のための提案される方向の決定は、図9を参照して説明した例示的な方法900と同様のプロセスを使用して得ることができる。プローブ方向インジケータ1010は、超音波イメージングシステム132のオペレータがプローブ134を(例えば、前方、後方、右、または左に)スライドさせること、および/またはプローブ134を回転させることを示す矢印を含み得る。いくつかの例では、プローブ方向インジケータ1010は、提案された移動の方向を指す矢印が強調表示されるか、点滅表示されるか、または他の方法でユーザの注意を視覚的に向けさせることができるようにアニメーション化され得る。
【0089】
上記で説明したアプリケーションユーザインタフェース1000は、単に例として提供されており、かつ図10に示されているものよりも追加の、より少ない、異なる、または異なって構成された情報を含み得る。
【0090】
介入的観察の器具の位置および軌跡の予測および視覚化
例えば、患者の体内に挿入された器具を視覚化して、医師が器具を意図した標的領域に安全に案内するのを支援するために、医師は、処置中に電子医用画像を利用し得る。器具は、治療または外科手術等の処置の一部として体内に挿入される任意のデバイス、ツール、または物体を含み得る。例えば、医師は、痛みを軽減するための治療の一部として、肩の筋肉にステロイドを含む薬剤シリンジの針を挿入し得る。そのような例では、医師が超音波イメージングを使用して、針を筋肉の特定の領域に案内し得る。加えて、超音波ガイドした手術がますます一般的になってきている。例えば、肩の超音波ガイド下針生検を行って、肩内で識別された腫瘤の少なくとも一部を摘出して、その腫瘤が癌性、前癌性、または良性であるかどうかを判定し得る。
【0091】
多くの場合、位置を特定する器具の重要な部分は、身体の標的領域に対して所与の動作を実行するために使用される器具の遠位端(例えば、先端、またはオペレータから最も離れた器具の端部)である。例えば、針生検では、器具の遠位端は、腫瘤または病変等の標的領域から組織を摘出する生検針の先端であり得る。従って、遠位端の正確な位置は、遠位端が身体の異なる非標的領域に作用することを防止するために(例えば、隣接する臓器を穿刺することを防止するために)必要であり得る。現在、超音波イメージングデバイスのオペレータが器具の遠位端の位置を特定するためには、オペレータは、プローブの位置が、器具の遠位端が体内のどこにあるかをオペレータが確認することができる画像をキャプチャするまで、イメージングデバイスのプローブを(例えば、プローブを回転させる、スライドさせる、またはヒール・トーイングすることによって)手動で操作しなければならない。オペレータは、器具の遠位端の視覚化を継続するために、器具を標的に向かって前進させながら、これらの操作を繰り返し行う必要があり得る。
【0092】
現在の手動技法を改善するために、図11図12に提示される技法は、入力医用画像に基づいて、処置中に器具の位置を(例えば、リアルタイムで)予測する機械学習モデルの訓練および使用を説明する。加えて、図13図14に記載されるように、別の機械学習モデルが意図された標的への器具の軌跡を予測するために訓練され使用され得る。図15に示されるように、他の情報の中でもとりわけ、医用画像上にオーバーレイ表示された器具の予測された位置および軌跡を含む視覚化情報が、医師に対して表示され得る。
【0093】
図11は、本明細書で提示される例示的な技法による、器具の位置を予測するために機械学習モデル(例えば、訓練される機械学習モデル118のうちの1つ)を訓練するための例示的な方法1100を示すフローチャートを示す。例示的な方法1100(例えば、ステップ1102~1106)は、システム116によって実行され得る。例示的な方法1100は、以下のステップのうちの1つまたは複数を含み得る。
【0094】
ステップ1102において、複数の訓練用医用画像が(例えば、ネットワーク120を介して医用画像データベース160から)受信され得る。訓練用医用画像は、器具が存在する解剖学的構造の超音波画像を含み得る。例えば、器具は生検針であり得る。訓練用医用画像は、画像シーケンスのサブセットから構成され得る。画像シーケンスのサブセット内の各画像は、プローブ134の位置を移動させることなく、超音波イメージングシステム132の別の設定でキャプチャされ得る。別の設定は、変化する深度および対応する周波数(例えば、深度が増加するにつれて周波数が低く設定されるため)を含み得る。例えば、画像シーケンスのサブセットは、第1の深度-周波数の組合せでキャプチャされた患者の解剖学的構造の第1の画像、第2の深度-周波数の組合せでキャプチャされた患者の解剖学的構造の第2の画像、第3の深度-周波数の組合せでキャプチャされた患者の解剖学的構造の第3の画像などを含み得る。各サブセット内の画像シーケンスは、2つの異なる深度-周波数の組合せでキャプチャされた同じ患者の解剖学的構造の少なくとも2つの画像を含み得る。
【0095】
いくつかの例では、訓練用医用画像は、ステップ1104において機械学習モデルを生成しかつ訓練するために教師あり学習技法が実施され得るようにラベル付けされ得る。例えば、画像は、器具の少なくとも一部を識別する注釈を含み得る。いくつかの例では、識別される部分は、器具の少なくとも遠位端を含み得る。注釈は、画像内に存在する解剖学的構造を示し得る。他の例では、訓練用医用画像はラベル付けされていなくてもよく、ステップ1104において機械学習モデルを訓練するために教師なし学習技法が実施され得る。訓練用医用画像はまた、前処理(図2のステップ204で説明した前処理と同様の)され得る。
【0096】
ステップ1104において、複数の訓練用医用画像を使用して、器具の位置を予測するための機械学習モデルが生成され訓練され得る。例えば、訓練用医用画像の第1の画像シーケンスのサブセットが機械学習モデルに入力され得る。機械学習モデルは、サブセット内に含まれる器具の少なくとも一部の位置を予測し得る。いくつかの例では、予測は、器具の遠位端の予測された位置を含み得る。例えば、機械学習モデルは、画像内の器具の少なくとも一部を識別し、次いで、器具の向きおよび/または長さを決定し得る。
【0097】
いくつかの例では、訓練用医用画像がラベル付けされており、教師あり学習技法が機械学習モデルを訓練するために実施される場合、訓練用医用画像のための機械学習モデルによって出力された器具の予測された位置は、損失または誤差を決定するために、訓練用医用画像に対応するラベルと比較され得る。例えば、第1の画像シーケンスのサブセット内の器具の予測された位置は、対応するラベルによって識別された第1の画像シーケンスのサブセット内の器具の少なくとも一部の既知の位置と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る(例えば、重みおよび/またはバイアスが調整され得る)。このプロセスは、訓練用医用画像内の各画像シーケンスのサブセットに対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像内の画像シーケンスのサブセットおよび対応するラベルの少なくとも一部は、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。他の例では、教師なし学習技法が機械学習モデルを訓練するために実施される場合、所与の画像シーケンスのサブセットについて、機械学習モデルは、個別の画像シーケンスのサブセット内の各画像から特徴として器具の少なくとも一部を抽出し、特徴としての器具の識別に基づいて(例えば、クラスタリングを使用して)サブセット内のパターンを識別し得る。教師ありまたは教師なしのいずれの例においても、一旦、器具の少なくとも一部が識別されると、遠位端の位置を決定することができる。いくつかの例では、遠位端の決定は、器具の既知の長さまたはサブセットの画像シーケンスからの他の画像などの他の情報によってさらに円滑に進め得る。
【0098】
機械学習モデルが十分に訓練されると、ステップ1106において、訓練済みの機械学習モデルは、その後の使用のために(例えば、ストレージデバイス114に保存された訓練済みの機械学習モデル118のうちの1つとして)保存され得る。いくつかの例では、訓練済みの機械学習モデルは、異なるタイプの器具(例えば、異なる形状、サイズなどを有する器具)に関連する器具の位置を予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法1100は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、特定のタイプの器具(例えば、針)に関連する器具の位置を予測する。医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。
【0099】
図12は、本明細書で提示される例示的な技法による、器具の位置を予測するための例示的な方法1200を示すフローチャートを示す。例示的な方法1200(例えば、ステップ1202~1208)は、システム116によって実行され得る。例示的な方法1200は、以下のステップのうちの1つまたは複数を含み得る。
【0100】
ステップ1202において、器具の挿入後の医用画像シーケンスがコンピューティングデバイスから受信され得る。医用画像シーケンスは超音波画像シーケンスであり得、コンピューティングデバイスは、超音波イメージングシステム132のイメージングコンピューティングデバイス136であり得る。例えば、超音波イメージングシステム132は、標的に到達するための患者の身体内への器具の挿入を伴う処置を案内し得る。1つの例示的な処置は、針が生検のために標的腫瘤または病変に到達するように挿入される針生検処置であり得る。処置中に挿入された器具の視覚化情報を医師に提供するために、超音波イメージングシステム132のプローブ134が、イメージングコンピューティングデバイス136によって画像が作成されるときの調節可能な周波数および深度で音波を送受信するために使用され得る。いくつかの例では、長軸アプローチを実行して、器具の長軸(LAX:long-axis)ビューを有する画像を生成し得る。LAXビューは、体内に挿入された器具の長手方向ビューであり得、例えば、器具の長さを視認することができる。ステップ1202で受信された医用画像のシーケンスは、プローブ134の位置が固定され続けている間に、異なる周波数および深度でプローブ134によって送信および受信された音波からイメージングコンピューティングデバイス136によって作成された少なくとも2つの医用画像を含み得る。
【0101】
いくつかの例では、システム116は、超音波イメージングシステム132のオペレータが器具の挿入に続いて医用画像のシーケンスをキャプチャするための音声プロンプトまたは視覚プロンプトを表示させる命令をイメージングコンピューティングデバイス136に提供し得、医用画像のシーケンスは、プロンプトに応答して受信され得る。例えば、イメージングコンピューティングデバイス136上で動作するアプリケーションは、体内に挿入された器具の位置を特定するための器具位置特定機能を含み得、プロンプトを表示させるための命令は、オペレータが器具位置特定機能を選択することに応答して、超音波イメージングシステム132のディスプレイ138上のアプリケーションユーザインタフェースを介して提供および表示され得る。いくつかの例では、器具位置特定機能の選択の一部として、オペレータはまた、方法1200の後続のステップにおいて使用され得る器具のタイプ(例えば、生検針)および/または器具のサイズパラメータ(例えば、生検針の長さおよび/または直径)等の追加の入力を提供し得る。表示されたプロンプトは、医用画像シーケンスを作成するために音波がプローブ134によって送信および受信される様々な深度および周波数の組み合わせをオペレータに指示し得る。例えば、命令は、第1の画像のシーケンスの作成するために音波が最初にプローブ134によって送受信される第1の深度および周波数、第2の画像のシーケンスを作成するために音波が後にプローブ134によって送受信される第2の深度および周波数などを含み得る。プロンプトはさらに、オペレータが画像のキャプチャの間に深度および周波数設定を調整する際に、プローブ134を同じ位置に配置された状態に維持するようにオペレータに指示し得る。
【0102】
他の例では、(例えば、システム116からの命令に基づいて)アプリケーションは、医用画像のシーケンスの自動キャプチャを可能にするために、プローブ134によって音波が送信されるときの深度および周波数の自動調整を行わせる信号をイメージングコンピューティングデバイス136に提供し得る。
【0103】
ステップ1204において、医用画像のシーケンスは、図11を参照して説明した方法1100を用いて訓練された訓練済みの機械学習モデルなどの、器具の位置を予測するための訓練済みの機械学習モデルに入力として提供され得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法1100が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、器具のタイプが、器具位置特定機能の選択の一部として医師によって示されるとき、特定のタイプの器具を識別するように訓練された機械学習モデルのみが動作され得る。加えて、器具位置特定機能の選択の一部としてオペレータによって入力された器具の任意のサイズパラメータが、訓練済みの機械学習システムにさらなる入力として提供され得る。
【0104】
ステップ1206において、予測された位置は、訓練済みの機械学習モデルから出力として受信され得る。予測された位置は、少なくとも器具の遠位端を含み得る。予測された位置はまた、器具の向きおよび/または長さを含み得る。例えば、機械学習モデルは、画像内の器具の少なくとも一部を識別し、次いで、器具の向きおよび/または長さを決定し得る。いくつかの例では、訓練済みの機械学習モデルから出力された予測された位置は、その後、以下の図13および図14を参照して詳細に説明される器具の軌跡を予測するためのプロセスなどの別のプロセスに入力として提供され得る。
【0105】
ステップ1208において、器具の予測された位置の視覚化情報が、表示のためにコンピューティングデバイスに提供され得る。例えば、視覚化情報は、図2を参照して説明された後処理ステップ206における予測に基づいて生成され、かつイメージングコンピューティングデバイス136上で実行されるアプリケーションを介して表示のために提供され得る。視覚化により、解剖学的構造に対する器具の少なくとも遠位端の予測された位置が示されて、医師が器具と解剖学的構造との間に意図しない接触が生じていないことを確認することが可能となる。
【0106】
いくつかの例では、視覚化情報は、器具の直交ビューを同時に示す少なくとも2つの医用画像を含み得る。例えば、第1の画像は、器具の長さが視認可能であり得る器具のLAXビューであり得、第1の画像は、受信した画像のシーケンスからの1つの画像(例えば、人間の目によってより容易に視認可能である所与の深度および周波数における画像)であり得る。第2の画像は、器具の遠位端のみが視認可能であるように、LAXビューに直交する器具の短軸(SAX:short-axis)ビューであり得る。SAXビューは、プローブが2方向同時(biplane)イメージングが可能である場合にはLAXビューと同じプローブによって同時にキャプチャされ得、かつ/または超音波イメージングシステム132の異なるプローブによってLAXビューと同時にキャプチャされ得る。各画像において、器具の予測された位置、特に器具の遠位端の予測された位置が視覚的に示され得る。器具の直交ビューを示す2つの医用画像を有する視覚化情報を表示する例示的なアプリケーションユーザインタフェースが、以下に説明するように図15に示されている。
【0107】
他の例では、視覚化情報は、解剖学的構造の三次元(3D)表現を含み得る。3D表現は、医用画像のシーケンスから生成され得る。加えて、訓練済みの機械学習モデルによって出力される器具の予測された位置は、3D表現が器具、特に器具の遠位端の予測された位置を視覚的に示すように、生成プロセスの一部として利用され得る。
【0108】
いくつかの例では、例示的な方法1200は、器具が移動されるときに器具の少なくとも遠位端を追跡し続けるために、器具が体内にさらに挿入される際に繰り返され得る。
図11図12を参照して上述したように、訓練済みの機械学習モデルは、器具の位置が予測される際に異なる深度および周波数でキャプチャされた医用画像シーケンスを受信するように訓練され得る。例えば、プローブ134が、キャプチャされた所与の画像に対して器具の長軸と一致していない場合、モデルは、画像がキャプチャされた所与の深度/周波数における器具の断面の位置のみを学習/予測し得る。従って、器具の全長が訓練済みの機械学習モデルによって学習および予測されることを可能にするためには、異なる深度および周波数における複数の医用画像が必要とされ得る。
【0109】
他の態様では、機械学習モデルは、1つの医用画像を使用して器具の位置を予測するように訓練され得る(例えば、プローブ134が器具の長軸と実質的に一致しているときに医用画像がキャプチャされる場合)。加えて、プローブ134が、現在キャプチャされている医用画像において器具の長軸と実質的に一致していない場合、器具のより良好な視野角(例えば、器具の長軸を示す視野角)を有する画像をキャプチャするようにプローブの位置および/または向きを調整するように、オペレータにプロンプトを提供し得る。例えば、器具の画像が最適であるか否かの判定、および画像が最適でない場合にプローブを移動させるための提案される方向の後続の決定は、図8図9を参照して上述した同様のプロセスを使用して決定され得る。器具のより良好な視野角を有する医用画像がキャプチャされると、医用画像は、1つの医用画像を使用して器具の位置を予測するように訓練された機械学習モデルに入力として提供され得る。
【0110】
図13は、本明細書に提示される例示的な技法による、器具の軌跡を予測するために機械学習モデル(例えば、訓練される機械学習モデル118のうちの1つ)を訓練するための例示的な方法1300を示すフローチャートを示す。例示的な方法1300(例えば、ステップ1002~1006)は、システム116によって実行され得る。例示的な方法1300は、以下のステップのうちの1つまたは複数を含み得る。
【0111】
ステップ1302において、器具および器具の標的を各々が含む複数のラベル付けされた訓練用医用画像が(例えば、ネットワーク120を介して医用画像データベース160から)受信され得る。例えば、訓練用医用画像は、患者への器具の挿入後の所与の位置における器具と、解剖学的構造に関連する器具の標的とを含む、患者の解剖学的構造の超音波画像であり得る。訓練用医用画像は、解剖学的構造、器具、標的、挿入された器具の進入角度(例えば、挿入角度)、標的に接近している器具の少なくとも遠位端の位置、および/または標的の位置を特定する注釈によってラベル付けされ得る。加えて、訓練用医用画像の各々は、器具の遠位端から標的までの器具の既知の軌跡を示す、対応するグラウンドトゥルースラベルを有し得る。
【0112】
訓練用医用画像は、前処理(図2のステップ204で説明した前処理と同様の)され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から抽出されるか、または他の方法で特定されて、訓練用医用画像とは別個のラベルを形成し得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。
【0113】
ステップ1304において、複数のラベル付けされた訓練用医用画像を使用して、器具の軌跡を予測するための機械学習モデルが生成され訓練され得る。例えば、器具および器具の標的を含む訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、器具の遠位端から標的までの器具の軌跡を予測し得る。機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された軌跡を、訓練用医用画像に対応するグラウンドトゥルースラベルと比較して、損失または誤差を決定し得る。例えば、第1の医療訓練用画像の予測された軌跡は、第1の訓練用医用画像の対応するグラウンドトゥルースラベルによって特定された器具の遠位端から標的までの器具の既知の軌跡と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る(例えば、重みおよび/またはバイアスが調整され得る)。このプロセスは、各訓練用医用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用医用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。
【0114】
機械学習モデルが十分に訓練されると、ステップ1306において、訓練済みの機械学習モデルは、その後の使用のために(例えば、ストレージデバイス114に保存された訓練済みの機械学習モデル118のうちの1つとして)保存され得る。いくつかの例では、訓練済みの機械学習モデルは、異なるタイプの器具(例えば、異なる形状、サイズなどを有する器具)に関連する器具の軌道を予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法1300は、機械学習モデルの集合を生成し訓練するために実行され得、各モデルは、特定のタイプの器具(例えば、針)に関連する器具の軌跡を予測する。医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。
【0115】
図14は、本明細書に提示される例示的な技法による、器具の軌跡を予測するための例示的な方法を示すフローチャートを示す。例示的な方法1400(例えば、ステップ1402~1412)は、システム116によって実行され得る。例示的な方法1400は、以下のステップのうちの1つまたは複数を含み得る。
【0116】
ステップ1402において、挿入された器具および器具の標的を含む医用画像のシーケンスがコンピューティングデバイスから受信され得る。コンピューティングデバイスは、超音波イメージングシステム132のイメージングコンピューティングデバイス136であり得る。超音波イメージングシステム132は、生検のために標的腫瘤または標的病変に到達するように針が挿入される針生検処置等の、標的に到達するための患者の身体内への器具の挿入を伴う処置を案内し得る。処置中に挿入された器具の視覚化情報を医師に提供するために、プローブ134が、イメージングコンピューティングデバイス136によって画像が作成されるときの調節可能な周波数および深度で音波を送受信するために使用され得る。いくつかの例では、図12を参照してより詳細に上述したように、長軸アプローチを実行して、器具のLAXビューを有する画像を生成し得る。ステップ1402で受信された医用画像のシーケンスは、プローブ134の場所または位置が固定され続けている間に、異なる深度および周波数でプローブ134によって送信および受信された音波からイメージングコンピューティングデバイス136によって作成された少なくとも2つの医用画像を含み得る。
【0117】
方法1200のステップ1202を参照して詳細に説明されるように、いくつかの例では、医用画像のシーケンスは、変化する深度-周波数の組合せで各画像のシーケンスをキャプチャするためにアプリケーションユーザインタフェースを介してオペレータに提供されるプロンプトに応答して受信され得る。プロンプトは、器具位置特定機能の選択の選択時に表示され得、このプロンプトによって、方法1400の後続のステップにおいて使用され得る器具のタイプ(例えば、生検針)および/または器具のサイズパラメータ(例えば、生検針の長さおよび/または直径)等の追加の入力をオペレータに提供させ得る。他の例では、(例えば、システム116からの命令に基づいて)アプリケーションは、医用画像のシーケンスの自動キャプチャを可能にするために、プローブ134によって音波が送信されるときの深度および周波数の自動調整を行わせる信号をイメージングコンピューティングデバイス136に提供し得る。
【0118】
ステップ1404において、器具の予測された位置を取得するために、医用画像のシーケンスが第1の訓練済みの機械学習モデルに入力として提供され得る。器具の予測された位置は、少なくとも器具の遠位端を含み得る。第1の訓練済みの機械学習モデルは、図12および図13を参照して説明される器具の位置を予測するために訓練され使用される機械学習モデルであり得る。
【0119】
ステップ1406において、器具の挿入角度は、器具の挿入位置および器具(特に器具の遠位端)の予測された位置に基づいて決定され得る。器具の挿入位置は、医用画像のシーケンスから抽出され得る。いくつかの例では、オペレータは、追跡機能の選択の一部として、器具の挿入位置を入力し得る。
【0120】
ステップ1408において、医用画像シーケンス、器具の予測された位置、および器具の挿入角度は、器具の軌跡を予測するための第2の訓練済みの機械学習モデルに入力として提供され得る。任意選択的に、器具位置特定機能の選択の一部として提供される器具の任意のサイズパラメータも入力として提供され得る。第2の訓練済みの機械学習モデルは、図13を参照して説明した方法1300を使用して訓練された訓練済みの機械学習モデルであり得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法1300が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、器具のタイプが器具位置特定機能の選択の一部として示されるとき、特定のタイプの器具を識別するように訓練された機械学習モデルのみが動作され得る。
【0121】
ステップ1410において、標的に到達するための器具の予測された軌跡が、第2の訓練済みの機械学習モデルの出力として受信され得る。例えば、予測された軌跡は、器具の遠位端から標的までの経路であり得る。ステップ1412において、予測された軌跡の視覚化情報が、表示のためにコンピューティングデバイスに提供され得る。例えば、視覚化情報は、図2を参照して説明された後処理ステップ206における予測に基づいて生成され、かつイメージングコンピューティングデバイス136上で実行されるアプリケーションを介して(例えば、ディスプレイ138上への)表示のために提供され得る。
【0122】
いくつかの例では、視覚化情報は、器具の直交ビューを同時に示す少なくとも2つの医用画像を含み得る。例えば、第1の画像は、器具の長さが視認可能であり得る器具のLAXビューであり得、第1の画像は、受信した医用画像のシーケンスからの1つの画像であり得る。いくつかの例では、シーケンスから選択された画像は、人間の目によって最も容易に視認可能な所与の深度および周波数における画像であり得る。第2の画像は、器具の遠位端のみが視認可能であるように、LAXビューに直交する器具の短軸(SAX:short-axis)ビューであり得る。SAXビューは、プローブが2方向同時イメージングが可能である場合にはLAXビューと同じプローブによって同時にキャプチャされ得、かつ/または異なるプローブによってLAXビューと同時にキャプチャされ得る。LAXビューを含む少なくとも第1の画像において、器具の予測された軌跡は視覚的なものである。加えて、第1および第2の画像の各々において、器具の予測された位置、特に器具の遠位端の予測された位置が視覚的に示され得る。器具の直交ビューを示す2つの医用画像を有する視覚化情報を表示する例示的なアプリケーションユーザインタフェースが、以下に説明するように図15に示されている。
【0123】
他の例では、視覚化情報は、解剖学的構造の三次元(3D)表現を含み得る。3D表現は、医用画像のシーケンスから生成され得る。加えて、訓練済みの機械学習モデルによって出力される器具の予測された軌跡および/または器具の予測された位置は、3D表現が、標的に到達するための器具の予測された軌跡および/または器具(特に、器具の遠位端)の予測された位置を視覚的に示すように、生成プロセスの一部として利用され得る。
【0124】
例示的な方法1400は、処置の間中、器具の位置および標的に到達するための器具の軌跡の連続的な視覚化を可能にするために、オペレータがプローブ134を移動させる際に繰り返され得る。
【0125】
図13および図14において上述した例は、図11および図12において説明したモデルなどの、器具の位置を予測するための第1の機械学習モデルとは別個である、器具の軌跡を予測するための第2の機械学習モデルの訓練および実装を含む。他の例では、器具の軌跡を予測するための第2の機械学習モデルを訓練しかつ実装するのではなく、システム116は、器具の位置を予測するための第1の機械学習モデルによって予測された器具の位置に基づいて(例えば、器具の決定された向きおよび/または長さ、および挿入角度に基づいて)、器具の軌跡を計算により決定し、かつ視覚的に投影し得る。
【0126】
図15は、予測された器具の位置および軌跡を表示する例示的なアプリケーションユーザインタフェース1500である。例えば、針生検処置などの処置中に、アプリケーションユーザインタフェース1500は、超音波イメージングシステム132のイメージングコンピューティングデバイス136上で動作しているシステム116に関連するアプリケーションを介してディスプレイ138上に提示され得る。ユーザインタフェース1500は、針などの器具1506の直交ビューを有する画像1502、1504を同時に表示し得る。例えば、第1の画像1502は、器具1506のLAXビューであり得、第2の画像1504は、器具1506の遠位端1508のみが視認可能であるような、LAXビューに直交する器具1506のSAXビューであり得る。第1および第2の画像1502、1504の各々において、図11を参照して説明した例示的な方法1100を使用して予測された器具の遠位端1508の位置が視覚的に示され得る。例えば、遠位端1508は、器具1506の残りの部分から遠位端1508を区別するために、強調表示されるか、陰影付けられるか、または着色され得る。
【0127】
加えて、第1の画像1502に示されるように、器具の標的1510(例えば、針が生検するための腫瘤)、および器具に関する(例えば、遠位端1508から)標的1510までの予測された軌跡1512も表示され得る。予測された軌跡1512は、図13を参照して説明した例示的な方法1300に基づいて決定され提供され得る。
【0128】
さらに、ユーザインタフェース1500は、例えば、器具1506(特に、器具1506の遠位端1508)のより最適な画像をキャプチャするために、超音波イメージングシステム132のプローブ134を移動させるための方向を提案するプローブ方向インジケータ1514を含み得る。プローブ方向インジケータ1514は、オペレータがプローブを(例えば、前方、後方、右、または左に)スライドさせること、および/またはプローブを回転させることを示す矢印を含み得る。プローブ方向インジケータ1514は、提案された移動の方向を指す矢印が強調表示されるか、点滅表示されるか、または別の方法でオペレータの注意を視覚的に向けさせることができるようにアニメーション化され得る。器具の画像が最適であるか否かの判定、および画像が最適でない場合にプローブを移動させるための提案される方向の後続の決定は、図8図9を参照して上述した同様のプロセスを使用して決定され得る。
【0129】
診断観察および介入観察の解剖学的特徴の識別、視覚化、およびプローブと解剖学的特徴のアライメント(Probe-Anatomical Feature Alignment)
図16図17に提示される技法は、超音波イメージングシステム132によって(例えば、ディスプレイ138を介して)表示される超音波画像内でラベル付けされた解剖学的特徴のリアルタイム識別および視覚化を可能にする機械学習モデルの訓練および使用を説明する。加えて、関心のある解剖学的特徴の識別および視覚化の際に、超音波イメージングシステム132のプローブ134が移動されるときに、解剖学的特徴がマークされて、コンテキストアウェア(context-aware)イメージングをオペレータに提供し得る。図18図19に提示される技法は、例えば、図16図17を参照して説明される機械学習モデルの出力として識別される解剖学的特徴とのプローブアライメントを検出するために訓練され使用される別の機械学習モデルを説明する。
【0130】
例示的な例を提供するために、超音波イメージングシステム132のオペレータがプローブを正中神経に沿って手根管内に移動させると、手根管内の深度の変化に続いて、遠位トンネルがより小さい神経に分岐するため、人間の眼では遠位トンネルにおいて視認することが困難になる。例えば、手根管症候群を治療するための特定の画像ガイド下処置は、患者の身体のこの領域にナイフなどの鋭利な道具を挿入することを含み得る。処置をガイドするために表示された画像内に存在する解剖学的特徴(例えば、静脈、動脈、神経、腱、靭帯、軟骨、筋肉、骨など)のリアルタイム識別および視覚的ラベル付けにより、ナイフが所望の解剖学的特徴(意図しない解剖学的特徴ではない)に対して挿入されているという医師の確信を高めることができる。
【0131】
図16は、本明細書に提示される例示的な技法による、解剖学的特徴を識別するために機械学習モデル(例えば、訓練される機械学習モデル118のうちの1つ)を訓練するための例示的な方法1600を示すフローチャートを示す。例示的な方法1300(例えば、ステップ1602~1606)は、システム116によって実行され得る。例示的な方法1600は、以下のステップのうちの1つまたは複数を含み得る。
【0132】
ステップ1602において、複数の訓練用医用画像が(例えば、ネットワーク120を介して医用画像データベース160から)受信され得る。訓練用医用画像は、複数の解剖学的特徴を有する解剖学的構造の超音波画像を含み得る。例えば、超音波画像は、手首のものであり得、解剖学的特徴は、(例えば、画像のビューに応じて)骨、神経、靭帯、および/または腱を含み得る。いくつかの例では、解剖学的特徴に対する注釈は、その構造に対する特定の解剖学的特徴ではなく、静脈、動脈、血管、骨、神経、靭帯、腱、軟骨などの解剖学的特徴のより広いカテゴリであり得る。言い換えれば、画像が手首のものである例を続けると、画像は、正中神経ではなく神経、および尺骨動脈ではなく動脈と注釈が付けられ得る。訓練用医用画像は、複数の異なるタイプの解剖学的構造(例えば、手首、膝関節、肩関節など)について受信され得る。
【0133】
訓練用医用画像は、前処理(図2のステップ204で説明した前処理と同様の)され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から特徴として抽出されるか、または他の方法で訓練用医用画像から除去され、かつステップ804において機械学習モデルを訓練する際に使用するためのグラウンドトゥルースラベルとして別個に保存され得る。代替的に、注釈は、訓練用医用画像とは別個であるが、訓練用医用画像に対応して受信され得る。
【0134】
ステップ1604において、複数の訓練用医用画像を使用して、解剖学的構造の標的画像内の複数の解剖学的特徴を識別するための機械学習モデルが生成され訓練され得る。例えば、解剖学的構造の訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、予測として、解剖学的構造の解剖学的特徴を出力し得る。
【0135】
機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された解剖学的特徴を、訓練用医用画像に対応するグラウンドトゥルースラベル(例えば、解剖学的特徴の注釈)と比較して、損失または誤差を決定し得る。例えば、解剖学的構造の第1の訓練用画像内で識別された解剖学的特徴は、対応するグラウンドトゥルースラベル内の注釈によって示された解剖学的構造の第1の訓練用画像内の既知の解剖学的特徴と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る(例えば、重みおよび/またはバイアスが調整され得る)。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。
【0136】
機械学習モデルが十分に訓練されると、ステップ1606において、訓練済みの機械学習モデルは、その後の使用のために(例えば、ストレージデバイス114に保存された訓練済みの機械学習モデル118のうちの1つとして)保存され得る。いくつかの例では、訓練済みの機械学習モデルは、複数の異なる解剖学的構造内の解剖学的構造を識別するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法1600は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、特定の解剖学的構造の解剖学的特徴を識別する(例えば、1つのモデルは、肩関節の解剖学的特徴を識別し得、別のモデルは、手首の解剖学的特徴を識別し得、さらなるモデルは、膝関節の解剖学的特徴を識別し得る等)。医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。
【0137】
図17は、本明細書に提示される例示的な技法による、医用画像において識別された解剖学的構造の解剖学的特徴を視覚化するための例示的な方法1700を示すフローチャートを示す。例示的な方法1700(例えば、ステップ1702~1708)は、システム116によって実行され得る。例示的な方法1700は、以下のステップのうちの1つまたは複数を含み得る。
【0138】
ステップ1702において、解剖学的構造の医用画像(例えば、標的画像)がコンピューティングデバイスから受信され得る。コンピューティングデバイスは、超音波イメージングシステム132のイメージングコンピューティングデバイス136であり得る。超音波イメージングシステム132は、検査中の患者の診断を円滑に進め、かつ/または介入を案内し得る。医用画像は、プローブ134から送受信される音波からイメージングコンピューティングデバイス136によって生成され、かつ例えば、イメージングコンピューティングデバイス136上で動作しているシステム116に関連するアプリケーションを介してリアルタイムで受信され得る。いくつかの例では、オペレータはまた、アプリケーションユーザインタフェースを介して、イメージングされる解剖学的構造のタイプ(例えば、手首、肩関節、膝関節等)を入力し得る。
【0139】
ステップ1704において、医用画像は、図16を参照して説明した方法1600を用いて訓練された訓練済みの解剖学的特徴識別機械学習モデルなどの、解剖学的構造の解剖学的特徴を識別するための訓練済みの機械学習モデルに入力として提供され得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法1600が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、解剖学的構造のタイプが医師によって選択された場合、選択された解剖学的構造のタイプの解剖学的特徴を識別するように訓練された機械学習モデルのみが実行される(例えば、計算リソースを節約するために)。
【0140】
ステップ1706において、医用画像において識別された解剖学的特徴は、訓練済みの機械学習モデルから出力として(例えば、予測として)受信され得る。機械学習モデルを訓練するために使用される注釈の特異性のレベルに基づいて、識別される解剖学的特徴は、解剖学的特徴の広いカテゴリ(例えば、神経、動脈、骨)であり得るか、または所与の解剖学的構造の特定の解剖学的特徴(例えば、正中神経、尺骨動脈、豆状手根骨)であり得る。
【0141】
ステップ1708において、医用画像内で識別された解剖学的特徴の視覚化情報が、表示のためにコンピューティングデバイスに提供され得る。例えば、視覚化情報は、図2を参照して説明された後処理ステップ206における予測に基づいて生成され得る。いくつかの例では、視覚化内で、識別された解剖学的特徴は、視覚方式(visual scheme)を使用してラベル付けされ得るか、または互いに区別され得る。例えば、解剖学的特徴のカテゴリごとに、異なる色、陰影付け、パターン化、および/または強調表示を使用し得る。例えば、第1の色は骨を識別するために使用され得、第2の色は神経を識別するために使用され得、第3の色は腱を識別するために使用され得る等である。視覚化情報を表示する例示的なアプリケーションユーザインタフェースが、以下に説明するように図18に示されている。解剖学的特徴は、全ての軸においてラベル付けされ得る。
【0142】
いくつかの例では、訓練済みの機械学習モデルによって識別され出力される解剖学的構造の解剖学的特徴は、別のプロセスに入力として提供され得る。1つの例示的なプロセスは、以下の図19および図20を参照して説明されるように、識別された解剖学的特徴のうちの1つまたは複数とのプローブアライメントを検出するためのプロセスを含み得る。別の例示的なプロセスは、コンテキストアウェアイメージングを可能にし得る。例えば、医用画像内で識別された1つまたは複数の解剖学的特徴は、オペレータがプローブを移動させて解剖学的構造の後続の画像をキャプチャする際に、継続して観察するためにマーク付けされ得る。いくつかの例では、オペレータは、例えば、アプリケーションを介して、どの解剖学的特徴が継続して観察するためにマーク付けされるべきかを指示する入力を提供し得る。例えば、オペレータは、マーク付けされるべき解剖学的特徴に対応する医用画像のエリアにおいてコンピューティングデバイスのディスプレイにタッチ入力を提供し得る。医用画像に関連するプローブの位置に対する、継続的な観察のためにマーク付けされた個別の解剖学的特徴の位置が、基準として使用するために特定され得る。
【0143】
解剖学的構造自体の位置は、固定されている。即ち、プローブのみが動いており、患者の体内の解剖学的構造は動いていない。従って、プローブの動きの前にプローブに対する解剖学的特徴の第1の位置(例えば、基準)を認識し、プローブの動きを決定することによって、プローブの動きに対する解剖学的特徴の第2の位置が決定され得る。プローブの動きは、加速度計、ジャイロスコープ、および/または慣性センサなど、プローブに取り付けられたセンサを使用して検出され得る。一旦、決定されると、解剖学的特徴の第2の位置は、プローブの移動時に生成された対応する医用画像内に視覚的に示され得る。
【0144】
図18は、解剖学的構造の医用画像1802内で識別された解剖学的構造の解剖学的特徴の視覚化情報1804を表示する例示的なアプリケーションユーザインタフェース1800である。アプリケーションユーザインタフェース1800は、超音波イメージングシステム132のイメージングコンピューティングデバイス136などのコンピューティングデバイス上で実行されているシステム116に関連するアプリケーションのユーザインタフェースであり得る。超音波イメージングシステム132が患者の解剖学的構造をイメージングするように動作しているとき、アプリケーションユーザインタフェース1800は、オペレータ(例えば、医師)が患者のイメージングを継続しながら視覚化情報1804を観察することができるように、ディスプレイ138上に表示され得る。この例示的な例では、イメージングされる解剖学的構造は、患者の手首であり得る。
【0145】
視覚化情報1804内の、(例えば、図17を参照して上述した方法1700を介して)医用画像1802内で識別された手首の解剖学的特徴は、視覚方式を使用してラベル付けされるかまたは互いに区別され得る。アプリケーションユーザインタフェース1800は、識別された解剖学的特徴の各々にラベル付けするために使用される視覚方式の画像を観察している医師に知らせるための凡例1806または他の同様のキーを含み得る。例えば、医用画像1802内で識別された手首の解剖学的特徴は、他の例の中でも特に、神経1808、骨1810、および腱1812を含み得、解剖学的特徴の各カテゴリは、医用画像1802内で異なるアウトライン方式でラベル付けされ得る。例えば、凡例に示すように、医用画像1802内で、神経1808を識別するために第1の輪郭パターンが使用され得、骨1810を識別するために第2の輪郭パターンが使用され得、腱1812を識別するために第3の輪郭パターンが使用され得る。他の例では、パターン化ではなく、視覚方式は、色、陰影付け、強調表示、および/または他の同様の視覚方式に基づいてもよい。
【0146】
上記で説明したアプリケーションユーザインタフェース1800は、単に例として提供されており、かつ図18に示されているものよりも追加の、より少ない、異なる、または異なって構成された情報および/または視覚方式を含み得る。
【0147】
図19は、本明細書に提示される例示的な技法による、医用画像内で識別された解剖学的特徴とのプローブアライメントを検出するために機械学習モデル(例えば、訓練される機械学習モデル118のうちの1つ)を訓練するための例示的な方法1900を示すフローチャートを示す。例示的な方法1900(例えば、ステップ1902~1906)は、システム116によって実行され得る。例示的な方法1600は、以下のステップのうちの1つまたは複数を含み得る。
【0148】
ステップ1902において、複数のラベル付けされた訓練用医用画像が(例えば、ネットワーク120を介して医用画像データベース160から)受信され得る。訓練用医用画像は、複数の解剖学的特徴を有する解剖学的構造の超音波画像を含み得、超音波画像の各々は、超音波イメージングシステム132と同様の超音波イメージングシステムによって生成されている。いくつかの例では、訓練用医用画像は、複数の異なる解剖学的構造を表すものであり得る。訓練用医用画像は、超音波イメージングシステムのプローブが最適な画像を達成するためにアライメントされるべき解剖学的特徴など、少なくとも1つまたは複数の関心のある解剖学的特徴についての注釈を含み得る。1つの例示的な例として、最適な画像を得るためには、プローブは、関節の腱または靭帯繊維(本明細書では概して繊維と呼ばれる)と平行アライメント状態であり得る。繊維の矢状断面積(sagittal cross-sectional area)(例えば、断面が繊維に沿って斜めに下がる)は、プローブが繊維と平行(例えば、インライン)アライメント状態に近づくにつれて減少する。対照的に、プローブがインラインアライメントから離れるにつれて、繊維の矢状断面積は再び増加する。加えて、訓練用医用画像は、1つまたは複数の解剖学的特徴がプローブと十分にアライメントされているか否かを示す対応するグラウンドトゥルースラベルを有し得る。いくつかの例では、対応するグラウンドトゥルースラベルはまた、所与のアライメントを生じさせたプローブに関連する向きの詳細を含み得る。
【0149】
訓練用医用画像は、前処理(図2のステップ204で説明した前処理と同様の)され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から抽出されるか、または他の方法で特定されて、訓練用医用画像とは別個のラベルを形成し得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。
【0150】
ステップ1904において、複数のラベル付けされた訓練用医用画像を使用して、プローブと解剖学的特徴のアライメントが存在するかどうかを検出するための機械学習モデルが生成され訓練され得る。例えば、解剖学的構造の訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、プローブが関心のある1つまたは複数の解剖学的特徴と十分なアライメント状態にあるかどうかを予測として出力し得る。例えば、出力は、十分なアライメント状態であるという予測または不十分なアライメント状態であるという予測のいずれかであり得る。いくつかの例では、出力はまた、結果的にアライメント状態が生じるプローブの予測された向きを含み得る。
【0151】
機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力されたアライメント予測を、訓練用医用画像に対応するグラウンドトゥルースラベルと比較して、損失または誤差を決定し得る。例えば、第1の訓練用医用画像に対するアライメント予測は、対応するグラウンドトゥルースラベルによって識別された1つまたは複数の関心のある解剖学的特徴とのプローブのアライメントの既知の十分性または不十分性と比較され得る。加えて、アライメント予測出力が、結果的にアライメント状態が生じるプローブの予測された向きも含む場合、予測された向きは、対応するグラウンドトゥルースラベルに含まれるプローブの既知の向きと比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る(例えば、重みおよび/またはバイアスが調整され得る)。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。
【0152】
機械学習モデルが十分に訓練されると、ステップ1906において、訓練済みの機械学習モデルは、その後の使用のために(例えば、ストレージデバイス114に保存された訓練済みの機械学習モデル118のうちの1つとして)保存され得る。いくつかの例では、訓練済みの機械学習モデルは、複数の異なる解剖学的構造についてプローブと解剖学的特徴のアライメントを予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法1900は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、所与の解剖学的構造について、プローブと関心のある特定の解剖学的特徴のアライメントがあるかどうかを予測する(例えば、1つのモデルは、肩関節についてプローブと解剖学的特徴のアライメントを検出するためのものであり、別のモデルは、手首についてプローブと解剖学的特徴のアライメントを識別するためのものである)。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。
【0153】
図20は、本明細書に提示される例示的な技法による、解剖学的構造の医用画像内で識別された解剖学的構造の1つまたは複数の解剖学的特徴とのプローブアライメントを検出するための例示的な方法2000を示すフローチャートである。例示的な方法2000(例えば、ステップ2002~2010)は、システム116によって実行され得る。例示的な方法2000は、以下のステップのうちの1つまたは複数を含み得る。
【0154】
ステップ2002において、解剖学的構造の医用画像(例えば、標的画像)がコンピューティングデバイスから受信され得る。コンピューティングデバイスは、超音波イメージングシステム132のイメージングコンピューティングデバイス136であり得る。超音波イメージングシステム132は、検査中の患者の診断を円滑に進め、かつ/または介入を案内し得る。医用画像は、プローブ134から送受信される音波からイメージングコンピューティングデバイス136によって生成され、かつ例えば、イメージングコンピューティングデバイス136上で動作しているシステム116に関連するアプリケーションを介してリアルタイムで受信され得る。いくつかの例では、オペレータはまた、アプリケーションユーザインタフェースを介して、イメージングされる解剖学的構造のタイプ(例えば、手首、肩関節、膝関節等)を入力し得る。
【0155】
ステップ2004において、医用画像は、医用画像において識別された解剖学的特徴を第1の訓練済みの機械学習モデルの出力として取得するために、第1の訓練済みの機械学習モデルに入力として提供され得る。第1の訓練済みの機械学習モデルは、図16および図17を参照して説明した解剖学的構造の解剖学的特徴を識別するための訓練済みの機械学習モデルであり得る。
【0156】
ステップ2006において、第1の訓練済みの機械学習モデルによって出力された識別された解剖学的特徴で注釈が付けられた医用画像は、プローブと解剖学的特徴のアライメントが存在するかどうかを予測するための第2の訓練済みの機械学習モデルに入力として提供され得る。即ち、第2の訓練済みの機械学習モデルは、医用画像をキャプチャするプローブ134が解剖学的構造に対する関心のある1つまたは複数の解剖学的特徴とアライメントされているかどうかを予測し得る。第2の訓練済みの機械学習モデルは、図19を参照して説明した方法1900を使用して訓練された訓練済みの機械学習モデルであり得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法1900が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、解剖学的構造のタイプが医師によって選択された場合、解剖学的構造のタイプに関連するプローブと解剖学的特徴のアライメントを予測するように訓練された(例えば、そのタイプの解剖学的構造に対する関心のある特定の解剖学的特徴(単数または複数)に基づいて訓練された)機械学習モデルのみが実行され得る(例えば、コンピューティングリソースを節約するために)。
【0157】
いくつかの例では、医用画像は、第2の訓練済みの機械学習モデルに入力される前に、第1の訓練済みの機械学習モデルによって出力された全ての識別された解剖学的特徴で注釈が付けられ得る。他の例では、受信した医用画像は、所与の解剖学的構造に対して関心のある特定の解剖学的特徴(単数または複数)(例えば、識別された解剖学的特徴からの)のみで注釈が付けられ得る。
【0158】
ステップ2008において、アライメント予測は、第2の訓練済みの機械学習モデルの出力として受信され得る。アライメント予測は、プローブが解剖学的構造に対する関心のある解剖学的特徴(単数または複数)と十分なアライメント状態であるか、または不十分なアライメント状態であるかということを含み得る。加えて、アライメント予測は、結果的にアライメント状態またはミスアライメント状態が生じるプローブの予測された向きを含み得る。
【0159】
ステップ2010において、アライメント予測の指示が、表示のためにコンピューティングデバイスに提供され得る(例えば、イメージングコンピューティングデバイス136上で実行されるアプリケーションを介して)。例えば、視覚化情報は、図2を参照して説明した後処理ステップ206におけるアライメント予測に基づいて生成され得る。一例として、予測が、プローブが解剖学的構造に対する関心のある解剖学的特徴(単数または複数)と十分なアライメント状態にあるというものである場合、プローブがアライメント状態にあり、従って最適な画像がキャプチャされていることをオペレータに通知するために、肯定的なアライメントインジケータが医用画像上にオーバーレイ表示され得る。別の例として、予測が、プローブが解剖学的構造に対する関心のある解剖学的特徴(単数または複数)と不十分なアライメント状態にあるというものである場合、プローブがアライメント状態ではなく、従って、他のより最適な画像がキャプチャされるべきであることをオペレータに通知するために、否定的なアライメントインジケータが医用画像上にオーバーレイ表示され得る。アライメントインジケータは、テキスト、グラフィックス、アニメーション、および/またはそれらの組み合わせを含み得る。
【0160】
いくつかの例では、プローブが不十分なアライメント状態であり、アライメント予測が、結果的にミスアライメントが生じるプローブの予測された向きをさらに含む場合、アライメントおよび最適な画像のキャプチャを達成するために、予測された向きに対応するプローブの現在の向きを調整するようにオペレータを案内するための方向指示が生成され得る。例えば、訓練の一部として、第2の訓練済みの機械学習モデルは、ラベル付けされた訓練用医用画像からプローブと解剖学的特徴のアライメントに関連するプローブの向きを学習し得る。従って、プローブと解剖学的特徴のアライメントに関連する学習されたプローブの向きを現在のプローブの向きと比較して、現在のプローブの向きを学習されたプローブの向きに調整するための方向指示を生成し得る。いくつかの例では、方向指示は、図10および図15を参照して上述したプローブ方向インジケータと同様のプローブ方向インジケータの形態であり得る。次いで、例示的な方法2000は、プローブが再方向付けされる(例えば、方向指示に応答して調整される)際に反復的に繰り返され得る。
【0161】
方法2000が繰り返し実行されている間のオペレータの経験の例示的な例を提供するために、オペレータは、プローブ134を第1の向き、第2の向き、第3の向きなどで(例えば、走査動作の一部として)、患者の皮膚に接触させて配置し得る。医用画像は、各向きでキャプチャされ、かつプローブと解剖学的特徴のアライメントを予測するために処理されて(例えば、方法2000のステップを介して)、アライメントインジケータおよび/または方向指示がディスプレイ138上に表示され得る。最適な画像を得るためにプローブが関節の繊維と平行アライメント状態となり得る例示的な例に戻ると、繊維の矢状断面積は、プローブが繊維との平行(例えば、インライン)アライメントに近づくにつれて減少し、プローブがインラインアライメントから離れるにつれて再び増加する。この例を続けると、プローブが第1の向きにあるとき、オペレータは、予測されたミスアライメントに基づいてプローブを第2の向きに再方向付けするように指示され得る。ミスアライメントが与えられた場合、繊維の矢状断面積は、第1の向きに対応する医用画像内の第1の面積を有する。第2の向きにあるとき、オペレータは、予測された反対方向のミスアライメントに基づいて、プローブを第3の向き(例えば、第1の向きと第2の向きとの間の向き)に再方向付けするように指示され得る。例えば、ミスアライメントが与えられた場合、繊維の矢状断面積は、第2の向きに対応する医用画像内の第2の面積を有し、第2の面積は、第1の向きに対応する医用画像内の第1の面積よりも大きくなり得、これは、オペレータの再方向付けが走査中にアライメントをオーバーシュートしたことを示す。
【0162】
診断観察および介入観察の最適な画像のキャプチャの決定
図21は、本明細書で提示される例示的な技法による、最適な画像フレームを識別するために機械学習モデル(例えば、訓練される機械学習モデル118のうちの1つ)を訓練するための例示的な方法2100を示すフローチャートを示す。例示的な方法2100(例えば、ステップ2102~2106)は、システム116によって実行され得る。例示的な方法2100は、以下のステップのうちの1つまたは複数を含み得る。
【0163】
ステップ2102において、筋骨格系障害によって影響を受けた解剖学的構造の複数のラベル付けされた訓練用医用画像が受信され得る。訓練用医用画像は、筋骨格系障害に関連する処置の一部として取得されるべき最小数の画像タイプに対応する複数の画像サブセットから構成され得る。例えば、画像サブセット内の各画像は、処置の一部として取得されるべき画像タイプに対応する。いくつかの例では、処置は、診断処置または治療処置であり得る。取得されるべき画像タイプは、解剖学的構造内の解剖学的特徴の特定の視野角を含み得る。1つの例示的な例として、処置は、手首の少なくとも3つの画像が第1の視野角、第2の視野角、および第3の視野角から取得されるべきである手根管症候群の診断処置であり得る。いくつかの例では、訓練用医用画像は、複数の異なるタイプの筋骨格系障害に関連する複数の異なる処置を表し得る。
【0164】
訓練用医用画像は、画像タイプのうちの1つまたは複数の中に含まれるべき少なくとも任意の解剖学的特徴を含む、解剖学的構造の解剖学的特徴で注釈が付けられ得る。訓練用医用画像は、対応するグラウンドトゥルースラベルを有し得る。例えば、画像サブセット内の各画像は、個別の画像タイプに対して最適な画像または非最適な画像とラベル付けされ得る。いくつかの技法では、グラウンドトゥルースラベルはまた、結果的に最適な画像または非最適な画像が生じるプローブの向き(例えば、キャプチャされる視野角に影響を及ぼす)を含み得る。訓練用医用画像は、前処理(図2のステップ204で説明した前処理と同様の)され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から抽出されるか、または他の方法で特定されて、訓練用医用画像とは別個のラベルを形成し得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。
【0165】
ステップ2104において、複数のラベル付けされた訓練用医用画像を使用して、画像タイプごとに最適な画像を予測するための機械学習モデルが生成され得る。機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された予測を、訓練用医用画像に対応するグラウンドトゥルースラベルと比較して、損失または誤差を決定し得る。例えば、第1の画像タイプに対応する第1の画像サブセットの第1の訓練用医用画像に対しての最適である予想または非最適である予測は、訓練用医用画像に対しての最適であるか、または非最適である対応するグラウンドトゥルースラベルと比較され得る。さらに、予測出力が、結果的に最適な画像または非最適な画像が生じるプローブの予測された向きも含む場合、予測された向きは、対応するグラウンドトゥルースラベルに含まれるプローブの既知の向きと比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る(例えば、重みおよび/またはバイアスが調整され得る)。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。
【0166】
機械学習モデルが十分に訓練されると、ステップ2106において、訓練済みの機械学習モデルは、後続の使用のために(例えば、ストレージデバイス114に保存された訓練済みの機械学習モデル118のうちの1つとして)保存され得る。いくつかの例では、訓練済みの機械学習モデルは、複数の異なる筋骨格系障害に関連する複数の異なる処置に対して取得されるべき各画像タイプに対する最適な画像を予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法2100は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、特定の筋骨格系障害に関連する特定の処置のために取得されるべき各画像タイプに対する最適な画像を予測する(例えば、1つのモデルは、手根管を診断するために取得されるべき各画像タイプに対する最適な画像を予測し得、別のモデルは、肩関節上の関心領域の針生検中に取得されるべき各画像タイプに対する最適な画像を検出し得る等)。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。
【0167】
図22は、本明細書で提示される例示的な技法による、最適な画像フレームをキャプチャするための例示的な方法2200を示すフローチャートを示す。例示的な方法2200(例えば、ステップ2202~2210)は、システムによって実行され得る。例示的な方法2200は、以下のステップのうちの1つまたは複数を含み得る。
【0168】
ステップ2202において、実行されている処置のタイプがコンピューティングデバイスから受信され得る。コンピューティングデバイスは、超音波イメージングシステム132のイメージングコンピューティングデバイス136を含み得、イメージングコンピューティングデバイス136上でシステム116に関連するアプリケーションが動作している。コンピューティングデバイスのユーザは、アプリケーションのユーザインタフェースを介して、処置のタイプを選択し得る。いくつかの例では、処置のタイプの選択を受信すると、アプリケーションは、処置の選択されたタイプに対して取得されるべき画像タイプの最小セットを示す指示をオペレータに提供し得る。加えて、アプリケーションは、プローブ134を患者の皮膚と接触させて配置し、かつ個別の画像タイプ(例えば、個別の画像タイプは、画像タイプの最小セット内の1つの画像タイプである)の医用画像をキャプチャするようにプローブ134を方向付けるようにオペレータに促す指示を提供し得る。ステップ2204において、個別の画像タイプの医用画像(例えば、リアルタイムで受信されるライブ画像である)がコンピューティングデバイスから受信され得る。
【0169】
ステップ2206において、個別の画像タイプの医用画像は、図21を参照して説明した方法2100を使用して訓練された訓練済みの機械学習モデルなどの訓練済み機械学習モデルに入力として提供され得る。いくつかの例では、複数の異なる筋骨格系障害に関連する複数の異なる処置のために取得されるべき各画像タイプに対する最適な画像を予測するための機械学習モデルの集合が、生成され、訓練され、かつ(例えば、方法2100に開示されるように)例えばストレージデバイス114に保存され得る。そのような例では、システム116は、ステップ2202で受信された処置のタイプについてストレージデバイス114に問い合わせて、処置のタイプに対して取得された各画像タイプ(例えば、個別の画像タイプを含む)に対する最適な画像を予測するための対応する訓練済みの機械学習モデルを取得し得る。
【0170】
ステップ2208において、医用画像が個別の画像タイプに対して最適な画像であるかどうかの予測が、訓練済みの機械学習モデルの出力として受信され得る。いくつかの例では、予測出力は、結果的に最適な画像または非最適な画像が生じるプローブの予測された向きを含み得る。予測に基づいて、ステップ2210において、コンピューティングデバイスに医用画像に関連する動作を実行させるか、またはオペレータにプローブ調整を行うように促すための命令が、コンピューティングデバイス(例えば、イメージングコンピューティングデバイス136)に提供され得る。
【0171】
例えば、医用画像が個別の画像タイプに対して最適な画像であると予測される場合、コンピューティングデバイスに提供される命令は、コンピューティングデバイスにライブ医用画像を自動的にフリーズさせ、かつ静止画像をキャプチャ(例えば、記録および保存)させるコマンドであり得る。他の例では、コンピューティングデバイスがこれらのアクションを自動的に実行するのではなく、命令は、代替的に、オペレータがこれらのアクション(例えば、アプリケーションユーザインタフェース上の制御要素を使用してフリーズして静止画像をキャプチャすること)を実行するためのプロンプトを表示させ得る。個別の画像タイプの静止画像がキャプチャされると、ステップ2204~2208は、ステップ2202で受信された処置のタイプに対して取得されるべき画像タイプの最小セット内の次の画像タイプに対して繰り返され得る。これは、画像タイプの最小セット内の全ての画像タイプについて静止画像が取得されるまで継続し得る。
【0172】
別の例として、医用画像が個別の画像タイプに対して非最適な画像であると予測される場合、コンピューティングデバイスに提供される命令は、個別の画像タイプに対して最適な画像のキャプチャを可能にするために、オペレータがプローブ調整を行う(例えば、プローブを再方向付けする)ためのプロンプトを表示させる。例えば、プロンプトは、最適な画像のキャプチャを達成するために、予測された向きに対応するようにプローブの現在の向きを調整するようにオペレータを案内する方向指示を含み得る。例えば、訓練の一部として、訓練済みの機械学習モデルは、ラベル付けされた訓練用医用画像から個別の画像タイプに対する最適な画像に関連するプローブの向きを学習し得る。従って、個別の画像タイプに対する最適な画像のキャプチャに関連する学習されたプローブの向きを現在のプローブの向きと比較して、現在のプローブの向きを学習されたプローブの向きに調整するための方向指示を生成し得る。いくつかの例では、方向指示は、図10および図15を参照して上述したプローブ方向インジケータと同様のプローブ方向インジケータの形態であり得る。次いで、例示的な方法2200のステップ2204~2208は、プローブが再方向付けされる(例えば、方向指示に応答して調整される)際に、個別の画像タイプに対する最適な画像が予測されキャプチャされるまで、反復的に繰り返され得る。
【0173】
図23は、本明細書で提示される技法を実行し得る例示的なシステムまたはデバイス2300を示す。デバイス2300は、中央処理装置(CPU)2320を含み得る。CPU2320は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであり得る。当業者によって理解されるように、CPU2320はまた、単独で動作するシステム等のマルチコア/マルチプロセッサシステム内の、またはクラスタもしくはサーバファーム内で動作するコンピューティングデバイスのクラスタ内の、単一プロセッサであり得る。CPU2320は、データ通信インフラストラクチャ2310、例えば、バス、メッセージキュー、ネットワーク、またはマルチコアメッセージパッシング方式に接続され得る。
【0174】
デバイス2300はまた、メインメモリ2340、例えば、ランダムアクセスメモリ(RAM)を含み得、かつ二次メモリ2330をも含み得る。二次メモリ2330、例えば、読み出し専用メモリ(ROM)は、例えば、ハードディスクドライブまたはリムーバブルストレージドライブであり得る。そのようなリムーバブルストレージドライブは、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリなどを含み得る。この例におけるリムーバブルストレージドライブは、公知の方法でリムーバブルストレージユニットから読み取り、および/またはリムーバブルストレージユニットに書き込む。リムーバブルストレージは、リムーバブルストレージドライブによって読み書きされるフロッピー(登録商標)ディスク、磁気テープ、光ディスクなどを含み得る。当業者には理解されるように、そのようなリムーバブルストレージユニットは、一般に、コンピュータソフトウェアおよび/またはデータを記憶したコンピュータ使用可能記憶媒体を含む。
【0175】
代替実装形態では、二次メモリ2330は、コンピュータプログラムまたは他の命令がデバイス2300にロードされることを可能にするための同様の手段を含み得る。そのような手段の例は、プログラムカートリッジおよびカートリッジインタフェース(ビデオゲームデバイスに見られるものなど)、リムーバブルメモリチップ(EPROMまたはPROMなど)および関連するソケット、ならびにソフトウェアおよびデータがリムーバブルストレージユニットからデバイス2300に転送されることを可能にする他のリムーバブルストレージユニットおよびインタフェースを含み得る。
【0176】
デバイス2300はまた、通信インタフェース(「COM」)2360を含み得る。通信インタフェース2360は、ソフトウェアおよびデータがデバイス2300と外部デバイスとの間で転送されることを可能にする。通信インタフェース2360は、モデム、ネットワークインタフェース(イーサネット(登録商標)カードなど)、通信ポート、PCMCIAスロットおよびカードなどを含み得る。通信インタフェース2360を介して転送されるソフトウェアおよびデータは、通信インタフェース2360によって受信されることが可能な電子信号、電磁信号、光信号、または他の信号であり得る信号の形態であり得る。これらの信号は、例えば、ワイヤもしくはケーブル、光ファイバ、電話線、携帯電話リンク、RFリンク、または他の通信チャネルを使用して実施され得る、デバイス2300の通信経路を介して、通信インタフェース2360に提供され得る。
【0177】
そのような機器のハードウェア要素、オペレーティングシステム、およびプログラミング言語は、本質的に従来のものであり、かつ当業者はそれらに十分に精通していると推定される。デバイス2300はまた、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入力デバイスおよび出力デバイスと接続するための入力ポートおよび出力ポート2350を含み得る。当然ながら、様々なサーバ機能は、処理負荷を分散させるために、いくつかの同様のプラットフォーム上に分散方式で実装され得る。代替的に、サーバは、1つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装され得る。
【0178】
本開示全体を通して、構成要素またはモジュールへの言及は、概して、機能または関連する機能のグループを実行するために論理的に一緒にグループ化され得る項目を指す。同様の参照番号は、概して、同一または類似の構成要素を指すことが意図される。コンポーネントおよび/またはモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよび/またはハードウェアの組み合わせで実装され得る。
【0179】
上記で説明したツール、モジュール、および/または機能は、1つまたは複数のプロセッサによって実行され得る。「ストレージ」タイプの媒体は、コンピュータ、プロセッサなどの有形メモリ、またはソフトウェアプログラミングのためにいつでも非一時的なストレージを提供し得る、様々な半導体メモリ、テープドライブ、ディスクドライブなど、それらの関連モジュールのいずれかまたは全てを含み得る。
【0180】
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信され得る。例えば、通信は、1つのコンピュータまたはプロセッサから別のコンピュータまたはプロセッサにソフトウェアをロードすることを可能にし得る。本明細書で使用される場合、非一時的な有形「記憶」媒体に限定されない限り、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
【0181】
前述の一般的な説明は、例示的かつ説明的なものにすぎず、本開示を限定するものではない。他の実施形態は、本明細書に開示された本発明の明細書および実施形態を考慮することにより、当業者には明らかであろう。本明細書および実施形態は、例示的なものにすぎないと考えられることが意図されている。
図1
図2
図3
図4
図5A
図5B
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
【国際調査報告】