知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-06
(45)【発行日】2024-08-15
(54)【発明の名称】機械学習モデルによる特徴評価の顕在視覚的説明
(51)【国際特許分類】
A61B 6/46 20240101AFI20240807BHJP
G06T 7/00 20170101ALI20240807BHJP
【ＦＩ】
A61B6/46 536Z
G06T7/00 612
【請求項の数】
13
(21)【出願番号】P 2021509159
(86)(22)【出願日】2019-08-21
(65)【公表番号】
(43)【公表日】2021-12-16
(86)【国際出願番号】 EP2019072323
(87)【国際公開番号】W WO2020038974
(87)【国際公開日】2020-02-27
【審査請求日】2022-08-18
(31)【優先権主張番号】62/720,229
(32)【優先日】2018-08-21
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】へ ゼ
(72)【発明者】
【氏名】ジブレ ビンヤム ジブレキダン
(72)【発明者】
【氏名】スウィッシャー クリスティーン メンキング
【審査官】後藤 昌夫
(56)【参考文献】
【文献】特開２００６－３４６０９４（ＪＰ，Ａ）
【文献】特表２０１０－５０４１２９（ＪＰ，Ａ）
【文献】特開２００４－１９５０８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／５８
Ｇ０６Ｔ １／００－１／４０
Ｇ０６Ｔ ３／００－５／５０
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
人工知能エンジン及びグラフィックユーザインターフェースを記憶するメモリであって、前記人工知能エンジンが少なくとも１つの機械学習モデルを含むメモリと、前記メモリと通信するプロセッサであって、該プロセッサが、
医用画像の特徴評価をレンダリングするために、該医用画像の少なくとも１つの特徴を表す医用画像データに前記少なくとも１つの機械学習モデルを適用し、
前記少なくとも１つの機械学習モデルによる前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示を制御する、
プロセッサと
を有し、
前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示の前記制御は、前記プロセッサが、更に、前記医用画像の特徴の少なくとも１つのマスキングのユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御する動作、及び前記少なくとも１つのマスキングがなされた前記医用画像の特徴評価を顕在化して視覚化する動作を含む、
顕在医用画像化コントローラ。
【請求項2】
前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示の前記制御は、前記プロセッサが、更に、前記医用画像の特徴評価を顕在化した視覚化に対する該医用画像の各特徴に関する関連性閾値のユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御する動作を含む、請求項１に記載の顕在医用画像化コントローラ。
【請求項3】
前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示の前記制御は、前記プロセッサが、更に、前記少なくとも１つの機械学習モデルによる前記医用画像の代替特徴評価のユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御する動作を含む、請求項１に記載の顕在医用画像化コントローラ。
【請求項4】
前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示の前記制御は、前記プロセッサが、更に、前記医用画像の特徴の少なくとも１つの修正のユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御する動作を含む、請求項１に記載の顕在医用画像化コントローラ。
【請求項5】
前記メモリは画像表示エンジンを更に記憶し、前記プロセッサが、更に、前記画像表示エンジンにより生成される、前記医用画像の特徴評価を顕在化した視覚化を表す顕在画像の表示を制御する、
請求項１に記載の顕在医用画像化コントローラ。
【請求項6】
前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示の前記制御は、前記プロセッサが、更に、前記顕在画像及び前記医用画像の少なくとも一方を含む前記グラフィックユーザインターフェースの表示を制御する動作を含む、請求項５に記載の顕在医用画像化コントローラ。
【請求項7】
前記医用画像の特徴評価を前記顕在化した視覚化が、ヒートマップ、及び特徴セグメンテーションのうちの少なくとも１つを含む、請求項５に記載の顕在医用画像化コントローラ。
【請求項8】
少なくとも１つのプロセッサによる実行のための命令で符号化された非一時的マシン読取可能な記憶媒体であって、該非一時的マシン読取可能な記憶媒体が、医用画像の特徴評価をレンダリングするために、該医用画像の少なくとも１つの特徴を表す医用画像データに少なくとも１つの機械学習モデルを含む人工知能エンジンを適用し、
前記少なくとも１つの機械学習モデルによる前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供するグラフィックユーザインターフェースの表示を制御する
ための命令を有し、
前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示を制御するための命令が、前記医用画像の特徴の少なくとも１つのマスキングのユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御するための命令、及び前記少なくとも１つのマスキングがなされた前記医用画像の特徴評価を顕在化して視覚化するための命令を含む、
非一時的マシン読取可能な記憶媒体。
【請求項9】
前記医用画像の特徴評価を顕在化した視覚化を操作するための前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示を制御するための命令が、前記医用画像の特徴評価を顕在化した視覚化に対する該医用画像の各特徴に関する関連性閾値のユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御するための命令を含む、請求項８に記載の非一時的マシン読取可能な記憶媒体。
【請求項10】
前記医用画像の特徴評価を顕在化した視覚化を操作するための前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示を制御するための命令が、前記少なくとも１つの機械学習モデルによる前記医用画像の代替特徴評価のユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御するための命令を含む、請求項８に記載の非一時的マシン読取可能な記憶媒体。
【請求項11】
前記医用画像の特徴評価を顕在化した視覚化を操作するための前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示を制御するための命令が、前記医用画像の特徴の少なくとも１つの修正のユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御するための命令を含む、請求項８に記載の非一時的マシン読取可能な記憶媒体。
【請求項12】
当該非一時的マシン読取可能な記憶媒体が、更に、画像表示エンジンにより生成される、前記医用画像の特徴評価を顕在化した視覚化を表す顕在画像の表示を制御するための命令を有する、請求項８に記載の非一時的マシン読取可能な記憶媒体。
【請求項13】
医用画像の特徴評価をレンダリングするために、該医用画像の少なくとも１つの特徴を表す医用画像データに少なくとも１つの機械学習モデルを含む人工知能エンジンを適用するステップと、前記少なくとも１つの機械学習モデルによる前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供するグラフィックユーザインターフェースの表示を制御するステップと
を有し、
前記医用画像の特徴評価を顕在化した視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供する前記グラフィックユーザインターフェースの表示を制御するステップが、前記医用画像の特徴の少なくとも１つのマスキングのユーザ指定を提供する前記グラフィックユーザインターフェースの表示を制御するステップ、及び前記少なくとも１つのマスキングがなされた前記医用画像の特徴評価を顕在化して視覚化するステップを含む、
顕在医用画像化方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本開示で説明される様々な実施形態は、解剖学的領域または解剖学的器官の医用（医療）画像の特徴評価をレンダリングするための１つまたは複数の機械学習モデルを組み込んだシステム、機械、コントローラ、および方法に関する。より具体的には、限定されるものではないが、様々な実施形態は解剖学的領域／器官の医用画像の機械学習モデル（複数可）による特徴評価の顕在視覚的説明を提供することに関する。
【背景技術】
【0002】
[0002] 深層学習に基づく人工知能（ＡＩ）技術は、医用画像に基づく診断（例えば、超音波（ＵＳ）イメージング、Ｘ線イメージング、コンピュータ断層撮影（ＣＴ）イメージング、磁気共鳴撮像（ＭＲＩ）、陽電子放出断層撮影（ＰＥＴ）イメージング、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）イメージングおよび拡散光トモグラフィ（ＤＯＴ）イメージングの深層学習診断）において有望な結果を提供することが示されている。有望な結果にもかかわらず、このようなアルゴリズムのほとんどは、非常に高いリスクしか出力せず、規制上のおよび臨床的な採用の課題に直面する。この問題に対処するために、深層学習コミュニティでは、研究者のための深層ニューラルネットワークの解釈（判読）可能性に多大な努力が払われてきた。しかしながら、これらのアプローチは臨床医（例えば、医師および放射線科医）よりもむしろ深層学習実践者のために最適化され、それにより、多くのアプローチは、もっぱら、深層ニューラルネットワーク自体の可視化に焦点を当てる一方で、いくつかの他のアプローチは、医用画像の部分と医用画像の確率との間の関係を探求しようとしている。したがって、臨床医が、深層ニューラルネットワークがリスク出力を超えて医用画像とどのように作用するかを対話的に探求するために構築された要素は現在存在しない。さらに、医用画像の画像特徴は、拡散した輪郭が不明確な構造およびしばしば３Ｄ＋次元を伴う自然画像とは異なる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
[0003] より具体的には、医療分野における機械学習モデルベースのＡＩ技術の採用に関する１つの問題は、機械学習モデルが、しばしば、臨床医によって「ブラックボックス」として知覚されることである。医用画像に基づく診断における機械学習モデルの実証された性能にもかかわらず、機械学習モデルの不透明な推論プロセスは臨床医が、当該モデルがどのようにして及び何故動作するかを理解することを困難にする。このことは、コンピュータ支援診断も、部分的に臨床医とＡＩとの間の不十分な相互作用（対話）のために期待され得る利益をもたらしていない故に、臨床医にとって特に煩わしい。例えば、スクリーニング設定におけるほとんどの場合が否定的であるため、良好なＡＩでさえも、典型的に、真の肯定よりもずっと多くの誤った肯定を生じる。その結果、情報の肯定的予測値は低い。このことは、臨床医の信頼を低下させ、命を救うことができるＡＩの臨床的採用を阻害する。
【0004】
[0004] ２Ｄ局位置特定マップ（例えば、ヒートマップ）を提示することによって２次元（２Ｄ）畳み込みニューラルネットワーク（２D ConvNet)からの予測を視覚化するためのいくつかの研究が行われてきたが、３次元（３Ｄ）畳み込みニューラルネットワーク（３D ConvNet)からの予測／分類の視覚化のための方法は開発が困難であることが分かっている。このことは、特に、第３次元が隠されているか又は最も関連性の高い角度であり、遠近法が事前に不明である場合に当てはまる。より具体的には、３D ConvNetは、しばしば、ボリューム（体積測定）医用画像（例えば、３D US、３D X線、ＣＴ、ＭＲＩ、ＰＥＴ、ＳＰＥＣＴ、およびＤＯＴ）に基づくコンピュータ支援診断のために使用される。３D ConvNetsの意思決定プロセスを理解することは、十分に訓練された臨床医が提案された予測を確認し、認めるために重要である。さらに、３Ｄ位置特定マップ（ヒートマップ）の視覚化は、主に、３D ConvNetの最後の層または中間の層からのそのようなマップが、（１）多次元（４Ｄテンソル）である、（２）入力されたボリューム医用画像と比較して低い解像度である、および（３）単純なレンダリング技法を使用して判読することが困難である、故に困難である。
【課題を解決するための手段】
【0005】
[0005] 前述に従い、本開示で説明される様々な実施形態は、機械学習モデルベースの特徴評価アルゴリズムが臨床医に自身を「説明する」ことを可能にする顕在視覚化技術（salient visualization technology）を提示する。
【0006】
[0006] 本開示の一連の実施形態は、本開示の「顕在可視化による説明」態様を対象とする。より具体的には、本開示のこの態様は、身体、人間、または動物の医用画像の特徴評価を提供する１つまたは複数の機械学習モデルとのユーザ対話を提供するグラフィックユーザインターフェースの様々な実施形態を提供する。
【0007】
[0007] この一連の実施形態の第１の実施形態は、人工知能エンジンおよびグラフィックユーザインターフェースを記憶するメモリを使用する顕在医用画像化コントローラであり、上記人工知能エンジンは、１つまたは複数の機械学習モデルを含む。該顕在医用画像化コントローラは、上記メモリと通信する１つ以上のプロセッサをさらに使用し、該プロセッサは、（１）医用画像の特徴評価をレンダリングするために該医用画像の１つ以上の特徴を表す医用画像データに前記機械学習モデルを適用し、（２）機械学習モデルによる医用画像の特徴評価の顕在視覚化を操作するために前記人工知能エンジンとのユーザ対話を提供するように前記グラフィックユーザインターフェースの表示を制御するように構成される。
【0008】
[0008] この一連の実施形態の第２の実施形態は、１つ以上のプロセッサによる実行のための命令で符号化された、非一時的マシン読取可能な記憶媒体である。該非一時マシン読取可能な記憶媒体は、（１）医用画像の特徴評価をレンダリングするために、該医用画像の１つまたは複数の特徴を表す医用画像データに１つまたは複数の機械学習モデルを含む人工知能エンジンを適用し、（２）機械学習モデルによる医用画像の特徴評価の顕在視覚化を操作するために、人工知能エンジンとのユーザ対話を提供するようにグラフィックユーザインターフェースの表示を制御するための命令を記憶する。
【0009】
[0009] この一連の実施形態の第３の実施形態は、（１）医用画像の特徴評価をレンダリングするための、該医用画像の特徴を表す医用画像データへの１つまたは複数の機械学習モデルを含む人工知能エンジンの適用と、（２）機械学習モデルによる医用画像の特徴評価の顕在視覚化を操作するために、人工知能エンジンとのユーザ対話を提供するグラフィックユーザインターフェースの表示の制御とを含む顕在医用画像化方法である。
【0010】
[0010] 本開示を説明し、特許請求の範囲に記載する目的のために以下の通りとする。
【0011】
[0011] (１)「医用画像」、「人工知能エンジン」、「データプリプロセッサ」、「機械学習モデル」、「ニューラルネットワーク」、「サポートベクタマシン」、「顕在画像マネージャ」、「医用画像表示エンジン」、「画像ビューア」、「医用画像」、「医用画像生成器」、「顕在画像生成器」、「画像再スライシング」、「画像セグメンテーション」および「グラフィックユーザインターフェース」を含むがこれらに限定されない本開示の技術用語は、本開示の当業技術において知られ及び理解されているように広く解釈されるべきであり、本開示において例示的に記載される。
【0012】
[0012] (２)用語「特徴」は、解剖学的物体（例えば、血管、器官など）、異物（例えば、処置ツール／器具および埋め込みデバイス）、および画像アーチファクト（例えば、ノイズ、グレーティングローブ）を含むが、これらに限定されない、１つまたは複数の訓練された機械学習モデルによって、医用画像内で識別可能および／または特徴付け可能な任意のタイプの物体を広く包含する。
【0013】
[0013] (３)用語「特徴評価」は、当該特徴の識別および／または特徴付けの任意のタイプの予測または分類を広く包含する。
【0014】
[0014] (４)用語「顕在画像（salient image）」は、特徴評価の例示を広く包含する。顕在画像の例には、ヒートマップ、特徴セグメント化（セグメンテーション）、および活性化図（activation diagram）が含まれるが、これらに限定されない。
【0015】
[0015] (５)用語「顕在視覚化（salient visualization）」は、１つ以上の顕在画像の表示を広く包含する。
【0016】
[0016] (６)「コントローラ」という用語は、本開示で後述されるような本開示の様々な原理の適用を制御するための主回路基板または集積回路の、本開示の技術分野で理解され、以下で考察されるすべての構造的構成を広く包含する。コントローラの構造的構成は、プロセッサ、非一時的なマシン読取可能な記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺装置コントローラ、スロット、およびポートを含むことができるが、これらに限定されない 。
【0017】
[0017] (７)「データ」は、本開示の当技術分野で理解され、本開示で後述されるように本開示の様々な原理を適用することをサポートする情報および／または命令を送信するために本開示で例示的に説明されるように、すべての形態の検出可能な物理量またはインパルス（例えば、電圧、電流、磁界強度、インピーダンス、色）で具現化され得る。本開示によって包含されるデータ通信は、任意のタイプの有線または無線データリンクを介したデータ送信／受信、およびコンピュータ使用可能／コンピュータ可読記憶媒体にアップロードされたデータの読み取りを含むが、これらに限定されない、本開示の技術分野で知られている任意の通信方法を含むことができる。
【0018】
[0018] 本開示の前述の実施形態および他の実施形態、ならびに本開示の様々な特徴および利点は、添付の図面と併せて読まれる本開示の様々な実施形態の以下の詳細な説明からさらに明らかになるのであろう。詳細な説明および図面は本開示を限定するのではなく単に例示するものであり、本開示の発明の範囲は、添付の特許請求の範囲およびその均等物によって定義される。
【0019】
[0019] 様々な例示的な実施形態をより良く理解するために、添付の図面を参照する。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
[0052] 本開示においてさらに詳細に説明されるように、本開示は、機械学習モデルに基づく特徴評価アルゴリズムが臨床医に自身を「説明」することを可能にする顕在視覚化技術を前提とする。本開示に関して、機械学習モデルは、これらに限られるものではないが、深層ニューラルネットワーク（例えば、畳み込みニューラルネットワーク、回帰型ニューラルネットワークなど）および教師あり学習マシン（例えば、線形または非線形のサポートベクタマシン、ブースティング分類器など）を含む、本開示の技術で知られている任意のタイプの予測機械学習モデルまたは任意のタイプの分類機械学習モデルであり得る。
【0022】
[0053] 本開示の理解を容易にするために、図１の以下の説明は、本開示の顕在視覚化方法の様々な実施形態を教示する。図１の説明から、本開示の当業者は、本開示の顕在視覚化方法の多数の様々な追加の実施形態を作製し使用するために、本開示をどのように適用するかを理解するであろう。
【0023】
[0054] 図１を参照すると、本開示の顕在医療画像化方法２０は、特徴評価段階Ｓ２２、顕在視覚化段階Ｓ２４、および顕在操作段階２６を実施する。
【0024】
[0055] 特徴評価段階Ｓ２２は、１つ以上の機械学習モデルを含む人工知能エンジンを、身体、人間、または動物の医用画像化３０に適用して、医用画像化３０の特徴評価３１をレンダリングすることを含む。
【0025】
[0056] 実際には医用画像化３０は、臨床診断手順、介入／外科手順、および患者モニタを含むが、これらに限定されない、多数の様々な手順で使用するための身体の一部または全体の視覚化を包含する。医用画像化３０の例は、医用撮像マシン（例えば、２Ｄ／３D US、２Ｄ／３D X線、ＣＴ、ＭＲＩ、ＰＥＴ、ＳＰＥＣＴ、およびＤＯＴ）によって生成された生撮像データによって表される、または生撮像データから再構成された解剖学的領域／器官の医療画像によって表される、解剖学的領域／器官の２次元（２Ｄ）医用画像化および３次元（３Ｄ）医用画像化を含むが、これらに限定されない。
【0026】
[0057] 実際に、特徴評価３１は、特徴の識別および／または特徴付けに関して身体の医用画像内に示される１つまたは複数の特徴の予測または分類を包含する。より具体的には、特徴は、解剖学的物体（例えば、血管、器官など）、異物（例えば、処置ツール／器具および埋め込みデバイス）、および画像アーチファクト（例えば、ノイズ、グレーティングローブ）を含むが、これらに限定されない、１つまたは複数の訓練された機械学習モデルによって医用画像内で識別可能および／または特徴付け可能な任意のタイプの物体を包含する。
【0027】
[0058] 医用画像化３０内に示される特徴の分類の例は、これらに限定されるものではないが、（１）解剖学的構造（例えば、脳の灰白質または白質）、（２）異物（例えば、ガイドワイヤ、埋め込まれたステントまたは弁）、（３）病変悪性（例えば、皮膚病変良性または悪性）、（４）特定の疾患（例えば、糖尿病性網膜症について陽性または陰性）、（５）多分類病変分類（例えば、正常、神経膠芽腫、肉腫および脳転移性腫瘍）、および（６）特定の組織内の偏差（例えば、血管の狭窄、組織／器官における血液プール、ならびに組織剛性偏差）を分類することを含む。
【0028】
[0059] 医用画像化３０内に示される特徴の予測の例としては、これらに限定されるものではないが、（１）腫瘤が非癌性（陰性診断）であるか癌性（陽性診断）であるかを予測すること、例えば、肺結節のリスクスコア、（２）例えば、結腸直腸癌と診断された患者の疾患固有の５年生存率の高い可能性又は低い可能性などの患者の転帰（治療成績）などが挙げられる。
【0029】
[0060] さらに図１を参照すると、段階Ｓ２２の間に特徴評価３１をレンダリングすると、顕在視覚化段階Ｓ２４は、１つまたは複数の医用画像３２および顕在画像３３の表示を伴う。
【0030】
[0061] 実際には、医用画像３２は、医用撮像マシン（例えば、２Ｄ／３Ｄ超音波マシン、２Ｄ／３D X線マシン、ＣＴマシン、ＭＲＩマシン、ＰＥＴマシン、ＳＰＥＣＴマシン、及びＤＯＴマシン）によって取得される任意のタイプの画像を包含する。医用画像３２の例には、これらに限定されないが、（１）医用撮像マシンによって取得された画像フレームまたはビデオ、（２）医用画像化３０内に示された特徴の画像セグメンテーション、および（３）１つのタイプの医用撮像マシンによって取得された画像フレーム／ビデオの、異なるタイプの医用撮像マシンによって取得された画像フレーム／ビデオ上への画像オーバーレイ（例えば、２Ｄ／３D X線画像上への２Ｄ超音波画像のオーバーレイ）が含まれる。医用画像３２は、医用画像化３０の平面ビュー又は体積測定ビューとして表示することができる。
【0031】
[0062] 実際には、顕在画像３３は特徴評価３１の図を包含する。顕在画像３３の例には、ヒートマップ、特徴セグメンテーション、および活性化図が含まれるが、これらに限定されない。
【0032】
[0063] 本開示でさらに説明されるように、ヒートマップは医用画像化３０の特徴評価３１に対する特徴間の任意の関連性の差異を強調するために、カラー配合（例えば、グレースケール及び可視スペクトル）を利用する特徴評価３１の平面又はボリュームグラフィック表現を包含する。
【0033】
[0064] 本開示でさらに説明するように、特徴セグメンテーションは、医用画像化３０の特徴評価３１に対する特定の最小限の関連性の特徴の平面またはボリューム的分割を包含し、それによって、当該特徴は、表示された医用画像３２内で個別に表示されるか、または強調表示され得る。
【0034】
[0065] 本開示でさらに説明されるように、活性化図は関連性の順序（例えば、左から右へ、または上から下へ）で配置された機械学習モデルのｎ×ｍ行列の出力（例えば、ニューラルネットワークのフィルタリングされた出力）の平面図を包含し、ここで、ｎ≧１、およびｍ≧１である。
【0035】
[0066] 顕在視覚化段階２４の間において、本開示は、ボリューム顕在画像３３の関連性再スライシングと、ユーザ指定再スライシングとを提供する。
【0036】
[0067] 実際には、本開示においてさらに説明されるように、ボリューム顕在画像の関連性再スライシングは、機械学習モデルによるボリューム医用画像の特徴評価３１に対する各特徴の関連性レベルに基づくボリューム顕在画像からの平面顕在画像の再スライシングを包含する。より詳細には、ボリューム顕在画像の顕在ボクセルは関連性閾値を超える関連性レベルを有し、複数の顕在ボクセルが医用画像化３０の評価された特徴の顕在ビューを定義する。再スライシング目的のために、ボリューム顕在画像内の再スライシングされる平面顕在画像の中心点及び向きは、１つ以上の顕在ボクセルを含むボリューム顕在画像と再スライシングされる顕在平面との交差から導出される。
【0037】
[0068] 本開示でさらに説明される第１の関連性再スライシング実施形態では、ボリューム顕在画像内の再スライシングされる平面顕在画像の中心点および向きは、ボリューム顕在画像の座標平面に対して、顕在ボクセルの最高空間分布、顕在ボクセルの最大合計、または顕在ボクセルの最高平均を含む、ボリューム顕在画像との再スライシングされる顕在平面の交差から導出される。
【0038】
[0069] 本開示でさらに説明されるような第２の関連性再スライシング実施形態において、ボリューム顕在画像内の再スライス平面顕在画像の位置および向きは、ボリューム顕在画像の座標平面（すなわち、ＸＹ平面、ＸＺ平面又はＹＺ平面）に基づく、再スライス顕在画像とボリューム顕在画像との交差から導出される。より具体的には、ボリューム顕在画像内の再スライシングされる平面顕在画像の位置および向きは、ボリューム顕在画像の座標面に対して最高の空間分布顕在ボクセル、顕在ボクセルの最高の合計、又は顕在ボクセルの最高の平均を含む、再サンプリングされる顕在平面のボリューム顕在画像との交差から導出される。
【0039】
[0070] 本開示でさらに説明される第３の関連性再スライシング実施形態では、ボリューム顕在画像内の再スライシングされる平面顕在画像の位置および向きは、顕在ボクセルの重心に基づいて、再スライシングされた顕在平面とボリューム顕在画像との交差から導出される。より具体的には、ボリューム顕在画像内の再スライスされる平面顕在画像の位置および向きは、顕在ボクセルの重心に対して最も高い空間分布顕在ボクセル、顕在ボクセルの最も高い合計、または顕在ボクセルの最も高い平均を含む、再スライスされる顕在平面とボリューム顕在画像との交差から導出される。
【0040】
[0071] 実際には、ボリューム顕在画像のユーザが指定した再スライシングは、ユーザが指定した平面顕在画像の中心点または向きが１つまたは複数の顕在ボクセルを含むことに基づいたボリューム顕在画像からの平面顕在画像の再スライシングを包含する。より詳細には、ボリューム顕在画像内の再スライシングされる平面顕在画像の位置及び向きは、ユーザが指定した中心点又は平面顕在画像の向きに基づき最高の空間分布顕在ボクセル、顕在ボクセルの最高の加算、又は顕在ボクセルの最高の平均を含む、再スライシングされる顕在平面とボリューム顕在画像との交差から導出される。
【0041】
[0072] さらに図１を参照すると、段階Ｓ２２の間の特徴評価３１の初期レンダリングの前、または画像３２若しくは画像３３の初期表示の後に、顕在操作段階Ｓ２６は、医用画像３０の特徴評価３１の顕在視覚化を操作するために、グラフィックユーザインターフェース（ＧＵＩ）を介した人工知能エンジンとのユーザ対話を含む。
【0042】
[0073] 実際には、医用画像化３０の特徴評価３１の顕在視覚化は、基礎となる手順をサポートする方法で、顕在画像３３および任意選択で医用画像３２の静的または対話的表示を包含し、医用画像化３０の顕在視覚化の操作は、医用画像化３０をマスク若しくは修正するための人工知能エンジンとの医用画像化対話３４、または医用画像化３０の特徴に関する関連性閾値を変更する若しくは医用画像化３０の代替特徴評価３１を仮定するための特徴評価対話３５を包含する。
【0043】
[0074] より具体的には、本開示でさらに説明されるように、医療画像化対話３４のデータマスク実施形態において、表示されたＧＵＩは臨床医が平面医用画像またはボリューム医用画像と直接対話し、人工知能エンジンがどのように応答するかを見ることを可能にする。例えば、臨床医は、顕在画像３３を分析して、平面医用画像またはボリューム医用画像の１つまたは複数の特定の領域が現在の特徴評価３１に無関係であるかどうかを確認することができる。臨床医が、平面医用画像またはボリューム医用画像の１つまたは複数の特定の領域が、そのような画像の現在の特徴評価３１に無関係であると疑う場合、該臨床医はその無関係な領域をマスクし、該顕在画像を見て、そのようなマスキングが医用画像化３０の特徴評価３１に及ぼす影響を見ることができる。
【0044】
[0075] 本開示でさらに説明されるように、医用画像化対話３４のデータ修正実施形態において、表示されたＧＵＩは、臨床医が顕在画像３０によって視覚化されるように、医用画像化３０の特徴評価３１に対する人工知能エンジンへの各入力の影響を試験することを可能にする。データ修正の例には、これらに限定されないが、（１）工知能エンジンの医用画像化入力または医用画像化入力の組合せの有効化／無効化、（２）人工知能エンジンの医用画像化入力または医用画像化入力の組合せのピクセル／ボクセル輝度値の増加／減少、（３）人工知能エンジンの補助情報入力または補助情報入力の組合せの有効化／無効化、または（４）人工知能エンジンの補助情報入力または補助情報入力の組合せの変更、が含まれる。
【0045】
[0076] 本開示でさらに説明される特徴評価対話３５の関連性閾値実施形態において、表示されたＧＵＩは、平面医用画像の特徴評価３１に対する該平面医用画像のピクセルの関連性レベルの臨床医の設定、またはボリューム医用画像のボクセルの該ボリューム医用画像の特徴評価３１に対する関連性レベルの臨床医による設定を可能にする。本洞察は、平面医用画像の全てのピクセル又はボリューム画像の全てのボクセルが特徴評価３１に等しく関連するわけではなく、臨床医は典型的には最も疑わしいと思われる画像の特徴に焦点を当てるということである。したがって、平面医用画像のピクセルまたはボリューム画像のボクセルの関連性レベルは、臨床医によって、当該特徴が関連性のレベルに達した場合に画像の該特徴が顕在画像３３内でより明確に強調されるような値に設定され得る。
【0046】
[0077] 本開示においてさらに説明されるような特徴評価対話３５の代替の特徴評価実施形態において、臨床医は、医用画像化３０の特徴評価３１の異なる予測または異なる分類（例えば、予測／分類ｘおよび予測／分類ｙ）の間で仮説を立てることができ、人工知能エンジンが医用画像化３０の予測／分類ｘを、医用画像化３０の予測／分類ｘを示す顕在画像３１によって可視化されるようにする場合、臨床医は、ＧＵＩを介して予測／分類ｙを選択し、医用画像化３０の予測／分類ｙに最も関連する特徴を、医用画像化３０の予測／分類ｙを示す顕在画像（３１）によって可視化されるものとして見ることができる。
【0047】
[0078] 実際のところ、医用画像化対話３４及び特徴評価対話３５は、個別に又は組み合わせて利用できる。
【0048】
[0079] フローチャート２０は、関連する手続きまたは該関連する手続きの関連フェーズが終了するまで、段階Ｓ２２～Ｓ２６を介して連続的に条件付きでループする。
【0049】
[0080] 本開示のさらなる理解を容易にするために、図２Ａ～図２Ｃの以下の説明は、本開示の人工知能エンジンおよび医療画像表示エンジンの様々な実施形態を教示する。図２Ａ～図２Ｃの説明から、本開示の当業者は、本開示を、本開示の人工知能エンジンおよび医用画像表示エンジンの多数および様々な追加の実施形態を実施し、使用するためにどのように適用するかを理解するであろう。
【0050】
[0081] 図２Ａを参照すると、人工知能エンジン４０は、図１の段階Ｓ２２について前述したように、医用画像化３０の特徴評価３１を実施する。この目的のために、人工知能エンジン４０は、図２Ｂのフローチャート１４０によって表される特徴評価方法を実施するために、データプリプロセッサ４１、１つまたは複数の機械学習モデル４２、および顕在画像マネージャ４３を含む。
【0051】
[0082] 図２Ａおよび図２Ｂの両方を参照すると、データプリプロセッサ４１は、データ３０ａ／３０ｂを機械学習モデル４２に入力することによって、フローチャート１４０の段階Ｓ１４２の間に平面医用画像データ３０ａまたはボリューム医用画像データ３０ｂを処理し、これによって、フローチャート１４０の段階Ｓ１４４の間に特徴評価３１ａをもたらす。さらに、データプリプロセッサ４１は、段階Ｓ１４４中に特徴評価３１ａをレンダリングするために、情報３０ｃを機械学習モデル４２に入力するように、平面医用画像データ３０ａまたはボリューム医用画像データ３０ｂ（例えば、再構成医用画像１３２ａからセグメント化された解剖学的器官の半径および／または球形度）に関する医用撮像マシン（例えば、２Ｄ／３Ｄ超音波マシン、２Ｄ／３D X線マシン、ＣＴマシン、ＭＲＩマシン、ＰＥＴマシン、ＳＰＥＣＴマシンおよびＤＯＴマシン）からの補助撮像情報３０ｃをさらに処理することができる。補助画像情報３０ｃは、年齢、性別および既往歴の観点からの患者に関係する情報をさらに含むことができる。データプリプロセッサ４１による医用画像データ３０ａ／３０ｂおよび補助撮像情報３０ｃの処理の例には、医用画像データ３０ａ／３０ｂおよび補助撮像情報３０ｃの符号化、埋め込み、または時間サンプリングが含まれるが、これらに限定されない。
【0052】
[0083] 実際には、このような前処理が、不要であるかまたは医用画像データ３０ａ／３０ｂおよび任意選択の補助画像情報３０ｃをＡＩエンジン４０に送信する前に事前に実行されている場合、データプリプロセッサ４１はＡＩエンジン４０から省略することができる。
【0053】
[0084] 図２Ａを振り返ると、機械学習モデル４２は、（１）深層ニューラルネットワーク（例えば、畳み込みニューラルネットワーク、回帰型ニューラルネットワークなど）および（２）教師有り学習マシン（例えば、線形または非線形のサポートベクタマシン、ブースティング分類器など）を含む、分類機械学習モデルまたは予測機械学習モデルである。実際には、機械学習モデル４２は、任意のタイプの医療処置、任意のタイプの医療撮像マシンまたは任意のタイプの患者について医療画像化３０ａ／３０ｂの特徴評価３１ａをレンダリングするように訓練されてもよく、又は、代わりに、１つ若しくは複数の特定の医療処置または１つ若しくは複数の特定のタイプの医療撮像マシンについて医療画像化データ３０ａ／３０ｂの特徴評価をレンダリングするように訓練されてもよく、それによって、機械学習モデル４２は１つまたは複数の特定のタイプの患者についてさらに訓練され得る。また、実際には、ＡＩエンジン４０は、単一の機械学習モデル４２、または（１）個別の機械学習モデル４２の分散配置、（２）２つ以上の類似および／または非類似の深層ニューラルネットワークのネットワーク、または（３）２つ以上の類似および／または非類似の教師付き学習マシンのネットワークを含むが、これらに限定されない、複数の類似および／または非類似の機械学習モデル４２を含むことができる。
【0054】
[0085] 図２Ａおよび図２Ｂの両方を参照すると、ＡＩエンジン４０の機械学習モデル４２は、図１の特徴評価段階Ｓ２２について前述したように、フローチャート１４０の段階Ｓ１４４の間に、医用画像化データ３０ａ／３０ｂの特徴評価３１ａをもたらすために、（前処理された）医用画像データ３０ａ／３０ｂを入力する。段階Ｓ１４４の最初の実行時に、フローチャート１４０の段階Ｓ１４６の間において、顕在画像マネージャ４３は、特徴評価３１ａに対する医用画像化データ３０ａ／３０ｂの各特徴の関連性を表す顕在画像データ３６ａを生成する。
【0055】
[0086] 実際には、顕在画像データ３６ａは、マスクされた／修正された医用画像化データ３０ａ／３０ｂの各特徴の、新しい特徴評価３１ａに対する関連性を表す。任意のタイプの機械学習モデルの一実施形態において、顕在画像データ３６ａは、平面医用画像化データ３０ａによって表される各ピクセル及びボリューム医用画像化データ３０ｂの各ボクセルの、最も関連性の低いピクセル／ボクセル（例えば、０）から最も関連性の高いピクセル／ボクセル（例えば、１６９）までのスケーリングを提供する。該スケーリングは、顕在画像生成器５１がヒートマップまたは特徴マップを生成することを可能にする。特にニューラルネットワークのための第２の実施形態では、顕在画像データ３６ａが最も関連性の低いフィルタ出力から最も関連性の高いフィルタ出力までの範囲のフィルタ出力を提供する。
【0056】
[0087] より具体的には、深層ニューラルネットワークは、特徴抽出および変換のために相互接続および訓練された複数層の活性化ニューロン（すなわち、特徴要素）を包含し、それによって、（前処理された）医用画像化データ３０ａ／３０ｂ（例えば、２Ｄピクセルまたは３Ｄボクセル）／補助情報３０ｃ（適用可能な場合）と、１つまたは複数の出力ニューロン（すなわち、予測要素）を介した予測または分類との間の複雑なマッピングを計算する。各活性化ニューロンは、入力（例えば、２Ｄピクセル、３Ｄボクセル、上流側活性化ニューロン出力、または下流側活性化ニューロン出力）の加重線形結合に非線形活性化関数を適用する。このように、深層ニューラルネットワークに重要なパラメータは、結合ニューロンネットワークの構造、非線形活性化関数および活性化ニューロンの重みである。予測または分類の説明を確かめるための任意のタイプの関連性マッピングを実行する能力も重要であり、それによって、そのような関連性マッピングを使用して、本開示の顕在画像データ３６ａを生成することができる（例えば、バックプロパゲーション、誘導バックプロパゲーション、逆畳み込み、クラス活性化マッピング、勾配クラス活性化マッピングなど）。例えば、検出されたクラス活性化を、入力医用画像３０ａ／３０ｂのどの部分が予測または分類に最も関連していたかを検出するために、ネットワークを介して入力ピクセル／ボクセル空間に逆投影し得る。
【0057】
[0088] 機械学習モデル４２の深層ニューラルネットワークの実施形態において、顕在画像マネージャ４３は、各活性化のためのデフォルトの特徴関連性閾値に基づいて前述の関連性マッピングを実行し、これによって、レンダリングされる特徴評価３１ａのための顕在画像データ３６ａを生成する。
【0058】
[0089] さらに、本開示の技術分野で知られているサポートベクタマシンは、医用画像化データ３０ａ／３０ｂ（例えば、２Ｄピクセルまたは３Ｄボクセル）および補助情報３０ｃ（適用可能な場合）の特徴ベクトル（すなわち、特徴要素）を２つのクラスのうちの１つに線形または非線形に分離するための超平面（すなわち、予測要素）を描写するように訓練されたサポートベクトルを包含する。線形サポートベクタマシンは、特に、線形判別関数を学習し、それによれば、線形判別関数の重みを利用して、各２Ｄピクセルまたは３Ｄボクセルにスコアを割り当て、それによって、特徴評価３１ａのレンダリングをサポートすることができる。
【0059】
[0090] 機械学習モデル４２のサポートベクタマシンの実施形態の場合、顕在画像マネージャ４３はデフォルト特徴関連性閾値に対する最近傍アルゴリズムと併せて２Ｄピクセル／３Ｄボクセルスコア付けを利用し、それによって、レンダリングされる特徴評価３１ａの顕在画像データ３６ａを生成することができる。
【0060】
[0091] さらに図２Ａおよび図２Ｂを参照すると、段階Ｓ１４６中における顕在情報データ３６ａの生成に際し、顕在画像マネージャ４３はフローチャート１４０の段階Ｓ１４８に進み、これにより、顕在画像マネージャ４３は、データマスク明細３４ａまたはデータ修正明細３４ｂを受け取って段階Ｓ１４２に戻るか、または特徴関連性閾値明細３５ａまたは代替特徴評価明細３５ｂを受け取って段階Ｓ１４６に戻る。
【0061】
[0092] より詳細には、本開示でさらに説明されるように、マスキング明細３４ａまたはデータ修正明細３４ｂがＧＵＩを介して顕在画像マネージャ４３により受信された場合、顕在画像マネージャ４３は、図１の顕在操作段階Ｓ２６について前述されたように、データマスキング明細３４ａによって指示されるように平面医用画像データ３０ａまたはボリューム医用画像データ３０ｂのデータマスキングを実行するように、または図１の顕在操作段階Ｓ２６について前述されたように、データ修正明細３４ｂによって指示されるように平面医用画像データ３０ａまたはボリューム医用画像データ３０ｂのデータ修正を実行するように、データプリプロセッサ４１に指示する。その後、段階Ｓ１４４が繰り返されて、上記データマスキングまたはデータ修正に基づいて新しい特徴評価３１ａがレンダリングされ、段階Ｓ１４６が繰り返されて、マスクされた／修正された医用画像化データ３０ａ／３０ｂの各特徴の新しい特徴評価３１ａに対する関連性を表す新たな顕在画像データ３６ａが生成される。
【0062】
[0093] さらに、特徴関連性閾値明細３５ａまたは代替特徴評価明細３５ｂが、本開示でさらに説明されるように、ＧＵＩを介して顕在画像マネージャ４３により受信された場合、顕在画像マネージャ４３は、図１の顕在操作段階Ｓ２６について前述したように特徴関連性閾値明細３５ａによって指定された特徴関連性閾値、または図１の顕在操作段階Ｓ２６について前述したように代替特徴評価明細３５ｂによって指定された代替特徴評価に基づいて顕在画像データ３６ａを生成する。
【0063】
[0094] フローチャート１４０は、関連手順または該関連手順の関係するフェーズが終了するまで、段階Ｓ１４２～Ｓ１４８を介して連続的に条件付きでループする。
【0064】
[0095] 図３Ａ～図３Ｊは、平面医用画像データ３０ａまたはボリューム医用画像データ３０ｂの予測または分類の特徴評価をレンダリングするための、訓練された畳み込みニューラルネットワーク（ＣＮＮ）の解説的な例を示す。各例について、当該畳み込みニューラルネットワークは、１つまたは複数の畳み込み／正規化線形ユニット（ＲｅＬＵ）／プーリング層及び全結合層を使用し、それによって、特徴評価を出力する（例えば、腫瘍分類、血管セグメント化などを含むがこれらに限定されない、特定のタイプの予測を提供するように訓練された４つの畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ））。代わりに、ＣＮＮの全結合層が、サポートベクタマシン（ＣＮＮ／ＳＶＭ）に接続されるか、またはそれと置き換えられる。
【0065】
[0096] 実際には、本開示のＣＮＮは、全組の分類の全範囲の予測スコアを包含する身体の２Ｄまたは３Ｄ医用画像に対して訓練される。さらに、本開示でさらに説明されるように、本開示のＣＮＮは平面顕在画像またはボリューム顕在画像を生成する目的で顕在画像データを出力するように構成される。特に、顕在画像データは、ＣＮＮの最後の畳み込み層のフィルタ出力である。
【0066】
[0097] さらに、実際には、本開示のＣＮＮは、（１）図１の段階Ｓ２６について前述したように、特徴評価に対するデータマスクの影響を見るための平面医用画像またはボリューム医用画像の領域の臨床医のマスキングを示す、または（２）図１の段階Ｓ２６について前述したように、特徴評価に対するデータ修正の影響を見るためのＣＮＮへの画像および補助情報入力の臨床医の有効化／無効化および／または食い違いを示す医用画像化対話データを処理することができる。
【0067】
[0098] さらに、実際には、本開示のＣＮＮは、（１）図１の段階Ｓ２６について前述したように顕在画像を生成するための平面医療画像化データのピクセルまたはボリューム医療画像化のボクセルの関連性レベルの臨床医の設定を示す特徴評価対話データ、または（２）図１の段階Ｓ２６について前述したように、異なる仮説（例えば、ｘおよびｙ）間の臨床医の選択を示す特徴評価対話データを処理することができる。
【0068】
[0099] 図３Ａに示されるようなＡＩエンジン４０の一実施形態では、２D CNN ２４２ａが、平面医用画像化データ３０ａによって表される身体の医用画像化の特徴評価２３１ａをレンダリングするために、過去の患者の様々なクラスの判読された医用画像について、本開示の技術分野で知られているように訓練される。加えて、２D CNN ２４２ａは、特徴評価２３１ａを示す平面顕在画像（例えば、２Ｄヒートマップ、２Ｄ特徴マップまたは活性化マップ）を生成する目的で、顕在画像マネージャ４３による関連性マッピングを介して動作され、２Ｄ顕在画像データ２３６ａを出力する。さらに、２D CNN ２４２ａは、医用画像化対話データ３４ｃまたは特徴評価対話データ３５ｃに従って、本開示で前述したように、ＧＵＩを介して動作される。
【0069】
[00100] 図３Ｂに示されるようなＡＩエンジン４０の第２の実施形態では、２D CNN/SVM ２４２ｂが、平面医用画像化データ３０ａによって表される身体の医用画像化の特徴評価２３１ｂをレンダリングするために、過去の患者の様々なクラスの判読された医用画像に関して、本開示の技術分野で知られているように訓練される。加えて、２D CNN/SVM ２４２ｂは、特徴評価２３１ｂを示す平面顕在画像（例えば、２Ｄヒートマップ、２Ｄ特徴マップまたは活性化マップ）を生成する目的で、顕在画像マネージャ４３による関連性マッピングを介して動作され、２Ｄ顕在画像データ２３６ｂを出力する。さらに、２D CNN/SVM ２４２ｂは、医用画像化対話データ３４ｃまたは特徴評価対話データ３５ｃに従って、本開示で前述したように、ＧＵＩを介して動作される。
【0070】
[00101] 図３Ｃに示すようなＡＩエンジン４０の第３の実施形態では、３D CNN ２４２ｃが、本開示の技術分野で知られているように、前の患者の判読された医用画像の様々なクラスに対して訓練され、ボリューム医用画像化データ３０ｂによって表される身体の医用画像化の特徴評価２３１ｃをレンダリングする。さらに、ＡＩエンジン２４２ｃは、特徴評価２３１ｃを示すボリューム顕在画像（例えば、３Ｄヒートマップ、３Ｄ特徴マップ、または活性化マップ）を生成するために、顕在画像マネージャ４３による関連性マッピングを介して動作され、３Ｄ顕在画像データ２３６ｃを出力する。さらに、３D CNN ２４２ｃは、医用画像化対話データ３４ｄまたは特徴評価対話データ３５ｄに従って、本開示で前述したように、ＧＵＩを介して動作される。
【0071】
[00102] 図３Ｄに示すようなＡＩエンジン４０の第４の実施形態では、３D CNN/SVM ２４２ｄが、本開示の技術分野で知られているように、以前の患者の判読された医用画像の様々なクラスに対して訓練され、ボリューム医用画像化データ３０ｂによって表される身体の医用画像化の特徴評価２３１ｄをレンダリングする。さらに、３D CNN/SVM ２４２ｄは、特徴評価２３１ｄを示すボリューム顕在画像（例えば、３Ｄヒートマップ、３Ｄ特徴マップ、または活性化マップ）を生成するために、顕在画像マネージャ４３による関連性マッピングを介して動作され、３Ｄ顕在画像データ２３６ｄを出力する。さらに、３D CNN/SVM ２４２ｄは、医用画像化対話データ３４ｄまたは特徴評価対話データ３５ｄに従って、本開示で前述したように、ＧＵＩを介して動作される。
【0072】
[00103] 図３Ｅに示されるようなＡＩエンジン４０の第５の実施形態では、２D CNN ２４２ａ（図３Ａ）が、一次ＣＮＮとして機能する２D CNN ２４２ｅへの入力として特徴評価２３１ａおよび顕在画像データ２３６ａを供給する二次ＣＮＮの役割を果たす。ＣＮＮ ２Ｄ ２４２ｅは、本開示の技術分野で知られているように、以前の患者の判読された医用画像の様々なクラスおよび特徴評価２３１ａについて訓練され、平面医用画像化データ３０ａによって表される身体の医用画像化の特徴評価２３１ｅをレンダリングする。加えて、２D CNN ２４２ｅは、特徴評価２３１ａを示す平面顕在画像（例えば、２Ｄヒートマップ、２Ｄ特徴マップまたは活性化マップ）を生成する目的で、顕在画像マネージャ４３による関連性マッピングを介して動作され、２Ｄ顕在画像データ２３６ｅを出力する。さらに、２D CNN ２４２ｅは、医用画像化対話データ３４ｅまたは特徴評価対話データ３５ｅに従って、本開示で前述したように、ＧＵＩを介して動作される。
【0073】
[00104] 図３Ｆに示すようなＡＩエンジン４０の第６の実施形態では、３D CNN ２４２ｃ（図３Ｃ）が、一次ＣＮＮとして機能する３D CNN ２４２ｆへの入力として、特徴評価２３１ｃ及び顕在画像データ２３ｃを供給する二次ＣＮＮとして機能する。３D CNN ２４２ｆは、ボリューム医用画像化データ３０ｂによって表される身体の医用画像化の特徴評価２３１ｆをレンダリングするために、以前の患者の判読された医用画像の様々なクラスおよび特徴評価２３１ｃについて、本開示の技術分野で知られているように訓練される。さらに、３D CNN ２４２ｆは、特徴評価２３１ｆを示すボリューム顕在画像（例えば、３Ｄヒートマップ、３Ｄ特徴マップ、または活性化マップ）を生成する目的で、３Ｄ顕在画像データ２３６ｆを出力するために、関連性マッピングを介して動作される。さらに、３D CNN ２４２ｆは、医用画像化対話データ３４ｆまたは特徴評価対話データ３５ｆに従って、本開示で前述したように、ＧＵＩを介して動作される。
【0074】
[00105] 図３Ｇに示されるようなＡＩエンジン４０の第７の実施形態では、２D CNN ２４２ｇが、前の患者の肯定的に判読された医用画像の分類（例えば、癌患者の画像、解剖学的領域内の手術器具の存在の画像など）に関して本開示の技術分野で知られているように訓練され、平面医用画像化データ３０ａによって表される身体の医用画像化の予備的特徴評価２３１ｇをレンダリングする。加えて、２D CNN ２４２ｇは、特徴評価２３１ｇを示す平面顕在画像（例えば、２Ｄヒートマップ、２Ｄ特徴マップまたは活性化マップ）を生成する目的で、顕在画像マネージャ４３による関連性マッピングを介して動作され、２Ｄ顕在画像データ２３６ｇを出力する。さらに、２D CNN ２４２ｇは、医用画像化対話データ３４ｇまたは特徴評価対話データ３５ｇに従って、本開示で前述したように、ＧＵＩを介して動作される。
【0075】
[00106] さらに図３Ｇを参照すると、２D CNN ２４２ｈは、平面医療画像化データ３０ａによって表される身体の医療画像化の予備的特徴評価２３１ｈをレンダリングするために、以前の患者の否定的に解釈された医療画像の分類（例えば、非癌性患者の画像、解剖学的領域内の手術器具の不存在の画像など）について、本開示の技術分野で知られているように訓練される。さらに、２D CNN ２４２ｈは、特徴評価２３１ｈを示す平面顕在画像（例えば、２Ｄヒートマップ、２Ｄ特徴マップまたは活性化マップ）を生成する目的で、顕在画像マネージャ４３による関連性マッピングを介して動作され、２Ｄ顕在画像データ２３６ｈを出力する。さらに、２D CNN ２４２ｈは、医用画像化対話データ３４ｈまたは特徴評価対話データ３５ｈに従って、本開示で前述したように、ＧＵＩを介して動作される。
【0076】
[00107] さらに図３Ｇを参照すると、分類器／予測器２４２ｉは、平面医用画像化データ３０ａによって表される身体の医用画像化の最終特徴評価２３１ｉを生成するように構成される。実際には、分類器／予測器２４２ｉは、予備特徴評価２３１ｇと予備特徴評価２３１ｈとを組み合わせて最終特徴評価２３１ｉをレンダリングするために、本開示の技術分野で知られている任意の技法を実施することができる。一実施形態では、分類器／予測器２４２ｉは、予備特徴評価２３１ｇおよび予備特徴評価２３１ｈに関連するリスクスコアを平均化し、それによって最終特徴評価２３１ｉをレンダリングすることができる。第２の実施形態では、分類器／予測器２４２ｉは、ネットワーク２４２ｇおよび２４２ｈの代わりに、全結合層を実装することができる。
【0077】
[00108] さらに図３Ｇを参照すると、分類器／予測器２４２ｉは、更に、特徴評価２３１ｉを示す平面顕在画像（例えば、２Ｄヒートマップ、２Ｄ特徴マップ、または活性化マップ）を生成する目的で顕在画像データ２３６ｉを出力するように構成される。実際には、分類器／予測器２４２ｉは、ネットワーク２４２ｇ及び２４２ｈの畳み込み層のフィルタ出力を組み合わせて、特徴評価２３１ｉの顕在画像データ２３６ｉ（例えば、２Ｄヒートマップ、２Ｄフィーチャーマップ又は活性化マップ）を生成するための本技術で知られる任意の技法を実行することができる。一実施形態において、分類器／予測器２４２ｉは、ネットワーク２４２ｇおよび２４２ｈの最後の畳み込み層のフィルタ出力を平均化して、顕在画像データ２３６ｉを生成することができる。
【0078】
[00109] 図３Ｈに示されるようなＡＩエンジン４０の第８の実施形態では、３D CNN ２４２ｊが、ボリューム医用画像化データ３０ｂによって表される身体の医用画像化の予備的特徴評価２３１ｊをレンダリングするために、以前の患者の肯定的に解釈された医用画像の分類（例えば、癌患者の画像、解剖学的領域内の手術器具の存在の画像など）に関して本開示の技術分野で知られるように訓練される。さらに、３D CNN ２４２ｊは、特徴評価２３１ｊを示すボリューム顕在画像（例えば、３Ｄヒートマップ、３Ｄ特徴マップ、または活性化マップ）を生成するために、顕在画像マネージャ４３による関連性マッピングを介して動作され、３Ｄ顕在画像データ２３６ｊを出力する。さらに、３D CNN ２４２ｊは、医用画像化対話データ３４ｊまたは特徴評価対話データ３５ｊに従って、本開示で前述したようにＧＵＩを介して動作される。
【0079】
[00110] さらに図３Ｈを参照すると、３D CNN ２４２ｋは、本開示の技術分野で知られているように、以前の患者の否定的に解釈された医用画像の分類（例えば、非癌性患者の画像、解剖学的領域内の手術器具の不存在の画像など）について訓練され、ボリューム医用画像化データ３０ｂによって表される身体の医用画像化の予備的特徴評価２３１ｋをレンダリングする。さらに、３D CNN ２４２ｋは、特徴評価２３１ｋを示すボリューム顕在画像（例えば、３Ｄヒートマップ、３Ｄ特徴マップ、または活性化マップ）を生成するために、顕在画像マネージャ４３による関連性マッピングを介して動作され、３Ｄ顕在画像データ２３６ｋを出力する。さらに、３D CNN ２４２ｋは、医用画像化対話データ３４ｋまたは特徴評価対話データ３５ｋに従って、本開示で前述したようにＧＵＩを介して動作される。
【0080】
[00111] さらに図３Ｈを参照すると、分類器／予測器２４２ｌは、ボリューム医用画像化データ３０ｂによって表される身体の医用画像化の最終特徴評価２３１ｌを生成するように構成される。実際には、分類器／予測器２４２ｌは、予備的特徴評価２３１ｊと予備的特徴評価２３１ｋとを組み合わせて最終的特徴評価２３１ｌをレンダリングするために、本開示の技術分野で知られている任意の技法を実装することができる。一実施形態では、分類器／予測器２４２ｌは、予備特徴評価２３１ｊおよび予備特徴評価２３１ｋに関連するリスクスコアを平均化し、それによって最終特徴評価２３１ｌをレンダリングすることができる。第２の実施形態では、分類器／予測器２４２ｌは、ネットワーク２４２ｊおよび２４２ｋの代わりに、全結合層を実装することができる。
【0081】
[00112] さらに図３Ｈを参照すると、分類器／予測器２４２ｌは、更に、ボリューム顕在画像（例えば、３Ｄヒートマップ、３Ｄ特徴マップ、または活性化マップ）を生成する目的で顕在画像データ２３６ｌを出力するように構成される。実際には、分類器／予測器２４２ｌは、ネットワーク２４２ｊおよび２４２ｋの畳み込み層のフィルタ出力を組み合わせて顕在画像データ２３６ｌを生成するために、本開示の技術において既知の任意の技術を実装することができる。一実施形態では、分類器／予測器２４２ｌは、ネットワーク２４２ｊおよび２４２ｋの最後の畳み込み層のフィルタ出力を平均化し、顕在画像データ２３６ｌを生成し得る。
【0082】
[00113] 図３Ｉに示すようなＡＩエンジン４０の第９の実施形態では、分類器／予測器２４２ｍが、平面医用画像化データ３０ａによって表される身体の医用画像化の最終特徴評価２３１ｍを生成するように構成される。実際には、分類器／予測器２４２ｍは、２D CNN ２４２ａ（図３Ａ）からの予備特徴評価２３１ｃ、２D CNN ２４２ｇ（図３Ｇ）からの予備特徴評価２３１ｇ、および２D CNN ２４２ｈ（図３Ｇ）からの予備特徴評価２３１ｈを結合して最終的な特徴評価２３１ｍをもたらすために、本開示の技術において知られている任意の技術を実施することができる。一実施形態において、分類器／予測器２４２ｍは、予備特徴評価２３１ｃ、予備特徴評価２３１ｇ、および予備特徴評価２３１ｈに関連するリスクスコアを平均化し、それによって最終特徴評価２３１ｍをレンダリングすることができる。第２の実施形態では、分類器／予測器２４２ｍが、ネットワーク２４２ａ、２４２ｇ、および２４２ｈの代わりに、全結合層を実装することができる。
【0083】
[00114] さらに図３Ｉを参照すると、分類器／予測器２４２ｍは、更に、特徴評価２３１ｍを示す平面顕在画像（例えば、２Ｄヒートマップ、２Ｄ特徴マップまたは活性化マップ）を生成する目的で、顕在画像データ２３６ｍを出力するよう構成される。実際には、分類器／予測器２４１ｍは、ネットワーク２４２ａ、２４２ｇ、および２４２ｈの畳み込み層のフィルタ出力を組み合わせて顕在画像データ２３６ｍを生成するために、本開示の技術において既知である任意の技術を実装することができる。一実施形態において、分類器／予測器２４２ｍは、ネットワーク２４２ａ、２４２ｇ、および２４２ｈの最後の畳み込み層のフィルタ出力を平均化して、顕在画像データ２３６ｍを生成し得る。
【0084】
[00115] 図３Ｊに示されるようなＡＩエンジン４０の第１０の実施形態では、分類器／予測器２４２ｎが、ボリューム医療画像化データ３０ｂによって表される身体の医療撮像化の最終特徴評価２３１ｎを生成するように構成される。実際には、分類器／予測器２４２ｎは、最終的な特徴評価２３１ｎをレンダリングするために、３D CNN ２４２ｄ（図３Ｄ）からの予備特徴評価２３１ｄ、３D CNN ２４２Ｊ（図３Ｈ）からの予備特徴評価２３１ｊ、および３D CNN ２４２ｋ（図３Ｈ）からの予備特徴評価２３１ｋを組み合わせるための、本開示の技術において知られている任意の技術を実施することができる。一実施形態において、分類器／予測器２４２ｎは、予備特徴評価２３１ｄ、予備特徴評価２３１ｊ、および予備特徴評価２３１ｋに関連するリスクスコアを平均化し、それによって最終特徴評価２３１ｎをレンダリングすることができる。第２の実施形態では、分類器／予測器２４２ｎが、ネットワーク２４２ｄ、２４２ｊ、および２４２ｋの代わりに、全結合層を実装することができる。
【0085】
[00116] さらに図３Ｊを参照すると、分類器／予測器２４２ｎは、更に、特徴評価２３１ｎを示すボリューム顕在画像（例えば、３Ｄヒートマップ、３Ｄ特徴マップ、または活性化マップ）を生成する目的で顕在画像データ２３６ｎを出力するように構成される。実際には、分類器／予測器２４２ｎは、ネットワーク２４２ｄ、２４２ｊおよび２４２ｋの畳み込み層のフィルタ出力を組み合わせて顕在画像データ２３６ｎを生成するために、本開示の技術において既知である任意の技術を実装することができる。一実施形態では、分類器／予測器２４２ｎが、ネットワーク２４２ｄ、２４２ｊおよび２４２ｋの最後の畳み込み層のフィルタ出力を平均化して、顕在画像データ２３６ｎを生成し得る。
【0086】
[00117] 図２Ａに戻って参照すると、医用画像表示エンジン５０は、図１の段階Ｓ２４について前述したように、医用画像３２および顕在画像３３の表示を制御する。この目的のために、医用画像表示エンジン５０は、図２Ｃのフローチャート１５０によって表される顕在可視化方法の実施のために、画像ビューア５１、医用画像生成器５２、及び顕在画像生成器５３を含む。
【0087】
[00118] 図２Ａ及び図２Ｃの両方を参照すると、フローチャート１５０の段階Ｓ１５２の間に、平面医用画像化データ３０ａ又はボリューム医用画像化データ４０ａを、医用画像表示エンジン５０によって視認可能な形態で受信することができる。そのような受信に続いて、自律的に、または臨床医の起動を介して、画像ビューア５１は平面医用画像化データ３０ａまたはボリューム医用画像化データ４０ａによって表される医用画像の表示を実施し、さらに、表示された医用画像を見る臨床医に対し画像ナビゲーション機能（例えば、ズームイン、ズームアウト、回転など）および画像注釈機能を提供する。さらに、医用画像生成器５２は、自律的に、または臨床医による起動を介して、（１）平面医用画像化データ３０によって表される一連の平面医用画像のボリュームレンダリング、（２）ボリューム医用画像化データ４０またはボリュームレンダリングによって表されるボリューム医用画像の画像セグメント化、または（３）追加の医用画像を生成するための当技術分野で知られている任意の他の技法を実施することができる。
【0088】
[00119] 段階Ｓ１５２の間において、平面医用画像化データ３０ａまたはボリューム医用画像化データ４０ａは、代わりに、生の形態で医用画像表示エンジン５０によって受信されてもよい。このような受信に続いて、医用画像生成器５１は、平面医用画像化データ３０ａまたはボリューム医用画像化データ３０ｂの画像再構成技術を実施することができる。そのような画像再構成に続いて、自律的に、または臨床医による起動を介して、画像ビューア５１は、再構成された医用画像の表示を実施し、さらに、表示された再構成医用画像を観察する臨床医に対し画像ナビゲーション機能（例えば、ズームイン、ズームアウト、回転など）および画像注釈機能を提供する。さらに、医用画像生成器５２は、自律的に、または臨床医による活性化を介して、（１）一連の再構成された平面医用画像のボリュームレンダリング、（２）再構成されたボリューム医用画像またはボリュームレンダリングによって表されるボリューム医用画像の画像セグメント化、または（３）追加の医用画像を生成するための当技術分野で知られている任意の他の技法を実施することができる。
【0089】
[00120] 続いて、または段階Ｓ１５２と同時に、フローチャートの段階Ｓ１５４の間において、特徴評価データ３１ａおよび顕在画像データ３６ａが、医用画像表示エンジン５０によって受信される。そのような受信に続いて、自律的に、または臨床医による活性化を介して、画像ビューア５１は、特徴評価データ３１ａをテキスト形式またはグラフィカル形式で表示し、顕在画像生成器５３は、顕在画像データ３６ａを処理して、画像ビューア５１による表示のための顕在画像３３を生成する。
【0090】
[00121] ここでも、実際には、顕在画像データ３６ａは、マスキングされた／修正された医用画像化データ３０ａ／３０ｂの各特徴の、新しい特徴評価３１ａに対する関連性を表す。任意のタイプの機械学習モデルの一実施形態において、顕在画像データ３６ａは、平面医用撮像化データ３０ａによって表される各ピクセル及びボリューム医用撮像化データ４０ａの各ボクセルの、最も関連性の低いピクセル／ボクセル（例えば、０）から最も関連性の高いピクセル／ボクセル（例えば、１６９）までのスケーリングを提供する。該スケーリングは、顕在画像生成器５１がヒートマップまたは特徴マップを生成することを可能にする。特にニューラルネットワークのための第２の実施形態において、画像データ３６ａをスケーリングすることは、最も関連性の低いフィルタ出力から最も関連性の高いフィルタ出力までの範囲のフィルタ出力を提供する。
【0091】
[00122] １つの畳み込みニューラルネットワーク実施形態において、顕在画像マネージャ４３は、ＣＮＮの最後の３Ｄ畳み込み層に対するクラスの勾配を計算し、全体平均プーリングを用いて各フィルタ出力の重みを得、これにより、顕在画像生成器５３は対応するフィルタ出力に対して重み、及びＲｅＬＵを適用することによってヒートマップを生成し、次いで、フィルタ出力を所望のサイズに正規化し、スケーリングする。
【0092】
[00123] 例えば、図４Ａは、０～２５５の範囲の関連する輝度スケール１３７ａを伴う例示的な平面ＣＴ画像１３２ａと、０～１６９の範囲の関連する重要度スケール１３７ｂを伴う対応する平面ヒートマップ１３３ａとを示す。図４Ａの場合、平面ＣＴ画像１３２ａの各ピクセルには、特徴評価３１ａに対する関連性レベルに基づいて輝度値が割り当てられており、平面ヒートマップ１３３ａに表示されたピクセルの重要度レベルは特徴評価３１ａに対するピクセルの関連性レベルを意味し、例えば、平面ヒートマップ１３３ａ内のレベル０で示されるピクセルは該ピクセルが特徴評価３１ａに対して最小の関連性レベルを有し、平面ヒートマップ１３３ａ内のレベル１６９で示されるピクセルは、このピクセルが特徴評価３１ａに対して最大の関連性レベルを有することを意味する。
【0093】
[00124] 同様に、例えば、図４Ｂは、０～２５５の範囲の関連する輝度スケール１３７ａを伴う例示的なボリュームＣＴ画像１３２ｂと、０～１６９の範囲の関連する重要度スケール１３７ｂを伴う対応するボリュームヒートマップ１３３ｂとを示す。図４Ａでは、ボリュームＣＴ画像１３２ｂの各ボクセルには特徴評価３１ａに対する関連性レベルに基づいて輝度値が割り当てられており、ボリュームヒートマップ１３３ｂに表示されたボクセルの重要度レベルは、例えば、ボリュームヒートマップ１３３ｂ内の０のレベルで示されるボクセルは該ボクセルが特徴評価３１ａに対して関連性レベルが最小であることを意味し、ボリュームヒートマップ１３３ｂ内の１６９のレベルで示されるボクセルは、このボクセルが特徴評価３１ａに対して関連性レベルが最大であることを意味するように、特徴評価３１ａに対するボクセルの関連性レベルを意味する。
【0094】
[00125] 図２Ｃに戻って参照すると、ヒートマップの実施形態の場合、段階Ｓ１５４は、医用画像化３０の特徴評価３１ａに関する最も関連性のある又は記述的な情報を露出させるために、顕在画像生成器５３（図２Ａ）ボリュームヒートマップと交差する再スライス顕在平面を定義するステップと、画像ビューア５１が、関連性に基づくガイダンスを考慮した医用画像化３０のボリューム空間内での臨床医による手動探求及びナビゲーションのためのユーザ対話機能を提供するステップとをさらに含む。
【0095】
[00126] より具体的には、顕在画像生成器５３は、自律的に、または臨床医の起動を介して、（１）機械学習モデルによるボリューム医用画像の特徴評価３１に対する各特徴の関連性レベルに基づくボリューム顕在画像からの平面顕在画像の関連性再スライシング、または（２）ボリューム顕在画像からの平面顕在画像の中心点または向きのユーザ指定再スライシングを実行する。
【0096】
[00127] 実際には、段階Ｓ１５４の関連性再スライシングおよびユーザ指定再スライシングは、ボリューム顕在画像の顕在ボクセルが関連性閾値を超える関連性レベルを有することを前提とし、複数の顕在ボクセルがボリューム医療画像化データ３０ｂの評価された特徴の顕在ビューを定義するであろう。再スライシング目的のために、ボリューム顕在画像内の再スライシングされる平面顕在画像の中心点と方向は、１つ以上の顕在ボクセルを含む、ボリューム顕在画像との再サンプリングされる顕在平面の交差から導出される。
【0097】
[00128] 実際には、関連性再スライシングは、顕在ボクセルの識別、１つまたは複数の顕在ボクセルを含む平面交差の描写、そして、例えば、最も高い空間分布の顕在ボクセル、顕在ボクセルの最も高い合計、または顕在ボクセルの最も高い平均を有することの選択などの、顕在ボクセルのビューを最適化する平面交差のうちの１つの選択を含む。
【0098】
[00129] 実際には、ユーザ指定の再スライシングは、顕在ボクセルの識別、平面交差の中心点または向きのユーザ指定、１つまたは複数の顕在ボクセルを含む平面交差の描写、そして、例えば、最も高い空間分布の顕在ボクセル、顕在ボクセルの最も高い合計、または顕在ボクセルの最も高い平均を有することの選択などの、顕在ボクセルのビューを最適化する平面交差のうちの１つの選択を含む。
【0099】
[00130] 例えば、明確にするために図５Ａに簡潔に示されるように、ボリューム顕在画像２３０は、各関連性レベルが関連性閾値を超える、強度が増加する関連性レベル２３２～２３５を有する顕在ボクセルの行の組２３１を含む。この例では、関連性閾値は２００とすることができ、関連性レベル２３２は２１０とすることができ、関連性レベル２３３は２２５であり得、関連性レベル２３４は２４０であり得、関連性レベル２３５は２５５であり得る。
【0100】
[00131] 図５Ｂは、顕在ボクセルの行２３１のＸＹ平面図を示すもので、水平線は、１つ以上の顕在ボクセルを含む、候補再スライシング顕在ＹＺ平面のボリューム顕在画像２３０との交差を表し、垂直線は、１つ以上の顕在ボクセルを含む、候補再スライシング顕在ＸＺ平面のボリューム顕在画像２３０との交差を表す。図５Ｂについては、再スライシング顕在平面２３６ａまたは再スライシング顕在平面２３６ｂが、最高空間分布顕在ボクセル、顕在ボクセルの最高合計、または顕在ボクセルの最高平均を考慮して選択され得る。
【0101】
[00132] 図５Ｃは顕在ボクセルの行２３１のＸＹ平面図を示し、水平は、１つ以上の顕在ボクセルを含む、候補再スライシング顕在ＹＺ平面のボリューム顕在画像２３０との交差を示す。図５Ｃでは、再スライス顕在平面２３６ｃが、最高空間分布顕在ボクセル、顕在ボクセルの最高合計、または顕在ボクセルの最高平均を考慮して選択され得る。
【0102】
[00133] 図５Ｄは、顕在ボクセルの行２３１のＸＹ平面図を示すもので、黒丸は顕在ボクセルの重心を表し、ラインは、１つ以上の顕在ボクセルを含む、候補再スライス顕在ＹＺ平面の上記重心を通るボリューム顕在画像２３０との交差を示す。図５Ｄでは、再スライス顕在平面２３６ｄが、重心に対する、最高空間分布顕在ボクセル、顕在ボクセルの最高合計、または顕在ボクセルの最高平均を考慮して選択され得る。
【0103】
[00134] 実際には、上記重心は顕在ボクセルのすべての３Ｄ点
の算術平均として計算され得る。
【数1】
【0104】
[00135] 図５Ｅは、顕在ボクセルの行２３１のＸＹ平面図を示し、黒丸はユーザ指定の中心点を表し、ラインは、１つまたは複数の顕在ボクセルを含む、ユーザ指定の位置を通る、候補再スライス顕在ＹＺ平面のボリューム顕在画像２３０との交差を表す。図５Ｅの場合、再スライス顕在平面２３６ｅが、ユーザ指定中心点に対する最高空間分布顕在ボクセル、顕在ボクセルの最高合計、または顕在ボクセルの最高平均を考慮して選択され得る。
【0105】
[00136] 図５Ｆは、顕在ボクセルの行２３１のＸＹ平面図を示すもので、黒いラインは１つ以上の顕在ボクセルを含むユーザ指定の向きにおけるボリューム顕在画像２３０との候補再スライシングＹＺ平面の交差を表す。図５Ｆでは、再スライス顕在平面２３６Ｆが、ユーザ指定中心点に対する、最も高い空間分布顕在ボクセル、顕在ボクセルの最も高い合計、または顕在ボクセルの最も高い平均を考慮して選択され得る。
【0106】
[00137] 図２Ａおよび図２Ｃに戻って参照すると、段階Ｓ１５４の間において、画像ビューワ５１は、例えば以下の表示を制御することができる：
(１) 再構成された医用画像１３２ａおよび対応する顕在視覚的ボリューム画像の３Ｄボリュームレンダリング（例えば、図４Ｂに示されるように、関連する輝度スケール１３７ａを有する３ＤボリュームＣＴ画像１３２ｂ、および関連する関連性スケール１３７ｂを有する対応する３Ｄ顕在視覚的画像１３３ｂ）；
(２) 図６Ａに示されるような、医用画像１３２ａからの特徴セグメンテーション３３８；
(３) 再構成された医用画像１３２ａおよび対応する顕在視覚ボリューム画像の傾斜面に従う知的再スライシング（例えば、図６Ｂに示されるような第１の主平面における３ＤボリュームＣＴ画像１３２ｂの再スライシング１３８ａと３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ａ、図６Ｃに示されるような第２の主平面における３ＤボリュームＣＴ画像１３２ｂの再スライシング１３８ｂと３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ｂ、および図６Ｄに示されるような第３の主平面における３ＤボリュームＣＴ画像１３２ｂの再スライシング１３８ｃと３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ｃ）；
(４) 標準的な直交平面（図示せず）（例えば、サジタル面、冠状面、および軸平面）における知的な再スライシング ；及び／又は
(５) ユーザ入力デバイス（例えば、タッチスクリーン、マウス、キーボード、拡張現実眼鏡など）を介してユーザによって定義されるような、再構成された医用画像および対応する顕在視覚的ボリューム画像を手動で再スライスすること。
(１) 再構成された医用画像１３２ａおよび対応する顕在視覚的ボリューム画像の３Ｄボリュームレンダリング（例えば、図４Ｂに示されるように、関連する輝度スケール１３７ａを有する３ＤボリュームＣＴ画像１３２ｂ、および関連する関連性スケール１３７ｂを有する対応する３Ｄ顕在視覚的画像１３３ｂ）；
(２) 図６Ａに示されるような、医用画像１３２ａからの特徴セグメンテーション３３８；
(３) 再構成された医用画像１３２ａおよび対応する顕在視覚ボリューム画像の傾斜面に従う知的再スライシング（例えば、図６Ｂに示されるような第１の主平面における３ＤボリュームＣＴ画像１３２ｂの再スライシング１３８ａと３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ａ、図６Ｃに示されるような第２の主平面における３ＤボリュームＣＴ画像１３２ｂの再スライシング１３８ｂと３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ｂ、および図６Ｄに示されるような第３の主平面における３ＤボリュームＣＴ画像１３２ｂの再スライシング１３８ｃと３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ｃ）；
(４) 標準的な直交平面（図示せず）（例えば、サジタル面、冠状面、および軸平面）における知的な再スライシング ；及び／又は
(５) ユーザ入力デバイス（例えば、タッチスクリーン、マウス、キーボード、拡張現実眼鏡など）を介してユーザによって定義されるような、再構成された医用画像および対応する顕在視覚的ボリューム画像を手動で再スライスすること。
【0107】
[00138] より詳細には、ボリュームレンダリングは、例えば、レイキャスティングアルゴリズムのような、本開示の技術分野で知られている方法を使用して計算され、入力画像と比較して示される。入力画像との比較は、並列可視化または画像ブレンディングを使用して達成することができる。重要度マップは、例えば、線形ベースの補間またはスプラインベースの補間のような、本開示の技術において既知の通常の補間技術を使用して、入力画像のサイズに再サンプリングされ得る。
【0108】
[00139] 再スライス平面の向きおよび位置は、ＧＵＩを介してユーザによって手動で、または顕在画像生成器５３によって自動的に定義することができる。一実施形態において、顕在画像生成器５３は、再スライシング面を、標準的な軸方向、サジタル、及び冠状方向のビューのうちの１つに、または重要度マップ内の最も顕在特徴の１つ（例えば、図６Ａに示されるような３ＤボリュームＣＴ画像３３３の顕在特徴３３８）における最高の分散（広がり）に沿った主平面に従って、位置することができる。これらの最も重要な顕在特徴は、特徴評価を行うために、再構成された医用画像１３２ａから顕在画像生成器５３によって抽出され得る。主平面は、中心点および法線によって定義される。中心点は、ヒートマップ１３３ｂ（図４Ｂ）内の最も重要な顕在特徴の位置から計算された重心に位置する。実際には、重心は顕在ボクセルのすべての３Ｄ点
の算術平均として計算され得る。主平面に対する法線ベクトルは、本開示の技術分野で既知の主成分分析（ＰＣＡ）法を用いて最も重要な顕在特徴に対して計算された最大の固有値を有する３つの固有ベクトルによって定義される。すべての再スライス面は、３Ｄ前後関係で、または２Ｄ画像としてのいずれかで、及び同じ向きで再スライスされた３ＤボリュームＣＴ画像１３２ａと比較して示され得る。
【数2】
【0109】
[00140] より詳細には、図６Ａ～図６Ｄを参照すると、図６Ａに示されるような３ＤボリュームＣＴ画像１３２ａにおける顕在特徴３３８のボクセルは、医用画像化表示エンジン５０によって意思決定プロセスにおいて３Ｄ人工知能エンジンにより優先順位付けされた重要度マップ内の最も高い値を有する特徴の１つとして自動的に抽出される。顕在特徴３３８のボクセルは、例えば、インスタンス輝度ベースの閾値処理またはモデルベースのセグメント化などの、本開示の技術分野で知られているセグメント化方法を使用して、重要度マップから自動的に抽出される。
【0110】
[00141] 図６Ｂは、顕在特徴３３８（図６Ａ）中心点およびに法線によって規定された第１の主平面における、３ＤボリュームＣＴ画像１３２ａの再スライシング１３８ａと、３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ａとを示す。
【0111】
[00142] 図６Ｃは、顕在特徴３３８の中心点およびに法線によって規定された第２の主平面における、３ＤボリュームＣＴ画像１３２ａの再スライシング１３８ｂと、３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ｂとを示す。
【0112】
[00143] 図６Ｄは、顕在特徴３３８に対する第３の主平面における、３ＤボリュームＣＴ画像１３２ａの再スライシング１３８ｃと、３Ｄ顕在視覚画像１３３ｂの再スライシング１３９ｃとを示す。
【0113】
[00144] 再スライシング１３９ａ～１３９ｃの中心点は、３Ｄ顕在視覚画像１３３ｂ内の顕在特徴３３８の位置から計算された重心に位置する。第１の主平面に対する法線は、本開示の技術分野で既知の主成分分析方法を使用して顕在特徴３３８から計算された２番目の最も高い固有値を有する固有ベクトルによって定義される。第２の主平面に対する法線は、本開示の技術分野で既知の主成分分析方法を使用して顕在特徴３３８から計算された最も高い固有値を有する固有ベクトルによって定義される。第３の主平面に対する法線は、本開示の技術分野で既知の主成分分析方法を使用して顕在特徴３３８から計算された最低の固有値を有する固有ベクトルによって定義される。
【0114】
[00145] 実際には、ユーザは、第１の主平面、第２の主平面、および第３の主平面の位置を修正することができる（例えば、ＧＵＩを介して中心点をその法線に沿って移動させる）。
【0115】
[00146] 更に、実際の所、顕在画像生成器５３は、ＡＩエンジン４０によって評価された特徴要素から導出された活性化図の表示を制御することができる。例えば、顕在画像生成器５３は、図７に示されるように、活性化マップの活性化図４３３において各個々のフィルタ出力を表示することができる。全重みの閾値（例えば、９０％）を選択することによって、活性化マップは、上位の重みに関連する上位のｎの活性化によってランク付けされ、それによって、活性化マップを降順に掲載する。この実施形態は、初期のキャリアの新しい臨床医、またはあまり経験がない医学生にとって特に有用であり、教科書に加えて良好な参照資料となり得る。
【0116】
[00147] 加えて、実際に、３Ｄ顕在視覚画像は２Ｄ顕在視覚画像よりも輪郭に関する豊富な情報を提供する。例えば、３Ｄヒートマップから、ユーザ指定グレースケールピクセル値は関心領域（例えば、小結節）の輪郭を視覚化し、それによって、該輪郭は、そうでなければ人間の注釈（例えば、関心ボリュームの領域、最大半径、最大半径の軸方向、該輪郭のテクスチャなど）を必要とする臨床情報に変換され、次いで、テキスト出力を生成することができる。例えば、図８に示すように、本開示の臨床医報告態様は、生成されたテキスト情報５３１の画像３０ａ、１３３ｂおよび１３２ｂへの自動的リンク付けを提供する。
【0117】
[00148] 本開示のさらなる理解を促進にするために、図９Ａおよび図９Ｂの以下の説明は、本開示のグラフィックユーザインターフェースの様々な実施形態を教示する。図９Ａおよび９Ｂの説明から、本開示の当業者は、本開示のグラフィックユーザインターフェースの多数のおよび様々な追加の実施形態を作製し、使用するために、本開示をどのように適用するかを理解するであろう。
【0118】
[00149] 図９Ａおよび図９Ｂを参照すると、グラフィックユーザインターフェース７０は、図１に関連して先に説明したような顕在操作段階Ｓ２６の実装としてフローチャート１７０を実行するために、ＧＵＩホームタブ７１、画像マスキングタブ７２、データ修正タブ７３、関連性閾値タブ７４および代替評価タブ７５を採用している。
【0119】
[00150] この目的のために、フローチャート１７０の段階Ｓ１７２はＧＵＩ ７０の活性化を包含し、該ＧＵＩ ７０は、それによって、ユーザ入力デバイス（例えば、マウス、キーボード、タッチスクリーン、拡張現実眼鏡など）を介してユーザ入力データを受信すると共に任意選択で補助患者情報（例えば、患者の年齢、病歴など）を受信する。該入力から、ＧＵＩ ７０はフローチャート１７０の段階Ｓ１７４～Ｓ１８８を介して処理し、それによって、ユーザが指定したようにＡＩエンジン４０と対話して、医用画像活性化３０の特徴評価３１の顕在視覚化を操作する。
【0120】
[00151] 具体的には、フローチャート１７０の段階Ｓ１７４の間に、ＧＵＩ ７０は入力データが画像マスキングタブ７２を介して受け取られたデータマスキングデータ３４ａであるかどうかを確認し、それによって、臨床医は平面医用画像またはボリューム医用画像と直接対話し、人工知能エンジン４０がどのように応答するかを見る。例えば、臨床医は、顕在画像３３（図１）を分析して、平面医用画像またはボリューム医用画像の１つまたは複数の特定の領域が現在の特徴評価３１（図１）と無関係であるかどうかを確認することができる。臨床医が、平面医用画像またはボリューム医用画像の１つ若しくは複数の特定の領域が、そのような画像の現在の特徴評価３１に無関係であることを疑う場合、臨床医は、その無関係な領域をマスクし、顕在画像を見て、そのようなマスキングが医用画像化３０の特徴評価３１に及ぼす影響を見ることができる。
【0121】
[00152] 図１０Ａは、ＡＩエンジン４０（図２Ａ）のデータプリプロセッサ４１による画像マスキングの臨床医指定をもたらす画像マスキングＧＵＩ ７２の実施形態７２ａを示し、それによって、ＡＩエンジン４０が、２Ｄ医用平面画像または３Ｄ医用ボリューム画像の１つまたは複数の領域のマスキングにどのように応答するかを見る。臨床医が、２Ｄ医用平面画像または３Ｄ医用ボリューム画像の強調表示された領域が無関係であると疑う場合、臨床医は該無関係な領域をマスクし、そのようなマスキングが予測ｘまたは仮定予測ｙに及ぼす影響を見ることができる。図１０Ａに示すように、本開示の画像マスキングＧＵＩ７２ａは医用画像２７１および２７２を同時に表示することができ、それによって、臨床医は医用画像２７１を元の基準として使用しながら、医用画像２７２の領域をマスクするためにツールアイコン２７３ａ、２７３ｂ、および２７４ｃを利用することができる。
【0122】
[00153] ＧＵＩ ７０が段階Ｓ１７４の間に入力データがデータマスキングのためのものであることを確認した場合、ＧＵＩ ７０はフローチャート１７０の段階Ｓ１７６に進み、データマスクデータ３４ａをＡＩエンジン４０に通信し、それによって、ＡＩエンジン４０は本明細書で前述したようにフローチャート１４０（図２Ｂ）のＳ１４２～Ｓ１４６を実行し、医用画像表示エンジン５０は、本明細書で前述したように段階Ｓ１５４（図２Ｃ）を実行する。
【0123】
[00154] ＧＵＩ ７０が段階Ｓ１７４の間に、入力データがデータマスキング用ではないことを確認した場合、ＧＵＩ ７０はフローチャート１７０の段階Ｓ１７８に進み、入力データがデータ修正タブ７３を介して受信されたデータ修正データ３４ｂであるかどうかを確認し、それによって、臨床医は、顕在画像３０によって視覚化されるように、医用画像３０の特徴評価３１に対する人工知能エンジン４０への各入力の影響を検査することができる。データ修正の例には、これらに限定されないが、（１）人工知能エンジンの医用画像化入力または医用画像化入力の組合せの有効化／無効化、（２）人工知能エンジンの医用画像化入力または医用画像化入力の組合せのピクセル／ボクセル輝度値の増加／減少、（３）人工知能エンジンの補助情報入力または補助情報入力の組合せの有効化／無効化、または（４）人工知能エンジンの補助情報入力または補助情報入力の組合せの変更、が含まれる。
【0124】
[00155] 図１０Ｂは、ＡＩエンジン４０のデータ入力構成の臨床医指定（明細）を提供するデータ修正ＧＵＩ ７３の実施形態７３ａを示し、２Ｄ／３Ｄ医用画像化３０の結果として得られる特徴評価３１への各入力の影響を検査する。一実施形態において、本開示のデータ操作ＧＵＩは、臨床医が画像要素（例えば、ピクセルまたはボクセル）のうちの１つまたは組合せをオンおよびオフに切り替えること、ならびにスライダ、トグルボタンなどを介して入力値を変更することを可能にする。結果として生じる顕在視覚画像３０を観察することによって、臨床医は予測精度に対する各入力の影響を視覚的に評価することができ、したがって、将来、すべての無関係な情報を排除するか、または各入力の重要性を理解することができる。より具体的には、図１０Ｂに示されるように、ＡＩエンジン４０は主入力画像素子３７０（例えば、ピクセルまたはボクセル）およびいくつかの補助情報（例えば、小結節半径３７１、小結節球形度３７２、および別の機械学習モデル３７３からの出力）の両方を含み得る。主入力は、２Ｄ または３Ｄ 画像のいずれかであり得る。補助入力は、画像注釈、患者の年齢または病歴に存在する単語の組、画像処理または機械学習アルゴリズムからの出力または出力の組合せ、ならびに主入力画像に位置合わせされる他の方式からの画像を含み得る。本開示のデータ修正ＧＵＩ ７３ａは、例えば、黒色または白色の入力によって象徴された修正を有する修正入力３７０´～３７３´を介して等により、入力３７０～３７３の修正を提供する。
【0125】
[00156] ＧＵＩ ７０が段階Ｓ１７８の間に入力データがデータ修正のためのものであることを確認した場合、ＧＵＩ ７０はフローチャート１７０の段階Ｓ１８０に進み、データ修正データ３４ａをＡＩエンジン４０に通信し、それによって、ＡＩエンジン４０は本明細書で前述したようにフローチャート１４０（図２Ｂ）のＳ１４２～Ｓ１４６を実行し、医用画像表示エンジン５０は、本明細書で前述したように段階Ｓ１５４（図２Ｃ）を実行する。
【0126】
[00157] ＧＵＩ ７０が段階Ｓ１７８の間に入力データがデータ修正のためのものではないことを確認した場合、ＧＵＩ ７０はフローチャート１７０の段階Ｓ１８２に進み、入力データが関連性閾値タブ７４を介して受信された特徴関連性閾値データ３５ａであるかどうかを確認し、それによって、平面医用画像の特徴評価３１に対する平面医用画像のピクセルの関連性レベルの臨床医設定、または、ボリューム医用画像の特徴評価３１に対するボリューム医用画像のボクセルの関連性レベルの臨床医設定が行われる。当該洞察は、平面医用画像の全てのピクセル又はボリューム平面画像の全てのボクセルが特徴評価３１に等しく関連するわけではなく、臨床医は典型的には最も疑わしいと思われる画像の特徴に焦点を当てるということである。したがって、平面医用画像のピクセルまたはボリューム平面画像のボクセルの関連性レベルは、臨床医によって、特徴が関連性の当該レベルに達した場合に画像の該特徴が顕在画像３３内でより明確に強調されるような値に設定され得る。
【0127】
[00158] 図１０Ｃは、特定のリスク予測／状態分類に対する解剖学的領域／器官の２Ｄ医用画像のピクセルの関連性レベル、または特定のリスク予測／状態分類に対する３Ｄ医用画像のボクセルの関連性レベルに関する、ＡＩエンジン４０（図１）の構成の臨床医指定を提供する関連性閾値ＧＵＩ ７４の実施形態７４ａを示す。当該洞察は、２Ｄ医用平面画像または３Ｄ医用ボリューム画像の全ての領域が特定の診断決定に等しく関連しているわけではなく、臨床医は、典型的に、最も疑わしいと思う領域に焦点を当てているということである。一実施形態において、本開示の画像関連性ＧＵＩは２Ｄ再構成医用画像または３Ｄ医用ボリューム画像の表示を制御し、それによれば、臨床医は１つまたは複数の領域の関連性レベルを、２Ｄ医用平面画像または３Ｄ医用ボリューム画像内の領域がこれらの領域がその関連性レベルに達した場合に強調表示されるような値に設定することができる。例えば、図１０Ｃに示すように、本開示の画像関連性ＧＵＩ ７４ａは、特徴評価からの２Ｄヒートマップ４４ａ（又は代替的に３Ｄヒートマップ）を表示することができ、それにより、臨床医はインターフェース４７５を使用してＡＩエンジン４０の特徴要素の関連性レベル（ｒ）を修正し、特徴評価に最も関連していると見なされる領域に焦点を当てる修正された２Ｄヒートマップ４４ｂ（又は代替的に、修正された３Ｄヒートマップ）の表示を制御することができる。より具体的には、図４Ａおよび４Ｂに関連して、臨床医は、例示的に、１３５．２未満の如何なる輝度も同じ色（例えば、青）となり、１３５．２を超える如何なる輝度も同じ色（例えば、赤）となるように指定でき、または臨床医は、例示的に、６７．６未満の如何なる輝度も同じ色（例えば、青）となり、１３５．２を超えるすべての輝度が、示されるように、色の線形変化に従うように指定することができる。
【0128】
[00159] ＧＵＩ ７０が段階Ｓ１８２の間において入力データが関連性閾値指定のためのものであることを確認した場合、ＧＵＩ ７０はフローチャート１７０の段階Ｓ１８４に進んで関連性閾値データ３４ａをＡＩエンジン４０に通信し、それによって、ＡＩエンジン４０は本明細書で前述したようにフローチャート１４０（図２Ｂ）のＳ１４４およびＳ１４６を実行し、医用画像表示エンジン５０は本明細書で前述したように段階Ｓ１５４（図２Ｃ）を実行する。
【0129】
[00160] ＧＵＩ ７０が段階Ｓ１８２の間において入力データが関連性閾値指定のためのものではないことを確認した場合、ＧＵＩ ７０はフローチャート１７０の段階Ｓ１８６に進み、入力データが代替評価タブ７５を介して受信された代替特徴評価データ３５ｂであるかどうかを確認し、それによって、臨床医は医用画像化３０の特徴評価３１の異なる予測または異なる分類（例えば、予測／分類ｘおよび予測／分類ｙ）の間で仮説を立てることができ、人工知能エンジンが医用画像化３０の予測／分類ｘを、該医用画像化３０の予測／分類ｘを示す顕在画像３１によって視覚化されるようにする場合、臨床医は、医用画像化３０の予測／分類ｙに最も関連する特徴を見るために、該医用画像化３０の予測／分類ｙを示す顕在画像３１によって視覚化されるように、ＧＵＩを介して該予測／分類ｙを選択することができる。
【0130】
[00161] 図１０Ｄは、代替特徴評価のユーザ選択を提供する代替評価ＧＵＩ ７５の実施形態７４ａを示し、これによれば、ＡＩエンジン４０が初期特徴評価をレンダリングする場合、臨床医は、代替特徴評価に最も関連する領域を見ることができる。例えば、図１０Ｄに示すように、代替評価ＧＵＩ ７５ａは、初期特徴評価１３１ａの平面ヒートマップ５７５ａ（または代替として３Ｄヒートマップ）を表示する。代替評価ＧＵＩ ７５は、臨床医が代替特徴評価１３１ｂ～１３１ｄのうちの１つを選択して、該選択された代替特徴評価に関連する画像特徴を示す修正された２Ｄヒートマップ５７５ｂを表示することを可能にする。さらなる例によれば、ＡＩエンジン４０（図１）の評価出力は、正常、神経膠芽腫、肉腫、および脳転移性腫瘍の多分類病変分類に基づくことができる。初期特徴評価１３１ａは肉腫（sarcoma）かもしれず、２Ｄヒートマップ５７５ｂは肉腫評価を示し、これによれば、臨床医は正常（１３１ｂ）、神経膠芽腫（１３１ｃ）または脳転移性腫瘍（１３１ｄ）を選択し、選択された代替特徴評価に関連する画像特徴を見ることができる。
【0131】
[00162] ＧＵＩ ７０が段階Ｓ１８６の間において入力データが関連性閾値指定のためのものであることを確認した場合、ＧＵＩ ７０はフローチャート１７０の段階Ｓ１８８に進み、関連性閾値データ３４ａをＡＩエンジン４０に通知し、それによって、ＡＩエンジン４０は本明細書で前述したようにフローチャート１４０（図２Ｂ）のＳ１４４およびＳ１４６を実行し、医用画像表示エンジン５０は本明細書で前述したように段階Ｓ１５４（図２Ｃ）を実行する。
【0132】
[00163] ＧＵＩ ７０が段階Ｓ１８６の間において入力データが代替評価指定に対するものではないことを確認すると、ＧＵＩ ７０は段階Ｓ１７２に戻る。
【0133】
[00164] 本開示の理解をさらに容易にするために、図１１の以下の説明は本開示の顕在医療画像化コントローラの様々な実施形態を教示し、図１２の以下の説明は、本開示の顕在視覚化システムの様々な実施形態を教示する。図１１および図１２の説明から、本開示の当業者は本開示の顕在医用画像化コントローラの多数のおよび様々な追加の実施形態を作製および使用するために、本開示をどのように適用するかを理解するであろう。
【0134】
[00165] 実際には、本開示の顕在医用画像化コントローラは、本明細書で前述した本開示の顕在医用画像化方法を実施するためのハードウェア／回路／ソフトウェア／ファームウェアとして具現化することができる。さらに、実際には、顕在医用画像化コントローラは、カスタマイズされ、サーバ、ワークステーション等にインストールされてもよく、または汎用コンピュータ上にプログラムされてもよい。
【0135】
[00166] 図１１に示す一実施形態において、顕在医用画像化コントローラ８０は、１つまたは複数のシステムバス８６を介して相互接続されたプロセッサ８１、メモリ８２、ユーザインターフェース８３、ネットワークインターフェース８４、および記憶装置８５を含む。実際には、コントローラ８０の要素８１～８５の実際の編成は、図示されたものよりも複雑である。
【0136】
[00167] プロセッサ８１は、メモリ又は記憶装置に記憶された命令を実行するか、又はそれ以外でデータを処理することができる任意のハードウェア装置であり得る。したがって、プロセッサ８１は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、または他の同様のデバイスを含むことができる。
【0137】
[00168] メモリ８２は、例えば、Ｌ１、Ｌ２、又はＬ３キャッシュ又はシステムメモリのような様々なメモリを含み得る。したがって、メモリ８２は、スタティックランダムアクセスメモリ、ダイナミックＲＡＭ、フラッシュメモリ、読み出し専用メモリ、または他の同様のメモリデバイスを含むことができる。
【0138】
[00169] ユーザインターフェース８３は、管理者のようなユーザとの通信を可能にするための１つ以上の装置を含み得る。例えば、ユーザインターフェース８３は、ディスプレイ、マウス、およびユーザコマンドを受信するためのキーボードを含むことができる。ある実施形態では、ユーザインターフェース８３は、ネットワークインターフェース８４を介して遠隔端末に提示され得るコマンドラインインターフェースまたはグラフィックユーザインターフェースを含んでもよい。
【0139】
[00170] ネットワークインターフェース８４は、他のハードウェア装置との通信を可能にするための一つ以上の装置を含み得る。例えば、ネットワークインターフェース８４は、イーサネットプロトコルに従って通信するように構成されたネットワークインターフェースカード（ＮＩＣ）を含んでもよい。さらに、ネットワークインターフェース８４は、ＴＣＰ／ＩＰプロトコルに従って通信するためのＴＣＰ／ＩＰスタックを実装できる。ネットワークインターフェースのための様々な代替又は追加のハードウェア又は構成は明らかであろう。
【0140】
[00171] 記憶装置８５は、読取り専用メモリ、ランダムアクセスメモリ、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、または同様の記憶媒体のような１つ以上のマシン読取可能な記憶媒体を含むことができる。様々な実施形態において、記憶装置８５は、プロセッサ８１による実行のための命令、またはプロセッサ８１が作用することができるデータを記憶できる。例えば、記憶装置８５は、ハードウェアの様々な基本動作を制御するための基本オペレーティングシステム（図示せず）を記憶する。
【0141】
[00172] 本開示に対しより具体的には、記憶装置８５は、ＡＩエンジン４０（図２Ａ）の実施形態としてのＡＩエンジン４０ａ、医療画像表示エンジン５０（図２Ａ）の実施形態としての医療画像表示エンジン５０ａ、およびＡＩエンジン７０（図８Ａ）の実施形態としてのグラフィックユーザインターフェース（複数可）７０ａの形態で制御モジュール８７を記憶することができる。
【0142】
[00173] 図１２Ａを参照すると、実際には、顕在医用画像化コントローラ８０は、複数のクライアント（例えば、図示のようなクライアント１０１およびクライアント１０２）によってアクセス可能なアプリケーションサーバ１００内にインストール／プログラムすることができ、及び／又はモニタ１０４、キーボード１０５およびコンピュータ１０６を使用するワークステーション１０３内にインストール／プログラムすることができる。
【0143】
[00174] 動作中に、顕在医用画像化コントローラ８０は、トレーニングフェーズおよびフェーズ中に医用画像化データソース９０から平面またはボリュームの医用画像化データ３０を入力する。医用画像化データソース９０は、任意の数およびタイプの医用画像化マシン（例えば、図示のようにＭＲＩマシン９１、ＣＴマシン９３、Ｘ線マシン９５、および超音波マシン９７）を含むことができ、データベース管理／ファイルサーバ（例えば、図示のようにＭＲＩデータベース管理サーバ９２、ＣＴサーバ９４、Ｘ線データベース管理サーバ９６、および超音波データベース管理サーバ９７）をさらに含むことができる。実際には、アプリケーションサーバ１００またはワークステーション１０３は、どちらが適用可能であっても、医用画像化データソース９０に直接にまたはネットワークで接続され、それによって、顕在医用画像化コントローラ８０のための医用画像化データ３０を入力できる。代わりに、医用画像化データソース９０およびアプリケーションサーバ１００またはワークステーション１０３は、どちらが適用可能であっても、直接統合することができ、それによって、顕在医用画像化コントローラ８０は医用画像化データ３０に直接アクセスすることができる。
【0144】
[00175] 図１２Ｂは、ＡＩエンジン４０ａ及びＧＵＩ７０ａを実施化するための評価コントローラ８０ａと、医用画像表示エンジン５０ａのための表示コントローラ８０ｂとに分離された顕在医用画像化コントローラ８０の代替実施形態を示す。この実施形態では、評価コントローラ８０ａおよび表示コントローラ８０ｂは、アプリケーションサーバ１００若しくはワークステーション１０３内にインストール／プログラムされてもよく、またはアプリケーションサーバ１００とワークステーション１０３との間に分散的にインストール／プログラムされてもよい。
【0145】
[00176] 図１～図１２を参照すると、当業者であれば、臨床医による特徴評価の明確かつ簡潔な理解を容易にする、身体、人または動物の医学的画像化の機械学習モデルによる特徴評価の臨床医による視覚化を含むが、これに限定されない、本開示の多くの利点を理解するであろう。
【0146】
[00177] さらに、前記記憶装置に記憶されるように記載された様々な情報は、追加的にまたは代替的に前記メモリに記憶されてもよいことは明らかであろう。この点において、前記メモリは「記憶装置」を構成すると考えることもでき、前記記憶装置は「メモリ」と考えることができる。種々の他の構成も明らかであろう。さらに、前記メモリ及び記憶装置は、共に、「非一時的なマシン読取可能な媒体」と考えることができる。本明細書で使用されるように、用語「非一時的」は、一時的信号を除外するが、揮発性メモリおよび不揮発性メモリの両方を含むすべての形態の記憶装置を含むと理解される。
【0147】
[00178] 当該装置は説明された各構成要素のうちの１つを含むものとして示されているが、様々な構成要素は様々な実施形態において重複することができる。例えば、プロセッサは本開示で説明された方法を独立して実行するように構成された、または、複数のプロセッサが協働して本開示で説明された機能を達成するように、本開示で説明された方法のステップまたはサブルーチンを実行するように構成された複数のマイクロプロセッサを含み得る。さらに、当該装置がクラウドコンピューティングシステムで実現される場合、様々なハードウェア構成要素は、別々の物理システムに属してもよい。例えば、プロセッサは第１のサーバ内に第１のプロセッサを含み、第２のサーバ内に第２のプロセッサを含むことができる。
【0148】
[00179] 以上の説明から、本発明の様々な例示的な実施形態をハードウェアまたはファームウェアで実施できることが明らかであろう。さらに、様々な例示的な実施形態は、本明細書で詳細に説明される動作を実行するために少なくとも１つのプロセッサによって読み取られ、実行され得る、マシン読取可能な記憶媒体上に格納された命令として実装され得る。マシン読取可能な記憶媒体は、パーソナルまたはラップトップコンピュータ、サーバ、または他のコンピューティングデバイスのような、マシンによって可読な形で情報を記憶する任意の機構を含むことができる。したがって、マシン読取可能な記憶媒体は、読み取り専用メモリ、ランダムアクセスメモリ、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、および同様の記憶媒体を含み得る。
【0149】
[00180] 本明細書の任意のブロック図は、本発明の原理を実施する例示的な回路の概念図を表すことを当業者は理解されたい。同様に、任意のフローチャート、フロー図、状態遷移ダイアグラム、擬似コードなどは、コンピュータまたはプロセッサが明示的に示されているか否かにかかわらず、コンピュータまたはプロセッサによって実行される、マシン読み取り可能な媒体で実質的に表現され得る様々なプロセスを表すことが理解されるであろう。
【0150】
[00181] 様々な例示的な実施形態を、その特定の例示的な態様を特に参照して詳細に説明してきたが、本発明は他の実施形態が可能であり、その詳細は様々な明白な点で修正が可能であることを理解されたい。当業者には容易に明らかなように、本発明の精神および範囲内に留まりながら、変形および修正を行うことができる。したがって、前述の開示、説明、および図面は例示の目的のためだけのものであり、特許請求の範囲によってのみ定義される本発明を決して限定するものではない。
【図1】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図3H】
【図3I】
【図3J】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図10D】
【図11】
【図12A】
【図12B】