特表 2021-520588 対話式ボリューム限界を定める３Ｄカーソルを用いた放射線医支援機械学習

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-520588(P2021-520588A)

(43)【公表日】2021年8月19日

(54)【発明の名称】対話式ボリューム限界を定める３Ｄカーソルを用いた放射線医支援機械学習

(51)【国際特許分類】

   G06T 15/08 20110101AFI20210726BHJP

   G16H 50/20 20180101ALI20210726BHJP

   A61B 5/00 20060101ALI20210726BHJP

【ＦＩ】

   G06T15/08

   G16H50/20

   A61B5/00 D

【審査請求】未請求

【予備審査請求】有

【全頁数】26

(21)【出願番号】特願2021-503696(P2021-503696)

(86)(22)【出願日】2019年3月26日

(85)【翻訳文提出日】2020年12月1日

(86)【国際出願番号】US2019023968

(87)【国際公開番号】WO2019195022

(87)【国際公開日】20191010

(31)【優先権主張番号】62/651,934

(32)【優先日】2018年4月3日

(33)【優先権主張国】US

(31)【優先権主張番号】62/748,555

(32)【優先日】2018年10月22日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】520384323

【氏名又は名称】ダグラス，デイヴィッド，バイロン

(71)【出願人】

【識別番号】520277106

【氏名又は名称】ダグラス，ロバート，イー．

(71)【出願人】

【識別番号】520277117

【氏名又は名称】ダグラス，キャスリーン，エム．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ダグラス，デイヴィッド，バイロン

(72)【発明者】

【氏名】ダグラス，ロバート，イー

(72)【発明者】

【氏名】ダグラス，キャスリーン，エム．

【テーマコード（参考）】

4C117

5B080

5L099

【Ｆターム（参考）】

4C117XB09

4C117XD03

4C117XD26

4C117XE44

4C117XE45

4C117XE46

4C117XF01

4C117XF03

4C117XG14

4C117XJ01

4C117XJ11

4C117XJ34

4C117XK04

4C117XK05

4C117XM01

4C117XM02

4C117XM03

4C117XM04

4C117XR06

5B080AA17

5B080FA08

5L099AA04

(57)【要約】

コンピュータ化された医療診断システムが放射線医フィードバックに基づいて更新される訓練データセットを使用する。放射線医が３Ｄカーソルを断面撮像研究に対するチェックリストアプローチに組み込む。ＣＡＡ／ＡＩアルゴリズムがサブボリュームに対して実行される。セグメント化およびフィルタリングを通じた妨げのない視認を介してＡＩ／ＣＡＤアルゴリズムによって特定される所見を放射線医に提示することができる。「仮想バケット」を用いてＡＬと放射線医との間の不一致を調整するプロセスが用いられる。放射線医は画像マークアップを行い、所見用語、診断および確実性レベルで画像をラベル付けし、次に、各バケットにサブボリュームを加えることによって、訓練データセットを後続のＡＩアルゴリズムのために拡張する。

【特許請求の範囲】

【請求項1】

機械学習能力を有する医療画像診断コンピュータで医療画像データを分析する間に訓練データセットを連続的に更新することを含む方法であって、
前記連続的に更新することは、
三次元カーソルを使用して、医療画像のサブボリュームを選択するステップであって、選択されるサブボリュームは、診断チェックリスト上の項目に対応する、使用するステップと、
前記選択されるサブボリュームを分析して、人間生成分析を作成するステップと、
該人間生成分析を用いて、前記訓練データセットを更新するステップとを含む、
方法。

【請求項2】

前記訓練データセットを用いて前記選択されるサブボリュームを分析して、前記選択されるサブボリュームを手作業で分析する前に前記診断コンピュータで機械生成分析を作成することを含む、請求項１に記載の方法。

【請求項3】

前記人間生成分析を用いて前記訓練データセットを更新する前に、前記人間生成分析と前記機械生成分析との間の不一致を解消することを含む、請求項２に記載の方法。

【請求項4】

前記機械生成分析のためにコンピュータ作成説明を生成することを含む、請求項３に記載の方法。

【請求項5】

前記人間生成分析を用いて前記訓練データセットを更新する前に、前記説明に基づいて前記人間生成分析を更新することを含む、請求項４に記載の方法。

【請求項6】

前記人間生成分析および機械生成分析のコンセンサス検討を促すことを含む、請求項３に記載の方法。

【請求項7】

前記人間生成分析を用いて前記訓練データセットを更新する前に、前記コンセンサス検討に基づいて前記人間生成分析を更新することを含む、請求項６に記載の方法。

【請求項8】

前記人間生成分析の作成を促進するために、前記診断コンピュータが前記チェックリスト上の前記項目に関連する患者特異的データを抽出し且つ提示することを含む、請求項１に記載の方法。

【請求項9】

前記人間生成分析を作成することは、所見または診断を記述する用語、マークされたピクセルまたはボクセル、および所見または診断の確実性の表示のうちの少なくとも１つを作成することを含む、請求項１に記載の方法。

【請求項10】

前記機械生成分析を作成することは、所見または診断を記述する用語、マークされたピクセルまたはボクセル、および所見または診断の確実性の表示のうちの少なくとも１つを作成することを含む、請求項１に記載の方法。

【請求項11】

所見と関連しない前記選択されるサブボリューム内の組織をフィルタリングして除去することを含む、請求項１に記載の方法。

【請求項12】

前記選択されるサブボリューム内の組織に対してセグメント化を実行することを含む、請求項１１に記載の方法。

【請求項13】

前記所見と関連する組織を包含するために、前記三次元カーソルを自動的にサイズ変更することを含む、請求項１１に記載の方法。

【請求項14】

前記チェックリストは、複数の項目を含み、それらの各々は、分析され、前記人間生成分析に基づいて報告書を生成することを含む、請求項３に記載の方法。

【請求項15】

前記人間生成分析と前記機械生成分析との間の不一致の表示を含めることを含む、請求項１４に記載の方法。

【請求項16】

診断の信頼性または危険性を視覚的に示す前記三次元カーソルを含む、請求項１に記載の方法。

【請求項17】

所見と関連する組織を仮想容器内に配置することを含む、請求項１１に記載の方法。

【請求項18】

正常所見容器、疾患特異的容器、および鑑別診断容器から仮想容器を選択することを含む、請求項１７に記載の方法。

【請求項19】

医療画像データを分析しながら訓練データセットを連続的に更新するコンピュータプログラム論理を格納する非一時的媒体を含む、機械学習能力を有する医療画像診断コンピュータを含み、該医療画像診断コンピュータは、
三次元カーソルで医療画像のサブボリュームを選択する品目選択論理であって、前記選択されるサブボリュームは、診断チェックリスト上の品目に対応する、品目選択論理と、
前記選択されるサブボリュームの人間生成分析を作成する入力を受信する入力論理と、
前記人間生成分析に基づいて前記訓練データセットを更新する更新論理とを含む、
装置。

【請求項20】

前記人間生成文政期が生成される前に前記訓練データセットを用いて前記選択されるサブボリュームを分析して機械生成分析を作成する診断論理を含む、請求項１９に記載の装置。

【請求項21】

前記人間生成分析を用いて前記訓練データセットを更新する前に前記人間生成分析と前記機械生成分析との間の不一致を解消する解消論理を含む、請求項２０に記載の装置。

【請求項22】

前記機械生成分析のためのコンピュータ作成説明を生成する仮想教師を含む、請求項２１に記載の装置。

【請求項23】

前記解消論理は、前記人間生成分析を用いて前記訓練データセットを更新する前に前記説明に基づいて前記人間生成分析を更新する、請求項２２に記載の装置。

【請求項24】

前記解消論理は、前記人間生成分析および前記機械生成分析のコンセンサス検討を促す、請求項２１に記載の装置。

【請求項25】

前記解消論理は、前記人間生成分析を用いて前記訓練データセットを更新する前に前記コンセンサス検討に基づいて前記人間生成分析を更新する、請求項２４に記載の装置。

【請求項26】

前記人間生成分析の生成を促進するために、前記診断コンピュータが前記チェックリスト上の前記項目に関連する患者特異的データを抽出し且つ提示することを含む、請求項１９に記載の装置。

【請求項27】

前記人間生成分析は、所見または診断を記述する用語、マークされたピクセルまたはボクセル、および前記所見または前記診断の確実性の表示のうちの少なくとも１つを含む、請求項１９に記載の装置。

【請求項28】

前記機械生成分析は、所見または診断を記述する用語、マークされたピクセルまたはボクセル、および前記所見または前記診断の確実性の表示のうちの少なくとも１つを含む、請求項１９に記載の装置。

【請求項29】

所見と関連しない前記選択されるサブボリューム内の組織を画像から除去するフィルタリング論理を含む、請求項１９に記載の装置。

【請求項30】

前記選択されるサブボリューム内の組織をセグメント化するセグメント化論理を含む、請求項２９に記載の装置。

【請求項31】

前記所見と関連する組織を包含するために前記三次元カーソルをサイズ変更する論理を含む、請求項２９に記載の装置。

【請求項32】

前記チェックリストは、複数の項目を含み、それらの各々は分析され、前記人間生成分析に基づいて報告書を生成する論理を含む、請求項２１に記載の装置。

【請求項33】

前記報告書を生成する前記論理は、前記報告書中の前記人間生成分析と前記機械生成分析との間の不一致の表示を含む、請求項３２に記載の装置。

【請求項34】

診断の信頼性または危険性を視覚的に示す前記三次元カーソルを含む、請求項１９に記載の装置。

【請求項35】

所見と関連する組織が配置される仮想容器を含む、請求項２９に記載の装置。

【請求項36】

前記仮想容器は、正常所見容器、疾患特異的容器、及び鑑別診断容器から選択される、請求項３５に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

この開示の態様は、一般的には、医療分野におけるコンピュータ支援検出（ＣＡＤ）および人工知能（ＡＩ）の使用に関し、より具体的には、診断放射線学における機械学習に関する。

【背景技術】

【0002】

ＡＩおよびＣＡＤは、医用撮像分野を急速に変化させている。一例として、多くのマンモグラフィ実施者は、ＣＡＤを使用して、２Ｄ撮像上の乳癌の検出を助けている。しかしながら、ＣＡＤシステムは、臨床的影響についての最適化の欠如および性能効率の定量化の欠如を含む、限界を有する。

【発明の概要】

【0003】

この文書で述べる全ての例、態様および構成を、技術的に着想可能な任意の方法で組み合わせることができる。

【0004】

ある態様によれば、方法が、機械学習能力を有する医療画像診断コンピュータで医療画像データを分析する間に訓練データセットを連続的に更新することを含み、連続的に更新することは、三次元カーソルを使用して、医療画像のサブボリュームを選択するステップであって、選択されるサブボリュームは、診断チェックリスト上の項目に対応する、使用するステップと、選択されるサブボリュームを分析して、人間生成分析を作成するステップと、人間生成分析を用いて、訓練データセットを更新するステップとを含む。幾つかの実装は、訓練データセットを用いて選択されるサブボリュームを分析して、選択されるサブボリュームを手作業で分析する前に診断コンピュータで機械生成分析を作成することを含む。幾つかの実装は、人間生成分析を用いて訓練データセットを更新する前に、人間生成分析と機械生成分析との間の不一致を解消することを含む。幾つかの実装は、機械生成分析のためにコンピュータ作成説明を生成することを含む。幾つかの実装は、人間生成分析を用いて訓練データセットを更新する前に、説明に基づいて人間生成分析を更新することを含む。幾つかの実装は、人間生成分析および機械生成分析のコンセンサス検討を促すことを含む。幾つかの実装は、人間生成分析を用いて訓練データセットを更新する前に、コンセンサス検討に基づいて人間生成分析を更新することを含む。幾つかの実装は、人間生成分析の作成を促進するために、診断コンピュータがチェックリスト上の項目に関連する患者特異的データを抽出し且つ提示することを含む。幾つかの実装において、人間生成分析を作成することは、所見または診断を記述する用語、マークされたピクセルまたはボクセル、および所見または診断の確実性の表示のうちの少なくとも１つを作成することを含む。幾つかの実装において、機械生成分析を作成することは、所見または診断を記述する用語、マークされたピクセルまたはボクセル、および所見または診断の確実性の表示のうちの少なくとも１つを作成することを含む。幾つかの実装は、所見と関連しない選択されるサブボリューム内の組織をフィルタリングして除去することを含む。幾つかの実装は、選択されるサブボリューム内の組織に対してセグメント化を実行することを含む。幾つかの実装は、所見と関連する組織を包含するために、三次元カーソルを自動的にサイズ変更することを含む。幾つかの実装において、チェックリストは、複数の項目を含み、それらの各々は、分析され、方法は、人間生成分析に基づいて報告書を生成することを含む。幾つかの実装は、人間生成分析と機械生成分析との間の不一致の表示を含めることを含む。幾つかの実装は、診断の信頼性または危険性を視覚的に示す三次元カーソルを含む。幾つかの実装は、所見と関連する組織を仮想容器内に配置することを含む。幾つかの実装は、正常所見容器、疾患特異的容器、および鑑別診断容器から仮想容器を選択することを含む。

【0005】

ある態様によれば、装置が、機械学習能力を有する医療画像診断コンピュータを含み、診断コンピュータは、医療画像データを分析しながら訓練データセットを連続的に更新するコンピュータプログラム論理を格納する非一時的媒体を含み、三次元カーソルで医療画像のサブボリュームを選択する品目選択論理であって、選択されるサブボリュームは、診断チェックリスト上の品目に対応する、品目選択論理と、選択されるサブボリュームの人間生成分析を作成する入力を受信する入力論理と、人間生成分析に基づいて訓練データセットを更新する更新論理とを含む。幾つかの実装は、人間生成文政期が生成される前に訓練データセットを用いて選択されるサブボリュームを分析して機械生成分析を作成する診断論理を含む。幾つかの実装は、人間生成分析を用いて訓練データセットを更新する前に人間生成分析と機械生成分析との間の不一致を解消する解消論理を含む。幾つかの実装は、機械生成分析のためのコンピュータ作成説明を生成する仮想教師を含む。幾つかの実装において、解消論理は、人間生成分析を用いて前記訓練データセットを更新する前に説明に基づいて人間生成分析を更新する。幾つかの実装において、解消論理は、人間生成分析および機械生成分析のコンセンサス検討を促す。幾つかの実装において、人間生成分析を用いて訓練データセットを更新する前にコンセンサス検討に基づいて人間生成分析を更新する。幾つかの実装は、人間生成分析の生成を促進するために、診断コンピュータがチェックリスト上の前記項目に関連する患者特異的データを抽出し且つ提示することを含む。幾つかの実装において、人間生成分析は、所見または診断を記述する用語、マークされたピクセルまたはボクセル、および所見または診断の確実性の表示のうちの少なくとも１つを含む。幾つかの実装において、機械生成分析は、所見または診断を記述する用語、マークされたピクセルまたはボクセル、および所見または診断の確実性の表示のうちの少なくとも１つを含む。幾つかの実装は、所見と関連しない選択されるサブボリューム内の組織を画像から除去するフィルタリング論理を含む。幾つかの実装は、選択されるサブボリューム内の組織をセグメント化するセグメント化論理を含む。幾つかの実装は、所見と関連する組織を包含するために三次元カーソルをサイズ変更する論理を含む。幾つかの実装において、チェックリストは、複数の項目を含み、それらの各々は分析され、方法は、人間生成分析に基づいて報告書を生成する論理を含む。幾つかの実装において、報告書を生成する論理は、報告書中の人間生成分析と機械生成分析との間の不一致の表示を含む。幾つかの実装は、診断の信頼性または危険性を視覚的に示す三次元カーソルを含む。幾つかの実装は、所見と関連する組織が配置される仮想容器を含む。幾つかの実装において、仮想容器は、正常所見容器、疾患特異的容器、及び鑑別診断容器から選択される。

【0006】

特許または出願書類は，色を付けて作成した少なくとも１つの図面を含む。（複数の）有色図面を備えるこの特許又は特許出願公開の写しは、請求及び必要な手数料の納付後に、特許商標庁によって提供される。

【図面の簡単な説明】

【0007】

【図1】統合的な放射線医支援機械学習プロセスのための鍵となる構成要素を図示している。

【0008】

【図2】放射線医支援機械学習のためのチェックリストベースのボリューム毎３Ｄカーソルアプローチを図示する一般化されたフロー図である。

【0009】

【図3】３Ｄカーソル内のボリュームが「正常」であるとＡＩが結論付けるシナリオについての放射線医支援機械学習についてのフロー図を図示している。

【0010】

【図4】３Ｄカーソル内のボリュームが「特異的診断」であるとＡＩが結論付けるシナリオについての放射線医支援機械学習についてのフロー図を図示している。

【0011】

【図5】３Ｄカーソル内のボリュームが各診断の尤度を伴う「鑑別診断」であるとＡＩが結論付けるシナリオについての放射線医支援機械学習についてのフロー図を図示している。

【0012】

【図6】ＡＩが検査を検討し且つ更なる撮像推奨を提供するシナリオについての放射線医支援機械学習のフロー図を図示している。

【0013】

【図7】ＡＩが検査を検討し且つ更なる管理推奨を提供するシナリオについての放射線医支援機械学習のフロー図を図示している。

【0014】

【図8】検査されている関心領域に関連することがある電子カルテを通じてＡＩ検索を介して特定された関連データの提示を図示している。

【0015】

【図9】放射線医支援機械学習と共に３Ｄカーソルを使用することについてのフロー図および例示を提供している。

【0016】

【図10】合成ボリュームと、サブボリュームと、ボリュームで境界を定める３Ｄカーソルとの間の関係を図示している。

【0017】

【図11】拡張現実ヘッドセットを通じて見ていない放射線医ワークステーション（上）および張現実ヘッドセットを通じて見ている放射線医ワークステーション（下）を図示しており、放射線医は拡張現実（ＡＲ）ディスプレイを通じて見ているときにのみ仮想バケットを見ることができる。

【0018】

【図12】３Ｄカーソルの外観がどのように変化してサブボリューム内の撮像所見の確実性レベルおよび重大度レベルを示すことができるかについての例を図示している。

【0019】

【図13】放射線医支援するトレーニングの「正常な解剖学的バケット」態様内に正常なサブボリュームを配置することを図示している。

【0020】

【図14】３Ｄカーソルによって境界を定められたボリュームを分析段階中に１つのバケットから次のバケットに移動させることができるような、仮想バケットシステムの使用を図示している。

【0021】

【図15】３Ｄカーソルと放射線医支援機械学習報告技法とを組み込んだ放射線医学報告書を図示している。

【0022】

【図16】放射線医支援機械学習のための標準化された用語、放射線医画像マークアップおよび放射線科医割当て済み重み付け係数を組み込むことによって、放射線医承認済み機械学習訓練データセットを作成するプロセスを図示している。

【0023】

【図17】放射線医支援機械学習のための用語および重み付け係数を用いたラベル付けを介して放射線医支援機械学習と共に使用されるセグメンテーションを支援するための複数の３Ｄカーソルの使用のフロー図および例示である。

【0024】

【図18】放射線医支援機械学習と共に画像マークアップおよび用語割当てを図示している。

【0025】

【図19】撮像検査が放射線医の検討を必要とするかどうかをＡＩが決定する基準のサンプルセットを図示している。

【0026】

【図20】深層学習アルゴリズムにおける放射線医画像マークアップおよび３Ｄカーソルの利用を図示している。

【発明を実施するための形態】

【0027】

本明細書に記載の幾つかの態様、構成および実装は、コンピュータのようなマシン、電子部品、光学部品、およびコンピュータ実装ステップのようなプロセスを含んでよい。コンピュータ実装ステップが非一時的なコンピュータ可読媒体にコンピュータ実行可能な命令として格納されてよいことが、当業者に明らかであろう。更に、コンピュータ実行可能な命令が様々な有形プロセッサデバイスで実行されてよいことが、当業者によって理解されるであろう。説明の容易さのために、コンピュータまたはデータ格納システムの一部であることがある、あらゆるステップ、デバイスまたはコンポーネント(構成要素)が、ここに記載されているわけではない。当業者は、本開示の教示および当業者に一般的に利用可能な知識の観点から、そのようなステップ、デバイスおよびコンポーネントを認識するであろう。従って、対応するマシン及びプロセスは、使用可能であり、本開示の範囲内にある。

【0028】

この開示で使用される用語は、主題事項の適格性の範囲内で広義に解釈されることを意図する。「論理的(logical)」および「仮想的(virtual)」という用語は、他の構成の抽象化である構成、例えば、非限定的に、有形構成の抽象化である構成を指すために使用される。「物理的(physical)」という用語は、有形構成を指すために使用される。例えば、複数の仮想コンピューティングデバイスは、１つの物理的なコンピューティングデバイス上で同時に作動することができる。「論理(ロジック)(logic)」という用語は、非一時的なコンピュータ可読媒体に格納され且つ多目的有形プロセッサによって実装される特別目的の物理回路要素およびソフトウェア命令を指すために使用される。更に、「３Ｄカーソル(3D cursor)」という用語は、ボリューム(容積)(volume)の境界を定める(subtends)カーソルのタイプを指すことを意図する。「サブボリューム(sub-volume)」という用語は、３Ｄカーソルと共に、３Ｄカーソル内のボリュームが、医療画像全体のボリュームの一部分のみを表すことを示すために使用されてよい（例えば、肝臓は、腹部および骨盤ＣＴスキャン撮像ボリューム全体の３Ｄカーソルまたはサブボリュームに含められる）。

【0029】

２０１８年１０月２２日に出願された「A METHOD AND APPARATUS FOR RADIOLOGIST ASSISTED MACHINE LEARNING」という名称の特許文献１を参照により援用する。２０１８年４月３日に出願された「A METHOD TO OPTIMIZE THE INTERACTION BETWEEN A RADIOLOGIST AND ARTIFICIAL INTELLIGENCE COMPUTER SYSTEM THROUGH INTERACTIVE, VOLUME-SUBTENDING 3D CURSOR USE TO IMPROVE DIAGNOSTIC ACCURACY」という名称の特許文献２参照により組み込まれている。

【0030】

図１は、放射線医支援機械学習能力に関連する撮像および診断システムを図示している。一般に、機械学習は、コンピュータが、タスクのあらゆる態様を実行するように明示的にプログラムされることなく、タスクのパフォーマンスを漸進的に改善することを可能にする。画像処理および診断コンピュータ１０２上で作動するＣＡＤおよび／またはＡＩプログラム１００は、医療診断を部分的に自動化し、放射線医の考察から学習する。システムは、コントローラ１０４およびヘッドセット１０６のような外部デバイスを含む。ＩＯデバイス１０８(入出力デバイス)が、複数の２Ｄモニタを有する視認ステーションを含む。通信リンケージ(リンク装置)が、コントローラと画像処理および診断コンピュータとの間のリンク、画像処理および診断コンピュータとヘッドセットとの間のリンク、および画像処理および診断コンピュータの間のリンク、断面画像１１２を表示することができる画像アーカイブ通信システム（ＰＡＣＳ）１１０のような、上記要素のいずれかの要素の間のリンクを含むことがある。特許文献３に従って画像を処理して、３Ｄボリューム１１３を形成することができる。患者医療記録１１７をモニタに表示することもできる。また、画像処理および診断コンピュータ１１６上のプログラムとして作動するのは、参照により援用する、コントローラからのコマンド、報告生成器、および質問書への回答を含むことがある患者医療記録およびＰＡＣＳからのデータ抽出のためのＡＩに基づく３Ｄ画像生成および画像操作についての、２０１８年２月２３日に出願された「PROCESSING 3D MEDICAL IMAGES TO ENHANCE VISUALIZATION」についての特許文献４である。関心のある解剖学的構造１１４の２Ｄ医療画像１１２が生成される。撮像能力１１６は、例えば、非限定的に、Ｘ線、超音波、マンモグラム、コンピュータ断層撮影法、磁気共鳴映像法、陽電子放出断層撮影法、単一光子放出コンピュータ断層撮影法、またはトモシンセシスを含んでよい。２Ｄ医療画像１１２は、プロセッサ１１８（例えば、ＣＰＵおよびＧＰＵ）、揮発性メモリ１２０（例えば、ＲＡＭ）、および不揮発性記憶装置１２２（例えば、ＨＤＤおよびＳＳＤ）を含む、画像処理および診断コンピュータ１００に提供される。画像プロセッサ上で作動するプログラム１２４は、放射線医支援機械学習（ＲＡＭＬ）を達成するために、この特許に記載するステップのうちの１つ以上(１つ又はそれよりも多く)を実施する。医療画像は、ＩＯデバイス１２６上に表示され、放射線医によってマークアップされる。ＩＯデバイスは、単独でまたは組み合わせにおいて、仮想または拡張現実ヘッドセット１０６、モニタ、タブレットコンピュータ、ＰＤＡ（個人情報端末）、携帯電話、または多種多様なデバイスのうちのいずれかを含んでよい。ＩＯデバイスは、タッチスクリーンを含んでよく、キーボード、マウス、および様々な入力を受信するための多種多様なデバイスのうちのいずれかのような、（１２８によって表す）外部デバイスからの入力を受け入れてよい。最後に、対話式ボリュームの境界を定める３Ｄカーソル１３０(volume-subtending 3D cursors)および仮想バケット１３２を含む一連の仮想オブジェクトも、このシステムに不可欠である。

【0031】

図２は、放射線医支援機械学習のためのチェックリストベースのボリューム毎３Ｄカーソルアプローチ(volume-by-volume 3D cursor approach)を図示する一般化されたフロー図である。準備ステップは、ＰＡＣＳから検討のための症例をダウンロードすること、および特許文献３に概説されるような２Ｄ画像スライスのセットから３Ｄボリュームを作成することを含んでよい。追加的な準備ステップが、画像化された組織を別個の組織タイプにセグメント化することを含んでよい。ステップ２００に示すように、放射線医（または他の医師）は、連続的に検討される鍵となる身体部分のチェックリストに従う。例えば、腹部／骨盤のＣＴスキャンについて、チェックリストは、肺底部、心臓、肝臓、胆嚢、脾臓、膵臓などを含んでよい。ステップ２０２に示すように、放射線医またはＣＰＵは、対話型のボリュームの境界を定める３Ｄカーソルで第1のチェックリスト項目（例えば、肝臓）を選択する。ステップ２０４に示すように、ＡＩは、検査される関心領域（すなわち、肝臓）に関連することがある患者情報について電子カルテ(電子医療記録)を検索する。これは画像の検討中に放射線医に提示される（例えば、テキストが、肝臓の画像に隣接して現れる）。例えば、重要な情報は、肝臓の検査中の最新の肝機能試験を含んでよい。ステップ２０６に示すように、３Ｄカーソル内のボリュームは、ＡＩおよび／またはＣＡＤアルゴリズムによって分析される。アルゴリズムは、患者の以前のスキャンおよび既存のデータベースと比較する。ＡＩは、３つの可能な結論を有する。第１に、ＡＩは、３Ｄカーソル内の組織が正常であることを決定してよい。第２に、ＡＩは、３Ｄカーソル内の組織が特異的な疾患であることを決定してよい。第３に、ＡＩは、３Ｄカーソル内の組織が、診断のうちの各診断の特定の可能性を有する複数の疾患（すなわち、鑑別診断(differential diagnosis)）を表し得ることを決定してよい。各シナリオで、ＡＩは、臨床シナリオおよび撮像に合わされた推奨の撮像および／または（複数の）管理推奨を提供する。同時に、放射線医は、この通常の方法においてあるいは先進の視覚化技法を用いて、３Ｄカーソルボリューム内の組織の検討２０８を実行する。彼／彼女は、患者の以前のスキャンおよび既存のデータベースと比較する。放射線医は、３Ｄカーソル内の組織が正常であるか、特異的な疾患であるか、あるいは各診断の特定の可能性を有する鑑別診断であるかを決定してよい。放射線医は、推奨の撮像および／または（複数の）管理推奨を心の中で決定する。ステップ２１０に示すように、ＡＩ／ＣＡＤおよび放射線医は、同じ結論に達することも、達しないこともある。（不一致が存在する場合に）不一致を解決する方法および放射線医支援機械学習プロセスを強化するためにサブボリュームを戦略的に利用する方法については図３−７を参照のこと。ステップ２１２に示すように、放射線医は、チェックリスト上の次の項目に移動し、チェックリストが完了するまでプロセスを繰り返す。次に、所見の一致度、ＤＤｘ、管理計画を検討し、（当て嵌まるならば）（複数の）注文／治療医師に報告し、通知する。

【0032】

図３は、ＡＩが３Ｄカーソル内のボリュームが「正常」であると結論付けるシナリオについての放射線医支援機械学習のフローチャートを図示している。３００で示すように、放射線医は、３Ｄカーソル内のボリュームが正常であるというＡＩの結論に同意してよい。放射線医が同意するならば、３Ｄボリュームは「仮想正常所見バケット(virtual normal finding bucket)」内に配置されることができる（３０４）。放射線医は、チェックリスト上のこの項目が正常であると述べる（３０６）。放射線医は、同意した正常な所見を標準データベースに追加する選択肢を有する（３０８）。しかしながら、放射線医は、ＡＩに同意しないこともある（３０２）。この場合、３Ｄボリュームは「仮想ＴＢＤバケット(virtual TBD bucket)」内に配置される（３１０）。ここでは、「仮想教師(virtual guru」が、理論的根拠(rationale)を提供する（例えば、仮想正常所見バケットから類似の症例を表示する）よう求められる。仮想教師の理論的根拠に基づいて、放射線医は、ここで、３Ｄカーソル内のボリュームが正常であると考え（３１２）、放射線医は、３Ｄボリュームを「仮想正常所見バケット」内に配置する（３０４）。放射線医が、仮想教師の説明にも拘わらず、依然として３Ｄカーソル内のボリュームが異常であると考えるならば（３１４）、放射線医は、３Ｄカーソル内のボリュームを「仮想協力バケット(virtual collaborative bucket)」内に配置する（３１６）。この時点で、解釈する放射線医は、他の放射線医と協力して、３Ｄカーソル内の疑われた異常性を評価する。これは正式な放射線医学会議または非公式な「カーブサイドの(curveside)」放射線医と放射線医との間の協議の形式を取ることができる。放射線医学コンセンサスが、３Ｄカーソル内のボリュームが正常であることで仮想教師と一致するならば、ボリュームは、「仮想正常所見バケット」内に配置される（３０４）。放射線医学コンセンサスが、仮想教師と一致せず、単一の特異的診断があると信じるならば（３２０）、３Ｄボリュームは、「仮想疾患特異的バケット(virtual disease-specific bucket」内に配置される（３２２）。次に、報告書は、特異的疾患（または病理学実体）を議論する（３２４）。追加的なオプションは、ＡＩアルゴリズムを再訓練すること、および／または３Ｄボリュームを疾患特異的病理学データベースに追加することを含む（３２６）。放射線医学コンセンサスが仮想教師と一致せず、むしろ３Ｄカーソル内のボリュームが正常であると考えるならば、鑑別診断での異常性がある（３２８）。３Ｄボリュームは、「仮想ミステリーバケット(virtual mystery bucket)」内に配置される（３３０）。報告書は、放射線医および放射線医コンセンサスグループによって決定されるような特定の順序で鑑別診断を述べる。次に、最終的に３Ｄボリュームを「仮想疾患特異的バケット」内に配置するという目的を有する放射線医チャレンジグループのための選択肢がある。例えば、グループは、生検結果を追跡し、次に、サブボリュームを「仮想疾患特異的バケット」内に配置する（３２２）。

【0033】

図４は、ＡＩが３Ｄカーソル内のボリュームが「特異的疾患」と結論付けるシナリオについての放射線医支援機械学習のフローチャートを図示している。４００に示すように、放射線医は、３Ｄカーソル内のボリュームが特異的疾患であるというＡＩの結論に同意することがある。放射線医が同意するならば、３Ｄボリュームは、「仮想疾患特異的バケット」内に配置されることができる（４０４）。放射線医学報告書は、特異的疾患を述べる（４０６）。ＡＩプロセスは、正常な解剖学的構造および病理学の両方を正確に記述する能力も有さなければならないことに留意のこと。３Ｄカーソルおよび「仮想バケット」の使用を通じてこの特許において設計されるものに類似するフィードバックを用いて、ＡＩによって実行される記述を向上させることができる。放射線医は、同意された３Ｄボリュームを疾患特異的データベースに追加する選択肢を有する（４０８）。しかしながら、放射線医は、ＡＩに同意しないこともある（４０２）。この場合、３Ｄボリュームは、「仮想ＴＢＤバケット」内に配置される（４１０）。ここで、「仮想教師」が、理論的根拠を提供する（例えば、仮想疾患特異的バケットから類似の症例を表示する）ように求められる。仮想教師の理論的根拠に基づいて、３Ｄカーソル内のボリュームが前記特異的疾患を表すと放射線医が考えるならば（４１２）、放射線医は、３Ｄボリュームを「仮想疾患特異的バケット」内に配置する（４０４）。仮想教師の説明にも拘わらず、放射線医が依然として仮想教師に同意しないならば（４１４）、放射線医は、３Ｄカーソル内のボリュームを「仮想協力バケット」内に配置する（４１６）。この時点で、解釈する放射線医は、他の放射線医と協力して、３Ｄボリュームを評価する。これは正式な放射線医会議または非公式な「カーブサイドの」放射線医と放射線医との間の協議の形式であることができる。放射線医コンセンサスが、３Ｄカーソル内のボリュームが前記特異的疾患であることで、仮想教師と同意するならば（４１８）、ボリュームは、「仮想疾患特異的バケット」内に配置される（４０４）。放射線医学コンセンサスが仮想教師と同意しないで、３Ｄボリュームは正常であると信じるならば（４２０）、３Ｄボリュームは。「仮想正常所見バケット」内に配置される（４２２）。次に、報告書は、チェックリスト上の項目が正常であると述べる（４２４）。選択肢は、ＡＩアルゴリズムを再訓練すること、および／またはサブボリュームを「仮想正常所見バケット」に追加することを含む。放射線医学コンセンサスが仮想教師４２８と同意しないで、３Ｄボリュームは特異的疾患であると信じるならば（４２８）、３Ｄボリュームは「仮想特異的疾患バケット」内に配置される（４３０）。次に、報告書は、特異的疾患を述べる（４３２）。選択肢は、ＡＩアルゴリズムを再訓練すること、および／または３Ｄカーソルボリュームを疾患特異的病理学データベースに追加することを含む（４３４）。最終的に、放射線学コンセンサスグループは仮想教師と同意しないで、３Ｄカーソル内のボリュームが鑑別診断であり得る信じることがある。この場合、３Ｄボリュームは、「仮想ミステリーバケット」内に配置される（４３８）。報告書は、議論した各診断の可能性を有する鑑別診断を述べる（４４０）。選択肢は、最終的に「仮想疾患特異的バケット」内に配置するという目標で、放射線学チャレンジグループに３Ｄカーソルを送信する（例えば、グループは、生検結果を追跡し、次に、サブボリュームを「仮想疾患特異的バケット」内に配置する（４３０））ことを含む。選択肢は、診断質問のサブボリュームおよび総撮像ボリュームの両方を放射線学チャレンジグループに送信することを含む。

【0034】

図５は、ＡＩが、３Ｄカーソル内のボリュームが各疾患の特定の可能性を有する「複数の可能な疾患の鑑別診断」であると結論付けるシナリオについての放射線医支援機械学習のフローチャートである。５００に示すように、放射線医は、３Ｄカーソル内のボリュームが前記鑑別診断であるというＡＩの結論に同意することがある。放射線医が同意するならば、３Ｄボリュームは「仮想ミステリーバケット」内に配置されることができる（５０４）。放射線医学報告書は、特定の順序で鑑別診断を記述する（５０６）。ＡＩプロセスは、正常な解剖学的構造および病理学の両方の撮像所見を正確に記述する能力も有さなければならないことに留意のこと。更に、ＡＩシステムは、１つの鑑別診断が他の鑑別診断よりも好ましい理由についての撮像用語を用いることができなければならない。３Ｄカーソルおよび「仮想バケット」の使用を通じてこの特許において設計されるものと類似のフィードバックを用いて、ＡＩによって実施される記述を向上させることもできる。放射線医は、同意した３Ｄボリュームを鑑別診断（ＤＤｘ）データベースに加える選択肢を有する（５０８）。追加的な選択肢は、総撮像ボリュームの有無にかかわらず、問題のサブボリュームを放射線医チャレンジグループに送信することであり、チャレンジグループは、最終的に３Ｄボリュームを「仮想疾患特異的バケット」内に配置するという目標を有する。しかしながら、放射線医は、ＡＩに同意しないこともある（５０２）。この場合、３Ｄボリュームは、「仮想ＴＢＤバケット」内に配置される（５１０）。ここでは、「仮想教師」が、理論的根拠を提供する（例えば、「仮想ミステリーバケット」から類似の症例の表示する）ように求められる。仮想教師の理論的根拠に基づいて、放射線医が、３Ｄカーソル内のボリュームが鑑別診断５１２の順序を含む前記鑑別診断を表すと考えるならば（５１２）、放射線医は、３Ｄボリュームを「仮想ミステリーバケット」内に配置する（５０４）。仮想教師の説明にも拘わらず、放射線医が依然として仮想教師に同意しないならば（５１４）、放射線医は、３Ｄカーソル内のボリュームを「仮想協力バケット」内に配置する（５１６）。この時点で、解釈する放射線医は、他の放射線医と協力して、３Ｄボリュームを評価する。これは正式な放射線医会議または非公式な「カーブサイドの」放射線医と放射線医との間の協議の形式であることができる。放射線医コンセンサスグループが、３Ｄカーソル内のボリュームが鑑別診断であり、鑑別診断の同意した可能性を有することを、仮想教師と同意するならば、ボリュームは「仮想ミステリーバケット」内に配置される（５０４）。放射線コンセンサスグループは、仮想教師と同意しないで、３Ｄカーソル内のボリュームが鑑別診断（異なる順序、異なるセットの診断、またはそれらの組み合わせ）であり得る信じることもある。この場合、３Ｄボリュームは、異なる「仮想ミステリーバケット」内に配置される（５２２）。報告書は、議論した各診断の可能性を有する鑑別診断を述べる（５２４）。選択肢は、ＡＩアルゴリズムを再訓練すること、３Ｄカーソルを鑑別診断データベースに追加すること（５２６）、および／または（総撮像ボリューム及び臨床データ要素を備えるまたは備えない）サブボリュームを（最終的には「仮想疾患特異的バケット」内に配置するという目標を持って）放射線医学チャレンジグループに送信すること（例えば、グループが生検結果を追跡し、次に、サブボリュームを「仮想疾患特異的バケット」内に配置する（５３０））ことである。選択肢は、診断質問のサブボリュームおよび総撮像ボリュームの両方を放射線学チャレンジグループに送信することを含む。最終的に、放射線学コンセンサスが仮想教師と一致せず、３Ｄボリュームが正常であると信じるならば（５３６）、次に、３Ｄボリュームは「仮想正常所見バケット」内に配置される（５３８）。次に、報告書は、チェックリスト上の項目が正常であると述べる（５４０）。選択肢は、ＡＩアルゴリズムを再訓練すること、および／またはサブボリュームを仮想正常所見データベースに加えることを含む（５４２）。

【0035】

図６は、ＡＩが検査を検討して更なる撮像推奨を提供するシナリオのための放射線医支援機械学習のフロー図を図示している。放射線医がＡＩに同意するならば（６００）、（複数の）３Ｄボリュームおよび追加の関連データ（例えば、電子カルテ（ＥＭＲ）からのデータ）が「仮想撮像推奨バケット」内に一緒に配置される（６０４）。放射線医学報告書は、撮像推奨を述べる（６０６）。次に、選択肢は、ボリュームおよび（複数の）追加的な関連データ要素を撮像推奨データベースに加えることである（６０８）。もし放射線医がＡＩに同意しないならば（６０２）、（複数の）３Ｄボリュームおよび追加的な関連データ要素は、「仮想ＴＢＤバケット」内に配置される（６１０）。ここでは、仮想教師が、理論的根拠を提供する（例えば、撮像フォローアップガイドラインを表示する）ように求められる。ここで、放射線医がＡＩに同意するならば（６１１）、（複数の）３Ｄボリュームおよび（複数の）追加的な関連データ要素は、「仮想撮像推奨バケット」に加えられる（６０４）。仮想教師の論理的根拠にも拘わらず、放射線医が仮想教師に依然として同意しないならば（６１２）、（複数の）３Ｄボリュームおよび（複数の）追加的な関連データ要素は、「仮想協力バケット」内に配置される（６１４）。放射線コンセンサスグループがＡＩと一致するならば（６１６）、（複数の）３Ｄボリュームおよび（複数の）追加的な関連データ要素は、仮想撮像推奨バケットに加えられる（６０４）。放射線医学コンセンサスグループが同意しないで、代替的な撮像推奨が必要であると信じるならば（６１８）、（複数の）３Ｄボリュームおよび（複数の）追加的な関連データ要素は、異なる「仮想撮像推奨バケット」内に配置される（６２０）。次に、放射線医学報告書は、撮像推奨を議論する（６２２）。この時点での選択肢は、ＡＩアルゴリズムを再訓練すること、および／または（複数の）サブボリュームおよび（複数の）関連する関連データ要素を撮像推奨データベース内に配置することである（６２４）。

【0036】

図７は、ＡＩが検査を検討して管理推奨を提供するシナリオについての放射線医支援機械学習のフロー図を図示している。放射線医がＡＩに同意するならば（７００）、（複数の）３Ｄボリュームおよび追加的な関連データ（例えば、電子カルテ（ＥＭＲ）からのデータ）が、「仮想管理推奨バケット」内に一緒に配置される（７０４）。放射線医学報告書は、管理推奨を述べる（７０６）。次に、選択肢は、ボリュームおよび（複数の）追加的な関連データ要素を管理推奨データベースに加えることである（７０８）。放射線医がＡＩに同意しないならば（６０２）、（複数の）３Ｄボリュームおよび追加的な関連データ要素は、「仮想ＴＢＤバケット」内に配置される（７１０）。ここでは、「仮想教師」が、理論邸根拠を提供する（例えば、管理ガイドラインを表示する）ように求められる。ここで、放射線医がＡＩに同意するならば（７１１）、（複数の）３Ｄボリュームおよび（複数の）追加的な関連データは「仮想管理推奨バケット」に加えられる（７０４）。仮想教師の理論的根拠にも拘わらず、放射線医が依然として同意しないならば（７１２）、（複数の）３Ｄボリュームおよび（複数の）追加的な関連データ要素は、「仮想協力バケット」内に配置される（７１４）。放射線医学コンセンサスグループがＡＩに同意するならば（７１６）、（複数の）３Ｄボリュームおよび（複数の）追加的な関連データ要素が、「仮想管理推奨バケットに加えられる（７０４）。放射線医学コンセンサスグループが同意しないで、代替的な管理推奨が必要とされると信じるならば（７１８）、（複数の）３Ｄボリュームおよび（複数の）追加的な関連データ要素は、異なる「仮想管理推奨バケット」内に配置される（７２０）。次に、放射線医学報告書は、管理推奨を議論する（７２２）。この時点で、選択肢は、ＡＩアルゴリズムを再訓練すること、および／または（複数の）サブボリュームおよび（複数の）関連データ要素を管理推奨データベース内に配置することである（７２４）。

【0037】

図８は、検査されている関心領域に関連することがある電子カルテを通じてＡＩ検索を介して特定された関連データの提示を図示している。テキストボックスは、グレーで示されており（８００）、画像の上方に位置している（８０２）。この図示において、ＡＩは画像を処理し、肺癌の脳転移を含む鑑別診断を有する。従って、それはグレーボックス内に肺癌に関連する複数の潜在的なデータ要素を提示している。他の鑑別診断に関連するデータ要素も、ＡＩアルゴリズムによって持ち込まれることができる。このプロセスは、多くの医療施設内の運用システムにおける潜在的な欠陥の一部を緩和するのに役立つ。第１に、医療画像を注文する医師は、患者の状態に影響する全ての関連因子を列挙することができないことがある。次に、放射線医は、患者の診療記録を得るために、異なる情報を得るために作業を変更しなければならない。関連することがあるデータを抽出するために医療記録を注入することは時間がかかる。現在開示しているシステムにおいて、ＡＩプログラムは、患者に関連する情報を得るために、非限定的に、医療施設への入院時に記入された医療記録および患者質問票を含む記録を取得し、処理する。次に、このデータは、従来的な２Ｄモニタまたはヘッドセットに表示されることができ、キーボードまたはコントローラを介して放射線医によって操作されることができる。

【0038】

図９は、放射線医支援機械学習と共に３Ｄカーソルを使用するためのフロー図および図示を提供する。第１に、９００に示すように、医療画像１１２の２Ｄ画像スライスは、特許文献３に従って３Ｄボリューム１１３を生成する。２Ｄスライスは、非限定的に、ＭＲＩ、ＣＴ、ＰＥＴ、ＳＰＥＣＴを含んでよい、タイプの医療画像である。２Ｄ画像は、既知のピクセル間隔および既知のスライス間隔を有するピクセルを含む。各ピクセルの周りを中心にして、ピクセル間の間隔に等しいＸＹ平面内の寸法およびスライス間の間隔に等しいＺ方向を備える３Ｄボクセル（例えば、立方体）が作成される。次に、９０２に示すように、３Ｄカーソル１３０でサブボリュームを選択し、カプセル化する。この時点での選択肢は、３Ｄカーソル１３０内の関心対象の組織を隔離することであり、それは、特許文献５に従って、セグメンテーション（すなわち、ボリューム内のボクセルを別個の組織タイプに分類すること）を行い、次に、フィルタリング（すなわち、関心のないボクセルを除去することによって、拡張現実、混合現実または仮想現実３Ｄ撮像アプローチを採る際に深部構造の視覚化を向上させること）を実行することを介して実行されることができる。９０４に示すように、コンピュータ支援検出（ＣＡＤ）／人工知能（ＡＩ）は、３Ｄカーソル１３０内で境界を定められたボリュームに対して実行される。図示するように、肝臓を除いて、黒色破線３Ｄカーソル３３０内の全ての組織は、セグメント化され、フィルタリングされる（すなわち、取り除かれる）。肝臓内に小さな異常９１０を見ることができる。９０６に示すように、ＣＡＤ／ＡＩで識別された異常は、放射線医に提示される。例えば、従来的な断面画像１１２および／または基準線を備える追加的な３Ｄカーソル仮想現実／拡張現実／混合現実ディスプレイ１０６。更なるセグメント化およびフィルタリングを行うことができ、隔離された異常は、より小さな緑色破線の、立方体の形状の３Ｄカーソル１３０に提示されることに留意のこと。危険レベルおよび確実性レベルも、図１２に詳述されるように提供されることに留意のこと。最後に、９０８に示すように、（複数の）放射線医は、画像所見を分析し、機械学習のためのフィードバックを実行する。

【0039】

図１０は、複合ボリュームと、サブボリュームと、ボリュームの境界を定めるＤカーソルとの間の関係を図示している。図示において、灰色の様々な陰影の複数の形状は、１０００によって示すような（複合撮像ボリュームとも呼ぶ）総撮像ボリュームにおける腹部および骨盤の臓器を表わしている。複数の３Ｄカーソル１３０が示されており、各３Ｄカーソルは、サブボリューム（すなわち、複合撮像ボリュームの一部）を表示している。例えば、１つの３Ｄカーソル１３０は、３Ｄカーソル１３０内の全ての他の組織がセグメント化およびフィルタリング（すなわち、除去）された状態の肝臓１００２のサブボリュームを含む。サブボリュームを視覚化および分析する好ましい方法は、３Ｄカーソル内に含まれる各サブボリュームを維持することであるが、１００３に示すように、３Ｄカーソル１３０に含められないで、サブボリュームを視覚化および分析することも可能である。別の例は、３Ｄカーソル１３０内の全ての他の組織がセグメント化およびフィルタリング（すなわち、除去）された状態の脾臓１００４のサブボリュームを含む３Ｄカーソル１３０を含む。別の例は、３Ｄカーソル１３０内の全ての他の組織がセグメント化およびフィルタリング（すなわち、除去）された状態の膵臓１００６のサブボリュームを含む３Ｄカーソル１３０を含む。最後に、別の例は、３Ｄカーソル１３０内の全ての他の組織がセグメント化およびフィルタリング（すなわち、除去）された状態の左腎１００６のサブボリュームを含む３Ｄカーソル１３０を含む。サブボリュームは、それぞれ、従来的なスライス毎断面アプローチにおいてまたは拡張現実ヘッドセット１０６のような先進の３Ｄ視認を介して注意深く検査されることができる。診断システムは、チェックリストに従って検討されるボリュームを通じてサブ領域毎に１つのサブ領域を検討する能力（すなわち、効率的な検討のために放射線医によって指定されるサイズの３Ｄカーソル）を放射線医に提供する。更に、放射線医は、別個の臓器毎チェックリストを用いないで、総撮像ボリュームを通じてボリュームの境界を定める３Ｄカーソルを移動させることを決定してよい。この状況では、カーソルを初期視認位置に再位置決めすることおよび３Ｄボリュームを通じるカーソル経路の複合ビューを実行することができる。ＡＩ／ＣＡＤアルゴリズムが特定されるとき、検討を行う放射線医は、これらの領域に特別な注意を払う。これらの領域は、この特許を通じて記載する構成に従って仮想報告バケット(virtual report bucket)（または他のバケット）に送信される。検討が完了した後に、放射線医は、３Ｄカーソルの全ての位置の表示を同時に誘発することによって、検討の完全性を検証することができる。この構成は、放射線医が、検討中に見逃したことがある撮像ボリュームの任意の一部を見て、必要に応じて戻って、検討の完全性を保証することを可能にする。このプロセスは、検討の低い誤差率を保証するのを助ける。

【0040】

図１１は、放射線医がＡＲディスプレイを見ているときにのみ仮想バケットを見ることができる、拡張現実ヘッドセットを通じて見ていない（上）放射線医ワークステーションおよび拡張現実ヘッドセットを通じて見ている（下）放射線医ワークステーションを図示している。放射線医は、選択したサブボリュームを総ボリュームから仮想的に引き出して、次に、それを仮想バケット内に配置する能力を有する。好ましいアプローチは、放射線医が自分のワークステーション上またはその付近に仮想バケットを見ることができる、拡張現実眼メガネ１０６を利用することである。しかしながら、放射線医ワークステーションが拡張現実メガネを持たないならば、「仮想バケット」を表すアイコンを従来的な２Ｄモニタ上で使用することができる。

【0041】

図１２は、３Ｄカーソル外観がどのように変化して、サブボリューム内の撮像所見の確実性レベルおよび重大度レベルを示すことができるかの例を図示している。ＡＩおよび／またはＣＡＤは、画像セットの初期分析を行う。放射線医が知る必要がある２つの鍵となる情報は、所見の危険性および所見の確実性レベルである。これらの２つの重要な部分は、カーソルの外観を変えることによって伝達されることができる。３Ｄカーソルの縁(margins)を定義する線は、（死を引き起こす合理的な可能性と定義される）危険な所見１２００を示す赤、（症状を引き起こす可能性は高いが死を引き起こす可能性は低いと定義される）中間の所見を示す黄、および（症状または死を引き起こす可能性は低いと定義される）良性の所見１２０４を示す緑のように、所見の危険レベルに対応するように色分けされることができる。加えて、３Ｄカーソルの縁を定義する線は、高いレベルの確実性１２０６に対応するような実線、中間レベルの確実性１２０８に対応するような破線、または低いレベルの確実性１２１０に対応するような点線で現れることができる。よって、複数の組み合わせがある。赤色の中実の３Ｄカーソル１２１４は、高い確実性の危険な所見を示す。黄色の中実の３Ｄカーソル１２１６は、高い確実性の中間の所見を示す。緑色の中実の３Ｄカーソル１２１８は、高い確実性の良性の所見を示す。赤色の破線の３Ｄカーソル１２２０は、中間の確実性の危険な所見を示す。黄色の破線の３Ｄカーソル１２２２は、中間の確実性の中間の所見を示す。緑色の破線の３Ｄカーソル１２２４は、中間の確実性の良性の所見を示す。赤色の点線の３Ｄカーソル１２２６は、低い確実性の危険な所見を示す。黄色の点線の３Ｄカーソル１２２８は、低い確実性の中間の所見を示す。緑色の点線の３Ｄカーソル１２３０は、低い確実性の良性の所見を示す。好ましい選択肢は、チェックリスト項目（例えば、臓器）が正常の所見を有するならば、３Ｄカーソルが表示されないことである。放射線医は、新たな症例を開くとき、放射線医は、生命を脅かす所見があるかどうかを知るために「全ての赤いカーソルを示す」を選択し、当て嵌まるならば、注文医師に直ちに通知する。検討プロセスの間に、（複数の）放射線医は、自分の裁量で、ＡＩ／ＣＡＤシステムを無効にし、注文医師が３ＤカーソルのＡＩセットおよび放射線医が調整した３Ｄカーソルのセットの両方を見ることができるように、外観（線のスタイルまたは色）を変更することができる。

【0042】

図１３は、放射線医支援トレーニングの「通常の解剖学的バケット」態様内に正常なサブボリュームを配置することを図示している。腹部を通じて軸方向１３００および画像１３０２コントラスト増強されたコンピュータ断層撮影（ＣＴ）画像。軸方向画像および冠状画像の両方は、起始部分と近位部分とを含む上腸間膜動脈（ＳＭＡ）の部分を示す。図示のように、３Ｄカーソル１３０を使用して、関連組織をカプセル化して、腹部検査のＣＴ内の総撮像ボリュームからサブボリュームを隔離する。ＳＭＡの起始部分および近位部分のカプセル化の後に、放射線医は、通常のＳＭＡを含む３Ｄカーソル内のサブボリュームの複製コピーを生成し、３Ｄカーソル１３０内のコピーされたサブボリュームを仮想バケット１３２内に移動させることができ（１３０４）、この場合、仮想バケット１３２は、通常のＳＭＡ原点コントラスト増強ＣＴ仮想バケット１３２である。検査の総撮像ボリュームをサブボリュームに分割し、サブボリュームを特定のバケット内に配置するこのプロセスは、放射線医が承認した訓練データセットを作成するために使用されることができ、訓練データセットは、次に、機械学習アルゴリズムを訓練するために使用されることができる。

【0043】

図１４は、３Ｄカーソルで境界を定められたボリュームを分析段階中に１つのバケットから次のバケットへ移動することができる、仮想バケットシステムの使用を図示している。放射線医検討の間に、関心／懸念組織の複数のクラスタおよび関心のない組織の複数のクラスタが発生することがある。このシナリオにおいて、ＡＩは、総撮像ボリューム１４００が正常であると決定するが、放射線医は、異常があると考えるが（１４０２）、それが何であり得るか不確かである。従って、放射線医は、サブボリュームおよび関心構造１４０２を含む３Ｄカーソル１３０を「仮想ＴＢＤバケット」１４０６内に配置する（１４０４）。放射線医は、３Ｄカーソル１３０によって収納されたサブボリューム内の組織を特異的に分析するように、「仮想教師」に求める。このシナリオにおいて、「仮想教師」は、３Ｄカーソル１３０に収納されたサブボリュームが正常であると結論付ける。放射線医は、次に、３Ｄカーソル１３０及びそのコンテンツを「仮想協力バケット」１４１０内に配置する（１４０８）。ここで、放射線医のグループは集まり、３Ｄカーソル内の関心構造１４０２が良性の椎骨血管腫であることで合意する。彼ら、すなわち、放射線医は、３Ｄカーソル内のサブボリュームを「良性椎骨血管腫」仮想バケット１４１４内に配置する（１４１２）。放射線医は、用語（例えば「コーデュロイ信号(corduroy sign)」および「椎骨血管腫」）重み付け因子（例えば「９５％の確実性」）を割り当てることを選択してもよい（詳細について図１６を参照のこと）。このアプローチの別の鍵となる利点は、放射線医ピア検討プロセス(radiologist peer review processes)のための「バケット」システムの利用である。ピアは、正確性のために「正常解剖学的構造バケット」を検討することができる。代替的に、彼らは、正確性のために「仮想疾患特異的バケット」を検討することができる。バケット精度は、放射線医の技能レベルを決定する鍵となる要因である

【0044】

図１５は、３Ｄカーソルおよび放射線医支援機械学習報告技法を組み込んだ例示的な放射線医学報告書を図示している。左手部分は、各チェックリスト項目を含む。右手の行は、チェックリスト上の各所見の結果を示している。各々の異常所見について、セグメント化され且つフィルタリングされたチェックリスト項目の画像が３Ｄカーソルを用いて表示され、危険レベルおよび確実性レベルを示す外観が異常時に表示される。右手部分は、異常所見の記述を含む。コンピュータで報告書を検討するならば、ヘッドセットメガネは、３Ｄカーソル内にカプセル化された異常および臓器を含むボリュームへのハイパーリンクを提供する。腹部所見には一貫性がなければならないことに留意することが重要である。例えば、円形のセンチメートル以下のリンパ節は、最初のチェックの間に、ＡＩアルゴリズムによって通過させられてよい。次に、ＡＩアルゴリズムは、チェックリスト上の後の項目で、癌性腫瘍を診断することがある。次に、ＡＩアルゴリズムは、癌性腫瘍に照らして全ての構造を再評価するために、追加の時間をチェックリストに戻るべきである。例えば、９ｍｍの丸いリンパ節は、初回通過時にＡＩアルゴリズムによって良性と特徴付けられることがある。次に、癌が診断される。次に、２回目の通過で、同じ９ｍｍの円形リンパ節は、転移疾患の疑いがあると特徴付けられる。

【0045】

図１６は、放射線医支援機械学習のために、標準化された用語、放射線医画像マークアップおよび放射線医割当て重み付け係数を組み込むことによって、放射線医が承認した機械学習訓練データセットを作成するプロセスを図示している。機械学習は、放射線医検討および診断検討を部分的に自動化するために使用されるＡＩ／ＣＡＤに基づいてよい。ステップ１６００では、画像所見および診断のために用語のデータベースが作成される。ステップ１６０２において、放射線医は、放射線撮像および診断システムを使用して標準的な方法で診断撮像検査を視認する。ステップ１６０４において、放射線医は、放射線撮像および診断システムを使用して、撮像検査上の（複数の）診断にリンクされることがある所見を特定する。ステップ１６０６において、放射線医は、所見に関連する画像の１つ以上のピクセルまたはボクセルをマークする。これは、ボリュームの境界を定める３Ｄカーソルの使用、エリアまたはボリュームの周囲の領域の強調表示、または描画を通じて行われることができる。ステップ１６０８において、放射線医は、重み付け係数を、マークされたピクセルまたはボクセルのセットに割り当てる。ステップ１６１０において、放射線医は、マークされたピクセルまたはボクセルのセットを、上記ステップ１６００における所見または診断に対応する用語にリンクさせる。ステップ１６１２では、報告書、放射線医によってマークされ且つ重み付け係数と関連付けられたピクセルおよび／またはボクセル、および用語が、撮像および診断システムによる機械学習のための訓練データセットに追加される。選択肢は、総撮像ボリューム、サブボリューム、または放射線医によってマークされたピクセルまたはボクセルのみを追加することを含む。最終的な結果は、関連する重み付け係数および用語を用いて放射線医によってマークアップされた特定のピクセルまたはボクセルを有する訓練データセットである。これは機械学習アルゴリズムの精度を向上させるために使用されることができる。

【0046】

図１７は、放射線医支援機械学習のための用語および重み付け係数によるラベル付けを介して、放射線医支援機械学習と共に使用されるセグメント化を支援するための、複数の３Ｄカーソルの使用のフロー図および図示である。これは、ＡＩシステムが、１つの病理（例えば、脳腫瘍）が複数の成分(構成要素)（例えば、非増強成分および増強成分）を有し得ることを理解し始めるのを助け得る。効率的なセグメント化アルゴリズムが、臨床実践へのＲＡＭＬの採用を助ける。図示の例は、腫瘍を有する脳１７００の２Ｄ ＭＲＩスライスである。セグメント化アルゴリズムは、腫瘍材料の解剖学的構造および／または異なる成分(構成要素)を定義するために適用されることができる。コントローラを使用して、放射線医は、懸念組織および／またはチェックリスト項目と関連する組織を表示するように構成する。第１のステップ１７００は、３Ｄカーソル１３０を、関心対象全体、例えば、腫瘍、および関心を持たない付加的な組織を含む、大きなボリューム／エリアの上に配置することである。これを達成するために、放射線医は、脳腫瘍全体を包含するのに十分な大きさの領域に亘って、ボリュームの境界を定める３Ｄカーソル１３０を移動させ、サイズ決定し、成形することができる。これを行うに際して、正常な脳組織、脳脊髄液、頭蓋骨、頭皮および頭部の外側の空気の成分(構成要素)が、典型的には、ボリュームの境界を定める３Ｄカーソル１３０の内側に含められる。第２のステップ１７０４、すなわち、３Ｄカーソル１３０を利用は、３Ｄカーソル１３０内にある構造にのみセグメント化アルゴリズムを適用することによって、このプロセスに効率および精度を加えることができる。次に、腫瘍の異なる成分(構成要素)の縁が、（放射線医またはコンピュータセグメント化アルゴリズムのいずれかによって）定義されることができる。例えば、セグメント化アルゴリズムは、腫瘍を非増強成分１７０８と増強成分１７１０とに分割することができる。腫瘍を隔離するのを更に助けるために、他の構造がラベル付けされることができ、引き続き、フィルタリングされることができる。例えば、小さな３Ｄカーソルは、脳脊髄液１７１２をマークする。また、小さな３Ｄカーソルは、正常な白質１７１４をマークする。セグメント化された成分は、ＲＡＭＬプロセスにおいて仮想バケットシステムを介して将来のＡＩアルゴリズムを訓練するために使用されることができる。セグメント化を実行した後に、関心のある組織は、用語、重み付け係数を割り当てられ、人工知能アルゴリズム１７０６を改良するために使用されることができる。一例として、関心のない（複数の）ピクセルまたは（複数の）ボクセルを含む３Ｄカーソル１７１２は、用語（例えば、「Ｔｌ−ＦＳＰＧＲ造影後シーケンス上の正常なＣＳＦ外観」など）および重み付け係数（例えば、神経放射線医の経験に基づく１００％）でラベル付けされることができる。また、関心のセグメント化されたピクセル（またはボクセル）（すなわち、脳腫瘍１７０８の増強成分および脳腫瘍１７１０の非増強成分）は、用語（例えば、「多形性膠芽腫の増強成分」および「多形性膠芽腫の非増強成分」）および重み付け因子（例えば、１００％の所与の生検および照明された病理）でラベル付けされることができる。

【0047】

図１８は、放射線医支援機械学習と共に、画像マークアップおよび用語割当てを図示している。この図では、脳の３つの異なるＭＲＩシーケンスが得られた。左上は拡散重み付け画像１８００である。左中央は、造影後のＴｌ重み付け画像１８０２である。左下は、Ｔ２重み付けＦＬＡＩＲ画像１８０４である。拡散画像上の鍵となるピクセルは、放射線医によってマークアップされ（１８０６）、関連する確実性レベルで（すなわち、マークされたピクセルが真正の「中枢性拘束拡散(central restricted diffusion)」を表す９５％の確実性がある）、撮像所見用語（「中枢性拘束拡散」）が割り当てられ、撮像用語所見に基づく関連する確実性レベルで（すなわち、文献では、（「脳膿瘍(brain abscess)」の診断のための「中枢性拘束拡散」の撮像所見の感度(sensitivity)および特異度(specificity)が、それぞれ９６％および９６％であることが報告されている）、診断用語（すなわち、「脳膿瘍」）が割り当てられる。同様に、造影後のＴｌ重み付け画像上の鍵となるピクセルは、放射線医によってマークアップされ（１８０８）、関連する確実性レベルで（すなわち、造影後のＴｌ重み付けＭＲＩ上のマークアップされたピクセルが真正の「末梢性増強」を表す９９％の確実性がある）、画像所見用語（すなわち、「末梢性増強」）が割り当てられ、撮像用語所見に基づく関連する確実性レベルで（すなわち、文献では、脳転移、脳膿瘍、神経膠腫、梗塞、挫傷、脱髄性疾患、および放射線後の変化を含む様々な状態が末梢性増強を引き起こしうる）、診断用語（すなわち、「脳膿瘍」）が割り当てられる。従って、特異度は低い。経験豊富な放射線医コンセンサスグループは、正確な感度および特異度に関して文献中にデータがない穴を埋めるのに役立つ）。最後に、Ｔ２重み付けＦＬＡＩＲ画像上の鍵となるピクセルは、放射線医によってマークアップされ（１８１０）、関連する確実性レベルで（すなわち、放射線医は、Ｔ２重み付けＦＬＡＩＲ画像上のマークアップされたピクセルが真正の「周囲血管性浮腫(surrounding vasogenic edema)」を表すことに９０％確証を持っている）、撮像所見用語（すなわち、「周囲血管性浮腫」）が割り当てられ、撮像用語所見に基づく関連する確実性レベルで（すなわち、文献では、脳膿瘍、挫傷、および他の多くのものを含む様々な状態が、血管性浮腫を引き起こし得る）、診断用語（すなわち、「脳膿瘍」）が割り当てられる。従って、この撮像所見は、非特異的である。しかしながら、脳膿瘍は、脳内で炎症反応を誘発するため、血管性浮腫を有することは極めて一般的であり、脳膿瘍の診断についての血管性浮腫の感度は高い。最後に、関連する臨床データ（例えば、白血球数、バイタルサインなど）１８１２が、仮想バケット１３２内に配置される。脳神経外科を介した脳膿瘍の疑われる診断の確認後に、撮像検査、３Ｄカーソル、マークアップ、および関連する臨床データを、疾患特有の病理学のデータベースに加えることができ、それを用いて機械学習および人工知能アルゴリズムを精緻化することができる。

【0048】

図１９は、撮像検査が放射線医の検討を必要とするかどうかをＡＩが決定する、提案される基準のセットを図示している。極めて短期的には、ＡＩが正常所見の宣言において極めて正確である場合があることを着想可能であることに留意のこと。これらのそのような状況では、（図３から更新される）改訂プロセスは、放射線医による検討を必要としないＡＩおよび／またはＣＡＤアルゴリズムで構成されることがある。しかしながら、（ＡＩが１００％の検出率に近づいていない）現状では、全ての症例が放射線医に渡される。システムは、異常が特定されないとＡＩおよび／またはＣＡＤ検討が結論付けるときに（１９０２）、高い程度の確実性と分類された良性の所見がある場合に（１９０４）、または以前の診断検査から変更されていない有意な所見がある場合に（１９０６）、システムが放射線医検討を促さないように設計されることができる。第１の症例の各因子は、高度の確実性、患者の来院理由の情報、および／または疑いを生じさせる医療記録の情報に依存して決定される。指定された状態が満たされているならば、システムは放射線医による検討を必要としない。全ての他の症例１９１０については、放射線医検討が促される。例えば、中間の確実性を有する所見は、放射線医によって検討される。別の例は、特定の診断の異常所見が放射線医によって検討されることである。更に別の例は、鑑別診断を伴う異常所見が放射線医によって検討されることである。ＡＩおよび／またはＣＡＤは、初期診断を実施し、どの症例が放射線医検討を受けるかを決定するために決定基準を用いる。適用されることがある２つの因子は、ＡＩおよび／またはＣＡＤ所見の危険性レベルおよび確実性レベルである。全ての危険な症例は、更なる検討のために放射線医に提供される。如何なる高い確実性の良性の症例も、放射線医による検討のために送信されない。他の組み合わせは、医療施設にとって政策的な問題である。しかしながら、ＡＩおよび／またはＣＡＤが中間の所見について非常に信頼できることが証明されるまでは、これらの症例を放射線医に渡すことが賢明である。今日まで、ＡＩおよび／またはＣＡＤ結果を検討することは、異なる身体部位について異なるレベルの精度を示すので、チェックリストが適用されるとき、異なるレベルの確実性が異なる身体部位に伴って生じる。

【0049】

図２０は、深層学習アルゴリズムにおける放射線医画像マークアップおよび３Ｄカーソルの利用を図示している。最初の行では、脳２０００の単一の軸方向ＭＲＩ画像、または脳１１２の軸方向ＭＲＩ画像のスタックを、隠れ層２００１で構成される深層学習アルゴリズムに入力して、出力２００３を生成することができ、上位３つの（またはそれよりも多くの）鑑別診断は、関連するランク順または確率と共に示されている。第２の行では、用語および重み付け係数２００８に関連する放射線医によってマークアップされたピクセルの一部を有する脳の単一の軸方向ＭＲＩ画像、または脳２００９のマークアップされた軸方向ＭＲＩ画像のスタックを、隠れ層２０１０で構成される深層学習アルゴリズムに入力して、出力２０１１を生成することができ、上位３つの（またはそれよりも多くの）鑑別診断は、関連するランク順または確率と共に示されている。第３の行では、脳２００８の単一の軸方向ＭＲＩ画像が、画像所見をマークする３Ｄカーソルで図示されている。サブボリューム２００９をカプセル化する３Ｄカーソルを、隠れ層２０１０で構成される深層学習アルゴリズムに入力して、出力２０１１を生成することができ、上位３つの（またはそれよりも多くの）鑑別診断が、関連するランク順位または確率と共に示されている。第４の行には、放射線医による画像マークアップおよび３Ｄカーソルの両方を用いて、脳２０１２の単軸ＭＲＩ画像が図示されている。サブボリューム２０１３をカプセル化する３Ｄカーソルを、隠れ層２０１４で構成される深層学習アルゴリズムに入力して、出力２０１５を生成することができ、上位３つの鑑別診断が、関連するランク順序または確率と共に示されている。（平均化を介した）単一または組み合わせアプローチを放射線医の裁量で実施して、自分の報告書中の最終的な報告されたランクリストを決定することができる。例えば、２つのアプローチ（例えば、マークされていない画像セットを利用する上行アルゴリズム、およびマークされた画像セットおよびサブボリュームを利用する下行アルゴリズム）を選択することができる。マークされていない画像セットアプローチは、膿瘍（８５％の確率）および腫瘍（１５％の確率）の鑑別診断を伴う１／３の重み付け係数が与えられる。放射線医がマークするサブボリュームアプローチは、膿瘍（９５％の確率）および腫瘍（５％の確率）の鑑別診断を伴う２／３の重み付け因子が与えられる。よって、放射線医報告書において報告される組み合わせ確率は、膿瘍９１．７％の確率および腫瘍８．３％の確率である。

【先行技術文献】

【特許文献】

【0050】

【特許文献1】米国仮特許出願第６２／７４８，５５５号明細書

【特許文献2】米国仮特許出願第６２／６５１，９３４号明細書

【特許文献3】米国特許第８，３８４，７７１号明細書

【特許文献4】米国特許出願第１５／９０４，０９２号明細書

【特許文献5】米国特許出願第１５／８７８，４６３号明細書

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】