特許 7021215 ＣＡＤシステム推薦に関する確信レベル指標を提供するためのＣＡＤシステムパーソナライゼーションの方法及び手段

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-07

(45)【発行日】2022-02-16

(54)【発明の名称】ＣＡＤシステム推薦に関する確信レベル指標を提供するためのＣＡＤシステムパーソナライゼーションの方法及び手段

(51)【国際特許分類】

   G16H 30/00 20180101AFI20220208BHJP

   A61B 5/00 20060101ALI20220208BHJP

   G06N 20/00 20190101ALI20220208BHJP

   G16H 50/20 20180101ALI20220208BHJP

【ＦＩ】

G16H30/00

A61B5/00 G

G06N20/00 130

G16H50/20

【請求項の数】 15

(21)【出願番号】P 2019529462

(86)(22)【出願日】2017-08-11

(65)【公表番号】

(43)【公表日】2019-09-19

(86)【国際出願番号】 US2017046565

(87)【国際公開番号】W WO2018031919

(87)【国際公開日】2018-02-15

【審査請求日】2020-08-07

(31)【優先権主張番号】15/235,050

(32)【優先日】2016-08-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519046410

【氏名又は名称】コイオス メディカル，インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ポディルチャック，クリスティーン アイ．

(72)【発明者】

【氏名】ジャイラージ，アジット

(72)【発明者】

【氏名】バリノフ，レブ

(72)【発明者】

【氏名】ハルバート，ウィリアム

(72)【発明者】

【氏名】マンモーネ，リチャード

【審査官】速水 雄太

(56)【参考文献】

【文献】特開平０７－２７１８７２（ＪＰ，Ａ）

【文献】特開２０１３－０３９２３０（ＪＰ，Ａ）

【文献】特開２００９－０７８０８２（ＪＰ，Ａ）

【文献】特開２０１５－１１６３１９（ＪＰ，Ａ）

【文献】特表２００７－５２４４６１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１７１６８２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０４１４３１０１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ１０／００－８０／００

Ａ６１Ｂ ５／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数の訓練画像特徴にアクセスすることであって、前記複数の訓練画像特徴のそれぞれが、（１）複数のクラスの内の、（２）既知の正しい診断決定に対応した既知のクラスと関連付けられることと、
前記複数の訓練画像特徴に対応した、複数の臨床医推薦診断決定にアクセスすることであって、前記複数の臨床医推薦診断決定のそれぞれが、臨床医確信度を有することと、
前記複数の訓練画像特徴に対応した複数のコンピュータ支援診断（ＣＡＤ）システム推薦診断決定にアクセスすることであって、前記複数のＣＡＤシステム推薦診断決定のそれぞれが、コンピューティングデバイスによって提供される出力を有することと、
前記複数の訓練画像特徴のサブセットに対応した前記複数の臨床医推薦診断決定のサブセットであって、前記複数のＣＡＤシステム推薦診断決定の内の、前記複数の訓練画像特徴の前記サブセットに対応した特定のＣＡＤシステム推薦診断決定とは異なる、前記複数の臨床医推薦診断決定のサブセットを識別することと、
前記複数の訓練画像特徴、前記複数の臨床医推薦診断決定、前記複数のＣＡＤシステム推薦診断決定、及び前記複数の臨床医推薦診断決定のサブセットを入力として取得する確信レベル表示モデルを訓練することと、を含み、
前記訓練の後、前記確信レベル表示モデルは、前記複数の訓練画像特徴の前記サブセットに対応した前記特定のＣＡＤシステム推薦診断決定のそれぞれに関する確信レベル表示（ＣＬＩ）スコアを提供するように構成される、方法。

【請求項2】

前記確信レベル表示モデルを訓練することは、
一連の訓練画像と関連付けられた初期訓練データセットを前記確信レベル表示モデルに適用することであって、前記初期訓練データセットの少なくとも一部が、前記複数のクラスの内の初期の既知のクラスと関連付けられた画像特徴を有し、前記複数のクラスが、複数の臨床行為と関連付けられることと、
前記コンピューティングデバイスに適用された前記初期訓練データセットに基づいて、重み付けされたエラー項の費用関数を決定することであって、前記費用関数が、パラメータのセットを含むことと、
診断するために重要であると予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴に対して、前記費用関数の前記パラメータのセットのサブセットに重み付けを行う、又はペナルティを科すことと、
を含む、請求項１に記載の方法。

【請求項3】

インタフェースを介して選択された画像を受信することであって、前記選択された画像が画像特徴を有することと、
前記選択された画像から少なくとも１つの画像特徴を抽出すること、及び
前記訓練の後に、前記少なくとも１つの画像特徴に基づいて、具体的な臨床行為に関連付けられたクラスを前記複数のクラスから識別するために、前記確信レベル表示モデルに適用すること
によって、前記複数の臨床行為から選択された前記具体的な臨床行為を与えるように前記コンピューティングデバイスを利用することと、
をさらに有する、請求項２に記載の方法。

【請求項4】

前記複数の訓練画像特徴が、複数のタイプの画像特徴を含み、前記複数の臨床医推薦診断決定が、少なくとも一人のオペレータによって下され、前記複数の訓練画像特徴の前記サブセットに対応した前記特定のＣＡＤシステム推薦診断決定のそれぞれに関して提供される前記ＣＬＩスコアが、（１）前記複数のタイプの画像特徴の内のあるタイプの画像特徴に固有であり、かつ（２）前記少なくとも一人のオペレータに固有である、請求項１に記載の方法。

【請求項5】

前記特定のＣＡＤシステム推薦診断決定のそれぞれに関する前記ＣＬＩスコアを提供する前記確信レベル表示モデルが、前記臨床医確信度、前記確信レベル表示モデルの前記出力、及び前記複数の訓練画像特徴の前記サブセットのそれぞれに関する前記既知の正しい診断決定を含むパラメータを有する関数を含む、請求項１に記載の方法。

【請求項6】

前記特定のＣＡＤシステム推薦診断決定のそれぞれに関して、そのＣＡＤシステム推薦診断決定の前記出力を提供する際に前記コンピューティングデバイスが確信により重く重み付けを行った、画像の局所エリアを提供することをさらに有する、請求項１に記載の方法。

【請求項7】

前記複数のクラスのそれぞれが、画像報告データシステムの異なるカテゴリと関連付けられる、請求項１に記載の方法。

【請求項8】

前記複数の訓練画像特徴のそれぞれが、病変の関心領域と関連付けられたピクセル値を有する、請求項１に記載の方法。

【請求項9】

前記確信レベル表示モデルが、
Ｐ（ｃ／Ｘ；及びＺ；及びＷ；及びＱ）として定義される関数を含み、
上記関数において、訓練画像特徴を表す特徴ベクトルＸ、ラベルＺによって定義される臨床医推薦診断決定、ラベルＷによって定義されるＣＡＤシステム推薦診断決定、及びラベルＱによって定義される既知の正しい診断決定を所与として、Ｐは前記複数のクラスの内のクラスｃにある確率である、請求項１に記載の方法。

【請求項10】

前記特定のＣＡＤシステム推薦診断決定のそれぞれに関する前記ＣＬＩスコアによって定義された前記特定のＣＡＤシステム推薦診断決定の確信レベルを示すために、前記確信レベル表示モデルが、前記複数の臨床医推薦診断決定の前記サブセットを中間値として組み込む確率的分類を利用する、請求項１に記載の方法。

【請求項11】

前記複数の臨床医推薦診断決定が、
オペレータのセットによって、前記複数の訓練画像特徴に対応するＣＡＤシステム推薦診断決定のセットを見ることなく下された、前記複数の訓練画像特徴のセットに対応するプリＣＡＤ診断決定と、
前記オペレータのセットによって、前記ＣＡＤシステム推薦診断決定のセットを見た後に下された、前記複数の訓練画像特徴の前記セットに対応するポストＣＡＤ診断決定と
を含む、請求項１に記載の方法。

【請求項12】

ＣＡＤシステム推薦診断決定を受信することと、
前記確信レベル表示モデルを用いて、前記ＣＡＤシステム推薦診断決定に関するＣＬＩスコアを提供することであって、前記ＣＬＩスコアが、前記ＣＡＤシステム推薦診断決定が正しい診断決定である可能性を表すことと、
をさらに有する、請求項１に記載の方法。

【請求項13】

前記臨床医推薦診断決定が、
病変のセットが悪性である可能性を推定するオペレータから得られる直接的ラベル、
オペレータのセット間の、病変のセットが悪性であるというある程度のコンセンサスから得られるコンセンサスラベル、
オペレータによって下された病変のセットの１つ又は複数の診断決定からモデル化される、オペレータモデルによって生成されるラベル、
オペレータのセットのコンセンサス又はオペレータモデルのセットのコンセンサスからモデル化される、マルチオペレータモデルによって生成されるラベル、
マルチオペレータモデルをオペレータに合わせて微調整することからモデル化される、微調整オペレータモデルによって生成されるラベル、又は
予め訓練され、かつ異なるオペレータアーキタイプを表すモデルのセットから選択される、アーキタイプオペレータモデルによって生成されるラベル
の内の１つ又は複数を含む、請求項１に記載の方法。

【請求項14】

前記特定のＣＡＤシステム推薦診断決定のそれぞれに関して提供される前記ＣＬＩスコアが、
前記ＣＬＩスコアが０．５よりもはるかに大きい場合、前記ＣＬＩスコアが提供される前記ＣＡＤシステム推薦診断決定の確信レベルが高いことを示し、かつそのＣＡＤシステム推薦診断決定が、臨床医推薦診断決定を訂正することができることを示す、
請求項１に記載の方法。

【請求項15】

前記複数の訓練画像特徴のそれぞれが、医用画像に関連付けられるベクトルを含む、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001] 本特許出願は、２０１６年８月１１日に出願され、及び「ＣＡＤシステム推薦に関する確信レベル指標（confidence level indicator）を提供するためのＣＡＤシステムパーソナライゼーションの方法及び手段」という名称の、その内容全体が、本明細書において参照により全体として援用される米国特許出願第１５／２３５，０５０号の継続出願である。

【0002】

背景
[0002] １．分野
[0003] 本発明概念は、一般に、医用画像及び解析に関し、並びに、より具体的には、医療診断用の画像報告データシステム（ＩＲＡＤＳ：image reporting and data system）の枠の中で、臨床的意思決定能力を向上させるシステム及び方法に関する。本発明概念は、システムのルールの解釈におけるグループ又は個人の偏りによる推薦臨床行為の逸脱を最小限に抑えるようにプログラミングされたコンピュータ支援診断（ＣＡＤ：computer-assisted diagnosis）システムに関する確信レベル表示（ＣＬＩ：confidence level indication）を提供する。

【背景技術】

【0003】

[0004] ２．関連分野の考察
[0005] 毎年、１，３００，０００件を超える乳房生検が米国で行われており、及び４，５００，０００件を超える乳房生検が、世界中で行われている。これらの生検の内、８０％が良性所見を得ている。乳房生検は、患者を臨床的リスクにさらす外傷性の体験であり、不快であり、及び値段が高い。

【0004】

[0006] 放射線科医などの訓練を受けた医療専門家は、通常、手作業で、又はコンピュータソフトウェアを使用して、医用画像内の疑わしい領域を識別及び分類しようと試みるであろう。次いで、放射線科医は、関連の評点方式に従って、各疑わしい領域を手作業で特性化するかもしれない。例えば、乳房内の疑わしい関心領域が、乳腺画像報告データシステム（ＢＩ－ＲＡＤＳ：Breast Imaging Reporting and Data Systems）のガイドラインに従って特性化される場合がある。ＢＩ－ＲＡＤＳは、マンモグラフィ、超音波、又はＭＲＩを使用して乳癌を診断するために放射線科医によって使用される、広く受け入れられているリスク評価及び品質保証ツールである。各疑わしい領域に割り当てられた分類は、今後の方針を決定し得る。例えば、疑わしい領域が、おそらく悪性であると分類された場合、生検が指示されるかもしれない。疑わしい領域が、正常であると分類された場合、それ以上の行為は行われないかもしれない。但し、疑わしい領域が、おそらく良性であると分類された場合、方針は、６ヶ月後に変化がないか調べるために検査を繰り返すことであるかもしれない。ＢＩ－ＲＡＤＳ報告手法には、放射線科医が、画像ベースの所見の簡潔なレビューを提供し、並びに最終評価及び具体的な方針と共に、結果を照会する医師に明白及び一貫性のあるやり方で伝えることを可能にする、報告目的の標準レキシコン及び構造が含まれる。構造化された報告は、報告ターンアラウンドタイム（ＴＡＴ）を早め、請求書の作成及び規制順守の文書化を簡単にし、並びに利用レビュー、品質保証、及びリサーチ目的のデータ抽出のプロセスを簡単にする助けにもなる。医療監査及びアウトカムモニタリングにより、このシステムは、相互評価の重要な機構及び患者の治療の質を高めるための品質保証データを提供する。標準化した様式でまとめられた結果は、人口統計データ及びアウトカムデータの保守及び収集解析を可能にする。

【0005】

[0007] １９９３年のマンモグラフィの開始以来のＢＩ－ＲＡＤＳの成功は、様々な医用画像報告データシステム用のさらに多くの類似のチェックリストベースのシステムの導入に拍車をかけた。類似の報告データシステムの一部のリストには、それぞれ前立腺、甲状腺、肝臓、及び肺癌診断用の前立腺画像報告データシステム（ＰＩ－ＲＡＤＳ：Prostate Imaging-Reporting and Data System）、甲状腺画像報告データシステム（ＴＩ－ＲＡＤＳ：Thyroid Imaging Reporting and Data System）、肝臓画像報告データシステム（ＬＩ－ＲＡＤＳ：Liver Imaging Reporting and Data System）、及び肺ＲＡＤＳが含まれる。

【0006】

[0008] 基本的ＢＩ－ＲＡＤＳ評価カテゴリは、以下の通りである。
[0009] １：陰性、
[0010] ２：良性、
[0011] ３：おそらく良性、
[0012] ４．疑わしい、及び
[0013] ５：悪性を強く示唆。

【0007】

[0014] カテゴリ０（ＢＩ－ＲＡＤＳ０）及びカテゴリ６（ＢＩ－ＲＡＤＳ６）もある。ＢＩ－ＲＡＤＳ０は、比較のために以前の画像を確認する、又は追加の見解、より高品質なフィルム、若しくは追加の画像診断法のために患者に再び来てもらう努力を必要とする不完全な分類を示す。ＢＩ－ＲＡＤＳ６は、生検によって既に証明された、証明済みの悪性を示す。

【0008】

[0015] ＢＩ－ＲＡＤＳ４の分類は、以下のサブカテゴリに分けられることが多い。
[0016] ４Ａ：悪性の低い疑い、
[0017] ４Ｂ：悪性の中程度の疑い、及び
[0018] ４Ｃ：悪性の高い疑い。

【0009】

[0019] ＢＩ－ＲＡＤＳシステムによって提供される推薦患者管理は、関心領域が、疑わしい、又は非常に疑わしい、すなわち、ＢＩ－ＲＡＤＳ４又はＢＩ－ＲＡＤＳ５と分類された場合、生検が指示されるべきである。疑わしい領域が、正常又は良性、すなわち、ＢＩ－ＲＡＤＳ１又はＢＩ－ＲＡＤＳ２と分類された場合、それ以上の行為は行われなくてもよい。但し、疑わしい領域が、おそらく良性、すなわち、ＢＩ－ＲＡＤＳ３と分類された場合、推薦は、変化がないか調べるための６カ月フォローアップである。ＢＩ－ＲＡＤＳスコアは、悪性腫瘍と相関した統計値であり、及び悪性腫瘍の決定性評価基準ではない。カテゴリ３（２％未満の悪性腫瘍のリスク）又はカテゴリ４（３％～９４％の癌の確率）の病変が、異なる程度の悪性乳房病変と見なされることが明らかとなっている。これは、不確かなものであると見なされるカテゴリ３の過形成結節に特に当てはまる。このような病変は、良性病変の明らかな特性は持たないが、それでも主観的にカテゴリ３の病変と見なされる。カテゴリ４の病変の１～２個の非良性特性が存在するが、米国放射線医学会（American College of Radiology）は、詳細なガイダンスを何ら提供していない。これは、分類における観察者間の一貫性の低さにつながり、ＢＩ－ＲＡＤＳシステムの理想的な使用からの相違が生じる結果となる。さらに、カテゴリ４ａは、一般的に、９０％～９８％の良性病変から成り、４ｂは、５０％～９０％の良性病変から成り、及び４ｃは、５％～５０％の良性病変から成り、並びにＢＩ－ＲＡＤＳ５は、０％～５％の良性病変を有するが、全てが生検に進まなければならない。従って、ＢＩ－ＲＡＤＳ４又はＢＩ－ＲＡＤＳ５のカテゴリの患者に対して行われた生検の内の８０％もの生検が、良性であると判明する。

【0010】

[0020] コンピュータ支援診断（ＣＡＤ）システムは、放射線科医の診断パフォーマンスを向上させる可能性を持つ。しかし、実際には、放射線科医は、ＣＡＤシステムによって行われる推薦を何時受け入れ、又は何時断るのかを知ることが難しい。

【0011】

[0021] 特に、これらの知見を念頭に置いて、本発明概念の様々な局面が着想され、及び開発された。

【発明の概要】

【発明が解決しようとする課題】

【0012】

概要
[0022] 本発明概念は、ＣＡＤ推薦システムに対する確信レベルをより良く示すために、人間のオペレータによって与えられた中間値を組み込んだ確率的分類を利用するように構成されたコンピュータ化されたシステムを提供する。

【課題を解決するための手段】

【0013】

[0023] 上記は、本発明概念のある局面において、診断支援システムをパーソナライズする方法を提供することによって達成することができる。この方法は、コンピュータ支援診断（ＣＡＤ）システム推薦に関する確信レベル表示（ＣＬＩ）を提供するようにデバイスを訓練するために機械学習を利用するステップを含んでいてもよい。このような訓練は、複数の訓練画像特徴にアクセスするステップを含んでいてもよい。複数の訓練画像特徴のそれぞれは、複数のクラスの内の既知のクラスと関連付けられてもよい。既知のクラスは、訓練画像特徴のそれぞれに関する既知の正しい診断決定に対応してもよい。

【0014】

[0024] 上記訓練は、複数の訓練画像特徴のそれぞれに対応した、少なくとも一人のオペレータからの複数の初期臨床医推薦診断決定にアクセスするステップをさらに含んでいてもよい。複数の初期臨床医推薦診断決定のそれぞれは、臨床医確信度を含んでいてもよい。

【0015】

[0025] 上記訓練は、複数の訓練画像特徴のそれぞれに対応した複数のＣＡＤシステム推薦診断決定にアクセスするステップをさらに含んでいてもよい。複数のＣＡＤシステム推薦診断決定のそれぞれは、分類子出力スコア又はスコアのアンサンブルの組み合わせを含んでいてもよい。

【0016】

[0026] 上記訓練は、複数の訓練画像特徴のサブセットに対応した複数の初期臨床医推薦診断決定のサブセットにアクセスするステップをさらに含んでいてもよい。複数の初期臨床医推薦診断決定のサブセットは、複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム推薦診断決定とは異なっていてもよい。

【0017】

[0027] 上記訓練が、複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアを定義する関数を生成するステップをさらに含んでいてもよい。

【0018】

[0028] この方法は、一連の訓練画像と関連付けられた初期訓練データセットを提供することによって、デバイスを最初に訓練するために初期機械学習を利用するステップをさらに含んでいてもよい。初期訓練データセットの少なくとも一部は、複数のクラスの内の初期の既知のクラスと関連付けられた画像特徴を含んでいてもよい。複数のクラスは、初期の予め定められた可能な臨床行為と関連付けられてもよい。この方法は、デバイスに対する初期訓練データセットの提供の結果に基づいて、重み付けされたエラー項の費用関数を決定するステップをさらに含んでいてもよい。この方法は、診断するために重要であると予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴値に対して、費用関数の特定のパラメータに重み付けを行う、及び／又はペナルティを科すステップをさらに含んでいてもよい。

【0019】

[0029] この方法は、インタフェースによって選択された画像を受信するステップをさらに含んでいてもよい。選択された画像は、画像特徴を含んでいてもよい。この方法は、（ｉ）選択された画像から少なくとも１つの画像特徴値を抽出すること、及び／又は（ｉｉ）複数のクラスからクラスを識別するために重み付けされた費用関数を使用して訓練されたデバイスに少なくとも１つの画像特徴値を適用することによって、具体的な臨床行為を与えるようにデバイスを利用するステップをさらに含んでいてもよい。このデバイスは、コンピュータ支援診断（ＣＡＤ）システム推薦に関するＣＬＩを提供するようにデバイスを訓練するために機械学習を利用する前に、初期機械学習を使用して、訓練されてもよい。複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアは、特定のタイプの画像特徴に固有であり、及び／又は少なくとも一人のオペレータに固有であってもよい。関数の１つ又は複数のパラメータは、臨床医確信度、分類子出力スコア、及び／又は複数の訓練画像特徴のサブセットのそれぞれに関する既知の正しい診断決定を含んでいてもよい。ＣＬＩスコアを定義する関数を生成するステップは、ＣＡＤシステムが、システムの推薦において、システムの確信により重く重み付けを行った画像の局所エリアを提供することを含んでいてもよい。

【0020】

[0030] この方法は、ＣＬＩの１つ又は複数の段階又は訓練ステップ（例えば、初期訓練段階）を周期的に（例えば、年一回）繰り返すことによって、ある期間にわたるユーザ（例えば、放射線科医）の学習挙動に適応するステップをさらに含んでいてもよい。学習挙動は、ある期間にわたりＣＤＩ／ＣＡＤシステムを使用した産物、例えば、癌を正しく検出及び／又は診断する能力の向上、及び／又は放射線科医が、ある期間にわたり獲得したかもしれない診断画像解析に対する他の学習経験であってもよい。複数の訓練画像特徴のサブセットに対応した複数の初期臨床医推薦診断決定のサブセットは、ある特定のオペレータ、複数の特定のオペレータ、機関、ロケール、ワークフロー位置、及び／又は複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアを定義する関数と共に利用されることを含む、複数のオペレータによって下された最終決定の集約による初期決定プロファイル及び／又は最終決定プロファイルをさらに含んでいてもよい。つまり、個人又はグループの初期スコアは、ＣＡＤレコメンダースコアを見た後に、それらのスコアに続いて記録される。これらのスコアは、訓練を受けたＣＡＤデバイス／システムが、訓練中に見た各症例に類似した症例に関して、個人又はグループの決定よりも正しい確率を推定するようにＣＬＩ又はそれと関連付けられた関数を訓練することを助けるために使用されてもよい。

【0021】

[0031] 複数のクラスのそれぞれが、乳腺画像報告データシステム（ＢＩ－ＲＡＤ）レキシコンの異なるカテゴリと関連付けられてもよい。複数の訓練画像特徴画像のそれぞれは、軍団の関心領域と関連付けられたピクセル値及び／又はピクセル値のサブセットを含んでいてもよい。関数は、ＣＬＩスコアを計算するために、オペレータによって与えられた１つ若しくは複数の中間値、及び／又はＣＡＤシステム推薦に基づいてもよく、又は因数分解してもよい。関数は、ＣＬＩスコアによって定義されたＣＡＤシステム推薦の確信レベルをより良く示すために、人間のオペレータによって与えられた中間値を組み込みながら、確率的分類を利用してもよい。

【0022】

[0032] 上記は、本発明概念の別の局面において、診断支援システムを訓練する方法を提供することによって達成することができる。この方法は、コンピュータ支援診断（ＣＡＤ）システム推薦に関する確信レベル表示（ＣＬＩ）を提供するようにデバイスを訓練するために機械学習を利用するステップを含んでいてもよい。この訓練は、少なくとも１つの訓練画像特徴に関する既知の正しい診断決定に対応した既知のクラスと関連付けられた訓練画像特徴にアクセスするステップを含んでいてもよい。この訓練は、訓練画像特徴に対応した、少なくとも一人のオペレータからの臨床医推薦診断決定にアクセスするステップをさらに含んでいてもよい。この訓練は、分類子出力スコア又はスコアのアンサンブルの組み合わせを有する訓練画像特徴に対応したＣＡＤシステム推薦診断決定にアクセスするステップをさらに含んでいてもよい。ＣＡＤシステム推薦診断決定は、臨床医推薦診断決定とは異なっていてもよい。この訓練は、ＣＡＤシステム推薦診断決定に関するＣＬＩスコアを定義する関数を生成するステップをさらに含んでいてもよい。関数の１つ又は複数のパラメータは、臨床医確信度、分類子出力スコア、及び／又は訓練画像特徴に関する既知の正しい診断決定を含んでいてもよい。臨床医推薦診断決定は、少なくとも一人のオペレータによって与えられた中間値を定義してもよい。

【0023】

[0033] 上記は、本発明概念の別の局面において、診断支援訓練システム又は装置を提供することによって達成することができる。この装置は、少なくとも１つのコンピューティングデバイスを含んでいてもよい。このコンピューティングデバイスは、１つ又は複数の重み付け項の費用関数を用いて、１つ又は複数の画像特徴に基づいた推薦クラスを生成するように機械学習によって訓練されるように動作可能であってもよく、費用関数の１つ又は複数のパラメータは、予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴に対して、重み付けされ、及び／又はペナルティを科されてもよい。追加の機械学習が、コンピューティングデバイスに適用されてもよい。このような追加の機械学習は、複数の訓練画像特徴のそれぞれに対応した、オペレータからのコンピューティングデバイスによってアクセスされた複数の臨床医診断決定を含んでいてもよい。複数の初期臨床医診断決定のそれぞれは、臨床医確信度を有していてもよい。このような追加の機械学習は、コンピューティングデバイスによってアクセスされた複数の訓練画像特徴のそれぞれに対応した複数のＣＡＤシステム診断決定を含んでいてもよい。複数のＣＡＤシステム診断決定のそれぞれは、分類子出力スコア又はスコアのアンサンブルの組み合わせを含んでいてもよい。複数の臨床医診断決定のサブセットは、コンピューティングデバイスによってアクセスされた複数の訓練画像特徴に関する特定のＣＡＤシステム診断決定とは異なる複数の訓練画像特徴のサブセットに対応していてもよい。このような追加の機械学習は、複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム診断決定のそれぞれに関するＣＬＩスコアを定義することができる、コンピューティングデバイスによって実行される関数を含んでいてもよい。この関数は、特徴ベクトルＸを所与として、及びオペレータが、ラベルＺを選択し、及びＣＡＤシステム推薦が、ラベルＷによって定義され、既知のグラウンドトゥルースが、ラベルＱとして定義される、クラスｃにある確率を計算するためのＰ（ｃ／Ｘ；及びＺ；及びＷ；及びＱ）として定義されてもよい。ＣＬＩスコアは、確率的分類を使用して、少なくとも一人のオペレータによって与えられた中間値を考慮に入れることによって、コンピューティングデバイスが推薦クラスを正しく生成する確率を定義することができる。

【0024】

図面の簡単な説明
[0034] 本明細書に記載する本発明概念の上記及び他の目的、特徴、並びに利点は、添付の図面に図示されるような発明概念の具体的な実施形態の以下の説明から明らかになるはずである。図面は、本発明概念の典型的な実施形態のみを示し、及び従って、範囲を限定すると見なされるものではない。

【図面の簡単な説明】

【0025】

【図1】[0035]本発明概念の局面による例示的プロセスフローである。

【図2】[0036]本発明概念の局面による例示的プロセスフローである。

【図3】[0037]本発明概念の局面による例示的プロセスフローである。

【図4】[0038]本発明概念の局面による例示的プロセスフローである。

【図5】[0039]本発明概念の局面による例示的プロセスフローである。

【図6】[0040]本明細書に述べる様々なサービス、システム、及び方法を実施することができる例示的コンピューティングデバイスである。

【発明を実施するための形態】

【0026】

[0041] 図面は、本発明概念を本明細書に開示及び記載される具体的な実施形態に限定しない。図面は、必ずしも一定の縮尺ではなく、その代わりに、本発明概念の特定の実施形態の原理を明白に示すことに重きを置いている。

【0027】

詳細な説明
[0042] 以下の詳細な説明は、本発明概念の様々な実施形態を図示する添付の図面を参照する。それらの図示及び説明は、当業者が本発明概念を実施できるように十分に詳細に、本発明概念の局面及び実施形態を説明することを意図する。他の構成要素を利用することが可能であり、及び本発明概念の範囲から逸脱することなく、変更を行うことが可能である。従って、以下の詳細な説明は、限定的な意味で解釈されるべきものではない。本発明概念の範囲は、添付の特許請求の範囲と共に、この特許請求の範囲が権利を持つ均等物の全範囲によってのみ定義される。

【0028】

[0043] Ｉ．専門用語
[0044] 本明細書では、本発明概念の特徴を説明するために専門用語を使用する。例えば、「一実施形態（one embodiment）」、「ある実施形態（an embodiment）」、「上記実施形態（the embodiment）」、又は「複数の実施形態（embodiments）」という用語への言及は、言及されている１つ又は複数の特徴が、本発明概念の少なくとも１つの局面に含まれることを意味する。本明細書における「一実施形態」、「ある実施形態」、「上記実施形態」、又は「複数の実施形態」という用語への別々の言及は、必ずしも同じ実施形態に言及せず、並びに、そのように記載されている場合を除き、及び／又は容易に本明細書から当業者に明らかとなる場合を除き、相互排他的でもない。例えば、一実施形態に記載された特徴、構造、プロセス、ステップ、又は行為などは、他の実施形態に含まれてもよいが、必ずしも含まれるわけではない。従って、本発明概念は、本明細書に記載する実施形態の様々な組み合わせ及び／又は統合を含んでもよい。さらに、本明細に記載する本開示のあらゆる局面は、その実施に必須ではない。

【0029】

[0045] 「アルゴリズム」という用語は、本明細書において具体的に記載した、又は本明細書に鑑みて当業者にとって容易に明らかである本発明概念の機能を含む（但し、それらに限定されない）１つ又は複数の機能を行うように構成された、論理、ハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせを指す。上記論理は、データ処理及び／又は記憶機能を持つ回路網を含んでいてもよい。このような回路網の例には、マイクロプロセッサ、１つ若しくは複数のプロセッサ、例えば、プロセッサコア、プログラマブルゲートアレイ、マイクロコントローラ、特定用途向け集積回路、ワイヤレスレシーバ、トランスミッタ、及び／又はトランシーバ回路網、半導体メモリ、又は組み合わせ論理が含まれ得るが、これらに限定されない。

【0030】

[0046] 「論理」という用語は、実行可能アプリケーション、アプリケーションプログラミングインタフェース（ＡＰＩ）、サブルーチン、関数、プロシージャ、アプレット、サーブレット、ルーチン、ソースコード、オブジェクトコード、共用ライブラリ／ダイナミックロードライブラリ、又は１つ若しくは複数の命令の形式の実行可能コードなどの、１つ又は複数のソフトウェアモジュールの形式のコンピュータコード及び／又は命令を指す。これらのソフトウェアモジュールは、任意のタイプの適宜の非一時的ストレージ媒体、又は一時的ストレージ媒体（例えば、搬送波、赤外線信号、又はデジタル信号などの伝搬信号の電気、光、音響、又は他の形式）に保存されてもよい。非一時的ストレージ媒体の例には、プログラマブル回路、半導体メモリ、揮発性メモリ（例えば、任意のタイプのランダムアクセスメモリ「ＲＡＭ」）などの非永続ストレージ、不揮発性メモリ（例えば、リードオンリーメモリ「ＲＯＭ」、電源バックアップＲＡＭ、フラッシュメモリ、相変化メモリなど）などの永続ストレージ、ソリッドステートドライブ、ハードディスクドライブ、光ディスクドライブ、又はポータブルメモリデバイスが含まれ得るが、これらに限定又は制限されない。ファームウェアとして、実行可能コードは、永続ストレージに保存される。

【0031】

[0047] 「ユーザ」という用語は、本明細書では、本発明概念のシステム及び／又は方法のユーザを表す同義語として一般に使用される。本明細書において、ユーザは、臨床医、診断医、医師、技術者、生徒、及び／又は管理者であってもよい。

【0032】

[0048] 「識別された（identified）」、「処理された（processed）」、及び「選択された（selected）」という用語は、本明細書において、時制に関係なく、少なくとも１つのプロセッサを介して、１つ又は複数のプロセスにおいて、システムによって自動的に行われた、又は実行されたコンピュータ化されたプロセスを表す同義語として一般に使用される。

【0033】

[0049] 「ＣＡＤ」という頭字語は、コンピュータ支援診断（Computer-Assisted Diagnosis）を意味する。

【0034】

[0050] 「クライアント」という用語は、ＣＡＤ病変アプリケーションに接続するソフトウェアのあらゆるプログラムを意味する。

【0035】

[0051] 「サーバ」という用語は、別段の指定がない限り、一般的に、１つ又は複数のクライアントをリッスンするＣＡＤ病変アプリケーションを指す。

【0036】

[0052] 「ポスト処理」という用語は、入力された超音波画像に適用されたアルゴリズムを意味する。

【0037】

[0053] 「ＰＡＣＳ」という頭字語は、画像保管通信システム（Picture Archival and Communication System）を意味する。

【0038】

[0054] 「ＧＳＰＳ」という頭字語は、グレースケールソフトコピープレゼンテーションステート（Grayscale Softcopy Presentation State）を意味する。

【0039】

[0055] 「ＤＩＣＯＭ」という頭字語は、医療におけるデジタル画像及び通信（Digital Imaging and Communications in Medicine）を意味する。

【0040】

[0056] 「ＵＩ」という頭字語は、ユーザインタフェース（User Interface）を意味する。

【0041】

[0057] 「ＰＨＩ」という頭字語は、個人健康情報（Private Health Information）を意味する。

【0042】

[0058] 「コンピュータ化された（computerized）」という用語は、ソフトウェア及び／又はファームウェアと組み合わせたハードウェアによって、何らかの対応するオペレーションが行われることを一般に表す。

【0043】

[0059] 「アンサンブル方法」という用語は、構成要素である学習アルゴリズムの何れかから得ることが可能な、より良いパフォーマンスを得るための複数の学習アルゴリズムを意味する。

【0044】

[0060] 「スタッキング」という用語は、幾つかの他の学習アルゴリズムの予測を組み合わせるように学習アルゴリズムを訓練することを意味する。スタッキングは、スタックドゼネラリゼーション（stacked generalization）とも呼ばれる場合がある。

【0045】

[0061] 「コンバイナ」という用語は、追加入力として他のアルゴリズムの予測を全て使用して最終予測を行うように訓練されたアルゴリズムを意味する。

【0046】

[0062] 「ダイバーシティ」という用語は、アンサンブル方法／モデル間のバリエーションを意味する。アンサンブル方法の多くは、それらが組み合わせるモデル間のダイバーシティを促進させようとする。よりランダムなアルゴリズム（ランダム決定木など）を使用することによって、非常に作為的なアルゴリズム（エントロピー低減決定木など）よりも強力なアンサンブルを生成することができる。しかし、様々な強力学習アルゴリズム（ダイバーシティ）を使用することは、ダイバーシティを促進するためにモデルのレベルを下げようとする技術を使用するよりも効果的であることが示されている。

【0047】

[0063] 最後に、本明細書で使用する「又は」並びに「及び／又は」という用語は、包括的に、又は任意の１つ、若しくは任意の組み合わせを意味すると解釈されるものである。従って、「Ａ、Ｂ、又はＣ」又は「Ａ、Ｂ及び／又はＣ」は、「以下：Ａ；Ｂ；Ｃ；Ａ及びＢ；Ａ及びＣ；Ｂ及びＣ；Ａ、Ｂ及びＣの何れか」を意味する。この定義に対する例外は、要素、関数、ステップ又は行為の組み合わせが、何らかの形で、本質的に相互排他的である場合にのみ生じる。

【0048】

[0064] 本発明概念は、多くの異なる形式の実施形態が可能であるので、本開示が、本発明概念の原理の一例と見なされることが意図されており、並びに本発明概念を図示及び説明した具体的な実施形態に限定することは意図されていない。

【0049】

[0065] ＩＩ．米国特許出願第１５／２００，７１９号への言及
[0066] 本発明概念の局面は、本明細書に援用される関連の米国特許出願第１５／２００，７１９号に記載のコンピューティングデバイスで実施される既存のコンピュータ支援診断（ＣＡＤ）推薦システムを利用したシステム及び方法を提供する。米国特許出願第１５／２００，７１９号のＣＡＤ推薦システムは、個人又は特定の専門家グループから得た画像特徴に対処するための推薦臨床行為と、証明済み又は証拠に基づくデータとの相関関係に基づいた最適臨床行為との間の相違を最小限に抑えるように特別にプログラムされる。米国特許出願第１５／２００，７１９号のＣＡＤ推薦システムは、オペレータのエラープロファイルに基づいた生検などの間違った臨床行為の数を減らす。

【0050】

[0067] 以前のＣＡＤ推薦システムの局面は、機械学習を利用して、画像特徴に関する臨床決定を提案するようにコンピューティングデバイスを訓練する。一連の訓練画像と関連付けられた訓練データセットは、コンピューティングデバイスに適用することができる。一連の訓練画像は、人の乳房などの人体のある特定のエリアを示す医用画像を有していてもよい。具体的には、訓練画像は、悪性又は良性病変を持つ乳房の一部の画像を有していてもよい。各画像は、示される病変によって、色及び陰影などの異なる特性を有する場合がある。訓練データセットの少なくとも一部は、訓練画像からの（医学レキシコンの）複数のクラスの内の既知のクラスと関連付けられた画像特徴を有していてもよい。つまり、画像特徴は、医学レキシコンの特定のクラスとリンクすることが証明されている。例えば、ＢＩ－ＲＡＤＳレキシコンのクラス１は、第１の訓練画像の画像特徴と関連付けられてもよく、又は割り当てられてもよく、及びＢＩ－ＲＡＤＳレキシコンのクラス２は、第２の訓練画像の画像特徴と関連付けられてもよく、又は割り当てられてもよい。画像特徴は、医用画像などのある特定の画像のベクトル又は他の値であってもよい。つまり、訓練データセットの少なくとも一部は、画像特徴が、医学レキシコンの１つ又は複数のクラスに何時割り当てられるべきかに関する例をコンピューティングデバイスに提供することができる。

【0051】

[0068] 医学レキシコンの各クラスは、予め定められた可能な臨床行為と関連付けられてもよく、又は対応していてもよい。つまり、ある画像特徴が、ある特定のクラスに入る時に、そのクラスに特有の特定の臨床決定が推薦されるべきであることを予め定めることができる。臨床行為は、例えば、画像特徴に基づいて行われるべき特定のタスク又はプロシージャを有していてもよい。一例として、臨床行為は、病変の組織標本を除去し、並びに、検査及び解析用にその組織標本を提出するために、病変に生検を行うことを有していてもよい。別の臨床行為は、６カ月などの予め定められた期間の後に、患者及び病変のフォローアップを行うことを有していてもよい。

【0052】

[0069] 重み付け項の費用関数は、コンピューティングデバイスに適用された訓練セットデータに基づいて決定されてもよい。さらに、費用関数の特定のパラメータは、診断するために重要であると予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴値に対して重み付けされてもよい。例えば、特定のパラメータは、放射線科医又は他の臨床医が、複数のクラスの内の１つ又は複数に属すると、ある画像特徴を正確に診断する難しさを考慮に入れるために重み付けされてもよい。

【0053】

[0070] ある具体的な実施形態において、上記の機械学習は、あり得る癌診断の具体的な状況において臨床決定を下すように、コンピューティングデバイスを訓練するために使用することができる。１つ又は複数の画像特徴と、既知の正しいＢＩ－ＲＡＤ分類との間の関係を識別する、予め選択されたデータパターングループの形式の訓練データセットが、分類のためにコンピューティングデバイスに提示されてもよい。訓練データセットは、例えば、ある特定の質感、形状、１つの成分／複数の成分、陰影、色、又はＢＩ－ＲＡＤレキシコンによるクラス４に入ると見なされた他の視覚的特徴を持つと人間の目には見える（例えば、病変の）画像特徴を識別することができる。画像特徴は、（あるピクセル、ピクセルグループ、又は複数のピクセル若しくはピクセルグループの関数の）ある特定の値をさらに有していてもよく、例えば、訓練データセットは、コンピューティングデバイスのために、各画像と関連付けられた１つ若しくは複数のピクセル（又は１つ若しくは複数のピクセルの関数）のある特定の値（特徴値）を識別する。そのため、訓練データセットは、コンピューティングデバイスのために、個々の放射線科医、又は放射線科医グループによって、１つ又は複数のＢＩ－ＲＡＤクラスに入ると見なされた、又は予め定められた（例えば、臨床的証拠に基づいて）画像と関連付けられた特徴値又は特徴値セットをさらに識別する。加えて、生検により証明された分類（病変が癌性であるか、又は良性であるかに関する）が既知である。

【0054】

[0071] 訓練画像に応答して、コンピューティングデバイスによって生成された実際の出力が、費用関数を参照して、既知の生検により証明された結果と比較されてもよい。一実施形態において、放射線科医又は放射線科医グループに関して画像特徴がどのように分類されるべきであるか、及び彼らの画像に対するＢＩ－ＲＡＤレキシコンのクラスの選択に関する、コンピューティングデバイスによって出力されるエラーを最小限に抑えるためには、このような費用関数を最小限に抑えることが理想的である場合がある。この比較の局面を利用して、重み、偏り、又はエラー項に加えられるペナルティ関数などのコンピューティングデバイス及び／又は費用関数の特定のパラメータを調節することができる。さらに、費用関数の特定のパラメータは、診断するために重要であると予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴値に対して重み付けされてもよい。例えば、特定のパラメータは、臨床医が病変の生検を推薦するか否かに関する決定に直面した場合に特に重要となり得る複数のクラスの内の１つ又は複数に属すると、放射線科医又は他の臨床医が、ある画像特徴を正確に診断する難しさを考慮に入れるために重み付けが行われてもよく、又はペナルティを科されてもよい。上記のプロセスは、適宜の第２の予め選択されたデータパターングループ又はバリデーションセットについて平均化された費用関数が、最小限に抑えられるまで繰り返されてもよい。このような実施形態では、ＢＩ－ＲＡＤ病変に対する臨床行為を示すようにするコンピューティングデバイスの訓練は、後続のテストデータが、コンピューティングデバイスに提示され、コンピューティングデバイスが、そのテストデータに関する出力を生成し、及びその出力と、既知の正しい結果との間の比較が、予め定められた許容差の範囲内の差又は値を生じさせると、完了したと見なされてもよい。訓練されたコンピューティングデバイスは、放射線医学及び超音波検査などの状況において決定を生じさせるようにコンピューティングデバイスを訓練することなどの様々な関連の適用例のために実施されてもよい。訓練されたコンピューティングデバイスは、ＣＡＤ推薦システムの一要素であってもよい。

【0055】

[0072] ＣＡＤ推薦システムの局面は、まだ診断されていない新しい画像の分類を推薦するために、上記の訓練段階の機械学習／訓練を利用し、これらの分類は、画像特徴に関する特定のＣＡＤ推薦臨床決定に対応する。新しく選択された画像は、インタフェースを使用して、ＣＡＤ推薦システムのコンピューティングデバイスによって受信されてもよい。コンピューティングデバイスは、選択された画像をスキャンし、選択された画像から画像特徴を読み出し、選択された画像から値を抽出し、及びそれらの値を病変又は他の異常（上記の訓練段階中に学習されたもの）と関連付けられていると認識するようにコンピューティングデバイスがプログラムされた、予め定められた値とマッチさせてもよい。いずれにしても、選択された画像は、解析のためにコンピューティングデバイスにとってアクセス可能にされた少なくとも１つの画像特徴を有する。

【0056】

[0073] コンピューティングデバイスは、選択された画像から少なくとも１つの画像特徴値を抽出してもよい。選択された画像特徴値は、ある数値と関連付けられてもよく、及び一部の実施形態では、ピクセル値又はピクセル値セットであってもよい。選択された画像特徴からこのように値を抽出することは、コンピューティングデバイスが理解可能なデータ、及び１つ若しくは複数の費用関数又は機械学習中に構築された他の関数と共に利用することができるデータに画像特徴を分解する。

【0057】

[0074] ＣＡＤ推薦システムのコンピューティングデバイスは、重み付けされた費用関数を用いて訓練されたコンピューティングデバイスに少なくとも１つの特徴値を適用することによって利用される。次いで、コンピューティングデバイスは、機械学習プロセス中に定義された複数のクラスの中から、あるクラスを出力する。ＣＡＤシステムの重み付け又はペナルティベースの訓練段階は、オペレータが正しくない可能性が高い時に、ＣＡＤシステムが正しいスコアを示す確率を高める。一般的に一人又は複数のユーザによるエラーに対してより多くの重みを置くことによって、ＣＡＤエラープロファイルがオペレータとは異なる可能性を高めるために、重み付け又はペナルティ関数が使用される。代替的に、一人又は複数のオペレータによって作り出される可能性が最も高いエラー項にペナルティを科すことにより、それらが、結果として生じるＣＡＤシステムのオペレーションにおいて補正される可能性が高まる。例えば、生検により証明された良性画像の所与の画像の場合、コンピューティングデバイスは、病変が良性であることを示す２のＢＩ－ＲＡＤカテゴリに相当するスコアを出力するかもしれないが、この同じ画像は、画像特徴値が疑わしい病変と関連付けられ、及びさらに診断を受けるべきであることをオペレータが示すことによって、ＢＩ－ＲＡＤＳ４とカテゴライズされる可能性が最も高いものであるかもしれない。従って、放射線科医が、自身の初期診断ではなく、ＣＡＤシステムの推薦に従った場合、彼らは、この不要な生検をなくすことができたかもしれない。

【0058】

[0075] ＩＩＩ．ＣＬＩシステムの全体アーキテクチャ
[0076] 本明細書に援用される米国特許出願第１５／２００，７１９号のＣＡＤ推薦システムなどのＣＡＤ推薦システムは、一般的に、熟練した放射線科医らと同様のエラーレートで動作する。ＣＡＤ推薦システムが、ある画像分類のクラスを出力し、このクラスが、画像特徴に関するＣＡＤ推薦診断決定に対応し、及びこのＣＡＤ推薦臨床決定が、初期臨床医推薦診断決定と一致する場合、初期臨床医推薦診断決定を行ったオペレータ（又は他のユーザ）は、画像特徴の自身の診断に対して、さらなる確信が与えられる。しかし、ＣＡＤ推薦診断決定が、初期臨床医推薦診断決定と一致しない場合、オペレータは、無支援診断（ＣＡＤシステムからの推薦を考慮に入れない初期臨床医推薦診断決定）か、ＣＡＤ推薦診断決定かを選択する決定を行うことを余儀なくされる。

【0059】

[0077] 次いで、オペレータは、ＣＡＤ推薦臨床決定に対するオペレータの確信と比較した、オペレータの初期診断決定に対する確信に基づいて、最終決定を行うことができる。オペレータが、ＣＡＤシステムの能力よりも、自身の意見により確信があれば、オペレータは、ＣＡＤシステムの推薦を断る方に偏るであろう。一方、オペレータが、自身の能力よりもＣＡＤシステムに対して高い確信を持つ場合、彼らは、ＣＡＤシステムの推薦を受け入れる方に偏るであろう。信頼性の認知又は信頼性の欠如によるこの偏りは、診断ワークフローの各ステップ内の意思決定プロセスにおける、ＣＡＤ及び放射線科医／オペレータの組み合わせのパフォーマンスを制限する。

【0060】

[0078] 理想的には、ＣＡＤシステムは、放射線科医などのオペレータの意見とは、放射線科医が正しくない場合にのみ異なり、及びＣＡＤシステムは、放射線科医を正すことができる。さらに、理想的なケースでは、ＣＡＤシステムは、放射線科医が正しい時には、常に同意する。しかし、放射線科医が正しく、且つＣＡＤシステムが正しくない場合もある。最適な意思決定プロセスは、放射線科医が、ＣＡＤシステムによって与えられる推薦に対して、ある程度の付加的な確信を持つことができれば、得られる可能性がある。機械学習で使用される分類子の標準出力値は、実際にはめったに満たされない、非常に限られた条件下の確率としてのみ解釈することができる。

【0061】

[0079] 本発明概念は、この問題を解決し、及びある特定の画像／画像特徴に関して、放射線科医の意見が、ＣＡＤシステムの推薦とは異なる場合に、放射線科医が、放射線科医の初期意見よりもＣＡＤの推薦を何時受け入れるべきかを決定することを助けるように動作可能である。本発明概念は、放射線科医が、真のデータから成るデータベースに対してＣＡＤシステムを使用する間に、訓練データを収集することによって、この問題に対処する。訓練セッションは、放射線科医をＣＡＤシステムの長所及び短所に慣れさせ、並びに何時ＣＡＤシステムが放射線科医の初期決定を訂正することを助けることができるかに関するデータを収集する目的を果たす。訓練データを使用して、ＣＡＤ推薦システムによって特定のＣＡＤシステムの推薦に関する確信スコアを提供する予測モデルを訓練する。予測モデルは、画像データ及び放射線科医の以前のパフォーマンスを所与として、ＣＡＤ推薦が正しい可能性を表すスコアを提供する。放射線科医は、何時ＣＡＤシステムに従うことが最善であるかを決定することを助ける、パーソナライズされた確信スコアを使用することができる。本発明概念は、放射線科医らが、より効果的に、ＣＡＤシステムに対する自身の信頼を較正することを可能にする。

【0062】

[0080] ＣＡＤ推薦システムは、このシステムを使用する一人又は複数の放射線科医によるエラーを補完するエラーを有するように訓練されてもよい。ＣＡＤシステムは、ＣＡＤシステムに放射線科医のエラーを補完するエラーを与えるために、放射線科医らによるエラーにより重くペナルティを科すように訓練されてもよい。本発明概念は、ＣＡＤ推薦システムの向上又は調整をさらに行うために、機械学習／訓練を利用する。本発明概念は、それによって何時オペレータ（例えば、放射線科医）が、自身の初期意見よりも一層確信を持ってＣＡＤシステムを信頼すべきかを理解することを習得するように彼らが訓練される方法及び手段を提供する。オペレータは、適切な医用画像データセットを観察することに基づいて、予め保存された症例のセットを診断するように求められることが可能である。ＣＡＤシステムは、セカンドオピニオンを提供する。放射線科医は、自由に、ＣＡＤ推薦に基づいて自身の元の意見を変更することができ、又は推薦を断ることができる。次いで、実例によって、どの症例がＣＡＤシステムの推薦を用いることによってオペレータが恩恵を受けることが可能であり、及びどの症例がＣＡＤシステムの助けをあまり必要としないかをオペレータが学習することを助けるために、真の診断が、類似の症例の画像と共に表示されてもよい。この訓練段階を使用して、確信レベル指標（ＣＬＩ）の統計又は予測モデルを形成することができる。

【0063】

[0081] ＣＬＩの目的は、ＣＡＤシステムとオペレータとの間の不一致の場合に、症例データ、並びにそれぞれの傾向及び潜在的な偏りを所与として、どちらの方が正しい可能性が高いかを決定することである。この目的のために、放射線学的データ、当該データの真の（生検により証明された）診断、当該データのＣＡＤシステムの解釈、当該データのオペレータの解釈、及びＣＡＤシステムによって影響を受けた場合のオペレータのデータの解釈の変化を考慮に入れることによって、ＣＬＩのパラメータが決定される。本明細書におけるデータの真の診断とは、問題となっている症例の生検により証明された診断を指し得る。

【0064】

[0082] オペレータのデータの解釈は、多くの方法を使用して得ることができ、これらの方法の幾つかには、以下のある組み合わせが含まれ得る。
１）直接的ラベル－このシナリオでは、オペレータは、病変セットの悪性腫瘍の可能性を推定する任務を負う。それぞれの症例の状況において、これらのラベルは、ＣＬＩにオペレータの傾向を知らせるために使用される。その際、ＣＬＩは、そのオペレータにパーソナライズされる。
２）コンセンサスラベル－前のシナリオに類似するが、多くのオペレータが考慮される。次いで、ＣＬＩが、ある程度の彼らのコンセンサスによって決定されたラベルを中心に設計される。この場合、ＣＬＩは、パーソナライゼーションと引き換えに多数のオペレータに関する一般性を手に入れる。
３）オペレータモデル－ＣＬＩに影響を与えるためにオペレータのラベルを直接使用するのではなく、これらは、オペレータの意思決定のモデルを構築するために最初に使用される。次いで、このモデルは、多数のシミュレーションされたオペレータラベルを生成するために使用することができ、及びオペレータに手作業で多くの症例にラベルを付けさせる必要性をなくす。
４）マルチオペレータモデル－１つの挙動ではなく、多くのオペレータの挙動がモデル化される、方法３の拡張。これは、多くのオペレータのコンセンサスをモデル化すること、及び／又は多くのオペレータモデルのコンセンサスを考慮することによって達成することができる。
５）微調整オペレータモデル－この方法は、方法３のパーソナライズアプローチと、方法４の一般化アプローチとの折り合いをつける。そのためには、一般マルチオペレータモデルが、最初に構築される。このモデルは、ベースラインと見なすことができ、次いで、これは、最適であると見なされる程度が何であれ、個々のオペレータの好みに従うように微調整することができる。
６）アーキタイプオペレータモデル－この方法は、前の２つのいずれも拡張する。この具体化においては、幾つかのモデルが、予め訓練され、及び異なるオペレータアーキタイプを表す。個々のオペレータの挙動は、彼らの挙動を最も詳細に反映するモデルとマッチさせることができる。次いで、アーキタイプモデルを直接使用することができ、又はユーザに合わせてさらに微調整することができる。

【0065】

[0083] 前述のファクタを使用して、ＣＡＤとオペレータとの間の不一致を最も最適なやり方で解決することができる。この解決は、オペレータ集団の中のあるオペレータに関する、ＣＡＤの決定に対するある程度の確信と見なすことができる。

【0066】

[0084] 本発明概念の局面は、図１のフローチャート１００を参照して説明することができる。フローチャート１００は、プリＣＡＤ訓練を示す。ブロック１０２に示すように、複数の訓練画像が、医用画像データベースからアクセスされてもよい。訓練画像は、病気、ケガ、又は苦痛を示し得る特性を持つ人体のエリアを表してもよい。例えば、訓練画像には、示された部分が、癌領域の可能性があるか否かを決定するために診断される必要がある乳房の一部の画像が含まれ得る。ブロック１０４では、特徴抽出プロセスが実施されてもよい。ブロック１０６では、複数の画像特徴が、訓練画像から抽出されてもよい。ブロック１１０では、放射線科医又は他の臨床医などのオペレータが、パーソナライズ放射線科医モデル訓練を受けてもよい。具体的には、オペレータは、訓練画像から抽出された画像特徴の少なくとも一部のそれぞれに対して、診断決定、又はブロック１１４に示すようなプリＣＡＤビューイング診断を推薦してもよい。特定のオペレータが間違った診断決定（すなわち、既知の証明された診断決定（ブロック１１２に示すような）とは異なる決定）を何時したかに関するデータを有する、オペレータ（又はオペレータグループ）に特有の、ブロック１１６に示すようなパーソナライズ放射線科医／オペレータプリＣＡＤモデルが、生成されてもよい。ブロック１１６のパーソナライズ放射線科医／オペレータプリＣＡＤモデルは、特定のオペレータがどのタイプの画像特徴に対して間違った決定（すなわち、既知の正しい診断決定とは異なる決定）をする傾向があるかを識別するのに役立つことができる。図１のフローチャート１００は、オペレータがＣＡＤデータを見ることなく導出されたブロック１１６のパーソナライズ放射線科医／オペレータプリＣＡＤモデルを示すことが重要である。つまり、図１のオペレータは、ブロック１１６のパーソナライズ放射線科医／オペレータプリＣＡＤモデルを構築するために、プリＣＡＤ訓練を受ける。

【0067】

[0085] 図１は、任意選択的な放射線科医プリＣＡＤビューイング診断データベース（プリＣＡＤデータベース）１０８をさらに示す。プリＣＡＤデータベースは、ブロック１１０のパーソナライズ放射線科医モデル訓練を用いてオペレータのパフォーマンスを実際に測定する前に、オペレータ（例えば、放射線科医）を訓練するために利用されてもよい。そのため、プリＣＡＤデータベース１０８は、オペレータが（実際の訓練中に診断決定を推薦する）ＣＡＤシステムの機能性をより深く理解することを助ける支援をすることができる。

【0068】

[0086] 図２は、図１に類似した訓練プロセスのフローチャートを示す。このフローチャートは、ポストＣＡＤビューイング訓練（すなわち、オペレータポストＣＡＤビューイングの診断決定を解析すること）を示す。図１と同様に、ブロック１０２では、複数の訓練画像が、医用画像データベースからアクセスされてもよい。訓練画像は、病気、ケガ、又は苦痛を示し得る特性を持つ人体のエリアを表してもよい。例えば、訓練画像には、示された部分が、癌領域の可能性があるか否かを決定するために診断される必要がある乳房の一部の画像が含まれ得る。ブロック１０４では、特徴抽出プロセスが実施されてもよい。ブロック１０６では、複数の画像特徴が、訓練画像から抽出されてもよい。

【0069】

[0087] 図２は、任意選択的な放射線科医プリＣＡＤビューイング診断データベース（プリＣＡＤデータベース）１５８をさらに示す。プリＣＡＤデータベースは、ブロック１３０のパーソナライズ放射線科医モデル訓練を用いてオペレータのパフォーマンスを実際に測定する前に、オペレータ（例えば、放射線科医）を訓練するために利用されてもよい。そのため、プリＣＡＤデータベース１５８は、オペレータが（実際の訓練中に診断決定を推薦する）ＣＡＤシステムの機能性をより深く理解することを助ける支援をすることができる。

【0070】

[0088] ブロック１３０では、放射線科医又は他の臨床医などのオペレータが、パーソナライズ放射線科医モデル訓練を受けてもよい。具体的には、オペレータは、訓練画像から抽出された画像特徴の少なくとも一部のそれぞれに対して、診断決定、又はブロック１３２に示すようなポストＣＡＤビューイング診断を推薦してもよい。特定のオペレータが間違った診断決定（すなわち、既知の証明された診断決定（ブロック１１２に示すような）とは異なる決定）を何時したか、及び何時オペレータが、同じ画像特徴に関してＣＡＤ決定にアクセスできるにもかかわらず、その決定を下したかに関するデータを有する、オペレータ（又はオペレータグループ）に特有の、ブロック１５２に示すようなパーソナライズ放射線科医／オペレータポストＣＡＤモデルが、生成されてもよい。ブロック１５２のパーソナライズ放射線科医／オペレータポストＣＡＤモデルは、特定のオペレータがどのタイプの画像特徴に対して間違った決定（すなわち、既知の正しい診断決定とは異なる決定）をする傾向があるかを識別するのに役立つことができる。図２のフローチャート１５０は、オペレータがＣＡＤデータを見た状態で導出されたブロック１５２のパーソナライズ放射線科医／オペレータポストＣＡＤモデルを示すことが重要である。つまり、図２のオペレータは、ブロック１５２のパーソナライズ放射線科医／オペレータプリＣＡＤモデルを構築するために、ポストＣＡＤ訓練を受ける。

【0071】

[0089] 図３は、ＣＬＩモデル訓練の別のフローチャート２００を示し、この出力は、ブロック２１４に示すようなパーソナライズオペレータ／放射線科医訓練済みＣＬＩモデルである。図１及び２と同様に、ブロック１０２では、複数の訓練画像が、医用画像データベースからアクセスされてもよい。訓練画像は、病気、ケガ、又は苦痛を示し得る特性を持つ人体のエリアを表してもよい。例えば、訓練画像には、示された部分が、癌領域の可能性があるか否かを決定するために診断される必要がある乳房の一部の画像が含まれ得る。ブロック１０４では、特徴抽出プロセスが実施されてもよい。ブロック１０６では、複数の画像特徴が、訓練画像から抽出されてもよい。

【0072】

[0090] 図示されるように、確信レベル指標モデル訓練は、ブロック１１２の既知の正しい診断決定ラベル、ブロック２１０のＣＡＤシステム分類子出力、ブロック２０２の訓練済み放射線科医プリＣＡＤ診断、ブロック２０６のパーソナライズ放射線科医プリＣＡＤモデル、ブロック２０４の訓練済み放射線科医ポストＣＡＤ診断、及びブロック２０８のパーソナライズ放射線科医ポストＣＡＤモデルを入力として取り込んでもよい。

【0073】

[0091] 図４は、図３から導出されたＣＬＩモデルを使用して画像特徴を分類するためのフローチャート３００である。図１及び２と同様に、ブロック３０２では、複数の訓練画像が、医用画像データベースからアクセスされてもよい。訓練画像は、病気、ケガ、又は苦痛を示し得る特性を持つ人体のエリアを表してもよい。例えば、訓練画像には、示された部分が、癌領域の可能性があるか否かを決定するために診断される必要がある乳房の一部の画像が含まれ得る。ブロック３０４では、特徴抽出プロセスが実施されてもよい。ブロック３０６では、複数の画像特徴が、訓練画像から抽出されてもよい。

【0074】

[0092] ブロック３１２では、ブロック３０８のＣＡＤ分類子及びブロック３１０の任意選択的な放射線科医初期プリＣＡＤ診断を入力として取り込む、パーソナライズ確信レベル指標モデルが利用されてもよい。さらに図示するように、ＣＡＤ分類子３０８は、ブロック３１４のＣＡＤ分類子出力を生成し、及びパーソナライズ確信レベル指標モデルは、ブロック３１６のＣＬＩモデル出力を生成する。つまり、パーソナライズ確信レベル指標モデルを使用して、分類子出力又は診断決定に関するＣＡＤシステム推薦に関して、確信レベル指標を生成することができる。確信レベル指標又は３１６のＣＬＩモデル出力は、ＣＡＤシステム推薦が臨床医診断決定とは異なる場合に、３１４のＣＡＤ分類子出力が正しい可能性を示す。確信レベル指標は、ＣＡＤ出力に対して正しい確率に類似した確信レベルを提供し、従って、ＣＡＤシステムが、ある画像特徴が癌病変と関連付けられていることを示す場合、ＣＬＩは、例えば、この画像特徴が、癌軍団と関連付けられていることに関するＣＡＤ診断決定に対して、９５％の確信レベルであることを示す０．９５を出力してもよい。

【0075】

[0093] 一実施形態において、ＣＡＤシステム推薦に対するＣＬＩスコアを計算するようにデバイスを訓練する前に、教師付き機械学習の第１の段階は、特定の画像特徴に基づいて分類を提案するようにデバイスを訓練することを有していてもよい。具体的には、多次元特徴ベクトルＸｉの一定のセットを使用して、各入力ベクトルＸｉに対してスコアｓ（Ｘｉ）を出力するようにデバイスを訓練する（機械学習）ことができる。次いで、その結果得られた訓練済みデバイスは、それに関してデバイスが訓練されていない新しいデータに対するオペレーションにおいて、訓練（学習と呼ばれることもある）中にデバイスが学習したパターンを一般化するために使用されてもよい。

【0076】

[0094] ほとんどの教師付き学習／訓練方法は、ｓ（Ｘｉ）が、０～１のスカラー値であり、及びＸｉが、クラスｃの最も可能性の高いメンバーから最も可能性の低いメンバーまでのテストセット内の例をランク付けするために使用することができる特徴ベクトル（すなわち、多値アレイ）である、スコアｓ（ｘ）を出力する分類子を生成する。すなわち、ｘ及びｙの２つの例の場合、Ｓ（ｘ）＜Ｓ（ｙ）である（ｘの分類子によって与えられる出力スコアが、ベクトルｙに対して与えられるスコアよりも小さい）場合、Ｐ（ｃ／ｘ）＜Ｐ（ｃ／ｙ）である（特徴ベクトルｘを持つ画像がクラスＣにある（例えば、癌である）確率は、特徴ベクトルＹを持つ画像がクラスＣにある確率よりも低い）。しかし、多くの適用例において、クラスメンバーシップ確率に従った例のランク付けは、十分ではない可能性がある。ほとんどのパターン認識／機械学習システムは、クラスメンバーシップの確率に関する相対的スコアを与える。本発明概念は、ユーザモデル及びグラウンドトゥルースと共に、画像セットに対して収集された訓練データを使用して確信推定（ＣＬＩスコア）を生成するように動作可能である。使用された方法は、訓練データでは使用されないデータに関する有用な確信スコアを提供するように一般化する。従って、オペレータが１つ又は複数の提示された画像特徴に基づいて最適な最終決定を選択することを助けるために使用することができる確信又はＣＬＩスコアが生成される。

【0077】

[0095] つまり、分類に関する基本的な問題は、全データ値が、訓練中に、例えば癌の場合「１」、又は癌でない場合「０」とラベル付けされる点である。０～１の間にある値は、分類子の出力として訓練されないので、実際のオペレーション時に、どのように介在する値が画像に割り当てられるかに関して、自由度が高い。そのため、相対的ランク付けのみが、クラスＣにある確率に結び付けられる。すなわち、理想的には、ある特定の画像例によって表される画像の８０％が癌であることを示すために＞０．８の出力スコアを人は望むであろうが、これは、０．７のスコアを有する画像よりも癌である可能性が高いことを意味するにすぎない。

【0078】

[0096] 本発明概念は、訓練済みＣＡＤシステム推薦の確信レベルをより良く示すために、人間のオペレータ及び訓練済みＣＡＤシステムによって与えられた中間値を有する訓練データを利用する。従って、ＣＡＤシステム推薦の確信スコアを与えるために、特徴ベクトルＸを有した画像、並びにＣＡＤ推薦及び予期される又は実際のユーザ初期決定（オペレータの決定は、彼／彼女のエラープロファイルによって偏る可能性のあるＣＡＤシステムを使用して暗に得られる）を所与として、癌の確信（又は正しい確率）に関するより一般的な値が与えられる。

【0079】

[0097] 一実施形態では、数学的に、ＣＬＩスコアを生成するための関数は、
Ｐ（ｃ／Ｘ及びＺ及びＷ及びＱ）
と記述することができ、これは、特徴ベクトルＸを所与として、ユーザ／オペレータがラベルＺを選択し、及びＣＡＤシステムがラベルＷを推薦し、既知のグラウンドトゥルースがラベルＱによって表される場合の、クラスがクラスｃにある確率を示す。

【0080】

[0098] ラベルは、癌、又は癌ではない、すなわち、それぞれ１又は０でもよい。ユーザ及び／又はＣＡＤシステムに関連する情報を因数分解することによって、推定の特異性を高めることは、推定の精度を高め、並びにユーザ及びＣＡＤシステムに特有の確信スコアを向上又は増加させる結果をもたらし、それによって、機械学習及び推定のプロセスが促進される。つまり、ＣＬＩスコアを計算するための関数は、一人若しくは複数の特定のユーザ及び／又は１つ若しくは複数の特定のＣＡＤシステムの状況において、ＣＬＩスコアがＣＡＤ診断決定に対する提案された確信を反映するように、一人又は複数の特定のオペレータ及び１つ又は複数の特定のＣＡＤ推薦システムを考慮に入れることができる。

【0081】

[0100] オペレータは、一般に、患者の症例研究のために収集された画像におけるＮ個の可能な関心領域（ＲＯＩ）の内のｉ番目のＲＯＩに対して、０（癌の可能性が最も低い）～１（癌の可能性が最も高い）のスコアを割り当てることができる。割り当てられたスコアは、一般的に、オペレーション中は、０又は１であるが、訓練目的で、中間値が使用されてもよい。オペレータのスコアは、ｉ＝１～Ｎの場合、Ｓ１（ｉ）と示すことができる。オペレータのスコアは、真のスコアＳ（ｉ）＋Ｅｌ（ｉ）によって示されるｉ番目のスコアのエラー値（ｉは、１～Ｎまで）であるので、ｉ＝１～Ｎの場合、５１（ｉ）＝Ｓ（ｉ）＋Ｅｌ（ｉ）である。ＣＡＤシステムは、Ｓ２（ｉ）＝Ｓ（ｉ）＋Ｅ２（ｉ）（式中、ｉ＝１～Ｎ）によって示される類似の出力スコアを与えるように訓練されてもよい。ＣＡＤシステムは、そのエラーＥ２（ｉ）が、オペレータのエラーから統計的に独立しているように訓練される。従って、オペレータによって割り当てられたスコアが、ＣＡＤシステムの出力スコアの独立スコアと食い違う（又は一致しない）場合（０．５と比較して、第１の割り当てられたスコアが高く、及び第２の割り当てられたスコアが低い）、「引き分け状態」が検出され、及び最適な決定は、不明である。本明細書では、ＣＬＩは、Ｓ３（ｉ）＝Ｓ（ｉ）＋Ｅ３（ｉ）である第３の独立スコア生成デバイス（別のＣＡＤシステムに類似する）と等しくてもよい。ＣＬＩは、そのエラーＥ３（ｉ）（ｉ＝１～Ｎ）が、オペレータのエラーＥｌ（ｉ）（ｉ＝１～Ｎ）及び第１のＣＡＤシステムエラーＥ２（ｉ）（ｉ＝１～Ｎ）の両方から統計的に独立するように設計されてもよい。従って、例えば、引き分け状態が、オペレータと第１のＣＡＤシステムとの間で生じた場合に、単純な多数決原理の投票論理を用いることによって（すなわち、３つのスコアの内の２つが高であれば、高を選択し、又は３つのスコアの内の２つが低であれば、低を選択する）、引き分け状態を打破するために、その出力を独立意見として使用することができる。オペレータの無支援パフォーマンスよりも高いパフォーマンスを得るために、トリム手段などの代替論理を３つの独立スコアに対して使用することができる。第１のＣＡＤシステムは、何らかの形式の推薦を生成するように訓練されてはいるが、本明細書で述べるようなＣＬＩ機能性を用いて高められてはいないＣＡＤシステムを包含してもよい。

【0082】

[0101] 本発明概念のシステムは、オペレータが、ＣＡＤシステム／デバイスに頼り、及び例えば、ＣＡＤシステム／デバイスが正しく、且つオペレータが間違っている時に、自身の推薦よりもＣＡＤシステム／デバイスの推薦に従う場合、オペレータが、自身のエラーを訂正することを可能にする。ある固有の局面は、米国特許出願第１５／２００，７１９号に開示されるようなデバイスの初期訓練であり、オペレータが、オペレータの無支援推薦の訂正において助けを必要とする可能性が最も高い時に、ＣＡＤシステムのレコメンダーが、正しい推薦を与えることを確実にするために、個人及び／又はオペレータグループによるエラーに可変的に（例えば、より重く）重み付けを行うようにデバイスが具体的に訓練されることである。

【0083】

[0102] 本発明概念は、組み合わせられた決定を最適化するために、それぞれ異なる１つ又は複数の分類子を選択及び利用するように動作可能である。米国特許出願第１５／２００，７１９号は、オペレータが、１つ又は複数の適切な時に、１つ又は複数の推薦を受け入れることを選択した場合に、自身のエラーの１つ又は複数を訂正することによって、オペレータの精度を高めるために、オペレータの初期推薦と組み合わせることができる推薦を提供するパーソナライズ多様分類子を得るための新しい方法及び手段を開示する。

【0084】

[0103] 本発明概念は、最終決定又は推薦の精度を高めるために、米国特許出願第１５／２００，７１９号の訓練済みＣＡＤシステムの推薦をオペレータの初期推薦と組み合わせる新しいやり方を教示し、並びに、オペレータは、確信レベルがＣＤ！スコアの高（０．５よりもはるかに大きい）であれば、ＣＡＤ推薦を選択することも学び、及びこの再評価は、オペレータの間違った初期評価を訂正することができる。さらに、ＣＬＩシステムは、オペレータが、ＣＡＤ推薦に従わず、及び自身の初期評価を継続する方がおそらく良い場合に、低確信レベル（０．５よりはるかに低い）を提供することができる。

【0085】

[0104] 図５は、診断決定に関するＣＡＤシステム推薦と共に利用されるＣＬＩモデルを生成するためのプロセスフロー４００である。ブロック４０２では、対象デバイス又は他のデバイスから生成されたＣＡＤ推薦診断決定に関する確信レベル指標（ＣＬＩ）を提供するために、機械学習が、利用されてもよく、又はデバイスによって別の方法で実施されてもよい。デバイス自体が、デバイスによってアクセスされた画像特徴の診断決定に関して推薦を生成するように既に最初に訓練されている場合、デバイスは、参照により援用される関連の米国特許出願第１５／２００，７１９号に記載の初期機械学習を使用して訓練されているかもしれない。従って、一実施形態において、ＣＬＩを提供するようにデバイスを訓練するために機械学習を利用することは、診断決定を推薦するように既に訓練されたＣＡＤシステムに対する改善となることが可能であり、及び同じデバイス／アプリケーションは、ＣＬＩスコアを生成するために使用される機能性（関数／アルゴリズム）を考慮するために変更されてもよい。

【0086】

[0105] ブロック４０４では、デバイスは、複数の訓練画像特徴にアクセスしてもよい。各訓練画像特徴は、既知のクラス内で関連付けられてもよい。つまり、特定の画像特徴が、癌であると証明された病変と関連付けられてもよい。別のケースでは、特定の画像特徴が、非癌性であると証明済みである。どちらの場合も、訓練画像特徴の全てが、証拠又は証明された検査結果などに基づいて、１つの臨床クラス又は別の臨床クラスに既に割り当てられている。クラスは、関連の米国特許出願第１５／２００，７１９号に記載されるＩＲＡＤＳシステムのクラスに対応してもよい。

【0087】

[0106] ブロック４０６では、少なくとも一人のオペレータからの複数の初期臨床医推薦診断決定がアクセスされる。各決定は、訓練画像特徴（これらの真の又は既知の結果は、オペレータには知られていない）の１つ又は複数を診断するために下されてもよい。訓練画像データのオペレータの診断決定又は解釈は、様々な方法を使用して得ることができる。例えば、直接的ラベルコンセンサスラベル、オペレータモデル、マルチオペレータモデル、微調整オペレータモデル、及び／又はアーキタイプオペレータモデルが、本明細書に説明されるように利用されてもよい（但し、本開示は、このようなモデルに限定されず、及び追加のモデルが企図される）。

【0088】

[0107] ブロック４０８では、複数の訓練画像特徴のそれぞれに対して、複数のＣＡＤシステム推薦診断決定がアクセスされてもよい。対象デバイスが、ＣＡＤシステム診断決定を下すために最初に訓練されたのと同じコンピューティングデバイス／ＣＡＤシステムである場合には、このデバイスは、訓練画像の初期訓練中に使用された手法及び関数を単に適用することによって、複数の訓練画像特徴のそれぞれに対して、上記ＣＡＤシステム推薦診断決定を計算することができる。

【0089】

[0108] ブロック４１０では、デバイスは、複数の訓練画像特徴のサブセットに対応する複数の初期臨床医推薦診断決定のサブセットにアクセスしてもよい。サブセットは、１つ又は複数の特定の訓練画像特徴に対して、オペレータが意見を異にする、あるいはＣＡＤシステム診断決定と一致しない、又は異なる診断決定を提供する場合である。

【0090】

[0109] 一部の実施形態では、このステップにおいて、ＣＡＤシステム推薦診断決定を考慮に入れた際に、オペレータ／臨床医が、彼／彼女の診断決定を変更するか否かを決定することができる。例えば、場合によっては、オペレータは、ある訓練画像特徴に対して診断決定を出し、次いで、同じ訓練画像特徴に関するＣＡＤシステム推薦診断決定を与えられると、その決定を変更することができる。このようなデータは、このオペレータに関して集約することができ、及びＣＬＩスコアを計算するための関数の一部として利用することができる。

【0091】

[0110] ブロック４１２では、複数の訓練画像特徴のサブセットに対応する特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアを定義する関数が、生成されてもよい。つまり、オペレータが、特定のＣＡＤ推薦システム診断決定と意見を異にする場合に、その特定のＣＡＤ推薦システム診断決定に関するＣＬＩスコアを計算する１つ又は複数の関数を生成することができる。

【0092】

[0111] 図６は、本明細書で述べた様々な手法を実施することができるコンピューティングシステム７００の例示的模式図である。例えば、コンピューティングシステム７００は、特定のＣＡＤシステム推薦に関するＣＬＩ又はＣＬＩスコアを生成するためのＣＬＩアプリケーション７０を実施するために使用されるコンピューティングデバイスを有していてもよい。コンピューティングシステム７００は、バス７０１（すなわち、相互接続）、少なくとも１つのプロセッサ７０２又は他のコンピューティング素子、少なくとも１つの通信ポート７０３、メインメモリ７０４、リムーバブルストレージ媒体７０５、リードオンリーメモリ７０６、及びマスストレージデバイス７０７を含む。１つ又は複数のプロセッサ７０２は、Intel（登録商標）、Itanium（登録商標）、又は１つ若しくは複数のItaniumプロセッサ、AMD（登録商標）、Opteron（登録商標）、Athlon MP（登録商標）の１つ若しくは複数のプロセッサ、又はMotorola（登録商標）ラインのプロセッサなどの（但し、これらに限定されない）任意の公知のプロセッサであってもよい。通信ポート７０３は、モデムベースのダイヤルアップ接続と共に使用するＲＳ－２３２ポート、１０／１００イーサネットポート、銅若しくはファイバを使用したギガビットポート、又はＵＳＢポートの何れであってもよい。１つ又は複数の通信ポート７０３は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、又はコンピュータシステム２００が接続する任意のネットワークなどのネットワークに応じて選択されてもよい。コンピューティングシステムは、トランスポート及び／又はトランジットネットワーク７５５、表示スクリーン７６０、入出力ポート７４０、並びにマウス又はキーボードなどの入力デバイス７４５をさらに含んでいてもよい。

【0093】

[0112] メインメモリ７０４は、ランダムアクセスメモリ（ＲＡＭ）又は当該分野で一般的に知られている１つ若しくは複数の他の動的ストレージデバイスであってもよい。リードオンリーメモリ７０６は、プロセッサ７０２の命令などの静的情報を保存するためのプログラマブルリードオンリーメモリ（ＰＲＯＭ）などの任意の１つ又は複数の静的ストレージデバイスであってもよい。マスストレージデバイス７０７は、情報及び命令を保存するために使用することができる。例えば、Adaptec（登録商標）ファミリーの小型コンピュータシリアルインタフェース（ＳＣＳＩ）ドライブなどのハードディスク、光ディスク、レイド（ＲＡＩＤ）などのディスクアレイ、Adaptec（登録商標）ファミリーのＲＡＩＤドライブなど、又はその他のマスストレージデバイスが使用されてもよい。

【0094】

[0113] バス７０１は、１つ又は複数のプロセッサ７０２を他のメモリ、ストレージ、及び通信ブロックと通信可能に結合させる。バス７０１は、使用されるストレージデバイスに応じて、ＰＣＩ／ＰＣＩ－Ｘ、ＳＣＳＩ、又はユニバーサルシリアルバス（ＵＳＢ）ベースのシステムバス（又はその他）であってもよい。リムーバブルストレージ媒体７０５は、任意の種類の外部ハードディスク、サムドライブ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、書き換え可能コンパクトディスク（ＣＤ－ＲＷ）、デジタルビデオディスクリードオンリーメモリ（ＤＶＤ－ＲＯＭ）などであってもよい。

【0095】

[0114] 本明細書の実施形態は、プロセスを行うようにコンピュータ（又は他の電子デバイス）をプログラミングするために使用することができる命令を保存した機械可読媒体を含むことができるコンピュータプログラムプロダクトとして提供されてもよい。機械可読媒体には、光ディスク、ＣＤ－ＲＯＭ、光磁気ディスク、ＲＯＭ、ＲＡＭ、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ、又は電子命令の保存に適した他のタイプの媒体／機械可読媒体が含まれ得るが、これらに限定されない。また、本明細書の実施形態は、コンピュータプログラムプロダクトとしてダウンロードされることも可能であり、この場合、プログラムは、通信リンク（例えば、モデム又はネットワーク接続）を介して、搬送波又は他の伝搬媒体で具現化されたデータ信号によって、リモートコンピュータから要求側コンピュータへと転送することができる。

【0096】

[0115] このように、メインメモリ７０４は、本明細書で述べるような機能性をサポートするＣＬＩアプリケーション７０を用いて符号化される。ＣＬＩアプリケーション７０（及び／又は本明細書に記載するような他のリソース）は、本明細書に記載する異なる実施形態による処理機能性をサポートするデータ及び／又は論理命令（例えば、メモリ若しくはディスクなどの別のコンピュータ可読媒体に保存されたコード）などのソフトウェアコードとして具現化されてもよい。一実施形態のオペレーション中に、１つ又は複数のプロセッサ７０２が、例えば、論理命令により、プロセッサ７０２上で実行することにより、及びメインメモリに保存された、又は別の方法で有形的に保存されたＣＬＩアプリケーション７０に基づいて、プロセスを開始し、走らせ、実行し、解釈し、又は別の方法で行うために、バス７０１を使用して、メインメモリ７０４にアクセスする。

【0097】

[0116] 上記の記載は、本開示の技術を具現化する例示的なシステム、方法、技術、命令シーケンス、及び／又はコンピュータプログラムプロダクトを含む。しかし、記載した開示は、これらの具体的な詳細を用いることなく実施されてもよいことが理解される。本開示では、開示した方法は、デバイスによって読み取り可能な命令セット又はソフトウェアとして実施されてもよい。さらに、開示した方法におけるステップの具体的な順序又は階層は、例示的アプローチの実例であることが理解される。設計の好みに基づいて、この方法におけるステップの具体的な順序又は階層が、開示の内容の範囲内にとどまりながら、再配置可能であることが理解される。添付の方法クレームは、様々なステップの要素を見本の順序で示し、及び必ずしも示された具体的な順序又は階層に限定されるというわけではない。

【0098】

[0117] 記載した開示は、本開示によるプロセスを行うようにコンピュータシステム（又は他の電子デバイス）をプログラミングするために使用することができる命令を保存した機械可読媒体を含むことができるコンピュータプログラムプロダクト又はソフトウェアとして提供されてもよい。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形式（例えば、ソフトウェア、処理アプリケーション）で情報を保存するための任意の機構を含む。機械可読媒体には、光ストレージ媒体（例えば、ＣＤ－ＲＯＭ）、光磁気ストレージ媒体、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルメモリ（例えば、ＥＰＲＯＭ及びＥＥＰＲＯＭ）、フラッシュメモリ、又は電子命令の保存に適した他のタイプの媒体が含まれてもよいが、これらに限定されない。

【0099】

[0118] 本発明概念の追加の局面、利点、及び有用性は、部分的には本明細書及び図面に記載され、並びに部分的には本明細書及び図面から明らかとなり、又は本発明概念の実施によって学ぶことができる。

【0100】

[0119] 本明細書及び図面は、例示的であることが意図され、及び限定的な意味のものではない。本発明概念の多くの特徴及びサブコンビネーションは、作り出すことが可能であり、並びに本明細書及び図面の研究により容易に明らかとなるであろう。これらの特徴及びサブコンビネーションは、他の特徴及びサブコンビネーションとは無関係に用いることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】