(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】画像解析を用いて診断評価を行うシステム、装置、及び方法関連出願との相互参照
(51)【国際特許分類】
G16H 30/00 20180101AFI20240214BHJP
【FI】
G16H30/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023549994
(86)(22)【出願日】2022-02-17
(85)【翻訳文提出日】2023-10-11
(86)【国際出願番号】 US2022016865
(87)【国際公開番号】W WO2022178176
(87)【国際公開日】2022-08-25
(32)【優先日】2021-02-17
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-08-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523312820
【氏名又は名称】コイオス メディカル,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】バリノフ,レブ
(72)【発明者】
【氏名】ジャイラージ,アジット
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
開示する複数の実施形態は、第1の計算装置において、注目領域に関連付けられた画像データ、当該画像データに関連付けられた第1の診断評価、及び当該画像データに関連付けられた第2の診断評価であって第1の診断評価とは異なる第2の診断評価を受信することを含む方法を含んでいる。本方法は、第2の診断評価を第1の診断評価と統合して、臨床データに関連付けられた第3の診断評価を生成することを含んでいる。
【特許請求の範囲】
【請求項1】
計算装置において、注目領域に関連付けられた画像データを受信することと、
前記計算装置において、前記画像データに関連する第1の診断評価を受信することと、
前記計算装置において、前記画像データに関連付けられた第2の診断評価であって前記第1の診断評価とは異なる第2の診断評価を受信することと、
前記第2の診断評価を前記第1の診断評価と統合して、前記臨床データに関連付けられた第3の診断評価を生成することを含む方法。
【請求項2】
前記計算装置のインターフェースを介して、前記第1の診断評価又は前記第3の診断評価の少なくとも一方を提示することを更に含んでいる、請求項1に記載の方法。
【請求項3】
ユーザーにより前記第1の診断評価が、前記ユーザーによる前記画像データの解析に基づいて提供され、前記第2の診断評価が、1個以上の画像特徴に基づいて前記注目領域を分類すべく訓練された機械レベルモデルを用いて前記画像データを処理することにより生成される、請求項1に記載の方法。
【請求項4】
前記機械学習モデルが、深層ニューラルネットワーク、多層パーセプトロン、ランダムフォレスト、サポートベクトルマシンのうち1個以上を含んでいる、請求項3に記載の方法。
【請求項5】
前記第1の診断評価が第1の形式であり、第2の診断評価が第2の形式であって、前記統合することが、
前記第2の診断評価に変換関数を適用して変換された第2の診断評価を、前記変換された第2の診断評価を前記第1の診断評価と統合して前記第3の診断評価を生成する前に生成することを含んでいる、請求項1に記載の方法。
【請求項6】
前記第1の診断評価又は前記第2の診断評価の少なくとも一方が、所定の画像分類システムに従い生成される、請求項1に記載の方法。
【請求項7】
前記所定の画像分類システムが、米国放射線学会により編成された報告データシステム(RADS)のクラスの下で標準化されたシステム、又は米国甲状腺学会により編成された標準化システムの少なくとも一方を含んでいる、請求項6に記載の方法。
【請求項8】
前記注目領域が病変部を含み、前記第1の診断評価又は前記第2の第1の診断評価の少なくとも一方が、画像分類システムに基づいて決定された病変部の悪性度の指標を含んでいる、請求項1に記載の方法。
【請求項9】
前記第1の診断評価が前記注目領域に関連付けられた1個以上の記述子に関連付けられた第1の値の組に基づいており、前記変換された第2の診断評価が前記注目領域に関する1個以上の記述子に関連付けられた第2の値の組に基づいており、前記方法が更に、
前記1個以上の記述子の各記述子の前記第2の値の組の各値に関連付けられた信頼度レベル指標であって前記変換された第2の診断評価を生成する際に各記述子に関連付けられた前記値に関連付けられた信頼度を示すべく構成された信頼度レベル指標を生成することを含んでいる、請求項1に記載の方法。
【請求項10】
前記第1の診断評価が、所定の分類システムの下で第1のスコアと関連付けられていて、前記方法が更に、
前記計算装置のインターフェースを介して、(1)前記所定の分類システムの下の第2のスコアに関連付けられた前記第3の診断評価、及び(2)前記第1のスコアと前記第2のスコアの差を提示することを含んでいる、請求項1に記載の方法。
【請求項11】
メモリと、
前記メモリに動作可能に結合されたプロセッサであって、
注目領域に関連付けられた画像データを受信し、
前記画像データに関連付けられた第1の診断評価であって第1の形式であって前記画像データに関連付けられた1個以上の記述子に割り当てられた第1の値の組に基づく第1の診断評価を受信し、
機械学習(ML)モデルを用いて前記画像データを処理して、前記臨床データに関連付けられていて第2の形式である第2の診断評価を示す出力を生成し、
前記第2の診断評価を前記第2の形式から前記第1の形式に変換し、
前記変換された第2の診断評価を前記第1の診断評価と統合することにより前記第3の診断評価を、前記変換された第2の診断評価が前記第2の診断評価に基づいて前記1個以上の記述子から各記述子に割り当てられた第2の値の組の形式で統合されるように生成すべく構成されたプロセッサを含む装置。
【請求項12】
前記プロセッサが更に、
ディスプレイを介して、診断評価に基づく臨床推奨を提示すべく構成されたユーザーインターフェースを提示し、
前記ユーザーインターフェースを介して、前記注目領域に関連付けられた第1の重篤度の点数指標、又は前記注目領域に関連付けられた前記第1の重篤度に基づく第1の臨床推奨の少なくとも一方を含む前記第1の診断評価を表示し、
前記ユーザーインターフェースを介して、前記第3の診断評価の利用可能性の指標、及び前記第3の診断評価に関連付けられた情報を表示すべくユーザーにより起動されるべく構成された制御ツールを表示すべく構成されている、請求項11に記載の装置。
【請求項13】
前記プロセッサが更に、
前記第3の診断評価に関連付けられた情報を要求する前記制御ツールの起動を示す信号を受信し、
前記ユーザーインターフェースを介して、且つ前記信号に応答して、前記注目領域に関連付けられた第2の重篤度の点数に基づく指標、及び前記注目領域に関連付けられた前記第2の重篤度に基づく第2の臨床推奨の少なくとも一方を含む第3の診断評価を表示すべく構成されている、請求項12に記載の装置。
【請求項14】
前記1個以上の記述子が、診断評価の生成に用いられる所定の画像分類システムに基づいている、請求項11に記載の装置。
【請求項15】
前記所定の画像分類システムが、米国放射線学会により編成された報告データシステム(RADS)のクラスの下で標準化されたシステムを含み、前記1個以上の記述子が、前記報告データシステム(RADS)のクラス下の、且つ米国放射線学会による前記標準化されたシステムの下で定義された記述子を含んでいる、請求項14に記載の装置。
【請求項16】
前記所定の画像分類システムが、米国放射線学会により編成された報告データシステム(RADS)のクラスの下で標準化されたシステムを含み、前記クラスが、甲状腺画像報告データシステム(TI-RADS)、乳房画像報告データシステム(BI-RADS)、結腸画像報告データシステム(C-RADS)、肝臓画像報告データシステム(BI-RADS)、肺画像報告データシステム(Lung-RADS)、頸部画像報告データシステム(NI-RADS)、卵巣付属器画像報告データシステム(O-RADS)、及び前立腺画像報告データシステム(PI-RADS)のうち一つを含んでいる、請求項14に記載の装置。
【請求項17】
計算装置において、注目領域に関連する画像データを受信することと、
前記計算装置において、前記注目領域の第1の診断評価であって第1の形式である第1の診断評価を受信することと、
前記画像データに関連付けられた特徴ベクトルであって前記画像データに関連付けられた前記注目領域の診断評価の生成に用いられるべく構成された特徴ベクトルを生成することと、
機械学習(ML)モデルを用いて前記特徴ベクトルを処理して、前記注目領域の第2の診断評価であって前記第1の形式とは異なる第2の形式である第2の診断評価を含む出力を生成することと、
前記第2の診断評価に変換関数であって前記第2の診断評価を前記第1の形式から前記第2の形式に変換すべく構成された変換関数を適用することと、
前記変換関数の適用に基づいて、前記注目領域の第3の診断評価を判定することを含む方法。
【請求項18】
前記第1の診断評価が前記画像データに関連付けられた1個以上の記述子に関連付けられた第1の値の組を含み、前記第3の診断評価が前記画像データに関連付けられた1個以上の記述子に関連付けられた第2の値の組を含み、前記変換関数が、前記画像データに関連付けられた確率の形式である前記第2の診断評価に含まれるデータを変換して前記第2の値の組を生成すべく構成されている、請求項17に記載の方法。
【請求項19】
前記第3の診断評価に基づいて臨床推奨を生成することを更に含んでいる、請求項17に記載の方法。
【請求項20】
ユーザーの要求に応じて、且つインターフェースを介して、前記第3の診断評価及び前記臨床的推奨を表示することを更に含んでいる、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本出願は、2021年2月17日出願の米国仮出願第63/150,286号「人工知能を利用するTI-RADSの有効性」、及び2021年8月13日出願の米国仮出願第63/232,976号「画像解析を用いて診断評価を行うシステム、装置、及び方法」の優先権を主張するものであり、これらの開示全文が引用により本明細書に組み込まれている。
【0002】
技術分野
[0002] 本明細書に記述する複数の実施形態は、診断評価を生成及び/又は変更する方法及び装置に関し、特に、診断を行う際の精度を向上させるべく人工知能(AI)に基づく解析を用いて診断評価を行うことに関する。
【背景技術】
【0003】
背景技術
[0003] 癌は米国における死亡原因の第2位であり、4人に1人が死亡している。癌の効果的な診断及び治療は、過度な遅延なく癌を正しく診断すると同時に、生検を本当に必要とする患者とそうでない患者をより良好に識別できるか否かに依存する。より良い結果が得られるか否かは、熟練した放射線科医の診断精度及び彼らの診断プロセスを支援する適切なツールが利用可能であるか否かに依存する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
[0004] AIに基づくシステムを用いて診断評価を支援することができる。しかし、AIに基づく診断評価を生成すること、及び/又はAIに基づくシステムの出力を既存の臨床ワークフローに統合することが困難な場合がある。従って、AIを用いて診断評価を向上させ、その出力を既存のワークフローに統合して診断サービスを向上させるシステム、装置、及び方法に対するニーズが存在する。
【課題を解決するための手段】
【0005】
[0005] いくつかの実施形態において、本明細書に記載されるシステム、装置、及び方法は医用画像に基づく癌診断を実行する際に医師を支援することができる。複数の実施形態は、第1の計算装置において、診断に関連付けられた画像データ、及び画像データに関連付けられた第1の診断評価の指標を受信することを含む方法を含んでいる。本方法は、第2の計算装置から、画像データに関連付けられた第1の診断評価の指標に関連し、且つ当該指標から変更された第2の診断評価の指標を受信することを含んでいる。本方法は更に、第2の診断評価の指標と第1の診断評価の指標を統合して、画像データに関連付けられた第3の診断評価の指標を生成することを含んでいる。
【0006】
[0006] 開示する複数の実施形態は、第1の計算装置において、注目領域に関連付けられた画像データ、当該画像データに関連付けられた第1の診断評価、及び当該画像データに関連付けられた第2の診断評価であって第1の診断評価とは異なる第2の診断評価を受信することを含む方法を含んでいる。本方法は、第2の診断評価を第1の診断評価と統合して、臨床データに関連付けられた第3の診断評価を生成することを含んでいる。
【0007】
[0007] 開示する複数の実施形態は、メモリ、及び当該メモリに動作可能に結合されたプロセッサを含む装置を含んでいる。プロセッサは、注目領域に関連付けられた画像データ、及び当該画像データに関連付けられた第1の診断評価を受信すべく構成されている。第1の診断評価は第1の形式であり、画像データに関連付けられた1個以上の記述子に割り当てられた第1の値の組に基づいている。プロセッサは更に、機械学習(ML)モデルを用いて画像データを処理して、臨床データに関連付けられた第2の診断評価であって第2の形式である第2の診断評価を示す出力を生成すべく構成されている。プロセッサは更に、第2の診断評価を第2の形式から第1の形式に変換すべく構成されている。プロセッサは更に、変換された第2の診断評価を第1の診断評価と統合することにより第3の診断評価を生成すべく構成されている。変換された第2の診断評価は、第2の診断評価に基づいて1個以上の記述子から各記述子に割り当てられた第2の値の組の形式で統合される。
【0008】
[0008] 開示する複数の実施形態は、計算装置において、注目領域に関連付けられた画像データ、及び当該注目領域の第1の診断評価であって第1の形式である第1の診断評価を受信することを含む方法を含んでいる。本方法は、画像データに関連付けられた特徴ベクトルを生成することを含み、特徴ベクトルは、画像データに関連付けられた注目領域の診断評価の生成に使用すべく構成されている。本方法は、機械学習(ML)モデルを用いて特徴ベクトルを処理して、当該注目領域の第2の診断評価であって第1の形式とは異なる第2の形式である第2の診断評価を含む出力を生成することを含んでいる。本方法は更に、第2の診断評価に変換関数であって第2の診断評価を第1の形式から第2の形式に変換すべく構成された変換関数を適用することを含んでいる。本方法は更に、変換関数の適用に基づいて注目領域の第3の診断評価を判定することを含んでいる。
【図面の簡単な説明】
【0009】
[0009] 当業者には、各図面が基本的に説明目的であって本明細書に記述する開示の範囲の限定を意図していないことが理解されよう。各図面は必ずしも一定の縮尺ではなく、いくつかの例において、異なる特徴を分かり易くするために、本明細書に開示する発明の主題の様々な態様を各図面において誇張又は拡大して示す場合がある。各図面において、同様の参照符号は一般に、同様の特徴(例:機能的に同様及び/又は構造的に同様の要素)を指す。各図面は、少なくとも1個の彩色図面を含んでいる。
【0010】
図面の簡単な説明
【
図1】[0010] 一実施形態による、AIに基づく診断システムの模式図である。
【
図2】[0011]一実施形態による、AIに基づく診断システム内の計算装置の模式的表現である。
【
図3】[0012]一実施形態による、AIに基づく診断システム内のAIに基づく解析装置の模式的表現である。
【
図4】[0013]一実施形態による、AIに基づく診断システムを用いて診断評価をワークフローに統合する方法を記述するフロー図である。
【
図5】[0014]一実施形態による、AIに基づく診断システムを用いて診断評価を生成する方法を記述するフロー図である。
【
図6】[0015]一実施形態による、AIに基づく診断評価を用いて臨床判断を生成し、AIに基づく診断システムを用いてAIに基づく診断評価を臨床ワークフロー内で統合する方法を記述するフロー図である。
【
図7】[0016]一実施形態による、AIに基づく診断システムが診断評価を生成及び/又の統合に使用できる記述子カテゴリの例示的表現である。
【
図8】[0017]一実施形態による、診断評価を生成する決定スキームの例示的表現である。
【
図9A】[0018] 一実施形態による、AIに基づく診断システムを用いて向上した診断評価を行うインターフェースの例を示す模式的表現である。
【
図9B】[0018] 一実施形態による、AIに基づく診断システムを用いて向上した診断評価を行うインターフェースの例を示す模式的表現である。
【
図10A】[0019]一実施形態による、AIに基づく診断システムを用いて向上した診断評価を行うインターフェースの例を示す模式的表現である。
【
図10B】[0019]一実施形態による、AIに基づく診断システムを用いて向上した診断評価を行うインターフェースの例を示す模式的表現である。
【
図11A】[0020] 一実施形態による、AIに基づく診断システムを用いて生成された診断評価の成績向上を示すプロットの例の模式的表現である。
【
図11B】[0020] 一実施形態による、AIに基づく診断システムを用いて生成された診断評価の成績向上を示すプロットの例の模式的表現である。
【発明を実施するための形態】
【0011】
詳細な説明
[0021] 癌等の疾病の効果的な診断及び治療は、過度な遅延なく疾病を正しく診断できるか否かに依存する場合がある。正しい診断及びより良好な成績は、過度な遅延なく癌を正しく診断すると同時に、生検を本当に必要とする患者とそうでない患者をより良好に識別できるか否かに依存する。より良好な成績は、熟練した放射線科医の診断精度及び彼らの診断プロセスを支援する適切なツールが利用できるか否かに基づいていてよい。
【0012】
[0022] AIに基づくシステムが臨床データから学習し、その知識を用いて正確な診断を行う能力があるため、AIを利用して医師の診断を支援すること有利になり得る。AIに基づく診断システムは、臨床データを解析してバイナリ出力を提供するか又は疾患状態(例:癌の悪性度合い)の推定される尤度を表す確率を割り当てるべく構成されていてよい。AIに基づく診断システムは、1個以上の機械学習ツール又はモデルを用いて、時間経過に伴い追加的なデータが与えられるに従い診断精度を向上させるべく構成されていてよい。しかし、いくつかの例において、AIに基づく診断システムの出力を適切に解釈することが、臨床成績を判定する上で重要になる場合がある。
【0013】
[0023] また、AIに基づく診断システムは随意に正確にできるにも拘わらず、医師や診断医による効果的な活用ができなければ実用的なインパクトはほとんどない。AIに基づく診断システムの出力を既存の臨床ワークフローと統合することは、AIに基づく診断サービスの広範な採用に重大な影響を及ぼし得る。従って、AIに基づく診断システムの出力を従来のシステムと統合する効果的なワークフローは、診断評価を生成する際のベースラインシステムの精度と並んで重要な要素となり得る。
【0014】
[0024] ワークフローにおける効果的な統合の障害の一つが起こり得るのは例えば、医師が症例を読み、診断的結論に達し、次いでAIに基づく診断システムに問い合わせた際に異なる推奨を受け取った場合がある。例えば、ある症例について医師が良性だから生検の必要はないと判断したのに対し、AIに基づく診断システムが生検を勧める場合がある。その場合医師はシステムの出力を無視するか、又はシステムの出力を受容して自身の専門知識を無視するかのいずれかにより、矛盾を調整することが必要になる場合がある。医師及びAIに基づくシステムはいずれも無謬ではないため、医師にどちらかを恣意的に選択させると問題に対する最適解ではない恐れがある。本明細書に開示するAIに基づく診断システム及び方法は、医師が既存のワークフローを用いて導き出した診断結論と、AIに基づく診断システムに実装された意思決定支援システムが提供し得る推奨内容を最適に統合することができる。
【0015】
[0025] 医療界で提案及び採用されてきた多くの辞書式報告システムがあり、その各々は指定された形式であり、及び/又は指定された決定スキームを用いて生成されている。異なる身体の部位毎にいくつかのこのようなシステム、例えば前立腺画像報告データシステム(PI-RADS(商標))、乳房画像報告データシステム(BI-RADS(登録商標))、肺画像報告データシステム(Lung-RADS)、肝臓画像報告データシステム(LI-RADS(商標))、コロノグラフィー報告データシステム(C-RADS(商標))、虚血性心疾患報告データシステム(CAD-RADS(商標))、頸部画像報告データシステム(NI-RADS(商標))、卵巣付属器画像報告データシステム(O-RADS(商標))、及び前立腺画像報告データシステム(PI-RADS(商))が存在する。米国放射線学会(ACR)が甲状腺結節の超音波診断用に開発したシステムが米国放射線学会(ACR)甲状腺画像報告データシステム(TI-RADS(商標))として知られる。米国甲状腺学会(ATA)及び他のグループもまた甲状腺結節の評価及び分類のガイドラインと共に同様のシステムを開発している。これらのシステムは、臨床画像で発見された疑わしい知見の評価及び報告用、及び患者管理用の標準化された構造を提供する。
【0016】
[0026] 本明細書に開示するシステム、装置、及び方法は、いくつかの実施形態による、任意の数のそのような報告システムを用いて生成された診断評価を、AIに基づく診断評価を用いて拡張及び/又は適応させる標準化されたプロセスを実装することができる。いくつかの実装例において、開示するシステム及び方法を用いて、適切な成績メトリックを用いて最適化可能な任意の適切な変換を用いて、一つの報告形式の診断評価を別の報告形式に変換できる。
【0017】
[0027] いくつかの実装例において、本明細書に開示するAIに基づく診断システムは、本明細書に記述するように甲状腺癌の診断に用いることができる。甲状腺結節は極めて一般的であり、米国では高解像度超音波検査で成名の最大67%が該当する。甲状腺癌の発生率は人口10万人当たり14.42人である。結節の大部分(約95%)は良性であり、多くの悪性結節は発症又は死亡に至らない。それでも、年間60万件以上の細針吸引(FNA)が行われているが、陽性的中率は30%以下である。ACR TI-RADSは診断基準を標準化し、生検率を下げて、甲状腺癌の過剰診断を抑えるべく開発されている。TI-RADSは読影医間一致率を高めながら、不必要な生検を19.9~46.5%程度て減少させる。現行の標準的治療法で偽陽性率及び偽陰性率が依然として高い。本明細書に記述するようなAIに基づく診断システムの適用は、医師の意思決定に明らかに良好な影響を与え、癌の見逃し及び不必要な侵襲的生検又は細針吸引の両方の件数を大幅に減らすことができる。(Ezzat S, et al., entitled “Thyroid incidentalomas-Prevalence by palpation and ultrasonography” in Arch Intern Med. 1994 Aug 22; by Lim H, et al., entitled “Trends in Thyroid Cancer Incidence and Mortality in the United States” in JAMA. 2017 Apr 4; by Dean DS et al., entitled “Fine-Needle Aspiration Biopsy of the Thyroid Gland,” updated in 2015 Apr 26; by Hoang JK et al., entitled “Update on ACR TI-RADS: Successes, Challenges, and Future Directions” in the AJR Special Series on Radiology Reporting and Data Systems. AJR Am J Roentgenol. 2021 Mar; and by Grani G et al., entitled “Reducing the Number of Unnecessary Thyroid Biopsies While Improving Diagnostic Accuracy: Toward the ”Right” TIRADS” in J Clin Endocrinol Metab. 2019 Jan 1.等の文献参照)
【0018】
[0028]
図1は、AIに基づく診断システム(「AIDシステム」又は「システム」)であってよいシステム100の模式図である。システム100は例えば、解析装置105(例:AIに基づく解析装置)、医師装置103、及び1個以上の他の計算装置(群)102を含む計算装置の組を含んでいる。システム100は、ユーザー(例:医師、放射線科医、診断医、読影医等)及び/又はコンピュータ支援診断装置が提供する診断評価の実行及び/又は拡張(例:適合、変換、評価等)を支援することができる。解析装置105、医師装置103、及び/又は計算装置(群)102は、
図1に示すように、通信ネットワーク106を介して互いに通信可能である。
【0019】
[0029] 一実施形態によれば、解析装置105は臨床データに対して独立した診断評価を生成することができる。解析装置105は、計算装置(群)102の組及び/又は医師装置103に関連付けられた1名以上のユーザー(例:医師、放射線科医、診断医、読影医等)から診断評価を受信し、これらの装置から受信した診断評価を、独立に生成された診断評価に基づく情報で拡張することができる。拡張された診断評価、例えば、適合、変換、及び/又は拡張された評価は、一実施形態によれば、変更された診断評価を介して、計算装置(群)102及び/又は医師装置103に提供することができる。いくつかの実施形態において、解析装置105は、コンピュータ支援診断(CAD)装置を含んでいてよく、又はその一例であってよい。CAD装置の適当な例が米国特許第9,934,567号「操作者内及び操作者間のばらつきを減らすCADシステム個人化の方法及び手段」、米国特許第9,536,054号「CADシステム推奨の信頼度レベル指標を提供するCADシステム個人化の方法及び手段」、及び米国特許第10,346,982号「注目領域の異なる視点からの複数の画像を用いて検出精度を向上させるコンピュータ支援検出の方法及びシステム」に提供されており、これらは各々引用により全文が本明細書に組み込まれている。いくつかの実施形態において、このようなCAD装置は、患者の注目領域の画像データに基づいて診断決定又は処置を行うべく訓練される。
【0020】
[0030] いくつかの実施形態において、通信ネットワーク106(「ネットワーク」とも称する)は、公衆ネットワーク及び/又はプライベートネットワーク上で動作する、データ転送用の任意の適当な通信ネットワークであってよい。例えば、ネットワーク106は、プライベートネットワーク、仮想プライベートネットワーク(VPN)、マルチプロトコルラベルスイッチング(MPLS)回線、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、マイクロ波アクセスネットワークの世界規模相互運用性(WiMAX(登録商標))、光ファイバ(又は光ファイバ技術)に基づくネットワーク、Bluetooth(登録商標)ネットワーク、仮想ネットワーク、及び/又はこれらの任意の組み合わせを含んでいてよい。いくつかの実装例において、通信ネットワーク106は例えば、Wi-Fi又は無線ローカルエリアネットワーク(「WLAN」)、無線ワイドエリアネットワーク(「WWAN」)、及び/又はセルラーネットワークなどの無線ネットワークであってよい。他の例において、通信ネットワーク106は、例えばイーサネットネットワーク、デジタル加入回線(「DSL」)ネットワーク、ブロードバンドネットワーク、及び/又は光ファイバーネットワーク等の有線ネットワークであってよい。いくつかの例において、ネットワークは、アプリケーションプログラミングインターフェース(API)及び/又はデータ交換形式(例:表現状態転送(REST)、JavaScriptオブジェクト表記(JSON)、拡張可能マークアップ言語(XML)、単純オブジェクトアクセスプロトコル(SOAP)、及び/又はJavaメッセージサービス(JMS))を用いることができる。ネットワーク106を介して送信される通信は暗号化されていても、又は暗号化されていなくてもよい。いくつかの例において、通信ネットワーク106は例えば、ネットワークブリッジ、ルータ、スイッチ、ゲートウェイ等(図示せず)により互いに動作可能に結合された複数のネットワーク又はサブネットワークを含んでいてよい。
【0021】
[0031] 例えば解析装置105、医師装置103、及び/又は他の計算装置(群)102を含むシステム100内の計算装置は各々、例えばサーバ、デスクトップ計算装置、スマートフォン、タブレット、ウェアラブル装置、ラップトップ等、任意の適当なハードウェアに実装された計算装置及び/又はマルチメディア装置であってよい。医師装置103は例えば、医師、放射線科医、診断医、読影医、又は患者を手当及び/又は診断する他の担当者が用いる超音波スキャナ等のワークステーション又は他の装置であってよい。例えば、いくつかの実施形態において、医師装置103は、放射線科医及び/又は放射線サービス提供施設に関連付けられた放射線ワークステーションを含んでいてよい。いくつかの例において、放射線ワークステーションは、患者からのサンプルの放射線スキャンデータを取得して、当該スキャンが解析装置105、データベース104、及び/又は他の計算装置(群)102に送信されるようにシステム100と通信する装備が設けられていてよい。いくつかの例において、スキャンデータは適宜更新(例:注釈付け)され、及び/又はDICOMビューアアプリケーションを介して放射線ワークステーションから送信することができる。他の計算装置(群)102は例えば、CAD装置、ユーザー、又は患者装置等を含む、AIに基づく診断システムの一部である他の装置を含んでいてよい。
【0022】
[0032] システム100はまた、例えば、患者、病院、撮像システム等に関連付けられたデータを保存するデータベース104を含んでいてよい。いくつかの例において、データベース104は画像アーカイブ及び通信システム(PACS)、例えばPACSサーバ等の一部であってよい1個以上の装置を含んでいてよい。PACSサーバ等のPACSシステムの一部である装置は、放射線画像等の医用画像のデジタル保存、送信、及び検索を行うべく構成されていてよい。PACSサーバは、撮像モダリティと直接インターフェースするソフトウェア及び/又はハードウェア要素を含んでいてよい。画像はPACSサーバから、閲覧及び/又は報告のため1個以上の計算装置102(例:CAD装置)に、及び/又は解析のため解析装置105に転送されてよい。いくつかの例において、計算装置102(例:CAD装置)は、データベース104(例:PACSサーバ)から画像にアクセスして解析装置105に送信することができる。いくつかの例において、計算装置102(例:CAD装置)は、医師装置103(例:放射線ワークステーション)から直接画像を取得して解析装置105に送信してもよい。
【0023】
[0033]
図2は、一実施形態による、AIに基づく診断システム(例:システム100)の一部を構成可能な例示的計算装置201の模式的ブロック図である。計算装置201は、
図1に示すシステム100の計算装置(群)102及び/又は医師装置103と構造的及び/又は機能的に同様であってよい。計算装置201は例えば、サーバ、デスクトップ計算装置、スマートフォン、タブレット、ウェアラブル装置、ラップトップ、超音波スキャナ等、ハードウェアに実装された計算装置及び/又はマルチメディア装置であってよい。計算装置201は、プロセッサ211、メモリ212(例えばデータストレージを含む)、及び通信部213を含んでいる。いくつかの実施形態において、計算装置201は、入出力装置、表示装置等を含む任意の適当な個数の追加的要素(図示せず)を有していてよい。
【0024】
[0034] プロセッサ211は例えば、ハードウェアに実装された集積回路(IC)、又は命令若しくはコードの組を実行及び/又は実行すべく構成された他の任意の適当な処理装置であってよい。例えば、プロセッサ211は、汎用プロセッサ、中央処理装置(CPU)、加速処理装置(APU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)、複合プログラマブルロジック装置(CPLD)、プログラマブルロジックコントローラ(PLC)等であってよい。プロセッサ211は、システムバス(例:アドレスバス、データバス及び/又は制御バス)を介してメモリ212に動作可能に結合されていてよい。
【0025】
[0035] プロセッサ211は、1名以上の患者に関連付けられた臨床データを受信及び/又は取得して、当該臨床データをAIに基づく診断システム内のAIに基づく解析装置(例:解析装置105)に送信すべく構成されていてよい。臨床データには例えば、画像データ、病理組織データ、医療情報、バイオグラフィック情報、健康状態、既往歴、財政面での安定状態等を含む患者の他の詳細に関する情報等が含まれていてよい。プロセッサ211は、臨床データ(例:画像データ、医療情報、バイオグラフィック情報、他の情報等)を遠隔情報源(例:臨床データベース(例:データベース104)、リポジトリ、スキャナ、撮像装置、放射線サービスに関連付けられた他の装置、患者管理システム/病院に関連付けられた装置、個人/患者に関連付けられた装置等)から受信及び/又は取得して、所定の判定システム又はスキームを用いて医師、ユーザー、又は読影医が従う所定の形式での診断評価の生成を支援すべく構成されていてよい。例えば、プロセッサ211は、画像報告データシステム(I-RADS)又は他の画像分類システム(例:英国式5点満点乳房画像スコアリングシステム)を用いて診断評価を生成する際に医師を支援すべく構成されていてよく、当該システムは、身体の多くの部位(例:乳房、甲状腺、前立腺等)に関連付けられた臨床データ、及び/又は、注目する身体部位に応じて、多くの種類の撮像画像に適用することができる。疑わしい知見を評価する際に、プロセッサ211を用いる医師は、介入(例:フォローアップ診療、生検、手術等)が必要であるか否か、及び必要な場合にはどのような種類の介入を推奨するべきかを判定することができる。例えば、乳房又は甲状腺の病変が良性に見える場合はそのままにしておいてよい。代替的に、不確実性があれば、病変部位のフォローアップ検査をスケジュールすることができる。状況により、病変に悪性の疑いがある場合、病変を生検及び/又は切除することができる。この結論に達するには、計算装置201のプロセッサ211を(例えば医師及び/又はCADシステムが)用いて画像データを査定してリスク評価を確認することができる。
【0026】
[0036] いくつかの例において、計算装置201のプロセッサ211は、各々が肯定的又は否定的な予後を示し得る画像記述子のリストの考慮に基づいてリスク評価を生成すべく構成されていてよい。記述子は、I-RADS又は他の画像分類システム或いは決定スキームに従いプロセッサ211により指定することができ、異なる身体部位、解剖、及び/又はモダリティにおいて異なっていてよい。例えば乳房超音波検査でBI-RADSを用いることにより、医師は、例えば形状、方向、エコー輝度、マージン、及び後方音響効果を含む記述子に基づいて病変を評価することができる。プロセッサ211は、選択された記述子の組をどのように解釈するかを指定し、どのような種類の介入が妥当であるかを知見により判定する画像分類システムを実装すべく構成されていてよい。これらの画像分類システムのいくつかは点数ベース、他のいくつかはルールベースであってよい。プロセッサ211はまた、臨床データに関連付けられた臨床情報(例:患者の氏名又は他の識別子、病歴、臨床データ及び/又は診断決定を受信又は生成した日時、推奨される介入のタイムライン等)のログを維持すべく構成されていてよい。いくつかの例において、介入の決定、介入の程度、及び/又は介入のタイミングは、患者の健康又は既往歴、処置を受けることに対する患者の関心、処置を受ける患者の快適さのレベル、費用の問題又は患者の個人的事情、処置に伴う他の費用、利用可能な医療の予想される成り行き等の要因に依存し得る。計算装置201のプロセッサ211は更に、これらの要因のうち1個以上に基づいてリスク評価を生成及び/又は調整すべく構成されていてよい。
【0027】
[0037] プロセッサ211はメモリ212に保存された1個以上のモジュール又は命令(群)を包含又は実行してデータハンドラ214、評価統合部215、及びインターフェースマネージャ216として機能することができる。いくつかの実施形態において、プロセッサ211は、診断評価を実行するためのインターフェースの提供に使用可能なソフトウェアアプリケーション(
図2に示さず)を含んでいてよい。当該ソフトウェアアプリケーションは、プロセッサ211により実行されたならば計算装置201のユーザーのために、連動する一群の機能、タスク、又は動作を実行すべく構成されていてよい任意の適当なソフトウェア又はコードであってよい。ソフトウェアアプリケーションは例えば、ブラウザアプリケーション、ワードプロセッシングアプリケーション、メディア再生アプリケーション、JAVAに基づくアプリケーション、画像レンダリング又は編集アプリケーション、テキスト編集アプリケーション等であってよい。
【0028】
[0038] いくつかの実施形態において、データハンドラ214、評価統合部215、インターフェースマネージャ216、及び/又はソフトウェアアプリケーションの各々は、メモリ212に保存されてプロセッサ211により実行されるソフトウェアであってよい。例えば、プロセッサ211の上述の各部分は、プロセッサ211にデータハンドラ214、評価統合部215、インターフェースマネージャ216、及び/又はソフトウェアアプリケーションを実行させるべく構成されたコードを含んでいてよい命令の形式で実装されていてよい。コードは、メモリ212及び/又は、例えばASIC、FPGA、CPLD、PLA、PLC等のハードウェアに実装された装置に保存されていてよい。他の複数の実施形態において、データハンドラ214、評価統合部215、インターフェースマネージャ216、及び/又はソフトウェアアプリケーションの各々は、各々の機能を実行すべくハードウェアで構成されていてよい。
【0029】
[0039] データハンドラ214を実装するプロセッサ211は、患者に関連付けられた臨床データ及び/又は実施された評価、並びに計算装置201で実行されるソフトウェアアプリケーションを収集すべく構成されていてよい。例えば、データハンドラ214は、評価用に提供される放射線データ等の画像データ、評価用に提供される放射線データに関連付けられた臨床情報、及び/又は癌の診断を受けている患者に関連付けられた他の情報を受信、収集、処理、及び/又は保存することができる。いくつかの実施形態において、プロセッサ211は、新たに到着するデータを監視、当該データを処理、及び/又は当該データを保存するバックグラウンド処理としてデータハンドラ214を実装することができる。
【0030】
[0040] いくつかの実装例において、データハンドラ214を実装するプロセッサ211は、指定された画像分類システム又は決定スキーム(例:BI-RADS、TI-RADS、lung-RADS等)に従い診断評価を生成する際に医師を支援すべく構成されていてよい。例えば、プロセッサ211は、入出力装置(例:通信部213に結合された、又は計算装置201と統合された入出力装置)に画像データを医師に対して表示させるべく構成されていてよい。
【0031】
[0041] 評価統合部215を実装するプロセッサ211は、画像データの組に関連付けられた注目領域の第1の診断評価(又は第1の診断評価を表す信号又は他の指標)を受信すべく構成されていてよい。一例として、第1の診断評価は、癌又は癌組織の悪性度の点数ベース(例:1~5)又はルールベースの指標であってよい。例えば、評価統合部215は、医師により指示された決定スキームを実装したデータハンドラ214から第1の診断評価を受信することができる。いくつかの実施形態において、第1の診断評価は例えば、注目領域に関連付けられた画像データ、患者の病歴、又は患者の他の情報を見て医師が行う評価であってよい。別の例として、評価統合部215は、通信器213を介して、例えば遠隔情報源から第1の診断評価を受信することができる。第1の診断評価は、第1の形式(例えばBI-RADS、TI-RADS、Lung-RADS等の第1の決定スキームによる)であってよい。
【0032】
[0042] 評価統合部215は、同一注目領域の同一組の画像データ及び/又は異なる組の画像データに関連付けられた第2の診断評価(又は第2の診断評価を表す信号又は他の指標)を受信すべく構成されていてよい。例えば、第2の診断評価は、CAD装置等の解析装置(例えば
図1のシステム100の解析装置105と同様の)が提供するAIに基づく診断評価であってよい。評価統合部215は、第1の診断評価を第2の診断評価と統合して、計算装置201を介して、変更された、適合された、又はより包括的な診断評価をインターフェースを介してユーザーに提供できる第3の診断評価を生成すべく構成されていてよい。変更された、適合された、又はより包括的な診断評価は、医師又は他の者が容易に解釈及び/又は利用できるように第1の診断評価及び第2の診断評価からの情報を組み合わせることができる。
【0033】
[0043] いくつかの実施形態において、評価統合部215は、本明細書に記述するように、第2の診断評価の変換後に第1の診断評価と第2の診断評価の統合を実行することができる。いくつかの例において、評価統合部215は第2の診断評価を変換された形式で受信(例えば解析装置105及び/又は305等の解析装置から受信)して、第1の診断評価と第2の診断評価の統合を実行することができる。いくつかの例において、統合は、2個以上の診断評価を点数形式で組み合わせることにより実行できる。
【0034】
[0044] ここではAIに基づく診断評価を行う解析装置(例:CAD装置)とは別個であってよい計算装置201により実行されるものとして説明するが、評価統合部215を実装する計算装置201はいくつかの実施形態において、AIに基づく診断評価を行うものと同一の解析装置であってよい。換言すれば、例えば評価統合部215を実装するプロセッサ211に関して上で述べた処置の1個以上は、解析装置(例えば
図1に示すシステム100に含まれる解析装置105、及び/又は
図3に示し、以下の章で更に詳細に述べる解析装置305)により実行することができる。
【0035】
[0045] インターフェースマネージャ216は、インターフェース(本明細書において「ユーザーインターフェース」とも称する)を介して、例えば医師に診断評価を行うインターフェースにおける設定を変更及び/又はカスタマイズする制御の任意選択肢をユーザーに提供すべく構成されていてよい。いくつかの実装例において、インターフェースマネージャ216は、ユーザーの好みに基づいて、統合、変更、適合された、及び/又はより包括的な診断評価の表示の切替可能な選択を可能にすべく構成されていてよい。いくつかの例において、インターフェースマネージャ216は、本明細書に記述するように、第1の診断評価(例:医師が生成した診断評価)を表示することから、第1の診断評価(医師が生成した診断評価)と第2の診断評価(AIに基づく診断評価)との統合に基づく第3の診断評価を表示するようにユーザーインターフェースを変更すべく構成されていてよい。
【0036】
[0046] 計算装置201は、プロセッサ211を介して、データハンドラ、評価統合部、及びインターフェースマネージャの各々を実装するように記述されているが、計算装置は、上述のユニット、要素、及び/又はモジュールの複数のインスタンスで構成され得ることが理解できよう。更に、データハンドラ、アセスメント統合部、及びインターフェースマネージャという用語は例示目的、例えばプロセッサ211により実行される処理を説明するために提供されている。従って、これらのモジュールの1個以上を組み合わせて単一モジュールとしても、又は一般に1個以上の処理又は当該処理のステップを実行すべく構成されたプロセッサと称してもよい。
【0037】
[0047] 計算装置201のメモリ212は例えば、ランダムアクセスメモリ(RAM)、メモリバッファ、ハードドライブ、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)等であってよい。メモリ212は例えば、プロセッサ211に1個以上の処理、機能等(例:上述のデータハンドラ214、評価統合部215、インターフェースマネージャ216、及び/又はソフトウェアアプリケーション)を実行させる命令を含んでいてよい1個以上のソフトウェアモジュール及び/又はコードを保存することができる。いくつかの実施形態において、メモリ212は、増設的に追加して用いることができる拡張可能な記憶部を含んでいてよい。いくつかの例において、メモリ212は、プロセッサ211に動作可能に結合可能な可搬メモリ(例:フラッシュドライブ、可搬ハードディスク等)であってよい。他の例において、メモリは、計算装置と遠隔的に動作可能に結合されていてよい。例えば、リモートデータベースサーバがメモリとして機能すると共に計算装置に動作可能に結合されていてよい。
【0038】
[0048] 通信部213は、プロセッサ211及びメモリ212に動作可能に結合されたハードウェア装置、及び/又はプロセッサ211により実行されるメモリ212に保存されたソフトウェアであってよい。通信部213は例えば、ネットワークインターフェースカード(NIC)、Wi-Fi(商標)モジュール、Bluetooth(登録商標)モジュール、及び/又は他の任意の適当な有線及び/又は無線通信部であってよい。更に、通信部213はスイッチ、ルータ、ハブ、及び/又は他の任意のネットワーク装置を含んでいてよい。通信部213は、計算装置201を通信ネットワーク(
図1に示す通信ネットワーク106等)に接続すべく構成されていてよい。いくつかの例において、通信部213は、例えばインターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、マイクロ波アクセスネットワークの世界規模相互運用性(WiMAX(登録商標))、光ファイバ(又は光ファイバ技術)に基づくネットワーク、Bluetooth(登録商標)ネットワーク、仮想ネットワーク、及び/又はこれらの任意の組み合わせ等の通信ネットワークに接続すべく構成されていてよい。
【0039】
[0049] いくつかの例において、通信部213は、通信ネットワーク(例:
図1のシステム100の通信ネットワーク106)を介したファイル及び/又はファイルの組の受信及び/又は送信を容易にすることができる。いくつかの例において、受信されたファイルは、本明細書で更に詳細に記述するように、プロセッサ211により処理され、及び/又はメモリ212に保存することができる。いくつかの例において、上述のように、通信部213は、データハンドラ214により収集及び/又は解析されたデータを、計算装置201が接続されているAIに基づく診断システム(例:AIに基づく診断システム100)の解析装置(例:解析装置105)に送信すべく構成されていてよい。通信部213はまた、データハンドラ215により収集及び解析されたデータ、並びに評価統合部215及び/又はインターフェースマネージャ216により生成されたあらゆる解析結果を、計算装置201が接続されているAIに基づく診断システムの解析装置に送信すべく構成されていてよい。
【0040】
[0050] 再び
図1を参照するに、システム100に接続された計算装置102は、通信ネットワーク106を介して解析装置105と通信すべく構成されていてよい。
図3は、複数の実施形態による、AIに基づく診断システム(例:AIに基づく診断システム100)の一部である解析装置305の模式的表現である。解析装置305は、
図1に図示すシステム100の解析装置105と構造的及び/又は機能的に同様であってよい。解析装置305は、通信部353、メモリ352、及びプロセッサ351を含んでいる。
【0041】
[0051]
図2の計算装置201内の通信部213と同様に、通信部353は、プロセッサ351及びメモリ352に動作可能に結合されたハードウェア装置、及び/又はプロセッサ351により実行されるメモリ352に保存されたソフトウェアであってよい。通信部353は例えば、ネットワークインターフェースカード(NIC)、Wi-Fi(商標)モジュール、Bluetooth(登録商標)モジュール、及び/又は他の任意の適当な有線及び/又は無線通信部であってよい。更に、通信部353は、スイッチ、ルータ、ハブ及び/又は他の任意のネットワーク装置を含んでいてよい。通信部353は、解析装置305を通信ネットワーク(
図1に示す通信ネットワーク106等)に接続すべく構成されていてよい。いくつかの例において、通信部353は例えば、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、マイクロ波アクセスネットワークの世界規模相互運用性(WiMAX(登録商標))、光ファイバ(又は光ファイバ技術)に基づくネットワーク、Bluetooth(登録商標)ネットワーク、仮想ネットワーク、及び/又はこれらの任意の組み合わせ等の通信ネットワークに接続すべく構成されていてよい。
【0042】
[0052] メモリ352は、ランダムアクセスメモリ(RAM)、メモリバッファ、ハードドライブ、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)等であってよい。メモリ352は例えば、プロセッサ351に1個以上の処理、機能、及び/又は同様のものを実行させる命令を含んでいてよい1個以上のソフトウェアモジュール及び/又はコードを保存することができる。いくつかの実装例において、メモリ352は、プロセッサ351に動作可能に結合されていてよい可搬メモリ(例:フラッシュドライブ、可搬ハードディスク等)であってよい。他の例において、メモリ352は、解析装置305と遠隔的に動作可能に結合されていてよい。例えば、メモリは、解析装置305及びその要素及び/又はモジュールに動作可能に結合されたリモートデータベースサーバであってよい。
【0043】
[0053] プロセッサ351は、命令又はコードの組を動作させるべく及び/又は実行すべく構成されたハードウェアに実装された集積回路(IC)又は他の任意の適当な処理装置であってよい。例えば、プロセッサ351は、汎用プロセッサ、中央処理装置(CPU)、グラフィック処理装置(GPU)、加速処理装置(APU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)、複合プログラマブルロジック装置(CPLD)、プログラマブルロジックコントローラ(PLC)等であってよい。プロセッサ351は、システムバス(例:アドレスバス、データバス及び/又は制御バス)を介してメモリ352に動作可能に結合されている。プロセッサ351は、更に詳細に記述するように、適当な接続又は装置を介して通信部353に動作可能に結合されている。
【0044】
[0054] プロセッサ351は、本明細書で更に詳細に記述するように、いくつかの機能を実行すべく構成されていてよい複数の要素、ユニット、及び/又はモジュールを含む、及び/又は実行すべく構成されていてよい。これらの要素は、ハードウェアに実装された要素(例:命令又はコードの組を動作させるべく、及び/又は実行すべく構成された集積回路(IC)或いは他の任意の適当な処理装置)、又はソフトウェアで実装された要素(サーバプロセッサ352により実行される)、或いはこれら二つの組み合わせであってよい。
【0045】
[0055]
図3に示すように、プロセッサ351は、データ管理部354、機械学習モデル355、AI評価生成部356、変換最適化部357、評価変換部358、及び評価査定部359として機能するために、メモリ352に保存された1個以上のモジュール(群)又は命令(群)を包含又は実行することができる。
【0046】
[0056] プロセッサ351内のデータ管理部354は、適当な通信ネットワーク(例えば解析装置305と、
図1のシステム100内の通信ネットワーク106を介して解析装置105に接続された計算装置101~103)を介して解析装置305と解析装置305に接続された計算装置との間の通信を受信すべく構成されていてよい。データ管理部354は、計算装置から、及び/又は遠隔情報源から、診断評価、臨床判断、患者識別等に関連付けられた情報を受信すべく構成されている。
【0047】
[0057] データ管理部354は、患者から放射線画像データを受信すべく構成されていてよく、当該データは、臨床的又は治療的解析又は研究対象の臓器及び/又は臓器系に関連付けられている。いくつかの例において、データ管理部354は、患者の病歴、施された治療、行われた侵襲的処置等に関連付けられた情報を受信することができる。データ管理部354は、AIに基づく診断評価を高い精度で生成すべく機械学習(ML)モデル355を訓練する訓練データとして使用可能な正解データ又はラベル付きデータを受信することができる。画像データは、DICOM画像及び関連するメタデータ、又は他の画像データの形式であってよい。
【0048】
[0058] MLモデル355は、画像データに基づいてAIに基づく診断評価を生成すべく実装可能である。モデルには、深層ニューラルネットワーク、多層パーセプトロン、ランダムフォレスト、サポートベクトルマシン等が含まれるがこれらに限定されない。
【0049】
[0059] プロセッサ351は、MLモデル355を用いて画像データのAIに基づく診断評価を生成すべく実装されたAI評価生成部356を含んでいる。AI評価生成部356は、画像データを受信し、AIに基づく診断を生成すべくMLモデル355に提供可能な特徴ベクトルを生成すべく構成されていてよい。いくつかの例において、例えば、MLモデル355は、画像データに取り込まれた結節が悪性である尤度に関連付けることができるリスク推定値を出力すべく構成されていてよい。
【0050】
[0060] プロセッサ351は、第1の形式の第1の診断評価、及び第1の形式とは異なる第2の形式の第2の診断評価(又は第2の診断評価を表す信号又は他の指標)を受信すべく構成された変換最適化部357を含んでいる。変換最適化部357は、第2の診断評価を第1の診断評価と統合して第3の診断評価を生成できるように、第2の形式の第2の診断評価(又は第2の診断評価を表す信号又は他の指標)を第1の診断評価の第1の形式に変換又はマッピング可能なパラメータ化された変換関数を生成すべく構成されていてよい。
【0051】
[0061] 変換最適化部357は、変換関数を用いて、第2の診断評価、例えばAIに基づく診断評価(MLモデルによる出力の形式、又はMLモデル355の出力と互換性のある形式)を、例えばTI-RADS、BI-RADS、Lung-RADS等の標準化又は確立された点数ベース又はルールベースの決定スキームに基づく形式の医師由来の診断評価等、第1の形式の第1の診断評価(又は第1の診断評価を表す信号又は他の指標)の形式にマッピング又は変換できるパラメータを識別すべく構成されていてよい。一例として、いくつかの例において、変換最適化部357は、変換関数を用いて、所定の分類システムに従い定義されたクラスに関連付けられた確率の組の形式のAIに基づく診断評価を、医師による診断評価と整合する整数点数にマッピング又は変換できるパラメータを識別すべく構成されていてよい。例えば、変換最適化部357は、様々な特徴、条件、又は因子に基づいて癌の悪性度を定義するクラスを区別する分類システムを用いて訓練されたAIに基づくMLモデル(例:MLモデル355)が出力する確率を変換することができる。変換最適化部357は、これらの確率を、整数点数(例えば、標準化又は確立された分類システム(例:TI-RADS、BI-RADS、Lung-RADS等)の生成に用いる記述子に関連付けられた点数システム)に基づくスケールにマッピングすることができる。いくつかの実装例において、変換最適化部357は、所定のスケールの第1の点数(又は整数値)の組を有する記述子の組、及び標準化された分類システムに従う形式の第1の診断評価に関連付けられた記述子/点数に基づく総合スコアを識別することができる。記述子の組の各記述子に、所定のスケールにマッピングされた第1の点数の組の第1の点数を関連付けることができる。変換最適化部357は、AIに基づくMLモデルが出力した確率の形式であってよい第2の診断評価を、第2の点数(又は整数値)の組を与えるべく変換すべく構成されていてよく、第2の点数の組の各点数は記述子の組の1個の記述子に関連付けられ、第2の点数の組の各点数は所定のスケールにマッピングされている。各記述子に関連付けられた点数の第2の組の各点数は、標準化された分類システムに従う形式の第1の診断評価において当該記述子に関連付けられた点数の第1の組の対応する点数に対応していても、又はこれを調整或いは更新すべく構成されていてよい。換言すれば、変換最適化部357は、複数の記述子及び第1の診断形式に関連付けられた各記述子の第1の点数を識別し、変換関数を最適化し、MLモデルの出力(例えば確率形式の)をマッピングして、各記述子の第2の点数を、第1の診断形式に関連付けられた所定のスケールで与え、第2の点数を第1の点数と統合して第3の診断評価(例:
図9A)を生成可能にすることができる。
【0052】
[0062] いくつかの例において、変換最適化部357は、AIに基づくMLモデルが出力した確率の形式であってよい第2の診断評価を、第1の診断評価又は医師による診断評価に関連付けられた総合スコアを更新又は調整すべく(各記述子に対する点数の調整ではなく)構成された単一の点数を提供するように変換すべく構成されていてよい。いくつかの例において、変換最適化部357は、AIに基づくMLモデルが出力した確率の形式であってよい第2の診断評価を、単に医学的又は臨床的情報だけでなく、推奨される臨床処置の実行に関連付けられた費用及び/又はリスク等の他の関連因子にも紐付けることができる総合的な変更されたリスク評価を行うように変換すべく構成されていてよい。
【0053】
[0063] いくつかの例において、変換最適化部357は、評価の査定に用いる指定されたメトリックに従い変換関数の指定された成績を最大化する最適化された変換関数の生成に任意の適当な方法を用いて変換関数を最適化すべく構成されていてよい。いくつかの例において、変換最適化部357は、所定の基準に基づいて変換関数を最適化すべく用いられる目的関数を実装することができる。例えば、変換最適化部357は、AIに基づく診断評価を、指定されたメトリックの観点から医師による診断評価と統合することの肯定的な影響を最大化するために変換関数を最適化すべく構成されていてよい。指定されたメトリックは、曲線下面積(AUC)、受信者動作特性(ROC)曲線、感度、及び特異性に関連付けられた統計値等のメトリックを含む任意の適当なメトリックであってよい。いくつかの例において、変換最適化部357は、第1の形式の1個のAIに基づく診断評価を第2の形式の別のAIに基づく診断評価と統合して統合診断評価を生成するパラメータ化された変換関数を生成及び/又は最適化すべく構成されていてよい。いくつかの例において、変換最適化部357は、第1の形式の医師による1個の診断評価を第2の形式の別の医師による診断評価と統合して統合診断評価を生成するパラメータ化された変換関数を生成及び/又は最適化すべく構成されていてよい。
【0054】
[0065] プロセッサ351は、変換最適化部357により生成された変換関数を適用すべく構成された評価変換部358を含んでいる。いくつかの例において、評価変換部358はまた、変換された第2の診断評価(例:AIに基づく診断評価)又は変換の出力を第1の診断評価(例:医師による診断評価)と統合して、各診断評価により推奨される臨床決定と多少整合していてよい診断評価の2個の指標からの情報を組み合わせる第3の診断評価を生成すべく構成されていてよい。
【0055】
[0065] プロセッサ351は、AIに基づくシステム、医師によるシステム、及び/又は2個以上の診断評価を統合することにより生成された変更評価を用いて生成された診断評価の成績を査定すべく構成された評価査定部359を含んでいる。評価査定部359は、AUC、ROC統計値、感度、特異性等のメトリックを含む所定の基準に基づいて査定を実行すべく構成されていてよい。評価査定部359は、正解データ又は組織の癌性の真の知見を介した(例えば生検/FNAを介した)確認又は修正を含むデータを用いて、医師による診断評価の成績、及び医師による診断評価とAIに基づく診断評価を統合した変更された診断評価の成績に関連付けられた解析データを生成すべく構成されていてよい。評価査定部359は、AIに基づくシステム及び/又は変換最適化部357及び/又は評価変換部358にフィードバックを提供して、AIに基づくシステム及び/又は変更された診断評価の成績を更に向上させるべく構成されていてよい。
【0056】
[0066] 解析装置305は、プロセッサ351を介して、データ管理部、MLモデル、AI評価生成器、評価変換部、評価変更器、及び評価査定部の各々を実装するように説明されているが、他の複数の実施形態では解析装置305と同様の解析装置が上述のユニット、要素、及び/又はモジュールの複数のインスタンスにより構成されていてよい。例えば、いくつかの実施形態において、サーバは、1個以上の計算装置又は計算装置のグループに関連付けられた複数のデータ管理部、複数のAI評価生成器、複数の評価変換部、複数の評価変更器、及び/又は複数のMLモデルを含んでいてよい。更に、データ管理部、MLモデル、AIアセスメント生成部、アセスメント変換器、アセスメント変更器、及びアセスメント評価器という用語は、例えばプロセッサ351により実装される処理を説明する例示目的で提供されている。従って、これらのモジュールの1個以上を組み合わせて単一のモジュールとしても、又は一般に1個以上の処理又は当該処理のステップを実行すべく構成されたプロセッサと称してもよい。また、解析装置305は、計算装置201とは別個であるが当該計算装置201と通信する装置として示されているが、解析装置305及び計算装置201(又は、本明細書に記述する他の解析装置及び/又は計算装置)は、各々に関して記述する処理を実行する適当な要素(例:プロセッサ、メモリ等)を含む1個以上の装置に実装できることが理解できよう。
【0057】
[0067] 解析装置305は、本明細書において、データ管理部、MLモデル、AI評価生成部、変換最適化部、評価変換部、及び評価査定部を有するように記述されているが、他の複数の実施形態では解析装置305と構造及び/又は機能が類似する解析装置が、上述の機能及び/又はモジュールの一部が、例えば計算装置(例:
図2のデータハンドラ214内)にインストールされたクライアント側アプリケーションを介して、システム(例:計算装置201)に含まれる計算装置で動作及び/又は実行可能に構成されていてよい。同様に、いくつかの例において、解析装置(例:解析装置305)で実行されるように記述された機能は計算装置201で実行されてよく、その逆も成り立つ。
【0058】
[0068] 使用に際して、本明細書に記述するAIに基づく診断システムにおける計算装置(例:計算装置201又は本明細書に記述する他の任意の計算装置)は、患者の注目領域(例:組織又は臓器)に関連付けられた画像データを受信することができる。いくつかの実施形態において、計算装置は標準化された決定スキームを実行して画像データに関連付けられた第1の診断評価(又は診断評価を表す信号若しくは他の指標)を生成することができる。代替的に、計算装置は、例えば画像データを見ている医師から第1の診断評価を受信することができる。計算装置は次いで、画像データに関連付けられた情報、又は画像データをAIに基づく診断システム内の解析装置に送信することができる。いくつかの例において、計算装置はまた、第1の診断評価の生成に使用されている標準化形式又は決定スキーム(例:BI-RADS、TI-RADS、Lung-RADS等)を示す情報を送信することもできる。解析装置は、画像データを受信して当該画像データに関連付けられた第2の診断評価又はAIに基づく診断評価(又はそのような診断評価を表す信号又は他の指標)を(例えばMLモデルを用いて)生成することができる。解析装置は更に、第2のAIに基づく診断評価を第1の診断評価の形式にマッピング又は変換すべく構成された変換関数を生成することができる。解析装置は変換関数を最適化して、第1の診断評価の形式への第2のAIに基づく診断評価の変換を、変換された診断評価の指定された成績メトリックを最大化するという目標を実現すべく構成するようできる。解析装置は次いで、最適化された変換関数を第2のAIに基づく診断評価に適用して、第1と第2の診断評価を統合した変更された第3の診断評価(又は診断評価を表す信号又は他の指標)を計算することができる。解析装置は次いで、変更された第3の診断評価を計算装置に送信することができる。計算装置は、変更された第3の診断評価を第1の診断評価と統合して、統合された評価及び/又は推奨される介入をインターフェースを介してユーザーに提示することができる。
【0059】
[0069] いくつかの実施形態において、本明細書に記述するAIに基づく診断システム(又は、本明細書に記述する任意の計算装置等、そのようなシステムの要素)は、疑わしい病変又は結節を医師がより正確に分類できるよう支援すべく任意の適当なI-RADS(例:TI-RADS、BI-RADS、lung-RADS等)又は他の任意の標準化された及び/又は辞書式分類及び報告システムを含む、任意の撮像、報告、及びデータシステムと協働すべく構成されていてよい。このようなシステムのいくつかは、医用画像データのリスク評価用の機械学習モデル、又は当該機械学習モデルに関連付けられたAIに基づくエンジンを含んでいるか又は実装することができる。このようなシステムは、臨床成績及び/又は患者管理に肯定的な影響を与えるべく総合的な変更された診断評価でAIに基づくエンジンの出力を適宜生成することができる。機械学習モデル及び/又はAIに基づくエンジンは、評価又は変更された評価を生成する際に所望の特性を促進すべく動作点を調整するように調節可能である。例えば、このようなシステムを調節して、所望の出力目標に応じて、正解データ組と比較して、診断評価においてより高い感度及び/又は特異性を実現することができる。AIに基づく診断システムの出力は、医師又は技師が用いる標準化された、辞書式分類及び報告システムの種類に依存して異なる場合があり、分類システムの総合的な出力スコアの調整に用いる調整済み整数スケールスコア、及び/又は画像データのAI解析に基づく分類カテゴリにわたり病変又は結節のスコアをシフトさせるリスク百分率出力、或いは同様のスケール調整を含んでいてよい。
【0060】
[0070]
図4に、一実施形態による、AIに基づく診断システムを用いて変更された診断評価を生成及び提示する方法を記述するフロー図を示す。方法400は、上述の計算装置102、201及び/又は解析装置105、305と同様の構造及び/又は機能を有する計算装置により実行することができる。
【0061】
[0071] 方法400は401において、診断に関連付けられた画像データを第1の計算装置で受信することを含んでいる。画像データは、患者の臓器又は臓器系の病変又は結節に関連付けられた放射線画像データであってよい。402において、方法400は、画像データに関連付けられた第1の診断評価(又は第1の診断評価を表す信号若しくは他の指標)を第1の計算装置で受信することを含んでいる。いくつかの実装例において、第1の診断評価は例えば、BI-RADS、TI-RADS、Lung-RADS等のシステムを含む、標準化された決定スキーム及び/又は分類或いは報告システムを用いる医師による評価であってよい。第1の診断評価は、標準化された分類又は報告システムに基づいていて各記述子が点数と関連付けられた記述子の組、及び記述子に関連付けられた点数に基づいていて標準化された決定スキームに従い臨床的推奨を行うために用いられる総合スコアを含んでいてよい。決定スキームは、累積点数及び/又はルールベースシステムに基づいていてよく、例えば、総合スコアに基づく第1の決定が第1の閾値に関連付けられた第1の基準を満たす。
【0062】
[0072] 403において、方法400は、第2の計算装置から、画像データに関連付けられた第1の診断評価に関し、且つ第1の診断評価から変更された第2の診断評価(又は第2の診断評価を表す信号又は他の指標)を受信することを含んでいる。第2の診断評価はAIに基づく診断評価であってよい。いくつかの実施形態において、第2の計算装置は、上述の解析装置105及び/又は305と同様の構造及び/又は機能を有する解析装置であってよい。いくつかの実施形態において、本明細書に記述する第1及び第2の計算装置は同一装置であってよく、そのような実施形態において、方法400は403で、訓練済み機械学習モデルを用いて画像データを処理して第2の診断評価を取得して、第2の診断評価又はAIに基づく診断評価を取得することができる。
【0063】
[0073] いくつかの実装例において、第2の診断評価はMLモデルの出力の形式であってよい。いくつかの実装例において、第2の診断評価は、1個以上の所定のクラス(例:悪性、良性等)への画像データの割り当てを示す、又は当該割り当てを示す特徴を含む画像データの1個以上の確率又は尤度の形式であってよい。
【0064】
[0074] 404において、方法400は、第2の診断評価を第1の診断評価と統合して画像データに関連付けられた第3の診断評価(又は第3の診断評価を表す信号又は他の指標)を生成することを含んでいる。いくつかの実施形態において、第2の診断評価は最初に、例えば
図5の方法500を参照して説明したように、第1の診断システムの形式と互換性があるように変換されてよい。変換された第2の診断評価は次いで第1の診断評価と統合されて第3の診断評価を生成することができる。いくつかの実装例において、第2の診断評価は、第1の診断評価に関連付けられた1個以上の記述子に基づいてなされた調整又は変更の指標を介して第1の診断評価と統合することができる。いくつかの実装例において、第2の診断評価は、第1の診断評価に関連付けられた総合スコアに基づいてなされた調整又は変更の指標を介して第1の診断評価と統合することができる。
【0065】
[0075] 405において、本方法は、画像データに関連付けられた第3の診断評価をインターフェースを介してユーザーに提示することを含んでいる。以下で更に詳細に記述する
図9A~9B及び
図11A~11Bに、診断評価(又は診断評価を表す信号又は他の指標)の例を提示するインターフェースの例を示す。
【0066】
[0076]
図5に一実施形態による、AIに基づく診断システムを用いて診断評価を生成する方法を記述するフロー図を示す。方法500は、上述の計算装置102、201及び/又は解析装置105、305と同様の構造及び/又は機能を有する計算装置により実行することができる。
【0067】
[0077] 501において、方法500は、患者の注目領域(例:組織又は臓器)に関連付けられた画像データを第1の計算装置で受信することを含んでいる。
【0068】
[0078] 502において、本方法は、画像データに関連付けられた第1の診断評価であって第1の形式である第1の診断評価を第1の計算装置で受信することを含んでいる。いくつかの例において、第1の診断評価は、医師による評価であってよく、その形式は、臨床的推奨を行うべく標準化された決定スキームに関連付けられた標準化された分類又は報告システム(例:TI-RADS、BI-RADS、Lung-RADS等)に従っていてよい。いくつかの実装例において、第1の診断評価は記述子の組を含んでいてよく、当該記述子の組の各記述子は第1の点数に関連付けられ、全ての記述子に関連付けられた第1の点数は一括的に、確立又は標準化された分類又は報告システム(例:TI-RADS、BI-RADS、Lung-RADS等)に従い第1の点数の組を形成している。第1の診断評価は更に、第1の点数の組に基づく第1の総合スコア(例:第1の点数の組の累積的組み合わせから生成された総合スコア)を含んでいてよい。第1の総合スコアは所定のスケール上にあってよく、当該所定のスケール上の値及び位置に基づいて注目領域(組織又は臓器)の癌性の重篤度を示すべく構成されている。第1の総合スコアを用いて、確立されたルールベースの決定スキームに基づく第1の臨床的推奨を提供することができる。
【0069】
[0079] 503において、方法500は、画像データに関連付けられた特徴ベクトルであって画像データに関連付けられた注目領域(例:組織又は臓器)の診断評価の生成に使用すべく構成された特徴ベクトルを生成することを含んでいる。
【0070】
[0080] 504において、方法500は、画像データに関連付けられた分類を生成すべく訓練されたMLモデルに特徴ベクトルを提供することを含んでいる。MLモデルは、上述のMLモデル355と同様の構造及び/又は機能を有していてよい。
【0071】
[0081] 505において、方法500は、機械学習モデルを用いて、且つ分類に基づいて、画像データに関連付けられた注目領域(例:組織又は臓器)の第2の診断評価であって第1の形式とは異なる第2の形式の第2の診断評価を含む出力を生成することを含んでいる。いくつかの実装例において、第2の診断評価は、注目領域(例:組織又は臓器)がMLモデルによる訓練中に学習された分類により定義される識別されたクラスに該当することを示す特徴を画像データが含んでいる確率又は尤度の形式である第2の形式であってよい。MLモデルが用いる分類システムは、画像データ及び/又は注目領域(例:組織又は臓器)に関連付けられた任意の特徴又は特性、及び/又は確立された評価基準を用いる任意の適当なクラスの定義を含む任意の適当な分類システムであってよい。一例として、識別されたクラスは悪性及び良性であってよい。別の例として、識別されたクラスは、様々な悪性の程度に基づいて定義されたクラス等を含んでいてよい。
【0072】
[0082] 506において、方法500は、第2の診断評価を第2の形式から第1の形式に変換すべく構成された変換関数を第2の診断評価に適用することを含んでいる。いくつかの例において、変換関数は、第2の形式の診断評価を第1の形式に適当な方法でマッピングすべく選択された所定のパラメータを用いて生成することができる。いくつかの例において、変換関数は、第2の形式から第1の形式への診断評価の変換が、指定された成績基準(例:診断評価のAUC、ROC統計、感度、特異性等)を満たすように、目的関数を用いて最適化することができる。
【0073】
[0083] いくつかの実装例において、第2の診断評価は、MLモデルの出力により提供される確率であって画像データ内で特徴付けられた領域(組織又は臓器)が1個以上の識別されたクラスに属することを示す特徴を含む画像データの尤度を示す確率の組を含んでいてよい。変換関数は、第1の診断評価と整合する所定の整数又は点数スケールに確率をマッピングすることにより第2の診断評価を変換すべく最適化及び構成されていてよい。いくつかの実装例において、変換関数は、複数の確率からの各確率をマッピングして第2の点数の組を生成すべく構成されていてよく、第2の点数の組の各点数が関連付けられている。
【0074】
[0084] いくつかの例において、第2の診断評価に変換関数を適用することは、第1の診断評価における記述子の組の各記述子が、第2の診断評価に基づく第2の点数の組の第2の点数に関連付けられるように確率に基づいて点数の第2の組を生成することを目的とすることができる。換言すれば、変換関数を用いて、第1の診断評価における記述子の組の各記述子が、第1の診断評価に基づく第1の点数及び変換された第2の診断評価に基づく第2の点数に関連付けられるように第2の診断評価に基づく点数の第2の組を生成することができる。いくつかの例において、第2の診断評価は、第2の診断評価に基づく第2の点数の各々に関連付けられた信頼度レベル指標(CLI)を含んでいてよい。
【0075】
[0085] いくつかの実装例において、第2の診断評価に変換関数を適用することは、確率に基づいて第2の総合スコアであって画像データ内の注目領域(組織又は臓器)の癌性の重篤度を示すべく構成され、且つ第2の診断評価に基づいている第2の総合スコアを生成することを目的とすることができる。第2の総合スコアは、第1の総合スコアと同一の所定のスケールにマッピングすることができ、第1の総合スコアと統合されて第1の総合スコアに対して調整又は変更を行うことができる。いくつかの例において、第2の診断評価は第2の総合スコアに関連付けられた信頼度レベル指標(CLI)を含んでいてよい。
【0076】
[0086] 507において、本方法は、第2の形式から第1の形式への第2の診断評価の変換に基づき、且つ変換された第2の診断評価と第1の診断評価を統合することに基づいて、画像データに関連付けられた変更された第3の診断評価を計算することを含んでいる。いくつかの実装例において、変換は、第2の診断評価に基づいて第2の点数の組を生成する形式であってよい。いくつかの実装例において、統合は、記述子の組の各記述子に関連付けられた第1の点数(第1の診断評価に基づく)と当該記述子に関連付けられた第2の点数(変換された第2の診断評価に基づく)を統合して当該記述子に関連付けられた第3の点数を含む第3の診断評価を生成する形式であってよい。第3の診断評価は、記述子の組に関連付けられた全ての第3の点数に基づく第3の総合スコアを含んでいてよい。第3の総合スコアは、第1の総合スコアと同一の所定のスケールにマッピングして、標準化された決定スキームに従い更新された臨床的推奨を行うために用いることができる。上述のように、決定スキームは、累積点数及び/又はルールベースシステムに基づいていてよく、例えば、第1の決定は第1の閾値に関連付けられた第1の基準を満たす第3の総合スコアに基づいている。
【0077】
[0087] いくつかの実装例において、変換は、第1の総合スコアの所定のスケールにマッピングされ、且つ第2の診断評価に関連付けられた第2の総合スコア(第2の診断評価に基づく第2の点数の組ではなく)を生成する形式であってよい。画像データに関連付けられた第3の診断評価を計算することは、第1の総合スコアと第2の総合スコアを統合して第3の総合スコアを生成することに基づいていてよい。第3の総合スコアは、第1の総合スコア及び変換された第2の総合スコアと同一の所定のスケールにマッピングすることができる。第3の総合スコアを用いて、標準化された決定スキームに従い更新された臨床的推奨を行うことができる。上述のように、決定スキームは、累積点数及び/又はルールベースシステム、例えば第1の閾値に関連付けられた第1の基準を満たす第3の総合スコアに基づく第1の決定に基づいていてよい。
【0078】
[0088] いくつかの例において、介入の決定、介入の程度及び/又はタイミングは、患者の健康又は既往歴、処置を受けることに対する患者の関心、処置を受ける患者の快適さのレベル、費用の問題又は患者の個人的事情、処置に伴う他の費用、利用可能な医療の予想される成り行き等の非医学的理由に依存し得る。
【0079】
[0089] いくつかの実装例において、変換は、第1の総合スコアの所定のスケールにマッピングされ、且つ第2の診断評価に関連付けられた第2の総合スコアを生成する形式であってよく、第2の診断評価は、臨床データ又は医療データ(例:画像データ)だけでなく、推奨される臨床処置又は手順に関わる費用/リスク、対象である患者の健康状態、患者の費用問題、予想される健康の成り行き等、他の関連データも検討課題である。第3の診断評価は、第1の総合スコアと第2の総合スコアを統合して総合的なリスク評価を行う第3の総合スコアを生成することに基づいていてよい。第3の総合スコアは、第1の総合スコア及び変換された第2の総合スコアと同一の所定のスケールにマッピングすることができる。第3の総合スコアを用いて標準化された決定スキームに従い更新された臨床的推奨を行うことができる。
【0080】
[0090]
図6に、一実施形態による、AIに基づく診断評価を用いて臨床判断を生成して、AIに基づく診断システムを用いて臨床ワークフロー内でAIに基づく診断評価を統合する方法を記述する方法600のフロー図の例を示す。方法600は、上述の計算装置102、201及び/又は解析装置105、305と同様の構造及び/又は機能を有する計算装置により実行することができる。
【0081】
[0091] 上述のように、医学界で提案及び採用されているBI-RADS、TI-RADS、Lung-RADS等の標準化された決定スキームに基づく診断評価用の複数の辞書式報告システムがある。これらのシステムは、臨床画像診断で発見された疑わしい知見を評価及び報告するための標準化された構造を提供する。以下の
図6のフロー図は、一実施形態による、そのようなシステムの一般的な構造、及びAIに基づく診断評価を統合することによりそのような決定処理を拡張する方法の例を示している。
【0082】
[0092] I-RADS又は他の画像分類システムは、注目する身体部位に応じて、身体の多くの部位(例:乳房、甲状腺、前立腺等)、及び多くの種類の臨床画像(例:超音波、放射線画像等)に適用することができる。医師は、疑わしい知見を評価する際に、介入が必要か否か、及び推奨すべき最善の種類の介入を判定することができる。医師は、決定に到達するために、各々にクラスとして扱うことができる異なる選択肢又はカテゴリが含まれていてよい画像記述子のリスト(例:記述子1、記述子2等)を考慮することにより臨床画像データを解釈することができる。画像データの特徴は、画像データ内の関心組織又は臓器が、他のクラスよりも高い尤度であるクラスに含まれることを示すことができる。識別されたクラスに属する尤度が高いことは、所定のスケール(例:0~2の整数スケール)にマッピングされた整数値又は点数が表す相対的に肯定的又は相対的に否定的な予後を示すことができる。これらの記述子は、I-RADSシステムにより指定することができ、異なる身体部位、解剖、及び/又はモダリティ毎に異なっていてよい。例えば、超音波により撮像された乳房病変に対してBI-RADSを用いる間、医師は、病変の形状、向き、エコー輝度、マージン、及び後方音響効果に基づいて診断評価を生成することができる。別の例として、甲状腺結節の超音波画像にTI-RADSを用いる間、医師は結節の構成、形状、エコー輝度、マージン、及びエコー輝度病巣に基づいて診断評価を生成することができる。
【0083】
[0093]
図7に、TI-RADSシステムベースの診断評価に寄与し得る観察結果を表にした例を示す。一例として、記述子「組成」は4個の可能なクラス、即ち「嚢胞性又はほぼ完全に嚢胞性」、「海綿状」、「嚢胞/固形混合」、及び「固形又はほぼ完全に固形」を含んでいる。各クラスには、このケースではTI-RADSである所定の報告又は分類システムに基づいて、整数値又は点数が関連付けられている。画像データの査定の結果、注目領域(組織又は臓器)の画像データ内の特徴が示すように、当該領域(組織又は臓器)が4個の列挙されたクラスの各々に含まれる尤度が見出される。あるクラスに関連付けられた尤度が他のクラスに関連付けられた尤度よりも高い場合、当該特定クラスが当該記述子に対して選択され、当該選択されたクラスに対応する点数が、当該記述子に関連付けられた点数として割り当てられる。全ての記述子に対する点数を同様に計算して全ての記述子に対して全ての点数を累積的に組み合わせることで合計点数の総合スコアが得られる。
【0084】
[0094] 総合スコアにおける合計点を用いて、
図8に示すようにリスクカテゴリーのルールベースの決定に基づいてリスク評価を生成することができる。例えば、合計得点の総合スコアが大きいほど高いリスクカテゴリーを示し、臨床処置の推奨につながる。いくつかの実装例において、ルールベースの判定は任意の適当なルール、例えば、総合スコアが各閾値を超えたならばリスクカテゴリーが増大するような複数の閾値を有する単純な閾値ルール等であってよい。同様に、推定されたリスクカテゴリーに対して閾値を用いて推奨される臨床処置(例:FNA無し、FNA)を判定することができる。ここに示すように、いくつかの実装例において、合計点の総合スコアに加え、追加的なデータ又は情報を用いて臨床処置を判定することができる。追加的なデータは、
図8の表に列挙するような癌組織又は特徴のサイズを含む任意の適当なデータであってよい。
【0085】
[0095] I-RADS又は他の画像分類システムは、選択された記述子をどのように解釈するか、及びその知見によりどの種類の介入又は臨床処置が有益になるかの判定を指定する。これらのシステムのいくつかは点数ベースであり、他のものはルールベースである。AIに基づく診断評価は、標準化された処理よりもいくつか点で優れているため、標準化されたスキームを用いる診断評価を補完する。第一に、AIに基づく診断評価は客観的且つ再現可能であって、結果の主観的な判定に起因する主観的な偏見又は誤りを排除することができる。第二に、I-RADS及び他の画像分類システムベースの評価は、定義により、所定の記述子リストに限定される。一方、AIに基づく画像解析は、潜在的に疑わしい臨床知見を評価するための最も有意な特徴(例:多次元特徴空間における統計的に最も有意な特徴)を経験的に判定するために用いることができる。第三に、この診断評価は、病理学的真実に紐付けられたラベル付き臨床画像データを含む大規模データベースで学習アルゴリズム(例:教師有り、又は教師無し訓練)を用いて実装された機械学習ツールを用いたAIに基づく解析を介して有効性及び/又は精度を高めながら実現することができる。
【0086】
[0096]
図6のフロー図に示すように、I-RADS又は他の画像分類システムの手順は、AI拡張変更を介して変更することによりI-RADS又は他の画像分類システムで定義された記述子と共にAIに基づく診断評価を含めることができる。AIに基づく解釈モジュールは、AIに基づく画像解析モジュールが提供する情報を用いて既存のI-RADS又は他の画像分類システムの決定処理を変更する適当な方法を判定することができる。例えば、AIに基づく解釈モジュールは、医師の成績を最大化すべく変換関数又は変更関数を調整しながら、ラベル付き臨床データベースで訓練することができる。成績はモダリティに応じて異なる仕方で測定でき、その実装例を以下の章で詳細に記述する。
【0087】
[0097] この処理の結果、医師は、追加的な解釈情報にアクセスせずに自身の評価とAIシステムの評価のいずれかを選択することを強制されることはない。解釈モジュールにアクセスすることで、医師は両方の評価を活用して最適な効果を得ることができる。ここでは、AIに基づく診断評価を統合すべく変更された、医師が実行する、I-RADS又は他の画像分類システムに基づく画像解釈について記述したが、本明細書に記述する方法は、医師の代わりに別のAIシステムにより実行され、且つ2個の異なるAIに基づく診断評価を統合すべく構成された場合でも同様に適用可能である。
例:AIに基づく診断システムの甲状腺超音波データ解析への適用
【0088】
[0098] 甲状腺結節は最大68%の人で生じる。大多数の結節(~95%)は良性であり、多くの悪性結節は発症又は死亡に至らない。しかし、米国で年間60万件超のFNAが行われている。ACR TI-RADSは、診断基準を標準化し、生検率を低減して、甲状腺癌の過剰診断を制限すべく開発された。TI-RADSは不要な生検を19.9~46.5%減少させながら、読影医(放射線科医、医師等)の一致率を高める。
ACR TI-RADS
【0089】
[0099] ACR TI-RADSは、甲状腺結節によるリスクを判定し、FNA又はフォローアップ検査を行うべきか否かを判定する標準化された一貫性のある枠組みを提供する。いくつかの例において、この枠組みの最初のステップは、
図7の表に示す5個の記述子カテゴリーにわたり注目する結節を特徴付けることである。
【0090】
[0100]
図7の表に示すように、各選択肢は点数を伴う。これらの点数の合算により得られるTI-RADS点数合計は、結節が悪性である尤度との相関を計算し、結節のリスクカテゴリーの判定に用いられる。表に基づく計算は、結節のサイズと共に用いられて、
図8の表のルールに記述されているように、治療処置の方針を決定する。
【0091】
[0101] ACR TI-RADSは有効なシステムであるが、いくつかの制約がある。第1の制約は、組成、エコー輝度、形状、マージン、エコー輝度病巣カテゴリーについて行われた判断は全て解釈する医師が行った主観的な判断であることである。無エコー対極めて低いエコー(超音波画像では酷似して見える二つの状態)のようなわずかな見解の相違の結果が大きな変化をもたらす。第2の制約は、このアプローチの範囲が指定された5個の特徴カテゴリーに限定されることである。ACR TI-RADSの厳格さにより、これら特定のカテゴリーを超える画像的特徴の考慮が除外される。
AIに基づく診断システム
【0092】
[0102] 開示する複数の実施形態によるAIに基づく診断システム(例:システム100)は、関連する画像特徴について一切の先入観無しに問題に取り組む利点を有しており、最適な特徴をシステムがデータから直接学習し、結節を評価する際に総合的に考慮する。AIに基づく診断システムは従って、ACR TI-RADSシステムだけを用いる医師よりもはるかに高い精度で注目領域の悪性の尤度を推定することができる。
【0093】
[0103] AIに基づく技術の進歩により、ACR TI-RADSシステムを更に改善する機会が増えている。本研究において、悪性腫瘍のリスクを独立に評価すべくAIが生成した結節リスク記述子の追加的な利用を解析した。このような解析及び独立した評価は、本明細書に記述するAIに基づく診断システム及び/又はAIに基づく診断システム内の要素(例:システム100、計算装置(群)102、201、医師装置103、及び/又は解析装置105、305)により実行することができる。例えば、解析の全部又は一部を本明細書に記述する計算装置(例:計算装置102、201)及び/又は解析装置(例:解析装置105、305)により実行することができる。AIに基づく診断システムを用いて生成された予測指標が次いで既に確立されたTI-RADS点数に基づく臨床管理基準に組み込むべく-2~+2の範囲の整数点数にマッピングされ、患者管理の決定が向上した。AIに基づく診断システムは、読影医が自身の裁量で検討及び変更できる暫定合計点数を生成するTI-RADSの記述子を事前入力すべく構成されている。
【0094】
[0104] ACR TI-RADSを用いて、医師は甲状腺結節をどのように評価するかについて極めて明確なガイドラインが得られ、外部情報を考慮する一貫した機構は無い。実際、初期の研究では、ACR TI-RADS診断と矛盾するAIに基づく診断が提示された場合、医師はAI診断を無視し、たとえAIシステムの方が潜在的に成績が高いと医師が認めたとしてもACR TI-RADSガイドラインに固執する可能性が最も高い。本明細書に記述するようなAIに基づく診断システムは、AIに基づく診断評価を、変更された診断評価に含まれ、ACR TI-RADSの既存の5個のカテゴリー内で考慮されるように、新たな特徴カテゴリーに変換することによりこの問題に対する解決策を提供することにより、医師のACR TI-RADS合計点数をシステムが直接更新できるように。これは、
図9A、9Bに示し、且つ以下に記述するようにグラフィカルに要約することができる。
【0095】
[0105]
図9Bに第1の診断評価(例:医師による診断評価)を表示するインターフェースの例を示し、
図9Aに、
図9Bの第1の診断評価と変換された第2の診断評価(例:AIに基づく診断評価、図示せず)との統合後の第3の診断評価を表示するインターフェースの例を示す。
図9B、9Aに示す第1の診断評価及び第3の診断評価は、確立又は標準化された分類/報告システムTI-RADSに基づいている。
図9B、9Aの第1、第3の診断評価の各々は、総合スコア(各々901B、901A)及び記述子903の組を含み、第1の診断評価及び第3の診断評価の各々の記述子に点数(例:各々904B、904A)が関連付けられている。TI-RADS総合スコア901Bは医師による解析に基づき、総合スコア901AはAIに基づく解析に基づき、各々が関連する記述子に基づいて計算されて、本明細書に記述するように、各レベルがリスクカテゴリを示す所定のスケール1~5(又はTR1~TR5)にマッピングされる。総合スコア及びリスクカテゴリーは、ユーザーインターフェース(例:計算装置102、201及び/又は解析装置105、305に結合又は統合されたユーザーインターフェース)を介して表示される。ユーザーインターフェースは、計算された診断評価に関連付けられた情報、及び診断評価に基づく臨床的推奨を含んでいる。
【0096】
[0106]
図9A、9Bに示すインターフェースの例において、記述子カテゴリをクリックした際の各記述子の出力を拡大して示す。システムにより選択された記述子を青色で強調表示している。いくつかの実施形態において、ユーザーインターフェースは、第3の診断評価に関連付けられた情報を公開すべく起動可能な制御ツール908(例:収納可能なドロップダウンリストを開くクリック可能な選択機器)を提供すべく構成されていてよい。制御ツール908を再びクリックすれば情報を収納することができる。例えば、
図9Aに示すように、制御ツールの起動により、変換された第2の診断評価(AIに基づく診断評価)に関連付けられた情報を提供すべく構成されたユーザーインターフェースの一部を開くことができる。
【0097】
[0107] 変換された第2の診断評価はTI-RADS点数修飾子の形式であり、甲状腺データ解析に用いられるAIに基づく診断システムからの確率範囲を-2~+2の範囲の整数の点数修飾子にマッピングすることにより生成される。変換された第2の診断評価910が初期TI-RADSスコアを新たなTI-RADSカテゴリに遷移させたならば、新旧のカテゴリがCLIバー905上に視覚的に表示される。TI-RADSスコアの点数閾値(例:垂直なグレーの線により示す閾値)もまた着色バー905に示される。任意選択肢として、読影医(例:医師)は、制御ツール909に対するクリック操作により修飾子を収納してグレーにすることにより無効化することを選択できる。
【0098】
[0108] この変換は、医師の意思決定に最適な影響を与えるべく設計されている。具体的には、医師のROC曲線下面積(AUC)、感度、及び特異性に最大限の肯定的な影響を与えるべく設計されている。このアプローチは既存のAIシステムよりも二つの点で優れている。第一に、ACR TI-RADSシステムへの組み込みが容易である。第二に、医師に自身の判断とシステムの総合的な推奨のいずれかの選択を強いるのではなく、いずれかのシステム単独よりも潜在的に強力である両者の最適な組み合わせを提供する。
【0099】
[0109]
図9Aに示すように、記述子の一つ(例:SHAPE)を選択することにより、当該記述子の下のクラス(任意選択肢又はカテゴリ)の組907A(例:横長、縦長)を表示し、且つ各クラスに関連付けられた確率又は尤度のグラフ表現を表示することができる。例えば、ユーザーインターフェースは、記述子の各クラス毎に、色で塗りつぶされたバー907Aを表示することができ、塗りつぶしの範囲は尤度に対応している。いくつかの実装例において、ユーザーインターフェースを実装するプロセッサは、所定の確率(例:当該記述子のクラスの個数が所与として、閾値確率又はランダムチャンス確率)に対する各クラスに関連付けられた尤度又は確率を査定して、当該査定に基づいてCLIを生成することができる。尤度が最大である、及び/又は指定された閾値よりも最大尤度が大きいクラスを青色で強調表示している。
【0100】
[0110] いくつかの実施形態において、医師による第1の診断評価と変換されたAIに基づく第2の診断評価の統合である第3の診断評価を表示するユーザーインターフェースは、第1の診断評価を更新することにより第3の診断評価の生成に用いられた変換済みの第2の診断評価に関連付けられた情報を公開すべく起動することができる折り畳み可能なドロップダウンディスプレイ910を開く制御ツール909(例:クリック可能な選択機器)を提供すべく構成されていてよい。制御ツール909を再びクリックして部分910内の情報を収納することができる(
図9Bに示すような収納状態)。例えば、
図9Bに示すように、記述子(例:SHAPE)の選択及び制御ツールの起動によりユーザーインターフェースの下部が開いて各記述子の点数のマッピングに用いた所定のスケールのグラフィカル表現を表示し、且つ第1及び第2の診断評価に各々基づいて当該記述子に関連付けられた第1の点数及び第2の点数、並びに両者の差をベクトル又は矢印の形式で表示することができる。いくつかの実装例において、点数のマッピングに用いられる所定のスケールのグラフィカル表現は例えば、緑~赤色を含み、暖色であるほどより重篤との診断又はより高いリスクカテゴリに対応するカラーマップ905Aを含んでいてよい。
【0101】
[0111] いくつかの実施形態において、ユーザーインターフェースは、第3の診断評価の一部として、各記述子及び/又は総合スコアに対して行われた調整又は変更に関連付けられた信頼度レベル指標(CLI)を表示することができる。いくつかの実装例において、CLIは、指定された分類又は報告システム(例:TI-RADS、BI-RADS等)を参照して画像データに関連付けられたCLIを生成すべく訓練されたモデルにより計算することができる。いくつかの例において、当該モデルは、MLモデル355とは構造及び/又は機能が類似していなくてよい。当該モデルは、全体論的な仕方で(例:いかなる記述子の定義にも制約されない仕方で)画像から特徴を抽出して、その特徴を、リポジトリ又はライブラリからの指定された分類又は報告システムにより定義されたカテゴリに基づくラベル付けによりラベル付けされた参照画像の特徴と比較することにより画像(例:病変を含む画像)を処理すべく訓練することができる。CLIを判定する複数の方法の例が、引用により上記で組み込まれた米国特許第9,536,054号に記述されている。例えば、ラベル付き参照画像は、TI-RADSシステムに従ってTR1~TR5の診断の重篤度のいくつかのカテゴリのいずれか一つに属するようにラベル付けすることができる。モデルの出力に基づいて、青い線に沿って配置された反転した白い矢印で示すCLI906Aにより示すように、ユーザーインターフェースにおいてグラフィカルに表現できるCLIを画像に割り当てることができる。
【0102】
[0112]
図9Aに示すように、医師による第1診断評価に基づく記述子「SHAPE」に関連付けられた第1の点数は青矢印906Aの始点で示す0であった。変換AIに基づく第2診断評価に基づく記述子「SHAPE」に関連付けられた第2の点数は青線の終点で示す-1であった。反転白矢印で示されるCLI906Aは、変換されたAIに基づく第2の診断評価に基づく-1への調整に関連付けられた信頼レベルを提供する。CLI906Aの位置は、カラーバー905A上の黄色の(すなわち、スコア-1のカテゴリTR2に関連付けられた薄緑色のバーに沿った中点の左側の)バーにより示す0の調整に関連付けられたカテゴリTR3(TI-RADS3)よりも、カラーバー905A上の緑色(最も左側)のバーにより示す-2の調整に関連付けられたカテゴリTR1(TI-RADS1)に近いため、TR2(-1)よりもTR3(0)に関連付けられた注目領域でより高い信頼レベル(例:尤度)を示す。当該記述子に関連付けられた第1の点数と第2の点数の差も制御ツール909に隣接して提供される。
【0103】
[0113] いくつかの実施形態において、総合スコア診断評価は点数に基づくシステムを提示し、数値が大きいほど診断の重篤度が高い、より高リスクのカテゴリーを示す。例えば、
図9A、9Bに示すように、総合スコア2は知見又はリスクカテゴリー「疑わしくない」に関連付けることができる一方、総合スコア3は知見又はリスクカテゴリー「若干疑わしい」に関連付けることができる。いくつかの実施形態において、重篤度及び/又は診断のリスクカテゴリーは、
図9A、9Bの各々の上部の緑色と黄色の帯により示すように、指定された配色のカラーコードにより示すこともできる。例えば、重篤度/リスクカテゴリの表示に、緑~赤色の指定された配色から選択され、暖色であるほどより重篤との診断又はより高いリスクカテゴリに対応する色を関連付けることができる。従って、
図9Aに示すように総合スコア2に緑色の帯を関連付けることができ、
図9Bに示すように総合スコア3に黄色の帯を関連付けることができる。総合スコアの表現に関連付けられた配色は、上述の各記述子に関連付けられた点数のマッピングに用いられる所定のスケールのグラフ表現に関連付けられたカラーマップ905Aと同一であってよい。
【0104】
[0114] いくつかの実装例において、
図9B、9Aに示す例のように、臨床医又は医師による第1の診断評価は、
図9Aに示すように、第3の診断評価により提供された総合スコア901Aとは異なる第1の総合スコア901Bを、強調表示された青色及び白色の指標906Aにより、提供することができる。
【0105】
[0115] ユーザーインターフェースは、診断評価に基づく臨床的推奨を表示することができる。臨床的推奨には、生検を行うか又は行わない、或いは必要に応じて適当なフォローアップ処置若しくは臨床評価のうち一つを含んでいてよい。いくつかの臨床的推奨の例は生検の一種である細針吸引(FNA)を含んでいてよい。
図9A、9Bの例に示すように、臨床的推奨は診断評価及びその結果としての重篤度に基づいていてよい。点数が疑わしくない組織画像を示す2であれば、
図9Aのように「FNA無し」という臨床的推奨が得られる。点数が若干疑わしい組織画像(潜在的癌性)を示す3であれば、FNAの臨床的推奨が得られる。「FNA無し」、「フォローアップ」、又は「FNA」の臨床的推奨を、下側の含まれる記述子に基づく点数の内訳と合わせ合計点数と並んで表示することができる。いくつかの実施形態において、ユーザーインターフェースはまた、記述子のリスト、及び最上部に、902A及び902Bのような1個以上の記述子に関連付けられた情報を(例えば当該記述子、形状/サイズが選択された際に)も含んでいてよい。いくつかの実装例において、ユーザーインターフェースは、表示されている診断評価に関連付けられた1個以上の点数及び/又は記述子を更新するためにユーザーから入力を受信すべく構成されていてよい。例えば、ユーザー(例:読影医、医師、臨床医等)は、自身の臨床的判断に基づいて、予め入力された記述子、クラス、及び/又は記述子に関連付けられた点数を変更又は更新することができる。
【0106】
[0116] (医師による診断評価にマッピングすべく変換されたAIに基づく診断評価を統合する)部分910に示す変換された第2の診断評価が含まれる場合、変更された総合スコアを調整と共に示すことができる(例:「2pts=3pts-1」)。TI-RADSサイズ基準902A、902Bは、ACR TI-RADSガイドラインに基づく臨床的推奨用に適用可能ならばそのサイズ基準と比較した結節サイズ(太字で表示)を示す。信頼度レベル指標(CLI)906Aは、いくつかの例において記述子907A毎であってよく、当該記述子及び/又は当該記述子のクラスに関連付けられた信頼度を示す。いくつかの実施形態において、記述子毎に提供されるCLI906Aは、ラベル付き参照画像を用いる、及び/又は以前の臨床評価、CAD又はAIに基づく評価、及び/又は正解データ(例:生検データ)を含む特定の記述子に特異的な信頼度を生成すべく訓練された機械学習モデル又はAIに基づくモデルを用いて判定することができる。いくつかの例において、CLI906Aは、個々の記述子ではなく、全ての記述子に基づく累積点数に関連付けられた合計点数に対して提供することができる。いくつかの例において、信頼度レベル指標(CLI)906Aは、特定の分類(例:TI-RADS1、TI-RADS 2等)に属する(例えば自身の画像データに基づく)特定の注目領域に対して提供することができる。CLIを判定する複数の方法の例は、引用により上記に組み込まれた米国特許第9,536,054号に記述されている。
【0107】
[0117]
図10A、10Bは、本明細書に記述するように、診断評価及び臨床的推奨を表示するユーザーインターフェースの例である。
図10A、10Bのユーザーインターフェースは、
図9A、9Bのユーザーインターフェースと構造的及び/又は機能的に類似し得るため同様の特徴を含んでいる。
図10A、10Bに示す重篤度の程度は、インターフェースの最上部に表示す、配色に沿った、より暖色又はより赤い帯により示すように、値が4の総合スコア1001A、1001B、及び「中程度の疑わしい」知見に関連付けられている。使用する配色は、重篤度の程度に基づいて変更することができ、範囲を示すために用いられるカラーバーは、相応に更新することができる。例えば、
図11A、11Bで用いられている配色は、点数システムを表すより狭い範囲の色(オレンジ~赤)を示している。上述のように、各記述子は、更新された診断評価を得るためにユーザーにより選択、更新又は編集することができる。記述子(例:エコー輝度)の選択はリスト1003Bに示すように記述子に関連付けられたクラスのリスト、及び各クラスに関連付けられた確率のグラフ表現を公開しており、
図9Aを参照しながら上で述べたように、最も確率が高いクラスを青色で強調表示している。記述子に特定の値を割り当てることで、当該記述子に関連付けられた点数が更新され、次いで当該特定の診断評価に関連付けられた総合スコア1001A、1001Bが各々更新されることになる。
【0108】
[0118] いくつかの例において、AIに基づく第2の診断評価の変換は(記述子に関連付けられた第2の点数組ではなく)第2の総合スコアだけを提供する形式であってよい。第2の総合スコアは、医師による第1の診断評価に関連付けられた第1の総合スコアと統合して、診断の重篤度又は当該診断に関連付けられたリスクカテゴリーを示す第3の総合スコアを生成することができる。第3の総合スコアを用いて所定の決定スキームに基づく臨床処置を推奨することができる。
【0109】
[0119] いくつかの例において、AIに基づく第2の診断評価の変換は、医用画像データだけでなく他の非画像データ及び潜在的に非医用データ又は非臨床データ(例:バイオグラフィック情報、患者の病歴、費用の考慮すべき事項、ケアの利用可能性、健康増進の予測成り行き等)にも基づく第2の総合スコアを提供する形式であってよい。第2の総合スコアは、医師による第1の診断評価に関連付けられた第1の総合スコアと統合して、
図10Aに示すように、診断に関連付けられた総合的なリスク評価及びリスクカテゴリーを示す第3の総合スコアを生成することができる。全体的なリスク評価(例:
図10Aに示す)を示す第3の総合スコアを用いて所定の決定スキームに基づく臨床処置を推奨することができる。
【0110】
[0120] 方法の一例において、AIに基づく診断評価を意思決定処理に組み込むことは、AIに基づく診断システム(例:システム100及び/又はその要素)を用いて以下のように実現できる。
【0111】
[0121] 1.甲状腺結節の超音波画像のデータ組を取得する。データ組は、
a.各結節の1枚以上の画像(典型的には直交する2個のビュー)
b.各結節の正解ラベル(良性/悪性)
c.各結節のサイズ測定(この基準は甲状腺に特有)
を含んでいる。
【0112】
[0122] 2.データ組内の結節に対して、ACR TI-RADSガイドラインに従い、1名以上の有資格読影医にTI-RADS評価を依頼する。これらの読影医による評価は主観的であり、複数の読影医を査定することにより読影医間のばらつきの影響を軽減できるため、複数の読影医からの複数の評価を集約することで評価が向上する。読影医には、訓練を受けた医師とTI-RADS評価を生成すべく訓練されたAIシステムの両方が含まれていてよい。TI-RADSの場合、これらの評価には以下が含まれる。
a.組成
b.エコー輝度
c.形状
d.マージン
e.エコー輝度病巣
f.TI-RADSの合計点数(a~eから決定)
g.TI-RADSリスクカテゴリー(fから決定)
h.生検又はFNAの実行を決定(g及び結節のサイズにより決定)
【0113】
[0123] 3.各読影医に対して所望の成績メトリックを計算する。いくつかの実装例において、解析装置(例:解析装置105、305)は評価(例:評価査定部359を介して)を実行して、各読影医による評価に関連付けられた成績メトリックを計算することができる。所望の成績メトリックは、最大化が望まれる成績の側面を含んでいてよい。一実装例において、所望の成績メトリックは、AUC、感度、及び特異性を含んでいてよい。
【0114】
[0124] 二値予測は、予め選択された閾値を用いて、閾値を超えるデータ点又は事象の測定に基づいて行うことができる(例えば、データ点が指定された特徴の閾値を超えたならばデータ点を陽性と識別し、データ点が閾値を超えなければデータ点を陰性と識別する)。二値予測が行われた場合、4種類の結果があり得る。すなわち(1)真陰性(TN):クラスが陰性とする正しい予測、(2)偽陰性(FN):クラスが陰性とする誤った予測、(3)偽陽性(FP):クラスが陽性とする誤った予測、(4)真陽性(TP):クラスが陽性とする正しい予測。
【0115】
【0116】
[0125] 第1のメトリックである真陽性率(TPR)は感度とも称され、TP/(TP+FN)として定義できる。TPRメトリックは、全ての陽性データ点数に関して正しく陽性とみなされる陽性データ点数の割合に対応していよい。第2のメトリックである偽陽性率(FPR)は、(1-特異性)とも称され、FP/(FP+TN)として定義できる。FPRメトリックは、全ての陰性データ点数に関して誤って陽性とみなされた陰性データ点数の割合に対応していてよい。
【0117】
[0126] いくつかの実装例において、FPRとTPRを単一のメトリックにまとめることができる。2個の以前のメトリック(FPRとTPR)をロジスティック回帰の多くの異なる閾値(例:0.00,0.01,0.02,...,1.00)と合わせて計算し、次いでこれらをFPRの値を横軸、TPRの値を縦軸とする単一のグラフにプロットする。その結果の曲線がROC曲線と呼ばれる。ROC曲線は、AUC-ROCとも呼ばれる当該曲線の曲線下面積と呼ばれるメトリックを用いて解析及び/又は定量化できる。
【0118】
[0127] AUC-ROC(曲線下面積-受信者動作特性曲線)とは、真陽性知見の割合又は頻度としての感度対偽陽性知見の割合又は頻度により表される特異性(1-特異性)のグラフ表現である。上述のように、ROC曲線は、Y軸に真陽性率(TPR)、X軸に偽陽性率(FPR)をプロットしたグラフである。ROC曲線のグラフは、利得(真陽性、感度)と費用(偽陽性、1特異性)との相対的トレードオフを表すことができる。感度の増加は特異性の減少を伴うか、又は特異性の低下を代償とする。
【0119】
[0128] 4.画像データに直接基づいて結節の悪性リスクを独立に評価すべくAIに基づく診断システムの機械学習モデルを訓練する。このAIに基づくシステムは、特定の結節に関連付けられた全ての画像データを入力として採用し、当該結節の悪性の尤度に相関するリスク推定値を生成する。一実装例において、その推定値は0~1の浮動小数点数形式であってよい。
【0120】
[0129] 5.システムの出力をTI-RADSの点数にマッピングする、パラメータθを有するパラメータ化された変換関数ftransを生成する。多くのこのような関数を設計して用いることができる。以下に示す関数の例において、xはシステムの未加工出力、θは関数のパラメータ、αは変換に許容される出力値である。
変換された出力 = ftrans(x,θ,α)
【0121】
[0130] 一実装例において、∈{-2,-1,0,+1,+2}である。
【0122】
[0131] 6.f
trans(x,θ,α)の最適化に使用できる目的関数を定義する。当該関数は、読影医の成績の変化を変換関数のパラメータに関連付ける限り、様々な形式であってよい。上述のように、一実装例において、臨床的に関連するいくつかのメトリックを用いて成績を特徴付けして目的関数を生成した。別の実装例において、アルゴリズムがデータから最適な目的を学習する。目的関数は、変更対象である診断システムの特定の要件に合うように設計することができる。当該実装で用いられる目的関数は以下のように定義される。
【数1】
ここにd(a,b)は距離関数である。
【0123】
[0133] 各λ項の値は、各成績メトリックの相対的な重要性を反映し、且つ使用する各成績メトリックの平均的な大きさに対応すべく選択することができる。上述の目的関数を用いて、AUC、感度、特異性の観点から最大の肯定的影響を提供できるように変換関数を最大化することができる。
【0124】
[0134] 7.各読影医に対して変更された診断評価又は変更されたTI-RADS合計点数を変換されたシステム出力を用いて、変換関数のパラメータθの関数として計算する。
[0135] pointsupdated = pointstirads:(x,θ) + ftrans:(x,θ,α)
【0125】
[0136] 別の実装例において、乗法変換を以下のように適用することができる。
[0137] pointsupdated= pointstirads(x,θ)*ftrans(x,θ,α)
【0126】
[0138] より一般的には
pointsupdated= m(pointstirads(x,θ),ftrans(x,θ,α))
【0127】
[0139] ここにm(a,b)は注目する診断システムに適した変更関数である。
【0128】
[0140] 8.更新された合計点から、更新された成績メトリックを計算し、使用した目的関数の値を計算する。この処理は、複数の読影医からのTIRADS合計点数に対して複数のデータ組にわたり実行できる。複数の読影医及びデータ組を用いて結果の一般化可能性を向上させることができる。
【0129】
[0141] 9.最適化技術を用いて、目的関数を最大化する関数パラメータθの最適値を判定する。この処理のために遺伝的アルゴリズム、NOMAD、SGD等、多くの最適化部を用いてよい。発明者らの具体的な実装例は、ガウス過程回帰としても知られるベイズ最適化を含んでいる。
【0130】
[0142] 最適化処理が終了したならば、結果的に得られた変換関数は、臨床評価を行う個名の挙動に最適な影響を与えるべく拡張されたシステムに適したスケールに対して点数変更を行う。ACR TI-RADSの一実装例において、スケールは-2から+2であり、変換関数は、個名のAUC、感度、及び特異性を向上させ、拡張により、実行されている良性生検の回数を減少させる。典型的に、この個人は医師であってよい。しかし、このアプローチは、他のAI装置を含む、診断を行ういかなる主体に対しても同様に有効である。
【0131】
[0143] 上で様々な実施形態について述べたが、これらは例示目的で提示したに過ぎず、本発明を限定するものではないことを理解されたい。上述の方法及び/又はスキームが特定の順序で生じる特定の事象及び/又はフローパターンを示す場合、特定の事象及び/又はフローパターンの順序が変更されてもよい。複数の実施形態を具体的に図示及び記述してきたが、形式及び詳細事項に様々な変更を加え得ることが理解されよう。
【0132】
[0144]
図11A、11Bに、15名の読影医(11名の放射線科医、4名の内分泌科医)及び650個のFNA実証済み結節(130個が悪性)を含む複数読影医、複数ケーススタディにおいて、本明細書に記述するAIに基づく診断システムによりもたらされた診断成績の向上を示している。読影医は、4週間の休薬期間を空けて2回のセッションにわたり各結節を2回査定した。各セッションにおいて、結節は無作為に提示されて2個の条件のいずれかで査定された。
1)TI-RADSレポートフォームの手動採点(TI-RADSのみ)
2)AIに基づくリスク記述子及び点数修飾子(TI-RADS+AI)で拡張されたAI事前入力されたTI-RADSレポート。
【0133】
[0145] FNAの推奨の結果が陽性と仮定して、2個の読影条件での診断成績がパラメトリックAUC-ROC及び動作点解析を介して評価された。動作点解析は、感度、特異性、陽性的中率(PPV)、陰性的中率(NPV)を、医師の生検推奨に関する読影条件間で比較した。読影医間のばらつきはピアソンのR相関により評価された。読影医間のばらつきが重要である理由は、実際に2名の異なる医師が同じ知見に対して異なる評価を下す場合があるためである。これらの評価は主観的であってよい。読影医間のばらつきを減らすことは従って、患者にとってより一貫性のある診断を意味する。解釈時間は、読影条件間の相対的変化として解析された。解釈時間は、医師が1稼働日当たりに効果的に解析できる症例の数に影響を及ぼすため重要である。
【0134】
[0146]
図11Aに示すように、TI-RADS+AI(すなわち、医師が用いるTI-RADSに、本明細書に記述する方法で用いるようなモデルを加えたもの)対TI-RADSの平均AUC改善率は0.083(95%CI、0.066~0.099)であった。
図11Aに、全てのデータを対象に全ての読影医についてTI-RADSのみとTI-RADS+AIを比較した読影医毎のパラメトリックAUCを示す。破線は、当該線より上の全ての点がTI-RADS+AI読影条件の改善を示す不明瞭な結果を示す。テーブル1。
【0135】
[0147] テーブル1は、各読影医に関連付けられたデータ、及びパラメトリック解析用の95%信頼区間付き平均成績を示している。
【0136】
【0137】
[0148]
図11Bに、全ての読影医を対象に全データについてフォローアップ推奨の感度及び特異性の変化を示す。矢印の起点にある各被験者の記号(R1、R2、R3等)は、初期動作点を表すのに対し、矢尻の同一記号は、TI+RADS+AIを用いた動作点を表し、右上を指す矢印は、TI-RADS+AIを用いた結果として感度及び特異性が増加したことを示している。
図10Bに示すように、TI-RADS+AIはまた、感度及び特異性が各々8.4%(95%CI、5.4%-11.3%)及び14%(95%CI、12.5%-15.5%)と顕著に増加させた。読影医間のばらつきは、TI-RADS及びTI-RADS+AIで各々0.622及び0.876であった。解釈時間はTI-RADS+AIで23.6%(p<0.001)短縮した。
【0138】
[0149] テーブル2は、
図11Bにグラフとして示す感度及び特異性の変化を示す。
【0139】
【0140】
[0151] 結論として、5個のTI-RADS記述子の自動化されたAIに基づく事前入力を追加的なAIに基づくリスク記述子及び点数修飾子の使用と組み合わせて変更された診断評価を生成することにより、読影医の診断精度を顕著に向上させながら、同時に解釈時間及び読影医間のばらつきを減少させた。
【0141】
[0152] 他の複数の実施形態が、本明細書に記述するAIに基づく診断システム(例:システム100)に対する変更された診断評価を用いて、リスク層別化用の結節の超音波パターンの解析、又はACR BI-RADS病変分類及びリスク層別化を介して、甲状腺結節評価用の米国甲状腺学会(ATA)のガイドラインを拡張することを含んでいてよい。
【0142】
[0153] 様々な実施形態について、特定の特徴及び/又は要素の組み合わせを有するものとして記述してきたが、上述の複数の実施形態のいずれの特徴及び/又は要素の組み合わせを有する他の複数の実施形態も可能である。
【0143】
[0154] 本明細書に記述するいくつかの実施形態は、様々なコンピュータ実装された動作を実行する命令又はコンピュータコードを有する非一時的コンピュータ可読媒体(非一時的プロセッサ可読媒体と称する場合もある)を有するコンピュータストレージ製品に関する。コンピュータ可読媒体(又はプロセッサ可読媒体)が非一時的であるという意味は、自身が一時的の伝搬信号(例:空間又はケーブル等の伝搬媒体で情報を搬送する伝搬電磁波)を含まないことである。媒体及びコンピュータコード(コードと称する場合もある)は、1個以上の特定の目的のために設計及び構築されたものであってよい。非一時的コンピュータ可読媒身体の例として、ハードディスク、フロッピーディスク、磁気テープ等の磁気記憶媒体、コンパクトディスク/デジタルビデオディスク(CD/DVD)、コンパクトディスク読取専用メモリ(CD-ROM)、及びホログラフィック装置等の光記憶媒体、光ディスク等の光磁気記憶媒体、搬送波信号処理モジュール、並びに特定用途向け集積回路(ASIC)、プログラマブルロジック装置(PLD)、読取専用メモリ(ROM)及びランダムアクセスメモリ(RAM)装置等、プログラムコードを保存及び実行すべく特別に構成されたハードウェア装置が含まれるがこれらに限定されない。本明細書に記述する他の複数の実施形態は、例えば本明細書に記述する命令及び/又はコンピュータコードを含んでいてよいコンピュータプログラム製品に関する。
【0144】
[0155] 本開示において、項目への単数形での言及は、別途明示的に言及されているか又は文脈から明らかでない限り、複数形の項目も含み、その逆も同様であると理解されたい。文法上の接続詞は、別途明示的に言及されているか又は文脈から明らかでない限り、結合された節、文、単語等の任意及び全ての離接的及び接続的組み合わせを表現することを意図している。従って、用語「又は」は一般に「及び/又は」等を意味するものと理解されたい。本明細書で提供する任意及び全ての例、又は例示的語句(「例」、「~のような」、「~を含む」等)の使用は、単に複数の実施形態を分かり易くすることを意図しているに過ぎず、実施形態又は請求項の範囲を限定するものではない。
【0145】
[0156] 本明細書に記述するいくつかの実施形態及び/又は方法は、ソフトウェア(ハードウェアで実行される)、ハードウェア、又はこれらの組み合わせにより実行することができる。ハードウェアモジュールは例えば、汎用プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、及び/又は特定用途向け集積回路(ASIC)を含んでいてよい。ハードウェアで実行される)ソフトウェアモジュールは、C、C++、Java(商標)、Ruby、Visual Basic(商標)、及び/又は他のオブジェクト指向、手続き型、或いは他のプログラミング言語及び開発ツールを含む、様々なソフトウェア言語(例:コンピュータコード)で表現することができる。コンピュータコードの例としては、コンパイラにより生成されるようなマイクロコード又はマイクロ命令、機械命令、ウェブサービスの生成に用いられるコード、及びインタープリタを用いてコンピュータにより実行される高水準命令を含むファイルが含まれるがこれらに限定されない。例えば、複数の実施形態が、命令型プログラミング言語(C、Fortran等)、関数型プログラミング言語(Haskell、Erlang等)、論理型プログラミング言語(Prolog等)、オブジェクト指向プログラミング言語(Java、C++等)、又は他の適当なプログラミング言語及び/又は開発ツールを用いて実装されていてよい。コンピュータコードの追加的な例として制御信号、暗号化コード、及び圧縮コードが含まれるがこれらに限定されない。
【0146】
[0157] また、様々な概念が1個以上の方法として実装されていてよく、その一例を示してきた。本方法の一部として実行される動作は、任意の適当な仕方で順序付けられていてよい。従って、例示するものとは異なる順序で動作が実行される複数の実施形態が構築されいてよく、たとえ例示的な実施形態で逐次的な動作として示していても、いくつかの動作を同時に行う場合が含まれていてよい。
【国際調査報告】