(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024028152
(43)【公開日】2024-03-01
(54)【発明の名称】表示視野の違いに対する深層学習の頑健性
(51)【国際特許分類】
G16H 30/40 20180101AFI20240222BHJP
G06N 3/04 20230101ALI20240222BHJP
G06N 3/08 20230101ALI20240222BHJP
G06T 1/00 20060101ALI20240222BHJP
G06T 3/4046 20240101ALI20240222BHJP
【FI】
G16H30/40
G06N3/04
G06N3/08
G06T1/00 290Z
G06T3/4046
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023125214
(22)【出願日】2023-08-01
(31)【優先権主張番号】17/821,058
(32)【優先日】2022-08-19
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100129779
【弁理士】
【氏名又は名称】黒川 俊久
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】ランゴジュ・ラジェッシュ
(72)【発明者】
【氏名】プラサッド・スッダカラ・マーシー
(72)【発明者】
【氏名】ウトカルシュ・アグラウォル
(72)【発明者】
【氏名】重政 理紗
(72)【発明者】
【氏名】パティル・ブーシャン
(72)【発明者】
【氏名】ビプル・ダス
(72)【発明者】
【氏名】今井 靖浩
【テーマコード(参考)】
5B057
5L099
【Fターム(参考)】
5B057AA07
5B057BA03
5B057BA05
5B057BA06
5B057CA08
5B057CB08
5B057CD05
5B057CD06
5B057CE01
5B057CE02
5B057DA08
5B057DA12
5B057DA16
5B057DB09
5B057DC14
5B057DC40
5L099AA26
(57)【要約】 (修正有)
【課題】表示視野(DFOV)の違いに対する深層学習の頑健性を支援するシステム及び方法を提供する。
【解決手段】システムは、深層学習ニューラルネットワーク及び医用画像にアクセスし、深層学習ニューラルネットワークによりトレーニングされる第1の空間解像度が、医用画像によって示される第2の空間解像度と一致しない場合に、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行し、医用画像が第1の空間解像度と一致するまで、医用画像をアップサンプリング又はダウンサンプリングすることによって、医用画像を再サンプリングすることにより得られた画像を生成する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
システムであって、
非一時的なコンピュータ可読メモリに記憶されたコンピュータ実行可能コンポーネントを実行するプロセッサであって、前記コンピュータ実行可能コンポーネントは、
深層学習ニューラルネットワーク及び医用画像にアクセスするアクセスコンポーネントであって、深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度が、前記医用画像が示す第2の空間解像度と一致していない、アクセスコンポーネント、及び
前記医用画像を再サンプリングすることによって得られた画像に対して前記深層学習ニューラルネットワークを実行する実行コンポーネントであって、前記医用画像を再サンプリングすることにより得られた画像は、前記深層学習ニューラルネットワークによりトレーニングされた前記第1の空間解像度を示す、実行コンポーネント
を含む、システム。
【請求項2】
前記第1の空間解像度は前記第2の空間解像度よりも粒状性が良く、前記コンピュータにより実行可能なコンポーネントは、
前記医用画像をアップサンプリングし、それにより前記医用画像を再サンプリングすることにより得られた画像を生成する前実行再サンプルコンポーネントであって、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することにより、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像が第1の空間解像度を示す、前実行再サンプルコンポーネント
を含む、請求項1に記載のシステム。
【請求項3】
前記コンピュータ実行可能コンポーネントは、
前記第1の出力画像をダウンサンプリングし、それにより、前記第2の空間解像度を示す第2の出力画像を生成する後実行再サンプルコンポーネントを含む、請求項2に記載のシステム。
【請求項4】
前記第1の空間解像度は前記第2の空間解像度よりも粒状性が悪く、前記コンピュータ実行可能コンポーネントは、
前記医用画像をダウンサンプリングし、それによって前記医用画像を再サンプリングすることにより得られた画像を生成する前実行再サンプルコンポーネントであって、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することによって、前記深層学習ニューラルネットワークは第1の出力画像を生成し、前記第1の出力画像は、前記第1の空間解像度を示す、前実行再サンプルコンポーネント
を含む、請求項1に記載のシステム。
【請求項5】
前記コンピュータ実行可能コンポーネントは、
前記第1の出力画像をアップサンプリングし、それにより、前記第2の空間解像度を示す第2の出力画像を生成する後実行再サンプルコンポーネント
を含む、請求項4に記載のシステム。
【請求項6】
前記第1の空間解像度は、前記医用画像を生成した医用イメージング装置の変調伝達関数における最大カットオフ周波数に対応する、請求項5に記載のシステム。
【請求項7】
前記深層学習ニューラルネットワークは、複数の深層学習ニューラルネットワークのセットに属し、前記複数の深層学習ニューラルネットワークのセットは、それぞれ、異なる空間解像度のセットによりトレーニングされ、前記第1の空間解像度は、前記異なる空間解像度のセット内に含まれ、前記コンピュータ実行可能コンポーネントは、
前記異なる空間解像度のセットのどの空間解像度も、前記第2の空間解像度よりも粒状性が良くない空間解像度であり、どの空間解像度も、前記第1の空間解像度よりも前記第2の空間解像度に近い空間解像度ではないという決定に基づいて、前記複数の深層学習ニューラルネットワークのセットから、前記医用画像を解析する深層学習ニューラルネットワークを選択する選択コンポーネント
を含む、請求項1に記載のシステム。
【請求項8】
前記深層学習ニューラルネットワークは、画質向上、画像ノイズ除去、画像カーネル変換、又は画像セグメンテーションを実行するように構成される、請求項1に記載のシステム。
【請求項9】
プロセッサに動作可能に結合された装置によって、深層学習ニューラルネットワーク及び医用画像にアクセスすることであって、前記深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度が、前記医用画像が示す第2の空間解像度と一致しない、深層学習ニューラルネットワーク及び医用画像にアクセスすること、及び
前記装置により、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することであって、前記医用画像を再サンプリングすることにより得られた画像は、前記深層学習ニューラルネットワークによりトレーニングされた前記第1の空間解像度を示す、前記深層学習ニューラルネットワークを実行すること
を含む、コンピュータによって実施される方法。
【請求項10】
前記第1の空間解像度は前記第2の空間解像度よりも粒状性が良く、
前記装置によって、前記医用画像をアップサンプリングすることであって、それにより、前記医用画像を再サンプリングすることにより得られた画像を生成し、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することによって、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像は前記第1の空間解像度を示す、医用画像をアップサンプリングすること
を含む、請求項9に記載のコンピュータによって実施される方法。
【請求項11】
前記装置により、前記第1の出力画像をダウンサンプリングすることであって、これにより前記第2の空間解像度を示す第2の出力画像を生成する、前記第1の出力画像をダウンサンプリングすること
を含む、請求項10に記載のコンピュータによって実施される方法。
【請求項12】
前記第1の空間解像度は、前記第2の空間解像度よりも粒状性が悪く、
前記装置によって、前記医用画像をダウンサンプリングすることであって、それによって、前記医用画像を再サンプリングすることにより得られた画像を生成し、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することによって、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像は前記第1の空間解像度を示す、医用画像をダウンサンプリングすること
を含む、請求項9に記載のコンピュータによって実施される方法。
【請求項13】
前記装置によって、前記第1の出力画像をアップサンプリングすることであって、それにより、前記第2の空間解像度を示す第2の出力画像を生成する第1の出力画像をアップサンプリングすること
を含む、請求項12に記載のコンピュータによって実施される方法。
【請求項14】
前記第1の空間解像度は、前記医用画像を生成した医用イメージング装置の変調伝達関数における最大カットオフ周波数に対応する、請求項13に記載のコンピュータによって実施される方法。
【請求項15】
前記深層学習ニューラルネットワークは、複数の深層学習ニューラルネットワークのセットに属し、前記複数の深層学習ニューラルネットワークのセットは、それぞれ、異なる空間解像度のセットによりトレーニングされ、前記第1の空間解像度は、前記異なる空間解像度のセット内に含まれ、
前記装置によって、前記異なる空間解像度のセットのどの空間解像度も、前記第2の空間解像度よりも粒状性が良くない空間解像度であり、どの空間解像度も、前記第1の空間解像度よりも前記第2の空間解像度に近い空間解像度ではないと決定すること、及び
前記決定することに応答して、前記装置によって、前記複数の深層学習ニューラルネットワークのセットから、前記医用画像を解析するための深層学習ニューラルネットワークを選択すること
を含む、請求項9に記載のコンピュータによって実施される方法。
【請求項16】
前記深層学習ニューラルネットワークは、画質向上、画像ノイズ除去、画像カーネル変換、又は画像セグメンテーションを実行するように構成される、請求項9に記載のコンピュータにより実行される方法。
【請求項17】
表示視野の違いに対する深層学習の頑健性を支援するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、プログラム命令を有するコンピュータ可読メモリを含み、前記プログラム命令がプロセッサにより実行されると、前記プロセッサに、
深層学習ニューラルネットワーク及び医用画像にアクセスすることであって、前記深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度が、前記医用画像が示す第2の空間解像度と一致しない、深層学習ニューラルネットワーク及び医用画像にアクセスすること、及び
前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することであって、前記医用画像を再サンプリングすることにより得られた画像は、前記深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度を示す、深層学習ニューラルネットワークを実行すること
を実行させる、コンピュータプログラム製品。
【請求項18】
前記第1の空間解像度は前記第2の空間解像度よりも粒状性が良く、前記プログラム命令は、前記プロセッサに、
前記医用画像をアップサンプリングすることであって、それにより前記医用画像を再サンプリングすることにより得られた画像が生成され、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することにより、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像は前記第1の空間解像度を示す、医用画像をアップサンプリングすること
前記第1の出力画像をダウンサンプリングすることであって、それにより前記第2の空間解像度を示す第2の出力画像を生成する、第1の出力画像をダウンサンプリングすること
を実行させるように実行可能である、コンピュータプログラム製品。
【請求項19】
前記第1の空間解像度は、前記第2の空間解像度よりも粒状性が悪く、前記プログラム命令は、前記プロセッサに、
前記医用画像をダウンサンプリングすることであって、それによって前記医用画像を再サンプリングすることにより得られた画像が生成され、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することによって、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像は第1の空間解像度を示す、医用画像をダウンサンプリングすること、及び
前記第1の出力画像をアップサンプリングすることであって、それにより前記第2の空間解像度を示す第2の出力画像を生成する、第1の出力画像をアップサンプリングすること
を実行させるように実行可能である、請求項17に記載のコンピュータプログラム製品。
【請求項20】
前記深層学習ニューラルネットワークは、複数の深層学習ニューラルネットワークのセットに属し、前記複数の深層学習ニューラルネットワークのセットは、それぞれ、異なる空間解像度のセットによりトレーニングされ、前記第1の空間解像度は、前記異なる空間解像度のセット内に含まれ、前記プログラム命令は、前記プロセッサに、
前記異なる空間解像度のセットのどの空間解像度も、前記第2の空間解像度よりも粒状性が良くない空間解像度であり、どの空間解像度も、前記第1の空間解像度よりも前記第2の空間解像度に近い空間解像度ではないと決定すること、及び
前記決定することに応答して、前記複数の深層学習ニューラルネットワークのセットから、前記医用画像を解析するための前記深層学習ニューラルネットワークを選択すること
を実行させるように実行可能である、請求項17に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に深層学習に関し、より具体的には、表示視野の違いに対する深層学習の頑健性に関する。
【背景技術】
【0002】
深層学習ニューラルネットワークは、医用画像に対して推論タスクを実行するようにトレーニングすることができる。深層学習ニューラルネットワークがどの程度正確に推論タスクを実行するかは、医用画像の表示視野に依存する。
【0003】
したがって、これらの技術的問題のうちの1つ以上の問題に対処することができるシステム又は技術が望まれる。
【発明の概要】
【0004】
以下に、本発明の1つ以上の実施形態の基本的な理解を提供するための概要を示す。この概要は、重要な要素又は重大な要素を特定すること、又は特定の実施形態の範囲又は特許請求の範囲を画定することを意図するものではない。その唯一の目的は、後に提示される更に詳細な説明の前段階として、簡略化された形態で概念を提示することである。本明細書に記載された1つ以上の実施形態において、表示視野の違いに対する深層学習の頑健性を支援するデバイス、システム、コンピュータによって実施される方法、装置、又はコンピュータプログラム製品が記載される。
【0005】
1つ以上の実施形態によれば、システムが提供される。本システムは、コンピュータで実行可能なコンポーネントを記憶することができる非一時的なコンピュータ可読メモリを含むことができる。システムはプロセッサを更に含むことができ、プロセッサは、非一時的コンピュータ読取り可能メモリに動作可能に結合されることができ、非一時的コンピュータ読取り可能メモリに記憶されたコンピュータで実行可能なコンポーネントを実行することができる。様々な実施形態において、コンピュータで実行可能なコンポーネントは、深層学習ニューラルネットワーク及び医用画像にアクセスすることができるアクセスコンポーネントを含むことができる。様々な態様において、深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度が、医用画像が示す第2の空間解像度と一致しないことがある。様々な実施態様において、コンピュータで実行可能なコンポーネントは、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することができる実行コンポーネントを更に含むことができる。医用画像を再サンプリングすることにより得られた画像は、深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度を示すことができる。
【0006】
1つ以上の実施形態によれば、上記のシステムは、コンピュータによって実施される方法又はコンピュータプログラム製品として実装することができる。
【図面の簡単な説明】
【0007】
【
図1】本明細書に記載された1つ以上の実施形態による、表示視野の違いに対する深層学習の頑健性を支援する例示的な非限定的システムのブロック図を示す。
【
図2】本明細書に記載された1つ以上の実施形態による、再サンプリングにより得られた医用画像を含み、表示視野の違いに対する深層学習の頑健性を支援する非限定的システムのブロック図を示す。
【
図3】本明細書に記載された1つ以上の実施形態による、再サンプリングされた医用画像がどのように生成されるのかを示す例示的な非限定的ブロック図である。
【
図4】本明細書に記載された1つ以上の実施形態による、出力画像を含み、表示視野の違いに対する深層学習の頑健性を支援する例示的な非限定的システムのブロック図を示す。
【
図5】本明細書に記載された1つ以上の実施形態による、出力画像がどのように生成されるのかを示す例示的な非限定的ブロック図である。
【
図6】本明細書に記載された1つ以上の実施形態による、再サンプリングにより得られた出力画像を含み、表示視野の違いに対する深層学習の頑健性を支援する例示的な非限定的システムのブロック図を示す。
【
図7】本明細書に記載された1つ以上の実施形態による、再サンプリングにより得られた出力画像をどのように生成することができるかを示す例示的な非限定的ブロック図である。
【
図8】本明細書に記載された1つ以上の実施形態による、第1の表示視野、したがって第1の空間解像度を示す医用画像が、異なる表示視野、したがって異なる空間解像度でトレーニングされた深層学習ニューラルネットワークによって、どのようにして正確に分析することができるかを示す、例示的な非限定的ブロック図である。
【
図9】本明細書に記載された1つ以上の実施形態による、表示視野の違いに対する深層学習の頑健性を支援する例示的で非限定的なコンピュータによって実施される方法のフロー図を示す。
【
図10】本明細書に記載された1つ以上の実施形態による、表示視野の違いに対する深層学習の頑健性を支援する選択コンポーネントを含む例示的な非限定的システムのブロック図を示す。
【
図11】本明細書に記載された1つ以上の実施形態による深層学習ニューラルネットワークボールトの例示的な非限定的ブロック図を示す。
【
図12】本明細書に記載された1つ以上の実施形態による、表示視野の違いに対する深層学習の頑健性を支援する例示的で非限定的なコンピュータによって実施される方法のフロー図を示す。
【
図13】本明細書に記載された1つ以上の実施形態による変調伝達関数の最大カットオフ周波数に関する例示的で非限定的なグラフを示す。
【
図14】本明細書に記載された1つ以上の実施形態による変調伝達関数の最大カットオフ周波数に関する例示的で非限定的なグラフを示す。
【
図15】本明細書に記載された1つ以上の実施形態による、変調伝達関数の最大カットオフ周波数に基づいて、表示視野の違いに対する深層学習の頑健性を支援する例示的で非限定的なコンピュータによって実施される方法のフロー図を示す。
【
図16】本明細書に記載された1つ以上の実施形態の様々な利点を実証する例示的で非限定的な実験結果を示す。
【
図17】本明細書に記載された1つ以上の実施形態の様々な利点を実証する例示的で非限定的な実験結果を示す。
【
図18】本明細書に記載された1つ以上の実施形態の様々な利点を実証する例示的で非限定的な実験結果を示す。
【
図19】は、本明細書に記載される1つ以上の実施形態の様々な利点を実証する例示的な非限定的実験結果を示す。
【
図20】本明細書に記載された1つ以上の実施形態による、表示視野の違いに対する深層学習の頑健性を支援する例示的で非限定的なコンピュータによって実施される方法のフロー図を示す。
【
図21】本明細書で説明される1つ以上の実施形態を容易に実行することができる例示的で非限定的な動作環境のブロック図を示す。
【
図22】本明細書で説明される様々な実装が実行されるように動作可能な例示的なネットワーキング環境を示す。
【発明を実施するための形態】
【0008】
以下の発明を実施するための形態は、単なる例示であり、実施形態又は実施形態の用途/使用を限定することを意図するものではない。更に、上記の「背景技術」若しくは「発明の概要」の欄又は「発明を実施するための形態」の欄に記載された明示的又は暗示的な情報に拘束されることを意図するものではない。
【0009】
次に、1つ以上の実施形態を図面を参照して説明するが、参照される類似の符号は、全体を通して類似の要素を参照するために使用される。以下の説明では、1つ以上の実施形態を更に十分に理解できるようにするため、説明の目的で、多数の具体的な詳細が記載されている。しかしながら、様々な場合において、1つ以上の実施形態は、これらの具体的な詳細がなくても実施可能であることは明らかである。
【0010】
深層学習ニューラルネットワークは、医用画像(例えば、コンピュータ断層撮影(CT)スキャナによって生成された走査画像/再構成画像、磁気共鳴画像(MRI)スキャナによって生成された走査画像/再構成画像、陽電子放射断層撮影(PET)スキャナによって生成された走査画像/再構成画像、X線スキャナによって生成された走査画像/再構成画像、超音波スキャナによって生成された走査画像/再構成画像)の推論タスク(例えば、画質向上、画像ノイズ除去、画像カーネル変換)が実行されるように、(例えば、教師ありトレーニング、教師なしトレーニング、強化学習によって)トレーニングすることができる。
【0011】
様々な態様において、表示視野(DFOV)は、医用画像の特性、特徴、又は属性となる。より具体的には、様々な実施態様において、DFOVは、医用イメージング装置の(例えば、CTスキャナの、MRIスキャナの、PETスキャナの、X線スキャナの、超音波スキャナの)制御可能なパラメータ/設定として考えることができ、このような制御可能なパラメータ/設定は、医用イメージング装置の撮像視野のどれだけの範囲が医用イメージング装置によって取得された/生成された医用画像に再構成されるかに影響を与えることができる。医用イメージング装置は、複数の医用画像であって、各医用画像が所定の画素数又はボクセル数/所定の画素配列又はボクセル配列を有する複数の医用画像を取得する/生成するように構成することができるので、医用イメージング装置のDFOVパラメータ/設定に対して選択された設定可能な値は、医用画像の空間解像度(グリッドサイズと呼ばれることもある)に影響を及ぼすことができる。すなわち、医用イメージング装置のDFOVパラメータ/設定に対して選択された設定可能な値は、医用画像の各画素/ボクセルによって物理的な特徴部分がどのように表されるかに影響を及ぼすことができる。特に、医用画像のDFOVが与えられたとき、医用画像の所与の特徴部分の空間解像度は、所与のDFOVを、医用画像の中の当該所与の特徴部分が延在する画素/ボクセルの数で割ることによって計算することができる(例えば、粒状性が良いDFOVは粒状性が良い空間解像度に対応し、粒状性が悪いDFOVは粒状性が悪い空間解像度に対応する)。換言すれば、医用画像の空間解像度は、医用画像の画素/ボクセルがどれだけ物理的に大きいか(例えば、粒状性が悪い)又はどれだけ物理的に小さいか(例えば、粒状性が良い)を伝達するものと考えることができ、空間解像度はDFOVに直接関連することができる。従って、様々な例において、DFOVと空間解像度は互いに相関していると考えることができ、又は互いに関連する/交換可能な尺度と考えることができる。
【0012】
非限定的な例として、医用イメージング装置が医用画像を取得/生成するように構成され、各医用画像は、xピクセルの長さ及びyピクセルの幅を有するピクセルアレイ(x及びyは任意の適切な正の整数)であるとする。更に、医用イメージング装置のDFOVパラメータ/設定が比較的大きな値(40センチメートル(cm)など)に設定されているとする。このような場合、医用イメージング装置によって取得された/生成された医用画像は、40×40cm2の面積を表すと考えることができ、医用画像の各画素は、(40/x)×(40/y)cm2の面積を表すと考えることができる。これは比較的粗い(例えば、粒状性が悪い)空間解像度と考えることができる。これに対して、医用イメージング装置のDFOVパラメータ/設定が、比較的小さな値(10cmなど)に設定されているとする。このような場合、医用イメージング装置によって取得された/生成された医用画像は、10×10cm2の面積を表すと考えることができ、医用画像の各画素は、(10/x)×(10/y)cm2の面積を表すと考えられる。これは、比較的細かい(例えば、粒状性が良い)空間解像度と考えることができる。言い換えれば、DFOVが40cmの医用画像の画素は、DFOVが10cmの医用画像の画素よりも大きい、粗い、又は粒状性が悪いと考えることができる。更に他の言葉で言うと、医用画像のDFOVが小さくなるにつれて、医用画像の画素/ボクセルは小さくなり、したがって、粒状性が良いと考えることができる(例えば、DFOVの粒状性が良好になるにつれて、空間解像度は粒状性を良好にすることができる)。
【0013】
複数のDFOVから(複数の空間解像度から)トレーニングデータセットを生成することは、実現不可能であると考えられる。確かに、異なる有限数のDFOV設定からの画像を組み合わせることによってモデルをトレーニングすることができるが、そのようなモデルの性能は、その有限数のDFOV設定に対して最適化されるのではなく、平均化されることになる。更に、DFOV(空間解像度)は、取り得る値の連続的な範囲にわたって変化すると考えることができるため、有限個のセットのDFOVでは、そのような連続的な範囲全体をカバーすることはできない。
【0014】
少なくともこれらの理由から、深層学習ニューラルネットワークは、単一又は均一なDFOV(単一又は均一な空間解像度)を示す医用画像でトレーニングすることができる。すなわち、深層学習ニューラルネットワークをトレーニングするための全ての医用画像は、互いに同じDFOV(同じ空間解像度)を示すことができる。したがって、深層学習ニューラルネットワークは、特定のDFOVを、特定のDFOVのために、又は特定のDFOVに関して(特定の空間解像度に関して)トレーニングすると考えることができる。
【0015】
残念なことに、深層学習ニューラルネットワークが、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)とは異なるDFOV(空間解像度)を有する医用画像に対して実行される場合、深層学習ニューラルネットワークは、推論精度の低下を示す恐れがある。例えば、深層学習ニューラルネットワークが、医用画像に対して画質を向上するように構成されているとする。このような場合、深層学習ニューラルネットワークは、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)と一致しないDFOV(空間解像度)を有する医用画像の画質の精度を向上させることができない恐れがある。別の例として、深層学習ニューラルネットワークが、医用画像に対して画像ノイズ除去を実行するように構成されているとする。その場合、深層学習ニューラルネットワークは、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)に一致しないDFOV(空間解像度)を有する医用画像を正確にノイズ除去できない恐れがある。更に別の例として、深層学習ニューラルネットワークが、医用画像に対して画像カーネル変換を実行するように構成されているとする。このような場合、深層学習ニューラルネットワークは、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)に一致しないDFOV(空間解像度)を有する医用画像に対して、画像カーネル変換を正確に適用することができない恐れがある。
【0016】
したがって、これらの技術的問題のうちの1つ以上の問題に対処することができるシステム又は技術が望まれる。
【0017】
本明細書に記載された様々な実施形態は、これらの技術的問題のうちの1つ以上の問題に対処することができる。本明細書に記載された1つ以上の実施形態は、表示視野の違いに対する(空間解像度の違いに対する)深層学習の頑健性を支援することができるシステム、コンピュータによって実施される方法、装置、又はコンピュータプログラム製品を含むことができる。言い換えれば、本明細書に記載される様々な実施形態の発明者らは、医用画像のDFOV(空間解像度)が、深層学習ニューラルネットワークによりトレーニングされたDFOVとは異なる場合があるが、医用画像に対して深層学習ニューラルネットワークを正確に実行するための様々な技法を考え出した。特に、このような様々な技術は、以下を含むことができる。
医用画像の再サンプリング(例えば、アップサンプリング)をして、医用画像を再サンプリングすることにより得られた画像のDFOV(空間解像度)を、深層学習ニューラルネットワークによりトレーニングされたDFOVと一致させること、
医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行し、それによって、DFOV(その空間解像度)が、深層学習ニューラルネットワークによりトレーニングされたDFOVと一致する出力画像を得ること、
出力画像を再サンプリング(例えば、ダウンサンプリング)し、出力画像を再サンプリングすることにより得られた画像のDFOV(空間解像度)を医用画像のDFOVと一致させること。
【0018】
より具体的には、本明細書で説明される様々な実施形態は、DFOVの違いに対する深層学習の頑健性を支援することができるコンピュータツール(例えば、コンピュータで実行可能なハードウェア又はコンピュータで実行可能なソフトウェアの任意の適切な組合せ)として考えることができる。様々な態様において、そのようなコンピュータツールは、アクセスコンポーネント、前実行再サンプルコンポーネント、実行コンポーネント、後実行再サンプルコンポーネント、又は結果コンポーネントを構成することができる。
【0019】
様々な実施形態においては、医用画像が使用される。様々な態様において、医用画像は、患者(例えば、ヒト、動物、又はその他)の1つ以上の解剖学的構造(例えば、組織、器官、身体部分、又はそれらの一部分)を表すことができる。様々な実施態様において、医用画像は、任意の適切なフォーマット又は次元を示すことができる。例えば、場合によっては、医用画像は二次元配列の画素とすることができる。他の場合では、医用画像は三次元配列のボクセルとすることができる。様々な態様において、医用画像は、任意の適切な医用イメージング装置(例えば、CTスキャナ、MRIスキャナ、PETスキャナ、X線スキャナ、超音波スキャナ)により、又は任意の適切な画像再構成技術により、取得する又は生成することができる。様々な態様において、医用画像は、任意の適切なDFOVに従って(任意の適切な空間解像度に従って)取得/生成することができる。
【0020】
様々な実施形態において、深層学習ニューラルネットワークが使用される。様々な態様において、深層学習ニューラルネットワークは、任意の適切な深層学習アーキテクチャを示す。例えば、深層学習ニューラルネットワークは、任意の適切なタイプの層を任意の適切な数だけ含むことができ(例えば、入力層、1つ以上の隠れ層、出力層であり、これらの層のいずれかの層は畳込み層又は非線形層とすることができる)を含むことができ、様々な層に任意の適切な数のニューロンを含むことができ(例えば、異なる層は、互いに同じニューロン数又は異なるニューロン数を有することができる)、様々なニューロンに任意の適切な活性化関数(例えば、ソフトマックス、シグモイド、双曲線正接、整流線形ユニット)を含むことができ(例えば、異なるニューロンは、互いに同じ活性化関数又は異なる活性化関数を有することができる)、又は任意の適切な介在ニューロン接続(例えば、順方向接続、スキップ接続、リカレント接続)を含むことができる。一部の実施態様において、深層学習ニューラルネットワークは、密層を含まないようにすることができる(例えば、全結合層を含まないようにすることができる)。このような場合、深層学習ニューラルネットワークは、サイズが変化する(例えば、固定されていない)入力に対して実行可能とすることができる(例えば、畳込み層及び非線形層は、任意のサイズの入力/サイズが変化する入力に適用可能であり、一方、密層/全結合層は、サイズが固定された入力にのみ適用可能である)。
【0021】
様々な態様において、深層学習ニューラルネットワークは、入力された医用画像に対して任意の適切な推論タスクを実行するように構成することができる。非限定的な例として、推論タスクは、画質を向上させるタスク(例えば、入力された医用画像の視覚的な品質を向上させること)とすることができる。別の非限定的な例として、推論タスクは画像カーネル変換(例えば、異なる画像カーネル(骨のカーネル又は軟組織のカーネルなど)に従って入力された医用画像をレンダリングする)とすることができる。更に別の非限定的な例として、推論タスクは、画像ノイズ除去(例えば、入力された医用画像に存在する視覚的なノイズの量を低減すること)とすることができる。更に別の非限定的な例として、推論タスクは、画像セグメンテーション(例えば、入力された医用画像の各画素/各ボクセルがどのクラスに属するかを決定すること)とすることができる。いずれにしても、深層学習ニューラルネットワークは、入力として医用画像を受け取り、推論タスクに対応する出力を生成するように構成することができる。例えば、推論タスクが画質向上である場合、深層学習ニューラルネットワークは、入力された医用画像の画質が向上された画像を生成するように構成することができる。別の例として、推論タスクが画像カーネル変換である場合、深層学習ニューラルネットワークは、入力された医用画像のカーネルが変換された画像を生成するように構成することができる。更に別の例として、推論タスクが画像ノイズ除去である場合、深層学習ニューラルネットワークは、入力された医用画像のノイズが除去された画像を生成するように構成することができる。更に別の例として、推論タスクが画像セグメンテーションである場合、深層学習ニューラルネットワークは、入力された医用画像のセグメンテーションマスクを生成するように構成することができる。
【0022】
様々な態様において、深層学習ニューラルネットワークは、適切な種類のトレーニング又は適切なパラダイムのトレーニングを受けることができる、又は受けていてもよい。例えば、深層学習ニューラルネットワークは、注釈付きトレーニングデータセットに基づいて教師ありトレーニングを受けることができる。このような場合、深層学習ニューラルネットワークの内部パラメータ(例えば、畳込みカーネル)をランダムに初期化することができる。様々な態様において、トレーニングするための適切な医用画像及びその医用画像に対応する適切な注釈を、注釈付きトレーニングデータセットから選択することができる。
【0023】
様々な態様において、トレーニングするために選択された医用画像は、深層学習ニューラルネットワークに入力として供給され、これによって、深層学習ニューラルネットワークは何らかの出力を生成することができる。より具体的には、様々な態様において、深層学習ニューラルネットワークの入力層は、トレーニングするために選択された医用画像を受け取ることができ、トレーニングするために選択された医用画像により、深層学習ニューラルネットワークの1つ以上の隠れ層を通るフォワードパスが行われ、深層学習ニューラルネットワークの出力層は、深層学習ニューラルネットワークの1つ以上の隠れ層の活性化に基づいて、出力を計算することができる。
【0024】
様々な実施態様において、その出力は、深層学習ニューラルネットワークが選択されたトレーニング医用画像に対応すると信じられる予測/推論(例えば、
品質が向上した予測/推論画像、カーネル変換された予測/推論画像、ノイズ除去された予測/推論画像、予測/推論されたセグメンテーションマスク)と考えることができる。対照的に、選択された注釈は、既知の正解データ又は選択されたトレーニング医用画像に一致すると見なされる正解データ(例えば、画質が良好な正解画像、カーネル変換された正解画像、ノイズ除去された正解画像、正解のセグメンテーションマスク)と考えることができる。深層学習ニューラルネットワークがこれまで全くトレーニングを受けていない、又はほとんどトレーニングを受けていない場合、出力は非常に不正確になる恐れがある(例えば、出力が、選択された注釈と大きく異なる恐れがある)ことに留意されたい。
【0025】
いずれにしても、出力と選択された注釈との間で、誤差又は損失(例えば、平均絶対誤差(MAE)、平均二乗誤差(MSE)、交差エントロピー)を計算することができ、計算された誤差/損失によって動作するバックプロパゲーション(例えば、確率的勾配降下法)を実行することによって、深層学習ニューラルネットワークの内部パラメータを更新することができる。
【0026】
様々な実施態様において、このようなトレーニングの手順は、注釈付きのトレーニングデータセットにおける各トレーニング医用画像に対して繰り返すことができ、その結果、深層学習ニューラルネットワークの内部パラメータ(例えば、畳み込みカーネル)は、入力された医用画像に基づいて予測/推論を正確に生成するように反復的に最適化することができる。様々な場合において、このようなトレーニングの間は、任意の適切なトレーニングバッチサイズ、任意の適切なトレーニング終了基準、又は任意の適切な誤差関数/損失関数を実装することができる。
【0027】
上記の実施例は教師ありトレーニングに焦点を当てているが、これは説明を容易にするための単なる非限定的な例である。様々な態様において、代わりに、深層学習ニューラルネットワークは、注釈のないトレーニングデータセットに基づいて教師なしトレーニングを受ける又は教師なしトレーニングを既に受けたものでもよいし、反復的な報酬/ペナルティに基づいて強化トレーニングを受ける又は強化トレーニングを既に受けたものでもよい。
【0028】
場合によっては、本明細書に記載されたコンピュータツールは、深層学習ニューラルネットワークに対してこのようなトレーニングを支援する又は実行することができる。
【0029】
深層学習ニューラルネットワークが受けたトレーニング方法にかかわらず、深層学習ニューラルネットワークがトレーニングに使用するトレーニング医用画像は、様々な例において、トレーニングデータセットの取得/キュレーションが容易かどうかに関連する実際上の理由によって、全て特定のDFOV(特定の空間解像度)を有している。したがって、深層学習ニューラルネットワークは、当該特定のDFOV(当該特定の空間解像度)でトレーニングされる、又はトレーニングされたとみなすことができる。
【0030】
様々な態様において、医用画像に対して推論タスクを実行することが望まれる。しかしながら、様々な態様において、医用画像のDFOV(空間解像度)が、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)と一致しない場合があり得る。より具体的には、様々な場合において、医用画像のDFOV(空間解像度)は、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)よりも粒状性が悪い場合がある。すなわち、医用画像の画素/ボクセルは、トレーニング医用画像の画素/ボクセルよりも大きく、したがって、物理的な面積/体積の粒状性が悪く表現されている場合がある。しかし、他の場合には、医用画像のDFOV(空間解像度)は、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)よりも粒状性が良く表現されている場合がある。すなわち、医用画像の画素/ボクセルは、トレーニング医用画像の画素/ボクセルよりも小さく、したがって、物理的な面積/体積の粒状性が良い場合がある。いずれにせよ、深層学習ニューラルネットワークが医用画像に対して直接に実行される場合、深層学習ニューラルネットワークは、このようなDFOVの不一致が原因で(lpのような空間解像度の不一致が原因で)、推論出力が不正確になる又は推論出力の精度が低下することが予想される。様々な場合において、本明細書に記載のコンピュータツールは、DFOVが不一致であるにもかかわらず(空間解像度が不一致であるにもかかわらず)、正確性/精度が損われることなく、医用画像に対して推論タスクを容易に実行することができる。
【0031】
様々な実施形態において、コンピュータツールのアクセスコンポーネントは、深層学習ニューラルネットワーク又は医用画像を電子的に受信する、又は深層学習ニューラルネットワーク又は医用画像に電子的にアクセスすることができる。いくつかの態様において、アクセスコンポーネントは、集中型データ構造又は分散型データ構造がアクセスコンポーネントに対してリモートであるかローカルであるかに関わらず、適切な集中型データ構造又は分散型データ構造(例えば、グラフデータ構造、リレーショナルデータ構造、ハイブリッドデータ構造)から深層学習ニューラルネットワーク又は医用画像を電子的に検索することができる。いずれにしても、アクセスコンポーネントは、深層学習ニューラルネットワーク又は医用画像を電子的に取得する又は深層学習ニューラルネットワーク又は医用画像に電子的にアクセスし、コンピュータツールの他のコンポーネントが深層学習ニューラルネットワーク又は医用画像と電子的にやり取りする(例えば、読み出す、書き込む、編集する、コピーする、操作する、制御する、活性化する)ことができる。
【0032】
様々な実施形態において、コンピュータツールの前実行再サンプルコンポーネントは、医用画像を再サンプリングすることにより得られた画像を電子的に生成することができ、医用画像を再サンプリングすることにより得られた画像は、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)を示すことができる。
【0033】
非限定的な例として、医用画像のDFOV(空間解像度)が、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)よりも粒状性が良くないと仮定する。このような場合、前実行再サンプルコンポーネントは、様々な態様において、任意の適切なアップサンプリング技術(例えば、最近傍補間、双一次補間、三次補間又は双三次補間)を医用画像に適用することができる。様々な実施態様において、このようなアップサンプリング技法は、医用画像の画素数/ボクセル数を増加させると考えることができる。言い換えれば、このようなアップサンプリング技法は、より多くの画素/ボクセルを用いて医用画像を示すと考えることができる。従って、このような場合、医用画像を再サンプリングすることにより得られた画像の各画素/各ボクセルは、医用画像の(例えば、オリジナルの医用画像の/何も変更されていない医用画像の)各画素/各ボクセルよりも小さい、したがって、物理的な面積/体積の粒状性が良く表現されていると考えることができる。このように、医用画像をアップサンプリングすると、医用画像のDFOV(空間解像度)の粒状性が良くなると考えることができる。様々な態様では、医用画像のDFOV(空間解像度)及び深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)は既知であるので、更に、医用画像のDFOV(空間解像度)は、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)よりも粒状性が悪い場合があるので、前実行再サンプルコンポーネントは、医用画像を再サンプリングすることにより得られた画像のDFOV(空間解像度)が、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)に一致する(例えば、DFOV(空間解像度)の適切な閾値マージン内になる)まで、医用画像を反復的又は段階的にアップサンプルすることができる。
【0034】
別の非限定的な例として、医用画像のDFOV(空間解像度)が、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)よりも粒状性が良いと仮定する。このような場合、前実行再サンプルコンポーネントは、様々な態様において、任意の適切なダウンサンプリング技術(例えば、ボックスサンプリング、ミップマップ)を医用画像に適用することができる。様々な態様において、そのようなダウンサンプリング技術は、医用画像の画素数/ボクセル数を減少させると考えることができる。言い換えれば、このようなダウンサンプリング技術は、より少ない数の画素/ボクセルを用いて医用画像を示すと考えることができる。従って、このような場合、医用画像を再サンプリングすることにより得られた画像の各画素/ボクセルは、医用画像の(例えば、オリジナルの医用画像の/何も変更されていない医用画像の)各画素/ボクセルよりも大きな、従って粒状性が悪い物理的な面積/体積を表すと考えることができる。このように、医用画像をダウンサンプリングすると、医用画像のDFOV(空間解像度)の粒状性が悪くなると考えることができる。様々な態様において、医用画像のDFOV(空間解像度)及び深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)は既知であるので、更に、医用画像のDFOV(空間解像度)は、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)よりも粒状性が悪い場合があるので、前実行再サンプルコンポーネントは、医用画像を再サンプリングすることにより得られた画像のDFOV(空間解像度)が、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)に一致する(例えば、DFOV(空間解像度)の適切な閾値マージン内になる)まで、医用画像を反復的又は段階的にダウンサンプルすることができる。
【0035】
様々な実施形態において、コンピュータツールの実行コンポーネントは、医用画像自体ではなく、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを電子的に実行することができる。様々な態様において、その実行によって、深層学習ニューラルネットワークが出力画像を生成することができる。より具体的には、様々な実施態様において、実行コンポーネントは、医用画像を再サンプリングすることにより得られた画像を深層学習ニューラルネットワークの入力層に供給し、アップサンプリングされた後の医用画像は、深層学習ニューラルネットワークの1つ以上の隠れ層を通るフォワードパスで処理され、深層学習ニューラルネットワークの出力層は、1つ以上の隠れ層によって提供される活性化に基づいて出力画像を計算することができる。
【0036】
深層学習ニューラルネットワークは、密層を含まないようにすることができる(例えば、全結合層を含まないようにすることができる)ので、深層学習ニューラルネットワークは、任意のサイズの入力に対して実行できる(例えば、密層は、固定されたサイズの入力に対して動作するように構成することができ、対照的に、畳込み層及び非線形層は、サイズに関係なく入力に適用できる)ことに留意されたい。したがって、深層学習ニューラルネットワークは、前実行再サンプルコンポーネントによって引き起こされる入力サイズの変化にかかわらず、医用画像を再サンプリングすることにより得られた画像に対して動作することができる。
【0037】
様々な態様において、出力画像は、深層学習ニューラルネットワークが実行するように構成される推論タスクに対応することができる。例えば、推論タスクが画質の向上である場合、出力画像は、医用画像を再サンプリングすることにより得られた画像の画質が向上されたものと考えることができる。別の例として、推論タスクが画像ノイズ除去である場合、出力画像は、医用画像を再サンプリングすることにより得られた画像からノイズが除去された画像と考えることができる。更に別の例として、推論タスクが画像カーネル変換である場合、出力画像は、医用画像を再サンプリングすることにより得られた画像がカーネル変換されたものと考えることができる。更に別の例として、推論タスクが画像セグメンテーションである場合、出力画像は、医用画像を再サンプリングすることにより得られた画像のセグメンテーションマスクと考えることができる。
【0038】
いずれにしても、医用画像を再サンプリングすることにより得られた画像は、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)を示すことができるため、出力画像も同様に、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)を示すことができる。言い換えれば、出力画像の画素/ボクセルは、医用画像を再サンプリングすることにより得られた画像の画素/ボクセルによって表される物理的な領域/体積と同じサイズの物理的な領域/体積を表すことができる。
【0039】
様々な実施形態では、コンピュータツールの後実行再サンプルコンポーネントは、出力画像を再サンプリングすることにより得られた画像を電子的に生成することができ、出力画像を再サンプリングすることにより得られた画像は、医用画像の(例えば、オリジナルの医用画像の/何も変更されていない医用画像の)のDFOV(空間解像度)を示すことができる。より具体的には、後実行再サンプルコンポーネントは、任意の適切なアップサンプリング技術又はダウンサンプリング技術であって、前実行再サンプルコンポーネントによって適用されたアップサンプリング技術又はダウンサンプリング技術の逆の技術を出力画像に適用することができる。例えば、前実行再サンプルコンポーネントが医用画像にアップサンプリング技術を適用していれば、後実行再サンプルコンポーネントは出力画像にダウンサンプリング技術を適用することができる。このような場合、後実行再サンプルコンポーネントは、前実行再サンプルコンポーネントによって実行されたアップサンプリングの逆の操作を実行する(例えば、元に戻す)と考えることができる(例えば、前実行再サンプルコンポーネントは、アップサンプリングによって医用画像の画素/ボクセルの数を増加させることができ、一方、後実行再サンプルコンポーネントは、ダウンサンプリングによって出力画像の画素/ボクセルの数を減少させることができる)。別の例として、前実行再サンプルコンポーネントが医用画像にダウンサンプリング技術を適用していれば、後実行再サンプルコンポーネントは出力画像にアップサンプリング技術を適用することができる。この場合、後実行再サンプルコンポーネントは、前実行再サンプルコンポーネントによって実行されたダウンサンプリングの逆の操作を実行する(例えば、元に戻す)と考えることができる(例えば、前実行再サンプルコンポーネントは、ダウンサンプリングによって医用画像の画素/ボクセルの数を減少させることができ、一方、後実行再サンプルコンポーネントは、アップサンプリングによって出力画像の画素/ボクセルの数を増加させることができる)。いずれにしても、後実行再サンプルコンポーネントは、出力画像を再サンプリングして、出力画像を再サンプリングすることにより得られた画像が、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)ではなく、医用画像のDFOV(空間解像度)を示すようにすることができる。
【0040】
様々な態様において、出力画像のDFOV(空間解像度)は、医用画像のDFOV(空間解像度)と一致する(DFOV(空間解像度)の適切な閾値マージン内にある)ことができるため、出力画像を再サンプリングすることにより得られた画像は、推論タスクが医用画像に適用されたときに得られる結果と考えることができる。しかしながら、深層学習ニューラルネットワークを医用画像に対して直接実行することなく、出力画像を再サンプリングすることにより得られた画像を得ることができるので、出力画像を再サンプリングすることにより得られた画像は、深層学習ニューラルネットワークと医用画像との間でDFOVが一致しないために(空間解像度が一致しないために)本来は生じるはずであった不正確さ/精度の劣化が無いようにすることができる。したがって、本明細書に記載のコンピューツールは、深層学習ニューラルネットワークがDFOVの違いに対して(空間解像度の違いに対して)頑健性又はアグノスティックを有すると考えることができる。
【0041】
様々な実施形態において、コンピュータツールの結果コンポーネントは、出力画像を再サンプリングすることにより得られた画像に基づいて、任意の適切な電子的動作を電子的に開始又は支援することができる。例えば、場合によっては、結果コンポーネントは、出力画像を再サンプリングすることにより得られた画像を技師に報知するように、出力画像を再サンプリングすることにより得られた画像を任意の適切なコンピューティング装置に電子的に送信することができる。別の例として、場合によっては、結果コンポーネントは、出力画像を再サンプリングすることにより得られた画像を技師が視覚的に点検できるように、出力画像を再サンプリングすることにより得られた画像を任意の適切なコンピューティングディスプレイ、スクリーン、又はモニタ上に電子的に表示することができる。
【0042】
したがって、本明細書に記載された様々な実施形態は、DFOVの違いに対する(空間解像度の違いに対する)深層学習の頑健性を支援することができるコンピュータツールとして考えることができる。
【0043】
本明細書に記載された様々な実施形態を使用して、(例えば、DFOV/空間解像度の違いに対する深層学習の頑健性を支援するために)本質的に高度に技術的な問題であって、抽象的ではなく、人間による一連の精神的活動としては実行することができない問題を解決するために、ハードウェア又はソフトウェアを使用することができる。更に、実行される処理の一部は、DFOVの違いに対する深層学習の頑健性に関連する定義されたタスクを実行するための専用のコンピュータ(例えば、畳み込みカーネルなどの内部パラメータを有する深層学習ニューラルネットワーク)によって実行することができる。例えば、このような定義されたタスクは、プロセッサに動作可能に結合されたデバイスによって、深層学習ニューラルネットワーク及び医用画像にアクセスすることであって、深層学習ニューラルネットワークによりトレーニングされた第1の表示視野(第1の空間解像度)が、医用画像によって示される第2の表示視野(第2の空間解像度)に一致しない、深層学習ニューラルネットワーク及び医用画像にアクセスすることと、装置によって、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することであって、医用画像を再サンプリングすることにより得られた画像は、深層学習ニューラルネットワークによりトレーニングされた第1の表示視野(第1の空間解像度)を示す、深層学習ニューラルネットワークを実行することと、を含む。様々な態様において、そのような定義されたタスクは、デバイスによって、医用画像をアップサンプリングすることであって、それによって、医用画像を再サンプリングすることにより得られた画像が生成され、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することによって、深層学習ニューラルネットワークが第1の出力画像を生成し、第1の出力画像が第1の表示視野(第1の空間解像度)を示す、医用画像をアップサンプリングすることと、デバイスによって、第1の出力画像をダウンサンプリングすることであって、それによって、第2の表示視野(第2の空間解像度)を示す第2の出力画像が得られる、第1の出力画像をダウンサンプリングすることと、を更に含むことができる。
【0044】
このような定義されたタスクは、人間によって手動で実行されるものではない。実際、人間が考えたり、人間が紙とペンを持っても、トレーニング済み深層学習ニューラルネットワーク及び医用画像(2次元の画素配列、3次元のボクセル配列)に電子的にアクセスし、医用画像を電子的に再サンプリングして、再サンプリングにより得られた医用画像のDFOV(空間解像度)を、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)に一致させること、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを電子的に実行して出力画像を生成し、出力画像を電子的に再サンプリングして、再サンプリングにより得られた出力画像のDFOV(空間解像度)を医用画像のDFOV(空間解像度)と一致させることはできない。代わりに、本明細書に記載される様々な実施形態は、コンピュータ技術と本質的に且つ密接に結びついており、コンピュータ環境の以外で実施することはできない。実際、深層学習ニューラルネットワークは、本質的にコンピュータ化された構成であり、コンピュータなしでは人間が頭で考えても全く実施することはできない。更に、画素/ボクセルの配列を再サンプリング(例えば、アップサンプリング又はダウンサンプリング)することは、本質的にコンピュータ化された動作でもあり、コンピュータなしでは人間が頭で考えても実施することはできない。したがって、DFOV(空間解像度)の尺度に基づいて医用画像を再サンプリングし、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行し、DFOV(空間解像度)の尺度に基づいて深層学習ニューラルネットワークの出力を再サンプリングするコンピュータツールも同様に、本質的にコンピュータ化されており、コンピュータなしでは、実際的、実用的、又は合理的な方法で実施することはできない。
【0045】
更に、本明細書に記載される様々な実施形態は、DFOVの違いに対する深層学習の頑健性に関連する様々な教示を実用的なアプリケーションに統合することができる。上記で説明したように、医用画像が、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)とは異なるDFOV(空間解像度)を示す場合、深層学習ニューラルネットワークは、医用画像を不正確に/劣化した精度で分析すると予想することができる。本明細書に記載の様々な実施形態は、この技術的問題に対処することができる。具体的には、本明細書に記載される様々な実施形態は、医用画像を再サンプリング(アップサンプリング又はダウンサンプリング)して、再サンプリングにより得られた医用画像のDFOV(医用画像の空間解像度)を、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)に一致させること;医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することであって、それにより、深層学習ニューラルネットワークによりトレーニングされた特定のDFOV(特定の空間解像度)と一致するDFOV(空間解像度)を有する出力画像を得ること;及び、出力画像を再サンプリングして、再サンプリングにより得られた出力画像のDFOV(出力画像の空間解像度)が、元の医用画像/再サンプリングされていない医用画像のDFOV(空間解像度)と一致させることを含む。医用画像を再サンプリングすることにより得られた画像は、深層学習ニューラルネットワークによりトレーニングされたDFOV(空間解像度)と一致するDFOV(空間解像度)を示すことができるため、深層学習ニューラルネットワークは、医用画像を再サンプリングすることにより得られた画像に対して正確に又は精度よく実行することができる。更に、出力画像を再サンプリングすることにより得られた画像は、医用画像のDFOV(空間解像度)と一致するDFOV(空間解像度)を示すことができるため、出力画像を再サンプリングすることにより得られた画像は、深層学習ニューラルネットワークが医用画像に対して正確に/精度よく実行された場合に得られたであろう結果と考えることができる。このようにして、深層学習ニューラルネットワークが実行する推論タスクは、医用画像と深層学習ニューラルネットワークとの間でDFOVが一致しないにもかかわらず(空間解像度が一致しないにもかかわらず)、医用画像に対して正確に/精度よく実行することができる。すなわち、本明細書で説明する様々な実施形態は、深層学習ニューラルネットワークが、入力医用画像のDFOVの違い(空間解像度の違い)に対して頑健性又はアグノスティックを有するようになると考えることができる。したがって、本明細書に記載される様々な実施形態は、深層学習の分野において、具体的かつ確実に技術的な改善を実現する。したがって、本明細書に記載される様々な実施形態は、コンピュータの有用かつ実用的な応用例として明らかに適している。
【0046】
更に、本明細書に記載される様々な実施形態は、開示される教示に基づいて現実世界の有形デバイスを制御することができる。例えば、本明細書に記載される様々な実施形態は、現実世界の医用イメージング装置(例えば、CTスキャナ、MRIスキャナ、X線スキャナ、PETスキャナ、超音波スキャナ)によって生成された現実世界の医用画像を電子的に再サンプリングすることができ、このような医用画像を再サンプリングすることにより得られた画像に対して現実世界の深層学習ニューラルネットワークを電子的に実行することができ、このような現実世界の深層学習ニューラルネットワークによって出力された結果を電子的に再サンプリングすることができ、このような再サンプリングの結果を現実世界のコンピュータ画面上に電子的に表示することができる。
【0047】
本明細書の図面及び説明は、様々な実施形態の非限定的な例を提供し、必ずしも同一のスケールで拡大、縮小されて図示されていないことを理解されたい。
【0048】
図1は、本明細書に記載される1つ以上の実施形態による、DFOVの違いに対して深層学習の頑健性を支援することができる例示的で非限定的なシステム100のブロック図を示す。図示されるように、様々な実施形態において、表示視野頑健性システム102(以下、「DFOV頑健性システム102」)は、任意の適切な有線又は無線の電子接続部を通じて、深層学習ニューラルネットワーク104又は医用画像108と電子的に結びついている。
【0049】
様々な実施形態において、医用画像108は、任意の適切な患者の適切な解剖学的構造を表す適切な画像データとすることができる。一部の非限定的な例として、解剖学的構造は、患者の任意の適切な組織(例えば、骨組織、肺組織、筋肉組織)、患者の任意の適切な器官(例えば、心臓、肝臓、肺、脳)、患者の任意の適切な体液(例えば、血液、羊水)、患者の任意の他の適切な身体部分、又はそれらの任意の適切な一部分とすることができる。
【0050】
様々な態様において、医用画像108は、任意の適切なフォーマット又は次元を有することができる。非限定的な例として、医用画像108は、ハウンスフィールドユニット値のx×y(x及びyは、任意の適切な正の整数)の画素配列とすることができる。別の非限定的な例として、医用画像108は、ハウンスフィールドユニット値のx×y×z(x、y及びzは、任意の好適な正の整数)のボクセル配列とすることができる。
【0051】
様々な例において、医用画像108は、任意の適切な医用イメージング装置(図示せず)によって取得する又は他の方法で生成することができる。非限定的な例として、医用画像108は、CTスキャナによって取得する又は他の方法で生成することができ、この場合、医用画像108は、CTスキャンにより得られた画像と考えることができる。別の非限定的な例として、医用画像108は、MRIスキャナによって取得する又は他の方法で生成することができ、この場合、医用画像108は、MRIスキャンにより得られた画像と考えることができる。更に別の非限定的な例として、医用画像108は、PETスキャナによって取得する又は他の方法で生成することができ、この場合、医用画像108は、PETスキャンにより得られた画像と考えることができる。更に別の非限定的な例として、医用画像108は、X線スキャナによって取得する又は他の方法で生成することができ、この場合、医用画像108は、X線スキャンにより得られた画像と考えることができる。更に別の非限定的な例として、医用画像108は、超音波スキャナによって取得する又は他の方法で生成することができ、その場合、医用画像108は、超音波スキャンにより得られた画像と考えることができる。別の非限定的な例として、医用画像108は、可視スペクトルカメラによって取得する又は他の方法で生成することができ、この場合、医用画像108は、可視スペクトルで撮影された画像と見なすことができる。様々な態様において、医用画像108は、任意の適切な画像再構成技術を適用してもよいし、画像再構成技術が適用されていてもよい。
【0052】
いずれにしても、医用画像108は、表示視野110(以下、「DFOV110」)を示すことができる(例えば、医用画像108は、DFOV110に従って取得/生成された可能性がある)。様々な態様において、DFOV110は任意の適切な値を有することができる。様々な例において、DFOV110は空間解像度128を生じさせる又は空間解像度128に対応することができる。様々な態様において、DFOV110及び空間解像度128は、医用画像108の各画素/ボクセルによって物理的な面積/体積がどの程度表されるのかを直接的又は間接的に示す医用画像108の交換可能な特性、特徴、又は属性として考えることができる。すなわち、DFOV110及び空間解像度128は、いずれも物理的な画素/ボクセルのサイズの尺度と考えることができる。
【0053】
様々な実施形態において、深層学習ニューラルネットワーク104は、任意の適切な深層学習アーキテクチャを示すことができる。したがって、深層学習ニューラルネットワーク104は、適切な種類の層を適切な数だけ有することができる。一部の非限定的な例として、深層学習ニューラルネットワーク104は、任意の適切なやり方又は順序で配置することができる任意の適切な畳み込み層(例えば、その内部パラメータは、畳み込みカーネルである)又は任意の適切な非線形性層(例えば、シグモイド、ソフトマックス、ハイパボリックタンジェント、又は正規化線形ユニットなどの任意の適切な非線形活性化関数を使用することができる)を含むことができる。深層学習ニューラルネットワーク104の層の数又は種類にかかわらず、深層学習ニューラルネットワーク104は、入力層、1つ以上の隠れ層、及び出力層を含むと考えることができる。更に、深層学習ニューラルネットワーク104は、様々な層において任意の適切な数のニューロンを有することができる。例えば、深層学習ニューラルネットワーク104の異なる層は、互いに同じニューロン数又は異なるニューロン数を有することができる。更に、深層学習ニューラルネットワーク104は、様々なニューロンにおいて任意の適切な活性化関数を有することができる。すなわち、様々な場合において、深層学習ニューラルネットワーク104の異なるニューロンは、互いに同じ活性化関数又は異なる活性化関数を有することができる。更に、深層学習ニューラルネットワーク104は、任意の適切なニューロン間接続又はニューロン間接続パターンを有することができる。一部の非限定的な例として、深層学習ニューラルネットワーク104は、任意の適切な順方向接続、任意の適切な再帰接続、又は任意の適切なスキップ接続を有することができ、それらの接続を任意の好適なやり方又は順序で設けることができる。様々な例において、深層学習ニューラルネットワーク104は、密層(例えば、全結合層)を含まない又は省略することができる。そのような場合、深層学習ニューラルネットワーク104は、様々なサイズの入力に対し実行可能であると考えることができる(例えば、畳み込みカーネル及び非線形活性化関数は、入力サイズに関係なく適用することができるが、密層は、固定サイズの入力にしか適用することができない)。
【0054】
様々な態様において、深層学習ニューラルネットワーク104は、入力された医用画像に対して任意の適切な推論タスクを実行するように構成することができる。一部の非限定的な例として、推論タスクとしては、画質を向上させること、画像ノイズを除去すること、画像カーネルを変換すること、又は画像セグメンテーションを実行することがある。いずれにしても、深層学習ニューラルネットワーク104は、入力として医用画像を受け取り、推論タスクに対応する出力を生成するように構成することができる。非限定的な例として、推論タスクが画質の向上である場合、深層学習ニューラルネットワーク104によって生成された出力は、入力された医用画像の画質が向上した画像と考えることができる(例えば、入力された医用画像と同じ患者の同じ解剖学的構造を表すが、解剖学的構造の視覚的な品質が向上した画像と考えることができる)。別の非限定的な例として、推論タスクが画像ノイズ除去である場合、深層学習ニューラルネットワーク104によって生成された出力は、入力された医用画像のノイズが除去された画像と考えることができる(例えば、入力された医用画像と同じ患者の同じ解剖学的構造を表すが、解剖学的構造の視覚的なノイズ/ブラーリングが低減した画像と考えることができる)。更に別の非限定的な例として、推論タスクが画像カーネル変換である場合、深層学習ニューラルネットワーク104によって生成された出力は、入力された医用画像のカーネル変換された画像と考えることができる(例えば、入力された医用画像と同じ患者の同じ解剖学的構造を表すが、異なる画像カーネルに従った解剖学的構造を表す画像と考えることができる)。更に別の非限定的な例として、推論タスクが画像セグメンテーションである場合、深層学習ニューラルネットワーク104によって生成された出力は、入力された医用画像のセグメンテーションマスクと考えることができる(例えば、入力された医用画像の各画素又はボクセルが複数のクラスのうちのどのクラスに属するかを示す、画素ごと又はボクセルごとのマスクと考えることができる)。
【0055】
様々な態様において、入力された医用画像に対する推論タスクを容易に実行するために、深層学習ニューラルネットワーク104は、任意の適切な種類のトレーニング技術に従ってトレーニングすることができる。非限定的な例として、深層学習ニューラルネットワーク104は、注釈付きトレーニングデータセットに基づいて教師付きトレーニングを受けることができ、注釈付きトレーニングデータセットは、トレーニング医用画像とそれぞれの画像に対応する注釈とのセットを含むことができる。その場合、深層学習ニューラルネットワーク104の内部パラメータ(例えば、畳み込みカーネルの要素)は、任意の適切な方法(例えば、ランダム初期化)によって初期化することができる。様々な態様において、任意の適切なトレーニング医用画像を、注釈付きトレーニングデータセットから選択することができる。更に、選択されたトレーニング医用画像に対応する任意の適切な注釈を、注釈付きトレーニングデータセットから選択することができる。様々な実施態様において、深層学習ニューラルネットワーク104は、選択されたトレーニング医用画像に対して実行することができる。すなわち、選択されたトレーニング医用画像は、深層学習ニューラルネットワーク104を構成する層を順方向に通過することができる。いずれにしても、このような実行により、深層学習ニューラルネットワーク104に、推論タスクに対応する何らかの出力を生成させる(例えば、選択されたトレーニング医用画像の品質が向上するように推論された画像を生成させる、選択されたトレーニング医用画像のノイズが除去されるように推論された画像を生成させる、選択されたトレーニング医用画像のカーネルが変換されるように推論された画像を生成させる、選択されたトレーニング医用画像の推論されたセグメンテーションマスクを生成させる)ことができる。様々な例において、生成された出力と選択された注釈との間の誤差/損失を計算することができ、深層学習ニューラルネットワーク104の内部パラメータは、バックプロパゲーションにより更新することができる。バックプロパゲーションは、計算された誤差/損失によって実行することができる。様々な態様において、このようなトレーニング手順は、注釈付きトレーニングデータセット内の各トレーニング医用画像に対して繰り返すことができ、それにより、深層学習ニューラルネットワーク104の内部パラメータは、入力された医用画像に対して推論タスクを実行するために反復的に最適化される。様々な場合において、任意の適切なトレーニングバッチサイズ、任意の適切なトレーニング終了基準、又は任意の適切な誤差関数/損失関数を、トレーニング中に実装することができる。
【0056】
一部の他の非限定的な例では、深層学習ニューラルネットワーク104は、教師なしトレーニング又は強化学習を受けることができる。
【0057】
いずれにしても、深層学習ニューラルネットワーク104は、入力された医用画像に対して推論タスクを実行するようにトレーニングすることができる。一部の事例では、DFOV頑健性システム102は、深層学習ニューラルネットワーク104に対してそのようなトレーニングを実行することができる。他の事例では、深層学習ニューラルネットワーク104は、任意の他の適切なコンピューティング装置(図示せず)によってトレーニングすることができる。
【0058】
深層学習ニューラルネットワーク104が受けるトレーニングの種類が何であっても、そのようなトレーニングは、トレーニング医用画像のセット(図示せず)に対して深層学習ニューラルネットワーク104を実行することを含むことができる。データを取得する/整理する実用上の問題から、そのようなトレーニング医用画像のセットの全ては、互いに同じDFOV、したがって互いに同じ空間解像度を示す場合がある。すなわち、DFOV及び空間解像度は、トレーニング医用画像のセット全体にわたって一様の場合がある。言い換えれば、各トレーニング医用画像の各画素/ボクセルの物理的な面積/体積が互いに同じサイズを表す場合がある。様々な場合において、このようなDFOVは、表示視野106(以下、「DFOV106」)と呼ぶことができ、このような空間解像度は、空間解像度126と呼ぶことができる。したがって、深層学習ニューラルネットワーク104は、DFOV106又は空間解像度126でトレーニングされている又はトレーニングが継続されていると考えることができる。
【0059】
上記と同様に、様々な態様において、DFOV106は、任意の適切な値を有することができ、DFOV106によって空間解像度126が与えられるか、又はそうでなければDFOV106は空間解像度126に対応することができる。様々な態様において、DFOV106及び空間解像度126は、深層学習ニューラルネットワーク104がトレーニングした医用画像の交換可能な特性、特徴、又は属性とみなすことができ、これらの特性、特徴、又は属性は、直接的又は間接的に、それらのトレーニング医用画像の各画素/ボクセルによってどのくらいの大きさの物理的な面積/体積が表されるかを示す。すなわち、DFOV106及び空間解像度126は、両方とも、物理的な画素/ボクセルのサイズの尺度として考えることができる。
【0060】
様々な態様において、DFOV110(空間解像度128)は、DFOV106(空間解像度126)とは異なっている。すなわち、医用画像108の画素/ボクセルは、深層学習ニューラルネットワーク104がトレーニングした医用画像の画素/ボクセルとは異なる大きさの物理的な面積/体積を表すことができる。このような場合、深層学習ニューラルネットワーク104が医用画像108に対して直接実行された場合、深層学習ニューラルネットワーク104は十分には正確でない出力を生成する。すなわち、DFOV106とDFOV110との間の不一致によって(空間解像度126と空間解像度128との間の不一致によって)、深層学習ニューラルネットワーク104は、医用画像108に対して推論タスクを正確に実行することができない(例えば、深層学習ニューラルネットワーク104は、医用画像108に対して実行することができるが、その実行によって生成される結果は不正確のことがある)。
【0061】
様々な態様において、DFOV頑健性システム102は、本明細書で説明するように、この技術的問題に対処することができる。
【0062】
様々な実施形態において、DFOV頑健性システム102は、プロセッサ112(例えば、コンピュータ処理ユニット、マイクロプロセッサ)と、プロセッサ112に実施可能に、使用可能に、又は通信可能に接続/結合された非一時的コンピュータ可読メモリ114とを含むことができる。非一時的コンピュータ可読メモリ114は、コンピュータ実行可能命令を記憶することができる。このコンピュータ実行可能命令は、プロセッサ112により実行されると、DFOV頑健性システム102のプロセッサ112又は他の構成要素(例えば、アクセスコンポーネント116、前実行再サンプルコンポーネント118、実行コンポーネント120、後実行再サンプルコンポーネント122、結果コンポーネント124)に、1つ以上の動作を実行させることができる。様々な実施形態において、非一時的コンピュータ読取り可能メモリ114は、コンピュータ実行可能コンポーネント(例えば、アクセスコンポーネント116、前実行再サンプルコンポーネント118、実行コンポーネント120、後実行再サンプルコンポーネント122、結果コンポーネント124)を記憶することができ、プロセッサ112はコンピュータ実行可能コンポーネントを実行することができる。
【0063】
様々な実施形態において、DFOV頑健性システム102は、アクセスコンポーネント116を含むことができる。様々な態様において、アクセスコンポーネント116は、深層学習ニューラルネットワーク104又は医用画像を電子的に受け取る、又は深層学習ニューラルネットワーク104若しくは医用画像に電子的にアクセスすることができる。様々な実施態様において、アクセスコンポーネント116は、任意の適切な集中型もしくは分散型データ構造(図示せず)から、又は任意の適切な集中型もしくは分散型コンピューティング装置(図示せず)から、深層学習ニューラルネットワーク104又は医用画像108を電子的に検索することができる。いずれにしても、アクセスコンポーネント116は、深層学習ニューラルネットワーク104又は医用画像108を電子的に取得する又は深層学習ニューラルネットワーク104又は医用画像108に電子的にアクセスして、DFOV頑健性システム102の他のコンポーネントが深層学習ニューラルネットワーク104又は医用画像108と電子的にやり取りできるようにすることができる。
【0064】
様々な実施形態では、DFOV頑健性システム102は、前実行再サンプルコンポーネント118を更に含むことができる。様々な態様において、本明細書で説明されるように、前実行再サンプルコンポーネント118は、医用画像108を再サンプリングすることにより得られた画像を電子的に生成することができ、再サンプリングにより得られた画像は、DFOV110(空間解像度128)ではなく、DFOV106(空間解像度126)を示すことができる。
【0065】
様々な実施形態において、DFOV頑健性システム102は、実行コンポーネント120を更に含むことができる。様々な実施形態では、本明細書で説明されるように、実行コンポーネント120は、医用画像108自体ではなく、医用画像108を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワーク104を電子的に実行することができる。この実行によって、深層学習ニューラルネットワーク104は出力画像を生成することができ、この出力画像は、DFOV110(空間解像度128)ではなく、DFOV106(空間解像度126)を示すことができる。
【0066】
様々な実施形態では、DFOV頑健性システム102は、後実行再サンプルコンポーネント122を更に含むことができる。様々な場合において、本明細書で説明されるように、後実行再サンプルコンポーネント122は、出力画像を再サンプリングすることにより得られた画像を電子的に生成することができ、この再サンプリングにより得られた画像は、DFOV106(空間解像度126)ではなく、DFOV110(空間解像度128)を示すことができる。
【0067】
様々な実施形態において、DFOV頑健性システム102は、結果コンポーネント124を更に含むことができる。様々な態様において、本明細書で説明されるように、結果コンポーネント124は、出力画像を再サンプリングすることにより得られた画像を任意の適切なコンピューティング装置に電子的に送信すること、又は出力画像を再サンプリングすることにより得られた画像を任意の適切なコンピュータディスプレイに電子的に表示することができる。
【0068】
図2は、本明細書に記載された1つ以上の実施形態に従って、再サンプリングにより得られた医用画像を含み、DFOVの違いに対する深層学習の頑健性を支援することができる例示的な非限定的システム200のブロック図を示す。図示されるように、システム200は、場合によっては、システム100と同じ構成要素を含むことができ、再サンプリングにより得られた医用画像202を更に含むことができる。
【0069】
様々な実施形態では、前実行再サンプルコンポーネント118は、医用画像108に基づいて、再サンプリングにより得られた医用画像202を電子的に生成することができる。更に、再サンプリングにより得られた医用画像202は、DFOV110(空間解像度128)ではなく、DFOV106(空間解像度126)を示すことができる。このことは、
図3において更に説明される。
【0070】
図3は、本明細書に記載された1つ以上の実施形態に従って再サンプリングにより得られた医用画像202をどのように生成することができるかを示す例示的で非限定的なブロック
図300を示す。
【0071】
様々な実施形態では、図示されるように、前実行再サンプルコンポーネント118は、医用画像108を電子的に再サンプリングすることができ、それによって再サンプリングにより得られた医用画像202を生成することができる。
【0072】
様々な態様において、DFOV110(空間解像度128)がDFOV106(空間解像度126)よりも粒状性が悪いと仮定する。このような場合、前実行再サンプルコンポーネント118は、任意の適切なアップサンプリング技術を医用画像108に電子的に適用することができる。例えば、前実行再サンプルコンポーネント118は、最近傍補間を医用画像108に適用することができる。別の例として、前実行再サンプルコンポーネント118は、バイリニア補間を医用画像108に適用することができる。更に別の例として、前実行再サンプルコンポーネント118は、キュービック補間又はバイキュービック補間を医用画像108に適用することができる。いずれにせよ、アップサンプリング技術を医用画像108に適用することにより、前実行再サンプルコンポーネント118は、医用画像108を構成する画素/ボクセルの数を増加させると考えることができる。すなわち、再サンプリングにより得られた医用画像202は、医用画像108と同じ患者の同じ解剖学的構造を表していると考えることができるが、再サンプリングにより得られた医用画像202は、医用画像108よりも多数の画素/ボクセルを用いてこの解剖学的構造を表していると考えることができる。従って、このようなアップサンプリングによって、医用画像108のDFOV(空間解像度)の粒状性が良くなる、又は粗くならないようにすることができる。すなわち、再サンプリングにより得られた医用画像202のDFOV(空間解像度)は、医用画像108のDFOV(空間解像度)よりも高精細にすることができる。
【0073】
非限定的な例として、医用画像108は、x×yの画素アレイ(x及びyは、任意の適切な正の整数)であることを考える。一部の実施例では、前実行再サンプルコンポーネント118は、医用画像108を50%アップサンプリングして、再サンプリングにより得られた医用画像202を1.5(x)×1.5(y)の画素アレイ(1.5(x)及び1.5(y)は両方とも正の整数である)とすることができる。このような場合、再サンプリングにより得られた医用画像202の各画素は、医用画像108の各画素の3分の2の高さ及び3分の2の幅を有する物理的な領域を表すと考えることができる。すなわち、再サンプリングにより得られた医用画像202は、医用画像108の3分の2のDFOVを有すると(例えば、医用画像108よりも画素/ボクセルの空間解像度が50%多いものとして)考えることができる。他の実施例では、前実行再サンプルコンポーネント118は、医用画像108を100%アップサンプリングして、再サンプリングにより得られた医用画像202を2(x)×2(y)の画素アレイとすることができる。このような場合、再サンプリングにより得られた医用画像202の各画素は、医用画像108の各画素の半分の高さ及び半分の幅を有する物理的領域を表すと考えることができる。すなわち、再サンプリングにより得られた医用画像202は、医用画像108の2分の1のDFOVを有すると(例えば、医用画像108よりも画素/ボクセルの空間解像度が100%多いものとして)考えることができる。更に他の実施例では、前実行再サンプルコンポーネント118は、医用画像108を150%アップサンプリングして、再サンプリングにより得られた医用画像202を2.5(x)×2.5(y)画素アレイ(例えば、2.5(x)及び2.5(y)は両方とも正の整数である)とすることができる。このような場合、再サンプリングにより得られた医用画像202の各画素は、医用画像108の各画素の5分の2の高さ及び5分の2の幅を有する物理的な領域を表すと考えることができる。すなわち、再サンプリングにより得られた医用画像202は、医用画像108の5分の2のDFOVを有すると(例えば、医用画像108よりも画素/ボクセルの空間解像度が150%多いものとして)考えることができる。このようにして、再サンプリングにより得られた医用画像202は、医用画像108よりも粒状性の良いDFOV(粒状性の良い空間解像度)を有すると考えることができる。本実施例(又は本明細書に記載される他の実施例)において提供される特定の数字(例えば、50%、100%、150%)は非限定的であることが理解されるべきである。
【0074】
様々な他の態様において、DFOV110(空間解像度128)がDFOV106(空間解像度126)よりも粒状性が良いとする。このような場合、前実行再サンプルコンポーネント118は、任意の適切なダウンサンプリング技術を医用画像108に電子的に適用することができる。例えば、前実行再サンプルコンポーネント118は、ボックスサンプリングを医用画像108に適用することができる。別の例として、前実行再サンプルコンポーネント118は、ミップマップ技術を医用画像108に適用することができる。いずれにせよ、ダウンサンプリング技術を医用画像108に適用することにより、前実行再サンプルコンポーネント118は、医用画像108を構成する画素/ボクセルの数を減少させると考えることができる。すなわち、再サンプリングにより得られた医用画像202は、医用画像108と同じ患者の同じ解剖学的構造を表していると考えることができるが、再サンプリングにより得られた医用画像202は、医用画像108よりも少ない数の画素/ボクセルを用いてこの解剖学的構造を表していると考えることができる。従って、このようなダウンサンプリングによって、医用画像108のDFOV(空間解像度)の粒状性が悪くなる又は粗くなる。すなわち、再サンプリングにより得られた医用画像202のDFOV(空間解像度)は、医用画像108のDFOV(空間解像度)よりも粗くなる。
【0075】
非限定的な例として、医用画像108は、x×yの画素アレイ(x及びyは、任意の適切な正の整数)であることを考える。一部の実施例では、前実行再サンプルコンポーネント118は、医用画像108を25%ダウンサンプリングして、再サンプリングにより得られた医用画像202を0.75(x)×0.75(y)の画素アレイ(0.75(x)及び0.75(y)は両方とも正の整数である)とすることができる。このような場合、再サンプリングにより得られた医用画像202の各画素は、医用画像108の各画素の3分の4の高さ及び3分の4の幅を有する物理的な領域を表すと考えることができる。すなわち、再サンプリングにより得られた医用画像202は、医用画像108の3分の4のDFOVを有すると(例えば、医用画像108よりも画素/ボクセルの空間解像度が25%低いものとして)考えることができる。他の実施例では、前実行再サンプルコンポーネント118は、医用画像108を50%ダウンサンプリングして、再サンプリングにより得られた医用画像202を0.5(x)×0.5(y)の画素アレイ(0.5(x)及び0.5(y)は共に正の整数である)とすることができる。このような場合、再サンプリングにより得られた医用画像202の各画素は、医用画像108の各画素の2倍の高さ及び2倍の幅を有する物理的な領域を表すと考えることができる。すなわち、再サンプリングにより得られた医用画像202は、医用画像108の2倍のDFOVを有すると(医用画像108よりも画素/ボクセルの空間解像度が50%低いものとして)考えることができる。このようにして、再サンプリングにより得られた医用画像202は、医用画像108よりも粒状性が悪いDFOV(粒状性が悪い空間解像度)を有すると考えることができる。この例(又は本明細書に記載される他の例)で提供される特定の数字(例えば、25%、50%)は非限定的であることが理解されるべきである。
【0076】
いずれにしても、再サンプリングによって、再サンプリングにより得られた医用画像202は、医用画像108とは異なるDFOV(異なる空間解像度)を有することができる。したがって、DFOV110(空間解像度128)及びDFOV106(空間解像度126)は既知であるので、前実行再サンプルコンポーネント118は、再サンプリングにより得られた医用画像202がDFOV110(空間解像度128)ではなくDFOV106(空間解像度126)を示すのに十分な再サンプリングの大きさ(例えば、アップサンプリング又はダウンサンプリングの大きさ)を数学的に決定することができ、前実行再サンプルコンポーネント118は、そのような再サンプリングの大きさを医用画像108に適用することができ、それによって再サンプリングにより得られた医用画像202を生成することができる。
【0077】
図4は、本明細書に記載される1つ又は複数の実施形態による、出力画像を含み、表示視野の違いに対する深層学習の頑健性を支援することができる例示的な非限定的システム400のブロック図を示す。図示されるように、システム400は、場合によっては、システム200と同じ構成要素を含むことができ、出力画像402を更に含むことができる。
【0078】
様々な実施形態において、実行コンポーネント120は、再サンプリングにより得られた医用画像202に基づいて、出力画像402を電子的に生成することができる。更に、出力画像402は、DFOV110(空間解像度128)ではなく、DFOV106(空間解像度126)を示すことができる。このことは
図5で更に説明される。
【0079】
図5は、出力画像402が本明細書に記載される1つ以上の実施形態によってどのように生成されるかを示す例示的な非限定的ブロック
図500である。
【0080】
様々な実施形態において、図示されるように、実行コンポーネント120は、再サンプリングにより得られた医用画像202に対して深層学習ニューラルネットワーク104を電子的に実行することができる。より具体的には、様々な態様において、実行コンポーネント120は、再サンプリングにより得られた医用画像202を深層学習ニューラルネットワーク104の入力層に供給することができる。様々な実施態様において、再サンプリングにより得られた医用画像202は、深層学習ニューラルネットワーク104の1つ以上の隠れ層を順方向に通過することができ、それによって、様々な活性化マップを生成する。様々な場合において、深層学習ニューラルネットワーク104の出力層は、1つ以上の隠れ層によって生成された活性化マップに基づいて、出力画像402を計算することができる。
【0081】
深層学習ニューラルネットワーク104は、畳み込み層又は非線形層を含むことができるが、密層を含まないことができるので、深層学習ニューラルネットワーク104は、入力サイズによって制約されないようにすることができることに留意されたい。結局のところ、密層はサイズが固定された入力にのみ適用することができ、一方、畳み込み層及び非線形層はサイズに関係なく入力に適用することができる。したがって、深層学習ニューラルネットワーク104は、畳み込み層又は非線形層を含むことができ、密層を含まないことができるので、深層学習ニューラルネットワーク104は、再サンプリングにより得られた医用画像202のサイズに関係なく(例えば、再サンプリングにより得られた医用画像202の画素/ボクセルの数に関係なく)、再サンプリングにより得られた医用画像202に対して実行することができる。
【0082】
様々な態様において、出力画像402は、深層学習ニューラルネットワーク104が実行するように構成される推論タスクに対応することができる。より具体的には、出力画像402は、再サンプリングにより得られた医用画像202に対して推論タスクが実行されたときに得られる結果と考えることができる。非限定的な例として、推論タスクが画質の向上である場合、出力画像402は、再サンプリングにより得られた医用画像202の画質が推論され向上されたものと考えることができる。別の非限定的な例として、推論タスクが画像ノイズ除去である場合、出力画像402は、再サンプリングにより得られた医用画像202のノイズ除去が推論された画像と考えることができる。更に別の非限定的な例として、推論タスクが画像カーネル変換である場合、出力画像402は、再サンプリングにより得られた医用画像202のカーネル変換が推論された画像と考えることができる。更に別の非限定的な例として、推論タスクが画像セグメンテーションである場合、出力画像402は、再サンプリングにより得られた医用画像202の推論されたセグメンテーションマスクと考えることができる。
【0083】
様々な態様において、出力画像402は、再サンプリングにより得られた医用画像202と同じ次元(例えば、同じ数又は同じ配列の画素/ボクセル)を示すことができる。したがって、出力画像402も同様に、再サンプリングにより得られた医用画像202と同じDFOV(同じ空間解像度)を示すことができる。換言すれば、再サンプリングにより得られた医用画像202はDFOV106(空間解像度126)を示すことができるので、出力画像402も同様にDFOV106(空間解像度126)を示すことができる。すなわち、出力画像402の各画素/ボクセルによって表される物理的な面積/体積は、再サンプリングにより得られた医用画像202の各画素/ボクセルによって表される面積/体積と等しくすることができる。
【0084】
図6は、本明細書に記載される1つ以上の実施形態に従って、表示視野の違いに対する深層学習の頑健性を支援することができる、再サンプリングにより得られた出力画像を含む例示的な非限定的システム600のブロック図を示す。図示されるように、システム600は、場合によっては、システム400と同じ構成要素を含むことができ、再サンプリングにより得られた出力画像602を更に含むことができる。
【0085】
様々な実施形態では、後実行再サンプルコンポーネント122は、出力画像402に基づいて、再サンプリングにより得られた出力画像602を電子的に生成することができる。更に、再サンプリングにより得られた出力画像602は、DFOV106(空間解像度126)ではなく、DFOV110(空間解像度128)を示すことができる。これは、
図7で更に説明される。
【0086】
図7は、本明細書に記載された1つ以上の実施形態に従って再サンプリングにより得られた出力画像602をどのように生成することができるかを示す例示的な非限定的ブロック図を示す。
【0087】
様々な実施形態では、図示されるように、後実行再サンプルコンポーネント122は、出力画像402を電子的に再サンプリングすることができ、それによって再サンプリングにより得られた医用画像202を生成することができる。特に、後実行再サンプルコンポーネント122は、任意の適切なリサンプリング技術を出力画像402に電子的に適用することができ、かかるリサンプリング技術は、前実行再サンプルコンポーネント118によって適用された技と逆の技術と考えることができる。非限定的な例として、前実行再サンプルコンポーネント118がアップサンプリング(例えば、最近傍補間、双一次補間、三次補間又は双三次補間)を医用画像108に適用する場合、後実行再サンプルコンポーネント122はダウンサンプリング(例えば、ボックスサンプリング、ミップマップ)を出力画像402に適用することができる。この場合、前実行再サンプルコンポーネント118は、医用画像108内の画素数/ボクセル数を増加させると考えることができ、一方、後実行再サンプルコンポーネント122は、出力画像402内の画素数/ボクセル数を減少させると考えることができる。別の非限定的な例として、前実行再サンプルコンポーネント118がダウンサンプリング(例えば、ボックスサンプリング、ミップマップ)を医用画像108に適用する場合、後実行再サンプルコンポーネント122はアップサンプリング(例えば、最近傍補間、双一次補間、三次補間又は双三次補間)を出力画像402に適用することができる。この場合、前実行再サンプルコンポーネント118は、医用画像108の画素数/ボクセル数を減少させると考えることができ、一方、後実行再サンプルコンポーネント122は、出力画像402の画素数/ボクセル数を増加させると考えることができる。このようにして、後実行再サンプルコンポーネント122は、再サンプリングにより得られた出力画像602がDFOV106(空間解像度126)ではなくDFOV110(空間解像度128)を示すように、出力画像402を再サンプリングすることができる。すなわち、DFOV110(空間解像度128)及びDFOV106(空間解像度126)を既知であるので、後実行再サンプルコンポーネント122は、再サンプリングにより得られた出力画像602がDFOV106(空間解像度126)ではなくDFOV110(空間解像度128)を示すのに十分な再サンプリングの大きさ(例えば、アップサンプリング又はダウンサンプリングの大きさ)を数学的に決定することができ、後実行再サンプルコンポーネント122は、そのような再サンプリングの大きさを出力画像402に適用することができ、それによって再サンプリングにより得られた出力画像602を生成することができる。
【0088】
様々な態様において、再サンプリングにより得られた出力画像602は、医用画像108に対して推論タスクが正確に実行されたときに得られる結果と考えることができる。非限定的な例として、推論タスクが画質の向上である場合、再サンプリングにより得られた出力画像602は、医用画像108の画質が推論され向上されたものと考えることができる。別の非限定的な例として、推論タスクが画像ノイズ除去である場合、再サンプリングにより得られた出力画像602は、医用画像202のノイズ除去が推論された画像と考えることができる。更に別の非限定的な例として、推論タスクが画像カーネル変換である場合、再サンプリングにより得られた出力画像602は、医用画像108のカーネル変換が推論された画像と考えることができる。更に別の非限定的な例として、推論タスクが画像セグメンテーションである場合、再サンプリングにより得られた出力画像602は、医用画像108の推論されたセグメンテーションマスクと考えることができる。
【0089】
いずれにしても、再サンプリングにより得られた出力画像602は、DFOVの不一致に関連する(空間解像度の不一致に関連する)不正確さ/アーチファクトを低減することができる。実際、上述したように、深層学習ニューラルネットワーク104を医用画像108に対して直接実行すると、DFOV110(空間解像度128)とDFOV106(空間解像度126)との間の不一致によって、正確な推論結果が得られないと考えられる。しかしながら、本明細書に記載されるように、この不正確さは、DFOV106(空間解像度126)に一致するように医用画像108を(例えば、コンポーネント118によって)再サンプリングし、医用画像108を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワーク104を(例えば、コンポーネント120によって)実行し、深層学習ニューラルネットワーク104によって生成された結果を(例えば、コンポーネント122によって)再サンプリングしてDFOV110(空間解像度128)に戻すことによって、回避する/改善することができる。このようにして、医用画像108に関連する推論タスクの結果(例えば、出力画像602)を得ることができ、そのような結果は、DFOV110とDFOV106との間の不一致によって(空間解像度128と空間解像度126との間の不一致によって)引き起こされると考えられる不正確さ/アーチファクトによって悪化しない/劣化しないようにすることができる。
【0090】
図8は、例示的な非限定的ブロック
図800を示す。このブロック
図800は、本明細書に記載された1つ以上の実施形態に従って、第1の表示視野(したがって、第1の空間解像度)を示す医用画像が、異なる表示視野(したがって、異なる空間解像度)でトレーニングされた深層学習ニューラルネットワークによって、どのように正確に分析することができるのかを示している。言い換えれば、
図8は、本明細書の様々な教示を明確にするのに役立つものである。
【0091】
様々な実施形態では、図示されるように、医用画像108は、DFOV110(空間解像度128)を示す又は有することができる。上記で説明したように、DFOV110(空間解像度128)は、深層学習ニューラルネットワーク104がトレーニングしたDFOV106(空間解像度126)とは異なっている(例えば、DFOV106(空間解像度126)よりも粒状性が良い又は粗くない)。
【0092】
様々な態様において、図示されるように、医用画像108は、再サンプリングによって、DFOV110(空間解像度128)からDFOV106(空間解像度126)に変換することができる。このような再サンプリングによって、再サンプリングにより得られた医用画像202を生成することができる。場合によっては、このような再サンプリングによって、医用画像108が、深層学習ニューラルネットワーク104のDFOV/解像度空間にインポートされると考えることができる。
【0093】
様々な実施態様において、更に図示されるように、深層学習ニューラルネットワーク104は、再サンプリングにより得られた医用画像202に対して実行され、それによって出力画像402を得ることができる。再サンプリングにより得られた医用画像202はDFOV106(空間解像度126)を有する/示すことができるので、出力画像402も同様にDFOV106(空間解像度126)を有する/示すことができる。
【0094】
様々な場合において、また図示されるように、出力画像402は、再サンプリングによって、DFOV106(空間解像度126)からDFOV110(空間解像度128)に変換して戻すことができる。このような再サンプリングにより、再サンプリングにより得られた出力画像602を生成することができる。場合によっては、この再サンプリングによって、出力画像402が、医用画像108のDFOV/解像度空間にインポートされると考えることができる(例えば、このような再サンプリングは、医用画像108に対して実行される再サンプリングの逆と考えることができる)。
【0095】
上述したように、出力画像402は、推論タスク(例えば、画質向上、画像ノイズ除去、画像カーネル変換、画像セグメンテーション)を再サンプリングにより得られた医用画像202に適用した結果と考えることができる。対照的に、再サンプリングにより得られた出力画像602は、推論タスクを医用画像108に適用した結果と考えることができる。再サンプリングにより得られた医用画像202はDFOV106(空間解像度126)を有する/示すことができ、深層学習ニューラルネットワーク104はDFOV106(空間解像度126)をトレーニングしたので、出力画像402は、DFOV(空間解像度)の不一致に関連する不正確さ又は画像アーチファクトによって影響を受けない又は劣化しないことに留意されたい。結局のところ、再サンプリングにより得られた医用画像202と深層学習ニューラルネットワーク104との間にDFOVの不一致(空間解像度の不一致)が存在しないようにすることができる。したがって、出力画像402は、DFOV(空間解像度)の不一致に関連する不正確さ/アーチファクトによって悪化しない/劣化しないので、再サンプリングにより得られた出力画像602も、医用画像108と深層学習ニューラルネットワーク104との間にDFOV(空間解像度)の不一致が存在しているにもかかわらず、DFOV(空間解像度)の不一致に関連する不正確さ/アーチファクトが存在しないようにすることができる。言い換えれば、深層学習ニューラルネットワーク104を実行する前に、DFOV106(空間解像度126)に一致するように医用画像108を再サンプリングすることによって、医用画像108と深層学習ニューラルネットワーク104との間でDFOV(空間解像度)が一致しないことを克服できる(例えば、DFOV/空間解像度の不一致によって引き起こされる不正確さ/アーチファクトを回避又は低減することができる)。
【0096】
いずれにしても、再サンプリングにより得られた出力画像602は、推論タスクを医用画像108に適用することによって得られる結果と考えることができる。様々な実施形態では、結果コンポーネント124は、再サンプリングにより得られた出力画像602に基づいて、任意の適切な電子的動作を実行する又は開始することができる。非限定的な例として、結果コンポーネント124は、再サンプリングにより得られた出力画像602(又は再サンプリングにより得られた出力画像602の適切な部分)を適切なコンピューティング装置(図示せず)に電子的に送信することができる。別の非限定的な例として、結果コンポーネント124は、再サンプリングにより得られた出力画像602(又は再サンプリングにより得られた出力画像602の適切な部分)を、適切なコンピューティングディスプレイ(図示せず)上に電子的に表示することができる。
【0097】
図9は、本明細書に記載された1つ以上の実施形態による、表示視野の違いに対する深層学習の頑健性を支援することができる例示的で非限定的なコンピュータによって実施される方法900のフロー図を示す。様々な場合において、DFOV頑健性システム102は、コンピュータによって実施される方法900を支援することができる。
【0098】
様々な実施形態において、動作902は、プロセッサに動作可能に結合された装置によって(例えば、アクセスコンポーネント116によって)、第1のDFOV又は空間解像度(例えば、表示FOV106又は空間解像度126)でトレーニングされた深層学習ニューラルネットワーク(例えば、深層学習ニューラルネットワーク104)と、第2のDFOV又は空間解像度(例えば、表示FOV110又は空間解像度128)を示す医用画像(例えば、医用画像108)とにアクセスすることを含む。
【0099】
様々な態様において、動作904は、装置によって(例えば、前実行再サンプルコンポーネント118によって)、医用画像を再サンプリングすることを含み、この再サンプリングでは、医用画像を再サンプリングすることにより得られた画像(例えば、202)が、第1のDFOV又は空間解像度(例えば、表示FOV106又は空間解像度126)を示し、第2のDFOV又は空間解像度(例えば、表示FOV110又は空間解像度128)を示さないようにする。
【0100】
様々な実施態様において、動作906は、装置によって(例えば、実行コンポーネント120によって)、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することを含む。これにより、出力画像(例えば、出力画像402)を生成することができる。出力画像は、第1のDFOV又は空間解像度(例えば、表示FOV106又は空間解像度126)を示し、第2のDFOV又は空間解像度(例えば、表示FOV110又は空間解像度128)を示さない。
【0101】
様々な態様において、動作908は、装置によって(例えば、後実行再サンプルコンポーネント122によって)、出力画像を再サンプリングすることを含み、この再サンプリングでは、出力画像を再サンプリングすることにより得られた画像(例えば、再サンプリングにより得られた出力画像602)が第2のDFOV又は空間解像度(例えば、表示FOV110又は空間解像度128)を示し、第1のDFOV又は空間解像度(例えば、表示FOV106又は空間解像度126)を示さない。
【0102】
様々な実施態様において、動作910は、装置によって(例えば、結果コンポーネント124によって)、出力画像を再サンプリングすることにより得られた画像をコンピューティングディスプレイ上に表示すること、又は装置によって(例えば、結果コンポーネント124によって)、出力画像を再サンプリングすることにより得られた画像をコンピューティング装置に送信することを含む。
【0103】
これまでは、医用画像108が、深層学習ニューラルネットワーク104がトレーニングしたDFOV(空間解像度)に一致するように再サンプリングされる実施形態について説明されてきた。しかしながら、DFOV110(空間解像度128)がDFOV106(空間解像度126)から遠ざかるにつれて、医用画像108を再サンプリングすること、再サンプリングにより得られた医用画像202に対して深層学習ニューラルネットワーク104を実行すること、及び出力画像402を再サンプリングすることは、計算の複雑さが増大する(例えば、画素数/ボクセル数が指数関数的に増大する)ことを伴うことに留意されたい。様々な実施態様において、計算の複雑さの増大は、複数のトレーニング済み深層学習ニューラルネットワークであって、その中からトレーニング済み深層学習ニューラルネットワークを選択することができる複数のトレーニング済み深層学習ニューラルネットワークを有すること、及びどのトレーニング済み深層学習ニューラルネットワークが、粒状性の良いDFOVであって、医用画像108のDFOVに最も近いDFOVを有するかを選択することによって、改善することができる。これに関する様々な実施形態は、
図10-
図12で説明される。
【0104】
図10は、本明細書に記載される1つ以上の実施形態に従って、表示視野の違いに対する深層学習の頑健性を支援することができる選択コンポーネントを含む例示的な非限定的システム1000のブロック図を示す。図示されるように、システム1000は、場合によっては、システム600と同じ構成要素を含み、更に選択コンポーネント1002を含むことができる。
【0105】
様々な実施形態において、選択コンポーネント1002は、深層学習ニューラルネットワークボールト(vault)を電子的に保管し、電子的に維持し、又は他の方法で電子的にアクセスすることができる。様々な態様において、深層学習ニューラルネットワークボールトは、任意の適切な数の深層学習ニューラルネットワークのコレクションとして考えることができ、深層学習ニューラルネットワークの各々は、異なるDFOVによって(異なる空間解像度によって)トレーニングすることができる(トレーニングされた)。様々な実施態様において、前実行再サンプルコンポーネント118が医用画像108を再サンプリングする前に、選択コンポーネント1002は、DFOV110(空間解像度128)に基づいて、深層学習ニューラルネットワークボールトから深層学習ニューラルネットワーク104を電子的に選択することができる。これは、
図11で更に説明される。
【0106】
図11は、本明細書に記載された1つ以上の実施形態による、深層学習ニューラルネットワークボールト1102の例示的な非限定的ブロック
図1100を示す。
【0107】
様々な実施形態では、図示されるように、深層学習ニューラルネットワークボールト1102は、深層学習ニューラルネットワークのセット1104、及びDFOV又は空間解像度のセット1106を含むことができる。様々な態様において、深層学習ニューラルネットワークのセット1104は、n個のネットワーク(nは任意の好適な正の整数)、即ち、深層学習ニューラルネットワーク1から深層学習ニューラルネットワークnを含むことができる。様々な実施態様において、深層学習ニューラルネットワークのセット1104の異なる深層学習ニューラルネットワークは、互いに同じ又は異なるアーキテクチャを有することができる。いずれにせよ、深層学習ニューラルネットワークのセット1104の各深層学習ニューラルネットワークは、深層学習ニューラルネットワーク104と同じ推論タスクを実行するように設定/トレーニングすることができる。実際、様々な態様において、深層学習ニューラルネットワーク104は、深層学習ニューラルネットワークのセット1104のうちの1つである。
【0108】
様々な態様において、図示されるように、DFOV又は空間解像度のセット1106は、それぞれ、深層学習ニューラルネットワークのセット1104に(例えば、1対1で)対応する。したがって、深層学習ニューラルネットワークのセット1104はn個のネットワークを有することができるので、DFOV又は空間解像度のセット1106も同様に、n個のDFOV又は空間解像度、即ち、表示視野1(以下、「DFOV1」)及び空間解像度1から表示視野n(以下、「DFOVn」)及び空間解像度n、を有することができる。様々な実施態様において、DFOV又は空間解像度のセット1106の異なるDFOV又は空間解像度は、互いに異なっている。すなわち、DFOV又は空間解像度のセット1106の各DFOV又は空間解像度は、固有の画素/ボクセルの粒状性を表すことができる。
【0109】
様々な態様において、深層学習ニューラルネットワークのセット1104の各深層学習ニューラルネットワークは、DFOV又は空間解像度のセット1106のそれぞれのDFOV又は空間解像度でトレーニングすることができる(トレーニングされた)。非限定的な例として、深層学習ニューラルネットワーク1は、DFOV1(空間解像度1)に対応することができ、これは、深層学習ニューラルネットワーク1がDFOV1(空間解像度1)でトレーニングされたことを意味している。別の非限定的な例として、深層学習ニューラルネットワークnは、DFOVn(空間解像度n)に対応することができ、これは、深層学習ニューラルネットワークnがDFOVn(空間解像度n)でトレーニングされたことを意味する。様々な実施例において、上述のように、深層学習ニューラルネットワーク104は、深層学習ニューラルネットワークのセット1104内のものとすることができる。したがって、DFOV106(空間解像度126)は、DFOV又は空間解像度のセット1106のうち、深層学習ニューラルネットワーク104に対応するものとすることができる。
【0110】
様々な態様において、アクセスコンポーネント116は、DFOV110(空間解像度128)を示す医用画像108を電子的に受け取る、検索する、又はアクセスすることができる。様々な態様において、選択コンポーネント1002は、DFOV又は空間解像度のセット1106の中でDFOV110(空間解像度128)を検索することができる。DFOV110(空間解像度128)がDFOV又は空間解像度のセット1106にある(例えば、セット1106の要素である)場合、選択コンポーネント1002は、深層学習ニューラルネットワークのセット1104のうちのDFOV110に対応する(空間解像度128に対応する)ものを選択することができ、その選択された深層学習ニューラルネットワークは、深層学習ニューラルネットワーク104と見なすことができる。このような場合、DFOV110(空間解像度128)は、DFOV106に(空間解像度126に)等しいとみなすことができ、前実行の再サンプリング及び後実行の再サンプリングを省略できることを意味する。
【0111】
他方、DFOV110(空間解像度128)が、DFOV又は空間解像度のセット1106にない(例えば、セット1106の要素ではない)場合、選択コンポーネント1002は、DFOV又は空間解像度のセット1106のうち、DFOV110(空間解像度128)よりも粒状性が良く、DFOV110(空間解像度128)に大きさが最も近いDFOV又は空間解像度を選択することができる。様々な場合において、その選択されたDFOV(空間解像度)は、DFOV106(空間解像度126)とみなすことができ、選択コンポーネント1002は、深層学習ニューラルネットワーク104として、深層学習ニューラルネットワーク1104のセットのうち、DFOV106に(空間解像度126に)対応する深層学習ニューラルネットワークを選択することができる。このように、選択コンポーネント1002は、深層学習ニューラルネットワークのセット1104のうち、DFOV110(空間解像度128)よりも粒状性が良くDFOV110(空間解像度128)に最も近いDFOV(空間解像度)でトレーニングされた深層学習ニューラルネットワークを、深層学習ニューラルネットワーク104として識別することができる。これは、医用画像108を再サンプリングする場合、深層学習ニューラルネットワーク104を実行する場合、又は出力画像402を再サンプリングする場合に関与する計算の複雑さを低減するのに役立つ。
【0112】
図12は、本明細書に記載された1つ以上の実施形態による、表示視野の違いに対する深層学習の頑健性を支援することができる例示的で非限定的なコンピュータによって実施される方法1200のフロー図を示す。さまざまな場合において、DFOV頑健性システム102は、コンピュータによって実施される方法1200を支援することができる。
【0113】
様々な実施形態において、動作1202は、プロセッサに動作可能に結合された装置(例えば、アクセスコンポーネント116)によって、所与のDFOV又は所与の空間解像度(例えば、表示FOV110又は空間解像度128)を示す医用画像(例えば、医用画像108)にアクセスすることを含む。
【0114】
様々な態様において、動作1204は、装置によって(例えば、選択コンポーネント1002によって)、DFOV又は空間解像度のセット(例えば、1106)でそれぞれトレーニングされた深層学習ニューラルネットワークのセット(例えば、1104)にアクセスすることを含む。
【0115】
様々な実施態様において、動作1206は、装置によって(例えば、選択コンポーネント1002によって)、所与のDFOV又は所与の空間解像度が、DFOV又は空間解像度のセットに存在するかどうか(例えば、セットにおいて、明示的に指定された要素であるかどうか)を判断することを含む。存在している場合、コンピュータによって実施される方法1200は動作1208に進む。存在していない場合、コンピュータによって実施される方法1200は、動作1212に進むことができる。
【0116】
様々な場合において、動作1208は、深層学習ニューラルネットワークのセットから、所与のDFOV又は所与の空間解像度でトレーニングされた深層学習ニューラルネットワーク(例えば、深層学習ニューラルネットワーク104)を選択することを含む(例えば、この場合、DFOV106(空間解像度126)はDFOV110(空間解像度128)に等しい)。
【0117】
様々な態様において、動作1210は、装置によって(例えば、実行コンポーネント120によって)、選択された深層学習ニューラルネットワーク(動作1208で選択された深層学習ニューラルネットワーク)を医用画像に対して実行することを含む(例えば、DFOV110(空間解像度128)がDFOV106(空間解像度126)に等しい場合、深層学習ニューラルネットワーク104の実行前に医用画像108を再サンプリングすることは省略することができる)。
【0118】
様々な実施態様において、動作1212は、装置によって(例えば、選択コンポーネント1002によって)、DFOV又は空間解像度のセットから、所与のDFOV又は所与の空間解像度よりも粒状性が良く所与のDFOV又は所与の空間解像度に最も近いDFOV又は空間解像度(例えば、DFOV106又は空間解像度126)を識別することを含む(例えば、この場合、DFOV106(空間解像度126)はDFOV110(空間解像度128)と等しくない。)
【0119】
様々な場合において、動作1214は、装置によって(例えば、選択コンポーネント1002によって)、深層学習ニューラルネットワークのセットから、識別されたDFOV(例えば、DFOV106)又は識別された空間解像度(例えば、空間解像度126)でトレーニングされた深層学習ニューラルネットワーク(例えば、深層学習ニューラルネットワーク104)を選択することを含む。
【0120】
様々な態様において、動作1216は、装置によって(例えば、前実行再サンプルコンポーネント118によって)、医用画像を再サンプリングする。医用画像を再サンプリングすることにより得られた画像(例えば、医用画像202)は、所与のDFOV(例えば、DFOV110)又は所与の空間解像度(例えば、空間解像度128)ではなく、識別されたDFOV(例えば、DFOV106)又は識別された空間解像度(例えば、空間解像度126)を示す。
【0121】
様々な実施態様において、動作1218は、装置によって(例えば、実行コンポーネント120によって)、選択された深層学習ニューラルネットワーク(1214で選択された深層学習ニューラルネットワーク)を、医用画像を再サンプリングすることにより得られた画像に対して実行することを含む。
【0122】
様々な実施形態において、医用画像108をダウンサンプリングすることは、損失の多い動作(例えば、画素数/ボクセル数が削減されるので情報が失われる)と考えることができる。したがって、一部の態様では、前実行再サンプルコンポーネント118が医用画像108のダウンサンプリングを回避することが望ましい。上で説明したように、ダウンサンプリングの回避は、DFOV106(空間解像度126)がDFOV110(空間解像度128)よりも粒状性が良い場合に実現することができる。結局、この場合、前実行再サンプルコンポーネント118は、再サンプリングにより得られた医用画像202がDFOV106(空間解像度126)を示すように、(ダウンサンプリング技術とは逆の)アップサンプリング技術を医用画像108に適用することができる。DFOV106(空間解像度126)がDFOV110(空間解像度128)よりも粒状性が悪い状況では、ダウンサンプリングの回避は、選択コンポーネント1002によって、深層学習ニューラルネットワークボールト1102から、粒状性が良いDFOV(粒状性が良い空間解像度)でトレーニングされた深層学習ニューラルネットワークを選択することによって達成することができる。
【0123】
しかし、場合によっては、DFOV110(空間解像度128)が、DFOV又は空間解像度のセット1106の全てのDFOV又は空間解像度よりも粒状性が良い可能性がある。このような場合、前実行再サンプルコンポーネント118は、ダウンサンプリング技術を医用画像108に適用することを回避することができない恐れがある。しかしながら、
図13~
図15に関して説明したような様々な態様では、DFOV又は空間解像度のセット1106の中で粒状性が最も良いDFOV又は粒状性が最も良い空間解像度が、医用画像108を取得した/生成した医用イメージング装置の変調伝達関数の最大カットオフ周波数から得られる場合、このようなダウンサンプリングに関連する情報損失を少なくする又は無くすことができる。
【0124】
図13~
図14は、本明細書に記載された1つ以上の実施形態による変調伝達関数の最大カットオフ周波数に関する例示的で非限定的なグラフを示す。
【0125】
図13について検討する。図示されるように、
図13は、グラフ1302を示す。様々な態様において、グラフ1302は、医用画像108を取得/生成した医用イメージング装置の非限定的で例示的な変調伝達関数(MTF)を表すと考えることができる。様々な態様において、グラフ1302の横軸は、1ミリメートル当たりのラインペア(LPMM)を表す。LPMMは、医用イメージング装置の空間走査周波数とみなすことができる。様々な態様において、グラフ1302の縦軸は、医用イメージング装置によって取得/生成された信号振幅を表す。様々な態様において、グラフ1302に曲線1304をプロットすることができ、このような曲線は、医用イメージング装置の変調伝達関数を示す(例えば、医用イメージング装置の信号振幅がLPMMに基づいてどのように変化するかを示す)とみなすことができる。
図13の非限定的な例に示すように、曲線1304は、LPMMが2のときに最大カットオフ周波数を有すると考えることができる(例えば、信号振幅は、LPMMが2を超えるとゼロ又はゼロに近い)。
【0126】
また図示されるように、
図13は、グラフ1306を示す。様々な態様において、グラフ1306は、DFOV(空間解像度)とLPMMとの間の非限定的で例示的な関係を表すと考えることができる。様々な態様において、グラフ1306の横軸はLPMMを表し、グラフ1306の縦軸はDFOV(空間解像度)を表す。特に、グラフ1306に曲線1308をプロットすることができ、このような曲線は、所与のLPMMで実現することができる粒状性が最も良いDFOV(粒状性が最も良い空間解像度)を示すとみなすことができる。等価的に、曲線1308は、所与のDFOV(所与の空間解像度)に対する最大許容LPMM(ナイキスト周波数とも呼ばれる)を示すと考えることができる。様々な態様において、曲線1308は数式的に求めることができる。より具体的には、所与のDFOVにおける所与の次元の空間解像度は、所与のDFOVを、所与の次元の画素/ボクセルの総数で割ることによって得ることができ、所与のDFOVにおけるサンプリング周波数は、所与のDFOVにおける空間解像度の逆数として求めることができ、所与のDFOVにおけるナイキスト周波数(最大LPMM)は、サンプリング周波数の半分に等しい。
【0127】
次に、
図14を検討する。図示されるように、
図14は、曲線1304と曲線1308とが重ね合わされたグラフ1400を示す。上述したように、曲線1304は、医用イメージング装置のMTFが(この非限定的な例では)2のLPMMで最大カットオフ周波数を有することを示すと考えることができる。符号1402及び符号1404によって示されるように、曲線1308では、この最大カットオフ周波数に対して(例えば、LPMMが2の場合)約13cmのDFOVを得ることができる。言い換えれば、13cmのDFOV(空間解像度)は、医用イメージング装置のMTFが2の最大カットオフ周波数を有する場合に医用イメージング装置によってサポートされる粒状性が最も良いDFOV(粒状性が最も良い空間解像度)と考えることができる。更に言い換えれば、2のLPMMは、医用イメージング装置のMTFの最大カットオフ周波数と考えることができるので、医用イメージング装置は、13cmよりも粒状性が良いDFOV(空間解像度)の情報を確実には取得することができない。言い換えれば、医用イメージング装置によって13cmよりも粒状性が良いDFOV(空間解像度)の情報を取得しようとしても、13cmのDFOVで取得された情報よりも有用な情報は得られないと考えることができる。このような非限定的な例では、DFOV110(空間解像度128)が13cmよりも粒状性が良い場合、医用画像108は、情報を損失することなく13cmのDFOV(空間解像度)にダウンサンプリングすることができる。すなわち、このような場合のダウンサンプリングは、損失を生じる動作ではないと考えることができる。したがって、そのような非限定的な例では、深層学習ニューラルネットワークボールト1102が、13cmのDFOV(空間解像度)でトレーニングされた深層学習ニューラルネットワークを含む場合、ダウンサンプリングに関連する損失を回避することができる。
【0128】
上記(又は本明細書の他の箇所)で提示された特定の数値(例えば、13cm、LPMMの2)は、非限定的な数値であることが理解されるべきである。
【0129】
より一般的には、様々な態様において、深層学習ニューラルネットワークボールト1102は、医用画像108を生成/取得する医用画像装置の変調伝達関数の最大カットオフ周波数に対応するDFOV(空間解像度)でトレーニングされた深層学習ニューラルネットワークを含むことができる。上記で説明したように、このDFOV(空間解像度)は、医用画像108を取得/生成する医用画像装置の変調伝達関数(MTF)を経験的に求めること、MTFの最大カットオフ周波数を特定すること(例えば、MTFが帯域制限されるLPMM値を特定すること)、及び上述のナイキスト周波数の計算方法に基づいて、最大カットオフ周波数においてサポートすることができる粒状性が最も良いDFOV(粒状性が最も良い空間解像度)を計算することによって、特定/決定することができる。深層学習ニューラルネットワークボールト1102が、この最大カットオフ周波数に対応するDFOVでトレーニングされた深層学習ニューラルネットワークを含む場合、ダウンサンプリングに関連する情報損失を回避することができる。
【0130】
図15は、本明細書に記載された1つ以上の実施形態による、変調伝達関数の最大カットオフ周波数に基づいて、表示視野の違いに対する深層学習の頑健性を支援することができる例示的で非限定的なコンピュータによって実施される方法1500のフロー図を示す。様々な場合において、DFOV頑健性システム102は、コンピュータによって実施される方法1500を支援することができる。
【0131】
様々な態様において、動作1502は、プロセッサに動作可能に結合された装置によって(例えば、アクセスコンポーネント116によって)、第1のDFOV又は第1の空間解像度(例えば、DFOV106又は空間解像度126)でトレーニングされた深層学習ニューラルネットワーク(例えば、深層学習ニューラルネットワーク104)にアクセスすることを含むことができる。様々な場合において、第1のDFOV又は第1の空間解像度は、(例えば、
図13~14に示されるように)医用イメージング装置の変調伝達関数の最大カットオフ周波数に対応する。第1のDFOV又は第1の空間解像度は、医用イメージング装置の変調伝達関数の最大カットオフ周波数に対応するので、第1のDFOV又は第1の空間解像度は、医用イメージング装置によってサポートすることができる粒状性が最も良いDFOV又は粒状性が最も良い空間解像度であると考えることができる。
【0132】
様々な実施態様において、動作1504は、装置によって(例えば、アクセスコンポーネント116によって)、医用イメージング装置によって生成された医用画像(例えば、医用画像108)にアクセスすることを含むことができる。様々な実施態様において、医用画像は、第2のDFOV又は第2の空間解像度を示すことができる。
【0133】
様々な態様において、動作1506は、装置によって(例えば、前実行再サンプルコンポーネント118によって)、第2のDFOV又は第2の空間解像度が第1のDFOV又は第1の空間解像度よりも粒状性が良いかどうかを判断することを含むことができる。粒状性が良い場合、コンピュータによって実施される方法1500は動作1508に進むことができる。粒状性が良くない場合、コンピュータによって実施される方法1500は動作1512に進むことができる。
【0134】
様々な態様において、動作1508は、装置によって(例えば、前実行再サンプルコンポーネント118によって)、医用画像をダウンサンプリングすることを含むことができ、医用画像をダウンサンプリングすることにより得られた画像(例えば、医用画像202)は、第1のDFOV又は第1の空間解像度を示す。第1のDFOV又は第1の空間解像度は、医用イメージング装置の変調伝達関数の最大カットオフ周波数に対応することができるので、このダウンサンプリングは損失が生じる動作ではないと考えられることに留意すべきである。言い換えれば、第2のDFOV又は第2の空間解像度は、第1のDFOV又は第1の空間解像度よりも名目的には粒状性が良いにもかかわらず、医用画像は、実際には、第1のDFOV又は第1の空間解像度では取得されると考えられる情報よりも粒状性が良い情報は含まず、第1のDFOV又は第1の空間解像度にダウンサンプリングする場合に、情報を失わないと考えることができる。
【0135】
様々な実施態様において、動作1510は、装置によって(例えば、実行コンポーネント120によって)、医用画像をダウンサンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することを含むことができる。
【0136】
様々な態様において、動作1512は、装置によって(例えば、前実行再サンプルコンポーネント118によって)、医用画像をアップサンプリングすることを含み、医用画像をアップサンプリングすることにより得られた画像(例えば、医用画像202)は、第1のDFOV又は第1の空間解像度を示す。
【0137】
様々な実施態様において、動作1514は、装置によって(例えば、実行コンポーネント120によって)、医用画像をアップサンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することを含むことができる。
【0138】
図16~
図18は、本明細書に記載された1つ以上の実施形態の様々な利点を実証する例示的で非限定的な実験結果を示す。
【0139】
図16を検討する。
図16は、本明細書に記載された様々な実施形態の利点を示すのに役立つ様々なCT画像1600を示す。特に、
図16は、患者の解剖学的構造のCTスキャン画像1602を示す。CTスキャン画像1602は、軟組織カーネルに従って取得/生成された画像である。従って、CTスキャン画像1602に対して画像カーネル変換を実行して、CTスキャン画像1602の骨カーネルに対応する画像を得ることができるようにすることが望ましい場合がある。
図16には明示的に示されていないが、CTスキャン画像1602は15cmのDFOVに従って取得/生成された画像である。任意の所与の次元のCTスキャン画像1602の空間解像度は、15cmを、当該所与の次元大きさに対して配列された画素の数で除算することによって得られることに留意されたい。
【0140】
様々な態様において、
図16はCT画像1604も示している。様々な実施態様において、CT画像1604は、CTスキャン画像1602に対してグランドトゥルースのカーネル変換をすることにより得られた画像と考えることができる。様々な実施態様において、CT画像1604は解析的な骨カーネル変換技術を用いて生成された。
【0141】
様々な態様において、
図16は、CT画像1606及びCT画像1608を更に示す。様々な実施態様において、深層学習ニューラルネットワークが骨カーネル変換を実行するようにトレーニングされており、CTスキャン画像1602に基づいて当該深層学習ニューラルネットワークにより、CT画像1606とCT画像1608との両方が生成された。しかしながら、深層学習ニューラルネットワークは、CTスキャン画像1602によって示される15cmのDFOVに一致しない10cmのDFOVでトレーニングされた。様々な態様において、深層学習ニューラルネットワークはCTスキャン画像1602に対して直接に実行され、これにより、CT画像1606が得られた。様々な他の態様において、CTスキャン画像1602は、10cmのDFOVに一致するようにアップサンプリングされ、深層学習ニューラルネットワークは、CTスキャン画像をアップサンプリングすることにより得られた画像に対して実行され、深層学習ニューラルネットワークによって出力された結果は、ダウンサンプリングされて15cmのDFOVに戻され、それによってCT画像1608が得られた。図を見て理解できるように、CT画像1606は過剰に処理されていると考えることができる。すなわち、CT画像1606は、CTスキャン画像1602のDFOVと深層学習ニューラルネットワークのDFOVとの間の不一致によって引き起こされる多くの画像アーチファクトで埋められていると考えることができる。これとは全く対照的に、CT画像1608は、過剰に処理されていないと考えることができる。実際、CT画像1608は、CT画像1604とかなり良好に一致していると考えられる(例えば、グランドトゥルースとかなり良好に一致していると考えることができる)。したがって、深層学習ニューラルネットワークが10cmのDFOVでトレーニングされ、CTスキャン画像1602が15cmのDFOVに従って取得/生成されたにもかかわらず、深層学習ニューラルネットワークは、本明細書に記載されたDFOVをベースにした(空間解像度をベースにした)前実行及び後実行の再サンプリング動作により、正確に実行することができた。このような実験結果は、本明細書に記載の様々な実施形態の技術的利点を実証するのに有益である。
【0142】
ここで、
図17を検討する。
図17は、本明細書に記載された様々な実施形態の利点を実証するのにも有益な様々なCT画像1700を示す。具体的には、
図17は、患者の解剖学的構造のCTスキャン画像1702を示す。ここでも、CTスキャン画像1702は軟組織カーネルに従って取得されており、このため、骨カーネル変換が有効である。
図16と同様に、CTスキャン画像1702は、15cmのDFOVに従って取得/生成された。
【0143】
様々な態様において、
図17は、CTスキャン画像1702に対してグランドトゥルースのカーネル変換された画像と考えることができるCT画像1704を示す。ここでも、CT画像1704は解析的な骨カーネル変換技術を使用して生成された。
【0144】
様々な態様において、
図17は、CT画像1706及びCT画像1708を更に示す。上述したように、深層学習ニューラルネットワークが骨カーネル変換を実行するようにトレーニングされており、CTスキャン画像1702に基づいて当該深層学習ニューラルネットワークにより、CT画像1706とCT画像1708との両方が生成された。しかしながら、深層学習ニューラルネットワークは、15cmのDFOVではなく、10cmのDFOVでトレーニングされた。様々な態様において、深層学習ニューラルネットワークはCTスキャン画像1702に対して直接に実行され、これによりCT画像1706が得られた。様々な他の態様において、CTスキャン画像1702は、10cmのDFOVに一致するようにアップサンプリングされ、深層学習ニューラルネットワークは、CTスキャン画像をアップサンプリングすることにより得られた画像に対して実行され、深層学習ニューラルネットワークによって出力された結果は、ダウンサンプリングされて15cmのDFOVに戻され、それによってCT画像1708が得られた。図を見て理解できるように、CT画像1706は、過剰に処理されている(例えば、CTスキャン画像1702のDFOVと深層学習ニューラルネットワークのDFOVとの間の不一致によって引き起こされる多くの画像アーチファクトで埋められている)と考えることができる。これとは全く対照的に、CT画像1708は、過剰に処理されていないと考えることができる。実際、CT画像1708はCT画像1704にかなり一致していると考えられる(例えば、グランドトゥルースとかなり一致しているように見える)。したがって、深層学習ニューラルネットワークが10cmのDFOVでトレーニングされ、CTスキャン画像1702が15cmのDFOVに従って取得/生成されたにもかかわらず、深層学習ニューラルネットワークは、本明細書に記載されたDFOVをベースにした(空間解像度をベースにした)前実行及び後実行の再サンプリング動作により、正確に実行することができた。やはり、このような実験結果は、本明細書に記載の様々な実施形態の技術的利点を実証するのに有益である。
【0145】
ここで、
図18を検討する。
図18は、本明細書に記載された様々な実施形態の利点を実証するのに更に有益な様々なCT画像1800を示す。特に、
図18は、10cmのDFOVに従って取得された患者の解剖学的構造のCTスキャン画像1802を示す。また、
図18は、15cmのDFOVに従って取得された同じ患者の同じ解剖学的構造のCTスキャン画像1806も示す。
【0146】
深層学習ニューラルネットワークは、10cmのDFOVを使用して、画質向上を実行するようにトレーニングされた。様々な態様において、深層学習ニューラルネットワークは、CTスキャン画像1802に対して直接に実行され、それによってCT画像1804が得られた。図を見て理解できるように、CTスキャン画像1802のDFOVが深層学習ニューラルネットワークのDFOVと一致した(例えば、両方とも10cmのDFOVを有していた)ので、CT画像1804は画像アーチファクトをかなり除去することができる。
【0147】
様々な実施例において、深層学習ニューラルネットワークは、CTスキャン画像1806に対して直接に実行され、それによってCT画像1808が得られた。図を見て理解できるように、CT画像1808は、かなりの画像アーチファクトを含んでいる。これは、DFOVが、CTスキャン画像1806(例えば、15cm)と深層学習ニューラルネットワーク(例えば、10cm)との間で一致しないからである。
【0148】
他の様々な実施例では、CTスキャン画像1806は、10cmのDFOVに一致するようにアップサンプリングされ、深層学習ニューラルネットワークは、CTスキャン画像をアップサンプリングすることにより得られた画像に対して実行され、深層学習ニューラルネットワークによって生成された結果は、ダウンサンプリングされて15cmのDFOVに戻され、それによってCT画像1810が得られた。図を見て理解できるように、CT画像1810は、CTスキャン画像1806と深層学習ニューラルネットワークとの間でDFOVが一致しないにもかかわらず、画像アーチファクトかなり除去されている。実際、図を見て更に理解できるように、CT画像1810の視覚的品質は、DFOVの不一致がない場合に生成されたCT画像1804の視覚的品質に酷似している。やはり、これらの結果では、本明細書に記載された様々な実施形態の技術的利点を実証するのに有益である(例えば、DFOV(空間解像度)の不一致にかかわらず、深層学習ニューラルネットワークを正確に実行することができる)。
【0149】
ここで、
図19を検討する。
図19は、本明細書に記載された様々な実施形態の利点を実証するのに更に有益な様々なCT画像1900を示す。具体的には、
図19は、患者の解剖学的構造のCTスキャン画像1902を示す。CTスキャン画像1902は、25cmのDFOVに従って取得/生成されたものである。
【0150】
様々な態様において、
図19は、CT画像1904及びCT画像1906を更に示す。上述したように、深層学習ニューラルネットワークが画質向上を実行するようにトレーニングされており、CTスキャン画像1902に基づいて当該深層学習ニューラルネットワークにより、CT画像1904及びCT画像1906の両方が生成された。しかしながら、深層学習ニューラルネットワークは、25cmのDFOVではなく、10cmのDFOVでトレーニングされた。様々な態様において、深層学習ニューラルネットワークはCTスキャン画像1902に対して直接に実行され、これによりCT画像1904が得られた。様々な他の態様において、CTスキャン画像1902は、10cmのDFOVに一致するようにアップサンプリングされ、深層学習ニューラルネットワークは、CTスキャン画像をアップサンプリングすることにより得られた画像に対して実行され、深層学習ニューラルネットワークによって出力された結果は、ダウンサンプリングされて25cmのDFOVに戻され、それによってCT画像1906が得られた。図を見て理解できるように、CT画像1904は、過剰に処理されている(例えば、CTスキャン画像1902のDFOVと深層学習ニューラルネットワークのDFOVとの間の不一致によって引き起こされる多くの画像アーチファクトで埋められている)と考えることができる。これとは全く対照的に、CT画像1906は、CTスキャン画像1902のDFOVと深層学習ニューラルネットワークのDFOVとの間でDFOVが一致していないにもかかわらず、過剰に処理されていないと考えることができる。したがって、深層学習ニューラルネットワークが10cmのDFOVでトレーニングされ、CTスキャン画像1902が25cmのDFOVに従って取得/生成されたにもかかわらず、深層学習ニューラルネットワークは、本明細書に記載されたDFOVを使用した(空間解像度を使用した)前実行及び後実行の再サンプリング動作により、正確に実行することができた。やはり、このような実験結果は、本明細書に記載の様々な実施形態の技術的利点を実証するのに有益である。
【0151】
図20は、本明細書に記載された1つ以上の実施形態による、表示視野の違いに対する深層学習の頑健性を支援することができる例示的で非限定的なコンピュータによって実施される方法2000のフロー図を示す。様々な場合において、DFOV頑健性システム102は、コンピュータによって実施される方法2000を支援することができる。
【0152】
様々な実施形態において、動作2002は、プロセッサに動作可能に結合された装置によって(例えば、アクセスコンポーネント116によって)、深層学習ニューラルネットワーク(例えば、深層学習ニューラルネットワーク104)及び医用画像(例えば、医用画像108)にアクセスすることを含むことができる。様々な場合において、深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度(例えば、空間解像度126)が、医用画像によって示される第2の空間解像度(例えば、空間解像度128)と一致しないことがある。
【0153】
様々な態様において、動作2004は、装置によって(例えば、実行コンポーネント120によって)、医用画像を再サンプリングすることにより得られた画像(例えば、医用画像202)に対して深層学習ニューラルネットワークを実行することを含むことができる。様々な態様において、医用画像を再サンプリングすることにより得られた画像は、深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度(例えば、空間解像度126)を示すことができる。
【0154】
図20には明示的に示されていないが、第1の空間解像度(例えば、空間解像度126)は、第2の空間解像度(例えば、空間解像度128)よりも粒状性が良い場合があり、コンピュータによって実施される方法2000は、装置によって(例えば、前実行再サンプルコンポーネント118によって)、医用画像をアップサンプリングし、それによって、医用画像を再サンプリングすることにより得られた画像を生成し、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することによって、深層学習ニューラルネットワークが第1の出力画像(例えば、出力画像402)を生成することができ、第1の出力画像は第1の空間解像度(例えば、空間解像度126)を示すことができる。場合によっては、コンピュータによって実施される方法2000は、装置によって(例えば、実行後再サンプリングコンポーネント122によって)、第1の出力画像をダウンサンプリングし、それによって、第2の空間解像度(例えば、空間解像度128)を示す第2の出力画像(例えば、出力画像602)を生成することを更に含むことができる。
【0155】
図20には明示的に示されていないが、第1の空間解像度(例えば、空間解像度126)は、第2の空間解像度(例えば、空間解像度128)よりも粒状性が悪い場合があり、コンピュータによって実施される方法2000は、装置によって(例えば、前実行再サンプルコンポーネント118によって)、医用画像を再サンプリングし、それによって、医用画像を再サンプリングすることにより得られた画像を生成し、医用画像を再サンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することによって、深層学習ニューラルネットワークが第1の出力画像(例えば、出力画像402)を生成することができ、第1の出力画像は第1の空間解像度(例えば、126)を示すことができる。様々な実施態様において、コンピュータによって実施される方法2000は、装置によって(例えば、実行後再サンプリングコンポーネント122によって)、第1の出力画像をアップサンプリングし、それによって、第2の空間解像度(例えば、空間解像度128)を示す第2の出力画像(例えば、602)を生成することを更に含むことができる。様々な場合において、第1の空間解像度(例えば、空間解像度126)は、医用画像を生成した医用イメージング装置の変調伝達関数の最大カットオフ周波数に対応することができる。
【0156】
図20には明示的に示されていないが、深層学習ニューラルネットワークは、深層学習ニューラルネットワークのセット(例えば、セット1104)に属することができ、深層学習ニューラルネットワークのセットは、異なる空間解像度のセット(例えば、セット1106)でそれぞれトレーニングすることができ、第1の空間解像度(例えば、空間解像度126)は、異なる空間解像度のセット内に存在することができる。様々な態様において、コンピュータによって実施される方法2000は、装置によって(例えば、選択コンポーネント1002によって)、異なる空間解像度のセットのどの空間解像度も、第2の空間解像度(例えば、空間解像度128)よりも粒状性が良くない空間解像度であり、どの空間解像度も、第1の空間解像度(例えば、空間解像度126)よりも第2の空間解像度(例えば、空間解像度128)に近い空間解像度ではないことを決定することと、この決定がされた場合、装置によって(例えば、選択コンポーネント1002によって)、深層学習ニューラルネットワークのセットから、医用画像を解析するための深層学習ニューラルネットワーク(例えば、深層学習ニューラルネットワーク104)を選択することと、を更に含むことができる。
【0157】
本明細書に記載された様々な実施形態は、DFOVの違いに対する深層学習の頑健性を支援するためのコンピュータツールとして考えることができる。本明細書に記載されるように、このコンピュータツールは、深層学習ニューラルネットワークと、深層学習ニューラルネットワークにより実行されることが望まれる医用画像との間のDFOVの不一致(空間解像度の不一致)の問題を改善する/対処することができる。本明細書に記載されるように、このコンピュータツールは、医用画像を再サンプリングして、再サンプリングにより得られた医用画像のDFOV(空間解像度)を、深層学習ニューラルネットワークがトレーニングしたDFOV(空間解像度)と一致させることができ、このコンピュータツールは、医用画像をアップサンプリングすることにより得られた画像に対して深層学習ニューラルネットワークを実行することができ、このコンピュータツールは、深層学習ニューラルネットワークによって生成された結果を再サンプリングし、再サンプリングにより得られた画像のDFOV(空間解像度)を元の医用画像又は再サンプリングされていない医用画像のDFOVと一致させることができる。このように、医用画像と深層学習ニューラルネットワークとの間でDFOVが一致していない(空間解像度が一致していない)にもかかわらず、深層学習ニューラルネットワークが実行する推論タスクを、医用画像に正確に適用することができる。したがって、このコンピュータツールは、深層学習の分野における具体的かつ現実的な技術改善を実現する。
【0158】
本明細書の開示は、主に、深層学習ニューラルネットワークに適用されるものとして様々な実施形態を説明するが、これは単なる非限定的な例である。様々な態様において、本明細書に記載された教示は、アーキテクチャに関係なく、任意の適切な機械学習モデルに(例えば、ニューラルネットワークに、サポートベクターマシンに、ナイーブベイズモデルに、決定木に、線形回帰モデルに、又はロジスティック回帰モデルに)適用することができる。
【0159】
本明細書の開示では、主に、様々な実施形態を医用画像に適用するものとして説明しているが、これは単なる非限定的な例である。様々な態様において、本明細書に記載された教示は、適切な種類の画像データに適用することができる(例えば、医用/臨床の状況における画像データのみに限定されない)。
【0160】
様々な実施態様において、機械学習アルゴリズム又はモデルは、本明細書に記載された任意の好適な態様を実行するための任意の好適な方法で実装することができる。様々な実施形態の上述の機械学習の一部の態様を実行するために、以下の人工知能(AI)について検討する。本明細書に記載された様々な実施形態は、1つ以上の特徴又は機能を容易に自動化するために人工知能を採用することができる。コンポーネントは、本明細書に開示された様々な実施形態/実施例を実行するために、AIを使用した様々なスキームを採用することができる。本明細書に記載された多数の決定(例えば、決定する、確認する、推論する、計算する、予測する、予知する、推定する、導出する、予想する、検出する、コンピュータで計算する)を提供又は支援するために、本明細書に記載されたコンポーネントは、アクセス権が付与されたデータの全体又はサブセットを調べることができ、イベント又はデータによって取得される情報のセットから、システム又は環境の状態を推論する又は決定することができる。決定は、特定の状況又は動作を識別するために採用することができる、又は、例えば、複数の状態の確率分布を生成することができる。決定は確率論的、つまり、データとイベントの考察に基づいて、関心のある状態に対する確率分布を計算することである。決定は、イベント又はデータのセットから上位レベルのイベントを構成するために採用される技術を表すこともある。
【0161】
このような決定によって、観測されたイベント又は保存されたイベントデータのセットから、複数のイベントが近い時間で相関しているかどうか、イベントとデータが1つ以上のイベントソース及びデータソースから来たものであるかどうかに関わらず、新たなイベント又は動作を構築することができる。本明細書に開示されるコンポーネントは、請求される対象に関する自動的な動作又は決定された動作を実行することについて、様々な分類((例えば、トレーニングデータによって)明示的にトレーニングされた、及び、(例えば、行動、嗜好、履歴情報を観測すること、外部情報を受信することなどによって)暗示的にトレーニングされた)スキーム又はシステム(例えば、サポートベクターマシン、ニューラルネットワーク、エキスパートシステム、ベイジアン信念ネットワーク、ファジー論理、データ融合エンジンなど)を採用することができる。したがって、分類スキーム又はシステムを使用して、多数の機能、動作、又は決定を自動的に学習し、実行することができる。
【0162】
分類器は、入力属性ベクトルz=(z1、z2、z3、z4、zn)を、f(z)=confidence(class)のように、入力がクラスに属する信頼度に対応付けることができる。このような分類は、自動的に実行される動作を決定するために、確率的分析又は統計的分析(例えば、分析ユーティリティと分析コストを考慮する)を採用することができる。サポートベクターマシン(SVM)は使用可能な分類器の一例である。SVMは、考えられる入力の空間に超曲面を見つけることによって動作し、超曲面はトリガー基準と非トリガーイベントを分割しようとする面である。直感的には、超曲面によって、トレーニングデータに近いが同一ではないテストデータを正しく分類する。他の有向モデル分類及び無向モデル分類の手法としては、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、ファジー論理モデル、又は独立性が異なるパターンを提供する確率的分類モデルがあり、これらのいずれかを使用することができる。本明細書で使用される分類は、優先モデルを開発するために利用される統計的回帰も含む。
【0163】
本明細書の開示は、非限定的な例を説明する。記載又は説明を容易にするために、本明細書の開示の様々な部分で、様々な実施例を説明するときに、「各」、「あらゆる」、又は「全て」という用語が利用されている。このような「各」、「あらゆる」、又は「全て」という用語の使用は非限定的なものである。換言すれば、本明細書の開示が、ある特定の物体又はコンポーネントの「各」、「あらゆる」、又は「全て」に適用される説明を提供する場合、これは非限定的な例であると理解されるべきであり、様々な他の例において、その説明が、当該特定の物体又はコンポーネントの「各」、「あらゆる」、又は「全て」よりも少ない数に適用される場合があることが更に理解されるべきである。
【0164】
本明細書に記載された様々な実施形態に追加の説明をするために、
図21及び以下の説明は、本明細書で説明される実施形態の様々な実施形態が実装される好適なコンピューティング環境2100の簡潔で一般的な説明を提供することを意図している。実施形態は、1つ以上のコンピュータで実行可能なコンピュータ実行可能命令の一般的な文脈で記載されてきたが、当業者であれば、実施形態は、他のプログラムモジュールと組み合わせて、又はハードウェアとソフトウェアとの組み合わせとしても実装できることを認識する。
【0165】
一般に、プログラムモジュールには、特定のタスクを実行する又は特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などが含まれる。更に、当業者であれば、本発明の方法は、他のコンピュータシステム構成(例えば、シングルプロセッサ又はマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、モノのインターネット(IoT)デバイス、分散コンピューティングシステム、ならびにパーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサを使用した又はプログラム可能な家電製品などがあり、これらの各々は、1つ以上の関連デバイスに動作可能に結合することができる)で実施できることを理解する。
【0166】
本明細書の例示された実施形態は、特定のタスクが通信ネットワークを通じてリンクされるリモート処理デバイスによって実行される分散コンピューティング環境においても実行することができる。分散コンピューティング環境では、プログラムモジュールは、ローカル及びリモートの両方のメモリ記憶装置に配置することができる。
【0167】
コンピューティング装置は、典型的には、様々な媒体を含み、これらの媒体は、コンピュータ読取り可能記憶媒体、機械読取り可能記憶媒体、又は通信媒体を含むことができ、これらの2つの用語は、本明細書では、以下のように互いに異なる状況で使用される。コンピュータ読取り可能な記憶媒体又は機械読取り可能な記憶媒体は、コンピュータによってアクセスすることができる利用可能な記憶媒体であり、揮発性媒体と不揮発性媒体との両方、取外し可能な媒体と取外し不可能な媒体との両方を含む。例として、コンピュータ可読記憶媒体又は機械可読記憶媒体は、情報(コンピュータ可読命令又は機械可読命令、プログラムモジュール、構造化データ又は非構造化データなど)を記憶するための任意の方法又は技術と関連して実装することができるが、これに限定されることはない。
【0168】
コンピュータ読取り可能記憶媒体としては、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的消去可能なプログラム可能読み取り専用メモリ(EEPROM)、フラッシュメモリ又は他のメモリ技術、コンパクトディスク読取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイディスク(BD)又は他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、ソリッドステートドライブ又は他のソリッドステート記憶装置、又は所望の情報を記憶するのに使用できる他の有形又は非一時的な媒体があるが、これらに限定されることはない。この点に関して、本明細書において、ストレージ、メモリ、又はコンピュータ読取り可能な媒体に適用される用語「有形」又は「非一時的」は、一時的な伝搬信号自体のみを除外する修飾語として理解され、一時的な伝搬信号自体のみではない全ての標準的なストレージ、メモリ、又はコンピュータ読取り可能な媒体に対する権利を放棄するものではない。
【0169】
コンピュータ読取り可能記憶媒体は、例えば、アクセス要求、クエリ、又は他のデータ検索プロトコルによって、1つ以上のローカル又はリモートのコンピューティング装置によってアクセスされ、その媒体によって記憶された情報に関する様々な動作ができるようにすることができる。
【0170】
通信媒体は、典型的には、変調されたデータ信号(例えば、搬送波又は他の移送技術)などのデータ信号に、コンピュータ可読命令、データ構造、プログラムモジュール、又は他の構造化データ又は非構造化データを具体化し、任意の情報配信媒体又は伝送媒体が含まれる。用語「変調されたデータ信号」は、信号の特性セットのうちの1つ以上の特性を有する又は1つ以上の信号の情報をエンコードするような方法で変更された信号を表す。例として、限定するものではないが、通信媒体としては、有線媒体(有線ネットワーク又は直接有線接続など)及び無線媒体(音波、RF、赤外線、その他の無線媒体など)があるが、これに限定されることはない。
【0171】
再び
図21を参照すると、本明細書で説明される態様の様々な実施形態を実装するための例示的な環境2100は、コンピュータ2102を含み、コンピュータ2102は、処理ユニット2104、システムメモリ2106、及びシステムバス2108を含む。システムバス2108は、システムメモリ2106を含むシステムコンポーネント(システムメモリ2106に限定されることはない)を処理ユニット2104に結合する。処理ユニット2104は、様々な市販のプロセッサのうちのいずれかのプロセッサとすることができる。デュアルマイクロプロセッサ及び他のマルチプロセッサアーキテクチャも、処理ユニット2104として使用することができる。
【0172】
システムバス2108は、さまざまな市販のバスアーキテクチャのうちのいずれかのバスアーキテクチャを使用して、メモリバス(メモリコントローラを有する又は有していない)、周辺バス、及びローカルバスに更に相互接続することができるいくつかの種類のバス構造のうちのいずれかのバス構造とすることができる。システムメモリ2106は、ROM2110及びRAM2112を含む。基本入出力システム(BIOS)は、不揮発性メモリ(ROM、消去可能なプログラム可能読み取り専用メモリ(EPROM)、EEPROMなど)に記憶することができ、このBIOSは、起動中などにコンピュータ2102内の構成要素間で情報を転送するのに役立つ基本ルーチンを含む。また、RAM2112は、高速RAM(データをキャッシュするためのスタティックRAMなど)を含むことができる。
【0173】
コンピュータ2102は、内部ハードディスクドライブ(HDD)2114(例えば、EIDE、SATA)、1つ以上の外部記憶デバイス2116(例えば、磁気フロッピーディスクドライブ(FDD)2116、メモリスティック又はフラッシュドライブリーダー、メモリカードリーダーなど)、及びディスク2122(CD-ROMディスク、DVD、BDなど)から読み取り又は書き込み可能なドライブ2120(例えば、ソリッドステートドライブ、光ディスクドライブなど)を更に含む。あるいは、ソリッドステートドライブが関与する場合、別個のものでない限り、ディスク2122は含まれない。内蔵HDD2114は、コンピュータ2102内に配置されるように図示されているが、内蔵HDD2114は、適切な筐体(図示せず)内で外部使用するように構成することもできる。更に、環境2100には示されていないが、HDD2114に加えて、又はHDD2114の代わりに、ソリッドステートドライブ(SSD)を使用することもできる。HDD2114、外部記憶装置2116及びドライブ2120は、それぞれ、HDDインタフェース2124、外部記憶装置インタフェース2126、及びドライブインタフェース2128によって、システムバス2108に接続することができる。外部ドライブ実装用のインタフェース2124は、ユニバーサル・シリアル・バス(USB)及び電気電子学会(IEEE)1394インタフェース技術のうちの少なくとも1つ又は両方を含むことができる。他の外部ドライブ接続技術は、本明細書で説明する実施形態の予想される範囲内である。
【0174】
ドライブ及びそれらに関連するコンピュータ可読記憶媒体は、データ、データ構造、コンピュータ実行可能命令などを不揮発的に記憶することができる。コンピュータ2102では、ドライブ及び記憶媒体は、適切なデジタル形式で任意のデータを記憶する。上記のコンピュータ読取り可能な記憶媒体の説明では、それぞれの種類の記憶装置に言及しているが、当業者は、既存であるか将来開発されるものであるかにかかわらず、コンピュータによって読み取り可能な他の種類の記憶媒体も、例示した動作環境で使用できること、更に、そのような記憶媒体は、本明細書で説明する方法を実行するためのコンピュータ実行可能命令を含むことを理解するはずである。
【0175】
ドライブ及びRAM2112には、多数のプログラムモジュール(オペレーティングシステム2130、1つ以上のアプリケーションプログラム2132、他のプログラムモジュール2134、及びプログラムデータ2136を含む)を記憶することができる。オペレーティングシステム、アプリケーション、モジュール、又はデータの全て又は一部をRAM2112にキャッシュすることもできる。本明細書で説明するシステム及び方法は、様々な市販のオペレーティングシステム又はオペレーティングシステムの組み合わせを利用して実施することができる。
【0176】
コンピュータ2102は、任意選択で、エミュレーション技術を含むことができる。例えば、ハイパーバイザー(図示せず)又は他の仲介者は、オペレーティングシステム2130のためのハードウェア環境をエミュレートすることができ、エミュレートされたハードウェアは、任意選択で、
図21に示されたハードウェアとは異なることができる。そのような実施形態では、オペレーティングシステム2130は、コンピュータ2102でホストされる複数の仮想マシン(VM)のうちの1つの仮想マシン(VM)を含むことができる。更に、オペレーティングシステム2130は、ランタイム環境(Javaランタイム環境又はNETフレームワークなど)をアプリケーション2132に提供することができる。ランタイム環境は、アプリケーション2132がランタイム環境を含む任意のオペレーティングシステム上で実行できるようにする一貫した実行環境である。同様に、オペレーティングシステム2130は、コンテナをサポートすることができ、アプリケーション2132は、コンテナの形態とすることができ、コンテナは、例えば、アプリケーションのためのシステムライブラリ及びシステム設定、システムツール、ランタイム、コードを含む、軽量で、スタンドアロンで、実行可能なソフトウェアのパッケージである。
【0177】
更に、コンピュータ2102は、セキュリティモジュール(トラステッド・プロセッシング・モジュール(TPM)など)を使用することができる。例えば、TPMを使用すると、ブートコンポーネントは、時間的に次のブートコンポーネントをハッシュし、その結果がセキュリティで保護された値と一致するのを待って、次のブートコンポーネントをロードする。このプロセスは、コンピュータ2102のコード実行スタック内の任意のレイヤで実行することができ(例えば、アプリケーション実行レベル又はオペレーティングシステム(OS)カーネルレベルにおいて適用される)、これによりコード実行の任意のレベルでセキュリティを実現することができる。
【0178】
ユーザは、1つ以上の有線/無線入力デバイス(例えば、キーボード2138、タッチスクリーン2140、及びポインティングデバイス(マウス2142など))によって、コマンド及び情報をコンピュータ2102に入力することができる。他の入力デバイス(図示せず)としては、マイクロフォン、赤外線(IR)リモートコントロール、無線周波数(RF)リモートコントロール、又は他のリモートコントロール、ジョイスティック、仮想現実コントローラ又は仮想現実ヘッドセット、ゲームパッド、スタイラスペン、画像入力デバイス(例えば、カメラ)、ジェスチャセンサ入力デバイス、視覚運動センサ入力デバイス、感情検出デバイス又は顔検出デバイス、生体測定入力デバイス(例えば、指紋又は虹彩スキャナなど)を挙げることができる。これら及び他の入力デバイスは、システムバス2108に結合できる入力装置インターフェース2144を通じて処理ユニット2104に接続されることが多いが、他のインタフェース(パラレルポート、IEEE1394シリアルポート、ゲームポート、USBポート、IRインタフェース、BLUETOOTH(登録商標)インタフェースなど)によって接続することもできる。
【0179】
また、モニタ2146又は他の種類のディスプレイデバイスは、インタフェース(ビデオアダプタ2148など)を通じてシステムバス2108に接続することができる。モニタ2146に加えて、コンピュータは、典型的には、スピーカーやプリンタなどの他の周辺出力デバイス(図示せず)を含む。
【0180】
コンピュータ2102は、有線通信又は無線通信を通じて1つ以上のリモートコンピュータ(リモートコンピュータ2150など)との論理接続を使用して、ネットワーク化された環境で動作することができる。リモートコンピュータ2150は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、ポータブルコンピュータ、マイクロプロセッサを使用したエンターテイメントアプライアンス、ピアデバイス、又は他の一般的なネットワークノードとすることができ、典型的には、コンピュータ2102に関連して説明した多くの要素又は全ての要素を含むが、簡潔にするために、メモリ/ストレージデバイス2152のみが図示されている。図示された論理接続は、ローカルエリアネットワーク(LAN)2154又は大規模なネットワーク(例えば、ワイドエリアネットワーク(WAN)2156)への有線/無線接続を含む。このようなLAN及びWANネットワーキング環境は、オフィスや企業において一般的であり、企業全体のコンピュータネットワーク(イントラネットなど)を支援し、LAN及びWANネットワーキング環境の全てをグローバル通信ネットワーク(例えば、インターネット)に接続することができる。
【0181】
コンピュータ2102は、LANネットワーク環境で使用される場合、有線又は無線通信ネットワークインターフェース又はネットワークアダプタ2158を通じてローカルネットワーク2154に接続することができる。アダプタ2158は、LAN2154への有線又は無線通信を容易に行うようにすることができ、LAN2154は、無線モードでアダプタ2158と通信するために、LANに配置された無線アクセスポイント(AP)を含むこともできる。
【0182】
コンピュータ2102は、WANネットワーク環境で使用される場合、モデム2160を含むこと、又はWAN2156上で通信を確立するための他の手段を通じて(例えば、インターネットを通じて)、WAN2156上の通信サーバに接続することができる。モデム2160は、内部デバイス又は外部デバイス、及び有線デバイス又は無線デバイスとすることができ、入力装置インターフェース2144を通じてシステムバス2108に接続することができる。ネットワーク環境では、コンピュータ2102又はその一部に関連して図示されたプログラムモジュールを、リモートメモリ/記憶装置2152に記憶することができる。図示したネットワーク接続は例示であり、コンピュータ間の通信リンクを確立する他の手段を使用できることが理解される。
【0183】
コンピュータ2102は、LAN又はWANネットワーキング環境のいずれかで使用される場合、上述の外部ストレージデバイス2116に加えて、又は外部ストレージデバイス2116の代わりに、クラウドストレージシステム又はネットワークを使用した他のストレージシステムにアクセスすることができ、ストレージシステムは、情報のストレージ又は処理の1つ以上の態様を提供するネットワーク仮想マシンなどであるが、これに限定されることはない。一般に、コンピュータ2102とクラウドストレージシステムとの間の接続は、例えば、アダプタ2158又はモデム2160によって、それぞれLAN2154又はWAN2156上で確立することができる。コンピュータ2102を関連するクラウドストレージシステムに接続すると、外部ストレージインターフェース2126は、アダプタ2158又はモデム2160の助けを受けて、他の種類の外部ストレージと同様に、クラウドストレージシステムによって提供されるストレージを管理することができる。例えば、外部ストレージインターフェース2126は、あたかもクラウドストレージソースがコンピュータ2102に物理的に接続されているかのように、クラウドストレージソースへのアクセスを提供することができる。
【0184】
コンピュータ2102は、ワイヤレス通信で動作可能に配置された任意のワイヤレスデバイス又はエンティティ(例えば、プリンタ、スキャナ、デスクトップ又はポータブルコンピュータ、ポータブルデータアシスタント、通信衛星、ワイヤレスで検出可能なタグに関連付けられた機器又は場所(例えば、キオスク、ニューススタンド、店舗棚など)、及び電話)と通信するように動作可能である。これには、ワイヤレス・フィデリティ(Wi-Fi)やBLUETOOTH(登録商標)ワイヤレス技術が含まれる。このように、通信は、従来のネットワークのようにあらかじめ定義された構造でも可能であり、少なくとも2つのデバイス間の単なるアドホック通信でも可能である。
【0185】
図22は、開示される対象が情報のやりとりをすることできるサンプルコンピューティング環境2200の概略ブロック図である。サンプルコンピューティング環境2200は、1つ以上のクライアント2210を含む。クライアント2210は、ハードウェア又はソフトウェア(例えば、スレッド、プロセス、コンピューティング装置)とすることができる。また、サンプルコンピューティング環境2200は、1つ以上のサーバ2230を含む。サーバ2230もハードウェア又はソフトウェア(例えば、スレッド、プロセス、コンピューティング装置)とすることができる。サーバ2230は、例えば、本明細書に記載された1つ以上の実施形態を採用することによって変換を実行するためのスレッドを収容することができる。クライアント2210とサーバ2230との間の1つの可能な通信は、2つ以上のコンピュータプロセス間で送信されるように適合されたデータパケットの形態とすることができる。サンプルコンピューティング環境2200は、クライアント2210とサーバ2230との間の通信を支援するために採用することができる通信フレームワーク2250を含む。クライアント2210は、クライアント2210に対してローカルに情報を記憶するために使用することができる1つ以上のクライアントデータストア2220に動作可能に接続される。同様に、サーバ2230は、サーバ2230に対してローカルに情報を記憶するために使用することができる1つ以上のサーバデータストア2240に動作可能に接続される。
【0186】
本発明は、技術的に詳細なレベルで統合が可能なシステム、方法、装置又はコンピュータプログラム製品である。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持及び記憶することができる有形装置とすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又はこれらの任意の適切な組み合わせとすることができるが、これらに限定されることはない。コンピュータ可読記憶媒体のより具体的な例を以下に列挙すると、可能な全ての例を列挙することはできないが、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なプログラム可能リードオンリーメモリ(EPROM又はフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、機械的にエンコードされたデバイス(パンチカード又は溝に命令が記録された隆起構造など)、及び前述の任意の好適な組み合わせがある。本明細書で使用されるコンピュータ可読記憶媒体は、電波又は自由に伝播する他の電磁波、導波管又は他の伝送媒体を伝搬する電磁波(例えば、光ファイバーケーブルを伝送する光パルス)、又はワイヤを伝送する電気信号などの一時的な信号自体であると解釈されるものではない。
【0187】
本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング装置/処理装置にダウンロードする、又はネットワーク(例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、又はワイヤレスネットワーク)によって外部コンピュータ又は外部記憶デバイスにダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、又はエッジサーバを含むことができる。各コンピューティング装置/処理装置のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を転送して、その命令は、各コンピューティング装置/処理装置内のコンピュータ可読記憶媒体に記憶される。本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用コンフィギュレーションデータ、又は、1つ以上のプログラミング言語(Smalltalk、C++などのオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語などの手続き型プログラミング言語)の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、スタンドアローンソフトウェアパッケージとして、ユーザのコンピュータ上で完全に実行する、ユーザのコンピュータ上で部分的に実行する、ユーザのコンピュータ上で部分的に実行するとともにリモートコンピュータ上で部分的に実行する、又はリモートコンピュータ又はサーバ上で完全に実行することもできる。後者の場合、リモートコンピュータは、任意の種類のネットワーク(ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)など)を通じてユーザのコンピュータに接続することができる、又は外部コンピュータに(例えば、インターネットサービスプロバイダを使用したインターネットを通じて)接続することができる。一部の実施形態では、本発明の態様を実行するために、電子回路(例えば、プログラム可能な論理回路、フィールドプログラマブルゲートアレイ(FPGA)、又はプログラム可能論理アレイ(PLA)など)は、コンピュータ可読プログラム命令の状態情報を利用してコンピュータ可読プログラム命令を実行し、電子回路をパーソナライズすることができる。
【0188】
本発明の態様は、本発明の実施形態による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図又はブロック図を参照して本明細書に記載されている。フローチャート図又はブロック図の各ブロック、及びフローチャート図又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解される。これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサによって実行される命令が、フローチャート又はブロック図の1つのブロック又は複数のブロックで指定された機能/動作を実施するための手段を作成するように、マシンを生成することができる。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラム可能なデータ処理装置、又は他の装置に特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に記憶させることもでき、記憶された命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図の1つのブロック又は複数のブロックにおいて指定された機能/動作の態様を実施する命令を含む製造物品を含む。また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、又は他の装置にロードされ、一連の動作をコンピュータ、他のプログラム可能な装置、又は他の装置上で実行させてコンピュータで実行されるプロセスを生成し、コンピュータ、他のプログラム可能な装置、又は他の装置上で実行される命令が、フローチャート又はブロック図の1つのブロック又は複数のブロックで指定された機能/動作を実施することができる。
【0189】
図中のフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装態様のアーキテクチャ、機能、及び動作を示す。これに関して、フローチャート又はブロック図の各ブロックは、命令のモジュール、命令のセグメント、又は命令の一部分を表し、これは、指定された論理機能を実装するための1つ以上の実行可能命令を含むことができる。一部の代替的な実装形態では、ブロックに記載された機能は、図に記載された順序とは異なる順序で実行されることができる。例えば、連続するように示された2つのブロックは、実際には実質的に同時に実行することができる、又は複数のブロックは、含まれる機能に応じて、時には逆の順序で実行することができる。また、ブロック図又はフローチャート図の各ブロック、及びブロック図又はフローチャート図のブロックの組み合わせは、指定された機能又は動作を実行する又は専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアを使用したシステムによって実装できることにも留意されたい。
【0190】
対象は、1つのコンピュータ又は複数のコンピュータ上で実行されるコンピュータプログラム製品のコンピュータ実行可能命令の一般的な文脈で記載されてきたが、当業者は、本開示は、他のプログラムモジュールと組み合わせても実装できることを認識する。一般に、プログラムモジュールには、特定のタスクを実行する又は特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などが含まれる。更に、当業者は、本発明のコンピュータによって実施される方法が、他のコンピュータシステム構成(シングルプロセッサ又はマルチプロセッサコンピュータシステム、ミニコンピュータ装置、メインフレームコンピュータ、ならびにコンピュータ、ハンドヘルドコンピュータ装置(例えば、PDA、電話)、マイクロプロセッサを使用した又はプログラム可能な民生用又は産業用の電子機器など)で実施できることを理解する。また、図示の態様は、通信ネットワークを通じてリンクされたリモート処理装置によってタスクが実行される分散コンピューティング環境においても実施することができる。しかし、本開示の全ての態様ではないが、一部の態様は、スタンドアロンコンピュータ上で実施することができる。分散コンピューティング環境では、プログラムモジュールは、ローカルとリモートの両方のメモリ記憶装置に配置することができる。
【0191】
本出願において、用語「コンポーネント」、「システム」、「プラットフォーム」、「インタフェース」などは、1つ以上の特定の機能を有するコンピュータ関連のエンティティ又は1つ以上の特定の機能を有する動作マシンに関連するエンティティを表す、又はそれらエンティティを含むことができる。本明細書で開示されるエンティティは、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかとすることができる。例えば、コンポーネントは、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム、又はコンピュータとすることができるが、これらに限定されることはない。例示すると、サーバ上で実行されるアプリケーションとサーバとの両方をコンポーネントとすることができる。1つ以上のコンポーネントは、実行プロセス又は実行スレッド内に存在することができ、コンポーネントは1つのコンピュータ上に存在する、又はコンポーネントを2つ以上のコンピュータ間に分散させることもできる。別の例では、それぞれのコンポーネントは、様々なデータ構造が記憶された様々なコンピュータ可読媒体から実行することができる。コンポーネントは、例えば、1つ以上のデータパケットを有する信号(例えば、ローカルシステムにおいて、分散システムにおいて、又はインターネットなどのネットワーク上で信号を介在させた他の複数のシステムにおいて、別のコンポーネントとやりとりする或るコンポーネントからのデータ)に従って、ローカルプロセス又はリモートプロセスを通じて通信することができる。別の例として、コンポーネントは、プロセッサによって実行されるソフトウェア又はファームウェアアプリケーションによって駆動する電気回路又は電子回路によって動作する機械部品によって特定の機能が提供される装置とすることができる。このような場合、プロセッサは、装置の内部にあってもよく、装置の外部にあってもよく、ソフトウェア又はファームウェアアプリケーションの少なくとも一部を実行することができる。更に別の例として、コンポーネントは、機械部品を伴わない電子部品を通じて特定の機能を提供する装置とすることができ、電子部品は、電子部品の機能の少なくとも一部を付与するソフトウェア又はファームウェアを実行するプロセッサ又は他の手段を含むことができる。ある態様では、コンポーネントは、例えばクラウドコンピューティングシステム内の仮想マシンによって電子構成要素をエミュレートすることができる。
【0192】
更に、用語「又は」は、排他的な「又は」ではなく、包含的な「又は」を意味することが意図されている。つまり、特に別段の定めがない限り、あるいは文脈から明らかな場合を除き、「XはA又はBを使用する」は、包括的で自然な任意の組合せを意味することが意図されている。つまり、XがAを使用する、XがBを使用する、又はXがAとBの両方を使用する場合、これらのいずれの例も、「XはA又はBを使用する」を満たすことになる。更に、本明細書において、用語「及び/又は」は、「又は」と同じ意味を含むことが意図されている。更に、本明細書及び添付図面で使用される冠詞「1つ(a)」及び「1つ(an)」は、別段の定めがない限り、又は文脈から単数形であることが明らかでない限り、一般には、「1つ以上」を意味すると解釈されるべきである。本明細書では、単語「例」及び「例示的」は、一実施例、一例、又は一実例としての役割を果たすという意味で使用される。誤解を避けるため、本明細書に開示された対象は、このような例に限定されるものではない。加えて、本明細書において「例」及び/又は「例示的」として説明される態様又は設計は、必ずしも、他の態様又は設計よりも好ましい又は有利であると解釈されるべきではなく、当業者に知られている例示的な均等の構造及び技術を排除することを意図するものでもない。
【0193】
本明細書で採用されているように、用語「プロセッサ」は、実質的に任意のコンピューティング処理ユニット又はデバイスを表すことができ、このコンピューティング処理ユニット又はデバイスは、シングルコア・プロセッサ、ソフトウェアがマルチスレッドの実行能力を有するシングルプロセッサ、マルチコア・プロセッサ、ソフトウェアがマルチスレッドの実行能力を有するマルチコア・プロセッサ、ハードウェア・マルチスレッド技術が使用されたマルチコア・プロセッサ、並列プラットフォーム、及び分散共有メモリを有する並列プラットフォームを含むが、これらに限定されることはない。更に、プロセッサは、集積回路、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックコントローラ(PLC)、複合プログラマブルロジックデバイス(CPLD)、ディスクリートゲート又はトランジスタロジック、ディスクリートハードウェア構成要素、又は本明細書に記載された機能を実行するように設計された、これらの任意の組み合わせを表すことができる。更に、プロセッサは、空間の使用を最適化する目的又はユーザ機器の性能を向上させる目的で、分子及び量子ドットを使用したトランジスタ、スイッチ及びゲートなどのナノスケールアーキテクチャを利用することができるが、これらに限定されることはない。プロセッサは、複数のコンピューティング処理ユニットの組み合わせとして実装することもできる。本開示では、「ストア」、「ストレージ」、「データストア」、「データストレージ」、「データベース」、及び構成要素の動作及び機能に関連する実質的に他の任意の情報記憶要素などの用語を使用して、「メモリ構成要素」、「メモリ」に具現化されるエンティティ、又はメモリを含む要素を表す。本明細書に記載されたメモリ若しくはメモリ構成要素は、揮発性メモリ若しくは不揮発性メモリとすることができ、又は揮発性メモリと不揮発性メモリの両方を含んでいてもよいことが理解されるべきである。例として、不揮発性メモリは、読み取り専用メモリ(ROM)、プログラマブルROM(PROM)、電気的にプログラム可能なROM(EPROM)、電気的に消去可能なROM(EEPROM)、フラッシュメモリ、又は不揮発性ランダムアクセスメモリ(RAM)(例えば、強誘電体RAM(FeRAM))がとすることができるが、これらに限定されることはない。揮発性メモリとしては、例えば、RAMがあり、RAMは、外部キャッシュメモリとして機能することができる。例として、RAMは、同期RAM(SRAM)、ダイナミックRAM(DRAM)、同期DRAM(SDRAM)、ダブルデータレートSDRAM(DDR SDRAM)、エンハンストSDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、ダイレクト・ラムバスRAM(DRRAM)、ダイレクト・ラムバス・ダイナミックRAM(DRDRAM)、ラムバス・ダイナミックRAM(RDRAM)などの多くの形態で利用できるが、これらに限定されることはない。更に、本明細書に開示されたシステム又はコンピュータによって実施される方法のメモリ構成要素は、これら及び他の任意の適切な種類のメモリを含むことが意図されているが、これらに限定されることはない。
【0194】
上記で説明したことには、システム及びコンピュータによって実施される方法の単なる例が含まれているだけである。もちろん、本開示を説明する目的で、構成要素又はコンピュータによって実施される方法の考えられる全ての組み合わせを記載することは不可能であるが、更に多くの組合せ及び順列が可能である。更に、用語「含む」、「有する」、「所有する」などが、発明を実施するための形態、特許請求の範囲、添付書類、及び図面で使用される場合において、このような用語は、用語「含む」と同様に、請求項において「含む」が移行語として使用される場合に解釈されるように包含的であることを意図している。
【0195】
様々な実施形態の説明は、例示の目的で示されているが、考えられる実施形態が全て含まれることを意図するものではなく、開示される実施形態を限定することを意図するものでもない。記載された実施形態の範囲及び趣旨から逸脱することなく、多くの修正形態及び変形形態が明らかである。本明細書で使用される用語は、実施形態の原理、市場で見つけられる技術より優れた実用的な用途、又は市場で見つけられる技術と比べて技術的に改善されていることを最適なやり方で説明するために選択された、又は当業者が本明細書に開示された実施形態を理解できるように選択された。
[実施形態1]
システムであって、
非一時的なコンピュータ可読メモリに記憶されたコンピュータ実行可能コンポーネントを実行するプロセッサであって、前記コンピュータ実行可能コンポーネントは、
深層学習ニューラルネットワーク及び医用画像にアクセスするアクセスコンポーネントであって、深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度が、前記医用画像が示す第2の空間解像度と一致していない、アクセスコンポーネント、及び
前記医用画像を再サンプリングすることによって得られた画像に対して前記深層学習ニューラルネットワークを実行する実行コンポーネントであって、前記医用画像を再サンプリングすることにより得られた画像は、前記深層学習ニューラルネットワークによりトレーニングされた前記第1の空間解像度を示す、実行コンポーネント
を含む、システム。
[実施形態2]
前記第1の空間解像度は前記第2の空間解像度よりも粒状性が良く、前記コンピュータにより実行可能なコンポーネントは、
前記医用画像をアップサンプリングし、それにより前記医用画像を再サンプリングすることにより得られた画像を生成する前実行再サンプルコンポーネントであって、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することにより、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像が第1の空間解像度を示す、前実行再サンプルコンポーネント
を含む、実施形態1に記載のシステム。
[実施形態3]
前記コンピュータ実行可能コンポーネントは、
前記第1の出力画像をダウンサンプリングし、それにより、前記第2の空間解像度を示す第2の出力画像を生成する後実行再サンプルコンポーネントを含む、実施形態2に記載のシステム。
[実施形態4]
前記第1の空間解像度は前記第2の空間解像度よりも粒状性が悪く、前記コンピュータ実行可能コンポーネントは、
前記医用画像をダウンサンプリングし、それによって前記医用画像を再サンプリングすることにより得られた画像を生成する前実行再サンプルコンポーネントであって、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することによって、前記深層学習ニューラルネットワークは第1の出力画像を生成し、前記第1の出力画像は、前記第1の空間解像度を示す、前実行再サンプルコンポーネント
を含む、実施形態1に記載のシステム。
[実施形態5]
前記コンピュータ実行可能コンポーネントは、
前記第1の出力画像をアップサンプリングし、それにより、前記第2の空間解像度を示す第2の出力画像を生成する後実行再サンプルコンポーネント
を含む、実施形態4に記載のシステム。
[実施形態6]
前記第1の空間解像度は、前記医用画像を生成した医用イメージング装置の変調伝達関数における最大カットオフ周波数に対応する、実施形態5に記載のシステム。
[実施形態7]
前記深層学習ニューラルネットワークは、複数の深層学習ニューラルネットワークのセットに属し、前記複数の深層学習ニューラルネットワークのセットは、それぞれ、異なる空間解像度のセットによりトレーニングされ、前記第1の空間解像度は、前記異なる空間解像度のセット内に含まれ、前記コンピュータ実行可能コンポーネントは、
前記異なる空間解像度のセットのどの空間解像度も、前記第2の空間解像度よりも粒状性が良くない空間解像度であり、どの空間解像度も、前記第1の空間解像度よりも前記第2の空間解像度に近い空間解像度ではないという決定に基づいて、前記複数の深層学習ニューラルネットワークのセットから、前記医用画像を解析する深層学習ニューラルネットワークを選択する選択コンポーネント
を含む、実施形態1に記載のシステム。
[実施形態8]
前記深層学習ニューラルネットワークは、画質向上、画像ノイズ除去、画像カーネル変換、又は画像セグメンテーションを実行するように構成される、実施形態1に記載のシステム。
[実施形態9]
プロセッサに動作可能に結合された装置によって、深層学習ニューラルネットワーク及び医用画像にアクセスすることであって、前記深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度が、前記医用画像が示す第2の空間解像度と一致しない、深層学習ニューラルネットワーク及び医用画像にアクセスすること、及び
前記装置により、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することであって、前記医用画像を再サンプリングすることにより得られた画像は、前記深層学習ニューラルネットワークによりトレーニングされた前記第1の空間解像度を示す、前記深層学習ニューラルネットワークを実行すること
を含む、コンピュータによって実施される方法。
[実施形態10]
前記第1の空間解像度は前記第2の空間解像度よりも粒状性が良く、
前記装置によって、前記医用画像をアップサンプリングすることであって、それにより、前記医用画像を再サンプリングすることにより得られた画像を生成し、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することによって、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像は前記第1の空間解像度を示す、医用画像をアップサンプリングすること
を含む、実施形態9に記載のコンピュータによって実施される方法。
[実施形態11]
前記装置により、前記第1の出力画像をダウンサンプリングすることであって、これにより前記第2の空間解像度を示す第2の出力画像を生成する、前記第1の出力画像をダウンサンプリングすること
を含む、実施形態10に記載のコンピュータによって実施される方法。
[実施形態12]
前記第1の空間解像度は、前記第2の空間解像度よりも粒状性が悪く、
前記装置によって、前記医用画像をダウンサンプリングすることであって、それによって、前記医用画像を再サンプリングすることにより得られた画像を生成し、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することによって、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像は前記第1の空間解像度を示す、医用画像をダウンサンプリングすること
を含む、実施形態9に記載のコンピュータによって実施される方法。
[実施形態13]
前記装置によって、前記第1の出力画像をアップサンプリングすることであって、それにより、前記第2の空間解像度を示す第2の出力画像を生成する第1の出力画像をアップサンプリングすること
を含む、実施形態12に記載のコンピュータによって実施される方法。
[実施形態14]
前記第1の空間解像度は、前記医用画像を生成した医用イメージング装置の変調伝達関数における最大カットオフ周波数に対応する、実施形態13に記載のコンピュータによって実施される方法。
[実施形態15]
前記深層学習ニューラルネットワークは、複数の深層学習ニューラルネットワークのセットに属し、前記複数の深層学習ニューラルネットワークのセットは、それぞれ、異なる空間解像度のセットによりトレーニングされ、前記第1の空間解像度は、前記異なる空間解像度のセット内に含まれ、
前記装置によって、前記異なる空間解像度のセットのどの空間解像度も、前記第2の空間解像度よりも粒状性が良くない空間解像度であり、どの空間解像度も、前記第1の空間解像度よりも前記第2の空間解像度に近い空間解像度ではないと決定すること、及び
前記決定することに応答して、前記装置によって、前記複数の深層学習ニューラルネットワークのセットから、前記医用画像を解析するための深層学習ニューラルネットワークを選択すること
を含む、実施形態9に記載のコンピュータによって実施される方法。
[実施形態16]
前記深層学習ニューラルネットワークは、画質向上、画像ノイズ除去、画像カーネル変換、又は画像セグメンテーションを実行するように構成される、実施形態9に記載のコンピュータにより実行される方法。
[実施形態17]
表示視野の違いに対する深層学習の頑健性を支援するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、プログラム命令を有するコンピュータ可読メモリを含み、前記プログラム命令がプロセッサにより実行されると、前記プロセッサに、
深層学習ニューラルネットワーク及び医用画像にアクセスすることであって、前記深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度が、前記医用画像が示す第2の空間解像度と一致しない、深層学習ニューラルネットワーク及び医用画像にアクセスすること、及び
前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することであって、前記医用画像を再サンプリングすることにより得られた画像は、前記深層学習ニューラルネットワークによりトレーニングされた第1の空間解像度を示す、深層学習ニューラルネットワークを実行すること
を実行させる、コンピュータプログラム製品。
[実施形態18]
前記第1の空間解像度は前記第2の空間解像度よりも粒状性が良く、前記プログラム命令は、前記プロセッサに、
前記医用画像をアップサンプリングすることであって、それにより前記医用画像を再サンプリングすることにより得られた画像が生成され、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することにより、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像は前記第1の空間解像度を示す、医用画像をアップサンプリングすること
前記第1の出力画像をダウンサンプリングすることであって、それにより前記第2の空間解像度を示す第2の出力画像を生成する、第1の出力画像をダウンサンプリングすること
を実行させるように実行可能である、コンピュータプログラム製品。
[実施形態19]
前記第1の空間解像度は、前記第2の空間解像度よりも粒状性が悪く、前記プログラム命令は、前記プロセッサに、
前記医用画像をダウンサンプリングすることであって、それによって前記医用画像を再サンプリングすることにより得られた画像が生成され、前記医用画像を再サンプリングすることにより得られた画像に対して前記深層学習ニューラルネットワークを実行することによって、前記深層学習ニューラルネットワークが第1の出力画像を生成し、前記第1の出力画像は第1の空間解像度を示す、医用画像をダウンサンプリングすること、及び
前記第1の出力画像をアップサンプリングすることであって、それにより前記第2の空間解像度を示す第2の出力画像を生成する、第1の出力画像をアップサンプリングすること
を実行させるように実行可能である、実施形態17に記載のコンピュータプログラム製品。
[実施形態20]
前記深層学習ニューラルネットワークは、複数の深層学習ニューラルネットワークのセットに属し、前記複数の深層学習ニューラルネットワークのセットは、それぞれ、異なる空間解像度のセットによりトレーニングされ、前記第1の空間解像度は、前記異なる空間解像度のセット内に含まれ、前記プログラム命令は、前記プロセッサに、
前記異なる空間解像度のセットのどの空間解像度も、前記第2の空間解像度よりも粒状性が良くない空間解像度であり、どの空間解像度も、前記第1の空間解像度よりも前記第2の空間解像度に近い空間解像度ではないと決定すること、及び
前記決定することに応答して、前記複数の深層学習ニューラルネットワークのセットから、前記医用画像を解析するための前記深層学習ニューラルネットワークを選択すること
を実行させるように実行可能である、実施形態17に記載のコンピュータプログラム製品。
【符号の説明】
【0196】
104 深層学習ニューラルネットワーク
108 医用画像
110 表示視野
112 プロセッサ
114 非一時的コンピュータ可読メモリ
116 アクセスコンポーネント
118 前実行再サンプルコンポーネント
120 実行コンポーネント
122 後実行再サンプルコンポーネント
126 空間解像度
128 空間解像度
202 医用画像
402 出力画像
602 出力画像
1002 選択コンポーネント
1102 深層学習ニューラルネットワークボールト
1104 深層学習ニューラルネットワークのセット
1106 空間解像度のセット
1304 曲線
【外国語明細書】