(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173772
(43)【公開日】2024-12-12
(54)【発明の名称】医用画像処理装置および医用画像処理方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20241205BHJP
【FI】
A61B6/03 570F
A61B6/03 560T
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2024086145
(22)【出願日】2024-05-28
(31)【優先権主張番号】18/327,372
(32)【優先日】2023-06-01
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】ジョセフ・ヘンリー
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093AA24
4C093BA17
4C093CA34
4C093FD03
4C093FF34
4C093FF37
(57)【要約】
【課題】ユーザの負担を抑えて、被検体の被ばく低減を図ることである。
【解決手段】実施形態に係る医用画像処理装置は、第1のスキャン設定を用いて取得された位置決めのために使用に適する3次元のスキャノグラム画像データを含むCT画像データを取得し、CT画像データを、第1のスキャン設定を用いて取得されたCT画像データの第1の画像スタイルを、第1のスキャン設定とは異なり、CT血管造影画像データでのサブトラクションに用いられる非コントラストCTスキャンの設定に対応する第2のスキャン設定を用いて取得されたCT画像データの第2の画像スタイルにスタイル変換する機械学習モデルに入力することで、CT画像データの画素値が補正された補正済CT画像データを出力する処理部と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
第1のスキャン設定を用いて取得された位置決めのために使用に適する3次元のスキャノグラム画像データを含むCT画像データを取得し、
前記CT画像データを、前記第1のスキャン設定を用いて取得された前記CT画像データの第1の画像スタイルを、前記第1のスキャン設定とは異なり、CT血管造影画像データでのサブトラクションに用いられる非コントラストCTスキャンの設定に対応する第2のスキャン設定を用いて取得されたCT画像データの第2の画像スタイルにスタイル変換する機械学習モデルに入力することで、前記CT画像データの画素値が補正された補正済CT画像データを出力する処理部と、
を備える医用画像処理装置。
【請求項2】
前記処理部は、前記補正済CT画像データと前記CT血管造影画像データとのサブトラクションをさらに行う、
請求項1に記載の医用画像処理装置。
【請求項3】
前記第1のスキャン設定は、前記第2のスキャン設定よりも低い線量、低い解像度、および広い視野を含む、
請求項1に記載の医用画像処理装置。
【請求項4】
前記第1のスキャン設定は第1の解像度を含み、前記第2のスキャン設定は前記第1の解像度より高い第2の解像度を含むこと、
前記第1のスキャン設定は第1の視野を含み、前記第2のスキャン設定は前記第1の視野より狭い第2の視野を含むこと、
前記第1のスキャン設定は、前記第2のスキャン設定に存在しないフィルタを含むこと、
前記第1のスキャン設定は第1の放射線量を含み、前記第2のスキャン設定は前記第1の放射線量より第2の高い放射線量を含むこと、
前記第1のスキャン設定は第1の管電流を含み、前記第2のスキャン設定は前記第1の管電流とは異なる第2の管電流を含むこと、
前記第1のスキャン設定は第1のヘリカルピッチを含み、前記第2のスキャン設定は前記第1のヘリカルピッチとは異なる第2のヘリカルピッチを含むこと、
前記第1のスキャン設定は第1の再構成パラメータを含み、前記第2のスキャン設定は前記第1の再構成パラメータとは異なる第2の再構成パラメータを含むこと、のうちの少なくとも1つである、
請求項1に記載の医用画像処理装置。
【請求項5】
前記機械学習モデルは、解剖学的特徴に基づく第1の損失と、画像強度に基づく第2の損失とによりトレーニングされたトレーニングモデルを含む、
請求項1に記載の医用画像処理装置。
【請求項6】
前記第1の損失は、前記第1のスキャン設定により取得したCT画像データに基づく、
請求項5に記載の医用画像処理装置。
【請求項7】
前記第2の損失は、前記第2のスキャン設定により取得したCT画像データに基づく、
請求項5に記載の医用画像処理装置。
【請求項8】
前記トレーニングモデルは前記補正済CT画像データを直接的に予測すること、
前記トレーニングモデルは、前記補正済CT画像データを得るために、前記CT画像データに加えられる残差を予測すること、
前記トレーニングモデルは、前記補正済CT画像データを得るために、前記CT画像データに適用される変換関数を予測すること、のうちの少なくとも1つである、
請求項5に記載の医用画像処理装置。
【請求項9】
前記機械学習モデルは、前記第2のスキャン設定を用いて得られるデータに一致するように、前記CT画像データを空間の調整を行い、
前記空間の調整は、基準医用画像、基準アトラス、解剖学的ランドマークの検出、のうちの少なくとも1つである、
請求項1に記載の医用画像処理装置。
【請求項10】
第1のスキャン設定を用いて取得された位置決めのために使用に適する3次元のスキャノグラム画像データを含むCT画像データを取得し、
前記CT画像データを、前記第1のスキャン設定を用いて取得された前記CT画像データの第1の画像スタイルを、前記第1のスキャン設定とは異なり、CT血管造影画像データでのサブトラクションに用いられる非コントラストCTスキャンの設定に対応する第2のスキャン設定を用いて取得されたCT画像データの第2の画像スタイルにスタイル変換する機械学習モデルに入力することで、前記CT画像データの画素値が補正された補正済CT画像データを出力することと、
を含む医用画像処理方法。
【請求項11】
複数の被検体を表すトレーニングデータであって、被検体ごとに、第1のスキャン設定を用いて取得された位置決めのために使用に適する3次元のスキャノグラム画像データを含むCT画像データと、前記第1のスキャン設定とは異なり、CT血管造影画像データでのサブトラクションに用いられる非コントラストCTスキャンの設定に対応する第2のスキャン設定を用いて取得された対応するCT画像データと、を含むトレーニングデータを取得し、
前記第1のスキャン設定を用いて取得された前記CT画像データの第1の画像スタイルを、前記第2のスキャン設定を用いて取得されたCT画像データの第2の画像スタイルに変換する機械学習モデルをトレーニングすることを行う処理部と、
を備える医用画像処理装置であって、
前記機械学習モデルは、解剖学的特徴に基づく第1の損失と、画像強度に基づく第2の損失とによりトレーニングされたトレーニングモデルを含む、
医用画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載の実施形態は、概して画像処理方法と装置に関し、例えば、画像データを第1の画像スタイルから第2の画像スタイルに変換する方法と装置に関する。
【背景技術】
【0002】
様々な撮像モダリティのうちの任意のものを用いて医用撮像データを生成することができる医用撮像技術が、撮像または診断目的で幅広く使われている。例えば、コンピュータ断層撮影(Computed Tomography:CT)イメージングを用いてよい。
【0003】
患者の身体の領域にCTスキャンを行うときには、初めに当該患者の位置決め(positioning)に用いられ得るスキャノグラムを得ることが一般的だ。スキャノグラムは2次元であってよい。スキャノグラムは低線量スキャンであってよい。スキャノグラムは低解像度スキャンであってよい。スキャノグラムは、後に行われる領域のスキャンよりも広い視野であってよい。例えば、後にスキャンする領域が肺である場合、スキャノグラムは患者のトルソー全体または患者のトルソーの大部分を含んでよい。後にスキャンする領域が脳である場合、スキャノグラムは患者の頭および首の全てを含んでよい。
【0004】
スキャノグラムは、ターゲット領域のCTスキャンを取得する前に行われてよい。CTスキャンは、プレコントラストおよびポストコントラストスキャンを含んでよい。
【0005】
患者の血管に造影剤を導入すると、造影剤が撮像において管腔の強度を上昇させることが知られている。造影剤を用いて得られた撮像データセットは、コントラストボリューム、造影ボリューム、またはCT血管造影ボリュームと称されることがある。造影剤なしで得られた撮像データセットは、プレコントラストボリュームまたはマスクボリュームと称されることがある。管は一般的にはコントラストボリュームよりもマスクボリュームのほうが視認し難い。これは造影剤がないからである。
【0006】
同一の生体構造を表すマスクボリュームとコントラストボリュームをサブトラクションすることにより、サブトラクションボリュームを得てよい。例えば、サブトラクションは、マスクボリュームとコントラストボリュームにおける各対応位置において、コントラストボリュームの強度からマスクボリュームの強度をサブトラクションすることを含んでよい。サブトラクション処理では、コントラストボリュームとマスクボリュームに共通する特徴(例えば、骨および軟組織)を除去し、コントラストボリュームのうち造影剤によって造影された部分のみを残してよい。
【0007】
図1は、サブトラクション処理の概要を示すフローチャートである。ステージ10では、マスクボリュームとも呼ばれるプレコントラストボリュームを、造影剤なしで領域をCT撮像することにより取得する。ステージ12では、ポストコントラストボリュームを、造影剤ありで同じ領域をCT撮像することにより取得する。ステージ14では、位置合わせ(registration)を行い、プレコントラストボリュームとポストコントラストボリュームとをアライメントする。ステージ16では、位置合わせ済のプレコントラストボリュームとポストコントラストボリュームをサブトラクションして、サブトラクションボリューム18を得る。
【0008】
サブトラクション手順により、例えば脈管構造の画像などの造影生体組織の造影ビューまたは灌流不足の場所を示す肺のヒートマップを得てよい。しかし、サブトラクション手順は、コントラストボリュームに加えてプレコントラスト・マスクボリュームを取得するために、更なる放射線量を必要とする。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】米国特許出願公開第2019/0362522号明細書
【発明の概要】
【発明が解決しようとする課題】
【0010】
本明細書等に開示の実施形態が解決しようとする課題の一つは、ユーザの負担を抑えて、被検体の被ばく低減を図ることである。ただし、本明細書および図面に開示の実施形態が解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0011】
実施形態に係る医用画像処理装置は、第1のスキャン設定を用いて取得された位置決めのために使用に適する3次元のスキャノグラム画像データを含むCT画像データを取得し、CT画像データを、第1のスキャン設定を用いて取得されたCT画像データの第1の画像スタイルを、第1のスキャン設定とは異なり、CT血管造影画像データでのサブトラクションに用いられる非コントラストCTスキャンの設定に対応する第2のスキャン設定を用いて取得されたCT画像データの第2の画像スタイルにスタイル変換する機械学習モデルに入力することで、CT画像データの画素値が補正された補正済CT画像データを出力する処理部と、を備える。
【図面の簡単な説明】
【0012】
ここで、実施形態が、限定にはならない例示として説明され、以下の図に示される。
【
図1】
図1は、サブトラクション処理の概要を示すフローチャートである。
【
図2】
図2は、実施形態に従った装置の概略図である。
【
図3】
図3は、実施形態に従ったサブトラクション方法の概要を示すフローチャートである。
【
図4】
図4は、実施形態に従ったモデルをトレーニング方法の概要を示すフローチャートである。
【
図5】
図5は、代替となる実施形態に従ってモデルをトレーニング方法の概要を示すフローチャートである。
【
図6】
図6は、更なる実施形態に従ってモデルをトレーニング方法の概要を示すフローチャートである。
【
図7】
図7は、実施形態に従ったヒストグラム照合方法の概要を示すフローチャートである。
【
図8】
図8は、実施形態に従った画像クロッピングおよび位置合わせ方法の概要を示すフローチャートである。
【
図9】
図9は、実施形態に従った更なる画像クロッピング方法の概要を示すフローチャートである。
【
図10】
図10は、実施形態に従った画像変換方法の概要を示すフローチャートである。
【発明を実施するための形態】
【0013】
ある実施形態は、第1のスキャン設定を用いて取得されたコンピュータ断層撮影(Computed Tomography:CT)画像データを受け取ることと、CT画像データをアダプタに入力して補正済CT画像データを得ることであって、アダプタは、第1のスキャン設定を用いて取得された前記CT画像データの第1の画像スタイルを、第1のスキャン設定とは異なる第2のスキャン設定を用いて取得されたCT画像データの特徴である第1の画像スタイルとは異なる第2の画像スタイルに変換し、補正済CT画像データを出力することと、を行う処理回路を備えた医用画像処理装置を提供する。
【0014】
ある実施形態は、第1のスキャン設定を用いて取得されたコンピュータ断層撮影(Computed Tomography:CT)画像データを受け取ることと、前記CT画像データをアダプタに入力して補正済CT画像データを得ることであって、前記アダプタは、前記第1のスキャン設定を用いて取得された前記CT画像データの第1の画像スタイルを、前記第1のスキャン設定とは異なる第2のスキャン設定を用いて取得されたデータの特徴である第1の画像スタイルとは異なる第2の画像スタイルに変換し、前記補正済CT画像データを出力することと、を含む方法を提供する。
【0015】
ある実施形態は、複数の被検体を表すトレーニングデータであって、被検体ごとに、第1のスキャン設定を用いて取得されたCT画像データと、第1のスキャン設定とは異なる第2のスキャン設定を用いて取得された対応するCT画像データと、を含むトレーニングデータ受け取ることと、前記第1のスキャン設定を用いて取得された前記CT画像データの第1の画像スタイルを、前記第2のスキャン設定を用いて取得されたCT画像データの特徴である第1の画像スタイルとは異なる第2の画像スタイルに変換するアダプタをトレーニングすることと、を行う処理回路を備えた医用画像処理装置を提供する。前記アダプタのトレーニングは、解剖学的特徴に基づく第1の損失と、画像強度に基づく第2の損失とを使用することを含む。
【0016】
ある実施形態は、複数の被検体を表すトレーニングデータであって、被検体ごとに、第1のスキャン設定を用いて取得されたCT画像データと、第1のスキャン設定とは異なる第2のスキャン設定を用いて取得された対応するCT画像データと、を含むトレーニングデータ受け取ることと、前記第1のスキャン設定を用いて取得された前記CT画像データの第1の画像スタイルを、前記第2のスキャン設定を用いて取得されたCT画像データの特徴である第1の画像スタイルとは異なる第2の画像スタイルに変換するアダプタをトレーニングすることと、を含む方法を提供する。前記アダプタのトレーニングは、解剖学的特徴に基づく第1の損失と、画像強度に基づく第2の損失とを使用することを含む。
【0017】
実施形態に従った医用画像処理装置20が、
図2に概略的に示される。
【0018】
医用画像処理装置20は、本例ではパーソナルコンピュータ(PC)またはワークステーションであるコンピューティング装置22を備える。コンピューティング装置22は、データ記憶部30を介してスキャナ24に接続される。
【0019】
医用画像処理装置20は、1つまたは複数のディスプレイスクリーン26と、コンピュータキーボードまたはマウスまたはトラックボールなどの1つまたは複数の入力装置28と、をさらに備える。
【0020】
本実施形態では、スキャナ24はコンピュータ断層撮影(Computed Tomography:CT)スキャナである。スキャナ24は、患者または他の被検体の少なくとも1つの解剖学的領域を表す画像データを生成する。画像データは、それぞれが対応するデータ値を有する複数のボクセルを備える。本実施形態では、データ値は、ハウンズフィールド単位(Hounsfield unit)におけるCT強度を表す。スキャナを使用して、造影剤なしに3Dスキャノグラムと、造影剤により血管が造影されたポストコントラストボリュームと、を取得する。
【0021】
他の実施形態では、スキャナ24は任意の撮像モダリティにおける2次元、3次元、または、4次元の画像データを取得してよい。例えばスキャナ24は、磁気共鳴(Magnetic Resonance:MR)スキャナ、コンピュータ断層撮影(Computed Tomography:CT)スキャナ、コーンビームCTスキャナ、陽電子放出断層撮影(Positron Emission Tomography:PET)スキャナ、X線スキャナ、または超音波スキャナを備えてよい。解剖学的領域のサブ領域を強調するために、例えば、体内の管、1つまたは複数の臓器、または消化管の少なくとも一部を強調するために、任意の好適な方法を用いてよい。
【0022】
本実施形態では、スキャナ24が取得した画像データセットはデータ記憶部30に記憶され、その後コンピューティング装置22に提供される。代替となる実施形態では、画像データセットは遠隔のデータ記憶部(図示せず)から供給される。データ記憶部30または遠隔のデータ記憶部は、任意の好適な形態のメモリ記憶部を備えてよい。いくつかの実施形態では、医用画像処理装置20はいずれのスキャナにも接続されていない。
【0023】
コンピューティング装置22は、データを処理するための処理装置32を備える。処理装置は、中央演算処理装置(Central Processing Unit:CPU)とグラフィカルプロセッシングユニット(Graphical Processing Unit:GPU)とを備える。処理装置32は自動的に、または、半自動で医用画像データセットを処理するための処理リソースを提供する。他の実施形態では、処理対象データは任意の画像データを含んでよく、医用画像データでなくともよい。
【0024】
処理装置32は、サブトラクション処理を行うサブトラクション回路34と、3Dスキャノグラムデータを合成プレコントラストデータに変換するコンバージョン回路36と、3Dスキャノグラムデータの変換に用いられるモデルをトレーニングするトレーニング回路38と、を備える。サブトラクション回路34、コンバージョン回路36およびトレーニング回路38を処理回路ともいう。処理回路は処理部の一例である。
【0025】
本実施形態では、サブトラクション回路34、コンバージョン回路36、トレーニング回路38は、各々、実施形態の方法を実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、CPUおよび/またはGPUに実装される。しかし、他の実施形態では、回路が1つまたは複数の特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)またはフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)として実装されてよい。
【0026】
また、コンピューティング装置22は、ハードディスクドライブと、RAM、ROM、データバス、種々のデバイスドライバを含むオペレーティングシステム、および、グラフィックカードを含むハードウェア装置を含んだPCの他のコンポーネントとを有する。その様なコンポーネントは、明瞭化のために、
図2には示されない。
【0027】
図3は、実施形態に従った方法の概要を示すフローチャートである。医用画像処理装置20は
図3の方法を行うように構成される。他の実施形態では、
図3の方法を行うために、任意の好適な1つまたは複数の装置を用いてよい。
図3の方法において、医用画像処理装置20の処理回路は、第1のスキャン設定を用いて取得された位置決めのために使用に適する3次元のスキャノグラム画像データを含むCT画像データを取得する。3次元のスキャノグラム画像データは、プレコントラスト画像データに似せて変換される。3次元のスキャノグラム画像データの変換は、補正済CT画像データを得るための3次元のスキャノグラム画像データの補正として説明してもよい。
【0028】
つまり、医用画像処理装置20の処理回路は、CT画像データを、第1のスキャン設定を用いて取得されたCT画像データの第1の画像スタイルを、第1のスキャン設定とは異なり、CT血管造影画像データでのサブトラクションに用いられる非コントラストCTスキャンの設定に対応する第2のスキャン設定を用いて取得されたCT画像データの第2の画像スタイルにスタイル変換する機械学習モデルに入力することで、CT画像データの画素値が補正された補正済CT画像データを出力する。そして、医用画像処理装置20の処理回路は、補正済CT画像データとCT血管造影画像データセットとをサブトラクションするCTサブトラクション手順が行われる。
【0029】
ステージ40では、サブトラクション回路34はポストコントラストボリュームを例えばデータ記憶部30または別のデータ記憶部から受け取る。ポストコントラストボリュームをコントラストボリュームまたはCT血管造影ボリュームと称することもある。ポストコントラストボリュームは、スキャナ24を使用して、造影剤ありで患者または他の被検体の身体のターゲット領域をスキャンして取得された。
図3の実施形態では、ターゲット領域は肺である。ポストコントラストボリュームは、それぞれが対応するデータ値を有する複数のボクセル備えるCT画像データセットである。
【0030】
ステージ42では、コンバージョン回路36は3Dスキャノグラムを例えばデータ記憶部30または別のデータ記憶部から受け取る。3Dスキャノグラムは、完全に生のスキャノグラムまたはソーススキャノグラムと称されることもある。3Dスキャノグラムは、スキャナ24を使用して、造影剤なしに患者または他の被検体の身体の領域を3次元スキャンして取得された。更なるスキャンを行う前に、3Dスキャノグラムを患者の位置決めに用いてよい。
【0031】
図3の実施形態では、スキャナ24は、造影剤を加える前に、つまり、ポストコントラストボリュームを取得する前に、3Dスキャノグラムを取得した。3Dスキャノグラムにおいてスキャンされた領域は、ターゲット領域よりも広い。
図3の実施形態では、3Dスキャノグラムを取得するためにスキャンされた領域は、患者または他の被検体のトルソーである。3Dスキャノグラムは、それぞれが対応するデータボリュームを有する複数のボクセルを備えるCT画像データセットである。
【0032】
3Dスキャノグラムはスキャナ24によって第1のスキャン設定を用いて取得され、ポストコントラストボリュームはスキャナ24によって第1のスキャン設定とは異なる第2のスキャン設定を用いて取得された。第1のスキャン設定をソーススキャン設定と称することもある。第2のスキャン設定をターゲットスキャン設定と称することもある。各スキャン設定は、スキャンおよび再構成パラメータとして説明されることがあるパラメータセットを含み、例えば、視野、解像度、線量、管電流、ヘリカルピッチ、および/またはフィルタパラメータを含んでよい。
【0033】
図3の実施形態では、3Dスキャノグラムがトルソーの全体または大部分をスキャンし、ポストコントラストボリュームが肺周辺のターゲット領域に限られるように、第1のスキャン設定は第2のスキャン設定よりも広い視野を有する。
【0034】
第1のスキャン設定は第2のスキャン設定よりも低い線量を用いる。
図3の実施形態では、3Dスキャノグラムは、低エネルギー光子をフィルタ除去するために銀を用いる低線量CTスキャンである。ビーム整形エネルギーフィルタは銀の光子減衰特性を活用して多色X線から低エネルギー光子を除去する。結果として得られたエネルギースペクトルを、肺がんスクリーニングに最適化してよい。
【0035】
3Dスキャノグラムは、第2のスキャン設定に存在しない3Dスキャノグラムにおける低エネルギー光子フィルタリングのため、ポストコントラストスキャンとは異なる強度プロファイルを有する。
【0036】
第1のスキャン設定は第2のスキャン設定よりも低い管電流を用いてよく、これにより3Dスキャノグラムの信号対雑音値に影響を及ぼしてよい。
【0037】
第1のスキャン設定は第2のスキャン設定よりも低い解像度を有する。
図3の実施形態では、スキャナ24による3Dスキャノグラムの取得は、例えば毎ピクセル1mmなどの第1の解像度で複数の2D画像スライスを取得することを含む。スキャナ24によるポストコントラストボリュームの取得は、例えば毎ピクセル0.5mmなどの第2の高い解像度で複数の2D画像スライスを取得することを含む。
【0038】
また、取得のヘリカルピッチは3Dスキャノグラムとポストコントラストボリュームとで異なる。典型的には、高いヘリカルピッチは低画像品質となるが線量を低下させ、低いヘリカルピッチは高画像品質となるが線量を上昇させる。3Dスキャノグラムはポストコントラストスキャンよりも低線量且つ低品質のスキャンであるため、典型的には、3Dスキャノグラムはポストコントラストスキャンよりも高いヘリカルピッチを有する。
【0039】
スキャンごとに再サンプリングを行い、2Dピクセル間隔に一致するボクセル間隔を有する等方性ボリュームを得る。
【0040】
他の実施形態では、第1および第2のスキャン設定において任意の好適な1つまたは複数の差が存在してよい。例えばいくつかの実施形態では、第1および第2のスキャン設定は、異なる再構成パラメータを含む。再構成カーネルが第1および第2のスキャン設定で異なってよい。異なる再構成カーネルが結果として得られる画像に具体的なインパクトを有してよい。
【0041】
つまり、第1のスキャン設定は第1の解像度を含み、第2のスキャン設定は第1の解像度より高い第2の解像度を含むこと、第1のスキャン設定は第1の視野を含み、第2のスキャン設定は第1の視野より狭い第2の視野を含むこと、第1のスキャン設定は、第2のスキャン設定に存在しないフィルタを含むこと、第1のスキャン設定は第1の放射線量を含み、第2のスキャン設定は第1の放射線量より第2の高い放射線量を含むこと、第1のスキャン設定は第1の管電流を含み、第2のスキャン設定は第1の管電流とは異なる第2の管電流を含むこと、第1のスキャン設定は第1のヘリカルピッチを含み、第2のスキャン設定は第1のヘリカルピッチとは異なる第2のヘリカルピッチを含むこと、第1のスキャン設定は第1の再構成パラメータを含み、第2のスキャン設定は第1の再構成パラメータとは異なる第2の再構成パラメータを含むこと、のうちの少なくとも1つである。
【0042】
図3の方法では、別のプレコントラストボリュームを取得するのではなく、3Dスキャノグラムがサブトラクション用の低線量プレコントラストスキャンとして活用される。従来、サブトラクションを行う際には、造影剤を導入する前にプレコントラストボリュームを取得する。従来のプレコントラストボリュームは、典型的には、ポストコントラストボリュームを取得時と同一の視野とピクセル間隔とを用いて取得される。例えば、プレコントラストボリュームはマスクボリュームとしてのみ用いられ他の診断目的で用いられない場合は、使用するプロトコルに応じて、例えば管電流などの1つまたは複数の他のファクタをプレコントラストボリュームとポストコントラストボリュームとの間で修正してよい。その後、プレコントラストボリュームとポストコントラストボリュームとは従来のサブトラクションアルゴリズムを用いてサブトラクションされる。
【0043】
ステージ42で取得した3Dスキャノグラムは、従来のプレコントラストボリュームとは異なる。第一に、3Dスキャノグラムの視野は従来のプレコントラストボリュームの予想される視野と一致しない。プレコントラストボリュームは、ポストコントラストボリュームと同じターゲット領域をカバーすると予想してよい。3Dスキャノグラムは、典型的にはより広い領域をカバーする。
【0044】
3Dスキャノグラムは、従来のプレコントラストボリュームと比べてスペクトル差を有する。
図3の実施形態では、低エネルギー光子が3Dスキャノグラムにおいてフィルタ除去される。スペクトル差は、3Dスキャノグラムと従来のプレコントラストボリュームとが、例えばHU値などの異なる強度値を同一組織に対して有することを意味してよい。
【0045】
もし従来のサブトラクションアルゴリズムでプレコントラストボリュームに代わって3Dスキャノグラムが用いる場合は、3Dスキャノグラムとプレコントラストボリュームとの間の差により、サブトラクション結果が悪くなることが予想される。サブトラクションアルゴリズムで3Dスキャノグラムを直接使用すると、位置合わせとサブトラクションが悪くなるだろう。結果として得られるサブトラクションボリュームは、良好な結果を出せないだろう。例えば低灌流のための診断信号など重要な診断信号が失われるかもしれない。
【0046】
図3の方法では、ステージ44は、アダプタを用いて3Dスキャノグラムを従来のプレコントラストボリュームに類似するCT画像データセットにコンバートすることを含む。アダプタは、機械学習モデルの一例である。アダプタは、アダプタモデルともいう。3Dスキャノグラムをコンバートして得られるCT画像データセットは、合成プレコントラストボリュームを称されることがある。3Dスキャノグラムを合成プレコントラストボリュームにコンバートすることにより、従来のサブトラクションアルゴリズムを使用して、3Dスキャノグラムとポストコントラストボリュームからサブトラクションデータを、従来のプレコントラストボリュームを追加で取得することなく、取得することができるだろう。3Dスキャノグラムのコンバートは、スタイル変換または画像対画像変換(image to image translation)として説明されることがある。3Dスキャノグラムは、第1の画像スタイルとは異なる画像スタイルに変換される第2の画像スタイルを有する。第2の画像スタイルは従来のプレコントラスト画像データの特徴である。例えば、第2の画像スタイルはプレコントラスト画像データに典型的な解像度と視野とを含む。第2の画像スタイルはプレコントラスト画像データに類似する強度値分布を含む。第1の画像スタイルはソーススタイルとして説明されることもある。第2の画像スタイルはターゲットスタイルとして説明されることもある。
【0047】
ステージ44はサブステージ46、サブステージ48、サブステージ50を含み、各サブステージは3Dスキャノグラムと従来のプレコントラストボリュームとの間の個別の差に対応する。
【0048】
サブステージ46では、コンバージョン回路36は、プレコントラストボリュームの予想される視野に一致するように、3Dスキャノグラムの視野をクロップする。クロッピングは、1つまたは複数の座標軸における視野の縮小を含む。プレコントラストボリュームの予想される視野は、ポストコントラストボリュームの視野と同じであってよい。ボリューム内のターゲット生体構造をローカライズする任意の方法を用いてよい。
【0049】
いくつかの実施形態では、コンバージョン回路36は、3Dスキャノグラムとポストコントラストボリュームとが、同一のスキャナ24において同一の患者をスキャンすることで取得されたことを知っている。コンバージョン回路36は、3Dスキャノグラムの座標空間がポストコントラストボリュームの座標空間と同一であるとみなす。コンバージョン回路36は、ポストコントラストボリューム内のスキャンされたターゲット領域の座標を使用して、対応するボリュームをカバーするように3Dスキャノグラムをクロップする。他の実施形態では、3Dスキャノグラムをクロップするために、任意の好適な方法を用いてよい。例えば、
図8または
図9を参照して以下で説明されるクロッピング方法を用いてよい。
【0050】
またコンバージョン回路36は、3Dスキャノグラムがポストコントラストボリュームと同じ解像度をもつように、3Dスキャノグラムを再サンプリングする。任意の好適な再サンプリング方法を用いてよい。
【0051】
サブステージ48では、コンバージョン回路36は、3Dスキャノグラムをポストコントラストボリュームに対してグローバル位置合わせを行う。グローバル位置合わせは、オリジナルの3Dスキャノグラムに、または、クロップ処理後および/または再サンプリングされた3Dスキャノグラムに対して行ってよい。グローバル位置合わせは、画像の剛体アライメントを含んでよい。グローバル位置合わせを行うために、ボリューム内のターゲット生体構造をローカライズする任意の好適な方法を用いてよい。例えば、グローバル位置合わせは、
図8を参照して以下で説明するものであってよい。
【0052】
サブステージ50では、コンバージョン回路36は、プレコントラストボリュームの強度プロファイルに一致するように、3Dスキャノグラムの強度を変換する。強度変換に用いられる方法では、オリジナルの3Dスキャノグラムの構造が維持される。例えば、3Dスキャノグラム内の解剖学的境界の位置を変えずに、3Dスキャノグラムの強度を変えてよい。サブステージ50を、オリジナルの3Dスキャノグラムに、または、当該3Dスキャノグラムのクロップ処理後の、再サンプリングされた、および/または位置合わせ後のバージョンに対して行ってよい。サブステージ50で用いられる方法の例を、
図4,5,6,7を参照して以下で説明する。他の実施形態では、スタイル変換を行い入力画像からの構造情報の維持を保証する任意の画像対画像変換を用いてよい。
【0053】
サブステージ46、サブステージ48、サブステージ50を任意の好適な順番で行ってよい。いくつかの実施形態では、サブステージ46、サブステージ48、サブステージ50のうちの1つまたは複数を省いてよい。いくつかの実施形態では、サブステージ46、サブステージ48、サブステージ50のうちの2つ以上を組み合わせて、単一のサブステージにしてよい。
【0054】
ステージ44の最後に、コンバージョン回路36は、従来のプレコントラストボリュームであるターゲットボリュームに似るように3Dスキャノグラムを変換して得られた合成プレコントラストボリュームを出力する。合成プレコントラストデータは、補正済CT画像データとして説明されることがある。
【0055】
ステージ44での3Dスキャノグラムのコンバートは、視野と解像度と内容との一致により、ターゲットボリュームの予想される物理的表現に一致させることである。3Dスキャノグラムのコンバートは、ターゲットボリュームにおいて見られる異なる組織の強度プロファイルを一致させることである。3Dスキャノグラムのコンバートは、オリジナルの3Dスキャノグラムの構造情報を一致させることである。
【0056】
コンバージョン回路36は合成プレコントラストボリュームをサブトラクション回路34に渡す。サブトラクション回路34は、現実のプレコントラストボリュームの代わりに合成プレコントラストボリュームを用いるサブトラクション方法を行う。
【0057】
ステージ14では、サブトラクション回路34は位置合わせを行い、合成プレコントラストボリュームとポストコントラストボリュームとをアライメントする。例えば任意の好適な非剛体位置合わせ法など、任意の好適な位置合わせを用いてよい。
【0058】
ステージ16では、サブトラクション回路34は、位置合わせ後の合成プレコントラストボリュームとポストコントラストボリュームとをサブトラクションし、サブトラクションボリューム18を得る。
図3の実施形態では、サブトラクション回路34は、サブトラクションボリューム18からサブトラクション画像をレンダリングする。サブトラクション画像は、例えばディスプレイスクリーン26を用いて、ユーザへ表示される。他の実施形態では、サブトラクション画像を表示しなくてよい。いくつかの実施形態では、サブトラクションボリューム18を更なる処理のために更なるアルゴリズムへ入力する。
【0059】
ステージ14,16は、プレコントラストボリュームとポストコントラストボリュームとをサブトラクションする従来のサブトラクションアルゴリズムで用いられるステージと類似または同一であってよい。撮像したプレコントラストに代わって合成プレコントラストボリュームがサブトラクションアルゴリズムで用いられる。
【0060】
アダプタを用いて3Dスキャノグラムを合成プレコントラストへ変えることにより、完全に生の3Dスキャノグラムとポストコントラストボリュームとをサブトラクションする場合に比べて、サブトラクション結果が良好になるだろう。例えば、脈管構造の視認性が向上するだろう。
【0061】
強度値を調整して3Dスキャノグラムを合成プレコントラストへ変えることで、強度値を調整せずに3Dスキャノグラムをクロッピングおよび位置合わせするだけよりは、良好な結果を得られるだろう。
【0062】
合成プレコントラストボリュームを用いることで、スキャノグラムおよびポストコントラストボリュームに加えて別のプレコントラストボリュームを用いる従来のサブトラクション画像よりも低い線量でサブトラクション画像を得てよい。3Dスキャノグラムを、サブトラクションのための低線量プレコントラストスキャンとして用いてよい。
【0063】
低線量3Dボリュームを、フル線量(full-dose)プレコントラストスキャンと同じレベルに提供してよい。状況次第では、3Dスキャノグラムから生じる合成プレコントラストボリュームを、同一患者のフル線量プレコントラストスキャンの直接代用としてよい。これにより、非コントラストスキャンが通常使用される状況において、3Dスキャノグラムの使用が可能となってよい。
【0064】
図4は、
図3の方法のステージ44で用いられ得るアダプタモデル64をトレーニングする方法の概要を示すフローチャートである。アダプタモデルは、3Dスキャノグラムから合成プレコントラストボリュームを直接予測するようにトレーニングされる。トレーニングモデルは補正済CT画像データを直接的に予測してよい。当該トレーニングは、所定のトレーニングデータコホートを用いて行われ、アダプタモデル64が例えば対応するプレコントラストボリュームが存在しない3Dスキャノグラムなどの新たなデータに適用される前にアダプタモデル64をトレーニングデータでトレーニングするために用いられるため、オフライントレーニングとして説明してよい。
【0065】
アダプタモデル64は深層学習モデルを備える。深層学習モデルは、例えば完全畳み込みニューラルネットワークなどのニューラルネットワークであってよい。完全畳み込みニューラルネットワークでは、異なる画像サイズが処理可能であってよく、当該ネットワークが空間的入力の重要性を学習可能であってよい。
図4の実施形態における当該ネットワークは、オリジナル入力と同一サイズの出力を生成する。使用される当該ネットワークは、例えばUNetなどの意味論的セグメンテーションにおいて使用されるネットワークと類似するタイプであってよい。
【0066】
アダプタモデル64は複数のトレーニングデータセットを含むトレーニングデータコホートを用いてトレーニングされ、当該トレーニングデータセットはそれぞれ、同一の被検体のプレコントラストデータと対になる被検体の3Dスキャノグラムデータを含む。アダプタモデル64は、解剖学的構造に基づく第1の損失と画像強度に基づく第2の損失とを用いてトレーニングされたトレーニングモデルを含む。
【0067】
トレーニング回路38はトレーニングデータセットからプレコントラストデータ60を受け取る。トレーニング回路38は、同一のトレーニングデータセットから対応する3Dスキャノグラムデータ62を受け取る。トレーニング回路38は、3Dスキャノグラムデータ62をトレーニング対象であるアダプタモデル64に入力する。アダプタモデル64は合成プレコントラストデータ66を出力する。
【0068】
アダプタモデル64をトレーニングするために、損失67を算出する。
図4のアダプタモデル64は、後述する2つのヒストグラム損失68,構造損失70を含む損失67を用いてトレーニングされた深層学習モデルである。ヒストグラム損失68,構造損失70は、参照により本明細書に組み込まれるMor Avi-Aharon, Assaf Arbelle, and Tammy Riklin Raviv, DeepHist: Differentiable joint and color histogram layers for image-to-image translation, arXiv preprint arXiv:2005.03995, 2020に記載するものと類似してよい。他の実施形態では、アダプタモデルをトレーニングするために任意の好適な損失を用いてよい。
【0069】
損失67の第1の損失コンポーネントは、合成プレコントラストデータ66と、第1のスキャン設定を用いて取得される画像データである3Dスキャノグラムデータ62と、を比較して算出される構造損失70である。第1の損失は、第1のスキャン設定により取得したCT画像データに基づく。第1の損失コンポーネントは第1の損失として説明されることもある。
【0070】
3Dスキャノグラムデータ62を合成プレコントラストデータ66にコンバートするときに、例えば解剖学的構造などの構造が失われていないことが重要だ。構造損失70は、3Dスキャノグラムデータ62と合成プレコントラストデータ66との間の構造変化を測定する。構造損失70は、合成プレコントラストデータ66の構造が3Dスキャノグラムデータ62の構造に似ているほど小さくなる。構造損失70は、例えば相互情報損失または構造類似度指数などを含んでよい。
【0071】
損失67の第2の損失コンポーネントは、合成プレコントラストデータ66のヒストグラムと、第2のスキャン設定を用いて取得される画像データであるトレーニングデータセットのプレコントラストデータ60のヒストグラムとの間の損失として算出されるヒストグラム損失68である。第2の損失は、第2のスキャン設定により取得したCT画像データに基づく。第2の損失コンポーネントは第2の損失として説明されることもある。
図4の実施形態では、第2の損失コンポーネントは、Mor Avi-Aharon, Assaf Arbelle, and Tammy Riklin Raviv, DeepHist: Differentiable joint and color histogram layers for image-to-image translation, arXiv preprint arXiv:2005.03995, 2020に記載されるヒストグラム損失に基づく。当該損失は、合成プレコントラストデータ66のヒストグラムとプレコントラストデータ60のヒストグラムとの間のEarth Mover’s Distanceを用いる。他の実施形態では、例えばKLダイバージェンスなどの2つのヒストグラムの間の損失関数を与える任意の関数を用いてよい。
【0072】
ヒストグラム損失68は、プレコントラストデータ60の実際の強度と、アダプタモデルが生成する合成プレコントラストデータ66の強度と、の間の距離を表す。例えば、プレコントラストデータ60内と合成プレコントラストデータ66内の各ボクセルのHU値を比較して、ヒストグラム損失68を得てよい。ヒストグラム損失68は、合成プレコントラストデータ66がプレコントラストデータ60に似ているほど小さくなる。
【0073】
図4の方法を数多くのトレーニングデータセットで多数回繰り返して、アダプタモデル64をトレーニングする。アダプタモデル64の重みは損失67を最適化するように調整される。トレーニングが完了すると、アダプタモデル64を
図3の方法で用いる前に、アダプタモデル64の重みを固定してよい。
【0074】
ヒストグラム損失68と構造損失70の両方を用いることで、3Dスキャノグラムの構造を維持しつつ3Dスキャノグラムの強度をプレコントラストデータに類似させるように変更するように、アダプタモデル64をトレーニングする。
【0075】
いったんトレーニングされると、アダプタモデル64を用いて、3Dスキャノグラムデータを合成プレコントラストデータにコンバートする
図3の方法のステージ44の少なくとも一部を行ってよい。例えば、サブステージ46を行うためにアダプタモデル64を用いてよい。
【0076】
図5は、
図3の方法のステージ44で使用し得る、代替となるアダプタモデル84をトレーニングする方法の概要を示すフローチャートである。代替となるアダプタモデル84は深層学習モデルを備える。深層学習モデルは、例えば完全畳み込みニューラルネットワークなどのニューラルネットワークであってよい。
図5の実施形態における当該ネットワークは、オリジナル入力と同一サイズの出力を生成する。使用される当該ネットワークは、例えばUNetなどの意味論的セグメンテーションにおいて使用されるネットワークと類似するタイプであってよい。
【0077】
3Dスキャノグラムから合成プレコントラストボリュームを直接予測する代わりに、アダプタモデル84は3Dスキャノグラムと合成プレコントラストとの間の差を表す残差(residual)を予測する。トレーニングモデルは、補正済CT画像データを得るために、CT画像データに加えられる残差を予測してよい。当該トレーニングをオフライントレーニングと説明してよい。当該トレーニングは、アダプタモデル84が例えば対応するプレコントラストボリュームが存在しない3Dスキャノグラムなどの新たなデータに適用される前に、アダプタモデル84をトレーニングデータでトレーニングするために用いられる。
【0078】
アダプタモデルは、複数のトレーニングデータセットを含むトレーニングデータコホートを用いてトレーニングされ、当該トレーニングデータセットはそれぞれ、同一の被検体のプレコントラストデータと対になる被検体の3Dスキャノグラムデータを含む。
【0079】
トレーニング回路38は、トレーニングデータセットからプレコントラストデータ60を受け取る。トレーニング回路38は、同一のトレーニングデータセットから対応する3Dスキャノグラムデータ62を受け取る。トレーニング回路38は、3Dスキャノグラムデータ62をトレーニング対象であるアダプタモデル84に入力する。アダプタモデル84は残差出力86を出力する。
【0080】
ステージ88では、トレーニング回路38は残差出力を3Dスキャノグラムデータ62に加え、合成プレコントラストデータ90を得る。
【0081】
損失67を、合成プレコントラストデータ90とプレコントラストデータ60と3Dスキャノグラムデータ62から、
図4を参照して上述した方法と同じように算出する。
図5の実施形態では、損失67は上述したようにヒストグラム損失68と構造損失70とを含む。他の実施形態では、任意の好適な損失を用いてよい。
【0082】
図5の方法を数多くのトレーニングデータセットで多数回繰り返して、アダプタモデル84をトレーニングする。アダプタモデル84の重みは損失67を最適化するように調整される。トレーニングが完了すると、アダプタモデル84を
図3の方法で用いる前に、アダプタモデル84の重みを固定してよい。
【0083】
いったんトレーニングされると、アダプタモデル84を用いて、3Dスキャノグラムデータを合成プレコントラストデータにコンバートする
図3の方法のステージ44の少なくとも一部を行ってよい。例えば、サブステージ48を行うためにアダプタモデル84を用いてよい。アダプタモデル84は、3Dスキャノグラムデータ62から残差出力86を得るためにトレーニングされる。残差出力86は、3Dスキャノグラムデータ62に組み合わせて、3Dスキャノグラムデータの構造を維持したまま、合成プレコントラストデータ90を取得できる。
【0084】
図6は、
図3の方法のステージ44で使用し得る更なるアダプタモデル94をトレーニングする方法の概要を示すフローチャートである。更なるアダプタモデル94は深層学習モデルを備える。深層学習モデルは、例えば畳み込み、または、完全畳み込みニューラルネットワークなどのニューラルネットワークであってよい。更なるアダプタモデル94の出力サイズは、固定サイズの入力を使用するように、伝達関数のパラメータに固定されている。
【0085】
図6の方法では、変換関数96を予測するアダプタモデル94がトレーニングされる。トレーニングモデルは、補正済CT画像データを得るために、CT画像データに適用される変換関数を予測してよい。変換関数96は3Dスキャノグラムデータに適用して合成プレコントラストデータを得る。変換(transform)関数96を変換(transformation)関数として説明してもよい。
【0086】
当該トレーニングをオフライントレーニングと説明してよい。当該トレーニングは、アダプタモデル94が例えば対応するプレコントラストボリュームが存在しない3Dスキャノグラムなどの新たなデータに適用される前に、アダプタモデル94をトレーニングデータでトレーニングするために用いられる。
【0087】
アダプタモデル94は、複数のトレーニングデータセットを含むトレーニングデータコホートを用いてトレーニングされ、当該トレーニングデータセットはそれぞれ、同一の被検体のプレコントラストデータと対になる被検体の3Dスキャノグラムデータを含む。
【0088】
トレーニング回路38はトレーニングデータセットからプレコントラストデータ60を受け取る。トレーニング回路38は、同一のトレーニングデータセットから対応する3Dスキャノグラムデータ62を受け取る。トレーニング回路38は、3Dスキャノグラムデータ62をトレーニング対象であるアダプタモデル94に入力する。アダプタモデル94は変換関数96を出力する。
【0089】
変換関数96は、3Dスキャノグラムデータ62における強度値を合成プレコントラストデータ66において用いられる異なる強度値にコンバートする関数であってよい。3Dスキャノグラムデータが取り得る強度値の範囲は、スキャナ24が取得可能な範囲に基づいて、または、トレーニングデータコホートの強度に基づいて、または、任意の好適な方法により取得してよい。変換関数96は、3Dスキャノグラムデータが取り得る強度値の範囲内の各強度値を、合成プレコントラストデータで用いられるそれぞれの変換後の強度に関連付ける関数であってよい。
【0090】
トレーニング回路38は、変換関数96を用いて、3Dスキャノグラムデータ62を合成プレコントラストデータ98にコンバートする。
【0091】
損失67を、合成プレコントラストデータ98とプレコントラストデータ60と3Dスキャノグラムデータ62から、
図4を参照して上述した方法と同じように算出する。
図6の実施形態では、損失67は上述したようにヒストグラム損失68と構造損失70とを含む。他の実施形態では、任意の好適な損失を用いてよい。
【0092】
図6の方法を数多くのトレーニングデータセットで多数回繰り返して、アダプタモデル94をトレーニングする。アダプタモデル94の重みは損失67を最適化するように調整される。トレーニングが完了すると、アダプタモデル94を
図3の方法で用いる前に、アダプタモデル94の重みを固定してよい。
【0093】
いったんトレーニングされると、アダプタモデル94を用いて、3Dスキャノグラムデータを合成プレコントラストデータにコンバートする
図3の方法のステージ44の少なくとも一部を行ってよい。例えば、サブステージ50を行うためにアダプタモデル94を用いてよい。アダプタモデル94は、3Dスキャノグラムデータから変換関数96を得るためにトレーニングされる。変換関数96は、3Dスキャノグラムデータ62に適用されて、3Dスキャノグラムデータの構造を維持したまま、合成プレコントラストデータ98を取得できる。
【0094】
状況次第では、変換関数は、3Dスキャノグラムデータを合成プレコントラストデータへコンバート正則化を提供してよい。例えば、変換関数を用いて得られた合成プレコントラストデータは、直接予測法を用いて得られた合成プレコントラストデータよりも滑らかであってよい。変換関数を用いて得られた合成プレコントラストデータは、直接予測法を用いて得られた合成プレコントラストデータよりも一貫性が高いものであってよい。変換関数を用いて得られた合成プレコントラストデータは、直接予測法を用いて得られた合成プレコントラストデータよりもノイズが少ないものであってよい。
【0095】
図7は、組織ヒストグラム照合を用いて3Dスキャノグラムデータを合成プレコントラストデータにコンバートする方法の概要を示すフローチャートである。
図7の方法において、深層学習モデルは使用されない。
【0096】
異なる組織タイプの強度値を表す複数の組織ヒストグラムを得るために、オフライン処理100が行われる。トレーニング回路38は、プレコントラストデータセット104のコホートを含むターゲットデータ102を受け取る。プレコントラストデータセット104は、複数の患者または他の被検体のプレコントラストスキャンから得たトレーニングデータであってよい。
【0097】
トレーニング回路38は、プレコントラストデータセット104それぞれの組織セグメンテーション106を行う。組織セグメンテーション106は、プレコントラストデータセット104をセグメントして、それぞれが異なる組織タイプを表す複数のセグメント化された領域を得ることを含む。例えば、セグメント化された領域は、肺組織、骨組織、筋肉組織をそれぞれ含んでよい。任意の好適なセグメンテーション法を用いてよい。例えば、セグメンテーション法は、エッジベースのセグメンテーション法と、領域拡張セグメンテーション法と、テクスチャベースのセグメンテーション法と、アトラスベースのセグメンテーション法と、モデルベースのセグメンテーション法(例えば、形状モデル)と、別のニューラルネットワークと、のうちの1つまたは複数を含んでよい。
【0098】
いくつかの実施形態では、セグメント化された領域は関心組織のみを含み、関心組織を含まないプレコントラストデータセットの部分はセグメントされない。例えば、セグメントされる組織は、ターゲットアルゴリズムに関する組織であってよい。
【0099】
トレーニング回路38は、組織ヒストグラム108a、108b、108cを組織タイプごとに算出する。組織ヒストグラム108a、108b、108cを基準ヒストグラムと説明してよい。組織タイプごとに、トレーニング回路38は、当該組織タイプのセグメント化された領域を特定する。その後、トレーニング回路38は、コホート内のプレコントラストデータセットにわたって、当該組織タイプのセグメント化された領域の強度値の組織ヒストグラム108a、108b、108cを算出する。組織タイプの強度値を複数のプレコントラストデータセットにわたって組み合わせることにより、各組織タイプの典型的または平均的ヒストグラムを得てよい。
【0100】
オフライン処理100の出力は、組織ヒストグラム108a、108b、108cの一式であり、それぞれが個別の組織タイプの個別のヒストグラムデータを備える。
【0101】
組織ヒストグラム108a、108b、108cは、ターゲットデータ102に基づくヒストグラム照合を含むオンライン処理110を行うために用いられる。オンライン処理110は、オフライン処理100で使用されなかった新たな3Dスキャノグラムデータに対して行われる。オンライン処理110は、例えばサブステージ50の一部など、
図3のステージ44の一部として行われてよい。
【0102】
オンライン処理110において、コンバージョン回路36は、患者または他の被検体を表す3Dスキャノグラム112を受け取る。またコンバージョン回路36は、オフライン処理100で決定された組織ヒストグラム108a、108b、108cを受け取る。
【0103】
コンバージョン回路36は、3Dスキャノグラム112における複数の組織タイプのセグメンテーション114を行う。任意の好適なセグメンテーション法を用いてよい。
【0104】
図7の実施形態では、3Dスキャノグラム112においてセグメント化される組織タイプは、組織セグメンテーション106においてセグメント化された組織タイプと同じである。例えば、組織タイプは肺、骨、および筋肉であってよい。
【0105】
コンバージョン回路36は、セグメンテーション114と組織ヒストグラム108a、108b、108cとを用いてヒストグラム照合116を行う。ヒストグラム照合116は、ヒストグラムからコンピューティング可能な変換後の画像における累積分布関数(Cumulative Distribution Function:CDF)の値がターゲット画像のCDFと一致するように、画像または画像の一部を変換する。
図7の実施形態では、3Dスキャノグラムのヒストグラムにおけるピクセル値ごとに、対応するピクセル値が、両画像のCDFにおいて値が一致する対応するプレコントラストヒストグラムにある。これにより、スキャノグラムからターゲットプレコントラスト値へのマッピングが得られる。このようなマッピングを、セグメント化された組織タイプごとに取得してよい。他の実施形態では、任意の好適なヒストグラム照合法を用いてよい。
【0106】
ヒストグラム照合116の出力は、3Dスキャノグラム112の強度をコンバートして取得される合成プレコントラストデータセット118である。
【0107】
他の実施形態では、ヒストグラム照合を、セグメント化された領域ではなく画像全体を用いて行ってよい。しかし、セグメンテーションを用いて所与の組織タイプの領域を見つけ各組織タイプのヒストグラムを得ることで、画像全体のヒストグラム照合よりも良好な結果を得られるだろう。セグメント化された組織タイプのヒストグラム照合により生成された合成プレコントラストデータは、画像全体のヒストグラム照合により生成された合成プレコントラストデータと比較して、現実のプレコントラストデータへの一致が高いだろう。
【0108】
図8は、3Dスキャノグラムをクロッピングおよび位置合わせする方法の概要を示すフローチャートである。
図8の方法を使用して、例えばサブステージ46,サブステージ48などのステージ44の一部を行ってよい。
【0109】
ステージ120では、コンバージョン回路36は完全に生の3Dスキャノグラムを例えばデータ記憶部30または代替となるデータ記憶部から受け取る。完全に生の3Dスキャノグラムは、ターゲット領域より広い領域のスキャンを含む。
図8の例では、より広い領域とはスキャンされる患者のトルソーである。画像121は完全に生の3Dスキャノグラムを表す。
【0110】
ステージ122では、コンバージョン回路36はポストコントラストボリュームを例えばデータ記憶部30または代替となるデータ記憶部から受け取る。ポストコントラストボリュームはターゲット領域のスキャンである。
図8の例では、ターゲット領域は肺である。画像123は、ポストコントラストボリュームを表す。ターゲット領域が3Dスキャノグラムにおいてスキャンされた領域よりも小さいことがわかる。
【0111】
図3の方法のサブステージ46として行われ得るステージ124では、コンバージョン回路36は、ポストコントラストボリュームと同じ領域をカバーするように完全に生の3Dスキャノグラムをクロップする。コンバージョン回路36は、ポストコントラストボリュームを使用して、完全に生の3Dスキャノグラムをクロップする規模を判断する。例えば、完全に生の3Dスキャノグラムとポストコントラストボリュームとを同一の座標系において取得してよい。コンバージョン回路36は、ポストコントラストボリュームの座標を使用して、完全に生の3Dスキャノグラムのクロッピングに使用する座標を判断してよい。画像125は3Dスキャノグラムのクロッピング後バージョンを表し、ポストコントラストボリュームと同じターゲット領域へクロップされている。
【0112】
図3の方法のサブステージ46として行われ得るステージ126では、コンバージョン回路36は、完全に生の3Dスキャノグラムのクロッピング後バージョンとポストコントラストボリュームとの剛体位置合わせを行う。任意の好適な剛体位置合わせを用いてよい。画像127はポストコントラストボリュームに位置合わせしたクロッピング後の3Dスキャノグラムを表す。
【0113】
図8の方法は、ポストコントラストボリュームを基準として用いる空間調整を提供する。つまり、アダプタは、第2のスキャン設定を用いて得られるデータに一致するように、CT画像データを空間の調整を行う。
【0114】
図9は、3Dスキャノグラムをクロッピングする更なる方法の概要を示すフローチャートである。
図9の方法を使用して、例えばサブステージ46などのステージ44の一部を行ってよい。
【0115】
ステージ130では、コンバージョン回路36は完全に生の3Dスキャノグラムを例えばデータ記憶部30または代替となるデータ記憶部から受け取る。
図9の例では、完全に生の3Dスキャノグラムはトルソーのスキャンである。画像131は完全に生の3Dスキャノグラムを表す。
【0116】
ステージ132では、コンバージョン回路36はランドマーク検出法を行い、完全に生の3Dスキャノグラム内の複数の解剖学的ランドマークを検出する。解剖学的ランドマークは、例えば、骨、臓器、または他の解剖学的構造上の明確な点などの身体構造内の認識可能な点であってよい。画像133は6つのランドマーク134の位置が検出された完全に生の3Dスキャノグラムを表す。
【0117】
いくつかの実施形態では、ランドマーク検出法は、例えば参照により本明細書に組み込まれるMohammad A Dabbah, Sean Murphy, Hippolyte Pello, Romain Courbon, Erin Beveridge, Stewart Wiseman, Daniel Wyeth and Ian Poole, ‘Detection and location of 127 anatomical landmarks in diverse CT datasets’, Proc. SPIE 9034, Medical Imaging 2014: Image Processing, 903415 (March 21, 2014)に記載される。他の実施形態では、任意のランドマーク検出法を用いてよい。
【0118】
ステージ139では、コンバージョン回路36はターゲット生体構造プロトコル135をデータ記憶部30または別のデータ記憶部から受け取る。ターゲット生体構造プロトコル135は、解剖学的ランドマークに関してターゲット生体構造領域を規定する。
図9の例では、ターゲット生体構造は肺であり、ターゲット生体構造領域は肺を取り巻く領域である。ターゲット生体構造プロトコル135は、ランドマークの位置がマークされ、ターゲット生体構造領域がランドマーク位置を参照して規定された基準医用画像または基準アトラスを含んでよい。画像136はランドマーク137とターゲット生体構造領域138とを規定されている基準医用画像または基準アトラスである。
【0119】
コンバージョン回路36は、ステージ132で検出された解剖学的ランドマークとターゲット生体構造プロトコル135とを使用して、結果としてのクロッピング後のスキャノグラムがターゲット生体構造領域にクロップされるように、完全に生の3Dスキャノグラムをクロップする。例えば、ターゲット生体構造プロトコルのランドマークを3Dスキャノグラムのランドマークに位置合わせし、ターゲット生体構造プロトコルのターゲット生体構造領域を3Dスキャノグラム上にマップしてよい。その後、3Dスキャノグラムをターゲット生体構造領域にクロップしてよい。
【0120】
図9の方法は、解剖学的ランドマーク検出を用いる空間調整を含む。
図9の空間調整は、ポストコントラストボリュームを基準として用いない。
図9の空間調整をポストコントラストボリュームの撮像前に行ってよい。つまり、空間の調整は、基準医用画像、基準アトラス、解剖学的ランドマークの検出、のうちの少なくとも1つである。
【0121】
実施形態では、3Dスキャノグラムを合成プレコントラストデータにコンバートする際に、
図4から
図9のいずれかの方法を単独または組み合わせて使用してよい。例えば、
図8を参照して説明したクロッピングおよび位置合わせ法を、
図4の方法を用いてトレーニングされたモデルと組み合わせて、強度をコンバートしてよい。
【0122】
上述の実施形態では、3Dスキャノグラムは合成プレコントラストデータにコンバートされ、サブトラクションに用いられる。他の実施形態では、任意の好適なモダリティの医用画像データを第1の画像スタイルから第2の画像スタイルにコンバートして、第2の画像スタイルを有する医用画像データに作用するように設計されたアルゴリズムに用いてよい。上述の方法をより汎用的なケースまたは既存アルゴリズムに用いられる医用画像の再ターゲティングに拡張してよい。ターゲット再構成パラメータに一致させるために撮像ボリュームを再ターゲッティングする必要がある任意のアルゴリズムに方法を用いてよい。当該医用画像データは、任意の人間または動物の被検体の任意の好適な解剖学的領域を表してよい。
【0123】
図10は、CTサブトラクションに固有ではない更なる実施形態の方法の概要を示すフローチャートである。
【0124】
ステージ150では、第1のスキャン設定で医用画像データを取得する。医用画像データは、例えば視野、解像度、線量、管電流、ヘリカルピッチ、および/またはフィルタなどのソーススキャンおよび再構成パラメータのセットから生じる第1の画像スタイルを有する。医用画像データをソース医用画像として説明してもよい。
【0125】
ステージ152では、医用画像データを補正済医用画像データにコンバートする。補正済医用画像データは、第1のスキャンおよび再構成パラメータとは異なる、第2のスキャンおよび再構成パラメータで取得されるデータの特徴である第2の画像スタイルを有する。例えば、異なる視野、解像度、線量、管電流、ヘリカルピッチ、および/またはフィルタであってよい。
【0126】
ステージ152は、3つのサブステージ154、サブステージ156、サブステージ158を含む。サブステージ154は、ターゲット医用画像の予想される物理的表現(例えば、視野、解像度)に一致するように医用画像データを調整することを含む。サブステージ156は、ターゲット再構成パラメータを有する画像データに一致するように医用画像データの強度を変換することを含む。サブステージ158は、ソース医用画像の構造を維持することを含む。サブステージ154、サブステージ156、サブステージ158を任意の好適な順番で行ってよい。サブステージ154、サブステージ156、サブステージ158のうちの2つ以上を組み合わせて、単一のサブステージにしてよい。
【0127】
ステージ152は
図3から
図9のいずれかを参照して上述した方法を含んでよい。
【0128】
ステージ152の出力は補正済医用画像データセットであり、当該医用画像データを取得するために用いられたパラメータとは異なるパラメータを用いて取得された医用画像データへ似るようにコンバートされる。
【0129】
ステージ160では、ターゲット医用画像に代わって補正済医用画像データが既存アルゴリズムに適用される。
【0130】
いくつかの実施形態では、医用画像データは3Dスキャノグラムデータであり、補正済医用画像データは合成非コントラストCTデータであるが、既存アルゴリズムはサブトラクションではない。既存アルゴリズムは、もし当該アルゴリズムがスキャノグラムデータに直接的に適用されると、スキャノグラムと非コントラストデータとの間のスペクトル差により問題が生じ得る任意のアルゴリズムであってよい。例えば、当該アルゴリズムは、カルシウム化検出またはカルシウムスコア化のためのアルゴリズムであってよい。当該アルゴリズムを、プレコントラスト画像内の予想されるHU値に作用するようにチューニングしてよい。3Dスキャノグラムデータを合成非コントラストデータにコンバートすることにより、アルゴリズムを3Dスキャノグラムデータに適用してよい。
【0131】
上述した実施形態では、医用画像データと補正済医用画像データとがそれぞれ3Dデータを含む。他の実施形態では、例えば2次元、3次元、または4次元データなど任意の好適なn次元データを用いてよい。
【0132】
ある実施形態は、処理回路を備えた医用画像処理装置を提供する。当該処理回路は、第1のスキャン設定により取得されたコンピュータ断層撮影(Computed Tomography:CT)画像データを受け取り、当該CT画像データをモデルに入力することにより補正済CT画像データを出力する。当該モデルは当該第1のスキャン設定により取得した画像データから、当該第1のスキャン設定とは異なる第2のスキャン設定に画像スタイルを変換する。
【0133】
当該処理回路は、3次元のスキャノグラム画像データを当該CT画像データとして受け取ってよい。当該3次元のスキャノグラム画像データは位置決めに用いられる。
【0134】
当該第2のスキャン設定は、CT血管造影画像でのサブトラクションに用いられる非コントラストCTスキャンの設定に対応してよい。
【0135】
この構成によれば、例えば、医用画像処理装置20は、位置決めの際にスキャンした3次元のスキャノグラム画像データを、CT血管造影画像データでのサブトラクションに用いられる非コントラストCTスキャンの設定に対応するCT画像データの画像スタイルにスタイル変換する機械学習モデルに入力することで、3次元のスキャノグラム画像データの画素値が補正された補正済CT画像データを出力する。
【0136】
これにより、医用画像処理装置20は、非コントラストCTスキャンの設定に対応するCT画像データを使用することなく、位置決めの際にスキャンした3次元のスキャノグラム画像データを用いて、CT血管造影画像データとのサブトラクションを行うため、位置決めの際にスキャンした画像データを活用することができる。また、医用画像処理装置20は、非コントラストCTスキャンの設定に対応するCT画像データを使用することなく、CT血管造影画像データとのサブトラクションを行うため、ワークフローの改善につながる。さらに、医用画像処理装置20は、非コントラストCTスキャンの設定に対応するCT画像データを使用しないため、被検体をスキャンする回数が減り、被検体の負担を抑えて、被検体の被ばく低減を図ることができる。
【0137】
当該モデルは、解剖学的特徴に基づく第1の損失と、画像強度に基づく第2の損失とによりトレーニングされてよい。
【0138】
当該第1の損失は、当該第1のスキャン設定により取得した画像データに基づくものであってよい。
【0139】
当該第2の損失は、当該第2のスキャン設定により取得した画像データに基づくものであってよい。
【0140】
ある実施形態は、医用画像を再ターゲッティングする方法を提供する。当該方法は、既存のターゲットアルゴリズムに用いるために、ソーススキャンおよび再構成パラメータ(ソーススタイル)を有する医用画像をターゲットスキャンおよび再構成パラメータ(ターゲットスタイル)を有する医用画像にコンバートする方法と、
ターゲットアルゴリズムの予想される内容に一致するように、ソース医用画像を空間的に調整する方法と、
ターゲットスキャンおよび再構成パラメータを有する医用画像における予想される強度に一致するように、ソーススキャンおよび再構成パラメータを有する医用画像の強度を更新する方法と、
当該ソース医用画像における構造情報を維持する方法と、
を含む。
【0141】
ソーススキャンおよび再構成パラメータを有する当該医用画像は、3Dスキャノグラムボリュームであってよい。
【0142】
ターゲットスキャンおよび再構成パラメータを有する当該医用画像は、3D非造影ボリュームであってよい。
【0143】
当該出力を、非コントラストボリュームに代えてサブトラクションアルゴリズムに用いてよい。
【0144】
当該ソース医用画像を、別の医用画像を基準として用いて空間的に調整してよい。当該ソース医用画像を、ランドマーク検出を用いて空間的に調整してよい。当該ソース医用画像を、基準アトラスを用いて空間的に調整してよい。
【0145】
当該ソース医用画像の強度を、ネットワーク出力とターゲット医用撮像データとの間のヒストグラムベースの損失でトレーニングされたニューラルネットワークを用いて更新してよい。
【0146】
当該ソース医用画像の強度を、ターゲット医用撮像データに基づく基準ヒストグラムへのヒストグラム照合を用いて更新してよい。
【0147】
当該ソース医用画像の構造を、ネットワーク出力と入力ソース画像との間の構造損失でトレーニングされたニューラルネットワークを用いて維持してよい。
【0148】
当該コンバージョン方法の出力は、当該ターゲットスタイルを有するソース画像の直接予測であってよい。
【0149】
当該コンバージョン方法の出力は、当該ターゲットスタイルを有するソース画像を作成するために入力ソース画像に適用される残差であってよい。
【0150】
当該コンバージョン方法の出力は、当該ターゲットスタイルを有するソース画像を作成するために入力ソース画像に適用される変換関数であってよい。
【0151】
特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の1つまたは複数の機能を、1つの処理リソースまたは他のコンポーネントによって提供することができ、または、1つの回路によって提供される機能を、2つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。1つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する1つのコンポーネントを包含する。
【0152】
以上説明した少なくとも1つの実施形態によれば、ユーザの負担を抑えて、被検体の被ばく低減を図ることである。
【0153】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0154】
20…医用画像処理装置、22…コンピューティング装置、24…スキャナ、
26…ディスプレイスクリーン、28…入力装置、30…データ記憶部、
32…処理装置、34…サブトラクション回路、36…コンバージョン回路、
38…トレーニング回路