(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024133615
(43)【公開日】2024-10-02
(54)【発明の名称】医用画像処理装置及び医用画像処理システム
(51)【国際特許分類】
A61B 6/03 20060101AFI20240925BHJP
A61B 5/055 20060101ALI20240925BHJP
G06T 1/00 20060101ALI20240925BHJP
【FI】
A61B6/03 560T
A61B5/055 380
A61B6/03 560Z
G06T1/00 290B
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2024108299
(22)【出願日】2024-07-04
(62)【分割の表示】P 2023120899の分割
【原出願日】2018-10-04
(31)【優先権主張番号】15/727,216
(32)【優先日】2017-10-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/143,161
(32)【優先日】2018-09-26
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ジエン ジョウ
(72)【発明者】
【氏名】ジョウ ユウ
(72)【発明者】
【氏名】ヤン リーウ
(57)【要約】
【課題】従来に比して、画質改善、高速処理、ハードウェアコスト低減することができる医用画像処理装置及び医用画像処理システムを提供すること。
【解決手段】 本実施形態に係る医用画像処理装置は、被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を備える医用画像処理装置であって、処理部は、二次元医用画像データを一部として含む三次元ボリューメトリック画像データをニューラルネットワークに入力することで、処理後二次元医用画像データを出力する。
【選択図】
図1A
【特許請求の範囲】
【請求項1】
被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を備える医用画像処理装置であって、
前記処理部は、前記二次元医用画像データを一部として含む三次元ボリューメトリック画像データを前記ニューラルネットワークに入力することで、前記処理後二次元医用画像データを出力する、
医用画像処理装置。
【請求項2】
前記処理部は、前記二次元医用画像データ及び当該二次元医用画像データの近傍の二次元医用画像データをまとめて前記ニューラルネットワークに入力することにより、前記処理後二次元医用画像データを得る、請求項1記載の医用画像処理装置。
【請求項3】
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、前記スライス画像及び当該スライス画像の空間的に近傍に位置する複数のスライス画像を前記ニューラルネットワークに入力することにより前記処理後二次元医用画像データを得る、
請求項1又は2記載の医用画像処理装置。
【請求項4】
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、前記スライス画像及び当該スライス画像に隣接する複数のスライス画像を前記ニューラルネットワークに入力することにより前記処理後二次元医用画像データを得る、
請求項1乃至3の何れか一項記載の医用画像処理装置。
【請求項5】
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、前記スライス画像及び当該スライス画像の直上及び直下のスライス画像を前記ニューラルネットワークに入力することにより前記処理後二次元医用画像データを得る、
請求項1乃至4の何れか一項記載の医用画像処理装置。
【請求項6】
前記二次元医用画像データは、前記被検体をCTスキャンして得られるCT画像データである、請求項1乃至5の何れか一項記載の医用画像処理装置。
【請求項7】
前記二次元医用画像データはMRI画像データである、請求項1乃至6の何れか一項記載の医用画像処理装置。
【請求項8】
前記ニューラルネットワークは、入力層、出力層および前記入力層と前記出力層との間に設けられる中間層を有し、複数の医用画像データを用いた深層学習により得られる、請求項1乃至7の何れか一項記載の医用画像処理装置。
【請求項9】
前記二次元医用画像データは医用画像撮像装置により前記被検体をスキャンして得られるスキャンデータに基づいて再構成された再構成画像データである、請求項1乃至8の何れか一項記載の医用画像処理装置。
【請求項10】
前記処理部は、前記二次元医用画像データのノイズ又はアーチファクトが低減された前記処理後二次元医用画像データを出力する、請求項1乃至9の何れか一項記載の医用画像処理装置。
【請求項11】
サーバ装置と、クライアント装置とを備えた医用画像処理システムであって、
前記サーバ装置は、
被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を有し、
前記処理部は、前記二次元医用画像データを一部として含む三次元ボリューメトリック画像データを前記ニューラルネットワークに入力することで、前記処理後二次元医用画像データを出力し、
前記クライアント装置は、ネットワークを介して、前記処理後二次元医用画像データを受け取る、
医用画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、医用画像処理装置及び医用画像処理システムに関する。
【背景技術】
【0002】
コンピュータ断層撮像(CT)システム及び方法は、特に医用撮像及び医用診断の為に、幅広く使用されている。CTシステムは、一般的に被検体の身体に関する一つ又は複数の断面的なスライスの画像を作成する。X線源などの放射源は、一側面から身体にX線を照射する。身体と反対側にある少なくとも一つの検出器は、身体を通過した放射線を受け取る。身体を通過してきた放射線の減衰は、検出器から受け取った電気信号を処理することで測定される。
【0003】
CTサイノグラムは、検出器アレイに沿った位置の関数として、またX線源からX線検出器までの投影角の関数として、身体を通過したX線の減衰を示す。サイノグラムにおいて、空間的次元は、X線検出器のアレイに沿った位置と関係する。時間/角度次元は、CTスキャンにわたって時間の関数として変化するX線の投影角と関係する。画像化された被検体の部分(例えば、椎骨)から生じる減衰は、投影角に一致して縦軸に沿って正弦波を描くことになる。回転軸から更に遠い画像化された被検体の部分は、より大きな振幅での正弦波に一致し、当該正弦波の位相は、回転軸周辺の角度位置に関連する。逆ラドン変換―また任意のその他の画像再構成法―の実行は、サイノグラムにおいて表された投影データから画像を再構成することである。
【0004】
X線CTは、癌、心臓、そして頭部撮像における幅広い臨床アプリケーションに応用されてきた。CTが例えば癌スクリーニングや小児撮像を含む様々なアプリケーションに対して次第に使用されるにつれ、臨床CTスキャンの放射線量を実際可能な範囲で出来る限り低く減らすような動きが起こっている。低線量CTに対して、高量でのノイズチャレンジスキャンのジオメトリ(つまり、大きなコーンアングル、高ヘリカルピッチ、トランケ―ション等)や、その他の望ましくない物理的現象(つまり、散乱、ビームハードニング、クロストーク、金属等)など多くの要因により、画質が低下することがある。精確な順モデルをモデリングし、且つ複雑な逆問題を解くことの難しさが、効率的な補正法を発達させることを困難なものとしてしまっている。
【0005】
低線量CT画質を改善するため、モデルに基づく逐次画像再構成又はサイノグラム復元など、沢山の最先端技術がここ数十年にわたって発達してきたものの、その多くは時間の掛かるもの且つ高額なハードウェアを要するものであった。特に、困難な状況だと、高線量画質より画質でやはり劣る。従って、計算的な時間、ハードウェアコストを減らし、更に低線量CT画質を改善するために、改良法が望まれる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本実施形態は、上記事情に鑑み、従来に比して、画質改善、高速処理、ハードウェアコスト低減することができる医用画像処理装置及び医用画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本実施形態に係る医用画像処理装置は、被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を備える医用画像処理装置であって、前記処理部は、前記二次元医用画像データを一部として含む三次元ボリューメトリック画像データを前記ニューラルネットワークに入力することで、前記処理後二次元医用画像データを出力する。
【図面の簡単な説明】
【0008】
【
図1A】一実施形態に係る、再構成画像を処理するための深層学習(DL)ネットワークを使用する、ノイズ及び/又はアーチファクトを低減するための方法のフロー概要図の例である。
【
図1B】一実施形態に係る、サイノグラムデータを処理するためのDLネットワークを使用する、ノイズ及び/又はアーチファクトを低減するための方法のフロー概要図の例である。
【
図2A】一実施形態に係る、フィードフォワード人工ニューラルネットワーク(feed forward artificial neural network(ANN)であるDLネットワークの例である。
【
図2B】一実施形態に係る、畳み込みニューラルネットワーク(CNN)であるDLネットワークの例である。
【
図2C】一実施形態に係る、畳み込み層の1つのニューロンノードに対する畳み込み層の実施形態である。
【
図2D】一実施形態に係る、ボリューメトリック画像データに対する3つのチャンネルのボリューメトリック畳み込み層の実施形態である。
【
図3】一実施形態に係る、DLネットワークを訓練するためのフロー概要図の例である。
【
図4】一実施形態に係る、ANNを適用するためのフロー概要図の例である。
【
図5】一実施形態に係る、CNNを適用するためのフロー概要図の例である。
【
図6】一実施形態に係る、コンピュータ断層撮像(CT)スキャナの実行の概要を描いている。
【
図7】一実施形態に係る、磁気共鳴撮像(MRI)スキャナの実行の概要を描いている。
【
図8A】一実施形態に係る、陽電子放出断層撮像(PET)スキャナの透視図を描いている。
【
図8B】一実施形態に係る、PETスキャナの概略図を描いている。
【
図9】第2の実施形態に係る再構成デバイス514のブロック図である。
【
図10】第2の再構成処理部5141の概略構成の一例を示したブロック図である。
【
図11】第2のデノイズ処理部5142の概略構成の一例を示したブロック図である。
【
図12】第2のデノイズ処理部5142の概略構成の他の例を示したブロック図である。
【
図14】ネットワークを介したクライアント-サーバ型の構成を有する医用画像処理システム970の一例を示した図である。
【発明を実施するための形態】
【0009】
(第1の実施形態)
本実施形態は、再構成画像の画質を改善するための深層学習(DL)ネットワーク(DNN:Deep Nural Network)の使用に関する。より具体的には、再構成コンピュータ断層撮像(CT)画像、陽電子放出断層撮像(PET)画像、磁気共鳴撮像(MRI)画像における、ノイズ及びアーチファクトを低減するためのDLネットワークを実現する医用画像処理装置を提供する。
【0010】
医用画像に対する公知の再構成法の、ここで説明される方法は、計算的時間、ハードウェアコストを減らすために、更にはコンピュータ断層(CT)画像など低線量医用画像の画質を改善するために、開発されたものである。また、これら方法の適用についてここで提供される例は、非限定的な例であり、ここに述べられる当該方法は、ここで提案されるフレームワークを適応させることにより、MRI、PET/SPECT等のその他の医用撮像モダリティに恩恵をもたらすことが出来る。従って、ここでの議論は、本開示の単に例示的な実施形態を開示し且つ説明するものに過ぎない。当業者には理解されている様に、本開示は、その趣旨又は本質的特徴から乖離することなく、その他の特定の形式で実施することが出来る。つまり、本開示は、例示的であることを意図しており、実施形態の範囲を制限することは意図しておらず、それはその他の特許請求の範囲についても同様である。本開示は、ここに記される教示の容易に認識可能な如何なる変形例も含め、前述の請求項中の用語の範囲を、実施形態の主題が公衆の自由に供することなく、一部分において定義するものである。
【0011】
一般的に、診断の質を維持しつつも、CT放射線量を実際可能な範囲で出来るだけ低く下げること(ALARA)は、望ましいこととされている。低減された放射線量と低カウントコンピュータ断層撮像装置(CT)のための臨床的アプリケーションは、例えば、CTパーフュージョンスタディ、低及び超低線量CTスクリーニング、メラノーマ被検体(melanoma)又は小児被検体(pediatrics)用の低線量での全身撮像、総線量を低減するためのデュアルエネルギーCTにおけるより低いkVp撮像用のバイアス/ノイズ低減、PET/CT減衰補正用の超低線量CT(CTAC)、段階的整合CTAC用呼吸同期(respiratory gated CT for phased matched CTAC)、そしてPET用の動作補正等において、有利である。
【0012】
低線量CTにおいて、チャレンジングな低線量のスキャンのジオメトリや、その他の望ましくない物理的現象など多くの要因により、画質が低下する場合があることは、上でも説明した通りである。結果的に、精確な順モデルをモデリングし、且つ複雑な逆問題を解くことが要因となり、効率的な補正法の発達は困難なものとなり得る。例えば、モデルに基づく逐次画像再構成又はサイノグラム復元は、時間を要する可能性があり、且つ高価なハードウェアが必要となる。
【0013】
公知の方法による、上で明らかにされた様な課題を解決するために、ここで説明される方法は、深層学習(DL)ネットワークを使用する。一般的に、DLネットワークは、画像空間分解能を改善し且つノイズを減らすために、画像処理エリアに適用されている。従来的な方法と比較すると、深層学習は、精確なノイズやエッジモデリングを必要とせず、代わりに訓練データセットを信頼している。更に、深層学習には、ノイジーな観察結果と潜在的なクリーン画像との間に高度なネットワークを構築することにより、中間層画像の特徴を捉える能力を備えている。
【0014】
例えば、ここでの方法は、様々な研究分野における改善を利用する。それにより、DLに基づく畳み込みニューラルネットワーク(CNN)は、再構成画像及び/又はサイノグラム復元に適用することが出来る。DLに基づくCNNをCT画像再構成へと適用する方法は、殆ど知られていない。異なるCTスキャニング法及びスキャニング条件に対応する訓練データは、選択された訓練データが特定のCTスキャン法、プロトコル、アプリケーション、そして条件に適合するように使用することで、特定のCTスキャニング法、プロトコル、アプリケーション、そして条件に対応する投影データに対して合わせるべき様々なCNNネットワークを訓練するよう使用することが出来る。この様にして、個別のCNNネットワークは、CTスキャニングに対する特定の条件及び方法へと、カスタマイズ出来る。更に、CNNネットワークのカスタマイズは、投影データのノイズレベル或いは信号対ノイズ比にまで拡張する可能性があり、更に画像化されている身体の解剖学的構造或いは領域にまで拡張する可能性もある。ここに説明される方法は、再構成画像のデノイジングに加えて、サイノグラム復元へと適用する場合がある。更に、三次元CT画像の近傍するスライスにおける情報の冗長性は、デノイズされているスライスの上のスライス及び下のスライスへと拡張するDLネットワークの畳み込み層に対するカーネルを使用することで、ボリューメトリックに基づくDLを実行するのに使用することが出来る。また再構成画像のデノイジングに加えて、DLは再構成画像におけるアーチファクトを軽減するために訓練することも出来る。
【0015】
特に、ここで説明される方法の様々な実施形態は、画像再構成の過去の方法に勝る点をいくつか提供する。第1に、ここに説明される方法の特定の実施形態は、FBPアルゴリズムにおける補償重み及び再構成フィルタを最適化するために、DLを使用することがある。例えば、特定の実施形態において、ここに説明される方法は、解析的再構成を利用するのにDLを使用し、且つ高線量モデルに基づく逐次再構成として同程度の画質での画像を提供する。
【0016】
第2に、ここに説明される方法の特定の実施形態は、DLネットワークのオフライン訓練と、再構成ステップにおける組み込まれた訓練ネットワークとを実行する。例えば、特定の実施形態において、ここに説明される方法は、次に関連する利益を示すことが出来る。(i)三つのチャネルに基づいたネットワークの使用、(ii)ノイズレベルに基づいた訓練データの分類、(iii)解剖学的特徴について検討/明らかにすることによる訓練セットの最適化、(iv)撮像条件に基づいた訓練データの分類である。ここで、撮像条件(スキャンパラメータ)とは、管電圧、管電流、X線管回転速度、収集スライス厚、再構成関数、FOVサイズ、撮像範囲、再構成間隔、再構成スライス厚、ヘリカルピッチ、補間再構成法等である。それによって、ここに説明される方法は、以前の方法に比べ低いノイズや高い空間分解能に関し、より高画質な画像を生み出すことが出来るのである。
【0017】
第三に、ここに説明される方法は、高線量の訓練データを逐次近似再構成した画像を使用する場合がある。従って、特定の実施形態において、IR法を使用して取得された画像と同様のクリーン画像は、DLネットワークを、比較的計算時間が短い再構成法(例えば、フィルタ補正逆投影)を使用して生成された再構成画像へと適用することにより、達成することが出来、結果的にIR法の計算的負荷を掛けることなく、IR法の画質を達成する一方で、計算的時間及び高額なハードウェアにおける劇的な低減となる。
【0018】
一般的に、DLは、画像空間分解能を改善且つノイズを低減するために、画像処理エリアに適用することが出来る。従来的な方法と比べて、DLは精確なノイズ及びエッジモデリングを必要とせず、訓練データセットのみに依存している。更に、DLは、中間層画像特徴を捉える能力を有し、ノイジーな観察結果及び潜在的なクリーン画像間に高度なネットワークを構築する。
【0019】
次に図面を参照しながら、参照番号が数枚の図にわたって同一又は対応する部分を指し示す。二つの処理を有する方法100のフロー概要図を、
図1Aは示している。当該二つの処理とは、オフライン訓練用の処理110と、及び投影データ(サイノグラムとも呼ぶことが出来る)からの高画質CT画像再構成用の処理140とである。
【0020】
方法100の処理110は、DLネットワーク135のオフライン訓練を実行する。処理110のステップ130において、ノイジーなデータ115及び最適化されたデータ120は、DLネットワークを訓練するのに訓練データとして使用され、ステップ130からの出力であるDLネットワークという結果になる。より一般的に、データ115は、欠陥提示データと呼ぶことが出来る。この欠陥提示データの「欠陥」とは、画像処理(例えば、ノイズ又はアーチファクト)を経て影響を受ける場合のある、任意の望まれない特徴とすることが出来る。同様に、データ120は、データ115における欠陥に比べて欠陥が少ないデータについて、「欠陥低減データ」「欠陥最小化データ」、或いは「最適化データ」と呼ぶことがある。データ115と120とに対する再構成画像を使用する例で、オフラインDL訓練処理110は、多数のノイジーな画像115を使用してDLネットワーク135を訓練する。当該多数のノイジーな画像115は、ノイジーな再構成画像から高画質画像に似ている画像を生み出すようDLネットワーク135を訓練するために、高画質画像120に対応してペアにされている。
【0021】
方法100の処理140において、投影データ145はステップ150において補正され、その後ステップ160において、CT画像は画像再構成処理(例えば、逆ラドン変換)を使用して補正された投影データから再構成される。
【0022】
ステップ150において、投影データは、検出器オフセット(例えば、暗電流又はノイズが原因)、パイルアップ、検出器における量子効率の変動(例えば、検出器素子間或いはX線光子のエネルギーの関数として)等に対して、補正することが出来る。更に、これらの補正は、キャリブレーションデータ、経験的且つ公知のパラメータ(例えば、スキャナのジオメトリ、検出器素子、散乱除去グリッド等)に基づくことがある。
【0023】
ステップ160で、画像再構成は、逆投影法、フィルタ補正逆投影法、フーリエ変換に基づく画像再構成法、逐次画像再構成法(例えば、代数再構成法)、マトリクス反転画像再構成法、又は統計的画像再構成法を使用して実行することが出来る。
【0024】
ステップ170で、再構成画像は、DLネットワーク135を使用してデノイズされる。係るステップの結果は、高画質画像175である。このため、ステップ160におけるCT再構成から結果として生じるノイジーなCT画像は、オフライン訓練処理110により生成されたネットワークを適用しDLデノイジングアルゴリズムを使用して処理することが出来る。
【0025】
図1Bは、方法100の代わりの実施形態を示している。
図1Bに示された方法100’で、DLネットワーク135’は、画像再構成160後に再構成画像をデノイジングするのではなく、その前にサイノグラム復元のステップ170’に適用される。この場合にDLネットワーク135’は、高画質サイノグラム120に対応してペアにされた多数のノイジーなサイノグラム115を使用して、処理110’のステップ130’で訓練されたネットワークを表す。例えば、ステップ140’において、ローデータ145(例えばプレログ)は、ステップ150においてプレログ補正により処理され且つサイノグラムデータへと変換することが出来る。その後、サイノグラム復元ステップ170’と再構成ステップ160において、DLネットワーク135’は、サイノグラム復元へと適用され、サイノグラム補正の後に、高画質画像175を生成するのに画像再構成が適用される。
【0026】
また特定の実施形態において、DLネットワーク135’がサイノグラムを復元するために使用することが出来、そして高画質画像175を生成するのに単一の方法100においてDLネットワーク135が復元されたサイノグラムからの再構成画像をデノイズするために使用することが出来る、ということも検討される。
【0027】
図2A、2B、2C、そして2Dは、DLネットワーク135(135’)の様々な例を示している。
図2Aは、N個の入力、K番目の隠れ層、そして三つの出力を有する一般的な人工ニューラルネットワーク(ANN)の例を示している。各層は、ノード(又はニューロンとも呼ばれる)で出来ており、各ノードは、出力を生成するのに入力の重み付けられた合計を実行し、当該重み付けられた合計の結果をしきい値と比較する。ANNは、可変しきい値、結合重み、或いはノード数及び/又はノードの結合性など構造の詳細によって取得されたクラスのメンバーに対する関数のクラスを構成する。ANNにおけるノードは、ニューロン(或いはニューロンノードとも)呼ぶことがあり、当該ニューロンは、ANNシステムの異なる層の間に相互結合を有することが出来る。DLネットワーク135は、ニューロンの三つ以上の層を有し、また入力ニューロンと同数の出力ニューロンx
~
Nを有し、ここでNは再構成画像(サイノグラム)におけるピクセル数である。シナプス(つまり、ニューロン間の結合)は、計算におけるデータをマニピュレートする「重さ」と呼ばれる値(置き換え可能に「係数」又は「重み付け係数」とも呼ばれる)を記憶する。ANNの出力は、パラメータの三つのタイプに依存する。(i)ニューロンの異なる層間の相互結合パターン、(ii)相互結合の重さを更新するための学習プロセス、(iii)ニューロンの重み付けられた入力を係るニューロンの出力活性化へと変換する活性化関数、である。
【0028】
数学的に、ニューロンのネットワーク関数m(x)は、その他の関数の合成として更に定義することが出来る、その他の関数の合成ni(x)として定義される。これは、
図2に示された様に、変数間の従属状態を描いている矢印で、ネットワーク構造として便利に表すことが出来る。例えば、ANNは、非線形重み付けられた合計を使用することが可能であり、ここでm(x)=K(Σiwini(x))であり、またここでKは(「活性化関数」として通常呼ばれる)、シグモイド関数や双曲線正接関数,ReLU(Rectified Linear Unit)などのある所定の関数である。
【0029】
図2A(そして同様に
図2B)において、ニューロン(つまりノード)は、しきい値関数の周りに円で描かれている。
図2Aに示された非限定例について、入力は線形関数の周りに円として描かれ、矢印はニューロン間の方向づけられた結合を指す。特定の実施形態において、DLネットワーク135は、
図2A及び2Bにおいて例示された様な(例えば、方向づけられた非周期グラフとして表すことが出来る)順伝播型ネットワーク(feedforward network)である。
【0030】
DLネットワーク135は、ある程度最適な判断基準(例えば、後述されるようなステップ260やステップ130で使用されるような停止基準)で特定のタスクを解決する要素m*(ただし、要素m*は集合Fに含まれる。見つけるために、観察結果のセットを使用して、学習すべき関数Fのクラス内のサーチすることで、CT画像のデノイジングなど特定のタスクを達成するために、機能する。例えば、特定の実施形態において、次の式(1)で示される最適解(つまり、最適解のコストに比べてコストが小さい解は無いということ)に対するように、コスト関数C:F→Rを定義することにより、これを達成することが出来る。
【0031】
【0032】
ここで、m*は最適解である。コスト関数Cは、特定の解が解決される予定の問題(例えば、エラー)への最適解からどの程度離れているかの度合いである。学習アルゴリズムは、解空間にわたって逐次的に探し、可能な限り最小のコストを有する関数を見つけ出す。特定の実施形態において、当該コストは、データのサンプル(つまり、訓練データ)にわたって最小化される。
【0033】
図2Bは、DLネットワーク135が畳み込みニューラルネットワーク(CNN)である非限定例を示している。CNNは、画像処理に対し有益な特性を有するANNのタイプであり、従って画像デノイジング及びサイノグラム復元のアプリケーションに対し特に関連性がある。ニューロン間の結合性パターンが画像処理における畳み込みを表すことの出来る順伝播型ANNを、CNNは使用する。例えば、CNNは、受容野(receptive fields)と呼ばれる、入力画像の部分を処理する小さなニューロン収集の多層を使用することで、画像処理最適化に対して使用することが出来る。これらの収集の出力は、オリジナル画像のより良い表示を取得するのに、これらの収集の出力が重なるようにしてその後タイル張りにすることが出来る。この処理パターンは、畳み込み層とプーリング層とを交代することを有する多層にわたり、繰り返すことが出来る。なお、
図2Bにおいては前段層の全てのノードを使って次段層のノードを決定する全結合(フルコネクト)型のネットワークを例示した。この例示は、あくまでもDNNの一例を示したものである。CNNにおいては、前段層の一部のノードを使って次段層のノードを決定する疎結合(部分的な結合)型のネットワークになるのが一般的である。
【0034】
図2Cは、二次元画像を表す入力層から値を畳み込み層である第1の隠れ層へとマップするために適用されている5×5カーネルの例を示している。カーネルは、第1の隠れ層の対応するニューロンへと個別の5×5のピクセル領域をマッピングする。
【0035】
畳み込み層の後に続いて、CNNは、畳み込み層におけるニューロン集団の出力を組み合わせる、局所及び/又はグローバルプーリング層を含むことが可能である。更に、特定の実施形態において、CNNは、各層の終わりに或いは各層の後に、適用された点別の非線形性によって、畳み込み層及び全結合層の様々な組み合わせも含むことも可能である。
【0036】
CNNは、画像処理に対し、利点がいくつかある。フリーパラメータ数を減らし且つ生成を改善するために、入力の小さな領域について畳み込み演算が取り入れられる。CNNの特定の実施形態の重要な強みの一つとしては、畳み込み層における共有された重みの使用であり、つまり層における各ピクセルに対する係数として使用されるフィルタ(重みバンク)が同じということである。係る重要な強みは、メモリ設置面積を減らし、且つパフォーマンスを向上させる。その他の画像処理法と比較して、CNNは有利に比較的小さな前処理を使用する。これは、従来的アルゴリズムでは手動で設計されたフィルタを学習することについて、責任があるということを意味する。特徴をデザインする際の予備知識及び人的努力に対する依存の欠如が、CNNに対する主たる強みである。
【0037】
図2Dは、再構成三次元医用画像における近傍層間の類似性を活用する、DLネットワーク135の実施形態を示している。近傍層における信号は、元々高い相関性がある一方で、ノイズには相関性がない。つまり、一般的に、CTにおける三次元ボリューメトリック画像は、より多くのボリューメトリックな特徴を捉えることが出来るため、二次元画像を横断する単一のスライスに比べ、より多くの診断情報を提供することが出来る。当該所見に基づいて、ここに説明される方法の特定の実施形態は、CT画像を改善するためにボリューメトリックに基づく深層学習アルゴリズムを使用するものである。当該所見及び対応する方法は、MRIやPETなど、その他の医用撮像分野にも適用される。
【0038】
図2Dに示される通り、スライス及び近傍するスライス(つまり、中心となるスライスの直上及び直下)は、ネットワークに対する三つのチャネルとして特定される。これら三つの層へ、畳み込み層に対するM値を生成するのに、W×W×3カーネルがM回適用される。当該畳み込み層は、後に続くネットワーク層/階層(例えば、プーリング層)に対してその後使用される。当該W×W×3カーネルは、ボリューメトリック画像データの三つのスライスへと適用される、三つのチャネルのカーネルのように個別に適用される三つのW×Wカーネルとしても考えられ且つ実行することも出来る。そして、その結果は、後続のネットワーク階層に対する入力として使用される、中心層に対する出力である。値Mは畳み込み層の所定のスライスに対する全フィルタ数であり、Wはカーネルサイズである(例えば、
図2CにおいてWは5である)。
【0039】
特定の実施形態において、DLネットワーク135は、単一のネットワークではない代わりに、いくつかのネットワークであり、それぞれはCTスキャンの異なる状態のセットに対して適用されている。例えば、DLネットワーク135は、信号対ノイズ比(SNR)に対する個別の範囲、或いはノイズレベルに対する範囲に対応する、一連のノイズクラスに従って適用する場合がある。CT画像における信号に関するノイズのレベルは、全通過光子数によく依存する。つまり、高X線束光子数は、低X線束光子数が低SNRという結果の一方で、高SNRという結果を招く、ということである。
【0040】
従って、異なるノイズレベルでの画像特性を捉えることは、結果として生じる画質に著しい影響を有するので、オフライン訓練処理110の有利な側面である可能性がある。ここに説明される方法の特定の実施形態は、特に低線量CT画像再構成に対し、ノイズレベルの異なる範囲に従って、異なるDLネットワーク135を訓練することにより、異なるSNRについて直面したノイズの違いを対処する。
【0041】
オフライン訓練処理110において、ノイジーな画像は、それらのノイズレベル範囲に基づいて分類される。各クラス/範囲に対し、DLネットワーク135の個別のネットワークが訓練される。つまり、DLネットワーク135は、それぞれが、特定のノイズレベル範囲に対応し、且つノイズレベル範囲に対応するノイジーな画像115を使用して訓練された、いくつかのネットワークを含む。
【0042】
その次に、CT画像ノイズ低減ステップ170において、再構成画像のノイズレベルが測定され、再構成画像のどのノイズレベル範囲に属するかを決定する。当該決定に基づいて、再構成画像を後処理するためのステップ170を実行するよう、対応するネットワークがDLネットワーク135から選択される。ノイズレベルに基づいた訓練処理を実行することで、特定のノイズレベルに特有のノイズテクスチャ及びアーチファクト(例えば、低線量の状況でのストリークアーチファクト)を除去するために、最適化することが出来る。ノイズレベルを無視することにより、画質が低下することがあり、また残りの望まれないノイズ特定が残ってしまいかねない。
【0043】
更に、特定の実施形態において、異なるネットワークは、画像化されている解剖学的特徴のタイプに基づいて、DLネットワーク135について訓練することが出来る。異なる解剖学的構造及び/又は臨床的アプリケーションに対応する画像特徴をより良く捉え且つ表すために、診断画像は、個別の臨床的アプリケーション及び/又は解剖学的構造に合わせて作られた品質を有する最適化画像120を使用して、また特定の実施形態では、合わせて作られた最適化戦略及びコスト関数を使用して、最適化することが出来る。例えば、訓練データは、解剖学的構造に基づいて、分類することが出来る(例えば、頭部、腹部、肺、心臓)。その上、訓練データは、解剖学的構造に従って、更に分類することが出来る。例えば、これらの特別に合わせて作られたDLネットワーク135は、各解剖学的構造及び/又は臨床或いは診断アプリケーションに対して、ノイジー且つ高画質画像の複数のペアを生成することにより、特別に生成された訓練データを使用して訓練することが出来る。当該複数のペアは、特定の解剖学的構造について、及び/又は所定の臨床或いは診断目的に対する特定の再構成パラメータ或いはカーネルで、再構成される。
【0044】
その後、訓練データの分類は、異なる解剖学的構造及び/又は臨床的アプリケーションに対して訓練された個別のDLネットワーク135を訓練するのに使用される。DLネットワーク135を前提として、ステップ170は、生体構造/アプリケーションに基づいて選択された、適切な訓練されたネットワーク(複数のネットワーク)を使用してCT画像ノイズ低減を実行する。
【0045】
方法100及び100’を実行するための上記での変形例は、再構成画像をデノイズするのに方法100を使用して例示されているが、各変形例は、ステップ160における画像再構成に先立ち、サイノグラムを格納するのに方法100と共に使用することが出来る。
【0046】
更に、方法100は、再構成画像のデノイジングの代わりに、或いはデノイジングに加えて、アーチファクトを軽減するのに使用することが出来る。例えば、大きな角度でのコーンビームCT(CBCT)スキャンは、素早い/短いスキャン時間からの恩恵を受けるアプリ―ケーションに対して望ましい。しかし、大きな角度でのCBCTは、様々なアーチファクトから被害を受ける可能性もある。方法100がアーチファクト低減に対し合わせて作られた場合に、ステップ130及び170は、以下の様に変形可能である。
【0047】
ステップ130において、DLネットワーク135の構造は、DLネットワーク135を訓練することでアーチファクト補正に対して最適化するために、アーチファクトを示すアーチファクトデータ115及びアーチファクトが殆ど無いアーチファクトの無い(artifact free)データ120を使用して変形することが可能である。例えば、アーチファクトの無いデータ120は、所定のしきい値を下回るアーチファクトを維持するよう選択された処理を使用して、生成することが出来る。特定の実施形態において、高画質画像120を含む訓練データは、最適化されたスキャン条件(例えば、高線量、小さいコーン角度、公知の内部物質)を使用して生成することが出来て、対応する低画質画像115は、未解決のアーチファクト(例えば、スキャン条件及び再構成処理は、投影データ145を生成するのに使用されるスキャンにわたって、且つステップ160に使用される再構成法にわたって、使用されるということが予測される/デフォルトである)を提示するスキャン条件を使用して生成することが出来る。その場合に、DLネットワーク135は、DLネットワーク135の深層学習構造を最適化することにより、低画質画像115からアーチファクトを除去するよう訓練される。
【0048】
ステップ170で、ステップ160からの再構成画像は、臨床医がより確かな自信を持って診断することが出来るような高画質且つクリーンな画像である、高画質画像175を出力するのにDLネットワーク135から適切なネットワーク構造を使用して処理される。選択されたDLネットワーク135は、ステップ160において生成された再構成画像を生じさせているスキャン及び再構成の条件及びパラメータが、選択されたDLネットワーク135を訓練するのに使用されたデータ115の条件及びパラメータに対応する場合に、適切なネットワーク構造を有する。
【0049】
大きなコーン角度スキャニングプロトコルの場合の例を検討する。被検体のモーションアーチファクトを低減し且つ画像の一時的な解像度を改善するために、大きなコーン角度スキャニングプロトコルは、頭部、心臓部、そして機能的なCT画像に対してよく使用される。しかし、入射X線ビームの角度制限により、大きなコーン角度位置での画像は、再構成画像ボリュームにおける特定のボリュームピクセルを再構成するのには不十分な可能性があり、結果的にアーチファクトとなる。z軸補間など経験的な方法は、大きなコーン角度問題を補償するよう提案されたが、係るこれらの方法はアーチファクトの完全なる除去とならない。大きなコーン角度でアーチファクトをより良く除去するために、DLネットワーク135は、コーンビームアーチファクトを低減するよう画像ドメインにおいて最適化且つ適用されることがある。これは、訓練データ115と120とを、スキャンされた同じ被検体又は被検体についての画像の複数のペアとなるように選択することで、達成することが出来る。当該画像の複数のペアにおいて、各ペアは大きなコーン角度でのプロトコルを使用する一つの画像及び小さなコーン角度でのプロトコルを使用する画像(ヘリカルスキャンを使用)を含む。つまり、アーチファクトデータ115は、投影データ145(例えば、320セグメント)を生成するのに使用されるであろう同じ大きなコーン角度でのプロトコルを使用して生成することが出来、且つ最適化されたデータ120は、所定のしきい値を下回るコーンビームアーチファクトを維持する小さな角度でのプロトコル(例えば、80又はそれよりも小さなセグメント)を使用して生成することが出来る。その後、DLネットワーク135は、320セグメントで大きなコーン角度プロトコルを使用して生成された投影データ145から再構成された画像におけるアーチファクトを補正するのに最適化されるだろう。
【0050】
図3は、ステップ130におけるDLネットワーク135を訓練するのに使用される教師あり学習の一実施形態を示している。教師あり学習において、訓練データのセットが取得され、DLネットワークによって処理されたノイジーなデータ115が最適化されたデータ120と厳密に適合するように、ネットワークはエラーを減らすのに逐次的にアップデートされる。言い換えれば、DLネットワークは、訓練データにより暗示されたマッピングを推定し、コスト関数は、DLネットワーク135の現在の生まれ変わりをノイジーなデータ115へと適用することにより生み出された、最適化されたデータ120及びデノイズされたデータ間の不一致に関連するエラー値を生み出す。例えば、特定の実施形態において、コスト関数は、平均二乗エラーを最適化するのに中間二乗エラーを使用することが出来る。多層パーセプトロン(multilayer perceptrons:MLP)ニューラルネットワークの場合に、逆伝播アルゴリズムは、勾配降下法を使用して中間二乗エラーに基づくコスト関数を最小化することにより、ネットワークを訓練するために使用することが出来る。
【0051】
ニューラルネットワークモデルを訓練するとは、コスト基準(つまり、コスト関数を使用して計算されたエラー値)を最小化する許可されたモデルのセット(又は、ベイズフレームワークにおいて、許可されたモデルのセットにわたる分布の決定)から一つのモデルを選択することを基本的に意味する。一般的に、DLネットワークは、ニューラルネットワークモデルの訓練に対する多数のアルゴリズムの任意のアルゴリズムを使用して訓練することが出来る(例えば、最適化理論や統計推定を適用することにより)。
【0052】
例えば、人工的なニューラルネットワークの訓練において使用される最適化法は、実際の勾配を計算するのに逆伝播を使用して、勾配降下のあるいくつかの形式を使用出来る。これは、ネットワークパラメータについてのコスト関数の導関数を取ることにより、そしてその後勾配に関する方向における係るパラメータを変更することで、行われる。逆伝播訓練アルゴリズムは、最急降下(例えば、可変学習率で、可変学習率及び運動量、そして弾性逆伝播(resilient backpropagation))、準ニュートン法(例えば、ブロイデン-フレッチャ-ゴールドファーブ-シャノン、ワンステップ割線(one step secant)、そしてレーベンバーグ-マーカート)、又は共役勾配法(例えば、フレッチャー-リーブス更新、ポラク-リビエール更新、ポウェル-ビアル再開、そして目盛り付き共役勾配)である。更に、遺伝子発現プログラミング、焼き鈍し法、期待値最大化、非母数法及び粒子群最適化などの発展的方法も、DLニューラルネットワーク135を訓練するのに使用することが出来る。
【0053】
図3は、訓練データを使用するネットワークの訓練用の方法100のステップ130(そして方法100’のステップ130’についても同様に)の実施形態のフロー概要図の非限定例を示している。データ115は、ノイジーな画像又はアーチファクトを提示する画像とすることが出来る。例えば、アーチファクトは、特定の再構成法から生じることがあるし、或いは投影データの取得(例えば、大きなコーン角度でのビーム取得)に対して使用される方法から生じることもある。
【0054】
ステップ130のステップ210で、DLネットワーク135の係数に対する最初の推測(initial guess)が生成される。例えば、当該最初の推測は、画像化されている領域の先験的な知識に基づいて、又は一つ或いは複数のデノイジング法、エッジ検出法、及び/又はブロッブ(blob)検出法に基づくことがある。更に、当該最初の推測は、上記で説明した様に、異なるノイズレベルに関連した訓練データについて訓練されたDLネットワーク135に、又は異なるCTスキャン法の使用に、基づくことがある。
【0055】
例示的なデノイジング法は、線形平滑フィルタ、異方性拡散、非局所的平均、非線形フィルタを含む。線形平滑フィルタは、ローパスフィルタ又は平滑操作を表すマスクを用いてオリジナル画像を畳み込むことで、ノイズを除去する。例えば、ガウスのマスクは、ガウス関数により決定される要素を具備する。当該畳み込みは、各ピクセルの値を係るピクセルに近傍するピクセルの値により近づけるようとするものである。異方性拡散は、熱伝導方程式と同様の平滑偏微分方程式の下で画像を展開させることにより、鮮明な境界を維持しながらノイズを除去する。メジアンフィルタは非線形フィルタの一例であり、もし適切に設計された場合には、非線形フィルタも境界を保ちぼかしを回避することが出来る。メジアンフィルタは、階数条件ランク選択(Rank-conditioned rank-selection:RCRS)フィルタの一例であり、明らかなぼかしアーチファクトを取り込むことなく、画像から塩胡椒ノイズを除去するために適用することが出来る。更に、画像化される領域が、均一なエリアの間の鮮明な境界によってはっきり分けられた広い領域にわたって均一性であるいう仮定を支持する場合に、全変動(TV)最小化正則化項を使用するフィルタを、使用することが出来る。TVフィルタは、非線形フィルタの別例である。加えて、非局所的平均フィルタリングは、画像における同様のパッチにわたる重みづけられた平均を使用して、デノイズされたピクセルを決定する例示的な方法である。
【0056】
ステップ130のステップ220において、エラー(例えば、コスト関数)は、ネットワーク処理されたノイジーなデータ115及び最適化されたデータ120間で計算される。当該エラーは、上記に説明された様なコスト関数を含む、画像(サイノグラム)データ間の任意の公知のコスト関数又は距離測定を使用して計算することが出来る。
【0057】
ステップ130のステップ230において、エラーにおける変化がネットワークにおける変化の関数として計算することが出来(例えば、エラー勾配)、また係るエラーにおける当該変化は、DLネットワーク135の重み/係数への後続の変化に対する方向及びステップサイズを選択するために使用することが出来る。この様な方法でエラーの勾配を計算することは、勾配降下最適化法の特定の実施形態とも一致する。特定のその他の実施形態において、当業者には理解されているように、当該ステップは、省略しても良いし、及び/又は、別の最適化アルゴリズムに従う別のステップ(例えば、焼き鈍し法又は遺伝的アルゴリズムの様な非勾配降下最適化アルゴリズム)と置き換えられても良い。
【0058】
ステップ130のステップ240において、新たな係数のセットがDLネットワーク135に対して決定される。例えば、重み/係数は、ステップ230で計算された変化を使用して勾配降下最適化法又は過剰弛緩促進法(over-relaxation acceleration method)における様に、アップデートすることが出来る。
【0059】
ステップ130のステップ250において、新たなエラー値がDLネットワーク135のアップデートされた重み/係数を使用して計算される。
【0060】
ステップ130のステップ260において、ネットワークの訓練が完成したかどうかを決定するのに、所定の停止基準が使用される。例えば、所定の停止基準は、新たなエラー及び/又は実行された総逐次数がしきい値を超えるかどうかを判断することが出来る。例えば、停止基準は、新たなエラーが所定のしきい値を下回ったか、又は最大逐次数にまで達したか、のどちらかの場合に満たすことが出来る。停止基準が満たされない場合に、処理130は、ステップ230へと戻って繰り返すことにより、新たな重み及び係数を使用して、逐次ループの開始へと戻り継続することになるだろう(係る逐次ループは、ステップ230、240、250、260を含む)。停止基準が満たされた場合に、処理130は完了である。
【0061】
図3に示されたエラー最小化に対する実施形態に加えて、処理130は、例えば、局所最小化法、凸最適化法、そしてグローバル最適化法を含む、多くのその他の公知の最小化法のうちの一つを使用することが出来る。
【0062】
コスト関数(例えば、エラー)が大域的最小点とは異なる極小値を有する場合に、ロバスト確率的最適化処理は、コスト関数の大域的最小点を見つけ出すのに有益である。ある極小値を見つけ出すための最適化法の例は、ネルダー-ミードシンプレックス法、勾配降下法、ニュートン法、共役勾配法、シューティング法、又はその他の公知の局所最適化法のうちの一つとすることが出来る。遺伝的アルゴリズム、焼き鈍し法、全数検索、区間法、そしてその他の従来的な決定論的、確率的、発見的、そしてメタヒューリスティック(metatheuristic)法を含む、広域な最小値を探し出すための公知の方法も沢山ある。これらの任意の方法は、DLネットワークの重み及び係数を最適化するのに使用することが出来る。更に、ニューラルネットワークは、逆伝播法を使用して最適化することも出来る。
【0063】
図4及び
図5は、ステップ170の実施形態のフロー概要図を示している。
図4は、全てのANNに対する一般則であり、
図5は、特定のCNNに対するものである。更に、
図4及び
図5は、DLが再構成画像ではなくサイノグラムデータについて操作する代用で、ステップ170’へと適用することも可能である。
図4に示されたステップ170の実施形態は、DLネットワーク135をステップ160で再構成された画像へと適用することに対応する。畳み込み層の後に続いて、CNNは、畳み込み層におけるニューロン集団の出力を組み合わせる、局所及び/又はグローバルプーリング層を含むことが可能である。
【0064】
ステップ410において、ニューロン(つまり、ノード)間の結合に対応する重み/係数は、再構成画像のピクセルに対応する個別の入力へと適用される。
【0065】
ステップ420において、重み付けられた入力が合計される。次の層についての所定のニューロンに結合しているゼロでない重み/係数だけが、前の層において表された画像において領域的に局所化された場合に、ステップ410及び420の組み合わせは、畳み込み操作を実行することと基本的には同質である。
【0066】
ステップ430において、個別のしきい値は、個別のニューロンの重み付けられた合計へと適用される。
【0067】
処理440において、重み付け、合計、そして活性化のステップは、後続の層のそれぞれに対して繰り返される。
【0068】
図5は、ステップ170の別の実施形態のフロー概要図を示している。
図5に示されたステップ170(170’)の実施形態は、DLネットワーク135に対するCNNの非限定実施形態を使用して、再構成画像(サイノグラムデータ)に関する操作に対応する。
【0069】
ステップ450において、畳み込み層についての計算は、前述の内容で説明された通りに、且つ当業者の畳み込み層の理解に従って、実行される。
【0070】
ステップ460において、畳み込み層からの出力は、プーリング層への入力である。係るプーリング層とは、プーリング層の前述の説明に従って実行され、且つ当業者のプーリング層の理解に従って実行される。
【0071】
処理470において、続いてプーリング層がある畳み込み層のステップは、所定数の層で繰り返すことが出来る。混在した畳み込み及びプーリング層に続いて(混在されて)、プーリング層からの出力は、
図4におけるANN層に対して提供された説明に従って実行された、ANN層の所定数へと与えることが出来る。最終出力は、所望のノイズ/アーチファクトの無い特徴を有する再構成画像となるだろう。
【0072】
図6は、CT装置又はCTスキャナに含まれる放射線ガントリの実施例を描いている。
図6に図示されるように、放射線ガントリ500は側面から見て描かれており、X線管501、環状フレーム502、そして多列又は2次元アレイ型X線検出器503を更に含む。X線管501及びX線検出器503は、環状フレーム502上に被検体OBJを横切って正反対に取り付けられ、環状フレーム502は回転軸RAの回りに回転可能に支持される。被検体OBJが図示された頁の奥の方向又は手前の方向の軸RAに沿って移動されながら、回転ユニット507は環状フレーム502を0.4秒/回転もの高速で回転させる。
【0073】
第1の実施形態に係るX線コンピュータ断層撮像(CT)装置は、付随する図面を参照しながら以下に説明される。X線CT装置は、様々なタイプの装置を含むことに留意されたい。具体的には、X線管とX線検出器とが検査される予定の被検体の周辺を一緒に回る回転/回転型機構と、そして多数の検出器素子がリング状又は水平状に配置されており、X線管のみが検査される予定の被検体の周辺を回る固定/回転型機構とがある。本実施形態は、いずれのタイプにも適用可能である。今回は、現在の主流である回転/回転型機構が例示される。
【0074】
マルチスライスX線CT装置は高電圧発生器509を更に含み、X線管501がX線を生成するように、スリップリング508を通して、高電圧発生器509はX線管501に印加される管電圧を生成する。X線は、被検体OBJに向かって照射され、被検体OBJの断面領域が円で表される。例えば、第1のスキャンにわたる平均的なX線エネルギーを有するX線管501は、第2のスキャンにわたる平均的なX線エネルギーよりも小さい。このようにして、二回以上のスキャンを異なるX線エネルギーに対応して取得することが出来る。X線検出器503は、被検体OBJを通り抜けてきた照射X線を検出するために、被検体OBJを挟んでX線管501から反対側の位置にある。X線検出器503は、個々の検出器素子又は検出器ユニットを更に含む。
【0075】
CT装置は、X線検出器503から検出された信号を処理するための、その他のデバイスを更に含む。データ収集回路又はデータ収集システム(DAS)504は、各チャネルに対するX線検出器503からの出力信号を電圧信号に変換し、係る電圧信号を増幅し、更にその電圧信号をデジタル信号へと変換する。X線検出器503及びDAS504は、1回転当たりの所定全投影数(TPPR)を処理するよう構成されている。
【0076】
上記で説明されたデータは、非接触データ送信装置505を通して、放射線ガントリ500外部のコンソール内に収容された、前処理デバイス506へと送られる。前処理デバイス506は、ローデータに関する感度補正など、特定の補正を実行する。格納部512は、再構成処理直前のステージで、投影データとも呼ばれる結果データを格納する。格納部512は、再構成デバイス514、入力デバイス515、表示部516と共に、データ/制御バス511を通して、システムコントローラ510に接続されている。システムコントローラ510は、CTシステムを駆動させるのに十分なレベルに達するまで電流を制限する電流調整器513を制御する。
検出器は、どんな世代のCTスキャナシステムであっても、被検体に対して回転及び/又は固定される。実施形態において、上に説明されたCTシステムは、第三世代ジオメトリシステムと第四世代ジオメトリシステムとが組み合わせられた例とする場合がある。第三世代ジオメトリシステムにおいて、X線管501とX線検出器503とは、環状フレーム502上に正反対に取り付けられ、環状フレーム502が回転軸RAの周りを回転する時に、被検体OBJの周りを回転する。第四世代ジオメトリシステムにおいて、検出器は被検体の周辺に固定して取り付けられており、X線管は被検体の周辺を回転する。代替的な実施形態において、放射線ガントリ500は、Cアーム及びスタンドによって支持されている、環状フレーム502上に配置された多数の検出器を有する。
【0077】
格納部512は、X線検出器503でX線照射量を示す測定値を格納することが出来る。更に、格納部512は、方法100の様々なステップを実行するための専用プログラム及び/又は低カウントデータ補正及びCT画像再構成のための方法100’を格納することが出来る。
【0078】
再構成デバイス514は、方法100及び/又は方法100’の様々なステップを実行することが出来る。更に、再構成デバイス514は、必要に応じてボリュームレンダリング処理や画像差処理など、前再構成処理画像処理を実行することが出来る。
【0079】
前処理デバイス506によって実行された投影データの前再構成処理は、例えば検出器キャリブレーション、検出器非直線性、極性効果のための補正を含むことが出来る。更に、前再構成処理は、方法100及び/又は方法100’の様々なステップを含むことも出来る。
【0080】
再構成デバイス514によって実行される後再構成処理は、画像のフィルタリングやスムージング、ボリュームレンダリング処理、そして画像差処理を、必要に応じて含むことが出来る。画像再構成処理は、様々なCT画像再構成法に加え、方法100及び/又は方法100’の様々なステップを実行出来る。再構成デバイス514は、例えば投影データ、再構成画像、キャリブレーションデータやパラメータ、そしてコンピュータプログラムを格納するのに格納部を使うことが出来る。
【0081】
再構成デバイス514は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は複合プログラマブル論理デバイス(CPLD)など、個々の論理ゲートとして実行可能な、CPU(中央演算処理装置)を含むことが出来る。FPGA又はCPLD実行は、VHDL、ベリログ、又は任意のその他のハードウェア記述言語でコード化されていてもよく、そして当該コードはFPGA又はCPLDにおいて直接電子メモリ内に格納されてもよいし、あるいは別箇の電子メモリとして格納されてもよい。更に、格納部512は、ROM、EPROM、EEPROM(登録商標)、又はFLASHメモリなど、不揮発性メモリであってもよい。格納部512は、スタティックRAM、或いはダイナミックRAM等のように揮発性とすることも出来、電子メモリだけでなくFPGA或いはCPLDとメモリとの間の相互作用を管理するマイクロコントローラ或いはマイクロプロセッサ等の処理部が設けられることもある。
【0082】
代替的に、再構成デバイス514におけるCPUは、ここで説明された機能を実行するコンピュータ読み取り可能命令のセットを含むコンピュータプログラムを実行することが出来、当該コンピュータプログラムは、任意の上述の非一時的電子メモリ及び/又はハードディスクドライブ、CD、DVD、FLASHドライブ、又はその他の任意の既知の格納媒体に格納されている。更に、コンピュータ読み取り可能命令は、ユーティリティアプリケーション、バックグラウンドデーモン、又はオペレーティングシステムの構成要素、又はそれらの組み合わせで提供されてもよく、所定のプロセッサ、所定のオペレーティングシステムや、当業者にとっては既知のその他のオペレーティングシステムと一体となって実行する。更に、CPUは、命令を実行するために並行して協同的に動く、マルチプルプロセッサとして実行されてもよい。
【0083】
一実施形態において、再構成画像は、表示部516上に映し出されてよい。当該表示部516は、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、OLED、LED、又は当業者にとって既知のその他のディスプレイであってもよい。
【0084】
格納部512は、ハードディスクドライブ、CD-ROMドライブ、DVDドライブ、FLASHドライブ、RAM、ROM、又は当業者にとって既知のその他の格納メディアであってもよい。
【0085】
上で説明された様に、方法100及び100’は、陽電子放出断層撮像(PET)データ、又は磁気共鳴撮像(MRI)データでも使用することが出来る。
【0086】
方法100(100’)は、
図7に示されたMRIシステム700の非限定例の様に、MRIシステムを使用して収集されたMRIデータを使用しても、実行することが出来る。MRIは、励起で生成された磁気共鳴信号データから画像を生成するのに、ラモーア周波数を有する高周波(RF)パルスによって静磁場に配置された被検体の核スピンを磁気的に励起する撮像スキャン法である。
【0087】
図7は、開示された実施形態の主題の一つ又は複数の側面に従って、磁気共鳴撮像(MRI)システム700の例示的な概要の非限定例を描いている。MRIシステム700は、ガントリ710(概略的な断面図で描かれている)と、相互作用した様々な関連するシステム要素とを含む。少なくともガントリ710は、シールドルームに一般的には配置されている。
図7に描かれたMRIシステムジオメトリは、静磁場B0磁石712、Gx、Gy、Gzの傾斜磁場コイルセット714、大きな全身RFコイル(WBC)アセンブリ716、の実質的に同軸なシリンダー状ジオメトリを含む。物理的なGx、Gy、Gz勾配軸は、GRO、GPE、GSS(読み出し、フェーズエンコード、スライス選択)機能的軸を作り出すような方法で、制御することが出来る。円筒の横軸に沿った複数のエレメントコイルのアレイは、被検体テーブル711によって支持された被検体709の胸部を実質的に包括するように示された撮像ボリューム718に対応する。小さなRFコイル719は、画像ボリューム718における被検体709の頭部により近くに結び付けて示されている。RFコイルは、表面コイル又はアレイ、又は同様の物とすることが出来、そして頭蓋骨、腕、肩、肱、手首、膝、脚、胸部、背骨等の特定の身体部分に対して特注され形作られることが出来る。MRIシステムコントローラ722は、MRIシーケンスコントローラ730と相互作用し、Gx、Gy、Gz傾斜磁場コイルドライバ732、並びにRF送信部734及び送受信スイッチ736(送受信両方に対し同じRFコイルが使用された場合に)を、順番に制御する。MRIシーケンスコントローラ730は、例えば、タイムシフトしたGSSを伴う高速スピンエコー(FSE)パルスシーケンスを含むデータ収集シーケンスの実行のために、適切なプログラムコード構造738を含む。MRIシステムコントローラ722も、プリンタ728、キーボード726、そして表示部724と選択的にインターフェースを取ることが出来る。
【0088】
様々な関連したシステム要素は、処理された画像データを作り出し、またその後表示部724へと送るよう構成されたデータプロセッサ742へと入力を提供する、RFレシーバ740を含む。MRIデータプロセッサ742は、MRI画像記憶部746に格納された時間が推移したGSS勾配を伴うパルスシーケンスの以前に収集されたデータ収集へとアクセスするために、またコード構造750に格納された方法100及び/又は方法100’の様々なステップ、並びにMRI画像再構成プログラムコード構造744の様々なステップを実行するようにも、構成されている。
【0089】
図7に図示されたものは、MRIシステムプログラム格納(格納部)750の一般化された表現であり、プログラムコード構造(例えば、方法100及び/又は方法100’の様々なステップを実行するために、グラフィカルユーザインターフェースを定義し且つに操作者入力をグラフィカルユーザインターフェースへと受け入れるため等)が、MRIシステムの様々なデータ処理要素にアクセス可能な非一時的コンピュータ読み取り可能格納媒体に格納されている。当該プログラム750は、少なくとも一部分は、必要に応じ様々に関連したシステムの異なる要素へとセグメントされ直接接続することが出来る。
【0090】
図8A及び8Bに示されたPETスキャナ800の非限定例を使用して収集されたPETデータを用いる方法100(100’)の実施形態へと説明を移す。陽電子放出断層撮像(PET)撮像において、放射性医薬品造影剤は、注入、吸入、経口摂取によって画像化される予定の被検体内へと取り込まれる。薬剤投与の後、造影剤の物理的且つ生体分子的な特徴は、被検体の身体内の特定の場所で造影剤が集中する要因になる。造影剤の実際の空間分布、造影剤の蓄積の領域の輝度、そして造影剤の投与から最終的な除去までのプロセスの動態は全て、臨床的な意義を有する可能性のある要素である。当該処理にわたり、放射性医薬品造影剤に付着した陽電子放出は、半減期、分岐比など、アイソトープの物理的特性に従って、陽電子を放出する。放射性核種が陽電子を放出し、そして放出した陽電子が電子と衝突した場合に、陽電子と電子とが結合される箇所で、消滅イベントが発生する(例えば、消滅イベントは、ほぼ180度離れて移動する、二本のガンマ線(511keV)を生み出すことがある)。
【0091】
断層撮像再構成原理によるトレーサの時空分布を再構成するために、検出された各イベントは、当該イベントのエネルギー(つまり、生成された光の量)や、その位置、またそのタイミングについて特徴付けられる。二本のガンマ線を検出することで、また係る二本のガンマ線の位置の間に線、つまり同時計数された二つの検出器を結ぶ反応線(Line-of-Response:LOR)を引くことで、可能性のある相互作用の線を生成するために、オリジナルの消滅の可能性の高い位置を決定することが出来る。これらの線を多数蓄積することにより、且つ断層撮像再構成処理を使用することにより、放射線医薬品の分布を再構成することが出来る。更に、厳密な時間(数百のピコセカンド)飛行時間(time-of-flight:TOF)計算の使用により、LORに沿ったイベントの可能性の高い位置についての追加情報を加えることも出来る。イベントの多数の線を集めることで、被検体の画像は、断層撮像再構成を通して推定することが出来る。
【0092】
PET撮像システムは、被検体から放出するガンマ線を検出するのに、互いに向かって位置した検出器を使用することがある。検出器のリングは、各角度から来るガンマ線を検出するために、使用することが出来る。この様にして、PETスキャナは、当方的である放射線を可能な限り多く捉えられるように、実質的には円筒形とする場合がある。PETスキャナは、数千の個別のクリスタル(つまり、シンチレータ素子)で構成することが出来、当該クリスタルは、個別のシンチレーションイベントからの光パルスを測定するのに光検出器でモジュールにおいてまとめられた二次元シンチレータアレイにアレンジされている。光検出器により測定された関連のあるパルスエネルギーは、シンチレーションイベントの位置を特定するのに使用される。クリスタルの長さ又は深さは、ガンマ線がどの様に捉えられるかを決定することだろう。シンチレーションクリスタルの一例は、LYSO(又はLu1.8Y0.2SiO5:Ce或いはリン酸オルトケイ酸塩)である。その他のクリスタルを使用する場合もある。
【0093】
アンガー論理及びクリスタル復号を使用することにより、各シンチレーションイベントの原因が特定のシンチレータに由来するとして特定することが出来る。シンチレーションイベントは、初めに等方的に放射する光を生成するだろう。係る光の空間分布は、四つの最も近い光検出器によって検出される前に、シンチレータ表面とリフレクターとの相互作用によって、修正することが出来る。これらの四つの光検出器のそれぞれによって測定された関連するパルスエネルギーから、当該四つの光検出器に関連するシンチレーションイベントの位置を決定することが出来る。光検出器の関連するパルスエネルギーから位置情報を導出するための公式が、アンガー論理と呼ばれるものである。これらの位置は、ルックアップテーブルを使用して各シンチレータイベントにシンチレータ素子を割り当てるために、フラッドマップからルックアップテーブルを生成することにより、更に改良することが出来る。アンガー論理を使用して取得されたx及びy位置から、別個のシンチレータ素子へとマッピングするこの処理は、クリスタル復号と呼ばれる。
【0094】
図8Aと8Bは、長方形の検出器モジュールとしてそれぞれが構成された、多数のGRD(例えば、GRD1やGRD2、GRDN)を含むPETスキャナ800を示す。一実施形態によると、検出器リングは、40個のGRDを含む。別の実施形態では、GRDが48個存在するものもあり、PETスキャナ800に対してより大きなボアサイズを作るために、更に多くの数のGRDが使用される。
【0095】
各GRDは、ガンマ線を吸収し且つシンチレーション光子を放出する、個別の検出器クリスタルの二次元アレイを含むことが出来る。シンチレーション光子は、GRD内にも配置された光電子増倍管(PMTs)の二次元アレイによって検出することが出来る。ライトガイドは、検出器クリスタルのアレイとPMTsとの間に設けられる場合がある。更に、各GRDは、様々なサイズのPMTsを多数含むことが出来、係るPMTsのそれぞれは、複数の検出器クリスタルからのシンチレーション光子を受け取るよう配置されている。各PMTは、シンチレーションイベントがいつ発生したかを示すアナログ信号と、検出器イベントを生み出すガンマ線のエネルギーと、を作り出すことが出来る。その上、一つの検出器クリスタルから放出された光子は、一つ以上のPMTによって検出されることがあり、また、各PMTで生み出されたアナログ信号に基づいて、検出イベントに対応する検出器クリスタルは、例えばアンガー論理とクリスタル復号とを使って決定することが出来る。
【0096】
図8Bは、被検体OBJから放出されたガンマ線を検出するために配置された、ガンマ線(γ線)光子計数検出器(GRD)を有するPETスキャナシステムの概略図を示している。GRDは、各ガンマ線検出に対応する、タイミング、位置、そしてエネルギーを測定出来る。一実施形態において、ガンマ線検出器は、
図8A及び8Bに示されている様に、リング状に配置されている。検出器クリスタルは、シンチレータクリスタルとすることが出来る。当該シンチレータクリスタルは、二次元アレイで配置された個別のシンチレータ素子を有し、当該シンチレータ素子は任意のシンチレートする物質とすることが出来る。PMTsは、シンチレーションイベントの、アンガー論理及びクリスタル復号を可能にするために、各シンチレータ素子からのライトが多重PMTによって検出されるように、配置することが可能である。
【0097】
図8Bは、PETスキャナ800の配置の例を示しており、図には、天板816に横たわる画像化される予定の被検体OBJ、被検体周辺を囲うようにして配置されたGRD1からGRDNまでのGRDモジュール、天板816がある。GRDは、ガントリ840に固定して接続された円形構成要素820に固定して接続することが出来る。ガントリ840は、PET撮像装置のいくつもの部分を格納する。PET撮像装置のガントリ840は、被検体OBJと天板816とが通過出来るような開口アパーチャーと、GRDによって検出することが出来るような消滅イベントのために、被検体OBJから反対方向に放出されるガンマ線と、ガンマ線のペアについての偶然の一致を決定するために使用することが出来るタイミング及びエネルギー情報と、を含む。
【0098】
図8Bにおいて、ガンマ線検出データの収集、記憶、処理、そして分配のための回路及びハードウェアも示されている。回路とハードウェアとは、プロセッサ870、ネットワークコントローラ874、メモリ878、そしてデータ取得システム(DAS)876を含む。PET撮像装置は、GRDからの検出測定結果をDAS876、プロセッサ870、メモリ878、ネットワークコントローラ874へと送信するデータチャンネルも含む。データ取得システム876は、検出器からの検出データの取得、デジタル処理、そして送信を制御出来る。一実施例において、DAS876は、寝台816の移動を制御する。プロセッサ870は、ここで述べられたような、検出データからの画像再構成、検出データの前再構成処理、そして画像データの後再構成処理等を含む機能を実行する。
【0099】
プロセッサ870は、ここに述べられた方法100及び/又は100’を実行するよう構成することが出来る。プロセッサ870は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又はその他の複合プログラマブル論理デバイス(CPLD)など、個々の論理ゲートとして実行可能な、CPUを含むことが出来る。FPGA又はCPLDの実施例は、VHDL、ベリログ、或いは任意のその他のハードウェア記述言語でコード化することが出来、そして当該コードはFPGA又はCPLDにおいて直接電子メモリ内に格納することが出来るし、或いは別箇の電子メモリとして格納することも出来る。更に、メモリは、ROM、EPROM、EEPROM、又はFLASHメモリなど、不揮発性であってもよい。メモリは、静的又は動的RAMなど揮発性でもよく、電子メモリの他にもFPGA又はCPLDとメモリとの相互作用を管理するためのマイクロコントローラやマイクロプロセッサなどプロセッサが提供されていてもよい。
【0100】
代替的に、プロセッサ870におけるCPUは、方法100及び/又は方法100’の様々なステップを実行するコンピュータ読み取り可能命令のセットを含んでいるコンピュータプログラムを実行することが出来、当該コンピュータプログラムは、任意の上述の非一時的電子メモリ及び/又はハードディスクドライブ、CD、DVD、FLASHドライブ、又はその他の任意の公知の格納媒体に格納されている。更に、コンピュータ読み取り可能命令は、ユーティリティアプリケーション、バックグラウンドデーモン、又はオペレーティングシステムの構成要素、或いはそれらの組み合わせとして提供されてもよく、所定のプロセッサ、所定のオペレーティングシステム、当業者にとっては公知のその他オペレーティングシステムがプロセッサと一体となって実行する。更に、CPUは、命令を実行するために並行して協同的に動作する、マルチプルプロセッサとして実行することが出来る。
【0101】
メモリ878は、ハードディスクドライブ、CD-ROMドライブ、DVDドライブ、FLASHドライブ、RAM、ROM、又は当業者にとって公知のその他の電子格納メディアとすることが出来る。
【0102】
ネットワークコントローラ874は、PET撮像装置の様々な部分間とインターフェースを取ることがある。加えて、ネットワークコントローラ874は、外部ネットワークとインターフェースを取ることもある。理解されている通り、外部ネットワークは、インターネットなど公衆ネットワークや、LAN又はWANネットワークなど私的ネットワークや、これらの任意の組み合わせでも良く、PSTN又はISDNサブネットワークを含んでも良い。外的ネットワークは、有線で接続されていても良いし、無線でも良い。また無線ネットワークは、任意のその他の公知の通信の無線方式であっても良い。
【0103】
(第2の実施形態)
次に、第2の実施形態に係る医用画像処理装置について説明する。
【0104】
一般に、再構成画像のノイズ粒状性(例えば、画像上の濃度のばらつきに起因する粒状のランダムなノイズテクスチャ)は、撮像条件のうち、特に撮像視野(Field Of View:FOV)サイズ、再構成関数、X線線量によって影響を受ける。
【0105】
例えば、同一撮像部位につき、FOV以外の撮像条件、再構成関数、マトリックスサイズを同じにした場合、FOVが小さくなるに従って粒状性は粗くなる。特に、ノイズモデルを用いた再構成処理を行う場合には、FOVサイズの違いによる粒状性の影響を受け易くなる場合がある。また、撮像部位が骨である場合、通常は同一の(或いは近い値を持つ)再構成関数が用いられることが多い。その一方で、選択されるFOVサイズは、内耳部分の骨を撮像する場合には70mm~100mm、四肢の骨を撮像する場合には50mm~100mm、椎骨を撮像する場合には100mm~150mmといった具合に、撮像対象としての骨がどの部位の骨であるかによって異なる。その結果、同じ再構成関数を用いた場合であっても、表示される再構成画像間においてノイズ粒状性が異なることになる。このため、同一診断部位についてFOVサイズの異なる撮像を実行し複数の画像を観察する場合に、ノイズ粒状性の違いから、画像を比較するのが困難である等、作業性の低下を招く可能性がある。
【0106】
さらに、最適な再構成関数、設定されるFOVは、撮像部位が腹部、肺、胸部、頭部等であるかによって異なる。このため、表示される再構成画像のノイズ粒状性は、撮像部位毎に異なることになる。一方で、読影医師は、観察対象となる再構成画像については、撮像部位の異同に関わらず、同じノイズ粒状性で観察したいという場合もある。
【0107】
そこで、本実施形態に係る再構成デバイス514は、サイズが異なる複数のFOVに対応する複数のDNNを有し、FOVサイズの対応するDNNに再構成画像を入力し、FOVサイズに依存しない同一レベル(ユーザの所望レベル)のノイズ粒状性を有する再構成画像を出力するものである。
【0108】
なお、本実施形態において説明される機能は、第1の実施形態において説明した機能に加えて、或いは単独で適用することが可能である。また、本実施形態におけるDNNの入力層、中間層、出力層、活性化関数の選択、重みづけ係数の選択、CNNを含みうる構成等は、第1の実施形態において説明した通りである。本実施形態におけるDNNの訓練については後述する。
【0109】
図9は、本実施形態に係る再構成デバイス514のブロック図である。同図に示すように、再構成デバイス514は、再構成処理部5141、デノイズ処理部5142を具備している。以下、再構成処理部5141、デノイズ処理部5142のそれぞれの構成、機能について説明する。
【0110】
(再構成処理部5141の構成・機能)
再構成処理部5141は、ノイズ低減、アーチファクト低減を目的として投影データ上と画像データ上との二段階でノイズモデルを用いたノイズ低減処理を実行し、S/N比及び質感の高い再構成画像を生成する。なお、本再構成処理部5141において実行される処理は、第1の実施形態において説明したノイズ低減処理と組み合わせることも可能である。
【0111】
図10は、再構成処理部5141の概略構成の一例を示したブロック図である。同図に示すように、再構成処理部5141は、第1のノイズ取得部5141a、第2のノイズ取得部5141b、ノイズ推定部5141c、ノイズ低減処理部5141d、再構成画像生成部5141e、最適化処理部5141f、更新処理部5141g、ブレンド処理部5141hを有している。
【0112】
第1のノイズ取得部5141aは、対数変換前の投影カウントデータに対して、システムモデル(装置ジオメトリ等の装置固有の特性を考慮したスキャナーモデル等)を利用してノイズ量を推定する。
【0113】
第2のノイズ取得部5141bは、対数変換前の投影カウントデータに対して統計学的ノイズモデル(各X線量帯におけるフォトンノイズと電気的ノイズとを考慮した統計学的なノイズモデル)を利用してノイズ量を推定する。
【0114】
ノイズ推定部5141cは、第1のノイズ取得部5141a、第2のノイズ取得部5141bのそれぞれにおいて推定された各ノイズ量に基づいて、対数変換前の投影カウントデータについての推定ノイズの総量を取得する。
【0115】
ノイズ低減処理部5141dは、ノイズ推定部5141cにおいて推定されたノイズ量に従って、対数変換前の投影カウントデータに対しノイズ低減処理を実行する。また、ノイズ低減処理部5141dは、ノイズ低減された対数変換前の投影カウントデータに対数変換等を実行し出力する。
【0116】
再構画像生成部5141eは、ノイズ低減処理部5141dより受け取った(ノイズ低減処理及び対数変換後の)投影データを用いた再構成処理を実行し、再構成画像を生成する。この再構画像生成部5141eが実行する再構成処理は、逐次近似再構成処理(フルIR処理)、フィルタードバックプロジェクション処理(FBP処理)、IR処理とFBP処理の双方を用いた処理(ハイブリッド処理)のいずれであってもよい。
【0117】
最適化処理部5141fは、解剖学的モデルを用いて、再構画像生成部5141eより受け取った再構成画像又は更新処理部5141gからフィードバックされる更新処理後の再構成画像に対し、三次元情報を用いて鮮鋭度の高い構造を維持すると同時に、画像データ上に存在するノイズを選択的に除去する最適化処理を実行する。また、最適化処理部5141fは、再構画像生成部5141eより受け取った再構成画像に対し、所定の平滑化処理を実行する。
【0118】
更新処理部5141gは、最適化処理部5141fから出力される、最適化処理後の画像データと平滑化処理後の画像データとを用いて、再構成画像の更新処理を実行する。更新後の再構成画像は再び最適化処理部5141fへと出力される。更新処理部5141gと最適化処理部5141fとの間で、所定の条件を満たすまで、上述した最適化処理、平滑化処理、更新処理が繰り返し実行される。
【0119】
ブレンド処理部5141hは、更新処理部5141gから出力された再構成画像と、再構画像生成部5141eから出力された(初期)再構成画像とを所定の比率でブレントし、S/N比を向上させつつ画像データ上でノイズ粒状性を維持し、より自然な質感を有する再構成画像を生成する。
【0120】
なお、更新処理部5141gと最適化処理部5141fとの間における繰り返し処理の回数、ブレンド処理部5141hにおけるブレンド処理のブレンド比率は、撮像部位や臨床用途等を基準として決定することができる。
【0121】
(デノイズ処理部5142の構成・機能)
図9に示すデノイズ処理部5142は、サイズが異なる複数のFOVに対応する複数のDNNを有している。デノイズ処理部5142は、再構成処理部5141から出力される種々のFOVサイズを有する再構成画像を受け取り、DNNによってデノイズ処理を実行し、FOVサイズに依存しない同一レベルのノイズ粒状性を有する再構成画像を出力する。なお、本デノイズ処理部5142が実行するデノイズ処理は、上記FOVサイズに関わるデノイズ処理に限定されず、他のデノイズ処理を組み合わせることも可能である。
【0122】
図11は、デノイズ処理部5142の概略構成の一例を示したブロック図である。同図に示す様に、デノイズ処理部5142は、ネットワーク選択部5142a、第1のDNN群5142bを有している。
【0123】
ネットワーク選択部5142aは、再構成処理部5141から出力される再構成画像、及びFOVサイズに関する情報を受け取り、当該再構成画像のFOVサイズに基づいて、デノイズ処理に用いるDNNを選択し、選択されたDNNに再構成画像を出力する。
【0124】
第1のDNN群5142bは、n段階に分類されたFOVサイズ1~FOVサイズnのそれぞれに対応するDNN5142b1~DNN5142bnから構成されている。各DNN5142bi(ただし、iは1≦i≦nを満たす整数)は、自身の段階と同一のFOVサイズiである再構成画像を入力し、(FOVサイズに関わらず)予め設定されたノイズ粒状性を有する再構成画像を出力するデノイズ処理(ノイズ粒状性レベルの統一化処理)を実行する。
【0125】
図12は、デノイズ処理部5142の概略構成の他の例を示したブロック図である。同図に示すデノイズ処理部5142は、ネットワーク選択部5142a、m段階に分類されたノイズ粒状性レベル1~レベルnのそれぞれに対応する第1のDNN群5142b~第mのDNN群5142zを有している。
【0126】
ネットワーク選択部5142aは、所望のノイズ粒状性レベルに基づいて、第1のDNN群5142b~第mのDNN群5142zの中から該当するDNN群を選択する。また、ネットワーク選択部5142aは、再構成処理部5141から出力される再構成画像、及びFOVサイズに関する情報を受け取り、当該再構成画像のFOVサイズに基づいて、ノイズ粒状性レベルに基づいて選択されたDNN群の中からデノイズ処理に用いるDNNを選択し、選択されたDNNに再構成画像を出力する。
【0127】
なお、所望のノイズ粒状性レベルは、入力デバイス515を介してユーザがマニュアル操作にて入力する構成であってもよいし、撮像条件として入力される撮像部位、再構成関数等を基準として自動的に選択する構成であってもよい。この様に、撮像部位、再構成関数等によってノイズ粒状性を任意に選択できる構成は、画質改善や画像観察の効率化において特に実益がある。
【0128】
第1のDNN群5142b~第mのDNN群5142zは、それぞれノイズ粒状性レベル1~レベルmに対応し、n段階に分類されたFOVサイズ1~FOVサイズnのそれぞれに対応するn個のDNNから構成されている。各DNN5142bi~zi(ただし、iは1≦i≦nを満たす整数)は、自身の段階と同一のFOVサイズiである再構成画像を入力し、(FOVサイズに関わらず)予め設定されたノイズ粒状性を有する再構成画像を出力するデノイズ処理(ノイズ粒状性レベルの統一化処理)を実行する。
【0129】
(DNNの訓練)
本実施形態に係るデノイズ処理部5142が有する各DNNの訓練(教師あり学習)は、自身に割り当てられたFOVサイズに応じたノイズ粒状性を有する入力データとしての再構成画像と、FOVサイズに関わらずノイズ粒状性レベルが最適化された出力データとしての再構成画像と、のペアから構成される訓練サンプルを数多くのパターンで準備し、これを訓練データとしてネットワークパラメータを最適化することで実施される。
【0130】
図13は、
図11、
図12に示した各DNNの訓練の流れを示したフローチャートである。
図13における各ステップ910、920、930、940、950、960は、それぞれ
図3に示した各ステップ210、220、230、240、250、260に実質的に対応する。それぞれのステップの詳細は、
図3の説明において説明した内容を同様であるが、概略は以下の様である。
【0131】
すなわち、
図13に示すように、訓練の対象となるDNNの各パラメータを初期化し(ステップ910)、FOVサイズに関わらずノイズ粒状性が最適化された再構成画像とDNN出力としての再構成画像との間のエラーを計算する(ステップ920)。計算されたエラーにおける変化を、確率的勾配降下法等のアルゴリズムを用いてDNNの係数の変化の関数として計算し(ステップ930)、計算された変化の関数を用いてDNNをアップデートする(ステップ940)。さらに、FOVサイズに関わらずノイズ粒状性が最適化された再構成画像とステップ940においてアップデートされたDNNからの出力としての再構成画像との間のエラーを計算する(ステップ950)。計算されたエラーにおける変化が停止条件を満たすか否かを判定し、満たす場合にはDNNのネットワークパラメータを固定する(ステップ960のYes)。一方、計算されたエラーにおける変化が停止条件を満たさない場合には、再度ステップ930~950までの処理を繰り返して、ネットワークパラメータを最適化する(ステップ960のNo)。
【0132】
(変形例)
第1の実施形態及び第2の実施形態において説明した再構成デバイス514が有する機能は、ネットワークを介したクライアント-サーバ型の構成を有する医用画像処理システムによっても実現することができる。
【0133】
図14は、ネットワークを介したクライアント-サーバ型の構成を有する医用画像処理システム970の一例を示した図である。同図に示す様に、医用画像処理システム970は、クライアント側装置としての医用画像診断装置980、当該医用画像診断装置980とネットワークNを介して接続されたサーバ側装置としての医用画像処理装置990を具備する。
【0134】
医用画像診断装置980は、典型的には、
図6に示したX線CT装置、
図7に示したMRI装置、
図8A、
図8Bに示したPET装置等である。
【0135】
医用画像処理装置990は、送受信部991、記憶部992、処理回路993を有する。送受信部991は、ネットワークNを介して医用画像診断装置980とデータの送受信を行う。記憶部992は、医用画像処理装置990から受信した医用画像データ、既述の再構成処理、デノイズ処理等を実行する各種専用プログラムを記憶する。処理回路993は、既述の再構成デバイス514の機能を実現するプロセッサである。
【0136】
このような構成によれば、医用画像診断装置980において再構成デバイス514の機能を実装する必要がなくなる。このため、医用画像診断装置980での処理負担を軽減すると共に、医用画像診断装置980のコストを低減させることができる。また、サーバ側装置として医用画像処理装置990において統一的な再構成処理、デノイズ処理を実行する。このため、各医用画像診断装置において再構成処理、デノイズ処理を実行する場合と比較して、操作者による画質等のばらつきを無くすことができる。
【0137】
(効果)
以上述べた構成によれば、FOVサイズの違いによってノイズ粒状性レベルが異なる再構成画像であっても、FOVサイズに依存しない同一レベル(ユーザの所望レベル)のノイズ粒状性を有する再構成画像を出力することができる。また、最終的に得られる再構成画像のノイズ粒状性レベルについても、撮像部位等に応じて任意に選択することができる。ユーザは、所望のノイズ粒状性レベルを再現する再構成画像を自由に取得することができる。その結果、比較しやすい画像を提供することができ、読影医師の作業効率の向上に寄与することができる。
【0138】
また、本実施形態においては、デノイズ処理部5142においてノイズ粒状性レベルを統一化する処理を行う前に、再構成処理部5141においてノイズモデルを用いたノイズ低減処理を実行している。従って、デノイズ処理部5142における処理の前に、ストリークアーチファクトを低減させることができる。その結果、DNNにおいて、ストリークアーチファクト低減のための層を設ける必要がなく、DNNの層構造を圧縮することができる。
【0139】
特定の実施形態が述べられてきた一方で、これらの実施形態は、一例として提示されたに過ぎず、本開示の範囲を限定することを意図したものではない。実際には、ここで説明された新たな方法、装置やシステムは、その他の様々な形態で具体化することが可能であり、更には、本開示の趣旨から乖離することなく、本開示に説明された方法、装置やシステムの形式で省略、置き換え、変更が可能である。
【符号の説明】
【0140】
500…放射線ガントリ、501…X線管、502…環状フレーム、503…X線検出器、504…データ収集システム、505…非接触データ送信装置、506…前処理デバイス、507…回転ユニット、508…スリップリング、509…高電圧発生器、510…システムコントローラ、511…データ/制御バス、512…格納部、513…電流調整器、514…再構成デバイス、515…入力デバイス、516…表示部、700…MRIシステム、709…被検体、710…ガントリ、711…被検体テーブル、712…磁石、714…傾斜磁場コイルセット、716…全身RFコイルアセンブリ、718…画像ボリューム、719…RFコイル、722…MRIシステムコントローラ、724…表示部、726…キーボード、728…プリンタ、730…MRIシーケンスコントローラ、732…Gz傾斜磁場コイルドライバ、734…RF送信部、736…送受信スイッチ、738…プログラムコード構造、740…RFレシーバ、742…データプロセッサ、744…MRI画像再構成プログラムコード構造、746…MRI画像記憶部、800…PETスキャナ、816…寝台、816…天板、820…円形構成要素、840…ガントリ、870…プロセッサ、874…ネットワークコントローラ、876…データ取得システム、878…メモリ、970…医用画像処理システム、980…医用画像診断装置、990…医用画像処理装置、991…送受信部、992…記憶部、993…処理回路5141…再構成処理部、5141a…ノイズ取得部、5141b…ノイズ取得部、5141c…ノイズ推定部、5141d…ノイズ低減処理部、5141e…再構成処理部、5141f…最適化処理部、5141g…更新処理部、5141h…ブレンド処理部、5142…デノイズ処理部、5142a…ネットワーク選択部
【手続補正書】
【提出日】2024-09-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を備える医用画像処理装置であって、
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、
複数の撮像視野サイズに対応する複数のニューラルネットワークを有し、
前記スライス画像の撮像視野サイズに対応する一のニューラルネットワークを、前記複数のニューラルネットワークから選択し、
前記スライス画像及び当該スライス画像の空間的に近傍に位置する複数のスライス画像を前記一のニューラルネットワークに入力することにより前記処理後二次元医用画像データを得る、
医用画像処理装置。
【請求項2】
被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を備える医用画像処理装置であって、
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、
複数の撮像視野サイズに対応する複数のニューラルネットワークを有し、
前記スライス画像の撮像視野サイズに対応する一のニューラルネットワークを、前記複数のニューラルネットワークから選択し、
前記スライス画像及び当該スライス画像に隣接する複数のスライス画像を前記一のニューラルネットワークに入力することにより前記処理後二次元医用画像データを得る、
医用画像処理装置。
【請求項3】
被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を備える医用画像処理装置であって、
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、
複数の撮像視野サイズに対応する複数のニューラルネットワークを有し、
前記スライス画像の撮像視野サイズに対応する一のニューラルネットワークを、前記複数のニューラルネットワークから選択し、
前記スライス画像及び当該スライス画像の直上及び直下のスライス画像を前記一のニューラルネットワークに入力することにより前記処理後二次元医用画像データを得る、
医用画像処理装置。
【請求項4】
前記処理部は、前記二次元医用画像データ及び当該二次元医用画像データの近傍の二次元医用画像データをまとめて前記一のニューラルネットワークに入力することにより、前記処理後二次元医用画像データを得る、請求項1乃至3の何れか一項記載の医用画像処理装置。
【請求項5】
前記二次元医用画像データは、前記被検体をCTスキャンして得られるCT画像データである、請求項1乃至4の何れか一項記載の医用画像処理装置。
【請求項6】
前記二次元医用画像データは、前記被検体をMRスキャンして得られるMRI画像データである、請求項1乃至4の何れか一項記載の医用画像処理装置。
【請求項7】
前記ニューラルネットワークは、入力層、出力層および前記入力層と前記出力層との間に設けられる中間層を有し、複数の医用画像データを用いた深層学習により得られる、請求項1乃至6の何れか一項記載の医用画像処理装置。
【請求項8】
前記二次元医用画像データは医用画像撮像装置により前記被検体をスキャンして得られるスキャンデータに基づいて再構成された再構成画像データである、請求項1乃至7の何れか一項記載の医用画像処理装置。
【請求項9】
前記処理部は、前記二次元医用画像データのノイズ又はアーチファクトが低減された前記処理後二次元医用画像データを出力する、請求項1乃至8の何れか一項記載の医用画像処理装置。
【請求項10】
前記処理部は、
複数のノイズ粒状性レベルに対応する複数のニューラルネットワーク群を有し、前記複数のニューラルネットワーク群の各々は、前記複数の撮像視野サイズに対応する前記複数のニューラルネットワークを有し、
前記複数のノイズ粒状性レベルの中から一のノイズ粒状性レベルを選択し、
選択された前記一のノイズ粒状性レベルに対応する一のニューラルネットワーク群を前記複数のニューラルネットワーク群から選択し、
前記一の撮像視野サイズに対応する前記一のニューラルネットワークを、選択された前記一のニューラルネットワーク群に含まれる前記複数のニューラルネットワークから選択する、
請求項1乃至9の何れか一項記載の医用画像処理装置。
【請求項11】
前記処理部は、前記一のノイズ粒状性レベルを、入力デバイスを介したマニュアル操作に従い選択する、請求項10記載の医用画像処理装置。
【請求項12】
前記処理部は、前記一のノイズ粒状性レベルを、撮像条件に基づいて自動的に選択する、請求項10記載の医用画像処理装置。
【請求項13】
サーバ装置と、クライアント装置とを備えた医用画像処理システムであって、
前記サーバ装置は、
被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を有し、
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、
複数の撮像視野サイズに対応する複数のニューラルネットワークを有し、
前記スライス画像の撮像視野サイズに対応する一のニューラルネットワークを、前記複数のニューラルネットワークから選択し、
前記スライス画像及び当該スライス画像の空間的に近傍に位置する複数のスライス画像を前記一のニューラルネットワークに入力することにより前記処理後二次元医用画像データを出力し、
前記クライアント装置は、ネットワークを介して、前記処理後二次元医用画像データを受け取る、
医用画像処理システム。
【請求項14】
サーバ装置と、クライアント装置とを備えた医用画像処理システムであって、
前記サーバ装置は、
被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を有し、
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、
複数の撮像視野サイズに対応する複数のニューラルネットワークを有し、
前記スライス画像の撮像視野サイズに対応する一のニューラルネットワークを、前記複数のニューラルネットワークから選択し、
前記スライス画像及び当該スライス画像に隣接する複数のスライス画像を前記一のニューラルネットワークに入力することにより前記処理後二次元医用画像データを出力し、
前記クライアント装置は、ネットワークを介して、前記処理後二次元医用画像データを受け取る、
医用画像処理システム。
【請求項15】
サーバ装置と、クライアント装置とを備えた医用画像処理システムであって、
前記サーバ装置は、
被検体を撮像して得られる二次元医用画像データに対して、画像のノイズまたはアーチファクトを低減するために複数の医用画像データを用いて訓練されたニューラルネットワークを適用することにより、処理後二次元医用画像データを得る処理部を有し、
前記二次元医用画像データは前記被検体のスライス画像であり、
前記処理部は、
複数の撮像視野サイズに対応する複数のニューラルネットワークを有し、
前記スライス画像の撮像視野サイズに対応する一のニューラルネットワークを、前記複数のニューラルネットワークから選択し、
前記スライス画像及び当該スライス画像の直上及び直下のスライス画像を前記一のニューラルネットワークに入力することにより前記処理後二次元医用画像データを出力し、
前記クライアント装置は、ネットワークを介して、前記処理後二次元医用画像データを受け取る、
医用画像処理システム。