IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝メディカルシステムズ株式会社の特許一覧

特許7455622医用画像処理装置及び学習用画像の取得方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-15
(45)【発行日】2024-03-26
(54)【発明の名称】医用画像処理装置及び学習用画像の取得方法
(51)【国際特許分類】
   A61B 6/03 20060101AFI20240318BHJP
【FI】
A61B6/03 550F
A61B6/03 550U
【請求項の数】 12
(21)【出願番号】P 2020043743
(22)【出願日】2020-03-13
(65)【公開番号】P2020163124
(43)【公開日】2020-10-08
【審査請求日】2023-01-17
(31)【優先権主張番号】16/370,230
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】チュウリン タン
(72)【発明者】
【氏名】ジエン ジョウ
(72)【発明者】
【氏名】ジョウ ユウ
【審査官】蔵田 真彦
(56)【参考文献】
【文献】国際公開第2019/005180(WO,A1)
【文献】国際公開第2019/060843(WO,A1)
【文献】特表2006-517440(JP,A)
【文献】特開2013-085965(JP,A)
【文献】米国特許出願公開第2019/0080490(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/58
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
第1のコーン角を有する第1X線ビームを使用して取得された第1画像と、前記第1画像に基づいてシミュレートされたコーンビームアーチファクトを含む第2画像と、に基づいて学習された学習済みモデルに対して、前記第1のコーン角より大きい第2のコーン角を有する第2X線ビームを使用して取得された第3画像を入力することにより、前記第3画像に含まれるコーンビームアーチファクトが低減された第4画像を生成する処理部と、
前記第3画像を取得する取得部と、
を備えた、医用画像処理装置。
【請求項2】
前記第1画像は、ヘリカルスキャンにより取得される、請求項1に記載の医用画像処理装置。
【請求項3】
前記第2画像は、前記第1画像に基づいて円軌道に沿った順投影処理を行うことで得られた投影データに基づく再構成画像である、請求項2に記載の医用画像処理装置。
【請求項4】
前記第3画像は、被検体の体軸方向において前記被検体と前記第2X線ビームの位置関係を変化させずに実行されるスキャンにより取得される、請求項2又は3に記載の医用画像処理装置。
【請求項5】
前記処理部は、前記第3画像が取得されるスキャンにおいて使用されるパラメータを決定し、複数の前記学習済みモデルの中から前記取得したパラメータに対応する学習済みモデルを選択し、
前記パラメータは、画像化対象の解剖学的構造、スキャンプロトコル、診断アプリケーションのうちの1つであり、
前記複数の学習済みモデルのそれぞれは、対応するパラメータで実行されたスキャンにより取得された前記第1画像と、対応するパラメータで実行されたスキャンにより取得された前記第2画像とに基づいて学習されている、請求項1乃至4のうちいずれか一項に記載の医用画像処理装置。
【請求項6】
前記第3画像は、前記第2X線ビームを使用して取得された前記コーンビームアーチファクトを含む第5画像を低周波数画像と高周波数画像とに分離することにより生成された低周波数画像であり、
前記低周波数画像の大きさは、第一の方向について前記第5画像のN分の1で、第二の方向について前記第5画像のM分の1であり、
前記処理部は、前記第4画像と前記高周波数画像とを合成する、請求項1乃至5のうちいずれか一項に記載の医用画像処理装置。
【請求項7】
前記第3画像は、前記第2X線ビームを使用して取得された前記コーンビームアーチファクトを含む3次元画像をコロナルビュー又はサジタルビューに分割することにより生成された2次元画像であり、
前記処理部は、複数の前記第4画像を合成することにより3次元画像を生成する、請求項1乃至6のうちいずれか一項に記載の医用画像処理装置。
【請求項8】
コーン角を有するX線ビームを放射するX線源と、
被検体を横断した前記X線ビームを検出する複数の検出素子を有し、前記複数の検出素子で検出された前記X線ビームの強度を示す投影データを生成する検出器と、
前記学習済みモデルを格納する記憶媒体と、
を更に具備する、請求項1乃至7のうちいずれか一項に記載の医用画像処理装置。
【請求項9】
前記第1画像及び前記第2画像は、3次元画像をコロナルビュー又はサジタルビューに分割することにより生成された2次元画像である、請求項1乃至8のうちいずれか一項に記載の医用画像処理装置。
【請求項10】
前記第1画像は、前記第1X線ビームを使用したヘリカルスキャンにより取得された第1の投影データを再構成することで得られた高解像の第6画像に対して、第一の方向においてN個に、第二の方向においてM個にダウンサンプリングすることにより生成され、
前記第2画像は、前記第1の投影データに対して円軌道に沿った順投影処理を行うことで生成された投影データを再構成することで生成した高解像の第7画像に対して、第一の方向においてN個に、第二の方向においてM個にダウンサンプリングすることにより生成される、請求項1乃至8のうちいずれか一項に記載の医用画像処理装置。
【請求項11】
前記第1画像及び前記第2画像は、
前記第6画像及び前記第7画像のそれぞれにおいて、前記第一の方向においてN番目で、かつ、前記第二の方向においてM番目である全てのボクセルを選択すること、
前記第6画像及び前記第7画像のそれぞれにおいて、前記第6画像におけるN×Mの大きさを有する複数のボクセルブロックを平均化すること、及び、
前記第6画像及び前記第7画像のそれぞれに対して、周波数領域へ変換し、低周波成分のうち、前記第一の方向について1/Nの割合で、前記第二の方向について1/Mの割合の成分を選択すること、
のうちのいずれか一つにより生成される、
請求項10に記載の医用画像処理装置。
【請求項12】
コーン角を有するX線ビームを使用したヘリカルスキャンにより取得された第1の投影データを再構成することで得られた第1の学習用画像に対して、円軌道に沿った順投影処理を行うことで第2の投影データを生成し、前記第2の投影データを再構成することで、コーンビームアーチファクトがシミュレーションされた第2の学習用画像を生成する、学習用画像の取得方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用画像処理装置及び学習用画像の取得方法に関する。
【背景技術】
【0002】
コンピュータ断層撮影(CT)システム及び方法は、特に医用撮像及び医用診断の為に、幅広く使用されている。CTシステムは、一般的に被検体に関する一つ又は複数の断面的なスライス(断面と称されてもよい)の画像を生成する。X線源などの放射源は、一側面から身体にX線を照射する。身体に対してX線源とは反対側にある少なくとも一つの検出器は、身体を通過した放射線を受け取る。身体を通過してきた放射線の減衰は、検出器から受け取った電気信号を処理することで測定される。
【0003】
CTサイノグラムは、様々な投影測定において、検出器の配列に沿う方向における位置の関数として、かつ、X線源と検出器群との投影角の関数として、身体を通過することによるX線の減衰を表す。サイノグラムにおいて、空間的次元は、X線検出器の配列に沿う方向における位置を表す。時間/角度次元は、CTスキャンにおける時間の関数として変化する、X線の投影角を表す。被検体の画像の一部(例えば、椎骨)における減衰は、垂直方向の軸を中心とした正弦波描く。逆ラドン変換―あるいは任意のその他の画像再構成法―の実行は、サイノグラムにおける投影データから画像を再構成することである。X線CTは、癌、心臓、そして頭部撮像における幅広い臨床アプリケーションに応用されてきた。いくつかのX線CTスキャン(例えば、大きなコーンアングルを使用するコーンビームCT)において、再構成画像は、撮像アーチファクトを有する。これらのアーチファクトは、画質を低下させ、再構成画像の臨床的な応用を妨げることがある。このため、撮像アーチファクトを低減するためのより良い方法が望まれている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2010-158512号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、再構成画像における撮像アーチファクトを低減することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る医用画像処理装置は、処理部と、取得部と、を備える。前記処理部は、第1のコーン角を有する第1X線ビームを使用して取得された第1画像と、前記第1画像に基づいてシミュレートされたコーンビームアーチファクトを含む第2画像と、に基づいて学習された学習済みモデルに対して、前記第1のコーン角より大きい第2のコーン角を有する第2X線ビームを使用して取得された前記コーンビームアーチファクトを含む第3画像を入力することにより、前記第3画像に含まれる前記コーンビームアーチファクトが低減された第4画像を生成する。前記取得部は、前記第3画像を取得する。
【図面の簡単な説明】
【0007】
図1A】開示の実施形態に係る、学習データセットを生成し、ニューラルネットワークを訓練するための例示的な方法110を示す。
図1B】開示の実施形態に係る、学習済ニューラルネットワークを使用して撮像アーチファクトを低減するための例示的な方法150を示す。
図2A】開示の実施形態に係る、フィードフォワードニューラルネットワーク(feed forward neural network)の例を示す。
図2B】開示の実施形態に係る、畳み込みニューラルネットワーク(convolutional neural network:CNN)の例を示す。
図2C】開示の実施形態に係る、畳み込み層の実行の例を示す。
図2D】開示の実施形態に係る、ニューラルネットワークを訓練するための方法の例を示す。
図3】開示の実施形態に係る、学習データセットのデータを生成するための方法の例を示す。
図4A】開示の実施形態に係る、コーンビームアーチファクトを呈示する、コーンビームCT(cone-beam CT、CBCT)スキャンによる再構成画像のコロナルビューの例を示す。
図4B】開示の実施形態に係る、CBCTスキャンによる再構成画像のコロナルビューの例を示す。
図4C】開示の実施形態に係る、コーンビームアーチファクトを呈示しない、ヘリカルCTスキャンによる再構成画像のアキシャルビューの例を示す。
図4D】開示の実施形態に係る、ヘリカルCTスキャンによる再構成画像のアキシャルビューの例を示す。
図5】開示の実施形態に係る、大きな画像から四つの小さなサブ画像へとダウンサンプルされたピクセルの例を示す。
図6】開示の実施形態に係る、CTスキャナへの実装の概略図を示す。
【発明を実施するための形態】
【0008】
ここで説明される装置及び方法は、関連する方法を対するいくつかの利点を達成する。これらの利点は、コンピュータによる演算時間とハードウェアコストの低減、及び、X線コンピュータ断層撮影により生成された画像のような医用画像の画質の改善、である。また、ここに述べられるこれら方法が適用される実施例は、非限定的な例であり、ここに述べられるこれらの方法は、ここに提案されるフレームワークを適応することで、単一光子放射コンピュータ断層撮影(single-photon emission computed tomography:SPECT)のような、その他の医用撮像モダリティに対して利益をもたらすことができる。従って、ここに説明される装置及び方法は、本開示の単に非限定例の実行として提供される。当業者には理解されている通り、本開示は、その趣旨又は本質的特徴から乖離することなく、その他の特定の形式で実施することができる。つまり、詳細な説明は、例示的となるよう意図されており、開示範囲の制限を意図するものではない。本開示は、ここに記される教示の容易に認識可能な如何なる変形例も含め、前述の請求項中の用語の範囲を、発明の主題が公衆の自由に供することなく、一部分において定義するものである。
【0009】
ボリューメトリックCTのようなCTのいくつかの実施形態において、撮像時間やX線放射線量を減らすために、被検体の比較的厚いセクション(又はボリューム)が、画像化されている被検体OBJに関して、CT線源の一回の回転でスキャンされる(つまり、画像化される)。いくつかの実施形態において、円形コーンビームCT(CBCT)のようなボリューメトリックCTは、比較的大きなコーン角(例えば、所定の角度しきい値に比べてより大きいコーン角)を有し、一回のスキャンで被検体のボリュームをスキャンするX線ビームを使用して実行される。その結果、画像化されたボリュームの内部的な特徴を示す三次元(three-dimensional:3D)画像が、検出器からの信号に基づいて再構成される。画像化されている被検体OBJを通過してきた後に検出されたX線ビームの放射エネルギーに対応する信号は、「投影データ」と呼ばれる。CBCTスキャンにより再構成された再構成3D画像は、コーンビームアーチファクト、即ち、X線ビームの大きなコーン角が原因で画質を低下させる望まれない特性の影響を受けやすい可能性がある。コーンビームアーチファクトは、小さなコーン角を用いるヘリカルスキャンのように、遅いスキャニング法を使用することにより、軽減することができる。コーンビームアーチファクトに加え、その他の撮像アーチファクトも、スキャン及び再構成処理の様々な側面から生じることがある。コーン角を0度に限りなく近づけると、コーンビームは、2次元(平面)のビームに近づく。ヘリカルスキャンのように遅いスキャニング法に用いられるコーン角は、第1のコーン角の一例である。CBCTスキャンに用いられるコーン角は、第1のコーン角より大きい第2のコーン角の一例である。
【0010】
撮像アーチファクトを軽減するため、深層ニューラルネットワーク、畳み込みニューラルネットワーク(convolutional neural network:CNN)等のような、人工ニューラルネットワーク(よく「ニューラルネットワーク」と簡略化される)が、撮像アーチファクトを呈示する入力画像と、撮像アーチファクトを呈示しない目標画像とを含む画像群の複数組のペアを使用して訓練される。ニューラルネットワークは、入力画像をニューラルネットワークに適用し、目標画像とほぼ一致させる結果を生み出すようにして、訓練される。その後、コーンビームアーチファクトのようなボリューメトリックCTスキャンと関連する撮像アーチファクトを低減するために、この学習済モデル(ニューラルネットワーク)を使用することができる。
【0011】
即ち、ニューラルネットワークは、アーチファクト呈示データと、当該データに比べて撮像アーチファクトがより少ないアーチファクト最小化データとを含む、学習データセットを使用して訓練される。いくつかの実施形態において、アーチファクト呈示データは、シミュレーション(例えば、アーチファクト呈示データを生成するための、大きなコーン角構成を使用したアーチファクト最小化データの順投影)を使用して、対応するアーチファクト最小化データから取得される。
すなわち、ニューラルネットワークは、第1のコーン角を有する第1X線ビームを使用して取得された第1画像と第1画像に基づいてシミュレートされたコーンビームアーチファクトを含む第2画像とに基づいて学習された学習済みモデルの一例である。アーチファクト最小化データは、第1画像の一例である。アーチファクト最小化データは、例えば、ヘリカルスキャンにより取得される。アーチファクト呈示データは、第2画像の一例である。アーチファクト呈示データは、例えば、第1画像に基づいて円軌道に沿った順投影処理を行うことで得られた投影データに基づく再構成画像である。学習済みニューラルネットワークに対して第1のコーン角より大きい第2のコーン角を有する第2X線ビームを使用して取得されたコーンビームアーチファクトを含む第3画像を入力することにより、第3画像に含まれるコーンビームアーチファクトが低減された第4画像が生成される。
すなわち、コーン角を有するX線ビームを使用したヘリカルスキャンにより取得された第1の投影データを再構成することで得られた第1の学習用画像に対して、円軌道に沿った順投影処理を行うことで第2の投影データを生成し、第2の投影データを再構成することで、コーンビームアーチファクトがシミュレーションされた第2の学習用画像を生成することにより、学習用画像が取得される。
【0012】
図面を参照すると、複数の図面において同一の参照番号は、同一又は対応する部分を指し示す。図1Aは、開示の実施形態に係る、学習データセットを形成し、ニューラルネットワークを訓練するための方法110を示す。方法110は、ニューラルネットワークの学習方法の一例である。また、方法110は、学習用画像の取得方法の一例である。方法110は、S111で開始し、S112へと進む。
【0013】
S112では、ボリューメトリックCTスキャンに関連した撮像アーチファクトを持つ学習データセットが取得される。一般的に、撮像アーチファクトは、画質を低下させる好ましくない特性を指す。撮像アーチファクトは、画像処理を使用して低減することができる。いくつかの実施形態において、コーンビームアーチファクトのような撮像アーチファクトは、CBCTスキャンで使用されるX線ビームの大きなコーン角が原因で生じる。所定の角度しきい値に比べてより大きなコーン角を「大きなコーン角」とし、そしてそのしきい値に比べてより小さい又は等しいコーン角を「小さなコーン角」と呼ぶ。例えば、所定の角度しきい値は、コーン角が臨床診療に対し障害となる前に、特定の解剖学的又は診断的アプリケーションにおいてどの程度大きくなる可能性があるかに関する観察に基づき、経験的に決定することができる。コーンビームアーチファクトが頻繁に現れるのは、CTスキャンのいくつかのビューに対して、X線ビームが再構成画像におけるボリュームピクセル(又はボクセル、とも呼ばれる)を通過しないからであり、正しく再構成されるはずのボリュームピクセルに対して不十分なデータ/サンプリングという結果になる。そのため、低周波数シェーディングアーチファクト、ストリークコーンビームアーチファクト等のようなコーンビームアーチファクトは、アンダーサンプルされた領域で見られる場合がある。
【0014】
3D再構成画像は、体軸面、矢状面、冠状面のうちの一つでの二次元(2D)のスライス(断面)を使用して、表示される。つまり、2D画像は、被検体の内部的な特徴を示す異なる横断面(又はビュー)を描くために、使用することができる。例えば、2D画像は、コロナルビュー(冠状ビュー)、サジタルビュー(矢状ビュー)、アキシャルビュー(体軸ビュー)等を有する場合がある。いくつかの実施形態において、アキシャルビューは、回転軸に対して垂直であり、またコロナルビュー及びサジタルビューは、回転軸に対して平行である。いくつかの例で、撮像アーチファクトは、異なるビュー毎に異なる。例えば、コーンビームアーチファクトは、図4Aから4Dに示される通り、コロナルビューやサジタルビューのような特定のビューにおいて、アキシャルビュー等のその他のビューに比べより顕著になる場合がある。いくつかの例で、学習データセットは、コロナルビュー、サジタルビューを有する2D画像、3D画像等を含む。
【0015】
一般的に、学習データセットは、アーチファクト呈示データとアーチファクト最小化データとを含む。例で、アーチファクト呈示データは特定のしきい値を上回る撮像アーチファクトを有し、アーチファクト最小化データは特定のしきい値を下回る撮像アーチファクトを有する。いくつかの例で、アーチファクト呈示データは、「アーチファクト呈示画像」と呼ばれる再構成CT画像である。またいくつかの例で、アーチファクト最小化データは、「アーチファクト最小化画像」と呼ばれる再構成CT画像である。「アーチファクト最小化データ」は、「アーチファクト低減データ」の一例である。また、「アーチファクト最小化画像」は、「アーチファクト低減画像」の一例である。更にいくつかの例で、アーチファクト呈示データと対応するアーチファクト最小化データとは、データペアを形成し、撮像アーチファクトは、個別のアーチファクト最小化データに比べて、アーチファクト呈示データにおいてより顕著である。
【0016】
いくつかの実施形態において、学習データセットは、個別のCTスキャニング法、プロトコル、アプリケーション、条件等に関連した撮像アーチファクトの低減において様々なニューラルネットワークを訓練するために、異なるCTスキャニング法、プロトコル、アプリケーション、条件等に対し合わせて作ることもできる。結果として、学習済みニューラルネットワークは、特定のCTスキャニング法、プロトコル、アプリケーション、条件等に対し、カスタマイズ及び合わせて作ることができる。例えば、学習済みニューラルネットワークは、特定の解剖学的構造又は画像化されている身体の領域に関連する撮像アーチファクトを低減するために、合わせて作ることができる。その上、学習済みニューラルネットワークは、大きなコーン角を有するX線ビームを使用する、円形CBCTスキャンと関連付けられたアーチファクトを低減するように合わせて作られている。
【0017】
アーチファクト呈示データ及びアーチファクト最小化データは、任意の適切な方法を使用して、生成することができる。いくつかの実施形態において、アーチファクト呈示データ及びアーチファクト最小化データは、異なるスキャニング条件(コンディション)、プロトコル等の下、被検体をスキャンすることで取得される。いくつかの実施形態において、アーチファクト最小化データは、撮像アーチファクトが特定のしきい値を下回るよう維持する、スキャニング法、プロトコル、適切な条件等の処理を使用して、生成することができる。例えば、高X線量、小さなコーン角X線ビーム等の最適化されたスキャニング条件を使用する。他方で、アーチファクト呈示データは、大きなコーン角を有するX線等のような、比較的大きなアーチファクトを呈示するスキャニング条件を使用して取得することができる。
【0018】
特定の実行例において、アーチファクト呈示データは、大きなコーン角を有するX線ビームを用いる円形CBCTスキャンを使用して被検体をスキャニングすることにより取得され、対応するアーチファクト最小化データは、小さなコーン角を有するX線ビームを用いるヘリカルCTスキャンを使用して、同一の被検体をスキャニングすることにより、取得される。従って、ヘリカルCTスキャンを使用して取得された画像は、特定のしきい値を下回る画像アーチファクトを持つことができ、アーチファクト最小化データとして効果的に機能させている。
【0019】
付加的な画像処理法を、S114における訓練時間を減らすために、S112に含むことができる。例えば、コーンビームアーチファクトのような特定の撮像アーチファクトは、低周波数成分を有する。開示の側面によると、撮像アーチファクトが空間に対してゆっくりと変化する画像は、図5に示すように、多重サブ画像を取得するためにダウンサンプルすることができる。係るサブ画像は、個別のデータペアを形成するために使用することができる。
【0020】
いくつかの実施形態において、コーンビームアーチファクトを有する3D画像のようなアーチファクト呈示データは、シミュレーション、画像処理等を使用して、対応するアーチファクト最小化データから取得される。代わりに、アーチファクト最小化データは、シミュレーション、画像処理等を使用して対応するアーチファクト呈示データから取得することもできる。
【0021】
いくつかの例で、ニューラルネットワークは、学習データセットを使用して訓練され、検証データセットを使用して検証され、更にテストデータセットを使用してテストされる。従って、いくつかの実施形態において、検証データセット及びテストデータセットのような付加的なデータセットは、付加的なアーチファクト呈示データ及びアーチファクト最小化データから形成される。
【0022】
S114で、ニューラルネットワークは、S112で取得された学習データセットに基づき訓練される。いくつかの実施形態において、ニューラルネットワークは、オフラインで訓練され、その後新たなCTスキャンが実行され、アーチファクト低減が所望されるときに使用するために、メモリに格納される。
【0023】
一般的に、ニューラルネットワークは、アーチファクト呈示データ及びアーチファクト最小化データを含む学習データセットのような例から、特別な命令のタスク無しで、タスクを学習及び実行することができる。ニューラルネットワークは、ノードを含む計算的モデルに基づく場合もある。結合により相互結合されたノードは、「ニューロン」とも呼ばれ、計算的タスクを実行することができる。実施形態において、ニューラルネットワークは、計算的モデル及びパラメータにより特徴づけることができる。ある例において、パラメータは、ニューラルネットワークにおける結合及びノード(ニューロンノード)に関連付けられた重み及びしきい値を含むことがある。
【0024】
実施形態において、ニューラルネットワークは、層のそれぞれにおいて異なる種類の計算を実行できる、多重層で組織化することができる。多重層は、入力ノードを有する入力層と、出力ノードを有する出力層と、係る入力層と出力層の間の隠れ層と、を有することがある。実施形態において、入力層は、ニューラルネットワークの外部に由来する入力信号を受け取ることができる。ある例において、入力信号は、コーンビームアーチファクトを有する画像のようなアーチファクト呈示データである。出力層は、ニューラルネットワークの外部へと結果を送ることができる。ある例において、係る結果は、低減されたコーンビームアーチファクトを有する画像である。いくつかの実施形態において、ニューラルネットワークは、例えば、浅いニューラルネットワークの数に比べて、比較的より大きな数の隠れ層を有する深層ニューラルネットワーク(deep neural network)とすることができる。ある例において、ニューラルネットワークは、CNNの場合がある。
【0025】
様々な実施形態において、ニューラルネットワークの計算的モデルは、サーチアルゴリズム等により、決定することができる。その後、ニューラルネットワークは、画像アーチファクトの低減のような特定のタスクへと関連付けられる例を使用して訓練されることができる。結果として、パラメータは、新たな例が使用される度に、繰り返し修正される。実施形態において、大量の例は、最適なニューラルネットワークを取得するようにニューラルネットワークを学習し検証するために、学習データセット及び検証データセットのような複数の独立したデータセットへと、組織化することができる。
【0026】
実施形態において、様々な計算的モデルを有するニューラルネットワークは、データペアを含む学習データセットに基づいた複数の訓練方法を使用して、訓練されることができる。1組のデータペアは、アーチファクト呈示データのような入力信号と、アーチファクト最小化データのような予測の出力信号と、を有することを含む。ニューラルネットワークの入力層は、入力信号を受け取ることができ、また係るニューラルネットワークは、出力層を通して結果をその後に生成することができる。係る結果は、予測の出力信号と比較される。ニューラルネットワークのパラメータは、結果と予測された出力信号との間の差を最小化するために、修正される又は最適化される。
【0027】
いくつかの実施形態において、ニューラルネットワークは、ニューラルネットワークのパラメータを最適化するために、S112において取得された学習データセットを使用して訓練される。ニューラルネットワークは、最適化されたパラメータを有するように、個別の学習法を使用して訓練することができる。最適なニューラルネットワークは、学習済みニューラルネットワークに検証データセットを更に適用し、結果と、係る検証データセットに関連付けられる予測された出力信号とを更に解析することで、取得される。最適なニューラルネットワークは、特定のタスクを実行するために、その後活用される。さらに、最適なニューラルネットワークのパフォーマンスは、テストデータセットにより評価することができる。ある例において、テストデータセットは、学習データセット及び検証データセットのようなその他のデータセットから独立している。
【0028】
いくつかの実施形態において、ニューラルネットワークは、付加的なアーチファクト呈示データ及びアーチファクト最小化データが利用可能となる度に、反復的に訓練することができる。例えば、ステップS112とS114とを反復的に実行することができる。
【0029】
いくつかの実施形態において、ニューラルネットワークは、学習データセットがアーチファクト呈示画像及びアーチファクト最小化画像を含む場合に、CBCTスキャンを含むボリューメトリックCTスキャンと関連付けられたコーンビームアーチファクトのような、撮像アーチファクトを低減するように訓練される。方法110は、その後S119へと進み、終了する。
【0030】
図1Bは、開示の実施形態に係る方法150を示す。いくつかの実施形態において、方法150は、方法110を使用する学習済みニューラルネットワークのような、適切なニューラルネットワークを使用することで、入力画像のコーンビームアーチファクトのような画像アーチファクトを低減するために使用される。方法150は、ニューラルネットワークを用いたアーチファクト低減方法の一例である。方法150は、S151で開始となり、S152へと進む。
【0031】
S152で、ニューラルネットワークに対する入力データが取得される。実施形態において、係る入力データは入力画像であり、コーンビームアーチファクトのようなボリューメトリックCTスキャンと関連付けられた撮像アーチファクトを有する再構成CT画像である。いくつかの例において、入力画像は、例えば円形CBCTスキャンを使用して取得された対応する投影データから再構成された、3D画像であり、あるいは、また撮像アーチファクト等を有する個別の3D画像のコロナルビュー又はサジタルビューのような2D画像である。入力画像は、第3画像の一例である。円形CBCTスキャンは、被検体の体軸方向において被検体と第2X線ビームの位置関係を変化させずに実行されるスキャンの一例である。第3画像は、例えば、コーンビームアーチファクトを含む3次元画像をコロナルビュー又はサジタルビューに分割することにより生成された2次元画像である。この場合、これらの2次元画像を学習済みモデルに適用することにより生成された出力画像を合成することにより、3次元画像が生成される。
【0032】
いくつかの実施形態において、オリジナル画像の撮像アーチファクトは、特定の特徴を持つ。係るオリジナル画像は、方法150をより有効にするニューラルネットワークに対する入力データを生成するために、特徴に基づいて処理される。例えば、撮像アーチファクトは、空間において徐々に変化する、即ち、撮像アーチファクトは、空間的な低周波数成分により占められる。そのため、オリジナル画像は、ある空間的周波数域へとフーリエ変換することができ、また、低周波数成分と高周波数成分とを含む。更に、オリジナル画像は、低周波数成分を取得するために、空間周波数域において、ローパスフィルタ掛けされ、低周波数画像と高周波数画像とに分離される。低周波数成分は、S152でニューラルネットワークに対する入力データとして選択される。その上、低周波数成分は、S152でニューラルネットワークへと適用される入力データのサイズを減少するためダウンサンプルされ、これにより、学習、及びその後のS152でのニューラルネットワークの使用の計算的効率を改善する。即ち、入力データがより小さい場合に(つまり、より少ないピクセルを有する場合に)、S152で入力データをニューラルネットワークに対して適用することにより、より少ない計算で、S152を実行することができる。
【0033】
この実行例において、低周波数成分を取得するための他の方法は、当業者により理解される通り、ここに説明される方法の趣旨から離れることなく、使用することができる。例えば、低周波数成分は、平均化(例えばN行M列ブロックを平均化)することで、又は、オリジナル画像において、方向のそれぞれにおけるN個のファクタ及びM個のファクタ分をダウンサンプルすることで、生成することができる。特定の実行例において、N及びMは同じ場合がある(図5では、N=M=2)。一度、低周波数成分が生成されたら、高周波数成分は、例えばオリジナル画像から低周波数成分を引くことにより、当業者により理解される通り、様々な方法で生成することができる。このようにして、オリジナル画像における情報の全てを、高周波数成分と低周波数成分との組み合わせで保存することができる。アーチファクトにおいて低周波成分が支配的な場合(例えばコーンビームアーチファクト)、ダウンサンプルされた(例えば第一の方向にN個のファクタ分と第二の方向にM個のファクタ分)低周波数成分をニューラルネットワークへと適用することにより、アーチファクトを効果的に軽減することができ、そしてオリジナル画像の解像度は、ニューラルネットワークの結果を、ニューラルネットワークに適用されなかった高周波数成分と組み合わせることにより、修復することができる。
すなわち、この実施例では、第3画像は、第2X線ビームを使用して取得されたコーンビームアーチファクトを含む第5画像を低周波数画像と高周波数画像とに分離することにより生成された低周波数画像である。オリジナル画像は、第5画像の一例である。低周波数画像の大きさは、第一の方向について前記第5画像のN分の1で、第二の方向について前記第5画像のM分の1である。そして、低周波数画像を学習済みモデルに適用することにより生成された第4画像と高周波数画像とが合成される。
【0034】
S154で、入力画像のような入力データを処理するために適切なニューラルネットワークが決定される。いくつかの例において、コーンビームアーチファクトのようなボリューメトリックCTスキャンと関連付けられた撮像アーチファクトを減らすよう訓練されたニューラルネットワークが、入力データを処理するために選択される。いくつかの例において、上述の通り、ニューラルネットワークは、個別の学習データセットを使用することにより、特定のCTスキャニング法、プロトコル、アプリケーション、条件等へとカスタマイズ及びテイラードすることができる。従って、いくつかの例において、ニューラルネットワークは、入力データの特徴に応じて決定される。ある例において、3D画像を用いて訓練されたニューラルネットワークは、3D画像のような入力データの撮像アーチファクトを低減するために選択される。例において、空間において徐々に変化する撮像アーチファクトを有する画像を用いて訓練されたニューラルネットワークは、類似する性質を有する入力データの撮像アーチファクトを低減するために選択される。すなわち、この実施例では、第3画像が取得されるスキャンにおいて使用されるパラメータが決定され、複数の学習済みモデルの中から取得したパラメータに対応する学習済みモデルを選択される。複数の学習済みモデルのそれぞれは、対応するパラメータで実行されたスキャンにより取得された第1画像と、対応するパラメータで実行されたスキャンにより取得された第2画像とに基づいて学習されている。入力データの特徴は、第3画像が取得されるスキャンにおいて使用されるパラメータの一例であり、例えば、画像化対象の解剖学的構造、スキャンプロトコル、診断アプリケーションのうちの1つである。
【0035】
S156で、入力データは、決定されたニューラルネットワークを使用して処理され、アーチファクトが低減された出力データが生成される。
【0036】
S158で、出力データに基づいて、出力画像が取得される。出力画像は、第4画像の一例である。様々な実施形態において、2D又は3D画像のような出力データは、出力画像を生成するための適切な画像処理法により更に処理される。いくつかの例において、ステップS152で説明された通り、オリジナル画像は、ニューラルネットワークにより処理される低周波数成分を取得するために、空間的な周波数域においてローパスフィルタ掛けされている。結果的に、S158で、出力データは、オリジナル画像の対応する高周波数成分と組み合わせられることにより、出力画像を形成する。
【0037】
いくつかの例において、ステップS158は省略され、出力画像が出力データとなる。そして、方法はその後S159へと進み、終了する。
【0038】
図2Aは、開示の実施形態に係る、例示的な順伝播ニューラルネットワーク201を示す。例えば、ニューラルネットワーク201は、N個の入力、K個の隠れ層、そして3個の出力を有する。各層は、ノードにより形成されており、各ノードは、入力を重み付けて合計し、当該重み付けられた合計の結果を、出力(「結果」とも呼ばれる)を生成するためのしきい値と比較する。ニューラルネットワークは、関数のクラスを構成し、クラスの要素は、しきい値、結合重み、又はノード数及び/又はノードの結合性のような構造の詳細を変えることによって取得される。ある例において、オートエンコーダ(autoencoder)のような比較的簡素なニューラルネットワークは、三つの層を有する。深層ニューラルネットワークは、一般的に、三つ以上のニューロンの層を有し、また入力ニューロンと同数の出力ニューロンXを有する。ここで、Nは、例えば再構成画像におけるピクセル数である。いくつかの例において、ニューロン間の結合は、計算においてデータをマニピュレートする「重さ」と呼ばれる値(同義に「係数」又は「重み付け係数」とも呼ばれる)を格納する。ニューラルネットワークの出力は、パラメータの三つのタイプによって変化する。(i)異なるニューロン層の間の相互結合パターン、(ii)相互結合の重さを更新するための学習プロセス、(iii)重み付けられたニューロンの入力を出力活性化へと変換する活性化関数、である。
【0039】
数学的に、ニューロンのネットワークの関数m(x)は、その他の関数の合成として更に定義することが可能な、その他の関数n(x)の合成として定義される。これは、図2A-2Cに示される通り、変数間の従属状態を示す矢印を用いて、ネットワーク構造として便利に表すことができる。例えば、ニューラルネットワークでは、非線形の重み付け合計値m(x)=K(Σ(x))を用いることができ、ここでKは(「活性化関数」と通常呼ばれる)、双曲正接のような所定の関数である。
【0040】
図2A(そして同様に図2B)において、ニューロンは、基準の関数を囲む円、又は円で描かれている。図2Aに示された非限定的な例において、入力は線形関数を囲む円として描かれ、矢印は、ニューロン間の方向づけられた結合を示す。特定の実行例において、S114で訓練されたニューラルネットワークは、図2A及び2Bで例示されるような(例えば、方向づけられた鎖状の図として表すことができる)、順伝播型ネットワーク(feedforward network)である。
【0041】
ニューラルネットワークは、ある最適な意味での特定のタスクを解決するm∈F(例えば、後述される方法200におけるステップS260で使用される停止基準)を見つけるために、観察結果セットを使用して、学習すべき関数Fのクラス内をサーチすることで、撮像アーチファクトを低減するような特定のタスクを達成するよう機能する。例えば、特定の実行例において、最適解m、C(m)≦C(m)∀m∈Fを満たすように、コスト関数C:F→Rを定義することにより、これを達成することができる(つまり、最適解のコストに比べてコストが小さい解は存在しない)。Rは、実数のセットを指す。コスト関数Cは、特定の解が解決しようとする問題(例えば、エラー)に対する最適解からどの程度離れているかの度合い(差分)を示す尺度である。学習アルゴリズムは、可能な限り最小のコストを有する関数を見つけ出すために、ソリューションスペースを逐次的にサーチする。特定の実行例において、当該コストは、データのサンプル(つまり、学習データセット)以上に最小化される。
【0042】
図2Bは、開示の実施形態に係る例示的なCNN202を示す。いくつかの実施形態において、CNNは、画像処理に対し有益な特性を有し、従って撮像アーチファクトを低減するアプリケーションに対する関連性がある。様々な実施形態において、ニューロン間の結合性パターンが画像処理における畳み込みを示す順伝播型NNを、CNNは使用する。例えば、CNNは、受容野(receptive fields)又はパーセプトロン野(perceptron fields)とも呼ばれ、入力画像の部分を処理する小さなニューロンの集合体の多重の層を使用する画像処理最適化に使用することができる。これらの集合体の出力は、オリジナル画像のより優れた表示を取得するために、それらが重なるように表示される。この処理パターンは、畳み込み層とプーリング層とを交互に有する多重の層において、繰り返される。
【0043】
図2Cは、開示の実施形態に係る畳み込み層203の実行例を示す。図2Cを参照すると、4×4カーネル204は、入力層から畳み込み層である第一の隠れ層へと、2D画像を表すマップ値へ適用される。カーネルは、個別の4×4のピクセル領域204を第一の隠れ層の対応するニューロン205へとマッピングする。図2Cに描かれる非限定な例において、例えば受容野/パーセプトロン野は、4ピクセル×4ピクセルである。
【0044】
畳み込み層の後に続いて、CNNは、畳み込み層におけるニューロン集団の出力を合成する、局所及び/又はグローバルプーリング層を含むことが可能である。更に、特定の実行例において、CNNは、各点において各層の終わりに又は各層の後に非線形に適用される、畳み込み層及び全結合層の様々な組み合わせを含むことも可能である。
【0045】
CNNは、画像処理に対する利点がいくつかある。フリーパラメータの数を減らし、生産性を改善するために、入力における小さな領域ごとに、畳み込み演算が取り入れられる。CNNの特定の実行例のうちのある重要な強みとしては、複数の畳み込み層において共有の重みを使用することである。つまり、各層における各ピクセルに対する係数として使用されるフィルタ(重みバンク)が同じであるため、メモリの容量を減少させ、且つパフォーマンスを向上させる。その他の画像処理法と比較して、CNNは、有利な点として、比較的小さな前処理を使用する。これは、従来的なアルゴリズムでは手動で設計されたフィルタを、このニューラルネットワークは学習することを意味する。特徴のデザインにおいて、予備知識及び人的努力に対する依存の欠如が、このCNNの主たる強みである。
【0046】
特定の実行例において、S114で訓練されたニューラルネットワークは、撮像アーチファクトの低減のようなタスクを実行するよう適切に結合された、多層のニューラルネットワークを含む。
【0047】
図2Dは、開示の実施形態に係る方法200を示す。いくつかの実施形態において、方法200は、S112で取得された学習データセットを使用するニューラルネットワークの訓練用の方法110のS114の実行例である。方法200は、ニューラルネットワークの学習方法の一例である。例において、図2Dは、開示の実施形態に係るS114でのニューラルネットワークを訓練するために使用される、教師あり学習の一つの実行例を示す。教師あり学習において、アーチファクト呈示データとアーチファクト最小化データとを含む学習データセットが取得され、ニューラルネットワークは、アーチファクト呈示データに基づくニューラルネットワークからの結果がアーチファクト最小化データにほぼ一致するように、エラーを減らすように逐次的にアップデートされる。すなわち、ニューラルネットワークの訓練において、アーチファクト最小化データは教師データとして用いられる。言い換えれば、ニューラルネットワークは、学習データセットにより示されるマッピングを推定し、コスト関数は、アーチファクト最小化データと、現在の時点のニューラルネットワークをアーチファクト呈示データへと適用することにより生み出された結果との間の不一致に関連するエラー値を算出する。例えば、特定の実行例において、コスト関数は、平均二乗エラーを最小化するために平均平方エラーを使用することができる。多層パーセプトロン(multilayer perceptrons:MLP)ニューラルネットワークの場合は、逆伝播アルゴリズムが、勾配降下法を使用して平均平方エラーベースのコスト関数を最小化することでネットワークを訓練するために、使用することができる。
【0048】
いくつかの実施形態において、ニューラルネットワークモデルの訓練は、許可されたモデルの群(又は、ベイズフレームワークにおいて、許可されたモデルのセットにわたる分布の決定)の中から一つのモデルを選択し、コスト基準値(つまり、コスト関数を使用して計算されるエラー値)を最小化することを意味する。一般的に、ニューラルネットワークは、ニューラルネットワークモデルの学習のための多数のアルゴリズムのうちの任意のアルゴリズムを使用して(例えば、最適化理論や統計推定を適用することにより)学習することができる。
【0049】
例えば、ニューラルネットワークの訓練に使用される最適化法は、実際の勾配を計算する逆伝播を使用して、勾配降下のある形状を利用できる。これは、ネットワークパラメータについてのコスト関数の導関数を取得し、そしてその後勾配に関する方向にこれらのパラメータを変更することで、行われる。逆伝播学習アルゴリズムは、最急降下法(例えば、可変学習率を用いて、可変学習率及び運動量を用いて、そして弾性逆伝播(resilient backpropagation))、準ニュートン法(例えば、Broyden-Fletcher-Goldfarb-Shannon、ワンステップ割線(one step secant)、Levenberg-Marquardt)、又は共役勾配法(例えば、Fletcher-Reevesアップデート、Polak‐Ribiereアップデート、Powell-Beale再スタート、そして目盛り付き共役勾配)の場合がある。更に、遺伝子発現プログラミング、焼き鈍し法、期待値最大化、非母数法及び粒子群最適化のような発展的方法も、ニューラルネットワークの訓練に対して使用することができる。
【0050】
図2Dに関して、方法200は、S211で開始し、S210へと進む。学習データセットは、撮像アーチファクトを呈示する画像を含む場合がある。例えば、撮像アーチファクトは、再構成の特定の方法から、又は投影データの収集用に使用される方法等(例えば、大きな角度のコーンビームスキャン)から、生じることがある。いくつかの実施形態において、学習データセットは、アーチファクト呈示データとアーチファクト最小化データとを含む。
【0051】
S210で、訓練中のニューラルネットワークが初期化される。いくつかの例において、ニューラルネットワークの係数に対する初期推定値が生成される。例えば、初期推定値は、画像化された被検体のアプリオリ知識に基づく場合がある。加えて、初期推定値は、異なるCTスキャン法に関連した学習データセットにより訓練された学習済みニューラルネットワークに基づく場合もある。
【0052】
S220で、エラー(例えば、コスト関数)は、アーチファクト最小化データとアーチファクト呈示データに基づいてニューラルネットワークにより生成された結果との間で、計算される。エラーは、上述のコスト関数を含む、任意の公知のコスト関数や、又は画像(又は投影データ)間の相違の測定を使用して計算することもできる。
【0053】
S230で、エラーにおける変化は、ニューラルネットワークにおける変化の関数として計算することができ(例えば、エラー勾配)、係るエラーにおける変化は、ニューラルネットワークの重み/係数の後続の変化に対して、方向やステップサイズを選択するために使用することができる。この方法でエラーの勾配を計算することは、勾配降下最適化法の特定の実行例と一致する。その他の特定の実行例において、当業者に理解される通り、このステップは、省略することができる、及び/又は、もう一つの最適化アルゴリズム(焼き鈍し法又は遺伝的アルゴリズム等の、非勾配降下最適化アルゴリズム)に従う、他のステップと置き換えることができる。
【0054】
S240で、係数の新たなセットが、ニューラルネットワークに対して決定される。例えば、重み/係数は、勾配降下最適化法又は過剰弛緩促進法(over-relaxation acceleration method)により、S230で計算される変化を使用してアップデートすることができる。
【0055】
S250において、新たなエラー値がニューラルネットワークのアップデートされた重み/係数を使用して計算される。様々な実施形態において、新たなエラー値は、アーチファクト最小化データと、アーチファクト呈示データに基づいてアップデートされたニューラルネットワークにより生成された新たな結果との間で計算される。
【0056】
S260において、ネットワークの訓練が完了したかどうかを決定するのに、既定の停止基準が使用される。例えば、所定の停止基準は、新たなエラー及び/又は実行された総逐次数が、しきい値を超えるかどうかを評価することができる。例えば、停止基準は、新たなエラーが所定のしきい値を下回るか、又は、最大逐次数にまで達した場合に、満たされる。停止基準が満たされない場合、方法200は、新たな重み及び係数を使用して、S230へと戻って繰り返すことにより、逐次ループの開始へと戻り続けることになる(係る逐次ループは、S230、S240、S250、S260を含む)。停止基準が満たされたら、方法200はS299で終了する。
【0057】
図2Dに示されるエラー最小化に対する実行例に加えて、方法200は、例えば、局所最小化法、凸最適化法、そしてグローバル最適化法を含む、多くのその他の公知の最小化法のうちの一つを使用することができる。
【0058】
コスト関数(例えば、エラー)がグローバル最小値とは異なる局所極小値を有する場合に、ロバスト確率的最適化処理は、コスト関数のグローバル最小値を見つけ出すのに有益である。局所極小値を見つけ出すための最適化法は、例えば、Nelder-Meadシンプレックス法、勾配降下法、ニュートン法、共役勾配法、シューティング法、又はその他の公知の局所最適化法のうちの一つである。遺伝的アルゴリズム、焼き鈍し法、全数検索、区間法、そしてその他の従来的な決定論的、確率的、発見的、そしてメタヒューリスティック(metatheuristic)法を含む、グローバル最小値を探し出すための公知の方法も沢山ある。いくつかの実施形態において、上述の方法は、ニューラルネットワークの重み及び係数を最適化するのに使用することができる。更に、ニューラルネットワークは、逆伝播法を使用して最適化することもできる。
【0059】
図3は、開示の実施形態に係る方法300を示す。いくつかの実施形態において、方法300は、方法110におけるステップS112を実行するために使用される。例えば、方法300は、アーチファクト呈示データとアーチファクト最小化データとを有するデータペアを含む、学習データセットを生成する。方法300は、ニューラルネットワークの学習方法の一例である。方法300は、S301で開始し、S310へと進む。
【0060】
S310で、第一の投影データが取得される。第一の投影データは、一つ又は複数のCTスキャンで取得された放射線データを表す。いくつかの実施形態において、第一の投影データは、小さなコーン角を有するヘリカルCTスキャンを使用するような、最適な条件の下で測定される。
【0061】
S320で、第一の画像が、例えば画像再構成により、第一の投影データに基づいて生成される。いくつかの実施形態において、第一の画像は、特定のしきい値を下回る最小撮像アーチファクトを有する、アーチファクト最小化データである。いくつかの例において、第一の画像は、3D再構成画像である。いくつかの例において、第一の画像は、2D再構成画像である。いくつかの例において、第一の画像は、2Dコロナルビュー又は2Dサジタルビューである。いくつかの例において、中間3D画像は、第一の投影データから再構成される。図4A-4Dを参照し、第一の画像は、係る中間の3D画像のアキシャルビューのようなその他のビュー(複数のビュー)と比べて、コロナルビューのように、よりはっきりとした撮像アーチファクトを示す特定のビュー(複数のビュー)を使用して取得され、このようにして、第一の画像はコロナルビューを示す2D画像となる。
【0062】
画像再構成は、逆投影法、フィルタ補正逆投影法、フーリエ変換ベースの画像再構成法、逐次画像再構成法(例えば、代数再構成技法)、マトリクス反転画像再構成法、又は統計的画像再構成法等を使用して実行することができる。
【0063】
S330で、第二の投影データは、第一の画像から生成される。いくつかの実施形態において、第二の投影データは、順投影法を使用して生成される。様々な例において、第二の投影データは、大きなコーン角を有するX線ビームを使用する、円形CBCTスキャン構成のような、比較的大きな撮像アーチファクトを生み出す可能性のある、シミュレーション条件の下でシミュレーションを使用して取得される。
【0064】
いくつかの例において、複数の第二の投影データは、比較的大きな撮像アーチファクトを生み出す可能性のある、異なるシミュレーション条件の同じ第一の画像からシミュレートされる。例えば、複数の第二の投影データは、一つ又は複数のスキャニングパラメータの様々な値を示すように、シミュレートすることができる。これらのスキャニングパラメータは、例えばスキャニングプロトコル(スキャンプロトコル)、診断的アプリケーション(診断アプリケーション)を含む場合がある。いくつかのケースにおいて、異なるスキャニングパラメータは、スキャニングパラメータが画像化される予定の解剖学的構造や診断的アプリケーションであるような場合、異なる第一の画像に対応することがある。特定の実行例において、複数の第二の投影データは、角度しきい値に比べてより大きい、異なるコーン角を使用して取得される。更に、異なるニューラルネットワークは、一つ又は複数のスキャニングパラメータのうちの特定の値に対して最適化することができる。例えば、与えられたニューラルネットワークは、第一のコーン角に対して、画像化される予定の第一の解剖学的構造(例えば頭部)に対して、使用されるように訓練することができる。また別のニューラルネットワークは、第一のコーン角及び画像化される予定の第二の解剖学的構造に対して、使用されるように学習することができる。第三のニューラルネットワークは、第二のコーン角と画像化される予定の第一の解剖学的構造とに対して、使用されるように学習することができ、以降同様である。各ニューラルネットワークに対する、第一の画像に対するスキャニングパラメータの選択と、対応する第二の画像に対するシミュレーションに対するスキャニングパラメータとの選択は、ニューラルネットワークの名称に基づいて、選ばれるようになる。
【0065】
S340で、第二の画像は、例えば画像再構成により第二の投影データに基づいて取得される。いくつかの実施形態において、第二の画像は、特定のしきい値を上回るように比較的大きな撮像アーチファクトを有するアーチファクト呈示データである。いくつかの例において、第二の画像は、第一の画像のものと同じく、2D、3D等の同じ次元を有する。いくつかの例において、第二の画像は、第一の画像のものと同じく、コロナルビュー、サジタルビュー等の同じビューを有する。画像再構成は、S320で説明される画像再構成と同様又は同一の場合もある。
【0066】
S350で、学習データセットが生成される。いくつかの実施形態において、学習データセットは、データペアを形成する第一の画像と第二の画像とを含む。いくつかの実施形態において、学習データセットは、第一の画像と、第一の画像に対応する複数の第二の画像とを含む。例えば、上述の通り、同じ第一の画像は、異なるコーン角のようなスキャニングパラメータに対して異なる値を使用して順投影されることができ、これらの異なる値のそれぞれは、個別の第二の画像を再構成するために使用することができる。このケースにおいて、個別の第二の画像のそれぞれは、スキャニングパラメータの個別の値により指定されるニューラルネットワークを訓練するために、個別の学習データセット内において第一の画像とペアにされることになるだろう。更に、ステップS310、S320、S330、S340そしてS350は、追加のデータペアを生成するために繰り返すことができ、それぞれは第一の画像及び第二の画像、そして学習データセットに含まれる予定のものを含んでいる。いくつかの例において、検証データセットと試験データセットは、付加的な第一の画像と個別の第二の画像とを使用して生成される。方法300は、S399へと進み、終了する。
【0067】
いくつかの実施形態において、例えば2D画像を用いてニューラルネットワークの訓練を早く行える場合、ニューラルネットワークは、2D画像を使用して訓練することもできる。上述の通り、撮像アーチファクトは、異なるビューに応じて変化する。例えば、コーンビームアーチファクトは、図4A-4Dにおいてコロナルビュー及びサジタルビューをアキシャルビューと比較するように、特定のビューでよりはっきりとする場合がある。ある実施形態では、比較的大きな撮像アーチファクトを有するコロナルビューやサジタルビューのような適切なビューが、S112での学習データセットに含まれる。コーンビームアーチファクトが出やすいビューの画像のみを用いることにより、ニューラルネットワークの訓練(学習)を効率化することができる。すなわち、第1画像及び第2画像は、例えば、3次元画像をコロナルビュー又はサジタルビューに分割することにより生成された2次元画像である。
【0068】
図4A-4Dは、開示の実施形態に係る例示的な画像410、415、420、425を示す。図4A及び4Bは、例えば身体の第一の領域等、第一の被検体の第一のコロナルビュー410と第二のコロナルビュー415とを示す。いくつかの実施形態において、第一のコロナルビュー410は、小さなコーン角を有するX線ビームを使用する最適な撮像条件の下で生成され、且つアーチファクト最小化データに対応する。第二のコロナルビュー415は、大きなコーン角を有するX線ビームを使用して生成され、且つアーチファクト呈示データに対応する。例えば、エリア411及び412は、第一のコロナルビュー410では検出可能でない、はっきりとしたコーンビームアーチファクトを描き出す。
【0069】
図4C及び4Dは、例えば身体の第二の領域等、第二の被検体の第一のアキシャルビュー420と第二のアキシャルビュー425とを示す。いくつかの実施形態において、第一のアキシャルビュー420は、小さなコーン角を有するX線ビームを使用する、最適な撮像条件の下で生成される。第二のアキシャルビュー425は、大きなコーン角を有するX線ビームを使用して生成される。例えば、エリア421は、第一のアキシャルビュー420では検出可能でない、コーンビームシェーディングアーチファクトを描き出す。しかし、図4B及び4Dを参照すると、コロナルビューにおけるエリア411及び412により描かれるコーンビームアーチファクトは、アキシャルビューにおけるエリア421により描かれるコーンビームアーチファクトに比べて、よりはっきりとしている。開示の実施形態によると、アーチファクト最小化データ及びアーチファクト呈示データに対応する、第一のコロナルビュー410及び第二のコロナルビュー415等は、ステップS112での学習データセットに含まれる。いくつかの例において、第一のアキシャルビュー420及び第二のアキシャルビュー425は、ステップS112における学習データセットから排除される。その上、いくつかの実施形態において、アーチファクト呈示データ及びアーチファクト最小化データに対応する2Dサジタルビューも、ステップS112における学習データセットに含まれる。
【0070】
学習時間を減らすために、付加的な画像処理方法を、例えば方法110及び300に含むことができる。コーンビームアーチファクトのように、特定の撮像アーチファクトは、空間において徐々に変化する、即ち、低空間周波数成分を有する。方法110で訓練されるニューラルネットワークがCNNの場合、例えば低空間周波数成分とするために、比較的大きな受容野が使用される。開示の側面によると、画像は、各サブ画像の受容野が画像の受容野と比較可能である一方で、より小さいピクセル数を有する複数のサブ画像へと分割される。いくつかの例において、画像は、複数のサブ画像を取得するために、下記に説明するようにダウンサンプルされる。個々のサブ画像は、方法110を使用して生成された学習データセットと同様に、学習データセットに含まれる。
【0071】
図5は、開示の実施形態に係る、1つの画像550におけるピクセルが、四つのより小さいサブ画像521-524へとダウンサンプルされ、サブ画像に分割される一例を示す。例えば、画像550は、矢状面又は冠状面における再構成画像の2Dスライスとすることができる。図5で、画像550は、第一の方向について2個のファクタに、かつ、第二の方向について2個のファクタにダウンサンプルされている。一般的に、画像550は、第一の方向についてN個のファクタに、第二の方向についてM個のファクタにダウンサンプルすることができる。この場合、N×M個のサブ画像が生成される。例えばCNNを訓練するために画像550をCNNへと適用する場合、ピクセルは、第一のブロック551のように2×2のブロックへとグループ分けされ、各ブロックにおけるピクセルには1から4までのインデックスが与えられる。サブ画像のそれぞれを形成するために、同じインデックスを有するピクセルの全てが組み合わせられる。例えば、ピクセルグループ551からのピクセル551(1)はサブ画像521に、そしてピクセルグループ551からのピクセル551(2)はサブ画像522に、それぞれ示される。そして、ピクセルグループ551からのピクセル551(3)はサブ画像523に、そしてピクセルグループ551からのピクセル551(4)はサブ画像524に、それぞれ示される。即ち、画像550からの情報全てが、サブ画像521-524に保存される。すなわち、第一の方向においてN個目で第二の方向についてM個目のサブ画像では、第一の方向においてN番目で、かつ、第二の方向においてM番目すべてのボクセル(ピクセル)が選択される。
【0072】
N×M(例えば、図5ではN=M=2)個のファクタに、サブ画像におけるピクセル数を減らすことに加え、ダウンサンプリングによりN×M個のファクタに受容野におけるピクセル数を減少させることにより、合計の結果として、オリジナルの画像に対して、サブ画像において畳み込み層を実行するための乗算(multiplication)の数は、ファクタ数のN×Mの分の1に、減少する結果となる。例えば、図5は、画像550に対する、6行6列の受容野552を示す。しかし、サブ画像521-524に対して、対応する受容野552(1)-(4)は、それぞれが3行3列の次元数(即ち、画像552のピクセル数の1/4)を有する。各サブ画像が、ダウンサンプルされた画像に対するニューラルネットワークへと適用する場合に、必要とされる計算量はぐっと少なくなる。その上、訓練の間、ニューラルネットワークは、層の間の最適な重み付け係数をより素早く収束させることができる。各サブ画像を使用して訓練されたニューラルネットワークは、アップサンプリングされる。アップサンプリングされたニューラルネットワークは、学習済みニューラルネットワークとして出力される。
【0073】
従って、画像550は、その画像解像度に比べて、より低い画像解像度を有する四つのサブ画像521-524へとダウンサンプルされる。様々な実施形態において、画像解像度は、2D画像においてピクセル毎にmmの単位を有し、3D画像においてmmの単位を有し、ここで1mmは1ミリメートルである。サブ画像521-524は、1、2、3、4でインデックスされた個々のピクセルを含む。図5を参照すると、第二の受容野のそれぞれにおけるピクセル数は、第一の受容野552におけるピクセル数の1/4である。従って、サブ画像を用いたCNNの訓練は、オリジナル画像550を用いるよりも速くなる。オリジナル画像550における第二の受容野552は、四倍より多くのピクセルを含んでいるが、サブ画像521-524における受容野552(1)-(4)のそれぞれ同じ物理的な領域を表すことに留意されたい。
すなわち、この実施例では、第1画像は、アーチファクト最小化データを再構成することで得られた高解像の第6画像に対して、第一の方向においてN個に、第二の方向においてM個にダウンサンプリングすることにより生成される。また、第2画像は、アーチファクト呈示データを再構成することで生成した高解像の第7画像に対して、第一の方向においてN個に、第二の方向においてM個にダウンサンプリングすることにより生成される。そして、同じ領域を表す第1画像と第2画像とに基づいて学習された複数のニューラルネットワークをアップサンプリングすることにより、学習済みモデルが生成される。画像550は、第6画像又は第7画像に相当し、サブ画像521-524は、第1画像又は第2画像に相当する。第1画像及び第2画像は、例えば、第6画像及び第7画像のそれぞれにおいて、第一の方向においてN番目で、かつ、第二の方向においてM番目である全てのボクセルを選択することにより生成される。あるいは、第1画像及び第2画像は、例えば、第6画像及び第7画像のそれぞれにおいて、N×Mの大きさを有する複数のボクセルブロックを平均化することにより生成される。あるいは、第1画像及び第2画像は、例えば、第6画像及び第7画像のそれぞれに対して、周波数領域へ変換し、低周波成分のうち、第一の方向について1/Nの割合で、第二の方向について1/Mの割合の成分を選択することにより生成される。
【0074】
図6は、開示の実施形態に係る、X線CT装置(CTスキャナ)の実行例の概略図を示す。X線CT装置は、医用画像処理装置の一例である。図6では、放射線ガントリ500は側面から見て描かれており、X線管501、環状フレーム502、そして多列又は2次元アレイ型X線検出器503を更に含む。X線管501及びX線検出器503は、環状フレーム502において被検体OBJを横切って正反対に取り付けられ、環状フレーム502は回転軸RA(又は回転軸)の回りに回転可能に支持される。被検体OBJが図示された頁の奥の方向又は手前の方向の軸RAに沿って移動されながら、回転ユニット507は環状フレーム502を0.4秒/回転もの高速で回転させる。
【0075】
X線CT装置は、様々なタイプの装置を含む。具体的には、X線管とX線検出器とが、検査される予定の被検体の周辺を一緒に回る回転/回転型装置と、そして多数の検出素子がリング状又は水平状に配置されており、X線管のみが検査される予定の被検体の周辺を回る固定/回転型装置と、がある。本開示は、いずれのタイプにも適用可能である。分かりやすくするために、回転/回転型を例として使用することとする。
【0076】
マルチスライスX線CT装置は高電圧発生器509を更に含み、高電圧発生器509は、スリップリング508を通してX線管501に印加される管電圧を生成し、これによりX線管501がX線を生成する。X線は、被検体OBJに向かって照射され、被検体OBJの断面領域は円で表される。例えば、X線管501の第一のスキャンにおける平均的なX線エネルギーは、第二のスキャンにおける平均的なX線エネルギーに比べて小さい。このようにして、二つ以上のスキャンを異なるX線エネルギーに対応して得ることができる。X線検出器503は、被検体OBJを通り抜けてきた照射X線を検出するために、被検体OBJを挟んでX線管501から反対側の位置に配置される。X線検出器503は、個々の検出素子又は検出器ユニットを更に含む。X線管501は、コーン角を有するX線ビームを放射するX線源の一例である。X線検出器503は、被検体を横断したX線ビームを検出する複数の検出素子を有し、複数の検出素子で検出されたX線ビームの強度を示す投影データを生成する検出器の一例である。
【0077】
CT装置は、X線検出器503から検出された信号を処理するための、その他のデバイスを更に含む。データ収集回路又はデータ収集システム(DAS)504は、各チャネルにおけるX線検出器503からの出力信号を電圧信号に変換し、係る電圧信号を増幅し、更にその電圧信号をデジタル信号へと変換する。X線検出器503及びDAS504は、1回転当たりの所定の総投影数(TPPR)を操作するよう構成されている。
【0078】
上記で説明されたデータは、非接触データ送信装置505を通して、放射線ガントリ500外部のコンソール内に収容された、前処理デバイス506へと送られる。前処理デバイス506は、生データに対する感度補正など、特定の補正を実行する。格納部512は、再構成処理直前の段階で「投影データ」とも呼ばれる結果データを格納する。格納部512は、再構成デバイス514、入力部515、表示部516と共に、データ/制御バス511を介して、システムコントローラ510に接続される。システムコントローラ510は、CTシステムを駆動させるのに十分なレベルに達するまで電流を制限する電流調整器513を制御する。
【0079】
検出器は、どの世代のCTスキャナシステムにおいても、患者に対して回転及び/又は固定される。ある実行例において、上に説明されたCTシステムは、第三世代ジオメトリシステムと第四世代ジオメトリシステムとが組み合わせられた例とする場合がある。第三世代ジオメトリシステムにおいて、X線管501とX線検出器503とは、環状フレーム502上に正反対に取り付けられ、環状フレーム502が回転軸RAの周りを回転する時に、被検体OBJの周りを回転する。第四世代ジオメトリシステムにおいて、検出器は患者の周囲に固定して取り付けられており、X線管は患者の周囲を回転する。代替的な実施形態において、放射線ガントリ500は、Cアーム及びスタンドによって支持される環状フレーム502上に配置された多数の検出器を有する。
【0080】
格納部512は、X線検出器ユニット503でのX線照射量を表す測定値を格納することができる。更に、格納部512は、ニューラルネットワークを訓練し且つ撮像アーチファクトを低減するための、方法110、150、200、そして300の様々なステップを実行するための専用プログラムを格納することができる。また、格納部512は、学習済みのニューラルネットワークを格納することができる。格納部512は、学習済みモデルを格納する記憶媒体の一例である。
【0081】
再構成デバイス514は、方法110、150、200、そして300の様々なステップを実行することができる。更に、再構成デバイス514は、必要に応じてボリュームレンダリング処理や画像差処理など、前再構成処理画像処理を実行することができる。
すなわち、再構成デバイス514は、第1のコーン角を有する第1X線ビームを使用して取得された第1画像と、第1画像に基づいてシミュレートされたコーンビームアーチファクトを含む第2画像と、に基づいて学習された学習済みモデルに対して、第1のコーン角より大きい第2のコーン角を有する第2X線ビームを使用して取得されたコーンビームアーチファクトを含む第3画像を入力することにより、第3画像に含まれるコーンビームアーチファクトが低減された第4画像を生成する処理部と、第3画像を取得する取得部と、を備えた、医用画像処理装置の一例である。
【0082】
前処理デバイス506によって実行される投影データの前再構成処理は、例えば検出器キャリブレーション、検出器非直線性、極性効果のための補正を含むことができる。
【0083】
再構成デバイス514によって実行される後再構成処理は、画像のフィルタリングやスムージング、ボリュームレンダリング処理、そして画像差処理を、必要に応じて含むことができる。画像再構成処理は、様々なCT画像再構成法に加え、方法110、150、200、そして300の様々なステップを実行できる。再構成デバイス514は、例えば投影データ、再構成画像、キャリブレーションデータやパラメータ、そしてコンピュータプログラムを格納するのに格納部を使うことができる。
【0084】
再構成デバイス514は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は複合プログラマブル論理デバイス(CPLD)など、個々の論理ゲートとして実行可能な、CPU(中央演算処理装置)を含むことができる。FPGA又はCPLDの実行は、VHDL、ベリログ、又は任意のその他のハードウェア記述言語でコード化されていてもよく、そして当該コードはFPGA又はCPLDにおいて直接電子メモリ内に格納されてもよいし、あるいは別の電子メモリに格納されてもよい。更に、格納部512は、ROM、EPROM、EEPROM(登録商標)、又はFLASHメモリなど、不揮発性メモリであってもよい。格納部512は、スタティックRAM、又はダイナミックRAM等のように揮発性であってもよく、FPGA又はCPLDとメモリとの間の相互作用に加えて、電子メモリを制御するマイクロコントローラ又はマイクロプロセッサ等の処理部が設けられることもある。
【0085】
替わりに、再構成デバイス514におけるCPUは、ここで説明された機能を実行する、コンピュータが読み取り可能な指示群を含むコンピュータプログラムを実行することができ、当該コンピュータプログラムは、任意の上述の非一時的電子メモリ及び/又はハードディスクドライブ、CD、DVD、FLASHドライブ、又はその他の任意の既知の格納媒体に格納されている。更に、コンピュータが読み取り可能な指示は、ユーティリティアプリケーション、バックグラウンドデーモン、又はオペレーティングシステムの構成要素、又はそれらの組み合わせとして提供されてもよく、米国Intel社のXenon(登録商標)プロセッサ又は米国AMD社のOpteron(登録商標)プロセッサなどのプロセッサと、そしてMicrosoft VISTA(登録商標)、UNIX(登録商標)、Solaris(登録商標)、LINUX(登録商標)、Apple(登録商標)、MAC-OS(登録商標)等のオペレーティングシステムや、当業者にとっては既知のその他のオペレーティングシステムと一体となって実行される。更に、CPUは、命令を実行するために並行して協同的に動く、マルチプルプロセッサとして実現されてもよい。再構成デバイス514におけるCPUは、処理回路の一例である。
【0086】
ある実行例において、再構成画像は、表示部516に映し出されてもよい。当該表示部516は、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、OLED、LED、又は当業者にとって既知のその他のディスプレイであってもよい。
【0087】
格納部512は、ハードディスクドライブ、CD-ROMドライブ、DVDドライブ、FLASHドライブ、RAM、ROM、又は当業者にとって既知のその他の格納メディアであってもよい。
【0088】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0089】
201…ニューラルネットワーク
202…CNN
203…畳み込み層
204…ピクセル領域
205…ニューロン
410、415、420、425…画像
411、412、421…エリア
500…放射線ガントリ
501…X線管
502…環状フレーム
503…X線検出器
504…データ収集システム(DAS)
505…非接触データ送信装置
506…前処理デバイス
507…回転ユニット
508…スリップリング
509…高電圧発生器
510…システムコントローラ
511…データ/制御バス
512…格納部
513…電流調整器
514…再構成デバイス
515…入力部
516…表示部
521~524…サブ画像
550…オリジナル画像
551…ブロック
552…受容野
図1A
図1B
図2A
図2B
図2C
図2D
図3
図4A
図4B
図4C
図4D
図5
図6