(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-07
(45)【発行日】2024-05-15
(54)【発明の名称】医用画像処理装置および医用画像処理方法
(51)【国際特許分類】
A61B 6/46 20240101AFI20240508BHJP
A61B 6/03 20060101ALI20240508BHJP
【FI】
A61B6/46 536Q
A61B6/03 550Y
(21)【出願番号】P 2021064617
(22)【出願日】2021-04-06
【審査請求日】2023-10-05
【早期審査対象出願】
(73)【特許権者】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】山川 恵介
(72)【発明者】
【氏名】後藤 大雅
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】特開2020-163124(JP,A)
【文献】特開2017-131307(JP,A)
【文献】米国特許出願公開第2021/0035338(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00 - 6/58
G06T 1/00 - 1/40
3/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
金属が含まれる被検体の投影データから断層画像を再構成する演算部を備える医用画像処理装置であって、
前記演算部は、金属アーチファクトを低減することを機械学習した機械学習エンジンに前記断層画像が入力されたときに出力される機械学習出力画像を取得
するとともに重み係数がマッピングされた重みマップを取得し、
前記重みマップを用いて前記機械学習出力画像と前記断層画像を合成して、合成画像を生成することを特徴とする医用画像処理装置。
【請求項2】
請求項
1に記載の医用画像処理装置であって、
前記重みマップは、前記断層画像に対してビーム硬化補正法を適用して得られるビーム硬化補正画像と前記断層画像との差分の絶対値の分布であることを特徴とする医用画像処理装置。
【請求項3】
請求項
1に記載の医用画像処理装置であって、
前記重みマップは、前記断層画像に対して線形補間法を適用して得られる線形補間画像と前記断層画像との差分の絶対値の分布であることを特徴とする医用画像処理装置。
【請求項4】
請求項
1に記載の医用画像処理装置であって、
前記重み係数は、前記断層画像から抽出される金属画素から離れるに連れて小さくなることを特徴とする医用画像処理装置。
【請求項5】
請求項
4に記載の医用画像処理装置であって、
前記重み係数は、前記金属画素の画素値が大きいほど大きくなることを特徴とする医用画像処理装置。
【請求項6】
請求項
1に記載の医用画像処理装置であって、
前記演算部は、調整係数設定部において設定された調整係数を前記重み係数に乗じて得られる値を用いて前記機械学習出力画像と前記断層画像を合成することを特徴とする医用画像処理装置。
【請求項7】
請求項
6に記載の医用画像処理装置であって、
前記合成画像は前記調整係数設定部と同一のウィンドウに表示され、前記調整係数設定部において前記調整係数が設定される毎に更新されることを特徴とする医用画像処理装置。
【請求項8】
金属が含まれる被検体の投影データから断層画像を再構成する医用画像処理方法であって、
金属アーチファクトを低減することを機械学習した機械学習エンジンに前記断層画像が入力されたときに出力される機械学習出力画像を取得する
とともに重み係数がマッピングされた重みマップを取得する取得ステップと、
前記重みマップを用いて前記機械学習出力画像と前記断層画像を合成して、合成画像を生成する生成ステップと、を備えることを特徴とする医用画像処理方法。
【請求項9】
金属が含まれる被検体の投影データから断層画像を再構成する演算部を備える医用画像処理装置であって、
前記演算部は、金属アーチファクトを低減することを機械学習した機械学習エンジンに、前記金属アーチファクトの存在確率の分布を示すアーチファクトマップと前記断層画像を入力することにより、前記金属アーチファクトが低減された補正画像を取得することを特徴とする医用画像処理装置。
【請求項10】
請求項
9に記載の医用画像処理装置であって、
前記演算部は、前記断層画像に対してビーム硬化補正法を適用して得られるビーム硬化補正画像または前記断層画像に対して線形補間法を適用して得られる線形補間画像を前記機械学習エンジンにさらに入力することを特徴とする医用画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、X線CT(Computed Tomography)装置等の医用画像撮影装置によって得られる医用画像を扱う医用画像処理装置および医用画像処理方法に係り、被検体内に金属が含まれる場合に発生する金属アーチファクトを低減する技術に関する。
【背景技術】
【0002】
医用画像撮影装置の一例であるX線CT装置は、被検体の周囲からX線を照射して複数の投影角度における投影データを取得し、投影データを逆投影することによって、画像診断に用いられる被検体の断層画像を再構成する装置である。被検体内に金属、例えば骨の固定に用いられるプレート等が含まれると、金属の影響によるアーチファクトである金属アーチファクトが医用画像に発生し、画像診断の妨げになる。金属アーチファクトを低減する技術は、MAR(Metal Artifact Reduction)と呼ばれ、ビーム硬化補正法や線形補間法、ディープラーニング法等の様々な方法が開発されているものの、それぞれに一長一短がある。
【0003】
非特許文献1では、オリジナル画像と、ビーム硬化補正法及び線形補間法によって金属アーチファクトが低減された画像を入力画像として、ディープラーニング法に適用することにより、各方法のメリットを融合することについて開示している。
【先行技術文献】
【非特許文献】
【0004】
【文献】Y. Zhang and H. Yu, "Convolutional Neural Network Based Metal Artifact Reduction in X-Ray Computed Tomography," in IEEE Transactions on Medical Imaging, vol. 37, no. 6, pp. 1370-1381, June 2018
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら非特許文献1では、金属アーチファクトは低減されるものの、金属アーチファクトの影響が小さい領域、例えば金属から離れた領域において、画質が低下する場合がある。
【0006】
そこで本発明の目的は、金属アーチファクトを低減するとともに、金属アーチファクトの影響が小さい領域においても画質を維持することが可能な医用画像処理装置および医用画像処理方法を提供することである。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明は、金属が含まれる被検体の投影データから断層画像を再構成する演算部を備える医用画像処理装置であって、前記演算部は、金属アーチファクトを低減することを機械学習した機械学習エンジンに前記断層画像が入力されたときに出力される機械学習出力画像を取得し、前記機械学習出力画像と前記断層画像を合成して、合成画像を生成することを特徴とする。
【0008】
また本発明は、金属が含まれる被検体の投影データから断層画像を再構成する医用画像処理方法であって、金属アーチファクトを低減することを機械学習した機械学習エンジンに前記断層画像が入力されたときに出力される機械学習出力画像を取得する取得ステップと、前記機械学習出力画像と前記断層画像を合成して、合成画像を生成する生成ステップと、を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、金属領域内の詳細な構造を失うことなく金属アーチファクトを低減することが可能な医用画像処理装置および医用画像処理方法を提供することができる。
【図面の簡単な説明】
【0010】
【
図2】医用画像撮影装置の一例であるX線CT装置の全体構成図
【
図5】実施例1のS303の処理の流れの一例を示す図
【発明を実施するための形態】
【0011】
以下、添付図面に従って本発明に係る医用画像処理装置及び医用画像処理方法の実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【実施例1】
【0012】
図1は医用画像処理装置1のハードウェア構成を示す図である。医用画像処理装置1は、演算部2、メモリ3、記憶装置4、ネットワークアダプタ5がシステムバス6によって信号送受可能に接続されて構成される。また医用画像処理装置1は、ネットワーク9を介して医用画像撮影装置10や医用画像データベース11、機械学習エンジン12と信号送受可能に接続される。さら医用画像処理装置1には、表示装置7と入力装置8が接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。
【0013】
演算部2は、各構成要素の動作を制御する装置であり、具体的にはCPU(Central Processing Unit)やMPU(Micro Processor Unit)等である。演算部2は、記憶装置4に格納されるプログラムやプログラム実行に必要なデータをメモリ3にロードして実行し、医用画像に対して様々な画像処理を施す。メモリ3は、演算部2が実行するプログラムや演算処理の途中経過を記憶するものである。記憶装置4は、演算部2が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはHDD(Hard Disk Drive)やSSD(Solid State Drive)等である。ネットワークアダプタ5は、医用画像処理装置1をLAN、電話回線、インターネット等のネットワーク9に接続するためのものである。演算部2が扱う各種データはLAN(Local Area Network)等のネットワーク9を介して医用画像処理装置1の外部と送受信されても良い。
【0014】
表示装置7は、医用画像処理装置1の処理結果等を表示する装置であり、具体的には液晶ディスプレイ等である。入力装置8は、操作者が医用画像処理装置1に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス、タッチパネル等である。マウスはトラックパッドやトラックボール等の他のポインティングデバイスであっても良い。
【0015】
医用画像撮影装置10は、例えば被検体の投影データを取得し、投影データから断層画像を再構成するX線CT(Computed Tomography)装置であり、
図2を用いて後述される。医用画像データベース11は、医用画像撮影装置10によって取得された投影データや断層画像、断層画像に画像処理が施された補正画像等を記憶するデータベースシステムである。
【0016】
機械学習エンジン12は、断層画像に含まれる金属アーチファクトを低減することを機械学習して生成され、例えばCNN(Convolutional Neural Network)を用いて構成される。機械学習エンジン12の生成には教師画像として、例えば金属を含まない断層画像が用いられる。また入力画像には、当該教師画像に金属領域を追加した画像を順投影して金属が含まれる投影データを生成し、当該投影データを逆投影して得た金属アーチファクトを含む断層画像が用いられる。
【0017】
図2を用いて医用画像撮影装置10の一例であるX線CT装置100の全体構成を説明する。なお、
図2において、横方向をX軸、縦方向をY軸、紙面に垂直な方向をZ軸とする。X線CT装置100は、スキャナ200と操作ユニット250を備える。スキャナ200は、X線管211、検出器212、コリメータ213、駆動部214、中央制御部215、X線制御部216、高電圧発生部217、スキャナ制御部218、寝台制御部219、コリメータ制御部221、プリアンプ222、A/Dコンバータ223、寝台240等を有する。
【0018】
X線管211は寝台240上に載置された被検体210にX線を照射する装置である。X線制御部216から送信される制御信号に従って高電圧発生部217が発生する高電圧がX線管211に印加されることによりX線管211から被検体にX線が照射される。
【0019】
コリメータ213はX線管211から照射されるX線の照射範囲を制限する装置である。X線の照射範囲は、コリメータ制御部221から送信される制御信号に従って設定される。
【0020】
検出器212は被検体210を透過したX線を検出することにより透過X線の空間的な分布を計測する装置である。検出器212はX線管211と対向配置され、X線管211と対向する面内に多数の検出素子が二次元に配列される。検出器212で計測された信号はプリアンプ222で増幅された後、A/Dコンバータ223でデジタル信号に変換される。その後、デジタル信号に対して様々な補正処理が行われ、投影データが取得される。
【0021】
駆動部214はスキャナ制御部218から送信される制御信号に従って、X線管211と検出器212とを被検体210の周囲で回転させる。X線管211と検出器212の回転とともに、X線の照射と検出がなされることにより、複数の投影角度からの投影データが取得される。投影角度毎のデータ収集単位はビューと呼ばれる。二次元に配列された検出器212の各検出素子の並びは、検出器212の回転方向がチャネル、チャネルに直交する方向が列と呼ばれる。投影データはビュー、チャネル、列によって識別される。
【0022】
寝台制御部219は寝台240の動作を制御し、X線の照射と検出がなされる間、寝台240を静止させたままにしたり、被検体210の体軸方向であるZ軸方向に等速移動させたりする。寝台240を静止させたままのスキャンはアキシャルスキャン、寝台240を移動させながらのスキャンはらせんスキャンとそれぞれ呼ばれる。
【0023】
中央制御部215は以上述べたスキャナ200の動作を、操作ユニット250からの指示に従って制御する。次に操作ユニット250について説明する。操作ユニット250は、再構成処理部251、画像処理部252、記憶部254、表示部256、入力部258等を有する。
【0024】
再構成処理部251は、スキャナ200で取得された投影データを逆投影することにより、断層画像を再構成する。画像処理部252は断層画像を診断に適した画像にするため、様々な画像処理を行う。記憶部254は投影データや断層画像、画像処理後の画像を記憶する。表示部256は断層画像や画像処理後の画像を表示する。入力部258は投影データの取得条件(管電圧、管電流、スキャン速度等)や断層画像の再構成条件(再構成フィルタ、FOVサイズ等)を操作者が設定する際に用いられる。
【0025】
なお、操作ユニット250が
図1に示した医用画像処理装置1であっても良い。その場合、は、再構成処理部251や画像処理部252が演算部2に、記憶部254が記憶装置4に、表示部256が表示装置7に、入力部258が入力装置8に、それぞれ相当することになる。
【0026】
図3を用いて、実施例1で実行される処理の流れの一例についてステップ毎に説明する。
【0027】
(S301)
演算部2は、金属を含む被検体の断層画像I_ORGを取得する。被検体に金属が含まれるので断層画像I_ORGには金属アーチファクトが含まれる。
図4に金属アーチファクトの一例を示す。
図4は腹部ファントムを撮影した断層画像であり、肝臓内に存在する2か所の金属領域の間にダークバンドが発生するとともに、各金属領域を起点とするストリークアーファクトが発生している。
【0028】
(S302)
演算部2は、金属アーチファクトを低減することを機械学習した機械学習エンジン12に断層画像I_ORGが入力されたときに出力される機械学習出力画像I_MARを取得する。機械学習出力画像I_MARでは、金属アーチファクトが低減されるものの、金属アーチファクトの影響が小さい領域、例えば金属から離れた領域において、画質が低下する場合がある。
【0029】
(S303)
演算部2は、S302で取得された機械学習出力画像I_MARとS301で取得された断層画像I_ORGを合成する。機械学習出力画像I_MARでは金属アーチファクトの影響が小さい領域において画質が低下する場合があるのに対し、断層画像I_ORGでは金属アーチファクトの影響が小さい領域において画質が低下することはない。そこで機械学習出力画像I_MARと断層画像I_ORGの合成により、金属アーチファクトが低減されるとともに、金属アーチファクトの影響が小さい領域での画質が維持される合成画像を生成する。生成された合成画像は、表示装置7に表示されたり、記憶装置4に格納されたりする。
【0030】
図5を用いてS303の処理の流れの一例についてステップ毎に説明する。
【0031】
(S501)
演算部2は、0以上1以下の実数である重み係数wがマッピングされた重みマップを取得する。重みマップI_wは、例えば次式によって生成される。
【0032】
I_w=|I_ORG-I_BHC| … (式1)
ここでI_BHCは断層画像I_ORGに対してビーム硬化補正法を適用して得られるビーム硬化補正画像である。
【0033】
ビーム硬化補正画像I_BHCは例えば以下の手順によって得られる。まず断層画像I_ORGにおいて金属画素を抽出する。次に断層画像I_ORGの生成に用いられた投影データP_ORGにおいて、金属画素に対応する投影値を補正することで投影データP_BHCを得る。金属画素に対応する投影値の補正には、当該投影値に係る投影線での金属画素の長さと当該投影値が用いられる。すなわち投影線での金属画素の長さが長いほど、また投影値が高いほど補正強度が大きくなる。そして投影データP_BHCを逆投影し、断層画像I_ORGに加算または減算することでビーム硬化補正画像I_BHCが得られる。
【0034】
また重みマップI_wは、次式によって生成されても良い。
【0035】
I_w=|I_ORG-I_LI| … (式2)
ここでI_LIは断層画像I_ORGに対して線形補間法を適用して得られる線形補間画像である。
【0036】
線形補間画像I_LIは例えば以下の手順によって得られる。まず断層画像I_ORGにおいて金属画素を抽出する。次に断層画像I_ORGの生成に用いられた投影データP_ORGにおいて、金属画素に対応する投影値を隣接する投影値で線形補間した投影値で置換することで投影データP_LIを得る。そして投影データP_LIを逆投影するとともに、抽出された金属画素を合成することで線形補間画像I_LIが得られる。
【0037】
ビーム硬化補正画像I_BHCや線形補間画像I_LIは金属アーチファクトが低減された画像であるので、(式1)や(式2)によって生成される重みマップI_wは金属アーチファクトの存在確率の分布を示すアーチファクトマップでもある。
【0038】
(S502)
演算部2は、S501で取得された重みマップI_wの重み係数wを用いて、機械学習出力画像I_MARと断層画像I_ORGを合成して合成画像I_CMPを生成する。合成画像I_CMPの生成には例えば次式が用いられる。
【0039】
I_CMP=w・I_MAR+(1-w)・I_ORG … (式3)
(式3)によれば、機械学習出力画像I_MARの各画素値に、重みマップI_wの各画素値である重み係数wが乗じられたものと、断層画像I_ORGの各画素値に(1-w)が乗じられたものが加算される。すなわち金属アーチファクトが多い領域では機械学習出力画像I_MARの比率が高められ、金属アーチファクトが少ない領域では断層画像I_ORGの比率が高められる。その結果、合成画像I_CMPでは金属アーチファクトが低減されるとともに、金属アーチファクトの影響が小さい領域において画質が維持される。
【0040】
ビーム硬化補正画像I_BHCは金属画素に対応する投影値の補正に基づいて得られる画像であるので、(式1)の重みマップI_wが用いられる場合、金属画素の影響が大きい領域のアーチファクトをより低減することができる。また線形補間画像I_LIは金属画素に対応する投影値を隣接する投影値で線形補間して得られる画像であるので、(式2)の重みマップI_wが用いられる場合、金属から直接発生するアーチファクトをより低減することができる。
【0041】
なお金属アーチファクトは、断層画像I_ORGから抽出される金属画素から離れるに連れて小さくなるので、重み係数wは金属画素から離れるに連れて小さくなる。また金属アーチファクトは、金属画素の画素値が大きいほど大きくなるので、重み係数wは金属画素の画素値が大きくなるほど大きくなる。
【0042】
また重み係数wは、断層画像I_ORG、機械学習出力画像I_MAR、ビーム硬化補正画像I_BHC、線形補間画像I_LIのいずれかを用いて、被検体内の組織や空気等の組織に応じて重みマップI_wを調整してもよい。例えば、公知の閾値処理によるセグメンテーションを用いて、断層画像I_ORGを金属、金属以外の被検体、空気の領域に分割し、金属を機械学習出力画像I_MAR(w=1)、金属以外の被検体を重みマップI_w、空気を断層画像I_ORG(w=0)のように画像の先験情報を用いて、重み係数wを調整してもよい。
【0043】
また重み係数wは操作者によって適宜、調整されても良い。例えば、操作者によって設定される調整係数が重み係数wの調整に用いられても良い。調整係数は0以上1以下の実数であり、重みマップI_wに調整係数が乗じられることによって全ての重み係数wが同時に調整される。すなわち重みマップI_wに含まれる全ての重み係数wには同一の調整係数が乗じられる。
【0044】
図6を用いて、調整係数の設定に用いられる操作ウィンドウの一例について説明する。
図6に例示される操作ウィンドウは、入力画像表示部601と合成画像表示部602、調整係数設定部603を有する。入力画像表示部601には、金属アーチファクトを含む断層画像I_ORGと機械学習エンジン12から出力される機械学習出力画像I_MARが表示される。なお入力画像表示部601は必須ではない。合成画像表示部602には、S502で生成される合成画像I_CMPが表示される。調整係数設定部603は、重み係数wに乗じられる調整係数の設定に用いられ、例えばスライドバーやテキストボックスによって構成される。なお調整係数設定部603は、被検体210の体軸方向の位置、いわゆるスライス位置毎に調整係数が設定されるように構成されても良い。
【0045】
操作者は
図6に例示される操作画面を用いることにより、調整係数を設定する毎に更新される合成画像I_CMPを確認することができる。また入力画像表示部601が表示される場合は、断層画像I_ORGや機械学習出力画像I_MARと合成画像I_CMPを対比させながら調整係数を設定することができる。
【0046】
なお金属から発生するアーチファクトに限定したが、金属以外で高いX線吸収係数をもつ骨や造影剤等の高吸収体から発生するアーチファクトや、被検体の組織に対して極度に低いX線吸収係数をもつ肺野や腸管等の低吸収体から発生するアーチファクトについても、同様な手段で低減することができる。
【0047】
以上説明した処理の流れにより、金属アーチファクトが低減されるとともに、金属アーチファクトの影響が小さい領域においても画質が維持された合成画像を得ることができる。
【実施例2】
【0048】
実施例1では、断層画像I_ORGと機械学習エンジン12から出力される機械学習出力画像I_MARとを合成して、合成画像I_CMPを生成することについて説明した。実施例2では、金属アーチファクトの存在確率の分布を示すアーチファクトマップと断層画像I_ORGを機械学習エンジン12に入力して、金属アーチファクトが低減された補正画像を取得することについて説明する。なお実施例2の医用画像処理装置1のハードウェア構成は実施例1と同じであるので説明を省略する。
【0049】
図7を用いて実施例2で実行される処理の流れの一例についてステップ毎に説明する。
【0050】
(S701)
演算部2は、S301と同様に、金属を含む被検体の断層画像I_ORGを取得する。
【0051】
(S702)
演算部2は、金属アーチファクトの存在確率の分布を示すアーチファクトマップを取得する。アーチファクトマップは、例えば(式1)や(式2)を用いて生成されてもよい。
【0052】
(S703)
演算部2は、S702で取得されたアーチファクトマップとS701で取得された断層画像I_ORGを機械学習エンジン12に入力する。断層画像I_ORGとともにアーチファクトマップが入力された機械学習エンジン12は、金属アーチファクトが低減されるとともに、金属アーチファクトの影響が小さい領域において画質が維持される補正画像を出力する。
【0053】
(S704)
演算部2は、S703で機械学習エンジン12から出力される補正画像を取得する。取得された補正画像は、表示装置7に表示されたり、記憶装置4に格納されたりする。
【0054】
以上説明した処理の流れにより、金属アーチファクトが低減されるとともに、金属アーチファクトの影響が小さい領域においても画質が維持された補正画像を得ることができる。なおS703において、機械学習エンジン12に対して、ビーム硬化補正画像I_BHCや線形補間画像I_LIがさらに入力されても良い。ビーム硬化補正画像I_BHCや線形補間画像I_LIがさらに入力されることにより、機械学習エンジン12から出力される補正画像の金属アーチファクトはさらに低減される。
【0055】
以上、本発明の複数の実施例について説明した。なお本発明は上記実施例に限定されるものではなく、発明の要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素を適宜組み合わせても良い。さらに、上記実施例に示される全構成要素からいくつかの構成要素を削除しても良い。
【符号の説明】
【0056】
1:医用画像処理装置、2:演算部、3:メモリ、4:記憶装置、5:ネットワークアダプタ、6:システムバス、7:表示装置、8:入力装置、10:医用画像撮影装置、11:医用画像データベース、12:機械学習エンジン、100:X線CT装置、200:スキャナ、210:被検体、211:X線管、212:検出器、213:コリメータ、214:駆動部、215:中央制御部、216:X線制御部、217:高電圧発生部、218:スキャナ制御部、219:寝台制御部、221:コリメータ制御部、222:プリアンプ、223:A/Dコンバータ、240:寝台、250:操作ユニット、251:再構成処理部、252:画像処理部、254:記憶部、256:表示部、258:入力部、601:入力画像表示部、602:合成画像表示部、603:調整係数設定部