特開 2024-114385 画像処理装置及びそれを有するＭＲＩ装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114385

(43)【公開日】2024-08-23

(54)【発明の名称】画像処理装置及びそれを有するＭＲＩ装置、及び画像処理方法

(51)【国際特許分類】

   A61B 5/055 20060101AFI20240816BHJP

【ＦＩ】

A61B5/055 380

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023020124

(22)【出願日】2023-02-13

(71)【出願人】

【識別番号】320011683

【氏名又は名称】富士フイルムヘルスケア株式会社

(74)【代理人】

【識別番号】110000888

【氏名又は名称】弁理士法人山王坂特許事務所

(72)【発明者】

【氏名】横沢 俊

(72)【発明者】

【氏名】鈴木 敦郎

(72)【発明者】

【氏名】白猪 亨

【テーマコード（参考）】

4C096

【Ｆターム（参考）】

4C096AA20

4C096AB11

4C096AB44

4C096AC01

4C096AD14

4C096DC05

4C096DC40

(57)【要約】

【課題】術中ＭＲＩで問題となるノイズやアーチファクトを低減し、且つ高い視認性を要求される組織や部位についてノイズ低減による鮮明度の低下を抑制した画像を提供する。
【解決手段】ＭＲＩ装置で取得した第１のＭＲ画像と、当該第１のＭＲ画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２のＭＲ画像とを用いて、第３のＭＲ画像を生成し、提示する際に、第１のＭＲ画像と第２のＭＲ画像との画素毎の差分を取り、生成した差分画像を用いて、画素毎の重み付け値を算出する。この重み付け値を用いて、第１のＭＲ画像と第２のＭＲ画像を、画素毎に加重平均して合成し、提示する。
【選択図】図３

【特許請求の範囲】

【請求項1】

磁気共鳴イメージング装置で取得した第１のＭＲ画像と、当該第１のＭＲ画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２のＭＲ画像とを用いて、第３のＭＲ画像を生成し、提示する画像処理装置であって、
前記第１のＭＲ画像と第２のＭＲ画像との画素毎の差分を取り、差分画像を生成する差分画像生成部と、
前記差分画像を用いて、画素毎の重み付け値を算出する重み演算部と、
前記重み付け値を用いて、前記第１のＭＲ画像と前記第２のＭＲ画像を、画素毎に加重平均して合成する合成画像生成部と、を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記第１のＭＲ画像に対し、ノイズおよびアーチファクトを低減した第２のＭＲ画像を生成するノイズ低減部をさらに備えることを特徴とする画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記差分画像を用いて、前記第１のＭＲ画像において、ノイズおよびアーチファクトが発生している領域を特定する領域特定部をさらに備えることを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置であって、
前記重み演算部は、前記領域特定部が特定した領域と、それ以外の領域とで、重み付け値の算出に用いる条件式を異ならせることを特徴とする画像処理装置。

【請求項5】

請求項３に記載の画像処理装置であって、
前記重み演算部は、前記領域特定部が特定した領域については、前記第２のＭＲ画像の画素の重みを前記第１のＭＲ画像の画素の重みより大きく、前記領域特定部が特定した領域以外の領域では、前記第１のＭＲ画像の画素の重みを前記第２のＭＲ画像の画素の重みより大きく、前記重み付け値を算出することを特徴とする画像処理装置。

【請求項6】

請求項３に記載の画像処理装置であって、
前記領域特定部は、前記差分画像生成部が算出した画素値の差分に対する閾値に基づき、ノイズおよびアーチファクトが発生している領域を特定することを特徴とする画像処理装置。

【請求項7】

請求項３に記載の画像処理装置であって、
ユーザの指定を受け付けるＵＩ部をさらに備え、
前記領域特定部は、前記ＵＩ部を介してユーザが指定した領域を、ノイズおよびアーチファクトが発生している領域として特定することを特徴とする画像処理装置。

【請求項8】

請求項１に記載の画像処理装置であって、
表示装置に表示する画像を制御する表示制御部をさらに備え、
前記表示制御部は、前記合成画像生成部が生成した合成画像と、前記差分画像またはその一部とを前記表示装置に表示させることを特徴とする画像処理装置。

【請求項9】

請求項８に記載の画像処理装置であって、
前記表示制御部は、前記表示装置に、前記合成画像を第１の色で表示させ、前記差分画像またはその一部を前記第１の色とは異なる第２の色で重畳表示させることを特徴とする画像処理装置。

【請求項10】

請求項９に記載の画像処理装置であって、
前記表示制御部は、前記差分画像を、画素値に応じて、前記第１の色とは異なる複数の色で表示させることを特徴とする画像処理装置。

【請求項11】

請求項８に記載の画像処理装置であって、
前記表示制御部は、前記表示装置に、前記差分画像の、画素値が所定の閾値以上の画素を表示させることを特徴とする画像処理装置。

【請求項12】

請求項１に記載の画像処理装置であって、
前記重み演算部は、前記差分画像を用いて、画素値に対する重み係数αを算出し、固定重みＷ（Ｗ＝０～１）と前記重み係数とを用いて前記画素毎の重み付け値を算出することを特徴とする画像処理装置。

【請求項13】

請求項１２に記載の画像処理装置であって、
前記重み演算部は、前記重み係数αを前記固定重みＷの指数として、前記画素毎の重み付け値Ｗ^αを決定することを特徴とする画像処理装置。

【請求項14】

請求項１２に記載の画像処理装置であって、
前記重み演算部は、前記差分画像を用いて、前記第１のＭＲ画像において、ノイズおよびアーチファクトが発生している領域を特定する領域特定部を含み、前記固定重みＷを、ノイズおよびアーチファクトが発生している領域とそれ以外の領域とに応じて異ならせることを特徴とする画像処理装置。

【請求項15】

請求項１２に記載の画像処理装置であって、
前記重み演算部は、前記差分画像を入力とし、ノイズパターンに応じた画素毎の重み付け値を出力する処理器を備えたことを特徴とする画像処理装置。

【請求項16】

請求項１に記載の画像処理装置であって、
前記重み演算部は、前記差分画像を入力とし、ノイズパターンを出力する処理器を備え、予め定めた種々のノイズパターンと重み付け値の算出アルゴリズムとの対応に基づき、前記処理器が出力したノイズパターンに対応する算出アルゴリズムを選択し、画素毎の重み付け値を算出することを特徴とする画像処理装置。

【請求項17】

被検体が発生する核磁気共鳴信号を収集し、当該核磁気共鳴信号を用いて前記被検体の画像を再構成する撮像部と、前記撮像部が再構成した画像を処理する画像処理部とを有し、
前記画像処理部は、
前記撮像部が取得した原画像に対し、ノイズおよびアーチファクトを低減した第２のＭＲ画像を生成するノイズ低減部と、
前記原画像と第２のＭＲ画像との画素毎の差分を取り、差分画像を生成する差分画像生成部と、
前記差分画像を用いて、画素毎の重み付け値を算出する重み演算部と、
前記重み付け値を用いて、前記原画像と前記第２のＭＲ画像を、画素毎に加重平均して合成し、第３のＭＲ画像を生成する合成画像生成部と、を備えることを特徴とする磁気共鳴イメージング装置。

【請求項18】

磁気共鳴イメージング装置で取得した第１のＭＲ画像と、当該第１のＭＲ画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２のＭＲ画像とを用いて、第３のＭＲ画像を生成し、提示する画像処理方法であって、
前記第１のＭＲ画像と第２のＭＲ画像との画素毎の差分を取り、差分画像を生成し、
前記差分画像を用いて、画素毎の重み付け値を算出し、
前記重み付け値を用いて、前記第１のＭＲ画像と前記第２のＭＲ画像を、画素毎に加重平均して合成することを特徴とする画像処理方法。

【請求項19】

請求項１８に記載の画像処理方法であって、
前記重み付け値の算出において、前記差分画像を用いて、画素値に対する重み係数αを算出し、前記重み係数αを固定重みＷの指数として、前記画素毎の重み付け値Ｗ^αを決定することを特徴とする画像処理方法。

【請求項20】

請求項１９に記載の画像処理装置であって、
前記固定重みは、前記第１のＭＲ画像に含まれるノイズパターンまたは前記ノイズおよびアーチファクトを低減する処理に応じて、予め設定されていることを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はＭＲＩ装置で取得した画像を処理する技術に関し、特にノイズやアーチファクトの発生の仕方に応じて適切にノイズ・アーチファクトを処理し、提示する画像処理技術に関する。

【背景技術】

【0002】

近年、手術中に画像診断装置を用いた撮像を行い、切除部位等の確認を行いながら適切に手術を進める術中撮像が普及している。術中撮像の手段としてＭＲＩ装置も活用されており、例えば、手術中にＭＲＩ撮像を繰り返し実施し，腫瘍を確認しながら手術を進めることで、正常組織を温存しつつ腫瘍の取り残し防ぐことが期待されている。

【0003】

ＭＲＩ装置は、被検体を構成する組織内の原子核（通常、プロトン）に核磁気共鳴を起こさせ、これにより生じる核磁気共鳴信号を用いて被検体の画像を形成する。核磁気共鳴信号は、所定周波数の高周波信号であるため、検査室内に存在する種々の機器から発せられる電波ノイズの影響を受け、画像にノイズが発生するという課題がある。

【0004】

通常、ＭＲＩ装置は、外来電波ノイズを遮断するシールドルーム内に設置され、外来電波ノイズの影響を抑制しているが、術中ＭＲＩでは、ＭＲＩ装置は、シールドルーム内ではなく、オープンスペースの手術室に設置される。基本的にノイズの発生源となる機器は電源をＯＦＦにしてからＭＲＩ撮像を実施する形で運用されるが、電源の切り忘れや想定にない機器の持ち込みなどにより、現状ではノイズの発生を完全に防ぐことはできていない。そのため、画像にノイズが発生した場合、腫瘍が見えるならそのまま使用し、ノイズがひどく腫瘍が見づらい場合は再撮像が基本的な運用となっている。再撮像が発生すると手術時間が延長するため、術中ＭＲＩにおけるノイズ抑制は大きな課題となっている。

【0005】

ＭＲＩにおいて、画像に生じるノイズやアーチファクトを抑制する技術は種々実用化されており、さらにデノイズに伴う弊害を解決する手法も種々提案されている。例えば、特許文献１には、ノイズを除去しながら、それに伴うエッジ鈍化を抑制するために、撮像画像からノイズ除去画像と信号強調画像とを作成し、これらを重み付け合成することが提案されている。また特許文献２には、デノイズの強度を異ならせて作成した複数のデノイズ画像と、それと元画像との差分画像とからデノイズ強度の最適値を決め、それによりデノイズの精度を向上することが提案されている。また種々のノイズパターンを学習したＣＮＮなどをノイズ除去に適用する技術もいくつか提案されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際特許公開２００９／１２８２１３

【特許文献2】特開２０２０－１１９４２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述した先行技術は、いずれも画像全体に対するノイズ抑制処理である。一方、術中ＭＲＩで特に問題となるノイズやアーチファクトは、潜在的なものであって時々発生する、或いは、本来電源ＯＦＦにすべき機器をＯＮにしたために予測できないタイミングで発生する、という発生原因の特徴がある。このため先行技術ではこれらのノイズやアーチファクトに適切に対応することは困難であり、たとえ画像全体としてのノイズ抑制が図られたとしても、注目している部位の視認性が低下するなどの課題を解決することができない。

【0008】

本発明は、これら課題を解決し、潜在的或いは突発的なノイズが生じていないところでは、極力原画像を生かし、ノイズ発生個所のみを効果的にノイズ抑制した画像を提示することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、本発明は、ＭＲＩ装置で取得した原画像と、原画像を一般的なノイズ低減処理した画像との差分を用いて、両画像を重み付け加算する際の重み付け値を画素毎に決定し、両画像の合成を行う。

【0010】

即ち、本発明の画像処理装置は、ＭＲＩ装置で取得した第１のＭＲ画像と、当該第１のＭＲ画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２のＭＲ画像とを用いて、第３のＭＲ画像を生成し、提示する画像処理装置であって、第１のＭＲ画像と第２のＭＲ画像との画素毎の差分を取り、差分画像を生成する差分画像生成部と、差分画像を用いて、画素毎の重み付け値を算出する重み演算部と、重み付け値を用いて、第１のＭＲ画像と第２のＭＲ画像を、画素毎に加重平均して合成する合成画像生成部と、を備える。

【0011】

また本発明のＭＲＩ装置は、画像処理部の機能として、本発明の画像処理装置の機能を備えたものである。

【0012】

さらに本発明の画像処理方法は、ＭＲＩ装置で取得した第１のＭＲ画像と、当該第１のＭＲ画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２のＭＲ画像とを用いて、第３のＭＲ画像を生成し、提示する画像処理方法であって、第１のＭＲ画像と第２のＭＲ画像との画素毎の差分を取り、差分画像を生成し、差分画像を用いて、画素毎の重み付け値を算出し、重み付け値を用いて、第１のＭＲ画像と第２のＭＲ画像を、画素毎に加重平均して合成することを特徴とする。

【0013】

なお本発明において、画像処理の対象は、各種原因で発生するノイズおよびアーチファクトを含むが、本明細書では、これらを代表して単にノイズと言う。同様に画像上でノイズおよびアーチファクトが発生している領域を、単にノイズ発生領域という。

【発明の効果】

【0014】

本発明によれば、原画像と一般的なノイズ低減処理によって処理された画像とを重み付け加算して合成する際に、画素毎に算出した、ノイズの発生度合いに応じた重みを用いることにより、原画像の情報を損なうことなく、潜在的なノイズや予期せずに発生したノイズなどの影響を排除した画像を得ることができる。これにより、術中ＭＲＩなどにおいて、手術の対象である組織やその周囲の組織が見づらくなるという弊害を最小限に抑え、再撮像やそれに伴う手術時間の延長の可能性を低減できる。

【図面の簡単な説明】

【0015】

【図1】ＭＲＩ装置、画像処理装置を含む検査システムの概要を示す図。

【図2】本発明の実施形態１による画像処理装置の機能ブロック図。

【図3】実施形態１の画像処理装置の処理の流れを示す図。

【図4】ノイズ低減部の一実施形態を示す図。

【図5】重み付け値を説明する図。

【図6】本発明の処理を説明する図。

【図7】実施形態２の画像処理装置の機能ブロック図。

【図8】実施形態２の画像処理装置の処理の流れの一例を示す図。

【図9】実施形態２の画像処理装置の処理の流れの別の例を示す図。

【図10】データ空間における領域特定を説明する図。

【図11】ノイズパターンの例を示す図。

【図12】実施形態３の重み演算部の一例を示す図。

【図13】実施形態３の重み演算部の他の例を示す図。

【発明を実施するための形態】

【0016】

以下、本発明の画像処理装置及び画像処理方法の実施形態を、図面を参照して説明する。

【0017】

本発明の画像処理装置は、ＭＲＩ装置が取得したＭＲ画像を処理して、ＭＲ検査を行っている医師や技師など（以下、総称してユーザという）に診断に役立つ画像として提示するための画像処理装置であり、図１に示すように、例えばＭＲＩ装置２０が設置された検査室（シールド室）内に置かれた表示装置３０に、処理後の画像を提示するように構成される。画像処理装置１０自体は、検査室とは別の操作室や遠隔された場所に置かれていてもよいし、ＭＲＩ装置２０と同じ検査室にあってもよいし、ＭＲＩ装置自体に付属するものであってもよい。

【0018】

ＭＲＩ装置２０は、一般的なＭＲＩ装置と同じであり、被検体205が置かれる空間（検査空間）に静磁場を発生する静磁場発生磁石201、例えば超電導磁石、常電導磁石或いは永久磁石などと、静磁場発生磁石201が発生する静磁場空間に配置される傾斜磁場コイル202、高周波コイル（送信用ＲＦコイル203及び受信用ＲＦコイル204）、これら傾斜磁場コイル202と高周波コイル203を駆動する傾斜磁場電源212及び送信器213、受信用ＲＦコイル204が検出した核磁気共鳴信号を受信する受信器214、さらに傾斜磁場電源212、送信器213及び受信器214を所定のパルスシーケンスに従って動作させるシーケンサ215を備えている。

【0019】

さらにＭＲＩ装置２０は、シーケンサ215を介して送信器213、傾斜磁場電源212及び受信器214の動作を制御するとともに、受信器214が受信した核磁気共鳴信号を処理し、検査対象の画像の再構成などの演算（画像処理）を行う計算機220を備えている。計算機220が行う画像処理は、一般的なフーリエ変換や逐次再構成を用いた画像再構成の他、再構成画像に対する公知のノイズ低減処理やなどを含む場合もある。

【0020】

また計算機220には、再構成された画像を表示する表示装置３０や、不図示の入力装置及び外部記憶装置などが接続されており、表示装置及び入力装置を介して、ユーザがＭＲＩ装置20の動作に必要な指令を送ったり、画像を外部の記憶装置に転送したりすることができる。ＭＲＩ装置２０に備えられた表示装置３０は、画像処理装置１０の処理結果を表示する表示装置として機能することもできる。

【0021】

以下、ＭＲＩ装置の計算機とは独立して画像処理装置１０が備えられている場合を例に、その構成と動作の概略を説明する。

【0022】

画像処理装置１０は、CPU及びメモリを備えた汎用の計算機で構成することができ、本発明に係る機能として、ＭＲＩ装置２０で取得した画像に対し処理を行い、ＭＲＩ装置２０を操作中のユーザに有用な画像を生成する第３画像生成部110と、第３画像生成部110が生成した画像を提示するための画像を生成し、表示装置３０に表示させる表示制御部130を備える。画像処理装置１０は、また図１には示していないが、第３画像生成部110が利用する各種データや計算途中の画像データなどを格納するメモリ或いは記憶装置を含む。さらに第３画像生成部110以外の機能を有していてもよく、また画像処理装置１０が行う処理の一部は、ＡＳＩＣ等のプログラマブルＩＣで行ってもよいし、また画像処理装置１０内或いは画像処理装置１０以外の計算機で学習したＣＮＮなどＡＩ機能を含んでいてもよい。

【0023】

第３画像生成部110は、ＭＲＩ装置２０で再構成された原画像（第１のＭＲ画像）と第１のＭＲ画像に対し公知のノイズ低減処理を施したノイズ低減画像（第２の画像）とを用いて、撮像中に、或いは撮像中手術を行っている際に発生するノイズやアーチファクトをタ－ゲットとしてノイズ除去された第３の画像を生成し、ユーザに提示する。

【0024】

第２のＭＲ画像は、ＭＲＩ装置２０の計算機220が行う画像処理としてノイズ低減処理が含まれる場合には、計算機220で処理した画像を第２のＭＲ画像としてもよいし、画像処理装置１０において、ＭＲＩ装置２０から原画像を取り込み、公知のノイズ低減処理を行ってもよい。

【0025】

第３画像生成部110の機能ブロック図を図２に示す。図示するように第３画像生成部110は、ＭＲＩ装置２０から画像を受け付ける画像受付部111、ノイズ低減処理部112、第１のＭＲ画像と第２のＭＲ画像との差分画像を生成する差分画像生成部113、差分画像における各画素の画素値を用いて、画素毎の重み付け値を算出する重み演算部114、重み演算部114が算出した重み付け値を用いて、画像の合成を行う画像合成部115、を備える。ノイズ低減処理部112を点線の四角で示しているのは、上述したように、この機能が画像処理装置１０の機能である場合とＭＲＩ装置の機能である場合のいずれでもよいことを意味する。

【0026】

このように構成される第３画像生成部110の動作の流れを図３に示す。ここでは術中ＭＲＩが行われているものとする。

【0027】

まず画像受付部111がＭＲＩ装置２０で再構成された画像（第１のＭＲ画像）を入力すると（S1）、ノイズ低減処理部112が第１のＭＲ画像に対しノイズ低減処理を施す（S2）。ここで行われるノイズ低減処理は、一般的に知られた処理であれば特に限定されず、例えば撮像方法によって特徴的に発生するアーチファクトを演算により除去する処理や、フィルタを用いた処理、ノイズ画像とノイズのない画像を学習データとして学習したCNNを用いた処理など、いずれも採用することができ、必要に応じて複数の処理を組み合わせてもよい。またフィルタを用いたノイズ低減処理においては、ノイズに応じてフィルタ強度を調整し、ノイズ低減後の画像の先鋭度を調整してもよい。ノイズ低減処理部112による処理によって、画像全体についてノイズが低減された画像（第２のＭＲ画像）を得られる。

【0028】

次に差分画像生成部113が、ノイズ低減前の原画像と、ノイズ低減処理後の第２のＭＲ画像との差分を取り、差分画像を生成するとともに、各画素の差分の絶対値を算出する（S3）。

【0029】

重み演算部114は、差分画像生成部113が算出した各画素の差分の絶対値を用いて、画素毎の重み付け値を算出する（S4）。画像合成部115は、原画像とノイズ低減画像とを画素毎に、画素毎の重み付け値を用いて合成し、第３の画像である合成画像を生成する（S5）。以上のS1～S5で第３画像生成部110の処理が完了する。

【0030】

表示制御部130は、第３画像生成部110が生成した第３画像を表示装置３０に表示させる（S6）。表示の形態は、特に限定されず、後述の実施形態で詳述するが、ユーザが原画像に対し、処理が施された領域、特にノイズ低減処理の度合いが大きい領域を確認しやすくするために、２つの画像を並列或いは重畳して表示させることが好ましい。重畳させる場合には、色分けなどを行ない、視認性を高める。

【0031】

本実施形態によれば、原画像とノイズ低減後の画像との差分（絶対値）の大きさを画素毎に求め、差分の大きさに基づいて画素毎の重みを設定して合成することにより、大きなノイズが発生している領域、即ち差分が大きい領域について、当該領域におけるノイズ低減画像の重みを大きく、原画像の重みを小さくし、ノイズが発生していない領域或いは少ない領域については、当該領域における原画像の重みを大きくするなど、原画像の情報を最大限残しながら、原画像の確認に邪魔になるノイズに絞ってノイズを低減した第３のＭＲ画像を提示することができる。これにより術中に予期しない機器の作動などによって時間的及び領域的に限定的に生じるノイズの影響を適切に抑制することができ、手術の対象である重要な部位などが、画像全体に対するノイズ低減によってぼかされてしまうなどのおそれがなく、有用な術中画像を提供することができる。

【0032】

以上、本発明の画像処理装置１０の概要を説明したが、以下の実施形態では、さらに画像処理装置１０が行う処理の詳細を説明する。

【0033】

＜実施形態１＞手法の実施形態
本実施形態では、第３画像生成部110の重み演算部114が、重み付け値として、差分画像生成部113が算出した各画素の差分の絶対値を用いて、画素毎の重み係数αを算出し、この重み係数αを指数とする重み付け値を算出する。

【0034】

処理の流れは、図３と同様であるので、以下、図３を参照して、本実施形態の処理を説明する。

【0035】

まずノイズ低減処理部112が、ＭＲＩ装置２０で取得した原画像（第１のＭＲ画像）に対しノイズ低減処理を行い、第２のＭＲ画像を生成する（S1、S2）。ここでは一例として、図４に示すような全３層のＳＲＣＮＮ（Super Resolution Convolutional Neural Network）を用いたノイズ除去を行うものとする。このＣＮＮは、ランダムなノイズパターンを学習データとしてランダムなノイズを除去するように設計されており、ノイズ低減後の画像（第２のＭＲ画像）はボケが発生し、脳溝や腫瘍境界が不明瞭になる傾向にあるが、画像処理による影響が把握できない。

【0036】

第３画像生成部110は、原画像とＣＮＮ処理画像とを合成して、第３の画像を合成し、その際、局所的なノイズやアーチファクトが発生している場所については、合成後の画像がＣＮＮ処理後画像に傾き、それ以外の位置では、原画像に傾くようにして、ノイズ低減処理によって損なわれた情報をできるだけ再現した合成画像を生成する。

【0037】

このため、まず差分画像生成部113が、原画像とＣＮＮ処理後の画像との画素毎の信号強度の差分の絶対値ｄを式（１）により算出する（S3）。

【数1】

式中、Ｉ_CNNはＣＮＮ処理後画像、Ｉ_orgは原画像を表し、（i,j）は画素位置を表す（以下、同じ）。

【0038】

信号強度の差分ｄは、局所的なノイズやアーチファクトが発生している位置では大きくなるが、それ以外の領域では小さい。

【0039】

重み演算部114は、差分の絶対値ｄを、ｄの平均値で規格化した係数α（重み係数という）を次式（２）により計算する。重み係数αは、画素毎に求められ、重み付け値を決定するために用いられる。本実施形態では、原画像とＣＮＮ処理後画像とを重み付け加算する際の画像の重みを固定値（固定重み）とし、重み係数αをこの固定重みの指数として用いる。このため、αには予め下限値及び上限値をしておく。一例として下限値＝0.01、上限値100とする。

【0040】

【数2】

【0041】

次いで重み演算部114が、次式（３）で表される画像重み付け加算における重み付け値Ｗ^αを決定し（S4）、画像合成部115が式（３）により、ノイズ処理の程度をノイズ発生位置に応じて調整した画像（第３の画像）を生成する。

【数3】

【0042】

ここでＩadjは調整後画像を表し、Ｗは固定重みを表す。固定重みは０～１の範囲の値を取り、本実施形態における調整とは別に、ＣＮＮ処理後画像と原画像とを合成する際の重みとして適切な値が予め設定されている。具体的には、固定重みＷは、原画像に含まれるノイズパターンや、ＣＮＮ処理などのノイズおよびアーチファクトを低減する処理の手法などに応じて、原画像の情報を残しつつランダムノイズを抑制した画像となる適切な重みを、デフォルトで設定するか、ユーザが設定することで決めておくことができる。

【0043】

このような固定重みＷと、画素毎の重み係数を指数とする重み付け値Ｗ^αとの関係を図５の上側に模式的に示す。図５の上側のグラフに示すように、画素の信号強度差の指標であるαが、α＝１の場合（直線）にはＷ^αはＷと同じ値を取るが、αの値により指数関数的に変化する。図５の下側のグラフは、一例としてＷ＝0.5の場合を示しており、このグラフに示すように、αが１より小さい場合には、重み付け値Ｗ^αは、Ｗより大きい値を取り、結果としてＣＮＮ処理画像の重みは大きくなる。即ち、差分の絶対値が大きい（重み係数αが小さい）ノイズ発生位置の重み付け値が大きく決定される。

【0044】

なお式（３）では、重み係数を固定重みＷの指数としたが、画素毎の重み係数αを用いた重み付け値の決定方法は、式（２）（３）に限定されるものではなく、例えば、ｄの最大値で規格化した重み係数をα’として、重み付け値Ｗα’を用いる手法も取りえる。

【0045】

こうして重み付け値が決まると、画像合成部115は式（３）に従い、原画像とＣＮＮ処理画像とを重み付け加算して、第３の画像である合成画像を生成する（S5）。合成画像では、ノイズが発生していて信号強度差が大きな画素では、固定重みを基準とすると、ＣＮＮ処理画像の重みが大きくなるが、ノイズが発生していない画素では、原画像の重みが大きくなり、原画像の情報がより多く反映された画像となる。

【0046】

図６に、本実施形態の画像処理により生成した画像の一例を表示する。図中、左側が原画像（ＣＮＮ処理前画像）、中央がノイズ低減処理後の画像（ＣＮＮ処理後画像）、右側が合成画像（調整画像）である。

【0047】

原画像は、図中、四角で囲った領域601、602にノイズが発生しており、この画像をノイズ低減処理することでＣＮＮ処理後画像ではノイズが消えているが、全体として鮮明度が低下し、脳溝や出血部などがややぼやけている。これら２つの画像を本実施形態の手法で画素毎に適切な重みで合成して得られた調整画像はノイズ発生領域においてノイズが低減し、且つそれ以外の領域では原画像に近い鮮明度が得られている。

【0048】

画像合成部115が合成した画像（調整画像）は、術中ＭＲＩであれば、直ちにＭＲＩ装置の撮像部に近接して配置された表示装置３０に表示される。このため表示制御部130は、画像合成部115から合成画像を受け取り、表示画像を生成する。表示画像は、図６の右側に示すような調整画像のみでもよいが、調整された領域をユーザが確認しやすくするために、原画像やＣＮＮ処理後画像をともに表示してもよいし、差分画像を表示してもよい。差分画像を表示する一つの態様として、例えば、調整画像を白黒など一つの色で表示し、差分画像を調整画像とは異なる色で調整画像上に重畳表示するようにしてもよい。この際、差分画像の表示は透過性を持たせて、調整画像の視認性を保持することが好ましい。また差分画像の表示は、ユーザが表示／非表示を選択可能にしてもよい。

【0049】

これによりユーザは、信頼性のある画像情報を確認して読み取りながら、手術を進めることができる。

【0050】

本実施形態によれば、潜在的なノイズや突発的な電波ノイズによって画像にノイズが発生した場合にも、ユーザが観察したい組織の鮮明度を確保しながら、ノイズの影響を低減した画像を提供することができる。

【0051】

＜実施形態２＞領域特定の実施形態
実施形態１は、画素毎にその信号強度差からノイズが発生しているか否かを判断し、重みを決定したが、本実施形態は、画素毎の信号強度差をもとにノイズが発生している領域を特定し、特定された領域とそれ以外の領域とで重み付けのルールを異ならせることが特徴である。なお本実施形態でいう「ノイズ発生領域」は、画像空間における領域の他、差分の大きさを表すデータ空間における領域も含む。

【0052】

このため、本実施形態の画像処理装置は、図７の機能ブロック図に示すように、第３画像生成部110が領域特定部116を備える。図７に示す実施形態では、領域特定部116は、ＭＲＩ装置２０に付属する表示装置３０及び入力装置４０を備えたＵＩ部５０を通してユーザ指定を受け付け、領域の特定を行う。なお図７において、図２と同じ要素は同じ符号で示し重複する説明は省略する。

【0053】

以下、図８を参照して、実施形態１と異なる点を中心に本実施形態の画像処理装置による処理を説明する。

【0054】

まず実施形態１と同様に、ＭＲＩ装置２０が再構成した原画像を入力し、原画像をノイズ低減処理し、原画像とノイズ低減画像との画素毎の差分を算出する（S1～S3）。表示制御部130が、画素毎の差分により得られる差分画像或いは原画像をＵＩ部50の表示装置３０に表示する（S31）。

【0055】

ユーザは表示装置３０に表示された画像を見て、ノイズやアーチファクトが発生している領域を指定する。例えば、図６の右側に示すような原画像が表示された場合、ユーザがノイズ発生領域と判断した領域601、602をポインターやマウス等の入力装置４０で選択し、指定する。領域特定部116は、このユーザ指定を受け付け(S32)、ノイズ発生（画像空間の領域）領域を特定する。差分画像が表示された場合にも同様に、差分画像の信号強度の高い領域をユーザがＵＩ部５０を介して指定することにより、ノイズ発生領域を特定することができる。

【0056】

また図９に示すように、差分の絶対値あるいは前掲の式（２）を用いた重み係数αについて、所定の閾値を予め設定しておき、領域特定部116は閾値以下、すなわち差分の絶対値が大きくなる位置をノイズ発生領域と特定してもよい（S33）。この場合には、図８のステップS31、S32は省略できる。例えば、図１０のような重み係数αのヒストグラムにおいて、閾値ＴＨ以上の領域（データ空間上の領域）603をノイズ発生領域とする。なお閾値は判別分析法等を用いて決めることができる。あるいは予め設定しておいてもよいが、数値入力やヒストグラム上の操作による入力を受け付けるGUIをＵＩ部５０の表示装置３０に表示させてもよい。これによりノイズ領域についてのユーザの感覚を生かした特定を行うことができる。

【0057】

またノイズ発生領域の特定において、ユーザ指定する手法（図８）と閾値を用いる手法（図９）とを説明したが、これらの手法はいずれか一つを採用してもよいし、両者を共に採用することも可能である。その場合、領域特定部116は、二つの手法で指定された領域のAND或いはORを取り、ノイズ発生領域を特定する。

【0058】

ノイズ領域が特定されたならば、重み演算部114は、ノイズ発生領域とそれ以外の領域について、それぞれ、異なる重み付けルールに従った重み付け値を決定する（S41）。

【0059】

重み付けルールを異ならせる手法の一例は、図８に示すように、ノイズ発生領域とそれ以外の領域とで、式（３）で用いた固定重みＷを異ならせるというものである。例えば、ノイズ発生領域は、それ以外の領域よりも固定重みを大きく設定する。実際に適用される重み付け値Ｗ^αを画素毎の重み係数αの関数として算出することは実施形態１と同様であるが、固定重みＷが異なることにより、ノイズ発生領域では、それ以外の領域よりも重み付け値が大きく、合成後の画像はノイズ発生領域において、ノイズ低減処理画像に近づいたものとなる。

【0060】

重み付けルールを異ならせる手法として、ノイズ発生領域のみ重み係数に基づく重み付け値を算出し、それ以外の領域は重み付け値＝固定重みＷとしてもよい。この場合、ユーザ指定によるノイズ発生領域の特定後に、その領域のみ重み係数を算出すればよいので、演算の負担が軽減し、合成画像の提示までの時間を早めることができる。

【0061】

各領域について、重み付け値を算出した後、重み付け加算し合成画像を得て（S51）、表示すること（S6）は実施形態１と同様である。表示の態様も実施形態１で説明した態様とすることができるが、さらに、原画像に差分画像を異なる色で重畳表示する際に、領域特定の際に画像間の差分の閾値が設定されている場合或いはユーザが差分の閾値を設定した場合には、閾値より低い差分の領域について色を表示しないようにしてもよい。これにより冗長な情報を提示することなく、ユーザが確認したい領域や位置の情報のみを提示することができる。また領域特定部116が特定した領域が２以上の場合、領域毎に色を異ならせて表示してもよい。例えば、ユーザにより指定された所定の範囲と、閾値により選択された点状のノイズ位置などを別の色で表示する。これにより発生原因が異なるノイズについて、そのパターンや発生位置の違いを確認することができる。

【0062】

＜実施形態３＞
本実施形態は、ノイズあるいはアーチファクトのパターンに対応して、画像の調整（第１のＭＲ画像と第２のＭＲ画像との合成）を行う。本実施形態の画像処理装置の機能ブロック図は、図２に示した実施形態１或いは図７に示した実施形態２の機能ブロック図と基本的に同様であり、以下の説明ではこれら図面を援用するが、本実施形態は、重み演算部114は、種々のノイズパターンに対応して重み付け値を算出或いは決定することが特徴である。

【0063】

図１１に、ＭＲ画像に発生するノイズのいくつかのパターンを示す。図１１中、左上は不特定の位置に点状のノイズが乗る点状パターン、それ以外は限られた範囲内にノイズが乗るパターンで、右上が点線状にノイズが乗るジッパー状パターン、左下が１ないし複数の領域が縞状になる波状パターン、右下がざらついた画像となるモザイク状パターンである。ほかにもＭＲ画像特有のノイズパターンがある。またこれらノイズパターンによって、ノイズ強度の分布（ヒストグラムのパターン）も異なり、適切な重み付け値、固定重みが異なる。

【0064】

重み演算部114は、機械学習などの処理器を用いてノイズパターンに対応した重み付け手法を適用し、画素毎の重み付け値を決定する。
処理器としては、公知の機械学習用に開発されたアルゴリズムを利用することができる。以下、ノイズパターンに対応して重み付け値を決定する手法の例を説明する。

【0065】

第１の手法では、図１２に示すように、差分画像を入力とし、ノイズパターンを出力する処理器1141を備えるとともに、予め定めた種々のノイズパターンと重み付け値の算出アルゴリズムとを紐づけてＤＢ化（DB1142）しておく。差分画像は、原画像とノイズ低減処理後画像との信号強度の画素毎の差分を表すものであり、信号強度の大きさ、画像空間における分布、強度の分布などの情報を含む。処理器は、予めこれら要素が異なる種々の差分画像とノイズパターンのペアを教師データとして学習し、ノイズパターンに分類するように学習されている。

【0066】

一方、ノイズパターンと重み付け値の算出アルゴリズムとの関係は、具体的にはノイズパターンに応じた固定重みＷ及び重み係数αから重み付け値を算出する算出式である。例えば、差分画像から求められるノイズ強度が比較的小さい場合には、ノイズ処理後画像の固定重みの値を小さくし、ノイズ強度分布が指数関数的に変化するものであれば、重み係数αを固定重みの指数とするような重み付けアルゴリズムとし、ノイズ強度分布がピークを持つようなパターンであれば、ピーク値近傍の画素のみの重みを重くする関係式とする。このようなノイズパターンと重み付け値の算出アルゴリズムとの関係を格納するＤＢ1142は、図１２では重み演算部114に備えられているものとしたが、画像処理装置１０内の記憶装置又は外部記憶装置に備えられていてもよい。

【0067】

重み演算部114は、処理器が差分画像を入力し、それに対応するノイズパターンを出力すると、上記ＤＢを参照し、出力されたノイズパターンに対応する算出アルゴリズムを選択し、画素毎の重み付け値を算出する。

【0068】

処理器を用いる第２の手法は、図１３に示すように、第１のＭＲ画像と第２のＭＲ画像との差分から作成した差分画像を入力とし、画素毎の重み付け値を出力する処理器1143を用いる。処理器1143は、例えば、種々の差分画像或いはそのヒストグラムと予め調整を行った画素毎の重み付け値、あるいは、手法１でノイズパターンを分類し、ＤＢ化よりノイズパターンに応じて決定される重み付け値を学習データとして、最適な固定重み及び固定重みと重み付け値との関係を出力するように学習した機械学習アルゴリズムで構成されている。

【0069】

手法１ではまず処理器1141で差分画像をノイズパターンに分類し、その後、ノイズパターンと重み付け値算出アルゴリズムとを紐づけたＤＢ1142を参照したが、本手法では、処理器1143が、差分画像を入力し、ノイズパターンを出力することなく最適な重み付け値を出力する。

【0070】

手法１、２のいずれも、重み付け値を決定した後、画像合成部115が重み付け値を用いて画像を合成し、表示装置３０に表示させることは実施形態１、実施形態２と同様であり、表示の形態も同様である。

【0071】

本実施形態によれば、学習済ＣＮＮ等により差分画像に応じて最適な重み付け値を決定することができ、ノイズパターンに応じた精度の高い調整画像を提示することができる。

【符号の説明】

【0072】

10：画像処理装置、110：第３画像生成部、111：画像受付部、112：ノイズ低減処理、113：差分画像生成部、114：重み演算部、115：画像合成部、116：領域特定部、20：ＭＲＩ装置、30：表示装置、40：入力装置、50：ＵＩ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】