特開 2024-114390 画像処理装置及びそれを有する医用撮像装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114390

(43)【公開日】2024-08-23

(54)【発明の名称】画像処理装置及びそれを有する医用撮像装置、及び画像処理方法

(51)【国際特許分類】

   A61B 5/055 20060101AFI20240816BHJP

【ＦＩ】

A61B5/055 380

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023020136

(22)【出願日】2023-02-13

(71)【出願人】

【識別番号】320011683

【氏名又は名称】富士フイルムヘルスケア株式会社

(74)【代理人】

【識別番号】110000888

【氏名又は名称】弁理士法人山王坂特許事務所

(72)【発明者】

【氏名】横沢 俊

(72)【発明者】

【氏名】鈴木 敦郎

(72)【発明者】

【氏名】白猪 亨

【テーマコード（参考）】

4C096

【Ｆターム（参考）】

4C096AA20

4C096AB11

4C096AB44

4C096AC01

4C096AD14

4C096DC05

4C096DC33

(57)【要約】

【課題】術中ＭＲＩで問題となるノイズやアーチファクトを、画素毎にユーザが望む形で低減し、且つユーザが観察したい組織や部位について、ユーザの好みを反映したノイズ低減画像を提供する。
【解決手段】ＭＲＩ装置で取得した第１の医用画像と、当該第１の医用画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２の医用画像とを用いて、第３の医用画像を生成し、提示する際に、第１の医用画像と第２の医用画像との画素毎の差分を取り、生成した差分画像を用いて、画素毎の重み付け値を算出し、重み付けについてユーザの変更を受け付ける。最終的に決定した重み付け値を用いて、第１の医用画像と第２の医用画像を、画素毎に加重平均して合成し、提示する。
【選択図】図３

【特許請求の範囲】

【請求項1】

医用撮像装置で取得した第１の医用画像と、当該第１の医用画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２の医用画像とを用いて、第３の医用画像を生成し、提示する画像処理装置であって、
前記第１の医用画像と前記第２の医用画像との画素毎の差分を取り、差分画像を生成する差分画像生成部と、
前記差分画像を用いて、画素毎の重み付け値を算出する重み演算部と、
前記画素毎の重み付け値の変更を含むユーザ指示を受け付けて最終的な重み付け値を決定する重み決定部と、
前記重み決定部が決定した重み付け値を用いて、第１の医用画像と第２の医用画像を、画素毎に加重平均して合成する合成画像生成部と、
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記第１の医用画像に対し、ノイズおよびアーチファクトを低減した第２の医用画像を生成するノイズ低減部をさらに備えることを特徴とする画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記差分画像を用いて、前記第１の医用画像において、ノイズおよびアーチファクトが発生している領域を特定する領域特定部をさらに備えることを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置であって、
前記重み演算部は、前記領域特定部が特定した領域と、それ以外の領域とで、重み付け値の算出に用いる条件式を異ならせることを特徴とする画像処理装置。

【請求項5】

請求項３に記載の画像処理装置であって、
前記重み演算部は、前記領域特定部が特定した領域については、前記第２の医用画像の画素の重みを前記第１の医用画像の画素の重みより大きく、前記領域特定部が特定した領域以外の領域では、前記第１の医用画像の画素の重みを前記第２の医用画像の画素の重みより大きく、前記重み付け値を算出することを特徴とする画像処理装置。

【請求項6】

請求項３に記載の画像処理装置であって、
前記領域特定部は、前記差分画像生成部が算出した画素値の差分に対する閾値に基づき、ノイズおよびアーチファクトが発生している領域を特定することを特徴とする画像処理装置。

【請求項7】

請求項３に記載の画像処理装置であって、
ノイズおよびアーチファクトが発生している領域について、ユーザの指定を受け付けるＵＩ部をさらに備え、
前記領域特定部は、前記ＵＩ部を介してユーザが指定した領域を、ノイズおよびアーチファクトが発生している領域として特定することを特徴とする画像処理装置。

【請求項8】

請求項１に記載の画像処理装置であって、
表示装置に表示する画像を制御する表示制御部をさらに備え、
前記表示制御部は、前記合成画像生成部が生成した合成画像と、前記差分画像またはその一部とを前記表示装置に表示させることを特徴とする画像処理装置。

【請求項9】

請求項８に記載の画像処理装置であって、
前記表示制御部は、前記表示装置に、前記合成画像を第１のカラースケールで表示させ、前記差分画像またはその一部を前記第１のカラースケールとは異なる第２のカラースケールで重畳表示させることを特徴とする画像処理装置。

【請求項10】

請求項８に記載の画像処理装置であって、
前記表示制御部は、前記表示装置に、前記差分画像の、画素値が所定の閾値以上の画素を表示させることを特徴とする画像処理装置。

【請求項11】

請求項１に記載の画像処理装置であって、
前記重み演算部は、前記差分画像を用いて、画素値に対する重み係数αを算出し、固定重みＷ（Ｗ＝０～１）と前記重み係数とを用いて前記画素毎の重み付け値を算出することを特徴とする画像処理装置。

【請求項12】

請求項１１に記載の画像処理装置であって、
前記重み演算部は、前記重み係数αを前記固定重みＷの指数として、前記画素毎の重み付け値Ｗ^αを決定することを特徴とする画像処理装置。

【請求項13】

請求項１１に記載の画像処理装置であって、
前記重み演算部は、前記差分画像を用いて、前記第１の医用画像において、ノイズおよびアーチファクトが発生している領域を特定する領域特定部を含み、前記固定重みＷを、ノイズおよびアーチファクトが発生している領域とそれ以外の領域とに応じて異ならせることを特徴とする画像処理装置。

【請求項14】

請求項１１に記載の画像処理装置であって、
前記重み演算部は、前記差分画像を入力とし、ノイズパターンに応じた画素毎の重み付け値を出力する処理器を備えたことを特徴とする画像処理装置。

【請求項15】

請求項１に記載の画像処理装置であって、
前記重み演算部は、前記差分画像を入力とし、ノイズパターンを出力する処理器を備え、予め定めた種々のノイズパターンと重み付け値の算出アルゴリズムとの対応に基づき、前記処理器が出力したノイズパターンに対応する算出アルゴリズムを選択し、画素毎の重み付け値を算出することを特徴とする画像処理装置。

【請求項16】

被検体の医用画像を取得する撮像部と、前記撮像部が取得した医用画像を処理する画像処理部とを有し、
前記画像処理部は、
前記撮像部が取得した原画像に対し、ノイズおよびアーチファクトを低減した第２の医用画像を生成するノイズ低減部と、
前記原画像と第２の医用画像との画素毎の差分を取り、差分画像を生成する差分画像生成部と、
前記差分画像を用いて、画素毎の重み付け値を算出する重み演算部と、
前記画素毎の重み付け値の変更を含むユーザ指示を受け付けて最終的な重み付け値を決定する重み決定部と、
前記重み決定部が決定した重み付け値を用いて、前記原画像と前記第２の医用画像を、画素毎に加重平均して合成し、第３の医用画像を生成する合成画像生成部と、を備えることを特徴とする医用撮像装置。

【請求項17】

医用撮像装置で取得した第１の医用画像と、当該第１の医用画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２の医用画像とを用いて、第３の医用画像を生成し、提示する画像処理方法であって、
前記第１の医用画像と第２の医用画像との画素毎の差分を取り、差分画像を生成し、
前記差分画像を用いて、画素毎の重み付け値を算出し、
前記画素毎の重み付け値の変更を含むユーザ指示を受け付けて最終的な重み付け値を決定し、
決定した重み付け値を用いて、前記第１の医用画像と前記第２の医用画像を、画素毎に加重平均して合成することを特徴とする画像処理方法。

【請求項18】

請求項１７に記載の画像処理方法であって、
前記重み付け値の算出において、前記差分画像を用いて、画素値に対する重み係数αを算出し、前記重み係数αを固定重みＷの指数として、前記画素毎の重み付け値Ｗ^αを決定することを特徴とする画像処理方法。

【請求項19】

請求項１７に記載の画像処理方法であって、
前記ユーザ指示の受け付けは、重み付け値、重み付け値と重み係数との関数である重み、及び重み係数のいずれか一つを受け付けることを特徴とする画像処理方法。

【請求項20】

請求項１７に記載の画像処理方法であって、
前記ユーザ指示の受け付けの前に、
算出した重み付け値を用いて、前記第１の医用画像と前記第２の医用画像を、画素毎に加重平均して仮合成画像を生成するステップと、
前記仮合成画像と重みの表示バーを表示するステップと、をさらに含み、
前記表示バーの操作により前記ユーザ指示を受け付けることを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は医用撮像装置で取得した画像を処理する技術に関し、特に術中撮像を行う際に、表示される医用画像のノイズ・アーチファクトを状況に応じて適切に処理し、提示する画像処理技術に関する。

【背景技術】

【0002】

近年、手術中に画像診断装置を用いた撮像を行い、切除部位等の確認を行いながら適切に手術を進める術中撮像が普及している。術中撮像の手段としては、ＭＲＩ装置、ＣＴ装置、超音波撮像装置などが活用されている。手術中にこれら撮像装置による撮像を繰り返し実施し、例えば、腫瘍を確認しながら手術を進めることで、正常組織を温存しつつ腫瘍の取り残し防ぐなどが期待されている。

【0003】

医用画像にノイズやアーチファクトが発生する原因は、撮像装置の種類や撮像条件、装置が置かれた環境等によって異なり、特に術中撮像では手術に用いる器具や検査対象の動きなどに起因する特有のノイズやアーチファクトが発生する場合がある。

【0004】

例えば、術中ＭＲＩでは、ＭＲＩ装置は、外来電波ノイズを遮断するシールドルーム内ではなく、オープンスペースの手術室に設置される。基本的にノイズの発生源となる機器は電源をＯＦＦにしてからＭＲＩ撮像を実施する形で運用されるが、電源の切り忘れや想定にない機器の持ち込みなどにより、現状ではノイズの発生を完全に防ぐことはできていない。そのため、画像にノイズが発生した場合、腫瘍が見えるならそのまま使用し、ノイズがひどく腫瘍が見づらい場合は再撮像が基本的な運用となっている。再撮像が発生すると手術時間が延長するため、術中ＭＲＩにおけるノイズ抑制は大きな課題となっている。

【0005】

ＭＲＩにおいて、画像に生じるノイズやアーチファクトを抑制する技術は種々実用化されており、さらにデノイズに伴う弊害を解決する手法も種々提案されている。例えば、特許文献１には、ノイズを除去しながら、それに伴うエッジ鈍化を抑制するために、撮像画像からノイズ除去画像と信号強調画像とを作成し、これらを重み付け合成することが提案されている。また特許文献２には、デノイズの強度を異ならせて作成した複数のデノイズ画像と、それと元画像との差分画像とからデノイズ強度の最適値を決め、それによりデノイズの精度を向上することが提案されている。また種々のノイズパターンを学習したＣＮＮなどをノイズ除去に適用する技術もいくつか提案されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際特許公開２００９／１２８２１３

【特許文献2】特開２０２０－１１９４２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述した従来技術によりノイズ抑制と画像ボケ抑制を両立する画質改善が可能である。しかし、従来手法では、画像合成の重みやデノイズ強度等が画像全体で共通であることから、領域ごとに異なる画質改善を行うことはできない。特に、術中画像では、ノイズやアーチファクトが特定の領域のみに発生するため、発生領域においてはノイズやアーチファクトを抑制しつつ、それ以外の領域にいては処理による不要な画質変化を抑制したい、あるいは信頼性の観点から原画像を維持したいという要求がある。

【0008】

さらに、術中画像を使用する執刀医は、様々な情報を画像から読み取るため、ノイズ抑制画像処理手法が適用された画像が執刀医とって最も適切な画像であるとは限らない。例えば、腫瘍の辺縁を認識する際は、人によっては多少ノイズを残した方が辺縁を視認しやすいと感じるなど、好みに依存した要求が存在する。

【0009】

本発明は、これら課題を解決し、特に術中に撮像される医用画像について、術者の好みに応じて、術中に生じうるノイズやアーチファクトを効果的に抑制した画像を提示することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明は、医用画像の処理において、執刀医等の術者のノイズ低減についての要求を受け入れる手段と、領域を特化してノイズ低減処理を行う手段と備えた画像処理装置を提供する。領域を特化した処理では、撮像装置で取得した原画像と、原画像を一般的なノイズ低減処理した画像との差分を用いて、両画像を重み付け加算する際の重み付け値を画素毎に決定し、両画像の合成を行う。

【0011】

即ち、本発明の画像処理装置は、医用撮像装置で取得した第１の医用画像と、当該第１の医用画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２の医用画像とを用いて、第３の医用画像を生成し、提示する画像処理装置であって、第１の医用画像と第２の医用画像との画素毎の差分を取り、差分画像を生成する差分画像生成部と、差分画像を用いて、画素毎の重み付け値を算出する重み演算部と、画素毎の重み付け値の変更を含むユーザ指示を受け付けて最終的な重み付け値を決定する重み決定部と、重み決定部が決定した重み付け値を用いて、第１の医用画像と第２の医用画像を、画素毎に加重平均して合成する合成画像生成部と、を備える。

【0012】

また本発明の撮像装置は、画像処理部の機能として、本発明の画像処理装置の機能を備えたものである。

【0013】

さらに本発明の画像処理方法は、医用撮像装置で取得した第１の医用画像と、当該第１の医用画像に対し、ノイズおよびアーチファクトを低減する処理を施した第２の医用画像とを用いて、第３の医用画像を生成し、提示する画像処理方法であって、第１の医用画像と第２の医用Ｒ画像との画素毎の差分を取り、差分画像を生成し、差分画像を用いて、画素毎の重み付け値を算出した後、画素毎の重み付け値の変更を含むユーザ指示を受け付けて最終的な重み付け値を決定し、決定した重み付け値を用いて、第１の医用画像と第２の医用画像を、画素毎に加重平均して合成することを特徴とする。

【0014】

なお本発明において、画像処理の対象は、各種原因で発生するノイズおよびアーチファクトを含むが、本明細書では、これらを代表して単にノイズと言う。同様に画像上でノイズおよびアーチファクトが発生している領域を、単にノイズ発生領域という。

【発明の効果】

【0015】

本発明によれば、原画像と一般的なノイズ低減処理によって処理された画像とを重み付け加算して合成する際に、画素毎に算出した、ノイズの発生度合いに応じた重みであって且つユーザの指示を反映した重みを用いることにより、原画像の情報を損なうことなく、潜在的なノイズや予期せずに発生したノイズなどの影響を排除した画像を得ることができる。特に執刀医等が観察したい領域について執刀医等の好みを反映した処理を行うことができる。これにより、手術の対象である組織やその周囲の組織をユーザが望む形でノイズ低減した画像を提供することができ、再撮像やそれに伴う手術時間の延長の可能性を低減できる。

【図面の簡単な説明】

【0016】

【図1】撮像装置、画像処理装置を含む検査システムの概要を示す図。

【図2】本発明の実施形態１による画像処理装置の機能ブロック図。

【図3】実施形態１の画像処理装置の処理の流れを示す図。

【図4】ノイズ低減部の一実施形態を示す図。

【図5】重み付け値を説明する図。

【図6A】ユーザ変更を受け付けるＧＵＩの例を示す図。

【図6B】ユーザ変更を受け付けるＧＵＩの他の例を示す図。

【図7】図３の処理の詳細を示す図。

【図8】本発明の処理を説明する図。

【図9】実施形態２の画像処理装置の機能ブロック図。

【図10】実施形態２の画像処理装置の処理の流れの一例を示す図。

【図11】実施形態２の画像処理装置の処理の流れの別の例を示す図。

【図12】データ空間における領域特定を説明する図。

【図13】ノイズパターンの例を示す図。

【図14】実施形態３の重み演算部の一例を示す図。

【図15】実施形態３の重み演算部の他の例を示す図。

【発明を実施するための形態】

【0017】

以下、本発明の画像処理装置及び画像処理方法の実施形態を、図面を参照して説明する。

【0018】

本発明の画像処理装置は、医用撮像装置が取得した医用画像を処理して、手術や検査を行っている医師や技師など（以下、総称してユーザという）に術中画像に役立つ画像として提示するための画像処理装置であり、図１に示すように、例えば医用撮像装置（以下単に撮像装置という）２０が設置された室内に置かれた表示装置３０Ａに、処理後の画像を提示するように構成される。画像処理装置１０自体は、検査室とは別の操作室や遠隔された場所に置かれていてもよいし、撮像装置２０と同じ検査室にあってもよいし、撮像装置自体に付属するものであってもよい。

【0019】

撮像装置２０は、術中撮像に利用可能な装置であれば特に限定されず、例えば、ＭＲＩ装置、ＣＴ装置、超音波撮像装置などが挙げられる。図１では、一例として、医用撮像装置２０として、静磁場発生磁石201、傾斜磁場コイル202、高周波コイル（送信用ＲＦコイル203及び受信用ＲＦコイル204）を備えたＭＲＩ装置を示している。ＭＲＩ装置では、シーケンサ215により、傾斜磁場コイル202及び高周波コイルが接続された傾斜磁場電源212、送信器213、受信器214を動作させて、被検体205が発生する核磁気共鳴信号を受信し、核磁気共鳴信号を用いて被検体205の画像を再構成する。

【0020】

このようなＭＲＩ装置に代表される撮像装置２０には、撮像の制御と画像再構成、画像処理などの演算を行う計算機220を備えている。計算機220が行う画像処理は、一般的なフーリエ変換や逐次再構成を用いた画像再構成の他、再構成画像に対する公知のノイズ低減処理やなどを含む場合もある。

【0021】

また計算機220には、再構成された画像を表示する表示装置３０Ａ、ユーザが命令やデータを入力する入力デバイスおよびGUIを表示する表示装置などを備えたＵＩ（ユーザインタフェイス）部５０、及び不図示の外部記憶装置などが接続されており、ＵＩ部５０を介して、ユーザが撮像装置20の動作に必要な指令を送ったり、画像を外部の記憶装置に転送したりすることができる。撮像装置２０に備えられた表示装置３０Ａは、画像処理装置１０の処理結果を表示する表示装置として機能することもできる。

【0022】

このようなＭＲＩ装置により得られる画像は、外来電磁波の影響を受けやすく、例えば術中に使われる器具から発せられる電磁波等によりノイズやアーチファクトを生じやすい。またＭＲＩ装置以外の撮像装置においても、一般的なガウスノイズ、モダリティの特性に応じたノイズのほか、術中の不規則な被検体の動きや位置変化などに起因するアーチファクトが生じる場合もある。

【0023】

画像処理装置１０は、撮像装置２０が撮像した、ノイズやアーチファクトを含む被検体画像（原画像）を処理し、適切にノイズやアーチファクトが低減され且つ術者が観察すべき領域に対し、術者の画質に対する要望を満たす画像を生成する。画像処理装置１０の機能は、CPU及びメモリを備えた汎用の計算機に構築することができる。なお、図１では、画像処理装置１０は撮像装置２０から独立した装置として示しているが、撮像装置２０の計算機220に構築してもよい。

【0024】

以下、撮像装置２０の計算機とは独立して画像処理装置１０が備えられている場合を例に、その構成と動作の概略を説明する。

【0025】

図１及び図２に示すように、画像処理装置１０は、撮像装置２０を操作中のユーザに有用な画像を生成する第３画像生成部110と、第３画像生成部110が生成した画像を提示するための画像を生成し、表示装置に表示させる表示制御部130を備える。画像処理装置１０は、また図１には示していないが、第３画像生成部110が利用する各種データや計算途中の画像データなどを格納するメモリ或いは記憶装置を含む。さらに第３画像生成部110以外の機能を有していてもよく、また画像処理装置１０が行う処理の一部は、ＡＳＩＣ等のプログラマブルＩＣで行ってもよいし、また画像処理装置１０内或いは画像処理装置１０以外の計算機で学習したＣＮＮなどＡＩ機能を含んでいてもよい。

【0026】

画像処理装置１０は、処理結果である画像を表示させる表示装置３０及びユーザからの指示を受け付ける入力装置４０を備えたＵＩ部５０が接続される。ＵＩ部５０は、撮像装置２０が同機能を持つユーザインタフェイス（図１：ＵＩ部５０）を備える場合には、それを画像処理装置１０のＵＩ部５０として兼用することができる。入力装置４０は、術中にユーザが撮像装置２０の操作とは別に操作できる独立した装置としてもよいし、画像処理装置或いは撮像装置のコンソールに組み込まれていてもよい。また撮像装置２０が図１に示すように、コンソールとは別に表示装置３０Ａを備える場合には、画像処理装置１０の処理結果画像をその表示装置３０Ａに表示してもよい。

【0027】

第３画像生成部110は、撮像装置２０で再構成された原画像（第１の医用画像）と第１の医用画像に対し公知のノイズ低減処理を施したノイズ低減画像（第２の画像）とを用いて、撮像中に、或いは撮像中手術を行っている際に発生するノイズやアーチファクトをタ－ゲットとしてノイズ除去された第３の画像を生成し、ユーザに提示する。

【0028】

第２の医用画像は、撮像装置２０の計算機220が行う画像処理としてノイズ低減処理が含まれる場合には、計算機220で処理した画像を第２の医用画像としてもよいし、画像処理装置１０において、撮像装置２０から原画像を取り込み、公知のノイズ低減処理を行ってもよい。

【0029】

第３画像生成部110は、図２に示すように、撮像装置２０から画像を受け付ける画像受付部111、ノイズ低減処理部112、第１の医用画像と第２の医用画像との差分画像を生成する差分画像生成部113、差分画像における各画素の画素値を用いて、画素毎の重み付け値を算出する重み演算部114、重み演算部114が算出した重み付け値に対し、ユーザ指定を受け付け、必要に応じて重み付け値を変更する重み決定部115、最終的に決定された重み付け値を用いて、画像の合成を行う画像合成部116、を備える。ノイズ低減処理部112を点線の四角で示しているのは、上述したように、この機能が画像処理装置１０の機能である場合と撮像装置１０の機能である場合のいずれでもよいことを意味する。

【0030】

次に、上記構成の第３画像生成部110の動作の流れを図３に示す。ここでは一例として撮像装置２０がＭＲＩ装置２０Ａであって、術中ＭＲＩが行われているものとする。

【0031】

まず画像受付部111がＭＲＩ装置２０Ａで再構成された画像（第１の医用画像）を入力すると（S1）、ノイズ低減処理部112が第１の医用画像に対しノイズ低減処理を施す（S2）。ここで行われるノイズ低減処理は、一般的に知られた処理であれば特に限定されず、例えば撮像方法によって特徴的に発生するアーチファクトを演算により除去する処理や、フィルタを用いた処理、ノイズ画像とノイズのない画像を学習データとして学習したCNNを用いた処理など、いずれも採用することができ、必要に応じて複数の処理を組み合わせてもよい。またフィルタを用いたノイズ低減処理においては、ノイズに応じてフィルタ強度を調整し、ノイズ低減後の画像の先鋭度を調整してもよい。ノイズ低減処理部112による処理によって、画像全体についてノイズが低減された画像（第２の医用画像）を得られる。

【0032】

次に差分画像生成部113が、ノイズ低減前の原画像と、ノイズ低減処理後の第２の医用画像との差分を取り、差分画像を生成するとともに、各画素の差分の絶対値を算出する（S3）。

【0033】

重み演算部114は、差分画像生成部113が算出した各画素の差分の絶対値を用いて、画素毎の重み付け値を算出する（S4）。重み付け値は、原画像とノイズ低減後の画像との差分（絶対値）が大きい画素の領域は、大きなノイズが発生しているとみなせるので、ノイズ低減画像の重みを大きし、差分が小さい領域については、原画像の重みを大きくなるように、算出される。
具体的な算出手法は後述するが、例えば、予めノイズパターンなどのノイズ特性に応じて経験的に最適であると求められている値（固定値）と重み係数とを用いて算出するものとし、ステップS4では、固定値及び重み係数を所定の基準値に予め設定しておき、それを用いて重み付け値を算出する。

【0034】

次いで重み付け値に対するユーザの変更を受け付ける（S5）。ユーザ変更を受け付けるために、UI部５０の表示装置に、算出した重み付け値或いはその重み付け値で合成した画像を提示する。ユーザは提示された重み付け値或いは仮に合成された画像を確認し、重み付け値の変更が必要か否かを判断し、必要な場合にはUI部の表示装置に表示されるGUIを用いて重み付け値を変更する。変更の必要がない場合には、同じくGUIを用いて算出した重み付け値を確定する。これにより続く合成処理で用いる重み付け値が決定される（S7）。

【0035】

画像合成部116は、原画像とノイズ低減画像とを画素毎に、画素毎の重み付け値を用いて合成し、第３の画像である合成画像を生成する（S8）。以上のS1～S8で第３画像生成部110の処理が完了する。

【0036】

表示制御部130は、第３画像生成部110が生成した第３画像を表示装置３０に表示させる（S6）。表示の形態は、特に限定されず、後述の実施形態で詳述するが、ユーザが原画像に対し、処理が施された領域、特にノイズ低減処理の度合いが大きい領域を確認しやすくするために、２つの画像を並列或いは重畳して表示させることが好ましい。重畳させる場合には、色分けなどを行ない、視認性を高める。

【0037】

本実施形態によれば、原画像とノイズ低減後の画像との差分（絶対値）の大きさを画素毎に求め、差分の大きさに基づいて画素毎の重みを設定して合成することにより、原画像の情報を最大限残しながら、原画像の確認に邪魔になるノイズに絞ってノイズを低減した第３の医用画像を提示することができる。これにより術中に予期しない機器の作動などによって時間的及び領域的に限定的に生じるノイズの影響を適切に抑制することができ、手術の対象である重要な部位などが、画像全体に対するノイズ低減によってぼかされてしまうなどのおそれがなく、有用な術中画像を提供することができる。

【0038】

また重み付けの決定において、ノイズが大きい領域ではノイズ低減画像の重みを大きくし、ノイズが小さい領域では原画像の重みを大きくすることを基本として重み付けを算出しておき、それをユーザの好みに合わせて変更可能な構成にすることで、ユーザが、ノイズがあっても原画像を参照したいと望む場合や、ノイズ低減した状態を確認したいという要請などに応えることができ、術中撮像におけるユーザ支援の効果を高めることができる。

【0039】

以上、本発明の画像処理装置１０の概要を説明したが、以下の実施形態では、さらに画像処理装置１０が行う処理の詳細を説明する。

【0040】

＜実施形態１＞
本実施形態では、第３画像生成部110の重み演算部114が、重み付け値として、差分画像生成部113が算出した各画素の差分の絶対値を用いて、画素毎の重み係数αを算出し、この重み係数αを指数とする重み付け値を算出する。

【0041】

処理の流れは、図３と同様であるので、以下、図３を参照して、本実施形態の処理を説明する。

【0042】

まずノイズ低減処理部112が、ＭＲＩ装置２０で取得した原画像（第１の医用画像）に対しノイズ低減処理を行い、第２の医用画像を生成する（S1、S2）。ここでは一例として、図４に示すような全３層のＳＲＣＮＮ（Super Resolution Convolutional Neural Network）を用いたノイズ除去を行うものとする。このＣＮＮは、ランダムなノイズパターンを学習データとしてランダムなノイズを除去するように設計されており、ノイズ低減後の画像（第２の医用画像）はボケが発生し、脳溝や腫瘍境界が不明瞭になる傾向にあるが、画像処理による影響が把握できない。

【0043】

第３画像生成部110は、原画像とＣＮＮ処理画像とを合成して、第３の画像を合成し、その際、局所的なノイズやアーチファクトが発生している場所については、合成後の画像がＣＮＮ処理後画像に傾き、それ以外の位置では、原画像に傾くようにして、ノイズ低減処理によって損なわれた情報をできるだけ再現した合成画像を生成する。

【0044】

このため、まず差分画像生成部113が、原画像とＣＮＮ処理後の画像との画素毎の信号強度の差分の絶対値ｄを式（１）により算出する（S3）。

【数1】

式中、Ｉ_CNNはＣＮＮ処理後画像、Ｉ_orgは原画像を表し、（i,j）は画素位置を表す（以下、同じ）。

【0045】

信号強度の差分ｄは、局所的なノイズやアーチファクトが発生している位置では大きくなるが、それ以外の領域では小さい。

【0046】

重み演算部114は、差分の絶対値ｄを、ｄの平均値で規格化した係数α（重み係数という）を次式（２）により計算する。重み係数αは、画素毎に求められ、重み付け値を決定するために用いられる。本実施形態では、原画像とＣＮＮ処理後画像とを重み付け加算する際の画像の重みを固定値（固定重み）Ｗとし、重み係数αをこの固定重みの指数として用いる。このため、αには予め下限値及び上限値をしておく。一例として下限値＝0.01、上限値100とする。

【0047】

【数2】

【0048】

次いで重み演算部114が、次式（３）で表される画像重み付け加算における重み付け値Ｗ^αを決定し（S4）、画像合成部116が式（３）により、ノイズ処理の程度をノイズ発生位置に応じて調整した画像（第３の画像）を生成する。

【数3】

【0049】

ここでＩadjは調整後画像を表し、Ｗは固定重みを表す。固定重みは０～１の範囲の値であり、ノイズパターンなどに応じて調整される値であるが、本実施形態では、デフォルトとして基準値、例えば０．５に設定しておき、ユーザ変更可能な変数としておく。

【0050】

このような固定重みＷと、画素毎の重み係数を指数とする重み付け値Ｗ^αとの関係を図５の上側に模式的に示す。図５の上側のグラフに示すように、画素の信号強度差の指標であるαが、α＝１の場合（直線）にはＷ^αはＷと同じ値を取るが、αの値により指数関数的に変化する。図５の下側のグラフは、一例としてＷ＝0.5の場合を示しており、このグラフに示すように、αが１より小さい場合には、重み付け値Ｗ^αは、Ｗより大きい値を取り、結果としてＣＮＮ処理画像の重みは大きくなる。即ち、差分の絶対値が大きい（重み係数αが小さい）ノイズ発生位置の重み付け値が大きく決定される。

【0051】

なお式（３）では、重み係数を固定重みＷの指数としたが、画素毎の重み係数αを用いた重み付け値の決定方法は、式（２）（３）に限定されるものではなく、例えば、ｄの最大値で規格化した重み係数をα’として、重み付け値Ｗα’を用いる手法も取りえる。

【0052】

こうして重み付け値が算出されると、ＵＩ部５０に重み付け値のユーザ指定を受け付けるＧＵＩを表示する。ＧＵＩは、図５上側に示したようなグラフでもよく（図６Ａ）、その場合には、図６Ａに示す世に、グラフ中央のライン601状のＧＵＩをユーザが移動可能とし、ライン601を左側或いは右側に平行移動することで、固定値Ｗを変えることができる。その際、左側への移動は、ノイズの大きい領域でノイズ低減画像の重みが大きくなり、右側への移動はノイズの小さい領域で原画像の重みが大きくなることがわかる表示を、グラフ上に伴うことが好ましい。これにより、ユーザは自分が意図に合わせたＧＵＩの操作を容易に行うことができる。また表示には、選択したＷにおける重みの曲線のグラフ（図６Ａ下側）を含めてもよい。

【0053】

また別の手法として、画像合成部116がステップS4で算出した重み付け値を用いて、原画像とＣＮＮ処理画像とを重み付け加算し、仮に合成した画像をＵＩ部５０の表示装置に表示してもよい。この表示では、図６Ｂに示すように、仮の合成画像602の表示とともに、それとともに重み付け値或いは固定重みを示す表示バー603（GUI）を表示し、表示バー603をユーザが操作することで、重みを変化させる構成とする。重みの変化に伴い、画像合成部116は変化した重みを用いた加算を行い、合成画像を更新する。合成画像602とともに、原画像やＣＮＮ処理画像を表示してもよく、ユーザはそれを、重みを変化させる際の参考にできる。
合成画像を表示する場合には、表示画面上でROIの設定を受け付け、ROIについてのみ重みを変更できるようにしてもよい。これによりユーザは、観察した箇所のみ、例えば原画像に切り替える（ノイズ低減画像の重みをゼロにする）など合成の自由度を高めることができる。

【0054】

この手法では、例えば、図３のステップＳ４～Ｓ７を、図７に示すように、変更し、重み付けの変更と合成画像の更新を繰り返してもよい。これにより、最終的にユーザは自分の所望する合成画像を得ることができる。

【0055】

なおユーザの指定は、「固定重みＷ」だけでなく、係数αでもよいし、Ｗとαで決まる重み自体（例えばＷ^α）でもよく、指定の仕方についても図６Ａや図６Ｂに示すＧＵＩに限定されず、数値指定や定性的な指定の仕方（ノイズ低減強度の大小など）種々の手法を採用し得る。

【0056】

最終的に重みが決まると、画像合成部116は式（３）に従い、原画像とＣＮＮ処理画像とを重み付け加算して、第３の画像である合成画像を生成する（図３：S8）。合成画像では、ノイズが発生していて信号強度差が大きな画素では、固定重みを基準とすると、ＣＮＮ処理画像の重みが大きくなるが、ノイズが発生していない画素では、原画像の重みが大きくなり、原画像の情報がより多く反映された画像となる。
特にユーザ指示を受け付けることで、ユーザの好みを反映した画像を表示させることができる。

【0057】

図８に、本実施形態の画像処理により生成した画像の一例を表示する。図中、左側が原画像（ＣＮＮ処理前画像）、中央がノイズ低減処理後の画像（ＣＮＮ処理後画像）、右側が合成画像（調整画像）である。

【0058】

原画像は、図中、四角で囲った領域801、802にノイズが発生しており、この画像をノイズ低減処理することでＣＮＮ処理後画像ではノイズが消えているが、全体として鮮明度が低下し、脳溝や出血部などがややぼやけている。これら２つの画像を本実施形態の手法で画素毎に適切な重みで合成して得られた調整画像はノイズ発生領域においてノイズが低減し、且つそれ以外の領域では原画像に近い鮮明度が得られている。

【0059】

画像合成部116が合成した画像（調整画像）は、術中ＭＲＩであれば、直ちにＭＲＩ装置の撮像部に近接して配置された表示装置３０に表示される。このため表示制御部130は、画像合成部116から合成画像を受け取り、表示画像を生成する。表示画像は、図８の右側に示すような調整画像のみでもよいが、調整された領域をユーザが確認しやすくするために、原画像やＣＮＮ処理後画像をともに表示してもよいし、差分画像を表示してもよい。差分画像を表示する一つの態様として、例えば、調整画像を白黒など一つの色で表示し、差分画像を調整画像とは異なる色で調整画像上に重畳表示するようにしてもよい。この際、差分画像の表示は透過性を持たせて、調整画像の視認性を保持することが好ましい。また差分画像の表示は、ユーザが表示／非表示を選択可能にしてもよい。

【0060】

これによりユーザは、信頼性のある画像情報を確認して読み取りながら、手術を進めることができる。

【0061】

本実施形態によれば、潜在的なノイズや突発的な電波ノイズによって画像にノイズが発生した場合にも、ノイズが発生している領域について、ユーザが観察したい組織の鮮明度を確保し且つユーザの好みを反映しながら、ノイズの影響を低減した画像を提供することができる。

【0062】

＜実施形態２＞
実施形態１は、画素毎にその信号強度差からノイズが発生しているか否かを判断し、重みを決定したが、本実施形態は、画素毎の信号強度差をもとにノイズが発生している領域を特定し、特定された領域とそれ以外の領域とで重み付けのルールを異ならせることが特徴である。なお本実施形態でいう「ノイズ発生領域」は、画像空間における領域の他、差分の大きさを表すデータ空間における領域も含む。

【0063】

このため、本実施形態の画像処理装置は、図９の機能ブロック図に示すように、第３画像生成部110が領域特定部117を備える。図９に示す実施形態では、領域特定部117は、撮像装置２０に付属するＵＩ部５０を通してユーザ指定を受け付け、領域の特定を行う。なお図９において、図２と同じ要素は同じ符号で示し重複する説明は省略する。

【0064】

以下、図１０を参照して、実施形態１と異なる点を中心に本実施形態の画像処理装置による処理を説明する。

【0065】

まず実施形態１と同様に、撮像装置２０が再構成した原画像を入力し、原画像をノイズ低減処理し、原画像とノイズ低減画像との画素毎の差分を算出する（S1～S3）。表示制御部130が、画素毎の差分により得られる差分画像或いは原画像をＵＩ部50の表示装置３０に表示する（S31）。

【0066】

ユーザは表示装置３０に表示された画像を見て、ノイズやアーチファクトが発生している領域を指定する。例えば、図８の右側に示すような原画像が表示された場合、ユーザがノイズ発生領域と判断した領域801、802をポインターやマウス等の入力装置４０で選択し、指定する。領域特定部117は、このユーザ指定を受け付け(S32)、ノイズ発生（画像空間の領域）領域を特定する。差分画像が表示された場合にも同様に、差分画像の信号強度の高い領域をユーザがＵＩ部５０を介して指定することにより、ノイズ発生領域を特定することができる。

【0067】

また図１１に示すように、差分の絶対値あるいは前掲の式（２）を用いた重み係数αについて、所定の閾値を予め設定しておき、領域特定部117は閾値以下、すなわち差分の絶対値が大きくなる位置をノイズ発生領域と特定してもよい（S33）。この場合には、図１０のステップS31、S32は省略できる。例えば、図１２のような重み係数αのヒストグラムにおいて、閾値ＴＨ以上の領域（データ空間上の領域）をノイズ発生領域とする。なお閾値は判別分析法等を用いて決めることができる。あるいは予め設定しておいてもよいが、数値入力やヒストグラム上の操作による入力を受け付けるGUIをＵＩ部５０の表示装置３０に表示させてもよい。これによりノイズ領域についてのユーザの感覚を生かした特定を行うことができる。

【0068】

またノイズ発生領域の特定において、ユーザ指定する手法（図１０）と閾値を用いる手法（図１１）とを説明したが、これらの手法はいずれか一つを採用してもよいし、両者を共に採用することも可能である。その場合、領域特定部117は、二つの手法で指定された領域のAND或いはORを取り、ノイズ発生領域を特定する。

【0069】

ノイズ領域が特定されたならば、重み演算部114は、ノイズ発生領域とそれ以外の領域について、それぞれ、異なる重み付けルールに従った重み付け値を決定する（S81）。

【0070】

重み付けルールを異ならせる手法の一例は、図１０に示すように、ノイズ発生領域とそれ以外の領域とで、式（３）で用いた固定重みＷを異ならせるというものである。例えば、ノイズ発生領域は、それ以外の領域よりも固定重みを大きく設定する。実際に適用される重み付け値Ｗ^αを画素毎の重み係数αの関数として算出することは実施形態１と同様であるが、固定重みＷが異なることにより、ノイズ発生領域では、それ以外の領域よりも重み付け値が大きく、合成後の画像はノイズ発生領域において、ノイズ低減処理画像に近づいたものとなる。

【0071】

重み付けルールを異ならせる手法として、ノイズ発生領域のみ重み係数に基づく重み付け値を算出し、それ以外の領域は重み付け値＝固定重みＷとしてもよい。この場合、ユーザ指定によるノイズ発生領域の特定後に、その領域のみ重み係数を算出すればよいので、演算の負担が軽減し、合成画像の提示までの時間を早めることができる。

【0072】

各領域について、重み付け値を算出した後、ユーザによる変更を受け付けて、変更がある場合には重み付け値を変更する（S5～S7）。ユーザによる変更の受付の仕方は、実施形態１と同様であるが、本実施形態では、ステップS32で受け付けたノイズ発生領域或いはステップS33で特定したノイズ発生領域のみ変更する構成としてもよいし、ユーザがROIを指定してROIについて変更を受け付けてもよい。

【0073】

決定後の重み付け加算し合成画像を得て（S81）、表示すること（S9）は実施形態１と同様である。表示の態様も実施形態１で説明した態様とすることができるが、さらに、原画像に差分画像を異なる色で重畳表示する際に、領域特定の際に画像間の差分の閾値が設定されている場合或いはユーザが差分の閾値を設定した場合には、閾値より低い差分の領域について色を表示しないようにしてもよい。これにより冗長な情報を提示することなく、ユーザが確認したい領域や位置の情報のみを提示することができる。また領域特定部117が特定した領域が２以上の場合、領域毎に色を異ならせて表示してもよい。例えば、ユーザにより指定された所定の範囲と、閾値により選択された点状のノイズ位置などを別の色で表示する。これにより発生原因が異なるノイズについて、そのパターンや発生位置の違いを確認することができる。

【0074】

＜実施形態３＞
本実施形態は、ノイズあるいはアーチファクトのパターンに対応して、画像の調整（第１の医用画像と第２の医用画像との合成）を行う。本実施形態の画像処理装置の機能ブロック図は、図２に示した実施形態１或いは図７に示した実施形態２の機能ブロック図と基本的に同様であり、以下の説明ではこれら図面を援用するが、本実施形態は、重み演算部114は、種々のノイズパターンに対応して重み付け値を算出或いは決定することが特徴である。

【0075】

図１３に、ＭＲ画像に発生するノイズのいくつかのパターンを示す。図１３中、左上は不特定の位置に点状のノイズが乗る点状パターン、それ以外は限られた範囲内にノイズが乗るパターンで、右上が点線状にノイズが乗るジッパー状パターン、左下が１ないし複数の領域が縞状になる波状パターン、右下がざらついた画像となるモザイク状パターンである。ほかにもＭＲ画像特有のノイズパターンがある。またこれらノイズパターンによって、ノイズ強度の分布（ヒストグラムのパターン）も異なり、適切な重み付け値、固定重みが異なる。

【0076】

重み演算部114は、機械学習などの処理器を用いてノイズパターンに対応した重み付け手法を適用し、画素毎の重み付け値を決定する。
処理器としては、公知の機械学習用に開発されたアルゴリズムを利用することができる。以下、ノイズパターンに対応して重み付け値を決定する手法の例を説明する。

【0077】

第１の手法では、図１４に示すように、差分画像を入力とし、ノイズパターンを出力する処理器1141を備えるとともに、予め定めた種々のノイズパターンと重み付け値の算出アルゴリズムとを紐づけてＤＢ化（DB1142）しておく。差分画像は、原画像とノイズ低減処理後画像との信号強度の画素毎の差分を表すものであり、信号強度の大きさ、画像空間における分布、強度の分布などの情報を含む。処理器は、予めこれら要素が異なる種々の差分画像とノイズパターンのペアを教師データとして学習し、ノイズパターンに分類するように学習されている。

【0078】

一方、ノイズパターンと重み付け値の算出アルゴリズムとの関係は、具体的にはノイズパターンに応じた固定重みＷ及び重み係数αから重み付け値を算出する算出式である。例えば、差分画像から求められるノイズ強度が比較的小さい場合には、ノイズ処理後画像の固定重みの値を小さくし、ノイズ強度分布が指数関数的に変化するものであれば、重み係数αを固定重みの指数とするような重み付けアルゴリズムとし、ノイズ強度分布がピークを持つようなパターンであれば、ピーク値近傍の画素のみの重みを重くする関係式とする。このようなノイズパターンと重み付け値の算出アルゴリズムとの関係を格納するＤＢ1142は、図１４では重み演算部114に備えられているものとしたが、画像処理装置１０内の記憶装置又は外部記憶装置に備えられていてもよい。

【0079】

重み演算部114は、処理器が差分画像を入力し、それに対応するノイズパターンを出力すると、上記ＤＢを参照し、出力されたノイズパターンに対応する算出アルゴリズムを選択し、画素毎の重み付け値を算出する。

【0080】

処理器を用いる第２の手法は、図１５に示すように、第１の医用画像と第２の医用画像との差分から作成した差分画像を入力とし、画素毎の重み付け値を出力する処理器1143を用いる。処理器1143は、例えば、種々の差分画像或いはそのヒストグラムと予め調整を行った画素毎の重み付け値、あるいは、手法１でノイズパターンを分類し、ＤＢ化よりノイズパターンに応じて決定される重み付け値を学習データとして、最適な固定重み及び固定重みと重み付け値との関係を出力するように学習した機械学習アルゴリズムで構成されている。

【0081】

手法１ではまず処理器1141で差分画像をノイズパターンに分類し、その後、ノイズパターンと重み付け値算出アルゴリズムとを紐づけたＤＢ1142を参照したが、本手法では、処理器1143が、差分画像を入力し、ノイズパターンを出力することなく最適な重み付け値を出力する。

【0082】

手法１、２のいずれも、重み付け値を決定した後、さらにユーザによる重み付け値の変更を受け付け、画像合成部116が最終的に決定した重み付け値を用いて画像を合成し、表示装置３０に表示させることは実施形態１、実施形態２と同様であり、表示の形態も同様である。

【0083】

本実施形態によれば、学習済ＣＮＮ等により差分画像に応じて最適な重み付け値を決定することができ、ノイズパターンに応じた精度の高い調整画像を提示することができる。

【符号の説明】

【0084】

10：画像処理装置、110：第３画像生成部、111：画像受付部、112：ノイズ低減処理、113：差分画像生成部、114：重み演算部、115：重み決定部、116：画像合成部、117：領域特定部、20：撮像装置、20A：MR装置、30：表示装置、30A：表示装置、40：入力装置、50：ＵＩ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】