(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022179433
(43)【公開日】2022-12-02
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06V 10/82 20220101AFI20221125BHJP
G06T 7/00 20170101ALI20221125BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06T7/00 612
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022082186
(22)【出願日】2022-05-19
(31)【優先権主張番号】202110544478.0
(32)【優先日】2021-05-19
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ハン ビン
(72)【発明者】
【氏名】モン ファンジエ
(72)【発明者】
【氏名】シュ チチ
(72)【発明者】
【氏名】イュー イェ
(72)【発明者】
【氏名】リ モンヂャン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA06
5L096BA13
5L096EA06
5L096FA02
5L096GA08
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】患者の標的病変に新しい腫瘍が現れたか否かを自動的、且つ、正確に検出する画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置は、アテンションマップ生成部と、差異値算出部と、第１取得部と、を備える。アテンションマップ生成部は、患者の標的病変について、異なるモダリティで収集された第１画像と第２画像とに基づき、第１画像と第２画像それぞれと同一寸法であり、各画素が画像セグメンテーションを行う際に、各画像における同一位置の画素に与えるアテンションの程度を示す、第１アテンションマップ及び第２アテンションマップをそれぞれ生成する。差異値算出部は、第１アテンションマップと第２アテンションマップとの差異を示すアテンション差異画像を生成する。第１取得部は、第１画像とアテンション差異画像とに基づいて、第２画像に対して画像セグメンテーションを行い、第２画像のセグメンテーション結果を取得する。
【選択図】図１
【解決手段】画像処理装置は、アテンションマップ生成部と、差異値算出部と、第１取得部と、を備える。アテンションマップ生成部は、患者の標的病変について、異なるモダリティで収集された第１画像と第２画像とに基づき、第１画像と第２画像それぞれと同一寸法であり、各画素が画像セグメンテーションを行う際に、各画像における同一位置の画素に与えるアテンションの程度を示す、第１アテンションマップ及び第２アテンションマップをそれぞれ生成する。差異値算出部は、第１アテンションマップと第２アテンションマップとの差異を示すアテンション差異画像を生成する。第１取得部は、第１画像とアテンション差異画像とに基づいて、第２画像に対して画像セグメンテーションを行い、第２画像のセグメンテーション結果を取得する。
【選択図】図１
【特許請求の範囲】
【請求項1】
患者の標的病変について、異なるモダリティで収集された第１画像と第２画像とに基づいて、前記第１画像と同一寸法の画像であって、各画素が画像セグメンテーションを行う際に前記第１画像における同一位置の画素に与えるアテンションの程度を示す第１アテンションマップと、前記第２画像と同一寸法の画像であって、各画素が画像セグメンテーションを行う際に前記第２画像における同一位置の画素に与えるアテンションの程度を示す第２アテンションマップをそれぞれ生成するアテンションマップ生成部と、
前記第１アテンションマップと前記第２アテンションマップとの差異を示すアテンション差異画像を生成する差異値算出部と、
少なくとも前記第１画像と前記アテンション差異画像とに基づいて、前記第２画像に対して画像セグメンテーションを行い、前記第２画像のセグメンテーション結果を取得する第１取得部と、
を備える、画像処理装置。
前記第１アテンションマップと前記第２アテンションマップとの差異を示すアテンション差異画像を生成する差異値算出部と、
少なくとも前記第１画像と前記アテンション差異画像とに基づいて、前記第２画像に対して画像セグメンテーションを行い、前記第２画像のセグメンテーション結果を取得する第１取得部と、
を備える、画像処理装置。
【請求項2】
前記アテンションマップ生成部は、第２取得部とマッピング部とを含み、
前記第２取得部は、前記第１画像及び前記第２画像に対して画像セグメンテーションを行い、前記第１画像のセグメンテーション結果と、当該第１画像のセグメンテーション結果を算出する際にニューラルネットワークの各層にて生成された第１中間データと、前記第２画像のセグメンテーション結果と、当該第２画像のセグメンテーション結果を算出する際にニューラルネットワークの各層にて生成された第２中間データとを取得し、
前記マッピング部は、前記第１画像のセグメンテーション結果と前記第１中間データとを用い、前記ニューラルネットワークに基づくＣＡＭ（class activation mapping）或いはｇｒａｄ－ＣＡＭにより前記第１アテンションマップを生成し、前記第２画像のセグメンテーション結果と前記第２中間データとに基づいて、前記ニューラルネットワークに基づくＣＡＭ或いはｇｒａｄ－ＣＡＭにより前記第２アテンションマップを生成する、請求項１に記載の画像処理装置。
前記第２取得部は、前記第１画像及び前記第２画像に対して画像セグメンテーションを行い、前記第１画像のセグメンテーション結果と、当該第１画像のセグメンテーション結果を算出する際にニューラルネットワークの各層にて生成された第１中間データと、前記第２画像のセグメンテーション結果と、当該第２画像のセグメンテーション結果を算出する際にニューラルネットワークの各層にて生成された第２中間データとを取得し、
前記マッピング部は、前記第１画像のセグメンテーション結果と前記第１中間データとを用い、前記ニューラルネットワークに基づくＣＡＭ（class activation mapping）或いはｇｒａｄ－ＣＡＭにより前記第１アテンションマップを生成し、前記第２画像のセグメンテーション結果と前記第２中間データとに基づいて、前記ニューラルネットワークに基づくＣＡＭ或いはｇｒａｄ－ＣＡＭにより前記第２アテンションマップを生成する、請求項１に記載の画像処理装置。
【請求項3】
前記差異値算出部は、前記第１アテンションマップと前記第２アテンションマップとに正規化処理を行い、関心領域を抽出し、前記関心領域に基づいて前記第１アテンションマップ及び前記第２アテンションマップに重み付けを行い、加重された前記第１アテンションマップと前記第２アテンションマップとのそれぞれの対応画素間の距離を算出することでアテンション差異画像を生成する、請求項１または２に記載の画像処理装置。
【請求項4】
前記第１画像は、前記患者の前記標的病変の直前階段のスキャン画像であり、前記第２画像は前記患者の前記標的病変の現階段のスキャン画像である、請求項１または２に記載の画像処理装置。
【請求項5】
前記第２画像の前記セグメンテーション結果にスムージング、エラーセグメンテーション領域の補正を含む後処理を行う後処理部をさらに備える、請求項１または２に記載の画像処理装置。
【請求項6】
前記第１取得部は、さらに、前記第２取得部により取得された前記第２画像の画像セグメンテーション結果に基づいて、前記第２画像における画像セグメンテーションを行う、請求項２に記載の画像処理装置。
【請求項7】
前記第１取得部は、さらに、前記第１画像に基づいて前記第２画像の画像セグメンテーションを行う、請求項２に記載の画像処理装置。
【請求項8】
患者の標的病変について、異なるモダリティで収集された第１画像と第２画像とに基づいて、前記第１画像と同一寸法の画像であって、各画素が画像セグメンテーションを行う際に前記第１画像における同一位置の画素に与えるアテンションの程度を示す第１アテンションマップと、前記第２画像と同一寸法の画像であって、各画素が画像セグメンテーションを行う際に前記第２画像における同一位置の画素に与えるアテンションの程度を示す第２アテンションマップをそれぞれ生成し、
前記第１アテンションマップと前記第２アテンションマップとの差異を示すアテンション差異画像を生成し、
少なくとも前記第１画像と前記アテンション差異画像とに基づいて、前記第２画像のセグメンテーションを実行し、前記第２画像のセグメンテーション結果を取得する、
ことを含む、画像処理方法。
前記第１アテンションマップと前記第２アテンションマップとの差異を示すアテンション差異画像を生成し、
少なくとも前記第１画像と前記アテンション差異画像とに基づいて、前記第２画像のセグメンテーションを実行し、前記第２画像のセグメンテーション結果を取得する、
ことを含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
癌患者の病状を把握するために、患者の腫瘍の治療効果を評価する必要がある。腫瘍の治療効果の評価基準として、患者の標的病変を完全奏功（Ｃｏｍｐｌｅｔｅ Ｒｅｓｐｏｎｓｅ）、部分奏功（Ｐａｒｔｉａｌ Ｒｅｓｐｏｎｓｅ）、安定（Ｓｔａｂｌｅ Ｄｉｓｅａｓｅ）、進行（Ｐｒｏｇｒｅｓｓｉｖｅ Ｄｉｓｅａｓｅ）のうちの１つに分類するＲＥＣＩＳＴ（Ｒｅｓｐｏｎｓｅ Ｅｖａｌｕａｔｉｏｎ Ｃｒｉｔｅｒｉａ ｉｎ Ｓｏｌｉｄ Ｔｕｍｏｒｓ、固形腫瘍反応評価基準）が挙げられる。ＲＥＣＩＳＴでは、患者の標的病変は、直前段階に比べて新しい腫瘍が現われた否かを確定する必要があり、現在この検出は、主に医者により現段階のスキャン画像と直前段階のスキャン画像とを手作業で比較して行われている。
【0003】
従来技術において、ディープラーニング技術を用いて患者の標的病変のスキャン画像に基づき腫瘍を自動的に検出する技術がある。しかしながら、ディープラーニングに基づいた器官検出技術に比べ、一般的にディープラーニングに基づいた腫瘍検出技術の精度が低く、特に小型の腫瘍については、腫瘍領域を正確にセグメンテーションできない状況がよくあるため、ディープラーニング技術を用いた腫瘍を検出する従来技術では、例えばＲＥＣＩＳＴ等腫瘍治療効果の評価に直接に応用することが困難である。
【0004】
この課題を解決するために、カスケードニューラルネットワークのセグメンテーションネットワークが提案されている。かかる方法では、まず、スキャン画像を低解像度の第１セグメンテーションネットワークに入力して画像セグメンテーション結果を取得し、当該セグメンテーション結果をスキャン画像とともに高解像度の第２セグメンテーションネットワークに入力することで、より精度が高い画像セグメンテーション結果を取得する。しかしながら、この方法により得られる精度向上は限られているものであり、腫瘍治療効果の評価の必要を満たすことができない。
【0005】
また、エンハンスメント前画像とエンハンスメント後画像とに基づきスキャン画像に対して画像セグメンテーションを行い、腫瘍が存在するか否かを確定する階層畳み込みニューラルネットワークに基づく乳がんＭＲＩセグメンテーション方法が開示されている。しかしながら、当該方法においても、患者の標的病変が直前段階に比べて新しい腫瘍が現れるか否かを自動的かつ高精度で検出することができない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】中国特許出願公開第１１０７９６６７２号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、患者の標的病変に新しい腫瘍が現れたか否かを自動的、且つ正確に検出可能とすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0008】
実施形態に係る画像処理装置は、アテンションマップ生成部と、差異値算出部と、第１取得部とを備える。アテンションマップ生成部は、患者の標的病変について、異なるモダリティで収集された第１画像と第２画像とに基づいて、前記第１画像と同一寸法の画像であって、各画素が画像セグメンテーションを行う際に前記第１画像における同一位置の画素に与えるアテンションの程度を示す第１アテンションマップと、前記第２画像と同一寸法の画像であって、各画素が画像セグメンテーションを行う際に前記第２画像における同一位置の画素に与えるアテンションの程度を示す第２アテンションマップをそれぞれ生成する。差異値算出部は、前記第１アテンションマップと前記第２アテンションマップとの差異を示すアテンション差異画像を生成する。第１取得部は、少なくとも前記第１画像と前記アテンション差異画像とに基づいて、前記第２画像に対して画像セグメンテーションを行い、前記第２画像のセグメンテーション結果を取得する。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、図面を参照して実施形態の画像処理装置及び画像処理方法を説明する。
【0011】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置の構成の一例を示す図である。
図１は、第１の実施形態に係る画像処理装置の構成の一例を示す図である。
【0012】
画像処理装置１は、通信部１１、入力部１２、表示部１３、記憶部１４、画像セグメンテーション部１５を備える。通信部１１、入力部１２、表示部１３、記憶部１４、画像セグメンテーション部１５は、例えば、図示されていないバスを介して通信可能に接続されている。
【0013】
通信部１１は、例えば、ＮＩＣ等通信インタフェースを含む。通信部１１は、ネットワークを介して外部設備と通信し、情報を受送信することができる。通信部１１は、受信した情報を画像セグメンテーション部１５に出力することができる。通信部１１は、ネットワークを介して接続された外部装置へ画像セグメンテーション部１５の情報を送信することができる。
【0014】
入力部１２は、例えば、医者及び専門家等のユーザの入力操作を受け付け、受け付けた入力操作に基づく信号を画像セグメンテーション部１５へ出力する。例えば、入力部１２は、マウス及びキーボード、トラックボール、スイッチ、ボタン、ジョイステック、タッチパネル等により実現される。また、入力部１２は、例えば、マイク等の音声入力を受け付けるユーザインタフェース等により実現される。なお、入力部１２がタッチパネルである場合、後述の表示部１３は、入力部１２と一体に形成されることができる。
【0015】
表示部１３は、各情報を表示する。例えば、表示部１３は、画像セグメンテーション部１５により生成した画像を表示し、ユーザからの入力操作を受け付けるためのＧＵＩ（Graphical User Interface、グラフィカル・ユーザー・インターフェース）等を表示する。例えば、表示部１３は、ＬＣＤ（Liquid Crystal Display、液晶ディスプレイ）または有機ＥＬ（Electroluminescence、エレクトロルミネッセンス）ディスプレイ等である。
【0016】
記憶部１４は、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＲＡＭ（Random Access Memory、ランダム・アクセス・メモリ）、ＨＤＤ（Hard Disc Drive、ハードディスクドライブ）、ＳＳＤ（Solid State Drive、ソリッドステートドライブ）、レジスター等記憶装置により実現される。フラッシュメモリ、ＨＤＤ、ＳＳＤ等は非一過性の記憶媒体である。これらの非一過性の記憶媒体は、ＮＡＳ（Network Attached Storage、ネットワーク接続ストレージ）及び外部記憶サーバ等によりネットワークを介して接続された他の記憶装置により実現される。記憶部１４にニューラルネットワークを構築するために必要なデータが記憶されており、これについては後述する。
【0017】
画像セグメンテーション部１５は、患者の標的病変の直前段階と現段階とのスキャン画像に基づいて、患者の標的病変の現段階のスキャン画像に対して画像セグメンテーションを行う。本実施形態において、画像セグメンテーションとは、スキャン画像における画素の各々を分類し、各画素の分類情報を含む画像セグメンテーション結果を生成することである。分類のカテゴリは少なくとも「腫瘍」、「器官」、及び「背景」という３つのカテゴリを含む。以下、患者の標的病変の直前段階のスキャン画像を第１画像と称し、患者の標的病変の現段階のスキャン画像を第２画像と称する。画像セグメンテーション部１５はアテンションマップ生成部１５１、差異値算出部１５２、第１取得部１５３、後処理部１５４を備える。
【0018】
画像セグメンテーション部１５の各構成要素は、ＣＰＵ及びＧＰＵ等ハードウェアプロセッサが記憶部１４に記憶されているプログラム（ソフトウェア）を実行することにより実現される。これらの複数の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等ハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとの協力動作により実現されてもよい。上述したプログラムは、記憶部１４に予め記憶されてもよく、ＤＶＤ及びＣＤ－ＲＯＭ等着脱可能な記憶媒体に記憶し、記憶媒体を画像処理装置１の駆動装置に取り付けることで記憶媒体から記憶部１４にインストールされてもよい。
【0019】
アテンションマップ生成部１５１は、通信部１１を介して外部設備、または記憶部１４から第１画像及び第２画像を取得し、第１画像に基づいて当該第１画像に関する画像セグメンテーション結果及びアテンションマップを生成し、第２画像に基づいて当該第２画像に関する画像セグメンテーション結果及びアテンションマップを生成する。
【0020】
アテンションマップ生成部１５１は、第２取得部１５１１及びマッピング部１５１２を含む。第２取得部１５１１は、記憶部１４に記憶されているトレーニング済みの第２ニューラルネットワークの構造パラメータを読み取ることで第２ニューラルネットワークを構築し、当該第２ニューラルネットワークに基づき、入力されたスキャン画像に対して画像セグメンテーションを行う。マッピング部１５１２は、第２取得部１５１１に入力されたスキャン画像及びその画像セグメンテーション結果に基づき、第２ニューラルネットワークを介して当該スキャン画像の各画素の特定のカテゴリへのアテンション（attention）情報を算出し、アテンションマップを生成する。各画素の特定のカテゴリへのアテンション情報は、画像セグメンテーションに、どの画素を当該特定のカテゴリに分類すべきかを判断する際の、各画素に対するニューラルネットワークの関心度を示す。一般的に、画素のアテンション情報の値が高いほど、ニューラルネットワークが当該特定のカテゴリの分類を行う場合に当該画素に関心を持ち、当該画素が当該特定のカテゴリに分類される可能性が高いことを意味する。
【0021】
差異値算出部１５２は、アテンションマップ生成部１５１により生成された第１画像のアテンションマップと第２画像のアテンションマップとの差異値を算出し、アテンション差異画像を生成し、当該アテンション差異画像を第１取得部１５３に出力する。
【0022】
第１取得部１５３は、記憶部１４に記憶されているトレーニング済みの第１ニューラルネットワークの構造パラメータを読み取ることで第１ニューラルネットワークを構築し、当該第１ニューラルネットワークにより、入力されたスキャン画像及び差異値算出部１５２により算出されたアテンション差異画像に基づき、画像セグメンテーションを行い、生成された画像セグメンテーション結果を後処理部１５４に出力する。
【0023】
後処理部１５４は、第１取得部１５３から出力された画像セグメンテーション結果を後処理し、後処理された画像セグメンテーション結果に基づき新しい腫瘍が存在するか否かを判断する。
【0024】
図２は、第１の実施形態に係る画像処理方法のフローチャートである。以下、図２を参照して本実施形態に係る画像セグメンテーション方法を説明する。本実施形態において、第１画像として患者の肝臓の病変領域の直前段階のＣＴスキャン画像を用い、第２画像として患者の肝臓の病変領域の現段階のＣＴスキャン画像を用いるが、実施形態はこれに限られない。例えば、病変領域は肺、胃または脳部等器官であってもよく、スキャン画像はＭＲＩスキャン、超音波スキャン等方式により取得されてもよい。本実施形態において、第１画像及び第２画像はいずれも２次元のグレースケール画像であり、患者の病変領域の１つの断面の情報を示し、その情報が例えば幅Ｗ×高さＨのマトリックスに記憶されている。
【0025】
また、本実施形態において、説明の便宜上、第１画像と第２画像とを１セットのみを用いて画像セグメンテーションを行う状況で説明するが、第１画像と第２画像とを複数セットで同時に用い、画像セグメンテーション処理を並行して実行することもできる。
【0026】
入力部１２がユーザからの画像セグメンテーション処理開始の指令を受け付けると、以下のステップＳ１０１～Ｓ１０７の処理が実行される。
【0027】
ステップＳ１０１では、第１画像及び第２画像の情報の入力が必要となることを表示部１３によりユーザに提示し、ユーザの入力操作に基づき第１画像及び第２画像を取得し、第１画像及び第２画像をアテンションマップ生成部１５１に出力する。ここで、例えば表示部１３に「第１画像及び第２画像を入力ください」というテキストのダイアログボックスを表示し、ユーザの操作に基づき、外部設備または記憶部１４から第１画像及び第２画像を読み出し、第１画像及び第２画像をアテンションマップ生成部１５１に出力する。
【0028】
図３は、第１の実施形態に係る第１画像及び第２画像の一例を示す図である。図３（ａ）は第１画像の一例を示し、図３（ｂ）は第２画像の一例を示す。本実施形態において、第１画像及び第２画像は前処理済みの画像である。上記前処理は、第１画像と第２画像とのレジストレーション、画像画素値の正常化、画像のリサンプリング、画像のノイズ除去等を含む。
【0029】
図３から分かるように、本例における患者は、図３（ａ）に示される直前段階において、肝臓の領域Ａに腫瘍（シャドウ部分）が既に存在しており、図３（ｂ）に示される現段階において、肝臓の領域Ｂに新しい腫瘍（シャドウ部分）が現れた。図３（ａ）及び図３（ｂ）において、大きい灰色領域は肝臓の実体部分を示し、上部の大きい黒色部分は背景部分を示す。
【0030】
ステップ１０２において、アテンションマップ生成部１５１は、ステップＳ１０１に入力された第１画像及び第２画像に対して画像セグメンテーションを行い、第１画像及び第２画像における画素の各々を「腫瘍」、「肝実質」、「背景」のうちの１つに分類する。まず、アテンションマップ生成部１５１においては、第２取得部１５１１が、記憶部１４に記憶されたトレーニング済みの第２ニューラルネットワークのパラメータを読み出し、第２ニューラルネットワークを構築する。ここでの第２ニューラルネットワークは例えばＵ－ｎｅｔまたはアテンションＵ－ｎｅｔ等画像セグメンテーションを行う畳み込みニューラルネットワークである。その後、第２取得部１５１１は、第１画像及び第２画像を第２ニューラルネットワークに入力し、順伝播により第１画像及び第２画像の画像セグメンテーション結果を算出するとともに、画像セグメンテーション結果を算出するためにニューラルネットワークの各層で生成された中間データを記録する。注意すべき点として、ステップＳ１０２において第２ニューラルネットワークを介して第１画像及び第２画像に対して画像セグメンテーションを行ったが、当該画像セグメンテーションは第１画像及び第２画像のアテンションマップを生成するために行われるものであり、ここで得られた第２画像の画像セグメンテーション結果は第２画像の最終の画像セグメンテーション結果ではない。
【0031】
以下、本実施形態の第２ニューラルネットワーク及びそのトレーニング過程を説明する。本実施形態の第２ニューラルネットワークは多層の畳み込みニューラルネットワークであり、スキャン画像を表すデータを入力とし、各層における計算により当該スキャン画像に関する画像セグメンテーション結果を出力する。畳み込みニューラルネットワークによる画像セグメンテーションにおいて、各画素に対して画素自身を中心とした一定の範囲内の領域内の全ての画像情報に基づき当該画素を分類する。第２ニューラルネットワークをトレーニングするために、大量のスキャン画像及びその画像セグメンテーションの正解データを用意する必要がある。画像セグメンテーションの正解データは画像における各画素の正確な分類情報を含むデータである。その後、毎回のトレーニングに第２ニューラルネットワークにスキャン画像を複数セット入力し、出力された画像セグメンテーション結果と正解データとの間の距離を算出し、当該距離が短くなるように勾配降下法、確率的勾配降下法等方法によりニューラルネットワークのパラメータを補正する。第２ニューラルネットワークから出力された画像セグメンテーション結果と正解データとの間の距離が所定の精度を満たすまで、当該トレーニングを繰り返す。ここで、前記距離は、例えば、マンハッタン距離またはユークリッド距離等である。
【0032】
ステップＳ１０３では、アテンションマップ生成部１５１におけるマッピング部１５１２は、例えば、ＣＡＭ（class activation mapping、クラスアクティベーションマッピング）、又は、ｇｒａｄ－ＣＡＭ（grad-class activation mapping、ｇｒａｄ－クラスアクティベーションマッピング）等のアテンションマップ生成方法により、ステップＳ１０２において算出された第１画像及び第２画像の画像セグメンテーション結果及び中間データを用い、第２ニューラルネットワークにより逆伝播を行うことで、第１画像及び第２画像の各画素が画像セグメンテーションにおいて「肝実質」というカテゴリへのアテンション情報を算出し、第１画像に関するアテンションマップである第１アテンションマップ及び第２画像に関するアテンションマップである第２アテンションマップを生成する。
【0033】
図４は、第１の実施形態に係る第１アテンションマップ及び第２アテンションマップの一例を示す図である。アテンションマップは、スキャン画像と同じ寸法の画像であり、アテンションマップの画素の各々は当該アテンションマップに対応するスキャン画像における同一の位置の画素のアテンション情報を表す。図４（ａ）は、第１アテンションマップを示し、図４（ｂ）は、第２アテンションマップを示す。当該図４において、画素の輝度が高いほど（白に近いほど）、当該画素のアテンション情報の値は高く、即ち、ニューラルネットワークが「肝実質」の分類を行う際に当該画素への関心度は高く、当該画素及び周囲画素が「肝実質」に属するか否かを決定する際に当該画素に付与する重み付けは高く、当該画素が「肝実質」に属する確率が高いことを意味する。一方、画素の輝度が低いほど（黒に近いほど）、当該画素のアテンション情報の値は低く、即ち、ニューラルネットワークが「肝実質」の分類を行うときに当該画素への関心度は低く、当該画素及び周囲画素が「肝実質」に属するか否かを決定するときに当該画素に付与する重み付けは低く、当該画素が「肝実質」に属する確率が低いことを意味する。図４から分かるように、図４（ｂ）において、ニューラルネットワークの新たに腫瘍が現れる領域Ｂへの持つ関心度が低減し、これにより、ニューラルネットワークは当該部分が「肝実質」になる可能性が直前段階より低くなると認識している。
【0034】
ステップＳ１０４では、差異値算出部１５２は、ステップＳ１０３においてアテンションマップ生成部１５１により生成された第１アテンションマップ及び第２アテンションマップに基づき、アテンション差異画像を生成する。具体的には、差異値算出部１５２は、まずステップＳ１０３において生成された第１アテンションマップ及び第２アテンションマップを正常化処理し、正常化処理された第１アテンションマップ及び第２アテンションマップのそれぞれに基づき、肝臓の関心領域（region of interest）を抽出し、当該関心領域に基づいて第１アテンション領域及び第２アテンション領域に対して重み付け処理を行い、重み付けを行った第１アテンションマップ及び第２アテンションマップの各画素間の距離を算出し、アテンション差異画像を生成する。ここで、前記距離は、例えば、マンハッタン距離またはユークリッド距離等である。
【0035】
図５は、第１の実施形態に係るアテンション差異画像の一例を示す図である。図５から分かるように、新しい腫瘍が発生した領域Ｂにおいて、第一アテンションマップと第二アテンションマップとは明らかな差異を有する。
【0036】
ステップＳ１０５において、第１取得部１５３は、アテンション差異画像及び第２画像に基づき、第２画像に対して画像セグメンテーションを行う。まず、第１取得部１５３は、記憶部１４に記憶されているトレーニング済みの第１ニューラルネットワークのパラメータを読み出し、第１ニューラルネットワークを構築する。ここでの第１ニューラルネットワークは、例えば、Ｕ－ｎｅｔまたはアテンションＵ－ｎｅｔのような画像セグメンテーションを行う畳み込みニューラルネットワークである。その後、第１取得部１５３は、第２画像及び第１アテンションマップと第２アテンションマップとの差異を表すアテンション差異画像を第１ニューラルネットワークに入力し、第２画像及びアテンション差異画像の情報に基づいて第２画像に画像セグメンテーションを行う。
【0037】
以下、本実施形態の第１ニューラルネットワーク及びそのトレーニング過程を説明する。本実施形態の第１ニューラルネットワークは多層の畳み込みニューラルネットワークであり、スキャン画像及びアテンション差異画像を入力とし、各層における計算により当該スキャン画像に関する画像セグメンテーション結果を出力する。現段階のスキャン画像のアテンションマップと直前段階のスキャン画像のアテンションマップとの差異を表すアテンション差異画像を用いることにより、第１ニューラルネットワークは現段階と直前段階と比べてどの領域に顕著な変化が現れたかを把握できる。例えば、本例において、ニューラルネットワークは、領域Ｂに明らかな変化が現れたことを把握している。第１ニューラルネットワークをトレーニングするために、大量なスキャン画像、スキャン画像に対応するアテンション差異画像及びスキャン画像の画像セグメンテーションの正解データを用意する必要がある。画像セグメンテーションの正解データは、画像における各画素の正確な分類情報を含むデータである。その後、毎回のトレーニングにおいて、第１ニューラルネットワークにスキャン画像及びそれらに対応するアテンション差異画像を複数セット入力し、出力された画像セグメンテーション結果と正解データとの間の距離を算出し、当該距離が短くなるように勾配降下法、確率的勾配降下法等方法によりニューラルネットワークのパラメータを補正する。第１ニューラルネットワークにより出力された画像セグメンテーション結果と正解データとの間の距離が所定の精度を満たすまで、当該トレーニングを繰り返す。ここで、前記距離は、例えば、マンハッタン距離またはユークリッド距離等である。
【0038】
図６は、第１の実施形態に係る第２画像の画像セグメンテーションの最終結果の一例を示す図である。図６において、領域Ｂに新たに現れた腫瘍に対して正確な画像セグメンテーションを行い、腫瘍の輪郭が正確にセグメンテーションされた。
【0039】
図７は、第１の実施形態に係る第１画像と第２画像の画素値差異画像及びアテンション差異画像を示す図である。図７（ａ）は、本実施形態の第１画像と第２画像との各画素の画素値の差異を表す画素値差異画像であり、画素値差異画像において、輝度が高いほど（白に近いほど）、当該画素における第１画像と第２画像との画素値の差異は小さく、輝度が低いほど（黒に近いほど）、当該画素における第１画像と第２画像との画素値の差異は大きい。図７（ｂ）は、図５のアテンション差異画像と同じ画像である。図７（ａ）と図７（ｂ）とを比較して分かるように、画素値差異画像はノイズの影響で、新たに腫瘍が発生した領域に大きい差異を示すが、新たに発生した腫瘍と無関係な領域にも大きい差異を示している。一方、アテンション差異画像は、新たに腫瘍が発生した領域だけに大きい差異を示している。すなわち、アテンション差異画像は、新しい腫瘍の発生を検出するための重要な情報を含むが、ノイズ情報をほぼ含んでいない。画素値差異画像は、新しい腫瘍の発生を検出する情報を含むが、大量のノイズ情報をも含み、アテンション差異画像の代わりに画素値差異画像を用いて画像セグメンテーションを行えば、ノイズの影響で、腫瘍に該当しない領域を腫瘍領域に分類するおそれがある。
【0040】
ステップＳ１０６では、後処理部１５４は、ステップＳ１０５において取得された第２画像の画像セグメンテーション結果に対して、スムージング、エラーセグメンテーション領域の補正等の後処理を行い、後処理された画像セグメンテーション結果を第２画像の画像セグメンテーションの最終結果とする。
【0041】
ステップＳ１０７では、後処理部１５４は、第１画像の画像セグメンテーションの正解データに基づき、第１画像に既に存在した腫瘍領域を確定し、第２画像の画像セグメンテーションの最終結果に基づき、新たに現れた腫瘍領域が存在するか否かを判断し、新たに現れる腫瘍領域が存在する場合に腫瘍テクスチャ分析、腫瘍寸法評価等処理を行う。ここで、例えば、ステップＳ１０２において算出した第１画像の画像セグメンテーション結果を、第１画像の画像セグメンテーションの正解データとしてもよく、本画像処理方法または他の画像セグメンテーションにより取得した第１画像の画像セグメンテーション結果を第１画像の画像セグメンテーションの正解データとしてもよい。
【0042】
画像セグメンテーション完了後、画像セグメンテーション部１５は、第２画像の画像セグメンテーションの最終結果を表示部１３に表示し、記憶部１４に記憶し、または通信部１１により外部設備に送信することができる。
【0043】
本実施形態により、患者の標的病変の現段階のスキャン画像に画像セグメンテーションを行う際に、現段階の操作画像だけでなく、現段階のスキャン画像と直前段階のスキャン画像とのアテンションマップの差異であるアテンション差異画像に基づき画像セグメンテーションを行うため、正確な画像セグメンテーションを行うことができる。なお、本発明の画像処理方法は、例えば、腫瘍等病変の段階的な変化を高精度で取得することができるため、例えば、ＲＥＣＩＳＴ等の腫瘍治療効果の評価によりよく適用され得る。
【0044】
（第２の実施形態）
以下、第２の実施形態について説明する。第２の実施形態では、第１画像と第２画像とが標的病変の同一段階の異なるモダリティのスキャン画像である点で上述した第１の実施形態と相違する。以下、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する点については説明を省略する。第２の実施形態の説明において、第１の実施形態と同じ部分については同一符号を付して説明する。
以下、第２の実施形態について説明する。第２の実施形態では、第１画像と第２画像とが標的病変の同一段階の異なるモダリティのスキャン画像である点で上述した第１の実施形態と相違する。以下、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する点については説明を省略する。第２の実施形態の説明において、第１の実施形態と同じ部分については同一符号を付して説明する。
【0045】
本実施形態において、第１画像と第２画像とは異なるモダリティのスキャン画像であり、即ち第１画像と第２画像とは異なる生成手段によるものである。例えば、第１画像は患者の標的病変の現階段のＣＴ画像であり、第２画像は患者の標的病変の現階段のＭＲＩ画像である。また、例えば、第１画像と第２画像はともに患者の標的病変の現階段のＣＴ画像であるが、第１画像と第２画像とを生成するためのコントラストのパラメータ或いはイメージングのパラメータが異なる。
【0046】
第１画像と第２画像とは異なるスキャン手段による画像の場合、第２ニューラルネットワークは多層の畳み込みニューラルネットワークであり、第１画像に対応するインプット層と第２画像に対応するインプット層を備え、スキャン画像のデータをそれに対応するインプット層に入力することにより、当該スキャン画像に対する画像セグメンテーションを行う。また、第２ニューラルネットワークを２つ用意し、第１画像と第２画像それぞれに対してセグメンテーションを行ってもいい。
【0047】
本実施形態により、患者の標的病変の現段階のスキャン画像に画像セグメンテーションを行う際に、異なるモダリティのスキャン画像のアテンションマップの差異であるアテンション差異画像に基づき画像セグメンテーションを行うため、異なるモダリティのスキャン画像の差異を比較でき、正確な画像セグメンテーションを行うことができる。
【0048】
（第３の実施形態）
以下、第３の実施形態について説明する。第３の実施形態では、第１画像と第２画像は標的病変の直前段階と現段階の異なるモダリティのスキャン画像である点で上述した第１の実施形態と相違する。以下、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する点については説明を省略する。第３の実施形態の説明において、第１の実施形態と同じ部分については同一符号を付して説明する。
以下、第３の実施形態について説明する。第３の実施形態では、第１画像と第２画像は標的病変の直前段階と現段階の異なるモダリティのスキャン画像である点で上述した第１の実施形態と相違する。以下、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する点については説明を省略する。第３の実施形態の説明において、第１の実施形態と同じ部分については同一符号を付して説明する。
【0049】
本実施形態において、第１画像と第２画像とは異なるモダリティのスキャン画像であり、即ち第１画像と第２画像とは異なる生成手段によるものである。例えば、第１画像は患者の標的病変の直前階段のＣＴ画像であり、第２画像は患者の標的病変の現階段のＭＲＩ画像である。また、例えば、第１画像は患者の標的病変の直前階段のＣＴ画像であり、第２画像も患者の標的病変の現階段のＣＴ画像であるが、第１画像と第２画像を生成するためのコントラストのパラメータ或いはイメージングのパラメータが違う。
【0050】
第１画像と第２画像とは異なるスキャン手段による画像の場合、第２ニューラルネットワークは多層の畳み込みニューラルネットワークであり、第１画像に対応するインプット層と第２画像に対応するインプット層を備え、スキャン画像のデータをそれに対応するインプット層に入力することにより、当該スキャン画像に対する画像セグメンテーションを行う。また、第２ニューラルネットワークを２つ用意し、第１画像と第２画像それぞれに対してセグメンテーションを行ってもいい。
【0051】
本実施形態により、患者の標的病変の現段階のスキャン画像に画像セグメンテーションを行う際に、異なるモダリティの異なる段階のスキャン画像のアテンションマップの差異であるアテンション差異画像に基づき画像セグメンテーションを行うため、異なるモダリティのスキャン画像の差異を比較でき、正確な画像セグメンテーションを行うことができる。なお、本発明の画像処理方法は、例えば、腫瘍等の病変の段階的な変化を高精度で取得することができるため、例えば、ＲＥＣＩＳＴ等の腫瘍治療効果の評価によりよく適用され得る。
【0052】
（変形例）
以上の実施形態において、第１画像及び第２画像は同一のスキャン技術により生成されたスキャン画像である場合について説明したが、第１画像と第２画像とは異なるスキャン技術から得たものでもよい。この場合では、第２取得部に２つの異なるニューラルネットワークを設け、第１画像及び第２画像にそれぞれ画像セグメンテーションを行えばよい。
以上の実施形態において、第１画像及び第２画像は同一のスキャン技術により生成されたスキャン画像である場合について説明したが、第１画像と第２画像とは異なるスキャン技術から得たものでもよい。この場合では、第２取得部に２つの異なるニューラルネットワークを設け、第１画像及び第２画像にそれぞれ画像セグメンテーションを行えばよい。
【0053】
また、以上の実施形態において、第１画像及び第２画像が既に前処理された状況を説明したが、第１画像及び第２画像は前処理前の画像でもよい。この場合、前処理前の第１画像及び第２画像を入力した後、本実施形態に係る画像処理装置により第１画像及び第２画像に前処理を行う。
【0054】
また、以上の実施形態において、第１ニューラルネットワークは、スキャン画像及びアテンション差異画像を入力とした状況を説明したが、第１ニューラルネットワークはこれに加えて、直前段階のスキャン画像、第２ニューラルネットワークから出力された直前段階のスキャン画像の画像セグメンテーション結果、第２ニューラルネットワークから出力された現段階のスキャン画像の画像セグメンテーション結果も併せて入力することもできる。
【0055】
また、以上の実施形態において、スキャン画像が二次元の画像である状況を説明したが、スキャン画像は患者の病変領域の複数の断面の情報を含む三次元の画像でもよい。また、スキャン画像はＲＧＢ画像でもよい。
【0056】
以上説明した少なくとも一つの実施形態によれば、患者の標的病変に新しい腫瘍が現れたか否かを自動的、且つ正確に検出可能とすることができる。
【0057】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0058】
１ 画像処理装置
１５ 画像セグメンテーション部
１５１ アテンションマップ生成部
１５２ 差異値算出部
１５３ 第１取得部
１５４ 後処理部
１５１１ 第２取得部
１５１２ マッピング部
１５ 画像セグメンテーション部
１５１ アテンションマップ生成部
１５２ 差異値算出部
１５３ 第１取得部
１５４ 後処理部
１５１１ 第２取得部
１５１２ マッピング部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
