特開 2024-140469 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024140469

(43)【公開日】2024-10-10

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20241003BHJP

   A61B 6/46 20240101ALI20241003BHJP

   A61B 6/00 20240101ALI20241003BHJP

【ＦＩ】

A61B6/03 360T

A61B6/03 360P

A61B6/00 360B

A61B6/00 360Z

A61B6/00 350P

A61B6/03 360Q

A61B6/03 360J

A61B6/00 350D

A61B6/03 360D

A61B6/00 350S

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023051615

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】平原 暢之

【テーマコード（参考）】

4C093

【Ｆターム（参考）】

4C093AA01

4C093AA22

4C093AA26

4C093CA18

4C093DA10

4C093FF16

4C093FF17

4C093FF28

4C093FF33

4C093FF34

4C093FF35

4C093FF42

4C093FG01

4C093FG16

4C093FG18

(57)【要約】

【課題】読影対象の医用画像と、異常の候補が存在しない医用画像との違いを提示することができる画像処理装置、画像処理方法、及び画像処理プログラムを得る。
【解決手段】画像処理装置は、医用画像における異常の候補を含む領域である異常候補領域が存在しない状態を推定した推定医用画像を生成し、医用画像と推定医用画像との差異に関する情報を表示する制御を行う。
【選択図】図６

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサを備える画像処理装置であって、
前記プロセッサは、
医用画像における異常の候補を含む領域である異常候補領域が存在しない状態を推定した推定医用画像を生成し、
前記医用画像と前記推定医用画像との差異に関する情報を表示する制御を行う
画像処理装置。

【請求項2】

前記プロセッサは、
前記制御として、前記医用画像及び前記推定医用画像を表示する制御を行う
請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、
前記制御として、前記医用画像と、前記医用画像及び前記推定医用画像の差分を表す情報とを表示する制御を行う
請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記プロセッサは、
前記制御として、前記医用画像に、前記医用画像の前記異常候補領域と、前記推定医用画像の前記異常候補領域に対応する領域との差分を表す値に応じて色を異ならせた画像を重畳させて表示する制御を行う
請求項３に記載の画像処理装置。

【請求項5】

前記プロセッサは、
前記制御として、前記医用画像と前記推定医用画像との差異を表すテキストを表示する制御を行う
請求項１に記載の画像処理装置。

【請求項6】

前記プロセッサは、
前記制御として、前記医用画像の前記異常候補領域の輪郭と、前記推定医用画像の前記異常候補領域に対応する領域の輪郭とを重畳させて表示する制御を行う
請求項１に記載の画像処理装置。

【請求項7】

前記プロセッサは、
前記制御として、前記医用画像の前記異常候補領域と、前記推定医用画像の前記異常候補領域に対応する領域とのそれぞれについて、ボリュームレンダリング又はサーフェスレンダリングを用いて画像を生成し、かつ並列に又は重畳させて表示する制御を行う
請求項１に記載の画像処理装置。

【請求項8】

前記プロセッサは、
前記医用画像から前記異常候補領域を抽出する
請求項１に記載の画像処理装置。

【請求項9】

前記プロセッサは、
ユーザによる前記異常候補領域の指定を受け付ける
請求項１に記載の画像処理装置。

【請求項10】

前記異常の候補は、病変である
請求項１に記載の画像処理装置。

【請求項11】

前記異常の候補は、病変の周辺に発生する形状及び性状の少なくとも一方が異常な部分である
請求項１に記載の画像処理装置。

【請求項12】

前記医用画像は、膵臓が撮影された医用画像である
請求項１に記載の画像処理装置。

【請求項13】

前記異常候補領域は、前記膵臓の頭部の領域、体部の領域、及び尾部の領域のうちの前記異常の候補を含む領域である
請求項１２に記載の画像処理装置。

【請求項14】

前記プロセッサは、
前記医用画像における対象の解剖学的領域内の前記異常候補領域以外の領域から前記異常候補領域の推定画像を生成し、
前記推定医用画像として、前記医用画像における前記異常候補領域に前記推定画像を合成した画像を生成する
請求項１に記載の画像処理装置。

【請求項15】

医用画像における異常の候補を含む領域である異常候補領域が存在しない状態を推定した推定医用画像を生成し、
前記医用画像と前記推定医用画像との差異に関する情報を表示する制御を行う
処理を画像処理装置が備えるプロセッサが実行する画像処理方法。

【請求項16】

医用画像における異常の候補を含む領域である異常候補領域が存在しない状態を推定した推定医用画像を生成し、
前記医用画像と前記推定医用画像との差異に関する情報を表示する制御を行う
処理を画像処理装置が備えるプロセッサに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、学習済みの識別器を用いて医用画像の画像解析を行い、被検体が複数種別の病変パターンのうちのいずれかに該当する確率として正常度を算出する技術が開示されている。

【0003】

特許文献２には、医用画像の領域毎の各種病変の悪性度を算出し、病変の種類毎の悪性度マップを生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－０３３９６６号公報

【特許文献2】特開２０２１－０８７７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

医用画像の読影者は、例えば、膵がん等の病変の診断において、医用画像における病変の発生に伴う病変の周辺部分の形状変化及び性状変化等の異常に基づいて、病変の発生有無を判断する場合がある。この場合、読影対象の医用画像と、病変、形状変化、及び性状変化等の異常の候補が存在しないと仮定した場合の同一の患者の医用画像との違いを読影者に提示することができると、読影者による医用画像の読影を適切に支援することができる。

【0006】

本開示は、以上の事情を鑑みてなされたものであり、読影対象の医用画像と、異常の候補が存在しない医用画像との違いを提示することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の態様の画像処理装置は、少なくとも一つのプロセッサを備える画像処理装置であって、プロセッサは、医用画像における異常の候補を含む領域である異常候補領域が存在しない状態を推定した推定医用画像を生成し、医用画像と推定医用画像との差異に関する情報を表示する制御を行う。

【0008】

第２の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、上記制御として、医用画像及び推定医用画像を表示する制御を行う。

【0009】

第３の態様の画像処理装置は、第１の態様又は第２の態様の画像処理装置において、プロセッサは、上記制御として、医用画像と、医用画像及び推定医用画像の差分を表す情報とを表示する制御を行う。

【0010】

第４の態様の画像処理装置は、第３の態様の画像処理装置において、プロセッサは、上記制御として、医用画像に、医用画像の異常候補領域と、推定医用画像の異常候補領域に対応する領域との差分を表す値に応じて色を異ならせた画像を重畳させて表示する制御を行う。

【0011】

第５の態様の画像処理装置は、第１の態様から第４の態様の何れか１態様の画像処理装置において、プロセッサは、上記制御として、医用画像と推定医用画像との差異を表すテキストを表示する制御を行う。

【0012】

第６の態様の画像処理装置は、第１の態様から第５の態様の何れか１態様の画像処理装置において、プロセッサは、上記制御として、医用画像の異常候補領域の輪郭と、推定医用画像の異常候補領域に対応する領域の輪郭とを重畳させて表示する制御を行う。

【0013】

第７の態様の画像処理装置は、第１の態様から第６の態様の何れか１態様の画像処理装置において、プロセッサは、上記制御として、医用画像の異常候補領域と、推定医用画像の異常候補領域に対応する領域とのそれぞれについて、ボリュームレンダリング又はサーフェスレンダリングを用いて画像を生成し、かつ並列に又は重畳させて表示する制御を行う。

【0014】

第８の態様の画像処理装置は、第１の態様から第７の態様の何れか１態様の画像処理装置において、プロセッサは、医用画像から異常候補領域を抽出する。

【0015】

第９の態様の画像処理装置は、第１の態様から第７の態様の何れか１態様の画像処理装置において、プロセッサは、ユーザによる異常候補領域の指定を受け付ける。

【0016】

第１０の態様の画像処理装置は、第１の態様から第９の態様の何れか１態様の画像処理装置において、異常の候補は、病変である。

【0017】

第１１の態様の画像処理装置は、第１の態様から第１０の態様の何れか１態様の画像処理装置において、異常の候補は、病変の周辺に発生する形状及び性状の少なくとも一方が異常な部分である。

【0018】

第１２の態様の画像処理装置は、第１の態様から第１１の態様の何れか１態様の画像処理装置において、医用画像は、膵臓が撮影された医用画像である。

【0019】

第１３の態様の画像処理装置は、第１２の態様の画像処理装置において、異常候補領域は、膵臓の頭部の領域、体部の領域、及び尾部の領域のうちの異常の候補を含む領域である。

【0020】

第１４の態様の画像処理装置は、第１の態様から第１３の態様の何れか１態様の画像処理装置において、プロセッサは、医用画像における対象の解剖学的領域内の異常候補領域以外の領域から異常候補領域の推定画像を生成し、推定医用画像として、医用画像における異常候補領域に推定画像を合成した画像を生成する。

【0021】

第１５の態様の画像処理方法は、医用画像における異常の候補を含む領域である異常候補領域が存在しない状態を推定した推定医用画像を生成し、医用画像と推定医用画像との差異に関する情報を表示する制御を行う処理を画像処理装置が備えるプロセッサが実行するものである。

【0022】

第１６の態様の画像処理プログラムは、医用画像における異常の候補を含む領域である異常候補領域が存在しない状態を推定した推定医用画像を生成し、医用画像と推定医用画像との差異に関する情報を表示する制御を行う処理を画像処理装置が備えるプロセッサに実行させるためのものである。

【発明の効果】

【0023】

本開示によれば、読影対象の医用画像と、異常の候補が存在しない医用画像との違いを提示することができる。

【図面の簡単な説明】

【0024】

【図1】医療情報システムの概略構成を示すブロック図である。

【図2】画像処理装置のハードウェア構成の一例を示すブロック図である。

【図3】第１の学習済みモデルを説明するための図である。

【図4】第２の学習済みモデルを説明するための図である。

【図5】画像処理装置の機能的な構成の一例を示すブロック図である。

【図6】推定医用画像の生成処理を説明するための図である。

【図7】表示画面の一例を示す図である。

【図8】変形例に係る表示画面の一例を示す図である。

【図9】診断支援処理の一例を示すフローチャートである。

【図10】変形例に係る表示画面の一例を示す図である。

【図11】変形例に係る表示画面の一例を示す図である。

【図12】変形例に係る推定医用画像の生成処理を説明するための図である。

【発明を実施するための形態】

【0025】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0026】

まず、図１を参照して、本実施形態に係る医療情報システム１の構成を説明する。図１に示すように、医療情報システム１は、画像処理装置１０、撮影装置１２、及び画像保管サーバ１４を含む。画像処理装置１０、撮影装置１２、及び画像保管サーバ１４は、有線又は無線のネットワーク１８を介して互いに通信可能な状態で接続される。画像処理装置１０は、例えば、パーソナルコンピュータ又はサーバコンピュータ等のコンピュータである。

【0027】

撮影装置１２は、被検体の診断対象とする部位を撮影することにより、その部位を表す医用画像を生成する装置である。撮影装置１２の例としては、単純Ｘ線撮影装置、内視鏡装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、及びＰＥＴ（Positron Emission Tomography）装置等が挙げられる。本実施形態では、撮影装置１２がＣＴ装置であり、診断対象とする部位が腹部である例を説明する。すなわち、本実施形態に係る撮影装置１２は、被検体の腹部のＣＴ画像を、複数の断層画像からなる３次元の医用画像として生成する。従って、本実施形態に係る医用画像は、膵臓が撮影された医用画像である。撮影装置１２により生成された医用画像は、ネットワーク１８を介して画像保管サーバ１４に送信され、画像保管サーバ１４により保存される。

【0028】

画像保管サーバ１４は、各種データを保存して管理するコンピュータであり、大容量の外部記憶装置及びデータベース管理用ソフトウェアを備える。画像保管サーバ１４は、撮影装置１２により生成された医用画像を、ネットワーク１８を介して受信し、受信した医用画像を保存して管理する。画像保管サーバ１４による画像データの格納形式及びネットワーク１８を介した他の装置との通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

【0029】

次に、図２を参照して、本実施形態に係る画像処理装置１０のハードウェア構成を説明する。図２に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、画像処理装置１０は、液晶ディスプレイ等のディスプレイ２３、キーボードとマウス等の入力装置２４、及びネットワーク１８に接続されるネットワークＩ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、ディスプレイ２３、入力装置２４、及びネットワークＩ／Ｆ２５は、バス２７に接続される。ＣＰＵ２０は、開示の技術に係るプロセッサの一例である。

【0030】

記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、画像処理プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から画像処理プログラム３０を読み出してからメモリ２１に展開し、展開した画像処理プログラム３０を実行する。

【0031】

ところで、医用画像において、解剖学的領域内に異常が発生している場合、その異常が存在しない状態を推定した医用画像を生成することができると、読影者による医用画像の読影を効果的に支援することができる。本実施形態に係る画像処理装置１０は、読影者による医用画像の読影を効果的に支援するために、異常が存在しない状態を推定した医用画像を生成し、かつ提示する機能を有する。なお、本実施形態では、処理対象の解剖学的領域として、膵臓を適用した例を説明する。

【0032】

上記機能を実現するために、記憶部２２には、学習済みモデル３２及び学習済みモデル３４が記憶される。学習済みモデル３２は、医用画像における異常の候補を含む領域（以下、「異常候補領域」という）を抽出するためのモデルである。学習済みモデル３２は、例えば、ＣＮＮ（Convolutional Neural Network）によって構成される。学習済みモデル３２は、例えば、異常の候補を含む医用画像と、その医用画像中の異常候補領域を特定した情報と、の多数の組み合わせを学習用データとして用いた機械学習によって学習されたモデルである。なお、本実施形態における異常の候補は、例えば、膵がん等の病変を含む。また、本実施形態における異常の候補は、病変に加えて、病変の周辺に発生する形状及び性状の少なくとも一方が異常な部分を含む。この異常な部分は、間接所見とも呼ばれる。例えば、膵がんを疑う間接所見の例としては、膵臓における部分的な萎縮及び腫大等の形状異常等が挙げられる。

【0033】

一例として図３に示すように、学習済みモデル３２には医用画像が入力される。学習済みモデル３２は、入力の医用画像における膵臓の異常候補領域を検出し、その異常候補領域を特定した情報を出力する。この異常候補領域を特定した情報は、異常候補領域を特定可能な情報であればよい。例えば、異常候補領域を特定した情報は、医用画像における異常候補領域のボクセル位置を表す情報でもよいし、医用画像における異常候補領域が予め設定された色で塗りつぶされた画像でもよい。図３の例では、膵臓の異常の候補として部分的な萎縮が検出されており、異常候補領域が斜線で塗りつぶされた領域で表されている。

【0034】

学習済みモデル３４は、異常候補領域を含む医用画像における異常候補領域が存在しない状態を推定した推定医用画像を生成するためのモデルである。学習済みモデル３４は、例えば、ＣＮＮによって構成される。学習済みモデル３４は、例えば、異常候補領域を含む医用画像と、その医用画像中の異常候補領域を特定した情報と、その異常候補領域が存在しない状態の医用画像との多数の組み合わせを学習用データとして用いた機械学習によって学習されたモデルである。

【0035】

一例として図４に示すように、学習済みモデル３４には医用画像及びその医用画像中の異常候補領域を特定した情報が入力される。学習済みモデル３４は、入力の医用画像における異常候補領域が存在しない状態を推定した推定医用画像を生成し、かつ出力する。図４の例では、膵臓の部分的な萎縮が存在しない状態の推定医用画像が生成されている。

【0036】

次に、図５を参照して、本実施形態に係る画像処理装置１０の機能的な構成について説明する。図５に示すように、画像処理装置１０は、取得部４０、抽出部４２、生成部４４、及び表示制御部４６を含む。ＣＰＵ２０が画像処理プログラム３０を実行することにより、取得部４０、抽出部４２、生成部４４、及び表示制御部４６として機能する。

【0037】

取得部４０は、診断対象の医用画像（以下、「診断対象画像」という）を、ネットワークＩ／Ｆ２５を介して、画像保管サーバ１４から取得する。

【0038】

抽出部４２は、取得部４０により取得された診断対象画像から異常候補領域を抽出する。具体的には、図６に示すように、抽出部４２は、診断対象画像を学習済みモデル３２に入力する。学習済みモデル３２は、入力の診断対象画像における膵臓の異常候補領域を検出し、その異常候補領域を特定した情報を出力する。

【0039】

なお、異常候補領域は、ユーザによって入力装置２４を介して指定されてもよい。この場合、抽出部４２は、ユーザによる異常候補領域の指定を受け付け、診断対象画像から受け付けた異常候補領域を抽出する。

【0040】

生成部４４は、取得部４０により取得された診断対象画像における抽出部４２により抽出された異常候補領域が存在しない状態を推定した推定医用画像を生成する。具体的には、図６に示すように、生成部４４は、診断対象画像及び学習済みモデル３２から出力された異常候補領域を特定した情報を学習済みモデル３４に入力する。学習済みモデル３４は、入力の診断対象画像における異常候補領域が存在しない状態を推定した推定医用画像を生成し、かつ出力する。

【0041】

表示制御部４６は、取得部４０により取得された診断対象画像と生成部４４により生成された推定医用画像との差異に関する情報を表示する制御を行う。具体的には、一例として図７に示すように、表示制御部４６は、診断対象画像と推定医用画像とをディスプレイ２３に並べて表示する制御を行う。これにより、ユーザは、診断対象画像と推定医用画像との差異を把握しやすくなる。

【0042】

なお、表示制御部４６は、図８に示すように、診断対象画像の異常候補領域と推定医用画像の異常候補領域に対応する領域とを拡大した状態でディスプレイ２３に並べて表示する制御を行ってもよい。図８の例では、診断対象画像の膵臓の萎縮が存在する領域と、その領域に対応する推定医用画像の膵臓の萎縮が解消された領域とが拡大された状態を示している。

【0043】

次に、図９を参照して、本実施形態に係る画像処理装置１０の作用を説明する。ＣＰＵ２０が画像処理プログラム３０を実行することによって、図９に示す診断支援処理が実行される。図９に示す診断支援処理は、例えば、それぞれユーザにより実行開始の指示が入力された場合に実行される。

【0044】

図９のステップＳ１０で、取得部４０は、診断対象画像を、ネットワークＩ／Ｆ２５を介して、画像保管サーバ１４から取得する。ステップＳ１２で、抽出部４２は、前述したように、ステップＳ１０で取得された診断対象画像を学習済みモデル３２に入力することによって、診断対象画像から異常候補領域を抽出する。

【0045】

ステップＳ１４で、生成部４４は、前述したように、ステップＳ１０で取得された診断対象画像及びステップＳ１２で抽出された異常候補領域を特定した情報を学習済みモデル３４に入力する。これにより、生成部４４は、診断対象画像における異常候補領域が存在しない状態を推定した推定医用画像を生成する。

【0046】

ステップＳ１６で、表示制御部４６は、前述したように、ステップＳ１０で取得された診断対象画像とステップＳ１４で生成された推定医用画像との差異に関する情報を表示する制御を行う。ステップＳ１６の処理が終了すると、診断支援処理が終了する。

【0047】

以上説明したように、本実施形態によれば、読影対象の医用画像と、異常の候補が存在しない医用画像との違いを提示することができる結果、読影者による医用画像の読影を効果的に支援することができる。

【0048】

なお、上記実施形態において、表示制御部４６は、診断対象画像と推定医用画像との差異に関する情報を表示する制御として、診断対象画像と、診断対象画像及び推定医用画像の差分を表す情報とを表示する制御を行ってもよい。具体的には、図１０に示すように、表示制御部４６は、診断対象画像に、診断対象画像の異常候補領域と、推定医用画像の異常候補領域に対応する領域との差分を表す値に応じて色を異ならせた画像を重畳させて表示する制御を行ってもよい。図１０の例では、診断対象画像の異常候補領域と、推定医用画像の異常候補領域に対応する領域との差分の領域が斜線で塗りつぶされている。表示制御部４６は、例えば、この斜線の領域の色を、その領域の各ボクセルについて、診断対象画像のＣＴ値と推定医用画像ＣＴ値との差が小さいほど青色に近い色になるようにし、その差が大きいほど赤色に近い色になるようにする。

【0049】

また、上記実施形態において、図１１に示すように、表示制御部４６は、診断対象画像と推定医用画像との差異を表すテキストを表示する制御を行ってもよい。図１１では、診断対象画像の膵臓の尾部が萎縮している場合のテキストの例を示している。

【0050】

また、上記実施形態において、表示制御部４６は、診断対象画像の異常候補領域の輪郭と、推定医用画像の異常候補領域に対応する領域の輪郭とを重畳させて表示する制御を行ってもよい。

【0051】

また、上記実施形態において、表示制御部４６は、診断対象画像の異常候補領域と、推定医用画像の異常候補領域に対応する領域とのそれぞれについて、ボリュームレンダリング又はサーフェスレンダリングを用いて画像を生成してもよい。この場合、表示制御部４６は、生成したそれぞれの画像を並列に表示する制御を行ってもよいし、重畳させて表示する制御を行ってもよい。

【0052】

また、上記実施形態において、図１２に示すように、ＣＰＵ２０は、診断対象画像に含まれる解剖学的領域の一例としての膵臓を頭部Ｐ１、体部Ｐ２、及び尾部Ｐ３の３つの部分領域に分割してもよい。この場合、抽出部４２は、診断対象画像から、異常候補領域として、膵臓の頭部Ｐ１の領域、体部Ｐ２の領域、及び尾部Ｐ３の領域のうちの異常の候補を含む領域を抽出する。

【0053】

また、この場合、生成部４４は、診断対象画像における膵臓内の異常候補領域以外の領域から異常候補領域の推定画像を生成し、診断対象画像における異常候補領域に推定画像を合成した画像を生成してもよい。具体的には、図１２に示すように、学習済みモデル３４として、３個の学習済みモデル３４Ａ、３４Ｂ、３４Ｃが用意される。学習済みモデル３４Ａは、入力の医用画像の膵臓の頭部Ｐ１及び体部Ｐ２に基づいて、その医用画像の膵臓の尾部Ｐ３を推定した推定画像を生成し、入力の医用画像における尾部Ｐ３に推定画像を合成した画像を生成するモデルである。学習済みモデル３４Ｂは、入力の医用画像の膵臓の頭部Ｐ１及び尾部Ｐ３に基づいて、その医用画像の膵臓の体部Ｐ２を推定した推定画像を生成し、入力の医用画像における体部Ｐ２に推定画像を合成した画像を生成するモデルである。学習済みモデル３４Ｃは、入力の医用画像の膵臓の体部Ｐ２及び尾部Ｐ３に基づいて、その医用画像の膵臓の頭部Ｐ１を推定した推定画像を生成し、入力の医用画像における頭部Ｐ１に推定画像を合成した画像を生成するモデルである。

【0054】

この場合、生成部４４は、診断対象画像における抽出部４２により抽出された異常候補領域を隠す画像処理を実行する。この画像処理の例としては、隠す対象の領域を背景色等の予め定められた色に塗りつぶす処理が挙げられる。図１２の例では、この画像処理により隠す対象の領域である尾部Ｐ３の領域が一点鎖線で示されている。そして、生成部４４は、異常候補領域を隠す画像処理を実行後の診断対象画像を、異常候補領域に対応する学習済みモデル３４に入力する。学習済みモデル３４は、入力の診断対象画像における膵臓内の異常候補領域以外の領域から異常候補領域の推定画像を生成し、診断対象画像における異常候補領域に推定画像を合成した画像を生成し、かつ出力する。図１２では、破線で囲まれた尾部Ｐ３が異常候補領域として抽出され、尾部Ｐ３を隠す画像処理が実行され、その画像処理の実行後の診断対象画像が学習済みモデル３４Ａに入力されることによって推定医用画像が生成される例を示している。

【0055】

また、上記実施形態において、学習済みモデル３４として、ＧＡＮ（Generative Adversarial Network）と称される生成モデルを適用する形態としてもよい。

【0056】

また、上記実施形態では、抽出部４２は、学習済みモデル３２を用いて、診断対象画像から異常候補領域を抽出する場合について説明したが、これに限定されない。例えば、抽出部４２は、領域成長、輪郭抽出法、又はルールベースによる抽出等の公知の手法によって、診断対象画像から異常候補領域を抽出する形態としてもよい。

【0057】

また、上記実施形態では、処理対象の解剖学的領域として、膵臓を適用した場合について説明したが、これに限定されない。処理対象の解剖学的領域として、肝臓を適用してもよいし、小腸を適用してもよい。

【0058】

また、上記実施形態では、学習済みモデル３２、３４がＣＮＮによって構成される場合について説明したが、これに限定されない。学習済みモデル３２、３４は、ＣＮＮ以外の機械学習の手法によって構成されてもよい。

【0059】

また、上記実施形態では、診断対象画像として、ＣＴ画像を適用した場合について説明したが、これに限定されない。診断対象画像として、単純Ｘ線撮影装置により撮影された放射線画像、及びＭＲＩ装置により撮影されたＭＲＩ画像等のＣＴ画像以外の医用画像を適用してもよい。

【0060】

また、上記実施形態に係る診断支援処理のステップＳ１０～Ｓ１４の処理は、ユーザにより実行開始の指示が入力される前に実行されてもよい。この場合、ユーザにより実行開始の指示が入力されると、ステップＳ１６が実行され、画面表示が行われる。

【0061】

また、上記実施形態において、例えば、取得部４０、抽出部４２、生成部４４、及び表示制御部４６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0062】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0063】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0064】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0065】

また、上記実施形態では、画像処理プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム３０は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0066】

１ 医療情報システム
１０ 画像処理装置
１２ 撮影装置
１４ 画像保管サーバ
１８ ネットワーク
２０ ＣＰＵ
２１ メモリ
２２ 記憶部
２３ ディスプレイ
２４ 入力装置
２５ ネットワークＩ／Ｆ
２７ バス
３０ 画像処理プログラム
３２、３４、３４Ａ、３４Ｂ、３４Ｃ 学習済みモデル
４０ 取得部
４２ 抽出部
４４ 生成部
４６ 表示制御部
Ｐ１ 頭部
Ｐ２ 体部
Ｐ３ 尾部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】