IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧 ▶ 国立大学法人神戸大学の特許一覧

特開2024-168593画像処理装置、方法およびプログラム
<>
  • 特開-画像処理装置、方法およびプログラム 図1
  • 特開-画像処理装置、方法およびプログラム 図2
  • 特開-画像処理装置、方法およびプログラム 図3
  • 特開-画像処理装置、方法およびプログラム 図4
  • 特開-画像処理装置、方法およびプログラム 図5
  • 特開-画像処理装置、方法およびプログラム 図6
  • 特開-画像処理装置、方法およびプログラム 図7
  • 特開-画像処理装置、方法およびプログラム 図8
  • 特開-画像処理装置、方法およびプログラム 図9
  • 特開-画像処理装置、方法およびプログラム 図10
  • 特開-画像処理装置、方法およびプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024168593
(43)【公開日】2024-12-05
(54)【発明の名称】画像処理装置、方法およびプログラム
(51)【国際特許分類】
   A61B 6/03 20060101AFI20241128BHJP
【FI】
A61B6/03 360J
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023085412
(22)【出願日】2023-05-24
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(71)【出願人】
【識別番号】504150450
【氏名又は名称】国立大学法人神戸大学
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】小笠原 彩
(72)【発明者】
【氏名】児玉 裕三
(72)【発明者】
【氏名】増田 充弘
(72)【発明者】
【氏名】村上 卓道
(72)【発明者】
【氏名】祖父江 慶太郎
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA15
4C093FD03
4C093FF17
4C093FF28
(57)【要約】
【課題】画像処理装置、方法およびプログラムにおいて、医用画像を読影する医師等の操作者の思考に則った手法に従い、医用画像から異常領域を精度よく抽出する。
【解決手段】プロセッサは、医用画像に含まれる異常領域の根拠となる少なくとも1つの着目領域の特定指示を受け付け、特定指示がなされた着目領域に基づいて医用画像から異常領域を抽出する。
【選択図】図3
【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサを備え、
前記プロセッサは、
医用画像に含まれる異常領域の根拠となる少なくとも1つの着目領域の特定指示を受け付け、
前記特定指示がなされた着目領域に基づいて前記医用画像から前記異常領域を抽出する画像処理装置。
【請求項2】
前記プロセッサは、前記医用画像から前記着目領域を抽出し、
前記着目領域を視認可能に前記医用画像を表示し、
前記着目領域に対する確定の指示または修正の指示を受け付けることにより、前記着目領域の特定指示を受け付ける請求項1に記載の画像処理装置。
【請求項3】
前記プロセッサは、学習済みモデルを用いて前記医用画像および前記着目領域に基づいて前記異常領域を抽出し、
前記学習済みモデルは前記着目領域に基づいて、前記学習済みモデルが導出する潜在表現を強調するように学習される請求項2に記載の画像処理装置。
【請求項4】
前記プロセッサは、前記医用画像を表示し、
前記表示された医用画像において前記着目領域の指定を受け付けることにより、前記着目領域の特定指示を受け付ける請求項1に記載の画像処理装置。
【請求項5】
医用画像に含まれる異常領域の根拠となる少なくとも1つの着目領域の特定指示を受け付け、
前記特定指示がなされた着目領域に基づいて前記医用画像から前記異常領域を抽出する画像処理方法。
【請求項6】
医用画像に含まれる異常領域の根拠となる少なくとも1つの着目領域の特定指示を受け付ける手順と、
前記特定指示がなされた着目領域に基づいて前記医用画像から前記異常領域を抽出する手順とをコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。また、医用画像を解析することで、病変の存在確率および位置情報等を導出し、これを読影医等の医師に提示するコンピュータ支援診断(CAD;Computer-Aided Diagnosis)が実用化されている。例えば、特許文献1には、対象臓器の領域を特定し、その臓器ごとに定められた診断基準に基づいて異常と疑われる領域を抽出する手法が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】再公表2007-119297号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
病変の種類および大きさ、または医用画像の撮影手法によっては、医用画像に病変が明確に描出されない場合がある。例えば腹部の造影断層画像においては、膵臓癌に係る腫瘍は比較的明確に描出されるが、非造影断層画像においては、膵臓癌に係る腫瘍はほとんど描出されない。医師は、こうしたほとんど描出されない病変を、医用画像に写る間接所見を手掛かりに発見することがある。間接所見は、病変の発生に伴って表れる、病変の周辺組織の性状および形状のうちの少なくとも一方の特徴を表す。間接所見は、例えば萎縮、腫大、および石灰化等である。
【0005】
従来のCADは、ある程度明確に病変が医用画像に描出されていることを前提に開発されているため、上記のようなほとんど描出されない病変を発見することは難しかった。このため、間接所見を手掛かりにほとんど描出されない病変を発見する、という上述の医師の思考に則ったCADの開発が要望されていた。
【0006】
本開示は上記事情に鑑みなされたものであり、医用画像を読影する医師等の操作者の思考に則った手法にしたがって、医用画像から異常領域を精度よく抽出することを目的とする。
【課題を解決するための手段】
【0007】
本開示による画像処理装置は、少なくとも1つのプロセッサを備え、
プロセッサは、医用画像に含まれる異常領域の根拠となる少なくとも1つの着目領域の特定指示を受け付け、
特定指示がなされた着目領域に基づいて医用画像から異常領域を抽出する。
【0008】
なお、本開示による画像処理装置においては、プロセッサは、医用画像から着目領域を抽出し、
着目領域を視認可能に医用画像を表示し、
着目領域に対する確定の指示または修正の指示を受け付けることにより、着目領域の特定指示を受け付けるものであってもよい。
【0009】
また、本開示による画像処理装置においては、プロセッサは、学習済みモデルを用いて医用画像および着目領域に基づいて異常領域を抽出し、
学習済みモデルは着目領域に基づいて、学習済みモデルが導出する潜在表現を強調するように学習されるものであってもよい。
【0010】
また、本開示の画像処理装置においては、プロセッサは、医用画像を表示し、
表示された医用画像において着目領域の指定を受け付けることにより、着目領域の特定指示を受け付けるものであってもよい。
【0011】
本開示による画像処理方法は、医用画像に含まれる異常領域の根拠となる少なくとも1つの着目領域の特定指示を受け付け、
特定指示がなされた着目領域に基づいて医用画像から異常領域を抽出する。
【0012】
本開示による画像処理プログラムは、医用画像に含まれる異常領域の根拠となる少なくとも1つの着目領域の特定指示を受け付ける手順と、
特定指示がなされた着目領域に基づいて医用画像から異常領域を抽出する手順とをコンピュータに実行させる。
【発明の効果】
【0013】
本開示によれば、医用画像から異常領域を精度よく抽出できる。
【図面の簡単な説明】
【0014】
図1】本開示の第1の実施形態による画像処理装置を適用した診断支援システムの概略構成を示す図
図2】第1の実施形態による画像処理装置のハードウェア構成を示す図
図3】第1の実施形態による画像処理装置の機能構成図
図4】第1の実施形態による画像処理装置において行われる処理を模式的に示す図
図5】導出モデルが行う処理を模式的に示す図
図6】導出モデルの学習に使用する教師データを示す図
図7】導出モデルの学習を説明するための図
図8】抽出結果の表示画面を示す図
図9】第1の実施形態において行われる処理を示すフローチャート
図10】第2の実施形態による画像処理装置の機能構成図
図11】第2の実施形態において行われる処理を示すフローチャート
【発明を実施するための形態】
【0015】
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像処理装置を適用した医療情報システムの構成について説明する。図1は、医療情報システムの概略構成を示す図である。図1に示す医療情報システムは、本実施形態による画像処理装置を内包するコンピュータ1、撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
【0016】
コンピュータ1は、本実施形態による画像処理装置を内包するものであり、本実施形態の画像処理プログラムがインストールされている。コンピュータ1は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ1にダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータ1にインストールされる。
【0017】
撮影装置2は、被検体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。この撮影装置2により生成された、複数の断層画像からなる3次元画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、撮影装置2はCT装置であり、被検体の腹部のCT画像を3次元画像として生成する。なお、取得されるCT画像は造影されたCT画像であっても非造影のCT画像であってもよい。
【0018】
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置2で生成されたCT画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
【0019】
次いで、第1の実施形態による画像処理装置について説明する。図2は、第1の実施形態による画像処理装置のハードウェア構成を示す図である。図2に示すように、画像処理装置20は、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を含む。また、画像処理装置20は、液晶ディスプレイ等のディスプレイ14、キーボードとマウス等の入力デバイス15、およびネットワーク4に接続されるネットワークI/F(InterFace)17を含む。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
【0020】
ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、画像処理プログラム12が記憶される。CPU11は、ストレージ13から画像処理プログラム12を読み出してメモリ16に展開し、展開した画像処理プログラム12を実行する。
【0021】
次いで、第1の実施形態による画像処理装置の機能的な構成を説明する。図3は、第1の実施形態による画像処理装置の機能的な構成を示す図、図4は第1の実施形態による画像処理装置が行う処理を模式的に示す図である。図3に示すように画像処理装置20は、画像取得部21、第1抽出部22、第2抽出部23、表示制御部24および第3抽出部25を備える。そして、CPU11が画像処理プログラム12を実行することにより、CPU11は、画像取得部21、第1抽出部22、第2抽出部23、表示制御部24および第3抽出部25として機能する。
【0022】
画像取得部21は、操作者による入力デバイス15からの指示により、画像保管サーバ3から処理の対象となる医用画像G0を取得する。本実施形態においては、医用画像G0は人体の腹部を含む複数の断層画像からなるCT画像である。
【0023】
第1抽出部22は、医用画像G0から対象臓器の領域を抽出する。本実施形態においては、対象臓器は膵臓とする。このため、第1抽出部22は、医用画像G0から膵臓を抽出するように機械学習がなされたセマンティックセグメンテーションモデル(以下、SS(Semantic Segmentation)モデルとする)22Aを有する。SSモデル22Aは、周知のように、入力画像の各画素に対して抽出対象物(クラス)を表すラベルを付与した出力画像を出力する機械学習モデルである。本実施形態においては、入力画像は医用画像G0を構成する断層画像であり、抽出対象物は膵臓であり、出力画像は膵臓の領域がラベリングされた画像である。SSモデルは、ResNet(Residual Networks)、U-Net(U-shaped Networks)といった畳み込みニューラルネットワーク(CNN;Convolutional neural network)により構築される。
【0024】
第1抽出部22はこのようなSSモデルを用いて、図4に示すように医用画像G0に含まれる膵臓の領域30を抽出する。なお、対象臓器の抽出は、SSモデルを用いるものには限定されない。テンプレートマッチングあるいはCT値に対するしきい値処理等、医用画像G0から対象臓器を抽出する任意の手法を適用することができる。
【0025】
第2抽出部23は、医用画像G0に含まれる膵臓において、異常領域の根拠となる少なくとも1つの着目領域を抽出する。本実施形態においては、膵臓における膵管狭窄の領域を医用画像G0から抽出する。
【0026】
ここで、医師が医用画像G0を読影して膵臓の病変を特定する場合、膵管狭窄等の病変の周辺組織の性状および形状の変化を表す間接所見を手掛かりとする。なお、間接所見の「間接」とは、腫瘍等の病変を癌等の疾患に直結する「直接」所見と表現した場合に対比する意味での表現である。また、膵管狭窄を特定するためには膵臓における膵管を手掛かりとする。
【0027】
第1の実施形態においては、第2抽出部23は、膵臓の異常の間接所見として膵管狭窄の領域を医用画像G0から抽出する。このために、第2抽出部23は、医用画像G0および医用画像G0に含まれる膵臓の領域30に基づいて、医用画像G0から膵管狭窄の領域を抽出するように機械学習がなされたSSモデル23Aを有する。第2抽出部23はこのようなSSモデル23Aを用いて、図4に示すように医用画像G0に含まれる膵臓の領域30に含まれる膵管狭窄の領域31を抽出する。
【0028】
表示制御部24は、膵管狭窄の領域31が抽出された医用画像G0をディスプレイ14に表示する。なお、ディスプレイ14に表示される医用画像G0は、図4に示すように膵管狭窄の領域31にマスクが付与されたものとなる。
【0029】
操作者は、ディスプレイ14に表示された医用画像G0を見て、入力デバイス15を用いて、着目領域、すなわち膵管狭窄の領域31の特定指示を行う。ここで、特定指示としては、抽出された着目領域を確定させる指示、または抽出された着目領域を修正する指示を含む。すなわち、表示された医用画像G0に含まれる膵管狭窄の領域31が膵管狭窄の領域を正しく表していれば、操作者は入力デバイス15から確定の指示を行うことにより、着目領域の特定指示を行う。一方、表示された医用画像G0に含まれる膵管狭窄の領域31が膵管狭窄の領域を正しく表していなければ、操作者は入力デバイス15から着目領域の修正の指示を行うことにより、着目領域の特定指示を行う。なお、特定指示がなされた医用画像の参照符号としてG1を用いる。
【0030】
第3抽出部25は、着目領域の特定指示を受け付け、特定指示がなされた着目領域に基づいて、医用画像G0から異常領域を抽出する。すなわち、特定指示がなされた膵管狭窄の領域に基づいて医用画像G0から膵臓の病変領域32を異常領域として抽出し、異常領域が抽出された出力画像G2を導出する。このために、第3抽出部25は、医用画像G0および着目領域(すなわち膵管狭窄の領域)から膵臓の病変領域を抽出するように機械学習がなされた抽出モデル25Aを有する。
【0031】
図5は抽出モデル25Aが行う処理を模式的に示す図である。図5に示すように、抽出モデル25Aは、エンコーダ41、アテンション42およびデコーダ43を有する。エンコーダ41は、医用画像G0が入力されると、膵臓の病変領域を抽出するための、医用画像G0の特徴を次元圧縮した潜在表現z1を出力する。抽出モデル25Aは、医用画像G0から膵臓の病変領域を抽出する。このため、潜在表現z1は膵臓の病変領域を抽出するための着目領域についての特徴を含むものとなる。
【0032】
ここで、医師が医用画像G0を読影して膵臓の病変を発見する際には、膵臓における膵管狭窄の領域を手掛かりとする。このため、膵臓の病変の領域を抽出するための着目領域は膵管狭窄の領域となる。図5には、エンコーダ41において導出される膵臓の病変領域を抽出するための着目領域を可視化した画像zg1を示す。画像zg1においては、医用画像G0における膵管狭窄付近の領域が着目領域A1として抽出されている。なお、着目領域A1をマスクすることにより着目領域A1を抽出してもよく、着目領域A1をバウンディングボックスで囲むことにより着目領域A1を抽出してもよい。
【0033】
抽出モデル25Aにおけるアテンション42は、第2抽出部23が抽出し、操作者により特定された着目領域に基づいて、エンコーダ41が導出した潜在表現z1を補正することにより補正された潜在表現z1′を導出する。具体的には、潜在表現z1における膵管狭窄の領域を強調することにより、補正された潜在表現z1′を導出する。強調の手法としては、例えば操作者により特定された着目領域に基づいて潜在表現z1における膵管狭窄の領域に予め定められた1より大きい重みを乗算する等の手法が挙げられる。図5には補正された潜在表現z1′を可視化した画像zg1′を示している。画像zg1′においては、医用画像G0における膵管狭窄の領域が強調された領域A1′として示されている。
【0034】
デコーダ43は、補正された潜在表現z1′を再構成することにより、医用画像G0における膵臓の病変領域を抽出し、膵臓の病変領域32がラベリングされた出力画像G2を導出する。
【0035】
次いで、抽出モデル25Aの学習について説明する。図6は抽出モデル25Aの学習に使用する教師データを示す図、図7は抽出モデル25Aの学習を説明するための図である。図6に示すように、教師データ50は、学習用医用画像51および正解データ52を含む。学習用医用画像51は膵臓を含む医用画像である。正解データ52は、学習用医用画像51における膵管狭窄の領域がマスクされた第1のマスク画像53と、学習用医用画像51における膵臓の病変領域がマスクされた第2のマスク画像54とを含む。
【0036】
学習に際しては、図7に示すように、まずエンコーダ41に学習用医用画像51が入力されて、エンコーダ41から膵臓の病変領域を抽出するための、学習用医用画像51の特徴を次元圧縮した潜在表現z01が出力される。抽出モデル25Aは、膵管狭窄の領域に着目して膵臓の病変領域を抽出する。このため、エンコーダ41において導出される膵臓の病変領域を抽出するための根拠となる着目領域、すなわち膵管狭窄の領域を可視化した画像60が導出され、画像60と正解データ52である第1のマスク画像53との相違が損失L1として導出される。
【0037】
なお、導出される膵臓の病変領域を抽出するための着目領域を可視化する出力層を有するようにエンコーダ41を構成することにより、画像60を導出するようにすればよい。また、エンコーダ41に膵臓の病変領域を抽出するための根拠となる領域を可視化するための出力層を設けることなく、Grad-CAMの手法を用いて膵臓の病変領域を抽出するための着目領域を可視化するようにしてもよい。
【0038】
また、エンコーダ41から出力された潜在表現z01が、第1のマスク画像53に基づいて膵管狭窄の領域を強調するようにアテンション42によって補正され、補正された潜在表現z01′が導出される。そして、補正された潜在表現z01′がデコーダ43により再構成されて学習用医用画像51における膵臓の病変の領域を表す特徴量が導出され、特徴量が予め定められたしきい値以上となる領域がマスクされた出力画像61が導出される。出力画像61は、抽出モデル25Aが導出した、学習用医用画像51における膵臓の病変の領域がマスクされた画像である。そして、出力画像61と第2のマスク画像54との相違が損失L2として導出される。
【0039】
そして、損失L1,L2が小さくなるように、エンコーダ41、アテンション42およびデコーダ43が学習される。なお、アテンション42は、アテンション42により膵管狭窄の領域が強調されるように、損失L1により学習される。これにより、エンコーダ41は、膵管狭窄の特徴を表す潜在表現を導出するように学習がなされる。アテンション42は、膵臓における膵管狭窄の領域が強調されるように学習がなされる。デコーダ43はアテンション42により補正された潜在表現から、膵臓の病変の領域を抽出するように学習がなされる。そして、複数の教師データを用いて、損失L1,L2が予め定められたしきい値以下となるまで学習を繰り返すことにより、あるいは予め定められた回数の学習を繰り返すことにより、抽出モデル25Aが構築される。
【0040】
表示制御部24は、第3抽出部25が抽出した膵臓の異常領域がマスクされた出力画像G2をディスプレイ14に表示する。図8は、出力画像の表示画面を示す図である。図8に示すように、表示画面70には、第3抽出部25が導出した膵臓の病変領域がマスクされた出力画像G2が表示される。
【0041】
次いで、第1の実施形態において行われる処理について説明する。図9は第1の実施形態において行われる処理を示すフローチャートである。まず、画像取得部21がストレージ13から医用画像G0を取得し(ステップST1)、第1抽出部22が、医用画像G0から対象臓器の領域である膵臓の領域30を抽出する(ステップST2)。次いで、第2抽出部23が、医用画像G0に含まれる異常領域の根拠となる着目領域である膵管狭窄の領域31を抽出する(ステップST3)。そして、表示制御部24が、着目領域が抽出された医用画像G0をディスプレイ14に表示する(ステップST4)。
【0042】
そして、第3抽出部25が、着目領域の特定指示を受け付け(ステップST5)、特定指示がなされた着目領域に基づいて、医用画像G0から異常領域である膵臓の病変領域32を抽出する(ステップST6)。そして、表示制御部24が、抽出された異常領域がマスクされた出力画像G2をディスプレイ14に表示し(ステップST7)、処理を終了する。
【0043】
このように、本実施形態においては、医用画像G0に含まれる異常領域の根拠となる着目領域の特定指示を受け付け、特定指示がなされた着目領域に基づいて医用画像G0から異常領域を抽出するようにした。このため、本実施形態によれば、着目領域に関して医師等の操作者の思考を反映させることができ、その結果、医用画像G0を読影する医師等の操作者の思考に則った手法にしたがい、医用画像G0に含まれる異常領域を精度よく検出できる。
【0044】
また、第3抽出部25が備える抽出モデル25Aが導出する潜在表現を、着目領域に基づいて強調することにより、医用画像G0を読影する医師等の操作者の思考により則った手法にしたがって、医用画像G0から異常領域をより精度よく検出できる。
【0045】
なお、上記第1の実施形態においては、第2抽出部23により着目領域を抽出した後、操作者による確定指示または修正指示により特定指示を受け付けているが、これに限定されるものではない。膵臓の領域30が抽出された医用画像G0を表示し、操作者による着目領域の特定指示のみを受け付けるようにしてもよい。以下、これを第2の実施形態として説明する。
【0046】
図10は第2の実施形態による画像処理装置の機能的な構成を示す図である。図10において図3と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第2の実施形態による画像処理装置20Aは、第2抽出部23を備えない点が第1の実施形態と異なる。
【0047】
次いで、第2の実施形態において行われる処理について説明する。図11は第2の実施形態において行われる処理を示すフローチャートである。まず、画像取得部21がストレージ13から医用画像G0を取得し(ステップST11)、第1抽出部22が、医用画像G0から対象臓器の領域である膵臓の領域30を抽出する(ステップST12)。次いで、表示制御部24が、膵臓の領域30が抽出された医用画像G0をディスプレイ14に表示する(ステップST13)。
【0048】
そして、第3抽出部25が、着目領域の特定指示を受け付け(ステップST14)、特定指示がなされた着目領域に基づいて、医用画像G0から異常領域である膵臓の病変領域32を抽出する(ステップST15)。そして、表示制御部24が、抽出された異常領域がマスクされた出力画像G2をディスプレイ14に表示し(ステップST16)、処理を終了する。
【0049】
これにより、第2の実施形態によっても、医用画像G0を読影する医師等の操作者の思考に則った手法にしたがい、医用画像G0に含まれる異常領域を精度よく検出できる。
【0050】
なお、上記各実施形態においては、着目領域として膵臓の膵管狭窄の領域のみの特定指示を受け付けているが、これに限定されるものではない。複数の着目領域の特定指示を受け付けるようにしてもよい。例えば、着目領域として膵管狭窄の領域に加えて、膵腫大領域の特定指示を受け付け、第3抽出部25において、膵管狭窄の領域に加えて、膵腫大領域にも基づいて、医用画像G0から異常領域を抽出するようにしてもよい。
【0051】
また、上記各実施形態においては、対象臓器を膵臓としているがこれに限定されるものではない。膵臓の他、脳、心臓、肺および肝臓等の任意の臓器を対象臓器として用いることができる。
【0052】
また、上記実施形態においては、医用画像G0としてCT画像を用いているが、これに限定されるものではない。MRI画像等の3次元画像の他、単純撮影により取得された放射線画像等、任意の画像を医用画像G0として用いることができる。
【0053】
また、上記実施形態において、例えば、画像取得部21、第1抽出部22、第2抽出部23、表示制御部24および第3抽出部25といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0054】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0055】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0056】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
【符号の説明】
【0057】
1 コンピュータ
2 撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 画像処理プログラム
13 ストレージ
14 ディスプレイ
15 入力デバイス
16 メモリ
17 ネットワークI/F
18 バス
20 画像処理装置
21 画像取得部
22 第1抽出部
22A SSモデル
23 第2抽出部
23A SSモデル
24 表示制御部
25 第3抽出部
25A 抽出モデル
30 膵臓の領域
31 膵管狭窄の領域
32 病変領域
41 エンコーダ
42 アテンション
43 デコーダ
50 教師データ
51 学習用医用画像
52 正解データ
53 第1のマスク画像
54 第2のマスク画像
60 画像
61 出力画像
70 表示画面
G0,G1 医用画像
G2 出力画像
L1、L2 損失
z1,z1′,z01,z01′ 潜在表現
zg1,zg1′ 潜在表現を可視化した画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11