特開 2024-140205 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024140205

(43)【公開日】2024-10-10

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 6/46 20240101AFI20241003BHJP

   A61B 6/00 20240101ALI20241003BHJP

   A61B 6/03 20060101ALI20241003BHJP

   G16H 30/00 20180101ALI20241003BHJP

【ＦＩ】

A61B6/03 360Z

A61B6/00 360Z

A61B6/03 360T

G16H30/00

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023051230

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】小笠原 彩

【テーマコード（参考）】

4C093

5L099

【Ｆターム（参考）】

4C093AA01

4C093AA22

4C093AA26

4C093CA18

4C093FF17

4C093FF28

4C093FF31

4C093FG16

4C093FG18

5L099AA26

(57)【要約】

【課題】病変が早期の段階の医用画像を精度良く生成することができる画像処理装置、画像処理方法、及び画像処理プログラムを得る。
【解決手段】画像処理装置は、医用画像における病変の位置を含む入力情報に基づいて、病変の発生に伴う間接所見の位置を決定し、病変が未発生の正常医用画像又は病変が発生済みの異常医用画像における決定した位置に間接所見を生成した医用画像を生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサを備える画像処理装置であって、
前記プロセッサは、
医用画像における病変の位置を含む入力情報に基づいて、前記病変の発生に伴う間接所見の位置を決定し、
前記病変が未発生の正常医用画像又は前記病変が発生済みの異常医用画像における決定した位置に前記間接所見を生成した医用画像を生成する
画像処理装置。

【請求項2】

前記病変の位置を含む入力情報は、前記異常医用画像における病変の位置である
請求項１に記載の画像処理装置。

【請求項3】

前記病変の位置を含む入力情報は、医用画像における位置毎に前記病変が発生する確率が定義された確率マップである
請求項１に記載の画像処理装置。

【請求項4】

前記病変の位置を含む入力情報は、医用画像における前記病変が存在する領域に前記病変が存在することを表す値が定義されたデータである
請求項１に記載の画像処理装置。

【請求項5】

医用画像における病変の位置を含む入力情報に基づいて、前記病変の発生に伴う間接所見の位置を決定し、
前記病変が未発生の正常医用画像又は前記病変が発生済みの異常医用画像における決定した位置に前記間接所見を生成した医用画像を生成する
処理を画像処理装置が備えるプロセッサが実行する画像処理方法。

【請求項6】

医用画像における病変の位置を含む入力情報に基づいて、前記病変の発生に伴う間接所見の位置を決定し、
前記病変が未発生の正常医用画像又は前記病変が発生済みの異常医用画像における決定した位置に前記間接所見を生成した医用画像を生成する
処理を画像処理装置が備えるプロセッサに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出し、第１画像と、第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す第２画像とに基づいて、第１画像に第２画像を合成した第３画像を生成する技術が開示されている。この技術では、第１画像上に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第１画像に第２画像を合成した第３画像を生成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０１９６７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

医用画像から病変を検出するための学習済みモデルを機械学習により生成する際に、病変の検出精度を向上させるためには、多数の学習用データを収集することが好ましい。病変によっては、進行してから発見されることが多く、病変が早期の段階の医用画像を収集することが困難な場合がある。この場合、病変が早期の段階の医用画像を精度良く生成することができると、生成した医用画像を機械学習に用いることができるため、好ましい。

【0005】

本開示は、以上の事情を鑑みてなされたものであり、病変が早期の段階の医用画像を精度良く生成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の態様の画像処理装置は、少なくとも一つのプロセッサを備える画像処理装置であって、プロセッサは、医用画像における病変の位置を含む入力情報に基づいて、病変の発生に伴う間接所見の位置を決定し、病変が未発生の正常医用画像又は病変が発生済みの異常医用画像における決定した位置に間接所見を生成した医用画像を生成する。

【0007】

第２の態様の画像処理装置は、第１の態様の画像処理装置において、病変の位置を含む入力情報は、異常医用画像における病変の位置である。

【0008】

第３の態様の画像処理装置は、第１の態様の画像処理装置において、病変の位置を含む入力情報は、医用画像における位置毎に病変が発生する確率が定義された確率マップである。

【0009】

第４の態様の画像処理装置は、第１の態様の画像処理装置において、病変の位置を含む入力情報は、医用画像における病変が存在する領域に病変が存在することを表す値が定義されたデータである。

【0010】

第５の態様の画像処理方法は、医用画像における病変の位置を含む入力情報に基づいて、病変の発生に伴う間接所見の位置を決定し、病変が未発生の正常医用画像又は病変が発生済みの異常医用画像における決定した位置に間接所見を生成した医用画像を生成する処理を画像処理装置が備えるプロセッサが実行するものである。

【0011】

第６の態様の画像処理プログラムは、医用画像における病変の位置を含む入力情報に基づいて、病変の発生に伴う間接所見の位置を決定し、病変が未発生の正常医用画像又は病変が発生済みの異常医用画像における決定した位置に間接所見を生成した医用画像を生成する処理を画像処理装置が備えるプロセッサに実行させるためのものである。

【発明の効果】

【0012】

本開示によれば、病変が早期の段階の医用画像を精度良く生成することができる。

【図面の簡単な説明】

【0013】

【図1】医療情報システムの概略構成を示すブロック図である。

【図2】画像処理装置のハードウェア構成の一例を示すブロック図である。

【図3】画像処理装置の機能的な構成の一例を示すブロック図である。

【図4】学習済みモデルを説明するための図である。

【図5】学習済みモデルを用いた医用画像の生成処理を説明するための図である。

【図6】医用画像生成処理の一例を示すフローチャートである。

【図7】変形例に係る学習済みモデルを用いた医用画像の生成処理を説明するための図である。

【図8】変形例に係る学習済みモデルを用いた医用画像の生成処理を説明するための図である。

【図9】変形例に係る学習済みモデルを用いた医用画像の生成処理を説明するための図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0015】

まず、図１を参照して、本実施形態に係る医療情報システム１の構成を説明する。図１に示すように、医療情報システム１は、画像処理装置１０、撮影装置１２、及び画像保管サーバ１４を含む。画像処理装置１０、撮影装置１２、及び画像保管サーバ１４は、有線又は無線のネットワーク１８を介して互いに通信可能な状態で接続される。画像処理装置１０は、例えば、パーソナルコンピュータ又はサーバコンピュータ等のコンピュータである。

【0016】

撮影装置１２は、被検体の診断対象とする部位を撮影することにより、その部位を表す医用画像を生成する装置である。撮影装置１２の例としては、単純Ｘ線撮影装置、内視鏡装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、及びＰＥＴ（Positron Emission Tomography）装置等が挙げられる。本実施形態では、撮影装置１２がＣＴ装置であり、診断対象とする部位が腹部である例を説明する。すなわち、本実施形態に係る撮影装置１２は、被検体の腹部のＣＴ画像を、複数の断層画像からなる３次元の医用画像として生成する。撮影装置１２により生成された医用画像は、ネットワーク１８を介して画像保管サーバ１４に送信され、画像保管サーバ１４により保存される。

【0017】

画像保管サーバ１４は、各種データを保存して管理するコンピュータであり、大容量の外部記憶装置及びデータベース管理用ソフトウェアを備える。画像保管サーバ１４は、撮影装置１２により生成された医用画像を、ネットワーク１８を介して受信し、受信した医用画像を保存して管理する。画像保管サーバ１４による画像データの格納形式及びネットワーク１８を介した他の装置との通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

【0018】

次に、図２を参照して、本実施形態に係る画像処理装置１０のハードウェア構成を説明する。図２に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、画像処理装置１０は、液晶ディスプレイ等のディスプレイ２３、キーボードとマウス等の入力装置２４、及びネットワーク１８に接続されるネットワークＩ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、ディスプレイ２３、入力装置２４、及びネットワークＩ／Ｆ２５は、バス２７に接続される。ＣＰＵ２０は、開示の技術に係るプロセッサの一例である。

【0019】

記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、画像処理プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から画像処理プログラム３０を読み出してからメモリ２１に展開し、展開した画像処理プログラム３０を実行する。

【0020】

また、記憶部２２には、学習済みモデル３２が記憶される。学習済みモデル３２の詳細については後述する。

【0021】

ところで、病変を早期に発見するために、病変が早期の段階の医用画像を収集することが好ましい。これは、例えば、機械学習等に利用できるためである。しかしながら、病変によっては、早期で発見されることが少なく、進行してから発見されることが多い場合がある。この場合、病変が早期の段階の医用画像が希少であるため、病変が早期の段階の医用画像を生成することができると好ましい。

【0022】

具体的には、例えば、膵がんの場合、早期の段階では、間接所見として限局性の膵萎縮が注目される。限局性の膵萎縮とは、くびれのことを意味する。膵がんが進行すると、そのくびれ部分において、がんが視認できる程度の大きさになり、その後、更に進行するに従ってがんが大きくなる。

【0023】

本実施形態に係る画像処理装置１０は、病変を含む医用画像等に基づいて、病変が早期の段階の医用画像を生成する機能を有する。以下では、病変を生成する対象の臓器として膵臓を適用し、病変として膵がんを適用し、間接所見としてくびれを適用した例を説明する。

【0024】

次に、図３を参照して、本実施形態に係る画像処理装置１０の機能的な構成について説明する。図３に示すように、画像処理装置１０は、取得部４０、生成部４２、及び記憶制御部４４を含む。ＣＰＵ２０が画像処理プログラム３０を実行することにより、取得部４０、生成部４２、及び記憶制御部４４として機能する。

【0025】

取得部４０は、病変が未発生の医用画像（以下、「正常医用画像」という）、及び病変が発生済みの医用画像（以下、「異常医用画像」という）をネットワークＩ／Ｆ２５を介して、画像保管サーバ１４から取得する。

【0026】

生成部４２は、医用画像における病変の位置を含む入力情報と学習済みモデル３２とに基づいて、病変の発生に伴う間接所見の位置を決定し、取得部４０により取得された正常医用画像における決定した位置に間接所見を生成した医用画像を生成する。

【0027】

図４を参照して、学習済みモデル３２の詳細について説明する。本実施形態に係る学習済みモデル３２は、ＧＡＮ（Generative Adversarial Network）と称される生成モデルである。図４に示すように、学習済みモデル３２は、生成器３２Ａ及び識別器３２Ｂを含む。生成器はＧｅｎｅｒａｔｏｒとも称され、識別器はＤｉｓｃｒｉｍｉｎａｔｏｒとも称される。生成器３２Ａ及び識別器３２Ｂの各々は、例えば、ＣＮＮ（Convolutional Neural Network）によって構成される。

【0028】

学習フェーズにおいて、生成器３２Ａには、正常医用画像及び異常医用画像の組が学習用データとして入力される。正常医用画像及び異常医用画像は、同一の患者のものでもよいし、異なる患者のものでもよい。生成器３２Ａは、入力の異常医用画像における病変の位置に基づいて、病変の発生に伴う間接所見の位置を決定し、入力の正常医用画像における決定した位置に間接所見を生成した医用画像を生成し、かつ出力する。以下では、生成器３２Ａにより生成される医用画像を「生成医用画像」という。本実施形態では、生成器３２Ａは、正常医用画像における、異常医用画像における膵がんの位置に対応する位置に、くびれを発生させた医用画像を生成する。

【0029】

識別器３２Ｂは、予め用意された症例データと、生成器３２Ａから出力された生成医用画像とを比較することによって生成医用画像が本物の医用画像であるか又は偽物の医用画像であるかを識別する。そして、識別器３２Ｂは、識別結果として、生成医用画像が本物の医用画像であるか又は偽物の医用画像であるかを表す情報を出力する。識別結果の例としては、生成医用画像が本物の医用画像である確率が挙げられる。また、識別結果の例としては、生成医用画像が本物の医用画像であることを表す「１」及び偽物の医用画像であることを表す「０」のような２値が挙げられる。本実施形態に係る症例データは、膵がんが早期の段階の間接所見であるくびれが発生している患者を撮影装置１２により撮影して得られた実際の医用画像である。

【0030】

生成器３２Ａは、より本物の医用画像（すなわち、症例データ）に近い生成医用画像を生成できるように学習される。識別器３２Ｂは、より高精度に生成医用画像が偽物の医用画像であると識別できるように学習される。例えば、生成器３２Ａのロスが小さくなると識別器３２Ｂのロスが大きくなるロス関数を用いて、生成器３２Ａの学習の際には生成器３２Ａのロスが最小化されるように学習される。一方、そのロス関数を用いて、識別器３２Ｂの学習の際には識別器３２Ｂのロスが最小化されるように学習される。学習済みモデル３２は、生成器３２Ａ及び識別器３２Ｂが多数の学習用データを用いて交互に学習されることによって得られるモデルである。

【0031】

図５に示すように、生成部４２は、取得部４０により取得された正常医用画像及び異常医用画像を学習済みモデル３２に入力する。学習済みモデル３２は、正常医用画像における、異常医用画像における病変の位置に対応する位置に、間接所見を発生させた生成医用画像を出力する。これにより、生成部４２は、生成医用画像を生成する。すなわち、取得部４０により取得された異常医用画像における病変の位置が、医用画像における病変の位置を含む入力情報の一例である。図５の例では、膵がんの間接所見の一例であるくびれ部分が破線の矩形で示されている。

【0032】

記憶制御部４４は、生成部４２により生成された生成医用画像を記憶部２２に記憶する制御を行う。

【0033】

次に、図６を参照して、本実施形態に係る画像処理装置１０の作用を説明する。ＣＰＵ２０が画像処理プログラム３０を実行することによって、図６に示す医用画像生成処理が実行される。図６に示す医用画像生成処理は、例えば、ユーザにより実行開始の指示が入力された場合に実行される。

【0034】

図６のステップＳ１０で、取得部４０は、正常医用画像及び異常医用画像をネットワークＩ／Ｆ２５を介して、画像保管サーバ１４から取得する。ステップＳ１２で、生成部４２は、前述したように、ステップＳ１０で取得された正常医用画像及び異常医用画像と学習済みモデル３２とに基づいて、病変の発生に伴う間接所見の位置を決定し、正常医用画像における決定した位置に間接所見を生成した医用画像を生成する。

【0035】

ステップＳ１４で、記憶制御部４４は、ステップＳ１２で生成された医用画像を記憶部２２に記憶する制御を行う。ステップＳ１４の処理が終了すると、医用画像生成処理が終了する。

【0036】

以上説明したように、本実施形態によれば、病変が早期の段階の医用画像を精度良く生成することができる。また、複数組の正常医用画像及び異常医用画像それぞれについて、上記の医用画像生成処理が実行されることによって、複数の生成医用画像を得ることができる。このように得られた複数の生成医用画像は、医用画像から早期の段階の病変を検出するための学習済みモデルの学習に使用される。

【0037】

なお、上記実施形態では、生成部４２は、正常医用画像における決定した位置に間接所見を生成した医用画像を生成する場合について説明したが、これに限定されない。生成部４２は、異常医用画像における決定した位置に間接所見を生成した医用画像を生成する形態としてもよい。

【0038】

具体的には、図７に示すように、生成部４２は、取得部４０により取得された異常医用画像を学習済みモデル３２に入力する。学習済みモデル３２は、異常医用画像における病変の位置に、間接所見を発生させた生成医用画像を出力する。この形態例における学習済みモデル３２も、上記実施形態と同様に、異常医用画像及び症例データに基づいて生成器３２Ａ及び識別器３２Ｂが学習されることにより得られる。

【0039】

また、上記実施形態では、病変の位置を含む入力情報として、異常医用画像における病変の位置を適用した場合について説明したが、これに限定されない。病変の位置を含む入力情報として、医用画像における位置毎に病変が発生する確率が定義された確率マップを適用する形態としてもよい。この確率マップは、例えば、過去に撮影された病変が発生済みの複数の医用画像に基づいて、医用画像のボクセル毎に病変が発生する確率を算出することによって得ることができる。

【0040】

この場合、図８に示すように、生成部４２は、異常医用画像に代えて確率マップを学習済みモデル３２に入力する。学習済みモデル３２は、確率マップに基づいて医用画像における病変の発生に伴う間接所見の位置を決定し、正常医用画像における決定した位置に間接所見を生成した医用画像を生成する。この形態例における学習済みモデル３２も、上記実施形態と同様に、正常医用画像、確率マップ、及び症例データに基づいて生成器３２Ａ及び識別器３２Ｂが学習されることにより得られる。

【0041】

また、例えば、病変の位置を含む入力情報として、医用画像における病変が存在する領域に病変が存在することを表す値が定義されたデータを適用する形態としてもよい。このデータの例としては、異常医用画像における病変が存在する領域のボクセルに「１」が格納され、その領域以外のボクセルに「０」が格納された画像（以下、「マスク画像」という）が挙げられる。

【0042】

この場合、図９に示すように、生成部４２は、異常医用画像に代えてマスク画像を学習済みモデル３２に入力する。学習済みモデル３２は、マスク画像に基づいて医用画像における病変の発生に伴う間接所見の位置を決定し、正常医用画像における決定した位置に間接所見を生成した医用画像を生成する。この形態例における学習済みモデル３２も、上記実施形態と同様に、正常医用画像、マスク画像、及び症例データに基づいて生成器３２Ａ及び識別器３２Ｂが学習されることにより得られる。また、この形態例において、学習済みモデル３２への入力は、マスク画像のみでもよい。この場合、病変が存在する領域に病変が存在することを表す値が定義されたマスク画像に加えて、例えば、その病変が存在する臓器領域に、その臓器であることを表す値が格納されたマスク画像も学習済みモデル３２に入力される。

【0043】

また、上記実施形態では、病変として膵がんを適用し、間接所見としてくびれを適用した場合について説明したが、これに限定されない。例えば、病変として膵がんを適用し、間接所見として膵実質の腫大を適用する形態としてもよい。また、例えば、病変として膵がんを適用し、間接所見として膵がんの発生位置よりも膵臓の尾部側で発生する膵実質の萎縮を適用する形態としてもよい。また、例えば、病変として膵がんを適用し、間接所見として膵がんの発生位置よりも膵臓の尾部側で発生する膵管の拡張を適用する形態としてもよい。また、例えば、病変として膵がんを適用し、間接所見として膵がんの発生位置で発生する膵管の狭窄を適用する形態としてもよい。

【0044】

また、対象の臓器も膵臓に限定されない。病変の発生位置と、その病変が早期の段階において発生する間接所見の発生位置とに関連性がある医用画像であれば、開示の技術を適用することが可能である。

【0045】

また、上記実施形態では、生成器３２Ａ及び識別器３２ＢがＣＮＮによって構成される場合について説明したが、これに限定されない。生成器３２Ａ及び識別器３２Ｂは、ＣＮＮ以外の機械学習の手法によって構成されてもよい。

【0046】

また、上記実施形態では、医用画像として、ＣＴ画像を適用した場合について説明したが、これに限定されない。医用画像として、単純Ｘ線撮影装置により撮影された放射線画像、及びＭＲＩ装置により撮影されたＭＲＩ画像等のＣＴ画像以外の医用画像を適用してもよい。

【0047】

また、上記実施形態において、例えば、取得部４０、生成部４２、及び記憶制御部４４といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0048】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0049】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0050】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0051】

また、上記実施形態では、画像処理プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム３０は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0052】

１ 医療情報システム
１０ 画像処理装置
１２ 撮影装置
１４ 画像保管サーバ
１８ ネットワーク
２０ ＣＰＵ
２１ メモリ
２２ 記憶部
２３ ディスプレイ
２４ 入力装置
２５ ネットワークＩ／Ｆ
２７ バス
３０ 画像処理プログラム
３２ 学習済みモデル
３２Ａ 生成器
３２Ｂ 識別器
４０ 取得部
４２ 生成部
４４ 記憶制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】