特開 2025-149187 画像処理装置、方法およびプログラム並びに学習装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025149187

(43)【公開日】2025-10-08

(54)【発明の名称】画像処理装置、方法およびプログラム並びに学習装置、方法およびプログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20251001BHJP

   A61B 5/055 20060101ALI20251001BHJP

【ＦＩ】

A61B6/03 560Z

A61B6/03 560T

A61B5/055 380

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024049673

(22)【出願日】2024-03-26

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】工藤 彰

【テーマコード（参考）】

4C093

4C096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093FF16

4C093FF33

4C093FF42

4C096AA03

4C096AA04

4C096AA17

4C096AA18

4C096AD14

4C096BA19

4C096DC19

4C096DC33

4C096DC36

(57)【要約】      （修正有）

【課題】画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデルにおいて、解剖学的構造を維持した画像のドメイン変換を行うことができるようにする。
【解決手段】プロセッサが、第１モダリティの第１画像から第２画像を導出し、第２画像から第１モダリティとは異なる第２モダリティの第３画像を導出する。
【選択図】図３

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
第１モダリティの第１画像から第２画像を導出し、
前記第２画像から前記第１モダリティとは異なる第２モダリティの第３画像を導出する画像処理装置。

【請求項2】

前記プロセッサは、第１変換モデルを使用して、前記第１モダリティの前記第１画像から前記第２画像を導出し、
第２変換モデルを使用して、前記第２画像から前記第２モダリティの前記第３画像を導出する請求項１に記載の画像処理装置。

【請求項3】

前記第１変換モデルは３次元画像変換モデルであり、
前記プロセッサは、前記第１変換モデルを使用して３次元の前記第１画像から３次元の前記第２画像を導出する請求項２に記載の画像処理装置。

【請求項4】

前記第２変換モデルは２次元画像変換モデルであり、
前記プロセッサは、３次元の前記第２画像から少なくとも１つの断層画像を抽出し、
前記第２変換モデルを使用して、前記断層画像から前記第３画像を導出する請求項２または３に記載の画像処理装置。

【請求項5】

前記第１変換モデルは２次元画像変換モデルであり、
前記プロセッサは、前記第１変換モデルを使用して、２次元座標で表される前記第１画像から２次元座標で表される前記第２画像を導出する請求項２に記載の画像処理装置。

【請求項6】

前記第２変換モデルは３次元画像変換モデルであり、
前記プロセッサは、複数の２次元座標で表される前記第２画像から３次元の第２画像を導出し、
前記第２変換モデルを使用して、前記３次元の第２画像から前記第３画像を導出する請求項２または５に記載の画像処理装置。

【請求項7】

前記プロセッサは、前記第３画像に含まれる解剖構造を分類することにより、前記解剖構造についての分類結果を導出する請求項１に記載の画像処理装置。

【請求項8】

前記プロセッサは、前記第３画像に含まれる解剖構造を分類することにより、前記解剖構造についての分類結果を導出する請求項２に記載の画像処理装置。

【請求項9】

前記プロセッサは、前記第３画像を用いた前記解剖構造の分類結果と、前記第３画像と同一モダリティの実画像を用いた前記解剖構造の分類結果とを判別する判別器に対して敵対的学習を導入し、
前記第３画像に対する前記解剖構造の分類結果を前記判別器が判別できないような前記第３画像を導出するように、前記第１変換モデルおよび前記第２変換モデルの学習を行う請求項８に記載の画像処理装置。

【請求項10】

前記第２画像は、前記第１画像および前記第３画像の表現形式とは異なる請求項１に記載の画像処理装置。

【請求項11】

前記プロセッサは、前記第３画像が前記プロセッサにより導出されたものであることを認識可能に保存または表示する請求項１に記載の画像処理装置。

【請求項12】

第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習を行う学習装置であって、
少なくとも１つのプロセッサを備え、
前記プロセッサは、請求項１に記載の画像処理装置により導出された第３画像を学習データとして使用して前記学習を行う学習装置。

【請求項13】

前記プロセッサは、前記第３画像を導出した前記第１画像における前記解剖構造の分類結果を用いて、前記学習を行う請求項１２に記載の学習装置。

【請求項14】

前記プロセッサは、前記第２モダリティにより取得された実画像をさらに前記学習データとして使用して前記学習を行う請求項１２に記載の学習装置。

【請求項15】

前記プロセッサは、前記実画像について、前記学習に使用する頻度を前記第３画像よりも多くする請求項１４に記載の学習装置。

【請求項16】

前記プロセッサは、前記実画像について、前記学習に使用する際の重みづけを前記第３画像よりも大きくする請求項１４に記載の学習装置。

【請求項17】

コンピュータが、第１モダリティの第１画像から第２画像を導出し、
前記第２画像から前記第１モダリティとは異なる第２モダリティの第３画像を導出する画像処理方法。

【請求項18】

コンピュータが、第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習を行う学習方法であって、
請求項１に記載の画像処理装置により導出された第３画像を学習データとして使用して前記学習を行う学習方法。

【請求項19】

第１モダリティの第１画像から第２画像を導出する手順と、
前記第２画像から前記第１モダリティとは異なる第２モダリティの第３画像を導出する手順とをコンピュータに実行させる画像処理プログラム。

【請求項20】

第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習をコンピュータに実行させる学習プログラムであって、
請求項１に記載の画像処理装置により導出された第３画像を学習データとして使用して前記学習をコンピュータに実行させる学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラムに関するものである。

【背景技術】

【0002】

医療分野においては、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置、超音波撮影装置、ＰＥＴ（Positron Emission Tomography）装置、Ｘ線撮影装置等の各種モダリティ（すなわち、撮影装置または撮影方式）の進歩により、より質の高い医用画像を用いての画像診断が可能となってきている。このようなモダリティにより取得される３次元画像は、モダリティ毎に画像の特徴が異なる。このため、臨床現場では複数のモダリティの画像を見比べて診断を行うケースがある。例えば、椎体検査で軟部組織はＭＲＩ装置により取得されたＭＲＩ画像を使用し、骨構造についてはＣＴ装置により取得されたＣＴ画像を用いることが行われている。

【0003】

一方、ＡＩ(Artificial Intelligence)を用いたコンピュータ支援診断（Computer Aided Diagnosis, Computer Aided Detection ：ＣＡＤ）システムは、対象とする医用画像を撮影したモダリティ毎に構築されることが一般的である。ここで、医用画像はＣＴ装置およびＭＲＩ装置のようにモダリティが異なると、画像の表現形式が異なる。例えば、画像に含まれる人体の組織が同じであっても、ＣＴ画像とＭＲＩ画像とでは濃度が異なるものとなる。また、ＭＲＩ画像は、Ｔ１強調画像、Ｔ２強調画像、脂肪抑制画像および拡散強調画像等の多様な撮影条件があり、撮影条件に応じて磁場強度等が異なるため、生成される画像の見え方、すなわち画像の表現形式がそれぞれ異なる。例えば、Ｔ１強調画像では、主に脂肪組織が白く見え、水、液性成分および嚢胞は黒く見え、腫瘍はやや黒く見える。また、Ｔ２強調画像では、脂肪組織だけでなく、水、液性成分および嚢胞も白く見える。また、ＭＲＩ画像は、同一の撮影条件であってもＭＲＩ装置の製造会社によって表現形式が異なるものとなる場合がある。このように、同一モダリティの画像であっても撮影条件等が異なることにより表現形式が異なるものとなる。

【0004】

このため、ＣＡＤシステムを、学習に使用した表現形式の画像とは異なる表現形式の画像に適用した場合、画像解析の精度が低下する可能性がある。したがって、例えば、ＣＴ画像から擬似的なＭＲＩ画像を生成する処理、または、逆に、ＭＲＩ画像から擬似的なＣＴ画像を生成する処理などの、異種モダリティ間または表現形式が異なる画像間で画像のドメイン変換を行う高性能な画像変換器が要求される。

【0005】

このような要求に対応するため、敵対的生成ネットワーク（Generative Adversarial Networks：GAN）を用いて、ドメインが異なる画像を生成する各種手法が提案されている。例えば、非特許文献１には、敵対的学習により、２つの異なるドメインの画像を相互に変換する手法が提案されている。また、非特許文献２には、敵対的学習により、２以上の多数の異なるドメインの画像を相互に変換する手法が提案されている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Jun-Yan Zhu, et al., Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, Berkeley AI Research (BAIR) laboratory, UC Berkeley, ArXiv: 1703.10593, 24 AUG 2020

【非特許文献2】Yunjey Choi, et al., StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation，arXiv:1711.09020, 21 SEP 2018

【発明の概要】

【発明が解決しようとする課題】

【0007】

ＭＲＩ画像は上述したように表現形式が異なる複数種類の画像が存在する。このため、ＣＴ画像をＭＲＩ画像に変換した場合、ＭＲＩ画像の表現形式によっては、ＭＲＩ画像においてＣＴ画像に含まれる解剖学的構造が維持できなくなる可能性がある。

【0008】

本開示は上記事情に鑑みなされたものであり、解剖学的構造を維持した画像のドメイン変換を行うことができるようにすることを目的とする。

【課題を解決するための手段】

【0009】

本開示による画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
第１モダリティの第１画像から第２画像を導出し、
第２画像から第１モダリティとは異なる第２モダリティの第３画像を導出する。

【0010】

本開示による学習装置は、第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習を行う学習装置であって、
少なくとも１つのプロセッサを備え、
プロセッサは、本開示による画像処理装置により導出された第３画像を学習データとして使用して学習を行う。

【0011】

本開示による画像処理方法は、コンピュータが、第１モダリティの第１画像から第２画像を導出し、
第２画像から第１モダリティとは異なる第２モダリティの第３画像を導出する。

【0012】

本開示による学習方法は、コンピュータが、第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習を行う学習方法であって、
本開示による画像処理装置により導出された第３画像を学習データとして使用して学習を行う。

【0013】

本開示による学習プログラムは、第１モダリティの第１画像から第２画像を導出する手順と、
第２画像から第１モダリティとは異なる第２モダリティの第３画像を導出する手順とをコンピュータに実行させる。

【0014】

本開示による学習プログラムは、第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習をコンピュータに実行させる学習プログラムであって、
本開示による画像処理装置により導出された第３画像を学習データとして使用して学習をコンピュータに実行させる。

【発明の効果】

【0015】

本開示によれば、解剖学的構造を維持した画像のドメイン変換を行うことができる。

【図面の簡単な説明】

【0016】

【図1】本開示の実施形態による画像処理装置および学習装置を適用した診断支援システムの概要を示すハードウェア構成図

【図2】本実施形態による画像処理装置のハードウェア構成を示す図

【図3】本実施形態による画像処理装置の機能的な構成を示す図

【図4】変換モデルを説明するための図

【図5】マスクを示す図

【図6】第１変換モデルを構築するための学習を説明するための図

【図7】第２変換モデルを構築するための学習を説明するための図

【図8】変換モデルおよび分類モデルを構築するための学習を説明するための図

【図9】第３画像の表示画面を示す図

【図10】本実施形態による画像処理装置が行う処理を示すフローチャート

【図11】本実施形態による学習装置のハードウェア構成を示す図

【図12】本実施形態による学習装置の機能的な構成を示す図

【図13】分類モデルを構築するための分類器の学習を説明するための図

【図14】本実施形態による学習装置が行う処理を示すフローチャート

【発明を実施するための形態】

【0017】

以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による画像処理装置および学習装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による画像処理装置１、モダリティ２、画像保管サーバ３、および学習装置４が、ネットワーク５を経由して通信可能な状態で接続されている。

【0018】

モダリティ２は、被検体の診断対象となる部位を撮影することにより、その部位を表す画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、超音波撮影装置、ＰＥＴ装置、およびＸ線撮影装置等である。モダリティ２により生成された被検体の画像は画像保管サーバ３に送信され、保存される。本実施形態においては、モダリティ２として、ＣＴ装置２ＡおよびＭＲＩ装置２Ｂを含むものとする。

【0019】

本実施形態においては、ＣＴ装置２ＡあるいはＭＲＩ装置２Ｂにより３次元画像および２次元画像が取得される。本実施形態において、３次元画像および２次元画像はともに断層画像を含むが、３次元画像とは、２次元画像に対してスライス間隔およびスライス厚の少なくとも一方が小さい複数の断層画像、および複数の断層画像から生成された、各画素が３次元座標で表される画像の少なくともいずれかを含む。例えば、３次元画像とは、スライス厚およびスライス間隔の少なくとも一方が５ｍｍ以下である複数の断層画像を含む。なお、３次元画像は、ＣＴ装置２ＡまたはＭＲＩ装置２Ｂが被検体を３次元撮影することにより取得される。

【0020】

一方、２次元画像は、ＣＴ装置２ＡまたはＭＲＩ装置２Ｂが被検体を２次元撮影することにより取得される。２次元画像は、３次元画像に含まれる断層画像に対してスライス間隔が大きい複数の断層画像、および３次元画像に含まれる断層画像に対してスライス厚が大きい少なくとも１以上の断層画像の少なくとも一方を含む。断層画像は、各画素が２次元座標で表される画像を含む。なお、３次元画像または２次元画像が複数の断層画像で構成される場合、断層画像は撮影方向における各断層画像の位置座標を含むため、複数の断層画像全体としては、各画素が３次元座標で表される。撮影方向とは、例えば、断層画像が表す断層面に垂直な方向である。

【0021】

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク５を介して他の装置と通信を行い、画像データ等を送受信する。具体的にはモダリティ２で生成された画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク５経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、本実施形態においては、画像保管サーバ３は、後述する学習データも保存して管理している。

【0022】

本実施形態の画像処理装置１および学習装置４は、それぞれ１台のコンピュータに、本実施形態の画像処理プログラムおよび学習プログラムをそれぞれインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムおよび学習プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。

【0023】

以下、本実施形態による画像処理装置について説明する。図２は、本実施形態による画像処理装置のハードウェア構成を示す図である。図２に示すように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１１、ディスプレイ１４、入力デバイス１５、メモリ１６、およびネットワーク５に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１９に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

【0024】

メモリ１６は、記憶部１３およびＲＡＭ(Random Access Memory)１８を含む。ＲＡＭ１８は、一次記憶用のメモリであり、例えば、ＳＲＡＭ（Static Random Access Memory）またはＤＲＡＭ(Dynamic Random Access Memory)等のＲＡＭである。

【0025】

記憶部１３は、不揮発性のメモリであり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、およびフラッシュメモリ等の少なくとも１つによって実現される。記憶媒体としての記憶部１３には、本実施形態による画像処理プログラム１２が記憶される。ＣＰＵ１１は、記憶部１３から画像処理プログラム１２を読み出してＲＡＭ１８に展開し、展開した画像処理プログラム１２を実行する。なお、記憶部１３には、後述する変換モデル３０および分類モデル３５も記憶されている。

【0026】

ディスプレイ１４は、各種画面を表示する装置であり、例えば、液晶ディスプレイまたはＥＬ（Electro Luminescence）ディスプレイである。入力デバイス１５は、ユーザが入力を行うための装置であり、例えば、キーボード、マウス、音声入力用のマイク、接触を含む近接入力用のタッチパッド、およびジェスチャー入力用のカメラの少なくともいずれかである。ネットワークＩ／Ｆ１７は、ネットワーク５に接続するためのインタフェースである。

【0027】

次いで、本実施形態による画像処理装置の機能的な構成を説明する。図３は、本実施形態による画像処理装置の機能的な構成を示す図である。図３に示すように画像処理装置１は、情報取得部２１、導出部２２、分類部２３、学習部２４および表示制御部２５を備える。そして、ＣＰＵ１１が画像処理プログラム１２を実行することにより、ＣＰＵ１１は、情報取得部２１、導出部２２、分類部２３、学習部２４および表示制御部２５として機能する。

【0028】

情報取得部２１は、ネットワーク５を介して、画像保管サーバ３から、処理対象となる第１画像Ｇ１を取得する。本実施形態においては、スライス厚が小さい複数の断層画像を含む３次元ＣＴ画像を第１画像Ｇ１として取得するものとする。ＣＴ装置２Ａが本開示の第１モダリティの一例であり、３次元ＣＴ画像である第１画像Ｇ１が、本開示の第１モダリティの第１画像の一例である。なお、本実施形態において、モダリティの画像は、例えば、モダリティの撮像方式で表現された画像である。例えば、ＣＴ画像は、ＣＴ装置の撮像方式で表現された画像である。なお、撮影方式で表現された画像とは、実際にＣＴ装置によって撮像された実画像、および画像処理によって疑似的に導出された疑似画像の少なくとも一方を含む。

【0029】

導出部２２は、変換モデルを用いて、第１モダリティの第１画像Ｇ１から第１モダリティとは異なる第２モダリティの第３画像Ｇ３を導出する。

【0030】

図４は変換モデルの構成を示す概略ブロック図である。図４に示すように、変換モデル３０は第１変換モデル３１および第２変換モデル３２を有する。導出部２２は、第１変換モデル３１を使用して、第１モダリティの第１画像Ｇ１、すなわち３次元ＣＴ画像から第２画像Ｇ２を導出し、第２変換モデル３２を使用して、第２画像Ｇ２から第１モダリティとは異なる第２モダリティの第３画像Ｇ３、すなわちＭＲＩ画像を導出する。ＭＲＩ装置２Ｂが本開示の第２モダリティの一例であり、ＭＲＩ画像である第３画像Ｇ３が、本開示の第２モダリティの第３画像の一例である。

【0031】

第１変換モデル３１は、例えば３次元の畳み込みニューラルネットワーク（３Ｄ－ＣＮＮ(Convolutional Neural Network）であり、３次元画像に対して３次元のフィルタを用いて畳み込みを行うことにより、入力された第１画像Ｇ１の表現形式とは異なる表現形式の第２画像Ｇ２を導出する。本実施形態においては、第１変換モデル３１は、入力された３次元ＣＴ画像の表現形式を３次元ＭＲＩ画像の表現形式に変換するための、すなわちドメインを変換するためのドメイン変換ネットワークである。

【0032】

なお、第１変換モデル３１は、第１画像Ｇ１である３次元ＣＴ画像を変換することにより、３次元ＣＴ画像に含まれる解剖構造を３次元的に表現可能な３次元ＭＲＩ画像を第２画像Ｇ２として導出する。第１変換モデル３１が導出するＭＲＩ画像としては、例えば汎用性が高い、Ｔ１強調画像またはＴ２強調画像が挙げられる。本実施形態においては、Ｔ１強調画像を第２画像Ｇ２として導出するものとする。以降の説明においては、Ｔ１強調画像およびＴ２強調画像をＭＲＩ－Ｔ１強調画像およびＭＲＩ－Ｔ２強調画像と称する場合があるものとする。

【0033】

第２変換モデル３２は、例えば、２次元の畳み込みニューラルネットワーク（２Ｄ－ＣＮＮ）であり、２次元座標で表される画像に対して２次元のフィルタを用いて畳み込みを行うことにより、入力された第２画像Ｇ２の表現形式とは異なる表現形式の第３画像Ｇ３を導出するドメイン変換ネットワークである。第２変換モデル３２は２Ｄ－ＣＮＮであるため、第１変換モデル３１が導出した３次元の第２画像Ｇ２から少なくとも１つの断層画像が抽出され、抽出された断層画像である第２画像Ｇ２が第２変換モデル３２に入力される。本実施形態においては、第１変換モデル３１が導出したＭＲＩ画像はＴ１強調画像であるため、抽出された断層画像は、２次元座標で表されるＴ１強調画像である。なお、３次元の第２画像Ｇ２に含まれる断層画像よりもスライス間隔が大きい複数の断層画像が抽出された場合、またはスライス厚が大きい１以上の断層画像が抽出された場合、抽出された複数の断層画像または１以上の断層画像は２次元画像を構成する。

【0034】

第２変換モデル３２は入力された２次元座標で表される断層画像であるＴ１強調画像の表現形式を、例えばＴ２強調画像、拡散強調画像、脂肪抑制画像およびＦＬＡＩＲ画像等のＴ１強調画像とは異なる表現形式の断層画像に変換する。また、ＭＲＩ画像は、装置を製造する製造会社によっても画像の見え方が異なるものとなる。このため、第２変換モデル３２は、断層画像であるＴ１強調画像の表現形式を、各種製造会社のＭＲＩ画像の見え方となる表現形式の断層画像に変換するものであってもよい。図４においては、第２変換モデル３２は、Ｔ１強調画像を拡散強調画像に変換することを示している。

【0035】

本実施形態においては、第２変換モデル３２は、Ｔ１強調画像をＴ１強調画像以外の他の１種類の表現形式のＭＲＩ画像に変換するように構築されたものであってもよく、複数種類の表現形式のＭＲＩ画像に変換可能なものであってもよい。後者の場合、第２変換モデル３２には、Ｔ１強調画像に加えて、変換する表現形式を指定する情報が入力され、入力されたＴ１強調画像が入力された表現形式のＭＲＩ画像に変換されることとなる。以降の説明においては、第２変換モデル３２は、入力されたＴ１強調画像を１種類の表現形式のＭＲＩ画像に変換するものとする。

【0036】

第２変換モデル３２は、２次元座標で表される画像である第２画像Ｇ２を、第２画像Ｇ２とは表現形式が異なる２次元座標で表される画像である第３画像Ｇ３に変換するものである。ここで、第２変換モデル３２は、第２画像Ｇ２に含まれる２次元座標で構成される１つの断層画像を、第３画像Ｇ３に含まれる２次元座標で構成される１つの断層画像に変換する処理を行う。第２変換モデル３２は、第２画像Ｇ２が複数の断層画像を含む場合は、複数の断層画像のそれぞれを、複数の断層画像を含む第３画像Ｇ３に変換する。ここで、第２変換モデル３２が行う変換処理において、入力される第２画像Ｇ２に含まれる断層画像と、出力される第３画像Ｇ３に含まれる断層画像とは、断層画像が示す座標は同一となる。このため、第２画像Ｇ２から第２変換モデル３２に入力される複数の断層画像のスライス間隔および少なくとも１つの断層画像のスライス厚の少なくとも一方が小さければ、第２変換モデル３２が導出する第３画像Ｇ３に含まれる複数の断層画像のスライス間隔および少なくとも１つの断層画像のスライス厚の少なくとも一方も小さくなる。したがって、使用する目的に応じた数、並びにスライス間隔およびスライス厚の少なくとも一方での断層画像が３次元の第２画像Ｇ２から抽出されて、第３画像Ｇ３に変換される。

【0037】

例えば、３次元の第２画像Ｇ２が第１のスライス間隔を有する複数の断層画像で構成される場合、３次元の第２画像Ｇ２に含まれる第１のスライス間隔を有する複数の断層画像のそれぞれを第２変換モデル３２によって変換することにより、第１のスライス間隔を有する複数の断層画像からなる３次元の第３画像Ｇ３を取得することができる。一方、撮影時の位置決めのために使用するスカウト画像は、スライス間隔が例えば７ｍｍ以上であり、数枚のみしか取得されない。このため、７ｍｍ以上のスライス間隔で数枚の断層画像を第２画像Ｇ２から抽出して第２変換モデル３２によって変換することにより、スカウト画像として使用できるスライス間隔および枚数の断層画像からなる第３画像Ｇ３を取得することができる。

【0038】

上記のように導出された第３画像Ｇ３は、ＭＲＩ撮影装置により実際に撮影された実画像ではなく、擬似的に導出された疑似画像である。このため、導出部２２において、疑似画像であることを表す情報を第３画像Ｇ３に付与してもよい。例えば、第３画像Ｇ３に疑似画像であることを表すマーク（例えばＦａｋｅを表すＦのマーク）を重畳したり、第３画像Ｇ３のヘッダに疑似画像であることを表す情報を記述したりしてもよい。

【0039】

分類部２３は、導出部２２が導出した第３画像Ｇ３に含まれる解剖構造をセグメンテーションすなわち分類する。分類する解剖構造は、被検体の撮影部位に応じて異なる。例えば、第３画像Ｇ３の撮影部位が胸部の場合は心臓、肺および気管支等が分類される解剖構造となる。また、第３画像Ｇ３の撮影部位が腹部の場合は、肝臓および膵臓等が分類される解剖構造となる。

【0040】

分類部２３は、２次元座標により表される画像に含まれる解剖構造を分類するように学習がなされた分類モデル３５を使用して、第３画像Ｇ３に含まれる少なくとも１つの断層画像のそれぞれから解剖構造を抽出し、抽出した解剖構造がいずれの臓器であるかを分類し、解剖構造の分類結果を導出する。分類結果は入力された画像の各画素の解剖構造が何であるかを表すものであり、分類部２３は、同一の解剖構造に分類された画素をラベリングすることにより、解剖構造の分類結果を表すマスクを導出する。図５はマスクを示す図である。図５に示すマスク３７は胸部のアキシャル画像であり、分類部２３により分類された解剖構造である心臓にラベル３８が付与され、肺にラベル３９が付与されている。

【0041】

なお、マスクとは、画素の位置座標ごとに付与されたラベルを示すマスク画像、画素の位置座標ごとのモダリティが検出した信号値により生成されるモダリティ画像とマスク画像とを合成した合成画像、およびモダリティ画像とマスク画像を重畳させた重畳画像の少なくともいずれかを含む。また、分類部２３は、第１画像Ｇ１、第２画像Ｇ２および第３画像Ｇ３の少なくともいずれかである対象画像から解剖構造を分類し、対象画像と対象画像以外の画像との対応関係に基づいて、対象画像以外の画像における解剖構造の分類結果を導出してもよい。例えば、分類モデル３５を使用して第１画像Ｇ１から第１画像Ｇ１のマスクを導出し、第１画像Ｇ１および第１画像Ｇ１のマスクを第１変換モデル３１に入力することにより、第２画像Ｇ２および第２画像Ｇ２のマスクを導出するものとしてもよい。また、分類モデル３５を使用して第２画像Ｇ２から第２画像Ｇ２のマスクを導出し、第２画像Ｇ２および第２画像Ｇ２のマスクを第２変換モデル３２に入力することにより、第３画像Ｇ３および第３画像Ｇ３のマスクを導出するとものしてもよい。

【0042】

なお、分類部２３は、導出部２２が導出した疑似画像であるＭＲＩ画像のみならず、ＭＲＩ装置により被検体を撮影することにより取得した実画像であるＭＲＩ画像の解剖構造を分類することも可能である。このため、後述するように、分類モデル３５を構築するためには、実画像および疑似画像の双方が使用される。

【0043】

なお、導出部２２が導出した第３画像Ｇ３および分類部２３が導出した分類結果を表すマスクは、互いに対応付けられてネットワーク５を介して画像保管サーバ３に送信され、保存される。

【0044】

学習部２４は、変換モデル３０および分類モデル３５の学習を行う。まず、変換モデル３０のみを学習する場合について説明する。なお、ＣＰＵ１１を学習部２４として機能させるための学習プログラムを画像処理プログラム１２とは別に用意し、学習プログラムによりＣＰＵ１１を学習部２４として機能させるようにしてもよい。

【0045】

本実施形態においては、学習部２４は、敵対的学習により変換モデル３０を構築する。学習に際し変換モデル３０は、敵対的生成ネットワーク（Generative Adversarial Networks：GAN）を構成する。図６は変換モデル３０に含まれる第１変換モデル３１を構築するための学習を説明するための図である。図６に示すように、第１変換モデル３１を構築するために、本実施形態においては、生成器（ジェネレータ(Generator))４１および判別器（ディスクリミネータ(Discriminator))４２を使用する。学習に際しては、実画像である３次元ＣＴ画像ＣＲ０、および実画像である３次元ＭＲＩ画像ＭＲ０が使用される。なお、３次元ＭＲＩ画像ＭＲ０はＴ１強調画像である。学習に使用する３次元ＣＴ画像ＣＲ０および３次元ＭＲＩ画像ＭＲ０は、同一被写体のものでなくてもよい。

【0046】

生成器４１は、第１変換モデル３１を構築するものであり、３次元の畳み込みニューラルネットワーク（３Ｄ－ＣＮＮ）からなる。生成器４１の学習に際して、学習部２４は、実画像である３次元ＣＴ画像ＣＲ０を生成器４１に入力し、３次元のＭＲＩ画像（本実施形態においてはＴ１強調画像）ＭＦ０を出力させる。生成器４１から出力される３次元のＭＲＩ画像ＭＦ０は、ＭＲＩ撮影装置により被検体を撮影することにより取得された実画像ではなく、疑似画像である。

【0047】

なお、生成器４１に入力する３次元ＣＴ画像ＣＲ０は、物理サイズを等方化したうえで姿勢変換および拡大縮小を無作為にデータ拡張処理として適用し、適用した画像から固定サイズ領域を切り出したものを使用すればよい。

【0048】

判別器４２は、例えば畳み込みニューラルネットワークからなり、入力された画像が実画像であるか疑似画像であるかを判別し、判別結果ＲＦ１を出力する。判別器４２が、実画像であるＭＲＩ画像ＭＲ０が入力された場合に、入力された画像を実画像であると判別した場合には、判別結果ＲＦ１は正解である。判別器４２が、実画像であるＭＲＩ画像ＭＲ０が入力された場合に、疑似画像、すなわち生成器４１が導出したＭＲＩ画像ＭＦ０であると判別した場合には、判別結果ＲＦ１は不正解である。判別器４２が、入力された疑似画像を実画像であると判別した場合には、判別結果ＲＦ１は不正解であり、疑似画像と判別した場合には、判別結果ＲＦ１は正解である。

【0049】

学習部２４は、判別器４２が出力した判別結果ＲＦ１に基づいて損失Ｌ１を導出する。本実施形態においては、学習部２４は、入力された画像が実画像であるか、生成器４１により導出された疑似画像であるかの判別結果ＲＦ１を正解するように判別器４２を学習する。具体的には、学習部２４は、損失Ｌ１が予め定められたしきい値以下となるように判別器４２を学習する。

【0050】

また、学習部２４は、入力された実画像、すなわち３次元ＣＴ画像ＣＲ０から３次元のＭＲＩ画像ＭＦ０を導出し、判別器４２が判別結果ＲＦ１を不正解とするように生成器４１を学習する。具体的には、学習部２４は、損失Ｌ１が予め定められたしきい値以下となるように、生成器４１を構成する３Ｄ－ＣＮＮを学習する。

【0051】

学習が進行すると、生成器４１と判別器４２とが精度を高めあい、判別器４２は、どのようなＭＲＩ画像が入力されても実画像か疑似画像かをより高精度に判別できるようになる。一方、生成器４１は、３次元ＣＴ画像から、判別器４２により判別されない、より実画像のＭＲＩ画像に近い疑似画像を生成できるようになる。このようにして学習を進めることにより、生成器４１が第１変換モデル３１として構築される。

【0052】

なお、第１変換モデル３１を構築するための学習としては、「Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, Jun-Yan Zhu, arxiv:1703.10593」に記載されたＣｙｃｌｅＧＡＮの手法を用いてもよい。また、同一部位についての３次元ＣＴ画像と３次元ＭＲＩ画像とを用意し、生成器４１がＣＴ画像から導出したＭＲＩ画像と、用意されたＭＲＩ画像との相違を損失として使用して学習を行うようにしてもよい。

【0053】

次いで、第２変換モデル３２の構築について説明する。図７は変換モデル３０に含まれる第２変換モデル３２を構築するための学習を説明するための図である。図７に示すように、第２変換モデル３２を構築するために、本実施形態においては、図６に示す生成器４１および判別器４２と同様に、生成器４３および判別器４４を使用する。学習に際しては、２次元座標で表される実画像である１以上のＭＲＩ－Ｔ１強調画像、およびＭＲＩ－Ｔ１強調画像以外の２次元座標で表される実画像である１以上のＭＲＩ画像が使用される。ここでは、ＭＲＩ－Ｔ１強調画像以外のＭＲＩ画像として拡散強調画像を使用するものとする。学習に使用するＭＲＩ－Ｔ１強調画像および拡散強調画像は、同一被写体のものでなくてもよい。

【0054】

生成器４３は、２次元の畳み込みニューラルネットワーク（２Ｄ－ＣＮＮ）からなる。生成器４３の学習に際して、学習部２４は、実画像である２次元座標で表されるＭＲＩ－Ｔ１強調画像ＭＲ１を生成器４３に入力し、２次元座標で表される拡散強調画像ＭＦ１を出力させる。なお、複数の２次元座標で表されるＭＲＩ－Ｔ１強調画像、すなわち２次元のＭＲＩ－Ｔ１強調画像を使用する場合は、学習部２４は、２次元座標で表されるＭＲＩ－Ｔ１強調画像のそれぞれを生成器４３に入力し、入力されたＭＲＩ－Ｔ１強調画像のそれぞれについての拡散強調画像ＭＦ１を出力させる。生成器４３から出力される拡散強調画像ＭＦ１は、ＭＲＩ撮影装置により被検体を撮影することにより取得された実画像ではなく、疑似画像である。

【0055】

なお、生成器４３に入力する２次元座標で表されるＭＲＩ－Ｔ１強調画像ＭＲ１は、物理サイズを等方化したうえで姿勢変換および拡大縮小を無作為にデータ拡張処理として適用し、適用した画像から固定サイズ領域を切り出したものを使用すればよい。

【0056】

判別器４４は、例えば畳み込みニューラルネットワークからなり、入力された画像が実画像であるか疑似画像であるかを判別し、判別結果ＲＦ２を出力する。判別器４４が、実画像である拡散強調画像ＭＲ２が入力された場合に、入力された画像を実画像であると判別した場合には、判別結果ＲＦ２は正解である。判別器４４が、実画像である拡散強調画像ＭＲ２が入力された場合に、疑似画像、すなわち生成器４３が導出した拡散強調画像ＭＦ１であると判別した場合には、判別結果ＲＦ２は不正解である。判別器４４が、入力された疑似画像を実画像であると判別した場合には、判別結果ＲＦ２は不正解であり、疑似画像と判別した場合には、判別結果ＲＦ２は正解である。

【0057】

学習部２４は、判別器４４が出力した判別結果ＲＦ２に基づいて損失Ｌ２を導出する。本実施形態においては、学習部２４は、入力された画像が実画像であるか、生成器４３により導出された疑似画像であるかの判別結果ＲＦ２を正解するように判別器４４を学習する。具体的には、学習部２４は、損失Ｌ２が予め定められたしきい値以下となるように判別器４４を学習する。

【0058】

また、学習部２４は、入力された実画像、すなわち２次元座標で表されるＭＲＩ－Ｔ１強調画像ＭＲ１から２次元座標で表される拡散強調画像ＭＦ１を導出し、判別器４４が判別結果ＲＦ２を不正解とするように生成器４３を学習する。具体的には、学習部２４は、損失Ｌ２が予め定められたしきい値以下となるように、生成器４３を構成する２Ｄ－ＣＮＮを学習する。

【0059】

学習が進行すると、生成器４３と判別器４４とが精度を高めあい、判別器４４は、どのような２次元座標で表されるＭＲＩ画像が入力されても実画像か疑似画像かをより高精度に判別できるようになる。一方、生成器４３は、２次元座標で表されるＭＲＩ-Ｔ１強調画像から、判別器４４により判別されない、より実画像の拡散強調画像に近い疑似画像を生成できるようになる。このようにして学習を進めることにより、生成器４３が第２変換モデル３２として構築される。

【0060】

なお、第２変換モデル３２を、入力された画像の表現形式を複数種類の表現形式に変換可能なように構築する場合は、例えば、「Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation"，arXiv:1711.09020」に記載されたＳｔａｒＧＡＮの手法を用いてもよい。また、「Xun Huang, Ming-Yu Liu, Serge Belongie, Jan Kautz、Multimodal Unsupervised Image-to-Image Translation、arXiv:1804.04732 」に記載されたＭＵＮＩＴの手法を用いてもよい。

【0061】

次いで、変換モデル３０および分類モデル３５を同時に学習する場合について説明する。学習部２４は、敵対的学習により変換モデル３０および分類モデル３５を構築する。学習に際し変換モデル３０および分類モデル３５は、敵対的生成ネットワークを構成する。図８は変換モデル３０および分類モデル３５を構築するための学習を説明するための図である。図８に示すように、変換モデル３０および分類モデル３５を構築するために、本実施形態においては、示す生成器（ジェネレータ(Generator))４５、分類器（セグメンタ(Segmenter))４６および判別器（ディスクリミネータ(Discriminator))４７を使用する。

【0062】

学習に際しては、実画像である３次元ＣＴ画像ＣＲ１、３次元ＣＴ画像ＣＲ１に含まれる解剖構造の分類結果を表すマスクＭＣＲ１、実画像である２次元ＭＲＩ画像ＭＲ２、および２次元ＭＲＩ画像ＭＲ２に含まれる解剖構造の分類結果であるマスクＭＭＲ２が使用される。学習に使用する３次元ＣＴ画像ＣＲ１および２次元ＭＲＩ画像ＭＲ２は、同一被写体のものでなくてもよい。

【0063】

生成器４５は、第１変換モデル３１および第２変換モデル３２を含む変換モデル３０を構築するものであり、図６に示す生成器４１および図７に示す生成器４３を含む。生成器４５の学習に際して、学習部２４は、実画像である３次元ＣＴ画像ＣＲ１を生成器４５に入力し、２次元座標で表される１以上のＭＲＩ画像（Ｔ１強調画像）ＭＦ２を出力させる。なお、３次元ＣＴ画像よりもスライス間隔が小さい複数の２次元座標で表されるＭＲＩ画像ＭＦ２、または３次元ＣＴ画像よりもスライス厚が大きい１以上の２次元座標で表されるＭＲＩ画像ＭＦ２を出力させる場合、出力されたＭＲＩ画像ＭＦ２は２次元画像を構成する。

【0064】

分類器４６は、例えば２次元の畳み込みニューラルネットワーク（２Ｄ－ＣＮＮ）からなり、入力された画像に含まれる解剖構造を分類する。分類器４６は、入力された画像に含まれる各種解剖構造毎に解剖構造であることの確率を導出し、確率がしきい値以上の解剖構造をその解剖構造として分類する処理を行う。分類結果は入力された画像の各画素の解剖構造が何であるかを表すものであり、同一の解剖構造に分類された画素をラベリングすることにより、解剖構造の分類結果を表すマスクを取得する。

【0065】

なお、分類器４６の学習には、実画像である２次元座標で表されるＭＲＩ画像ＭＲ２および疑似画像である２次元座標で表されるＭＲＩ画像ＭＦ２の双方が使用される。実画像であるＭＲＩ画像ＭＲ２に基づいて取得されたマスクおよび疑似画像であるＭＲＩ画像ＭＦ２に基づいて取得されたマスクの参照符号をそれぞれＭＭＲ３、ＭＭＦ３とする。なお、分類器４６の学習に際しては、実画像であるＭＲＩ画像ＭＲ２を、疑似画像であるＭＲＩ画像ＭＦ２よりも多く使用することが、学習精度を高めるうえで好ましい。

【0066】

判別器４７は、例えば畳み込みニューラルネットワークからなり、画像およびその画像に含まれる解剖構造のマスクが入力されると、マスクが実画像を分類することにより取得されたものであるか、疑似画像を分類することにより取得されたものであるかを判別し、判別結果ＲＦ３を出力する。判別器４７が、実画像であるＭＲＩ画像ＭＲ２に基づいて取得されたマスクＭＭＲ３およびＭＲＩ画像ＭＲ２が入力された場合に、入力されたマスクＭＭＲ３を実画像に基づいて取得されたマスクであると判別した場合には、判別結果ＲＦ３は正解である。一方、実画像であるＭＲＩ画像ＭＲ２に基づいて取得されたマスクＭＭＲ３およびＭＲＩ画像ＭＲ２が入力された場合に、疑似画像、すなわち生成器４５が導出したＭＲＩ画像ＭＦ２に基づいて取得されたマスクであると判別した場合には、判別結果ＲＦ３は不正解である。また、判別器４７が、入力された疑似画像（すなわちＭＲＩ画像ＭＦ２）に基づいて取得されたマスクＭＭＦ３を実画像に基づいて取得されたマスクであると判別した場合には、判別結果ＲＦ３は不正解であり、疑似画像に基づいて取得されたマスクと判別した場合には、判別結果ＲＦ３は正解である。

【0067】

学習部２４は、疑似画像であるＭＲＩ画像ＭＦ２の入力により分類器４６が出力したマスクＭＭＦ３と、ＣＴ画像ＣＲ１に含まれる解剖構造の分類結果を表すマスクＭＣＲ１との相違を損失Ｌ３として導出する。また、実画像であるＭＲＩ画像ＭＲ２の入力により分類器４６が出力したマスクＭＭＲ３と、ＭＲＩ画像ＭＲ２のマスクＭＭＲ２との損失についても損失Ｌ３として導出する。

【0068】

損失Ｌ３は例えば、以下の式（１）または式（２）により導出することができる。正解データとはマスクＭＣＲ１またはマスクＭＭＲ２のデータであり、推論データとはマスクＭＭＦ３またはマスクＭＭＲ３のデータである。式（１）は二値のクロスエントロピーロスであり、式（２）はＭＳＥ(Means Square Error)である。式（１）、（２）において、左辺が損失Ｌ３である。また、式（１）、（２）において、実画像であるＭＲＩ画像ＭＲ２に基づいて導出したマスクＭＭＲ３についての損失を導出する場合は、疑似画像であるＭＲＩ画像ＭＦ２に基づいて導出したマスクＭＭＦ３の損失を導出する場合よりも、重みｗｉを大きくする。これにより、より高精度で分類を行うように分類器４６を学習することができるようになる。

【0069】

【数1】

【0070】

なお、多クラスの分類を行う場合には、下記の式（３）を用いて損失Ｌ３を導出してもよい。式（３）において、ｊが異なるクラス（例えば心臓と肺）を表し、ｗｉｊはｉ番目のサンプルのｊ番目のクラスに対する重みである。

【0071】

【数2】

そして、学習部２４は、損失Ｌ３が予め定められたしきい値以下となるように、分類器４６を学習する。

【0072】

また、学習部２４は、判別器４７が出力した判別結果ＲＦ３に基づいて損失Ｌ４を導出する。本実施形態においては、学習部２４は、入力されたマスクが実画像に基づいて導出されたものであるか、生成器４５により導出された疑似画像に基づいて導出されたものであるかの判別結果ＲＦ３を正解するように判別器４７を学習する。具体的には、学習部２４は、損失Ｌ４が予め定められたしきい値以下となるように判別器４７を学習する。

【0073】

また、学習部２４は、入力された実画像、すなわち３次元ＣＴ画像ＣＲ１から２次元座標で表されるＭＲＩ画像ＭＦ２を導出し、判別器４７が判別結果ＲＦ３を不正解とするように生成器４５を学習する。具体的には、学習部２４は、損失Ｌ４が予め定められたしきい値以下となるように、生成器４５を構成する３Ｄ－ＣＮＮおよび２Ｄ－ＣＮＮを学習する。

【0074】

学習が進行すると、生成器４５、分類器４６および判別器４７が精度を高めあい、判別器４７は、どのようなマスクが入力されても、実画像に基づいて導出されたマスクであるか、疑似画像に基づいて導出されたマスクであるかをより高精度に判別できるようになる。一方、生成器４５は、判別器４７により判別されない、より実画像のＭＲＩ画像に近い疑似画像を生成できるようになる。また、分類器４６は、実画像であって疑似画像であってもＭＲＩ画像が入力されると、それに含まれる解剖構造を精度よく分類できるようになる。このようにして学習を進めることにより、生成器４５が変換モデル３０として構築され、分類器４６が分類モデル３５として構築される。

【0075】

表示制御部２５は、導出された第３画像Ｇ３を表示する。図９は第３画像の表示画面を示す図である。図９に示すように、表示画面５０には、第３画像Ｇ３すなわちＭＲＩ画像が表示されている。第３画像Ｇ３には、疑似画像であることを表す情報である「Ｆ」のマーク５１が同時に表示される。また、第３画像Ｇ３に含まれる心臓および肺には、それぞれマスク５２，５３が付与されている。これにより、第３画像Ｇ３を見た者は、第３画像Ｇ３が擬似的に導出されたものであることを認識することができる。なお、第３画像Ｇ３が複数ある場合、入力デバイス１５からの指示により、複数の第３画像Ｇ３を切り替えて表示することができる。

【0076】

次いで、本実施形態において行われる処理について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。まず、情報取得部２１が画像保管サーバ３から第１画像Ｇ１を取得する（ステップＳＴ１）。次いで、導出部２２が、第１変換モデル３１を使用して、第１モダリティの第１画像Ｇ１から第２画像Ｇ２を導出し（ステップＳＴ２）、第２変換モデル３２を使用して、第２画像Ｇ２から第１モダリティとは異なる第２モダリティの第３画像Ｇ３を導出する（ステップＳＴ３）。次いで、分類部２３が、第３画像Ｇ３に含まれる解剖構造を分類する（ステップＳＴ４）。そして、表示制御部２５が第３画像Ｇ３をディスプレイ１４に表示し（ステップＳＴ５）、処理を終了する。

【0077】

このように、本実施形態においては、第１変換モデル３１を使用して、第１モダリティの第１画像Ｇ１から第２画像Ｇ２を導出し、第２変換モデル３２を使用して、第２画像Ｇ２から第１モダリティとは異なる第２モダリティの第３画像Ｇ３を導出するようにした。このため、第１画像Ｇ１から第３画像Ｇ３に直接変換するよりも、第１画像Ｇ１から第２画像Ｇ２に変換する場合、および第２画像Ｇ２から第３画像Ｇ３に変換する場合のそれぞれにおける表現形式のギャップ、すなわちドメインギャップは小さくなる。したがって、第１画像Ｇ１から第２画像Ｇ２への変換、および第２画像Ｇ２から第３画像Ｇ３に変換において、画像内の解剖構造が破綻することを抑制でき、その結果、解剖構造を維持した画像のドメイン変換を行うことができる。

【0078】

次いで、本実施形態による学習装置について説明する。本実施形態による学習装置４は、画像に含まれる解剖構造をセグメンテーションして分類するための分類モデルを構築するものである。具体的には、ＭＲＩ画像に含まれる解剖構造を分類するための分類モデルを構築する。

【0079】

図１１は本実施形態による学習装置のハードウェア構成を示す図である。図１１に示すように、学習装置４は、ＣＰＵ６１、ディスプレイ６４、入力デバイス６５、メモリ６６、およびネットワークに接続されるネットワークＩ／Ｆ６７を含む。ＣＰＵ６１、ディスプレイ６４、入力デバイス６５、メモリ６６およびネットワークＩ／Ｆ６７は、バス６９に接続される。メモリ６６は、記憶部６３およびＲＡＭ６８を含む。なお、ＣＰＵ６１は、本開示におけるプロセッサの一例である。ＣＰＵ６１、ディスプレイ６４、入力デバイス６５、メモリ６６、およびネットワークＩ／Ｆ６７は、図２に示すＣＰＵ１１、ディスプレイ１４、入力デバイス１５、メモリ１６、およびネットワークＩ／Ｆ１７に対応するため、ここでは詳細な説明は省略する。なお、記憶部６３には本実施形態による学習プログラム６２が記憶される。

【0080】

図１２は本実施形態による学習装置の機能的な構成を示す図である。図１２に示すように、本実施形態による学習装置４は、情報取得部７１および学習部７２を備える。そして、ＣＰＵ６１が学習プログラム６２を実行することにより、ＣＰＵ６１は、情報取得部７１および学習部７２として機能する。

【0081】

情報取得部７１は、ネットワーク５を介して、画像保管サーバ３から、学習に使用するための学習データを取得する。本実施形態において使用する学習データは、本実施形態による画像処理装置１により導出された第３画像Ｇ３および第３画像Ｇ３に基づいて取得されたマスクのペア、並びに第３画像Ｇ３と表現形式が同一の実画像および実画像に基づいて導出されたマスクのペアである。なお、学習に使用する第３画像Ｇ３および実画像は２次元画像、すなわちスライス間隔またはスライス厚が３次元画像よりも大きい、少なくとも１つの２次元座標で表される画像を含むものとする。

【0082】

本実施形態による学習装置４は、上述したようにＭＲＩ画像に含まれる解剖構造を分類するための分類モデルを構築するための分類器の学習を行う。このため、情報取得部７１は、ＭＲＩ装置により被検体を撮影することにより取得した実画像であるＭＲＩ画像ＭＲ５およびＭＲＩ画像ＭＲ５に含まれる解剖構造の分類結果を表すマスクＭＭＲ５のペアを第１学習データ８１として取得する。また、情報取得部７１は、本実施形態による画像処理装置１により導出された第３画像Ｇ３であるＭＲＩ画像ＭＦ５、およびＭＲＩ画像ＭＦ０に含まれる解剖構造の分類結果を表すマスクＭＭＦ５のペアを第２学習データ８２として取得する。

【0083】

学習部７２は、画像に含まれる解剖構造のセグメンテーションを行うための分類モデルを構築するために分類器の学習を行う。図１３は、分類モデルを構築するための分類器の学習を説明するための図である。分類器８０は、例えば２次元の畳み込みニューラルネットワーク（２Ｄ－ＣＮＮ）からなり、入力された２次元座標で表される画像に含まれる解剖構造を分類する。学習には、情報取得部７１が取得した第１学習データ８１および第２学習データ８２が使用される。

【0084】

この際、学習部７２は、分類器８０に第１学習データ８１に含まれる２次元座標で表されるＭＲＩ画像ＭＲ５を入力し、解剖構造の分類結果を表すマスクＭＭＲ６を導出する。また、学習部７２は、分類器８０に第２学習データ８２に含まれる２次元座標で表されるＭＲＩ画像ＭＦ５を入力し、解剖構造の分類結果を表すマスクＭＭＦ６を導出する。そして、学習部７２は、マスクＭＭＲ５とマスクＭＭＲ６との相違、およびマスクＭＭＦ５とマスクＭＭＦ６との相違を損失Ｌ５として導出し、損失Ｌ５が予め定められたしきい値以下となるように、分類器８０を学習することにより、分類モデルを構築する。

【0085】

なお、分類器８０の学習に際しては、第１学習データ８１と第２学習データ８２とでは、第１学習データ８１のサンプル数を多くしてもよい。また、損失Ｌ５を導出する際には、本実施形態による画像処理装置１における分類モデル３５を構築した場合と同様に、第１学習データ８１に対する損失の重みづけを大きくしてもよい。

【0086】

次いで、本実施形態による学習装置４が行う処理について説明する。図１４は本実施形態による学習装置が行う処理を示すフローチャートである。まず、情報取得部７１が画像保管サーバ３から第１学習データおよび第２学習データを取得する（学習データ取得：ステップＳＴ１１）。次いで、学習部７２が、第１学習データおよび第２学習データを用いて分類器の学習を行うことにより分類モデルを構築し（ステップＳＴ１２）、処理を終了する。

【0087】

このように、本実施形態による学習装置においては、本実施形態による画像処理装置１により導出した第３画像Ｇ３を学習データとして使用している。このため、学習データを増やすことができるため、画像に含まれる解剖構造を分類するための分類モデルを高精度に構築することができる。

【0088】

なお、上記学習装置の実施形態においては、第１学習データおよび第２学習データを分類器の学習に使用しているが、これに限定されるものではない。本実施形態による画像処理装置１が導出した第３画像Ｇ３を含む第２学習データのみを用いて学習を行うようにしてもよい。

【0089】

また、上記画像処理装置の実施形態においては、第１変換モデル３１により第１画像Ｇ１（３次元ＣＴ画像）をモダリティが異なる第２画像Ｇ２（３次元ＭＲＩ－Ｔ１強調画像）に変換し、第２画像Ｇ２から２次元画像を抽出し、第２変換モデル３２により２次元の第２画像Ｇ２をモダリティが同一であるが表現形式が異なる第３画像Ｇ３に変換しているが、これに限定されるものではない。第２変換モデル３２により、２次元の第２画像Ｇ２を第２画像Ｇ２とはモダリティが異なる２次元の第３画像Ｇ３に変換するようにしてもよい。すなわち、第１画像Ｇ１は第１モダリティに対応し、第２画像Ｇ２は第２モダリティに対応し、第３画像Ｇ４は第３モダリティに対応し、第３モダリティは、第１モダリティおよび第２モダリティと異なってもよい。この場合、例えば、２次元のＭＲＩ画像をＭＲＩ以外のＸ線画像、超音波画像またはＰＥＴ画像等に変換するように第２変換モデル３２を構築すればよい。

【0090】

また、第１変換モデル３１により、３次元の第１画像Ｇ１をモダリティが同一であるが表現形式が異なる３次元の第２画像Ｇ２に変換するようにしてもよい。この場合、第２変換モデル３２により、３次元の第２画像Ｇ２から抽出した２次元画像である第２画像Ｇ２を、第１画像Ｇ１とはモダリティが異なる２次元の第３画像Ｇ３に変換するようにすればよい。モダリティが同一であるが表現形式が異なる画像としては、ＣＴの造影画像と非造影画像、肺野および縦隔といったカーネルが異なる画像、スライス間隔およびスライス厚の少なくとも一方が異なる画像、並びにＭＲＩ画像における種類が異なる画像等が挙げられる。この場合、例えば、３次元ＣＴ造影画像を３次元ＣＴ非造影画像に変換するように第１変換モデル３１を構築し、３次元ＣＴ非造影画像から抽出された２次元ＣＴ非造影画像を２次元ＭＲＩ－Ｔ１強調画像に変換するように第２変換モデル３２を構築すればよい。

【0091】

また、変換モデル３０により、２次元の第１画像Ｇ１から３次元の第３画像Ｇ３を導出するようにしてもよい。この場合、第１変換モデル３１により、複数の２次元の第１画像Ｇ１を第１画像Ｇ１とはモダリティが異なる複数の２次元の第２画像Ｇ２に変換し、２次元の第２画像Ｇ２を、スライス補間等することにより３次元の第２画像Ｇ２を導出する。そして、第２変換モデル３２により、３次元の第２画像Ｇ２を第２画像Ｇ２とは表現形式が異なる３次元の第３画像Ｇ３に変換するようにしてもよい。この場合、例えば、２次元のＣＴ画像を２次元のＭＲＩ－Ｔ２強調画像に変換するように第１変換モデル３１を構築し、３次元のＭＲＩ－Ｔ２強調画像を３次元のＭＲＩ－Ｔ１強調画像に変換するように第２変換モデル３２を構築すればよい。例えば、第１変換モデル３１は、２Ｄ－ＣＮＮで構成され、第２変換モデル３２は、３Ｄ－ＣＮＮで構成される。

【0092】

また、第１変換モデル３１により、複数の２次元の第１画像Ｇ１を第１画像Ｇ１とはモダリティが異なる複数の２次元の第２画像Ｇ２に変換し、２次元の第２画像Ｇ２から３次元の第２画像Ｇ２を導出し、第２変換モデル３２により３次元の第２画像Ｇ２を第２画像Ｇ２とはモダリティが異なる３次元の第３画像Ｇ３に変換するようにしてもよい。この場合、例えば、２次元のＣＴ画像を２次元のＭＲＩ－Ｔ２強調画像に変換するように第１変換モデル３１を構築し、３次元のＭＲＩ－Ｔ２強調画像を３次元のＰＥＴ画像に変換するように第２変換モデル３２を構築すればよい。例えば、第１変換モデル３１は、２Ｄ－ＣＮＮで構成され、第２変換モデル３２は、３Ｄ－ＣＮＮで構成される。

【0093】

また、第１変換モデル３１により、２次元の第１画像Ｇ１をモダリティが同一であるが表現形式が異なる２次元の第２画像Ｇ２に変換するようにしてもよい。この場合、２次元の第２画像Ｇ２から３次元の第２画像Ｇ２を導出し、第２変換モデル３２により、３次元の第２画像Ｇ２を、第１画像Ｇ１とはモダリティが異なる３次元の第３画像Ｇ３に変換するようにすればよい。モダリティが同一であるが表現形式が異なる画像としては、ＣＴの造影画像と非造影画像、肺野および縦隔といったカーネルが異なる画像、スライス間隔およびスライス厚の少なくとも一方が異なる画像、並びにＭＲＩ画像における種類が異なる画像等が挙げられる。この場合、例えば、２次元ＣＴ造影画像を２次元ＣＴ非造影画像に変換するように第１変換モデル３１を構築し、２次元ＣＴ非造影画像から導出された３次元ＣＴ非造影画像を３次元ＭＲＩ－Ｔ１強調画像に変換するように第２変換モデル３２を構築してもよい。例えば、第１変換モデル３１は、２Ｄ－ＣＮＮで構成され、第２変換モデル３２は、３Ｄ－ＣＮＮで構成される。

【0094】

また、上記実施形態においては、画像処理装置１が学習部２４を有するものとしているが、これに限定されるものではない。画像処理装置１とは別個の学習装置により変換モデル３０および分類モデル３５を構築し、構築された変換モデル３０および分類モデル３５を画像処理装置１の導出部２２および分類部２３に適用するようにしてもよい。

【0095】

また、上記実施形態において、例えば、情報取得部２１、導出部２２、分類部２３、学習部２４および表示制御部２５、並びに情報取得部７１および学習部７２といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＧＰＵ(Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0096】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0097】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0098】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0099】

以下、本開示の付記項を記載する。
（付記項１）
少なくとも１つのプロセッサを備え、
前記プロセッサは、
第１モダリティの第１画像から第２画像を導出し、
前記第２画像から前記第１モダリティとは異なる第２モダリティの第３画像を導出する画像処理装置。
（付記項２）
前記プロセッサは、第１変換モデルを使用して、前記第１モダリティの前記第１画像から前記第２画像を導出し、
第２変換モデルを使用して、前記第２画像から前記第２モダリティの前記第３画像を導出する付記項１に記載の画像処理装置。
（付記項３）
前記第１変換モデルは３次元画像変換モデルであり、
前記プロセッサは、前記第１変換モデルを使用して３次元の前記第１画像から３次元の前記第２画像を導出する付記項２に記載の画像処理装置。
（付記項４）
前記第２変換モデルは２次元画像変換モデルであり、
前記プロセッサは、３次元の前記第２画像から少なくとも１つの断層画像を抽出し、
前記第２変換モデルを使用して、前記断層画像から前記第３画像を導出する付記項２または３に記載の画像処理装置。
（付記項５）
前記第１変換モデルは２次元画像変換モデルであり、
前記プロセッサは、前記第１変換モデルを使用して、２次元座標で表される前記第１画像から２次元座標で表される前記第２画像を導出する付記項２に記載の画像処理装置。
（付記項６）
前記第２変換モデルは３次元画像変換モデルであり、
前記プロセッサは、複数の２次元座標で表される前記第２画像から３次元の第２画像を導出し、
前記第２変換モデルを使用して、前記３次元の第２画像から前記第３画像を導出する付記項２または５に記載の画像処理装置。
（付記項７）
前記プロセッサは、前記第３画像に含まれる解剖構造を分類することにより、前記解剖構造についての分類結果を導出する付記項１に記載の画像処理装置。
（付記項８）
前記プロセッサは、前記第３画像に含まれる解剖構造を分類することにより、前記解剖構造についての分類結果を導出する付記項２から６のいずれか１項に記載の画像処理装置。
（付記項９）
前記プロセッサは、前記第３画像を用いた前記解剖構造の分類結果と、前記第３画像と同一モダリティの実画像を用いた前記解剖構造の分類結果とを判別する判別器に対して敵対的学習を導入し、
前記第３画像に対する前記解剖構造の分類結果を前記判別器が判別できないような前記第３画像を導出するように、前記第１変換モデルおよび前記第２変換モデルの学習を行う付記項８に記載の画像処理装置。
（付記項１０）
前記第２画像は、前記第１画像および前記第３画像の表現形式とは異なる付記項１から９のいずれか１項に記載の画像処理装置。
（付記項１１）
前記プロセッサは、前記第３画像が前記プロセッサにより導出されたものであることを認識可能に保存または表示する付記項１から１０のいずれか１項に記載の画像処理装置。
（付記項１２）
第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習を行う学習装置であって、
少なくとも１つのプロセッサを備え、
前記プロセッサは、付記項１から１１のいずれか１項に記載の画像処理装置により導出された第３画像を学習データとして使用して前記学習を行う学習装置。
（付記項１３）
前記プロセッサは、前記第３画像を導出した前記第１画像における前記解剖構造の分類結果を用いて、前記学習を行う付記項１２に記載の学習装置。
（付記項１４）
前記プロセッサは、前記第２モダリティにより取得された実画像をさらに前記学習データとして使用して前記学習を行う付記項１２または１３に記載の学習装置。
（付記項１５）
前記プロセッサは、前記実画像について、前記学習に使用する頻度を前記第３画像よりも多くする付記項１４に記載の学習装置。
（付記項１６）
前記プロセッサは、前記実画像について、前記学習に使用する際の重みづけを前記第３画像よりも大きくする付記項１４または１５に記載の学習装置。
（付記項１７）
コンピュータが、第１モダリティの第１画像から第２画像を導出し、
前記第２画像から前記第１モダリティとは異なる第２モダリティの第３画像を導出する画像処理方法。
（付記項１８）
コンピュータが、第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習を行う学習方法であって、
付記項１から１１のいずれか１項に記載の画像処理装置により導出された第３画像を学習データとして使用して前記学習を行う学習方法。
（付記項１９）
第１モダリティの第１画像から第２画像を導出する手順と、
前記第２画像から前記第１モダリティとは異なる第２モダリティの第３画像を導出する手順とをコンピュータに実行させる画像処理プログラム。
（付記項２０）
第２モダリティの画像に含まれる解剖構造を分類する分類モデルを構築するための学習をコンピュータに実行させる学習プログラムであって、
付記項１から１１のいずれか１項に記載の画像処理装置により導出された第３画像を学習データとして使用して前記学習をコンピュータに実行させる学習プログラム。

【符号の説明】

【0100】

１ 画像処理装置
２ モダリティ
２Ａ ＣＴ装置
４ 学習装置
５ ネットワーク
１１、６１ ＣＰＵ
１２ 画像処理プログラム
１３、６３ 記憶部
１４、６４ ディスプレイ
１５、６５ 入力デバイス
１６、６６ メモリ
１７、６７ ネットワークＩ／Ｆ
１８、６８ ＲＡＭ
１９、６９ バス
２１、７１ 情報取得部
２２ 導出部
２３ 分類部
２４、７２ 学習部
２５ 表示制御部
３０ 変換モデル
３１ 第１変換モデル
３２ 第２変換モデル
３５ 分類モデル
３７ マスク
３８，３９ ラベル
４１，４３，４５ 生成器
４２，４４，４７ 判別器
４６ 分類器
５０ 表示画面
５１ マーク
５２，５３ ラベル
６２ 学習プログラム
８０ 分類器
８１ 第１学習データ
８２ 第２学習データ
ＣＲ０、ＣＲ１ ＣＴ画像
Ｇ１ 第１画像
Ｇ２ 第２画像
Ｇ３ 第３画像
Ｌ１～Ｌ５ 損失

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】