特開 2025-149188 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム並びに解析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025149188

(43)【公開日】2025-10-08

(54)【発明の名称】画像処理装置、方法およびプログラム、学習装置、方法およびプログラム並びに解析装置

(51)【国際特許分類】

   A61B 5/055 20060101AFI20251001BHJP

   A61B 6/03 20060101ALI20251001BHJP

   G06T 7/00 20170101ALI20251001BHJP

   G06V 10/82 20220101ALI20251001BHJP

   G06V 20/64 20220101ALI20251001BHJP

【ＦＩ】

A61B5/055 380

A61B6/03 560T

A61B6/03 560G

A61B6/03 577

A61B5/055 390

G06T7/00 612

G06T7/00 350C

G06V10/82

G06V20/64

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2024049674

(22)【出願日】2024-03-26

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】工藤 彰

【テーマコード（参考）】

4C093

4C096

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA02

4C093DA04

4C093DA10

4C093FD07

4C093FF01

4C093FF42

4C093FF45

4C093FH03

4C093FH07

4C096AA18

4C096AC04

4C096AD14

4C096DC19

4C096DC33

4C096DC36

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096DA01

5L096EA02

5L096EA03

5L096EA33

5L096EA39

5L096FA66

5L096FA67

5L096FA69

5L096GA10

5L096GA51

5L096GA55

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラムにおいて、疑似的に３次元画像を取得できるようにする。
【解決手段】プロセッサが、被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、第１表現形式の２次元画像をスライス補間した第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、第２表現形式の２次元画像の入力により、第２表現形式の２次元画像をスライス補間した第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する。
【選択図】図３

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、前記第１表現形式の２次元画像をスライス補間した前記第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、前記第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、前記第２表現形式の２次元画像の入力により、前記第２表現形式の２次元画像をスライス補間した前記第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する学習装置。

【請求項2】

前記プロセッサは、前記学習用３次元画像のスライスを削減した学習用疑似２次元画像を導出し、前記学習用疑似２次元画像を前記第１スライス補間モデルに入力することにより前記第１スライス補間モデルに学習用疑似３次元画像を出力させ、前記学習用３次元画像と前記学習用疑似３次元画像との差分に基づいて、前記転移学習を行う請求項１に記載の学習装置。

【請求項3】

前記プロセッサは、前記学習用疑似２次元画像に対して前記スライス補間する方向の軸に合わせて前記学習用疑似２次元画像の軸の入れ替えを行い、前記軸が入れ替えられた前記学習用疑似２次元画像を前記第１スライス補間モデルに入力する請求項２に記載の学習装置。

【請求項4】

前記プロセッサは、前記学習用３次元画像からランダムにスライス間隔を変更した前記学習用疑似２次元画像を導出する請求項２または３に記載の学習装置。

【請求項5】

前記プロセッサは、前記学習用３次元画像が実画像か疑似画像かを判別するための判別器を使用して、前記判別器および前記第１スライス補間モデルに対して敵対的学習を行う請求項１に記載の学習装置。

【請求項6】

前記プロセッサは、前記学習用３次元画像のスライス面を表す情報を前記第１スライス補間モデルおよび前記判別器の少なくとも一方に入力する請求項５に記載の学習装置。

【請求項7】

前記プロセッサは、前記学習用３次元画像のスライス面の方向に応じて、前記学習用３次元画像の前記転移学習に使用する頻度を変更する請求項１に記載の学習装置。

【請求項8】

前記プロセッサは、前記第２表現形式の３次元画像に含まれる解剖構造を分類する分類モデルを使用して、前記学習用３次元画像についての第１分類結果を導出し、
前記分類モデルを使用して、前記学習用３次元画像に基づいて前記第１スライス補間モデルが導出した学習用疑似３次元画像についての第２分類結果を導出し、
前記第１分類結果と前記第２分類結果との差分が小さくなるように前記転移学習を行う請求項１に記載の学習装置。

【請求項9】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
請求項１に記載の学習装置により構築された前記第２スライス補間モデルを使用することにより、前記第２表現形式の２次元画像から前記第２表現形式の疑似３次元画像を導出する画像処理装置。

【請求項10】

前記プロセッサは、前記第２表現形式の２次元画像のスライス間隔を、前記疑似３次元画像のスライス間隔と一致させる補間演算を行い、
前記補間演算が行われた前記２次元画像を前記第２スライス補間モデルに入力することにより前記疑似３次元画像を導出する請求項９に記載の画像処理装置。

【請求項11】

第２表現形式の３次元画像に含まれる解剖構造を分類する分類モデルを構築するための学習を行う学習装置であって、
少なくとも１つのプロセッサを備え、
前記プロセッサは、請求項９に記載の画像処理装置により導出された前記疑似３次元画像を学習データとして使用して前記学習を行う学習装置。

【請求項12】

前記プロセッサは、撮影により取得された前記第２表現形式の実３次元画像をさらに学習データとして使用して前記学習を行う請求項１１に記載の学習装置。

【請求項13】

前記プロセッサは、前記実３次元画像について、前記学習に使用する頻度を前記疑似３次元画像よりも多くして前記学習を行う請求項１２に記載の学習装置。

【請求項14】

前記プロセッサは、前記実３次元画像について、前記学習に使用する際の重みづけを前記疑似３次元画像よりも大きくする請求項１２に記載の学習装置。

【請求項15】

請求項９に記載の画像処理装置により導出された前記疑似３次元画像を解析する解析装置。

【請求項16】

コンピュータが、被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、前記第１表現形式の２次元画像をスライス補間した前記第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、前記第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、前記第２表現形式の２次元画像の入力により、前記第２表現形式の２次元画像をスライス補間した前記第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する学習方法。

【請求項17】

コンピュータが、請求項１に記載の学習装置により構築された前記第２スライス補間モデルを使用することにより、前記第２表現形式の２次元画像から前記第２表現形式の疑似３次元画像を導出する画像処理方法。

【請求項18】

被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、前記第１表現形式の２次元画像をスライス補間した前記第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、前記第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、前記第２表現形式の２次元画像の入力により、前記第２表現形式の２次元画像をスライス補間した前記第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する手順をコンピュータに実行させる学習プログラム。

【請求項19】

請求項１に記載の学習装置により構築された前記第２スライス補間モデルを使用することにより、前記第２表現形式の２次元画像から前記第２表現形式の疑似３次元画像を導出する手順をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、方法およびプログラム、学習装置、方法およびプログラム並びに解析装置に関するものである。

【背景技術】

【0002】

医療分野においては、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置、超音波撮影装置、ＰＥＴ（Positron Emission Tomography）装置、Ｘ線撮影装置等の各種モダリティの進歩により、より質の高い医用画像を用いての画像診断が可能となってきている。このようなモダリティにおいては、撮影方式の違いによりスライス間隔が異なる画像が取得される。例えば、３次元撮影を行うと、スライス間隔が狭い３次元画像が取得される。２次元撮影を行うと、３次元撮影よりもスライス間隔が大きい２次元画像が取得される。２次元画像と３次元画像との違いは、スライス面に垂直な方向における解像度の違いであり、３次元画像はスライス面に垂直な方向においてスライスが密となるため、解剖構造を高精度に認識できる。一方、２次元画像はスライス面に垂直な方向におけるスライス間隔が３次元画像よりも大きいため、３次元画像と比較すると解剖構造を再現する精度が落ちる。

【0003】

このため、スライス間隔が３次元撮影を行った場合よりも大きい、２次元撮影により取得されたＣＴ画像に対してスライス補間を行うことにより、スライス間隔が小さい疑似３次元画像を取得する手法が提案されている（例えば非特許文献１参照）。また、ＭＲＩ画像において例えば頭部と言った限られた部位のスライス補間を行う手法も提案されている（例えば非特許文献２参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Akira Kudo et. al., Virtual Thin Slice: 3D Conditional GAN-based Super-resolution for CT Slice Interval, arXiv: 1908.11506 2 Sep 2019

【非特許文献2】Kuan Zhang et al., SOUP-GAN: Super-Resolution MRI Using Generative Adversarial Networks, arXiv:2106.02599 4 June 2021

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＣＴについては、被検体の任意の部位について３次元撮影が一般化しているため、いずれの部位であってもスライス間隔が密の３次元画像が取得される。しかしながら、ＭＲＩについては頭部、膝および骨盤といった特定の部位については３次元撮影が行われるものの、特定の部位以外の部位については、一般的に２次元撮影が行われる。このような特定部位以外の部位について３次元画像を取得するために、２次元撮影により取得されたＭＲＩ画像に対してスライス補間を行うことにより、疑似的に３次元画像を導出するモデルを構築することが考えられる。しかしながら、特定部位以外のＭＲＩ画像については学習データとなる３次元画像が少ないため、疑似的に３次元画像を導出するモデルを構築することは困難である。

【0006】

本開示は上記事情に鑑みなされたものであり、疑似的に３次元画像を取得できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本開示による学習装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、第１表現形式の２次元画像をスライス補間した第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、第２表現形式の２次元画像の入力により、第２表現形式の２次元画像をスライス補間した第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する。

【0008】

本開示による画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
本開示による学習装置により構築された第２スライス補間モデルを使用することにより、第２表現形式の２次元画像から第２表現形式の疑似３次元画像を導出する。

【0009】

本開示による学習方法は、コンピュータが、被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、第１表現形式の２次元画像をスライス補間した第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、第２表現形式の２次元画像の入力により、第２表現形式の２次元画像をスライス補間した第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する。

【0010】

本開示による画像処理方法は、コンピュータが、本開示による学習装置により構築された第２スライス補間モデルを使用することにより、第２表現形式の２次元画像から第２表現形式の疑似３次元画像を導出する。

【0011】

本開示による学習プログラムは、被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、第１表現形式の２次元画像をスライス補間した第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、第２表現形式の２次元画像の入力により、第２表現形式の２次元画像をスライス補間した第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する手順をコンピュータに実行させる。

【0012】

本開示による画像処理学習プログラムは、本開示による学習装置により構築された第２スライス補間モデルを使用することにより、第２表現形式の２次元画像から第２表現形式の疑似３次元画像を導出する手順をコンピュータに実行させる。

【発明の効果】

【0013】

本開示によれば、疑似的に３次元画像を導出できる。

【図面の簡単な説明】

【0014】

【図1】本開示の実施形態による学習装置および画像処理装置を適用した診断支援システムの概要を示すハードウェア構成図

【図2】本実施形態による学習装置のハードウェア構成を示す図

【図3】本実施形態による学習装置の機能的な構成を示す図

【図4】第１スライス補間モデルを説明するための図

【図5】第２スライス補間モデルを構築するための転移学習を説明するための図

【図6】軸の入れ替えを説明するための図

【図7】マスクを説明するための図

【図8】第２スライス補間モデルを構築するための転移学習を説明するための図

【図9】本実施形態による学習装置が行う処理を示すフローチャート

【図10】本実施形態による画像処理装置のハードウェア構成を示す図

【図11】本実施形態による画像処理装置の機能的な構成を示す図

【図12】本実施形態による画像処理装置が行う処理を示すフローチャート

【図13】本実施形態による他の学習装置のハードウェア構成を示す図

【図14】本実施形態による他の学習装置の機能的な構成を示す図

【図15】分類モデルを構築するための分類器の学習を説明するための図

【図16】本実施形態による他の学習装置が行う処理を示すフローチャート

【発明を実施するための形態】

【0015】

以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による画像処理装置および学習装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による学習装置１、モダリティ２、画像保管サーバ３、および画像処理装置４が、ネットワーク５を経由して通信可能な状態で接続されている。

【0016】

モダリティ２は、被検体の診断対象となる部位を撮影することにより、その部位を表す２次元画像または３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、超音波撮影装置、ＰＥＴ装置、およびＸ線撮影装置等である。モダリティ２により生成された、被検体の画像は画像保管サーバ３に送信され、保存される。本実施形態においては、モダリティ２として、ＣＴ装置２ＡおよびＭＲＩ装置２Ｂを含むものとする。

【0017】

ＣＴ装置２ＡおよびＭＲＩ装置２Ｂは、２次元撮影および３次元撮影を行うことが可能であり、２次元撮影により２次元画像が取得され、３次元撮影により３次元画像が取得される。本実施形態において、３次元画像および２次元画像はともに断層画像を含むが、３次元画像とは、２次元画像に対してスライス間隔およびスライス厚の少なくとも一方が小さい複数の断層画像、および複数の断層画像から生成された、各画素が３次元座標で表される画像の少なくともいずれかを含む。例えば、３次元画像とは、スライス厚およびスライス間隔の少なくとも一方が５ｍｍ以下である複数の断層画像を含む。

【0018】

一方、２次元画像は、３次元画像に含まれる断層画像に対してスライス間隔が大きい複数の断層画像、および３次元画像に含まれる断層画像に対してスライス厚が大きい少なくとも１以上の断層画像の少なくとも一方を含む。断層画像は、各画素が２次元座標で表される画像を含む。なお、３次元画像または２次元画像が複数の断層画像で構成される場合、断層画像は撮影方向における各断層画像の位置座標を含むため、複数の断層画像全体としては、各画素が３次元座標で表される。撮影方向とは、例えば、断層画像が表す断層面に垂直な方向である。

【0019】

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク５を介して他の装置と通信を行い、画像データ等を送受信する。具体的にはモダリティ２で生成された画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク５経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、本実施形態においては、画像保管サーバ３は、後述する学習データおよび第１スライス補間モデルを保存して管理している。

【0020】

本実施形態による学習装置１および画像処理装置４は、それぞれ１台のコンピュータに、本実施形態の学習プログラムおよび画像処理プログラムをそれぞれインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習プログラムおよび画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。

【0021】

以下、本実施形態による学習装置について説明する。図２は、本実施形態による学習装置のハードウェア構成を示す図である。図２に示すように、学習装置１は、ＣＰＵ（Central Processing Unit）１１、ディスプレイ１４、入力デバイス１５、メモリ１６、およびネットワーク５に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１９に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

【0022】

メモリ１６は、記憶部１３およびＲＡＭ(Random Access Memory)１８を含む。ＲＡＭ１８は、一次記憶用のメモリであり、例えば、ＳＲＡＭ（Static Random Access Memory）またはＤＲＡＭ(Dynamic Random Access Memory)等のＲＡＭである。

【0023】

記憶部１３は、不揮発性のメモリであり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、およびフラッシュメモリ等の少なくとも１つによって実現される。記憶媒体としての記憶部１３には、本実施形態による学習プログラム１２が記憶される。ＣＰＵ１１は、記憶部１３から学習プログラム１２を読み出してＲＡＭ１８に展開し、展開した学習プログラム１２を実行する。

【0024】

ディスプレイ１４は、各種画面を表示する装置であり、例えば、液晶ディスプレイまたはＥＬ（Electro Luminescence）ディスプレイである。入力デバイス１５は、ユーザが入力を行うための装置であり、例えば、キーボード、マウス、音声入力用のマイク、接触を含む近接入力用のタッチパッド、およびジェスチャー入力用のカメラの少なくともいずれかである。ネットワークＩ／Ｆ１７は、ネットワーク５に接続するためのインタフェースである。

【0025】

次いで、本実施形態による学習装置の機能的な構成を説明する。図３は、本実施形態による学習装置の機能的な構成を示す図である。図３に示すように学習装置１は、情報取得部２１および学習部２２を備える。そして、ＣＰＵ１１が学習プログラム１２を実行することにより、ＣＰＵ１１は、情報取得部２１および学習部２２として機能する。

【0026】

情報取得部２１は、ネットワーク５を介して、画像保管サーバ３から、後述する第２スライス補間モデルを転移学習により構築するための学習データおよび第１スライス補間モデルを取得する。本実施形態においては、ＭＲＩ装置２Ｂにより被検体の特定の部位を３次元撮影することにより取得された３次元ＭＲＩ画像を学習データとして取得する。学習データとして取得した３次元ＭＲＩ画像を学習用３次元ＭＲＩ画像ＭＲ０と称する。学習用３次元ＭＲＩ画像ＭＲ０は実際にＭＲＩ装置２Ｂにより取得された実画像である。特定の部位としては、例えば被検体の頭部、膝および骨盤等が挙げられるが、これらに限定されるものではない。ＭＲＩが本開示の第２表現形式の一例であり、学習用３次元ＭＲＩ画像ＭＲ０が本開示の第２表現形式の学習用３次元画像の一例であり、特定の部位が本開示の第２範囲の一例である。

【0027】

本実施形態において、画像の表現形式とは、その画像を取得したモダリティ２の撮像方式で表現された画像である。例えば、ＭＲＩ画像は、ＭＲＩ装置の撮像方式で表現された画像である。なお、撮影方式で表現された画像とは、実際にモダリティ２によって撮像された実画像、および画像処理によって疑似的に導出された疑似画像の少なくとも一方を含む。

【0028】

第１スライス補間モデルは、被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、第１表現形式の２次元画像をスライス補間した第１表現形式の疑似３次元画像を生成するモデルである。本実施形態においては、例えば非特許文献１に記載された手法により構築された第１スライス補間モデルを使用する。

【0029】

図４は本実施形態において使用される第１スライス補間モデルを説明するための図である。図４に示すように、第１スライス補間モデル３１は、例えばＣＴ装置２Ａにより被検体の全身を２次元撮影することにより取得された２次元ＣＴ画像ＣＴ０の入力により、２次元ＣＴ画像ＣＴ０をスライス補間した疑似３次元ＣＴ画像ＣＦ０を生成するモデルである。第１スライス補間モデル３１は、例えば畳み込みニューラルネットワークからなる。ＣＴが本開示の第１表現形式の一例であり、２次元ＣＴ画像ＣＴ０が本開示の第１表現形式の２次元画像の一例であり、全身が本開示の被検体の第１範囲の一例であり、疑似３次元ＣＴ画像ＣＦ０が本開示の第１表現形式の疑似３次元画像の一例である。

【0030】

第１スライス補間モデル３１においては、図４に示すように、スライスを補間するスライス面に垂直な方向に空間的な３軸（ｘ軸、ｙ軸およびｚ軸）のうちのｚ軸が設定されているものとする。これにより、第１スライス補間モデル３１は、入力された２次元画像についてｚ軸方向においてスライス補間を行うものとなる。

【0031】

学習部２２は、情報取得部２１が取得した学習用３次元ＭＲＩ画像ＭＲ０を使用して第１スライス補間モデル３１を転移学習することにより、撮影により取得された２次元ＭＲＩ画像が入力されると、２次元ＭＲＩ画像をスライス補間した疑似３次元ＭＲＩ画像を生成する第２スライス補間モデルを構築する。

【0032】

本実施形態においては、学習部２２は、敵対的学習により第１スライス補間モデル３１を転移学習することによって第２スライス補間モデルを構築する。学習に際し第２スライス補間モデルは、敵対的生成ネットワーク（Generative Adversarial Networks：GAN）を構成する。図５は第２スライス補間モデルを構築するための転移学習を説明するための図である。図５に示すように、第２スライス補間モデルを構築するために、本実施形態においては、劣化器(ディグレーダ(Degrader))４０、生成器（ジェネレータ(Generator))４１および判別器（ディスクリミネータ(Discriminator))４２を使用する。生成器４１は第１スライス補間モデル３１である。

【0033】

劣化器４０は、学習用３次元ＭＲＩ画像ＭＲ０のスライス数を削減した学習用疑似２次元ＭＲＩ画像ＭＦ０を導出する。このために、劣化器４０は、学習用３次元ＭＲＩ画像ＭＲ０を構成するスライス画像が示すスライス面に垂直な方向に、例えばガウシアンフィルタによるフィルタリング処理を行うことにより、学習用３次元ＭＲＩ画像ＭＲ０をぼかす。これにより、学習用３次元ＭＲＩ画像ＭＲ０の各スライス画像には、隣接するスライス画像の画像情報が含まれることとなる。そして、劣化器４０は、ぼかした学習用３次元ＭＲＩ画像ＭＲ０からランダムな間隔で２次元画像を抜き出すことにより、学習用３次元ＭＲＩ画像ＭＲ０のスライスを間引いた学習用疑似２次元ＭＲＩ画像ＭＦ０を導出する。例えば、学習用３次元ＭＲＩ画像ＭＲ０のスライス間隔が１ｍｍであった場合、異なる学習を行う毎に、例えば５ｍｍ、７ｍｍおよび１０ｍｍといったようにランダムなスライス間隔になるようにスライス画像が間引かれて、学習用疑似２次元ＭＲＩ画像ＭＦ０が導出される。

【0034】

学習用疑似２次元ＭＲＩ画像ＭＦ０を導出するに際し、劣化器４０はスライスを補間する方向がｚ軸となるように、学習用３次元ＭＲＩ画像ＭＲ０の軸の入れ替えを行ったうえで、学習用疑似２次元ＭＲＩ画像ＭＦ０を導出する。図６は軸の入れ替えを説明するための図である。通常、３次元画像においては、被検体の体軸方向がｚ軸、左右方向がｘ軸、前後方向がｙ軸に設定される。このため、学習用３次元ＭＲＩ画像ＭＲ０も被検体の体軸方向がｚ軸、左右方向がｘ軸、前後方向がｙ軸に設定される。なお、体軸に垂直なスライス面がアキシャル面、被検体の左右方向のスライス面がコロナル面、被検体の前後方向のスライス面がサジタル面である。

【0035】

例えば、学習用３次元ＭＲＩ画像ＭＲ０について、サジタル面のスライスを補間する学習を行う場合、劣化器４０は、図６に示すように、サジタル面に垂直な方向がｚ軸となるように軸を入れ替えて学習用疑似２次元ＭＲＩ画像ＭＦ０を導出する。

【0036】

学習用疑似２次元ＭＲＩ画像ＭＦ０を導出するに際し、劣化器４０は、メタ情報Ｍ０を導出する。メタ情報Ｍ０は、一部のスライス画像を間引いた後の残りのスライス画像のスライス面の情報（アキシャル面、コロナル面、サジタル面）、およびスライス間隔の情報（５ｍｍ、７ｍｍおよび１０ｍｍ等）を含む。

【0037】

学習部２２は、学習用疑似２次元ＭＲＩ画像ＭＦ０を生成器４１に入力する。この際、学習部２２は、学習用疑似２次元ＭＲＩ画像ＭＦ０をそのまま生成器４１に入力してもよいが、生成器４１すなわち第１スライス補間モデル３１が出力する疑似３次元画像のスライス間隔と一致または近似させるように、学習用疑似２次元ＭＲＩ画像ＭＦ０に補間演算を行ってもよい。例えば、学習用疑似２次元ＭＲＩ画像ＭＦ０のスライス間隔が５ｍｍであり、第１スライス補間モデル３１が出力する疑似３次元画像のスライス間隔が１ｍｍであるとする。この場合、学習部２２は、学習用疑似２次元ＭＲＩ画像ＭＦ０のスライス間隔が１ｍｍとなるように、または１ｍｍに近似させるように学習用疑似２次元ＭＲＩ画像ＭＦ０のスライスを線形補間またはスプライン補間等の補間演算により補間して、補間された学習用疑似２次元ＭＲＩ画像ＭＦ１を導出する。

【0038】

これにより、未知のスライス間隔の２次元ＭＲＩ画像が入力されても、そのスライス間隔を統一的に扱うことができるように、第２スライス補間モデルを構築できる。

【0039】

学習部２２は、補間された学習用疑似２次元ＭＲＩ画像ＭＦ１、およびメタ情報Ｍ０を生成器４１に入力し、学習用疑似２次元ＭＲＩ画像ＭＦ１のスライスを補間した学習用疑似３次元ＭＲＩ画像ＭＦ２を生成器４１から出力させる。なお、学習用疑似２次元ＭＲＩ画像ＭＦ１のみを生成器４１に入力して学習用疑似３次元ＭＲＩ画像ＭＦ２を生成器４１から出力させるようにしてもよい。

【0040】

ここで、生成器４１に入力する補間された学習用疑似２次元ＭＲＩ画像ＭＦ１は、物理サイズを等方化したうえで姿勢変換および拡大縮小を無作為にデータ拡張処理として適用し、適用した画像から固定サイズ領域を切り出したものを使用すればよい。

【0041】

また、上述したように補間された学習用疑似２次元ＭＲＩ画像ＭＦ１のスライス間隔は、学習用疑似３次元ＭＲＩ画像ＭＦ２のスライス間隔と同一としてもよい。しかしながら、学習用疑似２次元ＭＲＩ画像ＭＦ１は、補間演算によりスライスが補間されたものである。このため、スライス間隔が同一である場合であっても、スライス方向（すなわちスライス面に垂直な方向）における画像の解像度は、学習用疑似２次元ＭＲＩ画像ＭＦ１よりも学習用疑似３次元ＭＲＩ画像ＭＦ２の方が高いものとなる。

【0042】

判別器４２は、例えば畳み込みニューラルネットワークからなり、学習用疑似３次元ＭＲＩ画像ＭＦ２およびメタ情報Ｍ０の組み合わせ、または学習用３次元ＭＲＩ画像ＭＲ０およびメタ情報Ｍ０の組み合わせが入力されると、入力された画像が実画像であるか疑似画像であるかを判別し、判別結果ＲＦ１を出力する。この場合、実画像は学習用３次元ＭＲＩ画像ＭＲ０であり、疑似画像は学習用疑似３次元ＭＲＩ画像ＭＦ２である。

【0043】

実画像である学習用３次元ＭＲＩ画像ＭＲ０が入力された場合に、判別器４２が、入力された画像を実画像であると判別した場合には、判別結果ＲＦ１は正解である。一方、実画像である学習用３次元ＭＲＩ画像ＭＲ０が入力された場合に、疑似画像、すなわち生成器４１が導出した学習用疑似３次元ＭＲＩ画像ＭＦ２であると判別した場合には、判別結果ＲＦ１は不正解である。また、判別器４２が、入力された疑似画像を実画像であると判別した場合には、判別結果ＲＦ１は不正解であり、疑似画像と判別した場合には、判別結果ＲＦ１は正解である。

【0044】

学習部２２は、判別器４２が出力した判別結果ＲＦ１に基づいて損失Ｌ１を導出する。本実施形態においては、学習部２２は、入力された画像が実画像であるか、生成器４１により導出された疑似画像であるかの判別結果ＲＦ１を正解するように、判別器４２を学習する。具体的には、損失Ｌ１が予め定められたしきい値以下となるように判別器４２を構成する畳み込みニューラルネットワークを学習する。

【0045】

また、学習部２２は、入力された実画像、すなわち学習用疑似２次元ＭＲＩ画像ＭＦ１から疑似画像、すなわち学習用疑似３次元ＭＲＩ画像ＭＦ２を導出し、判別器４２が判別結果ＲＦ１を不正解とするように生成器４１を学習する。具体的には、損失Ｌ１が予め定められたしきい値以下となるように、生成器４１を構成する畳み込みニューラルネットワークを学習する。なお、生成器４１となる第１スライス補間モデル３１はすでにＣＴ画像について構築されたものである。このため、学習部２２は、第１スライス補間モデル３１をＭＲＩ画像に対応するものとなるように転移学習することとなる。

【0046】

学習が進行すると、生成器４１と判別器４２とが精度を高めあい、判別器４２は、３次元ＭＲＩ画像が入力された場合に、それが実画像か疑似画像かをより高精度に判別できるようになる。一方、生成器４１は、２次元ＭＲＩ画像をスライス補間して、判別器４２により判別されない、より実画像の３次元ＭＲＩ画像に近い疑似画像を生成できるようになる。このようにして学習を進めることにより、生成器４１が第２スライス補間モデルとして構築される。

【0047】

なお、第２スライス補間モデルの転移学習に際しては、学習用３次元ＭＲＩ画像ＭＲ０のスライス面の方向に応じて、学習用３次元ＭＲＩ画像ＭＲ０を使用する頻度を変更してもよい。例えば、医療現場においてはアキシャル面のスライス画像が最も多く使用される。このため、アキシャル面をスライス面とする学習用３次元ＭＲＩ画像ＭＲ０を、コロナル面またはサジタル面をスライス面とする学習用３次元ＭＲＩ画像ＭＲ０よりもより多く使用して第２スライス補間モデルの転移学習を行うようにしてもよい。

【0048】

また、第２スライス補間モデルの転移学習に際して、後述するように生成された分類モデルを使用してもよい。分類モデルは、３次元ＭＲＩ画像に含まれる解剖構造をセグメンテーション、すなわち分類するように学習により構築されたものである。分類モデルは、入力された３次元ＭＲＩ画像から解剖構造を抽出し、抽出した解剖構造がいずれの臓器であるかを分類し、解剖構造の分類結果を導出する。分類結果は入力された画像の各画素の解剖構造が何であるかを表すものであり、分類モデルは、同一の解剖構造に分類された画素をラベリングすることにより、解剖構造の分類結果を表すマスクを導出する。図７はマスクを示す図である。図７に示すマスク５０は胸部のアキシャル画像であり、分類モデルにより分類された解剖構造である心臓にラベル５１が付与され、肺にラベル５２が付与されている。なお、マスクとは、画素の位置座標ごとに付与されたラベルを示すマスク画像、画素の位置座標ごとのモダリティが検出した信号値により生成されるモダリティ画像とマスク画像とを合成した合成画像、およびモダリティ画像とマスク画像を重畳させた重畳画像の少なくともいずれかを含む。

【0049】

図８は分類モデルを用いて第２スライス補間モデルを構築するための学習を説明するための図である。図８に示すように、第２スライス補間モデルを構築するために、劣化器４０、生成器４１および判別器４２に加えて、分類モデル４３が使用される。劣化器４０、生成器４１および判別器４２については図５に示したものと同一であるため、ここでは詳細な説明は省略する。

【0050】

分類モデル４３は、学習用３次元ＭＲＩ画像ＭＲ０が入力されると、学習用３次元ＭＲＩ画像ＭＲ０に含まれる解剖構造を分類することにより解剖構造の分類結果を導出する。さらに分類モデル４３は、同一の解剖構造に分類された画素をラベリングすることにより、解剖構造の分類結果を表すマスクＭＭＲ０を導出する。また、分類モデル４３は、学習用３次元ＭＲＩ画像ＭＲ０に基づいて生成器４１が出力した学習用疑似３次元ＭＲＩ画像ＭＦ２が入力されると、学習用疑似３次元ＭＲＩ画像ＭＦ２に含まれる解剖構造を分類することにより、解剖構造の分類結果を導出する。さらに分類モデル４３は、同一の解剖構造に分類された画素をラベリングすることにより、解剖構造の分類結果を表すマスクＭＭＦ２を導出する。マスクＭＭＲ０が本開示の第１分類結果の一例であり、マスクＭＭＦ２が本開示の第２分類結果の一例である。

【0051】

学習部２２は、マスクＭＭＲ０とマスクＭＭＦ２との差分を損失Ｌ２として導出する。そして学習部２２は、損失Ｌ１および損失Ｌ２の双方が小さくなるように、生成器４１の転移学習を行う。すなわち、損失Ｌ１および損失Ｌ２のそれぞれが、予め定められたしきい値未満となるように、生成器４１の転移学習を行って、第２スライス補間モデルを構築する。

【0052】

次いで、本実施形態による学習装置が行う処理について説明する。図９は本実施形態による学習装置が行う処理を示すフローチャートである。まず、情報取得部２１が画像保管サーバ３から学習用３次元ＭＲＩ画像ＭＲ０を取得する（ステップＳＴ１）。そして、学習部２２が学習用３次元ＭＲＩ画像ＭＲ０に基づいて生成器４１すなわち第１スライス補間モデル３１を転移学習することにより第２スライス補間モデルを構築し（ステップＳＴ２）、処理を終了する。

【0053】

このように、本実施形態による学習装置においては、学習用３次元ＭＲＩ画像ＭＲ０を用いて第１スライス補間モデル３１を転移学習することにより、２次元ＭＲＩ画像をスライス補間した疑似３次元ＭＲＩ画像を生成する第２スライス補間モデルを構築するようにした。このため、３次元ＭＲＩ画像が存在する特定の部位以外の部位についても、２次元ＭＲＩ画像があれば、特定の部位以外の部位についての疑似３次元ＭＲＩ画像を取得することができる。

【0054】

また、学習用疑似２次元画像ＭＦ０に対してスライス補間する方向の軸に合わせて学習用疑似２次元画像ＭＦ０の軸の入れ替えを行い、軸が入れ替えられた学習用疑似２次元画像ＭＦ０を第１スライス補間モデル３１すなわち生成器４１に入力することにより、第１スライス補間モデル３１がスライス補間の処理を行う方向に合わせて学習用疑似２次元ＭＲＩ画像ＭＦ１を生成器４１に入力することができる。このため、生成器４１の転移学習を効率よく行うことができる。

【0055】

また、学習用３次元ＭＲＩ画像ＭＲ０についてランダムにスライス間隔を変更した学習用疑似２次元ＭＲＩ画像ＭＦ０を導出することにより、様々なスライス間隔の２次元ＭＲＩ画像から疑似３次元ＭＲＩ画像を導出できるように第１スライス補間モデル３１の転移学習を行うことができる。

【0056】

また、学習用３次元ＭＲＩ画像ＭＲ０のスライス面を表す情報を、学習時にメタ情報Ｍ０に含めて生成器４１および／または判別器４２に入力することにより、スライス面の特徴を考慮した疑似３次元ＭＲＩ画像を導出可能なように、生成器４１すなわち第１スライス補間モデル３１の転移学習を行うことができる。

【0057】

また、分類モデルを使用して学習用３次元ＭＲＩ画像ＭＲ０についてのマスクＭＭＲ０と、学習用疑似３次元ＭＲＩ画像ＭＦ２についてのマスクＭＭＦ２とを導出し、マスクＭＭＲ０とマスクＭＭＦ２との差分が小さくなるように転移学習を行うことにより、より実画像に近い疑似３次元ＭＲＩ画像を導出できるように第２スライス補間モデル３２を構築することができる。

【0058】

次いで、本開示の画像処理装置について説明する。図１０は本実施形態による画像処理装置のハードウェア構成を示す図である。図１０に示すように、画像処理装置４は、ＣＰＵ６１、ディスプレイ６４、入力デバイス６５、メモリ６６、およびネットワークに接続されるネットワークＩ／Ｆ６７を含む。ＣＰＵ６１、ディスプレイ６４、入力デバイス６５、メモリ６６およびネットワークＩ／Ｆ６７は、バス６９に接続される。メモリ６６は、記憶部６３およびＲＡＭ６８を含む。なお、ＣＰＵ６１は、本開示におけるプロセッサの一例である。ＣＰＵ６１、ディスプレイ６４、入力デバイス６５、メモリ６６、およびネットワークＩ／Ｆ６７は、図２に示すＣＰＵ１１、ディスプレイ１４、入力デバイス１５、メモリ１６、およびネットワークＩ／Ｆ１７に対応するため、ここでは詳細な説明は省略する。なお、記憶部６３には本実施形態による画像処理プログラム６２、および本実施形態による学習装置１により構築された第２スライス補間モデル３２が記憶される。

【0059】

図１１は本実施形態による画像処理装置の機能的な構成を示す図である。図１１に示すように、本実施形態による画像処理装置４は、情報取得部７１、補間部７２および表示制御部７３を備える。そして、ＣＰＵ６１が画像処理プログラム６２を実行することにより、ＣＰＵ６１は、情報取得部７１、補間部７２および表示制御部７３として機能する。

【0060】

情報取得部７１は、ネットワーク５を介して、画像保管サーバ３から、処理対象となる第２表現形式の２次元画像を取得する。本実施形態においては、２次元ＭＲＩ画像を取得する。

【0061】

補間部７２は、本実施形態による学習装置１により構築された第２スライス補間モデル３２を使用して、２次元ＭＲＩ画像をスライス補間することにより疑似３次元ＭＲＩ画像を導出する。この際、２次元ＭＲＩ画像をそのまま第２スライス補間モデル３２に入力してもよいが、第２スライス補間モデル３２の学習時と同様に、第２スライス補間モデル３２が出力する疑似３次元ＭＲＩ画像のスライス間隔と一致させるように、２次元ＭＲＩ画像に補間演算を行い、補間された２次元ＭＲＩ画像を第２スライス補間モデル３２に入力してもよい。導出された疑似３次元ＭＲＩ画像は、ネットワーク５を介して画像保管サーバ３に送信され、保存される。

【0062】

表示制御部７３は、補間部７２が導出した疑似３次元ＭＲＩ画像をディスプレイ６４に表示する。

【0063】

次いで、本実施形態による画像処理装置において行われる処理について説明する。図１２は本実施形態による画像処理装置において行われる処理を示すフローチャートである。まず、情報取得部７１が、処理対象となる２次元ＭＲＩ画像を取得する（ステップＳＴ１１）。そして、補間部７２が、第２スライス補間モデル３２を使用して２次元ＭＲＩ画像から疑似３次元ＭＲＩ画像を導出する（ステップＳＴ１２）。そして、表示制御部７３が疑似３次元ＭＲＩ画像をディスプレイ６４に表示し（ステップＳＴ１３）、処理を終了する。

【0064】

このように、本実施形態による画像処理装置４は、本実施形態による学習装置１により構築された第２スライス補間モデル３２を用いて２次元ＭＲＩ画像から疑似３次元ＭＲＩ画像を導出している。このため、実画像に遜色ない疑似３次元ＭＲＩ画像を取得することができる。

【0065】

なお、本実施形態による画像処理装置４により導出された疑似３次元ＭＲＩ画像を解析する解析装置を構築することが可能である。例えば、ＭＲＩ画像に含まれる血管を抽出する解析装置を疑似３次元ＭＲＩ画像に対して適用することが可能である。この場合、２次元ＭＲＩ画像はスライス方向の間隔が大きいため、血管を連続して抽出することができなくなる可能性が高い。本実施形態による画像処理装置４により導出された疑似３次元ＭＲＩ画像を用いることにより、連続して血管を抽出する解析可能となる。

【0066】

次いで、上述した分類モデルを構築するための学習装置を他の学習装置として説明する。上述したように、分類モデルは、３次元ＭＲＩ画像に含まれる解剖構造をセグメンテーションして分類するためのものである。

【0067】

図１３は本実施形態による他の学習装置のハードウェア構成を示す図である。図１３に示すように、他の学習装置７は、ＣＰＵ８１、ディスプレイ８４、入力デバイス８５、メモリ８６、およびネットワークに接続されるネットワークＩ／Ｆ８７を含む。ＣＰＵ８１、ディスプレイ８４、入力デバイス８５、メモリ８６およびネットワークＩ／Ｆ８７は、バス８９に接続される。メモリ８６は、記憶部８３およびＲＡＭ８８を含む。なお、ＣＰＵ８１は、本開示におけるプロセッサの一例である。ＣＰＵ８１、ディスプレイ８４、入力デバイス８５、メモリ８６、およびネットワークＩ／Ｆ８７は、図２に示すＣＰＵ１１、ディスプレイ１４、入力デバイス１５、メモリ１６、およびネットワークＩ／Ｆ１７に対応するため、ここでは詳細な説明は省略する。なお、記憶部８３には本実施形態による他の学習プログラム８２が記憶される。

【0068】

図１４は本実施形態による他の学習装置の機能的な構成を示す図である。図１４に示すように、本実施形態による他の学習装置７は、情報取得部９１および学習部９２を備える。そして、ＣＰＵ８１が他の学習プログラム８２を実行することにより、ＣＰＵ８１は、情報取得部９１および学習部９２として機能する。

【0069】

情報取得部９１は、ネットワーク５を介して、画像保管サーバ３から、学習に使用するための学習データを取得する。本実施形態による他の学習装置７は、上述したように３次元ＭＲＩ画像に含まれる解剖構造を分類するための分類モデルを構築する。このため、情報取得部９１は、ＭＲＩ装置により被検体を３次元撮影により取得された実画像である実３次元ＭＲＩ画像ＭＲ５および実３次元ＭＲＩ画像ＭＲ５に基づいて導出されたマスクＭＭＲ５のペアを第１学習データ１０１として取得する。また、情報取得部９１は、本実施形態による画像処理装置４により導出された疑似３次元ＭＲＩ画像ＭＦ５および疑似３次元ＭＲＩ画像ＭＦ５に基づいて取得されたマスクＭＭＦ５のペアを第２学習データ１０２として取得する。

【0070】

学習部９２は、画像に含まれる解剖構造のセグメンテーションを行うための分類モデルを構築するために分類器の学習を行う。図１５は、分類モデルを構築するための分類器の学習を説明するための図である。分類器１００は、例えば２次元の畳み込みニューラルネットワークからなり、入力された画像に含まれる解剖構造を分類する。分類器１００は、入力された画像に含まれる各種解剖構造毎に解剖構造であることの確率を導出し、確率がしきい値以上の解剖構造をその解剖構造として分類する処理を行う。分類器１００は、同一の解剖構造に分類された画素をラベリングすることにより、解剖構造の分類結果を表すマスクを導出する。分類器１００の学習には、情報取得部９１が取得した第１学習データ１０１および第２学習データ１０２が使用される。

【0071】

学習に際して、学習部９２は、分類器１００に第１学習データ１０１の実３次元ＭＲＩ画像ＭＲ５を入力し、解剖構造の分類結果を表すマスクＭＭＲ６を導出する。また、学習部９２は、分類器１００に第２学習データ１０２の疑似３次元ＭＲＩ画像ＭＦ５を入力し、解剖構造の分類結果を表すマスクＭＭＦ６を導出する。そして、学習部９２は、マスクＭＭＲ５とマスクＭＭＲ６との相違、およびマスクＭＭＦ５とマスクＭＭＦ６との相違を損失Ｌ３として導出し、損失Ｌ３が予め定められたしきい値以下となるように、分類器１００を学習することにより、分類モデルを構築する。

【0072】

損失Ｌ３は例えば、以下の式（１）または式（２）により導出することができる。正解データとはマスクＭＭＲ５またはマスクＭＭＦ５のデータであり、推論データとはマスクＭＭＲ６またはマスクＭＭＦ６のデータである。式（１）は二値のクロスエントロピーロスであり、式（２）はＭＳＥ(Means Square Error)である。式（１）、（２）において、左辺が損失Ｌ３である。また、式（１）、（２）において、実画像である実３次元ＭＲＩ画像ＭＲ５に基づいて導出したマスクＭＭＲ６についての損失を導出する場合は、疑似３次元ＭＲＩ画像ＭＦ５に基づいて導出したマスクＭＭＦ６についての損失を導出する場合よりも、重みｗｉを大きくする。これにより、より高精度で分類を行うように分類器１００を学習することができる。

【0073】

【数1】

【0074】

なお、多クラスの分類を行う場合には、下記の式（３）を用いて損失Ｌ３を導出してもよい。式（３）において、ｊが異なるクラス（例えば心臓と肺）を表し、ｗｉｊはｉ番目のサンプルのｊ番目のクラスに対する重みである。

【数2】

【0075】

なお、分類器１００の学習に際しては、実画像である実３次元ＭＲＩ画像ＭＲ５を、疑似画像である疑似３次元ＭＲＩ画像ＭＦ５よりも多く使用することが学習精度を高めるうえで好ましい。

【0076】

次いで、本実施形態による他の学習装置７が行う処理について説明する。図１６は本実施形態による他の学習装置が行う処理を示すフローチャートである。まず、情報取得部９１が画像保管サーバ３から第１学習データ１０１および第２学習データ１０２を取得する（学習データ取得：ステップＳＴ２１）。次いで、学習部９２が、第１学習データ１０１および第２学習データ１０２を用いて分類器１００の学習を行うことにより分類モデルを構築し（ステップＳＴ２２）、処理を終了する。

【0077】

このように、本実施形態による他の学習装置７においては、本実施形態による画像処理装置１により導出した疑似３次元ＭＲＩ画像を学習データとして使用している。これにより、学習データを増やすことができるため、画像に含まれる解剖構造を分類するための分類モデルを高精度に構築することができる。

【0078】

なお、上記他の学習装置の実施形態においては、第１学習データ１０１および第２学習データ１０２を分類器１００の学習に使用しているが、これに限定されるものではない。本実施形態による画像処理装置１が導出した疑似３次元ＭＲＩ画像を含む第２学習データ１０２のみを用いて学習を行うようにしてもよい。

【0079】

また、上記実施形態において、例えば、情報取得部２１、学習部２２、情報取得部７１、補間部７２、表示制御部７３、情報取得部９１および学習部９２といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＧＰＵ(Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0080】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0081】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0082】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0083】

以下、本開示の付記項を記載する。
（付記項１）
少なくとも１つのプロセッサを備え、
前記プロセッサは、
被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、前記第１表現形式の２次元画像をスライス補間した前記第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、前記第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、前記第２表現形式の２次元画像の入力により、前記第２表現形式の２次元画像をスライス補間した前記第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する学習装置。
（付記項２）
前記プロセッサは、前記学習用３次元画像のスライスを削減した学習用疑似２次元画像を導出し、前記学習用疑似２次元画像を前記第１スライス補間モデルに入力することにより前記第１スライス補間モデルに学習用疑似３次元画像を出力させ、前記学習用３次元画像と前記学習用疑似３次元画像との差分に基づいて、前記転移学習を行う付記項１に記載の学習装置。
（付記項３）
前記プロセッサは、前記学習用疑似２次元画像に対して前記スライス補間する方向の軸に合わせて前記学習用疑似２次元画像の軸の入れ替えを行い、前記軸が入れ替えられた前記学習用疑似２次元画像を前記第１スライス補間モデルに入力する付記項２に記載の学習装置。
（付記項４）
前記プロセッサは、前記学習用３次元画像からランダムにスライス間隔を変更した前記学習用疑似２次元画像を導出する付記項２または３に記載の学習装置。
（付記項５）
前記プロセッサは、前記学習用３次元画像が実画像か疑似画像かを判別するための判別器を使用して、前記判別器および前記第１スライス補間モデルに対して敵対的学習を行う付記項１から４のいずれか１項に記載の学習装置。
（付記項６）
前記プロセッサは、前記学習用３次元画像のスライス面を表す情報を前記第１スライス補間モデルおよび前記判別器の少なくとも一方に入力する付記項５に記載の学習装置。
（付記項７）
前記プロセッサは、前記学習用３次元画像のスライス面の方向に応じて、前記学習用３次元画像の前記転移学習に使用する頻度を変更する付記項１から６のいずれか１項に記載の学習装置。
（付記項８）
前記プロセッサは、前記第２表現形式の３次元画像に含まれる解剖構造を分類する分類モデルを使用して、前記学習用３次元画像についての第１分類結果を導出し、
前記分類モデルを使用して、前記学習用３次元画像に基づいて前記第１スライス補間モデルが導出した学習用疑似３次元画像についての第２分類結果を導出し、
前記第１分類結果と前記第２分類結果との差分が小さくなるように前記転移学習を行う付記項１から７のいずれか１項に記載の学習装置。
（付記項９）
少なくとも１つのプロセッサを備え、
前記プロセッサは、
付記項１から８のいずれか１項に記載の学習装置により構築された前記第２スライス補間モデルを使用することにより、前記第２表現形式の２次元画像から前記第２表現形式の疑似３次元画像を導出する画像処理装置。
（付記項１０）
前記プロセッサは、前記第２表現形式の２次元画像のスライス間隔を、前記疑似３次元画像のスライス間隔と一致させる補間演算を行い、
前記補間演算が行われた前記２次元画像を前記第２スライス補間モデルに入力することにより前記疑似３次元画像を導出する付記項９に記載の画像処理装置。
（付記項１１）
第２表現形式の３次元画像に含まれる解剖構造を分類する分類モデルを構築するための学習を行う学習装置であって、
少なくとも１つのプロセッサを備え、
前記プロセッサは、付記項９または１０に記載の画像処理装置により導出された前記疑似３次元画像を学習データとして使用して前記学習を行う学習装置。
（付記項１２）
前記プロセッサは、撮影により取得された前記第２表現形式の実３次元画像をさらに学習データとして使用して前記学習を行う付記項１１に記載の学習装置。
（付記項１３）
前記プロセッサは、前記実３次元画像について、前記学習に使用する頻度を前記疑似３次元画像よりも多くして前記学習を行う付記項１２に記載の学習装置。
（付記項１４）
前記プロセッサは、前記実３次元画像について、前記学習に使用する際の重みづけを前記疑似３次元画像よりも大きくする付記項１２または１３に記載の学習装置。
（付記項１５）
付記項９または１０に記載の画像処理装置により導出された前記疑似３次元画像を解析する解析装置。
（付記項１６）
コンピュータが、被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、前記第１表現形式の２次元画像をスライス補間した前記第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、前記第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、前記第２表現形式の２次元画像の入力により、前記第２表現形式の２次元画像をスライス補間した前記第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する学習方法。
（付記項１７）
コンピュータが、付記項１から８のいずれか１項に記載の学習装置により構築された前記第２スライス補間モデルを使用することにより、前記第２表現形式の２次元画像から前記第２表現形式の疑似３次元画像を導出する画像処理方法。
（付記項１８）
被検体の第１範囲を２次元撮影することにより取得された複数のスライス画像からなる第１表現形式の２次元画像の入力により、前記第１表現形式の２次元画像をスライス補間した前記第１表現形式の疑似３次元画像を生成する第１スライス補間モデルを、前記第１範囲よりも狭い第２範囲を３次元撮影することにより取得された第２表現形式の学習用３次元画像を用いることによって転移学習することにより、前記第２表現形式の２次元画像の入力により、前記第２表現形式の２次元画像をスライス補間した前記第２表現形式の疑似３次元画像を生成する第２スライス補間モデルを構築する手順をコンピュータに実行させる学習プログラム。
（付記項１９）
付記項１から８のいずれか１項に記載の学習装置により構築された前記第２スライス補間モデルを使用することにより、前記第２表現形式の２次元画像から前記第２表現形式の疑似３次元画像を導出する手順をコンピュータに実行させる画像処理プログラム。

【符号の説明】

【0084】

１ 学習装置
２ モダリティ
２Ａ ＣＴ装置
２Ｂ ＭＲＩ装置
４ 画像処理装置
５ ネットワーク
７ 他の学習装置
１１、６１、８１ ＣＰＵ
１２ 学習プログラム
１３、６３、８３ 記憶部
１４、６４、８４ ディスプレイ
１５、６５、８５ 入力デバイス
１６、６６、８６ メモリ
１７、６７、８７ ネットワークＩ／Ｆ
１８、６８、８８ ＲＡＭ
１９、６９、８９ バス
２１、７１、９１ 情報取得部
２２、９２ 学習部
３１ 第１スライス補間モデル
３２ 第２スライス補間モデル
４０ 劣化器
４１ 生成器
４２ 判別器
５０ マスク
５１、５２ ラベル
６２ 画像処理プログラム
７２ 補間部
７３ 表示制御部
８２ 他の学習プログラム
１００ 分類器
１０１ 第１学習データ
１０２ 第２学習データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】