知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-26
(45)【発行日】2024-01-10
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20231227BHJP
G06T 7/00 20170101ALI20231227BHJP
【ＦＩ】
A61B6/03 360D
G06T7/00 612
A61B6/03 360T
A61B6/03 360J
【請求項の数】
19
(21)【出願番号】P 2019199101
(22)【出願日】2019-10-31
(65)【公開番号】P2021069793
(43)【公開日】2021-05-06
【審査請求日】2022-10-19
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】山嵜 深
(72)【発明者】
【氏名】古川 大介
【審査官】遠藤 直恵
(56)【参考文献】
【文献】特開２０１８－１７５３４３（ＪＰ，Ａ）
【文献】特開２０１５－０３６１２３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０３００８７８（ＵＳ，Ａ１）
【文献】特開２０１８－１３９６９３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２４７１５４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／１４、８／００－８／１５、５／０５５、３／００－３／１８、１／００－１／３２
Ｇ０６Ｔ １／００－１／４０、３／００－５／５０、７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
三次元医用画像を取得する取得部と、前記取得部により取得された前記三次元医用画像を構成する複数の画素のそれぞれを、第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく第一の分類器を用いて分類し、第一の分類結果を取得する第一の分類部と、
前記第一の分類結果に基づいて、前記三次元医用画像から少なくとも前記第一の注目領域と、第二の注目領域とを含む画像領域を分類対象とする画像領域として決定する決定部と、
前記決定部により決定された前記画像領域に含まれる複数の画素のそれぞれを、前記第一の注目領域を表すクラスと前記第二の注目領域を表すクラスのうち、少なくとも一方を含む複数のクラスを分類するように学習した機械学習に基づく第二の分類器を用いて分類し、第二の分類結果を取得する第二の分類部と、
前記第一の分類結果と前記第二の分類結果とを統合して第三の分類結果を取得する統合部と、を有し、
前記第一の分類器は、第一の教示データセットを用いて学習された分類器であり、
前記第二の分類器は、第二の教示データセットを用いて学習された分類器であり、
前記第二の教示データセットに対応する学習範囲は、前記第一の教示データセットに対応する学習範囲よりも狭い範囲であること特徴とする画像処理装置。
【請求項2】
前記第一の分類結果に基づいて、前記三次元医用画像から少なくとも前記第一の注目領域と、前記第二の注目領域とを含む断層画像を特定する特定部を有し、前記決定部は、特定部によって特定された断層画像に基づいて、前記分類対象とする画像領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記第一の分類器および前記第二の分類器は深層学習に基づいて学習された分類器であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記第一の分類部における前記第一の分類器および前記第二の分類部における前記第二の分類器は分類結果を尤度で出力することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項5】
前記第一の注目領域と、前記第二の注目領域が互いに隣接した領域であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項6】
前記第一の分類部における第一の分類器は、前記第一の注目領域を表すクラスと、前記第二の注目領域を表すクラスとを少なくとも含む複数のクラスを分類するように学習した機械学習に基づく分類器であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項7】
前記取得部は、前記第一の注目領域と、前記第二の注目領域との相対位置に関する事前情報をさらに取得し、前記特定部は、前記第一の分類結果と、前記相対位置に関する事前情報に基づいて、前記第一の注目領域と前記第二の注目領域とを含む断層画像を特定することを特徴とする請求項２に記載の画像処理装置。
【請求項8】
前記第二の分類部は複数の分類器から構成されることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項9】
前記第二の分類部における複数の分類器は、少なくとも前記第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく分類器と、前記第二の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく分類器を含むことを特徴とする請求項８に記載の画像処理装置。
【請求項10】
前記第二の分類部における複数の分類器は、学習用の三次元医用画像におけるそれぞれ異なる学習範囲を対象とした教示データセットによって学習された分類器から構成されることを特徴とする請求項８に記載の画像処理装置。
【請求項11】
前記統合部は、前記尤度に基づいた統合処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項12】
前記統合部は、前記分類器の学習範囲に応じた統合処理を行うことを特徴とする請求項１乃至１１に記載の画像処理装置。
【請求項13】
前記統合部は、前記三次元医用画像のうち前記分類対象とする画像領域に含まれる画素について前記第二の分類結果を用い、前記三次元医用画像のうち前記分類対象とする画像領域に含まれない領域には前記第一の分類結果を用いて統合を行い、前記第三の分類結果を取得することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
【請求項14】
前記統合部は、前記三次元医用画像のうち前記分類対象とする画像領域に含まれる画素について、前記第一の分類結果と前記第二の分類結果とを、重み付き平均値統合、最大値統合、論理和統合、論理積統合のうち、いずれかの統合手段により前記第三の分類結果を取得することを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
【請求項15】
前記決定部は、前記特定部によって特定された前記断層画像に対して、前記第一の注目領域および前記第二の注目領域をすくなくとも含むバウンディングボックスを決定し、決定したバウンディングボックスに基づいて前記分類対象とする画像領域を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項16】
前記取得部は、前記第一の注目領域と、前記第二の注目領域との相対位置に関する事前情報をさらに取得し、前記決定部は、前記第一の分類結果と、前記相対位置に関する事前情報に基づいて、前記画像領域を決定することを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理装置。
【請求項17】
三次元医用画像を取得する取得ステップと、前記三次元医用画像を構成する複数の画素のそれぞれを、第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく第一の分類器を用いて分類し、第一の分類結果を取得する第一の分類ステップと、
前記第一の分類結果に基づいて、前記三次元医用画像から少なくとも第一の注目領域と第二の注目領域とを含む画像領域を分類対象とする画像領域として決定する決定ステップと、
前記決定ステップにより決定された前記画像領域に含まれる複数の画素のそれぞれを、前記第一の注目領域を表すクラスと前記第二の注目領域を表すクラスのうち、少なくとも一方を含む複数のクラスを分類するように学習した機械学習に基づく第二の分類器を用いて分類し、第二の分類結果を取得する第二の分類ステップと、
前記第一の分類結果と前記第二の分類結果とを統合して第三の分類結果を取得する統合ステップと、を有し、
前記第一の分類器は、第一の教示データセットを用いて学習された分類器であり、
前記第二の分類器は、第二の教示データセットを用いて学習された分類器であり、
前記第二の教示データセットに対応する学習範囲は、前記第一の教示データセットに対応する学習範囲よりも狭い範囲であることを特徴とする画像処理方法。
【請求項18】
請求項１７に記載の画像処理方法をコンピュータで実行するためのプログラム。
【請求項19】
三次元医用画像を取得する取得部と、
前記取得部により取得された前記三次元医用画像を構成する複数の画素のそれぞれを、
第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく第一の分類器を用いて分類し、第一の分類結果を取得する第一の分類部と、
前記第一の分類結果に基づいて、前記三次元医用画像から少なくとも前記第一の注目領域と、第二の注目領域とを含む画像領域を分類対象とする画像領域として決定する決定部と、
前記決定部により決定された前記画像領域に含まれる複数の画素のそれぞれを、前記第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく第二の分類器を用いて分類し、第二の分類結果を取得する第二の分類部と、
前記第一の分類結果に基づく第一の注目領域と、前記第二の分類結果に基づく第一の注目領域と、を統合して第三の分類結果を取得する統合部と、
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習に基づいて注目領域の抽出を行う画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
画像処理技術の一つとして、セグメンテーションがある。セグメンテーションとは、画像中に存在する注目領域と注目領域以外の領域を区別する処理のことであり、領域抽出、領域分割、画像分割などとも呼ばれる。これまでに、多くのセグメンテーション手法が提案されており、近年では非特許文献１に開示されているような機械学習に基づく手法が注目されている。
【0003】
機械学習に基づく手法では、教示データと呼ばれる学習画像と正解画像の組による分類器の学習が必要である。ここで、学習画像とは実空間中に存在する注目物体を撮像装置で撮影することで得られる画像のことであり、学習画像には注目物体の像が描出されている。学習画像中に描出されている注目物体の像を注目領域と呼ぶ。正解画像とは学習画像に対応して存在している画像である。正解画像には正解領域が描画されている。正解領域は、対応する学習画像のどの位置に注目領域が描出されているかを示す。
【先行技術文献】
【非特許文献】
【0004】
【文献】Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ，ｅｔ ａｌ．“Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔｔｉｏｎ”，ＭＩＣＣＡＩ，２０１５
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、画像によって注目物体とともに写りこんでいる物体が異なるため、機械学習に基づく単一の分類器では、注目領域の抽出を失敗しやすい領域が存在する。
【課題を解決するための手段】
【0006】
本発明に係る画像処理装置は、三次元医用画像を取得する取得部と、取得部により取得された三次元医用画像を構成する複数の画素のそれぞれを、第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく第一の分類器を用いて分類し、第一の分類結果を取得する第一の分類部と、第一の分類結果に基づいて、三次元医用画像から少なくとも第一の注目領域と、第二の注目領域とを含む画像領域を分類対象とする画像領域として決定する決定部と、決定部により決定された画像領域に含まれる複数の画素のそれぞれを、第一の注目領域を表すクラスと第二の注目領域を表すクラスのうち、少なくとも一方を含む複数のクラスを分類するように学習した機械学習に基づく第二の分類器を用いて分類し、第二の分類結果を取得する第二の分類部と、第一の分類結果と第二の分類結果とを統合して第三の分類結果を取得する統合部と、を有する。
を備える。
を備える。
【発明の効果】
【0007】
本発明の開示によれば、注目領域の抽出が失敗しやすい領域においても、注目領域の抽出精度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】第一の実施形態に係る画像処理装置の機能構成の一例を示す図。
【図2】第一の実施形態に係る画像処理装置のハードウェア構成の一例を示す図。
【図3】第一の実施形態に係る画像処理装置の処理手順の一例を示すフローチャート。
【図4】第一の実施形態に係る画像の一例を説明する図。
【図5】第一の実施形態に係る画像処理装置の学習に関する機能構成の一例を示す図。
【図6】第一の実施形態に係る画像処理装置の学習に関する処理手順の一例を示す図。
【図7】第一の実施形態に係る教示データの一例を説明する図。
【図8】第一の実施形態に係る画像処理装置の出力の一例を示す図。
【図9】第三の実施形態に係る画像処理装置の処理手順の一例を示す図。
【図10】第三の実施形態に係る画像の一例を説明する図。
【発明を実施するための形態】
【0009】
以下、図面を参照して本明細書に開示の画像処理装置の好ましい実施形態について説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面では適宜、構成要素、部材、処理の一部は省略して表示する。以下では、画像に含まれる画素のそれぞれにラベルまたはラベルに準ずる値（尤度など）を割り当てることを領域抽出として説明を行う。
【0010】
以下では、Ｘ線コンピュータ断層像（Ｘ線ＣＴ）装置で撮影された三次元断層画像をセグメンテーションの対象画像とし、三次元断層画像中に描出されている肝臓をセグメンテーションにおける注目物体として例に挙げ、説明する。
【0011】
肝臓は人体において複数の臓器と隣接している。肝臓と隣接する複数の臓器の中には、三次元断層画像上で肝臓と類似する濃度値を有する臓器が含まれている。
【0012】
そのため、機械学習に基づく分類器により肝臓に対応する領域を抽出すると、肝臓に隣接する臓器との境界付近で領域の抽出が失敗することがある。
【0013】
例えば、心臓は肝臓と隣接する臓器であり、撮像条件によっては肝臓と類似する濃度値を持つ臓器である。実際には、肝臓と心臓の間には横隔膜が存在するが、横隔膜はＸ線ＣＴ装置で撮像された三次元断層画像において視認することが難しいため、ここでは肝臓と心臓は隣接していると表現する。肝臓と心臓が隣接している場合に、機械学習に基づく分類器は肝臓と心臓の境界付近で、肝臓領域の抽出不足が生じたり、あるいは心臓領域を肝臓領域として誤って抽出したりすることがある。
【0014】
したがって、三次元断層画像中に描出される肝臓領域の抽出は、本明細書に開示する画像処理装置を適用するのに好適な事例の一つである。すなわち、以下より、三次元医用画像の一例を三次元断層画像とし、三次元断層画像中に描出されている肝臓と心臓をそれぞれ第一の注目領域と第二の注目領域（第一の注目領域に隣接する注目領域）の一例として扱う。即ち、第一の注目領域と第二の注目領域が互いに隣接した領域であることを特徴とする。以降では、注目領域以外の領域をその他の領域と表現する。
【0015】
なお、本明細書に開示の画像処理装置は、人体のあらゆる構造物に対して適用可能である。また、画像の種類についても同様であり、核磁気共鳴画像（ＭＲＩ）装置、ポジトロン断層撮像（ＰＥＴ）装置、三次元超音波撮像装置などで撮像された三次元医用画像にも適用可能である。
【0016】
以下では、機械学習に基づく分類器として、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を例にあげて、各実施形態を説明する。また、以下では画像に含まれる複数の画素のそれぞれに所定のラベル値あるいはそれに準ずる数値を付与することを領域抽出と呼ぶ。
【0017】
また、分類器を学習させる際に用いる教示データのうち、正解画像が表す対象をクラスと呼ぶ。例えば、肝臓と肝臓以外を分類させる場合には、肝臓を表すクラスと肝臓以外を表すクラスのそれぞれに対応する正解画像を与え、分類器を学習する。学習した分類器は、入力された三次元医用画像を構成する複数の画素のそれぞれが、肝臓を表すクラスか、肝臓以外を表すクラスかを分類結果として出力する。即ち、当該教示データを学習させることで作成された分類器は、三次元医用画像が入力されると、三次元医用画像を構成する複数の画素のそれぞれを学習したクラスのいずれかに分類をする。
【実施例】
【0018】
＜第一の実施形態＞
本実施形態では、まず第一の分類器により、三次元断層画像を構成する複数の画素のそれぞれを肝臓（第一の注目物体）、心臓（第一の注目物体に隣接する第二の注目物体）、その他に分類する。すなわち、三次元断層画像から、肝臓領域と心臓領域を抽出する。次に、第一の分類器による抽出結果に基づいて、肝臓と心臓がともに存在する体軸断層画像を特定する。ここで、体軸断層画像とは、三次元断層画像を構成する二次元断層画像である。体軸断層画像は、スライス画像やアキシャル断面画像とも呼ばれる。次に、特定した体軸断層画像を基準として、第二の分類器の分類対象となる画像領域を決定する。そして、第二の分類器によって分類対象の画像領域から肝臓領域を抽出する。最後に、第一の分類器によって抽出した肝臓領域と、第二の分類器によって抽出した肝臓領域とを統合して、統合後の肝臓領域の抽出結果を生成する。上述の通り、第一の分類器および第二の分類器は、画像から注目領域を抽出するＣＮＮである。本実施形態では、第一の分類器は非特許文献１に記載のＵ－Ｎｅｔを利用し、第二の分類器はＵ－Ｎｅｔを三次元に拡張したネットワークを利用する。便宜上、以下では前者を２Ｄ－Ｕ－Ｎｅｔと呼び、後者を３Ｄ－Ｕ－Ｎｅｔと呼ぶ。即ち、画像処理装置１００における第一の分類器および第二の分類器は深層学習に基づいて学習された分類器である。
本実施形態では、まず第一の分類器により、三次元断層画像を構成する複数の画素のそれぞれを肝臓（第一の注目物体）、心臓（第一の注目物体に隣接する第二の注目物体）、その他に分類する。すなわち、三次元断層画像から、肝臓領域と心臓領域を抽出する。次に、第一の分類器による抽出結果に基づいて、肝臓と心臓がともに存在する体軸断層画像を特定する。ここで、体軸断層画像とは、三次元断層画像を構成する二次元断層画像である。体軸断層画像は、スライス画像やアキシャル断面画像とも呼ばれる。次に、特定した体軸断層画像を基準として、第二の分類器の分類対象となる画像領域を決定する。そして、第二の分類器によって分類対象の画像領域から肝臓領域を抽出する。最後に、第一の分類器によって抽出した肝臓領域と、第二の分類器によって抽出した肝臓領域とを統合して、統合後の肝臓領域の抽出結果を生成する。上述の通り、第一の分類器および第二の分類器は、画像から注目領域を抽出するＣＮＮである。本実施形態では、第一の分類器は非特許文献１に記載のＵ－Ｎｅｔを利用し、第二の分類器はＵ－Ｎｅｔを三次元に拡張したネットワークを利用する。便宜上、以下では前者を２Ｄ－Ｕ－Ｎｅｔと呼び、後者を３Ｄ－Ｕ－Ｎｅｔと呼ぶ。即ち、画像処理装置１００における第一の分類器および第二の分類器は深層学習に基づいて学習された分類器である。
【0019】
ここで第一の分類器と第二の分類器の各々の性質を述べる。第一の分類器は、三次元断層画像を構成する体軸断層画像の夫々から肝臓領域を抽出できるように学習されている。しかし、第一の分類器による領域の抽出は、肝臓と心臓の境界付近の画素において、誤分類が生じることがある。ここでは、第一の分類器は肝臓、心臓、肝臓と心臓以外のその他の領域を表す３つのクラスを分類するように学習させているものとする。
【0020】
例えば、肝臓であるはずの画素を心臓（あるいは肝臓と心臓以外のその他の領域）として誤分類する（以下、抽出不足）、あるいは心臓であるはずの画素を肝臓として誤分類（以下、誤抽出）することがある。一方で、第二の分類器は、三次元断層画像内における特定の局所的な範囲から肝臓領域を抽出できるように学習されている。局所的な範囲とは、肝臓と心臓がともに描出されている画像領域である。すなわち、第二の分類器は、肝臓と心臓が両者ともに写りこんでいる画像に対して特化した分類器であり、第一の分類器に比べて当該画像領域における肝臓と心臓の分類精度が高い。
【0021】
以上のように、第一の分類器と第二の分類器はそれぞれ異なる性質を持っている。故に、統合部１６０は第一の分類器と第二の分類器のそれぞれの性質を考慮し、第一の分類器による肝臓領域の抽出結果と第二の分類器による肝臓領域の抽出結果とを統合する。具体的には、第二の分類器の分類対象となる画像領域には第二の分類器による肝臓領域の抽出結果を用い、その他の画像領域には第一の分類器による肝臓領域の抽出結果を用いる。
【0022】
本実施形態において、本明細書で開示される発明は画像処理装置１００、画像処理装置５００を用いて実現される。なお、画像処理装置１００内に、画像処理装置５００の構成を有していても、それぞれの画像処理装置が異なる装置から構成されてもよい。
【0023】
画像処理装置１００では、三次元医用画像が入力されると、二つの識別器（第一の分類器と第二の分類器）を該三次元医用画像に適用して、該三次元医用画像中に描出されている注目領域を取得する。画像処理装置５００では、画像処理装置１００を構成する第一の分類器と第二の分類器の学習を行う。以下では、画像処理装置１００により注目領域を取得する工程を推論工程と呼び、画像処理装置５００により第一の分類器と第二の分類器を学習する工程を学習工程と呼ぶ。なお、それぞれの画像処理装置における工程は同一の画像処理装置内で実施されるものであってもよいし、異なる画像処理装置で実施されてもよい。
【0024】
［推論工程］
まず、本実施形態に係る画像処理装置１００の構成について説明する。
まず、本実施形態に係る画像処理装置１００の構成について説明する。
【0025】
以下、図１を参照して本実施形態に係る画像処理装置１００の機能構成について説明する。同図に示すように、画像処理装置１００は、三次元断層画像および、分類器のパラメータを取得する取得部１１０、三次元断層画像を分類する第一の分類部１２０、肝臓および心臓の領域が含まれる体軸断層画像を特定する特定部１３０を有する。さらに画像処理装置１００は、第二の分類器で分類をする画像領域を決定する決定部１４０、当該画像領域を分類する第二の分類部１５０、第一の分類部１２０による分類結果および第二の分類部１５０による分類結果を統合する統合部１６０で構成される。また、本実施形態に係る画像処理装置１００は外部に記憶装置７０を具備する。
【0026】
記憶装置７０はコンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ（ＨＤＤ）やソリッドステイトドライブ（ＳＳＤ）に代表される大容量情報記憶装置である。記憶装置７０は、少なくとも１つ以上の三次元断層画像と、第一の分類部１２０における分類器である第一の分類器のパラメータ、第二の分類部１５０における分類器である第二の分類器のパラメータを保持している。
【0027】
取得部１１０は、記憶装置７０から、肝臓領域の抽出を行う対象である三次元断層画像と、第一の分類部１２０における第一の分類器のパラメータ、第二の分類部１５０における第二の分類器のパラメータを取得する。分類器のパラメータとは、分類器を機械学習に基づく学習を行い生成されたパラメータである。なお、分類器のパラメータの生成については、後述の学習工程で述べる。そして、取得部１１０は、取得した三次元断層画像を第一の分類部１２０および第二の分類部１５０に送信する。また、第一の分類部１２０における第一の分類器のパラメータを第一の分類部１２０に送信し、第二の分類部１５０における第二の分類器のパラメータを第二の分類部１５０に送信する。
【0028】
ここで、図４を参照して三次元断層画像について説明する。図４は、第一の実施形態に係る画像処理装置１００における三次元断層画像を構成する２つの断層画像を示している。図４（ａ）は体軸断層画像４１０であり、図４（ｂ）は冠状断層画像４２０である。三次元断層画像には、肝臓４５０と心臓４６０が描出されている。
【0029】
第一の分類部１２０は、取得部１１０から三次元断層画像と、第一の分類器のパラメータを取得する。次に、第一の分類部１２０は取得部１１０から取得した第一の分類器のパラメータに基づいて、第一の分類器を構成する。第一の分類部１２０における第一の分類器は２Ｄ－Ｕ－Ｎｅｔであるため、取得される第一の分類器のパラメータはネットワークの重みである。次に、２Ｄ－Ｕ－Ｎｅｔを利用することで三次元断層画像に対応する注目領域の抽出結果として第一の分類結果を得る。そして、第一の分類部１２０による第一の分類結果を特定部１３０、決定部１４０、統合部１６０に送信する。
【0030】
本実施形態において、第一の分類結果は、複数の画素の夫々が注目領域に属する尤度を０以上１以下の画素値で表現した尤度画像である。例えば、当該注目領域らしい画素には１に近い値を、当該注目領域らしくない画素には０に近い値が割り当てられている。尤度画像は三次元断層画像と同じ画像サイズである。
【0031】
なお、第一の分類結果は、注目領域らしさを表現できる画像であればいかなる画像であっても構わない。例えば、当該注目領域に属するか否かを二値の画素値で表現した二値マスク画像であってもよいし、各注目領域に関連付けられたラベル値を画素に割り当てた多値マスク画像であってもよいし、各注目領域を異なる範囲の画素値で表現した回帰画像であってもよい。回帰画像の場合、例えば第一の注目領域を１以上２未満、第二の注目領域を２以上３未満、その他の領域を０以上１未満の画素値で表現する。また、注目領域の抽出結果は、上述のように三次元断層画像と同じ画像サイズであってもよいし、異なる画像サイズであってもよい。即ち、第一の分類部１２０における第一の分類器は、第一の注目領域を表すクラスと、第二の注目領域を表すクラスとを少なくとも含む複数のクラスを分類するように学習した機械学習に基づく分類器であることを特徴とする。
【0032】
本実施形態において、第一の分類部１２０における２Ｄ－Ｕ－Ｎｅｔは、三次元断層画像を構成する体軸断層画像のそれぞれを入力とし、入力された体軸断層画像の複数の画素のそれぞれを肝臓、心臓、その他の領域を表すクラスに分類する。第一の分類部１２０における２Ｄ－Ｕ－Ｎｅｔは、体軸断層画像に対応する肝臓領域の二次元尤度画像と心臓領域の二次元尤度画像を生成する。そして、第一の分類部１２０は三次元断層画像を構成する体軸断層画像の夫々に対応する注目領域（肝臓領域、心臓領域）の二次元尤度画像を積層することで、三次元断層画像に対応する注目領域の尤度画像を生成する。
【0033】
特定部１３０は、第一の分類部１２０から注目領域の抽出結果である第一の分類結果を取得する。上述の通り、第一の分類結果は、肝臓領域を表す尤度画像と、心臓領域を表す尤度画像である。特定部１３０は、肝臓領域を表す尤度画像と心臓領域を表す尤度画像に基づいて、三次元断層画像のうち肝臓と心臓がともに描出されている一枚以上の体軸断層画像を特定する。そして、特定した体軸断層画像の情報である特定情報を決定部１４０に送信する。本実施形態において、特定情報は、三次元断層画像における当該体軸断層画像のスライスインデックスである。なお、特定情報は、断層画像の位置を特定できるものであればどのような情報でもよいため、例えば肝臓領域や心臓領域に含まれる画素の座標値などでもよい。決定部１４０は、特定部１３０から特定情報であるスライスインデックスを取得する。次に、スライスインデックスに基づいて、第二の分類部１５０の分類対象となる画像領域を決定する。そして、分類対象となる画像領域を示す情報を第二の分類部１５０と統合部１６０に送信する。本実施形態において、分類対象となる画像領域は、肝臓と心臓の境界を含むバウンディングボックスである。バウンディングボックスは複数の画素の座標値で表現されている。
【0034】
また、特定部１３０から送信される特定情報は、断層画像を必ずしも特定する必要はない。例えば後述する第一の注目領域と第二の注目領域との相対位置や、第一の分類部１２０による分類結果に基づいて、第二の分類部１５０による分類対象とする画像領域が決定されればよい。即ち、画像領域は、第二の分類部１５０による分類対象とされる画像領域である第一の注目領域と第二の注目領域とを含む断層画像に基づいて、決定部１４０は分類対象とする画像領域を決定する。
【0035】
第二の分類部１５０は、取得部１１０から三次元断層画像と、第二の分類器のパラメータを受信し、決定部１４０から分類対象となる画像領域を受信する。次に、第二の分類部１５０は取得部１１０から受信した第二の分類器のパラメータに基づいて、第二の分類器を構成する。第二の分類部１５０における第二の分類器は３Ｄ－Ｕ－Ｎｅｔである。そのため、第二の分類器のパラメータはネットワークの重みである。次に、三次元断層画像内の分類対象となる画像領域に対して３Ｄ－Ｕ－Ｎｅｔを利用することで、注目領域の抽出結果として第二の分類結果を得る。そして、注目領域の抽出結果を統合部１６０に送信する。ここで、第二の分類部１５０による注目領域の抽出結果である第二の分類結果は、上述した第一の分類部１２０による注目領域の抽出結果である第一の分類結果と同様の性質を持つ画像である。本実施形態において、第二の分類部１５０が抽出する注目領域は、肝臓領域である。すなわち、第二の分類部１５０は肝臓領域を注目領域として表す尤度画像を生成し、統合部１６０に送信する。また、尤度画像は分類対象となる画像領域と同じ画像サイズである。なお、尤度画像の画像サイズは、上述のように画像領域と同じ画像サイズであってもよいし、三次元断層画像と同じ画像サイズであってもよいし、その他の画像サイズであってもよい。
【0036】
即ち、第一の分類部１２０における第一の分類器および第二の分類部１５０における第二の分類器は、分類結果を尤度で出力することを特徴とする。
【0037】
統合部１６０は、決定部１４０から取得した画像領域を示す情報に基づいて、第一の分類部１２０から受信した尤度画像（第一の分類結果）と、第二の分類部１５０から受信する尤度画像（第二の分類結果）とを統合する。そして統合部１６０は、新たな尤度画像（第三の分類結果）を生成する。本実施形態では、セグメンテーションの注目物体が肝臓である。故に統合部１６０は、第一の分類部１２０から受信した第一の分類結果における肝臓領域の尤度画像と、第二の分類部１５０から受信した第二の分類結果における肝臓領域の尤度画像を統合する。そして統合部１６０は第三の分類結果として肝臓領域の新たな尤度画像を生成する。統合部１６０は、尤度に基づいた統合処理を行うことを特徴とする。即ち、本実施形態に記載の画像処理装置１００は、三次元医用画像を取得する取得部１１０と、取得部１１０により取得された三次元医用画像を構成する複数の画素のそれぞれを、第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく第一の分類器を用いて分類し、第一の分類結果を取得する第一の分類部１２０を有する。また画像処理装置１００は、三次元医用画像から少なくとも第一の注目領域と第二の注目領域とを含む画像領域を分類対象とする画像領域として決定する決定部１４０を有する。画像処理装置１００はさらに、決定部１４０によって決定された画像領域に含まれる複数の画素のそれぞれを、第一の注目領域を表すクラスと第二の注目領域を表すクラスのうち、少なくとも一方を含む複数のクラスを分類するように学習した機械学習に基づく第二の分類器を用いて分類し、第二の分類結果を取得する第二の分類部と、第一の分類結果と第二の分類結果とを統合して第三の分類結果を取得する統合部と、を有する。
【0038】
また、第一の分類結果に基づいて、三次元医用画像から少なくとも第一の注目領域と、第二の注目領域とを含む断層画像を特定する特定部１３０を有し、決定部１４０は、特定部１３０によって特定された断層画像に基づいて分類対象とする画像領域を決定することを特徴とする。
【0039】
以降では説明を簡易化するために、第一の分類部１２０によって得られた尤度画像をグローバル尤度画像と呼ぶ。また、第二の分類部１５０によって得られた尤度画像をローカル尤度画像と呼ぶ。さらに、統合部１６０で得られる統合後の尤度画像を統合尤度画像と呼ぶ。
【0040】
なお、図１に示した画像処理装置１００の各部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部は夫々ソフトウェアにより実現されているものとする。
【0041】
（ハードウェア構成）
図２は画像処理装置１００における推論時のハードウェア構成の一例を示す図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、主として各構成要素の動作を制御する。主メモリ２０２は、ＣＰＵ２０１が実行する制御プログラムを格納したり、ＣＰＵ２０１によるプログラム実行時の作業領域を提供したりする。磁気ディスク２０３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３等に格納されているプログラムを実行することにより、図１に示した画像処理装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。
図２は画像処理装置１００における推論時のハードウェア構成の一例を示す図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、主として各構成要素の動作を制御する。主メモリ２０２は、ＣＰＵ２０１が実行する制御プログラムを格納したり、ＣＰＵ２０１によるプログラム実行時の作業領域を提供したりする。磁気ディスク２０３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３等に格納されているプログラムを実行することにより、図１に示した画像処理装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。
【0042】
表示メモリ２０４は、表示用データを一時記憶する。モニタ２０５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ２０４からのデータに基づいて画像やテキスト等の表示を行う。マウス２０６及びキーボード２０７は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス２０８により互いに通信可能に接続されている。
【0043】
ＣＰＵ２０１はプロセッサの一例に相当する。画像処理装置１００は、ＣＰＵ２０１に加えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくともいずれかを有していてもよい。また、ＣＰＵ２０１に代えて、ＧＰＵやＦＰＧＡの少なくともいずれかを有していてもよい。主メモリ２０２、磁気ディスク２０３はメモリの一例に相当する。
【0044】
（処理手順）
次に、本実施形態における画像処理装置１００の処理手順について、図３を用いて一連のフローを説明する。
次に、本実施形態における画像処理装置１００の処理手順について、図３を用いて一連のフローを説明する。
【0045】
（ステップＳ３１０）
ステップＳ３１０において、取得部１１０は、記憶装置７０から三次元断層画像と、第一の分類器のパラメータと、第二の分類器のパラメータを取得する。そして、取得部１１０は、取得した三次元断層画像を第一の分類部および第二の分類部に送信する。また、第一の分類器のパラメータを第一の分類部１２０に送信し、第二の分類器のパラメータを第二の分類部１５０に送信する。
ステップＳ３１０において、取得部１１０は、記憶装置７０から三次元断層画像と、第一の分類器のパラメータと、第二の分類器のパラメータを取得する。そして、取得部１１０は、取得した三次元断層画像を第一の分類部および第二の分類部に送信する。また、第一の分類器のパラメータを第一の分類部１２０に送信し、第二の分類器のパラメータを第二の分類部１５０に送信する。
【0046】
（ステップＳ３２０）
ステップＳ３２０において、第一の分類部１２０は、取得部１１０から三次元断層画像と、第一の分類器のパラメータである２Ｄ－Ｕ－Ｎｅｔのネットワークの重みを取得する。次に、取得したネットワークの重みに基づいて、第一の分類器である２Ｄ－Ｕ－Ｎｅｔを構成する。次に、２Ｄ－Ｕ－Ｎｅｔを利用することで三次元断層画像から肝臓領域と心臓領域を抽出し、第一の分類結果として、肝臓領域のグローバル尤度画像と心臓領域のグローバル尤度画像を生成する。そして、グローバル尤度画像を特定部１３０、決定部１４０、統合部１６０に送信する。
ステップＳ３２０において、第一の分類部１２０は、取得部１１０から三次元断層画像と、第一の分類器のパラメータである２Ｄ－Ｕ－Ｎｅｔのネットワークの重みを取得する。次に、取得したネットワークの重みに基づいて、第一の分類器である２Ｄ－Ｕ－Ｎｅｔを構成する。次に、２Ｄ－Ｕ－Ｎｅｔを利用することで三次元断層画像から肝臓領域と心臓領域を抽出し、第一の分類結果として、肝臓領域のグローバル尤度画像と心臓領域のグローバル尤度画像を生成する。そして、グローバル尤度画像を特定部１３０、決定部１４０、統合部１６０に送信する。
【0047】
本実施形態における２Ｄ－Ｕ－Ｎｅｔは、入力を受け取る入力層、入力から特徴を抽出するＣｏｎｖｏｌｕｔｉｏｎ層やＰｏｏｌｉｎｇ層などの複数の中間層、抽出された特徴に基づいて画素ごとに領域を分類する出力層を連結することで構成される。取得部１１０から受信した２Ｄ－Ｕ－Ｎｅｔのネットワークの重みは、Ｃｏｎｖｏｌｕｔｉｏｎ層におけるフィルタの値などが保持されており、これを用いて構成することで入力から特徴を抽出して所望の出力を得られるようになる。ここで、２Ｄ－Ｕ－Ｎｅｔの入力は二次元の画像である。そのため、ステップＳ３２０では、三次元断層画像を構成する体軸断層画像を１枚ずつ２Ｄ－Ｕ－Ｎｅｔに入力する。図４における体軸断層画像４１０は、２Ｄ－Ｕ－Ｎｅｔへの入力の一例を示している。次に、複数の中間層により入力である体軸断層画像に対する特徴を抽出して、特徴マップを生成する。そして、出力層により、特徴マップに対してＳｏｆｔｍａｘ関数を適用することで、体軸断層画像４１０における複数の画素の夫々を肝臓、心臓、その他のクラスに分類し、肝臓領域と心臓領域の抽出結果を得る。すなわち、第一の分類部１２０における２Ｄ－Ｕ－Ｎｅｔにより体軸断層画像４１０に描出されている肝臓４５０のクラスに対する二次元尤度画像と、心臓４６０のクラスに対する二次元尤度画像を得る。上記の処理を第一の分類部１２０における２Ｄ－Ｕ－Ｎｅｔは、三次元断層画像を構成する体軸断層画像の夫々に対して実行する。そして、第一の分類部１２０はすべての体軸断層画像に対応する二次元尤度画像を積層することで、三次元断層画像に対応するグローバル尤度画像を生成する。
【0048】
ここで、図８を参照して、第一の分類部１２０による注目領域である肝臓の抽出結果について説明する。図８（ａ）は第一の分類部１２０による肝臓領域のグローバル尤度画像の体軸断面の一例（肝臓領域のグローバル体軸尤度画像８１１）を表しており、図４（ａ）の体軸断層画像４１０に対応した肝臓領域の尤度画像である。同様に、図８（ｂ）は第一の分類部１２０による肝臓領域のグローバル尤度画像の冠状断面の一例（肝臓領域のグローバル冠状尤度画像８２１）を表しており、図４（ｂ）の冠状断層画像４２０に対応した肝臓領域の尤度画像である。同図は、肝臓領域の尤度が高い部分を淡色で表し、肝臓領域の尤度が低い部分を濃色で表している。同図において、点線８６０は真の心臓領域の境界を表している。ここで、注目すべきは心臓を誤抽出している領域８７１が存在することである。上述の通り、第一の分類部１２０は肝臓と心臓の境界付近において、画素を誤分類しやすい。図８はこの現象を表しており、第一の分類部１２０は、本来は心臓であるはずの画素を肝臓として誤分類している。このように、第一の分類部１２０は、三次元断層画像を構成する体軸断層画像の夫々から肝臓領域を抽出することができるが、肝臓と心臓の境界付近の体軸断層画像における肝臓領域の抽出精度が充分でないという特性を持つ。
【0049】
なお、本実施形態において、第一の分類部１２０の分類器（第一の分類器）は２Ｄ－Ｕ－Ｎｅｔであったが、機械学習に基づく分類器であれば何でもよい。機械学習に基づく分類器には、例えば、上述したＵ－Ｎｅｔ以外のＣＮＮや他の深層学習技術、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｎｅ、ＡｄａＢｏｏｓｔなどがある。
【0050】
例えば第一の分類器がＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅである場合、分類器のパラメータは識別関数の重みベクトルの値、およびカーネルトリックを用いる場合はカーネル関数のパラメータである。第一の分類器がＡｄａＢｏｏｓｔである場合、分類器のパラメータは学習アルゴリズムにより選択された弱識別器、弱識別器のパラメータ、弱識別器に付与される重みである。これらの分類器を利用する場合、第一の分類部１２０は公知の方法で三次元断層画像から特徴を抽出し、抽出した特徴を分類器に入力することで、注目領域を抽出する。
【0051】
分類器がＣＮＮである場合、分類器のパラメータはネットワークの重みである。Ｕ－Ｎｅｔのように画像の形状を維持して出力するＣＮＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋに属するネットワーク）であれば、上述の２Ｄ－Ｕ－Ｎｅｔと同様の処理をすればよい。全結合層やＧｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ層により画像の形状を維持しないＣＮＮであれば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅなどと同様に、三次元断層画像から公知の方法で特徴を抽出し、抽出した特徴をＣＮＮに入力することで、注目領域を抽出する。
【0052】
なお、第一の分類部１２０の入力となる画像に対して、画像サイズや解像度の変更や濃度値の正規化などの任意の前処理を行ってもよい。機械学習に基づく分類器では、入力となる画像に対して、学習時と同様の前処理を行った方が高精度な抽出結果が得られやすい。そのため、例えば、学習時に濃度値を平均０、分散１になるように正規化を行っていた場合は第一の分類部１２０の入力となる画像に対して同様の濃度値の正規化を行ってから、第一の分類部１２０に入力する。また、画像サイズについても、例えば、画像の幅ｗ、高さｈを［ｗ、ｈ］＝［２５６、２５６］として分類器を学習していたならば、第一の分類部１２０の入力となる画像を、同様の画像サイズに変更してから第一の分類部１２０に入力する。
【0053】
以上のように、第一の分類部１２０は、２Ｄ－Ｕ－Ｎｅｔを利用することで、第一の分類結果として、三次元断層画像に対応する肝臓領域と心臓領域のグローバル尤度画像を生成する。
【0054】
（ステップＳ３３０）
ステップＳ３３０において、特定部１３０は、第一の分類部１２０から、第一の分類結果である三次元断層画像に対応する肝臓領域と心臓領域のグローバル尤度画像を受信する。そして、特定部１３０は、肝臓領域と心臓領域のグローバル尤度画像をもとに、肝臓領域と心臓領域がともに存在している体軸断層画像を特定することで、肝臓と心臓が描出されている可能性がある体軸断層画像を特定する。そして、特定した体軸断層画像のスライスインデックスを特定情報として決定部１４０に送信する。
ステップＳ３３０において、特定部１３０は、第一の分類部１２０から、第一の分類結果である三次元断層画像に対応する肝臓領域と心臓領域のグローバル尤度画像を受信する。そして、特定部１３０は、肝臓領域と心臓領域のグローバル尤度画像をもとに、肝臓領域と心臓領域がともに存在している体軸断層画像を特定することで、肝臓と心臓が描出されている可能性がある体軸断層画像を特定する。そして、特定した体軸断層画像のスライスインデックスを特定情報として決定部１４０に送信する。
【0055】
ここで、ステップＳ３３０において肝臓と心臓がともに存在している体軸断層画像を特定する工程について説明をする。
【0056】
まず、特定部１３０は、肝臓領域のグローバル尤度画像と心臓領域のグローバル尤度画像に対して、しきい値ｔを用いてしきい値処理をすることで、肝臓の一時的な領域マスクと心臓の一時的な領域マスクを生成する。例えば、しきい値ｔ＝０．５を用いて、注目領域の尤度が高い画素を１、注目領域の尤度が低い画素を０とすることで、夫々の注目領域を表す一時的な領域マスク画像を生成する。一時的な領域マスクには、孤立したノイズ領域が存在する可能性があり、肝臓領域と心臓領域がともに存在する体軸断層画像の特定精度が低下することがある。この場合、一時的な領域マスク内において、注目物体である肝臓領域や心臓領域は最大の領域成分として抽出されていると考えられるため、一時的な領域マスクの最大連結領域成分を取得することで、孤立したノイズ領域を削除する。
【0057】
得られた肝臓の一時的な領域マスクと心臓の一時的な領域マスクについて、それぞれの一時的な領域マスクのスライスを体軸方向に走査し、肝臓領域と心臓領域がともに存在する１つ以上のスライスのインデックスを特定する。本実施形態では、肝臓領域と心臓領域がともに存在するすべてのスライスインデックスの集合を特定情報とする。以降では、スライスインデックスの集合によって示されている範囲を特定範囲と呼ぶ。以上のように、特定部１３０は、第一の分類部１２０から得た第一の注目領域である肝臓領域と第二の注目領域である心臓領域の抽出結果をもとに、２つの注目領域が同時に存在する体軸断層画像を特定する。
【0058】
（ステップＳ３４０）
ステップＳ３４０において、決定部１４０は、第一の分類部１２０からグローバル尤度画像を受信する。また、特定部１３０から、特定情報である体軸断層画像のスライスインデックスの集合を受信する。そして、受信したスライスインデックスの集合に基づいて、第二の分類部１５０の分類対象となる画像領域を表現するバウンディングボックスを決定する。そして、バウンディングボックスを第二の分類部１５０に送信する。
ステップＳ３４０において、決定部１４０は、第一の分類部１２０からグローバル尤度画像を受信する。また、特定部１３０から、特定情報である体軸断層画像のスライスインデックスの集合を受信する。そして、受信したスライスインデックスの集合に基づいて、第二の分類部１５０の分類対象となる画像領域を表現するバウンディングボックスを決定する。そして、バウンディングボックスを第二の分類部１５０に送信する。
【0059】
本実施形態において、スライスインデックスの集合は、特定部１３０により肝臓領域と心臓領域がともに存在すると判定されたすべての体軸断層画像のスライスインデックスである。決定部１４０は、スライスインデックスの集合によって示される三次元断層画像中の範囲である特定範囲から第二の分類部１５０の分類対象となる画像領域を決定する。まず、決定部１４０は、肝臓領域のグローバル尤度画像と心臓領域のグローバル尤度画像における特定範囲の内部を対象として、肝臓領域と心臓領域を囲う最小のバウンディングボックスを決定する。バウンディングボックスは複数の座標値で表現されており、例えば［（ｘ＿０、ｙ＿０、ｚ＿０）、（ｘ＿１、ｙ＿１、ｚ＿１）］のように、バウンディングボックスを定義する直方体の対角を成す２つの頂点の座標値を持っている。さらに、第一の分類部１２０による注目領域の抽出結果（第一の分類結果）は、肝臓領域あるいは心臓領域が抽出不足となっている可能性もあるため、肝臓領域と心臓領域を囲う最小のバウンディングボックスに対して所定の余白を与えたバウンディングボックスを決定する。決定部１４０は、例えばｘ＿０、ｘ＿１、ｙ＿０、ｙ＿１に物理空間における１０ｍｍ分の画素を余白として与え、ｚ＿０、ｚ＿１に物理空間における１５ｍｍ分の画素を余白として与える。このように、決定部１４０は、各々の座標値に対して所定の値による余白を与える。図８におけるバウンディングボックス７３０は、決定部１４０が決定した第二の分類部１５０の分類対象となる画像領域の一例である。
【0060】
即ち、決定部１４０は、特定部１３０によって特定された断層画像に対して、第一の注目領域および第二の注目領域をすくなくとも含むバウンディングボックスを決定し、決定したバウンディングボックスに基づいて分類対象とする画像領域を決定することを特徴とする。以上のように、決定部１４０は、第二の分類部１５０の分類対象となる画像領域を示すバウンディングボックスを決定する。
【0061】
（ステップＳ３５０）
ステップＳ３５０において、第二の分類部１５０は、取得部１１０から、三次元断層画像と第二の分類器のパラメータを受信する。そして、受信したパラメータに基づいて、第二の分類器を構成する。また、決定部１４０から、第二の分類部１５０の分類対象となる画像領域を表現するバウンディングボックスを受信する。次に、第二の分類器を利用することで、三次元断層画像における第二の分類部１５０の分類対象となる画像領域から注目領域として肝臓領域を抽出し、第二の分類結果として、肝臓領域のローカル尤度画像を生成する。そして、第二の分類部１５０により生成された肝臓領域のローカル尤度画像を統合部１６０に送信する。
ステップＳ３５０において、第二の分類部１５０は、取得部１１０から、三次元断層画像と第二の分類器のパラメータを受信する。そして、受信したパラメータに基づいて、第二の分類器を構成する。また、決定部１４０から、第二の分類部１５０の分類対象となる画像領域を表現するバウンディングボックスを受信する。次に、第二の分類器を利用することで、三次元断層画像における第二の分類部１５０の分類対象となる画像領域から注目領域として肝臓領域を抽出し、第二の分類結果として、肝臓領域のローカル尤度画像を生成する。そして、第二の分類部１５０により生成された肝臓領域のローカル尤度画像を統合部１６０に送信する。
【0062】
本実施形態において、第二の分類部１５０で用いる第二の分類器は、３Ｄ－Ｕ－Ｎｅｔである。３Ｄ－Ｕ－Ｎｅｔは、上述の２Ｄ－Ｕ－Ｎｅｔと類似した構成となっている。相違点は、入力層が三次元画像を受け取ること、入力から特徴を抽出する中間層の処理の一部またはすべてが三次元処理により特徴抽出を行うことである。また、出力層の出力は入力された三次元画像に対応する三次元尤度画像である。
【0063】
本実施形態において、決定部１４０から受信した画像領域は、バウンディングボックスを表現する複数の座標値である。そのため、第二の分類部１５０の入力となる画像の画像サイズに適合するように、三次元断層画像からバウンディングボックスで指定された画像領域を切り出して部分的な三次元断層画像を生成し、部分的な三次元断層画像の画像サイズを変更する。画像サイズの変更は、バイリニア補間やニアレストネイバー補間などの公知の画像補間方法を用いればよい。このようにして得られた画像サイズ変更後の部分的な三次元断層画像を３Ｄ－Ｕ－Ｎｅｔに入力する。次に、複数の中間層により入力である画像サイズ変更後の部分的な三次元断層画像に対する特徴を抽出して、特徴マップを生成する。そして、出力層により、特徴マップに対してＳｉｇｍｏｉｄ関数を適用することで、特徴マップの各画素を０～１に正規化し、肝臓領域の抽出結果を得る。すなわち、画像サイズの変更後の部分的な三次元断層画像における肝臓領域の部分的な三次元尤度画像を得る。このようにして得られた肝臓領域の部分的な三次元尤度画像は、三次元断層画像とは異なる空間の尤度画像になっている。そのため、三次元断層画像と同一の空間になるように後処理を行う。具体的には、まず画像サイズ変更前の部分的な三次元断層画像と同じ画像サイズとなるように、部分的な三次元尤度画像の画像サイズを変更する。そして、三次元断層画像と同一サイズとなるように、部分的な三次元尤度画像の外側に画素をパディングし、肝臓領域のローカル尤度画像を生成する。パディングする画素の画素値は、例えば０にすればよい。
【0064】
ここで、図８を参照して、第二の分類部１５０による肝臓の抽出結果について説明する。図８（ｃ）は第二の分類部１５０による肝臓領域のローカル尤度画像の体軸断面の一例（肝臓領域のローカル体軸尤度画像８１２）を表しており、図４（ａ）の体軸断層画像４１０に対応した肝臓領域の尤度画像である。同様に、図８（ｄ）は第二の分類部１５０による肝臓領域のローカル尤度画像の冠状断面の一例（肝臓領域のローカル冠状尤度画像８２２）を表しており、図４（ｂ）の冠状断層画像４２０に対応した肝臓領域の尤度画像である。同図の通り、第二の分類部１５０は、バウンディングボックス７３０で示した画像領域の内側のみ抽出結果が得られる。第一の分類部１２０による抽出結果を示している図８（ａ）、図８（ｂ）と比べると、第二の分類部１５０による抽出結果は、領域８７１のような真の心臓領域（点線８６０）への誤抽出が少ない（この図の例では、存在しない）ことがわかる。上述の通り、第二の分類部１５０は、バウンディングボックス７３０で示したような画像領域においては、第一の分類部１２０よりも肝臓領域の抽出精度が高い傾向にあるという特性を持つ。
【0065】
なお、本実施形態において、第二の分類部１５０の分類器（第二の分類器）は３Ｄ－Ｕ－Ｎｅｔであったが、第一の分類部１２０と同様に、機械学習に基づく分類器であれば何でもよい。また、第二の分類部１５０の入力となる画像に対して、第一の分類部１２０と同様に、画像サイズの変更や濃度値の正規化などの任意の前処理を行ってもよい。
【0066】
以上のように、第二の分類部１５０は、３Ｄ－Ｕ－Ｎｅｔを利用することで、第二の分類部１５０の分類対象となる画像領域から、第二の分類結果として、肝臓領域のローカル尤度画像を生成する。
【0067】
（ステップＳ３６０）
ステップＳ３６０において、統合部１６０は、第一の分類部１２０から第一の分類結果であるグローバル尤度画像を受信する。また、第二の分類部１５０から、第二の分類結果であるローカル尤度画像を受信する。そして、決定部１４０から、第二の分類部１５０の分類対象となる画像領域を受信する。そして、統合部１６０は、決定部１４０から取得した第二の分類部１５０の分類対象となる画像領域に基づいて、グローバル尤度画像とローカル尤度画像を統合することで、第三の分類結果である統合尤度画像を生成する。本実施形態に係る画像処理装置は、肝臓を注目物体としているため、統合尤度画像は、肝臓領域の抽出結果である。そして、統合部１６０は、生成した統合尤度画像を記憶装置７０に出力する。
ステップＳ３６０において、統合部１６０は、第一の分類部１２０から第一の分類結果であるグローバル尤度画像を受信する。また、第二の分類部１５０から、第二の分類結果であるローカル尤度画像を受信する。そして、決定部１４０から、第二の分類部１５０の分類対象となる画像領域を受信する。そして、統合部１６０は、決定部１４０から取得した第二の分類部１５０の分類対象となる画像領域に基づいて、グローバル尤度画像とローカル尤度画像を統合することで、第三の分類結果である統合尤度画像を生成する。本実施形態に係る画像処理装置は、肝臓を注目物体としているため、統合尤度画像は、肝臓領域の抽出結果である。そして、統合部１６０は、生成した統合尤度画像を記憶装置７０に出力する。
【0068】
本実施形態において、統合部１６０が第一の分類部１２０から受信するグローバル尤度画像は肝臓領域のグローバル尤度画像と心臓領域のグローバル尤度画像である。また、統合部１６０が第二の分類部１５０から受信するローカル尤度画像は、肝臓領域のローカル尤度画像である。統合部１６０では、これらの尤度画像を統合し、肝臓領域の統合尤度画像を生成する。上述の通り、第一の分類部１２０による肝臓のグローバル尤度画像は、肝臓と心臓の境界付近の領域の抽出精度が低い。つまり、第二の分類部１５０の分類対象となる画像領域における領域の抽出精度が低い。そのため、統合部１６０は当該画像領域に含まれる画素については、第二の分類部１５０による肝臓領域のローカル尤度画像の画素値（尤度）を用いる。また、統合部１６０は第二の分類部１５０の分類対象となる画像領域外の画素については、肝臓領域のグローバル尤度画像の画素値を用いることで、２つの尤度画像を統合する。即ち、統合部１６０は、三次元医用画像のうち画像領域に含まれる画素について第二の分類結果を用い、三次元医用画像のうち画像領域に含まれない領域には第一の分類結果を用いた統合を行い第三の分類結果を得ることを特徴とする。
【0069】
肝臓領域のグローバル尤度画像の画素値をｐ＿ｇｌｏｂａｌ＾ｌｉｖｅｒ（ｉ）、肝臓領域のローカル尤度画像の画素値をｐ＿ｌｏｃａｌ＾ｌｉｖｅｒ（ｉ）、統合後の肝臓領域の尤度画像の画素値をｐ＿ｍｅｒｇｅ＿ｌｉｖｅｒ（ｉ）としたとき、上記の統合方法は数１のように表される。
【0070】
【数1】
【0071】
ここで、Ω＿ｌｏｃａｌは第二の分類部１５０の分類対象である画像領域を表している。
【0072】
以上のように、統合部１６０は、第一の分類部１２０で生成した第一の分類結果であるグローバル尤度画像と、第二の分類部１５０で生成した第二の分類結果であるローカル尤度画像を統合し、第三の分類結果である統合後の肝臓領域の尤度画像を生成する。
【0073】
ここで、図８を参照して、統合部１６０で得られる肝臓領域の抽出結果について説明する。図８（ｅ）は統合部１６０による肝臓領域の統合尤度画像の体軸断面の一例（肝臓領域の体軸断面の統合尤度画像８１３）を表しており、図４（ａ）の体軸断層画像４１０に対応した肝臓領域の尤度画像である。同様に、図８（ｆ）は統合部１６０による肝臓領域の統合尤度画像の冠状断面の一例（肝臓領域の冠状断面の統合尤度画像８２３）を表しており、図４（ｂ）の冠状断層画像４２０に対応した肝臓領域の尤度画像である。同図に示される肝臓領域の統合尤度画像は、図８（ａ）、図８（ｂ）に示される肝臓領域のグローバル尤度画像と同様に肝臓領域の全体が抽出されている。ただし、バウンディングボックス７３０内は、図８（ｃ）、図８（ｄ）に示される肝臓領域のローカル尤度画像の画素値が反映されているため、領域８７１のような真の心臓領域（点線８６０）への誤抽出が少ない（この図の例では存在しない）。
【0074】
以上の手順にしたがい、第一の実施形態に係る画像処理装置１００は、三次元断層画像から肝臓領域を抽出する。
【0075】
［学習工程］
次に、本実施形態に係る画像処理装置５００の構成について説明する。
次に、本実施形態に係る画像処理装置５００の構成について説明する。
【0076】
以下、図５を参照して本実施形態に係る画像処理装置５００の機能構成について説明する。同図に示すように、画像処理装置５００は、教示データ取得部５１０、第一の学習部５２０、第二の学習部５３０で構成される。また、本実施形態に係る分類器の学習を行う画像処理システムは、画像処理装置５００の外部に記憶装置７０を具備する。
【0077】
教示データ取得部５１０は、記憶装置７０から１つ以上の教示データを取得する。そして、教示データ取得部５１０は取得した教示データを第一の学習部５２０と第二の学習部５３０に送信する。以降では、教示データ取得部５１０が記憶装置７０から取得した１つ以上の教示データを、教示データセットのマスターと呼ぶ。本実施形態において、教示データを構成する学習画像は学習用の三次元医用画像である三次元断層画像であり、正解画像は三次元断層画像に対応する注目領域を表すマスク画像である。図７を参照して、教示データについて説明する。図７（ａ）は、学習用の三次元医用画像（三次元断層画像）を構成する１つの断面（体軸断層画像７１０）を示している。また、図７（ｂ）、図７（ｃ）、図７（ｄ）はそれぞれ、学習用の三次元医用画像内の体軸断層画像７１０に対応する肝臓領域の二次元の正解画像７１１、心臓領域の二次元の正解画像７１２、その他の領域の二次元の正解画像７１３を表している。肝臓領域の二次元の正解画像７１１には体軸断層画像７１０内に存在する肝臓７５０に対応する肝臓領域７５１が存在し、同様に心臓領域の二次元の正解画像７１３には心臓７６０に対応する心臓領域７６１が存在する。これらの正解画像は、２値画像であり、それぞれの正解画像間で重複した領域が存在しない。すなわち、肝臓領域の正解画像におけるある画素の画素値が１である場合に、心臓領域の正解画像およびその他の領域の正解画像の当該画素は必ず画素値が０となる。このような性質を持つため、その他の領域については、肝臓領域と心臓領域以外のすべての領域として表すことができるため、教示データ取得部５１０で取得しなくてもよい。第一の学習部５２０は、教示データ取得部５１０から教示データセットのマスターを受信する。次に、教示データセットのマスターを構成する教示データに対して、第一の学習範囲を設定し、第一の学習範囲にしたがって各教示データを前処理することで、第一の教示データセットを生成する。そして、第一の学習部５２０は第一の教示データセットを用いて第一の分類器を学習し、学習によって得られた第一の分類器のパラメータを記憶装置７０に記録する。即ち、第一の分類部１２０における第一の分類器は、学習用の三次元医用画像に基づく第一の教示データセットによって学習された分類器から構成されることを特徴とする。
【0078】
第一の学習範囲とは、教示データを構成する学習用の三次元医用画像において、第一の分類器の学習対象となる画像領域である。本実施形態では、学習用の三次元医用画像を構成する体軸断層画像のうち、肝臓領域と心臓領域のうち少なくとも一方が描出されている体軸断層画像を第一の学習範囲とする。画像処理装置５００における第一の学習部５２０において学習を行う第一の分類器は、画像処理装置１００における第一の分類部１２０における第一の分類器と同一の構成である。すなわち、第一の学習部５２０が学習する分類器は、２Ｄ－Ｕ－Ｎｅｔである。第一の学習部５２０は、２Ｄ－Ｕ－Ｎｅｔを学習することで、第一の分類器のパラメータである２Ｄ－Ｕ－Ｎｅｔのネットワークの重みを得る。
【0079】
第二の学習部５３０は、教示データ取得部５１０から教示データセットのマスターを受信する。次に、教示データセットのマスターを構成する教示データに対して、第二の学習範囲を設定し、第二の学習範囲にしたがって各教示データを前処理することで、第二の教示データセットを生成する。そして、第二の教示データセットを用いて第二の分類器を学習し、学習によって得られた第二の分類器のパラメータを記憶装置７０に記録する。即ち、第二の分類部１５０における第二の分類器は、学習用の三次元医用画像に基づく第二の教示データセットによって学習された分類器から構成されることを特徴とする。第二の学習範囲とは、第一の学習範囲と同様に、教示データを構成する学習用の三次元医用画像において、第二の分類器の学習対象となる画像領域である。本実施形態では、学習用の三次元医用画像内の肝臓領域と心臓領域の境界付近の局所的な画像領域を第二の学習範囲とする。故に、肝臓領域と心臓領域のうち少なくとも一方が描出されている体軸断層画像を対象とする第一の学習範囲に比べて、肝臓領域と心臓領域の境界付近の局所的な画像領域である第二の学習範囲は、学習用の三次元医用画像を構成する体軸断層画像における範囲が狭い。即ち、第一の教示データセットと、第二の教示データセットは、学習用の三次元医用画像における異なる学習範囲を対象とした教示データセットであることを特徴とする。また第二の教示データセットの学習範囲は、第一の教示データセットの学習範囲よりも狭い範囲を対象とした学習範囲であることを特徴とする。画像処理装置５００における第二の学習部５３０が学習する第二の分類器は、画像処理装置１００における第二の分類部１５０における第二の分類器と同一の構成である。すなわち、第二の学習部５３０が学習する分類器は、３Ｄ－Ｕ－Ｎｅｔである。第二の学習部５３０は、３Ｄ－Ｕ－Ｎｅｔを学習することで、第二の分類器のパラメータである３Ｄ－Ｕ－Ｎｅｔのネットワークの重みを得る。なお、図５に示した画像処理装置５００の各部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部は夫々ソフトウェアにより実現されているものとする。
【0080】
画像処理装置５００におけるハードウェア構成は、図２に示した推論時のハードウェア構成と同様であるため、説明を省略する。
【0081】
（処理手順）
次に、本実施形態における画像処理装置５００の処理手順について、図６を用いて説明する。
次に、本実施形態における画像処理装置５００の処理手順について、図６を用いて説明する。
【0082】
（ステップＳ６１０）
ステップＳ６１０において、教示データ取得部５１０は記憶装置７０から１つ以上の教示データを受信することで、教示データセットのマスターを構成する。そして、教示データセットのマスターを第一の学習部５２０と第二の学習部５３０に送信する。
ステップＳ６１０において、教示データ取得部５１０は記憶装置７０から１つ以上の教示データを受信することで、教示データセットのマスターを構成する。そして、教示データセットのマスターを第一の学習部５２０と第二の学習部５３０に送信する。
【0083】
（ステップＳ６２０）
ステップＳ６２０において、第一の学習部５２０は、教示データ取得部５１０から教示データセットのマスターを受信する。次に、教示データセットのマスターを構成する教示データである学習用の三次元医用画像対して第一の学習範囲を設定し、第一の学習範囲にしたがって各教示データセットを前処理することで、第一の教示データセットを生成する。そして、第一の教示データセットを用いて第一の分類器を学習し、学習によって得られた第一の分類器のパラメータを記憶装置７０に記録する。
ステップＳ６２０において、第一の学習部５２０は、教示データ取得部５１０から教示データセットのマスターを受信する。次に、教示データセットのマスターを構成する教示データである学習用の三次元医用画像対して第一の学習範囲を設定し、第一の学習範囲にしたがって各教示データセットを前処理することで、第一の教示データセットを生成する。そして、第一の教示データセットを用いて第一の分類器を学習し、学習によって得られた第一の分類器のパラメータを記憶装置７０に記録する。
【0084】
以下では、図６（ｂ）を用いて、ステップＳ６２０の詳細を説明する。
【0085】
（ステップＳ６２１）
ステップＳ６２１において、第一の学習部５２０は、第一の分類器である２Ｄ－Ｕ－Ｎｅｔの学習対象となる第一の学習範囲を設定する。
ステップＳ６２１において、第一の学習部５２０は、第一の分類器である２Ｄ－Ｕ－Ｎｅｔの学習対象となる第一の学習範囲を設定する。
【0086】
本実施形態において第一の学習範囲は、教示データを構成する学習用の三次元医用画像において、肝臓領域と心臓領域のうち少なくとも一方が描出されている体軸断層画像である。そのため、本ステップでは、教示データを構成する肝臓領域の正解画像と心臓領域の正解画像をそれぞれ体軸断層画像ごとに走査し、肝臓の正解領域または心臓の正解領域が存在する体軸断層画像のスライスインデックスの集合を得る。このスライスインデックスの集合を２Ｄ－Ｕ－Ｎｅｔの学習対象となる第一の学習範囲として設定する。すべての教示データについて、同様の処理を行い、教示データごとに第一の学習範囲を設定する。
【0087】
（ステップＳ６２２）
ステップＳ６２２において、第一の学習部５２０は、ステップＳ６２１で設定した第一の学習範囲に基づいて、教示データセットのマスターから第一の教示データセットを生成する。
ステップＳ６２２において、第一の学習部５２０は、ステップＳ６２１で設定した第一の学習範囲に基づいて、教示データセットのマスターから第一の教示データセットを生成する。
【0088】
ここで、第一の学習部５２０はステップＳ６２１において、教示データセットのマスターに含まれる教示データである学習用の三次元医用画像ごとに第一の学習範囲を設定した。そのため、本ステップでは、教示データごとに第一の学習範囲に含まれる体軸断層画像と、体軸断層画像に対応する二次元の正解画像とを抜き出すことでそれぞれの部分画像を生成し、これを新たな教示データとすることで、第一の教示データセットを構成する。したがって、第一の教示データセットは、肝臓領域と心臓領域のうち少なくとも一方が存在する画像のみで構成される。
【0089】
（ステップＳ６２３）
ステップＳ６２３において、第一の学習部５２０は、第一の教示データセットを用いて、第一の分類器を学習する。そして、学習によって得られた第一の分類器のパラメータを、記憶装置７０に記録する。
ステップＳ６２３において、第一の学習部５２０は、第一の教示データセットを用いて、第一の分類器を学習する。そして、学習によって得られた第一の分類器のパラメータを、記憶装置７０に記録する。
【0090】
本実施形態において、第一の学習部５２０で学習をする第一の分類器は２Ｄ－Ｕ－Ｎｅｔであり、第一の分類器のパラメータは２Ｄ－Ｕ－Ｎｅｔのネットワークの重みである。
【0091】
そのため、本ステップでは２Ｄ－Ｕ－Ｎｅｔに対して教示データを体軸断層画像ごとに入力し、公知の方法である誤差逆伝播法により、ネットワークの重みを更新する。この更新処理を、第一の教示データに含まれるすべてまたは一部の教示データを用いて１回以上行うことで、三次元断層画像から肝臓領域と心臓領域を抽出する２Ｄ－Ｕ－Ｎｅｔのネットワークの重みが得られる。
【0092】
なお、第一の分類器がＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ ＭａｃｈｉｎｅやＡｄａＢｏｏｓｔなどの場合においても、第一の教示データセットを用いて、公知の方法で分類器のパラメータを決定すればよい。各々の分類器のパラメータは上述の通りである。
【0093】
以上のように、第一の学習部５２０は、教示データセットを用いて第一の分類器である２Ｄ－Ｕ－Ｎｅｔを学習し、学習によって得られた２Ｄ－Ｕ－Ｎｅｔのネットワークの重みを記憶装置７０に記録する。
【0094】
なお、以上の説明では、第一の学習範囲を、肝臓領域と心臓領域のうち、少なくとも一方が存在する体軸断層画像としたが、これに限らない。例えば、学習用の三次元医用画像を構成するすべての体軸断層画像を第一の学習範囲としてもよい。つまり、教示データセットのマスターと第一の教示データセットは同一となる。このように第一の学習範囲を設定した場合、肝臓領域と心臓領域の少なくとも一方が存在する範囲だけで学習するよりも、肝臓領域と心臓領域が存在しない体軸断層画像において、孤立したノイズ領域を抽出することが低減される。その他、三次元断層画像から肝臓領域の全体を抽出できるような学習範囲であれば、いかなる学習範囲を設定してもよい。
【0095】
（ステップＳ６３０）
ステップＳ６３０において、第二の学習部５３０は、教示データ取得部５１０から教示データセットのマスターを受信する。次に、教示データセットのマスターを構成する教示データに対して第二の学習範囲を設定し、第二の学習範囲にしたがって各教示データセットを前処理することで、第二の教示データセットを生成する。そして、第二の教示データセットを用いて第二の分類器を学習し、学習によって得られた第二の分類器のパラメータを記憶装置７０に記録する。
ステップＳ６３０において、第二の学習部５３０は、教示データ取得部５１０から教示データセットのマスターを受信する。次に、教示データセットのマスターを構成する教示データに対して第二の学習範囲を設定し、第二の学習範囲にしたがって各教示データセットを前処理することで、第二の教示データセットを生成する。そして、第二の教示データセットを用いて第二の分類器を学習し、学習によって得られた第二の分類器のパラメータを記憶装置７０に記録する。
【0096】
以下では、図６（ｃ）を用いて、ステップＳ６３０の詳細を説明する。
【0097】
（ステップＳ６３１）
ステップＳ６３１において、第二の学習部５３０は、第二の分類器である３Ｄ－Ｕ－Ｎｅｔの学習対象となる第二の学習範囲を設定する。本実施形態において第二の学習範囲は、教示データを構成する学習用の三次元医用画像において、肝臓領域と心臓領域の境界付近の局所的な画像領域である。第一の学習範囲は肝臓領域と心臓領域の少なくとも一方が存在する体軸断層画像であったため、学習用の三次元医用画像における第二の学習範囲は第一の学習範囲よりも狭い。そのため、本ステップでは、まず教示データを構成する肝臓領域の正解画像と心臓領域の正解画像をそれぞれ体軸断層画像ごとに走査し、肝臓の正解領域または心臓の正解領域が同時に存在する複数の体軸断層画像を得る。その後、肝臓の正解領域と心臓の正解領域が同時に存在する複数の体軸断層画像について、肝臓の正解領域と心臓の正解領域を囲う最小のバウンディングボックスを決定する。この肝臓の正解領域と心臓の正解領域を囲う最小のバウンディングボックスが第二の学習範囲である。すべての教示データについて、同様の処理を行い、教示データごとに第二の学習範囲を設定する。
ステップＳ６３１において、第二の学習部５３０は、第二の分類器である３Ｄ－Ｕ－Ｎｅｔの学習対象となる第二の学習範囲を設定する。本実施形態において第二の学習範囲は、教示データを構成する学習用の三次元医用画像において、肝臓領域と心臓領域の境界付近の局所的な画像領域である。第一の学習範囲は肝臓領域と心臓領域の少なくとも一方が存在する体軸断層画像であったため、学習用の三次元医用画像における第二の学習範囲は第一の学習範囲よりも狭い。そのため、本ステップでは、まず教示データを構成する肝臓領域の正解画像と心臓領域の正解画像をそれぞれ体軸断層画像ごとに走査し、肝臓の正解領域または心臓の正解領域が同時に存在する複数の体軸断層画像を得る。その後、肝臓の正解領域と心臓の正解領域が同時に存在する複数の体軸断層画像について、肝臓の正解領域と心臓の正解領域を囲う最小のバウンディングボックスを決定する。この肝臓の正解領域と心臓の正解領域を囲う最小のバウンディングボックスが第二の学習範囲である。すべての教示データについて、同様の処理を行い、教示データごとに第二の学習範囲を設定する。
【0098】
（ステップＳ６３２）
ステップＳ６３２において、第二の学習部５３０は、ステップＳ６３１で設定した第二の学習範囲に基づいて、教示データセットのマスターから第二の教示データセットを生成する。
ステップＳ６３２において、第二の学習部５３０は、ステップＳ６３１で設定した第二の学習範囲に基づいて、教示データセットのマスターから第二の教示データセットを生成する。
【0099】
ここで、ステップＳ６３１において、教示データセットのマスターに含まれる教示データごとに第二の学習範囲を設定した。そのため、本ステップでは、教示データごとに第二の学習範囲に含まれる画素を抜き出すことで学習用の三次元医用画像と正解画像の部分画像を生成し、これを新たな教示データとすることで、第二の教示データセットを構成する。これにより、肝臓と心臓の境界付近の部分画像で構成される第二の教示データセットが得られる。
【0100】
図７におけるバウンディングボックス７３０は、本ステップで生成される部分画像を表す画像領域である。バウンディングボックス７３０の内部には肝臓と心臓が描出されており、２つの臓器の境界が存在する。
【0101】
（ステップＳ６３３）
ステップＳ６３３において、第二の学習部５３０は、第二の教示データセットを用いて、第二の分類器を学習する。そして、学習によって得られた第二の分類器のパラメータを、記憶装置７０に記録する。
ステップＳ６３３において、第二の学習部５３０は、第二の教示データセットを用いて、第二の分類器を学習する。そして、学習によって得られた第二の分類器のパラメータを、記憶装置７０に記録する。
【0102】
本実施形態において、第二の分類器は３Ｄ－Ｕ－Ｎｅｔであり、第二の分類器のパラメータは３Ｄ－Ｕ－Ｎｅｔのネットワークの重みである。学習についてはステップＳ６２３と同様である。
【0103】
以上のように、第二の学習部５３０は、教示データセットを用いて３Ｄ－Ｕ－Ｎｅｔを学習し、学習によって得られた３Ｄ－Ｕ－Ｎｅｔのネットワークの重みを記憶装置７０に記録する。
【0104】
なお、ステップ６３２において、第二の学習範囲に含まれる画素のみから部分画像を１つ生成したが、第二の学習範囲に余白を追加して、部分画像を生成してもよい。例えば、第二の学習範囲を［（ｘ＿０、ｙ＿０、ｚ＿０）、（ｘ＿１、ｙ＿１、ｚ＿１）］としたときに、ｘ＿０、ｘ＿１、ｙ＿０、ｙ＿１に対して物理空間における０～１０ｍｍ分の画素、ｚ＿０、ｚ＿１に対して物理空間における０～１５ｍｍ分の画素の余白をランダムに与えてもよい。もちろん各座標に対して固定値の余白を与えてもよい。また、余白を変更して複数の部分画像を生成してもよい。これにより、教示データを水増しすることができるため、分類器のロバスト性を向上させることができる。以上の手順にしたがい、第一の実施形態に係る画像処理装置５００は、画像処理装置１００における第一の分類部１２０の第一の分類器と、第二の分類部１５０の第二の分類器の、それぞれの分類器のパラメータを生成する。
【0105】
（第一の分類器のバリエーション）
上述のように、本実施形態に係る第一の分類部１２０は、三次元医用画像に含まれる複数の画素のそれぞれを肝臓（第一の注目領域）、心臓（第二の注目領域）、その他に分類する３クラスの分類器であった。しかしながら、第一の分類部１２０の構成はこれに限らない。例えば、三次元医用画像を構成する複数の画素のそれぞれを肝臓かその他に分類する２クラスの分類器と、三次元医用画像を構成する複数画素のそれぞれを心臓かその他に分類する２クラスの分類器とを組み合わせるなど、第一の分類部１２０における第一の分類器は複数の分類器で構成されてもよい。それ以外にも、複数の画素のそれぞれを肝臓、心臓、肺、その他に分類するような３クラス以上の分類器を用いてもよい。また、第一の分類部１２０が分類するクラスは、上記に例示したクラスでなくてもよい。
上述のように、本実施形態に係る第一の分類部１２０は、三次元医用画像に含まれる複数の画素のそれぞれを肝臓（第一の注目領域）、心臓（第二の注目領域）、その他に分類する３クラスの分類器であった。しかしながら、第一の分類部１２０の構成はこれに限らない。例えば、三次元医用画像を構成する複数の画素のそれぞれを肝臓かその他に分類する２クラスの分類器と、三次元医用画像を構成する複数画素のそれぞれを心臓かその他に分類する２クラスの分類器とを組み合わせるなど、第一の分類部１２０における第一の分類器は複数の分類器で構成されてもよい。それ以外にも、複数の画素のそれぞれを肝臓、心臓、肺、その他に分類するような３クラス以上の分類器を用いてもよい。また、第一の分類部１２０が分類するクラスは、上記に例示したクラスでなくてもよい。
【0106】
上述のように、本実施形態に係る第一の分類部１２０における第一の分類器は、二次元画像の一例である体軸断層画像を入力として、入力された体軸断層画像に対応する注目領域の抽出結果を出力する分類器であった。しかしながら、第一の分類部１２０の入出力はこれに限らない。例えば、三次元断層画像を入力として、三次元断層画像に対応する注目領域の抽出結果を出力する分類器でもよい。また、第一の分類部１２０における第一の分類器は三次元断層画像を構成する部分的な三次元断層画像を入力として、部分的な三次元断層画像に対応する注目領域の抽出結果を出力する分類器であってもよい。また、上記のような体軸断層画像を入力とする分類器ではなく、冠状断層画像や矢状断層画像などの任意の断面の断層画像を入力とする分類器であってもよい。
【0107】
（第二の分類器のバリエーション）
上述のように、本実施形態に係る第二の分類部１５０における第二の分類器は、三次元医用画像に含まれる複数の画素のそれぞれを肝臓（第一の注目領域）かその他に分類する２クラスの分類器であった。しかしながら、第二の分類部１５０の構成はこれに限らない。例えば第二の分類部１５０における第二の分類器は、三次元医用画像を構成する複数の画素のそれぞれを心臓（第二の注目領域）かその他に分類する２クラスの分類器であってもよい。この場合、統合部１６０は、第一の分類部１２０により得られた肝臓領域のグローバル尤度画像と、第二の分類部１５０により得られた心臓領域のローカル尤度画像を統合する。統合方法は、例えば、数２で統合すればよい。
上述のように、本実施形態に係る第二の分類部１５０における第二の分類器は、三次元医用画像に含まれる複数の画素のそれぞれを肝臓（第一の注目領域）かその他に分類する２クラスの分類器であった。しかしながら、第二の分類部１５０の構成はこれに限らない。例えば第二の分類部１５０における第二の分類器は、三次元医用画像を構成する複数の画素のそれぞれを心臓（第二の注目領域）かその他に分類する２クラスの分類器であってもよい。この場合、統合部１６０は、第一の分類部１２０により得られた肝臓領域のグローバル尤度画像と、第二の分類部１５０により得られた心臓領域のローカル尤度画像を統合する。統合方法は、例えば、数２で統合すればよい。
【0108】
【数2】
【0109】
ここで、ｐ＿ｌｏｃａｌ＾ｈｅａｒｔ（ｉ）は心臓領域のローカル尤度画像の画素値であり、ｓは画素値に対するしきい値である。この数式は、画像領域内のある画素について、第二の分類部１５０が心臓領域の尤度が高いと推定した場合に、第二の分類部１５０が推定した心臓領域の尤度から肝臓領域の尤度を算出することを意味している。
【0110】
また、第二の分類部１５０は、複数の画素のそれぞれを肝臓、心臓、その他のクラスに分類する２クラス以上の分類器で構成してもよいし、肝臓かその他のクラスに分類する２クラスの分類器と、心臓かその他に分類する２クラスの分類器とを組み合わせるなど、複数の分類器で構成してもよい。即ち、第二の分類部１５０における複数の分類器は、少なくとも第一の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく分類器と、第二の注目領域を表すクラスを含む複数のクラスを分類するように学習した機械学習に基づく分類器を含むことを特徴とする。これらの場合、統合部１６０は、セグメンテーションの注目物体である肝臓の領域の抽出結果が得られるような統合方法であればいかなる方法であってもよい。例えば、第一の分類器による肝臓領域のグローバル尤度画像と、第二の分類器による肝臓領域のローカル尤度画像のみを用いて統合してもよいし、肝臓領域のグローバル尤度画像と心臓領域のローカル尤度画像のみを用いて、数２で統合してもよい。また、第二の分類部１５０が分類するクラスは、上記に例示したクラスでなくてもよい。即ち、画像処理装置１００における第二の分類部１５０は、複数の分類器から構成されることを特徴とする。
【0111】
上述のように、本実施形態に係る第二の分類部１５０における第二の分類器は、三次元断層画像における部分的な三次元断層画像を入力として、注目領域の抽出結果を出力する分類器であった。しかしながら、第二の分類部１５０の入出力はこれに限らない。例えば、第二の分類部１５０における第二の分類器は三次元断層画像あるいは部分的な三次元断層画像を構成する二次元断層画像を入力として、二次元断層画像に対応する注目領域の抽出結果を出力する分類器でもよい。この場合は、二次元断層画像に対応する注目領域の抽出結果を積層することで、三次元断層画像に対する注目領域の抽出結果を生成する。
【0112】
また、第一の分類部１２０が、第一の注目領域と、第一の注目領域に隣接する複数の注目領域を抽出する場合、第二の分類部１５０は隣接する注目領域ごとに異なる複数の分類器で構成されていてもよい。例えば、第一の分類部１２０が第一の注目領域（肝臓）、第一の注目領域に隣接する第二の注目領域（心臓）、第二の注目領域とは異なる第一の注目領域に隣接する第三の注目領域（小腸）を抽出する場合を例に挙げる。この場合、特定部１３０は、夫々の組み合わせ（肝臓と心臓、肝臓と小腸）について、第一の分類結果に基づき、夫々の臓器が同時に描出されている可能性がある体軸断層画像を特定する。また、決定部１４０は、夫々の組み合わせ（肝臓と心臓、肝臓と小腸）について、第二の分類部１５０の分類対象となる画像領域を決定する。そして、第二の分類部１５０は、第一の注目領域と第二の注目領域を分類する分類器と、第一の注目領域と第三の注目領域を分類する分類器で構成されており、夫々が分類対象とする画像領域に対して第二の分類を実行する。これにより、誤分類が生じやすい隣接物体が複数存在する場合にも、高精度に抽出できるようになる。
【0113】
（決定部のバリエーション）
上述のように、本実施形態に係る決定部１４０は、特定範囲内の肝臓領域と心臓領域を囲う最小のバウンディングボックスに対して、定数の余白を与えることで、第二の分類部１５０の分類対象となる画像領域を決定したが、これに限らない。例えば、第一の分類部１２０における肝臓領域の抽出結果が、心臓領域を誤抽出する傾向にあるのであれば、決定部１４０は特定範囲内の肝臓領域と心臓領域を囲う最小のバウンディングボックスに対して余白を与えなくてもよい。その他にも、第二の分類部１５０の入力となる画像サイズに適合するように、バウンディングボックスを決定してもよい。この場合は、第二の分類部１５０において、画像サイズの変更は行わなくてもよい。また、定数の余白を与える場合、分類器を学習する際に用いた余白を考慮して、余白の値を設定してもよい。例えば、第二の学習部５３０において、第二の学習範囲［（ｘ＿０、ｙ＿０、ｚ＿０）、（ｘ＿１、ｙ＿１、ｚ＿１）］に対して、ｘ＿０、ｘ＿１、ｙ＿０、ｙ＿１は物理空間における０～１０ｍｍ分の画素の余白をランダムに与えたとする。この場合、例えば余白の平均値である５ｍｍを用いてもよいし、最大値である１０ｍｍをもちいてもよい。このようにすることで、学習時における分類器の学習範囲と、推論時における分類器の分類対象となる画像領域を合わせることができるため、分類器が持つ性能を発揮することができる。
上述のように、本実施形態に係る決定部１４０は、特定範囲内の肝臓領域と心臓領域を囲う最小のバウンディングボックスに対して、定数の余白を与えることで、第二の分類部１５０の分類対象となる画像領域を決定したが、これに限らない。例えば、第一の分類部１２０における肝臓領域の抽出結果が、心臓領域を誤抽出する傾向にあるのであれば、決定部１４０は特定範囲内の肝臓領域と心臓領域を囲う最小のバウンディングボックスに対して余白を与えなくてもよい。その他にも、第二の分類部１５０の入力となる画像サイズに適合するように、バウンディングボックスを決定してもよい。この場合は、第二の分類部１５０において、画像サイズの変更は行わなくてもよい。また、定数の余白を与える場合、分類器を学習する際に用いた余白を考慮して、余白の値を設定してもよい。例えば、第二の学習部５３０において、第二の学習範囲［（ｘ＿０、ｙ＿０、ｚ＿０）、（ｘ＿１、ｙ＿１、ｚ＿１）］に対して、ｘ＿０、ｘ＿１、ｙ＿０、ｙ＿１は物理空間における０～１０ｍｍ分の画素の余白をランダムに与えたとする。この場合、例えば余白の平均値である５ｍｍを用いてもよいし、最大値である１０ｍｍをもちいてもよい。このようにすることで、学習時における分類器の学習範囲と、推論時における分類器の分類対象となる画像領域を合わせることができるため、分類器が持つ性能を発揮することができる。
【0114】
（統合部のバリエーション）
上述のように、本実施形態に係る統合部１６０は、第二の分類部１５０の分類対象となる画像領域について、第二の分類部１５０で得られた尤度画像のみを用いて統合したが、第一の分類部１２０で得られた尤度画像も用いて統合してもよい。例えば、第二の分類部１５０の分類対象となる画像領域の端の画素は第一の分類部１２０により得られた尤度画像の画素値を用い、画像領域の内部は第二の分類部１５０により得られた尤度画像の画素値を用いてもよい。このようにすることで、第二の分類部１５０の分類器が、画像領域の端の抽出精度が低い場合に、良好な結果が得られるように統合することができる。また、第二の分類部１５０の分類対象となる画像領域に含まれる画素に対して、第一の分類部１２０で得られた尤度画像の画素値と、第二の分類部１５０で得られた尤度画像の画素値を重み付き平均して統合（重み付き平均値統合）してもよい。この場合、例えば第二の分類部１５０で得られた肝臓領域の尤度画像の画素値への重みを０．７５、第一の分類部１２０で得られた肝臓領域の尤度画像の画素値への重みを０．２５とする。このようにすると、当該画像領域について、第二の分類部１５０により得られる肝臓領域の抽出結果をより重視することができる。その他にも、当該画像領域の各画素について、第一の分類部１２０で得られた肝臓領域の尤度画像の画素値と、第二の分類部１５０で得られた肝臓領域の尤度画像の画素値を比較し、最大値（または最小値）を選択する最大値統合（最小値統合）を行ってもよい。また、第一の分類部１２０で得られた肝臓領域の尤度画像と、第二の分類部１５０で得られた肝臓領域の尤度画像を、それぞれしきい値処理することでマスク画像を生成し、当該画像領域に含まれる画素に対して、論理積（または論理和）を取ることで統合してもよい。第一の分類部１２０が誤抽出する傾向にある場合、論理積で統合することで、誤抽出を抑制できる。逆に、第一の分類部１２０が抽出不足の傾向にある場合、論理和で統合することで抽出不足を抑制できる。
上述のように、本実施形態に係る統合部１６０は、第二の分類部１５０の分類対象となる画像領域について、第二の分類部１５０で得られた尤度画像のみを用いて統合したが、第一の分類部１２０で得られた尤度画像も用いて統合してもよい。例えば、第二の分類部１５０の分類対象となる画像領域の端の画素は第一の分類部１２０により得られた尤度画像の画素値を用い、画像領域の内部は第二の分類部１５０により得られた尤度画像の画素値を用いてもよい。このようにすることで、第二の分類部１５０の分類器が、画像領域の端の抽出精度が低い場合に、良好な結果が得られるように統合することができる。また、第二の分類部１５０の分類対象となる画像領域に含まれる画素に対して、第一の分類部１２０で得られた尤度画像の画素値と、第二の分類部１５０で得られた尤度画像の画素値を重み付き平均して統合（重み付き平均値統合）してもよい。この場合、例えば第二の分類部１５０で得られた肝臓領域の尤度画像の画素値への重みを０．７５、第一の分類部１２０で得られた肝臓領域の尤度画像の画素値への重みを０．２５とする。このようにすると、当該画像領域について、第二の分類部１５０により得られる肝臓領域の抽出結果をより重視することができる。その他にも、当該画像領域の各画素について、第一の分類部１２０で得られた肝臓領域の尤度画像の画素値と、第二の分類部１５０で得られた肝臓領域の尤度画像の画素値を比較し、最大値（または最小値）を選択する最大値統合（最小値統合）を行ってもよい。また、第一の分類部１２０で得られた肝臓領域の尤度画像と、第二の分類部１５０で得られた肝臓領域の尤度画像を、それぞれしきい値処理することでマスク画像を生成し、当該画像領域に含まれる画素に対して、論理積（または論理和）を取ることで統合してもよい。第一の分類部１２０が誤抽出する傾向にある場合、論理積で統合することで、誤抽出を抑制できる。逆に、第一の分類部１２０が抽出不足の傾向にある場合、論理和で統合することで抽出不足を抑制できる。
【0115】
即ち、統合部１６０は三次元医用画像のうち画像領域に含まれる画素について、第一の分類結果と第二の分類結果とを、重み付き平均値統合、最大値統合、論理和統合、論理積統合のうち、いずれかの統合手段により第三の分類結果を取得することを特徴とする。
【0116】
（画像処理装置のバリエーション）
上述のように、本実施形態に係る画像処理装置１００は、特定部１３０において、肝臓領域と心臓領域がともに存在する体軸断層画像を特定するが、当該体軸断層画像が特定できない場合は、処理を終了し、第一の分類部１２０の抽出結果を最終出力としてもよい。
上述のように、本実施形態に係る画像処理装置１００は、特定部１３０において、肝臓領域と心臓領域がともに存在する体軸断層画像を特定するが、当該体軸断層画像が特定できない場合は、処理を終了し、第一の分類部１２０の抽出結果を最終出力としてもよい。
【0117】
上述のように、本実施形態に係る第一の分類部１２０、第二の分類部１５０、統合部１６０は、注目領域の抽出結果として尤度画像を出力するが、これに限らない。例えば、尤度画像に対してしきい値処理することで、注目領域のマスク画像を生成し、これを注目領域の抽出結果として出力してもよい。さらに、注目領域のマスク画像に対して、最大連結領域成分を取得することで、孤立するノイズ領域を削除してもよい。また、各部の処理の後に公知の画像処理手段により各領域を精緻化してもよい。例えば、注目領域の抽出結果が三次元断層画像における輪郭に沿うように、グラフカット法やＬｅｖｅｌ Ｓｅｔ法を後処理に加えてもよい。グラフカット法の場合、例えば注目領域の抽出結果である尤度画像をもとに、前景領域、背景領域、未確定領域によって表現されるトライマップを生成する。そして、グラフを構築し、グラフを構成する各エッジに対してエネルギーを付与し、公知の方法で最小カットを行うことで、領域を分割する。Ｌｅｖｅｌ Ｓｅｔ法の場合、尤度画像に対してしきい値処理を行い、初期領域を定義する。そして、エネルギーを定義し、公知の方法によりエネルギーを最小化することで領域を分割する。これにより、より輪郭に沿った注目領域の抽出結果が得られる。
【0118】
以上に示したように、三次元断層画像から注目物体（肝臓）の領域を抽出できる第一の分類器と、第一の分類器が領域抽出を失敗しやすい特定範囲に特化した第二の分類器とを利用することで、高精度に注目領域を抽出することができる。
【0119】
＜第二の実施形態＞
第一の実施形態では、第一の分類部において、第一の注目領域と第二の注目領域を抽出し、２つ注目領域の抽出結果に基づいて、２つの注目領域が同時に存在する二次元断層画像を特定することで、誤分類しやすい画像領域を決定した。しかし、人体の構造物のように、第一の注目領域と第二の注目領域の位置関係が概ね決まっている場合には、２つの注目領域の相対位置に関する事前情報に基づいて、誤分類が生じやすい箇所を特定することができる。例えば、肝臓領域（第一の注目領域）は、心臓領域（第二の注目領域）の下部に接している。このような相対位置に関する事前情報を用いると、第一の分類部１２０が第一の注目領域しか抽出しない場合でも、特定部１３０は第一の注目領域と第二の注目領域がともに描出されている可能性がある体軸断層画像を特定することができる。本実施形態では、上記のように注目領域間の相対位置に関する事前情報と、第一の分類部１２０による第一の注目領域の抽出結果を用いることで、特定部１３０が第一の注目領域と第二の注目領域がともに描出されている可能性がある体軸断層画像を特定でき、特定部１３０による特定情報に基づいて、決定部１４０は第二の分類部の分類対象となる画像領域を決定する例を説明する。即ち、画像処理装置１００において、取得部１１０は、第一の注目領域と、第二の注目領域との相対位置に関する事前情報をさらに取得し、特定部１３０は、第一の分類結果と、相対位置に関する事前情報に基づいて、第一の注目領域と第二の注目領域とを含む断層画像を特定することを特徴とする。
第一の実施形態では、第一の分類部において、第一の注目領域と第二の注目領域を抽出し、２つ注目領域の抽出結果に基づいて、２つの注目領域が同時に存在する二次元断層画像を特定することで、誤分類しやすい画像領域を決定した。しかし、人体の構造物のように、第一の注目領域と第二の注目領域の位置関係が概ね決まっている場合には、２つの注目領域の相対位置に関する事前情報に基づいて、誤分類が生じやすい箇所を特定することができる。例えば、肝臓領域（第一の注目領域）は、心臓領域（第二の注目領域）の下部に接している。このような相対位置に関する事前情報を用いると、第一の分類部１２０が第一の注目領域しか抽出しない場合でも、特定部１３０は第一の注目領域と第二の注目領域がともに描出されている可能性がある体軸断層画像を特定することができる。本実施形態では、上記のように注目領域間の相対位置に関する事前情報と、第一の分類部１２０による第一の注目領域の抽出結果を用いることで、特定部１３０が第一の注目領域と第二の注目領域がともに描出されている可能性がある体軸断層画像を特定でき、特定部１３０による特定情報に基づいて、決定部１４０は第二の分類部の分類対象となる画像領域を決定する例を説明する。即ち、画像処理装置１００において、取得部１１０は、第一の注目領域と、第二の注目領域との相対位置に関する事前情報をさらに取得し、特定部１３０は、第一の分類結果と、相対位置に関する事前情報に基づいて、第一の注目領域と第二の注目領域とを含む断層画像を特定することを特徴とする。
【0120】
本実施形態では、最初に第一の分類部１２０における第一の分類器により、三次元断層画像から肝臓領域を抽出する。次に、特定部１３０は、第一の分類部１２０によって抽出された肝臓領域と、相対位置に関する事前情報に基づいて、肝臓と心臓がともに存在する可能性がある体軸断層画像を特定する。さらに、決定部１４０は特定部１３０が特定した体軸断層画像を基準として、第二の分類器の入力となる画像領域を決定し、第二の分類部１５０における第二の分類器によって画像領域から肝臓領域を抽出する。そして、最後に第一の分類器によって抽出した肝臓領域と、第二の分類器によって抽出した肝臓領域とを統合して、統合後の肝臓領域の抽出結果を生成する。
【0121】
本実施形態では、第一の分類部１２０における第一の分類器と第二の分類部１５０における第二の分類器は２Ｄ－Ｕ－Ｎｅｔを用いる。これらは、それぞれ異なるネットワークの重みによって構成される。
【0122】
以降では、三次元断層画像内の相対位置を指す際に、人体の頭側を上、人体の脚側を下と表現する。
【0123】
本実施形態に係る画像処理装置の構成は、第一の実施形態に係る画像処理装置１００と同じである。以下では、図１を参照して、本実施形態に係る画像処理装置の機能構成について、第一の実施形態に係る画像処理装置との重複部分を省略して説明する。
【0124】
以下では、画像処理装置１００を構成する各部について説明する。
【0125】
取得部１１０が行う処理は、第一の実施形態における取得部１１０と同様である。
【0126】
第一の分類部１２０は、第一の実施形態における第一の分類部１２０と概ね同様であるが、次の点で異なる。本実施形態において、第一の分類部１２０が抽出する注目領域は、肝臓領域のみである。すなわち、第一の分類部１２０は、第一の分類結果として、肝臓領域を表す尤度画像を生成する。
【0127】
特定部１３０は、第一の分類部１２０から、第一の分類結果である肝臓領域の尤度画像を受信し、記憶装置から肝臓と心臓の相対位置に関する情報を受信する。そして、肝臓（第一の注目領域）と心臓（第二の注目領域）との相対位置に関する事前情報と、第一の分類部１２０から受信した肝臓領域の尤度画像とに基づいて、肝臓と心臓がともに描出されている可能性がある１枚以上の体軸断層画像を特定する。そして、特定した体軸断層画像の情報である特定情報を決定部１４０に送信する。本実施形態において、特定情報は肝臓領域の上端が存在する１枚の体軸断層画像のスライスインデックスである。
【0128】
決定部１４０は、特定部１３０から特定情報であるスライスインデックスを受信する。次に、受信したスライスインデックスと、肝臓と心臓との相対位置に関する事前情報とに基づいて、第二の分類部１５０の分類対象となる画像領域を決定する。そして、分類対象となる画像領域を第二の分類部１５０と統合部１６０に送信する。本実施形態において、第二の分類部１５０の分類対象となる画像領域は、三次元断層画像を構成する複数枚の体軸断層画像を表すスライスインデックスである。すなわち、決定部１４０は、特定部１３０が特定した肝臓領域の上端が存在する体軸断層画像を基準に、肝臓領域と心臓領域が同時に存在する可能性がある複数の体軸断層画像を選択し、選択した複数の体軸断層画像のスライスインデックスを画像領域として決定する。
【0129】
第二の分類部１５０は、取得部１１０から三次元断層画像と、第二の分類器のパラメータを受信し、決定部１４０から第二の分類部１５０による分類対象となる画像領域である複数枚の体軸断層画像のスライスインデックスを受信する。次に、第二の分類部１５０は、第二の分類器のパラメータであるネットワークの重みに基づいて２Ｄ－Ｕ－Ｎｅｔを構成する。そして、２Ｄ－Ｕ－Ｎｅｔを利用して、複数枚の体軸断層画像から注目領域である肝臓領域を抽出し、第二の分類結果として、肝臓領域のローカル尤度画像を生成する。最後に、肝臓領域のローカル尤度画像を統合部１６０に送信する。
【0130】
統合部１６０が行う処理は、第一の実施形態における統合部１６０と同様である。
【0131】
（処理手順）
次に、本実施形態における画像処理装置１００の処理手順について、図３を用いて説明する。なお、本処理手順では上述した図３のステップと同様のステップにおいては、説明を省略し、異なる点においてのみ説明する。
次に、本実施形態における画像処理装置１００の処理手順について、図３を用いて説明する。なお、本処理手順では上述した図３のステップと同様のステップにおいては、説明を省略し、異なる点においてのみ説明する。
【0132】
（ステップＳ３１０）
ステップＳ３１０の処理は、第一の実施形態におけるステップＳ３１０と同一の処理であるため、説明を省略する。
ステップＳ３１０の処理は、第一の実施形態におけるステップＳ３１０と同一の処理であるため、説明を省略する。
【0133】
（ステップＳ３２０）
ステップＳ３２０の処理は、第一の実施形態におけるステップＳ３２０と次の点で異なる。本実施形態における第一の分類部１２０は、三次元断層画像から第一の注目領域である肝臓領域を抽出する。つまり、心臓領域は抽出しない。
ステップＳ３２０の処理は、第一の実施形態におけるステップＳ３２０と次の点で異なる。本実施形態における第一の分類部１２０は、三次元断層画像から第一の注目領域である肝臓領域を抽出する。つまり、心臓領域は抽出しない。
【0134】
第一の分類部１２０で利用する第一の分類器である２Ｄ－Ｕ－Ｎｅｔは、三次元断層画像を構成する二次元断層画像から、肝臓領域を抽出するように学習したネットワークの重みによって構成される。第一の分類部１２０で利用する第一の分類器のパラメータであるネットワークの重みは、三次元断層画像から肝臓領域を抽出するように学習することによって得られたものである。
【0135】
（ステップＳ３３０）
ステップＳ３３０において、特定部１３０は、第一の分類部１２０から肝臓領域の抽出結果である肝臓領域のグローバル尤度画像を受信する。そして、肝臓領域のグローバル尤度画像と、肝臓領域と心臓領域の相対的な位置関係に関する事前情報をもとに、肝臓領域と心臓領域がともに存在している可能性がある体軸断層画像を特定する。これにより、肝臓と心臓が描出されている可能性がある体軸断層画像を特定する。そして、特定した体軸断層画像のスライスインデックスを、特定情報として決定部１４０に送信する。
ステップＳ３３０において、特定部１３０は、第一の分類部１２０から肝臓領域の抽出結果である肝臓領域のグローバル尤度画像を受信する。そして、肝臓領域のグローバル尤度画像と、肝臓領域と心臓領域の相対的な位置関係に関する事前情報をもとに、肝臓領域と心臓領域がともに存在している可能性がある体軸断層画像を特定する。これにより、肝臓と心臓が描出されている可能性がある体軸断層画像を特定する。そして、特定した体軸断層画像のスライスインデックスを、特定情報として決定部１４０に送信する。
【0136】
本実施形態において、相対的な位置関係に関する事前情報は、肝臓の上に心臓が存在しているという人体内部における上下の関係である。そのため、肝臓の上端が存在する体軸断層画像を特定することで、肝臓と心臓が同時に存在する体軸断層画像を特定することができる。したがって、特定部１３０は、肝臓領域の抽出結果を利用することで、肝臓の上端が存在する体軸断層画像を特定する。
【0137】
本実施形態において、肝臓領域の抽出結果は、肝臓領域の尤度画像である。そのため、まず、特定部１３０は、これらの尤度画像に対して、しきい値ｔ＝０．５を用いてしきい値処理をすることで、肝臓の一時的な領域マスクを生成する。これらの一時的な領域マスクには、孤立したノイズ領域が存在する可能性があるため、肝臓領域の上端を特定する精度が低下することがある。この場合は、一時的な領域マスクの最大連結領域成分を取得することで、孤立したノイズ領域を削除してもよい。
【0138】
以上のように、特定部１３０は、第一の注目領域と、第一の注目領域と第二の注目領域の位置関係に関する事前情報とを利用することで、２つの注目領域が同時に存在し得る体軸断層画像を特定する。
【0139】
（ステップＳ３４０）
ステップＳ３４０において、決定部１４０は、特定部１３０から特定情報であるスライスインデックスを受信する。次に、スライスインデックスと、肝臓と心臓との相対位置に関する事前情報とに基づいて、第二の分類部１５０の分類対象となる画像領域を決定する。そして、分類対象となる画像領域を第二の分類部１５０と統合部１６０に送信する。
ステップＳ３４０において、決定部１４０は、特定部１３０から特定情報であるスライスインデックスを受信する。次に、スライスインデックスと、肝臓と心臓との相対位置に関する事前情報とに基づいて、第二の分類部１５０の分類対象となる画像領域を決定する。そして、分類対象となる画像領域を第二の分類部１５０と統合部１６０に送信する。
【0140】
本実施形態において、特定部１３０から得られる特定情報は、第一の分類部１２０が抽出した肝臓領域の上端を表すスライスインデックスである。本来、肝臓と心臓が接している境界は、肝臓の上端よりも下のスライスに存在するはずである。そのため、本実施形態では、決定部１４０はこの事前情報を利用して第二の分類部１５０の分類対象の画像領域を決定する。しかし、第一の分類器による第一の分類結果は肝臓領域の上端が抽出不足になっている可能性がある。そのため、肝臓領域の上端の体軸断層画像を基準として、特定部１３０で特定した肝臓領域の上端の誤差を考慮した所定の範囲にあるすべての体軸断層画像を第二の分類部１５０の分類対象の画像領域として決定部１４０が決定をしてもよい。所定の範囲は、例えば物理空間において頭側に２５ｍｍ、脚側に７５ｍｍのように設定する。決定部１４０は、上述の処理によって決定した複数の体軸断層画像のスライスインデックスを画像領域として決定する。
【0141】
以上のように、決定部１４０は第二の分類部１５０の分類対象となる体軸断層画像のスライスインデックスを画像領域として決定する。
【0142】
（ステップＳ３５０）
ステップＳ３５０において第二の分類部１５０は、取得部１１０から三次元断層画像と第二の分類器のパラメータを受信する。また、決定部１４０から第二の分類部による分類対象となる画像領域である複数枚の体軸断層画像のスライスインデックスを受信する。次に、第二の分類部１５０は、第二の分類器のパラメータであるネットワークの重みに基づいて２Ｄ－Ｕ－Ｎｅｔを構成する。この分類器のパラメータは、第一の分類部１２０における第一の分類器のパラメータとは異なり、肝臓と心臓の境界付近の画像領域を用いて学習した結果である。そのため、第一の分類部１２０の２Ｄ－Ｕ－Ｎｅｔよりも、当該画像領域における注目領域の抽出精度が高くなることが期待できる。そして、第二の分類部１５０は、第二の分類器としてこの２Ｄ－Ｕ－Ｎｅｔを利用して、複数枚の体軸断層画像から注目領域である肝臓領域を抽出し、第二の分類結果として、肝臓領域のローカル尤度画像を生成する。最後に、肝臓領域のローカル尤度画像を統合部１６０に送信する。注目領域の抽出処理は、ステップＳ３５０と同様である。すなわち、分類対象となる画像領域に含まれる各体軸断層画像を２Ｄ－Ｕ－Ｎｅｔに入力することで、第二の分類部１５０による分類対象となる画像領域における注目領域のローカル尤度画像を生成する。
ステップＳ３５０において第二の分類部１５０は、取得部１１０から三次元断層画像と第二の分類器のパラメータを受信する。また、決定部１４０から第二の分類部による分類対象となる画像領域である複数枚の体軸断層画像のスライスインデックスを受信する。次に、第二の分類部１５０は、第二の分類器のパラメータであるネットワークの重みに基づいて２Ｄ－Ｕ－Ｎｅｔを構成する。この分類器のパラメータは、第一の分類部１２０における第一の分類器のパラメータとは異なり、肝臓と心臓の境界付近の画像領域を用いて学習した結果である。そのため、第一の分類部１２０の２Ｄ－Ｕ－Ｎｅｔよりも、当該画像領域における注目領域の抽出精度が高くなることが期待できる。そして、第二の分類部１５０は、第二の分類器としてこの２Ｄ－Ｕ－Ｎｅｔを利用して、複数枚の体軸断層画像から注目領域である肝臓領域を抽出し、第二の分類結果として、肝臓領域のローカル尤度画像を生成する。最後に、肝臓領域のローカル尤度画像を統合部１６０に送信する。注目領域の抽出処理は、ステップＳ３５０と同様である。すなわち、分類対象となる画像領域に含まれる各体軸断層画像を２Ｄ－Ｕ－Ｎｅｔに入力することで、第二の分類部１５０による分類対象となる画像領域における注目領域のローカル尤度画像を生成する。
【0143】
（ステップＳ３６０）
ステップＳ３６０の処理は、第一の実施形態におけるステップＳ３６０と同一の処理であるため、説明を省略する。
ステップＳ３６０の処理は、第一の実施形態におけるステップＳ３６０と同一の処理であるため、説明を省略する。
【0144】
以上の手順にしたがい、第二の実施形態に係る画像処理装置１００は、三次元断層画像から肝臓領域を抽出する。
【0145】
なお、第一の分類部１２０および第二の分類部１５０における夫々の分類器の学習については、第一の実施形態と同様に、画像処理装置５００の第一の学習部５２０および第二の学習部５３０により、各々の学習範囲に基づいて各々の教示データセットを生成し、各々の分類器を学習すればよい。
【0146】
すなわち、第一の分類部１２０の第一の分類器は、第一の実施形態における第一の学習部５２０と同一の分類器に対して肝臓領域を対象とした教示データを用いた学習処理をすることで、第一の分類器のパラメータを得る。一方、第二の分類部１５０の第二の分類器は、第二の学習部５３０において、教示データを構成する肝臓の正解領域に基づいて、肝臓の上端が存在する体軸断層画像を特定し、特定された体軸断層画像を基準として第二の学習範囲を設定する。そして、第二の学習部５３０において、第二の学習範囲に基づいて第二の教示データセットを生成し、所定の方法で第二の分類部１５０の分類器を学習する。なお、本実施形態において、第二の分類部１５０は２Ｄ－Ｕ－Ｎｅｔであるため、本実施形態における第二の分類部１５０の分類器は、第一の実施形態における第一の分類部１２０と同様に、体軸断層画像ごとに入力して学習する。
【0147】
（分類器のバリエーション）
上述のように、本実施形態に係る第一の分類部１２０は、画像に含まれる複数の画素のそれぞれを肝臓（第一の注目領域）か否かを分類する２クラスの分類器であった。しかしながら、第一の分類部１２０における第一の分類器の構成はこれに限らない。例えば、第一の実施形態における第一の分類部１２０における第一の分類器のように３クラス以上を分類する分類器を用いてもよい。
上述のように、本実施形態に係る第一の分類部１２０は、画像に含まれる複数の画素のそれぞれを肝臓（第一の注目領域）か否かを分類する２クラスの分類器であった。しかしながら、第一の分類部１２０における第一の分類器の構成はこれに限らない。例えば、第一の実施形態における第一の分類部１２０における第一の分類器のように３クラス以上を分類する分類器を用いてもよい。
【0148】
なお、本発明を実施する際の分類器の組み合わせは、いかなる組み合わせでもよい。例えば、第一の実施形態のように、第一の分類部１２０の第一の分類器は二次元処理により注目領域を抽出し、第二の分類部１５０の第二の分類器は三次元処理により注目領域を抽出してもよい。また、第二の実施形態のように、第一の分類部１２０の第一の分類器および第二の分類部１５０の第二の分類器は、両者ともに二次元処理により注目領域を抽出する分類器であってもよい。その他にも、第一の分類部１２０の第一の分類器および第二の分類部１５０の第二の分類器を、両者ともに三次元処理をする分類器としたものでもよいし、それ以外の組み合わせでもよい。
【0149】
（特定部と決定部のバリエーション）
第一の分類部１２０が抽出する領域の中に第二の注目領域が含まれている場合、特定部１３０は第二の注目領域の抽出結果と、第一の注目領域と第二の注目領域の相対位置に関する事前情報とに基づいて、断層画像を特定してもよい。例えば、第一の分類部１２０が第一の注目領域である肝臓領域と、第二の注目領域である心臓領域を抽出する場合、心臓領域の下部に肝臓領域が存在するという事前情報を用いることで、特定部１３０は、２つの注目領域が存在する可能性がある断層画像を特定できる。
第一の分類部１２０が抽出する領域の中に第二の注目領域が含まれている場合、特定部１３０は第二の注目領域の抽出結果と、第一の注目領域と第二の注目領域の相対位置に関する事前情報とに基づいて、断層画像を特定してもよい。例えば、第一の分類部１２０が第一の注目領域である肝臓領域と、第二の注目領域である心臓領域を抽出する場合、心臓領域の下部に肝臓領域が存在するという事前情報を用いることで、特定部１３０は、２つの注目領域が存在する可能性がある断層画像を特定できる。
【0150】
上述のように、本実施形態に係る特定部１３０および決定部１４０は、事前情報として上下の位置関係を用いたが、これに限らない。例えば、第一の分類部１２０の抽出結果において肝臓における左葉の先端付近（画像の右側）の抽出精度が低い場合、特定部１３０は第一の分類部１２０が抽出した肝臓領域の右端を表す矢状断層画像（二次元断層画像のひとつ）を特定する。そして、決定部１４０は特定部１３０が特定した矢状断層画像を基準として、第二の分類部１５０の分類対象となる画像領域を決定する。この場合、第二の分類部１５０は左葉の先端付近のみに特化した学習済み分類器を用いる。その他にも、第一の分類部１２０が誤分類しやすい部分を特定できるような相対位置に関する事前情報であればどのような情報を用いてもよい。また、相対位置に関する事前情報以外にも、濃度値などの別の事前情報を用いてもよい。肝臓領域に隣接している臓器として右腎領域を例に挙げる。右腎領域は肝臓領域の下端付近に存在するが、被験者によって右腎領域の位置が異なる。そのため、例えば肝臓領域の下端から所定の距離内に右腎領域が存在するという相対位置に関する事前情報と、右腎領域の濃度値に関する事前情報を用いることで、特定部１３０は、２つの注目領域が同時に存在する可能性がある断層画像を特定する。その他、第二の注目領域に関する相対位置に関する事前情報以外のいかなる事前情報を用いてもよい。
【0151】
（第二の実施形態の効果）
以上に示したように、三次元断層画像から注目物体（肝臓）の領域を抽出できる第一の分類部１２０における第一の分類器と、第一の分類器が領域抽出を失敗しやすい特定範囲に特化した第二の分類部１５０における第二の分類器とを利用することで、高精度に注目領域を抽出することができる。
以上に示したように、三次元断層画像から注目物体（肝臓）の領域を抽出できる第一の分類部１２０における第一の分類器と、第一の分類器が領域抽出を失敗しやすい特定範囲に特化した第二の分類部１５０における第二の分類器とを利用することで、高精度に注目領域を抽出することができる。
【0152】
＜第三の実施形態＞
第一の実施形態および第二の実施形態における第二の分類部１５０における第二の分類器は、三次元断層画像における特定範囲を学習することで得られる分類器のパラメータによって構成される。しかしながら、画像における特定範囲を学習させた分類器を用いて分類を行う場合、特定範囲の端に近い領域の抽出精度が低下することがある。
第一の実施形態および第二の実施形態における第二の分類部１５０における第二の分類器は、三次元断層画像における特定範囲を学習することで得られる分類器のパラメータによって構成される。しかしながら、画像における特定範囲を学習させた分類器を用いて分類を行う場合、特定範囲の端に近い領域の抽出精度が低下することがある。
【0153】
特定範囲の端に近い領域の抽出精度の低下は、第二の分類部１５０における第二の分類器を学習するための第二の教示データセットに、特定範囲の端における注目領域の形状のバリエーションが十分に含まれないことにより発生することがある。
【0154】
例えば、第二の実施形態における第二の分類部１５０の分類器のように、肝臓の上端が存在する体軸断層画像を基準として第二の学習範囲を設定した場合を考える。第二の学習範囲は、第一の分類部１２０における第一の分類器で抽出された肝臓領域の上端が存在する体軸断層画像を中心として、物理空間における－２５ｍｍ～＋７５ｍｍの範囲にあるすべての体軸断層画像とする。この場合、第二の学習範囲を設定する上での基準となる肝臓の上端は、必ず教示データセットに含まれるが、例えば肝臓の上端よりも下に存在する左葉の先端などは教示データセットの中に入ることもあれば入らないこともある。つまり、第二の学習範囲の端に表れる可能性がある左葉の先端は、第二の教示データセットに十分に含まれないため、左葉の先端のバリエーションを十分に学習できず、領域の抽出精度が低下することがある。
【0155】
この例に限らず、第二の分類部１５０における第二の分類器の第二の学習範囲が、三次元断層画像内の局所的な範囲を対象とする以上、上述のような問題は生じ得る。
【0156】
上述の問題への対策として、第二の分類部１５０における第二の分類器に対する第二の学習範囲を拡張することが考えられる。
【0157】
しかし、学習範囲を拡張していくほど、第一の分類部における分類器と類似した性質になっていき、肝臓領域と心臓領域の境界付近における誤分類が生じやすくなる。また、最適な学習範囲が存在しない場合もしばしばある。上述の問題に対して、本実施形態では、第二の分類部１５０において異なる学習範囲で学習した複数の分類器を利用して対処する方法を例示する。説明を簡易にするために、本実施形態では、第二の実施形態に係る画像処理装置１００をベースとして、本実施形態に係る画像処理装置を構成する。具体的には、第二の分類部１５０で、肝臓の上端を基準とした学習範囲で学習した分類器ａ（第二の実施形態における第二の分類部１５０の第二の分類器と同一）と、分類器ａの学習範囲内の最も脚側（以降では、下端）の体軸断層画像を基準とした学習範囲で学習した分類器ｂを用いる。
【0158】
つまり、本実施形態に係る画像処理装置は、第二の実施形態に係る画像処理装置１００に対して、分類器ｂを新たに追加した構成となっている。この構成の変更に伴い、決定部１４０は特定部１３０が特定した特定情報をもとに、分類器ａと分類器ｂの夫々の分類対象となる画像領域を決定する。便宜上、以降では分類器ａと分類器ｂの分類対象となる画像領域をそれぞれ画像領域ａと画像領域ｂと呼ぶ。ここで、画像領域ｂは、画像領域ａにおける脚側の一部の領域（以降では、下部と呼ぶ）と重複している。すなわち、分類器ｂは画像領域ａの下部付近に存在する画像領域ｂに特化した分類器である。即ち、第二の分類部１５０における複数の分類器は、学習用の三次元医用画像におけるそれぞれ異なる学習範囲を対象とした教示データセットによって学習された分類器から構成されることを特徴とする。
【0159】
本実施形態に係る画像処理装置の構成は、第二の実施形態に係る画像処理装置１００と同じである。以下では、図１を参照して、本実施形態に係る画像処理装置の機能構成について、第二の実施形態に係る画像処理装置との重複部分を省略して説明する。以下では、画像処理装置１００を構成する各部について説明する。
【0160】
取得部１１０は、記憶装置７０から三次元断層画像と、第一の分類部１２０における第一の分類器のパラメータ、第二の分類部１５０における分類器ａと分類器ｂのそれぞれのパラメータを取得する。そして、取得部１１０は、取得した三次元断層画像を第一の分類部１２０および第二の分類部１５０に送信する。また、第一の分類部１２０における分類器のパラメータを第一の分類部１２０に送信し、第二の分類部１５０における分類器のパラメータを第二の分類部１５０に送信する。
【0161】
第一の分類部１２０が行う処理は、第二の実施形態における第一の分類部１２０と同様である。
【0162】
特定部１３０が行う処理は、第二の実施形態における特定部１３０と同様である。
【0163】
決定部１４０は、特定部１３０から特定情報であるスライスインデックスを受信する。次に、受信したスライスインデックスと、肝臓と心臓との相対位置に関する事前情報とに基づいて、第二の分類部１５０における分類器ａの分類対象となる画像領域ａを決定する。
【0164】
さらに、画像領域ａに基づいて分類器ｂの分類対象となる画像領域ｂを決定する。そして、分類器ａおよび分類器ｂの夫々の分類対象となる画像領域ａおよび画像領域ｂを第二の分類部１５０と統合部１６０に送信する。
【0165】
本実施形態において、第二の分類部１５０によって分類対象となる画像領域は、三次元断層画像を構成する複数枚の体軸断層画像を表すスライスインデックスである。すなわち、決定部１４０は、特定部１３０が特定した肝臓領域の上端が存在する体軸断層画像を基準に、肝臓領域と心臓領域とが同時に存在する可能性がある複数の体軸断層画像を選択し、複数の体軸断層画像のスライスインデックスを画像領域ａとして決定する。そして、画像領域ａの下端に存在する体軸断層画像を基準に、複数枚の体軸断層画像を選択し、決定した複数枚の体軸断層画像を表すスライスインデックスを画像領域ｂとして決定する。
【0166】
第二の分類部１５０は、取得部１１０から三次元断層画像と、分類器ａと分類器ｂのパラメータを受信し、決定部１４０から分類器ａと分類器ｂの分類対象となる画像領域を受信する。次に、第二の分類部１５０は、取得部１１０から受信した分類器ａと分類器ｂのパラメータに基づいて、分類器ａと分類器ｂをそれぞれ構成する。第二の分類部１５０における２つの分類器は２Ｄ－Ｕ－Ｎｅｔである。そのため、それぞれの分類器のパラメータはネットワークの重みである。次に、画像領域ａに対して、分類器ａの２Ｄ－Ｕ－Ｎｅｔを利用して注目領域を抽出し、肝臓領域のローカル尤度画像を生成する。同様に画像領域ｂに対して、分類器ｂの２Ｄ－Ｕ－Ｎｅｔを利用して注目領域を抽出し、肝臓領域のローカル尤度画像を生成する。そして、２つの分類器の肝臓領域のローカル尤度画像を統合部１６０に送信する。
【0167】
ここで、図１０を参照して、画像領域ａと画像領域ｂについて説明する。図１０は三次元断層画像を構成する冠状断層画像１０２０を示している。分類器ａの分類対象となる画像領域ａ１０３０と、分類器ｂの分類対象となる画像領域ｂ１０４０は重複した画像領域（画像領域ｃ１０７０）が存在している。上述の通り、画像領域ａ１０３０は、第一の分類部１２０による肝臓領域の抽出結果の上端が存在する体軸断層画像を基準に決定されている。また、画像領域ｂ１０４０は、画像領域ａ１０３０の下端に存在する体軸断層画像を基準に決定されている。本実施形態において、第二の分類部１５０における分類器ａおよび分類器ｂが抽出する注目領域は肝臓領域であり、それぞれの分類器は肝臓領域のローカル尤度画像を生成する。第二の分類部１５０における分類器ａは、画像領域ａと同等の範囲で学習して得られた分類器のパラメータによって構成されている。第二の分類部１５０における分類器ｂは、画像領域ｂ１０４０同等の学習範囲で学習して得られた分類器のパラメータによって構成されている。
【0168】
統合部１６０は、決定部１４０から受信した画像領域ａと画像領域ｂに基づいて、第一の分類部１２０における分類器が生成したグローバル尤度画像と、第二の分類部１５０における三次元医用画像において異なる学習範囲で学習した分類器ａと分類器ｂがそれぞれ生成したローカル尤度画像とを統合し、統合尤度画像を生成する。本実施形態では、セグメンテーションの対象となる注目物体が肝臓である。そのため、統合部１６０は第一の分類部１２０における分類器が生成した肝臓領域のグローバル尤度画像と、第二の分類部１５０における分類器ａおよび分類器ｂがそれぞれ生成した肝臓領域のローカル尤度画像とを統合することで、肝臓領域の統合尤度画像を生成する。即ち、統合部１６０は分類器の学習範囲に応じた統合処理を行うことを特徴とする。
【0169】
（処理手順）
次に、本実施形態における画像処理装置１００の処理手順について、図９を用いて説明する。
次に、本実施形態における画像処理装置１００の処理手順について、図９を用いて説明する。
【0170】
（ステップＳ９１０）
ステップＳ９１０において、取得部１１０は記憶装置７０から三次元断層画像と、第一の分類部１２０における分類器のパラメータと、第二の分類部１５０における分類器ａと分類器ｂのそれぞれのパラメータを取得する。
ステップＳ９１０において、取得部１１０は記憶装置７０から三次元断層画像と、第一の分類部１２０における分類器のパラメータと、第二の分類部１５０における分類器ａと分類器ｂのそれぞれのパラメータを取得する。
【0171】
（ステップＳ９２０）
ステップＳ９２０の処理は、第二の実施形態におけるステップＳ３２０と同一の処理であるため、説明を省略する。
ステップＳ９２０の処理は、第二の実施形態におけるステップＳ３２０と同一の処理であるため、説明を省略する。
【0172】
（ステップＳ９３０）
ステップＳ９３０の処理は、第二の実施形態におけるステップＳ３３０と同一の処理であるため、説明を省略する。
ステップＳ９３０の処理は、第二の実施形態におけるステップＳ３３０と同一の処理であるため、説明を省略する。
【0173】
（ステップＳ９４０）
ステップＳ９４０において、決定部１４０は、特定部１３０から特定情報としてスライスインデックスを受信する。次に、受信したスライスインデックスと、肝臓と心臓との相対位置に関する事前情報とに基づいて、第二の分類部１５０における分類器ａの分類対象となる画像領域ａを決定する。さらに、画像領域ａに基づいて分類器ｂの分類対象となる画像領域ｂを決定する。そして、分類器ａおよび分類器ｂの夫々の分類対象となる画像領域ａおよび画像領域ｂを第二の分類部１５０と統合部１６０に送信する。
ステップＳ９４０において、決定部１４０は、特定部１３０から特定情報としてスライスインデックスを受信する。次に、受信したスライスインデックスと、肝臓と心臓との相対位置に関する事前情報とに基づいて、第二の分類部１５０における分類器ａの分類対象となる画像領域ａを決定する。さらに、画像領域ａに基づいて分類器ｂの分類対象となる画像領域ｂを決定する。そして、分類器ａおよび分類器ｂの夫々の分類対象となる画像領域ａおよび画像領域ｂを第二の分類部１５０と統合部１６０に送信する。
【0174】
本実施形態において第二の分類部１５０の分類器ａは、第二の実施形態における第二の分類部１５０の分類器と同一である。そのため、画像領域ａは第二の実施形態における決定部１４０の処理と同一の処理で決定する。つまり、肝臓の上端を基準として、頭側に２５ｍｍ、脚側に７５ｍｍの範囲にあるすべて体軸断層画像のスライスインデックスを画像領域ａとして決定する。次に、画像領域ａに基づいて、画像領域ｂを決定する。本実施形態は、画像領域ａの下端に表れる肝臓領域（左葉の先端など）の抽出精度の低さの改善を目的として分類器ｂを利用するため、画像領域ａの下端に存在する体軸断層画像を基準として画像領域ｂを決定する。具体的には、まず決定部１４０は画像領域ａの下端に存在する体軸断層画像を取得する。次に、この体軸断層画像を中心として所定の範囲に含まれるすべての体軸断層画像を選択し、選択したすべての体軸断層画像のスライスインデックスを画像領域ｂとして決定する。所定の範囲は、例えば頭側に５０ｍｍ、脚側に５０ｍｍのように設定する。以上のように、決定部１４０は第二の分類部１５０における分類器ａおよび分類器ｂのそれぞれの分類対象となる画像領域ａおよび画像領域ｂを決定する。
【0175】
（ステップＳ９５０）
ステップＳ９５０において、第二の分類部１５０は、取得部１１０から三次元断層画像と、分類器ａと分類器ｂのパラメータを受信し、決定部１４０から分類器ａと分類器ｂの分類対象となる画像領域ａおよび画像領域ｂを受信する。次に、取得部１１０から受信した分類器ａと分類器ｂのパラメータに基づいて、分類器ａと分類器ｂをそれぞれ構成する。次に、画像領域ａに対して、分類器ａを利用して肝臓領域を抽出し、画像領域ａに対する肝臓のローカル尤度画像を生成する。同様に画像領域ｂに対して、分類器ｂを利用して注目領域を抽出し、画像領域ｂに対する肝臓のローカル尤度画像を生成する。そして、２つの分類器で得られた肝臓領域のローカル尤度画像を統合部１６０に送信する。本実施形態において、第二の分類部１５０における分類器ａおよび分類器ｂは２Ｄ－Ｕ－Ｎｅｔである。そのため、本ステップでは第二の実施形態における第二の分類部１５０と同様の処理手順により、第二の分類部１５０における分類器ａおよび分類器ｂを利用して、画像領域ａおよび画像領域ｂからそれぞれ肝臓領域を抽出し、肝臓のローカル尤度画像を生成する。ここで、分類器ａと分類器ｂの特性を述べる。分類器ａのパラメータは、肝臓と心臓の境界付近の画像領域を学習範囲（画像領域ａと同等の範囲）として設定し、学習した結果であるため、第一の分類部１２０の第一の分類器である２Ｄ－Ｕ－Ｎｅｔよりも、当該画像領域における注目領域の抽出精度が高いことが期待できる。しかし、分類器ａは、画像領域ａの下端付近に表れる肝臓領域の抽出精度が低いことがある。一方で、分類器ｂのパラメータは、分類器ａの学習範囲の下端を中心とした学習範囲（画像領域ｂと同等の範囲）で学習した結果であるため、画像領域ａの下端付近における注目領域に対する抽出精度が高いことが期待できる。
ステップＳ９５０において、第二の分類部１５０は、取得部１１０から三次元断層画像と、分類器ａと分類器ｂのパラメータを受信し、決定部１４０から分類器ａと分類器ｂの分類対象となる画像領域ａおよび画像領域ｂを受信する。次に、取得部１１０から受信した分類器ａと分類器ｂのパラメータに基づいて、分類器ａと分類器ｂをそれぞれ構成する。次に、画像領域ａに対して、分類器ａを利用して肝臓領域を抽出し、画像領域ａに対する肝臓のローカル尤度画像を生成する。同様に画像領域ｂに対して、分類器ｂを利用して注目領域を抽出し、画像領域ｂに対する肝臓のローカル尤度画像を生成する。そして、２つの分類器で得られた肝臓領域のローカル尤度画像を統合部１６０に送信する。本実施形態において、第二の分類部１５０における分類器ａおよび分類器ｂは２Ｄ－Ｕ－Ｎｅｔである。そのため、本ステップでは第二の実施形態における第二の分類部１５０と同様の処理手順により、第二の分類部１５０における分類器ａおよび分類器ｂを利用して、画像領域ａおよび画像領域ｂからそれぞれ肝臓領域を抽出し、肝臓のローカル尤度画像を生成する。ここで、分類器ａと分類器ｂの特性を述べる。分類器ａのパラメータは、肝臓と心臓の境界付近の画像領域を学習範囲（画像領域ａと同等の範囲）として設定し、学習した結果であるため、第一の分類部１２０の第一の分類器である２Ｄ－Ｕ－Ｎｅｔよりも、当該画像領域における注目領域の抽出精度が高いことが期待できる。しかし、分類器ａは、画像領域ａの下端付近に表れる肝臓領域の抽出精度が低いことがある。一方で、分類器ｂのパラメータは、分類器ａの学習範囲の下端を中心とした学習範囲（画像領域ｂと同等の範囲）で学習した結果であるため、画像領域ａの下端付近における注目領域に対する抽出精度が高いことが期待できる。
【0176】
以上のように、第二の分類部１５０は、分類器ａ（２Ｄ－Ｕ－Ｎｅｔ）を利用することで、画像領域ａに対応する肝臓領域のローカル尤度画像を生成する。同様に、分類器ｂ（２Ｄ－Ｕ－Ｎｅｔ）を利用することで、画像領域ｂに対応する肝臓領域のローカル尤度画像を生成する。
【0177】
（ステップＳ９６０）
ステップＳ９６０において、統合部１６０は決定部１４０から受信した画像領域ａと画像領域ｂに基づき、第一の分類部１２０が生成した肝臓領域グローバル尤度画像と、第二の分類部１５０が生成した肝臓領域のローカル尤度画像とを統合する。そして、統合後の肝臓領域の尤度画像を生成する。
ステップＳ９６０において、統合部１６０は決定部１４０から受信した画像領域ａと画像領域ｂに基づき、第一の分類部１２０が生成した肝臓領域グローバル尤度画像と、第二の分類部１５０が生成した肝臓領域のローカル尤度画像とを統合する。そして、統合後の肝臓領域の尤度画像を生成する。
【0178】
本実施形態において、統合部１６０は、まず画像領域ａについて、第二の分類部１５０の分類器ａと分類器ｂで得られたそれぞれのローカル尤度画像を用いて画素ごとに重み付き平均値統合する。上述の通り、分類器ａは、画像領域ａの下端付近の注目領域の抽出精度が低い。そのため、例えば、画像領域ａの下端付近では、分類器ａで得られたローカル尤度画像の画素値への重みを相対的に小さくすることで、分類器ｂで得られたローカル尤度画像の画素値（尤度）をより重視する。ただし、画像領域ａ内の画像領域ｂと重複していない画像領域については、分類器ａで得られたローカル尤度画像の画素値のみを用いる。次に、画像領域ｂ内の画像領域ａと重複していない画像領域について、分類器ｂで得られたローカル尤度画像と第一の分類部１２０で得られたグローバル尤度画像を用いて画素ごとに重み付き平均値統合する。分類器ａと同様に、分類器ｂも画像領域ｂの端付近の注目領域の抽出精度が低くなることが考えられる。そのため、例えば、画像領域ｂの下端付近では、分類器ｂで得られたローカル尤度画像の画素値への重みを相対的に小さくすることで、第一の分類部１２０で得られたグローバル尤度画像の画素値をより重視する。最後に、残りの画像領域（画像領域ａと画像領域ｂ以外の画像領域）について、第一の分類部１２０で得られたグローバル尤度画像の画素値のみを用いて統合する。このような処理を行うことで、夫々の尤度画像を統合し、統合尤度画像を生成する。なお、統合部１６０による統合方法は、上述の方法に限らず、第一の実施形態に記載した統合方法のいずれを用いてもよい。また、複数の統合方法を組み合わせて統合してもよい。例えば、ある画像領域（画像領域ａ）では重み付き平均値統合を用い、別の画像領域（画像領域ｂ内の画像領域ａと重複していない画像領域）では論理和統合を用いるなどが考えられる。その他、各分類器の学習範囲や特性を考慮した統合方法であれば、いかなる方法であってもよい。
【0179】
以上のように、統合部１６０は、第一の分類部１２０の第一の分類器が生成した肝臓領域のグローバル尤度画像と、第二の分類部１５０の分類器ａおよび分類器ｂが生成した肝臓領域のローカル尤度画像を統合して、肝臓領域の統合尤度画像を生成する。
【0180】
以上の手順にしたがい、第三の実施形態に係る画像処理装置１００は三次元断層画像から肝臓領域を抽出する。
【0181】
第一の分類部１２０の第一の分類器および第二の分類部１５０の分類器ａの学習は、第二の実施形態と同様である。第二の分類部１５０の分類器ｂの学習は、第二の分類部１５０の分類器ａの学習範囲の下端を中心とした学習範囲（画像領域ｂと同等の局所的な範囲）を設定し、分類器ｂ用の教示データセットを生成し、所定の方法で分類器を学習すればよい。
【0182】
以上に示したように、三次元断層画像から注目物体（肝臓）の領域を抽出できる第一の分類器と、第一の分類器が領域抽出を失敗しやすい特定範囲に特化した複数の第二の分類器とを利用することで、高精度に注目領域を抽出することができる。
【符号の説明】
【0183】
１００ 画像処理装置
１１０ 取得部
１２０ 第一の分類部
１３０ 特定部
１４０ 決定部
１５０ 第二の分類部
１６０ 統合部
１１０ 取得部
１２０ 第一の分類部
１３０ 特定部
１４０ 決定部
１５０ 第二の分類部
１６０ 統合部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】