IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧 ▶ 東芝メディカルシステムズ株式会社の特許一覧

特許7483528画像処理装置、画像処理方法、プログラム
<>
  • 特許-画像処理装置、画像処理方法、プログラム 図1
  • 特許-画像処理装置、画像処理方法、プログラム 図2
  • 特許-画像処理装置、画像処理方法、プログラム 図3
  • 特許-画像処理装置、画像処理方法、プログラム 図4
  • 特許-画像処理装置、画像処理方法、プログラム 図5
  • 特許-画像処理装置、画像処理方法、プログラム 図6
  • 特許-画像処理装置、画像処理方法、プログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-07
(45)【発行日】2024-05-15
(54)【発明の名称】画像処理装置、画像処理方法、プログラム
(51)【国際特許分類】
   A61B 6/03 20060101AFI20240508BHJP
   A61B 5/055 20060101ALI20240508BHJP
   A61B 8/14 20060101ALI20240508BHJP
【FI】
A61B6/03 560J
A61B5/055 380
A61B6/03 560T
A61B8/14
【請求項の数】 16
(21)【出願番号】P 2020111225
(22)【出願日】2020-06-29
(65)【公開番号】P2022010572
(43)【公開日】2022-01-17
【審査請求日】2023-06-22
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】古川 大介
【審査官】佐野 浩樹
(56)【参考文献】
【文献】特開2008-200373(JP,A)
【文献】特開2016-174656(JP,A)
【文献】特開2006-043431(JP,A)
【文献】特開2011-092684(JP,A)
【文献】特開2020-021228(JP,A)
【文献】国際公開第2019/167883(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055、 6/00 - 6/58
8/00 - 8/15 、
G01T 1/161- 1/166、
G06T 1/00 - 1/40 、 3/00 - 7/90 、
G06V10/00 -20/90 、30/418、40/16 、
40/20
(57)【特許請求の範囲】
【請求項1】
被写体を撮影して得られた複数の第一の断層画像と、前記複数の第一の断層画像のそれぞれに対して注目領域を示す正解画像である複数の第二の断層画像とを取得する第一の取得部と、
前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する第一の生成部と、
前記複数の第二の断層画像のうち、前記所定の厚さの範囲内に含まれる前記第二の断層画像を用いて、前記第三の断層画像中の注目領域を示す正解画像である第四の断層画像を生成する第二の生成部と、
前記第三の断層画像と前記第四の断層画像を用いて、前記注目領域を抽出するための識別器の学習を行う学習部と、
を備える、画像処理装置。
【請求項2】
前記第一の生成部は、前記所定の厚さの範囲に含まれる前記第一の断層画像を平均化して前記第三の断層画像を生成する、
請求項1に記載の画像処理装置。
【請求項3】
前記第二の生成部は、前記第四の断層画像の各座標の画素値を、前記所定の厚さの範囲に含まれる前記第二の断層画像の当該座標の画素値の代表値として決定する、
請求項1または2に記載の画像処理装置。
【請求項4】
前記第二の生成部は、前記所定の厚さの範囲に含まれる前記第二の断層画像を平均化することにより、あるいは、平均化した後に閾値処理を施すことにより、前記第四の断層画像を生成する、
請求項3に記載の画像処理装置。
【請求項5】
前記第二の生成部が行う前記平均化は、前記所定の厚さ範囲の中心に近い前記第二の断層画像の重みを相対的に大きく設定した加重平均である、
請求項4に記載の画像処理装置。
【請求項6】
前記第二の生成部は、前記第三の断層画像中のそれぞれの画素が、当該画素が前記注目領域に含まれるか含まれないかを示す二つの画素値のいずれかをとる前記第四の断層画像を生成し、
前記学習部は、前記識別器が、前記第三の断層画像中のそれぞれの画素について、当該画素が前記注目領域に含まれるか含まれないかを示す二つの画素値のいずれかを出力するように学習を行う、
請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
前記第二の生成部は、前記第三の断層画像中のそれぞれの画素が、当該画素が前記注目領域に含まれる確からしさを表す値をとる前記第四の断層画像を生成し、
前記学習部は、前記識別器が、前記第三の断層画像中のそれぞれの画素について、当該画素が前記注目領域に含まれる確からしさを表す値を出力するように学習を行う、
請求項1から5のいずれか1項に記載の画像処理装置。
【請求項8】
前記第一の取得部は、前記第一の断層画像および前記第二の断層画像の第一のスライス間隔および第一のスライス厚と、前記第三の断層画像および前記第四の断層画像の第二のスライス間隔および第二のスライス厚とを取得し、
前記所定の厚さの範囲は、前記第二のスライス間隔および前記第二のスライス厚に基づいて求められ、
前記所定の厚さの範囲内に含まれる前記第一の断層画像および前記第二の断層画像は、前記第一のスライス間隔および前記第一のスライス厚に基づいて求められる、
請求項からのいずれか1項に記載の画像処理装置。
【請求項9】
前記第一の取得部は、前記識別器に入力される画像の種類を取得し、前記識別器に入力される画像の種類に基づいて、前記第二のスライス間隔および前記第二のスライス厚を決定する、
請求項に記載の画像処理装置。
【請求項10】
前記第一の取得部は、前記第二のスライス間隔と前記第二のスライス厚の複数の組を取得し、
前記第一の生成部は、前記第二のスライス間隔と前記第二のスライス厚の組ごとに、前記第三の断層画像を生成し、
前記第二の生成部は、前記第二のスライス間隔と前記第二のスライス厚の組ごとに、前記第四の断層画像を生成する、
請求項またはに記載の画像処理装置。
【請求項11】
前記学習部は、前記第二のスライス間隔と前記第二のスライス厚の組ごとに、識別器を学習する、
請求項10に記載の画像処理装置。
【請求項12】
前記第一の生成部は、前記第一の断層画像を用いて、第一のスライス厚に対応する第三の断層画像および第二のスライス厚に対応する第三の断層画像を生成し、
前記第二の生成部は、前記第二の断層画像を用いて、前記第一のスライス厚に対応する第四の断層画像および前記第二のスライス厚に対応する第四の断層画像を生成し、
前記学習部は、
前記第一のスライス厚に対応する前記第三の断層画像および前記第一のスライス厚に対応する前記第四の断層画像を含み構成される第1の教示データと、
前記第二のスライス厚に対応する前記第三の断層画像および前記第二のスライス厚に対
応する前記第四の断層画像を含み構成される第2の教示データと、を用いて、
前記第一のスライス厚を有する処理対象画像と、前記第二のスライス厚を有する処理対象画像と、に対して注目領域を抽出する推論を行う識別器の学習を行う、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項13】
前記第一の断層画像は、CT画像、MRI断層画像、PET断層画像、超音波断層画像のいずれかを構成する断層画像である、
請求項1から12のいずれか1項に記載の画像処理装置。
【請求項14】
前記第一の取得部は、データサーバから前記第一の断層画像および前記第二の断層画像を取得し、
前記第一の生成部および前記第二の生成部は、前記第三の断層画像および前記第四の断層画像を前記データサーバに出力する、
請求項1から13のいずれか1項に記載の画像処理装置。
【請求項15】
コンピュータが行う画像処理方法であって、
被写体を撮影して得られた複数の第一の断層画像と、前記複数の第一の断層画像のそれぞれに対して注目領域を示す正解画像である複数の第二の断層画像とを取得する第一の取得ステップと、
前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する第一の生成ステップと、
前記複数の第二の断層画像のうち、前記所定の厚さの範囲内に含まれる前記第二の断層画像を用いて、前記第三の断層画像中の注目領域を示す正解画像である第四の断層画像を生成する第二の生成ステップと、
前記第三の断層画像と前記第四の断層画像とを含み構成される教示データを用いて、前記注目領域を抽出するための識別器の学習を行う学習ステップと、
を含む、画像処理方法。
【請求項16】
請求項15に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置で撮影された画像中に描出されている注目領域を指示する正解画像を作成する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、医用画像解析の分野において、機械学習を利用したセグメンテーションが重要になってきている。セグメンテーションとは、画像中に描出されている注目領域と注目領域以外の領域を区別する処理のことであり、領域抽出、領域分割、画像分割とも呼ばれる。機械学習に基づくセグメンテーションの精度を向上させるためには、大量の学習画像と正解画像を準備する必要がある。非特許文献1では、すでに作成されている複数の正解画像の中から二つの正解画像を選択し、選択された正解画像から新たな正解画像を人工的に生成する技術が開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Zach Eaton-Rosen, “Improving Data Augmentation for Medical Image Segmentation”, International Conference on Medical Imaging with Deep Learning 2018
【発明の概要】
【発明が解決しようとする課題】
【0004】
CT画像のように複数枚のスライスから構成される3次元医用画像においては、例え同じ注目領域であっても、スライスの間隔またはスライスの厚さが異なると、注目領域の見え方が異なる。そのため、スライス間隔とスライス厚を考慮して、正解画像を作成することが重要である。しかし、非特許文献1で開示されている技術では、スライス間隔とスライス厚を考慮することなく、正解画像を作成する。
【0005】
本発明は、スライス間隔とスライス厚を考慮した正解画像を簡便に作成することのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第一の態様に係る画像処理装置は、
被写体を撮影して得られた複数の第一の断層画像と、前記複数の第一の断層画像のそれぞれに対して注目領域を示す正解画像である複数の第二の断層画像とを取得する第一の取得部と、
前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する第一の生成部と、
前記複数の第二の断層画像のうち、前記所定の厚さの範囲内に含まれる前記第二の断層画像を用いて、前記第三の断層画像中の注目領域を示す正解画像である第四の断層画像を生成する第二の生成部と、
前記第三の断層画像と前記第四の断層画像を用いて、前記注目領域を抽出するための識別器の学習を行う学習部と、
を備える。
【0007】
本発明の第二の態様に係る画像処理方法は、
コンピュータが行う画像処理方法であって、
被写体を撮影して得られた複数の第一の断層画像と、前記複数の第一の断層画像のそれぞれに対して注目領域を示す正解画像である複数の第二の断層画像とを取得する第一の取得ステップと、
前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する第一の生成ステップと、
前記複数の第二の断層画像のうち、前記所定の厚さの範囲内に含まれる前記第二の断層画像を用いて、前記第三の断層画像中の注目領域を示す正解画像である第四の断層画像を生成する第二の生成ステップと、
前記第三の断層画像と前記第四の断層画像を用いて、前記注目領域を抽出するための識別器の学習を行う学習ステップと、
を含む。
【発明の効果】
【0008】
本発明によれば、スライス間隔とスライス厚を考慮した正解画像を簡便に作成することができる。
【図面の簡単な説明】
【0009】
図1】第一の実施形態に係る画像処理装置の構成を示す図。
図2】教示データ生成部101の処理手順を示すフローチャート。
図3】教示データSinputに含まれているCT画像と正解画像を説明した図。
図4】第一の生成部120により生成されるCT画像を説明した図。
図5】第二の生成部130により生成される正解画像を説明した図。
図6】第二の生成部130により生成される正解画像を説明した図。
図7】学習処理実行部102の処理手順を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態を説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において構成要素、部材、処理の一部は省略して表示する。
【0011】
以下では、X線コンピュータ断層撮像(X線CT)装置で撮影されたCT画像中に描出されている肝臓を注目領域として例に挙げ、本発明について説明する。しかしながら、本発明は、肝臓のみならず、他の臓器、骨、筋肉など人体のあらゆる構造物に対して適用可能である。また本発明は、CT画像のみならず、核磁気共鳴画像撮像装置(MRI)装置、ポジトロン断層撮像(PET)装置、超音波撮像装置等、X線CT装置以外のモダリティで撮像された断層画像に対しても適用可能である。なお、本発明の実施形態は以下の実施形態に限定されるものではない。
【0012】
<第一の実施形態>
図1を参照して、第一の実施形態に係る画像処理装置100の構成について説明する。画像処理装置100は、CT画像から肝臓領域を抽出する識別器の学習を行う装置である。画像処理装置100は、教示データ生成部101と学習処理実行部102からなる。教示データ生成部101は、操作者等により指定されたスライス厚とスライス間隔からなる所定の厚さに基づいて、事前に作成されている教示データから、新たな教示データを生成する。学習処理実行部102は、教示データ生成部101によって生成された教示データを用いて、識別器103の学習を行う。識別器103は、CT画像を入力として受け付け、CT画像中に描出されている注目領域を抽出する識別器である。学習処理実行部102により学習された識別器103は、操作者等により指定されたスライス厚とスライス間隔を持つCT画像から、注目領域を高い精度で抽出することが可能となる。
【0013】
画像処理装置100は、プロセッサとメモリとを含み、メモリに格納されたプログラムをプロセッサが実行することによって上述の各機能部が実現される。なお、各機能部の一部または全部は専用のハードウェア装置によって実現されてもよい。
【0014】
画像処理装置100のほかに、画像処理装置100への入力となるデータ、および画像処理装置100が出力するデータを保存するためのデータサーバ200が存在する。デー
タサーバ200はコンピュータ記憶媒体の一例であり、ハードディスクドライブ(HDD)やソリッドステイトドライブ(SSD)に代表される大容量情報記憶装置である。データサーバ200は、画像処理装置100内に保持されていてもよいし、画像処理装置100外に別途設けられネットワークを介して通信可能に構成されていてもよい。
【0015】
教示データは、セグメンテーション処理の対象となるデータと同等の入力データと、この入力データが識別器103に入力されたときに期待される出力である正解データを含む。本実施例では、入力データはCT画像であり、正解データはCT画像中の注目領域を示す画像である。教示データは、教師データあるいはトレーニングデータとも呼ばれる。入力データは、入力画像、学習画像、学習データとも呼ばれる。正解データは、正解画像とも呼ばれる。
【0016】
[教示データ生成部]
図1を参照して、教示データ生成部101の構成をさらに詳しく説明する。
【0017】
第一の取得部110は、被写体を撮影して得られる複数の第一の断層画像と、複数の第一の断層画像のそれぞれに対して注目領域を示す複数の第二の断層画像とを取得する。第一の取得部110は、また、第一の断層画像および第二の断層画像の第一のスライス間隔および第一のスライス厚と、第三の断層画像および第四の断層画像の第二のスライス間隔および第二のスライス厚とを取得する。
【0018】
第一の取得部110は、データサーバ200に格納されている教示データSinputの中から一組のCT画像(入力画像)と正解画像を取得する。また、第一の取得部110は、識別器103が処理の対象とするCT画像のスライス厚やスライス間隔の値をデータサーバ200から取得して、新たに生成するCT画像と正解画像のスライス厚とスライス間隔に関する情報を生成する。第一の取得部110は、取得したCT画像と、新たに生成するCT画像のスライス厚とスライス間隔に関する情報を、第一の生成部120に送信する。また、第一の取得部110は、取得した正解画像と、新たに生成する正解画像のスライス厚とスライス間隔に関する情報を、第二の生成部130に送信する。
【0019】
図3を参照して、第一の取得部110により取得されるCT画像と正解画像について説明する。第一の取得部110により取得されるCT画像(入力画像)は、複数枚の断層画像から構成される3次元画像(複数の第一の断層画像)である。図3の断層画像310、断層画像320、断層画像330、断層画像340は、ひとつのCT画像を構成する断層画像の一例である。断層画像310、断層画像320、断層画像330、断層画像340は、連続するNinput枚のスライスであり、患者の体軸に沿って並んでいる。注目領域311、注目領域321、注目領域331、注目領域341はCT画像に描出された肝臓であり、識別器103が抽出しようとする領域(注目領域)である。また、領域312、領域313、領域324、領域325、領域326はそれぞれ、CT画像に描出された胴体、胃、背骨、右腎臓、左腎臓である。これらの領域は、正解画像において注目領域として設定された領域ではない。すべての断層画像にはこのような注目領域として設定された領域ではない領域が写っているが、図3では見やすさを考慮して、一部の非注目領域には符号を付与していない。
【0020】
正解画像もまた、複数枚の断層画像から構成される3次元画像(複数の第二の断層画像)である。図3の断層画像350、断層画像360、断層画像370、断層画像380は、ひとつの正解画像を構成する断層画像の一例である。正解画像のそれぞれの断層画像は、CT画像の断層画像に対応する。図3では、断層画像350、断層画像360、断層画像370、断層画像380は、それぞれ、断層画像310、断層画像320、断層画像330、断層画像340に対応する。正解画像の各断層画像は、対応するCT画像の断層画
像中に描出されている肝臓の領域を示す2値画像である。領域351、領域361、領域371、領域381は、それぞれ、注目領域311、注目領域321、注目領域331、注目領域341を示している。尚、断層画像には注目領域が描出されていることは必須ではなく、注目領域が描出されていない断層画像に対して、注目領域が描出されていないことを示す正解画像が組として教示データに含まれていてもよい。
【0021】
第一の取得部110により取得されたCT画像と正解画像は、スライス厚やスライス間隔についての情報を保持している。スライス厚とは、それぞれの断層画像を構成する面(スライス)の厚みである。一般に、ひとつのCT画像を構成するすべての断層画像は、同じスライス厚を持つ。スライス間隔とは、連続して並ぶ二つの断層画像間の撮像空間での距離のことである。一般に、ひとつのCT画像を構成するすべての断層画像は、患者の体軸に沿って等しい間隔で配置される。そのため、ひとつのCT画像(断層画像310、断層画像320、・・・、断層画像330、断層画像340)は、一つの(同じ)スライス間隔を持つ。また、一般的なCT画像では、スライス厚とスライス間隔は同じ値をとる。ここで、正解画像の各断層画像は、CT画像の断層画像に対応するため、正解画像のスライス厚やスライス間隔は、CT画像のスライス厚やスライス間隔と等しい。以降、第一の取得部110により取得されたCT画像と正解画像のスライス厚をTinput、スライス間隔をDinputと記述する。Tinputが第一のスライス厚に相当し、Dinputが第一のスライス間隔に相当する。
【0022】
また、第一の取得部110は、データサーバ200より、識別器103が処理の対象とするCT画像のスライス厚やスライス間隔の値を取得する。そして、新たに生成するCT画像と正解画像のスライス間隔とスライス厚の値を設定する。以降、第一の取得部110が設定したスライス厚とスライス間隔をそれぞれ、Ttarget、Dtargetと記述する。Ttargetが第二のスライス厚に相当し、Dtargetが第二のスライス間隔に相当する。
【0023】
第一の取得部110は、Ttargetを、識別器103で処理したいCT画像のスライス厚と等しい値に設定する。例えば、識別器103で5mm厚のCT画像に描出されている肝臓を抽出したいとする。この時、Ttargetを5とする。すると、画像処理装置100は、最終結果(第二の出力部170の出力)として、5mm厚のCT画像に描出されている肝臓を抽出するために最も効果的な識別器103のパラメータを出力する。
【0024】
識別器103がCT画像を3次元画像として入力して識別する識別器である場合には、第一の取得部110は、Dtargetを、Ttargetと等しい値に設定する。これによると、生成する教示データのスライス厚とスライス間隔を、識別器103が処理する対象のCT画像と一致させることができる。一方、識別器103がCT画像を断層画像毎に2次元画像として入力して識別する識別器である場合には、第一の取得部110は、Dtargetを、Dinputと等しい値に設定する。これによると、入力する教示データに近い数の教示データを生成することができる。なお、識別器103が2次元の場合のDtargetの値は、3次元の場合と同様にTtargetと同じ値にしてもよいし、DinputともTtargetとも異なる値に設定してもよい。
【0025】
上記では、第一の取得部110は、データサーバ200より、識別器103が処理の対象とするCT画像のスライス厚やスライス間隔の値を取得しているが、これらの値をユーザからの入力として取得してもよい。第一の取得部110は、スライス厚とスライス間隔のいずれか又は両方を数値としてユーザから取得してもよい。あるいは第一の取得部110は、識別器103に入力される画像の種類をユーザから取得して、この画像の種類に応じてスライス厚とスライス間隔のいずれかまたは両方を設定してもよい。
【0026】
第一の生成部120は、第一の取得部110から受け取ったCT画像(複数の第一の断層画像)から、新たなCT画像(複数の第三の断層画像)を生成する。第一の生成部120は、前記複数の第一の断層画像のうち、所定の厚さの範囲内に含まれる前記第一の断層画像を用いて、前記被写体を表す第三の断層画像を生成する。今、第一の生成部120が第一の取得部110から受け取ったCT画像をCinput、第一の生成部120が生成するCT画像をCtargetと記述する。第一の生成部120は、Cinputを構成する断層画像Cinput[i](i=1,・・・,Ninput)のうち、所定の厚みの範囲Rjに含まれる複数枚の断層画像を平均化することで、新たな一枚の断層画像Ctarget[j](j=1,・・・,Ntarget)を生成する。ここで、厚みの範囲Rjは、それぞれのjごとに、次式で計算される。
【数1】
【0027】
なお、断層画像Cinput[i]は厚みを有するので、その一部分のみが厚みの範囲Rjに含まれることがある。第一の生成部120は、少なくとも一部分が厚みの範囲Rjに含まれる断層画像を平均化して新たな断層画像Ctarget[j]を生成してもよい。あるいは、第一の生成部120は、所定割合以上の部分が厚みの範囲Rjに含まれる断層画像を平均化して新たな断層画像Ctarget[j]を生成してもよい。また、第一の生成部120は、少なくとも一部分が厚みの範囲Rjに含まれる断層画像を、厚みの範囲Rjに含まれる部分の割合に応じた重みを用いて加重平均して、新たな断層画像Ctarget[j]を生成してもよい。
【0028】
図4は、新たな断層画像の生成例を説明する図である。この例では、Dtarget=Ttarget=2×Dinput=2×Tinputである。第一の生成部120は、二枚の断層画像310、320を平均化して、新たな断層画像410を生成し、また、二枚の断層画像330、340を平均化して、新たな断層画像420を生成している。断層画像320と断層画像330の間に存在する不図示の断層画像についても、同様の処理を行う。第一の生成部120は、生成された断層画像410、・・・、断層画像420を新しい一つのCT画像とみなす。
【0029】
第二の生成部130は、第一の取得部110から受け取った正解画像(複数の第二の断層画像)から、新たな正解画像(複数の第四の断層画像)を生成する。第二の生成部130は、複数の第二の断層画像のうち、所定の厚さの範囲内に含まれる第二の断層画像を用いて、第三の断層画像中の注目領域を示す第四の断層画像を生成する。第四の断層画像の各座標の画素値は、所定の厚さの範囲に含まれる第二の断層画像の座標の画素値の代表値として決定すればよい。第二の生成部130が新たに生成する正解画像は、二値画像であってもよいし連続値画像であってもよい。いずれの表現の正解画像を生成するかは、学習処理実行部102が実行する識別器103の学習に必要な正解画像の表現に応じて(必要な表現の正解画像が得られるように)決定する。
【0030】
今、第二の生成部130が第一の取得部110から受け取った正解画像をMinput、第二の生成部130が生成する新たな正解画像をMtargetと記述する。正解画像が二値画像である場合、正解画像の各画素は、二つの画素値のいずれか一つを取る。一つめの画素値は、当該画素が注目領域に含まれる画素であることを示す。もう一つの画素値は、当該画素が注目領域に含まれない画素であることを示す。一方、正解画像が連続値画像である場合、正解画像の各画素は、二つの所定の値、例えば0と1の間の任意の値を取る。この時、画素値の大きさは、当該画素が注目領域に含まれる確からしさを表す。すなわち、画素値が大きな値であればあるほど、当該画素は注目領域に含まれる可能性が高い。
【0031】
まず、新たな正解画像Mtargetを二値画像として生成する場合について説明する。このとき、第二の生成部130は、Minputを構成する断層画像Minput[i](i=1,・・・,Ninput)のうち、所定の厚みの範囲Rjに含まれる複数枚の断層画像を平均化する。そして、その結果に対してしきい値処理を適用することで、新たな一枚の断層画像Mtarget[j](j=1,・・・,Ntarget)を生成する。Rjは、上述の数式(式1)で計算される。
【0032】
なお、新たな正解画像の生成は上記に限られない。新たな正解画像Mtarget[j]における各座標の画素値が、範囲Rjに含まれる各断層画像Minput[i]の当該座標の画素値の代表値に基づいて定められればどのような方法で新たな正解画像を生成してもよい。たとえば、新たな正解画像の各座標の画素値を、範囲Rjに含まれる各断層画像Minput[i]の当該座標の画素値の多数決で定めてもよい。また、当該座標の画素値の平均を閾値処理することで、新たな正解画像の画素値を定めてもよい。この場合、画素値の平均は単純平均であってもよいし、範囲Rjの中心に近い断層画像の重みを相対的に大きく設定した加重平均であってもよい。また、画素値の積によって新たな正解画像の画素値を定めてもよい。
【0033】
図5は、新たな正解画像を二値画像として生成する例を説明する図である。スライス厚およびスライス間隔の設定は図4の場合と同様である。第二の生成部130は、二枚の断層画像350、360から、新たな断層画像510を生成し、また、断層画像360、370から、新たな断層画像520を生成している。断層画像360と断層画像370の間に存在する不図示の断層画像についても、同様の処理を行う。第二の生成部130は、生成された断層画像510、・・・、断層画像520を新しい一つの正解画像とみなす。
【0034】
次に、新たな正解画像Mtargetを連続値画像として生成する場合について説明する。このとき、第二の生成部130は、Minputを構成する断層画像Minput[i](i=1,・・・,Ninput)のうち、所定の厚みの範囲Rjに含まれる複数枚の断層画像を平均化することで、新たな一枚の断層画像Mtarget[j]を生成する。Rjは、上述の数式(式1)で計算される。なお、新たな正解画像Mtarget[j]における各座標の画素値が、範囲Rjに含まれる各断層画像Minput[i]の当該座標の画素値の代表値に基づいて定められればどのような方法で新たな正解画像を生成してもよい。例えば、単純平均の代わりに、加重平均や和によって新たな正解画像の各座標の画素値を決定してもよい。
【0035】
図6は、新たな正解画像を連続画像として生成する例を説明する図である。スライス厚およびスライス間隔の設定は図4の場合と同様である。第二の生成部130は、二枚の断層画像350、360から、新たな断層画像610を生成し、また、断層画像360、370から、新たな断層画像620を生成している。断層画像360と断層画像370の間に存在する不図示の断層画像についても、同様の処理を行う。第二の生成部130は、生成された断層画像610、・・・、断層画像620を新しい一つの正解画像とみなす。
【0036】
第一の出力部140は、第一の生成部120から受け取ったCT画像と第二の生成部130から受け取った正解画像を一つの組として対応付ける。そして、第一の出力部140は、対応付けられたCT画像と正解画像を、データサーバ200に格納されている教示データに追加する。
【0037】
なお、第一の出力部140は、CT画像に対応する正解画像を図1には不図示の表示部に出力してもよい。表示部に含まれる表示装置の一例は、ディスプレイである。表示部は、CT画像に対応する正解画像のみを表示してもよい。また、表示部は、CT画像と、対
応する正解画像を同時に表示してもよい。また、表示部は、データサーバ200から取得したCT画像および正解画像と、教示データ生成部101が生成したCT画像および正解画像を同時に表示してもよいし、いずれかのみを表示してもよい。
【0038】
次に図2を参照して、教示データ生成部101が行う画像処理方法の処理手順を説明する。
【0039】
(S110)
ステップS110において、第一の取得部110は、データサーバ200に格納されている教示データの中から、一組のCT画像と正解画像を取得する。また、第一の取得部110は、データサーバ200から、識別器103が処理の対象とするCT画像のスライス厚やスライス間隔の値を取得して、新たに生成するCT画像と正解画像のスライス厚とスライス間隔に関する情報を設定する。処理の詳細については、第一の取得部110の説明で述べた通りである。そして、第一の取得部110は、取得したCT画像と、新たに生成するCT画像のスライス厚とスライス間隔に関する情報を、第一の生成部120に送信する。また、第一の取得部110は、取得した正解画像と、新たに生成する正解画像のスライス厚とスライス間隔に関する情報を、第二の生成部130に送信する。
【0040】
(S120)
ステップS120において、第一の生成部120は、第一の取得部110からCT画像とスライス間隔に関する情報を取得する。そして、第一の生成部120は、第一の取得部110から受け取ったCT画像から、新たなCT画像を生成する。処理の詳細については、第一の生成部120の説明で述べた通りである。最後に、第一の生成部120は、新たに生成された抽出されたCT画像を第一の出力部140に送信する。
【0041】
(S130)
ステップS130において、第二の生成部130は、第一の取得部110から正解画像とスライス間隔に関する情報を取得する。そして、第二の生成部130は、第一の取得部110から受け取った正解画像から、新たな正解画像を生成する。処理の詳細については、第二の生成部130の説明で述べた通りである。最後に、第二の生成部130は、新たに生成された抽出された正解画像を第一の出力部140に送信する。
【0042】
(S140)
ステップS140において、第一の出力部140は、第一の生成部120から受信したCT画像と、第二の生成部130から受信した正解画像を対応付ける。そして、第一の出力部140は、データサーバ200に格納されている教示データSnewに、対応付けられたCT画像と正解画像を追加する。もしデータサーバにSnewが存在していない場合、第一の出力部140はデータサーバ200にSnewを作成する。そして、作成されたSnewに対応付けられたCT画像と正解画像を追加する。
【0043】
(S150)
ステップS150において、画像処理装置100の不図示の制御部は、データサーバ200に格納されている教示データSinputにまだ処理していないCT画像と正解画像が存在しているか否かを判定する。もし、処理していないCT画像と正解画像が存在している場合、不図示の制御部は教示データ生成部101にステップS110の処理を実行させる。逆に、処理していないCT画像と正解画像が存在しない場合、不図示の制御部は教示データ生成部101の処理を終了させる。
【0044】
以上の手順に従い、教示データ生成部101は、データサーバ200に格納されている教示データSinputから、新たな教示データSnewを生成する。
【0045】
[学習処理実行部]
続いて、図1を参照して、学習処理実行部102の構成を説明する。第二の取得部150は、データサーバ200から、教示データ生成部101により生成された教示データSnewを取得し、それを学習部160に送信する。教示データSnewは、複数個のCT画像と正解画像からなる。それぞれの正解画像は、対応するCT画像と関連付けられており、一つのCT画像と一つの正解画像で一組のデータをなしている。これらのCT画像と正解画像は、第一の生成部120と第二の生成部130で生成されたCT画像と正解画像である。第二の取得部150は、Snewに加えて、データサーバ200から教示データSinputを取得し、SinputとSnewを学習部160に送信してもよい。
【0046】
学習部160は、第二の取得部150から教示データを取得する。そして、学習部160は、取得した教示データを用いて注目領域を抽出するための識別器103の学習を行う。学習の結果、学習部160は、識別器103のパラメータを取得する。最後に、学習部160は、取得した識別器103のパラメータを第二の出力部170に送信する。
【0047】
識別器103は、セグメンテーションに利用可能な識別器であれば、どのような識別器であってもよい。識別器103の種類に応じて、学習部160が実行する学習アルゴリズムは一意に決まる。そのため、学習部160は、識別器103に対応する学習アルゴリズムを実行する。これらの学習アルゴリズムは公知の技術であり、その処理手順は文献等で開示されている。そのため、ここでは処理手順の詳細については説明を省略する。以下では、CT画像を2次元の断面画像毎に処理し、注目領域を抽出した結果の画像を2次元の断面画像として出力する、2次元の識別器を構成する場合を例に説明する。
【0048】
学習アルゴリズムの処理ステップの一つに、損失の計算がある。損失の計算に利用される損失関数は、識別器103が、CT画像中の各画素について、当該画素が注目領域に含まれるか否かを二値で出力する識別器か、当該画素が注目領域に含まれる確からしさ(連続値)を出力する識別器か、に応じて選択される。
【0049】
識別器103が二値を出力する識別器である場合、正解画像には二値画像が用いられる。このとき、学習部160は、損失関数としてbinary cross entropy等を用いる。今、教示データにT組のCT画像Iiと正解画像Riが格納されているとする。ただし、i=1,・・・,Tである。T個のCT画像Iiに学習途中の識別器103を適用して、注目領域を抽出した結果の画像をOiとする。画像RiとOiの画像サイズをM×Nとし、正解画像の画素値をRi(x,y)、抽出画像の画素値をOi(x,y)とする。ただし、1<=x<=W、1<=y<=Hである。すると、binary cross entropyは以下のように計算される。
【数2】
【0050】
一方、識別器103が確からしさを出力する識別器である場合、正解画像には連続値画像が用いられる。このとき、学習部160は、損失関数として二乗誤差等を用いる。二乗誤差は、以下のように計算される。
【数3】
【0051】
学習部160が損失関数(式3)を用いて識別器103の学習を行うとき、結果として得られる識別器103は、CT画像中の各画素について、当該画素が注目領域に含まれる確からしさを出力するようになる。
【0052】
第二の出力部170は、学習部160から受け取った識別器103のパラメータをデータサーバ200に格納する。
【0053】
以上で、学習処理実行部102の説明を終える。
【0054】
次に、図7を参照して、学習処理実行部102の処理手順を説明する。上述の通り、損失関数の計算方法が異なることを除き、学習処理実行部102は公知の学習アルゴリズムと同じ処理を実行する。そこで、以下では、学習処理実行部102の処理手順を短く説明する。
【0055】
(S210)
ステップS210において、第二の取得部150は、データサーバ200から教示データを取得する。
【0056】
(S220)
ステップS220において、学習部160は、識別器103の種類に応じて決定される学習アルゴリズムを実行する。本ステップで実行される処理の詳細については、学習部160の説明で述べたとおりである。
【0057】
(S230)
ステップS230において、第二の出力部170は、ステップS220で得られた識別器103のパラメータをデータサーバ200に格納する。
【0058】
以上の手順に従い、学習処理実行部102は、識別器103の学習を行う。
【0059】
第一の実施形態に係る画像処理装置100は、識別器103に処理させるCT画像のスライス厚とスライス間隔を考慮した正解画像を効率よく生成することが出来る。そして、その取得結果に基づいて識別器103を学習させる。結果として得られる識別器103は、当該スライス厚とスライス間隔を有するCT画像から、注目領域を高い精度で抽出することができるようになる。
【0060】
なお、上記の説明では、識別器103が処理の対象とするCT画像のスライス厚が固定値である場合を例として、その学習に用いる教示データとしてSnewを生成する場合を例として説明したが、それ以外の実施形態でもよい。
【0061】
たとえば、領域抽出を行いたいCT画像のスライス厚が複数(たとえば、1mm、2mm、3mm、5mm)ある場合に、それぞれのスライス厚に対して個々に上記の処理を行ってもよい。言い換えると、スライス厚毎に、新たな正解画像の生成および識別器の学習を行ってもよい。この場合、教示データ生成部101は、想定されるスライス厚ごとに、新たな教示データSnewを生成する。また、学習処理実行部102は、それぞれのスラ
イス厚に対応する識別器103を、それぞれ、対応するスライス厚の教示データSnewを用いて学習して生成する。このとき、学習した識別器103を用いて未知のCT画像の領域抽出を行う際には、処理を行うCT画像のスライス厚に基づいて当該スライス厚の識別器103を選択し、当該識別器を用いて領域抽出処理を行えばよい。また、スライス厚だけでなく、スライス間隔も複数設定してもよい。例えば、想定されるスライス厚およびスライス間隔の複数の組のそれぞれについて、対応するスライス厚およびスライス間隔の教示データを生成して、識別器103の学習に用いてもよい。
【0062】
また、想定されるスライス厚Tをいくつかのグループにグループ分けして(たとえば、T≦1mm、1mm<T≦2mm、2mm<T≦3mm、3mm<T≦5mm、5mm<T)、それぞれのグループに対応する識別器103を生成するようにしてもよい。この場合、教示データ生成部101は、想定されるスライス厚のグループごとに、当該グループの範囲に含まれる様々なスライス厚をTtargetとして設定しながら、新たな教示データSnewを生成する。また、学習処理実行部102は、それぞれのグループに対応する識別器103を、それぞれ、対応するグループの教示データSnewを用いて学習して生成する。このとき、学習した識別器103を用いて未知のCT画像の領域抽出を行う際には、処理を行うCT画像のスライス厚に基づいて当該スライス厚が含まれるグループの識別器103を選択し、当該識別器を用いて領域抽出処理を行えばよい。また、グループ分けは必ずしも必要ではなく、すべてのスライス厚を一つのグループとして同様の処理を行ってもよい。上記のいずれの方法によっても、様々なスライス厚のCT画像に対して注目領域を高い精度で抽出することができる。
【0063】
上記の説明では、処理対象の画像はX線CT装置で撮像したCT画像を例にとって説明しているが、処理対象の画像は、MRI断層画像、PET断層画像、超音波断層画像等の任意の断層画像であってもよい。
【0064】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0065】
100:画像処理装置
110:第一の取得部
120:第一の生成部
130:第二の生成部
図1
図2
図3
図4
図5
図6
図7