IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特許7106741学習方法、学習装置、生成モデル及びプログラム
<>
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図1
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図2
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図3
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図4
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図5
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図6
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図7
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図8
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図9
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図10
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図11
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図12
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図13
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図14
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図15
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図16
  • 特許-学習方法、学習装置、生成モデル及びプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-15
(45)【発行日】2022-07-26
(54)【発明の名称】学習方法、学習装置、生成モデル及びプログラム
(51)【国際特許分類】
   A61B 6/03 20060101AFI20220719BHJP
   G06T 3/40 20060101ALI20220719BHJP
【FI】
A61B6/03 360T
A61B6/03 360J
A61B6/03 360B
G06T3/40 725
【請求項の数】 12
(21)【出願番号】P 2021502250
(86)(22)【出願日】2020-02-25
(86)【国際出願番号】 JP2020007382
(87)【国際公開番号】W WO2020175445
(87)【国際公開日】2020-09-03
【審査請求日】2021-08-19
(31)【優先権主張番号】P 2019036373
(32)【優先日】2019-02-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】工藤 彰
(72)【発明者】
【氏名】北村 嘉郎
【審査官】蔵田 真彦
(56)【参考文献】
【文献】特開2008-167950(JP,A)
【文献】特開2018-192264(JP,A)
【文献】米国特許出願公開第2018/0260957(US,A1)
【文献】米国特許出願公開第2018/0341836(US,A1)
【文献】MARDANI, Morteza et al.,Deep Generative Adversarial Networks for Compressed Sensing (GANCS) Automates MRI,arXiv,2017年,arXiv:1706.00051v1 [cs.CV]
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-3/18、5/055、6/00-6/14、
8/00-8/15
G06T 1/00-1/40、3/00-9/40
(57)【特許請求の範囲】
【請求項1】
解像度が相対的に低い低解像情報を含む第1画像から解像度が相対的に高い高解像情報を含む第2画像を推定する生成モデルの学習方法であって、
第1画像を用いて仮想第2画像を生成する生成モデルであるジェネレータと、学習用第2画像と前記仮想第2画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークの前記ジェネレータに前記第1画像のみを入力するジェネレータ入力工程と、
前記ディスクリミネータに前記学習用第2画像と前記学習用第2画像の部位情報と、を入力する第1ディスクリミネータ入力工程と、
前記ディスクリミネータに前記仮想第2画像と前記仮想第2画像の部位情報と、を入力する第2ディスクリミネータ入力工程と、
を備えた学習方法。
【請求項2】
前記部位情報は、人体の頭部、胸部、腹部、及び脚部を含む請求項1に記載の学習方法。
【請求項3】
前記第1画像は3次元断層画像であり、
前記解像度はスライス厚方向の解像度である請求項1又は2に記載の学習方法。
【請求項4】
前記第1ディスクリミネータ入力工程及び前記第2ディスクリミネータ入力工程は、前記第1画像のスライス情報を前記ディスクリミネータに入力する請求項3に記載の学習方法。
【請求項5】
前記スライス情報は、スライス間隔である請求項4に記載の学習方法。
【請求項6】
前記スライス情報は、スライス厚である請求項4又は5に記載の学習方法。
【請求項7】
前記第1ディスクリミネータ入力工程及び前記第2ディスクリミネータ入力工程は、前記第1画像を前記ディスクリミネータに入力する請求項1から6のいずれか1項に記載の学習方法。
【請求項8】
前記学習用第2画像から前記第1画像を生成する第1画像生成工程を備え、
前記ジェネレータ入力工程は、前記ジェネレータに前記生成した第1画像のみを入力する請求項1から6のいずれか1項に記載の学習方法。
【請求項9】
請求項1から8のいずれか1項に記載の学習方法をコンピュータに実行させるためのプログラム。
【請求項10】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項9に記載のプログラムをコンピュータに実行させる記録媒体。
【請求項11】
請求項1から8のいずれか1項に記載の学習方法によって学習された、解像度が相対的に低い低解像情報を含む第1画像から解像度が相対的に高い高解像情報を含む第2画像を推定する機能をコンピュータに実現させるための生成モデル。
【請求項12】
解像度が相対的に低い低解像情報を含む第1画像から解像度が相対的に高い高解像情報を含む第2画像を推定する生成モデルの学習装置であって、
第1画像を用いて仮想第2画像を生成する生成モデルであるジェネレータと、学習用第2画像と前記仮想第2画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークと、
前記ジェネレータに前記第1画像のみを入力するジェネレータ入力部と、
前記ディスクリミネータに前記学習用第2画像と前記学習用第2画像の部位情報と、を入力する第1ディスクリミネータ入力部と、
前記ディスクリミネータに前記仮想第2画像と前記仮想第2画像の部位情報と、を入力する第2ディスクリミネータ入力部と、
を備えた学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は学習方法、学習装置、生成モデル及びプログラムに係り、特に高解像度の画像を生成する技術に関する。
【背景技術】
【0002】
データを作り出す「Generator」(ジェネレータ)と、データを識別する「Discriminator」(ディスクリミネータ)とを交互に学習する敵対的生成ネットワーク(Generative Adversarial Networks:GAN)が知られている。非特許文献1には、GANに関する研究が記載されている。GANによれば、学習データの特徴に沿った精度の高いデータを生成する生成モデルを学習することができる。
【0003】
また、GANを応用した技術が研究されている。非特許文献2には、GANを用いて入力画像と出力画像とのペアを学習する手法が記載されている。非特許文献2に記載の手法によれば、パラメータの調整の負担の少ない生成モデルを学習することができる。
【0004】
GANの画像生成では、入力データに多様性がある場合に学習が困難であるという問題点がある。例えば、医療画像において、入力とする画像の部位及びスライス条件が多岐にわたる場合、生成画像の特徴が平均化されてしまう。非特許文献2における多様な入力データへの対応においても、学習データの特徴が平均化されてしまう。
【0005】
これに対し、非特許文献3には、GANの学習にデータのカテゴリ情報を用いる手法が記載されている。非特許文献3に記載の手法によれば、生成モデルをカテゴリ情報に基づいて調整することができる。
【先行技術文献】
【非特許文献】
【0006】
【文献】Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio “Generative Adversarial Nets”, arXiv:1406.2661
【文献】Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros “Image-to-Image Translation with Conditional Adversarial Networks”,CVPR2016
【文献】Mehdi Mirza, Simon Osindero “Conditional Generative Adversarial Nets”, arXiv:1411.1784
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献3に記載されたGANの構成では、Generatorにカテゴリ情報を入力する必要があるため、ネットワークアーキテクチャの大幅な修正が必要となり、Generatorのインターフェースが複雑化するという問題点があった。
【0008】
また、GANでは一部の学習データの影響を強く受けて、Mode collapseと呼ばれる、生成する画像が限定的になってしまい多様性に対応できない状態に陥ることがあるという問題点があった。
【0009】
本発明はこのような事情に鑑みてなされたもので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成する学習方法、学習装置、生成モデル及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するための学習方法の一の態様は、解像度が相対的に低い低解像情報を含む第1画像から解像度が相対的に高い高解像情報を含む第2画像を推定する生成モデルの学習方法であって、第1画像を用いて仮想第2画像を生成する生成モデルであるジェネレータと、学習用第2画像と仮想第2画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークのジェネレータに第1画像のみを入力するジェネレータ入力工程と、ディスクリミネータに学習用第2画像と学習用第2画像の部位情報と、を入力する第1ディスクリミネータ入力工程と、ディスクリミネータに仮想第2画像と仮想第2画像の部位情報と、を入力する第2ディスクリミネータ入力工程と、を備えた学習方法である。
【0011】
本態様によれば、敵対的生成ネットワークのジェネレータに第1画像のみを入力し、ディスクリミネータに部位情報を入力し、部位情報を入力に加えたことによって条件ごとに学習を行うようにしたので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。
【0012】
解像度が相対的に低い低解像情報を含む第1画像は、例えば低解像度である。解像度が相対的に高い高解像情報を含む第2画像は、例えば高解像度画像である。また第2画像は、解像度が相対的に高い高解像情報を含む高周波成分画像であってもよい。
【0013】
部位情報は、人体の頭部、胸部、腹部、及び脚部を含むことが好ましい。これにより、多様な人体の部位の低解像情報を含む画像から高解像情報を含む画像を生成することができる。
【0014】
第1画像は3次元断層画像であり、解像度はスライス厚方向の解像度であることが好ましい。これにより、スライス厚方向に高解像情報を含む3次元断層画像を生成することができる。
【0015】
第1ディスクリミネータ入力工程及び第2ディスクリミネータ入力工程は、第1画像のスライス情報をディスクリミネータに入力することが好ましい。これにより、入力とする画像のスライス情報に多様性がある場合であっても、高解像度の画像を生成することができる。
【0016】
スライス情報は、スライス間隔であることが好ましい。これにより、入力とする画像のスライス間隔に多様性がある場合であっても、高解像度の画像を生成することができる。
【0017】
スライス情報は、スライス厚であることが好ましい。これにより、入力とする画像のスライス厚に多様性がある場合であっても、高解像度の画像を生成することができる。
【0018】
第1ディスクリミネータ入力工程及び第2ディスクリミネータ入力工程は、第1画像をディスクリミネータに入力することが好ましい。これにより、ディスクリミネータは、学習用第2画像及び仮想第2画像を適切に識別することができる。
【0019】
学習用第2画像から第1画像を生成する第1画像生成工程を備え、ジェネレータ入力工程は、ジェネレータに生成した第1画像のみを入力することが好ましい。これにより、ジェネレータに入力するための低解像情報を含む画像を適切に取得することができる。
【0020】
上記目的を達成するためのコンピュータに実行させるためのプログラムの一の態様は、上記に記載の学習方法をコンピュータに実行させるためのプログラムである。
【0021】
上記目的を達成するための生成モデルの一の態様は、上記に記載の学習方法によって学習された、解像度が相対的に低い低解像情報を含む第1画像から解像度が相対的に高い高解像情報を含む第2画像を推定する生成モデルである。
【0022】
上記目的を達成するための学習装置の一の態様は、解像度が相対的に低い低解像情報を含む第1画像から解像度が相対的に高い高解像情報を含む第2画像を推定する生成モデルの学習装置であって、第1画像を用いて仮想第2画像を生成する生成モデルであるジェネレータと、学習用第2画像と仮想第2画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークと、ジェネレータに第1画像のみを入力するジェネレータ入力部と、ディスクリミネータに学習用第2画像と学習用第2画像の部位情報と、を入力する第1ディスクリミネータ入力部と、ディスクリミネータに仮想第2画像と仮想第2画像の部位情報と、を入力する第2ディスクリミネータ入力部と、を備えた学習装置である。
【0023】
本態様によれば、敵対的生成ネットワークのジェネレータに第1画像のみを入力し、ディスクリミネータに部位情報を入力し、部位情報を入力に加えたことによって条件ごとに学習を行うようにしたので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。
【発明の効果】
【0024】
本発明によれば、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。
【図面の簡単な説明】
【0025】
図1図1は、本発明に係る医療画像学習装置のハードウェア構成の一例を示すブロック図である。
図2図2は、CT画像のスライス間隔、及びスライス厚を説明するための図である。
図3図3は、CT画像のスライス間隔、及びスライス厚を説明するための図である。
図4図4は、CT画像のスライス間隔、及びスライス厚を説明するための図である。
図5図5は、CT画像のスライス間隔、及びスライス厚を説明するための図である。
図6図6は、第1の実施形態に係る医療画像学習装置10の学習処理を示す機能ブロック図である。
図7図7は、学習時の識別部44による識別を説明するための図である。
図8図8は、医療画像学習装置10の医療画像学習方法の一例を示すフローチャートである。
図9図9は、メタ情報D1を与えずに全身の画像を学習した画像生成を説明するための図である。
図10図10は、メタ情報D1を与えずに全身の画像を学習した画像生成を説明するための図である。
図11図11は、脚部の画像を示す図である。
図12図12は、実施形態の効果を説明するための図である。
図13図13は、実施形態の効果を説明するための図である。
図14図14は、実施形態の効果を説明するための図である。
図15図15は、第2の実施形態に係る医療画像学習装置10の学習処理を示す機能ブロック図である。
図16図16は、第3の実施形態に係る医療画像学習装置10の学習処理を示す機能ブロック図である。
図17図17は、第4の実施形態に係る医療画像学習装置10の学習処理を示す機能ブロック図である。
【発明を実施するための形態】
【0026】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【0027】
<医療画像学習装置のハードウェア構成>
図1は、本発明に係る医療画像学習装置のハードウェア構成の一例を示すブロック図である。医療画像学習装置10は、パーソナルコンピュータ又はワークステーションによって構成される。医療画像学習装置10は、主として通信部12、画像データベース14、操作部16、CPU(Central Processing Unit)18、RAM(Random Access Memory)20、ROM(Read Only Memory)22、及び表示部24から構成される。
【0028】
通信部12は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。
【0029】
画像データベース14は、医療用X線CT(Computed Tomography)装置によって撮影されたCT再構成画像(CT画像)を保存する大容量ストレージ装置である。画像データベース14は、医療画像学習装置10の外部に設けてもよい。この場合、医療画像学習装置10は、通信部12を介して画像データベース14からCT画像を取得する。
【0030】
操作部16は、医療画像学習装置10に対する各種の操作入力を受け付ける入力インターフェースである。操作部16は、コンピュータに有線接続又は無線接続される不図示のキーボード又はマウス等が用いられる。
【0031】
CPU18は、ROM22又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。RAM20は、CPU18の作業領域として使用される。また、RAM20は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。医療画像学習装置10は、GPU(Graphics Processing Unit)を備えていてもよい。
【0032】
表示部24は、医療画像学習装置10の必要な情報が表示される出力インターフェースである。表示部24は、コンピュータに接続可能な不図示の液晶モニタ等が用いられる。
【0033】
医療画像学習装置10は、操作部16からの指示入力により、CPU18がROM22又はハードディスク装置等に記憶されている医療画像学習プログラムを読み出し、医療画像学習プログラムを実行する。これにより、後述する医療画像学習方法が実施され、CT画像における解像度が相対的に低い低解像情報を含む第1画像から解像度が相対的に高い高解像情報を含む第2画像を推定する生成モデルの学習が行われる。
【0034】
医療画像学習方法をコンピュータに実行させる医療画像学習プログラムは、コンピュータの読取可能な非一時的な記録媒体に記憶させて提供されてもよい。
【0035】
<CT画像の部位情報及びスライス情報>
画像データベース14に保存されるCT画像は、人体(被検体)を撮影した医療画像であり、複数のスライス画像(アキシャル断面画像)を含む3次元断層画像である。ここでは、各スライス画像は互いに直交するX方向及びY方向に平行な画像である。X方向及びY方向に直交するZ方向は、被検体の軸方向であり、スライス厚方向ともいう。
【0036】
画像データベース14に保存されるCT画像は、人体の部位毎の画像である。CT画像は、部位毎に撮影された画像であってもよいし、全身を撮影した画像から部位毎に切り出された画像であってもよい。画像データベース14に保存される各CT画像には、それぞれ部位情報とスライス情報とが関連付けて保存されている。
【0037】
部位情報は、CT画像に写った部位を示す情報である。部位情報は、頭部、胸部、腹部、及び脚部を含む。部位情報は、腰部を含んでもよい。
【0038】
また、スライス情報は、CT画像のスライス間隔、及びスライス厚の少なくとも一方を含む。スライス間隔とは、互いに隣り合うスライス画像同士のZ方向の位置の差であり、スライススペーシング(Slice Spacing)ともいう。また、スライス厚とは、1つのスライス画像のZ方向の幅(厚み)であり、スライスシックネス(Slice Thickness)ともいう。
【0039】
図2図5は、CT画像のスライス間隔、及びスライス厚を説明するための図である。図2に示すCT画像G1は、スライス画像G11、G12、及びG13を含んで構成される。CT画像G1は、スライス間隔Pが4mm、スライス厚Tが4mmである。即ち、スライス画像G11とスライス画像G12とのZ方向の位置の差、及びスライス画像G12とスライス画像G13とのZ方向の位置の差は、それぞれ4mmである。また、スライス画像G11、G12、及びG13のZ方向の厚みは、それぞれ4mmである。CT画像G1は、スライス間隔Pとスライス厚Tとが等しいため、スライス画像G11とスライス画像G12、及びスライス画像G12とスライス画像G13は、Z方向に接する。
【0040】
図3に示すCT画像G2は、スライス画像G21、G22、及びG23を含んで構成される。CT画像G2は、スライス間隔Pが4mm、スライス厚Tが6mmである。CT画像G2は、スライス間隔Pよりもスライス厚Tの方が大きいため、スライス画像G1とスライス画像G2、及びスライス画像G2とスライス画像G3は、Z方向にオーバーラップする。
【0041】
図4に示すCT画像G3は、スライス画像G31、G32、及びG33を含んで構成される。CT画像G3は、スライス間隔Pが8mm、スライス厚Tが4mmである。CT画像G3は、スライス厚Tよりもスライス間隔Pの方が大きいため、スライス画像G1とスライス画像G2、及びスライス画像G2とスライス画像G3は、Z方向に離間する。
【0042】
図5に示すCT画像G4は、スライス画像G41、G42、及びG43を含んで構成される。CT画像G4は、スライス間隔Pが1mm、スライス厚Tが1mmである。CT画像G4は、CT画像G1、G2、及びG3よりもZ方向の情報量が多い。即ち、CT画像G4は、CT画像G1、G2、及びG3よりもZ方向の解像度が相対的に高い。
【0043】
CT画像のスライス間隔及びスライス厚は、CT装置を使用する施設、医師等の好みに応じて様々な条件で設定される。CT画像は、診断のためには高解像度であることが好ましいが、被検体への被ばく量が増えてしまうという問題点がある。また、CT画像はデータ量が大きいため、容量削減のために低解像度化して保存される場合もある。
【0044】
医療画像学習装置10は、図2図4に示すような様々な条件のスライス間隔及びスライス厚の低解像度のCT画像から、図5に示すスライス間隔が1mm、スライス厚が1mmの高解像度のCT画像を推定する生成モデルの学習を行う。
【0045】
<第1の実施形態>
〔医療画像学習装置の機能ブロック〕
図6は、第1の実施形態に係る医療画像学習装置10の学習処理を示す機能ブロック図である。医療画像学習装置10は、入力部30及び学習部40を備えている。入力部30及び学習部40の機能は、図1に示した医療画像学習装置10の各部によって実現される。
【0046】
入力部30は、学習部40が学習するために必要なデータ(学習データ)を生成し、生成した学習データを学習部40に入力する。入力部30は、画像データベース14(図1参照)から不図示のCT装置によって撮影されたオリジナル高解像度画像GR(Real Thin画像)、及びオリジナル高解像度画像GRに関連付けられた部位情報及びスライス情報を取得する。
【0047】
入力部30は、低解像度変換部32を備える。低解像度変換部32は、入力されたオリジナル高解像度画像GRのデータを元に、多様な低解像度画像GL1(Thick画像)を人工的に生成する。低解像度変換部32は、例えば、1mmに等方化されたスライス画像に対して姿勢変換を施し、ランダムに領域を切り出し、スライス間隔及びスライス厚が4mm又は8mm等の低解像度画像GL1を仮想的に生成する。
【0048】
また、低解像度変換部32は、入力されたオリジナル高解像度画像GRを単純に間引いて減らすダウンサンプリング処理によって低解像度画像GL1を生成してもよい。
【0049】
入力部30は、オリジナル高解像度画像GR及び低解像度画像GL1を学習部40に入力する。さらに、入力部30は、メタ情報D1(Condition)を学習部40に入力する。
【0050】
メタ情報D1は、部位情報とスライス情報を含む。部位情報は、オリジナル高解像度画像GR、及び低解像度画像GL1に共通の情報である。スライス情報は、低解像度画像GL1のスライス情報を用いる。低解像度画像GL1のスライス情報は、オリジナル高解像度画像GRに関連付けられたスライス情報、及び低解像度変換部32が行った低解像度変換処理の内容から取得することができる。
【0051】
学習部40は、非特許文献3に記載のアーキテクチャを2次元から3次元データへ拡張した構造をベースとしている。学習部40は、敵対的生成ネットワーク(Generative Adversarial Networks:GAN)を構築する。GANは、データを作り出す「Generator」と、データを識別する「Discriminator」とを備える。学習部40は、「Generator」に相当する生成部42と、「Discriminator」に相当する識別部44と、を備える。学習部40は、入力部30から入力されたデータに基づいて、識別部44を用いた敵対的な学習を繰り返すことで、生成部42を学習する。生成部42は、解像度が相対的に低い低解像情報を含む第1画像から解像度が相対的に高い高解像情報を含む第2画像を推定する生成モデルに相当する。
【0052】
生成部42には、入力部30(ジェネレータ入力部の一例)から低解像度画像GL1(第1画像の一例)のみが入力される。生成部42は、入力された低解像度画像GL1から、オリジナル高解像度画像GRと同様の解像度を有する仮想高解像度画像GVを生成する。
【0053】
識別部44には、入力部30から入力されるオリジナル高解像度画像GR(学習用第2画像の一例)と低解像度画像GL1とのペア、又は生成部42(ディスクリミネータ入力部の一例)から入力される仮想高解像度画像GV(仮想第2画像の一例)と低解像度画像GL1とのペアが入力される。
【0054】
さらに、識別部44には、新しいチャンネルが確保される。識別部44の新しいチャンネルには、メタ情報D1が入力される。識別部44は、低解像度画像GL1及びメタ情報D1を用いて、入力された高解像度画像がオリジナル高解像度画像GR、及び仮想高解像度画像GVのいずれであるかを識別する。識別部44の識別結果は、生成部42に入力される。
【0055】
図7は、学習時の識別部44による識別を説明するための図である。図7に示すF7Aの場合は、識別部44に、低解像度画像GL1、メタ情報D1、及びオリジナル高解像度画像GRが入力されている。したがって、識別部44が入力された高解像度画像をオリジナル高解像度画像GRであると識別した場合は正解であり、仮想高解像度画像GVであると識別した場合は不正解である。
【0056】
一方、図7に示すF7Bの場合は、識別部44に、低解像度画像GL1、メタ情報D1、及び生成部42によって生成された仮想高解像度画像GVが入力されている。したがって、識別部44が入力された高解像度画像をオリジナル高解像度画像GRであると識別した場合は不正解であり、仮想高解像度画像GVであると識別した場合は正解である。
【0057】
識別部44は、入力された高解像度画像が不図示のCT装置によって撮影された本物のCT画像であるか、又は生成部42によって生成された仮想のCT画像であるか、の識別を正解するように学習される。一方、生成部42は、不図示のCT装置によって撮影されたリアルなCT画像に似せた仮想のCT画像を生成し、識別部44が識別を不正解とするように学習される。
【0058】
学習が進行すると、生成部42と識別部44とが精度を高めあい、生成部42は識別部44に識別されない、より本物のCT画像に近い仮想高解像度画像GVを生成できるようになる。この学習によって獲得された生成部42が生成モデルである。生成部42及び識別部44は、例えば畳み込みニューラルネットワークを用いて学習される。
【0059】
〔医療画像学習方法〕
図8は、医療画像学習装置10の医療画像学習方法の一例を示すフローチャートである。図8に示すように、医療画像学習方法は、オリジナル画像取得工程(ステップS1)、低解像度画像生成工程(ステップS2)、低解像度画像入力工程(ステップS3)、仮想高解像度画像生成工程(ステップS4)、メタ情報入力工程(ステップS5)、高解像度画像入力工程(ステップS6)、及び学習工程(ステップS7)を備える。
【0060】
ステップS1では、入力部30は、画像データベース14からオリジナル高解像度画像GRを取得する。ここでは、スライス間隔が1mm、スライス厚が1mmのオリジナル高解像度画像GRを取得する。
【0061】
ステップS2(第1画像生成工程の一例)では、低解像度変換部32は、入力されたオリジナル高解像度画像GRから低解像度画像GL1を生成する。ここでは、低解像度変換部32は、スライス間隔が5mm、スライス厚が1mmの低解像度画像GL1を生成する。即ち、オリジナル高解像度画像GRと低解像度画像GL1とは、Z方向の解像度が異なり、X方向及びY方向は同じ解像度を有する。
【0062】
ステップS3(ジェネレータ入力工程の一例)では、入力部30は、ステップS2で生成した低解像度画像GL1を学習部40の生成部42に入力する。生成部42には、低解像度画像GL1のみが入力される。
【0063】
ステップS4では、生成部42は、入力された低解像度画像GL1から、仮想高解像度画像GVを生成する。ここでは、生成部42は、スライス間隔が1mm、スライス厚が1mmの仮想高解像度画像GVを生成する。
【0064】
ステップS5(第1ディスクリミネータ入力工程の一例、第2ディスクリミネータ入力工程の一例)では、入力部30(第1ディスクリミネータ入力部の一例、第2ディスクリミネータ入力部の一例)は、メタ情報D1を学習部40の識別部44に入力する。メタ情報D1は、ステップS6で識別部44に入力される高解像度画像の部位情報と低解像度画像GL1のスライス情報である。なお、オリジナル高解像度画像GR及び仮想高解像度画像GVの部位情報は、低解像度画像GL1の部位情報と共通である。したがって、入力部30は、メタ情報D1の部位情報として、低解像度画像GL1の部位情報を識別部44に入力してもよい。
【0065】
ステップS6では、入力部30は、高解像度画像を学習部40の識別部44に入力する。高解像度画像は、オリジナル高解像度画像GR又は仮想高解像度画像GVである。即ち、入力部30(第1ディスクリミネータ入力部の一例)は識別部44にオリジナル高解像度画像GRを入力する(第1ディスクリミネータ入力工程の一例)、又は入力部30(第2ディスクリミネータ入力部の一例)は識別部44に仮想高解像度画像GVを入力する(第2ディスクリミネータ入力工程の一例)。さらに、入力部30は、識別部44に低解像度画像GL1を入力する(第1ディスクリミネータ入力部の一例、第2ディスクリミネータ入力部の一例)。
【0066】
ステップS7では、識別部44は、入力された低解像度画像GL1及びメタ情報D1を用いて、入力された高解像度画像がオリジナル高解像度画像GR、及び仮想高解像度画像GVのいずれであるかを識別する。識別部44の識別結果は、生成部42に入力される。これにより、生成部42及び識別部44が学習される。
【0067】
以上の学習方法を繰り返すことで、識別部44は、入力された高解像度画像がオリジナル高解像度画像GR、及び仮想高解像度画像GVのいずれであるかをより好適に識別できるように学習する。一方、生成部42は、オリジナル高解像度画像GRに近い仮想高解像度画像GVを生成するように学習する。これにより、生成部42は、解像度が相対的に低い低解像度画像GL1から解像度が相対的に高い仮想高解像度画像GVを推定することができる。
【0068】
図9及び図10は、識別部44にメタ情報D1を与えずに全身の画像を学習した生成部42における画像生成を説明するための図である。図9は、頭部のCT画像のサジタル断面画像を示している。図9に示すF9Aは、生成部42に入力された低解像度画像である。図9に示すF9Bは、生成部42から出力された仮想高解像度画像である。また、図9に示すF9Cは、F9Bの正解データ(Ground truth)であり、F9Aの元データとなったオリジナル高解像度画像である。図10は、腰部のCT画像のサジタル断面画像を示している。図10に示すF10A、F10、及びF10Cは、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。
【0069】
生成部42は、頭部から脚部まで部位に関係なく、低解像度画像を入力すると正解データに近い高解像度画像を出力することが理想である。しかしながら、図9及び図10に示すように、識別部44にメタ情報D1を与えずに学習した場合、生成部42の生成した仮想高解像度画像は、他部位の学習の影響を受けて特徴が平均化され、不明瞭な画像となった。この原因は、入力データの多様性であると考えられる。
【0070】
図11は、脚部のCT画像のサジタル断面画像を示している。図11に示すF11Aは、脚部の低解像度画像である。図11に示すF11Bは、脚部の高解像度画像である。図11に示すように、脚部の画像は背景及び垂直方向の情報が多く、低解像度画像と高解像度画像との変化が比較的小さい。このため、生成部42は、脚部の高解像度画像の生成については「ほぼ何もしない」という学習を行う。しかしながら、この学習は、頭部、胸部、及び腹部の高解像度画像の生成の学習に悪影響を与えてしまうという問題点があった。
【0071】
また、識別部44は、画像の部位の多様性により混乱して精度が向上しないという問題点があった。
【0072】
このような課題に対し、1つの方法として、部位別に識別(超解像度画像出力モデル)を学習及び作成することも考えられる。しかしながら、この方法では、部位別のモデル作成が必要になる、推論時のデータの部位を判断する部分が必要となる、部位をまたがったデータの場合の処理が必要、等の新たな課題がある。
【0073】
図12図14は、本実施形態の効果を説明するための図である。図12は、頭部のCT画像のサジタル断面画像を示している。図12に示すF12Aは、学習された生成モデルである生成部42に入力された低解像度画像である。図12に示すF12Bは、生成部42から出力された仮想高解像度画像である。また、図12に示すF12Cは、F12Bの正解データ(Ground truth)であり、F12Aの元データとなったオリジナル高解像度画像である。図13は腹部のCT画像のサジタル断面画像を示している。図13に示すF13A、F13B、及びF13Cは、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。図14は腰部のCT画像のサジタル断面画像を示している。図14に示すF14A、F14B、及びF14Cは腰部の画像であり、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。
【0074】
図12図14に示すように、本実施形態によって学習された生成部42によれば、識別部44にメタ情報D1を入力して学習したことで、部位やスライス間隔等によらず高精度で画像生成が可能になった。この生成部42は、VTS(Virtual Thin Slice)装置に適用することができる。
【0075】
本実施形態によれば、部位別の生成モデルを用意する必要がない。本実施形態では、生成部42には低解像度画像のみが入力されるため、ネットワークアーキテクチャの大幅な修正が不要である。また、識別部44は、特徴量として部位情報を使用して学習することができる。これにより、学習された生成モデルは、入力される低解像度画像がどの部位の画像であるかの情報が不要であり、どの部位の画像が入力されても高解像の画像を生成することができる。したがって、過去のCT画像の資産を有効利用することができる。なお、この生成モデルは、複数の部位にまたがった画像が入力された場合であっても、高解像の画像の生成が可能である。
【0076】
ここでは、入力部30はメタ情報D1として部位情報及びスライス情報を識別部44に入力したが、メタ情報D1は少なくとも部位情報を含めばよい。また、メタ情報D1に、低解像度画像のぼかしの強弱情報を含めてもよい。ぼかしの強弱情報は、「ぼかし強」、「ぼかし弱」等の分類であってもよい。
【0077】
また、本実施形態では、識別部44にオリジナル高解像度画像GRと低解像度画像GL1とのペア、又は生成部42から入力される仮想高解像度画像GVと低解像度画像GL1とのペアが入力されているが、低解像度画像GL1の入力は必須ではない。即ち、識別部44には、オリジナル高解像度画像GR又は仮想高解像度画像GVが入力されればよい。
【0078】
なお、低解像度画像GL1を識別部44に入力しない場合であっても、識別部44に仮想高解像度画像GVが入力される場合、メタ情報D1のスライス情報は低解像度画像GL1のスライス情報を使用する。これは、識別部44に入力された仮想高解像度画像GVがどのような条件の低解像度画像GL1を元に生成されたのかを考慮するためである。
【0079】
識別部44にオリジナル高解像度画像GRが入力される場合は、スライス情報は意味を持たないため、スライス情報にはランダムな値を与えて学習させる。これにより、識別部44は、「スライス間隔4mmの低解像度画像から生成された偽物の可能性がある高解像度画像の真偽を判別する」、「スライス間隔8mmの低解像度画像から生成された偽物の可能性がある高解像度画像の真偽を判別する」等のような条件別に識別を学習することができる。
【0080】
<第2の実施形態>
図15は、第2の実施形態に係る医療画像学習装置10の学習処理を示す機能ブロック図である。なお、図6に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0081】
医療画像学習装置10は、入力部30に補間部34を備えている。補間部34は、低解像度変換部32が生成した低解像度画像GL1から、低解像度画像GL2を生成する。補間部34は、低解像度画像GL1のZ方向にスプライン補間処理を施す。また、補間部34は、スプライン補間処理が施された低解像度画像GL1にガウシアンフィルタ処理を施す。スプライン補間処理及びガウシアンフィルタ処理により生成された画像が、低解像度画像GL2である。
【0082】
例えば、低解像度画像GL1は、スライス間隔が5mm、スライス厚が1mmであり、補間部34が生成する低解像度画像GL2は、スライス間隔が1mm、スライス厚が1mmである。低解像度画像GL2のスライス間隔及びスライス厚はオリジナル高解像度画像GRのスライス間隔及びスライス厚と同様であるが、低解像度画像GL2は、オリジナル高解像度画像GRと比較してZ方向にボケた画像となる。
【0083】
補間部34が生成した低解像度画像GL2は、学習部40の生成部42に入力される。即ち、本実施形態では、生成部42は低解像度画像GL2から仮想高解像度画像GVを生成する。なお、仮想高解像度画像GVのスライス間隔及びスライス厚は低解像度画像GL2のスライス間隔及びスライス厚と同様であるが、仮想高解像度画像GVは、低解像度画像GL2と比較してZ方向にシャープな画像となる。
【0084】
また、補間部34が生成した低解像度画像GL2は、高解像度画像とペアで識別部44に入力される。識別部44は、低解像度画像GL2及びメタ情報D1を用いて、入力された高解像度画像がオリジナル高解像度画像GR、及び仮想高解像度画像GVのいずれであるかを識別する。なお、識別部44には、低解像度画像GL2は入力されなくてもよい。
【0085】
本実施形態によれば、生成部42は、オリジナル高解像度画像GRから低解像度変換され、さらにスプライン補間処理された低解像度画像GL2から高解像度画像を生成する学習をすることができる。したがって、低解像度画像GL1から高解像度画像を生成する学習と合せることで、多様な入力の低解像度画像に適応した生成モデルを得ることができる。
【0086】
<第3の実施形態>
図16は、第3の実施形態に係る医療画像学習装置10の学習処理を示す機能ブロック図である。なお、図6に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。本実施形態に係る医療画像学習装置10は、高解像度画像に代えて、解像度が相対的に高い高解像情報を含む高周波成分画像を生成し、識別する。
【0087】
医療画像学習装置10は、入力部30に高周波成分抽出部36を備えている。高周波成分抽出部36は、オリジナル高解像度画像GRから高周波成分を抽出し、オリジナル高周波成分画像CR(学習用高周波成分画像の一例)を生成する。高周波成分の抽出は、ハイパスフィルタを用いて行われる。オリジナル高周波成分画像CRは、オリジナル高解像度画像GRと同様に、スライス間隔が1mm、スライス厚が1mmである。
【0088】
高周波成分抽出部36が生成したオリジナル高周波成分画像CRは、学習部40の識別部44に入力される。
【0089】
また、学習部40の生成部42は、入力部30の低解像度変換部32から入力された低解像度画像GL1から、オリジナル高周波成分画像CRと同様の解像度を有する仮想高周波成分画像CVを生成する。ここでは、生成部42は、スライス間隔が1mm、スライス厚が1mmの仮想高周波成分画像CVを生成する。
【0090】
識別部44には、入力部30から入力されるオリジナル高周波成分画像CR(学習用第2画像の一例)と低解像度画像GL1とのペア、又は生成部42(ディスクリミネータ入力部の一例)から入力される仮想高解像度画像GV(仮想第2画像の一例)と低解像度画像GL1とのペアが入力される。
【0091】
識別部44は、入力部30から入力された低解像度画像GL1及びメタ情報D1を用いて、入力された高周波成分画像がオリジナル高周波成分画像CR、及び仮想高周波成分画像CVのいずれであるかを識別する。
【0092】
本実施形態によれば、生成部42は、低解像度画像GL1から高周波成分画像を生成する学習をすることができる。生成部42は、生成部42が生成した高周波成分画像と生成部42の入力である低解像度画像GL1とを加算処理することで、高解像度画像を得ることができる。
【0093】
<第4の実施形態>
図17は、第4の実施形態に係る医療画像学習装置10の学習処理を示す機能ブロック図である。なお、図15及び図16に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0094】
入力部30の低解像度変換部32は、オリジナル高解像度画像GRから低解像度画像GL1を生成する。補間部34は、低解像度画像GL1から、低解像度画像GL2を生成する。
【0095】
学習部40の生成部42は、入力部30の補間部34から入力された低解像度画像GL2から、オリジナル高解像度画像GRと同様の解像度を有する仮想高周波成分画像CVを生成する。
【0096】
医療画像学習装置10は、学習部40に加算部46を備えている。加算部46は、生成部42が生成した仮想高周波成分画像CVと補間部34が生成した低解像度画像GL2とを加算する。これにより、加算部46は、オリジナル高解像度画像GRと同様の解像度を有する仮想高解像度画像GVを生成する。
【0097】
識別部44には、入力部30から入力されるオリジナル高解像度画像GRと低解像度画像GL2ペア、又は加算部46から入力される仮想高解像度画像GVと低解像度画像GL2のペアが入力される。
【0098】
識別部44は、低解像度画像GL1及びメタ情報D1を用いて、入力された高解像度画像がオリジナル高解像度画像GR、及び仮想高解像度画像GVのいずれであるかを識別する。識別部44の識別結果は、生成部42に入力される。これにより、生成部42及び識別部44が学習される。
【0099】
本実施形態によれば、生成部42は、低解像度画像GL1から高周波成分画像を生成する学習をすることができる。また、識別部44は、高解像度画像の識別の学習をすることができる。
【0100】
〔その他〕
ここでは、医療画像学習装置10は、1つのパーソナルコンピュータ又はワークステーションによって構成される例を説明したが、複数のパーソナルコンピュータ等で構成してもよい。例えば、入力部30と学習部40とを異なるパーソナルコンピュータ等で構成してもよい。このように構成することで、学習データの生成と生成モデルの学習とを物理的にも時間的にも互いに束縛されることなく実施することができる。
【0101】
ここではCT画像の超解像の生成モデルの学習方法を説明したが、本実施形態に係る生成モデルの学習方法は、部位情報を有する3次元断層画像に適用することができる。例えば、MRI(Magnetic Resonance Imaging)装置により取得されるMR画像、PET(Positron Emission Tomography)装置により取得されるPET画像、OCT(Optical Coherence Tomography)装置により取得されるOCT画像、3次元超音波撮影装置により取得される3次元超音波画像等であってもよい。
【0102】
また、本実施形態に係る生成モデルの学習方法は、部位情報を有する2次元画像に適用することができる。例えば、X線画像であってもよい。また、医療画像に限定されず、通常のカメラ画像に適用することができる。2次元画像に適用する場合は、スライス情報のスライス間隔に代えて、シャープネス(再構成関数)情報を使用すればよい。また、スライス情報のスライス厚に代えて、ピクセルスペーシング情報、即ち画素の大きさの情報を使用すればよい。
【0103】
ここまで説明した実施形態において、医療画像学習装置10の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0104】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、或いはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
【0105】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
【0106】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【0107】
10…医療画像学習装置
12…通信部
14…画像データベース
16…操作部
18…CPU
20…RAM
22…ROM
24…表示部
30…入力部
32…低解像度変換部
34…補間部
36…高周波成分抽出部
40…学習部
42…生成部
44…識別部
46…加算部
CR…オリジナル高周波成分画像
CV…仮想高周波成分画像
D1…メタ情報
G1,G2,G3,G4…CT画像
G11,G12,G13…スライス画像
G21,G22,G23…スライス画像
G31,G32,G33…スライス画像
G41,G42,G43…スライス画像
GL1,GL2…低解像度画像
GR…オリジナル高解像度画像
GV…仮想高解像度画像
S1~S7医療画像学習方法の各ステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17