特許 7454435 医用画像処理装置および医用画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-13

(45)【発行日】2024-03-22

(54)【発明の名称】医用画像処理装置および医用画像処理方法

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240314BHJP

【ＦＩ】

A61B6/03 550Z

【請求項の数】 11

(21)【出願番号】P 2020073129

(22)【出願日】2020-04-15

(65)【公開番号】P2021168788

(43)【公開日】2021-10-28

【審査請求日】2023-03-03

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】永井 清一郎

(72)【発明者】

【氏名】島 一成

(72)【発明者】

【氏名】前濱 登美男

(72)【発明者】

【氏名】小林 弘昌

(72)【発明者】

【氏名】大橋 利多

(72)【発明者】

【氏名】落合 理絵

(72)【発明者】

【氏名】山鼻 明子

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特開２０１９－１９８３７６（ＪＰ，Ａ）

【文献】特開２００８－０００１９０（ＪＰ，Ａ）

【文献】特開２０１１－２３９７９６（ＪＰ，Ａ）

【文献】特開２００７－０２９５１４（ＪＰ，Ａ）

【文献】国際公開第２０１９／２１２０１６（ＷＯ，Ａ１）

【文献】特開２０２０－０４８６８５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０００５６８７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／５８

(57)【特許請求の範囲】

【請求項1】

第１モダリティで生成された被検体の医用画像の３次元データに含まれる前記被検体の各部について、密度と組成の情報を含む物質情報を割り当てる割当部と、
前記物質情報が設定された前記３次元データを複数の模擬撮影パラメータセットを用いて第２モダリティで撮影したと模すことにより、複数の模擬２次元画像データを生成する生成部と、
前記複数の模擬２次元画像データと、前記３次元データに関連付けられた確定診断情報と、をトレーニングデータセットとして用いて学習済みモデルを構築する学習部と、
を備え、
前記割当部は、
前記３次元データをセグメンテーション処理することで前記各部を抽出し、人体の標準的な物質情報にもとづいて、前記３次元データの前記各部に前記物質情報を割り当て、
前記第１モダリティはＸ線ＣＴ装置であり、
前記第２モダリティはＸ線診断装置であり、
前記Ｘ線ＣＴ装置は前記被検体を臥位で撮影する一方、前記Ｘ線診断装置は前記被検体を立位で撮影し、
前記割当部は、
前記被検体の撮影時の体位の差異にもとづいて、前記Ｘ線診断装置において立位で前記被検体を撮影したと模した場合の前記各部に含まれる水分の分布を推定し、この推定した水分の分布にもとづいて前記３次元データの前記各部に前記物質情報を割り当てる、
医用画像処理装置。

【請求項2】

前記割当部は、
前記各部に前記標準的な物質情報を仮に割り当てられた前記３次元データにもとづいて、当該３次元データのＸ線ＣＴ撮影時の撮影パラメータを用いて模擬サイノグラムを生成し、
前記Ｘ線ＣＴ撮影時に実際に得られた実サイノグラムと前記模擬サイノグラムとの差異を求め、
当該差異にもとづいて前記標準的な物質情報を修正する、
ことにより、前記３次元データの前記各部に前記物質情報を割り当てる、
請求項１記載の医用画像処理装置。

【請求項3】

前記Ｘ線診断装置は前記被検体を立位で撮影する装置であり、
前記生成部は、
前記被検体の正面からのＸ線撮影を模した複数の模擬２次元画像データと、側面からのＸ線撮影を模した複数の模擬２次元画像データと、を生成し、
前記学習部は、
前記被検体の正面からのＸ線撮影と側面からのＸ線撮影とのそれぞれで異なる学習済みモデルを構築する、
請求項１または２記載の医用画像処理装置。

【請求項4】

前記割当部は、
リンパ管内リンパ液、血管内血液および間質液の少なくとも１つの分布を推定する、
請求項１ないし３のいずれか１項に記載の医用画像処理装置。

【請求項5】

前記生成部は、
特定の心拍位相における前記３次元データにもとづいて前記特定の心拍位相における前記複数の模擬２次元画像データを生成する、
請求項１ないし４のいずれか１項に記載の医用画像処理装置。

【請求項6】

前記生成部は、
前記３次元データの前記各部のうち、一部の物質情報を隣接する部位の物質情報に置換してから前記第２モダリティで撮影したと模すことにより、当該一部を消去した前記複数の模擬２次元画像データを生成する、
請求項１ないし５のいずれか１項に記載の医用画像処理装置。

【請求項7】

前記生成部は、
時系列的に連続した複数の前記３次元データにもとづいて、時系列的に連続した動態模擬２次元画像データ群を生成する、
請求項１ないし６のいずれか１項に記載の医用画像処理装置。

【請求項8】

診断対象の２次元画像データを取得し、２次元画像データにもとづいて診断情報を生成する前記学習済みモデルに対して前記診断対象の２次元画像データを入力することにより、診断情報を生成する診断部、
をさらに備えた請求項１ないし７のいずれか１項に記載の医用画像処理装置。

【請求項9】

第１モダリティで生成された被検体の医用画像の３次元データに含まれる前記被検体の各部について、密度と組成の情報を含む物質情報を割り当てるステップと、
前記物質情報が設定された前記３次元データを複数の模擬撮影パラメータセットを用いて第２モダリティで撮影したと模すことにより、複数の模擬２次元画像データを生成するステップと、
前記複数の模擬２次元画像データと、前記３次元データに関連付けられた確定診断情報と、をトレーニングデータセットとして用いて学習済みモデルを構築するステップと、
を有し、
前記物質情報を割り当てるステップは、
前記３次元データをセグメンテーション処理することで前記各部を抽出し、人体の標準的な物質情報にもとづいて、前記３次元データの前記各部に前記物質情報を割り当てるステップを含み、
前記第１モダリティはＸ線ＣＴ装置であり、
前記第２モダリティはＸ線診断装置であり、
前記Ｘ線ＣＴ装置は前記被検体を臥位で撮影する一方、前記Ｘ線診断装置は前記被検体を立位で撮影し、
前記物質情報を割り当てるステップはさらに、
前記被検体の撮影時の体位の差異にもとづいて、前記Ｘ線診断装置において立位で前記被検体を撮影したと模した場合の前記各部に含まれる水分の分布を推定し、この推定した水分の分布にもとづいて前記３次元データの前記各部に前記物質情報を割り当てるステップを含む、
医用画像処理方法。

【請求項10】

第１モダリティで生成された被検体の医用画像の３次元データに含まれる前記被検体の各部について、密度と組成の情報を含む物質情報を割り当てる割当部と、
前記物質情報が設定された前記３次元データを複数の模擬撮影パラメータセットを用いて第２モダリティで撮影したと模すことにより、複数の模擬２次元画像データを生成する生成部と、
前記複数の模擬２次元画像データと、前記３次元データに関連付けられた確定診断情報と、をトレーニングデータセットとして用いて学習済みモデルを構築する学習部と、
を備え、
前記割当部は、
前記３次元データをセグメンテーション処理することで前記各部を抽出し、人体の標準的な物質情報にもとづいて、前記３次元データの前記各部に前記物質情報を割り当て、
前記第１モダリティはＸ線ＣＴ装置であり、
前記第２モダリティはＸ線診断装置であり、
前記割当部は、
前記各部に前記標準的な物質情報を仮に割り当てられた前記３次元データにもとづいて、当該３次元データのＸ線ＣＴ撮影時の撮影パラメータを用いて模擬サイノグラムを生成し、
前記Ｘ線ＣＴ撮影時に実際に得られた実サイノグラムと前記模擬サイノグラムとの差異を求め、
当該差異にもとづいて前記標準的な物質情報を修正する、
ことにより、前記３次元データの前記各部に前記物質情報を割り当てる、
医用画像処理装置。

【請求項11】

第１モダリティで生成された被検体の医用画像の３次元データに含まれる前記被検体の各部について、密度と組成の情報を含む物質情報を割り当てるステップと、
前記物質情報が設定された前記３次元データを複数の模擬撮影パラメータセットを用いて第２モダリティで撮影したと模すことにより、複数の模擬２次元画像データを生成するステップと、
前記複数の模擬２次元画像データと、前記３次元データに関連付けられた確定診断情報と、をトレーニングデータセットとして用いて学習済みモデルを構築するステップと、
を有し、
前記物質情報を割り当てるステップは、
前記３次元データをセグメンテーション処理することで前記各部を抽出し、人体の標準的な物質情報にもとづいて、前記３次元データの前記各部に前記物質情報を割り当てるステップを含み、
前記第１モダリティはＸ線ＣＴ装置であり、
前記第２モダリティはＸ線診断装置であり、
前記物質情報を割り当てるステップはさらに、
前記各部に前記標準的な物質情報を仮に割り当てられた前記３次元データにもとづいて、当該３次元データのＸ線ＣＴ撮影時の撮影パラメータを用いて模擬サイノグラムを生成し、
前記Ｘ線ＣＴ撮影時に実際に得られた実サイノグラムと前記模擬サイノグラムとの差異を求め、
当該差異にもとづいて前記標準的な物質情報を修正する、
ことにより、前記３次元データの前記各部に前記物質情報を割り当てるステップを含む、
医用画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、医用画像処理装置および医用画像処理方法に関する。

【背景技術】

【0002】

画像認識や音声認識の分野において、深層学習などの機械学習が利用されることが増えてきた。深層学習は、多層のニューラルネットワークを用いた機械学習である。例えば、画像認識の分野では、深層学習の１つである畳込みニューラルネットワーク（Convolutional Neural Network、以下ＣＮＮという）を用いた学習方法が従来の方法に比べて非常に高い性能を示すことが知られている。ＣＮＮ（ＣｏｎｖＮｅｔとも呼ばれる）は、学習用の画像データを学習することにより、自動で特徴構造を抽出し、入力された画像が学習用の画像データと同じ特徴を持った画像かどうかを判定することができる。

【0003】

ここで、２次元医用画像の診断のために深層学習を利用することを考える。たとえば２次元医用画像が胸部Ｘ線画像である場合、Ｘ線ＣＴ（Computed Tomography）画像に比べ胸部Ｘ線画像は簡易であり被ばく線量も少ない。このため、胸部Ｘ線画像は、Ｘ線ＣＴ装置が普及していない国や被ばく線量を抑えたい場合には有効であるものの、病変の見落とし率が多いことが問題である。したがって、２次元医用画像の診断のために深層学習を利用することができれば非常に有利である。

【0004】

２次元医用画像の診断のために深層学習を利用する場合には、確定診断済みの２次元医用画像を数多く収集してＣＮＮに学習させることが必要である。しかし、確定診断済みか否かにかかわらず、そもそも２次元医用画像はネットワーク上にありふれた画像ではない。このため、確定診断済みの２次元医用画像は、深層学習で高精度の判定結果を得るために十分な数を収集することが困難である。

【0005】

一方で、Ｘ線ＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などの高度かつ３次元データが生成可能なモダリティが利用可能な地域では、胸部Ｘ線検査などの２次元画像検査において確定診断がなされるには、この種の３次元データが生成可能なモダリティでの検査が必須とされていることが多い。このため、被検体の３次元データは確定診断済みのものが比較的容易に入手可能である。

【先行技術文献】

【特許文献】

【0006】

【文献】特表２０１８－５２９１３４号公報

【非特許文献】

【0007】

【文献】クリストファー Ｍ. ビショップ（Christopher M. Bishop）著、「パターン認識と機械学習（Pattern recognition and machine learning）」、（米国）、第１版、スプリンガー（Springer）、２００６年、Ｐ．２２５－２９０

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明が解決しようとする課題は、第１モダリティの３次元医用画像データにもとづいて学習用に第２モダリティの２次元医用画像データを容易に数多く収集することである。

【課題を解決するための手段】

【0009】

実施形態に係る医用画像処理装置は、割当部と、生成部と、学習部とを備える。割当部は、第１モダリティで生成された被検体の医用画像の３次元データに含まれる被検体の各部について、密度と組成の情報を含む物質情報を割り当てる。生成部は、物質情報が設定された３次元データを複数の模擬撮影パラメータセットを用いて第２モダリティで撮影したと模すことにより、複数の模擬２次元画像データを生成する。学習部は、複数の模擬２次元画像データと、３次元データに関連付けられた確定診断情報と、をトレーニングデータセットとして用いて学習済みモデルを構築する。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る医用画像処理装置の一構成例を示すブロック図。

【図2】図１に示す処理回路のプロセッサにより、第１モダリティの３次元医用画像データにもとづいて学習用に第２モダリティの２次元医用画像データを容易に数多く収集する際の手順の一例を示すフローチャート。

【図3】図２に示す手順におけるデータフローの一例を示す説明図。

【図4】図２のステップＳ２で物質情報割当機能により実行される物質情報割り当て処理の手順の一例を示す、サブルーチンフローチャート。

【図5】ＣＡＤ機能の学習時におけるデータフローの一例を示す説明図。

【図6】ＣＡＤ機能の運用時におけるデータフローの一例を示す説明図。

【図7】（ａ）は臥位の被検体の胸部の水分分布の一例を示す説明図、（ｂ）は立位の被検体の胸部の水分分布の一例を示す説明図。

【図8】心拍位相ごとに模擬２Ｄデータを生成する処理を説明するための図。

【図9】３Ｄデータの各部の一部を消去する処理を説明するための図。

【図10】時間情報を持ち時系列的に連続した動態模擬２Ｄデータの生成処理を説明するための図。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、医用画像処理装置および医用画像処理方法の実施形態について詳細に説明する。

【0012】

本実施形態に係る医用画像処理装置によって生成された学習用の２次元医用画像データ（以下、２Ｄデータという）は、たとえばＣＮＮ（畳み込みニューラルネットワーク）、畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）、再構成型トポグラフィック独立成分分析（ＴＩＣＡ：Topographic Independent Component Analysis）などの機械学習に利用される。

【0013】

（構成）
図１は、一実施形態に係る医用画像処理装置１０の一構成例を示すブロック図である。医用画像処理装置１０は、Ｘ線診断装置１０１、Ｘ線ＣＴ装置１０２、画像サーバ１０３、ＭＲＩ装置１０４、超音波診断装置１０５などのモダリティとネットワーク１００を介して接続される。

【0014】

医用画像処理装置１０は、図１に示すように、入力インターフェース１１、ディスプレイ１２、記憶回路１３、ネットワーク接続回路１４、および処理回路１５を有する。

【0015】

入力インターフェース１１は、たとえばトラックボール、スイッチ、ボタン、マウス、キーボード、操作面へ触れることで入力操作を行なうタッチパッド、光学センサを用いた非接触入力回路、および音声入力回路等などの一般的な入力装置により実現され、ユーザの操作に対応した操作入力信号を処理回路１５に出力する。

【0016】

ディスプレイ１２は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成され、処理回路１５の制御に従って各種情報を表示する。

【0017】

記憶回路１３は、たとえば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等の、プロセッサにより読み取り可能な記録媒体を含んだ構成を有し、処理回路１５が利用するプログラムやパラメータデータやその他のデータを記憶する。また、記憶回路１３は、ネットワーク１００を介して取得した被検体のＸ線ＣＴボリュームデータなどの３次元医用画像データ（以下、３Ｄデータという）を記憶してもよい。

【0018】

なお、記憶回路１３の記録媒体内のプログラムおよびデータの一部または全部は、ネットワーク１００を介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路１３に与えられてもよい。

【0019】

ネットワーク接続回路１４は、ネットワーク１００の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続回路１４は、この各種プロトコルに従ってネットワーク１００を介して他の電気機器と接続する。ネットワーク１００は、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

【0020】

医用画像処理装置１０は、２Ｄデータを生成する第２モダリティの一例としてのＸ線診断装置１０１、３Ｄデータを生成する第１モダリティの一例としてのＸ線ＣＴ装置１０２、および画像サーバ１０３とネットワーク１００を介して互いにデータ送受信可能に接続される。また、医用画像処理装置１０は、ネットワーク１００を介して第１モダリティの一例としてのＭＲＩ装置１０４、第２モダリティの一例としての超音波診断装置１０５と互いにデータ送受信可能に接続されてもよい。なお、医用画像処理装置１０は、第１モダリティまたは第２モダリティに内包されてもよい。

【0021】

処理回路１５は、医用画像処理装置１０を統括制御する機能を実現する。また、処理回路１５は、記憶回路１３に記憶されたトレーニングデータ収集プログラムを読み出して実行することにより、第１モダリティの３次元医用画像データにもとづいて学習用に第２モダリティの２次元医用画像データを容易に数多く収集するための処理を実行するためのプロセッサである。

【0022】

図１に示すように、処理回路１５のプロセッサは、３Ｄデータ取得機能２１、物質情報割当機能２２、パラメータ設定機能２３、模擬２Ｄデータ生成機能２４、学習機能２５、およびＣＡＤ（Computer Aided Diagnosis）機能２６を実現する。これらの各機能は、それぞれプログラムの形態で記憶回路１３に記憶されている。

【0023】

３Ｄデータ取得機能２１は、３Ｄデータを生成する第１モダリティから、または画像サーバ１０３から、被検体の３Ｄデータおよびこの３Ｄデータに関連付けられた確定診断情報を取得する。

【0024】

物質情報割当機能２２は、第１モダリティで生成された被検体の３Ｄデータに含まれる被検体の各部について、密度と組成の情報を含む物質情報を割り当てる。物質情報割当機能２２は割当部の一例である。

【0025】

パラメータ設定機能２３は、物質情報が設定された３Ｄデータを第２モダリティで撮影したと模すための、第２モダリティの模擬撮影パラメータセットを多数設定する。

【0026】

模擬２Ｄデータ生成機能２４は、設定された多数の模擬２次元画像データを用いて物質情報が設定された３Ｄデータを第２モダリティで撮影したと模すことにより、多数の模擬２Ｄデータを生成する。模擬２Ｄデータ生成機能２４は生成部の一例である。

【0027】

学習機能２５は、複数の模擬２Ｄデータを学習用データとし、３Ｄデータに関連付けられた確定診断情報を教師データとするトレーニングデータセットを用いて、学習済みモデルを構築する。学習機能２５は学習部の一例である。学習済みモデルを構築するための機械学習としては、ＣＮＮ（畳み込みニューラルネットワーク）や畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）などの、多層のニューラルネットワークを用いた深層学習を用いることができる。

【0028】

ＣＡＤ機能２６は、診断対象の２Ｄデータを取得し、２Ｄデータにもとづいて診断結果を生成する学習済みモデルに対して診断対象の２次元画像データを入力することにより、診断結果を生成する。ＣＡＤ機能２６は診断部の一例である。

【0029】

（動作）
次に、本実施形態に係る医用画像処理装置１０および医用画像処理方法の動作の一例について説明する。

【0030】

（動作全体の概略）
図２は、図１に示す処理回路１５のプロセッサにより、第１モダリティの３次元医用画像データにもとづいて学習用に第２モダリティの２次元医用画像データを容易に数多く収集する際の手順の一例を示すフローチャートである。図２において、Ｓに数字を付した符号はフローチャートの各ステップを示す。また、図３は図２に示す手順におけるデータフローの一例を示す説明図である。

【0031】

図２に示す手順は、３Ｄデータと確定診断情報とが関連付けられてスタートとなる。

【0032】

まず、ステップＳ１において、３Ｄデータ取得機能２１は、３Ｄデータを生成する第１モダリティ（たとえばＸ線ＣＴボリュームデータを生成するＸ線ＣＴ装置１０２）から、または画像サーバ１０３から、被検体の３Ｄデータおよびこの３Ｄデータに関連付けられた確定診断情報を取得する（図３上段の「ＣＴ３Ｄデータと確定診断情報の組」参照）。

【0033】

次に、ステップＳ２において、物質情報割当機能２２は、第１モダリティで生成された被検体の３Ｄデータに含まれる被検体の各部について、密度と組成の情報を含む物質情報を高精度に割り当てる。この結果、被検体の３Ｄデータに対して物質情報が割り当てられた人体モデルが作成される（図３中段参照）。

【0034】

次に、ステップＳ３において、パラメータ設定機能２３は、物質情報が設定された３Ｄデータを第２モダリティで撮影したと模すための、第２モダリティの模擬撮影パラメータセットを多数設定する。

【0035】

たとえば、第２モダリティが立位で胸部Ｘ線撮影可能なＸ線診断装置１０１である場合は、パラメータ設定機能２３が設定するパラメータには撮影条件、Ｘ線管の焦点サイズ、散乱線含有率、ＳＩＤ（Source to Image Distance、Ｘ線間焦点－受像面間距離）、ＰＩＤ（Patient to Image Distance、被検体－受像面間距離）、量子ノイズ、ビーム入射角度、撮影方向（立位の正面からか側面からか）、検出器性能などが含まれる。

【0036】

撮影条件には、管電圧、管電流、パルス幅、ビームフィルタが含まれる。Ｘ線管の焦点サイズは、点光源からの投影となるためことに留意する。被検体の体厚があるため、点光源から投影されたビームは被検体の各部で拡大率が異なるコーンビームとなる。散乱線含有率は、グリッドの散乱線除去率と焦点距離を考慮したものとするとよい。

【0037】

ビーム入射角度は、撮影方向が同一（たとえば正面）だったとしても、上下、左右にわずかに（たとえばプラスマイナス５度など）ずらした範囲でさまざまなパラメータ値を設定する。これは、被検体が撮影時に必ずしも理想通りに位置するとは限らず、Ｘ線管が被検体を見込む角度に微妙な傾きが生じることが十分に考えられるためである。胸部Ｘ線撮影においてビーム入射角度がわずかでも変化すれば、病変の肋骨へ重なり状態が変わってしまう。検出器性能には、検出器画素サイズ、検出器画素間隔、検出器検出効率、検出器検出効率のエネルギー特性、空間解像度特性が含まれる。

【0038】

パラメータ設定機能２３は、これらの複数のパラメータの組からなる模擬撮影パラメータセットを多数設定する。

【0039】

そして、ステップＳ４において、模擬２Ｄデータ生成機能２４は、設定された多数の模擬２次元画像データを用いて、高精度な物質情報が割り当てられた３Ｄデータを第２モダリティで撮影したと模すことにより、多数の模擬２Ｄデータ（たとえば模擬胸部Ｘ線画像データ）を生成する（図３下段参照）。

【0040】

たとえば、上記例と同様に第２モダリティが立位で胸部Ｘ線撮影可能なＸ線診断装置１０１である場合には、高精度な物質情報が割り当てられた３Ｄデータにもとづいて、Ｘ線の通過パス上の物質情報からＸ線透過率を計算する。そして、Ｘ線検出器（ＦＰＤ、Flat Panel Detector）の各画素で吸収される光子数を求めることで、１組の模擬撮影パラメータセットから１つの模擬２Ｄデータが生成される。この結果、第１のモダリティの１つの３Ｄデータに関連付けられた確定診断情報と、当該３Ｄデータにもとづいて生成された多数の模擬２Ｄデータとの組からなるトレーニングデータセットが取得される（図３の二重枠の「トレーニングデータセット」参照）。

【0041】

以上の手順により、第１モダリティの１つの３Ｄデータにもとづいて学習用に第２モダリティの模擬２Ｄデータを容易に数多く収集することができる。このため、第１モダリティの多数の３Ｄデータに対して上記手順を適用することで、容易に多数の第２モダリティの模擬２Ｄデータを学習用に収集することができ、多数のトレーニングデータセットを取得することができる。

【0042】

本実施形態に係る医用画像処理装置１０は、高精度な物質情報が割り当てられた３Ｄデータを複数の模擬撮影パラメータセットを用いて第２モダリティで撮影したと模すことにより、複数の模擬２Ｄデータを生成する。このため、模擬２Ｄデータは、高精度な物質情報が割り当てられた３Ｄデータ（すなわち人体モデル）の投影データであるため、被検体の体厚方向にしっかりと情報が積算されている。したがって、第１モダリティの３Ｄデータの単なる断層像を学習用データとして用いる場合に比べ、はるかに高精度な学習済みモデルを構築することが可能となる。

【0043】

（物質情報割り当て処理）
つづいて、物質情報割当機能２２による、３Ｄデータの各部に対する高精度な物質情報の割り当て処理（以下、物質情報割り当て処理という）について説明する。

【0044】

図４は、図２のステップＳ２で物質情報割当機能２２により実行される物質情報割り当て処理の手順の一例を示す、サブルーチンフローチャートである。

【0045】

なお、図４に示す手順についての以下の説明では、第１モダリティがＸ線ＣＴボリュームデータを生成するＸ線ＣＴ装置１０２であり、第２モダリティが立位で胸部Ｘ線撮影可能なＸ線診断装置１０１である場合の例を示す。

【0046】

ステップＳ２１において、物質情報割当機能２２は、ＣＴ３Ｄデータ（ボリュームデータ）をセグメンテーション処理することにより、ＣＴ３Ｄデータに含まれる被検体の各部を抽出する。具体的には、セグメンテーション処理では臓器、脂肪、水分、病変、インプラントなどが識別される。本実施形態における「各部」は、臓器、脂肪、水分を少なくとも含む。臓器は、内臓、筋肉、骨、皮膚、リンパ管、血管、間質などを含む。脂肪は、皮下脂肪、内臓脂肪を含む。水分は、リンパ管内リンパ液、血管内血液、間質液を含む。

【0047】

次に、ステップＳ２２において、物質情報割当機能２２は、ＣＴ３Ｄデータの各部に、まずは既知の標準的な物質情報を仮に割り当てる。標準的な物質情報としては、たとえばＩＣＲＵ（International Commission on Radiation Units and Measurements）のデータなどを用いることができる。

【0048】

ここでは、各部ｉの物質の密度を、ａｉ＊（標準物質ｉの密度）＋ｂｉ＊（水分の標準密度）＋ｃｉ＊（脂肪の密度）と定義する（ただしａｉ＋ｂｉ＋ｃｉ＝１）。「標準物質ｉ」の情報には、複数の元素（たとえば炭素、酸素、水素、りん、窒素など）のの構成比の情報が含まれている。また、各部ｉには、ａｉ、ｂｉ、ｃｉの割合で標準物質ｉ、水分、脂肪が均質に分布していると仮定する。

【0049】

初期値をａｉ＿０、ｂｉ＿０、ｃｉ＿０として、たとえばａｉ＿０＝１、ｂｉ＿０＝０、ｃｉ＿０＝０とする。標準物質ｉ、水、脂肪の元素組成は、それぞれ既知である。このため、各部ｉの各ボクセルに含まれる物質の密度と元素組成が決まる。これを各部の全てについて行う。

【0050】

次に、ステップＳ２３において、物質情報割当機能２２は、ＣＴ３ＤデータのＸ線ＣＴ撮影時の撮影パラメータを取得する。この撮影パラメータは、ＳＩＤ、ＰＩＤ、管電圧、管電流、ビームフィルタ、寝台、コリメータ、検出器画素サイズ、検出器画素間隔、検出器検出効率、検出器検出効率のエネルギー特性などを含む。

【0051】

次に、ステップＳ２４において、物質情報割当機能２２は、物質情報が仮に割り当てられたＣＴ３Ｄデータにもとづいて、Ｘ線ＣＴ撮影時の撮影パラメータを用いて模擬サイノグラムＳｃａｌｃを生成する。模擬サイノグラムＳｃａｌｃは、Ｘ線ＣＴ撮影時の撮影パラメータを用いて物質情報が仮に割り当てられたＣＴ３Ｄデータから一連の投影画像データを作成し、これらを並べることにより生成される。

【0052】

次に、ステップＳ２５において、物質情報割当機能２２は、Ｘ線ＣＴ撮影時に実際に得られた実サイノグラムＳｒｅａｌと模擬サイノグラムＳｃａｌｃとの差異を検出する。この差異は、たとえばΔ＾２＝｜Ｓｃａｌｃ－Ｓｒｅａｌ｜＾２として求めることができる。この差異の値Δ＾２は、２つのサイノグラムの対応する画素どうしの画素値の差分の２乗を、画像内（サイノグラムのエアパスを除く画素）の所定の関心領域について求めて総和をとったものとするとよい。関心領域は、全画像領域であってもよいし、計算時間を考慮して画像の一部領域であってもよい。

【0053】

次に、ステップＳ２６において、物質情報割当機能２２は、ステップＳ２５で求めた差異が小さくなるように物質情報を修正する。具体的には、物質情報割当機能２２は、差異Δ＾２が最小となるαｉ、βｉ、γｉ（ａｉ＝ａｉ＿０＋αｉ、ｂｉ＝ｂｉ＿０＋βｉ、ｃｉ＝ｃｉ＿０＋γｉ）を求め、ａｉ、ｂｉ、ｃｉを修正する。

【0054】

次に、ステップＳ２７において、物質情報割当機能２２は、ステップＳ２６で最小とした差異が閾値以下であるか否かを判定する。差異が閾値以下の場合は、修正したａｉ、ｂｉ、ｃｉを高精度な物質情報を示すデータであるとして最終決定し、図２のステップＳ３に進む。一方、求めた差異が閾値より大きい場合は、修正したａｉ、ｂｉ、ｃｉをａｉ＿０、ｂｉ＿０、ｃｉ＿０とし、物質情報を修正するためステップＳ２４に戻る。

【0055】

以上の手順により、３Ｄデータの各部に対して高精度な物質情報を割り当てることができる。

【0056】

ＣＴ３Ｄデータにもとづいて胸部Ｘ線画像の模擬２Ｄデータを生成するためには、ＣＴ３Ｄデータに割り当てられた物質情報の精度が高いことが望ましい。この点、本実施形態に係る医用画像処理装置１０によれば、模擬サイノグラムＳｃａｌｃと実サイノグラムＳｒｅａｌとの比較にもとづいて物質情報を修正することができる。このため、被検体ごとの骨密度や水分含有量のばらつきの影響も考慮した高精度な物質情報をＣＴ３Ｄデータに割り当てることができる。

【0057】

なお、ＣＴ３Ｄデータとともに同じ被検体の胸部Ｘ線画像データを取得可能な場合は、サイノグラムの比較と同様に、ＣＴ３Ｄデータから生成した模擬Ｘ線画像データと実際の胸部Ｘ線画像データとの差異（画素値、臓器位置など）にもとづいて物質情報を修正してもよい。

【0058】

（学習済みモデルの構築）
図５は、ＣＡＤ機能２６の学習時におけるデータフローの一例を示す説明図である。ＣＡＤ機能２６は、多数のトレーニングデータセットを用いて深層学習を行うことにより、パラメータデータ２６２を逐次的に更新する。

【0059】

多数のトレーニングデータセットのそれぞれのトレーニングデータセットは、学習用データ４１と教師データ４２の組からなる。学習用データ４１は、模擬２Ｄデータ生成機能２４により多数生成された模擬２Ｄデータ４１１、４１２、４１３、・・・である。教師データ４２は、模擬２Ｄデータ４１１、４１２、４１３、・・・を生成するもととなった３Ｄデータに関連付けられて３Ｄデータ取得機能２１に取得された確定診断情報である。

【0060】

ＣＡＤ機能２６は、学習機能２５に制御されて、トレーニングデータセットが与えられるごとに、学習用データ４１をニューラルネットワーク２６１で処理した結果が教師データ４２に近づくようにパラメータデータ２６２を更新していく、いわゆる学習を行う。一般に、パラメータデータ２６２の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータ２６２を特に学習済みパラメータデータ２６２ｔという。

【0061】

なお、学習済みモデルは、パラメータごとに構築してもよい。たとえば、胸部Ｘ線画像を模した２Ｄデータを用いて学習する場合は、模擬撮影パラメータセットの撮影方向を正面に設定したものと側面に設定したものとで模擬２Ｄデータを分類し、被検体の正面からのＸ線撮影と側面からのＸ線撮影とのそれぞれで、異なる学習済みモデルを構築してもよい。

【0062】

（学習済みモデルの運用）
図６は、ＣＡＤ機能２６の運用時におけるデータフローの一例を示す説明図である。運用時には、ＣＡＤ機能２６は、診断対象の２Ｄデータ５１を入力され、学習済みモデル３０を用いて、診断情報５２を生成する。

【0063】

なお、ニューラルネットワーク２６１と学習済みパラメータデータ２６２ｔは、学習済みモデル３０を構成する。この種の学習の方法および学習済みモデルの構築方法については、非特許文献１に開示された方法など種々の方法が知られている。ニューラルネットワーク２６１は、プログラムの形態で記憶回路１３に記憶される。学習済みパラメータデータ２６２ｔは、記憶回路１３に記憶されてもよいし、ネットワーク１００を介して処理回路１５と接続された記憶媒体に記憶されてもよい。学習済みモデル３０（ニューラルネットワーク２６１と学習済みパラメータデータ２６２ｔ）が記憶回路１３に記憶される場合、処理回路１５のプロセッサにより実現されるＣＡＤ機能２６は、記憶回路１３から学習済みモデル３０を読み出して実行することで、入力２Ｄデータ５１にもとづいて診断情報５２を生成することができる。

【0064】

学習済みモデル３０は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路によって構築されてもよい。

【0065】

（体位に応じた物質情報の修正）
ところで、第１モダリティが臥位で被検体を撮影する装置である一方、第２モダリティが立位で被検体を撮影する装置である場合がある。この場合は、より高精度な物質情報の割り当てのため、体位に応じて物質情報を修正することが好ましい。

【0066】

図７（ａ）は臥位の被検体の胸部の水分分布の一例を示す説明図であり、（ｂ）は立位の被検体の胸部の水分分布の一例を示す説明図である。

【0067】

たとえば、第１モダリティがＸ線ＣＴボリュームデータを生成するＸ線ＣＴ装置１０２であり、第２モダリティが立位で胸部Ｘ線撮影可能なＸ線診断装置１０１である場合の例を考える。この場合、Ｘ線ＣＴ画像は臥位で撮影されるため、重力による被検体の体内の上下方向への水分の移動はない。一方で、胸部Ｘ線画像は立位で撮影するため、重力により、被検体の体内の水分が下方に移動する。このため、Ｘ線透過率は胸部の上部よりも下部のほうが低くなる。

【0068】

したがって、この各部へ物質情報を割り当てる際に、含有水分量を身体の上下方向で重力に従った配分とすることで、より胸部Ｘ線画像に近い模擬Ｘ線画像を得ることができる。このため、物質情報割当機能２２は、被検体の撮影時の体位の差異にもとづいて、Ｘ線診断装置１０１において立位で被検体を撮影したと模した場合の各部に含まれる水分の分布を推定し、この推定した水分の分布にもとづいてＣＴ３Ｄデータの各部に物質情報を割り当てる。

【0069】

より具体的には、被検体各部の臓器、脂肪、水分のうち、重力の影響を受けて位置が変わる水分は、リンパ管内リンパ液、血管内血液、間質液などの水分であり、臓器、脂肪の細胞内の水分の位置は変わらない。臥位状態でのリンパ管内リンパ液、血管内血液、間質液の被検体内の分布（水分の位置とその位置における量）は、図４に示した物質情報割り当て処理により知ることができる。一方、立位と臥位での水分の分布の人体一般の標準的な差異は、立位と臥位の両方の医用画像データ（単純Ｘ線画像、Ｘ線ＣＴ画像、ＭＲ画像など）を比較することにより、知ることができる。

【0070】

したがって、立位と臥位での水分の分布の標準的な差異を再現するように、それぞれの液量の全量が変化しない条件で被検体の各位置での液量（リンパ管内リンパ液、血管内血液、間質液）を増減させることで、被検体の立位時のリンパ管内リンパ液、血管内血液、間質液の分布を推定することができる。

【0071】

たとえば、３次元座標Ｘでの間質液の分布をＡ（Ｘ）とし、間質液の全量をΣＡ（Ｘ）（Ｘについての総和）とする。３次元座標Ｘは人体基準の座標であり、立位でも臥位でも変わらないものとする。立位と臥位での水分量の分布の標準的な差異をα（Ｘ）とすると、立位での被検体の間質液の分布Ａ’（Ｘ）はＡ’（Ｘ）＝α’（Ｘ）＊Ａ（Ｘ）として計算することができる。ただし、α’（Ｘ）は、α（Ｘ）にもとづいて、Ｘについての総和がΣＡ’（Ｘ）＝ΣＡ（Ｘ）となるように修正されたものである。

【0072】

このように、体位の差異による水分の分布の違いを考慮することにより、高精度な２Ｄデータを生成することができる。

【0073】

また、体位の違いによる重力の影響により臓器などの各部の位置および形状のずれが生じる。この各部の位置および形状のずれを考慮してセグメンテーション結果を修正してもよい。重力の影響は被検体の筋肉量および脂肪量によって変化することが知られている。このため、たとえば仰臥位で取得されたＣＴ３Ｄデータから立位の模擬２Ｄデータを生成する場合、被検体の筋肉量および脂肪量にもとづいて立位時における各部の位置や形状を推定するとよい。

【0074】

（心拍位相を考慮した模擬２Ｄデータ生成）
図８は、心拍位相ごとに模擬２Ｄデータを生成する処理を説明するための図である。模擬２Ｄデータ生成機能２４は、特定の心拍位相における３Ｄデータにもとづいて、特定の心拍位相における模擬２Ｄデータを多数生成してもよい。

【0075】

一般に、胸部Ｘ線撮影では心電同期は行われない。このため、胸部Ｘ線撮影の心拍位相はランダムである。したがって、Ｘ線ＣＴ撮影を心電同期で行い、任意の心拍位相を取り出したＣＴ３Ｄデータを用いることで、より実際のＸ線画像に近い模擬２Ｄデータを生成することができる。また、Ｘ線ＣＴ装置１０２のＸ線検出器が多列検出器の場合は、撮影時間が長いため、心電同期した投影データから心拍の各位相のＣＴ３Ｄデータを構築し、各位相のＣＴ３Ｄデータから模擬２Ｄデータを生成することができる。このため、さらに多数の学習用の模擬２Ｄデータを生成することができる。

【0076】

（物質情報の置換）
図９は、３Ｄデータの各部の一部を消去する処理を説明するための図である。模擬２Ｄデータ生成機能２４は、３Ｄデータの各部のうちの一部の物質情報を、たとえば隣接する部位の物質情報に置換してから第２モダリティで撮影したと模すことにより、当該一部を消去した模擬２Ｄデータを生成してもよい。すなわち、本実施形態に係る医用画像処理装置１０は、任意の物質をある特定の組成に置き換えてからＸ線の通過パスを計算することにより、任意の物質の存在比を変化させた画像を作成することができる。

【0077】

たとえば、物質情報割当機能２２は、ＣＴ３Ｄデータに含まれる骨の成分を周辺臓器と同じ組成の物質に置き換えることにより、骨なしのＣＴ３Ｄデータを作成することができる。このＣＴ３Ｄデータを用いることで、骨なしの模擬Ｘ線画像データを生成することができる。このため、たとえばデュアルエナジー撮影等で得られる骨パターンを消去または低減した画像に似た学習用データを容易に生成することができる。したがって、骨なしＸ線画像を入力して診断結果を生成する学習済みモデルを構築することができる。

【0078】

（動態模擬２Ｄデータ）
図１０は、時間情報を持ち時系列的に連続した動態模擬２Ｄデータの生成処理を説明するための図である。

【0079】

確定診断情報が関連付けられた３Ｄデータが、４ＤＣＴのような時間情報を持つ場合、時系列的に連続した複数の３Ｄデータのそれぞれに対し、同じ模擬撮影パラメータセットを用いて模擬２Ｄデータを生成することで、時間情報をもち時系列的に連続した動態模擬２Ｄデータ群を生成することができる。この場合、心拍動や呼吸動をみるために連続Ｘ線撮影や透視撮影で得られたＸ線画像を入力とし、診断情報５２を出力とする学習済みモデルを構築することができる。

【0080】

以上説明した少なくとも１つの実施形態によれば、第１モダリティの３次元医用画像データにもとづいて学習用に第２モダリティの２次元医用画像データを容易に数多く収集することができる。

【0081】

なお、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサがたとえばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することにより、各種機能を実現する。また、プロセッサがたとえばＡＳＩＣである場合、記憶回路にプログラムを保存するかわりに、当該プログラムに相当する機能がプロセッサの回路内に論理回路として直接組み込まれる。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行するハードウェア処理により各種機能を実現する。あるいはまた、プロセッサは、ソフトウェア処理とハードウェア処理とを組み合わせて各種機能を実現することもできる。

【0082】

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶回路は、プロセッサごとに個別に設けられてもよいし、１つの記憶回路が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

【0083】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0084】

１０ 医用画像処理装置
１５ 処理回路
２２ 物質情報割当機能
２３ パラメータ設定機能
２４ 模擬２Ｄデータ生成機能
２５ 学習機能
２６ ＣＡＤ機能
３０ 学習済みモデル
５１ 診断対象の２Ｄデータ
５２ 診断情報
１０１ Ｘ線診断装置
１０２ Ｘ線ＣＴ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】