IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルムヘルスケア株式会社の特許一覧

特開2024-124256医用画像処理装置、および、医用画像処理方法
<>
  • 特開-医用画像処理装置、および、医用画像処理方法 図1
  • 特開-医用画像処理装置、および、医用画像処理方法 図2
  • 特開-医用画像処理装置、および、医用画像処理方法 図3
  • 特開-医用画像処理装置、および、医用画像処理方法 図4
  • 特開-医用画像処理装置、および、医用画像処理方法 図5
  • 特開-医用画像処理装置、および、医用画像処理方法 図6
  • 特開-医用画像処理装置、および、医用画像処理方法 図7
  • 特開-医用画像処理装置、および、医用画像処理方法 図8
  • 特開-医用画像処理装置、および、医用画像処理方法 図9
  • 特開-医用画像処理装置、および、医用画像処理方法 図10
  • 特開-医用画像処理装置、および、医用画像処理方法 図11
  • 特開-医用画像処理装置、および、医用画像処理方法 図12
  • 特開-医用画像処理装置、および、医用画像処理方法 図13
  • 特開-医用画像処理装置、および、医用画像処理方法 図14
  • 特開-医用画像処理装置、および、医用画像処理方法 図15
  • 特開-医用画像処理装置、および、医用画像処理方法 図16
  • 特開-医用画像処理装置、および、医用画像処理方法 図17
  • 特開-医用画像処理装置、および、医用画像処理方法 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024124256
(43)【公開日】2024-09-12
(54)【発明の名称】医用画像処理装置、および、医用画像処理方法
(51)【国際特許分類】
   G16H 30/40 20180101AFI20240905BHJP
【FI】
G16H30/40
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023032276
(22)【出願日】2023-03-02
(71)【出願人】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110000888
【氏名又は名称】弁理士法人山王坂特許事務所
(72)【発明者】
【氏名】井上 敦詞
(72)【発明者】
【氏名】白旗 崇
(72)【発明者】
【氏名】永田 剛志
(72)【発明者】
【氏名】角村 卓是
(72)【発明者】
【氏名】高田 知里
(72)【発明者】
【氏名】村瀬 貴之
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
【課題】体型に影響を与える1以上の生活習慣および加齢に基づいて、将来の体型を精度よく予測するシステムを提供する。
【解決手段】加齢変化モデルと、生活習慣変化モデルを用いて所定の時点の加齢および前記1以上の生活習慣による変化を予測した断層画像を生成する。このとき、将来の所定の時点の加齢による変化後の断層画像を生成した後、算出した断層画像と、生活習慣変化モデルに入力する。これにより、所定の時点の加齢および1以上の生活習慣がそれぞれ体型に与える変化を予測でき、将来の体型を精度よく予測した断層画像を生成することができる。
【選択図】 図2
【特許請求の範囲】
【請求項1】
被検体について撮影した断層画像と、前記被検体の1以上の生活習慣の入力とを受け付ける入力部と、
被検体の加齢により生じる被検体の断層画像の変化を予測して算出する学習モデルである加齢変化モデルと、
被検体の前記1以上の生活習慣による被検体の断層画像の変化を予測して算出する学習モデルである生活習慣変化モデルと、
前記入力部が受け付けた1以上の生活習慣と、前記加齢変化モデルと、前記生活習慣変化モデルとを用いて、前記入力部が受け付けた前記断層画像の将来の断層画像を予測して算出する予測画像生成部とを有し、
前記加齢変化モデルは、前記1以上の生活習慣による断層画像の変化を予測せず、加齢による被検体の断層画像の変化を予測するように予め学習済みであり、
前記生活習慣変化モデルは、加齢による断層画像の変化を予測せず、前記1以上の生活習慣による断層画像の変化を予測するように予め学習済みであり、
前記予測画像生成部は、前記入力部が受け付けた前記断層画像を前記加齢変化モデルに入力することにより、将来の所定の時点の加齢による変化後の断層画像を生成した後、算出した当該加齢による変化後の断層画像と前記入力部が受け付けた前記1以上の生活習慣とを前記生活習慣変化モデルに入力することにより、前記所定の時点の加齢および前記1以上の生活習慣による変化を予測した断層画像を生成することを特徴とする医用画像処理装置。
【請求項2】
請求項1に記載の医用画像処理装置であって、前記入力部を受け付ける前記生活習慣は、第1の生活習慣と、第2の生活習慣とを含み、
前記生活習慣変化モデルは、第1の生活習慣について用意された第1生活習慣モデルと、第2の生活習慣について用意された第2生活習慣モデルとを含み、前記第1生活習慣モデルは、前記第2の生活習慣による断層画像の変化を予測せず、前記第2生活習慣モデルは、前記第1の生活習慣による断層画像の変化を予測しないように構成され、
前記予測画像生成部は、当該加齢による変化後の断層画像と前記入力部が受け付けた前記第1の生活習慣とを前記第1生活習慣モデルに入力して、前記所定の時点の加齢および前記第1の生活習慣による変化後を予測した断層画像を算出した後、算出した当該断層画像と前記第2の生活習慣とを前記第2生活習慣モデルに入力して、前記所定の時点の加齢、前記第1の生活習慣および第2の生活習慣による変化後を予測した断層画像を算出することを特徴とする医用画像処理装置。
【請求項3】
請求項2に記載の医用画像処理装置であって、前記第1の生活習慣および第2の生活習慣は、一方が、運動習慣であり、他方が食生活の習慣であることを特徴とする医用画像処理装置。
【請求項4】
請求項1に記載の医用画像処理装置であって、達成度算出部をさらに有し、
前記予測画像生成部は、前記被検体について前記予測した断層画像を記憶部に保存し、
前記達成度算出部は、前記予測画像生成部が前記予測した断層画像を生成した後、同じ前記被検体について断層画像が撮影された場合、当該撮影された断層画像と、前記記憶部に保存されていた前記予測した断層画像とを比較し、前記予測した断層画像への前記撮影された断層画像の達成度を算出することを特徴とする医用画像処理装置。
【請求項5】
請求項4に記載の医用画像処理装置であって、前記達成度算出部は、当該撮影された断層画像と、前記予測した断層画像に含まれる筋肉の領域および脂肪領域の面積の少なくとも一方を抽出し、その面積比を前記達成度として算出することを特徴とする医用画像処理装置。
【請求項6】
請求項1に記載の医用画像処理装置であって、リスク予測部をさらに有し、
前記予測画像生成部は、前記被検体について前記予測した断層画像を記憶部に保存し、
リスク予測部は、前記予測画像生成部が予測した断層画像を用いて、被検体が疾病または運動障害になるリスクを算出することを特徴とする医用画像処理装置。
【請求項7】
請求項1に記載の医用画像処理装置であって、前記入力部は、前記1以上の生活習慣の時間軸方向の変化を入力するための時間軸と、変化を予測した断層画像を生成すべき前記所定の時点を時間軸上で指定するポインタとを表示するユーザインタフェースを含むことを特徴とする医用画像処理装置。
【請求項8】
請求項7に記載の医用画像処理装置であって、前記ユーザインタフェースにおいて、現時点から前記ポインタで指定された、変化を予測した断層画像を生成すべき前記所定の時点までの間に、入力された前記1以上の生活習慣が変化している場合、前記予測画像生成部は、現時点で撮影された前記断層画像を用いて、前記生活習慣が変化する時点における断層画像を予測して生成した後、前記生活習慣が変化する時点について予測した断層画像を用いて、前記ポインタで指定された前記所定の時点の断層画像を予測して生成することを特徴とする医用画像処理装置。
【請求項9】
請求項1に記載の医用画像処理装置であって、前記1以上の生活習慣として、食事により摂取したカロリーと、運動により消費したカロリーとの差分を用いることを特徴とする医用画像処理装置。
【請求項10】
被検体について撮影した断層画像と、前記被検体の1以上の生活習慣の入力とを受け付け、
被検体の加齢により生じる被検体の断層画像の変化を予測して算出する学習モデルである加齢変化モデルと、被検体の前記1以上の生活習慣による被検体の断層画像の変化を予測して算出する学習モデルである生活習慣変化モデルと、入力を受け付けた1以上の生活習慣とを用いて、入力を受け付けた前記断層画像の将来の断層画像を予測して、生成する医用画像処理方法であって、
前記加齢変化モデルは、前記1以上の生活習慣による断層画像の変化を予測せず、加齢による被検体の断層画像の変化を予測するように予め学習済みであり、
前記生活習慣変化モデルは、加齢による断層画像の変化を予測せず、前記1以上の生活習慣による断層画像の変化を予測するように予め学習済みであり、
入力を受け付けた前記断層画像を前記加齢変化モデルに入力することにより、将来の所定の時点の加齢による変化後の断層画像を生成した後、算出した当該加齢による変化後の断層画像と、入力を受け付けた前記1以上の生活習慣とを前記生活習慣変化モデルに入力することにより、前記所定の時点の加齢および前記1以上の生活習慣による変化を予測した断層画像を生成することを特徴とする医用画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検体のX線CT画像等の医用画像を取り込んで、被検体の将来を予測する医用画像処理装置、医用画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、日本では食の欧米化や、高齢化が進み、肥満やフレイルが社会問題となっている。フレイルは、身体的な骨・関節・筋肉などが衰え、健常から要介護へ移行する中間の状態をいい、要介護の主な要因となっている。そのため、国内では後期高齢者を対象としたフレイル健診が2020年4月にスタートするなど、フレイルの早期診断や予防への注目が高まっている。
【0003】
フレイルや肥満を解消するためは、対象者に現在の自分の体の状態を理解してもらい、運動や食生活といった生活習慣を改善してもらうことが重要となる。その一つの方法として、医用画像撮影装置で撮影された腹部の断層画像や、断層画像内の内臓脂肪領域や皮下脂肪領域を着色した画像を、受診者に分かり易く提示し、視覚的に現状を理解してもらうことにより、生活習慣の改善を促す方法がある。
【0004】
特許文献1には、医用画像撮影装置で撮影された腹部の断層画像から、内臓脂肪領域および皮下脂肪領域を抽出し、各領域の面積や面積比率を計算する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2002-222410号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述のように、受診者を撮影した断層画像や、内蔵脂肪領域等を着色した画像を受診者に対して表示する方法は、現状を受診者に把握してもらうことはできる。しかしながら、受診者は、現状の生活習慣を続けると今後どのように体型が変化するか、生活習慣を改善した場合、どのような体型になるか、生活習慣をどのように変えれば理想の体型になれるかを知りたいという要求がある。
【0007】
しかしながら、将来の体型変化には、生活習慣の複数の要素が影響し、しかも、加齢自体も影響するため、予測することは容易ではない。
【0008】
本発明の目的は、体型に影響を与える1以上の生活習慣および加齢に基づいて、将来の体型を精度よく予測するシステムを提供することにある。
【課題を解決するための手段】
【0009】
本発明によれば、被検体について撮影した断層画像と、被検体の1以上の生活習慣の入力とを受け付ける入力部と、被検体の加齢により生じる被検体の断層画像の変化を予測して算出する学習モデルである加齢変化モデルと、被検体の1以上の生活習慣による被検体の断層画像の変化を予測して算出する学習モデルである生活習慣変化モデルと、入力部が受け付けた1以上の生活習慣と、加齢変化モデルと、生活習慣変化モデルとを用いて、入力部が受け付けた断層画像の将来の断層画像を予測して算出する予測画像生成部とを有する医用画像処理装置が提供される。加齢変化モデルは、1以上の生活習慣による断層画像の変化を予測せず、加齢による被検体の断層画像の変化を予測するように予め学習済みである。生活習慣変化モデルは、加齢による断層画像の変化を予測せず、1以上の生活習慣による断層画像の変化を予測するように予め学習済みである。予測画像生成部は、入力部が受け付けた断層画像を加齢変化モデルに入力することにより、将来の所定の時点の加齢による変化後の断層画像を生成した後、算出した当該加齢による変化後の断層画像と入力部が受け付けた1以上の生活習慣とを生活習慣変化モデルに入力することにより、所定の時点の加齢および1以上の生活習慣による変化を予測した断層画像を生成する。
【発明の効果】
【0010】
本発明によれば、1以上の生活習慣と加齢がそれぞれ体型に与える影響を算出することにより、将来の体型を精度よく予測するシステムを提供する。
【図面の簡単な説明】
【0011】
図1】本発明の医用画像処理装置1のハードウエア構成を説明するブロック図である。
図2】実施例1の医用画像処理装置1の機能を示すブロック図である。
図3】実施例1の医用画像処理装置1の処理を説明するフローチャートである。
図4】実施例1の医用画像処理装置1の加齢変化モデル19の学習方法を説明するためフローチャートの図である。
図5】実施例1の医用画像処理装置1の加齢変化モデル19の学習時の構造を説明する図である。
図6】実施例1の医用画像処理装置1の運動変化モデル20の学習方法を説明するためフローチャートの図である。
図7】(a)実施例1の医用画像処理装置1の加齢変化モデル19を用いて推論画像を生成する際の構造を説明する図であり、(b)実施例1の医用画像処理装置1の運動変化モデル20の学習時の構造を説明する図である。
図8】(a)実施例1の医用画像処理装置1の加齢変化モデル19を用いて推論画像を生成する際の構造を説明する図であり、(b)実施例1の医用画像処理装置1の食変化モデル21の学習時の構造を説明する図である。
図9】実施例2の医用画像処理装置の処理の流れを説明するフローチャートである。
図10】実施例2の医用画像処理装置1の機能を示すブロック図である。
図11】実施例3の医用画像処理装置の処理の流れを説明するフローチャートである。
図12】実施例3の医用画像処理装置1の機能を示すブロック図である。
図13】実施例4の医用画像処理装置の処理の流れを説明するフローチャートである。
図14】実施例4の医用画像処理装置1の機能を示すブロック図である。
図15】実施例5の医用画像処理装置の処理の流れを説明するフローチャートである。
図16】実施例5の医用画像処理装置の処理の流れを説明するフローチャートである。
図17】実施例5の医用画像処理装置1の機能を示すブロック図である。
図18】(a)実施例1の医用画像処理装置1の加齢変化モデル19を用いて推論画像を生成する際の構造を説明する図であり、(b)実施例5の医用画像処理装置1のカロリー変化モデル63の学習時の構造を説明する図である。
【発明を実施するための形態】
【0012】
本発明の一実施形態について図面を用いて説明する。
【0013】
図1は、本実施形態の医用画像処理装置1のハードウエア構成を示している。医用画像処理装置1は、中央処理装置(CPU)5と、主メモリ6と、記憶装置7と、ネットワークアダプタ8と、表示メモリ13と、表示装置14と、マウス11と、コントローラ12と、キーボード10と、共通バス9とを備える。
【0014】
医用画像撮影装置2は、X線CT装置、MRI装置などの被検体の医用断層画像を撮像する。医用画像管理システム3は、撮影された医用断層画像やその他の医療情報を保管し、管理する。LAN4は、医用画像処理装置1、医用画像撮影装置2、及び、医用画像管理システム3の各装置を相互に接続する。
【0015】
CPU5は、主として医用画像処理装置の主メモリ6、記憶装置7、ネットワークアダプタ8、表示メモリ13、コントローラ12及びキーボード10の各構成要素の動作を制御する。なお、ここでは一例としてCPU5を用いているが、CPU5に代えて、高速な並列演算が可能なGPU(Graphic Processing Unit)を使用してもよい。
【0016】
主メモリ6は、制御プログラムの格納する領域と、プログラムを実行時の作業領域とを含む。
【0017】
記憶装置7は、オペレーティングシステム(OS)や周辺機器のデバイスドライブや画像データから支援情報を得るための処理等を行なうためのプログラムを含む各種アプリケーションソフト等を格納する。
【0018】
ネットワークアダプタ8は、LAN4と医用画像処理装置1を繋ぎ、データのやり取りを行なう。
【0019】
表示メモリ13は、表示用データを一時記憶する。
【0020】
表示装置14は、表示メモリ13からのデータに基づいて断層画像の処理結果を表示する。
【0021】
マウス11は、操作者のための表示装置14の画面の位置情報の入力装置である。
【0022】
コントローラ12は、マウス11のロータリエンコーダを検出して表示装置14上のマウスポインタの位置を含む信号をCPU5に出力する。
【0023】
キーボード10は、操作者のための文字情報の入力装置である。
【0024】
共通バス9は、CPU5と前記各構成要素を接続する。
【0025】
<<実施例1>>
次に、本発明の実施例1の医用画像処理装置1の機能および動作について図2図8を用いて説明する。図2は、実施例1の医用画像処理装置1の機能を示すブロック図である。図3は、医用画像処理装置1の動作を示すフローチャートである。図4図8は、加齢変化モデル19、運動変化モデル20および食変化モデル21の3つの学習モデルの生成方法(学習方法)を示す図である。
【0026】
図2に示すように、実施例1の医用画像処理装置1は、入力部16と、加齢変化モデル19と、運動変化モデル20と、食変化モデル21と、予測画像生成部18と、出力部22の機能を有する。
【0027】
入力部16は、被検体について撮影した断層画像を医用画像撮影装置2または医用画像管理システム3からLAN4およびネットワークアダプタ8を介して受け付ける。また、被検体の1以上の生活習慣の入力を、操作者または被検体から受け付ける。入力部16は、マウス11、キーボード10およびコントローラ12によりその機能が実現される。
【0028】
加齢変化モデル19は、被検体の加齢により生じる被検体の断層画像の変化を予測して算出する学習モデルである。
【0029】
運動変化モデル20と食変化モデル21は、被検体の生活習慣による被検体の断層画像の変化を予測して算出する学習モデルである。運動変化モデル20は、生活習慣の一つである運動習慣(運動習慣の有無、運動習慣有りの場合、運動時間の長さ)により生じる被検体の断層画像の変化を予測して算出する。一方、食変化モデル21は、生活習慣の一つである食生活の差(肉中心、魚中心、または、野菜中心の食生活等)により生じる被検体の断層画像の変化を予測して算出する。なお、ここでは、運動習慣と食習慣という2種類の生活習慣により生じる被検体の断層画像の変化を予測する2種類の学習モデル(運動変化モデル20と食変化モデル21)を備えているが、生活習慣モデルは、1種類のみでもよい。また、生活習慣の種類は、運動習慣と食生活に限定されるものではなく、飲酒の有無や飲酒量、喫煙の有無や喫煙量、特定の食品を摂取の有無や摂取量、および、睡眠の長さ等の他の生活習慣であってもよい。
【0030】
予測画像生成部18は、入力部16が受け付けた1以上の生活習慣と、加齢変化モデル19と、生活習慣変化モデル(運動変化モデル20と食変化モデル21)を用いて、入力部16が受け付けた被検体の断層画像に基づいて将来の断層画像を算出する。
【0031】
このとき、実施例1では、加齢変化モデル19は、1以上の生活習慣による断層画像の変化を除去した、加齢による被検体の断層画像の変化を予測するように予め学習済みである。
【0032】
また、生活習慣変化モデル(運動変化モデル20と食変化モデル21)は、加齢による断層画像の変化を除去した、1以上の生活習慣による断層画像の変化を予測するように予め学習済みである。また、運動変化モデル20は、食習慣による断層画像の変化を除去した、運動習慣による断層画像の変化を予測するように予め学習済みである。同様に、食変化モデル21は、運動習慣による断層画像の変化を除去した、食習慣による断層画像の変化を予測するように予め学習済みである。
【0033】
予測画像生成部18は、入力部16が受け付けた断層画像を加齢変化モデル19に入力することにより、将来の所定の時点の加齢による変化後の断層画像を算出する。さらに、予測画像生成部18は、算出した当該加齢による変化後の断層画像と、入力部16が受け付けた1以上の生活習慣とを生活習慣変化モデル(運動変化モデル20と食変化モデル21)に入力することにより、所定の時点の加齢および1以上の生活習慣による変化後の断層画像を算出する。
【0034】
入力部16が受け付けた生活習慣が、2種(運動習慣と食生活)である場合、予測画像生成部18は、加齢変化モデル19が予測した断層画像と、入力部が受け付けた運動習慣とを運動変化モデル20に入力して、所定の時点の加齢および運動習慣による変化後の断層画像を算出する。その後、算出した断層画像と食習慣とを食変化モデル21に入力して、所定の時点の加齢、運動習慣および食習慣による変化後の断層画像を算出する。
【0035】
このように、本実施例1では、加齢による断層画像の変化と、生活習慣に起因する断層画像の変化とをそれぞれ独立して予測可能な学習モデルを予め用意することにより、現実では切り離せない加齢と生活習慣による断層画像の変化を分離して予測することが可能である。これにより、実施例1の医用画像処理装置は、加齢による断層画像の変化に、生活習慣に起因する断層画像の変化が加味された断層画像の変化を、精度よく予測することができる。
【0036】
医用画像処理装置1の主メモリ13には、加齢変化モデル19、運動変化モデル20および食変化モデル21の3つの学習モデルの機能を実現するための3つの学習モデル61と、これら学習モデル61をそれぞれ学習させるための学習用プログラム62と、予測画像生成部18の機能を実現するためのプログラム63とが予め格納されている。
【0037】
CPU5は、主メモリ13の学習用プログラム62を読み込んで実行することにより、3つの学習モデル61をそれぞれ学習させ、加齢変化モデル19、運動変化モデル20および食変化モデル21を生成する。
【0038】
また、CPU5は、プログラム63を読み込んで実行することにより、予測画像生成部18の機能をソフトウエアにより実現する。
【0039】
また、図2の出力部22は、表示メモリ13および表示装置14によりその機能が実現される。
【0040】
なお、予測画像生成部18の機能を、ここではソフトウエアにより実現する例について説明するが、予測画像生成部18の機能の一部または全部をハードウエアにより実現することも可能である。例えば、ASIC(Application Specific Integrated Circuit)のようなカスタムICや、FPGA(Field-Programmable Gate Array)のようなプログラマブルICにより、予測画像生成部18の一部または全部を構成し、予測画像生成部18の機能を実現するようにプログラマブルICの回路設計を行えばよい。
【0041】
また、実施例1では、CPU5が学習用プログラム62を実行することにより3つの学習モデル61をそれぞれ学習させ、加齢変化モデル19、運動変化モデル20および食変化モデル21の3つの学習モデルを生成する構成について説明するが、加齢変化モデル19、運動変化モデル20および食変化モデル21の3つの学習モデルは、予め別のCPU等により生成しておく構成にすることももちろん可能である。その場合、メモリ6内には、学習用プログラム62を搭載せず、学習済みの加齢変化モデル19、運動変化モデル20および食変化モデル21を学習モデル61として格納すればよい。
【0042】
加齢変化モデル19、運動変化モデル20および食変化モデル21の学習方法について以下説明する。
【0043】
<加齢変化モデルの学習方法>
まず、加齢変化モデル19の学習方法について図4図5を用いて説明する。図4は、加齢変化モデル19を生成するために、CPU5が加齢変化モデル19用の学習モデル61を学習させる手順を示すフローチャートであり、図5は、学習時の加齢変化モデル19の構造を示す図である。
【0044】
CPU5は、学習用プログラム62を実行することにより、図4のフローを実行し、男性用と女性用の加齢変化モデル19をそれぞれ作成する。本実施例1において、男性と女性とで別々の加齢変化モデルを作成する理由は、男性と女性で加齢変化による脂肪の付き方、筋肉の付き方が異なるためである。
【0045】
なお、予め、運動を実施しておらず、かつ、食生活に偏りのない複数の女性の被検体と男性の被検体について、ある時点で撮影した腹部断層画像と、ある時点から数年経過後の時点で撮影した腹部断層画像の2種類を学習用データとして用意しておく。運動を実施しておらず、かつ、食生活に偏りのない被検体の学習用データを用いることにより、生活習慣による断層画像の変化の影響を受けない、加齢による断層画像の変化を予測可能な学習モデルを生成することができる。学習用データの数は、女性および男性のそれぞれについて機械学習が可能な数量である。
【0046】
加齢変化モデル19を構成する学習モデル61としてはどのようなものでもよいが、ここでは、公知のGAN(Generative Adversarial Networks)を用いる。GANは、学習用データから特徴を学習することで、実在しないデータを生成することができる生成モデルの一種である。GANは、図5に示したように、いずれもニューラルネットワークから構成された加齢変化モデル生成器26と加齢変化モデル識別器29を含む。加齢変化モデル生成器26は、学習用データのうちのある時点の被検体の断層画像等に基づいて画像(推論画像)27を生成する。加齢変化モデル識別器29は、生成器26が生成した推論画像と、実画像(学習用データ)とを判別する。加齢変化モデル生成器26は、生成した推論画像が、加齢変化モデル識別器29で実データと判定されるように学習し、精度を高めていく。また、加齢変化モデル識別器29は、生成器26が生成した画像と実画像とを正しく判別できるように学習し、精度を高めていく。学習を実施した後の加齢変化モデル生成器26を、図2の加齢変化モデル19として用いる。
【0047】
具体的には、以下のように加齢変化モデル19の学習を行う(図4参照)。
【0048】
(ステップS401)
まず、ステップS401では、CPU5は、運動を実施しておらず、かつ、食生活に偏りのない複数の被検体についてある時点で撮影した腹部断層画像と、数年経過後の時点で撮影した腹部断層画像の2種類の学習用データを入力部16を介して取り込む。
【0049】
(ステップS402)
次にステップS402ではCPU5は、男性と女性とで別々の加齢変化モデルを作成するために、学習用データを性別で分類する。CPU5は、分類した学習用データをあらかじめ幾つかの纏まりに分けておく。
【0050】
(ステップS403)
CPU5は、ステップS403において、この加齢変化モデル用学習モデル61に対して、ある被検体のある時点での腹部断層画像(実画像25)と、その当時(ある時点の断層画像の撮影時)の年齢と、ある時点から数年経過後の腹部断層画像(実画像28)と、その経過年数を入力する。
【0051】
(ステップS404)
次にステップS404では、CPU5は、加齢変化モデル生成器26に、被検体のある時点での腹部断層画像(実画像25)と、ステップS403で受け付けたその当時の年齢と経過年数等に基づいて、ある時点から、ステップS403で受け付けた経過年数経過後の腹部断層画像(推論画像27)を生成させる。
【0052】
(ステップS405)
次にステップS405では、CPU5は、生成器26が生成した推論画像27と、ステップS403で受け付けた、ある時点から経過年数経過後の被検体の腹部断層画像(実画像)28とを加齢変化モデルの識別器29に入力し、推論画像27が実データか推論データかを判定させる。CPU5は、判定結果が、真の結果と同じであるかどうかを評価し、真の結果に近づけるよう、識別器29を調整等し、学習させる。
【0053】
そして、CPU5は、ステップS404に戻って、識別器29で出力された判定結果を生成器26に入力し、生成器26が生成した推論画像27が識別器29において実データと判定されるよう、生成器26を調整等し、学習させる。その後、CPU5は、加齢変化モデル生成器26に、次の被検体のある時点での腹部断層画像(実画像25)と、その当時の年齢と、経過年数等に基づいて、ある時点から経過年数経過後の腹部断層画像(推論画像27)を推論して生成させる。
【0054】
CPU5は、ステップS405において、生成器26が生成した次の被検体の推論画像27と、次の被検体のある時点の経過年数経過後の腹部断層画像(実画像)28を加齢変化モデルの識別器29に入力し、推論画像27が実データか推論データかを判定させる。CPU5は、判定結果が、真の結果と同じであるかを評価し、真の結果に近づけるよう、識別器29を調整等し、学習させる。
【0055】
CPU5は、上記ステップS403~ステップS405を、ステップS402で学習用データを分けておいたデータバッチごとに繰り返し実施する。全ての学習用データの学習が終えたところでステップS406に移り、学習終了の判定を行う。
【0056】
(ステップS406)
ステップS406では、CPU5は、ステップS403~S405の繰り返し回数が予め設定した反復回数に達しているかどうか判定し、達していない場合はステップS403~S405の処理を再度実施し、設定した反復回数に達した場合は学習を終了する。
【0057】
上記ステップS401~S406の学習を実施した後の加齢変化モデル生成器26を、図2のように加齢変化モデル19として用いる。
【0058】
加齢変化モデル19に、加齢変化を予測したい被検体の腹部断層画像と、被検体の年齢と、予測したいのが何年後か(経過年数)を入力することにより、加齢変化モデル19は、入力された経過年数が経過した後の被検体の断層画像を推論により生成して出力することができる。
【0059】
<運動変化モデルの学習方法>
次に、運動変化モデル20の学習方法について図6図7を用いて説明する。図6は、運動変化モデル20を生成するために、CPU5が運動変化モデル20用の学習モデル61を学習させる手順を示すフローチャートであり、図7(a),(b)は、運動変化用学習モデルの学習時の処理の流れを示す図である。
【0060】
CPU5は、学習用プログラム62を実行することにより、図6のフローを実行し、男性用と女性用の運動変化モデル20をそれぞれ作成する。男性と女性とで別々の運動変化モデル20を作成する理由は、男性と女性で運動習慣による脂肪の減り方、筋肉の付き方が異なるためである。
【0061】
運動変化モデルの学習のために、予め、運動を実施しており、かつ、食生活に偏りのない複数の女性の被検体と男性の被検体について、ある時点で撮影した腹部断層画像と、ある時点から数年経過後の時点で撮影した腹部断層画像の2種類を学習用データとして用意しておく。運動を実施しており、かつ、食生活の生活習慣に偏りのない被検体の学習用データを用いることにより、学習用データは、食生活の偏りによる断層画像の変化の影響を受けておらず、運動による断層画像の変化を予測可能な学習モデルを生成することができる。学習用データの数は、女性および男性のそれぞれについて機械学習が可能な数量である。
【0062】
運動習慣の情報としては、週当たりの運動時間(min/week)をここでは用いる。なお、運動時間のみならず、運動の種類や、強度を運動習慣の情報として用いてもよい。
【0063】
ただし、用意した学習用データのうち、ある時点から学習用データの数年経過後の断層画像には、運動習慣による断層画像の変化のみならず、加齢による断層画像の変化が加わっているので、図6のフローではステップS603において加齢処理を行うことにより、加齢による影響を除去した運動変化モデルを生成する。
【0064】
運動変化モデル20を構成する学習モデル61としては、どのようなものでもよいが、ここでは、加齢変化モデル19と同様にGANを用いる。GANは、図7(b)に示したように、運動変化モデル生成器32と運動変化モデル識別器35を含む。
【0065】
運動変化モデル生成器32は、学習用データのうちある時点の被検体の断層画像等に基づいて画像(推論画像)33を生成する。ただし、運動変化モデル生成器32が、運動習慣による画像の変化のみならず加齢による画像の変化を加味した推論画像33を生成するように学習するのを避けるため、学習用データのうちのある時点の被検体の断層画像を加齢により変化させた断層画像を運動変化モデル生成器32に入力する。加齢により変化させた断層画像は、学習済みの加齢変化モデル19(すなわち加齢変化モデル生成器26)により生成する。
【0066】
これにより、運動変化モデル生成器32は、加齢による画像の変化を予測せず、運動習慣による画像の変化を予測するよう学習する。
【0067】
運動変化モデル識別器35は、運動変化モデル生成器32が生成した推論画像と、実画像(学習用データ)34とを判別する。運動変化モデル生成器32は、生成した推論画像が、運動変化モデル識別器35で実データと判定されるように学習し、運動変化モデル識別器35は、生成器32が生成した画像を実画像とを正しく判別できるように学習する。学習を実施した後の運動変化モデル生成器32を、図2の運動変化モデル20として用いる。
【0068】
具体的には、以下のように運動変化モデル20の学習を行う(図6参照)。
【0069】
(ステップS601)
まずステップS601では、CPU5は、運動を実施しており、かつ、食生活に偏りのない複数の女性の被検体と男性の被検体について、ある時点で撮影した腹部断層画像と、ある時点から数年経過後の時点で撮影した腹部断層画像の2種類の学習用データを、入力部16を介して取り込む。
【0070】
(ステップS602)
次にステップS602では、CPU5は、男性と女性とで別々の運動変化モデルを作成するために、学習用データを性別で分類する。CPU5は、分類した学習用データをあらかじめ幾つかの纏まりに分けておく。
【0071】
(ステップS603)
次にステップS603では、CPU5は、図7(a)に示したように、ステップS601、S602で分類した学習用データのうち、ある時点の被検体の腹部断層画像(実画像30)と、その時の被検体の年齢と、学習用データのうち数年経過後の時点の腹部断層画像の、ある時点からの経過年数を、加齢変化モデル19(加齢変化モデル生成器26)に入力する。これにより、加齢変化モデル19は、数年経過後の腹部断層画像(推論画像31)を生成する。この処理は、すべての被検体データの、ある時点の被検体の腹部断層画像(実画像30)について行う。
【0072】
加齢変化モデル19が生成した数年経過後の腹部断層画像(推論画像31)は、加齢による変化後の腹部断層画像(推論画像31)であり、数年の運動習慣による画像の変化は含んでいない。
【0073】
(ステップS604)
CPU5は、ステップS604において、運動変化モデル生成器32に対して、ステップS603で生成したある被検体から数年経過後の加齢変化が生じた後の腹部断層画像(推論画像31)と、その被検体の週当たりの運動時間と、ある時点からある数年経過後の腹部断層画像(実画像34)と、その経過年数を入力する。
【0074】
(ステップS605)
次にステップS605では、CPU5は、運動変化モデル生成器32に、ステップS603で生成したある被検体から数年経過後の加齢変化が生じた後の腹部断層画像(推論画像31)と、その被検体の週当たりの運動時間と、その経過年数等に基づいて、ある時点から経過年数経過後の腹部断層画像(推論画像33)を生成させる。
【0075】
(ステップS606)
次にステップS606ではCPU5は、運動変化モデル生成器32が生成した推論画像33と、ある時点から経過年数経過後の被検体の腹部断層画像(実画像)34を、運動変化モデルの識別器35に入力し、推論画像33が実データか推論データかを判定させる。
【0076】
CPU5は、図4のステップS403~405と同様に、ステップS604~606において、運動変化モデル生成器32と運動変化モデル識別器35を学習させる。
【0077】
CPU5は、上記ステップS604~606を、ステップS602で学習用データを分けておいたデータバッチごとに繰り返し実施する。全ての学習用データの学習が終えたところでステップS406に移り、学習終了の判定を行う。
【0078】
(ステップS607)
最後にステップS607では、CPU5は、ステップS604~606の反復回数が、予め設定した回数に達するまでステップS604~606を繰り返す。設定した反復回数に達した場合は学習を終了する。
【0079】
上記ステップS601~S607の学習を実施した後の運動変化モデル生成器32を、図2の運動変化モデル20として用いる。
【0080】
生成された運動変化モデル20(運動変化モデル生成器32)は、加齢による断層画像の変化を予測せず、運動習慣による断層画像の変化を予測して、ある経過年数が経過した後の被検体の断層画像を生成して出力することができる。
【0081】
なお、ここでは、運動の種類は、ウォーキングを想定しているが、例えばジョギング、エアロビ、ヨガといった運動の種類(ジャンル)別に分けて、ジャンル別の運動変化モデル20を用意してもよい。
【0082】
<食変化モデルの生成方法>
次に食変化モデルの学習方法について図8(a),(b)を用いて説明する。図8(a)、(b)は、食変化用学習モデルの学習時の処理の流れを示す図である。なお、CPU5が食変化用学習モデルの学習させる手順は、図6の運動変化モデルの生成のフローと同様であるので、ここでは、異なる点のみについて説明する。
【0083】
CPU5は、学習用プログラム62を実行することにより、図6と同様のフローを実行し、男性用と女性用の食変化モデル21をそれぞれ作成する。
【0084】
食変化モデルの学習のために、予め、運動を実施しておらず、かつ、食生活に特定の傾向のある複数の女性の被検体と男性の被検体について、ある時点で撮影した腹部断層画像と、ある時点から数年経過後の時点で撮影した腹部断層画像の2種類を学習用データとして用意しておく。運動を実施しておらず、かつ、食生活に特定の傾向のある被検体の学習用データを用いることにより、学習用データは、運動習慣による断層画像の変化の影響を受けておらず、食生活の偏りによる断層画像の変化を予測可能な学習モデルを生成することができる。学習用データの数は、女性および男性のそれぞれについて機械学習が可能な数量である。
【0085】
食生活の特定の偏りとして、ここでは、食生活が「肉中心である」、「魚中心である」、および、「野菜中心である」の3種類を用いる。なお、食生活の傾向として、例えば間食多めか否かの傾向や、1回の食事の量等の傾向を細かく分け、それぞれの傾向毎に食変化モデル21を用意してもよい。
【0086】
ただし、用意した学習用データのうち、ある時点から学習用データの数年経過後の断層画像には、食生活の特定の偏りによる断層画像の変化のみならず、加齢による断層画像の変化が加わっているので、図6のステップS603と同様に、学習用データに加齢変化モデル19により加齢処理を行うことにより、加齢による影響を除去した食変化モデルを生成する。
【0087】
食変化モデル21を構成する学習モデル61は、運動変化モデル20と同様にここではGANを用いる。GANは、図8(b)のように、食変化モデル生成器38と食変化モデル識別器41を含む。
【0088】
そして、図6のフローと同様に、CPU5は、学習用データに加齢変化モデル19(すなわち加齢変化モデル生成器26)により加齢処理を行った推論画像と、食生活の特定の偏りの種類と、経過年数と、経過年数経過後の学習用データの断層画像とを用いて、食変化モデル生成器38と食変化モデル識別器41を学習させる。
【0089】
まずステップS601と同様に、CPU5は、運動を実施しておらず、かつ、食生活に特定の傾向のある複数の女性の被検体と男性の被検体について、ある時点で撮影した腹部断層画像と、ある時点から数年経過後の時点で撮影した腹部断層画像の2種類の学習用データを、入力部16を介して取り込む。
【0090】
次にステップS602と同様に、CPU5は、男性と女性とで別々の食変化モデルを作成するために、学習用データを性別で分類する。CPU5は、分類した学習用データをあらかじめ幾つかの纏まりに分けておく。
【0091】
次にステップS603と同様に、CPU5は、分類した学習用データのうち、ある時点の被検体の腹部断層画像(実画像36)と、その時の被検体の年齢と、学習用データのうち数年経過後の時点の腹部断層画像の、ある時点からの経過年数とを、加齢変化モデル19(加齢変化モデル生成器26)に入力する。これにより、加齢変化モデル19は、数年経過後の腹部断層画像(推論画像37)を生成する。この処理は、すべての被検体データの、ある時点の被検体の腹部断層画像(実画像36)について行う。
【0092】
加齢変化モデル19が生成した数年経過後の腹部断層画像(推論画像37)は、加齢による変化後の腹部断層画像(推論画像37)であり、食生活の特定の偏りによる断層画像の変化は含んでいない。
【0093】
CPU5は、ステップS604と同様に、食変化モデル用学習モデル61に対して、生成した腹部断層画像(推論画像37)と、その被検体の食生活の特定の偏りの種類と、ある時点からある数年経過後の腹部断層画像(実画像40)と、その経過年数を入力する。
【0094】
ステップS605と同様に、CPU5は、食変化モデル生成器38に、腹部断層画像(推論画像37)と、その被検体の食生活の特定の偏りの種類と、その経過年数等に基づいて、ある時点から経過年数経過後の腹部断層画像(推論画像39)を生成させる。
【0095】
ステップS606と同様に、CPU5は、食変化モデル生成器38が生成した推論画像39と、ある時点から経過年数経過後の被検体の腹部断層画像(実画像)40とを、食変化モデルの識別器41に入力し、推論画像39が実データか推論データかを判定させる。
【0096】
CPU5は、上記ステップを学習用データを分けておいたデータバッチごとに繰り返し実施し、食変化モデル生成器38と食変化モデル識別器41を学習させる。ステップS607と同様に、CPU5は、上記ステップの繰り返しの回数が、予め設定した回数に達した場合は学習を終了する。
【0097】
学習後の食変化モデル生成器38を図2の食変化モデル21として用いる。
【0098】
以上により、加齢変化モデル19、運動変化モデル20および食変化モデル21の3種類の学習モデルが生成される。これらは、それぞれ加齢、運動習慣、食変化による被検体の腹部断層画像の変化を予測して変化後の断層画像を生成することができる。
【0099】
<医用画像処理装置1の動作>
つぎに、上述した学習後の加齢変化モデル19、運動変化モデル20、食変化モデル21を備えた医用画像処理装置1により、所定の年数経過後の被検体の腹部断層画像を生成する際の動作を図3のフローを用いて説明する。CPU5は、予測画像生成部用プログラム63を読み込んで実行することにより、予測画像生成部18として機能する。
【0100】
(ステップS1)
まず、ステップS1では、予測画像生成部18は、医用画像撮影装置2または医用画像管理システム3からLAN4経由で送信され、医用画像処理装置1の記憶装置7に保存された腹部断層画像を入力画像15とし、主メモリ6上の所定の領域に読み込む。
【0101】
(ステップS2)
次にステップS2では、予測画像生成部18は、入力部16を構成する表示装置14から操作者がキーボード10やマウス11を使用して入力した入力情報を受け付け、受け付けた入力情報17を主メモリ6上に読み込む。
【0102】
入力情報17としては、被検体の性別および年齢といった基本情報や、現状の生活習慣(運動の有無、運動有りの場合の週の運動時間の情報、食生活の特定の偏り(肉中心、魚中心、野菜中心))の情報、さらに生活習慣を今後変える場合の変更後の生活習慣(運動の有無、運動有りの場合の週の運動時間の情報、食生活の特定の偏り(肉中心、魚中心、野菜中心))を含む。また、入力情報17には、予測するのは何年後の腹部断層画像かを指定する情報も含まれてもよいし、何年後の腹部断層画像を推論するかについては、例えば10年後といった予め定めた固定値としてもよい。
【0103】
なお、運動の種類(ジャンル)別に運動変化モデル20を用意している場合、予測画像生成部18はステップS2において、運動時間の他に、運動のジャンルの入力を受け付ける。
【0104】
同様に、食習慣についても、肉中心、魚中心または野菜中心の傾向以外に、間食多めか否かの傾向や、1回の食事の量等の傾向毎に食変化モデルが用意されている場合には、それらの食習慣の傾向についても入力を受け付ける。
【0105】
(ステップS3)
次にステップS3では、予測画像生成部18は、ステップS1、S2で読み込んだ入力画像15と、性別と、年齢と、予測するのは何年後かを、加齢変化モデル19に入力する。加齢変化モデル19は、加齢によって変化した腹部断層画像を生成する。生成された腹部断層画像は、脂肪や筋肉の形状、大きさ、位置が、加齢によって変化している。
【0106】
(ステップS4)
次にステップS4では、予測画像生成部18は、ステップS2で入力された現状の運動時間と、今後生活習慣を変える場合の変化後の運動時間を確認し、運動を実施している、または、今後運動を実施するかどうかを判定する。運動を実施している、または、これから運動実施する場合、ステップS5に進む。運動を実施していない(0min/week)、かつ、今後も運動を実施しない場合、ステップS6に進む。
【0107】
(ステップS5)
ステップS5では、予測画像生成部18は、ステップS3で生成した加齢変化後の腹部断層画像と、性別と、年齢と、現状の運動時間と、予測するのは何年後かを運動変化モデル20に入力する。運動変化モデル20は、現状の運動時間を維持した場合の腹部断層画像を生成する。
【0108】
さらに予測画像生成部18は、上記現状の運動時間に代えて、今後生活習慣を変えた場合の変化後の運動時間を運動変化モデル20に入力する。運動変化モデル20は、運動習慣により変化した後の腹部断層画像を生成する。
【0109】
運動習慣が変化した後の腹部断層画像は、脂肪や筋肉の形状、大きさ、位置が、現状の運動時間を維持した場合の腹部断層画像とは変化している。
【0110】
(ステップS6)
次にステップS6では、予測画像生成部18は、ステップS2で入力された現状の食生活の傾向と、今後生活習慣を変える場合の食生活の傾向を予測画像生成部18で確認し、現状または今後の食生活に特定の傾向(肉中心や、魚中心、野菜中心)がある場合、ステップS7へ進む。現状および今後の食生活に特定の傾向がない場合は、ステップS8へ進む。
【0111】
(ステップS7)
次にステップS7では、予測画像生成部18は、ステップS5を実施している場合には、ステップ5において生成した運動変化処理後の腹部断層画像を、ステップS5を実施していない場合には、ステップS3で生成した加齢変化処理の腹部断層画像を、食変化モデル21に入力する。
【0112】
また、予測画像生成部18は、性別と、年齢と、現状の食生活の傾向と、予測するのは何年後かを、食変化モデル21に入力する。食変化モデル21は、現状の食生活の傾向を維持した場合の腹部断層画像を生成する。
【0113】
また、予測画像生成部18は、また、現状の食生活の傾向に代えて、今後の食生活の傾向を食変化モデル21に入力する。食変化モデル21は、食生活の傾向を変化させた場合の腹部断層画像を生成する。
【0114】
食習慣が変化した後の腹部断層画像は、脂肪や筋肉の形状、大きさ、位置が、現状の食習慣を維持した場合の腹部断層画像と比較して変化している。
【0115】
なお、間食多めといった傾向や1回の食事の量など傾向を細かく分けた各食変化モデルを用意している場合には、ステップS2において受け付けたそれらの傾向についても食変化モデル21に入力する。
【0116】
(ステップS8)
次にステップS8では、予測画像生成部18は、ステップS3~S7で生成された、現状の生活習慣を維持した場合に数年後に予測される腹部断層画像23と、生活習慣を変えた場合に数年後に予測される腹部断層画像24を、記憶装置7に保存するとともに、出力部22に出力する。これにより、出力部22の表示装置14には、現状の生活習慣を維持した場合に数年後に予測される腹部断層画像23と、生活習慣を変えた場合に数年後に予測される腹部断層画像24が表示される。
【0117】
また、出力部22は、表示装置14への表示に限らず、腹部断層画像23,24をレポートとして印刷することも可能であるし、またはモバイル端末のアプリと連携して、スマートフォンやタブレットに表示してもよい。
【0118】
また、予測画像生成部18は、ステップS1で読み込んだ、実際に撮影した腹部断層画像(入力画像)15も記憶装置7に保存する。
【0119】
<効果>
上述してきたように、実施例1によれば、被検体の体型が変化する大きな3つの要因(加齢、運動習慣、食生活)を独立させて、それぞれ学習モデルを生成することにより、被検体の生活習慣に応じた体型(断層画像)を精度よく予測することができる。すなわち、加齢による断層画像の変化と、1以上の生活習慣による断層画像の変化とを独立させて、予測することができるため、加齢に生活習慣を加味した体型変化を精度よく予測することができる。
【0120】
これにより、被検体は、現状の生活習慣を維持した場合と、生活習慣を変えた場合に予測される腹部断層画像を見ることができ、生活習慣をどのように変えれば理想の体型になれるかを知ることができる。よって、被検体に、現状の生活習慣により危機感を感じてもらうことや、改善した場合の体型をよりイメージしやすくなり、生活習慣の改善の意識変容が期待できる。
【0121】
また、腹部断層画像の予測画像を提供することで外見からではわからない体内の状態が見えるため、一見標準の体型であっても実際には筋肉量が少ないといったことや、内臓脂肪型肥満であるといったことが分かるため、よりフレイルや糖尿病への予防効果が期待できる。
【0122】
<<実施例2>>
実施例2の医用画像処理装置1の機能および動作について、図9のフローチャートと、図10を用いて説明する。実施例2の医用画像処理装置1は、ハードウエア構成は実施例1の医用画像処理装置1と同様であるが、実施例2の医用画像処理装置1は、実施例1の機能に加えて、達成度算出部45の機能を備えている。達成度算出部45は、実施例1の図3のステップS8において保存した、予測断層画像24に対して、時間が経過した現時点で再度撮影した断層画像がどの程度到達しているかを表す達成度を算出する。
【0123】
達成度算出部45の機能は、メモリ6に予め格納されたプログラムをCPU5が読み込んで実行することにより、図9のフローチャートのように動作して実現する。
【0124】
実施例1では、図3のフローにより、被検体が現状の生活習慣を維持した場合に、所定の年数経過後(数年後)に予測される腹部断層画像23と、生活習慣を変えた場合に所定の年数経過後に予測される腹部断層画像24を生成した後、ステップS8においてこれらの画像を記憶装置7に保存する構成であった。実施例2の医用画像処理装置1では、時間が経過した後、同じ被検体(受診者)が再度受診して、腹部断層画像42を撮影した場合には、達成度算出部45が、生活習慣を変えた場合に予測される断層画像24を記憶装置7から読み出して、現在の腹部断層画像(今回の入力画像)42と比較し、達成度を算出する。
【0125】
(ステップS901)
まず、ステップS901では、達成度算出部45は、今回、新たに腹部断層画像の撮影を行った場合、医用画像撮影装置2または医用画像管理システム3から送られてきた今回の腹部断層画像42を主メモリ6上に読み込む。
【0126】
(ステップS902)
次にステップS902では、達成度算出部45は、医用画像処理装置1の記憶装置7に、図2のステップ8で保存されている前回撮影した腹部断層画像(前回の入力画像)15を主メモリ6上に読み込む。
【0127】
(ステップS903)
次にステップS903では、達成度算出部45は、実施例1において生活習慣を変えたと仮定して予測した腹部断層画像(前記の予測断層画像)24を医用画像処理装置1の記憶装置7から主メモリ6上に読み込む。
(ステップS904)
次にステップS904では、達成度算出部45は、ステップS901~903で主メモリ6上に読み込んだ、腹部断層画像42、15、24について、脂肪領域と筋肉領域の抽出処理を実行する。脂肪領域と筋肉領域の抽出処理方法としては、上述した特許文献1等の公知の方法を用いる。
【0128】
(ステップS905)
次にステップS905では、達成度算出部45は、ステップS904で抽出された腹部断層画像42、15、24の脂肪領域と筋肉領域から、今回撮影した腹部断層画像42と前回撮影した腹部断層画像15との各領域の差分を算出する。さらに、前回、予測した腹部断層画像24の各領域の面積に対する、今回撮影した腹部断層画像42の各領域の面積の割合を、達成度として百分率で算出する。この時、筋肉領域については、増加方向に達成度を算出し、脂肪領域については、減少方向に達成度を算出する。そして筋肉領域の達成度と、脂肪領域の達成度の平均値を最終的な達成度として算出する。なお、達成度の算出方法は一例であり、この限りではない。
【0129】
(ステップS906)
次にステップS906では、達成度算出部45は、ステップS905で算出した差分や達成度の情報を、差分や達成度情報46として表示装置14に表示する。この達成度情報46は、被検体へのメッセージの形式であってもよいし、表やグラフで表示してもよい。また、ここでは表示装置14へ出力して表示させることを説明したが、出力された差分や達成度情報46を、レポートとして印刷してもよいし、モバイル端末のアプリと連携して、スマートフォンやタブレットに表示してもよい。
【0130】
この実施例2の医用画像処理装置では、被検体は、生活習慣を変えると仮定して予測した未来の理想の体型(前回予測した腹部断層画像24)に対して、現在の体型がどれくらい達成できているかの状況を知ることができ、被検体(受診者)のモチベーションアップにつながる。
【0131】
<<実施例3>>
次に、実施例3の医用画像処理装置1の機能および動作について、図11のフローチャートと、図12を用いて説明する。
【0132】
実施例3の医用画像処理装置1は、実施例1の機能に加えて、リスク予測部48の機能を備えている。リスク予測部48は、実施例1の図3のステップS8において保存した、予測断層画像24を用いて、被検体が疾病や運動障害になるリスクを算出する。
【0133】
なお、リスク予測部48は、学習済みのリスク予測モデルを含み、予測した断層画像24をリスク予測モデルに入力することにより、被検体が病気になるリスクを算出した結果を表す出力を得る。なお、リスク予測モデルは、ここでは機械学習の学習モデルを用いる。予め腰痛や糖尿病、フレイルと診断された受診者、また転倒リスクの高い受診者の画像を収集し、入力データとして、収集した画像を用い、正解データとして、その受診者の腰痛や糖尿病やフレイルや転倒リスクを用い、機械学習により特徴を学習させた学習モデルをリスク予測モデルとして用いる。これにより、予測画像生成部18が将来を予測して腹部断層画像24をリスク予測モデルに入力することにより、各リスクの特徴の一致度(尤度)が出力される。尤度を百分率等に換算して、リスクと求める。
【0134】
なお、本実施例においては、リスクとは、腰痛リスク、糖尿病リスク、転倒リスク、フレイルリスクといった疾病及び運動機能にかかわるリスクをいう。
【0135】
なお、ここでは、リスク予測部48は、学習済みのリスク予測モデルによりリスクを算出構成であるが、リスク予測部48は、学習モデルに限られない。例えば、予測した腹部断層画像24の脂肪領域や筋肉の面積や、配置に基づいて、予め定めた数式等によりリスクを算出してもよい。
【0136】
以下、リスク予測部48の動作についてさらに説明する。
【0137】
(ステップS111)
まず、ステップS111では、リスク予測部48は、実施例1において、生活習慣を現状のまま維持すると仮定して予測した腹部断層画像23、または、生活習慣を変更したと仮定して予測した腹部断層画像24を医用画像処理装置1の記憶装置7から主メモリ6上に読み込む。
(ステップS112)
次にステップS112では、リスク予測部48は、読み込んだ腹部断層画像23または24を学習済みのリスク予測部48に入力し、出力として、例えば、腰痛リスク、糖尿病リスク、転倒リスク、フレイルリスクといった疾病及び運動機能にかかわるリスクの特徴の一致度(尤度)の出力を得る。リスク予測部48は、得られた尤度を百分率等に換算し、リスク予測結果49として出力する。
【0138】
(ステップS113)
次にステップS113では、リスク予測部48は、ステップS112で算出したリスク予測結果49を表示装置14に表示する。このリスク予測結果49はメッセージであってもよいし、表やグラフで表示してもよい。また、実施例3では、算出したリスク予測結果49を、表示装置14へ表示するだけではなく、リスク予測結果49をレポートとして印刷してもよいし、またはモバイル端末のアプリと連携して、スマートフォンやタブレットに表示してもよい。
【0139】
この実施例3のように、将来のリスクが表示等されることにより、受診者は将来起こりうるリスクに危機感を感じることができ、生活習慣の改善の意識変容を起こすことが期待できる。
【0140】
<<実施例4>>
次に、実施例4について図13のフローチャートと図14を用いて説明する。
【0141】
実施例4の医用画像処理装置は、実施例1と同様の構成であるが、実施例1とは、入力部16へ入力する情報とその入力方法が異なる。実施例1では、入力部16へ入力情報17として、現在の生活習慣と、今後の生活習慣をそれぞれ入力するとともに、「予測するのは何年後か」を指定する構成であったが、実施例4では図14に示すようなUI(ユーザインタフェース)をもつ入力部16’を表示装置14に表示し、この上で上記入力を行う。
【0142】
図14に示すUIは、食生活時間軸50と、運動量時間軸51とを含む。食生活時間軸50と、運動量時間軸51の軸方向は、上下方向に配置されている。また、予測する時点を示すポインタ54が配置されており、操作者は、ポインタ54を所望の位置に移動させることにより、その時点の予測画像を生成させることができる。
【0143】
食生活時間軸50は、食生活の傾向毎の軸、(ここでは肉中心、野菜中心、魚中心の3軸)を含む。食生活時間軸50の最上部が、現時点を表しており、下方向に進むほど年数が進む。操作者は、マウス11を使用し、食生活時間軸50の3軸(肉中心、野菜中心、魚中心)のいずれかに今後の食生活の傾向と期間を示すバー52を設定することにより、今後の食生活が肉中心か、野菜中心か、魚中心かを選択することができる。また、バー52の長さを変えることで、その食生活をする期間を調整できる。これにより、実施例4では食生活の傾向と期間を設定することができる。また、バー52の横幅のサイズを変えることで、食事の量を調整できるようなUIにしてもよい。
【0144】
運動量時間軸51も、最上部が現時点を表しており、下方向に進むほど年数が進む。操作者はマウス11を使用し、運動量時間軸51に対して運動量と期間を示すバー53を設定する。バー53の長さを変えることで運動を実施する期間を調整でき、幅を変えることで運動量(min/week)を調整できる。
【0145】
図14の例では、時点54’において、食生活のバー52の位置が肉中心の軸から野菜中心の軸に変化しており、食生活が変化することが設定されている。また、時点54’以降の運動量時間軸51にバー53が配置されており、時点54’において運動を開始することが設定されている。
【0146】
これら食生活のバー52と、運動量のバー53を設定後、操作者がマウス11を使用してポインタ54を下方向に移動させ、所望の位置に配置すると、図13のフローチャートの処理が、CPU5で実行され、予測画像生成部18は、ポインタ54の指し示す位置(時点)の腹部断層画像を予測して生成する。具体的には以下の通りである。
【0147】
(ステップS1301)
ステップS1301では、予測画像生成部18は、現時点を示す最上部の地点54-aにおいて医用画像処理装置1で撮影され記憶装置7に保存された腹部断層画像15と、被検体の性別および年齢等の基本情報を読み込む。
【0148】
(ステップS1302)
次にステップS1302では、予測画像生成部18は、ポインタ54の位置を検出する。
【0149】
(ステップS1303)
次にステップS1303では、予測画像生成部18は、ポインタ54(図14の54-b)が生活習慣の変化がある生活習慣変更地点54’を超えているかを判定し、超えていない場合は、ステップS1305の処理に進む。
【0150】
ポインタ54(図14の54-b)が、生活習慣変更地点54’を超えている場合は、ステップS1304の処理に進む。
【0151】
(ステップS1304)
予測画像生成部18は、その食生活の傾向(肉中心、野菜中心、魚中心のいずれか)と運動量をインプットとして、生活習慣変更地点54’における予測画像(腹部断層画像)を一旦生成する。このステップS1304の処理は実施例1の図3のステップS3からステップS7の処理と同様である。
【0152】
(ステップS1305)
ステップS1305では、ステップS1303においてポインタ54の位置が生活習慣変更地点54’を超えていなかった場合は、予測画像生成部18は、最上部の地点54-aからポインタ54の位置までの年数を算出する。
【0153】
一方、ステップS1303において生活習慣変更地点54’を超えていた場合は、予測画像生成部18は、生活習慣変更地点54’からポインタ54までの年数を算出する。
【0154】
(ステップS1306)
次にステップS1306では、ステップS1303においてポインタ54の位置が生活習慣変更地点54’を超えていなかった場合は、予測画像生成部18は、ステップ1301で読み込んだ、最上部の地点54-aにおける腹部断層画像15と、ステップ1305で算出した地点54-aからポインタ54の位置までの年数と、その期間の食生活の傾向と運動量をインプットとして、ポインタ54の位置(時点)の予測画像(腹部断層画像)56を生成する。
【0155】
一方、ステップS1303においてポインタ54の位置が生活習慣変更地点54’を超えていた場合は、予測画像生成部18は、ステップS1304で生成した予測画像(腹部断層画像)と、ステップ1305で算出した、生活習慣変更地点54’からポインタ54までの年数と、その期間の食生活の傾向と運動量をインプットとして、ポインタ54の位置(時点)の予測画像(腹部断層画像)57を生成する。
【0156】
このステップS1306の処理は、実施例1のステップS3からステップS7の処理と同様である。
【0157】
(ステップS1307)
ステップS1307では、予測画像生成部18は、ステップS1306で生成したポインタ54の時点での予測画像(腹部断層画像)56または57を表示装置14に表示する。
【0158】
これにより、操作者がポインタ54を配置した所望の時点の予測画像(腹部断層画像)が予測画像生成部18によって生成され、表示される。
【0159】
例えば図14にあるように最上部の地点54-aにポインタ54が配置された場合、地点54-aは現時点であるため、表示装置14には現時点での腹部断層画像15が表示される。
【0160】
次に操作者が、ポインタ54を地点54-bに移動させた場合は、地点54-bは、生活習慣に変化が生じる生活習慣変更地点54’を超えていないため、予測画像生成部18は、地点54-bまでの食生活の傾向と運動量の情報を読み込み、ステップS1305で地点54-aから地点54-bまでの年数を算出し、ステップS1306において、地点54-aの時点で撮影された腹部断層画像15を用いて、地点54-bの時点における腹部断層画像56を予測して生成し、表示装置14に表示する。
【0161】
操作者が、ポインタ54を地点54-cに移動させた場合は、地点54-cは、生活習慣に変化が生じる生活習慣変更地点54’を超えているため、予測画像生成部18は、ステップS1304において地点54-aの時点で撮影された腹部断層画像15を用いて、生活習慣変更地点54’における予測画像をステップS1304で一旦生成する。その後、その予測画像と、生活習慣変更地点54’から地点54-cまでの食生活の傾向と運動量の情報とを用いて、ステップS1306において、地点54-cの時点における腹部断層画像57を予測して生成し、表示装置14に表示する。
【0162】
このように、本実施例においては、操作者が、今後の食生活と運動量をUI上で設定し、ポインタ54を移動させることで、ポインタ54が指し示す特定の時点における腹部断層画像を予測して表示することができる。よって、操作者は、所望の時点の腹部断層画像を確認することが出来る。
【0163】
また、実施例4では表示装置14への出力を想定しているが、この出力された腹部断層画像15、56、57をレポートとして印刷、またはモバイル端末のアプリと連携して、スマートフォンやタブレットに表示してもよい。
【0164】
この実施例4により食生活の傾向と運動量を時系列でより細かく設定できるため、受診者はどの程度の運動量をどの程度の期間実施すべきか、どのような食生活をどの程度の期間実施すべきかがわかり、モチベーションアップに繋がる。
【0165】
<<実施例5>>
次に、実施例5について図15および図16のフローチャートと、図17および図18を用いて説明する。
【0166】
実施例5の医用画像処理装置は、実施例1とは、入力部16において入力を受け付ける情報と、予測画像生成部18が処理で使用する学習モデルが異なる。
【0167】
すなわち、実施例5の医用画像処理装置は、図17に示すように、予測画像生成部18は、加齢変化モデル19と、カロリー変化モデル59の2つの学習モデルを用いて、腹部断層画像の予測を行う。カロリー変化モデル59は、生活習慣の運動時間と運動内容、および、食生活の食事メニューを用いて、食事と運動の差のカロリーから、腹部断層画像の予測を行う。
【0168】
実施例3の医用画像処理装置は、用いる学習モデルが、実施例1よりも1つ少ないため、データ量を抑制することができる。
【0169】
<カロリー変化モデルの学習方法>
まず、カロリー変化モデル59の学習方法について図6のフローチャートと、図18を用いて説明する。
【0170】
予め、複数の被検体について、ある時点での腹部断層画像60と、数年経過後の腹部断層画像65の2種類と、被検体の週の摂取成分量と、摂取カロリーと、運動による消費カロリーとを学習用のデータとして用意しておく。この時、学習用のデータは、性別および年齢が異なる複数の被検体について用意する。機械学習が可能な数量の学習用のデータを収集しておく。
【0171】
カロリー変化モデル59として使用するネットワークの種類については問わないが、加齢変化モデルと同様、生成器83と識別器66を含むGANを用いることができる。
【0172】
(ステップS601)
まずステップS601では、CPU5は、複数の被検体のある時点での腹部断層画像60と数年経過後の腹部断層画像65の2種類を学習用のデータを取り込む。
【0173】
(ステップS602)
次にステップS602では、CPU5は、加齢変化モデルと同様、男性と女性とで別々のカロリー変化モデルを作成するため、収集したデータを性別で分類する。
【0174】
(ステップS603)
次にステップS603では、CPU5は、ステップS601、S602で収集、分類したデータから図18(a)に示すように受診者のステップS602で分類したある時点での腹部断層画像60を、加齢変化モデル19に入力し、数年経過後の腹部断層画像(推論画像82)を生成させる。ここで一度推論画像82を生成する理由としては、ステップS601で収集したデータのうち、数年経過後の腹部断層画像65には、加齢による腹部の形状や濃淡の変化が含まれているため、カロリー変化モデル59が、加齢による腹部の形状や濃淡の変化を学習しないようにするためである。
【0175】
(ステップS604)
次にステップS604では、CPU5は、週の摂取カロリーから運動による消費カロリーを差し引いた合計カロリー(kcal/week)を算出する。CPU5は、図18(b)に示すようにステップS603で処理した腹部断層画像(推論画像82)と、週の合計カロリー(kcal/week)と、各摂取成分量と、ある時点から数年経過後の腹部断層画像(実画像65)の経過年数とを、カロリー変化モデル生成器83に入力する。
【0176】
(ステップS605)
次にステップS605では、CPU5は、入力された複数の受診者の加齢変化処理した腹部断層画像(推論画像82)と週の合計カロリー(kcal/week)、各摂取成分量と、経過年数のデータセットを、生成器83に入力し、画像を生成させる。
【0177】
(ステップS606)
次にステップS606ではCPU5は、生成器83が推論した腹部断層画像(推論画像64)と、実データである数年経過後の腹部断層画像(実画像65)を、カロリー変化モデル識別器66に入力し、実データか推論データかを判定させる。
【0178】
CPU5は、テップS604~606において、カロリー変化モデル生成器83とカロリー変化モデル識別器66を学習させる。
【0179】
(ステップS607)
最後にステップS607では、CPU5は、予め設定した反復回数に達するまでステップS604~S606を繰り返す。設定した反復回数に達した場合は学習を終了する。
【0180】
以上により、学習したカロリー変化モデル生成器83を、カロリー変化モデル59として用いる。
【0181】
<医用画像処理装置1の動作>
つぎに、上述した学習後の加齢変化モデル19、カロリー変化モデル59を用いて、予測画像生成部18が、被検体の腹部断層画像を予測して生成する際の動作を図15図16を用いて説明する。
【0182】
(ステップS1401)
まずステップS1401は、実施例1のステップS1と同様である。
【0183】
(ステップS1402)
次にステップS1402では、予測画像生成部18は、性別、年齢といった基本情報の入力を受け付ける点は実施例1と同様であるが、実施例5では、現状と今後生活習慣を変える場合の、運動時間と運動内容、および、1週間の食事メニューを入力情報58として入力部16から受け付ける。
【0184】
(ステップS1403)
次にステップS1403は、予測画像生成部18が実施例1のステップS3と同様の処理を行う。
【0185】
(ステップS1404)
次にステップS1404では、予測画像生成部18は、ステップS1402で受け付けた入力情報58の、1週間の食事メニューのカロリーと、1週間の運動時間と運動内容から消費するカロリーを計算する。そして、両者の差分を求めることにより、1週間の合計カロリー(kcal/week)を算出する。また、食事メニューから摂取した成分量も算出する。
【0186】
このステップS1404の詳細を図16で説明する。
【0187】
((ステップS1501))
まず、ステップS1501において、予測画像生成部18は、1週間の食事メニューから1週間の総摂取カロリーと摂取成分量(糖質、タンパク質、脂質、ビタミン、ミネラルなど)を計算する。具多的には、食事のメニューごとに、一般的なカロリーと各成分量を予めデータベース化しておき、ステップS1402において入力された食事のメニューに応じて算出する。
【0188】
((ステップS1502))
次にステップS1502では、予測画像生成部18は、運動内容と週の運動時間から週の消費カロリーを計算する。運動内容ごとに時間あたりの消費カロリーについて、予めデータベース化しておき、ステップS1402において入力された運動内容と運動時間に応じて計算する。
【0189】
((ステップS1503))
次にステップS1503で、予測画像生成部18は、1週間の摂取カロリーから1週間の消費カロリーを差し引き、最終的に1週間の合計カロリー(kcal/week)を算出する。
【0190】
(ステップS1405)
次にステップS1405では、予測画像生成部18は、ステップS1403で生成した加齢変化処理後の腹部断層画像と、ステップS1404で算出した1週間あたりの合計カロリー(kcal/week)と、摂取成分量と、経過年数をカロリー変化モデル59に入力する。これにより、カロリー変化モデル59は、合計カロリーと摂取成分量によって変化する腹部断層画像の脂肪や筋肉の形状、大きさ、位置、濃淡を推論し、腹部断層画像を生成する。
【0191】
(ステップS1406)
次にステップS1406では、予測画像生成部18は、ステップS1403~S1405で生成した断層画像を出力部22に出力する。出力部22には、現状の生活習慣を維持した場合の数年後予測される腹部断層画像23と、生活習慣を変えた場合の数年後予測される腹部断層画像24とが出力される。出力部22は、表示装置14に腹部断層画像23,24を表示する。なお、この出力された腹部断層画像23,24をレポートとして印刷、またはモバイル端末のアプリと連携して、スマートフォンやタブレットに表示してもよい。
【0192】
このように、実施例5の医用画像処理装置は、運動と食による変化をカロリーに換算して、カロリー変化モデル59に入力する構成であるため、実施例1のように運動変化モデル20と食変化モデル21の2つの学習モデルを用意する必要がない。また、学習用のデータを収集する際にも特定の条件を絞って集める必要がないため、実施例1と比較して処理時間や収集するデータ量を抑えることが出来るというメリットがある。
【0193】
以上、本発明の実施例1~5について説明したが、本発明はこれらの実施例に限定されるものではない。
【符号の説明】
【0194】
1 医用画像処理装置
2 医用画像撮影装置
3 医用画像管理システム
6 主メモリ
7 記憶装置
8 ネットワークアダプタ
9 共通バス
10 キーボード
11 マウス
12 コントローラ
13 表示メモリ
14 表示装置
15 入力画像
16 入力部
17 入力情報
18 予測画像生成部
19 加齢変化モデル
20 運動変化モデル
21 食変化モデル
22 出力部
23 腹部断層画像
24 腹部断層画像
25 実画像
26 生成器
27 推論画像
28 実画像
29 識別器
31 推論画像
32 生成器
33 推論画像
34 実画像
35 識別器
37 推論画像
38 生成器
39 推論画像
40 実画像
41 識別器
42 腹部断層画像
43 腹部断層画像
44 腹部断層画像
45 達成度算出部
46 達成度情報
47 腹部断層画像
49 リスク予測結果
50 食生活時間軸
51 運動量時間軸
52 バー
53 バー
54 ポインタ
54 生活習慣変更地点
56 腹部断層画像
57 腹部断層画像
58 入力情報
59 カロリー変化モデル
64 推論画像
65 実画像
66 識別器
82 推論画像
83 生成器
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18