(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】医用データ処理装置及び医用データ処理方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20240827BHJP
A61B 6/00 20240101ALI20240827BHJP
G06T 7/00 20170101ALI20240827BHJP
【FI】
A61B6/03 570A
A61B6/03 570B
A61B6/03 560T
A61B6/00 530A
G06T7/00 350B
G06T7/00 612
(21)【出願番号】P 2020185234
(22)【出願日】2020-11-05
【審査請求日】2023-10-04
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成25年度、国立研究開発法人科学技術振興機構、COIプログラム、COI拠点「自分で守る健康社会拠点」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】佐久間 一郎
(72)【発明者】
【氏名】小野 稔
(72)【発明者】
【氏名】富井 直輝
(72)【発明者】
【氏名】前田 恵理子
(72)【発明者】
【氏名】青山 岳人
【審査官】佐野 浩樹
(56)【参考文献】
【文献】特開2020-025702(JP,A)
【文献】国際公開第2020/137745(WO,A1)
【文献】特開2016-116659(JP,A)
【文献】特表2020-511262(JP,A)
【文献】特開2014-087635(JP,A)
【文献】特開2015-109962(JP,A)
【文献】特開2020-112937(JP,A)
【文献】特開2019-084152(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/03
A61B 6/00
G06T 7/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
複数時相の医用データを取得する取得部と、
前記複数時相の医用データに含まれる所定時相の医用データにおける生体組織の動作状態を、前記所定時相の医用データと前記所定時相以外の時相に関するデータとに基づいて特定する特定部と、
前記
特定部によって特定された動作状態に基づいて
、特定の動作状態に偏重しないように前記医用データを選別する選別部と、
前記選別部によって選別された医用データを学習用データとして用いて、機械学習における学習モデルの更新処理を行う情報処理部と、
を備える、医用データ処理装置。
【請求項2】
前記動作状態に基づいて、前記選別部によって選別された医用データを用いて、前記学習用データを増強する増強部をさらに備える、
前記情報処理部は、前記増強部によって増強された学習用データを用いて、前記学習モデルの更新処理を行う、
請求項
1に記載の医用データ処理装置。
【請求項3】
前記生体組織は、心臓弁であり、
前記動作状態は、前記心臓弁の開閉状態である、
請求項1
又は2に記載の医用データ処理装置。
【請求項4】
前記特定部は、心臓弁の開閉状態を開往期の状態及び閉往期の状態の二つの状態に分類し、前記医用データにおける心臓弁の開閉状態が当該二つの状態のどちらに適応するかを判別し、判別した状態を当該医用データにおける心臓弁の動作状態として特定する、
請求項
3に記載の医用データ処理装置。
【請求項5】
前記特定部は、心臓弁の開閉状態を開往期の状態、閉往期の状態及び閉口期の状態の三つの状態に分類し、前記医用データにおける心臓弁の開閉状態が当該三つの状態のいずれに適応するかを判別し、判別した状態を当該医用データにおける心臓弁の動作状態として特定する、
請求項
3に記載の医用データ処理装置。
【請求項6】
前記生体組織は、肺であり、
前記特定部は、肺の動作を吸気状態及び呼気状態の二つの状態に分類し、前記医用データにおける肺の動きが当該二つの状態のどちらに適応するかを判別し、判別した状態を当該医用データにおける
肺の動作状態として特定する、
請求項1
又は2に記載の医用データ処理装置。
【請求項7】
前記選別部は、
第1の動作状態
よりも動きが複雑
な第2の動作状態の医用データが前記第1の動作状態の医用データと比べて多くなるように、
前記第1の動作状態と前記第2の動作状態との間で前記医用データを選別する
数の割合を変える、
請求項1~
6のいずれか一つに記載の医用データ処理装置。
【請求項8】
前記選別部は、
前記生体組織の複数の動作状態の医用データを学習用データとして用いて、当該学習用データの数を変えながら機械学習によって所定の計算を実施することで、性能が安定するまでのデータ数を算出し、それぞれの動作状態における性能が安定するまでのデータ数の比に応じて、それぞれの動作状態の間で前記医用データ
を選別する数の割合を変える、
請求項
1~6のいずれか一つに記載の医用データ処理装置。
【請求項9】
前記取得部は、前記所定時相の医用データの撮像条件、画像条件及び画質の少なくとも一つをさらに取得し、
前記選別部は、前記動作状態に加えて、前記撮像条件、画像条件及び画質の少なくとも一つにさらに基づいて、前記医用データを選別する、
請求項1~
8のいずれか一つに記載の医用データ処理装置。
【請求項10】
前記選別部は、指定された造影時相を前記画像条件として用いる、
請求項
9に記載の医用データ処理装置。
【請求項11】
前記選別部は、前記動作状態に加えて、被検体に関する情報を条件としてさらに用いて、前記医用データを選別する、
請求項
9に記載の医用データ処理装置。
【請求項12】
前記選別部は、前記動作状態に加えて、病態に関する条件をさらに用いて、前記医用データを選別する、
請求項
9に記載の医用データ処理装置。
【請求項13】
前記所定時相以外の時相に関するデータは、前記所定時相の医用データ
を取得したモダリティと同じ
モダリティで取得されたデータである、
請求項1~
12のいずれか一つに記載の医用データ処理装置。
【請求項14】
前記特定部は、前記複数時相の医用データを用いて、前記所定時相の医用データにおける前記生体組織の位置と、当該所定時相と隣り合う時相の医用データにおける前記生体組織の位置とから前記生体組織の動く方向を推測し、当該推測の結果に基づいて、前記所定時相の医用データにおける前記生体組織の動作状態を特定する、
請求項
13に記載の医用データ処理装置。
【請求項15】
前記所定時相以外の時相に関するデータは、前記所定時相の医用データ
を取得したモダリティ以外の手段で取得されたデータである、
請求項1~
12のいずれか一つに記載の医用データ処理装置。
【請求項16】
前記特定部は、前記所定時相以外の時相に関するデータとして、前記複数時相の医用データが収集された際に収集された心電情報又は心音情報に基づいて、前記所定時相の医用データにおける前記生体組織の動作状態を特定する、
請求項
15に記載の医用データ処理装置。
【請求項17】
前記特定部は、前記所定時相以外の時相に関するデータとして、前記所定時相の医用データにおける前記生体組織以外の生体組織の情報に基づいて、前記所定時相の医用データにおける前記生体組織の動作状態を特定する、
請求項
15に記載の医用データ処理装置。
【請求項18】
医用データを取得する取得部と、
前記医用データにおける生体組織の動作状態を特定する特定部と、
前記
特定部によって特定された動作状態に基づいて
、特定の動作状態に偏重しないように前記医用データを選別する選別部と、
前記選別部によって選別された医用データを
学習用データとして用いて
、機械学習における学習モデルの更新処理を行う情報処理部と、
を備える、医用データ処理装置。
【請求項19】
前記生体組織は、心臓弁であり、
前記特定部は、心臓弁の開閉状態を開口状態及び閉口状態の二つの状態に分類し、前記医用データにおける心臓弁の開閉状態が当該二つの状態のどちらに適応するかを判別し、判別した状態を当該医用データにおける心臓弁の動作状態として特定する、
請求項18に記載の医用データ処理装置。
【請求項20】
複数時相の医用データを取得し、
前記複数時相の医用データに含まれる所定時相の医用データにおける生体組織の動作状態を、前記所定時相の医用データと前記所定時相以外の時相に関するデータとに基づいて特定し、
特定された動作状態に基づいて
、特定の動作状態に偏重しないように前記医用データを選別する選別
し、
選別された医用データを学習用データとして用いて、機械学習における学習モデルの更新処理を行う、
ことを含む、医用データ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用データ処理装置及び医用データ処理方法に関する。
【背景技術】
【0002】
従来、医療の現場では、医用データを用いた診断、治療計画、治療効果判定等を実施又は支援するためのソフトウェアとして、自ら学習用データを収集して機械学習を行うことによって成長するソフトウェアが知られている。ここで、機械学習では、学習用データを用いて学習モデルを更新することによって、アルゴリズムの更新が行われる。
【0003】
しかしながら、このような機械学習を利用したソフトウェアでは、自ら学習用データを収集する際に課題に応じた適切な条件に基づいて学習用データを収集しなければ、学習モデルが適切に更新されず、その結果、ソフトウェアの性能が低下することがあり得る。
【0004】
なお、このような状況は、機械学習における学習モデルの更新処理に限って生じるものではなく、医用データを用いた各種の情報処理で同様に生じ得るものである。
【先行技術文献】
【特許文献】
【0005】
【文献】特表2019-533870号公報
【文献】特開2015-66318号公報
【文献】特開2012-157683号公報
【非特許文献】
【0006】
【文献】Nakagomi K,Shimizu A,Kobatake H,Yakami M,Fujimoto K,Togashi K,“Multi-shape graph cuts with neighbor prior constraints and its application to lung segmentation from a chest CT volume”,Med Image Anal.2013,17(1):62-77,doi:10.1016/j.media.2012.08.002
【発明の概要】
【発明が解決しようとする課題】
【0007】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用データを用いた情報処理をより適切に行えるようにすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0008】
実施形態に係る医用データ処理装置は、取得部と、特定部と、選別部とを備える。取得部は、複数時相の医用データを取得する。特定部は、前記複数時相の医用データに含まれる所定時相の医用データにおける生体組織の動作状態を、前記所定時相の医用データと前記所定時相以外の時相に関するデータとに基づいて特定する。選別部は、前記動作状態に基づいて前記医用データを選別する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、第1の実施形態に係る医用データ処理装置の構成を示す図である。
【
図2】
図2は、第1の実施形態に係る特定機能によって行われる動作状態の特定の例を説明するための図である。
【
図3】
図3は、第1の実施形態に係る医用データ処理装置の処理回路によって行われる処理の処理手順を示すフローチャートである。
【
図4】
図4は、第1の実施形態の変形例2を説明するための図である。
【
図5】
図5は、第2の実施形態に係る医用データ処理装置の構成を示す図である。
【
図6】
図6は、第2の実施形態に係る医用データ処理装置の処理回路によって行われる処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、医用データ処理装置及び医用データ処理方法の実施形態について詳細に説明する。
【0011】
(第1の実施形態)
図1は、第1の実施形態に係る医用データ処理装置の構成を示す図である。
【0012】
例えば、
図1に示すように、第1の実施形態に係る医用データ処理装置100は、X線CT(Computed Tomography)装置1及び医用画像保管装置2とネットワーク3を介して通信可能に接続されている。
【0013】
なお、医用データ処理装置100は、X線CT装置1の他に、磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)装置や超音波診断装置、PET(Positron Emission Tomography)装置、SPECT(Single Photon Emission Computed Tomography)装置等の他の医用画像診断装置とさらに接続されていてもよい。
【0014】
X線CT装置1は、被検体に関するCT画像を生成する。具体的には、X線CT装置1は、被検体を囲む円軌道上でX線管及びX線検出器を回転移動させることで、被検体を透過したX線の分布を表す投影データを収集する。そして、X線CT装置1は、収集された投影データに基づいて、CT画像を生成する。
【0015】
医用画像保管装置2は、被検体に関する各種の医用画像を保管する。具体的には、医用画像保管装置2は、ネットワーク3を介してX線CT装置1からCT画像を取得し、当該CT画像を自装置内の記憶回路に記憶させて保管する。例えば、医用画像保管装置2は、サーバやワークステーション等のコンピュータ機器によって実現される。また、例えば、医用画像保管装置2は、PACS(Picture Archiving and Communication System)等によって実現され、DICOM(Digital Imaging and Communications in Medicine)に準拠した形式でCT画像を保管する。
【0016】
医用データ処理装置100は、被検体に関する各種の医用データを処理する。具体的には、医用データ処理装置100は、ネットワーク3を介してX線CT装置1又は医用画像保管装置2からCT画像を取得し、当該CT画像を処理する。例えば、医用データ処理装置100は、サーバやワークステーション等のコンピュータ機器によって実現される。
【0017】
例えば、医用データ処理装置100は、ネットワーク(NetWork:NW)インタフェース110と、記憶回路120と、入力インタフェース130と、ディスプレイ140と、処理回路150とを備える。
【0018】
NWインタフェース110は、医用データ処理装置100と、ネットワーク3を介して接続された他の装置との間で送受信される各種データの伝送及び通信を制御する。具体的には、NWインタフェース110は、処理回路150に接続されており、他の装置から受信したデータを処理回路150に送信、又は、処理回路150から受信したデータを他の装置に送信する。例えば、NWインタフェース110は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
【0019】
記憶回路120は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路120は、処理回路150に接続されており、処理回路150から受信したデータを記憶、又は、記憶しているデータを読み出して処理回路150に送信する。例えば、記憶回路120は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
【0020】
入力インタフェース130は、利用者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インタフェース130は、処理回路150に接続されており、利用者から受け取った入力操作を電気信号へ変換して処理回路150に送信する。例えば、入力インタフェース130は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、及び音声入力インタフェース等によって実現される。なお、本明細書において、入力インタフェース130は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ送信する電気信号の処理回路も入力インタフェース130の例に含まれる。
【0021】
ディスプレイ140は、各種情報及び各種データを表示する。具体的には、ディスプレイ140は、処理回路150に接続されており、処理回路150から受信した各種情報及び各種データを表示する。例えば、ディスプレイ140は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。
【0022】
処理回路150は、医用データ処理装置100の全体を制御する。例えば、処理回路150は、入力インタフェース130を介して利用者から受け付けた入力操作に応じて、各種処理を行う。また、例えば、処理回路150は、他の装置により送信されたデータをNWインタフェース110から受信し、受信したデータを記憶回路120に記憶する。また、例えば、処理回路150は、記憶回路120から受信したデータをNWインタフェース110に送信することで、当該データを他の装置に送信する。また、例えば、処理回路150は、記憶回路120から受信したデータをディスプレイ140に表示させる。
【0023】
以上、本実施形態に係る医用データ処理装置100の構成について説明した。このような構成のもと、本実施形態に係る医用データ処理装置100は、医用データを用いて所定の情報処理を行う機能を有する。
【0024】
例えば、医療の現場では、医用画像を用いた診断、治療計画、治療効果判定等を実施又は支援するためのソフトウェアとして、自ら学習用データを収集して機械学習を行うことによって成長するソフトウェアが知られている。ここで、機械学習では、学習用データを用いて学習モデルを更新することによって、アルゴリズムの更新が行われる。
【0025】
しかしながら、このような機械学習を利用したソフトウェアでは、自ら学習用データを収集する際に課題に応じた適切な条件に基づいて学習用データを収集しなければ、学習モデルが適切に更新されず、その結果、ソフトウェアの性能が低下することがあり得る。
【0026】
具体的には、動作する生体組織は、異なる動作状態ごとに特徴的な形状や性質を示すことが知られている。例えば、心臓弁(大動脈弁、僧帽弁、三尖弁、肺動脈弁)は、完全な閉口状態から完全な開口状態に移行するまでの期間と、完全な開口状態から完全な閉口状態に移行するまでの期間とで振る舞いが異なることが知られている。そのため、このような動作する生体組織を対象とするソフトウェアは、収集した学習用データが生体組織の特定の動作状態を示すものに偏っていた場合に、偏重した学習によって学習モデルが更新されることになり、その結果、特定の動作状態以外の動作状態に対する性能が低下することがあり得る。
【0027】
なお、このような状況は、機械学習における学習モデルの更新処理に限って生じるものではなく、医用データを用いた各種の情報処理で同様に生じ得るものである。
【0028】
このようなことから、本実施形態に係る医用データ処理装置100は、医用データを用いた情報処理をより適切に行えるように構成されている。
【0029】
具体的には、医用データ処理装置100は、処理回路150が有する処理機能として、取得機能151と、特定機能152と、選別機能153と、情報処理機能154とを有する。なお、取得機能151は、取得部の一例である。また、特定機能152は、特定部の一例である。また、選別機能153は、選別部の一例である。また、情報処理機能154は、情報処理部の一例である。
【0030】
ここで、取得機能151は、医用データを取得する。また、特定機能152は、取得機能151によって取得された医用データにおける生体組織の動作状態を取得する。また、選別機能153は、特定機能152によって取得された動作状態に基づいて医用データを選別する。そして、情報処理機能154は、選別機能153によって選別された医用データを用いて情報処理を行う。
【0031】
このように、本実施形態では、生体組織の動作状態を考慮して医用データを選別することによって、医用データを用いた情報処理をより適切に行えるようにしている。
【0032】
以下、本実施形態に係る医用データ処理装置100が有する各機能について詳細に説明する。なお、以下では、医用データ処理装置100が、医用データを用いた情報処理として、X線CT装置1によって撮像されたCT画像を学習用データとして用いて、機械学習における学習モデルの更新処理を行う場合の例を説明する。また、以下では、対象の生体組織が心臓弁である場合、より具体的には、対象の生体組織が大動脈弁である場合の例を説明する。
【0033】
取得機能151は、NWインタフェース110を介して、X線CT装置1又は医用画像保管装置2から大動脈弁を含むCT画像を取得する。
【0034】
本実施形態では、取得機能151は、X線CT装置1又は医用画像保管装置2から大動脈弁を含む複数時相のCT画像を取得する。
【0035】
例えば、取得機能151は、入力インタフェース130を介して利用者から開始指示を受け付けた場合に、CT画像を取得する。または、取得機能151は、X線CT装置1又は医用画像保管装置2を監視し、新しいCT画像が撮像された場合に、当該CT画像を自動的に取得するようにしてもよい。
【0036】
なお、ここでは、医用データとしてCT画像が用いられる場合の例を説明するが、実施形態はこれに限られない。例えば、本実施形態が対象とする医用データは、対象とする生体組織の動作に関する情報を取得可能又は予測可能なものであれば、どのような種類の医用データであってもよい。例えば、医用データは、超音波画像、MRI画像、X線画像、Angio画像、PET画像、SPECT画像のように他の医用画像診断装置によって撮像された医用画像であってもよい。この場合、医用画像は、2次元の医用画像であってもよいし、3次元の医用画像であってもよいし、それらを時間方向に複数撮像して得られた4次元画像であってもよい。または、医用データは、心電計、脳波計、脳磁計、心磁計、NIRS(Near Infrared Spectroscopy)脳波計等によって得られた電気、磁気又は近赤外線等の1次元の計測値の時間及び/又は空間方向の分布図等であってもよい。
【0037】
また、ここでは、対象の生体組織が大動脈弁である場合の例を説明するが、実施形態はこれに限られない。例えば、本実施形態が対象とする生体組織は、僧帽弁、三尖弁、肺動脈弁のように他の心臓弁であってもよい。
【0038】
特定機能152は、取得機能151によって取得されたCT画像における大動脈弁の動作状態を特定する。
【0039】
例えば、特定機能152は、大動脈弁の開閉状態を予め複数の状態に分類しておく。そして、特定機能152は、対象となるCT画像における大動脈弁の開閉状態が当該複数の状態のうちのいずれの状態に適応するかを判別し、判別した状態を当該CT画像における大動脈弁の動作状態として特定する。
【0040】
一般的に、大動脈弁は、主に心臓の収縮期初期から拡張期初期までの間の時点で開口し、拡張期初期から拡張期末期までの間の時点で閉口することが知られている。
【0041】
そこで、例えば、特定機能152は、大動脈弁の開閉状態を開往期の状態及び閉往期の状態の二つの状態に分類しておく。ここで、開往期は、大動脈弁が完全な閉口状態から完全な開口状態に移行するまでの期間であり、閉往期は、大動脈弁が完全な開口状態から完全な閉口状態に移行するまでの期間である。そして、特定機能152は、対象となるCT画像における大動脈弁の開閉状態が当該二つの状態のどちらに適応するかを判別し、判別した状態を当該CT画像における大動脈弁の動作状態として特定する。
【0042】
これにより、本実施形態では、一見、大動脈弁の開閉状態が同じように見えるCT画像であっても、動作状態が開往期の状態であると特定される場合と、閉往期の状態であると特定される場合とがあり得る。
【0043】
図2は、第1の実施形態に係る特定機能152によって行われる動作状態の特定の例を説明するための図である。
【0044】
例えば、
図2に示すように、特定機能152は、1回の心周期に含まれる複数の時相t1~t8のうち、大動脈弁が完全な閉口状態となるt1から完全な開口状態となるt4までの間のCT画像については、大動脈弁の動作状態が開往期の状態であると特定する。また、特定機能152は、大動脈弁が完全な開口状態となるt4から完全な閉口状態となるt8までの間のCT画像については、大動脈弁の動作状態が閉往期の状態であると特定する。一例を挙げると、例えば、
図2に示す例において、t4~t8の間にあるt5のCT画像は、大動脈弁の動作状態が閉往期の状態であると特定される。
【0045】
ここで、特定機能152が大動脈弁の動作状態を特定する方法としては、各種の方法を用いることが可能である。
【0046】
本実施形態では、特定機能152は、取得機能151によって取得された複数時相のCT画像に含まれる所定時相のCT画像における大動脈弁の動作状態を、当該所定時相のCT画像と当該所定時相以外の時相に関するデータとに基づいて特定する。
【0047】
なお、ここでいう所定時相以外の時相に関するデータは、所定時相のCT画像と同じ種類のデータであってもよいし、異なる種類のデータであってもよい。すなわち、所定時相以外の時相に関するデータは、CT画像であってもよいし、CT画像以外のデータであってもよい。
【0048】
例えば、特定機能152は、複数時相のCT画像が撮像された際に収集されたCT画像以外のデータを用いて、所定時相のCT画像における大動脈弁の動作状態を特定する。
【0049】
一般的に、心臓のCT画像が撮像される際には、心臓の動きに合わせて撮像を行うために心電同期撮像が実施され、撮像時に計測された心電情報がCT画像のDICOMヘッダに格納されることが多い。
【0050】
そこで、例えば、特定機能152は、複数時相のCT画像それぞれのDICOMヘッダから心電情報を取得し、取得した心電情報から、所定時相のCT画像における大動脈弁の動作状態を特定してもよい。または、特定機能152は、撮像が行われた際に計測される複数時相のCT画像に対応する心音情報を取得し、取得した心音情報から、所定時相のCT画像における大動脈弁の動作状態を特定してもよい。
【0051】
または、特定機能152は、複数時相のCT画像を用いて、所定時相のCT画像における大動脈弁の動作状態を特定してもよい。
【0052】
一般的に、1回の検査において複数の心位相が対象とされる場合には、複数の心位相に対応する複数時相のCT画像が再構成される。
【0053】
そこで、例えば、特定機能152は、1回の検査で再構成された複数時相のCT画像を用いて、動作状態の特定対象となる心位相のCT画像における大動脈弁の各弁葉の位置と、当該心位相と隣り合う心位相のCT画像における大動脈弁の各弁葉の位置とから各弁葉の動く方向を推測し、当該推測の結果に基づいて、特定対象の心位相のCT画像における大動脈弁の動作状態を特定してもよい。
【0054】
ここで、特定機能152が大動脈弁の各弁葉の位置を取得する方法としては、各種の技術を用いることができる。例えば、特定機能152は、臓器セグメンテーションと呼ばれる臓器の領域を特定する手法を用いて各弁葉の位置を取得してもよいし、臓器の位置を学習させた学習モデルを用いて機械学習技術によって各弁葉の位置を取得してもよい。
【0055】
または、特定機能152は、大動脈弁以外の別の臓器の情報を用いて、大動脈弁の動作状態を特定してもよい。例えば、特定機能152は、左心室の容積を用いて、大動脈弁の動作状態を特定してもよい。左心室は心臓の動きによってその容積が変化するため、左心室の容積又はその変化から心位相を推定することができ、その推定結果から大動脈弁の動作状態を特定することができる。
【0056】
選別機能153は、特定機能152によって特定された動作状態に基づいてCT画像を選別する。
【0057】
本実施形態では、選別機能153は、特定機能152によって特定された動作状態に基づいて、機械学習における学習モデルの更新処理で学習用データとして用いられるCT画像を選別する。
【0058】
例えば、選別機能153は、特定機能152によって特定された動作状態を予め定められた条件と照合し、動作状態が当該条件を満たすCT画像を選別する。ここで、予め定められた条件とは、例えば、「大動脈弁の動作状態が閉往期の状態である」という条件である。この条件の場合、例えば、
図2に示す例において、大動脈弁の動作状態が閉往期の状態であると特定されたt5の画像は、条件を満たさないため、選別されない。
【0059】
なお、ここで用いられる条件は、既に選別されて保管されている学習用データの数及び動作状態の割合から自動的に設定されてもよい。例えば、選別機能153は、既に選別されて保管されているCT画像における大動脈弁の多くが開往期の状態であった場合に、閉往期の状態の画像が少ないと判定して、上記の「大動脈弁の動作状態が閉往期の状態である」という条件を設定する。
【0060】
または、選別機能153は、開往期の状態と閉往期の状態との間で学習用データの数の割合を予め設定しておき、その割合になるように、特定の時期に自動的に条件を更新するようにしてもよい。例えば、選別機能153は、開往期の状態と閉往期の状態との割合が1:1に設定されている場合は、最初は動作状態に対する条件を設定せずに、全てのCT画像を対象として選別する。その後、選別機能153は、予め定められた所定の期間が経過した際に、保管されている学習用データの数を動作状態ごとに集計する。そして、選別機能153は、集計の結果、閉往期の状態の学習用データが所定数(例えば、開往期の状態の学習用データの数の半分)より少なかった場合に、閉往期の状態のデータを選別するように条件を設定する。または、選別機能153は、閉往期の状態の学習用データが所定数より少なかった場合に、開往期の状態のデータを選別しないように条件を設定してもよい。
【0061】
そして、選別機能153は、選別されたCT画像を学習用データとして保管する。
【0062】
例えば、選別機能153は、選別されたCT画像そのものを学習用データとして記憶回路120又は医用画像保管装置2に複製して保管する。または、選別機能153は、選別されたCT画像の保管位置を示す情報(アドレス)のみを学習用データの情報として保管し、CT画像そのものは医用画像保管装置2に保管しておいてもよい。または、選別機能153は、選別されたCT画像のDICOMヘッダ(例えば、プライベートタグ等)に、学習用データとして用いられることを示す印(フラグ)を直接設定してもよい。
【0063】
情報処理機能154は、選別機能153によって選別されたCT画像を用いて情報処理を行う。
【0064】
本実施形態では、情報処理機能154は、選別機能153によって選別されたCT画像を学習用データとして用いて、機械学習における学習モデルの更新処理を行う。
【0065】
例えば、情報処理機能154は、所定の条件に基づいて、学習を実行するか否かを判定する。
【0066】
例えば、情報処理機能154は、学習を実行するか否かを判定するための条件を予め設定しておき、当該条件を満たすか否かを判定することで、学習を実行するか否かを判定する。例えば、情報処理機能154は、選別機能153によって選別されて保管された学習用データの数を管理しておき、学習用データの数が予め定めた数を超えた場合に、学習を実行すると判定してもよい。このとき、学習用データの数は、全体の数であってもよいし、ある特定の動作状態に対応する学習用データの数であってもよい。
【0067】
または、情報処理機能154は、利用者から学習実行の指示を受け付け、当該指示を受け付けた場合に、学習を実行すると判定してもよい。このとき、例えば、情報処理機能154は、予め定義された所定のユーザインタフェースを介して、利用者から学習実行の指示を受け付けてもよい。
【0068】
または、情報処理機能154は、日時に基づいて、学習を実行するか否かを判定してもよい。例えば、情報処理機能154は、毎月、毎週又は毎日の予め決められた日、曜日又は時刻に学習実行が指示されるように設定され、当該指示を受け取った場合に、学習を実行すると判定してもよい。また、例えば、情報処理機能154は、学習を実行すると判定した時点、又は、後述する学習モデルの更新処理が完了した時点で、次に学習を実行する時期や条件を利用者に設定させるようにしてもよい。
【0069】
そして、情報処理機能154は、学習を実行すると判定した場合に、選別機能153によって保管された学習用データを用いて学習モデルを更新することにより、アルゴリズムを更新する。
【0070】
例えば、前述したように、選別機能153によってCT画像のDICOMヘッダに学習用データとして用いられることを示す印(フラグ)が記載されている場合には、情報処理機能154は、医用画像保管装置20からDICOMヘッダに印が設定されているCT画像を検索することで、学習用データを特定する。
【0071】
以上、医用データ処理装置100の処理回路150が有する各処理機能について説明した。ここで、例えば、処理回路150は、プロセッサによって実現される。この場合、例えば、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路120に記憶される。そして、処理回路150は、記憶回路120に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、処理回路150は、各プログラムを読み出した状態で、
図1に示す各処理機能を有することとなる。
【0072】
図3は、第1の実施形態に係る医用データ処理装置100の処理回路150によって行われる処理の処理手順を示すフローチャートである。
【0073】
例えば、
図3に示すように、まず、処理回路150は、X線CT装置1又は医用画像保管装置2から大動脈弁を含むCT画像を取得する(ステップS11)。このステップは、取得機能151に対応するステップである。例えば、処理回路150は、取得機能151に対応するプログラムを記憶回路120から読み出して実行することで、このステップを実行する。
【0074】
続いて、処理回路150は、取得されたCT画像における大動脈弁の動作状態を特定する(ステップS12)。このステップは、特定機能152に対応するステップである。例えば、処理回路150は、特定機能152に対応するプログラムを記憶回路120から読み出して実行することで、このステップを実行する。
【0075】
続いて、処理回路150は、特定された動作状態に基づいてCT画像を選別し(ステップS13,Yes)、選別されたCT画像を学習用データとして保管する(ステップS14)。一方、CT画像を選別しない場合には(ステップS13,No)、処理回路150は、ステップS11に戻り、次のCT画像を取得する。これらのステップは、選別機能153に対応するステップである。例えば、処理回路150は、選別機能153に対応するプログラムを記憶回路120から読み出して実行することで、これらのステップを実行する。
【0076】
続いて、処理回路150は、所定の条件に基づいて、学習を実行するか否かを判定し(ステップS15)、学習を実行すると判定した場合に(ステップS15,Yes)、保管された学習用データを用いて学習モデルを更新する(ステップS16)。一方、学習を実行しないと判定した場合には(ステップS15,No)、処理回路150は、ステップS11に戻り、次のCT画像を取得する。これらのステップは、情報処理機能154に対応するステップである。例えば、処理回路150は、情報処理機能154に対応するプログラムを記憶回路120から読み出して実行することで、これらのステップを実行する。
【0077】
上述したように、第1の実施形態では、取得機能151は、CT画像を取得する。また、特定機能152は、取得機能151によって取得されたCT画像における大動脈弁の動作状態を特定する。また、選別機能153は、特定機能152によって特定された動作状態に基づいてCT画像を選別する。そして、情報処理機能154は、選別機能153によって選別されたCT画像を学習用データとして用いて、機械学習における学習モデルの更新処理を行う。
【0078】
具体的には、第1の実施形態では、取得機能151は、複数時相のCT画像を取得する。また、特定機能152は、取得機能151によって取得された複数時相のCT画像に含まれる所定時相のCT画像における生体組織の動作状態を、当該所定時相のCT画像と当該所定時相以外の時相に関するデータとに基づいて特定する。また、選別機能153は、特定機能152によって特定された動作状態に基づいてCT画像を選別する。
【0079】
このような構成によれば、大動脈弁の動作状態を考慮してCT画像を選別することによって、学習用データとして収集されるCT画像の偏重を防ぐことができる。したがって、第1の実施形態によれば、機械学習における学習モデルの更新処理をより適切に行えるようになる。これにより、例えば、機械学習を利用したソフトウェアが、最適な情報量で学習して成長できるようになり、医用画像を用いた診断や治療計画、治療効果判定をより正確に実施又は支援できるようになる。
【0080】
(第1の実施形態の変形例1)
なお、上述した第1の実施形態では、特定機能152が、所定時相のCT画像における大動脈弁の動作状態を、当該所定時相のCT画像と当該所定時相以外の時相に関するデータとに基づいて特定する場合の例を説明したが、実施形態はこれに限られない。
【0081】
例えば、特定機能152は、取得機能151によって取得された所定時相のCT画像のみを用いて、当該CT画像における大動脈弁の動作状態を特定してもよい。
【0082】
この場合、例えば、取得機能151は、X線CT装置1又は医用画像保管装置2から大動脈弁を含む所定時相のCT画像を取得する。
【0083】
また、例えば、特定機能152は、大動脈弁の開閉状態を開口状態及び閉口状態の二つの状態に分類しておく。そして、特定機能152は、取得機能151によって取得されたCT画像における大動脈弁の開閉状態が当該二つの状態のどちらに適応するかを判別し、判別した状態を当該CT画像における大動脈弁の動作状態として特定する。
【0084】
(第1の実施形態の変形例2)
また、上述した第1の実施形態では、対象の生体組織が心臓弁である場合の例を説明したが、実施形態はこれに限られない。例えば、本実施形態が対象とする生体組織は、時間方向の動き又は流れが存在する臓器や体液等であれば、どのような生体組織であってもよい。
【0085】
例えば、上述した実施形態は、対象の生体組織が肺である場合にも適用することができる。この場合、例えば、特定機能152は、肺の動作を吸気状態及び呼気状態の二つの状態に分類する。ここで、吸気状態は、呼吸によって肺が萎んだ状態から膨らんだ状態となるまでの期間の状態であり、呼気状態は、呼吸によって肺が膨らんだ状態から萎んだ状態となるまでの期間の状態である。そして、特定機能152は、対象となるCT画像における肺の動きが当該二つの状態のどちらに適応するかを判別し、判別した状態を当該CT画像における肺の動作状態として特定する。
【0086】
ここで、特定機能152が肺の動作状態を特定する方法としては、各種の方法を用いることが可能である。例えば、特定機能152は、撮像時に被検体の呼吸状態を監視するために用いられた機器から複数時相の呼吸情報を取得し、取得した呼吸情報から、所定時相のCT画像における肺の動作状態を特定してもよい。または、特定機能152は、複数時相のCT画像それぞれから既知の肺の領域抽出技術を用いて肺の体積を算出し、当該体積の変化に基づいて肺の動作状態を特定してもよい。
【0087】
また、例えば、上述した実施形態は、X線によるビデオ嚥下造影検査にも適用することができる。ここで、嚥下造影検査は、X線透視下で造影剤を混ぜた食材を被検体(患者)が飲み込むことにより、嚥下機能を検査するものである。この場合、例えば、特定機能152は、嚥下造影検査における撮像時の被検体の動作を口腔相の状態、咽頭相の状態、及び、食道相の状態の3つの状態に分類することで、対象となるX線透視画像における被検体の動作状態を特定する。このとき、例えば、特定機能152は、造影剤を混ぜた食材の位置と食道の位置との相対的な位置関係に基づいて被検体の動作状態を分類してもよい。
【0088】
また、例えば、上述した実施形態は、胃の内視鏡検査のように、臓器ではなく検査装置(内視鏡等)が動作する画像が得られる検査にも適用することができる。この場合、例えば、特定機能152は、画像に描出されている臓器の種類に基づいて、内視鏡等の検査装置の動作を食道期の状態、胃期の状態、及び、十二指腸期の状態のように分類することで、対象となる検査装置の動作状態を特定する。このとき、例えば、特定機能152は、既知の画像処理技術や機械学習技術を用いることによって、臓器の種類を特定してもよい。
【0089】
(第1の実施形態の変形例3)
また、第1の実施形態では、特定機能152が、大動脈弁の開閉状態を開往期の状態及び閉往期の状態の二つの状態に分類する場合の例を説明したが、実施形態はこれに限られない。
【0090】
図4は、第1の実施形態の変形例2を説明するための図である。
【0091】
例えば、
図4に示すように、開往期又は閉往期の大動脈弁は、直線的に動作するわけではなく、開く方向及び閉じる方向に無作為に動きながら動作状態を移行することが知られている。つまり、大動脈弁は、開往期又は閉往期それぞれにおいて、バタバタとはためいているように見えるように動作する。
【0092】
そこで、例えば、特定機能152は、大動脈弁の開閉状態を、大動脈弁の開口方向に移動している期間の状態と、閉口方向に移動している期間の状態とに分類することで、対象となるCT画像における大動脈弁の動作状態を特定してもよい。
【0093】
例えば、特定機能152は、1回の検査で再構成された複数時相のCT画像において、それぞれ僧帽弁の領域を抽出し、隣り合う時相の僧帽弁の弁輪部を変形位置合わせする。そして、特定機能152は、変形位置合わせした各時相における各弁葉の位置関係を比較することによって、弁葉の移動方向及び移動量を算出することができる。ここで、変形位置合わせは、既知の手法を用いることにより実現できる。例えば、affine変換法やFFD(Free Form Deformation)法、LDDMM(Large Deformation Diffeomorphic Metric Mapping)などを適用できる。
【0094】
例えば、特定機能152は、1回の検査で再構成された複数時相のCT画像を用いて、各CT画像における大動脈弁の各弁葉の完全な閉口状態からの移動量を算出することで、各時相における大動脈の開く方向への移動量を算出する。その後、特定機能152は、時相ごとに算出された移動量を統計的に解析することで、大動脈弁の開く方向への移動量が増加傾向となる期間と、減少傾向となる期間とを特定する。そして、特定機能152は、大動脈弁の開く方向への移動量が増加傾向となる期間のCT画像については、大動脈弁の動作状態が開口方向に移動している期間の状態であると特定する。また、特定機能152は、大動脈弁の開く方向への移動量が減少傾向となる期間のCT画像については、大動脈弁の動作状態が閉口方向に移動している期間の状態であると特定する。
【0095】
また、例えば、特定機能152は、大動脈弁の開閉状態を開往期の状態、閉往期の状態及び閉口期の状態の三つの状態に分類してもよい。つまり、大動脈弁の閉口状態は一定の期間があるので、開往期を「大動脈弁が閉口状態から開口状態に移行する時点(つまり、極僅かに開口した時点)」から「完全な開口状態の時点」までの期間とし、閉往期を大動脈弁が「完全な開口状態の時点」から「開口状態から閉口状態に移行する時点(つまり、極僅かに開口しており次の瞬間には閉口する時点)」までの期間とし、閉口期を閉口状態の期間とする。そして、特定機能152は、対象となるCT画像における大動脈弁の開閉状態が当該三つの状態のいずれに適応するかを判別し、判別した状態を当該CT画像における大動脈弁の動作状態として特定する。
【0096】
(第1の実施形態の変形例4)
また、上述した第1の実施形態では、選別機能153が、動作条件のみに基づいてCT画像を選別する場合の例を説明したが、実施形態はこれに限られない。例えば、選別機能153は、動作状態だけでなく他の条件をさらに用いて、CT画像を選別してもよい。
【0097】
この場合、例えば、取得機能151は、所定時相のCT画像の撮像条件、画像条件及び画質の少なくとも一つをさらに取得する。
【0098】
そして、選別機能153は、特定機能152によって取得された動作状態に加えて、取得機能151によって取得された撮像条件、画像条件及び画質の少なくとも一つにさらに基づいて、CT画像を選別する。
【0099】
例えば、選別機能153は、マトリックスサイズが1024×1024以上という撮像条件を用いてもよい。これにより、動作状態が条件を満たし、かつ、高空間分解能のCT画像のみを選別することができる。
【0100】
または、選別機能153は、指定された造影時相を画像条件として用いてもよい。一般的に、各種臓器の描出能は造影剤を人体に注入してからの経過時間によって大きく変わることが知られている。したがって、造影時相を条件に加えることで、選別されるCT画像における各種臓器の描出能を一定に保つことができる。
【0101】
または、選別機能153は、このような撮像条件及び画像条件を複数組み合わせて、CT画像を選別するための条件を設定してもよい。
【0102】
または、選別機能153は、画質を条件として用いてもよい。例えば、選別機能153は、既知の画像処理技術によってCT画像の画質を判定し、一定以上の画質であるCT画像のみを選別する。これにより、ノイズやアーチファクトによって臓器に関する十分な情報を得ることができないCT画像を除外することができる。
【0103】
または、選別機能153は、被検体(患者)に関する情報を条件として用いてもよい。例えば、選別機能153は、年齢や性別のような被検体の状態に関する条件を設定する。これにより、さらに偏りのない学習用データセットを構築することができる。
【0104】
または、選別機能153は、病態に関する条件を用いてもよい。一般的に、多くのソフトウェアは、対象とする疾患を有しており、当該疾患を持つ臓器に対して適正に動作するように調整される。しかしながら、来院する患者の全体では、ソフトウェアが対象とする疾患を有さない患者の方が多い。そのため、病態に関する条件を設定しない場合、ソフトウェアは、正常な臓器に対しては高精度に動作するが、対象となる疾患を有する臓器に対しては精度が低下する可能性がある。
【0105】
そこで、例えば、選別機能153は、大動脈弁閉鎖不全症であるという条件を設定する。この場合、選別機能153は、ネットワーク3を介して接続された電子カルテシステムから病態に関する情報を取得して条件に対して判定してもよいし、既知の画像処理技術を用いてCT画像に描出されている大動脈弁の状態を自動的に特定して判定してもよい。
【0106】
なお、上記のような様々な条件は、どのような組み合わせで設定されてもよいし、予め定義されたユーザインタフェースを用いて利用者が任意に設定できるようにしてもよい。いずれにしても、本実施形態は、動作状態以外の情報が条件としてどのように組み合わされても適用することができ、条件の組み合わせによって限定されるものではない。
【0107】
(第1の実施形態の変形例5)
また、上述した第1の実施形態では、選別機能153が、大動脈弁を対象とする場合に、開往期の状態と閉往期の状態との間で学習用データの数の割合を1:1に設定する場合の例を説明したが、実施形態はこれに限られない。
【0108】
例えば、選別機能153は、大動脈弁の動作状態の複雑さに基づいて、学習用データの数の割合を変えてもよい。例えば、選別機能153は、開往期の状態と閉往期の状態との間で、学習用データの数の割合を100:1のように大きな差が生じるように設定してもよい。
【0109】
この場合、例えば、選別機能153は、大動脈弁の動作状態の複雑さを算出し、算出した複雑さに基づいてCT画像を選別してもよい。
【0110】
一般的に、大動脈弁は、開往期と閉往期とで動きの複雑さが異なることが知られており、開往期よりも閉往期の方が複雑な動きをする。また、機械学習では、動きが複雑な状態であるほど学習することが難しく、より多くのデータ数を必要とする。
【0111】
そこで、例えば、選別機能153は、各動作状態における動作の複雑さに基づいて、学習用データの数の割合を設定するようにしてもよい。具体的には、選別機能153は、大動脈弁を対象とする場合に、閉往期の状態の学習用データの数が開往期の状態の学習用データと比べて多くなるように、それぞれの状態の割合を設定する。
【0112】
または、選別機能153は、既知の画像処理技術によってCT画像における生体組織の動きの複雑さを算出し、算出した複雑さの程度に応じて自動的に割合を設定するようにしてもよい。このとき、例えば、選別機能153は、CT画像から対象となる臓器を抽出し、抽出した臓器の動きを周波数解析することによって、動作状態の複雑さを算出する。
【0113】
または、選別機能153は、対象となる複数の動作状態のCT画像を用いて、学習用データの数を変えながら機械学習によって単純な計算(例えば、直径の自動算出等)を実施することで、性能が安定するまでのデータ数(一般的に、複雑な動作状態の対象については性能が安定するまでに多数のデータを必要とする)を算出し、それぞれの動作状態における性能が安定するまでのデータ数の比に応じて、学習用データの数の割合を設定してもよい。
【0114】
(第1の実施形態の変形例6)
また、上述した第1の実施形態では、情報処理機能154が、機械学習における学習モデルの更新処理を行う場合の例を説明したが、実施形態はこれに限られない。例えば、上述した実施形態は、機械学習における学習モデルの更新処理に限らず、医用データを用いた各種の情報処理に適用することができる。
【0115】
例えば、画像処理が実施される際に、事前に収集されたデータの統計学的情報に基づいて、画像処理に対して一部の制約や条件が設定される場合がある。
【0116】
例えば、非特許文献1に記載されている技術では、graph cutsアルゴリズムに対して、事前に収集されたデータから構築される統計学的な形状モデルをgraph cutsの正則化項に導入することによって、より正確な肺の領域抽出を可能としている。
【0117】
このように、事前に収集されたデータに基づいて実施される画像処理において、自動的にデータを収集してアルゴリズムのモデルを更新する際に、上述した実施形態を適用することができる。
【0118】
(第2の実施形態)
次に、第2の実施形態について説明する。なお、以下では、第2の実施形態について、第1の実施形態と異なる点を中心に説明することとし、第1の実施形態と共通する内容については詳細な説明を省略する。
【0119】
第2の実施形態では、機械学習で用いられる学習用データを増強する場合の例を説明する。
【0120】
図5は、第2の実施形態に係る医用データ処理装置の構成を示す図である。
【0121】
例えば、
図5に示すように、第2の実施形態に係る医用データ処理装置200は、NWインタフェース110と、記憶回路120と、入力インタフェース130と、ディスプレイ140と、処理回路250とを備える。
【0122】
本実施形態では、医用データ処理装置200は、処理回路250が有する処理機能として、取得機能151と、特定機能152と、選別機能153と、増強機能255と、情報処理機能254とを有する。なお、増強機能255は、増強部の一例である。また、情報処理機能254は、情報処理部の一例である。
【0123】
増強機能255は、特定機能152によって特定された動作状態に基づいて、選別機能153によって選別されたCT画像を用いて、学習用データを増強する。
【0124】
例えば、増強機能255は、選別機能153によって選別されたCT画像について、動作状態に関する所定の条件に基づいて、学習用データの増強を実施するか否かを判定する。例えば、増強機能255は、院内で撮像される機会が少ない動作状態を条件として予め設定しておき、特定機能152によって特定された動作状態が当該条件と一致した場合に、学習用データの増強を実施すると判定する。
【0125】
そして、増強機能255は、学習用データの増強を実施すると判定した場合に、選別機能153によって選別されたCT画像を用いて、Data Augmentationによって学習用データを増強する。ここで、Data Augmentationは、学習用データに対して画像処理を実施することによって、学習用データを疑似的に増やす処理であり、一般的に、機械学習におけるデータ数の不足を補う手法として広く知られている。例えば、Data Augmentationを用いた手法として、収集された画像を回転又は平行移動させて臓器の描出位置が疑似的に変更された画像を複数作成することによって学習用データを増やす手法や、一つの画像からある特定の範囲の画像のみを複数抜き出すことによって学習用データを増やす手法、画素値を変更又は反転させた画像を複数作成することによって学習用データを増やす手法等が知られている。
【0126】
なお、増強機能255がCT画像を増強する方法としては、上述した手法に限られず、各種の方法を用いることができる。
【0127】
そして、増強機能255は、増強された学習用データを保管する。
【0128】
例えば、増強機能255は、増強された学習用データを記憶回路120又は医用画像保管装置2に複製して保管する。または、増強機能255は、増強された学習用データの保管位置を示す情報(アドレス)のみを保管し、学習用データそのものは医用画像保管装置2に保管しておいてもよい。または、増強機能255は、学習用データとなるCT画像のDICOMヘッダ(例えば、プライベートタグ等)に、学習用データとして用いられることを示す印(フラグ)を直接設定してもよい。
【0129】
情報処理機能254は、増強機能255によって増強された学習用データ用いて、学習モデルの更新処理を行う。
【0130】
本実施形態では、情報処理機能254は、増強機能255によって増強された学習用データを用いて、第1の実施形態で説明した情報処理機能154と同様に、機械学習における学習モデルの更新処理を行う。
【0131】
以上、医用データ処理装置200の処理回路250が有する各処理機能について説明した。ここで、例えば、処理回路250は、プロセッサによって実現される。この場合、例えば、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路120に記憶される。そして、処理回路250は、記憶回路120に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、処理回路250は、各プログラムを読み出した状態で、
図5に示す各処理機能を有することとなる。
【0132】
図6は、第2の実施形態に係る医用データ処理装置200の処理回路250によって行われる処理の処理手順を示すフローチャートである。
【0133】
例えば、
図6に示すように、処理回路250は、第1の実施形態で
図3を参照して説明した示したステップS11~S14と同様の処理を行う(ステップ21~S24)。
【0134】
続いて、処理回路150は、動作状態に関する所定の条件に基づいて、学習用データの増強を実施するか否かを判定する(ステップS25)。そして、処理回路250は、学習用データの増強を実施すると判定した場合に(ステップS25,Yes)、選別されたCT画像を用いて、学習用データを増強し(ステップS26)、増強された学習用データを保管する(ステップS27)。一方、学習用データの増強を実施しないと判定した場合には(ステップS25,No)、処理回路150は、学習用データの増強は実施せずに、ステップS28へ進む。これらのステップは、増強機能255に対応するステップである。例えば、処理回路250は、増強機能255に対応するプログラムを記憶回路120から読み出して実行することで、これらのステップを実行する。
【0135】
続いて、処理回路250は、所定の条件に基づいて、学習を実行するか否かを判定し(ステップS28)、学習を実行すると判定した場合に(ステップS28,Yes)、保管された学習用データを用いて学習モデルを更新する(ステップS29)。一方、学習を実行しないと判定した場合には(ステップS28,No)、処理回路250は、ステップS21に戻り、次のCT画像を取得する。これらのステップは、情報処理機能254に対応するステップである。例えば、処理回路250は、情報処理機能254に対応するプログラムを記憶回路120から読み出して実行することで、これらのステップを実行する。
【0136】
上述したように、第2の実施形態では、増強機能255は、特定機能152によって特定された動作状態に基づいて、選別機能153によって選別されたCT画像を用いて、学習用データを増強する。また、情報処理機能254は、増強機能255によって増強された学習用データを用いて、機械学習における学習モデルの更新処理を行う。
【0137】
このような構成によれば、例えば、そもそも院内で撮像される機会が少ない動作状態の学習用データを増強することができ、動作状態に応じた適切な学習用データを収集できるようになる。
【0138】
また、前述した第1の実施形態の変形例5を第2の実施形態と組み合わせることによって、動きが複雑な状態の学習用データを増強することができ、複雑さの異なる複数の動作状態を含む対象に対して効果的な学習を行うことができるようになる。
【0139】
(第2の実施形態の変形例1)
なお、上述した第2の実施形態では、増強機能255が、動作状態に関する所定の条件に基づいて、学習用データの増強を実施するか否かを判定する場合の例を説明したが、実施形態はこれに限られない。
【0140】
例えば、増強機能255は、特定機能152によって特定された動作状態に応じて、学習用データを増強する増強方法を変更するようにしてもよい。
【0141】
この場合、例えば、増強機能255は、動作状態が一定の範囲のCT画像については、所定の増強方法(例えば、画像反転)で学習用データの増強を実施し、動作状態が他の範囲のデータについては、当該所定の増強とは異なる増強方法(例えば、画素値変更)で学習用データを実施するようにしてもよい。
【0142】
なお、増強機能255が学習用データを増強する際の増強の種類及び分類の数は上述した例に限られず、各種の増強の種類及び分類の数を用いることができる。
【0143】
(第2の実施形態の変形例2)
また、上述した第2の実施形態では、増強機能255が、選別機能153によって選別されたCT画像を用いて学習用データを増強する場合の例を説明したが、実施形態はこれに限られない。
【0144】
例えば、増強機能255は、特定機能152によって特定された動作状態に基づいて、選別機能153によって選別されたCT画像ではなく、取得機能151によって取得されたCT画像を用いて学習用データを増強するようにしてもよい。この場合、取得機能151が、取得したCT画像を学習用データとして保管することとすれば、処理回路250は、選別機能153を有さなくてもよい。
【0145】
なお、上述した実施形態及び変形例で説明した医用データ処理装置の構成は、クラウド等のネットワークを介したサーバによって実現されてもよい。また、上述した実施形態及び変形例で説明した医用データ処理装置の構成は、X線CT装置等の医用画像診断装置のコンソール装置や医用画像保管装置に適用することも可能である。この場合、上述した取得機能、特定機能、選別機能、情報処理機能及び増強機能と同等の機能が、医用画像診断装置のコンソール装置に含まれる処理回路や医用画像保管装置に含まれる処理回路に実装される。
【0146】
また、上述した実施形態及び変形例において、処理回路は、単一のプロセッサによって実現されるものに限られず、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものであってもよい。また、処理回路が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一の記憶回路に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数の記憶回路に分散して記憶され、処理回路が、各記憶回路から各プログラムを読み出して実行する構成としても構わない。
【0147】
また、上述した実施形態及び変形例では、本明細書における取得部、特定部、選別部、情報処理部及び増強部を、それぞれ、処理回路の取得機能、特定機能、選別機能、情報処理機能及び増強機能によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における取得部、特定部、選別部、情報処理部及び増強部は、実施形態で述べた取得機能、特定機能、選別機能、情報処理機能及び増強機能によって実現する他にも、ハードウェアのみ、ソフトウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
【0148】
また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
【0149】
ここで、プロセッサによって実行されるプログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、このプログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
【0150】
また、上述した実施形態及び変形例において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0151】
また、上述した実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0152】
なお、本明細書において扱う各種データは、典型的にはデジタルデータである。
【0153】
以上説明した少なくとも一つの実施形態によれば、医用データを用いた情報処理をより適切に行えるようにすることができる。
【0154】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0155】
100,200 医用データ処理装置
150,250 処理回路
151 取得機能
152 特定機能
153 選別機能
154,254 情報処理機能
255 増強機能