(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20240509BHJP
G06T 7/00 20170101ALI20240509BHJP
【FI】
A61B6/03 560T
G06T7/00 350B
G06T7/00 612
(21)【出願番号】P 2019235966
(22)【出願日】2019-12-26
【審査請求日】2022-08-30
【前置審査】
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001380
【氏名又は名称】弁理士法人東京国際特許事務所
(72)【発明者】
【氏名】服部 千尋
(72)【発明者】
【氏名】坂口 卓弥
【審査官】松岡 智也
(56)【参考文献】
【文献】特表2019-509813(JP,A)
【文献】国際公開第2016/111014(WO,A1)
【文献】特開2020-149504(JP,A)
【文献】特開2021-081814(JP,A)
【文献】特開平05-012352(JP,A)
【文献】特開2021-013644(JP,A)
【文献】米国特許出願公開第2019/0156524(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055、6/00-6/58
G06T 1/00-1/40、3/00-7/90
G06V 10/00-20/90、30/418、
40/16、40/20
(57)【特許請求の範囲】
【請求項1】
複数の教師データを学習することで生成された学習済みモデルを用いた処理を行う処理部と、
前記学習済みモデルの生成に用いられた前記教師データの学習対象の被検体に関する属性を示す第1属性データを取得する第1取得部と、
診断対象の被検体の属性を示す第2属性データを取得する第2取得部と、
前記第1属性データと前記第2属性データの一致の程度を示す指標である当てはまり度を基に、前記診断対象の入力データに対する前記処理部における処理を制御する制御部と、
を備え、
前記処理部が行う処理は、前記診断対象の被検体の医用画像及び生体情報の少なくとも1つを前記学習済みモデルに入力し、前記被検体の推定診断結果を出力する処理であり、
前記制御部は、前記当てはまり度が前記学習済みモデルに当てはまる条件を満たすとき、前記診断対象の被検体の入力データを前記学習済みモデルに入力し、前記学習済みモデルを用いた処理を行うよう前記処理部を制御する一方、前記当てはまり度が前記条件を満たさないとき、前記学習済みモデルを用いない他の代替処理を行い、
前記制御部が行う前記代替処理は、a)前記医用画像をユーザが目視によって診断することを示唆する表示、又は、b)他の医療機関を紹介する表示、に関する処理を含む、
医用情報処理装置。
【請求項2】
複数の教師データを学習することで生成された学習済みモデルを用いた処理を行う処理部と、
前記学習済みモデルの生成に用いられた前記教師データの学習対象の被検体に関する属性を示す第1属性データを取得する第1取得部と、
診断対象の被検体の属性を示す第2属性データを取得する第2取得部と、
前記第1属性データと前記第2属性データの一致の程度を示す指標である当てはまり度を基に、前記診断対象の入力データに対する前記処理部における処理を制御する制御部と、
を備え、
前記被検体の属性の種類は複数であり、
前記当てはまり度は、前記被検体の属性の種類毎に算出される複数の前記第1属性データの分布範囲と、前記第2属性データが前記分布範囲の外となる属性の種類の数とに基づいて決まる、
医用情報処理装置。
【請求項3】
前記当てはまり度は、複数の前記第1属性データの分布範囲と前記第2属性データとの距離に基づいて算出される、
請求項1に記載の医用情報処理装置。
【請求項4】
前記被検体の属性の種類は複数であり、
前記制御部は、前記被検体の属性が特定の属性であり、当該特定の属性の前記当てはまり度が所定値以下のとき、ユーザへ警告を出す処理、又は、前記学習済みモデルを用いない他の代替処理を行う、
請求項1又は2に記載の医用情報処理装置。
【請求項5】
前記被検体の属性の種類は、年齢、性別、体重、人種、出生地域、生活習慣の種類、及び、血液検査値の少なくとも1つである、
請求項1乃至4のいずれか1項に記載の医用情報処理装置
。
【請求項6】
複数の教師データを学習することで生成された学習済みモデルを用いた処理を行い、
前記学習済みモデルの生成に用いられた前記教師データの学習対象の被検体に関する属性を示す第1属性データを取得し、
診断対象の被検体の属性を示す第2属性データを取得し、
前記第1属性データと前記第2属性データの一致の程度を示す指標である当てはまり度を基に、前記診断対象の入力データに対する処理を制御し、
前記学習済みモデルを用いた処理は、前記診断対象の被検体の医用画像及び生体情報の少なくとも1つを前記学習済みモデルに入力し、前記被検体の推定診断結果を出力する処理であり、
前記診断対象の入力データに対する処理を制御する場合、前記当てはまり度が前記学習済みモデルに当てはまる条件を満たすとき、前記診断対象の被検体の入力データを前記学習済みモデルに入力し、前記学習済みモデルを用いた処理を行
う一方、前記当てはまり度が前記条件を満たさないとき、前記学習済みモデルを用いない他の代替処理を行い、
前記代替処理は、a)前記医用画像をユーザが目視によって診断することを示唆する表示、又は、b)他の医療機関を紹介する表示、に関する処理を含む、
医用情報処理方法。
【請求項7】
複数の教師データを学習することで生成された学習済みモデルを用いた処理を行い、
前記学習済みモデルの生成に用いられた前記教師データの学習対象の被検体に関する属性を示す第1属性データを取得し、
診断対象の被検体の属性を示す第2属性データを取得し、
前記第1属性データと前記第2属性データの一致の程度を示す指標である当てはまり度を基に、前記診断対象の入力データに対する処理を制御し、
前記被検体の属性の種類は複数であり、
前記当てはまり度は、前記被検体の属性の種類毎に算出される複数の前記第1属性データの分布範囲と、前記第2属性データが前記分布範囲の外となる属性の種類の数とに基づいて決まる、
医用情報処理方法
。
【請求項8】
複数の教師データを学習することで生成された学習済みモデルを用いた処理を行うステップと、
前記学習済みモデルの生成に用いられた前記教師データの学習対象の被検体に関する属性を示す第1属性データを取得するステップと、
診断対象の被検体の属性を示す第2属性データを取得するステップと、
前記第1属性データと前記第2属性データの一致の程度を示す指標である当てはまり度を基に、前記診断対象の入力データに対する処理を制御するステップと、
をコンピュータに実行させ、
前記学習済みモデルを用いた処理は、前記診断対象の被検体の医用画像及び生体情報の少なくとも1つを前記学習済みモデルに入力し、前記被検体の推定診断結果を出力する処理であり、
前記診断対象の入力データに対する処理を制御する場合、前記当てはまり度が前記学習済みモデルに当てはまる条件を満たすとき、前記診断対象の被検体の入力データを前記学習済みモデルに入力し、前記学習済みモデルを用いた処理を行
う一方、前記当てはまり度が前記条件を満たさないとき、前記学習済みモデルを用いない他の代替処理を行い、
前記代替処理は、a)前記医用画像をユーザが目視によって診断することを示唆する表示、又は、b)他の医療機関を紹介する表示、に関する処理を含む、
医用情報処理プログラム。
【請求項9】
複数の教師データを学習することで生成された学習済みモデルを用いた処理を行うステップと、
前記学習済みモデルの生成に用いられた前記教師データの学習対象の被検体に関する属性を示す第1属性データを取得するステップと、
診断対象の被検体の属性を示す第2属性データを取得するステップと、
前記第1属性データと前記第2属性データの一致の程度を示す指標である当てはまり度を基に、前記診断対象の入力データに対する処理を制御するステップと、
をコンピュータに実行させ、
前記被検体の属性の種類は複数であり、
前記当てはまり度は、前記被検体の属性の種類毎に算出される複数の前記第1属性データの分布範囲と、前記第2属性データが前記分布範囲の外となる属性の種類の数とに基づいて決まる、
医用情報処理プログラム
。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用情報処理装置、医用情報処理方法、及び医用情報処理プログラムに関する。
【背景技術】
【0002】
今日、医用画像に基づく診断や検査の分野にも、機械学習を用いた技術の適用が進められている。例えば、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、或いは超音波診断装置等のモダリティで被検体を撮像して生成された多数の医用画像を機械学習で学習させる。そして、機械学習によって得られた学習済みモデルに、新たな被検体の医用画像を適用することにより、当該新たな被検体に関する診断や治療等の医用支援情報が得られる。
【0003】
学習済みモデルを生成する過程は学習フェーズと呼ばれ、学習済みモデルを利用する過程は運用フェーズと呼ばれる。なお、学習フェーズは訓練フェーズと呼ばれることがあり、運用フェーズは、利用フェーズ、或いは推論フェーズと呼ばれることもある。
一般に、学習フェーズで用いられるデータ(例えば、医用画像)の数やデータの属性は、生成される学習済みモデルの推定精度に影響を与える。
【0004】
例えば、ある病院で診断を受けた被検体の医用画像を用いて学習するケースを想定する。この場合、当該病院は、老若男女のさまざまな被検体の診断を受け入れるものの、実際には、特定の属性をもつ母集団のみからサンプリングされた被検体の医用画像、例えば、成人日本人の被検体の医用画像のみを用いて学習することで学習済みモデルが生成されることが多い。
【0005】
このような場合、学習に使われていない母集団に属する被検体、例えば、子供や外国人の医用画像を、成人日本人から生成した学習済みモデルに適用することとなり、正しい診断結果(例えば、正しい疾患名)が推定されない可能性がある。つまり、学習フェーズにおいて学習済みモデル生成のために使用した医用画像の被検体の母集団の属性と、運用フェーズで使用する医用画像の被検体の母集団の属性が異なる場合、当該学習済みモデルでは必ずしも正しい診断結果が推定されず、その結果、誤った診断支援情報を提供する可能性がある。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本明細書及び図面に開示の実施形態が解決しようとする課題は、機械学習の学習フェーズで使用したデータの母集団の属性と、運用フェーズで使用するデータの母集団の属性が異なる場合であっても、誤った診断支援情報を提供する可能性を低減することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限らない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0008】
実施形態に係る医用情報処理装置は、処理部と、第1取得部と、第2取得部と、制御部とを備える。処理部は、複数の教師データを学習することで生成された学習済みモデルを用いた処理を行う。第1取得部は、前記学習済みモデルの生成に用いられた前記教師データの学習対象の被検体に関する属性を示す第1属性データを取得する。第2取得部は、診断対象の被検体の属性を示す第2属性データを取得する。制御部は、前記第1属性データと前記第2属性データの一致の程度を示す指標である当てはまり度を基に、前記診断対象の入力データに対する前記処理部における処理を制御する。
【図面の簡単な説明】
【0009】
【
図1】実施形態に係る医用情報処理装置を含む医用情報処理システムの構成例を示す図。
【
図2】実施形態に係る医用情報処理装置の構成例を示すブロック図。
【
図3】実施形態の医用情報処理装置の学習フェーズの動作例を示すフローチャート。
【
図4】学習フェーズの動作概念を説明する第1の図。
【
図5】学習フェーズの動作概念を説明する第2の図。
【
図6】実施形態の医用情報処理装置の運用フェーズの動作例を示すフローチャート。
【
図7】当てはまり度算出方法の第1の具体例を示す図。
【
図8】当てはまり度算出方法の第2の具体例を示す図。
【
図9】判定に用いる属性の種類を選択するための表示画面一例を示す図。
【
図10】学習済みモデルを用いた処理概念を示す図。
【発明を実施するための形態】
【0010】
実施形態に係る医用情報処理装置について、添付図面を参照して説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をするものとして、重複する説明を適宜省略する。
【0011】
図1は、実施形態に係る医用情報処理装置100を含む、医用情報処理システムの一構成例を示す図である。医用情報処理システムは、例えば、病院内において、医用画像を取得し、画像処理し、保存し、利用する、医用画像に関する一連の処理システムである。
【0012】
医用情報処理システムは、患者等の被検体から医用画像を取得するX線CT装置511、MRI装置512、超音波診断装置513などのモダリティ510(即ち、医用画像診断装置510)のほか、画像サーバや、医用情報処理装置100を有している。これらの各装置は、各種のデータや医用画像を授受できるように、例えば病院内ネットワーク500を介して互いに接続されている。医用情報処理装置100は、モダリティ510から出力される医用画像や画像サーバに保存されている医用画像を取得できるほか、図示しない心電計又は脈波計の出力信号、呼吸信号、体動信号などの被検体の生体情報を入力データとして取得することができる。また、医用情報処理装置100は、CT画像を再構成するための投影データや、MRI画像を再構成するためのk空間データ等の生データも、X線CT装置511やMRI装置512から取得することができる。
(医用情報処理装置の構成)
【0013】
図2は、実施形態に係る医用情報処理装置100の構成例を示すブロック図である。医用情報処理装置100は、例えば、ネットワークインターフェース回路10、処理回路20、記憶回路30、入力インターフェース40、及び、ディスプレイ50を備えて構成される。医用情報処理装置100は、例えば、所謂ワークステーション、或いは、高性能パーソナルコンピュータとして構成される。
【0014】
ネットワークインターフェース回路10は、有線又は無線のネットワークを介してデータを入力したり、光ディスクやUSBメモリ等の可搬型記憶媒体を介してデータを入力したりするインターフェース回路である。ネットワークインターフェース回路10は、
図1に示した病院内ネットワーク500を介してデータを入力してもよいし、インターネットや公衆通信回線を介して、当該病院外の医療機関からデータを入力してもよい。
【0015】
記憶回路30は、ROM(Read Only Memory)やRAM(Random Access Memory)の他、HDD(Hard Disk Drive)や光ディスク装置等の外部記憶装置を含む記憶媒体である。記憶回路30は、後述する学習済みモデルや、学習対象被検体の属性データを含む各種の情報やデータを記憶する他、処理回路20が具備するプロセッサが実行する各種のプログラムを記憶する。
【0016】
入力インターフェース40は、例えば、マウス、キーボード、トラックボール、タッチパネル等であり、各種の情報やデータを操作者が入力するための種々のデバイスを含む。
ディスプレイ50は、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ELパネル等の表示デバイスである。
【0017】
処理回路20は、例えば、CPU(Central Processing Unit)や、専用又は汎用のプロセッサを備える回路である。プロセッサは、記憶回路30に記憶した各種のプログラムを実行することによって、後述する各種の機能を実現する。処理回路20は、FPGA(field programmable gate array)やASIC(application specific integrated circuit)等のハードウェアで構成してもよい。これらのハードウェアによっても後述する各種の機能を実現することができる。また、処理回路20は、プロセッサとプログラムによるソフトウェア処理と、ハードウェア処理とを組み合わせて、各種の機能を実現することもできる。
【0018】
また、複数の独立したプロセッサを組み合わせて処理回路20を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、1つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。
(医用情報処理装置の動作)
【0019】
実施形態の医用情報処理装置100は、機械学習によって生成された学習済みモデルを用いて、被検体を撮像した医用画像から当該被検体の診断結果(例えば、疾患名や疾患部位等)を推定するように構成されている。ここでの医用画像は、例えば、モダリティ510で撮像された、或いは、画像サーバに保存されているCT画像、MRI画像、超音波画像等である。一般に、機械学習による処理は、学習によって学習済みモデルを生成する学習フェーズに関する処理と、生成された学習済みモデルを利用する運用フェーズに関する処理とに分けることができる。
【0020】
学習フェーズでは、学習用の入力データとしての多数の学習対象被検体の医用画像と、夫々の医用画像に付された正解データとで構成される教師データを用いた学習、即ち、教師あり学習によって、学習済みモデルを生成する。
【0021】
本実施形態の医用情報処理装置100では、学習フェーズにおいて、学習に使用する教師データとは別に、学習対象被検体の属性データを取得している。詳しくは後述する。
【0022】
一方、運用フェーズでは、診断対象の被検体の入力データとしての医用画像と、当該診断対象被検体の属性データとが医用情報処理装置100に入力され、当該診断対象被検体の疾患名や疾患部位等の推定診断結果が出力される。
【0023】
学習フェーズにおける多数の学習対象被検体の教師データと属性データ、及び、運用フェーズにおける診断対象被検体データと属性データは、医用情報処理装置100のネットワークインターフェース回路10を介して、処理回路20に入力される。
【0024】
実施形態の処理回路20は、
図2に示す各機能、即ち、教師データ取得機能201、学習機能202、第1取得機能203、第2取得機能204、診断対象入力データ取得機能205、当てはまり度算出機能206、適用方法制御機能207、モデル処理機能208、及び、代替処理機能209を実現する。これらの各機能は、例えば、処理回路20が具備するプロセッサが、記憶回路30に記憶される所定のプログラムを実行することによって実現される。
【0025】
上記の各機能について、学習フェーズと運用フェーズに分けて順次説明していく。
図3は、実施形態の医用情報処理装置100の学習フェーズにおける動作例を示すフローチャートである。また、
図4及び
図5は、実施形態の医用情報処理装置100の学習フェーズの動作概念を説明する図である。以下、
図3のフローに沿って、
図4及び
図5を参照しつつ、医用情報処理装置100の各機能の動作をより具体的に説明していく。
【0026】
図3のステップST100で、学習モデルを初期状態に設定する。ステップST100の処理は、例えば、学習機能202が行う。ステップST101では、学習対象の被検体の入力データと正解データとから構成される教師データを取得する。ステップST101の処理は、教師データ取得機能201が行う。
【0027】
ステップST102では、学習対象の被検体の属性データ(即ち、第1属性データ)を取得する。ステップST102の処理は、第1取得機能203が行う。ステップST103では、教師データ取得処理の終了判定を行う。例えば、教師データの数が、学習済みモデルを生成するのに十分ではないと判定した場合は、ステップST101に戻り、教師データと第1属性データの取得を継続する。一方、教師データの数が、学習済みモデルを生成するのに十分であると判定した場合は、ステップST104に進む。
【0028】
なお、上記の例では、教師データの数に基づいて教師データ取得処理を終了するようにしているが、これに替えて、学習モデルの出力の推定誤差や推定精度が所定値以下となったときに教師データ取得処理を終了するようにしてもよい。
【0029】
ステップST104では、取得した複数の教師データに基づいて学習済みモデル300を生成する。そして、ステップST105で、生成した学習済みモデル300を、記憶回路30に保存する。ステップST104及びステップST105の処理は、学習機能202が行う。
【0030】
ステップST106では、ステップST102で取得した第1属性データの集合を、記憶回路30に保存する。ステップST106の処理は、第1取得機能203が行う。
【0031】
図4は、上述した学習フェーズの動作概念を説明する図である。
図4(a)は、学習に用いる複数の教師データの概念を示す図である。教師データは、学習モデルへの入力データと、この入力データに付される正解データとから構成される。学習モデルへの入力データの典型的な例は、CT画像やMRI画像等の医用画像である。一方、正解データの典型的な例は、この医用画像を読影した結果としての医師等の所見データであり、例えば、当該医用画像から判断される疾患名や疾患部位である。
【0032】
図4(a)に示す例では、複数の教師データのとして、学習対象被検体(1)から学習対象被検体(N)までのN人の被検体の医用画像と、これら夫々に対応付けられた疾患名や疾患部位等の正解データとによって、学習済みモデルが生成されることを示している。
【0033】
学習済みモデルを生成するための入力データとして、医用画像に替えて、或いは、医用画像に加えて、心電計から出力される心電信号、脈波計から出力される脈波信号、圧力センサ他の各種センサを用いて計測した呼吸信号や体動信号、などの被検体の生体情報を利用することができる。
【0034】
実施形態の医用情報処理装置100で用いる機械学習アルゴリズム、或いはこれに対応して生成される学習済みモデルの種類は、特に限定するものではなく、種々の手法の機械学習アルゴリズムを採用することができる。例えば、
図4(b)に示唆されるように、多層構造のニューラルネットワークを用いて入力データを分類する機械学習アルゴリズムでもよいし、サポートベクターマシン(SVM)を用いて入力データを分類する機械学習アルゴリズムでもよい。或いは、木構造のモデルを用いた決定木によって入力データを分類する機械学習アルゴリズムでもよいし、複数の決定木の結果を集計して入力データを分類するランダムフォレストの機械学習アルゴリズムでもよい。
【0035】
一方、
図4(c)には、教師データを取得した学習対象被検体(1)~(N)から、教師データとは別に、属性データ(即ち、第1属性データ)が夫々取得されることを示している。ここで、属性データとは、機械学習には使用されなかったデータであって、学習対象被検体の属性を示すデータである。第1属性データは、学習済みモデルの生成に用いられた入力データを提供した複数の学習対象被検体を母集団とするとき、その母集団の特徴を示すデータである。
【0036】
母集団の特徴の種類、即ち、属性データの種類としては様々なものが考えられる。例えば、被検体の年齢、体重、身長、肥満度を示すBMI値、血圧、中性脂肪やコレステロールの指標、肝機能や腎機能の指標を示す各種の血液検査値、尿蛋白等の尿検査値の他、被検体の性別、出生地域、人種等も属性データの種類として考えられる。この他、喫煙や飲酒の習慣の有無やその程度、日々の運動量、食習慣、等々の生活習慣の種類も、属性データの種類として考えることができる。
【0037】
取得した複数の属性データ(第1属性データ)は、
図4(d)、或いは、
図5(b)乃至
図5(d)に示すように、属性データの種類ごとに、夫々の属性の値の頻度、或いは、属性の値の分布を算出することができる。また、取得した複数の属性データから、属性データの種類ごとに、夫々の属性データの値の平均値や標準偏差等の統計量を算出することもできる。
【0038】
例えば、
図5(b)や
図5(c)に例示するように、学習に用いた被検体の母集団の特徴を示すデータとして、複数の学習対象被検体の年齢や体重の分布を、夫々の値の頻度として算出することができる。また、
図5(d)に例示するように、学習に用いた被検体の母集団の特徴を示すデータとして、複数の学習対象被検体の夫々の出生地域を集計することにより、複数の学習対象被検体の出生地域の比率或いは分布を算出することができる。
【0039】
複数の属性データからそれらの種別を分類し、種別ごとに分布を算出する処理、或いは種別ごとに統計量を算出する処理は、
図2に示す第1取得機能203が行ってもよいし、当てはまり度算出機能206が行ってもよい。
【0040】
次に、運用フェーズの動作について説明する。
図6は、実施形態の医用情報処理装置100の運用フェーズにおける動作例を示すフローチャートである。また、
図7乃至
図10は、実施形態の医用情報処理装置100の運用フェーズの動作概念を説明する図である。以下、
図6のフローに沿って、
図7乃至
図10を参照しつつ、医用情報処理装置100の各機能の動作をより具体的に説明していく。
【0041】
ステップST200では、学習済みモデルを取得する。具体的には、学習フェーズで生成し、保存した学習済みモデルを、例えば、記憶回路30から読みだして取得し、学習済みモデルを用いた処理を実行可能な状態にする。ステップST200の処理は、
図2のモデル処理機能208が行う。
【0042】
次に、ステップST201では、学習対象の被検体の属性データ(即ち、第1属性データ)の集合を、例えば、記憶回路30から読み出して取得する。ステップST201の処理は、
図2の当てはまり度算出機能206が行う。ステップST200とステップST201は、運用フェーズの準備段階の処理であり、運用フェーズの実際の処理はステップST202から開始される。
【0043】
まず、ステップST202で、診断対象の被検体の入力データを、ネットワークインターフェース回路10を介して、モダリティ510や画像サーバから取得する。或いは、光ディスクやUSBメモリ等の可搬型記憶媒体に保存された診断対象の被検体の入力データを、ネットワークインターフェース回路10を介して取得してもよい。
【0044】
ステップST202で取得する入力データは、例えば、診断対象被検体を撮像したCT画像、MRI画像、超音波画像といった医用画像であり、学習フェーズにおいて学習済みモデルを生成する際に用いた医用画像と同等若しくは類似のカテゴリの医用画像である。前述したように、学習済みモデルは、医用画像に替えて、或いは、医用画像に加えて、心電信号や呼吸信号などの被検体の生体情報を用いて生成することもできる。この場合、これらの生体情報が、ステップST202で取得する診断対象被検体の入力データとなり得る。ステップST202の処理は、
図2の診断対象入力データ取得機能205が行う。
【0045】
次に、ステップST203で、診断対象被検体の属性データ(即ち、第2属性データ)を取得する。第2属性データは、診断対象被検体の医用画像等の入力データに関連付けられた、診断対象被検体の属性を示すデータである。第2属性データは、前述した第1属性データと同様なカテゴリのデータであり、例えば、診断対象被検体の年齢、体重、身長、肥満度を示すBMI値、血圧や、診断対象被検体の性別、出生地域、人種、或いは、診断対象被検体の、喫煙や飲酒の習慣の有無やその程度、日々の運動量等の生活習慣の種類、等の、診断対象被検体の特徴や属性を示すデータである。ステップST203の処理は、
図2の第2取得機能が行う。
【0046】
次のステップST204では、ステップST201で取得した学習対象被検体の属性データ(第1属性データ)の集合(即ち、複数の第1属性データ)と、ステップST203で取得した診断対象被検体の属性データ(即ち、第2属性データ)とを比較し、第1属性データの集合に対する第2属性データの一致の程度を示す指標である「当てはまり度」を算出する。ステップST204の処理は、
図2の当てはまり度算出機能206が行う。
【0047】
当てはまり度が高いほど、第1属性データの集合に対する第2属性データの一致の程度が高く、診断対象被検体の属性が、学習対象被検体の属性の母集団の分布に含まれる確率が十分に高いことを意味している。逆に、当てはまり度が低いほど、第1属性データの集合に対する第2属性データの一致の程度が低く、診断対象被検体の属性が、学習対象被検体の属性の母集団の分布に含まれる確率が低い、言い換えれば、診断対象被検体の属性が、学習対象被検体の属性の母集団の分布に対して相当量離れていることを意味している。
【0048】
当てはまり度が低い場合、学習済みモデルを生成した被検体の属性と、診断対象被検体の属性が異なることとなり、この結果、この学習済みモデルからは、必ずしも正しい診断推定結果が得られない可能性が生じる。言い換えると、この学習済みモデルから得られる診断推定結果の信頼性が低くなる可能性が出てくる。
【0049】
そこで、実施形態の医用情報処理装置100では、ステップST204で算出した当てはまり度に基づいて、診断対象被検体の入力データの学習済みモデルへの適用方法を制御している。言い換えると、算出した当てはまり度を基に、診断対象の入力データに対する処理を制御する。以下、当てはまり度の算出方法の具体例と、学習済みモデルへの適用方法の具体例をいくつか説明する。
【0050】
図7は、当てはまり度算出方法の第1の具体例を示す図である。
図7では、属性データの種類の例として「年齢」を取り上げている。当てはまり度を算出するステップST204の処理では、ステップST201で取得した学習対象被検体の属性データの集合(即ち、複数の第1属性データ)から、属性の値ごとの頻度(即ち、属性の分布)を算出する。例えば、属性が年齢の場合、
図7(a)及び
図7(b)に例示されるような、横軸が年齢、縦軸が頻度を表す分布が算出される。
【0051】
分布の中心や広がりを示すパラメータとして、年齢の平均mや、標準偏差σを算出してもよい。この場合、平均mや標準偏差σを用いて、m±σや、m±2σを該当する属性の値の分布範囲として見積もることができる。
【0052】
図7に示す例では、当てはまり度を、第1属性データの分布範囲と第2属性データとの距離に基づいて算出するものとしている。例えば、第2属性データの値をXとするとき、標準偏差σに対する、Xと分布の平均mとの差の絶対値(|X-m|)の比(=σ/|X-m|)を、当てはまり度として算出することができる。
【0053】
図6のステップST205では、算出した当てはまり度が、学習モデルに当てはまる条件を満たすか否かを判定する。例えば、算出された当てはまり度を所定値(所定の閾値)と比較して、当てはまり度の大小を判定し、当てはまり度が所定値以上の場合には、当てはまり度が学習モデルに当てはまる条件を満たしていると判定する。
図7の例では、当てはまり度が1以上か否か(σ/|X-m|≧1?)(即ち、第2属性データの値Xが、分布の平均mの±1σの範囲内にあるか否か)、或いは、当てはまり度が(1/2)以上か否か(σ/|X-m|≧1/2?)(即ち、第2属性データの値Xが、分布の平均mの±2σの範囲内にあるか否か)、等の判定が行われる。ステップST205の処理は、
図2の当てはまり度算出機能206が行うが、適用方法制御機能207が行ってもよい。
【0054】
図8は、当てはまり度算出方法の第2の具体例を示す図である。前述した第1の具体例では、特定の属性の種類(例えば、年齢)に着目し、その特定の属性に関して、第1属性データの分布範囲と第2属性データとの距離に基づいて当てはまり度を算出するものとしている。
【0055】
これに対して、当てはまり度算出方法の第2の具体例では、複数の種類の属性に着目する。そして、夫々の属性の種類ごとに第1属性データの分布範囲を算出し、診断対象被検体の属性である第2属性データの値が、上記分布範囲外となる属性の種類の数に基づいて、当てはまり度を算出する。或いは、判定に用いた属性の種類の総数に対する、分布範囲外となる属性の種類の数の比率に基づいて、当てはまり度を算出してもよい。
【0056】
例えば、判定に用いる属性の種類を、「年齢」、「体重」、「身長」、「肥満度」、「血圧」、及び、「血糖値」の6種類とする。この場合において、第2属性データの種類のうち、その値が分布の範囲外となった種類が「年齢」のみの1種類であった場合は、当てはまり度を、例えば、6(=6/1)と算出する一方、その値が分布の範囲外となった種類が「年齢」、「体重」、「身長」の3種類であった場合には、当てはまり度を、例えば、2(=6/3)と算出する。このような算出方法によれば、第2属性データの値が分布の範囲外となる種類の少ない方が、当てはまり度が大きくなる。
【0057】
図9は、判定に用いる属性の種類を選択するための表示画面SC1の一例を示す図である。表示画面SC1はディスプレイ50に表示される。例えば、ユーザが所望の属性にチェックマークを付したのち、「選択」ボタンをクリックすることのより、前述した、判定に用いる属性の種類を設定することができる。
【0058】
当てはまり度は、上述した具体例に限定されるものではなく、種々のものが考えられる。例えば、
図9の表示画面SC1を用いて選択した複数の種類の属性に対して、それぞれ第1属性データの分布範囲と第2属性データとの距離を夫々算出する。そして、算出した距離を、属性の種類に応じた重みで重み付け加算し、重み付け加算した結果に基づいて当てはまり度を算出することができる。
【0059】
この他、例えば、当てはまり度を連続値ではなく2値(0または1)とし、例えば、
図9の表示画面SC1を用いて選択した1つ又は複数の種類の属性うち、第1属性データの分布範囲と第2属性データとの距離が所定値以上離れたものが1つでもあった場合は、当てはまり度を「0」とし、それ以外の場合を当てはまり度「1」としてもよい。
【0060】
また、属性の種類によっては、「性別」、「出生地域」、「人種」のように、そもそも属性の値を連続値として表現できない場合もある。このような場合も、当てはまり度を2値とすることにより、当てはまり度を算出することができる。例えば、属性の種類が「出生地域」の場合、第1属性データの属性値が最も多い値(例えば「日本」)を求め、第2属性データの属性値がこの値と一致するとき(即ち、診断対象被検体の出生地域も「日本」であるとき)に、当てはまり度を「1」とし、不一致のとき(即ち、診断対象被検体の出生地域が例えば「アフリカ」であるとき)は当てはまり度を「0」とするといった手法が考えられる。
【0061】
適用方法制御機能207は、診断対象の入力データに対する処理を制御する。例えば、診断対象の被検体の入力データの学習済みモデル300への適用方法を、当てはまり度に基づいて制御する。学習済みモデル300への適用方法には、診断対象の被検体の入力データを学習済みモデル300に入力する方法も含まれるし、逆に、診断対象の被検体の入力データを、学習済みモデル300を用いない他の代替処理で処理する方法も含まれる。
【0062】
ステップST205で、算出された当てはまり度が所定値以上であると判定された場合、ステップST206に進み、通常の機械学習アルゴリズムが実行される。ステップST206の処理は、
図2の適用方法制御機能207、及び、モデル処理機能208が行う。即ち、算出された当てはまり度が所定値以上であると判定された場合、適用方法制御機能207は、診断対象被検体の入力データを学習済みモデル300で処理するのが適切であると判断し、診断対象被検体の入力データをモデル処理機能208に引き渡す。そして、モデル処理機能208は、診断対象被検体の入力データを学習済みモデル300に入力し、学習済みモデル300を用いた処理を行う。
【0063】
図10は、学習済みモデル300を用いた処理概念を示す図である。
図10に示すように、診断対象の被検体の入力データ、例えば、診断対象被検体のCT画像が学習済みモデル300に入力され、当該被検体の推定疾患名や推定疾患部位等の推定診断結果が、学習済みモデル300から出力される。学習済みモデル300から出力された診断推定結果は、ステップST208において、本装置(医用情報処理装置100から出力される。例えば、推定診断結果は、例えば、ディスプレイ50に表示され、医師等による最終的な診断を支援する。
【0064】
一方、
図6には明示していないが、ST205において、算出された当てはまり度が所定値未満であると判定された場合、その旨を示す警告情報を出力してもよい。警告情報は、ディスプレイ50に表示してもよいし、音声情報等でユーザに警告するようにしてもよい。警告情報を出力した後、ステップST206に進み通常の機械学習アルゴリズムを実行してもよい。
【0065】
また、ST205において算出された当てはまり度が所定値未満であると判定された場合、警告情報を出した後ステップST208に進んでもよいし、或いは、警告情報を出すことなく、ステップST208に進んでもよい。
【0066】
ステップST208では、学習済みモデルを用いない代替処理を行う。ステップST208の処理は、
図2の適用方法制御機能207、及び、代替処理機能209が行う。
【0067】
学習済みモデルを用いない代替処理には、機械学習に基づかない公知のコンピュータ支援診断を行う処理が含まれる。この場合の代替処理、即ち、機械学習に基づかない公知のコンピュータ支援診断を行う処理は、
図2の代替処理機能209が行う。代替処理の結果は、ステップST209で、本装置から出力される。例えば、代替処理の結果がディスプレイ50に表示される。
【0068】
また、代替処理として、本装置で処理可能な、機械学習に基づかない公知のコンピュータ支援診断(CAD)方法のいくつかをディスプレイ50に表示させ、その中からユーザに選択させるようにしてもよい。
この他、代替処理として、医用画像をユーザが目視によって診断することを促す表示や、他の医療機関を紹介する表示、を行ってもよい。
【0069】
学習済みモデルを生成したときの被検体の母集団の属性と、診断対象の被検体の属性とが異なる場合、学習済みモデルを用いた推定では、正しい診断結果が得られない可能性がある。これに対して、本実施形態の医用情報処理装置100では、学習済みモデルの生成に用いた母集団の属性に対する、診断対象被検体の属性の一致の程度を示す指標である当てはまり度を算出し、この当てはまり度が所定値未満の場合は、ユーザに対して警告情報を提示する、或いは、学習済みモデルを用いない他の代替処理を提供するものとしている。この結果、本実施形態の医用情報処理装置100は、機械学習の学習フェーズで使用したデータの母集団の属性と、運用フェーズで使用するデータの母集団の属性が異なる場合であっても、誤った診断支援情報を提供する可能性を低減することができる。
【0070】
ここまで説明してきた医用情報処理装置100は、
図2に示したように、学習フェーズの処理機能と、運用フェーズの処理機能の双方を有している。つまり、医用情報処理装置100が、学習済みモデルを生成する機能を有している。これに対して、実施形態の医用情報処理装置100が、本装置以外で生成された学習済みモデルを外部から取得し、実質的には、運用フェーズの機能だけを有するように構成してもよい。この場合、実施形態の医用情報処理装置100は、外部から学習済みモデルを取得すると共に、この学習済みモデルの生成に用いられた、学習対象被検体の属性データの集合を取得することで、上述した技術的効果を得ることができる。
【0071】
また、ここまでは、被検体の医用画像や生体情報等を学習済みモデルに入力し、当該被検体の疾患名や疾患部位を推定する処理について説明してきたが、実施形態の医用情報処理装置100が行う処理はこれに限定されない。例えば、CT画像を再構成するための投影データや、MRI画像を再構成するためのk空間データ等の生データを入力とし、これらの生データから再構成画像を出力するような学習済みモデルを、機械学習によって生成することも可能である。このような学習済みモデルを学習フェーズで生成し、運用フェーズでは、診断対象の被検体の撮像生データを学習済みモデルに入力することで、診断対象の被検体の再構成画像を出力することが可能となる。このような再構成処理においても、学習フェーズの生データを提供した学習対象被検体の母集団の属性と、診断対象被検体の属性とが異なった場合には、画質の悪い再構成画像が生成される可能性がある。そこで、上述した実施形態の特徴を採用し、学習対象被検体の母集団の属性と、診断対象被検体の属性とが異なった場合には、機械学習による再構成処理に替えて、例えば従来の公知の再構成処理を代替処理として実行することにより、再構成画像の画質の劣化を防ぐことができる。
【0072】
なお、各実施形態の記載におけるモデル処理機能、第1取得機能、第2取得機能、当てはまり度算出機能、及び、適用方法制御機能は、夫々、特許請求の範囲の記載における処理部、第1取得部、第2取得部、算出部、及び、制御部の一例である。
【0073】
以上説明した少なくとも1つの実施形態によれば、機械学習の学習フェーズで使用したデータの母集団の属性と、運用フェーズで使用するデータの母集団の属性が異なる場合であっても、誤った診断支援情報を提供する可能性を低減することができる。
【0074】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0075】
10 ネットワークインターフェース回路
20 処理回路
30 記憶回路
40 入力インターフェース
50 ディスプレイ
201 教師データ取得機能
202 学習機能
203 第1取得機能
204 第2取得機能
205 診断対象入力データ取得機能
206 当てはまり度算出機能
207 適用方法制御機能
208 モデル処理機能
209 代替処理機能
300 学習済みモデル