(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024062089
(43)【公開日】2024-05-09
(54)【発明の名称】医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システム
(51)【国際特許分類】
G16H 30/00 20180101AFI20240430BHJP
【FI】
G16H30/00
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022169865
(22)【出願日】2022-10-24
(71)【出願人】
【識別番号】598121341
【氏名又は名称】慶應義塾
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】白石 泰之
(72)【発明者】
【氏名】勝俣 良紀
(72)【発明者】
【氏名】後藤 信一
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
【課題】心不全の程度を安定的に判断することである。
【解決手段】実施形態に係る医用情報処理装置は、取得部と、判定部と、出力制御部とを備える。取得部は、第1対象者の頸部が撮像された第1画像情報を取得する。判定部は、複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成する。出力制御部は、前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1対象者の頸部が撮像された第1画像情報を取得する取得部と、
複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成する判定部と、
前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力する出力制御部と
を備える、医用情報処理装置。
【請求項2】
前記取得部は、前記第1画像情報として、所定期間の動画像を含む第1動画像情報を取得する、
請求項1に記載の医用情報処理装置。
【請求項3】
前記判定部は、
複数の第2対象者それぞれの頸部が撮像された所定期間の動画像を含む第2動画像情報と、前記複数の第2対象者それぞれの前記健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1動画像情報を入力することで、前記第1対象者の前記判定結果を生成する、
請求項2に記載の医用情報処理装置。
【請求項4】
前記所定期間は、少なくとも1心拍を含む期間である、
請求項2又は3に記載の医用情報処理装置。
【請求項5】
前記所定期間は、1秒以上3秒未満である、
請求項2又は3に記載の医用情報処理装置。
【請求項6】
前記所定期間は、1.5秒以上2.5秒未満である、
請求項5に記載の医用情報処理装置。
【請求項7】
前記取得部は、前記第1画像情報として、静止画像に対応する第1静止画像情報を取得する、
請求項1に記載の医用情報処理装置。
【請求項8】
前記判定部は、複数の第2対象者の頸部が撮像された静止画像に対応する第2静止画像情報と、前記第2静止画像情報の撮影時の心時相を示す第2心時相情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1静止画像情報及び前記第1静止画像情報の撮影時の心時相を示す第1心時相情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成する、
請求項7に記載の医用情報処理装置。
【請求項9】
前記判定部は、更に、複数の第3対象者の頸部が撮像された静止画像に対応する第3静止画像情報と、前記第3静止画像情報の撮影時の心時相を示す第3心時相情報とを用いて機械学習された学習済みモデルに対して、前記第1静止画像情報を入力することで、前記第1心時相情報を生成する、
請求項8に記載の医用情報処理装置。
【請求項10】
前記判定部は、前記判定結果として、前記第1対象者の心不全の状態をスコアで表した心不全状態スコアを出力する、
請求項1に記載の医用情報処理装置。
【請求項11】
出力制御部は、前記支援情報として、判定結果に応じて治療を行うための情報、判定結果に応じて生活を指導するための情報、判定結果に応じて運動を指導するための情報、判定結果に応じて薬剤の調整を行うための情報、及び、判定結果に応じて精神状態を確認するための情報のうち少なくとも一つを出力する、
請求項1に記載の医用情報処理装置。
【請求項12】
出力制御部は、前記支援情報として、前記判定結果を出力する、
請求項1に記載の医用情報処理装置。
【請求項13】
前記判定部は、前記第1対象者の前記判定結果の経時的な変化に基づいて、前記第1対象者の将来の健康状態に関する将来状態情報を判定する、
請求項1に記載の医用情報処理装置。
【請求項14】
前記複数の第2対象者の前記第2画像情報と、前記複数の第2対象者の健康状態情報とを用いた機械学習によって、前記学習済みモデルを生成する学習部を更に備える、
請求項1に記載の医用情報処理装置。
【請求項15】
前記学習部は、前記機械学習として、3次元畳み込みニューラルネットワークを用いた学習を行うことで、前記学習済みモデルを生成する、
請求項14に記載の医用情報処理装置。
【請求項16】
第1対象者の頸部が撮像された第1画像情報を取得し、
複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成し、
前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力する
ことを含む、医用情報処理方法。
【請求項17】
第1対象者の頸部が撮像された第1画像情報を取得し、
複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成し、
前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力する
各処理をコンピュータに実行させる、医用情報処理プログラム。
【請求項18】
第1対象者の頸部が撮像された第1画像情報を取得する取得部と、
複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成する判定部と、
前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力する出力制御部と
を備える、医用情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システムに関する。
【背景技術】
【0002】
心不全診療では、病歴聴取や身体診察などから重症度、病態、予後などに関する様々な情報を得ることができる。例えば、心不全の身体所見の一つとして、頸静脈怒張が知られている。
【0003】
頸静脈怒張は、右内頸静脈の拍動範囲が上方向(頭部方向)に拡大する身体所見である。例えば、頸静脈怒張の観察は、ベッドを45度起こした状態で行われる。医師は、この状態で右頸静脈の拍動を観察し、その拍動の上端と右胸骨角との間の垂直距離を計測する。この距離に「5cm」を足した値が内頸静脈圧に相当すると考えられている。例えば、熟練した医師であれば、対象者(患者)の右頸静脈の拍動の様子を全体的に観察しただけで、対象者の重症度、病態、予後などをある程度把握することができる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Shinichi Goto,Mai Kimura,Yoshinori Katsumata,Shinya Goto,Takashi Kamatani,Genki Ichihara,Seien Ko,Junichi Sasaki,Keiichi Fukuda,Motoaki Sano. “Artificial intelligence to predict needs for urgent revascularization from 12-leads electrocardiography in emergency patients” PLOS ONE | https://doi.org/10.1371/journal.pone.0210103 January 9, 2019.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、頸静脈怒張は、患者の体格によって所見の現れ方に違いが生じる場合がある。また、観察者(例えば医師)の力量によって所見の見え方に違いが生じる場合がある。このため、頸静脈怒張の診察に基づく心不全の程度の判断にはバラツキが生じ易く、安定的に判断することは難しい。
【0006】
本発明が解決しようとする課題は、心不全の程度を安定的に判断することである。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、第1対象者の頸部が撮像された第1画像情報を取得する取得部と、複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成する判定部と、前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力する出力制御部とを備える、医用情報処理装置である。
【0008】
また、本発明は、第1対象者の頸部が撮像された第1画像情報を取得し、複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成し、前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力することを含む、医用情報処理方法である。
【0009】
また、本発明は、第1対象者の頸部が撮像された第1画像情報を取得し、複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成し、前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力する各処理をコンピュータに実行させる、医用情報処理プログラムである。
【0010】
また、本発明は、第1対象者の頸部が撮像された第1画像情報を取得する取得部と、複数の第2対象者の頸部が撮像された第2画像情報と、前記複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第1画像情報を入力することで、前記第1対象者の健康状態に関する判定結果を生成する判定部と、前記判定結果に基づいて、前記第1対象者の心不全の程度の判断を支援する支援情報を出力する出力制御部とを備える、医用情報処理システムである。
【発明の効果】
【0011】
本発明によれば、心不全の程度を安定的に判断することが可能となる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、第1の実施形態に係る医用情報処理装置の構成例を示す図である。
【
図2】
図2は、第1の実施形態に係る医用情報処理装置により行われる学習時及び運用時の処理を示す図である。
【
図3】
図3は、第1の実施形態に係る医用情報処理装置における学習時の処理手順を示すフローチャートである。
【
図4】
図4は、第1の実施形態に係る学習部の処理を説明するための図である。
【
図5】
図5は、第1の実施形態に係る学習部の処理を説明するための図である。
【
図6】
図6は、第1の実施形態に係る医用情報処理装置における運用時の処理手順を示すフローチャートである。
【
図7】
図7は、第1の実施形態に係る出力制御部の処理を説明するための図である。
【
図8】
図8は、第1の実施形態に係る出力制御部の処理を説明するための図である。
【
図9】
図9は、第1の実施形態に係る医用情報処理装置による効果を説明するための図である。
【
図10】
図10は、第1の実施形態の変形例に係る判定部の処理を説明するための図である。
【
図11】
図11は、第2の実施形態に係る医用情報処理装置により行われる学習時及び運用時の処理を示す図である。
【
図12】
図12は、第2の実施形態の変形例に係る医用情報処理装置により行われる学習時及び運用時の処理を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して、実施形態に係る医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システムを説明する。なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用可能である。
【0014】
(第1の実施形態)
図1を用いて、第1の実施形態に係る医用情報処理装置100の構成例を説明する。
図1は、第1の実施形態に係る医用情報処理装置100の構成例を示す図である。なお、
図1の構成例はあくまで一例であり、実施形態は図示の内容に限定されるものではない。
【0015】
図1において、医用情報処理装置100は、医師や患者等のユーザ(利用者)が操作する情報処理装置である。情報処理装置は、例えば、パーソナルコンピュータ、ワークステーション、サーバ装置等が挙げられる。医用情報処理装置100は、病院や診療所等の医療機関や、心不全の程度に関する判定結果を出力するサービスを提供する者(例えば企業など)の管轄区域に設置されるのが好適である。また、利用者は、例えば、医療機関に勤務する医療従事者(医師など)や患者、患者を介助する介助者等を含む。
【0016】
医用情報処理装置100は、入力部101、出力部102、通信部103、記憶部104、及び処理部110を備える。入力部101、出力部102、通信部103、記憶部104、及び処理部110は、互いに接続される。
【0017】
入力部101は、医用情報処理装置100のユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理部110に出力する電子機器である。例えば、入力部101は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。
【0018】
出力部102は、各種の情報を出力する電子機器である。例えば、出力部102は、情報を画像として出力するディスプレイ、音声として出力するスピーカ、振動パターンとして出力するバイブレータ等により実現される。
【0019】
通信部103は、医用情報処理装置100と外部装置との間で行われる通信を制御する電子機器である。例えば、通信部103は、撮影装置103aと任意の通信方式によって接続され、撮影装置103aとの間で各種の情報の送受信を行う。通信部103は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
【0020】
ここで、撮影装置103aは、可視光により視認可能な光学画像(カメラ画像)を撮像(撮影)する装置である。例えば、撮影装置103aは、光学画像を撮影可能なカメラモジュールを搭載したスマートフォンや、光学画像を撮影可能なカメラに対応する。
【0021】
例えば、撮影装置103aは、対象者の頸部が撮像された画像情報(光学画像)を撮像(撮影)する。ここで、対象者は、主に心不全の患者であるが、例えば、心不全が疑われる者(健常者)や、心不全の検査を希望する者(健常者)であってもよい。また、画像情報は、所定期間の動画像を含む動画像情報と、静止画像に対応する静止画像情報とを含む。
【0022】
具体的には、撮影装置103aは、対象者の頸静脈を含む領域を撮像する。この頸静脈を含む領域は、頸静脈怒張を観察可能な領域に対応する。ここで、頸静脈怒張は、右内頸静脈の拍動範囲が上方向(頭部方向)に拡大する身体所見である。例えば、頸静脈怒張は、対象者をベッドに仰向けに寝かせ、上半身を45度起こした状態で観察される。また、頸静脈怒張は、右内頸静脈が頸部の右側に位置することから、対象者の略右側から観察される。より具体的には、頸静脈怒張は、右頸部を含む領域のうち、右胸骨角と右下顎角との間の領域で観察される。なお、「略右側」と記載したのは、対象者の真横から寸分違わぬ方向に限定されるものではなく、頸静脈怒張を観察可能な範囲内でずれてもよいことを示す意図である。また、頸静脈怒張は、対象者の頸部の皮膚の上から観察可能であるので、透視画像(例えばX線画像など)である必要はない。
【0023】
つまり、利用者は、撮影装置103aを用いて対象者の略右側から対象者の頸静脈を含む領域を撮像する。そして、利用者は、撮影装置103aによって撮像された画像情報を医用情報処理装置100へ送信する。なお、医用情報処理装置100への画像情報の送信は、自動的に行われてもよい。また、利用者が対象者自身である場合には、固定したカメラで撮像したり、スマートフォン等のインカメラで撮像したりするのが好適である。
【0024】
なお、撮影装置103aは、必ずしも医用情報処理装置100に接続されなくともよい。例えば、撮影装置103aによって撮像された画像情報は、DVD(Digital Versatile Disc)等、任意の可搬性記録媒体を介して医用情報処理装置100に格納されてもよい。
【0025】
また、第1の実施形態では、画像情報が、所定期間の動画像を含む動画像情報である場合を説明するが、本発明はこれに限定されるものではない。例えば、画像情報は、静止画像に対応する静止画像情報であってもよい。なお、第1の実施形態では、処理対象が静止画像情報である場合については、後述する。
【0026】
記憶部104は、各種の情報を記憶する電子機器である。例えば、記憶部104は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。また、記憶部104は、処理部110がその機能を実現するためのプログラムを記憶する。
【0027】
処理部110は、各種の情報処理機能を備えた電子機器(プロセッサ)である。例えば、処理部110は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路によって実現される。
【0028】
例えば、処理部110は、取得部111、学習部112、判定部113、及び出力制御部114を備える。取得部111、学習部112、判定部113、及び出力制御部114の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶部104に記憶されている。処理部110は、各処理機能に対応するプログラムを記憶部104から読み出して実行することで、各プログラムに対応する処理機能を実現することができる。なお、処理部110の各処理機能については、
図3を用いて後述する。
【0029】
なお、
図1に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、医用情報処理装置100は、病院や診療所等の医療機関や、心不全の程度に関する判定結果を出力するサービスを提供する者(例えば企業など)の管轄区域に限らず、例えば対象者の自宅など、任意の場所に設置可能である。また、医用情報処理装置100は、後述する学習済みモデルが動作可能な処理能力を備えていれば、スマートフォンやタブレットなど、任意の情報処理装置であっても良い。
【0030】
また、例えば、処理部110が備える取得部111、学習部112、判定部113、及び出力制御部114の各処理機能は、互いに統合・分散することができる。また、処理部110が備える取得部111、学習部112、判定部113、及び出力制御部114のうち一部の処理機能を、医用情報処理装置100とは別体として設けられた医用情報処理装置にて実行することも可能である。つまり、取得部111、学習部112、判定部113、及び出力制御部114の各処理機能は、複数の医用情報処理装置にて分散的に実行される医用情報処理システムとして実現することも可能である。
【0031】
次に、
図2を用いて、第1の実施形態に係る医用情報処理装置100により行われる学習時及び運用時の処理を説明する。
図2は、第1の実施形態に係る医用情報処理装置100により行われる学習時及び運用時の処理を示す図である。
【0032】
図2の上段に示すように、学習時には、医用情報処理装置100は、例えば、対象者S-1~S-Nの動画像情報及び健康状態情報を学習用データ(訓練用データ)として用いて機械学習を行う。ここで、対象者S-1~S-Nの動画像情報は、例えば、撮影装置103aによって撮像される動画像情報である。また、対象者S-1~S-Nの健康状態情報は、例えば、右房圧(Right Atrial Pressure:RAP)である。右房圧とは、心不全(右心不全)の指標の一つであり、心臓の右心房にかかる血圧に対応する。右房圧は、例えば、心臓カテーテル検査によって測定される。
【0033】
つまり、医用情報処理装置100は、この機械学習により、対象者の動画像情報の入力により、健康状態情報(例えば、右房圧を示す情報)を判定結果として出力する学習済みモデルを構築する。この学習済みモデルは、記憶部104に格納される。
【0034】
そして、
図2の下段に示すように、運用時には、医用情報処理装置100は、対象者Xの動画像情報を、学習時に構築した学習済みモデルに対して入力することで、学習済みモデルに対象者Xの判定結果を出力させる。そして、医用情報処理装置100は、学習済みモデルから出力された対象者Xの判定結果、つまり、対象者Xの健康状態情報をユーザに提示する。なお、ユーザに提示される健康状態情報は、右房圧そのものを示す値であってもよいし、右房圧に基づくスコアなどであってもよい。
【0035】
なお、
図2に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、
図2では、健康状態情報として右房圧を利用する場合を説明したが、実施形態はこれに限定されるものではない。例えば、健康状態情報としては、下大静脈(Inferior Vena Cava:IVC)径や内頸静脈圧等、他の心不全の指標であってもよいし、複数の心不全の指標を任意に組み合わせてもよい。なお、IVC径は、例えば、超音波検査によって測定される。また、内頸静脈圧は、例えば、医師の目視による頸静脈怒張の上端と右胸骨角との間の距離に「5cm」を加算することで計測(概算)される。つまり、健康状態情報は、対象者Xの心不全の程度に関する情報を含む。
【0036】
また、第1の実施形態では、心不全の程度を機械学習により判定するために、心不全の指標を用いて学習済みモデルを構築する場合を説明するが、本発明はこれに限定されるものではない。例えば、脳卒中、心筋梗塞、及び不整脈などの他の心血管疾患を機械学習による判定するために、他の心血管疾患に関する指標が健康状態情報として用いられてもよい。
【0037】
以下、第1の実施形態に係る医用情報処理装置100の各処理機能について説明する。以下では先ず、学習済みモデルを生成する学習時の処理について説明し、次に、学習済みモデルを用いて判定結果を出力する運用時の処理について説明する。
【0038】
なお、以下の実施形態において、対象者S-1~S-N、及び対象者Xは、典型的には心不全の患者であるが、これに限定されるものではない。例えば、対象者S-1~S-N、及び対象者Xは、心不全が疑われる者(健常者)や、心不全の検査を希望する者(健常者)を含んでいてもよい。
【0039】
また、以下の実施形態では、学習時における対象者S-1~S-Nと、運用時における対象者Xとを書き分けて説明する。対象者Xは、基本的には対象者S-1~S-Nとは別の人物であるが、対象者S-1~S-Nのうちいずれかと同一人物であってもよい。なお、対象者Xは、第1対象者とも記載する。対象者S-1~S-Nは、第2対象者とも記載する。
【0040】
図3を用いて、第1の実施形態に係る医用情報処理装置100における学習時の処理手順を説明する。
図3は、第1の実施形態に係る医用情報処理装置100における学習時の処理手順を示すフローチャートである。
図3に示す処理は、例えば、機械学習を開始する旨の指示をユーザから受け付けた場合に開始される。
【0041】
図3に示すように、医用情報処理装置100において、処理部110は、処理タイミングか否かを判定する(ステップS101)。例えば、処理部110は、機械学習を開始する旨の指示をユーザから受け付けた場合に、処理タイミングであると判定する(ステップS101,Yes)。なお、機械学習を開始する旨の指示をユーザから受け付けるまでは、処理タイミングでないと判定し(ステップS101,No)、処理部110は、ステップS102以降の処理を実行せず、待機状態である。
【0042】
処理タイミングであると判定した場合(ステップS101,Yes)、取得部111は、対象者S-1~S-Nそれぞれの動画像情報及び健康状態情報を記憶部104から読み出す(ステップS102)。具体的には、取得部111は、対象者S-1~S-Nそれぞれについて、動画像情報と、健康状態情報とを記憶部104から読み出す。なお、取得部111によって読み出される各種の情報(動画像情報及び健康状態情報)は、予め記憶部104に記憶されている。
【0043】
続いて、学習部112は、動画像情報及び健康状態情報を学習用データとした機械学習によって学習済みモデルを生成する(ステップS103)。具体的には、学習部112は、対象者S-1~S-Nそれぞれの動画像情報と、健康状態情報とを用いて機械学習を行い、学習済みモデルを生成する。
【0044】
図4及び
図5を用いて、第1の実施形態に係る学習部112の処理を説明する。
図4及び
図5は、第1の実施形態に係る学習部112の処理を説明するための図である。
【0045】
図4に示すように、動画像情報は、各対象者の頸部の右側が撮影された所定期間の動画データである。具体的には、
図4の破線領域に示すように、動画像情報は、各対象者の右頸部を含む領域のうち、右胸骨角と右下顎角との間の領域を含む。ここで、所定期間は、少なくとも1心拍を含む期間(撮影時間)であるのが好適である。具体的には、所定期間は、1秒以上3秒未満であるのが好適であり、1.5秒以上2.5秒未満であるのが更に好適である。
【0046】
また、各対象者の動画像情報の撮影時間、フレームレート、及び画素数(解像度)等の情報は、互いに異なっていてもよい。また、各対象者の動画像情報の撮影が開始された心時相(撮影開始時相)も、互いに異なっていてもよい。つまり、各対象者の動画像情報の撮影開始時相は、拡張期や収縮期など、様々な心時相であってよい。
【0047】
そして、学習部112は、各対象者の動画像情報に対して、健康状態情報に基づくラベリングを行う。例えば、学習部112は、対象者S-1の右房圧が8[cmH2O]以上であった場合には、対象者S-1の動画像情報に対して「1」をラベリングする。また、学習部112は、対象者S-2の右房圧が8[cmH2O]未満であった場合には、対象者S-2の動画像情報に対して「0」をラベリングする。なお、一般的に、右房圧が8[cmH2O]以上である場合には、頸静脈怒張が認められると診断される。
【0048】
このように、学習部112は、それぞれの対象者S-1~S-Nについて、動画像情報に対して、健康状態情報に基づくラベリングを行う。そして、学習部112は、ラベリングされた動画像情報を用いて機械学習を行って、学習済みモデルを生成する。なお、対象者S-1~S-Nには、様々な体格の患者が含まれるのが好適である。
【0049】
例えば、学習部112は、
図5に示す学習モデルを用いて機械学習を行う。
図5において、「3D-CNN」は、3次元の情報を解析する学習モデルであり、3次元畳み込みニューラルネットワークに対応する。3次元畳み込みニューラルネットワークは、動画像情報を、画像平面における「縦方向」及び「横方向」に加え、撮影時間に沿った「時間方向」を含む3次元の情報として扱うことにより、動画像情報から特徴を抽出する。「Pooling」は、3D-CNNによって抽出された特徴を整理するプーリング処理に対応する。「Fully connected」は、全結合層に対応する。つまり、学習部112は、機械学習として、3次元畳み込みニューラルネットワークを用いた学習を行うことで、学習済みモデルを生成する。
【0050】
このように、学習部112は、対象者S-1~S-Nの動画像情報と、対象者S-1~S-Nの健康状態情報とを用いた機械学習によって、学習済みモデルを生成する。この結果、動画像情報に描出される頸静脈怒張の画像的な特徴と、右房圧の値に基づく頸静脈怒張の有無とが対応づけられる。
【0051】
なお、
図4及び
図5に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、
図5に示した学習モデルの種類、数、及び順序については、任意に変更可能である。また、3D-CNNにおけるカーネルサイズは、任意に変更可能である。また、学習用データとして利用される健康状態情報は、右房圧に基づくラベリングに限定されるものではない。例えば、健康状態情報は、IVC径や内頸静脈圧等、他の心不全の指標に基づくラベリングであってもよい。また、「0」及び「1」以外の値を含む複数段階のラベリングや、右房圧の値そのものを学習用データとして利用することも可能である。
【0052】
図3の説明に戻る。学習部112は、学習済みモデルを記憶部104に格納する(ステップS104)。記憶部104に格納された学習済みモデルは、任意のタイミングで読み出され、利用可能である。また、学習済みモデルは、医用情報処理装置100とは別体で設けられた任意の医用情報処理装置に転送・格納することで、転送先の医用情報処理装置においても利用可能である。
【0053】
図6を用いて、第1の実施形態に係る医用情報処理装置100における運用時の処理手順を説明する。
図6は、第1の実施形態に係る医用情報処理装置100における運用時の処理手順を示すフローチャートである。
図6に示す処理は、例えば、支援情報を表示する旨の指示をユーザから受け付けた場合に開始される。
【0054】
図6に示すように、医用情報処理装置100において、処理部110は、処理タイミングか否かを判定する(ステップS201)。例えば、処理部110は、支援情報を表示する旨の指示をユーザから受け付けた場合に、処理タイミングであると判定する(ステップS201,Yes)。なお、支援情報を表示する旨の指示をユーザから受け付けるまでは、処理タイミングでないと判定し(ステップS201,No)、処理部110は、ステップS202以降の処理を実行せず、待機状態である。
【0055】
処理タイミングであると判定した場合(ステップS201,Yes)、取得部111は、対象者Xの頸部が撮像された動画像情報を記憶部104から読み出す(ステップS202)。例えば、取得部111は、対象者Xの動画像情報を記憶部104から読み出すことで取得する。
【0056】
なお、対象者Xの動画像情報は、リアルタイムで計測された情報であってもよいし、予め撮像された動画像情報であってもよい。また、ここで読み出される動画像情報の各種条件(撮影時間、撮影開始時相、フレームレート、及び画素数など)は、学習用データで用いた動画像情報の各種条件と必ずしも同一条件でなくてもよい。
【0057】
続いて、判定部113は、対象者Xの動画像情報を学習済みモデルに入力することで、対象者Xの健康状態情報を判定する(ステップS203)。例えば、判定部113は、記憶部104から学習済みモデルを読み出す。そして、判定部113は、読み出した学習済みモデルに対して、取得部111によって取得された対象者Xの動画像情報を入力することで、対象者Xの健康状態情報についての判定結果を学習済みモデルに出力させる。具体的には、学習済みモデルは、入力された対象者Xの動画像情報が、「0」がラベリングされた動画像情報に類似するか、「1」がラベリングされた動画像情報に類似するかを判定し、判定結果として「0」又は「1」を出力する。その後、判定部113は、学習済みモデルから出力された判定結果を出力制御部114へ送る。
【0058】
ここで、判定結果「1」は、対象者Xの動画像情報が、右房圧が8[cmH2O]以上であった対象者の動画像情報に類似することを示す。また、判定結果「0」は、対象者Xの動画像情報が、右房圧が8[cmH2O]未満であった対象者の動画像情報に類似することを示す。言い換えると、判定部113は、対象者Xの右房圧が8[cmH2O]以上であるか否かを判定する。
【0059】
なお、判定結果は、必ずしも対象者Xの右房圧が8[cmH2O]以上であるか否かのみを示すものでなくてもよい。例えば、複数段階のラベリングや右房圧の値そのものが学習用データとして利用されていた場合には、複数段階のラベリングや右房圧の値そのものを判定結果として出力することができる。また、これを利用して、例えば、心不全の状態を「0」から「100」のスコア(評価値)で表した「心不全状態スコア」を判定結果として出力することも可能である。つまり、判定部113は、判定結果として、対象者Xの心不全の状態をスコアで表した心不全状態スコアを生成する。
【0060】
そして、出力制御部114は、対象者Xの健康状態情報(判定結果)に基づいて、支援情報を生成する(ステップS204)。例えば、出力制御部114は、対象者Xの判定結果に応じたメッセージを示す情報を生成する。
【0061】
図7を用いて、第1の実施形態に係る出力制御部114の処理を説明する。
図7は、第1の実施形態に係る出力制御部114の処理を説明するための図である。
図7には、心不全状態スコアに応じた支援情報が記憶されたテーブルT10を例示する。なお、テーブルT10は、例えば、記憶部104に予め記憶されている。
【0062】
図7に示すように、テーブルT10は、心不全状態スコアと、支援情報とが対応付けられた情報である。心不全状態スコアとしては、例えば、「0~30」、「30~70」、及び「70~100」というスコアの範囲が格納される。支援情報としては、例えば、「現状を維持しましょう。」、「適度な運動を心がけましょう。」、及び「水分、塩分の摂取量に注意しましょう。」などのメッセージを示す情報が格納される。
【0063】
例えば、心不全状態スコアが「15」である場合には、出力制御部114は、テーブルT10を参照し、心不全状態スコア「15」に対応する支援情報「現状を維持しましょう。」を読み出す。また、例えば、心不全状態スコアが「45」である場合には、出力制御部114は、テーブルT10を参照し、心不全状態スコア「45」に対応する支援情報「適度な運動を心がけましょう。」を読み出す。また、例えば、心不全状態スコアが「80」である場合には、出力制御部114は、テーブルT10を参照し、心不全状態スコア「80」に対応する支援情報「水分、塩分の摂取量に注意しましょう。」を読み出す。
【0064】
このように、出力制御部114は、テーブルT10から対象者Xの健康状態情報(判定結果)に対応する支援情報を読み出すことで、支援情報を生成する。
【0065】
なお、
図7に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、
図7に示したメッセージ内容は支援情報の一例であるが、これに限定されるものではない。支援情報としては、判定結果に応じて治療(食事、水分摂取など)を行うための情報、判定結果に応じて生活を指導するための情報、判定結果に応じて運動(運動量や運動時間)を指導するための情報、判定結果に応じて薬剤の調整を行うための情報、及び、判定結果に応じて精神状態を確認するための情報のうち少なくとも一つを任意に設定し、テーブルT10に予め登録しておくことができる。
【0066】
また、判定結果をそのまま支援情報として出力することも可能である。例えば、出力制御部114は、支援情報として、対象者Xの右房圧が8[cmH2O]以上であるか否かを示す2段階のラベリングや、複数段階のラベリング、右房圧の値(推定値)、及び心不全状態スコアのうち少なくとも一つを判定結果として出力することができる。
【0067】
そして、出力制御部114は、支援情報を表示する(ステップS205)。例えば、出力制御部114は、
図7のテーブルT10から読み出した支援情報を出力部102に表示させる。
【0068】
例えば、出力制御部114は、
図8に示すように、「適度な運動を心がけましょう。」というメッセージM10を、出力部102に表示させる。なお、
図8は、第1の実施形態に係る出力制御部114の処理を説明するための図である。
【0069】
なお、出力制御部114によって出力される支援情報は、
図8のメッセージM10に限定されるものではない。例えば、出力制御部114は、ステップS204にて生成可能な支援情報を任意に表示することができる。
【0070】
また、支援情報の出力先は、出力部102に限定されるものではない。例えば、撮影装置103aがスマートフォンなど、ディスプレイ(出力装置)を備えている場合には、出力制御部114は、支援情報を撮影装置103aへ送信し、撮影装置103aにて支援情報を表示させてもよい。また、出力制御部114は、患者と医師など、複数の利用者に対して支援情報を提供するために、各利用者が閲覧可能な端末に支援情報を出力させることができる。また、支援情報の出力先は、ディスプレイに限らず、スピーカなどの他の出力形態の装置に出力させることも可能である。
【0071】
上述してきたように、第1の実施形態に係る医用情報処理装置100において、取得部111は、第1対象者の頸部が撮像された第1画像情報を取得する。判定部113は、複数の第2対象者の頸部が撮像された第2画像情報と、複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、第1画像情報を入力することで、第1対象者の健康状態に関する判定結果を生成する。出力制御部114は、判定結果に基づいて、第1対象者の心不全の程度の判断を支援する支援情報を出力する。これによれば、第1の実施形態に係る医用情報処理装置100は、心不全の程度を安定的に判断することを可能にする。
【0072】
例えば、医用情報処理装置100は、対象者の動画像情報を学習済みモデルに入力することで、対象者の心不全の程度に関する判定結果を生成し、ユーザに提示する。このため、ユーザは、心不全の程度に関する判定結果を参照した上で、心不全の程度を判断することができる。したがって、ユーザは、患者の体格に依らず、患者の現在の心不全の程度を安定的に判断することができる。また、ユーザが未熟な医師や患者本人、介助者であっても、患者の現在の心不全の程度を安定的に判断することができる。
【0073】
図9を用いて、第1の実施形態に係る医用情報処理装置100による効果を説明する。
図9は、第1の実施形態に係る医用情報処理装置100による効果を説明するための図である。
【0074】
図9には、テストコホートにおける学習モデルを用いたROC(Receiver Operating Characteristic)曲線を示す。テストコホートでは、心不全入院患者1400人を対象に、第三者が固定カメラで動画撮影を行い、5秒間の動画を入力情報とし、健康状態情報に循環器内科専門医2名による評価(視診+超音波検査)を用いて学習モデルを作成した。動画情報は、時間軸を加えた三次元として畳み込みニューラルネットワークに使用した。
図9において、実線は、本実施形態に係る医用情報処理装置100(学習済みモデル)による判定結果と、実際の医師による判定結果とを踏まえて描出したROC曲線である。なお、
図9の判定結果は、右房圧が8[cmH
2O]以上であるか否かで判定されたものである。
【0075】
図9において、実線のROC曲線のAUC(Area Under the Curve)は、「0.86」であった。この結果から、本実施形態に係る医用情報処理装置100は、右房圧が8[cmH
2O]以上であるか否かを高確率で判定したと言える。
【0076】
なお、本実施形態に記載した「医用」とは、対象者が患者に限定されることを意図したものではない。本実施形態に係る医用情報処理装置100の処理機能は、対象者の循環器疾患の発症予防や健康維持などに広く適用可能である。このため、本実施形態に係る医用情報処理装置100の処理機能は、対象者が健常者である場合にも適用可能である。
【0077】
(第1の実施形態の変形例)
第1の実施形態では、患者の現在の心不全の程度を示す判定結果を生成する場合を説明したが、実施形態はこれに限定されるものではない。例えば、判定部113は、対象者Xの判定結果の経時的な変化に基づいて、対象者Xの将来の健康状態に関する将来状態情報を判定(推定)することができる。
【0078】
図10は、第1の実施形態の変形例に係る判定部113の処理を説明するための図である。
図10には、心不全状態スコアを経過日数に応じてプロットしたグラフを例示する。
図10において、縦軸は、心不全状態スコアに対応し、横軸は、経過日数に対応する。なお、過去の心不全状態スコアは、任意の記憶装置(例えば記憶部104)に記憶されている。
【0079】
例えば、判定部113は、記憶部104から過去の心不全状態スコアを読み出して、
図10に示すようにグラフにプロットする。そして、判定部113は、心不全状態スコアの経時的な変化に基づいて、将来状態情報を判定する。例えば、判定部113は、重回帰分析、Cox回帰分析、及びロジスティック回帰分析など、任意の分析手法を用いて、心不全状態スコアの経時的な変化から将来の心不全状態スコアを算出(推定)する。そして、判定部113は、算出した将来の心不全状態スコアを将来状態情報として出力する。
【0080】
そして、出力制御部114は、判定部113によって出力された将来状態情報に基づいて、支援情報を生成する。なお、将来状態情報に基づく支援情報の生成は、第1の実施形態にて説明した健康状態情報に基づく支援情報の生成と同様であるので、説明を省略する。つまり、出力制御部114は、将来状態情報を健康状態情報と同様に扱うことで、支援情報を生成する。例えば、出力制御部114は、
図7に示したテーブルT10を参照して支援情報を生成しても良いし、将来状態情報(将来の心不全状態スコア)をそのまま支援情報として出力してもよい。
【0081】
このように、判定部113は、対象者Xの過去の心不全状態スコアの経時的な変化に基づいて、対象者Xの将来の心不全状態スコアを推定することができる。
【0082】
(第2の実施形態)
上記の第1の実施形態では、処理対象が動画像情報である場合を説明したが、本発明はこれに限定されるものではない。例えば、処理対象となる画像情報は、静止画像に対応する静止画像情報であってもよい。そこで、第2の実施形態では、処理対象が静止画像情報である場合を説明する。
【0083】
第2の実施形態に係る医用情報処理装置100の構成は、第1の実施形態にて説明した医用情報処理装置100の構成と同様であるので、説明を省略する。
【0084】
次に、
図11を用いて、第2の実施形態に係る医用情報処理装置100により行われる学習時及び運用時の処理を説明する。
図11は、第2の実施形態に係る医用情報処理装置100により行われる学習時及び運用時の処理を示す図である。
【0085】
図11の上段に示すように、学習時には、学習部112は、例えば、対象者S-1~S-Nの静止画像情報、心時相情報、及び健康状態情報を学習用データ(訓練用データ)として用いて機械学習を行う。ここで、対象者S-1~S-Nの静止画像情報は、例えば、撮影装置103aによって対象者の頸部が撮像されたものである。静止画像情報の撮像領域は、第1の実施形態にて説明した動画像情報の撮像領域と同様である。また、対象者S-1~S-Nの心時相情報は、静止画像情報の撮像時の心時相を表す情報であり、例えば、拡張期であるか、収縮期であるかを示す。また、対象者S-1~S-Nの健康状態情報は、例えば、右房圧である。
【0086】
つまり、学習部112は、この機械学習により、対象者の静止画像情報及び心時相情報の入力により、健康状態情報(例えば、右房圧を示す情報)を判定結果として出力する学習済みモデルを構築する。この学習済みモデルは、記憶部104に格納される。
【0087】
そして、
図11の下段に示すように、運用時には、判定部113は、対象者Xの静止画像情報及び心時相情報を、学習時に構築した学習済みモデルに対して入力することで、学習済みモデルに対象者Xの判定結果、つまり、対象者Xの健康状態情報を出力させる。なお、心時相情報は、利用者が手動で入力してもよいし、心電計などの心拍情報を取得する装置による計測データと、静止画像情報の撮像時刻とを対応づけることにより自動的に入力してもよい。
【0088】
そして、出力制御部114は、対象者Xの健康状態情報(判定結果)に基づいて、支援情報を生成し、生成した支援情報を出力する。なお、出力制御部114の処理は、第1の実施形態にて説明した出力制御部114の処理と同様であるので、説明を省略する。
【0089】
なお、
図11に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、上記の説明では、心時相情報が拡張期又は収縮期を示す情報である場合を説明したが、本発明はこれに限定されるものではない。例えば、心時相情報は、R波と次のR波との間における心時相の経過度合いを百分率などで示した情報であってもよい。
【0090】
すなわち、第2の実施形態に係る医用情報処理装置100において、取得部111は、第1対象者の頸部が撮像された第1静止画像情報及び第1心時相情報を取得する。判定部113は、複数の第2対象者の頸部が撮像された静止画像に対応する第2静止画像情報と、第2静止画像情報の撮影時の心時相を示す第2心時相情報と、複数の第2対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、第1静止画像情報及び第1心時相情報を入力することで、第1対象者の健康状態に関する判定結果を生成する。出力制御部114は、判定結果に基づいて、第1対象者の心不全の程度の判断を支援する支援情報を出力する。これによれば、第2の実施形態に係る医用情報処理装置100は、静止画像情報を用いた場合にも、心不全の程度を安定的に判断することを可能にする。
【0091】
(第2の実施形態の変形例)
第2の実施形態では、心電計などを用いて検出した心時相情報を手動入力又は自動入力する場合を説明したが、これに限定されるものではない。例えば、心電計などを用いなくとも、機械学習により得られた学習済みモデルを用いることで、対象者Xの静止画像情報から対象者Xの心時相情報を取得することも可能である。
【0092】
図12を用いて、第2の実施形態の変形例に係る医用情報処理装置100により行われる学習時及び運用時の処理を説明する。
図12は、第2の実施形態の変形例に係る医用情報処理装置100により行われる学習時及び運用時の処理を示す図である。
【0093】
図12の上段に示すように、学習時には、学習部112は、例えば、対象者S-1~S-Nの静止画像情報、及び心時相情報を学習用データ(訓練用データ)として用いて機械学習を行う。つまり、この機械学習により、学習部112は、対象者の静止画像情報の入力により、心時相情報を判定結果として出力する学習済みモデルを構築する。この学習済みモデルは、記憶部104に格納される。
【0094】
そして、
図12の下段に示すように、運用時には、判定部113は、対象者Xの静止画像情報を、学習時に構築した学習済みモデルに対して入力することで、学習済みモデルに対象者Xの判定結果、つまり、対象者Xの心時相情報を出力させる。
【0095】
そして、
図12の学習済みモデルにより出力された対象者Xの心時相情報を、
図11の運用時に入力される心時相情報として利用することで、心電計などを用いなくとも、
図11の学習済みモデルを運用することができる。
【0096】
なお、
図12の学習用データを提供する対象者S-1~S-Nは、必ずしも
図11の学習用データを提供する対象者S-1~S-Nと同一でなくてもよい。つまり、
図11及び
図12の学習用データは、同一の母集団から得られたデータであってもよいし、互いに異なる母集団から得られたデータであってもよいし、一部重複する母集団から得られたデータであってもよい。
【0097】
すなわち、判定部113は、更に、複数の第3対象者の頸部が撮像された静止画像に対応する第3静止画像情報と、第3静止画像情報の撮影時の心時相を示す第3心時相情報とを用いて機械学習された学習済みモデルに対して、第1静止画像情報を入力することで、第1静止画像情報の撮影時の心時相を示す第1心時相情報を生成する。
【0098】
(その他の実施形態)
上述した実施形態以外にも、種々の異なる形態にて実施されてもよい。
【0099】
上述の実施形態は、以上の変形例と任意に組み合わせることができるし、以上の変形例同士を任意に組み合わせてもよい。
【0100】
また、上述した実施形態の医用情報処理装置100で実行されるプログラム(運動支援プログラム)は、インストール可能な形式または実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD、USB(Universal Serial Bus)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、例えばROM等の不揮発性の記憶媒体に予め組み込んで提供するように構成してもよい。
【符号の説明】
【0101】
100 医用情報処理装置
101 入力部
102 出力部
103 通信部
104 記憶部
110 処理部
111 取得部
112 学習部
113 判定部
114 出力制御部