知財求人 - 知財ポータルサイト「IP Force」
特開2024-110319医用情報処理装置、医用情報処理システム及び医用情報処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110319
(43)【公開日】2024-08-15
(54)【発明の名称】医用情報処理装置、医用情報処理システム及び医用情報処理方法
(51)【国際特許分類】
G16H 10/00 20180101AFI20240807BHJP
A61B 6/12 20060101ALI20240807BHJP
【ＦＩ】
G16H10/00
A61B6/12
【審査請求】未請求
【請求項の数】35
【出願形態】ＯＬ
(21)【出願番号】P 2023014848
(22)【出願日】2023-02-02
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】西岡 昂彦
(72)【発明者】
【氏名】高橋 徹
(72)【発明者】
【氏名】塩川 康成
(72)【発明者】
【氏名】小澤 政広
(72)【発明者】
【氏名】渕上 航
(72)【発明者】
【氏名】吉村 美紀
【テーマコード（参考）】
4C093
5L099
【Ｆターム（参考）】
4C093AA01
4C093AA24
4C093CA15
4C093CA35
4C093DA02
4C093FB09
4C093FF18
5L099AA21
(57)【要約】
【課題】被検体に対する手技に関する情報の利用を支援すること。
【解決手段】実施形態に係る医用情報処理装置は、被検体に対する手技に関する第１の情報を時間情報に対応付けて収集する第１の収集部と、前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する第２の収集部とを備える。
【選択図】図１
【解決手段】実施形態に係る医用情報処理装置は、被検体に対する手技に関する第１の情報を時間情報に対応付けて収集する第１の収集部と、前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する第２の収集部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
被検体に対する手技に関する第１の情報を時間情報に対応付けて収集する第１の収集部と、
前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する第２の収集部と
を備える、医用情報処理装置。
前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する第２の収集部と
を備える、医用情報処理装置。
【請求項2】
前記第２の収集部は、複数種類の前記第１の情報に基づいて前記第２の情報を収集する、請求項１に記載の医用情報処理装置。
【請求項3】
前記第１の情報は、前記手技が行われる検査室内で撮像された光学カメラ画像、前記検査室内で記録された音声、前記被検体を対象として撮像された医用画像、当該医用画像の撮像条件、前記手技において収集された前記被検体に関する生体情報データ、及び、前記被検体に対して投与される薬剤に関する情報のうち少なくとも１つである、請求項１に記載の医用情報処理装置。
【請求項4】
前記光学カメラ画像は、第１のユーザの手元が撮像された画像、前記第１のユーザとは異なる第２のユーザの手元が撮像された画像、前記被検体の顔面が撮像された画像、前記第１のユーザの顔面が撮像された画像、及び、前記第２のユーザの顔面が撮像された画像のうち少なくとも１つである、請求項３に記載の医用情報処理装置。
【請求項5】
前記第１の収集部は、前記第１の情報として、前記手技が行われる検査室内で撮像された光学カメラ画像と、前記被検体を対象として撮像された医用画像とを収集し、
前記第２の収集部は、前記光学カメラ画像と前記医用画像とに基づいて、前記第２の情報として、前記手技において使用された医用デバイスを示す情報を収集する、請求項１に記載の医用情報処理装置。
前記第２の収集部は、前記光学カメラ画像と前記医用画像とに基づいて、前記第２の情報として、前記手技において使用された医用デバイスを示す情報を収集する、請求項１に記載の医用情報処理装置。
【請求項6】
前記第２の収集部は、前記第２の情報として、前記医用デバイスが交換されたことを示す情報を収集する、請求項５に記載の医用情報処理装置。
【請求項7】
前記第２の収集部は、前記医用デバイスを示す情報を、施設内で使用可能な医用デバイスの登録情報に基づいて収集する、請求項５に記載の医用情報処理装置。
【請求項8】
前記第１の収集部は、前記第１の情報として、前記手技が行われる検査室内で撮像された光学カメラ画像と、前記手技において使用された医用デバイスを示す識別子の読み取り情報とを収集し、
前記第２の収集部は、前記光学カメラ画像と前記読み取り情報とに基づいて、前記第２の情報として、前記手技において使用された医用デバイスを示す情報を収集する、請求項１に記載の医用情報処理装置。
前記第２の収集部は、前記光学カメラ画像と前記読み取り情報とに基づいて、前記第２の情報として、前記手技において使用された医用デバイスを示す情報を収集する、請求項１に記載の医用情報処理装置。
【請求項9】
前記第１の収集部は、前記第１の情報として、前記手技が行われる検査室内で撮像された光学カメラ画像を収集し、
前記第２の収集部は、前記第２の情報として、前記光学カメラ画像のうち前記手技において使用された医用デバイスが描出された部分を含むクリップ画像を収集する、請求項１に記載の医用情報処理装置。
前記第２の収集部は、前記第２の情報として、前記光学カメラ画像のうち前記手技において使用された医用デバイスが描出された部分を含むクリップ画像を収集する、請求項１に記載の医用情報処理装置。
【請求項10】
前記第１の収集部は、前記第１の情報として、前記被検体に対して薬剤を投与するために用いられる医用デバイスが描出された光学カメラ画像、又は、前記手技が行われる検査室内で記録された音声を収集し、
前記第２の収集部は、前記第２の情報として、前記光学カメラ画像又は前記音声に基づいて前記薬剤の種類を示す情報を収集する、請求項１に記載の医用情報処理装置。
前記第２の収集部は、前記第２の情報として、前記光学カメラ画像又は前記音声に基づいて前記薬剤の種類を示す情報を収集する、請求項１に記載の医用情報処理装置。
【請求項11】
被検体に対する手技に関する情報を時間情報に対応付けて収集する収集部と、
前記情報を前記時間情報に応じて出力する出力部と
を備える、医用情報処理装置。
前記情報を前記時間情報に応じて出力する出力部と
を備える、医用情報処理装置。
【請求項12】
前記出力部は、
第１の種類の前記情報であって第１の時点を示す前記時間情報に対応付いた第１の出力情報と、前記第１の種類と異なる第２の種類の前記情報であって前記第１の時点を示す前記時間情報に対応付いた第２の出力情報とを出力し、
前記第１の種類の前記情報であって前記第１の時点と異なる第２の時点を示す前記時間情報に対応付いた第３の出力情報を出力する際、前記第２の種類の前記情報であって前記第２の時点を示す前記時間情報に対応付いた第４の出力情報を出力する、請求項１１に記載の医用情報処理装置。
第１の種類の前記情報であって第１の時点を示す前記時間情報に対応付いた第１の出力情報と、前記第１の種類と異なる第２の種類の前記情報であって前記第１の時点を示す前記時間情報に対応付いた第２の出力情報とを出力し、
前記第１の種類の前記情報であって前記第１の時点と異なる第２の時点を示す前記時間情報に対応付いた第３の出力情報を出力する際、前記第２の種類の前記情報であって前記第２の時点を示す前記時間情報に対応付いた第４の出力情報を出力する、請求項１１に記載の医用情報処理装置。
【請求項13】
前記情報は、医用画像であり、
前記出力部は、前記情報として、第１の時点を示す前記時間情報に対応付いた第１の医用画像と、前記第１の時点と異なる第２の時点を示す前記時間情報に対応付いた医用画像であって、前記第１の医用画像と類似した撮像条件で収集された第２の医用画像とを出力する、請求項１１に記載の医用情報処理装置。
前記出力部は、前記情報として、第１の時点を示す前記時間情報に対応付いた第１の医用画像と、前記第１の時点と異なる第２の時点を示す前記時間情報に対応付いた医用画像であって、前記第１の医用画像と類似した撮像条件で収集された第２の医用画像とを出力する、請求項１１に記載の医用情報処理装置。
【請求項14】
前記情報は、前記手技が行われる検査室内で撮像された光学カメラ画像、前記検査室内で記録された音声、前記被検体を対象として撮像された医用画像、当該医用画像の撮像条件、前記手技において収集された前記被検体に関する生体情報データ、及び、前記被検体に対して投与される薬剤に関する情報のうち少なくとも１つである、請求項１１に記載の医用情報処理装置。
【請求項15】
前記光学カメラ画像は、第１のユーザの手元が撮像された画像、前記第１のユーザとは異なる第２のユーザの手元が撮像された画像、前記被検体の顔面が撮像された画像、前記第１のユーザの顔面が撮像された画像、及び、前記第２のユーザの顔面が撮像された画像のうち少なくとも１つである、請求項１４に記載の医用情報処理装置。
【請求項16】
被検体に対する手技に関する情報を時間情報に対応付けて収集する収集部と、
前記情報に基づく解析を行なう解析部と、
解析結果を出力する出力部と
を備える、医用情報処理装置。
前記情報に基づく解析を行なう解析部と、
解析結果を出力する出力部と
を備える、医用情報処理装置。
【請求項17】
前記収集部は、前記情報として、被検体に対して投与される薬剤の種類を示す情報を収集し、
前記解析部は、前記薬剤の種類を示す情報と被検体情報とに基づいて、前記被検体に対する前記薬剤の適性を解析する、請求項１６に記載の医用情報処理装置。
前記解析部は、前記薬剤の種類を示す情報と被検体情報とに基づいて、前記被検体に対する前記薬剤の適性を解析する、請求項１６に記載の医用情報処理装置。
【請求項18】
前記収集部は、前記情報として、前記手技を実行する第１のユーザが、前記手技を実行する第２のユーザに対して行なった指示内容を示す情報と、前記第２のユーザに関する光学カメラ画像とを収集し、
前記解析部は、前記指示内容を示す情報と前記光学カメラ画像とに基づいて、前記第２のユーザの行動の適正さを解析する、請求項１６に記載の医用情報処理装置。
前記解析部は、前記指示内容を示す情報と前記光学カメラ画像とに基づいて、前記第２のユーザの行動の適正さを解析する、請求項１６に記載の医用情報処理装置。
【請求項19】
前記収集部は、前記情報として、前記手技を実行する第１のユーザ及び第２のユーザに関する光学カメラ画像を収集し、
前記解析部は、前記光学カメラ画像に基づいて、前記被検体に関する情報であって、前記第１のユーザと前記第２のユーザとのいずれか一方の視界にのみ含まれる情報を解析する、請求項１６に記載の医用情報処理装置。
前記解析部は、前記光学カメラ画像に基づいて、前記被検体に関する情報であって、前記第１のユーザと前記第２のユーザとのいずれか一方の視界にのみ含まれる情報を解析する、請求項１６に記載の医用情報処理装置。
【請求項20】
前記手技は、被検体の体内に医用デバイスを挿入して行なう血管内インターベンション治療であり、
前記収集部は、前記情報として、前記医用デバイスを含む範囲を対象として撮像された医用画像と、前記医用デバイスを操作するユーザに関する光学カメラ画像とを収集し、
前記解析部は、前記医用画像と前記光学カメラ画像に基づいて、前記ユーザによる前記医用デバイスの操作の適正さを解析する、請求項１６に記載の医用情報処理装置。
前記収集部は、前記情報として、前記医用デバイスを含む範囲を対象として撮像された医用画像と、前記医用デバイスを操作するユーザに関する光学カメラ画像とを収集し、
前記解析部は、前記医用画像と前記光学カメラ画像に基づいて、前記ユーザによる前記医用デバイスの操作の適正さを解析する、請求項１６に記載の医用情報処理装置。
【請求項21】
前記手技は、被検体の体内に第１の医用デバイスを挿入して行なう治療であり、
前記収集部は、前記情報として、前記第１の医用デバイスを含む範囲を対象として撮像された医用画像を収集し、
前記解析部は、前記医用画像と前記第１の医用デバイスの仕様情報とに基づいて、前記医用画像に現れた、前記第１の医用デバイスとは異なる対象物を解析する、請求項１６に記載の医用情報処理装置。
前記収集部は、前記情報として、前記第１の医用デバイスを含む範囲を対象として撮像された医用画像を収集し、
前記解析部は、前記医用画像と前記第１の医用デバイスの仕様情報とに基づいて、前記医用画像に現れた、前記第１の医用デバイスとは異なる対象物を解析する、請求項１６に記載の医用情報処理装置。
【請求項22】
前記出力部は、前記解析部による前記対象物の解析結果に基づいて、前記対象物に関する登録情報を更新する、請求項２１に記載の医用情報処理装置。
【請求項23】
前記手技は、被検体の体内に第１の医用デバイスを挿入して行なう治療であり、
前記収集部は、前記情報として、前記第１の医用デバイスを含む範囲を対象として撮像された医用画像を収集し、
前記解析部は、前記医用画像と前記第１の医用デバイスの仕様情報とに基づいて、前記医用画像に現れた、前記第１の医用デバイスとは異なる第２の医用デバイスを解析し、当該第２の医用デバイスの解析結果に応じて、前記治療で使用する第３の医用デバイスを選択する、請求項１６に記載の医用情報処理装置。
前記収集部は、前記情報として、前記第１の医用デバイスを含む範囲を対象として撮像された医用画像を収集し、
前記解析部は、前記医用画像と前記第１の医用デバイスの仕様情報とに基づいて、前記医用画像に現れた、前記第１の医用デバイスとは異なる第２の医用デバイスを解析し、当該第２の医用デバイスの解析結果に応じて、前記治療で使用する第３の医用デバイスを選択する、請求項１６に記載の医用情報処理装置。
【請求項24】
前記手技は、被検体の血管内に第１の医用デバイスを挿入して行なう血管内インターベンション治療であり、
前記収集部は、前記情報として、前記被検体の血管が造影された血管透視画像を順次収集し、
前記解析部は、前記手技の目的に応じて、前記血管透視画像における血流状態を解析する、請求項１６に記載の医用情報処理装置。
前記収集部は、前記情報として、前記被検体の血管が造影された血管透視画像を順次収集し、
前記解析部は、前記手技の目的に応じて、前記血管透視画像における血流状態を解析する、請求項１６に記載の医用情報処理装置。
【請求項25】
前記収集部は、前記情報として時系列情報を収集し、
前記解析部は、前記時系列情報における変動を検出する、請求項１６に記載の医用情報処理装置。
前記解析部は、前記時系列情報における変動を検出する、請求項１６に記載の医用情報処理装置。
【請求項26】
前記解析部は、検出した前記変動と、前記手技に関して前記被検体に対して行なわれた処置の情報とに基づいて、検出した前記変動が、前記処置に基づく変動であるか否かを判定する、請求項２５に記載の医用情報処理装置。
【請求項27】
前記収集部は、前記手技の開始後における前記被検体に関する前記情報を収集し、
前記解析部は、前記情報に基づいて前記被検体に生じる状態の変化を推定する、請求項１６に記載の医用情報処理装置。
前記解析部は、前記情報に基づいて前記被検体に生じる状態の変化を推定する、請求項１６に記載の医用情報処理装置。
【請求項28】
前記情報は、前記手技が行われる検査室内で撮像された光学カメラ画像、前記検査室内で記録された音声、前記被検体を対象として撮像された医用画像、当該医用画像の撮像条件、前記手技において収集された前記被検体に関する生体情報データ、及び、前記被検体に対して投与される薬剤に関する情報のうち少なくとも１つである、請求項１６に記載の医用情報処理装置。
【請求項29】
前記光学カメラ画像は、第１のユーザの手元が撮像された画像、前記第１のユーザとは異なる第２のユーザの手元が撮像された画像、前記被検体の顔面が撮像された画像、前記第１のユーザの顔面が撮像された画像、及び、前記第２のユーザの顔面が撮像された画像のうち少なくとも１つである、請求項２８に記載の医用情報処理装置。
【請求項30】
被検体に対する手技に関する第１の情報を時間情報に対応付けて収集する第１の収集部と、
前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する第２の収集部と
を備える、医用情報処理システム。
前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する第２の収集部と
を備える、医用情報処理システム。
【請求項31】
被検体に対する手技に関する情報を時間情報に対応付けて収集する収集部と、
前記情報を前記時間情報に応じて出力する出力部と
を備える、医用情報処理システム。
前記情報を前記時間情報に応じて出力する出力部と
を備える、医用情報処理システム。
【請求項32】
被検体に対する手技に関する情報を時間情報に対応付けて収集する収集部と、
前記情報に基づく解析を行なう解析部と、
解析結果を出力する出力部と
を備える、医用情報処理システム。
前記情報に基づく解析を行なう解析部と、
解析結果を出力する出力部と
を備える、医用情報処理システム。
【請求項33】
被検体に対する手技に関する第１の情報を時間情報に対応付けて収集し、
前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する
ことを含む、医用情報処理方法。
前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する
ことを含む、医用情報処理方法。
【請求項34】
被検体に対する手技に関する情報を時間情報に対応付けて収集し、
前記情報を前記時間情報に応じて出力する
ことを含む、医用情報処理方法。
前記情報を前記時間情報に応じて出力する
ことを含む、医用情報処理方法。
【請求項35】
被検体に対する手技に関する情報を時間情報に対応付けて収集し、
前記情報に基づく解析を行ない、
解析結果を出力する
ことを含む、医用情報処理方法。
前記情報に基づく解析を行ない、
解析結果を出力する
ことを含む、医用情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用情報処理装置、医用情報処理システム及び医用情報処理方法に関する。
【背景技術】
【0002】
被検体に対する手技の最中、或いは手技に先立って行われる検査において、手技に関する様々な情報を収集することができる。例えば、被検体の身長や体重等の被検体情報、血圧や心拍の計測値、被検体を撮像した医用画像、当該医用画像の撮像条件、手技において使用された医用デバイスを示す情報、手技が行われている間の室内の様子を記録した映像や音声などを収集することができる。手技に関する情報を収集して利用することにより、手技の効率化や精度の向上が期待される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１２８４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、被検体に対する手技に関する情報の利用を支援することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0005】
実施形態に係る医用情報処理装置は、被検体に対する手技に関する第１の情報を時間情報に対応付けて収集する第１の収集部と、前記第１の情報に基づいて、前記手技に関する第２の情報を時間情報に対応付けて収集する第２の収集部とを備える。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、添付図面を参照して、医用情報処理装置、医用情報処理システム及び医用情報処理方法の実施形態について詳細に説明する。
【0008】
（第１の実施形態）
第１の実施形態では、医用情報処理装置３０を含んだ医用情報処理システム１を例として説明する。例えば、医用情報処理システム１は、図１に示すように、医用画像診断装置１０、保管装置２０及び医用情報処理装置３０を備える。なお、図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示すブロック図である。
第１の実施形態では、医用情報処理装置３０を含んだ医用情報処理システム１を例として説明する。例えば、医用情報処理システム１は、図１に示すように、医用画像診断装置１０、保管装置２０及び医用情報処理装置３０を備える。なお、図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示すブロック図である。
【0009】
図１に示すように、医用画像診断装置１０、保管装置２０及び医用情報処理装置３０は、ネットワークＮＷを介して接続される。ここで、ネットワークＮＷは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。例えば、保管装置２０は、医用画像診断装置１０及び医用情報処理装置３０と同一の施設内に設置されてもよいし、異なる施設に設置されてもよい。
【0010】
医用画像診断装置１０は、被検体に対する手技に利用される医用画像を収集する。例えば、医用画像診断装置１０は、手技の開始前に被検体の医用画像を収集する。医師等のユーザは、このような医用画像を利用して、被検体の疾患の状態や、手技の要否を含む治療計画の検討を行なうことができる。また、例えば、医用画像診断装置１０は、手技が行われている間に被検体の医用画像を収集する。ユーザは、このような医用画像を利用して、被検体の内部構造や、被検体の体内に挿入されたデバイスの状態を把握しつつ、手技を進行することができる。医用画像診断装置１０により収集される医用画像は、被検体Ｐに対する手技に関する情報の一例である。
【0011】
保管装置２０は、被検体Ｐに対する手技に関する種々の情報を保管する。例えば、保管装置２０は、ＲＩＳ（Radiology Information System）やＨＩＳ（Hospital Information System）、ＰＡＣＳ（Picture Archiving and Communication System）といった情報管理システムのサーバである。保管装置２０により保管される情報の具体例については後述する。
【0012】
医用情報処理装置３０は、後述の処理回路３４による処理によって、被検体に対する手技に関する情報の利用を支援する。例えば、医用情報処理装置３０は、図１に示すように、入力インタフェース３１と、ディスプレイ３２と、メモリ３３と、処理回路３４とを有する。
【0013】
入力インタフェース３１は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路３４に出力する。例えば、入力インタフェース３１は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インタフェース３１は、医用情報処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インタフェース３１は、モーションキャプチャによりユーザからの入力操作を受け付ける回路であっても構わない。一例を挙げると、入力インタフェース３１は、トラッカーを介して取得した信号やユーザについて収集された画像を処理することにより、ユーザの体動や視線等を入力操作として受け付けることができる。また、入力インタフェース３１は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用情報処理装置３０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路３４へ出力する電気信号の処理回路も入力インタフェース３１の例に含まれる。
【0014】
ディスプレイ３２は、各種の情報を表示する。例えば、ディスプレイ３２は、処理回路３４による制御の下、被検体Ｐに対する手技に関する情報の表示を行なう。また、例えば、ディスプレイ３２は、入力インタフェース３１を介してユーザから各種の指示や設定等を受け付けるためのＧＵＩ（Graphical User Interface）を表示する。例えば、ディスプレイ３２は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。ディスプレイ３２は、デスクトップ型でもよいし、医用情報処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
【0015】
なお、ディスプレイ３２は、被検体Ｐに対する手技が実行される検査室内に配置されてもよいし、検査室と異なる部屋に配置されてもよい。例えば、ディスプレイ３２は、Ｘ線診断装置１１が配置された検査室の他、検査室の隣室である操作室や、読影室に配置されてもよい。ディスプレイ３２が検査室内に配置される場合、手技を実行する医師や医療従事者等のユーザに対して表示を行なうことができる。また、ディスプレイ３２が検査室と異なる部屋に配置される場合、手技の様子をモニタするユーザに対して表示を行なうことができる。或いは、ディスプレイ３２は、手技が終了した後において、手技の経過を振り返って確認するための表示を行なうこともできる。
【0016】
また、図１においては医用情報処理装置３０がディスプレイ３２を備えるものとして説明するが、医用情報処理装置３０は、ディスプレイ３２に代えて又は加えて、プロジェクタを備えてもよい。プロジェクタは、処理回路３４による制御の下、スクリーンや壁、床、被検体Ｐの体表面等に対して投影を行なうことができる。一例を挙げると、プロジェクタは、プロジェクションマッピングによって、任意の平面や物体、空間等への投影を行うこともできる。
【0017】
メモリ３３は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ３３は、医用情報処理装置３０に含まれる回路がその機能を実現するためのプログラムを記憶する。メモリ３３は、医用情報処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。
【0018】
処理回路３４は、第１の収集機能３４ａ、第２の収集機能３４ｂ及び出力機能３４ｃを実行することで、医用情報処理装置３０全体の動作を制御する。第１の収集機能３４ａは、第１の収集部の一例である。第２の収集機能３４ｂは、第２の収集部の一例である。出力機能３４ｃは、出力部の一例である。
【0019】
例えば、処理回路３４は、第１の収集機能３４ａに対応するプログラムをメモリ３３から読み出して実行することにより、被検体に対する手技に関する第１の情報を時間情報に対応付けて収集する。また、処理回路３４は、第２の収集機能３４ｂに対応するプログラムをメモリ３３から読み出して実行することにより、第１の情報に基づいて、手技に関する第２の情報を時間情報に対応付けて収集する。また、処理回路３４は、出力機能３４ｃに対応するプログラムをメモリ３３から読み出して実行することにより、ネットワークＮＷを介したデータの送受信や、ディスプレイ３２における表示を制御する。第１の収集機能３４ａ、第２の収集機能３４ｂ及び出力機能３４ｃによる処理の詳細は後述する。
【0020】
図１に示す医用情報処理装置３０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ３３へ記憶されている。処理回路３４は、メモリ３３からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路３４は、読み出したプログラムに対応する機能を有することとなる。
【0021】
なお、図１においては単一の処理回路３４にて、第１の収集機能３４ａ、第２の収集機能３４ｂ及び出力機能３４ｃが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３４を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路３４が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
【0022】
また、処理回路３４は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路３４は、メモリ３３から各機能に対応するプログラムを読み出して実行するとともに、医用情報処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図１に示す各機能を実現する。
【0023】
次に、医用画像診断装置１０の一例として、図２に示すＸ線診断装置１１について説明する。図２は、第１の実施形態に係るＸ線診断装置１１の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置１１は、Ｘ線高電圧装置１１１と、Ｘ線管１１２と、Ｘ線絞り器１１３と、天板１１４と、Ｃアーム１１５と、Ｘ線検出器１１６と、入力インタフェース１１７と、ディスプレイ１１８と、メモリ１１９と、処理回路１２０とを備える。
【0024】
Ｘ線高電圧装置１１１は、処理回路１２０による制御の下、Ｘ線管１１２に高電圧を供給する。例えば、Ｘ線高電圧装置１１１は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１１２に印加する高電圧を発生する高電圧発生装置と、Ｘ線管１１２が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。
【0025】
Ｘ線管１１２は、熱電子を発生する陰極（フィラメント）と、熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。Ｘ線管１１２は、Ｘ線高電圧装置１１１から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、Ｘ線を発生する。
【0026】
Ｘ線絞り器１１３は、Ｘ線管１１２により発生されたＸ線の照射範囲を絞り込むコリメータと、Ｘ線管１１２から曝射されたＸ線を調節するフィルタとを有する。
【0027】
Ｘ線絞り器１１３におけるコリメータは、例えば、スライド可能な４枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、Ｘ線管１１２が発生したＸ線を絞り込んで被検体Ｐに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、Ｘ線の照射範囲を調整するためにＸ線管１１２のＸ線照射口付近に設けられる。
【0028】
Ｘ線絞り器１１３におけるフィルタは、被検体Ｐに対する被曝線量の低減とＸ線画像データの画質向上を目的として、その材質や厚みによって透過するＸ線の線質を変化させ、被検体Ｐに吸収されやすい軟線成分を低減したり、Ｘ線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってＸ線の線量及び照射範囲を変化させ、Ｘ線管１１２から被検体Ｐへ照射されるＸ線が予め定められた分布になるようにＸ線を減衰させる。
【0029】
例えば、Ｘ線絞り器１１３は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１２０による制御の下、駆動機構を動作させることによりＸ線の照射を制御する。例えば、Ｘ線絞り器１１３は、処理回路１２０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、例えば、Ｘ線絞り器１１３は、処理回路１２０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Ｐに対して照射されるＸ線の線量の分布を制御する。
【0030】
天板１１４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１１に含まれない。例えば、寝台は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１２０による制御の下、駆動機構を動作させることにより、天板１１４の移動・傾斜を制御する。例えば、寝台は、処理回路１２０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板１１４を移動させたり、傾斜させたりする。
【0031】
Ｃアーム１１５は、Ｘ線管１１２及びＸ線絞り器１１３と、Ｘ線検出器１１６とを、被検体Ｐを挟んで対向するように保持する。例えば、Ｃアーム１１５は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１２０による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Ｃアーム１１５は、処理回路１２０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、Ｘ線管１１２及びＸ線絞り器１１３と、Ｘ線検出器１１６とを被検体Ｐに対して回転・移動させ、Ｘ線の照射位置や照射角度を制御する。なお、図２では、Ｘ線診断装置１１がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。
【0032】
Ｘ線検出器１１６は、例えば、マトリクス状に配列された検出素子を有するＸ線平面検出器（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ：ＦＰＤ）である。Ｘ線検出器１１６は、Ｘ線管１１２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１２０へと出力する。なお、Ｘ線検出器１１６は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
【0033】
入力インタフェース１１７、ディスプレイ１１８及びメモリ１１９については、上述した入力インタフェース３１、ディスプレイ３２及びメモリ３３と同様に実現可能であるため、詳細な説明は省略する。また、入力インタフェース１１７は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１２０に出力する。また、例えば、ディスプレイ１１８は、処理回路１２０による制御の下、ユーザの指示を受け付けるためのＧＵＩや、手技に関する種々の情報を表示する。例えば、メモリ１１９は、処理回路１２０によって読み出されて実行される各種機能に対応するプログラムを記憶する。
【0034】
処理回路１２０は、収集機能１２０ａ及び出力機能１２０ｂを実行することで、Ｘ線診断装置１１全体の動作を制御する。
【0035】
例えば、処理回路１２０は、メモリ１１９から収集機能１２０ａに相当するプログラムを読み出して実行することにより、被検体ＰからＸ線画像を収集する。例えば、収集機能１２０ａは、被検体Ｐに対する手技中に、被検体Ｐを透過したＸ線に基づいてＸ線画像を順次収集する。
【0036】
例えば、収集機能１２０ａは、Ｘ線高電圧装置１１１を制御し、Ｘ線管１１２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やオン／オフを制御する。また、収集機能１２０ａは、Ｘ線絞り器１１３の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、収集機能１２０ａは、Ｘ線絞り器１１３の動作を制御し、フィルタの位置を調整することで、Ｘ線の線量の分布を制御する。また、収集機能１２０ａは、Ｃアーム１１５の動作を制御し、被検体Ｐに対するＣアーム１１５の位置及び角度を変化させることで、撮影位置及び撮影角度を制御する。なお、Ｃアーム１１５の位置及び角度については、アームポジションとも記載する。また、収集機能１２０ａは、Ｘ線検出器１１６から受信した検出信号に基づいてＸ線画像を生成し、生成したＸ線画像をメモリ１１９に格納する。
【0037】
また、処理回路１２０は、メモリ１１９から出力機能１２０ｂに相当するプログラムを読み出して実行することにより、ネットワークＮＷを介したデータの送受信や、ディスプレイ１１８における表示を制御する。例えば、出力機能１２０ｂは、収集機能１２０ａが収集したＸ線画像を、ネットワークＮＷを介して医用情報処理装置３０に送信したり、ディスプレイ１１８に表示させたりする。
【0038】
図２に示すＸ線診断装置１１においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ１１９へ記憶されている。処理回路１２０は、メモリ１１９からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路１２０は、読み出したプログラムに対応する機能を有することとなる。
【0039】
なお、図２においては単一の処理回路１２０にて、収集機能１２０ａ及び出力機能１２０ｂが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１２０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１２０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
【0040】
また、処理回路１２０は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路１２０は、メモリ１１９から各機能に対応するプログラムを読み出して実行するとともに、Ｘ線診断装置１１とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図２に示す各機能を実現する。
【0041】
なお、医用情報処理システム１は、医用画像診断装置１０として、Ｘ線診断装置１１と異なる種類のモダリティ装置を含んでもよい。例えば、医用情報処理システム１は、Ｘ線診断装置１１に代えて又は加えて、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置及びＰＥＴ（Positron Emission computed Tomography）装置のうち少なくとも１つを含んでもよい。
【0042】
以上、医用画像診断装置１０、保管装置２０及び医用情報処理装置３０を含んだ医用情報処理システム１について説明した。以下、医用情報処理システム１において行なわれる処理について説明する。
【0043】
まず、従来より、臨床の場においては、手技に関する様々な情報が収集され、医師等のユーザに対して提供されてきた。例えば、Ｘ線診断装置１１は、被検体ＰのＸ線画像を収集し、ディスプレイ１１８においてＸ線画像の表示を行なうことができる。また、例えば、心電計は、被検体Ｐの心電図を計測し、当該心電計が備えるディスプレイに心電図を表示させることができる。また、例えば、血圧計は、被検体Ｐの血圧を計測し、当該血圧計が備えるディスプレイに被検体Ｐの血圧を表示させることができる。
【0044】
ここで、近年、Ｘ線診断装置１１や心電計、血圧計などの異なる装置により収集された複数種類の情報を統合して表示させるシステムの開発が進められている。これにより、手技に関する複数種類の情報が複数の装置により収集される場合においても、ユーザは、これら複数種類の情報を容易に把握することができる。
【0045】
また、手技に関する各情報を時間情報に対応付けて収集することにより、複数種類の情報を相互に比較することも可能となる。例えば、心電図及び血圧を時間情報に対応付けて収集することにより、時間軸を有する１つのグラフ上に、心電図及び血圧を併せて表示させることができる。なお、時間情報は、手技に関する各情報が収集された時点を示す情報であれば特に限定されるものではない。例えば、時間情報は、日付や時刻を示す情報であってもよいし、手技の開始後の経過時間を示す情報であってもよい。
【0046】
複数種類の情報を統合した表示例について図３を用いて説明する。図３では、表示画面上に表示領域Ｒ１１、表示領域Ｒ１２、表示領域Ｒ１３及び表示領域Ｒ１４が設けられている。上述した通り、図３の表示は、検査室内で行われてもよいし他の部屋で行われてもよい。なお、表示画面上の表示領域Ｒ１１、表示領域Ｒ１２、表示領域Ｒ１３及び表示領域Ｒ１４のレイアウトは図３に限られず、置き換えや変更、削除がなされてもよい。例えば、表示画面上に表示される表示領域は、表示領域Ｒ１１、表示領域Ｒ１２、表示領域Ｒ１３のみが表示され、ユーザの操作や事前設定に応じて、表示領域Ｒ１４が非表示または削除されてもよい。
【0047】
図３の表示領域Ｒ１１では、時系列とイベントの対応付け表示が行なわれる。具体的には、表示領域Ｒ１１には、表示領域Ｒ１１１及び表示領域Ｒ１１２が含まれる。表示領域Ｒ１１１には、例えば患者ＩＤや氏名、性別、年齢といった被検体Ｐの患者情報が表示される。また、表示領域Ｒ１１２には、時間軸ｔが表示される。時間軸ｔにおいては、日付や時刻、手技開始後の経過時間等を表示してもよい。時間軸ｔにおいて「Ｘ線画像」に対応する行にバーが表示されている期間は、Ｘ線画像が収集された期間である。また、時間軸ｔにおいて「撮像プロトコルｐ１」に対応する行にバーが表示されている期間は、撮像プロトコルｐ１でＸ線画像が収集された期間である。また、時間軸ｔにおいて「撮像プロトコルｐ２」に対応する行にバーが表示されている期間は、撮像プロトコルｐ２でＸ線画像が収集された期間である。また、表示領域Ｒ１１２の時間Ｔｐは、ユーザにより選択された時間であり、例えばユーザが注目する時間である。例えば、ユーザは、マウスを用いたクリック操作やタッチパネルに対するタップ操作等により、表示領域Ｒ１１２の時間軸ｔにおいて時間Ｔｐを選択することができる。
【0048】
表示領域Ｒ１２では、時間Ｔｐの検査情報の表示が行なわれる。具体的には、表示領域Ｒ１２には、表示領域Ｒ１２１及び表示領域Ｒ１２２が含まれる。表示領域Ｒ１２１には、例えば、時間Ｔｐに撮像されたＸ線画像が表示される。また、表示領域Ｒ１２２には、表示領域Ｒ１２１に表示されたＸ線画像の撮像条件が表示される。Ｘ線画像の撮像条件の例としては、管電圧値、管電流値、アームポジション、造影条件などが挙げられる。
【0049】
表示領域Ｒ１３では、複数の生体情報データが時系列的に表示されている。具体的には、表示領域Ｒ１３には、表示領域Ｒ１３１、表示領域Ｒ１３２及び表示領域Ｒ１３３が含まれる。表示領域Ｒ１３１には、グラフＧ１及びグラフＧ２が時間軸ｔに対応付けて表示されている。また、表示領域Ｒ１３２には、グラフＧ３が時間軸ｔに対応付けて表示されている。グラフＧ１、グラフＧ２及びグラフＧ３は、互いに異なる生体情報データに対応する。表示領域Ｒ１３１の時間軸ｔと、表示領域Ｒ１３２の時間軸ｔとは互いに異なる時間範囲を示すものであってもよい。なお、生体情報データの表示方法についてはグラフに限定されるものではない。例えば、表示領域Ｒ１３３において、生体情報データを文字や表で表示させてもよい。
【0050】
表示領域Ｒ１４では、時間Ｔｐの検査の関連情報の表示が行なわれる。具体的には、表示領域Ｒ１４には、表示領域Ｒ１４１、表示領域Ｒ１４２、表示領域Ｒ１４３、表示領域Ｒ１４４及び表示領域Ｒ１４５が含まれる。具体的には、表示領域Ｒ１４１には時間Ｔｐの検査室カメラ画像が表示され、表示領域Ｒ１４２には時間Ｔｐの目線カメラ画像が表示されている。時間Ｔｐの検査室カメラ画像は、検査室の壁面や天井に設置されたカメラにより時間Ｔｐに撮像された光学カメラ画像である。時間Ｔｐの目線カメラ画像は、医師や医療従事者といったユーザが装着した目線カメラ（ウェアラブルカメラ）により時間Ｔｐに撮像された光学カメラ画像である。表示領域Ｒ１４に表示される検査の関連情報の表示は、時間Ｔｐを含む期間に実施された手技によるもののみならず、時間Ｔｐを含む期間よりも前に作成された、被検体Ｐに関する情報であってもよい。例えば、表示領域Ｒ１４においては、手技前に予め作成された手技計画が表示される。
【0051】
また、表示領域Ｒ１４３には、事前収集したＸ線ＣＴ画像が表示される。例えば、表示領域Ｒ１４３には、手技の開始前において造影剤を用いて収集された造影ＣＴデータが表示される。
【0052】
また、表示領域Ｒ１４４には、時間Ｔｐまでの被検体Ｐの累積の被曝線量が表示される。表示領域Ｒ１４４に表示される被曝線量は、時間Ｔｐを含む期間に実施された手技によるもののみならず、過去に被検体Ｐに対して実施された手技における被曝線量を累積したものであってもよい。例えば、表示領域Ｒ１４４においては、人体を示す３Ｄモデルが表示されるとともに、当該３Ｄモデル上の各位置に、被曝線量に応じた色が表示される。
【0053】
また、表示領域Ｒ１４５には、カテーテルの走行計画情報が表示される。例えば、表示領域Ｒ１４５には、被検体Ｐにおける治療対象部位を含む血管画像が表示される。このような血管画像は、造影剤を注入した状態の被検体Ｐから収集されたコントラスト画像と、造影剤を注入していない状態の被検体Ｐから収集されたマスク画像とを差分することで収集することができる。また、このような血管画像は、Ｘ線診断装置１１により収集されてもよいし、他の装置（例えばＸ線ＣＴ装置やＭＲＩ装置）により収集されてもよい。そして、カテーテルの走行計画情報として、血管画像上に、治療対象部位に至るまでの経路を表示することができる。
【0054】
このように、近年では、手技に関する情報の利用が更に推進されている。ここで、手技に関する情報の量や種類については、充実している方が好ましい。そこで、医用情報処理システム１における医用情報処理装置３０は、手技に関する第１の情報を収集し、更に、第１の情報に基づいて、手技に関する第２の情報の収集を行なうことにより、手技に関する情報の利用を支援する。
【0055】
具体的には、まず、医用情報処理装置３０の処理回路３４が備える第１の収集機能３４ａは、被検体Ｐに対する手技に関する第１の情報を、時間情報に対応付けて収集する。
【0056】
第１の情報の例には、Ｘ線診断装置１１等の医用画像診断装置１０により撮像された医用画像が含まれる。この場合、第１の収集機能３４は、医用画像診断装置１０により撮像された医用画像を、当該医用画像が撮像された時点を示す時間情報と対応付けて、医用画像診断装置１０から収集する。或いは、第１の収集機能３４は、ＰＡＣＳ等のシステムに登録された医用画像及び対応する時間情報を、ネットワークＮＷを介して収集してもよい。即ち、第１の収集機能３４は、医用画像及び対応する時間情報を保管装置２０から収集してもよい。なお、第１の収集機能３４により収集される医用画像は、静止画像であってもよいし、動画像であってもよい。医用画像が動画像である場合、動画像における各フレームに対して時間情報が対応付けられる。
【0057】
第１の情報の例には、医用画像診断装置１０により撮像された医用画像の撮像条件が含まれる。例えば、Ｘ線診断装置１１がＸ線画像を撮像する際には、管電圧値や管電流値、アームポジションといった撮像条件が設定される。第１の収集機能３４は、このような医用画像の撮像条件を、当該医用画像が撮像された時点を示す時間情報と対応付けて、医用画像診断装置１０から直接的に又は保管装置２０を介して収集する。なお、医用画像診断装置１０により被検体Ｐの血管造影画像が撮像される場合、撮像条件には、造影条件が含まれる。第１の収集機能３４は、医用画像の撮像条件が付帯情報として付加された医用画像を収集することとしてもよい。
【0058】
第１の情報の他の例には、被検体Ｐの心電図や、脈拍数、心拍数、呼吸数、血圧、体温、血液ガスの測定値、灌流指標(Perfusion Index：ＰＩ)といった生体情報データが含まれる。この場合、第１の収集機能３４は、生体情報データ及び対応する時間情報を、当該生体情報データを計測した装置からネットワークＮＷを介して収集する。なお、血液ガスの測定値は、血液中に含まれるガスの量やｐＨに関する測定値であり、一例としては動脈血酸素飽和度(ＳｐＯ２)を挙げることができる。
【0059】
生体情報データは、生体情報データそれぞれに対応した個別の装置により計測されてもよいし、複数種類の生体情報データを同時に計測する装置（ポリグラフ）により計測されてもよい。また、生体情報データは、数値の記録であってもよいし、波形として記録されてもよい。
【0060】
或いは、第１の収集機能３４は、入力インタフェース３１を介してユーザからの入力操作を受け付けることにより、生体情報データ及び対応する時間情報を収集する。或いは、第１の収集機能３４は、ＲＩＳやＨＩＳ等のシステムに登録された生体情報データ及び対応する時間情報を、ネットワークＮＷを介して収集してもよい。即ち、第１の収集機能３４は、生体情報データ及び対応する時間情報を保管装置２０から収集してもよい。
【0061】
第１の情報の他の例には、被検体Ｐに対して投与される薬剤に関する情報が含まれる。例えば、保管装置２０は、薬剤に関する情報として、被検体Ｐに対して投与された薬剤の種類や量、日時といった投与履歴を記録する。この場合、第１の収集機能３４は、薬剤に関する情報及び対応する時間情報を、保管装置２０からネットワークＮＷを介して収集することができる。或いは、第１の収集機能３４は、入力インタフェース３１を介してユーザからの入力操作を受け付けることにより、薬剤に関する情報及び対応する時間情報を収集することができる。
【0062】
第１の情報の他の例には、手技が行われる検査室内で撮像された光学カメラ画像が含まれる。例えば、被検体Ｐに対する手技が行われている間における医師や医療従事者、被検体Ｐの様子を記録するため、検査室の壁面や天井にカメラが設置される場合がある。また、手技が行われている間において、医師や医療従事者は、目線カメラを装着する場合がある。第１の収集機能３４は、このようなカメラにより撮像された光学カメラ画像を、当該光学カメラ画像が撮像された時点を示す時間情報と対応付けて、当該カメラから直接的に又は保管装置２０を介して収集する。なお、第１の収集機能３４により収集される光学カメラ画像は、静止画像であってもよいし、動画像であってもよい。光学カメラ画像が動画像である場合、動画像における各フレームに対して時間情報が対応付けられる。
【0063】
例えば、光学カメラ画像は、医師の手元が撮像された画像である。また、例えば、光学カメラ画像は、当該医師の隣の医師の手元が撮像された画像である。即ち、光学カメラ画像は、第１のユーザの手元が撮像された画像や、第１のユーザとは異なる第２のユーザの手元が撮像された画像である。また、例えば、光学カメラ画像は、被検体Ｐの顔面が撮像された画像である。このような光学カメラ画像によれば、例えば表情や目線、目の動きといった被検体Ｐの反応を示す情報が得られる。また、例えば、光学カメラ画像は、第１のユーザの顔面が撮像された画像や、第２のユーザの顔面が撮像された画像である。このような光学カメラ画像によれば、例えば表情や目線、目の動きといったユーザの反応を示す情報が得られる。
【0064】
第１の情報の他の例には、手技が行われる検査室内で記録された音声が含まれる。例えば、被検体Ｐに対する手技が行われている間における医師や医療従事者の発言内容を記録するため、検査室内には、音声レコーダが設けられる場合がある。第１の収集機能３４は、このような音声レコーダにより記録された音声を、当該音声が記録された時点を示す時間情報と対応付けて、当該音声レコーダから直接的に又は保管装置２０を介して収集する。なお、第１の収集機能３４は、第１の情報として、光学カメラ画像と音声とを一体的に取得してもよい。即ち、第１の収集機能３４は、手技が行われる検査室内で記録された音声を含む動画像を、第１の情報として収集してもよい。
【0065】
上述した第１の情報はあくまで一例であり、手技に関して記録可能な情報であれば第１の情報に含まれる。例えば、第１の収集機能３４ａは、医師等のユーザや、被検体Ｐの挙動の情報、Ｘ線画像の撮影や放射線治療による被検体Ｐの被曝量等を、第１の情報として収集してもよい。挙動の情報は、例えば、ユーザや被検体Ｐを撮像した光学カメラ画像に基づいて、表情や目線、目の動き等を解析することにより取得することができる。また、ユーザが目線カメラを装着している場合、目線カメラにより撮像された光学カメラ画像から当該ユーザの目線を解析することができる。
【0066】
第１の収集機能３４ａは、上述した各種の第１の情報を収集してメモリ３３に記憶させる。ここで、出力機能３４ｃは、第１の収集機能３４ａにより収集された第１の情報を、ディスプレイ３２から出力することができる。
【0067】
被検体Ｐに対する手技の一例として、カテーテルを用いた血管内インターベンション治療が行われるケースについて説明する。この場合、Ｘ線診断装置１１は、手技が行われている間、造影剤を用いて、被検体Ｐの血管が造影された血管造影Ｘ線画像を収集する。また、第１の収集機能３４ａは、Ｘ線診断装置１１により撮像されたＸ線画像やその撮像条件、心電図等の計測結果、検査室内で撮像された光学カメラ画像、検査室内で記録された音声といった第１の情報を、時間情報に対応付けて収集する。そして、出力機能３４ｃは、第１の収集機能３４ａにより収集された第１の情報の一部又は全部を、時間情報に基づいて相互に対応付けた状態で、ディスプレイ３２から出力する。
【0068】
例えば、出力機能３４ｃは、手技が行われている間、撮像されたＸ線画像をディスプレイ３２に順次表示させる。即ち、出力機能３４ｃは、ディスプレイ３２において、Ｘ線画像のリアルタイム表示を行なう。これにより、カテーテルを操作する医師等のユーザは、被検体Ｐの血管の構造や、血管内に挿入したカテーテルの位置や角度を把握しつつ、血管内インターベンション治療を進行することができる。
【0069】
また、出力機能３４ｃは、例えば、時間軸を有する１つのグラフ上に心電図及び血圧を併せて表示させる。当該グラフは、新たに心電図及び血圧の計測が行われるごとに更新される。即ち、出力機能３４ｃは、現在時刻を含む一定の時間範囲内における心電図及び血圧の変遷を、グラフで表示させる。
【0070】
更に、出力機能３４ｃは、指定された過去の時点におけるＸ線画像やその撮像条件、光学カメラ画像、音声などの出力を行なってもよい。例えば、心電図及び血圧のグラフを参照したユーザは、例えば血圧の降下が発生した時点など、入力インタフェース３１を介して注目する時点を指定することができる。これに対して、出力機能３４ｃは、指定された時点において撮像されたＸ線画像やその撮像条件、指定された時点の検査室内の様子を示す光学カメラ画像や音声を出力することができる。これにより、血圧の降下が発生した理由の検討を行なうことができる。
【0071】
次に、第２の収集機能３４ｂによる処理について説明する。第２の収集機能３４ｂは、上述した第１の情報に基づいて、被検体Ｐに対する手技に関する第２の情報を時間情報に対応付けて収集する。
【0072】
例えば、第２の収集機能３４ｂは、手技に関する第２の情報として、手技において使用された医用デバイスを示す情報を収集する。例えば、血管内インターベンション治療においては、血管の狭窄部の近傍までガイドワイヤを挿入し、先端にバルーンが付いたバルーンカテーテルをガイドワイヤに沿って進行させ、狭窄部においてバルーンカテーテルを膨らませることで血管を押し広げ、押し広げた血管にステントを留置する作業が行われる。ここで、第１の情報としてＸ線画像が収集されていた場合、第２の収集機能３４ｂは、Ｘ線画像に基づいて、手技において使用された医用デバイスを示す情報を収集することができる。
【0073】
具体的には、第２の収集機能３４ｂは、Ｘ線画像に描出された医用デバイスの形状に基づいて、各Ｘ線画像が収集された時点で操作されていたデバイスが「ガイドワイヤ」、「バルーンカテーテル」及び「ステント」のいずれであったのかを識別することができる。一例を挙げると、第２の収集機能３４ｂは、時間情報に対応付いた第２の情報として、「時間Ａ１：ガイドワイヤの挿入を開始」、「時間Ａ２：カテーテルの挿入を開始」、「時間Ａ３：バルーン膨張」、「時間Ａ４：ステント留置」といったイベントを収集することができる。
【0074】
また、使用される医用デバイスについては、適宜交換される場合がある。例えば、被検体Ｐの血管内に「径Ｌ１」のカテーテルを挿入した後、より細い血管にカテーテルを進行させるため、「径Ｌ１」のカテーテルに代えて、「径Ｌ１」より細い「径Ｌ２」のカテーテルを血管内に挿入させる場合がある。第２の収集機能３４ｂは、このような医用デバイスが交換されたことを示す情報を、時間情報に対応付けて収集してもよい。例えば、第２の収集機能３４ｂは、時間情報に対応付いた第２の情報として、「時間Ａ５：径Ｌ１のカテーテルを径Ｌ２のカテーテルに交換」といったイベントを収集することができる。
【0075】
ここで、Ｘ線画像のみに基づく解析では、医用デバイスを特定できないケースも想定される。例えば、型番の異なる複数のカテーテルが使用され、Ｘ線画像に基づいてカテーテルが挿入されたことは特定できたものの、挿入されたカテーテルの型番までは特定できないといったケースが想定される。
【0076】
そこで、第２の収集機能３４ｂは、複数種類の第１の情報に基づいて、使用された医用デバイスを示す情報を収集してもよい。例えば、第２の収集機能３４ｂは、手技が行われる検査室内で撮像された光学カメラ画像と、Ｘ線画像とに基づいて、医用デバイスを示す情報を収集する。
【0077】
例えば、Ｘ線画像にカテーテルが描出された際、同時或いは前後の時点の光学カメラ画像に、カテーテルに関する情報が現れている場合がある。例えば、血管内に挿入される前のカテーテルが光学カメラ画像に描出され、描出されたカテーテルの形状や色、或いはカテーテルに付された文字情報等に基づいて、カテーテルの型番を特定できる場合がある。また、例えば、カテーテルの包装が光学カメラ画像に描出され、描出された包装に付された文字情報等に基づいて、カテーテルの型番を特定できる場合がある。
【0078】
このように、第２の収集機能３４ｂは、医用デバイスを示す情報の収集において複数種類の第１の情報を使用することにより、医用デバイスを示す情報の精度及び信頼度を向上させることができる。例えば、Ｘ線画像に基づいてイベント「時間Ａ２：カテーテルの挿入を開始」を収集する例について説明したが、第２の収集機能３４ｂは、Ｘ線画像に加えて光学カメラ画像を更に利用することにより、時間Ａ２において使用されたカテーテルの型番まで特定することが可能である。
【0079】
なお、第２の収集機能３４ｂは、医用デバイスを示す情報の収集において、施設内で使用可能な医用デバイスの登録情報を使用してもよい。例えば、保管装置２０には、被検体Ｐに対する手技が実行される施設において使用可能な状態で管理されている医用デバイスの情報が登録される。例えば、保管装置２０には、施設内で使用可能なカテーテルの型番やＩＤ、製造年月日、径や長さ等の寸法、材質等の情報が登録される。第２の収集機能３４ｂは、光学カメラ画像及びＸ線画像に基づく解析結果を登録情報と比較することにより、医用デバイスを示す情報をより精度良く収集することができる。
【0080】
また、光学カメラ画像とＸ線画像とを用いて医用デバイスを示す情報を収集する例について説明したが、使用する第１の情報の種類については適宜変更が可能である。例えば、カテーテルを使用する際、医師や医療従事者は、当該カテーテルの型番を示す発言を行なう場合がある。例えば、医療従事者から医師に対してカテーテルを手渡す際、手渡すカテーテルが指示されたものであることを確認するため、カテーテルの型番やＩＤ等を医療従事者が発言することが考えられる。この場合、第２の収集機能３４ｂは、音声とＸ線画像とに基づいて、使用された医用デバイスを示す情報を収集することができる。
【0081】
なお、Ｘ線画像や光学カメラ画像、音声等に基づいて医用デバイスを示す情報を収集する具体的な方法については特に限定されるものではない。例えば、第２の収集機能３４ｂは、任意の画像認識技術や音声認識技術により、医用デバイスを示す情報を収集することができる。
【0082】
或いは、第２の収集機能３４ｂは、機械学習の手法により、医用デバイスを示す情報を収集してもよい。例えば、第２の収集機能３４ｂは、画像や音声の入力を受け付けて医用デバイスを特定するように機能付けられた学習済みモデルを事前に取得し、メモリ３３に記憶させておく。なお、当該学習済みモデルは、第２の収集機能３４ｂが生成してもよいし、他の装置において生成された学習済みモデルを、ネットワークＮＷを介して取得してもよい。そして、被検体ＰについてＸ線画像等の第１の情報が収集された際、第２の収集機能３４ｂは、当該第１の情報を学習済みモデルに入力することで、医用デバイスを示す情報を収集することができる。
【0083】
第２の情報の他の例について説明する。まず、カテーテル等の医用デバイスについては、従来、バーコードや識別番号等の識別子により管理されており、医用デバイスが使用される際には当該識別子の読み取りが行われる。これにより、どの医用デバイスがどの時点で持ち出されたのかが記録される。識別子の読み取り情報は、第１の収集機能３４ａにより収集される第１の情報の一例である。
【0084】
ここで、第２の収集機能３４ｂは、光学カメラ画像と読み取り情報とに基づいて、手技において使用された医用デバイスを示す情報を収集してもよい。具体的には、上述した通り、光学カメラ画像に基づいて、医用デバイスを示す情報を収集することが可能である。また、識別子の読み取り情報は、どの医用デバイスがどの時点で持ち出されたのかを示す記録である。これらの情報を組み合わせることにより、第２の収集機能３４ｂは、医用デバイスを示す情報の信頼度を向上させることができる。
【0085】
また、光学カメラ画像に基づいて収集された医用デバイスを示す情報と、識別子の読み取り情報との間には、不整合が生じるケースも想定される。具体的には、識別子の読み取りを行なって医用デバイスを持ち出したものの、被検体Ｐの状態の変化等により、当該医用デバイスが使用されないまま手技が終了するケースがある。また、医用デバイスを持ち出した際、識別子の読み取りの手順を失念するケースも想定される。ここで、第２の収集機能３４ｂは、光学カメラ画像に基づいて医用デバイスを示す情報を収集することで、実際に使用された医用デバイスを特定し、識別子の読み取り情報の修正を行なうこともできる。
【0086】
なお、光学カメラ画像と読み取り情報とを用いて医用デバイスを示す情報を収集する例について説明したが、使用する第１の情報の種類については適宜変更が可能である。例えば、第２の収集機能３４ｂは、音声と読み取り情報とに基づいて、使用された医用デバイスを示す情報を収集することができる。
【0087】
第２の情報の他の例について説明する。上述した通り、第１の収集機能３４ａは、第１の情報として、手技が行われる検査室内で撮像された光学カメラ画像を収集する。ここで、第２の収集機能３４ｂは、第２の情報として、光学カメラ画像のうち手技において使用された医用デバイスが描出された部分を含むクリップ画像を収集してもよい。
【0088】
具体的には、第１の情報として収集された光学カメラ画像をそのまま保管装置２０に記録しておくことも可能ではあるが、一般に光学カメラ画像はデータサイズが大きく、保管装置２０のメモリ容量を圧迫してしまう場合がある。これに対して、光学カメラ画像を後に参照する際に注目されるのは、例えば血管内に挿入したカテーテルを操作する医師の手元など、画像中の一部領域である場合が多い。また、動画像として複数フレームの光学カメラ画像が収集される場合、注目されるのは一部のフレームのみである場合が多い。
【0089】
そこで、第２の収集機能３４ｂは、第１の情報として収集された光学カメラ画像のうち、医用デバイスが描出された部分を含む一部領域を切り出したり、医用デバイスが描出されたフレームを切り出したりしてもよい。言い換えると、第２の収集機能３４ｂは、空間方向及び時間方向の少なくとも一方において、医用デバイスが描出された部分を含むクリップ画像の切り出しを行なってもよい。これにより、データサイズを削減するとともに、光学カメラ画像を後に参照する際の効率を向上させることもできる。
【0090】
第２の情報の他の例について説明する。上述した通り、第２の収集機能３４ｂは、光学カメラ画像に基づいて医用デバイスを示す情報を収集することができる。ここで、当該医用デバイスが被検体Ｐに対して薬剤を投与するために用いられるものであった場合、第２の収集機能３４ｂは、第２の情報として、薬剤の種類を示す情報を収集してもよい。即ち、第１の収集機能３４ａは、第１の情報として、被検体Ｐに対して薬剤を投与するために用いられる医用デバイスが描出された光学カメラ画像を収集し、第２の収集機能３４ｂは、第２の情報として、光学カメラ画像に基づいて薬剤の種類を示す情報を収集してもよい。
【0091】
例えば、手技中に被検体Ｐに対して薬剤を投与するため、三方活栓が使用される場合がある。三方活栓は、複数の注入口を有する医用デバイスであり、各注入口から複数種類の薬剤を注入することで、薬剤を混合しながら被検体Ｐに対して投与することができる。ここで、三方活栓においては、一般に、注入口ごとに注入される薬剤の種類が決まっている。そこで、第２の収集機能３４ｂは、光学カメラ画像において、三方活栓のうち薬剤が注入されている注入口を特定することにより、被検体Ｐに対して投与されている薬剤の種類を推定することができる。一例を挙げると、第２の収集機能３４ｂは、時間情報に対応付いた第２の情報として、「時間Ａ６：薬剤Ｂ１を投与」、「時間Ａ７：薬剤Ｂ２を投与」といったイベントを収集することができる。
【0092】
第２の情報の他の例について説明する。上述した通り、第１の収集機能３４ａは、第１の情報として、手技が行われる検査室内で記録された音声を収集することができる。第２の収集機能３４ｂは、当該音声に基づいて、薬剤の種類を示す情報を収集してもよい。即ち、薬剤の投与を行なう際には、被検体Ｐに対して投与する薬剤名を、薬剤の投与を実行するユーザが確認のために読み上げたり、薬剤の投与を実行するユーザに対して指示したりする場合がある。第２の収集機能３４ｂは、このような音声を解析することにより、薬剤の種類を示す情報を収集することができる。
【0093】
第２の収集機能３４ｂにより収集された第２の情報は、上述した第１の情報と同様にして、出力機能３４ｃにより出力される。ここで、出力機能３４ｃは、第１の情報と第２の情報とを併せて表示させてもよい。
【0094】
例えば、第２の収集機能３４ｂは、上述した通り、時間情報に対応付いた第２の情報として、「時間Ａ１：ガイドワイヤの挿入を開始」、「時間Ａ２：カテーテルの挿入を開始」、「時間Ａ３：バルーン膨張」、「時間Ａ４：ステント留置」、「時間Ａ５：径Ｌ１のカテーテルを径Ｌ２のカテーテルに交換」、「時間Ａ６：薬剤Ｂ１を投与」、「時間Ａ７：薬剤Ｂ２を投与」といったイベントを収集することができる。例えば、第２の収集機能３４ｂは、時間軸を有する１つのグラフ上に心電図や血圧などの第１の情報を表示させ、更に、グラフ上の対応する時刻に、第２の情報として特定した各イベントを表示させることができる。
【0095】
上述した通り、第１の実施形態に係る医用情報処理装置３０は、第１の収集機能３４ａと、第２の収集機能３４ｂとを備える。第１の収集機能３４ａは、被検体Ｐに対する手技に関する第１の情報を時間情報に対応付けて収集する。第２の収集機能３４ｂは、第１の情報に基づいて、手技に関する第２の情報を時間情報に対応付けて収集する。これにより、医用情報処理装置３０は、被検体に対する手技に関する情報の利用を支援することができる。即ち、医用情報処理装置３０は、Ｘ線診断装置１１や心電計、血圧計、カメラ等の装置によって収集された１次的な情報である第１の情報のみならず、第１の情報に基づく第２の情報を収集する。これにより、医用情報処理装置３０は、手技に関する情報の種類や量を充実させたり、精度を向上させたりすることができる。
【0096】
（第２の実施形態）
第２の実施形態では、表示例の説明を行なう。以下、第１の実施形態において説明した点については同じ符号を付して、重複する説明を省略する。
第２の実施形態では、表示例の説明を行なう。以下、第１の実施形態において説明した点については同じ符号を付して、重複する説明を省略する。
【0097】
図４に、第２の実施形態に係る医用情報処理システム１の構成例を示す。第２の実施形態に係る医用情報処理システム１は、図１と同様に、医用画像診断装置１０、保管装置２０及び医用情報処理装置３０を備える。また、図４に示すように、第２の実施形態に係る医用情報処理装置３０は、入力インタフェース３１と、ディスプレイ３２と、メモリ３３と、処理回路３５とを有する。
【0098】
処理回路３５は、収集機能３５ａ及び出力機能３５ｂを実行することで、医用情報処理装置３０全体の動作を制御する。収集機能３５ａは、収集部の一例である。出力機能３５ｂは、出力部の一例である。例えば、処理回路３５は、収集機能３５ａに対応するプログラムをメモリ３３から読み出して実行することにより、被検体Ｐに対する手技に関する情報を時間情報に対応付けて収集する。また、処理回路３５は、出力機能３５ｂに対応するプログラムをメモリ３３から読み出して実行することにより、収集機能３５ａにより収集された情報を、対応する時間情報に応じて出力する。
【0099】
なお、図１に示した処理回路３４と、図４に示した処理回路３５とは、適宜統合してもよい。例えば、収集機能３５ａは、上述した第１の収集機能３４ａ及び第２の収集機能３４ｂに相当する機能を含んでもよい。即ち、収集機能３５ａは、被検体Ｐに対する手技に関する第１の情報を時間情報に対応付けて収集し、第１の情報に基づいて、手技に関する第２の情報を時間情報に対応付けて収集してもよい。
【0100】
出力機能３５ｂは、収集機能３５ａにより収集された手技に関する情報を出力する。例えば、血管内インターベンション治療が行われている間、Ｘ線診断装置１１は、造影剤を用いて、被検体Ｐの血管が造影されたＸ線画像を順次収集する。また、収集機能３５ａは、新たに収集されたＸ線画像を、Ｘ線診断装置１１から直接的に、或いは保管装置２０を介して、順次収集する。また、出力機能３５ｂは、収集機能３５ａにより新たに収集されたＸ線画像を、ディスプレイ３２に順次表示させる。即ち、出力機能３５ｂは、ディスプレイ３２においてＸ線画像のリアルタイム表示を行なう。
【0101】
ここで、医師等のユーザは、過去に収集された情報を参照しようとする場合がある。一例として、図５Ａに示すように、血管内インターベンション治療が開始された時点を時間Ｔ１１、ステントの留置が行われる前の時点を時間Ｔ１２、現在時刻を時間Ｔ１３として説明する。
【0102】
例えば、時間Ｔ１３において、ユーザは、ステントを留置したことによる血流の変化を確認するため、ステントが留置される前のＸ線画像の表示を希望する場合がある。ここで、収集機能３５ａは、上述した第２の収集機能３４ｂと同様、第２の情報として、手技において使用された医用デバイスを示す情報を、時間情報に対応付けて収集することができる。例えば、収集機能３５ａは、時間情報に対応付いた第２の情報として、「時間Ａ４：ステント留置」のようなイベントを収集しておくことができる。この場合、出力機能３５ｂは、時間Ａ４の直前に収集されたＸ線画像を、ステントが留置される前の時点である時間Ｔ１２のＸ線画像として表示させることができる。
【0103】
出力機能３５ｂによる表示例を図５Ｂ及び図５Ｃに示す。図５Ｂ及び図５Ｃでは、ディスプレイ３２の表示画面上に、表示領域Ｒ２１、表示領域Ｒ２２、表示領域Ｒ２３、表示領域Ｒ２４、表示領域Ｒ２５及び表示領域Ｒ２６が設けられている。
【0104】
また、図５Ｂでは、表示領域Ｒ２１において、時間Ｔ１３のＸ線画像が表示されている。即ち、出力機能３５ｂは、表示領域Ｒ２１においてＸ線画像のリアルタイム表示を行なっている。併せて、出力機能３５ｂは、表示領域Ｒ２３において時間Ｔ１３のデータＥ１を表示させ、表示領域Ｒ２４において時間Ｔ１３のデータＥ２を表示させている。即ち、出力機能３５ｂは、表示領域Ｒ２３及び表示領域Ｒ２４において、現在時刻における被検体ＰのデータＥ１及びデータＥ２を表示させている。なお、データＥ１及びデータＥ２の具体的な内容について特に限定されるものではないが、一例として、出力機能３５ｂは、データＥ１として心電図を表示させ、データＥ２として血圧を表示させることができる。Ｘ線画像は第１の種類の情報の一例であり、データＥ１及びデータＥ２は第２の種類の情報の一例である。
【0105】
ここで、図５Ｃに示すように、例えばステントを留置したことによる血流の変化を確認するため、ユーザによる指示の下、表示領域Ｒ２１に表示させる画像が「時間Ｔ１２のＸ線画像」に変更されるケースが想定される。このような表示の変更が行われた場合において、図５Ｃに示すように、表示領域Ｒ２３及び表示領域Ｒ２４に時間Ｔ１３の各種データを表示させ続ける場合、表示領域ごとに異なる時点の情報が表示されてしまい、情報を把握しにくくなる。
【0106】
そこで、出力機能３５ｂは、表示領域Ｒ２１に表示させる画像が「時間Ｔ１２のＸ線画像」に変更された場合、表示領域Ｒ２３及び表示領域Ｒ２４に表示させるデータについても時間Ｔ１２のものに変更する。具体的には、出力機能３５ｂは、図５Ｄに示すように、表示領域Ｒ２３における表示内容を「時間Ｔ１２のデータＥ１」に変更し、表示領域Ｒ２４における表示内容を「時間Ｔ１２のデータＥ２」に変更する。これにより、ユーザは、時間Ｔ１２における各種の情報を併せて把握し、また、これらの関係性を検討することもできる。
【0107】
或いは、ステントが留置される前のＸ線画像の表示をユーザが希望した際、出力機能３５ｂは、図５Ｅに示すように、表示領域Ｒ２１には「時間Ｔ１３のＸ線画像」を表示させたまま、表示領域Ｒ２２に「時間Ｔ１２のＸ線画像」を追加で表示させてもよい。この時、出力機能３５ｂは、表示領域Ｒ２３及び表示領域Ｒ２４には時間Ｔ１３の各種データを表示させたまま、表示領域Ｒ２５及び表示領域Ｒ２６に時間Ｔ１２の各種データを表示させることができる。具体的には、出力機能３５ｂは、表示領域Ｒ２３に「時間Ｔ１３のデータＥ１」を表示させ、表示領域Ｒ２４に「時間Ｔ１３のデータＥ２」を表示させ、表示領域Ｒ２５に「時間Ｔ１２のデータＥ１」を表示させ、表示領域Ｒ２６に「時間Ｔ１２のデータＥ２」を表示させることができる。
【0108】
なお、図５Ｅの表示例において、時間Ｔ１３の各種データは画面左側に配置された表示領域Ｒ２１、表示領域Ｒ２３及び表示領域Ｒ２４に表示されている。また、時間Ｔ１２の各種データは画面右側に配置された表示領域Ｒ２２、表示領域Ｒ２５及び表示領域Ｒ２６に表示されている。このように、特定の時間に対応付いた各種データをある程度集めて表示させることにより、各表示領域に表示されたデータがどの時間に対応付いたものなのか、より容易に理解することが可能となる。
【0109】
図５Ｂ～図５Ｅの表示例はあくまで一例であり、種々の変形が可能である。例えば、ステントが留置される前のＸ線画像の表示をユーザが希望した際、出力機能３５ｂは、図５Ｆに示すように、表示領域Ｒ２１には「時間Ｔ１３のＸ線画像」を表示させたまま、表示領域Ｒ２２に「時間Ｔ１２のＸ線画像」を追加で表示させる。更に、出力機能３５ｂは、表示領域Ｒ２７に「時間Ｔ１３のデータＥ１」を表示させ、表示領域Ｒ２８に「時間Ｔ１３のデータＥ２」を表示させる。即ち、図５Ｂ～図５Ｅでは第２の種類の情報として２種類のデータ（データＥ１及びデータＥ２）を表示させる例について説明した。しかしながら、図５Ｆに示す通り、第２の種類の情報として表示させるデータは１種類であってもよい。
【0110】
図５Ｇに他の表示例を示す。図５Ｇにおいて、出力機能３５ｂは、表示領域Ｒ２９に「時間Ｔ１３のＸ線画像」を表示させ、表示領域Ｒ３０に「時間Ｔ１２のＸ線画像」を表示させ、表示領域Ｒ３１に「時間Ｔ１１のＸ線画像」を表示させている。ここで、表示領域Ｒ２９は、表示領域Ｒ３０及び表示領域Ｒ３１よりも大きい表示領域である。また、出力機能３５ｂは、表示領域Ｒ３２において、図５Ａに示した時間軸及び各時点に対応付いたイベントを表示させている。
【0111】
例えば、時間Ｔ１３にユーザが着目している場合、出力機能３５ｂは、表示領域Ｒ２９に「時間Ｔ１３のＸ線画像」を表示させるとともに、比較対象となる「時間Ｔ１２のＸ線画像」及び「時間Ｔ１１のＸ線画像」を、表示領域Ｒ２９よりも小さい表示領域Ｒ３０及び表示領域Ｒ３１に表示させる。また、出力機能３５ｂは、表示領域Ｒ３２の表示により、各Ｘ線画像の時系列的な対応関係を示すこともできる。
【0112】
勿論、表示領域Ｒ２９に表示させるＸ線画像については適宜変更することが可能である。例えば、時間Ｔ１２に注目して観察を行ないたい場合、ユーザは、マウスを用いたクリック操作やタッチパネルに対するタップ操作等により、表示領域Ｒ３２の時間軸上で「時間Ｔ１２」を選択する。この時、出力機能３５ｂは、表示領域Ｒ２９の表示を「時間Ｔ１２のＸ線画像」に変更し、表示領域Ｒ３０の表示を「時間Ｔ１３のＸ線画像」に変更することができる。
【0113】
図５Ｂ～図５Ｇに示した「時間Ｔ１３のＸ線画像」は、第１の種類の情報であって第１の時点を示す時間情報に対応付いた第１の出力情報の一例である。また、「時間Ｔ１３のデータＥ１」及び「時間Ｔ１３のデータＥ２」は、第１の種類と異なる第２の種類の情報であって第１の時点を示す時間情報に対応付いた第２の出力情報の一例である。また、「時間Ｔ１２のＸ線画像」は、第１の種類の情報であって第１の時点と異なる第２の時点を示す時間情報に対応付いた第３の出力情報の一例である。また、「時間Ｔ１２のデータＥ１」及び「時間Ｔ１３のデータＥ２」は、第２の種類の情報であって第２の時点を示す時間情報に対応付いた第４の出力情報の一例である。第３の出力情報及び第４の出力情報を表示させる際には、図５Ｄに示したように第１の出力情報及び第２の出力情報に代えて表示させてもよいし、図５Ｅに示したように第１の出力情報及び第２の出力情報に加えて表示させてもよい。
【0114】
なお、時間Ｔ１２のＸ線画像として、ステントが留置される直前に収集されたＸ線画像を表示させる例について説明したが、実施形態はこれに限定されるものではない。例えば、出力機能３５ｂは、時間Ｔ１２のＸ線画像を、撮像条件を考慮して特定してもよい。即ち、例えば図５Ｅや図５Ｇに示したように、複数の時点におけるＸ線画像を表示させる場合、これらのＸ線画像は、互いに撮像条件が類似しているほど比較しやすい。出力機能３５ｂは、時間Ｔ１３のＸ線画像と比較しやすいＸ線画像を、時間Ｔ１２のＸ線画像として表示させてもよい。この時、時間Ｔ１３のＸ線画像は、第１の時点を示す時間情報に対応付いた第１の医用画像の一例であり、時間Ｔ１２のＸ線画像は、第２の時点を示す時間情報に対応付いた医用画像であって、第１の医用画像と類似した撮像条件で収集された第２の医用画像の一例である。
【0115】
例えば、出力機能３５ｂは、ステントが留置された時間Ａ４より前に収集されたＸ線画像のうち、時間Ｔ１３のＸ線画像とアームポジションが類似したＸ線画像を、時間Ｔ１２のＸ線画像として表示させる。即ち、出力機能３５ｂは、時間Ｔ１２のＸ線画像として、リアルタイム画像と撮影角度や撮影位置が類似したＸ線画像を表示させる。
【0116】
また、例えば、出力機能３５ｂは、ステントが留置された時間Ａ４より前に収集されたＸ線画像のうち、時間Ｔ１３のＸ線画像と位相が類似したＸ線画像を、時間Ｔ１２のＸ線画像として表示させる。即ち、撮影位置によっては、Ｘ線画像は、被検体Ｐの心拍や呼吸といった周期的な動きの影響を受けてしまう場合がある。この場合、表示させる各Ｘ線画像の間で心拍や呼吸の位相を一致させることにより、比較が容易になる。なお、各Ｘ線画像における心拍の位相は、時間情報に基づいて心電図と対応付けを行なうことにより特定できる。また、各Ｘ線画像における呼吸の位相は、時間情報に基づいて呼吸位相の計測結果と対応付けを行なうことにより特定できる。呼吸位相については、例えば深度センサにより被検体Ｐの胸部表面の高さを検出することにより、計測することができる。呼吸位相の計測結果は、手技に関する情報の一例であり、収集機能３５ａによって収集される。
【0117】
また、例えば、出力機能３５ｂは、ステントが留置された時間Ａ４より前に収集されたＸ線画像のうち、時間Ｔ１３のＸ線画像と造影条件が類似したＸ線画像を、時間Ｔ１２のＸ線画像として表示させる。具体的には、血管造影Ｘ線画像においては、造影剤を注入した量や位置、注入後の経過時間等によって、造影される血管の範囲やコントラスト等が変化する。出力機能３５ｂは、時間Ｔ１２のＸ線画像として、リアルタイム画像と造影条件が類似したＸ線画像を表示させることにより、比較を容易にすることができる。造影条件は、手技に関する情報の一例であり、収集機能３５ａによって収集される。
【0118】
上述した通り、第２の実施形態に係る医用情報処理装置３０は、収集機能３５ａと、出力機能３５ｂとを備える。収集機能３５ａは、被検体Ｐに対する手技に関する情報を時間情報に対応付けて収集する。出力機能３５ｂは、手技に関する情報を、対応する時間情報に応じて出力する。これにより、医用情報処理装置３０は、被検体に対する手技に関する情報の利用を支援することができる。
【0119】
なお、図５Ａでは、時間Ｔ１３を現在時刻として、リアルタイム画像である時間Ｔ１３のＸ線画像を表示させる例について説明したが、実施形態はこれに限定されるものではない。即ち、時間Ｔ１３のＸ線画像として、過去画像を表示させてもよい。例えば、手技の終了後、手技の経過を振り返って確認する際に、過去の時点である時間Ｔ１３や時間Ｔ１２のＸ線画像や心電図を表示させることとしてもかまわない。
【0120】
また、出力機能３５ｂによる出力の例として、ディスプレイ３２における表示を行なう例について説明したが、実施形態はこれに限定されるものではない。例えば、図５Ｄや図５Ｅにおいて、時間Ｔ１２のデータを表示させる例について説明した。ここで、時間Ｔ１２のデータの表示に代えて又は加えて、時間Ｔ１２において記録された音声を出力することとしても構わない。音声の出力は、ディスプレイ３２により行われてもよいし、ディスプレイ３２と別体のスピーカーにより行われてもよい。
【0121】
（第３の実施形態）
第３の実施形態では、手技に関する情報を解析してその結果を出力する例について説明する。以下、第１～第２の実施形態において説明した点については同じ符号を付して、重複する説明を適宜省略する。
第３の実施形態では、手技に関する情報を解析してその結果を出力する例について説明する。以下、第１～第２の実施形態において説明した点については同じ符号を付して、重複する説明を適宜省略する。
【0122】
図６に、第３の実施形態に係る医用情報処理システム１の構成例を示す。第３の実施形態に係る医用情報処理システム１は、図１及び図４と同様に、医用画像診断装置１０、保管装置２０及び医用情報処理装置３０を備える。また、図６に示すように、第３の実施形態に係る医用情報処理装置３０は、入力インタフェース３１と、ディスプレイ３２と、メモリ３３と、処理回路３６とを有する。
【0123】
処理回路３６は、収集機能３６ａ、解析機能３６ｂ及び出力機能３６ｃを実行することで、医用情報処理装置３０全体の動作を制御する。収集機能３６ａは、収集部の一例である。解析機能３６ｂは、解析部の一例である。出力機能３６ｃは、出力部の一例である。例えば、処理回路３６は、収集機能３６ａに対応するプログラムをメモリ３３から読み出して実行することにより、被検体Ｐに対する手技に関する情報を時間情報に対応付けて収集する。また、処理回路３６は、解析機能３６ｂに対応するプログラムをメモリ３３から読み出して実行することにより、手技に関する情報に基づく解析を行なう。また、処理回路３６は、出力機能３６ｃに対応するプログラムをメモリ３３から読み出して実行することにより、解析機能３６ｂによる解析結果を出力する。
【0124】
なお、図１に示した処理回路３４と、図４に示した処理回路３５と、図６に示した処理回路３６とは、適宜統合してもよい。例えば、収集機能３６ａは、上述した第１の収集機能３４ａ及び第２の収集機能３４ｂに相当する機能を含んでもよい。即ち、収集機能３６ａは、被検体Ｐに対する手技に関する第１の情報を時間情報に対応付けて収集し、第１の情報に基づいて、手技に関する第２の情報を時間情報に対応付けて収集してもよい。また、例えば、出力機能３６ｃは、上述した出力機能３５ｂに相当する機能を含んでもよい。即ち、出力機能３６ｃは、手技に関する情報を時間情報に応じて出力してもよい。
【0125】
例えば、収集機能３６ａは、手技に関する情報として、被検体Ｐに対して投与される薬剤の種類を示す情報を収集する。例えば、収集機能３６ａは、上述した第２の収集機能３４ｂと同様、被検体Ｐに対して薬剤を投与するために用いられる医用デバイスが描出された光学カメラ画像に基づいて、薬剤の種類を示す情報を収集することができる。或いは、被検体Ｐに対して投与する薬剤がＲＩＳやＨＩＳ等のシステムに登録されている場合、収集機能３６ａは、薬剤の種類を示す情報を当該システムから収集することができる。即ち、収集機能３６ａは、薬剤の種類を示す情報を保管装置２０から収集することができる。
【0126】
解析機能３６ｂは、薬剤の種類を示す情報と、被検体Ｐの被検体情報とに基づいて、被検体Ｐに対する薬剤の適性を解析する。被検体情報の例には、既往歴や禁忌情報が含まれる。より具体的には、被検体情報には、被検体Ｐが罹患している疾患の情報や、被検体Ｐが過去に罹患したことのある疾患及び受けたことのある治療の記録、アレルギー等の体質に関する情報が含まれる。解析機能３６ｂは、被検体情報を保管装置２０から取得してもよいし、入力インタフェース３１を介して被検体情報の入力を受け付けてもよい。例えば、被検体情報は、被検体Ｐが最初に来院した際に問診を行なった結果として、ＨＩＳやＲＩＳ等のシステムに登録される。
【0127】
ここで、被検体Ｐと、被検体Ｐに対して投与されようとしている薬剤との関係が、禁忌（反適応）に該当する場合がある。例えば、一般に使用されている薬剤であっても、特定の疾患を有する患者に対して投与することによって、症状を悪化させてしまったり看過できない副作用を生じてしまったりするケースがあることが知られている。解析機能３６ｂは、収集機能３６ａにより収集された薬剤の種類を示す情報と、被検体Ｐの被検体情報とに基づいて、当該薬剤を被検体Ｐに投与することが禁忌に該当するか否かの判定を行なうことができる。
【0128】
解析機能３６ｂによる解析は、ルールベースで行われてもよいし、機械学習の手法により実現されてもよい。例えば、解析機能３６ｂは、疾患や治療、体質といった項目と薬剤との組み合わせごとに禁忌に該当するか否かを定めたテーブルを用いて、投与されようとしている薬剤の被検体Ｐに対する適性を解析することができる。また、例えば、解析機能３６ｂは、疾患や治療、体質といった項目と薬剤との入力を受け付けてこれらの組み合わせが禁忌に該当するか否かを判定するように機能付けられた学習済みモデルを用いて、投与されようとしている薬剤の被検体Ｐに対する適性を解析することができる。
【0129】
出力機能３６ｃは、解析機能３６ｂによる解析結果を出力する。例えば、解析機能３６ｂによる解析により、被検体Ｐに対して投与されようとしている薬剤が禁忌に該当すると判定された場合、出力機能３６ｃは、当該薬剤が禁忌に該当する旨の報知を行なう。なお、報知は、ディスプレイ３２の表示により行われてもよいし、音声により行われてもよい。通常、禁忌に該当する薬剤を投与するような判断を医師等のユーザが行なうことはないが、出力機能３６ｃが報知を行なうことで、禁忌に該当する薬剤が投与されることをより確実に回避することができる。
【0130】
解析機能３６ｂによる解析の他の例について説明する。例えば、収集機能３６ａは、手技に関する情報として、手技を実行する第１のユーザが第２のユーザに対して行なった指示内容を示す情報と、第２のユーザに関する光学カメラ画像とを収集する。
【0131】
第１のユーザ及び第２のユーザは、手技を実行する医師や医療従事者である。例えば、被検体Ｐに対する手技を複数人で行なう際、主治医から、自分以外の医師や看護師、その他の医療従事者に対して、手技に関する指示が行われる場合がある。この場合、第１のユーザは主治医であり、第２のユーザは指示を受けた医療従事者である。
【0132】
例えば、収集機能３６ａは、第１のユーザが第２のユーザに対して行なった指示内容を示す情報として、検査室内で記録された音声を収集する。また、例えば、収集機能３６ａは、第２のユーザに関する光学カメラ画像として、第２のユーザが装着した目線カメラにより撮像された光学カメラ画像を収集する。或いは、収集機能３６ａは、第２のユーザに関する光学カメラ画像として、検査室の壁面や天井に設置されたカメラにより撮像された光学カメラ画像であって、第２のユーザが描出された光学カメラ画像を収集する。
【0133】
解析機能３６ｂは、第１のユーザが第２のユーザに対して行なった指示内容を示す情報と、第２のユーザに関する光学カメラ画像とに基づいて、第２のユーザの行動の適正さを解析する。具体的には、解析機能３６ｂは、第２のユーザが第１のユーザからの指示に従って行動しているか否かを解析する。
【0134】
一例として、第１のユーザから第２のユーザに対して「薬剤Ｂ３を投与」との指示が行われた場合について説明する。ここで、解析機能３６ｂは、光学カメラ画像に基づいて、例えば第２のユーザが手に持った薬剤の容器に付されたラベルから、当該薬剤が「薬剤Ｂ３」であるか否かを判定することができる。また、例えば、解析機能３６ｂは、上述した第２の収集機能３４ｂと同様、被検体Ｐに対して薬剤を投与するために用いられる医用デバイスが描出された光学カメラ画像に基づいて、第２のユーザが被検体Ｐに対して投与しようとしている薬剤が「薬剤Ｂ３」であるか否かを判定することができる。
【0135】
別の例として、経食道心エコー（transesophageal echocardiography：ＴＥＥ）による超音波画像の収集において、第１のユーザから第２のユーザに対して「食道内の位置Ｃ１から角度Ｃ２でエコーを収集」との指示が行われた場合について説明する。ここで、解析機能３６ｂは、超音波プローブを操作する第２のユーザの手元が描出された光学カメラ画像に基づいて、超音波プローブが第１のユーザからの指示に沿った位置及び角度になっているか判定することができる。なお、解析機能３６ｂによる第２のユーザの行動の適正さの解析は、ルールベースで行われてもよいし、機械学習の手法により実現されてもよい。
【0136】
出力機能３６ｃは、解析機能３６ｂによる解析結果を出力する。例えば、解析機能３６ｂによる解析により、第２のユーザが第１のユーザからの指示に従って行動していないと判定された場合、出力機能３６ｃは、第２のユーザに対して、第１のユーザからの指示と異なっている旨の報知を行なう。例えば、出力機能３６ｃは、第２のユーザに対して、「薬剤Ｂ３を投与してください」、「超音波プローブをもっと口腔よりの位置にずらしてください」といったコメントを提供することができる。或いは、出力機能３６ｃは、第１のユーザに対して、第２のユーザが指示と異なる行動を取っている旨の報知を行なう。報知は、ディスプレイ３２の表示により行われてもよいし、音声により行われてもよい。このような報知を行なうことにより、指示内容の誤認をより確実に回避することができる。
【0137】
解析機能３６ｂによる解析の他の例について説明する。例えば、収集機能３６ａは、手技に関する情報として、第１のユーザ及び第２のユーザに関する光学カメラ画像を収集する。なお、第１のユーザ及び第２のユーザは、上述した通り、手技を実行する医師や医療従事者である。
【0138】
例えば、収集機能３６ａは、第１のユーザ及び第２のユーザに関する光学カメラ画像として、第１のユーザが装着した目線カメラにより撮像された光学カメラ画像と、第２のユーザが装着した目線カメラにより撮像された光学カメラ画像とを収集する。或いは、収集機能３６ａは、第１のユーザ及び第２のユーザに関する光学カメラ画像として、検査室の壁面や天井に設置されたカメラにより撮像された光学カメラ画像であって、第１のユーザ及び第２のユーザが描出された光学カメラ画像を収集する。
【0139】
解析機能３６ｂは、光学カメラ画像に基づいて、第１のユーザ及び第２のユーザそれぞれの視界を推定する。例えば、第１のユーザ及び第２のユーザのそれぞれが装着した目線カメラによる光学カメラ画像が収集された場合、解析機能３６ｂは、当該光学カメラ画像の中央を含む一定の範囲を、第１のユーザ及び第２のユーザそれぞれの視界として推定することができる。また、壁面や天井に設置されたカメラによる光学カメラ画像が収集された場合、解析機能３６ｂは、各ユーザの目の位置及び目線方向から注視点を推定することで、注視点を含む一定の範囲を、第１のユーザ及び第２のユーザそれぞれの視界として推定することができる。
【0140】
次に、解析機能３６ｂは、被検体Ｐに関する情報であって、第１のユーザと第２のユーザとのいずれか一方の視界にのみ含まれる情報を解析する。以下では一例として、被検体Ｐに対する外科手術が行われるケースについて説明する。例えば、第１のユーザが被検体Ｐにおける出血箇所の縫合を行なっている場合において、第１のユーザの視界には含まれないものの第２のユーザの視界には含まれる位置に、別の出血箇所があるケースが想定される。この時、第１のユーザが縫合を進めている出血箇所よりも第２のユーザの視界にのみ含まれる出血箇所の方が重篤であったり、第２のユーザの視界にのみ含まれる出血箇所を第１のユーザが認識していなかったりする可能性がある。なお、出血箇所は、被検体Ｐに関する情報の一例である。第１のユーザと第２のユーザとのいずれか一方の視界にのみ含まれる情報の解析は、ルールベースで行われてもよいし、機械学習の手法により実現されてもよい。
【0141】
出力機能３６ｃは、解析機能３６ｂによる解析結果として、第２のユーザの視界にのみ含まれる出血箇所がある旨を出力する。例えば、出力機能３６ｃは、第２のユーザの視界にのみ含まれる出血箇所がある旨を、第１のユーザに対して報知する。これにより、出血箇所への対処を効率化したり、出血箇所の見落としを予防したりすることができる。また、出力機能３６ｃは、第２のユーザが装着した目線カメラによる光学カメラ画像を、ディスプレイ３２に表示させてもよい。これにより、検査室内のユーザ間において、出血箇所の情報を共有することができる。或いは、出力機能３６ｃは、第２のユーザの視界にのみ含まれる出血箇所があった旨を、時間情報に対応付けて、メモリ３３に記録したり、保管装置２０に記録させたりしてもよい。
【0142】
解析機能３６ｂによる解析の他の例について説明する。例えば、収集機能３６ａは、手技に関する情報として、血管内インターベンション治療において被検体Ｐの血管内に挿入された医用デバイスを含む範囲を対象として撮像された医用画像と、前記医用デバイスを操作するユーザに関する光学カメラ画像とを収集する。
【0143】
例えば、血管内インターベンション治療においては、ガイドワイヤやカテーテル、ステントといった医用デバイスが被検体Ｐの血管内に挿入され、医師等のユーザにより操作される。ここで、血管内に挿入された医用デバイスの位置や角度を把握するため、例えばＸ線診断装置１１によるＸ線画像が適宜収集される。収集機能３６ａは、このようなＸ線画像を、被検体Ｐの血管内に挿入された医用デバイスを含む範囲を対象として撮像された医用画像として収集する。また、収集機能３６ａは、ユーザに関する光学カメラ画像として、当該ユーザが装着した目線カメラにより撮像された光学カメラ画像や、検査室の壁面や天井に設置されたカメラにより撮像された光学カメラ画像を収集する。
【0144】
解析機能３６ｂは、医用画像と光学カメラ画像に基づいて、ユーザによる医用デバイスの操作の適正さを解析する。例えば、ガイドワイヤは、ユーザによる操作に応じて、先端から一定の長さの部分を屈曲させることができる。この時、先端が屈曲した状態のガイドワイヤを急激に回転させることは、被検体Ｐの血管への負担となって好ましくない。そこで、解析機能３６ｂは、医用画像に基づいてガイドワイヤの先端部分の屈曲の度合いを推定し、光学カメラ画像に基づいてガイドワイヤの回転速度を推定することにより、血管への負担が大きいと判定した場合には、ユーザによる医用デバイスの操作が適正でなかったと判定する。なお、医用デバイスの操作の適正さの解析は、ルールベースで行われてもよいし、機械学習の手法により実現されてもよい。
【0145】
出力機能３６ｃは、解析機能３６ｂによる解析結果を出力する。例えば、ガイドワイヤの操作において血管への負担が大きい操作が行われたと判定された際、出力機能３６ｃは、よりガイドワイヤの操作を丁寧に行なうようユーザに対して報知することができる。報知は、ディスプレイ３２の表示により行われてもよいし、音声により行われてもよい。或いは、出力機能３６ｃは、適正でない操作が行われた旨を、その操作が行われた時間情報に対応付けて、メモリ３３に記録したり、保管装置２０に記録させたりしてもよい。
【0146】
解析機能３６ｂによる解析の他の例について説明する。例えば、収集機能３６ａは、手技に関する情報として、血管内インターベンション治療において被検体Ｐの血管内に挿入された医用デバイスを含む範囲を対象として撮像された医用画像を収集する。当該医用画像は、例えば、Ｘ線診断装置１１により収集されたＸ線画像である。
【0147】
ここで、血管内インターベンション治療のために被検体Ｐの体内に挿入したガイドワイヤ等の医用デバイスに加えて、他の対象物がＸ線画像に現れるケースがある。例えば、現在の血管内インターベンション治療を行なっている病院とは異なる病院において過去に被検体Ｐの体内に配置された医用デバイスが、リアルタイムのＸ線画像に現れるケースがある。
【0148】
以下、現在行われている血管内インターベンション治療のために被検体Ｐの体内に挿入される医用デバイスを、第１の医用デバイスとする。また、現在行われている血管内インターベンション治療とは別の手技において被検体Ｐの体内に配置された医用デバイスを、第２の医用デバイスとする。第２の医用デバイスは、第１の医用デバイスとは異なる対象物の一例である。第２の医用デバイスは、別の病院での手技によるものであったり、被検体Ｐの体内に配置されてから長い時間が経過していたりする場合がある。これにより、第２の医用デバイスに関する情報が、ＲＩＳやＨＩＳ等のシステムに登録されていない場合がある。
【0149】
ここで、解析機能３６ｂは、医用画像と、第１の医用デバイスの仕様情報とに基づいて、第２の医用デバイスを解析する。例えば、第１の医用デバイスがガイドワイヤである場合、先端の屈曲可能な部分の長さは既知の仕様情報である。解析機能３６ｂは、ＲＩＳやＨＩＳ等のシステムに登録されたガイドワイヤの仕様情報を取得し、或いは入力インタフェース３１を介してガイドワイヤの仕様情報の入力を受け付けることができる。
【0150】
そして、解析機能３６ｂは、ガイドワイヤの先端の屈曲可能な部分の長さを基準として、第２の医用デバイスを解析する。例えば、第２の医用デバイスが過去に被検体Ｐの血管内に留置されたステントである場合、解析機能３６ｂは、ガイドワイヤの先端の屈曲可能な部分の長さを基準として、ステントの長さや幅、ストラットの粗さ等の寸法を計測することができる。更に、解析機能３６ｂは、計測した寸法から、被検体Ｐの血管内に留置されているステントの種類（例えば型番やメーカなど）を推定することができる。
【0151】
なお、Ｘ線画像のみに基づいて、第２の医用デバイスの解析を行なうことも可能ではある。但し、２次元のＸ線画像においては、描出された第２の医用デバイスの奥行き方向の位置を特定することが難しい。また、Ｘ線画像においては、奥行き方向の位置に応じて第２の医用デバイスの拡大率が変化してしまう。このため、第２の医用デバイスの解析においては、例えばガイドワイヤの先端の屈曲可能な部分の長さなど、基準となる情報を用いることが好ましい。
【0152】
第１の医用デバイスとは異なる対象物の例として第２の医用デバイスについて説明したが、実施形態はこれに限定されるものではない。例えば、被検体Ｐの血管や疾患を対象物として、上述の実施形態を適用することも可能である。即ち、解析機能３６ｂは、例えばガイドワイヤの先端の屈曲可能な部分の長さなどを基準として、被検体Ｐの血管や疾患の寸法を計測したり、その種類を推定したりすることができる。解析機能３６ｂによる対象物の解析は、ルールベースで行われてもよいし、機械学習の手法により実現されてもよい。
【0153】
出力機能３６ｃは、解析機能３６ｂによる解析結果として、対象物の寸法や種類を出力する。例えば、対象物がステントである場合、出力機能３６ｃは、計測したステントの寸法や、ステントの種類の計測結果などをユーザに対して報知する。或いは、出力機能３６ｃは、対象物の寸法や種類を、メモリ３３に記録したり、保管装置２０に記録させたりしてもよい。例えば、第２の医用デバイスに関する情報がＨＩＳやＲＩＳ等のシステムに登録されていない場合、出力機能３６ｃは、第２の医用デバイスに関する情報の登録を行なう。
【0154】
また、例えば、出力機能３６ｃは、解析機能３６ｂによる解析結果に基づいて、対象物に関する登録情報を更新してもよい。例えば、手技に関する被検体Ｐの血管や、手技の対象となっている疾患については、事前に収集されたＸ線ＣＴ画像等に基づいて解析が行われ、その寸法や種類がＨＩＳやＲＩＳ等のシステムに登録されている場合がある。ここで、上述した解析機能３６ｂによる血管や疾患の解析が行われた場合、出力機能３６ｃは、ＨＩＳやＲＩＳ等のシステムにおける登録情報を更新してもよい。事前の解析が適切なものであったとしても、血管や疾患の状態は時間経過により変化するため、その登録情報については新しい情報で更新することが好ましい。
【0155】
解析機能３６ｂによる解析の他の例について説明する。例えば、収集機能３６ａは、手技に関する情報として、血管内インターベンション治療において被検体Ｐの血管内に挿入された医用デバイスを含む範囲を対象として撮像された医用画像を収集する。当該医用画像は、例えば、Ｘ線診断装置１１により収集されたＸ線画像である。
【0156】
ここで、上述したように、血管内インターベンション治療のために被検体Ｐの体内に挿入したガイドワイヤ等の第１の医用デバイスに加えて、第１の医用デバイスとは異なる第２の医用デバイスがＸ線画像に現れるケースがある。解析機能３６ｂは、上述したように、医用画像と、第１の医用デバイスの仕様情報とに基づいて、第２の医用デバイスを解析する。例えば、第２の医用デバイスが過去に被検体Ｐの血管内に留置されたステントである場合、解析機能３６ｂは、ガイドワイヤの先端の屈曲可能な部分の長さを基準として、ステントの長さや幅、ストラットの粗さ等の寸法を計測したり、ステントの種類を推定したりする。
【0157】
更に、解析機能３６ｂは、第２の医用デバイスの解析結果に応じて、血管内インターベンション治療で使用する第３の医用デバイスを選択する。即ち、解析機能３６ｂは、過去の治療において既に埋め込まれている第２の医用デバイスの寸法や種類に応じて、現在の血管内インターベンション治療において使用する第３の医用デバイスを選択する。
【0158】
以下、解析機能３６ｂによる解析の結果、第２の医用デバイスが種類Ｄ１のステントであった場合について説明する。また、現在の血管内インターベンション治療が、被検体Ｐの血管の狭窄部にステントを留置する手技である場合について説明する。ここで、現在の血管内インターベンション治療において、狭窄部に留置するステントの種類には候補がある場合がある。以下、現在の血管内インターベンション治療で使用するステントの候補として、種類Ｄ２のステントと種類Ｄ３のステントとがある場合について説明する。この場合、解析機能３６ｂは、既に埋め込まれている種類Ｄ１のステントと共に使用する第３の医用デバイスとして、種類Ｄ２のステントと種類Ｄ３のステントとのどちらが好適であるかの判定を行なう。
【0159】
例えば、ＨＩＳやＲＩＳ等のシステムには、臨床成績として、種類Ｄ１のステントと種類Ｄ２のステントとが埋め込まれた患者、及び、種類Ｄ１のステントと種類Ｄ３のステントとが埋め込まれた患者について、予後が記録されている場合がある。解析機能３６ｂは、このような臨床成績から、既に種類Ｄ１のステントが埋め込まれている被検体Ｐについて、種類Ｄ２のステントを使用した場合と種類Ｄ３のステントを使用した場合とでどちらの予後が良くなるかを推定し、また、使用するステントを選択することができる。解析機能３６ｂによる第３の医用デバイスの選択は、ルールベースで行われてもよいし、機械学習の手法により実現されてもよい。
【0160】
出力機能３６ｃは、解析機能３６ｂによる解析結果を出力する。例えば、出力機能３６ｃは、解析機能３６ｂが選択した第３の医用デバイスをユーザに対して報知する。例えば、上述したように、臨床成績として記録されていた各患者の予後に基づいて第３の医用デバイスの選択が行われていた場合、出力機能３６ｃは、解析機能３６ｂが選択した第３の医用デバイスを使用することで被検体Ｐの予後がどの程度改善されると見込まれるか、ユーザに対して更に報知してもよい。ユーザとしては、解析機能３６ｂによる解析結果を参考情報としつつ、使用する第３の医用デバイスを決定することができる。
【0161】
解析機能３６ｂによる解析の他の例について説明する。例えば、収集機能３６ａは、手技に関する情報として、被検体Ｐの血管が造影された医用画像を順次収集する。当該医用画像は、例えば、血管内インターベンション治療においてＸ線診断装置１１により撮像されたＸ線画像である。以下、血管が造影された医用画像であって、収集機能３６ａにより最後に収集されたＸ線画像を、血管透視画像とも記載する。血管透視画像は、現時点或いはその直前における被検体Ｐの血流状態を示すリアルタイム画像である。
【0162】
解析機能３６ｂは、手技の目的に応じて、血管透視画像における血流状態を解析する。例えば、解析機能３６ｂは、血管透視画像を、過去に収集された血管造影画像である過去画像と比較する。過去画像の例としては、手技の開始前に収集されたＸ線ＣＴ画像やＭＲＩ画像、手技中における過去の時点でＸ線診断装置１１により収集されたＸ線画像等を挙げることができる。
【0163】
血管透視画像と過去画像とで血管を比較した際、血管の本数や太さが変化しているケースが想定される。例えば、被検体Ｐに対する手技が血管の狭窄部を拡張するものであった場合、手技の結果として、当該狭窄部の下流の血管まで造影剤が流れるようになり、血管の本数や太さが増加する場合がある。また、例えば、狭窄部を拡張する手技を行なった際、狭窄部の近傍のプラークが砕けて下流に流れて詰まってしまい、血管の本数や太さが減少する場合がある。また、例えば、過去画像を撮像してから血管透視画像が撮像されるまでの間に狭窄部の状態が悪化した結果、血管の本数や太さが減少する場合がある。
【0164】
このように、血管透視画像と過去画像との間で血管の本数や太さが変化した場合であっても、手技の目的通りの変化である場合と、意図しない変化である場合とがある。解析機能３６ｂは、血管透視画像と過去画像との間で血管の本数や太さが変化し、且つ、その変化が手技の目的に合致したものでない場合、血流状態の意図しない変化として特定する。解析機能３６ｂによる血流状態の意図しない変化の特定は、ルールベースで行われてもよいし、機械学習の手法により実現されてもよい。
【0165】
出力機能３６ｃは、解析機能３６ｂによる解析結果として、特定された血流状態の意図しない変化を出力する。例えば、出力機能３６ｃは、解析機能３６ｂにより特定された血流状態の意図しない変化をユーザに対して報知したり、メモリ３３や保管装置２０に記憶させたりする。
【0166】
なお、過去画像との間で血流状態を比較する場合について説明したが、比較の対象は過去画像に限定されるものではない。例えば、Ｘ線ＣＴ画像等の過去画像に基づいて治療計画を立てる際には、治療が成功した場合に期待される血流状態が推定される。解析機能３６ｂは、血管透視画像における血流状態を、治療が成功した場合に期待される血流状態と比較して、血流状態の意図しない変化を特定してもよい。
【0167】
また、例えば、解析機能３６ｂは、心電図に基づいて、血流状態の意図しない変化を特定してもよい。例えば、被検体Ｐに対する手技が血管の狭窄部を拡張するものであった場合、血流量が増えた結果として、心電図において異常波形が検出される場合がある。解析機能３６ｂは、心電図において異常波形が検出された際の血管透視画像における血流状態を、血流状態の意図しない変化として特定してもよい。
【0168】
解析機能３６ｂによる解析の他の例について説明する。例えば、収集機能３６ａは、手技に関する情報として、時系列情報を収集する。時系列情報は、例えば心電図や血圧など、時間方向に連続的に収集される情報である。
【0169】
解析機能３６ｂは、時系列情報における変動を検出する。例えば、解析機能３６ｂは、心電図における異常波形や、心拍数の急激な増加乃至は減少などを、変動として検出する。また、例えば、解析機能３６ｂは、血圧の急激な増加乃至は減少などを、変動として検出する。
【0170】
更に、解析機能３６ｂは、手技に関して被検体Ｐに対して行なわれた処置の情報に応じて、検出した変動を解析する。例えば、被検体Ｐに対して特段の処置が行われていない時間帯において血圧の急激な低下が発生した場合、解析機能３６ｂは、血圧の急激な低下を、時系列情報の意図しない変動として特定する。
【0171】
一方で、血圧の急激な低下が発生した場合において、その直前に投薬等の処置が行われているケースが想定される。また、薬剤の中には、例えば心臓の負担の軽減を目的として、血圧を低下させるために投与されるものがある。このように、被検体Ｐに対して行なわれた処置の結果として血圧の低下が発生した場合、解析機能３６ｂは、意図しない変動ではないと判定する。なお、投薬等の処置の直後に発生した変動であっても、解析機能３６ｂは、処置や変動の具体的な内容に応じて、意図しない変動であると判定してもよい。例えば、血圧を低下させるための薬剤が投与されたのに血圧が上昇していたり、目標を大幅に下回る値まで血圧が低下したりした場合には、解析機能３６ｂは、意図しない変動として特定してもよい。解析機能３６ｂによる時系列情報の意図しない変動の特定は、ルールベースで行われてもよいし、機械学習の手法により実現されてもよい。
【0172】
出力機能３６ｃは、解析機能３６ｂによる解析結果として、特定された時系列情報の意図しない変動を出力する。例えば、出力機能３６ｃは、解析機能３６ｂにより特定された時系列情報の意図しない変動をユーザに対して報知したり、メモリ３３や保管装置２０に記憶させたりする。
【0173】
なお、被検体Ｐに対して行なわれた処置の情報は、手技に関する情報の一例である。例えば、処置の情報は、ユーザによる入力操作に基づいて、ＨＩＳやＲＩＳ等のシステムに登録される。別の例を挙げると、収集機能３６ａは、検査室内で撮像された光学カメラ画像に基づいて、被検体Ｐに対して行なわれた処置の情報を収集してもよい。
【0174】
また、被検体Ｐに対して行なわれた処置の例として投薬について説明したが、実施形態はこれに限定されるものではない。被検体Ｐに対して行なわれた処置の他の例としては、血管内に挿入された医用デバイスの操作や、造影剤の注入、切開や穿刺といった外科処置等が挙げられる。
【0175】
解析機能３６ｂによる解析の他の例について説明する。例えば、収集機能３６ａは、手技に関する情報として、手技の開始後における被検体Ｐに関する情報を収集する。このような情報の例としては、例えば、手技の開始後における心電図や血圧といった生体情報データ、被検体Ｐに対して行なわれた処置等が挙げられる。
【0176】
解析機能３６ｂは、手技の開始後における被検体Ｐに関する情報に基づいて、被検体Ｐに生じる状態の変化を推定する。例えば、図７Ａに示すように、血管内インターベンション治療が開始された時点を時間Ｔ２１、ステントの留置が行われる前の時点を時間Ｔ２２、現在時刻が時間Ｔ２３である場合において、解析機能３６ｂは、時間Ｔ２３より後の時間Ｔ２４に発生する可能性のあるイベントを推定する。例えば、解析機能３６ｂは、心室細動（Ventricular Fibrillation：ＶＦ）が発生する可能性や時間の推定を行なう。
【0177】
例えば、解析機能３６ｂは、機械学習の手法により、心室細動が発生する可能性や時間の推定を行なう。例えば、解析機能３６ｂは、手技の開始後における心電図や血圧の変化、行なわれた処置等のパターンを入力側データとし、心室細動が発生したか否か及び心室細動が発生した時間を出力側データとしたトレーニングを行なうことにより、心室細動が発生する可能性及び時間の推定を行なうように機能付けられた学習済みモデルを生成することができる。なお、学習済みモデルの生成に用いるトレーニングデータは、例えば、被検体Ｐと同様の手技の対象となった患者の臨床成績から収集することができる。解析機能３６ｂは、このような学習済みモデルに対して被検体Ｐに関する情報の入力を行なうことにより、心室細動が発生する可能性や時間の推定を行なうことができる。なお、学習済みモデルの生成は、医用情報処理装置３０と異なる装置において行われてもよい。また、解析機能３６ｂによる推定は、ルールベースで行われてもよい。
【0178】
出力機能３６ｃは、解析機能３６ｂによる解析結果として、被検体Ｐに生じる状態の変化の推定結果を出力する。一例として、出力機能３６ｃによる表示例を図７Ｂに示す。図７Ｂでは、ディスプレイ３２の表示画面上に、表示領域Ｒ４１、表示領域Ｒ４２、表示領域Ｒ４３、表示領域Ｒ４４、表示領域Ｒ４５及び表示領域Ｒ４６が設けられている。
【0179】
図７Ｂにおいて、表示領域Ｒ４１、表示領域Ｒ４３及び表示領域Ｒ４４には、時間Ｔ２３のＸ線画像、時間Ｔ２３のデータＥ１及びデータＥ２が表示されている。即ち、表示領域Ｒ４１、表示領域Ｒ４３及び表示領域Ｒ４４には、現在の被検体Ｐに関する情報が表示されている。また、表示領域Ｒ４５及び表示領域Ｒ４６には、時間Ｔ２２のデータＥ１及びデータＥ２が表示されている。即ち、表示領域Ｒ４５及び表示領域Ｒ４６には、過去の被検体Ｐに関する情報が表示されている。また、表示領域Ｒ４２には、時間Ｔ２４に発生する可能性のあるイベントが表示されている。例えば、表示領域Ｒ４２には、「時間Ｔ２４に心室細動が発生する可能性：高」といった推定結果が表示される。即ち、表示領域Ｒ４２には、未来の被検体Ｐに関する情報が表示されている。このように、図７Ｂに示す例では、出力機能３６ｃは、各時点の情報を統合的に表示させることができる。
【0180】
上述した通り、第３の実施形態に係る医用情報処理装置３０は、収集機能３６ａと、解析機能３６ｂと、出力機能３６ｃとを備える。収集機能３６ａは、被検体Ｐに対する手技に関する情報を時間情報に対応付けて収集する。解析機能３６ｂは、手技に関する情報に基づく解析を行なう。出力機能３６ｃは、解析機能３６ｂによる解析結果を出力する。これにより、医用情報処理装置３０は、被検体Ｐに対する手技に関する情報の利用を支援することができる。例えば、医用情報処理装置３０は、手技に関する情報をそのまま参照したのでは把握し難い情報を更に提供したり、記録として残される情報を充実させたりすることができる。
【0181】
上述した第１～第３の実施形態では、主に、ステントを用いた血管内インターベンション治療を例に挙げて説明した。しかしながら実施形態はこれに限定されるものではなく、Ｘ線画像を参照して行なわれる他の様々な手技について同様に適用が可能である。
【0182】
例えば、不整脈の治療に用いられる電気生理用カテーテルの電極、バルーンやステントなどでは拡張が困難な硬い狭窄部位に対して治療を行なうために用いられるローターブレーターのドリル、方向性冠動脈切除術に用いられるカテーテルの先端に取り付けられた穴が開いた金属性の筒、狭窄部位の血管内の状況を検査するための超音波送受信機能付きのカテーテル、血管内視鏡、血管超音波、血管内ＭＲＩ（Magnetic Resonance Imaging）、ＯＣＴ（Optical Coherence Tomography）、再生医療の分野で幹細胞を移植するためのデバイス、人工弁、血管グラフト等を用いた手技について、上述の実施形態を同様に適用することが可能である。また、血管内インターベンション治療は血管内に医用デバイスを挿入して行なう手技であるが、上述した実施形態は、体内に医用デバイスを挿入して行なう種々の手技について同様に適用が可能である。例えば、上述した実施形態は、腹腔鏡手術について同様に適用が可能である。また、外科と内科のハイブリット治療や、外科治療にて生検を行なうための穿刺針のガイダンスといった手技についても、上述の実施形態を同様に適用することが可能である。
【0183】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Graphics PROCESSING Unit）、ＡＳＩＣ、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、各図における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0184】
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
【0185】
また、上述した実施形態で説明した医用情報処理方法は、予め用意された医用情報処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この医用情報処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この医用情報処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0186】
以上説明した少なくとも１つの実施形態によれば、被検体Ｐに対する手技に関する情報の利用を支援することができる。
【0187】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0188】
１：医用情報処理システム
１０：医用画像診断装置
１１：Ｘ線診断装置
２０：保管装置
３０：医用情報処理装置
３１：入力インタフェース
３２：ディスプレイ
３３：メモリ
３４：処理回路
３４ａ：第１の収集機能
３４ｂ：第２の収集機能
３４ｃ：出力機能
３５：処理回路
３５ａ：収集機能
３５ｂ：出力機能
３６：処理回路
３６ａ：収集機能
３６ｂ：解析機能
３６ｃ：出力機能
１０：医用画像診断装置
１１：Ｘ線診断装置
２０：保管装置
３０：医用情報処理装置
３１：入力インタフェース
３２：ディスプレイ
３３：メモリ
３４：処理回路
３４ａ：第１の収集機能
３４ｂ：第２の収集機能
３４ｃ：出力機能
３５：処理回路
３５ａ：収集機能
３５ｂ：出力機能
３６：処理回路
３６ａ：収集機能
３６ｂ：解析機能
３６ｃ：出力機能
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図5G】
【図6】
【図7A】
【図7B】