(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-08
(45)【発行日】2023-09-19
(54)【発明の名称】医用情報処理装置及び医用情報処理方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20230911BHJP
A61B 5/00 20060101ALI20230911BHJP
G06F 3/04845 20220101ALI20230911BHJP
G06T 19/00 20110101ALI20230911BHJP
G09G 5/00 20060101ALI20230911BHJP
G09G 5/14 20060101ALI20230911BHJP
G09G 5/34 20060101ALI20230911BHJP
G09G 5/36 20060101ALI20230911BHJP
G09G 5/38 20060101ALI20230911BHJP
G16H 10/60 20180101ALI20230911BHJP
【FI】
G06F3/01 510
A61B5/00 D
G06F3/01 570
G06F3/04845
G06T19/00 A
G09G5/00 510H
G09G5/00 530M
G09G5/00 530T
G09G5/00 550B
G09G5/00 550C
G09G5/14 A
G09G5/34 C
G09G5/36 100
G09G5/36 500
G09G5/38 110
G16H10/60
(21)【出願番号】P 2019079754
(22)【出願日】2019-04-19
【審査請求日】2022-02-14
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】宇都宮 和樹
(72)【発明者】
【氏名】狩野 佑介
(72)【発明者】
【氏名】野呂 和正
(72)【発明者】
【氏名】朴 龍勲
【審査官】菅原 浩二
(56)【参考文献】
【文献】特開2018-173776(JP,A)
【文献】特開2012-212340(JP,A)
【文献】特開2007-293429(JP,A)
【文献】特開2017-225835(JP,A)
【文献】特開平09-016814(JP,A)
【文献】特開2007-000627(JP,A)
【文献】特開2013-016116(JP,A)
【文献】特開2017-189498(JP,A)
【文献】米国特許出願公開第2018/0292978(US,A1)
【文献】特開2005-044102(JP,A)
【文献】特開2019-101943(JP,A)
【文献】特開2019-026638(JP,A)
【文献】特許第6152997(JP,B1)
【文献】国際公開第2004/045734(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G16H 10/60
G09G 5/00ー5/42
A61B 5/00
G06T 19/00
G06F 3/048ー3/04895
(57)【特許請求の範囲】
【請求項1】
2次元又は3次元を有する仮想空間
上で、複数の診療データについて各診療イベントの発生タイミングを時系列に示したタイムラインを配置し、前記タイムライン上で操作者によって指定された注目範囲に対応する複数の診療データであって、グラフ、画像データ、数値データ及びレポートデータの少なくとも一つを含む複数の診療データを
前記タイムラインの下に並べて配置し、当該仮想空間上の視野範囲に入る複数の診療データをディスプレイの画面に表示する表示制御部と、
前
記操作者によって指定された注目範囲が前記画面上から外れないように
前記タイムラインを
前記画面上の第1の表示領域に固定して表示しつつ、前記注目範囲に対応する
複数の診療デー
タを前記画面上
の前記第1の表示領域の下にある第2の表示領域に切り替えながら表示させるように前記仮想空間内で視野範囲を変更することで、前記画面上の診療データの表示を変更する変更部と
を備える、医用情報処理装置。
【請求項2】
前記変更部は、操作者の動作、視線又は操作による変更指示を受け付け、受け付けた変更指示に応じて、前記画面上の診療データの表示を変更する、
請求項1に記載の医用情報処理装置。
【請求項3】
前記変更部は、前記変更指示として、前記操作者が首を所定方向へ回す動作、前記操作者が所定方向へ移動する動作、前記操作者が前記仮想空間内を見たい診療データがある位置又は角度まで移動したこと、前記操作者が前記画面上の所定位置を一定時間注視し続けたこと、前記操作者が視線を所定方向へフリックしたことを受け付ける、
請求項2に記載の医用情報処理装置。
【請求項4】
前記仮想空間は、前記診療データの分類を示す次元を有し、
前記表示制御部は、前記
複数の診療データをそれぞれの分類に応じて前記仮想空間に配置する、
請求項1~3のいずれか1つに記載の医用情報処理装置。
【請求項5】
前記診療データの次元は、診療データの幅、時間又は深さを示す、
請求項4に記載の医用情報処理装置。
【請求項6】
前記変更部は、前記仮想空間上で、指定された変換基準点を基準にして空間変換を行うことで、前記
注目範囲に対応する複数の診療デー
タを切り替えながら表示させるように前記視野範囲を変更する、
請求項1~5のいずれか1つに記載の医用情報処理装置。
【請求項7】
前記変更部は、前記空間変換として、前記仮想空間における拡大、縮小、回転、又は平行移動を行う、
請求項6に記載の医用情報処理装置。
【請求項8】
前記表示制御部は、VR(Virtual Reality)、MR(Mixed Reality)又はAR(Augmented Reality)用の表示装置によって実現されたディスプレイに前記複数の診療データを表示する、
請求項1~7のいずれか1つに記載の医用情報処理装置。
【請求項9】
2次元又は3次元を有する仮想空間
上で、複数の診療データについて各診療イベントの発生タイミングを時系列に示したタイムラインを配置し、前記タイムライン上で操作者によって指定された注目範囲に対応する複数の診療データであって、グラフ、画像データ、数値データ及びレポートデータの少なくとも一つを含む複数の診療データを
前記タイムラインの下に並べて配置し、当該仮想空間上の視野範囲に入る複数の診療データをディスプレイの画面に表示し、
前
記操作者によって指定された注目範囲が前記画面上から外れないように
前記タイムラインを
前記画面上の第1の表示領域に固定して表示しつつ、前記注目範囲に対応する
複数の診療デー
タを前記画面上
の前記第1の表示領域の下にある第2の表示領域に切り替えながら表示させるように前記仮想空間内で視野範囲を変更することで、前記画面上の診療データの表示を変更する
ことを含む、医用情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用情報処理装置及び医用情報処理方法に関する。
【背景技術】
【0002】
近年、医療技術の高度化によって、日々の診療で収集される診療データの種類及び数が増加しており、医師が診療データを参照して診断や治療方針を判断する方法も複雑化してきている。このことから、医療の現場では、医師が診断や治療方針を検討するために必要な各種の診療データを1つの画面上で表示するシステムが望まれている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2017-537368号公報
【文献】特開2017-042592号公報
【文献】特表2018-509689号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、操作者が各種の診療データを用いた多角的な検討を容易に行うことができるようにすることである。
【課題を解決するための手段】
【0005】
実施形態に係る医用情報処理装置は、表示制御部と、変更部とを備える。前記表示制御部は、複数の次元を有する仮想空間に各種の診療データを配置し、当該仮想空間上の視野範囲に入る複数の診療データをディスプレイの画面に表示する。前記変更部は、前記複数の診療データのうちの少なくとも1つの診療データを前記画面上から外れないように表示しつつ、他の診療データの表示を前記画面上で変化させるように前記仮想空間内で視野範囲を変更することで、前記画面上の診療データの表示を変更する。
【図面の簡単な説明】
【0006】
【
図1】
図1は、第1の実施形態に係る医用情報処理装置の構成例を示す図である。
【
図2】
図2は、第1の実施形態に係る表示制御機能によって行われる診療データの表示の一例を示す図である。
【
図3】
図3は、第1の実施形態に係る変更機能によって行われる診療データの表示変更の一例を示す図である。
【
図4】
図4は、第1の実施形態に係る変更機能によって行われる診療データの表示変更の他の一例を示す図である。
【
図5】
図5は、第1の実施形態に係る変更機能によって行われる診療データの表示変更の他の一例を示す図である。
【
図6】
図6は、第1の実施形態に係る変更機能によって行われる診療データの表示変更の他の一例を示す図である。
【
図7】
図7は、第1の実施形態に係る変更機能によって行われる診療データの表示変更の他の一例を示す図である。
【
図8】
図8は、第1の実施形態に係る処理回路の各処理機能によって実現される処理の処理手順を示すフローチャートである。
【
図9】
図9は、第2の実施形態に係る医用情報処理装置によって行われる診療データの表示の概要を示す図である。
【
図10】
図10は、第2の実施形態に係る診療データのパネルの分類の一例を示す図である。
【
図11】
図11は、第2の実施形態に係る表示制御機能によって各診療データのパネルに割り当てられる座標の一例を示す図である。
【
図12】
図12は、第2の実施形態に係る変更機能によって行われる拡大変換の一例を示す図である。
【
図13】
図13は、第2の実施形態に係る変更機能によって行われる拡大変換の他の一例を示す図である。
【
図14】
図14は、第2の実施形態に係る変更機能によって行われる縮小変換の一例を示す図である。
【
図15】
図15は、第2の実施形態に係る変更機能によって行われる縮小変換の他の一例を示す図である。
【
図16】
図16は、第2の実施形態に係る変更機能によって行われる回転変換の一例を示す図である。
【
図17】
図17は、第2の実施形態に係る変更機能によって行われる回転変換の他の一例を示す図である。
【
図18】
図18は、第2の実施形態に係る変更機能によって行われる平行移動変換の一例を示す図である。
【
図19】
図19は、第2の実施形態に係る変更機能によって行われる平行移動変換の他の一例を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を参照しながら、医用情報処理装置及び医用情報処理方法の実施形態について詳細に説明する。
【0008】
(第1の実施形態)
図1は、第1の実施形態に係る医用情報処理装置の構成例を示す図である。
【0009】
例えば、
図1に示すように、本実施形態に係る医用情報処理装置100は、ネットワーク200を介して、電子カルテシステム300や放射線部門システム400、検体検査システム500等と通信可能に接続されている。例えば、医用情報処理装置100及び各システムは病院等に設置され、院内LAN(Local Area Network)等のネットワーク200によって相互に接続される。
【0010】
電子カルテシステム300は、被検体に対して実施された処方や看護記録に関する診療データを生成して、システム内の記憶回路に記憶する。そして、電子カルテシステム300は、医用情報処理装置100からの要求に応じて、記憶回路に記憶されている診療データを医用情報処理装置100に送信する。
【0011】
放射線部門システム400は、被検体に対して実施されたバイタルや画像検査に関する診療データを生成し、システム内の記憶回路に記憶する。ここでいう画像検査には、X線CT(Computed Tomography)装置によって撮像されたCT画像を用いた検査や、MRI(Magnetic Resonance Imaging)装置によって撮像されたMR画像を用いた検査、超音波診断装置によって撮像された超音波画像を用いた検査、X線診断装置によって撮像されたX線画像を用いた検査等が含まれる。例えば、放射線部門システム400は、PACS(Picture Archiving and Communication System)等を含んでおり、DICOM(Digital Imaging and Communications in Medicine)に準拠した形式で、CT画像、MR画像、超音波画像、X線画像等の医用画像をデータベースに保管する。そして、放射線部門システム400は、医用情報処理装置100からの要求に応じて、記憶回路に記憶されている診療データを医用情報処理装置100に送信する。
【0012】
検体検査システム500は、被検体に対して実施された検体検査に関する診療データを生成し、システム内の記憶回路に記憶する。そして、検体検査システム500は、医用情報処理装置100からの要求に応じて、記憶回路に記憶されている診療データを医用情報処理装置100に送信する。
【0013】
医用情報処理装置100は、ネットワーク200を介して、電子カルテシステム300、放射線部門システム400及び検体検査システム500から各種の診療データを取得し、取得した診療データを用いて各種の情報処理を行う。例えば、医用情報処理装置100は、ワークステーションやパーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。
【0014】
具体的には、医用情報処理装置100は、NW(network)インタフェース110と、記憶回路120と、入力インタフェース130と、ディスプレイ140と、処理回路150とを有する。
【0015】
NWインタフェース110は、処理回路150に接続されており、医用情報処理装置100と各システムとの間で行われる各種データの伝送及び通信を制御する。具体的には、NWインタフェース110は、各システムから診療データを受信し、受信した診療データを処理回路150に出力する。例えば、NWインタフェース110は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
【0016】
記憶回路120は、処理回路150に接続されており、各種データを記憶する。具体的には、記憶回路120は、各システムから受信した診療データを記憶する。例えば、記憶回路120は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。なお、記憶回路120は、記憶部の一例である。
【0017】
入力インタフェース130は、処理回路150に接続されており、操作者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インタフェース130は、操作者から受け付けた入力操作を電気信号へ変換して処理回路150に出力する。例えば、入力インタフェース130は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インタフェース130は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース130の例に含まれる。
【0018】
ディスプレイ140は、処理回路150に接続されており、各種情報及び各種画像を表示する。具体的には、ディスプレイ140は、処理回路150から送られる各種情報及び各種画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ140は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。
【0019】
処理回路150は、入力インタフェース130を介して操作者から受け付けた入力操作に応じて、医用情報処理装置100の構成要素を制御する。具体的には、処理回路150は、NWインタフェース110から出力される診療データを記憶回路120に記憶させる。また、処理回路150は、記憶回路120から診療データを読み出し、ディスプレイ140に表示する。
【0020】
以上、本実施形態に係る医用情報処理装置100の全体的な構成について説明した。このような構成のもと、本実施形態に係る医用情報処理装置100は、電子カルテシステム300、放射線部門システム400及び検体検査システム500によって生成された各種の診療データを1つの画面上で表示する機能を有している。そして、本実施形態に係る医用情報処理装置100は、操作者が各種の診療データを用いた多角的な検討を容易に行うことができるように構成されている。
【0021】
具体的には、本実施形態では、ディスプレイ140として、VR(Virtual Reality)、MR(Mixed Reality)又はAR(Augmented Reality)用の表示装置が用いられている。例えば、ディスプレイ140は、ヘッドマウントディスプレイ(head mounted display:HMD)や、VR、MR又はAR用のゴーグル、8Kモニタ等の高解像度ディスプレイ等によって実現される。
【0022】
また、本実施形態では、入力インタフェース130として、VR、MR又はAR用の入力装置が用いられている。例えば、入力インタフェース130は、操作者の動作を検出する動作センサや、操作者の視線を検出する視線センサ、操作者の操作を受け付けるVR、MR又はAR用のコントローラ等によって実現される。
【0023】
そして、本実施形態では、処理回路150が、取得機能151と、表示制御機能152と、変更機能153とを有する。
【0024】
取得機能151は、ネットワーク200を介して、電子カルテシステム300、放射線部門システム400及び検体検査システム500から各種の診療データを取得する。
【0025】
具体的には、取得機能151は、操作者によって指定された診断対象の被検体に関する各種の診療データを各システムから取得し、取得した診療データを記憶回路120に記憶させる。ここで、取得機能151は、各システムから取得した診療データを記憶回路120にそのままの形式で記憶させてもよいし、適宜に正規化した形式で記憶させてもよい。
【0026】
表示制御機能152は、複数の次元を有する仮想空間に各種の診療データを配置し、当該仮想空間上の視野範囲に入る複数の診療データをディスプレイ140の画面に表示する。
【0027】
具体的には、表示制御機能152は、取得機能151によって各システムから取得された各種の診療データを記憶回路120から読み出し、読みだした診療データを予め定義された仮想空間に配置する。そして、表示制御機能152は、仮想空間上で予め定義された視野範囲に入る診療データをディスプレイ140の画面に表示する。
【0028】
本実施形態では、表示制御機能152は、上下及び左右の2つの次元を有する仮想空間、又は、上下、左右及び前後の3つの次元を有する仮想空間に、診療データの内容を表示した複数のパネルを配置し、仮想空間上の視野範囲に入る診療データをディスプレイ140の画面に表示する。
【0029】
図2は、第1の実施形態に係る表示制御機能152によって行われる診療データの表示の一例を示す図である。
【0030】
例えば、
図2に示すように、表示制御機能152は、仮想空間1に、複数の診療データについて各診療イベントの発生タイミングを時系列に示したタイムラインのパネル2を配置する。また、表示制御機能152は、タイムラインのパネル2の下に、操作者によってタイムライン上で指定された注目範囲3に対応する画像データのパネル4、投薬データ等のパネル5、及び看護記録データのパネル6を左から右へ順に並べて配置する。ここで、タイムライン、画像データ、投薬データ、及び看護記録データは、それぞれ診療データの一例である。そして、表示制御機能152は、仮想空間1に配置された複数のパネルのうち、視野範囲7に入るパネルをディスプレイ140の画面に表示する。
【0031】
変更機能153は、ディスプレイ140の画面に表示された複数の診療データのうちの少なくとも1つの診療データを画面上から外れないように表示しつつ、他の診療データの表示を画面上で変化させるように、仮想空間内で視野範囲を変更することで、画面上の診療データの表示を変更する。
【0032】
具体的には、変更機能153は、操作者の動作、視線又は操作による変更指示を受け付け、受け付けた変更指示に応じて、画面上の診療データの表示を変更する。このとき、例えば、変更機能153は、変更指示として、操作者が首を所定方向(左右方向、上下方向等)へ回す動作、操作者が所定方向(前後方向、左右方向等)へ移動する動作、操作者が仮想空間内を見たい診療データがある位置又は角度まで移動したこと、操作者が画面上の所定位置(画面上のアイコンやパネルの位置等)を一定時間注視し続けたこと、操作者が視線を所定方向(上下方向、左右方向等)へフリックしたことを受け付ける。
【0033】
例えば、変更機能153は、入力インタフェース130として用いられている動作センサによって検出された操作者の動作、視線センサによって検出された操作者の視線、又はコントローラによって受け付けられた操作者の操作による変更指示を受け付け、受け付けた変更指示に応じて、画面上の診療データの表示を変更する。
【0034】
図3は、第1の実施形態に係る変更機能153によって行われる診療データの表示変更の一例を示す図である。
【0035】
ここでは、
図2に示したように、仮想空間において、タイムラインのパネルが配置され、その下に、タイムライン上で指定された注目範囲に対応する診療データとして、画像データのパネル、投薬データ等のパネル、及び看護記録データのパネルが左から右へ順に並べて配置されていたとする。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0036】
そして、例えば、
図3の(a)に示すように、仮想空間に配置された診療データのうち、視野範囲に入るパネルとして、タイムラインのパネルの注目範囲を含む一部と、画像データのパネルと、投薬データ等のパネルとが、ディスプレイ140の画面8上に表示されていたとする。
【0037】
この場合に、例えば、変更機能153は、操作者Oが首を左右へ回す動作を変更指示として受け付ける。そして、変更機能153は、受け付けた変更指示に応じて、画面8上で画像データのパネル、投薬データ等のパネル、及び看護記録データのパネルが左右方向に並べて配置された状態で左右に移動するように、仮想空間内で視野範囲を変更する。そして、このとき、変更機能153は、タイムラインのパネルについては、タイムライン上で指定された注目範囲3が画面8上から外れないように、視野範囲内に入れたままとする。
【0038】
例えば、
図3の(b)に示すように、変更機能153は、操作者Oが首を左から右へ回す動作を行った場合には、画面8上で、画像データのパネル、投薬データ等のパネル、及び看護記録データのパネルを左へ移動させる。また、このとき、変更機能153は、タイムラインのパネルについては、タイムライン上で指定された注目範囲3が画面8上から外れないように、画面8上の位置を固定したままとする。
【0039】
そして、例えば、
図3の(c)に示すように、操作者Oが首を左から右へ回す動作をさらに続けた場合には、変更機能153は、画面8上で、画像データのパネル、投薬データ等のパネル、及び看護記録データのパネルをさらに左へ移動させて、投薬データ等のパネルと、看護記録データのパネルとが画面8上に表示された状態とする。このときも、変更機能153は、タイムラインのパネルについては、タイムライン上で指定された注目範囲3が画面8上から外れないように、画面8上の位置を固定したままとする。
【0040】
図4は、第1の実施形態に係る変更機能153によって行われる診療データの表示変更の他の一例を示す図である。
【0041】
ここでは、仮想空間において、タイムラインのパネルが配置され、その下に、タイムライン上で示された期間における検体検査データの経時的な変化を示すパネルが配置されていたとする。
【0042】
そして、例えば、
図4の(a)に示すように、仮想空間に配置された診療データのうち、視野範囲に入るパネルとして、タイムラインのパネルの左端を含む一部と、検体検査データのパネルの左端を含む一部とが、ディスプレイ140の画面8上に表示されていたとする。
【0043】
この場合に、例えば、変更機能153は、操作者Oの視線に基づいて、操作者Oが画面8上の左側及び右側に配置されたアイコン9及び10のいずれか一方を一定時間注視し続けたことを変更指示として受け付ける。そして、変更機能153は、受け付けた変更指示に応じて、画面8上で検体検査データのパネルが左右に移動するように、仮想空間内で視野範囲を変更する。そして、このとき、変更機能153は、タイムラインのパネルについては、画面8上から外れないように、視野範囲内に入れたままとする。
【0044】
例えば、
図4の(b)に示すように、変更機能153は、操作者Oが右側のアイコン10を一定時間注視した場合には、画面8上で、検体検査データのパネルを左へ移動させる。また、このとき、変更機能153は、タイムラインのパネルについては、画面8上から外れないように、画面8上の位置を固定したままとする。
【0045】
そして、例えば、
図4の(c)に示すように、操作者Oが右側のアイコン10をさらに注視し続けた場合には、変更機能153は、画面8上で、検体検査データのパネルをさらに左へ移動させて、検体検査データのパネルの右端を含む部分が表示された状態とする。このときも、変更機能153は、タイムラインのパネルについては、画面8上から外れないように、画面8上の位置を固定したままとする。
【0046】
図5は、第1の実施形態に係る変更機能153によって行われる診療データの表示変更の他の一例を示す図である。
【0047】
ここでは、
図4に示した例と同様に、仮想空間において、タイムラインのパネルが配置され、その下に、左右方向の大きさがタイムラインのパネルより大きい検体検査データのパネルが配置されていたとする。
【0048】
そして、例えば、
図5の(a)に示すように、仮想空間に配置された診療データのうち、視野範囲に入るパネルとして、タイムラインのパネルの左端を含む一部と、検体検査データのパネルの左端を含む一部とが、ディスプレイ140の画面8上に表示されていたとする。
【0049】
この場合に、例えば、変更機能153は、操作者Oの視線及び操作によって変更指示を受け付ける。例えば、変更機能153は、操作者Oが画面8上に表示されているパネルのいずれか一方を一定時間注視し続けたことを検知した場合に、注視され続けた方のパネルを表示変更の対象として特定する。また、変更機能153は、操作者Oの操作に応じて、表示変更の対象として特定したパネルが画面8上で左右に移動するように、仮想空間内で視野範囲を変更する。そして、このとき、変更機能153は、表示変更の対象として特定されていないパネルについては、画面8上から外れないように、視野範囲内に入れたままとする。
【0050】
例えば、
図5の(a)に示すように、操作者Oが画面8上に表示されている検体検査データのパネルを一定時間注視し続けた場合には、変更機能153は、検体検査データのパネルを表示変更の対象として特定する。
【0051】
その後、例えば、
図5の(b)に示すように、変更機能153は、操作者がコントローラ11で左を指示する操作を行った場合には、画面8上で、表示変更の対象として特定した検体検査データのパネルを左へ移動させる。また、このとき、変更機能153は、タイムラインのパネルについては、画面8上から外れないように、画面8上の位置を固定したままとする。
【0052】
そして、例えば、
図5の(c)に示すように、操作者Oがコントローラ11で左を指示する操作を続けた場合には、変更機能153は、画面8上で、検体検査データのパネルをさらに左へ移動させて、検体検査データのパネルの右端を含む部分が表示された状態とする。このときも、変更機能153は、タイムラインのパネルについては、画面8上から外れないように、画面8上の位置を固定したままとする。
【0053】
なお、上述した例では、診療データの表示変更の例として、表示変更の対象として特定した診療データのパネルを左右に移動させる場合の例を説明したが、診療データの表示を変更する方法はこれに限られない。例えば、表示変更の対象として特定した診療データのパネルの内容を切り替えるようにしてもよい。
【0054】
図6は、第1の実施形態に係る変更機能153によって行われる診療データの表示変更の他の一例を示す図である。
【0055】
例えば、
図6の(a)に示すように、仮想空間に配置された診療データのうち、視野範囲に入るパネルとして、タイムラインのパネルと、タイムライン上で示された期間における検体検査データの経時的な変化を示すパネルが配置されていたとする。ここで、検体検査データのパネルには、3つの種類A、B及びCの検体検査データに関する内容が示されており、さらに、パネル上に示されている検体検査データの種類を示す3つのアイコン12が表示されているとする。
【0056】
この場合に、例えば、変更機能153は、操作者Oが視線を上下方向へフリックする動作を変更指示として受け付ける。そして、変更機能153は、受け付けた変更指示に応じて、画面8上で、検体検査データのパネルに示されている内容を切り替える。
【0057】
例えば、
図6の(b)に示すように、変更機能153は、操作者Oが視線を上方向に1回フリックした場合に、検体検査データのパネルの内容を、3種類すべてを示す内容から種類Aのみを示す内容に切り替える。そして、例えば、
図6の(c)に示すように、変更機能153は、操作者Oが視線を上方向にさらに1回フリックした場合に、検体検査データのパネルの内容を、種類Aのみを示す内容から種類Bのみを示す内容に切り替える。
【0058】
同様に、例えば、
図6の(d)に示すように、変更機能153は、操作者Oが視線を上方向にさらに1回フリックした場合に、検体検査データのパネルの内容を、種類Bのみを示す内容から種類Cのみを示す内容に切り替える。そして、例えば、
図6の(a)に示すように、変更機能153は、操作者Oが視線を上方向にさらに1回フリックした場合に、検体検査データのパネルの内容を、種類Cのみを示す内容から3種類すべてを示す内容に切り替える。
【0059】
なお、この例では、変更機能153が操作者から受け付ける変更指示は、視線のフリックによるものに限られない。例えば、変更機能153は、操作者Oが首を上下にフリックする動作や、強いまばたきにする動作、ウィンクをする動作等に応じて、検体検査データのパネルに示されている内容を切り替えるようにしてもよい。
【0060】
または、例えば、変更機能153は、操作者Oの視線に基づいて、操作者Oがパネル上に表示された検体検査データの種類を示す3つのアイコン12のうちのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたアイコンが示す種類の検体検査データをパネルに表示するようにしてもよい。
【0061】
また、診療データの表示を変更する他の例として、例えば、変更機能153は、表示変更の対象とする診療データがタイムラインのように時系列で表されるものであった場合に、診療データのタイムスケールを拡大又は縮小するようにしてもよい。
【0062】
図7は、第1の実施形態に係る変更機能153によって行われる診療データの表示変更の他の一例を示す図である。
【0063】
ここでは、一例として、タイムラインのパネルが表示変更の対象である場合の例を説明する。例えば、
図7の(a)に示すように、ディスプレイ140の画面に、2016年4月~2016年8月の期間を示すタイムラインのパネルが表示されていたとする。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0064】
この場合に、例えば、変更機能153は、操作者Oが前後方向へ移動する動作を変更指示として受け付ける。そして、変更機能153は、受け付けた変更指示に応じて、タイムラインのパネルのタイムスケールを変更する。
【0065】
例えば、
図7の(b)に示すように、変更機能153は、操作者Oが前方へ移動した場合に、タイムラインのパネルのタイムスケールを、2016年4月~2016年8月の期間から2016年4月1日~2016年4月30日の期間に変更する。すなわち、変更機能153は、操作者Oが前方へ移動した場合に、タイムラインのパネルのタイムスケールを縮小する。
【0066】
この一方で、変更機能153は、操作者Oが後方へ移動した場合には、タイムラインのパネルのタイムスケールを、2016年4月1日~2016年4月30日の期間から2016年4月~2016年8月の期間に変更する。すなわち、変更機能153は、操作者Oが後方へ移動した場合に、タイムラインのパネルのタイムスケールを拡大する。
【0067】
以上、処理回路150が有する各処理機能について説明した。ここで、例えば、処理回路150は、プロセッサによって実現される。この場合に、処理回路150が有する処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路120に記憶されている。そして、処理回路150は、記憶回路120から各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路150は、
図1の処理回路150に示された各機能を有することとなる。
【0068】
図8は、第1の実施形態に係る処理回路150の各処理機能によって実現される処理の処理手順を示すフローチャートである。
【0069】
例えば、
図8に示すように、取得機能151が、診療データの表示指示を操作者から受け付けた場合に(ステップS101,Yes)、電子カルテシステム300、放射線部門システム400及び検体検査システム500から各種の診療データを取得する(ステップS102)。この処理は、例えば、処理回路150が、取得機能151に対応する所定のプログラムを記憶回路120から読み出して実行することにより実現される。
【0070】
続いて、表示制御機能152が、取得機能151によって取得された各診療データを仮想空間に配置し(ステップS103)、当該仮想空間上の視野範囲に入る複数の診療データをディスプレイ140の画面に表示する(ステップS104)。この処理は、例えば、処理回路150が、表示制御機能152に対応する所定のプログラムを記憶回路120から読み出して実行することにより実現される。
【0071】
その後、変更機能153が、操作者の動作、視線又は操作による変更指示を受け付けた場合に(ステップS105,Yes)、受け付けた変更指示に応じて、ディスプレイ140の画面に表示された複数の診療データのうちの少なくとも1つの診療データを画面上から外れないように表示しつつ、他の診療データの表示を画面上で変化させるように仮想空間内で視野範囲を変更することで、画面上の診療データの表示を変更する(ステップS106)。この処理は、例えば、処理回路150が、変更機能153に対応する所定のプログラムを記憶回路120から読み出して実行することにより実現される。
【0072】
なお、ここでは、単一のプロセッサによって各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路150が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、
図1に示す例では、単一の記憶回路120が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路が個別の記憶回路から対応するプログラムを読み出す構成としても構わない。
【0073】
上述したように、第1の実施形態では、表示制御機能152が、複数の次元を有する仮想空間に各種の診療データを配置し、当該仮想空間上の視野範囲に入る複数の診療データをディスプレイ140の画面に表示する。そして、変更機能153が、ディスプレイ140の画面に表示されている複数の診療データのうちの少なくとも1つの診療データを画面上から外れないように表示しつつ、他の診療データの表示を画面上で変化させるように仮想空間内で視野範囲を変更することで、画面上の診療データの表示を変更する。このような構成によれば、操作者が注目している診療データを画面上に表示したまま、他の各種の診療データを切り替えて表示することができる。
【0074】
また、第1の実施形態では、変更機能153が、操作者の動作、視線又は操作による変更指示を受け付け、受け付けた変更指示に応じて、画面上の診療データの表示を変更する。このような構成によれば、操作者が、診療データの表示をより直感的に行うことができるようになる。
【0075】
このようなことから、本実施形態によれば、操作者が各種の診療データを用いた多角的な検討を容易に行うことができるようになる。
【0076】
なお、上述した第1の実施形態では、タイムラインのパネルが画面上から外れないようにする場合の例を説明したが、実施形態はこれに限られない。例えば、変更機能153は、画像データ等の他の診療データのパネルが画面上から外れないようにし、操作者からの変更指示に応じて、他のパネルを変化させるようにしてもよい。
【0077】
また、上述した第1の実施形態では、診療データの表示変更の例として、診療データのパネルを左右に移動させる場合の例を説明したが、実施形態はこれに限られない。例えば、変更機能153は、仮想空間において、複数の診療データのパネルが上下方向に並べて配置されている場合には、診療データのパネルを上下に移動させるようにしてもよい。
【0078】
また、上述した第1の実施形態において、表示制御機能152が複数の診療データを仮想空間に配置する際に、例えば、左右方向又は上下方向の中心に最も重要度が高い診療データを配置するようにしてもよい。または、表示制御機能152は、タイムライン上で設定された注目範囲の下に最も重要度が高い診療データを配置するようにしてもよい。または、表示制御機能152は、複数の診療データの上に、各診療データのサマリを示す診療データを表示するようにしてもよい。
【0079】
また、上述した第1の実施形態では、操作者によって指示された方向に診療データを移動させる場合の例を説明したが、実施形態はこれに限られない。例えば、変更機能153は、表示変更の対象とする複数の診療データを、各診療データが並んでいる方向に自動的に流して表示するようにしてもよい。
【0080】
また、上述した第1の実施形態において、表示制御機能152が診療データをディスプレイ140に表示する際に、実際の映像の上に、診療データを表示するようにしてもよい。その場合には、例えば、表示制御機能152は、カメラやセンサ等によって対象部位や被検体の位置を検出し、検出した対象部位や被検体の映像の近くに診療データを表示する。これにより、操作者が、対象部位や被検体を観察しながら、診療データに基づいて診断や治療方針を検討できるようになる。
【0081】
また、上述した第1の実施形態では、視線をフリックする動作に応じて、検体検査データのパネルの内容を切り替える場合の例を説明したが、実施形態はこれに限られない。例えば、変更機能153は、視線をフリックする動作に応じて、画像データのパネルを、ページをめくるように切り替えてもよい。また、このような場合に、操作者から受け付ける変更指示は視線のフリックに限られず、例えば、操作者がマウス等でスクロールする操作であってもよい。
【0082】
また、上述した第1の実施形態では、操作者Oが前後方向へ移動する動作に応じて、時系列で表される診療データのタイムスケールを拡大又は縮小する場合の例を説明したが、実施形態はこれに限られない。例えば、変更機能153は、操作者Oが前後方向へ移動する動作に応じて、時系列で撮像された画像データや時系列で作成されたレポートデータを時系列順に切り替えて表示するようにしてもよい。
【0083】
(第2の実施形態)
さらに、上述した第1の実施形態では、上下及び左右の2つの次元を有する仮想空間、又は、上下、左右及び前後の3つの次元を有する仮想空間に診療データを配置する場合の例を説明したが、実施形態はこれに限られない。
【0084】
例えば、仮想空間の次元に診療データの分類を割り当てることとし、各種の診療データをそれぞれの分類に応じて仮想空間に配置するようにしてもよい。以下では、このような場合の例を第2の実施形態として説明する。なお、第2の実施形態では、上述した第1の実施形態と異なる点を中心に説明し、第1の実施形態と共通する点については詳細な説明を省略する。
【0085】
図9は、第2の実施形態に係る医用情報処理装置100によって行われる診療データの表示の概要を示す図である。
【0086】
例えば、
図2に示すように、本実施形態では、表示制御機能152が、診療データの分類を示す複数の次元を有する仮想空間に、各種の診療データをそれぞれの分類に応じて配置する。ここで、診療データの分類は、診療データの幅、時間及び深さである。なお、本実施形態では、このような仮想空間を「診療データ空間」と呼ぶ。
【0087】
そして、本実施形態では、変更機能153が、診療データ空間上で、指定された変換基準点を基準にして空間変換を行うことで、複数の診療データのうちの少なくとも1つの診療データを画面上から外れないように表示しつつ、他の診療データの表示を画面上で変化させるように視野範囲を変更することで、画面上の診療データの表示を変更する。
【0088】
以下、本実施形態に係る取得機能151、表示制御機能152及び変更機能153によって行われる処理について詳細に説明する。また、本実施形態では、被検体が患者である場合の例を説明する。
【0089】
まず、取得機能151は、ネットワーク200を介して、電子カルテシステム300、放射線部門システム400及び検体検査システム500から各種の診療データを取得する。例えば、取得機能151は、診療データとして、患者情報、オーダ情報、オーダ実施情報、画像検査情報、各種計測情報等の診療に関する情報を取得する。
【0090】
そして、取得機能151は、各システムから取得した診療データを、記憶回路120によって構築されている統合診療DB(Data Base)に記憶させる。ここで、取得機能151は、各システムから取得した診療データを統合診療DBにそのままの形式で記憶させてもよいし、適宜に正規化した形式で記憶させてもよい。
【0091】
例えば、統合診療DBは、オーダ情報又はオーダ実施情報に基づくデータとして、投薬データ及び投薬サマリデータを記憶する。投薬データは、患者に対して行われた投薬に関する診療データである。投薬サマリデータは、患者に対して複数の時点で行われた投薬をまとめた投薬サマリに関する診療データである。なお、オーダ情報又はオーダ実施情報に基づく診療データとしては、投薬データ及び投薬サマリデータ以外にも、例えば、画像、食事、リハビリ、手術、血管内治療、放射線治療等の各種オーダに関する診療データや、当該各種オーダの実施に関する診療データが用いられてもよい。
【0092】
また、例えば、統合診療DBは、画像検査情報に基づく診療データとして、画像データ、画像計測値データ、及び読影レポートデータを記憶する。画像データは、患者を撮像した画像に関する診療データである。画像計測値データは、患者を撮像した画像に基づいて計測された計測値に関する診療データである。読影レポートデータは、患者を撮像した画像に基づいて作成された読影レポートに関する診療データである。なお、ここでいう画像は、医用画像診断装置600(例えば、X線診断装置、X線CT装置、MRI装置、超音波診断装置、SPECT装置、PET装置等の各種医用画像診断装置、SPECT装置とX線CT装置とが一体化されたSPECT-CT装置、PET装置とX線CT装置とが一体化されたPET-CT装置、又はこれらの装置群等)によって撮像された医用画像である。
【0093】
また、例えば、統合診療DBは、各種計測情報に基づく診療データとして、心電図データ、心電図計測値データ、心電図データ、バイタルデータ、バイタルサマリデータ、看護記録データ、検体検査データ、検体検査サマリデータ、及び検体検査レポートデータを記憶する。心電図データは、検査で計測された患者の心電図に関する診療データである。心電図計測値データは、患者の心電図に基づいて計測された計測値に関する診療データである。心電図レポートデータは、患者の心電図に基づいて作成された心電図レポートに関する診療データである。バイタルデータは、検査で計測された患者のバイタル(例えば、血圧、脈拍、体温等)に関する診療データである。バイタルサマリデータは、患者から複数の時点で計測されたバイタルをまとめたバイタルサマリに関する診療データである。看護記録データは、患者のバイタルに基づいて作成された看護記録に関する診療データである。検体検査データは、患者の検体検査(例えば、尿酸(UA)、総タンパク(TP)等の検査)に関する診療データである。検体検査サマリデータは、患者に対して複数の時点で行われた検体検査をまとめた検体検査サマリに関する診療データである。検体検査レポートデータは、患者の検体検査に基づいて作成された検体検査レポートに関する診療データである。
【0094】
ここで、本実施形態では、上述した各診療データについて、それぞれの閲覧に適したデータ表示形式で診療データを示すパネルが定義される。ここで、データ表示形式は、例えば、表形式や時系列形式、画像表示形式、心電図表示形式、レポート表示形式等である。そして、本実施形態では、診療データごとに定義されるパネルは、臨床的な検討目的に応じた様々な観点で分類される。
【0095】
図10は、第2の実施形態に係る診療データのパネルの分類の一例を示す図である。
【0096】
例えば、
図10における上下方向に示すように、診療データのパネルは、介入に関するパネルと、レスポンスに関するパネルとに分類される。また、介入に関するパネルは、投薬に関するパネルにさらに分類され、投薬に関するパネルは、薬剤の種類ごとにさらに分類される。また、レスポンスに関するパネルは、画像に関するパネルと、心電図に関するパネルと、バイタルに関するパネルと、検体検査に関するパネルとにさらに分類される。
【0097】
また、別の観点で、例えば、
図10における左右方向に示すように、診療データのパネルは、客観データに関するパネルと、主観データに関するパネルとに分類される。また、客観データに関するパネルは、生データに関するパネルと、加工データに関するパネルとにさらに分類され、主観データに関するパネルは、文字データに関するパネルにさらに分類される。
【0098】
また、さらに別の観点で、例えば、
図10における右上がりの斜めの方向に示すように、診療データのパネルは、時系列の時点ごとに分けられて分類される。
【0099】
ここで、例えば、上述した投薬データのパネルは、
図10の上から1行目及び左から1列目に示すように、投薬及び生データに関するパネルとして分類され、さらに、時系列の時点ごとに分けられて分類される。また、上述した投薬サマリデータのパネルは、
図10の上から1行目及び左から2列目に示すように、投薬及び加工データに関するパネルとして分類され、複数の時点の投薬をまとめたパネルとして分類される。
【0100】
また、上述した画像データのパネルは、
図10の上から2行目及び左から1列目に示すように、画像及び生データに関するパネルとして分類され、さらに、時系列の時点ごとに分けられて分類される。また、上述した画像計測値データのパネルは、
図10の上から2行目及び左から2列目に示すように、画像及び加工データに関するパネルとして分類され、時系列の時点ごとに分けられて分類される。また、上述した読影レポートデータのパネルは、
図10の上から2行目及び左から3列目に示すように、画像及び文字データに関するパネルとして分類され、時系列の時点ごとに分けられて分類される。
【0101】
また、上述した心電図データのパネルは、
図10の上から3行目及び左から1列目に示すように、心電図及び生データに関するパネルとして分類され、さらに、時系列の時点ごとに分けられて分類される。また、上述した心電図計測値データのパネルは、
図10の上から3行目及び左から2列目に示すように、心電図及び加工データに関するパネルとして分類され、時系列の時点ごとに分けられて分類される。また、上述した心電図レポートデータのパネルは、
図10の上から3行目及び左から3列目に示すように、心電図及び文字データに関するパネルとして分類され、時系列の時点ごとに分けられて分類される。
【0102】
また、上述したバイタルデータのパネルは、
図10の上から4行目及び左から1列目に示すように、バイタル及び生データに関するパネルとして分類され、さらに、時系列の時点ごとに分けられて分類される。また、上述したバイタルサマリデータのパネルは、
図10の上から4行目及び左から2列目に示すように、バイタル及び加工データに関するパネルとして分類され、複数の時点のバイタルの計測値をまとめたパネルとして分類される。また、上述した看護記録データのパネルは、
図10の上から4行目及び左から3列目に示すように、バイタル及び文字データに関するパネルとして分類され、時系列の時点ごとに分けられて分類される。
【0103】
また、上述した検体検査データのパネルは、
図10の上から5行目及び左から1列目に示すように、検体検査及び生データに関するパネルとして分類され、さらに、時系列の時点ごとに分けられて分類される。また、上述した検体検査サマリデータのパネルは、
図10の上から5行目及び左から2列目に示すように、検体検査及び加工データに関するパネルとして分類され、複数の時点の検体検査の計測値をまとめたパネルとして分類される。また、上述した検体検査レポートデータのパネルは、
図10の上から5行目及び左から3列目に示すように、検体検査及び文字データに関するパネルとして分類され、時系列の時点ごとに分けられて分類される。
【0104】
次に、表示制御機能152は、上述した分類に応じて、診療データの幅を示す次元、診療データの時間を示す次元、及び診療データの深さを示す次元の3つの次元を有する診療データ空間に各診療データのパネルを配置する。
【0105】
具体的には、表示制御機能152は、各診療データのパネルに診療データ空間上の座標を割り当てることで、各診療データのパネルを診療データ空間に配置する。
【0106】
図11は、第2の実施形態に係る表示制御機能152によって各診療データのパネルに割り当てられる座標の一例を示す図である。
【0107】
例えば、
図11に示すように、表示制御機能152は、
図10に示した各診療データのパネルに、それぞれの分類に応じて、診療データ空間上の座標(W(幅),T(時間),D(深さ))を割り当てる。
【0108】
例えば、幅(W)方向において、投薬、画像、心電図、バイタル、検体検査の順で座標値が大きくなるように、各診療データのパネルに座標が割り当てられる。また、深さ(D)方向において、生データ、加工データ、文字データの順で座標値が大きくなるように、各診療データのパネルに座標が割り当てられる。また、時間(T)方向において、時系列の順に座標値が大きくなるように、各診療データのパネルに座標が対応付けられる。
【0109】
こうして、統合診療DBに記憶された各診療データのパネルを診療データ空間に配置した後に、表示制御機能152は、診療データ空間上の視野範囲に入る複数の診療データのパネルをディスプレイ140の画面に表示する。具体的には、表示制御機能152は、診療データ空間に基づいて、各診療データのパネルを表示するための表示画面を生成し、生成した表示画面をディスプレイ140に表示する。
【0110】
次に、変更機能153は、ディスプレイ140の画面に表示された複数の診療データのうちの少なくとも1つの診療データを画面上から外れないように表示しつつ、他の診療データの表示を画面上で変化させるように、診療データ空間内で視野範囲を変更することで、画面上の診療データの表示を変更する。
【0111】
具体的には、変更機能153は、診療データ空間上で、指定された変換基準点を基準にして空間変換を行うことで、他の診療データの表示を画面上で変化させるように視野範囲を変更する。ここで、変更機能153は、操作者の動作、視線又は操作による変更指示を受け付け、受け付けた変更指示に応じて、画面上の診療データの表示を変更する。
【0112】
まず、変更機能153は、表示制御機能152によってディスプレイ140の画面に表示された各診療データのパネルについて、空間変換前の表示状態を取得する。具体的には、変更機能153は、画面に表示中の情報、及び操作者から受け付けた指示に基づいて、空間変換前の表示状態(どの座標を表示しているのか、どの次元(点、線、面等)で表示しているのか)を取得する。ここで、空間変換前の表示状態は、診療データ空間上で、点、線又は面で示される。なお、以下では、空間変換前の表示状態を「変換前状態」と呼ぶ。
【0113】
その後、変更機能153は、空間変換の基準点を取得する。具体的には、変更機能153は、操作者から受け付けた指示に基づいて、空間変換の基準点を取得する。ここで、空間変換の基準点は、診療データ空間上で、点、線又は面で示される。なお、以下では、空間変換の基準点を「変換基準点」と呼ぶ。
【0114】
さらに、変更機能153は、空間変換の方向を取得する。具体的には、変更機能153は、操作者から受け付けた指示に基づいて、空間変換の方向を取得する。なお、以下では、空間変換の方向を「変換方向」と呼ぶ。
【0115】
そして、変更機能153は、空間変換を行う。具体的には、変更機能153は、取得した変換前状態、変換基準点及び変換方向と、各診療データに割り当てられている座標とに基づいて、空間変換後の表示状態(どの座標を表示するか、どの次元(点、線、面等)で表示するか)を取得する。ここで、空間変換後の表示状態は、診療データ空間上で、点、線又は面で示される。なお、以下では、空間変換後の表示状態を「変換後状態」と呼ぶ。
【0116】
その後、変更機能153は、空間変換後の表示画面を表示する。具体的には、変更機能153は、変更機能153による空間変換によって取得された変換後状態、診療データごとに定義されているパネル、及び統合診療DBに記憶されている各診療データに基づいて、空間変換後の表示画面を生成し、生成した表示画面をディスプレイ140に表示する。
【0117】
このように、変更機能153は、空間変換として、診療データ空間上で、点、線又は平面で示される変換前状態を、当該変換前状態で指定された変換基準点を基準にして、他の点、線又は平面で示される変換後状態に変換する。ここで、変換基準点も、診療データ空間上で、点、線又は平面で示される。
【0118】
そして、変更機能153は、上述した空間変換を行う際に、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0119】
以下、第2の実施形態に係る変更機能153によって行われる空間変換及び診療データの表示変更について、具体的な例を挙げて説明する。以下では、変更機能153が、空間変換として、診療データ空間における拡大、縮小、回転、又は平行移動を行う場合の例を説明する。
【0120】
図12は、第2の実施形態に係る変更機能153によって行われる拡大変換の一例を示す図である。
【0121】
ここでは、点を拡大によって線の表示へ変換する場合の例を説明する。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0122】
例えば、
図12の左側に示すように、複数の診療データのパネルが画面上に表示された状態で、操作者によって、変換前状態及び変換基準点として、(W,T,D)=(W
A,T
A,D
A)が割り当てられた診療データのパネルが指定され、変換方向として、深さ方向(D=*)への拡大が指定されたとする。
【0123】
例えば、変更機能153は、操作者Oが画面上に表示されているパネルのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたパネルが変換前状態及び変換基準点として指定されたと判定する。また、例えば、変更機能153は、操作者Oが後方へ移動する動作を検知した場合に、変換方向として深さ方向への拡大が指定されたと判定する。ここで、変更機能153は、操作者Oの移動量に応じて、拡大変換の変換量を特定する。
【0124】
この場合には、例えば、
図12の右側に示すように、変更機能153は、変換前状態を示す座標(W
A,T
A,D
A)を、変換後状態を示す座標(W
A,T
A,*)に変換する。この空間変換は、点で示される変換前状態を、当該点で示される変換基準点を基準にして深さ方向に拡大することで、深さ方向に伸びる線で示される変換後状態に変換することに相当する。
【0125】
この結果、例えば、
図12に示すように、変換前は、1つの時点について、画像データが表示されていた状態が、変換後は、同じ時点について、画像データと、画像の計測値と、読影レポートとが表示された状態に切り替えられる。そして、この空間変換を行う際に、変更機能153は、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0126】
図13は、第2の実施形態に係る変更機能153によって行われる拡大変換の他の一例を示す図である。
【0127】
ここでは、線を拡大によって面の表示へ変換する場合の例を説明する。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0128】
例えば、
図13の左側に示すように、複数の診療データのパネルが画面上に表示された状態で、操作者によって、変換前状態及び変換基準点として、(W,T,D)=(W
B,*,D
B)が割り当てられた診療データのパネルが指定され、変換方向として幅方向(W=*)への拡大が指定されたとする。
【0129】
例えば、変更機能153は、操作者Oが画面上に表示されているパネルのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたパネルが変換前状態及び変換基準点として指定されたと判定する。また、例えば、変更機能153は、操作者Oが後方へ移動する動作を検知した場合に、変換方向として幅方向への拡大が指定されたと判定する。ここで、変更機能153は、操作者Oの移動量に応じて、拡大変換の変換量を特定する。
【0130】
この場合には、例えば、
図13の右側に示すように、変更機能153は、変換前状態を示す座標(W
B,*,D
B)を、変換後状態を示す座標(*,*,D
B)に変換する。この空間変換は、時間方向に伸びる線で示される変換前状態を、当該線で示される変換基準点を基準にして幅方向に拡大することで、幅方向及び時間方向に伸びる面で示される変換後状態に変換することに相当する。
【0131】
この結果、例えば、
図13に示すように、変換前は、複数の時点について、検体検査サマリデータが表示されていた状態が、変換後は、当該複数の時点について、投薬サマリデータと、検体検査サマリデータと、バイタルサマリデータが表示された状態に切り替えられる。そして、この空間変換を行う際に、変更機能153は、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0132】
図14は、第2の実施形態に係る変更機能153によって行われる縮小変換の一例を示す図である。
【0133】
ここでは、線を縮小によって点の表示へ変換する場合の例を説明する。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0134】
例えば、
図14の左側に示すように、複数の診療データのパネルが画面上に表示された状態で、操作者によって、変換前状態として、(W,T,D)=(W
C,*,D
C)が割り当てられた診療データのパネルが指定され、変換基準点として、(W,T,D)=(W
C,T
C,D
C)である位置が指定され、変換方向として、時間方向(T=*)への縮小が指定されたとする。
【0135】
例えば、変更機能153は、操作者Oが画面上に表示されているパネルのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたパネルが変換前状態として指定されたと判定し、さらに、そのパネル上で注視され続けた位置が変換基準点として指定されたと判定する。また、例えば、変更機能153は、操作者Oが前方へ移動する動作を検知した場合に、変換方向として時間方向への縮小が指定されたと判定する。ここで、変更機能153は、操作者Oの移動量に応じて、縮小変換の変換量を特定する。
【0136】
この場合には、例えば、
図14の右側に示すように、変更機能153は、変換前状態を示す座標(W
C,*,D
C)を、変換後状態を示す座標(W
C,T
C,D
C)に変換する。この空間変換は、時間方向に伸びる線で示される変換前状態を、当該線に含まれる1つの点で示される変換基準点を基準にして時間方向に縮小することで、点で示される変換後状態に変換することに相当する。
【0137】
この結果、例えば、
図14に示すように、変換前は、複数の時点について、検体検査サマリデータが表示されていた状態が、変換後は、当該複数の時点のうちの1つの時点について、検体検査の計測値が表示された状態に切り替えられる。そして、この空間変換を行う際に、変更機能153は、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0138】
図15は、第2の実施形態に係る変更機能153によって行われる縮小変換の他の一例を示す図である。
【0139】
ここでは、面を縮小によって線の表示へ変換する場合の例を説明する。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0140】
例えば、
図15の左側に示すように、複数の診療データのパネルが画面上に表示された状態で、操作者によって、変換前状態として、(W,T,D)=(*,*,D
D)が割り当てられた診療データのパネルが指定され、変換基準点として、(W,T,D)=(*,T
D,D
D)である位置が指定され、変換方向として時間方向(T=*)が指定され、さらに、当該方向に縮小することを指定されたとする。
【0141】
例えば、変更機能153は、操作者Oが画面上に表示されているパネルのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたパネルが変換前状態として指定されたと判定し、さらに、そのパネル上で注視され続けた位置が変換基準点として指定されたと判定する。また、例えば、変更機能153は、操作者Oが前方へ移動する動作を検知した場合に、変換方向として時間方向への縮小が指定されたと判定する。ここで、変更機能153は、操作者Oの移動量に応じて、縮小変換の変換量を特定する。
【0142】
この場合には、例えば、
図15の右側に示すように、変更機能153は、変換前状態を示す座標(*,*,D
D)を、変換後状態を示す座標(*,T
D,D
D)に変換する。この空間変換は、幅方向及び時間方向に伸びる面で示される変換前状態を、当該面に含まれる幅方向に伸びる1つの線で示される変換基準点を基準にして時間方向に縮小することで、幅方向に伸びる線で示される変換後状態に変換することに相当する。
【0143】
この結果、例えば、
図15に示すように、変換前は、複数の時点について、投薬サマリデータと、検体検査サマリデータと、バイタルサマリデータとが表示されていた状態が、変換後は、当該複数の時点に含まれる1つの時点について、薬剤を示す情報と、検体検査の計測値と、バイタルの計測値とが表示された状態に切り替えられる。そして、この空間変換を行う際に、変更機能153は、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0144】
図16は、第2の実施形態に係る変更機能153によって行われる回転変換の一例を示す図である。
【0145】
ここでは、線を回転変換する場合の例を説明する。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0146】
例えば、
図16の左側に示すように、複数の診療データのパネルが画面上に表示された状態で、操作者によって、変換前状態として、(W,T,D)=(W
E1,*,D
E1)が割り当てられた診療データのパネルが指定され、変換基準点として、(W,T,D)=(W
E1,T
E1,D
E1)である位置が指定され、変換方向として深さ方向(D=*)への回転が指定されたとする。
【0147】
例えば、変更機能153は、操作者Oが画面上に表示されているパネルのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたパネルが変換前状態として指定されたと判定し、さらに、そのパネル上で注視され続けた位置が変換基準点として指定されたと判定する。また、例えば、変更機能153は、操作者Oがディスプレイ140の画面上に表示されている診療データ空間のオブジェクト13を回転する操作を受け付けた場合に、変換方向として深さ方向への回転が指定されたと判定する。または、例えば、変更機能153は、操作者Oが診療データ空間14内を見たい診療データがある角度まで移動したことを検知した場合に、変換方向として深さ方向への回転が指定されたと判定する。ここで、変更機能153は、操作者Oの操作量又は移動量に応じて、回転変換の変換量を特定する。
【0148】
この場合には、例えば、
図16の右側に示すように、変更機能153は、変換前状態を示す座標(W
E1,*,D
E1)を、変換後状態を示す座標(W
E1,T
E1,*)に変換する。この空間変換は、時間方向に伸びる線で示される変換前状態を、当該線に含まれる1つの点で示される変換基準点を基準にして深さ方向に回転することで、深さ方向に伸びる線で示される変換後状態に変換することに相当する。
【0149】
この結果、例えば、
図16に示すように、変換前は、複数の時点について、画像データが表示されていた状態が、変換後は、当該複数の時点に含まれる1つの時点について、画像データと、画像の計測値と、読影レポートとが表示された状態に切り替えられる。そして、この空間変換を行う際に、変更機能153は、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0150】
図17は、第2の実施形態に係る変更機能153によって行われる回転変換の他の一例を示す図である。
【0151】
ここでは、面を回転変換する場合の例を説明する。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0152】
例えば、
図17の左側に示すように、複数の診療データのパネルが画面上に表示された状態で、操作者によって、変換前状態として、(W,T,D)=(*,*,D
F1)が割り当てられた診療データのパネルが指定され、変換基準点として、(W,T,D)=(W
F1,*,D
F1)である位置が指定され、変換方向として深さ方向(D=*)への回転が指定されたとする。
【0153】
例えば、変更機能153は、操作者Oが画面上に表示されているパネルのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたパネルが変換前状態として指定されたと判定し、さらに、そのパネル上で注視され続けた位置が変換基準点として指定されたと判定する。また、例えば、変更機能153は、操作者Oがディスプレイ140の画面上に表示されている診療データ空間のオブジェクト13を回転する操作を受け付けた場合に、変換方向として深さ方向への回転が指定されたと判定する。または、例えば、変更機能153は、操作者Oが診療データ空間14内を見たい診療データがある角度まで移動したことを検知した場合に、変換方向として深さ方向への回転が指定されたと判定する。ここで、変更機能153は、操作者Oの操作量又は移動量に応じて、回転変換の変換量を特定する。
【0154】
この場合には、例えば、
図17の右側に示すように、変更機能153は、変換前状態を示す座標(*,*,D
F1)を、変換後状態を示す座標(W
F1,*,*)に変換する。この空間変換は、幅方向及び時間方向に伸びる面で示される変換前状態を、当該面に含まれる時間方向に伸びる1つの線で示される変換基準点を基準にして深さ方向に回転することで、時間方向及び深さ方向に伸びる面で示される変換後状態に変換することに相当する。
【0155】
この結果、例えば、
図17に示すように、変換前は、複数の時点について、画像の計測値と、検体検査サマリデータと、バイタルサマリデータとが表示されていた状態が、変換後は、当該複数の時点について、画像の計測値と、画像データと、読影レポートとがそれぞれ表示された状態に切り替えられる。そして、この空間変換を行う際に、変更機能153は、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0156】
図18は、第2の実施形態に係る変更機能153によって行われる平行移動変換の一例を示す図である。
【0157】
ここでは、線を平行移動変換する場合の例を説明する。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0158】
例えば、
図18の左側に示すように、複数の診療データのパネルが画面上に表示された状態で、操作者によって、変換前状態及び変換基準点として、(W,T,D)=(*,T
G,D
G)が割り当てられた診療データのパネルが指定され、変換方向として時間方向の前方向(-T)が指定されたとする。
【0159】
例えば、変更機能153は、操作者Oが画面上に表示されているパネルのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたパネルが変換前状態及び変換基準点として指定されたと判定する。また、例えば、変更機能153は、操作者Oが診療データ空間14内を見たい診療データの位置まで移動したことを検知した場合に、変換方向として時間方向の前方向が指定されたと判定する。ここで、変更機能153は、操作者Oの移動量に応じて、平行移動変換の変換量を特定する。
【0160】
この場合には、例えば、
図18の右側に示すように、変更機能153は、変換前状態を示す座標(*,T
G,D
G)を、変換後状態を示す座標(*,T
G-T,D
G)に変換する。この空間変換は、幅方向に伸びる線で示される変換前状態を、当該線で示される変換基準点を基準にして時間方向に平行移動することで、幅方向に伸びる他の線で示される変換後状態に変換することに相当する。
【0161】
この結果、例えば、
図18に示すように、変換前は、1つの時点について、薬剤を示す情報と、検体検査の計測値と、バイタルの計測値とが表示されていた状態が、変換後は、他の1つの時点について、薬剤を示す情報と、検体検査の計測値と、バイタルの計測値とが表示された状態に切り替えられる。そして、この空間変換を行う際に、変更機能153は、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0162】
図19は、第2の実施形態に係る変更機能153によって行われる平行移動変換の他の一例を示す図である。
【0163】
ここでは、面を平行移動変換する場合の例を説明する。また、ここでは、ディスプレイ140として、HMDが用いられていたとする。
【0164】
例えば、
図19の左側に示すように、操作者によって、変換前状態及び変換基準点として、(W,T,D)=(*,*,D
H)が割り当てられた診療データのパネルが指定され、変換方向として深さ方向の後方向(+D)が指定されたとする。
【0165】
例えば、変更機能153は、操作者Oが画面上に表示されているパネルのいずれか1つを一定時間注視し続けたことを検知した場合に、注視され続けたパネルが変換前状態及び変換基準点として指定されたと判定する。また、例えば、変更機能153は、操作者Oが診療データ空間14内を見たい診療データの位置まで移動したことを検知した場合に、変換方向として深さ方向の後方向が指定されたと判定する。ここで、変更機能153は、操作者Oの移動量に応じて、平行移動変換の変換量を特定する。
【0166】
この場合には、例えば、
図19の右側に示すように、変更機能153は、変換前状態を示す座標(*,*,D
H)を、変換後状態を示す座標(*,*,D
H+D)に変換する。この空間変換は、幅方向及び時間方向に伸びる面で示される変換前状態を、当該面で示される変換基準点を基準にして深さ方向に平行移動することで、幅方向及び時間方向に伸びる他の面で示される変換後状態に変換することに相当する。
【0167】
この結果、例えば、
図19に示すように、変換前は、複数の時点について、画像の計測値と、心電図の計測値とが表示されていた状態が、変換後は、当該複数の時点について、画像データと、心電図の画像データとが表示された状態に切り替えられる。そして、この空間変換を行う際に、変更機能153は、変換基準点として指定されたパネル以外のパネルについては、画面上から外れないように、画面上の位置を固定したままとする。
【0168】
なお、変更機能153によって行われる空間変換は、上述したような2次元の空間変換に限られない。例えば、変更機能153は、面から空間への拡大、空間の回転や平行移動、空間から面への縮小等のような3次元以上の空間変換を行ってもよい。
【0169】
上述したように、第2の実施形態では表示制御機能152が、診療データの分類を示す複数の次元を有する仮想空間に、各種の診療データをそれぞれの分類に応じて配置する。このような構成によれば、例えば、診療データの幅、時間、深さ等の分類ごとに診療データの表示を切り替えて表示できるようになり、操作者が各種の診療データを用いた多角的な検討を効率よく行うことができるようになる。
【0170】
なお、上述した第2の実施形態では、診療データ空間に次元に診療データの幅、時間及び深さが用いられる場合の例を説明したが、診療データ空間に割り当てられる診療データの分類はこれらに限られず、他の分類が用いられてもよい。例えば、診療データの対象となっている患者を分類として用いてもよい。
【0171】
また、上述した第2の実施形態では、操作者がディスプレイ140の画面上に表示されている診療データ空間のオブジェクトを回転する操作や、操作者が診療データ空間14内を見たい診療データがある角度まで移動する動作に応じて、診療データの表示を変更する場合の例を説明したが、実施形態はこれに限られない。
【0172】
例えば、表示制御機能152が、ディスプレイ140の画面上に表示した仮想空間に診療データを半透明にして配置し、変更機能153が、半透明に表示された診療データを操作者が手を伸ばして取る動作を行った場合に、その動作に応じて、操作者の手に取られた診療データを明瞭に表示するようにしてもよい。
【0173】
または、例えば、表示制御機能152が、ディスプレイ140の画面上に表示した仮想空間に透明な板を配置し、その板上に診療データを表示してもよい。その場合には、例えば、変更機能153が、操作者が前に進んだ場合に、それに応じて、透明な板上に次の診療データを表示させる。または、変更機能153が、操作者が前に進んだ場合に、それに応じて、透明な板上に表示された診療データをズームし、操作者が透明な板を越えた場合に、次のデータを表示するようにしてもよい。または、変更機能153は、透明な板を押す操作や、引っ張り出す操作に応じて、診療データの表示を変更してもよい。
【0174】
なお、上述した実施形態では、本明細書における表示制御部、受付部及び変更部を、それぞれ、処理回路150の表示制御機能152及び変更機能153によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における表示制御部、受付部及び変更部は、実施形態で述べた表示制御機能152及び変更機能153によって実現する他にも、ハードウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
【0175】
また、上述した説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは、記憶回路120に保存されたプログラムを読み出して実行することで、機能を実現する。なお、記憶回路120にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合は、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで機能を実現する。また、本実施形態のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成され、その機能を実現するようにしてもよい。
【0176】
ここで、プロセッサによって実行されるプログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、上述した各機能部を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
【0177】
以上説明した少なくとも1つの実施形態によれば、操作者が各種の診療データを用いた多角的な検討を容易に行うことができるようになる。
【0178】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、各種の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0179】
100 医用情報処理装置
150 処理回路
152 表示制御機能
153 変更機能