特許 7240665 情報統合装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-08

(45)【発行日】2023-03-16

(54)【発明の名称】情報統合装置

(51)【国際特許分類】

   G16H 30/40 20180101AFI20230309BHJP

【ＦＩ】

G16H30/40

【請求項の数】 6

(21)【出願番号】P 2018241309

(22)【出願日】2018-12-25

(65)【公開番号】P2020102126

(43)【公開日】2020-07-02

【審査請求日】2021-12-14

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人日本医療研究開発機構、「未来医療を実現する先端医療機器・システムの研究開発／安全性と医療効率の向上を両立するスマート治療室の開発」委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】519320697

【氏名又は名称】株式会社ＯＰＥｘＰＡＲＫ

(73)【特許権者】

【識別番号】591173198

【氏名又は名称】学校法人東京女子医科大学

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】椋本 豪

(72)【発明者】

【氏名】奥田 英樹

(72)【発明者】

【氏名】村垣 善浩

(72)【発明者】

【氏名】岡本 淳

【審査官】森田 充功

(56)【参考文献】

【文献】国際公開第２０１８／１６３６００（ＷＯ，Ａ１）

【文献】特開２０１５－１８５１２５（ＪＰ，Ａ）

【文献】特開２００９－２７１１２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ ３０／４０

(57)【特許請求の範囲】

【請求項1】

患者の治療に使用される複数の医療用のデバイス（２１）から取得されるデバイス情報が、前記デバイス情報が取得された時刻および前記デバイス情報の種類を表す情報を含んだ第１タグ情報と関連づけて記憶される情報記憶部（３１）と、
前記情報記憶部に記憶された複数の前記デバイス情報のうち、同一時間に対応づけられる一種類以上の前記デバイス情報を抽出し、抽出した前記デバイス情報を１画面で表示するための画像データである主画像データを生成するように構成された主画像生成部（５３：Ｓ２１０～Ｓ２３０）と、
前記画像データによって表示される表示画像中のコメント対象を指定するように構成された対象指定部（５２，５３：Ｓ３１０～Ｓ３３０）と、
前記対象指定部により指定された前記コメント対象に関連付けられる情報であるコメント情報を入力するように構成されたコメント入力部（５２，５３：Ｓ４２０）と、
前記コメント入力部により入力された前記コメント情報を、前記対象指定部にて指定された前記コメント対象を特定するための情報を含んだ第２タグ情報と関連づけて前記情報記憶部に記憶させるように構成された情報生成部（５３：Ｓ３４０～Ｓ４１０，Ｓ４４０～Ｓ４７０）と、
前記主画像データにより表示される画像である主画像中に前記コメント対象が含まれる場合に、当該コメント対象に対応する前記コメント情報を前記情報記憶部から抽出し、抽出した前記コメント情報を前記主画像中の前記コメント対象と関連づけて表示するための画像データであるコメント画像データを生成するように構成されたコメント画像生成部（５３：Ｓ２１０～Ｓ２２０，Ｓ２４０）と、
を備え、
前記コメント対象の一つとして表示画像全体を含む
情報統合装置。

【請求項2】

請求項１に記載の情報統合装置であって
前記対象指定部は、前記表示画像を表示する画面上の位置を指定するように構成され、
前記コメント対象の一つとして、前記指定部にて指定された位置に表示された前記デバイス情報または該デバイス情報の一部を含む、
情報統合装置。

【請求項3】

請求項２に記載の情報統合装置であって、
前記デバイス情報の一つとして、前記デバイスに関する制御パラメータを含む
情報統合装置。

【請求項4】

請求項２または請求項３に記載の情報統合装置であって、
前記デバイス情報の一つとして、生体情報の波形を表すグラフを含む
情報統合装置。

【請求項5】

請求項１から請求項４までのいずれか１項に記載の情報統合装置であって、
前記デバイス情報の一つとして、手術中における手術器具の３次元位置を含み、
前記コメント対象の一つとして、前記手術器具の３次元位置に対応した治療対象の３次元画像を表示する手術ナビゲーションシステムにおけるナビ画像を含む、
情報統合装置。

【請求項6】

請求項１から請求項５までのいずれか１項に記載の情報統合装置であって、
前記対象指定部は、あらかじめ用意された操作部（Ｂｅｖ）が操作されたタイミングで
表示画像全体を前記コメント対象として指定するように構成された、
情報統合装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、手術や治療で使用される医療装置から取得した医療情報を表示する技術に関する。

【背景技術】

【0002】

下記特許文献１には、手術や治療で使用される複数の医療装置から医療情報を取得し、それら複数の医療情報を統合して画面に表示する医療情報システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１８５１２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この種のシステムは、術中におけるリアルタイムな検討およびサポート、術後における手術解析、カンファレンス等のふりかえり、事故調査、教育用途などに用いられる。その際に、関係者の間で様々な情報を簡単に共有できるようにしたいという要望がある。共有する情報としては、術中にした判断の内容、術中に受けたサポートの内容、各医療装置の設定変更や計測値の変化に対するコメント、術中または術後の振り返り時に気づいたこと等、教育のため及び学会発表資料作成のため等に必要な様々な情報が挙げられる。

【0005】

本開示の１つの局面は、医療用のデバイスから取得され画面表示される情報に対する利用者のコメントを簡易に共有および記録する技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様は、情報統合装置であって、情報記憶部（３１）と、主画像生成部（５３：Ｓ２１０～Ｓ２３０）と、対象指定部（５２，５３：Ｓ３１０～Ｓ３３０）と、コメント入力部（５２，５３：Ｓ４２０）と、情報生成部（５３：Ｓ３４０～Ｓ４１０，Ｓ４４０～Ｓ４７０）と、コメント画像生成部（５３：Ｓ２１０～Ｓ２２０，Ｓ２４０）と、を備える。

【0007】

情報記憶部は、患者の治療に使用される複数の医療用のデバイス（２１）から取得されるデバイス情報が、デバイス情報が取得された時刻およびデバイス情報の種類を表す情報を含んだ第１タグ情報と関連づけて記憶される。主画像生成部は、情報記憶部に記憶された複数のデバイス情報のうち、同一時間に対応づけられる一種類以上のデバイス情報を抽出し、抽出したデバイス情報を１画面で表示するための画像データである主画像データを生成する。対象指定部は、画像データによって表示される表示画像中のコメント対象を指定する。コメント入力部は、対象指定部により指定されたコメント対象に関連付けられる情報であるコメント情報を入力する。情報生成部は、コメント入力部により入力されたコメント情報を、対象指定部にて指定されたコメント対象を特定するための情報を含んだ第２タグ情報と関連づけて情報記憶部に記憶させる。コメント画像生成部は、主画像データにより表示される画像である主画像中にコメント対象が含まれる場合に、当該コメント対象に対応するコメント情報を情報記憶部から抽出し、抽出したコメント情報を主画像中のコメント対象と関連づけて表示するための画像データであるコメント画像データを生成する。

【0008】

このような構成によれば、デバイス情報自体からは読み取ることのできない情報等を、コメント情報として簡単に残すことができる。しかも、そのコメント情報は、対応するデバイス情報と関連づけて表示されるため、表示画面の閲覧者は、コメント対象を明確に把握できる。

【図面の簡単な説明】

【0009】

【図1】情報統合装置の構成を表すブロック図である。

【図2】情報統合装置の機能を表す機能ブロック図である。

【図3】タグ付きデバイス情報の構造を示す説明図である。

【図4】タグ付きコメント情報の構造を示す説明図である。

【図5】デバイス情報生成処理を表すフローチャートである。

【図6】表示処理を表すフローチャートである。

【図7】表示処理において読み出す情報を表す説明図である。

【図8】主画像のレイアウトの１例を表す説明図である。

【図9】イベントリストを表す説明図である。

【図10】コメント付与処理を表すフローチャートである。

【図11】コメント情報の表示例を表す説明図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．全体構成］
情報統合装置１は、手術室における各種情報を統合して保存し、表示するための装置である。情報統合装置１は、術中におけるリアルタイムな検討およびサポート、術後における手術解析および教育用途などに適用される。

【0011】

図１に示すように、情報統合装置１は、デバイス群２と、サーバ３と、複数の端末５とを備える。
［２．デバイス群］
デバイス群２は、図２に示すように、複数のデバイス２１Ａ～２１Ｈを備える。各デバイス２１Ａ～２１Ｈは、それぞれ、データを生成してサーバ３に供給する。以下では、複数のデバイス２１Ａ～２１Ｈを区別することなく、任意のデバイスを指す場合は、デバイス２１と記す。

【0012】

デバイス２１は、手術や治療時に使用される医療機器および医療設備等である。具体的には、医療機器として、例えば、生体情報モニタ、呼吸機能モニタ、循環動態モニタ、鎮静モニタ、麻酔器、輸液ポンプ、シリンジ、血液浄化装置、人工心肺装置、補助循環装置等が挙げられる。医療設備として、例えば、手術ナビゲーションシステム（以下、手術ナビ）、ＩＰカメラ、医療ガスシステム、内視鏡、顕微鏡、電気メス、ドリル、超音照射装置等が上げられる。また、デバイスには、空調システム、アイソレーションシステム等が含まれてもよい。

【0013】

そして、デバイス２１から供給されるデータ（以下、デバイス情報）には、デバイス２１による計測値、デバイス２１から出力される動画および静止画、デバイス２１の使用状況やエラーを含むデバイスの状態、デバイス２１自体の設定値、およびデバイス２１が扱うパラメータに関する設定値等が含まれる。

【0014】

なお、手術ナビは、手術中における手術器具の３次元位置および姿勢を取得する装置である。手術器具としては、電気メスおよび鉗子の他、顕微鏡等も挙げられる。手術器具の３次元位置および姿勢を取得する方法として、例えば、予め複数のマーカを手術器具の特定の位置に取り付け、手術が実施される空間において予め規定された基準位置から手術器具における特定の位置までのベクトルを手術器具の３次元位置として特定し、複数のマーカ間の位置関係から姿勢を特定することが考えられる。また、顕微鏡の焦点を３次元位置として特定してもよい。このとき、ＣＴ、ＭＲＩ等により、患者の患部を予め撮影した３次元画像に対応付けて３次元位置を特定する。ＣＴはComputed Tomographyの略であり、ＭＲＩはMagnetic Resonance Imagingの略である。

【0015】

［３．サーバ］
サーバ３は、データベース３１と、サーバ処理部３２とを備える。
データベース３１は、ＨＤＤ等によって実現され、図２に示すように、デバイス情報領域４５、コメント情報領域４６、およびイベント情報領域４７が少なくとも確保されている。デバイス情報領域４５には、タグ付きデバイス情報Ｔ＿Ｉｄｖが格納され、コメント情報領域４６には、タグ付きコメント情報Ｔ＿Ｉｃｍが格納され、イベント情報領域４７には、イベントリストＬが格納される。また、タグ付きデバイス情報Ｔ＿Ｉｄｖおよびタグ付コメント情報Ｔ＿Ｉｃｍを総称して統合情報ともいう。サーバ３は、情報記憶部に相当する。

【0016】

図３に示すように、タグ付きデバイス情報Ｔ＿Ｉｄｖは、第１タグ情報Ｔ１と、デバイス情報Ｉｄｖとを有する。
デバイス情報Ｉｄｖは、手術中等に、デバイス群２に属するいずれかのデバイス２１から取得される情報であり、具体的には、計測値、設定値、および画像データ等が含まれる。

【0017】

第１タグ情報Ｔ１は、デバイス情報Ｉｄｖに関する情報であり、時間タグＴ１１およびデータ種別タグＴ１２が少なくとも含まれる。時間タグＴ１１は、デバイス情報Ｉｄｖが取得された時刻（以下、取得時刻）を表す情報である。データ種別タグＴ１２は、デバイス情報Ｉｄｖの生成元となったデバイス２１を特定するための識別情報を含む。なお、一つのデバイス２１から複数のデバイス情報Ｉｄｖが取得される場合は、いずれのデバイス情報Ｉｄｖであるかを特定するための識別情報も含む。

【0018】

図４に示すように、タグ付きコメント情報Ｔ＿Ｉｃｍは、第２タグ情報Ｔ２と、コメント情報Ｉｃｍとを有する。
コメント情報Ｉｃｍは、術中または術後に端末５を介して入力される情報であり、具体的には、テキストデータ、音声データ、および画像データ等が含まれる。なお、画像データには、手書きの文字や図を表すビットマップデータ等が含まれてもよい。

【0019】

第２タグ情報Ｔ２は、コメント情報Ｉｃｍに関する情報であり、コメント対象タグＴ２１、時間タグＴ２２、時間タグＴ２３、およびコメント種別タグＴ２４が少なくとも含まれる。

【0020】

コメント対象タグＴ２１は、コメントの対象を特定するための情報である。コメント対象には、データ種別タグＴ１２で識別されるデバイス情報Ｉｄｖの全体またはその一部、およびデバイス情報Ｉｄｖを特定しない情報全体（即ち、デバイス情報Ｉｄｖが表示された画面全体）が含まれる。デバイス情報Ｉｄｖがデバイス２１による測定値であり、その測定値が数字やグラフで表示される場合、デバイス情報Ｉｄｖの一部とは、表示される数字またはグラフ等が含まれる。

【0021】

時間タグＴ２２は、コメント対象の取得時刻、即ち、上述の時間タグＴ１１と同様の時刻を表す情報である。つまり、タグ付きコメント情報Ｔ＿Ｉｃｍは、コメント対象タグＴ２１と、時間タグＴ２２とによって、タグ付きデバイス情報Ｔ＿Ｉｄｖに対応づけられる。

【0022】

時間タグＴ２３は、コメント情報Ｉｃｍの入力時にコメント対象が指定された時刻を表す情報である。時間タグＴ２３は、統合情報の再生が行われている現在の時刻（以下、再生時刻）を表す。但し、統合情報の再生がリアルタイムで行われている場合、即ち、統合情報の生成と同時に行われている場合は、時間タグＴ２３は、時間タグＴ２２と同じ値となってもよい。

【0023】

コメント種別タグＴ２４は、コメント情報Ｉｃｍの形式を表す情報であり、テキストデータ、音声データ、画像データ、音声認識データ、動作解析データ等が含まれる。
図９に示すように、イベントリストＬには、情報の項目として、「発生時刻」「イベントカテゴリ」「イベント作成者」「イベント内容」「再生時刻」が少なくとも含まれる。「発生時刻」は、イベントが発生した時刻であり、取得時刻と同じ時間軸上の時刻を表す。「イベントカテゴリ」は、発生したイベントのカテゴリを表し、具体的には、どのデバイスに関わるイベントであるかを表す。「イベント作成者」は、イベントが、端末５からの入力によって発生したイベントである場合に、そのイベントを発生させる操作をした者を表す。「イベント作成者」は、端末５を介して入力されてもよいし、端末５の使用者として予め登録された情報を端末５から取得してもよい。「イベント内容」は、発生したイベントの内容を表し、特にコメントを入力する際に発生させるコメントイベントの場合は入力されたコメントの内容を表す。「再生時刻」は、統合情報の再生時に、リストＬにイベントが追加登録された場合に、その登録が行われた時刻であり、再生時における現在時刻を表す。

【0024】

なお、「イベント作成者」および「イベント内容」の欄は、端末５を介して適宜記入される。
図１に戻り、サーバ処理部３２は、ＣＰＵ３２１と、例えば、ＲＡＭ、ＲＯＭ等の半導体メモリ（以下、メモリ３２２）と、を有するマイクロコンピュータを備える。

【0025】

サーバ処理部３２は、機能的には、図２に示すように、複数のプロバイダ４１Ａ～４１Ｈと、ミドルウェア４２とを備える。以下では、複数のプロバイダ４１Ａ～４１Ｈを区別することなく任意のプロバイダを指す場合は、プロバイダ４１と記す。

【0026】

各プロバイダ４１には、それぞれデバイス２１のいずれか一つが接続される。プロバイダ４１は、接続されたデバイス２１との間で情報のやり取りを仲介する。
ミドルウェア４２は、プロバイダ４１に接続される様々なデバイス２１に対して、プログラミング言語や通信プロトコルの違いよらず、統一的なアクセス手段をプロバイダ４１と共に提供する通信インターフェースである。ここでは、ミドルウェア４２として、ＯＲｉＮが用いられる。ＯＲｉＮは、Open Resource interface for the Networkの略である。

【0027】

また、ミドルウェア４２は、タグ付きデバイス情報Ｔ＿Ｉｄｖを生成するデバイス情報生成機能４２１と、要求に応じて現在時刻を提供する時計機能４２２とを少なくとも有する。

【0028】

［３－１．デバイス情報処理］
サーバ処理部３２のミドルウェア４２がデバイス情報生成機能４２１を実現するために実行する処理（以下、デバイス情報処理）を、図５のフローチャートを用いて説明する。本処理は、サーバ３に電源が投入されると、プロバイダ４１毎に実行される。

【0029】

Ｓ１１０では、サーバ処理部３２は、処理対象のプロバイダ４１にデバイス２１が接続されているか否かを判断する。サーバ処理部３２は、デバイス２１が接続されていないと判断した場合は、同ステップを繰り返すことで待機し、デバイス２１が接続されていると判断した場合は、処理をＳ１２０に移行する。

【0030】

Ｓ１２０では、サーバ処理部３２は、プロバイダ４１を介してデバイス２１からデバイス情報Ｉｄｖを取得する。一つのデバイス２１から取得されるデバイス情報Ｉｄｖは、１種類であってもよいし、複数種類であってもよい。

【0031】

続くＳ１３０では、サーバ処理部３２は、現在時刻を取得して時間タグＴ１１を生成し、その時間タグＴ１１を、Ｓ１１０にて取得されたデバイス情報Ｉｄｖに挿入する。現在時刻は、マイコンが有する時計機能４２２から取得してもよいし、デバイス２１からデバイス情報Ｉｄｖと共に提供されるデバイス情報Ｉｄｖの取得時刻を表す時刻情報を用いてもよい。

【0032】

続くＳ１４０では、サーバ処理部３２は、Ｓ１２０で取得されたデバイス情報Ｉｄｖに、そのデバイス情報Ｉｄｖの種類を表すデータ種別タグＴ１２を挿入する。データ種別タグＴ１２は、プロバイダ４１に接続されたデバイス２１に応じて、予め用意されたものを用いる。

【0033】

続くＳ１５０では、サーバ処理部３２は、上述の処理で時間タグＴ１１およびデータ種別タグＴ１２からなる第１タグ情報Ｔ１が挿入されたデバイス情報Ｉｄｖであるタグ付きデバイス情報Ｔ＿Ｉｄｖを、データベース３１においてデバイス情報領域４５に記憶させる。

【0034】

続くＳ１６０では、サーバ処理部３２は、デバイス情報Ｉｄｖについてイベントが発生しているか否かを判断する。イベントは、デバイス情報Ｉｄｖが予め設定されたイベント条件を満たした場合に発生する。イベント条件は、例えば、デバイス情報Ｉｄｖが計測値である場合、その計測値または計測値の微分値や積分値が、予め設定された閾値を超えることを用いてもよい。但し、イベント条件は、これに限定されるものではない。

【0035】

サーバ処理部３２は、イベントが発生していると判断した場合は、処理をＳ１７０に移行し、イベントが発生していないと判断した場合は、処理をＳ１８０に移行する。
Ｓ１７０では、サーバ処理部３２は、イベント発生時刻を表すイベント発生情報と、イベントの対象となったデバイス情報Ｉｄｖを表すイベント対象情報とを、イベント情報領域４７に格納されたイベントリストＬに登録して、処理をＳ１８０に移行する。

【0036】

Ｓ１８０では、サーバ処理部３２は、デバイス情報の生成を終了するか否かを判断する。具体的には、端末５を介して処理の終了を示す指令が入力されたか否かを判断する。サーバ処理部３２は、デバイス情報の生成を継続すると判断した場合は、Ｓ１１０に戻り、
デバイス情報の生成を終了すると判断した場合は、処理を終了する。

【0037】

［４．端末］
図１に示すように、端末５は、表示装置５１と、入力装置５２と、端末処理部５３とを備える。複数の端末５は、いずれも同様の構成を有する。

【0038】

表示装置５１は、例えばタッチパネル方式の液晶ディスプレイであり、ＭＰＲ画像等の３次元画像と生体情報等の測定結果を表す波形データや数値、各種の操作ボタン、各機器の設定値、表示設定値とを表示可能である。ＭＰＲは、Multi Planar Reconstructionの略である。

【0039】

入力装置５２は、例えば、上述の液晶ディスプレイに設けられたタッチパネル、キーボード、マウス、マイク、カメラ、およびモーションセンサ等の入力機器である。入力装置５２、これら入力機器を介した入力操作に対応するテキストデータ、位置データ、音声データ、画像データ等を端末処理部５３に対して出力する。

【0040】

端末処理部５３は、ＣＰＵ５３１と、例えば、ＲＡＭ、ＲＯＭ等の半導体メモリ（以下、メモリ５３２）と、を有するマイクロコンピュータを備える。端末処理部５３は、サーバ３のデータベース３１に格納される情報に関連する１つ以上のアプリケーション（以下、ＡＰ）を実行する。ここでは、端末処理部５３は、図２に示すように、表示ＡＰ６１、音声認識ＡＰ６２、動作解析ＡＰ６３、コメント付与ＡＰ６４、およびレイアウト変更ＡＰ６５を少なくとも実行する。

【0041】

音声認識ＡＰ６２は、入力装置５２を構成する入力機器の一つであるマイクにより取得されたユーザの音声に対して、音声認識処理を実行し、認識内容に対応したコマンドまたはテキストデータである音声認識データを生成し、認識対象となった音声と共に出力する。

【0042】

動作解析ＡＰ６３は、入力装置５２を構成する入力機器の一つであるカメラによりユーザの動作（例えば、手、顔、頭等の動作）が撮影された画像を解析し、解析内容に対応したコマンドまたはテキストデータである動作解析データを生成し、解析対象となった画像と共に出力する。

【0043】

つまり、端末５は、入力装置５２と、音声認識ＡＰ６２および動作解析ＡＰ６３と、を備えることで、非接触での入力操作を実現する。
［４－１．表示処理］
端末処理部５３が表示ＡＰ６１を実行することで実現される処理（以下、表示処理）を、図６のフローチャートを用いて説明する。

【0044】

表示処理は、入力装置５２を介して表示開始指示が入力されてから表示終了指示が入力されるまでの間、予め設定された表示周期で繰り返し実行される。表示処理では、データベース３１に保存された統合情報に基づき、入力装置５２を介して指定される時間Ｓに対応したデバイス情報Ｉｄｖおよびコメント情報Ｉｃｍを表示装置５１の表示画面に表示する。但し、静止画を表示する動作モードでは、時間Ｓは、入力装置５２からの入力に応じて変更され、動画を表示する動作モードでは、時間Ｓは、入力装置５２からの初期値の入力後は、表示周期に合わせて自動的に更新される。

【0045】

Ｓ２１０では、端末処理部５３は、時間Ｓを取得する。
続くＳ２２０では、端末処理部５３は、データベース３１から、全てのデバイス種別および全てのコメント種別について、時間Ｓ以前で最新の時刻を表す時間タグＴ１１，Ｔ２２が付与されたデバイス情報Ｉｄｖおよびコメント情報Ｉｃｍを取得する。なお、最新の時刻の探索には遡ることのできる上限時間が決められていてもよい。

【0046】

例えば、図７に示すように、データベース３１には、Ａ～Ｄで識別される４種類のデバイス情報と、ａ，ｃで識別される２種類のコメント情報とが保存されているものとする。図７では、時間Ｓが９時００分Ｘミリ秒である場合、時および分を省略し、ミリ秒を単位として「Ｘ」と表示される。つまり、図５における「Ａ」の欄に示す数値の列は、デバイス種別Ａのデバイス情報Ｉｄｖに付与された時間タグＴ１１の内容を示す。

【0047】

時間Ｓが「１００」である場合、時間Ｓ以前で最新の時間タグＴ１１を有するデバイス情報は、図７中に丸印で示したように、種類Ａでは時間タグＴ１１が「９７」のデバイス情報であり、種類Ｂでは時間タグＴ１１が「１００」のデバイス情報であり、種類Ｃでは時間タグＴ１１が「９９」のデバイス情報であり、種類Ｄでは時間タグＴ１１が「９８」のデバイス情報である。

【0048】

また、時間Ｓ以前で最新の時間タグＴ２２を有するコメント情報は、種類ａでは時間タグＴ２２が「９３」のコメント情報である。種類ｃでは、上限時間範囲内に該当するコメント情報が存在しないことを意味する。

【0049】

続くＳ２３０では、端末処理部５３は、Ｓ２２０で読み出したデバイス情報Ｉｄｖを、その時点で設定されているレイアウトに従って表示させるための画像データである主画像データを生成する。以下では、主画像データによって表示される画像を主画像という。

【0050】

ここでレイアウトとは、以下の要素の複合である。（１）表示画面における表示領域をどのように区分するか。（２）区分された各領域に、どの種類のデバイス情報をいくつ同時に表示するか。（３）区分された各領域におけるデバイス情報の表示態様（画像、数値、グラフ、表等）をどのようにするか。

【0051】

主画像のレイアウトの一例として、例えば、図８に示すように、モニタ領域Ａ１、映像領域Ａ２、ナビ画像領域Ａ３、時間領域Ａ４等を有していてもよい。モニタ領域Ａ１は、生体情報をモニタするグラフ等が表示される領域である。モニタ領域Ａ１では、生体情報を数値およびグラフ形式で表示される。映像領域Ａ２は、治療対象をカメラ等で撮影した動画が表示される領域である。ナビ画像領域Ａ３は、手術ナビにより検出される３次元位置が、予め用意された患部の三次元画像と共に表示される領域である。ナビ画像領域では、検出位置を含みかつ互いに異なる断面を示す三つの断面画像が三面図形式で表示される。時間領域Ａ４は、統合情報の時系列が存在する時間範囲を時間軸で表現し、その時間軸上で、時間Ｓを表示するための領域である。時間領域Ａ４には、時間軸と共に、イベントの発生時刻を表すバルーン状の表示が行われてもよい。なお、レイアウトの設定および変更は、別途用意されるレイアウト変更ＡＰ６５によって実現される。

【0052】

図６に戻り、続くＳ２４０では、端末処理部５３は、Ｓ２２０で読み出したコメント情報Ｉｃｍを、主画像と共に表示させるための画像データであるコメント画像データを生成する。以下では、コメント画像データによって表示される画像をコメント画像という。なお、主画像上におけるコメント画像の表示位置および表示形式は、コメント情報Ｉｃｍのコメント種別、およびコメント対象となるデバイス情報Ｉｄｖのデータ種別に応じて、予め設定されている。なお、コメント画像の表示位置および表示形式を変更する専用のアプリが存在してもよい。

【0053】

続くＳ２５０では、端末処理部５３は、Ｓ２３０にて生成された主画像データおよびＳ２４０にて生成されたコメント画像データを、表示装置５１に出力することで、主画像およびコメント画像を表示装置５１の表示画面に表示させて、処理を一旦終了する。

【0054】

なお、Ｓ２１０～Ｓ２３０が主画像生成部、Ｓ２１０～Ｓ２２０，Ｓ２４０がコメント画像生成部に相当する。
［４－２．コメント付与処理］
端末処理部５３が表示ＡＰ６１を実行することで実現される処理（以下、コメント付与処理）を、図１０のフローチャートを用いて説明する。本処理は、表示処理が実行されている間、繰り返し実行される。

【0055】

Ｓ３１０では、端末処理部５３は、入力装置５２を介して、表示装置５１の画面（以下、表示画面）に表示されている情報全体（以下、「全体」）をコメント対象として指定する全指定入力が行われたか否かを判断する。端末処理部５３は、全指定入力が行われたと判断した場合は、処理をＳ３４０に移行し、全指定入力が行われていないと判断した場合は、処理をＳ３２０に移行する。

【0056】

Ｓ３４０では、端末処理部５３は、全指定入力が行われたタイミングに対応した取得時刻を取得して時間タグＴ２２を生成すると共に、当該タイミングに対応した再生時刻を取得して時間タグＴ２３を生成する。なお、取得時刻とは、全指定入力が行われたタイミング以前に表示処理のＳ２１０にて直近で取得された時間Ｓ、または、当該タイミングで表示されているデバイス情報Ｉｄｖに対応づけられた時間タグＴ１１が示す時刻である。また、再生時刻とは、全指定入力が行われたタイミングで時計機能４２２から取得される現在時刻である。

【0057】

続くＳ３５０では、端末処理部５３は、コメント対象が「全体」であることを表すコメント対象タグＴ２１を生成して、処理をＳ４２０に進める。
Ｓ３２０では、端末処理部５３は、入力装置５２を介して、表示画面上の位置を示す位置入力が行われたか否かを判断する。位置入力は、表示画面上のタッチパネルによって入力された位置でもよいし、マウスやキーボートによって操作される表示画面に表示されたカーソルが示す位置でもよい。更に、主画像中にナビ画像領域Ａ３が含まれている場合は、そのナビ画像により示されている３次元位置であってもよい。具体的には、三面図のそれぞれに示された、補助線が交差する各画像の中心位置である。端末処理部５３は、位置入力が行われたと判断した場合は、処理をＳ３６０に移行し、位置入力が行われていないと判断した場合は、処理をＳ３３０に移行する。

【0058】

Ｓ３６０では、端末処理部５３は、入力装置５２を介して位置入力が行われたタイミングに対応した取得時刻および再生時刻を取得し、Ｓ３４０での処理と同様に、時間タグＴ２２，Ｔ２３を生成する。

【0059】

続くＳ３７０では、端末処理部５３は、位置入力によって指定された表示画面上の位置である指定位置に、測定値を表す数字または波形（以下、波形等）が表示されているか否か、即ち、位置入力によって波形等が指定されたか否かを判断する。端末処理部５３は、波形等が指定されていないと判断した場合は、処理をＳ３８０に移行し、波形等が指定されていると判断した場合は、処理をＳ３９０に移行する。

【0060】

Ｓ３８０では、端末処理部５３は、指定位置と、その時点での表示のレイアウトとに基づいて、指定位置に表示されているデバイス情報Ｉｄｖの種類を特定する。デバイス情報Ｉｄｖの種類は、そのデバイス情報Ｉｄｖに対応づけられたデータ種別タグＴ１２で表される。更に、その特定されたデバイス情報Ｉｄｖがコメント対象であることを表すコメント対象タグＴ２１を生成して、処理をＳ４２０に進める。

【0061】

Ｓ３９０では、端末処理部５３は、位置入力によって指定された波形等が、コメント対象であることを表すコメント対象タグＴ２１を生成して、処理をＳ４２０に進める。
なお、Ｓ３８０およびＳ３９０では、コメント対象に割り当てられた表示領域内における相対位置で、指定位置を表した情報を、コメント対象タグＴ２１に含めてもよい。これは、レイアウトが変更された場合に、表示領域内での表示と指定位置との関係が変化しないようにするための情報である。

【0062】

Ｓ３３０では、端末処理部５３は、入力装置５２を介してコメント入力を行う旨の操作であるコメントイベント入力が行われたか否かを判断する。具体的には、図６に示すように、画面上の時間領域Ａ４に表示されるイベント追加ボタンＢｅｖが、入力装置５２を介して操作された場合に、コメントイベント入力が行われたと判断する。端末処理部５３は、コメントイベント入力が行われたと判断した場合は、処理をＳ４００に移行し、コメントイベント入力が行われていないと判断した場合は、処理をＳ３１０に戻す。なお、イベント追加ボタンＢｅｖが操作されると、図９に示すように、画面上に新たなコメントイベントが追加されたイベントリストＬが表示される。

【0063】

Ｓ４００では、端末処理部５３は、コメントイベント入力が行われたタイミングに対応した取得時刻および再生時刻を取得し、Ｓ３４０での処理と同様に、時間タグＴ２２，Ｔ２３を生成する。この取得時刻および再生時刻は、イベントリストＬにも表示される。

【0064】

続くＳ４１０では、端末処理部５３は、全体がコメント対象であることを表すコメント対象タグＴ２１を生成して、処理をＳ４２０に進める。
Ｓ４２０では、端末処理部５３は、入力装置５２を介してコメント入力があったか否かを判断し、コメント入力があれば処理をＳ４４０に移行し、コメント入力がなければ、処理をＳ４３０に移行する。

【0065】

Ｓ４３０では、入力装置５２を介してコメント入力をキャンセルする指示が入力されたか否かを判断し、キャンセルする指示が入力された場合は処理を終了し、キャンセルする指示の入力がなければ、処理をＳ４２０に戻す。

【0066】

Ｓ４４０では、端末処理部５３は、コメント入力に使用された入力機器から、入力されたコメントの種別を特定して、コメント種別タグＴ２４を生成する。コメントの種別とは、キーボードを介した文字入力、タッチパネルを介した手書き入力、マイクを介した音声入力、カメラを介した画像入力等がある。

【0067】

続くＳ４５０では、端末処理部５３は、コメント種別に応じたコメント情報Ｉｃｍを生成する。具体的には、コメント種別が文字入力または手書き入力である場合、入力されたテキストデータまたは画像をそのままコメント情報Ｉｃｍとする。コメント種別が音声入力である場合、音声データだけでなく、音声認識ＡＰ６２を実行することによって生成される音声認識データもコメント情報Ｉｃｍに含める。同様に、コメント種別が画像入力である場合、画像データだけでなく、動作解析ＡＰ６３を実行することによって生成される動作解析データもコメント情報Ｉｃｍに含める。

【0068】

続くＳ４６０では、端末処理部５３は、Ｓ４５０で生成されたコメント情報Ｉｃｍに、Ｓ３４０、Ｓ３６０、Ｓ４００で生成される時間タグＴ２２，Ｔ２３、Ｓ３５０、Ｓ３８０、Ｓ３９０、Ｓ４１０で生成されるコメント対象タグＴ２１、Ｓ４４０で生成されるコメント種別タグＴ２４を挿入することでタグ付きコメント情報Ｔ＿Ｉｃｍを生成する。

【0069】

続くＳ４７０では、端末処理部５３は、生成されたタグ付きコメント情報Ｔ＿Ｉｃｍを、データベース３１に記憶させて、処理を一旦終了する。
データベース３１に記憶されたタグ付きコメント情報Ｔ＿Ｉｃｍの内容は、繰り返し実行される表示処理によって、直ちに、表示に反映される。

【0070】

なお、Ｓ３１０～Ｓ３３０および入力装置５２が対象指定部、Ｓ４２０および入力装置５２がコメント入力部、Ｓ３４０～Ｓ４１０，Ｓ４４０～Ｓ４７０が情報生成部に相当する。

【0071】

なお、サーバ処理部３２および端末処理部５３の各機能は、ＣＰＵ３２１，５３１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３２２，５３２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、サーバ処理部３２および端末処理部５３は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

【0072】

サーバ処理部３２および端末処理部５３に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

【0073】

［５．表示例］
ここで、表示処理によるコメント情報Ｉｃｍの表示例を、図１１を用いて説明する。
モニタ領域Ａ１に表示された計測値が大きく変化した時に、その計測値が表示された画面上の部位を指で触れる等して位置入力をした後、キーボード等を介して「投薬にて変化」等のコメント入力をする。すると、図１１中の符号Ｃ１に示すように、コメント対象となるパラメータに関連付けた文字コメントが表示される。

【0074】

映像領域Ａ２を指定する位置入力が行われたあと、タッチパネル用の入力ペン等を用いて表示画面上に線図や文字を手書き入力する。すると、図１１中の符号Ｃ２に示すように、コメント対象となる映像領域Ａ２中の画像に、手書き入力した線図や文字がそのまま重畳表示される。

【0075】

ナビ画像領域Ａ３にＭＰＲ画像が３面図形式で表示されている状態で、ナビ画像領域Ａ３を指定する操作が行われると、ナビ画像領域Ａ３に表示されたＭＰＲ画像により特定される３次元位置を指定する位置入力が行われたものとされ、指定された３次元位置に対するコメントの入力が可能となる。この場合、３面図の各中央位置で表される３次元位置がコメント対象となり、図１１中の符号Ｃ３で示す「コメ１」の部分にコメントが表示される。また、３面図の別の位置には、以前にコメント対象として指定された３次元位置を表す黒点に対応づけて、図１１中の符号Ｃ４で示す「コメ２」の部分にコメントが表示される。なお、コメントは、画像に重畳表示されるのではなく、ナビ画像領域Ａ３中で画像のない部分に表示されてもよい。

【0076】

全指定入力が行われた場合、図示は省略するが、例えば、表示画面の右隅に、縦長のコメント表示領域が設定され、そのコメント表示領域の中に、コメント時間とコメント内容とが時系列で表示されてもよい。

【0077】

［６．効果］
以上詳述した情報統合装置１によれば、以下の効果を奏する。
（６ａ）手術や治療中にリアルタイムでデバイス情報Ｉｄｖの表示を行った場合、任意の関係者と手術や治療の状況等をリアルタイムで共有できるだけでなく、術中に受けたアドバイスや術中に行った機器の操作や作業の意図、および術中に気づいたこと等の備忘として、リアルタイムでコメントを残すことができる。

【0078】

例えば、表示装置５１の表示画面に表示されたデバイス情報に、他の部分とは異なる特徴的な部分が存在する場合、投薬、空調の設定変更、および患者の姿勢変更など、デバイス情報から読み取ることのできない情報をコメントとして残すことができる。

【0079】

（６ｂ）タッチパネル、キーボード、およびマウス等による機器の操作を伴う入力だけでなく、マイクがカメラを通した音声やジェスチャによる非接触でのコメント入力が可能なため、機器の操作を行えない状況にある施術者等のコメントも簡単に残すことができる。

【0080】

（６ｃ）手術や治療の振り返りや教育等のために、術後にデバイス情報Ｉｄｖおよびコメント情報Ｉｃｍの表示を行った場合は、閲覧者は、デバイス情報Ｉｄｖだけからは得ることのできない、有用な情報をコメント情報Ｉｃｍから得ることができる。また、このとき、新たなコメントを追加することもできる。

【0081】

（６ｄ）コメントを入力する際には、表示画面上の示された個々のデバイス情報Ｉｄｖを指定することができ、その指定されたデバイス情報Ｉｄｖと関連づけてコメント情報Ｉｃｍが表示，再生されるため、閲覧者は、コメント対象を明確に把握することができる。

【0082】

（６ｅ）コメント対象を「全体」とすることができるため、この機能を利用することで、閲覧者同士が表示画面上で議論をすることができ、また、その議論内容をコメントとして残すことができる。

【0083】

［７．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

【0084】

（７ａ）上記実施形態では、端末５に複数のアプリケーション６１～６５が実装されているが、本開示は、これに限定されるものではない。例えば、サーバ３に端末５を一体化し、サーバ３に複数のアプリケーション６１～６５の少なくとも一部が実装されてもよい。

【0085】

（７ｂ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

【0086】

（７ｃ）上述した情報統合装置の他、当該情報統合装置を構成要素とするシステム、当該情報統合装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体など、種々の形態で本開示を実現することもできる。

【符号の説明】

【0087】

１…情報統合装置、２…デバイス群、３…サーバ、５…端末、２１Ａ～２１Ｈ…デバイス、３１…データベース、３２…サーバ処理部、４１Ａ～４１Ｈ…プロバイダ、４２…ミドルウェア、４５…デバイス情報領域、４６…コメント情報領域、４７…イベント情報領域、５１…表示装置、５２…入力装置、５３…端末処理部、６１～６５…アプリケーション、３２１，５３１…ＣＰＵ、３２２，５３２…メモリ、４２１…デバイス情報生成機能、４２２…時計機能。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】