特許 6252004 情報処理装置、情報処理方法、および、情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6252004

(24)【登録日】2017年12月8日

(45)【発行日】2017年12月27日

(54)【発明の名称】情報処理装置、情報処理方法、および、情報処理システム

(51)【国際特許分類】

   A61B 34/00 20160101AFI20171218BHJP

   A61B 5/00 20060101ALI20171218BHJP

【ＦＩ】

   A61B34/00ZJP

   A61B5/00 D

【請求項の数】11

【全頁数】37

(21)【出願番号】特願2013-147418(P2013-147418)

(22)【出願日】2013年7月16日

(65)【公開番号】特開2015-19678(P2015-19678A)

(43)【公開日】2015年2月2日

【審査請求日】2016年5月23日

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】特許業務法人明成国際特許事務所

(72)【発明者】

【氏名】津田 敦也

(72)【発明者】

【氏名】内山 敏一

(72)【発明者】

【氏名】若宮 仁美

(72)【発明者】

【氏名】高野 正秀

【審査官】 近藤 利充

(56)【参考文献】

【文献】 再公表特許第２００８／０２６２５８（ＪＰ，Ａ１）

【文献】 欧州特許出願公開第０２５４４０３９（ＥＰ，Ａ１）

【文献】 米国特許出願公開第２００５／０２０６５８３（ＵＳ，Ａ１）

【文献】 特開２０１４−１５５２０７（ＪＰ，Ａ）

【文献】 五味 雄一，内視鏡手術におけるＨＭＤ利用に関する一考察，ヒューマンインタフェース学会研究報告集，日本，２００８年１１月 ６日，Ｖｏｌ．１０ Ｎｏ．４

【文献】 倉掛 正治，複数カメラを搭載したメガネ型携帯端末を用いた認識システムの構成と応用，２０１３年度画像電子学会第４１回年次大会予稿集，日本，２０１３年 ６月２２日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／００ − ９０／９８

(57)【特許請求の範囲】

【請求項1】

複数の医療用装置に接続されている情報処理装置であって、
前記複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と、
前記取得部により取得された前記複数の医療用装置情報の全部ではなく一部を含む提示用情報を生成する生成部と、
画像を表示する画像表示装置であって、虚像である前記画像と外景とを使用者が同時に視認可能な透過型の頭部装着型表示装置である画像表示装置に対して、生成された前記提示用情報を出力し、前記画像表示装置の使用者の視界方向の画像を取得する提供部と、
取得された前記視界方向の画像を画像認識して、前記複数の医療用装置のうち、表示部が前記視界方向の画像に含まれていない第１種の医療用装置を特定する特定部と、を備え、
前記生成部は、少なくとも、前記第１種の医療用装置により取得された前記医療用装置情報を含む前記提示用情報を生成する、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記取得部は、さらに、前記情報処理装置に接続されている前記複数の医療用装置の位置情報をそれぞれ取得し、
前記提供部は、さらに、前記情報処理装置に接続されている前記画像表示装置の現在位置を表す現在位置情報と、前記使用者の頭部の向きを表す方位情報とを取得し、
さらに、前記取得部により取得された前記複数の前記医療用装置の前記位置情報と、前記提供部により取得された前記画像表示装置の前記現在位置情報および前記方位情報と、を用いて、前記第１種の医療用装置を特定する特定部を備える、情報処理装置。

【請求項3】

請求項１から請求項２のいずれか一項記載の情報処理装置であって、さらに、
前記第１種の医療用装置を特定するための情報を記憶する配置記憶部を備え、
さらに、前記配置記憶部を用いて、前記第１種の医療用装置を特定する特定部を備える、情報処理装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の情報処理装置であって、さらに、
物体の外観に現れない情報である不可視情報を記憶する不可視情報記憶部を備え、
前記生成部は、生成する前記提示用情報に対して前記不可視情報を含める、情報処理装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の情報処理装置であって、
前記情報処理装置には、物体の外観に現れない情報である不可視情報を取得するための前記医療用装置が少なくとも１台接続され、
前記生成部は、生成する前記提示用情報に対して、前記不可視情報を取得するための前記医療用装置により取得された前記医療用装置情報を含める、情報処理装置。

【請求項6】

請求項１から請求項５のいずれか一項に記載の情報処理装置であって、
前記情報処理装置には、患者の処置の画像を取得するための前記医療用装置が少なくとも１台接続され、
前記生成部は、生成する前記提示用情報に対して、前記処置の画像を取得するための前記医療用装置により取得された前記医療用装置情報を含める、情報処理装置。

【請求項7】

請求項１から請求項６のいずれか一項に記載の情報処理装置であって、
前記生成部は、前記提示用情報を生成する際に、前記医療用装置情報に含まれる画像の縦横比を維持したまま、前記画像を拡大または縮小する、情報処理装置。

【請求項8】

請求項１から請求項７のいずれか一項に記載の情報処理装置であって、
前記提供部は、さらに、
前記頭部装着型表示装置から、前記頭部装着型表示装置を装着した状態における使用者の視界方向の画像を取得し、
取得された前記視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、
抽出した前記特徴に基づいて生成部により生成された前記提示用情報を補正し、補正後の前記提示用情報を出力する、情報処理装置。

【請求項9】

情報処理方法であって、
（ａ）複数の医療用装置から取得された情報である複数の医療用装置情報を取得する工程と、
（ｂ）取得された前記複数の医療用装置情報の全部ではなく一部を含む提示用情報を生成する工程と、
（ｃ）画像を表示する画像表示装置であって、虚像である前記画像と外景とを使用者が同時に視認可能な頭部装着型表示装置である画像表示装置に対して、生成された前記提示用情報を出力する工程と、
（ｄ）前記画像表示装置の使用者の視界方向の画像を取得する工程と、
（ｅ）取得された前記視界方向の画像を画像認識して、前記複数の医療用装置のうち、表示部が前記視界方向の画像に含まれていない第１種の医療用装置を特定する工程と、
を備え、
前記工程（ｂ）は、少なくとも、前記第１種の医療用装置により取得された前記医療用装置情報を含む前記提示用情報を生成する、情報処理方法。

【請求項10】

情報処理システムであって、
複数の医療用装置と、
前記複数の医療用装置に接続されている情報処理装置と、
使用者が虚像と外景を同時に視認可能な透過型の頭部装着型表示装置と、
を備え、
前記情報処理装置は、
前記複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と、
前記取得部により取得された前記複数の医療用装置情報の全部ではなく一部を含む提示用情報を生成する生成部と、
前記頭部装着型表示装置に対して、生成された前記提示用情報を出力し、前記頭部装着型表示装置の使用者の視界方向の画像を取得する提供部と、
取得された前記視界方向の画像を画像認識して、前記複数の医療用装置のうち、表示部が前記視界方向の画像に含まれていない第１種の医療用装置を特定する特定部と、を備え、
前記頭部装着型表示装置は、
前記情報処理装置から前記提示用情報を取得する提示用情報取得部と、
取得された前記提示用情報を前記虚像として前記頭部装着型表示装置の使用者に視認させる画像表示部と、
を備え、
前記情報処理装置の前記生成部は、少なくとも、前記第１種の医療用装置により取得された前記医療用装置情報を含む前記提示用情報を生成する、情報処理システム。

【請求項11】

請求項１に記載の情報処理装置に接続され、使用者が虚像と外景を同時に視認可能な透過型の頭部装着型表示装置であって、
前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の画像を取得する画像取得部と、
取得された前記視界方向の画像を画像認識して、前記第１種の医療用装置を特定する特定部と、
前記第１種の医療用装置を前記情報処理装置へ通知する通知部と、
前記情報処理装置から前記提示用情報を取得する提示用情報取得部と、
取得された前記提示用情報を前記虚像として前記使用者に視認させる画像表示部と、
を備える、頭部装着型表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置に関する。

【背景技術】

【0002】

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。

【0003】

特許文献１には、このような頭部装着型表示装置を用いることで、医療環境における情報の表示を改善するためのシステムが記載されている。特許文献１に記載の技術では、クエリーに基づいて複数の情報源から情報が取得され、取得された情報は、規則に基づきフィルター処理され、眼鏡ヘッドセット式ビューアーの接眼レンズへ投影される。また、特許文献１に記載の技術では、頭部装着型表示装置の装着者の視線に基づいて、固定された大型ディスプレイの表示についての制御権や優先権が決定される。特許文献２には、医療用顔面装着型映像表示装置（頭部装着型表示装置）が記載されている。特許文献２に記載の技術では、内視鏡検査又は内視鏡手術時に内視鏡と共に使用される内視鏡周辺機器の動作状態情報が、頭部装着型表示装置に表示される。特許文献３、４には、頭部装着型表示装置において、拡張現実感技術を応用することで、歯科手術における情報の表示を行うための方法が記載されている。特許文献３、４に記載の技術では、術部の実像に対して、術前イメージやシミュレーション画像等が重畳して表示される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−１０２４９５号公報

【特許文献2】特開２００１−１０４３３１号公報

【特許文献3】特開２０１０−２５９４９７号公報

【特許文献4】特開２０１３−３４７６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

医学の進歩と電子機器の進歩により、現在の医療の現場は急速な進化を遂げている。医療の現場では、例えば、心電図、心拍数計、血圧計、パルスオキシメーター、血糖値計、レントゲン、内視鏡のような、多種多様な医療用の装置（以降「医療用装置」と呼ぶ。）が使用されている。このような多種多様な医療用装置の情報を把握して、作業を行うことは、医療の現場に従事する者にとって大きな負担となる。このため、多種多様な医療用装置の情報を一元化することのできるシステムが望まれていた。特許文献１に記載された技術では、複数の情報源（医療用装置）から情報を取得することはできるものの、クエリーやフィルターの設定が困難であるという課題があった。また、特許文献２〜４に記載された技術では、対象としている医療用装置が限定されているため、多種多様な医療用装置の情報を一元化することができないという課題があった。

【0006】

また、このような課題は、頭部装着型表示装置に限らず、例えば頭部装着型表示装置のような画像表示装置に表示させるための情報を生成する情報処理装置全般に共通する課題であった。このため、多種多様な医療用装置の情報を一元化すると共に、一元化されている情報から簡便に情報をフィルタリングして、画像表示装置に表示させるための情報を生成することが可能な情報処理装置が望まれていた。そのほか、情報処理装置には、汎用性の向上、利便性の向上、製造コストの低減、信頼性の向上といった、種々の要望があった。

【課題を解決するための手段】

【0007】

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

【0008】

（１）本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は；複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と；前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と；画像を表示する画像表示装置に対して、生成された前記提示用情報を出力する提供部と、を備え；前記生成部は、少なくとも、前記画像表示装置の使用者による表示部の視認が困難な前記医療用装置により取得された前記医療用装置情報を含む前記提示用情報を生成する。この形態の情報処理装置によれば、生成部は、取得部により取得された複数の医療用装置情報の少なくとも一部を含む提示用情報を生成するため、情報処理装置に接続されている多種多様な医療用装置の情報（医療用装置情報）を一元化することができる。また、生成部は、少なくとも画像表示装置の使用者による表示部の視認が困難な医療用装置により取得された医療用装置情報を含む提示用情報を生成するため、一元化されている医療用装置情報から、画像表示装置の使用者による表示部の視認が困難な医療用装置の医療用装置情報という条件で情報を抽出して、抽出した情報を提示用情報に含めることができる。この結果、多種多様な医療用装置の情報を一元化すると共に、一元化されている情報から簡便に情報をフィルタリングして、画像表示装置に表示させるための情報を生成することが可能な情報処理装置を実現することができる。

【0009】

（２）上記形態の情報処理装置において；前記提供部は、さらに、前記画像表示装置の使用者の視界方向の画像を取得し；さらに、取得された前記視界方向の画像を画像認識して、前記表示部が前記視界方向の画像に含まれない前記医療用装置を特定し、特定した前記医療用装置を前記視認が困難な医療用装置であると特定する特定部を備えてもよい。この形態の情報処理装置によれば、特定部は、画像表示装置の使用者の視界方向の画像に基づいて、使用者による表示部の視認が困難な医療用装置を特定することができる。また、特定にあたって必要な情報を、提供部を介して取得することができる。このため、情報処理装置の利用に際して使用者が事前にデーター等を準備する必要がなく、簡便である。

【0010】

（３）上記形態の情報処理装置において；前記取得部は、さらに、前記情報処理装置に接続されている前記複数の医療用装置の位置情報をそれぞれ取得し；前記提供部は、さらに、前記情報処理装置に接続されている前記画像表示装置の現在位置を表す現在位置情報と、前記使用者の頭部の向きを表す方位情報とを取得し；さらに、前記取得部により取得された前記複数の前記医療用装置の前記位置情報と、前記提供部により取得された前記画像表示装置の前記現在位置情報および前記方位情報と、を用いて、前記視認が困難な医療用装置を特定する特定部を備えてもよい。この形態の情報処理装置によれば、特定部は、取得部により取得された複数の医療用装置の位置情報と、提供部により取得された画像表示装置の現在位置情報および方位情報と、を用いて、自動的に、画像表示装置の使用者による表示部の視認が困難な医療用装置を特定することができる。また、特定にあたって必要な情報を、取得部および提供部を介して取得することができる。このため、情報処理装置の利用に際して使用者が事前にデーター等を準備する必要がなく、簡便である。

【0011】

（４）上記形態の情報処理装置では、さらに；前記視認が困難な医療用装置を特定するための情報を記憶する配置記憶部を備え；さらに、前記配置記憶部を用いて、前記視認が困難な医療用装置を特定する特定部を備えてもよい。この形態の情報処理装置によれば、特定部は、画像表示装置の使用者による表示部の視認が困難な医療用装置を特定するための情報を記憶する配置記憶部を用いて、自動的に、画像表示装置の使用者による表示部の視認が困難な医療用装置を特定することができる。また、特定にあたって必要な情報を、予め用意されている配置記憶部から取得することができる。このため、情報処理装置に接続されている医療用装置や画像表示装置が位置情報の検出手段や外景画像の取得手段を持たない場合においても、特定部は、画像表示装置の使用者による表示部の視認が困難な医療用装置を、自動的に特定することができる。

【0012】

（５）上記形態の情報処理装置では、さらに；物体の外観に現れない情報である不可視情報を記憶する不可視情報記憶部を備え；前記生成部は、生成する前記提示用情報に対して前記不可視情報を含めてもよい。この形態の情報処理装置によれば、不可視情報記憶部を備えることによって、情報処理装置に接続されている多種多様な医療用装置の医療用装置情報に加えて、さらに、不可視情報記憶部に記憶されている不可視情報をも一元化することができる。また、生成部は、一元化されている情報から、例えば、ＣＴ画像、ＭＲＩ画像、レントゲン（Ｘ線）画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像等、物体の外観に現れない情報である不可視情報を抽出して、画像表示装置に表示させるための提示用情報を生成する。この結果、情報処理装置に接続される画像表示装置の使用者は、これらの不可視情報を視認することが可能となり、画像表示装置の利便性の向上に繋がる。

【0013】

（６）上記形態の情報処理装置において；前記情報処理装置には、物体の外観に現れない情報である不可視情報を取得するための前記医療用装置が少なくとも１台接続され；前記生成部は、生成する前記提示用情報に対して、前記不可視情報を取得するための前記医療用装置により取得された前記医療用装置情報を含めてもよい。この形態の情報処理装置によれば、生成部は、例えば、ＣＴ画像、ＭＲＩ画像、レントゲン（Ｘ線）画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像等、物体の外観に現れない情報である不可視情報を取得するための医療用装置により取得された医療用装置情報を抽出して、画像表示装置に表示させるための提示用情報を生成する。この結果、情報処理装置に接続される画像表示装置の使用者は、これらの不可視情報を視認することが可能となり、画像表示装置の利便性の向上に繋がる。

【0014】

（７）上記形態の情報処理装置において；前記情報処理装置には、患者の処置の画像を取得するための前記医療用装置が少なくとも１台接続され；前記生成部は、生成する前記提示用情報に対して、前記処置の画像を取得するための前記医療用装置により取得された前記医療用装置情報を含めてもよい。この形態の情報処理装置によれば、生成部は、患者の処置の画像を取得するための医療用装置により取得された医療用装置情報を抽出して、画像表示装置に表示させるための提示用情報を生成する。この結果、情報処理装置に接続される画像表示装置の使用者は、患者の処置の画像を視認することが可能となり、画像表示装置の利便性の向上に繋がる。

【0015】

（８）上記形態の情報処理装置において；前記生成部は、前記提示用情報を生成する際に、前記医療用装置情報に含まれる画像の縦横比を維持したまま、前記画像を拡大または縮小してもよい。この形態の情報処理装置によれば、生成部は、医療用装置情報に含まれる画像の縦横比を維持したまま、画像を拡大または縮小するため、提示用情報が生成される際に、医療用装置により取得された医療用装置情報に予期しない歪みが生じることを抑制できる。

【0016】

（９）上記形態の情報処理装置において；前記情報処理装置には、前記画像表示装置として、使用者が虚像と外景を同時に視認可能な頭部装着型表示装置が接続されてもよい。この形態の情報処理装置によれば、多種多様な医療用装置の情報を一元化すると共に、一元化されている情報から簡便に情報をフィルタリングして、いわゆる透過型の頭部装着型表示装置に表示させるための情報を生成することが可能な情報処理装置を実現することができる。

【0017】

（１０）上記形態の情報処理装置において；前記提供部は、さらに；前記頭部装着型表示装置から、前記頭部装着型表示装置を装着した状態における使用者の視界方向の画像を取得し；取得された前記視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し；抽出した前記特徴に基づいて生成部により生成された前記提示用情報を補正し、補正後の前記提示用情報を出力してもよい。この形態の情報処理装置によれば、提供部は、頭部装着型表示装置の使用者の視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、抽出した特徴に基づいて、生成された提示用情報を補正する。このため、提示用情報に、例えばＣＴ画像、ＭＲＩ画像、レントゲン画像等の不可視情報が含まれる場合において、外景に含まれる物体（例えば、患者の体等）に不可視情報を一致させることができる。この結果、頭部装着型表示装置の使用者の利便性を向上させることができる。さらに、頭部装着型表示装置は、補正後の提示用情報を受信することができるため、頭部装着型表示装置は、受信した提示用情報をそのまま表示すればよい。この結果、頭部装着型表示装置の構成をシンプルにすることができる。

【0018】

（１１）本発明の一形態によれば、情報処理システムが提供される。この情報処理システムは；複数の医療用装置と；情報処理装置と；使用者が虚像と外景を同時に視認可能な頭部装着型表示装置と、を備え；前記情報処理装置は；前記複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と；前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と；前記頭部装着型表示装置に対して、生成された前記提示用情報を出力する提供部と、を備え；前記頭部装着型表示装置は；前記情報処理装置から前記提示用情報を取得する提示用情報取得部と；取得された前記提示用情報を前記虚像として前記頭部装着型表示装置の使用者に視認させる画像表示部と、を備え；前記情報処理装置の前記生成部は、少なくとも、前記頭部装着型表示装置の使用者による表示部の視認が困難な前記医療用装置により取得された前記医療用装置情報を含む前記提示用情報を生成する。この形態の情報処理システムによれば、多種多様な医療用装置の情報（医療用装置情報）を情報処理装置に一元化すると共に、一元化されている情報から簡便に情報をフィルタリングして提示用情報を生成し、生成された提示用情報を、いわゆる透過型の頭部装着型表示装置の使用者に虚像として視認させることが可能な情報処理システムを実現することができる。

【0019】

（１２）本発明の一形態によれば、上記形態の情報処理装置に接続され、使用者が虚像と外景を同時に視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の画像を取得する画像取得部と；取得された前記視界方向の画像を画像認識して、前記表示部が前記視界方向の画像に含まれない前記医療用装置を特定し、特定した前記医療用装置を前記視認が困難な医療用装置であると特定する特定部と；特定された前記医療用装置を前記情報処理装置へ通知する通知部と；前記情報処理装置から前記提示用情報を取得する提示用情報取得部と；取得された前記提示用情報を前記虚像として前記使用者に視認させる画像表示部と、を備える。この形態の頭部装着型表示装置によれば、特定部を、頭部装着型表示装置に設けることができる。この結果、情報処理装置における処理負荷を低減させることができる。

【0020】

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

【0021】

例えば、本発明の一形態は、取得部と、生成部と、提供部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、取得部を有していてもよく、有していなくてもよい。また、この装置は、生成部を有していてもよく、有していなくてもよい。また、この装置は、提供部を有していてもよく、有していなくてもよい。こうした装置は、例えば情報処理装置として実現できるが、情報処理装置以外の他の装置としても実現可能である。前述した情報処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

【0022】

なお、本発明は、種々の態様で実現することが可能であり、例えば、情報処理装置、情報処理方法、情報処理システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態における情報処理システムの概略構成を示す説明図である。

【図2】情報処理装置の構成を機能的に示すブロック図である。

【図3】共通映像仕様の一例を示す説明図である。

【図4】管理テーブルの一例を示す説明図である。

【図5】ヘッドマウントディスプレイの構成を機能的に示すブロック図である。

【図6】提示用情報生成処理の手順を示すフローチャートである。

【図7】医療用装置とヘッドマウントディスプレイの配置の一例を示す説明図である。

【図8】ヘッドマウントディスプレイの使用者による表示部の視認が困難な医療用装置の特定方法について説明するための説明図である。

【図9】提示用情報の生成方法について説明するための説明図である。

【図10】提示用情報の生成方法について説明するための説明図である。

【図11】提示用情報がヘッドマウントディスプレイにおいて虚像として表示されている様子を示す説明図である。

【図12】異なる位置にある複数のヘッドマウントディスプレイにおいて提示用情報が虚像として表示されている様子を示す説明図である。

【図13】提示用情報の第１の例を示す説明図である。

【図14】提示用情報の第２の例を示す説明図である。

【図15】提示用情報の第３の例を示す説明図である。

【図16】第２実施形態における情報処理装置の構成を機能的に示すブロック図である。

【図17】位置テーブルの一例を示す説明図である。

【図18】第２実施形態における提示用情報生成処理の手順を示すフローチャートである。

【図19】変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

【発明を実施するための形態】

【0024】

Ａ．第１実施形態：
Ａ−１．情報処理システムの構成：
図１は、本発明の一実施形態における情報処理システム１０００の概略構成を示す説明図である。情報処理システム１０００は、複数の医療用装置５０１〜５０ｎと、情報処理装置３００と、画像表示装置１００と、を備えている。情報処理システム１０００は、医療の現場において使用されるシステムであり、情報処理装置３００は、複数の医療用装置５０１〜５０ｎから情報を取得して一元化し、画像表示装置１００へ表示させるための提示用情報を生成する。医療用装置５０１〜５０ｎと、画像表示装置１００とは、有線接続または無線接続によって、情報処理装置３００と接続されている。なお、以降では「任意の複数」を表す文字として「ｎ」を用いる。ｎは１以上の整数である。

【0025】

本実施形態では、医療の現場として、手術室における手術現場を例示するが、情報処理システム１０００は、診察室、処置室、治療室、分娩室等で使用されてもよい。また、本実施形態では、画像表示装置１００として、頭部装着型表示装置を例示するが、画像表示装置１００は、固定型のディスプレイ、携帯可能なディスプレイ、スマートフォン等でもよい。以降、頭部装着型表示装置１００を「ヘッドマウントディスプレイ１００（Head Mounted Display、ＨＭＤ）」とも呼ぶ。また、図１では、１台のヘッドマウントディスプレイ１００を図示しているが、後述する図２のように、複数台のヘッドマウントディスプレイ１００ａ〜１００ｎが情報処理装置３００に接続されていてもよい。

【0026】

なお、以降の説明において、ヘッドマウントディスプレイ１００ａ〜１００ｎを特に区別せず説明する場合は、単に「ヘッドマウントディスプレイ１００」と呼ぶ。同様に、医療用装置５０１〜５０ｎを特に区別せず説明する場合は、単に「医療用装置５００」と呼ぶ。

【0027】

医療用装置５０１〜５０ｎは、医療用途で使用される種々の装置である。医療用装置５０１〜５０ｎの例としては、例えば、室内外の静止画および動画を撮影するための可視光カメラ、術部の静止画および動画を撮影するための可視光カメラ、心電図検査装置、手術用タイマー、生体モニター、心拍数計、脈拍計、血圧計、超音波検査装置、パルスオキシメーター、血糖値計、ＣＴ（Computed Tomography、コンピューター断層撮影）画像撮影装置、ＭＲＩ（Magnetic Resonance Imaging、核磁気共鳴画像法）画像撮影装置、レントゲン（Ｘ線）画像撮影装置、透視画像撮影装置、内視鏡画像、サーモグラフィー画像撮影装置等を使用することができる。

【0028】

Ａ−２．情報処理装置の構成：
図２は、情報処理装置３００の構成を機能的に示すブロック図である。情報処理装置３００は、第１の入出力部３１０と、ＲＯＭ３２０と、ＲＡＭ３３０と、通信インターフェイス３４０と、ＣＰＵ３５０と、外部記憶装置３８０とを備え、各部はバスにより相互に接続されている。

【0029】

取得部としての第１の入出力部３１０は、複数の第１の入出力部３１１〜３１ｎを備えている。第１の入出力部３１１〜３１ｎは、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High Definition Multimedia Interface（登録商標））、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、赤外線、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））、無線ＬＡＮ（例えばＩＥＥＥ８０２．１１）、有線ＬＡＮ（例えばＩＥＥＥ８０２．３）などの通信規格に準拠した入出力インターフェイスである。第１の入出力部３１１〜３１ｎは、接続されている医療用装置５０１〜５０ｎから入力される情報をそれぞれ取得する。医療用装置から入力される情報とは、医療用装置により測定または撮像等された情報である。以降では「医療用装置情報」とも呼ぶ。

【0030】

本実施形態では、第１の入出力部３１１はＤＶＩに準拠し、第１の入出力部３１２はＨＤＭＩに準拠し、第１の入出力部３１３はＨＤＭＩに準拠し、第１の入出力部３１ｎは無線ＬＡＮに準拠した入出力インターフェイスである。図２において、第１の入出力部３１１には、医療用装置５０１と固定式のディスプレイ７００とが接続されている。同様に、第１の入出力部３１２には医療用装置５０２が、第１の入出力部３１３には医療用装置５０３が、第１の入出力部３１ｎには医療用装置５０ｎが、それぞれ接続されている。このように、第１の入出力部３１０は、異なる種類の通信規格に準拠した第１の入出力部３１１〜３１ｎにより構成されている。このため、第１の入出力部３１０には、様々な通信規格に準拠した医療用装置を接続することが可能となり、情報処理装置３００の汎用性を向上させることができる。なお、第１の入出力部３１０は、入力された信号を、例えばディスプレイ７００等の表示装置に対してそのまま出力することもできる。

【0031】

通信インターフェイス（Ｉ／Ｆ）３４０は、有線ＬＡＮのインターフェイスである。通信インターフェイス３４０は、インターネットＩＮＴの回線を通じて、外部の施設の医師ＰＲと情報処理装置３００とを通信可能に接続するほか、イントラネットを通じて院内ＬＡＮに接続されているデータベースＯＤと情報処理装置３００とを通信可能に接続する。医師ＰＲは、例えば、情報処理装置３００に接続されているヘッドマウントディスプレイ１００の使用者の指導に当たる医師や、外部の専門医等が想定される。データベースＯＤには、手術等の処置の手順を表す手順情報、電子カルテシステム、電子化された学術書等が記憶されている。

【0032】

ＣＰＵ３５０は、ＲＯＭ３２０に格納されているコンピュータープログラムをＲＡＭ３３０に展開して実行することにより、情報処理装置３００を制御する。また、ＣＰＵ３５０は、生成部３６０、第２の入出力部３７０の機能を実現する。生成部３６０は、後述の提示用情報生成処理を実行することで、ヘッドマウントディスプレイ１００へ表示させるための提示用情報を生成する。本実施形態の生成部３６０は、ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００の医療用装置情報を含んだ提示用情報を生成する。生成部３６０は、特定部３６１を含んでいる。特定部３６１は、ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００を特定する。ここで、「使用者による表示部の視認が困難な医療用装置５００」とは、例えば、以下のような医療用装置５００の総称である。

【0033】

・医療用装置５００が使用者の死角にあるために、使用者から表示部（ディスプレイ等）が視認できない、または視認しづらい医療用装置５００。
・医療用装置５００が使用者から離れた場所にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００。
・医療用装置５００は使用者の死角でなく、かつ、使用者から近い場所にあるものの、使用者の視線と表示部とが対向していないために、使用者から表示部が視認できない、または視認しづらい医療用装置５００。

【0034】

提供部としての第２の入出力部３７０は、複数の第２の入出力部３７１〜３７ｎを備えている。第２の入出力部３７１〜３７ｎは、第１の入出力部３１０と同様に、様々な通信規格に準拠した入出力インターフェイスである。詳細は第１の入出力部３１０と同様であるため説明を省略する。

【0035】

本実施形態では、第２の入出力部３７１と第２の入出力部３７２とは無線ＬＡＮに準拠し、第２の入出力部３７３はＵＳＢに準拠し、第２の入出力部３７ｎはＤＶＩに準拠した入出力インターフェイスである。図２において、第２の入出力部３７１には、画像表示装置としてのヘッドマウントディスプレイ１００ａが接続されている。同様に、第２の入出力部３７２にはヘッドマウントディスプレイ１００ｂが、第２の入出力部３７３にはヘッドマウントディスプレイ１００ｃが、第２の入出力部３７ｎにはヘッドマウントディスプレイ１００ｎが、それぞれ接続されている。このように、第２の入出力部３７０は、異なる種類の通信規格に準拠した第２の入出力部３７１〜３７ｎにより構成されている。このため、第２の入出力部３７０には、様々な通信規格に準拠したヘッドマウントディスプレイを接続することが可能となり、情報処理装置３００の汎用性を向上させることができる。

【0036】

外部記憶装置３８０は、図示しないＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク、フラッシュメモリー等によって構成されている。外部記憶装置３８０は、共通映像仕様３８１と、管理テーブル３８２と、不可視情報記憶部としての不可視情報３８３と、手術の記録３８４とを含む。

【0037】

図３は、共通映像仕様３８１の一例を示す説明図である。共通映像仕様３８１は、提示用情報の映像信号についての、標準的な仕様を規定するためのテーブルである。共通映像仕様３８１は、提示用情報生成処理において、生成部３６０が提示用情報を生成する際に使用される。

【0038】

本実施形態の共通映像仕様３８１には、映像信号の仕様として、映像信号に含まれる画像の画素数と、縦横比と、解像度と、圧縮方法と、符号化方法とが含まれている。共通映像仕様３８１は、予め定められて外部記憶装置３８０内に記憶されている。共通映像仕様３８１を定める際は、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００ａ〜１００ｎにおいて採用されている映像信号の仕様を考慮することが好ましい。

【0039】

図４は、管理テーブル３８２の一例を示す説明図である。管理テーブル３８２は、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００の情報を管理するため、より具体的には、第２の入出力部３７１〜３７ｎにそれぞれ接続されているヘッドマウントディスプレイ１００ａ〜１００ｎの情報を管理するためのテーブルである。管理テーブル３８２は、提示用情報生成処理において生成部３６０が提示用情報を生成する際に使用されるほか、第２の入出力部３７１〜３７ｎがヘッドマウントディスプレイ１００ａ〜１００ｎに対して提示用情報を送信する際にも使用される。

【0040】

本実施形態の管理テーブル３８２は、識別子と、役割と、映像仕様とが関連付けられて記憶されている。「識別子」には、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００を相互に識別するための一意な識別子が格納されている。「役割」には、識別子によって識別されるヘッドマウントディスプレイ１００の使用者が、医療の現場においてどのような役割を担っているかを表す文字列が格納されている。「映像仕様」には、識別子によって識別されるヘッドマウントディスプレイ１００における映像信号の仕様（映像信号に含まれる画像の画素数、縦横比、解像度、圧縮方法、符号化方法等）のパターンを表す文字列が格納されている。

【0041】

図４の例では、識別子「１」により識別されるヘッドマウントディスプレイ１００の使用者は「執刀医」であり、当該ヘッドマウントディスプレイ１００の映像仕様は「仕様Ａ」であることがわかる（エントリＥ０１）。同様に、識別子「ｎ」により識別されるヘッドマウントディスプレイ１００の使用者は「看護師」であり、当該ヘッドマウントディスプレイ１００の映像仕様は「仕様Ｅ」であることがわかる（エントリＥ０ｎ）。

【0042】

管理テーブル３８２は、予め定められて外部記憶装置３８０に記憶されていてもよいし、情報処理装置３００に対してヘッドマウントディスプレイ１００が接続された際に、初期処理として自動的に生成されもよい。具体的には、例えば、生成部３６０は、第２の入出力部３７０に対するヘッドマウントディスプレイ１００の接続を検出した際に、当該ヘッドマウントディスプレイ１００に対して一意な識別子を付与すると共に、ヘッドマウントディスプレイ１００から、使用者の役割と、映像仕様とを取得する。生成部３６０は、付与した識別子と、取得した役割と、映像仕様とを管理テーブル３８２に格納する。第２の入出力部３７０に対してヘッドマウントディスプレイ１００ａ〜１００ｎが接続される度に、上記のような初期処理を行うことによって、生成部３６０は管理テーブル３８２を自動的に生成することができる。

【0043】

図２の不可視情報３８３（不可視情報記憶部）には、物体の外観に現れない情報である不可視情報が記憶されている。不可視情報は、物体の構造を表した画像や文字情報であり、物体が生体である場合、例えば、ＣＴ画像、ＭＲＩ画像、レントゲン（Ｘ線）画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像、および、これらに付随する文字情報である。不可視情報は、予め撮影されて、不可視情報３８３に記憶されている。

【0044】

図２の手術の記録３８４は、情報処理装置３００が取得した医療用装置情報と、情報処理装置３００が生成した提示用情報と、取得または生成の日時と、を対応付けて記録するための記録部である。情報処理装置３００が取得した医療用装置情報とは、情報処理装置３００が、第１の入出力部３１１〜３１ｎにそれぞれ接続されている複数の医療用装置５０１〜５０ｎから取得した医療用装置情報を意味する。また、情報処理装置３００が生成した提示用情報とは、提示用情報生成処理において、生成部３６０が生成したすべての提示用情報を意味する。情報処理装置３００が取得、生成した情報の記録は、手術（診察、処置、治療）のログとほぼ同視することができる。従って、このようにすれば、手術等が終了した後において、手術のログを、手術内容の分析、研修、学術等に利用することができる。

【0045】

Ａ−３．頭部装着型表示装置の構成：
図５は、ヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。以降では、ヘッドマウントディスプレイ１００の構成の一例としてヘッドマウントディスプレイ１００ａを例示して説明する。ヘッドマウントディスプレイ１００ａは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置であって、情報処理装置３００から取得した提示用情報を虚像として表示する。ヘッドマウントディスプレイ１００ａは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０とを備えている。画像表示部２０と制御部１０とは、ケーブル４０を介して各種信号の伝送を行う。

【0046】

Ａ−３−１．制御部の構成：
制御部１０は、例えばタッチパッド、十字キー、フットスイッチ、ジェスチャー、マイクロホン等の入力デバイスに対する操作入力を取得する入力情報取得部１１０と、ＲＯＭやハードディスク等により構成される記憶部１２０と、ヘッドマウントディスプレイ１００ａの各部に電力を供給する電源１３０と、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の所定の無線通信規格に則って他の機器との間で無線通信を行う無線通信部１３２と、現在位置取得部１３４と、ＣＰＵ１４０と、情報処理装置３００や種々の外部機器ＯＡを接続するためのインターフェイス１８０と、送信部（Ｔｘ）５１、５２とを備え、各部は図示しないバスにより相互に接続されている。現在位置取得部１３４は、ＧＰＳ衛星からの信号を受信することにより、ヘッドマウントディスプレイ１００ａの使用者の現在位置を検出し、使用者の現在位置を表す現在位置情報を生成する。なお、現在位置取得部１３４は、複数の基地局の電波を受信し、受信した電波の強弱を判定することによって現在位置情報を生成してもよい。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。インターフェイス１８０は、情報処理装置３００の第１の入出力部３１０と同様に、様々な通信規格に準拠することができる。

【0047】

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声信号を右イヤホン３２のスピーカーと左イヤホン３４のスピーカーとに対して供給する音声処理部１７０、表示制御部１９０として機能する。画像処理部１６０は、提示用情報取得部としてのインターフェイス１８０や無線通信部１３２を介して入力される提示用情報の映像信号に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、送信部５１、５２と、ケーブル４０とを介して画像表示部２０に供給することで、画像表示部２０における表示を制御する。画像表示部２０に供給するための信号は、周知のアナログ形式やディジタル形式を用いることができる。表示制御部１９０は、画像表示部２０の右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成し、送信部５１、５２を介して送信する。制御信号とは、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に切り替えるための信号である。

【0048】

Ａ−３−２．画像表示部の構成：
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、画像を表す画像光を生成し射出する右表示駆動部２２および左表示駆動部２４と、画像光を使用者の両眼へ導く右光学像表示部２６および左光学像表示部２８（図２）と、画像取得部としてのカメラ６１と、９軸センサー６６とを含む。

【0049】

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ（Liquid Crystal Display）制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含む。右バックライト制御部２０１は、受信部５３を介して入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、入力された映像信号に基づいて右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することで、右ＬＣＤ２４１を透過する光の透過率を変化させ、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、右表示駆動部２２と同様に動作する。

【0050】

右光学像表示部２６と左光学像表示部２８とは、使用者が画像表示部２０を装着した際に使用者の左右の眼前に位置するように配置されている（図２）。右光学像表示部２６は、光透過性の樹脂材料等によって形成された右導光板２６１を含む。右導光板２６１は、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥへ導く。右導光板２６１には、回折格子を用いても良いし半透過反射膜を用いても良い。左光学像表示部２８は、右光学像表示部２６と同様の構成を有し、右光学像表示部２６と同様に動作する。このようにして、ヘッドマウントディスプレイ１００ａの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。本実施形態のヘッドマウントディスプレイ１００ａの使用者は、視野のうち虚像が表示された部分については、虚像と、虚像の背後の外景とを同時に見ることができる。また、視野のうち虚像が表示されていない部分については、左右の光学像表示部２６、２８を透過して、外景を直接見ることができる。

【0051】

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０が使用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００ａの使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。なお、頭部の向きを「方位情報」とも呼ぶ。視界画像取得部としてのカメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００ａを装着した状態における使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラである。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。

【0052】

Ａ−４．提示用情報生成処理：
図６は、提示用情報生成処理の手順を示すフローチャートである。提示用情報生成処理は、ヘッドマウントディスプレイ１００へ表示させるための提示用情報を生成する処理であり、情報処理装置３００（図２）の生成部３６０が実行する。提示用情報生成処理は、ステップＳ１００〜Ｓ１１８から構成される初期処理と、ステップＳ１２０〜Ｓ１２６から構成される個別処理とに大別できる。

【0053】

Ａ−４−１．初期処理：
初期処理では、生成部３６０は、ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００を自動で特定し、特定された医療用装置５００から取得した医療用装置情報を含む提示用情報を生成する。

【0054】

図７は、医療用装置５００とヘッドマウントディスプレイ１００の配置の一例を示す説明図である。提示用情報生成処理（図６）のステップＳ１００において、生成部３６０の特定部３６１は、情報処理装置３００に接続されている全ての医療用装置５００の位置情報と、全てのヘッドマウントディスプレイ１００の現在位置情報と、を取得し、ＲＯＭ３２０（または外部記憶装置３８０）に記憶させる。具体的には、特定部３６１は、医療用装置５０１〜５０ｎに対して位置情報を要求する。特定部３６１は、応答と共に受信した医療用装置５０１〜５０ｎの位置ＭＰ１〜ＭＰｎ（図７）を表す位置情報をＲＯＭ３２０へ記憶させる。同様に、特定部３６１は、ヘッドマウントディスプレイ１００ａ〜１００ｎに対して現在位置情報を要求する。特定部３６１は、応答と共に受信したヘッドマウントディスプレイ１００ａ〜１００ｎの現在位置ＵＰ１〜ＵＰｎ（図７）を表す現在位置情報をＲＯＭ３２０へ記憶させる。

【0055】

提示用情報生成処理（図６）のステップＳ１０２において、生成部３６０は、提示用情報生成処理において使用する変数ｉに「１」をセットする。その後、生成部３６０の特定部３６１は、管理テーブル３８２のｉ番目のエントリを参照する（ステップＳ１０４）。生成部３６０の特定部３６１は、管理テーブル３８２のｉ番目のエントリに格納されているヘッドマウントディスプレイ１００の「識別子」を取得する（ステップＳ１０６）。

【0056】

なお、以降では、ステップＳ１０６において取得した識別子を有するヘッドマウントディスプレイ１００を「ヘッドマウントディスプレイ１００ｉ」とも呼ぶ。ヘッドマウントディスプレイ１００ｉは、初期処理において、現在処理中であるヘッドマウントディスプレイ１００を指している。例えば、変数ｉ＝１である場合、ヘッドマウントディスプレイ１００ｉは、管理テーブル３８２の１番目のエントリＥ０１に格納されている、識別子が１である執刀医のヘッドマウントディスプレイ１００ａを指す。

【0057】

提示用情報生成処理（図６）のステップＳ１０８において、生成部３６０の特定部３６１は、ヘッドマウントディスプレイ１００ｉに対して、現在位置情報と方位情報とを要求し、応答と共に受信したヘッドマウントディスプレイ１００ｉの現在位置情報と、方位情報とを取得する。その後、生成部３６０の特定部３６１は、ステップＳ１００で取得した全ての医療用装置５００の位置情報と、全てのヘッドマウントディスプレイ１００の現在位置情報とを用いて、ヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難な医療用装置５００を特定する（ステップＳ１１０）。

【0058】

図８は、ヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難な医療用装置５００の特定方法について説明するための説明図である。図８は、正常な人間における一般的な視野を表している。正常な人間の視野は、片眼の場合は、頭頂側に約６０度、足側に約７０度、耳側に約９０度、鼻側に約１２０度であることが知られている。また、鼻を中心として水平方向に各６０度の視野は、左右の眼で同時に見ることができる。以降では、両眼同時に見ることのできる視野を「両眼視野」とも呼ぶ。同様に、左眼のみで見ることのできる視野を「左眼視野」と、右眼のみで見ることのできる視野を「右眼視野」とも呼ぶ。なお、図８では、角度でのみ視野を特定しているが、角度に加えて距離を考慮してもよい。

【0059】

提示用情報生成処理（図６）のステップＳ１１０において、生成部３６０の特定部３６１は、以下の手順ａ１〜ａ３に示す処理を行い、ヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難な医療用装置５００を特定する。
（ａ１）特定部３６１は、ステップＳ１０８で取得したヘッドマウントディスプレイ１００ｉの現在位置情報と方位情報とから、ヘッドマウントディスプレイ１００ｉの現在位置と方位（向き）を決定する。
（ａ２）特定部３６１は、手順ａ１で決定した現在位置と方位を基準として、図８に示す両眼視野と、左眼視野と、右眼視野とのいずれの範囲にも入らない位置に存在する医療用装置５００を「使用者による表示部の視認が困難な医療用装置５００」とする。
（ａ３）特定部３６１は、ヘッドマウントディスプレイ１００ｉの現在位置から医療用装置５００の位置までの間の直線区間の近傍に、他のヘッドマウントディスプレイ１００の現在位置が存在する場合、当該医療用装置５００を「使用者による表示部の視認が困難な医療用装置５００」とする。なお、手順ａ３は、手順ａ２の対象外となった医療用装置５００に関してのみ実行する。

【0060】

ステップＳ１１０の具体例を、図７を用いて説明する。ヘッドマウントディスプレイ１００ｉがヘッドマウントディスプレイ１００ａである場合について説明する。特定部３６１は、ヘッドマウントディスプレイ１００ａの現在位置情報と方位情報に基づいて、現在位置ＵＰ１と方位ＵＤ１を決定する（手順ａ１）。特定部３６１は、現在位置ＵＰ１と方位ＵＤ１とを基準として、ヘッドマウントディスプレイ１００ａの使用者の両眼視野と、左眼視野と、右眼視野のいずれの範囲にも入らない位置ＭＰ３、ＭＰｎにある医療用装置５０３、５０ｎを、ヘッドマウントディスプレイ１００ａの使用者による表示部の視認が困難な医療用装置５００とする（手順ａ２）。特定部３６１は、ヘッドマウントディスプレイ１００ａの現在位置ＵＰ１から医療用装置５０１の位置ＭＰ１までの間の直線区間の近傍に、他のヘッドマウントディスプレイ１００の現在位置が存在しないため、医療用装置５０１は、視認が困難な医療用装置５００ではないと判定する。同様に、特定部３６１は、現在位置ＵＰ１から医療用装置５０２の位置ＭＰ２までの間、現在位置ＵＰ１から医療用装置５０４の位置ＭＰ４までの間、現在位置ＵＰ１から医療用装置５０５の位置ＭＰ５までの間、のそれぞれの直線区間の近傍に、他のヘッドマウントディスプレイ１００の現在位置が存在しないため、医療用装置５０２、５０４、５０５は、視認が困難な医療用装置５００ではないと判定する（手順ａ３）。これらの結果、ヘッドマウントディスプレイ１００ｉがヘッドマウントディスプレイ１００ａである場合、特定部３６１は、医療用装置５０３、５０ｎを、ヘッドマウントディスプレイ１００ａの使用者による表示部の視認が困難な医療用装置５００であると特定する。

【0061】

ヘッドマウントディスプレイ１００ｉがヘッドマウントディスプレイ１００ｎである場合について説明する。特定部３６１は、ヘッドマウントディスプレイ１００ｎの現在位置情報と方位情報に基づいて、現在位置ＵＰｎと方位ＵＤｎを決定する（手順ａ１）。特定部３６１は、現在位置ＵＰｎと方位ＵＤｎとを基準として、ヘッドマウントディスプレイ１００ｎの使用者の両眼視野と、左眼視野と、右眼視野のいずれの範囲にも入らない位置ＭＰｎにある医療用装置５０ｎを、ヘッドマウントディスプレイ１００ｎの使用者による表示部の視認が困難な医療用装置５００とする（手順ａ２）。特定部３６１は、ヘッドマウントディスプレイ１００ｎの現在位置ＵＰｎから医療用装置５０１の位置ＭＰ１までの間の直線区間の近傍に、他のヘッドマウントディスプレイ１００ｂの現在位置ＵＰ２が存在するため、医療用装置５０１は表示部の視認が困難であると判定する。同様に、特定部３６１は、現在位置ＵＰｎから医療用装置５０２、５０４の位置ＭＰ２、ＭＰ４までの間の直線区間の近傍に、他のヘッドマウントディスプレイ１００ａの現在位置ＵＰ１が存在するため、医療用装置５０２、５０４は表示部の視認が困難であると判定する。同様に、特定部３６１は、現在位置ＵＰｎから医療用装置５０３、５０５の位置ＭＰ３、ＭＰ５までの間の直線区間の近傍に、他のヘッドマウントディスプレイ１００の現在位置が存在しないため、医療用装置５０３、５０５は、表示部の視認が困難ではないと判定する（手順ａ３）。これらの結果、ヘッドマウントディスプレイ１００ｉがヘッドマウントディスプレイ１００ｎである場合、特定部３６１は、医療用装置５０１、５０２、５０４、５０ｎを、ヘッドマウントディスプレイ１００ｎの使用者による表示部の視認が困難な医療用装置５００であると特定する。

【0062】

このように、生成部３６０の特定部３６１は、手順ａ２によって、人間の一般的な視野を考慮して、ヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難な医療用装置５００を特定することができる。さらに、生成部３６０の特定部３６１は、手順ａ３によって、視野の範囲内には存在するものの、他のヘッドマウントディスプレイ１００の使用者の存在によって使用者による表示部の視認が困難な医療用装置５００をも特定することができる。

【0063】

このように、ステップＳ１００〜Ｓ１１０によれば、特定部３６１は、ヘッドマウントディスプレイ１００および医療用装置５００の現在位置情報や方位情報に基づいて、表示部の視認が困難な医療用装置５００を特定することができる。具体的には、特定部３６１は、医療用装置５００が使用者の死角にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００を特定することができる。また、特定部３６１は、図８において角度に加えて距離を考慮することで、医療用装置５００が使用者から離れた場所にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００をも特定することができる。また、特定にあたって必要な情報を、第１の入出力部３１０（取得部）および第２の入出力部３７０（提供部）を介して取得することができる。このため、情報処理装置３００の利用に際して使用者が事前にデーター等を準備する必要がなく、簡便である。

【0064】

生成部３６０の特定部３６１は、図６のステップＳ１００〜Ｓ１１０で説明した処理に代えて、以下の手順ｚ１〜ｚ６を実行することによって、ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００を特定してもよい。この場合、情報処理装置３００のＲＯＭ３２０（または外部記憶装置３８０）には、情報処理装置３００に接続されている全ての医療用装置５００（医療用装置５０１〜５０ｎ）の表示部の画像が予め記憶されている。

【0065】

（ｚ１）生成部３６０は、提示用情報生成処理において使用する変数ｉに「１」をセットする。
（ｚ２）特定部３６１は、管理テーブル３８２のｉ番目のエントリを参照する。
（ｚ３）特定部３６１は、管理テーブル３８２のｉ番目のエントリに格納されているヘッドマウントディスプレイ１００の「識別子」を取得する。
（ｚ４）特定部３６１は、ヘッドマウントディスプレイ１００ｉに対して、カメラ６１を用いた外景画像の撮像を指示し、撮像された外景画像を取得する。
（ｚ５）特定部３６１は、外景画像を画像認識することによって、ＲＯＭ３２０に記憶されている医療用装置５００（医療用装置５０１〜５０ｎ）の表示部の画像が、それぞれ、外景画像に含まれているか否かを判定する。
（ｚ６）特定部３６１は、手順ｚ５によって「外景画像に表示部の画像が含まれていない」と判定された医療用装置５００を、ヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難な医療用装置５００であると特定する。

【0066】

このように、手順ｚ１〜ｚ６によれば、特定部３６１は、ヘッドマウントディスプレイ１００ｉのカメラ６１によって実際に取得された、使用者の視界方向の画像（外景画像）に基づいて、表示部の視認が困難な医療用装置５００を特定することができる。具体的には、特定部３６１は、医療用装置５００が使用者の死角にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００を特定することができる。また、特定部３６１は、手順ｚ５における画像認識の精度を調整することで、医療用装置５００が使用者から離れた場所にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００をも特定することができる。さらに、特定部３６１は、ヘッドマウントディスプレイ１００ｉの使用者の実際の視界に基づいて、表示部の視認が困難な医療用装置５００を特定することができる。より具体的には、特定部３６１は、医療用装置５００は使用者の死角でなく、かつ、使用者から近い場所にあるものの、使用者の視線と表示部とが対向していない（例えば、使用者が俯いている場合や、医療用装置５００の表示部が使用者の視線と同じ方向を向いている場合等）ために、使用者から表示部が視認できない、または視認しづらい医療用装置５００を特定することができる。また、特定にあたって必要な情報を、第２の入出力部３７０（提供部）を介して取得することができる。このため、情報処理装置３００の利用に際して使用者が事前にデーター等を準備する必要がなく、簡便である。

【0067】

提示用情報生成処理（図６）のステップＳ１１２において、生成部３６０は、第１の入出力部３１１〜３１ｎが取得した医療用装置５０１〜５０ｎの医療用装置情報のうち、ステップＳ１１０でヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難であると特定された医療用装置５００から取得した医療用装置情報を用いて、ヘッドマウントディスプレイ１００ｉへ送信するための提示用情報ＰＮｉを生成する。

【0068】

図９は、提示用情報の生成方法について説明するための説明図である。ヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難な医療用装置５００が単数である場合、生成部３６０は、当該医療用装置５００の医療用装置情報ＣＰ１に含まれる画像を、共通映像仕様３８１に規定されている映像信号の仕様に沿って変換することによって、提示用情報ＰＮを生成する（図９（Ａ））。生成部３６０は、この変換にあたって、特に、医療用装置情報ＣＰ１に含まれる画像の縦横比と、共通映像仕様３８１に規定されている画像の縦横比とが異なる場合、医療用装置情報ＣＰ１に含まれる画像の縦横比を維持したまま、画像を拡大または縮小する。すると、提示用情報ＰＮの縦方向または横方向に画像のない余白部分（図において斜線で表す）が生じる。

【0069】

生成部３６０は、余白部分に関して、以下のｂ１、ｂ２のいずれかの手順を実行する。これにより、余白部分がヘッドマウントディスプレイ１００において虚像として表示されて、使用者の視界を遮ることを抑制することができる。
（ｂ１）生成部３６０は、提示用情報ＰＮの余白部分に対して黒色のダミードットデーターを挿入する。
（ｂ２）生成部３６０は、提示用情報ＰＮの余白部分に対して、ヘッドマウントディスプレイ１００の右表示駆動部２２および左表示駆動部２４における画像光生成の有効／無効を切り替えるための信号（Ｅｎａｂｌｅ信号）をＬｏ値（無効を示す値）とする。

【0070】

このようにすれば、提示用情報ＰＮに含まれる画像の縦横比が変わることがない。情報処理装置３００が使用される医療の現場における画像（例えば、術部の静止画および動画、ＣＴ画像、ＭＲＩ画像、レントゲン画像等）は、使用者が視認する画像の実寸感覚が損なわれないように、医療用装置５００において撮影された画像の縦横比を厳密に維持することが好ましい。その点、医療用装置情報ＣＰ１に含まれる画像の縦横比を維持することとすれば、医療用装置５００により測定または撮像等された医療用装置情報に予期しない歪みが生じることを抑制できる。なお、図９（Ｂ）は、医療用装置情報ＣＰ１に含まれる画像の縦横比を維持せず、共通映像仕様３８１に規定されている画像の縦横比に合わせて拡大した結果、情報に歪みが生じた提示用情報ＰＮｘを表している。

【0071】

図１０は、提示用情報の生成方法について説明するための説明図である。ヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難な医療用装置５００が複数である場合、生成部３６０は、視認が困難であるとされた全ての医療用装置５００の医療用装置情報（図１０の例では、医療用装置情報ＣＰ２、ＣＰ３）に含まれる画像が配置された第１の画像を生成する。この際も、生成部３６０は、医療用装置情報に含まれる画像の縦横比を維持する。また、医療用装置情報に含まれる画像は、第１の画像の端部に配置されることが好ましい。生成部３６０は、生成した第１の画像を、共通映像仕様３８１に規定されている映像信号の仕様に沿って変換することによって、提示用情報ＰＮを生成する（図１０）。なお、生成部３６０は、第１の画像のうち、医療用装置情報に含まれる画像が配置されていない余白部分（図において斜線で表す）について、上述した方法ｂ１またはｂ２のいずれかの手順を実行する。これにより、余白部分がヘッドマウントディスプレイ１００において虚像として表示されて、使用者の視界を遮ることを抑制することができる。

【0072】

提示用情報生成処理（図６）のステップＳ１１２において、生成部３６０は、生成した提示用情報ＰＮｉを手術の記録３８４に記憶させる。

【0073】

ステップＳ１１４において、生成部３６０は、生成した提示用情報ＰＮｉを、ヘッドマウントディスプレイ１００ｉが接続されている第２の入出力部３７０ｉへ送信する。第２の入出力部３７０ｉは、受信した提示用情報ＰＮｉに含まれる画像を、ヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換する。なお、この際に、第２の入出力部３７０ｉは管理テーブル３８２の「映像仕様」を参照してもよい。映像仕様の変換後、第２の入出力部３７０ｉは、ヘッドマウントディスプレイ１００ｉに対して提示用情報ＰＮｉを送信する。

【0074】

図１１は、提示用情報ＰＮｉがヘッドマウントディスプレイ１００ｉにおいて虚像として表示されている様子を示す説明図である。インターフェイス１８０または無線通信部１３２から提示用情報ＰＮｉを受信したヘッドマウントディスプレイ１００ｉでは、画像処理部１６０による上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００ｉの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は、視野ＶＲに提示用情報ＰＮｉの虚像ＶＩを視認することができる。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して、手術台に横たわる患者の様子を直接視認することができる（外景ＳＣ）。図１１の例では、ヘッドマウントディスプレイ１００ｉの使用者が視認する虚像ＶＩ（ｉ）には、ヘッドマウントディスプレイ１００ｉの使用者による視認が困難であるとされた医療用装置５０３から取得された医療用装置情報ＣＰ２と、医療用装置５０ｎから取得された医療用装置情報ＣＰ３と、が表示されている。

【0075】

図１２は、異なる位置にある複数のヘッドマウントディスプレイ１００において、提示用情報が虚像として表示されている様子を示す説明図である。情報処理装置３００の第２の入出力部３７０は、図１２に示すように、提示用情報に含まれる画像の向きや大きさを、外景ＳＣに含まれる対象物体の向きや大きさと一致させるフィッティング処理を行ってもよい。対象物体とは、医療の現場においては、例えば患者の体や体の一部である。フィッティング処理を実現するために、提示用情報生成処理（図６）のステップＳ１１４において、第２の入出力部３７０ｉは、提示用情報ＰＮｉに含まれる画像をヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換した後、以下の手順ｃ１〜ｃ５に示す処理を行う。

【0076】

（ｃ１）第２の入出力部３７０ｉは、ヘッドマウントディスプレイ１００ｉに対して、カメラ６１を用いた外景画像の撮像を指示し、撮像された外景画像を取得する。
（ｃ２）第２の入出力部３７０ｉは、下記１、２のような画像認識の方法を用いて、外景画像に含まれる対象物体の特徴を抽出する。なお、方法１と２とは、組み合わせてもよい。
１．対象物体のエッジ（特徴）を検出する。
２．対象物体に予め付されたマーカー（特徴）を検出する。なお、物体に付すマーカーは種々の種類のマーカーを使用可能である。例えば、テープ、シール、マジック、レーザーマーカー、マジックテープ（登録商標）等を使用することができる。また、対象物体に付すマーカーの数は任意である。
（ｃ３）第２の入出力部３７０ｉは、受信した提示用情報に含まれる画像を画像認識することで、対象物体の特徴を抽出する。この際、第２の入出力部３７０ｉは、上記１、２と同様の画像認識の方法を使用することができる。

【0077】

（ｃ４）第２の入出力部３７０ｉは、手順ｃ２で抽出された外景画像の特徴と、手順ｃ３で抽出された提示用情報の特徴と、の位置が一致するように、提示用情報に含まれる画像ＣＰを補正する。具体的には、手順ｃ２、ｃ３において方法１を用いた場合、第２の入出力部３７０ｉは、外景画像のエッジと、提示用情報のエッジとの、輪郭や特徴的な部位の位置が一致するように、提示用情報に含まれる画像ＣＰに対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。ここで、特徴的な部位とは、対象物体が生体である場合、切開された皮膚の輪郭、内蔵の輪郭、関節、四肢の先端、血管、骨等である。一方、手順ｃ２、ｃ３において方法２を用いた場合、第２の入出力部３７０ｉは、外景画像のマーカーと、提示用情報のマーカーと、の位置が一致するように、提示用情報に含まれる画像ＣＰに対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。

【0078】

このようにすれば、第２の入出力部３７０は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）の使用者の視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、抽出した特徴に基づいて、生成部３６０により生成された提示用情報を補正する。このため、提示用情報に、例えばＣＴ画像、ＭＲＩ画像、レントゲン画像等の不可視情報が含まれる場合において、外景に含まれる物体（例えば、患者の体等）に不可視情報を一致させることができる。この結果、ヘッドマウントディスプレイ１００ｉの使用者の利便性を向上させることができる。また、上記のフィッティング処理は、特定のヘッドマウントディスプレイ１００ｉに接続されている第２の入出力部３７０ｉにおいて実行されるため、他のヘッドマウントディスプレイ１００に接続されている第２の入出力部３７０に対して処理負荷をかけることがない。さらに、ヘッドマウントディスプレイ１００ｉは、フィッティング処理が施された後の提示用情報を受信することができるため、ヘッドマウントディスプレイ１００ｉの画像処理部１６０は、受信した提示用情報をそのまま表示すればよい。この結果、ヘッドマウントディスプレイ１００の構成をシンプルにすることができる。

【0079】

提示用情報生成処理（図６）のステップＳ１１６において、生成部３６０は、変数ｉをインクリメントする。その後、生成部３６０は、変数ｉがｎ以上でないかを判定する（ステップＳ１１８）。変数ｉがｎ未満である（ステップＳ１１８：ＮＯ）ということは、すなわち、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００のうち、初期処理が終了していないヘッドマウントディスプレイ１００が存在することを意味する。このため、生成部３６０は、処理をステップＳ１００へ遷移させ、初期処理を継続する。一方、変数ｉがｎ以上である（ステップＳ１１８：ＹＥＳ）ということは、全てのヘッドマウントディスプレイ１００についての初期処理が終了したことを意味する。このため、生成部３６０は、処理をステップＳ１２０の個別処理へ遷移させる。

【0080】

Ａ−４−２．個別処理：
個別処理では、生成部３６０は、ヘッドマウントディスプレイ１００からの要求に基づいて、要求された医療用装置５００から取得した医療用装置情報や、要求された医療用装置５００以外の情報源から取得した情報を含む提示用情報を生成する。

【0081】

提示用情報生成処理（図６）のステップＳ１２０において、生成部３６０は、ヘッドマウントディスプレイ１００から情報源の選択要求を受信したか否かを判定する。ここで、情報源の選択要求とは、例えば以下ｄ１〜ｄ６に列挙するような要求を意味する。
（ｄ１）医療用装置５００によって取得された医療用装置情報の閲覧要求
（ｄ２）外部の施設の医師ＰＲとの通話要求
（ｄ３）院内データベースＯＤに記録されているデーターの閲覧要求
（ｄ４）不可視情報３８３に記録されているデーターの閲覧要求
（ｄ５）手術の記録３８４に記録されているデーターの閲覧要求
（ｄ６）ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００の医療用装置情報の閲覧要求

【0082】

要求ｄ１の場合の情報源は医療用装置５００である。同様に、要求ｄ２の場合の情報源は医師ＰＲであり、要求ｄ３の場合の情報源はデータベースＯＤであり、要求ｄ４の場合の情報源は不可視情報３８３であり、要求ｄ５の場合の情報源は手術の記録３８４であり、要求ｄ６の場合の情報源は視認が困難であるとされた医療用装置５００である。要求ｄ１〜ｄ６は、単独で発行されてもよいし、組み合わせられてもよい。情報源の選択要求は、ヘッドマウントディスプレイ１００の使用者の操作に応じて適宜発行される。

【0083】

ヘッドマウントディスプレイ１００は、例えば、以下の手順ｅ１〜ｅ５によって、情報処理装置３００に対して情報源の選択要求を送信することができる。
（ｅ１）ヘッドマウントディスプレイ１００の使用者は、ヘッドマウントディスプレイ１００の入力デバイス（タッチパッド、十字キー、フットスイッチ、ジェスチャー、マイクロホン等）を介して、希望する情報源と、情報源内の情報を特定するための情報と、を入力する。入力方法として、マイクロホンを介した音声入力を採用すれば、使用者が手を用いて操作することが困難な医療の現場においてヘッドマウントディスプレイ１００が使用される場合の、使用者の利便性を大きく向上させることができる。なお、要求ｄ１、ｄ６の場合、「情報源内の情報を特定するための情報」は入力不要である。
（ｅ２）ヘッドマウントディスプレイ１００の入力情報取得部１１０は、使用者の操作入力に応じた信号を取得し、ＯＳ１５０へ送信する。
（ｅ３）ヘッドマウントディスプレイ１００のＯＳ１５０は、情報源の選択要求を生成する。具体的には、要求ｄ１の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、手順ｅ１で指定された情報源を特定するための識別子と、を含んだ情報源の選択要求を生成する。要求ｄ２〜ｄ５の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、手順ｅ１で指定された情報源を特定するための識別子と、情報源内の情報を特定するための情報と、を含んだ情報源の選択要求を生成する。要求ｄ６の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、ヘッドマウントディスプレイ１００の現在位置情報と、方位情報と、を含んだ情報源の選択要求を生成する。なお、この現在位置情報および方位情報は、生成部３６０によって、要求ｄ６の「使用者による表示部の視認が困難な医療用装置５００」を特定するために用いられる情報であり、情報源を特定するための情報に相当する。
（ｅ４）ヘッドマウントディスプレイ１００のＯＳ１５０は、インターフェイス１８０や無線通信部１３２を介して接続されている情報処理装置３００に対して、手順ｅ３で生成した情報源の選択要求を送信する。
（ｅ５）情報処理装置３００の第２の入出力部３７０は、生成部３６０に対して、受信した情報源の選択要求を送信する。

【0084】

提示用情報生成処理（図６）において、情報源の選択要求を受信した場合（ステップＳ１２０：あり）、ステップＳ１２２において、生成部３６０は、情報源の選択要求に含まれるヘッドマウントディスプレイ１００ｉの識別子と、情報源を特定するための情報と、情報源内の情報を特定するための情報と、を取得する。さらに、生成部３６０は、情報源を特定するための情報として、現在位置情報および方位情報が挿入されている場合は、図６のステップＳ１１０と同様の処理を実行し、実行結果として得られた「使用者による表示部の視認が困難な医療用装置５００」を特定する。ここで、ヘッドマウントディスプレイ１００ｉとは、情報源の選択要求の発行元であるヘッドマウントディスプレイ１００（すなわち、現在処理中であるヘッドマウントディスプレイ１００）を指す。

【0085】

ステップＳ１２４において、生成部３６０は、指定された情報源にアクセスして、指定された情報を取得する。そして、生成部３６０は、取得した情報を用いて、ヘッドマウントディスプレイ１００ｉ用の提示用情報ＰＮｉを生成し、生成した提示用情報ＰＮｉを手術の記録３８４に記憶させる。なお、生成部３６０が提示用情報を生成する方法は、図９および図１０で説明した通りである。

【0086】

図１３は、提示用情報の第１の例を示す説明図である。図１３（Ａ）は、情報源の選択要求において、不可視情報３８３に記憶されている患者のレントゲン画像（ＣＰ４）が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。なお、情報源の選択要求において、不可視情報を取得することが可能な医療用装置５００（レントゲン画像撮影装置）が指定された場合にも、図１３（Ａ）と同様の提示用情報が生成される。

【0087】

図１３（Ｂ）は、情報源の選択要求において、医療用装置５００としての手術用タイマーと、医療用装置５００としての脈拍計と、医療用装置５００としての生体モニターと、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。提示用情報ＰＮの各端部には、手術用タイマーから取得された現在時刻ＣＰ５および手術開始からの経過時間ＣＰ７と、脈拍計から取得された脈拍の画像ＣＰ６と、生体モニターから取得された心拍数（ＨＲ）と、血圧（ＳＹＳ／ＤＩＡ）と、動脈血酸素飽和度（ＳｐＯ２）との画像ＣＰ８が配置されている。なお、ヘッドマウントディスプレイ１００は、図１３（Ｂ）のように、複数の情報源を指定する場合、情報源の選択要求において、各情報源における情報の「配置」や「大きさ」を指定してもよい。

【0088】

図１４は、提示用情報の第２の例を示す説明図である。図１４（Ａ）は、情報源の選択要求において、院内データベースＯＤに記憶されている学術書（ＣＰ９）と、院内データベースＯＤに記憶されている手術の手順情報（ＣＰ１０）と、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。図１４（Ｂ）は、情報源の選択要求において、医療用装置５００としての術部の静止画および動画を撮影するための可視光カメラと、外部の施設の医師ＰＲとの通話と、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。

【0089】

図１５は、提示用情報の第３の例を示す説明図である。図１５は、情報源の選択要求において、医療用装置５００としての生体モニターが指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。図１５に示す生体モニターは、第１の入出力部３１０に接続できるインターフェイスを備えていない。しかし、情報処理装置３００が可視光カメラを備える構成とした上で、可視光カメラが生体モニターの画面（ＣＰ１３）を撮影することとすれば、生成部３６０は、第１の入出力部３１０に接続できるインターフェイスを持たない医療用装置からの医療用装置情報を用いて、図１５のように、提示用情報ＰＮを生成することができる。

【0090】

提示用情報生成処理（図６）のステップＳ１２６において、生成部３６０は、ステップＳ１２４で生成した提示用情報ＰＮｉを、ヘッドマウントディスプレイ１００ｉが接続されている第２の入出力部３７０ｉへ送信した後、処理をステップＳ１２０へ遷移させ、情報源の選択要求の受信の監視を継続する。提示用情報ＰＮｉを受信した第２の入出力部３７０ｉは、受信した提示用情報ＰＮｉに含まれる画像を、ヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換する。また、この際、第２の入出力部３７０ｉは、フィッティング処理を実行してもよい。詳細は、ステップＳ１１４で説明した通りである。

【0091】

インターフェイス１８０または無線通信部１３２を介して提示用情報ＰＮｉを受信したヘッドマウントディスプレイ１００ｉでは、画像処理部１６０による上述の表示処理が行われる。この結果、情報源の選択要求を送信したヘッドマウントディスプレイ１００ｉの使用者は、情報源の選択要求において指定した情報源から取得された情報が含まれた提示用情報ＰＮｉの虚像を視認することができる。

【0092】

以上のように、第１実施形態の情報処理装置３００によれば、生成部３６０は、第１の入出力部３１０（取得部、第１の入出力部３１１〜３１ｎ）により取得された複数の医療用装置情報の少なくとも一部を含む提示用情報ＰＮを生成するため、情報処理装置３００の第１の入出力部３１０に接続されている多種多様な医療用装置５００（医療用装置５０１〜５０ｎ）の情報（医療用装置情報）を一元化することができる。また、生成部３６０は、提示用情報生成処理の初期処理において、少なくともヘッドマウントディスプレイ１００（画像表示装置）の使用者による表示部の視認が困難な医療用装置５００により取得された医療用装置情報を含む提示用情報ＰＮを生成するため、一元化されている医療用装置情報から、表示部の視認が困難な医療用装置５００の医療用装置情報という条件で情報を抽出して、抽出した情報を提示用情報ＰＮに含めることができる。この結果、多種多様な医療用装置５００（医療用装置５０１〜５０ｎ）の情報を一元化すると共に、一元化されている情報から簡便に情報をフィルタリングして、ヘッドマウントディスプレイ１００に表示させるための情報を生成することが可能な情報処理装置３００を実現することができる。

【0093】

さらに、第１実施形態の情報処理装置３００は、不可視情報３８３（不可視情報記憶部）を備えることによって、情報処理装置３００の第１の入出力部３１０（第１の入出力部３１１〜３１ｎ）に接続されている多種多様な医療用装置５００（医療用装置５０１〜５０ｎ）の医療用装置情報に加えて、さらに、不可視情報３８３に記憶されている不可視情報をも一元化することができる。また、生成部３６０は、一元化されている情報から、例えば、図１３のように、ＣＴ画像、ＭＲＩ画像、レントゲン（Ｘ線）画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像等、物体の外観に現れない情報である不可視情報を抽出して、ヘッドマウントディスプレイ１００（画像表示装置）に表示させるための提示用情報ＰＮを生成することもできる。この結果、情報処理装置３００に接続されるヘッドマウントディスプレイ１００の使用者は、これらの不可視情報を視認することが可能となり、ヘッドマウントディスプレイ１００の利便性の向上に繋がる。同様に、生成部３６０は、例えば、ＣＴ画像、ＭＲＩ画像、レントゲン（Ｘ線）画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像等、物体の外観に現れない情報である不可視情報を取得するための医療用装置５００により取得された医療用装置情報を抽出して、ヘッドマウントディスプレイ１００に表示させるための提示用情報ＰＮを生成することもできる。この結果、情報処理装置３００に接続されるヘッドマウントディスプレイ１００の使用者は、これらの不可視情報を視認することが可能となり、ヘッドマウントディスプレイ１００の利便性の向上に繋がる。

【0094】

さらに、第１実施形態の情報処理装置３００によれば、生成部３６０は、術部の静止画および動画、すなわち、患者の処置の画像を取得するための医療用装置５００により取得された医療用装置情報を抽出して、ヘッドマウントディスプレイ１００（画像表示装置）に表示させるための提示用情報ＰＮを生成することもできる。この結果、情報処理装置３００に接続されるヘッドマウントディスプレイ１００の使用者は、患者の処置の画像を視認することが可能となり、ヘッドマウントディスプレイ１００の利便性の向上に繋がる。

【0095】

以上説明したように、第１実施形態の情報処理システム１０００によれば、多種多様な医療用装置５００（医療用装置５０１〜５０ｎ）の情報（医療用装置情報）を情報処理装置３００に一元化すると共に、一元化されている情報から簡便に情報をフィルタリングして提示用情報ＰＮを生成し、生成された提示用情報ＰＮを、いわゆる透過型のヘッドマウントディスプレイ１００（頭部装着型表示装置）の使用者に虚像として視認させることが可能な情報処理システム１０００を実現することができる。

【0096】

Ａ−５．付加的処理：
なお、提示用情報生成処理（図６）では、さらに、以下のような付加的処理を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。

【0097】

Ａ−５−１．付加的処理１：
付加的処理１では、情報処理装置３００は、提示用情報に対する色変換処理を行う。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、ヘッドマウントディスプレイ１００のカメラ６１に外景画像を取得させる。そして、第２の入出力部３７０は、取得された外景画像の明度、コントラスト、彩度、色相に応じて、提示用情報に含まれる画像の視認性を向上させるような色変換処理を実施する。例えば、第２の入出力部３７０は、提示用情報に含まれる画像の色相を、外景画像の色相の補色へと変換する色変換処理を行うことができる。

【0098】

このように、付加的処理１によれば、ヘッドマウントディスプレイ１００の使用者に対する虚像ＶＩの視認性をより向上させることができる。

【0099】

Ａ−５−２．付加的処理２：
付加的処理２では、情報処理装置３００は、ヘッドマウントディスプレイ１００の使用者の頭の小さなブレに付随する虚像ＶＩの揺れを抑制する、いわゆるスタビライザー機能を実現する。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、所定の時間ごとに、上記手順ｃ１〜ｃ４において説明したフィッティング処理と、提示用情報生成処理のステップＳ１１４、Ｓ１２６の提示用情報の送信と、を繰り返す。これにより、所定の時間ごとに、外景画像の撮影と、提示用情報に含まれる画像の補正および表示が繰り返されることとなるため、使用者の頭部の経時的な動きに追従した提示用情報を虚像ＶＩとして表示させることができる。

【0100】

しかし、ヘッドマウントディスプレイ１００の使用者の頭の微小な動きやゆらぎに追従して提示用情報が度々変わることは、かえって使用者の眼精疲労を誘発するおそれや、使用者の集中力を妨げるおそれがある。そこで、第２の入出力部３７０は、さらに、上記手順ｃ１と手順ｃ２との間に、以下の手順ｆ１、ｆ２で示す処理を行ってもよい。

【0101】

（ｆ１）第２の入出力部３７０は、手順ｃ１で撮影された外景画像と、前回実行されたフィッティング処理の手順ｃ１で撮影された外景画像との間の、ＲＧＢヒストグラムの変化量を求める。
（ｆ２）第２の入出力部３７０は、手順ｆ１で求めた変化量が所定の閾値を超える場合、手順ｃ２以降の処理を継続する。

【0102】

このように、付加的処理２によれば、第２の入出力部３７０は、前回実行されたフィッティング処理における外景画像と、現在実行中のフィッティング処理における外景画像と間の変化量が小さい場合、すなわち、ヘッドマウントディスプレイ１００の使用者の頭の動きが微小である場合は、提示用情報に含まれる画像の補正は行わない。この結果、ヘッドマウントディスプレイ１００の使用者の頭の微小な動きやゆらぎに追従して提示用情報が度々変わることを抑制することができるため、使用者の眼精疲労や集中力低下を抑制することができる。なお、スタビライザー機能のＯＮ／ＯＦＦを使用者によって指定することが可能な構成にしてもよい。

【0103】

Ａ−５−３．付加的処理３：
付加的処理３では、情報処理装置３００は、ヘッドマウントディスプレイ１００の画像表示部２０と、使用者の視界方向にある物体との間の距離に応じて、提示用情報に含まれる画像が虚像ＶＩとして表示される大きさを変更する。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、上記手順ｃ１〜ｃ４において説明したフィッティング処理に代えて、以下の手順ｇ１〜ｇ３に示す処理を行うことができる。なお、本処理を実施する場合、ヘッドマウントディスプレイ１００には、さらに測距センサーを備える構成とする。測距センサーは、反射光によって使用者の視界方向にある物体と画像表示部２０との間の距離を取得するためのセンサーであり、例えば、カメラ６１の近傍に配置することができる。

【0104】

（ｇ１）第２の入出力部３７０は、ヘッドマウントディスプレイ１００から、定期的に測距センサーの測定値を取得する。
（ｇ２）第２の入出力部３７０は、取得した測距センサーの測定値に応じて拡大率（または縮小率）を決定する。
（ｇ３）第２の入出力部３７０は、決定した拡大、縮小率を用いて、提示用情報に含まれる画像に対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。

【0105】

このように、付加的処理３によれば、第２の入出力部３７０は、ヘッドマウントディスプレイ１００の使用者の視界方向にある物体と、画像表示部２０との間の距離に応じて、提示用情報が虚像ＶＩとして表示される大きさを変更することができる。このため、ヘッドマウントディスプレイ１００における使用者の利便性を向上させることができる。

【0106】

Ｂ．第２実施形態：
本発明の第２実施形態では、テーブルに基づいて、頭部装着型表示装置の使用者による表示部の視認が困難な医療用装置を自動で判定する構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

【0107】

Ｂ−１．情報処理システムの構成：
第２実施形態における情報処理システム１０００ａの概略構成は、図１に示す第１実施形態とほぼ同様である。ただし、第２実施形態の情報処理システム１０００ａは、情報処理装置３００に代えて情報処理装置３００ａを備える。

【0108】

Ｂ−２．情報処理装置の構成：
図１６は、第２実施形態における情報処理装置３００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、生成部３６０に代えて生成部３６０ａを、特定部３６１に代えて特定部３６１をそれぞれ備える点と、外部記憶装置３８０に代えて外部記憶装置３８０ａを備える点である。生成部３６０ａと特定部３６１ａとは、提示用情報生成処理における処理内容が第１実施形態とは異なる。詳細は後述する。外部記憶装置３８０ａは、第１実施形態で説明した各構成に加えて、さらに配置記憶部としての位置テーブル３８５を備えている。

【0109】

図１７は、位置テーブル３８５の一例を示す説明図である。位置テーブル３８５は、ヘッドマウントディスプレイ１００ａ〜１００ｎの使用者による表示部の視認が困難な医療用装置５００を特定するためのテーブルである。位置テーブル３８５は、提示用情報生成処理において使用される。

【0110】

本実施形態の位置テーブル３８５は、識別子と、装置１と、装置２と、装置３と、装置４と、装置５とが関連付けられて記憶されている。「識別子」には、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００を相互に識別するための一意な識別子が格納されている。「装置１」〜「装置５」には、識別子によって識別されるヘッドマウントディスプレイ１００について、使用者による表示部の視認が困難な医療用装置５００の識別子が格納されている。

【0111】

図１７の例では、識別子「１」により識別されるヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００は、医療用装置５０３と、医療用装置５０ｎとであることがわかる（エントリＥ０１）。同様に、識別子「２」により識別されるヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００は、医療用装置５０３と、医療用装置５０５と、医療用装置５０ｎとであることがわかる（エントリＥ０２）。

【0112】

Ｂ−３．頭部装着型表示装置の構成：
第２実施形態におけるヘッドマウントディスプレイ１００の概略構成は、図５に示す第１実施形態と同様である。

【0113】

Ｂ−４．提示用情報生成処理：
図１８は、第２実施形態における提示用情報生成処理の手順を示すフローチャートである。図６に示した第１実施形態との違いは、ステップＳ１００を備えない点と、ステップＳ１０４〜Ｓ１１２に代えてステップＳ２００〜Ｓ２０４を備える点であり、他のステップに関しては第１実施形態と同様である。

【0114】

提示用情報生成処理（図１８）のステップＳ２００において、生成部３６０ａの特定部３６１ａは、位置テーブル３８５のｉ番目のエントリを参照する。生成部３６０ａの特定部３６１ａは、位置テーブル３８５のｉ番目のエントリに格納されているヘッドマウントディスプレイ１００の「識別子」と、「装置１〜５」とを取得する（ステップＳ２０２）。

【0115】

ステップＳ２０４において、生成部３６０ａは、第１の入出力部３１１〜３１ｎが取得した医療用装置５０１〜５０ｎの医療用装置情報のうち、ステップＳ２０２で取得された識別子を持つ医療用装置５００、すなわち、ヘッドマウントディスプレイ１００ｉの使用者による表示部の視認が困難な医療用装置５００から取得した医療用装置情報を用いて、ヘッドマウントディスプレイ１００ｉへ送信するための提示用情報ＰＮｉを生成する。提示用情報の生成方法は、第１実施形態と同様であるため説明を省略する。

【0116】

以上のように、第２実施形態の情報処理装置３００ａによれば、生成部３６０ａの特定部３６１ａは、ヘッドマウントディスプレイ１００（画像表示装置）の使用者による表示部の視認が困難な医療用装置５００を特定するための情報を記憶する位置テーブル３８５（配置記憶部）を用いて、自動的に、ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００を特定することができる。具体的には、特定部３６１ａは、医療用装置５００が使用者の死角にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００を特定することができる。また、特定部３６１ａは、医療用装置５００が使用者から離れた場所にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００をも特定することができる。さらに、特定部３６１ａは、医療用装置５００は使用者の死角でなく、かつ、使用者から近い場所にあるものの、使用者の視線と表示部とが対向していないために、使用者から表示部が視認できない、または視認しづらい医療用装置５００を特定することができる。また、特定部３６１ａは、決定にあたって必要な情報を、予め用意されている位置テーブル３８５から取得することができる。このため、情報処理装置３００ａの第１の入出力部３１０に接続されている医療用装置５００や、情報処理装置３００ａの第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００が、位置情報の検出手段を持たない場合においても、特定部３６１ａは、ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００を特定することができる。

【0117】

Ｂ−５．付加的処理：
なお、第２実施形態の提示用情報生成処理（図１８）においても、「Ａ−５−１．付加的処理１」〜「Ａ−５−３．付加的処理３」において説明した、第１実施形態と同様の付加的処理を実行してもよい。

【0118】

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

【0119】

・変形例１：
上記実施形態では、情報処理システムの構成について例示した。しかし、情報処理システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、情報処理システムを構成する各装置の追加・削除・変換等を行うことができる。また、情報処理システムを構成する装置のネットワーク構成の変更を行うことができる。

【0120】

例えば、情報処理装置の管理テーブル、不可視情報、手術の記録、位置テーブルは、院内ＬＡＮに接続されているデータベースＯＤに格納されていてもよい。また、データベースＯＤは、院内に限らず、インターネットＩＮＴを介した外部（例えば、院外に設けられているクラウドサーバー等）に設けられていてもよい。

【0121】

・変形例２：
上記実施形態では、情報処理装置の構成について例示した。しかし、情報処理装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

【0122】

例えば、情報処理装置は、タッチパネル、入力ボタン、キーボード、マウス、マイク、カメラ等、種々の入力デバイスを備えていてもよい。同様に、情報処理装置は、ディスプレイ、インジケーター、手術に関する簡易なログを出力するためのプリンター等、種々の出力デバイスを備えていてもよい。

【0123】

例えば、生成部、第２の入出力部（提供部）における各機能は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて実現されてもよい。

【0124】

例えば、情報処理装置において、ディスプレイと、位置情報を取得する現在位置取得部と、方位センサーとを備える構成とする。その上で、情報処理装置のＣＰＵは、情報処理装置の位置情報と方位情報とを用いて、第１実施形態の提示用情報生成処理（図６）における初期処理と同様の処理を行って、情報処理装置の使用者による表示部の視認が困難な医療用装置を特定し、特定した医療用装置から取得された医療用装置情報を、情報処理装置のディスプレイに表示させる構成としてもよい。このようにすれば、情報処理装置の近傍に立つ利用者は、情報処理装置に備えられているディスプレイを確認することができる。このようにすれば、本発明のヘッドマウントディスプレイ（画像表示装置）を持たないスタッフにも、情報を容易に把握させることができる。

【0125】

例えば、情報処理装置において、情報処理装置が向いている方向の外景画像を取得するカメラを備える構成とする。その上で、第１実施形態の提示用情報生成処理（図６）の手順ｚ１〜ｚ６を用いた初期処理と同様の処理を行って、情報処理装置の使用者による表示部の視認が困難な医療用装置を特定し、特定した医療用装置から取得された医療用装置情報を、情報処理装置のディスプレイに表示させる構成としてもよい。このようにすれば、情報処理装置の近傍に立つ利用者は、情報処理装置に備えられているディスプレイを確認することができる。このようにすれば、本発明のヘッドマウントディスプレイ（画像表示装置）を持たないスタッフにも、情報を容易に把握させることができる。

【0126】

例えば、情報処理装置において、ディスプレイを備える構成とし、位置テーブルには、情報処理装置の使用者による表示部の視認が困難な医療用装置の識別子が格納されている構成とする。その上で、情報処理装置のＣＰＵは、位置テーブルを用いて、第２実施形態の提示用情報生成処理（図１８）における初期処理と同様の処理を行って、情報処理装置の使用者による表示部の視認が困難な医療用装置を特定し、特定した医療用装置から取得された医療用装置情報を、情報処理装置のディスプレイに表示させる構成としてもよい。このようにすれば、情報処理装置の近傍に立つ利用者は、情報処理装置に備えられているディスプレイを確認することができる。このようにすれば、本発明のヘッドマウントディスプレイ（画像表示装置）を持たないスタッフにも、情報を容易に把握させることができる。

【0127】

例えば、第１実施形態の提示用情報生成処理（図６）の手順ｚ１〜ｚ６を用いた初期処理における提供部の機能は、ヘッドマウントディスプレイにおいて実現されてもよい。この場合、ヘッドマウントディスプレイにおいて、使用者による表示部の視認が困難な医療用装置の特定を行った後、ヘッドマウントディスプレイのインタフェース（通知部）は、特定した医療用装置の識別子を情報処理装置へ通知する。情報処理装置は、通知された識別子を有する医療用装置から取得した医療用装置情報を用いて、上記第１実施形態と同様の手順によって提示用情報を生成すればよい。このようにすれば、特定部を、ヘッドマウントディスプレイに設けることができるため、情報処理装置における処理負荷を低減させることができる。

【0128】

・変形例３：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。例えば、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続されていてもよい。また、例えば、電源として、一次電池や、燃料電池、太陽電池、熱電池等を採用してもよい。

【0129】

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより、ケーブルを廃した態様。

【0130】

例えば、入力情報取得部は、上記実施形態に例示した以外の種々の方法を用いて、使用者からの操作入力を取得してもよい。例えば、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。また、例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。また、例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、入力情報取得部は、使用者が手を離すことが困難である医療の現場においても、使用者からの操作入力を容易に取得することができる。

【0131】

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、例えば、帽子のように装着するタイプの画像表示部等、他の形状の画像表示部を採用したヘッドマウントディスプレイとしてもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。さらに、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。そのほか、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

【0132】

図１９は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１９（Ａ）の例の場合、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備え、左光学像表示部２８に代えて左光学像表示部２８ａを備えている。右光学像表示部２６ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め上に配置されている。図１９（Ｂ）の例の場合、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備え、左光学像表示部２８に代えて左光学像表示部２８ｂを備えている。右光学像表示部２６ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

【0133】

例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、フロントライト方式や反射方式を用いて画像光を射出してもよい。また、例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としても良い。また、例えば、表示駆動部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

【0134】

・変形例４：
上記実施形態では、提示用情報生成処理の一例を示した。しかし、提示用情報生成処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

【0135】

例えば、第１実施形態の提示用情報生成処理（図６）における初期処理では、ヘッドマウントディスプレイの現在位置情報と方位情報、および、医療用装置の位置情報を用いて、ヘッドマウントディスプレイの使用者による表示部の視認が困難な医療用装置を特定した。しかし、ヘッドマウントディスプレイの９軸センサーにより得られる使用者の頭部の動き（頭部の速度・加速度・角速度・向き・向きの変化）を組み合わせて、ヘッドマウントディスプレイの使用者による表示部の視認が困難な医療用装置を特定してもよい。

【0136】

例えば、第２の入出力部に接続されている複数のヘッドマウントディスプレイに関して、変数ｉを用いてシリアルに初期処理をおこなっているが、図６および図１８で説明した初期処理は、第２の入出力部に接続されている複数のヘッドマウントディスプレイに関して、並列に実行されてもよい。

【0137】

例えば、上記実施形態で説明した不可視情報は、２次元的に表現された画像を想定した。しかし、医療用装置として、３次元的な不可視画像を撮影可能な装置が接続されてもよい。また、外部記憶装置に記憶されている不可視情報は、撮像機器を用いて撮像された複数の画像から作成された３次元モデルであってもよい。３次元的に表現された不可視情報を用いる場合、生成部は、提示用情報の生成に先立って、３次元モデルのレンダリングを行う。そして、レンダリング後の画像を用いて、提示用情報を生成する。このようにすれば、様々な方向から、対象物体の外観に現れない情報を視認することができる。

【0138】

例えば、提示用情報を受信したヘッドマウントディスプレイでは、使用者の要求に応じて、提示用情報に含まれる画像が虚像ＶＩとして表示される大きさを拡大、縮小してもよい。同様に、ヘッドマウントディスプレイは、使用者の要求に応じて、提示用情報に含まれる画像を非表示としてもよく、提示用情報に含まれる画像に対して色変換を行ってもよい。また、使用者からの要求の入力方法として、マイクロホンを介した音声入力を採用すれば、使用者が手を用いて操作することが困難な医療の現場においてヘッドマウントディスプレイが使用される場合の、使用者の利便性を大きく向上させることができる。

【0139】

例えば、提示用情報生成処理のうちの、初期処理と、個別処理とのうちの、いずれか一方を省略してもよい。また、初期処理は、提示用情報生成処理が開始された直後に実行されなくてもよい。初期処理と同様の処理は、使用者や他のアプリケーションからの要求に応じて、適宜実行されてもよい。

【0140】

・変形例５：
上記実施形態では、共通映像仕様と、管理テーブルと、位置テーブルとの一例を示した。しかし、これらの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールド（項目）の追加、削除、変更を行うことができる。また、管理テーブルと、位置テーブルとは、複数のテーブルに分割して正規化してもよい。

【0141】

例えば、管理テーブルには、ヘッドマウントディスプレイを相互に識別するための識別子に代えて、または識別子と共に、ヘッドマウントディスプレイの使用者の声紋が記憶されていてもよい。そうすれば、情報処理装置は、マイクロホンを介して取得した使用者の声紋に基づいて、当該使用者が使用するヘッドマウントディスプレイの役割や映像仕様を取得して、提示用情報生成処理を実行することができる。

【0142】

例えば、管理テーブルには、ヘッドマウントディスプレイの識別子に対応付けてさらに、ヘッドマウントディスプレイと情報処理装置との通信に使用するための情報（例えば、ヘッドマウントディスプレイのＩＰアドレス、ＭＡＣアドレス、暗号化鍵等）が記憶されていてもよい。また、管理テーブルには、映像信号の仕様のパターンを表す「映像仕様」に変えて、各ヘッドマウントディスプレイにおいて採用されている実際の映像仕様そのもの（すなわち、共通映像仕様に記憶されている項目と同様の項目）が記憶されていてもよい。

【0143】

例えば、位置テーブルには、ヘッドマウントディスプレイの識別子に対応付けて、ヘッドマウントディスプレイの使用者による表示部の視認が困難である最大５つの装置の識別子が格納可能な構成であるとした。しかし、位置テーブルには、任意の数の「装置」フィールドを備えることができる。

【0144】

・変形例６：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0145】

１０…制御部
２０…画像表示部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…ケーブル
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（画像取得部）
１１０…入力情報取得部
１００…ヘッドマウントディスプレイ（画像表示装置、頭部装着型表示装置）
１２０…記憶部
１３０…電源
１４０…ＣＰＵ
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス（通知部）
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…情報処理装置
３１０…第１の入出力部
３１１〜３１ｎ…第１の入出力部（取得部）
３２０…ＲＯＭ
３３０…ＲＡＭ
３４０…通信インターフェイス
３５０…ＣＰＵ
３６０…生成部
３６１…特定部
３７０…第２の入出力部
３７１〜３７ｎ…第２の入出力部（提供部）
３８０…外部記憶装置
３８１…共通映像仕様
３８２…管理テーブル
３８３…不可視情報（不可視情報記憶部）
３８４…手術の記録
３８５…位置テーブル（配置記憶部）
５００…医療用装置
５０１〜５０ｎ…医療用装置
７００…ディスプレイ
１０００…情報処理システム
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＯＤ…データベース
ＶＩ…虚像
ＰＮ…提示用情報
ＶＲ…視野
ＰＲ…医師
ＭＰ１…位置
ＵＰ１…現在位置
ＣＰ１…医療用装置情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】