(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-10
(45)【発行日】2022-08-19
(54)【発明の名称】情報表示システム、情報表示装置、情報表示方法および情報表示プログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20220812BHJP
G06F 3/01 20060101ALI20220812BHJP
G06F 3/0481 20220101ALI20220812BHJP
A61B 6/00 20060101ALI20220812BHJP
A61G 15/00 20060101ALN20220812BHJP
A61G 15/10 20060101ALN20220812BHJP
【FI】
A61B6/03 360A
G06F3/01 510
G06F3/0481
A61B6/00 360Z
A61G15/00 Z
A61G15/10
(21)【出願番号】P 2018027362
(22)【出願日】2018-02-19
【審査請求日】2021-01-15
(73)【特許権者】
【識別番号】000141598
【氏名又は名称】株式会社吉田製作所
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】内田 祐也
(72)【発明者】
【氏名】友江 剛
(72)【発明者】
【氏名】丸山 直輝
【審査官】櫃本 研太郎
(56)【参考文献】
【文献】特開2016-193177(JP,A)
【文献】特開2013-214793(JP,A)
【文献】国際公開第2017/119127(WO,A1)
【文献】特開2018-005743(JP,A)
【文献】米国特許出願公開第2014/0128754(US,A1)
【文献】特開2017-182487(JP,A)
【文献】特開2014-155207(JP,A)
【文献】特開2017-167991(JP,A)
【文献】特開2016-133313(JP,A)
【文献】特開2017-097856(JP,A)
【文献】国際公開第2017/033488(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/14
A61B 5/00-5/01
A61B 8/00-8/15
G06F 3/01,3/048-3/0489
(57)【特許請求の範囲】
【請求項1】
操作部を有する医療用装置と、前記医療用装置に関連する装置関連情報を表示する情報表示装置と、を備える情報表示システムであって、
前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、
前記情報表示装置は、撮影部と、表示部と、制御部と、を備えており、
前記制御部は、前記撮影部によって撮影した画像に写し出される前記
操作部のボタンおよび前記状態情報表示領域を抽出し、
前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該
ボタンに関連づけて前記表示部に表示する、
ことを特徴とする情報表示システム。
【請求項2】
前記医療用装置は、当該医療用装置の状態情報を音として出力する報知部を備えており、
前記制御部は、
前記操作部の前記状態情報表示領域を抽出するのに代えて、または加えて前記報知部からの音を検知し、前記状態情報に応じた前記装置関連情報を当該
ボタンに関連づけて前記表示部に表示する、
ことを特徴とする請求項1に記載の情報表示システム。
【請求項3】
前記状態情報は、前記医療用装置の操作工程を示す操作工程情報であり、
前記装置関連情報は、
前記操作部の説明であり、
前記制御部は、前記操作工程に応じて前記操作部の説明を切り替える、
ことを特徴とする請求項
1又は請求項
2に記載の情報表示システム。
【請求項4】
前記状態情報は、前記医療用装置のメンテナンス識別情報、又は故障識別情報であり、
前記装置関連情報は、前記医療用装置のメンテナンス情報、又は故障情報である、
ことを特徴とする請求項
1又は請求項
2に記載の情報表示システム。
【請求項5】
操作部を有する医療用装置と、前記医療用装置に関連する装置関連情報を表示する情報表示装置と、制御装置と、を備える情報表示システムであって、
前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、
前記情報表示装置は、撮影部と、表示部と、を備えており、
前記制御装置は、前記撮影部によって撮影した画像を取得するとともに当該画像に写し出される前記
操作部のボタンおよび前記状態情報表示領域を抽出し、
前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該
ボタンに関連づけて前記表示部に表示させる、
ことを特徴とする情報表示システム。
【請求項6】
操作部を有する医療用装置に関連する装置関連情報を表示する情報表示装置であって、
前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、
前記情報表示装置は、撮影部と、表示部と、制御部と、を備えており、
前記制御部は、前記撮影部によって撮影した画像に写し出される前記
操作部のボタンおよび前記状態情報表示領域を抽出し、
前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該
ボタンに関連づけて前記表示部に表示する、
ことを特徴とする情報表示装置。
【請求項7】
撮影部および表示部を備える情報表示装置に、
操作部を有する医療用装置に関連する装置関連情報を表示する情報表示方法であって、
前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、
前記撮影部によって撮影した画像に写し出される前記
操作部のボタンおよび前記状態情報表示領域を抽出し、
前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該
ボタンに関連づけて前記表示部に表示する、
ことを特徴とする情報表示方法。
【請求項8】
請求項
7に記載の情報表示方法を制御手段に実行させるための情報表示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報表示システム、情報表示装置、情報表示方法および情報表示プログラムに係り、特に、医療用装置に関する情報を拡張現実(AR:Augmented Reality)の技術を用いて表示する情報表示システム、情報表示装置、情報表示方法および情報表示プログラムに関する。
【背景技術】
【0002】
従来、特許文献1のように、端末装置に実際の表示部と同等またはそれ以上の表示部を設けることで操作・表示の利便性を図っている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2016-214496号公報(段落[0128]~[0129])
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、医療用装置にはメカニカルな操作スイッチ等が設けられていることが多く、前記操作スイッチを利用して操作を行う場合に、特許文献1の技術では、端末装置側での操作情報の表示は限定的である。
【0005】
また、電気的な操作だけでなく、患者導入や位置付け等、スイッチ操作以外によってフローが進行する場合もあり、患者導入等の操作についての情報も必要となってくる。
【0006】
本発明は、前記した事情に鑑みてなされたものであり、医療用装置のさらなる利便性の向上を図り、誤操作のリスクを軽減することができる情報表示システム、情報表示装置、情報表示方法および情報表示プログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、操作部を有する医療用装置と、前記医療用装置に関連する装置関連情報を表示する情報表示装置と、を備える情報表示システムであって、前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、前記情報表示装置は、撮影部と、表示部と、制御部と、を備えており、前記制御部は、前記撮影部によって撮影した画像に写し出される前記操作部のボタンおよび前記状態情報表示領域を抽出し、前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該ボタンに関連づけて前記表示部に表示する。
【発明の効果】
【0008】
本発明は、医療用装置のさらなる利便性の向上を図り、誤操作のリスクを軽減することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施形態に係る情報表示システムの外観斜視図である。
【
図5】本発明の実施形態に係る情報表示システムの動作を示すフローチャートである。
【
図6】スキャナリセット工程における装置関連情報の表示例を示した図である。
【
図7】撮影条件設定工程における装置関連情報の表示例を示した図である。
【
図8】患者位置付け工程における装置関連情報の表示例を示した図である。
【
図9】撮影準備工程における装置関連情報の表示例を示した図である。
【
図10】X線照射工程における装置関連情報の表示例を示した図である。
【
図11】撮影終了工程における装置関連情報の表示例を示した図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態について詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0011】
本発明の実施形態に係る情報表示システム1について、
図1から
図11を参照しながら詳細に説明する。情報表示システム1の説明における「上下」、「左右」、「前後」は
図1の矢印に従う。当該方向は、説明の便宜上定めるものであり、本発明を限定するものではない。
【0012】
情報表示システム1は、拡張現実(AR:Augmented Reality)の技術を用いて、医療用装置2の関連情報(以下、「装置関連情報」という)を操作者に表示するものである。操作者への装置関連情報の表示は、情報表示装置3を介して行われる。
【0013】
装置関連情報は、医療用装置2に関する情報であればよく、例えば、医療用装置2を構成する部位の説明、操作方法の説明、メンテナンス情報、故障情報などである。部位は医療用装置2の一部の領域であればよく、例えば機能や形状によって区別される領域である。メンテナンス情報は、メンテナンスに関する情報(例えば、メンテナンス方法など)である。故障情報は、故障に関する情報(例えば、修理方法など)である。
【0014】
<全体構成>
情報表示システム1は、例えば、
図1に示すように、医療現場で使用される医療用装置2と、医療用装置2の装置関連情報を表示する情報表示装置3と、を備えている。
【0015】
<医療用装置>
医療用装置2は、医療に使用される装置であればよく、特に種類を限定するものではない。医療用装置2は、例えば、歯科用ユニットや画像診断機器などであり、ここでは、医療用装置2として、X線CT(Computer Tomography)装置を想定して説明する。ここでの医療用装置2は、本体部21と、昇降部22と、スキャナ23と、操作部24と、を備えている。
【0016】
なお、医療用装置2は、患者の情報が登録された管理用のPC(Personal Computer)に接続されていてもよい。その場合、管理用のPCには、患者の情報に関連付けて医療用装置2によって撮影されたCT画像が記憶される。
【0017】
本体部21は、医療用装置2の本体となる部分である。本体部21は、土台21aと、土台21aの後部に垂設された柱部21bと、土台21aの前部に設置された患者用の椅子21cと、患者の頭部を固定する頭部固定機構21dとを備える。なお、
図1では患者の図示を省略している。
【0018】
頭部固定機構21dは、摺動運動と回転運動とを組み合わせた構造になっており、リンク21da,21db,21dcを備えたリンク機構として構成されている。リンク21dcの先端には患者の頭部を固定する患者固定具21ddが設けられている。
【0019】
昇降部22は、柱部21bを昇降する構成要素である。昇降部22は、スキャナ23を支持するスキャナ支持部22aと、スキャナ23の位置を患者の口腔に合わせるための位置付け部22bと、を備えている。
【0020】
スキャナ支持部22aの内部には、スキャナ23を回動させる回動機構が収納されており、上下方向を回転軸としてスキャナ23を回動させる。
【0021】
位置付け部22bは、前方に位置合わせ用のビーム(例えば、レーザ光線)を照射する部分である。位置付け部22bから照射されるビームは、前後および左右の線分で構成される平面(水平面)に対して平行であり、スキャナ23の上下方向の位置合わせに使用される。
【0022】
スキャナ23は、X線を用いて患者の口腔内を撮影する構成要素である。スキャナ23は、回動しながら撮影を行うことが可能であり、回動させながら撮影した画像データを合わせることで3次元のボリュームデータとなる。操作部24を操作することで、スキャナ23の撮影モードや撮影条件(管電圧、管電流、撮影秒数など)を設定することが可能である。
【0023】
医療用装置2の撮影モードは、例えば、作成されるデータの種類や撮影範囲などによって分類される。ここでは、撮影モードとして、「オーラルモード」、「デンタルモード」、「標準パノラマモード」および「小児パノラマモード」の四つがある。「オーラルモード」は、口腔内の全体の3次元データを作成する撮影モードである。「デンタルモード」は、口腔内の局所の3次元データを作成する動作モードである。「標準パノラマモード」は、口部分の2次元データを作成する撮影モードである。「小児パノラマモード」は、「標準パノラマモード」よりも狭い範囲の2次元データを作成する撮影モードである。
【0024】
操作部24は、操作者によって操作される構成要素であり、ここでは昇降部22の左側面に設置されている。操作部24は、例えば、
図2に示すように、リセットボタン24aと、撮影モード選択ボタン24bと、上下左右の方向ボタン24cと、X線照射ボタン24dと、メニューボタン24eと、を備えている。また、操作部24は、例えば、撮影条件表示領域24fと、状態情報表示領域24gと、撮影モード表示領域24hと、を備えている。なお、
図2に示す操作部24の構成はあくまで例示であって、ボタン等の配置や形状は任意のものであってよい。
【0025】
リセットボタン24aは、例えば、スキャナ23を特定の位置に移動させる場合に押下される。リセットボタン24aは円形状を呈しており、リセットボタン24aの表面には「R」の文字が表示されている。
【0026】
撮影モード選択ボタン24bは、例えば、撮影モードの選択時に押下される。撮影モード選択ボタン24bは円形状を呈しており、撮影モード選択ボタン24bの表面には「M」の文字が表示されている。
【0027】
上下左右の方向ボタン24cは、例えば、撮影条件(管電圧、管電流、撮影秒数など)の設定やスキャナ23の位置合わせに使用される。方向ボタン24cは略三角形状(三角形の一つの頂点に丸みを持たせた形状)を呈しており、方向ボタン24cにはそれぞれの方向を示す黒塗りの三角形が表示されている。
【0028】
X線照射ボタン24dは、例えば、X線を照射する際に押下される。X線照射ボタン24dは円形状を呈しており、X線照射ボタン24dには「B」の文字が表示されている。
【0029】
メニューボタン24eは、例えば、選択した撮影モードや設定した撮影条件を決定する場合や、撮影時以外の様々な設定に使用される。メニューボタン24eは矩形状を呈している。
【0030】
撮影条件表示領域24fは、ディスプレイであって、例えば、複数のセグメントで構成されるディスプレイ(ここでは、7セグメントディスプレイを想定)である。撮影条件表示領域24fには、撮影条件である管電圧(kV)、管電流(mA)、撮影秒数(sec)が表示される。
【0031】
状態情報表示領域24gは、ディスプレイであって、例えば、複数のセグメントで構成されるディスプレイ(ここでは、7セグメントディスプレイを想定)である。状態情報表示領域24gには、医療用装置2の状態情報が表示される。
【0032】
ここでの「状態情報」は、医療用装置2の様々な状態を示す情報であればよく、例えば、X線画像撮影時の操作工程を示す情報(以下、「操作工程情報」という)、故障の内容を識別する情報(以下、「故障識別情報」という)、メンテナンスの内容を識別する情報(以下、「メンテナンス識別情報」という)などである。
【0033】
操作工程情報は、例えば「S1」,「S2」のように「英字の「S」+数字」で表される。故障識別情報は、例えば「E1」,「E2」のように「英字の「E」+数字」で表される。メンテナンス識別情報は、例えば「M1」,「M2」のように「英字の「M」+数字」で表される。
【0034】
撮影モード表示領域24hは、選択されている撮影モードを表示するものであり、例えば、撮影モードの名称とランプとで構成される。撮影モードが選択された場合、該当する撮影モードのランプが点灯する。
【0035】
<情報表示装置>
情報表示装置3は、医療用装置2の装置関連情報を表示するものである。情報表示装置3は、拡張現実技術を用いて装置関連情報を表示できるものであればよく、特に種類を限定するものではない。情報表示装置3は、例えば、頭部に装着するヘッドマウントディスプレイ(HMD:Head Mounted Display)や手に持って操作するモバイル端末などである。ここでは、情報表示装置3として、ビデオキャプチャを用いて信号レベルで画像に装置関連情報を合成する方式(ビデオシースルー方式)のヘッドマウントディスプレイを想定して説明する。
【0036】
情報表示装置3は、例えば、
図3に示すように、撮影部31と、表示部32と、記憶部34と、制御部35と、を備えている。なお、制御部35は、特許請求の範囲の「制御手段」の一例である。
【0037】
撮影部31は、例えばCMOS(Complementary metal-oxide-semiconductor)イメージセンサやCCD(Charged-coupled devices)イメージセンサを備えるカメラである。撮影部31は、操作者に装着された状態で操作者の目線方向の映像(画像を含む。以下同じ。)を撮影するように設置されている。
【0038】
表示部32は、例えば、液晶ディスプレイや有機ELディスプレイである。表示部32は、操作者に装着された状態で操作者の視野を遮るように配置されている。表示部32には、撮影部31で撮影された映像が表示される。また、表示部32には、医療用装置2の状態に応じた装置関連情報が、医療用装置2の部位に関連付けて表示される。装置関連情報の表示の詳細については後記する。
【0039】
記憶部34は、例えばメモリであって、装置関連情報の表示に必要な情報が記憶されている。ここでの記憶部34には、部位情報DB(Data Base)34aと、状態情報DB34bと、付加情報DB34cと、が記憶されている。なお、これらの情報の一部または全部は、情報表示装置3以外の装置に記憶され、情報表示装置3が必要に応じてネットワークを介して情報を取得してもよい。その場合、情報表示装置3は、例えば、他の装置との間で通信を実現する通信部(例えば、無線モジュール)を備える。
【0040】
部位情報DB34aには、撮影した映像に映し出される部位(例えば、操作部24の各種ボタンや表示領域など)の認識処理に用いられる情報が記憶されている。部位情報DB34aは、例えば、それぞれの部位の特徴点の世界座標系における3次元座標と、特徴量とが対応付けられたものである。ここで、世界座標系は、医療用装置2が設置されている現実空間中の任意の位置を原点とした座標系である。一方、世界座標系に対してカメラ座標系があり、カメラ座標系は、撮影部31の位置を原点とした座標系である。カメラ座標系は、例えば撮影部31の光軸方向がZ軸となっている。
【0041】
部位情報DB34aの作成は、医療用装置2を用いたCT画像の撮影の前処理として行われる。部位情報DB34aを作成する前処理は、例えば、以下の処理によって行われる。最初に、部位を複数方向から撮影した画像群を用意し、それぞれの画像から部位の特徴点を検出すると共に、特徴点の特徴量を算出する。特徴点の検出の手法や特徴量の算出の手法は特に限定されない。次に、「Structure from Motion」やステレオ視などによって検出した特徴点の世界座標系における3次元座標を算出し、算出した3次元座標と特徴量との対応付けを行うことで部位情報DB34aを作成する。
【0042】
状態情報DB34bには、撮影した映像に映し出される状態情報(ここでは、状態情報表示領域24gに表示される「S1」,「S2」などの文字)の認識処理に用いられる情報が記憶されている。状態情報DB34bは、例えば、状態情報の特徴点の世界座標系における3次元座標と、特徴量とが対応付けられたものである。状態情報DB34bの作成は、部位情報DB34aと同様に、医療用装置2を用いたCT画像の撮影の前処理として行われる。
【0043】
付加情報DB34cには、撮影した映像に付加する情報が記憶されている。付加情報DB34cは、例えば、
図4に示すように、操作工程情報(状態情報)と、表示対象部位情報と、操作説明情報(装置関連情報)と、の項目を備えている。
【0044】
操作工程情報は、状態情報の一種であり、ここでは「スキャナリセット工程(S1)」、「撮影条件設定工程(S2)」、「患者位置付け工程(S3)」、「撮影準備工程(s4)」、「X線照射工程(S5)」および「撮影終了工程(S6)」が例示されている。
【0045】
表示対象部位情報は、装置関連情報を付加する部位を示す情報であり、ここでは「リセットボタン」、「撮影モード選択ボタン」、「撮影条件設定ボタン(方向ボタン)」、「昇降ボタン(方向ボタン)」、「位置付け部」、「患者固定具」、「X線照射ボタン」が例示されている。表示対象部位情報は、例えば、部位の代表点の世界座標系における座標である。
【0046】
操作説明情報は、装置関連情報の一種であり、ここでは「リセットボタンを押し、スキャナを初期位置に設定してください。」、「撮影モードを選択してください。撮影モードは○○モードに設定されています。」などが例示されている。ここで、操作説明情報中の「○○」部分には、例えば、操作部24に表示される情報が入る。
【0047】
制御部35は、例えばCPU(Central Processing Unit)であって、プログラム実行処理によって部位認識部35aと、カメラ位置姿勢算出部35bと、状態認識部35cと、装置関連情報付加部35dと、を実現する。これらの機能を実現するためのプログラムは、例えば、記憶部34に格納される。なお、これらのプログラムは、情報表示装置3以外の装置に記憶され、情報表示装置3が必要に応じてネットワークを介してプログラムを取得してもよい。
【0048】
部位認識部35aは、撮影した映像に写る部位を認識する。部位認識部35aは、例えば、撮影した映像から特徴点の検出および特徴量の算出を行い、算出した特徴量と部位情報DB34aに記憶される特徴量との間で特徴量マッチングを行う。部位認識部35aにより検出する特徴点には、部位の形状や部位に表示された文字や画像が含まれる。なお、特徴点の検出、特徴量の算出および特徴量マッチングは、既存の種々の手法を用いることができる。
【0049】
カメラ位置姿勢算出部35bは、撮影部31の世界座標系における位置および姿勢を算出する。カメラ位置姿勢算出部35bは、例えば、部位認識部35aによる特徴量マッチングの結果から、撮影した映像から検出した特徴点の画像座標系における2次元座標と部位情報DB34aに記憶される部位の特徴点の世界座標系における3次元座標とを対応付けることで、世界座標系における撮影部31の位置や姿勢を算出する。ここで、画像座標系は、撮影した画像平面上の座標系である。世界座標系における撮影部31の位置や姿勢は、例えば、世界座標系とカメラ座標系との間の姿勢の違いを表す回転行列と位置の違いを表す並進ベクトルとで表される。なお、撮影部31の世界座標系における位置や姿勢の算出は、既存の種々の手法を用いることができる。
【0050】
状態認識部35cは、撮影した映像に写る状態情報を認識する。状態認識部35cは、例えば、部位認識部35aによる部位の認識と同様の処理により状態情報を認識する。つまり、状態認識部35cは、撮影した映像から特徴点の検出および特徴量の算出を行い、算出した特徴量と状態情報DB34bに記憶される特徴量との間で特徴量マッチングを行う。
【0051】
また、状態認識部35cは、特徴点を用いた認識以外の手法によって、撮影した映像から状態情報を認識してもよい。状態認識部35cは、例えば、部位認識部35aによる特徴量マッチングの結果から撮影した映像における状態情報表示領域24gの範囲を特定し、カメラ位置姿勢算出部35bで算出した撮影部31の世界座標系における位置および姿勢に基づいて、状態情報表示領域24g部分の画像を正面から視た状態に補正する。そして、補正した状態情報表示領域24gの画像に対して文字認識を行ってもよい。文字認識の方法は特に限定されず、例えば、AI(Artificial Intelligence)を用いた手法でもよい。
【0052】
装置関連情報付加部35dは、撮影した映像に装置関連情報を付加して表示部32に表示する。装置関連情報付加部35dは、例えば、状態認識部35cによって認識された状態情報をキーにして付加情報DB34cを参照し、該当する状態情報に対応する表示対象部位情報の位置に所定の操作説明情報を付加する。装置関連情報付加部35dは、例えば、スキャナリセット工程においては、映像に写るリセットボタン24aの位置に「リセットボタンを押し、スキャナを初期位置に設定してください。」との表示を付加する。
【0053】
なお、撮影した映像に装置関連情報を付加する場合に、カメラ位置姿勢算出部35bで算出した撮影部31の位置や姿勢を考慮して、撮影した映像に装置関連情報を重畳表示してもよい。つまり、装置関連情報が医療用装置2の表面に実際に描かれているように表示するようにしてもよい。
【0054】
<実施形態に係る情報表示システムの動作>
次に、本発明の実施形態に係る情報表示システム1の動作について、
図5から
図11を参照しながら詳細に説明する(適宜、
図1から
図4を参照)。
【0055】
<T1:患者の選択>
最初に、医療用装置2の操作者は、管理用のPC(図示せず)を用いて、これからCT画像の撮影を行う患者を選択する(T1)。これにより、医療用装置2によって撮影されたCT画像は、患者の情報に関連付けて管理用のPCに記憶される。また、医療用装置2は、患者の設定が行われた後で、操作部24の状態情報表示領域24g(
図2参照)に「S1」を表示する。
【0056】
<S1:スキャナリセット工程>
次に、操作者は、情報表示装置3を装着した状態で、医療用装置2の操作部24の操作を行う。操作部24の状態情報表示領域24g(
図2参照)には、「S1」が表示されている。情報表示装置3の撮影部31は、操作者の目線方向にある操作部24の映像を撮影し、制御部35の部位認識部35aは、撮影した映像の操作部24および操作部24に含まれる各種ボタンや表示領域を認識する。また、状態認識部35cは、状態情報表示領域24g内に表示される状態情報を認識する。ここでは、状態情報表示領域24g内に表示される状態情報が「S1」であること(つまり、医療用装置2の操作工程が「スキャナリセット工程」であること)を認識する。
【0057】
制御部35の装置関連情報付加部35dは、付加情報DB34c(
図4参照)を参照して、撮影した映像に写る部位に装置関連情報を関連付ける。ここでは、装置関連情報付加部35dは、撮影した映像に写るリセットボタン24aに、例えば「リセットボタンを押し、スキャナを初期位置に設定してください。」との文言を付加する。これにより、操作者は、「S1」での操作部24の操作に際して、例えば
図6に示す映像を見ることになる。そして、操作者は、符号41で示す文言にしたがってリセットボタン24aを押下し、医療用装置2はスキャナ23(
図1参照)を初期位置に移動する。また、医療用装置2は、スキャナ23を初期位置に移動した後で、操作部24の状態情報表示領域24g(
図2参照)に「S2」を表示する。
【0058】
<S2:撮影条件設定工程>
次に、操作者は、医療用装置2の操作部24の操作を再び行う。操作部24の状態情報表示領域24g(
図2参照)には、「S2」が表示されている。情報表示装置3の撮影部31は、操作者の目線方向にある操作部24の映像を撮影し、制御部35の状態認識部35cは、スキャナリセット工程(S1)と同様の処理によって、状態情報表示領域24g内に表示される状態情報が「S2」であること(つまり、医療用装置2の操作工程が「撮影条件設定工程」であること)を認識する。
【0059】
制御部35の装置関連情報付加部35dは、付加情報DB34c(
図4参照)を参照して、ここでの表示対象部位である撮影モード選択ボタン24bに、例えば「撮影モードを選択してください。撮影モードは「オーラルモード」に設定されています。」との文言を付加する。なお、操作部24の撮影条件表示領域24f(
図2参照)の認識方法は特に限定されず、部位認識部35aは、例えば、状態認識部35cと同様の方法によって、撮影された映像から撮影条件表示領域24f内に表示される撮影条件(最初は初期値)を認識する。
【0060】
また、制御部35の装置関連情報付加部35dは、付加情報DB34c(
図4参照)を参照して、撮影条件設定ボタンとしての方向ボタン24cに、例えば「撮影条件を設定してください。現在の撮影条件は、「60kV」、「8.0mA」、「20.0sec」です。撮影条件を設定したら、患者を導入してください。」との文言を付加する。なお、操作部24の撮影モード表示領域24h(
図2参照)の認識方法は特に限定されず、部位認識部35aは、例えば、状態認識部35cと同様の方法によって、撮影された映像から点灯している撮影モードのランプ(最初は予め決められた撮影モード)を認識する。
【0061】
これにより、操作者は、「S2」での操作部24の操作に際して、例えば
図7に示す映像を見ることになる。操作者は、符号42で示す文言にしたがって撮影モード選択ボタン24bを押下し、希望する撮影モードを選択する。また、操作者は、符号43で示す文言にしたがって方向ボタン24cを操作し、希望する撮影条件を設定する。そして、操作者は、メニューボタン24eを押下し、撮影条件設定工程を完了させる。医療用装置2は、撮影モードおよび撮影条件の設定の完了を受け付けた後で、操作部24の状態情報表示領域24g(
図2参照)に「S3」を表示する。
【0062】
<T2:患者導入>
次に、操作者は、撮影モードおよび撮影条件の設定が完了した後で、患者を医療用装置2内に導入し、患者を椅子21c(
図1参照)に座らせる。
【0063】
<S3:患者位置付け工程>
次に、操作者は、医療用装置2の操作部24の操作を再び行う。状態情報表示領域24g(
図2参照)には、「S3」が表示されている。情報表示装置3の撮影部31は、操作者の目線方向にある操作部24の映像を撮影し、制御部35の状態認識部35cは、スキャナリセット工程(S1)と同様の処理によって、状態情報表示領域24g内に表示される状態情報が「S3」であること(つまり、医療用装置2の操作工程が「患者位置付け工程」であること)を認識する。
【0064】
制御部35の装置関連情報付加部35dは、付加情報DB34c(
図4参照)を参照して、ここでの表示対象部位である昇降ボタンとしての方向ボタン24cに、例えば「撮影部位に高さを合わせてください。」との文言を付加する。また、装置関連情報付加部35dは、位置付け部22bに、例えば「位置付けが正しいか確認してください。」との文言を付加する。また、装置関連情報付加部35dは、患者固定具21ddに、例えば「患者位置付けが完了したら、患者を固定してください。」との文言を付加する。
【0065】
これにより、操作者は、「S3」での操作部24の操作に際して、例えば
図8に示す映像を見ることになる(ここでは、患者固定具21ddが操作者の視界に入っていないことにし、患者固定具21ddの記載を省略している)。操作者は、符号44で示す文言にしたがって方向ボタン24cを操作し、スキャナ23を希望する高さにする。また、操作者は、符号45で示す文言にしたがって位置付け部22bの位置を確認する。また、操作者は、患者固定具21ddに表示される文言にしたがって患者を固定する。そして、操作者は、メニューボタン24eを押下し、患者位置付け工程を完了させる。医療用装置2は、患者位置付けの完了を受け付けた後で、操作部24の状態情報表示領域24g(
図2参照)に「S4」を表示する。
【0066】
<S4:撮影準備工程>
次に、操作者は、医療用装置2の操作部24の操作を再び行う。状態情報表示領域24g(
図2参照)には、「S4」が表示されている。情報表示装置3の撮影部31は、操作者の目線方向にある操作部24の映像を撮影し、制御部35の状態認識部35cは、スキャナリセット工程(S1)と同様の処理によって、状態情報表示領域24g内に表示される状態情報が「S4」であること(つまり、医療用装置2の操作工程が「撮影準備工程」であること)を認識する。
【0067】
制御部35の装置関連情報付加部35dは、付加情報DB34c(
図4参照)を参照して、ここでの表示対象部位であるリセットボタン24aに、例えば「リセットボタンを押し、スキャナを撮影開始位置に設定してください。」との文言を付加する。これにより、操作者は、「S4」での操作部24の操作に際して、例えば
図9に示す映像を見ることになる。そして、操作者は、符号47で示す文言にしたがってリセットボタン24aを押下し、医療用装置2はスキャナ23を撮影開始位置に移動する。また、医療用装置2は、スキャナ23を撮影開始位置に移動した後で、操作部24の状態情報表示領域24g(
図2参照)に「S5」を表示する。
【0068】
<S5:X線照射工程>
次に、操作者は、医療用装置2の操作部24の操作を再び行う。状態情報表示領域24g(
図2参照)には、「S5」が表示されている。情報表示装置3の撮影部31は、操作者の目線方向にある操作部24の映像を撮影し、制御部35の状態認識部35cは、スキャナリセット工程(S1)と同様の処理によって、状態情報表示領域24g内に表示される状態情報が「S5」であること(つまり、医療用装置2の操作工程が「X線照射工程」であること)を認識する。
【0069】
制御部35の装置関連情報付加部35dは、付加情報DB34c(
図4参照)を参照して、ここでの表示対象部位であるX線照射ボタン24dに、例えば「X線照射ボタンを押し、撮影を行ってください。X線照射中は、ボタンを離さないようにしてください。」との文言を付加する。これにより、操作者は、「S5」での操作部24の操作に際して、例えば
図10に示す映像を見ることになる。そして、操作者は、符号48で示す文言にしたがってX線照射ボタン24dを押下し、医療用装置2はX線の照射および撮影を行う。また、医療用装置2は、撮影が完了した後で、操作部24の状態情報表示領域24g(
図2参照)に「S6」を表示する。
【0070】
<S6:撮影終了工程>
状態情報表示領域24g(
図2参照)には、「S6」が表示されている。情報表示装置3の撮影部31は、操作者の目線方向にある操作部24の映像を撮影し、制御部35の状態認識部35cは、スキャナリセット工程(S1)と同様の処理によって、状態情報表示領域24g内に表示される状態情報が「S6」であること(つまり、医療用装置2の操作工程が「撮影終了工程」であること)を認識する。
【0071】
制御部35の装置関連情報付加部35dは、付加情報DB34c(
図4参照)を参照して、ここでの表示対象部位であるX線照射ボタン24dに、例えば「撮影が終了しました。患者固定具を解除し、患者を退出させてください。」との文言を付加する。これにより、操作者は、「S6」において、例えば
図11に示す映像を見ることになる。
【0072】
<T3:患者退出>
次に、操作者は、患者から患者固定具21ddを解除し、患者を医療用装置2から退出させる。これで、医療用装置2を用いた口腔内のCT撮影が完了する。
【0073】
以上のように構成された本発明の実施形態に係る情報表示システム1は、以下のような作用効果を奏する。
つまり、情報表示システム1は、拡張現実技術を用いて、撮影した映像に写る医療用装置2の部位(例えば、操作部24)に装置関連情報(機能の説明や操作手順など)を関連付けて表示する。そのため、操作者は、実際の部位から得られる情報に加えて、付加される追加の情報を得ることができる。したがって、情報表示システム1は、医療用装置のさらなる利便性の向上を図り、誤操作のリスクを軽減することができる。
【0074】
特に、医療用装置2が小型などの理由で表示部分が限られている場合において、操作者は、操作部24の機能等をボタンの形状や名称などの限られた情報から判断し、且つ操作手順を覚えておく必要がある。また、操作手順を忘れた場合には、マニュアルを参照しなければならない。しかし、情報表示システム1であればその必要もない。
【0075】
さらに、情報表示システム1では、医療用装置2の製造時に装置関連情報を予め登録する必要がなく、追加で表示が必要になった情報を後から情報表示装置3に登録することも可能である。そのため、装置関連情報の更新作業が容易である。
【0076】
また、情報表示システム1は、医療用装置2に表示される状態情報を認識し、状態情報に応じた装置関連情報を医療用装置2の部位に関連付けて表示する。そのため、医療用装置2の状態ごとに異なる情報を表示することができるので、医療用装置2のさらなる利便性の向上を図ることができる。
【0077】
さらに、情報表示システム1では、情報表示装置3が医療用装置2に表示される状態情報を認識すればよいので、情報表示装置3と医療用装置2との間で無線通信によるデータ(状態情報)の送受信が行われない。そのため、情報表示システム1は、無線通信の電波が医療用装置2に悪影響を及ぼす虞がない。つまり、情報表示システム1は、無線通信の電波に影響を受けやすい医療用装置2が使用される現場に、特に適している。
【0078】
また、情報表示システム1は、状態情報として操作工程情報を用い、操作工程に応じて医療用装置2の操作部24の説明を切り替えて表示する。そのため、操作工程ごとに必要最小限の情報を最適な位置に表示することができるので、操作者による誤操作のリスクをさらに軽減することができる。
【0079】
また、情報表示システム1は、状態情報としてメンテナンス識別情報又は故障識別情報を用い、これらの情報に応じた情報を医療用装置2の部位に表示する。そのため、操作者は、メンテナンスが必要であることや故障が発生していることを漏れなく認識することができる。
【0080】
[変形例]
以上、本発明の実施形態について説明したが、本発明は、前記した実施形態に限定されず、適宜変更して実施することが可能である。
【0081】
本実施形態の情報表示システム1は、
図1に示すように、医療用装置2と情報表示装置3とを備える構成であり、情報表示装置3の制御部35で医療用装置2を構成する部位に装置関連情報を関連づけていた。つまり、制御部35は、部位認識部35aと、カメラ位置姿勢算出部35bと、状態認識部35cと、装置関連情報付加部35dと、を有していた。しかしながら、本発明の構成はこれに限定されず、例えば、情報表示システム1は、医療用装置2と、情報表示装置3と、制御装置(図示せず)とを備え、制御装置で医療用装置2を構成する部位に装置関連情報を関連づけてもよい。つまり、本実施形態の制御部35の一部または全部の機能を情報表示装置3とは別の制御装置が備える構成であってもよい。その場合、制御装置は、例えば情報表示装置3から撮影部31で撮影した映像を受信し、医療用装置2を構成する部位に装置関連情報を関連づけた映像を情報表示装置3に送信する。なお、制御装置は、特許請求の範囲の「制御手段」の一例である。
【0082】
また、本実施形態では、医療用装置2として、X線CT(Computer Tomography)装置を想定して説明した。そのため、操作工程ごとに表示を切り替えていたが、医療用装置2の部位と装置関連情報とが1対1に対応するものであってもよい。その場合、医療用装置2で状態情報の表示を行わず、情報表示装置3は、撮影した映像に写る医療用装置2の部位を単に認識し、部位に装置関連情報を関連付けて表示する。つまり、情報表示装置3では状態情報の認識を行わないようにしてもよい。
【0083】
また、本実施形態では、医療用装置2の操作部24に状態情報を表示し、情報表示装置3の撮影部31でその表示を撮影することで医療用装置2の状態を認識していた。しかしながら、状態情報の認識方法はこれに限定されず、前記方法に代えて、あるいは前記方法に加えて他の方法を用いることも可能である。例えば、医療用装置2が状態情報を音で出力し(報知し)、情報表示装置3がその音を検知した場合に、情報表示装置3の状態認識部35cで音の解析を行って医療用装置2の状態を認識してもよい。このような構成によれば、操作者が医療用装置2の周囲(音が届く範囲)にいる限り、操作者の目線方向に関わらず情報表示装置3で状態情報を認識することができる。そのため、情報表示装置3は、状態情報を漏れなく認識することができる。状態情報を音で認識する方法は、操作者の目線が様々な部位に移動するような場合(例えば、大型の医療用装置)に、特に有効である。
【0084】
また、本実施形態では、部位認識部35aで撮影した映像から特徴点の検出および特徴量の算出を行うことで、撮影した映像に写る部位を認識していた。つまり、本実施形態では、自然特徴ベース(マーカーレス)の認識を行っていた。しかしながら、マーカーベース(例えば、バーコードやQRコード(登録商標)などのARマーカー)の認識を行ってもよい。
【0085】
その場合、例えば、医療用装置2の夫々の部位にARマーカーを付しておき、ARマーカーの世界座標系における位置(座標)を情報表示装置3に予め登録しておく。そして、情報表示装置3の部位認識部35aが、撮影部31で撮影した映像からARマーカーを認識し、装置関連情報付加部35dは、撮影した映像のARマーカーに装置関連情報を付加して表示部32に表示する。
【0086】
また、例えば、医療用装置2の基準となる部位にARマーカーを付しておき、医療用装置2のそれ以外の部位の位置を、ARマーカーを基準とする座標として情報表示装置3に予め登録しておく。そして、情報表示装置3の部位認識部35aが、撮影部31で撮影した映像からARマーカー(基準点)を認識し、装置関連情報付加部35dは、撮影した映像のARマーカーに対して登録された位置に装置関連情報を付加して表示部32に表示する。この際、部位認識部35aは、ARマーカーのサイズや歪みを算出して、撮影部31からARマーカーまでの距離や方向を特定する。
【0087】
また、本実施形態では、情報表示装置3としてビデオシースルー方式のヘッドマウントディスプレイを想定していたが、ヘッドマウントディスプレイの種類はこれに限定されるものではない。例えば、透明な板状部品(コンバイナ)に装置関連情報を重ねる光学シースルー方式のものであってもよい。また、操作者の網膜上で弱レーザ光を走査する網膜投影型のものであってもよい。
【0088】
情報表示装置3がこれらの種類のものである場合、装置関連情報付加部35dは、例えば、撮影部31で撮影した映像から術者の目線における医療用装置2の部位の位置を算出し、表示部32(透明な板状部品や網膜)に装置関連情報のみを表示することで、術者はあたかも医療用装置2の部位に装置関連情報が関連づけられているように感じる。
【符号の説明】
【0089】
1 情報表示システム
2 医療用装置
21 本体部
22 昇降部
22b 位置付け部(部位)
23 スキャナ
24 操作部
24a リセットボタン(部位)
24b 撮影モード選択ボタン(部位)
24c 方向ボタン(部位)
24d X線照射ボタン(部位)
24e メニューボタン
24f 撮影条件表示領域
24g 状態情報表示領域
24h 撮影モード表示領域
3 情報表示装置
31 撮影部
32 表示部
34 記憶部
34a 部位情報DB
34b 状態情報DB
34c 付加情報DB
35 制御部(制御手段)
35a 部位認識部
35b カメラ位置姿勢算出部
35c 状態認識部
35d 装置関連情報付加部