特開 2023-54716 ヘッドマウントディスプレイ及びそれを用いる手術支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023054716

(43)【公開日】2023-04-14

(54)【発明の名称】ヘッドマウントディスプレイ及びそれを用いる手術支援システム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20230407BHJP

   H04N 5/64 20060101ALI20230407BHJP

【ＦＩ】

A61B34/20

H04N5/64 511A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021163744

(22)【出願日】2021-10-04

(71)【出願人】

【識別番号】395011218

【氏名又は名称】エフ・エーシステムエンジニアリング株式会社

(71)【出願人】

【識別番号】521433163

【氏名又は名称】松浦 良彦

(74)【代理人】

【識別番号】100110777

【弁理士】

【氏名又は名称】宇都宮 正明

(74)【代理人】

【識別番号】100100413

【弁理士】

【氏名又は名称】渡部 温

(72)【発明者】

【氏名】中村 康則

(72)【発明者】

【氏名】中村 将滋

(57)【要約】

【課題】観察者が片手で表示部の位置や角度を細かく調整し易く、使い勝手を向上させたヘッドマウントディスプレイを提供する。
【解決手段】このヘッドマウントディスプレイは、観察者の頭部に装着される頭部装着部と、右眼用の第１の表示部及び左眼用の第２の表示部と、長手方向に第１及び第２の表示部を並べて保持するフレームと、頭部装着部に第１の軸を中心として回動可能に取り付けられた第１のアームリンク部と、第１のアームリンク部に第２の軸を中心として回動可能に取り付けられると共に、フレームの第１の端部と第２の端部との中間部分に第３の軸を中心として回動可能に取り付けられた第２のアームリンク部とを備え、第１～第３の軸が互いに略平行であって、フレームを操作することにより、第１又は第２のアームリンク部が回動して、頭部装着部に対する表示部の位置及び角度の調整が可能である。
【選択図】図１

【特許請求の範囲】

【請求項1】

観察者の頭部に装着される頭部装着部と、
右眼用の第１の表示部及び左眼用の第２の表示部と、
長手方向に前記第１及び第２の表示部を並べて保持するフレームと、
前記頭部装着部に第１の軸を中心として回動可能に取り付けられた第１のアームリンク部と、
前記第１のアームリンク部に第２の軸を中心として回動可能に取り付けられると共に、前記フレームの前記長手方向における第１の端部と第２の端部との中間部分に第３の軸を中心として回動可能に取り付けられた第２のアームリンク部と、
を備え、前記第１～第３の軸が互いに略平行であって、前記フレームを操作することにより、前記第１又は第２のアームリンク部が回動して、前記頭部装着部に対する前記第１及び第２の表示部の位置及び角度の調整が可能であるヘッドマウントディスプレイ。

【請求項2】

前記第１の軸上に配置され、前記頭部装着部に対する前記第１のアームリンク部の角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有する第１の調節機構と、
前記第２の軸上に配置され、前記第１のアームリンク部に対する前記第２のアームリンク部の角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有する第２の調節機構と、
前記第３の軸上に配置され、前記第２のアームリンク部に対する前記フレームの角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有する第３の調節機構と、
の内の少なくとも１つをさらに備え、前記頭部装着部に対する前記第１及び第２の表示部の位置及び角度をロックしたりリリースしたりすることが可能である、請求項１に記載のヘッドマウントディスプレイ。

【請求項3】

前記フレームが、前記第１及び第２の端部にそれぞれ設けられた第１の凸部及び第２の凸部を有し、
前記フレームの前記第１及び第２の凸部に脱着可能な２つのキャップをさらに備える、請求項１又は２に記載のヘッドマウントディスプレイ。

【請求項4】

前記２つのキャップの各々が、前記フレームの第１又は第２の凸部と嵌合する凹部が設けられた取付部と、前記第１～第３の軸に略直交する面に沿って前記取付部から張り出した縁部とを有する、請求項３に記載のヘッドマウントディスプレイ。

【請求項5】

前記第２のアームリンク部が、前記フレームの前記第１の端部と前記第２の端部との略中央部分に前記第３の軸を中心として回動可能に取り付けられている、請求項１～４のいずれか１項に記載のヘッドマウントディスプレイ。

【請求項6】

３次元画像信号に基づいて右眼用画像信号及び左眼用画像信号を生成し、前記右眼用画像信号及び前記左眼用画像信号を前記第１及び第２の表示部にそれぞれ供給することにより、前記第１及び第２の表示部に３次元立体画像を表示させるデコーダーをさらに備える、請求項１～５のいずれか１項に記載のヘッドマウントディスプレイ。

【請求項7】

内視鏡内から被写体を撮像して視差を伴う複数の画像信号をそれぞれ生成する複数の撮像素子と、
前記複数の画像信号に基づいて３次元画像信号を生成するエンコーダーと、
請求項６に記載のヘッドマウントディスプレイと、
を備える手術支援システム。

【請求項8】

３次元画像信号によって表される患者の画像において所定の部位又は領域を認識する手順（ａ）と、画像認識結果に基づいて３次元画像信号に画像処理を施すことにより、手術のガイドとなる情報を３次元画像信号に追加する手順（ｂ）とをＣＰＵに実行させるプログラムが記録された記録媒体と、
前記ＣＰＵから供給される３次元画像信号に基づいて３次元立体画像を表示する請求項６に記載のヘッドマウントディスプレイと、
を備える手術支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウントディスプレイに関し、特に、医療用に用いられるヘッドマウントディスプレイに関する。さらに、本発明は、そのようなヘッドマウントディスプレイを利用して手術を支援する手術支援システム等に関する。

【背景技術】

【0002】

従来から、ヘッドマウントディスプレイ（Head Mounted Display）は、エンターテインメントの道具として利用されることが多かった。しかしながら、近年においては、その有用性から、医療分野等における利用が注目されるようになっている。

【0003】

ヘッドマウントディスプレイは、単眼用と両眼用とに大別され、また、２Ｄ（２次元）用と３Ｄ（３次元）用とに分類できる。３Ｄ用のヘッドマウントディスプレイにおいては、輻輳眼球運動や３Ｄ画像の視覚的な調整が目のストレスの原因となり、これが大きな問題になっている。特に、長時間手術（４時間ないし５時間に及ぶ手術）の場合には、これを回避したいという要望が大きい。

【0004】

関連する技術として、特許文献１には、使い勝手を向上させたヘッドマウントディスプレイが開示されている。このヘッドマウントディスプレイは、保持部４を含む頭部装着部と、観察時に観察者の片眼の前方に配置される表示部６と、頭部装着部と表示部６との間を連結するアーム部８と、第１及び第２の連結機構９及び１０とを備えている。

【0005】

第１の連結機構９は、保持部４に対する軸Ｘ１回りの回動方向θｘ１のアーム部８の回動が可能で、保持部４に対するアーム部８の位置決めが可能となるように、保持部４とアーム部８の基端部とを連結する。第２の連結機構１０は、アーム部８に対する軸Ｘ２回りの回動方向θｘ２の表示部６の回動に関し、観察時における表示部６の位置決めのための所定の調整範囲内における連続的な位置で表示部６を自在に位置決めできるように構成される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００９－３３３０８号公報（要約書）

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に開示されているように、アーム部８と第１及び第２の連結機構９及び１０とによって表示部６を支持するようにすれば、表示部６の位置及び角度を調整する際の使い勝手が向上する。しかしながら、特許文献１のヘッドマウントディスプレイには表示部６が１つしか設けられていないので、３Ｄ立体画像を観察することができない。

【0008】

特許文献１に開示されているヘッドマウントディスプレイにおいて３Ｄ立体画像を観察できるようにするためには、左眼用と右眼用の２つの表示部を設けると共に、それらを支持するためにアーム部と第１及び第２の連結機構とを左右に設けることが考えられる。しかしながら、その場合には、表示部の位置や角度を調整する際に、左右のアーム部や連結機構を同期して操作する必要があるので、片手で表示部の位置や角度を細かく調整することが困難になってしまう。また、表示部を移動させるために要するトルクを小さ目に設定すると、重力や遠心力等の外力によって表示部が容易に移動してしまうので、特に手術中においては大きな問題となる。

【0009】

さらに、医療分野においては、外科医が手術中に手にする器械の洗浄や滅菌を行う必要がある。従って、外科医がヘッドマウントディスプレイを装着して手術中に表示部の位置や角度を調整する場合には、手術に先立ってヘッドマウントディスプレイの洗浄や滅菌を行う必要がある。特に、洗浄には洗浄装置が用いられることが多いので、凹凸がなく平滑な器械の洗浄は容易であるが、複雑な形状を有するヘッドマウントディスプレイの洗浄は困難である。

【0010】

そこで、上記の点に鑑み、本発明の第１の目的は、例えば、視力、斜視、乱視等の個人差があっても目のストレスを低減して３Ｄ立体画像を観察できるようにするために、観察者が片手で表示部の位置や角度を細かく調整し易く、使い勝手を向上させたヘッドマウントディスプレイを提供することである。また、本発明の第２の目的は、安心して手術に用いることが可能なヘッドマウントディスプレイを提供することである。さらに、本発明の第３の目的は、そのようなヘッドマウントディスプレイを利用して手術を支援する手術支援システム等を提供することである。

【課題を解決するための手段】

【0011】

以上の課題の少なくとも一部を解決するため、本発明の第１の観点に係るヘッドマウントディスプレイは、観察者の頭部に装着される頭部装着部と、右眼用の第１の表示部及び左眼用の第２の表示部と、長手方向に前記第１及び第２の表示部を並べて保持するフレームと、前記頭部装着部に第１の軸を中心として回動可能に取り付けられた第１のアームリンク部と、前記第１のアームリンク部に第２の軸を中心として回動可能に取り付けられると共に、前記フレームの前記長手方向における第１の端部と第２の端部との中間部分に第３の軸を中心として回動可能に取り付けられた第２のアームリンク部とを備え、前記第１～第３の軸が互いに略平行であって、前記フレームを操作することにより、前記第１又は第２のアームリンク部が回動して、前記頭部装着部に対する前記第１及び第２の表示部の位置及び角度の調整が可能である。

【0012】

本発明の第１の観点によれば、立体画像を観察することが可能なヘッドマウントディスプレイにおいて、頭部装着部に第１のアームリンク部を介して取り付けられた第２のアームリンク部がフレームの第１の端部と第２の端部との中間部分を支持することにより、観察者が片手で表示部の位置や角度を細かく調整し易く、使い勝手を向上させたヘッドマウントディスプレイを提供することができる。

【0013】

また、本発明の第２の観点に係るヘッドマウントディスプレイは、前記第１の軸上に配置され、前記頭部装着部に対する前記第１のアームリンク部の角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有する第１の調節機構と、前記第２の軸上に配置され、前記第１のアームリンク部に対する前記第２のアームリンク部の角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有する第２の調節機構と、前記第３の軸上に配置され、前記第２のアームリンク部に対する前記フレームの角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有する第３の調節機構との内の少なくとも１つをさらに備え、前記頭部装着部に対する前記第１及び第２の表示部の位置及び角度をロックしたりリリースしたりすることが可能である。

【0014】

本発明の第２の観点によれば、可動部の動き易さを手動で調節するために少なくとも１つの調節機構が設けられるので、例えば、外科医がヘッドマウントディスプレイを装着して長時間手術を行う場合に、表示部の位置及び角度を調整後にロックしてから手術を開始することができる。従って、安心して手術に用いることが可能なヘッドマウントディスプレイを提供することができる。

【0015】

また、本発明の第３の観点に係るヘッドマウントディスプレイにおいては、前記フレームが、前記第１及び第２の端部にそれぞれ設けられた第１の凸部及び第２の凸部を有し、前記ヘッドマウントディスプレイが、前記フレームの前記第１及び第２の凸部に脱着可能な２つのキャップをさらに備える。

【0016】

本発明の第３の観点によれば、手術に先立って、２つのキャップの洗浄や滅菌を行ってから、それらをフレームの第１の凸部及び第２の凸部に取り付けることにより、外科医がヘッドマウントディスプレイを装着して手術を行う場合に、キャップを介してフレームを操作して表示部の位置や角度を調整することができる。従って、安心して手術に用いることが可能なヘッドマウントディスプレイを提供することができる。

【0017】

さらに、本発明の第４の観点に係る手術支援システムは、内視鏡内から被写体を撮像して視差を伴う複数の画像信号をそれぞれ生成する複数の撮像素子と、前記複数の画像信号に基づいて３次元画像信号を生成するエンコーダーと、３次元画像信号に基づいて右眼用画像信号及び左眼用画像信号を生成し、前記右眼用画像信号及び前記左眼用画像信号を前記第１及び第２の表示部にそれぞれ供給することにより、前記第１及び第２の表示部に３次元立体画像を表示させるデコーダーをさらに備える前記ヘッドマウントディスプレイとを備える。

【0018】

本発明の第４の観点によれば、内視鏡を用いた外科手術において、内視鏡内から見た鮮明な３次元立体画像をヘッドマウントディスプレイに表示させるので、外科医による手術をより安全なものとすることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係るヘッドマウントディスプレイを観察者に装着した状態を示す斜視図。

【図2】図１に示すヘッドマウントディスプレイの一部を拡大して示す斜視図。

【図3】本発明の一実施形態に係る手術支援システムの構成例を示すブロック図。

【図4】図３に示す手術支援サーバーの構成例を示すブロック図。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。

【0021】

＜ヘッドマウントディスプレイ＞
図１は、本発明の一実施形態に係るヘッドマウントディスプレイを観察者に装着した状態を示す斜視図であり、図２は、図１に示すヘッドマウントディスプレイの一部を拡大して示す斜視図である。

【0022】

図１及び図２に示すように、このヘッドマウントディスプレイは、観察者の頭部に装着される頭部装着部としてのヘッドバンド１０と、右眼用の第１の表示部２１及び左眼用の第２の表示部２２と、長手方向（図２に示すｘ軸方向）に第１の表示部２１及び第２の表示部２２を並べて保持するフレーム３０と、ＤＣ電源や画像信号をヘッドマウントディスプレイに供給する接続ケーブル４０とを備えている。

【0023】

画像観察時には、ヘッドバンド１０が観察者の頭部に装着されて、第１の表示部２１及び第２の表示部２２が観察者の右眼及び左眼の前方にそれぞれ配置される。第１の表示部２１及び第２の表示部２２は、非透過型でも透過型でも良いが、図１には、一例として、非透過型のディスプレイが示されている。第１の表示部２１及び第２の表示部２２は、供給される２次元画像信号又は３次元画像信号に基づいて２次元平面画像又は３次元立体画像を表示する。

【0024】

良好な装着状態を得るために、ヘッドバンド１０には、観察者の頭部の大きさに合わせてバンドの内径を調節するために用いられる調節ネジ１１が設けられていても良い。なお、本実施形態においては、頭部装着部の一例としてヘッドバンド１０が用いられるが、頭部装着部は、ヘッドバンド１０に限定されるものではなく、例えば、ヘルメット等でも良い。

【0025】

ヘッドバンド１０とフレーム３０とは、ヘッドマウント５０と、第１のアームリンク部５１及び第２のアームリンク部５２と、フレームマウント５３とによって連結されている。フレーム３０及びヘッドマウント５０～フレームマウント５３等の材料としては、例えば、アルミニウム若しくはチタン等の金属やその合金、又は、プラスチック等を用いることができる。

【0026】

図２に拡大して示すように、ヘッドバンド１０には、ヘッドマウント５０が固定されており、フレーム３０には、フレームマウント５３が固定されている。第１のアームリンク部５１は、ヘッドマウント５０を介してヘッドバンド１０に、第１の軸Ｘ１を中心として回動可能に取り付けられている。

【0027】

また、第２のアームリンク部５２は、第１のアームリンク部５１に、第２の軸Ｘ２を中心として回動可能に取り付けられると共に、フレームマウント５３を介してフレーム３０に、第３の軸Ｘ３を中心として回動可能に取り付けられている。ここで、第２のアームリンク部５２は、フレーム３０の長手方向における第１の端部３１と第２の端部３２との中間部分（望ましくは、略中央部分）に、第３の軸Ｘ３を中心として回動可能に取り付けられている。

【0028】

このようなヘッドマウントディスプレイにおいて、観察者の右眼及び左眼と第１の表示部２１及び第２の表示部２２との間の距離を変化させることにより、視覚上の画面の大きさを調整することができる。例えば、５７インチサイズの据置型ディスプレイと同等の大画面を表示させることも可能である。

【0029】

通常は、眼精疲労を抑えるために、なるべく遠くに結像した像を形成することが望ましい。特に、３次元立体画像を表示する場合には、眼球の輻輳角と焦点距離との間に差が生じる状態も眼精疲労の原因になるので、正確な立体感を得るために、観察者の右眼及び左眼に対する第１の表示部２１及び第２の表示部２２の位置及び角度を細かく調整する必要がある。

【0030】

そのためにも、本実施形態に係るヘッドマウントディスプレイにおいては、観察者がフレーム３０を操作することにより、第１のアームリンク部５１又は第２のアームリンク部５２が回動して、ヘッドバンド１０に対する第１の表示部２１及び第２の表示部２２の位置及び角度の調整、即ち、立体視点の調整が可能となっている。具体的には、以下の調整が可能である。

【0031】

（１）第１のアームリンク部５１及び第２のアームリンク部５２が回動することにより、ヘッドバンド１０と第１の表示部２１及び第２の表示部２２との間の距離の調整が可能である。
（２）第１のアームリンク部５１が回動することにより、ヘッドバンド１０に対する第１の表示部２１及び第２の表示部２２の方向の調整が可能である。
（３）第２のアームリンク部５２が回動することにより、ヘッドバンド１０に対する第１の表示部２１及び第２の表示部２２の角度の調整が可能である。

【0032】

フレーム３０を支持するリンク機構において、第１の軸Ｘ１～第３の軸Ｘ３は、互いに略平行であり、望ましくは、フレーム３０の長手方向（ｘ軸方向）に略平行である。第１のアームリンク部５１について、軸間の長さをＬ_１、ｙ軸方向からの回転角をθ_１とし、第２のアームリンク部５２について、軸間の長さをＬ_２、第１のアームリンク部５１の長手方向からの回転角をθ_２とすると、第１の軸Ｘ１を原点とする第３の軸Ｘ３の座標（Ｄx、Ｄy、Ｄz）は、次式で表される。

【0033】

Ｄx≒０
Ｄy＝Ｌ_１cosθ_１＋Ｌ_２cos（θ_１＋θ_２）
Ｄz＝Ｌ_１sinθ_１＋Ｌ_２sin（θ_１＋θ_２）
また、第１の軸Ｘ１と第３の軸Ｘ３との間の距離Ｄは、次式で表される。
Ｄ＝（Ｄx^２＋Ｄy^２＋Ｄz^２）^１／２

【0034】

ここで、第１のアームリンク部５１、第２のアームリンク部５２、及び、フレーム３０の各部は、ｘ軸方向に直交するｙｚ面内でしか移動することができない。従って、観察者が片手でフレーム３０を操作して第１の表示部２１及び第２の表示部２２を移動させても、ヘッドバンド１０がずれない限り、第１の表示部２１及び第２の表示部２２がｘ軸方向にずれることはない。

【0035】

このように、本実施形態によれば、立体画像を観察することが可能なヘッドマウントディスプレイにおいて、ヘッドバンド１０に第１のアームリンク部５１を介して取り付けられた第２のアームリンク部５２がフレーム３０の第１の端部３１と第２の端部３２との中間部分を支持することにより、観察者が片手で第１の表示部２１及び第２の表示部２２の位置や角度を細かく調整し易く、使い勝手を向上させたヘッドマウントディスプレイを提供することができる。

【0036】

また、医療分野への応用に関し、内視鏡手術において据置型モニターを使用する場合には、各種の機器や術野部位によって被写体が見辛くなるので、内視鏡画像の全体を観察することが難しかったり、視点移動が大きくなるので、首や手術姿勢にストレスを感じることがある。

【0037】

それに対し、ヘッドマウントディスプレイを使用する場合には、遮るものが無いので内視鏡画像の全体を観察することが可能である。また、フレーム３０の位置や角度をずらしたり、視点を左右や下方に移動させて第１の表示部２１及び第２の表示部２２から目をそらしたりすることにより、周辺の情景や手元を自由に見ることができる。

【0038】

さらに、ヘッドマウントディスプレイは、持ち運びに便利なので、接続ケーブル４０が届く範囲内であれば、いつでも利用することができる。なお、長時間（４時間ないし５時間）の手術を行っても疲労が蓄積し難いように、ヘッドマウントディスプレイの重量は、２８０ｇ以下にすることが望ましい。

【0039】

また、第１の表示部２１及び第２の表示部２２の位置及び角度の調整を容易にしようとして、第１の表示部２１及び第２の表示部２２を移動させるために要するトルクを小さ目に設定すると、重力や遠心力等の外力によって第１の表示部２１及び第２の表示部２２が容易に移動してしまうので、特に医療分野においては大きな問題となる。

【0040】

そこで、本実施形態に係るヘッドマウントディスプレイは、第１の調節機構５４と、第２の調節機構５５と、第３の調節機構５６との内の少なくとも１つをさらに備えても良い。それにより、ヘッドバンド１０に対する第１の表示部２１及び第２の表示部２２の位置及び角度をロックしたりリリースしたりすることが可能になる。ここで、「リリース」とは、ロック状態を解除して、ヘッドバンド１０に対して第１の表示部２１及び第２の表示部２２を僅かな力で移動できる状態にすることをいう。

【0041】

第１の調節機構５４は、第１の軸Ｘ１上に配置されて、第１のアームリンク部５１をヘッドマウント５０に回動可能に取り付け、ヘッドバンド１０に対する第１のアームリンク部５１の角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有している。

【0042】

第２の調節機構５５は、第２の軸Ｘ２上に配置されて、第２のアームリンク部５２を第１のアームリンク部５１に回動可能に取り付け、第１のアームリンク部５１に対する第２のアームリンク部５２の角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有している。

【0043】

第３の調節機構５６は、第３の軸Ｘ３上に配置されて、フレームマウント５３を第２のアームリンク部５２に回動可能に取り付け、第２のアームリンク部５２に対するフレーム３０の角度を変化させるために最小限必要となるトルクの大きさを手動で調節するための取手を有している。

【0044】

第１の調節機構５４～第３の調節機構５６は、ドライバーやレンチやスパナ等の工具を使わずに操作が可能な機械要素部品であり、例えば、ねじを締め付けたり緩めたりするために掴んで回すことができる蝶ボルトやノブボルトやローレット等のつまみネジを含んでいる。図１及び図２には、一例として、第１の調節機構５４～第３の調節機構５６の全てを設ける場合が示されているが、それらの内の少なくとも１つの替わりとして、通常のネジやナットを使用しても良い。

【0045】

可動部の動き易さを手動で調節するために第１の調節機構５４～第３の調節機構５６の内の少なくとも１つを設けることにより、例えば、外科医がヘッドマウントディスプレイを装着して長時間手術を行う場合に、第１の表示部２１及び第２の表示部２２の位置及び角度を調整後にロックしてから手術を開始することができる。従って、安心して手術に用いることが可能なヘッドマウントディスプレイを提供することができる。

【0046】

また、外科医がヘッドマウントディスプレイを装着して手術中に第１の表示部２１及び第２の表示部２２の位置や角度を調整する場合には、手術に先立ってヘッドマウントディスプレイの洗浄や滅菌を行う必要がある。特に、洗浄には洗浄装置が用いられることが多いので、凹凸がなく平滑な器械の洗浄は容易であるが、複雑な形状を有するヘッドマウントディスプレイの洗浄は困難である。

【0047】

そこで、本実施形態においては、フレーム３０が、第１の端部３１及び第２の端部３２にそれぞれ設けられた第１の凸部（第１のノブ）６１及び第２の凸部（第２のノブ）６２を有しており、ヘッドマウントディスプレイが、フレーム３０の第１の凸部６１及び第２の凸部６２にそれぞれ脱着可能な２つのキャップ７１及び７２をさらに備えても良い。

【0048】

キャップ７１及び７２の材料としては、例えば、合成樹脂等を用いることができる。手術に先立って、キャップ７１及び７２の洗浄や滅菌を行ってから、それらがフレーム３０の第１の凸部６１及び第２の凸部６２にそれぞれ取り付けられる。また、手術の度にキャップ７１及び７２を取り替えても良い。

【0049】

図２に拡大して示すように、キャップ７２は、フレーム３０の第２の凸部６２と嵌合する凹部が設けられた取付部７２ａと、第１の軸Ｘ１～第３の軸Ｘ３に略直交する面に沿って取付部７２ａから張り出した縁部７２ｂとを有している。キャップ７２は、フレーム３０の一方の側面の半分以上を覆うことにより、観察者（外科医）の指がフレーム３０の本体に触れることを防止する役割を果たす。

【0050】

図２に示す例においては、フレーム３０の第２の凸部６２が、円柱形状を有しており、キャップ７２の取付部７２ａが、片側（ｘ軸方向における上面）が塞がれた中空円筒形状を有しており、キャップ７２の縁部７２ｂが、取付部７２ａの直径よりも大きい直径を有する円盤形状を有している。図２には示されていないが、フレーム３０の第１の凸部６１とキャップ７１についても同様である。また、第１の調節機構５４～第３の調節機構５６の内の少なくとも１つを設ける場合には、ヘッドマウントディスプレイが、その調節機構の取手に脱着可能なキャップをさらに備えても良い。

【0051】

本実施形態によれば、手術に先立って、キャップ７１及び７２の洗浄や滅菌を行ってから、それらをフレーム３０の第１の凸部６１及び第２の凸部６２に取り付けることにより、外科医がヘッドマウントディスプレイを装着して手術を行う場合に、キャップ７１又は７２を介してフレーム３０を操作して、第１の表示部２１及び第２の表示部２２の位置及び角度の調整を外科医固有の立体視点で行うことができる。従って、安心して手術に用いることが可能なヘッドマウントディスプレイを提供することができる。

【0052】

＜手術支援システム＞
次に、本発明の一実施形態に係る手術支援システムについて説明する。
図３は、本発明の一実施形態に係る手術支援システムの構成例を示すブロック図である。図３に示すように、この手術支援システムは、手術支援ロボット１００と、エンコーダー２００と、本発明の一実施形態に係るヘッドマウントディスプレイ３００とを含み、さらに、手術支援サーバー４００を含んでも良い。

【0053】

手術支援ロボット１００は、例えば、マスタースレイブ型内視鏡を含み、ロボットマニピュレーターを用いた手術に使用される。その場合に、手術支援ロボット１００は、内視鏡に設けられたマニピュレーター１１０と、内視鏡内から被写体を撮像して視差を伴う複数の画像信号をそれぞれ生成する複数の撮像素子（図３においては、右撮像素子１２１及び左撮像素子１２２を示す）とを備えている。

【0054】

マニピュレーター１１０は、内視鏡を用いて行われる胸腔又は腹腔の手術において、患者に対する低侵襲な手術を可能にするために、手術支援サーバー４００からの遠隔操作によって動作する。マニピュレーター１１０のアームの先端には人間の手首に相当する関節があり、先端を自由に曲げることができる。

【0055】

右撮像素子１２１及び左撮像素子１２２は、例えば、内視鏡内において互いに距離を隔てて配置されており、右眼用画像を表す右眼用画像信号と左眼用画像を表す左眼用画像信号とをそれぞれ生成する。なお、手術支援ロボット１００の替わりに、マニュアルで動作し、右撮像素子１２１及び左撮像素子１２２が設けられた内視鏡を用いても良い。

【0056】

エンコーダー２００は、右撮像素子１２１及び左撮像素子１２２から出力される複数の２次元画像信号に基づいて３次元画像信号を生成する。例えば、エンコーダー２００は、右眼用画像（例えば、１９２０×１０８０画素）と左眼用画像（例えば、１９２０×１０８０画素）とで構成される立体画像を水平方向に合成することにより、サイドバイサイド方式のハイビジョン信号（例えば、３８４０×１０８０画素の３次元画像信号）を生成する。このようにして生成された３次元画像信号は、ＤＣ電源と共に、ヘッドマウントディスプレイ３００にリアルタイムに供給される。

【0057】

ヘッドマウントディスプレイ３００は、画像を表示するために、右眼用の第１の表示部２１及び左眼用の第２の表示部２２と、デコーダー８０とを備えている。また、ヘッドマウントディスプレイ３００は、有線又は無線により外部との間で通信を行う通信回路９０をさらに備え、ネットワークを介して外部のコンピューター又はスマートフォン等の情報端末と接続する機能を有するスマートグラスタイプでも良い。

【0058】

第１の表示部２１及び第２の表示部２２の各々は、有機ＥＬ（Electro-Luminescence：エレクトロルミネッセンス）パネル又は液晶パネル等の表示パネルと、光学レンズと、ケースと、回路基板とを含んでいる。例えば、表示パネルは、シリコンチップに設けられたアクティブマトリクス方式の複数の画素回路を含んでいる。各々の画素回路は、ＯＬＥＤ等の発光素子や、複数のトランジスター等を含んでいる。シリコンチップには、それらの画素回路を駆動する駆動回路等も設けられている。

【0059】

デコーダー８０は、エンコーダー２００から供給される３次元画像信号に基づいて右眼用画像信号及び左眼用画像信号を生成し、それらの画像信号を第１の表示部２１及び第２の表示部２２にそれぞれ供給して、第１の表示部２１及び第２の表示部２２に３次元立体画像を表示させる。それにより、表示された画像があたかも奥行や立体感を持つかのように観察者に知覚させることができる。

【0060】

本発明の一実施形態に係る手術支援システムによれば、内視鏡を用いた外科手術において、内視鏡内から見た鮮明な３次元立体画像をヘッドマウントディスプレイ３００に表示させるので、外科医による手術をより安全なものとすることができる。

【0061】

＜手術支援サーバー＞
図４は、図３に示す手術支援サーバーの構成例を示すブロック図である。手術支援サーバー４００は、例えば、手術支援プログラムがインストールされたコンピューターで構成される。

【0062】

図４に示すように、手術支援サーバー４００は、操作部４１０と、表示部４２０と、音声入出力部４３０と、通信回路４４０と、インターフェース４５０と、ＣＰＵ（中央演算装置）４６０と、格納部４７０とを含んでいる。インターフェース４５０～格納部４７０は、バスラインを介して互いに接続されている。なお、図３及び図４に示す構成要素の一部を省略又は変更しても良いし、あるいは、図３及び図４に示す構成要素に他の構成要素を付加しても良い。

【0063】

操作部４１０は、例えば、キーボードやマウス等を含み、各種の命令やデータを手術支援サーバー４００に入力するために用いられる。表示部４２０は、例えば、有機ＥＬディスプレイ又は液晶ディスプレイ等を含み、操作画面等を表示する。音声入出力部４３０は、例えば、マイクロフォン、アンプリファイアー、及び、スピーカー等を含み、音声信号を電気信号に変換したり、又は、電気信号を音声信号に変換したりする。

【0064】

通信回路４４０は、有線通信又は無線通信を行うことにより、ネットワークを介して手術支援ロボット１００又はヘッドマウントディスプレイ３００(図３）等との間でデータ通信を行う。インターフェース４５０は、操作部４１０～通信回路４４０に接続されると共に、それらとＣＰＵ４６０との間で各種の命令やデータを伝達する。ＣＰＵ４６０は、格納部４７０に格納されている各種のソフトウェア（手術支援プログラムを含む）に従って、各種の演算やデータ処理を行う。

【0065】

格納部４７０は、上記のソフトウェアに加えて、電子情報の処理に用いられる各種のデータを格納している。格納部４７０における記録媒体（記憶媒体）としては、内蔵ハードディスク、フレキシブルディスク、光磁気ディスク、磁気テープ、ＲＡＭ（ランダムアクセスメモリー）、ＲＯＭ（リードオンリーメモリー）、ＣＤ－ＲＯＭ、又は、ＤＶＤ－ＲＯＭ等を用いることができる。

【0066】

ここで、ＣＰＵ４６０と格納部４７０に格納されているソフトウェア（手術支援プログラム）とによって、ロボット遠隔操作部４６１と、画像信号管理部４６２と、画像認識処理部４６３とが、機能ブロックとして構成される。

【0067】

ロボット遠隔操作部４６１は、操作部４１０を用いた外科医による操作に従って、手術支援ロボット１００のマニピュレーター１１０(図３）を遠隔操作によって動作させる。画像信号管理部４６２は、エンコーダー２００によって生成される３次元画像信号を格納部４７０に蓄積し、必要に応じて、格納部４７０に保管されている３次元画像信号を読み出して表示部４２０又はヘッドマウントディスプレイ３００(図３）に供給する。

【0068】

画像認識処理部４６３は、必要に応じて、エンコーダー２００によって生成される３次元画像信号によって表される患者の画像において所定の部位又は領域を認識する。画像認識結果は、画像として表示部４２０に表示されたり、又は、音声として音声入出力部４３０から出力されても良い。以下に、画像認識処理部４６３によって行われる画像認識処理の一例について説明する。

【0069】

まず、画像認識処理部４６３は、３次元画像信号によって表される画像（以下においては、「入力画像」ともいう）における人間の部位又は領域等を概略的に検出する。次に、画像認識処理部４６３は、格納部４７０に予め格納されている学習データに基づいて、３次元画像信号に部位認識処理を施すことにより、入力画像における人間の複数の部位又は領域（例えば、右心房、左心房、右心室、左心室）の位置を特定する複数の特徴点を抽出し、それらの特徴点の座標を求める。

【0070】

この部位認識処理においては、対象となる部位又は領域の画像を形状とテクスチャーとに分けて、それらを主成分分析によって次元圧縮することにより、少ないパラメーターで対象の形状の変化とテクスチャーの変化とを表現することが可能となる。それにより、形状及びテクスチャーの情報を、低次元のパラメーターで表現することができる。さらに、対象が、画像中のどこに、どんなサイズで、どんな向きで存在するかという広域的な変化に関するパラメーターが用いられる。

【0071】

画像認識処理部４６３は、それらのパラメーターによって学習データにおける部位又は領域のモデルを局所的及び広域的に変化させて比較画像を生成し、比較画像と入力画像とを比較して、誤差が最小となるようなパラメーターを求める。それにより、画像認識処理部４６３は、入力画像において、学習データに基づいて指定された所定の部位又は領域に対応する部分を認識することができる。

【0072】

また、画像認識処理部４６３は、画像認識結果に基づいて３次元画像信号に画像処理を施すことにより、手術のガイドとなる情報を３次元画像信号に追加しても良い。例えば、３次元画像信号によって表される患者の画像において、手術の対象となる部位又は領域が、輝度を上げたり又は色を変えたりして強調表示される。

【0073】

このように、手術支援プログラムは、エンコーダー２００によって生成される３次元画像信号によって表される患者の画像において所定の部位又は領域を認識する手順（ａ）と、画像認識結果に基づいて３次元画像信号に画像処理を施すことにより、手術のガイドとなる情報を３次元画像信号に追加する手順（ｂ）とをＣＰＵ４６０に実行させる。ＣＰＵ４６０は、画像処理が施された３次元画像信号をヘッドマウントディスプレイ３００に供給する。

【0074】

ヘッドマウントディスプレイ３００は、手術支援サーバー４００のＣＰＵ４６０から供給される３次元画像信号に基づいて３次元立体画像を表示する。ヘッドマウントディスプレイ３００は、手術支援プログラムが記録された記録媒体と共に、手術支援システムとしてユーザーに提供されても良い。そのような記録媒体としては、フレキシブルディスク、光磁気ディスク、磁気テープ、不揮発性メモリー、ＣＤ－ＲＯＭ、又は、ＤＶＤ－ＲＯＭ等を用いることができる。

【0075】

本発明は、以上説明した実施形態に限定されるものではなく、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。

【産業上の利用可能性】

【0076】

本発明は、ヘッドマウントディスプレイ、特に、医療用に用いられるヘッドマウントディスプレイ、及び、そのようなヘッドマウントディスプレイを利用して手術を支援する手術支援システム等において利用することが可能である。

【符号の説明】

【0077】

１０…ヘッドバンド、１１…調節ネジ、２１…第１の表示部、２２…第２の表示部、３０…フレーム、３１…第１の端部、３２…第２の端部、４０…接続ケーブル、５０…ヘッドマウント、５１…第１のアームリンク部、５２…第２のアームリンク部、５３…フレームマウント、５４…第１の調節機構、５５…第２の調節機構、５６…第３の調節機構、６１…第１の凸部、６２…第２の凸部、７１及び７２…キャップ、７２ａ…取付部、７２ｂ…縁部、８０…デコーダー、９０…通信回路、１００…手術支援ロボット、１１０…マニピュレーター、１２１…右撮像素子、１２２…左撮像素子、２００…エンコーダー、３００…ヘッドマウントディスプレイ、４００…手術支援サーバー、４１０…操作部、４２０…表示部、４３０…音声入出力部、４４０…通信回路、４５０…インターフェース、４６０…ＣＰＵ、４６１…ロボット遠隔操作部、４６２…画像信号管理部、４６３…画像認識処理部、４７０…格納部

【図1】

【図2】

【図3】

【図4】