IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ワトソン,ロバート ディー.の特許一覧 ▶ ワトソン,ジェームズ アール.の特許一覧

特許7090247ヘッド装着式可動表示装置を備えた外科手術用立体視覚化システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-16
(45)【発行日】2022-06-24
(54)【発明の名称】ヘッド装着式可動表示装置を備えた外科手術用立体視覚化システム
(51)【国際特許分類】
   G03B 35/08 20210101AFI20220617BHJP
   G02B 21/36 20060101ALI20220617BHJP
   G03B 15/00 20210101ALI20220617BHJP
   G02B 30/00 20200101ALI20220617BHJP
   G02B 27/02 20060101ALI20220617BHJP
   H04N 5/64 20060101ALI20220617BHJP
【FI】
G03B35/08
G02B21/36
G03B15/00 T
G02B30/00
G02B27/02 Z
H04N5/64 511A
【請求項の数】 13
(21)【出願番号】P 2018558308
(86)(22)【出願日】2017-05-05
(65)【公表番号】
(43)【公表日】2019-06-13
(86)【国際出願番号】 US2017031306
(87)【国際公開番号】W WO2017192996
(87)【国際公開日】2017-11-09
【審査請求日】2020-04-16
(31)【優先権主張番号】62/332,453
(32)【優先日】2016-05-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/332,454
(32)【優先日】2016-05-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518388085
【氏名又は名称】ワトソン,ロバート ディー.
【氏名又は名称原語表記】WATSON,Robert D.
【住所又は居所原語表記】2553 Carpenter Street,Thousand Oaks,CA 91362 USA
(73)【特許権者】
【識別番号】518388096
【氏名又は名称】ワトソン,ジェームズ アール.
【氏名又は名称原語表記】WATSON,James R.
【住所又は居所原語表記】2553 Carpenter Street,Thousand Oaks,CA 91362 USA
(74)【代理人】
【識別番号】100079980
【弁理士】
【氏名又は名称】飯田 伸行
(74)【代理人】
【識別番号】100167139
【弁理士】
【氏名又は名称】飯田 和彦
(72)【発明者】
【氏名】ワトソン,ロバート ディー.
(72)【発明者】
【氏名】ワトソン,ジェームズ アール.
【審査官】越河 勉
(56)【参考文献】
【文献】米国特許出願公開第2007/0188603(US,A1)
【文献】特開2013-200325(JP,A)
【文献】国際公開第2014/037953(WO,A2)
(58)【調査した分野】(Int.Cl.,DB名)
G03B 35/08
G02B 21/36
G03B 15/00
G02B 30/00
G02B 27/02
H04N 5/64
(57)【特許請求の範囲】
【請求項1】
顕微鏡ヘッド、
離間配置した高速高解像度のデュアルカメラであって、手術野における被手術者をリアルタイムにビデオ撮像する前記顕微鏡ヘッドに、あるいはこのヘッドに近接して取り付けられたデュアルカメラ、
前記デュアルカメラからの高解像度ビデオストリームを受信かつ処理するビデオ処理および表示システムであって、前記被手術者の前記リアルタイムな前記ビデオ撮像から得られる立体ビデオストリーム信号をビデオプロセッサーで出力および伝送するリアルタイムビデオ処理によって前記カメラからのそれぞれ前記ビデオストリームを時間整合立体画像に結合するビデオ処理および表示システム、
立体表示装置、および
可動するヘッド装着式であり高解像度で表示するための一つかそれ以上の前記立体表示装置であって、低い観察位置において立体表示スクリーンに表示された電子的に発生した画像を選択的に観察できるか、あるいは高い観察位置において装着者が手術部位を直視観察できる前記立体表示装置、
を有し、そして
前記立体表示スクリーンは前記装着者の両眼の前に配置し、且つ、前記高い観察位置および前記低い観察位置を提供するための両側のピボット点(B)と前記立体表示スクリーンとの間に前記装着者の前記両眼が位置付けられることを特徴とする外科手術用立体視覚化システム。
【請求項2】
前記のリアルタイムビデオ処理が時間整合立体画像の再構成、色補正、立体整合、視覚情報のオーバーレイのうちの一つかそれ以上を有し、個別にあるいは任意の組み合わせにおいて拡張された視覚的リアリティを創出する請求項1に記載の外科手術用立体視覚化システム。
【請求項3】
前記へッド装着式の前記立体表示装置それぞれが、近接光学レンズ装置に結合した小型の高解像度高速表示装置を有する請求項1に記載の外科手術用立体視覚化システム。
【請求項4】
前記ビデオストリームの各チャネルを前記ヘッド装着式の前記立体表示装置の他とは区別しやすい部分を表示し、立体的な視覚分離を実現する請求項3に記載の外科手術用立体視覚化システム。
【請求項5】
表示パネルおよびレンズ装置それぞれを半開放式方法で製造し、拡大視野および未拡大視野両者の同時観察を容易にしてハンド/アイコーディネーションを拡張する請求項4に記載の外科手術用立体視覚化システム。
【請求項6】
装着者の頭頂部に位置する頭頂部バンドおよびこの頭頂部バンドに旋回自在に結合され、装着者の前頭部を横断して前頭部に装着する前頭部分を有する頭骨周囲バンドを有する調節可能なヘッドバンド装置、
前記頭骨周囲バンドの前頭部分に設けられる取り付け用表示調節構造体、
前記頭骨周囲バンドの前記前頭部分において前記取り付け用表示調節構造体に結合される少なくとも一つの視覚表示装置、
顕微鏡ヘッド、
離間配置の高速高解像度のデュアルカメラであって、手術野における被手術者拡大画像をリアルタイムにビデオ撮像する前記顕微鏡ヘッドに、あるいはこのヘッドに近接して取り付けられたカメラ、
前記カメラからの高解像度ビデオストリームを受信かつ処理するビデオ処理システムであって、前記視覚表示装置に結合して、拡大および処理画像の立体表示を提供する前記ビデオ処理システム、
を備え、
前記装着者の両目の正面の位置あるいは前記両目の上方の位置であって、前記装着者の前記両目から離れた前記位置に配置するために、前記装着者が前記ヘッドバンド装置の両側面に取り付けたピボット点(B)を中心に旋回させて前記視覚表示装置を選択的に上下動させることができる外科手術用立体視覚化システムにおいて、
前記装着者の前記両目が前記視覚表示装置と前記ピボット点(B)との間に位置付けられることを特徴とする外科手術用立体視覚化システム。
【請求項7】
さらに、装着者の両目正面の位置、あるいは両目の上であって離れた位置に前記視覚表示装置を選択的に移動させる電気機械式調節システムを有する請求項6に記載のシステム。
【請求項8】
前記電気機械式調節システムが、前記ヘッドバンド装置に設けられたモーター制御装置を有する請求項7に記載のシステム。
【請求項9】
前記電気機械式調節システムが、前記装着者の身体上または付近に設けることができるように前記ヘッドバンド装置から離間したモーター制御装置を有する請求項7に記載のシステム。
【請求項10】
前記電気機械式調節システムが、前記装着者の身体以外の場所に設けることができるように前記ヘッドバンド装置から離間したモーター制御装置を有する請求項7に記載のシステム。
【請求項11】
前記電気機械式調節システムが、音声作動モーター制御装置を有する請求項7に記載のシステム。
【請求項12】
さらに、前記視覚表示装置を取り付けた前記調節可能なヘッドバンド装置に設けられた電子装置に電気的に接続された電池電源を有する請求項6に記載のシステム。
【請求項13】
照明システムが装着者の顔面の前方にある物体および事象を照明している状態で、装着者が両手で処置することを可能にする照明システムをさらに有する請求項6に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は全体としては外科手術用視覚システムおよび方法に関し、より具体的にはミクロレベルの外科手術を対象とした手術視野の直接ヘッド装着式立体視覚化を実施する外科手術用立体視覚システムおよび方法に関する。本システムは、ヘッド装着表示装置に拡張リアルタイム処理立体画像を表示するシステムである。本システムにはさらに表示装置として、装着者が視線から表示スクリーンを素早く引き離し、つぎに引き戻すことが可能なヘッド装着式可動立体表示装置を組み込む。
【背景技術】
【0002】
ミクロレベルの外科手術の場合、手術野の歪みのない拡大立体表示が必要である。手術用ルーペ、手術用光顕微鏡(SLM)やデジタル立体顕微鏡(DSM)におけるSLMの実施によってこのような手術野の表示が得られる。図1は、従来のSLM/DSMシステム10を例示する概略図である。
【0003】
SLMの場合、拡大、作動距離設定および歪み補正を行う多数の光学素子を有する。SLMは手術野16内の患者からの光14を集光する対物レンズ12、患者を観察する一対の接眼レンズ18、および拡大および歪み補正によって表示を拡張する多数の光学素子20を有する。SLMは歪み、短い作動距離、狭い視野や明るさに関する問題に対処することによって古典的なダブルバレル型双眼顕微鏡を改善するものである。倍率を高くするためには、対物レンズを変えるか、ズームレンズ系22を動かせばよい。一対の接眼レンズ18が左右の眼に対して視差をもつ表示を与える。SLMの場合、ヒトの視覚系に対する距離知覚をもつ立体表示像が直ちに得られる。
【0004】
DSM(デジタル立体顕微鏡)の場合、SLM光学構成素子と同じ素子を利用するが、接眼レンズの代わりにビデオ撮像素子(例えばカメラなど)24a、24bを使用して遠隔モニターに表示するか、デジタル記録を行う。SLM、DSMや手術用ルーペなどの補助装置を介して手術野を得ているため、術者が手術野にある患者などに両手でミクロレベルの手術操作を行うことができ、適宜手術野を一人かそれ以上の協力者と共有できる。
【0005】
現在のSLMの場合、複数の関節式立体接眼レンズを使用するため、システムを使用する主外科医および助手が手術野を同時に視覚化できる。手術時には、顕微鏡ヘッド26を可能な限り最上の視覚化を実現できるように手術領域に設定するが、手術領域に直接物理的にアクセスする必要があり、また外科医および助手が接眼レンズによって手術野を物理的に観察できなければならないため、この設定には制限が生じる。観察者のヘッドと接眼レンズとの位置関係が適切でない場合、適正な立体像に瑕疵が現れる傾向がある。さらに、外科医への表示が最大化するように手術顕微鏡を物理的に設定すると、助手への表示が最適な表示にならないことが多い。これは、一般に両者が手術顕微鏡ヘッドの両側に位置する結果として、観察像が逆になるからである。さらに、手術が何時間も続くと、立体顕微鏡の接眼レンズによって手術野を可視化するための外科医および助手が違和感のある無理な体勢をとり続けなければならず、疲労につながり、手技が適正以下レベルになる上に手術時間もかなり長くなる。
【0006】
DSMにデジタルカメラ24a、24bおよびビデオプロセッサー28を組み込んでいるため、手術視野表示のオプションが広がる。現在のDSMの場合、3D対応テレビまたはスクリーン30を使用し、3Dコンテンツを観察する特別なメガネを併用することもあり、また併用しないこともある。ところが、この表示方法にはいくつかの欠陥があり、術中に使用するための理想的な方法ではない。例えば、アクティブシャッターメガネ(あるいはフレームシーケンスメガネ)を併用しない3D画像を表示するビデオスクリーンの場合には色ずれや被写界深度の歪みが発生する。シャッターメガネを使用した場合ですら、手術野へのアクセスを容易にするためにビデオスクリーンを手術野から離れた位置に設ける必要がある。ヘッドに一定の動きがあると、ハンド/アイコーディネーションが失われるため、複雑な両手処置時に必要な拡大/未拡大手術野を同時に視覚化することができない。
【0007】
ヘッド装着表示装置の場合、問題解決の方向に身振りで示すが、一般に広く利用されているヘッド装着表示装置(head mounted display:HMD)についていえば、一般に装着者の仮想現実体験を拡張し、かつ装着者の目をカプセル化するように装着されているに過ぎない。ヘッド装着表示装置それ自体は一般に“常に動いている”状態で使用され、イベント(ゲームなど)の終了時にのみ手動で取り外すようになっている。即ち、HMDは表示コンテンツを観察している状態から“現実の”視野を直接観察する状態に直ちに切り替えるようにはなっていない。エンターテイメントの場合にはこれでよいが、装着者が表示スクリーンを視線に簡単かつ正確に合わせかつ外す場合に対処できず、これが手術室で手術中の多くの外科医が直面している課題である。
【0008】
両手で作業を行う執刀者には、近接視野から直ちに周囲視野に切り替える能力が必要な場合が多くある。患者の手術部位を顕微鏡で拡張観察する外科医にとって患者のバイタルサインに留意し、CT画像を参照するか、あるいは(口頭/非口頭で)手術室内の他のスタッフと連絡し合うことが必要なことがしばしば起きる。また、外科手術時には外科医が滅菌されていないものに触れることを防止するために滅菌状態を維持する必要がある。このような特別な状態では、表示スクリーンを装着者の目の前から外に出す“ハンズフリー(手を使用しない)”な方法が必要であり、また表示スクリーンを元の観察位置に正確に戻すことができることも必要である。他の実例には顕微鏡手術、顕微鏡装置、歯科手術、没入型バーチャルリアリティゲームなどがあり、いずれも本発明の可動表示システムから大きな作用効果を得ることができると考えられる。
【0009】
上記特許技術は、本発明者が認識している技術の現状を反映するものである。これら特許技術の説明は、本願特許請求の範囲の審査に関連する可能性がある情報の開示を誠実に遂行する本出願人の認識義務を果たすことを意図している。ただし、上記の特許技術はいずれも単独でみた場合にも、あるいは組み合わせた場合にも本明細書に記載しかつ特許請求の範囲に記載した発明を開示、教示、示唆、呈示するものではなく、その他の点でも本発明を自明にするものでのない。
【発明の概要】
【0010】
本発明は、主視覚化装置としての顕微鏡ヘッドの立体接眼装置の代わりに迅速移動可能なヘッド装着式表示装置を備えた軽量の高解像度でヘッド装着式の立体視覚表示装置を使用するものである。以下の簡潔な要約は本発明のより重要な特徴に明白な説明を与えるもので、以下の詳細な説明および本発明の従来技術よりもすぐれた作用効果を容易に理解できるはずである。
【0011】
本発明の外科手術用立体視覚化システムの第1目的および作用効果によれば、本発明は外科医または外科医助手の物理的位置に関係なく立体顕微鏡ヘッドの最適な位置調整を容易にする新規かつ改良外科手術用立体視覚化システムを提供するものである。
【0012】
本発明の第2の目的および作用効果は、外科医および外科医助手が必要な外科手術用顕微鏡に物理的に近接する必要性を取り除くことにある。
【0013】
本発明の第3の目的および作用効果は、一定の立体画像を保証し、これによって外科医および助手が違和感のない、ヘッド中立位置で手術部位を観察できることにある。
【0014】
本発明の第4の目的および作用効果は、立体ヘッド装着式表示装置を利用することによって整合した合焦立体ビデオ画像を実現することにある。
【0015】
一つの実施態様、およびその本質的な態様によれば、本発明の外科手術用立体視覚化システムは顕微鏡ヘッドを有する外科手術用立体視覚化システム、手術野における被手術者をリアルタイムにビデオ撮像する上記顕微鏡ヘッドに、あるいはこのヘッドに近接して取り付けられたデュアルカメラ、および上記カメラからの高解像度ビデオストリームを受信かつ処理するビデオ処理/表示システムであって、このリアルタイムビデオ処理によって上記カメラからの個別のビデオストリームを時間整合立体画像に結合するビデオ処理/表示システムを有する。処理した画像については、少なくとも一つの移動可能なヘッド装着式立体表示装置におけるマトリックス表示スクリーンに表示する。ヘッド装着式表示装置の操作については、表示スクリーンを装着者の目の正面に正確に位置調整できるが、手動か、あるいはモーター式手段のいずれかによって装着者の視線内に入るか視線外に出るように表示スクリーンを正確に操作することによって外科手術室において手術を行っている状態で両手を支障なく使用できるヘッドバンドの支持構造体によって実現する。
【0016】
本発明によれば、表示スクリーンを正確に操作して、手動か、あるいは電気機械的手段のいずれかを使用する表示スクリーンを装着者の視線内外に出し入れする問題も解決できる。小型の電気機械的構成要素の近年の技術的進歩によって表示スクリーンを正確に操作し、かつこれを元の位置に戻すために必要な正確な動きを制御することが可能になってきている。電気機械的方法では、使用者が作動する遠隔スイッチを使用して表示スクリーンを必要に応じて上下動する。この遠隔スイッチについては、滅菌バリヤで被覆するか、あるいは使用者の手以外の何か(臀部、肘など)によって作動できるか、滅菌野の外側にある別なスタッフによって作動できる使用者の位置に設けることができる。
【0017】
即ち、本発明の第5の目的および作用効果によれば、手動によって作動し、かつ表示スクリーンを上下のいずれかの位置に移動しかつ固定する制御された位置調整/ロック操作が確実な機構を提供できる。この態様は、ミクロレベルの手術を行う外科医にとって有利である。
【0018】
本発明の第6の目的および作用効果によれば、電気機械的に再配置され、遠隔スイッチによって作動するヘッド装着式表示スクリーンを提供できる。この方法では、制御された位置調整および高低のいずれかの位置への確実なロックを実現できる。
【0019】
本発明の第7の目的および作用効果によれば、別な電気機械的方法によって再配置され、遠隔スイッチによって作動するヘッド装着式表示スクリーンを提供できる。停電の場合に対処する安全措置には、停電の場合に高低のいずれかの位置に表示スクリーンを位置調整する制御システムを組み込む。緊急時には、完全に取り外すことが望ましい。
【0020】
本発明の第8の目的および作用効果によれば、表示スクリーンの重量バランスを取り、バランスが悪く、前方に重量がかかる表示スクリーン装置を原因とする装着者頭部の移動時に生じる装着者の疲労および方向感覚喪失を抑制する方法を提供できる。
【0021】
リストを終わらせるわけではないが、本発明の第9の目的および作用効果によれば、装着者の各種の(解剖学的)構造にフィットするように調節できるヘッド装着式表示スクリーンを提供できる。
【0022】
一つの実施態様では、上記目的および作用効果は、装着者に画像を表示する表示スクリーンであって、装着者の目の正面に位置調整され、かつ最も高い位置、装着者の視線から外れた位置、あるいはスクリーンと装着者の視線が整合する低い位置を始めとする各種位置に手動で位置調整する表示スクリーンを有するヘッド装着式表示装置の提供によって達成できる。
【0023】
別な実施態様では、上記目的および作用効果は、装着者に画像を表示する表示スクリーンであって、装着者の目の正面に位置調整され、かつ表示スクリーン装置の動作を開始する遠隔スイッチを使用して、最も高い位置、装着者の視線から外れた位置、あるいはスクリーンと装着者の視線が整合する低い位置を始めとする各種位置に電気機械的に位置調整する表示スクリーンを有するヘッド装着式表示装置の提供によって達成できる。
【0024】
操作構成および操作方法に関して、本発明の上記以外の新規な特性は他の目的および作用効果とともに、添付図面を参照する以下の説明からより良く理解できるはずである。添付図面は例示を目的として本発明の好ましい実施態様を示すものである。なお、添付図面は例示のみを目的とし、本発明の限定事項を定義するものではないことを明言しておく。本発明を特徴づける新規性の各種特徴については、本明細書の一部を構成する特許請求の範囲に特定記載する通りである。本発明は、これら特徴のそれぞれにあるのではなく、記載する機能のすべての構造の具体的な組み合わせにある。
【図面の簡単な説明】
【0025】
以下の詳細な説明によって本発明が明らかになるはずであり、また上記目的以外の目的も明らかになるはずである。以下の説明については添付図面を参照してこれを行う。
【0026】
図1図1は、従来の外科手術用光学顕微鏡/デジタル立体顕微鏡を示す概略図である。
図2図2は、本発明の外科手術用立体視覚化装置を示す概略図である。
図3図3Aは、本発明の表示パネルの一実施態様、即ちLCDメガネとしての調節可能ヘッド装着表示パネルを示す下部右側後部斜視図である。図3Bは、LCDメガネの上部左側後部斜視図である。
図4図4は、顕微鏡ルーペまたは照明システムを取り付けるために使用する一般的な調節可能なヘッドバンドを示す上部左側後部斜視図である。
図5図5は、照明システムおよび電源ケーブルまたは光ファイバーケーブルを取り付けた、図4のヘッドバンドを示す右側斜視図である。
図6図6Aは、本明細書に記載する表示装置の動きに適用可能なx-y軸座標の定義を示す概略図である。図6Bは、本明細書に記載する表示装置の実施態様の回転方向の定義を示す概略図である。
図7図7は、発明の詳細な説明の欄で使用する位置参照点(A、B、CおよびD)を特定かつ定義する右側斜視図である。
図8図8は、図7に定義を示したピボット点(B)が表示スクリーンの上部高さ、即ち表示スクリーンの高さよりも上にあってもよく、あるいはこの高さと水平方向に一致してもよく、あるいはこの高さより低くてもよいことを示す同じ図である。
図9図9は、表示スクリーンの装着者の目に対する各方位を示す同じ図である。
図10図10は、外科手術用立体視覚化システムと併用する本発明ヘッド装着表示装置の一実施態様であって、垂直方位のスライドトラックまたは案内トラックを使用する一実施態様を示す上部正面右側斜視図である。図10Aは、図10の案内トラックを示す詳細な上面図である。
図11図11は、接続点を利用して、表示スクリーン装置を高い位置に保持しロックする本発明のヘッド装着式表示装置の別な実施態様を示す上部正面右側斜視図である。図11Aは、スライドトラックおよび接続点を示す詳細な上面図である。
図12図12は、表示スクリーンを移動させるバネ作動装置を繰り返し使用した、ヘッド装着表示装置のさらに別な実施態様を示す上部正面右側斜視図である。図12Aは、図12の断面線12A-12Aにそって見た詳細な側面図である。
図13図13は、ヘッドバンド装置に取り付けられ、繰り返し手動旋回し、かつ磁石を利用して表示装置を高い位置に固定する可動表示スクリーンのさらに別な実施態様を示す上部正面右側斜視図である。図13Aは、可動表示装置を移動しかつ固定する旋回自在な機械/磁性装置の細部を示す側面図である。
図14図14Aは、表示スクリーンを回転させる電気機械的な操作機構を組み込んだ、ヘッドバンド装置に取り付けられた表示スクリーンのさらに別な実施態様を示す上部正面右側斜視図である。図14Bは、表示スクリーンを高い位置および低い位置に旋回自在に操作する別な電気機械的機構を示す上部正面右側斜視図である。
図15図15は、表示スクリーンを高い位置に機械的に旋回させ、その位置に固定する磁性装置のさらに別な実施態様を示す上部正面右側斜視図である。図15Aは、横断線15A-15Aにそって見た図15の機構を示す側面図である。
図16図16は、図16Aおよび図16Bに図示するように、テンプル部先端においてピボット点を中心にしてテンプル部および表示スクリーンをCCW/CW旋回させる各種の電気機械的手段をどのようにヘッドバンドを変更して取り付けるかを示す図であって、ヘッド装着式表示装置がテンプル部先端で旋回する実施態様を示す上部正面右側斜視図である。図16Aは、ピボット点を中心として旋回動作を作動させるモーター駆動式ケーブル/ウィンチ機構を示す上部正面右側斜視図である。図16Bは、モーター駆動式ラック/ピニオンギア装置を同様にどのように使用するかを示す同じ図である。
図17図17は、テンプル部先端においてピボット点を中心としてテンプル部および表示スクリーンがどのようにCW/CCW旋回動作するかを示す同じく上部正面右側斜視図である。図17Aは、ウォームギアおよびピボットギアに係合し、テンプル部先端ピボットポイントBを中心として側部支持構造部(即ちテンプル部)および表示スクリーンを回転させる可撓性の単式(single)または複式(dual)駆動シャフトを示す上部右側正面斜視図である。
図18図18は同じく、x-軸にそってテンプル部に対して移動するスライディングキャリッジに取り付けた表示スクリーンを使用してテンプル部先端においてテンプル部および表示スクリーンをどのようにCW/CCW旋回動作させるか示し、かつテンプル部先端ピボット点を中心としてテンプル部および表示スクリーンがどのように旋回動作するかを示す上部正面右側斜視図である。
図19図19は、ヘッドバンド装置にキャリッジトラックを有する移動キャリッジにおける表示スクリーン作動を示す別な実施態様であって、既に図示した多数の好適な電気機械的手段によって作動を行う実施態様を示す上部右側正面斜視図である。
図20図20は、図16Aおよび図16Bに示すように、各種の電気機械的手段を取り付け、テンプル部先端においてピボット点を中心としてテンプル部および表示スクリーンをCCW/CW旋回させる一部変更ヘッドバンドであって、ヘッド装着式表示装置がテンプル部先端において旋回するヘッドバンドを示す同じような上部正面右側斜視図である。図20Aは、ネジシャフトを拘束されたナットによって回転させるモーターを使用してテンプル部先端のピボット点を中心として表示装置を旋回させる電気機械的手段を示す同じ図である。図20Bは、メネジギアを回転させ、表示スクリーンの開口を通る拘束されたネジシャフト上を進むモーター/ピニオンギア装置を示す同じ図である。
図21図21は、テンプル部先端のピボット点を中心として表示スクリーンを旋回させ、これを上下動させるさらに別な電気機械的手段を示す上部右側正面斜視図である。図21Aは、図21の切断線21A-21Aにそって見た詳細な斜視図である。
図22図22は、表示スクリーンの重量バランスを取り、装着者の頭部が動く時の装着者の疲労および方向感覚喪失を抑制するヘッドバンド/表示スクリーン構成を示す上部右側正面斜視図である。図22Aは、ピボット点およびテンプル部先端から後方に突き出るバランス調節アームおよびバランス調節ウェイトを有するバランス調節構成の実施態様を示す側面図である。
図23図23Aは、伸縮テンプル部を有するヘッドバンド/表示スクリーン装置を示す上部右側正面斜視図である。図23Bは、伸縮テンプル部の一実施態様を示す切断線23B/C-23B/Cにそって見た詳細図である。図23Cは、伸縮テンプル部の別な実施態様を示す切断線23B/C-23B/Cにそって見た詳細図である。
【発明を実施するための形態】
【0027】
図2を参照して説明する。本発明の立体視覚化システム50は、外科手術時の顕微鏡ヘッド52の最適な位置に対する物理的な障害物を取り除くものである。手術用ヘッド接眼レンズの代わりに、高速高解像度のデュアルカメラ54、56を使用して、リアルタイムビデオ撮像を行う。図2に、本システムのビデオ処理および表示処理を示す。高解像度ビデオストリーム58、60を中心に位置するリアルタイムビデオ処理システム62によって処理する。手術野のリアルタイムビデオ処理によって、個別のビデオストリームを時間整合立体画像に結合することができる。時間整合立体画像64の再生、色補正66および立体整合68を始めとする入力ビデオストリームのビデオ処理時、立体ビデオストリームに付加的な視覚情報をオーバーレイし(重ね)、拡張ビジュアルリアリティ70を表示することもできる。
【0028】
ビデオ処理終了後、ビデオ処理システム62が、表示装置に結合された立体ビデオストリーム信号72を出力しかつ伝送する。表示装置については、ビデオ処理システムに有線接続または無線接続することができ、後者の結合は多数の好適な無線LAN通信プロトコル、好ましくはすペクトラム拡散技術を使用して行うことができる。有線接続は、非外科スタッフのための中央立体表示装置(図示省略)に処理ビデオストリームを表示するために好ましく、無線信号は少なくとも担当外科医、助手、および外科手術で患者に能動的に関与する他のスタッフのための複数の高解像度ヘッド装着式表示装置74a、74bに伝送するために好ましい。
【0029】
各ヘッド装着式表示装置74a、74b(および以降を参照)は小型の高解像度/高速表示装置76からなり、これに観察者の瞳に画像を正しく合焦する近接光学レンズ装置78を結合する。立体ビデオストリームの各チャネルを表示装置の異なる部分に表示し、立体視覚分離を実現する。本発明システムに搭載するために好適な新規ヘッド装着式表示装置は“Movable Head Mounted Display System”を発明の名称とし、本願出願日と同じ出願日をもち、本願発明者と同じ発明者の米国仮特許出願第62/332,453号に記載されている。この仮特許出願についてはここに援用するものとする。
【0030】
図3Aおよび図3Bに、拡大視野および未拡大視野の両者の同時観察を容易にし、手と目の協調(ハンド/アイコーディネーション)を拡張する半開放的に製造した表示パネル/レンズ装置74を示す。
【0031】
以下、本発明に使用するヘッド装着式表示装置の実施態様を詳細に説明する。明細書全体を通して一般的な用語“モーター”を使用するが、本明細書に記載している通り、この用語は限定するわけではないが、DCモーター、減速ギアヘッド、ギアモーター、遊星モーター、サーボモーターやステッパーモーターなどの互換性のあるモーターを指す。同様に、一般的な用語“スイッチ”は明細書全体を通してモメンタリースイッチ、トグルスイッチ、接触スイッチ、タッチパッドスイッチ、音声作動式スイッチなどの互換性のあるスイッチを指す。
【0032】
一般的な用語“ギア”も限定するわけではないが、明細書全体を通して平ギア、螺旋ギア、ベベルギア、ラック/ピニオンギア、ウォームギアなどの互換性のあるギアを指す。
【0033】
次に図4図23Cについて説明する。なお、同じ参照符号は各図面において同じ構成要素を指す。図示するものは新規かつ改良ヘッド装着式表示スクリーン(HMD)140である。
【0034】
電気機械システムの電気制御素子(スイッチ、ボタンなど)は、目的の構成に応じていくつかの場所に配置できる。(制限するわけではないが)代表的な位置はヘッドバンド装置100、装着者の腕の内側にあるストラップ、装着者臀部のベルト、装着者の外部(別な者による作動)である。音声作動式インターフェースも物理的スイッチの代わりに使用することができる。
【0035】
電源(電池または公共電気)およびケーブル配線方法は、目的の構成に応じて変更できる。電源電池はヘッドバンド、ベルトに設けてもよく、あるいは装着者から離れた外部にあってもよく、ケーブル配線によって電気機械構成要素に接続すればよい。装着者の疲労を最大限抑制するためには、システム重量はできるだけ軽量化すればよい。従って、電源および制御システムはベルトパック内に設け、軽量のケーブルをヘッドバンド装置100の背部に接続する。これもまた表示スクリーン142の軽量化に役立つ。
【0036】
本明細書全体を通して説明するモーションコントロール方法は、制限するわけではないが、プログラマブルロジックコントローラ(PLC)、シングルボードコンピュータ(SBC)や遠隔コンピュータサーバーのPCなどの各種の電子プログラマブル装置をベースに構築すればよい。さらに、単純なリミットスイッチや手動回転式モーター反転スイッチも使用でき、あるいはこれらを併用した手動モーションコントロールでもよい。モーターについては、エンコーダーの位置調整、リミットスイッチおよび/またはPLCプログラミングによって同期すればよい。
【0037】
図4は、外科手術に使用する顕微鏡ルーペまたは照明システムを取り付けるために使用する一般的な調節可能なヘッドバンド装置100を示す図である。ヘッドバンド装置100はいくつかの構成素子、即ちトップバンド104に設けられるトップパッド102、前頭部バンド108に設けられる前頭部パッド106、後頭部バンド112に設けられる後頭部パッド110、および後頭部ストラップの中心に、あるいは中心付近に設けられる後頭部バンド調節ノブ114(図4には図示していない)およびトップバンドの中心に、あるいは中心付近に設けられるトップバンド調節ノブ116などの2つの回転調節ノブを有する。これら回転調節ノブは、よく知られている方法で、ヘッドバンドの長さを加減し、個々の装着者の頭部サイズにジャストフィットさせるものである。
【0038】
図5は、病院の手術室における手術時に一般的に使用されているように、照明システム120および電源ケーブルまたは光ファイバーケーブル122を取り付けた状態のヘッドバンド装置100を示す図である。ヘッドバンド装置100および照明システム120があるため、前頭部バンド108に軸着されたランプ124が直前の領域を照明している状態で、術者が両手を使うことが可能になる。手術時に両手を滅菌フィールド内に保持することは、患者の安全性を維持しかつ感染を防止するために特に重要である。
【0039】
図6Aは本明細書に記載する表示装置モーションに適用可能なx-y軸座標126(専門用語)の定義を示す図であり、そして図6Bは本明細書に記載する表示装置の時計方向/反時計方向(CW/CCW)回転の軸座標128の方向を定義する図である。
【0040】
図7は、明細書本体における構造的位置を確認するために本明細書で様々に使用される位置参照点(A、B、CおよびD)の定義を示す図である。なお例示のみを目的とするため、表示スクリーン142には装置に組み込んだ付加的な構成要素、例えば一般的に手術室環境内に存在すると考えられる周囲の観察ガード(スクリーニングスカート)、集積回路板、取り付けボード、側面支持構造部やケーブルなどは図示していない。
【0041】
図8は、旋回(pivoting)式ヘッド装着表示装置140を備えたヘッドバンド装置を示す図で、表示装置が観察位置にある場合ピボット点Bは表示スクリーンの上縁部、即ち表示スクリーンの高さ144より上にあってもよく、あるいはこの高さと水平方向に一致していてもよく、あるいはこの高さより下にあってもよいことを示す。ピボット点Bについては、利用する機械的装置またはシステムに応じてヘッドバンドの任意の位置に設定可能である。
【0042】
図9は、表示スクリーンの装着者の目に対する各種方位を示す図である。スクリーンの方位は、装着者の視線に対して全体として垂直であってもよく、あるいは垂直でなくてもよい。目の疲れや視覚的に散漫になることを抑制するため、角度を多少下向きにして観察を行うことが好ましい。
【0043】
図10は、ヘッドバンド装置100、表示スクリーン142を有するヘッド装着式表示装置140、側部支持構造体(またはテンプル部)146、テンプル部先端148に設けたピボット点B、および前頭部バンド108に取り付けられ、そしてヘッドバンド装置の正面で前頭部バンドに一体化する垂直方位タブ108aにおいて垂直上方に延在するT字形案内トラック152を有する、本発明立体視覚化システムに使用するヘッド装着式可動表示装置の一実施態様150を示す図である。ヘッド装着式表示装置140は案内トラック152を収容するT字形スロット154を有し、表示スクリーンが手動で上下する間これの経路を制御する。図10Aは、T字形案内トラックおよびT字形スロット154の詳細な上面図である。
【0044】
図11および詳細な図である図11Aに、ヘッドバンド装置100、表示スクリーン142、テンプル部146、テンプル部先端148のピボット点B、I字形トラック162、および上部接続点164を有し、バネ作動クリップ機構166によって表示スクリーン装置を保持しロックするヘッド装着式表示装置の一実施態様160を示す。
【0045】
図12および詳細な図である図12Aに、本発明の視覚化システムに使用するヘッド装式可動着表示装置のさらに別な実施態様170を示す。この実施態様の場合、タブ108aのアンカー174、176および表示スクリーン142の上縁部178に接続した螺旋戻しバネ172を利用する。図10および図10Aに示した実施態様に関して説明したようにここでもT字形案内トラック180を使用する。本実施態様を使用するさいには、装着者がバネ作動クリップ機構182を引っ張るか、押すか、あるいは強く握ることによってこれを解放し、バネの助けを借りて表示スクリーン142をT字形案内トラックの上端に移す。装着者が表示スクリーンを目の前に再位置決めする必要がある場合には、表示スクリーンを把持し、案内トラックの下端のロック位置に戻す。図12Aに、ピボット点Bに設けることができる戻しバネ184を示す。
【0046】
図13に、ヘッドバンド装置100に取り付けた表示スクリーン142を有するヘッド装着式表示装置140の別な実施態様190を示す。図示のように、表示スクリーン142はヘッドバンド装置100の前頭部バンド108に固定した取り付けブラケット192に旋回自在に取り付ける。表示スクリーンについては、ピボット点Cを中心として手動CCW/CW旋回し、表示スクリーンの上部に設けたバー198の第2磁石196に磁気結合する垂直タブ108aの第1磁石194によって高い位置に固定されていればよい。装着者は、表示スクリーンを所定位置に引っ張り戻すだけでこれを高い位置から解放できる。さらに別な磁石を付加して表示スクリーンを低い位置に固定することができる。図13Aは実施態様190の側面図である。
【0047】
図14Aに、ヘッドバンド装置100、このヘッドバンド装置に取り付けた表示スクリーン142、およびタブ108aに取り付けられピボット点Cにおいて表示スクリーン142CCW/CWを回転させるモーターを有する別な実施態様200を示す。表示スクリーン142の上部に取り付けたレバーリッジ202については、リンク機構204によってリンクディスクまたはプーリー208を介してモーター206に接続する。回転して表示スクリーン142を上下動させるモーター206をヘッドバンド装置100の前頭部バンド108の垂直タブ108aに取り付ける。
【0048】
この動作を実現する他の多くの機械的方法もある。図14Bに一例を示すように、ギア列は多数の連動連結モーター従動ギアまたはプーリー210、212、214、216、218、およびピボット点Cを中心として表示スクリーン142を回転させるギアシャフト220を有する。
【0049】
図15に、ヘッド装着式表示装置が手動でピボット点Bにおいて旋回し、磁石232、234を使用して表示スクリーンを高い位置に固定する実施態様230を示す。装着者は表示スクリーンを所定位置に引っ張り戻す。さらに別な磁石を付加して表示スクリーンを低い位置に固定することができる。こめかみ中央のヒンジ点を追加することにより、スクリーンを動かしながら、さらに顔貌の隙間を設けるようにすることができる。図15Aは実施態様230の側面図である。
【0050】
図16に、図16Aおよび図16Bに示すように作動するモーター動作のヘッド装着式表示装置およびヘッドバンド装置を示す。図16Aには、テンプル部146がピボット点Bを中心としてCCW/CW回転している間に表示スクリーンを上下動させる電気機械的実施態様240を示す。モーター246によって駆動されるウィンチドラム244にかけられたケーブル242によって表示スクリーン142を上下動する。ケーブル242については、アンカー点248においてタブ108aに接続する。既に説明した適宜使用する戻しバネを(図15に示すように)ピボット点Bに組み込み、ケーブルに一定の張力を与えることができる。図16Bに、テンプル部がピボット点Bを中心としてCCW/CW回転している間に表示スクリーン142を上下動させる電気機械的実施態様250を示す。ヘッドバンド装置100の前頭部バンド108のタブ108aに取り付けられたラック252が、スライディングラックアーム258によって拘束されている状態でモーター256に取り付けられたピニオンギア254に係合し、モーター14の駆動時ラック21に従動し、表示スクリーン4が上下動する。
【0051】
同様に図17に、ピボット点Bにおいてモーターによる旋回動作を行うヘッドバンド装置およびヘッド装着式表示装置を示す。図17Aに、ヘッドバンド装置100に取り付けられた一つか二つのモーター262、および側面支持構造体(テンプル部)146をピボット点Bの周囲においてCCW/CW回転させる可撓性の単駆動シャフトまたはデュアル駆動シャフト264、ウォームギア266およびピボットギア268を有する一実施態様を示す。モーター/ギア装置については、ヘッドバンド装置の一方の側にのみ、あるいは両側に設けてもよい。
【0052】
図18に、x-軸にそってテンプル部146に対して移動するスライディングキャリッジ272に表示スクリーン142を設け、装置全体が、上記添付図面に図示したように、ピボット点Bを中心として回転する一つの実施態様270を示す。スライディングキャリッジ272が正のx-軸方向に線形移動するため、表示スクリーンに取り付けられた没入型フェースガスケット274を利用でき、カム278を取り付けたモーター276によりこのガスケットが移動を開始し、対向する戻しバネ290によってスライディングキャリッジ272がテンプル部146に対して移動する。表示スクリーン142を上げる際は2ステップでこれを行う。表示スクリーン142を正のx-軸方向に移動し、既に説明したように次にピボット点Bを中心として表示スクリーンを上げる。表示スクリーンを下げる際にはこれら2ステップを逆に行えばよい。
【0053】
図19に、表示スクリーン142を移動キャリッジ282に取り付け、ヘッドバンド装置100の前頭部バンド108の左右の下向き延在部108b、108cの前方縁部にキャリッジトラック284を組み込んだ実施態様280を示す。この表示スクリーン142は、前記電気機械的方法のうちの任意の方法を使用してキャリッジトラック284の経路に従動する。
【0054】
図20は、いくつかの関連動作方法に使用するに好適なヘッドバンド装置100およびヘッド装着式表示装置140の構成を示す図である。図20Aに、このような方法および実施態様300のうちの一つ、即ちテンプル部146がピボット点Bを中心としてCCW/CW回転している間に表示装置142を上下動させる電気機械的装置を示す。ヘッドバンド装置110の前頭部バンド108の垂直タブ108aか、あるいは表示スクリーン142のいずれかにモーター302を取り付け、ネジシャフト(theaded shaft)304を回転させ、シャフトをシャフトの対向端部において拘束されたナット306に螺入し表示スクリーンを上下動させる。
【0055】
図20Bに別な実施態様310を示す。この実施態様の場合、ピニオンギア314を表示スクリーン142に取り付けたモーター312を使用し、拘束されたネジシャフト318が表示スクリーンの上部322の開口320を通っている状態でネジシャフト上を進行するメネジギア316を回転させる。拘束されたネジシャフト318のメネジギア316を回転させる別な方法もあり、(中心に開口を螺入した)ベルト従動ギアおよび適正な拘束手段を使用する。
【0056】
図21に、テンプル部146がピボット点Bを中心にしてCCW/CW回転している間に表示スクリーン142を上下動させる電気機械システムのさらに別な実施態様330を示す。表示スクリーン142の上部から垂直上方に延在するタブ334に取り付けたモーター332によって、モーターディスク336が回転し、ベアリングピン338がヘッドバンド装置110の前頭部バンド108の直立タブ108aの溝340に従動する。モーター332およびモーターディスク336が回転すると、溝340内のベアリングピン338の位置に応じて表示スクリーン142が上下動する。図21Aはその横断側面図である。
【0057】
図22に、表示スクリーン142の重量バランスを取り、装着者のヘッド動作時の装着者の疲労および方向感覚喪失を抑制する実施態様350を示す。この実施態様の一つの形態はテンプル部146に一体化したバランスアーム(counterbalance arm)352を有し、ピボット点Bにおいてトップバンド104、後頭部バンド112および前頭部バンド108のヘッドバンド装置接続部に連続ステム146/352を旋回自在に接続する。この連続ステムはピボット点Bから後方に延在する。バランスアームはその端部356に近接してバランスウェイト(counterbalance weight)354を有し、これが最大のモーメントアームになる。このバランスアームについては、テンプル部146に整合させ、表示スクリーン142の重量バランスを取ることができるが、必ずしもこれは必要ない。図22と同様に表示スクリーン142に対向してバランスウェイトを設け、これがヘッドバンド装置100の後部において同様なトラックシステムに沿って並進する他の形態も可能である。いずれの形態でも、バランスウェイトについては、専用の付加的なウェイトの代わりにPLC、集積回路基板、電池などの動作発生に直接関与しない任意の電気機械構成要素を代用してもよい。
【0058】
図23A図23Cに、個々の取り付けに関する実施態様370および380を示す。伸縮式に調節可能な側部支持構造体(テンプル部)372、382の長さを調節するには、ネジ372を使用すればよく、HMDを複数の使用者が使用することが可能になる。側部支持ストラット386と連動する内部ストラット384に取り付けられた公知の内部ニプル/ホール(nipple and hole)機構を使用する別な方法もある。
【0059】
本発明システムによれば、外科医または外科医助手の物理的位置に関係なく立体顕微鏡ヘッドを外科手術時の観察に最適な位置に設定できる。外科医および助手を外科手術用顕微鏡から物理的に分離できるため、一定の立体画像を取得可能であり、外科医および助手が手術部位を違和感のない、ヘッド中立位置で観察できる。ヘッド装着立体表示装置を使用するとさらに、常に各観察者への整合が適正化され、焦点のあった立体ビデオ画像を提供できる。
【0060】
産業上の利用可能性については、手術室での使用に限定されない。いくつかの製造業では、手を自由にした状態で歪みのない拡大立体観察を行って複雑な両手作業を維持することが望ましく、必要な場合もある。また、本発明は複数のステレオビューアー(stereoscopic viewers)が必要な教育環境にも適用可能である。
【0061】
以上の説明によって、当業者ならば本発明を十分に実施できるはずであり、また以上の説明は本発明者が意図する発明を実施する最善のモードを記述するものである。本明細書は、本発明の好適な実施態様の十全かつ完全な記述を与えるものであるが、添付図面に図示しかつ明細書に記載した正確な構成、寸法関係および操作に本発明を限定することは望まない。当業者には各種の一部変更、代替的な構成、変化および等価体は自明なはずであり、本発明の真の精神および範囲から逸脱しなくても適宜これら変更などを利用できるはずである。このような変更には代替的な材料、構成要素、構造的構成、サイズ、形状、形態、機能、操作特性などが含まれる。
【0062】
即ち、上記記載および図示は発明の範囲を制限するものではなく、本発明の範囲は特許請求の範囲に記載されている通りである。
【符号の説明】
【0063】
10 従来のSLM/DSMシステム
12 対物レンズ
14 光
16 手術野
18 接眼レンズ
22 ズームレンズ系
24a、24b ビデオ撮像素子、デジタルカメラ
26 顕微鏡ヘッド
28 ビデオプロセッサー
30 立体表示装置、3D対応テレビ、スクリーン
50 立体視覚化システム
52 顕微鏡ヘッド
54、56 高速高解像度のデュアルカメラ
58、60 高解像度ビデオストリーム
62 リアルタイムビデオ処理システム
64 時間整合立体画像再生
66 色補正
68 立体整合
70 拡張現実のビデオオーバーレイ、拡張ビジュアルリアリティ
72 立体ビデオストリーム信号
74 表示パネル/レンズ装置
74a、74b 高解像度ヘッド装着式表示装置
76 小型の高解像度/高速表示装置
78 近接光学レンズ装置
100 ヘッドバンド装置
102 トップパッド
104 トップバンド
106 前頭部パッド
108 前頭部バンド
108a 垂直方位タブ
108b、108c 延在部
110 後頭部パッド
112 後頭部バンド
114 後頭部バンド調節ノブ
116 トップバンド調節ノブ
120 照明システム
124 ランプ
126 x-y軸座標
128 時計方向/反時計方向(CW/CCW)回転の軸座標
140 ヘッド装着式表示スクリーン(HMD)、ヘッド装着表示装置
142 表示スクリーン
144 表示スクリーンの高さ
146、372、382 側部支持構造体、テンプル部
148 テンプル部先端
150、160、170、190、200、230、240、270、280、300、310、330、350、370、380 ヘッド装着式可動表示装置の一実施態様
152、180 T字形案内トラック
154 T字形スロット
162 I字形トラック
164 上部接続点
166、182 バネ作動クリップ機構
172、184、290 戻しバネ
174、176 アンカー
178 上縁部
192 ブラケット
194 第1磁石
196 第2磁石
198 バー
202 レバーリッジ
204 リンク機構
206、246、256、262、276、302、312、332モーター
208 リンクディスクまたはプーリー
210、212、214、216、218 ギアまたはプーリー
220 ギアシャフト
232、234 磁石
242 ケーブル
244 ウィンチドラム
248 アンカー点
252 ラック
254 ピニオンギア
258 スライディングラックアーム
264 デュアル駆動シャフト
266 ウォームギア
268 ピボットギア
272 スライディングキャリッジ
274 没入型フェースガスケット
278 カム
282 移動キャリッジ
284 キャリッジトラック
304、318 ネジシャフト
306 ナット
316 メネジギア
320 開口
322 上部
334 タブ
336 モーターディスク
338 ベアリングピン
340 溝
352 バランスアーム
354 バランスウェイト
356 端部
384 内部ストラット
386 側部支持ストラット
図1
図2
図3A
図3B
図4
図5
図6A
図6B
図7
図8
図9
図10
図10A
図11
図11A
図12
図12A
図13
図13A
図14A
図14B
図15
図15A
図16
図16A
図16B
図17
図17A
図18
図19
図20
図20A
図20B
図21
図21A
図22
図22A
図23A
図23B
図23C