(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-12
(45)【発行日】2022-09-21
(54)【発明の名称】ヘッドマウントディスプレイ
(51)【国際特許分類】
H04N 5/64 20060101AFI20220913BHJP
G02B 27/02 20060101ALI20220913BHJP
【FI】
H04N5/64 511A
G02B27/02 Z
(21)【出願番号】P 2018085790
(22)【出願日】2018-04-10
【審査請求日】2020-04-10
(73)【特許権者】
【識別番号】518148973
【氏名又は名称】株式会社シンクアウト
(73)【特許権者】
【識別番号】000153144
【氏名又は名称】株式会社日本技術センター
(72)【発明者】
【氏名】田淵 仁志
(72)【発明者】
【氏名】新見 浩司
(72)【発明者】
【氏名】中谷 喜紀
【審査官】大室 秀明
(56)【参考文献】
【文献】特表2003-504976(JP,A)
【文献】特開2006-284877(JP,A)
【文献】特開2016-134668(JP,A)
【文献】特開2017-037235(JP,A)
【文献】特開平07-049456(JP,A)
【文献】米国特許出願公開第2015/0173846(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/64
G02B 27/02
(57)【特許請求の範囲】
【請求項1】
術野の映像を眼の前に表示することの可能なヘッドマウントディスプレイであって、
前記術野を撮像する一対の撮像部と、
前記一対の撮像部に対応して設けられた一対のズームレンズと、
前記一対のズームレンズを介した前記一対の撮像部による撮像により得られた映像を表示する表示部と
を備え、
前記一対のズームレンズの各々の光軸(第1光軸)は、互いに平行となっており、
一対の前記第1光軸と、前記一対の撮像部の各々の光軸(第2光軸)とが互いに平行となっており、
一対の前記第1光軸の間隙(第1間隙)と、一対の前記第2光軸の間隙(第3間隙)とを、前記表示部における、右目用映像の中心と左目用映像の中心との間隙(第2間隙)よりも狭くすることの可能な位置調整機構を更に備え、
前記位置調整機構は、
一方の前記撮像部から得られた第1映像と、他方の前記撮像部から得られた第2映像とに基づいて、前記表示部に表示する前記右目用映像および前記左目用映像における、表示の重なり割合が略一定となるように、前記第1間隙および前記第3間隙を調整す
る
ヘッドマウントディスプレイ。
【請求項2】
術野の映像を眼の前に表示することの可能なヘッドマウントディスプレイであって、
前記術野を撮像する一対の撮像部と、
前記一対の撮像部に対応して設けられた一対のズームレンズと、
前記一対のズームレンズを介した前記一対の撮像部による撮像により得られた映像を表示する表示部と
前記一対のズームレンズと前記一対の撮像部との間の光路に設けられた一対の反射ミラーと を備え、
前記一対のズームレンズの各々の光軸(第1光軸)は、互いに平行となっており、
一対の前記第1光軸と、前記一対の撮像部の各々の光軸(第2光軸)とが前記一対の反射ミラーの位置において互いに交差しており、
一対の前記第1光軸の間隙(第1間隙)を、前記表示部における、右目用映像の中心と左目用映像の中心との間隙(第2間隙)よりも狭くすることの可能な位置調整機構を更に備え、
前記位置調整機構は、前記一対の撮像部の各々の、前記第1光軸と平行な方向の位置を、前記第1間隙の変位に応じて変えることの可能な機構を有し、前記表示部に表示する前記右目用映像および前記左目用映像における、表示の重なり割合が略一定となるように、前記第1間隙と、前記一対の撮像部の各々の、前記第1光軸と平行な方向の位置とを調整することの可能な構成となって
おり、
前記位置調整機構は、一方の前記撮像部から得られた第1映像と、他方の前記撮像部から得られた第2映像とに基づいて、前記重なり割合が略一定となるように、前記第1間隙と、前記一対の撮像部の各々の、前記第1光軸と平行な方向の位置とを調整する
ヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイに関する。
【背景技術】
【0002】
近年、ヘッドマウントディスプレイは、様々な用途に応用されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-038285号公報
【文献】特開2017-507680号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ヘッドマウントディスプレイは、例えば、手術の際に術野の拡大のために用いられる。従って、手術の際により使いやすいヘッドマウントディスプレイを提供することが望ましい。
【課題を解決するための手段】
【0005】
本発明の第1の側面に係るヘッドマウントディスプレイは、術野の映像を眼の前に表示することの可能なヘッドマウントディスプレイである。このヘッドマウントディスプレイは、術野を撮像する一対の撮像部と、一対の撮像部に対応して設けられた一対のズームレンズと、一対のズームレンズを介した一対の撮像部による撮像により得られた映像を表示する表示部とを備えている。一対のズームレンズの各々の光軸(第1光軸)は、互いに平行となっており、一対の第1光軸と、一対の撮像部の各々の光軸(第2光軸)とが互いに平行となっている。このヘッドマウントディスプレイは、一対の第1光軸の間隙(第1間隙)と、一対の第2光軸の間隙(第3間隙)とを、表示部における、右目用映像の中心と左目用映像の中心との間隙(第2間隙)よりも狭くすることの可能な位置調整機構を更に備えている。位置調整機構は、表示部に表示する右目用映像および左目用映像における、表示の重なり割合が略一定となるように、第1間隙および前記第3間隙を調整することの可能な構成となっている。
本発明の第2の側面に係るヘッドマウントディスプレイは、術野の映像を眼の前に表示することの可能なヘッドマウントディスプレイである。このヘッドマウントディスプレイは、術野を撮像する一対の撮像部と、一対の撮像部に対応して設けられた一対のズームレンズと、一対のズームレンズを介した一対の撮像部による撮像により得られた映像を表示する表示部と、一対のズームレンズと一対の撮像部との間の光路に設けられた一対の反射ミラーとを備えている。一対のズームレンズの各々の光軸(第1光軸)は、互いに平行となっており、一対の第1光軸と、一対の撮像部の各々の光軸(第2光軸)とが一対の反射ミラーの位置において互いに交差している。このヘッドマウントディスプレイは、一対の第1光軸の間隙(第1間隙)を、表示部における、右目用映像の中心と左目用映像の中心との間隙(第2間隙)よりも狭くすることの可能な位置調整機構を更に備えている。位置調整機構は、一対の撮像部の各々の、第1光軸と平行な方向の位置を、第1間隙の変位に応じて変えることの可能な機構を有し、表示部に表示する右目用映像および左目用映像における、表示の重なり割合が略一定となるように、第1間隙と、一対の撮像部の各々の、第1光軸と平行な方向の位置とを調整することの可能な構成
となっている。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施の形態に係るヘッドマウントディスプレイの斜視構成例を表す図である。
【
図2】
図1の本体部の光学的な構成の一例を表す図である。
【
図3】
図1の表示部から眼までの距離と、
図1の表示部の画素サイズとの関係の一例を表す図である。
【
図4】
図1の本体部の機能ブロックの一例を表す図である。
【
図5】
図2の撮像部の撮像エリア(もしくは表示部の表示エリア)の一例を表す図である。
【
図6】
図2の撮像部の撮像エリア(もしくは表示部の表示エリア)の一例を表す図である。
【
図7】
図2の本体部の光学的な構成の一変形例を表す図である。
【
図8】
図5の本体部の機能ブロックの一例を表す図である。
【
図9】
図1の本体部の光学的な構成の一変形例を表す図である。
【
図10】
図9の本体部の機能ブロックの一例を表す図である。
【
図11】
図9の撮像部の撮像エリア(もしくは表示部の表示エリア)の一例を表す図である。
【
図12】
図9の撮像部の撮像エリア(もしくは表示部の表示エリア)の一例を表す図である。
【
図13】
図9の撮像部の撮像エリア(もしくは表示部の表示エリア)の一例を表す図である。
【
図14】
図9の撮像部の撮像エリア(もしくは表示部の表示エリア)の一例を表す図である。
【
図15】
図9の撮像部の撮像エリア(もしくは表示部の表示エリア)の一例を表す図である。
【
図16】
図9の本体部の光学的な構成の一変形例を表す図である。
【
図17】
図2の本体部の光学的な構成の一変形例を表す図である。
【
図18】
図17の本体部の光学的な構成の一変形例を表す図である。
【
図19】
図9の本体部の光学的な構成の一変形例を表す図である。
【
図20】
図19の本体部の光学的な構成の一変形例を表す図である。
【
図21】
図3の本体部の機能ブロックの一変形例を表す図である。
【
図22】
図8の本体部の機能ブロックの一変形例を表す図である。
【
図23】
図10の本体部の機能ブロックの一変形例を表す図である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本発明の一具体例であって、本発明は以下の態様に限定されるものではない。また、本発明は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。なお、説明は、以下の順序で行う。
1.実施の形態
2.変形例
【0010】
<1.実施の形態>
[構成]
本発明の一実施の形態に係るヘッドマウントディスプレイ1について説明する。
図1は、ヘッドマウントディスプレイ1の斜視構成の一例を表したものである。
【0011】
ヘッドマウントディスプレイ1は、術野の映像を眼の前に表示することの可能な装置である。「術野」とは、手術を行っている、眼で見える部分のことを指している。ヘッドマウントディスプレイ1は、本体部110と、本体部110を観察者200の眼前に固定するためのベルト部120とを備えている。ヘッドマウントディスプレイ1では、ベルト部120によって本体部110が観察者200の眼前に固定される。
【0012】
図2は、ヘッドマウントディスプレイ1(本体部110)の光学的な構成の一例を表したものである。本体部110は、例えば、術野を撮像する一対の撮像部10R,10Lと、一対の撮像部10R,10Lに対応して設けられた一対のズームレンズ20R,20Lと、一対のズームレンズ20R,20Lを介した一対の撮像部10R,10Lによる撮像により得られた映像を表示する表示部30R,30Lとを備えている。これら撮像部10R,10L、ズームレンズ20R,20Lおよび表示部30R,30Lは、本体部110の筐体内に設けられている。本体部110は、さらに、例えば、隔壁110Aを備えている。隔壁110Aは、例えば、表示部30Rと表示部30Lとの間に設けられている。隔壁110Aは、表示部30Rの右目用映像IRが観察者200の左の眼球210Lに入射するのを妨げるとともに、表示部30Lの左目用映像ILが観察者200の右の眼球210Rに入射するのを妨げる役割を有している。
【0013】
ズームレンズ20R,20Lは、それぞれ、複数枚のレンズから構成される。ズームレンズ20R,20Lは、それぞれ、特定のレンズを動かすことで、ピント位置(像面の位置)をほとんど変えずに焦点距離を変える。ズームレンズ20Rの像面は、撮像部10Rの光入射面である。ズームレンズ20Lの像面は、撮像部10Lの光入射面である。ズームレンズ20R,20Lは、例えば、2倍から6倍のズーム能をもち、全倍率域で光学ズームを行うことの可能なサージカルルーペである。従って、ズームレンズ20R,20Lでは、視認範囲において、デジタルズームのような精細度の劣化を生じることがない。観察者200は、ズームレンズ20R,20Lによる光学ズームによって、肉眼では分かり難い病変や組織を認識し、極微細・細密な作業をすることが可能となる。
【0014】
ズームレンズ20R,20Lの各々の光軸(第1光軸)は、互いに平行となっている。ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙=間隙D2)は、表示部30R,30Lにおける、右目用映像IRの中心と左目用映像ILの中心との間隙(第2間隙)と等しくなっている。間隙D2は、観察者200の左右の眼球210R,210Lの間隙D1と概ね等しくなっている。
【0015】
撮像部10Rは、ズームレンズ20Rを介して術野の映像を撮像し、撮像した映像を撮像映像d1(第1映像)として出力する。撮像部10Lは、ズームレンズ20Lを介して術野の映像を撮像し、撮像した映像を撮像映像d2(第2映像)として出力する。撮像映像d1および撮像映像d2は、術野における互いに共通の映像を含んでいる。撮像部10R,10Lは、例えば、CCDイメージセンサもしくはCMOSイメージセンサである。撮像部10R,10Lに用いられるCCDイメージセンサもしくはCMOSイメージセンサは、表示部30R,30Lの各々の映像が観察者200にとって裸眼(視力1.0)で観察したときと同等またはそれ以上の鮮明な映像となるのに必要な画素数を有している。撮像部10R,10Lに用いられるCCDイメージセンサもしくはCMOSイメージセンサは、表示部30R,30Lにおける、映像の表示に用いられる画素の数に対応する画素数を有しており、例えば、表示部30R,30Lの画素数と同じか、または、それよりも多い画素数を有している。表示部30R,30Lの各々が、映像の表示に用いる画素数として、4K解像度(3840×2160)に相当する画素数を有している場合には、撮像部10R,10Lは、それぞれ、例えば、4K解像度(3840×2160)に相当する画素数、または、4K解像度(3840×2160)よりも多い画素数(例えば4000×2200)を有している。また、表示部30R,30Lの各々が、映像の表示に用いる画素数として、8K解像度(7680×4320)に相当する画素数を有している場合には、撮像部10R,10Lは、それぞれ、例えば、8K解像度(7680×4320)、または、8K解像度(7680×4320)よりも多い画素数(例えば8000×4400)に相当する画素数を有している。
【0016】
撮像部10R,10Lは、表示部30R,30Lの各々の映像が観察者200にとって裸眼(視力1.0)で観察したときと同等の歪みの少ない映像を取得する。撮像部10R,10Lは、例えば、グローバルシャッター方式、または、歪みの少ない走査に対応したローリングシャッター方式の撮像を行う。
【0017】
撮像部10R,10Lは、各々の光軸(第2光軸)が所定の間隙(第3間隙)となるように、互いに離間して配置されている。撮像部10R,10Lの各々の光軸(第2光軸)は、互いに平行となっている。撮像部10R、10Lは、当該撮像部10R、10Lの各々の光軸(第2光軸)と、ズームレンズ20R,20Lの各々の光軸(第1光軸)とが互いに平行となるように配置されている。撮像部10R,10Lの各々の光軸(第2光軸)の間隙(第3間隙)は、表示部30R,30Lにおける、右目用映像IRの中心と左目用映像ILの中心との間隙(第2間隙)と等しくなっている。撮像部10R,10Lの各々の光軸(第2光軸)の間隙(第3間隙)は、観察者200の左右の眼球210R,210Lの間隙D1と概ね等しくなっている。つまり、撮像部10R,10Lの各々の光軸(第2光軸)の間隙(第3間隙)と、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙=間隙D2)とは、互いに等しくなっている。
【0018】
表示部30R,30Lは、互いに別体で設けられている。表示部30R,30Lは、ズームレンズ20R,20Lを介した撮像部10R,10Lによる撮像により得られた映像を表示する。表示部30Rは、撮像部10Rから得られた映像(撮像映像d1)に対応する右目用映像IRを表示する。表示部30Lは、撮像部10Lから得られた映像(撮像映像d2)に対応する左目用映像ILを表示する。表示部30R,30Lは、表示部30R,30Lにおける、右目用映像IRの中心と左目用映像ILの中心との間隙(第2間隙)が所定の大きさとなるように配置されている。表示部30R,30Lにおける、右目用映像IRの中心と左目用映像ILの中心との間隙(第2間隙)は、例えば、観察者200の左右の眼球210R,210Lの間隙D1と概ね等しくなっている。
【0019】
表示部30R,30Lの各々の画素サイズS(μm)は、表示部30R,30Lの各々の映像が観察者200にとって裸眼(視力1.0)で観察したときと同等またはそれ以上の鮮明な映像となるのに必要な大きさとなっている。表示部30R,30Lの各々の画素サイズS(μm)は、表示部30R,30Lから眼球210R,210Lまでの距離をL(cm)したとき、例えば、
図3に示したように、S≦3×L×10
-6を満たしている。Lの下限は、一般的な眼鏡をかけたときの眼球と眼鏡レンズとの距離程度となっており、例えば、2cm程度となっている。Lは、例えば、2cm以上25cm以下となっている。
【0020】
図3は、表示部30R,30Lから眼球210R,210Lまでの距離Lと、表示部30R,30Lの各々の画素サイズS(μm)との関係の一例を表したものである。
図3の斜線で示した箇所の条件では、表示部30R,30Lの各々の映像が観察者200にとって裸眼(視力1.0)で観察したときと同等またはそれ以上の鮮明な映像となる。表示部30R,30Lの各々が5.5インチ4Kディスプレイであった場合、画素サイズSが30μmとなっている。そのため、距離Lを10cm以上とすることにより、表示部30R,30Lの各々の映像を観察者200にとって裸眼(視力1.0)で観察したときと同等またはそれ以上の鮮明な映像とすることができる。また、表示部30R,30Lの各々が5.5インチ8Kディスプレイであった場合、画素サイズSが15μmとなっている。そのため、距離Lを5cm以上とすることにより、表示部30R,30Lの各々の映像を観察者200にとって裸眼(視力1.0)で観察したときと同等またはそれ以上の鮮明な映像とすることができる。
【0021】
表示部30R,30Lは、表示部30R,30Lの各々の映像が観察者200にとって裸眼(視力1.0)で観察したときと同等またはそれ以上の鮮明な映像となるのに必要な画素数を有している。表示部30R,30Lは、映像の表示に用いる画素数として、例えば、4K解像度(3840×2160)に相当する画素数、または、8K解像度(7680×4320)に相当する画素数を有している。
【0022】
図4は、本体部110の機能ブロックの一例を表したものである。本体部110は、例えば、
図4に示したように、撮像部10R,10Lと、ズームレンズ20R,20Lと、表示部30R,30Lの他に、入力部40と、駆動部50と、2つの表示制御部60R,60Lと、記憶部70と、中央制御部80とを有している。
【0023】
入力部40は、外部(例えば、観察者200)からの指示を受け付け、受け付けた指示を中央制御部80に出力する。入力部40は、例えば、ボタンやダイヤルなどを含む機械的な入力インターフェースであってもよいし、マイクロフォンなどを含む音声入力インターフェースであってもよい。入力部40は、例えば、外部から、表示部30R,30Lの表示倍率の入力を受け付けて、受け付けた表示倍率を、中央制御部80に出力する。
【0024】
なお、中央制御部80が、撮像部10Rまたは撮像部10Lから得られた映像に含まれるジェスチャによって、外部(例えば、観察者200)からの指示を受け付けてもよい。中央制御部80は、例えば、撮像部10Rまたは撮像部10Lから得られた映像に含まれるジェスチャから、外部から指示された表示倍率を算出し、算出した表示倍率を中央制御部80に出力する。
【0025】
駆動部50は、中央制御部80からの制御信号に基づいて、ズームレンズ20R,20Lの光学倍率を所定の大きさに設定する。駆動部50は、例えば、中央制御部80からの制御信号に基づいて、各対のズームレンズ20R,20Lに含まれる特定のレンズを動かすことで、ズームレンズ20R,20Lの光学倍率を所定の大きさに設定する。
【0026】
中央制御部80は、撮像部10R,10Lで生成された撮像映像d1,d2を受け付ける。中央制御部80は、受け付けた撮像映像d1,d2に対して所定の処理を施すことにより撮像映像d3,d4を生成し、生成した撮像映像d3,d4を表示制御部60R,60Lに出力する。
【0027】
表示制御部60R(第1表示制御部)は、表示部30Rの表示を制御するコントローラである。表示制御部60Rは、中央制御部80から入力された撮像映像d3に基づく映像信号d5(第1映像信号)を生成し、表示部30Rに出力する。表示制御部60L(第2表示制御部)は、表示部30Lの表示を制御するコントローラである。表示制御部60Lは、中央制御部80から入力された撮像映像d4に基づく映像信号d6(第2映像信号)を生成し、表示部30Lに出力する。
【0028】
記憶部70は、中央制御部80で実行される制御プログラム70Aを格納している。制御プログラム70Aは、術野の映像を眼の前に表示するためのプログラムである。制御プログラム70Aが中央制御部80にロードされた後、制御プログラム70Aに記載の、術野の映像を眼の前に表示するため手順が中央制御部80によって実行される。
【0029】
具体的には、まず、中央制御部80は、撮像部10R,10Lに対して、術野の映像の撮像を要求する。すると、撮像部10R,10Lは、術野を撮像し、撮像により得られた映像(撮像映像d1,d2)を中央制御部80に送信する。次に、中央制御部80は、撮像部10Rで得られた映像(撮像映像d1)に基づいて撮像映像d3を生成し、表示制御部60Rに出力する。中央制御部80は、例えば、撮像映像d1の一部を抜き出して、手振れ補正のなされた映像を生成し、その映像を撮像映像d3として表示制御部60Rに出力する。表示制御部60Rは、入力された映像(撮像映像d3)に基づいて映像信号d5を生成し、表示部30Rに出力する。すると、表示部30Rは、入力された映像信号d5に基づいた映像(右目用映像IR)を表示する。中央制御部80は、さらに、撮像部10Lで得られた映像(撮像映像d2)に基づいて撮像映像d4を生成し、表示制御部60Lに出力する。中央制御部80は、例えば、撮像映像d2の一部を抜き出して、手振れ補正のなされた映像を生成し、その映像を撮像映像d4として表示制御部60Lに出力する。表示制御部60Lは、入力された映像(撮像映像d4)に基づいて映像信号d6を生成し、表示部30Lに出力する。すると、表示部30Lは、入力された映像信号d6に基づいた映像(左目用映像IL)を表示する。このようにして、表示部30R,30Lに、術野の映像が表示される(
図5参照)。
【0030】
このとき、ズームレンズ20R,20Lの光学倍率は、初期値の1倍となっている。なお、
図5には、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙=間隙D2)が64mmとなっており、撮像部10R,10Lの光入射面から術野までの距離D3が320mmとなっており、輻輳角θxが5.71°となっており、右目用映像IRと左目用映像ILとの重なり領域の割合(重なり割合)Ro(=WO/WL=WO/WR)がRaとなっている様子が例示されている。ここで、WLは左目用映像ILの幅であり、WRは右目用映像IRの幅であり、WOは右目用映像IRと左目用映像ILとの重なり領域の幅である。重なり割合Roが一定となっているときには、観察者200は、光学倍率が互いに異なる各映像に対して、同一の立体感を感じ、さらに、生理的な負担を感じ難い。
【0031】
中央制御部80は、例えば、入力部40から、表示倍率を2倍にする指示を受け付けたとする。このとき、中央制御部80は、例えば、駆動部50に対して、光学倍率を2倍に設定する制御信号を出力する。すると、駆動部50は、ズームレンズ20R,20Lの光学倍率を2倍に設定する。
【0032】
続いて、中央制御部80は、撮像部10R,10Lに対して、術野の映像の撮像を要求する。すると、撮像部10R,10Lは、2倍に拡大された術野を撮像し、撮像により得られた映像(撮像映像d1,d2)を中央制御部80に送信する。次に、中央制御部80は、撮像部10Rで得られた映像(撮像映像d1)に基づいて撮像映像d3を生成し、表示制御部60Rに出力する。表示制御部60Rは、入力された映像(撮像映像d3)に基づいて映像信号d5を生成し、表示部30Rに出力する。すると、表示部30Rは、入力された映像信号d5に基づいた拡大映像(右目用映像IR)を表示する。中央制御部80は、さらに、撮像部10Lで得られた映像(撮像映像d2)に基づいて撮像映像d4を生成し、表示制御部60Lに出力する。表示制御部60Lは、入力された映像(撮像映像d5)に基づいて映像信号d6を生成し、表示部30Lに出力する。すると、表示部30Lは、入力された映像信号d6に基づいた拡大映像(左目用映像IL)を表示する。このようにして、表示部30R,30Lに、術野を2倍に拡大した映像(
図6中の黒い破線で囲まれた領域内の映像)が表示される。
【0033】
このとき、間隙D2,距離D3,輻輳角θxは、一定となっている。そのため、重なり割合Roが、光学倍率1倍のときの値(Ra)よりも小さくなっている。
【0034】
[効果]
次に、本実施の形態に係るヘッドマウントディスプレイ1の効果について説明する。
【0035】
本実施の形態では、術野を撮像する撮像部10R、10Lと、撮像部10R、10Lによる撮像により得られた映像を表示する表示部30R,30Lとが設けられている。これにより、首や頭の動きによる目線の微細な変動に応じた映像が表示部30R,30Lに表示される。また、撮像部10R、10Lに対応してズームレンズ20R,20Lが設けられている。これにより、デジタルズームのような映像荒れのない、高精細な拡大映像が表示部30R,30Lに表示される。また、表示部30R,30Lの画素サイズS(μm)が、表示部30R,30Lから眼球210R,210Lまでの距離をL(cm)したとき、S≦3×L×10-6(Lは5cm以上25cm以下)を満たしている。これにより、表示部30R,30Lを介さずに裸眼で術野を視認したときと同等またはそれ以上の高精細な映像を表示部30R,30Lに表示することが可能となる。以上のことから、手術の際により使いやすいヘッドマウントディスプレイ1を提供することができる。
【0036】
また、本実施の形態では、各撮像部10R、10Lが、表示部30R,30Lにおける、映像の表示に用いられる画素の数に対応する画素数を有している。これにより、表示部30R,30Lを介さずに裸眼で術野を視認したときと同等またはそれ以上の高精細な映像を表示部30R,30Lに表示することが可能となる。従って、手術の際により使いやすいヘッドマウントディスプレイ1を提供することができる。
【0037】
また、本実施の形態では、表示部30R,30Lと、表示制御部60R、60Lが設けられている。そのため、各撮像部10R、10Lを合成するなどしないで、各撮像部10R、10Lで得られた映像をそれぞれ別個に、各表示制御部60R、60Lで処理することができるので、表示制御部60R、60Lの各々における処理の負荷を少なくすることができる。これにより、各表示制御部60R、60Lの処理能力があまり高くなくても、表示部30R,30Lを介さずに裸眼で術野を視認したときと同等の滑らかな映像を表示部30R,30Lに表示することが可能となる。従って、手術の際により使いやすいヘッドマウントディスプレイ1を提供することができる。
【0038】
また、本実施の形態では、ズームレンズ20R,20Lの各々の光軸(第1光軸)が互いに平行となっている。これにより、ズームレンズ20R,20Lの各々の光軸が交差する場合と比べて、ズームレンズ20R,20Lの各々の光軸の調整が容易である。
【0039】
また、本実施の形態では、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙)が、表示部30R,30Lにおける、右目用映像IRの中心と左目用映像ILの中心との間隙(第2間隙)と等しくなっている。これにより、低い光学倍率において違和感の少ない映像をユーザに提供することができる。
【0040】
また、本実施の形態では、撮像部10R、10Lは、当該撮像部10R、10Lの各々の光軸(第2光軸)と、ズームレンズ20R,20Lの各々の光軸(第1光軸)とが互いに平行となるように配置されている。これにより、ズームレンズ20R,20Lを介して得られた光を撮像部10R、10Lに入射させるための光学部品を別途設ける必要がない。従って、部品点数を減らすことができる。
【0041】
<2.変形例>
次に、上記実施の形態に係るヘッドマウントディスプレイ1の変形例について説明する。
【0042】
[変形例A]
上記実施の形態において、表示部30R,30Lの代わりに、例えば、
図7に示したように、1枚の表示部30が設けられていてもよい。この場合、例えば、
図8に示したように、表示制御部60R,60Lの代わりに、1枚の表示部30を制御する1つの表示制御部60が設けられていてもよい。このとき、中央制御部80は、撮像部10R,10Lから入力された撮像映像d1,d2に基づいて撮像映像d7を生成し、表示制御部60に出力する。中央制御部80は、例えば、撮像映像d1,d2の一部を抜き出して、手振れ補正のなされた映像を生成し、その映像を撮像映像d7として表示制御部60に出力する。表示制御部60は、入力された撮像映像d7に基づいて映像信号d8を生成し、表示部30に出力する。表示部30は、入力された映像信号d8に基づいた映像(右目用映像IRおよび左目用映像ILを含む映像)を表示する。
【0043】
本変形例のように1枚の表示部30および1つの表示制御部60を設けた場合であっても、表示制御部60の処理能力が十分高いときには、表示部60を介さずに裸眼で術野を視認したときと同等の滑らかな映像を表示部60に表示することが可能である。従って、手術の際により使いやすいヘッドマウントディスプレイ1を提供することができる。
【0044】
[変形例B]
上記実施の形態において、ヘッドマウントディスプレイ1は、例えば、
図9、
図10に示したように、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙)を、表示部30R,30Lにおける、右目用映像IRの中心と左目用映像ILの中心との間隙(第2間隙)よりも狭くすることの可能な駆動部90(位置調整機構)を更に備えていてもよい。
【0045】
駆動部90は、中央制御部80からの制御信号に基づいて、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙)を所定の大きさに設定する。ズームレンズ20Rおよび撮像部10Rが何からの台座部(第1台座部)に支持されるとともに、ズームレンズ20Lおよび撮像部10Lが何からの台座部(第2台座部)に支持されている場合には、駆動部90は、例えば、中央制御部80からの制御信号に基づいて、第1台座部および第2台座部の間隙を所定の大きさに設定してもよい。この場合、駆動部90は、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙)と、撮像部10R、10Lの各々の光軸(第2光軸)の間隙(第3間隙)とを、表示部30R,30Lにおける、右目用映像IRの中心と左目用映像ILの中心との間隙(第2間隙)よりも狭くすることの可能な構成を有している。その結果、レンズ20Rの光軸と撮像部10Rの光軸との位置関係や、レンズ20Lの光軸と撮像部10Lの光軸との位置関係をずらすことなく、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙)と、撮像部10R、10Lの各々の光軸(第2光軸)の間隙(第3間隙)とを、所定の大きさに設定することができる。
【0046】
次に、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙)を、表示部30R,30Lにおける、右目用映像IRの中心と左目用映像ILの中心との間隙(第2間隙)よりも狭くすることの意義について説明する。
【0047】
図11~
図15は、撮像部10R,10Lの撮像エリア(もしくは表示部30R,30L)の表示エリア)の一例を表したものである。
【0048】
図11では、ズームレンズ20R,20Lの光学倍率を2倍にするとともに、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙=間隙D2)と、撮像部10R,10Lの各々の光軸(第2光軸)の間隙(第3間隙)を、光学倍率の逆数倍(つまり、1/2倍)にしたときの様子が例示されている。
図11では、表示部30R,30Lに、術野を2倍に拡大した映像(
図11中の黒い破線で囲まれた領域内の映像)が表示される。このとき、距離D3は一定となっているが、輻輳角θxは、光学倍率の逆数倍(つまり、1/2倍)の値(=2.86°)となっており、重なり割合Roが、光学倍率1倍のときの値(Ra)と同じ値となっている。従って、ズームレンズ20R,20Lの光学倍率を2倍にしつつ、ズームレンズ20R,20Lの光学倍率が1倍のときと同じ立体感で、映像を表示することができる。
【0049】
図12では、ズームレンズ20R,20Lの光学倍率を1倍にするとともに、撮像部10R,10Lの像面と術野との距離D3を半分にしたときの様子が例示されている。
図12では、表示部30R,30Lに、術野を2倍に拡大した映像(
図12中の黒い破線で囲まれた領域内の映像)が表示される。このとき、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙=間隙D2)と、撮像部10R,10Lの各々の光軸(第2光軸)の間隙(第3間隙)が、光学倍率の逆数倍(つまり、1/2倍)の値(=32mm)となっており、輻輳角θxは、光学倍率の逆数倍(つまり、1/1倍)の値(=5.71°)となっており、重なり割合Roが、光学倍率1倍のときの値(Ra)と同じ値となっている。従って、撮像部10R,10Lを術野に近づけたときでも、ズームレンズ20R,20Lの光学倍率が1倍のときと同じ立体感で、映像を表示することができる。
【0050】
図13では、撮像部10R,10Lが実際の観察者200の眼球210R,210Lの位置よりも、少し術野寄りになっていることを考慮したときの様子が例示されている。
図13では、撮像部10R,10Lが、実際の観察者200の眼球210R,210Lと術野との距離D4のD3/D4倍の位置に配置されており、表示部30R,30Lには、1.5倍に拡大された映像が表示される。このとき、間隙D2を一定としたため、輻輳角θxが、光学倍率1倍のときの値(Ra)よりも小さな値(7.59°)となっており、重なり割合Roも、Raよりも小さな値(Rc)となっている。
【0051】
図14では、
図13の条件において、輻輳角θxが、光学倍率1倍のときの値(Ra)と一致するように、間隙D2を少し狭め、48mmにした様子が例示されている。
図14では、間隙D2を48mmにしたので、輻輳角θxが、光学倍率1倍のときの値(Ra)と一致している。従って、撮像部10R,10Lが実際の観察者200の眼球210R,210Lの位置よりも、少し術野寄りになっている場合であっても、撮像部10R,10Lが実際の観察者200の眼球210R,210Lの位置にあるときと同じ立体感で、映像を表示することができる。
【0052】
図15では、撮像部10R,10Lが実際の観察者200の眼球210R,210Lの位置よりも、少し術野寄りになっていることを考慮した上で、ズームレンズ20R,20Lの光学倍率を1.33倍にしたときの様子が例示されている。
図15では、表示部30R,30Lに、術野を2倍に拡大した映像(
図15中の黒い破線で囲まれた領域内の映像)が表示される。このとき、間隙D2が、表示倍率の逆数倍(つまり、1/2倍)の値(=32mm)となっており、輻輳角θxは、表示倍率の逆数倍(つまり、1/2)の値(=2.86°)となっており、重なり割合Roが、光学倍率1倍のときの値(Ra)と同じ値となっている。従って、撮像部10R,10Lが実際の観察者200の眼球210R,210Lの位置よりも、少し術野寄りになっている場合であっても、撮像部10R,10Lが実際の観察者200の眼球210R,210Lの位置にあるときと同じ立体感で、映像を拡大して表示することができる。
【0053】
ところで、本変形例において、駆動部50,90は、一方の撮像部10Rから得られた撮像映像d1と、他方の撮像部10Lから得られた撮像映像d2とに基づいて、表示部30R,30Lに表示する右目用映像IRおよび左目用映像ILにおける、重なり割合Roが所定の範囲内(例えば、概ねRaとなる範囲内)となるように、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙=間隙D2)と、撮像部10R、10Lの各々の光軸(第2光軸)の間隙(第3間隙)とを調整してもよい。この場合、撮像部10R,10Lによって得られた映像の立体感を変えずに、映像を拡大して表示することができる。
【0054】
これを実現するためには、中央制御部80は、例えば、撮像映像d1および撮像映像d2を用いて、撮像部10R,10Lの光入射面から術野までの距離D3を導出(もしくは推定)するようになっていてもよい。または、ヘッドマウントディスプレイ1は、例えば、撮像部10R,10Lの光入射面から術野までの距離D3を計測するセンサーを備えていてもよい。
【0055】
[変形例C]
上記変形例Bにおいて、表示部30R,30Lの代わりに、例えば、
図16に示したように、1枚の表示部30が設けられていてもよい。この場合、例えば、表示制御部60R,60Lの代わりに、1枚の表示部30を制御する1つの表示制御部60が設けられていてもよい。このようにした場合であっても、表示制御部60の処理能力が十分高いときには、表示部60を介さずに裸眼で術野を視認したときと同等の滑らかな映像を表示部60に表示することが可能となる。従って、手術の際により使いやすいヘッドマウントディスプレイ1を提供することができる。
【0056】
[変形例D]
上記実施の形態および変形例A~Cにおいて、ヘッドマウントディスプレイ1は、例えば、
図17、
図18、
図19、
図20に示したように、ズームレンズ20R,20Lを撮像部10R,10Lとの間の光路に設けられた反射ミラー130R,130Lを更に備えていてもよい。
図17は、
図2のヘッドマウントディスプレイ1(もしくは本体部110)の光学的な構成の一変形例を表したものである。
図18は、
図17のヘッドマウントディスプレイ1(もしくは本体部110)の光学的な構成の一変形例を表したものである。
図19は、
図9のヘッドマウントディスプレイ1(もしくは本体部110)の光学的な構成の一変形例を表したものである。
図20は、
図19のヘッドマウントディスプレイ1(もしくは本体部110)の光学的な構成の一変形例を表したものである。
【0057】
このとき、撮像部10R、10Lは、当該撮像部10R、10Lの各々の光軸(第2光軸)と、ズームレンズ20R,20Lの各々の光軸(第1光軸)とが、反射ミラー130R,130Lの位置において、互いに交差(例えば、直交)するように配置されている。これにより、各撮像部10R、10Lの像面から各ズームレンズ20R,20Lまでの距離を、観察者200の眼球210R,210Lから各ズームレンズ20R,20Lまでの距離と概ね等しくすることができる。
【0058】
また、本変形例では、駆動部90は、撮像部10R、10Lの各々の位置を、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙=間隙D2)の変位に応じて変えることの可能な機構を有している。この機構は、例えば、歯車などを含む機械的な機構で構成されており、撮像部10R、10Lの各々の、第1光軸と平行な方向の位置を、間隙D2の変位に応じて変えることができるように構成されている。これにより、ズームレンズ20R,20Lの変位に追随して、撮像部10R、10Lの各々の位置を調整することができる。従って、撮像部10R,10Lによって得られた映像の立体感を変えずに、映像を拡大して表示することができる。なお、撮像部10R、10Lの光入射面が、ズームレンズ20R,20Lの変位量と比べて十分に大きい場合には、撮像部10R,10Lの位置を、ズームレンズ20R,20Lの変位に追随して調整する必要はない。
【0059】
ところで、本変形例において、駆動部50,90は、一方の撮像部10Rから得られた撮像映像d1と、他方の撮像部10Lから得られた撮像映像d2とに基づいて、表示部30R,30Lに表示する右目用映像IRおよび左目用映像ILにおける、重なり割合Roが所定の範囲内(例えば、概ねRaとなる範囲内)となるように、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙)と、撮像部10R、10Lの各々の、ズームレンズ20R,20Lの各々の光軸(第1光軸)と平行な方向の位置とを調整してもよい。この場合、撮像部10R,10Lによって得られた映像の立体感を変えずに、映像を拡大して表示することができる。
【0060】
[変形例E]
上記実施の形態および変形例A~Dにおいて、ヘッドマウントディスプレイ1は、例えば、
図21、
図22、
図23に示したように、駆動部50の代わりに操作部91を備えていてもよく、さらに、駆動部50の代わりに操作部92を備えていてもよい。
【0061】
操作部91は、ズームレンズ20R,20Lの光学倍率を手動で操作することが可能となっている。操作部91は、例えば、ボタン、または、ダイヤルなどを含む、光学倍率の手動操作機構を有している。操作部92は、ズームレンズ20R,20Lの各々の光軸(第1光軸)の間隙(第1間隙)や、撮像部10R、10Lの各々の光軸(第2光軸)の間隙(第3間隙)を手動で操作することが可能となっている。操作部92は、例えば、ボタン、または、ダイヤルなどを含む、ズームレンズ20R,20Lおよび撮像部10R、10Lのそれぞれの位置の手動操作機構を有している。
【0062】
[変形例F]
上記変形例Bでは、ズームレンズ20R,20Lの各々の光軸や、撮像部10R、10Lの各々の光軸を平行移動させることにより、光学倍率や距離D3に応じてユーザが見やすいように、重なり割合Roを調整していた。しかし、上記変形例Bにおいて、例えば、ズームレンズ20R,20Lの各々の光軸の交差角度や、撮像部10R、10Lの各々の光軸の交差角度を変えることにより、光学倍率や距離D3に応じてユーザが見やすいように、重なり割合Roを調整してもよい。
【0063】
[変形例G]
上記実施の形態およびその変形例では、一対のズームレンズ20R,20Lが用いられていた。しかし、上記実施の形態およびその変形例において、例えば、一対のズームレンズ20R,20Lの代わりに、1つのズームレンズ20だけが用いられていてもよい。この場合、ズームレンズ20を介して外部から入射した光を撮像素子10R,10Lに入射させる光学系を設けたり、ズームレンズ20Rを介して撮像した術野の映像を立体的な画像に見せる画像処理を中央制御部80で行ったりしてもよい。
【0064】
[変形例H]
上記実施の形態およびその変形例では、表示部30Rにおいて、撮像部10Rで得られた映像に基づいて生成された映像が表示され、表示部30Lにおいて、撮像部10Lで得られた映像に基づいて生成された映像が表示されていた。しかし、上記実施の形態およびその変形例において、例えば、表示部30Rにおいて、撮像部10R,10Lで得られた映像に基づいて生成された映像が表示され、表示部30Lにおいて、撮像部10R,10Lで得られた映像に基づいて生成された映像が表示されてもよい。
【符号の説明】
【0065】
10R,10L…撮像部、20R,20L…ズームレンズ、30,30R,30L…表示部、40…入力部、50…駆動部、60,60R,60L…表示制御部、70…記憶部、70A…制御プログラム、80…中央制御部、90…駆動部、100…ヘッドマウントディスプレイ、110…本体部、110A…隔壁部、120…ベルト部、200…観察者、210R,210L…眼球、D1,D2…間隙、D3,D4…距離、d1,d2,d3,d4…撮像映像、d5,d6…映像信号、IR…右目用映像、IL…左目用映像、L…距離、Ro…重なり割合、S…画素サイズ、WR…右目用映像の幅、WL…左目用映像の幅、WO…重なり領域の幅、θx…輻輳角。