ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】手術画像表示システム、画像処理装置、及び画像処理方法
(51)【国際特許分類】
H04N 13/361 20180101AFI20240709BHJP
H04N 13/239 20180101ALI20240709BHJP
H04N 13/344 20180101ALI20240709BHJP
H04N 13/128 20180101ALI20240709BHJP
H04N 17/00 20060101ALI20240709BHJP
G06T 19/00 20110101ALI20240709BHJP
【ＦＩ】
H04N13/361
H04N13/239
H04N13/344
H04N13/128
H04N17/00 Z
G06T19/00 F
【請求項の数】
16
(21)【出願番号】P 2021537227
(86)(22)【出願日】2020-07-27
(86)【国際出願番号】 JP2020028636
(87)【国際公開番号】W WO2021024827
(87)【国際公開日】2021-02-11
【審査請求日】2023-06-07
(31)【優先権主張番号】P 2019146399
(32)【優先日】2019-08-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】勝木 信二
(72)【発明者】
【氏名】武 昌宏
(72)【発明者】
【氏名】小林 素明
(72)【発明者】
【氏名】中村 卓也
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２０１４－０２７３９１（ＪＰ，Ａ）
【文献】特開２００５－０２６７５６（ＪＰ，Ａ）
【文献】特開２０１８－１５２７８９（ＪＰ，Ａ）
【文献】国際公開第２０１６／０６３６２０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００
Ｈ０４Ｎ １７／００
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と
を含み、
前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である
手術画像表示システム。
【請求項2】
前記出力画像生成部は、前記三次元画像に前記奥行歪み情報を重畳した出力画像を生成する請求項１に記載の手術画像表示システム。
【請求項3】
前記奥行歪み情報は、前記立体像空間における前記奥行方向の複数の点についての前記奥行歪み率を表した情報である請求項１に記載の手術画像表示システム。
【請求項4】
前記観察領域を撮影する撮影空間において前記右眼画像と前記左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における第１の物点の前記基準面までの距離と、前記基準面上の第２の物点と第３の物点との間の距離とが等しい場合に、前記立体像空間において、前記第２の物点が再現される点と前記第３の物点が再現される点との間の距離を前記第１の物点が再現される点の前記表示面までの前記本来の距離とする請求項１に記載の手術画像表示システム。
【請求項5】
前記奥行歪み情報は、観察者の眼から前記表示面までの距離である視距離に対する前記奥行歪み率を表した情報である請求項１に記載の手術画像表示システム。
【請求項6】
前記奥行歪み情報は、実際の視距離に対応する前記奥行歪み率を強調して表した情報である請求項５に記載の手術画像表示システム。
【請求項7】
前記奥行歪み情報は、前記立体像空間における位置が前記表示面に対して奥側及び手前側から近づくに従って前記奥行歪み率が１に近づく視距離が最適な視距離であることを表す情報を含む請求項１に記載の手術画像表示システム。
【請求項8】
前記奥行歪み情報を生成する奥行歪み情報生成部を更に含む
請求項１に記載の手術画像表示システム。
【請求項9】
前記三次元画像における注目対象の範囲を指定する注目対象指定部をさらに含み、
前記奥行歪み情報は、前記注目対象指定部により指定された前記注目対象の範囲の大きさに相当する距離を前記表示面までの本来の距離とした場合における前記奥行歪み率を表した情報である
請求項１に記載の手術画像表示システム。
【請求項10】
前記三次元画像における注目対象の位置を指定する注目対象指定部と、前記注目対象指定部により指定された位置の臓器の範囲を前記三次元画像に対して設定する注目対象設定部と
をさらに含み、
前記奥行歪み情報は、前記注目対象設定部により設定された前記臓器の範囲の大きさに相当する距離を前記表示面までの本来の距離とした場合における前記奥行歪み率を表した情報である
請求項１に記載の手術画像表示システム。
【請求項11】
生体を異なる２つの視点から撮影して得られた三次元画像であって、前記２つの視点から撮影された観察領域の立体像を再現する前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報と、を提示する出力画像を生成する出力画像生成部を含み、
前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である
画像処理装置。
【請求項12】
画像処理装置は、出力画像生成部
を含み、
前記出力画像生成部が、生体を異なる２つの視点から撮影して得られた三次元画像であって、前記２つの視点から撮影された観察領域の立体像を再現する前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成し、
前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である
画像処理方法。
【請求項13】
生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と
を含み、
前記奥行歪み情報は、前記立体像空間において、前記奥行歪みが生じていないと仮定した場合に想定した真円が前記奥行歪みによって変形した形状を表す情報である
手術画像表示システム。
【請求項14】
生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と
を含み、
前記奥行歪み情報は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置とし、前記右眼画像と前記左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を前記三次元画像が表示される表示面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離と、前記撮影部の２つの視点の間の距離である基線長と、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズと、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて生成された情報である
手術画像表示システム。
【請求項15】
生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と、
前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記出力画像を立体視可能に表示し、かつ、外部信号に基づいて前記表示面の前記奥行方向の位置を変更することにより観察者の眼から前記表示面までの距離である視距離を変更する三次元表示部と、
前記三次元表示部に対して前記外部信号を与えて前記視距離を設定させる視距離制御部と
を含み、
前記視距離制御部は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離ＷＤ０と、前記撮影部の２つの視点の間の距離である基線長２・Ｅ０と、前記三次元画像を立体視する観察者の眼幅２・Ｅとに基づいて、前記三次元表示部における前記視距離をＷＤ０・Ｅ／Ｅ０に設定させる
手術画像表示システム。
【請求項16】
生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と、
前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離、前記撮影部の２つの視点の間の距離である基線長、及び、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズのうちの少なくとも２つの要素を制御対象として制御する撮影条件制御部と、
前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記表示面に表示される前記三次元画像の拡大倍率を指定する操作部と
を含み、
前記撮影条件制御部は、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて、かつ、前記撮影距離、前記基線長、及び、前記対角画角サイズのうちの前記制御対象以外の要素に基づいて、前記表示面に表示される前記三次元画像が前記操作部により指定された前記拡大倍率となり、かつ、前記撮影距離ＷＤ０、前記基線長２・Ｅ０、及び、前記眼幅２・Ｅに対して、前記視距離がＷＤ０・Ｅ／Ｅ０となるように前記制御対象を制御する
手術画像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、手術画像表示システム、画像処理装置、及び画像処理方法に関し、特に、観察領域の三次元画像を立体視可能に表示させる手術画像表示システム、画像処理装置、及び画像処理方法に関する。
【背景技術】
【0002】
特許文献１、２には、腹壁にトラカールを差し込み、トラカールの孔内に腹腔鏡を挿入して腹腔鏡により撮影された腹腔内の観察画像をモニタに表示する技術が記載されている。また、特許文献１には、観察画像を三次元画像としてモニタに表示することが記載されている。
【0003】
特許文献３にはＣＴ装置などで得たボリュームデータを立体表示することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－１６１３７７号公報
【文献】特開２０１８－２９９８０号公報
【文献】特開２０１４－２３６３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
観察者が三次元画像を立体視した際に、立体像が再現される空間には奥行方向の歪みが生じているため、奥行方向の距離の把握が難しいことがある。
【0006】
本技術は、このような状況に鑑みてなされたものであり、特に、三次元画像を立体視した際に、立体像が再現される空間における奥行方向の距離の把握を支援できるようにするものである。
【課題を解決するための手段】
【0007】
本技術の第１の側面の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部とを含み、前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である手術画像表示システムである。
【0008】
本技術の第１の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の歪みの大きさを表す奥行歪み情報とを出力する出力画像が生成される。前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である。
【0009】
本技術の第２の側面の画像処理装置は、生体を異なる２つの視点から撮影して得られた三次元画像であって、前記２つの視点から撮影された観察領域の立体像を再現する前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報と、を提示する出力画像を生成する出力画像生成部を含み、前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である画像処理装置である。
【0010】
本技術の第２の側面の画像処理装置においては、生体を異なる２つの視点から撮影して得られた三次元画像であって、前記２つの視点から撮影された観察領域の立体像を再現する前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報と、を提示する出力画像が生成される。前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である。
【0011】
本技術の第３の側面の画像処理方法は、画像処理装置は、出力画像生成部を含み、前記出力画像生成部が、生体を異なる２つの視点から撮影して得られた三次元画像であって、前記２つの視点から撮影された観察領域の立体像を再現する前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成し、前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である。
【0012】
本技術の第３の側面の画像処理方法においては、生体を異なる２つの視点から撮影して得られた三次元画像であって、前記２つの視点から撮影された観察領域の立体像を再現する前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である。
本技術の第４の側面の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部とを含み、前記奥行歪み情報は、前記立体像空間において、前記奥行歪みが生じていないと仮定した場合に想定した真円が前記奥行歪みによって変形した形状を表す情報である手術画像表示システムである。
本技術の第４の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記奥行歪み情報は、前記立体像空間において、前記奥行歪みが生じていないと仮定した場合に想定した真円が前記奥行歪みによって変形した形状を表す情報である。
本技術の第５の側面の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部とを含み、前記奥行歪み情報は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置とし、前記右眼画像と前記左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を前記三次元画像が表示される表示面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離と、前記撮影部の２つの視点の間の距離である基線長と、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズと、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて生成された情報である手術画像表示システムである。
本技術の第５の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記奥行歪み情報は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置とし、前記右眼画像と前記左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を前記三次元画像が表示される表示面の位置として、前記撮影空間における前記基準面までの撮影距離と、前記２つの視点の間の距離である基線長と、前記基準面における撮影範囲の対角の長さである対角画角サイズと、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて生成された情報である。
本技術の第６の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記出力画像を立体視可能に表示し、かつ、外部信号に基づいて前記表示面の前記奥行方向の位置を変更することにより観察者の眼から前記表示面までの距離である視距離を変更する三次元表示部と、前記三次元表示部に対して前記外部信号を与えて前記視距離を設定させる視距離制御部とを含み、前記視距離制御部は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離ＷＤ０と、前記撮影部の２つの視点の間の距離である基線長２・Ｅ０と、前記三次元画像を立体視する観察者の眼幅２・Ｅとに基づいて、前記三次元表示部における前記視距離をＷＤ０・Ｅ／Ｅ０に設定させる手術画像表示システムである。
本技術の第６の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記出力画像を立体視可能に表示し、かつ、外部信号に基づいて前記表示面の前記奥行方向の位置を変更することにより観察者の眼から前記表示面までの距離である視距離を変更する三次元表示部が設けられる。前記三次元表示部に対して前記外部信号が与えられて前記視距離が設定される。具体的には、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離ＷＤ０と、前記撮影部の２つの視点の間の距離である基線長２・Ｅ０と、前記三次元画像を立体視する観察者の眼幅２・Ｅとに基づいて、前記三次元表示部における前記視距離がＷＤ０・Ｅ／Ｅ０に設定される。
本技術の第７の側面の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離、前記撮影部の２つの視点の間の距離である基線長、及び、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズのうちの少なくとも２つの要素を制御対象として制御する撮影条件制御部と、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記表示面に表示される前記三次元画像の拡大倍率を指定する操作部とを含み、前記撮影条件制御部は、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて、かつ、前記撮影距離、前記基線長、及び、前記対角画角サイズのうちの前記制御対象以外の要素に基づいて、前記表示面に表示される前記三次元画像が前記操作部により指定された前記拡大倍率となり、かつ、前記撮影距離ＷＤ０、前記基線長２・Ｅ０、及び、前記眼幅２・Ｅに対して、前記視距離がＷＤ０・Ｅ／Ｅ０となるように前記制御対象を制御する手術画像表示システムである。
本技術の第７の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記基準面までの撮影距離、前記２つの視点の間の距離である基線長、及び、前記基準面における撮影範囲の対角の長さである対角画角サイズのうちの少なくとも２つの要素が制御対象として制御される。前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記表示面に表示される前記三次元画像の拡大倍率が指定される。前記制御対象の制御は、具体的には、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて、かつ、前記撮影距離、前記基線長、及び、前記対角画角サイズのうちの前記制御対象以外の要素に基づいて、前記表示面に表示される前記三次元画像が前記拡大倍率となり、かつ、前記撮影距離ＷＤ０、前記基線長２・Ｅ０、及び、前記眼幅２・Ｅに対して、前記視距離がＷＤ０・Ｅ／Ｅ０となるように行われる。
本技術の第４の側面の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部とを含み、前記奥行歪み情報は、前記立体像空間において、前記奥行歪みが生じていないと仮定した場合に想定した真円が前記奥行歪みによって変形した形状を表す情報である手術画像表示システムである。
本技術の第４の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記奥行歪み情報は、前記立体像空間において、前記奥行歪みが生じていないと仮定した場合に想定した真円が前記奥行歪みによって変形した形状を表す情報である。
本技術の第５の側面の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部とを含み、前記奥行歪み情報は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置とし、前記右眼画像と前記左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を前記三次元画像が表示される表示面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離と、前記撮影部の２つの視点の間の距離である基線長と、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズと、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて生成された情報である手術画像表示システムである。
本技術の第５の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記奥行歪み情報は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置とし、前記右眼画像と前記左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を前記三次元画像が表示される表示面の位置として、前記撮影空間における前記基準面までの撮影距離と、前記２つの視点の間の距離である基線長と、前記基準面における撮影範囲の対角の長さである対角画角サイズと、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて生成された情報である。
本技術の第６の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記出力画像を立体視可能に表示し、かつ、外部信号に基づいて前記表示面の前記奥行方向の位置を変更することにより観察者の眼から前記表示面までの距離である視距離を変更する三次元表示部と、前記三次元表示部に対して前記外部信号を与えて前記視距離を設定させる視距離制御部とを含み、前記視距離制御部は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離ＷＤ０と、前記撮影部の２つの視点の間の距離である基線長２・Ｅ０と、前記三次元画像を立体視する観察者の眼幅２・Ｅとに基づいて、前記三次元表示部における前記視距離をＷＤ０・Ｅ／Ｅ０に設定させる手術画像表示システムである。
本技術の第６の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記出力画像を立体視可能に表示し、かつ、外部信号に基づいて前記表示面の前記奥行方向の位置を変更することにより観察者の眼から前記表示面までの距離である視距離を変更する三次元表示部が設けられる。前記三次元表示部に対して前記外部信号が与えられて前記視距離が設定される。具体的には、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離ＷＤ０と、前記撮影部の２つの視点の間の距離である基線長２・Ｅ０と、前記三次元画像を立体視する観察者の眼幅２・Ｅとに基づいて、前記三次元表示部における前記視距離がＷＤ０・Ｅ／Ｅ０に設定される。
本技術の第７の側面の手術画像表示システムは、生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離、前記撮影部の２つの視点の間の距離である基線長、及び、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズのうちの少なくとも２つの要素を制御対象として制御する撮影条件制御部と、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記表示面に表示される前記三次元画像の拡大倍率を指定する操作部とを含み、前記撮影条件制御部は、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて、かつ、前記撮影距離、前記基線長、及び、前記対角画角サイズのうちの前記制御対象以外の要素に基づいて、前記表示面に表示される前記三次元画像が前記操作部により指定された前記拡大倍率となり、かつ、前記撮影距離ＷＤ０、前記基線長２・Ｅ０、及び、前記眼幅２・Ｅに対して、前記視距離がＷＤ０・Ｅ／Ｅ０となるように前記制御対象を制御する手術画像表示システムである。
本技術の第７の側面の手術画像表示システムにおいては、生体が異なる２つの視点から撮影され、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像が取得される。そして、取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像が生成される。前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記基準面までの撮影距離、前記２つの視点の間の距離である基線長、及び、前記基準面における撮影範囲の対角の長さである対角画角サイズのうちの少なくとも２つの要素が制御対象として制御される。前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記表示面に表示される前記三次元画像の拡大倍率が指定される。前記制御対象の制御は、具体的には、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて、かつ、前記撮影距離、前記基線長、及び、前記対角画角サイズのうちの前記制御対象以外の要素に基づいて、前記表示面に表示される前記三次元画像が前記拡大倍率となり、かつ、前記撮影距離ＷＤ０、前記基線長２・Ｅ０、及び、前記眼幅２・Ｅに対して、前記視距離がＷＤ０・Ｅ／Ｅ０となるように行われる。
【図面の簡単な説明】
【0013】
【図1】本技術を適用した手術画像表示システムの第１の実施の形態の構成例を示したブロック図である。
【図2】画像処理部の構成例を示したブロック図である。
【図3】出力画像の形態を説明した図である。
【図4】出力画像の形態を説明した図である。
【図5】出力画像の形態を説明した図である。
【図6】撮影空間を上側から示した図である。
【図8】右眼画像及び左眼画像を立体視により観察者が観察している状態を上側から示した図である。
【図9】撮影空間を上側から示した図である。
【図12】奥行歪みマップを例示した図である。
【図13】奥行歪みマップを例示した図である。
【図14】奥行歪み情報を例示した図である。
【図16】観察領域の三次元画像に奥行歪み情報が重畳された例を示した図である。
【図17】奥行歪み情報生成部が行う奥行歪み情報生成の処理の例を説明するフローチャートである。
【図18】奥行歪み情報の第２形態を示した図である。
【図19】奥行歪み情報の第２形態を示した図である。
【図20】奥行歪み情報の第２形態を生成する場合に奥行歪み情報生成部が行う処理を説明するフローチャートである。
【図21】観察領域の三次元画像に奥行歪み情報の第２の実施の形態が重畳された例を示した図である。
【図22】手術画像表示システムの第２の実施の形態における画像処理部の構成例を示したブロック図である。
【図23】奥行歪み情報に最適視距離通知情報を追加した形態を示した図である。
【図24】手術画像表示システムの第２の実施の形態における画像処理部の奥行歪み情報生成部及び最適視距離判断部が行う奥行歪み情報生成の処理の例を示したフローチャートである。
【図26】手術画像表示システムの第３の実施の形態の構成例を示したブロック図である。
【図27】手術画像表示システムの第３の実施の形態における画像処理部の構成例を示したブロック図である。
【図28】手術画像表示システムの第３の実施の形態における画像処理部の奥行歪み情報生成部及び最適視距離判断部が行う奥行歪み情報生成の処理の例を示したフローチャートである。
【図29】手術画像表示システムの第４の実施の形態の構成例を示したブロックである。
【図30】撮影部の動作を説明する図である。
【図31】撮影部の一形態を説明する図である。
【図32】撮影部の一形態を説明する図である。
【図33】手術画像表示システムの第４の実施の形態における画像処理部の構成例を示したブロック図である。
【図34】手術画像表示システムの第４の実施の形態における画像処理部の奥行歪み情報生成部及び撮影条件制御部が行う処理の例を示したフローチャートである。
【図35】手術画像表示システムの第５の実施の形態における画像処理部の構成例を示したブロック図である。
【図36】手術画像表示システムの第５の実施の形態における奥行歪み情報が重畳された三次元画像を例示した図である。
【図37】手術画像表示システムの第５の実施の形態における奥行歪み情報が重畳された三次元画像を例示した図である。
【図38】手術画像表示システムの第５の実施の形態における奥行歪み情報生成部及び注目対象設定部が行う奥行歪み情報生成の処理の例を示したフローチャートである。
【図39】手術画像表示システムの第６の実施の形態の構成例を示したブロック図である。
【図40】手術画像表示システムの第５の実施の形態における画像処理部の構成例を示したブロック図である。
【図41】三次元表示部に表示される奥行歪み情報が重畳された三次元画像を例示した図である。
【図42】三次元表示部に表示される奥行歪み情報が重畳された三次元画像を例示した図である。
【図43】手術画像表示システムの第６の実施の形態における奥行歪み情報生成部及び注目対象設定部が行う奥行歪み情報生成の処理の例を示したフローチャートである。
【図44】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら本技術の実施の形態について説明する。
【0015】
＜＜手術画像表示システムの第１の実施の形態＞＞
本技術を適用した手術画像表示システムは、生体を異なる２つの視点から撮影し、２つの視点から撮影された観察領域の立体像を再現する三次元画像を表示するとともに、三次元画像を立体視した際に立体像が再現される空間（立体像空間という）の奥行方向の距離の把握を支援する奥行歪み情報を表示する。
本技術を適用した手術画像表示システムは、生体を異なる２つの視点から撮影し、２つの視点から撮影された観察領域の立体像を再現する三次元画像を表示するとともに、三次元画像を立体視した際に立体像が再現される空間（立体像空間という）の奥行方向の距離の把握を支援する奥行歪み情報を表示する。
【0016】
図１は、本技術を適用した手術画像表示システムの第１の実施の形態の構成例を示したブロック図である。
【0017】
図１の手術画像表示システム１１は、撮影部２１、右カメラ制御部２２、左カメラ制御部２３、画像処理部２４、三次元表示部２５、及び、視点検出センサ２６を有する。
【0018】
撮影部２１は、生体を異なる２つの視点から撮影するカメラを有し、例えば手術室に設置され、患者に対して手術が施されている領域（手術箇所）等の観察領域を撮影する。なお、撮影部２１により撮影が行われる空間を撮影空間という。
【0019】
また、撮影部２１は、観察領域の三次元画像を構成する右眼画像と左眼画像を取得するための右カメラ３１Ｒと左カメラ３１Ｌとを有する。
【0020】
右カメラ３１Ｒは、撮影空間における左右の２つの視点のうちの右側の視点の位置から観察領域を撮影し、撮影により得られる右眼画像を右カメラ制御部２２に供給する。
【0021】
左カメラ３１Ｌは、撮影空間における前記左右の２つの視点のうちの左側の視点の位置から観察領域を撮影し、撮影により得られる左眼画像を左カメラ制御部２３に供給する。
【0022】
なお、撮影部２１において得られる三次元画像（右眼画像及び左眼画像）はカラー画像と白黒画像のいずれでも良いし、動画像と静止画像のいずれでも良い。
【0023】
右カメラ制御部２２は、右カメラ３１Ｒからの右眼画像に対してホワイトバランス、明るさ調整、色調調整などの処理を施し、処理を施した後の右眼画像を画像処理部２４に供給する。
【0024】
左カメラ制御部２３は、左カメラ３１Ｌからの左眼画像に対してホワイトバランス、明るさ調整、色調調整などの処理を施し、処理を施した後の左眼画像を画像処理部２４に供給する。
【0025】
画像処理部２４は、右カメラ制御部２２からの右眼画像と左カメラ制御部２３からの左眼画像とからなる観察領域の三次元画像に対して、詳細を後述する奥行歪み情報を例えば重畳した出力画像を生成して三次元表示部２５に供給する。
【0026】
また、画像処理部２４は、撮影部２１による撮影に関する撮影条件と、三次元画像の表示及び三次元画像を観察する観察者（手術を行う術者等）に関する観察条件とに基づいて奥行歪み情報を生成する。
【0027】
三次元表示部２５は、画像処理部２４からの出力画像を表示する。三次元表示部２５は、三次元画像を構成する右眼画像及び左眼画像のうち、右眼画像を観察者２７の右眼に視認させ、左眼画像を観察者２７の左眼に視認させる。三次元表示部２５としては、レンチキュラーレンズ方式ディスプレイやヘッドマウントディスプレイ(ＨＭＤ)を採用してもよいし、観察者が偏光めがねや液晶シャッターめがねを装着する方式のディスプレイを採用してもよい。図１の三次元表示部２５の表示面には観察領域の三次元画像２５Ａと、三次元画像２５Ａに重畳された奥行歪み情報２５Ｂが例示されている。
【0028】
視点検出センサ２６は、例えば、三次元表示部２５の画像を表示する表示面（表示パネル）の下部に設置され、観察者２７の右眼及び左眼の位置を検出する。視点検出センサ２６は、検出した右眼及び左眼の位置を画像処理部２４に供給する。画像処理部２４では視点検出センサ２６からの右眼及び左眼の位置に基づいて観察者２７の眼幅と、観察者２７の眼から三次元表示部２５の表示面まで距離である視距離を観察条件として算出する。
【0029】
＜画像処理部２４の構成例＞
図２は、画像処理部２４の構成例を示したブロック図である。
図２は、画像処理部２４の構成例を示したブロック図である。
【0030】
画像処理部２４は、画像取込部４１、奥行歪み情報生成部４２、撮影条件取得部４３、観察条件取得部４４、出力画像生成部４５、出力部４６、及び、操作部４７を有する。
【0031】
画像取込部４１は、図１の右カメラ制御部２２及び左カメラ制御部２３からの右眼画像及び左眼画像を取り込み、最新の右眼画像及び左眼画像を１フレーム分ずつ記憶する。画像取込部４１は、記憶している右眼画像及び左眼画像を一定周期で出力画像生成部４５に供給する。
【0032】
奥行歪み情報生成部４２は、撮影条件取得部４３からの撮影条件と観察条件取得部４４からの観察条件とに基づいて立体像空間の奥行方向の歪み（奥行歪み）の大きさを求め、求めた奥行歪みの大きさを三次元表示部２５に表示するための奥行歪み情報を生成する。そして、奥行歪み情報生成部４２は、生成した奥行歪み情報を出力画像生成部４５に供給する。なお、奥行歪み情報は、手術箇所等の観察領域の三次元画像の立体像と観察領域の物理的な三次元空間の奥行方向との違いの大きさを表す情報であり、必ずしも奥行方向の歪みの大きさを直接的に表した情報に限定されない。
【0033】
撮影条件取得部４３は、撮影部２１の基線長と撮影距離と撮影範囲対角画角サイズとを撮影条件として取得し、奥行歪み情報生成部４２に供給する。
【0034】
撮影部２１の基線長は、右カメラ３１Ｒの視点（光学系の主点）と左カメラ３１Ｌの視点（光学系の主点）との間の距離を表す。
【0035】
撮影距離は右カメラ３１Ｒ及び左カメラ３１Ｌから基準面までの距離を表し、通常では基準面に焦点が合わせられることから焦点が合わせられた位置までの距離に相当する。なお、基準面は、右眼画像と左眼画像との同一位置の像点として撮影される撮影空間における物点の位置を示す。
【0036】
撮影範囲対角画角サイズは、右カメラ３１Ｒ及び左カメラ３１Ｌの基準面における撮影範囲の対角の長さを表す。
【0037】
これらの基線長、撮影距離、及び、撮影範囲対角画角サイズの情報は、撮影部２１と右カメラ制御部２２と左カメラ制御部２３のうちの少なくとも１つの構成部から供給される。ただし、基線長、撮影距離、及び、撮影範囲対角画角サイズのうちの一部又は全ての情報は、操作部４７の操作によりユーザが入力し、操作部４７から撮影条件取得部４３に与えるようにしてもよい。
【0038】
また、撮影条件取得部４３は、撮影範囲対角画角サイズを取得する代わりに、右カメラ３１Ｒ及び左カメラ３１Ｌの焦点距離と撮像素子の撮像面の対角サイズとを取得し、これらの焦点距離と対角サイズと撮影距離とに基づいて撮影範囲対角画角サイズを算出してもよい。
【0039】
観察条件取得部４４は、観察条件として三次元表示部２５の対角画面サイズを三次元表示部２５から取得し、奥行歪み情報生成部４２に供給する。なお、三次元表示部２５の画面に対して三次元画像が一部の領域に表示される場合には対角画面サイズは三次元画像が表示される領域の対角の長さを示す。
【0040】
また、観察条件取得部４４は、視点検出センサ２６により検出される観察者２７の右眼及び左眼の位置に基づいて、三次元表示部２５の三次元画像を立体視している観察者２７の眼幅と、観察者２７の眼から三次元表示部２５の表示面まで距離である視距離とを観察条件として取得する。そして、観察条件取得部４４は、取得した眼幅と視距離とを奥行歪み情報生成部４２に供給する。
【0041】
ただし、視点検出センサ２６は必ずしも設けられていなくてもよく、眼幅と視距離の情報は、操作部４７のユーザ操作によりユーザが入力して観察条件取得部４４に与えるようにしてもよい。
【0042】
また、三次元表示部２５の対角画面サイズについても操作部４７のユーザ操作によりユーザが入力して観察条件取得部４４に与えるようにしてもよい。
【0043】
出力画像生成部４５は、画像取込部４１からの三次元画像（右眼画像及び左眼画像）と奥行歪み情報生成部４２からの奥行歪み情報とを提示する出力画像を生成し、出力部４６に供給する。
【0044】
具体的には、出力画像生成部４５は、図３の出力画像５３、図４の出力画像５４、または、図５の出力画像５５を生成する。図３の出力画像５３は、三次元画像５２の一部の領域に奥行歪み情報５１が重畳された画像を示す。なお、三次元画像５２の一部の領域に奥行歪み情報５１が重畳された出力画像５３としては、奥行歪み情報５１を表す画像の全ての領域が三次元画像に重畳される場合だけでなく、奥行歪み情報５１を表す画像の一部の領域が三次元画像に重畳される場合も含む。
【0045】
図４の出力画像５４は、三次元画像５２と奥行歪み情報５１とが個別の領域に配置された画像を示す。図５の出力画像５５は、三次元画像５２と奥行歪み情報５１とのうち例えば操作部４７の操作によりユーザによって選択された画像を示す。すなわち、図５の形態は、三次元画像５２のみの出力画像５５と奥行歪み情報５１のみの出力画像５５に切り替えられる。
【0046】
出力画像生成部４５は、これらの出力画像５３、５４、５５の形態のうち、いずれか一つの形態の出力画像を生成してもよいし、出力画像５３、５４、５５の形態のうちのいずれか２つ又は全ての形態の中から操作部４７の操作によりユーザが選択した形態の出力画像を生成してもよい。
【0047】
ただし、以下において、出力画像生成部４５は、図３の出力画像５３のように三次元画像に奥行歪み情報を重畳させた出力画像を生成することとする。
【0048】
出力部４６は、出力画像生成部４５からの右眼画像及び左眼画像を三次元表示部２５に表示させるための信号形式の画像信号に変換して三次元表示部２５に供給する。
【0049】
＜奥行歪み情報＞
次に、奥行歪み情報生成部４２において生成される奥行歪み情報について説明する。まず、奥行歪みについて詳説する。
次に、奥行歪み情報生成部４２において生成される奥行歪み情報について説明する。まず、奥行歪みについて詳説する。
【0050】
＜表示面より手前側の奥行歪み＞
図６は、図１の撮影部２１が配置された撮影空間を上側から示した図である。なお、撮影部２１の右カメラ３１Ｒの光軸と左カメラ３１Ｌの光軸とを含む平面に垂直な方向を上下方向とする。
図６は、図１の撮影部２１が配置された撮影空間を上側から示した図である。なお、撮影部２１の右カメラ３１Ｒの光軸と左カメラ３１Ｌの光軸とを含む平面に垂直な方向を上下方向とする。
【0051】
図６において、基準面ＳＢは、右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を示す。基準面ＳＢは撮影部２１の焦点が合わせられる面でもある。
【0052】
撮影距離ＷＤ０は、撮影部２１から基準面ＳＢまでの距離であって、より詳細には、右カメラ３１Ｒ及び左カメラ３１Ｌ（光学系の主点）から基準面ＳＢまでの距離を表す。
【0053】
基線長２・Ｅ０は、右カメラ３１Ｒの視点（光学系の主点）と左カメラ３１Ｌの視点（光学系の主点）との間の距離を表す。
【0054】
物点ＰＲ、ＰＬは、距離Ｌ０の間隔を有する基準面ＳＢ上の物点を表す。
【0055】
物点ＰＣは、基準面ＳＢよりも手前側（撮影部２１側）に飛び出した点であって、基準面ＳＢまでの距離がＬ０となる点を表す。また、物点ＰＣは、物点ＰＲ、ＰＬを結ぶ線分を底辺とした高さＬ０の二等辺三角形の頂点に相当する点である。
【0056】
内向角θ０は、右カメラ３１Ｒの視点から物点ＰＣに向かう視線と左カメラ３１Ｌの視点から物点ＰＣに向かう視線とが交差する角度である。
【0057】
この撮影条件下において右カメラ３１Ｒと左カメラ３１Ｌで物点ＰＲ、ＰＬ、ＰＣを撮影し、右眼画像と左眼画像とからなる三次元画像を取得したとする。
【0058】
図７は、物点ＰＲ、ＰＬ、及び、ＰＣを撮影したときに右カメラ３１Ｒから得られた右眼画像と、左カメラ３１Ｌから得られた左眼画像を例示している。右眼画像において、像点ＩＲＲは物点ＰＲの像点を示し、像点ＩＬＲは物点ＰＬの像点を示し、像点ＩＣＲは物点ＰＣの像点を示す。左眼画像において、像点ＩＲＬは物点ＰＲの像点を示し、像点ＩＬＬは物点ＰＬの像点を示し、像点ＩＣＬは物点ＰＣの像点を示す。
【0059】
右眼画像における像点ＩＲＲと左眼画像における像点ＩＲＬとは、基準面ＳＢ上の物点ＰＲに対する像点であり、右眼画像と左眼画像とで同一位置となる像点である。右眼画像における像点ＩＬＲと左眼画像における像点ＩＬＬとは、基準面ＳＢ上の物点ＰＬに対する像点であり、右眼画像と左眼画像とで同一位置となる像点である。
【0060】
【0061】
図８のＡ、Ｂ、及び、Ｃにおいて、眼幅２・Ｅは、観察者の右眼Ｒｅと左眼Ｌｅとの間の距離を示す。
【0062】
また、図８のＡ、Ｂ、及び、Ｃにおいて、表示面ＳＭは、右眼画像及び左眼画像が表示される表示面であって、右眼画像と左眼画像との同一位置に表示された像点が立体像空間において再現（知覚）される位置を示す。
【0063】
表示面ＳＭにおける像点ＩＲは、図６の物点ＰＲに対する像点であり、表示面ＳＭの同一位置に表示される右眼画像の像点ＩＲＲと左眼画像の像点ＩＲＬとを表す。表示面ＳＭにおける像点ＩＬは、図６の物点ＰＬに対する像点であり、表示面ＳＭの同一位置に表示される右眼画像の像点ＩＬＲと左眼画像の像点ＩＬＬとを表す。
【0064】
また、像点ＩＲ及び像点ＩＬは、観察者が三次元画像（右眼画像及び左眼画像）を立体視することにより立体像空間に再現される物点ＰＲ及び物点ＰＬに対する像点を表す。
【0065】
図６の物点ＰＣの右眼画像における像点ＩＣＲと左眼画像における像点ＩＣＬとは、表示面ＳＭにおいて異なる位置に表示される。
【0066】
図８のＡ、Ｂ、及び、Ｃにおいて、像点ＩＣは、観察者が三次元画像を立体視することにより立体像空間に再現（融像）される物点ＰＣに対する像点を表す。すなわち、像点ＩＣは、観察者の右眼Ｒｅから表示面ＳＭにおける右眼画像の像点ＩＣＲに向かう視線と、観察者の左眼Ｌｅから表示面ＳＭにおける左眼画像の像点ＩＣＬに向かう視線とが交差する位置に再現される。
【0067】
【0068】
【0069】
また、観察者の眼Ｒｅ、Ｌｅから表示面ＳＭまでの距離である視距離Ｗが撮影距離ＷＤ０をＥ／Ｅ０倍としたときのＷＤ０・Ｅ／Ｅ０に設定される。
【0070】
このとき、像点ＩＣを注視したときの輻輳角θ０は、図６の内向角θ０と等しく、表示面ＳＭ上の像点ＩＲと像点ＩＬとの間の距離Ｌ０・Ｅ／Ｅ０と、像点ＩＣから表示面ＳＭまでの距離Ｌ０・Ｅ／Ｅ０とが一致する。
【0071】
また、図８のＡの観察条件においては、任意の値のＬ０に対して、表示面ＳＭ上の像点ＩＲと像点ＩＬとの間の距離Ｌ０・Ｅ／Ｅ０と像点ＩＣから表示面ＳＭまでの距離Ｌ０・Ｅ／Ｅ０とが一致する。したがって、図８のＡの観察条件における立体像空間は、撮影空間と同様に奥行歪みが生じない立体像空間であり、図８のＡの観察条件による立体視を撮影等価視という。
【0072】
図８のＢは、撮影等価視の観察条件での視距離ＷＤ０・Ｅ／Ｅ０に対して実際の視距離Ｗが異なる場合の像点ＩＣの位置を示した図である。この場合、像点ＩＲと像点ＩＬとの間の距離が変化しない。一方、視距離Ｗが撮影等価視の場合と異なるため、像点ＩＣから表示面ＳＭまでの距離が撮影等価視のときの距離Ｌ０・Ｅ／Ｅ０とは異なる。したがって、図８のＢでは奥行歪みが発生する。
【0073】
図８のＣは、図８のＢの視距離Ｗでの観察において、三次元表示部２５の表示面ＳＭに表示される実際の右眼画像及び左眼画像の大きさが、撮影等価視での大きさに対してＡ倍（拡大倍率Ａ）となる場合の像点ＩＣの位置を示す。
【0074】
この場合、表示面ＳＭ上の像点ＩＲと像点ＩＬとの間の距離はＡ・Ｌ０・Ｅ／Ｅ０となる。また、像点ＩＣＲと像点ＩＣＬとの間の距離も撮影等価視の場合よりもＡ倍に拡大される。したがって、像点ＩＣの奥行方向の位置も図８のＢの場合と異なる。
【0075】
ここで、像点ＩＣから表示面ＳＭまでの距離（飛出量）をＤｘとすると、奥行歪みが生じていないと仮定した場合の飛出量Ｄｘの値Ｄｘ０（本来の飛出量Ｄｘ０という）は、像点ＩＲと像点ＩＬとの間の距離Ａ・Ｌ０・Ｅ／Ｅ０である。
【0076】
なお、立体像空間における像点の本来の飛出量Ｄｘ０（表示面ＳＭまでの本来の距離）とは、その像点として再現される撮影空間における物点の基準面ＳＢまでの距離と、基準面ＳＢ上の２つの物点の間の距離とが等しい場合に、立体像空間において、その基準面ＳＢ上の２つの物点が表示面ＳＭ上に再現される２つの像点の間の距離であると定義することができる。
【0077】
そして、奥行方向の本来の飛出量Ｄｘ０の位置における奥行歪み率αをＤｘ／Ｄｘ０として定義すると、奥行歪み率αは次式（１）により表される。
【0078】
【数1】
【0079】
ただし、Ｐｘ０は、次式（２）により表される視差量であって図８のＡの撮影等価視における像点ＩＣＲと像点ＩＣＬとの間の距離の２分の１の値を示す。
【0080】
【数2】
【0081】
なお、像点ＩＣの本来の飛出量Ａ・Ｌ０・Ｅ／Ｅ０において奥行歪みが生じていないときは奥行歪み率α＝１である。式（１）において、奥行歪み率α＝１として視距離Ｗを求めると次式（３）が導き出される。
【0082】
Ｗ＝｛ＷＤ０＋（Ａ－１）・Ｌ０｝・Ｅ／Ｅ０
・・・（３）
・・・（３）
【0083】
これによれば、拡大倍率Ａが１ではないとき、奥行歪み率αが１になる視距離Ｗは、物点ＰＣから基準面ＳＢまでの距離Ｌ０の値に依存し、かつ、像点ＩＣの本来の飛出量Ａ・Ｌ０・Ｅ／Ｅ０にも依存する。
【0084】
一方、拡大倍率Ａが１のとき、奥行歪み率αが１になる視距離Ｗは、ＷＤ０・Ｅ／Ｅ０となり、物点ＰＣから基準面ＳＢまでの距離Ｌ０の値に依存しない。したがって、拡大倍率Ａ＝１、視距離Ｗ＝ＷＤ０・Ｅ／Ｅ０の場合に該当する撮影等価視は、任意の飛出量の像点ＩＣの位置に対して奥行歪みが生じない観察条件であることがわかる。
【0085】
＜表示面より奥側の奥行歪み＞
次に、表示面ＳＭよりも奥側の奥行歪みについて説明する。
次に、表示面ＳＭよりも奥側の奥行歪みについて説明する。
【0086】
【0087】
図９において、物点ＰＲ、ＰＬは、距離Ｌ０の間隔を有する基準面ＳＢ上の物点を表す。
【0088】
物点ＰＣは、基準面ＳＢよりも奥側（撮影部２１と反対側）に引っ込んだ点であって、基準面ＳＢまでの距離がＬ０となる点を表す。また、物点ＰＣは、物点ＰＲ、ＰＬを結ぶ線分を底辺とした高さＬ０の二等辺三角形の頂点に相当する点である。
【0089】
撮影距離ＷＤ０及び基線長２・Ｅ０，内向角θ０については図６の場合と同様である。
【0090】
この撮影条件下において右カメラ３１Ｒと左カメラ３１Ｌで物点ＰＲ、ＰＬ、ＰＣを撮影し、右眼画像と左眼画像からなる三次元画像を取得したとする。
【0091】
図１０は、物点ＰＲ、ＰＬ、及び、ＰＣを撮影したときに右カメラ３１Ｒから得られた右眼画像と、左カメラ３１Ｌから得られた左眼画像を例示している。右眼画像において、像点ＩＲＲは物点ＰＲの像点を示し、像点ＩＬＲは物点ＰＬの像点を示し、像点ＩＣＲは物点ＰＣの像点を示す。左眼画像において、像点ＩＲＬは物点ＰＲの像点を示し、像点ＩＬＬは物点ＰＬの像点を示し、像点ＩＣＬは物点ＰＣの像点を示す。
【0092】
右眼画像における像点ＩＲＲと左眼画像における像点ＩＲＬとは、基準面ＳＢ上の物点ＰＲに対する像点であり、右眼画像と左眼画像とで同一位置となる像点である。右眼画像における像点ＩＬＲと左眼画像における像点ＩＬＬとは、基準面ＳＢ上の物点ＰＬに対する像点であり、右眼画像と左眼画像とで同一位置となる像点である。
【0093】
【0094】
また、図１１のＡ、Ｂ、及び、Ｃにおいて、表示面ＳＭにおける像点ＩＲは、図９の物点ＰＲに対する像点であり、表示面ＳＭの同一位置に表示される右眼画像の像点ＩＲＲと左眼画像の像点ＩＲＬとを表す。表示面ＳＭにおける像点ＩＬは、図９の物点ＰＬに対する像点であり、表示面ＳＭの同一位置に表示される右眼画像の像点ＩＬＲと左眼画像の像点ＩＬＬとを表す。
【0095】
また、像点ＩＲ及び像点ＩＬは、観察者が三次元画像（右眼画像及び左眼画像）を立体視することにより立体像空間に再現される物点ＰＲ及び物点ＰＬに対する像点を表す。
【0096】
図９の物点ＰＣの右眼画像における像点ＩＣＲと左眼画像における像点ＩＣＬとは、表示面ＳＭにおいて異なる位置に表示される。
【0097】
図１１のＡ、Ｂ、及び、Ｃにおいて、像点ＩＣは、観察者が三次元画像を立体視することにより立体像空間に再現（融像）される物点ＰＣに対する像点を表す。すなわち、像点ＩＣは、観察者の右眼Ｒｅから表示面ＳＭにおける右眼画像の像点ＩＣＲに向かう視線と、観察者の左眼Ｌｅから表示面ＳＭにおける左眼画像の像点ＩＣＬに向かう視線とが交差する位置に再現される。図１１のＡ、Ｂ、及び、Ｃにおいては像点ＩＣが表示面ＳＭよりも奥側に引っ込んだ位置に再現される。
【0098】
【0099】
【0100】
また、観察者の眼Ｒｅ、Ｌｅから表示面ＳＭまでの距離である視距離Ｗが撮影距離ＷＤ０をＥ／Ｅ０倍としたときのＷＤ０・Ｅ／Ｅ０に設定される。
【0101】
このとき、像点ＩＣを注視したときの輻輳角θ０は、図９の内向角θ０と等しく、表示面ＳＭ上の像点ＩＲと像点ＩＬとの間の距離Ｌ０・Ｅ／Ｅ０と、像点ＩＣから表示面ＳＭまでの距離Ｌ０・Ｅ／Ｅ０とが一致する。
【0102】
また、図１１のＡの観察条件においては、任意の値のＬ０に対して、表示面ＳＭ上の像点ＩＲと像点ＩＬとの間の距離Ｌ０・Ｅ／Ｅ０と像点ＩＣから表示面ＳＭまでの距離Ｌ０・Ｅ／Ｅ０とが一致する。したがって、図１１のＡの観察条件における立体像空間は、撮影空間と同様に奥行歪みが生じない立体像空間であり、図１１のＡの観察条件による立体視を図８のＡと同様に撮影等価視という。
【0103】
図１１のＢは、撮影等価視の観察条件での視距離ＷＤ０・Ｅ／Ｅ０に対して実際の視距離Ｗが異なる場合の像点ＩＣの位置を示した図である。この場合、像点ＩＲと像点ＩＬとの間の距離が変化しない。一方、視距離Ｗが撮影等価視の場合と異なるため、像点ＩＣから表示面ＳＭまでの距離が撮影等価視のときの距離Ｌ０・Ｅ／Ｅ０とは異なる。したがって、図１１のＢでは奥行歪みが発生する。
【0104】
図１１のＣは、図１１のＢの視距離Ｗでの観察において、三次元表示部２５の表示面ＳＭに表示される実際の右眼画像及び左眼画像の大きさが、撮影等価視での大きさに対してＡ倍（拡大倍率Ａ）となる場合の像点ＩＣの位置を示す。
【0105】
この場合、表示面ＳＭ上の像点ＩＲと像点ＩＬとの間の距離はＡ・Ｌ０・Ｅ／Ｅ０となる。また、像点ＩＣＲと像点ＩＣＬとの間の距離も撮影等価視の場合よりもＡ倍に拡大される。したがって、像点ＩＣの奥行方向の位置も図１１のＢの場合と異なる。
【0106】
ここで、像点ＩＣから表示面ＳＭまでの距離（引込量）をＤｙとすると、奥行歪みが生じていないと仮定した場合の引込量Ｄｙの値Ｄｙ０（本来の引込量Ｄｙ０という）は、像点ＩＲと像点ＩＬとの間の距離Ａ・Ｌ０・Ｅ／Ｅ０である。
【0107】
なお、立体像空間における像点の本来の引込量Ｄｙ０（表示面ＳＭまでの本来の距離）とは、本来の飛出量Ｄｘ０と同様に、その像点として再現される撮影空間における物点の基準面ＳＢまでの距離と、基準面ＳＢ上の２つの物点の間の距離とが等しい場合に、立体像空間において、その基準面ＳＢ上の２つの物点が表示面ＳＭ上に再現される２つの像点の間の距離であると定義することができる。
【0108】
そして、奥行方向の本来の引込量Ｄｙ０の位置における奥行歪み率αをＤｙ／Ｄｙ０として定義すると、奥行歪み率αは次式（４）により表される。
【0109】
【数3】
【0110】
ただし、Ｐｙ０は、次式（５）により表される視差量であって図１１のＡの撮影等価視における像点ＩＣＲと像点ＩＣＬとの間の距離の２分の１の値を示す。
【0111】
【数4】
【0112】
なお、基準面ＳＢ及び表示面ＳＭよりも手前側の距離を正の値、奥側の距離を負の値とするか、又は、その逆とすることで、表示面ＳＭよりも手前側か奥側かに関係なく、式（１）（及び式（２））と、式（４）（及び式（５））のうちのいずれか一方のみを用いて奥行歪み率αを算出することができる。ただし、表示面ＳＭ上（Ｌ０＝０）における奥行歪み率αは式（１）又は式（４）により求まる値ではなく、１とする。
【0113】
また、奥行歪み情報生成部４２は、奥行歪み情報として奥行方向の歪みの大きさを表す情報として、上記の奥行歪み率α以外の奥行歪み情報を生成してもよい。例えば、奥行歪み情報生成部４２は、奥行歪み率αを算出する代わりに奥行歪み率αの逆数（１／α）を奥行歪み率として算出してもよい。また、奥行歪み情報生成部４２は、奥行歪み率αの代わりに飛出量Ｄｘと本来の飛出量Ｄｘ０との差分及び引込量Ｄｙと本来の引込量Ｄｙ０との差分を算出してもよい。
【0114】
＜奥行歪み情報の第１形態（マップ方式）＞
続いて、奥行歪み情報生成部４２において生成される奥行歪み情報の第１形態（マップ方式）について説明する。
続いて、奥行歪み情報生成部４２において生成される奥行歪み情報の第１形態（マップ方式）について説明する。
【0115】
図２において、奥行歪み情報生成部４２は、撮影条件取得部４３からの基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢ、観察条件取得部４４からの眼幅２・Ｅ、対角画面サイズＬＭに基づいて次のような処理を行って図１２、図１３のような奥行歪みマップを生成する。
【0116】
なお、図１２の奥行歪みマップは、基線長２・Ｅ０が２０ｍｍ、撮影距離ＷＤ０が５００ｍｍ、撮影範囲対角画角サイズＬＢが７０ｍｍ、眼幅２・Ｅが６５ｍｍ、対角画面サイズＬＭが１３９７ｍｍの場合を示す。図１３の奥行歪みマップは、基線長２・Ｅ０が５５ｍｍ、撮影距離ＷＤ０が５００ｍｍ、撮影範囲対角画角サイズＬＢが１７０ｍｍ、眼幅２・Ｅが６５ｍｍ、対角画面サイズＬＭが７８７．４ｍｍの場合を示す。
【0117】
まず、奥行歪み情報生成部４２は、上式（１）及び上式（４）における拡大倍率Ａを、次式（６）により求める。
【0118】
Ａ＝ＬＭ／（ＬＢ・Ｅ／Ｅ０）
・・・（６）
・・・（６）
【0119】
また、奥行歪み情報生成部４２は、撮影空間の物点の基準面ＳＢまでの距離Ｌ０に関して、所定の最小値（例えば１ｍｍ）から所定の最大値（例えば６５ｍｍ）までの一定間隔（例えば２ｍｍ間隔）の値を距離Ｌ０に代入する距離代入値Ｌ０［ｎ］とする。ただし、ｎは、距離代入値の小さい順に１から順に付した要素番号である。
【0120】
図１２の奥行歪みマップにおいて、左側の指標列６０の中央よりも上側の範囲（以下、引込範囲７０Ｕという）には、基準面ＳＢよりも奥側の物点を想定した場合の距離代入値Ｌ０［ｎ］が示される。指標列６０の中央よりも下側の範囲（以下、飛出範囲７０Ｄという）には、基準面ＳＢよりも手前側の物点を想定した場合の距離代入値Ｌ０［ｎ］が示される。
【0121】
また、奥行歪み情報生成部４２は、物点の基準面ＳＢまでの距離Ｌ０を距離代入値Ｌ０［ｎ］としたときの撮影等価視における像点の飛出量Ｌ０［ｎ］・Ｅ／Ｅ０及び引込量Ｌ０［ｎ］・Ｅ／Ｅ０と、視差量Ｐｘ０及びＰｙ０を算出する。
【0122】
図１２の奥行歪みマップにおいて、指標列６０の右隣の列６１の引込範囲７０Ｕには、指標列６０の距離代入値Ｌ０［ｎ］に対応した引込量Ｌ０［ｎ］・Ｅ／Ｅ０が示される。列６１の飛出範囲７０Ｄには、指標列６０の距離代入値Ｌ０［ｎ］に対応した飛出量Ｌ０［ｎ］・Ｅ／Ｅ０が示される。
【0123】
また、図１２の奥行歪みマップにおいて、列６１の右隣の列６２の引込範囲７０Ｕには、指標列６０の距離代入値Ｌ０［ｎ］に対応した視差量Ｐｙ０が示される。列６２の飛出範囲７０Ｄには、指標列６０の距離代入値Ｌ０［ｎ］に対応した視差量Ｐｘ０が示される。
【0124】
また、奥行歪み情報生成部４２は、視距離Ｗに関して、所定の最小値（例えば３５ｃｍ）から所定の最大値（例えば２０００ｃｍ）までの一定間隔（例えば５０ｍｍ間隔）の値を視距離Ｗに代入する視距離代入値Ｗ［ｍ］とする。ただし、ｍは、視距離代入値の小さい順に１から順に付した要素番号である。
【0125】
図１２の奥行歪みマップにおいて、中央の指標行６３には視距離Ｗの視距離代入値Ｗ［ｍ］が示される。
【0126】
図２において、奥行歪み情報生成部４２は、撮影条件取得部４３からの基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢ、観察条件取得部４４からの眼幅２・Ｅ、対角画面サイズＬＭを用いて、視距離Ｗが各視距離代入値Ｗ［ｍ］の場合において、各距離代入値Ｌ０［ｎ］のときの奥行歪み率αを式（１）及び式（４）から算出する。
【0127】
ここで、視距離代入値Ｗ［ｍ］、かつ、距離代入値Ｌ０［ｎ］の場合の奥行歪み率αをα［ｎ］［ｍ］で表す。また、奥行歪み率α［ｎ］［ｍ］は、距離Ｌ０を距離代入値Ｌ０［ｎ］としたときの立体像空間における像点の本来の飛出量Ｄｘ０及び引込量Ｄｙ０（表示面ＳＭまでの本来の距離）の位置における奥行歪み率αを表す。本来の飛出量Ｄｘ０及び引込量Ｄｙ０はＤｘ０＝Ｄｙ０＝Ａ・Ｌ０［ｎ］・Ｅ／Ｅ０である。拡大倍率Ａは、Ａ＝ＬＭ／（ＬＢ・Ｅ／Ｅ０）により算出される。
【0128】
図１２の奥行歪みマップの奥行歪み表示範囲６４において引込範囲７０Ｕには、視距離Ｗが視距離代入値Ｗ［ｍ］を示す列の距離Ｌ０［ｎ］の行に式（４）により算出された奥行歪み率α［ｎ］［ｍ］が示される。
【0129】
同様に、奥行歪みマップの奥行歪み表示範囲６４において飛出範囲７０Ｄには、視距離Ｗが視距離代入値Ｗ［ｍ］を示す列の距離Ｌ０［ｎ］の行に式（１）により算出された奥行歪み率α［ｎ］［ｍ］が示される。
【0130】
なお、図１２の奥行歪みマップにおいては奥行歪み率α［ｎ］［ｍ］は百分率（パーセント）で示されるが、これに限らない。
【0131】
また、奥行歪み情報生成部４２は、図１２の奥行歪みマップの奥行歪み表示範囲６４において、奥行歪み率αが１となる数値表示領域の背景を例えば黄色とする。そして、奥行歪み情報生成部４２は、奥行歪み率αが１から増加するにつれて、数値表示領域の背景を例えば赤色に遷移させ、奥行歪み率αが１から減少するにつれて、数値表示領域の背景を例えば青色に遷移させる。これにより奥行歪み率αの大きさを色により視覚的に把握することができる。
【0132】
更に、奥行歪み情報生成部４２は、観察条件取得部４４から現在の視距離Ｗを読み込み、現在の視距離Ｗに最も値が近い視距離代入値Ｗ［ｍ］の列を中央に含む例えば合計３列を図１４のように色付き枠や高輝度枠等の強調枠６５で囲み、奥行歪み情報（情報表示画像）を完成させる。これにより、現在の視距離Ｗに対応する奥行歪み率の表示部分が強調される。なお、奥行歪み情報生成部４２は、強調表示する列の数字を他の列と数字と異なる色、太さ、又は大きさで表示してもよい。
【0133】
【0134】
ステップＳ１０では、撮影部２１の右カメラ３１Ｒ及び左カメラ３１Ｌは、観察領域を撮影し、観察領域の三次元画像（右眼画像及び左眼画像）を取得する。そして、画像処理部２４の画像取込部４１は、右眼画像を右カメラ制御部２２を介して、左眼画像を左カメラ制御部２３を介して取り込む。処理はステップＳ１０からステップＳ１１に進む。
【0135】
ステップＳ１１では、画像処理部２４の撮影条件取得部４３は、撮影条件の情報として基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢを取得する。処理はステップＳ１１からステップＳ１２に進む。
【0136】
ステップＳ１２では、画像処理部２４の観察条件取得部４４は、観察条件の情報として対角画面サイズＬＭを取得する。また、観察条件取得部４４は、観察条件の情報として、視点検出センサ２６により検出された観察者の両眼の位置に基づいて眼幅２・Ｅと視距離Ｗを測定（算出）する。処理はステップＳ１２からステップＳ１３に進む。
【0137】
ステップＳ１３では、画像処理部２４の奥行歪み情報生成部４２は、撮影条件取得部４３により取得された撮影条件と観察条件取得部４４により取得された観察条件とに基づいて、奥行歪み情報を生成する。処理はステップＳ１３からステップＳ１４に進む。
【0138】
ステップＳ１４では、画像処理部２４の出力画像生成部４５は、ステップＳ１０において画像取込部４１に取り込まれた観察領域の三次元画像の所定領域範囲に対して、奥行歪み情報生成部４２により生成された奥行歪み情報を重畳する。処理はステップＳ１４からステップＳ１５に進む。
【0139】
ステップＳ１５では、画像処理部２４の出力部４６は、ステップＳ１４において奥行歪み情報が重畳された三次元画像を三次元表示部２５に対応した信号形式の画像信号に変換して三次元表示部２５に供給する。処理はステップＳ１５からステップＳ１６に進む。
【0140】
ステップＳ１６では、三次元表示部２５は、供給された画像信号により奥行歪み情報が重畳された三次元画像を表示面に表示させる。これにより、図１６に示すように三次元表示部２５の表示面には、奥行歪み情報８１が重畳された観察領域の三次元画像８０が表示される。処理はステップＳ１６からステップＳ１０に戻り、ステップＳ１０乃至ステップＳ１６の処理が繰り返される。
【0141】
【0142】
画像処理部２４における処理が図１５のステップＳ１２からステップＳ１３に進むと、図１７のステップＳ２０において、奥行歪み情報生成部４２は、撮影条件取得部４３から基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢを読み込み、観察条件取得部４４から眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭを読み込む。処理はステップＳ２０からステップＳ２１に進む。
【0143】
ステップＳ２１では、奥行歪み情報生成部４２は、ステップＳ２０で読み込んだ基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢ、眼幅２・Ｅ、及び、対角画面サイズＬＭに基づいて図１２に示したような奥行歪みマップを生成する。処理はステップＳ２１からステップＳ２２に進む。
【0144】
ステップＳ２２では、奥行歪み情報生成部４２は、ステップＳ２０で読み込んだ視距離Ｗ（現在の視距離Ｗ）に基づいて、奥行歪みマップ上の視距離Ｗに対応する奥行歪み率の表示部分を強調した奥行歪み情報（図１４参照）を生成する。そして、奥行歪み情報生成部４２は生成した奥行歪み情報を出力画像生成部４５に供給する。処理はステップＳ２２から図１５のステップＳ１４に進む。
【0145】
以上の手術画像表示システムの第１の実施の形態によれば、三次元表示部２５に表示されている三次元画像を立体視している観察者は、奥行歪み情報により、立体像空間において生じている奥行歪みの大きさを把握することができ、観察者における奥行方向の距離の把握が支援（容易化）される。なお、奥行歪み情報として、現在の視距離に対応する奥行歪み率のみを生成、表示させるようにしてもよい。
【0146】
＜奥行歪み情報の第２形態（図形方式）＞
図１８は、奥行歪み情報の第２形態を示した図である。
図１８は、奥行歪み情報の第２形態を示した図である。
【0147】
図２の奥行歪み情報生成部４２は、奥行歪み情報の第２形態として、撮影空間における右カメラ３１Ｒの光軸及び左カメラ３１Ｌの光軸を含む平面に所定半径の真円を想定し、その想定した真円の円周が立体像空間において再現（融像）される像の形状（曲線）を視覚的に表す。
【0148】
図１８は、奥行歪み情報の第２形態を示した図である。図中、横軸は三次元表示部２５の表示面ＳＭ上の任意の位置を基準点としたときの三次元表示部２５の表示面ＳＭに沿った方向の基準点からの距離を表し、縦軸は、観察者の眼からの距離を示す。
【0149】
奥行歪み情報生成部４２は、立体像空間において表示面ＳＭの上下方向に直交する水平面上に、奥行歪みが生じていないと仮定して図１８の破線で示す真円９２を想定する。
【0150】
そして、奥行歪み情報生成部４２は、想定した真円９２の円周上の各点の表示面ＳＭまでの距離に対してその距離における奥行歪み率α（現在の視距離Ｗに対する奥行歪み率α）を乗じて、奥行歪みが生じている場合の立体像空間において真円９２の円周上の各点が再現される位置を通る曲線（歪み円）９１を描画した奥行歪み情報を生成する。この歪み円９１が奥行歪み情報をとして三次元表示部２５に表示されることで観察者は真円９２に対する歪み円９１の歪み具合から立体像空間の奥行歪みの状態を把握することができる。
【0151】
奥行歪み情報生成部４２は、立体像空間において想定する真円の中心位置を、例えば図１８の真円９２のように表示面ＳＭ上の点とすることで、表示面ＳＭよりも奥側と手前側の両方の奥行歪みを同時に視認できるようにしてもよい。また、奥行歪み情報生成部４２は、表示面ＳＭよりも手前側と奥側の各々の領域のみに含まれる真円を想定することで、図１９のＡ、Ｂのように表示面ＳＭよりも奥側と手前側の歪み円９３、９４を別々に描画した奥行歪み情報を生成してもよい。また、奥行歪み情報生成部４２は、図１９のＡ、Ｂの歪み円９３、９４を１つの座標面上に描画した奥行歪み情報を生成してもよい。さらに、奥行歪み情報生成部４２は、想定する真円の中心位置や大きさが異なる奥行歪み情報を、ユーザの指示にしたがって切り替えるようにしてもよい。
【0152】
【0153】
図１５のステップＳ１２からステップＳ１３に進むと、図２０のステップＳ３０において、奥行歪み情報生成部４２は、撮影条件取得部４３から基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢを読み込み、観察条件取得部４４から眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭを読み込む。処理はステップＳ３０からステップＳ３１に進む。
【0154】
ステップＳ３１では、奥行歪み情報生成部４２は、基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢ、眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭに基づいて、立体像空間に想定した真円の円周が通過する位置（表示面ＳＭからの距離）の奥行歪み率αを算出する。処理はステップＳ３１からステップＳ３２に進む。
【0155】
ステップＳ３２では、奥行歪み情報生成部４２は、立体像空間において想定した真円の円周が通過する位置の表示面ＳＭまでの距離を本来の飛出量Ｄｘ０又は引込量Ｄｙ０とする。そして、奥行歪み情報生成部４２は、奥行歪み率αに基づいて、立体像空間において想定した真円の円周上の点が像点として知覚される飛出量Ｄｘ又は引込量Ｄｙの位置を通過する曲線（歪み円）を描画した奥行歪み情報を生成する。奥行歪み情報生成部４２は生成した奥行歪み情報を出力画像生成部４５に供給する。処理はステップＳ３２から図１５のステップＳ１４に進む。
【0156】
これにより、図２１に示すように三次元表示部２５の表示面ＳＭには、観察領域を撮影した三次元画像８０と奥行歪み情報８５とが重畳表示される。
【0157】
なお、奥行歪み情報生成部４２は、奥行歪みが生じていないと仮定した場合の立体像空間において真円を想定し、その真円が奥行歪みにより変形した形状（歪み円）を表した奥行歪み情報を生成した。奥行歪み情報生成部４２は、奥行歪みが生じていないと仮定した場合の立体像空間において真円以外の形状の想定し、奥行歪みによって変形した形状を表した奥行歪み情報を生成してもよい。
【0158】
以上の奥行歪み情報の第２形態によれば、三次元表示部２５に表示されている三次元画像を立体視している観察者は、立体像空間において生じている奥行歪みの大きさを視覚的に把握することができ、観察者における奥行方向の距離の把握が支援（容易化）される。
【0159】
＜＜手術画像表示システムの第２の実施の形態＞＞
手術画像表示システムの第２の実施の形態は、三次元表示部２５の表示面に表示された三次元画像を立体視する観察者が視距離Ｗを変更することによって、又は、撮影部２１の基線長２・Ｅ０、又は撮影距離ＷＤ０を変更することによって、最適な視距離Ｗとなった場合に、最適な視距離Ｗであることを奥行歪み情報として表示する。
手術画像表示システムの第２の実施の形態は、三次元表示部２５の表示面に表示された三次元画像を立体視する観察者が視距離Ｗを変更することによって、又は、撮影部２１の基線長２・Ｅ０、又は撮影距離ＷＤ０を変更することによって、最適な視距離Ｗとなった場合に、最適な視距離Ｗであることを奥行歪み情報として表示する。
【0160】
図２２は、手術画像表示システムの第２の実施の形態における画像処理部１０１の構成例を示したブロック図である。なお、図中、図２の画像処理部２４と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0161】
図２２の画像処理部１０１は、図１の手術画像表示システムの画像処理部２４の代わりに設けられ、画像取込部４１、奥行歪み情報生成部１０２、撮影条件取得部４３、観察条件取得部４４、出力画像生成部４５、出力部４６、操作部４７、及び、最適視距離判断部１０３を有する。したがって、図２２の画像処理部１０１は、画像取込部４１、撮影条件取得部４３、観察条件取得部４４、出力画像生成部４５、出力部４６、及び、操作部４７を有する点で、図２の画像処理部２４と共通する。ただし、図２２の画像処理部１０１は、奥行歪み情報生成部１０２が図２の奥行歪み情報生成部４２の代わりに設けられている点、及び、最適視距離判断部１０３が新たに設けられている点で、図２の画像処理部２４と相違する。
【0162】
奥行歪み情報生成部１０２は、撮影条件取得部４３からの基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢと、観察条件取得部４４からの眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭとに基づいて図２の奥行歪み情報生成部４２と同様に奥行歪みマップを生成する。
【0163】
また、奥行歪み情報生成部１０２は、現在の視距離Ｗに対応する奥行歪み率αの表示部分を強調して表した図１４のような奥行歪み情報を生成する。
【0164】
最適視距離判断部１０３は、撮影条件取得部４３から基線長２・Ｅ０、及び、撮影距離ＷＤ０を取得するとともに、観察条件取得部４４から眼幅２・Ｅを取得し、取得した基線長２・Ｅ０、撮影距離ＷＤ０、及び、眼幅２・Ｅ０に基づいて、最適な視距離Ｗｃを求める。
【0165】
ここで、上式（３）において、表示面ＳＭ上の位置において奥行歪み率αが１となるときの視距離Ｗは、Ｌ０＝０とおいたときの視距離Ｗの値ＷＤ０・Ｅ／Ｅ０であり、拡大倍率Ａに依存しない。
【0166】
一方、最適な視距離Ｗｃは、表示面ＳＭ付近での奥行歪みが小さくなる視距離Ｗであるとすると、立体像空間における位置（像点）が表示面ＳＭに対して奥側及び手前側から近づくに従って奥行歪み率が１に近づく視距離Ｗと定義することができる。
【0167】
このとき、最適な視距離Ｗｃは、表示面ＳＭ上の位置（Ｌ０＝０）において上式（３）がα＝１を示す視距離ＷＤ０・Ｅ／Ｅ０となる。すなわち、最適な視距離Ｗｃは、次式（７）により算出される。
【0168】
Ｗｃ＝ＷＤ０・Ｅ／Ｅ０
・・・（７）
・・・（７）
【0169】
そこで、最適視距離判断部１０３は、最適な視距離ＷｃとしてＷＤ０・Ｅ／Ｅ０を求める。
【0170】
また、最適視距離判断部１０３は、観察条件取得部４４から所定時間おきに現在の視距離Ｗを取得し、取得した現在の視距離Ｗが最適な視距離Ｗｃであるか否かを判定する。具体的には、最適視距離判断部１０３は、現在の視距離Ｗと最適な視距離Ｗｃとの差の絶対値が所定の閾値以下となったかを否かを判定する。閾値は、例えば、最適な視距離Ｗｃと、最適な視距離Ｗｃに一致したとみなせる値との差の絶対値の最大値に設定される。
【0171】
最適視距離判断部１０３は、現在の視距離Ｗが最適な視距離Ｗｃであると判定したときに最適視距離通知を奥行歪み情報生成部１０２に与える。
【0172】
なお、観察者が移動して視距離Ｗを変更した場合に限らず、撮影部２１の基線長２・Ｅ０、又は、撮影距離ＷＤ０をユーザ等が変更することによって現在の視距離Ｗが最適な視距離Ｗｃになった場合も最適視距離判断部１０３は最適視距離通知を奥行歪み情報生成部１０２に与える。
【0173】
奥行歪み情報生成部１０２は、最適視距離判断部１０３から最適視距離通知が与えられると、現在の視距離Ｗが最適であることを観察者に通知する最適視距離通知情報を奥行歪みマップ（奥行歪み情報）に追加する。奥行歪み情報生成部１０２は、最適視距離通知情報として、例えば、図２３のように現在の視距離Ｗの列を囲む枠１１０を、現在の視距離Ｗが最適な視距離Ｗｃになっていない場合に表示される強調枠６５とは異なる形態に切り替える。枠１１０は、太さや色等の表示形態が通常の強調枠６５と異なる。
【0174】
また、奥行歪み情報生成部１０２は、”最適視距離”のような文字情報を最適視距離通知情報として奥行歪み情報に加えてもよい。
【0175】
また、奥行歪み情報生成部１０２は、現在の視距離Ｗに対して最適な視距離Ｗｃの方向を示す図２３の矢印１１１のような案内画像を奥行歪み情報に加えてもよい。
【0176】
また、奥行歪み情報生成部１０２は、図１８等に示した奥行歪み情報の第２形態を生成してもよい。この場合の最適視距離通知情報として、奥行歪み情報生成部１０２は、奥行歪み情報の画像全体を通常と異なる色に切り替えてもよいし、”最適視距離”のような文字情報を最適視距離通知情報として奥行歪み情報に加えてもよい。
【0177】
＜手術画像表示システムの第２の実施の形態における奥行歪み情報生成部及び最適視距離判断部の処理手順＞
図２４は、手術画像表示システムの第２の実施の形態における画像処理部１０１の奥行歪み情報生成部１０２及び最適視距離判断部１０３が行う奥行歪み情報生成の処理の例を示したフローチャートである。
図２４は、手術画像表示システムの第２の実施の形態における画像処理部１０１の奥行歪み情報生成部１０２及び最適視距離判断部１０３が行う奥行歪み情報生成の処理の例を示したフローチャートである。
【0178】
【0179】
図１５のステップＳ１２からステップＳ１３に進むと、図２４のステップＳ４０において、奥行歪み情報生成部１０２は、撮影条件取得部４３から基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢを読み込み、観察条件取得部４４から眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭを読み込む。処理はステップＳ４０からステップＳ４１に進む。
【0180】
ステップＳ４１では、奥行歪み情報生成部１０２は、ステップＳ４０で読み込んだ基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢ、眼幅２・Ｅ、及び、対角画面サイズＬＭに基づいて奥行歪みマップ（図１２参照）を生成する。処理はステップＳ４１からステップＳ４２に進む。
【0181】
ステップＳ４２では、奥行歪み情報生成部１０２は、ステップＳ４０で読み込んだ視距離Ｗに基づいて、奥行歪みマップ上の視距離Ｗに対応する奥行歪み率の表示部分を強調した奥行歪み情報（図１４参照）を生成する。処理はステップＳ４２からステップＳ４３に進む。
【0182】
ステップＳ４３では、最適視距離判断部１０３は、撮影条件取得部４３から基線長２・Ｅ０、撮影距離ＷＤ０を取得するとともに、観察条件取得部４４から眼幅２・Ｅを取得し、取得した基線長２・Ｅ０、撮影距離ＷＤ０、眼幅２・Ｅに基づいて、最適な視距離Ｗｃを上式（７）を用いて求める。処理はステップＳ４３からステップＳ４４に進む。
【0183】
ステップＳ４４では、最適視距離判断部１０３は、観察条件取得部４４から現在の視距離Ｗを読み込み、現在の視距離ＷがステップＳ４３で求めた最適な視距離Ｗｃであるか否かを判定する。
【0184】
ステップＳ４４において、現在の視距離Ｗが最適な視距離Ｗｃであると判定された場合、最適視距離判断部１０３から奥行歪み情報生成部１０２に最適視距離通知が与えられる。そして、処理はステップＳ４５に進み、奥行歪み情報生成部１０２は、図２３の枠１１０のように奥行歪みマップに最適視距離通知情報を追加した奥行歪み情報を生成する。処理はステップＳ４６に進む。
【0185】
また、ステップＳ４４において、現在の視距離Ｗが最適な視距離ではないと判定された場合、処理はステップＳ４５をスキップして、ステップＳ４６に進む。
【0186】
ステップＳ４６では、奥行歪み情報生成部１０２は、ステップＳ４２で生成された奥行歪み情報又はステップＳ４５で最適通知情報が追加された奥行歪み情報を出力画像生成部４５に供給する。処理はステップＳ４６から図１５のステップＳ１４に進む。
【0187】
これにより、三次元表示部２５の表示面ＳＭには図２５に示すように観察領域を撮影した三次元画像８０と最適視距離通常情報が追加された奥行歪み情報１１２とが表示される。
【0188】
以上の手術画像表示システムの第２の実施の形態によれば、三次元表示部２５に表示されている三次元画像を立体視している観察者は、奥行歪み情報により、立体像空間において生じている奥行歪みの大きさを把握することができ、観察者における奥行方向の距離の把握が支援（容易化）される。また、観察者は、自身の位置や三次元表示部２５の位置を調整し、または、撮影部２１の基線長２・Ｅ０や撮影距離ＷＤ０を調整して最適な視距離に設定することが容易となる。
【0189】
＜＜手術画像表示システムの第３の実施の形態＞＞
図２６は、手術画像表示システムの第３の実施の形態の構成例を示したブロックである。
図２６は、手術画像表示システムの第３の実施の形態の構成例を示したブロックである。
【0190】
なお、図中、図１の手術画像表示システム１１と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0191】
図２６の手術画像表示システム１２０は、撮影部２１、右カメラ制御部２２、左カメラ制御部２３、画像処理部１２１、及び、ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）１２２を有する。したがって、図２３の手術画像表示システム１２０は、撮影部２１、右カメラ制御部２２、及び、左カメラ制御部２３を有する点で図１の手術画像表示システム１１と共通する。だたし、図２６の手術画像表示システム１２０は、画像処理部１２１及びＨＭＤ１２２が図１の手術画像表示システム１１の画像処理部２４及び三次元表示部２５の代わりに設けられている点、及び、図１の視点検出センサ２６が設けられていない点で、図１の手術画像表示システム１１と相違する。
【0192】
【0193】
また、ＨＭＤ１２２は、立体像空間における観察者の眼から表示面（仮想画面）まで視距離Ｗを外部信号に基づいて変更する機能を有する。なお、ＨＭＤ１２２に限らず、三次元画像を立体視可能に表示し、かつ、外部信号に基づいて表示面の奥行方向の位置を変更することにより観察者の眼から表示面までの視距離を変更することができる三次元表示部を、手術画像表示システムの第３の実施の形態において採用することできる。
【0194】
＜手術画像表示システムの第３の実施の形態における画像処理部の構成＞
図２７は、図２６の画像処理部１２１の構成例を示したブロック図である。なお、図中、図２の画像処理部２４と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
図２７は、図２６の画像処理部１２１の構成例を示したブロック図である。なお、図中、図２の画像処理部２４と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0195】
図２７の画像処理部１２１は、画像取込部４１、奥行歪み情報生成部４２、撮影条件取得部４３、観察条件取得部１２４、出力画像生成部４５、出力部４６、操作部４７、及び、最適視距離制御部１２５を有する。したがって、図２７の画像処理部１２１は、画像取込部４１、奥行歪み情報生成部４２、撮影条件取得部４３、出力画像生成部４５、出力部４６、及び、操作部４７を有する点で、図２の画像処理部２４と共通する。ただし、図２７の画像処理部１２１は、観察条件取得部１２４が図２の観察条件取得部４４の代わりに設けられている点、及び、最適視距離制御部１２５が新たに設けられている点で、図２の画像処理部２４と相違する。
【0196】
観察条件取得部１２４は、観察者の視距離Ｗと、表示面ＳＭ（仮想画面）の対角画面サイズＬＭとをＨＭＤ１２２から取得するとともに、操作部４７の操作によりユーザが入力した観察者の眼幅２・Ｅを取得する。なお、観察条件取得部１２４は眼幅２・ＥもＨＭＤ１２２から取得してもよい。
【0197】
最適視距離制御部１２５は、撮影条件取得部４３から基線長２・Ｅ０、及び、撮影距離ＷＤ０を取得するとともに、観察条件取得部１２４から眼幅２・Ｅを取得する。最適視距離制御部１２５は、手術画像表示システムの第２の実施の形態における最適視距離判断部１０３（図２２参照）と同様に、取得した基線長２・Ｅ０、撮影距離ＷＤ０、及び、眼幅２・Ｅに基づいて、最適な視距離ＷｃをＷＤ０・Ｅ／Ｅ０により算出する。
【0198】
そして、最適視距離制御部１２５は、算出した最適な視距離Ｗｃを外部信号（視距離目標値）としてＨＭＤ１２２に与えて、ＨＭＤ１２２の視距離Ｗを最適な視距離Ｗｃに設定する。
【0199】
ただし、最適視距離制御部１２５は、最適な視距離ＷｃがＨＭＤ１２２において調整可能な視距離Ｗの範囲内の値でない場合には、調整可能な視距離Ｗの範囲の下限値及び上限値のうち、最適な視距離Ｗｃに近い方の値を最適な視距離Ｗｃとする。
【0200】
＜手術画像表示システムの第３の実施の形態における奥行歪み情報生成部及び最適視距離制御部の処理手順＞
図２８は、手術画像表示システムの第３の実施の形態における画像処理部１２１の奥行歪み情報生成部４２及び最適視距離制御部１２５が行う奥行歪み情報生成及び視距離制御の処理の例を示したフローチャートである。
図２８は、手術画像表示システムの第３の実施の形態における画像処理部１２１の奥行歪み情報生成部４２及び最適視距離制御部１２５が行う奥行歪み情報生成及び視距離制御の処理の例を示したフローチャートである。
【0201】
なお、手術画像表示システムの第２の実施の形態における処理は、図１５のフローチャートと同じ手順で行われ、図２８のフローチャートは、図１５のステップＳ１３において行われる処理である。図１５のステップＳ１２では、観察条件取得部１２４は、観察者の視距離Ｗと、表示面ＳＭ（仮想画面）の対角画面サイズＬＭ（三次元画像が表示される領域の対角の長さ）とをＨＭＤ１２２から取得するとともに、操作部４７の操作によりユーザが入力した観察者の眼幅２・Ｅを取得する。
【0202】
図１５のステップＳ１２からステップＳ１３に進むと、図２８のステップＳ６０において、最適視距離制御部１２５は、撮影条件取得部４３から基線長２・Ｅ０、及び、撮影距離ＷＤ０を読み込み、観察条件取得部１２４から眼幅２・Ｅを読み込む。処理はステップＳ６０からステップＳ６１に進む。
【0203】
ステップＳ６１では、最適視距離制御部１２５は、ステップＳ６１で読み込んだ基線長２・Ｅ０、撮影距離ＷＤ０、及び、眼幅２・Ｅに基づいて、最適な視距離Ｗｃを上式（７）を用いて求める。処理はステップＳ６１からステップＳ６２に進む。
【0204】
ステップＳ６２では、最適視距離制御部１２５は、ステップＳ６１で求めた最適な視距離Ｗｃを視距離目標値（外部信号）としてＨＭＤ１２２に与える。これによって、ＨＭＤ１２２において視距離が最適な視距離Ｗｃに設定される。処理はステップＳ６２からステップＳ６３に進む。
【0205】
ステップＳ６３では、奥行歪み情報生成部４２は、撮影条件取得部４３から基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢを読み込み、観察条件取得部１２４から眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭを読み込む。処理はステップＳ６３からステップＳ６４に進む。
【0206】
ステップＳ６４では、奥行歪み情報生成部４２は、ステップＳ６３で読み込んだ基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢ、眼幅Ｅ、及び、対角画面サイズＬＭに基づいて奥行歪みマップ（図１２参照）を生成する。処理はステップＳ６４からステップＳ６５に進む。
【0207】
ステップＳ６５では、奥行歪み情報生成部４２は、ステップＳ６３で読み込んだ視距離Ｗに対応する奥行歪みマップ上の奥行歪み率の表示部分を強調した奥行歪み情報（図１４参照）を生成する。生成された奥行歪み情報は、奥行歪み情報生成部４２から出力画像生成部４５に供給される。処理はステップＳ６４から図１５のステップＳ１４に進む。
【0208】
なお、手術画像表示システムの第３の実施の形態においてＨＭＤ１２２に表示される三次元画像及び奥行歪み情報は手術画像表示システムの第１の実施の形態の場合の図１６に示した表示画像と同じである。また、奥行歪み情報生成部４２は、図１８等に示した奥行歪み情報の第２形態を生成してもよい。
【0209】
以上の手術画像表示システムの第３の実施の形態によれば、ＨＭＤ１２２に表示されている三次元画像を立体視している観察者は、奥行歪み情報により、立体像空間において生じている奥行歪みの大きさを把握することができ、観察者における奥行方向の距離の把握が支援（容易化）される。また、ＨＭＤ１２２における表示面（仮想画面）が最適な視距離となる位置に自動的に設定される。
【0210】
＜＜手術画像表示システムの第４の実施の形態＞＞
図２９は、手術画像表示システムの第４の実施の形態の構成例を示したブロックである。
図２９は、手術画像表示システムの第４の実施の形態の構成例を示したブロックである。
【0211】
なお、図中、図１の手術画像表示システム１１と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0212】
図２９の手術画像表示システム１３０は、撮影部１３１、右カメラ制御部２２、左カメラ制御部２３、画像処理部１３２、三次元表示部２５、及び、視点検出センサ２６を有する。したがって、図２９の手術画像表示システム１３０は、右カメラ制御部２２、左カメラ制御部２３、三次元表示部２５、及び、視点検出センサ２６を有する点で図１の手術画像表示システム１１と共通する。だたし、図２９の手術画像表示システム１３０は、撮影部１３１及び画像処理部１３２が図１の手術画像表示システム１１の撮影部２１及び画像処理部２４の代わりにそれぞれ設けられている点で、図１の手術画像表示システム１１と相違する。
【0213】
図３０は、撮影部１３１の一形態を説明する図である。図３０に示すように撮影部１３１は右カメラ３１Ｒ及び左カメラ３１Ｌを有する。また、撮影部１３１は、基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢ（焦点距離ｆ）を画像処理部１３２からの外部信号に従って変更する。
【0214】
図３１は、撮影部１３１の他の形態を示す図である。図３１の撮影部１３１は、手術室に配置される複数の球体状のカメラ１４０を有する。各カメラ１４０は、ワイヤ１４１により天井から吊り下げられ、または、手術台等から上方に延設されたアーム１４２に支持されている。
【0215】
ワイヤ１４１に吊り下げられた各カメラ１４０は、ワイヤ１４１が天井のレールに沿って移動することにより、また、ワイヤ１４１の巻き上げと繰り出しとにより、空間を移動する。アーム１４２に支持された各カメラ１４０は、アーム１４２が手術台等のレールに沿って移動することにより、また、アーム１４２の伸縮又は上下動により、空間を移動する。
【0216】
なお、各カメラ１４０はドローンのように飛行によって空間を移動し、所望の位置で静止できるようにしてもよい。
【0217】
また、各カメラ１４０は、撮影方向と焦点距離（ズーム倍率）の変更が可能である。所望の２つのカメラ１４０を選択し、選択した２つのカメラ１４０の視線を同一平面に沿った方向に設定して撮影を行うことで、三次元画像を取得することができる。
【0218】
また、図３２のように、選択した２つのカメラ１４０の位置を変更することで基線長２・Ｅ０、撮影距離ＷＤ０を変更することができ、カメラ１４０の焦点距離ｆを変更することで、撮影範囲対角画角サイズＬＢを変更することができる。
【0219】
＜手術画像表示システムの第４の実施の形態における画像処理部の構成例＞
図３３は、図２９の手術画像表示システム１３０における画像処理部１３２の構成例を示したブロック図である。なお、図中、図２の画像処理部２４と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
図３３は、図２９の手術画像表示システム１３０における画像処理部１３２の構成例を示したブロック図である。なお、図中、図２の画像処理部２４と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0220】
図３３の画像処理部１３２は、図１の手術画像表示システム１１の画像処理部２４の代わりに設けられ、画像取込部４１、奥行歪み情報生成部４２、撮影条件取得部４３、観察条件取得部４４、出力画像生成部４５、出力部４６、操作部４７、及び、撮影条件制御部１３５を有する。したがって、図３３の画像処理部１３２は、画像取込部４１、奥行歪み情報生成部４２、撮影条件取得部４３、観察条件取得部４４、出力画像生成部４５、出力部４６、及び、操作部４７を有する点で、図２の画像処理部２４と共通する。ただし、図３３の画像処理部１３２は、撮影条件制御部１３５が新たに設けられている点で、図２の画像処理部２４と相違する。
【0221】
撮影条件制御部１３５は、操作部４７からユーザが指定する所望の拡大倍率Ａを取得する。
【0222】
拡大倍率Ａは上式（６）により表され、撮影条件の要素である撮影範囲対角画角サイズＬＢは上式（６）を変形することにより次式（８）により表される。なお、式中のＡｃはユーザにより指定された拡大倍率Ａである。
【0223】
ＬＢ＝ＬＭ／（Ａｃ・Ｅ／Ｅ０）
・・・（８）
・・・（８）
【0224】
撮影範囲対角画角サイズＬＢは、一般に撮影部１３１の焦点距離ｆ（ズーム倍率）と撮影距離ＷＤ０を変数とする関数Ｇ（ｆ,ＷＤ０）により表されることから、上式（８）は次式（９）で表される。
【0225】
ＬＭ／（Ａｃ・Ｅ）＝Ｇ（ｆ,ＷＤ０）／Ｅ０
・・・（９）
・・・（９）
【0226】
式（９）は、撮影条件の要素である撮影部１３１の焦点距離ｆ、撮影距離ＷＤ０、及び、基線長２・Ｅ０のうちの少なくとも一つを調整することで拡大倍率Ａをユーザ指定の拡大倍率Ａｃに設定できることを示す。
【0227】
また、撮影条件制御部１３５は、観察条件取得部４４から眼幅２・Ｅ、及び、視距離Ｗを読み込む。そして、撮影条件制御部１３５は、拡大倍率Ａをユーザ指定の拡大倍率Ａｃにするための撮影条件を求めると同時に、現在の視距離Ｗが最適な視距離Ｗｃになるための撮影条件を求める。
【0228】
即ち、上式（７）において視距離Ｗを最適な視距離Ｗｃとした場合に撮影距離ＷＤ０及び基線長２・Ｅ０は次式（１０）により表される。
【0229】
ＷＤ０／Ｅ０＝Ｗ／Ｅ
・・・（１０）
・・・（１０）
【0230】
撮影条件制御部１３５は、撮影部１３１の焦点距離ｆ、撮影距離ＷＤ０、及び、基線長２・Ｅ０のうちの少なくとも２つの要素を制御対象とし、制御対象の要素について式（９）及び式（１０）を満たす目標値を設定する。
【0231】
例えば、撮影条件制御部１３５は、撮影部１３１の焦点距離ｆ、撮影距離ＷＤ０、及び基線長２・Ｅ０のうちの焦点距離ｆと基線長２・Ｅ０を制御対象とする場合、式（１０）に基づいて２・Ｅ・ＷＤ０／Ｗを算出し、算出した値を基線長２・Ｅ０の目標値として設定する。基線長２・Ｅ０の目標値の算出において、撮影距離ＷＤ０は撮影条件取得部４３から読み込んだ値であり、眼幅Ｅ及び視距離Ｗは観察条件取得部４４から読み込んだ値である。
【0232】
一方、撮影条件制御部１３５は、式（９）を用いて焦点距離ｆを算出し、算出した値を焦点距離ｆの目標値として設定する。この焦点距離ｆの目標値の算出において、基線長２・Ｅ０は、式（１０）から求められた目標値、撮影距離ＷＤ０は撮影条件取得部４３から読み込んだ値、眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭは観察条件取得部４４から読み込んだ値である。
【0233】
撮影条件制御部１３５は、撮影部１３１の焦点距離ｆ、撮影距離ＷＤ０、及び基線長２・Ｅ０のうちの制御対象とした要素の目標値を外部信号として撮影部１３１に与え、制御対象を目標値の状態に変更させる。
【0234】
＜手術画像表示システムの第４の実施の形態における奥行歪み情報生成部及び撮影条件制御部の処理手順＞
図３４は、手術画像表示システムの第４の実施の形態における奥行歪み情報生成部４２及び撮影条件制御部１３５が行う奥行歪み情報生成及び撮影条件制御の処理の例を示したフローチャートである。
図３４は、手術画像表示システムの第４の実施の形態における奥行歪み情報生成部４２及び撮影条件制御部１３５が行う奥行歪み情報生成及び撮影条件制御の処理の例を示したフローチャートである。
【0235】
【0236】
図１５のステップＳ１２からステップＳ１３に進むと、図３４のステップＳ７０において、撮影条件制御部１３５は、観察条件取得部４４から眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭを読み込む。処理はステップＳ７０からステップ７１に進む。
【0237】
ステップＳ７１では、撮影条件制御部１３５は、ユーザ指定の拡大倍率Ａ（Ａｃ）を取得する。処理はステップＳ７１からステップＳ７２に進む。
【0238】
ステップＳ７２では、撮影条件制御部１３５は、ステップＳ７０で読み込んだ眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭと、ステップＳ７１で取得したユーザ指定の拡大倍率Ａｃとに基づいて、拡大倍率ＡがＡｃとなり、かつ、現在の視距離Ｗが最適な視距離Ｗｃとなるように焦点距離ｆ、撮影距離ＷＤ０、及び基線長２・Ｅ０の目標値を求める。
【0239】
なお、撮影条件制御部１３５は、焦点距離ｆ、撮影距離ＷＤ０、及び、基線長２・Ｅ０のうちのいずれか２つの要素のみを制御対象として目標値を求めてもよい。この場合には、撮影条件制御部１３５は、ステップＳ７０において制御対象以外の要素の現在値も撮影条件取得部４３から取得し、その要素の現在値と、眼幅２・Ｅ、視距離Ｗ、対角画面サイズＬＭ、及び、拡大倍率Ａｃとに基づいて制御対象の目標値を求める。
【0240】
そして、撮影条件制御部１３５は、求めた目標値を撮影部１３１に与える。これによって撮影部１３１において焦点距離ｆ、撮影距離ＷＤ０、及び、基線長２・Ｅ０が撮影条件制御部１３５から与えられた目標値の状態に設定される。処理はステップＳ７２からステップＳ７３に進む。
【0241】
なお、撮影条件制御部１３５は焦点距離ｆの代わりに撮影範囲対角画角サイズＬＢの目標値を撮影部１３１に与えてもよい。
【0242】
ステップＳ７３では、奥行歪み情報生成部４２は、撮影条件取得部４３から基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢを読み込み、観察条件取得部４４から眼幅２・Ｅ、及び、対角画面サイズＬＭを読み込む。処理はステップＳ７３からステップＳ７４に進む。
【0243】
ステップＳ７４では、奥行歪み情報生成部４２は、ステップＳ７３で読み込んだ基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢ、眼幅２・Ｅ、及び、対角画面サイズＬＭに基づいて奥行歪みマップ（図１２参照）を生成する。処理はステップＳ７４からステップＳ７５に進む。
【0244】
ステップＳ７５では、奥行歪み情報生成部４２は、観察条件取得部４４から視距離Ｗを読み込み、奥行歪みマップ上の視距離Ｗに対応する奥行歪み率の表示部分を強調した奥行歪み情報（図１４参照）を生成する。生成された奥行歪み情報は出力画像生成部４５に供給される。処理はステップＳ７５から図１５のステップＳ１４に進む。
【0245】
なお、手術画像表示システムの第４の実施の形態において三次元表示部２５に表示される三次元画像及び奥行歪み情報は手術画像表示システムの第１の実施の形態の場合の図１６に示した表示画像と同じである。また、奥行歪み情報生成部４２は、図１８等に示した奥行歪み情報の第２形態を生成してもよい。
【0246】
以上の手術画像表示システムの第４の実施の形態によれば、三次元表示部２５に表示されている三次元画像を立体視している観察者は、奥行歪み情報により、立体像空間において生じている奥行歪みの大きさを把握することができ、観察者における奥行方向の距離の把握が支援（容易化）される。また、撮影部１３１における撮影条件が、ユーザ指定の三次元画像の拡大倍率で、かつ、最適な視距離となるように自動的に設定される。
【0247】
＜＜手術画像表示システムの第５の実施の形態＞＞
図３５は、手術画像表示システムの第５の実施の形態における画像処理部１５０の構成例を示したブロック図である。なお、図中、図２の画像処理部２４と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
図３５は、手術画像表示システムの第５の実施の形態における画像処理部１５０の構成例を示したブロック図である。なお、図中、図２の画像処理部２４と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0248】
図３５の画像処理部１５０は、図１の手術画像表示システム１１の画像処理部２４の代わりに設けられ、画像取込部４１、奥行歪み情報生成部１５１、撮影条件取得部４３、観察条件取得部４４、出力画像生成部４５、出力部４６、操作部４７、及び、注目対象設定部１５２を有する。したがって、図３５の画像処理部１５０は、画像取込部４１、撮影条件取得部４３、観察条件取得部４４、出力画像生成部４５、出力部４６、操作部４７を有する点で、図２の画像処理部２４と共通する。ただし、図３５の画像処理部１５０は、奥行歪み情報生成部１５１が図２の奥行歪み情報生成部４２の代わりに設けられている点、及び、注目対象設定部１５２が新たに設けられている点で、図２の画像処理部２４と相違する。
【0249】
注目対象設定部１５２は、マウス（ポインディングデバイス）の操作等のユーザの所定の入力操作を操作部４７から取得し、ユーザの入力操作に基づいて、三次元表示部２５に表示されている三次元画像に対してユーザが指定する注目対象の領域を設定する。
【0250】
図３６は、三次元表示部２５に表示される奥行歪み情報２５Ｂが重畳された三次元画像２５Ａを例示した図である。図３６において、マーカー円１６０は、注目対象の領域の位置及び範囲を示し、注目対象の領域の範囲は円形範囲として設定される。
【0251】
ユーザが操作部４７の操作により注目対象の領域の中心位置を指定する操作（例えば、マウスのクリック操作）を行うと、図３５の注目対象設定部１５２は、指定された位置を中心とする既定の直径の円形範囲を注目対象の領域として設定する。
【0252】
また、ユーザが注目対象の領域の大きさ（直径）を指定する操作（例えば、マーカー円１６０の円周に対するマウスのドラッグ＆ドロップ操作）を行うと、注目対象設定部１５２は、注目対象の領域を、指定された大きさに変更する。図３７は、注目対象の領域の大きさが図３６の場合から大きく変更された場合のマーカー円１６０を示す。
【0253】
なお、ユーザは注目対象の領域の中心位置の指定に続けて円形範囲の直径を指定する操作（例えば、マーカー円１６０の円周以外の部分のマウスのドラッグ＆ドロップ操作）を行うこともできる。
【0254】
注目対象設定部１５２は、注目対象の領域の中心位置及び直径を奥行歪み情報生成部１５１に与える。
【0255】
奥行歪み情報生成部１５１は、撮影条件取得部４３からの基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢと、観察条件取得部４４からの眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭに基づいて図２の奥行歪み情報生成部４２と同様に奥行歪みマップを生成する。
【0256】
また、奥行歪み情報生成部１５１は、注目対象設定部１５２から与えられた注目対象の領域の中心位置及び直径に基づいて、三次元画像上の注目対象の領域に重畳するマーカー円１６０の画像を生成し、出力画像生成部４５に供給する。これにより、図３６及び図３７のように観察領域の三次元画像２５Ａに対して注目対象の領域にマーカー円１６０の画像が重畳される。
【0257】
また、図３５の奥行歪み情報生成部１５１は、マーカー円１６０の直径をＭとすると、立体像空間において本来の飛出量Ｄｘ０及び引込量Ｄｙ０がＭとなる位置の奥行歪み率の奥行歪みマップ上の表示部分を強調する図３６及び図３７のような奥行歪み情報を生成する。
【0258】
すなわち、奥行歪み情報生成部１５１は、本来の飛出量Ｄｘ０及び引込量Ｄｙ０がＭとなる像点に対応する物点の基準面ＳＢまでの距離Ｌ０を算出する。
【0259】
具体的には、Ｄｘ０＝Ｄｙ０＝Ａ・Ｌ０・Ｅ／Ｅ０＝Ｍであることから、奥行歪み情報生成部１５１は、撮影条件取得部４３からの基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢと、観察条件取得部４４からの眼幅Ｅ、及び、対角画面サイズＬＭに基づいて、距離Ｌ０を次式（１１）により算出する。
【0260】
Ｌ０＝Ｅ０・Ｍ／（Ｅ・Ａ）
・・・（１１）
・・・（１１）
【0261】
ただし、拡大倍率Ａは、式（６）を用いて算出する。
【0262】
奥行歪み情報生成部１５１は、奥行歪みマップにおいて、式（１１）により算出した距離Ｌ０の行を含む複数行（例えば５行程度）の範囲であって、かつ、観察条件取得部４４からの視距離Ｗに対応する列を含む複数行（５列程度）の範囲の奥行歪み率の表示部分を図３６及び図３７の奥行歪み情報２５Ｂのように枠１６１で囲む。これによって奥行歪み情報生成部１５１は、枠１６１の範囲内の奥行歪み率を強調した奥行歪み情報を生成し、生成した奥行歪み情報を出力画像生成部４５に供給する。なお、奥行歪み率の一部の表示部分を強調する方法としては任意の方法が採用できる。
【0263】
＜手術画像表示システムの第５の実施の形態における奥行歪み情報生成部及び注目対象設定部の処理手順＞
図３８は、手術画像表示システムの第５の実施の形態における画像処理部１５０の奥行歪み情報生成部１５１及び注目対象設定部１５２が行う奥行歪み情報生成の処理の例を示したフローチャートである。
図３８は、手術画像表示システムの第５の実施の形態における画像処理部１５０の奥行歪み情報生成部１５１及び注目対象設定部１５２が行う奥行歪み情報生成の処理の例を示したフローチャートである。
【0264】
【0265】
図１５のステップＳ１２からステップＳ１３に進むと、図３８のステップＳ９０において、奥行歪み情報生成部１５１は、撮影条件取得部４３から基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢを読み込み、観察条件取得部４４から眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭを読み込む。処理はステップＳ９０からステップＳ９１に進む。
【0266】
ステップＳ９１では、奥行歪み情報生成部１５１は、ステップＳ９０で読み込んだ基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢ、眼幅２・Ｅ、及び、対角画面サイズＬＭに基づいて奥行歪みマップ（図１２参照）を生成する。処理はステップＳ９１からステップＳ９２に進む。
【0267】
ステップＳ９２では、注目対象設定部１５２は、ユーザの操作部４７の操作により注目対象の位置を指定する操作が行われたか否かを判定する。
【0268】
ステップＳ９２において、注目対象の位置を指定する操作が行われたと判定された場合、処理はステップＳ９３に進み、注目対象設定部１５２は、ユーザの操作部４７の操作により注目対象の領域の大きさ（直径）を指定する操作が行われたか否かを判定する。
【0269】
ステップＳ９３において、注目対象の領域の大きさ（直径）を指定する操作が行われたと判定された場合、処理はステップＳ９４に進み、注目対象設定部１５２は、ステップＳ９２で指定された位置が既に設定されている注目対象の領域のマーカー円１６０上の位置か否かを判定する。
【0270】
ステップＳ９４において、ステップＳ９２で指定された位置が既に設定されている注目対象の領域のマーカー円１６０上の位置であると判定された場合、処理はステップＳ９５に進み、注目対象設定部１５２は、ステップＳ９２で指定された位置のマーカー円１６０の注目対象の領域をステップＳ９３で指定された大きさ（直径）に変更する。そして、注目対象設定部１５２は、変更した注目対象の領域の中心位置及び直径を奥行歪み情報生成部１５１に与える。処理はステップＳ９５からステップＳ９８に進む。
【0271】
また、ステップＳ９４において、ステップＳ９２で指定された位置が既に設定されている注目対象の領域のマーカー円１６０上の位置ではないと判定された場合、処理はステップＳ９６に進み、注目対象設定部１５２は、ステップＳ９２で指定された位置を中心位置とし、ステップＳ９３で指定された大きさ（直径）の円形範囲を注目対象の領域として設定する。そして、注目対象設定部１５２は、設定した注目対象の領域の中心位置及び直径を奥行歪み情報生成部１５１に与える。処理はステップＳ９６からステップＳ９８に進む。
【0272】
また、ステップＳ９３において、注目対象の領域の大きさ（直径）を指定する操作が行われていないと判定された場合、処理はステップＳ９７に進み、注目対象設定部１５２は、ステップＳ９２で指定された位置を中心位置とした既定の直径の円形範囲を注目対象の領域として設定する。そして、注目対象設定部１５２は、設定した注目対象の領域の中心位置及び直径を奥行歪み情報生成部１５１に与える。処理はステップＳ９７からステップＳ９８に進む。
【0273】
また、ステップＳ９２において、注目対象の位置を指定する操作が行われていないと判定された場合、処理はステップＳ９３乃至ステップＳ９７をスキップしてステップＳ９８に進む。
【0274】
ステップＳ９８では、奥行歪み情報生成部１５１は、ステップＳ９５、ステップＳ９６、又は、ステップＳ９７で注目対象設定部１５２から与えられた注目対象の領域の中心位置及び直径に基づいて、三次元画像上の注目対象の領域に重畳するマーカー円１６０の画像を生成し、出力画像生成部４５に供給する。なお、ステップＳ９２において注目対象の位置を指定する操作が行われていないと判定された場合には、繰り返し行われた図１５のフローチャートの前回までの処理において設定された注目対象の領域の中心位置及び直径に基づいてマーカー円１６０の画像が生成される。処理はステップＳ９８からステップＳ９９に進む。
【0275】
ステップＳ９９では、奥行歪み情報生成部１５１は、注目対象の領域の直径Ｍ（マーカー円１６０の直径Ｍ）が本来の飛出量Ｄｘ０及び引込量Ｄｙ０となる像点に対応する物点の基準面までの距離Ｌ０を算出する。処理はステップＳ９９からステップＳ１００に進む。
【0276】
ステップＳ１００では、奥行歪み情報生成部１５１は、ステップＳ９１で生成した奥行歪みマップにおいて、ステップＳ９９で算出した距離Ｌ０の行を含む複数行（例えば５行程度）の範囲であって、観察条件取得部４４からの視距離Ｗに対応する列を含む複数行（５列程度）の範囲の奥行歪み率の奥行歪みマップ上の表示部分を強調した奥行歪み情報を生成する。そして、奥行歪み情報生成部１５１は、生成した奥行歪み情報を出力画像生成部４５に供給する。処理はステップＳ１００から図１５のステップＳ１４に進む。
【0277】
以上の手術画像表示システムの第５の実施の形態によれば、三次元表示部２５に表示されている三次元画像を立体視している観察者は、奥行歪み情報により、立体像空間において生じている奥行歪みの大きさを把握することができ、観察者における奥行方向の距離の把握が支援（容易化）される。また、観察者が指定した注目対象の領域の大きさに対応した奥行方向の飛出量及び引込量となる位置付近の奥行歪みの大きさを迅速に把握できるようになる。なお、手術画像表示システムの第５の実施の形態は、第１乃至第４の実施の形態において適用できる。
【0278】
＜＜手術画像表示システムの第６の実施の形態＞＞
図３９は、手術画像表示システムの第６の実施の形態の構成例を示したブロック図である。なお、図中、図１の手術画像表示システムと対応する部分には、同じ符号を付しており、その説明は適宜省略する。
図３９は、手術画像表示システムの第６の実施の形態の構成例を示したブロック図である。なお、図中、図１の手術画像表示システムと対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0279】
図３９の手術画像表示システム１８０は、撮影部２１、右カメラ制御部２２、左カメラ制御部２３、画像処理部１８１、三次元表示部２５、視点検出センサ２６、及び、視線検出センサ１８２を有する。したがって、図３９の手術画像表示システム１８０は、撮影部２１、右カメラ制御部２２、左カメラ制御部２３、三次元表示部２５、及び、視点検出センサ２６を有する点で図１の手術画像表示システム１１と共通する。だたし、図３９の手術画像表示システム１８０は、画像処理部１８１が図１の手術画像表示システム１１の画像処理部２４の代わりに設けられている点、視線検出センサ１８２が新たに設けられている点で、図１の手術画像表示システム１１と相違する。
【0280】
図３９において、視線検出センサ１８２は、観察者の視線方向を検出し、三次元表示部２５の表示面に対して観察者が注視している位置（表示面上の注視位置）を検出する。視線検出センサ１８２は、検出した観察者の注視位置を画像処理部１８１に供給する。
【0281】
＜手術画像表示システムの第６の実施の形態における画像処理部の構成例＞
図４０は、手術画像表示システムの第５の実施の形態における画像処理部の構成例を示したブロック図である。なお、図中、図３５の画像処理部１５０と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
図４０は、手術画像表示システムの第５の実施の形態における画像処理部の構成例を示したブロック図である。なお、図中、図３５の画像処理部１５０と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
【0282】
図４０の画像処理部１８１は、画像取込部４１、奥行歪み情報生成部１５１、撮影条件取得部４３、観察条件取得部４４、出力画像生成部４５、出力部４６、操作部４７、及び、注目対象設定部１８４を有する。したがって、図４０の画像処理部１８１は、画像取込部４１、撮影条件取得部４３、観察条件取得部４４、奥行歪み情報生成部１５１、出力画像生成部４５、出力部４６、及び、操作部４７を有する点で、図３５の画像処理部１５０と共通する。ただし、図４０の画像処理部１８１は、注目対象設定部１８４が図３５の注目対象設定部１５２の代わりに設けられている点で、図３５の画像処理部１５０と相違する。
【0283】
注目対象設定部１８４は、視線検出センサ１８２から与えられる三次元表示部２５の表示面に対する観察者の注視位置に基づいて、または、操作部４７から与えられるマウス（ポインディングデバイス）の操作等のユーザの所定の入力操作に基づいて、三次元画像においてユーザが指定する注目対象の臓器の範囲を設定する。なお、本開示において臓器とは、生体内の器官、及び、１つのかたまりとして認識される組織を含む。
【0284】
図４１は、三次元表示部２５に表示される奥行歪み情報２５Ｂが重畳された三次元画像２５Ａを例示した図である。図４１において、マーカー円１９０は、三次元画像２５Ａにおける注目対象とする臓器の範囲を示し、臓器の範囲は臓器を内包する円形範囲として設定される。
【0285】
注目対象とする臓器を指定する操作として観察者が注目対象とする臓器の任意の部分を注視すると、図４０の注目対象設定部１８４は、視線検出センサ１８２から与えられる観察者の注視位置を注目対象の臓器の位置とする。また、ユーザが操作部４７の操作により注目対象の臓器の任意の位置を指定する操作（例えば、マウスのクリック操作）を行うと、注目対象設定部１８４は、指定された位置を注目対象の臓器の位置とする。
【0286】
一方、注目対象設定部１８４は、画像取込部４１から観察領域の三次元画像を取り込み、観察者の注視位置又は操作部４７の操作により指定された位置の臓器の領域を、三次元画像に対する画像処理により色や輪郭などに基づいて抽出する。そして、注目対象設定部１８４は、抽出した臓器の領域を内包する円形範囲を注目対象の臓器の範囲として設定し、設定した円形範囲の中心位置及び直径を奥行歪み情報生成部１５１に与える。
【0287】
図４２は、三次元表示部２５に表示される奥行歪み情報２５Ｂが重畳された三次元画像２５Ａを例示した図である。図４２のように観察者が図４１において注視していた臓器とは異なる位置の臓器を注視すると、注目対象設定部１８４は観察者が新たに注視した位置の臓器の領域を抽出し、抽出した臓器の領域を内包する円形範囲（マーカー円１９０の範囲）を注目対象の臓器の範囲として設定する。
【0288】
奥行歪み情報生成部１５１は、撮影条件取得部４３からの基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢと、観察条件取得部４４からの眼幅２・Ｅ、視距離Ｗ、対角画面サイズＬＭに基づいて図２の奥行歪み情報生成部４２と同様に奥行歪みマップを生成する。
【0289】
また、奥行歪み情報生成部１５１は、注目対象設定部１８４から与えられた注目対象の臓器の範囲の中心位置及び直径に基づいて、三次元画像上の注目対象の臓器の範囲に重畳するマーカー円１９０の画像を生成し、出力画像生成部４５に供給する。これにより、図４１及び図４２のように観察領域の三次元画像２５Ａに対して注目対象の臓器の範囲を示すマーカー円１９０が重畳表示される。
【0290】
また、奥行歪み情報生成部１５１は、手術画像表示システムの第５の実施の形態の奥行歪み情報生成部１５１と同様に、マーカー円１９０の直径をＭとすると、立体像空間において本来の飛出量Ｄｘ０及び引込量Ｄｙ０がＭとなる位置の奥行歪み率の奥行歪みマップ上の表示部分を図４１及び図４２の奥行歪み情報２５Ｂの枠１９４のように囲む。これによって奥行歪み情報生成部１５１は、枠１９４の範囲内の奥行歪み率を強調した奥行歪み情報を生成し、出力画像生成部４５に供給する。なお、奥行歪み率の一部の表示部分を強調する方法としては任意の方法が採用できる。
【0291】
＜手術画像表示システムの第６の実施の形態における奥行歪み情報生成部及び注目対象設定部の処理手順＞
図４３は、手術画像表示システムの第６の実施の形態における奥行歪み情報生成部１５１及び注目対象設定部１８４が行う奥行歪み情報生成の処理の例を示したフローチャートである。
図４３は、手術画像表示システムの第６の実施の形態における奥行歪み情報生成部１５１及び注目対象設定部１８４が行う奥行歪み情報生成の処理の例を示したフローチャートである。
【0292】
【0293】
図１５のステップＳ１２からステップＳ１３に進むと、図４３のステップＳ１２０において、奥行歪み情報生成部１５１は、撮影条件取得部４３から基線長２・Ｅ０、撮影距離ＷＤ０、及び、撮影範囲対角画角サイズＬＢを読み込み、観察条件取得部４４から眼幅２・Ｅ、視距離Ｗ、及び、対角画面サイズＬＭを読み込む。処理はステップＳ１２０からステップＳ１２１に進む。
【0294】
ステップＳ１２１では、奥行歪み情報生成部１５１は、ステップＳ１２０で読み込んだ基線長２・Ｅ０、撮影距離ＷＤ０、撮影範囲対角画角サイズＬＢ、眼幅２・Ｅ、及び、対角画面サイズＬＭに基づいて奥行歪みマップ（図１２参照）を生成する。処理はステップＳ１２１からステップＳ１２２に進む。
【0295】
ステップＳ１２２では、注目対象設定部１８４は、視線検出センサ１８２からの観察者の注視位置又はユーザの操作部４７の操作に基づいて注目対象の臓器の位置を指定する操作が行われたか否かを判定する。なお、注目対象設定部１８４は、視線検出センサ１８２からの観察者の注視位置に変化が生じた場合に注目対象の臓器の位置を指定する操作が行われたと判定する。
【0296】
ステップＳ１２２において、注目対象の臓器の位置を指定する操作が行われたと判定された場合、処理はステップＳ１２３に進み、注目対象設定部１８４は、画像取込部４１から観察領域の三次元画像を取り込む。処理はステップＳ１２３からステップＳ１２４に進む。
【0297】
また、ステップＳ１２２において、注目対象の臓器の位置を指定する操作が行われていないと判定された場合、処理はステップＳ１２３乃至ステップＳ１２５をスキップしてステップＳ１２６に進む。
【0298】
ステップＳ１２４では、注目対象設定部１８４は、ステップＳ１２２で検出された観察者の注視位置又は操作部４７の操作により指定された位置の臓器の領域を、三次元画像に対する画像処理により色や輪郭などに基づいて抽出する。処理はステップＳ１２４からステップＳ１２５に進む。
【0299】
ステップＳ１２５では、注目対象設定部１８４は、ステップＳ１２４で抽出した臓器の領域を内包する円形範囲を注目対象の臓器の範囲として設定し、円形範囲の中心位置及び直径を奥行歪み情報生成部１５１に与える。処理はステップＳ１２５からステップＳ１２６に進む。
【0300】
ステップＳ１２６では、奥行歪み情報生成部１５１は、ステップＳ１２５で注目対象設定部１８４から与えられた注目対象の臓器の中心位置及び直径に基づいて、三次元画像上の注目対象の臓器の範囲に重畳するマーカー円１９０の画像を生成し、出力画像生成部４５に供給する。なお、ステップＳ１２２において注目対象の位置を指定する操作が行われていないと判定された場合には、前回までの注目対象の臓器の円形範囲の中心位置及び直径に基づいてマーカー円１９０の画像が生成される。処理はステップＳ１２６からステップＳ１２７に進む。
【0301】
ステップＳ１２７では、奥行歪み情報生成部１５１は、注目対象の臓器の範囲の直径Ｍ（マーカー円１９０の直径Ｍ）が本来の飛出量Ｄｘ０及び引込量Ｄｙ０となる像点に対応する物点の基準面までの距離Ｌ０を算出する。処理はステップＳ１２７からステップＳ１２８に進む。
【0302】
ステップＳ１２８では、奥行歪み情報生成部１５１は、ステップＳ１２１で生成した奥行歪みマップにおいて、ステップＳ１２７で算出した距離Ｌ０の行を含む複数行（例えば５行程度）の範囲であって、観察条件取得部４４からの視距離Ｗに対応する列を含む複数行（５列程度）の範囲の奥行歪み率の奥行歪みマップ上の表示部分を強調した奥行歪み情報を生成する。そして、奥行歪み情報生成部１５１は、生成した奥行歪み情報を出力画像生成部４５に供給する。処理はステップＳ１２８から図１５のステップＳ１４に進む。
【0303】
以上の手術画像表示システムの第６の実施の形態によれば、三次元表示部２５に表示されている三次元画像を立体視している観察者は、奥行歪み情報により、立体像空間において生じている奥行歪みの大きさを把握することができ、観察者における奥行方向の距離の把握が支援（容易化）される。また、観察者が指定した注目対象の臓器の大きさに対応した奥行方向の飛出量及び引込量となる位置付近の奥行歪みの大きさを迅速に把握できるようになる。なお、手術画像表示システムの第６の実施の形態は、第１乃至第４の実施の形態において適用できる。
【0304】
以上の本技術を適用した手術画像表示システムは、手術部位の視野（術野）を撮影する医療施設向け術野カメラシステムに適用できる。また、本技術は、生体の手術領域等に限らず任意の観察領域の三次元画像を取得するシステムや画像処理装置に適用できる。
【0305】
＜プログラム＞
図１の画像処理部２４、図２２の画像処理部１０１、図２７の画像処理部１２１、図３３の画像処理部１３２、図３５の画像処理部１５０、図４０の画像処理部１８１等の一連の処理の一部及び全ては、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１の画像処理部２４、図２２の画像処理部１０１、図２７の画像処理部１２１、図３３の画像処理部１３２、図３５の画像処理部１５０、図４０の画像処理部１８１等の一連の処理の一部及び全ては、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0306】
図４４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0307】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【0308】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【0309】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【0310】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【0311】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
【0312】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【0313】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0314】
なお、本技術は、以下のような構成も取ることができる。
＜１＞ 生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、
前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と
を含む手術画像表示システム。
＜２＞ 前記出力画像生成部は、前記三次元画像に前記奥行歪み情報を重畳した出力画像を生成する
＜１＞に記載の手術画像表示システム。
＜３＞ 前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である
＜１＞又は＜２＞に記載の手術画像表示システム。
＜４＞ 前記奥行歪み情報は、前記立体像空間における前記奥行方向の複数の点についての前記奥行歪み率を表した情報である
＜３＞に記載の手術画像表示システム。
＜５＞ 前記観察領域を撮影する撮影空間において前記右眼画像と前記左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における第１の物点の前記基準面までの距離と、前記基準面上の第２の物点と第３の物点との間の距離とが等しい場合に、前記立体像空間において、前記第２の物点が再現される点と前記第３の物点が再現される点との間の距離を前記第１の物点が再現される点の前記表示面までの前記本来の距離とする
＜３＞又は＜４＞に記載の手術画像表示システム。
＜６＞ 前記奥行歪み情報は、観察者の眼から前記表示面までの距離である視距離に対する前記奥行歪み率を表した情報である
＜３＞乃至＜５＞のいずれかに記載の手術画像表示システム。
＜７＞前記奥行歪み情報は、実際の視距離に対応する前記奥行歪み率を強調して表した情報である
＜６＞に記載の手術画像表示システム。
＜８＞ 前記奥行歪み情報は、前記立体像空間において、前記奥行歪みが生じていないと仮定した場合に想定した真円が前記奥行歪みによって変形した形状を表す情報である
＜１＞乃至＜５＞のいずれかに記載の手術画像表示システム。
＜９＞ 前記奥行歪み情報は、前記立体像空間における位置が前記表示面に対して奥側及び手前側から近づくに従って前記奥行歪み率が１に近づく視距離が最適な視距離であることを表す情報を含む
＜３＞乃至＜８＞のいずれかに記載の手術画像表示システム。
＜１０＞ 前記奥行歪み情報は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置とし、前記右眼画像と前記左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を前記三次元画像が表示される表示面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離と、前記撮影部の２つの視点の間の距離である基線長と、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズと、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて生成された情報である
＜１＞乃至＜９＞のいずかに記載の手術画像表示システム。
＜１１＞ 前記奥行歪み情報を生成する奥行歪み情報生成部
を更に含む
＜１＞乃至＜１０＞のいずれかに記載の手術画像表示システム。
＜１２＞ 前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記出力画像を立体視可能に表示し、かつ、外部信号に基づいて前記表示面の前記奥行方向の位置を変更することにより観察者の眼から前記表示面までの距離である視距離を変更する三次元表示部と、
前記三次元表示部に対して前記外部信号を与えて前記視距離を設定させる視距離制御部と
をさらに含み、
前記視距離制御部は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離ＷＤ０と、前記撮影部の２つの視点の間の距離である基線長２・Ｅ０と、前記三次元画像を立体視する観察者の眼幅２・Ｅとに基づいて、前記三次元表示部における前記視距離をＷＤ０・Ｅ／Ｅ０に設定させる
＜１＞乃至＜１１＞のいずれかに記載の手術画像表示システム。
＜１３＞ 前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離、前記撮影部の２つの視点の間の距離である基線長、及び、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズのうちの少なくとも２つの要素を制御対象として制御する撮影条件制御部と、
前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記表示面に表示される前記三次元画像の拡大倍率を指定する操作部と
を更に含み、
前記撮影条件制御部は、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて、かつ、前記撮影距離、前記基線長、及び、前記対角画角サイズのうちの前記制御対象以外の要素に基づいて、前記表示面に表示される前記三次元画像が前記操作部により指定された前記拡大倍率となり、かつ、前記撮影距離ＷＤ０、前記基線長２・Ｅ０、及び、前記眼幅２・Ｅに対して、前記視距離がＷＤ０・Ｅ／Ｅ０となるように前記制御対象を制御する
＜１＞乃至＜１１＞のいずれかに記載の手術画像表示システム。
＜１４＞ 前記三次元画像における注目対象の範囲を指定する注目対象指定部
をさらに含み、
前記奥行歪み情報は、前記注目対象指定部により指定された前記注目対象の範囲の大きさに相当する距離を前記表示面までの本来の距離とした場合における前記奥行歪み率を表した情報である
＜３＞乃至＜７＞のいずれかに記載の手術画像表示システム。
＜１５＞ 前記三次元画像における注目対象の位置を指定する注目対象指定部と、
前記注目対象指定部により指定された位置の臓器の範囲を前記三次元画像に対して設定する注目対象設定部と
をさらに含み、
前記奥行歪み情報は、前記注目対象設定部により設定された前記臓器の範囲の大きさに相当する距離を前記表示面までの本来の距離を前記表示面までの前記本来の距離とした場合における前記奥行歪み率を表した情報である
＜３＞乃至＜７＞のいずれかに記載の手術画像表示システム。
＜１６＞ 手術箇所を異なる２つの視点から撮影して得られた三次元画像と、前記三次元画像の立体像と前記手術箇所の物理的な三次元空間の奥行方向との違いの大きさを表す情報と、を提示する出力画像を生成する出力画像生成部
を含む画像処理装置。
＜１７＞ 画像処理装置は、
出力画像生成部
を含み、
生体を異なる２つの視点から撮影して得られた三次元画像であって、前記２つの視点から撮影された観察領域の立体像を再現する前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する
画像処理方法。
＜１＞ 生体を異なる２つの視点から撮影し、前記２つの視点から撮影された観察領域の立体像を再現する三次元画像を取得する撮影部と、
前記撮影部により取得された前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する出力画像生成部と
を含む手術画像表示システム。
＜２＞ 前記出力画像生成部は、前記三次元画像に前記奥行歪み情報を重畳した出力画像を生成する
＜１＞に記載の手術画像表示システム。
＜３＞ 前記奥行歪み情報は、前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記立体像空間における点の前記表示面までの距離と、前記奥行歪みが生じていないと仮定した場合の前記立体像空間における前記点の前記表示面までの本来の距離との比率を奥行歪み率として表した情報である
＜１＞又は＜２＞に記載の手術画像表示システム。
＜４＞ 前記奥行歪み情報は、前記立体像空間における前記奥行方向の複数の点についての前記奥行歪み率を表した情報である
＜３＞に記載の手術画像表示システム。
＜５＞ 前記観察領域を撮影する撮影空間において前記右眼画像と前記左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における第１の物点の前記基準面までの距離と、前記基準面上の第２の物点と第３の物点との間の距離とが等しい場合に、前記立体像空間において、前記第２の物点が再現される点と前記第３の物点が再現される点との間の距離を前記第１の物点が再現される点の前記表示面までの前記本来の距離とする
＜３＞又は＜４＞に記載の手術画像表示システム。
＜６＞ 前記奥行歪み情報は、観察者の眼から前記表示面までの距離である視距離に対する前記奥行歪み率を表した情報である
＜３＞乃至＜５＞のいずれかに記載の手術画像表示システム。
＜７＞前記奥行歪み情報は、実際の視距離に対応する前記奥行歪み率を強調して表した情報である
＜６＞に記載の手術画像表示システム。
＜８＞ 前記奥行歪み情報は、前記立体像空間において、前記奥行歪みが生じていないと仮定した場合に想定した真円が前記奥行歪みによって変形した形状を表す情報である
＜１＞乃至＜５＞のいずれかに記載の手術画像表示システム。
＜９＞ 前記奥行歪み情報は、前記立体像空間における位置が前記表示面に対して奥側及び手前側から近づくに従って前記奥行歪み率が１に近づく視距離が最適な視距離であることを表す情報を含む
＜３＞乃至＜８＞のいずれかに記載の手術画像表示システム。
＜１０＞ 前記奥行歪み情報は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置とし、前記右眼画像と前記左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を前記三次元画像が表示される表示面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離と、前記撮影部の２つの視点の間の距離である基線長と、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズと、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて生成された情報である
＜１＞乃至＜９＞のいずかに記載の手術画像表示システム。
＜１１＞ 前記奥行歪み情報を生成する奥行歪み情報生成部
を更に含む
＜１＞乃至＜１０＞のいずれかに記載の手術画像表示システム。
＜１２＞ 前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記出力画像を立体視可能に表示し、かつ、外部信号に基づいて前記表示面の前記奥行方向の位置を変更することにより観察者の眼から前記表示面までの距離である視距離を変更する三次元表示部と、
前記三次元表示部に対して前記外部信号を与えて前記視距離を設定させる視距離制御部と
をさらに含み、
前記視距離制御部は、前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離ＷＤ０と、前記撮影部の２つの視点の間の距離である基線長２・Ｅ０と、前記三次元画像を立体視する観察者の眼幅２・Ｅとに基づいて、前記三次元表示部における前記視距離をＷＤ０・Ｅ／Ｅ０に設定させる
＜１＞乃至＜１１＞のいずれかに記載の手術画像表示システム。
＜１３＞ 前記観察領域を撮影する撮影空間において前記三次元画像を構成する右眼画像と左眼画像との同一位置の像点として撮影される物点の位置を基準面の位置として、前記撮影空間における前記撮影部の前記基準面までの撮影距離、前記撮影部の２つの視点の間の距離である基線長、及び、前記撮影部の前記基準面における撮影範囲の対角の長さである対角画角サイズのうちの少なくとも２つの要素を制御対象として制御する撮影条件制御部と、
前記三次元画像を構成する右眼画像と左眼画像との同一位置に表示された像点が前記立体像空間において再現される位置を表示面の位置として、前記表示面に表示される前記三次元画像の拡大倍率を指定する操作部と
を更に含み、
前記撮影条件制御部は、前記三次元画像を立体視する観察者の眼幅と、前記観察者の眼から前記表示面までの距離である視距離と、前記表示面に表示される前記三次元画像の対角の長さである対角画面サイズとに基づいて、かつ、前記撮影距離、前記基線長、及び、前記対角画角サイズのうちの前記制御対象以外の要素に基づいて、前記表示面に表示される前記三次元画像が前記操作部により指定された前記拡大倍率となり、かつ、前記撮影距離ＷＤ０、前記基線長２・Ｅ０、及び、前記眼幅２・Ｅに対して、前記視距離がＷＤ０・Ｅ／Ｅ０となるように前記制御対象を制御する
＜１＞乃至＜１１＞のいずれかに記載の手術画像表示システム。
＜１４＞ 前記三次元画像における注目対象の範囲を指定する注目対象指定部
をさらに含み、
前記奥行歪み情報は、前記注目対象指定部により指定された前記注目対象の範囲の大きさに相当する距離を前記表示面までの本来の距離とした場合における前記奥行歪み率を表した情報である
＜３＞乃至＜７＞のいずれかに記載の手術画像表示システム。
＜１５＞ 前記三次元画像における注目対象の位置を指定する注目対象指定部と、
前記注目対象指定部により指定された位置の臓器の範囲を前記三次元画像に対して設定する注目対象設定部と
をさらに含み、
前記奥行歪み情報は、前記注目対象設定部により設定された前記臓器の範囲の大きさに相当する距離を前記表示面までの本来の距離を前記表示面までの前記本来の距離とした場合における前記奥行歪み率を表した情報である
＜３＞乃至＜７＞のいずれかに記載の手術画像表示システム。
＜１６＞ 手術箇所を異なる２つの視点から撮影して得られた三次元画像と、前記三次元画像の立体像と前記手術箇所の物理的な三次元空間の奥行方向との違いの大きさを表す情報と、を提示する出力画像を生成する出力画像生成部
を含む画像処理装置。
＜１７＞ 画像処理装置は、
出力画像生成部
を含み、
生体を異なる２つの視点から撮影して得られた三次元画像であって、前記２つの視点から撮影された観察領域の立体像を再現する前記三次元画像と、前記三次元画像を立体視することにより前記観察領域の立体像が再現される立体像空間の奥行方向の奥行歪みの大きさを表す奥行歪み情報とを提示する出力画像を生成する
画像処理方法。
【符号の説明】
【0315】
１１， 手術画像表示システム， ２１ 撮影部， ２２ 右カメラ制御部， ２３ 左カメラ制御部， ２４ 画像処理部， ２５ 三次元表示部、 ２６ 視点検出センサ， ３１Ｌ 左カメラ， ３１Ｒ 右カメラ， ４１ 画像取込部， ４２ 奥行歪み情報生成部， ４３ 撮影条件取得部， ４４ 観察条件取得部， ４５ 出力画像生成部， ４６ 出力部， ４７ 操作部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】