特許 6415900 画像記録装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6415900

(24)【登録日】2018年10月12日

(45)【発行日】2018年10月31日

(54)【発明の名称】画像記録装置

(51)【国際特許分類】

   H04N 13/139 20180101AFI20181022BHJP

   H04N 13/128 20180101ALI20181022BHJP

   H04N 13/189 20180101ALI20181022BHJP

   H04N 13/178 20180101ALI20181022BHJP

   H04N 13/239 20180101ALI20181022BHJP

   H04N 7/18 20060101ALI20181022BHJP

   A61B 1/045 20060101ALI20181022BHJP

【ＦＩ】

   H04N13/139

   H04N13/128

   H04N13/189

   H04N13/178

   H04N13/239

   H04N7/18 M

   A61B1/045 610

   A61B1/045 613

【請求項の数】4

【全頁数】22

(21)【出願番号】特願2014-171966(P2014-171966)

(22)【出願日】2014年8月26日

(65)【公開番号】特開2016-46780(P2016-46780A)

(43)【公開日】2016年4月4日

【審査請求日】2017年3月10日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】土谷 秋介

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１１−２２３４８２（ＪＰ，Ａ）

【文献】 特開２０００−１９７０７４（ＪＰ，Ａ）

【文献】 特開２００４−１０４３６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／３９８

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／７６−５／９５６

Ａ６１Ｂ １／０４５

(57)【特許請求の範囲】

【請求項1】

３Ｄ内視鏡を接続し当該３Ｄ内視鏡からの画像信号に基づいて所定の３Ｄ内視鏡画像信号を生成すると共に当該３Ｄ内視鏡画像信号を観察モニタに対して出力する画像生成装置から、前記観察モニタに対して出力される前記３Ｄ内視鏡画像信号を入力可能とする内視鏡画像入力部と、
前記内視鏡画像入力部に入力される前記３Ｄ内視鏡画像信号に係る３Ｄ内視鏡画像の表示環境の情報であって、当該３Ｄ内視鏡画像の再生方式情報、前記観察モニタの画面サイズ情報および当該３Ｄ内視鏡画像に係る視差量情報を取得する表示環境情報取得部と、
前記表示環境情報取得部において取得した前記３Ｄ内視鏡画像の表示環境の情報を格納する表示環境情報格納部と、
前記内視鏡画像入力部へ入力される前記３Ｄ内視鏡画像の画像データに前記表示環境情報格納部に格納された前記３Ｄ内視鏡画像の表示環境の情報をメタ補情報として付加した記録データを生成する記録データ生成部と、
前記記録データ生成部により生成された前記記録データを記録する記録部と、
前記記録部に記録された前記記録データに基づいて、再生された際の前記３Ｄ内視鏡画像の左右画像の視差量を調整する視差調整部と、
前記記録部に記録された前記３Ｄ内視鏡画像を複数種類の再生方式の３Ｄ画像に変換可能とする再生方式変換部と、
前記記録データを再生して、外部の再生機器に出力画像を出力する場合における設定情報を格納する出力画像設定情報格納部と、
前記記録部に記録された前記画像データを再生するための複数種類の再生機器における実際に接続して使用される再生機器の再生環境の情報を取得する再生環境情報取得部と、
前記再生環境情報取得部において取得した前記再生機器の再生環境の情報を格納する再生環境情報格納部と、
前記再生環境情報取得部の取得結果の情報と前記表示環境情報取得部の取得結果の情報とが異なる場合、前記再生環境の再生機器で再生可能な再生方式で変換するように前記再生方式変換部を制御すると共に、前記出力画像設定情報格納部に格納された前記設定情報に応じて前記視差調整部による視差量を調整するように制御する制御部と、
を備え、
前記制御部は、前記再生環境情報取得部の取得結果の情報と前記表示環境情報取得部の取得結果の情報とが異なる場合には、
前記表示環境の情報における再生方式と前記再生環境の情報における前記再生機器の再生方式とが異なるか否かを判定し、両再生方式が異なる場合には前記再生方式変換部が前記３Ｄ内視鏡画像を前記再生機器の再生方式の３Ｄ画像に変換させるように制御し、
更に、前記表示環境の情報における前記３Ｄ内視鏡画像を表示するのに使用された前記観察モニタの画面サイズと前記再生環境の情報における前記再生機器に使用される再生モニタの画面サイズとが異なるか否かを判定し、両画面サイズが異なる場合には前記設定情報に応じて、前記観察モニタと前記再生モニタとの画面サイズの差異の値に応じた視差量となるように前記視差調整部を制御する
ことを特徴とする画像記録装置。

【請求項2】

前記制御部は、前記観察モニタの画面サイズと前記再生モニタの画面サイズとが異なる場合には、前記再生モニタの画面サイズが前記観察モニタの画面サイズよりも大きい程、前記再生モニタにおいて表示する前記左右画像の左右方向の配置位置における左右方向の離間量を前記観察モニタの場合よりも小さくし、
前記再生モニタの画面サイズが前記観察モニタの画面サイズよりも小さい程、前記再生モニタにおいて表示する前記左右画像の左右方向の配置位置における左右方向の離間量を前記観察モニタの場合よりも大きくするように制御することを特徴とする請求項１に記載の画像記録装置。

【請求項3】

前記出力画像設定情報格納部に格納された前記出力画像の設定情報を可変する操作部を有することを特徴とする請求項１に記載の画像記録装置。

【請求項4】

前記出力画像設定情報格納部は、前記表示環境情報取得部の取得結果と前記再生環境情報取得部の取得結果との情報から対応する前記出力画像の設定情報を形成する前記視差量を決定するテーブルデータを格納し、
前記制御部は、決定された前記視差量となるように前記再生機器において表示される前記左右画像の視差量を調整するように前記視差調整部を制御することを特徴とする請求項１に記載の画像記録装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄ画像を記録すると共に、記録された３Ｄ画像を再生機器に出力する画像記録装置に関する。

【背景技術】

【0002】

近年、医療分野等において内視鏡が広く用いられるようになっている。内視鏡を用いて、手術等を行った場合には、手術中の内視鏡画像は、画像記録装置に記録される。
また、左右の撮像素子を備えた立体内視鏡（３Ｄ内視鏡とも言う）を用いて手術等が行われる場合があり、その場合には画像記録装置は、３Ｄ内視鏡画像を記録する。記録された３Ｄ内視鏡画像は、カンファレンス等において再生される場合がある。
例えば、第１の従来例としての特開２０１１−２２３４８２号公報は、３Ｄ画像の画像データと共に、想定される視環境のパラメータである想定視環境パラメータを取得する第１の取得手段と、前記３Ｄ画像を視聴するユーザの実際の視環境のパラメータである実視環境パラメータを取得する第２の取得手段と、取得された前記想定視環境パラメータと、前記実視環境パラメータの差に応じて前記３Ｄ画像を補正する補正処理手段と、を備えた画像処理装置を開示している。
また、第２の従来例としての特開２０１２−８５１０２号公報は、視点の異なる２つ以上の映像を入力し、該入力した２つ以上の映像の輻輳角を変更して出力する立体映像変換装置において、前記２つ以上の映像の最大視差量を算出し、算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出し、算出した輻輳角補正値に基づいて、前記２つ以上の映像を撮像した場合の輻輳角を変更させた映像を生成することを開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−２２３４８２号公報

【特許文献2】特開２０１２−８５１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

第１の従来例は、視環境のパラメータが、両眼間隔、視距離、及びディスプレイサイズのうちの少なくとも１つであることを開示しているが、再生する再生機器の再生方式が記録時とは異なるような場合には、立体感のある３Ｄ画像を再生できない。また、第２の従来例も同様に再生する再生機器の再生方式が記録時と異なるような場合には、対応できない。
本発明は上述した点に鑑みてなされたもので、記録時における内視鏡画像の表示環境と、記録画像を再生する再生方式が異なる再生機器による再生環境とが異なる場合にも、立体感のある３Ｄ内視鏡画像を再現できる画像記録装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の一態様の画像記録装置は、３Ｄ内視鏡を接続し当該３Ｄ内視鏡からの画像信号に基づいて所定の３Ｄ内視鏡画像信号を生成すると共に当該３Ｄ内視鏡画像信号を観察モニタに対して出力する画像生成装置から、前記観察モニタに対して出力される前記３Ｄ内視鏡画像信号を入力可能とする内視鏡画像入力部と、前記内視鏡画像入力部に入力される前記３Ｄ内視鏡画像信号に係る３Ｄ内視鏡画像の表示環境の情報であって、当該３Ｄ内視鏡画像の再生方式情報、前記観察モニタの画面サイズ情報および当該３Ｄ内視鏡画像に係る視差量情報を取得する表示環境情報取得部と、前記表示環境情報取得部において取得した前記３Ｄ内視鏡画像の表示環境の情報を格納する表示環境情報格納部と、前記内視鏡画像入力部へ入力される前記３Ｄ内視鏡画像の画像データに前記表示環境情報格納部に格納された前記３Ｄ内視鏡画像の表示環境の情報をメタ補情報として付加した記録データを生成する記録データ生成部と、前記記録データ生成部により生成された前記記録データを記録する記録部と、前記記録部に記録された前記記録データに基づいて、再生された際の前記３Ｄ内視鏡画像の左右画像の視差量を調整する視差調整部と、前記記録部に記録された前記３Ｄ内視鏡画像を複数種類の再生方式の３Ｄ画像に変換可能とする再生方式変換部と、前記記録データを再生して、外部の再生機器に出力画像を出力する場合における設定情報を格納する出力画像設定情報格納部と、前記記録部に記録された前記画像データを再生するための複数種類の再生機器における実際に接続して使用される再生機器の再生環境の情報を取得する再生環境情報取得部と、前記再生環境情報取得部において取得した前記再生機器の再生環境の情報を格納する再生環境情報格納部と、前記再生環境情報取得部の取得結果の情報と前記表示環境情報取得部の取得結果の情報とが異なる場合、前記再生環境の再生機器で再生可能な再生方式で変換するように前記再生方式変換部を制御すると共に、前記出力画像設定情報格納部に格納された前記設定情報に応じて前記視差調整部による視差量を調整するように制御する制御部と、を備え、前記制御部は、前記再生環境情報取得部の取得結果の情報と前記表示環境情報取得部の取得結果の情報とが異なる場合には、前記表示環境の情報における再生方式と前記再生環境の情報における前記再生機器の再生方式とが異なるか否かを判定し、両再生方式が異なる場合には前記再生方式変換部が前記３Ｄ内視鏡画像を前記再生機器の再生方式の３Ｄ画像に変換させるように制御し、更に、前記表示環境の情報における前記３Ｄ内視鏡画像を表示するのに使用された前記観察モニタの画面サイズと前記再生環境の情報における前記再生機器に使用される再生モニタの画面サイズとが異なるか否かを判定し、両画面サイズが異なる場合には前記設定情報に応じて、前記観察モニタと前記再生モニタとの画面サイズの差異の値に応じた視差量となるように前記視差調整部を制御する。

【発明の効果】

【0006】

本発明によれば、記録時における内視鏡画像の表示環境と、記録画像を再生する再生方式が異なる再生機器による再生環境とが異なる場合にも、立体感のある３Ｄ内視鏡画像を再現できる。

【図面の簡単な説明】

【0007】

【図1】図１は第１の実施形態の画像記録装置を備えた内視鏡システムを示す図。

【図2】図２は図１における主要な機器の構成を示す図。

【図3A】図３Ａは左右に離間して配置される２つの撮像部により被写体に対して視差量を有する左右の撮像信号を生成する様子の説明図。

【図3B】図３Ｂは左右方向に撮像領域をシフトすることにより視差量を増減した左右の撮像信号を生成する様子の説明図。

【図4】図４は再生機器が接続される第１の実施形態の画像記録装置の構成を示す図。

【図5A】図５Ａは取得した情報から補正値を算出するための調整テーブルの内容を表形式で示す図。

【図5B】図５Ｂは３Ｄ再生方式における左右の画像を所定のアライメント値に設定した場合の説明図。

【図6】図６は記録時の動作の処理手順を示すフローチャート。

【図7】図７は再生時の動作の処理手順を示すフローチャート。

【図8A】図８Ａは第１の実施形態の画像記録装置において再生モニタで再生する場合の説明図。

【図8B】図８Ｂは第１の実施形態の画像記録装置において再生機器をストリーミングクライアントＰＣにした場合の構成を示す説明図。

【図8C】図８Ｃは第１の実施形態の画像記録装置において再生機器を外部メディアにした場合の構成を示す説明図。

【図9】図９は図８Ｃの動作の説明図。

【図10】図１０は図７の処理の変形例の動作の処理手順を示すフローチャート。

【発明を実施するための形態】

【0008】

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の画像記録装置を備えた内視鏡装置１は、手術室内の手術台２に横たわる患者３に対して、立体観察（３Ｄ観察）のために使用される立体内視鏡（３Ｄ内視鏡と略記）４と、トロリー５に搭載された複数の医療機器とを備える。
トロリー５には、複数の医療機器として、照明光を発生する光源装置６と、３Ｄ内視鏡４に対する画像処理を行い、３次元内視鏡画像信号（３Ｄ内視鏡画像信号）を生成する画像生成装置としての３Ｄプロセッサ７と、３Ｄプロセッサ７により生成された３Ｄ内視鏡画像信号を３Ｄ内視鏡画像として表示する術中モニタとしての３Ｄ観察モニタ（観察モニタ又は再生モニタと略記）８と、３Ｄプロセッサ７から出力される３Ｄ内視鏡画像信号を記録する第１の実施形態の画像記録装置９と、高周波電源装置（電気メス電源装置）１０とが搭載されている。本実施形態においては、３Ｄ内視鏡画像または３Ｄ内視鏡画像信号を単に３Ｄ画像又は３Ｄ画像信号と略記する。なお、本明細書においては、後述するように画像記録装置９に記録（録画）された３Ｄ画像を再生する再生環境において使用される３Ｄモニタを外部モニタ又は再生モニタと言う。

【0009】

図１に示す観察モニタ８は、３Ｄ内視鏡４により取得した３Ｄ画像を、術者Ｄが観察する際に表示される観察モニタ（又は表示モニタ）であり、また画像記録装置９に記録される際の表示環境の３Ｄ画像の表示手段になる。
患者３の例えば腹部には、図示しないトラカールを介して３Ｄ内視鏡４が挿入され、この３Ｄ内視鏡４は、ライトガイドケーブル１１を介して光源装置６と接続される。また、３Ｄ内視鏡４は、ライトガイドケーブル１１内を挿通された信号ケーブル１２ａ，１２ｂ、１２ｃ（図２参照）を介して、３Ｄプロセッサ７に接続される。

また、高周波電源装置１０は、高周波による処置を行うための電気メス１３に対して電気メスケーブル１４を介して高周波信号を供給する。
図２は、図１における主要な医療機器の内部構成を示す。
３Ｄ内視鏡４は、体内に挿入される挿入部２１と、挿入部２１の後端（基端）に設けられ、術者Ｄ等により把持される把持部２２とを有し、把持部２２から延出されたライトガイドケーブル１１の端部は光源装置６に着脱自在に接続される。

【0010】

光源装置６は、白色の照明光を発生するランプ２３ａと、照明光を集光してライトガイドケーブル１１の端部に入射（供給）する集光レンズ２３ｂとを有する。ライトガイドケーブル１１に入射された照明光は、挿入部２１内を挿通されたライトガイド２４の基端側端部に入射される。このライトガイド２４は、基端側端部に入射された照明光をこのライトガイド２４の先端側の端部に伝送し、ライトガイド２４の先端面が配置された照明窓から照明光を出射し、体内の病変部等の被写体を照明する。
挿入部２１の先端部には、左右方向に（両光軸間）距離ｄだけ離間して、左目用対物レンズ２５ａと右目用対物レンズ２５ｂとが配置され、体内の患部等の被写体の光学像を視差を有する状態で結像する。左目用対物レンズ２５ａと右目用対物レンズ２５ｂそれぞれの結像位置には、左目用撮像素子としての左目用電荷結合素子（ＣＣＤと略記）２６ａの撮像面と、右目用撮像素子としての右目用ＣＣＤ２６ｂの撮像面とが配置されている。

【0011】

なお、本明細書においては、左の撮像素子は左目用撮像素子と同じ意味であり、同様に右の撮像素子は右目用撮像素子と同じ意味であり、撮像素子以外においても同様の意味で用いる。例えば左目用画像信号と右目用画像信号は、左右の画像信号と同じ意味となる。
左右のＣＣＤ２６ａ、２６ｂは、結像された光学像を光電変換した出力信号としての撮像信号を出力する。左目用対物レンズ２５ａと左目用ＣＣＤ２６ａとにより左目用撮像部又は左撮像部２７ａが形成され、右目用対物レンズ２５ａと右目用ＣＣＤ２６ｂとにより右目用撮像部又は右撮像部２７ｂが形成される。上記距離ｄを有し、同じ被写体を、視線方向が異なる両撮像部２７ａ，２７ｂにより撮像して、表示装置としての観察モニタ８に３Ｄ観察用画像を表示することにより、３Ｄ観察用画像を観察する（観察者又はユーザとなる）術者Ｄは、被写体を立体感又は奥行き感を知覚して観察することができるようにしている。

【0012】

ＣＣＤ２６ａにより撮像された左の撮像信号は、３Ｄ内視鏡４内を挿通され、外部に延出された信号ケーブル１２ａを介して、３Ｄプロセッサ７内の左目用の２Ｄ画像生成回路３１Ｌに入力される。
また、ＣＣＤ２６ｂにより撮像された右の撮像信号は、３Ｄ内視鏡４内を挿通され、外部に延出された信号ケーブル１２ｂを介して、３Ｄプロセッサ７内の右目用の２Ｄ画像生成回路３１Ｒに入力される。
２Ｄ画像生成回路３１Ｌにより生成された左の２Ｄ画像信号と２Ｄ画像生成回路３１Ｒにより生成された右の２Ｄ画像信号とは、３Ｄ画像生成回路３２に入力され、３Ｄ画像生成回路３２は、３Ｄ画像信号を生成する。
図３Ａは、対物レンズ２５ａ，２５ｂから距離Ｌの位置にある被写体Ｏｂを左右の対物レンズ２５ａ，２５ｂによりＣＣＤ２６ａ，２６ｂの撮像面２８ａ，２８ｂに左右の光学像Ｉｌ，Ｉｒを結像する様子を示す。

【0013】

被写体Ｏｂにおける中央部Ｓｃは、左右の対物レンズ２５ａ，２５ａを経て左右の撮像領域３０ａ，３０ｂにそれぞれ共通の光学像部分Ｉｃとして結像され、また被写体Ｏｂにおける左部分Ｓａは、撮像領域３０ａのみに（共通でない）非共通の光学像部分Ｉａとして結像され、被写体Ｏｂにおける右部分Ｓａは、撮像領域３０ｂのみに（共通でない）非共通の光学像部分Ｉｂとして結像される。なお、左右の対物レンズ２５ａ，２５ｂの光軸方向は互いに異なるために、両撮像面２８ａ，２８ｂにおける共通の光学像部分Ｉｃは実際には、凹凸に応じて異なる光学像となる。
このように左右のＣＣＤ２６ａ，２６ｂは、同じ被写体Ｏｂに対して、左右に結像された共通の光学像部分Ｉｃと、非共通の光学像部分Ｉａ，Ｉｂとを有する光学像Ｉｌ，Ｉｒを光電変換した撮像信号を生成し、３Ｄプロセッサ７は、共通の光学像部分Ｉｃと、非共通の光学像部分Ｉａ，Ｉｂとを反映した左右の２Ｄ画像信号を有する３Ｄ画像信号を生成し、観察モニタ８は、そのような３Ｄ画像を表示することになる。
本実施形態においては、ＣＣＤ２６ａ，２６ｂは、図３Ｂの最上段部分に示すように視差調整を行わない場合の通常用の撮像領域３０ａ，３０ｂの他に、撮像領域３０ａ，３０ｂの各左右両側に、視差調整用の撮像領域３０ａ′、３０ｂ′を備えるようにしている。

【0014】

図３Ｂにおける最上段の下に、図３Ａの視差状態のままで撮像した場合の光学像（視差調整無しと記載）、その下に図３Ａの状態から視差を強調した光学像（視差強調と記載）、その下に図３Ａの状態から視差を低減した光学像（視差低減と記載）、を模式的に示す。
左右の視差を大きくすることを望む場合には、図３Ｂの視差強調の光学像として示すように、撮像領域を左右方向にシフトすることにより、共通の光学像部分Ｉｃの割合を小さくし、共通でない非共通の光学像部分Ｉａ、Ｉｂの割合を大きくすることにより、実際には距離ｄを（大きく）変化させることをしない状態において、距離ｄを大きくした場合と類似した視差を大きく調整した左右の光学像を取得（生成）できるようにしている。
また、撮像領域を、視差強調の場合と反対方向にシフトすることにより、視差量を低減した光学像を取得（生成）することもできるようにしている。

【0015】

つまり、ＣＣＤ２６ａ，２６ｂから実際に撮像信号として出力する場合の撮像領域を、図３Ｂに示すように撮像面上において左右方向に移動することにより、視差量が異なる左右の撮像信号を出力でき、左右の撮像信号は２Ｄ画像生成回路３１Ｌ，３１Ｒにより視差量が異なる左右の２Ｄ画像に変換される。
なお、ＣＣＤ２６ａ，２６ｂの撮像面２８ａ，２８ｂ（の画素）全体から出力される撮像信号から、実際に抽出する撮像信号の範囲を制限することにより、図３Ｂ等において説明した視差量が異なる左右の２Ｄ画像信号を生成することができる。このように、撮像面２８ａ，２８ｂの画素全体から一定のサイズを保った状態で撮像信号を抽出する場合の撮像範囲を左右方向にシフトすることにより、簡単に視差量を増減した左右の２Ｄ画像信号を生成することができる。
これに対して、視差量を増減するために抽出する場合の撮像範囲の大きさを変更すると、視差量の増減に伴って左右の２Ｄ画像の画像サイズが変化してしまい、変化しないようにするためには更に拡大や縮小の処理が必要になってしまう。本実施形態においては、３Ｄ画像を形成する左右の２Ｄ画像における視差量を、該視差量に対応したアライメントの値で反映する。
具体的には、図５Ｂに示すように３Ｄ画像を形成する左右の２Ｄ画像（図５Ｂでは単に左画像、右画像と表記）における表示画像位置を左右方向に離間して表示し、視差量が大きい程、左右方向に離間する距離（図５Ｂでは＋１５ドット、−１５ドット）を大きくするアライメントにしている。そのため、左右の画像における左右方向に離間する距離が大きいアライメントの場合程、観察する術者等のユーザは、立体感が大きいと知覚（視認）する。

【0016】

図２に示す３Ｄ内視鏡４は、該３Ｄ内視鏡４に固有の識別情報（ＩＤと略記）を発生するＲＯＭ（リードオンリーメモリ）等から構成されるＩＤ発生器（図２では単にＩＤと表記）２９を有する。
このＩＤ発生器２９のＩＤは、信号ケーブル１２ｃを介して３Ｄプロセッサ７内のＩＤ読取回路３３に入力され、３Ｄ画像生成回路３２はＩＤを読み取り、３Ｄプロセッサ７を制御する制御回路３４に出力する。制御回路３４は、入力されたＩＤから、左右のＣＣＤ２６ａ，２６ｂの画素数、左右の対物レンズ２５ａ，２５ａの焦点距離ｆ、左右の撮像部２７ａ，２７ｂの画角、光軸間距離ｄにより生成される視差量に関する情報を取得することができるようにしている。
図３Ａにおいて示したように、距離Ｌが決まると、光軸間距離ｄの場合に撮像面２８ａ，２８ｂに結像される左右の光学像Ｉｌ，Ｉｒにおけるは、撮像部２７ａ，２７ｂの視差量を反映した光学像となっている。そして、視差量に関する情報となる共通の光学像部分Ｉｃと非共通の光学像部分Ｉａ又はＩｂとの比率を取得することができる。

【0017】

このため、３Ｄ内視鏡４の撮像部２７ａ，２７ｂから取得し、生成する視差量に関する情報（視差量パラメータとも言う）として、光軸間距離ｄ、距離Ｌ、共通の光学像部分Ｉｃと非共通の光学像部分Ｉａ（Ｉｂ）の比率、又はサイズの情報としても良い。なお、距離Ｌを３Ｄ内視鏡４の撮像部２７ａ，２７ｂの既知の特性を利用して算出しても良い。同じ被写体上の位置が左右の撮像面上において結像される位置を検出することにより距離Ｌを算出することができる。
３Ｄプロセッサ７は、３Ｄ画像生成部を形成する３Ｄ画像生成回路３２により生成した３Ｄ画像信号を、出力端から観察モニタ８と画像記録装置９とに出力する。
また、３Ｄプロセッサ７の制御回路３４は、３Ｄ内視鏡４の光軸間距離ｄ、距離Ｌ、共通の光学像部分Ｉｃと非共通の光学像部分Ｉａ（Ｉｂ）の比率、又はサイズの情報を視差量パラメータの情報として通信回路３５を介して画像記録装置９に出力し、視差量を補正する際に利用できるようにしても良い。或いは、両撮像部２７ａ，２７ｂにおけるＣＣＤ２６ａ，２６ｂの画素数、左右の対物レンズ２５ａ，２５ａの焦点距離ｆ、画角、光軸間距離ｄ、距離Ｌの情報を、視差量に関する情報として通信回路３５を介して画像記録装置９に出力するようにしても良い。

【0018】

以下の説明においては、３Ｄプロセッサ７は、主に表示環境の情報として、視差量を反映した情報として、アライメントの値を画像記録装置９に出力する場合を説明する。
また、３Ｄプロセッサ７には視差量増減スイッチ３７を設けた操作パネル３６が設けてある。術者等のユーザにより操作される視差量増減スイッチ３７の操作信号は、制御回路３４に入力され、制御回路３４は、操作信号に応じて２Ｄ画像生成回路３１Ｌ，３１Ｒにより生成される左右の２Ｄ画像の視差量を大きくしたり、小さくするように制御する。
また、制御回路３４は、（通常の）視差量パラメータの他に、視差量増減スイッチ３７により、増減される視差量調整パラメータの情報も通信回路３５を介して画像記録装置９に出力することができる。図３Ｂにおいて説明した方法で視差量を増減する場合、増減量が大きく無い範囲においては光軸間距離ｄを増減した場合と等価であると近似できる。このため、視差量増減スイッチ３７により、増減される視差量調整パラメータの情報を、光軸間距離ｄの値を増減した情報として、アライメントの値に含めるようにしても良い。

【0019】

なお、上記操作パネル３６から３Ｄ画像生成回路３２が生成する３Ｄ画像の再生方式（又は表示方式）を設定することができる。観察モニタ８の３Ｄ画像を表示する再生方式に合わせて、３Ｄ画像生成回路３２が３Ｄ画像信号を生成することができるように、３Ｄ画像生成回路３２は、複数種類の再生方式（又は表示方式）で３Ｄ画像信号を生成する機能を有する。
術者等のユーザは、観察モニタ８の再生方式が対応する再生方式の３Ｄ画像信号を生成するように設定する。なお、３Ｄプロセッサ７と、観察モニタ８とを通信回路を介して接続し、３Ｄプロセッサ７が通信回路を介して接続された観察モニタ８の再生方式の情報を取得し、取得した情報に応じて、自動的に観察モニタ８の再生方式と同じ再生方式の３Ｄ画像信号を生成するようにしても良い。
このために、画像記録装置９に入力される３Ｄ画像信号は、通常、観察モニタ８の再生方式と同じ再生方式の３Ｄ画像信号が入力される。従って、図１に示すように手術等の際に使用される観察モニタ８として、異なる種類の再生方式の観察モニタが使用されると、画像記録装置９に入力される３Ｄ画像信号の再生方式（表示方式）も異なる場合がある。

【0020】

観察モニタ８は、３Ｄ画像生成回路３２により生成された３Ｄ画像信号に対して、３Ｄ表示画像を生成する画像処理を行う表示画像生成回路４１と、表示画像生成回路４１により生成された３Ｄ表示画像信号を表示する３Ｄ表示パネル４２と、画像記録装置９と通信を行う通信回路４３と、表示画像生成回路４１及び通信回路の動作を制御する制御回路４４と、を有する。
制御回路４４は、３Ｄ画像を表示する３Ｄ表示パネル４２の表示サイズ（例えばインチサイズ）の情報を通信回路４３を介して、画像記録装置９に送信する。
図２及び図４に示す画像記録装置９は、３Ｄプロセッサ７から３Ｄ画像信号が入力される画像入力回路５０と、画像入力回路５０に入力された３Ｄ画像信号の３Ｄ画像（データ）から記録装置に記録する記録データを生成する記録データ生成回路５１と、記録データ生成回路５１により生成された記録データを記録する記録部を形成する、例えばハードディスク装置（ＨＤＤと略記）により構成される記録装置５２ａと、記録データを再生して、外部の再生機器に出力画像を出力する場合における再生機器に適合する出力画像に調整又は設定するための調整情報又は設定情報を形成する調整パラメータ（単にパラメータとも言う）を格納する出力画像設定情報格納部を形成するパラメータ格納装置５２ｂと、を有する。より具体的には、パラメータ格納装置５２ｂは、調整パラメータとして、視差量パラメータを算出又は決定するテーブルデータを格納する。

【0021】

図４においては、パラメータ格納装置５２ｂは、記録装置５２ａと別体に設けているが、記録装置５２ａの内部にパラメータ格納装置５２ｂを設けるようにしても良い。なお、図４の画像記録装置９においては、点線が画像信号の流れ、実線が制御信号の流れを表している。
また、この画像記録装置９は、記録装置５２ａに記録された記録データを再生した３Ｄ再生画像（３Ｄ画像）の視差量を調整する視差調整回路５４と、視差調整回路５４を経て出力される３Ｄ画像信号に対して再生方式を変換する再生方式変換回路５５と、再生方式変換回路５５を経た３Ｄ画像信号を再生用の外部モニタ７１に出力する画像出力回路５６と、外部モニタ７１と通信を行う通信回路５７を有する。
記録装置５２ａに記録（録画）された３Ｄ画像は、再生時には視差調整回路５４に入力され、視差調整回路５４と再生方式変換回路５５とを経て、再生環境を形成する再生機器に適合した再生画像（又は出力画像）となり、複数種類の再生機器を構成する外部モニタ７１等に出力される。

【0022】

なお、再生機器として、外部モニタ７１のみの場合においても、外部モニタ７１は再生方式が異なる複数種類が存在するため、外部モニタ７１は、複数種類の再生機器を構成する。
上記通信回路５７は、外部モニタ７１にて３Ｄ画像を再生する場合における再生環境を形成する外部モニタ７１の再生方式、外部モニタ７１の画面サイズ（インチサイズ）の情報を再生環境の情報として取得する。この通信回路５７は、外部モニタ７１から取得した再生環境の情報を例えば制御回路５９に送り、制御回路５９は取得した再生環境の情報を、例えば制御回路５９内部のメモリ５９ａに格納する。このため、通信回路５７又は制御回路５９は、再生環境情報取得部を形成し、メモリ５９ａは、取得した再生環境の情報を格納する再生環境情報格納部を形成する。なお、メモリ５９ａを、制御回路５９の外部に設けるようにしても良い。
また、この画像記録装置９は、３Ｄプロセッサ７の通信回路３５及び観察モニタ８の通信回路４３と通信を行う通信回路５８と、画像記録装置９の動作を制御する制御回路５９と、術者等のユーザがデータの入力や指示操作等を行う操作／表示部６０と、外部のストリーミングクライアントＰＣ７２にストリーミング信号を出力するストリーミング出力回路６１と、外部メディア７３に外部メディア書出を行う外部メディア書出回路６２とを有する。なお、外部メディア７３は、ＵＳＢメディア、光学メディア、ＰＣ（パーソナルコンピュータ）／サーバなどから構成される。

【0023】

図４に示す外部モニタ７１、ストリーミングクライアントＰＣ７２、外部メディア７３は、画像記録装置９に着脱自在に接続され、記録装置５２ａに記録された３Ｄ画像（データ）を再生する、画像記録装置９外部の複数種類の再生機器を形成する。
画像記録装置９にストリーミングクライアントＰＣ７２が接続された場合には、上記再生方式変換回路５５の出力信号は、ストリーミング出力回路６１を経てストリーミングクライアントＰＣ７２に出力される。
また、画像記録装置９に外部メディア７３が接続された場合には、上記再生方式変換回路５５の出力信号は、外部メディア７３に出力される。
また、視差調整回路５４と、再生方式変換回路５５は、外部の再生機器における外部モニタ７１とストリーミングクライアントＰＣ７２とに対しては、双方向の通信を行うことができるように接続される。例えば視差調整回路５４と再生方式変換回路５５は、通信回路５７を介して外部モニタ７１と双方向の通信を行うことができる。また、視差調整回路５４と再生方式変換回路５５は、ストリーミング出力回路６１を経てストリーミングクライアントＰＣ７２と双方向の通信を行うことができる。また、視差調整回路５４と、再生方式変換回路５５は、外部メディア書出回路６２を介して外部メディア７３に３Ｄ画像信号を書き込むことができる。

【0024】

ストリーミング出力回路６１も、内部にストリーミングクライアントＰＣ７２の再生環境の情報を取得し、取得した情報を制御回路５９に送り、メモリ５９ａに格納することができる。
一方、外部メディア書出回路６２は、操作／表示部６０から、外部メディア７３を用いて再生しようとする場合の再生環境の情報を入力することにより、表示環境に基づいて生成される出力画像を前記再生環境の情報に整合するように視差調整回路５４により視差量が調整され、さらに前記再生環境に整合する再生方式となるように再生方式を変換した後、外部メディア７３に出力する。このため、操作／表示部６０は、（出力画像設定値情報格納部を構成するパラメータ格納装置５２ｂに格納された）出力画像の設定情報としての調整パラメータを可変する操作部を構成する。
上記通信回路５８は、３Ｄプロセッサ７の通信回路３５及び観察モニタ８の通信回路４３と通信を行うことにより、観察モニタ８に３Ｄ画像が表示される表示環境の情報を取得する表示環境取得部を形成し、３Ｄプロセッサ７の通信回路３５と通信を行い、３Ｄ内視鏡４の撮像部２７ａ，２７ｂの視差量に関する情報（アライメントの情報）、３Ｄプロセッサ７の３Ｄ画像の再生方式の情報を取得すると共に、観察モニタ８の画面サイズの情報を取得し、例えば通信回路５８内のメモリ５８ａに格納する。このメモリ５８ａは、表示環境の情報を格納する表示環境情報格納部（又は表示環境情報格納装置）を形成する。

【0025】

上記操作／表示部６０は、例えばタッチパネルにより、構成されており、術者等のユーザは、タッチパネルにおける画像記録と表示されている部分をタッチする操作を行うことにより、画像の記録の指示入力を行ったり、画像再生と表示されている部分をタッチする操作を行うことにより再生の指示入力等を行うことができる。
画像入力回路５０に入力される３Ｄ画像信号は、記録データ生成回路５１に入力され、記録データ生成回路５１は、３Ｄ画像信号の記録データを生成する。また、記録データ生成回路５１は、制御回路５９を介して、操作／表示部６０から記録指示が入力された場合には、通信回路５８のメモリ５８ａ内に格納された表示環境の情報を、３Ｄ画像信号に関連する情報としてのメタ情報を付加して、３Ｄ画像信号の記録データを生成する。そして、記録装置５２ａは、メタ情報が付加された３Ｄ画像信号の記録データを記録する。
上記視差調整回路５４は、記録装置５２ａから読み出した記録データにおけるメタ情報から表示環境の情報を取得（又は参照）する。

【0026】

また、視差調整回路５４は、通信回路５７を介して外部モニタ７１の通信回路７１ａと接続され、通信回路５７が取得した再生環境を取得（又は参照）することができる。なお、制御回路５９も双方向の通信が可能となるように通信回路５７と通信回路５８と視差調整回路５４と電気的に接続されている。そして、後述するように制御回路５９は、表示環境と再生環境とが異なる場合には、出力画像設定用のパラメータ格納装置５２ｂに格納されている調整パラメータを参照して、表示環境においての立体感を再生環境の場合に再現できるように、調整した出力画像を出力することができるようにしている。
例えば、観察モニタ８と外部モニタ７１の画面サイズが異なる場合には、ユーザが観察モニタ８の表示サイズで観察した場合の立体感が、外部モニタ７１の表示サイズで観察した場合の立体感において再現できるように、制御回路５９は、記録データを再生した場合の出力画像（再生画像）における視差量に関係する調整パラメータ（視差量パラメータとも言う）としてのアライメントの値を調整する。

【0027】

また、記録データに記録された場合における３Ｄ画像の記録方式と、３Ｄ画像を表示する例えば外部モニタ７１の３Ｄ画像の再生方式が異なる場合には、制御回路５９は、記録データを（その記録方式と同じ再生方式で）再生した場合の出力画像（再生画像）の再生方式を、外部モニタ７１の再生方式に変換して３Ｄ画像信号を出力するように制御する。
図４に示す構成例においては、制御回路５９は、通信回路５８と表示環境の情報を取得可能に接続され、また、通信回路５７，ストリーミング出力回路６１，外部メディア書出回路６２とも再生環境の情報を取得可能に接続され、更に視差調整回路５４と、再生方式変換回路５５の動作を制御可能に接続されている。
また、制御回路５９は、パラメータ格納装置５２ｂに、出力画像設定用の調整パラメータを格納する動作を制御したり、新たにより適切な調整パラメータが算出された場合には、パラメータ格納装置５２ｂに格納されている調整パラメータを、より適切な調整パラメータに更新する。

【0028】

また、制御回路５９は、再生環境の情報の取得結果と表示環境の情報の取得結果と、パラメータ格納装置５２ｂに格納された調整パラメータと、に応じて再生方式変換回路５５による再生方式と、視差調整回路５４による視差量と、を調整する制御部を形成する。
より具体的には、再生環境の情報と、表示環境の情報とが等しい場合には、制御回路５９は、表示環境の情報のままで再生を行うように制御する。つまり、この場合には、記録装置５２ａに記録した場合と同じ表示環境のままを再生環境として、再生を行い出力画像を設定する。
これに対して、再生環境の情報と、表示環境の情報とが等しくない場合（異なる場合）には、制御回路５９は、前記表示環境の情報における３Ｄ画像を表示するのに使用された観察モニタ８の画面サイズと再生環境の情報における前記再生機器に使用される再生モニタ（外部モニタ７１）の画面サイズとが異なるか否かを判定し、両画面サイズが異なる場合には設定情報としての調整パラメータに応じて、観察モニタ８と再生モニタとの画面サイズの差異の値に応じた視差量となるように視差調整回路５４を制御する。更に、制御回路５９は、表示環境の情報における再生方式と前記再生環境の情報における前記再生機器の再生方式とが異なるか否かを判定し、両再生方式が異なる場合には再生方式変換回路５５が前記再生機器の再生方式の３Ｄ画像を生成するように制御する。

【0029】

なお、視差調整回路５４が制御回路５９の（一部又は全部の）機能を兼ねたり、再生方式変換回路５５が制御回路５９の（一部又は全部の）機能を兼ねる構成にしても良い。例えば、視差調整回路５４が制御回路５９（の例えば一部）を含む構成にしたり、再生方式変換回路５５が制御回路５９の（例えば一部）を含む構成にしても良い。
図５Ａは、表示環境から取得される情報と、再生環境から取得される情報とにより、表示環境の立体感を、再生環境において再現できるように補正する調整パラメータ補正値として出力アライメント補正値を算出する内容をルックアップテーブル形式で示す。
換言すると、図５Ａは、表示環境の情報と、再生環境の情報とから、表示環境の視差量を再現する出力アライメント補正値を算出する調整テーブル（又は補正テーブル）を示し、表示環境の情報から取得したアライメントを出力アライメント補正値で補正したものが、表示環境のアライメントを再現する出力画像又は再生環境の再生モニタでのアライメントになる。この調整テーブルは、例えばパラメータ格納装置５２ｂに格納されている。

【0030】

なお、図５Ａでは、表示環境の情報と、再生環境の情報とから出力アライメント補正値を算出（決定）できるようにしているが、出力アライメント補正値の代わりに、表示環境のアライメントを再現する出力画像又は再生環境の再生モニタでのアライメントを算出（決定）するようにしても良い。
図５Ａにおいて、観察モニタ情報としての画面サイズを表すインチサイズと、３Ｄプロセッサ情報としてのアライメント（値）は、表示環境の情報として通信回路５８を介して取得される。また、外部モニタ情報としての画面サイズを表すインチサイズは、再生環境の情報として通信回路５７を介して取得される。
なお、図５Ａにおいては、再生環境の情報として、アライメントが取得されることは明示していないが、標準的なアライメントの値が設定されていると見なすことができる。後述する図７において、再生動作を説明する場合、再生環境の情報と表示環境の情報に差異が有るか否かを判定する場合、（表示環境においてはアライメントの情報を有することは明らかであるが、）再生環境の情報がアライメントの情報を含むか否かにより処理が異なる。このために、以下の説明においては、まず、再生環境の情報がアライメントの情報を含む場合として説明する。

【0031】

図５Ａにおいて、３Ｄプロセッサ情報としてのアライメント（値）として、例えば±１５未満や、±１５〜±２０未満に設定されている。
アライメントが、例えば±１５とは、図５Ｂに示すように（３Ｄ画像を構成する）右画像の左端の表示位置を基準位置Ｏから右側に＋１５ドットだけシフトした位置、左画像の左端の表示位置を基準位置Ｏから右側を＋とすると反対となる左側（−）に１５ドットだけシフトした位置に設定して表示する状態を表す。なお、＋１５ドットは、例えば高品位のテレビジョン（ＨＤ−ＴＶ）規格の水平方向のドット数等を基準としている。
図５Ｂは、例えばラインバイライン(Line by Line)又はフレームパッキングの３Ｄ再生方式の３Ｄ画像を表示した場合で示す。図示しないが、トップアンドボトムの場合も、ラインバイライン等の場合と同様にアライメントが設定される。
一方、サイドバイサイド(Side by Side)の３Ｄ再生方式の３Ｄ画像の左右の画像においては、図９に示すように表示前の画像状態では左右方向にそれぞれ半分に圧縮されているので、表示される場合には、左右方向に２倍に伸張されるので、（同じ画面サイズの場合には）ラインバイライン等の場合の半分のアライメントに設定される。

【0032】

図５Ａに記載されているようにアライメントが±１５〜±２０は、左右の画像の表示位置が、左右方向に±１５ドット離間した場合よりも、更に左右方向に離間して表示されることになる。アライメントの値±ＩにおけるＩの値が大きい程、大きな視差量の左右の画像となる。
また、図５Ａにおける最も右側の欄の出力アライメント補正値は、表示環境のアライメント値を補正する補正値であり、例えば±０は、補正しないことと等しいことを示し、（出力アライメント）補正値における±１は、補正前のアライメント±Ｊをそれぞれ±１補正すること、つまり補正前のアライメント±Ｊを±（Ｊ＋１）に補正することを表す。この場合にはアライメント値（又は視差量）を大きく、又は広げることを表す。一方、（出力アライメント）補正値における−＋１（±１における＋と−の位置を入れ替えたものを表す。）は、補正前のアライメント±Ｊをそれぞれ−＋１補正すること、つまり補正前のアライメント±Ｊを±（Ｊ−１）に補正することを表す。この場合にはアライメント値（又は視差量）を小さく、又は狭くすることを表す。

【0033】

図５Ａは、一部の画面サイズの場合での補正値を具体的に示しているが、以下のような特徴を持つように設定されている。
本実施形態は、表示環境における観察モニタの画面サイズと再生環境における再生モニタの画面サイズとが異なる場合には、基本的に表示環境の立体感を再現できるように再生環境の視差量としてのアライメントを設定する。このために、両画面サイズ（インチサイズ）が等しい場合には、表示環境におけるアライメントをそのまま使用する（換言すると、補正値を０にする）。
これに対して、両画面サイズが異なる場合には、以下のように調整又は補正する。
再生モニタの画面サイズが観察モニタの画面サイズよりも大きい程、表示環境で取得したアライメントを小さくする、換言すると、再生モニタで表示する左右画像の左右方向の配置位置における左右方向の離間量を前記観察モニタの場合よりも小さくする。

【0034】

逆に、再生モニタの画面サイズが観察モニタの画面サイズよりも小さい程、表示環境で取得したアライメントを大きくする、換言すると、再生モニタで表示する左右画像の左右方向の配置位置における左右方向の離間量を前記観察モニタの場合よりも大きくする。また、表示環境の視差量（アライメント）が大きい程、上記の特徴が顕著となるように設定されている。制御回路５９がこのような調整の制御動作を行う。
なお、図５Ａにおいては、視差量に関するデータ例を示し、観察モニタ８の再生方式と外部モニタ７１の再生方式の情報もパラメータ格納装置５２ｂに格納するようにしても良い。例えば、観察モニタの再生方式と外部モニタの再生方式が異なる場合、観察モニタの再生方式から外部モニタの再生方式に変換するために必要となるパラメータを格納するようにしても良い。換言すると、パラメータ格納装置５２ｂが複数種類の調整用パラメータを格納するようにしても良い。
本実施形態においては、表示環境と再生環境の情報が、再生方式以外において異なるような場合、調整テーブルを参照することにより、上記のように表示環境での立体感を再現するように再生環境で同等の立体感が得られるように、３Ｄ画像を表示する場合のアライメントを調整する。

【0035】

本実施形態の画像記録装置９は、複数の３Ｄ内視鏡画像における１つの３Ｄ内視鏡画像が選択的に入力される内視鏡画像入力部を形成する画像入力回路５０と、前記内視鏡画像入力部に入力される前記３Ｄ内視鏡画像の表示環境の情報を取得する表示環境情報取得部を形成する通信回路５８（のメモリ５８ａ）と、前記内視鏡画像入力部へ入力される前記３Ｄ内視鏡画像の画像データに前記表示環境情報取得部の取得結果の情報をメタ補情報として付加した記録データを生成する記録データ生成部を形成する記録データ生成回路５１と、前記記録データ生成部により生成された前記記録データを記録する記録部を形成する記録装置５２ａと、前記記録部に記録された前記記録データに基づいて、再生された際の前記３Ｄ内視鏡画像の左右画像の視差を調整する視差調整部を形成する視差調整回路５４と、前記記録部に記録された前記３Ｄ内視鏡画像を複数種類の再生方式の３Ｄ画像に変換可能とする再生方式変換部を形成する再生方式変換回路５５と、前記記録データを再生して、外部の再生機器に出力画像を出力する場合に参照される設定情報を格納する出力画像設定情報格納部を形成するパラメータ格納装置５２ｂと、前記記録部に記録された前記画像データを再生する複数種類の再生機器における実際に接続して使用される再生機器の再生環境の情報を取得する再生環境情報取得部を形成する制御回路５９（又は通信回路５７、ストリーミング出力回路６１）と、前記再生環境情報取得部の取得結果の情報と前記表示環境情報取得部の取得結果の情報とが異なる場合、前記再生環境の再生機器で再生可能な再生方式で変換するように前記再生方式変換部を制御すると共に、前記出力画像設定情報格納部に格納された前記設定情報に応じて前記視差調整部による視差量を調整するように制御する制御部を形成する制御回路５９と、を備えることを特徴とする。

【0036】

次に本実施形態の動作を説明する。まず、図６のフローチャートを参照して記録時の動作を説明する。例えば図１に示すように複数の医療機器を接続して内視鏡装置１の電源を投入し、動作状態にする。この場合には、３Ｄ内視鏡４、光源装置６、３Ｄプロセッサ７、観察モニタ８、画像記録装置９は、図２に示すような接続状態となる。
最初のステップＳ１において、３Ｄプロセッサ７は、観察モニタ８の表示方式（再生方式）と同じ方式の３Ｄ画像信号を生成するように手動又は自動で設定される。そして、３Ｄプロセッサ７は、３Ｄ画像信号を生成する。
ステップＳ２に示すように観察モニタ８は、３Ｄ画像を表示する。また、ステップＳ３に示すように画像記録装置９の通信回路５８は、３Ｄプロセッサ７側から表示環境を形成する情報を取得し、取得した情報をメモリ５８ａに記憶する。この場合、通信回路５８は、表示方式の情報と、３Ｄ内視鏡４における視差量に相当するアライメントの情報を取得する。

【0037】

また、ステップＳ４に示すように画像記録装置９の通信回路５８は、観察モニタ８の画面サイズの情報を取得する。
次のステップＳ５において画像記録装置９の制御回路５９は、画像記録装置９に接続された接続機器の情報の変更有りか否かを、例えば通信回路５８による通信により取得した情報から判定する。接続機器の情報の変更が有る場合には、ステップＳ３の処理に戻り、変更された接続機器の表示環境において、再度、上述した情報の取得及び取得した情報を記憶する。
一方、接続機器の情報の変更が無い場合には次のステップＳ６において制御回路５９は、操作／表示部６０から録画開始の操作が有ったか否かを判定する。録画開始の操作が無い場合には、ステップＳ５の処理に戻る。
術者は、観察モニタ８の３Ｄ画像を観察しながら、手術等を行う場合、３Ｄ画像を録画するために録画開始の操作を行う。録画開始の操作が有った場合には、次のステップＳ７において制御回路５９は、記録データ生成回路５１に対して、録画を開始させるように制御信号で制御する。

【0038】

制御信号が送られた記録データ生成回路５１は、画像入力回路５０を経て入力される３Ｄ画像信号の３Ｄ画像データの録画を開始し、また通信回路５８のメモリ５８ａに記憶した視差量に関係する情報等を、メタ情報として録画データに付加する。そして、ステップＳ８に示すように記録データ生成回路５１は、メタ情報が付加された録画データ（記録データ)を生成し、生成された録画データ（記録データ)は記録装置５２ａに記憶される。
次のステップＳ９において制御回路５９は、録画停止の操作がされたか否かをモニタし、録画停止の操作がされない場合には、ステップＳ８の処理に戻り、録画停止の操作がされた場合には、図６の処理を終了、又はステップＳ３の処理に戻る。
次に、図７のフローチャートを参照して記録装置５２ａに記録された画像データを再生する場合の動作を説明する。以下の説明においては、再生機器として、外部モニタ７１が画像記録装置９に接続された状態において再生する場合の動作を説明する。

【0039】

この場合には、図４に示した画像記録装置９は、図８Ａに示すような画像信号と制御信号がその動作に関与し、画像信号、制御信号が入力も出力もされないストリーミング出力回路６１，外部メディア書出回路６２は、本動作には無関係となる。
再生操作が行われると、図７における最初のステップＳ１１において通信回路５７（又は制御回路５９）は、接続された外部モニタ７１から、この外部モニタ７１の表示方式（再生方式）と、画面サイズ（インチサイズ）の情報を再生環境の情報として取得し、取得した再生環境の情報を制御回路５９に送り、制御回路５９は、再生環境の情報を例えばメモリ５９ａに記憶する。なお、再生環境の情報は、視差に関する情報として、予め標準的な視差量の情報（アライメントの値）が設定されるものとする。再生環境の情報が、視差に関する情報を含まない場合に関しては後述する。
次のステップＳ１２において制御回路５９は、記録装置５２ａの記録データを再生した再生データにおける表示環境の情報を取得し、例えばメモリ５９ａに格納する。

【0040】

次のステップＳ１３において制御回路５９は、再生環境の情報と表示環境の情報とを比較し、差異があるか否かを判定する。
差異がない場合には、ステップＳ１９の処理に移り、記録データ（録画データ）から再生した再生画像を、視差調整回路５４，再生方式変換回路５５をスルーして画像出力回路５６から外部モニタ７１に出力する。
このように表示環境の情報と再生環境の情報とが差異がなく、一致している場合には、表示環境で表示した３Ｄ画像と同じ３Ｇ画像を外部モニタ７１に出力し、術者その他のユーザは、表示環境の３Ｄ画像を再現性の良い状態で観察することができる。
ステップＳ１３の判定処理において表示環境の情報と再生環境の情報とが差異がある場合には、ステップＳ１４において制御回路５９は、再生方式のみの情報に差異があるか否かを判定する。再生方式のみの情報に差異がある判定結果の場合には、ステップＳ１８の処理に移り、再生方式のみの情報に差異がない判定結果（つまり、少なくとも再生方式以外の情報において、差異がある判定結果）の場合には、次のステップＳ１５の処理に進む。

【0041】

ステップＳ１５において制御回路５９は、パラメータ格納装置５２ｂに格納された調整パラメータから、情報の差異を解消する補正値を取得（又は算出）する。次のステップＳ１６において視差調整回路５４は、表示環境の情報を再生環境の情報に整合するように視差量となるアライメントを補正する。
次のステップＳ１７において制御回路５９は、再生方式の情報に差異が有るか否かを判定し、再生方式の情報に差異が有る判定結果の場合には次のステップＳ１８において再生方式変換回路５５は、該再生方式変換回路５５に入力される画像データを外部モニタ７１の再生方式に合わせるようにフォーマットを変換し、次のステップＳ１９に進む。
例えば、観察モニタ８の再生方式がフレームパッキングの設定に対して、外部モニタ７１の再生方式がラインバイラインの場合には、再生方式変換回路５５は、外部モニタ７１のラインバイラインの再生方式にフォーマットを変換する。このように外部モニタ７１を再生機器として画像記録装置９に接続した場合、外部モニタ７１の再生方式として、複数種類が存在するために、再生方式変換回路５５は、実際に接続された外部モニタ７１の再生方式で再生できるようにフォーマット変換を行う。

【0042】

一方、再生方式の情報に差異が無い判定結果の場合には、ステップＳ１８の処理を行うこと無くステップＳ１９の処理に移る。ステップＳ１９において、再生環境と表示環境とに差異がある場合においても、表示環境の状態で術者等が観察する場合の視差量を再現するように、再生環境に対応した３Ｄ画像を生成するように録画データを再生した出力画像を生成する。
次のステップＳ２０において制御回路５９は、再生終了の操作が行われたか否かをモニタし、再生終了の操作が行われない場合にはステップＳ１９の処理に戻り、録画データを再生する処理を続行し、再生終了の操作が行われた場合には図７の再生の処理を終了する。
図７の動作を再生機器が外部モニタ７１の場合において説明したが、再生機器がストリーミングクライアントＰＣの場合には、図８Ｂに示すような信号の流れとなる。この場合には、上述した動作における外部モニタ７１をストリーミングクライアントＰＣ７２に置換した場合の動作となる。

【0043】

この場合には、再生方式変換回路５５は、ストリーミングクライアントＰＣ７２の再生環境の情報の取得結果に応じて、ストリーミングクライアントＰＣ７２に適合した再生方式の３Ｄ画像を生成すると共に、視差調整回路５４は、表示環境における立体感を再現するような視差量となるアライメントの補正を行う。
また、再生機器が外部メディア７３の場合には、図８Ｃに示すような信号の流れとなる。この場合には、再生する場合の再生環境が不明（又は未定）となるために例えば図９に示すように手動により、外部メディア７３が使用される（予定の再生機器の）再生環境を設定できるようにしている。ユーザは操作／表示部６０から、外部メディア７３を用いて再生しようとする再生環境の情報に合わせた３Ｄ画像データとなるように設定することができる。
図９に示すように外部メディア７３を用いて再生しようとする外部モニタの画面サイズ（インチサイズ）を選択的に設定することと、再生方式を選択的に設定することができる。このように再生環境を設定して、記録装置５２ａから再生した画像データを外部メディア７３に書き出すことができる。

【0044】

そして、このように書き出された外部メディア７３を、再生しようとする外部モニタに接続して３Ｄ画像を表示することにより、その外部モニタにより表示される３Ｄ画像は、表示環境の状態でユーザが観察した場合の立体感を再現する状態にすることができる。
なお、上述した図７の再生動作の説明においては、再生環境の情報が、視差に関する情報を含む場合を説明したが、視差に関する情報を含まない場合の動作を図１０を参照して説明する。
図１０の処理は、図７の処理と類似するために、異なる部分のみを説明する。図１０におけるステップＳ１１，Ｓ１２は図７と同様である。但し、ステップＳ１１においては、再生環境の情報が取得された場合、視差に関する情報が含まれない。
また、図１０におけるステップＳ１２の次のステップＳ３１において制御回路５９は、表示環境の情報を構成する観察モニタ８の画面サイズと、再生環境の情報を構成する外部モニタ７１の画面サイズが等しいか否かの判定を行う。

【0045】

画面サイズが等しい場合には、次のステップＳ３２において制御回路５９は、表示環境の視差量に関する情報をそのまま用いる。換言すると、表示環境における左右の画像をそのまま用いる。また、次のステップＳ３３において制御回路５９は、ユーザから視差調整の指示操作がされるか否かを判定する。視差調整の指示操作が行われた場合には、次のステップＳ３４において視差調整回路５４は、指示された視差量の調整値だけ、左右の画像を補正（又は調整）し、次のステップＳ３５の処理に進む。
視差調整の指示操作は、例えば図２の操作／表示部６０から行うことができるようにしても良い。視差調整の指示操作が行われない場合には、ステップＳ３４の処理を行うこと無く、ステップＳ３５の処理に移る。視差調整回路５４が視差量を調整した左右の画像を生成する処理としては、アライメントの値を調整することで行うようにしても良いし、図３Ａ，図３Ｂにおいて説明したように撮像領域を左右方向にシフトして、光軸間距離を可変した場合に近い左右の画像を生成するようにしても良い。
ユーザは、表示環境における立体感を忠実に再現しようとする場合には、視差調整の指示操作を行わないようにすれば良い。このために、図１０におけるステップＳ３３，Ｓ３４の処理を省くようにしても良い。

【0046】

一方、ステップＳ３１の判定処理において画面サイズが等しくない場合には、ステップＳ３６において制御回路５９は、パラメータ格納装置５２ｂに格納されている調整パラメータから、画面サイズに応じた補正値を取得する。
調整パラメータは、表示環境の観察モニタ８の画面サイズと再生環境の外部モニタ７１の画面サイズが異なる場合、表示環境における立体感を再現できるような補正値としての出力アライメント補正値を予めテーブルデータ等として設定されている。
そして、次のステップＳ３７において視差調整回路５４は、取得して補正値により記録装置５２ａから再生した３Ｄ画像を構成する左右の２Ｄ画像を補正した後、ステップＳ３５の処理に移る。
ステップＳ３５において制御回路５９は、再生環境と表示環境との両情報における再生方式が等しいか否かの判定を行う。再生方式が等しく無い場合には、ステップＳ３８において再生方式変換回路５５は、この再生方式変換回路５５に入力される３Ｄ画像データの再生方式を再生環境の外部モニタ７１の再生方式に変換した後、ステップＳ１９の処理に移る。ステップＳ３５の判定処理において、両再生方式が等しい場合には、ステップＳ３８の処理を行うこと無く、ステップＳ１９の処理に移る。ステップＳ１９とＳ２０は、図７と同様である。

【0047】

図１０に示すように外部モニタ７１側から再生環境の情報を取得した場合、再生環境における視差量に関する情報を取得すること無く、視差量に関する調整パラメータを参照して、表示環境における画面サイズと再生環境における画面サイズの情報から、表示環境と同じ立体感が得られる補正値を取得することができるようにしても良い。
なお、図１０の処理において、ステップＳ３７の処理を行った後に、ステップＳ３５の処理に移るように説明したが、ステップＳ３７の処理を行った後に、ステップＳ３３の処理に移るようしても良い。つまり、ユーザは、表示環境の場合と同等の立体感で３Ｄ画像を観察できるようにする機能の他に、ユーザの好みにより、より立体感を持たせて観察したり、立体感の機能を低くして３Ｄ画像を再生できるようにしても良い。

【0048】

このように動作する本実施形態によれば、記録時における内視鏡画像の表示環境と、記録画像を再生する再生方式が異なる再生機器による再生環境とが異なる場合においても、表示環境と同等の立体感のある３Ｄ内視鏡画像を再現できる。
また、図１０の処理を行うようにした場合、ユーザは表示環境と同等の立体感が得られる状態で３Ｄ内視鏡画像を再生して観察できると共に、ユーザの好みで表示環境の立体感からより立体感を強くしたり、弱くして観察することもできる。例えば、ユーザが、長時間、３Ｄ内視鏡画像を再生して観察するような場合には、（表示環境の立体感を再現する状態から）立体感の機能を弱くして、長時間再生する場合には、目が疲れないような状態にして観察することもできる。また、手術の状態を短い時間、再生して観察するような場合には、立体感の機能を増大して、より立体感のある状態で観察することもできる。

【0049】

上述した実施形態を部分的に組み合わせる等して構成される実施形態に本発明に属する。例えば、図５Ａの調整テーブルを用いて視差量を調整（補正）する場合、視差量を大きくするように補正する場合には、左右画像の出力アライメントを±Ｉだけ補正するが、更に図３Ｂに示すように撮像領域をシフトする補正も行うようにしても良い。
具体的には、左右画像の出力アライメントを±Ｉだけ補正すると共に、その場合の左右画像として図３Ｂの視差強調に対応した撮像領域のもの（共通部分の割合が低減された左右の画像）を用いるようにしても良い。このようにすると、左右画像は、実質的に視差強調に対応した左右画像になる。この場合においても、±ＩにおけるＩの値が大きい程、共通部分の割合をより低減するようにしても良い。
同様に、視差量を小さくするように補正する場合には、左右画像の出力アライメントを−＋Ｉ（前述のように±Ｉにおける＋と−の位置を入れ替えたもの）だけ補正すると共に、更に図３Ｂの視差低減に示すように撮像領域を（視差強調と反対側に）シフトする補正も行うようにしても良い。このようにすると、左右画像は、実質的に視差低減に対応した左右画像になる。この場合においても、−＋ＩにおけるＩの値が大きい程、共通部分の割合をより大きくするようにしても良い。

【0050】

また、このようにアライメントと撮像領域のシフトと組み合わせる場合、組み合わせの重み係数を設定できるようにしても良い。換言すると±Ｉ、又は−＋ＩにおけるＩの値に対する撮像領域のシフト量を設定できるようにしても良い。なお、撮像領域のシフトを行うことができるように３Ｄプロセッサ７は、画像記録装置９に対して、観察モニタ８で表示される左右の画像範囲の両側にそれぞれ視差量調整のマージンとなる画像範囲を持つ左右の画像からなる３Ｄ画像を出力して、記録装置５２ａはマージンとなる画像範囲を持つ左右の画像からなる３Ｄ画像を記録するようにしても良い。
また、ユーザにより、アライメントの補正のみを行う場合と、アライメントの補正と共に撮像領域のシフト（による視差強調又は視差低減）を行う場合と、撮像領域のシフト（による視差強調又は視差低減）のみを行う場合と、を選択することができるようにしても良い。ユーザは、例えば、操作／表示部６０から、上記３つの場合の１つを選択することができるようにしても良い。このようにすると、より広範囲のユーザの要望に対応できる。なお、上述した説明において、表示環境の情報を取得する場合、記録装置５２ａに実際に記録されたメタ情報から表示環境の情報を取得するようにしても良い。この場合、例えば制御回路５９が記録装置５２ａから直接的に（又は視差調整回路５４を介して）表示環境の情報を取得するようにしても良い。このように記録装置５２ａに実際に記録された情報から表示環境の情報を取得するようにすると、表示環境に使用されている観察モニタ８が、例えば複数の異なる再生方式に対応しているような場合等においても、再生環境の再生機器の再生方式と差異があるか否かをより確実に判定できる。

【符号の説明】

【0051】

１…内視鏡装置、３…患者、４…３Ｄ内視鏡、５…トロリー、６…光源装置、７…３Ｄプロセッサ、８…観察モニタ、９…画像記録装置、１０…電気メス電源装置、１３…電気メス、２１…挿入部、２３ａ…ランプ、２５ａ，２５ｂ…対物レンズ、２６ａ，２６ｂ…ＣＣＤ、２７ａ，２７ｂ…撮像部、３１Ｌ，３１Ｒ…２Ｄ画像生成回路、３２…３Ｄ画像生成回路、３４…制御回路、３５…通信回路、３６…操作パネル、３７…視差量増減スイッチ、４１…表示画像生成回路、４２…３Ｄ表示パネル、４３…通信回路、４４…生後回路、５０…画像入力回路、５１…記録データ生成回路、５２ａ…記録装置、５２ｂ…パラメータ格納装置、５４…視差調整回路、５５…再生方式調整回路、５６…画像出力回路、５７、５８…通信回路、５８ａ…メモリ、５９…制御回路、６０…操作／表示部、６１…ストリーミング出力回路、６２…外部メディア書出回路、７１…外部モニタ（再生モニタ）、７２…ストリーミングクライアントＰＣ、７３…外部メディア、

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】