特許 6237811 撮像装置および映像記録再生システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6237811

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】撮像装置および映像記録再生システム

(51)【国際特許分類】

   H04N 13/02 20060101AFI20171120BHJP

   H04N 13/00 20060101ALI20171120BHJP

   H04N 5/225 20060101ALI20171120BHJP

   G03B 35/08 20060101ALI20171120BHJP

【ＦＩ】

   H04N13/02 420

   H04N13/02 390

   H04N13/02 500

   H04N13/00 250

   H04N5/225 400

   H04N5/225 800

   G03B35/08

【請求項の数】12

【全頁数】24

(21)【出願番号】特願2016-73809(P2016-73809)

(22)【出願日】2016年4月1日

(62)【分割の表示】特願2011-218870(P2011-218870)の分割

【原出願日】2011年10月3日

(65)【公開番号】特開2016-158266(P2016-158266A)

(43)【公開日】2016年9月1日

【審査請求日】2016年4月4日

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】黒木 義彦

(72)【発明者】

【氏名】大谷 栄二

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００１−０１６６１１（ＪＰ，Ａ）

【文献】 特開２０１１−１６０２９９（ＪＰ，Ａ）

【文献】 特開２００５−２１０２１７（ＪＰ，Ａ）

【文献】 特開２００８−１８７４４０（ＪＰ，Ａ）

【文献】 特開２０１０−２３０８７９（ＪＰ，Ａ）

【文献】 特開２００５−２４４９１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ ３５／０８

(57)【特許請求の範囲】

【請求項1】

入射光を当該入射光が平行光となる領域において第１の成分と第２の成分に分光する分光部と、
前記第１の成分を結像して、視差検出画像を生成する際に用いる第１の画像信号を得る撮像部と、
前記第２の成分を結像して、前記視差検出画像より高画質な画像である基本画像を生成する際に用いる第２の画像信号を得る他の撮像部と
を具備する撮像装置。

【請求項2】

前記分光部は、入射光を透過または反射することによって前記第１の成分と第２の成分に分光する
請求項１記載の撮像装置。

【請求項3】

前記分光部は、前記第１の成分の光を、光軸間の距離がおよそ７乃至６５ミリメートルの左右成分にさらに分光し、
前記第１の画像信号を得る撮像部は、前記左右成分から視差を有する左用の画像信号と右用の画像信号を得る
請求項１記載の撮像装置。

【請求項4】

前記第１の画像信号と前記第２の画像信号とに基づいて画像を生成する画像生成部をさらに具備する請求項１記載の撮像装置。

【請求項5】

入射光を当該入射光が平行光となる領域において第１の成分と第２の成分に分光する分光部と、前記第１の成分を結像して、視差検出画像を生成する際に用いる第１の画像信号を得る撮像部と、前記第２の成分を結像して、前記視差検出画像より高画質な画像である基本画像を生成する際に用いる第２の画像信号を得る他の撮像部とを備える撮像装置から出力される前記第１の画像信号と前記第２の画像信号とに基づいて、画像を生成する画像生成部
を具備する画像処理装置。

【請求項6】

前記画像生成部は、前記第１の画像信号に基づいて前記視差検出画像を生成し、前記第２の画像信号に基づいて前記基本画像を生成し、前記視差検出画像と前記基本画像とに基づいて前記画像を生成する
請求項５記載の画像処理装置。

【請求項7】

前記画像生成部は、
前記第１の画像信号と前記第２の画像信号のそれぞれとを比較して互いに対応する画素信号を探索し、
前記探索の結果に基づいて前記第２の画像信号の画素信号を前記第１の画像信号において対応する画素信号に置換することにより前記画像を生成する
請求項５記載の画像処理装置。

【請求項8】

前記第１の画像信号は、前記第１の成分の光を光軸間の距離がおよそ７乃至６５ミリメートルの左右成分に前記分光部がさらに分光した当該左右成分から得た、視差を有する左用の画像信号と右用の画像信号であり、
前記画像生成部は、前記左用の画像信号、前記右用の画像信号、および、前記第２の画像信号に基づいて、前記画像を生成する
請求項５記載の画像処理装置。

【請求項9】

前記画像生成部は、前記第１の画像信号と前記第２の画像信号とに基づいて前記視差検出画像と同じ視点の前記画像を生成する
請求項５記載の画像処理装置。

【請求項10】

前記画像生成部は、前記第１の画像信号と前記第２の画像信号とに基づいて任意の時刻の前記画像を生成する
請求項５記載の画像処理装置。

【請求項11】

前記画像生成部は、前記第１の画像信号と前記第２の画像信号とに基づいて任意の視点の前記画像を生成する
請求項５記載の画像処理装置。

【請求項12】

撮像装置と画像処理装置とからなるシステムであって、
前記撮像装置は、
入射光を当該入射光が平行光となる領域において第１の成分と第２の成分に分光する分光部と、
前記第１の成分を結像して、視差検出画像を生成する際に用いる第１の画像信号を得る撮像部と、
前記第２の成分を結像して、前記視差検出画像より画素数の高い画像である、基本画像を生成する際に用いる第２の画像信号を得る他の撮像部とを備え、
前記画像処理装置は、
前記撮像装置から出力される、前記第１の画像信号と前記第２の画像信号とに基づいて、画像を生成する画像生成部を備える
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に被写体を立体画像として撮像する撮像装置、および、映像記録再生システムに関する。

【背景技術】

【0002】

従来、共通の被写体を左右２台のビデオカメラによって同時に撮像しておいて、その左右の映像を同時に出力することにより立体画像を表示するシステムが提案されている。しかしながら、このような２台のビデオカメラを用いたシステムは、装置として大型化してしまい機動性に欠けるだけでなく、左右のビデオカメラの光軸のずれ等が生じやすく、適切な視差を有する画像を得ることは困難である。例えば、２台のビデオカメラの間隔が大きくなってしまったり、各ビデオカメラのレンズの個体差によってズーム中に左右の光軸がずれてしまったり、左右の画面サイズが異なってしまうおそれがある。また、フォーカス操作の際に、左右のビデオカメラを被写体に向ける輻輳動作時に、左右のビデオカメラが例えば上下にずれてしまうおそれもある。

【0003】

このような左右のビデオカメラにおける光軸のずれ等が生じると、立体画像を視聴するユーザの視覚系に日常とは異なる情報処理を強いることになり、視覚疲労の要因となる。さらに、ユーザが左右の画像を、立体視用の眼鏡を使わずにそのまま重ねて眺めた際には、被写体が二重に見えて不自然な映像になってしまう。

【0004】

そのため、１つのレンズの瞳となる領域において、被写体からの光をミラーによって２つの光束に分離して撮像する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置では、分離された２つの光束のそれぞれについて撮像を行うことにより、立体視のための左右の映像データを得ることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−８１５８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述の従来技術では、被写体からの光をミラーによって左右に分離することにより、立体視のための左右の映像データを得ることができる。しかしながら、この場合、被写体からミラーに対する入射角度等によって、分離される光の太さが変化してしまい、左右の画像の明るさが不均衡になって、画質が劣化してしまうおそれがある。

【0007】

本技術はこのような状況に鑑みて生み出されたものであり、左右の画像の画質が均等で高品質な立体画像を生成するための撮像を行うことを目的とする。

【課題を解決するための手段】

【0008】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体からの光を集光する撮影レンズと、上記集光された光を伝送して平行光とするリレーレンズと、上記平行光を透過および反射する半透過膜と、上記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、上記分光された光をそれぞれ結像させる第１および第２の結像レンズと、上記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、上記半透過膜によって反射または透過された光のうち上記ミラーに導かれなかった光を結像させる第３の結像レンズと、上記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子とを具備する撮像装置である。これにより、基本画像と視差検出画像とを同時に生成させるという作用をもたらす。

【0009】

また、この第１の側面において、上記基本画像と上記視差検出画像のそれぞれとを比較することにより上記視差検出画像のそれぞれと同じ視点の視差画像を上記基本画像に基づいて生成する視差画像生成部をさらに具備するようにしてもよい。これにより、視差画像を生成させるという作用をもたらす。

【0010】

また、この第１の側面において、上記視差画像生成部は、上記基本画像と上記視差検出画像のそれぞれとを比較して互いに対応する画素を探索する対応画素探索部と、上記探索結果に基づいて上記基本画像の画素を上記視差検出画像において対応する画素の位置へ移動することにより上記視差画像を生成する画素移動部とを備えてもよい。これにより、探索結果に基づいて基本画像の画素を視差検出画像における対応画素の位置へ移動することにより視差画像を生成させるという作用をもたらす。

【0011】

また、この第１の側面において、上記基本画像または上記視差検出画像を時系列のフレームとして含む映像データについて異なる時刻における２つの上記フレームを比較して互いに対応する画素を探索して、当該探索結果に基づいて上記対応する画素の中点座標およびその画素値を求めることにより任意の時刻の画像を補間する時刻方向補間部をさらに具備してもよい。これにより、フレームレートを向上させるという作用をもたらす。

【0012】

また、この第１の側面において、上記基本画像または上記視差検出画像のうちのいずれか２つを比較して互いに対応する画素を探索して、当該探索結果に基づいて上記対応する画素の中点座標およびその画素値を求めることにより任意の視点の画像を補間する空間方向補間部をさらに具備するようにしてもよい。これにより、任意の位置の視点における視差画像を生成させるという作用をもたらす。

【0013】

また、この第１の側面において、上記第１乃至第３の撮像素子の各々は、毎秒６０フレーム以上のレートで上記基本画像または上記視差検出画像を生成してもよい。また、上記第１および第２の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで上記視差検出画像を生成してもよい。また、上記第１および第２の撮像素子の各々は、毎秒２９０乃至３１０フレームのレートで上記視差検出画像を生成してもよい。さらに、上記第１および第２の撮像素子の各々は、毎秒５９０乃至６１０フレームのレートで上記視差検出画像を生成してもよい。

【0014】

また、本技術の第２の側面は、被写体からの光を集光する撮影レンズと、上記集光された光を伝送して平行光とするリレーレンズと、上記平行光を透過および反射する半透過膜と、上記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、上記分光された光をそれぞれ結像させる第１および第２の結像レンズと、上記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、上記半透過膜によって反射または透過された光のうち上記ミラーに導かれなかった光を結像させる第３の結像レンズと、上記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と、上記基本画像と上記視差検出画像のそれぞれとを比較することにより上記視差検出画像のそれぞれと同じ視点の視差画像を上記基本画像に基づいて生成する視差画像生成部と、上記視差画像をそれぞれ左右の映像データのフレームとして生成して記憶部に記録させる映像生成部と、上記記憶部に記録された上記左右の映像データを同時に再生表示させる映像再生部とを具備する映像記録再生システムである。これにより、高画質な視差画像を撮像および再生させるという作用をもたらす。

【発明の効果】

【0015】

本技術によれば、左右の画像の画質が均等で高品質な立体画像を生成するための撮像を行うことができるという優れた効果を奏し得る。

【図面の簡単な説明】

【0016】

【図1】本技術の実施の形態における撮像部の構造例を示す図である。

【図2】本技術の実施の形態における撮像素子１７１乃至１７３の構成例を示す図である。

【図3】本技術の実施の形態による撮像部における瞳１１５のイメージ図である。

【図4】重心間距離Ｄと基線長（ベースライン）との関係を示す図である。

【図5】ズームによる拡大と視差との関係を示す図である。

【図6】本技術の第２の実施の形態における撮像装置の一構成例を示す図である。

【図7】本技術の第２の実施の形態における映像生成部２００の構成例を示す図である。

【図8】本技術の第２の実施の形態における視差画像生成部２４１および２４２の一構成例を示す図である。

【図9】本技術の第２の実施の形態における撮像装置の動作例を示す流れ図である。

【図10】本技術の第３の実施の形態における映像生成部２００の構成例を示す図である。

【図11】本技術の第４の実施の形態における映像生成部２００の構成例を示す図である。

【図12】本技術の第４の実施の形態における時間方向補間部２５１および２５２の構成例を示す図である。

【図13】本技術の第４の実施の形態における時間方向補間部２５１および２５２の動作例を示す流れ図である。

【図14】本技術の第５の実施の形態における映像生成部２００の構成例を示す図である。

【図15】本技術の第５の実施の形態における空間方向補間部２６０の構成例を示す図である。

【図16】本技術の第５の実施の形態における空間方向補間部２６０の動作例を示す流れ図である。

【図17】本技術の第６の実施の形態における映像記録再生システムの一構成例を示す図である。

【発明を実施するための形態】

【0017】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（基本画像および視差検出画像を生成する撮像部の例）
２．第２の実施の形態（基本画像および視差検出画像に基づいて視差画像を生成する撮像装置の例）
３．第３の実施の形態（基本画像および視差検出画像のＲＡＷ画像に基づいて視差画像を生成する撮像装置の例）
４．第４の実施の形態（時間方向補間を行う撮像装置の例）
５．第５の実施の形態（空間方向補間を行う撮像装置の例）
６．第６の実施の形態（映像記録再生システムの例）

【0018】

＜１．第１の実施の形態＞
［撮像部の構造］
図１は、本技術の実施の形態における撮像部の構造例を示す図である。同図（ａ）は被写体に向かって左から見た側面断面図であり、同図（ｂ）は上面断面図である。同図（ｂ）における上部が被写体に向かって右方向であり、下部が被写体に向かって左方向である。なお、同図（ｂ）では、上方のミラー１４２、集光レンズ１５３、および、撮像素子１７３は表示を省略している。

【0019】

この撮像部は、被写体からの入射光１０１を受けて左右の撮像素子１７１および１７２と、中央の撮像素子１７３とに結像させ、左右および中央の映像データを生成するものである。撮像部本体には、レンズマウント１２０を介して交換レンズ１１０が取り付けられるようになっている。この交換レンズ１１０は、被写体からの入射光１０１を集光するレンズ群であり、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等のレンズ群の他、交換レンズ１１０としての絞り１１３を備えている。瞳１１５は、レンズを被写体側あるいは結像側から見たときの開口絞りの像である。なお、交換レンズ１１０は、特許請求の範囲に記載の撮影レンズの一例である。

【0020】

レンズマウント１２０は、交換レンズ１１０を撮像部本体に取り付けるものである。このレンズマウント１２０の内部においては、集光された光は一旦結像されており、左右が反転した倒立像になる。

【0021】

レンズマウント１２０の次段にはリレーレンズ部１３０が配置される。リレーレンズ部１３０は、レンズマウント１２０までに集光された光を平行光領域１４０まで伝送するレンズを備える。レンズマウント１２０までに集光された光は空中像１３１を形成する。このリレーレンズ部１３０におけるレンズにより、交換レンズ１１０の対物焦点位置（すなわち、被写体の位置）における点光源からの拡散光は、領域１４０において平行光となる。この平行光領域１４０には、絞り１１３とは別の絞りをさらに設けてもよい。なお、リレーレンズ部１３０は、特許請求の範囲に記載のリレーレンズの一例である。

【0022】

リレーレンズ部１３０の次段には透過型ミラー１４１およびミラー１４３乃至１４６が配置される。これら透過型ミラー１４１およびミラー１４３乃至１４６は、平行光領域１４０の位置に配置され、集光された光を分光する分光鏡である。まず、同一撮影対象の光量全体は、任意に設定した反射率を有する透過型ミラー１４１により透過および反射され、２つに分光される。この場合、透過および反射された光に含まれる像は同じものである。

【0023】

透過型ミラー１４１は、受けた光を反射および透過するミラーである。この透過型ミラー１４１は、例えば、薄膜をガラス表面に蒸着させたＡＲコート（Anti-Reflection Coat）により実現することができる。このＡＲコートでは、薄膜の反射率を制御することにより透過率を制御することができる。例えば、５０％透過、５０％反射のハーフミラーを用いた場合、ミラー１４２側に入射光の５０％が反射され、ミラー１４３乃至１４６側に入射光の５０％が透過される。

【0024】

透過型ミラー１４１によって反射された光は、上方向に設置されたミラー１４２によって反射されて集光レンズ１５３に入光される。透過型ミラー１４１を透過した光のうち被写体に向かって左側から見た光の成分は、左右反転のためミラー１４３および１４５に反射される。同様に、透過型ミラー１４１を透過した光のうち被写体に向かって右側から見た光の成分は、ミラー１４４および１４６に反射される。このように、透過型ミラー１４１を透過した光は、ミラー１４２乃至１４６によって左右に分光される。このミラー１４３および１４４が配置される位置は平行光領域１４０に含まれるため、左側および右側から見た光の成分のそれぞれに分光される。上述の例のように、ミラー１４３乃至１４６側に入射光の５０％が透過された場合、その透過された光はミラー１４３および１４４によって分光されて、その光量は入射光の２５％ずつになる。

【0025】

透過型ミラー１４１、ミラー１４３および１４５によって分光された光、すなわち被写体を左側から見た成分の光は、結像用の集光レンズ１５１に入光される。また、透過型ミラー１４１、ミラー１４４および１４６によって分光された光、すなわち被写体を右側から見た成分の光は、結像用の集光レンズ１５２に入光される。透過型ミラー１４１およびミラー１４２によって反射された光、すなわち被写体を中央から見た成分の光は、結像用の集光レンズ１５３に入光される。

【0026】

集光レンズ１５１および１５２は、入光された光をそれぞれ撮像素子１７１および１７２の受光面に対して結像させる。集光レンズ１５３は、入光された光を撮像素子１７３の受光面に対して結像させる。これら撮像素子１７１乃至１７３に入光された光は、それぞれ正立像となる。ここでは、例として、透過型ミラー１４１を透過した光を左右に分光し、反射した光を単一の結像としたが、これらは入れ替えてもよい。すなわち、透過型ミラー１４１によって反射された光を左右に分割し、透過した光を直接結像させるようにしてもよい。なお、集光レンズ１５１および１５２は、特許請求の範囲に記載の結像レンズの一例である。

【0027】

撮像素子１７１乃至１７３は、それぞれ集光レンズ１５１乃至１５３から入光された光を電子信号に変換する光電変換素子である。この撮像素子１７１乃至１７３は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等により実現される。

【0028】

撮像素子１７１および１７２は、立体視の視差情報を検出するための視差検出画像を生成するために用いられる。撮像素子１７３は、立体視に用いられる視差画像の基となる基本画像を生成するために用いられる。基本画像は、視差検出画像よりも高画質であることが要求される。視差検出画像は視差情報を検出するためのものである一方、基本画像の画質は視差画像の画質に反映されるからである。

【0029】

図２は、本技術の実施の形態における撮像素子１７１乃至１７３の構成例を示す図である。同図（ａ）は撮像素子１７３の構成例であり、同図（ｂ）は撮像素子１７１および１７２の構成例である。この例では、視差検出画像を生成するための撮像素子１７１および１７２は、それぞれ横１９２０画素、縦１０８０画素の画素数を有する。これに対し、基本画像を生成するための撮像素子１７３は、横３８４０画素、縦２１６０画素の画素数を有する。これらはともに、横１６：縦９の比率となっている。ただし、両者の比率が等しくない場合であっても、本技術を適用することは可能である。

【0030】

また、撮像素子１７１および１７２のサイズは、例えば対角１／２インチである。これに対し、撮像素子１７３のサイズは、例えば対角２／３インチである。

【0031】

このように撮像素子１７１乃至１７３の解像度を設定することにより、視差検出画像よりも高画質な基本画像を生成することができる。

【0032】

また、撮像素子１７１および１７２における画像生成レートと撮像素子１７３における画像生成レートは同じであってもよいが、異なっていてもよい。撮像素子１７３の画素数を撮像素子１７１および１７２よりも高くした場合には、撮像素子１７３の画像生成レートを低く設定することも考えられる。上述の画素数の場合、例えば、撮像素子１７１および１７２の画像生成レートを２４０フレーム／秒として、撮像素子１７３の画像生成レートを１２０フレーム／秒とすることが考えられる。これにより、撮像素子１７３の空間分解能と、撮像素子１７１および１７２の時間分解能とを使い分けることができるようになる。

【0033】

映画では毎秒２４フレーム（２４Ｈｚ）、テレビでは毎秒６０フィールド（６０Ｈｚ）のフレームレートが標準的に用いられている。本技術の実施の形態では、動きによるボケやジャーキネスを考慮して、毎秒６０フレーム（６０Ｈｚ）以上のレート、好ましくは毎秒２３０乃至２５０フレーム（２４０Ｈｚ±１０Ｈｚ）のレートで電子信号から撮像画像を生成する。これにより、時間方向の分解能の不足を解消している。さらに、放送方式を考慮すると、ヨーロッパで多く用いられている毎秒５０フレーム（５０Ｈｚ）と日本アメリカで用いられている毎秒６０フレーム（６０Ｈｚ）の公倍数として、毎秒２９０乃至３１０フレーム（３００Ｈｚ±１０Ｈｚ）のレートが好ましい。また、さらに映画の毎秒２４フレーム（２４Ｈｚ）を加えた公倍数として、毎秒５９０乃至６１０フレーム（６００Ｈｚ±１０Ｈｚ）のレートも、画像合成や、レート変換の処理などの、画像処理を容易にする点で重用である。したがって、撮像素子１７１乃至１７３の画像生成レートを設定するにあたっては、これらを考慮することが望ましい。

【0034】

［瞳の分割］
図３は、本技術の実施の形態による撮像部における瞳１１５のイメージ図である。瞳（pupil）とは、レンズを被写体側あるいは結像側から見たときの開口絞りの像である。本技術の実施の形態による撮像部で、瞳１１５に相当する円の半径をｒとすると、次式が成り立つ。
２ｒ＝ｆ／Ｆ （式１）
ただし、ｆは焦点距離であり、ＦはＦ値である。したがって、焦点距離を固定した場合、瞳１１５の直径２ｒとＦ値は反比例の関係にあることがわかる。

【0035】

本発明の実施の形態では、集光された光を、平行光領域の位置で左右に分光するため、瞳１１５の円を左右に分割した左半円および右半円について考察する。上述のとおり、立体感は、両眼間の視差（相対視差）に基づいて得られる。このとき、視差を決定する光軸は左半円および右半円のそれぞれの重心を通るものと考えられる。半径ｒの半円の重心は、幾何学的に求めることができ、円の中心から４ｒ／３πの距離に位置する。したがって、左半円の重心５０１と右半円の重心５０２との距離（重心間距離Ｄ）は、次式のようになることがわかる。
Ｄ＝８ｒ／３π （式２）
すなわち、重心間距離Ｄは絞り１１３を絞ると、それに比例して小さくなることがわかる。換言すれば、絞り１１３の口径を変化させることにより、得られる立体感を調整することができることになる。このような前提を確認するために行った実験の結果を以下に示す。

【0036】

［重心間距離と基線長（ベースライン）との関係］
図４は、重心間距離Ｄと基線長（ベースライン）との関係を示す図である。ここでは、交換レンズ１１０として＃Ａおよび＃Ｂの２種類のレンズについて、重心間距離の理論値と基線長の実験値とを示している。

【0037】

レンズ＃Ａは、開放Ｆ値が１．８で、焦点距離が１０乃至１００［ｍｍ（ミリメートル）］のズームレンズである。このレンズ＃Ａのズーム比は１０倍であり、ワイド端における焦点距離は１０［ｍｍ］である。レンズ＃Ｂは、開放Ｆ値が２．８で、焦点距離が１３．５乃至５７０［ｍｍ］のズームレンズである。このレンズ＃Ｂのズーム比は４２倍であり、ワイド端における焦点距離は１３．５［ｍｍ］である。両者ともに、撮影距離は６．５［ｍ（メートル）］を想定している。

【0038】

上述の式１および式２より、レンズ＃Ａおよび＃Ｂの重心間距離Ｄはそれぞれ２３．１［ｍｍ］および１４．９［ｍｍ］であると計算される。一方、実装置において実験により求められた基線長は、レンズ＃Ａおよび＃Ｂについてそれぞれ２０．０［ｍｍ］および１２．０［ｍｍ］となった。この実験結果から、回折効果によると推測される理論値からの減少が見られるものの、絞り１１３の像である瞳の半円の重心間距離Ｄがほぼ基線長に匹敵するものであることがわかる。また、上述の式２より、重心間距離Ｄは絞り１１３の口径によって変化させることが可能であり、したがって、基線長も絞り１１３の口径によって制御可能であることが示された。

【0039】

本技術の実施の形態における構成例によれば、重心間距離Ｄの最小値としておよそ７［ｍｍ］程度を想定することができる。基線長としてもこの程度の値であれば立体感を感じさせることができると考えられる。特に、撮影距離が長い場合、基線長がある程度ないと立体感が出せなくなると考えられる。基線長を増していくと、およそ３２［ｍｍ］程度になると立体感はより明確になり、その反面、背景のぼやけ具合は大きくなっていく。そして、基線長が６５［ｍｍ］を超える領域になると、箱庭効果が生じて不自然な画作りになってしまうと考えられる。したがって、立体映像として自然に見える範囲としては、基線長が７乃至６５［ｍｍ］程度であると考えられる。

【0040】

［ズームによる拡大と視差との関係］
図５は、ズームによる拡大と視差との関係を示す図である。図５（ａ）では、左眼位置をＬ、右眼位置をＲとし、被写体上の点をＡおよびＢとしている。Ａ点を見込んだ角ＬＡＲ（絶対視差）をＡ点の輻輳角θ_Ａとし、Ｂ点を見込んだ角ＬＢＲ（絶対視差）をＢ点の輻輳角θ_Ｂとすると、Ａ点とＢ点の視差（相対視差）ｄは、次式により与えられる。なお、以下では相対視差を単に「視差」と呼称する。
ｄ＝θ_Ｂ−θ_Ａ
ここで、角ＡＬＢをｈ、角ＡＲＢをｇとすると、輻輳角θ_Ａはほぼｈと等しく、輻輳角θ_Ｂはほぼｇと等しい。したがって、次式が成り立つ。
ｄ＝ｇ−ｈ

【0041】

また、両眼間距離をＤ、両眼からＡ点までの距離をＤ_Ａ、両眼からＢ点までの距離をＤ_Ｂとし、両眼から見たＡ点とＢ点との距離をδとすると、
ｄ≒Ｄδ／（Ｄ_Ａ^２−δＤ_Ａ）
ここで、Ｄ_Ａ，ＤＢ＞＞Ｄより、
ｄ≒Ｄδ／Ｄ_Ａ^２
が成り立つ。

【0042】

図５（ｂ）は、図５（ａ）に比べてｎ倍の拡大を行った場合の位置関係を示す図である。ここでは、ズーム後に変化した角度や位置および距離にはそれぞれの記号の最後にダッシュを付加している。ｎ倍の拡大であるから、
ｇ'＝ｎｇ
ｈ'＝ｎｈ
となる。このとき、視差ｄ'は、次式のように表される。
ｄ'＝Ｄ_Ｂ'−Ｄ_Ａ'
＝ｇ'−ｈ'
＝ｎ（ｇ−ｈ）
＝ｎｄ
すなわち、ｎ倍の拡大によりｎ倍の視差が生じることになる。これは、テレ端側へズームしていくと立体感が増すことを意味する。換言すれば、ズーム撮影においては、短い基線長でも適正な視差を得ることができることになる。

【0043】

このように、本技術の第１の実施の形態によれば、一つの交換レンズ１１０によって集光された光をミラー１４３乃至１４６によって左右に分光することにより、両眼に提示される画像の視差を適正に小さくすることができる。本技術の実施の形態において得られる視差は、絞り１１３の口径およびズーム撮影におけるズーム比（拡大率）によって制御可能である。一般に、視差に対する眼の感度は高く、通常視力が視角で分オーダであるのに対し、視差については１オーダ高い分解能があるとされている（C.W.Tyler, "Spatial Organization of Binocular Disparity Sensitivity", Vision Research, Vol.15, pp.583-590, Pergamon Press (1975).）。したがって、視差を適正に小さくすることは、上の例よりも小さな視差の条件下であっても、自然に立体感を知覚させ、視覚疲労を軽減するためにも重要である。

【0044】

また、この第１の実施の形態によれば、視差検出画像に加えて高画質な基本画像を撮像することができる。これら基本画像および視差検出画像を用いることにより、以下のように高画質な視差画像を生成することができる。

【0045】

＜２．第２の実施の形態＞
［撮像装置の構成］
図６は、本技術の第２の実施の形態における撮像装置の一構成例を示す図である。この映像記録再生システムは、撮像部１００と、映像生成部２００と、映像記憶部３００とを備えている。

【0046】

撮像部１００は、第１の実施の形態として説明した撮像部であり、被写体からの入射光を受けて撮像素子１７１および１７２によって視差検出画像を生成し、撮像素子１７３によって基本画像を生成する。

【0047】

映像生成部２００は、撮像部１００から出力された基本画像および視差検出画像に基づいて高画質な視差画像を生成し、その視差画像の映像データを映像記憶部３００に記録するものである。この映像生成部２００の構成については後述する。

【0048】

映像記憶部３００は、映像生成部２００から出力された視差画像の映像データを記憶するものである。

【0049】

［映像生成部の構成］
図７は、本技術の第２の実施の形態における映像生成部２００の構成例を示す図である。この映像生成部２００は、信号処理部２１１乃至２１３と、画像メモリ２２１および２２２と、視差画像生成部２４１および２４２と、符号化部２３１および２３２とを備えている。

【0050】

信号処理部２１１乃至２１３は、撮像部１００から出力された基本画像および視差検出画像の映像データをそれぞれ受け取り、所定の信号処理を施すものである。この信号処理部２１１乃至２１３は、撮像データをＡ／Ｄ（Analog to Digital）変換し、デモザイク処理やホワイトバランス調整処理等の各種信号処理を施す。

【0051】

視差画像生成部２４１および２４２は、基本画像および視差検出画像に基づいて視差画像を生成するものである。この視差画像生成部２４１および２４２の詳細については後述する。

【0052】

画像メモリ２２１および２２２は、信号処理部２１１乃至２１３によって処理された映像データおよび視差画像生成部２４１および２４２によって生成された視差画像の映像データを一時的に保持するメモリである。

【0053】

符号化部２３１および２３２は、画像メモリ２２１および２２２に保持された視差画像の映像データを符号化して映像記憶部３００に出力するものである。

【0054】

［視差画像生成部の構成］
図８は、本技術の第２の実施の形態における視差画像生成部２４１および２４２の一構成例を示す図である。この視差画像生成部２４１および２４２は、それぞれ対応画素探索部２４５と、画素移動部２４６とを備えている。

【0055】

対応画素探索部２４５は、視差検出画像の各画素について、基本画像における対応画素を探索するものである。この対応画素探索部２４５は、視差検出画像の左右それぞれの画像において探索領域を設け、基本画像の一部の領域をテンプレートとして探索を行う。この探索においては、相関係数法、ＳＳＤＡ（Sequential Similarity Detection Algorithm）法、最小二乗マッチング等が用いられる。すなわち、画素の一定の単位ごとに相関計算や差分絶対和計算等による評価を行い、相関が最大となる画素、または、差分絶対和が最小となる画素を対応画素として探索する。

【0056】

ここで、例えば、差分二乗和や差分絶対値和を用いて対応画素を探索する際には、以下のように評価が行われる。まず、横Ｘ画素×縦Ｙ画素の視差検出画像において横ｐ画素×縦ｑ画素の探索領域を想定する。また、基本画像において横ｍ画素×縦ｎ画素の探索領域を想定する。ただし、ｍはｐより小さく、ｎはｑよりも小さい整数である。視差検出画像の探索領域において、基本画像の探索領域を順次移動させながら差分二乗和または差分絶対値和を求める。

【0057】

視差検出画像の画素値をＩ（ｉ，ｊ）、基本画像の画素値をＴ（ｉ，ｊ）とすると、差分二乗和（ＳＳＤ：Sum of Squared Difference）は次式により求められる。

【数1】

また、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）は次式により求められる。

【数2】

この差分二乗和または差分絶対値和が最小となる位置のテンプレートの中心に位置する画素が対応画素になる。差分絶対値和が最小となるのは、基本画像と視差検出画像とが最も類似している領域であるから、対応画素には同じ被写体が表示されているものと推定することができる。

【0058】

一方、例えば、正規化相互相関を用いて対応画素を探索する際には、以下のように評価が行われる。視差検出画像の探索領域と、基本画像の探索領域との関係は上述のものと同様である。視差検出画像の探索領域において、基本画像の探索領域を順次移動させながら正規化相互相関を求める。

【0059】

正規化相互相関（ＮＣＣ：Normalized Correlation Coefficient）は次式により求められる。

【数3】

この正規化相互相関が最大となる位置のテンプレートの中心に位置する画素が対応画素になる。この正規化相互相関を利用することにより、視差検出画像と基本画像とに輝度差がある場合においても、高い精度で対応画素を検出することができる。

【0060】

画素移動部２４６は、対応画素探索部２４５によって探索された対応画素の情報に基づいて、基本画像の画素を視差検出画像の対応する画素の位置に移動することによって視差画像を生成するものである。基本画像と視差検出画像の画素数が一致しない場合には、基本画像の複数の画素から補間して視差画像の画素値を求めてもよい。

【0061】

この実施の形態では、視差検出画像は視差情報のみが利用され、明るさや解像度などの画質は基本画像のものが反映される。これにより、左右で画質が均等な視差画像を得ることができる。

【0062】

［撮像装置の動作］
図９は、本技術の実施の形態における撮像装置の動作例を示す流れ図である。まず、被写体からの入射光は、交換レンズ１１０およびリレーレンズ部１３０を介して平行光領域１４０に導かれ、透過型ミラー１４１およびミラー１４３乃至１４６によって分離される（ステップＳ９０１）。

【0063】

透過型ミラー１４１およびミラー１４２によって集光レンズ１５３に導かれた光は撮像素子１７３において光電変換されて、基本画像が生成される（ステップＳ９０２）。また、ミラー１４３乃至１４６によって集光レンズ１５１および１５２に導かれた光は撮像素子１７１および１７２において光電変換されて、視差検出画像が生成される（ステップＳ９０２）。これら基本画像および視差検出画像の生成は独立して行われ、各画像の生成レートは異なっていても構わない。

【0064】

また、視差画像生成部２４１および２４２の対応画素探索部２４５において、基本画像と視差検出画像の対応画素が探索される（ステップＳ９０３）。この対応画素の探索は、左右の視差検出画像のそれぞれについて行われる。

【0065】

そして、視差画像生成部２４１および２４２の画素移動部２４６において、対応画素の情報に基づいて、基本画像の画素を視差検出画像の対応する画素の位置に移動することによって視差画像が生成される（ステップＳ９０４）。

【0066】

このように、第２の実施の形態によれば、１つの高画質な基本画像の画素を用いて視差画像を生成することにより、明るさや解像度等の画質として基本画像のものを視差画像に反映することができ、左右の間で画質が均等な視差画像を得ることができる。

【0067】

＜３．第３の実施の形態＞
第２の実施の形態では、画像メモリ２２１および２２２に保持された基本画像および視差検出画像に基づいて視差画像を生成していたが、この第３の実施の形態では画像メモリ２２１および２２２へ保持される前に視差画像を生成する。すなわち、この第３の実施の形態では、基本画像および視差検出画像がＲＡＷ画像である状態で、信号処理部２１３を用いることなく、視差画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。

【0068】

［映像生成部の構成］
図１０は、本技術の第３の実施の形態における映像生成部２００の構成例を示す図である。この第３の実施の形態における映像生成部２００は、図７における信号処理部２１３を不要とし、視差画像生成部２４１および２４２をそれぞれ信号処理部２１１および２１２に接続することにより構成される。

【0069】

信号処理部２１１および２１２は、撮像部１００から出力された基本画像および視差検出画像の映像データをそれぞれ受け取り、Ａ／Ｄ変換を施して、視差画像生成部２４１および２４２にそれぞれ供給する。

【0070】

視差画像生成部２４１および２４２は、それぞれ信号処理部２１１および２１２から供給された基本画像および視差検出画像の映像データに基づいて視差画像を生成し、それぞれ信号処理部２１１および２１２に供給する。なお、視差画像生成部２４１および２４２の構成については、図８により説明したものと同様であるため、説明を省略する。

【0071】

そして、信号処理部２１１および２１２は、視差画像生成部２４１および２４２から供給された視差画像に対してデモザイク処理やホワイトバランス調整処理等の各種信号処理を施して、それぞれ画像メモリ２２１および２２２に保持させる。

【0072】

符号化部２３１および２３２は、画像メモリ２２１および２２２に保持された視差画像の映像データを符号化して映像記憶部３００に出力する。

【0073】

このように、第３の実施の形態によれば、基本画像および視差検出画像がＲＡＷ画像である状態において視差画像を生成することにより、より高品質な視差画像を得ることができる。

【0074】

＜４．第４の実施の形態＞
この第４の実施の形態では、視差画像を時間方向に補間して任意の時刻の画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。

【0075】

［映像生成部の構成］
図１１は、本技術の第４の実施の形態における映像生成部２００の構成例を示す図である。この第４の実施の形態における映像生成部２００は、第２の実施の形態と比べて、時間方向補間部２５１および２５２が、それぞれ画像メモリ２２１または２２２に接続されている点で異なる。時間方向補間部２５１および２５２は、それぞれ画像メモリ２２１および２２２に保持されている視差画像の映像データについて、時間方向の補間を行うものである。

【0076】

［時間方向補間部の構成］
図１２は、本技術の第４の実施の形態における時間方向補間部２５１および２５２の構成例を示す図である。この時間方向補間部２５１および２５２は、それぞれフレームバッファ２５４と、対応画素探索部２５５と、補間処理部２５６とを備えている。

【0077】

フレームバッファ２５４は、視差画像の映像データをフレーム毎に保持するバッファである。視差画像の映像データは時系列のフレームにより構成されており、そのフレームをフレームバッファ２５４に一旦保持することにより、対応画素探索部２５５において異なるフレーム同士の比較を行うことができる。例えば、視差画像の映像データの直前のフレームをフレームバッファ２５４に保持しておくことにより、画像メモリ２２１または２２２から供給されている現在のフレームとその直前のフレームの両者を対応画素探索部２５５に供給することができる。なお、視差画像には左右の画像が存在するため、フレームバッファ２５４は少なくとも２枚のフレームを保持する必要がある。

【0078】

対応画素探索部２５５は、視差画像の映像データの現在のフレームとフレームバッファ２５４に保持されたフレームとを比較することにより、両フレームにおける対応画素を探索するものである。この対応画素探索部２５５は、フレームバッファ２５４に保持された視差画像の左右それぞれの画像において探索領域を設け、現在の視差画像の一部の領域をテンプレートとして探索を行う。この探索においては、上述の対応画素探索部２４５と同様の手法を採ることができるため、詳細な説明は省略する。

【0079】

補間処理部２５６は、対応画素探索部２５５によって探索された対応画素の情報に基づいて、任意の時刻における画素値を補間により生成するものである。ここで、フレームバッファ２５４に保持された視差画像を過去データとし、画像メモリ２２１または２２２から供給されている現在の視差画像を現在データとする。まず、過去データから現在データへ対応画素間を結ぶ移動ベクトルの中点座標（ｕ，ｖ）において、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）が算出される。

【0080】

この場合のｕ−ｖ空間は、視差画像のＸ−Ｙ空間に必ずしも一致しない。そこで、全域の画素値ｓ（ｕ，ｖ）からＸ−Ｙ空間の画素値Ｆ（Ｘ，Ｙ）を、補間処理により生成する。この場合の補間処理としては、例えば、以下のような線形補間法を採用することができる。ただし、Ｆ₀は求める画素値Ｆ（Ｘ，Ｙ）、ｓ_iは既知の画素値ｓ（ｕ，ｖ）、ｔは計算に用いられる近接点数である。また、ｗ_iは重みであり、座標（Ｘ，Ｙ）への距離の逆数を用いることができる。

【数4】

【0081】

ここでは、過去データと現在データの対応画素の画素値の平均値を算出することにより移動ベクトルの中点における画素値を求めたが、任意の比率の点を線形比で計算することにより、任意の時刻における画素値を生成してもよい。

【0082】

［時間方向補間部の動作］
図１３は、本技術の第４の実施の形態における時間方向補間部２５１および２５２の動作例を示す流れ図である。時間方向補間部２５１および２５２は、以下の処理を視差画像のフレームレート毎に繰り返す（Ｌ９１０）。

【0083】

まず、画像メモリ２２１または２２２から新たな視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）が取得される（ステップＳ９１１）。また、フレームバッファ２５４に保持されていたフレームをｆ＿ｏｌｄ（Ｘ，Ｙ）とする（ステップＳ９１２）。そして、対応画素探索部２５５は、視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）とフレームｆ＿ｏｌｄ（Ｘ，Ｙ）とを比較することにより、両フレームにおける対応画素を探索する（ステップＳ９１３）。

【0084】

補間処理部２５６は、探索された対応画素間を結ぶ移動ベクトルの中点座標（ｕ，ｖ）を生成し（ステップＳ９１４）、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）を算出する（ステップＳ９１５）。そして、補間処理部２５６は、線形補間法等により画素値Ｆ（Ｘ，Ｙ）を求める（ステップＳ９１６）。この画素値Ｆ（Ｘ，Ｙ）は、中間時刻の映像として出力される（ステップＳ９１７）。

【0085】

そして、視差画像の次のフレームの処理の前に、視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）がフレームバッファ２５４に保持される（ステップＳ９１８）。

【0086】

このように、第４の実施の形態によれば、視差画像のフレームレートを向上させることができる。なお、ここでは、視差画像を時間方向に補間する実施態様について説明したが、視差検出画像または基本画像を補間するようにしてもよい。

【0087】

＜５．第５の実施の形態＞
この第５の実施の形態では、視差画像を空間方向に補間して任意の位置の視点の画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。

【0088】

［映像生成部の構成］
図１４は、本技術の第５の実施の形態における映像生成部２００の構成例を示す図である。この第５の実施の形態における映像生成部２００は、第２の実施の形態と比べて、空間方向補間部２６０が、画像メモリ２２１および２２２に接続されている点で異なる。空間方向補間部２６０は、画像メモリ２２１および２２２に保持されている視差画像の映像データについて、空間方向の補間を行うものである。

【0089】

［空間方向補間部の構成］
図１５は、本技術の第５の実施の形態における空間方向補間部２６０の構成例を示す図である。この空間方向補間部２６０は、対応画素探索部２６５と、補間処理部２６６とを備えている。

【0090】

対応画素探索部２６５は、視差画像の左画像のフレームと右画像のフレームとを比較することにより、両フレームにおける対応画素を探索するものである。この対応画素探索部２６５は、左右画像の一方の画像において探索領域を設け、他方の画像の一部の領域をテンプレートとして探索を行う。この探索においては、上述の対応画素探索部２４５と同様の手法を採ることができるため、詳細な説明は省略する。

【0091】

補間処理部２６６は、対応画素探索部２６５によって探索された対応画素の情報に基づいて、任意の位置の視点における画素値を補間により生成するものである。ここで、一方の画像を第１視点データとし、他方の画像を第２視点データとする。まず、第１視点データから第２視点データへ対応画素間を結ぶベクトルの中点座標（ｕ，ｖ）において、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）が算出される。

【0092】

この場合のｕ−ｖ空間も、第４の実施の形態の場合と同様に、視差画像のＸ−Ｙ空間に必ずしも一致しない。そこで、全域の画素値ｓ（ｕ，ｖ）からＸ−Ｙ空間の画素値Ｆ（Ｘ，Ｙ）を、補間処理により生成する。補間処理の内容についても第４の実施の形態の場合と同様であるため、詳細な説明は省略する。

【0093】

ここでは、第１視点データと第２視点データの対応画素の画素値の平均値を算出することによりベクトルの中点における画素値を求めたが、任意の比率の点を線形比で計算することにより、任意の位置の視点における画素値を生成してもよい。

【0094】

［空間方向補間部の動作］
図１６は、本技術の第５の実施の形態における空間方向補間部２６０の動作例を示す流れ図である。空間方向補間部２６０は、以下の処理を視差画像のフレームレート毎に繰り返す（Ｌ９２０）。

【0095】

まず、画像メモリ２２１から新たな視差画像の左画像のフレームｆ＿ｌｅｆｔ（Ｘ，Ｙ）が取得される（ステップＳ９２１）。また、画像メモリ２２２から新たな視差画像の右画像のフレームｆ＿ｒｉｇｈｔ（Ｘ，Ｙ）が取得される（ステップＳ９２２）。そして、対応画素探索部２６５は、視差画像のフレームｆ＿ｌｅｆｔ（Ｘ，Ｙ）とフレームｆ＿ｒｉｇｈｔ（Ｘ，Ｙ）とを比較することにより、両フレームにおける対応画素を探索する（ステップＳ９２３）。

【0096】

補間処理部２６６は、探索された対応画素間を結ぶベクトルの中点座標（ｕ，ｖ）を生成し（ステップＳ９２４）、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）を算出する（ステップＳ９２５）。そして、補間処理部２６６は、線形補間法等により画素値Ｆ（Ｘ，Ｙ）を求める（ステップＳ９２６）。この画素値Ｆ（Ｘ，Ｙ）は、中間時刻の映像として出力される（ステップＳ９２７）。

【0097】

このように、第５の実施の形態によれば、任意の位置の視点における視差画像を生成することができる。なお、ここでは視差画像の左画像と右画像に基づいて対応画素を探索することを想定したが、基本画像と視差画像の左右画像の一方とを比較することにより、両画像における対応画素を探索するようにしてもよい。

【0098】

＜６．第６の実施の形態＞
［映像記録再生システムの構成］
図１７は、本技術の第６の実施の形態における映像記録再生システムの一構成例を示す図である。この映像記録再生システムは、撮像部１００と、映像生成部２００と、映像記憶部３００と、映像再生部４００と、表示部５００とを備えている。撮像部１００、映像生成部２００および映像記憶部３００については、図６において説明したものと同様であるため、説明を省略する。

【0099】

映像再生部４００は、映像記憶部３００に記憶された映像データを読み出して、再生するものである。この映像再生部４００は、左右の視差画像の映像データに対応して、復号部４１１および４１２と、表示制御部４２１および４２２とを備えている。復号部４１１および４１２は、映像記憶部３００から読み出された視差画像の映像データを復号するものである。表示制御部４２１および４２２は、復号部４１１および４１２によって復号された視差画像の映像データを表示部５００に表示させるように制御するものである。

【0100】

表示部５００は、映像再生部４００から出力された視差画像の映像データを表示するものである。この表示部５００としては、例えば、２台のプロジェクタに円偏光または直線偏光フィルターを取り付けて左右眼用の視差画像をそれぞれ提示し、表示に対応した円偏光または直線偏光眼鏡で観視するような態様が考えられる。また、フィルター付きフラットパネルディスプレイにおいて、同様に左右眼用の視差画像を同時に提示し、レンチキュラーレンズ、パララックスバリア方式等の眼鏡なし立体表示装置等を利用してもよい。このように、本技術の実施の形態では、左右眼用の画像を交互に提示するのではなく、同時に提示することにより、視覚疲労を軽減している。

【0101】

また、本技術の実施の形態では、撮像部１００における映像データの生成から、表示部５００における映像データの表示までを、高フレームレート化することにより、動きによるボケ（Blur）やジャーキネス（Jerkiness）の解消を図る。動きによるボケは、撮影時のＭＴＦ（Modulation Transfer Function）の低下に加えて、特に、ホールド型表示において移動する被写体を追従して見る際（追従視）、映像の網膜上のスリップにより多く発生する。ここで、ホールド型表示は、フレーム期間中、フィルムや液晶プロジェクタ等に映像が継続して表示されることを意味する。また、ジャーキネスは、映像の滑らかさを失われて、動きがギクシャクすることをいう。このジャーキネスは、高速シャッターを用いて撮影された映像を、視線を固定して見る際（固定視）に多く発生する。こうした動画質劣化には、撮影と表示のフレームレートやカメラの撮影の開口率（開口時間／フレーム時間）、視覚特性等が関与する。

【0102】

このように、本技術の第６の実施の形態によれば、高画質な視差画像を撮像および再生することができる。

【0103】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0104】

なお、本技術は以下のような構成もとることができる。
（１）被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と
を具備する撮像装置。
（２）前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部をさらに具備する前記（１）に記載の撮像装置。
（３）前記視差画像生成部は、
前記基本画像と前記視差検出画像のそれぞれとを比較して互いに対応する画素を探索する対応画素探索部と、
前記探索結果に基づいて前記基本画像の画素を前記視差検出画像において対応する画素の位置へ移動することにより前記視差画像を生成する画素移動部と
を備える前記（２）に記載の撮像装置。
（４）前記基本画像または前記視差検出画像を時系列のフレームとして含む映像データについて異なる時刻における２つの前記フレームを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の時刻の画像を補間する時刻方向補間部をさらに具備する前記（２）または（３）に記載の撮像装置。
（５）前記基本画像または前記視差検出画像のうちのいずれか２つを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の視点の画像を補間する空間方向補間部をさらに具備する前記（２）または（３）に記載の撮像装置。
（６）前記第１乃至第３の撮像素子の各々は、毎秒６０フレーム以上のレートで前記基本画像または前記視差検出画像を生成する前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記第１および第２の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（８）前記第１および第２の撮像素子の各々は、毎秒２９０乃至３１０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（９）前記第１および第２の撮像素子の各々は、毎秒５９０乃至６１０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（１０）被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と、
前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部と、
前記視差画像をそれぞれ左右の映像データのフレームとして生成して記憶部に記録させる映像生成部と、
前記記憶部に記録された前記左右の映像データを同時に再生表示させる映像再生部と
を具備する映像記録再生システム。

【符号の説明】

【0105】

１００ 撮像部
１１０ 交換レンズ
１１５ 瞳
１２０ レンズマウント
１３０ リレーレンズ部
１４０ 平行光領域
１４１ 透過型ミラー
１４２〜１４６ ミラー
１５１〜１５３ 集光レンズ
１７１〜１７３ 撮像素子
２００ 映像生成部
２１１〜２１３ 信号処理部
２２１、２２２ 画像メモリ
２３１、２３２ 符号化部
２４１、２４２ 視差画像生成部
２４５、２５５、２６５ 対応画素探索部
２４６ 画素移動部
２５１ 時間方向補間部
２５４ フレームバッファ
２５６、２６６ 補間処理部
２６０ 空間方向補間部
３００ 映像記憶部
４００ 映像再生部
４１１、４１２ 復号部
４２１、４２２ 表示制御部
５００ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】