特許 5993261 奥行き範囲算出装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5993261

(24)【登録日】2016年8月26日

(45)【発行日】2016年9月14日

(54)【発明の名称】奥行き範囲算出装置及びそのプログラム

(51)【国際特許分類】

   H04N 13/00 20060101AFI20160901BHJP

   H04N 13/02 20060101ALI20160901BHJP

   H04N 13/04 20060101ALI20160901BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/02 320

   H04N13/04 060

【請求項の数】6

【全頁数】20

(21)【出願番号】特願2012-205497(P2012-205497)

(22)【出願日】2012年9月19日

(65)【公開番号】特開2014-60649(P2014-60649A)

(43)【公開日】2014年4月3日

【審査請求日】2015年8月3日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】洗井 淳

(72)【発明者】

【氏名】日浦 人誌

(72)【発明者】

【氏名】佐々木 久幸

(72)【発明者】

【氏名】三浦 雅人

(72)【発明者】

【氏名】矢野 澄男

(72)【発明者】

【氏名】岩舘 裕一

(72)【発明者】

【氏名】奥井 誠人

(72)【発明者】

【氏名】三科 智之

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００７−１１４４８３（ＪＰ，Ａ）

【文献】 特開２００９−２７２９２２（ＪＰ，Ａ）

【文献】 特開２０１２−８３４１２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０２Ｂ ２７／２２

Ｇ０３Ｂ ３５／００

(57)【特許請求の範囲】

【請求項1】

インテグラルフォトグラフィ方式を用いた立体画像撮影装置が被写体を撮影した要素画像群から、前記被写体の立体像の視差範囲及び奥行き範囲を算出する奥行き範囲算出装置であって、
前記立体画像撮影装置が撮影した要素画像群を入力し、当該要素画像群に対して、前記要素画像群を表示する立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介した波動光学演算を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの光強度分布である平面光強度分布を算出する平面光強度分布算出手段と、
この平面光強度分布算出手段で算出された距離平面ごとの平面光強度分布を立体空間上の体積光強度分布として記憶する体積光強度分布記憶手段と、
前記仮想要素光学系群を基準に予め設定された観察者位置において、奥行き方向で前記体積光強度分布がゼロとなる位置を前記被写体の立体像の近点及び遠点としてそれぞれ算出し、当該近点と当該遠点との角度視差量の差分を前記視差範囲として算出する視差範囲算出手段と、
前記観察者位置と前記近点との距離、及び、前記観察者位置と前記遠点との距離をそれぞれ算出し、２つの当該距離の差分を前記奥行き範囲として算出する奥行き範囲算出手段と、
を備えることを特徴とする奥行き範囲算出装置。

【請求項2】

前記平面光強度分布算出手段は、
前記仮想要素光学系のピッチに基づいて、前記立体画像撮影装置が撮影した要素画像群を、要素画像ごとに分配する分配手段と、
この分配手段で分配された要素画像ごとに、当該要素画像の光波を、前記仮想要素光学系の焦点距離だけ伝搬させることで、前記仮想要素光学系に入射する光波を算出する第１光波算出手段と、
この第１光波算出手段で算出された前記仮想要素光学系に入射した要素画像ごとの光波を、前記仮想要素光学系の位相分だけシフトさせる位相シフト手段と、
この位相シフト手段で位相シフトされた光波を、それぞれの前記距離平面まで伝搬させることで、前記距離平面ごとの要素画像の光波を算出する第２光波算出手段と、
前記距離平面ごとに、前記第２光波算出手段で算出された要素画像の光波を、前記要素画像群分だけ結合して前記平面光強度分布とする結合手段と、
を備えることを特徴とする請求項１に記載の奥行き範囲算出装置。

【請求項3】

前記立体画像撮影装置が撮影した要素画像群を予め設定された遅延時間だけ遅延させて、遅延要素画像群を出力する遅延手段をさらに備え、
前記平面光強度分布算出手段は、前記要素画像群及び前記遅延手段が遅延させた遅延要素画像群から、前記平面光強度分布を算出し、
前記体積光強度分布記憶手段は、前記要素画像群及び前記遅延要素画像群から算出された前記平面光強度分布を、前記体積光強度分布としてそれぞれ記憶し、
前記視差範囲算出手段は、前記要素画像群及び前記遅延要素画像群の前記体積光強度分布から、前記視差範囲をそれぞれ算出し、
前記奥行き範囲算出手段は、前記要素画像群及び前記遅延要素画像群の前記体積光強度分布から、前記奥行き範囲をそれぞれ算出し、
前記視差範囲算出手段が算出した要素画像群と遅延要素画像群との視差範囲の変化量を視差変化量として算出する視差変化量算出手段と、
前記奥行き範囲算出手段が算出した要素画像群と遅延要素画像群との奥行き範囲の変化量を奥行き変化量として算出する奥行き変化量算出手段と、
をさらに備えることを特徴とする請求項１又は請求項２に記載の奥行き範囲算出装置。

【請求項4】

前記視差範囲算出手段で算出された視差範囲が予め設定された視差範囲閾値を超えるか否かを判定し、前記視差範囲が前記視差範囲閾値を超えるときに警告する視差範囲警告手段と、
前記奥行き範囲算出手段で算出された奥行き範囲が予め設定された奥行き範囲閾値を超えるか否かを判定し、前記奥行き範囲が前記奥行き範囲閾値を超えるときに警告する奥行き範囲警告手段と、
をさらに備えることを特徴とする請求項１又は請求項２に記載の奥行き範囲算出装置。

【請求項5】

前記視差変化量算出手段で算出された視差変化量が予め設定された視差変化量閾値を超えるか否かを判定し、前記視差変化量が前記視差変化量閾値を超えるときに警告する視差変化量警告手段と、
前記奥行き変化量算出手段で算出された奥行き変化量が予め設定された奥行き変化量閾値を超えるか否かを判定し、前記奥行き変化量が前記奥行き変化量閾値を超えるときに警告する奥行き変化量警告手段と、
をさらに備えることを特徴とする請求項３に記載の奥行き範囲算出装置。

【請求項6】

インテグラルフォトグラフィ方式を用いた立体画像撮影装置が被写体を撮影した要素画像群から、前記被写体の立体像の視差範囲及び奥行き範囲を算出するために、体積光強度分布記憶手段を備えるコンピュータを、
前記立体画像撮影装置が撮影した要素画像群を入力し、当該要素画像群に対して、前記要素画像群を表示する立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介した波動光学演算を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの光強度分布である平面光強度分布を算出し、算出した当該平面光強度分布を立体空間上の体積光強度分布として前記体積光強度分布記憶手段に書き込む平面光強度分布算出手段、
前記仮想要素光学系群を基準に予め設定された観察者位置において、奥行き方向で前記体積光強度分布がゼロとなる位置を前記被写体の立体像の近点及び遠点としてそれぞれ算出し、当該近点と当該遠点との角度視差量の差分を前記視差範囲として算出する視差範囲算出手段、
前記観察者位置と前記近点との距離、及び、前記観察者位置と前記遠点との距離をそれぞれ算出し、２つの当該距離の差分を前記奥行き範囲として算出する奥行き範囲算出手段、
として機能させるための奥行き範囲算出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、インテグラルフォトグラフィ方式を用いた立体画像撮影装置が被写体を撮影した要素画像群から、被写体の立体像の視差範囲及び奥行き範囲を算出する奥行き範囲算出装置及びそのプログラムに関する。

【背景技術】

【0002】

従来から、任意の視点から自由に立体映像を視聴することが可能な立体画像表示方式の一つとして、平面状に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。

【0003】

以下、図１１，図１２を参照して、ＩＰ方式に基づく通常の立体画像撮影及び立体画像表示について説明する。図１１に示すように、立体画像撮影装置９１０は、同一平面上に凸レンズを配列したレンズ群９１２と、撮像板９１３とを備える。また、図１１には、被写体９１１と、立体画像撮影装置９１０の撮影方向９１４と、レンズ群９１２によって結像される被写体９１１の要素画像９１５とを図示した。この被写体９１１は、撮影方向９１４から見た場合、円柱が角柱に対して手前になる。

【0004】

この立体画像撮影装置９１０は、レンズ群９１２を通して被写体９１１を撮影する。すると、撮像板９１３には、レンズ群９１２を構成する凸レンズと同じ数だけ被写体９１１の要素画像９１５が撮影される。

【0005】

図１２に示すように、立体画像表示装置９２０は、同一平面上に凸レンズを配列したレンズ群９２２と、表示素子９２３とを備える。また、図１２には、立体像９２１と、観察者９２６の観察方向９２４と、要素画像９２５と、観察者９２６とを図示した。この表示素子９２３は、立体画像撮影装置９１０の撮像板９１３により撮影された要素画像９１５に対応する要素画像９２５を表示する。

【0006】

この結果、図１２に示すように、立体像９２１は、表示素子９２３からの距離が、図１１の被写体９１１と撮像板９１３との距離に等しくなるように生成される。このとき、被写体９１１に対応する立体像９２１は、観察方向９２４から見た場合、角柱が円柱の手前になる。つまり、ＩＰ方式に基づく通常の立体画像撮影では、図１１の被写体９１１と比較して、奥行きが反転した逆視像（立体像９２１）が生成される。

【0007】

なお、図１１，図１２では、光学素子アレイは、微小な凸レンズが配列されたレンズ群９１２であることとして説明したが、微小なピンホールが配列された開口アレイ（空間フィルタ)であってもよい。
また、表示素子９２３は、撮影板１１３により撮影された要素画像９２５を表示することとして説明したが、計算機（不図示）で生成された像を表示してもよい。

【0008】

そこで、前記した逆視像の間題を解決するための発明が提案されている（例えば、特許文献１）。この特許文献１に記載の発明は、図１１の立体画像撮影装置９１０で取得した情報に対して演算処理を行い、演算処理後の情報を図１２の立体画像表示装置９２０に入力し、最終的に正しい奥行きの立体像９２１を生成するものである。

【0009】

以下、図１３，図１４を参照して、特許文献１に記載の画像奥行き変換装置９３０について説明する。図１３に示すように、画像奥行き変換装置９３０は、図１１の立体画像撮影装置９１０で撮影した要素画像９３１を入力し、この要素画像９３１が第１の仮想レンズアレイ９３２を通じて仮想的に形成された立体像９３３を、演算処理により求める。そして、画像奥行き変換装置９３０は、この立体像９３３が第２の仮想レンズアレイ９３４を通じて仮想的に形成された要素画像９３５を、演算処理により求める。

【0010】

図１４に示すように、立体画像表示装置９４０は、図１２の立体画像表示装置９２０と同一構成であり、表示素子９４５を介して、図１３の画像奥行き変換装置９３０が生成した要素画像９４１(つまり、図１３の要素画像９３５)を表示する。この結果、要素画像９４１に対応する立体像９４３は、観察方向９４４から見た場合、円柱が角柱に対して手前になり、図１１の被写体９１１と対比して、奥行きが等価になる。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２００７−１１４４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかし、従来技術では、立体表示装置で実際に立体像を表示する前に、その立体像がどの範囲まで視差及び奥行きを有するか把握できないという問題がある。つまり、観察者が立体像を見たときの奥行き範囲及び視差範囲は、その立体像を実際に表示するまで把握できない。この奥行き範囲及び視差範囲を事前に把握できれば、立体映像の効果的な演出や編集が可能になるため、その実現が強く要望されている。

【0013】

そこで、本願発明は、前記した問題を解決し、ＩＰ方式による被写体の立体像の奥行き範囲及び視差範囲を算出できる奥行き範囲算出装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0014】

前記した課題に鑑みて、本願第１発明に係る奥行き範囲算出装置は、インテグラルフォトグラフィ方式を用いた立体画像撮影装置が被写体を撮影した要素画像群から、被写体の立体像の視差範囲及び奥行き範囲を算出する奥行き範囲算出装置であって、平面光強度分布算出手段と、体積光強度分布記憶手段と、視差範囲算出手段と、奥行き範囲算出手段と、を備えることを特徴とする。

【0015】

かかる構成によれば、奥行き範囲算出装置は、平面光強度分布算出手段によって、立体画像撮影装置が撮影した要素画像群を入力し、要素画像群に対して、要素画像群を表示する立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介した波動光学演算を行うことで、仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの光強度分布である平面光強度分布を算出する。

【0016】

また、奥行き範囲算出装置は、体積光強度分布記憶手段によって、この平面光強度分布算出手段で算出された距離平面ごとの平面光強度分布を奥行き方向で積層するように、立体空間上の体積光強度分布として記憶する。ここで、体積光強度分布は、仮想要素光学系群から任意の距離にある複数の距離平面で構成された立体空間（三次元空間）において、被写体の立体像の三次元形状モデルに対応する。

【0017】

また、奥行き範囲算出装置は、視差範囲算出手段によって、仮想要素光学系群を基準に予め設定された観察者位置において、奥行き方向で体積光強度分布がゼロとなる位置を被写体の立体像の近点及び遠点としてそれぞれ算出し、近点と遠点との角度視差量の差分を視差範囲として算出する。ここで、予め設定した奥行き方向の範囲の中で、体積光強度分布がゼロとなる位置が複数存在した場合、その中で最も遠い位置を遠点とし、最も近い位置を近点とする。

【0018】

このように、体積光強度分布及び観察者位置の両方が仮想要素光学系群を基準とするから、被写体の立体像の位置と観察者位置とは、同一座標系で記述できる。このため、視差範囲算出手段は、観察者と、被写体の立体像との位置関係を同一座標系で記述して、視差範囲を算出できる。

【0019】

また、奥行き範囲算出装置は、奥行き範囲算出手段によって、観察者位置と近点との距離、及び、観察者位置と遠点との距離をそれぞれ算出し、２つの距離の差分を奥行き範囲として算出する。つまり、奥行き範囲算出手段は、視差範囲算出手段と同様、観察者と、被写体の立体像との位置関係を同一座標系で記述して、奥行き範囲を算出できる。

【0020】

また、本願第２発明に係る奥行き範囲算出装置は、平面光強度分布算出手段が、仮想要素光学系のピッチに基づいて、立体画像撮影装置が撮影した要素画像群を、要素画像ごとに分配する分配手段と、この分配手段で分配された要素画像ごとに、要素画像の光波を、仮想要素光学系の焦点距離だけ伝搬させることで、仮想要素光学系に入射する光波を算出する第１光波算出手段と、この第１光波算出手段で算出された仮想要素光学系に入射した要素画像ごとの光波を、仮想要素光学系の位相分だけシフトさせる位相シフト手段と、この位相シフト手段で位相シフトされた光波を、それぞれの距離平面まで伝搬させることで、距離平面ごとの要素画像の光波を算出する第２光波算出手段と、距離平面ごとに、第２光波算出手段で算出された要素画像の光波を、要素画像群分だけ結合して平面光強度分布とする結合手段と、を備えることを特徴とする。

【0021】

かかる構成によれば、奥行き範囲算出装置は、要素画像の光波を、仮想要素光学系を介して、立体画像表示装置に備えられた表示素子を仮想した仮想表示素子から各距離平面まで伝搬させ、平面光強度分布を正確に求めることができる。

【0022】

また、本願第３発明に係る奥行き範囲算出装置は、立体画像撮影装置が撮影した要素画像群を予め設定された遅延時間だけ遅延させて、遅延要素画像群を出力する遅延手段をさらに備え、平面光強度分布算出手段が、要素画像群及び遅延手段が遅延させた遅延要素画像群から、平面光強度分布を算出し、体積光強度分布記憶手段が、要素画像群及び遅延要素画像群から算出された平面光強度分布を、体積光強度分布としてそれぞれ記憶し、視差範囲算出手段が、要素画像群及び遅延要素画像群の体積光強度分布から、視差範囲をそれぞれ算出し、奥行き範囲算出手段が、要素画像群及び遅延要素画像群の体積光強度分布から、奥行き範囲をそれぞれ算出し、視差範囲算出手段が算出した要素画像群と遅延要素画像群との視差範囲の変化量を視差変化量として算出する視差変化量算出手段と、奥行き範囲算出手段が算出した要素画像群と遅延要素画像群との奥行き範囲の変化量を奥行き変化量として算出する奥行き変化量算出手段と、を備えることを特徴とする。

【0023】

かかる構成によれば、奥行き範囲算出装置は、遅延時間内での視差範囲の変化量を示す視差変化量と、遅延時間内での奥行き範囲の変化量を示す奥行き変化量とを求めることができる。

【0024】

また、本願第４発明に係る奥行き範囲算出装置は、視差範囲算出手段で算出された視差範囲が予め設定された視差範囲閾値を超えるか否かを判定し、視差範囲が視差範囲閾値を超えるときに警告する視差範囲警告手段と、奥行き範囲算出手段で算出された奥行き範囲が予め設定された奥行き範囲閾値を超えるか否かを判定し、奥行き範囲が奥行き範囲閾値を超えるときに警告する奥行き範囲警告手段と、をさらに備えることを特徴とする。
かかる構成によれば、奥行き範囲算出装置は、視差範囲や奥行き範囲が観察者の許容限度を超えるような場合に警告できる。

【0025】

また、本願第５発明に係る奥行き範囲算出装置は、視差変化量算出手段で算出された視差変化量が予め設定された視差変化量閾値を超えるか否かを判定し、視差変化量が視差変化量閾値を超えるときに警告する視差変化量警告手段と、奥行き変化量算出手段で算出された奥行き変化量が予め設定された奥行き変化量閾値を超えるか否かを判定し、奥行き変化量が奥行き変化量閾値を超えるときに警告する奥行き変化量警告手段と、をさらに備えることを特徴とする。
かかる構成によれば、奥行き範囲算出装置は、視差範囲や奥行き範囲が観察者の許容限度を超えて変化するような場合に警告できる。

【0026】

なお、本願第１発明に係る奥行き範囲算出装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、平面光強度分布算出手段、視差範囲算出手段、奥行き範囲算出手段、として機能させるための奥行き範囲算出プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【発明の効果】

【0027】

本願発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、体積光強度分布の範囲が被写体の立体像の三次元形状モデルを表すと共に、体積光強度分布及び観察者位置の両方が仮想要素光学系群を基準とする。これによって、本願第１発明によれば、観察者と被写体の立体像との位置関係を同一座標系で記述できるので、体積光強度分布記憶手段に記憶された体積光強度分布から、ＩＰ方式による被写体の立体像の奥行き範囲及び視差範囲を算出することができる。

【0028】

本願第２発明によれば、各距離平面における平面光強度分布を正確に求められるので、視差範囲及び奥行き範囲の精度を向上させることができる。
本願第３発明によれば、遅延時間内での視差変化量及び奥行き変化量を求められるので、立体映像の演出や編集をより効果的に行うことができる。

【0029】

本願第４発明によれば、視差範囲や奥行き範囲が観察者の許容限度を超えるような場合に警告できるので、観察者にとって見づらい立体映像が表示される事態を低減させて、立体映像の品質を向上させることができる。
本願第５発明によれば、視差範囲や奥行き範囲が観察者の許容限度を超えて変化するような場合に警告できるので、観察者にとって見づらい立体映像が表示される事態を低減させて、立体映像の品質を向上させることができる。

【図面の簡単な説明】

【0030】

【図1】本願発明の第１実施形態に係る奥行き情報生成装置の構成を示すブロック図である。

【図2】図１の平面光強度分布算出手段の構成を示すブロック図である。

【図3】図２の平面光強度分布算出手段において、要素画像の光の伝搬及び要素画像の拡がる範囲を説明する図である。

【図4】図２の平面光強度分布算出手段が算出した平面光強度分布を説明する図である。

【図5】図１の体積光強度分布記憶手段が記憶する体積光強度分布を説明する図である。

【図6】図１の奥行き情報生成装置における視差範囲及び奥行き範囲の算出を説明する図である。

【図7】図１の奥行き情報生成装置の動作を示すフローチャートである。

【図8】本願発明の第２実施形態に係る奥行き情報生成装置の構成を示すブロック図である。

【図9】本願発明の第３実施形態に係る奥行き情報生成装置の構成を示すブロック図である。

【図10】本願発明の第４実施形態に係る奥行き情報生成装置の構成を示すブロック図である。

【図11】従来のＩＰ方式において、被写体の撮影を説明する図である。

【図12】従来のＩＰ方式において、立体像の表示を説明する図である。

【図13】従来のＩＰ方式において、奥行き反転の解消を説明する図である。

【図14】従来のＩＰ方式において、奥行き反転が解消した要素画像群の表示を説明する図である。

【発明を実施するための形態】

【0031】

以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

【0032】

（第１実施形態）
［奥行き情報生成装置の構成］
図１を参照して、本願発明の第１実施形態に係る奥行き情報生成装置（奥行き範囲算出装置）１の構成について説明する。
奥行き情報生成装置１は、インテグラルフォトグラフィ方式を用いた立体画像撮影装置９１０が被写体を撮影した要素画像群から、被写体の立体像の視差範囲及び奥行き範囲を算出し、これら視差範囲及び奥行き範囲を奥行き情報として出力するものである。このため、奥行き情報生成装置１は、図１に示すように、平面光強度分布算出手段１０と、体積光強度分布記憶手段２０と、視差範囲算出手段３０と、奥行き範囲算出手段４０とを備える。

【0033】

また、奥行き情報生成装置１は、光学素子情報と、立体画像撮影装置９１０が撮影した要素画像群とが入力される。このとき、奥行き情報生成装置１は、立体画像撮影装置９１０が実際に撮影した要素画像群の代わりに、この要素画像群と等価な映像信号が計算機（不図示）で生成され、この映像信号が入力されてもよい。
この要素画像群は、立体画像表示装置（不図示）で表示した場合、奥行きが正しい立体像が生成されるものである。

【0034】

前記した立体画像表示装置は、立体映像を表示するものであり、要素光学系が２次元平面上に配列された要素光学系群を備える。
要素光学系は、例えば、凸レンズ等の要素レンズからなる要素光学素子、又は、微小開口からなる要素ピンホール（空間フィルタ）である。この場合、要素光学系群は、要素光学素子が２次元平面上に配列された要素光学素子群、又は、要素ピンホールが２次元平面上に配列された要素ピンホール群となる。そして、要素光学系群は、要素画像群から、その焦点距離だけ離された位置に配置される。

【0035】

前記した光学素子情報は、立体画像表示装置が備える要素光学系（要素レンズ又は要素ピンホール）の特性および配置を示す情報である。
例えば、仮想要素光学系として要素レンズを仮想した場合、光学素子情報は、その要素レンズのピッチ（図３の符号ｐ_１）と、焦点距離と、開口幅とが予め設定されている。
また、例えば、仮想要素光学系として要素ピンホールを仮想した場合、光学素子情報は、その要素ピンホールのピッチと、開口幅とが予め設定されている。

【0036】

なお、奥行き情報生成装置１が実際に要素光学系を備える訳でなく、この立体画像表示装置に備えられた要素光学系（要素レンズ又は要素ピンホール）や要素光学系群（要素レンズ群又は要素ピンホール群）を仮想して演算する。このため、仮想要素光学系（仮想要素レンズ又は仮想要素ピンホール）、及び、仮想要素光学系群（仮想要素レンズ群又は仮想要素ピンホール群）と呼ばれる。

【0037】

平面光強度分布算出手段１０は、入力された要素画像群に対して、仮想要素光学系群を介した波動光学演算を行うことで、仮想要素光学系群からの距離が異なる予め設定された距離平面ごとの光強度分布である平面光強度分布を算出するものである。このため、平面光強度分布算出手段１０は、図２に示すように、分配手段１１と、要素画像分の要素画像変換手段１３と、結合手段１５とを備える。
以下の説明では、要素画像群が−Ｍ番目からＭ番目までの要素画像で構成され、この要素画像と対応するように、要素画像変換手段１３（１３_−Ｍ，・・・，１３_０，・・・１３_Ｍ）が備えられることとする。

【0038】

分配手段１１は、入力された光学素子情報に基づいて、立体画像撮影装置９１０から入力された要素画像群を、要素画像ごとに分配するものである。ここで、分配手段１１は、入力された要素画像群を、入力された光学素子情報に設定された位置情報（仮想要素光学系のピッチ）で分配（分割）する。そして、分配手段１１は、分配された要素画像群のｍ番目の要素画像の光波（ｇ_ｓ，ｍ（ｘ_ｓ，ｍ，ｙ_ｓ，ｍ））を、ｍ番目の要素画像に予め対応付けられている要素画像変換手段１３に出力する（但し、−Ｍ≦ｍ≦Ｍ）。
なお、ここで、光波とは、要素画像群の光を波動として扱った場合の振幅と位相とを複素数で表わしたものである。

【0039】

要素画像変換手段１３は、分配手段１１から入力された要素画像の光波を、入力された光学素子情報に設定された仮想要素光学系を通した際の光波に変換し、仮想要素光学系の画角に対応する光波を加算するものである。このため、要素画像変換手段１３は、光波算出手段（第１光波算出手段）１３ａと、位相シフト手段１３ｂと、光波算出手段（第２光波算出手段）１３ｃとを備える。

【0040】

光波算出手段１３ａは、分配手段１１で分配された要素画像ごとに、要素画像の光波を、仮想要素光学系の焦点距離だけ伝搬させることで、仮想要素光学系に入射する光波を算出するものである。つまり、光波算出手段１３ａは、要素画像の光波をフレネル近似することで、仮想要素光学系に入射する光波を算出する。より具体的には、光波算出手段１３ａは、仮想要素光学系群のｍ番目の仮想要素光学系（開口部）に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（１）により要素画像ごとの光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を算出する。その後、光波算出手段１３ａは、この要素画像ごとの光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を、位相シフト手段１３ｂに出力する。

【0041】

【数1】

【0042】

ここで、ｘ_ｓ，ｍ，ｘ_ｏ，ｍは、それぞれ入力画像全体（要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｘ座標、仮想要素光学系群のｍ番目の仮想要素光学系の光軸中心を原点とした場合のｘ座標である。また、ｙ_ｓ，ｍ，ｙ_ｏ，ｍは、それぞれ入力画像全体（要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｙ座標、仮想要素光学系群のｍ番目の仮想要素光学系の光軸中心を原点とした場合のｙ座標である。また、ｆ₁は仮想要素光学系（要素レンズ）の焦点距離、ｋは波数２π／λである。また、λは、波長であり、パラメータとして予め設定されている。また、式（１）の積分範囲となる要素画像（ｍ）は、ｍ番目の要素画像の領域であり、仮想要素光学系のピッチで表される。

【0043】

位相シフト手段１３ｂは、光波算出手段１３ａから入力された要素画像ごとの光波を、仮想要素光学系の位相分だけシフトさせるものである。つまり、位相シフト手段１３ｂは、仮想要素光学系に入射した要素画像ごとの光波を、以下の式（２）に示すように、この仮想要素光学系に相当する位相分だけ光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））をシフトさせることで、仮想要素光学系から出射する光波に相当する信号（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を算出する。その後、位相シフト手段１３ｂは、この光波（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を、光波算出手段１３ｃに出力する。

【0044】

【数2】

【0045】

光波算出手段１３ｃは、位相シフト手段１３ｂから入力された光波を、それぞれの距離平面まで伝搬させることで、距離平面ごとの要素画像の光波を算出するものである。ここで、光波算出手段１３ｃは、仮想要素光学系からの距離が異なるように任意の距離で複数の距離平面が予め設定される。そして、光波算出手段１３ｃは、仮想要素光学系から出射する光波（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））をフレネル近似することで、仮想要素光学系から任意の距離に設定した距離平面における光強度分布を算出する。より具体的には、光波算出手段１３ｃは、各距離平面上に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（３）により要素画像ごとの光波（Ｒ_ｄ，ｍ（ｘ_ｄ，ｍ，ｙ_ｄ，ｍ））を算出する。その後、光波算出手段１３ｃは、この光波（Ｒ_ｄ，ｍ（ｘ_ｄ，ｍ，ｙ_ｄ，ｍ））を、結合手段１５に出力する。

【0046】

【数3】

【0047】

ここで、ｘ_ｄ，ｍは、仮想要素光学系群のｍ番目の仮想要素光学系（開口部）の光軸中心を原点とした場合の距離平面上におけるｘ座標である。また、ｙ_ｄ，ｍは、仮想要素光学系群のｍ番目の仮想要素光学系の光軸中心を原点とした場合の距離平面上におけるｙ座標である。また、Ｌは、仮想要素光学系群から距離平面までの距離である。また、式（３）の積分範囲は、要素画像の拡がる範囲ｗと等価である。

【0048】

図３を参照して、要素画像の光波の伝搬及び要素画像の拡がる範囲について説明する（適宜図２参照）。
まず、光波算出手段１３ａは、要素画像ｍ（立体画像表示装置の仮想的な表示素子２２０）から仮想要素光学系２１０の入射面までの光波を算出する。次に、位相シフト手段１３ｂは、仮想要素光学系２１０の入射面から出射面までの光波、つまり、仮想要素光学系２１０の内部を伝搬する光波を算出する。そして、光波算出手段１３ｃは、仮想要素光学系２１０の出射面から距離平面ｔまでの光波を算出する。

【0049】

この場合、要素画像群におけるｍ番目の要素画像の領域の幅（つまり、仮想要素光学系２１０のピッチｐ_１）をｋ_１とし、要素画像群から仮想要素光学系群２００までの距離（つまり、仮想要素光学系２１０の焦点距離）をｄ₁とすると、要素画像群におけるｍ番目の要素画像の拡がる範囲ｗは、以下の式（４）で表わされる。

【0050】

【数4】

【0051】

なお、図３では、説明を簡易にするために距離平面ｔを１枚のみ図示したが、実際には、異なる距離Ｌで複数の距離平面ｔが設定される。このとき、距離平面ｔは、その枚数が多く、互いの間隔が短くなるほど、各距離平面ｔに入射する要素画像の光波が正確に算出されるため、好ましい。

【0052】

図２に戻り、平面光強度分布算出手段１０の構成について説明を続ける。
結合手段１５は、距離平面ごとに、光波算出手段１３ｃから入力された要素画像の光波（Ｒ_ｄ，ｍ（ｘ_ｄ，ｍ，ｙ_ｄ，ｍ））を、要素画像群分だけ結合して平面光強度分布とするものである。つまり、結合手段１５は、仮想要素光学系から任意の距離に設定した距離平面に到達する、仮想要素光学系から出射された光波（Ｒ_ｄ，ｍ（ｘ_ｄ，ｍ，ｙ_ｄ，ｍ））を、この距離平面の領域内で加算する。より具体的には、結合手段１５は、各距離平面に到達する光波に相当する信号として、以下の式（５）により、各距離平面での光波（Ｒ_ｐ（ｘ_ｐ，ｙ_ｐ））を算出する．

【0053】

【数5】

【0054】

ここで、ｘ_ｐ，ｍは、仮想要素光学系群から任意の距離に設定した距離平面の中心を原点とした場合のｘ座標である。また、ｙ_ｐ，ｍは、仮想要素光学系群から任意の距離に設定した距離平面の中心を原点とした場合のｙ座標である。

【0055】

そして、結合手段１５は、以下の式（６）により、仮想要素光学系群から任意の距離に設定した距離平面に到達する光波の２乗を計算することで、各距離平面での光強度分布（平面光強度分布）を得る。

【0056】

【数6】

【0057】

以上のように、平面光強度分布算出手段１０は、仮想要素光学系群から任意の距離に設定した距離平面ごとの平面光強度分布を算出し、距離平面ごとの平面光強度分布を体積光強度分布記憶手段２０に書き込む。そして、平面光強度分布算出手段１０は、全ての距離平面について平面光強度分布の書き込みが終了した後、奥行き情報生成命令（不図示）を視差範囲算出手段３０及び奥行き範囲算出手段４０に出力する。

【0058】

図４を参照して、平面光強度分布ｔ_２について説明する。
図４では、ｘ軸を水平方向とし、ｙ軸を垂直方向とし、ｚ軸を奥行き方向とする。そして、円筒体及び三角錐体の２物体を被写体とし、これら円筒体及び三角錐体の底面をｚ軸に向けて撮影した場合を考える。この場合、平面光強度分布ｔ_２において、光強度がゼロを超える光強度分布範囲は、ｚ軸から見た円筒体の立体像α及び三角錐体の立体像βを表すことになる。
なお、図４では、平面光強度分布ｔ_２において、光強度がゼロを超える光強度分布範囲をドットで図示し、立体像αを細かいドットで図示し、立体像βを粗いドットで図示した。

【0059】

図１に戻り、奥行き情報生成装置１の構成について説明を続ける。
体積光強度分布記憶手段２０は、平面光強度分布算出手段１０によって書き込まれた距離平面ごとの平面光強度分布を、立体空間上の体積光強度分布として記憶するメモリ、ハードディスク等の記憶装置である。

【0060】

図５を参照して、体積光強度分布Ｖ_２について説明する。
この体積光強度分布Ｖ_２は、図５に示すように、平面光強度分布ｔ_２１，ｔ_２２，・・・，ｔ_２ｎを奥行き方向（ｚ軸）に積層したものである（但し、ｎは距離平面の数）。従って、体積光強度分布Ｖ_２は、仮想要素光学系群から任意の距離にある複数の距離平面で構成された立体空間において、立体像α、βの三次元形状モデルに対応する。

【0061】

図１に戻り、奥行き情報生成装置１の構成について説明を続ける。
視差範囲算出手段３０は、仮想要素光学系群を基準に予め設定された観察者位置において、奥行き方向で体積光強度分布がゼロとなる位置を被写体の立体像の近点及び遠点としてそれぞれ算出し、近点と遠点との角度視差量の差分を視差範囲として算出するものである。
奥行き範囲算出手段４０は、観察者位置と近点との距離、及び、観察者位置と遠点との距離をそれぞれ算出し、これら距離の差分を奥行き範囲として算出するものである。
なお、視差範囲算出手段３０及び奥行き範囲算出手段４０は、予め設定した奥行き方向の範囲の中で、体積光強度分布がゼロとなる位置が複数存在した場合、その中で最も遠い位置を遠点とし、最も近い位置を近点として算出する。

【0062】

＜視差範囲及び奥行き範囲の算出＞
図６を参照して、視差範囲算出手段３０による視差範囲と、奥行き範囲算出手段４０による奥行き範囲の算出とを説明する。
図６では、観察者位置ａは、仮想要素光学系群に対する観察者の右目、左目の位置に予め設定されたこととする。
また、被写体の立体像と立体空間との境界、つまり、ｚ軸方向で体積光強度がゼロとなる境界位置がそれぞれ、立体像の近点ｎ及び立体像の遠点ｆとなる。具体的には、立体像の近点ｎは、体積光強度がゼロとなる境界位置のうち、手前側（観察者位置ａに近い側）の境界位置である。一方、立体像の遠点ｆは、体積光強度がゼロとなる境界位置のうち、奥側（観察者位置ａから遠い側）の境界位置である。なお、予め設定した奥行き方向の範囲の中で、体積光強度分布がゼロとなる位置が複数存在した場合、その中で最も奥側を遠点とし、最も手前側を近点とする。

【0063】

ここで、体積光強度分布Ｖ_２及び観察者位置ａの両方が仮想要素光学系群を基準とするから、立体像α、βの位置と観察者位置ａとは、同一座標系で記述できる。このため、例えば、立体像βの像点ｄと観察者位置ａとの距離Ｄ_ｄが求められる。この距離Ｄ_ｄは、像点ｄの奥行きである。そして、像点ｄの視差は、距離Ｄ_ｄと、予め設定された左右両目の間隔とから、三角測量の原理により求めることができる。従って、像点ｄと同様、立体像の近点ｎ，遠点ｆの距離Ｄ_ｎ，距離Ｄ_ｆを求めれば、立体像の近点ｎ，遠点ｆにおける視差範囲及び奥行き範囲を算出することができる。

【0064】

まず、視差範囲算出手段３０は、被写体の立体像と立体空間との境界により、立体像の近点ｎと、立体像の遠点ｆとを算出する。また、視差範囲算出手段３０は、平面光強度分布算出手段１０から奥行き情報生成命令が入力されると、体積光強度分布記憶手段２０に記憶された体積光強度分布Ｖ_２を読み出す。また、視差範囲算出手段３０は、観察者位置aと立体像の近点ｎとの距離Ｄ_ｎを算出し、観察者位置aと立体像の遠点ｆとの距離Ｄ_ｆを算出する。そして、視差範囲算出手段３０は、立体像の近点ｎでの角度視差量θ_ｎと、立体像の遠点ｆでの角度視差量θ_ｆとを算出する。さらに、視差範囲算出手段３０は、これら角度視差量θ_ｎ，θ_ｆの差分（θ_ｎ−θ_ｆ）を視差範囲として算出し、奥行き範囲算出手段４０に出力する。

【0065】

次に、奥行き範囲算出手段４０は、被写体の立体像と立体空間との境界により、立体像の近点ｎと、立体像の遠点ｆとを算出する。また、奥行き範囲算出手段４０は、平面光強度分布算出手段１０から奥行き情報生成命令が入力されると、体積光強度分布記憶手段２０に記憶された体積光強度分布Ｖ_２を読み出す。また、奥行き範囲算出手段４０は、観察者位置aと立体像の近点ｎとの距離Ｄ_ｎを算出し、観察者位置aと立体像の遠点ｆとの距離Ｄ_ｆを算出する。そして、奥行き範囲算出手段４０は、距離Ｄ_ｆ，Ｄ_ｎの差分（Ｄ_ｆ−Ｄ_ｎ）を奥行き範囲として算出する。その後、奥行き範囲算出手段４０は、算出した奥行き範囲と、視差範囲算出手段３０から入力された視差範囲とを、奥行き情報として出力する。
なお、観察者位置は、体積光強度分布（立体空間）の内外に関わらず、任意の位置に設定できる。

【0066】

［奥行き情報生成装置の動作］
図７を参照して、図１の奥行き情報生成装置１の動作について説明する（適宜図１参照）。
奥行き情報生成装置１は、平面光強度分布算出手段１０によって、入力された要素画像群に対して、仮想要素光学系群を介した波動光学演算を行うことで、距離平面ごとの光強度分布である平面光強度分布を算出する（ステップＳ１）。

【0067】

奥行き情報生成装置１は、平面光強度分布算出手段１０によって、距離平面ごとの平面光強度分布を、立体空間上の体積光強度分布として、体積光強度分布記憶手段２０に書き込む（ステップＳ２）。
奥行き情報生成装置１は、視差範囲算出手段３０によって、観察者位置において、被写体の立体像の近点と遠点との角度視差量の差分を視差範囲として算出する（ステップＳ３）。
奥行き情報生成装置１は、奥行き範囲算出手段４０によって、観察者位置と被写体の立体像の近点との距離、及び、観察者位置と被写体の立体像の遠点との距離をそれぞれ算出し、これら距離の差分を奥行き範囲として算出する（ステップＳ４）。

【0068】

以上のように、本願発明の第１実施形態に係る奥行き情報生成装置１は、波動光学演算により、各距離平面における平面光強度分布を正確に求め、この平面光強度分布を奥行き方向に積層した体積光強度分布を記憶する。そして、奥行き情報生成装置１は、記憶された体積光強度分布から、観察者が被写体の立体像を見た場合の視差範囲及び奥行き範囲を、実際に立体表示装置で立体像を表示する前に、高い精度で算出することができる。

【0069】

なお、第１実施形態では、式（１）及び式（３）のようにフレネル近似を用いる例を説明したが、本願発明は、これに限定されない。例えば、奥行き情報生成装置１は、ホイヘンス・フレネル原理による積分又はフランフォーファ近似による積分を用いて、光波を算出してもよい。

【0070】

（第２実施形態）
図８を参照して、本願発明の第２実施形態に係る奥行き情報生成装置１Ｂの構成について、第１実施形態と異なる点を説明する。
この奥行き情報生成装置１Ｂは、算出した視差範囲及び奥行き範囲が所定の閾値を超えた場合に警告する点が、第１実施形態と異なる。

【0071】

このため、図８に示すように、奥行き情報生成装置１Ｂは、平面光強度分布算出手段１０と、体積光強度分布記憶手段２０と、視差範囲算出手段３０と、奥行き範囲算出手段４０と、視差範囲警告手段５０と、奥行き範囲警告手段６０とを備える。

【0072】

この平面光強度分布算出手段１０及び体積光強度分布記憶手段２０は、図１の各手段と同様のため、説明を省略する。
また、視差範囲算出手段３０が視差範囲を視差範囲警告手段５０に出力し、奥行き範囲算出手段４０が奥行き範囲を奥行き範囲警告手段６０に出力する以外、図１の各手段と同様のため、説明を省略する。

【0073】

視差範囲警告手段５０は、視差範囲算出手段３０から入力された視差範囲が視差範囲閾値を超えるか否かを判定し、視差範囲が視差範囲閾値を超えるときに警告するものである。ここで、視差範囲警告手段５０は、警告方法が特に制限されず、視差範囲の警告メッセージを映像信号に付加してもよい。また、視差範囲警告手段５０は、この警告メッセージを予め設定されたメールアドレスに送信してもよく、所定の警告音を鳴らしてもよい。
この視差範囲閾値は、例えば、視差範囲が観察者の許容限度を超えたことを示すような、任意の値で予め設定される。

【0074】

奥行き範囲警告手段６０は、奥行き範囲算出手段４０から入力された奥行き範囲が奥行き範囲閾値を超えるか否かを判定し、奥行き範囲が奥行き範囲閾値を超えるときに警告するものである。ここで、視差範囲警告手段５０は、視差範囲警告手段５０と同様の警告方法で警告する。
この奥行き範囲閾値は、例えば、奥行き範囲が観察者の許容限度を超えたことを示すような、任意の値で予め設定される。

【0075】

以上のように、本願発明の第２実施形態に係る奥行き情報生成装置１Ｂは、第１実施形態と同様の効果に加え、視差範囲や奥行き範囲が観察者の許容限度を超えるような場合に警告できるため、観察者にとって見づらい立体映像が表示される事態を低減させて、立体映像の品質を向上させることができる。

【0076】

（第３実施形態）
図９を参照して、本願発明の第３実施形態に係る奥行き情報生成装置１Ｃの構成について、第１実施形態と異なる点を説明する。
この奥行き情報生成装置１Ｃは、入力された要素画像群を遅延時間だけ遅延させて、この遅延時間内での視差範囲の変化量を示す視差変化量と、遅延時間内での奥行き範囲の変化量を示す奥行き変化量とを求める点が、第１実施形態と異なる。

【0077】

このため、図９に示すように、奥行き情報生成装置１Ｃは、平面光強度分布算出手段１０_１，１０_２と、体積光強度分布記憶手段２０_１，２０_２と、視差範囲算出手段３０_１，３０_２と、奥行き範囲算出手段４０_１，４０_２と、遅延手段７０と、奥行き情報記憶手段８０_１，８０_２と、視差変化量算出手段９０と、奥行き変化量算出手段１００とを備える。

【0078】

以下の説明では、立体画像撮影装置９１０から要素画像群が入力された時刻をＴ_１とし、後記する遅延手段７０での遅延処理後の時刻をＴ_２とする。従って、遅延時間が（Ｔ_２−Ｔ_１）となり、遅延時間（Ｔ_２−Ｔ_１）だけ遅延させた要素画像群を遅延要素画像群と呼ぶ。

【0079】

この平面光強度分布算出手段１０_１、体積光強度分布記憶手段２０_１、視差範囲算出手段３０_１及び奥行き範囲算出手段４０_１は、時刻Ｔ_１の要素画像群を扱う以外、図１の各手段と同様のため、説明を省略する。
また、平面光強度分布算出手段１０_２、体積光強度分布記憶手段２０_２、視差範囲算出手段３０_２及び奥行き範囲算出手段４０_２は、時刻Ｔ_２の遅延要素画像群を扱う以外、図１の各手段と同様のため、説明を省略する。

【0080】

遅延手段７０は、立体画像撮影装置９１０から入力された要素画像群を遅延時間（Ｔ_２−Ｔ_１）だけ遅延させて、遅延要素画像群を平面光強度分布算出手段１０_２に出力するものである。この遅延手段７０は、例えば、要素画像群を記憶するフレームメモリ（不図示）と、このフレームメモリを制御する制御手段（不図示）とで構成される。
この遅延時間（Ｔ_２−Ｔ_１）は、例えば、微少時間を示すような、任意の値で予め設定される。

【0081】

奥行き情報記憶手段８０_１は、奥行き範囲算出手段４０_１から入力された時刻Ｔ_１の奥行き情報（視差範囲及び奥行き範囲）を記憶するメモリ、ハードディスク等の記憶装置である。
奥行き情報記憶手段８０_２は、奥行き範囲算出手段４０_２から入力された時刻Ｔ_２の奥行き情報（視差範囲及び奥行き範囲）を記憶するメモリ、ハードディスク等の記憶装置である。

【0082】

視差変化量算出手段９０は、奥行き情報記憶手段８０_１に記憶された時刻Ｔ_１の視差範囲θ_１と、奥行き情報記憶手段８０_２に記憶された時刻Ｔ_２の視差範囲θ_２とを読み出して、視差範囲θ_１，θ_２の変化量を視差変化量θ_ｄｉｆとして算出するものである。つまり、視差変化量算出手段９０は、以下の式（７）に示すように、視差範囲θ_１，θ_２の差分（θ_２−θ_１）を遅延時間（Ｔ_２−Ｔ_１）で除算することで、視差変化量θ_ｄｉｆを算出する。その後、視差変化量算出手段９０は、この視差変化量θ_ｄｉｆを出力する。
θ_ｄｉｆ＝（θ_２−θ_１）／（Ｔ_２−Ｔ_１） ・・・式（７）

【0083】

奥行き変化量算出手段１００は、奥行き情報記憶手段８０_１に記憶された時刻Ｔ_１の奥行き範囲Ｄ_１と、奥行き情報記憶手段８０_２に記憶された時刻Ｔ_２の奥行き範囲Ｄ_２とを読み出して、奥行き範囲Ｄ_１，Ｄ_２の変化量を奥行き変化量Ｄ_ｄｉｆとして算出するものである。つまり、奥行き変化量算出手段１００は、以下の式（８）に示すように、奥行き範囲（Ｄ_２−Ｄ_１）の差分を遅延時間（Ｔ_２−Ｔ_１）で除算することで、奥行き変化量Ｄ_ｄｉｆを算出する。その後、奥行き変化量算出手段１００は、この奥行き変化量Ｄ_ｄｉｆを出力する。
Ｄ_ｄｉｆ＝（Ｄ_２−Ｄ_１）／（Ｔ_２−Ｔ_１） ・・・式（８）

【0084】

以上のように、本願発明の第３実施形態に係る奥行き情報生成装置１Ｃは、第１実施形態と同様の効果に加え、遅延時間内での視差変化量及び奥行き変化量を求められるので、立体映像の演出や編集をより効果的に行うことができる。

【0085】

（第４実施形態）
図１０を参照して、本願発明の第４実施形態に係る奥行き情報生成装置１Ｄの構成について、第３実施形態と異なる点を説明する。
この奥行き情報生成装置１Ｄは、算出した視差変化量及び奥行き変化量が所定の閾値を超えた場合に警告する点が、第３実施形態と異なる。

【0086】

このため、図１０に示すように、奥行き情報生成装置１Ｄは、平面光強度分布算出手段１０_１，１０_２と、体積光強度分布記憶手段２０_１，２０_２と、視差範囲算出手段３０_１，３０_２と、奥行き範囲算出手段４０_１，４０_２と、遅延手段７０と、奥行き情報記憶手段８０_１，８０_２と、視差変化量算出手段９０と、奥行き変化量算出手段１００と、視差変化量警告手段１１０と、奥行き変化量警告手段１２０とを備える。

【0087】

この平面光強度分布算出手段１０_１，１０_２、体積光強度分布記憶手段２０_１，２０_２、視差範囲算出手段３０_１，３０_２、奥行き範囲算出手段４０_１，４０_２、遅延手段７０、奥行き情報記憶手段８０_１，８０_２は、図９の各手段と同様のため、説明を省略する。
視差変化量算出手段９０が視差変化量を視差変化量警告手段１１０に出力し、奥行き変化量算出手段１００が奥行き変化量を奥行き変化量警告手段１２０に出力する以外、図９の各手段と同様のため、説明を省略する。

【0088】

視差変化量警告手段１１０は、視差変化量算出手段９０から入力された視差変化量が視差変化量閾値を超えるか否かを判定し、視差変化量が視差変化量閾値を超えるときに警告するものである。ここで、視差変化量警告手段１１０は、図８の視差範囲警告手段５０と同様の警告方法で警告する。
この視差変化量閾値は、例えば、視差変化量が観察者の許容限度を超えたことを示すような、任意の値で予め設定される。

【0089】

奥行き変化量警告手段１２０は、奥行き変化量算出手段１００から入力された奥行き変化量が奥行き変化量閾値を超えるか否かを判定し、奥行き変化量が奥行き変化量閾値を超えるときに警告するものである。ここで、奥行き変化量警告手段１２０は、図８の視差範囲警告手段５０と同様の警告方法で警告する。
この奥行き変化量閾値は、例えば、奥行き変化量が観察者の許容限度を超えたことを示すような、任意の値で予め設定される。

【0090】

以上のように、本願発明の第４実施形態に係る奥行き情報生成装置１Ｄは、第３実施形態と同様の効果に加え、視差範囲や奥行き範囲が観察者の許容限度を超えて変化するような場合に警告できるので、観察者にとって見づらい立体映像が表示される事態を低減させて、立体映像の品質を向上させることができる。

【0091】

なお、各実施形態では、体積光強度分布を用いて、視差範囲、奥行き範囲、視差変化量及び奥行き変化量を算出することとしたが、本願発明は、これに限定されない。例えば、本願発明は、体積光強度分布から、視差の分布、特定の被写体に対する立体映像の奥行きの時間変化、複数の時刻における視差変化量や奥行き変化量を算出してもよい。

【符号の説明】

【0092】

１，１Ｂ，１Ｃ，１Ｄ 奥行き情報生成装置（奥行き範囲算出装置）
１０，１０_１，１０_２ 平面光強度分布算出手段
１１ 分配手段
１３ 要素画像変換手段
１３ａ 光波算出手段（第１光波算出手段）
１３ｂ 位相シフト手段
１３ｃ 光波算出手段（第２光波算出手段）
１５ 結合手段
２０，２０_１，２０_２ 体積光強度分布記憶手段
３０，３０_１，３０_２ 視差範囲算出手段
４０，４０_１，４０_２ 奥行き範囲算出手段
５０ 視差範囲警告手段
６０ 奥行き範囲警告手段
７０ 遅延手段
８０_１，８０_２ 奥行き情報記憶手段
９０ 視差変化量算出手段
１００ 奥行き変化量算出手段
１１０ 視差変化量警告手段
１２０ 奥行き変化量警告手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】