特許 6076083 立体画像補正装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6076083

(24)【登録日】2017年1月20日

(45)【発行日】2017年2月8日

(54)【発明の名称】立体画像補正装置及びそのプログラム

(51)【国際特許分類】

   H04N 13/00 20060101AFI20170130BHJP

   H04N 13/02 20060101ALI20170130BHJP

   H04N 13/04 20060101ALI20170130BHJP

   G06T 19/00 20110101ALI20170130BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/00 330

   H04N13/02 320

   H04N13/04 060

   G06T19/00 F

【請求項の数】6

【全頁数】27

(21)【出願番号】特願2012-282070(P2012-282070)

(22)【出願日】2012年12月26日

(65)【公開番号】特開2014-127789(P2014-127789A)

(43)【公開日】2014年7月7日

【審査請求日】2015年11月2日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】洗井 淳

(72)【発明者】

【氏名】鹿喰 善明

(72)【発明者】

【氏名】日浦 人誌

(72)【発明者】

【氏名】佐々木 久幸

(72)【発明者】

【氏名】三浦 雅人

(72)【発明者】

【氏名】岩舘 祐一

(72)【発明者】

【氏名】三科 智之

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１０−６８２５１（ＪＰ，Ａ）

【文献】 特開２０１２−２５３７６８（ＪＰ，Ａ）

【文献】 特開２０１２−８３４１２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１０８１８０（ＷＯ，Ａ１）

【文献】 特開２０１４−６３０３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ １３／０２

Ｈ０４Ｎ １３／０４

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

インテグラルフォトグラフィ方式により立体画像撮影装置で撮影された要素画像群が立体画像表示装置で表示された際の立体像の奥行き範囲と、前記奥行き範囲の変化量である奥行き時間変化とを補正する立体画像補正装置であって、
前記要素画像群が入力され、入力された前記要素画像群を予め設定された遅延時間だけ遅延させて、遅延要素画像群を出力する遅延手段と、
前記要素画像群及び前記遅延要素画像群がそれぞれ前記立体画像表示装置で表示された際の表示奥行き範囲及び遅延表示奥行き範囲を、所定の奥行き範囲算出法により算出する奥行き範囲算出手段と、
前記表示奥行き範囲が予め設定された基準奥行き範囲を超えるか否かを判定する奥行き範囲判定手段と、
前記表示奥行き範囲と前記遅延表示奥行き範囲との変化量である表示奥行き時間変化を算出する奥行き時間変化算出手段と、
前記表示奥行き時間変化が予め設定された基準奥行き時間変化を超えるか否かを判定する奥行き時間変化判定手段と、
前記表示奥行き範囲が前記基準奥行き範囲を超える場合、前記要素画像群に対し、前記立体画像表示装置の要素光学系のピッチ及び焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介して、光線追跡を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面毎の画素分布を示す距離平面画像を前記要素画像群から生成し、前記表示奥行き時間変化が前記基準奥行き時間変化を超える場合、前記遅延要素画像群に対し、前記仮想要素光学系群を介して、光線追跡を行うことで、前記遅延要素画像群から前記距離平面画像を生成する距離平面画像生成手段と、
前記距離平面画像生成手段で生成された距離平面毎の距離平面画像を、距離に対応付けて、前記立体像を表示する立体像空間上の体積画素分布として記憶する体積画素分布記憶手段と、
前記表示奥行き範囲が前記基準奥行き範囲を超える場合、前記表示奥行き範囲と前記基準奥行き範囲との比で、前記要素画像群における体積画素分布の座標を奥行き方向に補正し、前記表示奥行き時間変化が前記基準奥行き時間変化を超える場合、前記表示奥行き時間変化と前記基準奥行き時間変化との差分で、前記遅延要素画像群における体積画素分布の座標を奥行き方向に補正する奥行き範囲補正手段と、
前記奥行き範囲補正手段で補正された体積画素分布の距離平面毎に、前記仮想要素光学系群を介して、光線追跡を行うことで、補正後の要素画像群及び遅延要素画像群の少なくとも一方を生成する補正要素画像群生成手段と、
を備えることを特徴とする立体画像補正装置。

【請求項2】

インテグラルフォトグラフィ方式により立体画像撮影装置で撮影された要素画像群が立体画像表示装置で表示された際の立体像の奥行き範囲を補正する立体画像補正装置であって、
前記要素画像群が前記立体画像表示装置で表示された際の表示奥行き範囲を、所定の奥行き範囲算出法により算出する奥行き範囲算出手段と、
前記表示奥行き範囲が予め設定された基準奥行き範囲を超えるか否かを判定する奥行き範囲判定手段と、
前記表示奥行き範囲が前記基準奥行き範囲を超える場合、前記要素画像群に対し、前記立体画像表示装置の要素光学系のピッチ及び焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介して、光線追跡を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面毎の画素分布を示す距離平面画像を生成する距離平面画像生成手段と、
前記距離平面画像生成手段で生成された距離平面毎の距離平面画像を、距離に対応付けて、前記立体像を表示する立体像空間上の体積画素分布として記憶する体積画素分布記憶手段と、
前記表示奥行き範囲が前記基準奥行き範囲を超える場合、前記表示奥行き範囲と前記基準奥行き範囲との比で、前記要素画像群における体積画素分布の座標を奥行き方向に補正する奥行き範囲補正手段と、
前記奥行き範囲補正手段で補正された体積画素分布の距離平面毎に、前記仮想要素光学系群を介して、光線追跡を行うことで、補正後の要素画像群を生成する補正要素画像群生成手段と、
を備えることを特徴とする立体画像補正装置。

【請求項3】

インテグラルフォトグラフィ方式により立体画像撮影装置で撮影された要素画像群が立体画像表示装置で表示された際の立体像の奥行き範囲の変化量である奥行き時間変化を補正する立体画像補正装置であって、
前記要素画像群が入力され、入力された前記要素画像群を予め設定された遅延時間だけ遅延させて、遅延要素画像群を出力する遅延手段と、
前記要素画像群及び前記遅延要素画像群がそれぞれ前記立体画像表示装置で表示された際の表示奥行き範囲及び遅延表示奥行き範囲を、所定の奥行き範囲算出法により算出する奥行き範囲算出手段と、
前記表示奥行き範囲と前記遅延表示奥行き範囲との変化量である表示奥行き時間変化を算出する奥行き時間変化算出手段と、
前記表示奥行き時間変化が予め設定された基準奥行き時間変化を超えるか否かを判定する奥行き時間変化判定手段と、
前記表示奥行き時間変化が前記基準奥行き時間変化を超える場合、前記遅延要素画像群に対し、前記立体画像表示装置の要素光学系のピッチ及び焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介して、光線追跡を行うことで、当該仮想要素光学系群からの距離が異なる予め設定された距離平面毎の画素分布を示す距離平面画像を生成する距離平面画像生成手段と、
前記距離平面画像生成手段で生成された距離平面毎の距離平面画像を、距離に対応付けて、前記立体像を表示する立体像空間上の体積画素分布として記憶する体積画素分布記憶手段と、
前記表示奥行き時間変化が前記基準奥行き時間変化を超える場合、前記表示奥行き時間変化と前記基準奥行き時間変化との差分で、前記遅延要素画像群における体積画素分布の座標を奥行き方向に補正する奥行き範囲補正手段と、
前記奥行き範囲補正手段で補正された体積画素分布の距離平面毎に、前記仮想要素光学系群を介して、光線追跡を行うことで、補正後の要素画像群を生成する補正要素画像群生成手段と、
を備えることを特徴とする立体画像補正装置。

【請求項4】

前記奥行き範囲判定手段は、前記基準奥行き範囲として、観察者毎に固有の個別奥行き範囲が予め設定され、前記表示奥行き範囲が前記個別奥行き範囲を超えるか否かを判定し、
前記奥行き範囲算出手段は、前記補正後の要素画像群が前記立体画像表示装置で表示された際の奥行き範囲を、前記奥行き範囲算出法によりさらに算出し、
前記観察者に共通する共通奥行き範囲が予め設定され、前記補正後の要素画像群から算出された奥行き範囲が前記共通奥行き範囲を超えるか否かを判定し、当該奥行き範囲が前記共通奥行き範囲を超える場合に警告する奥行き範囲警告手段、
をさらに備えることを特徴とする請求項１又は請求項２に記載の立体画像補正装置。

【請求項5】

前記奥行き時間変化判定手段は、前記基準奥行き時間変化として、観察者毎に固有の個別奥行き時間変化が予め設定され、前記表示奥行き時間変化が前記個別奥行き時間変化を超えるか否かを判定し、
前記奥行き範囲算出手段は、前記補正後の遅延要素画像群が前記立体画像表示装置で表示された際の奥行き範囲を、前記奥行き範囲算出法によりさらに算出し、
前記奥行き時間変化算出手段は、前記表示奥行き範囲と前記補正後の遅延要素画像群から算出された奥行き範囲との変化量である奥行き時間変化をさらに算出し、
前記観察者に共通する共通奥行き時間変化が予め設定され、前記補正後の遅延要素画像群から算出された奥行き時間変化が前記共通奥行き時間変化を超えるか否かを判定し、当該奥行き時間変化が前記共通奥行き時間変化を超える場合に警告する奥行き時間変化警告手段、
をさらに備えることを特徴とする請求項１又は請求項３に記載の立体画像補正装置。

【請求項6】

コンピュータを、請求項１に記載の立体画像補正装置として機能させるための立体画像補正プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インテグラルフォトグラフィ方式により被写体を撮影した要素画像群を補正する立体画像補正装置及びそのプログラムに関する。

【背景技術】

【0002】

従来から、任意の視点から自由に立体映像を視聴することが可能な立体画像表示方式の一つとして、平面状に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。

【0003】

以下、図１７，図１８を参照して、ＩＰ方式に基づく通常の立体画像撮影及び立体画像表示について説明する。図１７に示すように、立体画像撮影装置９１０は、同一平面上に凸レンズを配列したレンズ群９１２と、撮像板９１３とを備える。また、図１７には、被写体９１１と、立体画像撮影装置９１０の撮影方向９１４と、レンズ群９１２によって結像される被写体９１１の要素画像９１５とを図示した。この被写体９１１は、撮影方向９１４から見た場合、円柱が角柱に対して手前になる。

【0004】

この立体画像撮影装置９１０は、レンズ群９１２を通して被写体９１１を撮影する。すると、撮像板９１３には、レンズ群９１２を構成する凸レンズと同じ数だけ被写体９１１の要素画像９１５が生成される。

【0005】

図１８に示すように、立体画像表示装置９２０は、同一平面上に凸レンズを配列したレンズ群９２２と、表示素子９２３とを備える。また、図１８には、立体像９２１と、観察者９２６の観察方向９２４と、要素画像９２５と、観察者９２６とを図示した。この表示素子９２３は、立体画像撮影装置９１０の撮像板９１３により撮影された要素画像９１５に対応する要素画像９２５を表示する。

【0006】

この結果、図１８に示すように、立体像９２１は、表示素子９２３からの距離が、図１７の被写体９１１と撮像板９１３との距離に等しくなるように生成される。このとき、被写体９１１に対応する立体像９２１は、観察方向９２４から見た場合、角柱が円柱の手前になる。つまり、ＩＰ方式に基づく通常の立体画像撮影では、図１７の被写体９１１と比較して、奥行きが反転した逆視像（立体像９２１）が生成される。

【0007】

なお、図１７，図１８では、光学素子アレイは、微小な凸レンズが配列されたレンズ群９１２であることとして説明したが、微小なピンホールが配列された開口アレイ（空間フィルタ)であってもよい。
また、表示素子９２３は、撮像板９１３により撮影された要素画像９２５を表示することとして説明したが、計算機（不図示）で生成された像を表示してもよい。

【0008】

そこで、前記した逆視像の問題を解決するための発明が提案されている（例えば、特許文献１）。この特許文献１に記載の発明は、図１７の立体画像撮影装置９１０で取得した情報に対して演算処理を行い、演算処理後の情報を図１８の立体画像表示装置９２０に入力し、最終的に正しい奥行きの立体像９２１を生成するものである。

【0009】

以下、図１９，図２０を参照して、特許文献１に記載の画像奥行き変換装置９３０について説明する。図１９に示すように、画像奥行き変換装置９３０は、図１７の立体画像撮影装置９１０で撮影した要素画像９３１を入力し、この要素画像９３１が第１の仮想レンズアレイ９３２を通じて仮想的に形成された立体像９３３を、演算処理により求める。そして、画像奥行き変換装置９３０は、この立体像９３３が第２の仮想レンズアレイ９３４を通じて仮想的に形成された要素画像９３５を、演算処理により求める。

【0010】

図２０に示すように、立体画像表示装置９４０は、図１８の立体画像表示装置９２０と同一構成であり、表示素子９４５を介して、図１９の画像奥行き変換装置９３０が生成した要素画像９４１(つまり、図１９の要素画像９３５)を表示する。この結果、要素画像９４１に対応する立体像９４３は、観察方向９４４から見た場合、円柱が角柱に対して手前になり、図１７の被写体９１１と対比して、奥行きが等価になる。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２００７−１１４４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

従来のＩＰ方式で表示される立体像は、両眼視差のみを用いるディスプレイによって得られる立体映像と異なり、光学的な空間像に相当する。従って、従来のＩＰ方式において、観察者が立体像を見る状態が、被写体の実物を見る状態と同様の視認性を有することになる。

【0013】

ここで、被写体の実物を見る際、過度に眼の近い位置に被写体が配置される場合、又は、奥行き方向に頻繁に見る場所が変わる場合、眼精疲労を引き起こす可能性がある。つまり、従来のＩＰ方式で表示された立体像を見る場合、被写体の実物を見る際と同様、眼精疲労を引き起こす可能性がある。

【0014】

そこで、本願発明は、立体像の奥行きを観察者にとって適切な範囲内に補正できる立体画像補正装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0015】

前記課題に鑑みて、本願第１発明に係る立体画像補正装置は、ＩＰ方式により立体画像撮影装置で撮影された要素画像群が立体画像表示装置で表示された際の立体像の奥行き範囲と、奥行き範囲の変化量である奥行き時間変化とを補正する立体画像補正装置であって、遅延手段と、奥行き範囲算出手段と、奥行き範囲判定手段と、奥行き時間変化算出手段と、奥行き時間変化判定手段と、距離平面画像生成手段と、体積画素分布記憶手段と、奥行き範囲補正手段と、補正要素画像群生成手段と、を備えることを特徴とする。

【0016】

かかる構成によれば、立体画像補正装置は、遅延手段によって、要素画像群が入力され、入力された要素画像群を予め設定された遅延時間だけ遅延させて、遅延要素画像群を出力する。

【0017】

また、立体画像補正装置は、奥行き範囲算出手段によって、要素画像群及び遅延要素画像群がそれぞれ立体画像表示装置で表示された際の表示奥行き範囲及び遅延表示奥行き範囲を、所定の奥行き範囲算出法により算出する。
この表示奥行き範囲は、立体映像を再生する際、奥行き方向で立体像が表示される範囲、つまり、立体像の奥行き距離を示す。

【0018】

そして、立体画像補正装置は、奥行き範囲判定手段によって、表示奥行き範囲が予め設定された基準奥行き範囲（例えば、観察者にとって適切な奥行き範囲）を超えるか否かを判定する。この基準奥行き範囲は、観察者毎に固有の奥行き範囲であってもよく、全ての観察者に共通する奥行き範囲であってもよい。
ここで、表示奥行き範囲が基準奥行き範囲を超えて、立体映像の再生時に眼精疲労を引き起こす可能性がある場合、要素画像群は、以下の手順で補正される。

【0019】

まず、立体画像補正装置は、距離平面画像生成手段によって、表示奥行き範囲が基準奥行き範囲を超える場合、要素画像群に対し、立体画像表示装置の要素光学系のピッチ及び焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を介して、光線追跡を行うことで、仮想要素光学系群からの距離が異なる予め設定された距離平面毎の画素分布を示す距離平面画像を要素画像群から生成する。そして、立体画像補正装置は、距離平面画像生成手段によって、生成した距離平面画像を、距離に対応付けて、立体像を表示する立体像空間上の体積画素分布として体積画素分布記憶手段に記憶させる。

【0020】

このように、立体画像表示装置と同じ要素光学系を仮想的に空間上に配置して、要素画像群を、仮想的に光路上に展開することで、生成された体積画素分布は、立体画像表示装置が立体像を表示する立体像空間を仮想的に示したものとなる。

【0021】

次に、立体画像補正装置は、奥行き範囲補正手段によって、表示奥行き範囲が基準奥行き範囲を超える場合、表示奥行き範囲と基準奥行き範囲との比で、要素画像群における体積画素分布の座標を奥行き方向に補正する。このように、補正後の体積画素分布は、立体像を表示する立体像空間が奥行き方向で圧縮されたものとなる。

【0022】

最後に、立体画像補正装置は、補正要素画像群生成手段によって、奥行き範囲補正手段で補正された体積画素分布の距離平面毎に、仮想要素光学系群を介して、光線追跡を行うことで、補正後の要素画像群を生成する。これによって、補正後の要素画像群は、過度に眼の近い位置で立体像が表示されることがない。

【0023】

続いて、立体画像補正装置は、奥行き時間変化算出手段によって、表示奥行き範囲と遅延表示奥行き範囲との変化量である表示奥行き時間変化を算出する。
この表示奥行き時間変化は、立体映像を再生する際、どの程度、立体像の位置が奥行き方向で変化するかを示す。

【0024】

また、立体画像補正装置は、奥行き時間変化判定手段によって、表示奥行き時間変化が予め設定された基準奥行き時間変化（例えば、観察者にとって適切な奥行き時間変化）を超えるか否かを判定する。
ここで、表示奥行き時間変化が基準奥行き時間変化を超えて、立体映像の再生時に眼精疲労を引き起こす可能性がある場合、遅延要素画像群は、以下の手順で補正される。

【0025】

まず、立体画像補正装置は、距離平面画像生成手段によって、表示奥行き時間変化が基準奥行き時間変化を超える場合、遅延要素画像群に対し、仮想要素光学系群を介して、光線追跡を行うことで、遅延要素画像群から距離平面画像を生成し、距離に対応付けて、立体像を表示する立体像空間上の体積画素分布として体積画素分布記憶手段に記憶させる。

【0026】

次に、立体画像補正装置は、奥行き範囲補正手段によって、表示奥行き時間変化が基準奥行き時間変化を超える場合、表示奥行き時間変化と基準奥行き時間変化との差分で、遅延要素画像群における体積画素分布の座標を奥行き方向に補正する。最後に、立体画像補正装置は、補正要素画像群生成手段によって、奥行き範囲補正手段で補正された体積画素分布の距離平面毎に、仮想要素光学系群を介して、光線追跡を行うことで、補正後の遅延要素画像群を生成する。これによって、補正後の遅延要素画像群は、奥行き方向で立体像の位置が頻繁に変化することがない。

【0027】

本願第１発明に係る立体画像補正装置において、奥行き範囲のみを補正することとしてもよい（本願第２発明）。
本願第１発明に係る立体画像補正装置において、奥行き時間変化のみを補正することとしてもよい（本願第３発明）。

【0028】

また、本願第４発明に係る立体画像補正装置は、奥行き範囲判定手段が、基準奥行き範囲として、観察者毎に固有の個別奥行き範囲が予め設定され、表示奥行き範囲が前記個別奥行き範囲を超えるか否かを判定し、奥行き範囲算出手段が、補正後の要素画像群が立体画像表示装置で表示された際の奥行き範囲を、奥行き範囲算出法によりさらに算出し、観察者に共通する共通奥行き範囲が予め設定され、補正後の要素画像群から算出された奥行き範囲が共通奥行き範囲を超えるか否かを判定し、奥行き範囲が共通奥行き範囲を超える場合に警告する奥行き範囲警告手段、をさらに備えることを特徴とする。

【0029】

かかる構成によれば、個々の観察者にとって最適な奥行き範囲内で立体映像を再生できると共に、この立体映像の再生時に眼精疲労を引き起こす可能性がある場合、観察者に警告することができる。

【0030】

また、本願第５発明に係る立体画像補正装置は、奥行き時間変化判定手段が、基準奥行き時間変化として、観察者毎に固有の個別奥行き時間変化が予め設定され、表示奥行き時間変化が個別奥行き時間変化を超えるか否かを判定し、奥行き範囲算出手段が、補正後の遅延要素画像群が立体画像表示装置で表示された際の奥行き範囲を、奥行き範囲算出法によりさらに算出し、奥行き時間変化算出手段が、表示奥行き範囲と補正後の遅延要素画像群から算出された奥行き範囲との変化量である奥行き時間変化をさらに算出し、観察者に共通する共通奥行き時間変化が予め設定され、補正後の遅延要素画像群から算出された奥行き時間変化が共通奥行き時間変化を超えるか否かを判定し、奥行き時間変化が共通奥行き時間変化を超える場合に警告する奥行き時間変化警告手段、をさらに備えることを特徴とする。

【0031】

かかる構成によれば、個々の観察者にとって最適な奥行き時間変化内で立体映像を再生できると共に、この立体映像の再生時に眼精疲労を引き起こす可能性がある場合、観察者に警告することができる。

【0032】

ここで、本願第１発明に係る立体画像補正装置は、ＣＰＵ（Central Processing Unit）、記憶手段（例えば、メモリ、ハードディスク）等のハードウェア資源を備えるコンピュータを、前記した各手段として協調動作させるための立体画像補正プログラムによって実現することもできる（本段第６発明）。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【発明の効果】

【0033】

本願発明は、以下に示す優れた効果を奏するものである。
本願第１，６発明によれば、立体画像補正装置は、立体像の奥行き（奥行き範囲及び奥行き時間変化）を観察者にとって適切な範囲内に補正するため、過度に眼の近い位置で立体像が表示されることや、奥行き方向で立体像の位置が頻繁に変化することがなく、眼精疲労を抑制することができる。

【0034】

本願第２発明によれば、立体画像補正装置は、立体像の奥行き（奥行き範囲）を観察者にとって適切な範囲内に補正するため、過度に眼の近い位置で立体像が表示されることがなく、眼精疲労を抑制することができる。
本願第３発明によれば、立体画像補正装置は、立体像の奥行き（奥行き時間変化）を観察者にとって適切な範囲内に補正するため、奥行き方向で立体像の位置が頻繁に変化することがなく、眼精疲労を抑制することができる。

【0035】

本願第４発明によれば、個々の観察者にとって最適な奥行き範囲内で立体映像を再生できると共に、この立体映像の再生時に眼精疲労を引き起こす可能性がある場合、観察者に警告することができる。
本願第５発明によれば、個々の観察者にとって最適な奥行き時間変化内で立体映像を再生できると共に、この立体映像の再生時に眼精疲労を引き起こす可能性がある場合、観察者に警告することができる。

【図面の簡単な説明】

【0036】

【図1】本発明の第１実施形態に係る立体画像補正装置の構成を示すブロック図である。

【図2】図１の立体画像処理手段の構成を示すブロック図である。

【図3】図２の距離平面画像生成手段における距離平面画像の生成を説明するための説明図である。

【図4】図２の距離平面画像生成手段の構成を示すブロック図である。

【図5】図２の距離平面画像生成手段が生成した距離平面画像を説明するための説明図である。

【図6】図２の体積画素分布記憶手段に記憶する体積画素分布を説明するための説明図である。

【図7】（ａ）及び（ｂ）は、図２の奥行き範囲補正手段における奥行き範囲の補正を説明するための説明図である。

【図8】図２の補正要素画像群生成手段における補正要素画像群を生成する概念を説明するための説明図である。

【図9】図２の補正要素画像群生成手段の構成を示すブロック図である。

【図10】本発明の第２実施形態に係る立体画像補正装置の構成を示すブロック図である。

【図11】図１１の立体画像補正装置における奥行き時間変化の補正を説明するための説明図である。

【図12】図１１の立体画像補正装置における補正要素画像群を生成する概念を説明するための説明図である。

【図13】図１１の立体画像補正装置で補正された奥行き時間変化を説明するための説明図であり、（ａ）は補正前の奥行き時間変化を示し、（ｂ）は補正後の奥行き時間変化を示す。

【図14】図１１の立体画像補正装置の動作を示すフローチャートである。

【図15】図１１の立体画像補正装置の動作を示すフローチャートである。

【図16】本発明の第３実施形態に係る立体画像補正装置の構成を示すブロック図である。

【図17】従来のＩＰ方式において、被写体の撮影を説明する図である。

【図18】従来のＩＰ方式において、立体像の表示を説明する図である。

【図19】従来のＩＰ方式において、奥行き反転の解消を説明する図である。

【図20】従来のＩＰ方式において、奥行き反転が解消した要素画像群の表示を説明する図である。

【発明を実施するための形態】

【0037】

以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

【0038】

（第１実施形態）
［立体画像補正装置の構成］
図１を参照して、本発明の第１実施形態に係る立体画像補正装置１の構成について、説明する。
立体画像補正装置１は、立体画像表示装置２００においてＩＰ方式により立体像を表示する際に、立体画像撮影装置１００で撮影された要素画像群の奥行き範囲を補正するものである。

【0039】

この立体画像補正装置１は、ＩＰ方式を用いた立体画像撮影装置１００が撮影した映像信号である要素画像群を入力し、補正した要素画像群（補正要素画像群）を出力する。この補正要素画像群は、ＩＰ方式を用いた立体画像表示装置２００において、立体像を表示する際の要素画像群として使用される。

【0040】

立体画像撮影装置１００は、被写体を要素画像群として撮影する一般的なＩＰ方式を用いた撮影装置であって、例えば、図１７に示した立体画像撮影装置９１０と同様のものである。また、立体画像表示装置２００は、要素画像群を立体像として表示する一般的な表示装置であって、例えば、図１８に示した立体画像表示装置９２０と同様のものである。
なお、立体画像補正装置１に入力される要素画像群は、実際の被写体を撮影した映像信号である必要はなく、コンピュータグラフィックス等、計算機（不図示）によって、立体画像撮影装置１００を模式的に再現して生成されたものであっても構わない。

【0041】

また、立体画像補正装置１は、立体画像撮影装置１００から、要素画像群映像信号と共に、要素画像群の補正に必要な情報として、標準奥行き範囲情報と、基準奥行き範囲情報と、要素画像群生成情報と、標準表示装置情報とが入力される。ただし、標準表示装置情報は、立体画像補正装置１に予め設定されてもよい。

【0042】

標準奥行き範囲情報は、予め設定された、標準的な表示装置（不図示）で立体像が表示された際の奥行き範囲（標準奥行き範囲）を示す情報である。
基準奥行き範囲情報は、予め設定された、観察者にとって適切な奥行き範囲（基準奥行き範囲）を示す情報である。本実施形態では、基準奥行き範囲は、全ての観察者に共通する奥行き範囲（共通奥行き範囲）であることとする。

【0043】

要素画像群生成情報は、立体画像撮影装置１００が備える光学素子である要素光学系（以下、要素レンズ）の特性及び配置を示す情報である。
具体的には、要素画像群生成情報は、立体画像撮影装置１００の要素レンズ群から撮像板の撮影面までの距離（要素レンズの焦点距離）、要素レンズ群を構成する要素レンズの中心間隔（ピッチ）、撮像板で撮影される被写体の要素画像の大きさ、及び、要素レンズの配置位置を含んでいる。

【0044】

また、立体画像補正装置１は、立体画像表示装置２００に関連する情報として、表示装置情報が予め設定されている。
この表示装置情報は、立体画像表示装置２００が備える要素レンズの特性及び配置を示す情報である。
具体的には、表示装置情報は、立体画像表示装置２００の要素レンズ群から表示素子の表示面までの距離（要素レンズの焦点距離）、要素レンズ群を構成する要素レンズの中心間隔（ピッチ）、表示素子で表示される被写体の要素画像の大きさ、及び、要素レンズの配置位置を含んでいる。

【0045】

標準表示装置情報は、標準的な表示装置が備える要素レンズの特性及び配置を示す情報である。
具体的には、標準表示装置情報は、標準的な表示装置の要素レンズ群から表示素子の表示面までの距離（要素レンズの焦点距離）、要素レンズ群を構成する要素レンズの中心間隔（ピッチ）、表示素子で表示される被写体の要素画像の大きさ、及び、要素レンズの配置位置を含んでいる。

【0046】

図１に示すように、立体画像補正装置１は、標準奥行き範囲情報と、基準奥行き範囲情報と、要素画像群生成情報と、表示装置情報と、標準表示装置情報とに基づいて、要素画像群を補正するため、表示状態算出手段１０と、立体画像処理手段２０とを備える。

【0047】

表示状態算出手段１０は、立体画像表示装置２００において、要素画像群が表示される状態（奥行き範囲）を算出するものであり、奥行き範囲算出手段１１と、奥行き範囲判定手段１３とを備える。

【0048】

奥行き範囲算出手段１１は、要素画像群が立体画像表示装置２００で表示された際の表示奥行き範囲を、所定の奥行き範囲算出法により算出するものである。具体的には、奥行き範囲算出手段１１は、以下の式（１）及び式（２）を用いて表示奥行き範囲を算出し、この表示奥行き範囲を示す表示奥行き範囲情報を生成する。

【0049】

【数1】

【0050】

【数2】

【0051】

具体的には、奥行き範囲算出手段１１は、標準奥行き範囲の内、最も観察者に近い点（最近点）の奥行き位置を式（１）のＺ_ｃに代入して、立体画像表示装置２００で生成される立体像の最近点を算出する。また、奥行き範囲算出手段１１は、標準奥行き範囲の内、最も観察者から遠い点（最遠点）の奥行き位置を式（１）のＺ_ｃに代入して、立体画像表示装置２００で生成される立体像の最遠点を算出する。そして、奥行き範囲算出手段１１は、立体画像表示装置２００で生成される立体像の最近点から最遠点までの範囲を、表示奥行き範囲として算出する。

【0052】

ここで、立体画像表示装置２００の要素レンズ群から立体像までの距離がＺ_ｒである。また、標準的な表示装置によって立体像が表示された場合におけるレンズ群から立体像までの距離がＺ_ｃである。

【0053】

また、標準的な表示装置における表示素子の表示面から要素レンズ群までの距離がｄ_ｃであり、要素レンズ群のピッチＰ_ｃであり、表示素子により表示される要素画像の大きさがＫ_ｃである。これらｄ_ｃ，Ｐ_ｃ，ｋ_ｃは、標準表示装置情報から取得できる。

【0054】

また、立体画像表示装置２００における表示素子の表示面から要素レンズ群までの距離がｄ_ｒであり、要素レンズ群のピッチがＰ_ｒであり、表示素子により表示される要素画像の大きさがＫ_ｒである。これらｄ_ｒ，Ｐ_ｒ，ｋ_ｒは、表示装置情報から取得できる。

【0055】

なお、前記した奥行き範囲算出法は、以下の参考文献に記載されているため、詳細な説明を省略する。
参考文献：J.Arai, M.Okui, M.Kobayashi, and F.Okano:"Geometrical effects of positional errors in integral photography", J. Opt. Soc. Am. A，Vol. 21，pp.951-958，2004

【0056】

奥行き範囲判定手段１３は、奥行き範囲算出手段１１で算出された表示奥行き範囲が基準奥行き範囲を超えるか否かを判定するものである。
表示奥行き範囲が基準奥行き範囲を超える場合、奥行き範囲判定手段１３は、要素画像群を補正する旨の指令信号を生成する。
一方、表示奥行き範囲が基準奥行き範囲を超えない場合、奥行き範囲判定手段１３は、要素画像群を補正しない旨の指令信号を生成する。

【0057】

奥行き範囲判定手段１３で生成された指令信号は、表示奥行き範囲情報と、標準奥行き範囲情報と、基準奥行き範囲情報と、要素画像群生成情報と、表示装置情報と共に、立体画像処理手段２０に出力される。

【0058】

立体画像処理手段２０は、指令信号に基づいて、要素画像群の映像信号に対する処理（奥行き範囲の補正）を行うものである。
要素画像群を補正する旨の指令信号が入力された場合、立体画像処理手段２０は、要素画像群を補正する。
一方、要素画像群を補正しない旨の指令信号が入力された場合、立体画像処理手段２０は、奥行き範囲を補正せず、そのまま立体画像表示装置２００に出力する。

【0059】

図２に示すように、立体画像処理手段２０は、距離平面画像生成手段３０と、体積画素分布記憶手段４０と、奥行き範囲補正手段５０と、補正要素画像群生成手段６０とを備える。

【0060】

距離平面画像生成手段３０は、入力された要素画像群の各画素を、光学素子情報で示される立体画像表示装置２００の要素レンズのピッチ及び焦点距離が同じ仮想要素レンズ（仮想要素光学系）で構成される仮想要素レンズ群（仮想要素光学系群）を介して、光路追跡を行い、仮想要素レンズ群からの距離が異なる、予め設定された距離平面毎に各画素の画素値を割り当てることで、距離毎の平面画像（距離平面画像）を生成するものである。

【0061】

この距離平面画像生成手段３０は、異なる距離毎に距離平面画像を生成し、距離に対応付けて体積画素分布記憶手段４０に書き込む。
すなわち、距離平面画像生成手段３０は、一平面で構成される要素画像群から、複数の距離によって異なる平面画像を生成することで、要素画像群を立体像として表示した際の画素分布に相当する空間（立体像空間）を再現させる。
この距離平面画像生成手段３０は、予め定めた複数距離における距離平面画像を生成し、体積画素分布として、体積画素分布記憶手段４０に書き込んだ後、体積画素分布を生成した旨を、奥行き範囲補正手段５０に通知する。

【0062】

ここで、図３を参照して、距離平面画像生成手段３０が距離毎に生成する距離平面画像について説明する。
図３に示すように、距離平面画像生成手段３０は、要素画像群Ｇの画像面に対して、立体画像表示装置２００における要素レンズ群と表示面までの距離ｄ_ｒと同じ距離だけ仮想的に離間して配置した仮想要素レンズ群Ｖを介して、光路追跡を行うことで、要素画像群Ｇの各画素の画素値を、任意の距離Ｌ_１，Ｌ_２，…，Ｌ_ｎ毎に割り当てて、平面画像ｔ_１，ｔ_２，…，ｔ_ｎを生成する。

【0063】

ここで、距離Ｌ_１，Ｌ_２，…，Ｌ_ｎは、予め定めた複数の距離であって、その数及び間隔は任意に定めることができる。なお、距離平面を多く設定すれば、それだけ補正の効果を高めることができるが、演算量は増加する。そこで、距離平面の数及び間隔は、要素画像群Ｇの画素数等に応じて定めることが好ましい。

【0064】

距離平面画像生成手段３０は、図３に示すように、ある要素画像の画素ｇから、対応する仮想要素レンズ（仮想的な開口〔仮想ピンホール〕）Ｖ_Ｌの中心を通る直線が任意の距離の平面と交わる座標上の画素に、画素ｇの画素値を割り当てる。すなわち、距離平面画像生成手段３０は、要素画像の画素ｇの画素値を、平面画像ｔ_１，…，ｔ_ｎとの交点の画素ｇ_１，…，ｇ_ｎの画素値とする。
これによって、図３に示すように、ある要素画像の画像領域ｋ_ｒの画素の画素値は、対応する仮想要素レンズＶ_Ｌを介して拡がり（ｗ_１，…，ｗ_ｎ）を持って距離平面に割り当てられる。例えば、要素画像の画像領域ｋ_ｒが距離Ｌ_１の距離平面において拡がる範囲ｗ_１は、以下の式（３）で表される。

【0065】

【数3】

【0066】

また、仮想要素レンズ群Ｖから最も離れた距離Ｌ_ｎに到達する要素画像の画像領域ｋ_ｒの範囲ｗ_ｎについても、式（３）と同様に求めることができる。
すなわち、距離平面画像生成手段３０が生成する立体を構成する平面画像（体積画素分布）は、奥行き方向であるｚ方向においては、仮想要素レンズ群Ｖに最も近い距離Ｌ_１から、仮想要素レンズ群Ｖから最も遠い距離Ｌ_ｎの範囲に生成され、ｘｙ方向においては、仮想要素レンズ群Ｖから最も遠い距離Ｌ_ｎにおいて要素画像群の画素値が割り当てられる最大の拡がり範囲、すなわち、要素画像群の大きさよりも上下左右にそれぞれｗ_ｎ／２分だけ大きい範囲に生成される。

【0067】

ここで、図４を参照して、距離平面画像生成手段３０の構成について説明する。
図３で説明した複数の距離平面画像からなる体積画素分布を生成するため、距離平面画像生成手段３０は、分割手段３１と、要素画像変換手段３３と、結合手段３５と、を備える。

【0068】

分割手段３１は、表示装置情報に基づいて、映像信号として入力される要素画像群を要素画像単位の画像に分割するものである。すなわち、分割手段３１は、要素画像群を、光学素子情報のうちの要素レンズの配置位置に対応する要素画像毎に分割する。

【0069】

なお、分割手段３１は、要素画像群を立体画像表示装置２００が扱う要素画像の大きさで分割する。立体画像撮影装置１００と立体画像表示装置２００とで、要素画像の大きさ（サイズ、解像度）が異なる場合には、分割手段３１は、立体画像表示装置２００の要素画像の大きさに合うように、ダウンコンバート、アップコンバート等の画像変換処理を行う。
この分割手段３１は、分割した要素画像毎の光波を、要素画像変換手段３３に出力する。

【0070】

要素画像変換手段３３は、光路追跡を行うことで、分割手段３１から入力される要素画像を、予め設定された距離における平面画像に変換するものである。ここでは、要素画像変換手段３３は、画素割当手段３３ａを備える。

【0071】

画素割当手段３３ａは、要素画像の画素毎に、当該画素から仮想要素レンズの中心を通る直線が、予め設定された距離平面と交わる座標に、当該画素の画素値を割り当てるものである。これによって、要素画像毎の距離平面画像が生成される。
この画素割当手段３３ａは、要素画像毎に生成した距離平面画像を結合手段３５に出力する。

【0072】

結合手段３５は、要素画像変換手段３３（画素割当手段３３ａ）で生成された予め設定された距離平面における要素画像毎の距離平面画像を当該距離平面において要素画像群の要素画像分だけ結合するものである。すなわち、結合手段３５は、予め設定された距離平面において、要素画像毎に生成された距離平面画像の画素値を割り当てることで、要素画像群に対応した距離平面画像を生成する。
なお、結合手段３５は、距離平面画像の同一の座標に異なる要素画像の画素値が割り当てられている場合、同一の座標に割り当てられた画素値を加算し平均化することで、当該座標の画素値とする。

【0073】

ここで、図５を参照して、平面光強度分布ｔについて説明する。
図５では、ｘ軸を水平方向とし、ｙ軸を垂直方向とし、ｚ軸を奥行き方向とする。そして、円筒体及び三角錐体の２物体を被写体とし、これら円筒体及び三角錐体の底面をｚ軸に向けて撮影した場合を考える。この場合、距離平面画像ｔにおいて、画素値がゼロを超える画素分布範囲は、ｚ軸から見た円筒体の立体像α及び三角錐体の立体像βを表すことになる。

【0074】

そして、結合手段３５は、要素画像群に対応して生成した距離平面画像を、距離に対応付けて体積画素分布記憶手段４０（図２参照）に書き込む。
以上説明した距離平面画像生成手段３０は、仮想要素レンズ群からの距離を順次設定し直して、図３で説明したように、複数の距離平面に対応する平面画像を生成する。すなわち、距離平面画像生成手段３０は、図３に示すように、仮想要素レンズ群Ｖからの距離Ｌ_１，Ｌ_２，…，Ｌ_ｎに対応する平面画像ｔ_１，ｔ_２，…，ｔ_ｎを生成する。
この距離平面画像生成手段３０で生成された平面画像ｔ_１，ｔ_２，…，ｔ_ｎは、図６に示すように、距離毎に配列されることで、空間上における体積画素分布として表すことができる。

【0075】

これによって、体積画素分布記憶手段４０には、複数の距離平面における平面画像で構成される体積画素分布が記憶される。この体積画素分布は、要素画像群を立体画像表示装置で表示させる際の立体像空間において、画素を分布させた状態に相当する。
図２に戻って、立体画像処理手段２０の構成について、説明を続ける。

【0076】

体積画素分布記憶手段４０は、距離平面画像生成手段３０で生成された距離平面画像を距離に対応付けて、体積画素分布として記憶するもので、ハードディスク等の一般的な記憶装置である。この体積画素分布は、奥行き範囲補正手段５０によって補正され、補正要素画像群生成手段６０によって参照される。

【0077】

奥行き範囲補正手段５０は、表示奥行き範囲情報と、基準奥行き範囲情報とを用いて、体積画素分布記憶手段４０に記憶された体積画素分布の座標を奥行き方向に補正するものである。

【0078】

この体積画素分布は、補正前の立体像空間の各座標に割り当てられた光強度の集合である。従って、奥行き範囲が補正された体積画素分布（補正体積画素分布）を算出するには、図７（ａ）に示すように、立体像が生成される立体像空間の補正前の座標（Ｘ_ｒ，Ｙ_ｒ，Ｚ´_ｒ）を、図７（ｂ）に示すように、立体像が生成される立体像空間の補正後の座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ´_ｃ）に割り当てればよい。
なお、図７（ａ）では補正前の立体像空間の座標軸をｘ_ｒ，ｙ_ｒ，ｚ_ｒと図示し、図７（ｂ）では補正後の立体像空間の座標軸をｘ_ｃ，ｙ_ｃ，ｚ_ｃと図示した。

【0079】

ここで、表示奥行き範囲βと基準奥行き範囲αとの比率をΩとする（ただし、Ω＞１）。この場合、補正前の座標（Ｘ_ｒ，Ｙ_ｒ，Ｚ´_ｒ）と、補正後の座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ´_ｃ）との関係は、以下の式（４）〜式（６）で表すことができる。つまり、奥行き範囲補正手段５０は、式（４）〜式（６）を用いて、表示奥行き範囲βと基準奥行き範囲αとの比率Ωで、体積画素分布を奥行き方向に圧縮する。

【0080】

【数4】

【0081】

【数5】

【0082】

【数6】

【0083】

ここでは、奥行き範囲補正手段５０は、体積画素分布の座標位置を補正した補正体積画素分布を体積画素分布記憶手段４０に書き込み、補正が完了した旨を補正要素画像群生成手段６０に通知する。

【0084】

補正要素画像群生成手段６０は、奥行き範囲補正手段５０で補正された補正体積画素分布を、表示装置情報で示される立体画像表示装置２００の要素レンズのピッチ及び焦点距離が同じ仮想要素レンズ（仮想要素光学系）で構成される仮想要素レンズ群（仮想要素光学系群）を介して、光路追跡を行い、立体画像表示装置２００の表示面に相当する位置における要素画像群を生成するものである。

【0085】

すなわち、補正要素画像群生成手段６０は、図８に示すように、補正後の体積画素分布における各画素の画素値（例えば、点〔画素〕ａの画素値）を、当該画素から仮想要素レンズ群Ｖの中心を通る直線と交わる画像上の画素（例えば、点〔画素〕ａ′）の画素値として割り当てる。なお、図８では、ある点の画素値のみについて画像上に割り当てているが、補正後の体積画素分布全体に亘って割り当てを行う。これによって、補正された要素画像群（補正要素画像群Ｇ′）が生成されることになる。

【0086】

ここで、図９を参照（適宜図２参照）して、補正要素画像群生成手段６０の構成について説明する。図９に示すように、補正要素画像群生成手段６０は、要素画像逆変換手段６１と、連結手段６３と、を備える。

【0087】

要素画像逆変換手段６１は、補正後の体積画素分布から、表示装置情報で示される立体画像表示装置２００の要素レンズの配置位置に対応する要素画像を生成するものである。
すなわち、要素画像逆変換手段６１は、要素画像変換手段３３とは逆方向に、図３で説明した要素画像の画像領域ｋ_ｒの画素値を求める対象画素から、当該要素画像に対応する仮想要素レンズＶ_Ｌの中心を通る直線が交わる平面画像ｔの画素の値を、要素画像の対象画素の画素値とする。なお、距離平面画像生成手段３０においては、距離Ｌ_１，Ｌ_２，…，Ｌ_ｎは予め定めたものであったが、要素画像逆変換手段６１では、補正後の体積画素分布において、画素値が割り当てられた距離（ｚ座標）が、逆変換を行うために対象とする距離平面となる。
ここで、要素画像逆変換手段６１は、画素統合手段６１ａと、補間手段６１ｂと、を備える。

【0088】

画素統合手段６１ａは、補正後の体積画素分布で示される距離毎の平面画像を、要素画像群の画像面（後側焦平面）において統合するものである。すなわち、画素統合手段６１ａは、補正後の体積画素分布で示される平面画像毎に、要素画像群の画像面において、要素画像の各画素の画素値を、当該画素から仮想要素レンズＶ_Ｌの中心を通る直線が交わる平面画像上の画素の画素値として割り当てることで、要素画像を生成する。
なお、要素画像の各画素に対応する距離平面画像の画素は、複数の距離平面画像で複数存在する場合がある。その場合、画素統合手段６１ａは、対応する複数の距離平面画像の対応する画素の画素値の平均値を求め、要素画像の対応する画素値とする。
例えば、図３において、距離毎の平面画像ｔが、補正後の体積画素分布を構成する画像であるとすると、画素統合手段６１ａは、要素画像の画素ｇの画素値を、画素ｇから仮想要素レンズＶ_Ｌの中心を通る直線が交わる複数の平面画像ｔ_１，ｔ_２，…，ｔ_ｎの画素ｇ_１，ｇ_２，…，ｇ_ｎの各画素値の平均値として算出する。
この画素統合手段６１ａは、生成した複数の要素画像を補間手段６１ｂに出力する。

【0089】

補間手段６１ｂは、画素統合手段６１ａにおいて生成された要素画像において、画素値が割り当てられていない画素の画素値を補間するものである。
この補間手段６１ｂに入力される要素画像は、補正後の体積画素分布である距離平面毎の画素値を、要素画像の画素値に割り当てたものであるが、体積画素分布における画素の座標位置が補正されることで、必ずしも要素画像のすべての画素が割り当てられるとは限らない。

【0090】

そこで、補間手段６１ｂは、画素統合手段６１ａで生成された要素画像において、画素値が割り当てられなかった画素について、隣接する画素の画素値から補間処理によって、画素値を補間する。なお、この補間処理は、一般的な手法を用いればよく、例えば、補間手段６１ｂは、すでに画素値が割り当てられている画素から、内挿や外挿によって、画素値が割り当てられていない画素の画素値を算出する。
この補間手段６１ｂは、補間によりすべての画素値を求めた要素画像を連結手段６２に出力する。

【0091】

連結手段６３は、要素画像逆変換手段６１で生成された個々の要素画像を連結し、要素画像群として構成するものである。
この連結手段６３は、個々の要素画像を、光学素子情報のうちの要素レンズの配置位置に対応する位置に配列することで、補正後の要素画像群（補正要素画像群）を生成する。

【0092】

以上説明したように、立体画像補正装置１は、要素画像群の奥行き範囲を補正するため、過度に眼の近い位置で立体像が表示されることがなく、眼精疲労を抑制することができる。
この立体画像補正装置１は、一般的なコンピュータを前記した各手段として機能させるプログラム（立体画像補正プログラム）により動作させることができる。

【0093】

なお、要素光学系群は、要素レンズが配列されたレンズアレイとして説明したが、微小なピンホールが配列された開口アレイ（空間フィルタ)であってもよい。
また、立体画像補正装置１は、第２実施形態（図１４）で説明するステップＳ２，Ｓ４〜Ｓ１０を実行する動作を行うため、説明を省略する。

【0094】

（第２実施形態）
［立体画像補正装置の構成］
図１０を参照して、本発明の第２実施形態に係る立体画像補正装置１Ｂについて、第１実施形態と異なる点を説明する（適宜図２参照）。
立体画像補正装置１Ｂは、奥行き範囲に加え、奥行き時間変化も補正する点が、第１実施形態と異なる。このため、立体画像補正装置１Ｂは、表示状態算出手段１０Ｂと、立体画像処理手段２０Ｂと、遅延手段７０とを備える。

【0095】

また、立体画像補正装置１Ｂは、立体画像撮影装置１００から、遅延要素画像群の補正に必要な情報として、標準奥行き時間変化情報と、基準奥行き時間変化情報とが入力される。

【0096】

標準奥行き時間変化情報は、予め設定された、標準的な表示装置で立体像が表示された場合の奥行き時間変化（標準奥行き時間変化）を示す情報である。
基準奥行き時間変化情報は、予め設定された、観察者にとって適切な奥行き時間変化（基準奥行き時間変化）を示す情報である。本実施形態では、基準奥行き時間変化情報は、全ての観察者に共通する奥行き時間変化（共通奥行き時間変化）であることとする。

【0097】

ここでは、遅延手段７０から先に説明する。
遅延手段７０は、立体画像撮影装置１００から要素画像群が入力され、入力された要素画像群を遅延時間だけ遅延させて、遅延要素画像群を出力するものである。この遅延手段７０は、例えば、要素画像群を記憶するフレームメモリ（不図示）と、このフレームメモリを制御する制御手段（不図示）とで構成される。

【0098】

以下の説明では、立体画像撮影装置１００から要素画像群が入力された時刻をＴ_１とし、遅延手段７０での遅延処理後の時刻をＴ_２とする。つまり、遅延時間Δ＝Ｔ_２−Ｔ_１となり、遅延時間Δだけ遅延させた要素画像群を遅延要素画像群と呼ぶ。
なお、遅延時間Δは、例えば、微少時間を示すような、任意の値で予め設定される。

【0099】

表示状態算出手段１０Ｂは、立体画像表示装置２００において、要素画像群及び遅延要素画像群が表示される状態を算出するものであり、奥行き範囲算出手段１１Ｂと、奥行き範囲判定手段１３と、奥行き時間変化算出手段１５と、奥行き時間変化判定手段１７とを備える。

【0100】

奥行き範囲算出手段１１Ｂは、表示奥行き範囲に加え、遅延要素画像群が立体画像表示装置２００で表示された際の遅延表示奥行き範囲を、図１の奥行き範囲算出手段１１と同様に算出するものである。

【0101】

奥行き時間変化算出手段１５は、表示状態算出手段１０Ｂで算出された表示奥行き範囲と遅延表示奥行き範囲との変化量である表示奥行き時間変化を算出するものである。つまり、奥行き時間変化算出手段１５は、表示奥行き範囲と遅延表示奥行き範囲との差分を、表示奥行き時間変化として算出する。
この表示奥行き時間変化は、遅延時間Δ（微小時間）における奥行きの変化を示す情報である。

【0102】

奥行き時間変化判定手段１７は、奥行き時間変化算出手段１５で算出された表示奥行き時間変化が基準奥行き時間変化を超えるか否かを判定するものである。
表示奥行き範囲が基準奥行き範囲を超える場合、奥行き時間変化判定手段１７は、遅延要素画像群を補正する旨の指令信号を生成する。
一方、表示奥行き範囲が基準奥行き範囲を超えない場合、奥行き時間変化判定手段１７は、遅延要素画像群を補正しない旨の指令信号を生成する。
奥行き時間変化判定手段１７で生成された指令信号は、標準奥行き時間変化情報と、基準奥行き時間変化情報と共に、立体画像処理手段２０Ｂに出力される。

【0103】

図１１に示すように、表示奥行き時間変化ηは、時刻Ｔ_１の要素画像群における立体像空間と、時刻Ｔ_２の要素画像群における立体像空間との奥行き範囲の変化量を示す。そして、この例では、奥行き時間変化判定手段１７は、表示奥行き時間変化ηが基準奥行き時間変化γを超えるので、遅延要素画像群を補正する旨の指令信号を生成する。
なお、図１１では、時刻Ｔ_１の要素画像群における立体像空間を２点鎖線で図示した。また、図１１の符号εについては、説明を後記する。

【0104】

図１０に戻り、立体画像補正装置１Ｂの構成について、説明を続ける。
立体画像処理手段２０Ｂは、図２の立体画像処理手段２０と同様の構成であり、指令信号に基づいて、要素画像群に加え、遅延要素画像群を補正するものである。
遅延要素画像群を補正する旨の指令信号が入力された場合、立体画像処理手段２０Ｂは、遅延要素画像群を補正する。
一方、遅延要素画像群を補正しない旨の指令信号が入力された場合、立体画像処理手段２０Ｂは、遅延要素画像群を補正せず、そのまま立体画像表示装置２００に出力する。

【0105】

距離平面画像生成手段３０（図２）は、要素画像群と同様の手法により、遅延要素画像群から、距離平面毎に距離平面画像を生成し、距離に対応付けて体積画素分布記憶手段４０に書き込むものである。
これによって、体積画素分布記憶手段４０（図２）には、要素画像群における体積画素分布に加え、遅延要素画像群における体積画素分布が記憶される。

【0106】

奥行き範囲補正手段５０（図２）は、表示奥行き時間変化情報と、基準奥行き時間変化情報とを用いて、遅延要素画像群における体積画素分布の座標を奥行き方向に補正するものである。つまり、奥行き範囲補正手段５０は、要素画像群における体積画素分布と同様、表示奥行き時間変化と基準奥行き時間変化との差分で、遅延要素画像群における体積画素分布を補正する。

【0107】

補正要素画像群生成手段６０（図２）は、補正要素画像群と同様の手法により、遅延要素画像群における補正体積画素分布から、補正遅延要素画像群を生成するものである。

【0108】

ここで、補正要素画像群生成手段６０は、表示装置情報に基づいて、遅延要素画像群における補正体積光強度から仮想要素レンズ群までの距離が予め設定される。この仮想要素レンズ群の位置を、「基準光学素子アレイ位置」と呼ぶ。そして、補正要素画像群生成手段６０は、図１２に示すように、基準光学素子アレイ位置Ｓから距離補正値εだけずらした位置に仮想要素レンズ群Ｖを配置した状態で、補正遅延要素画像群Ｇ´´を生成する。
この距離補正値εは、図１１に示すように、表示奥行き時間変化ηと基準奥行き時間変化γとの差を示す。

【0109】

これによって、補正要素画像群生成手段６０は、図１３（ａ）の表示奥行き時間変化ηが図１３（ｂ）の基準奥行き時間変化γを超えないようにして、補正遅延要素画像群を生成することができる。
なお、図１３では、時刻Ｔ_１の要素画像群における立体像空間を２点鎖線で図示し、時刻Ｔ_２の遅延要素画像群における立体像空間を実線で図示した。

【0110】

［立体画像補正装置の動作］
図１４，１５を参照して、立体画像補正装置１Ｂの動作について、説明する。
立体画像補正装置１Ｂは、遅延手段７０によって、要素画像群を遅延時間だけ遅延させた遅延要素画像群を出力する（ステップＳ１）。

【0111】

立体画像補正装置１Ｂは、奥行き範囲算出手段１１Ｂによって、要素画像群から表示奥行き範囲を算出し、遅延要素画像群から遅延表示奥行き範囲を算出する（ステップＳ２）。
立体画像補正装置１Ｂは、奥行き時間変化算出手段１５によって、表示奥行き範囲と遅延表示奥行き範囲との変化量である表示奥行き時間変化を算出する（ステップＳ３）。

【0112】

立体画像補正装置１Ｂは、奥行き範囲判定手段１３によって、表示奥行き範囲が基準奥行き範囲を超えるか否かを判定する（ステップＳ４）。
表示奥行き範囲が基準奥行き範囲を超える場合（ステップＳ４でＹｅｓ）、立体画像補正装置１Ｂは、ステップＳ５の処理に進む。
立体画像補正装置１Ｂは、距離平面画像生成手段３０によって、要素画像群に対し、仮想要素レンズ群からの距離が異なる距離平面を設定する（ステップＳ５）。

【0113】

立体画像補正装置１Ｂは、距離平面画像生成手段３０によって、要素画像群の各画素の画素値を、光路追跡により、ステップＳ５で設定した距離に対応する距離平面に割り当てて距離毎の平面座標（距離平面画像）を生成する。

【0114】

すなわち、立体画像補正装置１Ｂは、距離平面画像生成手段３０の分割手段３１によって、要素画像群を、表示装置情報で特定される要素画像毎に分割する。
立体画像補正装置１Ｂは、距離平面画像生成手段３０の要素画像変換手段３２によって、要素画像の各画素の画素値を、当該画素と、対応する仮想要素レンズの中心とを通る直線が、設定した距離の平面と交わる平面画像上の画素に当該画素値を割り当てる。
立体画像補正装置１Ｂは、距離平面画像生成手段３０の結合手段３５によって、要素画像変換手段３２（画素割当手段３２ａ）で生成された距離平面における要素画像毎の距離平面画像を当該距離平面において要素画像群の要素画像分だけ結合する（ステップＳ６）。

【0115】

立体画像補正装置１Ｂは、距離平面画像生成手段３０（結合手段３５）によって、ステップＳ６で生成された距離毎の平面画像を、体積画素分布記憶手段４０に書き込む（ステップＳ７）。この平面画像が、異なる距離平面毎に生成されることで、体積画素分布となる。

【0116】

立体画像補正装置１Ｂは、奥行き範囲補正手段５０によって、表示奥行き範囲情報と、基準奥行き範囲情報とを用いて、体積画素分布記憶手段４０に記憶された体積画素分布の座標を奥行き方向に補正する。すなわち、奥行き範囲補正手段５０は、表示奥行き範囲と基準奥行き範囲との比率で、要素画像群における体積画素分布を奥行き方向に圧縮する（ステップＳ８）。

【0117】

立体画像補正装置１Ｂは、要素画像逆変換手段６１の要素画像逆変換手段６１によって、光路追跡により、ステップＳ８で補正された体積画素分布から、要素画像群の画像面の画素値を算出する。

【0118】

すなわち、立体画像補正装置１Ｂは、要素画像逆変換手段６１の画素統合手段６１ａによって、画素値を求める対象となる要素画像の画素毎に、当該画素から仮想要素レンズの中心を通る直線上に存在する補正後の体積画素分布の画素の画素値を割り当てる。なお、このとき、直線上に画素値が割り当てられた複数の画素が存在する場合、画素統合手段６１ａは、それらの平均値を要素画像の画素値とする。
立体画像補正装置１Ｂは、要素画像逆変換手段６１の補間手段６１ｂによって、画素統合手段６１ａにおいて生成された要素画像において、画素値が割り当てられていない画素の画素値を内挿等により補間する（ステップＳ９）。

【0119】

立体画像補正装置１Ｂは、連結手段６３によって、要素画像逆変換手段６１で生成された個々の要素画像を連結し、補正後の要素画像群を生成する（ステップＳ１０）。

【0120】

表示奥行き範囲が基準奥行き範囲を超えない場合（ステップＳ４でＮｏ）、又は、ステップＳ１０の処理に続いて、立体画像補正装置１Ｂは、ステップＳ１１の処理に進む。
立体画像補正装置１Ｂは、奥行き時間変化判定手段１７によって、表示奥行き時間変化が基準奥行き時間変化を超えるか否かを判定する（ステップＳ１１）。

【0121】

表示奥行き時間変化が基準奥行き時間変化を超える場合（ステップＳ１１でＹｅｓ）、立体画像補正装置１Ｂは、ステップＳ１２の処理に進む。
立体画像補正装置１Ｂは、距離平面画像生成手段３０によって、遅延要素画像群に対し、仮想要素レンズ群からの距離が異なる距離平面を設定する（ステップＳ１２）。

【0122】

立体画像補正装置１Ｂは、距離平面画像生成手段３０によって、遅延要素画像群の各画素の画素値を、光路追跡により、ステップＳ１２で設定した距離に対応する距離平面に割り当てて距離毎の平面座標（距離平面画像）を生成する。

【0123】

すなわち、立体画像補正装置１Ｂは、距離平面画像生成手段３０の分割手段３１によって、遅延要素画像群を、表示装置情報で特定される要素画像毎に分割する。
立体画像補正装置１Ｂは、距離平面画像生成手段３０の要素画像変換手段３２によって、要素画像の各画素の画素値を、当該画素と、対応する仮想要素レンズの中心とを通る直線が、設定した距離の平面と交わる平面画像上の画素に当該画素値を割り当てる。
立体画像補正装置１Ｂは、距離平面画像生成手段３０の結合手段３５によって、要素画像変換手段３２（画素割当手段３２ａ）で生成された距離平面における要素画像毎の距離平面画像を当該距離平面において遅延要素画像群の要素画像分だけ結合する（ステップＳ１３）。

【0124】

立体画像補正装置１Ｂは、距離平面画像生成手段３０（結合手段３５）によって、ステップＳ１３で生成された距離毎の平面画像を、体積画素分布記憶手段４０に書き込む（ステップＳ１４）。

【0125】

立体画像補正装置１Ｂは、奥行き範囲補正手段５０によって、表示奥行き時間変化情報と、基準奥行き時間変化情報とを用いて、体積画素分布記憶手段４０に記憶された体積画素分布の座標を奥行き方向に補正する。すなわち、奥行き範囲補正手段５０は、表示奥行き時間変化と基準奥行き時間変化との差分で、遅延要素画像群における体積画素分布を奥行き方向に圧縮する（ステップＳ１５）。

【0126】

立体画像補正装置１Ｂは、要素画像逆変換手段６１の要素画像逆変換手段６１によって、光路追跡により、ステップＳ１５で補正された体積画素分布から、遅延要素画像群の画像面の画素値を算出する。

【0127】

すなわち、立体画像補正装置１Ｂは、要素画像逆変換手段６１の画素統合手段６１ａによって、画素値を求める対象となる要素画像の画素毎に、当該画素から仮想要素レンズの中心を通る直線上に存在する補正後の体積画素分布の画素の画素値を割り当てる。
立体画像補正装置１Ｂは、要素画像逆変換手段６１の補間手段６１ｂによって、画素統合手段６１ａにおいて生成された要素画像において、画素値が割り当てられていない画素の画素値を内挿等により補間する（ステップＳ１６）。

【0128】

立体画像補正装置１Ｂは、連結手段６３によって、要素画像逆変換手段６１で生成された個々の要素画像を連結し、補正後の遅延要素画像群を生成する（ステップＳ１７）。
表示奥行き時間変化が基準奥行き時間変化を超えない場合（ステップＳ１１でＮｏ）、又は、ステップＳ１７の後、立体画像補正装置１Ｂは、処理を終了する。

【0129】

以上説明したように、立体画像補正装置１Ｂは、要素画像群の奥行き範囲と遅延要素画像群の奥行き時間変化とを補正するため、過度に眼の近い位置で立体像が表示されることや、奥行き方向で立体像の位置が頻繁に変化することがないため、眼精疲労を抑制することができる。

【0130】

なお、第２実施形態では、立体画像補正装置１Ｂが奥行き範囲及び奥行き時間変化の両方を補正することとして説明したが、奥行き時間変化のみを補正してもよい。この場合、立体画像補正装置１Ｂは、奥行き範囲判定手段１３を備える必要がない。

【0131】

（第３実施形態）
［立体画像補正装置の構成］
図１６を参照して、本発明の第３実施形態に係る立体画像補正装置１Ｃについて、第２実施形態と異なる点を説明する。
立体画像補正装置１Ｃは、所定の条件により警告を行う点が、第２実施形態と異なる。このため、立体画像補正装置１Ｃは、表示状態算出手段１０Ｃと、立体画像処理手段２０Ｂと、遅延手段７０と、パラメータ設定手段８０と、警告手段９０とを備える。

【0132】

ここでは、パラメータ設定手段８０から先に説明する。
パラメータ設定手段８０は、観察者が各種パラメータ（個別奥行き範囲情報、個別奥行き時間変化情報、動作モード情報）を設定するものである。
このパラメータ設定手段８０に設定されたパラメータは、表示状態算出手段１０Ｃと、立体画像処理手段２０Ｂと、警告手段９０とで参照される。

【0133】

個別奥行き範囲情報は、予め設定された、観察者毎に固有の奥行き範囲（個別奥行き範囲）を示す情報である。
個別奥行き時間変化情報は、予め設定された、観察者毎に固有の奥行き時間変化（個別奥行き時間変化）を示す情報である。
動作モード情報は、基準設定モード又は視聴者設定モードの何れで立体画像補正装置１Ｃが動作するかを示す情報である。

【0134】

基準設定モードとは、基準奥行き範囲情報及び基準奥行き時間変化情報を用いて、立体画像補正装置１Ｃが動作することである。つまり、基準設定モードの場合、立体画像補正装置１Ｃは、全ての観察者に共通する共通奥行き範囲及び共通奥行き時間変化を用いることになる。

【0135】

視聴者設定モードとは、個別奥行き範囲情報及び個別奥行き時間変化情報を用いて、立体画像補正装置１Ｃが動作することである。つまり、視聴者設定モードの場合、立体画像補正装置１Ｃは、観察者毎に固有の個別奥行き範囲及び個別奥行き時間変化を用いることになる。さらに、立体画像補正装置１Ｃは、補正要素画像群及び補正遅延要素画像群が眼精疲労を引き起こす可能性がある場合、警告を行う。

【0136】

表示状態算出手段１０Ｃは、奥行き範囲算出手段１１Ｃと、奥行き範囲判定手段１３Ｃと、奥行き時間変化算出手段１５Ｃと、奥行き時間変化判定手段１７Ｃとを備える。
また、表示状態算出手段１０Ｃは、立体画像処理手段２０Ｂから補正要素画像群及び補正遅延要素画像群が入力される。

【0137】

奥行き範囲算出手段１１Ｃは、視聴者設定モードの場合、補正要素画像群の奥行き範囲（補正奥行き範囲）と、補正遅延要素画像群の奥行き範囲とを、図１０の奥行き範囲算出手段１１Ｂと同様に算出するものである。
この奥行き範囲算出手段１１Ｃで算出された補正奥行き範囲は、警告手段９０に出力される。

【0138】

奥行き範囲判定手段１３Ｃは、動作モード情報に基づいて、個別奥行き範囲情報又は基準奥行き範囲情報の何れか一方を選択して、図１０の奥行き範囲判定手段１３と同様に判定するものである。

【0139】

奥行き時間変化算出手段１５Ｃは、視聴者設定モードの場合、補正要素画像群と補正遅延要素画像群との奥行き時間変化（補正奥行き時間変化）を、図１０の奥行き時間変化算出手段１５と同様に算出するものである。
この奥行き時間変化算出手段１５Ｃで算出された補正奥行き時間変化は、警告手段９０に出力される。

【0140】

奥行き時間変化判定手段１７Ｃは、動作モード情報に基づいて、個別奥行き時間変化情報又は基準奥行き時間変化情報の何れか一方を選択して、図１０の奥行き時間変化判定手段１７と同様に判定するものである。

【0141】

警告手段９０は、視聴者設定モードの場合、所定の条件により警告を行うものであり、奥行き範囲警告手段９１と、奥行き時間変化警告手段９３とを備えるものである。

【0142】

奥行き範囲警告手段９１は、奥行き範囲算出手段１１Ｃから入力された補正奥行き範囲が共通奥行き範囲を超えるか否かを判定し、補正奥行き範囲が共通奥行き範囲を超える場合に警告するものである。
ここで、奥行き範囲警告手段９１は、警告方法が特に制限されず、奥行き範囲の警告メッセージを映像信号に付加してもよい。また、奥行き範囲警告手段９１は、この警告メッセージを予め設定されたメールアドレスに送信してもよく、所定の警告音を鳴らしてもよい。

【0143】

奥行き時間変化警告手段９３は、奥行き時間変化算出手段１５Ｃから入力された補正奥行き時間変化が共通奥行き時間変化を超えるか否かを判定し、補正奥行き時間変化が共通奥行き時間変化を超える場合に警告するものである。
ここで、奥行き時間変化警告手段９３は、奥行き範囲警告手段９１と同様の手法で警告することができる。

【0144】

以上説明したように、立体画像補正装置１Ｃは、個々の観察者にとって最適な奥行き範囲及び奥行き時間変化に収まるように立体映像を再生できると共に、この立体映像の再生時に眼精疲労を引き起こす可能性がある場合、観察者に警告することができる。

【0145】

なお、立体画像補正装置１Ｃは、警告手段９０を備えずに、個別奥行き範囲情報及び個別奥行き時間変化情報、又は、基準奥行き範囲情報及び基準奥行き時間変化情報の何れか一方のみを用いる構成としてもよい。

【符号の説明】

【0146】

１，１Ｂ，１Ｃ 立体画像補正装置
１０，１０Ｂ，１０Ｃ 表示状態算出手段
１１，１１Ｂ，１１Ｃ 奥行き範囲算出手段
１３，１３Ｃ 奥行き範囲判定手段
１５，１５Ｃ 奥行き時間変化算出手段
１７，１７Ｃ 奥行き時間変化判定手段
２０，２０Ｂ 立体画像処理手段
３０ 距離平面画像生成手段
３１ 分割手段
３３ 要素画像変換手段
３３ａ 画素割当手段
３５ 結合手段
４０ 体積画素分布記憶手段
５０ 奥行き範囲補正手段
６０ 補正要素画像群生成手段
６１ 要素画像逆変換手段
６１ａ 画素統合手段
６１ｂ 補間手段
６３ 連結手段
７０ 遅延手段
８０ パラメータ設定手段
９０ 警告手段
９１ 奥行き範囲警告手段
９３ 奥行き時間変化警告手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】