知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-12
(45)【発行日】2023-07-21
(54)【発明の名称】位置ずれ補正量算出装置及びそのプログラム
(51)【国際特許分類】
H04N 13/327 20180101AFI20230713BHJP
G09F 9/00 20060101ALI20230713BHJP
G02B 30/27 20200101ALI20230713BHJP
H04N 13/307 20180101ALI20230713BHJP
H04N 13/324 20180101ALI20230713BHJP
【ＦＩ】
H04N13/327
G09F9/00 313
G09F9/00 352
G09F9/00 361
G02B30/27
H04N13/307
H04N13/324
【請求項の数】
5
(21)【出願番号】P 2019059700
(22)【出願日】2019-03-27
(65)【公開番号】P2020161994
(43)【公開日】2020-10-01
【審査請求日】2022-02-09
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】日浦 人誌
(72)【発明者】
【氏名】久富 健介
(72)【発明者】
【氏名】洗井 淳
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開２００４－３３６２３９（ＪＰ，Ａ）
【文献】特開２０１２－２３０１４２（ＪＰ，Ａ）
【文献】特開２００５－１１００１０（ＪＰ，Ａ）
【文献】特開２０１８－０８８５９５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００
Ｇ０９Ｆ ９／００
Ｇ０２Ｂ ３０／００
Ｇ０３Ｂ ３５／００
Ｇ０９Ｇ ５／００
(57)【特許請求の範囲】
【請求項1】
要素画像が配列された要素画像群を表示するディスプレイと、要素レンズが２次元状に配列されたレンズアレイとを備える立体映像表示装置の位置ずれ補正量を算出する位置ずれ補正量算出装置であって、単色要素画像が配列された単色要素画像群を、前記単色要素画像のサイズが縮小されるように前記ディスプレイに表示する表示手段と、
前記ディスプレイで再生される前記単色要素画像群を撮影した撮像画像が撮像カメラから入力され、入力された前記撮像画像の画像中心に最も近い第１単色要素画像領域を検出し、検出した前記第１単色要素画像領域の中心座標を算出する第１中心座標算出手段と、
前記第１単色要素画像領域の中心座標と予め設定した前記ディスプレイの中心座標との位置ずれ量を算出する位置ずれ量算出手段と、
前記要素画像群の位置補正量を算出する位置補正量算出手段と、
前記第１単色要素画像領域に隣接する第２単色要素画像領域の中心座標を算出する第２中心座標算出手段と、
前記第１単色要素画像領域の中心座標と前記第２単色要素画像領域の中心座標との間隔が最長になるように、前記要素画像群の角度補正量を算出する角度補正量算出手段と、を備え、
前記位置補正量算出手段は、前記要素レンズの焦点距離と前記ディスプレイから前記撮像カメラまでの距離との比を前記位置ずれ量に乗算することで、前記要素画像群の位置補正量を算出することを特徴とする位置ずれ補正量算出装置。
【請求項2】
前記単色要素画像のサイズが予め設定された基準サイズ以下であるか否かを判定するサイズ判定手段、をさらに備え、前記単色要素画像のサイズが前記基準サイズ以下になるまで、
前記表示手段が、前記単色要素画像群を前記ディスプレイに表示し、
前記第１中心座標算出手段が、前記第１単色要素画像領域の中心座標を算出し、
前記位置ずれ量算出手段が、前記位置ずれ量を算出し、
前記位置補正量算出手段が、前記要素画像群の位置補正量を算出し、
前記第２中心座標算出手段が、前記第２単色要素画像領域の中心座標を算出し、
前記角度補正量算出手段が、前記要素画像群の角度補正量を算出することを特徴とする請求項１に記載の位置ずれ補正量算出装置。
【請求項3】
前記撮像画像の全面が単色で表示されるように、前記要素画像の間隔補正量を算出する間隔補正量算出手段、をさらに備えることを特徴とする請求項１又は請求項２に記載の位置ずれ補正量算出装置。
【請求項4】
前記位置補正量、前記角度補正量及び前記間隔補正量に基づいて、前記要素画像群を補正する要素画像群補正手段、をさらに備えることを特徴とする請求項３に記載の位置ずれ補正量算出装置。
【請求項5】
コンピュータを、請求項１から請求項４の何れか一項に記載の位置ずれ補正量算出装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体映像表示装置の位置ずれ補正量を算出する位置ずれ補正量算出装置及びそのプログラムに関する。
【背景技術】
【0002】
従来のインテグラルフォトグラフィ（ＩＰ:Integral Photography）方式では、１台のカメラで複数の微小レンズが配列されたレンズアレイを通して被写体を撮像する。このとき、カメラがレンズアレイの焦平面を撮像するため、レンズアレイを構成する各微小レンズは、微小なカメラと同じ働きをする。その結果、レンズアレイ越しに被写体を撮像した画像は、微小レンズの位置に応じた微小画像（要素画像）が並んだ要素画像群となる。この要素画像群は、被写体からの光線情報を記録した画像であり、記録できる光線数がカメラの解像度に依存する。
【0003】
ＩＰ立体映像の解像度は、ディスプレイの画素間隔に依存する。従って、ＩＰ方式では、画素間隔が狭いほど高画質な立体映像を表示することが可能になる。その一方、画素が細かくなるにつれて、レンズアレイとディスプレイとの位置合せに高い精度が要求されることになる。
【0004】
光学系の幾何学歪みは、レンズアレイとディスプレイとの位置ずれの原因の一つである。このことから、再生立体映像の劣化は、幾何学歪みに起因して大きくなる。そこで、ＩＰ方式においても、立体撮像装置の位置ずれを補正する発明が提案されている（特許文献１）。この特許文献１に記載の発明は、各要素レンズの位置を検出して、立体撮像装置で撮像された要素画像群の表示位置を、レンズアレイの要素レンズの位置に合わせて補正するものである。
【0005】
前記した特許文献１に記載の発明は、直視型のディスプレイに適用できる。ディスプレイでは歪みが生じにくいため、レンズアレイの配列誤差に応じて要素画像群の表示位置を補正することになる。すなわち、レンズアレイとディスプレイを接合した立体表示装置を一旦製造すると、レンズアレイとディスプレイとの位置合せを再度行うのは極めて困難である。そこで、レンズアレイとディスプレイとの位置ずれを打ち消すように、要素画像群の表示位置を補正する。
【先行技術文献】
【特許文献】
【0006】
【文献】特許第４２７２４６４号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、レンズアレイは、ディスプレイと異なり、熱によって物理的に伸縮することがあり、その伸縮が原因となり、レンズアレイが所定の位置からずれることがある。さらに、ディスプレイに対してレンズアレイが回転した状態で接合された場合も、レンズアレイが所定の位置からずれてしまう。
【0008】
レンズアレイに伸縮がある状態で、中心の要素画像と中心の要素レンズとの位置が一致している場合を考える。この場合、中心から離れる程、要素レンズと要素画像との位置ずれ量が大きくなる。さらに、レンズアレイがディスプレイに対して回転していることもある。このように、ディスプレイとレンズアレイとの位置ずれ量が一定でなく、レンズアレイを介してディスプレイを観察するので、位置ずれを高精度で補正するのが困難という問題がある。
【0009】
そこで、本発明は、位置ずれ補正量を高精度に算出できる位置ずれ補正量算出装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0010】
前記した課題に鑑みて、本発明に係る位置ずれ補正量算出装置は、要素画像が配列された要素画像群を表示するディスプレイと、要素レンズが２次元状に配列されたレンズアレイとを備える立体映像表示装置の位置ずれ補正量を算出する位置ずれ補正量算出装置であって、表示手段と、第１中心座標算出手段と、位置ずれ量算出手段と、位置補正量算出手段と、第２中心座標算出手段と、角度補正量算出手段とを備える構成とした。
【0011】
かかる位置ずれ補正量算出装置によれば、表示手段は、単色要素画像が配列された単色要素画像群を、単色要素画像のサイズが縮小されるようにディスプレイに表示する。このように、単色要素画像のサイズを縮小すると、撮像画像上では、ディスプレイと単色要素画像との位置ずれが識別しやすくなる。
【0012】
第１中心座標算出手段は、ディスプレイで再生される単色要素画像群を撮影した撮像画像が撮像カメラから入力され、入力された撮像画像の画像中心に最も近い第１単色要素画像領域を検出し、検出した第１単色要素画像領域の中心座標を算出する。
位置ずれ量算出手段は、第１単色要素画像領域の中心座標と予め設定したディスプレイの中心座標との位置ずれ量を算出する。
位置補正量算出手段は、要素画像群の位置補正量を算出する。
第２中心座標算出手段は、第１単色要素画像領域に隣接する第２単色要素画像領域の中心座標を算出する。
位置ずれ量算出手段は、第１単色要素画像領域の中心座標と予め設定したディスプレイの中心座標との位置ずれ量を算出する。
位置補正量算出手段は、要素画像群の位置補正量を算出する。
第２中心座標算出手段は、第１単色要素画像領域に隣接する第２単色要素画像領域の中心座標を算出する。
【0013】
ここで、単色要素画像群の回転が大きくなる程、撮像画像上では、第１単色要素画像領域と第２単色要素画像領域との間隔が短くなる。そこで、角度補正量算出手段は、第１単色要素画像領域と第２単色要素画像領域との間隔が最長になるように、要素画像群の角度補正量を算出する。
【0014】
位置補正量算出手段は、要素レンズの焦点距離とディスプレイから撮像カメラまでの距離との比を前記位置ずれ量に乗算することで、要素画像群の位置補正量を算出する。
ここで、単色要素画像群の回転が大きくなる程、撮像画像上では、第１単色要素画像領域と第２単色要素画像領域との間隔が短くなる。そこで、角度補正量算出手段は、第１単色要素画像領域の中心座標と第２単色要素画像領域の中心座標との間隔が最長になるように、要素画像群の角度補正量を算出する。
ここで、単色要素画像群の回転が大きくなる程、撮像画像上では、第１単色要素画像領域と第２単色要素画像領域との間隔が短くなる。そこで、角度補正量算出手段は、第１単色要素画像領域の中心座標と第２単色要素画像領域の中心座標との間隔が最長になるように、要素画像群の角度補正量を算出する。
【発明の効果】
【0015】
本発明によれば、単色要素画像のサイズを縮小することで、ディスプレイと単色要素画像との中心位置のずれが識別しやすくなり、位置ずれ補正量を高精度に算出することができる。この位置ずれ補正量を用いれば、レンズアレイが伸縮する場合でも、ディスプレイとレンズアレイとの位置ずれを高い精度で補正可能となり、ＩＰ立体映像の画質を向上させることができる。
【図面の簡単な説明】
【0016】
【図1】（ａ）は従来のＩＰ立体映像表示装置の各構成を説明する説明図であり、（ｂ）は従来のＩＰ立体映像表示装置の概略構成図である。
【図2】実施形態において、（ａ）は要素画像群を説明する説明図であり、（ｂ）はレンズアレイを説明する説明図である。
【図3】実施形態において、白色要素画像群を説明する説明図であり、（ａ）は白色要素画像のサイズが１００％であり、（ｂ）は白色要素画像のサイズが５０％である。
【図4】実施形態において、観察距離を説明する説明図である。
【図5】実施形態において、白色要素画像群の表示範囲を説明する説明図であり、（ａ）は白色要素画像のサイズが１００％であり、（ｂ）は白色要素画像のサイズが５０％である。
【図8】実施形態において、白色要素画像群の表示範囲を説明する説明図であり、（ａ）は白色要素画像のサイズが１００％で間隔がそのままであり、（ｂ）は白色要素画像の間隔が長くなっている。
【図9】実施形態において、白色要素画像群の表示範囲を説明する説明図であり、（ａ）は白色要素画像のサイズが５０％で間隔がそのままであり、（ｂ）は白色要素画像の間隔が長くなっている。
【図10】実施形態において、白色要素画像群の回転を説明する説明図であり、（ａ）は白色要素画像群が回転しておらず、（ｂ）は白色要素画像群が回転している。
【図11】実施形態に係る補正装置の構成を示すブロック図である。
【図12】実施形態において、位置ずれ量の算出を説明する説明図である。
【図13】実施形態において、隣接する円形領域の中心座標の算出を説明する説明図である。
【図14】実施形態に係る補正装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
（実施形態）
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
まず、位置ずれの調整対象となるＩＰ立体映像表示装置（立体映像表示装置）の構成、及び、位置ずれ補正の原理を説明した後、本実施形態に係るＩＰ立体映像調整システムの構成を説明する。
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
まず、位置ずれの調整対象となるＩＰ立体映像表示装置（立体映像表示装置）の構成、及び、位置ずれ補正の原理を説明した後、本実施形態に係るＩＰ立体映像調整システムの構成を説明する。
【0018】
［ＩＰ立体映像表示装置の構成］
図１及び図２を参照し、従来のＩＰ立体映像表示装置について説明する。
ＩＰ立体映像表示装置１０は、ＩＰ立体映像（要素画像群）を表示するものであり、図１（ａ）及び（ｂ）に示すように、ディスプレイ１１と、アクリル板１２と、レンズアレイ１３とを備える。
図１及び図２を参照し、従来のＩＰ立体映像表示装置について説明する。
ＩＰ立体映像表示装置１０は、ＩＰ立体映像（要素画像群）を表示するものであり、図１（ａ）及び（ｂ）に示すように、ディスプレイ１１と、アクリル板１２と、レンズアレイ１３とを備える。
【0019】
ディスプレイ１１は、図２（ａ）に示すように、複数の要素画像ｅで構成された要素画像群Ｅを表示する表示素子である。例えば、ディスプレイ１１としては、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のＦＰＤ（Flat Panel Display）があげられる。
【0020】
アクリル板１２は、後記するレンズアレイ１３を構成する各要素レンズ１４の主点位置とディスプレイ１１の表示面までの距離とが、各要素レンズ１４の焦点距離に一致するように調整するものである。つまり、アクリル板１２は、レンズアレイ１３からディスプレイ１１までの距離を、要素レンズ１４の焦点距離に保つ焦点距離調整部材である。
なお、アクリル板１２のような焦点距離調整部材は、ＩＰ立体映像表示装置１０に必須の構成要素ではない。
なお、アクリル板１２のような焦点距離調整部材は、ＩＰ立体映像表示装置１０に必須の構成要素ではない。
【0021】
レンズアレイ１３は、２次元状に配列された要素レンズ１４を備えるものである。このレンズアレイ１３では、要素レンズ１４の配列が任意であり、ベイヤー配列又は水平垂直に要素レンズ１４が配列されている。つまり、要素レンズ１４及び要素画像ｅが互いに対応する。図２（ｂ）に示すように、要素レンズ１４がベイヤー配列の場合、図２（ａ）に示すように、要素レンズ１４に対応する要素画像ｅもベイヤー配列となる。このように、要素画像群Ｅは、要素レンズ１４と同一位置及び同一サイズの要素画像ｅが配列されている。
【0022】
ここで、ＩＰ立体映像表示装置１０は、製造時、ディスプレイ１１とレンズアレイ１３との位置が調整されている。つまり、ＩＰ立体映像表示装置１０は、レンズアレイ１３の伸縮や配列誤差を除いて、機械的な誤差の範囲内の精度で位置が調整されている。
【0023】
［位置ずれ補正の原理：要素画像のサイズ及び間隔］
図３～図９を参照し、要素画像のサイズ及び間隔による位置ずれ補正の原理について説明する。
位置ずれを補正するため、図３（ａ）に示すように、白色要素画像ｅｗが配列された白色要素画像群Ｅｗを用いる。この白色要素画像ｅｗとは、全画素が白色の要素画像ｅのことである。正方形の白色要素画像ｅｗが碁盤の目のように規則正しく並んでいる場合、白色要素画像ｅｗの隙間となる黒色領域（ドットで図示）が小さくなる。ここで、図３（ａ）の白色要素画像ｅｗの間隔をそのままとし、白色要素画像ｅｗのサイズ（直径）を５０％まで小さくすると、図３（ｂ）に示すように、白色要素画像ｅｗの隙間（黒色領域）が大きくなる。なお、白色要素画像ｅｗの間隔とは、ある白色要素画像ｅｗの中心位置から隣接する他の白色要素画像ｅｗの中心位置までの距離のことである。
図３～図９を参照し、要素画像のサイズ及び間隔による位置ずれ補正の原理について説明する。
位置ずれを補正するため、図３（ａ）に示すように、白色要素画像ｅｗが配列された白色要素画像群Ｅｗを用いる。この白色要素画像ｅｗとは、全画素が白色の要素画像ｅのことである。正方形の白色要素画像ｅｗが碁盤の目のように規則正しく並んでいる場合、白色要素画像ｅｗの隙間となる黒色領域（ドットで図示）が小さくなる。ここで、図３（ａ）の白色要素画像ｅｗの間隔をそのままとし、白色要素画像ｅｗのサイズ（直径）を５０％まで小さくすると、図３（ｂ）に示すように、白色要素画像ｅｗの隙間（黒色領域）が大きくなる。なお、白色要素画像ｅｗの間隔とは、ある白色要素画像ｅｗの中心位置から隣接する他の白色要素画像ｅｗの中心位置までの距離のことである。
【0024】
ここで、ＩＰ立体映像表示装置１０が表示する白色要素画像群Ｅｗを観察する場合を考える。観察距離が無限遠の場合、各要素レンズ１４の主点位置に対応するディスプレイ１１の画素を観察することになる。このとき、レンズアレイ１３のレンズ間隔とレンズアレイ１３によって選択される要素画像群の要素画像間隔とが等しくなる。
【0025】
次に、図４を参照し、観察距離について説明する。図４では、Ｘ軸が水平方向を表し、Ｙ軸が垂直方向を表し、Ｚ軸が奥行方向を表す。Ｙ軸方向において、要素レンズ１４が出射する光の角度θｈは、要素レンズ１４の焦点距離Ｌｆと白色要素画像ｅｗの高さＬｈとから、以下の式（１）で算出できる。また、Ｘ軸方向においても、要素レンズ１４が出射する光の角度θｗは、要素レンズ１４の焦点距離Ｌｆと白色要素画像ｅｗの幅Ｌｗとから、Ｙ軸方向と同様に算出できる（不図示）。
θｈ＝２×ｔａｎ－１｛Ｌｈ／（２×Ｌｆ）｝
θｗ＝２×ｔａｎ－１｛Ｌｗ／（２×Ｌｆ）｝ …式（１）
θｈ＝２×ｔａｎ－１｛Ｌｈ／（２×Ｌｆ）｝
θｗ＝２×ｔａｎ－１｛Ｌｗ／（２×Ｌｆ）｝ …式（１）
【0026】
図４では、レンズアレイ１３の中心に位置する要素レンズ１４Ｃから、Ｙ軸方向で最端に位置する要素レンズ１４Ｙまでの距離をＬｅｎＨとする。また、レンズアレイ１３のレンズ面（レンズアレイ面）から、上下２つの要素レンズ１４Ｙが出射した光が交わる位置までの距離をＬｅｎＺｈとする。また、要素レンズ１４Ｃから、Ｘ軸方向で最端に位置する要素レンズ１４Ｘまでの距離をＬｅｎＷとする（不図示）。また、レンズアレイ面から、左右２つの要素レンズ１４Ｘが出射した光が交わる位置までの距離をＬｅｎＺｗとする（不図示）。
【0027】
Ｙ軸方向において、距離ＬｅｎＺｈは、要素レンズ１４の焦点距離Ｌｆと、距離ＬｅｎＨと、白色要素画像ｅｗの高さＬｈとから、以下の式（２）で算出できる。また、Ｘ軸方向においても、距離ＬｅｎＺｗは、要素レンズ１４の焦点距離Ｌｆと、距離ＬｅｎＷと、白色要素画像ｅｗの幅Ｌｗとから、Ｙ軸方向と同様に算出できる（不図示）。以後、説明を簡単にするために、距離ＬｅｎＺｗと距離ＬｅｎＺｈとが等しいこととし、距離ＬｅｎＺと表記する。
ＬｅｎＺｈ＝Ｌｆ×｛ＬｅｎＨ／（Ｌｈ／２）｝
ＬｅｎＺｗ＝Ｌｆ×｛ＬｅｎＷ／（Ｌｗ／２）｝ …式（２）
ＬｅｎＺｈ＝Ｌｆ×｛ＬｅｎＨ／（Ｌｈ／２）｝
ＬｅｎＺｗ＝Ｌｆ×｛ＬｅｎＷ／（Ｌｗ／２）｝ …式（２）
【0028】
以上より、要素レンズ１４の間隔と白色要素画像ｅｗの間隔とが等しい場合、観察距離が距離ＬｅｎＺ以上でないと、各要素レンズ１４が対応する要素画像を拡大表示できない。言い換えるなら、白色要素画像ｅｗの間隔を要素レンズ１４の間隔以上にすれば、要素画像を拡大表示できる。すなわち、要素画像群の間隔に応じて、最適な観察距離が異なることを意味する。
【0029】
観察距離が距離ＬｅｎＺ未満の場合、または、要素レンズ１４の間隔に誤差がある場合、再生される立体像について考える。この場合、図５（ａ）に示すように、白色要素画像群Ｅｗの全領域が対応する要素レンズ１４では再生されずに、白色要素画像群Ｅｗの一部が異なる要素レンズ１４で再生領域ＰＥｗが再生される。つまり、ＩＰ立体映像表示装置１０の観察者は、円形領域ｐｅｗが含まれる再生領域ＰＥｗを立体映像として観察することになる。この円形領域ｐｅｗは、白色要素画像群Ｅｗのうち、対応する要素レンズ１４で再生された白色要素画像ｅｗが拡大されたものである。
【0030】
以後の説明では、図５（ａ）の白色要素画像ｅｗのサイズ及び間隔を基準とする（サイズが１００％）とする。ここで、白色要素画像ｅｗの間隔がそのままで、白色要素画像ｅｗのサイズを５０％に縮小した場合を考える。この場合、図５（ｂ）に示すように、再生領域ＰＥｗにおいて、円形領域ｐｅｗの中心位置は変わらないが、円形領域ｐｅｗのサイズが小さくなり、円形領域ｐｅｗの隙間（ドットで図示）が大きくなる。
【0031】
図５では説明を簡易にするためにレンズアレイ１３を考慮せずに図示したが、実際には円形領域ｐｅｗがレンズアレイ１３の影響を受ける。
図６（ａ）は、レンズアレイ１３を備えていないディスプレイに図５（ａ）の白色要素画像群Ｅｗを表示したものである。また、図６（ｂ）は、レンズアレイ１３を備えるＩＰ立体映像表示装置１０に図５（ａ）の白色要素画像群Ｅｗを表示したものである。図６（ａ）の白色要素画像群Ｅｗがレンズアレイ１３で拡大され、図６（ｂ）に示すように、複数の要素レンズ１４で表示される１つの円形領域ｐｅｗとなる。
図７（ａ）は、レンズアレイ１３を備えていないディスプレイに図５（ｂ）の白色要素画像群Ｅｗを表示したものである。また、図７（ｂ）は、レンズアレイ１３を備えるＩＰ立体映像表示装置１０に図５（ｂ）の白色要素画像群Ｅｗを表示したものである。白色要素画像ｅｗのサイズが小さいので、図７（ｂ）に示すように、円形領域ｐｅｗの周囲にある黒色領域が大きくなる。
なお、要素レンズ１４の直径が小さくなり、要素レンズ１４の個数が多くなる程、円形領域ｐｅｗの形状が円形に近くなる。
図６（ａ）は、レンズアレイ１３を備えていないディスプレイに図５（ａ）の白色要素画像群Ｅｗを表示したものである。また、図６（ｂ）は、レンズアレイ１３を備えるＩＰ立体映像表示装置１０に図５（ａ）の白色要素画像群Ｅｗを表示したものである。図６（ａ）の白色要素画像群Ｅｗがレンズアレイ１３で拡大され、図６（ｂ）に示すように、複数の要素レンズ１４で表示される１つの円形領域ｐｅｗとなる。
図７（ａ）は、レンズアレイ１３を備えていないディスプレイに図５（ｂ）の白色要素画像群Ｅｗを表示したものである。また、図７（ｂ）は、レンズアレイ１３を備えるＩＰ立体映像表示装置１０に図５（ｂ）の白色要素画像群Ｅｗを表示したものである。白色要素画像ｅｗのサイズが小さいので、図７（ｂ）に示すように、円形領域ｐｅｗの周囲にある黒色領域が大きくなる。
なお、要素レンズ１４の直径が小さくなり、要素レンズ１４の個数が多くなる程、円形領域ｐｅｗの形状が円形に近くなる。
【0032】
白色要素画像ｅｗのサイズ及び間隔を少し長くした場合、図８（ａ）に示すように、円形領域ｐｅｗの上下が再生領域ＰＥｗからはみだしている。さらに、白色要素画像ｅｗのサイズが１００％のままで、白色要素画像ｅｗの間隔をさらに長くした場合を考える。この場合、白色要素画像ｅｗの間隔を長くすることで、対応する要素レンズ１４が多くなるため、円形領域ｐｅｗのサイズが大きくなる。その結果、図８（ｂ）に示すように、円形領域ｐｅｗのサイズが大きくなり、円形領域ｐｅｗの左右も再生領域ＰＥｗからはみだすようになる。ここで、白色要素画像ｅｗの間隔を長くし続けると、ある間隔からは円形領域ｐｅｗのサイズが小さくなる。この円形領域ｐｅｗのサイズが最大になるときの間隔が、白色要素画像ｅｗの最適な間隔である。
なお、白色要素画像ｅｗの間隔が長いとは、理想的な白色要素画像ｅｗの間隔を基準として、その間隔が長いことを意味する。
なお、白色要素画像ｅｗの間隔が長いとは、理想的な白色要素画像ｅｗの間隔を基準として、その間隔が長いことを意味する。
【0033】
白色要素画像ｅｗのサイズを５０％に縮小した場合、図９（ａ）に示すように、円形領域ｐｅｗの上下左右が再生領域ＰＥｗに収まる。さらに、白色要素画像ｅｗのサイズが５０％のままで、白色要素画像ｅｗの間隔を長くした場合を考える。この場合、図９（ｂ）に示すように、円形領域ｐｅｗのサイズが大きくなる。
【0034】
白色要素画像ｅｗのサイズが１００％の場合と（図８）、白色要素画像ｅｗのサイズを５０％に縮小した場合とを比較する（図９）。図９に示すように、再生領域ＰＥｗにおいて、円形領域ｐｅｗの全体が再生領域ＰＥｗに収まるので、図８に比べて、円形領域ｐｅｗの中心位置のずれがわかりやすくなる。すなわち、白色要素画像ｅｗのサイズを縮小した方が、中心位置のずれが識別しやすくなる。
【0035】
以下、白色要素画像ｅｗの間隔について、さらに検討する。
観察距離Ｌ１において、白色要素画像ｅｗの最適な間隔をＰ１とする。この最適な間隔Ｐ１が未知のため、レンズアレイ１３の設計上の理論値（要素レンズ１４の間隔）を白色要素画像ｅｗの間隔として利用する。例えば、白色要素画像ｅｗの間隔Ｐ１ｓが最適な間隔Ｐ１より短い状態で、白色要素画像ｅｗのサイズを小さくした場合、白色要素画像ｅｗの位置がずれていると、円形領域ｐｅｗも上下左右に（ΔＣｘ,ΔＣｙ）だけ表示位置がずれてしまう。
観察距離Ｌ１において、白色要素画像ｅｗの最適な間隔をＰ１とする。この最適な間隔Ｐ１が未知のため、レンズアレイ１３の設計上の理論値（要素レンズ１４の間隔）を白色要素画像ｅｗの間隔として利用する。例えば、白色要素画像ｅｗの間隔Ｐ１ｓが最適な間隔Ｐ１より短い状態で、白色要素画像ｅｗのサイズを小さくした場合、白色要素画像ｅｗの位置がずれていると、円形領域ｐｅｗも上下左右に（ΔＣｘ,ΔＣｙ）だけ表示位置がずれてしまう。
【0036】
そこで、円形領域ｐｅｗの中心座標がレンズアレイ１３の中心座標と一致するように白色要素画像の位置を（ΔＥＩｘ，ΔＥＩｙ）だけずらす。このとき、白色要素画像ｅｗのサイズが大き過ぎると、円形領域ｐｅｗがレンズアレイ１３よりも大きくなり、円形領域ｐｅｗの中心座標が識別しにくくなる。また、白色要素画像ｅｗのサイズが小さ過ぎても、円形領域ｐｅｗの中心座標が識別しにくくなる。
【0037】
そこでまず、（１）白色要素画像ｅｗの間隔を長くしていく。次に、（２）円形領域ｐｅｗがレンズアレイ１３よりも大きくなった場合、白色要素画像ｅｗのサイズを小さくする。最終的には、白色要素画像ｅｗのサイズが十分小さくなるまで（例えば、縦２画素×横２画素）、前記（１）と（２）の処理を繰り返す。その結果、レンズアレイ１３の全面が再生領域になり（つまり、レンズアレイ１３の全面が白色になり）、白色要素画像ｅｗの間隔誤差が無くなり、観察距離Ｌ１における白色要素画像ｅｗの最適な間隔Ｐ１が求まる。
【0038】
以下、前提条件としての要素画像群の間隔Ｐ１ｓについて補足する。
ここで、白色要素画像ｅｗが最適な間隔Ｐ１の場合において、白色要素画像ｅｗのサイズをＲ１とする。白色要素画像ｅｗが間隔Ｐ１ｓの場合において、白色要素画像ｅｗのサイズをＲ１ｓとする。レンズアレイ１３において、水平方向の要素レンズ１４のレンズ数をＮｘとする。説明を簡易にするため、ディスプレイ１１とレンズアレイ１３との幅が等しく、要素レンズ１４のレンズ数Ｎｘが整数であるとする。
ここで、白色要素画像ｅｗが最適な間隔Ｐ１の場合において、白色要素画像ｅｗのサイズをＲ１とする。白色要素画像ｅｗが間隔Ｐ１ｓの場合において、白色要素画像ｅｗのサイズをＲ１ｓとする。レンズアレイ１３において、水平方向の要素レンズ１４のレンズ数をＮｘとする。説明を簡易にするため、ディスプレイ１１とレンズアレイ１３との幅が等しく、要素レンズ１４のレンズ数Ｎｘが整数であるとする。
【0039】
この場合、ディスプレイ１１の水平方向の画素数Ｐｗを個数Ｎｘで除算した値が要素レンズ１４の間隔Ｐとなる。この要素レンズ１４の間隔Ｐは、観察距離が無限点の場合、白色要素画像ｅｗの最適な間隔となる。
【0040】
白色要素画像群Ｅｗとレンズアレイ１３とに位置ずれがなく、白色要素画像ｅｗの直径Ｒ１ｓと白色要素画像ｅｗの間隔Ｐ１ｓとが等しい場合、観察距離Ｌ１における円形領域ｐｅｗの直径サイズＲ１ｈは、以下の式（３）で表される。なお、ｎは、円形領域ｐｅｗの半径分のレンズ数を意味する。
Ｒ１ｈ＝２×ｎ×Ｐ１ｓ …式（３）
ただし、｜(Ｐ１×ｎ)－(Ｐ１ｓ×ｎ)｜＜＝Ｒ１ｓ／２を満たす。
Ｒ１ｈ＝２×ｎ×Ｐ１ｓ …式（３）
ただし、｜(Ｐ１×ｎ)－(Ｐ１ｓ×ｎ)｜＜＝Ｒ１ｓ／２を満たす。
【0041】
式（３）のただし書きで等号が成立する場合において、要素レンズ１４の間隔Ｐ１ｓについて解くと、式（４）で表される。
Ｐ１ｓ＝Ｐ１－Ｒ１ｓ／２ｎ …式（４）
Ｐ１ｓ＝Ｐ１－Ｒ１ｓ／２ｎ …式（４）
【0042】
要素レンズ１４のレンズ数Ｎｘとレンズアレイ１３で水平方向のサイズに対する円形領域ｐｅｗの直径サイズＲ１ｈとの比α（α＝Ｒ１ｈ／Ｎｘ）で式（４）のレンズ数ｎを表すと、以下の式（５）となる。
Ｐ１ｓ＝Ｐ１－Ｒ１ｓ／（αＮｘ）
ｎ＝α×Ｎｘ／２ …式（５）
Ｐ１ｓ＝Ｐ１－Ｒ１ｓ／（αＮｘ）
ｎ＝α×Ｎｘ／２ …式（５）
【0043】
前記した式（５）より、再生される円形領域ｐｅｗのサイズをレンズアレイ１３の水平方向の比αで表すことで５０％の再生サイズになるというように、白色要素画像ｅｗの間隔を求めることができる。
【0044】
［位置ずれ補正の原理：要素画像の回転］
次に、図１０を参照し、要素画像の回転による位置ずれ補正の原理について説明する。
ここでは、白色要素画像ｅｗのサイズを５０％に縮小したこととして説明する。また、白色要素画像群Ｅｗが回転していないときの再生領域ＰＥｗを図１０（ａ）に示し、白色要素画像群Ｅｗが回転したときの再生領域ＰＥｗを図１０（ｂ）に示す。
次に、図１０を参照し、要素画像の回転による位置ずれ補正の原理について説明する。
ここでは、白色要素画像ｅｗのサイズを５０％に縮小したこととして説明する。また、白色要素画像群Ｅｗが回転していないときの再生領域ＰＥｗを図１０（ａ）に示し、白色要素画像群Ｅｗが回転したときの再生領域ＰＥｗを図１０（ｂ）に示す。
【0045】
図１０（ｂ）に示すように、白色要素画像群Ｅｗが回転すると、対応する要素レンズ１４が少なくなるため、図１０（ａ）に比べ、円形領域ｐｅｗの間隔が短くなり（ＤＡ＞ＤＢ）、円形領域ｐｅｗのサイズが小さくなる（ＲＡ＞ＲＢ）。従って、再生領域ＰＥｗに含まれる円形領域ｐｅｗの数も多くなる。なお、図１０では、円形領域ｐｅｗのサイズがＲＡ，ＲＢであり、円形領域ｐｅｗの間隔がＤＡ，ＤＢであり、水平方向に対する白色要素画像群Ｅｗの回転角がθである。また、回転とは、レンズアレイ面に垂直な軸を中心とした回転のことである。
【0046】
ここで、白色要素画像ｅｗの間隔と要素レンズ１４の間隔とを設計値から少しずらした場合を考える。この場合、再生領域ＰＥｗに含まれる円形領域ｐｅｗの数が多くなるので、白色要素画像群Ｅｗの回転が識別しやすくなる。そこで、白色要素画像ｅｗの間隔を要素レンズ１４の間隔より小さくすることが好ましい。
【0047】
白色要素画像群Ｅｗが回転する程、撮像画像上では、円形領域ｐｅｗの間隔が短くなる。そこで、白色要素画像ｅｗの間隔と要素レンズ１４の間隔とを少しずらし、中央の円形領域ｐｅｗのサイズ（直径）が最大となるように白色要素画像群Ｅｗの回転角θを調整することで、回転による位置ずれを補正できる。なお、円形領域ｐｅｗのサイズを最大にすることは、円形領域ｐｅｗの間隔を最長にするのと同意である。
【0048】
［ＩＰ立体映像表示システムの全体構成］
図１１を参照し、実施形態に係るＩＰ立体映像表示システム１の全体構成について説明する。
ＩＰ立体映像表示システム１は、ＩＰ立体映像表示装置１０の位置ずれを補正し、ＩＰ立体映像を表示するものである。図１１に示すように、ＩＰ立体映像表示システム１は、ＩＰ立体映像表示装置１０と、撮像カメラ２０と、補正装置（位置ずれ補正量算出装置）３０とを備える。
図１１を参照し、実施形態に係るＩＰ立体映像表示システム１の全体構成について説明する。
ＩＰ立体映像表示システム１は、ＩＰ立体映像表示装置１０の位置ずれを補正し、ＩＰ立体映像を表示するものである。図１１に示すように、ＩＰ立体映像表示システム１は、ＩＰ立体映像表示装置１０と、撮像カメラ２０と、補正装置（位置ずれ補正量算出装置）３０とを備える。
【0049】
ＩＰ立体映像表示装置１０は、ＩＰ立体映像を表示するものである。位置ずれを補正する際、ＩＰ立体映像表示装置１０は、後記する補正装置３０から入力された白色要素画像群Ｅｗを表示する。なお、ＩＰ立体映像表示装置１０の詳細は、前記したとおりなので、これ以上の説明を省略する（図１）。
【0050】
撮像カメラ２０は、ディスプレイ１１で再生される単色要素画像群の立体像（再生領域ＰＥｗ）を撮影するものである。すなわち、撮像カメラ２０は、レンズアレイ面に形成された再生領域ＰＥｗを撮影する。例えば、撮像カメラ２０は、レンズアレイ１３の中心、撮像レンズ（不図示）の主点、及び、撮像素子（不図示）の中心画素が同一軸上となるように配置されている。また、撮像カメラ２０は、少なくともレンズアレイ１３の全面を撮像できる画角で設定されている。そして、撮像カメラ２０は、再生領域ＰＥｗの撮像画像を補正装置３０に出力する。
【0051】
補正装置３０は、前記した位置ずれ補正の原理により、ＩＰ立体映像表示装置１０の位置ずれ補正量を算出し、その位置ずれを補正するものである。なお、補正装置３０の詳細は、後記する。
【0052】
［補正装置の構成］
以下、補正装置３０の構成について説明する。
図１１に示すように、補正装置３０は、表示手段３１と、第１中心座標算出手段３２と、位置ずれ量算出手段３３と、位置補正量算出手段３４と、第２中心座標算出手段３５と、角度補正量算出手段３６と、間隔補正量算出手段３７と、要素画像群補正手段３８と、判定手段（サイズ判定手段）３９とを備える。
以下、補正装置３０の構成について説明する。
図１１に示すように、補正装置３０は、表示手段３１と、第１中心座標算出手段３２と、位置ずれ量算出手段３３と、位置補正量算出手段３４と、第２中心座標算出手段３５と、角度補正量算出手段３６と、間隔補正量算出手段３７と、要素画像群補正手段３８と、判定手段（サイズ判定手段）３９とを備える。
【0053】
補正前の白色要素画像ｅｗのサイズ及び間隔は、設計値に対してずれている。そこで、補正装置３０は、白色要素画像ｅｗのサイズを少しずつ縮小し、白色要素画像ｅｗの位置及び角度を調整することを繰り返す。このように、補正装置３０は、位置ずれ補正の原理を利用して、位置ずれを高精度に補正する。
【0054】
表示手段３１は、白色要素画像ｅｗが配列された白色要素画像群Ｅｗをディスプレイ１１に表示するものである。本実施形態では、表示手段３１は、後記する判定手段３９からの指令に従って、白色要素画像ｅｗのサイズを縮小し、白色要素画像ｅｗの角度及び間隔を調整する。例えば、表示手段３１は、白色要素画像ｅｗを調整する際、白色要素画像ｅｗの画素を内挿してもよい。また、表示手段３１は、白色要素画像ｅｗを回転させる場合、白色要素画像ｅｗの画素を外挿してもよい。さらに、表示手段３１は、白色要素画像群Ｅｗを再生成してもよい。例えば、特許６３８８４５号公報に記載の手法で白色要素画像群Ｅｗを再生成できる。
【0055】
表示手段３１は、調整済み白色要素画像群ＥｗをＩＰ立体映像表示装置１０に出力（表示）する。また、表示手段３１は、後記する要素画像群補正手段３８から要素画像群Ｅが入力された場合、そのＩＰ立体映像表示装置１０に出力する。
【0056】
第１中心座標算出手段３２は、再生領域ＰＥｗの撮像画像が撮像カメラ２０から入力されるものである。そして、第１中心座標算出手段３２は、図１２に示すように、撮像画像の画像中心に最も近い円形領域ｐｅｗ（第１単色要素画像領域）を検出し、検出した円形領域ｐｅｗの中心座標ｐｃを算出する。例えば、第１中心座標算出手段３２は、撮像画像に白色領域検出処理を施して円形領域ｐｅｗを検出し、重心法により円形領域ｐｅｗの中心座標ｐｃを算出する。
第１中心座標算出手段３２は、撮像画像と、算出した中心座標ｐｃとを位置ずれ量算出手段３３に出力する。
第１中心座標算出手段３２は、撮像画像と、算出した中心座標ｐｃとを位置ずれ量算出手段３３に出力する。
【0057】
位置ずれ量算出手段３３は、図１２に示すように、第１中心座標算出手段３２が算出した円形領域ｐｅｗの中心座標ｐｃと、予め設定されたディスプレイ１１の中心座標ｄｃとの位置ずれ量を算出するものである。具体的には、位置ずれ量算出手段３３は、以下の式（６）に示すように、水平方向及び垂直方向のそれぞれで、円形領域ｐｅｗの中心座標ｐｃとディスプレイ１１の中心座標ｄｃの差分を位置ずれ量（Δｃｘ，Δｃｙ）として算出する。この式（６）では、撮像カメラ２０の撮像素子の画素間隔Ｃｐと、撮像カメラ２０のカメラレンズの主点から撮像素子までの距離Ｃｆと、ディスプレイ１１から撮像カメラ２０までの距離Ｌｃとを用いる。なお、ディスプレイ１１の中心座標ｄｃは、撮像カメラ２０の撮像素子の中心に設定しておくこととする。
Δｃｘ＝（ｄｃｘ－ｐｃｘ）×Ｃｐ×（Ｌｃ／Ｃｆ）
Δｃｙ＝（ｄｃｙ－ｐｃｙ）×Ｃｐ×（Ｌｃ／Ｃｆ） …式（６）
Δｃｘ＝（ｄｃｘ－ｐｃｘ）×Ｃｐ×（Ｌｃ／Ｃｆ）
Δｃｙ＝（ｄｃｙ－ｐｃｙ）×Ｃｐ×（Ｌｃ／Ｃｆ） …式（６）
【0058】
位置ずれ量算出手段３３は、撮像画像と、中心座標ｐｃと、算出した位置ずれ量（Δｃｘ，Δｃｙ）とを位置補正量算出手段３４に出力する。
【0059】
位置補正量算出手段３４は、位置ずれ量算出手段３３が算出した位置ずれ量に、要素レンズ１４の焦点距離Ｌｆとディスプレイ１１から撮像カメラ２０までの距離Ｌｃとの比（Ｌｆ／Ｌｃ）を乗算するものである。なお、焦点距離Ｌｆ及び距離Ｌｃは、ＩＰ立体映像表示システム１の利用者が、操作手段を用いて手動で設定しておくこととする。
【0060】
具体的には、位置補正量算出手段３４は、以下の式（７）に示すように、水平方向及び垂直方向のそれぞれで、位置ずれ量（Δｃｘ，Δｃｙ）に比（Ｌｆ／Ｌｃ）を乗算する。なお、式（７）では、（ΔＥＩｘ，ΔＥＩｙ）が要素画像群の位置補正量を表す。この位置補正量（Δｘ，Δｙ）をディスプレイ１１の画素サイズで除算した値が、実際に白色要素画像群Ｅｗを画像上で動かす量になる（単位は画素）。
ΔＥＩｘ＝Δｃｘ×（Ｌｆ／Ｌｃ）
ΔＥＩｙ＝Δｃｙ×（Ｌｆ／Ｌｃ） …式（７）
ΔＥＩｘ＝Δｃｘ×（Ｌｆ／Ｌｃ）
ΔＥＩｙ＝Δｃｙ×（Ｌｆ／Ｌｃ） …式（７）
【0061】
位置補正量算出手段３４は、撮像画像と、円形領域ｐｅｗの中心座標ｐｃと、算出した要素画像群の位置補正量（Δｘ，Δｙ）とを第２中心座標算出手段３５に出力する。
【0062】
第２中心座標算出手段３５は、中心の円形領域ｐｅｗに隣接する円形領域ｐｅｗ２（第２単色要素画像領域）の中心座標を算出するものである。図１３に示すように、第２中心座標算出手段３５は、撮像画像に白色領域検出処理を施して円形領域ｐｅｗ２を検出し、重心法により円形領域ｐｅｗ２の中心座標ｐｃ２を算出する。ここで、円形領域ｐｅｗ２が再生領域ＰＥｗからはみ出してしまい、円形領域ｐｅｗ２を検出できない場合も考えられる。この場合、再生領域ＰＥｗから円形領域ｐｅｗ２がはみ出ないように、白色要素画像ｅｗの間隔を短くすればよい。
なお、第２中心座標算出手段３５は、中心の円形領域ｐｅｗの左右に位置する円形領域ｐｅｗ２を検出しているが、円形領域ｐｅｗの上下に位置する円形領域ｐｅｗ２を検出してもよい。
第２中心座標算出手段３５は、撮像画像と、中心座標ｐｃ，ｐｃ２と、位置補正量（Δｘ，Δｙ）とを角度補正量算出手段３６に出力する。
なお、第２中心座標算出手段３５は、中心の円形領域ｐｅｗの左右に位置する円形領域ｐｅｗ２を検出しているが、円形領域ｐｅｗの上下に位置する円形領域ｐｅｗ２を検出してもよい。
第２中心座標算出手段３５は、撮像画像と、中心座標ｐｃ，ｐｃ２と、位置補正量（Δｘ，Δｙ）とを角度補正量算出手段３６に出力する。
【0063】
角度補正量算出手段３６は、中心の円形領域ｐｅｗと、隣接する円形領域ｐｅｗ２との間隔が最長になるように、要素画像群の角度補正量を算出するものである。すなわち、角度補正量算出手段３６は、中心の円形領域ｐｅｗの中心座標ｐｃから、隣接する円形領域ｐｅｗ２の中心座標ｐｃ２までの距離が最長となるときの要素画像群の角度補正量を算出する。
なお、角度補正量算出手段３６の詳細は、補正装置３０の動作で説明する。また、前記したとおり、円形領域ｐｅｗ，ｐｅｗ２の間隔を最長にすることは、円形領域ｐｅｗのサイズを最大にすることと同意である。
なお、角度補正量算出手段３６の詳細は、補正装置３０の動作で説明する。また、前記したとおり、円形領域ｐｅｗ，ｐｅｗ２の間隔を最長にすることは、円形領域ｐｅｗのサイズを最大にすることと同意である。
【0064】
間隔補正量算出手段３７は、再生領域ＰＥｗの撮像画像の全面が白色で表示されるように、要素画像の間隔補正量を算出するものである。具体的には、間隔補正量算出手段３７は、中心の円形領域ｐｅｗの中心座標ｐｃから、左右に位置する円形領域ｐｅｗ２の中心座標ｐｃ２までの距離が、レンズアレイ１３の水平サイズと等しくなるように要素画像群を拡大又は縮小すればよい。また、間隔補正量算出手段３７は、ディスプレイ１１の全面が白くなるように、白色要素画像ｅｗの間隔を変更してもよい。
【0065】
要素画像群補正手段３８は、位置補正量算出手段３４が算出した位置補正量と、角度補正量算出手段３６が算出した角度補正量と、間隔補正量算出手段３７が算出した間隔補正量とに基づいて、要素画像群Ｅを補正するものである。具体的には、要素画像群補正手段３８は、外部（例えば、立体撮像装置）から入力された要素画像群Ｅを再生成する。
【0066】
ここで、要素画像群補正手段３８は、拡大により白色要素画像群Ｅｗの画素数がディスプレイ１１の画素数より多くなる場合、ディスプレイ１１の画素数でクリップ処理すればよい。なお、クリップ処理とは、要素画像群Ｅの最大画素数を超えないように、周辺画素を削除する処理のことである。また、要素画像群補正手段３８は、縮小によって要素画像群Ｅの画素数がディスプレイ１１の画素数より少なくなる場合、ディスプレイ１１の画素数と等しくなるように黒色画素又は要素画像群の最端画素をコピーすればよい。
要素画像群補正手段３８は、補正した要素画像群Ｅを表示手段３１に出力する。
要素画像群補正手段３８は、補正した要素画像群Ｅを表示手段３１に出力する。
【0067】
判定手段３９は、白色要素画像ｅｗの位置、回転及びサイズを調整するか否かを判定するものである。
具体的には、判定手段３９は、中心の円形領域ｐｅｗの中心座標ｐｃとディスプレイ１１の中心座標ｄｃとの差分が基準値を超える場合、白色要素画像群Ｅｗの位置を補正すると判定する。一方、判定手段３９は、その差分が基準値以下の場合、白色要素画像群Ｅｗの位置を調整しないと判定する。
また、判定手段３９は、中心の円形領域ｐｅｗの中心座標ｐｃから、隣接する円形領域ｐｅｗ２の中心座標ｐｃ２までの距離が最長となるように角度が調整されているか否かにより、白色要素画像群Ｅｗの回転（角度）を調整するか否かを判定する。
さらに、判定手段３９は、白色要素画像ｅｗのサイズが予め設定された基準サイズを超える場合、白色要素画像ｅｗのサイズを調整すると判定する。一方、判定手段３９は、白色要素画像ｅｗのサイズが基準サイズ以下の場合、白色要素画像ｅｗのサイズを調整しないと判定する。
具体的には、判定手段３９は、中心の円形領域ｐｅｗの中心座標ｐｃとディスプレイ１１の中心座標ｄｃとの差分が基準値を超える場合、白色要素画像群Ｅｗの位置を補正すると判定する。一方、判定手段３９は、その差分が基準値以下の場合、白色要素画像群Ｅｗの位置を調整しないと判定する。
また、判定手段３９は、中心の円形領域ｐｅｗの中心座標ｐｃから、隣接する円形領域ｐｅｗ２の中心座標ｐｃ２までの距離が最長となるように角度が調整されているか否かにより、白色要素画像群Ｅｗの回転（角度）を調整するか否かを判定する。
さらに、判定手段３９は、白色要素画像ｅｗのサイズが予め設定された基準サイズを超える場合、白色要素画像ｅｗのサイズを調整すると判定する。一方、判定手段３９は、白色要素画像ｅｗのサイズが基準サイズ以下の場合、白色要素画像ｅｗのサイズを調整しないと判定する。
【0068】
なお、白色要素画像ｅｗの基準サイズは、ＩＰ立体映像表示システム１の利用者が、操作手段を用いて手動で設定しておくこととする。また、基準サイズは、任意に設定可能である。例えば、基準サイズは、高精度な補正が可能となるので、例えば、縦２画素×横２画素のように小さく設定するのが好ましい。
【0069】
［補正装置の動作］
図１４を参照し、補正装置３０の動作について説明する。
補正前の白色要素画像ｅｗのサイズ及び間隔が設計値と異なっているので、補正装置３０は、位置ずれ補正の原理を利用して補正を行う。このとき、補正装置３０は、白色要素画像ｅｗのサイズを少しずつ縮小し、白色要素画像ｅｗの位置及び角度の調整を繰り返す。以下、補正装置３０の動作を具体的に説明する。
図１４を参照し、補正装置３０の動作について説明する。
補正前の白色要素画像ｅｗのサイズ及び間隔が設計値と異なっているので、補正装置３０は、位置ずれ補正の原理を利用して補正を行う。このとき、補正装置３０は、白色要素画像ｅｗのサイズを少しずつ縮小し、白色要素画像ｅｗの位置及び角度の調整を繰り返す。以下、補正装置３０の動作を具体的に説明する。
【0070】
ステップＳ１において、表示手段３１は、白色要素画像群ＥｗをＩＰ立体映像表示装置１０に出力する。そして、ＩＰ立体映像表示装置１０は、白色要素画像群Ｅｗを表示する。
ステップＳ２において、撮像カメラ２０は、表示手段３１が表示する調整済み白色要素画像群Ｅｗを撮像する。そして、第１中心座標算出手段３２は、撮像カメラ２０からの撮像画像を入力する。
ステップＳ２において、撮像カメラ２０は、表示手段３１が表示する調整済み白色要素画像群Ｅｗを撮像する。そして、第１中心座標算出手段３２は、撮像カメラ２０からの撮像画像を入力する。
【0071】
ステップＳ３において、判定手段３９は、白色要素画像群Ｅｗの位置又は回転を補正するか否かを判定する。
白色要素画像群Ｅｗの位置又は回転を補正する場合（ステップＳ３でＹｅｓ）、判定手段３９は、ステップＳ４の処理に進む。
白色要素画像群Ｅｗの位置及び回転を補正しない場合（ステップＳ３でＮｏ）、判定手段３９は、ステップＳ１４の処理に進む。
白色要素画像群Ｅｗの位置又は回転を補正する場合（ステップＳ３でＹｅｓ）、判定手段３９は、ステップＳ４の処理に進む。
白色要素画像群Ｅｗの位置及び回転を補正しない場合（ステップＳ３でＮｏ）、判定手段３９は、ステップＳ１４の処理に進む。
【0072】
ステップＳ４において、第１中心座標算出手段３２は、例えば、撮像画像に白色領域検出処理を施し、撮像画像の画像中心に最も近い円形領域ｐｅｗを検出する。
ステップＳ５において、第１中心座標算出手段３２は、例えば、重心法により円形領域ｐｅｗの中心座標ｐｃを算出する。
ステップＳ５において、第１中心座標算出手段３２は、例えば、重心法により円形領域ｐｅｗの中心座標ｐｃを算出する。
【0073】
ステップＳ６において、位置ずれ量算出手段３３は、円形領域ｐｅｗの中心座標ｐｃと、ディスプレイ１１の中心座標ｄｃとの位置ずれ量を算出する。具体的には、位置ずれ量算出手段３３は、水平方向及び垂直方向のそれぞれで、円形領域ｐｅｗの中心座標ｐｃとディスプレイ１１の中心座標ｄｃの差分を位置ずれ量（Δｃｘ，Δｃｙ）として算出する。このとき、位置ずれ量算出手段３３は、撮像カメラ２０の撮像素子の画素間隔Ｃｐと、撮像カメラ２０のカメラレンズの主点から撮像素子までの距離Ｃｆと、ディスプレイ１１から撮像カメラ２０までの距離Ｌｃとを用いる。
【0074】
ステップＳ７において、判定手段３９は、白色要素画像群Ｅｗの位置を調整するか否かを判定する。
白色要素画像群Ｅｗの位置を調整する場合（ステップＳ７でＹｅｓ）、判定手段３９は、ステップＳ８の処理に進む。
白色要素画像群Ｅｗの位置を調整しない場合（ステップＳ７でＮｏ）、判定手段３９は、ステップＳ１０の処理に進む。
白色要素画像群Ｅｗの位置を調整する場合（ステップＳ７でＹｅｓ）、判定手段３９は、ステップＳ８の処理に進む。
白色要素画像群Ｅｗの位置を調整しない場合（ステップＳ７でＮｏ）、判定手段３９は、ステップＳ１０の処理に進む。
【0075】
ステップＳ８において、位置補正量算出手段３４は、白色要素画像群Ｅｗの位置補正量を算出する。具体的には、位置補正量算出手段３４は、ステップＳ５で算出した位置ずれ量に、要素レンズ１４の焦点距離Ｌｆとディスプレイ１１から撮像カメラ２０までの距離Ｌｃとの比（Ｌｆ／Ｌｃ）を乗算する。
【0076】
ステップＳ９において、判定手段３９は、表示手段３１に対し、白色要素画像群Ｅｗの位置の調整を指令する。そして、表示手段３１は、判定手段３９からの指令に従って、白色要素画像群Ｅｗの位置を調整する。白色要素画像群Ｅｗを調整する際、表示手段３１は、白色要素画像群Ｅｗの画素を内挿してもよい。また、表示手段３１は、白色要素画像群Ｅｗを再度生成してもよい。
判定手段３９は、表示手段３１に指令出力後、ステップＳ１の処理に戻る。
判定手段３９は、表示手段３１に指令出力後、ステップＳ１の処理に戻る。
【0077】
ステップＳ１０において、第２中心座標算出手段３５は、例えば、撮像画像に白色領域検出処理を施し、中心の円形領域ｐｅｗに隣接する円形領域ｐｅｗ２を検出する。
ステップＳ１１において、第２中心座標算出手段３５は、例えば、重心法により隣接する円形領域ｐｅｗ２の中心座標ｐｃ２を算出する。
ステップＳ１１において、第２中心座標算出手段３５は、例えば、重心法により隣接する円形領域ｐｅｗ２の中心座標ｐｃ２を算出する。
【0078】
ステップＳ１２において、角度補正量算出手段３６は、中心の円形領域ｐｅｗと、隣接する円形領域ｐｅｗ２との間隔が最長になるように、要素画像群の角度補正量を算出する。具体的には、角度補正量算出手段３６は、ステップＳ５で算出した中心の円形領域ｐｅｗの中心座標ｐｃから、ステップＳ１１で算出した隣接する円形領域ｐｅｗ２の中心座標ｐｃ２までの距離が最長となるときの要素画像群の角度補正量を算出する。
ステップＳ１３において、判定手段３９は、表示手段３１に対し、白色要素画像群Ｅｗの回転の調整を指令する。そして、表示手段３１は、判定手段３９からの指令に従って、白色要素画像群Ｅｗの回転を調整する。ここで、白色要素画像群Ｅｗを回転させる場合、表示手段３１は、白色要素画像群Ｅｗの画素を外挿してもよい。
判定手段３９は、表示手段３１に指令出力後、ステップＳ１の処理に戻る。
ステップＳ１３において、判定手段３９は、表示手段３１に対し、白色要素画像群Ｅｗの回転の調整を指令する。そして、表示手段３１は、判定手段３９からの指令に従って、白色要素画像群Ｅｗの回転を調整する。ここで、白色要素画像群Ｅｗを回転させる場合、表示手段３１は、白色要素画像群Ｅｗの画素を外挿してもよい。
判定手段３９は、表示手段３１に指令出力後、ステップＳ１の処理に戻る。
【0079】
ステップＳ１４において、間隔補正量算出手段３７は、再生領域ＰＥｗの撮像画像の全面が白色で表示されるように、白色要素画像群Ｅｗの間隔補正量を算出する。
ステップＳ１５において、間隔補正量算出手段３７は、ディスプレイ１１の全面が白くなるように白色要素画像群Ｅｗの間隔を調整する。
ステップＳ１５において、間隔補正量算出手段３７は、ディスプレイ１１の全面が白くなるように白色要素画像群Ｅｗの間隔を調整する。
【0080】
ステップＳ１６において、判定手段３９は、白色要素画像群Ｅｗのサイズを調整するか否かを判定する。
白色要素画像群Ｅｗのサイズを調整する場合（ステップＳ１６でＹｅｓ）、判定手段３９は、ステップＳ１７の処理に進む。
白色要素画像群Ｅｗのサイズを調整しない場合（ステップＳ１６でＮｏ）、判定手段３９は、ステップＳ１８の処理に進む。
白色要素画像群Ｅｗのサイズを調整する場合（ステップＳ１６でＹｅｓ）、判定手段３９は、ステップＳ１７の処理に進む。
白色要素画像群Ｅｗのサイズを調整しない場合（ステップＳ１６でＮｏ）、判定手段３９は、ステップＳ１８の処理に進む。
【0081】
ステップＳ１７において、判定手段３９は、表示手段３１に対し、白色要素画像群Ｅｗのサイズの調整を指令する。そして、表示手段３１は、判定手段３９からの指令に従って、白色要素画像群Ｅｗのサイズを縮小する。
判定手段３９は、表示手段３１に指令出力後、ステップＳ１の処理に戻る。
判定手段３９は、表示手段３１に指令出力後、ステップＳ１の処理に戻る。
【0082】
ステップＳ１８において、要素画像群補正手段３８は、ステップＳ８の位置補正量と、ステップＳ１２の角度補正量と、ステップＳ１４の間隔補正量とに基づいて、要素画像群を補正する。
【0083】
このように、補正装置３０は、位置補正量、角度補正量及び間隔補正量を算出し、これらの補正量に基づいて、ディスプレイ１１に表示する要素画像群を補正する。このとき、補正装置３０は、白色要素画像群Ｅｗの位置ずれが最小になるように追い込み、最終的に算出された補正量を元に、要素画像群を再度レンダリングする。
【0084】
［作用・効果］
以上のように、補正装置３０は、白色要素画像ｅｗのサイズを縮小することで、ディスプレイ１１と白色要素画像ｅｗとの中心位置のずれが識別しやすくなり、位置ずれ補正量を高精度に算出することができる。これにより、補正装置３０は、レンズアレイ１３が伸縮する場合でも、ディスプレイ１１とレンズアレイ１３との位置ずれを高い精度で補正でき、ＩＰ立体映像の画質を向上させることができる。
以上のように、補正装置３０は、白色要素画像ｅｗのサイズを縮小することで、ディスプレイ１１と白色要素画像ｅｗとの中心位置のずれが識別しやすくなり、位置ずれ補正量を高精度に算出することができる。これにより、補正装置３０は、レンズアレイ１３が伸縮する場合でも、ディスプレイ１１とレンズアレイ１３との位置ずれを高い精度で補正でき、ＩＰ立体映像の画質を向上させることができる。
【0085】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0086】
前記した実施形態では、要素画像群に画像処理を施すこととして説明したが、これに限定されない。例えば、補正装置が算出した位置補正量及び角度補正量に基づいて、ディスプレイの位置を移動させ、ディスプレイを回転させる位置補正装置を用いてもよい。この場合、レンズアレイとディスプレイとは物理的に離れて設置されている。この位置補正装置は、レンズアレイに対して、ディスプレイを水平方向及び垂直方向に移動させ、ディスプレイに対して垂直な軸を中心にディスプレイを回転させる機能を有する。すなわち、位置補正装置は、補正装置が算出した補正量に基づいて、物理的にディスプレイの位置と角度を調整する。
【0087】
白色要素画像の表示位置を補正する場合、補間処理を行うために高周波成分が低下するので、補正装置は、低下した高周波成分をエンハンス処理（強調処理）してもよい。これにより、白色要素画像群を再生成する場合に比べ、演算量を低減することができる。
【0088】
補正装置は、要素画像群を補正する代わりに、算出した位置ずれ補正量を外部に出力してもよい。
要素画像の形状が円形であることとして説明したが、これに限定されない。
単色要素画像が白色であることとして説明したが、単色要素画像の色はこれに限定されない。
要素画像の形状が円形であることとして説明したが、これに限定されない。
単色要素画像が白色であることとして説明したが、単色要素画像の色はこれに限定されない。
【0089】
前記した実施形態では、補正装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した補正装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0090】
１ ＩＰ立体映像表示システム
１０ ＩＰ立体映像表示装置（立体映像表示装置）
１１ ディスプレイ
１２ アクリル板
１３ レンズアレイ
１４，１４Ｃ，１４Ｘ，１４Ｙ 要素レンズ
２０ 撮像カメラ
３０ 補正装置（位置ずれ補正量算出装置）
３１ 表示手段
３２ 第１中心座標算出手段
３３ 位置ずれ量算出手段
３４ 位置補正量算出手段
３５ 第２中心座標算出手段
３６ 角度補正量算出手段
３７ 間隔補正量算出手段
３８ 要素画像群補正手段
３９ 判定手段（サイズ判定手段）
Ｅ 要素画像群
ｅ 要素画像
Ｅｗ 白色要素画像群（単色要素画像群）
ｅｗ 白色要素画像（単色要素画像）
ＰＥｗ 再生領域
ｐｅｗ，ｐｅｗ２ 円形領域
ｄｃ ディスプレイの中心座標
ｐｃ 円形領域の中心座標
１０ ＩＰ立体映像表示装置（立体映像表示装置）
１１ ディスプレイ
１２ アクリル板
１３ レンズアレイ
１４，１４Ｃ，１４Ｘ，１４Ｙ 要素レンズ
２０ 撮像カメラ
３０ 補正装置（位置ずれ補正量算出装置）
３１ 表示手段
３２ 第１中心座標算出手段
３３ 位置ずれ量算出手段
３４ 位置補正量算出手段
３５ 第２中心座標算出手段
３６ 角度補正量算出手段
３７ 間隔補正量算出手段
３８ 要素画像群補正手段
３９ 判定手段（サイズ判定手段）
Ｅ 要素画像群
ｅ 要素画像
Ｅｗ 白色要素画像群（単色要素画像群）
ｅｗ 白色要素画像（単色要素画像）
ＰＥｗ 再生領域
ｐｅｗ，ｐｅｗ２ 円形領域
ｄｃ ディスプレイの中心座標
ｐｃ 円形領域の中心座標
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】