(58)【調査した分野】(Int.Cl.,DB名)
複数の単位画素を有する表示パネル部と当該表示パネル部から送出される視認用の画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部とを備えた立体表示パネルと、この立体表示パネルの前記表示パネル部を駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に予め特定された深度情報を含む3次元データに基づいて前記表示パネル駆動用の3D画像データを生成する立体画像生成手段とを備えた立体表示装置において、
前記立体画像生成手段に、前記画像振分け部の温度を検出する温度センサと、前記立体表示パネルの固有の立体視域に関するパラメータ情報である前記画像振分け部と前記表示パネル部とを固定した状態における両者の実効的線膨張係数差,前記表示パネル部の大きさ,前記単位画素の解像度,及び基準温度にかかる情報を記憶したデータ記憶部とを併設すると共に、
前記立体画像生成手段を、
前記温度センサから検出された温度情報と前記基準温度との温度差ΔTを算出すると共に当該温度差ΔT及び前記データ記憶部に記憶された情報に基づいて前記画像振分け部の周囲環境温度の変化に起因して変化する収縮量又は膨張量である変形量を算出する変形量算出部と、
前記変形量算出部で収縮又は膨張にかかる変形量が算出された場合にこれに対応した3D画像データを生成し前記表示パネル駆動用として前記表示パネル
駆動部へ出力する主演算制御部と、
を含む構成としたことを特徴とする立体表示装置。
複数の単位画素を有する表示パネル部と当該表示パネル部から送出される視認用の画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部とを備えた立体表示パネルと、この立体表示パネルの前記表示パネル部を3D画像データに基づいて駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に予め特定された深度情報を含む3次元データに基づいて前記表示パネル駆動用の3D画像データを生成する主演算制御部を備えた立体画像生成手段とを有する立体表示装置にあって、
前記画像振分け部の温度を前記立体画像生成手段に予め装備した温度センサによって検出すると共に,当該検出された画像振分け部の温度と予め設定された基準温度との温度差ΔTを前記主演算制御部に予め併設された変形量算出部が算出し、
この算出した温度差ΔTと予め別に設定された基準値ΔTthとを、前記主演算制御部に予め併設された温度差判定部がその絶対値で比較すると共に、|ΔT|>|ΔTth|の場合には、深度情報としてのz軸情報を含む前記3次元データからスクリーン面であるxy平面上にあってx軸上にて特定されるオブジェクトの視差量についてその補正が必要と判定し、
この補正可否の判定よって|ΔT|≦|ΔTth|で補正不要と判定された場合には、前記3次元データをそのまま前記主演算制御部がレンダリング処理し、
このレンダリング処理された視差画像に基づいて前記表示パネル駆動用の3D画像データを前記主演算制御部が生成することを特徴とした立体表示用画像データ生成方法。
複数の画素を有する表示パネル部と当該表示パネル部から送出される視認用の画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部とを備えた立体表示パネルと、この立体表示パネルの前記表示パネル部を駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に予め特定された深度情報を含むデプスマップに基づいて前記表示パネル駆動用の3D画像データを生成する主演算制御部を備えた立体画像生成手段とを有する立体表示装置にあって、
前記3D画像データの生成に際しては予め前記立体表示パネル部分の温度を温度センサにより測定すると共に当該測定値に基づいて予め設定された基準温度との温度差ΔTを前記主演算制御部に予め併設された変形量算出部が算出し、
次に、予め3次元データをレンダリング処理して得た前記デプスマップを3D画像データとしてデータ記憶部に記憶し、
前記算出された温度差ΔTと予め設定された基準値ΔTthとを,予め装備された温度差判定部がその絶対値で比較すると共に,補正可否の判定に際しては|ΔT|≧|ΔTth|の場合には前記3D画像データの視差量に相当するデプス階調についての補正が必要と判定し、
前記補正可否の判定工程で前記温度差ΔTが|ΔT|<|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合に作動し、前記データ記憶部に格納された前記デプスマップを、2次元の3D画像データとして出力するように構成したことを特徴とする立体表示用画像データ生成方法。
複数の単位画素を有する表示パネル部と当該表示パネル部から送出される視認用の画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部とを備えた立体表示パネルと、この立体表示パネルの前記表示パネル部を3D画像データに基づいて駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に予めレンダリング処理もしくは立体カメラで撮影された右眼用および左眼用の一対の視差画像に基づいて前記表示パネル駆動用の3D画像データを生成する主演算制御部を備えた立体画像生成手段とを有する立体表示装置にあって、
予めレンダリング処理された右眼用および左眼用の視差画像データAが入力された場合に、前記主演算制御部がこれを予め装備されたデータ記憶部に3D画像データ生成用として蓄積し、
次に、前記視差画像データAの収集時に温度センサにより測定された前記画像振分け部の温度に基づいて予め設定された基準温度との温度差|ΔT|を前記主演算制御部に併設された変形量算出部が算出し、
この温度差の算出工程で算出された温度差|ΔT|が予め設定した基準値|ΔTth|の以下か否かを個別に演算すると共に,表示面であるxy平面上にあってx軸上で特定される各オブジェクトの視差量に対してその補正を必要とする温度環境であるか否かを前記主演算制御部に併設された温度差判定部が判定し、
この温度差判定部の判定によって前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合、前記主演算制御部が、前記データ記憶部に格納された一対の視差画像データAに基づいてその視差量に対応した深度情報を備えた2次元の3D画像データを生成し前記表示パネル駆動用として出力する構成としたことを特徴とする立体表示用画像データ生成方法。
複数の単位画素を有する表示パネル部と当該表示パネル部から送出される視認用の画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部とを備えた立体表示パネルと、この立体表示パネルの前記表示パネル部を3D画像データに基づいて駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に深度情報を有する画像データ、もしくは、視差情報を有する画像データに基づいて前記表示パネル駆動用の3D画像データを生成する主演算制御部を備えた立体画像生成手段とを有する立体表示装置にあって、
深度情報を有する画像データ、もしくは、視差情報を有する画像データが入力された場合に、前記主演算制御部がこれを予め装備されたデータ記憶部に3D画像データ生成用として蓄積すると共に、検出温度に対応した視差量補正処理を行うためのLUT信号を蓄積し、
次に、温度センサにより測定された前記画像振分け部の温度に基づいて予め設定された基準温度との温度差|ΔT|を前記主演算制御部に併設された変形量算出部が算出し、
この温度差の算出工程で算出された温度差|ΔT|が予め設定した基準値|ΔTth|の以下か否かを個別に演算すると共に,表示面であるxy平面上にあってx軸上で特定される各オブジェクトの視差量に対してその補正を必要とする温度環境であるか否かを前記主演算制御部に併設された温度差判定部が判定し、
この温度差判定部の判定によって前記温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合、前記主演算制御部が、前記データ記憶部に格納された前記深度情報を有する画像データからの視差量もしくは、視差情報を有する画像データに対して、前記LUT信号に基づいて視差量を補正する視差量調整処理を行い、3D画像データを生成し前記表示パネル駆動用として出力する構成としたことを特徴とする立体表示用画像データ生成方法。
複数の単位画素を有する表示パネル部と当該表示パネル部から送出される視認用の画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部を備えた立体表示パネルと、この立体表示パネルの前記表示パネル部を3D画像データに基づいて駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に予め特定された深度情報を含む3次元データに基づいて前記表示パネル駆動用の3D画像データを生成する立体画像生成手段とを備えた立体表示装置にあって、
前記画像振分け部の温度が当該画像振分け部に予め装備された温度センサから入力された場合に予め別に設定された基準温度との温度差ΔTを算出する温度差算出機能、
この算出した温度差ΔTと予め別に設定された基準値ΔTthとをその絶対値で比較し、|ΔT|>|ΔTth|の場合には、深度情報としてのz軸情報を含む前記3次元データからスクリーン面であるxy平面上にあってx軸上にて特定されるオブジェクトの視差量についてその補正が必要と判定すると共に、|ΔT|≦|ΔTth|の場合には視差量について補正不要と判定する補正可否判定機能、
前記補正可否判定機能にて|ΔT|≦|ΔTth|で補正不要と判定された場合に前記3次元データをレンダリング処理する画像処理機能、
およびこのレンダリング処理された視差画像に基づいて前記表示パネル駆動用の3D画像データを生成する3D画像データ生成機能を設け、
これらの各機能をコンピュータに実現させるようにしたことを特徴とする立体表示用画像データ生成プログラム。
複数の単位画素から構成された電気光学素子と当該電気光学素子から出力される視認用の3D画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部とを備えた立体表示パネルと、この立体表示パネルを駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に別に取り込まれる深度情報を含むデプスマップに基づいて前記表示パネル駆動用の3D画像データを生成する立体画像生成手段とを備えた立体表示装置にあって、
前記3D画像データの生成に際して温度センサにより測定された前記立体表示パネル部分の温度に基づいて予め設定された基準温度との温度差ΔTを算出する温度差算出機能、
予め3次元データをレンダリング処理して得た前記デプスマップを3D画像データとしてメモリに記憶するデプスマップ情報特定機能、
前記算出された温度差ΔTと予め設定された基準値ΔTthとをその絶対値で比較すると共に|ΔT|>|ΔTth|の場合に前記3D画像データの視差量に相当するデプス階調についての補正が必要と判定する補正可否判定機能、
及びこの補正可否判定機能により前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合に稼働し,前記メモリに記憶されている前記デプスマップを,2次元の3D画像データとして出力する3D画像データ生成機能を設け、
これらの各機能をコンピュータに実現させるようにしたことを特徴とする立体表示用画像データ生成プログラム。
複数の単位画素を有する表示パネル部と当該表示パネル部から送出される視認用の画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部とを備えた立体表示パネルと、この立体表示パネルの前記表示パネル部を3D画像データに基づいて駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に予めレンダリング処理もしくは立体カメラで撮影された右眼用および左眼用の一対の視差画像に基づいて前記表示パネル駆動用の3D画像データを生成する主演算制御部を備えた立体画像生成手段とを有する立体表示装置にあって、
予めレンダリング処理された右眼用および左眼用の一対の視差画像データAを3D画像データ生成用として前記立体画像生成手段が入力し予め装備したデータ記憶部に蓄積する対象画像データ設定機能、
前記視差画像データAの収集時に温度センサにより測定された前記画像振分け部部分の温度の測定値に基づいて予め設定された基準温度との温度差ΔTを算出する温度差算出機能、
この温度差算出機能で算出された温度差ΔTの絶対値が予め設定した基準値ΔTthの絶対値以下か否かを個別に演算すると共に,深度情報であるz軸情報を含む前記立体表示パネルのスクリーン面であるxy平面上にあって,x軸上で特定される各オブジェクトの視差量に対してその補正を必要とする温度環境であるか否かを判定する補正可否判定機能、
およびこの補正可否判定機能によって前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合に作動し、前記データ記憶部に格納された一対の視差画像データAに基づいて、その視差量に対応した深度情報を保持する2次元の3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能を設け、
これらの各機能をコンピュータに実現させるようにしたことを特徴とする立体表示用画像データ生成プログラム。
複数の単位画素を有する表示パネル部と当該表示パネル部から送出される視認用の画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部とを備えた立体表示パネルと、この立体表示パネルの前記表示パネル部を3D画像データに基づいて駆動する表示パネル駆動部と、この表示パネル駆動部の動作を制御すると共に深度情報を有する画像データ、もしくは、視差情報を有する画像データに基づいて前記表示パネル駆動用の3D画像データを生成する主演算制御部を備えた立体画像生成手段とを有する立体表示装置にあって、
深度情報を有する画像データ、もしくは、視差情報を有する画像データが入力された場合に、前記主演算制御部がこれを予め装備されたデータ記憶部に蓄積する対象画像データ設定機能、
検出温度に対応した視差量補正処理を行うためのLUT信号を蓄積する視差量調整用LUT信号記憶機能、
温度センサにより測定された前記画像振分け部の温度に基づいて予め設定された基準温度との温度差ΔTを算出する温度差算出機能、
この温度差の算出工程で算出された温度差|ΔT|が予め設定した基準値|ΔTth|の以下か否かを個別に演算すると共に,表示面であるxy平面上にあってx軸上で特定される各オブジェクトの視差量に対してその補正を必要とする温度環境であるか否かを判定する補正可否判定機能、
この補正可否判定機能によって前記温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合、前記データ記憶部に格納された前記深度情報を有する画像データからの視差量もしくは、視差情報を有する画像データに対して、前記LUT信号に基づいて視差量を補正する視差量調整処理を行い、3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能を設け、
これらの各機能をコンピュータに実現させるようにしたことを特徴とする立体表示用画像データ生成プログラム。
【発明を実施するための形態】
【0025】
以下、本発明にかかる第1乃至第5の各実施形態を、
図1乃至
図38基づいて順次説明する。
最初に、これら第1乃至第5の各実施形態の説明に先立って、第1乃至第5の各実施形態に共通に実施されている、立体画像コンテンツ(3Dコンテンツ)の作成方法の具体例を、
図64乃至
図74に基づいて説明し、その後に第1乃至第5の各実施形態を、具体的に説明する。
【0026】
まず、3Dコンテンツ作成方法の一例を、
図64乃至
図65に示す。ここで、
図64は交差法と呼ばれる撮影法であり、左眼用カメラ35aと右眼用カメラ35bの各光軸の交点34を、通常の画面、即ちスクリーン面(画像表示面)40、の再生位置に設定する。
【0027】
そして、このスクリーン面40の水平方向をx軸とし、このx軸と直交する方向をy軸、このx軸とy軸とのより設置されるxy平面と直交する方向をz軸、上記交点34を原点とし、xyz軸の正負の方向は
図64に示す通りとする。スクリーン面40は、この
図64ではカメラ35a,35b側の上方から斜めに写した状態を示す。
この状態において、オブジェクトをz軸が正の方向に配置した飛出しオブジェクト82に対しては
図65(A)のような飛出しイメージ視差画像が、又オブジェクトをz軸が負の方向(奥の方向)に配置した奥行きオブジェクト83に対しては
図65(B)のような奥行きイメージ視差画像が、それぞれ作成される。
【0028】
例えば、オブジェクトを画面中心に配置している場合、
図65(A)の飛出しイメージ視差画像は、左眼用画像ではオブジェクト82は画面中心より視差量Aだけ右側へ、右眼用画像ではオブジェクト82は画面中心より視差量Aだけ左側に位置される。
図65(B)の奥行きイメージ視差画像は、これとは反対に、左眼用画像ではオブジェクト83は画面中心より視差量Aだけ左側へ、右眼用画像ではオブジェクト83は画面中心より視差量Bだけ右側に位置される。ここで、視差量AやBの大きさはカメラ位置やカメラ間隔やオブジェクト位置などで決定される。
【0029】
図66に示すレンズアレイを用いた立体表示装置において、まず最初に、観察者の左右両眼に視差画像を投影する光学モデルの一例を示す。この立体表示装置は、レンチキュラーレンズ1と表示パネル部11Aと図示しないコントローラ部とから構成されている。そして、この
図66の場合、観察者の両眼(左眼7aと右眼7b)は立体表示装置11の表示面より所定の観察距離に位置し、観察者の両眼中心と表示パネルの中心とが一致する位置関係となっている。
【0030】
表示パネル部11Aは、例えば一方と他方の一対の基板2,3に対して光変調素子をマトリックス状に複数配列された画素から構成されており、
図66には、交互に並ぶ左眼用画素4aと右眼用画素4bのうち、パネル両端と中心との各画素を図示している。レンチキュラーレンズ1は各画素から出射された光線を両眼に振り分ける手段として機能しており、パネル両端と中心の左眼用画素4aからの光線により左眼領域5aが、右眼用画素4bからの光線により右眼領域5bが形成される。
そして、観察者は、左眼7aが左眼領域5a内に位置し且つ右眼7bが右眼領域7a内に位置している時に、所定の立体画像を観察することができる。
【0031】
図67は、
図66の観察者の立体画像が認識できる両眼中心点の範囲を示したもので、両眼間隔を示す領域IPDにて規定される範囲を、立体視域8と定義される。
図68は、
図66の光学モデルに対して、
図65で示した飛出し及び奥行き視差画像を表示した場合の模式図を示す。
図68(A)は飛出しイメージ観察時を示しているが、右眼用画像のオブジェクト82の位置は画面中心より左側に、左眼用画像のオブジェクト82の位置は画面中心より右側に配置されているため、オブジェクト映像の表示面から観察面に向かう光線はP方向となる。
【0032】
また、
図68(B)は奥行きイメージ観察時を示しているが、飛出しと同様に右眼用画像のオブジェクト83の位置は画面中心より右側に、左眼用画像のオブジェクト83の位置は画面中心より左側に配置されているため、オブジェクト映像の表示面から観察面に向かう光線はQ方向となる。
【0033】
レンチキュラーレンズ1は、上述したように一般的にはプラスティック材料を用いることが多い。また、表示パネル部11Aは、一般的にガラス材料を用いられている。このような一般的な材料構成の場合、使用環境の温度変化が起こるとプラスティック材料とガラス材料の熱膨張係数差により、
図69(B)に示すレンズピッチLが画素4a、4bに対して変動する。
【0034】
例えば、低温側では
図69(A)に示すようにレンズピッチがL−ΔLとなる収縮が発生し、高温側では
図69(C)に示すようにレンズピッチがL+ΔLとなる膨張が発生する。この線膨張係数差は材料固有の線膨張係数差だけで決定されるものではなく、実際には、表示パネル部11Aとレンチキュラーレンズ1との固定方法にも大きく依存する。
【0035】
ここで、表示パネル部11Aとレンチキュラーレンズ1の両者を固定した状態を実効的線膨張係数差と定義すると、例えば、レンチキュラーレンズ1を全面固定した場合と局所固定した場合では、実効的線膨張係数差は局所固定の方が大きくなる。また全面固定の場合でも、実効的線膨張係数差は固定材料の力学物性値に依存する。
更に、表示パネル部11Aとレンチキュラーレンズ1との間には偏光版(図示せず)を介在させることも可能である。この場合は上記の固定方法に加えて偏光板材料の力学物性値に依存した実効的線膨張係数差となる。
【0036】
このような温度変化が発生した場合について、観察者の左右両眼に視差画像を投影する光学モデルの変化を
図70(A)(B)(C)に示す。
図70(A)はレンズ収縮状態を、
図70(B)は通常状態を、又
図70(C)はレンズ膨張状態における各左眼領域と右眼領域とをそれぞれ示す。ここで、レンズピッチが小さくなるにつれてパネル外端の光線の屈折が大きくなり、観察距離が小さくなる方向に変化することとなり、同時に、左眼領域と右眼領域の大きさも変化する。
【0037】
図71(A)(B)は、
図70(A)のレンズ収縮状態における光学モデルに対して、
図65で示した飛出し及び奥行きの各視差画像を表示した場合の模式図を示す。
図71(A)は飛出しイメージ観察時を示しているが、
図70(A)で上述したオブジェクト映像の表示面から観察面に向かうP方向の光線は、左眼領域5a及び右眼領域5bの範囲内に入射される。
【0038】
また、
図71(B)は奥行きイメージ観察時を示しているが、
図70(a)で上述したオブジェクト映像の表示面から観察面に向かうQ方向の光線は、左眼領域5a及び右眼領域5bの範囲内に入射されない。これは、レンズ収縮状態において観察者が飛出しイメージは認識できるが、奥行きイメージは認識できないことを意味する。
【0039】
図72(A)(B)は、
図70(C)のレンズ膨張状態における光学モデルに対して、
図65で示した飛出し及び奥行き視差画像を表示した場合の模式図を示す。
図72(A)は飛出しイメージ観察時を示しているが、
図70(C)で上述したオブジェクト映像の表示面から観察面に向かうP方向の光線は、左眼領域5a及び右眼領域5bの範囲内に入射されない。
【0040】
また、
図72(B)は奥行きイメージ観察時を示しているが、
図70(C)で上述したオブジェクト映像の表示面から観察面に向かうQ方向の光線は、左眼領域5a及び右眼領域5bの範囲内に入射される。これは、レンズ膨張状態において観察者が奥行きイメージは認識できるが、飛出しイメージは認識できないことを意味する。
【0041】
次に、これらの現象が本当に主観的に起こるか否かを発明者らによって実験を行ったので、その結果を以下説明する。
【0042】
まず、
図73に、立体表示装置の使用環境温度を−20℃から60℃まで変化させた時の立体視域の評価結果を示す。表示パネル部11Aとレンチキュラーレンズ1の実効的線膨張係数差は30〔ppm〕である。
【0043】
ここで、
図64で定義したX軸方向に対して視差画像の画面全体に対する大きさの割合を立体領域(3D領域)とし、この3D領域を画面中心から10%、40%、85%とした時の視差画像を用意して評価を行った。つまり、3D領域10%は画面中心部に視差領域があることを意味し、3D領域85%は画面ほぼ全体に視差領域があることを意味している。
図73(A)は飛出しイメージを観察した時の立体視域を、
図73(B)は奥行きイメージを観察した時の立体視域である。また、立体視域は被験者三名の平均値を用いている。
【0044】
この結果によると、飛出しイメージを観察した時の立体視域は高温側で大きく減少し、奥行きイメージを観察した時の立体視域は低温側で大きく減少する。これは、上記した
図71及び
図72での説明と何ら矛盾していない結果となっている。
また、3D領域が小さくなるほど温度変化に対する立体視域変動が小さくなっていることも確認される。これは3D領域が小さくなるほど、視差画像は画面中心近くに存在するためレンズピッチ変動の影響を受けなくなっていることを意味している。
【0045】
更に、
図74は、温度25〔℃〕での視差量に対する立体視域の変動について示す。ここで、視差量の正負の方向は、正の向きは飛出し視差量Aと、負の向きは奥行き視差量Bとしている。
基本的に飛出しと奥行きとで同じ視差量の場合は、立体視域はほぼ同等である。このように温度変動によるレンズピッチ変動が無い場合は、視差方向に対する立体視域の差は極めて小さい。
図73のような飛出し及び奥行きの視差方向に対する視認範囲の変化は、使用環境温度変化時の固有の現象であることが分かる。
【0046】
一方、3Dクロストークの概念を用いて、温度変化に対する立体視域の変動について説明することもできる。ここで、3Dクロストークとは、ある1つの視点映像に対する他の視点映像の混入や漏れのことである。3Dクロストークを決定する因子としては表示パネルの画素構成や画像振分部の性能(レンズの場合は結像性能、バリアの場合はスリット開口率など)などで決まる。
【0047】
図70〜91では、理想的な光学モデルに基づき視差画像を表示した場合の状態を示しているが、表示パネルの画素構成として
図76に示すような画素混在領域Mがある場合は、
図77に示すように、左右視野域の境界に左右画素から発する光が混在し、その結果3Dクロストークが所定値以下の領域WCT1と所定値以上の領域WCT2が生じる。ここで、所定値というのは主観的に得られる立体視域から決定される値であり、3Dクロストーク領域WCT1と主観的な立体視域は概ね一致する。なお、3Dクロストークの定量的な数値については測定方式や評価装置に依存するため、該所定値についてもこれに応じて変動するが、概ね10%以内である。
【0048】
図77(a)は、3Dクロストーク領域WCT2の影響を考慮した場合の立体視の光学モデルにおいて、逆視フリー領域を説明する図である。
図77(b)は、
図77(a)と同じの光学モデルにおいて、立体視野域を説明する図である。
図77(a)にて、L0、L5、L6は、隣接となる左画素と右画素から発する光の輝度が同じ値、すなわち3Dクロストークが100%となる位置を表している。
【0049】
以下に、L0を中心とした領域内で左右画素から発する光の輝度分布状況を説明する。L0より左方向へ離れるにつれて、右画素から発する光の輝度が低くなるが、左画素から発する光の輝度が高くなる。L0より右方向へ離れるにつれて、左画素から発する光の輝度が低くなるが、右画素から発する光の輝度が高くなる。
図77(b)に示すL1は、左画素から発する光の輝度が所定値以下、つまり3Dクロストーク領域WCT1とWCT2の境界位置を表している。L2は、右画素から発する光の輝度が所定値以下、つまり3Dクロストーク領域WCT1とWCT2の境界位置を表している。
【0050】
ここまでの説明を検証するために、表示パネルの左右画素から発する光線の視野角度に対する輝度分布の実測値から3Dクロストークを算出したものを
図78に示す。ここで、曲線Rは右眼用映像に対する左眼用映像の混入割合を、曲線Lは左眼用映像に対する右眼用映像の混入割合である。曲線Rの3Dクロストーク所定値Q以下となる位置が
図77(b)のL1に相当する。同様に、曲線Lの3Dクロストーク所定値Q以下となる位置が
図77(b)のL1に相当する。また、3Dクロストークが100%と等しい位置が
図77(a)のL0、L5、L6に相当する。
図78において、L2からL4までの3Dクロストーク領域WCT1を左眼用視野域と定義し、L1からL3までの3Dクロストーク領域WCT1を右眼用視野域と定義する。また、L1からL2までの3Dクロストーク領域WCT2をクロストーク増大領域と呼ぶ。
【0051】
両眼がパネル中心から右方向(−X方向)へ移動する場合、左眼がL2に着いた時点で右眼用映像を見え始め、二重像が出始める。引続き右方向(−X方向)へ移動すると、左眼に入る右眼用映像の輝度が更に増加し、左眼をL0位置となると左眼に入る右眼用映像と左眼用映像の輝度がほぼ等しくなり、3D映像として破綻し始める。さらに左眼が右方向(−X方向)へ移動すると、左眼に入る左眼用映像よりも右眼用映像の方が高い輝度となり逆視領域に進入し始める。
【0052】
本実施形態では、
図77(a)に示すように、左眼がL0位置に移動した時の両眼中心位置Cl1から右眼がL0に移動した時の両眼中心位置Crlまでの距離を逆視フリー領域と定義する。両眼中心がCl1とCr1の間にある逆視フリー領域では、少なくとも1つの眼には二重像が入るものの、3D映像としては破綻せず立体視可能である。また、
図77(b)に示すように、左眼がL2に移動した時の両眼中心Cl2から右眼がL1に移動した時の両眼中心Cr2までの距離を立体視野域と定義する。両眼中心がCl2とCr2の間にある立体視野域では、二重像の出ない好適な立体視が実現できる。両眼間隔を示す領域IPDが一定であるため、このクロストーク領域が大きければ大きいほど、立体視野域が小さくなる。
【0053】
図77と
図78は、最も簡単な立体視光学モデルを用いて、視野域に関るパラメータを説明したが、以下に、常温、低温、高温それぞれの条件の下で、飛出し視差画像を表示した場合と奥行き視差画像を表示した場合の光学モデルを用いて、視野域に関る各パラメータの変化状況を説明する。
【0054】
図79は、常温において、3Dオブジェクトを画面中心に配置した時の3Dクロストーク影響を考慮した飛出しと奥行きの視差画像を表示した場合の模式図を示す。ここで、左画素と右画素が繰り返し配列される方向をX方向とし、左画素と右画素が配置された面からレンズに向かう方向をY方向とする。符号の向きは
図79に示すとおりである。
図79(a)に示すように、飛出しイメージを観察時に、右眼用画像のオブジェクトの位置(以下に右眼用注目画素と表記)は画面中心より+X側に、左眼用画像のオブジェクトの位置(以下に左眼用注目画素と表記)は画面中心より−X側に配置されている。また、
図79(b)に示すように、奥行きイメージを観察時に、右眼用画像のオブジェクトの位置(右眼用注目画素)は画面中心より−X側に、左眼用画像のオブジェクトの位置(左眼用注目画素)は画面中心より+X側に配置されている。
【0055】
図79に示すように、飛出しオブジェクトと奥行きオブジェクトの視差量と表示画面における位置が同じであれば、左眼用注目画素の+X側から発する光線Lrと右眼用注目画素の−X側から発する光線Rlの交点L0は、飛出しイメージを表示した模式図と奥行きイメージを表示した模式図においてX方向、Y方向共に同じ位置である。
【0056】
更に、飛出しイメージを表示する右眼用注目画素の−X側から発する光線Rlと奥行きイメージを表示する左眼用注目画素の+X側から発する光線Lrの出射方向が一致し、また、奥行きイメージを表示する右眼用注目画素の−X側から発する光線Rlと飛出しイメージを表示する左眼用注目画素の+X側から発する光線Lrの出射方向が一致する。従って常温においては、Lrを中心とするクロストーク増大領域L_crstとRlを中心とするクロストーク増大領域R_crstが等しい。
【0057】
常温において、パネル表面から交点L0までの+Y側の距離を最適観察距離と設定し、
図79(a)に示す飛出しの場合の最適観察距離におけるクロストーク増大領域幅をd1、
図79(b)に示す奥行きの場合の最適観察距離におけるクロストーク増大領域幅をd2とすると、d1とd2は同じ幅である。また、
図79においても
図77で説明したのと同様に、3Dクロストークが100%となる位置をL0、右眼用映像において左眼用注目画素からの左眼用映像の混入割合が所定値以上となる位置をL1、左眼用映像において右眼用注目画素からの右眼用映像の混入割合が所定値以上となる位置をL2と表記する。
【0058】
図80は、常温において、飛出しと奥行きイメージを表示した場合立体視野域の説明図である。
図80に示すように、左眼が画面中心から−X側のL2に移動した時の両眼中心位置Cr2から、右眼が画面中心から+X側のL1に移動した時の両眼中心の位置Cl2までの距離は、最適観察距離における立体視野域幅となる。
図79から、常温時に飛出しと奥行きイメージを表示する場合のクロストーク増大領域幅は、同じであるため、飛出しと奥行きイメージを表示する場合の立体視野域幅は等しい。また、
図81に示すように、左眼が画面中心から−X側のL0に移動した時の両眼中心の位置Cr1から、右眼が画面中心から+X側のL1に移動した時の両眼中心の位置cl1までの距離は、最適観察距離における逆視フリー領域幅となる。両眼間隔IPDが一定値であるため、飛出しと奥行きイメージを表示する場合の逆視フリー領域は等しい。
【0059】
次に、高温側で飛出しと奥行きイメージを表示する場合に視野域に関わる各パラメータの変化状況について
図81及至
図9を用いて説明する。
図70(b)に記載したように、温度の上昇につれてレンズピッチが大きくなり、パネル外端の光線の屈折が小さくなる傾向がある。高温側でクロストーク影響を考慮しない場合の飛出しと奥行き視差画像を表示した模式図を
図82に示す。
【0060】
図82(a)において、右眼用視野域a1は最適観察距離において飛出しオブジェクトを表す右眼用注目画素のみが見える範囲を、左眼用視野域b1は最適観察距離で飛出しオブジェクトを表す左眼用注目画素のみが見える範囲を示す。同様に、
図82(b)において、右眼用視野域a2は最適観察距離で奥行きオブジェクトを表す右眼用注目画素のみが見える範囲を、
図82の左眼用視野域b2は、最適観察距離で奥行きオブジェクトを表す左眼用注目画素のみが見える範囲を示す。
【0061】
図82(a)に示すように、飛出しイメージを表示した場合は、最適観察距離において、右眼用視野域a1と左眼用視野域b1の間に左眼用注目画素と右眼用注目画素から発する光が混在する領域c1が生じる。ここで、c1を光線混在幅と呼ぶ。奥行きイメージを表示した場合は、最適観察距離において、右眼用視野域a2と左眼用視野域b2の間に左眼用注目画素と右眼用注目画素から発する光が両方とも通らない領域c2が生じる。ここで、c2を光線不在幅と呼ぶ。
【0062】
上述したように飛出し、奥行きに関らず注目左画素の+X側から出射する光線Lrの注目右画素の−X側から出射する光線Rlがパネル中心に対称となるため、光線混在幅c1と光線不在幅c2は同じである。
【0063】
しかし、
図76に示すような3Dパネルで奥行きイメージを観察するときに、オブジェクトを表す注目画素が見えない位置は存在しない。従って、上述したような注目画素のクロストーク領域による視野域への影響を考慮する必要がある。
図79と同様な左右画素混在領域による生じるクロストーク領域を考慮した場合の光モデルを
図83に示す。飛出しイメージを表示する場合、光線LrとRlを中心とするクロストーク増大領域L_crst,R_crstの影響で、本来の光線混在幅c1に加えて、
図80(a)で示したのと同様な右眼用視野域a1の中に左眼用注目画素から発する光も混入しており、また左眼用視野域b1の中に右眼用注目画素から発する光も混入している。そのため、
図83(a)に示すように、実際のクロストーク増大領域幅d1は、理想光学モデルの場合の光線混在幅c1より大きくなる。
【0064】
奥行きイメージを表示する場合、前記光線不在幅の+X側が左眼用注目画素の光に埋められ、−X側が右眼用注目画素の光に埋められる。従って、
図83(b)に示すように、最適観察距離において、左眼用注目画素からの光と右眼用注目画素からの光が混在するクロストーク増大領域d2が生じる。この奥行きイメージにおけるクロストーク増大領域d2は、飛出しイメージにおけるクロストーク増大領域d1より小さい。
【0065】
図84は、高温において、飛出しイメージと奥行くイメージを観察する時の立体視野域を示す図である。
図85は、高温において、飛出しイメージと奥行くイメージを観察する時の逆視フリー領域を示す図である。
図84と
図85において、左眼用注目画素から発する光の輝度と右眼用注目画素から発する光の輝度が同じ値、すなわち3Dクロストークが100%となる位置をL0、右眼用映像において左眼用注目画素からの左眼用映像の混入割合が所定値以上となる位置をL1、左眼用映像において右眼用注目画素からの右眼用映像の混入割合が所定値以上となる位置をL2と表記する。上述したように、左眼が画面中心から−X側のL2に移動した時の両眼中心の位置Cr2から、右眼が画面中心から+X側のL1に移動した時両眼中心の位置Cl2の間隔は、最適観察距離における立体視野域幅である。
図84から、高温側で飛出しイメージを表示する場合のクロストーク増大領域幅は、奥行きイメージのそれより大きいため、飛出しイメージを表示する場合の立体視野域は、奥行きイメージより小さい。
【0066】
一方、
図77(b)の説明と同様、
図85(a)は飛出しイメージを観察する時の逆視フリー領域を示し、
図85(b)は奥行きイメージを観察する時の逆視フリー領域を示している。
図85の(a)と(b)を比較すると、飛出しと奥行きイメージを観察する時の逆視フリー領域が等しいことが分かる。
【0067】
以上の説明を検証するために、発明者らによって評価実験を行ったので、その結果を
図86〜
図87に説明する。ここで、
図88で定義したX軸方向に対して視差画像の画面全体に対する大きさの割合を立体領域とし、この3D領域を画面中心から10%とした時の視差画像を用意して評価を行った。
図86に、立体表示装置の使用環境温度を25℃から60℃まで変化させた時の立体視域の評価結果を示す。
図87に、立体表示装置の使用環境温度を25℃から60℃まで変化させた時の立体視域の評価結果を示す。
図86の結果によると、飛出しイメージを観察した時の立体視野域は高温側で大きく減少し、奥行きイメージを観察した時の立体視野域はほとんど変わらない。また、
図87の結果によると、温度の上昇に関らず、飛出しイメージと飛出しイメージを観察した時の逆視フリー領域は、ほぼ同じである。
【0068】
以上、高温における飛出しと奥行きイメージを表示した場合の立体視野域と逆視フリー領域の変化を説明したが、低温においても同様な説明を行うことができる。
図70(a)に示したように、温度の下降につれてレンズピッチが小さくなり、パネル外端の光線の屈折が大きくなる傾向がある。
図87は、低温時クロストーク影響を考慮しない飛出しと奥行きイメージを表示した場合の視野域を示す図である。
【0069】
図88に示すように、飛出しイメージを表示した場合は、最適観察距離において、右眼用視野域a3と左眼用視野域b3の間に、左眼用注目画素と右眼用注目画素から発する光が両方とも通らない領域c3が生じる。ここで、c3を光線不在幅と呼ぶ。奥行きイメージを表示した場合は、最適観察距離において、右眼用視野域a4と左眼用視野域b4の間に、左眼用注目画素と右眼用注目画素から発する光が混在する領域c4が生じる。ここで、c4を光線混在幅と呼ぶ。
【0070】
上述したように飛出し、奥行きに関らず注目左画素の+X側から出射する光線Lrの注目右画素の−X側から出射する光線Rlがパネル中心に対称となるため、光線混在幅c4と光線不在幅c3は同じである。
【0071】
実際に左右画素混在領域による生じるクロストーク領域を考慮した場合の光モデルを
図14に示す。奥行きイメージを表示する場合、光線LrとRlを中心とするクロストーク増大領域L_crst、R_crstの影響で、
図88に示す光線混在幅c4に加えて、
図13に示す右眼用視野域a4の中に左眼用注目画素から発する光も混入しており、また左眼用視野域b4の中に右眼用注目画素から発する光も混入している。そのため、
図89(b)に示すように、実際のクロストーク増大領域d4は、理想光学モデルの場合の光線混在幅c4より大きくなる。
【0072】
飛出しイメージを表示する場合、前記光線不在幅の+X側が左眼用注目画素の光に埋められ、−X側が右眼用注目画素の光に埋められる。従って、
図89(a)に示すように、最適観察距離において、左眼用注目画素からの光と右眼用注目画素からの光を混在するクロストーク増大領域d3が生じる。この飛出しイメージにおけるクロストーク増大領域d3は、奥行きイメージにおけるクロストーク増大領域d4より小さい。
【0073】
図90は、低温において、飛出しと奥行きイメージを表示した場合の立体視野域を示す図である。
図91は、低温において、飛出しと奥行きイメージを表示した場合の逆視フリー領域を示す図である。
図90と
図91において、左眼用注目画素から発する光の輝度と右眼用注目画素から発する光の輝度が同じの値、すなわち3Dクロストークが100%となる位置をL0、右眼用映像において左眼用注目画素からの左眼用映像の混入割合が所定値以上となる位置をL1、左眼用映像において右眼用注目画素からの右眼用映像の混入割合が所定値以上となる位置をL2と表記する。上述したように、左眼が画面中心から−X側のL2に移動した時の両眼中心の位置Cr2から、右眼が画面中心から+X側のL1に移動した時両眼中心の位置Cl2の間隔は、最適観察距離における立体視野域幅である。
図90から、低温側で奥行きイメージを表示する場合のクロストーク増大領域幅は、飛出しイメージのそれより大きいため、奥行きイメージを表示する場合の立体視野域は、飛出しイメージより小さい。
【0074】
高温の場合と同様に、左眼がL0にある時の両眼中心Cl1から右眼がL0にある時の両眼中心Cr1までの距離を逆視フリー領域とする。
図16(a)は、飛出しイメージを観察する時の逆視フリー領域を示している。
図91(b)は、奥行きイメージを観察する時の逆視フリー領域を示している。
図91の(a)と(b)を比較すると、飛出しと奥行きイメージを観察する時の逆視フリー領域が等しいと分かる。
【0075】
従って、温度が変化すると立体視野域は飛出しと奥行きイメージで変化するが、逆視フリー領域は飛出しと奥行きイメージで変化しない。
【0076】
次に、本発明にかかる第1乃至第5の各実施形態について、添付図面を参照しながら順次説明する。
【0077】
〔第1の実施形態〕
以下、本発明の第1実施形態を
図1乃至
図15に基づいて説明する。
本第1実施形態については最初に内容全体について説明し、その後に本第1実施形態の変形例を説明する。
図1は、本発明の立体表示装置の一例を示す断面図である。この
図1の断面図には、当該断面内における画像の立体表示の状態を模式的に示す説明図が付加されている。又、
図2(A),
図2(B)は、
図1の立体表示の内容を実現させるための具体的な構成例を示すブロック図、
図2(C)は後述する変形例の主要部(主演算制御部)を示すブロック図である。
【0078】
(基本的な構成)
この
図1乃至
図2において、立体表示装置10は、三次元画像を外部に向けて表示する立体表示パネル11と、この立体表示パネル11の表示動作を駆動制御する表示コントローラ部12とを備えている。表示コントローラ部12は、前記立体表示パネル11を直接駆動する表示パネル駆動部23と、この表示パネル駆動部23の動作を制御すると共に予め設定されたz軸方向の深度情報を含むxyzの三軸で特定される3次元データに基づいて前記表示パネルを駆動するための3D画像データを生成する立体画像生成手段22とを備えている。
【0079】
立体表示パネル11は、
図1に示すように基板2,3と、この基板2,3の相互間に層状に配置された複数の単位画素4a,4bとから成る表示パネル部11Aと、当該立体表示パネル11から出力される視認用の立体画像データを視認用の立体画像情報として外部に振り分け出力する画像振分け部としてのレンチキュラーレンズ1とにより構成され、図示の如く配置されている。この内、レンチキュラーレンズ1は、本第1実施形態では全体的にシート状に形成されたレンズアレイ状のものが使用されている。
【0080】
立体表示装置10は、更に、前記レンチキュラーレンズ(画像振分け部)1の温度を検出する温度センサ21を備えると共に、前記立体表示パネル11の固有の立体視域に関するパラメータ情報である前記レンチキュラーレンズ1と前記表示パネル部11Aとの実効的線膨張係数差,前記表示パネル部11Aの大きさ,前記単位画素の解像度,及び基準温度Tth,3Dクロストーク特性などから規定される立体視域を記憶したデータ記憶部25を備えている。
【0081】
又、立体画像生成手段22は、前記温度センサ21から検出された温度情報Tと前記基準温度Tthとの温度差ΔTを算出すると共に当該温度差ΔTに基づいて前記レンチキュラーレンズ(画像振分け部)1の周囲環境温度の変化に起因して変化する収縮量又は膨張量である変形量を算出する変形量算出部28と、前記3次元データが入力された場合にこれを表示対象であるオブジェクトの情報として前記データ記憶部25に蓄積処理すると共に,前記変形量算出部28で収縮又は膨張にかかる変形量が算出された場合にこれに対応した前記表示パネル駆動用の3D画像データを生成する主演算制御部31とを備えて構成されている。
【0082】
ここで、符号24は、主演算制御部31に対する外部からの指令および必要なデータ等を入力するための入力部を示す。
これにより、前述したレンチキュラーレンズ1と表示パネル部11Aとの周囲環境に温度変化があった場合には、この温度変化に対しても有効に対応して3D画像データの生成を可能とする構成となっている。
【0083】
立体画像生成手段22は、更に、前記データ記憶部25に蓄積される3次元データをレンダリング処理する条件となる一対のカメラについてその設定位置のパラメータを特定する複数のカメラ設定情報を予め記憶したカメラ設定情報指令部22Aと、前記検出温度の前記基準温度Tthに対する温度差ΔTの絶対値が予め設定した基準値ΔTthの絶対値以下か否かを演算すると共に,深度情報であるz軸情報を含む前記三次元画像の表示面(スクリーン面)であるxy平面上にあってx軸上で特定される視差量に対して,その補正を必要とする温度環境であるか否かを判定する温度差判定部30とを備えている。ここで、カメラ設定情報記憶部22Aには、例えば
図7(A)(B)(C)に示す第1ないし第3の各カメラ設定A、B、Cに係る設定パラメータが、又、これに準ずる第4ないし第5の各カメラ設定D,Eに係る設定パラメータが、それぞれ記憶されている。
これにより、前述した周囲環境の温度変化があった場合にこれに対応して前述した視差量の補正の必要性有無を直ちに判断することができるようになっている。
【0084】
この場合、主演算制御部31は、前述した温度差判定部30によって前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合に作動し、前述した深度情報(奥行き情報)を含む3次元データに対して第1のカメラ設定Aの条件でレンダリング処理を行うと共に、前記3次元データとカメラ設定Aで決定される視差量を保持した二次元の視差画像に基づき3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能31Gを備えている(
図2(B)参照)。
【0085】
また、前述した主演算制御部31には、前記温度差判定部30によって前記温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合に作動し、前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か,或いは膨張状態を示すΔT>0の状態か,を判定する補正環境判定部29が併設されている(
図2(A)参照)。
【0086】
更に、この主演算制御部31は、
図2(B)に示すように、補正環境判定部29によって前述した温度差ΔTがΔT<0の状態(レンチキュラーレンズ1が収縮状態)の場合に稼働する収縮時補正制御部31Aと、補正環境判定部29によって前述した温度差ΔTがΔT>0の状態(レンチキュラーレンズ1が膨張状態)の場合に稼働する膨張時補正制御部31Bとを備えている。
【0087】
収縮時補正制御部31Aは、前記補正環境判定部29によって、前記レンチキュラーレンズ1が収縮した状態にある(ΔT<0)と判定された場合に作動して前記オブジェクトの深度が飛出し側のz≧0に位置するか否かを判定すると共に、z≧0に位置する場合にz≧0の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理を行う飛出側画像データ処理機能31aを備えている。
【0088】
又、この収縮時補正制御部31Aは、同じく、前記レンチキュラーレンズ1が収縮した状態にある(ΔT<0)と判定された場合に作動して前記オブジェクトの深度が飛出し側のz≧0に位置するか否かを判定すると共に、非飛出側のz<0に位置すると判定された場合にz<0の3次元データに対して前記第1のカメラ設定Aにおける各カメラの光軸と前記z軸との成す夾角よりも小さい夾角を有する第2のカメラ設定B(
図7参照)の条件でレンダリング処理する非飛出側画像データ処理機能31bを備えている。
【0089】
そして、この収縮時補正制御部31Aは、前記飛出側画像データ処理機能31aおよび前記非飛出側画像データ処理機能31bにてそれぞれレンダリング処理された画像データを合成処理する画像データ合成機能31cと、この合成された画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能31d(収縮状態)とを備えている。
これにより、レンチキュラーレンズ1が収縮した状態にある場合にも、後述するように、飛出側(z≧0)および非飛出側(z<0)に位置するオブジェクトに対して、3D画像データを有効に生成することが可能となっている。
【0090】
一方、前述した主演算制御部31の膨張時補正制御部31Bは、前記補正環境判定部29によって、前述した温度差ΔTがΔT>0で前記レンチキュラーレンズ1が膨張した状態にあると判定された場合に作動し、前記オブジェクトが非飛出し側のz<0に位置するか否かを判定すると共に、z<0に位置すると判定された場合にz<0の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理を行う非飛出側画像データ処理機能31eを備えている。
【0091】
又、この膨張時補正制御部31Bは、同じく、前記レンチキュラーレンズ1が膨張した状態(ΔT>0)と判定された場合に作動して前記オブジェクトの深度が非飛出側のz<0に位置するか否かを判定すると共に、z≧0に位置すると判定された場合にz≧0の3次元データに対して前記第1のカメラ設定Aにおけるカメラ相互間の前記夾角よりも大きい夾角を有する第3のカメラ設定C(
図7参照)の条件でレンダリング処理する飛出側画像データ処理機能31fを備えている。
【0092】
更に、この膨張時補正制御部31Bは、上記非飛出側画像データ処理機能31eおよび飛出側画像データ処理機能31fでそれぞれレンダリング処理された画像データを合成処理する画像データ合成機能31gと、この合成処理された画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能31h(膨張状態)と、を備えている。
これにより、レンチキュラーレンズ1が膨張した状態にある場合にも、後述するように、飛出側および非飛出側に位置するオブジェクトに対しても、3D画像データを有効に生成することが可能となっている。
【0093】
また、前述した主演算制御部31には、当該主演算制御部31に送り込まれる前記オブジェクトにかかる3次元データに対して2次元画像情報をオブジェクト画像として、その奥行き情報(深度位置)とをデプス画像として展開するデプス画像展開処理部22Bが併設されている。そして、このデプス画像展開処理部22Bが、前記3次元データに対して画素単位で前記奥行き情報(深度位置)に対応した階調値を設定すると共に、この設定される階調値の値を前記x軸上で特定される2次元画像情報の視差量に対応して特定する階調値特定機能を備えている。
ここで、デプス画像は、基本的には画素単位で奥行き情報に基づいた階調値を有するように特定処理される。
【0094】
以下、これを更に具体的に説明する。
(具体的な構成)
図1において、立体表示装置10は、上述したように立体表示パネル11と表示コントローラ12とを含んで構成されている。立体表示パネル11は、レンチキュラーレンズ(画像振分け部)1と、このレンチキュラーレンズ1を保持すると共に層状に設置された複数の単位画素4a,4bを有する一方の基板(対向基板)2及び、この基板2の前記複数の単位画素のスイッチング動作を行う他方の基板(主基板)3とから成る表示パネル部11Aとにより構成されている。ここで、レンチキュラーレンズ1と前記表示パネル部11Aとの間には、偏光板(図示せず)を介在させてもよい。
【0095】
この内、表示パネル部11Aは、全体的には複数の単位画素がマトリックス状に形成された液晶パネルであり、立体表示を行うときは、観察者の両眼7a,7bが並ぶ方向と平行となる水平方向に並ぶ単位画素を、交互に左眼用画素4a,右眼用画素4bとして使用する。
図1では、パネル両端部と中心部に位置する各画素をハッチングで例示的に示した。
【0096】
ここで、後述する各実施形態では、本第1実施形態の場合と同様に、画像振分け部としてレンチキュラーレンズ1を使用した場合について説明するが、画像振分け部はこのレンチキュラーレンズ1に限定されるものではなく、例えば、所定のパターンが形成されたプリズムシートや、反射シートや、拡散シート、バリアシートなどを含む光学素子が広く適用できる。また、レンズシートやバリアシートについては、液晶などを用いて屈折率制御や遮光制御を備えた電気光学素子も適用することができる。
【0097】
又、各実施形態では、表示パネル部11Aとして液晶パネルを組み込んだ場合の例として説明するが、本発明はこれに限定されるものではなく、有機ELパネル,無機ELパネル,PDP,FED,CRTなどを含む光変調素子である表示デバイスが広く適用できる。また、視点数についても2視点を例に説明するが、これに限定されるものではなく任意のN視点での適用も可能である。
【0098】
ところで、本第1実施形態において、レンチキュラーレンズ1は、
図1に示すように複数のシリンドリカルレンズ9から構成され、右眼用画素4aと左眼用画素4bの一対画素に対して1つのシリンドリカルレンズが対応するように構成されている。
【0099】
このレンチキュラーレンズ1は、更に、各画素から出射された光線を観察者の両眼に振り分ける振分け手段として機能しており、立体表示パネル11のパネル両端と中心の左眼用画素4aからの光線により左眼領域5aが、又右眼用画素4bからの光線により右眼領域5bがそれぞれ形成される。
そして、観察者は、左眼7aが左眼領域5a内に位置し且つ右眼7bが右眼領域7b内に位置している時に、所定の立体画像を観察することができるようになっている。
【0100】
表示コントローラ部12は、前述したように、立体表示パネル11の表示パネル部11Aを駆動する機能、および温度センサ21によって検出される使用環境温度に応じた立体視差画像を生成する機能を備えている。
即ち、この表示コントローラ部12は、具体的には、
図2(A)に示すように温度センサ21で検出される環境温度に対応して前記立体表示パネル駆動用の立体画像データである3D画像データを出力する立体画像生成手段(画像生成手段)22と、この立体画像生成手段22から出力される3D画像データに基づいて前記立体表示パネル11を駆動する表示パネル駆動部23とを備えている。
【0101】
ここで、温度センサ21は、装置温度(特にレンチキュラーレンズ1周囲の環境温度)を検出するためのセンサである。この温度センサ21としては、例えば、白金測温抵抗体、サーミスタ、熱電対などの接触式センサや赤外線センサなどの非接触式センサを用いることができる。装置温度は、使用環境温度と装置内の電気光学素子などからのジュール熱の大きさに依存する。
【0102】
立体画像生成手段22に併設された前記データ記憶部25には、前述したように、温度センサ21から得られる温度情報と、立体表示パネル固有の実効的線膨張係数差,パネルサイズ,パネル解像度,基準温度Tth,3Dクロストーク特性などから規定される立体視域に関するパラメータ情報等が保持されている。
【0103】
この立体画像生成手段22は、前述したように表示パネル駆動用の画像データを生成する機能を備え、前述したように、主演算制御部31と、当該主演算制御部31の動作および演算機能を規制する各種指令情報を予め記憶したメモリ(指令情報記憶部26)と、データ蓄積部としての前述したデータ記憶部25と、前記温度センサ21からの温度情報に基づいてレンチキュラーレンズ1の変形(収縮又は膨張)の状態およびその変形量を算出する変形量算出部28とを含んで構成されている。
【0104】
又、この立体画像生成手段22は、温度センサ21からの信号と上記パラメータ情報に基づいて、視差及びデプス(奥行き)を有する3D画像データの生成、視差の無い画像データ(2D画像データ)の生成、3D画像データと2D画像データの合成、デプスデータの階調変換、および視差データのオフセット処理などの諸機能を備えている。そして、この立体画像生成手段22にあって、その主たる機能は、後述するように主演算制御部31が実行するように構成されている。
【0105】
この立体画像生成手段22による画像データの生成は、データ記憶部(データ蓄積部)25の表示対象データを前述した主演算制御部31で読み出して画像処理を施して行うが、表示対象データが深度情報を含む3次元データであり、これを主演算制御部31でレンダリング処理を施すことによって視差画像からなる2次元画像データを生成する。
この場合、立体表示に用いる3Dデータ、即ち視差を有する左右両眼用の2次元画像データは、観察者の左右両眼に相当する仮想の2視点を設定し、各々レンダリング処理により生成する。
図3(A)及び
図3(B)は、生成された後の画像データの一例である。
【0106】
この画像データの生成に際しては、温度センサ21で検出された情報に基づいて仮想の2視点を設定し、後述するように温度情報に応じたレンダリング処理を施すことにより実行される。
【0107】
ここで、平面表示上に特定のオブジェクトだけに視差を設けるような2D画像データと3D画像データを融合させる場合は、平面表示に用いる2D画像データとして、観察者の両眼の中央に相当する1視点を設定して予めレンダリング処理を施して生成し、又、3D画像データとして前述した仮想の2視点の設定によって温度情報に応じたレンダリング処理を施すこともできる。この場合の具体的な処理については第2実施形態で開示する。
【0108】
また、上記した温度情報に基づくレンダリング処理によって、
図3(C)に示すようなデプスデータを生成することもできる。
デプス(奥行き)データは、2次元画像に対応したグレースケール画像であり、奥行き情報に基づいた階調値を画素単位に適用している。この場合は、温度センサ21で検出された温度情報に応じてデプスマップの階調値を変化させる。これらの動作処理は、後述するように、何れも前述した主演算制御部31に制御されてデプス画像展開処理部22Bで実行される。
そして、これらの画像データを用いて立体表示を行うときは、表示パネル11の単位画素を水平方向に、右眼用画素、左眼用画素として交互に用いる。
【0109】
ここで、画像データの生成は、前述したように深度情報を含む3次元データより生成する方法が好ましいが、データ記憶部25に予めレンズの収縮や膨張に対応したカメラ設定に基づきレンダリング処理を施した表示対象データを蓄積しておき、前記温度センサからの温度情報に基づいて前期表示対象データを選択的に読み出すように構成してもよい。即ち、
図3(A)もしくは
図3(B)は、上記した通り、仮想の2視点を設定してレンダリング処理後に生成される画像であるが、予めこれら画像をレンズの収縮や膨張に対応した2次元データの形式で蓄積し、読み出すように構成してもよい。
【0110】
このように、画像データを予め2次元データの形式で蓄積しておくと、レンダリング処理が不要となるため、レンダリングを要する方法よりも主演算制御部31の負荷が大幅に軽減される。このため、処理能力や演算速度が低い機器でも、有効に対応する事ができ、立体画像生成手段(画像生成部)22を安価に構成できるという利点がある。上記した2D画像データと3D画像データを融合させる場合においても、2D画像データについてこれと同様に予め蓄積しておいてもよい。
【0111】
上記のようにして、立体画像生成手段22は、温度センサ21からの信号に応じて、2D/3D画像データを生成し、表示パネル駆動部23へ出力する機能を有する。
ここで、立体画像生成手段22は、2D/3D画像データとして、サイドバイサイドやラインバイラインやドットバイドットといった各視点画像を合成したデータや、センター画像とデプス画像を組合せたデータや、各視点の映像を時系列的に送るデータなど様々な形態で出力することが可能である。
又、表示パネル駆動部23は、3D表示パネル11を駆動するために必要な信号(同期信号等)生成する機能を備えている。この場合、3D表示パネル11を構成するレンチキュラーレンズ(画像振分け部)1が液晶バリアや液晶レンズなどの電気光学素子である場合は、2D/3Dデータに応じて、表示パネル駆動部23から所定の信号をレンチキュラーレンズへ出力する機能を備えるように構成してもよい。
【0112】
尚、
図2(A)に示す主演算制御部31については、例えば、適用する携帯型表示装置の他の機能(例えば通信制御)を処理する機能や、他のプロセッサ内にその一部の処理機能を設けるように構成してもよい。
【0113】
(画像データの補正〈修正処理〉について)
次に、レンチキュラーレンズ1の温度変化に応じて成される3D画像データの補正(修正処理)について説明する。
【0114】
図4(A)(B)は、前述した
図71に開示したレンズ収縮状態における光学モデルに対して、本第1実施形態の飛出し及び奥行きにかかる視差画像を表示した場合の模式図である。
この
図4において、
図4(A)は飛出しイメージ観察時を示している。そして、前述した表示面40上のx軸上にて特定される視差量Aに応じたP方向の光線は、前述した
図71(A)で示したのと同様に、左眼領域5a及び右眼領域5bの範囲内に入射される。
【0115】
また、
図4(B)は奥行きイメージ観察時を示しているが、
図71(B)で示した視差量Aに応じたQ方向の光線は、左眼領域5a及び右眼領域5bの範囲内に入射されない。そこで、視差量Aからβを引いた視差量A−βに応じたQ方向の光線を前述した主演算制御部31が演算し形成することで、左眼領域5a及び右眼領域5bの範囲内に入射させるようにすることができる。これらの補正(修正処理)は前述した
図2(B)に開示した主演算制御部31の収縮時補正制御部31Aで実行される。
【0116】
これにより、レンズ収縮状態において、観察者が飛出しイメージは認識できるが奥行きイメージは認識できないという状況から、本第1の実施形態により、奥行きイメージを確実に認識することができるようになる。
【0117】
図5(A)(B)は、
図72で示したレンズ膨張状態における光学モデルに対して、本第1実施形態における飛出し視差画像及び奥行き視差画像を表示した場合の模式図を示す。
この
図5(A)は飛出しイメージ観察時を示しているが、
図72(A)で示した視差量Aに応じたP方向の光線は左眼領域5a及び右眼領域5bの範囲内に入射されない。そこで、視差量Aからαを引いた視差量A−αに応じたP方向の光線を形成することで、左眼領域5a及び右眼領域5bの範囲内に入射させるようにする。
【0118】
また、この
図5(B)では奥行きイメージ観察時を示しているが、視差量Aに応じたQ方向の光線は、
図72(B)で示したのと同様に左眼領域5a及び右眼領域5bの範囲内に入射される。これらの補正(修正処理)は前述した主演算制御部31の収縮時補正制御部31Bで実行される。
【0119】
これにより、従来、レンズ膨張状態において観察者が奥行きイメージは認識できるが、飛出しイメージは認識できないという状況から、本第1実施形態によって、飛出しイメージを認識することができるようになる。
【0120】
(画像データの生成動作)
上記
図4及び
図5に開示した光学モデルを実現するために、その画像データの具体的な生成動作について、以下、詳細に説明する。
【0121】
ここで、
図4及び
図5では説明を単純化させるために、視差画像として、飛出し若しくは奥行きのどちらかのイメージに限定した例を用いたが、実際の画像は飛出しと奥行きが混在している画像を用いる場合が多い。そこで、以下の画像データの作成動作については、飛出しと奥行きとが混在した場合の例を用いて説明する。
【0122】
図6は、本第1実施形態における3D画像データの生成動作の一例を示すフローチャートである。
はじめに、立体表示が開始されると同時に、表示装置(具体的にはレンチキュラーレンズ1)の温度を検出する温度センサ21を起動する。
【0123】
次に、温度センサ21にて検出されたレンチキュラーレンズ1の温度Tと予め設定された基準温度Tthとの差分ΔTが変形量算出部28で算出される(
図6:ステップS101/温度差算出工程)。ここで、基準温度Tthは、画像表示装置のアプリケーションに応じて任意に設定されるが、本第1実施形態では常温に設定されている。次に、レンダリング処理条件に必要なスクリーン面(表示面)40の設定(奥行きを表示するz軸上ではz=0)とカメラ設定Aとを行う(
図6:ステップS102)。
【0124】
このカメラ設定A(第1のカメラ設定A)の一例を
図7(A)に示す。この第1のカメラ設定Aでは、前述した
図64で既に開示したように、上述した交差法を用い、左眼用カメラ35aと右眼用カメラ35bの各光軸の交点41が、通常の画面上(即ち、スクリーン面40の再生位置)に来るように設置している。スクリーン面40の水平方向をx軸、x軸と直行する方向をy軸、xy平面と直交する方向をz軸、上記交点41を原点とし、xyz軸の正負の方向(立体情報収集の場の設定)は
図7(A)に示す通りとする。この状態において、カメラ設定パラメータとしては、カメラ位置ZCとカメラ間距離XCとカメラ視野角(図示せず)などが挙げられる。
【0125】
ここで、カメラ位置ZCはスクリーン面(z=0)40に対するカメラのz軸に沿った方向の位置であり、カメラ間距離XCは一対のカメラ35a,35b相互間のx軸方向の間隔である。この時の各カメラ35a,35bの光軸とz軸とのなす角度、すなわち夾角をθとする。
本第1実施形態では、スクリーン面40より奥側(z<0)にリンゴのオブジェクト42が、手前側(z≧0)にぶどうのオブジェクト43が、それぞれ配置されている。又、カメラ設定A(第1のカメラ設定A)は、上記パラメータ情報の内、パネルサイズ及びパネル解像度などに応じて設定されるが、必要に応じて、或いはパネル観察者の好みに応じて、任意に設定できるようにするように構成してもよい。
【0126】
次に、前述した差分ΔT(検出した温度Tと基準温度Tthとの差)と判定閾値であるΔTthとの各絶対値の大きさを比較して、視差量の補正(修正)が必要かどうかの判定(
図6:ステップS103/補正可否判定工程)を行う。この判定は、前述したように立体画像生成手段22の温度差判定部30が行う。
【0127】
そして、ステップS103の補正可否判定工程で|ΔT|≦|ΔTth|と判定された場合は、温度変化によるレンチキュラーレンズ1の変形量は少ないとして、視差量補正が不要となり、第1のカメラ設定Aの条件で3次元データは直ちにレンタリング処理され(
図6:ステップS104/画像処理工程)、続いて、このレンダリング処理された視差画像に基づいて前述した表示パネル駆動用の
図8に示すような3D画像データに変換され出力される(
図6:ステップS105/3D画像データ生成工程)。
【0128】
一方、|ΔT|>|ΔTth|の場合は、温度変化によるレンチキュラーレンズ1の変形量は大きいとして視差量補正が必要となる。このため、レンチキュラーレンズ1が収縮方向にあるか膨張方向にあるかを検出するために、ΔTの符号判定(
図6:ステップS107/補正環境判定工程)に進む。このΔTの符号判定動作は、前述したように立体画像生成手段22の補正環境判定部29により実行される。
【0129】
そして、
図6のステップS107では、ΔT<0の場合には、レンチキュラーレンズ1が基準状態よりも収縮した状態にあるとして、前述したようにステップS108へ進む。又、ΔT>0の場合は、レンチキュラーレンズ1が基準状態よりも膨張した状態にあるとして、ステップS113へ進む。何れの場合も、次の処理であるオブジェクトの奥行き位置の検討に付される。
【0130】
前半のΔT<0の場合、即ち、レンチキュラーレンズ1が収縮状態と判定された場合には、
図6のステップS108で、深度情報を有するオブジェクトのz軸に対する位置がスクリーン面40よりも手前側(即ち、z≧0)かどうかの判定が行われる。この判定動作は、前述したように、主演算制御部31の収縮時補正制御部31Aで実行される。
そして、z≧0の場合は、オブジェクト43の3次元データに対して第1のカメラ設定Aの条件でレンダリング処理(
図6:ステップS109/飛出側画像データ処理工程)が実行され、これによって
図9(A)に示すような3D画像データが得られる。
【0131】
これに対して、z<0の場合、つまりオブジェクトのz軸に対する位置がスクリーン面40よりも奥側の場合は、
図7(B)に示すカメラ設定B(第2のカメラ設定B)の条件が選択され(
図6:ステップS110)、対応するオブジェクト42の3次元データに対してレンダリング処理が行われる(
図6:ステップS111/非飛出側画像データ処理工程)。これにより、
図9(B)に示すような3D画像データが得られる。
【0132】
ここで、
図7(B)に示す第2のカメラ設定Bは、
図7(B)に示すように、
図7(A)の第1のカメラ設定Aのθよりも、カメラ35aと35bの各カメラの光軸とz軸のなす角度θ1が小さく設定されている。このθ1を決定するパラメータは、前述した差分ΔTと、データ記憶部25に保持されている内容(即ち、表示パネルを構成する材料の実効的線膨張係数差,パネルサイズ,パネル解像度,及び3Dストローク)とによって決定される。
【0133】
ΔT以外のパラメータについては通常は定数として扱うことが可能であり、このため変数としてはΔTのみとなる。ΔTが大きくなるにつれてθ1は小さくなるが、θ1とΔTの関係は、線形に限らず非線形でも適用することができる。
【0134】
これにより、オブジェクト42の視差量が、x軸座標上では、左眼用画像では寸法BからB−β、右眼用画像では寸法BからB−β と小さくなり、前述した
図4で説明したようにレンズ収縮状態でも観察可能な画像となる。この場合、角度θ1を決定するカメラ間距離XC1,カメラ間距離ZC1については、カメラ設定Aに対して任意に設定することができる。例えば、
図7において、XC1=XC、ZC1>ZCとすることも可能であるし、ZC1=ZC、XC1<XCとすることも可能であるし、XC1<XC、ZC1>ZCとすることもできる。
【0135】
そして、次に、
図6のステップS109でレンタリング処理されて得られた画像データ
図9(A)と、ステップS111でレンタリング処理されて得られた画像データ
図9(B)とが画像データ合成機能31cによって合成処理(
図6:ステップS112)され、この合成された画像データに基づいて
図9(C)で示すような3D画像データが3D画像データ生成機能31dにより生成される(
図6:ステップS105/3D画像データ生成工程)。
【0136】
尚、
図6のステップS109においては、第1のカメラ設定Aの条件で対象となる3次元データに対してレンダリング処理を行っているが、これに限定されず、
図7(A)におけるθやXCやZCをカメラ設定Aから僅かに変化させてカメラ設定(カメラ設定A)としその条件を用いて対象となる3次元データに対してレンダリング処理するようにしてもよい。
【0137】
一方、前述したΔT>0の状態(即ち、レンチキュラーレンズ1が基準状態よりも膨張した状態)の場合は、ステップS113(オブジェクトの奥行き位置の検討)へ進むように設定されている。
【0138】
このステップS113では、深度情報を有するオブジェクトのz軸に対する位置がスクリーン面40よりも奥側、即ち、z<0かどうかの判定が行われる。
そして、z<0の場合は、オブジェクト42の3次元データに対して第1のカメラ設定Aの条件でレンダリング処理が行われ(
図6:ステップS114/非飛出側画像データ処理工程)、これによって
図10(A)に示すような3D画像データを得る。
【0139】
また、z<0の場合は、つまりオブジェクト42のz軸に対する位置がスクリーン面40よりも奥側の場合は、
図7(C)に示す第3のカメラ設定Cが設定され(
図6:ステップS115)、オブジェクト43の3次元データに対してレンダリング処理(
図6:ステップS116/飛出側画像データ処理工程)を行われ、
図10(B)に示すような3D画像データを得る。
【0140】
ここで、
図7(C)に示す第3のカメラ設定Cは、
図7(A)の第1カメラ設定Aのθと比較して、カメラ35aと35bの各カメラの光軸とz軸のなす角度θ2が大きく設定されている。このθ2も、前述したθ1の場合と同様に、前述したΔTとデータ記憶部25に保持されている内容に対する関数であり、ΔTが大きくなるにつれてθ2は大きくなるが、その関係は線形に限らず非線形でも適用することができる。
これにより、オブジェクト43の視差量が、AからA−α,AからA−α と小さくなり、
図5で説明したようにレンズ膨張状態でも観察可能な画像となる。
【0141】
図7(C)に示すように、角度θ2を決定するカメラ間距離XC2,カメラ間距離ZC2は、前述したカメラ設定Aに対して任意に設定することができる。例えば、XC2=XC、ZC2<ZCとすることも可能であるし、ZC2=ZC、XC2>XCとすることも可能であるし、XC2>XC、ZC2<ZCとすることもできる。
【0142】
そして、次に、ステップS114で得た画像データ
図10(A)とステップS116で得た画像データ
図10(B)とを、前述したように合成処理され(
図6:ステップS117)、これに基づいて
図10(C)で示すような所定の3D画像データが生成される(
図6:ステップS105/3D画像データ処理工程)。これらは、何れも、前述した主演算制御部31で実行されるようになっている。
【0143】
尚、
図6のステップS114では、第1のカメラ設定Aの条件で対象となる3次元データに対してレンダリング処理を行っているが、これに限定されず、カメラ設定AにおけるθやXCやZCを僅かに変化させて得られるカメラ設定A(図示せず)の条件で対象となる3次元データに対してレンダリング処理するようにしてもよい。
【0144】
なお、ステップS108,ステップS113では深度情報を有するオブジェクトのz軸に対する位置について、スクリーン面40よりも手前側z≧0、奥側z<0と判定していたが、これに限らず、手前側z>0,奥側z≦0と判定することも可能であるし、手前側z≧0,奥側z≦0と判定することも可能である。これは後述する第2,第3の実施形態でも同様である。
【0145】
以上説明したように、温度差ΔTの値に応じてレンダリング処理を行い、ステップS105で得られた3D画像データを
図2(A)で示した2D/3Dデータ(表示パネル駆動データ)として、表示パネル駆動部23を経由して立体表示パネル11に送信され、観察者は所定の立体画像を見ることが可能となる。
【0146】
次に、ΔTの更新の判定を行い(
図6:ステップS106)、更新が必要な場合はステップS101に戻り、更新が不要な場合はカメラ設定Aに戻すためステップS102に戻る。
ここで、
図6のステップS106は、観察者が立体表示装置10の使用温度環境変化に対応するための機能である。例えば、可搬性の装置では屋外から屋内に入る場合などが想定され、据置型の装置では空調動作前後の場合などが想定される。
【0147】
従って、
図6のステップS106の判定は、通過毎に行う必要はない。通過回数をカウントし、適当なカウント値になったときに観察者に立体表示装置10の操作スイッチ等から判定動作を指令するようにしてもよいし、所定のカウント値のとき自動的に判定動作が実行されるように構成してもよい。
【0148】
ここで、
図7で説明した深度情報を有するオブジェクト42,43がスクリーン面(z=0)40に対して手前側と奥側とにそれぞれ1つ存在する場合について示したが、それぞれ2つ以上存在する場合(オブジェクト42,42
’,43,43
’)も同様な処理が可能である。その一例を
図11(A)(B)(C)に示す。
同時に、この
図11の一例に対する画像データの生成を
図12に示す。この場合にも、
図6で示したフローチャートによってΔTに応じた画像データの生成が、
図8〜
図10で行ったのと全く同様にして、
図12(A)〜(C)のような画像データを得ることができる。
【0149】
又、本第1実施形態では、3次元データをレンダリング処理によって視差画像を展開する例を中心にして発明の内容を開示したが、本発明はこれに限定されず、例えば、レンダリング処理結果を
図13に示すような2次元画像とその奥行き情報を示すデプス画像に展開することも可能である。以下、これについて詳述する。
【0150】
即ち、本第1の実施形態にあって、前述した主演算制御部31には、当該主演算制御部31に送り込まれる前記オブジェクトにかかる3次元データの2次元画像情報をオブジェクト画像として、その奥行き情報(z軸上の深度位置)とをデプス画像として展開するデプス画像展開処理部22Bが併設されている。そして、このデプス画像展開処理部22Bは、前記3次元データに対して画素単位で前記奥行き情報に対応した階調値を設定すると共に、この設定される階調値を前記x軸上で特定される2次元画像情報の視差量に対応して特定する階調値特定機能を備えている。
【0151】
この場合、デプス画像は、上記デプス画像展開処理部22Bの階調値特定機能によって、上述したように基本的に画素単位で、奥行き情報に基づいた階調値を有しているように、特定処理されるようになっている。
【0152】
図13(A)(B)(C)に、この場合のデプス画像展開処理部22Bによる処理内容を示す。以下の説明では、デプス画像として、スクリーン面の階調値よりも大きい階調を飛出し側、小さい階調を奥行き側と定義されたものを扱う。
図13(A)において、まず、最大階調幅を例えば256としたときに、その半分である階調値128をスクリーン面40上の階調値とし、上述の定義に従い、このスクリーン面40に対して飛出しオブジェクト46c,46dには階調値128よりも大きな値が適用され、奥行きオブジェクト46a,46bには階調値128よりも小さな値が適用される。
【0153】
背景46eについては、階調値を128とすることで、背景をスクリーン面40と同一面にすることができるし、階調値128に対して前後の階調値を用いることで背景を飛出し或いは奥行き面として設定することも可能である。これらのデプス画像の展開処理は、前述した主演算制御部31のデプス画像展開処理部22Bによって実行されるようになっている。
【0154】
図13(B)は、
図12(B)の視差画像に対応したデプス画像を示しており、飛出しオブジェクト47dが
図12(B)のA−α,A
’−α
’ に、飛出しオブジェクト47cがD−δ,D
’−δ
’ にそれぞれ対応した階調値となっている。言い換えると、飛出しオブジェクト47c,47dは
図13(A)の飛出しオブジェクト46c,46dよりも小さな階調値が適用されている。
【0155】
これと同様に、
図13(C)は、
図12(C)の視差画像に対応したデプス画像を示しており、飛出しオブジェクト48bが
図12(C)のB−β,B
’−β
’ に、飛出しオブジェクト47aがC−χ,C
’−χ
’ にそれぞれ対応した階調値となっている。換言すると、飛出しオブジェクト47a,47bは
図13(A)の奥行きオブジェクト46a,46bよりも大きな階調値が適用されている。
又、上記の視差画像あるいはデプス画像を得るための撮影法として交差法を用いて説明したが、平行法でも同様の処理が可能である。
【0156】
ここで、上述した第1実施形態において開示した上記立体表示装置10にあって、前記立体表示パネルを駆動するための
図6に開示した3D画像データの生成方法を詳述したが、この3D画像データの生成動作については、前記レンチキュラーレンズの温度測定処理から始まる一連のデータ処理工程における各情報処理内容については、これをプログラム化し、これを前記立体画像生成手段22が備えているコンピュータに実現させるように構成してもよい。このことは、後述する変形例,および第2実施形態以後の全ての実施形態及びその変形例についても、同様である。
又、上記プログラム発明については、そのプログラム化された内容を非一時的な記録媒体、例えばDVD、CD、フラッシュメモリなどに記録したものであってもよい。この場合、当該記録されたプログラムはコンピュータによって読み出され実行される。
このようにしても、前述した本発明の目的を有効に達成することができる。
【0157】
次に、本第1実施形態の手法を用いて、使用環境温度に対する立体視域の評価を行ったので、その内容を説明する。
図14に、立体表示装置11の使用環境温度を−20〔℃〕から60〔℃〕まで変化させた時の立体視域の評価結果を示す。レンチキュラーレンズ1と表示パネル部11Aとを固定した状態における両者の実効的線膨張係数差は30〔ppm〕である。
【0158】
ここで、
図7で定義したX軸方向に対して視差画像の画面全体に対する大きさの割合を3D領域とし、この3D領域を画面中心から10〔%〕、40〔%〕、85〔%〕とした時の視差画像を用意して評価を行っている。
つまり、3D領域10〔%〕は
図8に示すような比較的画面中心部に視差領域があることを意味し、3D領域85〔%〕は
図12に示すような画面ほぼ全体に視差領域があることを意味している。
【0159】
この上記評価に用いた画像データは、
図8及び
図12に示すような飛出しと奥行きが混在しているものを適用した。立体視域は被験者3名の平均値を用いている。
図14を参照すると、実効的線膨張係数差が上記の通り30〔ppm〕有しているにも関わらず、3D領域40〔%〕において、−20〔℃〕から60〔℃〕にわたり所定の立体視域が確保されている。これは、使用環境温度に応じて特定の視差方向に対して視差量コントロールを行っているためであり、
図73と比較して使用温度範囲が大幅に向上していることが確認された。
【0160】
実際のコンテンツでは、画面全体に対して視差の大きい3D領域を設けるケースは少なく、画面中心に対して40〜60〔%〕程度の領域で視差の大きい3D領域を設けることが多い。
図14と
図73を比較してみると、3D領域40〔%〕に対する立体視域の変化は、25〔℃〕を中心として±15〔℃〕を越えたところで本第1実施形態が非常に有効となっていることが分かる。
【0161】
また、本結果より、3D領域60〔%〕に対して±15〔℃〕を越えて有効となる実効的線膨張係数差を求めると15〔ppm〕程度となり、実効的線膨張係数差が15〔ppm〕以上となる場合は、本第1実施形態が非常に有効であることが明らかとなった。
【0162】
以上のように、本第1の実施形態によると、レンチキュラーレンズ1の収縮時又膨張時の各状態にあって出力される画像データの補正制御を必要とするか否かを温度差判定部30によって迅速に判定することができ、続いて、レンチキュラーレンズ1の収縮時又は膨張時の各状態に対応してそれぞれ収縮時補正制御部31A又は膨張時補正制御部31Bを機能させるようにしたので、環境温度の変化に迅速に対応して効率よく画像データの補正制御を成し得ることが可能となり、これによって、レンチキュラーレンズ1による立体画像表示を、周囲の環境温度が変化しても継続して有効に表示し得るという優れた立体画像表示装置を得ることができる。
【0163】
また、本立体画像表示装置は、レンチキュラーレンズとして一般的なプラスティック基板、表示パネルとして一般的なガラス基板、とそれぞれ線膨張係数が異なる材料を立体表示パネルに用いる事ができるため、低コストで大量供給できるメリットがある。
【0164】
更に、本立体画像表示装置は、立体画像生成手段から周囲環境温度変化に対応した2D/3Dデータとして、サイドバイサイドやラインバイラインやドットバイドットといった各視点画像を合成したデータや、センター画像とデプス画像を組合せたデータや、各視点の映像を時系列的に送るデータなど様々な形態で出力することが可能であるため、表示パネル駆動部のインターフェース仕様に対してフレキシビリティを有し、幅広い表示パネルに適用することが可能である。これは表示パネルの高性能化や低コスト化に繋がるメリットがある。
【0165】
尚、本第1実施形態においては2視点の場合について述べたが、本発明はこれに限定されるものではなく、N視点でも同様に適用することができる。
図15にN=4の例を示すが、立体表示パネル11の単位画素には観察者の両眼7a、7bが並ぶ方向と並行となる水平方向に対して第1視点用画素51a、第2視点用画素51b、第3視点用画素51c、第4視点用画素51dを配置して、光学振分け手段であるレンチキュラーレンズ1を介して、第1視点用領域52aから第4視点用領域42dまで形成されている。この各視点で投影される画像データの生成にはカメラを4台使用してレンダリング処理を行うが、この処理に際して上述した2視点と同様に扱うことが可能となっている。
【0166】
〔変形例〕
次に,上記第1実施形態の変形例を
図2(C)に基づいて説明する。
ここで、上記第1実施形態と同一の構成部材については同一の符号を用いるものとする。
【0167】
図2(C)は、第1実施形態の変形例における主演算制御部32の各構成要素を示すブロック図である。
上述した第1実施形態においては、主演算制御部31の収縮時補正制御部31Aにあって、
図2(B)に示すように、飛出側画像データ処理機能31aについて、第1のカメラ設定Aによるレンダリング処理を実施し、非飛出側画像データ処理機能31bについて、第1のカメラ設定Aにおけるカメラ光軸とz軸との成す夾角よりも小さい夾角の第2のカメラ設定Bによるレンダリング処理を実施した(
図6:ステップS110,S111参照)。
【0168】
これに対して、この第1実施形態の変形例では、
図2(C)に示すように、主演算制御部32の収縮時補正制御部32Aにあっては、前述した非飛出側画像データ処理機能31bに代えて、z<0のオブジェクトのz(絶対値)に対して補正係数αを乗じてz値変換(元のz値よりも小さくなる方向へ)を行う非飛出側z値変換処理機能32bを備えた点に特徴を有する。
【0169】
この非飛出側z値変換処理機能32bは、前記第1のカメラ設定Aの時の3次元データを深度座標のz軸を基準とし、前記第2のカメラ設定Bにおける一対のカメラの夾角情報に基づいてz値変換処理を行うことで、第1実施形態と同様な3D画像データを得ることが可能である。
【0170】
ここで、上述した補正係数αは、数値の1未満であり、上記した通り前記第1のカメラ設定Aの夾角情報と前記第2のカメラ設定Bの夾角情報に基づき決定することができる。また補正係数αは、これに限定されず、温度変化に対する立体視認性が損なわれない範囲であれば、z値の大きさに関係なく一定値としてもよいし、z値の大きさによって線形若しくは非線形に変化させることも可能である。
【0171】
更に、この変形例では、前述した第1実施形態の
図2(B)に開示した画像データ合成機能31cに代えて、飛出側及びz値変換された非飛出側に対して同一のカメラ設定(例えば第1のカメラ設定A)を用いてレンダリング処理を行う全領域一括画像データ処理機能32cを装備した点にも特徴を有する。このため、第1実施形態の
図2(B)に示した画像データ合成機能31cが不要となる。
【0172】
又、この変形例では、前述した第1実施形態の膨張時補正制御部31Bについても、同様に適用され、当該膨張時補正制御部31Bに代えて膨張時補正制御部32Bが装備されている。
即ち、この変形例では、
図2(C)に示すように、主演算制御部32の膨張時補正制御部32Bにあっては、前述した飛出側画像データ処理機能31fに代えて、z≧0のオブジェクトのz(絶対値)に対して補正係数βを乗じてz値変換(元のz値よりも小さくなる方向)を行う飛出側z値変換処理機能32fを備えた点に特徴を有する。
【0173】
この非飛出側z値変換処理機能32fは、前記第1のカメラ設定Aの時の3次元データを深度座標のz軸を基準とし、前記第3のカメラ設定Cにおける一対のカメラの夾角情報に基づいてz値変換処理を行うことで、第1実施形態と同様な3D画像データを得ることが可能である。
ここで、補正係数βの大きさについては、上述した補正係数αの場合と同様に設定することができる。
【0174】
更に、前述した第1実施形態の
図2(B)に開示した3D画像データ合成機能31gに代えて、非飛出側及びz値変換された飛出側に対して同一のカメラ設定(例えば第1のカメラ設定A)を用いてレンダリング処理を行う全領域一括画像データ処理機能32gを、装備して点にも特徴を有する。このため、第1実施形態の
図2(B)に示した画像データ合成機能31gが不要となる。
【0175】
これにより、収縮時補正制御部32Aにあっては飛出側画像データ処理機能31aと非飛出側z値変換処理機能32bとの間で、又、膨張時補正制御部32Bにあっては、非飛出側画像データ処理機能31eと飛出側z値変換処理機能32fとの間で、それぞれカメラ設定を変える必要も無くなり、更に、画像データ合成機能も不要となることから、システム側(特に主演算制御部)の負荷を大幅に軽減させることができ、画像処理の迅速化も図り得るという利点がある。
その他の構成およびその作用効果は、上述した第1実施形態の場合と同一となっている。
【0176】
〔第2の実施の形態〕
次に、本発明の第2実施形態を
図16乃至18に基づいて説明する。
図16(A),
図16(B)は、本第2実施形態における立体表示装置のコントローラ部50および当該コントローラ部の主要部を成す主演算制御部51の構成内容を示すブロック図である。
又、
図16(C)は、本第2実施形態の変形例の主要部(主演算制御部)52を示すブロック図である。
ここで、前述した第1実施形態と同一の構成部材については同一の符号を用いるものとする。
【0177】
この第2の実施形態では、前述した第1実施形態において使用された深度情報を有するオブジェクトに対し、前記オブジェクトの3次元データをレンダリング処理する際のカメラ設定を、前述した差分ΔTの大小に応じて設定されるx軸上の視差にかかる閾値(基準値)xthの大きさで規制するようにした点に特徴を有する。
以下、これを、前述した第1実施形態の記載内容を前提として説明する。
【0178】
(構成)
まず、本第2の実施形態における立体表示装置は、前述した第1実施形態の場合と同様に、立体表示パネル11を駆動制御する表示コントローラ部50を備えている。この表示コントローラ部50には、後述する各構成要素全体の動作を規制する主演算制御部51を備えた立体画像生成手段50Aが装備されている。
【0179】
上記主演算処理部51には、前述した第1実施形態の場合と同様に、温度差判定部30によって温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合、視差量の補正に直接関連するx軸上の閾値xthを、温度差ΔTの大きさに応じて変化する立体視域を確保可能とする閾値xthとして前記ΔTの値が大きくなるに従い小さく設定するx位置用閾値設定部50Bが、併設されている。
【0180】
また、この主演算処理部51には、前記視差量の補正を迅速且つ正確に実行するために、前記画像振分け手段としてのレンチキュラーレンズ1が収縮状態を示すΔT<0の状態か,或いは膨張状態を示すΔT>0の状態かを判定する補正環境判定部29が併設されている。
【0181】
更に、上記主演算処理部51は、前述した第1実施形態の場合と同様に、|ΔT|>|ΔTth|で温度差ΔTがΔT<0の場合(レンチキュラーレンズ1の収縮時)に稼働する収縮時補正制御部51Aと、|ΔT|>|ΔTth|で温度差ΔTがΔT>0の場合(レンチキュラーレンズ1の膨張時)に稼働する膨張時補正制御部51Bとを備えている。
【0182】
この内、収縮時補正制御部51Aでは、前述した第1実施形態の場合とは異なる以下に示す三つのデータ処理機能を実行し且つこれを合成して、前述した表示パネル駆動用の3D画像データ(合成画像データ)を出力するように構成されている。
【0183】
即ち、主演算処理部51の一部を成す上記収縮時補正制御部51Aは、前記温度環境判定部28で前記温度差ΔTがΔT<0で前記レンチキュラーレンズ1(画像振分け手段)が収縮状態にあると判定された場合に作動して前記オブジェクトのx軸上の座標位置xを特定し、且つ|x|>|xth|が成立する前記オブジェクトに対しては、前述した第1のカメラ設定Aよりもその夾角を狭く設定した第4のカメラ設定Dの条件で前記3次元データに対してレンダリング処理を行うx軸閾値外画像データ処理機能51jを備えている。
【0184】
また、この収縮時補正制御部51Aは、前記温度差ΔTがΔT<0の場合で且つ|x|≦|xth|が成立する前記オブジェクトに対しては、更にオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z≧0と判定された場合にz≧0の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理を行う飛出側画像データ処理機能51aを備えている。
【0185】
更に、上記収縮時補正制御部51Aは、前記温度差ΔTがΔT<0の場合で且つ|x|≦|xth|が成立する前記オブジェクトに対しては、更にオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、オブジェクトの深度位置zが非飛出し側のz<0と判定された場合にz<0の3次元データに対して前記第2のカメラ設定Bの条件でレンダリング処理を行う非飛出側画像データ処理機能51bを備えている。
【0186】
そして、この収縮時補正制御部51Aは、上記したx軸閾値外画像データ処理機能51j,飛出側画像データ処理機能51a及び非飛出側画像データ処理機能51bにてレンダリング処理された各画像データを合成処理する画像データ合成機能51cと、この合成処理された画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能51dとを備えている。
【0187】
これにより、レンチキュラーレンズ1の収縮時にあっては、前述した第1実施形態の場合と同様に、オブジェクトの深度位置zを飛出側および非飛出側に分けて所定のカメラ設定をすると共にこれにより得られる画像データを合成処理し、更に、x軸閾値外画像データ処理機能51jを稼働させて得られる画像データをも上記合成処理に加えるようにしたので、温度変化に追従して補正制御を成し得ることとなり、当該温度変化の影響を更に少なくすることができ、前述した第1実施形態の場合よりも更に有効に表示制御が可能となる。
【0188】
又、主演算処理部51の一部を成す膨張時出力制御部51Bでは、以下に示す三つのデータ処理機能を実行し且つこれを合成して、レンチキュラーレンズ1の膨張時にあって、前述した表示パネル駆動用の3D画像データ(合成画像データ)を有効に出力するように構成されている。
【0189】
即ち、上記膨張時出力制御部51Bは、前記補正環境判定部29で前記温度差ΔTがΔT>0で前記レンチキュラーレンズ(画像振分け部)1が膨張状態にあると判定された場合に作動して前記オブジェクトのx軸上の座標位置xを特定し且つ|x|>|xth|が認められる前記オブジェクトに対しては、前記3次元データとして前記第1のカメラ設定Aよりも夾角を狭く設定した第5のカメラ設定Eの条件で前記3次元データに対してレンダリング処理を行うx軸閾値外画像データ処理機能51kを備えている。
【0190】
又、上記膨張時出力制御部51Bは、前記温度差ΔTがΔT>0の場合で且つ|x|≦|xth|が認められる前記オブジェクトに対しては、更にオブジェクトの深度位置zが非飛出し側のz<0か否かを判定すると共に、z<0と判定された場合にz<0の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理を行う非飛出側画像データ処理機能51eを備えている。
【0191】
更に、この膨張時出力制御部51Bは、前記温度差ΔTがΔT>0の場合で且つ|x|≦|xth|が認められる前記オブジェクトに対しては、更にオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z≧0と判定された場合にz≧0の3次元データに対して前記第3のカメラ設定Cの条件でレンダリング処理を行う飛出側画像データ処理機能51fを備えている。
【0192】
そして、主演算処理部51の一部を成す上記膨張時出力制御部51Bは、これら上述したx軸閾値外画像データ処理機能,非飛出側画像データ処理機能,および飛出側画像データ処理機能にてレンダリング処理された各画像データを合成処理する画像データ合成機能51gと、この合成処理する画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能51hとを備えている。
【0193】
これにより、レンチキュラーレンズ1の膨張時にあっても、前述した第1実施形態の場合と同様にオブジェクトの深度位置zを飛出側および非飛出側に分けて所定のカメラ設定をすると共にこれにより得られる画像データを合成処理し、更に、x軸閾値外画像データ処理機能51kを稼働させて得られる画像データをも上記合成処理に加えるようにしたので、温度変化に追従して補正制御を成し得るので、当該温度変化の影響を更に少なくすることができ、前述した第1実施形態の場合よりも更に有効に表示制御可能となる。
【0194】
ここで、前述した主演算処理部51には、更に、当該主演算処理部51に送り込まれる前記オブジェクトにかかる3次元データについて、2次元画像情報のオブジェクト画像とその奥行き情報(深度位置)zのデプス画像として展開するデプス画像展開処理部22Bが併設されている。
このデプス画像展開処理部22Bは、画素単位で前記奥行き情報(深度位置)に対応した階調値を設定すると共にこの設定される階調値の値を前記x軸上で特定される2次元画像情報の視差量に対応して特定する階調値特定機能を備えている。
これにより、デプス画像の奥行き情報を、実情に合わせて有効に3D画像表示することが可能となる。
その他の構成については前述した第1実施形態と同一となっている。
【0195】
(全体的な動作)
次に、上記第2実施形態の全体的な動作を、
図17乃至
図18に基づいて説明する。
ここで、
図17は、本第2実施形態における3D画像データの生成動作の一例を示すフローチャートである。
【0196】
この
図17において、ステップS201からST204までの動作は、前述した
図6にて説明したステップS101からS104と同一となっている。
即ち、まず、温度センサ21を起動し、検出されたレンチキュラーレンズ1の温度Tと予め設定された基準温度Tth(第1実施形態では常温)との差分であるΔTを変形量算出部28で算出し(
図17:ステップ201/温度差算出工程)、続いて、レンダリング処理に必要な条件であるスクリーン面40とカメラ設定(第1のカメラ設定A)とが選択される(
図17:ステップ202)。
【0197】
その後、前述した温度差分ΔTと予め設定された判定閾値であるΔTthとの各絶対値の大きさが比較され、視差量の補正が必要か否かの判定が温度差判定部30で行われる(
図17:ステップ203/補正可否判定工程)。
【0198】
そして、温度差分|ΔT|<|Tth|の場合は、前述した第1実施形態の場合と同様に、前述した3D画像データ生成機能51Gが稼働し、レンチキュラーレンズ1の温度変化が少ないとして視差量の補正は不要とし、第1のカメラ設定Aの条件で3次元データが直ちにレンタリング処理され(
図17:ステップS204/画像処理工程)、続いて表示パネル駆動用の視差画像に変換され、
図18(A)に示すような3D画像データが生成され出力される(
図17:ステップS205/3D画像データ生成工程)。
【0199】
一方、前述したステップS203の補正可否判定工程において、|ΔT|>|ΔTth|との判定が成された場合は視差量の補正が必要となる。
この視差量の補正に際し、本第2実施形態では、視差量の補正に直接関係するx軸上の閾値xthを、前述した温度差分ΔTの大きさに対応した形態をもって設定する。
【0200】
即ち、このx軸上の閾値xthは、x軸上における3次元データ(3D情報)の第1のレンダリング処理範囲を規定した閾値で、前述した温度差分ΔTの値が大きくなるに従い小さく設定する(
図17:ステップS207/x位置用閾値設定工程)。これらx軸上の閾値xthの設定については、前述して主演算制御部51からの指令に基づいてx位置用閾値設定部52によって実行される。
【0201】
ここで、前述した第1実施形態における評価結果(
図14参照)に示すように、3D領域の大きさによって使用環境温度に対する立体視域が変化する。
例えば、基準温度が25〔℃〕で使用環境温度が0〔℃〕の場合(ΔT=−25〔℃〕)、3D領域85〔%〕では立体視域はゼロとなるが、3D領域40〔%〕では立体視域が60〔%〕確保できている。
【0202】
このように、予め温度差分ΔTの大きさに応じて立体視域が確保できる3D領域、即ち、閾値xthをLUT(ルックアップテーブル)のような形や所定の関数などで規定することができる。そして、対象となるオブジェクトのx軸上の位置がこの閾値xthより大きいx軸の位置にある場合は、極力視差が小さくなるカメラ設定を用いる。このようなカメラ設定を、カメラ設定D及びカメラ設定Eと定義する。この閾値xthは立体表示パネルの持つ実効的線膨張係数差、パネルサイズ、パネル解像度、基準温度、3Dクロストークなどから規定される立体視域に関するパラメータに応じて決めることができるが、特にパネルサイズが大きくなる場合はパネルサイズに対する閾値xthの割合を小さくすると有効である。
【0203】
次に、
図6のステップS107と同様に、視差量の補正に先立って、レンチキュラーレンズ1が収縮方向にあるのか膨張方向にあるかを検出するためのΔTの符号判定(
図17:ステップS208/補正環境判定工程)に進む。このΔTの符号判定は、補正環境判定部29で実行される。
【0204】
そして、まず、ΔT<0のレンズ収縮状態にある場合は、オブジェクトのx軸上の位置|x|と|xth|の大きさの判定(
図17:ステップS209)に進む。その後、レンチキュラーレンズ1が収縮状態にある場合の3次元データをレンダリング処理する条件のカメラ設定として、前述したカメラ設定Dが選択される(
図17:ステップS210)。
【0205】
ここで、一例として
図18のオブジェクト42,43,43,42のそれぞれのx軸位置x1,x2,x3,x4に対して、|x1|と|x2|とは|xth|より小さい場合を、又|x3|と|x4|とは|xth|より大きい場合を、それぞれ想定する。
【0206】
この場合、上述したステップS209の判定で、|x|>|xth|を満たす場合、つまり
図18のオブジェクト43’,42’に対しては
図17のステップS210に進む。
そして、このステップS210においてカメラ設定をDとし、レンダリング処理(
図17:ステップS211)を行い、オブジェクト43,42についての3D画像データを得る。
【0207】
即ち、前述した補正環境の判定工程(
図17:ステップS208)にあって、前記温度差ΔTがΔT<0で前記レンチキュラーレンズ1が収縮した状態にあると判定された場合に機能して前記オブジェクトのx軸上の座標位置xを特定し、且つ|x|>|xth|が成立する前記オブジェクトに対しては、前記第1のカメラ設定Aよりも夾角を狭く設定した第4のカメラ設定Dの条件で前記3次元データに対してレンダリング処理が行われ(
図17:ステップS211/x軸閾値外画像データ処理工程)、これによって、
図18に示すようにオブジェクト43’,42’についての3D画像データが得られる。
【0208】
次に、
図17のステップS209の判定で、前記温度差ΔTがΔT<0の場合で且つ|x|≦|xth|が成立する前記オブジェクト42,43を確認し特定する。そして、この各オブジェクト42,43に対しては、更に、オブジェクトの深度位置zが飛出し側のz≧0か否かが判定される(
図17:ステップS212)。
【0209】
そして、z≧0と判定された場合にz≧0であるオブジェクト43の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理が成され(
図17:ステップS213/飛出側画像データ処理工程)、これによって、
図18に示すようにオブジェクト43についての3D画像データが得られる。
【0210】
又、温度差ΔTがΔT<0の場合で且つ|x|≦|xth|が成立する前記オブジェクト42,43に対して、当該オブジェクトの深度位置zが飛出し側のz≧0か否かを判定する(
図17:ステップS212)。そして、ステップS212でオブジェクト42の深度位置zが非飛出し側のz<0と判定された場合にはz<0であるオブジェクト42の3次元データに対して前記第2のカメラ設定Bの条件でレンダリング処理が行われ(
図17:ステップS214,S215,/非飛出側画像データ処理工程)、これによって、
図18に示すようにオブジェクト42についての3D画像データが得られる。
【0211】
続いて、上記x軸閾値外画像データ処理工程,飛出側画像データ処理工程,および非飛出側画像データ処理工程にてレンダリング処理された各画像データ43,42,43,42が合成処理され(
図17:ステップS216/画像データ合成工程)、この合成された画像データに基づいて
図18(B)に示す表示パネル駆動用の3D画像データが生成される(
図17:ステップS205/3D画像データ生成工程)。
【0212】
ここで、オブジェクト42と42、43と43のz値(z軸上の深度)がそれぞれ同一の場合において、|x|>|xth|である視差C−η,C’−η’、及びD−λ,D’−λ’は、|x|≦|xth|である視差A−α,A’−α’よりも小さくなる。
【0213】
次に、前述した
図17のステップS208にあって、ΔT>0のレンズ膨張状態にある場合は、オブジェクトのx軸の位置|x|と|xth|の大きさの判定(ステップS217)に進む。このステップS217からステップS219は、カメラ設定が一部異なるが、レンズ収縮状態(ステップS207乃至ステップS209)の場合と同様の処理が行われる。
【0214】
即ち、前記補正環境判定工程(
図17:ステップS208)にあって、前記温度差ΔTがΔT>0の膨張した状態にあると判定された場合に作動し、前記オブジェクトのx軸上の座標位置xを特定し且つ|x|>|xth|が認められると判定された前記オブジェクト(
図17:ステップS217)42’,43’に対しては前記第1のカメラ設定Aよりも挟角を狭く設定した条件の第5のカメラ設定Eを設定する(
図17:ステップS218)。そして、これに対応した前記3次元データについてレンダリング処理を行い(
図17:ステップS219/x軸閾値外画像データ処理工程)、これによって、
図18(C)に示すオブジェクト42’,43’についての3D画像データを得る。
【0215】
又、温度差ΔTがΔT>0の場合で且つ|x|≦|xth|が認められる前記オブジェクト42,43に対しては、オブジェクトの深度位置zが非飛出し側のz<0か否かを判定され(
図17:ステップS220)、z<0と判定された場合にz<0であるオブジェクト42の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理が行われ(
図17:ステップS221/非飛出側画像データ処理工程)、これによって、
図18(c)に示すオブジェクト42についての3D画像データを得る。
【0216】
同様に、温度差ΔTがΔT≧0の場合で且つ|x|≦|xth|が認められた前記オブジェクト42,43は、上述したようにオブジェクトの深度位置zが飛出し側のz≧0か否かの判定に付されるが(
図17:ステップS220)、この判定で、z≧0と判定されたオブジェクト43に対してはこれに対応する前記第3のカメラ設定Cがなされ(
図17:ステップS222)、この第3のカメラ設定Cの条件で前記オブジェクト43の3次元データについてレンダリング処理が行われ(
図17:ステップS223/飛出側画像データ処理工程)、これによって、
図18(C)に示すオブジェクト43についての3D画像データが得られる。
【0217】
そして、これらx軸閾値外画像データ処理工程,非飛出側画像データ処理工程,および飛出側画像データ処理工程にてレンダリング処理された各画像データ42,43,42,43が合成処理され(
図17:ステップS224/画像データ合成処理工程)、この合成処理された画像データに基づいて
図18(C)に示す表示パネル駆動用の3D画像データが生成される(
図17:ステップS205/3D画像データ生成工程)。
【0218】
尚、本第2実施形態にあって、オブジェクト42と42、43と43のz値がそれぞれ同一の場合には、|x|>|xth|である視差C−η、C’−η’、D−λ、D’−λ’は|x|≦|xth|である視差B−β、B’−β’よりも小さくなる。
【0219】
ここで、上述した本第2実施形態の全体的な動作にあって、ステップS201からステップS224及びS305における各データ処理及び比較判定等の動作にあっては、これをプログラム化して前述した立体画像生成手段50Aが画備えているコンピュータに実行させるように構成してもよい。
その他の構成及びその作用効果については、前述した第1実施形態の場合と同一となっている。
【0220】
本第2実施形態は、上述したように構成され機能するので、これによると、前述した第1実施形態と同等に作用効果を有するほか、更にx軸上の視差の閾値(基準値)xthを設けたので、特に左右方向の視差量の変化に対して迅速に対応することができ、より実情に合った温度補正が可能となるという利点がある。
【0221】
また、本第2実施形態においては、レンダリング処理によって視差画像を展開する例を開示したが、これに限定されず前述した第1実施形態の場合と同様に、デプス画像に展開することも可能である。
【0222】
更に、本第2実施形態の場合は、画角の外側に対してΔTに対応して視差量を大きくしない規定をしたので、使用環境温度Tが大きく変化した場合でも、常に立体視域が確保できるという効果がある。特にパネルサイズが大きくなる場合は、両眼間隔IPDに比べてパネル幅が大きくなるため、パネル外端の温度変化の影響が更に大きくなるが、この場合パネルサイズに対する閾値xthの割合を小さくすると立体視域の確保に対して非常に有効である。また、使用環境温度Tに応じて特定の視差方向に対して視差量コントロールを行っているため、臨場感を損なわずに立体視域を確保することができるという効果がある。
尚、本第2実施形態においては、2視点の場合について開示したが、本発明はこれに限定されるものではなく、N視点でも同様に適用することができる。
【0223】
〔変形例〕
次に、上記第2実施形態の変形例を
図16(C)に基づいて説明する。
ここで、上述した第2実施形態と同一の構成部材については同一の符号を用いるものとする。
【0224】
図16(C)は、第2実施形態の変形例における主演算制御部52の各構成要素を示すブロック図である。
前述した第2実施形態では、主演算制御部51の収縮時補正制御部51Aにあっては、
図16(B)に示すように、x軸閾値外画像データ処理機能51jについて、第1のカメラ設定Aにおけるカメラ光軸とz軸との成す夾角よりも小さい夾角の第4のカメラ設定Dによるレンダリング処理を実施し(
図17:ステップS210,211参照)、飛出側画像データ処理機能31aについて、第1のカメラ設定Aによるレンダリング処理を実施し(
図17:ステップS213参照)、非飛出側画像データ処理機能51bについて、第1のカメラ設定Aにおけるカメラ光軸とz軸との成す夾角よりも小さい夾角の第2のカメラ設定Bによるレンダリング処理を実施した(
図17:ステップS214,215参照)。
【0225】
これに対して、この変形例では、
図16(C)に示すように、主演算制御部52の収縮時補正制御部52Aにあっては、前述したx閾値外画像データ処理機能51jに代えてx閾値外z値変換処理機能52jを、又非飛出側画像データ処理機能51bに代えて非飛出側z値変換処理機能52bを備えている点に特徴を有する。
【0226】
これらz値変換処理機能に関しては、前者のx閾値外z値変換処理機能52jでは、|x|>|xth|を満たすオブジェクトに対して、z値の符号にかかわらず|z|に対して補正係数γを乗じてz値変換(元のz値よりは小さくなる方向)を行い、又後者の非飛出側画像データ処理機能52bでは、|x|≦|xth|を満たし且つz<0のオブジェクトの|z|に対して補正係数δを乗じてz値変換(元のz値よりは小さくなる方向へ)を行う。
【0227】
ここで、x閾値外z値変換処理機能52jでの補正係数γは数値の1未満であり、前記第1のカメラ設定Aの夾角情報と前記第2のカメラ設定Dの夾角情報に基づき決定することができる。非飛出側z値変換処理機能52bの補正係数δも数値の1未満であり、前記第1のカメラ設定Aの夾角情報と前記第2のカメラ設定Bの夾角情報に基づき決定することができる。また補正係数γ,δの大きさは、これに限定されず、温度変化に対する立体視認性が損なわれない範囲であれば、z値の大きさに関係なく一定値としてもよいし、z値の大きさによって線形若しくは非線形に変化させることも可能である。
【0228】
更に、この変形例では、前述した第2実施形態の
図16(B)に開示した画像データ合成機能51cに代えて、
図16(C)にに示すように、|x|≦|xth|を満たす飛出側とz値変換された非飛出側及び|x|>|xth|を満たすx軸閾値外z値変換処理機能52jに対して,同一のカメラ設定(例えば第1のカメラ設定A)を用いてレンダリング処理を行う全領域一括画像データ処理機能52cを装備して点にも特徴を有する。このため、第1実施形態の
図16(B)に示した画像データ合成機能51cが不要となる。
【0229】
又、この変形例では、前述した第2実施形態の膨張時補正制御部51Bについても適用され、当該膨張時補正制御部51Bに代えて、膨張時補正制御部52Bが装備されている。
即ち、この変形例では、
図16(C)に示すように、主演算制御部32の膨張時補正制御部52Bにあっては、前述したx閾値外画像データ処理機能51kに代えてx閾値外z値変換処理機能52kを、又飛出側画像データ処理機能51fに代えて飛出側z値変換処理機能52fを備えている。このz値変換処理機能については、収縮時補正制御部51Aに比較して、飛出側z値変換処理機能52fの対象オブジェクトがz≧0であることを以外は同様である。
【0230】
換言すると、前記x軸閾値外画像データ処理機能51kに代えて、|x|<|xth|を満たすオブジェクトに対して|z|値に対して元z値よりも小さくなる方向の補正係数εを乗じてz値変換を成すx軸閾値外z値変換処理機能52kを備え、更に、前記飛出側画像データ処理機能51fに代えて、|x|≧|xth|を満たし且つz≧0のオブジェクトの|z|値に対して元z値よりも小さくなる方向の補正係数ζを乗じてz値変換を成す飛出側z値変換処理機能52fを備えた構成とした。
【0231】
更に、この変形例では、膨張時補正制御部52Bにおいても、前述した
図16(B)に開示した3D画像データ合成機能51gに代えて、
図16(C)に示すように、同一のカメラ設定(例えば第1のカメラ設定A)を用いてレンダリング処理を行う全領域一括画像データ処理機能52gを装備した点に特徴を有する。
【0232】
これにより、前述した収縮時補正制御部52Aにあっては、x閾値外z値変換処理機能52jと飛出側画像データ処理機能51aと非飛出側z値変換処理機能52bとの間で、又、上記膨張時補正制御部52Bにあっては、x閾値外z値変換処理機能52kと飛出側画像データ処理機能51eと非飛出側z値変換処理機能52bfの間で、それぞれカメラ設定を変える必要も無くなり、更に、画像データ合成機能も不要となることから、システム側(特に主演算制御部)の負荷を大幅に軽減させることができ、画像処理の迅速化も図り得るという利点がある。
その他の構成およびその作用効果は、前述した第2実施形態の場合と同一となっている。
【0233】
〔第3の実施形態〕
次に、本発明の第3実施形態及びその変形例(1)(2)を、
図19乃至
図25に基づいて説明する。
ここで、前述した第1実施形態と同一の構成部材については同一の符号を用いるものとする。
【0234】
この第3の実施形態では、前述した第1実施形態において使用された深度情報を有するオブジェクトに対し、前記オブジェクトの3次元データをレンダリング処理する際のカメラ設定を、前述した差分ΔTの大小に応じて設定されるx軸上の視差にかかる閾値(基準値)xthの大きさで規制するようにし、閾値を超えた場合は2Dのレンダリング処理を実施してそれらの各データを合成処理する構成とした点に特徴を有する。
【0235】
以下、これを、前述した第1実施形態の記載内容を前提として説明する。
ここで、本第3実施形態については、最初に全体内容について説明し、その後に本第3実施形態における二つの変形例を説明する。
【0236】
(構成)
本第3の実施形態における立体表示装置は、前述した第1実施形態の場合と同様に、立体表示パネル11を駆動制御する表示コントローラ部60を備えている。この表示コントローラ部60には、後述する各構成要素全体の動作を規制する主演算制御部61を備えた立体画像生成手段60Aが装備されている(
図19(A)参照)。
【0237】
主演算制御部61には、前述した第1,第2の各実施形態の場合と同様に、補正用のx軸上の閾値xthを設定するx位置用閾値設定部50Bが装備されている。
【0238】
このx位置用閾値設定部50Bは、温度差判定部30によって前述した温度差ΔTが、|ΔT|>|ΔTth|であり且つ前記視差量の補正を必要とする温度環境であるとの判定が成された場合に機能し、前述した他x軸上の閾値(補正基準値)xthを設定する。又、この閾値(補正基準値)xthは、温度差ΔTの大きさに応じて変化する立体視域の確保を可能とするx軸上の閾値xthであり、前記ΔTの大きさが大きくなるに従い小さくなるように設定される。
【0239】
前述した主演算制御部61には、更に、前述した第1,第2の各実施形態の場合と同様に、温度差判定部30によって前記温度差ΔTが|ΔT|>|ΔTth|であり、前記視差量の補正を必要とする温度環境であるとの判定が成された場合に、当該視差量の補正を状況に応じて迅速に且つ正確に実行するために、前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か,或いは膨張状態を示すΔT>0の状態か,を判定する補正環境判定部29が併設されている。
【0240】
又、主演算制御部61は、前述した第1,第2の各実施形態の場合と同様に、レンチキュラーレンズ1の収縮時(ΔT<0の状態)に実行される収縮時補正制御部61Aと、レンチキュラーレンズ1の膨張時(ΔT>0の状態)に実行される膨張時補正制御部61Bとを備えている。
【0241】
この内、収縮時補正制御部61Aでは、前述した第1及び第2の各実施形態の場合とは異なる以下に示す三つのデータ処理機能を実行し且つこれを合成して、前述した表示パネル駆動用の3D画像データ(合成画像データ)を出力するように構成されている。
【0242】
即ち、主演算制御部61の一部を成す収縮時補正制御部61Aは、前記補正環境判定部29によって前記温度差ΔTがΔT<0の場合(前記レンチキュラーレンズ1が収縮した状態にあると判定された場合)に作動して前記オブジェクトのx軸上の座標位置xを特定し、且つ|x|>|xth|が成立する前記オブジェクトに対しては、前記3次元データに代えて前記z軸に沿って新たに設置した単一のカメラによる2次元カメラ設定の時の前記2次元データについてレンダリング処理を行う2D画像データ処理機能61jを備えている。
【0243】
又、この収縮時補正制御部61Aは、前記温度差ΔTがΔT<0(レンズ1が収縮状態)の場合で、且つ|x|≦|xth|が成立する前記オブジェクトに対しては、更にオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z≧0と判定された場合に直ちに作動して前記第1のカメラ設定Aの条件で前記3次元データについてレンダリング処理を行う飛出側画像データ処理機能61aを備えている。
【0244】
更に、前記収縮時補正制御部61Aは、前記温度差ΔTがΔT<0の場合で且つ|x|≦|xth|が成立する前記オブジェクトに対しては、更にオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、オブジェクトの深度位置zが非飛出し側のz<0と判定された場合にz<0の3次元データに対して前記第2のカメラ設定Bの条件でレンダリング処理を行う非飛出側画像データ処理機能61bを備えている。
【0245】
そして、主演算制御部61の一部を成す前記収縮時補正制御部61Aは、上記2D画像データ処理機能61j,飛出側画像データ処理機能61a,及び非飛出側画像データ処理機能61bにてレンダリング処理された各画像データを合成処理する画像データ合成機能61cと、この合成された画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能61dとを備えている。
【0246】
これにより、レンチキュラーレンズ1が収縮した状態にある場合にも、飛出側および非飛出側にあるオブジェクトに対して、そのオブジェクトの3次元データを温度変化に対応してこれを有効に補正し、後述するように2D画像データを含む3D画像データにより、表示パネル11を有効に駆動することが可能となっている。
【0247】
又、膨張時補正制御部61Bでも、前述した収縮時補正制御部61Aの場合と同様の基準で特定し、以下に示す三つのデータ処理機能を実行し且つこれを合成して、前述した表示パネル駆動用の3D画像データ(合成画像データ)を出力するように構成されている。
【0248】
即ち、主演算制御部61の一部を成す膨張時補正制御部61Bは、前記補正環境判定部29で前記温度差ΔTがΔT>0の膨張した状態にあると判定された場合に作動して前記オブジェクトのx軸上の座標位置xを特定し且つ|x|>|xth|が成立する前記オブジェクトに対しては、前記3次元データに代えて前記z軸に沿って設置した単一のカメラに相当する2次元カメラ設定で得られる前記3次元データについて2Dのレンダリング処理を行う2D画像データ処理機能61kを備えている。
【0249】
又、前記膨張時補正制御部61Bは、前記温度差ΔTがΔT>0の場合で且つ|x|≦|xth|が成立する前記オブジェクトに対しては、更にオブジェクトの深度位置zが非飛出し側のz<0に位置するか否かを判定すると共に、z<0に位置すると判定された場合に直ちに作動して前記第1のカメラ設定Aの条件で前記3次元データについてレンダリング処理を行う非飛出側画像データ処理機能61eを備えている。
【0250】
更に、前記膨張時補正制御部61Bは、前記温度差ΔTがΔT>0の場合で且つ|x|≦|xth|が成立する前記オブジェクトに対しては、更にオブジェクトの深度位置zが飛出し側のz≧0に位置するか否かを判定すると共に、z≧0に位置すると判定された場合にz≧0の3次元データに対して前記第3のカメラ設定Cの条件でレンダリング処理を行う飛出側画像データ処理機能61fを備えている。
【0251】
そして、前記膨張時補正制御部61Bは、これら2D画像データ処理機能61k,非飛出側画像データ処理機能61e,および飛出側画像データ処理機能61fにてレンダリング処理された各画像データを合成処理する画像データ合成処理機能61gと、この合成処理された画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能61hとを備えている。
【0252】
これにより、レンチキュラーレンズ1が膨張した状態にある場合にも、飛出側および非飛出側にあるオブジェクトに対して、そのオブジェクトの3次元データを温度変化に対応してこれを有効に補正し、後述するように、2D画像データを含む3D画像データにより、表示パネル11を有効に駆動することが可能となっている。
【0253】
又、この第3実施形態にあっても、前記主演算処理部61には、当該主演算処理部61に送り込まれる前記オブジェクトにかかる3次元データについて、2次元画像情報をオブジェクト画像として、その奥行き情報(深度位置)をデプス画像として展開するデプス画像展開処理部22Bが併設されている。そして、このデプス画像展開処理部22Bが、前述した第1実施形態の場合と同様に、画素単位で前記奥行き情報(深度位置)に対応した階調値を設定すると共にこの設定される階調値の値を前記x軸上で特定される視差量に対応して特定する階調値特定機能を備え、前述した収縮時補正制御部61A及び膨張時補正制御部61Bの何れに対しても有効に機能するように組み込まれている。
その他の構成は、前述した第1実施形態の場合と同一となっている。
【0254】
(全体的動作)
次に、上記した本第3実施形態の全体的な動作を、
図20乃至
図22に基づいて説明する。
ここで、
図20は、本第3実施形態における3D画像データの生成動作の一例を示すフローチャートである。
この
図20において、ステップS301からS305までの動作は、前述した第1実施形態における
図6で開示したステップS101からS105と同一となっている。
【0255】
即ち、まず、温度センサ21を起動し、検出されたレンチキュラーレンズ1の温度Tと予め設定された基準温度Tth(第1実施形態では常温)との差分であるΔTを変形量算出部28で算出し(
図20:ステップS301/温度差算出工程)、続いて、レンダリング処理に必要な条件であるスクリーン面40とカメラ設定条件(第1のカメラ設定A)とが特定される(
図20:ステップS302)。
【0256】
その後、前述した温度差分ΔTと予め設定された判定閾値であるΔTthとの各絶対値の大きさが比較され、視差量の補正が必要か否かの判定が温度差判定部30で行われる(
図20:ステップS303/補正可否判定工程)。
【0257】
そして、|ΔT|≦|ΔTth|、の場合は、前述した3D画像データ生成機能51Gが稼働しレンチキュラーレンズ1の温度変化が少ないとして視差量の補正は不要とし、第1のカメラ設定Aの条件で3次元データが直ちにレンタリング処理され(
図20:ステップS304/画像処理工程)、続いて表示パネル駆動用の視差画像に変換され、
図22(A)に示すような3D画像データが生成され出力される(
図20:ステップS305/3D画像データ生成工程)。
【0258】
一方、
図20のステップS303における視差量補正の必要性有無の判定にあっては、|ΔT|>|ΔTth|、の場合は視差量の補正を必要とする。そして、前述した温度差ΔTの大きさによって閾値xthを設定する(
図20:ステップS307)。この閾値xthは、前述した第2実施形態でも開示したように、x軸上における3Dのレンダリング処理範囲を規定した閾値である。
【0259】
ここで、前述した第1実施形態の
図14に示したように、3D領域の大きさによって使用環境温度に対する立体視域は変化する。例えば、基準温度が25〔℃〕で使用環境温度が0〔℃〕の場合(ΔT=−25〔℃〕)、3D領域85〔%〕では立体視域はゼロとなるが、3D領域40〔%〕では立体視域が60〔%〕確保できている。
【0260】
このように、予め前述した温度差ΔTの大きさに応じて立体視域が確保できる3D領域、即ち、閾値xthをLUT(ルックアップテーブル)のような形や所定の関数などで規定することができる。
【0261】
次に、
図6のステップS107の場合と同様に、レンズが収縮方向にあるか膨張方向にあるかを検出するために、前述した温度差ΔTの符号判定(
図20:ステップS308)に進む。この温度差ΔTの符号判定は、補正環境判定部29で実行される。
そして、ΔT<0の場合はレンズ収縮状態であり、直ちに、オブジェクトのx軸の位置|x|と閾値xthの|xth|との大きさの判定(
図20:ステップS309)に進む。
【0262】
ここで、一例として
図21のオブジェクト42,43,43,42のそれぞれのx軸位置x1,x2,x3,x4に対して、本第3実施形態では、|x1|と|x2|とは|xth|より小さく、又|x3|と|x4|とは|xth|より大きいとする。
【0263】
この状況において、ステップS309の判定で|x|>|xth|を満たす場合、つまりオブジェクト43’,42’に対しては、カメラ設定条件として、カメラを2D(二次元データ用)に設定する(
図20:ステップS310)。このステップS310でのカメラ設定2Dを
図21に示すようなカメラ光軸をz軸と平行となるような2D設定とし、これによって特定される二次元データをレンダリング処理し(
図20:ステップS311)、オブジェクト42’,43’の2D画像データを得る。
【0264】
上記内容をまとめると以下のようになる。
即ち、前述した補正可否判定工程(
図20:ステップS303)にて前記温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合には、本第3実施形態では、次に、前記温度差ΔTの大きさに応じて変化する立体視域を確保可能とするx軸上の閾値xthを設定する。
ここで、この閾値xthは、前記ΔTの絶対値の値が大きくなるに従い小さく設定する(
図20:ステップS307/x位置用閾値設定工程)。
【0265】
次に、視差量の補正に必要な閾値xthが設定されると、視差量及びその補正を具体化するために、まず、前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か、或いは膨張状態を示すΔT>0の状態かを補正環境判定部29が判定する(
図20:ステップS308/補正環境判定工程)。
【0266】
このステップS308の補正環境判定工程で前記温度差ΔTがΔT<0の場合で前記レンチキュラーレンズ1が収縮した状態にあると判定された場合に、前記オブジェクトのx軸上の座標位置xが特定される。
【0267】
そして、この特定されたオブジェクトのx軸上の座標位置xを、基準値xthと比較し(
図20:ステップS309)、|x|>|xth|が成立するオブジェクト42’,43’に対しては、前記3次元データに代えて前記z軸に沿って設置した単一のカメラに相当する2次元カメラ設定2Dにより、2次元データを特定する(
図20:ステップS310)。同時に、この特定した2次元データについてレンダリング処理し、当該オブジェクト42’,43’についての2D画像データを得る(
図20:ステップS311/2D画像データ処理工程)。
【0268】
次に、前述したx軸上のオブジェクトの座標位置xを基準値と比較して|x|≦|xth|となるオブジェクトに対しては、z軸上の位置判定に付される(
図20:ステップS312)。この場合、オブジェクト42,43が対象となる。
ここからの処理(
図20:ステップS312乃至ステップS315)は、情報特定用のカメラ設定条件が一部異なるが、全体的には第1実施形態における
図6のステップS108乃至ステップS111とほぼ同様の処理が行われる。
【0269】
即ち、前述した温度差ΔTがΔT<0の場合で且つ|x|≦|xth|が成立する前記オブジェクトに対しては、更にオブジェクトの深度位置zが飛出し側のz≧0か否かを判断すると共に(
図20:ステップS312)、z≧0と判断されたオブジェクト43に対しては前記第1のカメラ設定Aで特定される3次元データについてレンダリング処理が行われる(
図20:ステップS313/飛出側画像データ処理工程)。
【0270】
又、前述した温度差ΔTがΔT<0で且つ|x|≦|xth|が成立する同一条件下で前記オブジェクトの深度位置zが飛出し側のz≧0か否かの判定(
図20:ステップS312)により、オブジェクトの深度位置zが非飛出し側のz<0と判定された場合に作動して前記第2のカメラ設定Bにより当該オブジェクト42の3次元データを特定すると共に(
図20:ステップS314)、この第2のカメラ設定Bの条件で前記3次元データについてレンダリング処理が行われる(
図20:ステップS315/非飛出側画像データ処理工程)。
【0271】
そして、前述した2D画像データ処理工程,飛出側画像データ処理工程,および非飛出側画像データ処理工程にてレンダリング処理された各画像データを合成処理し(
図20:ステップS314)、そして、この合成された画像データに基づいて前記表示パネル駆動用の3D画像データが生成される(
図20:ステップS305/3D画像データ生成工程)。
図22(B)に、この3D画像データ生成工程で生成されたオブジェクト42,43,42,43の3D画像データを示す。
【0272】
次に、
図20のステップS308に戻り、ΔT>0のレンズ膨張状態にある場合について、補正された状態の3D画像データの生成方法について説明する。
この場合は、オブジェクトのx軸の位置|x|と前述した閾値|xth|の大きさの判定(
図20:ステップS317)により、前述したレンズ収縮の場合と同様にレンダリングの対象が三つに分かれる。この場合の処理も、前述したレンズ収縮状態と同様の処理が行われるが、オブジェクトのx軸の位置|x|によって、視差の補正の関係から前述したレンズ収縮状態とは異なったカメラ設定が行われる。
【0273】
即ち、前記温度差ΔTがΔT>0のレンズ膨張した状態にあると判定された場合に作動して前記オブジェクトのx軸上の座標位置xを特定し且つ|x|>|xth|が成立するか否かが判定され(
図20:ステップS317)、|x|>|xth|が成立するオブジェクト42’,43’に対しては、前記z軸に沿って単一のカメラに相当する2次元カメラ設定が成され(
図20:ステップS318)、これにより特定されるオブジェクト42’,43’の2次元データについてレンダリング処理が行われる(
図20:ステップS319/2D画像データ処理工程)。
【0274】
又、前記温度差ΔTがΔT>0のレンズ膨張状態で且つ|x|≦|xth|が成立する前記オブジェクト42,43に対しては、更にオブジェクトの深度位置zが非飛出し側のz<0に位置するか否かを判定される(
図20:ステップS320)。そして、z<0に位置すると判定されたオブジェクト42に対しては前記第1のカメラ設定Aにより3次元データが特定され、当該特定されたオブジェクト42の3次元データについてレンダリング処理が行われる(
図20:ステップS321/非飛出側画像データ処理工程)。
【0275】
更に、前記温度差ΔTがΔT>0のレンズ膨張状態で且つ|x|≦|xth|が成立する前記オブジェクトに対しては、更にオブジェクトの深度位置zが飛出し側のz≧0に位置するか否かを判定される。
【0276】
そして、z≧0に位置すると判定されたオブジェクト43に対しては新たに前述した第3のカメラ設定Cで3次元データが特定され(
図20:ステップS322)、この特定されたオブジェクト43の3次元データについてレンダリング処理が行われる(
図20:ステップS323/飛出側画像データ処理工程)。
【0277】
そして、これら前記2D画像データ処理工程,非飛出側画像データ処理工程,および飛出側画像データ処理工程にてレンダリング処理された各画像データを合成処理され(
図20:ステップS324/画像データ合成処理工程)、これに基づいて前記表示パネル駆動用の3D画像データが生成される(
図20:ステップS305/3D画像データ生成工程)。
図22(C)に、この3D画像データ生成工程で生成されたオブジェクト42,43,42,43の3D画像データを示す。
【0278】
ここで、上述した本第3の実施形態にあって、その全体的な動作を詳述したが、この表示パネル駆動用の3D画像データの生成動作、即ち、上述したレンチキュラーレンズ1の温度測定処理から始まる一連のデータ処理工程における各情報処理内容については、これをプログラム化し前記立体画像生成手段60Aが備えているコンピュータに実現させるように構成してもよい。このようにしても、前述した発明の目的を有効に達成することができる。
【0279】
以上のように本第3の実施形態によると、前述した第1実施形態の場合と同等の作用効果を有するほか、更に、2Dと3Dが混在した画像データを得ることができ、また、3D領域を温度差ΔTに対応して規定するようにしたので、使用環境温度が大きく変化した場合でも、常に立体視域が確保し得る効果がある。又、使用環境に応じて特定の視差方向に対して視差量コントロールを行っているため、臨場感を損なわずに立体視域を確保することができるという利点が得られる。
【0280】
尚、オブジェクトのx軸の位置が閾値(補正基準値)xthを跨ぐように存在する場合においては、ステップS314若しくはステップS322での合成処理において、2Dと3D画像の境目であるxth近傍のz位置を、|xth|−|x|の値に応じて線形或いは非線形の関数を用いてスクリーン面(z=0)に近づける処理を加えることもできる。これにより、自然な2Dと3Dが混在した画像データを得ることができる。
【0281】
〔変形例(1)〕
次に、上記第3実施形態の変形例(1)を、
図23(A)に基づいて説明する。
上述した第3実施形態でも、深部を示すz軸情報の処理に際しては、前述した第1実施形態の場合と同様にz値変換処理を行うことが可能であり、
図23(A)にこれを示す。
ここで、前述した
図19(A)(B)の第3実施形態と同一の構成部材については同一の符号を用いるものとする。
【0282】
この
図23(A)は、第3実施形態の変形例(1)における主演算制御部61の各構成要素を示すブロック図である。そして、この第3実施形態の変形例(1)では、
図23(A)に示すように、第3実施形態における主演算処理部61に代えて主演算処理部62を採用した。
【0283】
この変形例(1)における主演算処理部62は、
図23(A)に示すように、収縮時補正制御部62Aにおいては、
図19(B)の二次元画像データ処理機能61jに代えてx軸閾値外z=0処理機能62jを、同じく非飛出側画像データ処理機能61bに代えて非飛出側z値変換処理機能62bを、それぞれ備えている点に特徴を有する。
【0284】
z値変換処理機能については、x軸閾値外z=0処理機能62jでは|x|>|xth|を満たすオブジェクトに対してz=0となる処理を行い、又、非飛出側z値変換処理機能62bでは|x|≦|xth|を満たし且つz<0のオブジェクトの|z|に対して補正係数ηを乗じてz値変換(元のz値よりは小さくなる方向)を行う。
【0285】
ここで、非飛出側z値変換処理機能62bの補正係数ηは数値の1未満であり、z値の大きさ如何に依らず一定でもよいし、z値の大きさによっては線形若しくは非線形に補正係数を変化させてもよい。
【0286】
更に、前述した
図19(B)の画像データ合成機能61cに代えて、|x|≦|xth|を満たす飛出側画像データ処理機能61aとz値変換された非飛出側z値変換処理機能62b,及び|x|>|xth|を満たすx軸閾値外z=0処理機能62jに対して同一のカメラ設定(例えば第1カメラ設定A)を用いてレンダリング処理を行う全領域一括データ処理機能を備えている点にも特徴を有する。
【0287】
また、この変形例(1)では、前述した第3実施形態の膨張時補正制御部61Bについても適用され、当該膨張時補正制御部61Bに代えて膨張時補正制御部62Bが装備されている。
【0288】
即ち、この変形例(1)では、
図23(A)に示すように、主演算制御部62の膨張時補正制御部62Bにあっては、二次元画像データ処理機能61kに代えてx軸閾値外z=0処理機能62kを、同じく飛出側画像データ処理機能61fに代えて飛出側z値変換処理機能62fを、それぞれ備えている点に特徴を有する。
z値変換処理機能については、前述した収縮時補正制御部62Aの場合に比較して、飛出側z値変換処理機能62fの対象オブジェクトがz≧0であることを除けば同様である。
【0289】
更に、この変形例(1)では、膨張時補正制御部62Bにおいても、前述した
図19(B)に開示した3D画像データ合成機能61gに代えて、
図23(A)に示すように、同一のカメラ設定(例えば第1のカメラ設定A)を用いてレンダリング処理を行う全領域一括画像データ処理機能62gを装備した点に特徴を有する。
【0290】
換言すると、この場合、前記二次元画像データ処理機能61kに代えて、|x|≦|xth|を満たすオブジェクトに対してz=0となる処理を行うx軸閾値外z=0処理機能62kを備えると共に、前記飛出側画像データ処理機能61fに代えて、|x|>|xth|を満たし且つz≧0のオブジェクトの|z|に対して元のz値よりも小さくなる方向の補正係数κを乗じてz値変換を行う飛出側z値変換処理機能62fを備えた特徴を有する。
【0291】
これにより、収縮時補正制御部62Aにあっては、x軸閾値外z=0処理機能62jと飛出側画像データ処理機能61aと非飛出側z値変換処理機能62bとの間で、又、膨張時補正制御部62Bにあっては、x軸閾値外z=0処理機能62kと非飛出側画像データ処理機能61eと飛出側z値変換処理機能62fとの間で、それぞれカメラ設定を変える必要もなくなり、更に画像データ合成機能61c,61gも不要となることから、システム側(特に主演算制御部)の負荷を大幅に軽減させることができ、画像処理の迅速化も図り得るという利点がある。
その他の構成およびその作用効果は、前述した第3実施形態の場合と同一となっている。
【0292】
〔変形例(2)〕
次に、上記第3実施形態における変形例(2)を、
図23(B)乃至
図25に基づいて説明する。
この第3実施形態における変形例(2)は、前述した
図19乃至
図22に開示した説明にあって、オブジェクトのz軸の位置によるカメラ位置設定変更を除いたものであり、これによりレンズ収縮/膨張の判定を不要とした点に特徴を有する。
【0293】
このため、レンチキュラーレンズ1の収縮及び膨張のどちらの場合でも、これに対応して、その全体的な動作が、
図24のステップS351からステップS356に示すように、シンプルな動作内容となっている。
【0294】
以下、これについて説明する。
まず、この第3実施形態の変形例(2)においては、
図19(A)の主演算制御部61に代えて、
図23(B)に示す主演算制御部63が使用されている。
この主演算制御部63には、前述した第3実施形態の場合と同様に、温度差判定部30によって前記温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合に作動して前記温度差ΔTの大きさに応じて変化すると共に立体視域を確保可能とするx軸上の閾値xthを設定するx位置用閾値設定部52が併設されている。この場合、x軸上の閾値xthは、前述した
図19(A),
図19(B)の第3実施形態の場合と同様に、前記ΔTの絶対値の値が大きくなるに従い小さくなるように設定されている。
【0295】
そして、前述した主演算制御部63が、前記各オブジェクトのx軸上の座標位置xを特定すると共に、|x|>|xth|が成立する前記オブジェクトに対しては、前記3次元データに代えて前記z軸に沿って設置した単一のカメラに相当する2次元カメラ設定の時の2次元データについてレンダリング処理を行う2D画像データ処理機能63aを備えている。
【0296】
又、前述した主演算制御部63は、前記x軸上の座標位置xに対して|x|≦|xth|が成立する前記オブジェクトに対しては、直ちに作動して前記第1のカメラ設定Aの条件で前記3D画像データについてレンダリング処理を行う3D画像データ処理機能62bを備えている。
【0297】
更に、前述した主演算制御部63は、前記2D画像データ処理機能63aおよび3D画像データ処理機能63bにてレンダリング処理された各画像データを合成処理する画像データ合成機能63cと、この合成処理された画像データに基づいて前述した表示パネル駆動用の3D画像データを生成し出力する3D画像データ生成機能63dを備えている。その他の構成は、前述した
図19(A)に示す前述した第3実施形態と同一となっている。
【0298】
次に、上記構成内容についての全体的動作を説明する。
まず、
図24において、ステップS301からステップS306は、前述した
図20(第3実施形態)におけるステップS301からステップS306がそのまま組み込まれ、同様に機能する。
図25(A)に、
図24のステップS304で得られた3D画像データを示す。
【0299】
続いて、前述した第3実施形態の場合と同様に、ステップS503の補正可否判定工程にて温度差判定部30によって前記温度差ΔTが|ΔT|≦|ΔTth|か否かが判定される。イエス(Yes)の場合は視差補正不要であり、ノー(No)の場合は視差補正は必要と判定される。
【0300】
ここで、|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合に作動して、前記温度差ΔTの大きさに応じて変化する立体視域を確保可能とするx軸上の閾値xthが、前述したX位置用しきい値設定部52が設定される(
図24:ステップS351/x位置用閾値設定工程)。この場合、この閾値xthは、前記ΔTの絶対値の値が大きくなるに従い小さく設定される。
【0301】
次に、
図24に示す各オブジェクト(例えば、42,43,42,43)のx軸上の座標位置xを特定すると共に|x|>|xth|が成立するか否かが判定される(
図24:ステップS352)。
【0302】
そして、|x|>|xth|が成立するとされた前記オブジェクト42’,43’のデータは、前記3次元データに代えて設定される前記z軸に沿った単一カメラ(
図21参照)による2次元カメラ2Dによって特定される(
図24:ステップS353)。この2次元カメラ2Dの設定条件は、前述したカメラ設定情報記憶部22Aに記憶されており、これに基づいて主演算制御部63により設置される。
【0303】
そして、この2次元カメラ設定2Dに基づいて得られる2次元データについて、レンダリング処理が行われる(
図24:ステップS354/2D画像データ処理工程)。
【0304】
続いて、x軸上の座標位置xに対して|x|≦|xth|が成立するオブジェクト42,43に対しては、前述した第1のカメラ設定Aの条件で前記オブジェクト42,43の3次元データについてレンダリング処理が行われる(
図24:ステップS354/3D画像データ処理工程)。
【0305】
そして、上記2D画像データ処理工程および3D画像データ処理工程にてレンダリング処理された各画像データは合成処理され(
図24:ステップS357)、これに基づいて前記表示パネル駆動用の3D画像データが生成される(
図24:ステップS306/3D用画像データ生成工程)。
図25(B)に、
図24のステップS357で得られた3D画像データを示す。
【0306】
尚、温度差ΔTが|ΔT|≦|ΔTth|と判定され視差補正不要とされたの場合の画像生成処理(
図24:ステップ301乃至ステップ305)は、前述した第3実施形態における画像生成処理(
図20:ステップ301乃至ステップ305)と同一内容となっており、前述した第3実施形態の場合と同様に、上述した
図24のステップ351乃至ステップ354の実行に先立って、予め実行される。その他の構成およびその作用効果は、前述した第3実施形態の場合と同一となっている。
【0307】
ここで、前述した本第3の実施形態の変形例(2)における全体的な動作にあって、
図24のステップ301からステップS304における各データ処理および比較判定等の各動作、及びステップ351からステップS359における各データ処理及び比較判定等の各動作(即ち、各工程における実行内容)にあっては、これをプログラム化し前述した立体画像生成手段60Aが備えているコンピュータに実現させるように構成してもよい。
【0308】
この第3実施形態における上記変形例(2)にあっては、レンダリング処理によって視差画像を展開する例を中心に示しているが、本発明はこれに限定されず,前述した第1実施形態と同様にデプス画像に展開することも可能となっている。
【0309】
即ち、前述した主演算制御部61,62,63には、
図19(A)に示すように、当該主演算制御部61,62,63に送り込まれる前述したオブジェクトにかかる3次元データについて、2次元画像情報とその奥行き情報(深度位置)zを有するデプス画像として展開するデプス画像展開処理部22Bが併設されている。そして、このデプス画像展開処理部22Bが、画素単位で前記奥行き情報(深度位置)に対応した階調値を設定すると共に、この設定される階調値の値を前記x軸上で特定される2次元画像情報の視差量に対応して特定する階調値特定機能を備えている。
【0310】
このため、上記各主演算制御部61,62,63は、デプス画像展開処理部22Bの階調値特定機能を前述した各オブジェクト各オブジェクト42,43,42,43に対して適用することにより、これをデプス画像として展開することが可能となっている。
【0311】
この第3実施形態の変形例(2)にあっては、上述したようにレンチキュラーレンズ1の収縮および膨張の判定動作が不要となり、どちらの場合でも
図24のステップS351乃至ステップS357の単純化されたデータ処理により前述した表示パネル駆動用の3D画像データを生成することが可能となるという利点がある。
【0312】
また、前述した第3実施形態では、前述したように、3D領域を温度差ΔTに対応して規定するようにしたので、使用環境温度が大きく変化した場合でも、常に立体視域が確保し得る効果がある。特にパネルサイズが大きくなる場合は、両眼間隔IPDに比べてパネル幅が大きくなるため、パネル外端の温度変化の影響が更に大きくなるが、この場合パネルサイズに対する閾値xthの割合を小さくすると立体視域の確保に対して非常に有効である。又、使用環境に応じて特定の視差方向に対して視差量コントロールを行っているため、臨場感を損なわずに立体視域を確保することができるという利点がある。更に、第3実施形態ではオブジェクト位置xがxthより大きい場合は、2D処理を行うためシステム負荷を削減する事ができるメリットがある。それに加えて、上記変形例では、レンズ収縮と膨張判定毎の動作を統合しているため、その結果、動作が単純化され、システムの負荷を大幅に削減することができるという利点もある。
【0313】
尚、本第3の実施形態およびその変形例(1)(2)にあっては、2視点の場合について開示したが、本発明はこれに限定されるものではなく、N視点でも同様に適用することができる。
【0314】
〔第4の実施の形態〕
次に、本発明の第4実施形態およびその変形例を、
図26乃至
図33に基づいて説明する。ここで、前述した第1実施形態と同一の構成部材については同一の符号を用いるものとする。
【0315】
この第4の実施形態では、3D画像データとしてデプスマップを用い、その使用環境温度に応じて当該デプスマップについてグレースケールの変換(階調値補正)を行い、これによって、レンチキュラーレンズ1の膨張又は収縮に対しても、これに対応して立体視域を有効に確保するようにしたものである。
【0316】
以下、これを、前述した第1実施形態の記載内容を前提として説明する。
ここで、本第4実施形態については、最初に全体内容を説明し、その後に、本第4実施形態の変形例を説明する。
【0317】
(構成)
本第4実施形態における立体表示装置は、前述した第1実施形態の場合と同様に、立体表示パネル11を駆動制御する表示コントローラ部70を備えている。この表示コントローラ部70には、後述する各構成要素全体の動作を個別に規制する主演算制御部71を備えた立体画像生成手段70Aが装備されている(
図26(A)参照)。
【0318】
この立体画像生成手段70Aは、
図26(A)に示すように、予めレンタリング処理され深度情報を有するデプスマップからなる3D画像データをデータ記憶部25に格納する対象画像データ設定部77と、温度センサ21から検出される検出温度の前記基準温度に対する温度差ΔTの絶対値が予め設定した基準値ΔTthの絶対値以下か否かを演算すると共に、深度情報としてのz軸情報を含む前記デプスマップ表示面(スクリーン面/xy平面上)にあってx軸上で特定される各オブジェクトの視差量に対してその補正を必要とする温度環境であるが否かを判定する温度差判定部30と、これら各部の動作を規制する上述した主演算制御部71とを備えている。ここで、デプスマップとは
図28(A)に示すように、2次元画像情報であるオブジェクト画像とその奥行き情報(深度位置)zを有するデプス画像から構成される3D画像データである。
【0319】
この内、主演算制御部71は、前述した温度差判定部30によって前記温度差ΔTが、|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定がなされた場合に作動し、データ記憶部25に格納された画像データの内の、前記深度情報を保持する2次元の3D画像データを、前記表示パネル駆動用として出力する3D画像データ生成機能71Gを備えている(
図26(B)参照)。
【0320】
この主演算制御部71には、前述した第1実施形態の場合と同様に、温度差判定部30によって前記温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合に作動し、レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か或いは膨張状態を示すΔT>0の状態かを判定する補正環境判定部29が併設されている。
【0321】
更に、この主演算制御部71は、前述した第1実施形態の場合と同様に、レンチキュラーレンズ1の収縮時(ΔT<0の状態)に稼働する収縮時補正制御部71Aと、レンチキュラーレンズ1が膨張時(ΔT>0の状態)に稼働する収縮時補正制御部71Bとを備えている。
【0322】
この内、収縮時補正制御部71Aでは、前述した各実施形態の場合とは異なる以下に示す二つのデータ処理機能を実行し且つその結果を合成して、前述した表示パネル駆動用の3D画像のデプスマップ(合成デプスマップ)を出力するように構成されている。
【0323】
即ち、この主演算制御部71の一部を成す収縮時補正制御部71Aは、
図26(B)に示すように、前記温度環境判定部29によって温度差ΔTがΔT<0で前記レンチキュラーレンズ1が収縮状態にあると判定された場合に機能し、前記オブジェクトの深度が飛出し側のz≧0に位置し且つそのデプス階調が全体の階調の中間値以上か否かを判定すると共に、z≧0に位置し且つそのデプス階調が全体の階調の中間値以上と判定された場合にはこれをグレースケール変換することなく保持する階調値非変換処理機能71aを備えている。
【0324】
又、前記収縮時補正制御部71Aは、同じく、前記補正環境判定部29によって温度差ΔTがΔT<0で前記レンチキュラーレンズ1が収縮状態あると判定された場合に機能し、前記オブジェクトの深度がz軸上の飛出し側とは反対の側z<0に位置して且つそのデプス階調が全体の階調の中間値以下と判定された場合には、これを元のデプス情報よりも階調値が大きく得られる第1の階調変換でグレースケール変換してこれを保持する階調値変換処理機能71bを備えている。
【0325】
そして、この主演算制御部71の一部を成す前記収縮時補正制御部71Aは、前述した階調値非変換処理機能71aおよび前記階調値変換処理機能71bにてそれぞれ保持されたデプス画像データを合成処理するデプス画像データ合成機能71cと、この合成されたデプス画像データに基づいてデプスを有する2次元の3Dデプス画像データを生成し前記表示パネル駆動用として出力する合成デプス画像データ生成機能71dを備えている。
【0326】
これにより、レンチキュラーレンズ1が収縮状態に有る場合にも、飛出側および非飛出側にあるオブジェクトに対して、その収集したデプス情報を温度変化に対応してこれを有効に補正し3Dデプス画像データとして前述した表示パネルを有効に駆動することが可能となっている。
【0327】
又、主演算制御部71の一部を成す前述した膨張時補正制御部71Bでも、前述した収縮時補正制御部71Aの場合と同様の基準で、以下に示す二つのデータ処理機能を実行し且つこれを合成して、前述した表示パネル駆動用の3Dデプス画像データ(合成デプス画像データ)を出力するように構成されている。
【0328】
即ち、膨張時補正制御部71Bは、前記補正環境判定部29によって温度差ΔTがΔT>0でレンチキュラーレンズ1が膨張状態にあると判定された場合に作動して前記オブジェクトの深度が非飛出し側のz<0に位置し且つそのデプス階調が全体の階調の中間値以下か否かを判定すると共に、前記オブジェクトの深度がz<0に位置し且つそのデプス階調が全体の階調の中間値以下と判定された場合にはこれをグレースケール変換することなく保持する階調値非変換処理機能71eを備えている。
【0329】
又、この膨張時補正制御部71Bは、同じく、前記補正環境判定部29によって前記温度差ΔTがΔT>0で前記レンチキュラーレンズ1が膨張状態にあると判定された場合に作動して前記オブジェクトの深度が飛出し側のz<0に位置し且つそのデプス階調が全体の階調の中間値以下か否かを判定すると共に、前記オブジェクトの深度がz≧0に位置して且つそのデプス階調が全体の階調の中間値以上と判定された場合にこれを元のデプス情報よりも階調値が小さく得られる第2の階調変換でグレースケール変換し保持する階調値変換処理機能71fを備えている。
【0330】
そして、この主演算制御部71の一部を成す膨張時補正制御部71Bは、前記階調値非変換処理機能71eおよび前記階調値変換処理機能71fにてそれぞれ保持されたデプス画像データを合成処理するデプス画像データ合成機能71gと、この合成されたデプス画像データに基づいてデプスを有する2次元の3D画像データを生成し前記表示パネル駆動用として出力する合成画像データ生成機能71hとを備えている。
【0331】
これにより、レンチキュラーレンズ1が膨張した状態にある場合にも、飛出側および非飛出側にあるオブジェクトに対して、その収集したデプス情報を温度変化に対応してこれを有効に補正し3Dデプス画像データとして前述した表示パネルを有効に駆動することが可能となっている。
その他の構成は、前述した第1実施形態の場合と同一となっている。
【0332】
(全体的動作)
次に、上記第4実施形態の全体的な動作を、
図27乃至
図30に基づいて説明する。
ここで、
図27は、本第4実施形態における3Dデプス画像データの生成動作の一例を示すフローチャートである。
【0333】
この
図27に示すように、本第4実施形態では、まず、レンチキュラーレンズ1を含む環境温度Tが温度センサ21によって測定され前述した基準温度Tthとの温度差ΔTが変形量算出部28によって算出される(
図27:ステップS401/温度差特定工程)。
【0334】
次に、補正の対象となるデプスマップAが設定され、3D画像データとして前述したデータ記憶部25に格納される(
図27:ステップS402)。
【0335】
ここで、デプスマップは,最大階調幅を256階調とし、中間部分に位置する128階調をスクリーン面40(z軸が原点0の位置)とし、この128階調よりも小さい階調方向を奥側(z軸が負に相当)、又この128階調よりも大きい階調方向を手前側(z軸が正に相当)と定義する。かかる定義情報は、予め前述したデータ記憶部25に格納されているものとする。
【0336】
次に、温度差ΔTに対するデプス補正の判定が行われ、補正不要の場合はデプスマップAがそのまま3D画像データとして採用される。
即ち、変形量算出部28によって算出された温度差ΔTと予め設定された基準値ΔTthとの絶対値が温度差判定部30で比較され、|ΔT|>|ΔTth|の場合には前記3D画像データの視差量についての補正、すなわちデプス補正が必要と判定される(
図27:ステップS403/補正可否判定工程)。
【0337】
一方、このステップS403(補正可否判定工程)で、前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正不要の温度環境であるとの判定が成された場合には、前記データ記憶部に格納された3D画像データが、深度情報を有する2次元の3Dデスプマップ画像データとして出力される(
図27:ステップS404/3Dデプス画像データ生成工程)。
図28(A)に、この場合のデプスマップAの一例を示す。
【0338】
これに対して、前述したように、ステップS403の補正可否判定工程で、|ΔT|>|ΔTth|との判定がなされデプス補正が必要とされた場合は、続いて、前記レンチキュラーレンズ1の収縮状態又は膨張状態の判定が行われる(
図27:ステップS406/補正環境判定工程)。
【0339】
即ち、このステップS406の補正環境判定工程では、前記温度差ΔTが、|ΔT|>|ΔTth|でありデプス補正を必要とする温度環境であるとの判定が成された場合に作動し、前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か或いは膨張状態を示すΔT>0の状態かを判定される。そして、レンチキュラーレンズ1が収縮状態を示すΔT<0の状態の場合には、その補正としてレンズ収縮状態に対する補正が必要となる。
このレンズ収縮状態(ΔT<0)の場合の補正は、以下の如く手順で実行される。
【0340】
まず、前記補正環境判定工程(
図27:ステップS406)で、前記温度差ΔTがΔT<0でレンチキュラーレンズ1が収縮状態にあると判定された場合に作動して前記オブジェクトの深度が飛出し側のz≧0に位置し且つそのデプス階調が全体の階調の中間値以上か否かを判定すると共に、オブジェクトの深度がz≧0に位置し且つそのデプス階調が全体の階調の中間値以上と判定された場合には、これをグレースケール変換することなくデータ記憶部25に保持される(
図27:ステップS407/階調値非変換処理工程)。
【0341】
又、前述した温度差ΔTがΔT<0でレンチキュラーレンズ1が収縮状態の(
図27:ステップS406/補正環境判定工程)で、前記オブジェクトの深度が飛出し側のzが、z<0に位置して且つそのデプス階調が全体の階調の中間値以下と判定された場合には、これを元のデプス情報よりも階調値が大きく得られる第1の階調変換でグレースケール変換しこれを保持する(
図27:ステップS408/階調値変換処理工程)。
【0342】
具体的には下記の如くなる。
即ち、前述した補正が必要の場合は、ステップS406でレンズ収縮/膨張の判定が行われ、レンズ収縮状態の場合(ΔT<0)はステップS407に進む。ステップS407では、前述したようにオブジェクトのz軸の位置が正(即ち、デプス階調値が128以上)かどうかの判定が行われ、128以上の場合はデプスマップAの情報をそのまま適用する。
【0343】
一方、オブジェクトのz軸の位置が負(即ち、デプス階調値が128より小さい)かどうかの判定を行い、デプス階調値が128より小さいオブジェクト81a,82bに対しては上述したグレースケール変換A(
図27:ステップS408参照)を行い、
図28(B)のオブジェクト82a,82bに相当する階調に補正する。
【0344】
このとき、オブジェクト82a,82bは、81a,81bと比較して大きな階調値となるが、このグレースケール変換Aで用いるパラメータは、ΔTとデータ記憶部25に保持されている内容(即ち、表示パネルを構成する材料の実効的線膨張係数差、パネルサイズ、パネル解像度、3Dストローク)が挙げられる。これらの内、温度差ΔT以外のパラメータについては定数として扱うことができ、変数としてはΔTのみとなる。
【0345】
又、グレースケール変換Aでは、ΔTの大きさ応じて階調値を大きくする補正処理を行うが、元のデプスマップAの階調値が小さければ小さいほど階調値補正量を大きくするようにし、元の階調値に応じた補正処理を適用するようにしてもよい。
【0346】
続いて、上記階調値非変換処理工程および前記階調値変換処理工程にてそれぞれ保持されたデプス画像データを、デプス画像合成処理機能71cによって合成処理し(
図27:ステップS409/デプスマップBの生成)、続いて、この合成処理されたデプス画像データに基づいて3Dデプス画像生成機能71dがデプスを有する2次元の3D画像データを生成し表示パネル駆動用の立体デプス画像データとして出力する(
図27:ステップS404/3Dデプス画像データ生成工程)。
【0347】
ここで、上記ステップS407からステップS409までの処理を、階調処理C部と定義する。この階調処理C部の動作制御は、上述した収縮時補正制御部71Aにより実行される。
【0348】
次に、温度差ΔTがΔT>0のレンズ膨張状態にある場合には、以下のようになる。
まず、前述した温度環境判定工程で温度差ΔTがΔT>0で前記レンチキュラーレンズ1が膨張状態にあると判定された場合に作動し、前記オブジェクトの深度が非飛出し側のz<0に位置するか又はそのデプス階調が全体の階調の中間値以下か否かが判定される。そして、前記オブジェクトの深度がz<0に位置し且つそのデプス階調が全体の階調の中間値以下と判定された場合にはこれをグレースケール変換することなく保持する(
図27:ステップS410/階調値非変換処理工程)。
【0349】
又、前述した温度環境判定工程で前記温度差ΔTがΔT>0でレンチキュラーレンズ1が膨張状態にあり、同時に前記オブジェクトの深度が非飛出し側のz<0に位置するか又はそのデプス階調が全体の階調の中間値以下か否かの判定(ステップS410)で、前記オブジェクトの深度がz≧0に位置して且つそのデプス階調が全体の階調の中間値以上と判定された場合には、これを元のデプス情報よりも階調値が小さく得られる第2の階調変換(グレースケール変換B)でグレースケール変換してこれを保持する(
図27:ステップS411/階調値変換処理工程)。
【0350】
そして、前述した階調値非変換処理工程および前記階調値変換処理工程にてそれぞれ保持されたデプス画像データは、デプス画像合成機能71gによって合成処理され(
図27:ステップS412/デプスマップCの生成)、続いて、この合成処理されたデプス画像データに基づいて3Dデプス画像生成機能71hがデプスを有する2次元の3D画像データを生成し表示パネル駆動用の立体デプス画像データとして出力する(
図27:ステップS404/3D用デプス画像データ生成工程)。
【0351】
ここで、上記ステップS410からステップS412までの処理を、階調処理D部と定義する。この階調処理D部の動作制御は、上述した膨張時補正制御部71Bにより実行される。
【0352】
具体的には下記の如くなる。
即ち、ΔT>0のレンズ膨張状態にある場合には、上述したように、まず、
図27のステップS410に進む。ここでは、オブジェクトのz軸の位置が負(z<0、即ち、デプス階調値が128以下かどうか)の判定を行われ(ステップS410)、デプス階調値が128以下の場合はデプスマップAの情報をそのまま適用する。
【0353】
又、オブジェクトのz軸の位置が正である(z≧0、即ち、デプス階調値が128より大きい)オブジェクト、例えばオブジェクト81c,81dに対してはグレースケール変換B(ステップS411)を行い、
図28(C)のオブジェクト83c,83dに相当する階調に補正する。
【0354】
この場合、オブジェクト83c,83dは、前述したオブジェクト81c,81dと比較して小さな階調値となり、このグレースケール変換Bで用いるパラメータも前述した変換Aの場合と同様である。
【0355】
ここで、グレースケール変換BではΔTの大きさに応じて階調値を小さくする補正処理を行うが、元のデプスマップAの階調値が大きければ大きいほど階調値補正量を大きくするようにし、元の階調値に応じた補正処理を適用するようにしてもよい。
続いて、合成処理(
図27:ステップS412)により、
図28(C)に示すようなデプスマップCを得る。
【0356】
ここで、上記ステップS410からステップS412までの処理を、階調処理D部と定義する。この階調処理D部の動作制御は、上述した膨張時補正制御部71Bにて実行される。
【0357】
前述した
図27のフローチャートで示した階調処理C部および階調処理D部の処理については、上述した処理に加えて、ΔTの大きさとオブジェクトのx軸の位置の大きさに応じて、それぞれ階調値補正を行うことができる。
図29と
図30にその例を示す。
【0358】
この内、
図29は、オブジェクトのx軸の位置に対して階調値補正量をLUT(ルックアップテーブル)のような形や所定の関数などで規定して処理を行う例である。
ここで、
図29(A)のデプスマップAに対して、
図29(B)に示すデプスマップBは、画面中心に近いx1に位置するオブジェクト85bより、画面端に近いx4に位置するオブジェクト85aの階調補正量を大きくした処理を加えている。
【0359】
これと同様に、
図29(C)に示すデプスマップCは、画面中心に近いx2に位置するオブジェクト86dより、画面端に近いx3に位置するオブジェクト86cの階調補正量を大きくした処理を加えている。
【0360】
また、
図30は、ΔTの大きさによって基準値xthを設定し、オブジェクトのx軸の位置が|x|>|xth|となる場合は、階調値を2Dと同じ128とした例である。
この場合、オブジェクトのx軸の位置x1〜x4に関しては、|x1|と|x2|は|xth|より小さく、|x3|と|x4|は|xth|より大きいとした場合、
図29(a)のデプスマップAに対して、
図29(b)に示すデプスマップBは、x軸上でx3に位置するオブジェクト88aとx4に位置するオブジェクト88cの階調がそれぞれ128となっている。
【0361】
同様に、
図29(c)に示すデプスマップCは、x軸上でx3に位置するオブジェクト89aとx4に位置するオブジェクト89cの階調がそれぞれ128となっている。
【0362】
ここで、上述した第4実施形態の上記全体的な動作にあって、各工程の実行内容をプログラム化し、これを前述した立体画像生成手段70Aが備えているコンピュータに実行させるように構成してもよい。
【0363】
以上のように、本第4実施形態にあっては、前述した
図27のフローチャートで示した階調処理C部や階調処理D部の処理については、ΔTの大きさとオブジェクトのx軸の位置の大きさに応じて、それぞれ上述したように階調値補正を行うことができる。
尚、その他の構成およびその作用効果については、前述した第1実施形態の場合と同一となっている。
【0364】
〔変形例〕
次に、本第4実施形態における変形例を
図31乃至
図33に基づいて説明する。
この第4実施形態における変形例は、前述した
図27乃至
図30(第4実施形態)に開示した説明にあって、オブジェクトのz軸の符号、即ち、z=0の面の階調値128に対する大小に関わらず、デプスマップAに対して一様にグレースケール変換を行うようにした点に特徴を有する。このため、オブジェクトの深度のz≧0又はz<0によって異なった階調値補正をした後にこれを合成するという手法は、本変形例では採用していない。
【0365】
以下、これを説明する。
まず、本第4実施形態の変形例においては、
図26(A)の主演算制御部71に代えて同等の機能を備えた主演算制御部72が使用されている(
図31参照)。
この内、主演算制御部72は、
図31に示すように、前述した温度差判定部30によって前記温度差ΔTが、|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定がなされた場合に作動し、データ記憶部25に格納された3D画像データとして視差量に対応した深度情報を保持する2次元の3D画像データを前記表示パネル駆動用として出力する3D画像データ生成機能72Gを備えている。
【0366】
又、上記主演算制御部72には、前述した第4実施形態の場合と同様に、温度差判定部30によって前記温度差ΔTが、|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合に作動し、前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か或いは膨張状態を示すΔT>0の状態か、を判定する補正環境判定部29が併設されている。
【0367】
更に、この主演算制御部72は、前述した補正環境判定部29の判定結果に対応して階調値を増大制御又は減少制御する階調値補正制御機能72Aを備えている。
この階調値補正制御機能72Aは、前述した補正環境判定部29によって前記温度差ΔTがΔT<0で前記レンチキュラーレンズ1が収縮状態にあると判定された場合に作動し、各オブジェクトの深度位置に無関係にデプスマップ全体を対象として元のデプスマップ情報よりも階調値が大きく得られる第3の階調変換(グレースケール変換C)でグレースケール変換し保持する階調値増大変換処理機能72aを備えている。
【0368】
又、この主演算処理部72の階調値補正制御機能72Aは、前述した前記温度環境判定部29によって前記温度差ΔTがΔT>0で前記レンチキュラーレンズ1が膨張状態にあると判定された場合に作動し、各オブジェクトの深度位置に無関係にデプスマップ全体を対象として元のデプスマップ情報よりも階調値が小さく得られる第4の階調変換(グレースケール変換D)でグレースケール変換し保持する階調値減少変換処理機能72bを備えている。
【0369】
そして、上述した主演算処理部72の階調値補正制御機能72Aは、更に、階調値増大変換処理機能72a又は階調値減少変換処理機能72bによってそれぞれ処理されたデプス画像データについて3Dデプス画像処理を行い、前記表示パネル駆動用の3Dデプス画像処理データとして出力する3D画像データ生成機能72cを備えている。
その他の構成は、前述した
図26(A)に示す第4実施形態と同一となっている。
【0370】
次に、上記構成内容について、その全体的な動作を説明する。
まず、
図32に示すように、装置全体の稼働開始と共に温度センサ21を起動させてレンチキュラーレンズ1の温度測定を開始し、同時に前述した第4実施形態の場合と同様に基準値との温度差ΔTを算出する(
図32:ステップS401)。
このステップS401からステップS404(3D画像データ生成工程)およびステップS405(ΔTの更新)に至る一連の工程は、前述した第4実施形態の場合と同一となっている。
【0371】
ここで、前述した第4実施形態の場合と同様に、この変形例においても、補正可否判定工程(
図32:ステップ403)にあっては、温度差ΔTが|ΔT|≦|ΔTth|が成立するか否かが温度差判定部30により判定される。そして、成立する場合は、前述した第4実施形態の場合と同様に補正不要となり、ステップS404に移行する。
一方、温度差判定部30により前記温度差ΔTが|ΔT|>|ΔTth|の場合は、前記視差量の補正を必要とする温度環境であるとの判定され、続いて、前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か,或いは膨張状態を示すΔT>0の状態か,が補正環境判定部29で判定される(
図32:ステップS451/補正環境判定工程)。
【0372】
そして、この補正環境判定工程(
図32:ステップS451)によって前記温度差ΔTがΔT<0で前記レンチキュラーレンズ1が収縮状態にあると判定された場合、直ちに階調値増大変換処理機能72aが作動し、各オブジェクトの深度位置に無関係にデプスマップ全体を対象として元のデプスマップ情報よりも階調値が大きく得られる第3の階調変換としてのグレースケール変換Cでグレースケール変換し(
図32:ステップS452/デプス階調増大変換工程)、続いて3Dデプス画像データ生成機能72cによってデプス画像処理され、前述した立体表示パネル駆動用の3Dデプス画像データとして出力される(
図32:ステップS404/3Dデプス画像データ生成工程)。
【0373】
一方、上記ステップS451の温度環境の判定によって前記温度差ΔTがΔT>0で前記レンチキュラーレンズ1が膨張状態にあると判定された場合、直ちに階調値減少変換処理機能72bが作動し、各オブジェクトの深度位置に無関係にデプスマップ全体が、元のデプスマップ情報よりも階調値が小さく得られる第4の階調変換としてのグレースケール変換Dでグレースケール変換処理し(
図32:ステップS453/デプス階調減少変換工程)、続いて3Dデプス画像データ生成機能72cによってデプス画像処理されて前述した立体表示パネル駆動用の3Dデプス画像データとして出力される(
図32:ステップS404/3Dデプス画像データ生成工程)。
【0374】
即ち、この変形例においては、
図32のステップS452では、
図33(B)に示すようなレンズ収縮状態でのグレースケール変換Cが行われ、ステップS453では
図33(c)に示すようなレンズ膨張状態でのグレースケール変換Dが行われる。
【0375】
これらのグレースケール変換はこれまでの例と異なり、
図33(B)と
図33(C)では
図33(A)で階調値128の部分(背景部分)に対しても、レンズ収縮/膨張状態に応じて階調値補正を行っている。
その他の構成及びその作用効果は前述した第4実施形態の場合と同一となっている。
【0376】
ここで、上述した第4実施形態の変形例における上記全体的な各工程(各ステップ)にあって、当該各工程の実行内容をプログラム化し前述した立体画像生成手段70Aが備えているコンピュータに実現させるように構成してもよい。
【0377】
このように、上述した本第4実施形態では、その変形例の場合も含めて、デプスマップにおいて3D領域をΔTに対応して規制するため、使用環境温度が大きく変化した場合でも、常に立体視域が確保できるという効果がある。また、使用環境温度に応じて特定の階調方向に対して階調量補正を行っているため、臨場感を損なわずに立体視域を確保し得るという効果がある。更に、第4の実施形態では、デプスマップのグレースケール変換をベースとしているため、カメラによるレンダリング処理を要する上述した実施形態の場合に比較して、必要とする演算器の処理能力や演算速度が低い性能のものを使用してもよい。このため、コントローラ部110を安価に構成できるという利点がある。
【0378】
尚、本第4実施形態においては、2視点の場合について述べたが、本発明はこれに限定されるものではなく、N視点でも同様に適用することができる。
【0379】
〔第5の実施形態〕
次に、本発明の第5の実施形態を、
図34乃至
図38に基づいて説明する。
ここで、前述した第1実施形態と同一の構成部材については同一の符号を用いるものとする。
【0380】
この第5の実施形態では、深度情報を有するオブジェクトに対して仮想の2視点を設定し、オブジェクトの3次元データに対してあらかじめレンダリング処理により生成した視差画像や立体カメラを用いて撮影された視差画像を2次元データの形式で蓄積する。そして、この蓄積した視差画像の読み出しに際しては、使用環境温度に応じて視差画像の視差方向に対するオフセット処理して出力するように構成した点に特徴を有する。
以下これを、前述した第1実施形態の記載内容を前提として説明する。
【0381】
(構成)
本第5実施形態における立体表示装置は、前述した第1実施形態の場合と同様に、立体表示パネル11を駆動制御する表示コントローラ部110を備えている。この表示コントローラ部110には、後述する各構成要素全体の動作を規制する主演算制御部111を備えた立体画像生成手段110Aを装備している(
図34(A)参照)。
【0382】
この立体画像生成手段110Aは、予めレンタリング処理された右眼用および左眼用の一対の視差画像データAを3D画像データ生成用として入力し前記データ記憶部25に蓄積する対象画像データ設定部77と、各視差画像データAにかかる温度センサ21からの検出温度の前述した基準温度に対する温度差ΔTの絶対値が予め設定した基準値ΔTthの絶対値以下か否かを個別に演算すると共にxy平面上にあってx軸上で特定される各オブジェクトの視差量に対してその補正を必要とする温度環境であるが否かを判定する温度差判定部30と、これら各部の動作を制御する上述した主演算制御部111とを備えている。
【0383】
この内、主演算制御部111は、前述した温度差判定部30によって前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合に作動し、前記データ記憶部25に格納された一対の視差画像データAに基づいた3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能111Gを備えている(
図34(B)参照)。
【0384】
この主演算制御部111には、前述した第1実施形態の場合と同様に、温度差判定部30によって視差画像データAにかかる前記温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合に作動し、前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か,或いは膨張状態を示すΔT>0の状態かを判定する補正環境判定部29が併設されている。
【0385】
更に、この主演算制御部111は、前述した第1実施形態の場合と同様に、前述した補正環境判定部29によって前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態である旨判定された場合に稼働する収縮時補正制御部(収縮時のオフセット画像生成部)111Aと、前述した補正環境判定部29によって前記レンチキュラーレンズ1が膨張状態を示すΔT>0の状態である旨判定された場合に稼働する膨張時補正制御部(膨張時のオフセット画像生成部)111Bとを備えている。
【0386】
この内、収縮時補正制御部(収縮時のオフセット画像生成部)111Aは、具体的には、前記視差画像データAの内の左眼用画像データを左方向に,右眼用画像データを右方向に,それぞれ視差レベルの所定のオフセット量で微小移動処理する画像データオフセット処理機能111aと、この画像オフセット処理によって得られる画像データを対応するオフセット処理前の画像データにそれぞれ重ね合わせて視差画像データBを生成する視差画像データ生成機能111bと、この視差画像データ生成機能111bで生成される視差画像データBに基づいて温度差ΔTがΔT<0の場合の2次元の3D画像データを生成し出力する3D画像データ生成機能111cとを備えている。
【0387】
これにより、前記レンチキュラーレンズ1が収縮状態(ΔT<0)にある場合には、温度差ΔTの大きさに対応して、前述したように、左眼用画像データを左方向に,右眼用画像データを右方向に,それぞれ視差レベルのオフセット量で微小移動処理するように補正制御するようにしたので、これにより、前記レンチキュラーレンズ1の収縮状態が補正され、前述した立体表示パネル11のレンチキュラーレンズ1が収縮状態にあっても、収縮前の状態と同等の出力状態に当該立体表示パネル11を駆動することが可能となる。
【0388】
次に、前記レンチキュラーレンズ1が膨張状態を示すΔT>0の場合にも、前述した収縮状態の場合と同様に、膨張前の状態と同等の出力状態に当該表示パネル11を駆動可能な補正制御が実施される。
即ち、膨張時のオフセット画像生成部(膨張時補正制御部)111Bは、前記視差画像データAにかかる温度差ΔTがΔT>0で前記レンチキュラーレンズ1が膨張状態にあると判定された場合に作動し前記視差画像データAを第2の視差オフセット処理Cに付して視差画像データを生成する。
【0389】
この膨張時のオフセット画像生成部(膨張時補正制御部)111Bは、具体的には、前記視差画像データAの内の左眼用画像データを右方向に,又右眼用画像データを左方向に,それぞれ視差レベルの所定のオフセット量で微小移動処理する画像データオフセット処理機能111dと、この画像オフセット処理して得られる画像データを対応するオフセット処理前の画像データにそれぞれ重ね合わせて視差画像データを生成する視差画像データ生成機能111eと、この視差画像データ生成機能111eで生成される視差画像データに基づいて2次元の3D画像データを生成し出力する3D画像データ生成機能111fとを備えている。
【0390】
これにより、前記レンチキュラーレンズ1が膨張状態(ΔT>0)にある場合には、温度差ΔTの大きさに対応して、前述したように、左眼用画像データを右方向に,右眼用画像データを左方向に,それぞれ視差レベルのオフセット量で微小移動処理するように補正制御するようにしたので、これにより、前記レンチキュラーレンズ1の膨張状態が補正され、前述した表示パネル11のレンチキュラーレンズ1が膨張状態にあっても、膨張前の状態と同等の出力状態に当該表示パネル11を駆動することが可能となる。
その他の構成は前述した第1実施形態の場合と同一となっている。
【0391】
(全体動作)
次に、上記第5実施形態の全体的な動作を、
図34乃至
図38に基づいて説明する。
ここで、
図35は、本第5実施形態における3D画像データの生成動作を示すフローチャートである。
【0392】
この
図35に示すように、本第5実施形態では、まず、レンチキュラーレンズ1を含む環境温度Tが温度センサ21によって測定され前述した基準温度Tthとの温度差ΔTが変形量算出部28によって算出される(
図35:ステップ501/温度差特定工程)。
【0393】
次に、補正の対象として、予めレンタリング処理もしくは立体カメラで撮影された右眼用および左眼用の一対の視差画像データAが設定される。
具体的には、変形量算出部28による温度差ΔTの算出とほぼ同時に3D画像データ生成用としてデータ記憶部に蓄積された視差画像からなる3D画像データが、外部指令により補正の対象(視差画像データA)として特定される(
図35:ステップ502/対象画像データ設定工程)。
【0394】
次に、温度差ΔTに対する視差量補正の判定が温度差判定部30で行われ、補正不要と判定された場合は、直ちに主演算制御部111の3D画像データ生成機能111Gが稼働し、前述した視差画像データAを対象とした3D画像データの生成処理が行われる(
図35:ステップS503,S504)。
又、補正必要と判定された場合には、次のステップで補正環境の状態が判定され、補正環境に適合した最適な補正制御が実行される(
図35:ステップ506以下)。
【0395】
これを更に詳述する。
まず、温度差ΔTに対する視差量補正の判定は、変形量算出部28によって算出された温度差ΔTと予め設定された基準値ΔTthとの絶対値が温度差判定部30で比較され、x軸上で特定される各オブジェクトの視差量についてその補正が不要か否かが判定される(
図35:ステップ503/補正可否判定工程)。
【0396】
そして、この補正可否判定工程で、前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合には、前述したように前記3D画像データ生成機能111Gが作動し、前記データ記憶部に格納された一対の視差画像データAがそのまま使用され、これに基づいて2次元の3D画像データが生成され前記表示パネル駆動用として出力される(
図35:ステップ504/3D画像データ生成工程)。
図36(A)に視差画像データAの場合の例を示す。
【0397】
これに対して、ステップ503の補正可否判定工程で、前記温度差ΔTが|ΔT|≦|ΔTth|であり視差量の補正を必要とする温度環境であるとの判定が成された場合には、次に、前記レンチキュラーレンズ1が収縮状態を示すΔT<0の状態か,或いは膨張状態を示すΔT>0の状態か,が補正環境判定部29で判定される(
図35:ステップS506/補正環境判定工程)。
【0398】
このステップS506の補正環境判定工程によって前記視差画像データAにかかる温度差ΔTがΔT<0で前記レンチキュラーレンズ1が収縮状態にあると判定された場合には、直ちに前述した主演算制御部111の収縮時補正制御部111Aが作動し、前記視差画像データAに対して第1の視差オフセット処理Bを実行し視差画像データBを生成する(
図35:ステップ507/オフセット画像生成工程)。
【0399】
このステップS507のオフセット画像生成工程では、具体的には、主演算制御部111の画像データオフセット処理機能111aが、前記視差画像データAの内の左眼用画像データを左方向に,又同右眼用画像データを右方向に,それぞれ所定のオフセット量で移動処理する画像データオフセット処理工程と、この各オフセット処理して得られる画像データを視差画像データ生成機能111bが稼働して対応するオフセット処理前の画像データにそれぞれ重ね合わせて視差画像データBを生成する視差画像データ生成工程とが実行される。
【0400】
ここで、この視差画像データBについて、その処理内容を具体的に説明する。
この補正が必要とされた場合に実行されるオフセット処理Bについては、例えば、
図36(a)に示す視差画像Aに対して
図36(B)に示すように、左眼用画像を左に、右眼用画像を右に、それぞれ移動量eだけオフセットさせる。かかる動作は、収縮時補正制御部111Aの画像データオフセット処理機能111aにより実行される。
【0401】
移動量eを決定するパラメータは、ΔTと画像生成部22のメモリに保持されている内容(即ち、表示パネル11を構成する材料の実効的線膨張係数差,パネルサイズ,パネル解像度,及び3Dクロストーク)により特定される。これら表示パネル11を構成する材料の内、ΔT以外のパラメータについては定数として取り扱うことができ、変数としてはΔTのみとなる。
【0402】
この移動量eについては、温度差ΔTの大きさに応じて設定することができるが、ΔTが大きくなるほど移動量eを大きくした方が好ましい。ここで、オフセット処理を加えることで、左眼用画像の左端と右眼用画像の右端が、幅e分だけ、画像データとして活用できなくなることから、例えばこの部分の画像データを黒とする。これに対応する形で、左眼用画像の右端及び右眼用画像の左端も、幅e分だけ、画像データを黒とする。
従って、オフセット処理Bの後に得られる視差画像は、
図30(C)に示すように画像の両端が幅e分黒画像を有する視差画像Bの形となる。
【0403】
続いて、上記ステップS507のオフセット画像生成工程で生成された視差画像データBに基づいて、前記収縮時補正制御部111Aの3D画像データ生成機能111cが2次元の3D画像データを生成し出力する(
図35:ステップ504/3D画像データ生成工程)。
【0404】
次に、前述した
図35のステップS506(補正環境判定工程)にて前記視差画像データAにかかる温度差ΔTがΔT>0で前記レンチキュラーレンズ1が膨張状態にあると判定された場合には、直ちに前述した主演算制御部111の膨張時補正制御部111Bが作動し、前記視差画像データAに対して第2の視差オフセット処理Cを実行し視差画像データCを生成する(
図35:ステップ508/オフセット画像生成工程)。
図37に、この場合の視差画像データCの生成手順を示す。
【0405】
このステップS508のオフセット画像生成工程では、具体的には、前記視差画像データAの内の左眼用画像データを右方向に,又右眼用画像データを左方向に,それぞれ所定のオフセット量で画像データオフセット処理機能111dがオフセット処理する画像データオフセット処理工程と、前記視差画像データ生成機能111eが稼働し、前記各オフセット処理して得られる画像データを対応するオフセット処理前の画像データにそれぞれ重ね合わせて視差画像データCを生成する視差画像データ生成工程とが実行される。
【0406】
続いて、上記ステップS508のオフセット画像生成工程で生成された視差画像データCに基づいて、前記膨張時補正制御部111Bの3D画像データ生成機能111fが2次元の3D画像データを生成し出力する(
図35:ステップ504/3D画像データ生成工程)。
【0407】
ここで、この視差画像データBについて、その処理内容を具体的に説明する。
このレンズ膨張状態の場合は、データ処理の手順が
図35のステップS508のオフセット処理Cに進むが、
図37(A)に示す視差画像Aに対して
図37(B)に示すように左眼用画像を右側に,右眼用画像を左側に,それぞれ視差レベルの微小量で移動量fだけオフセットさせる。
【0408】
移動量fを決定するパラメータは、前述した
図36の場合の移動量eと同様であり、移動量fはΔTの大きさに応じて設定することができるが、ΔTが大きくなるほど移動量fを大きくした方が好ましい。
【0409】
このように、オフセット処理を加えることで、前述した
図36の場合と同様に、左眼用画像の右端と右眼用画像の左端が幅f分だけ画像データとして活用できなくなるため、例えば、この部分の画像データを黒とする。これに対応する形で、左眼用画像の左端と右眼用画像の右端も幅f分の画像データを黒とする。従って、オフセット処理Cの後に得られる視差画像は、
図31(C)に示すように画像の両端が幅f分黒画像を有する視差画像Cの形となる。
【0410】
本第5実施形態では、画像両端に黒画像を挿入しているが、これに限定されず例えば画像の背景色を抽出して両端画像に使用することもできる。又、画像両端の黒画像の部分を一旦削除して、
図38に示すようなw−2eをwに引き伸ばすようなスケーリング処理を加えるようにしてもよい。このようにすると、生成された画像両端に黒画像は表示されない。
【0411】
ここで、上述した本第5実施形態における全体的な動作にあって、各工程の実行内容をプログラム化し前述した立体画像生成手段110Aが備えているコンピュータに実現させるように構成してもよい。
その他の構成およびその作用効果は、前述した第1の実施形態の場合と同一となっている。
【0412】
以上のように、本第5の実施形態にあっては、レンダリング処理を不要としたので、レンダリングを要する上述した実施形態の場合に比較して、必要とする演算器の処理能力や演算速度が低い性能のものを使用してもよい。このため、コントローラ部110を安価に構成できるという利点がある。また、2眼カメラを用いた実写コンテンツを利用する場合は非常に有効である。
【0413】
尚、本第5の実施形態においては、2視点の場合について述べたが、本発明はこれに限定されるものではなく、N視点でも同様に適用することができる。4眼カメラを用いた実写コンテンツでも同様の処理は可能である。
【0414】
〔第6の実施形態〕
次に、本発明の第6実施形態を
図39及至
図56に基づいて説明する。ここで、前述した第1実施形態と同一の構成部材について同一の符号を用いるものとする。
【0415】
この第6の実施形態では、深度情報を有する3Dオブジェクトに対して、カメラ設定パラメータを用いて深度情報を2次元画像情報の視差量に変換し、使用環境温度の変化につれて飛出しオブジェクトと奥行きオブジェクトを表示した時立体視野域の違う変化特性を反映した視差量調整用のLUT信号をあらかじめ蓄積しておき、温度センサから検出された温度と前記視差量調整用のLUT信号に従って前記2次元画像情報の視差量に対する補正処理を行うようにした点に特徴を有する。
【0416】
(構成)
第6実施形態における立体表示装置を
図39に示す。この立体表示装置は、前述したすべての実施形態の場合と同様に、立体表示パネル11を駆動制御する表示コントローラ部120を備えている。この表示コントローラ120には、後述する各構成要素全体の動作を規制する主演算制御部121を備えた立体画像生成手段120Aが装備されている。
【0417】
この立体画像生成手段120Aは、深度情報を有するオブジェクトの3Dデータ、もしくは、予めレンダリング処理された2次元画像データ(センター画像データ)とそれに対応するデプスマップデータを入力し前記データ記憶部25に蓄積する対象画像データ設定部77と、使用環境温度に応じて視差量補正処理を行うためのLUT信号を蓄積する視差量調整用LUT信号記憶部33と、温度センサ21からの検出温度と前述した基準温度に対する温度差ΔTの絶対値が予め設定した基準値ΔTthの絶対値以下か否かを個別演算すると共にx,y平面上にあってx軸上で特定される各オブジェクトの視差量に対してその補正を必要とする温度環境であるが否かを判定する温度差判定部30と、これら各部の動作を制御する上述した主演算部121とを備えている。
【0418】
この内、主演算制御部121を
図40に示す。この主演算制御部には、前記温度差判定部30によって前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合に作動し、前記カメラ情報記憶部に蓄積したカメラ設定情報を用いて前記データ記憶部25に蓄積した3Dオブジェクトの深度情報、また2次元画像のデプスマップを2次元画像情報の視差量に変換し、この視差量を保持した二次元の視差画像に基づき3D画像データを生成し、前記表示パネル駆動用として出力する3D画像データ生成機能121Gを備えている。
【0419】
また、前述した主演算制御部121には、前記温度差判定部30によって前記温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合に作動し、温度センサ21から検出される温度に対応する視差量調整用のLUT信号に従って、2次元画像情報の視差量の調整を行う機能121aと、補正後の視差量に従い、視差画像生成する機能121bと、生成された視差画像に基づき3D画像データを生成し、前記表示パネル駆動用として出力する3D画像データを生成する機能121cを備えている。ここで、使用環境温度の変化につれて飛出しと奥行きイメージを表示する時立体視野域の違う変化特性を反映した視差量調整用のLUT信号は、立体表示パネルからの出射光線に基づく計算値や実際の主観評価値などを用いて作成することができる。
【0420】
本第6実施形態は、使用可能な全ての環境温度に応じて、立体視に見える範囲内の視差量に対する補正量が一つのLUT信号にまとめられ、ΔTの符号によるレンチキュラーレンズが膨張状態であるか、収縮状態かであるかに対する判定工程、また、深度情報とスクリーン距離の比較による飛出しと奥行きに対する判断が不要となり、処理スピードをさらに上げることが可能となる。
【0421】
(全体動作)
次に、上記第6実施形態の全体的な動作を
図41に基づいて説明する。
ここで、
図41は、本実施形態における3D画像データの生成動作を示すフローチャートである。
【0422】
図41に示すように、本第6実施形態では、まず、レンチキュラーレンズ1を含む環境温度Tが温度センサ21によって測定され、前述した基準温度Tthとの温度差ΔTが変形量算出部28によって算出される(
図41:ステップS601)。
【0423】
次に、レンダリング処理条件に必要なスクリーン面(表示面)40の設定とカメラの設定を行う(
図41:ステップS602)。カメラ設定パラメータとしては、第1実施形態に記述したようにカメラ位置ZCとカメラ間距離XCとカメラ視野角FOVなどがある。
【0424】
そして、設定されたカメラ情報Aとスクリーン面40を用いて、入力された3Dオブジェクトの深度情報、また、予めレンダリング処理された2次元画像データに対応するデプスマップ画像を2次元画像情報の視差量に変換する(
図41:ステップS603/2次元画像情報視差量算出)。2次元画像情報の視差量算出ステップは、前述したx、y、zの三軸で特定される3次元データから投影変換などを通して2次元画像を生成するレンダリング処理と異なって、z軸方向の深度情報のみを利用し、画素単位で2次元画像情報の視差量Δuを計算する。この計算方法は立体カメラの撮影法によって異なるが、前述した交差撮影法の場合、以下の式が用いられる。
【数1】
ここで、Δuは、画素単位での2D画像情報視差量であり、XCは、カメラ間距離であり、FOVはカメラの視野角、zは、z軸方向で3Dオブジェクトとカメラの距離、ZCは、z軸方向でカメラとスクリーンの距離を表している。
なお、ここでは交差撮影法の場合について述べたが、平行撮影法やシフトセンサ法など他の撮影法を用いる場合もそれぞれの式に応じて同様に扱うことができる。
【0425】
以下に、
図42を用いてΔuの定義を詳細的に説明する。視差量Δuは、右眼用画像内のある3Dオブジェクトを示す画素のx軸座標値XRと、左眼用画像内の同じ3Dオブジェクトを示し、右眼用画素と対応する画素のx軸座標値XL差分(XR-XL)を2D画像情報視差量Δuと定義する。
【0426】
式(1)に含まれる(1/ZC−1/z)により、スクリーン面より手前のオブジェクト(z<ZC)に対応する画素の視差量Δuは負の値、スクリーン面より奥のオブジェクト(z>ZC)に対応する画素の視差量Δuは正の値、スクリーン面にあるオブジェクト(z=ZC)のオブジェクトに対応する画素の視差量Δuは0となる。
【0427】
次に、温度差ΔTに対する視差量補正の判定が温度差判定部30で行われ(
図41:S604/補正可否判定工程)、|ΔT|≦|ΔTth|、の場合、すなわち補正不要と判定された場合は、前記2次元画像情報の視差量に従って視差画像が生成され、続いて、前記2次元画像情報の視差量を保持した二次元の視差画像に基づき3D画像データの生成処理が行われる(
図41:S606/視差画像生成処理)。
【0428】
一方、|ΔT|>|ΔTth|補正必要と判定された場合には、視差量調整用のLUT信号に従って前記2次元画像情報の視差量を画素単位で温度センサ21から検出される温度に最適な視差量に変換する(
図41:S605/視差量調整処理)。そして、調整された2次元画像情報の視差量より視差画像を生成し(
図41:S606/視差画像生成処理)、補正後の視差画像に基づき、3D画像データの生成処理が行われる(
図41:S607/3D画像データ生成)。
【0429】
以下に、
図43を用いて視差量調整用のLUT信号をベースとした視差量補正例を詳述する。ここで、入力データの一例として、予めレンダリング処理された2次元画像データ(センター画像データ)とその奥行き情報を表すデプス画像データの場合について述べるが、3次元データを入力とする場合も同様に適用できる。その場合は、入力した3次元データに対して、そのz軸方向の深度情報のみを利用してΔuを直接算出すれば良い。その後、次の処理を行う。
【0430】
まず、レンチキュラーレンズ1を含む環境温度Tが温度センサ21によって測定され、前述した基準温度Tthとの温度差ΔTが変形量算出部28によって算出される(
図41:S601)。
【0431】
そして、カメラ設定情報記憶部で蓄積したカメラのパラメータを主演算制御部121に読み出す(
図41:S602)。主演算制御部121で読み出したカメラ設定パラメータと
図43に示すデプス画像データを式(1)に代入し、入力した2D画像内の各画素の視差量を算出する(
図41:S603)。即ち、視差量の符号から飛出しオブジェクトを表す画素と奥行きオブジェクトを表す画素の区別ができる。また、式(1)よりオブジェクトとカメラの距離zが小さくなるにつれて、視差量Δuが負の方向に小さくなる。これに基づき、LUT信号が作成することができる。
図43に示す四つのオブジェクト(42’、43、42、43’)の視差量の値をΔu1、Δu2、Δu3、Δu4の順で表記する。
図43のデプス画像のグレースケールに示されるように、カメラとオブジェクトの距離は、43、43’、42’、42の順で大きくなる。従って、この四つのオブジェクトの視差量の関係は、Δu2<Δu4<Δu1<Δu3となる。ここで、視差量Δu2とΔu4は負の値、Δu1とΔu3は正の値である。
【0432】
次に、補正可否判定工程(
図41:S604)で、前記温度差ΔTが|ΔT|≦|ΔTth|、の場合、すなわち前記視差量の補正を必要としない温度環境であるとの判定がなされた場合には、前記2次元画像情報の視差量に従って、各オブジェクトを左右方向へそれぞれ視差量絶対値|Δu|の半分を移動し、
図44に示す視差画像を生成する(
図41:S606)。続いて、前記2次元画像情報の視差量(
図43)を保持した二次元の視差画像に基づき3D画像データの生成処理が行われる(
図41:S607)。
【0433】
一方、補正必要と判定された場合には、
図45で示されるような視差量調整用のLUT信号に従って、前記2次元画像情報の視差量を画素単位で温度センサ21から検出される温度に最適な視差量に変換する(
図41:S605)。例えば、温度センサから出力した温度値がT3となる場合、
図43(a)に示す四つのオブジェクトの視差量(Δu1、Δu2、Δu3、Δu4)をT3温度の下で最適な視差値(Δu19、Δu20、Δu21、Δu22)にそれぞれ変換し、調整された2次元画像情報の視差量より
図46に示す視差画像を生成し(
図41:S606)、補正後の視差画像に基づき、3D画像データの生成処理が行われる(
図41:S607)。
【0434】
<LUT信号作成の一例>
上述したように、視差量調整用のLUT信号は、温度に対する立体視野域の依存性の評価実験から得られた主観評価値や、立体表示パネルからの表示光線に関する理論計算値などから作成することができる。
【0435】
一例として、温度に対する立体視野域依存性の主観評価値からLUT信号を作成する方法について、
図47を用いて説明する。
図47は、立体表示装置11の使用環境温度を25℃から60℃まで上昇させ、ある温度において、3D領域が画面中心から画面全体領域の10%に限定される場合、視差量Δuが(-15、-10、-5、5、10、15)であるオブジェクトに対する立体視野域の評価結果を示す。
図47には温度は25℃、45℃、50℃、55℃のデータを記載している。
図47より、温度の上昇につれて正の視差量を有するオブジェクトを観察した場合の立体視野域は変わらないが、負の視差量を有するオブジェクトを観察した場合の立体視野域は狭くなる。上述したように、負の視差量を持つオブジェクトは飛出しオブジェクトで、正の視差量を持つオブジェクトが奥行きオブジェクトであるから、この結果と前述した内容と何ら矛盾していない結果となっている。
【0436】
次に、温度の変化による立体視野域の期待値を補正目標として決める。この補正目標は、立体表示装置の使用環境とアプリケーションなどに応じて任意に設定されるが、ここで、常温時の立体視野域を補正目標とする。即ち、使用環境温度が変わっても常温時立体視野域を確保するために、2次元画像情報の視差量を最適な視差量に調整する。
【0437】
図47において、視差量が正の場合、温度の上昇につれて立体視野域が不変であるため、最適な視差量を補正前の視差量と同じにする。また、視差量が負の場合、温度の上昇につれて立体視野域が減少するが、常温時の立体視野域を保持するために、
図47に示す実測データを参考しながら、視差量の絶対値を小さくすることが必要である。例えば、25℃の時に、視差量が-15pixelのオブジェクトに対して立体視野域の実測値は70%となる。使用環境温度が50℃になった時に、視差量が-10pixelのオブジェクトの立体視野域の実測値はちょうど70%であるから、視差量-15pixelのオブジェクトに対して常温時の実測値に保持するには-10pixelに変換しなければならない。
【0438】
また、ある使用環境温度の下で、実測データから常温時の立体視野域と完全に一致する視野域に対応する視差量が見当たらない場合、常温時の立体視野域に最も近い値に対応する視差量を参考し、平均値処理や、四捨五入処理などによって、最適な視差量を算出する。例えば、使用環境温度が45℃の時に、視差量-15pixelのオブジェクトに対して、立体視野域70%に対応する視差量が実測データにないが、視差量-10pixelのオブジェクトの立体視野域の評価結果が80%となるから、視差量-15pixelのオブジェクトを-12pixelに調整することによって、立体視野域を常温時のデータに戻すことが可能となる。生成されたLUT信号は
図48となる。
【0439】
次に、本第6実施形態の手法を用いて、使用環境温度に対する立体視野域の評価を行ったので、その内容を説明する。
図49に、立体表示装置11の使用環境温度を25℃から60℃まで変化させた時、視差量18pixelのオブジェクトに対する評価結果を示す。ここで、
図7で定義したX軸方向に対して視差画像の画面全体に対する大きさの割合を3D領域とし、この3D領域を画面中心から10%とした時の視差画像を用意して評価を行っている。
図49に示す結果によると、画面中心より近いオブジェクトに対して、視差量調整用のLUT信号を用いたことによって高温時の視野域を常温時と同じ値に戻したことが確認された。
【0440】
上述した本第6実施形態における全体的な動作にあって、各工程の実行内容をプログラム化し前述した立体画像生成手段120Aが備えているコンピュータに実現させるように構成してもよい。その他の構成およびその作用効果は、前述した第1の実施形態の場合と同一となっている。
【0441】
以上のように、本第6の実施形態にあっては、飛出しと奥行きオブジェクトの判別工程を不要としたので、上述した実施形態の場合に比較して、必要とする演算器の処理能力や演算速度が低い性能のものを使用してもよい。このため、コントローラ部120を安価に構成できるという利点がある。
その他の構成およびその作用効果は、前述した第1実施形態の場合と同一となっている。
【0442】
〔変形例(1)〕
次に、上記第6実施例の変形例(1)を説明する。上述した
図48に示すLUT信号は、3Dイメージが画面中心から画面全体の10%に限定された場合の実測データより作られたが、
図73に示すように評価用の3Dイメージが画面中心よりずれるについて上述したように高温側で奥行きイメージを観察した時より飛出しイメージを観察した時の立体視野域の減少が著しく、低温側で飛出しイメージを観察した時より奥行きイメージを観察した時の立体視野域の減少が大きいという特性が適用できなくなる。それは、3Dイメージが画面中心と画面外側にある時に、レンズピッチの変動の影響を受ける度合いが異なるためである。特に、画面外側ではレンズトータルピッチの変動量が大きくなるため影響が大きい。従って、表示画面の特定位置にある3Dオブジェクトについて温度に対する立体視野域の評価結果から作成されたLUT信号を用いて、表示画面内の任意位置の3Dオブジェクトの立体視野域に対して補正を行う際に、大きな補正誤差が生じると予想する。
【0443】
このような補正誤差を防ぐため、
図50に示すように表示画面のx軸を沿って最少二つの測定位置(p0、p1)を設置し、評価用の3Dオブジェクトをこれらの測定位置に配置する。次に、温度を(T1、T2、…)に調整させて、各温度の下で、測定位置(p0、p1、…)に設置されたオブジェクトに対して立体視野域の評価を行う。これによって、各測定位置(p0、p1、…)に対応するLUT信号(LUT0、LUT1、…)を作成することができる。ここで、LUT0、LUT1、と定義する。LUT0信号は、p0位置にあるオブジェクトに対して立体視野域の評価結果から作られ、
図51に表示する、LUT1信号は、p1位置にあるオブジェクトに対して立体視野域の評価結果から作られ、
図52になる。
【0444】
次に、得られたLUT0信号とLUT1信号から、表示画面のx軸の任意位置piに最適合な補正量を補完する。補正方法としては、線形、N次(Nは2以上の自然数)、ガウス関数などを用いることが可能である。以下に、線形関数を用いた補正を一例として挙げる。使用環境温度がT2(℃)の時、視差量Δu1を有するオブジェクトが
図50に示すp0の位置にある場合、視差量調整用LUT0信号から、補正後の最適視差量がΔu’13となる。視差量Δu1を有するオブジェクトが
図50に示すp1の位置にある場合、視差量調整用LUT1信号から、補正後の最適視差量がΔu’’13となる。同じ使用環境温度T2の下で、このオブジェクトがpiの位置に移動する時の補正後の最適視差量Δuiは以下の式による計算できる。
【数2】
【0445】
図53は、第6実施形態の変形例(1)における主演算制御部122の各構成要素を示すブロック図である。主演算制御部122は、前記温度差判定部30によって前記温度差ΔTが|ΔT|≦|ΔTth|であり前記視差量の補正を必要としない温度環境であるとの判定が成された場合に作動し、前記カメラ情報記憶部に蓄積したカメラ設定情報を用いて前記データ記憶部25に蓄積した3Dオブジェクトの深度情報、また2次元画像のデプスマップを2次元画像情報の視差量に変換し、この視差量を保持した二次元の視差画像に基づき3D画像データを生成し、前記表示パネル駆動用として出力する3D画像データ生成機能122Gを備えている。
【0446】
図54は、本第6実施形態の変形例(1)における3D画像データの生成動作を示すフローチャートである。
図53に示すように、ステップ611〜ステップ614は、前述した第6の実施形態にて説明したステップS601からS604と同一のため説明を省略する。
【0447】
温度差ΔTに対する視差量補正の判定が温度差判定部30で行われ(
図54:S614/補正可否判定工程)、補正不要と判定された場合は、前記2次元画像情報の視差量に従って視差画像が生成され(
図54:S616/視差画像生成処理)、続いて、前記2次元画像情報の視差量を保持した二次元の視差画像に基づき3D画像データの生成処理が行われる(
図54:S617/3D画像データ生成)。
【0448】
一方、補正必要と判定された場合には、視差量調整用のLUT信号記憶部で予めに蓄積された視差量調整用の複数個のLUT0信号とLUT1信号…、また、各LUT信号に対応する表示画面のx軸座標p0、p1、…を式(2)代入し、表示画面内の任意x軸座標にある画素に対して最適な視差量を算出する(
図54:S615/視差量調整機能)。算出された最適な2次元画像情報の視差量に従って視差画像を生成し(
図54:S616/視差画像生成処理)、3D画像データの生成処理が行われる(
図54:S617/3D画像データ生成)。その他の構成及びその作用効果は、前述した第6実施形態の場合と同一となっている。
【0449】
補正方法として、線形関数以外のものを用いる場合は、2以上の測定位置に対応したLUT信号を作成して、補正の精度を向上させることも可能である。また、この変形例(1)により、LUT信号が増加するものの、表示画面内の任意位置の3Dオブジェクトの立体視野域を確保に加えて、表示画面が大型化した場合でも所定の立体視野域を確保できる利点がある。
〔変形例(2)〕
【0450】
次に、上記第6実施形態における変形例(2)を、
図55乃至
図56に基づいて説明する。上記第6実施形態では、入力データとして深度情報を有する2D画像データ、もしくは3Dデータを入力とする場合に対して説明をしたが、第5の実施形態で示したように、予めレンダリング処理により生成した視差画像や立体カメラを用いて撮影された視差画像などの深度情報を持たない2次元データにも適用できる。この2次元データを用いた場合について、以下説明する。
【0451】
図55は、本第6実施形態の変形例(2)における3D画像データの生成動作を示すフローチャートである。まず、温度センサ21を起動し、検出されたレンチキュラーレンズ1の温度Tと予め設定された基準温度Tth(第1実施形態では常温)との差分であるΔTを変形量算出部28で算出する(
図55:S621/温度検出工程)。
【0452】
続いて、予めレンダリング処理により生成した視差画像や立体カメラを用いて撮影された視差画像などの深度情報を持たない2次元データに対して、ブロックマッチング、SIFT(Scale-inrariant feature transform)、画像分割など画像処理技術を用いて左眼用画像と右眼用画像において対応となる画素を探索する。
【0453】
ブロックマッチング技術による対応画素の探索方法の一例を、以下に説明する。
図56は、ブロックマッチングを用いた左眼用画像と右眼用画像において対応となる画素を探索する方法の説明図である。ここで、
図56に示す左眼用画像を基準画像、右眼用画像を探索画像とする。右眼用画像において、左眼用画像内のある画素PoLの対応画素を探す場合、まず、画素PoLを中心とするn×mのブロックウィンドウを設定する。そして、右画像にてPoLと同じなy軸座標を有する画素を探索対象とする。これらの探索対象画素を中心とし、上述のサイズ(n×m)のブロックウィンドウを設定する。次は、探索画像内に設定された各ブロックウィンドウと基準画像内の画素PoLを中心とするブロックウィンドウの画素差を計算する。その差が最小となる時、探索画像内のブロックウィンドウの中心画素PoRがPoLの対応画素として探索される。そして、前述したように、対応となる画素のx軸に対する座標の差分は、この画素の視差量として計算される(
図55:S622/対応画素算出工程)。
【0454】
図55に示す、ステップ623〜ステップ628は、前述した第6実施形態の変形例(1)で説明した
図54のステップS613〜S618と同一となる。なお、S625の視差量調整機能については、第6実施形態で説明した
図41のS605と同じ処理(x軸の座標を用いない視差量調整)を用いることも可能である。その他の構成及びその作用効果は、前述した第6実施形態の場合と同一となっている。
【0455】
本変形例(2)にあっては、深度情報を持たない画像データを活用できるため、
図41に示すカメラ設定が不要になる。2眼カメラを用いた実写コンテンツを利用する場合は非常に有効である。
【0456】
〔第7の実施形態〕
次に、本発明の第7実施形態を
図57及至
図63に基づいて説明する。
この第7の実施形態では、2D背景における3Dオブジェクトのレンダリング処理を行う際に、前述した全ての実施形態に記載されたように温度差ΔTに応じて3D画像データの視差量を調整するとともに、2D背景と3Dオブジェクトのコントラスト差(
図57参照)に応じて3D画像データの視差量に対し調整を行うようにした点に特徴を有する。
【0457】
前述した
図83〜
図84と
図89〜
図90で3Dクロストーク概念を用いて説明した光線幾何学上から考えると、2D背景と3Dオブジェクトのコントラスト差Δ
CRは、2D上の3Dオブジェクトを見る際の立体視野域に依存しないように見える。ところが、実際は主観評価結果による2D背景と3Dオブジェクトのコントラスト差によって二重像が発生する領域に差があることが、発明者らの鋭意評価によって見出された。その評価結果を
図57に示すが、2D背景と3D画像データのコントラスト差Δ
CRが大きくなるにつれて、立体視野域が狭くなる。それは、2D背景と3Dオブジェクトのコントラスト差Δ
CRが大きい場合、目が3Dオブジェクトに対する感度が高くなり、片目で3Dオブジェクトを表す左右の注目画素を同時に見える領域、即ち二重像の発生領域が広くなるからである。2D背景と3Dオブジェクトのコントラスト差Δ
CRによる立体視野域への影響と立体表示装置11の使用環境温度差ΔTによる立体視野域への影響を合わせて利用した補正は、立体視野域の確保の点において良い効果が得られる。
【0458】
以下、これを前述した第1実施形態の記載内容を前提として説明する。まず、本第7の実施形態における立体表示装置は、前述した第1実施形態の場合と同様に、立体表示パネルを駆動する表示コントローラ130を備えている。この表示コントローラ部130には、後述する各構成要素全体の動作を規制する主演算制御部131を備えた立体画像生成手段130Aが装備されている(
図58〜
図59参照)。
【0459】
上記主演算処理部131には、温度差判定部30によって温度差ΔTが|ΔT|>|ΔTth|であり前記視差量の補正を必要とする温度環境であるとの判定が成された場合、2D背景と3Dオブジェクトのコントラスト差の大きさに応じて前記視差量の補正を行うために、2D/3Dコントラスト差を算出する2D/3D画像前処理部34が併設されている。2D/3Dコントラスト差を計算する際に用いられる2Dコントラストは、3Dオブジェクトをレンダリング処理したイメージとのオーバーラップされている2Dイメージ領域を算出して、その領域に対して階調最小値や階調平均値などの値を用いることが可能である。また、2Dのコントラストは、簡便に2Dの背景イメージ全体の階調最小値や階調平均値などの値を用いることも可能である。
【0460】
上記主演算処理部131には、前述した第1実施形態の場合と同様に、前記画像振り分け手段としてのレンチキュラーレンズ1が収縮状態を示すΔT<0の状態か、あるいは膨張状態を示すΔT>0の状態か判定する補正環境判定部29が併設されている。
更に、上記主演算処理部131は、前述した第1実施形態の場合と同様に、 更に、上記主演算処理部131は、前述した第1実施形態の場合と同様に、|ΔT|>|ΔTth|で温度差ΔTがΔT<0の場合(レンチキュラーレンズ1の収縮時)に稼働する収縮時補正制御部131Aと、|ΔT|>|ΔTth|で温度差ΔTがΔT>0の場合(レンチキュラーレンズ1の膨張時)に稼働する膨張時補正制御部131Bとを備えている。
【0461】
この内、収縮時補正制御部131Aでは、飛出し画像処理機能131a、と2D/3Dコントラスト差に応じて非飛出し画像処理機能131bを実行し、且つこれらの機能を合成し、前述した表示パネル駆動用の3Dが画像データ(合成画像データ)を出力するように構成されている。
即ち、主演算処理部131の一部をなす上記収縮時補正制御部131Aは、前記温度環境判定部28で前記温度差ΔTがΔT<0で前記レンチキュラーレンズ1(画像振分け手段)が収縮状態にあると判定された場合に、また、オブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z≧0と判定された場合にz≧0の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理を行う飛出側画像データ処理機能131aを備えている。
【0462】
この収縮時補正制御部131Aは、前記温度差ΔTがΔT<0の場合で且つオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z<0と判定された場合にz<0の3次元オブジェクトに対して、前記2D/3D画像前処理部34から出力した2D背景と3Dオブジェクトのコントラスト差Δ
CRをパラメータとする第6のカメラ設定Gの条件で前記3次元データに対してレンダリング処理を行う2D/3Dコントラスト差に応じて非飛出し画像データ処理機能131aを備えている。
【0463】
そして、この収縮時補正制御部131Aは、上記した飛出し画像処理機能131a、と2D/3Dコントラスト差しきい値を用いた非飛出し画像処理機能131bにてレンダリング処理された各画像データを合成処理する画像データ合成機能131cと、この合成処理された画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能131dを備えている。
【0464】
又、主演算処理部131の一部を成す膨張時出力制御部131Bでは、以下に示す二つのデータ処理機能を実行し且つこれを合成して、レンチキュラーレンズ1の膨張時にあって、前述した表示パネル駆動用の3D画像データ(合成画像データ)を有効に出力するように構成されている。
即ち、上記膨張時出力制御部131Bは、前記補正環境判定部29で前記温度差ΔTがΔT>0で前記レンチキュラーレンズ(画像振分け部)1が膨張状態にあると判定された場合に、また、オブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z<0と判定された場合にz<0の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理を行う非飛出側画像データ処理機能131eを備えている。
【0465】
また、上記膨張時出力制御部131Bは、前記温度差ΔTがΔT≧0の場合で且つオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z≧0と判定された場合にz≧0の3次元オブジェクトに対して、前記2D/3Dコントラスト差算出部34から出力した2D背景と3Dオブジェクトのコントラスト差Δ
CRをパラメータとする第7のカメラ設定Hの条件で前記3次元データに対してレンダリング処理を行う飛出し画像データ処理機能131fを備えている。
【0466】
そして、主演算処理部131の一部を成す上記膨張時出力制御部131Bは、これら上述した非飛出側画像データ処理機能131eと、2D/3Dコントラスト差しきい値を用いた飛出し側画像データ処理機能131f、および飛出側画像データ処理機能にてレンダリング処理された各画像データを合成処理する画像データ合成機能131gと、この合成処理する画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能131hとを備えている。
【0467】
これにより、レンチキュラーレンズ1の伸縮に応じて、前述した第1実施形態の場合と同様にオブジェクトの深度位置zを飛出側および非飛出側に分けて所定のカメラ設定をすると共にこれにより得られる画像データを合成処理し、更に、2D/3Dコントラスト閾値を用いた画像データ処理131bと131fを稼働させて得られる画像データを上記合成処理に加えるようにしたため、前述した第1実施形態の場合よりも更に有効な補正が得られる。
【0468】
次に、上記第7実施形態の全体的な動作を
図60に基づいて説明する。ここで、
図60は、本第7実施形態における3D画像データの生成動作の一例を示すフローチャートである。
この
図60において、ステップS701からS704までの動作は、前述した第1の実施形態にて説明したステップS101からS104と同一となっている。
即ち、まず、温度センサ21を起動し、検出されたレンチキュラーレンズ1の温度Tと予め設定された基準温度Tth(第1実施形態では常温)との差分であるΔTを変形量算出部28で算出し、続いて、レンダリング処理に必要な条件であるスクリーン面40とカメラ設定(第1のカメラ設定A)とが選択される。
【0469】
その後、前述した温度差分ΔTと予め設定された判定閾値であるΔTthとの各絶対値の大きさが比較され、視差量の補正が必要か否かの判定が温度差判定部30で行われる。
そして、温度差分|ΔT|<|Tth|の場合は、前述した第1実施形態の場合と同様に、前述した3D画像データ生成機能131Gが稼働し、レンチキュラーレンズ1の温度変化が少ないとして視差量の補正は不要とし、第1のカメラ設定Aの条件で3次元データが直ちにレンタリング処理され、続いて表示パネル駆動用の視差画像に変換され、
図61の(A)に示すような3D画像データが生成され出力される。
【0470】
一方、前述したステップS703の補正可否判定工程において、|ΔT|>|ΔTth|との判定が成された場合は視差量の補正が必要となる。このため、レンチキュラーレンズ1が収縮方向にあるか膨張方向にあるかを検出するために、ΔTの符号判定に進む。このΔTの符号判定動作は、前述したように立体画像生成手段131Aの補正環境判定部29により実行される。
そして、
図60のステップS705では、ΔT<0の場合には、レンチキュラーレンズ1が基準状態よりも収縮した状態にあるとして、前述したようにステップS706へ進む。
又、ΔT>0の場合は、レンチキュラーレンズ1が基準状態よりも膨張した状態にあるとして、ステップS711へ進む。何れの場合も、次の処理であるオブジェクトの奥行き位置の検討に付される。
【0471】
この内、前半のΔT<0の場合、即ち、レンチキュラーレンズ1が収縮状態と判定された場合には、
図60のステップS706で、深度情報を有するオブジェクトのz軸に対する位置がスクリーン面40よりも手前側(即ち、z≧0)かどうかの判定が行われる。この判定動作は、前述したように、主演算制御部131の収縮時補正制御部131Aで実行される。
【0472】
そして、z≧0の場合は、
図61に示すオブジェクト43、43´の3次元データに対して第1のカメラ設定Aの条件でレンダリング処理実行され、これによって
図61の(B)に示すようにオブジェクト43’,43についての3D画像データが得られる。
【0473】
これに対して、z<0の場合、つまりオブジェクトのz軸に対する位置がスクリーン面40よりも奥側の場合は、2D背景と3Dオブジェクトのコントラスト差が立体視野域に対する影響を考慮することが必要となる。そこで、z<0のオブジェクトに対して、2D背景と3Dオブジェクトのコントラスト差Δ
CRをパラメータとするカメラ設定Gでレンダリング処理を行う。これにより、
図61の(B)に示すようにオブジェクト42’、42についての3D画像データが得られる。
【0474】
図57の実測データによる、2D背景と3Dオブジェクトのコントラスト差Δ
CRが大きくなるにつれて立体視野域が減少する傾向があるため、2D背景と3Dオブジェクトのコントラスト差Δ
CRが大きい場合のカメラの夾角は、2D背景と3Dオブジェクトのコントラスト差Δ
CRが小さい場合より狭く設定される。カメラ設定Gの夾角θ_Gは、第1のカメラ設定Aの夾角θ_Aと2D/3Dのコントラスト差Δ
CRをパラメータとする以下の二つの条件を満たす関数
θ_G=f(θ_A,Δ
CR) 式(3)
によって求められる。条件(1)としては、f(θ_A,Δ
CR)の関数値θ_Gが補正不要時のカメラ設定Aの夾角θ_Aより小さいことを満たす必要がある。それに、条件(2)は、関数f(θ_A,Δ
CR)がΔ
CRの増加につれて関数値θ_Gを狭くさせる必要がある。
【0475】
θ_Gを計算には、式(4)に示すように第1のカメラ設定Aの夾角θ_Aを比例係数として2D背景と3Dオブジェクトのコントラストの絶対値Δ
CRと逆比例する関数を使用してもよいし、もしくは、式(5)に示すように、θ_Gが2D背景と3Dオブジェクトのコントラストの絶対値Δ
CRと線形関係になるような関数を使ってもいい。また、前述したこの二つの条件を満たすことを確保するために、式(4)と式(5)に示す例のように、引数kを関数(3)に導入してもよい。
【数3】
【数4】
【0476】
以上は、2D背景と3DオブジェクトのコントラストΔ
CRと逆比率、また、一次関数である夾角θ_Gを有するカメラ設定Gを例として説明したが、本発明はこれに限定されず、2D背景と3Dオブジェクトのコントラスト差Δ
CRをパラメータとするガウスや、二次関数、また高次関数を用いてカメラ設定Gの夾角θ_Gを求めることも可能である。
【0477】
以上は、第1実施形態をベースにして説明を行ったが、第4実施形態では、2D背景と3DオブジェクトのコントラストΔ
CRをパラメータとするデプス関数に従って最適なデプス値を計算すること、と第6実施形態では、2D背景と3DオブジェクトのコントラストΔ
CRをパラメータとする視差量関数に従って最適な視差量に算出することも本発明の範囲内である。
【0478】
そして、
図60のステップS708でレンタリング処理されて得られたオブジェクト43’、43についての画像データと、ステップS709でレンタリング処理されて得られたオブジェクト42’、42についての画像データが画像データ合成機能131cによって合成処理され、この合成された画像データに基づいて
図61の(B)で示すような3D画像データが3D画像データ生成機能131dにより生成される。
【0479】
図61に示す例では、オブジェクト42´,42とその後ろの2D背景のコントラスト差が|Δ
CR_42´|>|Δ
CR_42|になると想定する場合、補正後オブジェクト42の視差量B-δは、オブジェクト42´の視差量C-xより小さい。
【0480】
ここで、ΔT<0の条件の下でz<0のオブジェクトに対して2D背景と3Dオブジェクトのコントラスト差Δ
CRに応じて視差量の補正例を挙げたが、Z>0のオブジェクトに対しても同様な処理を行うことが可能である。
【0481】
後半のΔT>0の場合、即ち、レンチキュラーレンズ1が膨張状態と判定された場合には、
図60のステップS711で、深度情報を有するオブジェクトのz軸に対する位置がスクリーン面40よりも奥側(即ち、z<0)かどうかの判定が行われる。この判定動作は、前述したように、主演算制御部131の膨張時補正制御部131Aで実行される。
【0482】
そして、z<0の場合は、
図11に示すオブジェクト42、42´の3次元データに対して第1のカメラ設定Aの条件でレンダリング処理実行され、これによって
図61の(C)に示すようにオブジェクト42’,42についての3D画像データが得られる。
【0483】
これに対して、z>0の場合、つまりオブジェクトのz軸に対する位置がスクリーン面40(
図21参照)よりも手前側の場合は、2D背景と3Dオブジェクトのコントラスト差が立体視野域に対する影響を考慮することが必要となる。z>0のオブジェクトに対して、2D背景と3Dオブジェクトのコントラスト差Δ
CRをパラメータとするカメラ設定Hでレンダリング処理を行う。カメラ設定Hの夾角θ_Hが上述と同様な関数によって設定される。これにより、
図61の(C)に示すようにオブジェクト43’、43についての3D画像データが得られる。
【0484】
そして、
図60のステップS712でレンタリング処理されて得られたオブジェクト42’、42についての画像データと、ステップS714でレンタリング処理されて得られたオブジェクト43’、43についての画像データが画像データ合成機能131gによって合成処理(
図60:ステップS715)され、この合成された画像データに基づいて
図61の(C)で示すような3D画像データが3D画像データ生成機能131hにより生成される。
【0485】
図61に示す例では、オブジェクト42´,42とその後ろの2D背景のコントラスト差が|Δ
CR_43´|>|Δ
CR_43|になると想定する場合、補正後オブジェクト43´の視差量D-βは、オブジェクト43の視差量A-αより小さい。
【0486】
ここで、ΔT>0の条件の下でz>0のオブジェクトに対して2D背景と3Dオブジェクトのコントラスト差Δ
CRに応じて視差量の補正例を挙げたが、Z<0のオブジェクトに対しても同様な処理を行うことが可能である。
〔変形例〕
【0487】
以上、2D背景と3Dオブジェクトのコントラスト差Δ
CRをパラメータとする関数を用いて最適な補正量を求める例を記述したが、2D/3Dコントラスト差しきい値を設定することによって、2D/3Dのコントラスト差が大きいオブジェクトのみに対する補間を行うようにしてもよい。この場合は、上記2D/3D画像前処理34では、2D/3Dコントラスト差を算出するとともに、3Dオブジェクトに対する補正が必要か否かを判定するためのしきい値を設定する機能も備えている。
【0488】
図62に示す主演算処理部132には、前述した第1実施形態の場合と同様に、前記画像振り分け手段としてのレンチキュラーレンズ1が収縮状態を示すΔT<0の状態か、あるいは膨張状態を示すΔT>0の状態か判定する補正環境判定部29が併設されている。更に、上記主演算処理部132は、前述した第1実施形態の場合と同様に、|ΔT|>|ΔTth|で温度差ΔTがΔT<0の場合(レンチキュラーレンズ1の収縮時)に稼働する収縮時補正制御部132Aと、|ΔT|>|ΔTth|で温度差ΔTがΔT>0の場合(レンチキュラーレンズ1の膨張時)に稼働する膨張時補正制御部132Bとを備えている。
【0489】
この内、収縮時補正制御部132Aでは、飛出し画像処理機能132a、と2D/3Dコントラスト差しきい値を用いた非飛出し画像処理機能132bを実行し、且つこれらの機能を合成し、前述した表示パネル駆動用の3Dが画像データ(合成画像データ)を出力するように構成されている。
【0490】
即ち、主演算処理部132の一部をなす上記収縮時補正制御部132Aは、前記温度環境判定部28で前記温度差ΔTがΔT<0で前記レンチキュラーレンズ1(画像振分け手段)が収縮状態にあると判定された場合に、また、オブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z≧0と判定された場合にz≧0の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理を行う飛出側画像データ処理機能132aを備えている。
【0491】
この収縮時補正制御部132Aは、前記温度差ΔTがΔT<0の場合で且つオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z<0と判定された場合にz<0の3次元オブジェクトに対して、前記2D/3D画像前処理部34から出力した2D背景と3Dオブジェクトのコントラスト差Δ
CRと所定の2D/3Dコントラスト差しきい値Δ
CR_thの比較を行う。|Δ
CR|<|Δ
CR_th|が成立する前記オブジェクトに対しては、前述した第1のカメラ設定Aよりその夾角を狭く設定した第2のカメラ設定Bの条件で前記3次元データに対してレンダリング処理を行う。また、|Δ
CR|≧|Δ
CR_th|が成立する前記オブジェクトに対しては、前述した第2のカメラ設定Bよりもその夾角を更に狭く設定した第8のカメラ設定Jの条件で前記3次元データに対してレンダリング処理を行うを備えている2D/3Dコントラスト差しきい値を用いた非飛出し画像データ処理機能132aを備えている。
【0492】
そして、この収縮時補正制御部132Aは、上記した飛出し画像処理機能132a、と2D/3Dコントラスト差しきい値を用いた非飛出し画像処理機能132bにてレンダリング処理された各画像データを合成処理する画像データ合成機能132cと、この合成処理された画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能132dとを備えている。
【0493】
又、主演算処理部132の一部を成す膨張時出力制御部132Bでは、以下に示す二つのデータ処理機能を実行し且つこれを合成して、レンチキュラーレンズ1の膨張時にあって、前述した表示パネル駆動用の3D画像データ(合成画像データ)を有効に出力するように構成されている。
即ち、上記膨張時出力制御部132Bは、前記補正環境判定部29で前記温度差ΔTがΔT>0で前記レンチキュラーレンズ(画像振分け部)1が膨張状態にあると判定された場合に、また、オブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z<0と判定された場合にz<0の3次元データに対して前記第1のカメラ設定Aの条件でレンダリング処理を行う非飛出側画像データ処理機能132eを備えている。
【0494】
また、上記膨張時出力制御部132Bは、前記温度差ΔTがΔT≧0の場合で且つオブジェクトの深度位置zが飛出し側のz≧0か否かを判定すると共に、z≧0と判定された場合にz≧0の3次元オブジェクトに対して、前記2D/3D画像前処理部34から出力した2D背景と3Dオブジェクトのコントラスト差Δ
CRと所定の2D/3Dコントラスト差しきい値Δ
CR_thの比較を行う。|Δ
CR|<|Δ
CR_th|が成立する前記オブジェクトに対しては、前述した第1のカメラ設定Aよりその夾角を大きく設定した第3のカメラ設定Cの条件で前記3次元データに対してレンダリング処理を行う。また、|Δ
CR|≧|Δ
CR_th|が成立する前記オブジェクトに対しては、前述した第3のカメラ設定Cよりもその夾角を更に大きく設定した第9のカメラ設定Kの条件で前記3次元データに対してレンダリング処理を行う2D/3Dコントラスト差しきい値を用いた飛出し画像データ処理機能132fを備えている。
【0495】
そして、主演算処理部132の一部を成す上記膨張時出力制御部132Bは、これら上述した非飛出側画像データ処理機能132eと、2D/3Dコントラスト差しきい値を用いた飛出し側画像データ処理機能132f,および飛出側画像データ処理機能にてレンダリング処理された各画像データを合成処理する画像データ合成機能132gと、この合成処理する画像データに基づいて3D画像データを生成し前記表示パネル駆動用として出力する3D画像データ生成機能132hとを備えている。
【0496】
これにより、レンチキュラーレンズ1の伸縮に応じて、前述した第1実施形態の場合と同様にオブジェクトの深度位置zを飛出側および非飛出側に分けて所定のカメラ設定をすると共にこれにより得られる画像データを合成処理し、更に、2D/3Dコントラスト閾値を用いた画像データ処理132bと132fを稼働させて得られる画像データを上記合成処理に加えるようにしたため、前述した第1実施形態の場合よりも更に有効な補正が得られる。
【0497】
次に、上記第7実施形態における変換例の全体的な動作を、
図63に基づいて説明する。
この
図63において、ステップS´701からS´704までの動作は、前述した第1の実施形態にて説明したステップS101からS104と同一となっている。
即ち、まず、温度センサ21を起動し、検出されたレンチキュラーレンズ1の温度Tと予め設定された基準温度Tth(第1実施形態では常温)との差分であるΔTを変形量算出部28で算出し、続いて、レンダリング処理に必要な条件であるスクリーン面40とカメラ設定(第1のカメラ設定A)とが選択される。
その後、前述した温度差分ΔTと予め設定された判定閾値であるΔTthとの各絶対値の大きさが比較され、視差量の補正が必要か否かの判定が温度差判定部30で行われる。
【0498】
そして、温度差分|ΔT|<|Tth|の場合は、前述した第1実施形態の場合と同様に、前述した3D画像データ生成機能132Gが稼働し、レンチキュラーレンズ1の温度変化が少ないとして視差量の補正は不要とし、第1のカメラ設定Aの条件で3次元データが直ちにレンタリング処理され、続いて表示パネル駆動用の視差画像に変換され、3D画像データが生成され出力される。
【0499】
一方、前述したステップS´703の補正可否判定工程において、|ΔT|>|ΔTth|との判定が成された場合は視差量の補正が必要となる。このため、レンチキュラーレンズ1が収縮方向にあるか膨張方向にあるかを検出するために、ΔTの符号判定に進む。このΔTの符号判定動作は、前述した補正環境判定部29により実行される。
【0500】
そして、
図63のステップS´705では、ΔT<0の場合には、レンチキュラーレンズ1が基準状態よりも収縮した状態にあるとして、前述したようにステップS´706へ進む。
又、ΔT>0の場合は、レンチキュラーレンズ1が基準状態よりも膨張した状態にあるとして、ステップS´714へ進む。何れの場合も、次の処理であるオブジェクトの奥行き位置の検討に付される。
【0501】
この内、前半のΔT<0の場合、即ち、レンチキュラーレンズ1が収縮状態と判定された場合には、
図63のステップS´706で、深度情報を有するオブジェクトのz軸に対する位置がスクリーン面40よりも手前側(即ち、z≧0)かどうかの判定が行われる。この判定動作は、前述したように、主演算制御部131の収縮時補正制御部132で実行される。
【0502】
そして、z≧0の3次元データに対して第1のカメラ設定Aの条件でレンダリング処理実行され、3D画像データが得られる。
【0503】
これに対して、z<0の場合は、Δ
CR_thを用いて2D背景と3Dオブジェクトのコントラスト差が大きいオブジェクトに対する更に補正をかける。以下に、この補正方法を説明する。
z<0且つ|Δ
CR|<|Δ
CR_th|を満たす3Dオブジェクトに対し、第1のカメラ設定Aよりその夾角を狭く設定した第2のカメラ設定Bの条件で、レンダリング処理が行われる。
z<0且つ|Δ
CR|≧|Δ
CR_th|を満たす3Dオブジェクトに対し、第2のカメラ設定Bよりその夾角を狭く設定した第8のカメラ設定Jの条件でレンダリング処理が行われる。このしきい値|Δ
CR_th|は、各環境温度の下で
図57のような2D/3Dコントラスト差と立体視野域の依存性を示す実測結果、また理論解析結果を参考し、Δ
CR_thをLUT(ルックアップテーブル)のような形や所定の関数などで規定することができる。
【0504】
後半のΔT>0の場合、即ち、レンチキュラーレンズ1が膨張状態と判定された場合には、
図63のステップS´714で、深度情報を有するオブジェクトのz軸に対する位置がスクリーン面40よりも奥側(即ち、z<0)かどうかの判定が行われる。
【0505】
そして、z<0の3次元データに対して第1のカメラ設定Aの条件でレンダリング処理実行され、3D画像データが得られる。
【0506】
これに対して、z>0の場合、つまりオブジェクトのz軸に対する位置がスクリーン面40よりも手前側の場合は、2D背景と3Dオブジェクトのコントラスト差が立体視野域に対する影響を考慮することが必要となる。
z>0且つ|Δ
CR|<|Δ
CR_th|を満たす3Dオブジェクトに対し、第1のカメラ設定Aより更にその夾角を大きく設定した第3のカメラ設定Cの条件で、レンダリング処理が行われる。
逆に、z<0且つ|Δ
CR|≧|Δ
CR_th|を満たす3Dオブジェクトに対し、第3のカメラ設定Cより更にその夾角を大きく設定した第9のカメラ設定Kの条件で、レンダリング処理が行われる。
【0507】
そして、
図63のステップS´716、ステップS´718と、ステップS´720でレンタリング処理されて得られた画像データが画像データ合成機能132gによって合成処理(
図63:ステップS´721)され、この合成された画像データに基づいた3D画像データが3D画像データ生成機能132hにより生成される。
【0508】
ここで、上述した本第7実施形態の全体的な動作にあって、ステップS´701からステップS´723における各データ処理及び比較判定等の動作にあっては、これをプログラム化して前述した立体画像生成手段131が画備えているコンピュータに実行させるように構成してもよい。
【0509】
本第7実施形態は、上述したように構成され機能するので、これによると、前述した第1実施形態と同等に作用効果を有するほか、更に2D背景と3Dオブジェクトのコントラスト差による立体視野域への影響を考慮し、2D背景と3Dオブジェクトのコントラスト差のしきい値を設けることによって、より実情に合った温度補正が可能となるという利点がある。
【0510】
その他の構成及びその作用効果については、前述した第1実施形態の場合と同一となっている。
【0511】
以上に、深度情報を有する3Dデータをレンダリング処理し、視差画像に展開する例を開示したが、これに限定されず前述した第1実施形態の場合と同様に、デプス画像に展開することも可能である。また、第5の実施形態に説明したように、予めレンダリング処理により生成した視差画像や立体カメラを用いて撮影された視差画像などの2次元データを入力とするときにも適用できる。
【0512】
以上、本発明にかかる第1乃至第7の各実施形態について説明したが、これら各実施形態は、何れも立体表示パネル11を構成するレンチキュラーレンズ1と表示パネル部11Aとの各熱膨張係数に相違があっても両者を組み込んで一体化して使用することの可能性を見い出したものである。このため、本発明によると、選択の自由度を大幅に広くとることが可能となり、3Dの臨場感を損なうこと無く、装置全体の低コスト化、軽量化、およびフレキシブル化に大きく寄与することができるという利点がある。
【0513】
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0514】
この出願は2009年12月4日に出願された日本出願特願2009−276439を基礎とする優先権を主張し、その開示の全てをここに取り込む。