特許第6585938号(P6585938)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧
特許6585938立体像奥行き変換装置およびそのプログラム
<>
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000016
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000017
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000018
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000019
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000020
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000021
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000022
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000023
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000024
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000025
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000026
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000027
  • 特許6585938-立体像奥行き変換装置およびそのプログラム 図000028
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6585938
(24)【登録日】2019年9月13日
(45)【発行日】2019年10月2日
(54)【発明の名称】立体像奥行き変換装置およびそのプログラム
(51)【国際特許分類】
   H04N 13/128 20180101AFI20190919BHJP
   H04N 13/229 20180101ALI20190919BHJP
   H04N 13/307 20180101ALI20190919BHJP
   H04N 13/373 20180101ALI20190919BHJP
   G03B 35/08 20060101ALI20190919BHJP
   G03B 15/00 20060101ALI20190919BHJP
   G03B 35/18 20060101ALI20190919BHJP
【FI】
   H04N13/128
   H04N13/229
   H04N13/307
   H04N13/373
   G03B35/08
   G03B15/00 B
   G03B35/18
【請求項の数】4
【全頁数】19
(21)【出願番号】特願2015-125445(P2015-125445)
(22)【出願日】2015年6月23日
(65)【公開番号】特開2017-11520(P2017-11520A)
(43)【公開日】2017年1月12日
【審査請求日】2018年5月2日
【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】森田 寿哉
【審査官】 鈴木 隆夫
(56)【参考文献】
【文献】 特開2015−043187(JP,A)
【文献】 特開2013−046355(JP,A)
【文献】 特開2011−210168(JP,A)
【文献】 特開2015−091071(JP,A)
【文献】 特開2012−134881(JP,A)
【文献】 H. Hoshino, F. Okano, H. Isono, and I. Yuyama,"Analysis of resolution limitation of integral photography,",Jounal of the Optical Society of America A,米国,Optical Society of America,1998年 8月 1日,Vol. 15, No. 8,p2059-p2065
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00−13/398
G03B 15/00
G03B 35/08
G03B 35/18
(57)【特許請求の範囲】
【請求項1】
立体像3次元モデルの奥行きを圧縮変換して、所定解像度を満たしてIP方式の立体像を表示可能な要素画像群を生成する立体像奥行き変換装置であって、
前記立体像を表示する立体像表示装置の画素間隔、要素レンズの焦点距離および視距離に基づいて、前記所定解像度を満たす立体像が再現される奥行き再現範囲を算出する奥行き再現範囲算出手段と、
前記立体像表示装置の観察者から見た前記奥行き再現範囲の手前側位置を基準として、前記立体像3次元モデルの最大奥行き値を、前記奥行き再現範囲の前記観察者から見た奥側位置の奥行き値に変換する最大圧縮率を算出する最大圧縮率算出手段と、
記奥行き再現範囲の手前側位置を基準として、当該手前側位置よりも奥側の奥行き値を、前記立体像3次元モデルの前後関係を保持しつつ、かつ、前記手前側位置から遠いほど圧縮率を大きくして、前記奥行き再現範囲内の奥行き値に変換する変換関数であって、奥行き方向の圧縮の度合いの異なる複数の前記変換関数の中から、前記最大圧縮率算出手段で算出された最大圧縮率が大きいほど、圧縮の度合いの大きい変換関数を選択する変換関数選択手段と、
前記変換関数選択手段で選択された変換関数によって、前記立体像3次元モデルの奥行きを変換する奥行き変換手段と、
前記奥行き変換手段で奥行きが変換された立体像3次元モデルから、前記要素レンズごとの要素画像を生成し、前記要素画像群を生成する要素画像生成手段と、
を備えることを特徴とする立体像奥行き変換装置。
【請求項2】
前記変換関数は、前記奥行き再現範囲の前記手前側位置の奥行き値において、変換前の奥行き値と変換後の奥行き値とが一致するとともに、傾きが“1”となる接線を有し、前記変換前の奥行き値が大きくなるにつれて、前記変換後の奥行き値が、前記奥行き再現範囲の前記観察者から見た奥側位置の奥行き値に漸近する関数であることを特徴とする請求項1に記載の立体像奥行き変換装置。
【請求項3】
前記奥行き変換手段は、奥行きを変換するとともに、当該奥行きの前記圧縮率と同じ圧縮率で、当該奥行きに対応する前記立体像3次元モデルの水平方向および垂直方向の大きさを圧縮変換することを特徴とする請求項1または請求項2に記載の立体像奥行き変換装置。
【請求項4】
コンピュータを、請求項1から請求項のいずれか一項に記載の立体像奥行き変換装置として機能させるための立体像奥行き変換プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インテグラルフォトグラフィ方式の立体像の奥行きを変換する立体像奥行き変換装置およびそのプログラムに関する。
【背景技術】
【0002】
一般に、任意の視点で自由に立体像を視認することが可能な立体像表示方式の一つとして、平面上に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ(Integral Photography:以下IP)方式が知られている(例えば、特許文献1参照)。
【0003】
このIP方式について、図12を参照して、凸レンズ群を利用した例で説明する。
IP方式は、図12(a)に示すように、撮像装置100によって、平面上に2次元配列された複数の要素レンズ(凸レンズ)Lpからなるレンズアレー(凸レンズ群)Laを介して、被写体Oから出た光を撮像する。このとき、要素レンズLpの焦点距離fだけ離間した撮像面Eにおいて、要素レンズLpのレンズ間隔で、複数の要素画像e(要素画像群)が撮像されることになる。
そして、IP方式は、図12(b)に示すように、撮像時と同じ仕様のレンズアレーLaを介して、表示装置200の表示面Dに図12(a)で撮像した複数の要素画像e(要素画像群)を表示する。このとき、撮像された被写体空間と同様の光線が再生され、観察者Mは、被写体Oを立体像Tとして視認することができる。
【0004】
このIP方式では、実体のある被写体を1台の撮像装置で撮像して要素画像群を生成する以外にも、コンピュータグラフィックス(CG)で生成された仮想空間上の3次元データ、複数のカメラで撮影された映像から生成された3次元データ等の立体像3次元モデルから要素画像群を生成する手法が提案されている(特許文献2,特許文献3,非特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−71922号公報
【特許文献2】特開2009−175866号公報
【特許文献3】特開2012−84105号公報
【非特許文献】
【0006】
【非特許文献1】池谷,久富,片山,岩舘,「多視点映像からのインテグラル立体像生成手法〜スポーツシーンの3次元モデル生成と立体映像変換〜」,映像情報メディア学会誌,Vol.67,No.7,pp.J229-J240(2013)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1等に記載の手法で用いられるIP方式では、表示される立体像の奥行き位置が表示装置の凸レンズ群(レンズアレー)あるいはピンホール群から離れると解像度が低下するという奥行き再現範囲の問題が知られている(例えば、以下の参考文献1)。
(参考文献1:H. Hoshino, F. Okano, H. Isono, and I. Yuyama:“Analysis of resolution limitation of integral photography,” J.Opt.Soc.Am.A, Vol.15, No.8(1998))
【0008】
この問題について、図13を参照し、レンズアレーを用いた例で、簡単に説明する。
図13に、観察者Mがレンズアレーからある距離(視距離L)だけ離間して立体像を視認したときの立体像の奥行き位置と解像度(空間周波数)との関係を示す。図13において、横軸(z軸)は立体像奥行き位置、縦軸(γ軸)は立体像の解像度である空間周波数を示す。ここで、立体像の空間周波数とは、レンズアレー位置(z=0)から、ある距離(立体像奥行き位置)に再生された立体像を観察位置で観察した場合の単位角度内に再生できる縞の数の最大値(視覚あたりの解像度)であり、単位はcpd(cycles per degree)である。例えば、1度あたりで60画素視認可能であれば、空間周波数は30cpdとなる。
【0009】
図13に示すように、IP方式で再生される立体像の解像度(空間周波数γ)は、レンズアレー位置(z=0)近傍の前後一定の奥行き再現範囲で立体像の最大解像度(ナイキスト周波数)を維持し、その範囲を超えると急激に低下する特性を有する。この最大解像度は、レンズアレーを構成する要素レンズの間隔(ピッチ)で特定され、この奥行き再現範囲を超えた立体像は、レンズアレーの位置から離れるにつれてボケてしまう。またこれは、IP方式においては、原理的に立体像がボケずに表示可能な奥行き再現範囲が存在することを意味する。
【0010】
したがって、特許文献2,3に記載の手法により、立体像3次元モデルから要素画像群を生成し、立体像を表示すると、所定の奥行き再現範囲内ではボケのない立体像を表示することが可能である。しかし、この手法は、所定の奥行き再現範囲を超えた立体像については、ボケが大きくなってしまうという問題がある。なお、このボケのない奥行き再現範囲は、要素画像の画素数を増やすことで広げることもできるが、ハードウェア的な限界がある。
【0011】
この奥行き再現範囲の問題に対し、解像度で特定される奥行き再現範囲内に立体像3次元モデルを線形に圧縮して、当該範囲内で立体像を表示させることも考えられる。しかし、この手法を用いた場合、表示される立体像は、全体的に奥行き方向に潰れた不自然なものとなってしまう。
【0012】
本発明は、このような問題に鑑みてなされたものであり、立体像3次元モデルの奥行きを、所定の解像度を満たす奥行き再現範囲内に変換するとともに、奥行き方向の歪みを感じにくい立体像を表示することが可能なIP方式の要素画像群を生成する立体像奥行き変換装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0013】
前記課題を解決するため、本発明に係る立体像奥行き変換装置は、立体像3次元モデルの奥行きを圧縮変換して、所定解像度を満たしてIP方式の立体像を表示可能な要素画像群を生成する立体像奥行き変換装置であって、奥行き再現範囲算出手段と、最大圧縮率算出手段と、変換関数選択手段と、奥行き変換手段と、要素画像生成手段と、を備える構成とした。
【0014】
かかる構成において、立体像奥行き変換装置は、奥行き再現範囲算出手段によって、立体像を表示する対象となる立体像表示装置の画素間隔、要素レンズの焦点距離、および、観察者から立体像表示装置までの視距離に基づいて、所定の解像度を満たして立体像が再現される奥行き再現範囲を算出する。この奥行き再現範囲を立体像の表示範囲とすれば、所定の解像度を満たす立体像が表示されることになる。
そして、立体像奥行き変換装置は、最大圧縮率算出手段によって、立体像表示装置の観察者から見た奥行き再現範囲の手前側位置を基準として、立体像3次元モデルの最大奥行き値を、奥行き再現範囲の観察者から見た奥側位置の奥行き値に変換する最大圧縮率を算出する。
【0015】
そして、立体像奥行き変換装置は、変換関数選択手段によって、奥行き再現範囲の手前側位置を基準として、当該手前側位置よりも奥側の奥行き値を、立体像3次元モデルの前後関係を保持しつつ、かつ、手前側位置から遠いほど圧縮率を大きくして、奥行き再現範囲内の奥行き値に変換する変換関数であって、奥行き方向の圧縮の度合いの異なる複数の変換関数の中から、最大圧縮率算出手段で算出された最大圧縮率が大きいほど、圧縮の度合いの大きい変換関数を選択する。
そして、立体像奥行き変換装置は、奥行き変換手段によって、変換関数選択手段で選択された変換関数により、立体像3次元モデルの奥行きを変換する。この変換関数としては、シグモイド関数等を用いることができる。
これによって、観察者に近い立体像では奥行きの圧縮率が小さく、観察者から遠い立体像については奥行きの圧縮率が大きくなる。
【0016】
このように、奥行き再現範囲における観察者側で圧縮率を小さくし、奥側の圧縮率を大きくしても、人間の知覚特性からは、立体像に対する不自然さは感じにくい。例えば、以下の参考文献2に記載されているように、人間の奥行きを知覚する感度は、見る対象が遠くなるほど低下することが知られている。
(参考文献2:James E. Cutting: Perceiving Layout and Knowing Distances: The Integration , Relative Potency, and Contextual Use of Different Information about Depth”Epstein, William (Ed); Rogers, Sheena J. (Ed), (1995). Perception of space and motion. Handbook of perception and cognition (2nd ed.)., (pp. 69-117) (1995))
この参考文献2には、IP方式で再現可能な奥行きの手がかり(両眼の輻輳、両眼視差、焦点調節、運動視差)のすべてにおいて、見る対象が遠くなるほど感度が低下する旨が記載されている。
【0017】
すなわち、奥行き変換手段は、このような人間の知覚特性に基づき、観察者に近い立体像では奥行きの圧縮率を小さく、観察者から遠い立体像については奥行きの圧縮率を大きくしている。そのため、奥行きが圧縮された立体像であっても、観察者は不自然さを感じにくくなる。
【0018】
そして、立体像奥行き変換装置は、要素画像生成手段によって、奥行き変換手段で奥行きが変換された立体像3次元モデルから、立体像表示装置の要素レンズごとの要素画像を生成し、要素画像群を生成する。
このように生成された要素画像群を立体像表示装置に表示することで、観察者に立体像を視認させることができる。
【0019】
なお、立体像奥行き変換装置は、コンピュータを、奥行き再現範囲算出手段、奥行き変換手段、要素画像生成手段として機能させるための立体像奥行き変換プログラムで動作させることができる。
【発明の効果】
【0020】
本発明は、以下に示す優れた効果を奏するものである。
本発明は、所定の解像度を満たす奥行き再現範囲に立体像を表示することが可能な要素画像群を生成することができる。また、本発明は、観察者に近い立体像では奥行きの圧縮率が小さく、観察者から遠い立体像については奥行きの圧縮率が大きくなる立体像を表示する要素画像群を生成することができる。
本発明により生成された要素画像群は、IP方式の立体像表示装置で表示されることで、観察者にボケを知覚させない立体像として表示されることになる。また、本発明により生成された要素画像群は、観察者に近いほど奥行きの圧縮率が小さいため、表示された立体像は、人間の知覚特性から、遠近感における不自然さを感じにくいものとなる。
【図面の簡単な説明】
【0021】
図1】本発明の実施形態に係る立体像奥行き変換装置を備えたインテグラル立体像表示システムの全体構成を示す構成図である。
図2】本発明の第1実施形態に係る立体像奥行き変換装置の構成を示すブロック構成図である。
図3】IP方式における所定解像度を満たす奥行き再現範囲を説明するためのグラフ図である。
図4】IP方式における立体像の解像度を説明するための説明図である。
図5】本発明の実施形態に係る立体像奥行き変換装置の立体像3次元モデルの座標系(xyz座標系)を示す図であって、(a)はxy座標、(b)はyz座標を示す。
図6】本発明の実施形態に係る立体像奥行き変換装置の奥行き変換手段が用いる変換関数の例を示すグラフ図である。
図7】本発明の実施形態に係る立体像奥行き変換装置の奥行き変換手段が奥行き変換時に行う幅変換処理を説明するための図であって、(a)は幅変換前の状態、(b)は幅変換後の状態を示す。
図8】本発明の実施形態に係る立体像奥行き変換装置の要素画像生成手段における要素画像の生成手法を説明するための説明図である。
図9】本発明の第1実施形態に係る立体像奥行き変換装置の動作を示すフローチャートである。
図10】本発明の第2実施形態に係る立体像奥行き変換装置の構成を示すブロック構成図である。
図11】本発明の第2実施形態に係る立体像奥行き変換装置の動作を示すフローチャートである。
図12】IP方式の概要を説明するための図であって、(a)は撮像系、(b)は表示系を示す。
図13】IP方式の立体像表示装置における解像度と立体像の奥行き位置との関係を示すグラフ図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施形態について図面を参照して説明する。
〔インテグラル立体像表示システムの構成〕
最初に、図1を参照して、本発明の実施形態に係る立体像奥行き変換装置を備えたインテグラル立体像表示システムSの構成について説明する。
【0023】
インテグラル立体像表示システムSは、観察者Mの視距離に応じて、予め定めた解像度を満たす奥行き再現範囲にIP方式の立体像Tを表示するものである。
このインテグラル立体像表示システムSは、図1に示すように、立体像奥行き変換装置1と、立体像表示装置2と、測距装置3と、を備える。
【0024】
立体像奥行き変換装置1は、観察者Mと立体像表示装置2との距離(視距離)に応じて、立体像Tが所定解像度を満たす奥行き再現範囲で再現されるように、立体像Tの奥行きを変換するものである。この立体像奥行き変換装置1は、測距装置3から観察者Mの視距離を入力し、立体像3次元モデルから、視距離に応じた奥行き再現範囲内でIP方式の画像(要素画像群)を生成する。このとき、立体像奥行き変換装置1は、表示対象の前後関係を保持しつつ、表示対象が遠方であるほど、より大きい圧縮率で、奥行き再現範囲内に収まるような要素画像群を生成する。
この立体像奥行き変換装置1は、生成した要素画像群を立体像表示装置2に出力する。なお、この立体像奥行き変換装置1については、後で詳細に説明する。
【0025】
立体像表示装置2は、IP方式の立体像を表示する一般的なIP立体像表示装置である。例えば、図12(b)で説明した表示装置200である。この立体像表示装置2は、立体像奥行き変換装置1から要素画像群を入力し、図示を省略したレンズアレーを介して要素画像群を表示することで、観察者Mに対して立体像Tを視認させる。
【0026】
測距装置3は、立体像表示装置2から観察者Mまでの視距離を測定するものである。この測距装置3は、例えば、一般的な距離センサー等で構成することができる。また、測距装置3は、例えば、2台のカメラで撮影した観察者Mのカメラ画像から、強膜反射法や角膜・瞳孔反射法によって、観察者Mの左右の角膜をそれぞれ検出し、三角測量の原理により、3次元の視点位置を求め、視距離を測定することとしてもよい。
この測距装置3は、測定した視距離を立体像奥行き変換装置1に出力する。
なお、インテグラル立体像表示システムSは、予め固定の値を視距離(例えば、画面高の3倍等、推奨の視距離)とする形態であってもよい。その場合、インテグラル立体像表示システムSは、測距装置3を構成から省略してもよい。
【0027】
このように、インテグラル立体像表示システムSは、観察者Mの視距離に応じて、観察者Mから見て、所定の解像度を満たした立体像Tを視認させることができる。また、インテグラル立体像表示システムSは、観察者Mに近い立体像については圧縮率を小さくし、遠い立体像については圧縮率を大きくして奥行きを変換するため、奥行き方向の潰れを感じにくい立体像Tを表示することができる。
以下、立体像奥行き変換装置1の構成および動作について詳細に説明する。
【0028】
≪第1実施形態≫
〔立体像奥行き変換装置の構成〕
まず、図2を参照(適宜図1参照)して、本発明の第1実施形態に係る立体像奥行き変換装置1の構成について説明する。
図2に示すように、立体像奥行き変換装置1は、奥行き再現範囲算出手段10と、奥行き変換手段11と、要素画像生成手段12と、を備える。
【0029】
奥行き再現範囲算出手段10は、観察者がある視距離だけ離れて立体像表示装置2を視認したときに、所定解像度を満たす立体像が再現される奥行き再現範囲を算出するものである。この奥行き再現範囲算出手段10は、立体像表示装置2の画素間隔、レンズアレー(要素レンズ)の焦点距離と、視距離とを入力し、当該視距離において、所定の解像度(例えば、30cpd)以上で立体像が再現される奥行き再現範囲を算出する。
【0030】
なお、立体像表示装置2の特定情報である画素間隔、レンズアレー(要素レンズ)の焦点距離は、表示パラメータとして、外部から入力されるものとする。また、視距離は、測距装置3から測定された値として、あるいは、図示を省略した入力手段から指定された値として、入力されるものとする。
ここでは、奥行き再現範囲算出手段10は、立体像表示装置2の表示面(より具体的には、レンズアレーの位置)から、所定の解像度を満たす観察者に最も近い位置(手前側位置)と、最も遠い位置(奥側位置)とを算出し、奥行き再現範囲とする。
【0031】
ここで、図3図4を参照して、奥行き再現範囲算出手段10が算出する奥行き再現範囲について具体的に説明する。
図3は、観察者Mが観察位置で立体像表示装置2を視認したときの立体像の解像度(空間周波数)と、立体像の奥行き位置との関係を示している。なお、縦軸は、立体像の解像度(空間周波数)、横軸は、立体像表示装置2のレンズアレー位置を原点“0”とした立体像の奥行き位置を示している。また、観察者Mの位置は、立体像表示装置2(レンズアレー位置)から、視距離Lだけ離間していることとする。
【0032】
図3に示すように、所定の解像度(例えば、30cpd)以上で立体像を再現可能な奥行きの範囲(奥行き再現範囲)は、観察者Mから見て、レンズアレー位置よりも手前の手前側位置Dfrontと、レンズアレー位置よりも奥の奥側位置Dbackとによって特定される範囲(Dlimit)となる。
すなわち、奥行き再現範囲算出手段10は、所定解像度を満たす観察者に最も近い手前側位置Dfrontと、最も遠い奥側位置Dbackとを算出することで、所定解像度での奥行き再現範囲Dlimitを特定する。
【0033】
ここで、図4に示すように、要素画像eの画素gのピッチ(画素間隔)をδ、レンズアレーLa(要素レンズLp)の焦点距離をf、観察者Mの視距離をLとする。すると、レンズアレーLaからz(ここでは、観察者M方向を正とする)だけ離れた位置に表示される立体像Tの画素(投影画素G)のピッチ(画素間隔)Δは、以下の式(1)で表され、空間周波数(観視空間周波数)βは、以下の式(2)で表される。
【0034】
【数1】
【数2】
【0035】
そこで、奥行き再現範囲算出手段10は、所定解像度をβとしたときの奥行き再現範囲のレンズアレー位置よりも手前(観察者側)の手前側位置Dfront、および、レンズアレー位置よりも奥の奥側位置Dbackを、それぞれ、以下の式(3)、式(4)により算出する。
【0036】
【数3】
【数4】
【0037】
なお、観察者Mが視距離Lの位置で視認する立体像Tの最大空間周波数βは、レンズアレーLaの要素レンズLpのレンズピッチpによって、以下の式(5)により決まってしまう。
【0038】
【数5】
【0039】
すなわち、任意の奥行き位置に生成される立体像の空間周波数γは、以下の式(6)に示すように、レンズピッチpで決まる最大空間周波数βと、前記式(2)で計算される観視空間周波数βとを比較した結果の低い方に制限されることになる。
【0040】
【数6】
【0041】
そこで、奥行き再現範囲算出手段10が奥行き再現範囲を算出するために用いる所定の解像度は、βを超えない値とする。
図1に戻って、立体像奥行き変換装置1の構成について説明を続ける。
【0042】
奥行き再現範囲算出手段10は、測定あるいは指定された視距離において、手前側位置Dfront図3参照)と奥側位置Dback図3参照)とを、所定解像度を満たす奥行き再現範囲として、奥行き変換手段11に出力する。
【0043】
奥行き変換手段11は、表示対象となる立体像3次元モデルの奥行きを、予め定めた変換関数を用いて、奥行き再現範囲算出手段10で算出された奥行き再現範囲内に変換するものである。この立体像3次元モデルは、立体像として表示したい対象の色、形状、位置等を表すデータであって、例えば、コンピュータグラフィックス(CG)で生成された3次元データ、複数のカメラで撮影された映像から生成された3次元データ等である。
【0044】
また、立体像3次元モデルの座標系は、例えば、図5に示すようなxyz座標系である。すなわち、図5(a)に示すように、立体像表示装置2の表示面を正面視したときの水平方向をx方向、垂直方向をy方向とする。また、図5(b)に示すように、立体像表示装置2の表示面(具体的には、レンズアレーLa)を側面視したときの水平方向(奥行き方向)をz方向、垂直方向をy方向とする。もちろん、立体像3次元モデルの座標系は相対的なものであるため、これに限定されるものではない。なお、観察者Mから見て、手前側位置Dfrontよりも手前には、立体像3次元モデルを配置しないこととする。
【0045】
このような立体像3次元モデルの座標系において、奥行き変換手段11は、立体像3次元モデルの奥行き方向の前後関係を保持しつつ、表示対象が遠方であるほど、より大きい圧縮率で、立体像が奥行き再現範囲内に収まるように、予め定めた変換関数を用いて、立体像3次元モデルの奥行きを変換する。この変換関数については、後で詳細に説明する。
この奥行き変換手段11は、奥行きを変換した立体像3次元モデルを、要素画像生成手段12に出力する。
【0046】
(変換関数の例)
次に、図6を参照して、奥行き変換手段11が用いる変換関数の例について説明する。
図6では、変換関数Fをz′=F(z)とし、立体像3次元モデルの奥行き座標(変換前の奥行き値)をz、変換された立体像の奥行き座標(変換後の奥行き値)をz′とする。また、ここでは、説明を簡易化するため、奥行き再現範囲の手前側位置Dfrontを、奥行き座標z=0にシフトして説明する。もちろん、奥行き再現範囲の奥側位置Dbackも、手前側位置Dfrontと同様のシフト量でシフトしている。
【0047】
この変換関数Fは、奥行き再現範囲の手前側位置Dfrontの奥行き値において、変換前の奥行き値zと変換後の奥行き値z′とが一致するとともに、傾きが“1”となる接線を有する。ここで、傾きが“1”とは、変換前の奥行き値zの増加量に対する変換後の奥行き値z′の増加量の比率が一致することをいう。また、変換関数Fは、zが大きくなるにつれて、z′=Dbackを漸近線として、z′がDbackに漸近する関数である。
この変換関数Fは、シグモイド関数等、種々の関数で実現することができる。例えば、変換関数として、以下の式(7)〜式(9)に示す変換関数F〜Fのいずれかを用いることができる。なお、Dlimitは、手前側位置Dfrontと奥側位置Dbackとで特定される奥行き再現範囲の大きさである。
【0048】
【数7】
【数8】
【数9】
【0049】
この変換関数F〜Fは、図6に示すように、奥行き値zが大きくなるにつれて、変換関数Fが最も早く漸近線z′=Dbackに接近し、以下、変換関数F、Fの順で遅く漸近線z′=Dbackに接近する。
【0050】
奥行き変換手段11は、これら変換関数のうちの1つを予め保持し、立体像3次元モデルの奥行きを変換する。なお、立体像3次元モデルの表示範囲として奥行きが既知の場合、奥行き変換手段11は、表示範囲の最大奥行きが浅いほど、奥行き値zが大きくなるにつれて、漸近線z′=Dbackに接近するのが早い変換関数(例えば、変換関数F)を用いることが好ましい。
【0051】
このような変換関数を用いることで、奥行き変換手段11は、奥行き値zが小さいほど、z′=zの関係により近く、圧縮率を小さくして奥行き値を変換する。また、奥行き変換手段11は、奥行き値zが大きいほど、圧縮率を大きくし、z′=Dbackに接近して、奥行き再現範囲内に収まるように奥行き値を変換する。
【0052】
なお、奥行き値が観察者に近づくと、観察者の網膜に映る立体像の大きさは拡大する。そこで、奥行き変換手段11は、奥行きを変換するとともに、当該奥行きの圧縮率と同じ圧縮率で、当該奥行きに対応する立体像3次元モデルの水平方向および垂直方向の大きさ(立体像の横幅および縦幅)を圧縮変換することが好ましい。
その場合、図7(a)に示すように、立体像表示装置2において、立体像3次元モデルの表示対象の奥行き幅をDoriginとし、図7(b)に示すように、DfrontとDbackとで特定される奥行き変換後の奥行き再生範囲をDlimitとしたとき、変換前の立体像の横幅Worigin、縦幅Horigin(不図示)は、それぞれ、以下の式(10)および式(11)により、変換後の奥行き値z′における横幅W、縦幅Hとすればよい。
【0053】
【数10】
【数11】
【0054】
すなわち、図5(a)に示すxy座標に置き換えたとき、立体像3次元モデルのx座標値およびy座標値を、それぞれ、以下の式(12)および式(13)により、変換後のxy座標値x′、y′とすればよい。
【0055】
【数12】
【数13】
【0056】
このように、奥行き変換手段11は、奥行きに応じて、立体像の横幅および縦幅を変換することで、観察者の網膜に映る立体像の大きさを奥行きに応じた大きさに変換することができる。
図2に戻って、立体像奥行き変換装置1の構成について説明を続ける。
【0057】
要素画像生成手段12は、奥行き変換手段11で奥行きが変換された立体像3次元モデルから、要素レンズごとの要素画像を生成し、IP方式で立体像を表示するための要素画像群を生成するものである。なお、要素画像を生成するために必要となる立体像表示装置2の特定情報(例えば、縦横の画素数および画素間隔、レンズアレー(要素レンズ)の縦横のレンズ数およびレンズ間隔ならびに焦点距離)は、表示パラメータとして外部から入力することとする。
この立体像3次元モデルから要素画像を生成する手法は、既知の手法を用いればよい。例えば、〔背景技術〕で説明した特許文献2、特許文献3、非特許文献1等の手法を用いればよい。
この要素画像生成手段12は、生成した要素画像群を立体像表示装置2に出力する。なお、立体像をリアルタイムで表示しないのであれば、要素画像生成手段12は、図示を省略した記憶装置に要素画像群を記憶することとしてもよい。
【0058】
ここで、図8を参照して、要素画像生成手段12が行う要素画像の生成手法の例について説明する。
図8に示すように、要素画像生成手段12は、光線追跡法を用いて、要素画像eを構成する画素gの画素値を1画素ずつ求める。
この要素画像生成手段12は、要素画像eを表示する表示面Dと、表示面Dから焦点距離fだけ離間し、要素画像eに対応する位置に配置された要素レンズLpが平面上に2次元配列されたレンズアレーLaとで構成される立体像表示装置2を対象として、要素画像eを生成する。
【0059】
具体的には、要素画像生成手段12は、画素gから、焦点距離fだけ離間した対応する要素レンズLpのレンズ中心Lcを向く単位ベクトルvを求める。そして、要素画像生成手段12は、単位ベクトルvの延長戦上で、レンズアレーLaから視距離Lだけ離れた位置に仮想カメラCを配置し、画素gの方向を撮影する。このとき、要素画像生成手段12は、仮想カメラCの中心で撮影される立体像3次元モデルの表面Aの画素gの値を画素gの画素値とする。
そして、要素画像生成手段12は、すべての要素画像eの画素数分、画素値を求めることで、立体像を表示するための要素画像群を生成する。
【0060】
以上説明したように立体像奥行き変換装置1を構成することで、立体像奥行き変換装置1は、立体像3次元モデルから、奥行き方向に対する不自然さを感じにくく、所定の解像度でボケを知覚させない立体像を表示可能な要素画像群を生成することができる。
なお、立体像奥行き変換装置1は、図示を省略したコンピュータを、前記した各手段として機能させるプログラム(立体像奥行き変換プログラム)で動作させることができる。
【0061】
〔立体像奥行き変換装置の動作〕
次に、図9を参照(構成については適宜図2参照)して、本発明の第1実施形態に係る立体像奥行き変換装置1の動作について説明する。
まず、立体像奥行き変換装置1は、立体像表示装置2から観察者までの視距離と、表示パラメータとを外部から入力する(ステップS1)。なお、この視距離は、固定の距離値として入力される形態であってもよいし、測距装置3による測定結果として入力される形態であってもよい。
【0062】
そして、立体像奥行き変換装置1は、奥行き再現範囲算出手段10によって、ステップS1で入力された視距離および表示パラメータから、所定の解像度を満たす観察者に最も近い手前側位置と、最も遠い奥側位置とを奥行き再現範囲として算出する(ステップS2)。すなわち、奥行き再現範囲算出手段10は、視距離をL、所定解像度をβ、立体像表示装置2の要素画像の画素間隔をδ、レンズアレー(要素レンズ)の焦点距離をfとしたとき、前記式(3)および式(4)により、所定解像度を満たす観察者に最も近い手前側位置Dfrontと、最も遠い奥側位置Dbackとを算出する。
【0063】
その後、立体像奥行き変換装置1は、表示対象となる立体像3次元モデルを入力する(ステップS3)。
そして、立体像奥行き変換装置1は、奥行き変換手段11によって、所定解像度を満たす手前側位置frontよりも奥側の立体像3次元モデルの奥行きを、予め定めた変換関数(前記式(7)、式(8)、式(9)等)を用いて、ステップS2で算出された奥行き再現範囲内に変換する(ステップS4)。このとき、奥行き変換手段11は、立体像3次元モデルの奥行き変換に伴い、その変換比率に応じて、立体像の横幅および縦幅を変換することが好ましい。
【0064】
そして、立体像奥行き変換装置1は、要素画像生成手段12によって、ステップS4で奥行きが変換された立体像3次元モデルから、ステップS1で入力された表示パラメータに基づいて、IP方式で立体像を表示するための要素画像群を生成する(ステップS5)。その後、立体像奥行き変換装置1は、生成した要素画像群を外部(立体像表示装置2)に出力する(ステップS6)。
【0065】
以上の動作によって、立体像奥行き変換装置1は、立体像3次元モデルから、奥行き方向に対する不自然さを感じにくく、所定の解像度でボケを知覚させない立体像を表示可能な要素画像群を生成することができる。
【0066】
≪第2実施形態≫
〔立体像奥行き変換装置の構成〕
次に、図10を参照(適宜図1参照)して、本発明の第2実施形態に係る立体像奥行き変換装置1Bの構成について説明する。
立体像奥行き変換装置1(図2参照)は、奥行きを変換する変換関数として、予め定めた1つの関数を用いる構成であった。一方、立体像奥行き変換装置1Bは、立体像3次元モデルの奥行きに応じて、変換関数を選択する構成としている。
【0067】
図10に示すように、立体像奥行き変換装置1は、奥行き再現範囲算出手段10と、奥行き変換手段11Bと、要素画像生成手段12と、最大圧縮率算出手段13と、変換関数選択手段14と、を備える。
奥行き再現範囲算出手段10および要素画像生成手段12は、図2で説明した立体像奥行き変換装置1と同一の構成であるため、同一の符号を付して説明を省略する。なお、奥行き再現範囲算出手段10が算出する奥行き再現範囲は、最大圧縮率算出手段13および奥行き変換手段11Bに出力される。
【0068】
奥行き変換手段11Bは、表示対象となる立体像3次元モデルの奥行きを、変換関数選択手段14で選択された変換関数を用いて、奥行き再現範囲算出手段10で算出された奥行き再現範囲内に変換するものである。
すなわち、奥行き変換手段11Bは、選択された変換関数を用いること以外、図2で説明した奥行き変換手段11と同じである。よって、ここでは、奥行き変換手段11Bの詳細な説明は省略する。
【0069】
最大圧縮率算出手段13は、立体像3次元モデルの奥行きを、奥行き再現範囲算出手段10で算出された奥行き再現範囲内に変換した場合の最大圧縮率を算出するものである。この最大圧縮率算出手段13は、算出した最大圧縮率を変換関数選択手段14に出力する。
具体的には、最大圧縮率算出手段13は、奥行き再現範囲算出手段10で算出された奥行き再現範囲の手前側位置を基準として、立体像3次元モデルの最大奥行き値を、奥行き再現範囲の観察者から見た奥側位置の奥行き値に変換する最大圧縮率を算出する。
すなわち、図7(a)に示したように、立体像3次元モデルの表示対象の最大奥行き幅をDoriginとし、図7(b)に示したように、奥行き再現範囲をDlimitとしたとき、最大圧縮率算出手段13は、以下の式(14)により、最大圧縮率rを算出する。
【0070】
【数14】
【0071】
変換関数選択手段14は、最大圧縮率算出手段13で算出された最大圧縮率に基づいて、予め定めた複数の変換関数の中から1つを選択するものである。この変換関数選択手段14は、選択した変換関数を奥行き変換手段11Bに通知する。
ここで、変換関数は、図6で説明したように、z=0(手前側位置Dfront)でz′=z(傾き“1”)の接線を有し、zが大きくなるにつれて、z′=Dbackを漸近線として、z′がDbackに漸近する関数である。
【0072】
変換関数選択手段14は、例えば、図6で示した複数の変換関数F〜F(前記式(7)〜式(9))を予め保持し、最大圧縮率が予め定めた第1レベル値よりも小さければ、奥行きの変化が小さい変換関数Fを選択し、最大圧縮率が予め定めた第2レベル値よりも大きければ、奥行きの変化が大きい変換関数Fを選択する。また、変換関数選択手段14は、最大圧縮率が第1レベル値と第2レベル値との間であれば、変換関数Fを選択する。
【0073】
以上説明したように立体像奥行き変換装置1Bを構成することで、立体像奥行き変換装置1Bは、立体像3次元モデルから、奥行き方向に対する不自然さを感じにくく、所定の解像度でボケを知覚させない立体像を表示可能な要素画像群を生成することができる。また、立体像奥行き変換装置1Bは、最大圧縮率に応じて、変換関数を変えるため、立体像奥行き変換装置1よりもさらに奥行き方向に対する不自然さを感じにくくすることができる。
なお、立体像奥行き変換装置1Bは、図示を省略したコンピュータを、前記した各手段として機能させるプログラム(立体像奥行き変換プログラム)で動作させることができる。
【0074】
〔立体像奥行き変換装置の動作〕
次に、図11を参照(構成については適宜図10参照)して、本発明の第2実施形態に係る立体像奥行き変換装置1Bの動作について説明する。
【0075】
ステップS10,S11は、図9で説明した立体像奥行き変換装置1(図2参照)のステップS1,S2と同じ動作であるため説明を省略する。
立体像奥行き変換装置1Bは、ステップS11において、所定解像度を満たす観察者に最も近い手前側位置と、最も遠い奥側位置とを奥行き再現範囲として算出した後、最大圧縮率算出手段13によって、立体像3次元モデルの奥行きを、ステップS11で算出された奥行き再現範囲内に変換した場合の最大圧縮率を算出する(ステップS12)。
【0076】
そして、立体像奥行き変換装置1Bは、変換関数選択手段14によって、ステップS12で算出された最大圧縮率の大きさに基づいて、予め定めた複数の変換関数の中から1つを選択する(ステップS13)。すなわち、変換関数選択手段14は、最大圧縮率が大きければ、奥行きの変化が大きい変換関数を、最大圧縮率が小さければ、奥行きの変化が小さい変換関数を選択する。
その後、立体像奥行き変換装置1Bは、表示対象となる立体像3次元モデルを入力する(ステップS14)。
【0077】
そして、立体像奥行き変換装置1Bは、奥行き変換手段11Bによって、ステップS13で選択された変換関数を用いて、立体像3次元モデルの奥行きを奥行き再現範囲内に変換する(ステップS15)。このとき、奥行き変換手段11Bは、立体像3次元モデルの奥行き変換に伴い、その変換比率に応じて、立体像の横幅および縦幅を変換することが好ましい。
以降のステップS16,S17は、図9で説明した立体像奥行き変換装置1(図2参照)のステップS5,S6と同じ動作であるため説明を省略する。
【0078】
以上、本発明の実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。
例えば、ここでは、奥行き再現範囲算出手段10は、視距離や表示パラメータを逐次入力することとしたが、これらが固定した値であれば、立体像奥行き変換装置1Bの内部に予め設定しておくこととしてもよい。
【0079】
また、例えば、奥行き変換手段11,11Bの変換関数の例として、前記式(7)〜式(9)を例示したが、これに限定されるものではない。すなわち、表示対象の前後関係を保持しつつ、表示対象が遠方であるほど、より大きい圧縮率で、奥行き再現範囲内に収まるような変換関数であればよく、双曲線正接関数、グーデルマン関数等であっても構わない。
また、変換関数選択手段14では、例示した3つの変換関数から1つを選択することとしたが、変換関数の数は3つに限定されるものではなく、2つあるいは4つ以上であっても構わない。
【符号の説明】
【0080】
S インテグラル立体像表示システム
1,1B 立体像奥行き変換装置
10 奥行き再現範囲算出手段
11,11B 奥行き変換手段
12 要素画像生成手段
13 最大圧縮率算出手段
14 変換関数選択手段
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13