特許第5794554号(P5794554)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 学校法人 文教大学学園の特許一覧

特許5794554融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法、およびその融像式を適用したステレオフォトビューア
<>
  • 特許5794554-融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法、およびその融像式を適用したステレオフォトビューア 図000039
  • 特許5794554-融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法、およびその融像式を適用したステレオフォトビューア 図000040
  • 特許5794554-融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法、およびその融像式を適用したステレオフォトビューア 図000041
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】5794554
(24)【登録日】2015年8月21日
(45)【発行日】2015年10月14日
(54)【発明の名称】融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法、およびその融像式を適用したステレオフォトビューア
(51)【国際特許分類】
   G06T 19/00 20110101AFI20150928BHJP
【FI】
   G06T19/00 F
【請求項の数】4
【全頁数】30
(21)【出願番号】特願2015-4611(P2015-4611)
(22)【出願日】2015年1月14日
【審査請求日】2015年1月22日
【早期審査対象出願】
(73)【特許権者】
【識別番号】596132226
【氏名又は名称】学校法人 文教大学学園
(74)【代理人】
【識別番号】100082669
【弁理士】
【氏名又は名称】福田 賢三
(74)【代理人】
【識別番号】100095337
【弁理士】
【氏名又は名称】福田 伸一
(74)【代理人】
【識別番号】100095061
【弁理士】
【氏名又は名称】加藤 恭介
(72)【発明者】
【氏名】広内 哲夫
【審査官】 村松 貴士
(56)【参考文献】
【文献】 特開2013−044957(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
H04N 13/00 − 15/00
(57)【特許請求の範囲】
【請求項1】
閲覧者が3Dディスプレイ画面から所定の距離だけ離れたところから上記3Dディスプレイ画面を眺め、上記閲覧者が立体像を視認するに際し、上記閲覧者が閲覧するところの相互に重なり合った右目用画像と左目用画像は、右目用と左目用の鑑賞画像から所定の視点に向かう光線によって上記鑑賞画像と上記視点間に置かれた投影面に投影される右目用と左目用の画像の写像を、上記右目用画像と左目用画像として、上記3Dディスプレイ画面に表示されるものであり、ズーミング倍率をm(m1≦m≦m0、但しm1は縮小限界倍率、m0は拡大限界倍率)とするズーミング可能なステレオフォトビューアにおいて、
上記投影面から上記鑑賞画像までの距離をλとし、
上記右目用画像と左目用画像とのずれ幅をD(D≦D1、但しD1は最大ズレ幅)とし、
上記閲覧者が視認する立体像の上記3Dディスプレイ画面からの距離をu(u0≦u≦u1、但し、u0は閲覧者が立体像を画面上に視認する距離で、u1は閲覧者が視認する立体像が画面から最遠の距離にある距離)とし、
Cを数1のD式のmにm1をDにD1を代入して決まる定数、Kを任意の定数、u1を数1のu式のDにD1を代入して決まる定数、eを左右の瞳孔の間隔、hを閲覧者の3Dディスプレイ画面から距離とし、
数1に従って、uはDから、また、Dはmから決まるものとし、
(1)数1のu式へD式を代入した式へm式を代入することでλの関数としてのuを求め、
【数1】
(2)上記λの関数としてのuにおいて、複数の異なる離散値λiに対応するuの離散値uiを求め、
(3)上記(2)で求めた複数の異なる離散値λiに対応するuの離散値uiによる差(λi−K′×ui)の平方和を最小にするK′を求め、
(4)パラメータnの離散値において数1における上記Kの値に最も近いK′の値となるパラメータnの値nsを見出すことで、パラメータnの最適化を行うことを含み、
λとuとの関係が、比例関係に近づくようにパラメータnを決定することで上記D式で示される融像式を最適化することを特徴とする、融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法。
【請求項2】
(1)それぞれ複数のD1の離散値とm0の離散値を設定するステップと、
(2)数1のD式のmにm1をDにD1を代入して上記定数Cを決定し、数1のu式のDにD1を代入してu1を決定するステップと、
(3)nの離散値を設定するステップと、
(4)λの離散値λiを設定するステップと、
(5)数1に従って、λからm、mからD、Dからuを、算出するステップと、
(6)複数の異なる離散値λiに対応するuの離散値uiによる差(λi−K′×ui)の平方のiについての和を最小にするK′を算出するステップと、
(7)パラメータnの値域における複数の異なる離散値において数1における上記Kの値に最も近いK′の値となるパラメータnの値nsを見出すステップと、
を含むものであることを特徴とする請求項1に記載の、融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法。
【請求項3】
上記mの離散値とそれに対応した上記Dの離散値の対を複数含む組が複数ある場合に、上記複数の組のそれぞれの組での上記の値nsを見出すことで、その集合{ns}を見出し、組ごとのm0とD1について、係数A(D1)と定数項B(D1)を上記D1の関数とし、上記パラメータnの値として、上記集合{ns}の数2
【数2】
による値ns(m0,D1)を上記融像式に適用するものであることを特徴とする請求項1あるいは2に記載の、融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法。
【請求項4】
上記のズーミング可能なステレオフォトビューアにおいて、
請求項1から3のいずれか1つに記載のズーミング可能なステレオフォトビューアにおける融像式の最適化方法を用いて得られる融像式を適用したことを特徴とするステレオフォトビューア。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、左右の立体写真の組を用いて閲覧者に立体像を提示するステレオフォトビューアの最適化方法であって、特に、融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法、およびその融像式を適用したステレオフォトビューアに関する。
【背景技術】
【0002】
[1. はじめに]
本願の発明者は先に、特許文献1(特開2013−044957号公報)で、ズーミング可能なステレオフォトビューアを開示している。この開示において、融像式を示し、指数nとして、0.0、0.5、1.0および2.0の4通りについて実験した旨記載している。また、立体像の倍率mとその奥行き位置uの関係で、倍率が2倍になれば、奥行き位置は2分の1となるような反比例の関係をほぼ満たす指数nは、0.7付近の値であることを見出している。
【0003】
[2.3次元CGとしてのSPV仮想空間]
<2.1 3次元CG>
3次元コンピュータ・グラフィックス(CG)では、現実の空間を反映するようにディスプレイ画面上に3次元仮想空間が作られる(非特許文献3、非特許文献4)。図1に示すように、仮想空間のある一点に視点を定め、視点の前方(つまり眺める側の方向)に投影面を置く。この投影面はビュースクリーンと呼ばれる。投影面と視点の距離が焦点距離である。投影面には、視点に対して透視投影された仮想物体の像が映し出され、投影面の画像はディスプレイ装置の画面にそのまま転写される。この転写はビューポート変換と呼ばれる。投影面の前方と後方には、それぞれ前方クリッピング面と後方クリッピング面が設定され、両方(前方と後方)のクリッピング面で囲まれた空間(視点を起点とする後方クリッピング面までの四角錐空間から視点を起点とする前方クリッピング面までの四角錐空間を除いた空間)はビューボリュームと呼ばれ、この限定された仮想空間内に存在する仮想物体のみが投影対象となる。投影面に映し出される視界の範囲は、視角(垂直視角と水平視角)によって定まる。
【0004】
投影面は視点に固定されており(ただし焦点距離は可変)、視点は投影面とともに閲覧者の操作によって3次元仮想空間内を動き回り、投影面を介してディスプレイ画面に映し出された画像を閲覧者が眺めることになる。このことから、視点はアバターとも呼ばれ、閲覧者の代理人として働く。また、3次元CGにおいても、視点から仮想物体(投影対象物)までの距離と投影面に映し出される画像の倍率の間には反比例の関係が成り立つ。
【0005】
<2.2 SPV仮想空間の仕組み>
SPVはソフトウェアとしては、例えばJava(登録商標)2Dを用いた2次元CGに基づいて制作されているが、SPVの仮想空間は、上記の3次元CGの仮想空間を用いて説明することができる(文献2には投影面を描かない状態で簡略化して紹介されている)。これは、3Dディスプレイ画面に映し出される2次元画像の倍率は、アバターの視点から仮想物体までの距離という3次元空間の特性に関係付けすることができるからである。SPVは仮想物体に代わって、ステレオペアと呼ばれる左目用と右目用の2枚の立体写真の組を用いる。ステレオペアのそれぞれは厚さがなく重なり合ってパネルに貼り付けられていて、それは図1に示す後方クリッピング面に置かれている。アバター(視点)はその左右2枚のステレオペアを同時にかつ別箇に眺める能力がある。また、ステレオペアの右目用写真は、以下の数2に示す融像式に従って水平方向左右にスライドする。アバターの眼の左右の視線の向きは水平かつZ軸奥行き方向に向いている。投影面は図1に示す前方クリッピング面の位置に置かれており、アバターの眺めた立体写真は投影面を介して、閲覧者の眺める3Dディスプレイ画面に、ステレオペアが2重写しとなった画像として転写される。このようなSPVにおける仮想空間を「SPV仮想空間」と呼ぶことにする。
【0006】
閲覧者のズーム操作によって、3Dディスプレイ画面に映し出される画像の倍率が変化するが、その理由は、SPV仮想空間内のアバター(視点)から立体写真のパネルまでの距離が変化するからである。一般には、固定配置された立体写真に対してアバターが動くと考えるが、動きは相対的なので、SPVでは固定配置されたアバター対して立体写真のパネルが位置を変えるものとする。例えば、閲覧者が最大の拡大ズーム操作を行うと、最遠の後方クリピング面に位置する立体写真は前方クリッピング面までSPV仮想空間内を移動する。
【0007】
このようにSPVにおいては、画像の倍率操作をすることがズーム操作であり、それによって、立体像が近づいたり遠ざかったりする。SPVの内部では、3次元CGの仮想空間を模したSPV仮想空間において、距離と倍率の間で反比例関係が成立している。
【0008】
<3.1 指数nが現れるズレ幅Dの式>
SPVにおいて立体写真をズーミングする基礎となる式は、本願発明者による融像式(非特許文献1)である。この融像式が、立体写真の右目用の写真を左右にスライドさせ、閲覧者に立体写真の立体像をズーム映像して視認させる働きをする。冪乗の指数nは、以下に示す融像式の中に現れる。変数tはプログラム内部において、右目用写真をスライドさせる際の座標変換(表示画面の座標系に依存)に用いられ、閲覧者に直接、関係するものではない。
次式に於いて、tは融像式で閲覧者が視認する立体像の間隔に連動するパラメータa、bは定数であり、m1は縮小限界倍率、m0は拡大限界倍率、nは立体像の前進や後退を調節するパラメータである指数、mは倍率である。
【0009】
【数1】
【0010】
一方、閲覧者は数1の融像式のもとで3Dディスプレイ画面に表示される左目と右目の画像のズレ幅D(非特許文献1ではズレの間隔と記載)を感知することで立体像を視認する。この視認は無自覚のもとで脳が瞬時に行っている。ズレ幅Dを表す式は、数1に示す融像式が導出される過程で並行して求められるものであり、アバターの眺める立体写真から閲覧者の眺める3Dディスプレイ画面への上記転写によって表示される上記の左目と右目の画像のズレ幅に関する融像式である。ズレ幅Dはk2を比例定数として、以下の通りである。
【0011】
【数2】
【0012】
ここで重要な役割を果たすのは、ズレ幅Dに関する数2である。この式に登場する冪乗の指数nは、融像式の指数と同じである。閲覧者の立体視は、数2に基づいて行われるので、以降具体例として、この式を介して指数nを取り扱うものとする。ただし、nは、融像式の導出過程で立体像の動きを調整するために人為的に導入された量であるので、解析的に解かれるような対象とはなっていない。
【0013】
<3.2 SPVのズーム機構>
次に、SPVのズーム機構をSPV仮想空間に基づいて説明する。仮想空間に配置された仮想物体は、SPVにおいてはパネルに張られた2枚の左目用と右目用の重ね合わされた立体写真の組、すなわちステレオペアに置き代わる。アバターの視線の向きは水平かつ立体写真のZ軸奥行き方向に向いている。アバターの眺める立体写真は投影面を介して、閲覧者の眺める3Dディスプレイ画面に、立体写真は重なった位置の2つの画像として転写される。
【0014】
ここで、閲覧者が立体写真をアバター(視点)に近づけたり遠ざけたりすることによって、ズーミング操作を行うことになる。このズーム環境はSPVでは、次のように設定されている。図2(a)に示すように、立体写真がアバターから最遠の距離L1だけ離れたところに配置されているとし、そのときアバターが眺める投影面上の立体写真の画像の倍率(縮小限界倍率)をm1(m1は1倍とする)とする。また、立体写真はアバターから距離L0にある投影面までに最接近することができ、そのときアバターが眺める投影面上の立体写真の画像の倍率(拡大限界倍率)をm0とする。このとき、以下の式のように、距離と倍率とに反比例関係が成立する。
【0015】
【数3】
【0016】
ここで、投影面から立体写真までの距離をλとし、そのときアバターが眺める投影面に投影された立体写真の画像の倍率をmとする。立体写真が投影面に接近または後退することによってきまるλが取り得る範囲(λの値域)は、以下の通りである。
【0017】
【数4】
【0018】
ここで原点を変えて、以下の式のように、立体写真が投影面に最接近する距離(接近限界距離)をλ0、また投影面から最も遠ざかる距離(後退限界距離)をλ1とする。
【0019】
【数5】
【0020】
【数6】
【0021】
ところで、数3と同様な反比例関係から、以下の式が成立することは明らかである。
【0022】
【数7】
【0023】
数3と数6から、以下の関係が得られる。
【0024】
【数8】
【0025】
【数9】
【0026】
また、数7と数8を用いると、以下の式が得られる。
【0027】
【数10】
【0028】
SPVの装備するズーム機構は、上記に示したSPV仮想空間の特性を基礎にして組み立てられている。
なお、数8と数9において、m0=m1となる場合、数3からL0=L1となり、数6から後退限界距離λ1が0.0となる。これは投影面と立体写真の距離が0であり、拡大縮小ズーミングを行えないことを意味する。
【0029】
[4.脳内で知覚するイメージ空間]
<4.1 立体視の原理>
立体視は、左目で眺めた光景が左目の網膜に、右目で眺めた光景が右目の網膜に、それぞれ独立して映し出された結果、立体像が生じる現象である。左目と右目の間隔は、人間(大人)では6.5cm程度であり、この間隔分の差によって左右の網膜に映し出される像には若干のズレが生じる。このズレは一般には視差と呼ばれ、これを知覚する細胞が脳内に存在し、その働きによって外界の光景を閲覧者が立体像としてイメージする(非特許文献5)。
【0030】
SPVにおいては、左右の立体写真の組(ステレオペアと呼ばれる)は、立体カメラの2つのレンズの間隔に起因するズレ幅を伴っている。パネルに貼られたズレ幅のある立体写真は、アバターによってSPV空間内で眺められ、その光景は投影面を介して、閲覧者の眺める3Dディスプレイ画面へ左右の画像の2重写しとして転写される。閲覧者は、例えば立体メガネを用いて左右画像をそれぞれ分離して、左右の網膜に取り込み、それらの融像を立体像として視認する。
【0031】
<4.2 脳内で視認する立体像>
図2では、投影面から立体写真までの距離λ、および3Dディスプレイ画面から閲覧者の視認する立体像までの視認距離uについて、この2つの変量を図2(a)と図2(b)の対において示す。
図(b)は、閲覧者が3Dディスプレイ画面から距離hだけ離れたところから立体メガネを装着して画面を眺め、閲覧者が立体像を画面から視認距離uだけ離れたところに視認する様子を表している(非特許文献1、非特許文献13)。閲覧者によって視認される立体像の視認距離uは、ズレ幅Dを用いて、幾何学的に得た以下の式から求めることができる。ここで、eは左右の瞳孔の間隔である。
【0032】
【数11】
【0033】
当然のことながら、閲覧者の視認する立体像は閲覧者の脳内でイメージされた融像であるが、閲覧者は、画面から視認距離uだけ離れた位置に“あたかも実のごとき空間”に実在するが如く、その立体像を視認する。この空間を「脳内イメージ空間」と呼ぶことにする。
【0034】
<4.3 SPV仮想空間と脳内イメージ空間の連結>
3Dディスプレイ画面に映し出された左目用の画像と右目用の画像を眺めている閲覧者は、2枚の画像の重なり合いにおけるズレ幅Dに基づいて脳内で立体像を視認するが、閲覧者のズーム操作に対応するその立体像の動きは、どのような動きとして閲覧者に知覚されるのか、について以下に説明する。
【0035】
閲覧者が3Dディスプレイ画面を眺めることで視認する立体像がズーム操作に対して自然な動き方をするようにするには、その動きをSPV仮想空間におけるアバターが眺めた立体写真の動きと連動するようにする必要がある。すなわち、数学的に言えば、脳内イメージ空間の立体像とSPV仮想空間の立体写真の動きが、以下に述べるように相互に線形性(比例関係)を保たねばならないと言うことである。つまり、SPV仮想空間で投影面から立体写真までの距離λおよび脳内イメージ空間で画面から視認される立体像までの視認距離uの間で、以下のような比例関係(Kは比例定数で正の実数)が成り立たつことである。
【0036】
【数12】
【0037】
この比例関係が成り立つ場合に、SPV仮想空間と脳内イメージ空間を連結できることになる。しかし、以降で説明するが、数12のuは、指数n、倍率mを変数とする非線形関数である。従ってSPV仮想空間と脳内イメージ空間を連結させるためには、この非線形関数を用いて、λとuの間で数12に示す比例関係を成り立たせるような、指数nの値を求める必要がある。これが、本発明の趣旨の一つである。
【0038】
[5.立体写真の動きから立体像の状態を定める関係式の導出]
次に、立体写真の動きから脳内イメージ空間における立体像の奥行き位置を定める式をいくつか導出する。これらの式を用いると、求める条件の指数nを確定することが可能となる。まず数12から、λとuの値域に関して、以下のように定義する。
【0039】
【数13】
【0040】
【数14】
【0041】
ここで、λ0とλ1は、上記の接近限界距離と後退限界距離である。u0は、閲覧者が立体像を画面上に視認する距離で、u0の値は0である。またu1は、閲覧者が視認する立体像が画面から最遠の距離にある距離である。数2において、倍率mがm1のときのズレ幅Dを、以下の数15のように、D1と表記するとき、u1の値は、数11をu1について解いてD1を代入した、数16から得られる。D1については、最大ズレ幅と呼ぶ。
【0042】
【数15】
【0043】
【数16】
【0044】
数4は、数6と数14を用いると、以下のように表される。
【0045】
【数17】
【0046】
また、数10は、数14を用いると以下のように表される。
【0047】
【数18】
【0048】
立体写真が数17の定めるλの範囲で可動であるとき、アバターが眺める立体写真の倍率mを表す関数(数18)を以下のようにf1で記述する。
【0049】
【数19】
【0050】
このもとで、閲覧者が閲覧する3Dディスプレイ画面における左右画像間のズレ幅Dを表す関数(数2)を以下のようにf2で記述する。その関数f2をさらに関数f1の関数として次の様に記述する。
【0051】
【数20】
【0052】
また、閲覧者が視認する立体像の画面から視認距離uを表す関数(数11)を以下のようにg1で記述する。その関数g1をさらに関数f2の関数として記述する。
【0053】
【数21】
【0054】
数19〜数21を使用すると、閲覧者によって視認される立体像の画面からの視認距離uを、アバターに対する立体写真の動き(λで表記できる)に合わせて計算することが可能であることが分かる。
【0055】
SPV仮想空間と脳内イメージ空間を対応付ける定数Kは、SPV仮想空間における距離の変数λが数12に従って変化するとき、数18の倍率mに影響を与えない。そのため、脳内イメージ空間に関係する導出した数20〜数21の中には、Kが出現しないので、それらの式は数12のKの値には依存しない。そこで以降の数値解析では、Kを1とする。
【0056】
以上で、立体写真と立体像の状態を表すm、D、uを、立体写真の位置を表すλの関数として記述することができ、これで最適な指数nを求める数値解析の準備が整った。
【先行技術文献】
【特許文献】
【0057】
【特許文献1】特開2013−044957号公報
【非特許文献】
【0058】
【非特許文献1】広内哲夫、「融像式を用いたズーミング可能なステレオフォトビューア」、『情報研究(文教大学情報学部紀要)』、第46号、p17〜p56、2012年1月
【非特許文献2】広内哲夫、「3次元仮想空間を用いたズーミング可能なステレオフォトビューア」、『情報研究(文教大学情報学部紀要)』、第46号、p57〜p76、2012年1月
【非特許文献3】広内哲夫、『コンピュータ・グラフィックス―CG理論の展開と応用―』、啓学出版、1987年11月
【非特許文献4】荒屋真二、『明解3次元コンピュータ・グラフィックス』、共立出版、2003年9月
【非特許文献5】下條信輔、『視覚の冒険―イリュージョンから認知科学へ―』、産業図書、1995年4月
【非特許文献6】“二乗平均平方根”、[online]、ウィッキペディア、[2014年5月1日検索]、インターネット<URL:http://ja.wikipedia.org/wiki/%E4%BA%8C%E4%B9%97%E5%B9%B3%E5%9D%87%E5%B9%B3%E6%96%B9%E6%A0%B9>
【非特許文献7】広内哲夫、「ニューロファジイ推論の移動体駆動シミュレーションへの適用」、『情報研究(文教大学情報学部紀要)』、第13号、p203〜p223、1992年
【非特許文献8】広内研究室制作、『立体写真拡大鏡―ズームする魅惑の立体像』(SPVを用いた3D写真コンテンツ)、設置場所は文教大学湘南図書館(茅ヶ崎市)、公開日は2014年1月
【非特許文献9】広内研究室制作、『3D横浜人形の家−人間国宝平田郷陽の世界』(SPVを用いた3D写真コンテンツ)、設置場所は横浜人形の家(横浜市中区:公開2013年12月)
【非特許文献10】広内哲夫、林文子、「アナグリフは、なぜ飛び出してみえるのか―立体視をテーマにした系統的学習の試み−」、『情報研究(文教大学情報学部紀要)』、第50号、p57〜p84、2014年1月
【非特許文献11】広内哲夫、「ズーミング可能な立体写真ビューアSPV−Basic版の使用解説書」(ソフトウェアSPV添付マニュアル)、文教大学情報学部広内研究室、2014年6月22日版
【非特許文献12】安全ガイドライン部会編、「人に優しい3D普及のための3DC安全ガイドライン−2010年4月20日改定−(国際ガイドラインISO−IWA3準拠)」、[online]、2010年4月、3Dコンソーシアム、[2012年12月1日検索]、インターネット<URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20111031.pdf>
【非特許文献13】河合隆史、田中見和『次世代メディアクリエータ入門I−立体映像表現−』、カットシステム(2003)
【発明の概要】
【発明が解決しようとする課題】
【0059】
融像式を用いたズーミング可能なステレオフォトビューアにおける融像式における指数nを、SPV仮想空間と脳内イメージ空間との対応付けが自然なものとなるように決定する最適化方法、およびその融像式を適用したステレオフォトビューアを提案する。
【課題を解決するための手段】
【0060】
本発明の融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法は、閲覧者が3Dディスプレイ画面から所定の距離だけ離れたところから上記3Dディスプレイ画面を眺め、上記閲覧者が立体像を視認するに際し、上記閲覧者が閲覧するところの相互に重なり合った右目用画像と左目用画像は、右目用と左目用の鑑賞画像から所定の視点に向かう光線によって上記鑑賞画像と上記視点間に置かれた投影面に投影される右目用と左目用の画像の写像を、上記右目用画像と左目用画像として、上記3Dディスプレイ画面に表示されるものであり、ズーミング倍率をm(m1≦m≦m0、但しm1は縮小限界倍率、m0は拡大限界倍率)とするズーミング可能なステレオフォトビューアにおいて、
上記投影面から上記鑑賞画像までの距離をλとし、
上記右目用画像と左目用画像とのずれ幅をD(D≦D1、但しD1は最大ズレ幅)とし、
上記閲覧者が視認する立体像の上記3Dディスプレイ画面からの距離をu(u0≦u≦u1、但し、u0は閲覧者が立体像を画面上に視認する距離で、u1は閲覧者が視認する立体像が画面から最遠の距離にある距離)とし、
Cを数22のD式のmにm1をDにD1を代入して決まる定数、Kを任意の定数、u1を数22のu式のDにD1を代入して決まる定数、eを左右の瞳孔の間隔、hを閲覧者の3Dディスプレイ画面から距離とし、
数22に従って、uはDから、また、Dはmから決まるものとし、
(1)数22のu式へD式を代入した式へm式を代入することでλの関数としてのuを求め、
【数22】
(2)上記λの関数としてのuにおいて、複数の異なる離散値λiに対応するuの離散値uiを求め、
(3)上記(2)で求めた複数の異なる離散値λiに対応するuの離散値uiによる差(λi−K′×ui)の平方和を最小にするK′を求め、
(4)パラメータnの離散値において数22における上記Kの値に最も近いK′の値となるパラメータnの値nsを見出すことで、パラメータnの最適化を行うことを含み、
λとuとの関係が、比例関係に近づくようにパラメータnを決定することで上記D式で示される融像式を最適化することを特徴とするものである。
【0061】
また、本発明の融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法は、
(1)それぞれ複数のD1の離散値とm0の離散値を設定するステップと、
(2)数22のD式のmにm1をDにD1を代入して上記定数Cを決定し、数22のu式のDにD1を代入してu1を決定するステップと、
(3)nの離散値を設定するステップと、
(4)λの離散値λiを設定するステップと、
(5)数22に従って、λからm、mからD、Dからuを、算出するステップと、
(6)複数の異なる離散値λiに対応するuの離散値uiによる差(λi−K′×ui)の平方のiについての和を最小にするK′を算出するステップと、
(7)パラメータnの値域における複数の異なる離散値において数22における上記Kの値に最も近いK′の値となるパラメータnの値nsを見出すステップと、
を含むものであることを特徴とするものである。
【0062】
また、本発明の融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法は、上記mの離散値とそれに対応した上記Dの離散値の対を複数含む組が複数ある場合に、上記複数の組のそれぞれの組での上記の値nsを見出すことで、その集合{ns}を見出し、組ごとのm0とD1について、係数A(D1)と定数項B(D1)を上記D1の関数とし、上記パラメータnの値として、上記集合{ns}の数23
【数23】
による値ns(m0,D1)を上記融像式に適用するものであることを特徴とするものである。
【0063】
また、本発明は、上記のズーミング可能なステレオフォトビューアにおいて、
上記のズーミング可能なステレオフォトビューアにおける融像式の最適化方法のいずれか1つを用いて得られる融像式を適用したことを特徴とするステレオフォトビューアである。
【発明の効果】
【0064】
ズーミングの全域で、立体像の倍率mとその奥行き位置uの関係が反比例の関係をほぼ満たす融像式の指数nを見出すことが出来る様になり、ズーミング途中の立体像の動きが、従来のものに比べてより自然なものになった。
【図面の簡単な説明】
【0065】
図1】3次元仮想空間における、視点、前方クリッピング面、投影面、後方クリッピング面の配置を示す図である。
図2】(a)SPV仮想空間における配置と、(b)脳内イメージ空間における配置との対比を示す図である。
図3】上記融像式を用いたズーミング可能なステレオフォトビューアにおける融像式の最適化方法を用いて、λの値域でのDとmの積空間の所定の位置で見出されたパラメータnの最適値nsの集合{ns}を、ズレ幅Dの値域とズーミング倍率mの値域で張られる積空間において見出すためのフローチャートである。
【発明を実施するための形態】
【0066】
以下に、この発明の実施の形態を図面に基づいて詳細に説明する。
【実施例1】
【0067】
[6.最適な指数nを求める数値解析の方法]
上述したように、SPV仮想空間と脳内イメージ空間とは、同じ空間の特性(つまり同型写像特性)を持たなければならないが、そのためには数12(λ=K×u)が成立しなければならない(上記の様にKに任意の値を採用することができるが、ここでは、K=1、とする)。そこで、(イ)パラメータn(数2では指数n)に、ある値を仮定し、(ロ)SPV仮想空間での投影面から立体写真までの距離λの値に応じて、脳内イメージ空間でそれに対応する3Dディスプレイ画面から立体像の視認距離uを、数21を用いて計算する。そして、(ハ)λおよびuの組に対して、数12と同形式の一次式(係数をK´とする)の評価関数に最小二乗法を適用し最適化してK´を見出し、λとuとの可変領域全般において、K´がKの最近傍値となる指数nを、nを可変領域内で変えて、数値解析で探し出す。(ニ)得られた指数nのある値で、Kに近い値のK´の存在が示されれば、その指数nが数12の比例関係を満足させていると見做すことが出来る。
【0068】
なお、上記の数値解析での変数は、ズレ幅D(正確に言えば、縮小限界倍率m1における最大ズレ幅D1)、拡大限界倍率m0、指数nである。これらはパラメータとなり、その値の範囲は任意の範囲に定めることができるが、ここでは例として、それぞれ、D1、m0、nとして順に、0.0〜5.0cm、1.0〜15.0倍、0.0〜1.5の範囲の値を取るものとする。
【0069】
<6.1 λ=K×uとなる指数nの値の探索法>
(1)係数の積k2×aの算出
指数nを求めるには数2を用いるが、最初にその式の係数の積k2×aを決定しておく必要がある。数2で規定するズレ幅Dは、倍率mに関して単調減少関数であるので、縮小限界倍率m1(この倍率は1である)のもとで最大の値となる。その最大のズレ幅Dを以降、「最大ズレ幅D1」と記載することにする。ズーム操作が行われるときには、λが数17に従って0からL1−L0の値域で変化するとき、ズレ幅Dは数20に従って0から最大ズレ幅D1の値域で変化する。この様に、最大ズレ幅D1は縮小限界倍率m1におけるズレ幅Dに対応する。
【0070】
縮小限界倍率m1における最大ズレ幅D1は数15で表され、D1は指数nに依存しない。そこで、この式を用いると(m0とD1が与えられれば)、係数の積k2×aは以下のように、算出できる。
【0071】
【数24】
【0072】
係数の積k2×aのaは、融像式(数1)の定数aであり、非特許文献1では立体写真固有の遠近感制御定数と記載されている。
【0073】
(2)最適な指数nの探索
次に、λ=K×uとなる指数nの値の探索法を説明する。D1=1cm、m0=10倍の場合を例に挙げる。(イ)まず数24を用いて、その場合の係数の積k2×aの値を求める。(ロ)そして求めた係数の積k2×a、D1とm0の3つの値を用いて、指数nの0.0の場合において、次に述べる作業を行う。数17において距離λが最低値0.0から最高値K×u1までを10等分し(ここで示した等分値は参考値であり、10以外の値であってもよい)、(ハ)その刻み値(増分値)0.1×K×u1を用いて、投影面から立体写真までの距離λを0.0からK×u1値までの間で上記増分値を逐次加えながら変化させ、それに対応する3Dディスプレイ画面から立体像までの視認距離uを、数21の関係式を用いて計算する(計算に使用されるKの値は1である)。
【0074】
そして、個々のλiに対して求められた個々のuiの(λ、u)の組(i=0〜10の11個の離散データの組)に対して、以下の比例関係が成り立つとして、(ホ)残差(λ−K´×u)の二乗和を最小にする定数K´の値を求める。
【0075】
【数25】
【0076】
併せて、そのときの、(へ)λ−K×u(Kの値は1)についての二乗平均平方根(RMS)(非特許文献6)も求めるが、本明細書ではこれをバラツキの指標とする。
【0077】
次に、(ト)指数nを0.1ずつ増分し(ここで示した増分値は参考値であり、0.1以外の値であってもよい)、上記と同様な計算(D1、m0、k2×aは同じ値を用いる)を行い、定数K´と上記のRMS値を求める。このような計算を指数nが0.0から1.5までの範囲で16回繰り返し行う。その結果、「指数nとその対K´」の組が16組得られる。
【0078】
(チ)そして、その16組の中で、次のような指数n、すなわち「K´をK(Kの値は1)の最近傍値に成らしめる指数n」が、閲覧者のズーム環境(D1=1cm、m0=10倍)のもとで、数12(λ=K×u)の比例関係(Kの値は1)を最良の状態で成立させるといえる。例えばD1がαcm、m0がβ倍の場合に、この比例関係を最良の状態で成立させる指数nがγとすれば、その特定のズーム環境(D1=α、m0=β)においては、最適な指数nの値はγということである。
【0079】
(3)最適指数nsの集団の確定
最適な指数nを探索する数値解析作業は、最大ズレ幅D1と拡大限界倍率m0に関して、D1が0cm(D1が0の場合、指数nは数2から不定となるので、実際の計算では正のその近傍の値を近似値として用いる)から5cmまでの範囲で11回(ここで示した回数は参考回数であり、11以外の値であってもよい)、およびm0が1倍(m0が1の場合、指数nは数2から不定となるので、実際の計算では1の近傍の値[ただし1より大きな値]を近似値として用いる)から15倍までの範囲で15回(この回数は参考回数であり、15以外の値でもよい)行う。そして、D1とm0に関して、適当な値の組み合わせを作り、それぞれの組ごとに上記<6.1 λ=K×uとなる指数nの値の探索法>の「(2)最適な指数nの探索」における記載と同様な計算(係数の積k2×aも数24を用いて新たに求め直す)を行い、最適な指数nとして、以下で述べる最適指数nsの値を求める。
【0080】
実際には、D1の値の個数とm0の値の個数がそれぞれ11個と15個であるので、その全組み合わせ165組に対して、それぞれの組としての最適の指数nの値を求める。組み合わせ165個は、閲覧者にとって想定されるズーム環境を、粗いと雖も、予めリストアップしたものになる(精密化には、組み合わせの数を増やす)。
【0081】
ここで、この165個の指数nを一つの集団(集合)として捉え、その集団の要素となる指数を特に「最適指数」と呼び、nsと表記する。特定の最大ズレ幅D1と特定の拡大限界倍率m0のもとで算出された最適指数nsは、閲覧者にとって最適なズーム環境を提供する指数nとなる。
【0082】
(4)最適指数nsの探索法のまとめ
上記の(1)〜(3)項で示した最適指数探索法の繰り返し手順を纏めておく。以下の手順に示された最大ズレ幅D1などの分割数は、具体的であるが、これらの値の設定は任意である。精度を上げるためには、分割数を大きく取ればよい。図3に探索法の流れ図を示す。図3の右側に以下の手順との対応を示すが、それは概括的な対応である。
【0083】
手順1: 繰り返し計算に際して必要となる数2のD1,m0をパラメータとして、その値を指定する。D1、m0は、それぞれ0.0〜5.0cm、1.0〜15.0倍の範囲であり、その範囲をそれぞれ10分割、14分割する(離散データ個数はそれぞれ11個、15個)。最初の繰り返し過程(D1、m0の始点)では、D1は0.0近傍、m0は1.0近傍を用いる。2回目以降の繰り返し過程では、D1、m0の値を、それぞれ順次増分する。
【0084】
手順2: 倍率mがm1(m1の値は1倍)のもとでのズレ幅DをD1とするとき、数2の係数の積k2×aを数24を用いて、また数17と数18の定数u1を数16を用いて、それぞれ定める。数16のh、eはそれぞれ50cm、6.5cmとする。
【0085】
手順3: 繰り返し計算に際して必要となる数2のnをパラメータとして、その値を指定する。nは0.0〜1.5の範囲であり、その範囲を15分割する(離散データの個数は16個)。最初の繰り返し過程(nの始点)では、nは0.0を用いる。2回目以降の繰り返し過程では、nの値を順次増分する。
手順4: λは数17の範囲を取るので、その範囲を10分割し、r(i)=(i−1)×K×(u1/10)[iは1〜11の値]なるr(1)からの増分の関数rを用意する(変数iは繰り返し回数を表す)。
【0086】
手順5a: λの値を関数r(i=1)で与え、この値(値をλAとする)を用いて、数19のmの関数f1(λ)、数20のDの関数f2(m)、数21のuの関数g1(D)を順次介して、最終的にuの値を求める。この値をuAとし、求められたλとuの組を(λA、uA)とする。
【0087】
手順5b: λの値を関数r(i=2)で与え、この値(値をλBとする)を用いて、手順5aと同様に、このときのuの値を求める。この値をuBとし、求められたλとuの組を(λB、uB)とする。
【0088】
手順5c〜手順5k: λの値を関数r(i=3〜11)で与え、iが3から11まで、手順5aと同じ計算操作を繰り返し、このときのuの値を求める。求められたλとuの組を(λC、uC)〜(λK、uK)とする。
【0089】
手順6: (λA、uA)〜(λK、uK)の11組に対して最小二乗法を適用し、残差(λ−K´×u)の二乗和を最小にする定数K´の値を求める。
【0090】
手順7: nに増分を適用し、手順3〜手順6を繰り返す。nへの増分の適用が終了したら(終点に達したら)、繰り返しは終了である。手順6で得られた16個の定数K´の値の中からKへの最近傍値を与えるnを(1個だけ)選ぶ。これが、そのときのD1、m0における最適指数nsである。
【0091】
手順8: 手順1に戻り、新たにD1,m0のパラメータの値に増分を適用し、手順1から手順7までを繰り返す。D1およびm0への増分の適応が終了したら(終点に達したら)、繰り返しは終了である。このとき得られた165個が、最適指数nsの離散データの集合となる。
【0092】
上記の手順に沿った最適指数nsの集合を求める方法は、用いる3Dディスプレイ装置には依存しない。従って、最適指数nsの離散データの集合から、何らかの方法で補間式を一回だけ設定すれば、その式は、任意の3Dディスプレイ装置に対して最適指数nsを算定する式として使用することが可能である。
【0093】
<6.2 最適指数nsを算出できる補間式の設定法>
最適指数nsが最大ズレ幅D1と拡大限界倍率m0を独立変数とする関数fであって、また関数fの内容も定まっているものと仮定すれば、SPVは関数fを用いて、稼働開始時点で閲覧者の指定するズーム環境であるD1とm0の値から、個々の立体写真の特性に基づく最適指数nsを自動的に計算することが可能である。その関数fを以下の数26のように記述するものとする。
【0094】
【数26】
【0095】
上記の最適指数nsは、特定のD1と特定のm0の離散データの組のもとで求められたので、任意のD1と任意のm0のもとで、数26の関数fが決定された訳ではない。従って、任意のD1と任意のm0のもとで、数26で最適指数nsを決めることは望ましくない場合もある。
【0096】
そこで、任意の最大ズレ幅D1と任意の限界拡大倍率m0のもとで最適指数nsを内挿法で決めることが可能となるように、離散データの組に補間法を適用し、数26の関数fを近似する補間式を定める。補間式の形状は、nsを3次元空間のz軸に対応させると、D1とm0はx軸とy軸に対応し、曲面となる。
【0097】
補間式を具体的に定める方法として、多項式を用いる解析的な補間法(例えばスプライン補間など)やニューラルネットワークを利用する補間法がある。後者のニューラルネットワークは、上記の165組の離散データの組を教師データとして与えると、補間式と等価な関数機能をその回路上に構築することが可能である。(非特許文献7)。
【実施例2】
【0098】
<6.3 最大ズレ幅D1の実寸法の算定法>
(1)遠近感制御定数aと結合定数k2A
最大ズレ幅D1は、3Dディスプレイ装置に依存する量であり、画面サイズや解像度によってその値は変わってくる。数26の関数fを近似する補間式を用いて最適指数nsを求めるには、閲覧者の感知する最大ズレ幅D1の画面上の実寸法を、SPV自らが算定できなければならない。
【0099】
SPVで最大ズレ幅D1を支配する因子は、文献1で遠近感制御定数と呼んでいる、融像式(数1)の定数aである。その定数aは文献1で示したように、融像式を通して閲覧者の立体感によって評価され決定されるパラメータである。aはD1と比例関係にあることは、上記の数15(m1は1倍である)から理解される。
【0100】
そこで、上記<6.1 λ=K×uとなる指数nの値の探索法>では積k2×aをひとつの係数として取り扱ったが、ここでは改めて積を個々に分解し、係数k2と定数aを個別に設定することにする。
【0101】
まず、定数aの設定については、非特許文献1に詳しく説明してあるが、その概略をここで示す。
SPVが稼働するパソコンと3Dディスプレイ装置(ここでは立体メガネ方式の装置を想定)を用意する。設定対象の立体写真を、当該3Dディスプレイ画面に、領域的には左右画像が重なりを有する画像として表示する。その重なり具合から、縮小限界倍率m1のもとで遠近感制御定数aを、そして拡大限界倍率m0のもとで2重像防止定数bを、それぞれ定める(2つの定数は融像式の重要パラメータとなるものであるが、後者の定数bは、ここでの議論には直接関係しない)。確定された2つの上記定数a、bは立体写真固有の値である。この設定段階では、最適指数nsは未定であるが、a、bともにその設定には指数nは関わらない。指数nの暫定値がSPV内部で設定されているので、上記定数a、bの設定完了の時点では、ズーム環境は最適ではないにしても、立体写真を閲覧することは可能である。
【0102】
次に係数k2の設定方法を述べる。これは、遠近感制御定数aと2重像防止定数bの設定された10〜20枚程度の立体写真をサンプルとして用いて行う。設定においても、上記と同じ3Dディスプレイ装置を使用する必要がある。個々の立体写真に対して、立体メガネなしの場合には画面上で2重像となっている左右画像の最大ズレ幅D1の実寸法を定規等で測定する(D1の実測方法は、後述する<8.3 最大ズレ幅D1の測定法>を参照)。個々の立体写真に対して測定されたD1とそれに対となる遠近感制御定数a(上記で定めた値)から、数15を用いて個々の立体写真に対する係数k2を算出する。
【0103】
次に、算出された個々の係数k2の平均値を求めるが、この平均値を以降、k2Aと記載する。k2Aは個々の立体写真固有の値ではなく、閲覧する立体写真全体に対して共通の値となるので、数15を以下の数27(m1は1倍)に書き換える。
【0104】
【数27】
【0105】
このk2Aを「結合定数」と呼ぶことにする。この呼称の意味は実施例2の最後で言及し、その設定法の実例は、<7.3 最大ズレ幅D1の実寸法を算定する具体例>において後述する。
【0106】
(2)解像度と画面サイズ
遠近感制御定数aと結合定数k2Aを決定するために、前項で使用した3Dディスプレイ装置の画面サイズをS0インチ、画面の横方向の解像度をR0ピクセル数とする。このディスプレイ装置のもとで制作された3D写真コンテンツは、上記とは別の、画面サイズがSインチで横解像度がRピクセル数である3Dディスプレイ装置で閲覧上映されるかもしれない。このようなときには、数27の結合定数k2Aと遠近感制御定数aを3Dディスプレイ画面のハードウェア特性に沿って変換する必要がある(この変換の詳細な説明は、実施例7を参照)。
【0107】
上記変換が必要である訳は、結合定数k2AはS0インチ画面のもとで求められているので、一般のSインチの画面サイズに対応させる必要があるためである。最大ズレ幅D1は、k2Aおよび画面サイズSと比例関係にあるので、k2AにはS/S0を乗じることになる。
【0108】
また、上記定数aについては、8.3項の補足において詳述するが、ディスプレイ画面上における座標系の関係から融像式(数1)においては、3D写真コンテンツを閲覧上映する3Dディスプレイ画面の横解像度Rピクセル数に依存するように、定数aを評価した3Dディスプレイ画面の解像度R0を基準にして、事前に融像式の定数aの値にはR/R0が乗じられている。その定数aが数27の定数aとなっている。従って、横解像度Rピクセル数のディスプレイ画面で閲覧するには、最大ズレ幅D1はその解像度Rピクセル数のもとであっても一定の値でなければならないため、数27の定数aにはR0/Rを乗じる必要がある。
これから、以下の関係式が得られる。
【0109】
【数28】
【0110】
この式は、基準とする3Dディスプレイ装置のもとで結合定数k2Aを定めれば、任意の3Dディスプレイ装置のもとで利用可能な式である。ただし、上記の式は、S0サイズの画面とSサイズの画面の大きさが相似である場合に適用できるが、相似でなければ、S0サイズ画面を基準とした横方向サイズの比を用いる必要がある。
【0111】
このような係数の変換によって、「定数aは立体写真固有の遠近感に関係する定数」、また「k2AはSPVの外部に関係する量D1と内部に関係する定数aを結合する定数」というように、係数を明確に意味付けすることができる。この意味で、k2Aを「結合定数」と呼ぶ。
【実施例3】
【0112】
[7.数値解析結果と考察]
<7.1 最適指数nsの探索の計算例>
実際の数値解析では、三菱電機製23インチFHD(フルHD:高精細度)型3Dディスプレイ装置(解像度は1920×1080)を用い、瞳孔間隔eを6.5cm、視距離hを50cmとした。縮小限界倍率m1における最大ズレ幅D1を0.0cm(実際には近傍値0.001cmを使用)から0.5cm刻みで5.0cmまで、また拡大限界倍率m0を1.0倍(実際には近傍値1.001倍を使用)から1.0倍の刻みで15.0倍までとし、その165組の組み合わせを作り、各組に対して上記<6.1 λ=K×uとなる指数nの値の探索法>における手続きを踏まえ、最適指数nsの値として165個を得た(非特許文献1の記載は、限定された一部のズーム環境[D1=1.0cm、m0=10倍]のみ)。その結果の一部を表1として以下に示す。
【0113】
(1)λとuの対応
表1は、SPV仮想空間のλと脳内イメージ空間のuの対応の一例を示す。上、中、下段はそれぞれ、指数n=0.2、0.6、1.0の場合である。表1の中段は、最大ズレ幅D1が0.5cmで拡大限界倍率m0が4倍のズーム環境において、指数nが0.6であるとき、SPV仮想空間と脳内イメージ空間の相互の線形性が最適に保たれることを示している。そのときの数25の定数K´は0.993である。また、λ−K×u(Kの値は1、λは0.0〜4.17の範囲)についてのRMSは0.055であり、これは妥当な値であると思われる。この妥当性については、以下に示す「(3)最適指数nsの集団の確定」における表3の説明箇所で述べる。std_λとstd_uは、距離λの最大を1.0に規格化した場合であり、std_RMSはその規格化されたRMSである。
【0114】
表1の上段と下段は、同じズーム環境における指数nが0.2と1.0の場合であるが、このときは、定数K´が1から外れているので、SPV仮想空間と脳内イメージ空間の相互の線形性は十分に保たれていないことが分かる。
【0115】
【表1】
【0116】
(2)最適指数nsの選定
表2は、特定のズーミング環境における最適指数nsの選定例を示す。ズーミング環境において、拡大限界倍率m0が変化すると、最適指数nsも変化する例を示している。上段は最大ズレ幅D1が0.5cmで拡大限界倍率m0が4.0倍のズーム環境、また下段は最大ズレ幅D1が0.5cmで拡大限界倍率m0が6.0倍のズーム環境の場合である。そしてともに、指数nを0.0から1.5まで変化させたときの数25の定数K´、およびλ−K×u(Kの値は1、λは0.0〜4.17の範囲)についてのRMSと規格化されたRMS(表2ではM、std_Mと略記)を示している。RMSの妥当性については、表3の説明箇所で述べる。このズーム環境では、上段における最適指数nsは0.6、下段における最適指数nsは0.7であり、前者のK´は0.993、後者のそれは0.994である。
【0117】
【表2】
【0118】
(3)最適指数nsの集団の確定
表3は、最大ズレ幅D1が0.5cmと1.0cmにおける最適指数nsの集団(つまり集合)例を示す。拡大限界倍率m0が1.0倍(実際の近傍値は1.001倍)から15倍をカバーするときの最大ズレ幅D1の2例の最適指数nsを示している。表3では、最大ズレ幅D1が0.5cm(上段)と1.0cm(下段)において計算された最適指数ns、そのときの数25の定数K´、およびλ―K×u(Kの値は1、λは、D1が0.5の場合は0.0〜4.17の範囲、D1が1.0の場合は0.0〜9.09の範囲)についてのRMSと規格化されたRMS(表3ではM、std_Mと略記)を示している。指数nが最適指数となる場合のRMS値は、バラツキの範囲がλのズーム距離(L1−L0)に対して、D1が1.0cmでありm0が1.0倍(実際の近傍値は1.001)の場合を除いて、最大でも2%未満であるので、最適指数nsは、SPV仮想空間と脳内イメージ空間に対して充分な線形の対応関係を与えていると言える(m0が1.0倍の近傍においては、D1が大きくなるに従ってRMS値は徐々に大きくなるが、m0が1倍近傍ということは、事実上ズーミング動作は小さいので、実用上は差支えない)。上段と下段の結果から、最大ズレ幅D1が大きくなると、最適指数nsは小さくなることが推察される。
【0119】
なお、表1〜表3では、計算結果の一部のみを示しているが、全体の結果からは、最適指数nsのD1とm0に関しての非線形性は緩やかであると言える。このため、上記の165個の結果を統合した最適指数nsはD1とm0の非線形関数となるが、補間によってこの非線形性を克服することができる。このための補間式を定める作業は、実施例3で示す。
【0120】
【表3】
【実施例4】
【0121】
<7.2 最適指数nsを算出できる補間式の具体例>
離散データの補間を行うには、スプライン補間などの解析的な方法もあるが、離散データ間の変化が緩やかな場合には、直観を用いたヒューリスティック(発見的)な補間方法を採用するのも一つのやり方である。上記実施例1の<7.1 最適指数nsの探索の計算例>における結果からnsの関数f(数26)は緩やか非線形性が推察されるので、本実施例では、関数fを近似する方程式の簡便な定め方として、165組の計算結果(離散データ)から個々のデータ間の関連性をヒューリスティックに把握して上記方程式を作り出すという方法を採用する。さらに、最終的にはプログラムコード(コードの逐次実行による方法)の形式で非線形の方程式を設定する。
【0122】
上記方程式の定め方は次の通りである。(イ)D1、m0、nsの値の一覧リストを作成した。(ロ)リストのある特定のD1を眺め、その中でnsとm0の関係具合を精査した。これによって、指数nsと倍率m0の離散データの関係は、近似的に対数式の関係にあることが見出された。そこでまず、(ハ)数29の対数式を近似方程式として用いることとし、数29における係数A(D1)と定数項B(D1)を概略的に決定した。
【0123】
【数29】
【0124】
また、その対数の形状が、D1が、0.0cmの近傍から5.0cmに変化するに従って、ほぼ同じ関数形状を保ったままで、指数nsの値が徐々に小さく変化することが把握できたことで、先に求めたA(D1)、B(D1)を用いて、A(D1)とD1、B(D1)とD1の関係が一次式になるようした。
【0125】
この結果を逐次実行型プログラムコード(Java(登録商標)言語)として、以下に示す。
p1=0.26;q1= 0.14;
p2=0.12;q2=-0.05;
r=(p2-p1)/9.0;
s=(q2-q1)/9.0;
d=D1*2.0-1.0;
A=p1+r*d;
B=q1+s*d;
ns=A*Math.log(m0)+B;
【0126】
ここで、係数A(D1)を小さくすると、最適指数nsの分布は扁平化し、係数A(D1)を大きくすると、nsは拡大限界倍率m0の高倍率領域でより大きくなる。また、定数項B(D1)を大きくすると、最適指数nsは全体が均一に増分されて大きくなる。また、最大ズレ幅D1と拡大限界倍率m0の関係については、D1が大きくなると最適指数nsは小さくなり、m0が大きくなると、最適指数nsは大きくなる。上記のプログラムコードは、(イ)拡大限界倍率m0が1.5倍から15までの範囲、(ロ)最大ズレ幅D1が0.0の近傍から5.0までの範囲、のそれぞれにおいて、最適指数nsの値を連続的に算出することができる。しかし、数29のパラメータA(D1)、B(D1)は、直観によるヒューリスティックな方法で見出され、その値を決める離散データの組(165組)も少ない状況なので、ここで得られた数29は、精度が十分に高いとは限らない。
【0127】
表4に、最適指数nsの理論値と上記近似方程式(以降、補間式)の値(以降、補間値)の比較を示す。これは、理論的に算定された最適指数nsに対して、上記補間式を用いて求められた値との比較を示すものである。理論値は上記<6.1 λ=K×uとなる指数nの値の探索法>に記載の方法に従って得た、最大ズレ幅D1と倍率m0に対する最適指数nsの値であり、補間値はそれに対応して数29の補間式で求められた指数nsの値である。理論値の算定が<7.1 最適指数nsの探索の計算例>の説明では小数点以下1桁で行われたため、それに対応する補間値も同じく1桁で記載している。精度は欠けるが、理論値と補間値では、大まかな形状に関してはかなり良好な一致が見られる。この補間式を用いて、実際の3D写真コンテンツに使用した具体例を<7.4 稼働中のSPV自身による最適指数nsの算定例>で示す。なお、ここで示した直観によるヒューリスティックな補間法は、常に首尾よくうまく行くとは限らないが、上記の様に適用できる場合がある。
【0128】
【表4】
【0129】
<7.3 最大ズレ幅D1の実寸法を算定する具体例>
結合定数k2Aを計算し、それを用いて最大ズレ幅D1の実寸を算定した実例を示す計測には、上記と同様に、三菱電機製23インチFHD型3Dディスプレイ装置(解像度は1920×1080)を用いている。計算対象の立体写真は、『立体写真拡大鏡−ズームする魅惑の立体像』(非特許文献8)であり、そのサンプル数は16組である。個々の立体写真において定められた遠近制御定数aの値とその写真における最大ズレ幅D1の実測値を用いて個々の係数k2を計算して得た結果を表5に示す。また、その平均値である結合定数k2Aは0.521mm(標準偏差は、0.0508)である。この結果から、結合定数k2Aは数27および数28における唯一の定数となることが分かる。そこで、その結合定数k2Aを用いると、サンプル以外の一般の立体写真の画面に映し出された最大ズレ幅D1の実寸値を、数27あるいは数28(S0、Sの値はともに23、またR0、Rの値はともに1920)を用いて算定可能である。上記サンプルに対しての算定では、表4に示すように、その計算値は実測値とほぼ満足する範囲で一致した。なお、表中のD1およびk2とk2Aに関しては、単位はcm単位でなくmm単位で記述している。
【0130】
【表5】
【0131】
<7.4 稼働中のSPV自身による最適指数nsの算定例>
もし数26の関数fを近似する補間式の設定が可能ならば、稼働中のSPVは自らその補間式を用いて閲覧者が視認している立体写真に対しての、最適指数nsの値を決定することが出来る。
【0132】
閲覧者がズーミング開始時に眺める最大ズレ幅D1(縮小限界倍率m1のもとでの2重画像のズレ幅)は、数28を用いてSPV内部で計算可能である。また、数26を近似する補間式は、数29であり、それは定まっている。従って、ズーム環境を定める最大ズレ幅D1と拡大限界倍率m0のもとで、SPVはその補間式(数29)を用いて、最適指数nsを稼働中に自動算出できる。そして、SPVは算定された最適指数nsの適用された融像式(数1)を用いて、個々の立体写真毎に最適なズーミングを行うことが可能となる。
【0133】
SPVの3D写真コンテンツ『3D横浜人形の家―人間国宝・平田郷陽の世界』(非特許文献9)の場合を実例として示す。3Dディスプレイ装置として現在は、大型の3Dテレビを用いることが多い。そこで50インチFHD型3Dテレビを想定した場合の最適指数nsを求めてみる。数28の結合定数k0Aは、表5から0.521mmと確定している。そして、その式のS0、Sの値はそれぞれ23、50であり、またR0,Rの値はともに1920である。これらの値を用いて、上記の3D写真コンテンツのサンプル27組の立体写真について、設定された拡大限界倍率m0と遠近感制御定数aのもとで数28から最大ズレ幅D1を求め、そして、数29の補間式(実際には上記のJava(登録商標)コード)から最適指数nsを計算した。その結果を表6に示す。表中のD1に関しては、単位はcm単位でなくmm単位で記述している。なお、表6中で最大ズレ幅D1が0.0(*印の箇所)となるのは、立体感制御定数aが0.0の場合である。このときは、最適指数nsは、実際にはどのような値を取ってもよく、ズーミングの計算には影響しない。この場合、後退限界距離λ1は0.0となりズーミングは行われず、立体像は画面上に留まるだけである。
【0134】
【表6】
【0135】
数28と数29(実際には上記のJava(登録商標)コード)を実装したSPVが三菱電機製23インチFHD型3Dディスプレイ装置のもとでnsを自動計算し、SPV自身がリアルタイムにその値を用いて、ズーミング映像(上記の『3D横浜人形の家−人間国宝・平田郷陽の世界』)を上映するというテストを行った。何等の問題もない動作を確認できた。
【実施例5】
【0136】
[8.補足]
<8.1 λとuの対応付け>
(1)対応可能な理由
上記[5.立体写真の動きから立体像の状態を定める関係式の導出]では、SPV仮想空間と脳内イメージ空間において、λとuに関して、13式と数15とで対応付けを行っている。この対応が可能である理由を以下に示す。
まず、数14のλ1とu1の対応付けについて説明する。図2(b)における脳内イメージ空間において、3Dディスプレイ画面に映る左目用と右目用の各画像は重なり合い、立体写真の2重画像となっているが、その左右の各画像は閲覧者の左右の各網膜に分離して提示される。そして、閲覧者の脳は3Dディスプレイ画面からu1の位置に立体像を視認する。このとき、閲覧者の網膜に映る像は、立体像の位置に立体写真に写る物体と等価な物体A(この物体をAと特称する)が存在するとした場合に、物体Aを眺めた場合と同じ像である。閲覧者には各網膜に映る像が立体像なのか物体Aなのかを区別することができない。従って閲覧者にとっては、立体像の位置に物体Aが、立体像に代わって存在するとしても矛盾は生じない(非特許文献5)。
【0137】
一方、図2(a)におけるSPV仮想空間において、投影面からλ1の距離に存在する立体写真は、透視投影されて投影面に左目用と右目用の各画像が2重画像として映る。ところで、λ1の位置に立体写真に写る物体と等価な物体Aをおいても、投影面には物体Aが透視投影されて同じ画像が投影されることになる。従って、λ1の位置に立体写真が存在しても物体Aが存在しても投影面に映し出される画像は同じとなる。
【0138】
このように、「距離λ1の位置に物体Aが存在し、閲覧者も視認距離u1の位置に物体Aを眺めている」と見なせるので、SPV仮想空間のλ1と脳内イメージ空間のu1を数14で対応付けることが可能となる。
また、λ0とu0についても13式で対応付けられるが、これも数14におけるλ1とu1の対応付けと同じ理由である。
【0139】
(2)対応関係の事例
数12の比例関係に基づいて、数19〜数21の関係式が導かれる。そのとき、数12の比例定数KはSPV仮想空間と脳内イメージ空間を対応付ける係数であるが、それは数19〜数21の関係式の中には現れない。これは、前者の空間は3次元CGにおける数学的な空間で、後者の空間は感性に立脚する想像上の空間であるためである。
【0140】
対応関係の一例を以下に示す。接近限界距離λ0、およびその時立体像が画面上に視認される視認距離u0は、それぞれ0.0cm、0.0cmである。また、後退限界距離λ1、およびその時立体像が3Dディスプレイ画面から視認される視認距離u1は、最大ズレ幅D1が0.5cm(この値は23インチFDH型3Dディスプレイ装置を用いた場合、通常の3D写真コンテンツではよく起こり得るズレ幅である)で、画面から87cm離れての眺めた場合、それぞれ7.308×Kcm(数16と数14から計算:Kは不定であるが、これまでの議論では、Kの値は1としている)、7.308cm(数18から計算)である。
【0141】
SPVの融像式(数1)およびズレ幅Dの式(数2)は、指数nに関わらず、このようになるように工夫されている。
【実施例6】
【0142】
<8.2 解像度と画面サイズ>
(1)基準化の必要性
上記<6.3 最大ズレ幅D1の実寸法の算定法>における3Dディスプレイ装置の補足を、以下に付記する。CGソフトにおける表示画面の座標系は、一般に解像度に関するピクセル数(画素数)に関係する。SPVの実装はJava(登録商標)2Dを用いて行われ、それにおいては画面の座標原点は画面左上隅に設定され、画面右向きにx軸座標の正、画面下向きにy座標の正が定められている。その単位はピクセルであり、ちなみに一世代前のXGA型の3Dディスプレイ画面では、水平方向の大きさは1024、垂直方向の大きさは768となる。FHD型3Dディスプレイ画面では、水平方向は1920、垂直方向は1080となる(最近出現した4K−UHD型の3Dディスプレイ画面では、水平方向は3840、垂直方向の大きさは2160となる)。画面サイズも多種多様で、パソコン側から出力可能な20型から60型の画面サイズの3Dテレビも販売されている。このようなことから、制作された3D写真コンテンツは使用する3Dディスプレイ装置の解像度と画面サイズにおいて互換性を保つために、ある基準を定める必要がある。
【0143】
(2)解像度の基準化
SPVにおいては、本明細書の融像式(数1)は表示画面の座標系すなわち解像度に関係する。そこで、遠近感制御定数aはそれが設定された画面解像度のもとで基準化され値となり、他の解像度の3Dディスプレイ画面では、基準化されたその値は、当該解像度に適合するように座標変換が自動になされる(これは、融像式(1式)における2重像防止定数bについても同様である)。従って、数27の最大ズレ幅D1を求める式に現れる遠近感制御定数aは、画面解像度によって異なった値を取ることになる。そこで、最大ズレ幅D1については、その値を解像度に関係なく一定にするために、数28に見られるように、aに(R0/R)の因子を乗じている。
【0144】
(3)画面サイズの基準化
もう一つ、画面サイズ(画面の実寸法)の問題がある。これは解像度には関係しない。ディスプレイ装置やテレビにおいては、その表示機器自身が映像を画面サイズに見合った状態で表示する機能を持っている。ところで立体視では、その実画面に表示される実際のズレ幅の実寸法(大きさ)が重要である。というのは、立体視は閲覧者が画面に表示された実際のズレ幅を視認することによって行われるからである。ズレ幅は融像式(数1)とズレ幅Dの式(数2)によって、表示画面の解像度に応じた適切な値として生成されるが、その実寸法は、SPVではなく表示機器が画面サイズに応じて自動決定する。「SPVが生成するズレ幅D」と「表示機器が画面サイズに合わせて表示するズレ幅」の2つを結び付けるのが、数28の(S/S0)の因子である。これによって、SPV自身が閲覧者の眺めている最大ズレ幅D1の実寸法を正しく計算することができる。このD1が数26を近似する補間式で用いられ、指数nsが決定される。
【実施例7】
【0145】
<8.3 最大ズレ幅D1の測定法>
上記<7.3 最大ズレ幅D1の実寸法を算定する具体例>において述べた縮小限界倍率m1における最大ズレ幅D1の実測方法について以下に説明する。すべて立体視調整され実用に供されている立体写真を、立体メガネを通して立体視が可能な状態で3Dディスプレイ装置の画面(画面は2重画像となっている)に表示させておく。その測定手順は以下のとおりである。なお、SPVの操作法については、文献1と文献11を参照されたい。
(イ)SPV画面の下部のスクロールバーを拡大限界倍率m0までに引き上げることで画面を拡大する。
(ロ)その画面上で、右画像と左画像がズレなく重なっている箇所Aに注目する。
(ハ)次に、スクロールバーを縮小限界倍率m1(1倍)までに引き戻すことで画面を縮小する。
(ニ)注目箇所Aにおけるズレ幅を測定する。この測定された値が、測定に用いた解像度と画面サイズにおける最大ズレ幅D1となる。
【産業上の利用可能性】
【0146】
2台の3Dディスプレイ装置を併用して立体像を見比べた場合、例えば数2のような冪乗の指数nの相違による像の動きの違いを、多くの閲覧者は明確に見定めることができる。しかし、1台の装置を用いて行う通常の公開の場では、一般の閲覧者は、目下のズーム環境の差異による立体像の動きの違いに、気が付きにくいのが普通である。つまり、上記の様な指数nの値の違いは、意図的に演出するような極端なズーム環境以外には、閲覧者の立体感にそれ程影響を与えないように思われる。
【0147】
しかし、今後の立体視では、複数台の3Dディスプレイ装置を併用するような3Dシステムが登場する可能性もあり、個々の立体像に精密なズーム制御が求められることが予期される。特にその様なときは、本発明の特色が発揮されると思われる。
【要約】
【課題】融像式を用いたズーミング可能なステレオフォトビューア(SPV)における融像式の最適化方法、とそれを用いたSPVを提案する。
【解決手段】
投影面から鑑賞画像までの距離をλ、右目画像と左目用とのずれ幅をD、閲覧者が視認する立体像の3Dディスプレイ画面からの距離をuとし、λでズーミングを行い、その倍率をmとし、Dのmへの依存度がnで調整されてm、nの関数となる融像式上で調整されるSPVで、1)λの関数のuを求め、2)上記融像式に使われるKは任意正数で、uのK倍をλの値域とし、3)1)の関数に離散値λiを代入して離散値uiを求め、4)3)で得たλiに対するuiによる差(λi−K′×ui)の平方和を最小にするK′を求め、5)KにK′が最接近する値nsを見出すことで、Dとmの離散値空間でnの最適化を行い、λとuが比例関係になる様にnを決定する。
【選択図】図3
図1
図2
図3