(58)【調査した分野】(Int.Cl.,DB名)
前記視野データにおいて、シーンとの関係での顔特徴の大きさ及び位置、並びに/又は、前記人間の顔面に近接して配置された物体に関する情報を提供するステップであって、前記固視点(FP)が前記視野の外縁寄りに位置している場合、顔特徴を表す追加的なイメージコンポーネントは前記視野イメージにおいてレンダリングされ、前記人間の顔面に近接して配置された他の物体は前記視野イメージにおいて低いフォーカス鮮明度をもってレンダリングされる、ステップをさらに含む、請求項1に記載の方法。
【背景技術】
【0002】
静止画若しくは動画用のカメラ又はコンピュータアニメーションを用いるイメージ作成
技術等の従来のイメージ作成技術は、人間の視覚的体験の範囲及び本質の全容をキャプチ
ャ及び描写することに関しては一般的に不十分である。この理由は多数あるが、イメージ
が、通例、人間の観察者にとって自然に見えない態様で3次元空間を2次元平面に投影す
る線遠近法のジオメトリに基づいているという点も理由に含まれる。視界の周辺部が2次
元平面に投影された場合に線遠近法によって過度の歪曲が生じることは、レオナルドダビ
ンチの時代から芸術家たちに知られていた。このため、従来の線遠近法のイメージはワー
ルドについて制約されたビューを提示しがちであり、通例矩形状にクロッピングされたビ
ューが提示され、このため周辺視野を含めた完全視野の大部分が除外されてしまう。除外
される対象には、観察者の身体の一部又は観察者の近くに存在する物体が含まれ、これら
の物体は自然な視野においては視認され得る。結果として生成されるイメージは通常、紙
に印刷されるか平面スクリーンに表示されるか等により平面の物体として提示され、これ
により空間的な手掛かりについての矛盾が生じ、その結果、知覚される深度が減少する。
線遠近法において用いられる投影方法及び興味対象物体を拡大させがちな注目による心理
的作用、即ち知覚される物体のサイズに関する注目による心理的作用への対応の欠如に起
因して、作成されたイメージにおいては、興味対象物体は通例実世界で見られるよりは小
さく映る。また、これら作成されたイメージは、複視を介した両眼視による深度情報、す
なわち「生理学的複視」等の人間の視覚にみられる空間に関しての視覚的体験を増進させ
る他の特徴を、一般的には記録又は提示しない。また、従来のイメージングシステムは、
高められたエッジコントラスト、視界の周辺部及び非固視部分内の物体の相対的不明瞭さ
、知覚される空間の主観的湾曲、最周辺部での視野の漸進的なフェーディング及び減光、
固視点との相対的関係による物体の見かけ上のサイズの変化、一人称の視点から見た観察
者の身体のイメージ等の人間の視覚にみられる他の特徴を記録することができていない。
本願発明は、これらの効果を全て組み合わせて人間の視野についての統合的なエミュレー
ションを生じさせる。
【0003】
人間の視界の全体を描写する手段としての本概念の1つの利点は、パノラマ等によって
もたらされるイメージフォーマットが過度に広角になることを回避できるということにあ
る。なぜならば、実際の人間の視覚と同様な態様でシーンの周辺部の大きさ及び強調度が
低減されるからである。また、興味対象物体のサイズを多くの場合小さくする魚眼レンズ
や周辺部を拡大する広角レンズ等によってもたらされる過度に歪められたイメージも回避
される。代わりに、中心視に対応し観察者の注目に最もさらされるイメージ部分に、より
重きが置かれ、このためそのイメージ部分がより大きく見えてシーンが人間の視覚系によ
って知覚される態様に似た態様で近似される。
【0004】
本概念のさらなる利点としては、従来の線遠近法イメージに比べて、より高度な顕著性
及び突出性が、固視点及び注目領域に対応するイメージの領域に、与えられるということ
が挙げられる。広告等の用途においては、広告主が強調することを望むイメージ内の領域
又は物体に、観察者の視線を誘導できるという利点がある。
【0005】
さらなる利点としては、上述の方法を適用することによって、結果的にもたらされるイ
メージは、従来の線遠近法又はその他の方法によってもたらされたイメージに比べて、格
段に向上した深度感の錯覚を有するように見え得るという点が挙げられ、また、結果的に
もたらされるイメージは、シーン内の興味対象若しくは注目対象の物体の相対的サイズを
小さくすることなくイメージフレーム内に格段により広角な視角を包含することができる
。
【0006】
また、他の「中心窩化」された(“foveated”)イメージングシステムと同様に、視界
の周辺部に対応するイメージ領域内の情報について高度に圧縮し、解像度を低下させるこ
とによって、データ格納及び伝送を節約し得る。
【0007】
本願明細書において説明される方法のさらなる利点としては、観察者の身体についての
ビューが、知覚的正確性をもって一人称の視点から提示されるという点が挙げられ、これ
により一人称視点を伝達する本方法を用いるイメージの有効性が向上する。
【0008】
上述の問題の幾つかに対処する何個かの既知の解決策がある。これらの解決策には、極
めて広い視野角をキャプチャするが、イメージのエッジ寄りには過度の光学的歪曲が生じ
る魚眼レンズ等の広角レンズを用いる解決策が含まれる。このような歪曲は適切なソフト
ウエア処理によって修正されることができるが、これは完全な解決策ではない。なぜなら
ば、結果としてもたらされるイメージは依然として線遠近法に従って投影されており、本
目に最初に記載の通り、実際の人間の視覚系に関連づけられる多くの特徴が欠如している
からである。
【0009】
別の手法としては、複数のイメージをスティッチングして極めて広いパノラマ視野をキ
ャプチャすることが挙げられるが、このような超広角画像フォーマットの有用性には実用
的な制限があるという短所が伴う。また、このようなパノラマでは、本願明細書にて説明
した実際の人間の視覚に関連する幾何学的構造及び他の特徴が欠如している。
【0010】
Quicktime(登録商標)VRやCondition One (http://www.conditionone.com/)等の他
のイメージング技術は、仮想空間でスクローリングすることによって広い視野を観察者が
スキャンできるようにして観察者の指示に従ってシーンを複数のアングルから見ることが
できるようにするが、これらの方法も依然上述の不備の幾つか又は他の不備を抱えている
。
【0011】
ビデオゲームエンジンに用いられているコンピュータアニメーション等の幾つかの形式
のコンピュータアニメーションでは、観察者の視点からみた人間の身体の部分を描写に含
めることによって観察者の視点を真似ようとする試みが行われているが、これらのビュー
は、一般的に従来の線遠近法に従ってレンダリングされており、描写されている視界の中
心内の限定的な矩形状のビューイング領域に限定されている。このため、これらにおいて
は自然な視野中で多くの場合に見られる鼻や肩等の身体の部分が除外されている。広告用
イメージの分野においては、イメージの周辺寄りのエッジを選択的にぼかすことによって
周辺視野の相対的不明瞭さを再現しようとする幾つかの試みがされたが、このような手法
は依然として上述の不備全てを補うに至らない。
【0012】
幾つかのレンズに基づくシステム及びコンピュータに基づくシステムにおいては、広い
視野がキャプチャされると同時に、興味対象領域がより大きなサイズで又はより高い解像
度で表示されて、これによって人間の視覚の周辺領域及び中心窩領域の特定の特性が再現
される。例えば、中心窩化された及び広角中心窩化されたレンズシステムは、広い視野を
キャプチャすると共にデータ圧縮性を向上させ及びイメージの中心部の質を高めるように
設計されている(例えば、特許文献1)。しかし、一般的に、このようなシステムは、(
カメラ及びレンズを介して)シーンについての単眼的で2次元的な線遠近法的なビューを
キャプチャすることに依存しており、本願発明が特定するような、人間によって視認され
る完全視野の幾何学的構造に対応する3次元世界についての投影を生成しない。また、こ
れらのシステムは、イメージ内で移動している固視点に関しての効果又はイメージ内にお
ける注目の軌跡若しくは範囲の変化に関しての効果について補うこともない。広角中心窩
イメージは、典型的には楕円状ではなく円形状であり、また、次のような自然な視覚に伴
う特徴を有さない:複視(合焦された物体の前後のイメージについての意図的なぼかし)
、異なる深度平面間での固視箇所の変化による物体の見かけ上の大きさの変化、固視され
ている物体についてのエッジコントラストが高められること、本願発明に関して特定され
た他の方法等。
【0013】
他の方法は、複数カメラの配列を用いて広い視野のキャプチャを行いつつも描写される
視界内の領域についての細部についてフォーカシングを行う(例えば、特許文献2)。カ
メラからのイメージについては、スティッチング及び変形が行われて閲覧用の広角中心窩
出力イメージが形成される。このようなシステムに関しては、カメラが曲がって配列され
ているために、従来の線遠近法の投影に関連づけられている過度な歪曲が回避されるとも
主張されている。これらのシステムは、人間の中心窩に対応するイメージ領域で鋭敏度を
高めることも意図している。しかし、これらのシステムは、次のような人間の視覚に伴う
幾何学的構造又は特徴に関して記録及び描写していない:3次元的深度の変化によるイメ
ージへの変更、(固視領域だけでなく)注目領域における突出性の増大、両眼間での差異
及び周辺部での不明瞭さ等。
【0014】
眼の中心窩領域に対応するイメージ領域を向上させる他の方法には「デジタルズーム」
が含まれ、この方法では固視されるイメージ領域がイメージの周辺部に対応する領域に比
べて拡大又はエンハンスされる(例えば、特許文献3)。しかし、このような方法は(カ
メラ及びレンズを介して)2次元的な線遠近法的なイメージをキャプチャすることに依存
しており、自然な人間の視覚で知覚される幾何学的構造に基づく3次元的視野の全体を表
していない。これらの方法によってもたらされるイメージは典型的には楕円状でなく矩形
状であり、また、自然な人間の視覚の次のような追加的特徴を描写するものではない:複
視、視界における主観的な湾曲、局所的注目の効果等。
【0015】
中心窩イメージを生成する他の方法(例えば、特許文献4、特許文献5及び特許文献6
)も、線遠近法の幾何学に基づいており、人間の視覚の主要な特徴をキャプチャ及び描写
する能力を有していない。
【0016】
平坦な画像をのぞき穴又は開口部を通して見ることによって深度錯覚を向上させ得るこ
とは数世紀も前から知られている。下層に位置するスクリーンの一部を遮蔽するフレーム
でフラットスクリーンを覆うことによって観察者の3次元的深度知覚体験を向上させるス
クリーン鑑賞装置が設計されている(特許文献7及び特許文献8を参照)。しかし、フレ
ーム内の開口部の形状は一般的に矩形状であり楕円状ではない。さらに、本願発明によっ
て教示される楕円形フレームの活用事例は本願発明において特定されるイメージ及び表示
サポートと関連して用いられるべきプレゼンテーションシステムの統合コンポーネントと
して用いられるものであり、任意の他のイメージと共に用いられるスタンドアロン装置と
して用いられるものではない。
【0017】
3次元空間をイメージングする現行の手法は、光の挙動及びレンズや感光板等のキャプ
チャ装置の光学的特性に基づく線遠近法の原則に依拠しがちである。しかし、装置のこの
ような原則は、人間による世界の知覚態様に影響を及ぼすと知られている次に挙げるよう
な幾つかの人間の視覚系の特徴について考慮していない:人間の眼の構造、眼を2つ用い
て見ることによって生じる結果、注目及び記憶がもたらす精神的な効果等。本願発明は、
従来利用可能なイメージング手法よりも正確に人間の視覚による実体験を近似するイメー
ジ形成プロセスが必要であるとの考えから、派生したものである。
【図面の簡単な説明】
【0024】
【
図1】描写される視覚空間の図であり、該空間は水平方向に180度から200度までにわたり、垂直方向に130度から150度までにわたり、ビューイング位置(VP:Viewing Position)と視野の境界の相対関係が示されており、シーンの注目領域(RA:Region of Attention)が固視点(FP:Fixation Point)を囲んでいる。
【
図2a】様々な幾何図法によってキャプチャされた視野データ(FoVD:Field of View Data)上にオーバーレイされた視野マップ(FoVM:Field of View Map)の例を示す図であり、魚眼図法でキャプチャされたデータが示されており、破線はFoVMの境界を示しており、これはキャプチャされる視界の縁と一致する。
【
図2b】様々な幾何図法によってキャプチャされたFoVD上にオーバーレイされたFoVMの例を示す図であり、正距円筒図法でキャプチャされたデータが示されており、破線はFoVMの境界を示しており、これはキャプチャされる視界の縁と一致する。
【
図2c】様々な幾何図法によってキャプチャされたFoVD上にオーバーレイされたFoVMの例を示す図であり、円筒図法でキャプチャされたデータが示されており、破線はFoVMの境界を示しており、これはキャプチャされる視界の縁と一致する。
【
図2d】様々な幾何図法によってキャプチャされたFoVD上にオーバーレイされたFoVMの例を示す図であり、レクチリニア図法でキャプチャされたデータが示されており、破線はFoVMの境界を示しており、これはキャプチャされる視界の縁と一致する。
【
図2e】様々な幾何図法によってキャプチャされたFoVD上にオーバーレイされたFoVMの例を示す図であり、vedutismo図法でキャプチャされたデータが示されており、破線はFoVMの境界を示しており、これはキャプチャされる視界の縁と一致する。
【
図3】固視点(FP)及び注目領域(RA)の位置を定義する図であり、視野マップ(FoVM)内に太線で描かれた円が示されている。
【
図4a】視野イメージ(FoVI:Field of View Image)の形状を示す図であり、これが最終出力イメージを作成するのに用いられるデータ空間である。
【
図4b】太線で描かれた楕円の幾何学的な作図を示す図である。
【
図5a】本願発明によって生成されたイメージとの対比を前提に、従来の線遠近法を用いる方法によって生成されたイメージの一般的な幾何学的な構造を一例として図示する図であり、2次元線遠近法に基づいているシステムによって生み出された視覚データの分布を概略的に示す図である。
【
図5b】本願発明によって生成されたイメージとの対比を前提に、従来の線遠近法を用いる方法によって生成されたイメージの一般的な幾何学的な構造を一例として図示する図であり、本願発明によって生成されたイメージがどのようにして異なるのかを概略的に示す図であり、ここでFPはイメージの中心に配置され、また、RAは本図の中央の膨れている領域の大きさに相当する大きさを有している。
【
図6a】単眼的線遠近法の投影図法で投影された実際の3次元シーンのジオメトリを示す図である。
【
図6b】単眼的魚眼投影図法で投影された実際の3次元シーンのジオメトリを示す図である。
【
図6c】前2図との対比を前提に、本図は本願発明との関係で説明された方法に従うキクロプス的投影法(cyclopean projection)で投影された場合に前出のシーンがどのように見えるかを示す図であり、ここでRAは中央の円板であり、FPは円板の中心にある。
【
図7】描かれた領域が単元に分割される態様を示す例示的なFoVI座標マップである。
【
図8a】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【
図8b】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【
図8c】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【
図8d】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【
図8e】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【
図9a】視野マップ(FoVM)内で表されている視野を視野イメージ(FoVI:Field of View Image)内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点(FP)及び注目領域(RA)を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【
図9b】視野マップ(FoVM)内で表されている視野を視野イメージ(FoVI)内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点(FP)及び注目領域(RA)を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【
図9c】視野マップ(FoVM)内で表されている視野を視野イメージ(FoVI)内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点(FP)及び注目領域(RA)を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【
図9d】視野マップ(FoVM)内で表されている視野を視野イメージ(FoVI)内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点(FP)及び注目領域(RA)を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【
図9e】視野マップ(FoVM)内で表されている視野を視野イメージ(FoVI)内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点(FP)及び注目領域(RA)を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【
図10a】視野イメージにおける深度及び両眼視差の描写を表す図であり、本図の1.は余分な円板(番号:38)であってFPとインラインに配置されているがVPにより近い距離に配置されている円板を
図9と同じシーンに加えたシーンを表し、本図の2.は視野イメージ内でどのようにして本
図1.の部分で見られるシーンが変換されるかを示し、本図の2.内の破線は観察者の鼻の輪郭を表し、これが個々の眼に与えられる視界の境界を定義し、破線間の領域は両眼で同時に見られることができる視野の部分を表し、観察者との関係で特定の位置に円板38が置かれた場合に行われるシーンについての変換を示す図であり、L及びRはそれぞれ左眼及び右眼を意味する。
【
図10b】視野イメージにおける深度及び両眼視差の描写を表す図であり、観察者との関係で特定の位置に円板38が置かれた場合に行われるシーンについての変換を示す図であり、L及びRはそれぞれ左眼及び右眼を意味する。
【
図10c】視野イメージにおける深度及び両眼視差の描写を表す図であり、観察者により近い位置に円板38が置かれた場合に行われるシーンについての変換を示す図であり、L及びRはそれぞれ左眼及び右眼を意味する。
【
図10d】視野イメージにおける深度及び両眼視差の描写を表す図であり、観察者により近い位置に円板38が置かれた場合に行われるシーンについての変換を示す図であり、L及びRはそれぞれ左眼及び右眼を意味する。
【
図11】視界の中心に二重のイメージが現れる立体視領域を作出する両眼の間の重複を表す図である。
【
図12a】観察者の視線が真正面に向けられている場合の鼻に関する境界(破線で表されている)の形状を示す図である。
【
図12b】観察者の視線が右方に向けられている場合の鼻に関する境界(破線で表されている)の形状を示す図である。
【
図13a】前景において着座している人の視点から撮影された複数の線遠近法のショットとしてキャプチャされてスティッチングされたシーンについての視野全体を例示的な意味合いのみにて示す図であり、固視点はスタンド上の茶瓶の中心であり、注目領域は茶瓶全体であり、観察者との関係でのシーン内の物体の主要深度測定値は既知である。
【
図13b】同じビューを従来の24ミリメートルレンズで撮影して線遠近法に従って投影したものを示す図であり、シーンのさらに狭い範囲を描写している。
【
図13c】同じ視点を本願発明によって提供される幾何学的投影方法に従って提示したものを示す図であり、茶瓶は
図13bの茶瓶と同じ大きさであるが、茶瓶の周囲にあるシーン空間のより広い範囲が見えているという点に留意されたい。
【
図13d】同じ視点を示す図であって、次のものを含む本願発明によって指定された追加的な効果が付加されている図である:茶瓶の前後における複視、茶瓶の周囲の領域における相対的不明瞭さ、シーンの残余の部分と比較して茶瓶のコントラストが高められていること、及び茶瓶の周囲においてエッジコントラストが高められていること。
【
図13e】
図13dの処理されたイメージと同じイメージを示す図であって、人間の視界の境界を表す楕円状のフレーム又はケラレが追加されている図である。
【
図14a】最終的イメージを提示するのに用いられる非平面スクリーン又はサブストレートの形状を示す図であり、イメージ内の固視点及び注目領域はスクリーン内の中央の膨らみの位置及び大きさに対応する。
【
図14b】最終的イメージを提示するのに用いられる非平面スクリーン又はサブストレートの形状を示す図であり、スクリーン内の陥没部はイメージ内の固視点及び注目領域に一致する。
【
図14c】最終的イメージを提示するのに用いられる非平面スクリーン又はサブストレートの形状を示す図であり、イメージから3次元深度マップが生成されて平面的でない表面が形成されるプロセスを示す図であり、該表面上にイメージが投影され、印刷され、又は、他の手段によって表示される。
【
図15】非平面スクリーン又は最終的イメージの前に配置される楕円状の開口部を示す図であり、観察者がイメージを見る開口部を示す図である。
【
図16】異なる固視点(FP)及び異なる大きさの注目領域(RA)に関してのユーザからの入力、対話的行為又は行動に応答して最終的イメージの特性に対して加えられる変更を示す図である。
【
図17】2つの異なる固視点(FP)及び注目領域(RA)に関してのユーザ起動型入力に応答するスクリーン内の膨らみの移動を示す図である。
【発明を実施するための形態】
【0025】
図1は、通常の人間の立体視において見られる範囲についての視覚的な表示であり、こ
れはおよそ水平方向に180度〜200度及び垂直方向に130度〜150度にわたる視
野を含み、通例およそ水平方向に180度及び垂直方向に130度の視野である。
【0026】
ここで、「固視点」(FP)は、シーンとの関係で所与のビューイングポイント(VP
)に配置された人間の観測者の眼が凝視しているであろう箇所に対応するシーン内の点と
して定義される(
図1)。RAは「注目領域」として定義され、観察者がシーン内におい
て注目しているシーンの物体又は領域に対応する。一般に、FPは通常RAの中心に存在
する。シーンの総面積との関係で注目されている領域又は物体がどの程度の大きさである
かに応じて、RAの大きさ及び形状が異なってくる。
【0027】
シーンのキャプチャ、記録、生成又は描写は次の列挙に含まれる幾つかのプロセスを用
いることによって達成することができるがこれらには限定されない:深度マッピング、明
視野キャプチャ、レーザーマッピング、魚眼レンズ搭載カメラ等の適切に設計及びアレン
ジされたレンズ及び感光板を使用する手法、単一の及びスティッチングされたパノラマイ
メージ、360度カメラシステム、複数カメラ配列、コンピュータ生成モデル、又は、V
Pにいる観測者が見ることのできるシーンに関する領域内の視覚データを記録する他の装
置若しくはプロセス。イメージであるか、一連のイメージであるか、記録された光配列で
あるか、空間座標配列であるか、これらの組合せであるか否かを問わず、結果としてもた
らされるシーンの描写は以下、「視野データ」又はFoVDという。
【0028】
FoVDは、必要に応じて、次の内容を含む:a.シーン内の物体についてのVPとの
関係での深度値についての情報(これらの値は手動的に、光学的に、機械的に、若しくは
電子的に記録されることができ、又はFoVDにおいて利用可能な情報から算出されるこ
とができる)、b.シーン内のFPの位置(これは手動で又は自動的に決定されることが
できる)、c.視界の外縁の位置(これは手動的に、光学的に、機械的に、若しくは電子
的に記録されることができ、又はFoVDにおいて利用可能な情報から算出されることが
できる)、及び、FoVDが平坦な1以上のイメージである場合には、d.3次元空間を
平面に投影するのに用いた投影座標系(これは手動的に、光学的に、機械的に、若しくは
電子的に決定されることができ、又はレンズの光学系等のシーンを記録するのに用いたシ
ステムの特性に基づいて算出されることができる)。FoVDは、鼻等の顔特徴の大きさ
及び位置や、シーンとの関係での頭部の角度等の、最終的イメージの外観に影響を及ぼし
得る観察者の身体的属性に関する情報を含むこともできる。
【0029】
シーンは、単眼的形式で又は立体視的形式で、キャプチャ、記録、生成又は描写されて
FoVDを作成することができる。単眼的形式でキャプチャされた場合、シーンのデータ
は、両眼に同時に与えられる組み合わせた視野に、即ちおよそ水平方向に180度〜20
0度及び垂直方向に130度〜150度にわたる視野に、対応することになる。立体視的
にキャプチャされた場合、シーンのデータは2つの部分からなり、各々は左右の眼に与え
られる視野に、即ち各眼についておよそ水平方向に140度〜160度及び垂直方向に1
30度〜150度にわたる視野に、対応し、これらが組み合わさって水平方向に180度
〜200度の範囲を包括するシーンの描写を形成する。
【0030】
シーンは、スチル形式又は動画形式でキャプチャ、記録、生成又は描写されてFoVD
を作成することができる。スチル形式でキャプチャされた場合、それは静的なデータセッ
トを備えるのであって、該データセットは所与の固視点との関係でVPにいる通常の人間
たる観測者に与えられる視覚的情報のフィールド全てを含む。動画形式でキャプチャされ
た場合、それはイメージのアニメーションシーケンスとシーンを表すデータとからなる。
【0031】
さらなるステップは、FoVDにオーバーレイする座標マップを定義するステップを伴
い、該マップは「視野マップ」又はFoVMという。FoVMは、シーン内の領域や物体
の位置を記録される視野全体との関係で決定するのに用いられる。本願発明の1つの実施
形態では、視野は例えば水平方向において180度に、及び、垂直方向に130度に分割
される。この場合、水平方向における各々の度数1つずつはその軸方向に関してのVPに
おける総視野の180分の1を表し、垂直方向における各々の度数1つずつはその軸方向
に関しての総視野の130分の1を表す。FoVDの左端に対応するFoVMの左端にお
いて−90の値が設定され、FoVDの右端に対応するFoVMの右端において90の値
が設定され、FoVDの下端に対応するFoVMの下端において−65の値が設定され、
FoVDの上端に対応するFoVMの上端において65の値が設定されて、FoVMの外
周が、FoVDの外周即ち描写されるシーンについての視野の外周に、対応するようにす
る(
図2a)。シーンをキャプチャするのに用いた方法に応じてFoVMの形状は異なる
(例については、
図2b乃至
図2eを参照)。
【0032】
1つの眼のために単眼的ビューで、又は、両眼のために別々に立体視的ビューで、又は
、両眼のビューを一体化させたキクロプス的ビューで、キャプチャされたFoVDについ
て、FoVMを生成することができる。また、必要であれば、FoVMは適切な単位で定
義された3次元的座標系を含み、これはFoVDが作成された時点において指定された深
度次元におけるシーン内の物体とVPとの間の距離について測定値を提供する。
【0033】
さらなるステップは、人間の1つの眼又は複数の眼が凝視しているシーンの部分又はシ
ーン内の物体に対応するFPの場所を、FoVM上で指定することを伴う(
図3)。Fo
VMの水平及び垂直方向の各軸との関係でのFPの場所は、シーン内のどの領域又は物体
がFPとして指定されているかによって異なることがあり、発明のオペレータ若しくはユ
ーザ又は人間の観察者が実際のシーン内において固視点を設定する様子をエミュレートす
る自動化プロセスによって定義されることができる。必要であれば、FPの場所に関して
は、適切な単位を用いた深度次元における測定値も伴うことができ、これはVPとFPと
の間の距離に依存する。FPを中心に有するRAの大きさは、FoVMの面積の1%から
FoVMの面積の99%の間の値をとることができる。
【0034】
さらなるステップは、本願発明に関して定義した方法に従ってFoVDを投影するため
の2次元データ空間を作成して最終的イメージを作ることを伴う。このデータ空間は、「
視野イメージ(FoVI:Field of View Image)」として定義される。このデータ空間
は通常横長であり、アスペクト比は13:8であり、楕円状の形状である(
図4a参照)
。必要に応じて他のアスペクト比又は形状をFoVIに適用してシーンを描写することが
できる。次のようにして楕円形のジオメトリを定義する:直径をxとした2つの円を重ね
合わせて、交差部での幅aがxの70%となるようにする。さらにyをxの26%とした
上で直径をyとするさらなる2つの円を設けて大きい方の円の交差部にこれらを入れ込ん
でこれらを重ね合わせてこれらの交差部の幅bがyの35%となるようにする。
図4bに
示すように、交差する円の境界にある線から楕円形を形作る。シーンを描写するための必
要に応じて他のアスペクト比又は形状をFoVIに適用することができる。
【0035】
各FoVIの具体的な特性は描写されるシーン及び再現される視点によって異なるが、
FoVIの一般的な幾何学的構造は同じシーンについての典型的な線遠近法による投影と
は異なるものとなる。例示的目的にすぎないが、線遠近法による投影における物体の大き
さ及び位置に関する視覚データが概略的に2次元的市松模様パターンとして表されたと仮
定するならば、FoVI内のそのデータの描写は典型的には
図5に示すように異なってい
る。RAに対応するシーンの領域は、任意の形状であることができ、RAの外の領域又は
物体よりも通常はイメージにおいてより大きな部分を占め、視界の境界に向かうにつれて
次第に大きさが減じられていく。シーンの物体及び領域は、イメージの左及び右に近づく
につれて水平軸に沿ってますます圧縮され、イメージの上及び下に近づくにつれて垂直軸
に沿ってますます圧縮される。総合的なスケーリング効果は注意範囲及びシーン内の物体
の相対的深度によっても調整され、また、イメージの外側領域において空間的曲率が導入
されて楕円状のイメージが生成される。さらなる例示として、
図6では実際の3次元空間
が投影された際のジオメトリが示されており、
図6aでは単眼的線遠近法の投影図法が、
図6bでは単眼的魚眼投影図法が示され、これと比較されるのが
図6cに示されるもので
あり、同図では本願発明の方法に従ってキクロプス的投影法を用いて同じシーンが投影さ
れた場合にどのように見えるかが示される。この場合では、RAは中央の灰色の円板であ
り、該円板の中心にFPがある。
図6cではイメージの上部においては下部に対しての圧
縮より強い圧縮が行われていることが指摘でき、このことはシーンとの関係での観察者の
頭部の位置によって定められるイメージ内で描写される視角に起因している。
【0036】
FoVI内のデータについて所望のレンダリングを達成するために、FoVDを変換す
るプロセスは幾つかのサブステップを必要とし、これらは次に示すように特定される。ま
ず、角度、センチメートル、ピクセル又は他の単位等の適切な単位で定義された2次元的
座標マップをFoVIの上にオーバーレイする。両眼からのビューを組み合わせるキクロ
プス的イメージが作成される本願発明の1つの実施形態では、他の単位を用いても良いが
、次のように座標マップが定義される:FoVIの中心で値を0とし、FoVIの最も左
で値を−0.5とし、FoVIの最も右で値を0.5とし、FoVIの下方エッジで値を
−0.5とし、FoVIの上方エッジで値を0.5とする。FoVI上での座標系の分布
態様は、描写される視点の特性及び後述のステップで指定される変数に依存する。例示す
れば、
図7ではFoVI内での座標分布の例が示される。FoVIの周縁がFoVM上に
マッピングされた視野の周縁に対応する。
【0037】
さらなるステップは、FoVM内に配置されたFP及びRAをFoVI内の対応する座
標にマッピングすることを伴う(
図8)。FoVM内で指定されているFP及びRAの座
標がFoVI上へとマッピングされる変換については、5つのケースが例として
図8に示
されている。各ケースにおいて、変換がFoVI内において見られるFP及びRAの大き
さ及び位置を決定する。
図8a(1)では、観察者が視野のどこ(幅及び深度を含む)を
固視しているか、及び、視野全体の角度で測ると注目領域がどれほどの大きさであるかを
FoVMが記録する。
図8a(2)は、本願発明によるとどのようにして同じ情報がFo
VI内で描写されるかを示すものであり、全体の視野における割合を示し、また、RAが
占有するその視野内の位置も示す。
図8b乃至
図8eは、視野内の様々な固視点を基礎と
した場合の同じ変換の様子を示す。
【0038】
さらなるステップは、FoVM内でキャプチャされた視野全体のデータをFoVIへと
4.14に示した原理に基づいてマッピングすることを伴うが、視野内における部分の絶
対的位置並びにFP及びRAとの関係に応じて、視野の異なる部分について異なる値をも
とに変換を行う。プロセスは、例示を目的として次の5つのケースで説明される。
図9a
(1)は、各々VPから等しい距離だけ離された等しい大きさの物体の半円形配列からな
るシーンについての、キクロプス的モード、即ち両眼のビューを組み合わせたモード、で
見たFoVMを示す。太線で描かれた円板がRAを表し、各々の中心にFPがある。
図9
a(2)は、FoVIに変換した同じシーンを示す。FoVI内での対応する大きさ及び
位置が見て分かるようにするために、各円板には番号が付されている。
図9a乃至
図9e
は、シーン内の異なるFPによってどのようにFoVIが見えるかの例を示す。
【0039】
深度による相対的な変化を表現するためにさらなるステップが実行され、このステップ
ではシーン内の奥行きに関するデータと左右の眼の差異とを用いて、同じシーンを見てい
る通常の両眼視を持った人間が見るであろう場面に対応するイメージを描写する。VPと
の関係でのFPの深度位置を用いることによってFoVM内のデータは
図10に示してい
るようにFoVIに変換され、各眼のシーンとの関係での位置を知る−これはシーンが記
録された時点においてキャプチャされたFoVDデータに埋め込まれた情報である。
図1
0a(1)は、
図9と同じシーンを表すが、FPに沿って配置されているがVPにより近
い追加の円板(38番)がある。
図10a(2)は、
図10a(1)で見られたシーンが
視野イメージにおいてどのように変換されるかを示す。
図10a(2)の破線は、各眼に
与えられる視野の境界を定義する観察者の鼻の輪郭を表す。破線間の領域は、同時に両眼
で見ることのできる視野の部分を表す。
図10aにおいてFPは、シーンの後方で円板3
8の後ろにある円板19上にある。したがって、
図10a(2)において円板38番は、
両眼視差のため、左右の眼についてそれぞれ1回ずつ、即ち計2回出現する。ここで、円
板38も半透明であることに留意されたい。
図10bではFPは円板38上にあり、これ
はVPにさらに近づいており、そのため円板38の背後の領域は2重になったように見え
るのであり、これも両眼視差に起因する。もっとも、この2重化は、描写されている視野
の中央の領域にある両眼間の重複領域内にて主として発生する。円板38は今度はソリッ
ドに見える。
図10b(2)の外寄りの円板は、
図10a(2)のそれらより中心点に近
づいていることに留意されたい。これは、固視と注目の対象が深度に関して移動する場合
にイメージの背景で発生する「知覚的ズーム」効果を表している。
図10c及び
図10d
は、
図10a及び
図10bと同じビュー及び変換を表すが、円板38の位置はVPに近づ
くように調整されており、
図10c及び
図10dにおけるFPと円板38との差が
図10
a及び
図10bにおける差よりも小さくなるようにしてある。
【0040】
一般的に、深度軸方向において固視領域の前方又は後方に配置されたシーン内物体又は
シーン内領域は、重複したものとしてかつ半透明なものとしてFoVI内にてレンダリン
グされて通常の人間の両眼視で生じる生理的複視の効果をエミュレートする。2重化され
るべきシーンの物体若しくは領域の選定、又は、2重化されたレンダリング間の視差の程
度、又は、それらの半透明度は、シーン内の2重化されるべき領域若しくは物体寸法及び
位置並びにVPとの関係でのFPの寸法及び位置に依存する。通常は、2重化された物体
又は領域は2つの視点から記録され、視点の位置における差は人間の1組の眼の通常の瞳
孔間隔に等しくされる(
図11)。
図11(1)は、VPとの関係でFPが真正面にある
場合の見通し線を示す。
図11(2)は、VPとの関係でFPが右側にある場合の見通し
線を示す。結果として、各眼の視野における鼻によって生じる境界の位置は、FoVI内
で描写される全体視野との関係で、
図12a及び
図12bに示されるように変化する。
【0041】
FoVI内の視覚情報は、RAに対応する領域が、水平・垂直軸方向でRAの外となる
イメージ領域に比べてより高い解像度・精細度・鮮明度を有するようにレンダリングされ
る。RAに対応するイメージの領域は、最高の解像度及び鮮明度をもって描写され、固視
領域の中心からの水平・垂直軸方向での距離の関数としてこれは次第に低下していき、イ
メージの外縁の領域が最低の精細度又は鮮明度をもって描写されるようにされる。イメー
ジの解像度・鮮明度・精細度を低下させる又は低減させるための任意の適切な方法を用い
ることができ、この方法には、ぼかし、スクランブリング、サンプリング低減、データ帯
域低減等が含まれる。
【0042】
FoVI内の視覚情報は、RAの前方又は後方に配置されている物体がRAの領域より
甘いフォーカスでレンダリングされるように整えられ、深度平面上でRAから遠くなるイ
メージ部分ほど漸進的により甘くなっていく。
【0043】
FPが視野の外縁寄りに位置している場合、人間が固視対象を視野の外縁寄りに向かっ
て移動させる場合に通常その人間によって見られるであろう人間の顔面の鼻(若しくは鼻
堤)、眉毛、又は頬を表す追加的なイメージコンポーネントを、FoVIは含むことがで
きる。このような追加的コンポーネントはこれらの顔特徴の向こう側若しくは背後に位置
する物体へのビューを遮蔽することになり、又は、鼻は両眼で偏心的に見た場合に半透明
のものとしてレンダリングされる。また、FoVIは人間の顔面に近接して配置された他
の物体の描写を含むことができ、これには眼鏡、サングラス、帽子、毛髪の房又は先述の
ように配置されると全体視野において視認可能となる他の物体等が含まれる。このような
物体は、FoVI内では低いフォーカス鮮明度をもってレンダリングされてVPにとても
近接した物体については通常の視覚で処理できないということをエミュレートすることに
なる。
【0044】
固視領域の突出性を向上させるため、イメージの残余の部分と比較して固視される領域
又は物体のイメージコントラストを1%から100%の係数で増大させる効果をFoVI
に施すことができる。
【0045】
固視領域の突出性を向上させるため、イメージの残余の部分と比較して固視される領域
又は物体のイメージ明度を1%から100%の係数で増大させる効果をFoVIに施すこ
とができる。
【0046】
固視領域の突出性を向上させるため、固視される領域又は物体とイメージの残余の部分
との間の知覚されるエッジコントラストを増大させるように、固視される領域又は物体の
外縁を後光又は輝きで囲む効果をFoVIに施すことができる。
【0047】
イメージには色彩効果を加えることができ、FoVIの最外縁について彩度及び明度を
減じることができる。
【0048】
結果をレンダリングする、出力する、又は、印刷するステップは、描写される3次元シ
ーンに関しての2次元イメージを得るための任意の適切な手段によることができる。Fo
VIは、例えばスクリーン、印刷された表面、塗装された若しくはエッチングされた表面
、光源からイメージが投影されるための表面、ホログラフィックイメージ又は他の適切な
媒体等の任意の適切な媒体上にて提示されることができる。1つの実施形態ではFoVI
は略楕円形とされ得るが、必要に応じて他の形状を用いてシーンを描写することができる
。本願発明の1つの実施形態では、FoVIは、モニタ等の平面的なスクリーン上若しく
は表面上に若しくは印刷されたページ上に、又は、光の投影若しくはホログラフィックな
手段によって又は他の適切な手段によって表示される。
【0049】
例示に過ぎないが、
図13は従来の線遠近法フォーマットでキャプチャされた、及び、
本願発明との関連で説明されたステップに従って変換されたシーンを示す。
【0050】
本願明細書にて説明した方法によって作成したFoVIを表示するのに非平面スクリー
ンも使用することができ、これは観察者に対して向上した深度錯覚を提供する。表示面は
任意の寸法とすることができ、又は、イメージを表示する用途において適切な任意の素材
によって構成されることができる。本願発明のさらな実施形態では、スクリーンや印刷さ
れた表面等の非平面的な表面にFoVIが表示され、該表面はRAに対応する表面の領域
が平面的表面との関係で相対的に突出している又は後退している形状にされて、表面内に
物理的な膨らみ又は凹みを形成し、それによってFoVIとの関係で適切に配置された観
察者に対してFoVI内での見かけ上の深度感覚を増大させる。本願発明の1つの実施形
態では、イメージが出現する表面の形状は
図14aに示すようなものであり、他の実施形
態においては
図14bに示すようなものである。本願発明の別の実施形態では、イメージ
用の非平面支持体はイメージから生成された3次元深度マップに従って形成され、FoV
I内に描写されたコントゥア(contour)が表面上に印刷又は投影された際には、非平面
表面のコントゥアがFoVI内に描写されたコントゥア上にマッピングオンする(
図14
c)。本願発明の別の実施形態では、FoVIの外エッジと周辺空間との間の境界が軟化
されるか、なだらかにされるか、隠蔽されるようにするために、FoVIの外周において
漸進的な減光、フェーディング又は他の変更を行う。本願発明のさらなる実施形態では、
FoVIから前方方向に向かって可変な距離進んだ所に設置された適切に形成された開口
部又は枠の後ろにFoVIが表示されて、観察者にとってはFoVIが開口部によって部
分的に遮蔽されたようにみえ、これによって深度錯覚が増大する。1つの実施形態では、
開口部は略楕円形とされ、また、
図15に示されているようにFoVIの前に配置されて
いる。