知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-24
(45)【発行日】2024-08-01
(54)【発明の名称】画像生成装置および画像生成方法
(51)【国際特許分類】
G09G 3/20 20060101AFI20240725BHJP
G09G 5/00 20060101ALI20240725BHJP
G09G 5/37 20060101ALI20240725BHJP
【ＦＩ】
G09G3/20 680A
G09G3/20 632F
G09G3/20 660E
G09G3/20 631V
G09G3/20 612U
G09G5/00 530H
G09G5/37 300
G09G5/37 320
G09G5/00 510G
【請求項の数】
12
(21)【出願番号】P 2022553270
(86)(22)【出願日】2020-09-29
(86)【国際出願番号】 JP2020036962
(87)【国際公開番号】W WO2022070270
(87)【国際公開日】2022-04-07
【審査請求日】2023-09-11
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【弁理士】
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】稲田 徹悟
(72)【発明者】
【氏名】大場 章男
(72)【発明者】
【氏名】篠原 隆之
(72)【発明者】
【氏名】金子 徳秀
【審査官】公文代 康祐
(56)【参考文献】
【文献】国際公開第２０２０／１７０４５５（ＷＯ，Ａ１）
【文献】特開２０１９－０４５６７９（ＪＰ，Ａ）
【文献】国際公開第２０１６／１８１９０９（ＷＯ，Ａ１）
【文献】特開２０１６－０６３３９１（ＪＰ，Ａ）
【文献】国際公開第２０２０／１７０４５４（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１７０４５６（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０３２２６６９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ３／２０
Ｇ０９Ｇ ５／００－５／４２
(57)【特許請求の範囲】
【請求項1】
接眼レンズを介して鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を生成する画像生成装置であって、前記逆の変化を与える前の画像平面において、前記歪み画像の画素に対応するサンプリング位置の分布に応じて選択的に設定された演算対象画素の画素値を求める画素値演算部と、
求められた画素値を補間することにより、前記接眼レンズの色収差に基づく異なる位置で、原色ごとにサンプリングを行うことにより前記歪み画像の画素値を決定するサンプリング部と、
を備えたことを特徴とする画像生成装置。
【請求項2】
前記画像平面における原色ごとのサンプリング位置と、前記演算対象画素の位置との対応関係を格納する位置関係記憶部をさらに備え、前記画素値演算部は、前記位置関係記憶部に格納された位置の前記演算対象画素の画素値を求め、
前記サンプリング部は、対応する前記演算対象画素の画素値を補間することにより、原色ごとのサンプリングを行うことを特徴とする請求項１に記載の画像生成装置。
【請求項3】
前記歪み画像を所定サイズで分割してなる画素ブロックごとに、当該画素ブロックを構成する画素に対応するサンプル位置を原色ごとに取得するサンプル位置取得部と、前記画素ブロックごとの前記サンプル位置に対し所定の規則でサンプリング領域を設定し、当該サンプリング領域に対し所定の規則で前記演算対象画素を配置する演算対象画素決定部と、
をさらに備えたことを特徴とする請求項１または２に記載の画像生成装置。
【請求項4】
前記演算対象画素決定部は、前記画素値演算部において可能な並列演算数の自然数倍の前記演算対象画素を、前記画素ブロックごとに配置することを特徴とする請求項３に記載の画像生成装置。
【請求項5】
前記画素値演算部は、前記サンプリング領域において、前記演算対象画素の画素値に基づき像のエッジ検出処理を実施し、エッジが存在するとき、当該サンプリング領域における演算対象画素を追加しさらに画素値を求めることを特徴とする請求項３または４に記載の画像生成装置。
【請求項6】
前記画素値演算部は、前記サンプリング領域におけるエッジの位置に応じて、追加する演算対象画素の密度を変化させることを特徴とする請求項５に記載の画像生成装置。
【請求項7】
前記画素値演算部は、表示された画像を鑑賞しているユーザの注視点に係る情報を取得し、当該注視点から所定範囲の注目領域に対応する前記サンプリング領域において、前記演算対象画素を追加して画素値を求めることを特徴とする請求項３から６のいずれかに記載の画像生成装置。
【請求項8】
前記演算対象画素決定部は、前記画素ブロックに対応する全原色の前記サンプル位置を包含する外接矩形の内部を、前記サンプリング領域として設定することを特徴とする請求項３から７のいずれかに記載の画像生成装置。
【請求項9】
前記演算対象画素決定部は、前記画素ブロックに対応する原色ごとの前記サンプル位置のうち、所定色のサンプル位置の分布に基づき前記サンプリング領域の境界を設定することを特徴とする請求項３から７のいずれかに記載の画像生成装置。
【請求項10】
前記画素値演算部は、前記演算対象画素の画素値をレイトレーシングにより求めることを特徴とする請求項１から９のいずれかに記載の画像生成装置。
【請求項11】
接眼レンズを介して鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を生成する画像生成装置が、前記逆の変化を与える前の画像平面において、前記歪み画像の画素に対応するサンプリング位置の分布に応じて選択的に設定された演算対象画素の画素値を求めるステップと、
求められた画素値を補間することにより、前記接眼レンズの色収差に基づく異なる位置で、原色ごとにサンプリングを行うことにより前記歪み画像の画素値を決定するステップと、
を含むことを特徴とする画像生成方法。
【請求項12】
接眼レンズを介して鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を生成するコンピュータに、前記逆の変化を与える前の画像平面において、前記歪み画像の画素に対応するサンプリング位置の分布に応じて選択的に設定された演算対象画素の画素値を求める機能と、
求められた画素値を補間することにより、前記接眼レンズの色収差に基づく異なる位置で、原色ごとにサンプリングを行うことにより前記歪み画像の画素値を決定する機能と、
を実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、接眼レンズを介して鑑賞する画像を生成する画像生成装置および画像生成方法に関する。
【背景技術】
【0002】
対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにすることでＶＲ（仮想現実）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
表示装置の種類や視点の自由度によらず、視野が変化したり表示世界が動いていたりする場合、画像表示には高い応答性が求められる。一方でよりリアルな画像表現を実現するには、解像度を高めたり複雑な計算が必要になったりして画像処理の負荷が増大する。そのため視野や表示世界の動きに対し表示が追いつかず、臨場感が損なわれたり映像酔いを引き起こしたりすることもあり得る。
【0004】
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像表示の応答性と品質を両立させることのできる技術を提供することにある。
【課題を解決するための手段】
【0005】
本発明のある態様は画像生成装置に関する。この画像生成装置は、接眼レンズを介して鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を生成する画像生成装置であって、逆の変化を与える前の画像平面においてあらかじめ設定された演算対象画素の画素値を求める画素値演算部と、求められた画素値を補間することにより、接眼レンズの色収差に基づく異なる位置で、原色ごとにサンプリングを行うことにより歪み画像の画素値を決定するサンプリング部と、を備えたことを特徴とする。
【0006】
本発明の別の態様は画像生成方法に関する。この画像生成方法は、接眼レンズを介して鑑賞するために、表示対象の画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を生成する画像生成装置が、逆の変化を与える前の画像平面においてあらかじめ設定された演算対象画素の画素値を求めるステップと、求められた画素値を補間することにより、接眼レンズの色収差に基づく異なる位置で、原色ごとにサンプリングを行うことにより前記歪み画像の画素値を決定するステップと、を含むことを特徴とする。
【0007】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0008】
本発明によれば、画像表示の応答性と品質を両立させることができる。
【図面の簡単な説明】
【0009】
【図1】本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。
【図2】本実施の形態における画像処理システムの構成例を示す図である。
【図3】本実施の形態で画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。
【図5】本実施の形態の歪み画像における色ずれを説明するための図である。
【図6】本実施の形態における画像生成装置の内部回路構成を示す図である。
【図7】本実施の形態における画像生成装置の機能ブロックの構成を示す図である。
【図8】本実施の形態におけるソース画像と歪み画像の関係を例示する図である。
【図9】本実施の形態において色収差を考慮したときのサンプル位置と演算対象画素の関係を例示する図である。
【図10】本実施の形態における歪み画像生成部の機能ブロックの構成をより詳細に示す図である。
【図11】本実施の形態においてサンプル位置取得部と演算対象画素決定部が、歪み画像の画素ブロックと演算対象画素の対応関係を決定する処理手順を示すフローチャートである。
【図12】本実施の形態において画素値演算部とサンプリング部が、歪み画像の画素値を決定する処理手順を示すフローチャートである。
【図13】本実施の形態における、画素ブロックを構成する画素の数による影響を説明するための図である。
【図14】本実施の形態において演算対象画素の数を画像平面で異ならせる態様を説明するための図である。
【図15】本実施の形態において演算対象画素の数を画像平面で異ならせる別の態様を説明するための図である。
【図16】本実施の形態においてＧ（緑）のサンプル位置に基づきサンプリング領域を決定する手法を説明するための図である。
【発明を実施するための形態】
【0010】
本実施の形態では、ユーザは表示パネルに表示された画像を、接眼レンズを介して鑑賞することを想定する。この限りにおいて画像を表示させる装置の種類は特に限定されないが、ここではヘッドマウントディスプレイを例に説明する。図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。
【0011】
出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。
【0012】
この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すればＡＲ（拡張現実）を実現できる。
【0013】
図２は、本実施の形態における画像処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインターフェースにより画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。
【0014】
画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。ユーザの視点を中心に広い画角でパノラマ画像を表示すれば、表示世界に没入した感覚を与えることができる。
【0015】
なお画像生成装置２００の機能の一部または全てを、ヘッドマウントディスプレイ１００の内部に設けてもよい。画像生成装置２００の全ての機能をヘッドマウントディスプレイ１００に内蔵させた場合、図示する画像処理システムが１つのヘッドマウントディスプレイ１００により実現される。
【0016】
図３は、本実施の形態で画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。
【0017】
ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、表示パネルの左右の領域にそれぞれ表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。
【0018】
図４は、図３で示した形態において、ヘッドマウントディスプレイ１００に表示させる画像を生成するまでの一般的な処理手順を説明するための図である。まずユーザの視点に対応するビュースクリーンに、仮想世界に存在するオブジェクトを射影することにより、ユーザの視野に対応する画像１６を生成する。
【0019】
立体視させる場合は、左右の目の間隔に応じた視差分だけ画像１６中の像を横方向にずらすか、画像１６を各目に対し生成することにより、左目用画像１８ａ、右目用画像１８ｂからなるステレオ画像を生成する。そして左目用画像１８ａ、右目用画像１８ｂのそれぞれについて、接眼レンズによる歪曲収差や色収差に合わせて逆補正することで、最終的な表示画像２２を生成する。
【0020】
ここで逆補正とは、接眼レンズを介して見たときに元の画像１６が視認されるように、レンズの収差による変化と逆の変化を与えることにより、画像をあらかじめ歪ませたり原色（ＲＧＢ）ごとに画素をずらしたりしておく処理である。例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、図示するように画像を樽型に湾曲させておく。以後、接眼レンズに対応する歪みや色ずれが与えられた画像を「歪み画像」と呼ぶ。
【0021】
図５は、歪み画像における色ずれを説明するための図である。この例で歪み画像２４は、白黒の市松模様の床を有する室内を表している。図示するように、歪み画像２４には、接眼レンズの特性上、周辺部に向かうほど大きい度合いで歪みが与えられる。接眼レンズの色収差により、歪みの与えられ方はＲ（赤）、Ｇ（緑）、Ｂ（青）の原色によって異なる。結果として、歪み画像２４においては周辺部に向かうほど大きな色ずれが生じる。例えば歪み画像２４の右下の領域を拡大した画像２６に示すように、本来は白と黒の境界を表す箇所２８において、色が徐々に変化する。
【0022】
すなわち図の上段に表すように、白から黒へ切り替わる境界がＲＧＢで異なることにより、例えば本来、黒の領域であるべき部分に赤が最大輝度で残るなどして、白や黒以外の色が生じる結果となる。このように色がずれた歪み画像２４を、接眼レンズを介して見ることにより、色収差によって色の変化が正しい位置に修正され、色ずれのない画像が視認される。歪み画像２４は、例えば歪みのない画像を一旦生成し、原色ごとに収差に応じた異なる度合いで画像を歪ませることによって生成できる。
【0023】
一方、近年では、レイトレーシングにより高品質の画像を低遅延で描画する技術が発展してきている。レイトレーシングは、視点からビュースクリーン上の画素を通る仮想的な光線（レイ）を発生させ、反射、透過、屈折などのインタラクションを考慮して追跡し、到達先の色情報を取得する手法である。この技術を利用して、色ずれがある歪み画像を直接描画すれば、ヘッドマウントディスプレイであっても高品質の画像を低遅延で表示できる。しかしながらこの場合、光線は接眼レンズによってＲＧＢで差が生じるため、それぞれに個別の光線を発生させ、追跡する必要がある。
【0024】
結果として、１画素あたりの処理の負荷が、通常のレイトレーシングの３倍かかることになる。そこで本実施の形態では、一旦、歪みや色ずれのない画像の平面を想定し、当該平面上の代表的な位置の画素値を求め、それをＲＧＢのそれぞれについてサンプリングすることにより、色ずれのある歪み画像の画素値を決定する。歪みや色ずれを加える前の画像であれば、１画素あたりの光線の数は１つですむため、通常と同様の処理負荷でレイトレーシングを行える。ただし本実施の形態でソース画像の画素値を決定する手段はレイトレーシングに限定されず、一般的なラスタライズであってもよい。
【0025】
またサンプリング先となる、歪みや色ずれのない画像は、実際に画像として描画されたものである必要はない。すなわちサンプリングに用いる代表的な画素の値を、画像平面での位置に対して取得できれば、画素値の２次元配列としての画像データを中間データとして取得せずとも歪み画像の画素値を決定できる。以後、そのような部分的なデータの場合を含め、サンプリング先の画像、すなわち接眼レンズの収差による変化と逆の変化を与える前の画像を「ソース画像」と呼ぶ場合がある。
【0026】
図６は、画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。
【0027】
入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。
【0028】
ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、その結果を出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【0029】
図７は、本実施の形態における画像生成装置２００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図７では特に、表示画像を生成する機能に着目して示している。なお図７で示される画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。
【0030】
また図７に示す機能ブロックは、ハードウェア的には、図６に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0031】
画像生成装置２００は、ヘッドマウントディスプレイ１００から送信されるデータを取得する入力データ取得部２６０、ユーザの視点に係る情報を取得する視点情報取得部２６１、表示対象の空間を構築する空間構築部２６２、視点に対応するビュースクリーンを設定するビュースクリーン設定部２６４、接眼レンズの収差に基づき逆補正した歪み画像を生成する歪み画像生成部２６６、歪み画像のデータをヘッドマウントディスプレイ１００に出力する出力部２６８を備える。
【0032】
画像生成装置２００はさらに、空間の構築に必要なオブジェクトモデルに係るデータを記憶するオブジェクトモデル記憶部２５４、および、接眼レンズの収差に係るデータを記憶する収差情報記憶部２５６を備える。入力データ取得部２６０は図６の入力部２３８、ＣＰＵ２２２などで構成され、ヘッドマウントディスプレイ１００から送信される、モーションセンサの計測値や、ステレオカメラ１１０が撮影した画像などのデータを所定のレートで取得する。
【0033】
視点情報取得部２６１は図６のＣＰＵ２２２などで構成され、ユーザの視点の位置や視線の方向を所定のレートで取得する。例えば視点情報取得部２６１は、ヘッドマウントディスプレイ１００のモーションセンサの計測値に基づき頭部の位置や姿勢を特定する。ヘッドマウントディスプレイ１００の外部に図示しない発光マーカーを設け、視点情報取得部２６１が、その撮影画像を図示しない撮像装置から取得して解析することで、頭部の位置や姿勢の情報を取得してもよい。
【0034】
あるいは視点情報取得部２６１は、ステレオカメラ１１０の撮影画像に基づきＳＬＡＭなどの技術により頭部の位置や姿勢を取得してもよい。このように頭部の位置や姿勢を取得できれば、ユーザの視点の位置および視線の方向はおよそ特定できる。なお視点情報取得部２６１は、過去の視点の動きに基づき、ヘッドマウントディスプレイ１００において画像が表示されるタイミングでの視点の位置や視線の方向を予測してもよい。
【0035】
ユーザの視点に係る情報を取得したり予測したりする手段として、この他にも様々に考えられることは当業者には理解されるところである。例えばヘッドマウントディスプレイ１００の筐体１０８の内部に、表示画面に対するユーザの注視点を追跡する注視点検出器を設け、入力データ取得部２６０がその追跡結果を所定のレートで取得することにより、視点情報取得部２６１が厳密に視点を取得したり予測したりしてもよい。
【0036】
空間構築部２６２は、図６のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、表示対象のオブジェクトが存在する空間の形状モデルを構築する。図３で示した例では、室内を表す壁、床、窓、テーブル、テーブル上の物などのオブジェクトを、仮想空間を定義するワールド座標系に配置する。個々のオブジェクトの形状に係る情報はオブジェクトモデル記憶部２５４から読み出す。空間構築部２６２が構築する空間は、ゲームなどの進捗に応じて変化させてもよい。
【0037】
ビュースクリーン設定部２６４は、図６のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、視点情報取得部２６１が取得、あるいは予測した視点や視線に対応するようにビュースクリーンを設定する。すなわち頭部の位置や顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザの位置や向く方向に応じた視野で、表示対象の空間がスクリーン平面に描画されるようにする。ここで設定するビュースクリーンは、ヘッドマウントディスプレイ１００の表示パネルの平面に対応し、歪み画像の画素のマトリクスを定義するものである。
【0038】
歪み画像生成部２６６は、図６のＧＰＵ２２４、メインメモリ２２６などで構成され、ヘッドマウントディスプレイ１００の接眼レンズに応じて逆補正を施した歪み画像を、表示画像として所定のレートで生成する。具体的には上述のとおり、まず歪みのないソース画像の平面における画素値（ＲＧＢ値）を算出したうえ、歪み画像の画素に対応する位置の画素値を補間により求めることでサンプリングを行う。上述のとおりＲＧＢのそれぞれで歪みの度合いが異なるため、サンプル位置もＲＧＢで異なることになる。
【0039】
また歪み画像生成部２６６は、ソース画像平面において画素値を求める位置を、サンプル位置に応じて選択的に決定する。これにより処理の負荷を抑制しつつ効率的に画質を向上させる。以後、ソース画像平面において画素値を算出する対象を「演算対象画素」と呼ぶ。演算対象画素の画素値は上述のとおりレイトレーシングにより決定してよい。この際、接眼レンズを考慮する必要はない。
【0040】
レイトレーシングを採用することにより、画素ごとに独立した処理が可能となる。なおレイトレーシング自体は広く知られた技術であり、細かくはレイマーチング、パストレーシング、フォトンマッピングなど様々なモデルが提案されているが、そのいずれを採用してもよい。以後、モデルによらず、光線を発生させ３次元空間でのインタラクションを考慮して色情報を得る手法を「レイトレーシング」と総称する。
【0041】
ソース画像平面における演算対象画素の位置は上述のとおり、歪み画像における画素のＲＧＢそれぞれに対応するサンプル位置に基づき決定される。両者の関係は、ヘッドマウントディスプレイ１００に実装される接眼レンズの収差に依存するため、収差情報記憶部２５６には接眼レンズの収差に係る情報、例えば原色ごとの歪みの分布に係るデータを格納しておく。
【0042】
歪み画像生成部２６６は当該情報に基づき、ソース画像平面におけるサンプル位置を求め、それに対応するように、演算対象画素の位置をあらかじめ定めておく。これにより表示画像生成時には、同じ位置の画素に対しレイトレーシングなどの演算を行う。ただし歪み画像生成部２６６は後述するように、画像の内容やユーザの注目領域などの状況に応じて、演算対象画素を可変としてもよい。
【0043】
表示画像を立体視させる場合、歪み画像生成部２６６は、左目用、右目用のそれぞれに対し表示画像を生成する。すなわち左目を視点とし左目用の接眼レンズを想定した歪み画像と、右目を視点として右目用の接眼レンズを想定した歪み画像を生成する。出力部２６８は、図６のＣＰＵ２２２、メインメモリ２２６、出力部２３６などで構成され、歪み画像生成部２６６が生成した歪み画像のデータをヘッドマウントディスプレイ１００に順次送出する。立体視させる場合、出力されるデータは、画像の左半分に左目用の歪み画像、右半分に右目用の歪み画像が配置されたデータとなる。
【0044】
図８は、ソース画像と歪み画像の関係を例示している。なおここで示すソース画像３０は説明のために示しており、上述のとおり画像として生成することに限定されない。図９も同様である。色収差を考慮しないとすると、最終的な表示対象である歪み画像３２における直交座標系での画素３６ａ、３６ｂ、３６ｃ、３６ｄは、ソース画像３０における位置３４ａ、３４ｂ、３４ｄ、３４ｃにそれぞれ対応する。すなわちソース画像３０における位置３４ａ、３４ｂ、３４ｄ、３４ｃが、歪み画像３２を生成する際のサンプル位置になる。
【0045】
図示するようにソース画像３０におけるサンプル位置は、直交座標に対し歪んだ配置となる。そこで歪み画像生成部２６６は例えば、サンプル位置の外接矩形３８を設定し、その四隅や辺上など、外接矩形３８に対する所定の位置に演算対象画素を設定する。ここでサンプル位置は、接眼レンズの特性に依存して事前に判明するため、演算対象画素も事前に決定できる。
【0046】
すなわち歪み画像３２と、ソース画像３０との関係は、一般的なカメラのレンズによって歪みが生じた撮影画像と、歪みを補正した画像との関係に等しい。したがって歪み画像３２における位置座標（ｘ，ｙ）に対応する、ソース画像３０の位置座標（ｘ＋Δｘ，ｙ＋Δｙ）の位置のずれ（Δｘ，Δｙ）は、次の一般式で算出できる。
【0047】
【数1】
【0048】
ここでｒはレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ１、ｋ２、ｋ３、・・・はレンズ歪み係数でありレンズの設計や光の波長帯に依存する。補正の次数は特に限定されない。なおこの式は、接眼レンズによる歪みを補正するための代表的な数式であるが、本実施の形態で実施するサンプル位置の決定手法をこれに限定する主旨ではない。
【0049】
歪み画像生成部２６６は、歪み画像３２のうち例えば画素３６ａ、３６ｂ、３６ｃ、３６ｄなどからなる２×２画素のブロックを１単位として、当該単位ごとにソース画像３０におけるサンプル位置を式１などにより導出したうえ、それらに対応する演算対象画素を決定し対応づけておく。そして画像表示時は、演算対象画素の画素値をレイトレーシングにより決定したうえ、それを補間することでサンプル位置の画素値、ひいては歪み画像３２における画素ブロックの画素値を決定する。
【0050】
図９は、色収差を考慮したときのサンプル位置と演算対象画素の関係を例示している。図８と同様、歪み画像３２における直交座標系上の複数の画素で構成される画素ブロック４０に対し、ソース画像３０におけるサンプル位置が歪んだ配置で得られ、それに対し外接矩形４２が設定される。ただしこの例では、歪み画像における３×３個の画素を１ブロック（１単位）としている。図の右下は、１つの画素ブロック４０の拡大図であり、右端の凡例で示すように各画素のＲＧＢ成分を異なる模様で網掛けした丸で示している。
【0051】
なお画素ブロック４０の拡大図では便宜上、同一位置の画素のＲＧＢ成分の印を若干ずらして示している。歪み画像生成部２６６は、歪み画像３２の画素ブロック単位で、各画素のＲＧＢ値を決定する。ところが図の左下に拡大して示すように、ソース画像３０におけるＲＧＢのサンプル位置は、接眼レンズの色収差、ひいては式１のレンズ歪み係数ｋの差に起因してずれて分布する。そこで歪み画像生成部２６６は例えば、ＲＧＢ全てのサンプル位置を包含する外接矩形４２を設定し、当該外接矩形４２に対し所定の配置で演算対象画素を決定する。
【0052】
図示する例では、外接矩形４２とその内部領域に均等に、合計３×３個の演算対象画素（例えば演算対象画素４４ａ、４４ｂ、４４ｃ）を設定している。歪み画像生成部２６６は演算対象画素のＲＧＢの値を１つの光線により取得したうえ、ＲＧＢそれぞれのサンプル位置における値を補間により求め、歪み画像３２の画素値とする。なおサンプル位置の値を補間により求められる限り、演算対象画素の配置や設定数は限定されない。例えば外接矩形は正方形に限らず長方形、平行四辺形、台形などでもよい。
【0053】
また画素ブロックのサンプル位置に対応するように演算対象画素を分布させる領域を定義できれば、その境界線は正しくサンプル位置に外接する矩形でなくてもよい。以後、当該領域を「サンプリング領域」と呼ぶ。さらに、サンプリング領域における演算対象画素の分布は、図示するように縦横に等間隔としてもよいし、縦横で間隔が異なっていてもよい。あるいはサンプリング領域内で密度に偏りがあってもよいし、ランダムな配置としてもよい。いずれにしろサンプル位置における画素値の補間は、演算対象画素を頂点とする任意の三角形により重心座標系を用いて行える。
【0054】
図１０は、歪み画像生成部２６６の機能ブロックの構成をより詳細に示している。歪み画像生成部２６６のうちサンプル位置取得部２７０は、収差情報記憶部２５６から、接続先のヘッドマウントディスプレイ１００が実装する接眼レンズの収差に係る情報を読み出し、ソース画像平面におけるサンプル位置を取得する。すなわちサンプル位置取得部２７０は、歪み画像の平面を所定サイズに分割してなる画素ブロックごとに、それを構成する画素に対応する、ソース画像平面における位置座標を取得する。
【0055】
図９に示したように、サンプル位置はＲＧＢで異なるため、サンプル位置取得部２７０は、１画素あたり３つのサンプル位置を取得する。演算対象画素決定部２７２は、サンプル位置に対し所定の規則でサンプリング領域を決定し、当該サンプリング領域に対する所定の規則で演算対象画素の位置を決定する。サンプリング領域およびそれに対応する演算対象画素は、歪み画像の平面における画素ブロックごとに生成される。
【0056】
位置関係記憶部２７４は、歪み画像における画素ブロックごとに、サンプリング領域、演算対象画素の位置、ＲＧＢのサンプル位置を対応づけて記憶する。画素値演算部２７６は、実際に表示される画像を生成する段において、演算対象画素の位置座標を位置関係記憶部２７４から取得し、それぞれの画素値をレイトレーシングなどにより算出する。画素値保存部２７８は、少なくとも１つのサンプリング領域を構成する演算対象画素の値を一時的に保存する。
【0057】
サンプリング部２８０は、位置関係記憶部２７４に格納されたサンプル位置の座標に基づき、対応するサンプリング領域を構成する演算対象画素のＲＧＢの値を補間することにより、ＲＧＢそれぞれのサンプル位置の値を取得する。サンプリング部２８０は、サンプリングにより決定したＲＧＢの値を、歪み画像の画素に対応づけて歪み画像保存部２８２に格納する。格納された歪み画像のデータは、例えば画素ブロックを構成する行単位で、出力部２６８からヘッドマウントディスプレイ１００に出力される。
【0058】
なお図示する例は画素値演算部２７６が、ソース画像の平面における演算対象画素の画素値を、レイトレーシングなどによりその場で求めることを想定している。すなわち画素値演算部２７６は、演算対象画素が表すＲＧＢの値を、表示対象の空間におけるオブジェクトからの実サンプリングによって計算する。画素値保存部２７８には、少なくとも１つのサンプリング領域を構成する演算対象画素の画素値が格納されていれば、サンプリング部２８０は、歪み画像における対応する画素ブロックの画素値を決定できる。
【0059】
一方、ソース画像全体を別途生成する場合、画素値演算部２７６の機能を省略することができる。この場合、そのようにして生成されたソース画像全体のデータを、画素値保存部２７８に格納しておくことにより、サンプリング部２８０は同様にサンプリングを行い、歪み画像の画素値を決定できる。具体的にはサンプリング部２８０は、位置関係記憶部２７４を参照して、全画素を表すソース画像から演算対象画素に対応する画素を抽出し、それを補間することでＲＧＢごとにサンプリングを行う。
【0060】
この態様は、例えば従来型のレンダリング装置と組み合わせ、当該装置がラスタライズなどにより生成したソース画像を画素値保存部２７８に格納することにより実現される。あるいは画素値演算部２７６がそのような機能を有していてもよい。このとき画素値演算部２７６は、画素の２次元配列全体の画素値を求めてもよいし、そのうち全画素ブロックに対応する、演算対象画素の画素値のみを求めてもよい。
【0061】
図１１は、サンプル位置取得部２７０と演算対象画素決定部２７２が、歪み画像の画素ブロックと演算対象画素の対応関係を決定する処理手順を示すフローチャートである。まずサンプル位置取得部２７０は、歪み画像平面を所定の画素数単位で分割することにより画素ブロックを形成する（Ｓ１０）。画素ブロックのサイズは例えば、３×３画素、４×４画素、１６×１６画素などが考えられるが、特に限定されない。
【0062】
次にサンプル位置取得部２７０は、画素ブロックの１つを対象ブロックとして設定したうえ（Ｓ１２）、ソース画像平面において、対象ブロックを構成する画素に対応する位置をサンプル位置として取得する（Ｓ１４）。この処理は、接眼レンズの収差に基づき、ＲＧＢのそれぞれについて実施する。続いて演算対象画素決定部２７２は、ソース画像平面に対し設定された複数のサンプル位置に対応するように、サンプリング領域を決定する（Ｓ１６）。
【0063】
例えば上述のように、ＲＧＢそれぞれのサンプル位置が全て含まれ、最も外側のサンプル位置に外接する矩形の内部をサンプリング領域とする。そして演算対象画素決定部２７２は、サンプリング領域に対し所定の規則で演算対象画素を配置する（Ｓ１８）。例えば歪み画像の画素ブロックをＮ×Ｎ個の画素で構成する場合、サンプリング領域の頂点や辺上を含み均等な位置に、同じＮ×Ｎ個の演算対象画素を設定する。
【0064】
そして演算対象画素決定部２７２は、対象としている画素ブロックに対応づけて、ソース画像平面におけるサンプル位置と演算対象画素の位置とを含む情報を位置関係記憶部２７４に格納する（Ｓ２０）。歪み画像を構成する全ての画素ブロックについてＳ１４～Ｓ２０の処理を繰り返し（Ｓ２２のＮ、Ｓ１２）、全画素ブロックの情報を格納したら処理を終了する（Ｓ２２のＹ）。
【0065】
図１２は、画素値演算部２７６とサンプリング部２８０が、歪み画像の画素値を決定する処理手順を示すフローチャートである。まず画素値演算部２７６は画素値を決定する画素ブロックを１つ設定する（Ｓ３０）。例えば画素値演算部２７６は、歪み画像の左上の画素ブロックから選択していく。次に画素値演算部２７６は位置関係記憶部２７４を参照して、対象の画素ブロックに対応づけられた演算対象画素に対しＲＧＢの画素値を算出する（Ｓ３２）。例えば画素値演算部２７６は、演算対象画素ごとに光線を生成しレイトレーシングにより画素値のセットを取得する。
【0066】
画素値演算部２７６は、計算したＲＧＢ値を画素の位置と対応づけて画素値保存部２７８に一時保存する（Ｓ３４）。１つのサンプリング領域における演算対象画素の値は、対応する１つの画素ブロックの画素値を決定するのに用いられるため、少なくとも当該処理が完了するまでデータを保存しておく。次にサンプリング部２８０は、演算対象画素のＲＧＢ値を補間することにより、ＲＧＢそれぞれのサンプル位置での値を取得する（Ｓ３６）。サンプリング部２８０は、取得したＲ値、Ｇ値、Ｂ値を、元の歪み画像の画素の位置座標に対応づけて歪み画像保存部２８２に格納する（Ｓ３８）。
【0067】
歪み画像を構成する全ての画素ブロックについてＳ３２～Ｓ３８の処理を繰り返し（Ｓ４０のＮ、Ｓ３０）、全ブロックの画素値を決定したら処理を終了する（Ｓ４０のＹ）。その間、サンプリング部２８０は、歪み画像保存部２８２に格納した歪み画像のデータを所定のタイミングで出力部２６８に出力していく。図示する処理をフレームごとに繰り返すことにより、色収差を考慮した歪み画像がヘッドマウントディスプレイに動画像として表示される。
【0068】
これまで述べた構成において、画素値演算部２７６およびサンプリング部２８０をＧＰＵによって実現し、１つの画素ブロックを構成する画素に対する演算を並列に行うと効率がよい。例えばＳＩＭＤ（Single Instruction Multiple Data）を実装したＧＰＵの場合、画素ブロックを、並列数（ＳＩＭＤ単位）の自然数倍の数の画素で構成し、対応する演算対象画素も同じ数だけ設定する。一例としてＮＶＩＤＩＡ社のＧＰＵを用い、１Ｗａｒｐに対応するＳＩＭＤ単位を３２スレッドとすると、４×８、８×１６、あるいは１６×１６などの画素を１ブロックとする。そして当該単位でレイトレーシングによる演算を行ったりサンプリングしたりすることにより処理効率を高められる。
【0069】
この場合、演算対象画素の画素値を一時保存する画素値保存部２７８は、ＧＰＵ内のレジスタまたはＳｈａｒｅｄ Ｍｅｍｏｒｙで実現することにより、サンプリング部２８０によるサンプリングを高速に行える。ただしＳＩＭＤ単位のｎ倍（ｎは２以上の自然数）の演算対象画素を設定した場合は、全ての演算対象画素の値が決定するまで、すなわちｎ－１サイクルだけ余計に、サンプリングを待機する必要がある。
【0070】
図１３は、画素ブロックを構成する画素の数による影響を説明するための図である。（ａ）は、２×２画素の画素ブロックに対し、２×２個の演算対象画素を設定した場合、（ｂ）は４×２画素の画素ブロックに対し、４×２個の演算対象画素を設定した場合を示している。図は画像平面の一部を表し、ＲＧＢそれぞれのサンプル位置は異なる模様で網掛けした丸で、演算対象画素は黒丸（例えば演算対象画素５０、５４）で示している。またＳＩＭＤ単位は４スレッドであり、１スレッドにつき１画素分を演算するとする。
【0071】
（ａ）の場合、１セットである４つの演算対象画素についての演算が同時に完了するため、サンプリング部２８０は直後にサンプリングを開始できる。一方、ＲＧＢのサンプル位置を全て包含するようにサンプリング領域を設定すると、サンプリング領域５２ａとサンプリング領域５２ｂのように、複数のサンプリング領域に重複領域５６が生じる。これは画素ブロックごとのサンプル位置の及ぶ範囲が、ＲＧＢで異なることに起因する。
【0072】
図示する例ではＲのサンプル位置の分布に対してＢのサンプル位置の分布が横方向に２倍程度広いため、両者を包含するようにサンプリング領域５２ａを設定すると、左端のＲのサンプル位置から右端のＢのサンプル位置まで、サンプリング領域が引き延ばされる。当該Ｂのサンプル位置は、別のサンプリング領域５２ｂのＲやＧのサンプル位置と重複するため、結果として重複領域５６が生じることになる。
【0073】
一方、（ｂ）の場合、上述のとおり、１回の並列処理では１セットである８つの演算対象画素についての演算が完了しないため、サンプリング処理の開始までには２回分の処理を待機する必要がある。一方で（ａ）の場合と比較すると、単位面積当たりの演算対象画素の数が増加する。例えば（ａ）のサンプリング領域５２ｂと比較し、（ｂ）のサンプリング領域５８の演算対象画素は密度が高くなっている。これは１画素ブロックに対応するＲＧＢのサンプリング位置の分布の開きを、サンプリング領域５８の面積の大きさで吸収しやすくなり、結果としてサンプリング領域同士の重複が減るためである。
【0074】
換言すれば、高い密度での画素値を用いてサンプリングできるため、（ａ）の場合より画質向上に寄与しやすい。このように、歪み画像における画素ブロックの分割粒度、ひいてはサンプリング領域の大きさは、画質と処理の待機時間（同期コスト）の双方に影響を与える。定性的には、画素ブロックが細かいほどサンプリング領域の重複領域が増え画質が低下しやすいが、処理の同期コストは軽減される。画素ブロックが大きいほどサンプリング領域の重複領域が減り画質が向上しやすいが、処理の同期コストは増える。
【0075】
これを踏まえ、ヘッドマウントディスプレイ１００に実装される接眼レンズの収差、表示させるコンテンツの特性、求められる画質などによって、画素ブロックの分割粒度を最適化しておくことが望ましい。たとえばサンプル位置取得部２７０において、それらのパラメータと、画素ブロック当たりの画素数の最適値とを対応づけたテーブルを格納しておき、実際の状況に応じて分割粒度を最適化してもよい。
【0076】
図１３では１つの画素ブロックを構成する画素の数と、対応する演算対象画素の数を同じとしていたが、本実施の形態をそれに限る主旨ではない。図１４は、演算対象画素の数を画像平面で異ならせる態様を説明するための図である。この例では、画像６０として表される像のエッジを含むか否かで、１つのサンプリング領域に設定する演算対象画素の数を変化させている。ここでエッジとは、定性的には画素値の空間変化の割合が所定値以上の箇所であり、一般的なエッジ抽出フィルタにより検出可能である。
【0077】
図示する例では、画像６０のうちエッジを含まない領域６２ａに対応するサンプリング領域６４ａに対しては、黒丸で示すように３×３個の演算対象画素を設定している。一方、エッジを含む領域６２ｂに対応するサンプリング領域６４ｂに対しては、一部の領域で演算対象画素を追加している（例えば演算対象画素６６）。例えば１つのサンプリング領域６４ｂ内でも、像のエッジから所定範囲において、局所的に演算対象画素を追加する。
【0078】
このように演算対象画素は、サンプリング領域６４ｂでのエッジの位置に応じて密度が変化するように追加してもよいし、エッジが存在するサンプリング領域６４ｂ全体で同様の密度で追加してもよい。また規則的に追加するのに限らず、ランダムな位置に追加してもよい。接眼レンズの色収差による影響は、像のエッジ部分で認識されやすいため、その領域において演算対象画素を増やしサンプリングを高精度に行うことにより、色ずれのない高品質な画像を認識させることができる。
【0079】
この場合、画素値演算部２７６はまず、対象となるサンプリング領域について、追加前の演算対象画素について画素値を取得したうえ、ソーベルフィルタなどのエッジ抽出フィルタによりエッジ抽出を行う。そして当該サンプリング領域がエッジを含むことを判定したら、演算対象画素を所定の規則により追加し、その画素値を同様に求める。サンプリング部２８０が行うサンプリングは、補間に用いる画素が変化する以外、同様でよい。なお画素値演算部２７６は、１つのサンプリング領域に含まれるエッジ領域の大きさや長さに応じて、演算対象画素を追加するか否かや、追加数などを決定してもよい。
【0080】
図１５は、演算対象画素の数を画像平面で異ならせる別の態様を説明するための図である。この例では、ユーザが注目しているか否かで、１つのサンプリング領域に設定する演算対象画素の数を変化させている。図示する例では、画像７０のうちユーザが注目していない領域７２ａに対応するサンプリング領域７４ａに対しては、黒丸で示すように３×３個の演算対象画素を設定している。一方、ユーザが注目している領域７２ｂに対応するサンプリング領域７４ｂに対しては、演算対象画素を追加している（例えば演算対象画素７６）。なおこの場合も、演算対象画素の配置は特に限定されない。
【0081】
この態様を実現するため、ヘッドマウントディスプレイ１００の内部には、表示画像のうちユーザが着目している領域を検出するための注視点検出器を設ける。注視的検出器は例えば、ユーザの眼球に赤外線を照射しその反射光を取得することにより眼球の向きを特定し、それに基づき視線の到達点を検出する一般的な装置でよい。画像生成装置２００は、注視点検出器による検出結果をヘッドマウントディスプレイ１００から所定のレートで取得する。
【0082】
そして画素値演算部２７６は、注視点から所定範囲内にある画素ブロックに対応するサンプリング領域に対しては、演算対象画素を所定の規則により追加したうえで画素値を求める。このような構成により、ユーザの注目領域については特に色ずれが認識されないようにでき、処理の負荷増大させることなく認識上で画像品質を高めることができる。なお図１４で示した、像のエッジに基づく演算対象画素の追加と、図１５で示した、注目領域に基づく演算対象画素の追加は、組み合わせてもよい。この場合、像のエッジが存在し注目されている領域について、演算対象画素が最も増えることになる。
【0083】
これまで述べた態様では、１つの画素ブロック当たり、ＲＧＢ全てのサンプル位置を包含するようにサンプリング領域を決定することを基本とした。一方、ＲＧＢのいずれかのサンプル位置のみを基準としてサンプリング領域を決定してもよい。図１６は、Ｇ（緑）のサンプル位置に基づきサンプリング領域を決定する手法を説明するための図である。（ａ）、（ｂ）の左側は、ソース画像平面におけるＲＧＢのサンプル位置を、右端の凡例のように異なる模様で網掛けした丸で示している。
【0084】
また（ａ）、（ｂ）の右側は、歪み画像の画素配列８２を示しており、斜めにずらして表したＲＧＢの３つの丸印がセットで１つの画素を構成する。ただし左側に示したサンプリング領域によってサンプリングされ値が決定する画素および色のみ、網掛けで示している。左側に示すように、この例では４×４個のＧのサンプル位置単位でサンプリング領域８０ａ、８０ｂを設定している。ただしサンプリング領域８０ａ、８０ｂの辺はＧのサンプル位置を結ぶように決定し、右辺および下辺はＧのサンプル位置を含めない。
【0085】
すなわち、図示するように右方向および下方向のサンプル位置に昇順に整数を割り振る座標系において、（ａ）のサンプリング領域８０ａの範囲ＲａはＧ（０，０）≦Ｒａ＜Ｇ（３，３）、（ｂ）のサンプリング領域８０ｂの範囲ＲｂはＧ（３，０）≦Ｒｂ＜Ｇ（６，３）となる。歪み画像における各画素のＲＧＢのサンプル位置が、ソース画像平面においては左からＲ、Ｇ、Ｂの順に略横方向に分散するとすると、サンプリング領域８０ａの左端からはＲのサンプル位置が、右端からはＧおよびＢのサンプル位置が逸脱する。
【0086】
したがって（ａ）の右側に示す、歪み画像の画素配列８２では、画素ブロックの左端でＲの値が定まらない画素（例えば画素８４）が、右端でＧおよびＢの値が定まらない画素（例えば画素８６）が生じる。しなしながら次に演算対象となる、右隣のサンプリング領域８０ｂによって、同じ画素８６のＧおよびＢの値がサンプリングされる。このように１つの色のサンプル位置でサンプリング領域を区切っても、隣接するサンプリング領域によって、逸脱した色の画素値が補填されるため、最終的には全ての画素についてＲＧＢの値を決定できる。
【0087】
この例ではＧのサンプル位置の分布に基づきサンプリング領域の境界を決定したが、Ｒのサンプル位置あるいはＢのサンプル位置の分布に基づいて境界を設定してもよい。いずれにしろ単一の色のサンプル位置によりサンプリング領域の境界を決定すれば、図１３の（ａ）に示したように、色によるサンプル位置の分布の差に起因してサンプリング領域が重複することがなくなる。結果として画素ブロックの分割粒度によらず安定した品質で画像を表示できる。
【0088】
以上述べた本実施の形態によれば、接眼レンズを介して画像を鑑賞する形式の画像表示システムにおいて、色収差を考慮した色ずれおよび歪みのある表示画像を、歪みや色ずれのない画像の平面からサンプリングすることにより生成する。これにより、レイトレーシングにより高品質な画像を表示させる場合であっても、ＲＧＢで個別の光線を追跡する必要がなくなる。結果として、負荷の大きい処理に対しさらに３倍の負荷をかけるといったことなく、原色ごとに適切な画像を低遅延で生成できる。
【0089】
また、ＧＰＵの並列処理の性能に合わせて、表示画像を画素ブロックに分割し、そのサンプル位置の分布に基づき、実際に画素値を演算する画素の分布を選択的に決定する。当該画素の単位で処理を進捗させることにより、短い処理サイクルおよび高速メモリアクセスで、画素ブロックごとに画素値を決定していくことができる。さらに接眼レンズの特性、表示画像の内容、エッジの有無、ユーザの注目領域などに応じて、画素ブロックの大きさや、演算対象とする画素の数を最適化することにより、処理の負荷を抑えつつ、ユーザの認識上で効果的に、品質の高い映像体験を提供できる。
【0090】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0091】
１００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２２２ ＣＰＵ、 ２２４ ＧＰＵ、 ２２６ メインメモリ、 ２３４ 記憶部、 ２３６ 出力部、 ２５４ オブジェクトモデル記憶部、 ２５６ 収差情報記憶部、 ２６０ 入力データ取得部、 ２６１ 視点情報取得部、 ２６２ 空間構築部、 ２６４ ビュースクリーン設定部、 ２６６ 歪み画像生成部、 ２６８ 出力部、 ２７０ サンプル位置取得部、 ２７２ 演算対象画素決定部、 ２７４ 位置関係記憶部、 ２７６ 画素値演算部、 ２７８ 画素値保存部、 ２８０ サンプリング部、 ２８２ 歪み画像保存部。
【産業上の利用可能性】
【0092】
以上のように本発明は、ヘッドマウントディスプレイ、ゲーム装置、画像表示装置、携帯端末、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む画像処理システムなどに利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】