▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-08
(45)【発行日】2022-01-12
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06T 17/10 20060101AFI20220104BHJP
【ＦＩ】
G06T17/10
【請求項の数】
5
(21)【出願番号】P 2020540886
(86)(22)【出願日】2018-09-03
(86)【国際出願番号】 JP2018032653
(87)【国際公開番号】W WO2020049619
(87)【国際公開日】2020-03-12
【審査請求日】2020-12-01
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100122275
【弁理士】
【氏名又は名称】竹居 信利
(72)【発明者】
【氏名】西山 昭
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１７－１９１３５１（ＪＰ，Ａ）
【文献】特開２０１１－７０３８７（ＪＰ，Ａ）
【文献】特開２００６－１３３９４０（ＪＰ，Ａ）
【文献】国際公開第２０１８／０７４４１９（ＷＯ，Ａ１）
【文献】国際公開第２０１８／０６２２５１（ＷＯ，Ａ１）
【文献】国際公開第２００６／１３２１９４（ＷＯ，Ａ１）
【文献】松本茂 ほか，視覚特性を利用した詳細度制御による没入型システムでの高速表示，第２５回 日本シミュレーション学会大会 発表論文集，2007年08月14日，p.65-68
【文献】中村浩子 ほか，色分布を考慮した区間型ボリュームの詳細度制御，Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ グラフィクスとＣＡＤ 合同シンポジウム２０００ 予稿集，2001年01月15日，p.27-32
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １７／１０
(57)【特許請求の範囲】
【請求項1】
描画対象となる対象物の外観に関する情報として、仮想空間内に配置されて前記対象物を構成する複数の単位体積要素に関する外観情報を取得する外観情報取得部と、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記複数の単位体積要素それぞれの大きさを決定するパラメータ決定部と、
を含み、
前記パラメータ決定部は、前記複数の単位体積要素のそれぞれについて、当該単位体積要素、及び当該単位体積要素に隣接する単位体積要素の色成分値の差分値が前記距離に応じて決まる基準を満たす場合に、当該単位体積要素の大きさを所与の基準値から変化させる
ことを特徴とする情報処理装置。
【請求項2】
請求項１に記載の情報処理装置において、前記パラメータ決定部は、閲覧者の視覚特性に応じて前記距離に対して非線形に変化する閾値と、前記差分値とを比較することで、前記単位体積要素の大きさを前記基準値から変化させるか否か決定する
ことを特徴とする情報処理装置。
【請求項3】
請求項１又は２に記載の情報処理装置において、前記外観情報は、実空間内に存在する前記対象物を観測して得られる距離画像に基づいて生成される情報であって、前記複数の単位体積要素のそれぞれは、前記距離画像内に含まれる単位部分に対応する
ことを特徴とする情報処理装置。
【請求項4】
描画対象となる対象物の外観に関する情報として、仮想空間内に配置されて前記対象物を構成する複数の単位体積要素に関する外観情報を取得するステップと、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記複数の単位体積要素それぞれの大きさを決定するパラメータ決定ステップと、
を含み、
前記パラメータ決定ステップでは、前記複数の単位体積要素のそれぞれについて、当該単位体積要素、及び当該単位体積要素に隣接する単位体積要素の色成分値の差分値が前記距離に応じて決まる基準を満たす場合に、当該単位体積要素の大きさを所与の基準値から変化させる
ことを特徴とする情報処理方法。
【請求項5】
描画対象となる対象物の外観に関する情報として、仮想空間内に配置されて前記対象物を構成する複数の単位体積要素に関する外観情報を取得するステップと、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記複数の単位体積要素それぞれの大きさを決定するパラメータ決定ステップと、
をコンピュータに実行させるためのプログラムであり、
前記パラメータ決定ステップでは、前記複数の単位体積要素のそれぞれについて、当該単位体積要素、及び当該単位体積要素に隣接する単位体積要素の色成分値の差分値が前記距離に応じて決まる基準を満たす場合に、当該単位体積要素の大きさを所与の基準値から変化させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、描画対象となる対象物が配置された仮想空間の様子を示す画像を描画する際のパラメータを決定する情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
実在する人物などの対象物の外観を表す情報に基づいて、対象物が配置された仮想空間の様子を示す画像が描画されることがある。具体例として、被写体までの距離を特定可能な距離画像センサーによって距離画像を撮影し、その距離画像に含まれる単位部分に対応する所定形状、及び大きさの単位体積要素（ボクセル等）を仮想空間内に配置することによって、被写体の外観を再現した仮想オブジェクトを生成する技術が知られている。このような技術によれば、対象物を含む仮想空間の様子を示す空間画像を描画し、閲覧者に提示することができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
対象物の外観を詳細に表現するためには、例えば単位体積要素の大きさを小さくするなどして、描画される対象物の解像度を向上させる必要がある。しかしながら、解像度の向上は、描画負荷の増大やデータ送信時の通信量の増大を招くことになる。
【0004】
本発明は上記実情を考慮してなされたものであって、その目的の一つは、対象物の外観の特性に応じて、その外観に適した解像度で対象物を含む画像を描画することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0005】
本発明に係る情報処理装置は、描画対象となる対象物の外観に関する外観情報を取得する外観情報取得部と、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するパラメータ決定部と、を含むことを特徴とする。
【0006】
本発明に係る情報処理方法は、描画対象となる対象物の外観に関する外観情報を取得するステップと、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するステップと、を含むことを特徴とする。
【0007】
本発明に係るプログラムは、描画対象となる対象物の外観に関する外観情報を取得するステップと、前記取得した外観情報により特定される前記対象物表面の色分布、及び、所与の視点から前記対象物までの距離の情報に基づいて、前記視点から前記対象物を見た様子を描画する際における前記対象物の解像度に関するパラメータを決定するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態に係る情報処理装置を含む情報処理システムの全体概要図である。
【図2】距離画像センサーにより対象物Ｔの外観情報を取得する様子の一例を示す図である。
【図3】本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。
【図4】注目体積要素の大きさを変化させる制御について説明する図である。
【図5】コントラスト感度特性のグラフを示す図である。
【図6】本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面に基づき詳細に説明する。
【0010】
図１は、本発明の一実施形態に係る情報処理装置を含む情報処理システム１の全体概要図である。情報処理システム１は、図１に示すように、情報取得装置１０と、画像出力装置２０と、サーバ装置３０と、を含んで構成されており、各装置は、インターネット等の通信ネットワークを介して相互にデータ送受信可能に接続されている。以下の具体例では、サーバ装置３０が本発明の一実施形態に係る情報処理装置として機能する。なお、この図において情報処理システム１は、情報取得装置１０、画像出力装置２０、及びサーバ装置３０のそれぞれを１台ずつ含むこととしているが、情報処理システム１は各種類の装置を複数台含んでもよい。
【0011】
この情報処理システム１によれば、描画対象となる対象物Ｔの外観を反映したオブジェクトが配置された仮想空間の様子を示す画像が描画され、閲覧者（画像出力装置２０のユーザー）に提示される。以下では、対象物Ｔは情報取得装置１０を利用する人物であるものとする。
【0012】
情報取得装置１０は、パーソナルコンピュータや家庭用ゲーム機などの情報処理装置であって、距離画像センサー１１と接続されている。距離画像センサー１１は、対象物Ｔを含む現実空間の様子を観測して、距離画像（デプスマップ）の生成に必要な情報を取得する。例えば距離画像センサー１１は、左右に並んだ複数のカメラによって構成されるステレオカメラであってよい。情報取得装置１０は、これら複数のカメラによる撮影画像を取得して、その撮影画像に基づいて距離画像を生成する。具体的に情報取得装置１０は、複数のカメラの視差を利用することで、距離画像センサー１１の撮影位置（観測点）から撮影画像内に写っている被写体までの距離を算出することができる。なお、距離画像センサー１１は、ステレオカメラに限らず、例えばＴＯＦ方式など、その他の方式で被写体までの距離を計測可能なセンサーであってもよい。
【0013】
距離画像は、視野範囲内に含まれる単位領域のそれぞれについて、当該単位領域内に写っている被写体までの距離を示す情報を含んだ画像である。本実施形態において距離画像センサー１１は、対象物Ｔ（人物）に向けて設置される。そのため情報取得装置１０は、距離画像センサー１１の検出結果を用いて、対象物Ｔの表面のうち、距離画像に写っている複数の単位部分のそれぞれについて、その実空間内における位置座標を算出できる。ここで単位部分とは、距離画像内の単位領域に対応する対象物Ｔ表面の一部分である。
【0014】
情報取得装置１０は、距離画像に含まれる被写体までの距離の情報に基づいて、対象物Ｔを構成する各単位部分の実空間内における位置を特定する。また、各単位部分の色成分値を、距離画像に対応する撮影画像の画素値から特定する。これにより情報取得装置１０は、対象物Ｔの表面を構成する各単位部分の位置、及び色を示すデータを得ることができる。以下、対象物Ｔを構成する各単位部分の位置、及び色を特定するデータのことを、外観情報という。情報取得装置１０は、所定時間おきに、距離画像センサー１１の検出結果に基づいて対象物Ｔの外観を表す外観情報を生成し、サーバ装置３０に送信する。後述するように、この外観情報を用いて複数の単位部分のそれぞれに対応する単位体積要素を仮想空間内に配置することで、対象物Ｔの外観を仮想空間内に再現することができる。この場合の単位体積要素は、予め定められた形状（例えば立方体や球など）、及び大きさを有する比較的小さなオブジェクトである。なお、単位体積要素の大きさを小さくすればするほど、対象物Ｔを仮想空間に再現する際の解像度を向上させ、より現実の対象物Ｔに近づけることができる。
【0015】
なお、以上の説明では、情報取得装置１０に対して一つの距離画像センサー１１が接続されているものとしている。しかしながらこれに限らず、情報取得装置１０には、複数の距離画像センサー１１が接続されることとしてもよい。例えば２個以上の距離画像センサー１１が対象物Ｔを囲むように異なる位置及び向きで配置されていれば、それらのセンサーから得られる情報を統合することで、情報取得装置１０は、対象物Ｔ表面のより広い範囲について、外観情報を取得することができる。図２は、このように複数の距離画像センサー１１によって対象物Ｔ全体の外観情報を取得する場合の例を示している。
【0016】
画像出力装置２０は、パーソナルコンピュータや家庭用ゲーム機、携帯型ゲーム機、スマートフォン、タブレットなどの情報処理装置であって、表示装置２１と接続されている。
【0017】
表示装置２１は、画像出力装置２０から供給される映像信号に基づく映像を表示する。表示装置２１は、液晶ディスプレイ等の据え置き型のデバイスであってもよいし、ヘッドマウントディスプレイ等の、ユーザーが頭部に装着して使用する頭部装着型の表示装置であってもよい。また、表示装置２１は画像出力装置２０の筐体内に配置される各種の表示パネルであってもよい。
【0018】
サーバ装置３０は、情報取得装置１０から受信した外観情報に基づいて、仮想空間内に対象物Ｔを表す単位体積要素や、その他のオブジェクト等を配置する。また、物理演算等の演算処理により、仮想空間内に配置されたオブジェクトの挙動を計算する。そして、その結果として得られる仮想空間内に配置されるオブジェクトの位置や形状などの情報を、画像出力装置２０に対して送信する。
【0019】
特に本実施形態において、サーバ装置３０は、画像出力装置２０が描画する空間画像に含まれる対象物Ｔの解像度に関するパラメータを決定する。具体的にサーバ装置３０は、対象物Ｔを表す単位体積要素の大きさを、後述するような制御によって、所与の基準値から変化させることとする。単位体積要素の大きさは、空間画像内に含まれる対象物Ｔの解像度を規定しており、単位体積要素の大きさが基準値よりも大きく変更されると、空間画像の解像度が粗くなることになる。
【0020】
図１に示されるように、サーバ装置３０は、制御部３１と、記憶部３２と、通信部３３と、を含んで構成されている。制御部３１は少なくとも一つのプロセッサを含んで構成され、記憶部３２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部３１が実行する処理の具体例については、後述する。記憶部３２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部３１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部３３は、ＬＡＮカード等の通信インタフェースであって、通信ネットワークを介して情報取得装置１０及び画像出力装置２０との間でデータの送受信を行う。
【0021】
以下、本実施形態においてサーバ装置３０が実現する機能について、図３に基づいて説明する。図３に示されるように、サーバ装置３０は、機能的に、外観情報取得部５１と、視点情報取得部５２と、パラメータ決定部５３と、仮想空間情報出力部５４と、を含んで構成されている。これらの機能は、制御部３１が記憶部３２に格納されているプログラムを実行することで実現される。このプログラムは、インターネット等の通信ネットワークを介して画像出力装置２０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
【0022】
外観情報取得部５１は、情報取得装置１０から送信される対象物Ｔの外観情報を取得する。前述したように、本実施形態における外観情報は、対象物Ｔの表面を構成する単位体積要素の位置、及び色成分値を示すデータである。
【0023】
視点情報取得部５２は、対象物Ｔを含む空間画像が描画される際の、仮想空間内における視点位置ＶＰの位置座標、及び視線方向を示す視点情報を取得する。本実施形態において視点情報取得部５２は、画像出力装置２０から視点情報を取得することとする。例えば閲覧者（画像出力装置２０のユーザー）は、操作デバイスを操作したりすることで視点位置ＶＰや視線方向を変化させる指示を入力する。画像出力装置２０は、閲覧者から受け付けた指示に応じて決定される視点情報を、定期的にサーバ装置３０に対して送信する。
【0024】
パラメータ決定部５３は、対象物Ｔを含む空間画像が描画される際の対象物Ｔの解像度に関するパラメータを決定する。具体的にパラメータ決定部５３は、解像度に関するパラメータとして、仮想空間内に配置される個々の単位体積要素の大きさを決定することとする。その結果、対象物Ｔを構成する各単位体積要素は、互いに異なる大きさになり得る。
【0025】
特に本実施形態において、パラメータ決定部５３は、外観情報取得部５１が取得した外観情報により特定される対象物Ｔ表面の色分布、及び、仮想空間内における視点位置ＶＰから対象物Ｔまでの距離の情報に基づいて、各単位体積要素の大きさを決定することとする。例えばパラメータ決定部５３は、ある単位体積要素に注目した場合に、この注目体積要素の色が隣接する周囲の単位体積要素の色とほぼ同じであれば、注目体積要素の大きさを大きくし、その代わりに周囲の単位体積要素を削除することとする。より具体的に、隣接する単位体積要素同士において、注目する色成分値（ここでは輝度値とする）の差が所与の閾値以下の場合、閲覧者はその色差を見分けることが困難であると想定される。そのため、注目体積要素の大きさを大きくして対象物Ｔの解像度を低下させても、閲覧者に気づかれにくくなる。そこでパラメータ決定部５３は、このように隣接体積要素と色成分値が近い注目体積要素の大きさを大きくするとともに、隣接体積要素を削除することとする。これにより、注目体積要素の位置近傍における対象物Ｔの解像度は低下するが、単位体積要素の数を減らすことができる。そして、このような制御によって対象物Ｔの解像度を低下させたとしても、対象物Ｔ表面の色分布に比較的変化がない領域であれば、空間画像を閲覧する閲覧者にとって違和感が生じにくい。図４は、以上説明したような制御により注目体積要素の大きさが変更される様子の一例を示しており、仮想空間内に配置された一部の単位体積要素を側面から見た様子を示している。
【0026】
さらに本実施形態において、パラメータ決定部５３は、注目体積要素近傍の色分布の変化が小さい（隣接する単位体積要素との間の色成分値の差が小さい）と判定するための閾値を、視点位置ＶＰから注目体積要素までの距離ｄに応じて変化させることとする。例えばパラメータ決定部５３は、距離ｄが大きい場合には隣接する単位体積要素が同じ色成分値を持つと判定するための閾値を大きくし、距離ｄが小さい場合には閾値を小さくする。こうすれば、視点位置ＶＰから対象物Ｔが比較的近い位置にあるときには解像度を低下させにくくし、比較的遠い位置にあるときには解像度を低下させやすくすることができる。
【0027】
さらに、この場合の閾値は、距離ｄやその二乗に比例して変化させるのではなく、人の視覚特性を考慮して非線形に変化させることが望ましい。具体的に、人間の視覚特性として、ＣＳＦ（Contrast sensitivity function）と呼ばれる特性が知られている。これは一般に、コントラスト感度Ａと空間周波数ｆ(cycle/degree)の関係を表す以下のような特性関数によって規定される。
この空間周波数ｆは視点位置ＶＰから見た角度１度あたりのコントラスト変化のサイクル数を示している。隣接する単位体積要素間の距離は予め定められているため、空間周波数ｆは距離ｄと対応づけられている。そこでパラメータ決定部５３は、視点情報取得部５２が取得した視点位置ＶＰの位置情報に基づいて距離ｄを算出し、その距離ｄに対応する空間周波数ｆの値を決定する。決定したｆの値を上述した特性関数に代入することによって、隣接する単位体積要素間のコントラストの許容値（人が識別可能と想定される輝度差の下限値）を算出することができる。注目体積要素とその隣接体積要素との間の輝度値の差がこの許容値を下回っている場合、人はその色の違いを認識することが困難であると想定されるため、パラメータ決定部５３は、注目体積要素の大きさを拡大する。併せて、その拡大に伴って注目体積要素の範囲内に含まれることとなった隣接体積要素を削除する。これにより、単位体積要素の数を削減できる。逆に、輝度値の差が許容値以上の場合には、注目体積要素の大きさを変化させずに、初期値のままとする。
【数1】
【0028】
図５は、上述した特性関数によって算出されるコントラスト感度Ａのグラフを示している。このような非線形な関数を適用して都度空間周波数ｆに応じた許容値を算出すると処理負荷が高くなるため、図５において破線で示すように、離散的な許容値を予め用意することとしてもよい。この場合、複数の空間周波数帯のそれぞれに対して、一つの許容値が定められる。一つの閾値に対応する空間周波数帯の幅は、周波数帯によって異なってよく、図の例では特性関数の値が急激に変化する領域では狭く、緩やかに変化する領域では広くなっている。このように予め用意された離散的な許容値を利用することで、パラメータ決定部５３が各単位体積要素の大きさを決定する際の演算負荷を抑えることができる。
【0029】
以上の説明では、コントラストを評価するために用いる色成分値を、特定の色に依存しない輝度値であることとした。特に空間周波数が高い場合、視覚特性の傾向は色によって大きく変化しないことが知られている。そのため、輝度値を用いることにより、計算負荷を抑えつつ人が隣接する単位体積要素間の色差を識別可能か推定することができる。ただし、パラメータ決定部５３は、ＣＩＥ ＬＡＢやＣＩＥ ＬＵＶ色空間などで表現された複数の色成分値のそれぞれについて、人の視覚特性を考慮して色差を識別可能かの判定を行ってもよい。また、輝度値の代わりに、明度値などその他の指標値を用いて判定を行ってもよい。
【0030】
以上説明したような判断基準に従って、パラメータ決定部５３は、外観情報取得部５１が取得した外観情報に含まれる単位体積要素のそれぞれについて、その大きさを決定するとともに不要となった単位体積要素を削除するパラメータ調整処理を実行する。これにより、各単位体積要素の大きさは互いに異なることになるが、周囲の色分布に応じて適した解像度で対象物Ｔの外観を描画できるようになる。なお、パラメータ決定部５３が実行する処理の流れの一例について、後に詳しく説明する。
【0031】
仮想空間情報出力部５４は、仮想空間内の様子を描画するために必要な空間情報を、画像出力装置２０に対して送信する。仮想空間情報出力部５４が送信する空間情報には、仮想空間内に配置される対象物Ｔを構成する単位体積要素の情報が含まれる。この単位体積要素は、パラメータ決定部５３によって大きさが変化されたものになっている。そのため、情報取得装置１０からサーバ装置３０に送信された外観情報に含まれる単位体積要素の数と比較して、空間情報に含まれる単位体積要素の数は少なくなり、通信負荷を軽減することができる。
【0032】
画像出力装置２０は、サーバ装置３０から受信した空間情報を用いて、対象物Ｔを表す単位体積要素が配置された仮想空間内の様子を示す空間画像を描画する。このとき画像出力装置２０は、サーバ装置３０に対して送信した視点位置ＶＰに基づいて、空間画像を描画することとする。描画された空間画像は、表示装置２１の画面に表示され、閲覧者に提示される。このようにして、対象物Ｔの外観を含んだ空間画像が閲覧者に提示される。この場合の対象物Ｔの空間画像内における解像度は、対象物Ｔ表面の色分布、及び仮想空間内における視点位置ＶＰから対象物Ｔまでの距離ｄに応じて調整されたものになっている。
【0033】
ここで、パラメータ決定部５３が各単位体積要素の大きさを決定する具体的な処理の流れの一例について、図６のフロー図を用いて説明する。
【0034】
まずパラメータ決定部５３は、外観情報取得部５１が取得した外観情報、及び視点情報取得部５２が取得した視点位置ＶＰの位置座標を用いて、視点位置ＶＰから最も近い位置にある単位体積要素を注目体積要素として特定する（Ｓ１）。
【0035】
次にパラメータ決定部５３は、注目体積要素に隣接する単位体積要素（隣接体積要素）を特定する（Ｓ２）。ここでの隣接体積要素は、注目体積要素の上下前後左右の６方向それぞれの位置で隣接する単位体積要素であってよい。
【0036】
続いてパラメータ決定部５３は、Ｓ２で特定された隣接体積要素と注目体積要素との間の輝度値の差分値を算出する（Ｓ３）。なお、特定された隣接体積要素が複数ある場合、そのそれぞれとの間で差分値を算出し、算出された差分値のうちの最小値を特定する。
【0037】
さらにパラメータ決定部５３は、視点位置ＶＰの位置、及び注目体積要素の位置に基づいて両者の間の距離ｄを算出し、この距離ｄに対応するコントラストの許容値を決定する（Ｓ４）。この許容値は、前述したような特性関数に従って算出される値であってもよいし、特性関数に基づいて予めテーブル内に格納されている値であってもよい。
【0038】
そして、パラメータ決定部５３は、Ｓ３で算出された輝度値の差分値がＳ４で決定された許容値以下か否かを判定する（Ｓ５）。差分値が許容値以下の場合、パラメータ決定部５３は、注目体積要素の大きさを大きくするパラメータの変更を行う（Ｓ６）。併せて、注目体積要素に含まれることとなった隣接体積要素を削除する（Ｓ７）。なお、差分値が許容値を超えている場合、Ｓ６及びＳ７の処理はスキップされ、注目体積要素の大きさは維持される。
【0039】
注目体積要素について以上の処理が完了すると、パラメータ決定部５３は、全ての単位体積要素について処理を実行したか判定する（Ｓ８）。未処理の単位体積要素が残っていれば、パラメータ決定部５３はＳ１に戻って新たな単位体積要素を次の注目体積要素として特定し、処理を繰り返す。この場合においてパラメータ決定部５３は、未処理の単位体積要素のうち、最も視点位置ＶＰに近い単位体積要素を次の注目体積要素として特定する。すなわち、パラメータ決定部５３は、視点位置ＶＰに近い位置に配置される単位体積要素から順に、各単位体積要素についての処理を実行することとする。これにより、他の単位体積要素の大きさを大きくした結果削除される可能性のある単位体積要素の処理を後回しにして、結果として処理回数を少なくできる可能性が高くなる。
【0040】
なお、以上の例では個々の単位体積要素について個別に隣接体積要素との間の輝度値の差分値を評価することとしたが、より広範囲において互いに輝度の差が許容値以下となる単位体積要素を特定して、大きな一つの単位体積要素にグルーピングしてもよい。
【0041】
以上説明したように、本実施形態に係るサーバ装置３０によれば、閲覧者に提示する空間画像内における対象物Ｔの解像度を、周囲の色分布と視点位置ＶＰから対象物Ｔまでの距離ｄに応じて適切に調整することができ、閲覧者に違和感を感じさせないようにしつつ空間画像を描画する際の処理負荷や情報処理装置間のデータ通信量を抑えることができる。
【0042】
なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明における許容値の決定方法は、一例に過ぎない。人の視覚特性には個人差があり、特に視力によって識別可能な色分布には差が生じると想定される。そこでサーバ装置３０は、閲覧者の視力や視覚特性などに関する情報を予め取得し、その内容に応じてパラメータ調整処理に使用する許容値を変化させてもよい。
【0043】
また、以上の説明では対象物Ｔは実在する人物であることとし、その外観をリアルタイムで反映した画像を描画する場合の処理について説明した。しかしながら対象物Ｔは人物に限らず、他の物体でもよい。また、現実空間に存在する物体に限らず、仮想空間内に配置される仮想オブジェクトであってもよい。特に予め用意されて形状等が大きく変化しないオブジェクトを対象物Ｔとする場合、その対象物Ｔを構成する各単位体積要素について、隣接体積要素との色差を示す差分値を予め算出することができる。そのためサーバ装置３０は、各単位体積要素について周囲の単位体積要素との間の色の差分値を記録しておいてもよい。パラメータ決定部５３は、画像出力装置２０からの要求に応じて、記録された差分値が距離ｄに対応する許容値以下か否かを判定し、各単位体積要素の大きさを変化させる。こうすれば、リアルタイムで実行すべき計算量を削減することができる。
【0044】
また、以上の説明においてサーバ装置３０が実行することとした処理の少なくとも一部は、他の装置によって実行されてもよい。具体的に、パラメータ決定部５３が単位体積要素の大きさを変化させるパラメータ調整処理は、画像出力装置２０によって実現されてもよい。この場合、画像出力装置２０が本発明の一実施形態に係る情報処理装置として機能する。こうすれば、画像出力装置２０は視点情報をサーバ装置３０に通知する必要がなくなる。画像出力装置２０がパラメータ調整処理を実行する場合でも、各単位体積要素の大きさを適切に調整することで、空間画像を描画する際の処理負荷を軽減することができる。
【0045】
また、パラメータ調整処理は情報取得装置１０によって実現されてもよい。この場合、情報取得装置１０が本発明の一実施形態に係る情報処理装置として機能する。こうすれば、サーバ装置３０に送信する前に各単位体積要素の大きさを適切に調整するとともに単位体積要素の数を削減することができ、サーバ装置３０に対して送信される単位体積要素のデータ量を抑えることができる。
【0046】
また、以上の説明では仮想空間内の対象物Ｔは単位体積要素によって構成されるものとしたが、これに限らずポリゴン等によって構成される場合であっても、その表面の色分布と距離ｄとに応じて空間画像を描画する際の解像度を変化させてもよい。この場合、例えば視点位置ＶＰから見た仮想空間の様子を投影面に投影する際に、距離ｄ及び対象物Ｔ表面の色分布に応じて投影するオブジェクトの解像度を低下させることとする。これにより、閲覧者に気づかれにくい態様で解像度を低くすることができる。
【符号の説明】
【0047】
１ 情報処理システム、１０ 情報取得装置、１１ 距離画像センサー、２０ 画像出力装置、２１ 表示装置、３０ サーバ装置、３１ 制御部、３２ 記憶部、３３ 通信部、５１ 外観情報取得部、５２ 視点情報取得部、５３ パラメータ決定部、５４ 仮想空間情報出力部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】