知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035892
(43)【公開日】2024-03-15
(54)【発明の名称】画像処理システム、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 15/50 20110101AFI20240308BHJP
【ＦＩ】
G06T15/50 600
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022140504
(22)【出願日】2022-09-05
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】森榮 晃彦
【テーマコード（参考）】
5B080
【Ｆターム（参考）】
5B080AA18
5B080DA01
5B080DA06
5B080FA02
5B080GA11
(57)【要約】
【課題】可視範囲の変化に合わせた動的なレンダリング処理における処理精度を向上するとともに処理時間を削減することが可能な画像処理システム、画像処理方法、及びプログラムを提供する。
【解決手段】実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力部と、前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理部と、前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定部と、前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得部と、を備える画像処理システム。
【選択図】図１
【解決手段】実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力部と、前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理部と、前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定部と、前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得部と、を備える画像処理システム。
【選択図】図１
【特許請求の範囲】
【請求項1】
実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力部と、
前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理部と、
前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定部と、
前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得部と、
を備える画像処理システム。
前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理部と、
前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定部と、
前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得部と、
を備える画像処理システム。
【請求項2】
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を解析する空間情報解析部、
をさらに備え、
前記優先度判定部は、前記空間情報解析部による前記空間情報の解析における優先度を判定し、
前記空間情報解析部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を解析する、
請求項１に記載の画像処理システム。
前記描画処理用情報を取得するために、前記実空間の空間情報を解析する空間情報解析部、
をさらに備え、
前記優先度判定部は、前記空間情報解析部による前記空間情報の解析における優先度を判定し、
前記空間情報解析部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を解析する、
請求項１に記載の画像処理システム。
【請求項3】
前記優先度判定部は、描画時の直接描画領域の解析を第１優先、間接反射又はシャドウのレイのうち、どちらか一方又は両方が到達する空間の解析を第２優先として、前記空間情報の解析における優先度を判定し、
前記空間情報解析部は、前記第１優先と判定された解析を前記第２優先と判定された解析よりも優先的に行う、
請求項２に記載の画像処理システム。
前記空間情報解析部は、前記第１優先と判定された解析を前記第２優先と判定された解析よりも優先的に行う、
請求項２に記載の画像処理システム。
【請求項4】
前記空間情報解析部は、前記優先度に応じて、前記３次元ＣＧを描画する解像度に合わせた解像度で前記空間情報の解析を行う、
請求項２又は請求項３に記載の画像処理システム。
請求項２又は請求項３に記載の画像処理システム。
【請求項5】
前記優先度に応じて描画解像度が異なる解析結果を記憶する空間情報記憶部、
をさらに備え、
前記空間情報解析部は、解析時の優先度に応じた解析結果を前記空間情報記憶部から選択して用いる、
請求項２又は請求項３に記載の画像処理システム。
をさらに備え、
前記空間情報解析部は、解析時の優先度に応じた解析結果を前記空間情報記憶部から選択して用いる、
請求項２又は請求項３に記載の画像処理システム。
【請求項6】
前記空間情報解析部による解析にて実行される各処理にかかる処理時間を記憶する処理時間記憶部、
をさらに備え、
前記空間情報解析部は、前記処理時間記憶部に記憶された各処理時間と、前記優先度判定部によって判定された優先度とに基づき、前記解析にかけられる時間に合わせて、前記解析にて実行する各処理の前記優先度又は各処理の処理速度を調整する、
請求項２又は請求項３に記載の画像処理システム。
をさらに備え、
前記空間情報解析部は、前記処理時間記憶部に記憶された各処理時間と、前記優先度判定部によって判定された優先度とに基づき、前記解析にかけられる時間に合わせて、前記解析にて実行する各処理の前記優先度又は各処理の処理速度を調整する、
請求項２又は請求項３に記載の画像処理システム。
【請求項7】
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を取得する空間情報取得部、
をさらに備え、
前記優先度判定部は、前記空間情報取得部による前記空間情報の取得における優先度を判定し、
前記空間情報取得部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を取得する、
請求項１に記載の画像処理システム。
前記描画処理用情報を取得するために、前記実空間の空間情報を取得する空間情報取得部、
をさらに備え、
前記優先度判定部は、前記空間情報取得部による前記空間情報の取得における優先度を判定し、
前記空間情報取得部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を取得する、
請求項１に記載の画像処理システム。
【請求項8】
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を前記描画処理用情報に変換する空間情報変換部、
をさらに備え、
前記優先度判定部は、前記空間情報変換部による前記空間情報の変換における優先度を判定し、
前記空間情報変換部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を変換する、
請求項１に記載の画像処理システム。
前記描画処理用情報を取得するために、前記実空間の空間情報を前記描画処理用情報に変換する空間情報変換部、
をさらに備え、
前記優先度判定部は、前記空間情報変換部による前記空間情報の変換における優先度を判定し、
前記空間情報変換部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を変換する、
請求項１に記載の画像処理システム。
【請求項9】
描画制御入力部が、実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力過程と、
描画処理部が、前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理過程と、
優先度判定部が、前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定過程と、
描画処理用情報取得部が、前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得過程と、
を含む画像処理方法。
描画処理部が、前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理過程と、
優先度判定部が、前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定過程と、
描画処理用情報取得部が、前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得過程と、
を含む画像処理方法。
【請求項10】
コンピュータを、
実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力手段と、
前記描画処理に用いる描画処理用情報と、前記描画制御入力手段によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理手段と、
前記描画処理手段によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力手段によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定手段と、
前記優先度判定手段によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得手段と、
として機能させるためのプログラム。
実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力手段と、
前記描画処理に用いる描画処理用情報と、前記描画制御入力手段によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理手段と、
前記描画処理手段によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力手段によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定手段と、
前記優先度判定手段によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来、実空間の情報を取得する技術として、多視点の画像から空間中の３次元形状や材質、光源情報などを取得し、取得した情報から空間情報を解析するインバースレンダリング技術がある。
インバースレンダリング技術を用いて、任意の視点での映像生成が可能な実空間のフォトリアリスティックな３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を再構成する場合には、取得した画像から再構成可能な空間全体の解析が行われ、空間全体を再構成可能な空間情報がインバースレンダリングによって取得される。レンダリングの際には、インバースレンダリングによって取得された空間情報に基づき空間全体が再構成される。これにより、空間全体においてユーザが所望する任意の視点からの映像を生成することができる。
インバースレンダリング技術を用いて、任意の視点での映像生成が可能な実空間のフォトリアリスティックな３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を再構成する場合には、取得した画像から再構成可能な空間全体の解析が行われ、空間全体を再構成可能な空間情報がインバースレンダリングによって取得される。レンダリングの際には、インバースレンダリングによって取得された空間情報に基づき空間全体が再構成される。これにより、空間全体においてユーザが所望する任意の視点からの映像を生成することができる。
【0003】
例えば、下記非特許文献１には、複数の視点位置から撮影した画像に基づき、空間情報を取得することが可能な技術が開示されている。当該技術では、任意の視点からの映像生成を可能とするために、空間全体の空間情報を取得し、当該空間情報に基づき空間全体の再構成が行われる。
また、下記非特許文献２には、事前に与えられた優先度に基づき、実空間を再構成する精度を調整する技術が開示されている。
また、下記非特許文献２には、事前に与えられた優先度に基づき、実空間を再構成する精度を調整する技術が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Ｐｅｔｅｒ Ｈｅｄｍａｎ， Ｔｏｂｉａｓ Ｒｉｔｓｃｈｅｌ， Ｇｅｏｒｇｅ Ｄｒｅｔｔａｋｉｓ， Ｇａｂｒｉｅｌ Ｂｒｏｓｔｏｗ， “Ｓｃａｌａｂｌｅ Ｉｎｓｉｄｅ－Ｏｕｔ Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ”， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ， Ｖｏｌｕｍｅ ３５， Ｉｓｓｕｅ ６， Ａｒｔｉｃｌｅ Ｎｏ．２３１， ｐｐ．１－１１， Ｎｏｖｅｍｂｅｒ ２０１６．
【非特許文献2】Ａｌｅｘ Ｌｏｃｈｅｒ， Ｍｉｃｈａｌ Ｐｅｒｄｏｃｈ， Ｌｕｃ Ｖａｎ Ｇｏｏｌ， “Ｐｒｏｇｒｅｓｓｉｖｅ Ｐｒｉｏｒｉｔｉｚｅｄ Ｍｕｌｔｉ－ｖｉｅｗ Ｓｔｅｒｅｏ”， ２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， １２ Ｄｅｃｅｍｂｅｒ ２０１６．
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記非特許文献１の技術では、空間全体を再構成するために、ユーザが所望する任意の視点における見えに寄与しない部分の空間情報や不要に精度が高すぎる空間情報なども取得されてしまう。このため、レンダリング処理時に、ユーザが所望する任意の視点における見えに寄与しない部分まで高精度に再構成が行われるため、処理時間がかかってしまうという問題があった。
また、上記非特許文献２の技術では、レンダリング処理ごとに刻々と変化する可視範囲や処理速度などの調整が行えないため、動的なレンダリングによって空間を再構成することには適していなかった。
また、上記非特許文献２の技術では、レンダリング処理ごとに刻々と変化する可視範囲や処理速度などの調整が行えないため、動的なレンダリングによって空間を再構成することには適していなかった。
【0006】
上述の課題を鑑み、本発明の目的は、ユーザの可視範囲の変化に合わせた動的なレンダリング処理における処理精度を向上するとともに処理時間を削減することが可能な画像処理システム、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上述の課題を解決するために、本発明の一態様に係る画像処理システムは、実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力部と、前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理部と、前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定部と、前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得部と、を備える。
【0008】
本発明の一態様に係る画像処理方法は、描画制御入力部が、実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力過程と、描画処理部が、前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理過程と、優先度判定部が、前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定過程と、描画処理用情報取得部が、前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得過程と、を含む。
【0009】
本発明の一態様に係るプログラムは、コンピュータを、実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力手段と、前記描画処理に用いる描画処理用情報と、前記描画制御入力手段によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理手段と、前記描画処理手段によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力手段によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定手段と、前記優先度判定手段によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得手段と、として機能させる。
【発明の効果】
【0010】
本発明によれば、可視範囲の変化に合わせた動的なレンダリング処理における処理精度を向上するとともに処理時間を削減することができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態に係る画像処理システムの機能構成の一例を示すブロック図である。
【図2】本実施形態に係る優先度判定の一例を示す図である。
【図3】本実施形態に係る可視範囲の統合の一例を示す図である。
【図4】本実施形態に係る画像処理システムにおける処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
【0013】
＜１．画像処理システムの機能構成＞
図１から図３を参照して、本実施形態に係る画像処理システムの機能構成について説明する。図１は、本実施形態に係る画像処理システムの機能構成の一例を示すブロック図である。
図１に示す画像処理システム１は、実空間の空間情報から描画処理用情報を取得し、取得した描画処理用情報を用いて、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を生成するシステムである。画像処理システム１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバなどの装置によって実現される。なお、画像処理システム１が有する機能や実行する処理は、１つの装置によって実現されてもよいし、複数の装置によって実現されてもよい。
画像処理システム１は、自由指定映像生成方法及び自由視点映像生成装置に適用でき、例えば実空間バーチャルリアリティシステム、三次元空間認識システム等に適用できる。
図１に示すように、画像処理システム１は、描画処理用情報取得部１０と、描画処理部２０と、描画表示部３０と、空間情報記憶部４０、描画制御入力部５０と、優先度判定部６０と、処理時間記憶部７０とを備える。
図１から図３を参照して、本実施形態に係る画像処理システムの機能構成について説明する。図１は、本実施形態に係る画像処理システムの機能構成の一例を示すブロック図である。
図１に示す画像処理システム１は、実空間の空間情報から描画処理用情報を取得し、取得した描画処理用情報を用いて、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を生成するシステムである。画像処理システム１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバなどの装置によって実現される。なお、画像処理システム１が有する機能や実行する処理は、１つの装置によって実現されてもよいし、複数の装置によって実現されてもよい。
画像処理システム１は、自由指定映像生成方法及び自由視点映像生成装置に適用でき、例えば実空間バーチャルリアリティシステム、三次元空間認識システム等に適用できる。
図１に示すように、画像処理システム１は、描画処理用情報取得部１０と、描画処理部２０と、描画表示部３０と、空間情報記憶部４０、描画制御入力部５０と、優先度判定部６０と、処理時間記憶部７０とを備える。
【0014】
（１）描画処理用情報取得部１０
描画処理用情報取得部１０は、描画処理用情報を取得する機能を有する。描画処理用情報は、３次元ＣＧの描画（レンダリング）に必要なパラメータである。描画処理用情報取得部１０による描画処理用情報を取得する処理は、以下では「描画処理用情報取得処理」とも称される。なお、優先度情報が存在する場合、描画処理用情報取得部１０は、当該優先度情報に基づき、描画処理用情報取得処理によって描画処理用情報を取得する。優先度情報は、描画処理用情報取得処理において行われる処理の優先度を示す情報である。優先度は、後述する優先度判定部６０によって判定される。優先度情報は、優先度判定部６０によって優先度が判定された場合に生成される情報である。
図１に示すように、描画処理用情報取得部１０は、空間情報取得部１１と、空間情報解析部１２と、空間情報変換部１３とを備える。
描画処理用情報取得部１０は、描画処理用情報を取得する機能を有する。描画処理用情報は、３次元ＣＧの描画（レンダリング）に必要なパラメータである。描画処理用情報取得部１０による描画処理用情報を取得する処理は、以下では「描画処理用情報取得処理」とも称される。なお、優先度情報が存在する場合、描画処理用情報取得部１０は、当該優先度情報に基づき、描画処理用情報取得処理によって描画処理用情報を取得する。優先度情報は、描画処理用情報取得処理において行われる処理の優先度を示す情報である。優先度は、後述する優先度判定部６０によって判定される。優先度情報は、優先度判定部６０によって優先度が判定された場合に生成される情報である。
図１に示すように、描画処理用情報取得部１０は、空間情報取得部１１と、空間情報解析部１２と、空間情報変換部１３とを備える。
【0015】
（１－１）空間情報取得部１１
空間情報取得部１１は、描画処理用情報を取得するために、実空間の空間情報を取得する機能を有する。空間情報取得部１１は、空間情報の１つとして実空間の形状情報を取得する。形状情報は、例えば３次元メッシュ形式で表される空間内における物体の３次元形状データである。
空間情報取得部１１は、カメラや３次元形状計測装置（例えば深度センサ）などを用いて形状情報を取得する。例えば、空間情報取得部１１は、１視点以上の複数のカメラによって実空間を撮影した少なくとも１枚の撮影画像から形状情報を取得する。また、空間情報取得部１１、例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）などの深度センサによって計測された情報を形状情報として取得してもよい。
空間情報取得部１１は、描画処理用情報を取得するために、実空間の空間情報を取得する機能を有する。空間情報取得部１１は、空間情報の１つとして実空間の形状情報を取得する。形状情報は、例えば３次元メッシュ形式で表される空間内における物体の３次元形状データである。
空間情報取得部１１は、カメラや３次元形状計測装置（例えば深度センサ）などを用いて形状情報を取得する。例えば、空間情報取得部１１は、１視点以上の複数のカメラによって実空間を撮影した少なくとも１枚の撮影画像から形状情報を取得する。また、空間情報取得部１１、例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）などの深度センサによって計測された情報を形状情報として取得してもよい。
【0016】
また、優先度情報が存在する場合、空間情報取得部１１は、当該優先度情報が示す優先度に基づき、空間情報を取得してもよい。例えば、優先度情報が空間情報の取得優先度を示す場合、空間情報取得部１１は、当該取得優先度に応じて空間情報を取得する。この時、空間情報取得部１１は、取得優先度が高い領域の可視範囲及び必要な解像度を満たす領域について空間情報を取得できるように、取得位置・向きや取得精度の調整を行うことができる。また、空間情報取得部１１は、取得優先度が低い領域については空間情報の取得を行わないこともできる。また、空間情報取得部１１は、空間情報記憶部４０に記憶されている空間情報を用いることで、既に取得済みの空間情報の取得処理の省略や効率化を行うこともできる。
【0017】
（１－２）空間情報解析部１２
空間情報解析部１２は、描画処理用情報を取得するために、実空間の空間情報を解析する機能を有する。空間情報解析部１２は、空間情報を解析することで、光源情報又は光学特性情報を空間情報の１つとして取得する。光源情報は、例えば空間内に存在する光源の位置、形状、強度、配光分布などからなるデータである。光学特性情報は、例えばアルベド、法線マップ、ラフネスなどからなるＢｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ（ＢＲＤＦ）のパラメータである数値データ、或いは２次元画像データである。
空間情報解析部１２は、例えば空間情報取得部１１が取得した形状情報を解析することで、光源情報又は光学特性情報を取得する。空間情報解析部１２は、空間情報の解析において、入力データとなる空間情報の特性に合わせて様々な手法を用いることができる。例えば、空間情報解析部１２は、多視点の画像から空間の形状を復元するマルチビューステレオ法や、１視点から空間情報を解析する単眼の機械学習手法や、画像から空間中の光源を推定する手法などを用いることができる。
なお、空間情報解析部１２は、後述する空間情報記憶部４０に記憶されている解析済みの既知の空間情報を用いた解析を行ってもよい。これにより、空間情報解析部１２は、空間情報を解析する処理の高精度化・高速化も行うことができる。
空間情報解析部１２は、描画処理用情報を取得するために、実空間の空間情報を解析する機能を有する。空間情報解析部１２は、空間情報を解析することで、光源情報又は光学特性情報を空間情報の１つとして取得する。光源情報は、例えば空間内に存在する光源の位置、形状、強度、配光分布などからなるデータである。光学特性情報は、例えばアルベド、法線マップ、ラフネスなどからなるＢｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ（ＢＲＤＦ）のパラメータである数値データ、或いは２次元画像データである。
空間情報解析部１２は、例えば空間情報取得部１１が取得した形状情報を解析することで、光源情報又は光学特性情報を取得する。空間情報解析部１２は、空間情報の解析において、入力データとなる空間情報の特性に合わせて様々な手法を用いることができる。例えば、空間情報解析部１２は、多視点の画像から空間の形状を復元するマルチビューステレオ法や、１視点から空間情報を解析する単眼の機械学習手法や、画像から空間中の光源を推定する手法などを用いることができる。
なお、空間情報解析部１２は、後述する空間情報記憶部４０に記憶されている解析済みの既知の空間情報を用いた解析を行ってもよい。これにより、空間情報解析部１２は、空間情報を解析する処理の高精度化・高速化も行うことができる。
【0018】
また、優先度情報が存在する場合、空間情報解析部１２は、当該優先度情報が示す優先度に基づき、空間情報を解析してもよい。例えば、優先度情報が空間情報の取得優先度を示す場合、空間情報解析部１２は、当該取得優先度に応じて空間情報を解析する。この時、空間情報解析部１２は、取得優先度の高い領域の空間情報の解析を優先的に行う。また、空間情報解析部１２は、空間情報記憶部４０に記憶されている既知又は解析済みの空間情報を用いて、取得優先度が高い領域の可視範囲及び必要な解像度を満たす領域を解析することもできる。また、空間情報解析部１２は、空間情報記憶部４０に記憶されている既知又は解析済みの空間情報の中から解析時の優先度に応じた解析結果を選択して用いることで、空間情報の取得対象となる領域のデータの優先的な解析や、不要な箇所の解析処理を省略することができ、解析処理を効率的に行うこともできる。
【0019】
以下、優先度に応じた空間情報の解析について具体例の一例を説明する。
例えば、空間情報解析部１２は、第１優先と判定された解析を第２優先と判定された解析よりも優先的に行う。一例として、描画時の直接描画領域の解析が第１優先、間接反射又はシャドウのレイのうちどちらか一方又は両方が到達する空間の解析が第２優先として判定される場合がある。
また、空間情報解析部１２は、優先度に応じて、３次元ＣＧを描画する解像度に合わせた解像度で空間情報の解析を行う。なお、解析対象のオブジェクトは、カメラの描画解像度に応じて形状や質感復元の解像度の調整が行え、描画解像度以上にオブジェクトの形状や質感の解像度を高める必要はない。このため、空間情報解析部１２は、描画解像度に合わせた解像度での解析処理を行う。
また、空間情報解析部１２は、優先度に応じて、オブジェクトの解析を行う。例えば、空間情報解析部１２は、実空間にあるオブジェクトのうち、カメラの可視範囲内にあるオブジェクトを優先的に解析する。また、空間情報解析部１２は、解析対象となるオブジェクトを部分的に解析する。具体的に、空間情報解析部１２は、解析対象のオブジェクトについてカメラから直接見える部分を優先的に解析し、同一のオブジェクトであってもカメラから直接見えない裏の部分の優先度を下げて解析する。
例えば、空間情報解析部１２は、第１優先と判定された解析を第２優先と判定された解析よりも優先的に行う。一例として、描画時の直接描画領域の解析が第１優先、間接反射又はシャドウのレイのうちどちらか一方又は両方が到達する空間の解析が第２優先として判定される場合がある。
また、空間情報解析部１２は、優先度に応じて、３次元ＣＧを描画する解像度に合わせた解像度で空間情報の解析を行う。なお、解析対象のオブジェクトは、カメラの描画解像度に応じて形状や質感復元の解像度の調整が行え、描画解像度以上にオブジェクトの形状や質感の解像度を高める必要はない。このため、空間情報解析部１２は、描画解像度に合わせた解像度での解析処理を行う。
また、空間情報解析部１２は、優先度に応じて、オブジェクトの解析を行う。例えば、空間情報解析部１２は、実空間にあるオブジェクトのうち、カメラの可視範囲内にあるオブジェクトを優先的に解析する。また、空間情報解析部１２は、解析対象となるオブジェクトを部分的に解析する。具体的に、空間情報解析部１２は、解析対象のオブジェクトについてカメラから直接見える部分を優先的に解析し、同一のオブジェクトであってもカメラから直接見えない裏の部分の優先度を下げて解析する。
【0020】
なお、空間情報解析部１２は動的に空間情報を解析することができる。これにより、画像処理システム１は、漸進的に解析結果をアップデートし、描画処理を行うことができる。漸進的に処理することにより全てのデータを一度に復元することなく、局所的に復元することができる。これにより、処理時間に応じて漸進的に高品質な解析とそのデータを用いた描画結果を得ることができる。
【0021】
また、空間情報解析部１２は、後述する処理時間記憶部７０に記憶された各処理時間と、優先度判定部６０によって判定された優先度とに基づき、解析にかけられる時間に合わせて、解析にて実行する各処理の優先度又は各処理の処理速度を調整してもよい。例えば、空間情報解析部１２は、漸進的に解析する際、解析にかけられる処理時間から優先度に基づいて漸進的に解析を行うことができる。この時、解析処理に必要な処理時間は、最適化計算のデータ量や負荷、空間の複雑さなどに応じて事前に正確な値を得ることは困難である。そこで、本実施形態では、後述する処理時間記憶部７０に解析時の処理ごとに必要な処理時間が予め記憶される。これにより、空間情報解析部１２は、処理時間記憶部７０に記憶され処理時間を用いて優先度や指示された解像度の復元処理に必要となる時間を推定することができ、解析にかけられる処理時間で必要な処理が行えるように複数の解析処理の優先度の変更や、解析速度と品質の調整を行うことができる。
【0022】
なお、光源については、直接的なカメラからの可視に限らず、異なる箇所にて物体表面で反射した光がカメラに到達する場合もある。このため、空間情報解析部１２は、カメラの可視範囲に関わらず、光源について解析する必要がある。
【0023】
（１－３）空間情報変換部１３
空間情報変換部１３は、描画処理用情報を取得するために、実空間の空間情報を描画処理用情報に変換する機能を有する。空間情報変換部１３は、空間情報解析部１２によって解析された空間情報又は空間情報記憶部４０に記憶されている空間情報を描画処理用情報に変換する。
なお、空間情報解析部１２によって解析された空間情報は、大量のポリゴンや点群などを持つ形状データであることが多い。ユーザが所望する視点からの描画処理では、見えない箇所や遠方にあるオブジェクトなどを描画する場合がある。この場合に、空間情報解析部１２によって解析された空間情報をそのまま描画処理用情報として用いると、データ量及び描画時間のどちらの面でも効率が悪くなってしまう。
そこで、空間情報変換部１３は、空間情報解析部１２で得られた空間情報を描画に適したデータとして描画処理用情報に変換する処理を行う。空間情報変換部１３は、一般的には不要なポリゴンや点群を減らすリダクション処理や、描画解像度に合わせて適切なポリゴン数に変更するＬｅｖｅｌ Ｏｆ Ｄｅｔａｉｌ処理や、描画用のテクスチャの生成や、描画処理に適した質感フォーマットへの変換などの処理を行う。
空間情報変換部１３は、描画処理用情報を取得するために、実空間の空間情報を描画処理用情報に変換する機能を有する。空間情報変換部１３は、空間情報解析部１２によって解析された空間情報又は空間情報記憶部４０に記憶されている空間情報を描画処理用情報に変換する。
なお、空間情報解析部１２によって解析された空間情報は、大量のポリゴンや点群などを持つ形状データであることが多い。ユーザが所望する視点からの描画処理では、見えない箇所や遠方にあるオブジェクトなどを描画する場合がある。この場合に、空間情報解析部１２によって解析された空間情報をそのまま描画処理用情報として用いると、データ量及び描画時間のどちらの面でも効率が悪くなってしまう。
そこで、空間情報変換部１３は、空間情報解析部１２で得られた空間情報を描画に適したデータとして描画処理用情報に変換する処理を行う。空間情報変換部１３は、一般的には不要なポリゴンや点群を減らすリダクション処理や、描画解像度に合わせて適切なポリゴン数に変更するＬｅｖｅｌ Ｏｆ Ｄｅｔａｉｌ処理や、描画用のテクスチャの生成や、描画処理に適した質感フォーマットへの変換などの処理を行う。
【0024】
また、優先度情報が存在する場合、空間情報変換部１３は、当該優先度情報が示す優先度に基づき、空間情報を変換してもよい。例えば、優先度情報が空間情報の取得優先度を示す場合、空間情報変換部１３は、当該取得優先度に応じて空間情報を変換する。この時、空間情報変換部１３は、取得優先度が高い領域のデータ変換を優先的に行う。また、空間情報変換部１３は、取得優先度に応じて、変換の品質を調整してもよい。例えば、空間情報変換部１３は、取得優先度が高く高品質に変換する必要がある箇所については高品質に変換し、取得優先度が低く低品質で良い箇所については低品質に変換する。空間情報変換部１３は。例えば、高品質の変換では解像度を高くし、低品質の変換では解像度を低くすることで変換の品質を調整する。このようにして、空間情報変換部１３は、描画処理の負荷が増大しないように空間情報を変換することができる。また、空間情報変換部１３は、空間情報記憶部４０に記憶されている取得済みの空間情報を用いることで、変換処理の省略や効率化を行うこともできる。
【0025】
（２）描画処理部２０
描画処理部２０は、３次元ＣＧを描画する機能を有する。例えば、描画処理部２０は、描画処理に用いる描画処理用情報と、後述する描画制御入力部５０によって指定された描画条件とに基づき、３次元ＣＧを描画する。描画条件では、例えば、視点や描画解像度などが指定される。描画処理部２０は、例えば、ラスタライズ法やレイトレーシング法など複数の描画手法を用いて描画を行うことが可能である。
描画処理部２０は、３次元ＣＧを描画する機能を有する。例えば、描画処理部２０は、描画処理に用いる描画処理用情報と、後述する描画制御入力部５０によって指定された描画条件とに基づき、３次元ＣＧを描画する。描画条件では、例えば、視点や描画解像度などが指定される。描画処理部２０は、例えば、ラスタライズ法やレイトレーシング法など複数の描画手法を用いて描画を行うことが可能である。
【0026】
（３）描画表示部３０
描画表示部３０は、描画された３次元ＣＧを表示する機能を有する。例えば、描画表示部３０は、描画処理部２０によって描画された３次元ＣＧを表示装置に表示する。
描画表示部３０は、描画された３次元ＣＧを表示する機能を有する。例えば、描画表示部３０は、描画処理部２０によって描画された３次元ＣＧを表示装置に表示する。
【0027】
（４）空間情報記憶部４０
空間情報記憶部４０は、空間情報を記憶する機能を有する。例えば、空間情報記憶部４０は、予め既知な空間情報や、空間情報取得部１１によって取得された空間情報や、空間情報解析部１２によって解析された空間情報などを記憶する。また、空間情報記憶部４０は、優先度に応じて描画解像度が異なる解析結果も記憶する。
空間情報記憶部４０は、空間情報を記憶する機能を有する。例えば、空間情報記憶部４０は、予め既知な空間情報や、空間情報取得部１１によって取得された空間情報や、空間情報解析部１２によって解析された空間情報などを記憶する。また、空間情報記憶部４０は、優先度に応じて描画解像度が異なる解析結果も記憶する。
【0028】
（５）描画制御入力部５０
描画制御入力部５０は、描画条件を指定する機能を有する。描画制御入力部５０は、実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する。描画制御入力部５０は、ユーザによる描画条件の入力を受け付ける。ユーザは、例えば、所望する視点位置（描画位置）、描画解像度、品質などを指定する描画条件を入力することができる。
描画制御入力部５０は、描画条件を指定する機能を有する。描画制御入力部５０は、実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する。描画制御入力部５０は、ユーザによる描画条件の入力を受け付ける。ユーザは、例えば、所望する視点位置（描画位置）、描画解像度、品質などを指定する描画条件を入力することができる。
【0029】
（６）優先度判定部６０
優先度判定部６０は、優先度を判定する機能を有する。例えば、優先度判定部６０は、描画処理部２０によって描画された３次元ＣＧを示す描画情報と、描画制御入力部５０によって指定された描画条件とに基づき、描画処理用情報取得処理における優先度を判定する。具体的に、優先度判定部６０は、空間情報取得部１１、空間情報解析部１２、及び空間情報変換部１３によって行われる処理のうち、少なくともいずれか１つの処理の優先度を判定する。これにより、優先度判定部６０は、描画処理用情報取得処理にて行われる処理を最適化することができる。なお、優先度判定部６０は、描画処理部２０による描画結果の品質が向上するように描画処理用情報取得処理が最適化されるよう、優先度の判定を行う。
また、優先度判定部６０は、描画処理用情報の取得する優先度の高低を判定するだけでなく、取得不要箇所の判定を行うこともできる。これにより、優先度判定部６０によって取得不要と判定された箇所については、空間情報取得部１１、空間情報解析部１２、及び空間情報変換部１３によって行われる処理を不要とすることが可能となる。
優先度判定部６０は、優先度を判定する機能を有する。例えば、優先度判定部６０は、描画処理部２０によって描画された３次元ＣＧを示す描画情報と、描画制御入力部５０によって指定された描画条件とに基づき、描画処理用情報取得処理における優先度を判定する。具体的に、優先度判定部６０は、空間情報取得部１１、空間情報解析部１２、及び空間情報変換部１３によって行われる処理のうち、少なくともいずれか１つの処理の優先度を判定する。これにより、優先度判定部６０は、描画処理用情報取得処理にて行われる処理を最適化することができる。なお、優先度判定部６０は、描画処理部２０による描画結果の品質が向上するように描画処理用情報取得処理が最適化されるよう、優先度の判定を行う。
また、優先度判定部６０は、描画処理用情報の取得する優先度の高低を判定するだけでなく、取得不要箇所の判定を行うこともできる。これにより、優先度判定部６０によって取得不要と判定された箇所については、空間情報取得部１１、空間情報解析部１２、及び空間情報変換部１３によって行われる処理を不要とすることが可能となる。
【0030】
ここで、優先度判定部６０による優先度の判定について具体例の一例を説明する。
空間情報取得部１１による空間情報の取得における優先度の判定では、優先度判定部６０は、例えば、空間情報の取得対象となる領域の優先度を判定する。具体的に、優先度判定部６０は、描画情報が示す３次元ＣＧにおいて、描画条件によって指定された領域（例えば可視範囲）については空間情報（例えば形状情報）の取得優先度が高いと判定し、指定されていない領域については空間情報の取得優先度が低いと判定する。
空間情報取得部１１による空間情報の取得における優先度の判定では、優先度判定部６０は、例えば、空間情報の取得対象となる領域の優先度を判定する。具体的に、優先度判定部６０は、描画情報が示す３次元ＣＧにおいて、描画条件によって指定された領域（例えば可視範囲）については空間情報（例えば形状情報）の取得優先度が高いと判定し、指定されていない領域については空間情報の取得優先度が低いと判定する。
【0031】
また、空間情報解析部１２による空間情報の解析における優先度の判定では、優先度判定部６０は、例えば、空間情報の解析対象となる領域の優先度を判定する。具体的に、優先度判定部６０は、描画時の直接描画領域の解析を第１優先、間接反射又はシャドウのレイのうち、どちらか一方又は両方が到達する空間の解析を第２優先として、空間情報の解析における優先度を判定する。なお、第１優先と第２優先の関係は、第１優先の方が第２優先よりも優先度が高いものとする。
【0032】
また、光源の解析における優先度は、レイトレーシング法やラスタライズ法によって、各光源からの光の寄与率を事前に復元した光源情報のＩＤ値を用いて、描画時に光源のＩＤごとに描画画素への影響度（寄与度）を計算することで算出することができる。
寄与度の計算は、ある視点から光源に達するまでの経路を計算し、一つの計算方法として全てのカメラＩＤごとに描画ピクセルに含まれる輝度値の積和計算で求めることができる。また、寄与度の計算は、描画時の寄与度に加え、空間情報解析時に物体表面上に寄与する照度情報を事前に計算することで簡易に計算することもできる。
積和計算には、単純に描画画素のピクセルごとに同一の重みで計算することも可能である。または、積和計算では、特定のオブジェクトに注目して特定のオブジェクトへの光の寄与の重みを高めることや、周辺視野領域の重みを低くするなどして求める描画品質に応じて、調整することもできる。
このように、描画範囲や光の寄与に関する情報を用いて、空間情報を優先的に解析する領域を求めることで、可視範囲領域に含まれる情報を優先的に高精度に復元可能となり、高速な解析が可能となる。
寄与度の計算は、ある視点から光源に達するまでの経路を計算し、一つの計算方法として全てのカメラＩＤごとに描画ピクセルに含まれる輝度値の積和計算で求めることができる。また、寄与度の計算は、描画時の寄与度に加え、空間情報解析時に物体表面上に寄与する照度情報を事前に計算することで簡易に計算することもできる。
積和計算には、単純に描画画素のピクセルごとに同一の重みで計算することも可能である。または、積和計算では、特定のオブジェクトに注目して特定のオブジェクトへの光の寄与の重みを高めることや、周辺視野領域の重みを低くするなどして求める描画品質に応じて、調整することもできる。
このように、描画範囲や光の寄与に関する情報を用いて、空間情報を優先的に解析する領域を求めることで、可視範囲領域に含まれる情報を優先的に高精度に復元可能となり、高速な解析が可能となる。
【0033】
また、空間情報変換部１３による空間情報の変換における優先度の判定では、優先度判定部６０は、例えば、変換対象となる空間情報の優先度を判定する。
【0034】
ここで、図２を参照して、優先度判定部６０による優先度の判定の一例について説明する。図２は、本実施形態に係る優先度判定の一例を示す図である。図２には、描画処理時の可視範囲に基づき行われる優先度の判定の一例が示されている。
【0035】
図２には、描画位置・範囲を指定するカメラ２０１と、その可視範囲２０２が示されている。当該可視範囲２０２から、空間中の可視領域を得ることができる。図２に示す例では、可視範囲２０２内にオブジェクト２０３が存在し、可視範囲２０２外にオブジェクト２０４及びオブジェクト２０５が存在している。この場合、優先度判定部６０は、オブジェクト２０３を解析する優先度を高め、オブジェクト２０４及びオブジェクト２０５を解析する優先度を下げる。この場合、空間情報解析部１２は、当該優先度に基づき、可視範囲２０２に含まれるオブジェクトを優先的に解析することになる。例えば、空間情報解析部１２は、光源２０６の光がオブジェクト２０３の表面で反射してカメラ２０１まで届く経路２０７についてのみを解析することで、光源情報や光学特性情報を得る。これにより、優先度判定部６０は、空間情報解析部１２における解析処理を最適化することができる。
【0036】
ここで、図３を参照して、可視範囲の統合について説明する。図３は、本実施形態に係る可視範囲の統合の一例を示す図である。図３には、可視範囲２０２のカメラ２０１と、可視範囲３０２のカメラ３０１と、可視範囲４０２のカメラ４０１とが示されている。
【0037】
描画処理の対象となるカメラの位置や向きは、ユーザ操作などによって刻々と変化することが想定される。例えば、カメラ２０１の位置と向きは、カメラ３０１の位置と向きやカメラ４０１の位置と向きのように変化し得る。このため、例えば、カメラ２０１の位置と向きがカメラ３０１の位置と向きに変化した場合、優先度判定部６０は、カメラ３０１の可視範囲３０２をカメラ２０１の近傍領域も含むように広げて優先度を判定する。カメラ２０１の位置と向きがカメラ４０１の位置と向きに変化した場合も同様である。これにより、優先度判定部６０は、視点が移動した際に新たに含まれる可視領域の解析優先度を高めることができ、空間情報解析部１２における解析において高品質な解析結果が得られやすくすることができる。
【0038】
（７）処理時間記憶部７０
処理時間記憶部７０は、処理時間を示す情報を記憶する機能を有する。例えば、処理時間記憶部７０は、空間情報解析部１２による解析にて実行される各処理にかかる処理時間を記憶する。
処理時間記憶部７０は、処理時間を示す情報を記憶する機能を有する。例えば、処理時間記憶部７０は、空間情報解析部１２による解析にて実行される各処理にかかる処理時間を記憶する。
【0039】
＜２．処理の流れ＞
以上、本実施形態に係る画像処理システム１の機能構成について説明した。続いて、図４を参照して、本実施形態に係る画像処理システム１における処理の流れについて説明する。図４は、本実施形態に係る画像処理システム１における処理の流れの一例を示すフローチャートである。
以上、本実施形態に係る画像処理システム１の機能構成について説明した。続いて、図４を参照して、本実施形態に係る画像処理システム１における処理の流れについて説明する。図４は、本実施形態に係る画像処理システム１における処理の流れの一例を示すフローチャートである。
【0040】
図４に示すように、まず、描画処理用情報取得部１０の空間情報取得部１１は、空間情報を取得する（ステップＳ１０１）。例えば、空間情報取得部１１は、カメラによって撮影された撮影画像や３次元形状計測装置によって計測された情報から、形状情報を空間情報として取得する。取得された空間情報は、空間情報記憶部４０に記憶される。
【0041】
次いで、描画処理用情報取得部１０の空間情報解析部１２は、空間情報を解析する（ステップＳ１０２）。例えば、空間情報解析部１２は、ステップＳ１０１にて取得された形状情報を解析することで、光源情報や光学特性情報などを空間情報として取得する。解析された空間情報は、空間情報記憶部４０に記憶される。
【0042】
次いで、描画処理用情報取得部１０の空間情報変換部１３は、空間情報を変換する（ステップＳ１０３）。例えば、空間情報変換部１３は、ステップＳ１０１で取得された形状情報とステップＳ１０２にて取得された光源情報と光学特性情報とを含む空間情報を、描画処理用のデータに変換する。これにより、描画処理用情報が取得される。
【0043】
次いで、描画処理部２０は、３次元ＣＧの描画処理を行う（ステップＳ１０４）例えば、描画処理部２０は、ステップＳ１０３にて取得された描画処理用情報を用いて、３次元ＣＧを描画する。
次いで、描画表示部３０は、描画された３次元ＣＧを表示装置に表示する（ステップＳ１０５）。
次いで、描画表示部３０は、描画された３次元ＣＧを表示装置に表示する（ステップＳ１０５）。
【0044】
描画制御入力部５０は、描画条件の入力があったか否かを確認する（ステップＳ１０６）。描画条件の入力があった場合（ステップＳ１０６／ＹＥＳ）、処理はステップＳ１０７へ進む。一方、描画条件の入力がなかった場合（ステップＳ１０６／ＮＯ）、処理はステップＳ１０６を繰り返す。
【0045】
処理がステップＳ１０７へ進んだ場合、優先度判定部６０は、優先度の判定を行う（ステップＳ１０７）。例えば、優先度判定部６０は、ステップＳ１０４にて描画された３次元ＣＧの描画情報と、ステップＳ１０６にて入力された描画条件とに基づき、優先度を判定する。
判定後、判定された優先度に基づき、ステップＳ１０１からステップＳ１０５の処理が再度行われ、優先度が反映された描画が行われる。描画後、描画条件が再度入力された場合には、同様に優先度の判定から再描画までの処理が繰り返される。
判定後、判定された優先度に基づき、ステップＳ１０１からステップＳ１０５の処理が再度行われ、優先度が反映された描画が行われる。描画後、描画条件が再度入力された場合には、同様に優先度の判定から再描画までの処理が繰り返される。
【0046】
以上説明したように、本実施形態に係る画像処理システム１は、実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力部５０と、描画処理に用いる描画処理用情報と、描画制御入力部５０によって指定された描画条件とに基づき、３次元ＣＧを描画する描画処理部２０と、描画処理部２０によって描画された３次元ＣＧを示す描画情報と、描画制御入力部５０によって指定された描画条件とに基づき、描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定部６０と、優先度判定部６０によって判定された優先度に基づき、描画処理用情報取得処理によって描画処理用情報を取得する描画処理用情報取得部１０と、を備える。
【0047】
かかる構成により、画像処理システム１は、ユーザから描画条件が入力（変更）される度に、入力された描画条件（例えば視点位置の変更）に応じた優先度を判定し、当該優先度に応じた描画用の情報を再度取得し、３次元ＣＧを再描画することができる。即ち、画像処理システム１は、空間情報解析時にレンダリング時の見えに影響する度合いの大きくなる部分を算出し、その領域やデータを優先的もしくは高品質に解析することで、レンダリングに適したインバースレンダリング処理を実行している。これにより、画像処理システム１では、視点の動きによって将来的に可視になる空間範囲や、重点サンプリング法などを用いた光の相互反射の影響によって見えに重点的に影響がある領域の解析を複合的に用い、インバースレンダリング処理時に優先的に解析対象とすべき空間情報を選定し、ユーザの可視範囲領域を高精度にレンダリングすることが可能となる。
よって、本実施形態に係る画像処理システム１は、可視範囲の変化に合わせた動的なレンダリング処理における処理精度を向上するとともに処理時間を削減することを可能とする。
よって、本実施形態に係る画像処理システム１は、可視範囲の変化に合わせた動的なレンダリング処理における処理精度を向上するとともに処理時間を削減することを可能とする。
【0048】
以上、本発明の実施形態について説明した。なお、上述した実施形態における画像処理システム１の一部又は全部の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0049】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0050】
（付記１）
実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力部と、
前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理部と、
前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定部と、
前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得部と、
を備える画像処理システム。
実空間の３次元ＣＧを描画するための描画処理における描画条件を指定する描画制御入力部と、
前記描画処理に用いる描画処理用情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記３次元ＣＧを描画する描画処理部と、
前記描画処理部によって描画された前記３次元ＣＧを示す描画情報と、前記描画制御入力部によって指定された前記描画条件とに基づき、前記描画処理用情報を取得するための描画処理用情報取得処理における優先度を判定する優先度判定部と、
前記優先度判定部によって判定された前記優先度に基づき、描画処理用情報取得処理によって前記描画処理用情報を取得する描画処理用情報取得部と、
を備える画像処理システム。
【0051】
（付記２）
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を解析する空間情報解析部、
をさらに備え、
前記優先度判定部は、前記空間情報解析部による前記空間情報の解析における優先度を判定し、
前記空間情報解析部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を解析する、
付記１に記載の画像処理システム。
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を解析する空間情報解析部、
をさらに備え、
前記優先度判定部は、前記空間情報解析部による前記空間情報の解析における優先度を判定し、
前記空間情報解析部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を解析する、
付記１に記載の画像処理システム。
【0052】
（付記３）
前記優先度判定部は、描画時の直接描画領域の解析を第１優先、間接反射又はシャドウのレイのうち、どちらか一方又は両方が到達する空間の解析を第２優先として、前記空間情報の解析における優先度を判定し、
前記空間情報解析部は、前記第１優先と判定された解析を前記第２優先と判定された解析よりも優先的に行う、
付記２に記載の画像処理システム。
前記優先度判定部は、描画時の直接描画領域の解析を第１優先、間接反射又はシャドウのレイのうち、どちらか一方又は両方が到達する空間の解析を第２優先として、前記空間情報の解析における優先度を判定し、
前記空間情報解析部は、前記第１優先と判定された解析を前記第２優先と判定された解析よりも優先的に行う、
付記２に記載の画像処理システム。
【0053】
（付記４）
前記空間情報解析部は、前記優先度に応じて、前記３次元ＣＧを描画する解像度に合わせた解像度で前記空間情報の解析を行う、
付記２又は付記３に記載の画像処理システム。
前記空間情報解析部は、前記優先度に応じて、前記３次元ＣＧを描画する解像度に合わせた解像度で前記空間情報の解析を行う、
付記２又は付記３に記載の画像処理システム。
【0054】
（付記５）
前記優先度に応じて描画解像度が異なる解析結果を記憶する空間情報記憶部、
をさらに備え、
前記空間情報解析部は、解析時の優先度に応じた解析結果を前記空間情報記憶部から選択して用いる、
付記２から付記４のいずれか１つに記載の画像処理システム。
前記優先度に応じて描画解像度が異なる解析結果を記憶する空間情報記憶部、
をさらに備え、
前記空間情報解析部は、解析時の優先度に応じた解析結果を前記空間情報記憶部から選択して用いる、
付記２から付記４のいずれか１つに記載の画像処理システム。
【0055】
（付記６）
前記空間情報解析部による解析にて実行される各処理にかかる処理時間を記憶する処理時間記憶部、
をさらに備え、
前記空間情報解析部は、前記処理時間記憶部に記憶された各処理時間と、前記優先度判定部によって判定された優先度とに基づき、前記解析にかけられる時間に合わせて、前記解析にて実行する各処理の前記優先度又は各処理の処理速度を調整する、
付記２から付記５のいずれか１つに記載の画像処理システム。
前記空間情報解析部による解析にて実行される各処理にかかる処理時間を記憶する処理時間記憶部、
をさらに備え、
前記空間情報解析部は、前記処理時間記憶部に記憶された各処理時間と、前記優先度判定部によって判定された優先度とに基づき、前記解析にかけられる時間に合わせて、前記解析にて実行する各処理の前記優先度又は各処理の処理速度を調整する、
付記２から付記５のいずれか１つに記載の画像処理システム。
【0056】
（付記７）
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を取得する空間情報取得部、
をさらに備え、
前記優先度判定部は、前記空間情報取得部による前記空間情報の取得における優先度を判定し、
前記空間情報取得部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を取得する、
付記１から付記６のいずれか１つに記載の画像処理システム。
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を取得する空間情報取得部、
をさらに備え、
前記優先度判定部は、前記空間情報取得部による前記空間情報の取得における優先度を判定し、
前記空間情報取得部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を取得する、
付記１から付記６のいずれか１つに記載の画像処理システム。
【0057】
（付記８）
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を前記描画処理用情報に変換する空間情報変換部、
をさらに備え、
前記優先度判定部は、前記空間情報変換部による前記空間情報の変換における優先度を判定し、
前記空間情報変換部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を変換する、
付記１から付記７のいずれか１つに記載の画像処理システム。
前記描画処理用情報取得部は、
前記描画処理用情報を取得するために、前記実空間の空間情報を前記描画処理用情報に変換する空間情報変換部、
をさらに備え、
前記優先度判定部は、前記空間情報変換部による前記空間情報の変換における優先度を判定し、
前記空間情報変換部は、前記優先度判定部によって判定された前記優先度に基づき、前記空間情報を変換する、
付記１から付記７のいずれか１つに記載の画像処理システム。
【符号の説明】
【0058】
１…画像処理システム、１０…描画処理用情報取得部、１１…空間情報取得部、１２…空間情報解析部、１３…空間情報変換部、２０…描画処理部、３０…描画表示部、４０…空間情報記憶部、５０…描画制御入力部、６０…優先度判定部、７０…処理時間記憶部
【図1】
【図2】
【図3】
【図4】