知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035894
(43)【公開日】2024-03-15
(54)【発明の名称】画像処理システム、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 15/50 20110101AFI20240308BHJP
【ＦＩ】
G06T15/50 600
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022140506
(22)【出願日】2022-09-05
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】宮腰 辰美
【テーマコード（参考）】
5B080
【Ｆターム（参考）】
5B080AA18
5B080DA01
5B080DA06
5B080FA02
5B080GA11
(57)【要約】
【課題】実空間を撮影した画像のみを用いて、実空間の３次元ＣＧを生成するために必要な全ての情報を取得し、事前のカメラキャリブレーションを行うことなく実空間の３次元ＣＧを容易に生成することが可能な画像処理システム、画像処理方法、及びプログラムを提供する。
【解決手段】実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得し、実空間の３次元形状情報を取得し、撮影画像群から実空間内における照明情報と、実空間内に存在する物体の光学特性情報と、撮影画像群の各画像のカメラ情報とを推定し、撮影画像群と３次元形状情報との対応付けを行い、３次元形状情報と照明情報と光学特性情報とをカメラ情報を用いて対応付けた上でデータ形式を変換することで空間３次元形状情報と空間光源情報と空間光学特性情報とを生成し、カメラ情報と生成した各情報とを用いてレンダリングしＣＧ画像群を生成する画像処理システム。
【選択図】図１
【解決手段】実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得し、実空間の３次元形状情報を取得し、撮影画像群から実空間内における照明情報と、実空間内に存在する物体の光学特性情報と、撮影画像群の各画像のカメラ情報とを推定し、撮影画像群と３次元形状情報との対応付けを行い、３次元形状情報と照明情報と光学特性情報とをカメラ情報を用いて対応付けた上でデータ形式を変換することで空間３次元形状情報と空間光源情報と空間光学特性情報とを生成し、カメラ情報と生成した各情報とを用いてレンダリングしＣＧ画像群を生成する画像処理システム。
【選択図】図１
【特許請求の範囲】
【請求項1】
実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する画像データ取得部と、
前記実空間の３次元形状情報を取得する３次元形状情報取得部と、
前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定部と、
前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定部と、
前記画像データ取得部によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定部と、
前記３次元形状情報取得部によって取得された前記３次元形状情報と、前記照明情報推定部によって推定された前記照明情報と、前記光学特性情報推定部によって推定された前記光学特性情報とを、前記カメラ情報推定部によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換部と、
前記カメラ情報推定部によって推定された前記カメラ情報と、前記空間情報形式変換部によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング部と、
を備える画像処理システム。
前記実空間の３次元形状情報を取得する３次元形状情報取得部と、
前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定部と、
前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定部と、
前記画像データ取得部によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定部と、
前記３次元形状情報取得部によって取得された前記３次元形状情報と、前記照明情報推定部によって推定された前記照明情報と、前記光学特性情報推定部によって推定された前記光学特性情報とを、前記カメラ情報推定部によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換部と、
前記カメラ情報推定部によって推定された前記カメラ情報と、前記空間情報形式変換部によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング部と、
を備える画像処理システム。
【請求項2】
前記画像データ取得部によって取得された前記撮影画像群と、前記レンダリング部によって生成された前記ＣＧ画像群とに基づき、前記撮影画像群と前記ＣＧ画像群との間の誤差を最小化するように、前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とのうち少なくとも１つを最適化する空間情報最適化部、
をさらに備える請求項１に記載の画像処理システム。
をさらに備える請求項１に記載の画像処理システム。
【請求項3】
前記３次元形状情報取得部は、前記画像データ取得部よって取得された前記撮影画像群に基づき、前記実空間の３次元形状情報を推定する、
請求項１に記載の画像処理システム。
請求項１に記載の画像処理システム。
【請求項4】
前記３次元形状情報取得部は、機械学習モデルによって、前記撮影画像群に含まれる前記撮影画像を入力として前記撮影画像に対するデプスマップを前記３次元形状情報として推定する、
請求項３に記載の画像処理システム。
請求項３に記載の画像処理システム。
【請求項5】
前記３次元形状情報取得部は、３次元形状計測装置によって計測された情報を前記３次元形状情報として取得し、
前記カメラ情報推定部は、前記撮影画像群を、前記３次元形状情報に対応付けることで前記撮影画像群に対するカメラ情報を取得する、
請求項１に記載の画像処理システム。
前記カメラ情報推定部は、前記撮影画像群を、前記３次元形状情報に対応付けることで前記撮影画像群に対するカメラ情報を取得する、
請求項１に記載の画像処理システム。
【請求項6】
前記照明情報推定部は、機械学習モデルによって、前記撮影画像群に含まれる前記撮影画像を入力として前記実空間内における照明のクラスの分類を示す画像を前記照明情報として推定する、
請求項１から請求項５のいずれか１項に記載の画像処理システム。
請求項１から請求項５のいずれか１項に記載の画像処理システム。
【請求項7】
前記光学特性情報推定部は、機械学習モデルによって、前記撮影画像群に含まれる前記撮影画像を入力として前記撮影画像に対する光学特性を示す画像を前記光学特性情報として推定する、
請求項１から請求項５のいずれか１項に記載の画像処理システム。
請求項１から請求項５のいずれか１項に記載の画像処理システム。
【請求項8】
画像データ取得部が、実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する画像データ取得過程と、
３次元形状情報取得部が、前記実空間の３次元形状情報を取得する３次元形状情報取得過程と、
照明情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定過程と、
光学特性情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定過程と、
カメラ情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定過程と、
空間情報形式変換部が、前記３次元形状情報取得部によって取得された前記３次元形状情報と、前記照明情報推定部によって推定された前記照明情報と、前記光学特性情報推定部によって推定された前記光学特性情報とを、前記カメラ情報推定部によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換過程と、
レンダリング部が、前記カメラ情報推定部によって推定された前記カメラ情報と、前記空間情報形式変換部によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング過程と、
を含む画像処理方法。
３次元形状情報取得部が、前記実空間の３次元形状情報を取得する３次元形状情報取得過程と、
照明情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定過程と、
光学特性情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定過程と、
カメラ情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定過程と、
空間情報形式変換部が、前記３次元形状情報取得部によって取得された前記３次元形状情報と、前記照明情報推定部によって推定された前記照明情報と、前記光学特性情報推定部によって推定された前記光学特性情報とを、前記カメラ情報推定部によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換過程と、
レンダリング部が、前記カメラ情報推定部によって推定された前記カメラ情報と、前記空間情報形式変換部によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング過程と、
を含む画像処理方法。
【請求項9】
コンピュータを、
実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する画像データ取得手段と、
前記実空間の３次元形状情報を取得する３次元形状情報取得手段と、
前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定手段と、
前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定手段と、
前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定手段と、
前記３次元形状情報取得手段によって取得された前記３次元形状情報と、前記照明情報推定手段によって推定された前記照明情報と、前記光学特性情報推定手段によって推定された前記光学特性情報とを、前記カメラ情報推定手段によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換手段と、
前記カメラ情報推定手段によって推定された前記カメラ情報と、前記空間情報形式変換手段によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング手段と、
として機能させるためのプログラム。
実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する画像データ取得手段と、
前記実空間の３次元形状情報を取得する３次元形状情報取得手段と、
前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定手段と、
前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定手段と、
前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定手段と、
前記３次元形状情報取得手段によって取得された前記３次元形状情報と、前記照明情報推定手段によって推定された前記照明情報と、前記光学特性情報推定手段によって推定された前記光学特性情報とを、前記カメラ情報推定手段によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換手段と、
前記カメラ情報推定手段によって推定された前記カメラ情報と、前記空間情報形式変換手段によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来、実空間の情報を取得する技術として、多視点の画像から空間中の３次元形状、照明情報、光学特性情報などを取得し、取得した情報から空間情報を解析するインバースレンダリング技術がある。
【0003】
インバースレンダリング技術を用いて、任意の視点での映像生成が可能な実空間のフォトリアリスティックな３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を再構成する場合には、直接照明だけでなく間接照明の影響も考慮して映像生成を行うために、視点から見える範囲に影響する空間全体の構造情報、照明情報、及び光学特性情報が必要となる。そのため、実空間を写した多視点の画像から構造情報、照明情報、及び光学特性情報のそれぞれを推定する技術が必要となる。
【0004】
例えば、下記特許文献１には、実空間の空間構造を推定する技術として、構造物の撮影画像に基づいて、構造物の面及び交線の位置を自動計測し、構造物モデルを自動的に作成する技術が開示されている。
【0005】
また、例えば、下記特許文献２には、撮影した画像と、光源推定の基準となる基準物体の形状情報を用い、撮影画像中の基準物体の画像と基準物体の形状情報に基づいて、画像の光源環境を推定する技術が開示されている。
【0006】
また、例えば、下記特許文献３には、撮影した画像と、測定対象との距離を計測する計測手段を有し、異なる時刻で撮影した２枚以上の画像から測定対象の反射特性を推定する技術が開示されている。
【0007】
また、下記非特許文献１には、空間内の３次元形状情報と、空間全体を網羅するように撮影した複数の画像と、空間内におけるカメラの内部及び外部パラメータとから、Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｒｅｎｄｅｒｉｎｇ技術を用いたレイトレーシングによるパラメータ最適化を行うことにより、実空間内の物体の光学特性と空間内の光源を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１２－１０３１３４号公報
【特許文献2】特開２０１４－１５４１１３号公報
【特許文献3】特開２００２－３４０７９７号公報
【非特許文献】
【0009】
【非特許文献1】Ｍｅｒｌｉｎ Ｎｉｍｉｅｒ－Ｄａｖｉｄ，Ｚｈａｏ Ｄｏｎｇ，Ｗｅｎｚｅｌ Ｊａｋｏｂ，ａｎｄ Ａｎｔｏｎ Ｋａｐｌａｎｙａｎ， “Ｍａｔｅｒｉａｌ ａｎｄ ｌｉｇｈｔｉｎｇ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ ｃｏｍｐｌｅｘ ｉｎｄｏｏｒ ｓｃｅｎｅｓ ｗｉｔｈ ｔｅｘｔｕｒｅ－ｓｐａｃｅ ｄｉｆｆｅｒｅｎｔｉａｂｌｅ ｒｅｎｄｅｒｉｎｇ”， ３２ｎｄ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｒｅｎｄｅｒｉｎｇ， ｐａｇｅｓ ７３－８４， Ｅｕｒｏｇｒａｐｈｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ， ２０２１．
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上記特許文献１、特許文献２、及び特許文献３に示される各手法では、３次元ＣＧ空間を構成するための形状情報、照明情報、及び光学特性情報のうち、いずれか一つの情報のみを対象として推定を行っている。このため、各空間情報推定に使用する既知の情報が存在しない場合に推定ができないことが課題として挙げられる。加えて、形状情報、照明情報、及び光学特性情報を別々に推定した場合、各情報は対応付けられていない状態で得られる。このため、別々に推定した形状情報、照明情報、及び光学特性情報を一つの３次元ＣＧとして表現するためには、空間内の各物体の形状情報に対して照明情報や光学特性情報を対応付けた上で、各空間情報を３次元ＣＧとしてレンダリングするためのデータ形式へ変換することが必要であった。
【0011】
また、上記非特許文献１に示される手法では、各撮影画像に対して形状とカメラパラメータが既知であることを前提としている。そのため、撮影対象の空間が未知の場合には推定できないことや、撮影する際に事前にカメラキャリブレーションが必要であることが課題であった。
【0012】
上述の課題を鑑み、本発明の目的は、実空間を撮影した画像のみを用いて、実空間の３次元ＣＧを生成するために必要な全ての情報を取得し、事前のカメラキャリブレーションを行うことなく実空間の３次元ＣＧを容易に生成することが可能な画像処理システム、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0013】
上述の課題を解決するために、本発明の一態様に係る画像処理システムは、実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する画像データ取得部と、前記実空間の３次元形状情報を取得する３次元形状情報取得部と、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定部と、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定部と、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定部と、前記３次元形状情報取得部によって取得された前記３次元形状情報と、前記照明情報推定部によって推定された前記照明情報と、前記光学特性情報推定部によって推定された前記光学特性情報とを、前記カメラ情報推定部によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換部と、前記カメラ情報推定部によって推定された前記カメラ情報と、前記空間情報形式変換部によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング部と、を備える。
【0014】
本発明の一態様に係る、画像処理方法は、画像データ取得部が、実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する画像データ取得過程と、３次元形状情報取得部が、前記実空間の３次元形状情報を取得する３次元形状情報取得過程と、照明情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定過程と、光学特性情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定過程と、カメラ情報推定部が、前記画像データ取得部によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定過程と、空間情報形式変換部が、前記３次元形状情報取得部によって取得された前記３次元形状情報と、前記照明情報推定部によって推定された前記照明情報と、前記光学特性情報推定部によって推定された前記光学特性情報とを、前記カメラ情報推定部によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換過程と、レンダリング部が、前記カメラ情報推定部によって推定された前記カメラ情報と、前記空間情報形式変換部によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング過程と、を含む。
【0015】
本発明の一態様に係るプログラムは、コンピュータを、実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する画像データ取得手段と、前記実空間の３次元形状情報を取得する３次元形状情報取得手段と、前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記実空間内における照明に関する照明情報を推定する照明情報推定手段と、前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記実空間内に存在する物体の光学特性情報を推定する光学特性情報推定手段と、前記画像データ取得手段によって取得された前記撮影画像群に基づき、前記撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、前記撮影画像群と、前記３次元形状情報との対応付けを行うカメラ情報推定手段と、前記３次元形状情報取得手段によって取得された前記３次元形状情報と、前記照明情報推定手段によって推定された前記照明情報と、前記光学特性情報推定手段によって推定された前記光学特性情報とを、前記カメラ情報推定手段によって推定された前記カメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する空間情報形式変換手段と、前記カメラ情報推定手段によって推定された前記カメラ情報と、前記空間情報形式変換手段によって生成された前記空間３次元形状情報と、前記空間光源情報と、前記空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成するレンダリング手段と、として機能させる。
【発明の効果】
【0016】
本発明によれば、実空間を撮影した１枚以上の画像を入力として、空間内の物体の３次元形状と、空間内の光源と、空間内の物体の光学特性と、カメラパラメータとからなる３次元ＣＧパラメータの全てを取得する。これにより、取得した各情報の対応付け、各情報のデータ形式の変換、事前のカメラキャリブレーションを別途行う必要がなくなる。よって、実空間を撮影した画像のみを用いて、実空間の３次元ＣＧを生成するために必要な全ての情報を取得し、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）やＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）で活用可能な実空間のフォトリアリスティックな３次元ＣＧを容易に再現することができる。
【図面の簡単な説明】
【0017】
【図1】第１の実施形態に係る画像処理システムの機能構成の一例を示すブロック図である。
【図2】第１の実施形態に係る画像処理システムにおける処理の流れの一例を示すフローチャートである。
【図3】第１の実施形態に係る空間情報形式変換処理における形状情報変換処理の流れの一例を示すフローチャートである。
【図4】第１の実施形態に係る空間情報形式変換処理における照明情報変換処理の流れの一例を示すフローチャートである。
【図5】第１の実施形態に係る空間情報形式変換処理における光学特性情報変換処理の流れの一例を示すフローチャートである。
【図6】第２の実施形態に係る画像処理システムの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0018】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
以下では、実空間の空間情報を取得し、取得した空間情報を用いて、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を生成する画像処理システムについて説明する。空間情報は、３次元ＣＧのレンダリングに必要なパラメータであり、空間形状情報、空間光源情報、空間光学特性情報、及びカメラ情報などの情報を含む。
空間形状情報は、例えば３次元メッシュ形式で表される空間内における物体の３次元形状データである。
空間光源情報は、例えば空間内に存在する光源の位置、形状、強度、配光分布などからなるデータである。
空間光学特性情報は、例えばアルベド、法線マップ、ラフネスなどからなるＢｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ（ＢＲＤＦ）のパラメータである数値データ、或いは２次元画像データである。
カメラ情報は、実空間を写した２次元画像に対するカメラの内部パラメータと外部パラメータである。
以下では、実空間の空間情報を取得し、取得した空間情報を用いて、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を生成する画像処理システムについて説明する。空間情報は、３次元ＣＧのレンダリングに必要なパラメータであり、空間形状情報、空間光源情報、空間光学特性情報、及びカメラ情報などの情報を含む。
空間形状情報は、例えば３次元メッシュ形式で表される空間内における物体の３次元形状データである。
空間光源情報は、例えば空間内に存在する光源の位置、形状、強度、配光分布などからなるデータである。
空間光学特性情報は、例えばアルベド、法線マップ、ラフネスなどからなるＢｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ（ＢＲＤＦ）のパラメータである数値データ、或いは２次元画像データである。
カメラ情報は、実空間を写した２次元画像に対するカメラの内部パラメータと外部パラメータである。
【0019】
＜＜１．第１の実施形態＞＞
第１の実施形態では、実空間を写した２次元画像に基づき推定した情報から空間情報を取得し、取得した空間情報を用いて、３次元ＣＧを生成する画像処理システムについて説明する。
具体的に、第１の実施形態に係る画像処理システムは、実空間を網羅するように取得した少なくとも１枚の撮影画像から、実空間の３次元形状情報と、照明情報と、光学特性情報と、撮影画像取得時のカメラ情報とを推定した後に、推定した各情報間の対応付けと３次元ＣＧレンダリングのためのデータ変換を行うことで、各空間情報を取得する。その後、画像処理システム１は、変換後の各空間情報を用いてレンダリングした画像と撮影画像との間での誤差計算に基づいた各空間情報の最適化を繰り返すことで、推定した各空間情報の改善を行う。
以下、図１から図５を参照しながら第１の実施形態について詳しく説明する。
第１の実施形態では、実空間を写した２次元画像に基づき推定した情報から空間情報を取得し、取得した空間情報を用いて、３次元ＣＧを生成する画像処理システムについて説明する。
具体的に、第１の実施形態に係る画像処理システムは、実空間を網羅するように取得した少なくとも１枚の撮影画像から、実空間の３次元形状情報と、照明情報と、光学特性情報と、撮影画像取得時のカメラ情報とを推定した後に、推定した各情報間の対応付けと３次元ＣＧレンダリングのためのデータ変換を行うことで、各空間情報を取得する。その後、画像処理システム１は、変換後の各空間情報を用いてレンダリングした画像と撮影画像との間での誤差計算に基づいた各空間情報の最適化を繰り返すことで、推定した各空間情報の改善を行う。
以下、図１から図５を参照しながら第１の実施形態について詳しく説明する。
【0020】
＜１－１．画像処理システムの機能構成＞
図１を参照して、第１の実施形態に係る画像処理システム１の機能構成について説明する。図１は、第１の実施形態に係る画像処理システム１の機能構成の一例を示すブロック図である。
画像処理システム１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバなどの装置によって実現される。なお、画像処理システム１が有する機能や実行する処理は、１つの装置によって実現されてもよいし、複数の装置によって実現されてもよい。また、画像処理システム１による各処理は、空間形状情報、空間光源情報、空間光学特性情報、及びカメラ情報を生成できる処理であれば特に限定されない。
図１を参照して、第１の実施形態に係る画像処理システム１の機能構成について説明する。図１は、第１の実施形態に係る画像処理システム１の機能構成の一例を示すブロック図である。
画像処理システム１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバなどの装置によって実現される。なお、画像処理システム１が有する機能や実行する処理は、１つの装置によって実現されてもよいし、複数の装置によって実現されてもよい。また、画像処理システム１による各処理は、空間形状情報、空間光源情報、空間光学特性情報、及びカメラ情報を生成できる処理であれば特に限定されない。
【0021】
図１に示すように、画像処理システム１は、画像データ取得部１０と、３次元形状情報取得部２０と、照明情報推定部３０と、光学特性情報推定部４０と、カメラ情報推定部５０と、空間情報形式変換部６０と、レンダリング部７０と、空間情報最適化部８０とを備える。
【0022】
（１）画像データ取得部１０
画像データ取得部１０は、実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する機能を有する。画像データ取得部１０は、カメラから撮影画像を取得する。当該撮影画像は、実空間全体を網羅するようにカメラで撮影することによって生成された少なくとも１枚の画像である。なお、後述する３次元形状情報取得部２０及びカメラ情報推定部５０による３次元モデルと空間情報の生成方法によっては、画像データ取得部１０は、撮影画像を１枚のみ取得するように構成されてもよい。この場合に１枚のみ取得される撮影画像は、例えばパノラマ画像である。
画像データ取得部１０は、取得した撮影画像を３次元形状情報取得部２０と、照明情報推定部３０と、光学特性情報推定部４０と、カメラ情報推定部５０と、空間情報最適化部８０とへ出力する。
画像データ取得部１０は、実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する機能を有する。画像データ取得部１０は、カメラから撮影画像を取得する。当該撮影画像は、実空間全体を網羅するようにカメラで撮影することによって生成された少なくとも１枚の画像である。なお、後述する３次元形状情報取得部２０及びカメラ情報推定部５０による３次元モデルと空間情報の生成方法によっては、画像データ取得部１０は、撮影画像を１枚のみ取得するように構成されてもよい。この場合に１枚のみ取得される撮影画像は、例えばパノラマ画像である。
画像データ取得部１０は、取得した撮影画像を３次元形状情報取得部２０と、照明情報推定部３０と、光学特性情報推定部４０と、カメラ情報推定部５０と、空間情報最適化部８０とへ出力する。
【0023】
（２）３次元形状情報取得部２０
３次元形状情報取得部２０は、実空間の３次元形状情報を取得する機能を有する。第１の実施形態では、３次元形状情報取得部２０は、画像データ取得部１０よって取得された撮影画像群に基づき、実空間の３次元形状情報を推定し、取得する。この場合、３次元形状情報取得部２０は、例えば、機械学習モデルによって、撮影画像群に含まれる撮影画像を入力として撮影画像に対するデプスマップを３次元形状情報として推定する。一例として、３次元形状情報取得部２０は、２次元のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて、入力となる各画像の各画素に対して、奥行情報を２次元のデプスマップとして推定する。
３次元形状情報取得部２０は、推定した３次元形状情報を空間情報形式変換部６０へ出力する。
３次元形状情報取得部２０は、実空間の３次元形状情報を取得する機能を有する。第１の実施形態では、３次元形状情報取得部２０は、画像データ取得部１０よって取得された撮影画像群に基づき、実空間の３次元形状情報を推定し、取得する。この場合、３次元形状情報取得部２０は、例えば、機械学習モデルによって、撮影画像群に含まれる撮影画像を入力として撮影画像に対するデプスマップを３次元形状情報として推定する。一例として、３次元形状情報取得部２０は、２次元のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて、入力となる各画像の各画素に対して、奥行情報を２次元のデプスマップとして推定する。
３次元形状情報取得部２０は、推定した３次元形状情報を空間情報形式変換部６０へ出力する。
【0024】
（３）照明情報推定部３０
照明情報推定部３０は、実空間の照明情報を推定する機能を有する。照明情報推定部３０は、画像データ取得部１０によって取得された撮影画像群に基づき、実空間内における照明に関する照明情報を推定する。照明情報推定部３０は、例えば、機械学習モデルによって、撮影画像群に含まれる撮影画像を入力として実空間内における照明のクラスの分類を示す画像を照明情報として推定する。
一例として、照明情報推定部３０は、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎを行う２次元のＣＮＮを用いて、入力となる各画像の各画素に対して光源の有無と光源のタイプを識別し、２次元のセグメンテーション画像を照明情報として出力する。照明のクラスは、光源のタイプによって分類される。光源のタイプは、例えば面光源、点光源、又は光源以外の３つのタイプに分類される。２次元のＣＮＮを用いる場合、ＲＧＢ画像と、各光源のタイプと光源以外のクラスのセットからなる学習データにより事前学習を行う。
照明情報推定部３０は、推定した照明情報を空間情報形式変換部６０へ出力する。
照明情報推定部３０は、実空間の照明情報を推定する機能を有する。照明情報推定部３０は、画像データ取得部１０によって取得された撮影画像群に基づき、実空間内における照明に関する照明情報を推定する。照明情報推定部３０は、例えば、機械学習モデルによって、撮影画像群に含まれる撮影画像を入力として実空間内における照明のクラスの分類を示す画像を照明情報として推定する。
一例として、照明情報推定部３０は、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎを行う２次元のＣＮＮを用いて、入力となる各画像の各画素に対して光源の有無と光源のタイプを識別し、２次元のセグメンテーション画像を照明情報として出力する。照明のクラスは、光源のタイプによって分類される。光源のタイプは、例えば面光源、点光源、又は光源以外の３つのタイプに分類される。２次元のＣＮＮを用いる場合、ＲＧＢ画像と、各光源のタイプと光源以外のクラスのセットからなる学習データにより事前学習を行う。
照明情報推定部３０は、推定した照明情報を空間情報形式変換部６０へ出力する。
【0025】
（４）光学特性情報推定部４０
光学特性情報推定部４０は、光学特性情報を推定する機能を有する。光学特性情報推定部４０は、画像データ取得部１０によって取得された撮影画像群に基づき、実空間内に存在する物体の光学特性情報を推定する。光学特性情報推定部４０は、例えば、機械学習モデルによって、撮影画像群に含まれる撮影画像を入力として撮影画像に対する光学特性を示す画像を光学特性情報として推定する。
一例として、光学特性情報推定部４０は、２次元のＣＮＮを用いて、入力となる各画像の各画素に対してＢＲＤＦの各パラメータを推定し、２次元画像として光学特性情報を出力する。ＢＲＤＦは、例えばＣｏｏｋ－Ｔｏｒｒａｎｃｅモデルを使用する。ＢＲＤＦとしてＣｏｏｋ－Ｔｏｒｒａｎｃｅモデルを使用する場合、物体の光学特性はアルベド、法線、ラフネスの３パラメータを用いて表されるため、各撮影画像に対する光学特性情報は、アルベドマップ、法線マップ、ラフネスマップの３枚からなる２次元画像群となる。２次元のＣＮＮを用いる場合、ＲＧＢ画像とその物体のＢＲＤＦパラメータ画像群のセットからなる学習データにより事前学習を行う。
光学特性情報推定部４０は、推定した光学特性情報を空間情報形式変換部６０へ出力する。
光学特性情報推定部４０は、光学特性情報を推定する機能を有する。光学特性情報推定部４０は、画像データ取得部１０によって取得された撮影画像群に基づき、実空間内に存在する物体の光学特性情報を推定する。光学特性情報推定部４０は、例えば、機械学習モデルによって、撮影画像群に含まれる撮影画像を入力として撮影画像に対する光学特性を示す画像を光学特性情報として推定する。
一例として、光学特性情報推定部４０は、２次元のＣＮＮを用いて、入力となる各画像の各画素に対してＢＲＤＦの各パラメータを推定し、２次元画像として光学特性情報を出力する。ＢＲＤＦは、例えばＣｏｏｋ－Ｔｏｒｒａｎｃｅモデルを使用する。ＢＲＤＦとしてＣｏｏｋ－Ｔｏｒｒａｎｃｅモデルを使用する場合、物体の光学特性はアルベド、法線、ラフネスの３パラメータを用いて表されるため、各撮影画像に対する光学特性情報は、アルベドマップ、法線マップ、ラフネスマップの３枚からなる２次元画像群となる。２次元のＣＮＮを用いる場合、ＲＧＢ画像とその物体のＢＲＤＦパラメータ画像群のセットからなる学習データにより事前学習を行う。
光学特性情報推定部４０は、推定した光学特性情報を空間情報形式変換部６０へ出力する。
【0026】
（５）カメラ情報推定部５０
カメラ情報推定部５０は、カメラ情報を推定する機能を有する。カメラ情報推定部５０は、画像データ取得部１０によって取得された撮影画像群に基づき、撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、撮影画像群と３次元形状情報との対応付けを行う。一例として、カメラ情報推定部５０は、画像データ取得部１０によって取得された撮影画像の撮影時におけるカメラの内部パラメータ及びカメラの３次元座標をカメラ情報として推定する。カメラ情報推定部５０は、例えばＳｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ（ＳｆＭ）を用いて、カメラの内部パラメータ及びカメラの３次元座標を推定する。
カメラ情報推定部５０は、推定したカメラ情報を空間情報形式変換部６０へ出力する。
カメラ情報推定部５０は、カメラ情報を推定する機能を有する。カメラ情報推定部５０は、画像データ取得部１０によって取得された撮影画像群に基づき、撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、撮影画像群と３次元形状情報との対応付けを行う。一例として、カメラ情報推定部５０は、画像データ取得部１０によって取得された撮影画像の撮影時におけるカメラの内部パラメータ及びカメラの３次元座標をカメラ情報として推定する。カメラ情報推定部５０は、例えばＳｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ（ＳｆＭ）を用いて、カメラの内部パラメータ及びカメラの３次元座標を推定する。
カメラ情報推定部５０は、推定したカメラ情報を空間情報形式変換部６０へ出力する。
【0027】
（６）空間情報形式変換部６０
空間情報形式変換部６０は、空間情報を生成する機能を有する。空間情報形式変換部６０は、カメラ情報推定部５０によって推定されたカメラ情報に基づき、３次元形状情報取得部２０によって取得された３次元形状情報、照明情報推定部３０によって推定された照明情報、及び光学特性情報推定部４０によって推定された光学特性情報のデータ形式を空間情報のデータ形式へ変換する処理（以下、「空間情報形式変換処理」とも称される）を行う。
空間情報形式変換では、３次元形状情報、照明情報、及び光学特性情報がカメラ情報を用いて対応付けられた上で、後述するレンダリング部７０の入力データに対応したデータ形式に変換される。これにより、空間情報形式変換部６０は、レンダリングに必要なパラメータである空間形状情報（変換後の３次元形状情報）、空間光源情報（変換後の照明情報）、及び空間光学特性情報（変換後の光学特性情報）を空間情報として生成する。
空間情報形式変換部６０は、生成した空間情報をレンダリング部７０へ出力する。
空間情報形式変換部６０は、空間情報を生成する機能を有する。空間情報形式変換部６０は、カメラ情報推定部５０によって推定されたカメラ情報に基づき、３次元形状情報取得部２０によって取得された３次元形状情報、照明情報推定部３０によって推定された照明情報、及び光学特性情報推定部４０によって推定された光学特性情報のデータ形式を空間情報のデータ形式へ変換する処理（以下、「空間情報形式変換処理」とも称される）を行う。
空間情報形式変換では、３次元形状情報、照明情報、及び光学特性情報がカメラ情報を用いて対応付けられた上で、後述するレンダリング部７０の入力データに対応したデータ形式に変換される。これにより、空間情報形式変換部６０は、レンダリングに必要なパラメータである空間形状情報（変換後の３次元形状情報）、空間光源情報（変換後の照明情報）、及び空間光学特性情報（変換後の光学特性情報）を空間情報として生成する。
空間情報形式変換部６０は、生成した空間情報をレンダリング部７０へ出力する。
【0028】
空間情報形式変換部６０は、空間情報形式変換処理にて、形状情報変換処理、照明情報変換処理、及び光学特性情報変換処理をそれぞれ行う。
形状情報変換処理では、空間情報形式変換部６０は、例えば、３次元形状情報を３次元メッシュ形式の空間３次元形状情報に変換する。
照明情報変換処理では、空間情報形式変換部６０は、例えば、照明情報を空間内に存在する光源の位置、形状、強度、配光分布などからなる空間光源情報に変換する。
光学特性情報変換処理では、空間情報形式変換部６０は、例えば、光学特性情報を３次元形状の表面に対応したＵＶマップ形式のテクスチャ画像として表される空間光学特性情報に変換する。
各変換処理の詳細については後述する。
形状情報変換処理では、空間情報形式変換部６０は、例えば、３次元形状情報を３次元メッシュ形式の空間３次元形状情報に変換する。
照明情報変換処理では、空間情報形式変換部６０は、例えば、照明情報を空間内に存在する光源の位置、形状、強度、配光分布などからなる空間光源情報に変換する。
光学特性情報変換処理では、空間情報形式変換部６０は、例えば、光学特性情報を３次元形状の表面に対応したＵＶマップ形式のテクスチャ画像として表される空間光学特性情報に変換する。
各変換処理の詳細については後述する。
【0029】
（７）レンダリング部７０
レンダリング部７０は、レンダリングによって３次元ＣＧを生成する機能を有する。レンダリング部７０は、カメラ情報推定部５０によって推定されたカメラ情報と、空間情報形式変換部６０によって生成された空間３次元形状情報と、空間光源情報と、空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成する。例えば、レンダリング部７０は、Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｒｅｎｄｅｒｉｎｇによってレンダリングを行う。Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｒｅｎｄｅｒｉｎｇは、レンダリング画像から３次元ＣＧパラメータへの誤差逆伝播が可能なレンダリング手法である。また、レンダリング部７０は、例えば全カメラ情報の中からランダムに少なくとも１つ選択したカメラ情報に基づいてレンダリングを行う。
レンダリング部７０は、レンダリングによって３次元ＣＧを生成する機能を有する。レンダリング部７０は、カメラ情報推定部５０によって推定されたカメラ情報と、空間情報形式変換部６０によって生成された空間３次元形状情報と、空間光源情報と、空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成する。例えば、レンダリング部７０は、Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｒｅｎｄｅｒｉｎｇによってレンダリングを行う。Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｒｅｎｄｅｒｉｎｇは、レンダリング画像から３次元ＣＧパラメータへの誤差逆伝播が可能なレンダリング手法である。また、レンダリング部７０は、例えば全カメラ情報の中からランダムに少なくとも１つ選択したカメラ情報に基づいてレンダリングを行う。
【0030】
（８）空間情報最適化部８０
空間情報最適化部８０は、空間情報を最適化する機能を有する。空間情報最適化部８０は、画像データ取得部１０によって取得された撮影画像群と、レンダリング部７０によって生成されたＣＧ画像群とに基づき、撮影画像群とＣＧ画像群との間の誤差を最小化するように、空間３次元形状情報と、空間光源情報と、空間光学特性情報とのうち少なくとも１つを最適化する。
例えば、空間情報最適化部８０は、空間３次元形状情報、空間光源情報、又は空間光学特性情報の中からパラメータを選択し、画像データ取得部１０によって取得された撮影画像と、レンダリング部７０によって生成された対応するレンダリング画像との間の誤差計算を行う。誤差計算後、空間情報最適化部８０は、最小二乗法によって誤差を最小化するように、選択したパラメータの更新を行う。空間情報最適化部８０によるパラメータの更新後、レンダリング部７０は、更新後のパラメータを用いて再度レンダリングを行う。レンダリング部７０及び空間情報最適化部８０は、誤差が一定値以下になるまで、或いは最適化を行った回数が予め設定された回数の上限となるまで、レンダリング、誤差計算、及びパラメータの更新を繰り返し行う。これにより、空間情報最適化部８０は、空間情報の各パラメータの最適化を行う。
空間情報最適化部８０は、空間情報を最適化する機能を有する。空間情報最適化部８０は、画像データ取得部１０によって取得された撮影画像群と、レンダリング部７０によって生成されたＣＧ画像群とに基づき、撮影画像群とＣＧ画像群との間の誤差を最小化するように、空間３次元形状情報と、空間光源情報と、空間光学特性情報とのうち少なくとも１つを最適化する。
例えば、空間情報最適化部８０は、空間３次元形状情報、空間光源情報、又は空間光学特性情報の中からパラメータを選択し、画像データ取得部１０によって取得された撮影画像と、レンダリング部７０によって生成された対応するレンダリング画像との間の誤差計算を行う。誤差計算後、空間情報最適化部８０は、最小二乗法によって誤差を最小化するように、選択したパラメータの更新を行う。空間情報最適化部８０によるパラメータの更新後、レンダリング部７０は、更新後のパラメータを用いて再度レンダリングを行う。レンダリング部７０及び空間情報最適化部８０は、誤差が一定値以下になるまで、或いは最適化を行った回数が予め設定された回数の上限となるまで、レンダリング、誤差計算、及びパラメータの更新を繰り返し行う。これにより、空間情報最適化部８０は、空間情報の各パラメータの最適化を行う。
【0031】
＜１－２．処理の流れ＞
以上、第１の実施形態に係る画像処理システム１の機能構成について説明した。続いて、第１の実施形態に係る処理の流れについて説明する。図２は、第１の実施形態に係る画像処理システム１における処理の流れの一例を示すフローチャートである。
以上、第１の実施形態に係る画像処理システム１の機能構成について説明した。続いて、第１の実施形態に係る処理の流れについて説明する。図２は、第１の実施形態に係る画像処理システム１における処理の流れの一例を示すフローチャートである。
【0032】
図２に示すように、まず、画像データ取得部１０は、撮影画像を取得する（ステップＳ１０１）。具体的に、画像データ取得部１０は、３次元ＣＧの生成対象となる実空間の撮影に用いられたカメラから、少なくとも１枚の撮影画像を撮影画像群として取得する。
【0033】
次いで、３次元形状情報取得部２０は、３次元形状情報を推定する（ステップＳ１０２）。具体的に、３次元形状情報取得部２０は、画像データ取得部１０によって取得された撮影画像群に基づき、デプスマップを３次元形状情報として推定する。
【0034】
次いで、照明情報推定部３０は、照明情報を推定する（ステップＳ１０３）。具体的に、照明情報推定部３０は、画像データ取得部１０によって取得された撮影画像群に基づき、画素ごとに照明のクラスの分類を示す２次元のセグメンテーション画像を照明情報として推定する。
【0035】
次いで、光学特性情報推定部４０は、光学特性情報を推定する（ステップＳ１０４）。具体的に、光学特性情報推定部４０は、画像データ取得部１０によって取得された撮影画像群に基づき、光学特性を示す画像を光学特性情報として推定する。
【0036】
次いで、カメラ情報推定部５０は、カメラ情報を推定する（ステップＳ１０５）。具体的に、カメラ情報推定部５０は、画像データ取得部１０によって取得された撮影画像群に基づき、撮影時におけるカメラの内部パラメータ及びカメラの３次元座標をカメラ情報として推定する。
【0037】
次いで、空間情報形式変換部６０は、空間情報形式変換処理を行う（ステップＳ１０６）。空間情報形式変換部６０は、空間情報形式変換処理にて、形状情報変換処理と、照明情報変換処理と、光学特性情報変換処理とを行う。各変換処理の詳細は後述する。
【0038】
次いで、レンダリング部７０は、レンダリングを行う（ステップＳ１０７）。具体的に、レンダリング部７０は、カメラ情報推定部５０によって推定されたカメラ情報と、空間情報形式変換部６０によって生成された空間３次元形状情報と、空間光源情報と、空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成する。
【0039】
そして、空間情報最適化部８０は、空間情報を最適化する（ステップＳ１０８）。具体的に、空間情報最適化部８０は、画像データ取得部１０によって取得された撮影画像群と、レンダリング部７０によって生成されたＣＧ画像群とに基づき、撮影画像群とＣＧ画像群との間の誤差が最小となるように、レンダリング、誤差計算、及びパラメータの更新を繰り返し行うことで、空間情報を最適化する。
最適化後、画像処理システム１は処理を終了する。
最適化後、画像処理システム１は処理を終了する。
【0040】
ここで、図３から図５を参照して、空間情報形式変換部６０による空間情報形式変換処理について説明する。空間情報形式変換処理では、形状情報変換処理と、照明情報変換処理と、光学特性情報変換処理とがそれぞれ行われる。
【0041】
（１）形状情報変換処理の流れ
まず、空間情報形式変換部６０は、形状情報変換処理によって、３次元形状情報をメッシュ形式の空間３次元形状情報に変換する。図３は、第１の実施形態に係る空間情報形式変換処理における形状情報変換処理の流れの一例を示すフローチャートである。
まず、空間情報形式変換部６０は、形状情報変換処理によって、３次元形状情報をメッシュ形式の空間３次元形状情報に変換する。図３は、第１の実施形態に係る空間情報形式変換処理における形状情報変換処理の流れの一例を示すフローチャートである。
【0042】
図３に示すように、まず、空間情報形式変換部６０は、カメラ情報推定部５０によって推定されたカメラ情報を読み込む（ステップＳ２０１）。
次いで、空間情報形式変換部６０は、３次元形状情報取得部２０によって推定された３次元形状情報を読み込む（ステップＳ２０２）。
次いで、空間情報形式変換部６０は、読み込んだ３次元形状情報がデプスマップであるか否かを確認する（ステップＳ２０３）。３次元形状情報がデプスマップである場合（ステップＳ２０３／ＹＥＳ）、空間情報形式変換部６０は、処理をステップＳ２０４へ進める。一方、３次元形状情報がデプスマップでない場合（ステップＳ２０３／ＮＯ）、空間情報形式変換部６０は、処理をステップＳ２０５へ進める。
次いで、空間情報形式変換部６０は、３次元形状情報取得部２０によって推定された３次元形状情報を読み込む（ステップＳ２０２）。
次いで、空間情報形式変換部６０は、読み込んだ３次元形状情報がデプスマップであるか否かを確認する（ステップＳ２０３）。３次元形状情報がデプスマップである場合（ステップＳ２０３／ＹＥＳ）、空間情報形式変換部６０は、処理をステップＳ２０４へ進める。一方、３次元形状情報がデプスマップでない場合（ステップＳ２０３／ＮＯ）、空間情報形式変換部６０は、処理をステップＳ２０５へ進める。
【0043】
処理がステップＳ２０４へ進んだ場合、空間情報形式変換部６０は、カメラ情報に基づき、全てのデプスマップを統合して、１つの３次元点群を作成する（ステップＳ２０４）。空間情報形式変換部６０は、例えばデプスマップごとの点群の和をとることでデプスマップの統合を行う。
３次元点群の作成後、空間情報形式変換部６０は、処理をステップＳ２０６へ進める。
３次元点群の作成後、空間情報形式変換部６０は、処理をステップＳ２０６へ進める。
【0044】
処理がステップＳ２０５へ進んだ場合、空間情報形式変換部６０は、読み込んだ３次元形状情報が３次元点群であるか否かを確認する（ステップＳ２０５）。３次元形状情報が３次元点群である場合（ステップＳ２０５／ＹＥＳ）、空間情報形式変換部６０は、処理をステップＳ２０６へ進める。一方、３次元形状情報が３次元点群でない場合（ステップＳ２０５／ＮＯ）、空間情報形式変換部６０は、形状情報変換処理を終了する。
【0045】
処理がステップＳ２０６へ進んだ場合、空間情報形式変換部６０は、３次元点群の平滑化とノイズ除去を行う（ステップＳ２０６）。具体的に、空間情報形式変換部６０は、例えば注目点に対する近傍点を探索し、主成分分析によって平面を求める。そして、空間情報形式変換部６０は、平滑化の場合には注目点を一定の割合で平面に近づけ、ノイズ除去の場合には平面から離れている注目点を除去する。
【0046】
次いで、空間情報形式変換部６０は、３次元点群の法線推定を行う（ステップＳ２０７）。具体的に、空間情報形式変換部６０は、例えば注目点に対する近傍点を探索し、主成分分析によって平面を求める。そして、空間情報形式変換部６０は、平面の法線を注目点の法線とする。
【0047】
次いで、空間情報形式変換部６０は、３次元点群とその法線から３次元メッシュを生成する（ステップＳ２０８）。空間情報形式変換部６０は、例えばＰｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎを用いて、３次元メッシュを生成し、空間３次元形状情報とする。
３次元メッシュの生成後、空間情報形式変換部６０は、形状情報変換処理を終了する。
なお、ステップＳ２０５にて、３次元形状情報が３次元メッシュ形式であった場合、空間情報形式変換部６０は、ステップＳ２０６、ステップＳ２０７、ステップＳ２０８の処理をスキップする。
３次元メッシュの生成後、空間情報形式変換部６０は、形状情報変換処理を終了する。
なお、ステップＳ２０５にて、３次元形状情報が３次元メッシュ形式であった場合、空間情報形式変換部６０は、ステップＳ２０６、ステップＳ２０７、ステップＳ２０８の処理をスキップする。
【0048】
（２）照明情報変換処理の流れ
次に、空間情報形式変換部６０は、照明情報変換処理によって、照明情報を各画素の光源タイプに応じて空間光源情報に変換する。図４は、第１の実施形態に係る空間情報形式変換処理における照明情報変換処理の流れの一例を示すフローチャートである。
次に、空間情報形式変換部６０は、照明情報変換処理によって、照明情報を各画素の光源タイプに応じて空間光源情報に変換する。図４は、第１の実施形態に係る空間情報形式変換処理における照明情報変換処理の流れの一例を示すフローチャートである。
【0049】
図４に示すように、まず、空間情報形式変換部６０は、カメラ情報推定部５０によって推定されたカメラ情報を読み込む（ステップＳ３０１）。
次いで、空間情報形式変換部６０は、３次元形状情報取得部２０によって推定された３次元形状情報を読み込む（ステップＳ３０２）。
次いで、空間情報形式変換部６０は、照明情報推定部３０によって推定された照明情報を読み込む（ステップＳ３０３）。
次いで、空間情報形式変換部６０は、読み込んだ照明情報である２次元画像における対象画素における光源のタイプを確認する（ステップＳ３０４）。例えば、空間情報形式変換部６０は、照明情報が光源タイプでセグメンテーションされた２次元画像であり、当該画像が面光源、点光源、光源以外の三種類で分類されている場合、Ｓ３０４において各画素に対する光源タイプの確認を行う。
光源のタイプが面光源又は点光源である場合（ステップＳ３０４／ＹＥＳ）、空間情報形式変換部６０は、処理をステップＳ３０５へ進める。一方、光源のタイプが光源以外である場合（ステップＳ３０４／ＮＯ）、空間情報形式変換部６０は、照明情報変換処理を終了する。
次いで、空間情報形式変換部６０は、３次元形状情報取得部２０によって推定された３次元形状情報を読み込む（ステップＳ３０２）。
次いで、空間情報形式変換部６０は、照明情報推定部３０によって推定された照明情報を読み込む（ステップＳ３０３）。
次いで、空間情報形式変換部６０は、読み込んだ照明情報である２次元画像における対象画素における光源のタイプを確認する（ステップＳ３０４）。例えば、空間情報形式変換部６０は、照明情報が光源タイプでセグメンテーションされた２次元画像であり、当該画像が面光源、点光源、光源以外の三種類で分類されている場合、Ｓ３０４において各画素に対する光源タイプの確認を行う。
光源のタイプが面光源又は点光源である場合（ステップＳ３０４／ＹＥＳ）、空間情報形式変換部６０は、処理をステップＳ３０５へ進める。一方、光源のタイプが光源以外である場合（ステップＳ３０４／ＮＯ）、空間情報形式変換部６０は、照明情報変換処理を終了する。
【0050】
処理がステップＳ３０５へ進んだ場合、空間情報形式変換部６０は、カメラ情報に基づき、画素に対応するメッシュの面を算出する（ステップＳ３０５）。具体的に、空間情報形式変換部６０は、例えばカメラの内部パラメータ及びカメラの３次元座標に基づき、画素に対応する投射線を算出し、当該投射線と衝突し、かつカメラと衝突点との距離が最も小さいメッシュとすることで、画素に対応するメッシュの面を算出する。
【0051】
次いで、空間情報形式変換部６０は、光源のタイプを確認し、光源のタイプに応じた処理を行う（ステップＳ３０６）。光源のタイプが面光源である場合（ステップＳ３０６／ＹＥＳ）、空間情報形式変換部６０は、処理をステップＳ３０７へ進める。一方、光源の退部が面光源でない（即ち点光源である）場合（ステップＳ３０６／ＮＯ）、空間情報形式変換部６０は、処理をステップＳ３０８へ進める。
【0052】
処理がステップＳ３０７へ進んだ場合、空間情報形式変換部６０は、面光源である画素に対して、光源の位置が算出した対応メッシュの座標であり、光源形状が算出した対応メッシュの形状である面光源オブジェクトとしての設定を行う。設定後、空間情報形式変換部６０は、処理をステップＳ３０９へ進める。
【0053】
処理がステップＳ３０８へ進んだ場合、空間情報形式変換部６０は、点光源である画素に対して、光源の位置が算出した対応メッシュとの衝突位置である点光源オブジェクトとしての設定を行う。設定後、空間情報形式変換部６０は、処理をステップＳ３０９へ進める。
【0054】
処理がステップＳ３０９へ進んだ場合、空間情報形式変換部６０は、各光源オブジェクトに光源強度と配光分布を設定し、空間光源情報とする（ステップＳ３０９）。ここで、設定する光源強度は、例えば撮影画像上の画素値である。また、設定する配光分布は、例えば一様であるとする。
光源強度と配光分布の設定後、空間情報形式変換部６０は、照明情報変換処理を終了する。
光源強度と配光分布の設定後、空間情報形式変換部６０は、照明情報変換処理を終了する。
【0055】
（３）光学特性情報変換処理の流れ
次に、空間情報形式変換部６０は、光学特性情報変換処理によって、光学特性情報を空間３次元形状情報が示すメッシュに対するＵＶマップ形式の空間光学特性情報に変換する。図５は、第１の実施形態に係る空間情報形式変換処理における光学特性情報変換処理の流れの一例を示すフローチャートである。
次に、空間情報形式変換部６０は、光学特性情報変換処理によって、光学特性情報を空間３次元形状情報が示すメッシュに対するＵＶマップ形式の空間光学特性情報に変換する。図５は、第１の実施形態に係る空間情報形式変換処理における光学特性情報変換処理の流れの一例を示すフローチャートである。
【0056】
図５に示すように、まず、空間情報形式変換部６０は、カメラ情報推定部５０によって推定されたカメラ情報を読み込む（ステップＳ４０１）。
次いで、空間情報形式変換部６０は、３次元形状情報取得部２０によって推定された３次元形状情報を読み込む（ステップＳ４０２）。
次いで、空間情報形式変換部６０は、光学特性情報推定部４０によって推定された光学特性情報を読み込む（ステップＳ４０３）。
次いで、空間情報形式変換部６０は、３次元形状情報取得部２０によって推定された３次元形状情報を読み込む（ステップＳ４０２）。
次いで、空間情報形式変換部６０は、光学特性情報推定部４０によって推定された光学特性情報を読み込む（ステップＳ４０３）。
【0057】
次いで、空間情報形式変換部６０は、撮影画像内の各画素に対応するメッシュを算出する（ステップＳ４０４）。具体的に、空間情報形式変換部６０は、例えばカメラ情報に基づき画素に対応する投射線を算出し、当該投射線と衝突し、かつカメラと衝突点との距離が最も小さいメッシュを特定することで、撮影画像内の各画素に対するメッシュ上での位置を算出する。
【0058】
次いで、空間情報形式変換部６０は、特定したメッシュに対して逆ＵＶ変換を行うことで画素のＵＶマップ上での位置を特定する（ステップＳ４０５）。
次いで、空間情報形式変換部６０は、特定したＵＶマップ上での画素の位置に対して、光学特性情報を構成する各パラメータ画像の画素を記録する（ステップＳ４０６）。
次いで、空間情報形式変換部６０は、複数の画像間でＵＶマップ上の座標が重複した領域に対して、例えば重複した複数のパラメータ値の中央値を算出して記録する（ステップＳ４０７）。
次いで、空間情報形式変換部６０は、全ての画像の記録後に、値が記録されなかったＵＶマップ上の画素（座標）に対して、例えば近傍の記録された画素からの線形補間による補間を行う（ステップＳ４０８）。
補間後、空間情報形式変換部６０は、光学特性情報変換処理を終了する。
次いで、空間情報形式変換部６０は、特定したＵＶマップ上での画素の位置に対して、光学特性情報を構成する各パラメータ画像の画素を記録する（ステップＳ４０６）。
次いで、空間情報形式変換部６０は、複数の画像間でＵＶマップ上の座標が重複した領域に対して、例えば重複した複数のパラメータ値の中央値を算出して記録する（ステップＳ４０７）。
次いで、空間情報形式変換部６０は、全ての画像の記録後に、値が記録されなかったＵＶマップ上の画素（座標）に対して、例えば近傍の記録された画素からの線形補間による補間を行う（ステップＳ４０８）。
補間後、空間情報形式変換部６０は、光学特性情報変換処理を終了する。
【0059】
以上説明したように、第１の実施形態に係る画像処理システム１は、画像データ取得部１０と、３次元形状情報取得部２０と、照明情報推定部３０と、光学特性情報推定部４０と、カメラ情報推定部５０と、空間情報形式変換部６０と、レンダリング部７０とを備える。
画像データ取得部１０は、実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する。３次元形状情報取得部２０は、実空間の３次元形状情報を取得する。照明情報推定部３０は、画像データ取得部１０によって取得された撮影画像群に基づき、実空間内における照明に関する照明情報を推定する。光学特性情報推定部４０は、画像データ取得部１０によって取得された撮影画像群に基づき、実空間内に存在する物体の光学特性情報を推定する。カメラ情報推定部５０は、画像データ取得部１０によって取得された撮影画像群に基づき、撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、撮影画像群と、３次元形状情報との対応付けを行う。空間情報形式変換部６０は、３次元形状情報取得部２０によって取得された３次元形状情報と、照明情報推定部３０によって推定された照明情報と、光学特性情報推定部４０によって推定された光学特性情報とを、カメラ情報推定部５０によって推定されたカメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する。レンダリング部７０は、カメラ情報推定部５０によって推定されたカメラ情報と、空間情報形式変換部６０によって生成された空間３次元形状情報と、空間光源情報と、空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成する。
画像データ取得部１０は、実空間を撮影した少なくとも１枚の撮影画像を撮影画像群として取得する。３次元形状情報取得部２０は、実空間の３次元形状情報を取得する。照明情報推定部３０は、画像データ取得部１０によって取得された撮影画像群に基づき、実空間内における照明に関する照明情報を推定する。光学特性情報推定部４０は、画像データ取得部１０によって取得された撮影画像群に基づき、実空間内に存在する物体の光学特性情報を推定する。カメラ情報推定部５０は、画像データ取得部１０によって取得された撮影画像群に基づき、撮影画像群の各画像を撮影した際のカメラに関するカメラ情報を推定し、撮影画像群と、３次元形状情報との対応付けを行う。空間情報形式変換部６０は、３次元形状情報取得部２０によって取得された３次元形状情報と、照明情報推定部３０によって推定された照明情報と、光学特性情報推定部４０によって推定された光学特性情報とを、カメラ情報推定部５０によって推定されたカメラ情報を用いて対応付けた上でデータ形式を変換することで、レンダリングに必要なパラメータである空間３次元形状情報と、空間光源情報と、空間光学特性情報とを生成する。レンダリング部７０は、カメラ情報推定部５０によって推定されたカメラ情報と、空間情報形式変換部６０によって生成された空間３次元形状情報と、空間光源情報と、空間光学特性情報とを用いてレンダリングし、ＣＧ画像群を生成する。
【0060】
かかる構成により、第１の実施形態に係る画像処理システム１は、実空間を撮影した１枚以上の画像を入力として、空間内の物体の３次元形状と、空間内の光源と、空間内の物体の光学特性と、カメラパラメータとからなる３次元ＣＧパラメータの全てを取得することができる。これにより、画像処理システム１は、取得した各情報の対応付け、各情報のデータ形式の変換、事前のカメラキャリブレーションを別途行う必要がなくなる。
よって、第１の実施形態に係る画像処理システム１は、実空間を撮影した画像のみを用いて、実空間の３次元ＣＧを生成するために必要な全ての情報を取得し、事前のカメラキャリブレーションを行うことなく、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）やＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）で活用可能な実空間のフォトリアリスティックな３次元ＣＧを容易に生成することを可能とする。
よって、第１の実施形態に係る画像処理システム１は、実空間を撮影した画像のみを用いて、実空間の３次元ＣＧを生成するために必要な全ての情報を取得し、事前のカメラキャリブレーションを行うことなく、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）やＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）で活用可能な実空間のフォトリアリスティックな３次元ＣＧを容易に生成することを可能とする。
【0061】
＜＜２．第２の実施形態＞＞
以上、第１の実施形態について説明した。続いて、図６を参照して、第２の実施形態について説明する。
上述した第１の実施形態では、撮影画像から３次元形状情報が推定される例について説明したが、かかる例に限定されない。第２の実施形態では、３次元形状情報が３次元形状計測装置を用いて計測される例について説明する。なお、以下では、第１の実施形態における説明と重複する説明については、適宜省略する。
以上、第１の実施形態について説明した。続いて、図６を参照して、第２の実施形態について説明する。
上述した第１の実施形態では、撮影画像から３次元形状情報が推定される例について説明したが、かかる例に限定されない。第２の実施形態では、３次元形状情報が３次元形状計測装置を用いて計測される例について説明する。なお、以下では、第１の実施形態における説明と重複する説明については、適宜省略する。
【0062】
＜２－１．画像処理システムの機能構成＞
図６を参照して、第２の実施形態に係る画像処理システム１ａの機能構成について説明する。図６は、第２の実施形態に係る画像処理システム１ａの機能構成の一例を示すブロック図である。
図６を参照して、第２の実施形態に係る画像処理システム１ａの機能構成について説明する。図６は、第２の実施形態に係る画像処理システム１ａの機能構成の一例を示すブロック図である。
【0063】
図６に示すように、画像処理システム１ａは、画像データ取得部１０ａと、３次元形状情報取得部２０ａと、照明情報推定部３０と、光学特性情報推定部４０と、カメラ情報推定部５０ａと、空間情報形式変換部６０ａと、レンダリング部７０と、空間情報最適化部８０とを備える。
【0064】
（１）画像データ取得部１０ａ
画像データ取得部１０ａは、第１の実施形態に係る画像データ取得部１０と同様にして、撮影画像を取得する。ただし、取得した撮影画像の出力先は、照明情報推定部３０と、光学特性情報推定部４０と、カメラ情報推定部５０ａと、空間情報最適化部８０とであり、３次元形状情報取得部２０ａは出力先に含まれない。
画像データ取得部１０ａは、第１の実施形態に係る画像データ取得部１０と同様にして、撮影画像を取得する。ただし、取得した撮影画像の出力先は、照明情報推定部３０と、光学特性情報推定部４０と、カメラ情報推定部５０ａと、空間情報最適化部８０とであり、３次元形状情報取得部２０ａは出力先に含まれない。
【0065】
（２）３次元形状情報取得部２０ａ
３次元形状情報取得部２０ａは、３次元形状計測装置によって計測された情報を３次元形状情報として取得する。３次元形状情報取得部２０ａが取得する３次元形状情報は、画像データ取得部１０ａが取得する撮影画像に写る実空間の情報である。３次元形状情報取得部２０ａは、３次元形状計測装置を用いて、対象の実空間の３次元形状情報を１つの３次元点群として取得する。３次元形状計測装置は、例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）である。
３次元形状情報取得部２０ａは、３次元形状計測装置によって計測された情報を３次元形状情報として取得する。３次元形状情報取得部２０ａが取得する３次元形状情報は、画像データ取得部１０ａが取得する撮影画像に写る実空間の情報である。３次元形状情報取得部２０ａは、３次元形状計測装置を用いて、対象の実空間の３次元形状情報を１つの３次元点群として取得する。３次元形状計測装置は、例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）である。
【0066】
（３）照明情報推定部３０
第２の実施形態に係る照明情報推定部３０の機能は、第１の実施形態に係る照明情報推定部３０の機能と同様であるため、その説明を省略する。
第２の実施形態に係る照明情報推定部３０の機能は、第１の実施形態に係る照明情報推定部３０の機能と同様であるため、その説明を省略する。
【0067】
（４）光学特性情報推定部４０
第２の実施形態に係る光学特性情報推定部４０の機能は、第１の実施形態に係る光学特性情報推定部４０の機能と同様であるため、その説明を省略する。
第２の実施形態に係る光学特性情報推定部４０の機能は、第１の実施形態に係る光学特性情報推定部４０の機能と同様であるため、その説明を省略する。
【0068】
（５）カメラ情報推定部５０ａ
カメラ情報推定部５０ａは、画像データ取得部１０ａによって取得された撮影画像群と、３次元形状情報取得部２０ａによって取得された３次元形状情報とを入力として、カメラ情報を推定する。例えば、カメラ情報推定部５０ａは、撮影画像群を、３次元形状情報に対応付けることで撮影画像群に対するカメラ情報を取得する。
具体的に、カメラ情報推定部５０ａは、撮影画像と、照明情報と、光学特性情報と、３次元形状情報との対応付けを行うことで、カメラの内部パラメータ及びカメラの３次元座標（カメラ情報）を推定する。カメラ情報推定部５０ａは、例えばキャリブレーションボードを用いた撮影画像と３次元点群間のキャリブレーション手法に対応付けを行う。この場合、対象の実空間内にキャリブレーションボードを設置し、画像データ取得部１０ａと３次元形状情報取得部２０ａのそれぞれで、キャリブレーションボードを写した画像および３次元点群を取得する。そして、カメラ情報推定部５０ａは、特徴点のマッチングを行うことで画像撮影時のカメラの内部パラメータ及びカメラの３次元座標を推定する。
カメラ情報推定部５０ａは、画像データ取得部１０ａによって取得された撮影画像群と、３次元形状情報取得部２０ａによって取得された３次元形状情報とを入力として、カメラ情報を推定する。例えば、カメラ情報推定部５０ａは、撮影画像群を、３次元形状情報に対応付けることで撮影画像群に対するカメラ情報を取得する。
具体的に、カメラ情報推定部５０ａは、撮影画像と、照明情報と、光学特性情報と、３次元形状情報との対応付けを行うことで、カメラの内部パラメータ及びカメラの３次元座標（カメラ情報）を推定する。カメラ情報推定部５０ａは、例えばキャリブレーションボードを用いた撮影画像と３次元点群間のキャリブレーション手法に対応付けを行う。この場合、対象の実空間内にキャリブレーションボードを設置し、画像データ取得部１０ａと３次元形状情報取得部２０ａのそれぞれで、キャリブレーションボードを写した画像および３次元点群を取得する。そして、カメラ情報推定部５０ａは、特徴点のマッチングを行うことで画像撮影時のカメラの内部パラメータ及びカメラの３次元座標を推定する。
【0069】
（６）空間情報形式変換部６０ａ
空間情報形式変換部６０ａは、３次元形状情報取得部２０ａによって取得された３次元形状情報のデータ形式に応じた処理を行う点が、第１の実施形態に係る空間情報形式変換部６０と異なる。
例えば、空間情報形式変換部６０ａは、まず、３次元形状情報取得部２０ａによって取得された３次元形状情報をメッシュ形式の空間３次元形状情報に変換する。この時、例えば３次元形状情報が３次元点群である場合、点群とその法線から３次元メッシュを生成する。空間情報形式変換部６０ａは、例えばＰｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎを用いて３次元メッシュの生成を行う。その後、空間情報形式変換部６０ａは、第１の実施形態と同様の手順で、空間光源情報と空間光学特性情報を生成する。
空間情報形式変換部６０ａは、３次元形状情報取得部２０ａによって取得された３次元形状情報のデータ形式に応じた処理を行う点が、第１の実施形態に係る空間情報形式変換部６０と異なる。
例えば、空間情報形式変換部６０ａは、まず、３次元形状情報取得部２０ａによって取得された３次元形状情報をメッシュ形式の空間３次元形状情報に変換する。この時、例えば３次元形状情報が３次元点群である場合、点群とその法線から３次元メッシュを生成する。空間情報形式変換部６０ａは、例えばＰｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎを用いて３次元メッシュの生成を行う。その後、空間情報形式変換部６０ａは、第１の実施形態と同様の手順で、空間光源情報と空間光学特性情報を生成する。
【0070】
（７）レンダリング部７０
第２の実施形態に係るレンダリング部７０の機能は、第１の実施形態に係るレンダリング部７０の機能と同様であるため、その説明を省略する。
第２の実施形態に係るレンダリング部７０の機能は、第１の実施形態に係るレンダリング部７０の機能と同様であるため、その説明を省略する。
【0071】
（８）空間情報最適化部８０
第２の実施形態に係る空間情報最適化部８０の機能は、第１の実施形態に係る空間情報最適化部８０の機能と同様であるため、その説明を省略する。
第２の実施形態に係る空間情報最適化部８０の機能は、第１の実施形態に係る空間情報最適化部８０の機能と同様であるため、その説明を省略する。
【0072】
【0073】
以上説明した第２の実施形態に係る画像処理システム１ａは、第１の実施形態に係る画像処理システム１と同様に、実空間を撮影した画像のみを用いて、実空間の３次元ＣＧを生成するために必要な全ての情報を取得し、事前のカメラキャリブレーションを行うことなく実空間の３次元ＣＧを容易に生成することを可能とする。
【0074】
なお、上述した各実施形態におけるレンダリングでは、例えば微分可能レンダラが用いられる。微分可能レンダラは、形状の推定を苦手としている。このため、第１の実施形態にて微分可能レンダラが用いられる場合、各推定部が撮影画像から３次元形状情報、照明情報、及び光学特性情報を推定すると、空間情報最適化部８０による最適化計算において３次元形状情報の最適化精度が他の情報の最適化精度よりも低くなり得る。
そこで、第２の実施形態に係る画像処理システム１ａでは、３次元形状情報取得部２０ａは、画像データ取得部１０ａによって取得される撮影画像から３次元形状情報を推定せず、３次元形状計測装置によって計測される３次元形状情報を取得するようにしている。これにより、第２の実施形態に係る画像処理システム１ａでは、３次元形状情報については推定されたデータではなく計測されたデータが用いられるため、空間情報最適化部８０による３次元形状情報の最適化精度を向上させるとともに、計算速度を向上することができる。
そこで、第２の実施形態に係る画像処理システム１ａでは、３次元形状情報取得部２０ａは、画像データ取得部１０ａによって取得される撮影画像から３次元形状情報を推定せず、３次元形状計測装置によって計測される３次元形状情報を取得するようにしている。これにより、第２の実施形態に係る画像処理システム１ａでは、３次元形状情報については推定されたデータではなく計測されたデータが用いられるため、空間情報最適化部８０による３次元形状情報の最適化精度を向上させるとともに、計算速度を向上することができる。
【0075】
以上、本発明の実施形態について説明した。なお、上述した各実施形態における画像処理システム１及び画像処理システム１ａの機能の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0076】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0077】
１，１ａ…画像処理システム、１０，１０ａ…画像データ取得部、２０，２０ａ…３次元形状情報取得部、３０…照明情報推定部、４０…光学特性情報推定部、５０，５０ａ…カメラ情報推定部、６０，６０ａ…空間情報形式変換部、７０…レンダリング部、８０…空間情報最適化部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】