特開 2023-47882 画像生成装置、画像生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023047882

(43)【公開日】2023-04-06

(54)【発明の名称】画像生成装置、画像生成方法およびプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20230330BHJP

   G06T 19/00 20110101ALI20230330BHJP

   H04N 23/60 20230101ALI20230330BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

H04N5/232 290

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021157049

(22)【出願日】2021-09-27

(71)【出願人】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】森榮 晃彦

【テーマコード（参考）】

5B050

5B080

5C122

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA07

5B050EA07

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5B080AA00

5B080AA19

5B080BA02

5B080BA04

5B080CA01

5B080DA06

5B080FA02

5B080GA00

5C122EA12

5C122FA18

5C122FH04

5C122FH11

5C122FH18

5C122GE26

5C122HB01

(57)【要約】

【課題】自由視点画像を生成する際にアーティファクトを比較的小さくできるようにする。
【解決手段】画像生成装置が、三次元計測装置による点群データに基づいて、表示対象の三次元形状データを生成する描画用データ変換部と、前記表示対象の撮影画像を前記三次元形状データに描画した三次元モデルに基づいて、指定された視点位置および視線方向にて前記表示対象を見た場合の画像である自由視点画像を生成する自由視点画像生成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

三次元計測装置による点群データに基づいて、表示対象の三次元形状データを生成する描画用データ変換部と、
前記表示対象の撮影画像を前記三次元形状データに描画した三次元モデルに基づいて、指定された視点位置および視線方向にて前記表示対象を見た場合の画像である自由視点画像を生成する自由視点画像生成部と、
を備える画像生成装置。

【請求項2】

前記自由視点画像生成部は、複数の前記撮影画像それぞれの画素値に基づいて、前記撮影画像同士の位置合わせを行い、位置合わせ後の前記撮影画像上の位置と前記表示対象の三次元形状における位置との対応関係に基づいて、前記自由視点画像を生成する、
請求項１に記載の画像生成装置。

【請求項3】

前記点群データは前記表示対象の見え方を示す情報を含み、
前記自由視点画像生成部は、前記点群データに基づいて前記自由視点画像の画素値を決定する、
請求項１または請求項２に記載の画像生成装置。

【請求項4】

三次元計測装置による点群データに基づいて、表示対象の三次元形状データを生成し、
前記表示対象の撮影画像を前記三次元形状データに描画した三次元モデルに基づいて、指定された視点位置および視線方向にて前記表示対象を見た場合の画像である自由視点画像を生成する、
ことを含む画像生成方法。

【請求項5】

コンピュータに、
三次元計測装置による点群データに基づいて、表示対象の三次元形状データを生成することと、
前記表示対象の撮影画像を前記三次元形状データに描画した三次元モデルに基づいて、指定された視点位置および視線方向にて前記表示対象を見た場合の画像である自由視点画像を生成することと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像生成方法およびプログラムに関する。

【背景技術】

【0002】

実空間における自由視点画像を生成するための技術の一つに、イメージベースドレンダリングと呼ばれる技術がある。イメージベースドレンダリングでは、再現する対象（画像を生成する対象）を複数の方向から撮影し、得られた複数の画像を空間の構造に応じて重ね合わせて描画する。一般的なイメージベースドレンダリングでは、再現する対象を撮影した画像に基づいて、再現する対象の簡易形状を復元しておく。そして、撮影した複数の画像を簡易形状上に合成することで画像を生成する。

【0003】

例えば、特許文献１には、複数のカメラを用いて撮影した画像から自由視点画像を合成する方法が記載されている。特許文献１に記載の方法では、複数のカメラのカメラパラメータを推定し、その推定結果から三次元形状を復元する。そして、特許文献１に記載の方法では、撮影したカメラの画像を三次元形状に投影することで自由視点画像を生成する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１９／２２５６８２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

一般的なイメージベースドレンダリングでは、再現する対象の簡易形状と真の形状との誤差の影響、および、画像を撮影するカメラの位置推定の誤差の影響により、複数の画像を重ね合わせる際に画像が正確に一致せず、合成される画像が二重に見えてしまうといったアーティファクト（意図しないノイズ）が生じ得る。

【0006】

本発明の目的の一例は、自由視点画像を生成する際にアーティファクトを比較的小さくすることができる、画像生成装置、画像生成方法およびプログラムを提供することである。

【課題を解決するための手段】

【0007】

本発明の第１の態様によれば、画像生成装置は、三次元計測装置による点群データに基づいて、表示対象の三次元形状データを生成する描画用データ変換部と、前記表示対象の撮影画像を前記三次元形状データに描画した三次元モデルに基づいて、指定された視点位置および視線方向にて前記表示対象を見た場合の画像である自由視点画像を生成する自由視点画像生成部と、を備える。

【0008】

本発明の第２の態様によれば、画像生成方法は、三次元計測装置による点群データに基づいて、表示対象の三次元形状データを生成し、前記表示対象の撮影画像を前記三次元形状データに描画した三次元モデルに基づいて、指定された視点位置および視線方向にて前記表示対象を見た場合の画像である自由視点画像を生成する、ことを含む。

【0009】

本発明の第３の態様によれば、プログラムは、コンピュータに、三次元計測装置による点群データに基づいて、表示対象の三次元形状データを生成することと、前記表示対象の撮影画像を前記三次元形状データに描画した三次元モデルに基づいて、指定された視点位置および視線方向にて前記表示対象を見た場合の画像である自由視点画像を生成することと、を実行させるためのプログラムである。

【発明の効果】

【0010】

この発明によれば、自由視点画像を生成する際にアーティファクトを比較的小さくすることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る画像生成システムの構成の例を示すブロック図である。

【図2】実施形態に係る画像生成システムで扱われるデータの例を示す図である。

【図3】実施形態に係る画像生成装置が自由視点画像を生成する処理手順の例を示すフローチャートである。

【図4】実施形態に係る自由視点画像生成部が行う画像の位置合わせの例を示す図である。

【図5】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

図１は、実施形態に係る画像生成システムの構成の例を示すブロック図である。図１示す構成で、画像生成システム１は、画像生成装置１０と、点群取得部１０１と、画像取得部１１１とを備える。画像生成装置１０は、データ統合部１０３と、描画用データ変換部１０４と、自由視点画像生成部１０５とを備える。

【0014】

画像生成システム１は、自由視点画像を生成する。具体的には、画像生成システム１は、自由視点画像における表示対象の三次元形状データを三次元計測結果に基づいて生成する。自由視点画像における表示対象を、単に表示対象とも称する。
そして、画像生成システム１は、表示対象の撮影画像に基づいて表示対象の三次元形状に表示対象を描画した三次元モデルを生成する。画像生成システム１は、設定される視点位置および視線方向での三次元モデルの見えを計算して自由視点画像を生成する。

【0015】

点群取得部１０１は、三次元空間を測定し、空間内における物の位置情報を点群データ（Point Cloud Data）で出力する。点群取得部１０１の構成としていろいろな三次元計測装置を用いることができる。例えば、点群取得部１０１が、ＬｉＤＡＲ（Light Detection And Ranging）などのレーザー計測器、または、赤外線方式の深度計測器を用いて構成されていてもよいが、これらに限定されない。

【0016】

点群取得部１０１は、複数の地点で測定を行い、それぞれの地点からの測定結果を点群データで出力する。１つの地点での測定で得られる点群データを１つの点群データとも称する。複数の地点それぞれで測定して得られる点群データを複数の点群データとも称する。
点群取得部１０１が、複数の三次元計測装置を含んで構成されていてもよい。あるいは、点群取得部１０１が、移動可能な三次元計測装置を含んで構成されていてもよい。

【0017】

点群取得部１０１が出力する点群データに色の情報が含まれていてもよい。色の情報を含む点群データを色付き点群データとも称する。
点群取得部１０１が色付き点群データを出力する場合、自由視点画像生成部１０５が、点群データから再現される三次元形状に画像を投影する際に、色情報を用いて画像の位置合わせを行うことができる。自由視点画像生成部１０５は、この点で、位置合わせを高精度に行うことができる。また、点群取得部１０１が色付き点群データを出力する場合、その色付き点群データを描画用データとして用いることができる。
このように、点群取得部１０１が色付き点群データを出力する場合、自由視点画像生成部１０５が、より高精度に自由視点画像を生成できると期待される。

【0018】

点群データに含まれる表示対象の見え方を示す情報は、色の情報に限定されない。例えば、点群データが、表示対象の各部の明るさを示す情報を含んでいてもよい。この場合、自由視点画像生成部１０５が、グレースケールの自由視点画像を生成するようにしてもよい。

【0019】

画像取得部１１１は、撮影を行って画像データを生成し出力する。画像取得部１１１の構成としていろいろな撮影装置を用いることができる。例えば、画像取得部１１１が、一般的なデジタルカメラまたはパノラマ撮影カメラを含んで構成されていてもよい。あるいは、画像取得部１１１がビデオカメラを含んで構成されて動画像データを出力し、画像生成装置１０が、動画像の各フレームのデータを用いて自由視点画像を生成するようにしてもよい。

【0020】

画像取得部１１１は、複数の地点で撮影を行い、それぞれの地点での撮影画像データを出力する。画像取得部１１１が、複数の撮影装置を含んで構成されていてもよい。あるいは、画像取得部１１１が、移動可能な撮影装置を含んで構成されていてもよい。

【0021】

画像生成装置１０は、点群取得部１０１が取得する点群データと、画像取得部１１１が取得する画像データとに基づいて自由視点画像を生成する。
画像生成装置１０は、例えばコンピュータを用いて構成される。画像生成装置１０が、１つのコンピュータ上に構成されるなど、１つの装置として構成されていてもよい。あるいは、画像生成装置１０が、複数の装置の組み合わせによって構成されていてもよい。例えば、データ統合部１０３および描画用データ変換部１０４として機能するコンピュータと別に、自由視点画像生成部１０５として機能する高速なグラフィクス計算を実行可能なコンピュータが設けられていてもよい。

【0022】

データ統合部１０３は、点群取得部１０１が取得した複数の点群データに対して、これらの点群データを同一の座標軸上に表すための位置合わせを行う。この場合の同一の座標軸を統一座標軸と称し、統一座標軸による座標を統一座標と称する。複数のデータを統一座標で表すための処理をデータの統合とも称し、統合された点群データを統合点群データとも称する。

【0023】

さらにデータ統合部１０３は、画像取得部１１１が撮影した複数の画像のそれぞれについて、画像取得部１１１がその画像を撮影した位置、向き、および画角を推定し、統一座標空間での位置、向きおよび画角、またはこれらのうちの一部を統一座標で表す撮影情報を生成する。画像取得部１１１がさらに、撮影装置の焦点距離、画像のアスペクト比またはレンズのゆがみパラメータ、あるいはこれらの組み合わせなど、撮影の位置、向き、および画角以外の情報を含む撮影情報を生成するようにしてもよい。撮影情報を、カメラパラメータとも称する。

【0024】

描画用データ変換部１０４は、データ統合部１０３が統合した点群データに対して、描画用のハードウェアで効率的に処理できるようにするための処理を行う。例えば、描画用データ変換部１０４は、点群データのうち重複しているデータを削除する。また、描画用データ変換部１０４は、データ統合部１０３が統合した点群データに基づいて、表示対象の三次元形状を示す三次元メッシュデータを生成する。

【0025】

描画用データ変換部１０４が、画像取得部１１１が取得した画像データを、自由視点画像生成に適したデータ形式に変換するようにしてもよい。例えば、画像取得部１１１が画像データを圧縮して画像生成装置１０に送信する場合、描画用データ変換部１０４が、圧縮データを解凍（復元）するか、あるいは、加工可能な圧縮データ形式に変換するようにしてもよい。

【0026】

図２は、画像生成システム１で扱われるデータの例を示す図である。図２の例で、データ統合部１０３は、点群統合処理部１０７と、カメラパラメータ推定部１１３とを備える。

【0027】

図２の例で、点群取得部１０１は、Ｎ箇所（Ｎは正の整数）で三次元計測を行ってＮ個の点群データ１０６－１から１０６－Ｎを取得している。点群データ１０６－１から１０６－Ｎを総称して点群データ１０６とも表記する。
点群統合処理部１０７は、点群データ１０６－１から１０６－Ｎを統合することで、統合点群データ１０８に変換する。

【0028】

得られた統合点群データ１０８は、複数の点群データを統合したものであり、データの重複などそのままではグラフィック計算に適さないデータとなっている。そこで、描画用データ変換部１０４は、統合点群データ１０８に対して重複データの削除する軽量化を行うことで、描画用点群データ１１５に変換する。
さらに描画用データ変換部１０４は、描画用点群データ１１５を三次元メッシュデータ化することで、表示対象の三次元形状データを生成する。

【0029】

また、図２の例で画像取得部１１１は、Ｍ箇所（Ｍは正の整数）で撮影を行って、Ｍ個の画像データ１１２－１から１１２－Ｍを取得している。画像データ１１２－１から１１２－Ｍを総称して画像データ１１２とも表記する。
カメラパラメータ推定部１１３は、画像データ１１２－１から１１２－Ｍそれぞれについて、統合点群データ１０８の点群構造とのマッチング処理を行い、画像データ１１２－１から１１２－Ｍそれぞれの撮影位置および撮影の方向を推定する。カメラパラメータ推定部１１３は、推定結果の撮影位置情報および撮影方向情報を含むカメラパラメータ１１４－１から１１４－Ｍを生成する。カメラパラメータ１１４－１から１１４－Ｍを総称してカメラパラメータ１１４とも表記する。ｉを１≦ｉ≦Ｍの整数として、画像データ１１２－ｉとカメラパラメータ１１４－ｉとが一対一に対応する。カメラパラメータ１１４－ｉは、画像データ１１２－ｉの撮影に関する情報を示す。

【0030】

ただし、カメラパラメータ推定部１１３が、撮影位置情報および撮影方向情報を取得する方法は、特定の方法に限定されない。例えば、画像取得部１１１を構成する撮影装置がセンサーを備えて撮影の位置および方向を測定し、撮影位置情報および撮影方向情報を画像生成装置１０へ送信するようにしてもよい。そして、カメラパラメータ推定部１１３が、撮影装置からの受信信号から撮影位置情報および撮影方向情報を読み出すようにしてもよい。

【0031】

図３は、画像生成装置１０が自由視点画像を生成する処理手順の例を示すフローチャートである。
図３の処理で、データ統合部１０３は、データ読込および処理の初期化を行う（ステップＳ３０１）。特に、データ統合部１０３は、描画に用いる点群データ、三次元形状データ、撮影画像、および、カメラパラメータを読み込む。
そして、データ統合部１０３は、複数の点群データを統合して統合点群データに変換する。

【0032】

次に、描画用データ変換部１０４は、自由視点画像を生成する視点位置および視線方向を設定する（ステップＳ３０２）。例えば、描画用データ変換部１０４は、ユーザが入力する視点位置および視線方向の指定に従って、視点位置および視線方向を設定する。
また、描画用データ変換部１０４は、統合点群データのうち重複しているデータを削除して描画用点群データに変換する。

【0033】

ステップＳ３０２で得られた描画用点群データが色付き点群データである場合、自由視点画像生成部１０５は、ステップＳ３０２で設定された視点位置および視線方向による自由視点画像の描画を、色付き点群データを用いて行う（ステップＳ３０３）。ステップＳ３０３の処理は、ステップＳ３０４からＳ３０８の処理と並列実行することができる。
一方、描画用点群データが色付き点群データでは無い場合は、自由視点画像生成部１０５は、ステップＳ３０３の処理を行わない。この場合は、ステップＳ３０９での画像合成重み計算でも、ステップＳ３０３での計算結果を用いない。

【0034】

また、ステップＳ３０２の後、自由視点画像生成部１０５は、ステップＳ３０２で設定された視点位置および視線方向に基づいて、三次元形状の描画処理を行う（ステップＳ３０４）。具体的には、自由視点画像生成部１０５は、表示対象の三次元形状（三次元座標）を算出する。
次に、自由視点画像生成部１０５は、ステップＳ３０４での三次元形状の描画処理の結果に基づいて、描画する各画素の座標を計算する（ステップＳ３０５）。具体的には、自由視点画像生成部１０５は、自由視点画像における二次元座標の画素と、ステップＳ３０４で算出した三次元座標との対応付けを行う。自由視点画像における画素を描画画素とも称し、座標ｘ，ｙで表記する。

【0035】

次に、自由視点画像生成部１０５は、描画画素ｘ，ｙ毎に、その画素の値の計算に用いる画像データを選択する（ステップＳ３０６）。例えば、自由視点画像生成部１０５は、ステップＳ３０２で設定された視点位置および視線方向と、各画像データの撮影時の撮影位置（撮影装置の位置）および撮影方向（例えば、撮影装置のレンズの光軸の方向）との類似度を算出する。そして、自由視点画像生成部１０５は、類似度が所定値以上の画像データを選択する。

【0036】

次に、自由視点画像生成部１０５は、ステップＳ３０６で選択した画像からさらに絞り込みを行う（ステップＳ３０７）。具体的には、自由視点画像生成部１０５は、描画画素ｘ，ｙ毎に、ステップＳ３０６で選択した画像のそれぞれについて、描画画素ｘ，ｙが可視か否かを判定する。すなわち、自由視点画像生成部１０５は、表示対象のうち描画画素ｘ，ｙに相当する部分が画像に映っているか否かを判定する。
描画画素ｘ，ｙが可視であると判定した場合、自由視点画像生成部１０５は、その画像を採用する。一方、描画画素ｘ，ｙが可視でないと判定した場合、自由視点画像生成部１０５は、その画像をその描画画素ｘ，ｙの描画に用いる画像から除外する。

【0037】

次に、自由視点画像生成部１０５は、ステップＳ３０７で選択した画像の位置合わせを行う（ステップＳ３０８）。ここで、データ統合部１０３のカメラパラメータ推定部１１３が算出するカメラパラメータには多少の誤差が含まれると考えられる。この誤差により、ステップＳ３０７で選択した画像データをそのまま用いると、自由視点画像が二重になるなどのアーティファクトが生じる可能性がある。そこで、自由視点画像生成部１０５は、例えば画像中の模様のマッチング処理により、複数の撮影画像の重ね合わせを行う。これにより、自由視点画像生成部１０５は、画像の位置ずれの影響を低減させる。

【0038】

次に、自由視点画像生成部１０５は、ステップＳ３０８で位置合わせを行った画像群の画素値と、ステップＳ３０３で点群描画データから描画する画素値との重み計算を行う（ステップＳ３０９）。例えば、自由視点画像生成部１０５は、自由視点画像での画素の位置と、ステップＳ３０８で位置合わせを行った画像群における画素の位置とのずれの大きさを算出する。また、自由視点画像生成部１０５は、自由視点画像での画素の位置と、ステップＳ３０３での描画にける画素の位置とのずれの大きさを算出する。そして、自由視点画像生成部１０５が、画素の位置のずれが小さいほど重み係数の値を大きく算出するようにしてもよい。
なお、ステップＳ３０３の処理を行わない場合は、ステップＳ３０９では、ステップＳ３０８で位置合わせを行った画像データをそのまま採用する。

【0039】

そして、自由視点画像生成部１０５は、ステップＳ３０９で算出した重み付けデータを用いて自由視点画像の画素の値を算出する（ステップＳ３１０）。
ステップＳ３１０の後、画像生成システム１は図３の処理を終了する。

【0040】

図４は、自由視点画像生成部１０５が行う画像の位置合わせの例を示す図である。図４に示す処理は、ステップＳ３０８での処理の例に該当する。
図４の例で、自由視点画像４０１の画素ｘ，ｙが、表示対象の三次元形状の表面４０２における微小領域と対応付けられている。この微小領域は、例えば自由視点画像生成部１０５が、視点位置および視線方向の設定に基づいて三次元形状データ上で計算する。

【0041】

また、自由視点画像生成部１０５は、ステップＳ３０７で採用したｎ個の画像（ｎは正の整数）のそれぞれについて、表示対象の三次元形状の表面４０２における微小領域と対応付けられる画素を、カメラパラメータに基づいて計算する。表示対象の三次元形状の表面４０２における微小領域と対応付けられる画素を被選択画素とも称する。

【0042】

そして、自由視点画像生成部１０５は、画像間の位置合わせを行う。例えば、自由視点画像生成部１０５は、画像間での被選択画素の画素値の差の大きさの指標値を算出する。この指標値をエネルギー量とも称する。自由視点画像生成部１０５は、エネルギー量が減少するように、画素の選択を変えていく。図４の例では、自由視点画像生成部１０５は、画像１１２－１の被選択画素を、画素（ｕ１，ｖ１）から画素（ｕ１’，ｖ１’）に変更している。画像１１２－２から１１２－ｎについても同様に、自由視点画像生成部１０５は、被選択画素を変更している。
このように、自由視点画像生成部１０５は、撮影画像の画素値に基づいて撮影画像の位置合わせを行う。
自由視点画像生成部１０５は、被選択画素の画素値に基づいて、自由視点画像における画素値を算出する。

【0043】

以上のように、描画用データ変換部１０４は、点群取得部１０１の三次元計測装置による点群データに基づいて、表示対象の三次元形状データを生成する。自由視点画像生成部１０５は、表示対象の撮影画像を三次元形状データに描画した三次元モデルに基づいて、指定された視点位置および視線方向にて表示対象を見た場合の画像である自由視点画像を生成する。

【0044】

画像生成装置１０が、画像取得部１１１の撮影装置とは別に設けられる点群取得部１０１の三次元計測装置による点群データを取得する点で、表示対象の高精度な三次元位置データを取得して、表示対象の三次元形状を高精度に算出できると期待される。これにより、画像生成装置１０では、自由視点画像を生成する際にアーティファクトを比較的小さくすることができる。

【0045】

また、自由視点画像生成部１０５は、複数の撮影画像それぞれの画素値に基づいて、撮影画像同士の位置合わせを行い、位置合わせ後の撮影画像上の位置と三次元形状における位置との対応関係に基づいて、自由視点画像を生成する。
これにより、画像生成装置１０は、表示対象の三次元形状における位置と撮影画像における位置とを比較的高精度に対応付けることができる。画像生成装置１０によれば、この点でも、自由視点画像を生成する際にアーティファクトを比較的小さくすることができる。

【0046】

また、点群取得部１０１が取得する点群データは、表示対象の見え方を示す情報を含む。自由視点画像生成部１０５は、点群データに基づいて自由視点画像の画素値を決定する。
画像生成装置１０では、点群データにおける位置情報と紐付けられた見え方の情報を用いる点で、自由視点画像をより高精度に生成できると期待される。また、画像生成装置１０では、画像取得部１１１が取得する画像では、表示対象の一部が写っていない場合でも、点群データに基づいて表示対象の画像を自由視点画像に表現できると期待される。

【0047】

図５は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図５に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。

【0048】

上記の画像生成装置１０またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。

【0049】

画像生成装置１０がコンピュータ７００に実装される場合、データ統合部１０３と、描画用データ変換部１０４と、自由視点画像生成部１０５との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、画像生成装置１０が処理を行うための記憶領域を主記憶装置７２０に確保する。

【0050】

画像生成装置１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。画像生成装置１０とユーザとのインタラクションは、インタフェース７４０が表示装置等の出力デバイスを備えてユーザに情報を提供し、また、キーボードおよびマウス等の入力デバイスとを備えてユーザによる入力操作を受け付けることで実行される。

【0051】

なお、画像生成装置１０の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0052】

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0053】

１ 画像生成システム
１０ 画像生成装置
１０１ 点群取得部
１０３ データ統合部
１０４ 描画用データ変換部
１０５ 自由視点画像生成部
１０７ 点群統合処理部
１１１ 画像取得部
１１３ カメラパラメータ推定部

【図1】

【図2】

【図3】

【図4】

【図5】