特許 7729650 プログラム、情報処理装置、及び適応密度制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-08-18

(45)【発行日】2025-08-26

(54)【発明の名称】プログラム、情報処理装置、及び適応密度制御方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20250819BHJP

   G06T 17/00 20060101ALI20250819BHJP

【ＦＩ】

G06T7/70 Z

G06T17/00

【請求項の数】 7

(21)【出願番号】P 2024168310

(22)【出願日】2024-09-27

【審査請求日】2025-06-23

【早期審査対象出願】

(73)【特許権者】

【識別番号】520442690

【氏名又は名称】ｂｅｓｔａｔ株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】松田 尚子

(72)【発明者】

【氏名】大橋 良右

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】BERNHARD KERBL et al.，３Ｄ Gaussian Splatting for Real-Time Radiance Field Redering，arXiv，米国，Cornell Univ.，2023年08月08日，https://arxiv.org/abs/2308.04079

【文献】QIYUAN FENG et al.，A New Split Algorithm for ３Ｄ Gaussian Splatting，arXiv，米国，Cornell Univ.，2024年03月14日，https://arxiv.org/abs/2403.09143

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｔ １７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
物体を撮影した複数の画像と、該複数の画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報と、をそれぞれ対応付けて取得する取得手段と、
仮想空間に配置された複数の３Ｄガウシアンのそれぞれを、該仮想空間において前記カメラのそれぞれに対応するスクリーンに投影した投影ガウシアンを算出する算出手段と、
前記複数の３Ｄガウシアンのうち、前記スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になるものを抽出する抽出手段と、
抽出された３Ｄガウシアンの中から、不透明度に応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させる分裂手段、
として機能させるためのプログラム。

【請求項2】

前記分裂手段は、抽出された前記３Ｄガウシアンの中から、前記不透明度、及び前記投影ガウシアンの最大のサイズのそれぞれに応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させる
請求項１に記載のプログラム。

【請求項3】

前記コンピュータを、
計算負荷が所定水準未満のときに、前記複数の３Ｄガウシアンのうち、条件を満たすものを複製する複製手段、
として機能させるための請求項１に記載のプログラム。

【請求項4】

前記コンピュータを、
分裂した前記３Ｄガウシアンのそれぞれを、元の３Ｄガウシアンの位置に基づいて配置する配置手段、
として機能させるための請求項１に記載のプログラム。

【請求項5】

コンピュータを、
物体を撮影した複数の画像と、該複数の画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報と、をそれぞれ対応付けて取得する取得手段と、
仮想空間に配置された複数の３Ｄガウシアンのそれぞれを、該仮想空間において前記カメラのそれぞれに対応するスクリーンに投影した投影ガウシアンを算出する算出手段と、
前記複数の３Ｄガウシアンのうち、不透明度に応じた確率で３Ｄガウシアンを選択する選択手段と、
選択された３Ｄガウシアンの中から、前記スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になる３Ｄガウシアンを、総体積が維持されるように複数に分裂させる分裂手段、
として機能させるためのプログラム。

【請求項6】

物体を撮影した複数の画像と、該複数の画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報と、をそれぞれ対応付けて取得する取得手段と、
仮想空間に配置された複数の３Ｄガウシアンのそれぞれを、該仮想空間において前記カメラのそれぞれに対応するスクリーンに投影した投影ガウシアンを算出する算出手段と、
前記複数の３Ｄガウシアンのうち、前記スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になるものを抽出する抽出手段と、
抽出された３Ｄガウシアンの中から、不透明度に応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させる分裂手段と、
を有する情報処理装置。

【請求項7】

コンピュータが、物体を撮影した複数の画像と、該複数の画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報と、をそれぞれ対応付けて取得するステップと、
コンピュータが、仮想空間に配置された複数の３Ｄガウシアンのそれぞれを、該仮想空間において前記カメラのそれぞれに対応するスクリーンに投影した投影ガウシアンを算出するステップと、
コンピュータが、前記複数の３Ｄガウシアンのうち、前記スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になるものを抽出するステップと、
コンピュータが、抽出された３Ｄガウシアンの中から、不透明度に応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させるステップと、
を含むことを特徴とする３Ｄガウシアンの適応密度制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の視点から物体を撮影した画像を使って、その物体を任意の視点から見た画像を新たに生成する技術に関する。

【背景技術】

【0002】

フォトグラメトリーは、複数の視点から物体を撮影した画像（撮影画像ともいう）から、その物体の立体形状を推定する技術である。例えば、特許文献１は、フォトグラメトリーの技術として、複数台のカメラの映像から被写体の三次元（３Ｄ）モデルを生成する装置及び方法を開示する。

【0003】

さらに、複数の視点から物体を撮影した撮影画像に基づいて、仮想空間におけるその物体（仮想物体ともいう）を任意の視点（仮想視点ともいう）から見たときの画像（仮想画像ともいう）を生成する技術が研究されている。この技術として、ＮｅＲＦ（Neural Radiance Fields）、及びＮｅｕＳ（Neural Implicit Surface）が知られているが、機械学習にかかる負荷が大きく、時間がかかるという問題がある。

【0004】

一方、高速かつ高品質なレンダリングを実現する技術として３ＤＧＳ（3D Gaussian Splatting）が注目されている。３ＤＧＳとは、３Ｄ（三次元）の仮想空間に、３Ｄガウシアンと呼ばれる楕円体を配置して、それら３Ｄガウシアンのパラメータを元の撮影画像に合うように最適化することにより、３Ｄシーンを再現する技術である。

【0005】

３ＤＧＳは、ＮｅＲＦ等が用いる暗黙的な表現と異なり、仮想空間における仮想物体を３Ｄガウシアンという楕円体で明示的に表現するため、レンダリング処理を短時間で行うことができる。また、３ＤＧＳは、微分可能なラスタライゼーションを使用するので、例えば、ＧＰＵ（Graphics Processing Unit）を用いることで、ボリュームレンダリングを使用するＮｅＲＦ等に比べて処理を高速化できる。例えば、非特許文献１～３は、この３ＤＧＳに関する各種の手法を開示している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２１－７１７４９号公報

【非特許文献】

【0007】

【文献】https://arxiv.org/abs/2308.04079

【文献】https://arxiv.org/abs/2404.06109

【文献】https://ubc-vision.github.io/3dgs-mcmc/

【発明の概要】

【発明が解決しようとする課題】

【0008】

３Ｄシーンを再現するには、３Ｄシーンの詳細に応じたサイズの３Ｄガウシアンが必要である。このような３Ｄガウシアンを得ることは、初期状態の３Ｄガウシアンのサイズを元の撮影画像との比較によって最適化するだけでは限界がある。そこで、３ＤＧＳは、この最適化処理に加えて、初期化の際に配置した３Ｄガウシアンを所定条件に応じて複製、又は分裂させている。３Ｄガウシアンを分裂・複製させて、その密度を調整する制御は、一般に「適応密度制御」と呼ばれる。

【0009】

しかし、例えば、非特許文献３のような従来の技術において、３Ｄガウシアンの適応密度制御は、仮想空間において一定のサイズ未満の３Ｄガウシアンを複製し、一定のサイズ以上の３Ｄガウシアンのみを分裂させる、という処理である。そのため、従来技術は、元の撮影画像に表現されていた物体の詳細を再現できない場合がある。

【0010】

本発明の目的の一つは、従来技術に比べて、撮影画像に表現されていた物体の詳細を再現するのに適した３Ｄガウシアンの適応密度制御を実現すること、である。

【課題を解決するための手段】

【0011】

本発明は、一の態様において、コンピュータを、物体を撮影した複数の画像と、該複数の画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報と、をそれぞれ対応付けて取得する取得手段と、仮想空間に配置された複数の３Ｄガウシアンのそれぞれを、該仮想空間において前記カメラのそれぞれに対応するスクリーンに投影した投影ガウシアンを算出する算出手段と、前記複数の３Ｄガウシアンのうち、前記スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になるものを抽出する抽出手段と、抽出された３Ｄガウシアンの中から、不透明度に応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させる分裂手段、として機能させるためのプログラムを提供する。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係る情報処理装置１の構成の例を示す図。

【図2】画像ＤＢ１２１の例を示す図。

【図3】カメラ情報ＤＢ１２２の例を示す図。

【図4】撮影画像とカメラ位置と示す図。

【図5】撮影画像のそれぞれにおける特徴点の対応関係を示す図。

【図6】仮想空間における三次元特徴点を示す図。

【図7】ガウシアンＤＢ１２３の例を示す図。

【図8】３Ｄガウシアンを説明するための図。

【図9】情報処理装置１の機能的構成の例を示す図。

【図10】適応密度制御手段１１５の構成の例を示す図。

【図11】情報処理装置１の動作の流れの例を示すフロー図。

【図12】分裂処理の動作の流れの例を示すフロー図。

【図13】変形例における分裂処理の動作の流れの例を示すフロー図。

【図14】変形例における適応密度制御手段１１５の構成の例を示す図。

【図15】変形例における情報処理装置１の機能的構成の例を示す図。

【発明を実施するための形態】

【0013】

＜実施形態＞
＜情報処理装置の構成＞
図１は、本発明の実施形態に係る情報処理装置１の構成の例を示す図である。情報処理装置１は、複数の視点から物体を撮影した撮影画像のそれぞれに基づいて、仮想空間においてその物体に対応する仮想物体を仮想視点から見た仮想画像を生成する装置であり、例えば、コンピュータである。情報処理装置１は、プロセッサ１１、メモリ１２、及びインタフェース１３を有する。これらの構成は、例えばバスで、互いに通信可能に接続されている。

【0014】

プロセッサ１１は、メモリ１２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読出して実行することにより情報処理装置１の各部を制御する。プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）又はＧＰＵである。

【0015】

インタフェース１３は、有線又は無線により情報処理装置１を、通信回線、外部の装置等に通信可能に接続する通信回路である。

【0016】

メモリ１２は、プロセッサ１１に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ１２は、ＲＡＭ（Random Access Memory）、又はＲＯＭ（Read Only Memory）を有する。メモリ１２は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。また、メモリ１２は、画像ＤＢ１２１、カメラ情報ＤＢ１２２、及びガウシアンＤＢ１２３を記憶する。

【0017】

情報処理装置１は、操作部、表示部を有してもよい。操作部は、操作を受付けてその操作内容に応じた信号をプロセッサ１１に送る構成である。この操作部は、例えば、各種の指示をするための操作ボタン、キーボード、タッチパネル、マウス等の操作子を備えてもよい。

【0018】

この表示部は、プロセッサ１１の制御の下で画像を表示する構成である。この表示部は、液晶ディスプレイ等の表示画面を有してもよい。また、この表示画面の上には、上述した操作部の透明のタッチパネルが重ねて配置されてもよい。情報処理装置１は、インタフェース１３を介して外部の装置から操作され、又は外部の装置に情報を提示してもよい。

【0019】

＜画像ＤＢの構成＞
図２は、画像ＤＢ１２１の例を示す図である。画像ＤＢ１２１は、複数の視点から物体を撮影した撮影画像を記憶するデータベースである。図２に示すこの画像ＤＢ１２１は、画像ＩＤに対応付けて画像データを記憶する。画像ＩＤは、撮影画像のそれぞれを一意に識別する識別情報である。画像データは、撮影画像の内容を示すデータである。画像ＤＢ１２１に記憶されているこれら撮影画像は、共通の物体等を異なる視点からそれぞれ撮影した画像である。なお、画像ＤＢ１２１は、撮影の対象となった物体（被写体）、又はシーンごとにグループ分けされていてもよい。すなわち、画像ＤＢ１２１は、被写体、シーンごとに一連の撮影画像（撮影画像群）をプロセッサ１１が取得できるように記憶していればよい。

【0020】

＜カメラ情報ＤＢの構成＞
図３は、カメラ情報ＤＢ１２２の例を示す図である。カメラ情報ＤＢ１２２は、撮影画像のそれぞれを撮影したカメラの位置等の情報（カメラ情報という）を、その撮影画像の画像ＩＤに対応付けて記憶するデータベースである。図３に示すこのカメラ情報ＤＢ１２２は、画像ＩＤ、位置、向き、撮影範囲の各項目を対応付けて記憶する。

【0021】

カメラ情報ＤＢ１２２における「画像ＩＤ」は、撮影画像のそれぞれを一意に識別する識別情報であって、上述した画像ＤＢ１２１と共通する情報である。カメラ情報ＤＢ１２２における「位置」は、対応する画像ＩＤで識別される撮影画像を撮影したときの実際の空間（実空間Ｓｐ）におけるカメラの位置を示す情報であり、例えば、直交座標系における三次元座標で示される。

【0022】

例えば、このカメラ情報ＤＢ１２２によると、画像ＩＤ「Ｉ１」で識別される撮影画像は、（ｘ１，ｙ１，ｚ１）で示される座標に存在するカメラから撮影されたことが示されている。

【0023】

カメラ情報ＤＢ１２２における「向き」は、撮影画像を撮影したカメラのレンズが実空間Ｓｐにおいて向いている方向を示す情報であり、例えば、三次元ベクトルで示される。カメラ情報ＤＢ１２２における「撮影範囲」は、撮影画像を撮影したカメラによって撮影される範囲を決定するパラメータ等の情報であり、例えば、焦点距離、画角、カメラの画像センサーの中心位置等である。

【0024】

図１に示す情報処理装置１は、複数の視点から物体を撮影した撮影画像のそれぞれをカメラから取得し画像ＤＢ１２１に記憶するが、その時点で、それら撮影画像を撮影したカメラの位置、向き、撮影範囲等を記憶していない。そこで、この情報処理装置１は、例えば、ＳｆＭ（Structure from Motion）等により、撮影画像からそれらを撮影したカメラの位置等のカメラ情報を計算してカメラ情報ＤＢ１２２に記憶する。

【0025】

図４は、撮影画像とカメラ位置と示す図である。以下に示す図において、各構成が配置される実空間をｘｙｚ右手系座標空間として、仮想空間をＸＹＺ右手系座標空間として、それぞれ表す。空間においてｘ軸に沿う方向をｘ軸方向という。また、ｘ軸方向のうち、ｘ成分が増加する方向を＋ｘ方向といい、ｘ成分が減少する方向を－ｘ方向という。ｙ、ｚ成分、及びＸ、Ｙ、Ｚ成分についても、上記の定義に沿ってｙ軸方向、＋ｙ方向、－ｙ方向、ｚ軸方向、＋ｚ方向、－ｚ方向、Ｘ軸方向、＋Ｘ方向、－Ｘ方向、Ｙ軸方向、＋Ｙ方向、－Ｙ方向、Ｚ軸方向、＋Ｚ方向、－Ｚ方向、が定義される。

【0026】

図４には、実空間Ｓｐに存在する物体Ｊを視点（ｘ１，ｙ１，ｚ１）、及び視点（ｘ２，ｙ２，ｚ２）からそれぞれカメラで撮影して、撮影画像Ｉ１、及び撮影画像Ｉ２を得る様子が描かれている。

【0027】

図５は、撮影画像のそれぞれにおける特徴点の対応関係を示す図である。情報処理装置１は、異なる視点から撮影された複数の撮影画像のそれぞれから、複数の特徴点を抽出する。そして、情報処理装置１は、撮影画像におけるそれら特徴点の配置関係、周囲の形状、階調値の分布、勾配等に基づいて、特徴点どうしの対応関係を推測する。例えば、情報処理装置１は、撮影画像Ｉ１における特徴点Ｐａ１、Ｐｂ１、Ｐｃ１が、それぞれ撮影画像Ｉ２における特徴点Ｐａ２、Ｐｂ２、Ｐｃ２に対応すると推定する。

【0028】

図６は、仮想空間における三次元特徴点を示す図である。情報処理装置１は、上述した通り、撮影画像のそれぞれにおける特徴点を特定して、それら特徴点どうしの対応関係を推定する。この対応関係とは、実空間にある物体の一点を複数の視点から撮影した、という関係である。情報処理装置１は、特徴点の対応関係を推定することで、それらの特徴点の基となった物体の一点を特定する。そして、情報処理装置１は、この一点に応じた仮想空間Ｓｖ上の点を「三次元特徴点」として算出する。

【0029】

例えば、図６に示す例において、三次元特徴点Ｐａ、Ｐｂ、Ｐｃは、図５に示す撮影画像Ｉ１において特徴点Ｐａ１、Ｐｂ１、Ｐｃ１にそれぞれ対応している。また、三次元特徴点Ｐａ、Ｐｂ、Ｐｃは、図５に示す撮影画像Ｉ２における特徴点Ｐａ２、Ｐｂ２、Ｐｃ２にそれぞれ対応している。そして、情報処理装置１は、算出した三次元特徴点と撮影画像における特徴点とを結ぶ線上にカメラの位置を、カメラの向き、撮影範囲とともに算出する。

【0030】

＜ガウシアンＤＢの構成＞
図７は、ガウシアンＤＢ１２３の例を示す図である。ガウシアンＤＢ１２３は、３Ｄガウシアンを記憶するデータベースである。３Ｄガウシアンは、仮想空間において仮想物体を再現するために使われる楕円体であり、位置、向き、形状、色、不透明度等の各種のパラメータを有する。図７に示すこのガウシアンＤＢ１２３は、ガウシアンＩＤ、中心座標、回転、スケール、色、不透明度の各項目を対応付けて記憶する。

【0031】

初期化の段階で、３Ｄガウシアンは、例えば、上述した三次元特徴点に配置される。その結果、ガウシアンＤＢ１２３は、三次元特徴点に中心座標が一致する３Ｄガウシアンを記憶する。例えば、図７に示す通り、ガウシアンＩＤ「Ｅ１」で識別される３Ｄガウシアンは、中心座標「Ｐａ」に配置される。中心座標「Ｐａ」は、撮影画像Ｉ１における特徴点Ｐａ１、及び撮影画像Ｉ２における特徴点Ｐａ２に対応する三次元特徴点Ｐａである。このように仮想空間Ｓｖにおいて三次元特徴点に配置された３Ｄガウシアンにより、図６に示す仮想物体Ｊｖが構成される。

【0032】

図８は、３Ｄガウシアンを説明するための図である。図８（ａ）には、３ＤガウシアンＥの例が示されている。３ＤガウシアンＥは、仮想空間Ｓｖに大きさ（すなわちスケール）と中心座標を持ち、Ｘ軸、Ｙ軸、Ｚ軸に対してそれぞれ回転角度を持つ楕円体である。そして、この３Ｄガウシアンは、見る方向に依存する色の情報と、不透明度とを有する。これらは、例えば、三次元共分散行列、調和関数、定数等により表現される。

【0033】

図８（ｂ）には、３つの３ＤガウシアンＥ１、Ｅ２、Ｅ３がスクリーンＳに投影される様子が示されている。情報処理装置１は、仮想空間Ｓｖに配置されたこれら複数の３Ｄガウシアンを、スクリーンＳに投影する。スクリーンＳは、仮想空間Ｓｖにおける任意の視点から任意の範囲を撮影したときに仮想物体が映り込む面である。３ＤガウシアンＥ１、Ｅ２、Ｅ３は、情報処理装置１によってそれぞれスクリーンＳに投影され、二次元の楕円形である投影ガウシアンＰｊ１、Ｐｊ２、Ｐｊ３になる。これら投影ガウシアンＰｊ１、Ｐｊ２、Ｐｊ３は、仮想空間Ｓｖにおいて、スクリーンＳから見た３ＤガウシアンＥ１、Ｅ２、Ｅ３の順序、配置関係に応じて重なって表示されることもある。

【0034】

＜情報処理装置の機能的構成＞
図９は、情報処理装置１の機能的構成の例を示す図である。情報処理装置１のプロセッサ１１は、メモリ１２に記憶されたプログラムを読出して実行することにより、図９に示す画像取得手段１１１、バンドル調整手段１１２、初期化手段１１３、学習手段１１４、及び適応密度制御手段１１５として機能する。

【0035】

画像取得手段１１１は、メモリ１２の画像ＤＢ１２１から撮影画像を取得する。そして、画像取得手段１１１は、取得した撮影画像をバンドル調整手段１１２、及び学習手段１１４に供給する。

【0036】

バンドル調整手段１１２は、供給された撮影画像から上述したＳｆＭ等を用いて、それらを撮影した際のカメラ情報を計算する。

【0037】

図９に示すバンドル調整手段１１２は、特徴点抽出手段１１２１、特徴点マッチング手段１１２２、検証手段１１２３、及び推定手段１１２４を有する。

【0038】

特徴点抽出手段１１２１は、撮影画像の階調値の位置勾配等から、その撮影画像に映し出された物体の輪郭等を抽出し、それらの輪郭等から特徴点を抽出する。

【0039】

特徴点マッチング手段１１２２は、複数の撮影画像のそれぞれにおいて抽出された特徴点どうしを対応付け（マッチングともいう）、それらに対応する仮想空間における三次元特徴点を算出する。

【0040】

特徴点抽出手段１１２１、及び特徴点マッチング手段１１２２は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）等の特徴点マッチング技術を使用して実行される。

【0041】

検証手段１１２３は、例えば、ＲＡＮＳＡＣ（RANdom SAmple Consensus）等の手法を用いて、マッチングされた特徴点の検証を行う。検証手段１１２３は、検証の結果、外れ値等の影響により誤ってマッチングされた特徴点を除外する。

【0042】

推定手段１１２４は、算出された仮想空間における三次元特徴点と、これに対応する撮影画像の特徴点との位置関係から、カメラ情報を推定し、これをメモリ１２のカメラ情報ＤＢ１２２に記憶する。

【0043】

上述した通り、画像取得手段１１１は、物体を撮影した複数の撮影画像を取得する。そして、バンドル調整手段１１２は、画像取得手段１１１が取得した複数の撮影画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報を推定することによって取得する。したがって、画像取得手段１１１、及びバンドル調整手段１１２は、物体を撮影した複数の画像と、それら複数の画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報と、をそれぞれ対応付けて取得する取得手段の例である。

【0044】

初期化手段１１３は、撮影画像とカメラ情報とに基づいて、仮想空間に初期状態の３Ｄガウシアンを配置する手段である。例えば、初期化手段１１３は、バンドル調整手段１１２において算出された仮想空間における三次元特徴点に中心座標が一致するように３Ｄガウシアンを配置する。そして、初期化手段１１３は、この三次元特徴点に対応付けられる撮影画像の特徴点の階調値等を利用して、３Ｄガウシアンの色、及び不透明度を決定する。また、初期化手段１１３は、撮影画像における階調値の位置勾配、又は疑似乱数等を利用して、初期状態における３Ｄガウシアンの回転、スケールを決定する。初期化手段１１３は、３Ｄガウシアンの中心座標、回転、スケール、色、及び不透明度等の初期値を決定すると、メモリ１２のガウシアンＤＢ１２３に記憶する。

【0045】

学習手段１１４は、仮想空間においてカメラに対応するスクリーンに３Ｄガウシアンを投影させ、得られた仮想画像が元の撮影画像に近づくように３Ｄガウシアンのパラメータを変化させる機械学習を行う。

【0046】

図９に示す学習手段１１４は、算出手段１１４１、及び誤差最小化手段１１４２を有する。算出手段１１４１は、メモリ１２のガウシアンＤＢ１２３から仮想空間に配置された全ての３Ｄガウシアンを読み出して、撮影画像を撮影したカメラのそれぞれに対応する仮想空間上のスクリーンにこれらを投影し、投影ガウシアンをそれぞれ算出する。

【0047】

したがって、この算出手段１１４１は、仮想空間に配置された複数の３Ｄガウシアンのそれぞれを、その仮想空間において撮影画像を撮影したカメラのそれぞれに対応するスクリーンに投影した投影ガウシアンを算出する算出手段の例である。

【0048】

誤差最小化手段１１４２は、算出された投影ガウシアンの重ね合わせで生成される仮想画像と、画像取得手段１１１が取得した撮影画像とを比較し、それらの誤差（レンダリングエラーともいう）が小さくなるように３Ｄガウシアンのパラメータを変化させる。算出手段１１４１は、誤差最小化手段１１４２によりパラメータが変化した３Ｄガウシアンを、上述したスクリーンに投影し、投影ガウシアンを算出する。誤差最小化手段１１４２は、決められた条件を満たすまで、算出手段１１４１とこのやり取りを続ける。この場合、決められた条件とは、例えば、３Ｄガウシアンのパラメータを変化させた回数が閾値以上になる、等である。

【0049】

適応密度制御手段１１５は、学習手段１１４が上述した決められた条件を満たすまで３Ｄガウシアンのパラメータを変化させて学習した後、それら３Ｄガウシアンの中から条件を満たすものを選択して分裂させることにより、３Ｄガウシアンの密度を調整する。

【0050】

図１０は、適応密度制御手段１１５の構成の例を示す図である。図１０に示す適応密度制御手段１１５は、抽出手段１１５１、選択手段１１５２、分裂手段１１５３、配置手段１１５４を有する。

【0051】

抽出手段１１５１は、学習手段１１４によるパラメータの学習を経た３Ｄガウシアンのうち、上述した各スクリーンに投影した投影ガウシアンの最大サイズが閾値以上になるもののみを抽出する。つまり、この抽出手段１１５１は、複数の３Ｄガウシアンのうち、スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になるものを抽出する抽出手段の例である。

【0052】

ここでいう、投影ガウシアンの最大サイズと比較される「閾値」は、その投影ガウシアンが投影されるスクリーンの解像度に基づく大きさの基準値であり、例えば１ピクセル等である。すなわち、抽出手段１１５１は、例えば、全てのスクリーンに投影される投影ガウシアンのうち、最も大きなサイズを有するものが１ピクセル以上のものだけを抽出する。これにより、少なくとも、投影ガウシアンがいずれも１ピクセル未満の大きさしか持たない３Ｄガウシアンは、この抽出手段１１５１の抽出対象から外れる。

【0053】

選択手段１１５２は、抽出手段１１５１が抽出した３Ｄガウシアンの中から、それらの３Ｄガウシアンのパラメータ等に応じた確率で３Ｄガウシアンを選択する。この確率は、例えば、３Ｄガウシアンの不透明度に応じた確率である。ここでは、選択手段１１５２は、抽出手段１１５１が抽出した３Ｄガウシアンの中から、それらの３Ｄガウシアンの不透明度に比例した確率で、いくつかの３Ｄガウシアンを選択する。したがって選択手段１１５２は、３Ｄガウシアンの不透明度が高いほど、高確率でその３Ｄガウシアンを選択することになる。

【0054】

なお、「不透明度に比例した確率」は、「不透明度に応じた確率」の一態様であり、他の態様に代替し得る。例えば、選択手段１１５２は、３Ｄガウシアンの不透明度の対数に比例した確率で、３Ｄガウシアンを選択してもよい。また、例えば、選択手段１１５２は、３Ｄガウシアンの不透明度を独立変数とする単調増加関数に比例した確率で、３Ｄガウシアンを選択してもよい。

【0055】

分裂手段１１５３は、選択手段１１５２が選択した３Ｄガウシアンを分裂させる。このとき、分裂手段１１５３は、選択手段１１５２が選択した３Ｄガウシアンを、その総体積が維持されるように複数個に分裂させる。

【0056】

つまり、この選択手段１１５２、及び分裂手段１１５３は、抽出された３Ｄガウシアンの中から、不透明度に応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させる分裂手段の例である。

【0057】

配置手段１１５４は、分裂手段１１５３によって複数個に分裂した３Ｄガウシアンを、それぞれ、その分裂前の元の３Ｄガウシアンの位置に基づいて配置する。例えば、配置手段１１５４は、分裂した３Ｄガウシアンを、それぞれ元の３Ｄガウシアンの部分になるように配置する。この配置手段１１５４は、分裂した３Ｄガウシアンのそれぞれを、元の３Ｄガウシアンの位置に基づいて配置する配置手段の例である。

【0058】

３Ｄガウシアンは、適応密度制御手段１１５によって密度が調整されてメモリ１２のガウシアンＤＢ１２３に記憶される。学習手段１１４は、所定の条件が満たされるまで、密度が調整された３ＤガウシアンをガウシアンＤＢ１２３から読み出し、仮想画像と撮影画像との差異に基づいて、これら３Ｄガウシアンのパラメータの最適化を繰り返す。これにより、撮影画像に近い仮想画像を生成可能な３Ｄガウシアンが計算される。

【0059】

図１１は、情報処理装置１の動作の流れの例を示すフロー図である。情報処理装置１のプロセッサ１１は、図１１に示す適応密度制御を行う。

【0060】

適応密度制御を実行する前にプロセッサ１１は、メモリ１２の画像ＤＢ１２１から、３Ｄシーンを撮影した一連の撮影画像群を取得する。そして、プロセッサ１１は、これらの撮影画像を撮影した際のカメラ情報を推定し、撮影画像と対応付け、仮想空間に初期状態の３Ｄガウシアンを配置する。さらに、プロセッサ１１は、例えば、決められた条件を満たすまで、それらの３Ｄガウシアンを、仮想空間においてカメラに対応するスクリーンに投影して仮想画像を生成し、これが撮影画像に近づくように３Ｄガウシアンのパラメータを最適化（学習）する。

【0061】

学習過程が上述した条件を満たしたとき、プロセッサ１１は、図１１に示す適応密度制御の動作を開始する。まず、プロセッサ１１は、未判定の３Ｄガウシアンの１つに注目する（ステップＳ１０１）。そして、プロセッサ１１は、注目する３Ｄガウシアンを全てのスクリーンに投影し、得られた投影ガウシアンのそれぞれを閾値と比較する（ステップＳ１０２）。

【0062】

プロセッサ１１は、上述した投影ガウシアンのうち、最もサイズが大きいものを特定し、そのサイズ（最大サイズ）が閾値以上であるか否かを判定する（ステップＳ１０３）。投影ガウシアンの最大サイズが閾値以上である、と判定する場合（ステップＳ１０３；ＹＥＳ）、プロセッサ１１は、注目しているその３Ｄガウシアンを、後述する分裂処理の対象として抽出し（ステップＳ１０４）、処理をステップＳ１０５に進める。

【0063】

一方、投影ガウシアンの最大サイズが閾値以上でない、と判定する場合（ステップＳ１０３；ＮＯ）、プロセッサ１１は、上述したステップＳ１０４を行わずに、処理をステップＳ１０５に進める。すなわち、この場合、注目している３Ｄガウシアンは分裂処理の対象として抽出されない。

【0064】

プロセッサ１１は、ステップＳ１０２～Ｓ１０４の処理で注目していた３Ｄガウシアンを判定済みとし、未判定の３Ｄガウシアンが残っているか否かを判断する（ステップＳ１０５）。未判定の３Ｄガウシアンが残っている、と判断する場合（ステップＳ１０５；ＹＥＳ）、プロセッサ１１は、処理をステップＳ１０１に戻す。

【0065】

一方、未判定の３Ｄガウシアンが残っていない、と判断する場合（ステップＳ１０５；ＮＯ）、プロセッサ１１は、ステップＳ１０４で抽出された３Ｄガウシアンがあるか否かを判断する（ステップＳ１０６）。

【0066】

抽出された３Ｄガウシアンがない、と判断する場合（ステップＳ１０６；ＮＯ）、プロセッサ１１は、処理を終了する。一方、抽出された３Ｄガウシアンがある、と判断する場合（ステップＳ１０６；ＹＥＳ）、プロセッサ１１は、抽出されたそれらの３Ｄガウシアンに対して分裂処理を実行する（ステップＳ２００）。

【0067】

図１２は、分裂処理の動作の流れの例を示すフロー図である。プロセッサ１１は、ステップＳ１０４で抽出された３Ｄガウシアンの不透明度をそれぞれ特定し、その不透明度に比例した確率でいくつかの３Ｄガウシアンを選択する（ステップＳ２０１）。プロセッサ１１は、例えば、特定した不透明度のマルチノミアル分布に従って、サンプリングを行い、３Ｄガウシアンを選択する。

【0068】

次に、プロセッサ１１は、選択された３Ｄガウシアンのそれぞれを、その総体積が維持されるように複数に分裂させる（ステップＳ２０２）。

【0069】

さらに、プロセッサ１１は、分裂させて新たに得られた３Ｄガウシアンを、分裂前の元の３Ｄガウシアンの位置に基づいてそれぞれ配置する（ステップＳ２０３）。

【0070】

このようにして情報処理装置１は、撮影画像の特徴点に応じて初期化された３Ｄガウシアンを分裂させる適応密度制御を行うので、空間解像度、形状の表現力が向上し、３Ｄシーンの詳細をより正確に表現し易くなる。

【0071】

特に、この情報処理装置１は、学習過程において最適化された３Ｄガウシアンの不透明度に応じて、分裂する３Ｄガウシアンを選択するので、不透明度が高く、スクリーンに再構成（生成）された仮想画像に影響する割合の高い部分の空間解像度をピンポイントで向上させる。その結果、この情報処理装置１は、高速でありながら高精細な仮想画像の生成を実現することができる。

【0072】

また、情報処理装置１は、３Ｄガウシアンの複製を行わないので、複製にかかる処理時間を省くことができ、レンダリング速度を向上させることができる。

【0073】

＜変形例＞
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例は組み合わされてもよい。

【0074】

＜１＞
上述した実施形態において、プロセッサ１１は、ＣＰＵ又はＧＰＵであったが、他の構成であってもよい。例えば、プロセッサ１１は、ＦＰＧＡ（Field Programmable Gate Array）であってもよいし、ＦＰＧＡを含んでもよい。また、プロセッサ１１は、ＡＳＩＣ（Application Specific Integrated Circuit）、又は他のプログラマブル論理デバイスを有してもよい。また、情報処理装置１は、複数のプロセッサ、複数のメモリ、複数のインタフェースを有してもよい。情報処理装置１は、例えば、スマートフォン、スレートＰＣ等の携帯端末であってもよい。また、情報処理装置１は、例えば、インターネット等の通信回線を介してクラウド上にある複数の計算資源が動的に協働することにより実現する仮想マシンであってもよい。

【0075】

＜２＞
上述した実施形態において、情報処理装置１は、不透明度に応じた確率で３Ｄガウシアンを選択し、選択したその３Ｄガウシアンの総体積が維持されるように分裂させていたが、分裂させる３Ｄガウシアンを選択する基準はこれに限らない。

【0076】

図１３は、変形例における分裂処理の動作の流れの例を示すフロー図である。図１３に示すステップＳ２００の分裂処理は、図１２に示したステップＳ２０１に代えて、ステップＳ２０１ａを実行する。つまり、プロセッサ１１は、不透明度のほか、投影ガウシアンの最大サイズにも比例した確率で、３Ｄガウシアンを選択する（ステップＳ２０１ａ）。これにより、情報処理装置１は、不透明度が高いほど３Ｄガウシアンを分裂させ易くなることに加えて、投影ガウシアンの最大サイズが大きいほど３Ｄガウシアンを分裂させ易くなる。そのため、情報処理装置１は、不透明度が高く、スクリーンに再構成（生成）された仮想画像に影響する割合の高い部分の空間解像度を向上させることに加えて、投影されたときにスクリーンを占める面積が大きいために仮想画像に影響する割合の高い部分の空間解像度を向上させることができる。

【0077】

すなわち、この変形例におけるプロセッサ１１が実現する分裂手段１１５３は、抽出された３Ｄガウシアンの中から、不透明度、及び投影ガウシアンの最大のサイズのそれぞれに応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させる分裂手段の例である。

【0078】

＜３＞
上述した実施形態において、情報処理装置１は、３Ｄガウシアンの分裂のみを行い、複製を行わなかったが、決められた条件を満たした場合に、いずれかの３Ｄガウシアンを複製してもよい。

【0079】

図１４は、変形例における適応密度制御手段１１５の構成の例を示す図である。図１４に示す適応密度制御手段１１５は、図１０に示したそれに比べて、計算負荷判定手段１１５５、及び複製手段１１５６を有する点が異なる。

【0080】

計算負荷判定手段１１５５は、情報処理装置１の計算負荷を監視する構成である。この計算負荷判定手段１１５５は、プロセッサ１１、又はプロセッサ１１が制御する計算資源にかかる負荷が所定の水準未満であるか否かを判定する。

【0081】

計算負荷判定手段１１５５は、計算負荷が所定の水準未満である、と判定すると、抽出手段で抽出されなかった３Ｄガウシアンを複製手段１１５６に供給する。複製手段１１５６は、計算負荷判定手段１１５５から供給された３Ｄガウシアンのうち、決められた条件を満たすものを複製する。

【0082】

例えば、複製手段１１５６は、仮想空間における３Ｄガウシアンのサイズ（三次元の大きさ）が一定のしきい値よりも小さい場合、その３Ｄガウシアンを複製する。これにより、情報処理装置１は、分裂では得られ難い広範囲のレンダリングの精度を向上させ、物体を仮想物体として再現する際の大まかな形状や低周波の特徴を強化することができる。また、情報処理装置１は、十分な計算資源が確保されたときにのみ、３Ｄガウシアンの複製を行うので、適応密度制御における３Ｄガウシアンの分裂処理を妨げることが少なく、レンダリングの速度を低下させ難い。

【0083】

この変形例における計算負荷判定手段１１５５、及び複製手段１１５６は、計算負荷が所定水準未満のときに、複数の３Ｄガウシアンのうち、条件を満たすものを複製する複製手段の例である。

【0084】

＜４＞
上述した実施形態において、情報処理装置１のプロセッサ１１は、画像取得手段１１１により供給された撮影画像から、それらを撮影した際のカメラ情報を計算するバンドル調整手段１１２として機能していたが、カメラ情報は予め撮影画像に対応付けてメモリ１２に記憶されていてもよい。

【0085】

図１５は、変形例における情報処理装置１の機能的構成の例を示す図である。メモリ１２に記憶されたカメラ情報ＤＢ１２２には、画像ＤＢ１２１で画像を識別する画像ＩＤごとに、予めカメラ情報が記憶されている。この場合、プロセッサ１１は、撮影画像の特徴点からカメラ情報を推定する必要はない。プロセッサ１１は、図１５に示す通り、単にカメラ情報ＤＢ１２２において、画像ＩＤと対応付けられたカメラ情報を読み出す、カメラ情報取得手段１１２ａとして機能すればよい。

【0086】

画像ＤＢ１２１は、カメラ情報ＤＢ１２２と一体であってもよい。例えば、カメラが物体を撮影する際に、自身のカメラ情報を撮影画像のメタデータとして記憶させてもよい。カメラ情報は、物体の撮影の際に、カメラ自身に取り付けられた気圧計、加速度センサー、ジャイロセンサー、ＧＮＳＳ等によって生成されてもよい。また、カメラを移動させる移動装置がある場合、カメラ情報は、この移動装置に設けられた移動量の計測器を用いて生成されてもよい。また、カメラ情報は、予めカメラが取り付けられる位置、又はカメラの識別情報等に対応付けられていてもよい。

【0087】

＜５＞
また、上述した実施形態において、情報処理装置１は、パラメータの学習を経た３Ｄガウシアンのうち、各スクリーンに投影した投影ガウシアンの最大サイズが閾値以上になるもののみを抽出し、その抽出された３Ｄガウシアンの中から不透明度に応じた確率でいくつかの３Ｄガウシアンを分裂の対象として選択していた。しかし、この抽出と選択の順序は逆であってもよい。

【0088】

例えば、図１５に示す適応密度制御手段１１５は、選択手段１１５２の後に、抽出手段１１５１が実行され、さらにその後に、分裂手段１１５３、配置手段１１５４が続くように構成されている。この場合、選択手段１１５２は、学習された３Ｄガウシアンの中から、不透明度に応じた確率でいくつかの３Ｄガウシアンを選択する。

【0089】

そして、抽出手段１１５１は、選択手段１１５２によって選択された３Ｄガウシアンの中から、投影ガウシアンの最大サイズが閾値以上になる３Ｄガウシアンを抽出する。分裂手段１１５３は、抽出手段１１５１により抽出された３Ｄガウシアンを、総体積が維持されるように複数個に分裂する。

【0090】

したがって、図１５に示す選択手段１１５２は、複数の３Ｄガウシアンのうち、不透明度に応じた確率で３Ｄガウシアンを選択する選択手段の例である。

【0091】

また、図１５に示す抽出手段１１５１、及び分裂手段１１５３は、不透明度等に応じて選択された３Ｄガウシアンの中から、スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になる３Ｄガウシアンを、総体積が維持されるように複数に分裂させる分裂手段の例である。

【0092】

＜６＞
上述した実施形態において、プロセッサ１１が実行するプログラムは、コンピュータを、物体を撮影した複数の画像と、それら複数の画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報と、をそれぞれ対応付けて取得する取得手段と、仮想空間に配置された複数の３Ｄガウシアンのそれぞれを、その仮想空間においてカメラのそれぞれに対応するスクリーンに投影した投影ガウシアンを算出する算出手段と、複数の３Ｄガウシアンのうち、スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になるものを抽出する抽出手段と、抽出された３Ｄガウシアンの中から、不透明度に応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させる分裂手段、として機能させるためのプログラムとして観念される。

【0093】

＜７＞
上述したプロセッサ１１に上述したプログラムを実行させる方法は、コンピュータに３Ｄガウシアンの密度を制御させる適応密度制御方法としても観念される。すなわち、上述した３Ｄガウシアンの適応密度制御方法は、コンピュータが、物体を撮影した複数の画像と、それら複数の画像のそれぞれを撮影したカメラの位置、向き、及び撮影範囲を示すカメラ情報と、をそれぞれ対応付けて取得するステップと、コンピュータが、仮想空間に配置された複数の３Ｄガウシアンのそれぞれを、その仮想空間においてカメラのそれぞれに対応するスクリーンに投影した投影ガウシアンを算出するステップと、コンピュータが、前記複数の３Ｄガウシアンのうち、スクリーンのそれぞれに投影した投影ガウシアンの最大のサイズが閾値以上になるものを抽出するステップと、コンピュータが、抽出された３Ｄガウシアンの中から、不透明度に応じた確率で選択した３Ｄガウシアンを、総体積が維持されるように複数に分裂させるステップと、を含むことを特徴とする３Ｄガウシアンの適応密度制御方法の例である。

【符号の説明】

【0094】

１…情報処理装置、１１…プロセッサ、１１１…画像取得手段、１１２…バンドル調整手段、１１２１…特徴点抽出手段、１１２２…特徴点マッチング手段、１１２３…検証手段、１１２４…推定手段、１１２ａ…カメラ情報取得手段、１１３…初期化手段、１１４…学習手段、１１４１…算出手段、１１４２…誤差最小化手段、１１５…適応密度制御手段、１１５１…抽出手段、１１５２…選択手段、１１５３…分裂手段、１１５４…配置手段、１１５５…計算負荷判定手段、１１５６…複製手段、１２…メモリ、１２１…画像ＤＢ、１２２…カメラ情報ＤＢ、１２３…ガウシアンＤＢ、１３…インタフェース。

【要約】

【課題】撮影画像に表現されていた物体の詳細を再現するのに適した３Ｄガウシアンの適応密度制御を実現する。
【解決手段】抽出手段１１５１は、学習手段１１４によるパラメータの学習を経た３Ｄガウシアンのうち、上述した各スクリーンに投影した投影ガウシアンの最大サイズが閾値以上になるもののみを抽出する。選択手段１１５２は、抽出手段１１５１が抽出した３Ｄガウシアンの中から、それらの３Ｄガウシアンの不透明度に比例した確率で、いくつかの３Ｄガウシアンを選択する。分裂手段１１５３は、選択手段１１５２が選択した３Ｄガウシアンを、その総体積が維持されるように複数個に分裂させる。配置手段１１５４は、分裂手段１１５３によって複数個に分裂した３Ｄガウシアンを、それぞれ、その分裂前の元の３Ｄガウシアンの位置に基づいて配置する。
【選択図】図１０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】