特許 7594559 三次元形状復元装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-26

(45)【発行日】2024-12-04

(54)【発明の名称】三次元形状復元装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/55 20170101AFI20241127BHJP

   G06T 7/194 20170101ALI20241127BHJP

【ＦＩ】

G06T7/55

G06T7/194

【請求項の数】 18

(21)【出願番号】P 2022044234

(22)【出願日】2022-03-18

(65)【公開番号】P2023137841

(43)【公開日】2023-09-29

【審査請求日】2024-02-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】小林 達也

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０２１－１１９４５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

視点の異なるカメラで撮影した多視点画像を用いて対象物の三次元形状を復元する三次元形状復元装置において、
各多視点画像のカメラパラメータを推定する手段と、
一部の多視点画像から抽出した第1の前景画像を用いて対象物の第1の三次元形状を復元する第1の復元手段と、
前記第1の三次元形状及び前記一部よりも多数の多視点画像のカメラパラメータを用いて当該多数の多視点画像ごとにTrimap画像を生成する手段と、
前記一部よりも多数の多視点画像ごとに対応するTrimap画像を用いて第2の前景画像を抽出する手段と、
前記第2の前景画像を用いて第2の三次元形状を復元する第2の復元手段とを具備したことを特徴とする三次元形状復元装置。

【請求項2】

前記第1の復元手段は、前記第1の前景画像及び当該第1の前景画像に対応するカメラパラメータをSfS法に適用して第1の三次元形状を復元することを特徴とする請求項１に記載の三次元形状復元装置。

【請求項3】

前記カメラパラメータを推定する手段が前記一部よりも多数の多視点画像から対象物の三次元点群データをそれぞれ取得し、
前記第1の復元手段は、前記三次元点群データを用いて第1の三次元形状を復元することを特徴とする請求項１または２に記載の三次元形状装置。

【請求項4】

前記第2の復元手段は、第2の三次元形状が所定の収束条件を充足するまで当該第2の三次元形状を前記Trimap画像を生成する手段へフィードバックし、
前記Trimap画像を生成する手段は前記第1の三次元形状の代わりに前記フィードバックされた第2の三次元形状を用いてTrimap画像を生成し、
前記第2の三次元形状を用いて生成したTrimap画像を用いて抽出した第2の前景画像を用いて第2の三次元形状を復元することを繰り返すことを特徴とする請求項１ないし３のいずれかに記載の三次元形状復元装置。

【請求項5】

前記Trimap画像を生成する手段は、前記第1の三次元形状及び前記一部よりも多数の多視点画像の各カメラパラメータを用いてTrimap画像を生成することを特徴とする請求項１ないし４のいずれかに記載の三次元形状復元装置。

【請求項6】

前記一部よりも多数の多視点画像が前記一部の多視点画像を含み、
前記Trimap画像を生成する手段は、前記一部よりも多数の多視点画像から前記一部の多視点画像を除いた残りの多視点画像ごとにTrimap画像を生成し、
前記第2の前景画像を抽出する手段は、前記残りの多視点画像ごとに対応するTrimap画像を用いて第2の残りの前景画像を抽出し、
前記第2の復元手段は前記第1及び第2の残りの前景画像を用いて第2の三次元形状を復元することを特徴とする請求項１ないし５のいずれかに記載の三次元形状復元装置。

【請求項7】

前記Trimap画像を生成する手段は、前景ピクセルに判別できる領域、背景ピクセルに判別できる領域並びに前景及び背景のいずれとも判別できない領域に分割された画像を生成することを特徴とする請求項１ないし６のいずれかに記載の三次元形状復元装置。

【請求項8】

前記Trimap画像を生成する手段は、膨張収縮処理を用いて領域分割を行うことを特徴とする請求項７に記載の三次元形状復元装置。

【請求項9】

前記Trimap画像を生成する手段は、第1の前景画像に対して収縮処理を行った結果の前景領域を前景ピクセルに判別できる領域とし、第1の前景画像に対して膨張処理を行った結果の背景領域を背景ピクセルに判別できる領域とすることを特徴とする請求項８に記載の三次元形状復元装置。

【請求項10】

前記Trimap画像を生成する手段は、第1の前景画像の枚数に応じて膨張処理の回数及び膨張処理のカーネルサイズの少なくとも一方を制御することを特徴とする請求項８または９に記載の三次元形状復元装置。

【請求項11】

前記Trimap画像を生成する手段は、第1の前景画像の枚数が所定の閾値を下回っていると収縮処理の回数を増やし、又は収縮処理のカーネルサイズを大きくすることを特徴とする請求項１０に記載の三次元形状復元装置。

【請求項12】

前記Trimap画像を生成する手段は、第1の前景画像の枚数が所定の閾値を上回っていると膨張処理の回数を増やし、又は膨張処理のカーネルサイズを大きくすることを特徴とする請求項１０に記載の三次元形状復元装置。

【請求項13】

前記Trimap画像を生成する手段は、第1の前景画像の枚数が所定の閾値を下回っていると、前記枚数が少ないほど収縮処理の回数を増やし、又は収縮処理のカーネルサイズを大きくすることを特徴とする請求項１０に記載の三次元形状復元装置。

【請求項14】

前記Trimap画像を生成する手段は、第1の前景画像の枚数が所定の閾値を上回っていると、前記枚数が多いほど膨張処理の回数を増やし、又は膨張処理のカーネルサイズを大きくすることを特徴とする請求項１０に記載の三次元形状復元装置。

【請求項15】

前記第2の前景抽出手段は、前記Trimap画像に対するAlpha Mattingにより画素ごとに得られる前景又は背景の確度を閾値処理することで全景及び背景の2値データに変換された第2の前景画像を抽出することを特徴とする請求項１ないし１４のいずれかに記載の三次元形状復元装置。

【請求項16】

前記第2の前景抽出部は、第1の前景画像と、カメラパラメータが当該第1の前景画像と一致する同数の第2の前景画像との類似度がより高くなるように前記閾値処理の閾値を設定することを特徴とする請求項１５に記載の三次元形状復元装置。

【請求項17】

視点の異なるカメラで撮影した多視点画像を用いてコンピュータが対象物の三次元形状を復元する三次元形状復元方法において、
一部の多視点画像から抽出した第1の前景画像を用いて対象物の第1の三次元形状を復元し、
前記第1の三次元形状及び前記一部よりも多数の多視点画像のカメラパラメータを用いて当該多数の多視点画像ごとにTrimap画像を生成し、
前記一部よりも多数の多視点画像ごとに対応するTrimap画像を用いて第2の前景画像を抽出し、
前記第2の前景画像を用いて第2の三次元形状を復元することを特徴とする三次元形状復元方法。

【請求項18】

視点の異なるカメラで撮影した多視点画像を用いて対象物の三次元形状を復元する三次元形状復元プログラムにおいて、
一部の多視点画像から抽出した第1の前景画像を用いて対象物の第1の三次元形状を復元する手順と、
前記第1の三次元形状及び前記一部よりも多数の多視点画像のカメラパラメータを用いて当該多数の多視点画像ごとにTrimap画像を生成する手順と、
前記一部よりも多数の多視点画像ごとに対応するTrimap画像を用いて第2の前景画像を抽出する手順と、
前記第2の前景画像を用いて第2の三次元形状を復元する手順と、をコンピュータに実行させることを特徴とする三次元形状復元プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多視点画像から抽出した前景画像を用いて対象物の三次元形状を復元する三次元形状復元装置、方法及びプログラムに係り、特に、任意背景の環境下で撮影した多視点画像から抽出した前景画像を用いて三次元形状を復元する三次元形状復元装置、方法及びプログラムに関する。

【背景技術】

【0002】

画像から対象物の三次元復元を行うアプローチとして、多数の固定カメラを用いて撮影した多視点画像から三次元復元を行うアプローチと、1台の移動カメラを用いて撮影した多視点画像から三次元復元を行うアプローチとが存在する。

【0003】

多数の固定カメラ（カメラ間の相対姿勢がキャリブレーションを行うなどして既知）を用いて撮影した多視点画像から三次元復元を行うアプローチで用いられる方式として、対象物の複数視点画像から対象物のシルエット（前景）を抽出し、SfS（Shape-from-Silhouette）法で三次元形状を求める方式が一般に知られている。

【0004】

特許文献1には、シルエット抽出が不正確な場合でも高精度な三次元形状を求められるようにSfSを改良し、複数のシルエット画像を大局的に評価することで三次元復元を行う方式が開示されている。特許文献2には、一部領域が高速に動く対象物をSfS法で復元する際に、領域の速度に応じてパラメータを調整することで精度を向上する方式が開示されている。

【0005】

一方、移動カメラ（あるいは、カメラ間の相対姿勢が未知の状態の固定カメラ複数台）を用いて撮影した多視点画像から三次元復元を行うアプローチで用いられる方式として、対象物の複数視点画像のそれぞれのカメラ姿勢をSfM（Structure-from-Motion）法（非特許文献1）で推定した上で、画像間のステレオマッチングによって視差画像を生成し、視差画像の合成により三次元形状を求めるMVS（Multi-View Stereo）法を用いる方式も知られている。例えば特許文献3には、ランダム探索によって対象物表面の法線方向を考慮したMVSを高速に行う、PatchMatch Stereo法（非特許文献2）を用いた三次元復元法が開示されている。

【0006】

特許文献4には、移動カメラで対象物を撮影した際に発生するブラーに対する復元の頑健性を向上させるために、撮影画像中のブラー量に応じてステレオマッチングのスコアを調整することで復元精度を向上させる三次元復元法が開示されている。特許文献5には、ユーザが移動カメラで対象物を撮影する際に適切なカメラの動かし方ができるよう支援する方式が開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開2013-25458号公報

【文献】特開2020-35218号公報

【文献】特開2018-181047号公報

【文献】特開2020-9255号公報

【文献】特開2020-88646号公報

【文献】特開2005-078522号公報

【非特許文献】

【0008】

【文献】J. L. Schonberger, et al., "Structure-from-Motion Revisited", Proc. of CVPR, 2016.

【文献】M.Bleyer, C.Rhemann, C.Rother, "PatchMatch Stereo - Stereo Matching with Slanted Support Windows", Proc. of BMVC, 2011.

【文献】N Xu, et al.,"Deep Image Matting", Proc. of CVPR, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0009】

いずれの先行技術でも、任意背景の環境下で移動カメラにより撮影された対象物の多視点画像から当該対象物の三次元形状を高精度に復元することが困難であった。

【0010】

例えば、特許文献1，2が用いるSfS法では多視点画像から対象物のシルエットを高精度に抽出する必要がある。しかしながら、一般に任意背景の環境下で移動カメラにより撮影された画像から対象物の高精度なシルエットを抽出することは難しい。特に、特許文献1，2が想定している背景差分法は背景が不変である前提の上で前景を抽出する手法であるため、カメラが移動するとシルエット抽出の精度が劣化する。

【0011】

一方、全自動ではなく、部分的なユーザ入力に基づいて半自動的に高精度なシルエット抽出を行うAlpha Matting方式（非特許文献3）等も存在するが、多視点画像の全てに対してユーザ入力を行うことはユーザ負荷が高く、非現実的である。

【0012】

また、カメラが移動しても背景が変化しないよう、グリーンバック環境等、背景に全く模様が無い環境下で撮影を行うことも考えられる。しかしながら、一般にそのような環境下で撮影された多視点画像からはSfM法でカメラ姿勢を求めることが困難であるため、カメラ姿勢の誤差が拡大し、最終的な三次元復元精度が劣化する傾向がある。

【0013】

一方、特許文献3-5が開示するMVS法は対象物のシルエット情報を必要としないために上述の課題は発生しない。しかしながら、同技術は一般に、模様（テクスチャ）が複雑な対象物の復元精度には優れるものの、模様が乏しい対象物の復元精度は劣化する傾向がある。

【0014】

例えば、単色のプラスチック素材の家具の様に模様が全く無い対象物の場合、ステレオ画像間で対象物領域のステレオマッチングが精度よく行えないため、視差画像の精度が劣化し、最終的な三次元復元精度が劣化する傾向がある。

【0015】

本発明の目的は、上記の技術課題を解決し、対象物の模様を選ばないSfS法をベースにしつつ、少数のシルエット画像からSfS法で対象物の粗い三次元形状を復元し、当該三次元形状から残りの多数の視点画像の高精度なシルエット画像を自動的に生成し、SfS法を繰り返し適用することで最終的な三次元形状を復元することで、ユーザの負荷を抑えながら上述の課題を解決することにある。

【課題を解決するための手段】

【0016】

上記の目的を達成するために、本発明は、視点の異なるカメラで撮影した多視点画像を用いて対象物の三次元形状を復元する三次元形状復元装置において、以下の構成を具備した点に特徴がある。

【0017】

(1) 一部の多視点画像から抽出した第1の前景画像を用いて対象物の第1の三次元形状を復元する第1の復元手段と、前記第1の三次元形状及び前記一部よりも多数の多視点画像のカメラパラメータを用いて当該多数の多視点画像ごとにTrimap画像を生成する手段と、前記一部よりも多数の多視点画像ごとに対応するTrimap画像を用いて第2の前景画像を抽出する手段と、前記第2の前景画像を用いて第2の三次元形状を復元する第2の復元手段とを具備した。

【0018】

(2) 前記第2の復元手段は、第2の三次元形状が所定の収束条件を充足するまで当該第2の三次元形状を前記Trimap画像を生成する手段へフィードバックし、前記Trimap画像を生成する手段は前記第1の三次元形状の代わりに前記フィードバックされた第2の三次元形状を用いてTrimap画像を生成し、前記第2の三次元形状を用いて生成したTrimap画像を用いて抽出した第2の前景画像を用いて第2の三次元形状を復元することを繰り返すようにした。

【0019】

(3) 前記第1の復元手段は、前記第1の前景画像及び当該第1の前景画像に対応するカメラパラメータをSfS法に適用して、SfSベースで第1の三次元形状を復元するようにした。

【0020】

(4) 前記カメラパラメータ推定部が前記一部よりも多数の多視点画像から対象物の三次元点群データをそれぞれ取得し、前記第1の復元手段は前記三次元点群データを用いて、点群ベースで第1の三次元形状を復元するようにした。

【0021】

(5) 前記第1の復元手段は、前記(3)のSfSベース及び前記(4)の点群ベースを組み合わせて第1の三次元形状を復元するようにした。

【発明の効果】

【0022】

本発明によれば、任意背景の環境下で撮影された多数の多視点画像から少数の高精度な前景画像を選ぶだけで多数の多視点画像の内容が反映された三次元形状を復元できるので、対象物の三次元形状をユーザやシステムリソースの負担を抑えながら高精度に復元できるようになる。

【図面の簡単な説明】

【0023】

【図1】本発明の第1実施形態に係る三次元形状復元装置の機能ブロック図である。

【図2】三次元形状復元装置が任意背景の多視点画像に基づいて対象物の三次元形状を復元する手順を模式的に示した図である。

【図3】前景抽出補助画像の生成手順を示した図である。

【図4】第2の前景画像の抽出手順を示した図である。

【図5】本発明の第2実施形態に係る三次元形状復元装置の機能ブロック図である。

【図6】本発明の第3実施形態に係る三次元形状復元装置の機能ブロック図である。

【図7】本発明の第4実施形態に係る三次元形状復元装置の機能ブロック図である。

【図8】本発明の第5実施形態に係る三次元形状復元装置の機能ブロック図である。

【発明を実施するための形態】

【0024】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の第1実施形態に係る三次元形状復元装置1の構成を示した機能ブロック図であり、図2は三次元形状復元装置1が多視点画像に基づいて最終的に対象物の三次元形状を高品質に復元する手順を模式的に示した図である。

【0025】

三次元形状復元装置1は、カメラパラメータ推定部10，2つの前景抽出部20（20a，20b）、前景抽出補助画像生成部30及び2つの三次元形状復元部40（40a，40b）を主要な構成とし、ここでは本発明の説明に不要な構成の図示は省略している。

【0026】

このような三次元形状復元装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0027】

カメラパラメータ推定部10は複数視点のカメラ画像を多視点画像In（n=1,…,N）として取得し、各多視点画像（以下、単に画像と表現する場合もある）Inを撮影した際の各カメラの外部パラメータ（カメラの位置姿勢の情報）Wn（n=1,…,N）及び内部パラメータ（カメラの焦点距離や光軸中心位置等の情報）An（n=1,…,N）を同時に推定する。各カメラパラメータWn，Anの推定結果は第1及び第2の三次元形状復元部40a，40b並びに前景抽出補助画像生成部30へ提供される。

【0028】

カメラの外部パラメータWn及び内部パラメータAnは、グローバルな三次元ユークリッド空間中の三次元座標[X, Y, Z] Tを各カメラ画像の二次元ピクセル座標 [u, v] Tに変換するパラメータであり、代表的には次式(1)で表される。

【0029】

【数1】

【0030】

ここで、Aはカメラの内部パラメータであり、一般に焦点距離fx，fy及び光軸中心位置cx，cyの4パラメータで表される。Wはカメラの外部パラメータであり、一般に回転行列r11～r33の9パラメータ並びに相互に変換可能な回転ベクトルrx～rz（3パラメータ）及び並進ベクトルtx～tz（3パラメータ）の6パラメータで表される。

【0031】

多視点画像からカメラの外部パラメータ及び内部パラメータ、更には多視点画像中の特徴点の三次元座標を同時に復元する手法は、例えば非特許文献1にSfM法として開示されている。前記カメラパラメータ推定部10は、任意のSfM法を用いて全てのカメラの外部パラメータ及び内部パラメータを同時に推定する。なお、同時に復元される特徴点の三次元座標は使用しない。

【0032】

第1の前景抽出部20aは、図2(a)，(b)に示すように多数の多視点画像から選択した一部の画像Ik（ここで、Ikは全部でK枚、K＜N、k∈{1,…,K}）から対象物のシルエットを抽出し、これを第1の前景画像F¹kとして出力する。一般に前景画像とは画像中の前景領域のピクセルが指定された画像のことであり、前景領域の輝度を255（白）、背景領域の輝度を0（黒）等とした2値画像のことである。

【0033】

第1の前景抽出部20aは対象物のシルエットを任意の方法で抽出できる。例えば、ユーザが画像の各ピクセルについて前景／背景を手動で指定し、完全手作業で第1の前景画像を生成しても良い。多視点画像の全て（N枚）に対して完全手作業で前景画像を生成することはユーザ負荷の観点から非現実的だが、本実施形態では必要な作業が一部（少数のk枚）に限定されるためにユーザの負荷が大幅に軽減される。

【0034】

あるいは、ユーザが画像の各ピクセルを前景／背景／不明の3種のいずれかに手動で指定することでTrimap画像を生成し、非特許文献3に開示されるAlpha MattingによってTrimap画像から前景画像を自動生成するようにしても良い。Trimap画像とは、画像中の前景領域／背景領域／不明（前景背景の判別不可）のピクセルが指定された画像のことであり、前景領域の輝度を255（白）、背景領域の輝度を0（黒）、不明領域の輝度を128（灰色）等としたグレースケール画像等の形式で表現される。

【0035】

Trimap画像にAlpha Mattingを適用することでTrimap画像の不明領域のピクセルを自動的に前景／背景に分類し、Trimap画像を前景画像に変換することができる。境界付近のピクセルをまとめて不明として大雑把に指定すれば良いため、完全手作業で前景画像を生成する場合と比較して、ユーザ負荷が大幅に軽減される。

【0036】

あるいは、入力画像から前景画像を完全自動で生成する（ただし、精度はTrimap画像を用いる方式に劣る）タイプのAlpha Matting方式（特許文献1、2が用いる背景差分法もこのタイプ）によって全ての多視点画像から前景画像を自動で生成した後、ユーザが精度良く生成できたと判断した前景画像のみを抽出して第1の前景画像F¹kとしても良い。この場合、ユーザはTrimap画像を生成する必要が無いため負荷が最も低くなる。

【0037】

第1の三次元形状復元部40aは、図2(c)に示すように、第1の前景抽出部20aが一部の多視点画像から抽出した少数の第1の前景画像F¹k及び少なくとも当該第1の前景画像F¹kの抽出元の各多視点画像のカメラパラメータに基づいて対象物の三次元形状M1を復元する。

【0038】

ここで、三次元形状とは対象物を包含する三次元空間中の三次元モデルのことである。三次元モデルには、一般にソリッドモデル・メッシュ（サーフェス）モデル・ワイヤフレームモデル等が存在する。本発明は特定のモデルに特化するものではないが、本実施形態では三次元形状がメッシュモデル（頂点・線分・面の情報で対象物表面を表現した三次元モデル）であるものとして説明を続ける。

【0039】

前記第1の三次元形状復元部40aは少数（20枚程度）の前景画像F¹kを用いて三次元形状を復元するので、その品質は不十分、低品質となる。しかしながら、本実施形態では後述する第2の前景抽出部20bが当該少数よりも多数の第2の前景画像F²nを生成し、当該第2の前景画像F²nを用いた形状復元を改めて行うため、最終的には高精度、高品質な形状復元が可能になる。

【0040】

前景抽出補助画像生成部30は、3Dレンダリング部301、前景画像生成部302及びTrimap画像を生成する領域分割部303を含み、図2(d)に示すように、第1の三次元形状復元部40aが復元した第1の三次元形状M1及び前記一部の多視点画像よりも多数の多視点画像の各カメラパラメータを用いて前景抽出補助画像Sを生成する。本実施形態では、全N台のカメラの外部パラメータWn及び内部パラメータAnを用いてN枚のTrimap画像を前景抽出補助画像Sn（n=1,…,N）として生成する。

【0041】

図3は、前景抽出補助画像生成部30が前景抽出補助画像Snを生成する手順を模式的に示した図であり、初めに3Dレンダリング部301が第1の三次元形状M1及びN枚の多視点画像のカメラパラメータWn，Anを用いた3Dレンダリング処理により当該三次元形状M1を各カメラパラメータで撮影した際の二次元画像データに変換する。

【0042】

次いで、各レンダリング結果から対象物の前景画像を取得するために、前景画像生成部302がデプスバッファから各ピクセルの奥行値を参照し、奥行値が存在するピクセルを当該三次元形状M1の前景ピクセルとして扱うことで、第1の三次元形状M1をベースとした前景画像F^M1nを生成する。

【0043】

このM1ベース前景画像F^M1nは粗い第1の三次元形状M1のシルエット画像であるため、そのままでは三次元形状の正確な復元に用いることができない。そこで、領域分割部303が各M1ベース前景画像F^M1nを、確実に前景ピクセルであると想定される領域Z^Fn、確実に背景ピクセルであると想定される領域Z^Bn及び前景／背景の判別が不確実な領域Z^Unに3分割することでTrimap化する。

【0044】

本実施形態では、各M1ベース前景画像F^M1nに膨張収縮処理を施すことで領域分割を実現する。初めにM1ベース前景画像F^M1nに対して収縮処理を行った結果の前景領域をZ^Fnとする。次いで、M1ベース前景画像F^M1nに対して膨張処理を行った結果の背景領域をZ^Bnとする。最後にZ^FnでもZ^Bnでもない領域をZ^Unとする。

【0045】

第1の三次元形状M1は誤差を含むものの対象物の三次元形状をある程度表していることが想定されるため、想定される誤差を加味した膨張収縮処理により、確実に前景／背景であると想定される領域を特定することができる。

【0046】

ここで、前景抽出補助画像生成部30は収縮処理に対して膨張処理の回数を増やしたり、カーネルサイズを大きくしたりしても良い。一般にSfS法では、復元される形状が実際の形状よりも収縮する傾向にあるため、この調整により前景抽出補助画像Snの精度を高めることができる。

【0047】

また、前景抽出補助画像生成部30は、第1の形状復元に使用した少数の前景画像の枚数Nkが一定の閾値を下回った場合は収縮処理の回数を増やしたり、収縮処理のカーネルサイズを大きくしたりする一方、少数の前景画像の枚数Nkが一定の閾値を上回った場合は膨張処理の回数を増やしたり、膨張処理のカーネルサイズを大きくしたりしても良い。なお、膨張処理の回数を増やすと共に膨張処理のカーネルサイズも大きくするようにしても良い。

【0048】

あるいは、第1の形状復元に使用した少数の前景画像の枚数Nkが一定の閾値を下回る範囲内ではNkが少ないほど収縮処理の回数を増やしたり、収縮処理のカーネルサイズを大きくしたりする一方、前景画像の枚数Nkが一定の閾値を上回る範囲内ではNkが多いほど膨張処理の回数を増やしたり、膨張処理のカーネルサイズを大きくしたりしても良い。なお、膨張処理の回数を増やすと共に膨張処理のカーネルサイズも大きくするようにしても良い。

【0049】

一般にSfS法では視点数（前景画像の枚数）が少ない場合に、復元される形状が実際の形状よりも外側に膨らむ部分が生じやすい傾向がある一方、視点数（前景画像の枚数）が多くなるほど、復元される形状が実際の形状よりも内側に萎む部分が生じやすい傾向があるため、このような調整を採用することで前景抽出補助画像（Trimap画像）の精度を更に高めることができる。

【0050】

第2の前景抽出部20bはAlpha Matting部201を含み、前景抽出補助画像生成部30が多数（本実施形態では、N枚）の多視点画像ごとに生成した前景抽出補助画像（Trimap画像）Sn及び多数の多視点画像In（図2(e)）に基づいて、図2（f）に示すように多数の第2の前景画像F²n（n=1,…N）を抽出する。

【0051】

図4は第2の前景抽出部20bが第2の前景画像F²nを抽出する手順を模式的に示した図であり、初めにAlpha Matting部201おいて多視点画像Inごとに対応するTrimap画像Snを用いて、Alpha Mattingによってピクセルごとに前景／背景の推定を行う。推定結果は前景と判定した確度の連続値になっているため、所定の閾値Tで前景／背景の2値データに変換することで第2の前景画像F²nを得る。

【0052】

閾値Tは前景（255）と背景（0）の間の任意の値を取ることが可能であり、予め所定の値をユーザが指定しておくことができるが、適切な値に設定することにより第2の形状復元の精度を高めることが可能である。

【0053】

閾値Tは、カメラパラメータの一致する第1の前景画像F¹kと第2の前景画像F²n（k枚）との比較結果に基づいて自動的に設定しても良い。具体的には、第1の前景画像F¹kについて第2の前景画像F²nとの類似度を計算し、その平均または合計が最も高くなるように閾値Tを設定することができる。高精度な第1の前景画像F¹kを用いて閾値調整することで、第1の前景画像F¹kが存在しないカメラ画像についても、第2の前景抽出を同様に高精度に行えることが期待できる。

【0054】

なお、第2の前景抽出部20bは、第1の前景抽出部20aが第1の前景画像F¹kを抽出していない多視点画像、すなわち前記一部の多視点画像を除いた残り全ての多視点画像のみから第2の残りの前景画像F²n-kを抽出し、第1の前景画像F¹k及び第2の残りの前景画像F²n-kを統合して第2の前景画像F²nとしても良い。

【0055】

これにより、第2の前景抽出部20bが全ての多視点画像から前景画像を抽出する場合と比較して処理負荷の削減が可能となるのみならず、第1の前景画像F¹kは少数ではあるものの高精度である可能性が高いので、第2の形状復元の精度を更に高められるようになる。

【0056】

第2の三次元形状復元部40bは、多数の第2の前景画像F²n及び対応するカメラパラメータを用いて、図2(g)に示すように、前記第1の三次元形状復元部40aと同様の手法で対象物の三次元形状M2を高品質に復元する。

【0057】

本実施形態によれば、任意背景の環境下で撮影された対象物の多視点画像から当該対象物の三次元形状を高精度に復元することができる。

【0058】

図5は本発明の第2実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

【0059】

本実施形態は、第2の三次元形状復元部40bが多数の第2の前景画像F²nを用いて復元した相対的に高品質な第2の三次元形状M2を前景抽出補助画像生成部30へフィードバックするようにした点に特徴がある。

【0060】

前景抽出補助画像生成部30は、第2の三次元形状M2がフィードバックされると前記第1の三次元形状M1の代わりに当該第2の三次元形状M2を用いた3DレンダリングによりM2ベース前景画像F^M2nを生成し、これを領域分割することで前景抽出補助画像Snを生成する。第2の前景抽出部20bは、各多視点画像から前景抽出補助画像Snを用いて更に高精度化された第2の前景画像F²nを改めて抽出する。

【0061】

第2の三次元形状復元部40bは前記更に高精度化された第2の前景画像F²n及び対応するカメラパラメータを用いて第2の三次元形状M2（M2_2）を再復元することを、収束判定部403が前回（n番目）の第2の三次元形状M2（M2_n）と今回の第2の三次元形状M2（M2_n+1）との差分が所定の閾値を下回ったと判定するまで繰り返す。

【0062】

第2の三次元形状M2は第1の三次元形状M1よりも高精度であるため、上記のように前景抽出補助画像の生成及び第2の三次元形状M2の生成を繰り返すことで第2の三次元形状M2の品質を更に向上させることができるようになる。

【0063】

図6は、本発明の第3実施形態の構成を示した図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

【0064】

本実施形態は、前記第1の三次元形状復元部40aがSfSベース復元部401を具備し、前記第1の前景抽出部20aが前記一部の多視点画像から抽出した第1の前景画像及び当該一部の多視点画像を撮影した各カメラのカメラパラメータを用いてSfS法により第1の三次元形状M1を復元する点に特徴がある。

【0065】

一般にSfS法は、使用する前景画像の枚数（視点数）が多ければ多いほど高精度な三次元形状の復元が可能になるため、画像のサブセットのみを用いる第1の形状復元は十分な精度が得られない傾向がある。

【0066】

前記SfSベース復元部401は、第1の前景画像F¹k及び対応するカメラパラメータを用いて三次元ボクセル空間にシルエットの逆投影を行うことで、対象物を包含するボクセルデータを算出する（この処理は視体積交差法又はVisual Hullとも呼ばれる）。

【0067】

前記SfSベース復元部401は更に、ボクセルデータをマーチングキューブ法等のアルゴリズムによってメッシュモデルに変換する。マーチングキューブ法では、隣接した8個のボクセルを頂点とする立方体を一単位として、8頂点のボクセルの値に応じて予め定義された15パターンのポリゴンに変換する処理を繰り返すことによってボクセルデータを三次元形状モデルに変換することができる。

【0068】

図7は、本発明の第4実施形態の構成を示した図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

【0069】

本実施形態は、前記第1の三次元形状復元部40aが点群ベース復元部402を具備し、全て（N台）のカメラ画像から抽出した点群データを用いて第1の三次元形状M1を復元する点に特徴がある。

【0070】

カメラパラメータ推定部10は、各カメラが多視点画像を撮影した際の外部パラメータWn（n=1,…,N）及び内部パラメータAn（n=1,…,N）を同時に推定すると共に、SfM法で推定した多視点画像中の特徴点の三次元座標（三次元点群データP）を取得する。

【0071】

第1の三次元形状復元部40aは、三次元点群データPを用いて、三次元点群データから三次元モデルを復元する一般的なアルゴリズム（Poisson Surface Reconstruction法など）を用いて対象物の第1の三次元形状M1を復元する。

【0072】

第1の形状復元は、一般的なSfM法と同様のアプローチでの形状復元になるため、模様が乏しい対象物の復元精度が劣化する傾向がある。しかしながら、本実施形態では全視点分の前景画像を用いた第2の形状復元による高精度な形状復元が期待できる。

【0073】

なお、上記の第3及び第4の実施形態では第1の三次元形状復元部40aがSfSベース又は点群ベースで第1の三次元形M1を復元するものとして説明したが、本発明はこれのみに限定されるものではなく、図8に示した第5実施形態のように、第1の三次元形状復元部40aにSfSベース復元部401及び点群ベース復元部402を設け、2つの復元方式を組み合わせるようにしても良い。

【0074】

具体的には、第1の前景画像F¹kからSfS法によって復元した三次元形状M1を一度三次元点群データP'に変換し、カメラパラメータ推定部10が取得した三次元点群データPと前記変換した三次元点群データP'とを統合し、統合した三次元点群を用いて三次元形状M1を復元することができる。

【0075】

そして、上記の各実施形態によれば、任意背景の環境下で撮影された対象物の多視点画像から当該対象物の三次元形状をユーザやシステムリソースの負担を抑えながら高精度に復元することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様な三次元形状を提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0076】

1…三次元形状復元装置，10…カメラパラメータ推定部，20（20a，20b）…前景画像抽出部，30…前景抽出補助画像生成部，40（40a，40b）…三次元形状復元部，201…Alpha Matting部，301…3Dレンダリング部，302…前景画像生成部，303…領域分割部，401…SfSベース復元部，402…点群ベース復元部，403…収束判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】