特開 2023-135010 三次元形状復元装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023135010

(43)【公開日】2023-09-28

(54)【発明の名称】三次元形状復元装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/55 20170101AFI20230921BHJP

【ＦＩ】

G06T7/55

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022040004

(22)【出願日】2022-03-15

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】鶴崎 裕貴

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA05

5L096DA02

5L096EA39

5L096EA43

5L096FA32

5L096FA66

5L096GA08

5L096GA51

(57)【要約】

【課題】撮影された大量の多視点画像の中から選別した一部の画像のみを用いて三次元形状を復元する。
【解決手段】視点の異なるカメラで撮影した多視点画像の一部を選別画像として選別し、選別画像から抽出した前景画像を用いてコンピュータが物体の三次元形状を復元する三次元形状復元装置において、画像選別部30が、未選別の多視点画像から選別画像の候補画像を順次に選択する候補画像選択部302と、候補画像および選別画像を用いて物体の三次元形状を仮復元する三次元形状仮復元部303と、仮復元された三次元形状を用いて、未選別かつ候補画像として選択されていない未選択の多視点画像ごとにモデル前景画像を抽出する第3前景画像抽出部304と、モデル前景画像に基づいて当該候補画像の評価値を算出することを候補画像ごとに繰り返す差分平均値計算部305とを具備し、評価値の最も高い候補画像を選別することを繰り返す。
【選択図】図1

【特許請求の範囲】

【請求項1】

視点の異なるカメラで撮影した多視点画像の一部を選別画像として選別する手段を具備し、選別画像から抽出した前景画像を用いて物体の三次元形状を復元する三次元形状復元装置において、
前記選別する手段が、
未選別の多視点画像から選別画像の候補を候補画像として順次に選択する手段と、
選択した候補画像および選別画像を用いて物体の三次元形状を仮復元する手段と、
仮復元された三次元形状を用いて、未選別かつ候補画像として選択されていない未選択の多視点画像ごとにモデル前景画像を抽出する手段と、
前記モデル前景画像に基づいて当該候補画像の評価値を算出することを、前記候補画像が順次に選択されて三次元形状が仮復元されるごとに繰り返す手段とを具備し、
前記選別する手段は、前記評価値に基づいて候補画像の一部を選別することを特徴とする三次元形状復元装置。

【請求項2】

前記候補画像の評価値を算出する際に、
前記順次に選択される候補画像ごとに、未選択の各多視点画像の前景画像とモデル前景画像との差分をそれぞれ計算し、
前記候補画像ごとに各差分の統計値を評価値とすることを特徴とする請求項１に記載の三次元形状復元装置。

【請求項3】

前記各差分の統計値が各差分の平均値であることを特徴とする請求項２に記載の三次元形状復元装置。

【請求項4】

各選別画像のカメラ位置からの距離が大きいカメラ位置の候補画像ほど選別され易くなるように、各差分の平均値に前記距離に応じた重み付けを行うことを特徴とする請求項３に記載の三次元形状復元装置。

【請求項5】

多視点画像に基づいて各多視点画像のカメラパラメータを推定する手段を更に具備したことを特徴とする請求項１ないし４のいずれかに記載の三次元形状復元装置。

【請求項6】

前記選別する手段は、前記評価値に基づいていずれかの候補画像を選別することを残りの未選別の多視点画像に対して繰り返すことを特徴とする請求項１ないし５のいずれかに記載の三次元形状復元装置。

【請求項7】

前記選別する手段は、選別画像の総数が所定の枚数に達するまで選別を繰り返すことを特徴とする請求項６に記載の三次元形状復元装置。

【請求項8】

前記選別する手段は、前記評価値に基づいていずれかの候補画像を選別することを残りの未選別の多視点画像に対して、前記差分の平均値の変化が所定の閾値以下になるまで繰り返すことを特徴とする請求項３または４に記載の三次元形状復元装置。

【請求項9】

前記選別する手段は、前記評価値に基づいていずれかの候補画像を選別することを残りの未選別の多視点画像に対して、前記差分の平均値が前に計算した差分の平均値よりも上昇するまで繰り返すことを特徴とする請求項３または４に記載の三次元形状復元装置。

【請求項10】

前記選別する手段は、前記評価値に基づいていずれかの候補画像を選別することを残りの未選別の多視点画像に対して、前記差分の平均値が過去の平均値の最小値よりも一定の閾値以上上回るまで繰り返すことを特徴とする請求項３または４に記載の三次元形状復元装置。

【請求項11】

視点の異なるカメラで撮影した多視点画像の一部を選別画像として選別し、選別画像から抽出した前景画像を用いてコンピュータが物体の三次元形状を復元する三次元形状復元方法において、
未選別の多視点画像から選別画像の候補を候補画像として順次に選択し、
選択した候補画像および選別画像を用いて物体の三次元形状を仮復元し、
仮復元された三次元形状を用いて、未選別かつ候補画像として選択されていない未選択の多視点画像ごとにモデル前景画像を抽出し、
前記モデル前景画像に基づいて当該候補画像の評価値を算出することを、前記候補画像が順次に選択されて三次元形状が仮復元されるごとに繰り返し、
前記評価値に基づいて候補画像の一部を選別画像として選別することを特徴とする三次元形状復元方法。

【請求項12】

前記候補画像の評価値を算出する際に、
前記順次に選択される候補画像ごとに、未選択の各多視点画像の前景画像とモデル前景画像との差分をそれぞれ計算し、
前記候補画像ごとに各差分の統計値を評価値とすることを特徴とする請求項１１に記載の三次元形状復元方法。

【請求項13】

視点の異なるカメラで撮影した多視点画像の一部を選別画像として選別し、選別画像から抽出した前景画像を用いて物体の三次元形状を復元する三次元形状復元プログラムにおいて、
未選別の多視点画像から選別画像の候補を候補画像として順次に選択する手順と、
選択した候補画像および選別画像を用いて物体の三次元形状を仮復元する手順と、
仮復元された三次元形状を用いて、未選別かつ候補画像として選択されていない未選択の多視点画像ごとにモデル前景画像を抽出する手順と、
前記モデル前景画像に基づいて当該候補画像の評価値を算出することを、前記候補画像が順次に選択されて三次元形状が仮復元されるごとに繰り返す手順と、
前記評価値に基づいて候補画像の一部を選別画像として選別することを特徴とする三次元形状復元プログラム。

【請求項14】

前記候補画像の評価値を算出する際に、 前記順次に選択される候補画像ごとに、未選択の各多視点画像の前景画像とモデル前景画像との差分をそれぞれ計算し、前記候補画像ごとに各差分の統計値を評価値とすることを特徴とする請求項１３に記載の三次元形状復元プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多視点画像から抽出した前景画像を用いて物体の三次元形状を復元する三次元形状復元装置、方法及びプログラムに係り、特に、多数の多視点画像から選別した少数の多視点画像の前景画像を用いて三次元形状を復元する三次元形状復元装置、方法及びプログラムに関する。

【背景技術】

【0002】

画像から対象物の三次元復元を行うアプローチとして、カメラを複数台用いて撮影した多視点画像から三次元復元を行うアプローチと、1台の移動カメラを用いて撮影した多視点画像から三次元復元を行うアプローチとが存在する。

【0003】

カメラを複数台用いて撮影した多視点画像から三次元復元を行うアプローチで用いられる方式として、対象物の複数視点画像から対象物のシルエット（前景）を抽出し、SfS（Shape-from-Silhouette）法で三次元形状を求める方式が一般に知られている。

【0004】

特許文献1には、シルエット抽出が不正確な場合でも高精度な三次元形状を求められるようにSfSを改良し、複数のシルエット画像を大局的に評価することで三次元復元を行う方式が開示されている。特許文献2には、一部領域が高速に動く対象物をSfS法で復元する際に、領域の速度に応じてパラメータを調整することで精度を向上する方式が開示されている。

【0005】

一方、1台の移動カメラを用いて撮影した多視点画像から三次元復元を行うアプローチで用いられる方式として、対象物の複数視点画像のそれぞれのカメラ姿勢をSfM（Structure-from-Motion）法（非特許文献1）で推定した上で、画像間のステレオマッチングによって視差画像を生成し、視差画像の合成により三次元形状を求めるMVS（Multi-View Stereo）が知られている。例えば特許文献3には、ランダム探索によって物体表面の法線方向を考慮したMVSを高速に行う、PatchMatch Stereo法（非特許文献2）を用いた三次元復元法が開示されている。

【0006】

特許文献4には、移動カメラで対象物を撮影した際に発生するブラーに対する復元の頑健性を向上させるために、撮影画像中のブラー量に応じてステレオマッチングのスコアを調整することで復元精度を向上させる三次元復元法が開示されている。特許文献5には、ユーザが移動カメラで対象物を撮影する際に適切なカメラの動かし方ができるよう支援する方式が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開2013-25458号公報

【特許文献2】特開2020-35218号公報

【特許文献3】特開2018-181047号公報

【特許文献4】特開2020-9255号公報

【特許文献5】特開2020-88646号公報

【特許文献6】特開2005-078522号公報

【非特許文献】

【0008】

【非特許文献1】J. L. Schonberger, et al., "Structure-from-Motion Revisited", Proc. of CVPR, 2016.

【非特許文献2】M.Bleyer, C.Rhemann, C.Rother, "PatchMatch Stereo - Stereo Matching with Slanted Support Windows", Proc. of BMVC, 2011.

【非特許文献3】Laurentini, A. "The Visual Hull Concept for Silhouette Based Image Understanding." IEEE PAMI, 16,2 (1994), 150-162

【発明の概要】

【発明が解決しようとする課題】

【0009】

先行技術には、移動カメラで撮影された対象物の多視点画像から最適な画像を選択して当該対象物の三次元形状を高精度に復元することが困難であるという問題点があった。例えば、特許文献1-5はいずれも複数の画像から三次元形状を推定する技術を開示するが、入力された画像を全て用いることを前提とし、三次元形状を復元するための最適な画像選別の手法が開示されていない。

【0010】

なお、先行技術では対象物のシルエット画像を用いて視体積交差法（非特許文献3）により三次元形状を推定している。カメラを複数台用いて撮影した多視点画像の場合、用意できるカメラの台数に限りがあるため、多くの場合、三次元形状を高精度に推定には画像枚数が不足するといった技術課題があった。

【0011】

一方、1台の移動カメラを用いる場合は大量の画像を用意することが可能になるが、三次元形状を高精度に推定する際に、適切に画像を選択しなければならない。これは視体積交差法の仕組み上、画像枚数が増えるほど三次元形状が削られていくため、三次元形状の推定に不適切な画像、例えばカメラパラメータの推定に失敗した画像などが含まれていると対象物体の三次元形状が誤って削られてしまうためである。

【0012】

このような技術課題に対して、人物の三次元形状を推定する際に適切な二次元画像を選択する手法が特許文献6に開示されている。しかしながら、特許文献6が開示する二次元画像選択手法は、回転ドアの正面に位置する扉部分を向いている二次元画像を三次元形状生成に適した二次元画像として選択するに過ぎないため、人物の三次元形状は高精度に推定できるが人物以外の物体には対応していない。

【0013】

本発明の目的は、上記の技術課題を解決し、大量の多視点画像から選別した一部の多視点画像のみを用いて三次元形状を復元する三次元形状復元装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0014】

上記の目的を達成するために、本発明は、視点の異なるカメラで撮影した多視点画像からその一部を選別画像として選別する手段を具備し、選別画像から抽出した前景画像を用いて物体の三次元形状を復元する三次元形状復元装置において、以下の構成を具備した点に特徴がある。

【0015】

(1) 前記選別する手段が、未選別の多視点画像から選別画像の候補を候補画像として順次に選択する手段と、選択した候補画像および選別画像を用いて物体の三次元形状を仮復元する手段と、仮復元された三次元形状を用いて、未選別かつ候補画像として選択されていない未選択の多視点画像ごとにモデル前景画像を抽出する手段と、前記モデル前景画像に基づいて当該候補画像の評価値を算出することを、前記候補画像が順次に選択されて三次元形状が仮復元されるごとに繰り返す手段とを具備し、前記選別する手段は、前記評価値に基づいて候補画像の一部を選別するようにした。

【0016】

(2) 前記候補画像の評価値を算出する際に、前記順次に選択される候補画像ごとに、未選択の各多視点画像の前景画像とモデル前景画像との差分をそれぞれ計算し、前記候補画像ごとに各差分の統計値を評価値とするようにした。

【0017】

(3) 各差分の統計値が各差分の平均値であり、各選別画像のカメラ位置からの距離が大きいカメラ位置の候補画像ほど選別され易くなるように、各差分の平均値に前記距離に応じた重み付けを行うようにした。

【発明の効果】

【0018】

本発明によれば、以下のような効果が達成される。

【0019】

(1) 多数の多視点画像から、その一部の画像群であって当該各画像から抽出した前景画像を用いれば三次元形状を正確に復元することが期待できる画像を逐次的に選別し、選別した画像の前景画像のみを用いて三次元形状を復元するので、物体の三次元形状を少ない計算負荷で高精度に復元できるようになる。

【0020】

(2) 順次に選択される候補画像ごとに未選択の各多視点画像の前景画像とモデル前景画像との差分を計算し、その統計値に基づいて画像を選別するので、選別済みの画像を用いて復元される三次元形状の補間に好適な画像を選別できるようになる。

【0021】

(3) 選別済みの画像のカメラ位置からの距離が大きいカメラ位置の候補画像ほど選別され易くなるようにしたので選別画像の視点を分散させることにより、三次元形状の補間に好適な画像を選別できる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る三次元形状復元装置の機能ブロック図である。

【図2】画像選別の手順を示したフローチャートである。

【図3】初期画像（最初の選別画像）および候補画像を用いて仮復元した三次元形状を用いて画像を選別する手順を模式的に示した図（その１）である。

【図4】初期画像（最初の選別画像）および候補画像を用いて仮復元した三次元形状を用いて画像を選別する手順を模式的に示した図（その２）である。

【図5】選別画像および候補画像を用いて仮復元した三次元形状を用いて選別画像を追加する手順を模式的に示した図である。

【発明を実施するための形態】

【0023】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の一実施形態に係る三次元形状復元装置1の構成を示した機能ブロック図であり、カメラパラメータ推定部10，前景画像抽出部20（20a，20b）、画像選別部30および三次元形状復元部40を主要な構成とし、ここでは本発明の説明に不要な構成の図示は省略している。

【0024】

カメラパラメータ推定部10は複数視点のカメラ画像を多視点画像In（n=1,…,N）として取得し、各多視点画像（以下、単に画像と表現する場合もある）Inを撮影した際の各カメラの外部パラメータ（カメラの位置姿勢の情報）Wn（n=1,…,N）及び内部パラメータ（カメラの焦点距離や光軸中心位置等の情報）An（n=1,…,N）を同時に推定する。各カメラパラメータの推定結果Wn，Anは画像選別部30および三次元形状復元部40へ提供される。

【0025】

カメラの外部パラメータWn及び内部パラメータAnは、グローバルな三次元ユークリッド空間中の三次元座標[X, Y, Z] Tを各カメラ画像の二次元ピクセル座標 [u, v] Tに変換するパラメータであり、次式(1)で表される。

【0026】

【数1】

【0027】

ここで、Aはカメラの内部パラメータであり、一般に焦点距離fx，fy及び光軸中心位置cx，cyの4パラメータで表される。Wはカメラの外部パラメータであり、一般に回転行列r11～r33の9パラメータ並びに相互に変換可能な回転ベクトルrx～rz（3パラメータ）及び並進ベクトルtx～tz（3パラメータ）の6パラメータで表される。

【0028】

多視点画像からカメラの外部パラメータ及び内部パラメータ、更には多視点画像中の特徴点の三次元座標を同時に復元する手法は、例えば非特許文献1にSfM法として開示されている。前記カメラパラメータ推定部10は、任意のSfM法を用いて全てのカメラの外部パラメータ及び内部パラメータを同時に推定する。なお、同時に復元される特徴点の三次元座標は使用しない。

【0029】

第1前景画像抽出部20aは、各多視点画像Inからその前景画像FInを抽出する。一般に前景画像とは、画像中の前景領域のピクセルが指定された画像のことであり、前景領域の輝度を255（白）、背景領域の輝度を0（黒）等とした2値画像（シルエット）のことである。

【0030】

第1前景画像抽出部20aは、対象物のシルエットを抽出する方法として任意の方法を用いることが可能である。例えば、ユーザが画像の各ピクセルについて前景／背景を手動で指定し、完全手作業で前景画像を生成しても良い。

【0031】

あるいは、ユーザが画像の各ピクセルについて、前景／背景／不明の3種のいずれかに手動で指定することでTrimap画像（各ピクセルが前景／背景／不明の3値で表現された前景抽出補助画像）を生成し、例えば非特許文献3に開示されているAlpha Matting方式によってTrimap画像から前景画像を自動生成するようにしても良い。

【0032】

Trimap画像とは、画像中の前景領域／背景領域／不明（前景背景の判別不可）のピクセルが指定された画像のことであり、前景領域の輝度を255（白）、背景領域の輝度を0（黒）、不明領域の輝度を128（灰色）等としたグレースケール画像のことである。Alpha Mattingを適用することでTrimap画像の不明領域のピクセルを自動的に前景／背景に分類し、Trimapを前景画像に変換することができる。

【0033】

あるいは、精度はTrimapを用いる方式に劣るものの、入力画像から前景画像を完全自動で生成するタイプのAlpha Matting方式（特許文献1、2が用いる背景差分法もこのタイプ）によって全ての多視点画像から前景画像を自動で生成した後、ユーザが精度良く生成できたと判断した前景画像のみを抽出して前景画像としても良い。この場合、ユーザはTrimapを生成する必要が無い。

【0034】

画像選別部30は、後に詳述するように、各多視点画像Inの前景画像FInおよびそのカメラパラメータWn，Anに基づいて、三次元形状の復元に用いる一部の多視点画像を選別する。第2前景画像抽出部20bは、選別された多視点画像（選別画像）からその前景画像を抽出する。三次元形状復元部40は、選別画像の前景画像および各画像のカメラパラメータを用いて、例えばSfS法により対象物の三次元形状を復元する。

【0035】

ここで、三次元形状とは、対象物を包含する三次元空間中の三次元モデルのことである。三次元モデルには、一般にソリッドモデル・メッシュ（サーフェス）モデル・ワイヤフレームモデル等が存在する。本発明は特定のモデルに特化するものではないが、本実施形態では三次元形状がメッシュモデル（頂点・線分・面の情報で物体表面を表現した三次元モデル）であるものとして説明を続ける。

【0036】

一般にSfS法では、前景画像とカメラパラメータを用いて三次元ボクセル空間にシルエットの逆投影を行うことで、対象物を包含するボクセルデータを算出する（この処理は視体積交差法又はVisual Hullとも呼ばれる）。更に、ボクセルデータをマーチングキューブ法等のアルゴリズムによってメッシュモデルに変換する。マーチングキューブ法では、隣接した8個のボクセルを頂点とする立方体を一単位として、8頂点のボクセルの値に応じて予め定義された15パターンのポリゴンに変換する処理を繰り返すことによってボクセルデータを三次元形状モデルに変換することができる。本発明には任意のSfS法を適用できる。

【0037】

このような三次元形状復元装置は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0038】

前記画像選別部30は、初期画像選別部301、候補画像選択部302、三次元形状仮復元部303、第3前景画像抽出部304及び差分平均値計算部305を主要な構成とし、全ての多視点画像Inの中から三次元形状の復元に用いる一部の多視点画像を選別する。

【0039】

次いで、図2のフローチャートを参照して画像選別部30の動作を詳細に説明する。ステップS１では多視点画像群から3D形状の復元に用いる選別画像の最初の一枚又は複数枚が初期画像選別部301により初期画像として選別される。ここでは説明を分かり易くするために、各多視点画像Inを識別するインデックスnの昇順で、画像I1が初期画像（最初の選別画像）として追加されものとして説明を続ける。

【0040】

ステップS２では、ここまでの選別画像（ここでは、初期画像I1のみ）を除いた残り全ての多視点画像が未選別画像に分類される。ステップS3では、候補画像選択部302により未選別画像の1枚が選別画像の候補（候補画像）として選択される。ここではインデックスnの昇順で画像I2が候補画像として選択されたものとして説明を続ける。

【0041】

ステップS4では、三次元形状仮復元部303により現時点での全ての選別画像および今回の候補画像を用いて、例えばSfS法により対象物の三次元形状が仮復元される。本実施形態では、三次元形状仮復元部303が前記三次元形状復元部40と同一又は同等の機能を備え、ここでは図3に示すように、初期画像I1、今回の候補画像I2並びに各画像I1，I2を撮影したカメラの外部パラメータW1，W2および内部パラメータA1，A2を用いて、例えば視体積交差法により対象物の三次元形状が仮復元される。

【0042】

ステップS5では、今回の候補画像I2及び初期画像I1を除いた全ての未選択の多視点画像（以下、未選択画像と表現する場合もある）から今回の注目画像が第3前景画像抽出部304により一つ選択される。ここでは、インデックスnの昇順で多視点画像I3が選択されたものとして説明を続ける。

【0043】

ステップS6では、第3前景画像抽出部304が更に、前記仮復元した三次元形状の三次元空間上の各点を今回の注目画像I3のカメラパラメータを用いて二次元空間上の点に投影することでそのカメラ位置の被写体画像を生成し、Alpha Mattingにより当該注目画像I3の前景画像を抽出する。これ以降、注目画像Inから前景画像抽出部304が抽出した前景画像をモデル前景画像MFInと表現する。

【0044】

ステップS7では、今回の注目画像Iiから前景画像抽出部304が抽出したモデル前景画像MFIiと前景画像抽出部20aが抽出した前景画像FIiとの差分Dⁱが次式(2)に基づいて計算される。

【0045】

【数2】

【0046】

ここでは、今回の注目画像I3から前景画像抽出部20aが抽出した前景画像FI3と当該注目画像I3に基づいて前景画像抽出部304が抽出したモデル前景画像MFI3との差分D³が計算される。

【0047】

ステップS8では、全ての未選択画像を注目画像として差分Dを計算済みであるか否かが判断される。注目画像として差分Dが計算済みでない未選択画像が残っていればステップS5へ戻り、注目画像を残りの未選択画像のいずれかに切り替えながら上記の各処理が繰り返すことで、更に差分D⁴，D⁵，D⁶…D^Nが計算される。

【0048】

未選択画像の全てについて差分Dが求まるとステップS9へ進み、図3に示すように今回の候補画像I2に関して注目画像の選択を繰り返して求めた差分Dⁱの平均値Davg2が次式(3)で計算される。ここで、Mは差分Dの個数であり、差分平均値Davg2は候補画像I2を選別するか否かの評価値となる。

【0049】

【数3】

【0050】

なお、ここまでの選別画像との距離が遠い候補画像ほど評価値が高くなって選別され易くなるように、例えば当該時点での各選別画像のカメラ位置と候補画像のカメラ位置とのユークリッド距離の平均値や最小値を求め、差分平均値Davg2を当該平均値や最小値で除した値を評価値として採用しても良い。

【0051】

ステップS10では、候補画像として選択されていない未選別画像が残っているか否かが判断される。未選択の未選別画像が残っていればステップS3へ戻り、候補画像の選択を切り替えながら上記の各処理を繰り返すことで、候補画像ごとに前記差分平均値Davg_jを次式の通り計算する。図４は、未選別の多視点画像I3を候補画像として、次式(4)に基づいて差分平均値Davg3を計算する方法を模式的に示している。

【0052】

【数4】

【0053】

次いで多視点画像I4が候補画像として選択されると、次式(5)に基づいて差分平均Davg4が計算される。

【0054】

【数5】

【0055】

全ての未選別画像について、これらを候補画像としたときの差分平均値Davg_jの計算が完了するとS11へ進み、差分平均値Davg_jが最小値を与える候補画像Iiが選別画像として新たに追加される。

【0056】

なお、ステップS11では上述のように差分平均値Davgjが最小値を与える候補画像Iiを選別画像として新規追加することに代えて、差分平均値Davgjが小さい方から所定数分の候補画像Ii（例えば、最小値を与える候補画像とその次に最小値を与える候補画像との２つの候補画像）を選別画像として新規追加するようにしてもよい。

【0057】

ステップS12では、画像選別が収束したか否かが判断される。本実施形態では、以下の4条件のいずれか又は複数が満たされると画像選別が収束したと判断される。

【0058】

条件1：選別画像の総数がユーザ指定の枚数に到達した。
条件2：差分平均値の変化が所定の閾値以下になった。
条件3：差分平均値が前に計算した差分平均値よりも上昇した。
条件4：差分平均値が過去の平均値最小値よりも一定の閾値以上上回った。

【0059】

収束していなければステップS2へ戻って現時点での選別画像を分類し、ステップS３以降、改めて未選別画像の中から候補画像の選択を切り替えながら上記の各処理を繰り返す。収束していれば当該処理を終了する。

【0060】

図5は、候補画像I2が選別画像として追加され、前記ステップS2において多視点画像I1，I2を選別画像として、改めて多視点画像I3を候補画像に選択して上記の各処理を繰り返した場合の動作を模式的に示している。

【0061】

なお、上述のステップS12では、条件1～条件4のいずれか又は複数が満たされると画像選別が収束したと判断されて当該処理を終了するものとして説明したが、例えば、ステップS11において必要数分の選別画像を新規追加することによりステップS12を省略するようにしてもよい。

【0062】

このように、本実施形態によれば選別手段30が未選別の多視点画像から選別の候補画像を順次に選択し、選択した候補画像および選別画像を用いて物体の三次元形状を仮復元し、三次元形状が仮復元されるごとに当該三次元形状を用いて未選択の多視点画像ごとにモデル前景画像MFIiと前景画像FIiとの差分をそれぞれ計算し、候補画像ごとに各差分の統計値を評価値として画像選別を繰り返すことで所定数の選別画像が得られる。

【0063】

選別画像をカメラ画像（多視点画像）からランダムに選択すると、カメラパラメータの推定に失敗しているカメラ画像を選択する可能性があり、その場合は正確な三次元形状を復元できないところ、本実施形態ではカメラパラメータの推定に失敗しているカメラ画像が候補画像になった場合、三次元形状が正しく復元されず、結果として算出されるDavgが高い値となり、そのようなカメラ画像が選別画像として選別されることを回避できるので、最終的に出力される三次元形状が高精度なものとなる。

【0064】

そして、上記の実施形態によれば高品質な三次元形状を生成することができるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0065】

1…三次元形状復元装置，10…カメラパラメータ推定部，20（20a，20b）…前景画像抽出部，30…画像選別部，40…三次元形状復元部，301…初期画像選別，302…候補画像選択部，303…三次元形状仮復元部，304…第3前景画像抽出部，305…差分平均値計算部

【図1】

【図2】

【図3】

【図4】

【図5】