特開 2022-92685 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022092685

(43)【公開日】2022-06-23

(54)【発明の名称】三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム

(51)【国際特許分類】

   G06T 7/529 20170101AFI20220616BHJP

   G06T 7/593 20170101ALI20220616BHJP

   G06T 7/00 20170101ALI20220616BHJP

【ＦＩ】

G06T7/529

G06T7/593

G06T7/00 350C

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2020205536

(22)【出願日】2020-12-11

(71)【出願人】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】酒井 修二

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA05

5L096FA03

5L096FA59

5L096FA66

5L096GA34

5L096KA04

(57)【要約】

【課題】面構造と線構造が混在する対象物の形状を高精度に三次元復元することが可能な三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラムを提供する。
【解決手段】対象物を異なる視点から撮像した二枚以上の画像である多視点画像の各視点画像における画素ごとに面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成するラベルマップ生成部と、前記ラベルマップに基づき、面構造と線構造とを有する前記対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する三次元情報マップ生成部と、を備える、三次元形状モデル生成装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物を異なる視点から撮像した二枚以上の画像である多視点画像の各視点画像における画素ごとに面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成するラベルマップ生成部と、
前記ラベルマップに基づき、面構造と線構造とを有する前記対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する三次元情報マップ生成部と、
を備える、三次元形状モデル生成装置。

【請求項2】

前記三次元情報マップは、前記面構造の領域における第１のデプスマップと前記線構造の領域における第２のデプスマップを含むデプスマップであり、
前記多視点画像と前記ラベルマップに基づき、局所的な面構造を仮定したステレオマッチングによって前記第１のデプスマップを生成する第１のデプスマップ生成部と、
前記多視点画像と前記ラベルマップに基づき、局所的な線構造を仮定したステレオマッチングによって前記第２のデプスマップを生成する第２のデプスマップ生成部と、
をさらに備える、請求項１に記載の三次元形状モデル生成装置。

【請求項3】

前記第１のデプスマップ生成部は、前記多視点画像に基づき、局所的な面構造を仮定したステレオマッチングによって第１の仮のデプスマップを生成し、
前記第２のデプスマップ生成部は、前記多視点画像に基づき、局所的な線構造を仮定したステレオマッチングによって第２の仮のデプスマップを生成し、
前記ラベルマップ生成部は、前記第１の仮のデプスマップと前記第２の仮のデプスマップの生成において得た情報に基づき、前記ラベルマップを生成する、
請求項２に記載の三次元形状モデル生成装置。

【請求項4】

前記ラベルマップ生成部は、前記第１の仮のデプスマップに対するステレオマッチングのマッチングスコアである第１のマッチングスコアと、前記第２の仮のデプスマップに対するステレオマッチングのマッチングスコアである第２のマッチングスコアを算出し、前記第１のマッチングスコアが前記第２のマッチングスコアよりも高い場合に面構造らしさが高いことを示すラベルを決定し、前記第２のマッチングスコアが前記第１のマッチングスコアよりも高い場合に線構造らしさが高いことを示すラベルを決定する、
請求項３に記載の三次元形状モデル生成装置。

【請求項5】

前記ラベルマップ生成部は、前記第１の仮のデプスマップから算出される局所的な面構造について、前記第２の仮のデプスマップから算出される線構造に基づく重み関数でステレオマッチングを行うことでマッチングスコアを算出し、前記マッチングスコアの値の大小に応じてラベルを決定する、
請求項３又は請求項４に記載の三次元形状モデル生成装置。

【請求項6】

前記第１のデプスマップ生成部は、前記第１の仮のデプスマップにおける第１の仮のデプスの値を前記ラベルマップに基づき修正した値を、前記第１のデプスマップのデプスの値とし、
前記第２のデプスマップ生成部は、前記第２の仮のデプスマップにおける第２の仮のデプスの値を前記ラベルマップに基づき修正した値を、前記第２のデプスマップのデプスの値とする、
請求項３から請求項５のいずれか１項に記載の三次元形状モデル生成装置。

【請求項7】

前記第１のデプスマップ生成部は、複数視点の前記ラベルマップを参照し、前記第１の仮のデプスにおける線構造らしさを示すラベルが面構造らしさを示すラベルよりも多い場合、前記第１の仮のデプスの値を不正であることを示す値に修正し、修正した値を前記第１のデプスマップのデプスの値とし、
前記第２のデプスマップ生成部は、複数視点の前記ラベルマップを参照し、前記第２の仮のデプスにおける面構造らしさを示すラベルが線構造らしさを示すラベルよりも多い場合、前記第２の仮のデプスの値を不正であることを示す値に修正し、修正した値を前記第２のデプスマップのデプスの値とする、
請求項６に記載の三次元形状モデル生成装置。

【請求項8】

前記第１のデプスマップ生成部は、前記ラベルマップにおける面構造らしさを示す画素の重みが大きくなるような重み関数を用いてステレオマッチングを行い、
前記第２のデプスマップ生成部は、前記ラベルマップにおける線構造らしさを示す画素の重みが大きくなるような重み関数を用いてステレオマッチングを行う、
請求項２から請求項７のいずれか１項に記載の三次元形状モデル生成装置。

【請求項9】

前記第１のデプスマップ生成部は、前記ラベルマップにおける面構造らしさを示す画素のみでデプスを算出し、
前記第２のデプスマップ生成部は、前記ラベルマップにおける線構造らしさを示す画素のみでデプスを算出する、
請求項２から請求項８のいずれか１項に記載の三次元形状モデル生成装置。

【請求項10】

前記三次元情報マップは、前記対象物の面構造を示す第１の三次元点群と前記対象物の線構造を示す第２の三次元点群を含む三次元点群であり、
前記多視点画像から生成される第１のデプスマップと前記ラベルマップに基づき、局所的な面構造を仮定したステレオマッチングによって前記第１の三次元点群を生成する第１の三次元モデル生成部と、
前記多視点画像から生成される第２のデプスマップと前記ラベルマップに基づき、局所的な線構造を仮定したステレオマッチングによって前記第２の三次元点群を生成する第２の三次元モデル生成部と、
をさらに備える、請求項１に記載の三次元形状モデル生成装置。

【請求項11】

前記ラベルマップ生成部は、前記多視点画像の各画像に基づきラベルマップを生成する、
請求項１から請求項１０のいずれか１項に記載の三次元形状モデル生成装置。

【請求項12】

前記ラベルマップ生成部は、ＣＮＮ（Convolutional Neural Network）を用いて前記ラベルマップを生成する、
請求項１から請求項１１のいずれか１項に記載の三次元形状モデル生成装置。

【請求項13】

ラベルマップ生成部が、対象物を異なる視点から撮像した二枚以上の画像である多視点画像の各視点画像における画素ごとに面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成する過程と、
三次元情報マップ生成部が、前記ラベルマップに基づき、面構造と線構造とを有する前記対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する過程と、
を含む、三次元形状モデル生成方法。

【請求項14】

コンピュータを、
対象物を異なる視点から撮像した二枚以上の画像である多視点画像の各視点画像における画素ごとに面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成するラベルマップ生成手段と、
前記ラベルマップに基づき、面構造と線構造とを有する前記対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する三次元情報マップ生成手段と、
として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラムに関する。

【背景技術】

【0002】

対象物が異なる視点から撮像された二枚以上の複数の視点画像（以下、「多視点画像」とも称される）に基づき対象物の三次元形状モデルを生成する三次元形状復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている。

【0003】

例えば、特許文献１には、多視点画像から、各視点のカメラから対象物までの奥行き方向の距離を示したデプスマップを生成し、それらのデプスマップを統合することで対象の三次元形状を復元する三次元復元手法が開示されている。特許文献１の三次元復元手法におけるデプスマップ生成処理では、対象の局所的な形状を小さな矩形の三次元平面（パッチ）で近似し、多視点画像間で最も整合性が取れるパッチ群の位置・姿勢を求める問題として解かれる。

【0004】

一方、非特許文献１では、髪の毛のような細い構造物の三次元形状を復元するための三次元復元手法が開示されている。非特許文献１の三次元復元手法においても、多視点画像からデプスマップを生成し、デプスマップを統合することで、対象の三次元形状を復元する。ただし、非特許文献１の三次元復元手法は、対象の局所的な形状を小さな線分で近似し、多視点画像間で最も整合性が取れる線分群の位置・姿勢を求める点が特許文献１の三次元復元手法と異なる。これにより、非特許文献１の三次元復元手法は、髪の毛のような細い構造物の復元を実現している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１８１０４７号公報

【非特許文献】

【0006】

【非特許文献1】Ｇｉｌｊｏｏ Ｎａｍ，Ｃｈｅｎｇｌｅｉ Ｗｕ，Ｍｉｎ Ｈ．Ｋｉｍ，Ｙａｓｅｒ Ｓｈｅｉｋｈ，“Ｓｔｒａｎｄ－ａｃｃｕｒａｔｅ Ｍｕｌｔｉ－ｖｉｅｗ Ｈａｉｒ Ｃａｐｔｕｒｅ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．１５５－１６４，２０１９

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１のような面構造を復元するための三次元復元手法では、パッチの大きさが計測対象の局所的な形状に対して十分に小さい場合、その形状を復元できるが、パッチの大きさが対象の局所的な形状に対して大きい場合、復元に失敗したり、精度が著しく低下したりする。そのため、髪の毛や針のように、細い形状の構造物を復元することが困難である。一方で、非特許文献１のような線構造を復元するための三次元復元手法では、対象物の形状が曲面である場合に、対象物の形状を曲面として復元することができず、曲線（もしくは曲線を近似した折れ線）の集合でしか復元できない。
上述のように、従来の多視点画像からの三次元復元手法では、対象物の形状を面として復元するか、あるいは線として復元するかのいずれかに限定されるため、面構造と線構造が混在する対象物の形状を高精度に三次元復元できないといった課題がある。

【0008】

上述の課題を鑑み、本発明の目的は、面構造と線構造が混在する対象物の形状を高精度に三次元復元することが可能な三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上述の課題を解決するために、本発明の一態様に係る三次元形状モデル生成装置は、対象物を異なる視点から撮像した二枚以上の画像である多視点画像の各視点画像における画素ごとに面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成するラベルマップ生成部と、前記ラベルマップに基づき、面構造と線構造とを有する前記対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する三次元情報マップ生成部と、を備える。

【0010】

本発明の一態様に係る三次元形状モデル生成方法は、ラベルマップ生成部が、対象物を異なる視点から撮像した二枚以上の画像である多視点画像の各視点画像における画素ごとに面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成する過程と、三次元情報マップ生成部が、前記ラベルマップに基づき、面構造と線構造とを有する前記対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する過程と、を含む。

【0011】

本発明の一態様に係るプログラムは、コンピュータを、対象物を異なる視点から撮像した二枚以上の画像である多視点画像の各視点画像における画素ごとに面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成するラベルマップ生成手段と、前記ラベルマップに基づき、面構造と線構造とを有する前記対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する三次元情報マップ生成手段と、として機能させる。

【発明の効果】

【0012】

本発明によれば、面構造と線構造が混在する対象物の形状を高精度に三次元復元することができる。

【図面の簡単な説明】

【0013】

【図1】本実施形態に係る三次元形状モデル生成装置の構成の一例を示すブロック図である。

【図2】本実施形態に係る対象物の多視点画像の一例を示す図である。

【図3】本実施形態に係るラベルマップの生成における重み関数の一例を示す図である。

【図4】本実施形態に係るラベルマップの生成における重み関数の一例を示す図である。

【図5】本実施形態に係るラベルマップの生成における重み関数の一例を示す図である。

【図6】本実施形態に係るラベルマップの一例を示す図である。

【図7】本実施形態に係る面構造デプスマップの一例を示す図である。

【図8】本実施形態に係る線構造デプスマップの一例を示す図である。

【図9】本実施形態に係る対象物における面構造部分の三次元復元結果の一例を示す図である。

【図10】本実施形態に係る対象物における線構造部分の三次元復元結果の一例を示す図である。

【図11】本実施形態に係る対象物の全体の三次元復元結果の一例を示す図である。

【図12】本実施形態に係る三次元形状モデル生成装置における処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本発明の一実施形態について詳しく説明する。

【0015】

＜１．三次元形状モデル生成装置の構成＞
図１は、本実施形態に係る三次元形状モデル生成装置の構成の一例を示すブロック図である。図１に示すように、三次元形状モデル生成装置１００は、例えば、多視点画像入力部１１０、ラベルマップ生成部１２０、三次元情報マップ生成部１３０、多視点画像記憶部１４０、ラベルマップ記憶部１５０、デプスマップ記憶部１６０、及び三次元モデル記憶部１７０を備える。

【0016】

本実施形態においては、外部装置（不図示）が三次元形状モデルとして復元する対象である対象物を複数の異なる視点から撮像する。当該外部装置が対象物を撮像した複数の撮像画像が視点画像のデータとして供給される。この視点画像の各々は、異なる視点から撮像された多視点画像である。

【0017】

（１）多視点画像入力部１１０
多視点画像入力部１１０は、対象物が異なる複数の視点から撮像装置（不図示）によって撮像された複数の画像である多視点画像のデータを入力する。多視点画像入力部１１０は、当該多視点画像に視点識別情報を付与する。多視点画像入力部１１０は、視点識別情報を付与した多視点画像を多視点画像記憶部１４０に記憶させる。

【0018】

ここで、図２を参照して、本実施形態に係る対象物の多視点画像について説明する。図２は、本実施形態に係る対象物の多視点画像の一例を示す図である。図２に示す多視点画像２００は、撮像装置（不図示）によって撮像される複数の多視点画像の内の１枚である。多視点画像２００には、対象物２０１が撮像されている。対象物２０１は、ウィッグ２０２とシャツ２０３を着用したマネキン２０４である。対象物２０１における三次元形状は、面構造と線構造で構成されている。対象物２０１における面構造は、シャツ２０３とマネキン２０４の肌部分（顔と首元）である。対象物２０１における線構造は、ウィッグ２０２である。

【0019】

（２）ラベルマップ生成部１２０
ラベルマップ生成部１２０は、多視点画像の各視点画像における画素（ピクセル）ごとの面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成する。ラベルマップ生成部１２０は、生成したラベルマップをラベルマップ記憶部１５０に記憶させる。

【0020】

ラベルマップは、例えば、画素ごとに２つの値を持つ２チャンネルのマップである。２チャンネルの内、１チャンネル目は画素が面構造である確率を０～１で示した値を持ち、２チャンネル目は画素が線構造である確率を０～１で示した値を持つ。つまり、ラベルマップの１チャンネル目の値が１に近いほど対象が面構造である確率が高く、ラベルマップの２チャンネル目の値が１に近いほど対象が線構造である確率が高くなる。なお、ラベルマップの各画素のチャンネルの値は、２つのチャンネルの値の合計が１となるように制約がかけられてもよい。また、ラベルマップの各チャンネルの値は、０～１の実数の値をとる構成であってもよいし、０もしくは１の整数の値をとる構成であってもよい。また、ラベルマップは、２チャンネルのマップで構成されてもよいし、１チャンネルのマップで構成されてもよい。ラベルマップを１チャンネルのマップで構成する場合、例えば、各画素の値は対象が面構造である確率を示し、１から各画素の値を引いた値は対象が線構造である確率を示す。

【0021】

ラベルマップ生成部１２０は、多視点画像の各画像に基づきラベルマップを生成する。ラベルマップ生成部１２０は、例えば、多視点画像の各視点画像の輝度値や色情報をもとに、各視点画像のラベルマップを生成する。ラベルマップ生成部１２０は、多視点画像の各画像の各画素について、その画素の輝度値や色情報のみを用いてラベルマップを生成してもよいし、その画素と周囲の画素の輝度値や色情報を合わせて用いてラベルマップを生成してもよい。

【0022】

なお、ラベルマップ生成部１２０は、デプスマップに基づき、ラベルマップを生成してもよい。デプスマップは、各視点画像を撮像した撮像装置から対象物体までの奥行き方向の距離を示すマップ情報である。例えば、ラベルマップ生成部１２０は、後述の面構造デプスマップ生成部１３１（第１のデプスマップ生成部の一例）が生成する面構造デプスマップ（第１のデプスマップの一例）と、後述の線構造デプスマップ生成部１３２（第２のデプスマップ生成部の一例）が生成する線構造デプスマップ（第２のデプスマップの一例）を用いてラベルマップを生成してもよい。面構造デプスマップは、局所的（例えば画素ごと）な面構造を仮定したステレオマッチングにより生成されるデプスマップである。線構造デプスマップは、局所的な線構造を仮定したステレオマッチングにより生成されるデプスマップである。なお、面構造デプスマップ生成部１３１及び線構造デプスマップ生成部１３２による各デプスマップの生成の詳細については後述する。

【0023】

また、ラベルマップ生成部１２０は、面構造デプスマップ生成部１３１及び線構造デプスマップ生成部１３２が生成した各デプスマップだけでなく、デプスマップを生成する際のステレオマッチングにより算出したマッチングスコアを示すマッチングスコアマップを合わせて用いてラベルマップを生成してもよい。一例として、ラベルマップ生成部１２０は、面構造デプスマップ生成部１３１が面構造デプスマップを生成した際に算出したマッチングスコアマップと、線構造デプスマップ生成部１３２が線構造デプスマップを生成した際に算出したマッチングスコアマップとの比較により、ラベルマップを生成する。

【0024】

具体的に、ラベルマップ生成部１２０は、面構造デプスマップ生成部１３１が中間データとして生成する仮の面構造デプスマップ（第１の仮のデプスマップの一例）と、線構造デプスマップ生成部１３２が中間データとして生成する仮の線構造デプスマップ（第２の仮のデプスマップの一例）の生成において得た情報に基づき、ラベルマップを生成する。なお、面構造デプスマップ生成部１３１と線構造デプスマップ生成部１３２の各々が生成する仮のデプスマップの生成には、ラベルマップが用いられなくてもよい。

【0025】

ラベルマップ生成部１２０は、仮の面構造デプスマップに対するステレオマッチングのマッチングスコアである面構造マッチングスコア（第１のマッチングスコアの一例）と、仮の線構造デプスマップに対するステレオマッチングのマッチングスコアである線構造マッチングスコア（第２のマッチングスコアの一例）を算出する。ラベルマップ生成部１２０は、面構造マッチングスコアと線構造マッチングスコアを比較する。面構造マッチングスコアが線構造マッチングスコアよりも高い場合、ラベルマップ生成部１２０は、面構造らしさが高いことを示すラベルを決定する。一方、線構造マッチングスコアが面構造マッチングスコアよりも高い場合、ラベルマップ生成部１２０は、線構造らしさが高いことを示すラベルを決定する。

【0026】

より具体的に、各マッチングスコアをステレオマッチングにおける類似度で算出した場合、ラベルマップ生成部１２０は、ラベルマップの各画素について、面構造デプスマップ生成部１３１が算出した同画素のマッチングスコアの方が、線構造デプスマップ生成部１３２が算出した同画素のマッチングスコアよりも高い場合、ラベルマップの面構造らしさを示す１チャンネル目の値を高く設定する。

【0027】

同様に、ラベルマップ生成部１２０は、ラベルマップの各画素について、線構造デプスマップ生成部１３２が算出した同画素のマッチングスコアの方が、面構造デプスマップ生成部１３１が算出した同画素のマッチングスコアよりも高い場合、ラベルマップの線構造らしさを示す２チャンネル目の値を高く設定する。

【0028】

ただし、もし、各マッチングスコアが、ステレオマッチングにおける相違度で算出される場合、面構造デプスマップ生成部１３１が算出したマッチングスコアと線構造デプスマップ生成部１３２が算出したマッチングスコアの大小関係は、類似度で各マッチングスコアが算出された場合と逆になる。

【0029】

また、ラベルマップ生成部１２０は、重み関数に基づき、ラベルマップを生成してもよい。重み関数は、例えば、線構造に基づく関数であり、仮の線構造デプスマップに基づき算出される。ラベルマップ生成部１２０は、仮の面構造デプスマップから算出される局所的な面構造について、線構造に基づく重み関数でステレオマッチングを行う。ラベルマップ生成部１２０は、当該ステレオマッチングにおけるマッチングスコアを算出する。ラベルマップ生成部１２０は、算出したマッチングスコアの値の大小に応じてラベルを決定する。

【0030】

ここで、図３から図５を参照して、本実施形態に係る重み関数の一例について説明する。図３から図５は、本実施形態に係るラベルマップの生成における重み関数の一例を示す図である。図３は、マッチングウィンドウ２１０と線構造２１１の一例を示している。マッチングウィンドウ２１０は、多視点画像における所定の領域（局所領域）を示す。

【0031】

図４及び図５は、図３に示すマッチングウィンドウ２１０における線構造２１１に基づく重み関数の一例を示す。重み関数の各画素の値は、０～１の実数をとる。図４及び図５の各重み関数における各画素の色は、白に近いほど画素の重みが大きい（１に近い）ことを示し、黒に近いほど画素の重みが小さい（０に近い）ことを示す。

【0032】

例えば、図４に示す重み関数２２０は、線構造２１１に沿った画素の値（重み）ほど大きくなる（色は白、値は１に近づく）関数である。一方、図５に示す重み関数２３０は、線構造２１１に沿った画素の値（重み）ほど小さくなる（色は黒、値は０に近づく）関数である。なお、重み関数（線構造２１１）の角度は、第２のデプスマップから算出される線構造の角度に従う。

【0033】

例えば、ラベルマップ生成部１２０は、面構造デプスマップから算出される局所的な面構造について、図４に示す重み関数２２０と図５に示す重み関数２３０の各々でステレオマッチングを行う。ラベルマップ生成部１２０は、各重み関数を用いたステレオマッチングにおけるマッチングスコアを算出し、比較する。

【0034】

ここで、ラベルマップ生成部１２０は、面構造デプスマップ生成部１３１が生成した面構造デプスマップのみから局所的な面構造を仮定してもよいし、面構造デプスマップと面構造デプスマップ生成部１３１が生成した法線ベクトルマップの双方を用いて局所的な面構造を仮定してもよい。

【0035】

重み関数を使用したマッチングスコアの算出では、重み関数の値が高い画素ほど、マッチングスコアに与える影響が強くなる。例えば、対象が面構造である場合、重み関数２２０又は重み関数２３０のどちらを用いても、それぞれの重み関数を用いたステレオマッチングにおけるマッチングスコアが同程度になる。一方、対象が線構造である場合、重み関数２２０のように線構造に沿った画素の値が高い重み関数を用いたステレオマッチングにおけるマッチングスコア（類似度に相当する）は高くなる。しかしながら、対象が線構造である場合、重み関数２３０のように線構造の周囲の画素の値が高い重み関数を用いたステレオマッチングにおけるマッチングスコアは低くなる。

【0036】

これより、ラベルマップ生成部１２０は、重み関数２２０を用いて算出したマッチングスコアと重み関数２３０を用いて算出したマッチングスコアの差が小さい場合、ラベルマップの面構造らしさを示す１チャンネル目の値を高く設定する。一方、ラベルマップ生成部１２０は、重み関数２２０を用いて算出したマッチングスコアと重み関数２３０を用いて算出したマッチングスコアの差が大きい場合に、ラベルマップの線構造らしさを示す２チャンネル目の値を高く設定する。

【0037】

また、ラベルマップ生成部１２０は、例えば、機械学習手法を用いてラベルマップを生成してもよい。ディープラーニングと呼ばれる機械学習手法の一つに、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｕｅｒａｌ Ｎｅｔｗｏｒｋ）がある。ラベルマップ生成部１２０は、当該ＣＮＮを用いて前記ラベルマップを生成する。ＣＮＮには、入力画像と当該入力画像に対応するラベルマップを学習データセットとしてパラメータの学習を行わせる。これにより、ラベルマップを生成するＣＮＮを構築することが可能である。一例として、多視点画像の各画像、面構造デプスマップ及び線構造デプスマップ、面構造デプスマップ及び線構造デプスマップの生成時に算出された各マッチングスコアマップのいずれかの情報、もしくは、各情報の組み合わせを入力として用いてＣＮＮに学習を行わせる。

【0038】

また、ラベルマップ生成部１２０は、マッチングスコアマップに基づき生成したラベルマップ、重み関数によるマッチングスコアの差に基づき生成したラベルマップ、ＣＮＮで生成したラベルマップのうち、２種類以上のラベルマップを生成し、それらを合成して１枚のラベルマップとしてもよい。

【0039】

ラベルマップ生成部１２０は、面構造デプスマップ生成部１３１と線構造デプスマップ生成部１３２の各々が生成するデプスマップを用いたラベルマップの生成処理を繰り返し行ってよい。例えば、ラベルマップ生成部１２０は、生成したラベルマップに基づき面構造デプスマップ生成部１３１と線構造デプスマップ生成部１３２の各々が生成したデプスマップを用いてラベルマップを再度生成する。ラベルマップ生成部１２０は、再度生成したラベルマップに基づき面構造デプスマップ生成部１３１と線構造デプスマップ生成部１３２の各々が生成したデプスマップを用いてラベルマップを再度生成する。このようにラベルマップの生成を繰り返すことで、ラベルマップ生成部１２０は、ラベルマップ生成の精度を向上することができる。

【0040】

ここで、図６を参照して、本実施形態に係るラベルマップの一例について説明する。図５は本実施形態に係るラベルマップの一例を示す図である。図６に示すラベルマップ２４０において、色Ｃ１及び色Ｃ２の部分が面構造を示し、色Ｃ３の部分が線構造を示している。色Ｃ１で示されている部分は、具体的にマネキン２０４の顔の肌部分である。色Ｃ２で示されている部分は、具体的にマネキン２０４の首の肌部分、シャツ２０３、背景部分である。色Ｃ３で示されている部分は、具体的にウィッグ２０２である。

【0041】

（３）三次元情報マップ生成部１３０
三次元情報マップ生成部１３０は、ラベルマップに基づき、面構造と線構造とを有する対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する。以下、本実施形態では、ラベルマップに基づき生成される三次元情報マップが、面構造の領域における面構造デプスマップと線構造の領域における線構造デプスマップを含むデプスマップである例について説明する。

【0042】

図１に示すように、三次元情報マップ生成部１３０は、面構造デプスマップ生成部１３１（第１のデプスマップ生成部の一例）、線構造デプスマップ生成部１３２（第２のデプスマップ生成部の一例）、面構造三次元モデル生成部１３３（第１の三次元モデル生成部の一例）、及び線構造三次元モデル生成部１３４（第２の三次元モデル生成部の一例）を備える。

【0043】

（３－１）面構造デプスマップ生成部１３１
面構造デプスマップ生成部１３１は、面構造デプスマップを生成する。例えば、面構造デプスマップ生成部１３１は、多視点画像とラベルマップに基づき、局所的な面構造を仮定したステレオマッチングによって面構造デプスマップを生成する。具体的に、面構造デプスマップ生成部１３１は、多視点画像及び各視点に対応したラベルマップの各々を用いて、各視点の多視点画像に対応する面構造デプスマップを生成する。面構造デプスマップ生成部１３１は、生成した面構造デプスマップをデプスマップ記憶部１６０に記憶させる。当該面構造デプスマップは、各視点の多視点画像それぞれの画素ごとの三次元座標における奥行きの情報が示されたマップである。
面構造デプスマップ生成部１３１は、ラベルマップ生成部１２０が生成したラベルマップを用いてステレオマッチングを制御することで、対象の面構造のみを復元可能とする。

【0044】

なお、面構造デプスマップ生成部１３１は、面構造デプスマップを生成する際に算出した各画素におけるマッチングスコアを示すマッチングスコアマップを、面構造デプスマップと合わせて、デプスマップ記憶部１６０に記憶させてもよい。また、面構造デプスマップ生成部１３１は、面構造デプスマップを生成する際に同時に推定した画素ごとの法線ベクトルマップを、面構造デプスマップと合わせて、デプスマップ記憶部１６０に記憶させてもよい。ここで、法線ベクトルマップは、各視点の多視点画像それぞれの画素ごとの三次元座標における面の向き情報が示されたマップである。

【0045】

面構造デプスマップ生成部１３１は、ステレオマッチングにて、多視点画像の参照視点に対してマッチングを行う対象となる近傍視点群との間でマッチングを行う。このとき、面構造デプスマップ生成部１３１は、画像全体でマッチングを行わず、画像の局所領域（マッチングウィンドウ）間でマッチングを行う。面構造デプスマップ生成部１３１は、参照視点の各画素について、その画素周辺マッチングウィンドウを設定し、ある三次元座標の奥行きと法線ベクトルを仮定する。これにより、面構造デプスマップ生成部１３１は、近傍視点群の各視点についてもマッチングウィンドウを設定できる。面構造デプスマップ生成部１３１は、参照視点のマッチングウィンドウと近傍視点のマッチングウィンドウ間の類似度を算出する。そして、面構造デプスマップ生成部１３１は、算出した類似度をマッチングスコアとする。

【0046】

面構造デプスマップ生成部１３１は、ステレオマッチングにて、マッチングスコアを最大化するような奥行きと法線ベクトルの向きを、参照視点の画素ごとに探索する。
また、面構造デプスマップ生成部１３１は、局所的な面構造を仮定するため、対象の三次元形状を奥行きと法線ベクトルで定義される小さな平面であると仮定する。そのため、参照視点において例えば正方形に設定したマッチングウィンドウの形状は、近傍視点において正方形ではなく、正方形を射影変換した形状で設定される。
マッチングウィンドウ間の類似度を示すマッチングスコアとして、例えば、正規化相互相関が用いられる。
また、マッチングスコアが最大となる奥行きと法線ベクトルの向きの探索方法としては、例えば、パッチマッチステレオ法やプレーンスイーピングが用いられる。

【0047】

ここで、面構造デプスマップ生成部１３１は、仮の面構造デプスマップとラベルマップに基づき、面構造デプスマップを生成してもよい。例えば、面構造デプスマップ生成部１３１は、ラベルマップを用いず、多視点画像に基づき、局所的な面構造を仮定したステレオマッチングによって仮の面構造デプスマップを生成する。即ち、仮の面構造デプスマップは、ラベルマップを用いずに生成された面構造デプスマップである。

【0048】

面構造デプスマップ生成部１３１は、生成した仮の面構造デプスマップにおける仮の面構造デプス（第１の仮のデプスの一例）の値をラベルマップに基づき修正した値を、面構造デプスマップのデプスの値とする。具体的に、面構造デプスマップ生成部１３１は、複数視点のラベルマップを参照し、ラベルマップにおけるラベルと仮の面構造デプスマップにおけるラベルとを比較する。

【0049】

仮の面構造デプスにおける面構造らしさを示すラベルが線構造らしさを示すラベルよりも大きい場合、面構造デプスマップ生成部１３１は、仮の面構造デプスの値を修正しない。そして、面構造デプスマップ生成部１３１は、修正しなかった仮の面構造デプスの値を、面構造デプスマップのデプスの値とする。一方、仮の面構造デプスにおける線構造らしさを示すラベルが面構造らしさを示すラベルよりも大きい場合、面構造デプスマップ生成部１３１は、仮の面構造デプスの値を不正であることを示す値（以下、「不正値」とも称される）に修正する。そして、面構造デプスマップ生成部１３１は、修正した仮の面構造デプスの値を、面構造デプスマップのデプスの値とする。不正値は、例えば－１等の値であるが、かかる例に限定されない。

【0050】

つまり、面構造デプスマップ生成部１３１は、参照視点の各画素について、同視点の同画素に対応するラベルマップの各チャンネルの値を比較する。面構造らしさを示す１チャンネル目の値が線構造らしさを示す２チャンネル目の値より大きい場合、面構造デプスマップ生成部１３１は、仮の面構造デプスの値をそのまま画素のデプスに代入する。面構造らしさを示す１チャンネル目の値よりも線構造らしさを示す２チャンネル目の値が大きい場合、面構造デプスマップ生成部１３１は、仮の面構造デプスの値を修正した値を画素のデプスに代入する。

【0051】

面構造デプスマップ生成部１３１は、参照視点のみのラベルマップを用いるのではなく、参照視点と近傍視点群のラベルマップや、全視点のラベルマップなど、複数の視点のラベルマップを用いて、仮の面構造デプスの値を修正してもよい。この場合、面構造デプスマップ生成部１３１は、仮の面構造デプスから算出される三次元座標を各視点に投影することで、参照視点以外の視点についても、対応する画素を求めることができる。

【0052】

また、面構造デプスマップ生成部１３１は、各視点に対応する画素を求める際に、可視性を判定し、仮の面構造デプスから算出される三次元座標が見えない視点は、仮の面構造デプスの修正に用いない構成としてもよい。このとき、面構造デプスマップ生成部１３１は、複数の視点の全画素について仮の面構造デプスを求めることで、複数の視点の仮の面構造デプスマップを生成し、仮の面構造デプスマップ同士を比較することで、オクルージョンを考慮しつつ可視性を判定することができる。

【0053】

複数の視点のラベルマップを用いる場合、面構造デプスマップ生成部１３１は、各視点に対応する画素について、面構造らしさを示す１チャンネル目の値と線構造らしさを示す２チャンネル目の値を比較する。面構造デプスマップ生成部１３１は、面構造らしさを示す１チャンネル目の値の方が線構造らしさを示す２チャンネル目の値よりも大きい視点の数を数える。同様に、面構造デプスマップ生成部１３１は、面構造らしさを示す１チャンネル目の値よりも線構造らしさを示す２チャンネル目の値の方が大きい視点の数を数える。数えた結果、面構造らしさを示す１チャンネル目の値の方が線構造らしさを示す２チャンネル目の値よりも大きい視点数が、面構造らしさを示す１チャンネル目の値よりも線構造らしさを示す２チャンネル目の値の方が大きい視点数よりも小さかったとする。この場合、面構造デプスマップ生成部１３１は、仮の面構造デプスを不正値に修正する。このように、面構造デプスマップ生成部１３１は、ある視点におけるラベルマップが不正確な場合や、ある画素におけるラベルが不正確な場合でも、複数の視点を用いることで正確に線構造らしい画素のデプスを修正することが可能となる。

【0054】

また、面構造デプスマップ生成部１３１は、ラベルマップによる仮の面構造デプスの修正を、面構造デプスマップにおけるデプスの値で処理してもよいし、仮の面構造デプスから算出される三次元点に対して処理してもよい。ある視点について、面構造デプスマップで表現される三次元情報と、その面構造デプスマップから算出される三次元点群で表現される三次元情報が等価であることを考えると、仮の面構造デプスの修正を面構造デプスマップで行うことと三次元点群で行うことは、等価である。

【0055】

なお、面構造デプスマップ生成部１３１によるラベルマップを用いたステレオマッチングの手法は、上述した例に限定されない。例えば、面構造デプスマップ生成部１３１は、ラベルマップに応じた重み関数を用いる手法によってステレオマッチングを行ってもよい。ラベルマップに応じた重み関数は、例えば、ラベルマップにおける面構造らしさを示す画素の重みが大きくなるような関数である。

【0056】

例えば、面構造デプスマップ生成部１３１は、参照視点にて設定したマッチングウィンドウの各画素について、同視点に対応するラベルマップの面構造を示す１チャンネル目の値をそれぞれの画素の重みとする。面構造デプスマップ生成部１３１は、マッチングスコアを算出する際に、各画素の重みを用いてマッチングスコアを算出する。これにより、ラベルマップにて、その画素が面構造らしいと判断された画素がマッチングスコアに与える影響が大きくなる。そのため、面構造と線構造が隣接する画素などにおける面構造の画素のデプスの算出では、隣接する線構造の画素の影響を受けにくくなり、面構造デプスマップ生成部１３１が生成する面構造デプスマップの精度が向上する。

【0057】

また、面構造デプスマップ生成部１３１は、ラベルマップにおける面構造らしさを示す画素のみでデプスを算出する手法によってステレオマッチングを行ってもよい。例えば、面構造デプスマップ生成部１３１は、ラベルマップにおける面構造らしさを示す１チャンネル目の値が高い画素のみで、ステレオマッチングを行う。これにより、面構造らしさを示す１チャンネル目の値が高い画素のみでデプスの算出が行われる。そのため、対象が線構造である画素におけるデプスの算出が行われなくなる。よって、面構造デプスマップ生成部１３１は、算出コストを削減することができる。

【0058】

ここで、図７を参照して、本実施形態に係る面構造デプスマップの一例について説明する。図７は、本実施形態に係る面構造デプスマップの一例を示す図である。図７に示す面構造デプスマップ２５０における色は、奥行方向の距離が大きくなるほど（即ち奥に位置するほど）白に近づき、奥行方向の距離が小さくなるほど（即ち手前に位置するほど）黒に近づくように設定されている。なお、図７では、背景の壁部分が最も奥に位置するが、表現の便宜上、色を黒としている。

【0059】

（３－２）線構造デプスマップ生成部１３２
線構造デプスマップ生成部１３２は、線構造デプスマップを生成する。例えば、線構造デプスマップ生成部１３２は、多視点画像とラベルマップに基づき、局所的な線構造を仮定したステレオマッチングによって線構造デプスマップを生成する。具体的に、線構造デプスマップ生成部１３２は、多視点画像及び各視点に対応したラベルマップの各々を用いて、各視点の多視点画像に対応する線構造デプスマップを生成する。線構造デプスマップ生成部１３２は、生成した線構造デプスマップをデプスマップ記憶部１６０に記憶させる。当該線構造デプスマップは、各視点の多視点画像それぞれの画素ごとの三次元座標における奥行きの情報が示されたマップである。
線構造デプスマップ生成部１３２は、ラベルマップ生成部１２０が生成したラベルマップを用いてステレオマッチングを制御することで、対象の線構造のみを復元可能とする。

【0060】

なお、線構造デプスマップ生成部１３２は、線構造デプスマップを生成する際に算出した各画素におけるマッチングスコアを示すマッチングスコアマップを、線構造デプスマップと合わせて、デプスマップ記憶部１６０に記憶させてもよい。また、線構造デプスマップ生成部１３２は、線構造デプスマップを生成する際に同時に推定した画素ごとの線分方向ベクトルマップを、線構造デプスマップと合わせて、デプスマップ記憶部１６０に記憶させてもよい。ここで、線分方向ベクトルマップは、各視点の多視点画像それぞれの画素ごとの三次元座標における線構造の向き情報が示されたマップである。

【0061】

線構造デプスマップ生成部１３２は、ステレオマッチングにて、多視点画像の参照視点に対してマッチングを行う対象となる近傍視点群との間でマッチングを行う。このとき、線構造デプスマップ生成部１３２は、面構造デプスマップ生成部１３１のステレオマッチングと同様に、マッチングウィンドウ間でマッチングを行う。線構造デプスマップ生成部１３２は、参照視点の各画素について、その画素周辺マッチングウィンドウを設定し、ある三次元座標の奥行きと線分方向ベクトルを仮定する。これにより、線構造デプスマップ生成部１３２は、近傍視点群の各視点についてもマッチングウィンドウを設定できる。線構造デプスマップ生成部１３２は、参照視点のマッチングウィンドウと近傍視点のマッチングウィンドウ間の類似度を算出する。そして、線構造デプスマップ生成部１３２は、算出した類似度をマッチングスコアとする。

【0062】

線構造デプスマップ生成部１３２は、ステレオマッチングにて、マッチングスコアを最大化するような奥行きと線分方向ベクトルの向きを、参照視点の画素ごとに探索する。
また、線構造デプスマップ生成部１３２は、局所的な線構造を仮定するため、対象の三次元形状を奥行きと線分方向ベクトルで定義される小さな三次元線分であると仮定する。そのため、例えば、各視点のマッチングウィンドウの形状は、仮定した三次元線分を各視点に投影した二次元線分に沿った長方形に設定される。

【0063】

マッチングウィンドウ間の類似度を示すマッチングスコアとして、例えば、正規化相互相関が用いられる。なお、線構造デプスマップ生成部１３２は、マッチングウィンドウ間の類似度を示すマッチングスコアを算出する際に、各画像の局所的なテクスチャの方向を示す２Ｄ－Ｏｒｉｅｎｔａｔｉｏｎを算出し、各視点の対応画素の２Ｄ－Ｏｒｉｅｎｔａｔｉｏｎの角度差からマッチングスコアを算出してもよい。
マッチングスコアが最大となる奥行きと線分方向ベクトルの向きの探索方法としては、例えば、パッチマッチステレオ法が用いられる。

【0064】

ここで、線構造デプスマップ生成部１３２は、仮の線構造デプスマップとラベルマップに基づき、線構造デプスマップを生成してもよい。例えば、線構造デプスマップ生成部１３２は、ラベルマップを用いず、多視点画像に基づき、局所的な線構造を仮定したステレオマッチングによって仮の線構造デプスマップを生成する。即ち、仮の線構造デプスマップは、ラベルマップを用いずに生成された線構造デプスマップである。

【0065】

線構造デプスマップ生成部１３２は、仮の線構造デプスマップにおける仮の線構造デプス（第２の仮のデプスの一例）の値をラベルマップに基づき修正した値を、線構造デプスマップのデプスの値とする。具体的に、線構造デプスマップ生成部１３２は、複数視点のラベルマップを参照し、ラベルマップにおけるラベルと仮の線構造デプスマップにおけるラベルとを比較する。
仮の線構造デプスにおける線構造らしさを示すラベルが面構造らしさを示すラベルよりも大きい場合、線構造デプスマップ生成部１３２は、仮の線構造デプスの値を修正しない。そして、線構造デプスマップ生成部１３２は、修正しなかった仮の線構造デプスの値を、線構造デプスマップのデプスの値とする。一方、仮の線構造デプスにおける面構造らしさを示すラベルが線構造らしさを示すラベルよりも大きい場合、線構造デプスマップ生成部１３２は、仮の線構造デプスの値を不正値に修正する。そして、線構造デプスマップ生成部１３２は、修正した仮の線構造デプスの値を、線構造デプスマップのデプスの値とする。不正値は、例えば－１等の値であるが、かかる例に限定されない。

【0066】

つまり、線構造デプスマップ生成部１３２は、参照視点の各画素について、同視点の同画素に対応するラベルマップの各チャンネルの値を比較する。線構造らしさを示す２チャンネル目の値が面構造らしさを示す１チャンネル目の値より大きい場合、線構造デプスマップ生成部１３２は、仮の線構造デプスの値をそのまま画素のデプスに代入する。線構造らしさを示す２チャンネル目の値よりも面構造らしさを示す１チャンネル目の値が大きい場合、線構造デプスマップ生成部１３２は、仮の線構造のデプスの値を修正した値を画素のデプスに代入する。

【0067】

線構造デプスマップ生成部１３２は、参照視点のみのラベルマップを用いるのではなく、参照視点と近傍視点群のラベルマップや、全視点のラベルマップなど、複数の視点のラベルマップを用いて、仮の線構造デプスの値を修正してもよい。この場合、線構造デプスマップ生成部１３２は、仮の線構造デプスから算出される三次元座標を各視点に投影することで、参照視点以外の視点についても、対応する画素を求めることができる。

【0068】

また、線構造デプスマップ生成部１３２は、各視点の対応する画素を求める際に、可視性を判定し、仮の線構造デプスから算出される三次元座標が見えない視点は、仮の線構造デプスの修正に用いない構成としてもよい。このとき、線構造デプスマップ生成部１３２は、複数の視点の全画素について仮の線構造デプスを求めることで、複数の視点の仮の線構造デプスマップを生成し、仮の線構造デプスマップ同士を比較することで、オクルージョンを考慮しつつ可視性を判定することができる。

【0069】

複数の視点のラベルマップを用いる場合、線構造デプスマップ生成部１３２は、各視点に対応する画素について、線構造らしさを示す２チャンネル目の値と面構造らしさを示す１チャンネル目の値を比較する。線構造デプスマップ生成部１３２は、線構造らしさを示す２チャンネル目の値の方が面構造らしさを示す１チャンネル目の値よりも大きい視点の数を数える。同様に、線構造デプスマップ生成部１３２は、線構造らしさを示す２チャンネル目の値よりも面構造らしさを示す１チャンネル目の値の方が大きい視点の数を数える。数えた結果、線構造らしさを示す２チャンネル目の値の方が面構造らしさを示す１チャンネル目の値よりも大きい視点数が、線構造らしさを示す２チャンネル目の値よりも面構造らしさを示す１チャンネル目の値の方が大きい視点数よりも小さかったとする。この場合、線構造デプスマップ生成部１３２は、仮の線構造デプスを不正値に修正する。このように、線構造デプスマップ生成部１３２は、ある視点におけるラベルマップが不正確な場合や、ある画素におけるラベルが不正確な場合でも、複数の視点を用いることで正確に面構造らしい画素のデプスを修正することが可能となる。

【0070】

また、線構造デプスマップ生成部１３２は、ラベルマップによる仮の線構造デプスの修正を、線構造デプスマップにおけるデプスの値で処理してもよいし、仮の線構造デプスから算出される三次元点に対して処理してもよい。ある視点について、線構造デプスマップで表現される三次元情報と、その線構造デプスマップから算出される三次元点群で表現される三次元情報が等価であることを考えると、仮の線構造デプスの修正を線構造デプスマップで行うことと三次元点群で行うことは、等価である。

【0071】

なお、線構造デプスマップ生成部１３２によるラベルマップを用いたステレオマッチングの手法は、上述した例に限定されない。例えば、線構造デプスマップ生成部１３２は、ラベルマップに応じた重み関数を用いる手法によってステレオマッチングを行ってもよい。ラベルマップに応じた重み関数は、例えば、ラベルマップにおける線構造らしさを示す画素の重みが大きくなるような関数である。

【0072】

例えば、線構造デプスマップ生成部１３２は、参照視点にて設定したマッチングウィンドウの各画素について、同視点の対応するラベルマップの線構造を示す２チャンネル目の値をそれぞれの画素の重みとする。線構造デプスマップ生成部１３２は、マッチングスコアを算出する際に、各画素の重みを用いてマッチングスコアを算出する。これにより、ラベルマップにて、その画素が線構造らしいと判断された画素がマッチングスコアに与える影響が大きくなる。そのため、面構造と線構造が隣接する画素などにおける線構造の画素のデプスを算出では、隣接する面構造の画素の影響を受けにくくなり、線構造デプスマップ生成部１３２が生成する線構造デプスマップの精度が向上する。

【0073】

また、線構造デプスマップ生成部１３２は、ラベルマップにおける線構造らしさを示す画素のみでデプスを算出する手法によってステレオマッチングを行ってもよい。例えば、線構造デプスマップ生成部１３２は、ラベルマップにおける線構造らしさを示す２チャンネル目の値が高い画素のみで、ステレオマッチングを行う。これにより、線構造らしさを示す２チャンネル目の値が高い画素のみでデプスの算出が行われる。そのため、対象が面構造である画素におけるデプスの算出が行われなくなる。よって、線構造デプスマップ生成部１３２は、算出コストを削減することができる。

【0074】

ここで、図８を参照して、本実施形態に係る線構造デプスマップの一例について説明する。図８は、本実施形態に係る線構造デプスマップの一例を示す図である。図８に示す線構造デプスマップ２６０における色は、奥行方向の距離が大きくなるほど（即ち奥に位置するほど）白に近づき、奥行方向の距離が小さくなるほど（即ち手前に位置するほど）黒に近づくように設定されている。なお、図８では、背景の壁部分が最も奥に位置するが、表現の便宜上、色を黒としている。

【0075】

（３－３）面構造三次元モデル生成部１３３
面構造三次元モデル生成部１３３は、対象物の面構造に関する三次元メッシュモデルを生成する。例えば、面構造三次元モデル生成部１３３は、デプスマップ記憶部１６０から面構造デプスマップを読み出し、面構造デプスマップから対象物の面構造を示す面構造三次元点群（第１の三次元点群の一例）を生成する。面構造三次元モデル生成部１３３は、生成した面構造三次元点群を三次元モデル記憶部１７０に記憶させる。また、面構造三次元モデル生成部１３３は、生成した面構造三次元点群から、さらに対象物の面構造を示す三次元メッシュモデルを生成してもよい。三次元メッシュモデルを生成した場合、面構造三次元モデル生成部１３３は、生成した三次元メッシュモデルを三次元モデル記憶部１７０に記憶させてもよい。

【0076】

ここで、図９を参照して、本実施形態に係る対象物における面構造部分の三次元復元結果の一例について説明する。図９は、本実施形態に係る対象物における面構造部分の三次元復元結果の一例を示す図である。図９に示す面構造復元結果２７０には、面構造として復元されたマネキン２０４の肌部分（顔と首元）とシャツ２０３の三次元形状モデルが示されている。

【0077】

（３－４）線構造三次元モデル生成部１３４
線構造三次元モデル生成部１３４は、対象物の線構造に関する三次元メッシュモデルを生成する。例えば、線構造三次元モデル生成部１３４は、デプスマップ記憶部１６０から線構造デプスマップを読み出し、線構造デプスマップから対象物の線構造を示す線構造三次元点群（第２の三次元点群の一例）を生成する。線構造三次元モデル生成部１３４は、生成した線構造三次元点群を三次元モデル記憶部１７０に記憶させる。また、線構造三次元モデル生成部１３４は、生成した線構造三次元点群から、さらに対象物の線構造を示す三次元折れ線群を生成してもよい。三次元折れ線群を生成した場合、線構造三次元モデル生成部１３４は、生成した三次元折れ線群を三次元モデル記憶部１７０に記憶させてもよい。また、線構造三次元モデル生成部１３４は、生成した三次元折れ線群に対して、細い円柱状の三次元メッシュモデルを当てはめることで、三次元メッシュモデルを生成してもよい。三次元メッシュモデルを生成した場合、線構造三次元モデル生成部１３４は、生成した三次元メッシュモデルを三次元モデル記憶部１７０に記憶させてもよい。

【0078】

ここで、図１０を参照して、本実施形態に係る対象物における線構造部分の三次元復元結果の一例について説明する。図１０は、本実施形態に係る対象物における線構造部分の三次元復元結果の一例を示す図である。図１０に示す線構造復元結果２８０には、線構造として復元されたマネキン２０４が着用しているウィッグ２０２の三次元形状モデルが示されている。

【0079】

ここで、図１１を参照して、本実施形態に係る対象物の全体の三次元復元結果の一例について説明する。図１１は、本実施形態に係る対象物の全体の三次元復元結果の一例を示す図である。図１１に示す対象物復元結果２９０には、面構造として復元されたマネキン２０４の顔と首の肌部分とシャツ２０３の三次元形状モデルと、線構造として復元されたマネキン２０４が着用しているウィッグ２０２の三次元形状モデルが示されている。
図２に示したように対象物２０１の三次元形状に面構造と線構造が混在している場合であっても、本実施形態に係る三次元復元手法を適用することで、図１１に示すように面構造と線構造が混在する対象物２０１の形状を高精度に三次元復元することができる。

【0080】

（４）多視点画像記憶部１４０
多視点画像記憶部１４０は、多視点画像入力部１１０から入力された多視点画像のデータを視点識別情報と対応付けて記憶する。

【0081】

（５）ラベルマップ記憶部１５０
ラベルマップ記憶部１５０は、ラベルマップ生成部１２０によって生成されたラベルマップのデータを記憶する。

【0082】

（６）デプスマップ記憶部１６０
デプスマップ記憶部１６０は、面構造デプスマップ生成部１３１が生成した面構造デプスマップと、線構造デプスマップ生成部１３２が生成した線構造デプスマップとを記憶する。また、デプスマップ記憶部１６０は、面構造デプスマップ生成部１３１が生成したマッチングスコアマップや法線ベクトルマップを記憶してもよい。また、デプスマップ記憶部１６０は、線構造デプスマップ生成部１３２が生成したマッチングスコアマップや線分方向ベクトルマップを記憶してもよい。

【0083】

（７）三次元モデル記憶部１７０
三次元モデル記憶部１７０は、面構造三次元モデル生成部１３３が生成した面構造三次元点群と、線構造三次元モデル生成部１３４が生成した線構造三次元点群とを記憶する。また、三次元モデル記憶部１７０は、面構造三次元モデル生成部１３３が生成した三次元メッシュモデルを記憶してもよい。また、三次元モデル記憶部１７０は、線構造三次元モデル生成部１３４が生成した三次元折れ線群や三次元メッシュモデルを記憶してもよい。

【0084】

＜２．処理の流れ＞
以上、三次元形状モデル生成装置１００の構成について説明した。続いて、図１２を参照して、本実施形態に係る三次元形状モデル生成装置１００における処理の流れについて説明する。図１２は、本実施形態に係る三次元形状モデル生成装置１００における処理の流れの一例を示すフローチャートである。

【0085】

図１２に示すように、まず、三次元形状モデル生成装置１００の多視点画像入力部１１０は、対象物が異なる複数の視点から撮像装置によって撮像された多視点画像のデータを入力する（ステップＳ１）。

【0086】

次いで、三次元形状モデル生成装置１００のラベルマップ生成部１２０は、多視点画像入力部１１０によって入力された多視点画像のデータに基づき、ラベルマップを生成する（ステップＳ２）。

【0087】

次いで、三次元形状モデル生成装置１００の面構造デプスマップ生成部１３１は、多視点画像入力部１１０によって入力された多視点画像のデータと、ラベルマップ生成部１２０によって生成されたラベルマップに基づき、面構造デプスマップを生成する（ステップＳ３）。

【0088】

次いで、三次元形状モデル生成装置１００の面構造三次元モデル生成部１３３は、面構造デプスマップ生成部１３１によって生成された面構造デプスマップに基づき、面構造三次元点群を生成する（ステップＳ４）。

【0089】

次いで、面構造三次元モデル生成部１３３は、生成した面構造三次元点群に基づき、面構造三次元メッシュモデルを生成する（ステップＳ５）。

【0090】

また、三次元形状モデル生成装置１００の線構造デプスマップ生成部１３２は、多視点画像入力部１１０によって入力された多視点画像のデータと、ラベルマップ生成部１２０によって生成されたラベルマップに基づき、線構造デプスマップを生成する（ステップＳ６）。

【0091】

次いで、三次元形状モデル生成装置１００の線構造三次元モデル生成部１３４は、線構造デプスマップ生成部１３２によって生成された線構造デプスマップに基づき、線構造三次元点群を生成する（ステップＳ７）。

【0092】

次いで、線構造三次元モデル生成部１３４は、生成した線構造三次元点群に基づき、線構造三次元折れ線群を生成する（ステップＳ８）。

【0093】

次いで、線構造三次元モデル生成部１３４は、生成した線構造三次元折れ線群に基づき、線構造三次元メッシュモデルを生成する（ステップＳ９）。

【0094】

以上説明したように、本実施形態に係る三次元形状モデル生成装置１００では、ラベルマップ生成部１２０が、対象物の多視点画像の各視点画像における画素ごとに面構造らしさと線構造らしさを示すラベルを付与したラベルマップを生成する。三次元情報マップ生成部１３０は、ラベルマップ生成部１２０が生成したラベルマップに基づき、面構造と線構造とを有する対象物の三次元形状モデル生成のための三次元情報を示す三次元情報マップを生成する。

【0095】

かかる構成により、本実施形態に係る三次元形状モデル生成装置１００は、三次元情報マップが示す面構造に関する情報に基づき対象物の面構造部分の三次元形状モデルを復元し、三次元情報マップが示す線構造に関する情報に基づき対象物の線構造部分の三次元形状モデルを復元できる。

【0096】

よって、本実施形態に係る三次元形状モデル生成装置１００は、面構造と線構造が混在する対象物の形状を高精度に三次元復元することができる。

【0097】

＜３．変形例＞
以上、本実施形態に係る三次元形状モデル生成装置１００における処理の流れについて説明した。続いて、本実施形態に係る変形例について説明する。

【0098】

本実施形態において、三次元形状モデル生成装置１００は、ラベルマップ生成部１２０によるラベルマップ生成処理と、面構造デプスマップ生成部１３１及び線構造デプスマップ生成部１３２によるデプスマップ生成処理を、交互に繰り返す構成としてもよい。これにより、ラベルマップ生成部１２０によるラベルマップの生成の精度が向上する。ラベルマップ生成の精度の向上により、面構造デプスマップ生成部１３１及び線構造デプスマップ生成部１３２による面構造デプスマップ及び線構造デプスマップの生成の精度が向上する。面構造デプスマップ及び線構造デプスマップの生成の精度の向上により、ラベルマップ生成部１２０によるラベルマップの生成の精度が高まる。このように、ラベルマップ生成処理とデプスマップ生成処理を交互に繰り返すことで、処理が繰り返されるたびに、ラベルマップとデプスマップの生成の精度を向上させることが可能となる。また、このような繰り返し処理において、初回の繰り返しでは、ラベルマップ生成部１２０が面構造デプスマップ及び線構造デプスマップを用いずにラベルマップを生成する構成とすることで、まだ面構造デプスマップ及び線構造デプスマップが生成されていない初回の繰り返しにおいても、ラベルマップ生成部１２０がラベルマップを生成することができる。もしくは、面構造デプスマップ生成部１３１及び線構造デプスマップ生成部１３２が、初回の繰り返しにおいて、ラベルマップを用いずにステレオマッチングを行い、デプスマップを生成する構成であってもよい。

【0099】

上述の実施形態では、ラベルマップに基づき生成される三次元情報マップが面構造デプスマップと線構造デプスマップを含むデプスマップである例について説明したが、かかる例に限定されない。例えば、ラベルマップに基づき生成される三次元情報マップは、対象物の面構造を示す面構造三次元点群と対象物の線構造を示す線構造三次元点群を含む三次元点群であってもよい。
この場合、面構造デプスマップ生成部１３１は、多視点画像入力部１１０によって入力された多視点画像のみに基づき、面構造デプスマップを生成する。そして、面構造三次元モデル生成部１３３は、多視点画像のみから生成された面構造デプスマップとラベルマップ生成部１２０によって生成されたラベルマップに基づき、局所的な面構造を仮定したステレオマッチングによって面構造三次元点群を生成する。
また、線構造デプスマップ生成部１３２は、多視点画像入力部１１０によって入力された多視点画像のみに基づき、線構造デプスマップを生成する。そして、線構造三次元モデル生成部１３４は、多視点画像のみから生成された線構造デプスマップとラベルマップ生成部１２０によって生成されたラベルマップに基づき、局所的な線構造を仮定したステレオマッチングによって線構造三次元点群を生成する。

【0100】

以上、本発明の実施形態について説明した。
なお、上述した実施形態における三次元形状モデル生成装置１００の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0101】

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0102】

１００ 三次元形状モデル生成装置
１１０ 多視点画像入力部
１２０ ラベルマップ生成部
１３０ 三次元情報マップ生成部
１３１ 面構造デプスマップ生成部
１３２ 線構造デプスマップ生成部
１３３ 面構造三次元モデル生成部
１３４ 線構造三次元モデル生成部
１４０ 多視点画像記憶部
１５０ ラベルマップ記憶部
１６０ デプスマップ記憶部
１７０ 三次元モデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】