特許 7540651 ３次元モデル生成装置および３次元モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】３次元モデル生成装置および３次元モデル生成プログラム

(51)【国際特許分類】

   G06T 7/55 20170101AFI20240820BHJP

【ＦＩ】

G06T7/55

【請求項の数】 5

(21)【出願番号】P 2020168525

(22)【出願日】2020-10-05

(65)【公開番号】P2022060817

(43)【公開日】2022-04-15

【審査請求日】2023-10-02

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０１９年１１月７日、令和元年度日本写真測量学会秋季学術講演会発表論文集に発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２０年３月１３日、日本写真測量学会北海道支部 令和元年度第３８回学術講演会において発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２０年３月１７日、２０２０年度精密工学会春季学術講演会講演論文集に発表

(73)【特許権者】

【識別番号】504173471

【氏名又は名称】国立大学法人北海道大学

(73)【特許権者】

【識別番号】591074161

【氏名又は名称】アジア航測株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】金井 理

(72)【発明者】

【氏名】伊達 宏昭

(72)【発明者】

【氏名】阿久津 啓

(72)【発明者】

【氏名】水上 幸治

(72)【発明者】

【氏名】野中 秀樹

(72)【発明者】

【氏名】新名 恭仁

(72)【発明者】

【氏名】本間 亮平

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２００９－１７６０８７（ＪＰ，Ａ）

【文献】多重撮影とヒストグラム均一化による低テクスチャ物体のSfM-MVS再構成処理の頑健性と精度向上，2019年度精密工学会春季大会，日本，公益社団法人精密工学会，2019年03月13日，89-90，https://www.jstage.jst.go.jp/article/pscjspe/2019S/0/2019S_89/_article/-char/ja/

【文献】Pixelwise View Selection for Unstructured Multi-View Stereo，Computer Vision - ECCV 2016 Conference paper，米国，springer.com，2016年09月17日，501-518，https://link.springer.com/chapter/10.1007/978-3-319-46487-9_31

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５５

(57)【特許請求の範囲】

【請求項1】

複数の画像に対して、それぞれ複数のコントラスト強調処理を行うことで複数の強調画像を生成するコントラスト強調処理手段と、
前記コントラスト強調処理手段により生成された複数の強調画像に基づいて、前記複数のコントラスト強調処理それぞれに対応した深度マップおよび法線マップを生成する深度法線マップ生成手段と、
前記深度マップおよび前記法線マップを構成する画素ごとに、前記複数のコントラスト強調処理に対応するいずれかの画素を選択する画素選択手段と、
前記画素選択手段に選択より選択された画素に基づいて、３次元モデルを生成する３次元モデル生成手段と、
を備えたことを特徴とする３次元モデル生成装置。

【請求項2】

前記画素選択手段は、
前記複数のコントラスト強調処理それぞれに対応した深度マップおよび法線マップのうち、画素ごとに輝度値のゼロ平均正規化相互相関値に基づいてステレオマッチングコストＣを算出し、前記算出したステレオマッチングコストＣが最小となる深度マップおよび法線マップ上の画素を選択する
ことを特徴とする請求項１記載の３次元モデル生成装置。

【請求項3】

前記画素選択手段は、
前記複数のコントラスト強調処理それぞれに対応した深度マップおよび法線マップのうち、（数式）を用いて算出したコストＣが最小となる深度マップおよび法線マップの画素を選択する
Ｃ=1―輝度値のゼロ平均正規化相互相関値＋重み付き再投影誤差 （数式）
ことを特徴とする請求項１記載の３次元モデル生成装置。

【請求項4】

前記複数のコントラスト強調処理がそれぞれ実行された前記深度マップおよび前記法線マップの優先順位が予め定められており、
前記画素選択手段は、
前記優先順位に従い、前記複数のコントラスト強調処理それぞれに対応した深度マップおよび法線マップのうち、無効画素が最小となるコントラスト強調処理に対応する深度マップおよび法線マップの画素を選択する
ことを特徴とする請求項１記載の３次元モデル生成装置。

【請求項5】

前記画素選択手段は、
深度マップおよび法線マップそれぞれについて、マップ合成後の再構成点の投影元となった深度マップおよび法線マップそれぞれの画素数である支持画素数が最大となる深度マップおよび法線マップの画素を選択する
ことを特徴とする請求項１記載の３次元モデル生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、適切に３次元モデルを生成する３次元モデル生成装置および３次元モデル生成プログラムに関する。

【背景技術】

【0002】

多数の画像から３次元モデルを生成する技術であるSfM-MVS(Structure-from-Motion/Multi-view-Stereo)が、例えば、建設，土木，測量分野で地物の３次元計測に利用されている（例えば、非特許文献１）。

【0003】

しかし、対象が不適切な露光条件下で撮影された場合や、露光条件が適切であっても対象が単一色で塗装されている場合などで、撮影画像に低テクスチャ部が含まれることがある。

【0004】

このような場合、この低テクスチャ部に対する３次元モデルを生成しようとしても、輝度変化が乏しいため、異なる画素間の輝度情報整合性（photometric consistency）の評価指標値が不安定となってしまう。その結果、SfMに失敗したり、MVSで生成されたモデル上に欠損や精度劣化が生じることがある。

【0005】

そこで、Wallis filterや、ヒストグラム完全均一化などの前処理による画像のコントラスト強調を行った後、３次元モデルを生成する技術がある（例えば、非特許文献２）。

【先行技術文献】

【非特許文献】

【0006】

【文献】織田和夫，“解説：Structure from Motion (SfM) 第一回 SfMの概要とバンドル調整”，[online]，2016年，日本写真測量学会，インターネット＜ＵＲＬ：https://www.jstage.jst.go.jp/article/jsprs/55/3/55_206/_pdf＞

【文献】阿久津啓,外３名，“多重撮影とヒストグラム均一化による低テクスチャ物体のSfM-MVS再構成処理の頑健性と精度向上”，[online]，2019年，精密工学会，インターネット＜ＵＲＬ：https://www.jstage.jst.go.jp/article/pscjspe/2019S/0/2019S_89/_pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献２に記載の技術では、前処理による画像のコントラスト強調を行ったとしても、適切に３次元モデルを生成することが困難な場合があった。

【0008】

例えば、Wallis filterによるコントラスト強調を行った場合、元々の画像中で輝度変化に富んだ部分では逆効果となる場合があった。また、コントラスト強調の有無や強調手法の違いに応じて，SfMの成功率や，３次元モデルの生成が可能となる画像領域が異なってしまうという問題がある。

【0009】

本発明は、上記問題点に鑑みてなされたものであり、適切に３次元モデルを生成する３次元モデル生成装置および３次元モデル生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を解決するため、本発明に係る３次元モデル生成装置の第１の特徴は、
複数の画像に対して、それぞれ複数のコントラスト強調処理を行うことで複数の強調画像を生成するコントラスト強調処理手段と、
前記コントラスト強調処理手段により生成された複数の強調画像に基づいて、前記複数のコントラスト強調処理それぞれに対応した深度マップおよび法線マップを生成する深度法線マップ生成手段と、
前記深度マップおよび前記法線マップを構成する画素ごとに、前記複数のコントラスト強調処理に対応するいずれかの画素を選択する画素選択手段と、
前記画素選択手段に選択より選択された画素に基づいて、３次元モデルを生成する３次元モデル生成手段と、
を備えたことにある。

【0011】

本発明に係る３次元モデル生成装置の第２の特徴は、
前記画素選択手段は、
前記複数のコントラスト強調処理それぞれに対応した深度マップおよび法線マップのうち、画素ごとに輝度値のゼロ平均正規化相互相関値に基づいてステレオマッチングコストＣを算出し、前記算出したステレオマッチングコストＣが最小となる深度マップおよび法線マップ上の画素を選択することにある。

【0012】

本発明に係る３次元モデル生成装置の第３の特徴は、
前記画素選択手段は、
前記複数のコントラスト強調処理それぞれに対応した深度マップおよび法線マップのうち、（数式）を用いて算出したコストＣが最小となる深度マップおよび法線マップの画素を選択する
Ｃ=1―輝度値のゼロ平均正規化相互相関値＋重み付き再投影誤差 （数式）
ことにある。

【0013】

本発明に係る３次元モデル生成装置の第４の特徴は、
前記複数のコントラスト強調処理がそれぞれ実行された前記深度マップおよび前記法線マップの優先順位が予め定められており、
前記画素選択手段は、
前記優先順位に従い、前記複数のコントラスト強調処理それぞれに対応した深度マップおよび法線マップのうち、無効画素が最小となるコントラスト強調処理に対応する深度マップおよび法線マップの画素を選択する
ことにある。

【0014】

本発明に係る３次元モデル生成装置の第５の特徴は、
前記画素選択手段は、
深度マップおよび法線マップそれぞれについて、マップ合成後の再構成点の投影元となった深度マップおよび法線マップそれぞれの画素数である支持画素数が最大となる深度マップおよび法線マップの画素を選択する
ことにある。

【発明の効果】

【0015】

本発明に係る３次元モデル生成装置および３次元モデル生成プログラムによれば、適切に地物を検出することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態である３次元モデル生成装置の概略構成を示した概略構成図である。

【図2】本発明の一実施形態である３次元モデル生成装置が備えるコントラスト強調手段１０５の処理内容を説明した説明図である。

【図3】本発明の一実施形態である３次元モデル生成装置が備える深度法線マップ生成手段による処理内容を説明した説明図である。

【図4】本発明の一実施形態である３次元モデル生成装置が備える画素選択手段による最小無効画素数法の処理内容を説明した説明図である。

【図5】本発明の変形例１である３次元モデル生成装置が備える画素選択手段による最小コスト法の処理の処理内容を説明した説明図である。

【図6】本発明の変形例２である３次元モデル生成装置が備える画素選択手段による最大支持画素数法の処理の処理内容を説明した説明図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。

【0018】

また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。

【0019】

以下、本発明の一実施形態である３次元モデル生成装置について説明する。

【0020】

図１は、本発明の一実施形態である３次元モデル生成装置の概略構成を示した概略構成図である。

【0021】

図１に示すように、３次元モデル生成装置１は、撮影装置２Ａ～２Ｃと、モニタ３と接続されており、撮影装置２Ａ～２Ｃにより撮像された対象物ＴＧの画像データに基づいて、３次元モデルを生成し、生成した３次元モデルをモニタ３に表示させる。対象物ＴＧは、例えば、建物、工場設備、橋梁、山、森、樹木など地上にある形状を有するものであればどのようなものでもよい。

【0022】

撮影装置２Ａ～２Ｃは、同一の構成を有しているので、撮影装置２Ａについて説明する。なお、ここでは、撮影装置２Ａ～２Ｃの３台の撮影装置を備える構成としているが、２台でもよいし、４台以上でももちろんよい。

【0023】

撮影装置２Ａは、カメラ２１Ａと、データ一時記憶部２３Ａとを有する。

【0024】

カメラ２１Ａは、カラーの静止画および動画を撮影可能なデジタルカメラであり、撮影した静止画像データまたは動画像データ（以下、元画像データという）をデータ一時記憶部２３Ａに記憶する。

【0025】

データ一時記憶部２３Ａは、カメラ２１Ａにて撮影された元画像データを記憶する。

【0026】

モニタ３は、３次元モデル生成装置１により生成された３次元モデルを表示する画面など各種画面を表示する。

【0027】

３次元モデル生成装置１は、画像データ取得手段１０１と、Ｓｆｍ（Structure from Motion）処理手段１０２と、カメラパラメータ記憶部１０３と、画像データ記憶部１０４と、コントラスト強調手段１０５と、深度法線マップ生成手段１０６と、画素選択手段１０７と、３次元モデル生成手段１０８と、３次元モデル記憶部１０９と、表示制御手段１１０とを備える。

【0028】

画像データ取得手段１０１は、撮影装置２Ａ～２Ｃのデータ一時記憶部２３Ａ～２３Ｃに記憶された静止画像データまたは動画像データ（元画像データ）を取得する。例えば、ネットワークを経由して取得するようにしてもよいし、データ一時記憶部２３Ａ～２３Ｃを撮影装置２Ａ～２Ｃから取り外し、物理的に３次元モデル生成装置１に接続することにより取得するようにしてもよい。

【0029】

画像データ取得手段１０１は、取得した元画像データを画像データ記憶部１０４に記憶させ、また、Ｓｆｍ処理手段１０２へ供給する。

【0030】

Ｓｆｍ処理手段１０２は、撮影装置２Ａ～２Ｃから取得した複数の元画像データに基づいて、Ｓｆｍ（Structure from Motion）処理を実行することにより、タイポイント（疎な対応点）と、カメラパラメータとを推定する。Ｓｆｍ（Structure from Motion）処理とは、自然特徴量を用いて画像間のタイポイントを探索するとともに、このタイポイントに基づいて再投影誤差の最小化によるカメラパラメータを推定する処理である。タイポイントは、カメラ２１Ａ～２１Ｃにより撮影された元画像データを接合するために、重複する部分にそれぞれの画像データから明瞭に把握できるところを示した点である。カメラパラメータは、カメラの位置や姿勢などの外部パラメータと、焦点距離や光軸中心などの内部パラメータとが含まれている。

【0031】

カメラパラメータ記憶部１０３は、例えば、ハードディスクドライブなどで構成され、Ｓｆｍ処理手段１０２により推定されたタイポイントと、カメラパラメータとを記憶する。

【0032】

画像データ記憶部１０４は、例えば、ハードディスクドライブなどで構成され、画像データ取得手段１０１から供給された元画像データを記憶する。

【0033】

コントラスト強調手段１０５は、カメラ２１Ａ～２１Ｃにより撮影されたそれぞれの元画像データに対して、それぞれ複数のコントラスト強調処理を行うことで複数の強調画像データを生成する。ここでは、コントラスト強調処理として、ヒストグラム完全均一化と、ワリスフィルター（Wallis filter）とを実行する。詳細は後述する。

【0034】

深度法線マップ生成手段１０６は、コントラスト強調手段１０５により生成された複数の強調画像（ワリスフィルター強調画像および完全均一化強調画像データ）に基づいて、複数のコントラスト強調処理（ワリスフィルターおよびヒストグラム完全均一化）それぞれに対応した深度マップおよび法線マップを生成する。

【0035】

画素選択手段１０７は、深度マップおよび法線マップを構成する画素ごとに、複数のコントラスト強調処理（ワリスフィルターおよびヒストグラム完全均一化）に対応するいずれかの画素を選択する。

【0036】

画素選択手段１０７による選択処理には、最小無効画素数法による選択処理と、最小コスト法による選択処理と、最大支持画素数法による選択処理とのいずれかに基づいて実行される。ここでは、最小無効画素数法による選択処理を例に挙げて説明する。

【0037】

最小無効画素数法では、深度マップおよび法線マップの生成に用いられたワリスフィルターとヒストグラム完全均一化との優先順位が予め定められており、この優先順位に従い、ワリスフィルターとヒストグラム完全均一化それぞれに対応した深度マップおよび法線マップのうち、無効画素が最小となるコントラスト強調処理に対応する深度マップおよび法線マップの画素を選択する。詳細は後述する。

【0038】

３次元モデル生成手段１０８は、画素選択手段１０７により選択された画素に基づいて、深度マップおよび法線マップのマップ値を、カメラパラメータ記憶部１０３に記憶されたカメラパラメータを用いて、３次元の仮想空間上に投影することにより法線付き３次元モデルを生成する。

【0039】

３次元モデル記憶部１０９は、例えば、ハードディスクドライブなどで構成され、３次元モデル生成手段１０８により生成された３次元モデルを記憶する。

【0040】

表示制御手段１１０は、３次元モデル記憶部１０９に記憶された３次元モデルに基づいて、モニタ３に３次元モデルを表示させる。

【0041】

次に、コントラスト強調手段１０５が実行する処理内容の詳細について説明する。

【0042】

図２は、本発明の一実施形態である３次元モデル生成装置１が備えるコントラスト強調手段１０５の処理内容を説明した説明図である。ここでは、撮影装置２Ａおよび撮影装置２Ｂから元画像データを取得した場合について説明する。

【0043】

図２では、撮影装置２Ａにより撮影された元画像データＤ１１と、撮影装置２Ｂにより撮影された元画像データＤ１２とを含む元画像データＤ１０がコントラスト強調手段１０５に供給されている。

【0044】

コントラスト強調手段１０５は、その機能上、完全均一化手段１０５Ａと、ワリスフィルター手段１０５Ｂとを備えている。

【0045】

完全均一化手段１０５Ａは、元画像データＤ１１について、輝度値0から順に、画像内の輝度ヒストグラムの全度数が一定値になるよう、ランダムに選択された画素の輝度値を反復的に変更することにより完全均一化強調画像データＤ２１を生成する。同様に、完全均一化手段１０５Ａは、元画像データＤ１２から完全均一化強調画像データＤ２２を生成する。

【0046】

これにより、画像全体の平均情報量が最大になり、各画素の特異性が増し、ステレオマッチング時の誤対応が抑制される。

【0047】

ワリスフィルター手段１０５Ｂは、ハイパスフィルタの一種である。8 bitカラー画像である元画像データＤ１１，Ｄ１２それぞれの画素位置(u,v)の各チャンネル輝度値I(u,v)に対するフィルタ後の輝度値I^' (u,v)を、下記の数式(1)で算出することによりワリスフィルター強調画像データＤ３１，Ｄ３２を生成する。

【0048】

【数1】

【0049】

ここで、σ_set はユーザ指定の強調度パラメータ、μ は対象画素 (u,v) を中心とする幅w×w 窓内の平均輝度値、σ は窓内の輝度値の標準偏差である。

【0050】

図３は、本発明の一実施形態である３次元モデル生成装置１が備える深度法線マップ生成手段１０６による処理内容を説明した説明図である。

【0051】

図３に示すように、深度法線マップ生成手段１０６は、深度マップ生成手段１０６Ａと、法線マップ生成手段１０６Ｂとを有している。

【0052】

深度マップ生成手段１０６Ａは、カメラパラメータ記憶部１０３に記憶されたカメラパラメータとタイポイントとに基づいて、画像データ記憶部１０４に記憶された元画像データＤ１１，Ｄ１２に対して、ステレオマッチングを用いて、それぞれに対応する元画像深度マップＤ４１，Ｄ４２を生成する。

【0053】

また、深度マップ生成手段１０６Ａは、カメラパラメータ記憶部１０３に記憶されたカメラパラメータとタイポイントとに基づいて、完全均一化手段１０５Ａにより生成された完全均一化強調画像データＤ２１，Ｄ２２に対して、ステレオマッチングを用いてそれぞれに対応する完全均一化深度マップＤ５１，Ｄ５２を生成する。

【0054】

さらに、深度マップ生成手段１０６Ａは、カメラパラメータ記憶部１０３に記憶されたカメラパラメータとタイポイントとに基づいて、ワリスフィルター手段１０５Ｂにより生成されたワリスフィルター強調画像データＤ３１，Ｄ３２に対して、ステレオマッチングを用いてそれぞれに対応するワリスフィルター深度マップＤ６１，Ｄ６２を生成する。

【0055】

図示しないが、法線マップ生成手段１０６Ｂも、深度マップ生成手段１０６Ａと同様に、元画像データＤ１１，Ｄ２１、完全均一化強調画像データＤ２１，Ｄ２２、およびワリスフィルター強調画像データＤ３１，Ｄ３２に対して、ステレオマッチングを用いて、それぞれに対応する元画像法線マップ、完全均一化法線マップ、およびワリスフィルター法線マップを生成する。

【0056】

図４は、本発明の一実施形態である３次元モデル生成装置１が備える画素選択手段１０７による最小無効画素数法の処理内容を説明した説明図である。

【0057】

図４に示すように、画素選択手段１０７は、最小無効画素数法による選択処理を行う。最小無効画素数法では、無効画素数を最小化するように、予め設定した深度マップおよび法線マップの選択優先順に応じて、画素単位で深度マップおよび法線マップの選択を行う。

【0058】

図４に示した例では、優先順を例えば、元画像深度マップＤ４１，Ｄ４２、完全均一化深度マップＤ５１，Ｄ５２、ワリスフィルター法線マップＤ６１，Ｄ６２としている。ここでは、それぞれの一部の画素群である３×３画素を例に挙げて説明する。

【0059】

画素選択手段１０７は、元画像深度マップＤ４１の一部の画素群Ｄ４１１を抽出する。この画素群のうち、カラーで示したＤ４１１ａ，Ｄ４１１ｄ，Ｄ４１１ｅ，Ｄ４１１ｆ，Ｄ４１１ｈ，Ｄ４１１ｊが有効画素となり、黒で示したＤ４１１ｂ，Ｄ４１１ｃ，Ｄ４１１ｇが無効画素となる。

【0060】

画素選択手段１０７は、画素群Ｄ４１１と同一領域である完全均一化法線マップＤ５１の一部の画素群Ｄ５１１を抽出する。この画素群のうち、画素群Ｄ４１１で無効画素であり、かつ画素群Ｄ５１１で有効画素であるのは、Ｄ５１１ｂである。

【0061】

そこで、画素選択手段１０７は、画素群Ｄ４１１の画素Ｄ４１１ｂと、画素群Ｄ５１１の画素Ｄ５１１ｂとを置き換えて、画素群Ｄ７１１を生成する。

【0062】

さらに、画素選択手段１０７は、画素群Ｄ４１１と同一領域であるワリスフィルター法線マップＤ６１の一部の画素群Ｄ６１１を抽出する。この画素群のうち、画素群Ｄ７１１で無効画素であり、画素群Ｄ６１１で有効画素であるのは、Ｄ６１１ｇである。

【0063】

画素選択手段１０７は、画素群Ｄ７１１の画素Ｄ７１１ｇと、画素群Ｄ６１１の画素Ｄ６１１ｇとを置き換えて、画素群Ｄ７１２を生成する。なお、画素群Ｄ４１１の画素Ｄ４１１ｃは無効画素であるが、画素群Ｄ５１１の画素Ｄ５１１ｃも無効画素であり、画素群Ｄ６１１の画素Ｄ６１１ｃも無効画素である。そのため、画素群Ｄ７１２では、有効画素で補充することなく、画素Ｄ４１１ｃが採用される。

【0064】

これを、元画像深度マップＤ４１，Ｄ４２、完全均一化深度マップＤ５１，Ｄ５２、ワリスフィルター法線マップＤ６１，Ｄ６２の一部の画素だけではなく、全ての画素について行うことにより、選択画像を得ることができる。

【0065】

このようにして、画素選択手段１０７は、無効画素数を最小化するように、予め設定した深度マップの選択優先順に応じて、全ての画素について深度マップの選択を行う。なお、ここでは、深度マップについて説明したが、法線マップについても同様に選択を行う。

【0066】

これにより、優先順位に基づいて、複数の深度マップまたは法線マップの画素で補完するように、画素を選択することができるので、より有効画素を増加させた適切な３次元モデルを生成することができる。

【0067】

＜変形例１＞
上述した本発明の一実施形態である３次元モデル生成装置１では、画素選択手段１０７が、最小無効画素数法による選択処理を行った。

【0068】

変形例１では、画素選択手段１０７が最小コスト法による選択処理を行う３次元モデル生成装置１を例に挙げて説明する。

【0069】

変形例１では、画素選択手段１０７は、元画像深度マップ、完全均一化深度マップ、ワリスフィルター法線マップそれぞれについて、画素単位で、輝度値のゼロ平均正規化相互相関値に基づいたステレオマッチングコストＣが最小となる深度マップ上の画素を選択する。

【0070】

図５は、本発明の変形例１である３次元モデル生成装置１が備える画素選択手段１０７Ａによる最小コスト法の処理の処理内容を説明した説明図である。

【0071】

図５に示すように、画素選択手段１０７Ａは、元画像深度マップＤ４１の一部の画素群Ｄ４１１と、画素群Ｄ４１１と同一領域である完全均一化法線マップＤ５１の一部の画素群Ｄ５１１と、画素群Ｄ４１１と同一領域であるワリスフィルター法線マップＤ６１の一部の画素群Ｄ６１１とを抽出する。

【0072】

また、画素選択手段１０７は、元画像深度マップ、完全均一化深度マップ、ワリスフィルター法線マップそれぞれについて、画素単位で、輝度値のゼロ平均正規化相互相関値に基づいたステレオマッチングコストＣを、下記の数式（２）を用いて算出し、算出したステレオマッチングコストＣが最小となる深度マップ上の画素を選択する。ステレオマッチングコストＣは、値が小さいほど整合性が高いことを示している。

【0073】

Ｃ=１―輝度値のゼロ平均正規化相互相関値ρ_ｌ ^ｍ＋重み付き再投影誤差Ｆ_ｌ ^ｍ （２）

【0074】

ここで、ρ_ｌ ^ｍは、下記の数式（３）を用いて算出される。ｗ_ｌは、基準画像の画像位置を中心とする一定範囲内の画素集合であり、ｗ_ｌ ^ｍは、基準画像に対応する画像ｍ上の画素位置を中心とする一定範囲内の画素集合である。

【0075】

【数3】

【0076】

また、Ｆ_ｌ ^ｍは、下記の数式（４）を用いて算出される。ηは正規化定数であり、ここでは、η=0.5としている。また、φ_ｌ ^ｍ=||x_l-H_l ^m H_l x_l||、最大再投影誤差φ_max=3[画素]としている。φ_l ^mは再投影誤差であり、x_lは元画像における画素位置（パッチ）、H_l ^m H_l x_lは参照先の画像を逆投影変換することによって得られた画素位置（パッチ）である。

【0077】

Ｆ_ｌ ^ｍ＝ηmin(φ_l ^m, φ_max) （４）

【0078】

コスト画像Ｄ８１，Ｄ８２は、元画像深度マップＤ４１，Ｄ４２に基づいて、画素ごとにステレオマッチングコストＣが小さい画素ほど青で示し、ステレオマッチングコストＣが大きい画素ほど赤で示した画像である。同様に、コスト画像Ｄ９１，Ｄ９２は、完全均一化法線マップＤ５１，Ｄ５２に基づいて、画素ごとにステレオマッチングコストＣが小さい画素ほど青で示し、ステレオマッチングコストＣが大きい画素ほど赤で示した画像である。同様に、コスト画像Ｄ１０１，Ｄ１０２は、ワリスフィルター法線マップＤ６１，Ｄ６２に基づいて、画素ごとにステレオマッチングコストＣが小さい画素ほど青で示し、ステレオマッチングコストＣが大きい画素ほど赤で示した画像である。

【0079】

コストマップＤ１１１は、元画像深度マップＤ４１の一部の画素群Ｄ４１１に対応する画素のステレオマッチングコストＣを示したコストマップである。

【0080】

コストマップＤ１１１において、数値で示したＤ１１１ａ，Ｄ１１１ｄ，Ｄ１１１ｅ，Ｄ１１１ｆ，Ｄ１１１ｈ，Ｄ１１１ｊが有効画素となり、黒で示したＤ１１１ｂ，Ｄ１１１ｃ，Ｄ１１１ｇが無効画素となる。

【0081】

画素選択手段１０７は、コストマップＤ１１１と同一領域である完全均一化深度マップＤ５１の一部の画素群Ｄ５１１に対応する画素のステレオマッチングコストＣを示したＤ１１２を抽出する。

【0082】

また、画素選択手段１０７は、コストマップＤ１１１と同一領域であるワリスフィルター深度マップＤ５１の一部の画素群Ｄ５１１に対応する画素のステレオマッチングコストＣを示したＤ１１３を抽出する。

【0083】

そして、画素選択手段１０７は、コストマップＤ１１１と、コストマップＤ１１２と、コストマップＤ１１３とを画素単位で比較して、最もステレオマッチングコストＣが小さい画素を選択する。

【0084】

図５に示した例では、例えば、画素Ｄ１１１ｄのステレオマッチングコストＣは、“０．８”であり、画素Ｄ１１２ｄのステレオマッチングコストＣは、“０．１”であり、画素Ｄ１１３ｄのステレオマッチングコストＣは、“０．２”である。そこで、画素選択手段１０７は、最もステレオマッチングコストＣが小さい画素Ｄ１１２ｄに対応する完全均一化深度マップＤ５１の一部の画素群Ｄ５１１に対応する画素を選択する。

【0085】

なお、黒で示したＤ１１１ｃと、Ｄ１１２ｃと、Ｄ１１３ｃとは、無効であるので、いずれの画素も選択されない。

【0086】

このようにして、画素選択手段１０７は、元画像深度マップ、完全均一化深度マップ、ワリスフィルター法線マップそれぞれについて、画素単位で、輝度値のゼロ平均正規化相互相関値に基づいたステレオマッチングコストＣが最小となるコストマップＤ１１４を生成する。

【0087】

そして、画素選択手段１０７は、ステレオマッチングコストＣが最小となるように、コストマップＤ１１４に基づいて、元画像深度マップＤ４１，Ｄ４２、完全均一化深度マップＤ５１，Ｄ５２、ワリスフィルター法線マップＤ６１，Ｄ６２から画素を選択する。

【0088】

画素選択手段１０７は、これを、元画像深度マップＤ４１，Ｄ４２、完全均一化深度マップＤ５１，Ｄ５２、ワリスフィルター深度マップＤ６１，Ｄ６２の一部の画素だけではなく、全ての画素について行うことにより、選択画像Ｄ７０Ａを得る。なお、ここでは、深度マップについて説明したが、法線マップについても同様に選択を行う。

【0089】

これにより、元画像深度マップ、完全均一化深度マップ、ワリスフィルター深度マップのうち、画素単位で、ステレオマッチングコストＣが最小となる深度マップ上の画素が選択されるとともに、元画像法線マップ、完全均一化法線マップ、ワリスフィルター法線マップのうち、画素単位で、ステレオマッチングコストＣが最小となる法線マップ上の画素が選択されるので、これらを合成することにより、最も整合性の高い適切な３次元モデルを生成することができる。

【0090】

＜変形例２＞
上述した本発明の一実施形態である３次元モデル生成装置１では、画素選択手段１０７が、最小無効画素数法による選択処理を行った。

【0091】

変形例２では、画素選択手段１０７Ｂは、深度マップおよび法線マップそれぞれについて、マップ合成後の再構成点の投影元となった深度マップおよび法線マップそれぞれの画素数である支持画素数が最大となる深度マップおよび法線マップの画素を選択する。

【0092】

図６は、本発明の変形例２である３次元モデル生成装置１が備える画素選択手段１０７Ｂによる最大支持画素数法の処理の処理内容を説明した説明図である。なお、ここでは、カメラ２１Ａ～２１Ｃの３台により撮影されているとする。

【0093】

図６に示すように、カメラ２１Ａ～２１Ｃにおいて、再構成点Ｇがあるとする。再構成点Ｇとは、カメラ２１Ａ～２１Ｃそれぞれについて撮影された画像中の深度を３次元空間上に投影することによって生成される点である。この再構成点の投影元となった画素（深度・法線）の数を支持画素数という。図６に示した例では、再構成点Ｇの投影元となった画素は、Ｇ１～Ｇ３の３つあるので、支持画素数は“３”となる。

【0094】

画素選択手段１０７Ｂは、この支持画素数を投影元の画素全てに代入することで、支持画素数マップを作成し、最小コスト法と同様に、画素ごとに、元画像深度マップＤ４１，Ｄ４２、完全均一化深度マップＤ５１，Ｄ５２、ワリスフィルター深度マップＤ６１，Ｄ６２のうち、最も支持画素数が大きい画素を選択する。

【0095】

なお、支持画素数が全て同一であった場合には、最小無効画素数法と同様に、予め設定した深度マップの選択優先順に応じて、画素を選択するようにしてもよい。

【0096】

また、ここでは、深度マップについて説明したが、法線マップについても同様に選択を行う。

【0097】

これにより、元画像深度マップ、完全均一化深度マップ、ワリスフィルター深度マップのうち、画素単位で、支持画素数が最大となる深度マップ上の画素が選択されるとともに、元画像法線マップ、完全均一化法線マップ、ワリスフィルター法線マップのうち、画素単位で、支持画素数が最大となる法線マップ上の画素が選択されるので、これらを合成することにより、最も整合性の高い適切な３次元モデルを生成することができる。

【0098】

なお、上述した実施形態は、コンピュータにインストールした地物検出プログラムを実行させることにより実現することもできる。

【符号の説明】

【0099】

１ ３次元モデル生成装置
２Ａ～２Ｃ 撮影装置
３ モニタ
２１Ａ～２１Ｃ カメラ
２３Ａ～２３Ｃ データ一時記憶部
１０１ 画像データ取得手段
１０２ Ｓｆｍ処理手段
１０３ カメラパラメータ記憶部
１０４ 画像データ記憶部
１０５ コントラスト強調手段
１０５Ａ 完全均一化手段
１０５Ｂ ワリスフィルター手段
１０６ 深度法線マップ生成手段
１０６Ａ 深度マップ生成手段
１０６Ｂ 法線マップ生成手段
１０７，１０７Ａ，１０７Ｂ 画素選択手段
１０８ ３次元モデル生成手段
１０９ ３次元モデル記憶部
１１０ 表示制御手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】