特開 2022-163920 ３次元モデル生成装置、３次元モデル生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022163920

(43)【公開日】2022-10-27

(54)【発明の名称】３次元モデル生成装置、３次元モデル生成方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221020BHJP

【ＦＩ】

G06T19/00 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021069058

(22)【出願日】2021-04-15

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小松 清二

(72)【発明者】

【氏名】菅原 隆幸

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA09

5B050DA01

5B050EA13

5B050EA18

5B050EA28

(57)【要約】

【課題】画像データの有無に拘わらず３次元モデルを生成可能とする。
【解決手段】時間情報を含む対象物の画像データを取得する画像データ取得部と、画像データ取得部が取得した対象物の画像データに基づいて３次元モデルを生成する３次元モデル生成部と、３次元モデルに対して所定の時間における対象物の変化度合いを推定して３次元モデルを補正する３次元モデル補正部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

時間情報を含む対象物の画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した前記対象物の画像データに基づいて３次元モデルを生成する３次元モデル生成部と、
前記３次元モデルに対して所定の時間における前記対象物の変化度合いを推定して前記３次元モデルを補正する３次元モデル補正部と、
を備える三次元モデル生成装置。

【請求項2】

前記対象物の画像データは、位置情報と方位情報を含み、
前記３次元モデル生成部は、前記時間情報と前記位置情報と前記方位情報が一致する複数の対象物の画像データに基づいて３次元モデルを生成する、
請求項１に記載の三次元モデル生成装置。

【請求項3】

前記３次元モデル補正部は、異なる時間における３次元モデルの変化量に基づいて前記３次元モデルを補正する、
請求項１または請求項２に記載の三次元モデル生成装置。

【請求項4】

時間情報を含む対象物の画像データを取得するステップと、
取得した前記対象物の画像データに基づいて３次元モデルを生成するステップと、
前記３次元モデルに対して所定の時間における前記対象物の変化度合いを推定して前記３次元モデルを補正するステップと、
を含む３次元モデル生成方法。

【請求項5】

時間情報を含む対象物の画像データを取得するステップと、
取得した前記対象物の画像データに基づいて３次元モデルを生成するステップと、
前記３次元モデルに対して所定の時間における前記対象物の変化度合いを推定して前記３次元モデルを補正するステップと、
を３次元モデル生成装置として動作するコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元モデル生成装置、３次元モデル生成方法およびプログラムに関する。

【背景技術】

【0002】

複数の画像データから所望の画像データを容易に検索する技術として、例えば、下記特許文献１に記載されたものがある。特許文献１に記載された技術は、撮影された位置や撮影された日時が撮影情報として付与された複数の画像データを画像交換サーバに保管し、端末装置から画像データに付与された撮影情報に基づいて所望の画像データを検索する。また、複数の画像を写真マッピングする技術として、例えば、下記特許文献２に記載されたものがある。特許文献２に記載された技術は、複数の写真データに付与されるメタ情報を用いて、有機的に活用した検索や、リアルタイムで視界に入る建造物に関する情報の検索や、特定の人物が被写体になっている写真の検索を行い、写真マッピングを行うものである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－２２０４２０号公報

【特許文献2】特開２００９－１７６２６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

被写体に対して撮影位置を変えながら複数の写真を撮影し、撮影した複数の写真データに基づいて３次元モデルを生成するフォトグラメトリーという技術がある。ところが、従来のフォトグラメトリーは、実際の複数の写真データを加工して３次元モデルを生成するものである。そのため、実際の写真データがないと、３次元モデルを生成することができない。

【0005】

本発明は、上記に鑑みてなされたものであって、画像データの有無に拘わらず３次元モデルを生成可能とすることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る３次元モデル生成装置は、時間情報を含む対象物の画像データを取得する画像データ取得部と、前記画像データ取得部が取得した前記対象物の画像データに基づいて３次元モデルを生成する３次元モデル生成部と、前記３次元モデルに対して所定の時間における前記対象物の変化度合いを推定して前記３次元モデルを補正する３次元モデル補正部と、を備える。

【0007】

本発明に係る３次元モデル生成方法は、時間情報を含む対象物の画像データを取得するステップと、取得した前記対象物の画像データに基づいて３次元モデルを生成するステップと、前記３次元モデルに対して所定の時間における前記対象物の変化度合いを推定して前記３次元モデルを補正するステップと、を含む。

【0008】

本発明に係るプログラムは、時間情報を含む対象物の画像データを取得するステップと、取得した前記対象物の画像データに基づいて３次元モデルを生成するステップと、前記３次元モデルに対して所定の時間における前記対象物の変化度合いを推定して前記３次元モデルを補正するステップと、を３次元モデル生成装置として動作するコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、画像データの有無に拘わらず３次元モデルを生成することができるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態に係る３次元モデル生成装置における画像取得装置を表すブロック図である。

【図2】図２は、画像データにおける記録フォーマットを表す概略図である。

【図3】図３は、対象物に対する位置情報および方位情報を説明するための概略図である。

【図4】図４は、本実施形態に係る３次元モデル生成装置を表すブロック図である。

【図5】図５は、３次元モデル生成方法を表すフローチャートである。

【図6】図６は、３次元モデル生成部の具体的な構成を表すブロック図である。

【図7】図７は、フォトグラメトリー原理を適用する２つの画像の位置関係を表す説明図である。

【図8】図８は、２つの画像の位置関係を表す説明図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照して、本発明に係る３次元モデル生成装置、３次元モデル生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0012】

［画像取得装置］
図１は、本実施形態に係る３次元モデル生成装置における画像取得装置を表すブロック図である。画像取得装置１０は、後述する３次元モデル生成装置に３次元モデルを生成させるために、後述するフォーマット画像データを生成し、データベース２６へ送信する。

【0013】

図１に示すように、画像取得装置１０は、カメラ（撮像装置）１１と、ＧＰＳ受信部（ＧＮＳＳ信号受信器）１２と、方位センサ１３と、時間情報取得部２１と、位置情報取得部２２と、方位情報取得部２３と、フォーマット部２４と、記憶部２５とを備える。

【0014】

カメラ１１は、対象物を撮影する。カメラ１１が撮影した画像データは、劣化が気にならない程度にＪＰＥＧやＰＮＧなどの形式に圧縮される。カメラ１１は、撮影した画像データをフォーマット部２４に送ると共に、トリガー情報として時間情報取得部２１と位置情報取得部２２と方位情報取得部２３へ送出する。

【0015】

ＧＰＳ受信部１２は、衛星からの電波を受信し、正確な時刻情報や位置情報をえる。ＧＰＳ受信部１２は、時刻情報を時間情報取得部２１に送出し、位置情報を位置情報取得部２２へ送出する。

【0016】

時間情報取得部２１は、ＧＰＳ受信部１２からの時間情報に基づいて、カメラ１１が画像データを撮影した際の時間情報を取得する。時間情報取得部２１は、カメラ１１が画像データを撮像した際の時間情報をフォーマット部へ送出する。

【0017】

位置情報取得部２２は、ＧＰＳ受信部１２からの情報に基づいて、カメラ１１が画像データを撮影した際の位置情報を取得する。位置情報取得部２２は、カメラ１１が画像データを撮像した際の位置情報をフォーマット部へ送出する。

【0018】

方位センサ１３は、ジャイロ（角速度センサー）によりカメラ１１の傾き（仰角）を測定する。方位センサ１３は、測定した結果を方位情報取得部２３へ送出する。

【0019】

方位情報取得部２３は、方位センサ１３の測定結果に基づいて、カメラ１１が画像データを撮影した際の方位情報をフォーマット部へ送出する。

【0020】

カメラ１１が撮影した画像データ、時間情報取得部２１が取得した画像データの時間情報、位置情報取得部２２が取得した画像データの位置情報、方位情報取得部２３が取得した画像データの方位情報は、フォーマット部２４に入力される。

【0021】

フォーマット部２４は、パラメータ当たりのバイト数が設定され、入力した各種の情報が所定のフォーマットに変換し、フォーマット画像データを生成する。なお、フォーマット画像データとは、画像データ、画像データの時間情報、画像データの位置情報、画像データの方位情報を、所定のフォーマットへ変換したデータである。される。フォーマット部２４は、フォーマット画像データを記憶部２５へ送出する。

【0022】

なお、時間情報取得部２１と、位置情報取得部２２と、方位情報取得部２３と、フォーマット部２４とは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路によって構成される。

【0023】

記憶部２５は、フォーマット画像データを一時的に記憶する。記憶部２５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置やメモリなどである。記憶部２５は、送信部（不図示）を介して、インターネットなどのネットワークにより接続されたデータベース２６へ、フォーマット画像データを送信する。記憶部２５に一時的に記憶されフォーマット画像データは、インターネット上のデータベース２６に大規模に保存される。

【0024】

図２は、画像データにおける記録フォーマットを表す概略図である。

【0025】

図２に示すように、フォーマット画像データは、前半の固定長部分と、後半の可変長部分とにより構成される。固定長部分は、時間情報と、位置情報と、方位情報とを有する。時間情報は、年月日時情報であって、西暦データ２バイト、月データ１バイト、日データ１バイト、時間データ１バイト、分データ１バイト、秒データ１バイトにより構成される。可変長部分は、画像データによって構成される。位置情報は、緯度データで８バイト、経度データで８バイトにより構成される。位置情報は、対象物を撮影した位置を表すものであり、緯度と経度以外の情報としては、住所、地域名、建築物名などを用いることができる。なお、位置情報は、地図を所定の大きさで区画したエリアとし、エリア内の横軸と縦軸の相対的な座標で記載してもよい。

【0026】

方位情報は、水平方位として８バイト、仰角データとして８バイトにより構成される。カメラ１１が取得した画像データの方位情報は、例えば、アナログ時計を用いた表現として、針の時計回り方向に東を３時（９０°）、南を６時（１８０°）、西を９時（２７０°）、北を１２時（３６０°（０°））のように表現する。仰角方位は、水平を０度、真上を９０度とし、見上げる仰角の度数を記録する。可変長部分は、画像情報であり、画像情報は、画像がＪＰＧ形式やＰＮＧ形式に圧縮された画像圧縮ファイルである。

【0027】

図３は、対象物に対する位置情報および方位情報を説明するための概略図である。

【0028】

図３に示すように、地図１００は、ある都市を区画したものであり、地図１００は、例えば、１００ｍ四方の正方形で、複数のエリアに区画される。図３では、地図１００の所定の区画を、エリア００１０－２３２４、エリア００１０－２３２５、エリア００１０－２３２６、エリア００１０－２４５５、エリア００１０－２４５６、エリア００１０－２４５７、エリア００１０－２５８６、エリア００１０－２５８７、エリア００１０－２５８８の９つのエリアに分割した様子を示す。

【0029】

対象物Ｔは、例えば、エリア００１０－２４５６というエリア番号が付けられたエリアにある。対象物Ｔに向けて５か所の位置Ａ１，Ａ２，Ａ３，Ａ４，Ａ５でカメラ１１による撮影が実施される。位置Ａ１は、対象物Ｔに対する正面位置であり、位置Ａ２は、対象物Ｔに対する左斜め前位置であり、位置Ａ３は、対象物Ｔに対する左斜め後位置であり、位置Ａ４は、対象物Ｔに対する右斜め後位置であり、位置Ａ５は、対象物Ｔに対する右斜め前位置である。

【0030】

ここで、位置Ａ１，Ａ２，Ａ３，Ａ４，Ａ５から対象物Ｔに向かって延びる線が方位である。方位情報は、水平方向で、地図真上（真北）方向を１２時の方向（０度）とする。例えば、位置Ａ１の方位は、００時００分００秒となり、位置Ａ２の方位は、０２時３０分００秒となる。そして、地図１００に表せないカメラ１１の仰角は、例えば、位置Ａ１では、１２度、位置Ａ２では、７度、位置Ａ３では、１０度、位置Ａ４では、２５度、位置Ａ５では、３５度というように、フォーマットに記載される。

【0031】

［３次元モデル生成装置］
図４は、本実施形態に係る３次元モデル生成装置を表すブロック図である。

【0032】

図４に示すように、３次元モデル生成装置３０は、画像処理装置３１と、入力装置３２と、表示装置３３とを備える。

【0033】

入力装置３２は、使用者により操作される。入力装置３２は、使用者により入力された操作指令信号を画像処理装置３１に送出する。ここで、操作指令信号は、使用者が３次元モデルを生成したい所望の場所（対象物の名称や住所）および３次元モデルを生成したい所望の時間などである。入力装置３２は、例えば、キーボードやタッチパネルなどである。

【0034】

画像処理装置３１は、例えば、送受信部（不図示）を介して、インターネットによりデータベース２６と接続される。画像処理装置３１は、入力装置３２から送出された操作指令信号に基づいて、データベース２６に保存されているフォーマット画像データを取得し、フォーマット画像データを画像処理する。すなわち、画像処理装置３１は、入力装置３２から送出された対象物に基づいて、データベース２６に保存されている対象物に該当するフォーマット画像データを取得し、フォーマット画像データを画像処理する。画像処理装置３１は、画像処理した画像データを表示装置３３に送出する。

【0035】

表示装置３３は、使用者に対して画像データを表示する。表示装置３３は、画像処理装置３１が画像処理した３次元モデルや画像データを表示する。表示装置３３は、例えば、液晶ディスプレイやヘッドマウンドディスプレイなどである。

【0036】

画像処理装置３１は、画像データ取得部３４と、３次元モデル生成部３５と、３次元モデル補正部３６とを有する。なお、画像データ取得部３４と、３次元モデル生成部３５と、３次元モデル補正部３６は例えばＣＰＵによって構成される。

【0037】

画像データ取得部３４は、使用者が入力装置３２により入力した操作指令信号が入力される。画像データ取得部３４は、この操作指令信号に基づいて該当する多数の画像データを検索して取得する。すなわち、画像データ取得部３４は、データベース２６に保存されているフォーマット画像データから、入力装置３２から入力された対象物のフォーマット画像データを取得する。画像データ取得部３４は、取得した多数のフォーマット画像データを３次元モデル生成部３５に送出する。

【0038】

３次元モデル生成部３５は、画像データ取得部３４が取得した多数のフォーマット画像データに含まれる画像データと、このフォーマット画像データに含まれる画像データが撮影された時間情報と、画像データの位置情報と、画像データの方位情報に基づいて３次元モデルを生成する。３次元モデル生成部３５は、生成した３次元モデルを３次元モデル補正部３６に送出する。

【0039】

３次元モデル補正部３６は、３次元モデル生成部３５が生成した３次元モデルに対して、入力装置３２から入力された時間情報に基づいて３次元モデルを補正する。すなわち、３次元モデル補正部３６は、入力装置３２から入力された時間情報、つまり、指定された所定の時間における対象物の変化度合いを推定して３次元モデルを補正する。３次元モデル補正部３６は、補正した３次元モデルを表示装置３３に送出する。

【0040】

このとき、３次元モデル生成部３５は、時間情報と方位情報が一致する複数の画像データに対して、ある画素の輝度値を周辺の画素の輝度値の平均とする平均化処理を行い、平均化処理を行った異なる方位における複数の画像データに基づいて３次元モデルを生成する。そして、３次元モデル補正部３６は、異なる時間における３次元モデルの変化量に基づいて３次元モデルを補正する。

【0041】

［３次元モデル生成方法］
図５は、３次元モデル生成方法を表すフローチャートである。

【0042】

図４および図５に示すように、ステップＳ１１にて、使用者は、入力装置３２を用いて、操作指令信号としての３次元モデルを生成したい所望の場所を入力する。所望の場所は、対象物の名称や住所などである。ステップＳ１２にて、使用者は、入力装置３２を用いて、操作指令信号としての３次元モデルを生成したい所望の時間を入力する。所望の時間は、西暦および年月日で入力する。ステップＳ１３にて、画像データ取得部３４は、検索条件としての所望の場所および所望の時間に該当する多数のフォーマット画像データをデータベース２６から検索して取得する。この場合、画像データ取得部３４は、所望の時間として、所定の期間を検索する。画像データ取得部３４は、所望の時間として、例えば、２０００年７月１日が入力されると、所定の期間である１９９５年１月１日から２００５年７月１日に撮影された複数のフォーマット画像データを取得する。

【0043】

ステップＳ１４にて、３次元モデル生成部３５は、複数のフォーマット画像データに含まれる画像データと、画像データの時間情報と、画像データの位置情報と、画像データの方位情報に基づいて３次元モデルを生成する。ステップＳ１４の３次元モデルの生成の詳細に関しては後述する。ステップＳ１５にて、３次元モデル補正部３６は、３次元モデルに対して所定の時間における対象物の変化度合いを推定して３次元モデルを補正する。そして、ステップＳ１６にて、表示装置３３は、補正された３次元モデルを表示する。

【0044】

すなわち、まず、画像データ取得部３４は、インターネットを介してデータベース２６から複数のフォーマット画像データを取得することにより、複数の画像データと、各画像データにおける時間情報と位置情報と方位情報とを取得する。画像データ取得部３４は、異なる複数の時間で、対象物Ｔに対して異なる複数の位置および方位から撮影した複数の画像データを取得する。

【0045】

次に、３次元モデル生成部３５は、複数の画像データに対して、アスペクト比を維持したままで、拡大縮小、回転、左右の台形補正などを自由度にしたアフィン変換を行い、画像の特徴点が対応する、つまり、マッチング処理して差分が極端に小さくなる位置決めの算出を行う。左右の台形補正は、建物などを左側面から撮影すると同じ高さの左縦線が近いために長くなり、右縦線が遠くなるため短く映る、所謂、遠近法の原理で、通常記念写真などカメラ撮影の場合、確率的に左右方向は移動可能なので沢山の角度で撮影された枚数が増えるが、上下方向は、仰ぎ角が多少変わる程度で、撮影ポイントの上下はあまりないためである。大きい特徴が一致するグループを抽出することで、画像の繋がりが分かりそれをメモリ上に展開していく。これらの処理は、フォトグラメトリーの手法で、複数角度からの画像を、対象物Ｔの３次元形状を生成する技術であり、三角測量の原理である。特徴点が取れるか取れないかは、選択した画像の中の２組セットの画像に互いに６割程度視野が重なっているセットがあるのが好ましい。

【0046】

そして、３次元モデル補正部３６は、３次元モデル生成部３５が生成した３次元モデルに対して、所望の時間に対応するように変化度合いを推定して３次元モデルを補正する。すると、使用者が所望する所定の時間における対象物の３次元モデルを生成することができる。

【0047】

ここで、ステップＳ１４の３次元モデルの生成方法の具体例を説明する。図６は、３次元モデル生成部の具体的な構成を表すブロック図、図７は、フォトグラメトリー原理を適用する２つの画像の位置関係を表す説明図、図８は、２つの画像の位置関係を表す説明図である。

【0048】

図６に示すように、３次元モデル生成部３５は、エピポーラ線方向計算器４１と、エピポーラ線直交方向計算器４２と、探索範囲決定器４３と、対応点検出器４４と、距離計算器４５とを有する。

【0049】

エピポーラ線方向計算器４１は、画像データ取得部３４が取得した複数の画像データに基づいて、対象物Ｔに対する複数の画像データの相対応する複数の画素点間を結ぶエピポーラ線の方向を計算する。エピポーラ線方向計算器４１は、算出したエピポーラ線の方向をエピポーラ線直交方向計算器４２に送出する。

【0050】

エピポーラ線直交方向計算器４２は、エピポーラ線に対して直交する直交方向を計算する。エピポーラ線直交方向計算器４２算出したエピポーラ線に対する直交方向を探索範囲決定器４３に出力する。

【0051】

探索範囲決定器４３は、エピポーラ線の方向とエピポーラ線の直交方向に相対応する複数の画素点を含むように画面上の２次元探索範囲を決定する。探索範囲決定器４３は、決定した２次元探索範囲を対応点検出器４４に出力する。

【0052】

対応点検出器４４は、画像データ取得部３４が取得した複数の画像データと、決定された２次元探索範囲内に基づいて、対応点探索を行って視差ベクトルを求める。対応点検出器４４は、求めた視差ベクトルを距離計算器４５に送出する。

【0053】

距離計算器４５は、 視差ベクトルに対して、エピポーラ線への写像を行って視差ベクトルのエピポーラ線方向成分を求め、求められたエピポーラ線方向成分に基づいて対象物Ｔまでの距離を計算する。距離計算器４５は、算出した対象物Ｔまでの距離を３次元モデル補正部３６に送出する。

【0054】

以下に３次元モデルの生成において具体的に説明するが、ここでは、２個の画像データから３次元モデルの生成する場合について説明する。

【0055】

画像データ取得部３４は、データベース２６から２個の画像データを取得する。例えば、図３に示すように、エリア００１０－２４５６に登録されてフォーマットされている各データのうち、画像１枚を基準としてランダムに選択された２枚目画像を１組にして対応点が互いに共通している写真画像をサーチする。この１組となる画像の三角測量をすることで３次元点群が求まり、これらを集めていくことで相対的な位置と点群の画像を広げていく。また、この画像に対応する部分のテクスチャーをあとでマッピングするために対応付けてメモリに管理する。

【0056】

まず、対象物Ｔに対して視野の画像用のカメラ１１Ａおよび視野の画像用のカメラ１１Ｂ（いずれも、図７参照）によって２組セット画像データを得る。次に、対応点検出器４４は、２組セットの画像データに基づいて特徴点の対応点探索を行う。対応点検出器４４は、例えば、画素毎の対応付けを行い、差が最小になる位置を探す。ここで、図６および図７に示すように、２視点に同時に存在しているとするカメラ１１Ａ，１１Ｂは、光軸Ｏｌ，Ｏｒが同一のＸ－Ｚ座標平面上に含まれるように、Ｙｌ＝Ｙｒの関係に配置されているものとする。対応点検出器４４により探索された対応点を用いて画素毎の角度の差に相当する視差ベクトルを計算する。

【0057】

距離計算器４５は、得られた視差ベクトルが奥行き方向のカメラ１１Ａ，１１Ｂからの距離に相当するので、遠近法により視差の大きさに比例させて距離計算を行う。撮影者のカメラ１１Ａ，１１Ｂがほぼ水平にしか移動しないと仮定すれば、カメラ１１Ａ，１１Ｂをその光軸Ｏｌ，Ｏｒが同一のＸ－Ｚ座標平面上に含まれるように配置しておくことにより、対応点の探索はエピポーラ線Ｅｐｌ，Ｅｐｒである走査線上のみで行えばよいことになる。距離計算器４５は、対象物Ｔの２個の画像データと、カメラ１１Ａ，１１Ｂから対象物Ｔまでのそれぞれの距離を用いて対象物Ｔの３次元モデルを生成する。

【0058】

一方、左画像上の点Ｑｌ（Ｘｌ，Ｙｌ）と右画像上の点Ｑｒ（Ｘｒ，Ｙｒ）とが対応する場合、点Ｑｌ（Ｘｌ，Ｙｌ）における視差ベクトルはＶｐ（Ｘｌ－Ｘｒ，Ｙｌ－Ｙｒ）である。ここで、２つの点Ｑｌ，Ｑｒは同じ走査線（エピポーラ線）上にあるので、Ｙｌ＝Ｙｒであり、視差ベクトルは、Ｖｐ（Ｘｌ－Ｘｒ，０）と表されることになる。エピポーラ線方向計算器４１は、このような視差ベクトルＶｐを、画像上の全ての画素点について求め、視差ベクトル群を作成することで画像の奥行き方向の情報を得る。ところで、エピポーラ線が水平ではないセットに関しては、片方のカメラ位置の高さが違っている（確率は低い）ことがある。この場合、エピポーラ線直交方向計算器４２は、大きな探索範囲を、対応点マッチングを意識することなく大きな２次元領域で対応点探索をする場合に比べ、エピポーラ線方向と、エピポーラ線に対し直交方向でその水平からのずれ具合程度の長方形内で探索することで、最低限の長方形の計算量は少なくなり合理的になる。そして、探索範囲決定器４３は、図８に示すように、最低限の長方形に関するエピポーラ線方向探索範囲をａ～ｂ＝ｃ～ｄとし、直交方向探索範囲をｂ～ｃ＝ｄ～ａとした場合の探索範囲を示す。この場合、エピポーラ線方向の探索幅は、ΔＥ、エピポーラ線と直交する方向Ｔの探索幅はΔＴとする。最低限の傾斜した長方形ａｂｃｄを含む傾斜しない最小の長方形ＡＢＣＤが求める領域となる。

【0059】

このように３次元モデル生成部３５は、複数のカメラ１１Ａ，１１Ｂの特徴点の対応点からエピポーラ拘束条件にて視差ベクトルを求め、各点の奥行き方向の情報を得て、３次元形状の表面上のテクスチャーをマッピングして、３次元モデルを生成する。これにより、計算に使用する画像データにある部分のモデルは、その前面側半球からの見る空間を再現することができる。また、３次元モデルの画像データに写っていない部分が存在する場合、周りのテクスチャーのラインやサーフェスを延長して繋がる場合は、その間を同じテクスチャーを用いて補間する。３次元モデル生成部３５は、生成した３次元モデルを３次元モデル補正部３６に送出する。

【0060】

なお、３次元モデルの生成方法は、上述したものに限定されるものではなく、他の方法を用いてもよい。

【0061】

そして、３次元モデル補正部３６は、３次元モデルの生成が生成した３次元モデルを、画像データが存在しない時間の３次元モデルに補正するとき、画像データの平均値を算出することで、画像データが存在しない所定の時間における対象物の変化度合いを推定し、３次元モデルを補正する。

【0062】

すなわち、複数の画像データは、所望の時間として所定の期間（例えば、１９９５年１月１日から２００５年７月１日）に撮影された画像データである。この複数の画像データを、年を区切って群とし、対象物Ｔをなすオブジェクトの表面を構成する所定のオブジェクト部分における画像データの色差信号の平均値を求める。

【0063】

３次元モデル補正部３６は、使用者が３次元モデルを生成したい対象物の所望の時間における画像データが取得した複数の画像データに存在するかどうかを判定する。使用者が３次元モデルを生成したい対象物の所望の時間として、例えば、２０００年７月１日における複数の画像データが存在する場合、３次元モデル生成部３５が取得した複数の画像データに基づいて２０００年７月１日における３次元モデルを生成することができることから、３次元モデル補正部３６は、３次元モデルを補正しない。すなわち、２０００年７月１日における複数の画像データが存在すると、３次元モデル生成部３５は、同じ時間、同じ位置、同じ方位からの対象物Ｔの複数の画像データの平均値を算出し、画像データの平均値の色差信号を用いて３次元モデルを生成する。

【0064】

一方、使用者が３次元モデルを生成したい対象物の所望の時間として、２０００年７月１日における複数の画像データが存在しない場合、３次元モデル生成部３５が生成した所望の時間でない複数の画像データに基づいて生成された３次元モデルに対して、３次元モデル補正部３６は、補正により所望の時間における３次元モデルを生成する。この場合、３次元モデル補正部３６は、２０００年６月３０日以前および２０００年７月２日以降における複数の画像データに基づいて３次元モデルを補正する。このときの画像データの色差信号の平均値のデータは、所望の時間の未来方向（２０００年６月３０日以前）および過去方向（２０００年７月２日以降）の画像データの平均値である。３次元モデル補正部３６は、異なる時間、同じ位置、同じ方位からの画像データの色差信号の平均値を用いて３次元モデルを補正する。つまり、３次元モデル補正部３６は、異なる時間の複数の画像データを内挿した値を色差信号として推測して合成する。

【0065】

また、使用者が３次元モデルを生成したい対象物の所望の時間である２０００年７月１日が存在する画像データの過去方向（２０００年６月３０日以前）または未来方向（２０００年７月２日以降）である場合、このときの画像データの色差信号の平均値のデータは、２０００年６月３０日以前の画像データの平均値、または、２０００年７月２日以降の画像データの平均値である。３次元モデル補正部３６は、異なる時間、同じ位置、同じ方位からの画像データの色差信号の平均値を用い、未来方向または過去方向の３次元モデルを推定して補正する。つまり、異なる時間の複数の画像データを内挿した値を色差信号として推測して合成する。つまり、３次元モデル補正部３６は、色差信号の毎年の平均値の変化量に基づいて画像データを外挿した値を色差信号として推測して合成する。

【0066】

また、１日（２４時間）を１時間毎に区切り、区切られた時間における画像データの色差信号を使用する場合、時刻による太陽の高さにおいて明るさが変化し、色差信号に影響するものを取り除く理由がある。そのため、３次元モデル補正部３６は、天気情報を外部から取得し、画像データが撮影された土地の天気予報を参考にし、その日の太陽の光度合いを時間毎に推定して３次元モデルを補正してもよい。

【0067】

すなわち、使用者が３次元モデルを生成したい対象物の所望の時間である２０００年７月１日における複数の画像データが存在しない場合、３次元モデル補正部３６は、２０００年６月３０日以前の画像データの平均値や変化量、または、２０００年７月２日以降の画像データの平均値や変化量を用いて３次元モデルを補正する。このとき、３次元モデル補正部３６は、例えば、２０００年７月１日より前または後の時間における天気に基づいて所望の時間の天気を推定する。そして、３次元モデル補正部３６は、２０００年６月３０日以前および２０００年７月２日以降の複数の画像データから、２０００年７月１日間の天気と同じ天気の画像データの平均値を用いて３次元モデルを補正する。

【0068】

また、３次元モデル補正部３６は、画像データが存在する時間の一部の画像データを用いて、所望の時間である２０００年７月１日の対象物Ｔに対するカメラ１１からの角度、天気、月日による季節を考慮した太陽の高低のパラメータと、撮影された画像データとを入力とし、対応する模範的撮影画像データを出力とする、教師データセットを用いて機械学習することで、画像データが存在しない２０００年６月３０日以前や２０００年７月２日以降で、特定の時刻の対象物Ｔの画像データを予測した画像を用いて合成するものであってもよい。

【0069】

なお、３次元モデル補正部３６が補正に使用する画像データとして、未来の対象物Ｔを予測した画像データ、つまり、未来予測画像データを用いてもよい。未来予測画像データとしては、映画などの動画の空間および画像データや仮想未来として作成された３Ｄの空間および画像データなどを含む。構成空間全体の画像データも活用可能であるが、部分的な限定空間（嵌め込み空間）も含む。都市再開発を想定し、または、建物の建て替えを想定し、空間の年月日時情報、位置情報、方位情報を組みにして、開発前都市の空間および画像データから新都市データへと合成画像を外挿的、内挿的に生成する画像処理を行い表示することも可能である。未来予測画像データは、機械的（ＣＡＤデータなど）にまたは人工知能により作り出された空間および画像データも含む。地域や建蔽率、建物の種類などを入力情報とすれば、標準的な構造物の空間画像データが得られ、活用可能である。

【0070】

すなわち、データベース２６は、過去から現在までの対象物Ｔの画像データだけでなく、未来を予測した画像データ（未来予測画像データ）も有する。未来予測画像データとは、現在である２０２１年３月１日に対して、２０２１年３月２日以降の対象物Ｔの状態を予測した画像データである。使用者が入力装置３２を用いて、所望の時間として未来の時間、例えば、２０３１年３月１日を入力した場合、画像データ取得部３４は、２０２１年３月１日以前の画像データだけでなく、２０２１年３月２日以降の未来予測画像データも取得する。３次元モデル補正部３６は、２０２１年３月１日以前の画像データと２０２１年３月２日以降の未来予測画像データを用いて３次元モデルを補正する。

【0071】

［本実施形態の作用効果］
本実施形態では、時間情報を含む対象物Ｔの画像データを取得する画像データ取得部３４と、画像データ取得部３４が取得した対象物Ｔの画像データに基づいて３次元モデルを生成する３次元モデル生成部３５と、３次元モデルに対して所定の時間における対象物Ｔの変化度合いを推定して前記３次元モデルを補正する３次元モデル補正部３６とを備える。

【0072】

そのため、３次元モデル生成部３５は、複数の画像データと、各画像データにおける時間情報に基づいて３次元モデルを生成し、３次元モデル補正部３６は、３次元モデルに対して所定の時間における対象物Ｔの変化度合いを推定して３次元モデルを補正する。すなわち、まず、存在する多数の画像データを取得し、取得した多数の画像データから所定の時間の３次元モデルを生成する。次に、複数の時間の３次元モデルにおける時間から推定した形状や色などの変化度合い（劣化度合い）に基づいて、３次元モデルを補正して画像データが存在しない時間の３次元モデルを生成する。その結果、画像データの有無に拘わらず３次元モデルを生成することができる。

【0073】

また、本実施形態では、対象物Ｔの画像データは、位置情報と方位情報を含み、３次元モデル生成部３５は、時間情報と位置情報と方位情報が一致する複数の対象物Ｔの画像データに基づいて３次元モデルを生成する。そのため、所定の時間における対象物Ｔの３次元モデルを高精度に生成することができる。

【0074】

また、本実施形態では、３次元モデル補正部３６は、異なる時間における３次元モデルの変化量に基づいて３次元モデルを補正する。そのため、所望の時間における画像データが存在しなくても、所望の時間以外の画像データの変化量に基づいて画像データが存在しなし所望の時間における３次元モデルを生成することができる。

【0075】

これまで本発明に係る３次元モデル生成装置について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

【0076】

図示した３次元モデル生成装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0077】

３次元モデル生成装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0078】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【符号の説明】

【0079】

１０ 画像取得装置
１１ カメラ（撮像装置）
１２ ＧＰＳ受信部
１３ 方位センサ
２１ 時間情報取得部
２２ 位置情報取得部
２３ 方位情報取得部
２４ フォーマット部
２５ 記憶部
２６ データベース
３０ ３次元モデル生成装置
３１ 画像処理装置
３２ 入力装置
３３ 表示装置
３４ 画像データ取得部
３５ ３次元モデル生成部
３６ ３次元モデル補正部
Ｔ 対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】