特許第5963353号(P5963353)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社トプコンの特許一覧

特許5963353光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
<>
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000016
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000017
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000018
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000019
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000020
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000021
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000022
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000023
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000024
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000025
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000026
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000027
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000028
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000029
  • 特許5963353-光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム 図000030
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5963353
(24)【登録日】2016年7月8日
(45)【発行日】2016年8月3日
(54)【発明の名称】光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
(51)【国際特許分類】
   G01B 11/00 20060101AFI20160721BHJP
【FI】
   G01B11/00 A
【請求項の数】14
【全頁数】33
(21)【出願番号】特願2012-177504(P2012-177504)
(22)【出願日】2012年8月9日
(65)【公開番号】特開2014-35702(P2014-35702A)
(43)【公開日】2014年2月24日
【審査請求日】2015年7月29日
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100096884
【弁理士】
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】高地 伸夫
(72)【発明者】
【氏名】北村 和男
【審査官】 佐田 宏史
(56)【参考文献】
【文献】 特開2012−088114(JP,A)
【文献】 特開平10−206135(JP,A)
【文献】 特開2012−057690(JP,A)
【文献】 特開2012−063866(JP,A)
【文献】 特開平06−168341(JP,A)
【文献】 王 彩華、外5名,“全方位画像のエッジヒストグラムを用いたセンサの位置・姿勢推定”,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2002年10月11日,Vol.102, No.380,pp.41-46
【文献】 石山 豊、外4名,“セグメントベーストステレオにおける対応候補探索”,映像情報メディア学会誌,日本,社団法人映像情報メディア学会,1998年 5月20日,Vol.52, No.5,pp.723-728
【文献】 高地 伸夫、外3名,“デジタルカメラを用いた三次元画像計測システムおよびステレオマッチング法の開発と実応用例としての遺跡,電気学会論文誌C,日本,(社)電気学会,2012年 3月 1日,Vol.132, No.3,pp.391-400
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00−11/30
G06T 1/00,7/00−7/60
(57)【特許請求の範囲】
【請求項1】
第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出部と、
前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの類似度を算出する類似度算出部と、
前記類似度に基づき、前記第1三次元エッジの一つに対応する前記第2三次元エッジの一つを選択する選択部と
を備えることを特徴とする光学データ処理装置。
【請求項2】
前記第1三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置および前記第2三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置を特定する特定部を備え、
前記類似度算出部は、前記相対位置の類似度を算出することを特徴とする請求項1に記載の光学データ処理装置。
【請求項3】
前記相対位置は、特定の三次元エッジと他の複数の三次元エッジとを結ぶ複数のベクトルの組み合わせによって表されることを特徴とする請求項2に記載の光学データ処理装置。
【請求項4】
前記類似度が前記複数のベクトルの長さと予め決められた第1の方向に対する角度とにより評価されることを特徴とする請求項3に記載の光学データ処理装置。
【請求項5】
前記特定の方向が垂直方向であることを特徴とする請求項1〜4のいずれか一項に記載の光学データ処理装置。
【請求項6】
前記三次元エッジが当該三次元エッジを構成する線分の端点によって特定されていることを特徴とする請求項1〜5のいずれか一項に記載の光学データ処理装置。
【請求項7】
前記第1の三次元モデルおよび前記第2の三次元モデルの少なくとも一方がステレオ写真画像に基づく三次元モデルであることを特徴とする請求項1〜6のいずれか一項に記載の光学データ処理装置。
【請求項8】
前記ステレオ写真画像を構成する左写真画像および右写真画像における垂直方向のエッジに基づき、前記左写真画像および前記右写真画像の外部標定要素の算出を行う外部標定要素算出部を備えることを特徴とする請求項7に記載の光学データ処理装置。
【請求項9】
前記ステレオ写真画像に基づく三次元モデルは伸びまたは縮んでおり、
前記選択部により選択された前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの位置が合うように、前記ステレオ写真画像に基づく三次元モデルの縮尺を調整する縮尺調整部と、
前記選択部により選択された前記第1三次元エッジと前記第2三次元エッジの組み合わせに基づき、前記縮尺が調整された前記ステレオ写真画像に基づく三次元モデルと他方の三次元モデルとを統合する三次元モデル統合部と
を備えることを特徴とする請求項8に記載の光学データ処理装置。
【請求項10】
前記第1の三次元モデルがレーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルであり、前記第2の三次元モデルがステレオ写真画像に基づく三次元モデルである第1の場合、前記第1の三次元モデルおよび前記第2の三次元モデルがステレオ写真画像に基づく三次元モデルである第2の場合のいずれかであることを特徴とする請求項1〜9のいずれか一項に記載の光学データ処理装置。
【請求項11】
前記第1の三次元モデルおよび前記第2の三次元モデルがレーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルであることを特徴とする請求項1〜6のいずれか一項に記載の光学データ処理装置。
【請求項12】
第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出手段と、
前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの類似度を算出する類似度算出手段と、
前記類似度に基づき、前記第1三次元エッジの一つに対応する前記第2三次元エッジの一つを選択する選択手段と
を備えることを特徴とする光学データ処理システム。
【請求項13】
第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出ステップと、
前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの類似度を算出する類似度算出ステップと、
前記類似度に基づき、前記第1三次元エッジの一つに対応する前記第2三次元エッジの一つを選択する選択ステップと
を備えることを特徴とする光学データ処理方法。
【請求項14】
コンピュータに読み取らせて実行させる光学データ処理用プログラムであって、
コンピュータを
第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出手段と、
前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの類似度を算出する類似度算出手段と、
前記類似度に基づき、前記第1三次元エッジの一つに対応する前記第2三次元エッジの一つを選択する選択手段と
して動作させることを特徴とする光学データ処理用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光学データの処理技術に係り、異なる視点から得られた三次元データを統合して扱う技術に関する。
【背景技術】
【0002】
測定対象物にレーザー光を走査しつつ照射し、測定対象物の三次元位置を多数の点群位置データとして取得し、この点群位置データから当該測定対象物の三次元形状を生成する技術が知られている(例えば、特許文献1を参照)。点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点(点群)と、この複数の測定点の三次元空間中の位置(三次元座標)とが関連付けされている。点群位置データを用いると、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。
【0003】
一つの視点からの点群位置データの取得を考えた場合、測定対象物の形状や障害物に起因して、その視点から見て影となる部分の点群位置データは取得できない。この現象をオクルージョンといい、またこの影となる部分をオクルージョン部やオクルージョン部分という。また、通行人や通行する車両、木々の揺れによってオクルージョンが生じる場合もある。
【0004】
この問題を解決するためのアプローチとして、特許文献2には、オクルージョン部分の点群位置データを補完的に取得するために、基礎となる点群位置データの取得とは別に、オクルージョン部分を撮影できる別視点からの撮影を行い、この撮影画像と上記基礎となる点群位置データとの関連を求めることで、オクルージョン部分の点群位置データを補完する手法が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2012−8867号公報
【特許文献2】特開2008−82707号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、点群位置データは、数万点〜数億点にもなるが、点群位置データと撮影画像との位置合わせの処理が必要となる。この処理は、煩雑であり、また長い処理時間が必要となる。この位置合わせの方法としては、点群位置データと撮影画像中の特徴点との対応が明確になるように、予め測定対象物に複数のターゲットを貼り付けておき、この複数のターゲットに基づいて、点群位置データと撮影画像中の特徴点との位置合わせを行う手法がある。しかしながら、この手法では、測定対象物にターゲットを貼り付ける作業が必要であり、例えば高層建築物等を対象とする場合等に作業が簡単に行えない場合がある。
【0007】
またソフトウェア的な手法でデータ間のマッチングを行う方法も考えられるが、マッチング誤差が大きい、長大な処理時間が必要とされる、演算装置への負担が大きいといった問題がある。このような背景において、本発明は、2つの光学データ間における特徴点の対応関係を決める処理を高精度に効率よく行う技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
請求項1に記載の発明は、第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出部と、前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの類似度を算出する類似度算出部と、前記類似度に基づき、前記第1三次元エッジの一つに対応する前記第2三次元エッジの一つを選択する選択部とを備えることを特徴とする光学データ処理装置である。
【0009】
請求項1に記載の発明によれば、2つの三次元モデルそれぞれにおける特定の方向に延在する複数の三次元エッジに着目し、2つの三次元モデル間における当該三次元エッジの類似性を求め、この類似性に基づき、両モデル間で対応する三次元エッジの選択が行われる。三次元エッジを扱う場合、点群そのものを取り扱う場合に比較してデータ量が少なくすみ、また三次元エッジは特徴として把握し易い(言い換えると、他の部分と区別し易い)。このため、両三次元モデル間における対応関係を決める処理を高精度に効率よく行うことができる。
【0010】
請求項2に記載の発明は、請求項1に記載の発明において、前記第1三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置および前記第2三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置を特定する特定部を備え、前記類似度算出部は、前記相対位置の類似度を算出することを特徴とする。特定の方向に延在した三次元エッジに関する同様な方向に延在した周囲の他の複数の三次元エッジに対する相対的な位置関係は、当該三次元エッジに固有なパラメータとなる。したがって、この三次元エッジに係る位置関係の近似性を評価することで、2つの三次元モデル間で対応する三次元エッジを見つけることができる。この処理は、扱うデータ量が少なくても済み、また高いマッチング精度が得られるので、高速、且つ、高精度に行うことができる。
【0011】
請求項3に記載の発明は、請求項2に記載の発明において、前記相対位置は、特定の三次元エッジと他の複数の三次元エッジとを結ぶ複数のベクトルの組み合わせによって表されることを特徴とする。請求項3に記載の発明によれば、演算による類似性の判定を効率良く行うことができる。
【0012】
請求項4に記載の発明は、請求項3に記載の発明において、前記類似度が前記複数のベクトルの長さと予め決められた第1の方向に対する角度とにより評価されることを特徴とする。請求項4に記載の発明によれば、演算による類似性の判定を効率良く行うことができる。
【0013】
請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の発明においては、前記特定の方向が垂直方向であることを特徴とする。建築物は垂直エッジを主要な構成要素としているので、建築物を対象とする場合、垂直エッジを用いて三次元モデル間の対応関係の探索を行うことで、演算をより効率よく行うことができる。
【0014】
請求項6に記載の発明は、請求項1〜5のいずれか一項に記載の発明において、前記三次元エッジが当該三次元エッジを構成する線分の端点によって特定されていることを特徴とする。エッジを両端の端点により特定することで、扱うデータ量を減らすことができ、演算の負担を減らすことができる。
【0015】
請求項7に記載の発明は、請求項1〜6のいずれか一項に記載の発明において、前記第1の三次元モデルおよび前記第2の三次元モデルの少なくとも一方がステレオ写真画像に基づく三次元モデルであることを特徴とする。請求項7に記載の発明によれば、例えば、レーザースキャナから得られた三次元モデルのオクルージョンの部分を写真撮影により補い、より完成度の高い三次元モデルを得ることができる。また、例えば、ステレオ写真画像に基づく2つの三次元モデルを統合し、より完成度の高い三次元モデルを得ることができる。なお、本明細書では、レーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルをレーザー点群三次元モデルと称し、ステレオ写真画像に基づく三次元モデルを画像計測三次元モデルと称する。
【0016】
請求項8に記載に発明は、請求項7に記載の発明において、ステレオ写真画像を構成する左写真画像および右写真画像における垂直方向のエッジに基づき、前記左写真画像および前記右写真画像の外部標定要素の算出を行う外部標定要素算出部を備えることを特徴とする。請求項7に記載の発明によれば、垂直方向のエッジを用いることで、左右の写真画像における外部標定用の対応点の抽出が偏り無く行われ、高い精度で外部標定要素の算出を行うことができる。
【0017】
請求項9に記載の発明は、請求項8に記載の発明において、前記ステレオ写真画像に基づく三次元モデルは伸びまたは縮んでおり、前記選択部により選択された前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの位置が合うように、前記ステレオ写真画像に基づく三次元モデルの縮尺を調整する縮尺調整部と、前記選択部により選択された前記第1三次元エッジと前記第2三次元エッジの組み合わせに基づき、前記縮尺が調整された前記ステレオ写真画像に基づく三次元モデルと他方の三次元モデルとを統合する三次元モデル統合部とを備えることを特徴とする。
【0018】
標定用のターゲットを利用しないで、撮影した左右の写真画像のみから相互標定を用いて外部標定要素の算出を行う場合、座標系が実スケールを持たず(たとえば、長さの単位が相対値となる)、また基線長(左右の視点間の距離)や画面中の距離の設定が任意な値とされて演算が行なわれるので、得られる外部標定要素を記述する座標系は等方的ではなく、特定の方向に伸びまたは縮んだものとなる。請求項9に記載の発明によれば、対応関係が求められた三次元エッジが重なるように、画像計測三次元モデルをマッチング相手の他方の三次元モデルに対して移動させつつ、伸縮させることで(つまりアフィン変換を行うことで)、2つの三次元モデルの位置合わせを行う。ここで、2つの三次元モデルが共に実スケールを持たず、特定の方向に伸びまたは縮んだ三次元モデルである場合、縮尺の調整は、一方の三次元モデルに対して行っても良いし、両方の三次元モデルに対して行っても良い。
【0019】
例えば、画像計測三次元モデルが実スケールを持っていない場合、レーザー点群三次元モデルと画像計測三次元モデルとが整合した段階で、画像計測三次元モデルに実スケールが与えられる。なお、本明細書では、実スケールを持っておらず、特定の方向に伸びまたは縮んだ三次元モデルを相対モデルと称し、実スケールを持った三次元モデル(例えば、レーザー点群三次元モデル)を絶対モデルと称する。
【0020】
請求項10に記載の発明は、請求項1〜9のいずれか一項に記載の発明において、前記第1の三次元モデルがレーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルであり、前記第2の三次元モデルがステレオ写真画像に基づく三次元モデルである第1の場合、前記第1の三次元モデルおよび前記第2の三次元モデルがステレオ写真画像に基づく三次元モデルである第2の場合のいずれかであることを特徴とする。請求項10の第1の場合は、レーザー点群三次元モデルと画像計測三次元モデルとを統合することができる。請求項10の第2の場合は、2つの画像計測三次元モデルを統合することができる。
【0021】
請求項11に記載の発明は、請求項1〜6のいずれか一項に記載の発明において、前記第1の三次元モデルおよび前記第2の三次元モデルがレーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルであることを特徴とする。請求項11に記載の発明によれば、2つの画像計測三次元モデルを統合することができる。
【0022】
請求項12は、請求項1に記載の発明をシステムの発明として把握したものである。すなわち、請求項12に記載の発明は、第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出手段と、前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの類似度を算出する類似度算出手段と、前記類似度に基づき、前記第1三次元エッジの一つに対応する前記第2三次元エッジの一つを選択する選択手段とを備えることを特徴とする光学データ処理システムである。請求項12に記載の発明は、各手段が別の装置であったり、離れて配置され、回線を介して接続されていたり、といったシステムの発明として把握される。
【0023】
請求項13に記載の発明は、第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出ステップと、前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの類似度を算出する類似度算出ステップと、前記類似度に基づき、前記第1三次元エッジの一つに対応する前記第2三次元エッジの一つを選択する選択ステップとを備えることを特徴とする光学データ処理方法である。
【0024】
請求項14に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出手段と、前記第1三次元エッジのそれぞれと前記第2三次元エッジのそれぞれとの類似度を算出する類似度算出手段と、前記類似度に基づき、前記第1三次元エッジの一つに対応する前記第2三次元エッジの一つを選択する選択手段として動作させることを特徴とするプログラムである。
【発明の効果】
【0025】
本発明によれば、2つの光学データ間における特徴点の対応関係を決める処理を高精度に効率よく行うことができる。
【図面の簡単な説明】
【0026】
図1】実施形態の処理の概要を示すフローチャートである。
図2】実施形態の光学データ処理装置のブロック図である。
図3】点群位置データに基づく処理を行う三次元モデル作成部のブロック図である。
図4】ステレオ写真画像に基づく処理を行う三次元モデル作成部のブロック図である。
図5】エッジを抽出する原理を示す概念図である。
図6】相互標定を説明する説明図である。
図7】マッチング処理の流れを示すフローチャートである。
図8】処理の状態を段階的に示す左右の写真画像のイメージ図である。
図9】処理の状態を段階的に示す左右の写真画像のイメージ図である。
図10】処理の状態を段階的に示す左右の写真画像のイメージ図である。
図11】TINと正方格子の関係を示す概念図である。
図12】三次元エッジ位置合わせ部のブロック図である。
図13】垂直エッジ間の距離と角度について示した概念図である。
図14】建築物をレーザースキャンおよび写真撮影する場合の概念図である。
図15図14の計測が行われる場合に生じるオクルージョンについて示す概念図である。
【発明を実施するための最良の形態】
【0027】
1. 第1の実施形態
(前提)
本実施形態における測定対象物は、主要な対象が建築物であるとする。
(用語の定義)
以下、明細書中で用いる用語について説明する。
(ラベル)
ラベルとは面を特定する(あるいは他の面と区別する)識別子である。面は、演算の対象として選択するのに適切な面のことであり、平面、曲率の大きい曲面、曲率が大きくその位置による変化が小さい曲面が含まれる。本明細書では、演算により数学的に把握(データ化)する際の演算量が許容される量であるか否かによって、面と非面とが区別される。非面には、角、エッジ部分、その他曲率の小さい部分や曲率の場所による変化が激しい部分が含まれる。これらの部分は、演算による数学的な把握(データ化)に際して、多量の演算が必要であり、演算装置への高負担や演算時間の増大を招く。本明細書では、演算時間の短縮が重要であるので、このような演算装置への高負担や演算時間の増大を招く面を非面として除去し、極力演算の対象としないようにする。
【0028】
(三次元エッジ(エッジ))
三次元エッジ(エッジ)というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている輪郭線(outline)や点のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が三次元エッジとなる。三次元エッジは、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分(例えば、溝構造の部分)を特徴づける縁の部分も対象となる。三次元エッジにより所謂線図により構成される三次元モデルが構成される。この三次元モデルにより、測定対象物の外観が把握し易い画像表示を行うことができる。
【0029】
(三次元モデル)
三次元モデルは、上述した三次元エッジにより構成される線図である。三次元モデルにより、測定対象物の外観が視覚的に把握し易い画像が得られる。三次元モデルの画像(三次元モデル図)は、例えばCAD図面等に利用することができる。
【0030】
(点群位置データ)
点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点と、この複数の測定点の三次元空間中の位置(三次元座標)とが関連付けされている。点群位置データによれば、点の集合により測定対象物の立体的な外形を再現することができる。すなわち、各点の三次元座標が判るので、各点の相対位置関係が把握でき、画面表示した対象物の画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。
【0031】
(処理の流れの概要)
図1には、実施形態における処理の流れの概要が示されている。図1のフローチャートを実行するためのプログラムは、図2の光学データ処理装置100が備える適当なメモリ領域に格納され、光学データ処理装置100が備えるCPUによって実行される。なお、図1のフローチャートを実行するためのプログラムを外部の適当な記憶媒体に格納し、そこから光学データ処理装置100に提供される形態も可能である。この点は、明細書中で説明する数々の処理を実行するプログラムにおいても同じである。
【0032】
本実施形態では、レーザースキャナ(地上据え置き型レーザースキャナ:Terrestrial Laser Scanner(TSL)))により取得した高密度な点群位置データをまず取得する。また、それとは別に、レーザースキャナから得た点群位置データでオクルージョンとなる部分や補足したい部分をデジタルカメラによりステレオ撮影し、ステレオ写真画像の画像データを得る。この際、点群位置データが得られている部分とステレオ撮影した部分が一部重なり、この重なった部分に複数の垂直エッジ(垂直方向に延在した三次元エッジ)が含まれるようにする。そして、点群位置データおよびステレオ写真画像の画像データの双方から、三次元エッジを抽出し、それぞれの三次元モデルを作成する。次に、2つの三次元モデル間のマッチング(対応関係)を求め、両三次元モデルのデータを統合する。こうして、レーザースキャナから得た点群位置データでオクルージョンとなっている部分が補われた三次元モデルが構築される。
【0033】
以下、図1を参照して処理の概要を簡単に説明する。まず、レーザースキャナを用いて測定対象物の点群位置データを取得する(ステップS100)。次いで、ステップS100で得た点群位置データに基づき、ラベリング手法による当該測定対象物の三次元モデルの作成を行う(ステップS200)。ラベリング手法による当該測定対象物の三次元モデルの作成技術については、例えばWO2011/162388号広報に記載されている技術を利用することができる。ステップS200の詳細については後述する。
【0034】
他方で、ステップS100で取得した点群位置データでオクルージョンとなる部分(あるいはデータを補足したい部分)をデジタルカメラでステレオ撮影する(ステップS300)。この撮影は、単眼のデジタルカメラを用いて異なる2視点からの撮影行う手法であってもよいし、専用のステレオ撮影用のデジタルカメラを用いてよい。ステレオ写真画像の画像データを得たら、それに基づき拡張TIN−LSM法により、三次元モデルの作成を行う(ステップS400)。ステップS400における拡張TIN−LSM法の詳細については後述する。
【0035】
次に、レーザースキャナから得た点群位置データに基づく三次元モデルとデジタルカメラで撮影したステレオ写真画像から得た三次元モデルとを統合する処理を行う。まず、レーザースキャナ由来の三次元モデルと撮影画像由来の三次元モデルのそれぞれから、マンハッタンワールド仮説に基づく法線ベクトルの抽出を行う(ステップS500)。マンハッタンワールド仮説というのは、人工構造物には互いに直交する支配的な3軸が存在し、建造物を構成する面は、それらと垂直または平行に配置しているという仮設である。ステップS500の処理により、2つの三次元モデルの方向が求まる。ステップS500の処理の詳細は後述する。
【0036】
次に、ステップS500で求めた法線ベクトルの向きを合わせることで、2つの三次元モデルの向きを合わせる(ステップS600)。この処理は、一方または双方の三次元モデルを回転させ、両三次元モデルの3軸の方向を合わせる。
【0037】
次に、2つの三次元モデルのそれぞれを構成する三次元エッジの位置合わせを行い、両三次元モデルの対応関係を求め(ステップS700)、更にステップS700で求めた対応関係に基づき、レーザースキャナから得た点群位置データに基づく三次元モデルとカメラで撮影した画像から得た三次元モデルとを統合し、統合された三次元モデルを得る(ステップS800)。
【0038】
(光学データ処理装置の概要)
以下、図1の処理を実行する光学データ処理装置の一例を説明する。図2には、光学データ処理装置100が示されている。光学データ処理装置100は、パーソナルコンピュータ内においてソフトウェア的に構成されている。すなわち、本発明を利用した処理を行う専用のソフトウェアがインストールされたパーソナルコンピュータが図1の光学データ処理装置100として機能する。このプログラムは、パーソナルコンピュータ中にインストールされている状態に限定されず、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。
【0039】
利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の表示部、入力部と表示部を統合したユーザインターフェースであるGUI(グラフィカル・ユーザ・インターフェース)機能部、CPUおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部、USBメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータの形態は限定されず、ノート型、携帯型、卓上型等から適宜選択することができる。また、汎用のパーソナルコンピュータを利用する以外に、ASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)などのPLD(Programmable
Logic Device)等を用いて構成した専用のハードウェアによって光学データ処理装置100の一部または全部を構成することも可能である。
【0040】
光学データ処理装置100には、レーザースキャナ200とデジタルカメラ300が接続あるいは接続可能とされている。レーザースキャナ200は、測定対象物にレーザー光を走査して照射し、その反射光を検出する。レーザースキャナ200の設置位置は予め正確に求められており、照射レーザー光の照射方向とレーザ光の飛翔時間から算出される照射点までの距離に基づき、照射レーザ光の照射点の三次元位置の算出が行われる。この処理を、少しずつ位置をずらしながら走査して行うことで、多数(数万点〜数億点)の照射点の三次元座標が点群位置データとして取得される。この点群位置データが光学データ処理装置100に入力される。デジタルカメラ300は、三次元写真測量(立体写真測量)に用いられるステレオ画像を撮影し、その画像データが光学データ処理装置100に入力される。ここでは、1台のデジタルカメラを用い、異なる2つの視点から撮影を行うことで、ステレオ写真画像の撮影を行う場合を説明する。勿論、光学系を2つ備えた立体写真撮影用のカメラを用いてステレオ写真画像の撮影を行なう構成も可能である。
【0041】
光学データ処理装置100は、点群位置データ処理部400、写真画像データ処理部500、法線ベクトル抽出部600、三次元モデル向き調整部700、三次元エッジ位置合わせ部800、三次元モデル統合部900を備えている。点群位置データ処理部400は、レーザースキャナ200から得られる点群位置データに基づき、測定対象物の三次元モデルを作成する。点群位置データ処理部400は、点群位置データ取得部410と三次元モデル作成部420を備えている。点群位置データ取得部410は、レーザースキャナ200から送られてくる測定対象物の点群位置データを取得する(図1のステップS100)。三次元モデル作成部420は、点群位置データ取得部410が取得した点群位置データに基づき、レーザースキャナ200が計測した測定対象物の三次元モデルを作成する(図1のステップS200)。三次元モデル作成部420の詳細については後述する。
【0042】
写真画像データ処理部500は、デジタルカメラ300が撮影したステレオ写真画像の画像データに基づき、測定対象物の三次元モデルを作成する。ステレオ写真画像は、視点を左右にずらした左写真画像と右写真画像とで構成される。外部標定要素を用いてステレオ写真画像から、左右の偏位修正画像(左右の写真画像のエピポーララインを同一水平線上に再配置した画像)を作成し、この左右の偏位修正画像を左右に並べ、偏向眼鏡等を用いて左目で左偏位修正画像を選択的に視認し、右目で右偏位修正画像を選択的に視認することで、立体視を行うことができる。
【0043】
写真画像データ処理部500は、写真画像データ取得部510と三次元モデル作成部520を備えている。写真画像データ取得部510は、デジタルカメラ300から送られてくる測定対象物のステレオ写真画像の画像データを取得する処理を行う(図1のステップS300)。三次元モデル作成部520は、写真画像データ取得部510が取得したステレオ写真画像の画像データに基づき、デジタルカメラ300が撮影した測定対象物の三次元モデルを作成する(図1のステップS400)。三次元モデル作成部520の詳細については後述する。
【0044】
法線ベクトル抽出部600は、三次元モデル作成部420および520が作成した2つの三次元モデルを対象に、マンハッタンワールド仮説に基づく3方向の法線ベクトルの抽出(つまり直行するXYZ軸の抽出)を行う。三次元モデル向き調整部700は、法線ベクトル抽出部600が抽出した各三次元モデルの法線ベクトルに基づき、三次元モデル作成部420および520が作成した2つの三次元モデルの一方または両方の向きを調整し、その向きを合わせる処理を行う。三次元エッジ位置合わせ部800は、三次元モデル向き調整部700により向きを合わせる調整が行われた2つの三次元モデル間において、対応する三次元エッジを求める処理を行う。三次元モデル統合部900は、レーザースキャナ200が計測した点群位置データに基づく三次元モデルと、デジタルカメラ300が撮影したステレオ画像の画像データに基づく三次元モデルとを統合した三次元モデルを作成する。
【0045】
レーザースキャナ200が計測した点群位置データに基づく三次元モデルに統合される撮影画像に基づく三次元モデルは、1つに限定されず、複数であってもよい。例えば、レーザースキャナ200が計測した点群位置データに基づく三次元モデルにオクルージョンが複数あり、この複数のオクルージョンがデジタルカメラ300による1回のステレオ撮影では撮影できない場合があるとする。この場合、複数のオクルージョンを異なる視点から個別にステレオ写真撮影し、複数の視点毎のステレオ写真画像の画像データを写真画像データ処理部500で処理し、複数の視点毎にステレオ写真画像由来の三次元モデルを作成する。そして、点群位置データ由来の三次元モデルとステレオ写真画像由来の三次元モデルとの統合を行うことで、第1次統合三次元モデルを作成し、次いで第1次統合三次元モデルと次のステレオ写真画像由来の三次元モデルとの統合を行うことで、第2次統合三次元モデルを作成し、といった処理を繰り返す。こうすることで、次々とオクルージョンを解消してゆき、三次元モデルの完成度を高めることができる。
【0046】
(点群位置データからの三次元モデルの作成)
図2の三次元モデル作成部420の詳細、およびその動作(図1のステップS200)の詳細について説明する。図3には、三次元モデル作成部420のブロック図が示されている。三次元モデル形成部420は、局所領域を取得する局所領域取得部421、局所領域の法線ベクトルを算出する法線ベクトル算出部422、局所領域の局所曲率を算出する局所曲率算出部423、局所領域にフィッティングする局所平面を算出する局所平面算出部424、非面領域除去部425、面ラベリング部426、輪郭線算出部427、二次元エッジ算出部428、エッジ統合部429を備えている。
【0047】
局所領域取得部421は、点群位置データに基づき、注目点を中心とした一辺が3〜7画素程度の正方領域(格子状の領域)を局所領域として取得する。法線ベクトル算出部422は、局所領域取得部421が取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての点群位置データを対象として行われる。すなわち、点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。
【0048】
局所曲率算出部423は、上述した局所領域内の法線ベクトルのバラツキ(局所曲率)を算出する。ここでは、着目している局所領域において、各法線ベクトルの3軸成分の強度値(NVx, NVy, NVz)の平均(mNVx,mNVy,mNVz)を求め、さらに標準偏差(StdNVx,StdNVy,StdNVz)を求める。次に、標準偏差の二乗和の平方根を局所曲率(Local Curveture:crv)として算出する(数1)。
【0049】
【数1】
【0050】
局所平面算出部424は、局所領域にフィッティング(近似)する局所平面(局所空間)を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。
【0051】
以上の処理を、局所領域を順次ずらしながら、全ての点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。
【0052】
非面領域除去部425は、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面(平面および曲面)を抽出するために、予め面でないと判断できる部分(非面領域)を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の(1)〜(3)の閾値によっては曲率の高い曲面を含む場合がある。
【0053】
非面領域除去の処理は、以下に示す3つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の(1)〜(3)の方法による判定を上述した局所領域の全てに対して行い、1以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る点群位置データを除去する。
【0054】
(1)局所曲率の高い部分:上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面(平面および曲率の小さい曲面)ではその値が小さく、面以外(非面)ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。
【0055】
(2)局所平面のフィッティング精度:局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。
【0056】
(3)共平面性のチェック:ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる2つの局所領域のそれぞれにフィッティングする2つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が0であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、2つの局所平面が同一面上にない程度がより顕著であると判定される。
【0057】
上記の(1)〜(3)の方法による判定において、1以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る点群位置データを算出対象としている点群位置データから除去する。以上のようにして、非面領域の除去が行われる。こうして、点群位置データの中から非面領域の点群位置データが非面領域除去部425において除去される。なお、除去された点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。
【0058】
次に面ラベリング部426の機能について説明する。面ラベリング部426は、非面領域除去部425において非面領域の点群位置データが除去された点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの3軸成分の標準偏差を用いて、ラベル(面)が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。
【0059】
続いて、面積の小さいラベル(面)をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数(ラベルを構成する点の数)を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面(最も近い面)と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。
【0060】
すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル(面)がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。
【0061】
次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部426の機能である。この面ラベリング部426の機能によれば、扱うデータ量を圧縮できるので、点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の点群位置データをノイズとして除去することができる。
【0062】
輪郭線算出部427は、隣接する面の点群位置データに基づき、輪郭線を算出(推定)する。以下、具体的な算出方法について説明する。輪郭線算出部427は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。輪郭線を算出する処理の他の方法としては、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。
【0063】
次に、二次元エッジ算出部428について説明する。以下、二次元エッジ算出部428で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化(区分け)された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ(z値)と、その近傍の輪郭線を構成する点の三次元座標の高さ(z値)とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。
【0064】
エッジ統合部429は、輪郭線算出部427が算出した輪郭線と二次元エッジ算出部428が算出した二次元エッジとを統合する。これにより、点群位置データに基づく三次元エッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線が三次元エッジとして抽出される。この三次元エッジにより測定対象物の外観が形作られ、三次元モデルが形成される。
【0065】
(写真画像データからの三次元モデルの作成)
写真画像データ処理部500の三次元モデル作成部520の詳細、およびその動作(図1のステップS400)について説明する。以下において、1台のカメラを用い、位置を変えての撮影を行なうことで、左写真画像と右写真画像を得る場合の例を説明する。勿論、左右2台のカメラを用意して、左写真画像と右写真画像を同時に撮影する構成も可能である。
【0066】
図4には、三次元モデル作成部520(図2参照)のブロック図が示されている。三次元モデル作成部520には、デジタルカメラ300からステレオ画像を構成する左写真画像の画像データと右写真画像の画像データとが入力される。三次元モデル作成部520は、エッジ抽出部511、外部標定要素算出部512、マッチング処理部513、特徴点座標算出部514、三次元エッジ抽出部515を備えている。
【0067】
(エッジ抽出部)
エッジ抽出部511は、左写真画像および右写真画像のそれぞれから測定対象物のエッジを抽出する。ここで、左写真画像および右写真画像は平面画像であるので、抽出の対象となるエッジは、画像中の測定対象物を構成する2次元の輪郭線の部分となる。エッジ抽出部511におけるエッジの抽出は、以下のようにして行われる。まず、Sobelフィルタを用い、エッジ強度の向きを用いたNMS(非最大値抑制)で細線化したのち、エッジ強度により閾値処理を行う。ここで、x軸方向の強度の微分をfx、y軸方向の強度の微分をfyとすると、数2のよりエッジ強度Iが表される。
【0068】
【数2】
【0069】
そして、左右の写真画像中における直線のコーナー(変曲点)の検出を行い、コーナーを除去した残りの線分の端点を直線として抽出する。図5には、エッジを抽出する原理が示されている。この場合、注目画素(x1,y1)から2画素前後離れた連結画素(xo,yo)、(x2,y2)による2つのベクトルaとベクトルb間の狭角値θ(下記数3参照)が特定の閾値(この場合は、30°)以上であるか否かを判定し、当該狭角値が当該閾値以上である場合に、ベクトルの向きが変わる端点の部分をコーナー点として抽出する。
【0070】
【数3】
【0071】
次に、エッジとして採用して妥当かどうかの評価が行われる。この処理では、まず抽出した直線の長さLにおける各画素の強度Iの累積値を評価関数とし、この評価関数が予め決められた閾値を超えているか否かの判定がされる。この評価条件は、下記数4によって表される。
【0072】
【数4】
【0073】
ここで、数4の左辺が閾値であり、その値は、最大強度Iのk倍として定義されている。この閾値は、実験的に求められた値を用いる。kの値は、例えばk=5が用いられる。上記の評価をクリアした直線がエッジとして採用される。このエッジは、始点と終点(つまり両端の端点)の座標によって記述される。この方法によれば、強度の弱いノイズとなるエッジが除去され、測定対象物を特徴付けるエッジを効率よく抽出することができる。また、演算量を減らせるので、演算時間を短縮化できる。
【0074】
(外部標定要素算出部)
外部標定要素算出部511は、ステレオ写真画像に基づき、相互標定法を用いて外部標定要素の算出を自動的に行なう。つまり、左右の写真画像の対応関係を演算により求め、その結果を用いて、相互標定法により左右の写真画像の撮影時におけるカメラの向きと位置(撮影対象物に対する相対的なカメラの向きと位置)の算出を行う。相互標定法は、既知点がなくとも相対的な外部標定要素が求められる方法である。処理の流れとしては、まず、左写真画像と右写真画像とにおける対応する特徴点を求める。そして、左右の写真画像で対応する特徴点から標定用の対応点を求め、この標定用の対応点を用いた相互標定法により左写真画像と右写真画像の外部標定要素を求める。
【0075】
以下、順を追って外部標定要素を算出する手順を説明する。最初に対応する点に関する左写真画像と右写写真画像における位置の差である視差量を推定視差量として推定する。この処理では、まずエッジ抽出部511の機能により、左右の写真画像のそれぞれから、エッジ(2次元エッジ)の抽出が行われる。このエッジの抽出には、モラベック、ラプラシアン、ソーベルなどの微分フィルタが用いられる。なお、ここで抽出されるエッジの延在方向は特に限定されない。
【0076】
次に、縮小画像を対象に、先に抽出したエッジの端点近傍をテンプレートとして、左右画像のステレオマッチングを正規化相互相関法によって行う。縮小画像を用いるのは、処理を高速化するためである。この処理により、先に抽出したエッジの端点を対象とした左右の写真画像間における対応関係の探索が行われる。ここで、左右の写真画像中でマッチングがとれた対応点(エッジの端部)の座標を(x,y)、(xe,ye)とし、(x,y)を射影変換した値点を(x’,y’)とすると、(x,y)と(x’,y’)との間の関係は、数5で表される。
【0077】
【数5】
【0078】
数5の射影変換のパラメータb〜bは、8点法にRANSAC処理を用いて算出する。この際、「撮影した画像中における建築物は平面と垂直成分のエッジから構成されている」という仮定に基づいて未知のパラメータb〜bの推定が行われる。RANSAC処理は、以下の手順により、未知のパラメータを推定する手法である。(1)総データ個数がU個あるデータから、ランダムでn個のデータを取り出す。(2)取り出したn個のデータから、パラメータを求める(取り出すデータの個数は、求めるべきパラメータの数に比例する)。(3)求めたパラメータを、総データ点数から取り出したn個のデータを除いたものに式を当てはめ、観測されたデータと(2)で求めたパラメータの誤差を計算する。(4)誤差が許容範囲内であれば、パラメータに対して投票を行う。(5)〜(4)を繰り返し、投票数が一番多かったパラメータを仮パラメータとして仮採用する。(6)仮パラメータを使ってすべてのデータに再度式を適用し、誤差が許容範囲内のものを抽出する。(7)抽出したデータを元に、再度パラメータを求める。(8)求まったパラメータを、このデータのもっともらしいパラメータとする。
【0079】
推定視差量Pは、Gibbs分布を表す式である数5により表される。ここで、残差J(Δp/Δq)が小さい程、特徴点として正しい可能性が高く、P=1に近いものを上位から複数選び視差推定量とする。また、このときの係数をs=0.05と設定する。
【0080】
【数6】
【0081】
視差推定量Pを求めたら、左右の斜視画像間で対応関係が判明しているエッジの端点に着目し、その中から、垂直エッジ(垂直方向に延在しているエッジ)を構成している端点を選択し、この端点の部分における視差推定量Pを取得する。こうすることで、横向きの変形に強く、且つ、エピポーラライン上のマッチングを正確に行うことができる。
【0082】
次に、左右の写真画像の等倍画像を対象に特徴点の再抽出を行う。ここで改めて抽出された特徴点の中から標定用の対応点が求められる。この特徴点の抽出には、モラベック、ラプラシアン、ソーベルなどの微分フィルタが用いられる。
【0083】
次に、左右の写真画像から改めて抽出された特徴点を対象に、数6で示される視差推定量Pを基に、左右の写真画像間におけるステレオマッチングを行う。この処理は、視差推定量の算出を行った複数のエッジ端点の近傍における特徴点を対象として行われる。この処理では、左右の写真画像における探索する特徴点が推定した視差の範囲にあるとして、左右の写真画像中における複数の特徴点間の対応関係の探索が行われる。この処理は、射影歪に強くサブピクセル検出できるLSM法(最小二乗相関法)を用いて行われる。
【0084】
次に、左右の写真画像における対応関係が求められた特徴点から、8点法+RANSAC処理により、よりマッチング精度の高い上位の点を最低6点以上求め、それを標定用の対応点とする。そして、左右の写真画像において求められた標定用の対応点を利用して相互標定を行う。相互標定は、左右2枚の画像における6点以上の対応点によって外部標定要素を求める手法である。この際、基線長(左写真画像を撮影したカメラと右写真画像を撮影したカメラとの離間距離)を特定の値(例えば、計算し易い1m)と仮定して計算を行う。あるいは、着目する2点の特徴点間の距離を適当な特定の値(例えば、計算し易い1m)と仮定して計算を行う。
【0085】
次に、相互標定法による外部標定要素の算出について説明する。相互標定は、既知点がなくとも相対的な外部標定要素が求められる方法である。また、既知点があれば、絶対標定を行うことで、絶対座標を求めることができる。図6は、相互標定を説明する説明図である。相互標定は、左右2枚の画像における6点以上の対応点によって外部標定要素を求める。相互標定では、投影中心OとOと基準点Pを結ぶ2本の光線が同一平面内になければならいという共面条件を用いる。以下の数7に、共面条件式を示す。
【0086】
【数7】
【0087】
図6に示すように、モデル座標系の原点を左側の投影中心Oにとり、右側の投影中心Oを結ぶ線をX軸にとるようにする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのZ軸の回転角κ、Y軸の回転角φ、右側のカメラのZ軸の回転角κ、Y軸の回転角φ、X軸の回転角ωの5つの回転角となる。この場合、左側のカメラのX軸の回転角ωは0なので、考慮する必要はない。このような条件にすると、数7の共面条件式は数8のようになり、この式を解けば各パラメータが求められる。
【0088】
【数8】
【0089】
ここで、モデル座標系XYZとカメラ座標系xycの間には、次の数9に示すような座標変換の関係式が成り立つ。
【0090】
【数9】
【0091】
これらの式を用いて、左右の写真画像の撮影地点間の距離または異なる位置の特徴点間の距離を適当な値と仮定した条件のもと、次の手順により、未知パラメータ(外部標定要素)を求める。
(1)未知パラメータ(κ,φ,κ,φ,ω)の初期近似値は通常0とする。
(2)数8の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数9により求め、観測方程式をたてる。
(3)最小二乗法をあてはめ、近似値に対する補正量を求める。
(4)近似値を補正する。
(5)補正された近似値を用いて、(1)〜(4)までの操作を収束するまで繰り返す。
【0092】
上記相互標定により、右写真撮影時および左写真撮影時におけるカメラ300の外部標定要素(カメラ300の位置および姿勢)が求められる。ここで求めた外部標定要素を記述する座標系は、基準の絶対値が判っていないローカル座標系であり、この時点において、レーザースキャナ200から得られる点群位置データとの相関関係は、明らかでなく、実スケール(実際の寸法に関する情報)を持っていない。また、左右の写真画像の撮影地点間の距離または異なる位置の特徴点間の距離を適当な値と仮定して計算を行っているので、当該座標系は等方ではなく、上記値を仮定した2点間を結ぶ方向に伸び、あるいは縮んでいる。
【0093】
左右の写真画像における外部標定要素を求めたら、バンドル調整を行う。バンドル調整では、測定対象物の特徴点、フレーム画像上の点、投影中心の3点を結ぶ光束(バンドル)が同一直線上になければならないという共線条件に基づき、各画像の光束1本毎に観測方程式を立て、最小二乗法によって同時調整が行われ、各パラメータの最適化が図られる。
【0094】
外部標定要素を求める手法としては、上述した方法以外に、(1)予め位置が判明している基準点を撮影した左写真画像と右写真画像を取得し、基準点の三次元座標と左右の写真画像中における画像座標とに基づいて、後方交会法によってカメラの外部標定要素を算出する方法、(2)位置関係が既知の2点が決められたスケールを用意し、このスケールの撮影画像に基づいて、左右の写真画像の外部標定要素の算出を行なう方法等が挙げられる。
【0095】
(マッチング処理部)
上述した外部標定要素の算出では、左右の写真画像において、標定用の対応点が求められているが、標定用の対応点では、密度が小さく三次元モデルの作成はできない。そこで、図4のマッチング処理部513は、左右の写真画像に基づく三次元モデルの作成を行うために、外部標定要素算出部512が算出した外部標定を用いて、左右の写真画像の特徴点の対応関係を特定する。
【0096】
まず、外部標定要素算出部が算出した外部標定要素を用いて偏位修正画像(左右の写真画像のエピポーララインを同一水平線上に再配置した画像)を作成する。偏位修正画像は、左右の写真画像をエピポーラライン(モデル座標系のZ軸線上(撮影対象物の奥行き方向の軸線上))に整列させた画像であり、モデル座標系に対して傾きを持たない写真画像のことである。例えば、左右の偏位修正画像を左右に並べ、偏向眼鏡等を用いて左目で左偏位修正画像を選択的に視認し、右目で右偏位修正画像を選択的に視認することで、立体視を行うことができる。
【0097】
図7は、左右の写真画像の特徴点の対応関係を特定するマッチング処理の一例を示すフローチャートである。図8図10は、処理の状態を段階的に示す左右の写真画像のイメージ図である。この処理では、測定対象物のエッジ(輪郭を構成する線)を利用したエッジマッチングによりマッチングが特定された特徴点を初期値とし、この初期値を格子に内挿して格子点を生成し、この内挿した格子点から他方の写真画像の対応する格子(探索範囲)を変形し、この変形した探索範囲でのステレオマッチングを行なう。更に、この一連の処理を1階層の処理とし、格子間隔を順次小さくすることで、段階的に探索範囲を狭めながらのステレオマッチングを行なう。また、階層が進むごとに、エッジを利用したエッジマッチングによりマッチングが特定された特徴点を初期値として順次付加し、その都度、この初期値を探索範囲の設定に用いることで、マッチングの精度を高めている。なお、ここでは、直線形状のエッジと複数のエッジの組み合わせで近似される曲線形状が示されている。
【0098】
図7の処理が開始されると、まずエッジの抽出が行われる(ステップS401、ステップ1)。この処理は、図4のエッジ抽出部511によって行われる。図8には、抽出されたエッジの一例が概念的に示されている。次に、左写真画像と右写真画像の着目した特徴点における左右の写真画像間における視差を推定する(ステップS402)。ここで、着目する特徴点は、抽出されたエッジを特定する端点が選択される。視差の推定は、特定の特徴点に係る左右の写真画像間の視差を計算するための補助的な特徴点であるパスポイントを用いて行われる。パスポイントは、2点以上の複数が選択される。この処理では、パスポイント同士のマッチングがLSM(最小二乗)マッチングやテンプレートマッチングを用いて行なわれる。そして、着目している特徴点からパスポイントまでの距離に応じて、その寄与に重みを付け、その加重平均を当該特徴点に係る左右の写真画像間における視差の推定値Dとする。数10に視差の推定値Dを算出するための計算式を示す。
【0099】
【数10】

Dn:各パスポイントの視差
Ln:着目する特徴点から各パスポイントまでの距離
Ls:着目する特徴点から各パスポイントまでの距離の合計
【0100】
この手法によれば、パスポイント個々の視差の算出値が正確さに欠き、そこに誤差が含まれていても、誤差が平均化され、更に着目点からの距離の違いによる誤差の増大が抑えられ、精度の高い当該特徴点に係る視差の推定値を算出することができる。なお、視差の値は、特徴点毎に異なる可能性が高いので、着目する特徴点毎に算出する。図8のステップ2には、この段階の画像イメージが示されている。
【0101】
ステップS402における視差の推定を行ったら、推定した視差に基づく探索範囲の設定を着目した特徴点毎に行う(ステップS403)。次に、推定した視差を探索範囲とした左右の写真画像における特徴点間の対応関係の探索が行われ、エッジを構成する端点の対応関係の特定が行なわれる(ステップS404、ステップ3)。この処理がエッジマッチングである。対応関係の特定は、例えば、最小二乗マッチング(LSM)を用いて行われる。この際、把握し易い直線形状に沿った特徴点同士の対応関係が、限定された範囲で探索されるので、高精度のマッチングが可能となる。また、この際、エッジを特定する端点のマッチングの結果を利用して、2つの端点の間の点、すなわちエッジを構成する全ての特徴点のマッチングが調べられる。
【0102】
次に、ステップS404(ステップ3)で対応関係が特定された左右の写真画像における特徴点の三次元座標の算出が行われる(ステップS405、ステップ4)。この処理は、図4の特徴点座標算出部514において、先に求めた外部標定要素を用いた前方交会法により行なわれる。この際の三次元座標は、先に外部標定を行ったローカル座標系におけるものが用いられる。またこの際、三次元座標の算出は、端点のみではなく、それに加えてその間の点、すなわちエッジを構成する全ての特徴点を対象に行なわれる。
【0103】
次に、ステップS406(図9のステップ5)の処理を行う。この処理では、まず、ステップS405(図8のステップ4)で三次元座標が算出された特徴点(これが初期値となる)を用いてTIN(Triangular Irregular Network)の作成を行なう。TINは、対象物の画像を三角形のパッチの集合として捉えた近似画像のことである。また、一方の写真画像上(この例の場合は、左写真画像を利用)において、一辺の長さがpの正方格子を形成する。なお、kは、階層の数である。階層の数kは、左右の偏位修正画像の画素数(H,V)から、H,Vの画素数の小さい方を32画素以下になる2で割った回数、すなわちmin(H,V)/2≦32を満たすkの最小値として設定される。格子間隔pは、予め設定した分解能をPi、当該格子の中心座標における視差をdm、左右のカメラの間隔をBとして、p=Pi×(dm/B)で計算される。なお、pの値は、後述するTINの内挿が可能な値が採用される。
【0104】
そして、作成したTINを格子間隔pの正方格子に内挿し、正方格子に内挿されたTINを作成する。この処理では、まず、エッジ(図8のステップ1)を構成する直線や曲線の上にある特徴点をDelaunay三角形分割し、Delaunay三角形を得る。そして、得られたDelaunay三角形の格子点におけるZ値を内装し、格子点を頂点とする三角形を得る。この際、エッジを構成する特徴点として、端点および分割点のみではなく、それに加えてその間の点も利用する。
【0105】
図9および図11には、ステップS405(ステップ4)で三次元座標が算出された特徴点(これが初期値となる)を用いて作成したDelaunay三角形(TINを構成する三角形)の一つTIN0と、TIN0を正方格子に内挿することで得たTINkの関係が示されている。ここで、TIN0の三箇所の頂点は、ステップS405で三次元座標が算出された特徴点から得られ、TINkの三箇所の頂点は、格子の頂点である。図示するように、TIN0に含まれる正方格子の各頂点におけるTIN0のZ値によって、TINkの各頂点が特定される。こうして、正方格子に内挿された三角形TINkを得る。図9のステップ5には、このようにして形成されたTINおよびTIN0が、簡素化されたイメージとして示されている。ここでは、格子に内挿された三角形として、TINのみが示されているが、同様の処理が格子の各部(各正方格子)において行われる。以上がTINの正方格子への内挿を行なうステップS406の処理についての説明である。
【0106】
次に、ステップS407を行なう。ここで、TINは、奥行きのある三次元的な形状の一部を三角形で近似したものであり、その面が写真画像の面と一致するとは限らない(一致する場合もある)。したがって、図11(A)に示すように、例えばTINの3つの頂点のz方向の座標値Z(K)i,j、Z(K)i+1,j、Z(K)i+1,j+1は、一般に同じにならず、格子面に対してTINは傾いている。ここで、TINの各頂点は、ステップS405においてその三次元座標の算出が行われているので、TINの面の向きと対応する格子の面の向きとの差、言い換えるとTINの対応する正方格子に対する傾きは定量的に計算することができる。
【0107】
ここで、左写真画像と右写真画像とは、異なる視点から撮影されているので、左写真画像で設定した正方格子に対応する右写真画像の格子は、正方ではなく、正方から歪んだ形状となる。この歪みの具合を勘案して、左写真画像に設定した格子点と右写真画像に設定した格子点間の対応関係をLSM等により探索することで、より精度の高いステレオマッチングを行なうことができる。ステップS407では、上記の意図を反映させ、右写真画像に設定される格子を変形させる。
【0108】
この右写真画像における格子の変形は、以下のようにして行われる。まず、左写真画像の場合と同様な格子を右写真画像に導入する。この際、ステップS404(ステップ3)で対応関係が特定された特徴点を用いて左右の写真画像における格子(メッシュ)同士の位置関係を特定する。そして、左写真画像の格子点の法線ベクトルを算出する。この格子点の法線ベクトルは、当該格子点に隣接する三角面の法線ベクトルの平均として算出される。ここで、TINで示される三角の各頂点の三次元座標は、既知であるので、その面の法線ベクトルは算出可能である。正方格子の各頂点の法線ベクトルを求めたら、各頂点の法線ベクトルの向きに対応させて、右写真画像における対応する格子の形状を変形する。この対応する格子(右写真画像の格子)の変形は、視差によるずれが解消されるように行われる。すなわち、この場合でいうと、右写真画像における正方格子を左写真画像の視点から見た場合に、当該右写真画像の正方格子は歪むわけであるが、この歪んだ形状と一致(あるいは近似)するように、右写真画像の格子を正方格子から変形させる。このように、TINの傾きに基づいて、右斜視画像に設定された格子の変形が行なわれる。
【0109】
以上がステップS407(図9のステップ6)で行なわれる処理の一例である。次に、右写真画像において設定した格子点(変形された格子の格子点)と左写真画像で設定した格子点との対応関係がLSMによって行なわれる(ステップS408、ステップ7)。なお、このマッチング処理は、LSMに限定されず、テンプレートマッチング等の他の手法により行ってもよい。
【0110】
次に、その時点で行なわれた処理が最後の階層である否か、が判定され(ステップS409)、最後の階層であれば、処理を終了し、最後の階層でないのであれば、ステップS410に進む。図10には、2階層目に進んだ場合が示されている。また、図10には、図9のステップ7でマッチングされた特徴点が●で示されている。この●で示されるマッチング点は、格子点同士の比較によって左右の写真画像において対応関係が特定された特徴点(マッチング点)である。なお、図では、記載を簡素化するために、右写真画像におけるマッチング点の位置には、図9のステップ7で示す格子の変形の状態は反映されていない。
【0111】
ステップS410では、初期値として、左右の写真画像に、ステップS404(図8ステップ3)で特定したエッジを構成する特徴点を再度導入する。この際、端点と分割点以外の点も対象とする。例えば、図10のステップ8には、前回の階層でのマッチング点(●)と初期値(○)が示されている。なお、以下の説明で明らかになるが、階層が進むにつれて、●に対応するマッチング点が増えてゆき、左右の写真画像のマッチングが段階的により精緻に行なわれてゆく。各階層におけるマッチングにおいて、初期値を混ぜることで、初期値によって基本的な(あるいは大まかな)マッチングを維持し、階層が進むにつれて誤差が増大する現象を抑えることができる。
【0112】
ステップS410の後、格子間隔を前回の半分に設定する処理が行われ(ステップS411)、ステップS406以下の処理が再度実行される。図10のステップ9以下には、格子間隔を前回の半分に設定した場合の処理の一例が示されている。この際、TINkから1階層進んだTINk-1では、3箇所の頂点のZ値は、図11(B)に示す関係式によって算出される。こうして、各辺の寸法が半分(面積比で(1/4))にスケールダウンされた格子が設定され、この格子を対象として、前の階層の場合と同様な処理が行われる。この場合、図10のステップ10に示されるように、より小さい格子を対象に探索範囲の変形が行なわれ、左右の写真画像における格子点間のマッチングが調べられる(ステップ11)。こうして、更に細かくマッチング点の特定が行なわれる。
【0113】
図8のステップ4と図10のステップ8を比較した場合から理解されるように、ステップ11の次の段階では、ステップ9で設定した格子点でマッチング点が見つけられるので、マッチング点の数(密度)は更に増える。こうして、2階層目、3階層目と階層を経るにしたがって、マッチング点の数が増えてゆき、左右の写真画像の対応関係の特定が段階的により緻密に行なわれてゆく。
【0114】
(三次元エッジ抽出部)
図4の三次元エッジ抽出部515について説明する。三次元エッジ抽出部515は、左右の写真画像において、既に求められている特徴点間の対応関係、およびその三次元座標に基づいて、三次元空間中における三次元エッジを抽出する。すなわち、マッチング処理部513によって、左右の写真画像中におけるエッジ(二次元エッジ)の端点の対応関係が特定され、特徴点座標算出部514によってその三次元座標の値が求められている。よって、三次元空間中における三次元エッジの端点の三次元座標は特定でき、三次元エッジを特定することができる。この処理が三次元エッジ抽出部515において行われる。この三次元エッジは、測定対象物の三次元構造を構成する線分であり、この三次元エッジにより三次元モデルが構成される。こうして、測定対象物を異なる2つの視点から撮影したステレオ写真画像に基づいて、三次元エッジが抽出され、測定対象物の三次元モデルのデータが作成される。
【0115】
(法線ベクトル抽出部)
図2の法線ベクトル抽出部600において行なわれる図1のステップS500の詳細な一例を説明する。法線ベクトル抽出部600は、三次元モデル作成部420が作成した三次元モデル(レーザー点群三次元モデル)、および三次元モデル作成部520が作成した三次元モデル(画像計測三次元モデル)を対象に、マンハッタンワールド仮説に基づく法線ベクトルの抽出を行う。この処理では、まず、「人工構造物には互いに直交する支配的な3軸が存在し、建造物を構成する面は、それらと垂直または平行に配置している」というマンハッタンワールド仮説に基づき、レーザー点群三次元モデルおよび画像計測三次元モデルから、その三次元方向の向きを決める3方向の法線ベクトルを抽出する。
【0116】
(三次元モデル向き調整部)
三次元モデル向き調整部700は、法線ベクトル抽出部600が抽出した法線ベクトルに基づき、レーザー点群三次元モデルと画像計測三次元モデルの向きを合わせる処理を行う。ここで、3方向の法線ベクトルは、垂直方向(鉛直方向)の法線ベクトル、垂直方向に直交する水平2軸の法線ベクトルである。三次元モデル向き調整部700は、2群の法線ベクトルの向きが概略一致するように、一方または両方の三次元モデルを回転させる。こうして、レーザー点群三次元モデルと画像計測三次元モデルの凡その向きを合わせる処理が行われる。なお、この状態においては、画像計測三次元モデルは実スケールを持っていない相対モデルであり、また特定の方向に縮小または拡大しているので、向きが合ったとはいえ、2つの三次元モデルは整合しない。
【0117】
(三次元エッジ位置合わせ部)
図2に示す三次元エッジ位置合わせ部800は、一方の三次元モデルにおける垂直方向における複数の三次元エッジ間の距離と角度を用いて、同様な位置関係を持つ他方の三次元モデルにおける垂直方向の三次元エッジの組み合わせを探索する。図12に示すように、図2に示す三次元エッジ位置合わせ部800は、垂直エッジ抽出部801、垂直エッジの相対位置特定用パラメータ取得部802、類似度算出部803、対応垂直エッジ算出部804、画像計測三次元モデル縮尺調整部805を備えている。
【0118】
垂直エッジ抽出部801は、本発明における「第1の三次元モデルから特定の方向に延在した複数の三次元エッジを第1群三次元エッジとして抽出すると共に第2の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第2群三次元エッジとして抽出する抽出部」の一例である。この例において、垂直エッジ抽出部801は、各三次元モデルの中から垂直方向のエッジ(垂直エッジ)をそれぞれ3つ以上抽出する。垂直方向の判別は、既に取得されている3軸方向の法線ベクトルの情報に基づいて行われる。後述するように、垂直エッジの相対的な位置関係を用いて、2つの三次元モデル間における垂直エッジの類似性を判断するので、用いる垂直エッジは最低3つ必要である。勿論、その数が多い程、2つの三次元モデルのマッチング精度は高くなる。
【0119】
垂直エッジの相対位置特定用パラメータ取得部802は、本発明における「第1三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置および第2三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置を特定する特定部」の一例である。垂直エッジの相対位置特定用パラメータ取得部802は、着目した垂直エッジの他の垂直エッジそれぞれに対する距離の算出、および着目した垂直エッジから見た他の垂直エッジそれぞれの角度方向の算出を行う。具体的には、着目した垂直エッジから他の垂直エッジそれぞれに向かうベクトルの長さと方位を計算する。以下、垂直エッジの相対位置特定用パラメータ取得部802について説明する。図13には、複数の垂直エッジ間の距離と角度について示した概念図が示されている。図13では、水平方向の直交する2軸がx軸とy軸としてある。図13(A)には、4つの垂直エッジを抽出した場合に、この4つの垂直エッジを垂直方向の上から見た様子が示されている。図13には、垂直エッジが●印で示されている。まず、13(A)に示すように、4本の垂直エッジの中から、着目する垂直エッジである基準垂直エッジEs(xs,ys)を決める。そして、数11を用いて、基準垂直エッジEs(xs,ys)と残りの垂直エッジEi(E1,E2,E3)との間の距離li(l1,l2,l3)を計算する。
【0120】
【数11】
【0121】
次に、基準垂直エッジから見た他の垂直エッジの方位(角度方向)の算出を行う。図13(B)には、垂直エッジ間の角度を算出する方法を説明する概念図が示されている。ここでは、既に2つの三次元モデルの凡その向きが合わせてあるので、角度計算の値は絶対値とし、基準垂直エッジから残りの垂直エッジに向けて引いたベクトルと、このベクトルのx軸との角度差ai(a1,a2,a3)を計算する。
【0122】
以上のようにして、基準垂直エッジEs(xs,ys)を中心としてとした残りの垂直エッジEiまでの相対距離Liおよび角度aiを、レーザー点群三次元モデルと画像計測三次元モデルのそれぞれにおいて算出する。以上の計算は、抽出された垂直エッジの全ての組み合わせについて行う。例えば、図13の場合でいうと、次にE1に相当する垂直エッジを基準垂直エッジとして同様な処理を行い、更にその次に、E2に相当する垂直エッジを基準垂直エッジとして同様な処理を行い、更にその次に、E3に相当する垂直エッジを基準垂直エッジとして同様な処理を行い、といった処理を行う。
【0123】
こうして、画像計測三次元モデルにおけるLiとaiの組(Li,ai)と、レーザー点群三次元モデルにおけるLiとaiの組(Li’,ai’)を得る。ここで、(Li,ai)と(Li’,ai’)は、着目した垂直エッジの他の垂直エッジに対する位置関係を特定するパラメータとして扱うことができる。すなわち、EsからEiへの複数のベクトルの組み合わせは、着目した垂直エッジが他の垂直エッジに対してどのような位置関係にあるのかを示すパラメータであり、この着目した垂直エッジを特定する固有の情報となる。例えば、複数ある垂直エッジにおいて、(Li,ai)が同じとなることは原理的に有り得ず、(Li,ai)は、各垂直エッジによって異なる。したがって、(Li,ai)と(Li’,ai’)は、着目した垂直エッジの相対位置を特定する相対位置特定用パラメータとなる。垂直エッジの相対位置特定用パラメータ取得部802は、(Li,ai)と(Li’,ai’)を算出し、そのデータを取得する。
【0124】
類似度算出部803は、本発明における「第1三次元エッジのそれぞれと第2三次元エッジのそれぞれとの類似度を算出する類似度算出部」の一例である。類似度算出部803は、垂直エッジの相対位置特定用パラメータ取得部802が取得した(Li,ai)および(Li’,ai’)を用いて、両三次元モデル間における垂直エッジ間の類似度の算出を行う。この処理では、まず、LiとLi’の差を評価するパラメータΔmiと、aiとai’の差を評価するパラメータΔaiを導入する。Δmiは、基準の長さをLsとして、数12で表され、Δaiは、数13で表される。
【0125】
【数12】
【0126】
【数13】
【0127】
ここで、(Li,ai)と(Li’,ai’)の間の残差J(Δmi,Δai)を考える。この残差が小さい程、2つの三次元モデルの間において、着目した垂直エッジの類似度の程度が高いことになる。この類似度Sは、数14で評価される。
【0128】
【数14】
【0129】
ここで、nは比較するエッジの本数であり、図13の場合、n=3で、Lsは、L1,2,のいずれか一つとした。また、Gibbs分布の係数r=0.05とした。数14において、類似度が高い程、Si=1に近くなる。数14を用いて、全ての組み合わせについて、Sを計算する。以上の処理が、類似度算出部803において行われる。
【0130】
対応垂直エッジ選択部804は、本発明における「類似度に基づき、第1三次元エッジの一つに対応する第2三次元エッジの一つを選択する選択部」の一例である。対応垂直エッジ選択部804は、類似度算出部803が算出した類似度に基づき、類似度Sが最も大きい垂直エッジ同士の組み合わせを、画像計測三次元モデルとレーザー点群三次元モデルとの間で対応する垂直エッジとして選択する。
【0131】
例えば、図13において、垂直エッジE1,E2,E3に対するEsのx-y平面内における位置は、Es固有のものである。これは、他の垂直エッジに着目した場合も同じである。したがって、左写真画像における特定の垂直エッジの(Li,ai)の値と、右写真画像における特定の垂直エッジの(Li,ai)の値とを比較し、その差が最も小さい組み合わせが左右の写真画像間で対応する垂直エッジとして抽出される。すなわち、左写真画像における特定の垂直エッジと右写真画像における特定の垂直エッジの組み合わせを考え、その組み合わせにおいて、数14の値を計算し、その値が最大な組み合わせを見つけることで、左右の写真画像間で対応する垂直エッジを見つけることができる。
【0132】
画像計測三次元モデル縮尺調整部805は、対応垂直エッジ選択部804が選択した対応する垂直エッジの位置が合うように、画像計測三次元モデルにアフィン変換を施し、画像計測三次元モデルとレーザー点群三次元モデルとの位置合わせ、言い換えると画像計測三次元モデルとレーザー点群三次元モデルとを整合させる処理を行う。この処理では、まず画像計測三次元モデルのレーザー点群三次元モデルに対する倍率とアフィン係数を求め、各軸のスケールを同倍率としたアフィン変換により、画像計測三次元モデルに実寸法を与える。すなわち、数14を用いて計算した類似度が最も大きい組み合わせの垂直エッジ同士が重なるように、画像計測三次元モデルを移動させつつ伸び縮みさせる。前述したように、画像計測三次元モデルは等方的ではなく、方向による縮尺が均一でない。そこで、マッチングがとれた(すなわち、対応が明らかとなった)複数の垂直エッジ同士が重なるように、レーザー点群三次元モデルに対して画像計測三次元モデルを移動させつつ、伸び縮みさせる。
【0133】
そして、マッチングがとれた垂直エッジ同士が重なる状態が得られた状態で、画像計測三次元モデルに実スケールが与えられる。なお、より詳細な位置合わせを行うために、上記の位置合わせ処理を行った後に、ICP(Iterative Closest Point)法による更に詳細なマッチングの探察を行なうこともできる。
【0134】
(三次元モデル統合部)
図2の三次元モデル統合部900について説明する。三次元モデル統合部900は、三次元エッジ位置合わせ部800において探察された垂直エッジの対応関係に基づいて、画像計測三次元モデルとレーザー点群三次元モデルとを統合した統合三次元モデルの作成を行う。この統合された三次元モデルでは、レーザー点群三次元モデルにおいてオクルージョンとなっている部分が画像計測三次元モデルによって補完された状態となる。
【0135】
図14には、建築物をレーザースキャンおよび写真撮影する場合の概念図が示され、図15には、図14の計測が行われる場合に生じるオクルージョンについての概念図が示されている。図14には、建築物110,112,113が示されている。図14には、レーザースキャナ200、パーソナルコンピュータを利用した光学データ処理装置100、デジタルカメラ300が示されている。なお、図示省略されているが、デジタルカメラ300は、異なる2つの視点から個別に撮影を行い、左写真画像と右写真画像とから構成されるステレオ写真画像を得る。図14には、レーザースキャナ200の視点から見て、建築物113が建築物112の影となり、オクルージョンとなる場合の例が示されている。
【0136】
図15の斜線140の部分が、レーザースキャナ200から見てオクルージョンとなる部分である。したがって、レーザースキャナ200から得られるレーザー点群三次元モデルから建築物113が欠落する。他方で、デジタルカメラ300の視点からは、建築物113が撮影できる。したがって、デジタルカメラ300が撮影したステレオ写真画像に基づく画像計測三次元モデルとレーザースキャナ200から得られるレーザー点群三次元モデルとを統合することで、建築物113が記述された三次元モデルを得ることができる。
【0137】
ここで、破線で示された垂直エッジ131,132,133,134が、デジタルカメラ300が撮影したステレオ写真画像に基づく画像計測三次元モデルおよびレーザースキャナ200から得られるレーザー点群三次元モデルにおける共通の垂直エッジである。すなわち、垂直エッジ131,132,133,134は、レーザースキャナ200から得られる点群位置データに含まれ、且つ、デジタルカメラ300が撮影したステレオ写真画像にも含まれている。この垂直エッジ131,132,133,134が、図12の三次元エッジ位置合わせ部800の働きによって、両三次元モデル間において対応付けられる。そして、図3の三次元モデル統合部の働きによって、デジタルカメラ300が撮影したステレオ写真画像に基づく画像計測三次元モデルとレーザースキャナ200から得られるレーザー点群三次元モデルとが統合され、建築物113がオクルージョンとならない統合された三次元モデルが得られる。
【0138】
(優位性)
以上述べたように、本実施形態では、点群位置データから得られた三次元モデルとステレオ写真画像から得られた三次元モデルを統合する処理において、対象物が建築物であるという仮定に基づき、垂直エッジの対応関係を求める。この際、垂直エッジを他の垂直エッジとの間の相対位置関係によって特徴付け、この相対位置関係を比較することで、両三次元モデル間における垂直エッジの対応関係の探索を行う。
【0139】
この技術によれば、エッジを特定するデータは、点群そのものを取り扱う場合に比較して少なく済み、またエッジは特徴を把握し易い(言い換えると、他の部分と区別し易い)ので、レーザースキャナから得た点群位置データと撮影画像中の特徴点との対応関係を決める処理を高精度に効率よく行うことができる。特にエッジを両端の端点により特定することで、扱うデータ量を減らすことができ、演算の負担を減らすことができる。
【0140】
垂直エッジを特徴付けるパラメータとして、他の複数の垂直エッジに対する相対位置関係を用いることで、各三次元モデル内において当該垂直エッジを顕著に特徴付けるパラメータ、言い換えると当該垂直エッジを他の垂直エッジから区別し特定することができるパラメータを得ることができる。このため、2つの三次元モデルにおける対応する垂直エッジの探索を効率よく高い精度で行うことができる。
【0141】
垂直エッジの特徴を取得する方法として、垂直の方向から見た着目した垂直エッジと他の垂直エッジとを結ぶベクトルの組み合わせを利用することで、2つの三次元モデルにおける対応する垂直エッジの探索を行う演算を効率よく高い精度で行うことができる。特に、ベクトルの長さと予め決められた特定の方向に対する角度を用いて、着目する垂直エッジを特定する方法を採用することで、高い演算効率と演算精度を得ることができる。
【0142】
ステレオ写真画像の外部標定要素の算出を写真画像中から抽出した垂直エッジに基づいて行う自動標定とすることで、抽出される標定用特徴点を画面中から偏りなく抽出することができる。偏った領域から標定用特徴点の抽出が行われると、相互標定の精度が低下し、あるいは異常値が算出される可能性が増大し、算出される外部標定要素の精度が低下する。外部標定用要素の精度の低下は、ステレオ写真画像を用いた三次元測量の精度の低下につながる。これに対して。垂直エッジを写真画像中から抽出した場合、画像中における抽出位置の偏りが抑えられるので、上述した外部標定要素の精度の低下が抑えられる。
【0143】
また、実施形態で示した外部標定要素の算出方法は、ターゲットの設置やその計測が不要であり、必要な作業は、ステレオ写真画像を構成する左写真画像と右写真画像の撮影を行えばよいだけなので、現場での作業負担を大きく低減することができる。
【0144】
また、上記の自動標定で得られる外部標定要素は、演算に用いるスケールを適当な値に定めた設定としているので、実スケールを持っておらず、また特定の方向に伸びたまたは縮んだ座標系におけるものとなっている。このため、レーザー点群三次元モデルと統合する前の段階における画像計測三次元モデルは、実スケールを持っておらず、上述した特定の方向に伸びたまたは縮んだ座標系で記述されている。しかしながら、対応する垂直エッジを用いた位置合わせの際に、画像計測三次元モデルをアフィン変換することで、レーザー点群三次元モデルとの整合が行われ、画像計測三次元モデルに実スケールが与えられる。そして、レーザー点群三次元モデルと画像計測三次元モデルとを統合した三次元モデルの作成が可能となる。
【0145】
(その他)
図13に示す処理では、垂直エッジを対象としているが、他の方向のエッジを対象として図13に示す処理を行うこともできる。特定方向のエッジの抽出は、上述したマンハッタンワールド仮説を用いる手法以外の方法を用いても良い。例えば、(1)エッジの抽出、(2)抽出したエッジを3軸方向のそれぞれに分類、(3)分類されたエッジの中から顕著性のある特定方向のエッジの抽出、といった手法により、特定方向のエッジの抽出を行うこともできる。以下、この処理の一例を説明する、まず、左右の写真画像のそれぞれにおいて、エッジの抽出を行う。次に、同じ方向に延在したエッジを集め、その総延長距離を計算する。次に、総延長距離の長い順に、3番目までを選び、1番目のエッジ群を主エッジとして分類し、2番目と3番目のエッジを主エッジに直交する2軸のエッジとする。例えば、高層建築物が対象であれば、主エッジが垂直エッジとして選択され,水平方向に延在した低層階の建築物であれば、水平方向の一軸が主エッジの延在方向として選択される。
【0146】
図2に示す光学データ処理装置100の一部の機能を別の装置で行ってもよい。例えば、2台のコンピュータを回線で結び、第1のコンピュータで光学データ処理装置100の一部の機能を実行し、その演算結果を第2のコンピュータに送り、第2のコンピュータで残りの機能を実行する形態も可能である。この場合、この2台のコンピュータを接続したシステムが本発明を利用した光学データ処理システムとして把握される。
【0147】
2.第2の実施形態
第1の実施形態においては、主となる三次元モデルがレーザー点群三次元モデルであり、レーザー点群三次元モデルでオクルージョンとなる部分を補うために画像計測三次元モデルを用いる場合の例を説明した。これとは逆に、画像計測三次元モデルを主とし、それを補う形でレーザー点群三次元モデルを用いることも可能である。この場合、処理の手順は、第1の実施形態の場合と同じである。異なるのは、画像計測三次元モデルがより広い範囲を対象とし、その一部(オクルージョンとなる部分や精度に欠ける部分等を含む領域)をレーザー点群三次元モデルで補う点である。
【0148】
この場合、第1の実施形態のように画像計測三次元モデルが実スケールを持っていない場合と予め外部標定要素を得るための計測が行われて実スケールを持っている場合の2通りがある。画像計測三次元モデルが実スケールを持っている場合、図7および図13の処理を行うことで、画像計測三次元モデルとレーザー点群三次元モデルとの統合が行われる。
【0149】
画像計測三次元モデルを主とする例としては、軽量無人航空機(Unmanned Aerial
Vehicle:UAV)等を用いて行われる航空写真測量により得られた三次元モデルを主とし、そこでオクルージョンとなる部分や精度が低い部分を地上で行われるレーザースキャニングにより得られたレーザー点群三次元モデルで補う場合が挙げられる。なお、レーザー点群三次元モデルと画像計測三次元モデルの何れが主な三次元モデルで、何れが補助的な三次元モデルであるのかが明確でない場合も有りうる。また、いずれの三次元モデルもオクルージョンを含み、それが他方の三次元モデルで互いに補われるような場合も有りうる。
【0150】
3.第3の実施形態
統合する2つの三次元モデルの両方をレーザー点群三次元モデルとすることも可能である。この場合、異なる視点のそれぞれからレーザースキャニングが行われ、第1のレーザー点群三次元モデルと、第2のレーザー点群三次元モデルを得、この2つの三次元モデルを第1の実施形態で示した手順により統合する。ここで、2つの三次元モデルは、点群位置の座標値が判っている絶対モデルであるので、図1のステップS700で行われる位置合わせは、アフィン変換ではなく、剛体変換(若干の向きの補正を含む)あるいは平行移動を一方または両方の三次元モデルに対して行うことで行われる。したがって、この例の場合、図12の符合805の部分は、三次元モデルの剛体変換処理部または平行移動処理部として機能する。
【0151】
4.第4の実施形態
統合する2つの三次元モデルの両方を画像計測三次元モデルとすることも可能である。この場合、異なる視点のそれぞれからステレオ写真画像の取得が行われ、第1のステレオ写真画像に基づく第1の画像計測三次元モデルと、第2のステレオ写真画像に基づく第2の画像計測三次元モデルを得、この2つの三次元モデルを第1の実施形態で示した手順により統合する。ここで、2つの三次元モデルの両方が実スケールを持っていない相対モデルである第1の態様、一方が相対モデルであり他方が、座標値が判っている絶対モデルである第2の態様、両方が絶対モデルである第3の態様が可能である。
【0152】
本実施形態において、マッチングさせる2つの三次元モデルが共に相対モデルである場合、一方または両方の三次元モデルにアフィン変換を施し、両モデルの位置合わせが行われる。一方の三次元モデルが絶対モデルで他方の三次元モデルが相対モデルである場合、相対モデルである他方の三次元モデルにアフィン変換を施し、両モデルの位置合わせが行われる。
【0153】
例えば、自立移動ロボットでは、自己の位置推定と、周囲の環境地図の作成とを同時に行う技術(SLAM:Simultaneous Localization
and Mapping)が用いられるが、この技術において、ある第1の位置で得たステレオ写真画像に基づいて取得した第1の画像計測三次元モデルと、第2の位置で得たステレオ写真画像に基づいて取得した第2の画像計測三次元モデルとの対応関係を求める処理が必要とされる場合がある。そのような場合に本発明の第1の三次元モデルと第2の三次元モデルとの対応関係を求める技術を利用することができる。
【産業上の利用可能性】
【0154】
本発明は、三次元光学情報を取り扱う技術に利用することができる。
【符号の説明】
【0155】
100…光学データ処理装置、200…レーザースキャナ、300…デジタルカメラ、110,112,113…建築物、131,132,133,134…対応する垂直エッジ、140…オクルージョンとなる部分。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15