(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6296444
(24)【登録日】2018年3月2日
(45)【発行日】2018年3月20日
(54)【発明の名称】点群画像による図化方法、及び点群画像による図化装置
(51)【国際特許分類】
G01C 11/06 20060101AFI20180312BHJP
G01C 7/02 20060101ALI20180312BHJP
【FI】
G01C11/06
G01C7/02
【請求項の数】4
【全頁数】11
(21)【出願番号】特願2014-15165(P2014-15165)
(22)【出願日】2014年1月30日
(65)【公開番号】特開2015-141147(P2015-141147A)
(43)【公開日】2015年8月3日
【審査請求日】2017年1月24日
(73)【特許権者】
【識別番号】390023249
【氏名又は名称】国際航業株式会社
(74)【代理人】
【識別番号】100158883
【弁理士】
【氏名又は名称】甲斐 哲平
(72)【発明者】
【氏名】安原 裕貴
(72)【発明者】
【氏名】西村 大助
【審査官】
池田 剛志
(56)【参考文献】
【文献】
特開2003−323640(JP,A)
【文献】
特開2010−266419(JP,A)
【文献】
特開2012−088114(JP,A)
【文献】
特開2012−220471(JP,A)
【文献】
国際公開第2013/103870(WO,A1)
【文献】
米国特許出願公開第2012/0069012(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B11/00−11/30
G01C 1/00− 1/14
5/00−15/14
G06T 1/00− 1/40
3/00− 5/50
9/00− 9/40
(57)【特許請求の範囲】
【請求項1】
同一の領域を含む異なる2枚の画像を用いて、該領域をステレオ図化する方法において、
前記領域を計測して得られた複数の三次元計測点を、所定の投影中心を基準に平面投影することで、点群画像を作成する画像作成工程と、
異なる投影中心を基準とした2枚の前記点群画像に基づいて、前記領域をステレオ図化する図化工程と、を備え、
前記画像作成工程では、前記点群画像を構成する複数の画素それぞれに対して、投影された三次元計測点に基づいて求められる画像情報を付与することで、前記点群画像を作成し、
さらに前記画像作成工程では、1の画素に対して1の三次元計測点を対応させて点群画像を作成し、1の画素に2以上の三次元計測点が対応する場合は、前記投影中心と三次元計測点との距離に基づいて1の三次元計測点を選択する、
ことを特徴とする点群画像による図化方法。
【請求項2】
前記画像作成工程では、レーザー計測により得られた三次元計測点を用いるとともに、三次元計測点のレーザー反射強度に応じて濃淡を付与し、且つ三次元計測点の高さに応じて色を付与することで、前記点群画像を作成する、ことを特徴とする請求項1記載の点群画像による図化方法。
【請求項3】
同一の領域を含む異なる2枚の画像を用いて、該領域をステレオ図化する装置において、
前記領域を計測して得られた複数の三次元計測点を記憶する計測点記憶手段と、
前記複数の三次元計測点を、所定の投影中心を基準に平面投影することで、点群画像を作成する画像作成手段と、
異なる投影中心を基準とした2枚の前記点群画像に基づいて、前記領域をステレオ図化する図化手段と、を備え、
前記画像作成手段は、前記点群画像を構成する複数の画素それぞれに対して、投影された三次元計測点に基づいて求められる画像情報を付与することで、前記点群画像を作成し、
さらに前記画像作成手段は、1の画素に対して1の三次元計測点を対応させて点群画像を作成し、1の画素に2以上の三次元計測点が対応する場合は、前記投影中心と三次元計測点との距離に基づいて1の三次元計測点を選択する、
ことを特徴とする点群画像による図化装置。
【請求項4】
前記画像作成手段は、レーザー計測により得られた三次元計測点を用いるとともに、三次元計測点のレーザー反射強度に応じて濃淡を付与し、且つ三次元計測点の高さに応じて色を付与することで、前記点群画像を作成する、ことを特徴とする請求項3記載の点群画像による図化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、同一領域を含む2つの画像を用いてステレオ図化する技術に関するものであり、より具体的には当該領域を計測した三次元の点群から2枚の画像を作成し、これらの画像をステレオペアとして図化する点群画像による図化方法、及び図化装置に関するものである。
【背景技術】
【0002】
地形図を作成する場合、通常は広範囲に渡って地形計測を行う必要がある。そのため、航空機から写真を撮影し、この航空写真を用いて地形の図化を行う航空写真測量がこれまでの主流であった。航空写真測量は、1枚の写真のみを用いて地形を計測する単写真測量と、2枚以上の写真を用いて計測する立体写真測量に大別され、広範囲の地形を図化する場合は一般的に立体写真測量が用いられる。
【0003】
立体写真測量は、原則として2枚一組(いわゆるステレオペア)の写真を利用するもので、それぞれの写真を撮影した状態を再現することによって実空間である被写体の三次元座標(X,Y,Z)を求める。具体的には、投影中心(カメラレンズの中心)の座標、カメラの傾き、焦点距離、写真上の座標(x,y)などの値を2枚の写真それぞれについて求め、これらの値に基づいて実空間の座標を求める。なお、三次元座標(X,Y,Z)で表される投影中心座標と、三軸からの傾斜角(ω,φ,κ)で表されるやカメラの傾きは、外部標定要素と呼ばれ、航空写真測量を行うに当たっては必須の要素となる。
【0004】
また航空写真測量を行ううえでは、外部標定要素のほかに内部標定要素を決定する必要もある。内部標定要素はカメラが持つ機械誤差を調整するための値で、例えば機械誤差としてはレンズの放射方向歪曲収差(ラジアルディストーション)などのレンズディストーションが挙げられる。このように、外部標定要素を求め、さらに内部標定要素も決定したうえで航空写真測量を行うことにより、精度よく実空間の座標を求めることができる。
【0005】
既に述べたように、地形図の作成において航空写真測量の技術は周知慣用の技術であり、特許文献1をはじめ多くの発明で応用されている。また非特許文献1に示すように、航空写真測量は計測の基礎技術として、多くの者に学習されているところである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2012−165102号公報
【非特許文献1】解析写真測量 改訂版,社団法人日本写真測量学会・解析写真測量委員会,1997年 4月10日
【発明の概要】
【発明が解決しようとする課題】
【0007】
航空写真測量による図化は、地上にある種々の物(以下、「地物」という。)を実際に撮影した写真を見ながら行うもので、直観的に処理することができ、そのため図化すべき地物を見落としにくいという利点がある。しかしながら、内部標定要素や外部標定要素を求めるために複雑な演算処理を行う必要があり、しかもこれらの要素には若干の誤差が残るため図化された地物の座標にも誤差を残すこととなる。なお昨今では、GPS(Global Positioning System)などの測位計とIMU(Inertial Measurement Unit)などの慣性計測装置を利用した直接定位により外部標定要素を求めることもある。この手法によれば、投影中心座標やカメラの傾きを直接求めることができるものの、この場合も複雑な繰り返し計算が必要となるし、誤差が残ることにも変わりはない。
【0008】
ところで、近年モバイルマッピングシステム(Mobile Mapping System:MMS)と呼ばれる計測手法が盛んに利用されるようになってきた。MMSは、レーザー計測機を搭載した車両で移動しながら、沿道地物の三次元座標を取得するものであり、極めて多くの計測点を取得するというと特徴を備えている。多数の計測点を利用すれば、これまで以上に容易かつ正確に地物を図化できると考えられたが、実際にはいくつかの問題が生ずることが分かった。まず、単なる点群であるため直観的に地物を把握しづらく、図化すべき地物を見落とすおそれがある点が指摘できる。また、夥しい数の計測点を処理することとなり、その結果これらを演算処理するためこれまで以上に時間を要し、かえって図化する速度が遅くなるという問題も指摘できる。
【0009】
本願発明の課題は、上記問題を解決することであり、すなわち直観的に地物を把握しながら図化することが可能であり、しかも大量の三次元計測点からなる大容量のデータを直接扱うことなく速やかに演算処理できる図化手法、すなわち点群画像による図化方法、及び点群画像による図化装置を提供することにある。
【課題を解決するための手段】
【0010】
本願発明は、既に得られた三次元座標を有する計測点(以下、「三次元計測点」という。)の集合である「計測点群」に基づく画像(以下、「点群画像」という。)を作成し、これにより得られる2枚の画像をステレオペアとして地物を図化する、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。
【0011】
本願発明の点群画像による図化方法は、同一の領域を含む異なる2枚の画像を用いてステレオ図化する方法であり、画像作成工程と図化工程を備えた方法である。このうち画像作成工程では、計測して得られた複数の三次元計測点を中心投影することで点群画像を作成する。また図化工程では、異なる投影中心を基準とした2枚の点群画像に基づいてステレオ図化する。このとき、点群画像を構成する複数の画素それぞれに対して画像情報を付与することで点群画像を作成する。なお、この画像情報は投影された三次元計測点に基づいて求められる。
【0012】
本願発明の点群画像による図化方法は、1の画素に対して1の三次元計測点を対応させて点群画像を作成することもできる。なお、1の画素に2以上の三次元計測点が対応する場合は、投影中心と三次元計測点との距離に基づいて1の三次元計測点を選択する。
【0013】
本願発明の点群画像による図化方法は、レーザー計測により得られた三次元計測点を用いることもできる。この場合、三次元計測点のレーザー反射強度に応じて濃淡を付与し、且つ三次元計測点の高さに応じて色を付与することで点群画像を作成する。
【0014】
本願発明の点群画像による図化装置は、同一の領域を含む異なる2枚の画像を用いてステレオ図化する装置であり、計測点記憶手段と、画像作成手段、図化手段を備えたものである。このうち計測点記憶手段は、計測して得られた複数の三次元計測点を記憶するもので、画像作成手段は、三次元計測点を中心投影することで点群画像を作成する。また図化手段は、異なる投影中心を基準とした2枚の点群画像に基づいてステレオ図化する。このとき、点群画像を構成する複数の画素それぞれに対して画像情報を付与することで点群画像を作成する。なお、この画像情報は投影された三次元計測点に基づいて求められる。
【0015】
本願発明の点群画像による図化装置は、1の画素に対して1の三次元計測点を対応させて点群画像を作成することもできる。なお、1の画素に2以上の三次元計測点が対応する場合は、投影中心と三次元計測点との距離に基づいて1の三次元計測点を選択する。
【0016】
本願発明の点群画像による図化装置は、レーザー計測により得られた三次元計測点を用いることもできる。この場合、三次元計測点のレーザー反射強度に応じて濃淡を付与し、且つ三次元計測点の高さに応じて色を付与することで点群画像を作成する。
【発明の効果】
【0017】
本願発明の計測結果の点群画像による図化方法、及び点群画像による図化装置には、次のような効果がある。
(1)三次元計測点群を画像化するため、地物を直観的に把握することができる。したがって、本来図化すべき地物の見落しを防ぐことができる。
(2)内部標定要素や外部標定要素を求める必要がないため空間演算処理に係る負担が大幅に軽減され、容易かつ迅速に点群画像を作成することができる。その結果、従来に比べ図化処理にかかる労力が著しく軽減される。
(3)大量の三次元計測点群を画像化したうえで処理するため、演算処理に時間がかかることがない。その結果、比較的短時間で図化処理することができる。
(4)図化作業は、特別な機器を必要とせず、従来からの汎用機である図化機を利用することができる。
(5)計測点がないいわゆる欠損箇所も、局所的であれば周囲の状況から推察して図化することができる。
(6)三次元計測点群を計測した際に取得した写真を利用していわゆる色付き点群とすれば、点群画像が写真と同等の画像となり、さらに容易に図化処理を行うことができる。
(7)三次元計測点群が高密度で大量になるほど多くの画素が埋められることとなり、より詳細な画像を得ることができる。
【図面の簡単な説明】
【0018】
【
図4】1画素に2つの三次元計測点が中心投影された状況を示すモデル図。
【
図5】ステレオペア画像に基づいて対象領域の地形図を作成する手法を説明するモデル図。
【発明を実施するための形態】
【0019】
本願発明の点群画像による図化方法、及び点群画像による図化装置の実施形態の一例を、図に基づいて説明する。
【0020】
1.全体概要
本願発明は、ある程度広い範囲(以下、「対象領域」という。)を対象として主に実施されるものであり、そのため広範囲から取得された三次元の空間情報を利用する。そこで、まずは三次元の空間情報について説明する。
【0021】
三次元の空間情報は、平面座標値と高さの情報を持つ点や線、面、あるいはこれらの組み合わせで構成される情報である。さらに平面座標値とは、緯度と経度あるいはX座標とY座標で表されるものであり、高さとは標高など所定の基準水平面からの鉛直方向の距離を意味する。この三次元の空間情報は、種々の計測手段によって取得することができる。例えば、2枚1組のステレオ航空写真(衛星写真)を基に取得したり、レーザー計測やレーダー計測によって取得したり、あるいは直接現地を測量して取得することもできる。
【0022】
このうちレーザー計測は、計測対象にレーザーパルスを照射し、その反射を受けて計測する手法である。例えば、航空機にレーザースキャナーを搭載して行う航空レーザー計測は、
図1示すように、計測したい地表Fの上空を航空機PLで飛行し、地表Fに対して照射したレーザーパルスLPの反射信号を受けて計測する。航空機PLには通常、GPS(Global Positioning System)などの測位計と、IMU(Inertial Measurement Unit)などの慣性計測装置が搭載されているので、レーザーパルスLPの照射位置(X,Y,Z)と照射姿勢(ω,φ,κ)を把握することができ、その結果、照射時刻と受信時刻の時間差から計測点(レーザーパルスLPが反射した地点)の三次元座標を得ることができる。
【0023】
地表Fで反射したレーザーパルスLPは、航空機PLに搭載されたセンサで受信される。このとき、反射してセンサまで戻ってきたレーザーパルスLPの強度(以下、「反射強度」という。)を取得し、受信時刻と併せて記録される。この反射強度は、いわば受信したレーザーパルスLPのエネルギーの大きさであり、直接的には電圧として計測され、電圧を換算することでエネルギーの大きさが得られる。
図1に示すように、一回の計測(フライト)で多数のレーザーパルスLPが照射されるので、そのレーザーパルスLPの数に応じた数の照射強度が記録される。
【0024】
既述したMMSでレーザー計測を行う場合は、地上を移動する移動車にレーザースキャナーを搭載し、航空レーザー計測と同様の原理で移動計測を行う。通常、MMSで行うレーザー計測は、計測対象が比較的近距離にあることが多く、そのため極めて膨大な数の計測点が取得されるのが特徴である。
【0025】
つぎに、
図2を参照しながら本願発明の概要について説明する。
図2は、本願発明の主な処理の流れを示すフロー図であり、中央の列に実施する行為(工程、処理、手段)を示し、左列にはその行為に必要な入力情報を、右列にはその行為から生まれる出力情報を示している。初めに、図化する対象である対象領域に対して計測を行い、三次元の空間情報を備える計測点(三次元計測点)を取得する(Step10)。この場合の計測手法としては、レーザー計測やレーダー計測、航空写真測量、現地実施測量など従来から用いられる種々の手法を採用できる。なお、対象領域において既存の三次元計測点群がある場合は、これを利用することとし、地上計測(Step10)は省略することができる。
【0026】
三次元計測点群が得られると、撮影計画の策定を行う(Step20)。上空のある地点から地表を撮影したと仮定して、撮影される範囲が対象領域のうちどの範囲に相当するのか把握する。そのため架空のカメラを想定し、焦点距離や画角を設定する。そして、撮影範囲が対象領域全体を網羅するように、しかも隣接する撮影範囲が相当程度重なる(オーバーラップやサイドラップ)ように、複数の撮影地点(いわば、撮影コース)を決定する。
【0027】
撮影計画に従って、航空写真に相当する点群画像を作成する。本願発明では同一領域を含む2枚の画像(以下、この一組を「ステレオペア画像」という。)を用意する必要があり、ここでは「第1の点群画像」と「第2の点群画像」として2つの点群画像の作成について説明する。第1の点群画像は、外部標定要素を設定し(Step31)、その外部標定要素に基づいて所定の投影平面に中心投影する(Step32)ことで、作成される(Step30)。同様に第2の点群画像も、外部標定要素の設定(Step41)、及び中心投影(Step42)によって作成される(Step40)。
【0028】
ステレオペア画像が作成されると、これらの画像を図化機にセットし(Step50)、従来どおり図化機を操作することによって対象領域の地形図を作成する(Step60)。
【0029】
以下、本願発明を構成する主要な要素について詳述する。
【0030】
2.点群画像
点群画像は、既述のとおり三次元計測点群を所定平面に中心投影した結果得られる画像であり、それぞれの三次元計測点が有する属性に応じて濃淡や色を付与することで作成される。
図3は、三次元計測点の中心投影を示すモデル図である。この図では、地上の三次元計測点Pa(Xa,Ya,Za)と三次元計測点Pb(Xb,Yb,Zb)を、投影中心O(Xo,Yo,Zo)からfだけ離れた投影平面Sに投影している。三次元計測点Paと三次元計測点Pbは、投影中心Oを基準として中心投影された結果、それぞれ投影平面S上ではpa(xa,ya)、pb(xb,yb)で表されている。なおここでは便宜上、現実空間の三次元座標を大文字で表し、投影平面S上の二次元座標を小文字で表している。
【0031】
図3に示すような中心投影を行うためには、投影中心O(航空写真におけるカメラレンズの中心に相当)と、投影方向(同じく撮影方向に相当)を設定する必要があり、さらには投影中心から投影平面Sまでの距離f(同じくカメラの焦点距離に相当)と、投影平面Sの大きさ(同じく画角に相当)を設定する必要がある。投影中心Oは、既述した疑似撮影計画(
図2のStep20)に従って設定され、投影方向や、投影平面Sまでの距離f、投影平面Sの大きさは、状況に応じて適宜設定することができる。例えば、投影方向を鉛直下向き(つまり、ω=φ=0)とすれば、後続の演算処理に係る負荷が軽減されて好適となる。
【0032】
地上計測点が中心投影されると、三次元計測点群が投影平面S上に平面配置される。そして、平面配置された三次元計測点群に基づいて点群画像を作成する。具体的には、投影平面Sを分割して複数の画素を構成し、それぞれの画素と投影平面S上の三次元計測点を対応付ける。次に、三次元計測点が持つ属性(以下、「計測点属性」という。)に応じて画像情報を設定し、それぞれの画素に対して対応する三次元計測点の画像情報を付与することで、点群画像が作成される。
【0033】
ここで画像情報とは、例えば色や濃淡(輝度)である。色は、色相、彩度、明度からなる3つの属性を備え、コンピュータでも処理できるように赤(Red)・緑(Green)・青(Brue)の3色を基本色とするRGBや、シアン(Cyan)・マゼンタ(Magenta)・イエロー(Yellow)・ブラック(Key color)の4色を基本色とするCMYK、黄・赤・青・緑・黒・白の6色を基本色とするNCS、そのほかオストワルト表色系などでモデル化されることが知られている。一方の濃淡も、0〜255値を使用したり、百分率で示したり、その他種々の方法で数値化できることが知られている。
【0034】
また、画像情報を設定するための計測点属性としては、高さ情報(標高値)や、この高さ情報によって求められる値(例えば隣接点との傾斜角)などが例示できる。また、三次元計測点がレーザー計測の結果得られたものであれば、レーザーパルスの反射強度(intensity)を計測点属性とすることもできる。さらに対象領域を撮影した写真画像があれば、3次元計測点と写真画像を対応付けることでRGB等を付与し、これを計測点属性として持たせることもできる。
【0035】
画像情報は、計測点属性の種類に応じて適宜設定することができる。例えば、計測点属性が標高値の場合、標高値に応じて事前に設定した色を付与する。あるいは計測点属性がレーザーパルスの反射強度であれば、反射強度が大きい値であるほど明るい(白い)値で設定し、逆に小さい値であるほど暗い(黒い)値で設定する。レーザーパルスは白い物ほど強く反射する性質があり、この場合、路上のレーンマークなどが白っぽく表現されるので直観的に認識できて好適となる。そのほか計測点属性がRGBであれば、その値をそのまま画像情報とすることもできる。なお、濃淡だけを画像情報とし、若しくは色だけを画像情報とすることもできるし、あるいは濃淡と色の組み合わせを画像情報とすることもできる。一例として、三次元計測点の標高に応じて色を付与し、加えて反射強度に応じて濃淡を付与し、色と濃淡の組み合わせを画像情報とすることができる。
【0036】
ところで、MMSによるレーザー計測を行った場合など極めて高密度に三次元計測点群が取得された結果、投影平面Sに中心投影すると1画素に2以上の三次元計測点が含まれることがある。
図4は、1画素に2つの三次元計測点が中心投影された状況を示すモデル図である。
図4のケースでは、それぞれの三次元計測点が画像情報を持つことから、1画素に対して2つの画像情報が付与されることになる。この場合は、どちらか一方の画像情報を選択することもできるし、平均値を採用するなど2つの画像情報に基づき代表値を算出することもできる。
【0037】
1画素に含まれる2以上の三次元計測点の中から、いずれかの三次元計測点を選択する場合、三次元計測点と投影中心Oとの距離に基づいて選択することができる。例えば
図4では、1画素の中に地上の三次元計測点Pcと三次元計測点Pdが投影されている。この場合、三次元計測点Pcと投影中心Oとの距離をLcとし、三次元計測点Pdと投影中心Oとの距離をLdとし、両者(LcとLd)を比較することで、三次元計測点Pcの画像情報、又は三次元計測点Pdの画像情報を選択するわけである。具体的には、長い方のLcを抽出し、これに基づく三次元計測点Pcの画像情報を選択する。あるいは、短い方のLdを抽出し、これに基づく三次元計測点Pdの画像情報を選択する。投影中心Oとの距離が最も長い三次元計測点を選択した場合、高架など上空の地物を除去した画像が得られるため状況によっては好適となる。
【0038】
3.図化処理
図5は、ステレオペア画像に基づいて対象領域の地形図を作成する手法を説明するモデル図である。これまで説明したように、投影中心O1と投影方向を設定し、投影平面Sを構成する全ての画素について、三次元計測点を対応付け、さらに画像情報を付与すると、第1の点群画像G1を作成することができる。また、第1の点群画像G1と同一領域を含み、且つ投影中心O1とは異なる投影中心O2を基準にした第2の点群画像G2を作成する。この結果、第1の点群画像G1と第2の点群画像G2の組み合わせであるステレオペア画像が用意される。
【0039】
ステレオペア画像が用意されると、
図5に示すように、従来から用いられている航空写真測量の技術を用いて地形図を作成することができる。すなわち、中心投影O1と点群画像G1上のpaの位置、及び中心投影O2と点群画像G2上のpaの位置の関係から、空間演算を行い、地上にある三次元計測点Paの三次元座標(Xa,Ya,Za)を求める。実際には、ステレオペア画像を図化機にセットし、従来どおり図化機を操作することによって対象領域の地形図を作成するとよい。
【産業上の利用可能性】
【0040】
本願発明の点群画像による図化方法、及び点群画像による図化装置は、既存のレーザー計測点がある領域の地形図を作成する場合、好適に実施できる。もちろん、レーザー計測によるほか、航空写真や衛星画像により得られた、あるいは現地を実施測量した結果得られた計測点群がある場合も、当該領域の地形図を作成するため本願発明を好適に実施することができる。
【符号の説明】
【0041】
F 地表
LP レーザーパルス
PL 航空機
G1 第1の点群画像
G2 第2の点群画像
O 投影中心
O1 (第1の点群画像の)投影中心
O2 (第2の点群画像の)投影中心
S 投影平面