(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022087978
(43)【公開日】2022-06-14
(54)【発明の名称】位置姿勢算出装置、位置姿勢算出方法及び測量装置
(51)【国際特許分類】
G01B 11/00 20060101AFI20220607BHJP
G01C 15/00 20060101ALI20220607BHJP
【FI】
G01B11/00 H
G01B11/00 B
G01C15/00 104C
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2020200153
(22)【出願日】2020-12-02
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(71)【出願人】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】特許業務法人山王内外特許事務所
(72)【発明者】
【氏名】鈴木 遼雅
(72)【発明者】
【氏名】都丸 義広
(72)【発明者】
【氏名】岡原 浩平
(72)【発明者】
【氏名】山▲崎▼ 賢人
(72)【発明者】
【氏名】平 謙二
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA09
2F065AA37
2F065BB15
2F065BB27
2F065DD02
2F065FF05
2F065FF11
2F065GG04
2F065HH04
2F065JJ01
2F065JJ03
2F065JJ05
2F065MM06
2F065MM16
2F065QQ03
2F065QQ17
2F065QQ24
2F065QQ28
2F065QQ31
2F065UU06
(57)【要約】 (修正有)
【課題】姿勢検出器を実装することなく、移動体の姿勢を算出することができる位置姿勢算出装置及び位置姿勢算出方法を得る。
【解決手段】ステレオカメラ撮像器4と、移動体1の位置及び姿勢を算出するトータルステーション測定器2からなり、反射材3の位置を複数回測定する測定器2による複数の測定結果のそれぞれを示す位置情報を取得する位置情報取得部と、ステレオ画像情報取得部と、位置情報取得部により取得された複数の位置情報と画像情報取得部により取得された複数の画像情報との中から、測定器2による位置の測定タイミングと撮像器4による測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組である情報対を抽出する情報抽出部と、情報抽出部により抽出された情報対から、移動体1の位置及び移動体1の姿勢のそれぞれを算出する位置姿勢算出部とを備えるように、位置姿勢算出装置を構成した。
【選択図】
図1
【特許請求の範囲】
【請求項1】
測量対象物を複数回撮像し、複数の撮像画像を生成する撮像器と、反射材とを備えている移動体の位置及び前記移動体の姿勢のそれぞれを算出する位置姿勢算出装置であって、
前記反射材の位置を複数回測定する測定器による複数の測定結果のそれぞれを示す位置情報を取得する位置情報取得部と、
前記撮像器により生成されたそれぞれの撮像画像を示す画像情報を取得する画像情報取得部と、
前記位置情報取得部により取得された複数の位置情報と前記画像情報取得部により取得された複数の画像情報との中から、前記測定器による位置の測定タイミングと前記撮像器による測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組である情報対を抽出する情報抽出部と、
前記情報抽出部により抽出された情報対から、前記移動体の位置及び前記移動体の姿勢のそれぞれを算出する位置姿勢算出部と
を備えた位置姿勢算出装置。
【請求項2】
前記位置姿勢算出部は、前記情報抽出部により抽出された情報対から、前記移動体の位置の初期値及び前記移動体の姿勢の初期値のそれぞれを算出し、前記位置の初期値を前記位置の実際の値に近づけ、前記姿勢の初期値を前記姿勢の実際の値に近づける最適化処理として、前記移動体の姿勢のみを未知数とする3自由度の最適化処理を実施することを特徴とする請求項1記載の位置姿勢算出装置。
【請求項3】
前記情報抽出部は、前記位置情報取得部により取得された複数の位置情報の中から、前記移動体が静止しているときの測定結果を示す位置情報を抽出し、前記画像情報取得部により取得された複数の画像情報の中から、前記移動体が静止しているときの撮像画像を示す画像情報を抽出し、抽出した位置情報と抽出した画像情報との組を情報対として前記位置姿勢算出部に出力することを特徴とする請求項1記載の位置姿勢算出装置。
【請求項4】
前記情報抽出部は、前記画像情報取得部により取得された複数の画像情報が示す撮像画像を互いに比較し、撮像画像の比較結果に基づいて、前記複数の撮像画像の中で、前記移動体が静止しているときの撮像画像を特定することを特徴とする請求項3記載の位置姿勢算出装置。
【請求項5】
前記情報抽出部は、前記位置情報取得部により取得された複数の位置情報が示す位置を互いに比較し、位置の比較結果に基づいて、前記複数の測定結果の中で、前記移動体が静止しているときの測定結果を特定することを特徴とする請求項3記載の位置姿勢算出装置。
【請求項6】
測量対象物を複数回撮像し、複数の撮像画像を生成する撮像器と、反射材とを備えている移動体の位置及び前記移動体の姿勢のそれぞれを算出する位置姿勢算出方法であって、
位置情報取得部が、前記反射材の位置を複数回測定する測定器による複数の測定結果のそれぞれを示す位置情報を取得し、
画像情報取得部が、前記撮像器により生成された複数の撮像画像のそれぞれを示す画像情報を取得し、
情報抽出部が、前記位置情報取得部により取得された複数の位置情報と前記画像情報取得部により取得された複数の画像情報との中から、前記測定器による位置の測定タイミングと前記撮像器による測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組である情報対を抽出し、
位置姿勢算出部が、前記情報抽出部により抽出された情報対から、前記移動体の位置及び前記移動体の姿勢のそれぞれを算出する
位置姿勢算出方法。
【請求項7】
移動体に設けられている反射材の位置を複数回測定する測定器と、
前記移動体に搭載されており、測量対象物を複数回撮像し、複数の撮像画像を生成する撮像器と、
前記測定器による複数の測定結果のそれぞれを示す位置情報を取得する位置情報取得部と、
前記撮像器により生成されたそれぞれの撮像画像を示す画像情報を取得する画像情報取得部と、
前記位置情報取得部により取得された複数の位置情報と前記画像情報取得部により取得された複数の画像情報との中から、前記測定器による位置の測定タイミングと前記撮像器による測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組である情報対を抽出する情報抽出部と、
前記情報抽出部により抽出された情報対から、前記移動体の位置及び前記移動体の姿勢のそれぞれを算出する位置姿勢算出部と
前記情報抽出部により抽出された情報対に含まれている画像情報が示す撮像画像と、前記位置姿勢算出部によりそれぞれ算出された位置及び姿勢とを用いて、前記測量対象物の三次元形状を算出する三次元形状算出部と
を備えた測量装置。
【請求項8】
前記測定器は、前記反射材を追尾する機能を有していることを特徴とする請求項7記載の測量装置。
【請求項9】
前記撮像器は、複数のカメラを有しており、
前記複数のカメラの視野が互いに重複していることを特徴とする請求項7記載の測量装置。
【請求項10】
前記位置姿勢算出部は、前記情報抽出部により抽出された情報対に含まれている画像情報が示す撮像画像に映っているマーカの位置から、前記移動体の姿勢を算出することを特徴とする請求項7記載の測量装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、位置姿勢算出装置、位置姿勢算出方法及び測量装置に関するものである。
【背景技術】
【0002】
以下の特許文献1には、測量対象物の三次元形状を測量する測量装置が開示されている。当該測量装置は、測量対象物を撮像する撮像器と、撮像器を搭載している移動体の位置を測定する測定器と、当該移動体の姿勢を検出する姿勢検出器とを備えている。当該測量装置は、撮像器による撮像画像と、測定器により測定された位置と、姿勢検出器により検出された姿勢とを用いて、測量対象物の三次元形状を算出している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されている測量装置において、三次元形状の高精度な算出を実現するには、当該測量装置が、移動体の姿勢を高精度に検出することが可能な姿勢検出器を実装している必要がある。しかしながら、姿勢を高精度に検出することが可能な姿勢検出器は、一般的に高価である。
【0005】
本開示は、上記のような課題を解決するためになされたもので、姿勢検出器を実装することなく、移動体の姿勢を算出することができる位置姿勢算出装置及び位置姿勢算出方法を得ることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る位置姿勢算出装置は、測量対象物を複数回撮像し、複数の撮像画像を生成する撮像器と、反射材とを備えている移動体の位置及び移動体の姿勢のそれぞれを算出するものである。本開示に係る位置姿勢算出装置は、反射材の位置を複数回測定する測定器による複数の測定結果のそれぞれを示す位置情報を取得する位置情報取得部と、撮像器により生成された複数の撮像画像のそれぞれを示す画像情報を取得する画像情報取得部と、位置情報取得部により取得された複数の位置情報と画像情報取得部により取得された複数の画像情報との中から、測定器による位置の測定タイミングと撮像器による測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組である情報対を抽出する情報抽出部と、情報抽出部により抽出された情報対から、移動体の位置及び移動体の姿勢のそれぞれを算出する位置姿勢算出部とを備えるものである。
【発明の効果】
【0007】
本開示によれば、姿勢検出器を実装することなく、移動体の姿勢を算出することができる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1に係る位置姿勢算出装置100を含む測量装置200の要部を示す斜視図である。
【
図2】実施の形態1に係る位置姿勢算出装置100を含む測量装置200を示すブロック図である。
【
図3】実施の形態1に係る位置姿勢算出装置100を含む演算装置8を示すブロック図である。
【
図4】実施の形態1に係る位置姿勢算出装置100を含む演算装置8のハードウェアを示すハードウェア構成図である。
【
図5】演算装置8が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
【
図6】右眼カメラ座標系、正規化画像座標系、デジタル画像座標系及び世界座標系を示す説明図である。
【
図7】実施の形態1に係る位置姿勢算出装置100を含む演算装置8の処理手順を示すフローチャートである。
【
図8】位置姿勢算出装置100における位置姿勢算出部14の処理手順を示すフローチャートである。
【
図9】測定器2による反射材3の位置の測定間隔及び撮像器4による測定対象物の撮像間隔を示す説明図である。
【
図10】移動体1が静止しているときのカメラ撮影タイミング及び移動体1が移動しているときのカメラ撮影タイミングを示す説明図である。
【発明を実施するための形態】
【0009】
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
【0010】
実施の形態1.
図1は、実施の形態1に係る位置姿勢算出装置100を含む測量装置200の要部を示す斜視図である。
図2は、実施の形態1に係る位置姿勢算出装置100を含む測量装置200を示すブロック図である。
図3は、実施の形態1に係る位置姿勢算出装置100を含む演算装置8を示すブロック図である。
図4は、実施の形態1に係る位置姿勢算出装置100を含む演算装置8のハードウェアを示すハードウェア構成図である。
【0011】
測量装置200は、移動体1及び測定器2を含んでいる。
移動体1は、例えば、台車によって実現される。
図1に示す測量装置200では、移動体1が台車によって実現されている。しかし、これは一例に過ぎず、移動体1が、例えば、車両、航空機、船舶又は背負子によって実現されるものであってもよい。
【0012】
測定器2は、例えば、自動追尾型のトータルステーションによって実現され、反射材3を追尾する機能を有している。
測定器2は、移動体1に設けられている反射材3の位置を複数回測定し、複数の測定結果のそれぞれを示す位置情報を後述する記憶装置7に出力する。
即ち、測定器2は、移動体1に設けられている反射材3に向けて、位置測定用の光を照射する。
測定器2は、反射材3によって反射された光を受信する。
測定器2は、例えば、光を照射してから光を受信するまでに要した時間と、光の照射方向とから、反射材3の位置を算出する。測定器2による位置の算出処理自体は、公知の技術であるため詳細な説明を省略する。
図1に示す測量装置200では、測定器2が自動追尾型のトータルステーションによって実現されている。しかし、これは一例に過ぎず、複数のタイミングで移動体1が静止するものである場合、測定器2が、自動追尾機能を有しない通常のトータルステーションによって実現されるものであってもよい。
【0013】
反射材3は、例えば、全周型のプリズムによって実現される。
反射材3は、移動体1に設けられており、測定器2から照射された光を反射させるものである。
図1に示す測量装置200では、反射材3が全周型のプリズムによって実現されている。しかし、これは一例に過ぎず、測定器2に対する移動体1の相対方向の変動量が小さければ、反射材3として、通常のプリズムを用いることができる。
【0014】
撮像器4は、例えば、右眼カメラ5及び左眼カメラ6の双方を有するステレオカメラによって実現される。
撮像器4は、移動体1に搭載されている。
撮像器4は、測量対象物を複数回撮像し、複数の撮像画像を生成する。
撮像器4は、それぞれの撮像画像を示す画像情報を記憶装置7に出力する。
撮像器4は、任意の領域(以下「撮像対象領域」という)を撮像するものである。撮像対象領域は、例えば、測量装置200による測量対象物を含む領域である。測量対象物は、例えば、地面又は構造物である。以下、測量対象物を含む領域が撮像対象領域に設定されており、かつ、測量対象物が地面である場合の例を中心に説明する。
右眼カメラ5及び左眼カメラ6のそれぞれは、デジタルカメラによって実現される。
右眼カメラ5の視野は、左眼カメラ6の視野と重複している。
以下、右眼カメラ5により撮像された画像を「右眼画像」という。また、左眼カメラ6により撮像された画像を「左眼画像」という。また、右眼画像及び左眼画像を総称して「デジタル画像」ということがある。
【0015】
記憶装置7は、例えば、HDD(Hard Disk Drive)、又は、SSD(Solid State Drive)によって実現される。
図1では、記憶装置7の記載が省略されている。
記憶装置7は、測定器2から出力された位置情報及び撮像器4から出力された画像情報の双方を記憶するものである。
【0016】
演算装置8は、位置姿勢算出装置100及び三次元形状算出部15を備えている。
図1では、演算装置8の記載が省略されている。
位置姿勢算出装置100は、位置情報取得部11、画像情報取得部12、情報抽出部13及び位置姿勢算出部14を備えている。
位置姿勢算出装置100は、撮像器4と反射材3とを備えている移動体1の位置及び移動体1の姿勢のそれぞれを算出する装置である。
【0017】
位置情報取得部11は、例えば、
図4に示す位置情報取得回路21によって実現される。
位置情報取得部11は、記憶装置7から、測定器2による複数の測定結果のそれぞれを示す位置情報を取得する。
位置情報取得部11は、取得したそれぞれの位置情報を情報抽出部13に出力する。
【0018】
画像情報取得部12は、例えば、
図4に示す画像情報取得回路22によって実現される。
画像情報取得部12は、記憶装置7から、撮像器4によるそれぞれの撮像画像を示す画像情報を取得する。
画像情報取得部12は、取得したそれぞれの画像情報を情報抽出部13に出力する。
【0019】
情報抽出部13は、例えば、
図4に示す情報抽出回路23によって実現される。
情報抽出部13は、位置情報取得部11により取得された複数の位置情報と画像情報取得部12により取得された複数の画像情報との中から、測定器2による位置の測定タイミングと撮像器4による測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組である情報対を抽出する。
情報抽出部13は、抽出した情報対を位置姿勢算出部14に出力し、情報対に含まれている画像情報を三次元形状算出部15に出力する。
【0020】
位置姿勢算出部14は、例えば、
図4に示す位置姿勢算出回路24によって実現される。
位置姿勢算出部14は、情報抽出部13により抽出された情報対から、移動体1の位置及び移動体1の姿勢のそれぞれを算出する。
位置姿勢算出部14は、移動体1の位置を示す位置情報及び移動体1の姿勢を示す姿勢情報のそれぞれを三次元形状算出部15に出力する。
図3に示す位置姿勢算出装置100では、位置姿勢算出部14により算出される移動体1の位置は、撮像器4の位置に相当し、位置姿勢算出部14により算出される移動体1の姿勢は、撮像器4の姿勢に相当する。
【0021】
三次元形状算出部15は、例えば、
図4に示す三次元形状算出回路25によって実現される。
三次元形状算出部15は、情報抽出部13により抽出された情報対に含まれている画像情報を取得する。
三次元形状算出部15は、位置姿勢算出部14から、移動体1の位置を示す位置情報及び移動体1の姿勢を示す姿勢情報のそれぞれを取得する。
三次元形状算出部15は、画像情報が示す撮像画像と、位置情報が示す移動体1の位置と、姿勢情報が示す移動体1の姿勢とを用いて、測量対象物の三次元形状を算出する。
三次元形状算出部15は、例えば、いわゆる「多視点ステレオ」の技術を用いることによって、測量対象物の三次元形状を算出する。「多視点ステレオ」の技術自体は、公知の技術であるため詳細な説明を省略する。
【0022】
図3では、演算装置8の構成要素である位置情報取得部11、画像情報取得部12、情報抽出部13、位置姿勢算出部14及び三次元形状算出部15のそれぞれが、
図4に示すような専用のハードウェアによって実現されるものを想定している。即ち、演算装置8が、位置情報取得回路21、画像情報取得回路22、情報抽出回路23、位置姿勢算出回路24及び三次元形状算出回路25によって実現されるものを想定している。
位置情報取得回路21、画像情報取得回路22、情報抽出回路23、位置姿勢算出回路24及び三次元形状算出回路25のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらを組み合わせたものが該当する。
【0023】
演算装置8の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、演算装置8が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、DSP(Digital Signal Processor)が該当する。
【0024】
図5は、演算装置8が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
演算装置8が、ソフトウェア又はファームウェア等によって実現される場合、位置情報取得部11、画像情報取得部12、情報抽出部13、位置姿勢算出部14及び三次元形状算出部15におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ31に格納される。そして、コンピュータのプロセッサ32がメモリ31に格納されているプログラムを実行する。
また、
図4では、演算装置8の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、
図5では、演算装置8がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、演算装置8における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0025】
次に、位置姿勢算出装置100が、移動体1の位置及び移動体1の姿勢のそれぞれを算出する際に使用する座標系について説明する。
位置姿勢算出装置100が使用する座標系として、世界座標系、右眼カメラ座標系、左眼カメラ座標系、移動体座標系、デジタル画像座標系及び正規化画像座標系がある。
【0026】
世界座標系は、
図1に示すように、互いに直交するX軸、Y軸及びZ軸を有する右手系の三次元座標系である。
世界座標系におけるXY平面は、測量対象物である地面に対して平行、又は、地面に対して略平行である。世界座標系におけるZ軸の正方向は、天頂方向を示している。
図1に示す測量装置200では、移動体1の進行方向が、例えば、世界座標系におけるX軸の正方向であるものとする。
【0027】
図6は、右眼カメラ座標系、正規化画像座標系、デジタル画像座標系及び世界座標系を示す説明図である。
右眼カメラ座標系は、
図6に示すように、互いに直交するX軸、Y軸及びZ軸を有する右手系の三次元座標系である。
右眼カメラ座標系の原点は、右眼カメラ5の投影中心に対応している。右眼カメラ座標系におけるXY平面は、右眼カメラ5の投影面に対して平行である。
右眼カメラ座標系におけるX軸の正方向は、右眼カメラ5の投影面における上方向に対応している。右眼カメラ座標系におけるY軸の正方向は、右眼カメラ5の投影面における左方向に対応している。
【0028】
左眼カメラ座標系(
図6には記載していない)は、右眼カメラ座標系と同様に、互いに直交するX軸、Y軸及びZ軸を有する右手系の三次元座標系である。
左眼カメラ座標系の原点は、左眼カメラ6の投影中心に対応している。左眼カメラ座標系におけるXY平面は、左眼カメラ6の投影面に対して平行である。
左眼カメラ座標系におけるX軸の正方向は、左眼カメラ6の投影面における上方向に対応している。左眼カメラ座標系におけるY軸の正方向は、左眼カメラ6の投影面における左方向に対応している。
【0029】
移動体座標系は、互いに直交するX軸、Y軸及びZ軸を有する任意の三次元座標系である。
移動体座標系は、移動体1を基準とする座標系である。移動体座標系は、測量装置200の用途等に応じて設定されるものである。具体的には、例えば、移動体座標系は、
図6に示す右眼カメラ座標系、又は、左眼カメラ座標系と一致する座標系に設定される。
図1に示す測量装置200では、移動体座標系と右眼カメラ座標系とが一致しているものとする。したがって、位置姿勢算出部14により算出される移動体1の位置は、右眼カメラ5の位置となり、位置姿勢算出部14により算出される移動体1の姿勢は、右眼カメラ5の姿勢となる。
図1に示す測量装置200では、右眼カメラ5の投影面における上方向が、移動体1の正面方向と概ね一致しているものとする。
移動体座標系の原点は、移動体1の位置に対応している。したがって、世界座標系における移動体座標系の原点の位置を示す座標は、世界座標系における移動体1の位置を示すものである。
【0030】
以下、世界座標系、右眼カメラ座標系、左眼カメラ座標系又は移動体座標系におけるそれぞれの位置座標を「三次元座標」という。特に、世界座標系における複数の後述するタイポイントにおけるそれぞれの三次元座標を「タイポイント位置」ということがある。また、右眼カメラ5の投影面に沿う二次元座標系、又は、左眼カメラ6の投影面に沿う二次元座標系における位置座標を「投影座標」という。
【0031】
デジタル画像座標系は、
図6に示すように、互いに直交するU軸及びV軸を有する画像座標系である。
デジタル画像座標系における原点は、それぞれのデジタル画像における左上の隅に対応している。デジタル画像座標系におけるU軸の正方向は、それぞれのデジタル画像における右方向に対応している。デジタル画像座標系におけるV軸の正方向は、それぞれのデジタル画像における下方向に対応している。
【0032】
正規化画像座標系は、
図6に示すように、互いに直交するU軸及びV軸を有する画像座標系である。
正規化画像座標系における原点は、それぞれのデジタル画像における中心に対応している。正規化画像座標系におけるU軸の正方向は、それぞれのデジタル画像における上方向に対応している。正規化画像座標系におけるV軸の正方向は、それぞれのデジタル画像における左方向に対応している。
以下、デジタル画像座標系又は正規化画像座標系におけるそれぞれの位置座標を「画像座標」という。特に、デジタル画像座標系又は正規化画像座標系におけるそれぞれのタイポイントの画像座標を「タイポイント座標」ということがある。
【0033】
次に、測量装置200の動作について説明する。
図7は、実施の形態1に係る位置姿勢算出装置100を含む演算装置8の処理手順を示すフローチャートである。
図8は、位置姿勢算出装置100における位置姿勢算出部14の処理手順を示すフローチャートである。
【0034】
まず、移動体1は、世界座標系におけるXY平面に沿って移動する。
図1に示す測量装置200では、移動体1の移動方向が、例えば、世界座標系におけるX軸の正方向、かつ、Y軸及びZ軸のそれぞれと直交する方向である。
移動体1は、例えば、一定の時間間隔毎に静止し、移動と静止が交互に繰り返される。ただし、移動体1が静止する時間間隔は、測定器2による反射材3の位置の測定間隔及び撮像器4による測定対象物の撮像間隔のそれぞれと異なっていてもよい。
【0035】
測定器2は、移動体1に設けられている反射材3の位置を複数回測定し、複数の測定結果のそれぞれを示す位置情報を記憶装置7に出力する。
即ち、測定器2は、移動体1が移動と静止を繰り返している期間中、反射材3を追尾しながら、一定の時間間隔で、反射材3に向けて位置測定用の光を照射する。
測定器2は、反射材3によって反射された光を受信する。
測定器2は、例えば、光を照射してから光を受信するまでに要した時間と、光の照射方向とから、反射材3の位置を算出する。
測定器2により測定された位置は、世界座標系における反射材3の位置の三次元座標(xpw,ypw,zpw)である。
【0036】
撮像器4は、測量対象物を複数回撮像して、複数の撮像画像を生成し、それぞれの撮像画像を示す画像情報を記憶装置7に出力する。
即ち、撮像器4の右眼カメラ5は、移動体1が移動と静止を繰り返している期間中、測量対象物を含む撮像対象領域を複数回撮像する。
右眼カメラ5は、撮像したそれぞれの右眼画像であるデジタル画像を示す画像情報を記憶装置7に出力する。
撮像器4の左眼カメラ6は、移動体1が移動と静止を繰り返している期間中、測量対象物を含む撮像対象領域を複数回撮像する。
左眼カメラ6は、撮像したそれぞれの左眼画像であるデジタル画像を示す画像情報を記憶装置7に出力する。
【0037】
図9は、測定器2による反射材3の位置の測定間隔及び撮像器4による測定対象物の撮像間隔を示す説明図である。
図9において、黒で塗り潰された〇は、カメラ撮影タイミングを示しており、カメラ撮影タイミングは、右眼カメラ5及び左眼カメラ6が、撮像対象領域を撮像したタイミングである。
斜線が施されている〇は、TS計測タイミングを示しており、TS計測タイミングは、測定器2が反射材3の位置を測定したタイミングである。
また、黒で塗り潰された〇及び斜線が施されている〇のそれぞれを囲んでいる楕円は、移動体1が静止しているときの、カメラ撮影タイミング及びTS計測タイミングのそれぞれを示している。
楕円に囲まれていない黒で塗り潰された〇は、移動体1が移動しているときのカメラ撮影タイミングであり、楕円に囲まれていない斜線が施されている〇は、移動体1が移動しているときのTS計測タイミングである。
【0038】
位置姿勢算出装置100の位置情報取得部11は、記憶装置7から、測定器2によるそれぞれの測定結果を示す位置情報を取得する(
図7のステップST1)。
位置情報取得部11は、取得したそれぞれの位置情報を情報抽出部13に出力する。
【0039】
位置姿勢算出装置100の画像情報取得部12は、記憶装置7から、撮像器4により生成されたそれぞれの撮像画像を示す画像情報を取得する(
図7のステップST2)。
画像情報取得部12は、取得したそれぞれの画像情報を情報抽出部13に出力する。
【0040】
位置姿勢算出装置100の情報抽出部13は、位置情報取得部11から、複数の位置情報を取得し、画像情報取得部12から、複数の画像情報を取得する。
情報抽出部13は、複数の位置情報と複数の画像情報との中から、測定器2による位置の測定タイミングと撮像器4による測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組である情報対を抽出する(
図7のステップST3)。
情報抽出部13は、抽出した情報対を位置姿勢算出部14に出力する。
【0041】
以下、情報抽出部13による位置情報と画像情報との組の抽出処理を具体的に説明する。
撮像器4によるカメラ撮影タイミングは、
図9に示すように、一定間隔である。
情報抽出部13は、一定間隔で撮像された複数の撮像画像を互いに比較し、撮像画像の比較結果に基づいて、複数の撮像画像間の移動量を計算する。複数の撮像画像間の移動量は、例えば、テンプレートマッチング又はオプティカルフロー推定の方法を用いることで求めることができる。
情報抽出部13は、複数の撮像画像間の移動量に基づいて、それぞれのカメラ撮影タイミングの間で、移動体1が静止しているのか、移動しているのかを判定する。
即ち、情報抽出部13は、複数の撮像画像間の移動量と、移動判定用の閾値Th
1とを比較し、移動量が移動判定用の閾値Th
1以下であれば、移動体1が静止していると判定する。情報抽出部13は、移動量が移動判定用の閾値Th
1よりも大きければ、移動体1が移動していると判定する。移動判定用の閾値Th
1は、情報抽出部13の内部メモリに格納されていてもよいし、位置姿勢算出装置100の外部から与えられるものであってもよい。
【0042】
図10は、移動体1が静止しているときのカメラ撮影タイミング及び移動体1が移動しているときのカメラ撮影タイミングを示す説明図である。
楕円で囲まれているカメラ撮影タイミングは、移動体1が静止しているときのカメラ撮影タイミングである。即ち、移動体1が僅かに移動していても、移動速度が低いため、移動体1が静止しているものとして扱うときのカメラ撮影タイミングである。楕円で囲まれていないカメラ撮影タイミングは、移動体1が移動しているときのカメラ撮影タイミングである。
図10の例では、連続している9つのカメラ撮影タイミングが、移動体1が静止しているときのカメラ撮影タイミングとして判定されている。
情報抽出部13は、
図10に示すように、移動体1が静止しているときのカメラ撮影タイミングが連続していれば、連続しているカメラ撮影タイミングの中から、撮像時刻が中間のカメラ撮影タイミングを特定する。
即ち、情報抽出部13は、連続しているカメラ撮影タイミングの中で、撮像時刻が最も古いカメラ撮影タイミングT1と、撮像時刻が最も新しいカメラ撮影タイミングT2とから、以下の式(1)に示すように、中間の撮像時刻T
mid1を算出する。
T
mid1=(T1+T2)/2 (1)
情報抽出部13は、連続しているカメラ撮影タイミングの撮像時刻の中で、中間の撮像時刻T
mid1に最も近い撮像時刻を特定し、特定した撮像時刻に係るカメラ撮影タイミングを、撮像時刻が中間のカメラ撮影タイミングであると特定する。
情報抽出部13は、撮像時刻が中間のカメラ撮影タイミングに係る撮像画像を、静止中の撮像画像であるとする。情報抽出部13は、連続しているカメラ撮影タイミングの中で、撮像時刻が中間ではないカメラ撮影タイミングに係る撮像画像を破棄する。
【0043】
測定器2によるTS計測タイミングは、
図9に示すように、一定間隔である。
情報抽出部13は、一定間隔で算出された複数の位置を互いに比較し、位置の比較結果に基づいて、複数の位置間の移動量を計算する。複数の位置間の移動量は、例えば、ユークリッド距離として求めることができる。
情報抽出部13は、複数の位置間の移動量に基づいて、それぞれのTS計測タイミングの間で、移動体1が静止しているのか、移動しているのかを判定する。
即ち、情報抽出部13は、複数の位置間の移動量と、移動判定用の閾値Th
2とを比較し、移動量が移動判定用の閾値Th
2以下であれば、移動体1が静止していると判定する。情報抽出部13は、移動量が移動判定用の閾値Th
2よりも大きければ、移動体1が移動していると判定する。移動判定用の閾値Th
2は、情報抽出部13の内部メモリに格納されていてもよいし、位置姿勢算出装置100の外部から与えられるものであってもよい。
【0044】
情報抽出部13は、移動体1が静止しているときのTS計測タイミングが連続していれば、連続しているTS計測タイミングの中から、位置算出時刻が中間のTS計測タイミングを特定する。
即ち、情報抽出部13は、連続しているTS計測タイミングの中で、位置算出時刻が最も古いTS計測タイミングT3と、位置算出時刻が最も新しいTS計測タイミングT4とから、以下の式(2)に示すように、中間の位置算出時刻Tmid2を算出する。
Tmid2=(T3+T4)/2 (2)
情報抽出部13は、連続しているTS計測タイミングの位置算出時刻の中で、中間の位置算出時刻Tmid2に最も近い位置算出時刻を特定し、特定した位置算出時刻に係るTS計測タイミングを、位置算出時刻が中間のTS計測タイミングであると特定する。
情報抽出部13は、位置算出時刻が中間のTS計測タイミングに係る位置を、静止中の位置であるとする。情報抽出部13は、連続しているTS計測タイミングの中で、位置算出時刻が中間ではないTS計測タイミングに係る位置を破棄する。
【0045】
情報抽出部13は、破棄せずに残っている複数の位置のそれぞれを示す位置情報と、破棄せずに残っている複数の撮像画像のそれぞれを示す画像情報との中から、位置の測定タイミングと測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組を抽出する。
破棄せずに残っている位置は、破棄せずに残っている、静止しているときの位置と、移動しているときの位置とを含んでいる。また、破棄せずに残っている撮像画像は、破棄せずに残っている、静止しているときの撮像画像と、移動しているときの撮像画像とを含んでいる。
【0046】
図9の例では、図中、左側から1番目の撮像画像のカメラ撮影タイミングは、破棄せずに残っている複数の位置のTS計測タイミングの中で、左側から1番目の位置のTS計測タイミングと最も近い。
図2に示す測量装置では、カメラ撮影タイミングと最も近いTS計測タイミングは、カメラ撮影タイミングと完全に一致している場合だけでなく、カメラ撮影タイミングとずれていても同期しているものとして扱う。この場合、カメラ撮影タイミングとTS計測タイミングとのずれは、最大でも、カメラ撮影タイミングの間隔の半分であり、カメラ撮影タイミングとTS計測タイミングとのずれが、カメラ撮影タイミングの間隔以上の大きなものになることがない。
ここでの測定タイミングと撮像タイミングとの同期は、測定タイミングの時刻とカメラ撮像タイミングの時刻とが完全に一致しているものに限るものではなく、実用上問題のない範囲で、測定タイミングの時刻とカメラ撮像タイミングの時刻とがずれているものを含んでいる。
情報抽出部13は、左側から1番目の撮像画像のカメラ撮影タイミングと、左側から1番目の位置のTS計測タイミングとが同期しているものとして、左側から1番目の位置を示す位置情報と左側から1番目の撮像画像を示す画像情報との組を情報対とする。
【0047】
また、図中、左側から2番目の撮像画像のカメラ撮影タイミングは、破棄せずに残っている複数の位置のTS計測タイミングの中で、左側から2番目の位置のTS計測タイミングと最も近い。
情報抽出部13は、左側から2番目の撮像画像のカメラ撮影タイミングと、左側から2番目の位置のTS計測タイミングとが同期しているものとして、左側から2番目の位置を示す位置情報と左側から2番目の撮像画像を示す画像情報との組を情報対とする。
【0048】
また、図中、左側から3番目の撮像画像のカメラ撮影タイミングは、破棄せずに残っている複数の位置のTS計測タイミングの中で、左側から2番目の位置のTS計測タイミングと最も近い。
情報抽出部13は、左側から3番目の撮像画像のカメラ撮影タイミングと、左側から2番目の位置のTS計測タイミングとが同期しているものとして、左側から2番目の位置を示す位置情報と左側から3番目の撮像画像を示す画像情報との組を情報対とする。
【0049】
また、図中、左側から4番目の撮像画像のカメラ撮影タイミングは、破棄せずに残っている複数の位置のTS計測タイミングの中で、左側から3番目の位置のTS計測タイミングと最も近い。
情報抽出部13は、左側から4番目の撮像画像のカメラ撮影タイミングと、左側から3番目の位置のTS計測タイミングとが同期しているものとして、左側から3番目の位置を示す位置情報と左側から4番目の撮像画像を示す画像情報との組を情報対とする。
【0050】
また、図中、左側から5番目の撮像画像のカメラ撮影タイミングは、破棄せずに残っている複数の位置のTS計測タイミングの中で、左側から4番目の位置のTS計測タイミングと最も近い。
情報抽出部13は、左側から5番目の撮像画像のカメラ撮影タイミングと、左側から4番目の位置のTS計測タイミングとが同期しているものとして、左側から4番目の位置を示す位置情報と左側から5番目の撮像画像を示す画像情報との組を情報対とする。
【0051】
位置姿勢算出部14は、情報抽出部13から、複数の情報対を取得する。
位置姿勢算出部14は、それぞれの情報対から、移動体1の位置及び移動体1の姿勢のそれぞれを算出する(
図7のステップST4)。
位置姿勢算出部14は、移動体1の位置を示す位置情報及び移動体1の姿勢を示す姿勢情報のそれぞれを三次元形状算出部15に出力する。
以下、位置姿勢算出部14による位置及び姿勢の算出処理を具体的に説明する。
【0052】
位置姿勢算出部14では、撮像対象領域における複数の地点のそれぞれに対応するデジタル画像上の点をタイポイントとする。それぞれの地点の位置は、測量装置200において、既知であってもよいし、未知であってもよい。それぞれの地点は、撮像対象領域に設けられているマーカの位置であってもよい。
以下、それぞれのタイポイントが地点に対応するものである場合において、かかる地点の位置が未知であるとき、かかる地点を「未知の地点」ということがある。また、それぞれのタイポイントがマーカに対応するものである場合において、かかるマーカの位置が既知であるとき、かかるマーカを「既知のマーカ」ということがある。また、それぞれのタイポイントがマーカに対応するものである場合において、かかるマーカの位置が未知であるとき、かかるマーカを「未知のマーカ」ということがある。
【0053】
まず、位置姿勢算出部14は、情報抽出部13から、複数の情報対を取得する。
位置姿勢算出部14は、それぞれの情報対に含まれている画像情報が示す撮像画像であるデジタル画像におけるそれぞれのタイポイントの画像座標(u,v)を算出する(
図8のステップST11)。
即ち、位置姿勢算出部14は、それぞれのタイポイントが未知の地点に対応していれば、それぞれのデジタル画像に対する画像処理を実行することによって、複数のデジタル画像に共通して含まれている特徴点を抽出する。
位置姿勢算出部14は、抽出した特徴点がタイポイントであるとして、抽出した特徴点の画像座標(u,v)を算出する。
特徴点の抽出処理自体は、公知の技術であるため詳細な説明を省略する。特徴点の抽出処理は、例えば、以下の参考文献1に記載されている。
[参考文献1]
David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 2004, 60(2), pp. 91-110.
【0054】
位置姿勢算出部14は、それぞれのタイポイントが、既知のマーカ又は未知のマーカに対応していれば、それぞれのデジタル画像に対するテンプレートマッチングを実行することによって、それぞれのデジタル画像に含まれているマーカを検出する。
位置姿勢算出部14は、検出したマーカがタイポイントであるとして、検出したマーカの画像座標(u,v)を算出する。
また、それぞれのタイポイントが、既知のマーカ又は未知のマーカに対応している場合、測量装置200のユーザが、それぞれのデジタル画像に含まれているマーカの位置を目視によって確認し、ユーザが、確認した位置を位置姿勢算出部14に与えるようにしてもよい。位置姿勢算出部14は、ユーザによって与えられた位置に対応する画像座標(u,v)を算出する。
【0055】
次に、位置姿勢算出部14は、世界座標系におけるそれぞれのタイポイントの三次元座標(x
T,y
T,z
T)の初期値を算出する(
図8のステップST12)。
以下、位置姿勢算出部14による三次元座標(x
T,y
T,z
T)の初期値の算出処理を具体的に説明する。
位置姿勢算出部14は、複数の情報対に含まれている位置情報が示す位置の全てのX座標(x
pw)の平均値を算出する。
位置姿勢算出部14は、X座標(x
pw)の平均値を、それぞれのタイポイントのX座標(x
T)の初期値に用いる。
位置姿勢算出部14は、複数の情報対に含まれている位置情報が示す位置の全てのY座標(y
pw)の平均値を算出する。
位置姿勢算出部14は、Y座標(y
pw)の平均値を、それぞれのタイポイントのY座標(y
T)の初期値に用いる。
【0056】
位置姿勢算出部14は、複数の情報対に含まれている位置情報が示す位置のZ座標(zpw)を用いて、地面における任意の地点のZ座標を算出する。地面における任意の地点のZ座標は、地面の高さに近い位置のZ座標である。
具体的には、例えば、位置姿勢算出部14は、複数の情報対に含まれている位置情報が示す位置の全てのZ座標(zpw)の平均値を算出する。そして、位置姿勢算出部14は、Z座標(zpw)の平均値から、移動体1に対して反射材3が設置されている位置の高さを示す既知のZ座標を減算することによって、地面における任意の地点のZ座標を算出する。
位置姿勢算出部14は、地面における任意の地点のZ座標を、それぞれのタイポイントのZ座標(zT)の初期値に用いる。
【0057】
次に、位置姿勢算出部14は、右眼カメラ5の姿勢角度(ω
rw,φ
rw,κ
rw)の初期値を算出する(
図8のステップST13)。
以下、位置姿勢算出部14による姿勢角度(ω
rw,φ
rw,κ
rw)の初期値の算出処理を具体的に説明する。
位置姿勢算出部14では、時刻tにおける反射材3の三次元座標が(x,y,z)であるものとする。時刻tに対応するTS計測タイミングの次のTS計測タイミングに対応する時刻がt’であるものとする。
位置姿勢算出部14では、時刻t’における反射材3の三次元座標が(x’,y’,z’)であるものとする。
右眼カメラ座標系におけるX軸の正方向は、右眼カメラ5の投影面における上方向に対応しており、移動体1の正面方向を示すものとなる。
図1に示す測量装置200では、移動体1の進行方向が、移動体1の正面方向と同一又は略同一の方向に設定されている。
したがって、右眼カメラ5の姿勢角度(ω
rw,φ
rw,κ
rw)は、X座標(1,0,0)を反射材3の移動ベクトル(x-x’,y-y’,z-z’)と一致させる回転角によって近似される。
【0058】
図1に示す測量装置200では、右眼カメラ5が、世界座標系におけるXY平面に沿って移動する。このため、ロール角(ω
rw)及びピッチ角(φ
rw)のそれぞれは、0に近似される。また、ヨー角(κ
rw)は、XY平面におけるベクトル(1,0)をベクトル(x-x’,y-y’)と一致させる回転角によって近似される。したがって、ヨー角(κ
rw)について、以下の式(3)が成立する。
位置姿勢算出部14は、式(3)によってヨー角(κ
rw)を算出する。ヨー角(κ
rw)は、逆三角関数により算出される。
【0059】
なお、時刻tに対応するTS計測タイミングの1つ前のTS計測タイミングに対応する時刻がt”であるものとする。時刻tよりも後の時刻における反射材3の位置が未測定である場合、時刻tにおける姿勢角度(ωrw,φrw,κrw)の初期値に、時刻t”における姿勢角度(ωrw,φrw,κrw)の初期値が用いられる。時刻t”における姿勢角度(ωrw,φrw,κrw)の初期値は、時刻tにおける反射材3の三次元座標と、時刻t”における反射材3の三次元座標とを用いて算出される。
【0060】
次に、位置姿勢算出部14は、右眼カメラ5の位置の三次元座標(x
rw,y
rw,z
rw)の初期値を算出する(
図8のステップST14)。
以下、位置姿勢算出部14による三次元座標(x
rw,y
rw,z
rw)の初期値の算出処理を具体的に説明する。
位置姿勢算出部14では、世界座標系における反射材3の位置の三次元座標が(x
pw,y
pw,z
pw)であるものとする。また、右眼カメラ座標系における反射材3の位置の三次元座標が(x
pr,y
pr,z
pr)であるものとする。
位置姿勢算出部14では、世界座標系における右眼カメラ5の姿勢角度が(ω
rw,φ
rw,κ
rw)であるものとする。
【0061】
この場合、右眼カメラ5の位置の三次元座標(x
rw,y
rw,z
rw)は、以下の式(4)及び式(5)によって表される。
位置姿勢算出部14は、ステップST13で算出した右眼カメラ5の姿勢角度(ω
rw,φ
rw,κ
rw)の初期値を式(5)に代入し、式(4)に基づいて、右眼カメラ5の位置の三次元座標(x
rw,y
rw,z
rw)の初期値を算出する。
【0062】
次に、位置姿勢算出部14は、タイポイントの三次元座標(x
T,y
T,z
T)の初期値を実際の値に近づけ、右眼カメラ5の姿勢角度(ω
rw,φ
rw,κ
rw)の初期値を実際の値に近づけ、右眼カメラ5の位置の三次元座標(x
rw,y
rw,z
rw)の初期値を実際の値に近づける最適化処理を実施する(
図8のステップST15)。
以下、位置姿勢算出部14による最適化処理を具体的に説明する。
【0063】
まず、位置姿勢算出部14は、以下に示すように、右眼カメラ5におけるそれぞれのタイポイントの投影座標(0ur,0vr)を算出する。
また、位置姿勢算出部14は、左眼カメラ6におけるそれぞれのタイポイントの投影座標(0ul,0vl)を算出する。
これらの投影座標(0ur,0vr),(0ul,0vl)は、正規化画像座標系における位置座標である。
【0064】
世界座標系における反射材3の位置の三次元座標(x
pw,y
pw,z
pw)、右眼カメラ座標系における反射材3の位置の三次元座標(x
pr,y
pr,z
pr)及び世界座標系における右眼カメラ5の姿勢角度(ω
rw,φ
rw,κ
rw)が与えられるものとする。この場合、任意の点Xについて、世界座標系における三次元座標X
wと、右眼カメラ座標系における三次元座標X
rとの変換式は、式(4)及び以下の式(6)によって表される。
【0065】
右眼カメラ5の焦点距離がf
rであり、右眼カメラ5における撮像素子の幅がC
rであり、右眼画像の横幅がW
rであるものとする。このとき、三次元座標X
wを投影座標(
0u
r,
0v
r)に変換する変換式は、以下の式(7)及び式(8)によって表される。式(7)において、Tは、転置を表す数学記号である。
位置姿勢算出部14は、世界座標系における三次元座標X
wに対応する三次元座標を有するタイポイントについて、式(7)及び式(8)に従って、右眼カメラ5における投影座標(
0u
r,
0v
r)を算出する。
【0066】
位置姿勢算出部14は、左眼カメラ6におけるそれぞれのタイポイントの投影座標(0ul,0vl)についても、右眼カメラ5におけるそれぞれのタイポイントの投影座標(0ur,0vr)と同様に算出する。
具体的には、世界座標系における左眼カメラ座標系の原点の三次元座標が(xlw,ylw,zlw)であるものとする。また、世界座標系の座標軸に対する左眼カメラ座標系の座標軸の回転角が(ωlw,φlw,κlw)であるものとする。また、左眼カメラ6の焦点距離がflであり、左眼カメラ6における撮像素子の幅がClであり、左眼画像の横幅がWlであるものとする。
位置姿勢算出部14は、これらの値に基づき、三次元座標Xwを投影座標(0ul,0vl)に変換する変換式を用いて、左眼カメラ6における投影座標(0ul,0vl)を算出する。
【0067】
ここで、世界座標系における左眼カメラ座標系の原点の三次元座標(x
lw,y
lw,z
lw)及び世界座標系の座標軸に対する左眼カメラ座標系の座標軸の回転角(ω
lw,φ
lw,κ
lw)は、以下の式(9)~式(12)によって表される。即ち、三次元座標(x
lw,y
lw,z
lw)及び回転角(ω
lw,φ
lw,κ
lw)は、世界座標系における右眼カメラ座標系の原点の三次元座標(x
rw,y
rw,z
rw)、世界座標系の座標軸に対する右眼カメラ座標系の座標軸の回転角(ω
rw,φ
rw,κ
rw)、右眼カメラ座標系における左眼カメラ座標系の原点の三次元座標(x
lr,y
lr,z
lr)及び右眼カメラ座標系の座標軸に対する左眼カメラ座標系の座標軸の回転角(ω
lr,φ
lr,κ
lr)によって表される。
【0068】
次に、位置姿勢算出部14は、以下に示すように、ステップST11で算出したタイポイントの画像座標(u,v)における歪みを補正する。
位置姿勢算出部14では、右眼画像において、デジタル画像座標系におけるタイポイントの画像座標が(
1u
r,
1v
r)であるものとする。右眼カメラ5の主点位置を示す位置座標が(X
pr,Y
pr)であり、右眼カメラ5における歪み係数がk
1r、k
2r、k
3r、p
1r、p
2r、b
1r及びb
2rであるものとする。また、右眼カメラ5における撮像素子の幅がC
rであり、右眼画像の横幅がW
rであり、右眼画像の縦幅がH
rであるものとする。
このとき、デジタル画像座標系における歪みを有するタイポイントの座標(
1u
r,
1v
r)を、正規化画像座標系における歪み補正後のタイポイントの座標(
2u
r,
2v
r)に変換する変換式は、以下の式(13)~式(19)によって表される。
【0069】
位置姿勢算出部14は、式(13)~式(19)に従って、デジタル画像座標系における歪みを有するタイポイントの座標(1ur,1vr)を、正規化画像座標系における歪み補正後のタイポイントの座標(2ur,2vr)に変換する。
また、位置姿勢算出部14は、上記の変換と同様に、デジタル画像座標系における歪みを有するタイポイントの座標(1ul,1vl)を、正規化画像座標系における歪み補正後のタイポイントの座標(2ul,2vl)に変換する。
即ち、位置姿勢算出部14では、左眼画像において、デジタル画像座標系におけるタイポイントの画像座標が(1ul,1vl)であるものとする。左眼カメラ6の主点位置を示す位置座標が(Xpl,Ypl)であり、左眼カメラ6における歪み係数がk1l、k2l、k3l、p1l、p2l、b1l及びb2lであるものとする。また、左眼カメラ6における撮像素子の幅がClであり、左眼カメラ6の横幅がWlであり、左眼画像の縦幅がHlであるものとする。このとき、位置姿勢算出部14は、式(13)~式(19)と同様の変換式を用いて、デジタル画像座標系における歪みを有するタイポイントの座標(1ul,1vl)を、正規化画像座標系における歪み補正後のタイポイントの座標(2ul,2vl)に変換する。
【0070】
次に、位置姿勢算出部14は、算出した右眼カメラ5における投影座標(0ur,0vr)と、算出したタイポイントの座標(2ur,2vr)との差分値を最小化する。
また、位置姿勢算出部14は、算出した左眼カメラ6における投影座標(0ul,0vl)と、算出したタイポイントの座標(2ul,2vl)との差分値を最小化する。
最適化対象のパラメータは、世界座標系におけるそれぞれのタイポイントの三次元座標(xT,yT,zT)、右眼カメラ5の姿勢角度(ωrw,φrw,κrw)及び右眼カメラ5の位置の三次元座標(xrw,yrw,zrw)である。最適化対象のパラメータ以外のパラメータは、いずれも定数とする。または、最適化対象のパラメータ以外のパラメータは、最適化対象のパラメータを用いて算出する。
右眼カメラ5の位置の三次元座標(xrw,yrw,zrw)は、上述したように、最適化対象のパラメータに含められているが、移動体1が静止しているときの右眼カメラ5の位置の三次元座標(xrw,yrw,zrw)は、最適化対象のパラメータに含められない。即ち、位置姿勢算出部14は、移動体1が静止しているときの右眼カメラ5の位置の三次元座標(xrw,yrw,zrw)を最適化処理によって求めない。位置姿勢算出部14は、式(4)に基づいて、世界座標系における反射材3の位置の三次元座標(xpw,ypw,zpw)、右眼カメラ座標系における反射材3の位置の三次元座標(xpr,ypr,zpr)及び世界座標系における右眼カメラ5の姿勢角度(ωrw,φrw,κrw)を用いて、三次元座標(xrw,yrw,zrw)を算出する。
【0071】
一部のタイポイントが既知のマーカに対応するものである場合、一部のタイポイントの三次元座標も定数とすることができる。これにより、残余のタイポイントの三次元座標の算出精度の向上を図ることができる。ただし、上記のとおり、全てのタイポイントが未知の地点又は未知のマーカに対応するものであってもよい。
ステップST15における最適化処理は、画像座標値の差分値の二乗和を最小化する非線形最小二乗問題であり、求解には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。具体的には、例えば、以下の参考文献2に記載された技術を用いることができる。
[参考文献2]
Levenberg, Kenneth. "A method for the solution of certain non-linear problems in least squares." Quarterly of applied mathematics 2.2 (1944): 164-168.
【0072】
上記のように、ステップST1~ST4の処理が実行されることにより、右眼カメラ5の位置と右眼カメラ5の姿勢とを高精度に算出することができる。
通常の位置姿勢についての推定処理では、カメラの位置及び姿勢のそれぞれを未知数とする6自由度の最適化が行われる。これに対して、
図1に示す測量装置200では、移動体1が静止しているときの右眼カメラ5の姿勢のみを未知数とする3自由度の最適化を行うことにより、右眼カメラ5の位置と右眼カメラ5の姿勢とを高精度に算出することができる。
【0073】
三次元形状算出部15は、情報抽出部13により抽出された情報対に含まれている画像情報を取得する。
三次元形状算出部15は、位置姿勢算出部14から、移動体1の位置を示す位置情報及び移動体1の姿勢を示す姿勢情報のそれぞれを取得する。移動体1の位置は、上述したように、右眼カメラ5の位置に相当し、移動体1の姿勢は、右眼カメラ5の姿勢に相当する。右眼カメラ5の位置は、三次元座標(x
rw,y
rw,z
rw)であり、右眼カメラ5の姿勢は、姿勢角度(ω
rw,φ
rw,κ
rw)である。
三次元形状算出部15は、画像情報が示す撮像画像と、位置情報が示す移動体1の位置と、姿勢情報が示す移動体1の姿勢とを用いて、測量対象物の三次元形状を算出する(
図7のステップST5)。
三次元形状算出部15は、例えば、いわゆる「多視点ステレオ」の技術を用いることによって、測量対象物の三次元形状を算出する。
右眼カメラ5の位置及び右眼カメラ5の姿勢のそれぞれが、位置姿勢算出部14によって高精度に求められているため、三次元形状算出部15による三次元形状の算出精度が向上する。
図1に示す測量装置200では、姿勢検出用のセンサを用いることなく、測量対象物の三次元形状を算出することができる。
【0074】
以上の実施の形態1では、測量対象物を複数回撮像し、複数の撮像画像を生成する撮像器4と、反射材3とを備えている移動体1の位置及び移動体1の姿勢のそれぞれを算出する位置姿勢算出装置100であって、反射材3の位置を複数回測定する測定器2による複数の測定結果のそれぞれを示す位置情報を取得する位置情報取得部11と、撮像器4により生成されたそれぞれの撮像画像を示す画像情報を取得する画像情報取得部12と、位置情報取得部11により取得された複数の位置情報と画像情報取得部12により取得された複数の画像情報との中から、測定器2による位置の測定タイミングと撮像器4による測量対象物の撮像タイミングとが同期している、位置情報と画像情報との組である情報対を抽出する情報抽出部13と、情報抽出部13により抽出された情報対から、移動体1の位置及び移動体1の姿勢のそれぞれを算出する位置姿勢算出部14とを備えるように、位置姿勢算出装置100を構成した。したがって、位置姿勢算出装置100は、姿勢検出器を実装することなく、移動体1の姿勢を算出することができる。
【0075】
図1に示す測量装置200では、撮像器4が、右眼カメラ5及び左眼カメラ6の双方を有するステレオカメラによって実現されている。しかし、撮像器4は、1つ以上のデジタルカメラを実装しているものであればよい。
撮像器4が実装しているデジタルカメラの個数を増やすことにより、移動体1の位置及び姿勢におけるそれぞれの推定精度を更に向上させることができる。撮像器4が実装しているデジタルカメラの個数を減らすことにより、測量装置200を安価に実現することができる。
【0076】
撮像対象領域は、測量対象物を含む領域に限定されるものではない。また、測量対象物は、地面に限定されるものではない。例えば、測量対象物は、橋梁の表面又はトンネルの内面であってもよい。即ち、測量対象物は、水平面を含むものであってもよく、鉛直面を含むものであってもよく、傾斜面を含むものであってもよい。また、測量対象物は、平面状であってもよく、曲面状であってもよく、凹凸面状であってもよい。
なお、測量対象物を含む領域と異なる領域が撮像対象領域に設定されている場合、移動体1に、距離測定用の測定器として、例えば、レーザスキャナが設けられているものであってもよい。
三次元形状算出部15は、距離測定用の測定器により測定された距離と、位置姿勢算出部14によりそれぞれ算出された位置及び姿勢とを用いて、測量対象物の三次元形状を算出するものであってもよい。
【0077】
なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0078】
1 移動体、2 測定器、3 反射材、4 撮像器、5 右眼カメラ、6 左眼カメラ、7 記憶装置、8 演算装置、11 位置情報取得部、12 画像情報取得部、13 情報抽出部、14 位置姿勢算出部、15 三次元形状算出部、21 位置情報取得回路、22 画像情報取得回路、23 情報抽出回路、24 位置姿勢算出回路、25 三次元形状算出回路、31 メモリ、32 プロセッサ、100 位置姿勢算出装置、200 測量装置。