特許 7535412 ３次元計測装置、３次元計測システムおよび３次元計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-07

(45)【発行日】2024-08-16

(54)【発明の名称】３次元計測装置、３次元計測システムおよび３次元計測方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20240808BHJP

   G06T 7/593 20170101ALI20240808BHJP

【ＦＩ】

G01B11/00 H

G06T7/593

【請求項の数】 8

(21)【出願番号】P 2020141420

(22)【出願日】2020-08-25

(65)【公開番号】P2022037337

(43)【公開日】2022-03-09

【審査請求日】2023-07-31

(73)【特許権者】

【識別番号】000222037

【氏名又は名称】東北電力株式会社

(73)【特許権者】

【識別番号】313005318

【氏名又は名称】パナソニックコネクト株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】曽根 悌輔

(72)【発明者】

【氏名】坪田 一広

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開平６－３４７２２０（ＪＰ，Ａ）

【文献】特開２０１０－１４４５０（ＪＰ，Ａ）

【文献】特開２００６－１１３００１（ＪＰ，Ａ）

【文献】特開平７－２９４２１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｃ １／００－１／１４

５／００－１５／１４

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する３次元計測装置であって、
前記対象エリアを撮影するステレオカメラと単眼カメラとを含む複数のカメラと、
前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行うと共に、そのキャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行うプロセッサと、を備え、
前記プロセッサは、
前記カメラにより、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、
縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、
横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、
前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成することを特徴とする３次元計測装置。

【請求項2】

前記プロセッサは、
前記キャリブレーション処理の結果と、左右の前記カメラの間隔の実寸法と、に基づいて、前記３次元位置情報を実寸スケールに変換することを特徴とする請求項１に記載の３次元計測装置。

【請求項3】

前記ステレオカメラは、広角な画角を有し、
前記単眼カメラは、標準的な画角を有することを特徴とする請求項１に記載の３次元計測装置。

【請求項4】

前記プロセッサは、
撮影を指示するユーザの操作に応じて、前記カメラに前記対象エリアを撮影させ、
前記キャリブレーション処理を指示するユーザの操作に応じて、前記キャリブレーション処理を実行し、
計測結果の出力を指示するユーザの操作に応じて、前記３次元位置情報に基づく計測結果を出力することを特徴とする請求項１に記載の３次元計測装置。

【請求項5】

前記プロセッサは、
操作画面をディスプレイに表示し、
前記操作画面に、撮影位置を入力する操作部と、前記キャリブレーション処理を指示する操作部と、計測結果の出力を指示する操作部と、を表示することを特徴とする請求項４に記載の３次元計測装置。

【請求項6】

対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する３次元計測システムであって、
前記対象エリアを撮影するステレオカメラと単眼カメラとを含む多眼カメラ装置と、
前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行うと共に、そのキャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行う情報処理装置と、を備え、
前記情報処理装置は、
前記多眼カメラ装置により、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、
縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、
横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、
前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成することを特徴とする３次元計測システム。

【請求項7】

前記ステレオカメラは、広角な画角を有し、
前記単眼カメラは、標準的な画角を有することを特徴とする請求項６に記載の３次元計測システム。

【請求項8】

対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する処理をプロセッサに行わせる３次元計測方法であって、
前記対象エリアを撮影するステレオカメラと単眼カメラとを含む複数のカメラにより、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、
前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行い、
前記キャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行い、
前記３次元計測処理では、
縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、
横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、
前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成することを特徴とする３次元計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象エリアを撮影した撮影画像に基づいて、対象エリアの３次元位置情報を取得する３次元計測装置、３次元計測システムおよび３次元計測方法に関するものである。

【背景技術】

【0002】

対象エリアをステレオカメラで撮影して、その撮影画像に基づいて、その対象エリアの３次元位置情報を取得する３次元計測の技術が普及している。この３次元計測の技術によると、対象エリアの３次元位置情報から３次元空間上での長さを取得することができ、実測が面倒な対象エリア上の長さを簡単に計測することができる。

【0003】

このような３次元計測に関する技術として、従来、ステレオカメラで撮影した画像において、測定開始位置と測定終了位置との２点を指定することで、その２点の３次元位置情報から２点間の長さを算出するようにした技術が知られている（特許文献１参照）。さらに、この技術では、撮影位置を横方向にずらして２回撮影することにより、基線長を実質的に伸ばして、遠距離エリアの計測精度を高めることができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－２３２３３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

さて、電線を計測対象物として、その電線に関係する距離、例えば地面から電線までの距離を取得したい場合がある。このとき、その電線が撮影画像内に縦向きに延びた状態で写っている場合には問題ないが、電線が撮影画像内に横向きに延びた状態で写っている場合には、ステレオマッチング視差探索の処理で適切な探索結果が得られず、電線を適切に計測できないという問題がある。しかしながら、従来の技術では、このような要望に対する配慮はなんらなく、電線が撮影画像内に横向きに延びた状態で写っている場合でも、電線を適切に計測できる技術が望まれる。

【0006】

そこで、本発明は、電線のように細長い計測対象物が延びた方向に関係なく、その細長い計測対象物を適切に計測することができる３次元計測装置、３次元計測システムおよび３次元計測方法を提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明の３次元計測装置は、対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する３次元計測装置であって、前記対象エリアを撮影するステレオカメラと単眼カメラとを含む複数のカメラと、前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行うと共に、そのキャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行うプロセッサと、を備え、前記プロセッサは、前記カメラにより、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成する構成とする。

【0008】

また、本発明の３次元計測システムは、対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する３次元計測システムであって、前記対象エリアを撮影するステレオカメラと単眼カメラとを含む多眼カメラ装置と、前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行うと共に、そのキャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行う情報処理装置と、を備え、前記情報処理装置は、前記多眼カメラ装置により、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成する構成とする。

【0009】

また、本発明の３次元計測方法は、対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する処理をプロセッサに行わせる３次元計測方法であって、前記対象エリアを撮影するステレオカメラと単眼カメラとを含む複数のカメラにより、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行い、前記キャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行い、前記３次元計測処理では、縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成する構成とする。

【発明の効果】

【0010】

本発明によれば、縦方向と横方向とに相当する第１の３次元位置情報と第２の３次元位置情報とを合成して、計測結果となる３次元位置情報を生成するにあたり、キャリブレーション処理と３次元計測処理とを、異なるカメラの撮影画像を用いて別々に行うため、それぞれの処理に最適な画質の撮影画像で処理を行うことができる。これにより、キャリブレーション処理に関してロバスト性を向上させ、同時に、計測精度を高め、電線のように細長い計測対象物が延びた方向に関係なく、その細長い計測対象物を適切に計測することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係るタブレット端末１の概略構成を示すブロック図

【図2】計測対象エリアに存在する電線の状態を示す説明図

【図3】タブレット端末１を用いた撮影の状況を示す説明図

【図4】対応点探索の処理の概要を示す説明図

【図5】撮影位置姿勢推定の処理の概要を示す説明図

【図6】カメラの画角に応じたキャリブレーションの状況を示す説明図

【図7】ステレオマッチング視差探索の処理の概要を示す説明図

【図8】ステレオマッチング視差探索の処理の概要を示す説明図

【図9】ステレオマッチング視差探索の処理の概要を示す説明図

【図10】カメラの画角に応じたステレオマッチング視差探索の状況を示す説明図

【図11】３次元位置情報変換の処理の概要を示す説明図

【図12】３次元位置情報合成の処理の概要を示す説明図

【図13】タブレット端末１の動作手順を示すフロー図

【図14】タッチパネルディスプレイ１４に表示される画面を示す説明図

【図15】タッチパネルディスプレイ１４に表示される画面を示す説明図

【図16】タッチパネルディスプレイ１４に表示される画面を示す説明図

【図17】第２実施形態に係るタブレット端末１の概略構成を示すブロック図

【図18】第３実施形態に係る３次元計測システムの概略構成を示すブロック図

【発明を実施するための形態】

【0012】

前記課題を解決するためになされた第１の発明は、対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する３次元計測装置であって、前記対象エリアを撮影するステレオカメラと単眼カメラとを含む複数のカメラと、前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行うと共に、そのキャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行うプロセッサと、を備え、前記プロセッサは、前記カメラにより、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成する構成とする。

【0013】

これによると、縦方向と横方向とに相当する第１の３次元位置情報と第２の３次元位置情報とを合成して、計測結果となる３次元位置情報を生成するにあたり、キャリブレーション処理と３次元計測処理とを、異なるカメラの撮影画像を用いて別々に行うため、それぞれの処理に最適な画質の撮影画像で処理を行うことができる。これにより、キャリブレーション処理に関してロバスト性を向上させ、同時に、計測精度を高め、電線のように細長い計測対象物が延びた方向に関係なく、その細長い計測対象物を適切に計測することができる。

【0014】

また、第２の発明は、前記プロセッサは、前記キャリブレーション処理の結果と、左右の前記カメラの間隔の実寸法と、に基づいて、前記３次元位置情報を実寸スケールに変換する構成とする。

【0015】

これによると、計測対象エリアにおいて基準となる距離をユーザが手入力することなく、３次元位置情報のスケール変換を行うことができるため、ユーザの使い勝手を向上させることができる。

【0018】

また、第３の発明は、前記ステレオカメラは、広角な画角を有し、前記単眼カメラは、標準的な画角を有する構成とする。

【0019】

これによると、キャリブレーション処理に用いられるステレオカメラが広角な画角を有することから、広い範囲で対応点を探索することができるため、キャリブレーション処理の安定化を図ることができる。また、３次元計測処理に用いられる単眼カメラが標準的な画角を有するため、計測対象物が大きく写る撮影画像により細かい探索が可能であるため、計測精度を高めることができる。

【0022】

また、第４の発明は、前記プロセッサは、撮影を指示するユーザの操作に応じて、前記カメラに前記対象エリアを撮影させ、前記キャリブレーション処理を指示するユーザの操作に応じて、前記キャリブレーション処理を実行し、計測結果の出力を指示するユーザの操作に応じて、前記３次元位置情報に基づく計測結果を出力する構成とする。

【0023】

これによると、対象エリアの撮影から計測結果の出力までの一連の操作手順にしたがって、ユーザが必要な操作を行えばよいため、ユーザの使い勝手がよくなる。

【0024】

また、第５の発明は、前記プロセッサは、操作画面をディスプレイに表示し、前記操作画面に、撮影位置を入力する操作部と、前記キャリブレーション処理を指示する操作部と、計測結果の出力を指示する操作部と、を表示する構成とする。

【0025】

これによると、ユーザが必要な操作を行う操作部が操作画面に表示されるため、ユーザの操作性が向上する。

【0026】

また、第６の発明は、対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する３次元計測システムであって、前記対象エリアを撮影するステレオカメラと単眼カメラとを含む多眼カメラ装置と、前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行うと共に、そのキャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行う情報処理装置と、を備え、前記情報処理装置は、前記多眼カメラ装置により、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成する構成とする。

【0027】

これによると、第１の発明と同様に、キャリブレーション処理に関してロバスト性を向上させ、同時に、計測精度を高め、電線のように細長い計測対象物が延びた方向に関係なく、その細長い計測対象物を適切に計測することができる。

【0028】

また、第７の発明は、前記ステレオカメラは、広角な画角を有し、前記単眼カメラは、標準的な画角を有する構成とする。

【0029】

これによると、キャリブレーション処理に用いられるステレオカメラが広角な画角を有することから、広い範囲で対応点を探索することができるため、キャリブレーション処理の安定化を図ることができる。また、３次元計測処理に用いられる単眼カメラが標準的な画角を有するため、計測対象物が大きく写る撮影画像により細かい探索が可能であるため、計測精度を高めることができる。

【0030】

また、第８の発明は、対象エリアを撮影した撮影画像に基づいて、前記対象エリアの３次元位置情報を取得する処理をプロセッサに行わせる３次元計測方法であって、前記対象エリアを撮影するステレオカメラと単眼カメラとを含む複数のカメラにより、基準となる撮影位置と、その撮影位置から縦方向に離間した撮影位置と、前記基準となる撮影位置から横方向に離間した撮影位置とにおいて撮影された前記撮影画像を取得し、前記ステレオカメラで撮影された左右の前記撮影画像に基づいて、各撮影画像の相対的な撮影位置および撮影姿勢に関するキャリブレーション処理を行い、前記キャリブレーション処理の結果と前記単眼カメラで撮影された前記撮影画像に基づいて、前記３次元位置情報を取得する３次元計測処理を行い、前記３次元計測処理では、縦方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく縦方向のステレオ計測により第１の３次元位置情報を取得し、横方向に離間した撮影位置の各々において撮影された前記撮影画像に基づく横方向のステレオ計測により第２の３次元位置情報を取得し、前記第１の３次元位置情報と前記第２の３次元位置情報とを合成して、計測結果となる前記３次元位置情報を生成する構成とする。

【0031】

これによると、第１の発明と同様に、キャリブレーション処理に関してロバスト性を向上させ、同時に、計測精度を高め、電線のように細長い計測対象物が延びた方向に関係なく、その細長い計測対象物を適切に計測することができる。

【0032】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0033】

（第１実施形態）
図１は、第１実施形態に係るタブレット端末１の概略構成を示すブロック図である。

【0034】

タブレット端末１（３次元計測装置）は、ステレオカメラ１１と、単眼カメラ１２と、メモリ１３と、タッチパネルディスプレイ１４と、プロセッサ１５と、を備えている。

【0035】

ステレオカメラ１１は、左カメラ１７と右カメラ１８とを備えている。このステレオカメラ１１は、撮影を指示するユーザの操作に応じて、３次元計測の対象エリアを撮影して、左カメラ画像（左カメラ１７の撮影画像）と右カメラ画像（右カメラ１８の撮影画像）とを含むステレオ画像を出力する。このステレオカメラ１１は、広角の画角（例えば８０度）を有するモノクロカメラである。なお、ステレオカメラ１１は、カラーカメラとしてもよい。また、ステレオカメラ１１では、左カメラ１７および右カメラ１８に関するキャリブレーション（校正）が実施済みである。

【0036】

単眼カメラ１２は、標準画角（例えば６０度）のカラーカメラである。この単眼カメラ１２は、撮影を指示するユーザの操作に応じて、３次元計測の対象エリアを撮影して、撮影画像を出力する。

【0037】

メモリ１３は、ステレオカメラ１１および単眼カメラ１２から入力される撮影画像や、プロセッサ１５で実行される３次元計測アプリケーションのプログラムなどを記憶する。本実施形態では、１箇所の計測対象エリアに関して３回の撮影が行われ、各回の撮影において、ステレオカメラ１１からステレオ画像（左カメラ画像、右カメラ画像）が入力されると共に、単眼カメラ１２から撮影画像が入力され、１箇所の計測対象エリアに関して、合計で９枚の撮影画像がメモリ１３に記録される。

【0038】

タッチパネルディスプレイ１４は、表示パネルとタッチパネルとを一体化したものであり、３次元計測アプリケーションの画面を表示するとともに、ユーザによる画面操作を検知する。

【0039】

プロセッサ１５は、メモリ１３に記憶された３次元計測アプリケーションのプログラムを実行することで３次元計測に係る各種の処理を行う。本実施形態では、プロセッサ１５が、撮影位置識別、キャリブレーション（対応点探索、撮影位置姿勢推定）、３次元計測（画像平行化、ステレオマッチング視差探索、３次元位置情報変換、スケール変換、３次元位置情報合成）、および計測結果出力の各処理を行う。

【0040】

本実施形態では、キャリブレーションの処理が、ステレオカメラ１１の撮影画像（カラー画像）を用いて行われる。また、３次元計測（ステレオ計測）の処理が、単眼カメラ１２の撮影画像（カラー画像）を用いて行われる。また、３次元計測の処理が、キャリブレーションの結果に基づいて行われる。すなわち、単眼カメラ１２の各位置の撮影画像の相対的な位置関係は、ステレオカメラ１１の各位置の左カメラ画像の相対的な位置関係と一致する。このため、ステレオカメラ１１の撮影画像に基づくキャリブレーションの結果を、単眼カメラ１２の撮影画像に基づくステレオ計測に適用することができる。なお、ステレオカメラ１１は、本来はステレオ計測に用いることができるが、本実施形態ではキャリブレーションにのみ用いられる。

【0041】

また、単眼カメラ１２の撮影画像はカラー画像で視認性が高い。このため、計測対象エリアの状況をユーザが目視で確認する用途で、単眼カメラ１２の撮影画像がリアルタイムにタッチパネルディスプレイ１４に表示される。また、ステレオカメラ１１の撮影状況をユーザが目視で確認する用途で、ステレオカメラ１１の撮影画像（モノクロ画像）もタッチパネルディスプレイ１４に表示される。

【0042】

次に、計測対象エリアに電線が存在する場合の３次元計測について説明する。図２は、計測対象エリアに存在する電線の状態を示す説明図である。

【0043】

電線を計測対象物として、その電線に関係する距離、例えば地面から電線までの距離を計測したい場合がある。このとき、電線が撮影画像内に横向きに延びた状態で写る場合と、電線が撮影画像内に縦向きに延びた状態で写る場合とがある。

【0044】

ここで、３次元計測（ステレオ計測）のステレオマッチング視差探索の処理では、対象とする２つの撮影画像の互いに対応する部分を探索して、２つの撮影画像の間の視差を取得する。具体的には、撮影画像上で所定のサイズ（画素数）の探索窓をずらしながら探索を行う。このとき、対象とする２つの撮影画像の撮影位置が横方向（左右方向）に離間していることから、探索方向が横向きとなる。

【0045】

このため、電線が撮影画像内に縦向きに延びた状態で写る場合には問題ないが、電線が撮影画像内に横向きに延びた状態で写る場合には、適切な探索結果が得られず、電線に関係する距離を適切に計測できない。そこで、本実施形態では、電線の向きに関係なく、電線に関係する距離を適切に計測できるものとする。

【0046】

次に、第１実施形態に係るタブレット端末１を用いた計測対象エリアの撮影について説明する。図３は、タブレット端末１を用いた撮影の状況を示す説明図である。

【0047】

本実施形態では、タブレット端末１のステレオカメラ１１および単眼カメラ１２で撮影場所を変えながら３回撮影が行われる。すなわち、基準位置（基準となる撮影位置）と、その基準位置から縦方向に離間した撮影位置と、基準位置から横方向に離間した撮影位置との３つの各撮影位置で撮影が行われる。具体的には、基準位置（図３（Ｂ）参照）と、その上側の上位置（図３（Ａ）参照）と、基準位置の右側の右位置（図３（Ｃ）参照）との３つの各撮影位置で撮影が行われる。

【0048】

基準位置（図３（Ｂ）参照）の撮影では、基準となる撮影場所で、ユーザがタブレット端末１を目の前に保持した姿勢で撮影が行われる。上位置（図３（Ａ）参照）の撮影では、基準となる撮影場所で、ユーザが腕を上方に伸ばしてタブレット端末１を高い位置に保持した姿勢で撮影が行われる。右位置（図３（Ｃ）参照）の撮影では、基準位置と同様に、タブレット端末１を目の前に保持した姿勢で、基準となる撮影場所から半歩程度右側に移動して撮影が行われる。

【0049】

ここで、基準位置と上位置とは、場所が一致するが、ユーザの撮影姿勢が異なり、また、基準位置と右位置とは、場所が異なるが、ユーザの撮影姿勢が一致する。このため、図３（Ａ），（Ｂ），（Ｃ）に示すように上位置、基準位置、右位置の順で撮影を行うとよい。

【0050】

このように本実施形態では、撮影位置を変えて３回の撮影が行われる。これにより、ステレオカメラ１１の撮影画像として、基準位置の左カメラ画像、基準位置の右カメラ画像、上位置の左カメラ画像、上位置の右カメラ画像、右位置の左カメラ画像、および右位置の右カメラ画像の合計６枚の撮影画像が得られる。また、単眼カメラ１２の撮影画像として、基準位置の撮影画像、上位置の撮影画像、および右位置の撮影画像の合計３枚の撮影画像が得られる。

【0051】

なお、本実施形態では、基準位置と、基準位置の上側の上位置と、基準位置の右側の右位置との各撮影位置で撮影を行うようにしたが、このような基準位置と上位置と下位置との組み合わせに限定されない。すなわち、基準位置と、基準位置から縦方向（上下方向）に離間した位置と、基準位置から横方向（左右方向）に離間した位置との組み合わせであればよい。例えば、右位置の代わりに、基準位置の左側の左位置で撮影を行うようにしてもよい。また、上位置の代わりに、基準位置の下側の下位置で撮影を行うようにしてもよい。

【0052】

このようにしてタブレット端末１のステレオカメラ１１および単眼カメラ１２で撮影が行われると、次に、タブレット端末１のプロセッサ１５は、撮影位置識別の処理を行う。この撮影位置識別の処理では、撮影位置を変えて３回行われた撮影によりメモリ１３に記憶された各撮影画像の撮影位置を識別する。

【0053】

具体的には、ステレオカメラ１１で撮影された６枚の撮影画像（モノクロ画像）が、基準位置の左カメラ画像、基準位置の右カメラ画像、上位置の左カメラ画像、上位置の右カメラ画像、右位置の左カメラ画像、および右位置の右カメラ画像のいずれであるかを識別する。また、単眼カメラ１２で撮影された３枚の撮影画像（カラー画像）が、基準位置の撮影画像、上位置の撮影画像、および右位置の撮影画像のいずれであるかを識別する。

【0054】

本実施形態では、タブレット端末１のタッチパネルディスプレイ１４に表示される３次元計測アプリケーションの画面（図１４～図１６参照）に、撮影位置（上位置、基準位置、右位置）ごとの撮影位置指定ボタン２５～２７が設けられ、ユーザが対象エリアを撮影する際に、撮影位置に対応する撮影位置指定ボタン２５～２７を操作するようにしており、ユーザが操作した撮影位置指定ボタン２５～２７に基づいて撮影位置を識別する。これにより、必要な撮影位置のみの再撮影を容易に行うことができる。

【0055】

なお、撮影する順番を予め指定しておき、ユーザが順番通りに撮影する、例えば、上位置、基準位置、右位置の順番で撮影するようにしてもよい。この場合、撮影画像に付与されるタイムスタンプや、撮影順に撮影画像に付与されるインデックス番号に基づいて、撮影位置を識別することができる。例えば、図３に示した順番で撮影するようにユーザに指示した場合には、１番目の撮影画像が上位置となり、２番目の撮影画像が基準位置となり、３番目の撮影画像が右位置となる。

【0056】

次に、タブレット端末１のプロセッサ１５で行われるキャリブレーション（対応点探索および撮影位置姿勢推定）の処理について説明する。図４は、対応点探索の処理の概要を示す説明図である。図５は、撮影位置姿勢推定の処理の概要を示す説明図である。

【0057】

タブレット端末１のプロセッサ１５では、キャリブレーション（校正）の処理が行われる。このキャリブレーションの処理では、対象とする２つの撮影画像間で対応点を探索して（対応点探索）、その対応点の探索結果に基づいて、一方の撮影画像を基準にした他方の撮影画像の撮影位置および撮影姿勢を推定する（撮影位置姿勢推定）。なお、対応点探索の処理では誤対応点を除去する処理も行う。

【0058】

本実施形態では、キャリブレーションの処理に、ステレオカメラ１１の撮影画像が用いられる。すなわち、ステレオカメラ１１による３回の撮影で取得した６枚の撮影画像、具体的には、基準位置の左カメラ画像、基準位置の右カメラ画像、上位置の左カメラ画像、上位置の右カメラ画像、右位置の左カメラ画像、および右位置の右カメラ画像に基づいて、キャリブレーションの処理が行われる。このように本実施形態では、多数の撮影画像に基づいてキャリブレーションが行われるため、安定した処理が可能である。

【0059】

図４に示すように、対応点探索の処理では、ステレオカメラ１１による３回の撮影で取得した６枚の撮影画像（モノクロ画像）の間で対応点を探索する。

【0060】

図５に示すように、撮影位置姿勢推定の処理では、ステレオカメラ１１の３回の撮影で取得した６枚の撮影画像（モノクロ画像）の間の相対的な撮影位置および撮影姿勢を推定する。

【0061】

図５に示す例では、基準位置の左カメラ画像を基準として、この左カメラ画像に対する相対的な撮影位置および撮影姿勢を推定する。具体的には、基準位置の左カメラ画像（基準画像）に対する基準位置の右カメラ画像の撮影位置ｔ１および撮影姿勢Ｒ１を取得する。また、基準位置の左カメラ画像に対する右位置の右カメラ画像の撮影位置ｔ２および撮影姿勢Ｒ２を取得する。また、基準位置の左カメラ画像に対する右位置の左カメラ画像の撮影位置ｔ３および撮影姿勢Ｒ３を取得する。また、基準位置の左カメラ画像に対する上位置の左カメラ画像の撮影位置ｔ４および撮影姿勢Ｒ４を取得する。また、基準位置の左カメラ画像に対する上位置の右カメラ画像の撮影位置ｔ５および撮影姿勢Ｒ５を取得する。

【0062】

次に、カメラの画角に応じたキャリブレーション（対応点探索および撮影位置姿勢推定）の状況について説明する。図６は、カメラの画角に応じたキャリブレーションの状況を示す説明図である。

【0063】

キャリブレーション（対応点探索および撮影位置姿勢推定）の処理では、前記のように、２枚の画像を比較して、その２枚の画像間の対応点を探索して、その対応点の探索結果に基づいて、２枚の撮影画像のうちの一方の撮影画像を基準にした他方の撮影画像の撮影位置および撮影姿勢を推定する。

【0064】

ここで、図６（Ａ）に示すように、標準的な画角のカメラの場合には、狭い範囲で対応点を探索するため、撮影位置姿勢推定の結果が安定しない。一方、図６（Ｂ）に示すように、広角な画角のカメラの場合には、広い範囲で対応点を探索するため、撮影位置姿勢推定の結果が安定する。

【0065】

本実施形態では、ステレオカメラ１１の左カメラ１７および右カメラ１８に広角な画角のカメラが採用されており、この広角なステレオカメラ１１の撮影画像を用いてキャリブレーションが行われる。このため、キャリブレーションの処理の安定化を図ることができる。

【0066】

次に、第１実施形態に係るタブレット端末１のプロセッサ１５で行われる画像平行化およびステレオマッチング視差探索の処理について説明する。図７、図８、および図９は、ステレオマッチング視差探索の処理の概要を示す説明図である。

【0067】

タブレット端末１のプロセッサ１５では、３次元計測（ステレオ計測）の処理が行われる。この３次元計測には、単眼カメラ１２の撮影画像が用いられる。本実施形態では、単眼カメラ１２による３回の撮影で取得した３枚の撮影画像、具体的には、基準位置の撮影画像、上位置の撮影画像、および右位置の撮影画像に基づいて、３次元計測が行われる。なお、単眼カメラ１２からはカラーの撮影画像が出力され、このカラーの撮影画像がモノクロ変換された上で処理に用いられる。

【0068】

タブレット端末１のプロセッサ１５では、３次元計測（ステレオ計測）の処理として、まず、画像平行化およびステレオマッチング視差探索の処理が行われる。

【0069】

画像平行化の処理では、キャリブレーションの結果に基づいて、対象となる２つの撮影画像のエピポーラ線が平行になるように、その２つの撮影画像を変形する（幾何変換）。

【0070】

ステレオマッチング視差探索の処理では、対象とする２つの撮影画像の互いに対応する部分を探索して、２つの撮影画像の間の視差、すなわち、２つの撮影画像に写る被写体の像の位置のずれ幅を取得する。

【0071】

本実施形態では、縦ステレオ計測として、図７に示すように、撮影位置が縦方向（上下方向）に離間した２つの撮影画像、具体的には、ステレオカメラ１１による基準位置の左カメラ画像と上位置の左カメラ画像との間の位置姿勢推定結果に基づいて、単眼カメラ１２による基準位置の撮影画像と上位置の撮影画像との間の画像平行化およびステレオマッチング視差探索の処理を行う。

【0072】

また、横ステレオ計測として、図８に示すように、撮影位置が横方向（左右方向）に離間した２つの撮影画像、具体的には、ステレオカメラ１１による基準位置の左カメラ画像と右位置の左カメラ画像との間の撮影位置姿勢推定の結果に基づいて、単眼カメラ１２による基準位置の撮影画像と右位置の撮影画像との間の画像平行化およびステレオマッチング視差探索の処理を行う。

【0073】

ここで、図８に示すように、左右画像間のステレオマッチング視差探索の処理（横ステレオ計測）では、探索方向は横向きであるが、図７に示すように、上下画像間のステレオマッチング視差探索の処理（縦ステレオ計測）では、探索方向は縦向きとなる。

【0074】

また、いずれかの撮影位置（例えば基準位置）におけるステレオカメラ１１による左カメラ画像および右カメラ画像に基づく１点ステレオ計測を行うようにしてもよい。この場合、図９に示すように、基準位置の左カメラ画像と基準位置の右カメラ画像との間のステレオマッチング視差探索の処理を行う。

【0075】

次に、カメラの画角に応じたステレオマッチング視差探索の状況について説明する。図１０は、カメラの画角に応じたステレオマッチング視差探索の状況を示す説明図である。

【0076】

ステレオマッチング視差探索の処理では、対象とする２つの撮影画像の互いに対応する部分を探索して、２つの撮影画像の間の視差、すなわち、２つの撮影画像に写る被写体の像の位置のずれ幅を取得する。このとき、撮影画像上で所定のサイズ（画素数）の探索窓をずらしながら探索を行う。

【0077】

ここで、図１０（Ａ）に示すように、標準画角のカメラの撮影画像では、計測対象物（計測対象エリア内の物体）が大きく写るため、細かい探索が可能であり、ステレオマッチングの精度が高くなる。一方、図１０（Ｂ）に示すように、広角のカメラの撮影画像では、計測対象物が小さく写るため、探索が荒くなり、ステレオマッチングの精度が低くなる。

【0078】

本実施形態では、ステレオカメラ１１が広角で、単眼カメラ１２が標準画角である。また、３次元計測（ステレオマッチング視差探索）が、単眼カメラ１２の撮影画像を用いて行われる。すなわち、標準画角の単眼カメラ１２の撮影画像を用いてステレオ計測が行われるため、計測精度を高めることができる。

【0079】

また、本実施形態では、キャリブレーション（対応点探索、撮影位置姿勢推定）が、ステレオカメラ１１の撮影画像（モノクロ画像）を用いて行われ、ステレオ計測（ステレオマッチング視差探索）が、単眼カメラ１２の撮影画像（カラー画像）を用いて行われる。すなわち、キャリブレーションとステレオ計測とが、異なるカメラの撮影画像を用いて別々に行われる。このため、それぞれの処理に最適な画質の撮影画像で処理を行うことができる。

【0080】

具体的には、キャリブレーションに用いられるステレオカメラ１１では、曇天時に白飛びが発生するような条件に設定しておく。これにより、キャリブレーションの処理に関してロバスト性を向上させることができる。例えば、曇天時に撮影画像が暗い場合、ゲインを強めに与えることで、撮影画像が視覚的には過度に明るい状態になる。一方、対応点探索の処理では、撮影画像が視覚的には過度に明るい状態でも画像間の対応関係を適切に把握できる技術が採用されている。このため、白飛びが発生した状態でも画像間の対応関係を把握する上で不都合はない。

【0081】

一方、ステレオ計測（ステレオマッチング視差探索）に用いられる単眼カメラ１２では、標準的な条件に設定しておく。これにより、ステレオ計測に最適な画質を確保して、高い計測精度を得ることができる。例えば、ガンマ補正により白飛びが発生しにくい設定とすることで、ステレオ計測において電線と路面とを同時に適切に計測できる画質を得ることができる。また、視認性の高い撮影画像（カラー画像）をユーザに提示することができる。例えば、明るい部分（例えば空）を過度に明るくすることなく、暗い部分（例えば路面）を明るくする補正を行うことで、被写体を識別しやすい画像をユーザに提示することができる。

【0082】

次に、第１実施形態に係るタブレット端末１のプロセッサ１５で行われる３次元位置情報変換の処理について説明する。図１１は、３次元位置情報変換の処理の概要を示す説明図である。

【0083】

タブレット端末１のプロセッサ１５では、３次元位置情報変換の処理が行われる。この３次元位置情報変換の処理では、ステレオマッチング視差探索の処理で取得した画像内の各画素の視差を、各画素における計測対象物までの距離（奥行き）に変換して、その各画素単位の計測対象物までの距離を３次元位置情報（３次元の座標値）として取得する。

【0084】

計測対象物までの距離Ｚは、次式のように、焦点距離ｆ、基線長Ｂ、および視差ｄから算出することができる。
Ｚ＝ｆ・Ｂ／ｄ
なお、距離Ｚは、単眼カメラ１２の焦点から対象エリア上の１点までの距離である。

【0085】

また、次式のように、撮影画像（距離画像）上の座標（ｕ，ｖ）が、３次元空間上の座標（Ｘ，Ｙ）に変換される。
Ｘ＝ｕ・Ｚ／ｆ
Ｙ＝ｖ・Ｚ／ｆ

【0086】

ここで、本実施形態では、縦ステレオ計測と横ステレオ計測とが行われる。

【0087】

縦ステレオ計測では、撮影位置が縦方向（上下方向）に離間した２つの撮影画像、具体的には、基準位置の左カメラ画像と上位置の左カメラ画像とに基づいて第１の３次元位置情報を取得する。この第１の３次元位置情報に対する３次元位置情報変換の処理では、基準位置と上位置との距離が、基線長Ｂ（撮影位置間距離）となる。

【0088】

また、横ステレオ計測では、撮影位置が横方向（左右方向）に離間した２つの撮影画像、具体的には、基準位置の撮影画像と右位置の撮影画像とに基づいて第２の３次元位置情報を取得する。この第２の３次元位置情報に対する３次元位置情報変換の処理では、基準位置と右位置との距離が、基線長Ｂ（撮影位置間距離）となる。

【0089】

また、１点ステレオ計測、すなわち、いずれかの撮影位置（例えば基準位置）におけるステレオカメラ１１の左カメラ画像および左カメラ画像に基づくステレオ計測を行う場合には、ステレオカメラ１１の左右カメラ間距離が、基線長Ｂ（撮影位置間距離）となる。

【0090】

なお、ステレオカメラ１１の左右カメラ間距離を基準とした基準位置、上位置、および右位置の相対的な位置関係が撮影位置姿勢推定の処理で取得され、この撮影位置相対的な位置関係に基づいて、基準位置と上位置との距離、および基準位置と右位置との距離を取得することができる。また、ステレオカメラ１１の左右カメラ間距離（実寸法）は既知である。

【0091】

このようにして第１の３次元位置情報および第２の３次元位置情報を取得すると、タブレット端末１のプロセッサ１５では、次に、スケール変換が行われる。このスケール変換の処理では、第１の３次元位置情報および第２の３次元位置情報を実寸スケールに変換する。

【0092】

ここで、キャリブレーションの結果に基づいて、ステレオカメラ１１の左右カメラ間距離（左カメラ１７と右カメラ１８との間隔）と、基準位置と上位置との間の距離と、基準位置と右位置との間の距離との相対的な比率は明らかである。一方、ステレオカメラ１１の左右カメラ間距離（実寸法）は既知である。したがって、ステレオカメラ１１の左右カメラ間距離に基づいて、基準位置と上位置との間の距離、および基準位置と右位置との間の距離を求めることができる。これにより、第１の３次元位置情報および第２の３次元位置情報を実寸スケールに変換することができる。

【0093】

このように本実施形態では、既知であるステレオカメラ１１の左右カメラ間距離に基づいてスケール変換を行うことができる。このため、計測対象エリアにおいて基準となる距離をユーザが手入力する必要がないため、ユーザの使い勝手を向上させることができる。

【0094】

次に、第１実施形態に係るタブレット端末１のプロセッサ１５で行われる３次元位置情報合成の処理について説明する。図１２は、３次元位置情報合成の処理の概要を示す説明図である。

【0095】

３次元位置情報合成の処理では、第１の３次元位置情報と第２の３次元位置情報とを合成する。第１の３次元位置情報は、撮影位置が縦方向に離間した基準位置の撮影画像と上位置の撮影画像と基づく縦ステレオ計測の計測結果である。第２の３次元位置情報は、撮影位置が横方向に離間した基準位置の撮影画像と右位置の撮影画像と基づく横ステレオ計測の計測結果である。

【0096】

この３次元位置情報合成の処理では、３次元位置情報の信頼性に応じて、第１の３次元位置情報と第２の３次元位置情報とを合成するようにしてもよい。すなわち、信頼性が高い３次元位置情報を優先して合成する。なお、３次元位置情報合成の処理では、例えば、第１の３次元位置情報および第２の３次元位置情報に対する重み付け係数を変えることで、一方を他方より優先させた合成が可能である。

【0097】

また、横ステレオ計測における撮影位置の間隔（基準位置と右位置との間隔）、すなわち、ユーザが脚を開いて横方向に移動することによるタブレット端末１の移動距離は、縦ステレオ計測における撮影位置の間隔（基準位置と上位置との間隔）、すなわち、ユーザが腕を上げ下げすることによるタブレット端末１の移動距離よりも長くなる傾向にある。一方、ステレオ計測では、基線長が長い方が、計測精度が高くなる。したがって、横ステレオ計測の計測結果である第２の３次元位置情報の方が、縦ステレオ計測の計測結果である第１の３次元位置情報より計測精度が高くなる。そこで、第１の３次元位置情報よりも第２の３次元位置情報を優先して合成するものとしてもよい。

【0098】

また、ステレオカメラ１１によるいずれかの撮影位置（例えば基準位置）における左カメラ画像および左カメラ画像を用いた１点ステレオ計測を行い、この１点ステレオ計測の計測結果である第３の３次元位置情報を、３次元位置情報合成の処理に用いるようにしてもよい。例えば、近距離の計測対象物では、１点ステレオ計測で精度の高い計測結果が得られるため、計測対象エリアのうちの近距離エリアに関しては、１点ステレオ計測の計測結果である第３の３次元位置情報を優先して合成するようにしてもよい。

【0099】

ここで、３次元計測（ステレオ計測）では、パラメータを変更することで計測結果を先鋭化することができる。この計測結果の先鋭化では、大きな誤差を含む可能性の高い計測結果が排除され、計測対象物の実際の状態に近い計測結果が得られるようにすることができる。具体的には、標準的なパラメータ設定において、距離画像上で電線に対応する部分が実際より太く現れる場合に、パラメータを変更して計測結果を先鋭化すると、距離画像上で電線に対応する部分が細く現れ、実際の状態に近くなる。

【0100】

そこで、３次元位置情報合成の処理に先だって、先鋭化のパラメータ設定に基づく先鋭化モードで縦ステレオ計測の処理や横ステレオ計測の処理を行うようにしてもよい。すなわち、先鋭化モードで縦ステレオ計測の処理を行って、縦ステレオ計測の計測結果として、先鋭化された第１の３次元位置情報を取得する。また、先鋭化のパラメータ設定に基づく先鋭化モードで横ステレオ計測の処理を行って、横ステレオ計測の計測結果として、先鋭化された第２の３次元位置情報を取得する。そして、その先鋭化された第１の３次元位置情報や第２の３次元位置情報を用いて３次元位置情報合成の処理を行う。

【0101】

また、計測対象エリアを領域分割して３次元位置情報合成の処理を行うようにしてもよい。例えば、距離画像上で電線に対応する部分が実際の状態に近くなるように、距離画像において電線を含む上半分の領域には、先鋭化モードで生成した３次元位置情報を用い、距離画像において路面を含む下半分の領域には、標準的なパラメータ設定に基づく標準モードで生成した３次元位置情報を用いるようにしてもよい。

【0102】

このようにして３次元位置情報合成の処理が行われると、処理済みの３次元位置情報がメモリ１３に記憶され、計測結果の出力を指示するユーザの操作に応じて、計測結果出力の処理を行う。この計測結果出力の処理では、ユーザが指定した２点間の距離や、タブレット端末１からユーザが指定した１点までの距離を、３次元位置情報に基づいて算出して計測結果として出力する。本実施形態では、タブレット端末１において、ユーザが、タッチパネルディスプレイ１４の画面上で、計測結果を必要とする対象エリア上の位置を指定すると、その位置に関する計測結果が画面表示される。

【0103】

次に、第１実施形態に係るタブレット端末１の動作手順について説明する。図１３は、タブレット端末１の動作手順を示すフロー図である。

【0104】

タブレット端末１では、まず、ユーザが撮影位置を変えながらステレオカメラ１１および単眼カメラ１２により対象エリアを３回撮影する（ＳＴ１０１）。具体的には、基準位置と、その上側の上位置と、基準位置の右側の右位置との各撮影位置で撮影が行われる（図３参照）。

【0105】

次に、プロセッサ１５が、撮影位置識別の処理を行う（ＳＴ１０２）。この撮影位置識別の処理では、メモリ１３に記憶された複数枚の撮影画像の撮影位置を識別する。

【0106】

次に、プロセッサ１５が、ステレオカメラ１１の撮影画像を用いてキャリブレーション（対応点探索、撮影位置姿勢推定）の処理を行う（ＳＴ１０３）。このキャリブレーションの処理では、対象とする２枚の画像を比較して、その２枚の撮影画像間の対応点を探索して、その対応点の探索結果に基づいて、２枚の撮影画像のうちの一方の画像を基準にした他方の撮影画像の撮影位置および撮影姿勢を推定する。

【0107】

次に、プロセッサ１５が、単眼カメラ１２の撮影画像を用いて画像平行化およびステレオマッチング視差探索の処理を行う（ＳＴ１０４）。この画像平行化およびステレオマッチング視差探索の処理では、対象とする２つの撮影画像に対して平行化を行った上で、２つの撮影画像の互いに対応する部分を探索して、２つの撮影画像の間の視差を取得する。本実施形態では、縦ステレオ計測として、撮影位置が縦方向（上下方向）に離間した２つの撮影画像、すなわち、基準位置の撮影画像と上位置の撮影画像との間の視差を取得する。また、横ステレオ計測として、撮影位置が横方向（左右方向）に離間した２つの撮影画像、すなわち、基準位置の撮影画像と右位置の撮影画像との間の視差を取得する。

【0108】

次に、プロセッサ１５が、３次元位置情報変換の処理を行う（ＳＴ１０５）。この３次元位置情報変換の処理では、ステレオマッチング視差探索の処理で取得した画像内の各画素の視差を、各画素における計測対象物までの距離（奥行き）に変換して、その各画素単位の計測対象物までの距離を３次元位置情報（３次元の座標値）として取得する。本実施形態では、縦ステレオ計測の計測結果として、第１の３次元位置情報を取得し、横ステレオ計測の計測結果として、第２の３次元位置情報を取得する。

【0109】

次に、プロセッサ１５が、スケール変換の処理を行う（ＳＴ１０６）。このスケール変換の処理では、既知であるステレオカメラ１１の左右カメラ間距離（実寸法）に基づいて、第１の３次元位置情報および第２の３次元位置情報を実寸スケールに変換する。

【0110】

次に、プロセッサ１５が、３次元位置情報合成の処理を行う（ＳＴ１０７）。この３次元位置情報合成の処理では、縦ステレオ計測の計測結果である第１の３次元位置情報と、横ステレオ計測の計測結果である第２の３次元位置情報とを合成する。

【0111】

次に、プロセッサ１５が、計測結果出力の処理を行う（ＳＴ１０８）。この計測結果出力の処理では、計測結果の出力を指示するユーザの操作に応じて、ユーザが指定した２点間の距離や、タブレット端末１からユーザが指定した１点までの距離を、３次元位置情報に基づいて算出して計測結果として出力する。

【0112】

次に、第１実施形態に係るタブレット端末１のタッチパネルディスプレイ１４に表示される画面について説明する。図１４、図１５、図１６は、タッチパネルディスプレイ１４に表示される画面を示す説明図である。

【0113】

タブレット端末１では、図１４、図１５に示すように、３次元計測アプリケーションの操作画面がタッチパネルディスプレイ１４に表示される。この操作画面には、リアルタイム画像表示部２１と、撮影位置（上位置、基準位置、右位置）ごとの撮影済み画像表示部２２～２４と、撮影位置（上位置、基準位置、右位置）ごとの撮影位置指定ボタン２５～２７と、撮影ボタン２８と、校正ボタン２９と、校正結果表示部３０と、計測ボタン３１と、が設けられている。

【0114】

なお、本実施形態では、撮影を指示する操作部をソフトボタンで構成する、具体的には、操作画面に撮影ボタン２８を設けたが、撮影を指示する操作部をハードボタンで構成するものとしてもよい。

【0115】

リアルタイム画像表示部２１には、単眼カメラ１２の撮影画像（カラー画像）がリアルタイムに表示される。上位置の撮影済み画像表示部２２には、上位置の撮影画像が表示され、基準位置の撮影済み画像表示部２３には、基準位置の撮影画像が表示され、右位置の撮影済み画像表示部２４には、右位置の撮影画像が表示される。また、撮影位置ごとの撮影済み画像表示部２２～２４の各々には、単眼カメラ１２で撮影されたカラーの撮影画像と、ステレオカメラ１１で撮影されたモノクロの左カメラ画像とが並べて表示される。

【0116】

ユーザは、まず、上位置の撮影を行うために、適宜な撮影場所で、腕を上方に伸ばしてタブレット端末１を高い位置に保持した状態で、上位置の撮影位置指定ボタン２５を操作し、ついで撮影ボタン２８を操作する。これにより、ステレオカメラ１１および単眼カメラ１２が対象エリアを撮影して、図１４（Ａ）に示すように、上位置の撮影済み画像表示部２２に、ステレオカメラ１１および単眼カメラ１２の撮影画像が表示される。また、ステレオカメラ１１および単眼カメラ１２の撮影画像が上位置の撮影画像としてメモリ１３に格納される。

【0117】

次に、ユーザは、基準位置の撮影を行うために、その撮影場所に静止したまま、腕を胸元までおろしてタブレット端末１を目の前に保持した状態で、基準位置の撮影位置指定ボタン２６を操作し、ついで撮影ボタン２８を操作する。これにより、ステレオカメラ１１および単眼カメラ１２が対象エリアを撮影して、図１４（Ｂ）に示すように、基準位置の撮影済み画像表示部２３に、ステレオカメラ１１および単眼カメラ１２の撮影画像が表示される。また、ステレオカメラ１１および単眼カメラ１２の撮影画像が基準位置の撮影画像としてメモリ１３に格納される。

【0118】

次に、ユーザは、右位置の撮影を行うために、タブレット端末１を目の前に保持した状態のままで、半歩程度右側の撮影場所に移動して、右位置の撮影位置指定ボタン２７を操作し、ついで撮影ボタン２８を操作する。これにより、ステレオカメラ１１および単眼カメラ１２が対象エリアを撮影して、図１４（Ｃ）に示すように、右位置の撮影済み画像表示部２４に、ステレオカメラ１１および単眼カメラ１２の撮影画像が表示される。また、ステレオカメラ１１および単眼カメラ１２の撮影画像が右位置の撮影画像としてメモリ１３に格納される。

【0119】

このようにして上位置、基準位置および右位置の撮影が順次行われると、次に、ユーザは、校正ボタン２９を操作する。これにより、プロセッサ１５が、キャリブレーション（対応点探索、撮影位置姿勢推定）の処理を実行する。

【0120】

ここで、キャリブレーションが正常に終了すると、図１５（Ａ）に示すように、校正結果表示部３０に「ＯＫ」の文字が表示される。また、基準位置における単眼カメラ１２の撮影画像（カラー画像）がリアルタイム画像表示部２１に表示される。また、キャリブレーションが正常に終了すると、プロセッサ１５が、３次元計測（画像平行化、ステレオマッチング視差探索、３次元位置情報変換、スケール変換、３次元位置情報合成）の処理を実行する。

【0121】

一方、キャリブレーションが失敗すると、図１５（Ｂ）に示すように、校正結果表示部３０に「ＮＧ」の文字が表示される。また、キャリブレーションが失敗した原因となる撮影画像に対応する撮影位置の撮影済み画像表示部２２～２４と撮影位置指定ボタン２５～２７とが強調表示される。例えば、撮影済み画像表示部２２～２４および撮影位置指定ボタン２５～２７に所定色（例えば赤色）の枠画像が表示される。これにより、ユーザは、再度撮影する必要がある撮影位置を把握することができる。また、再度撮影するようにユーザに催促するメッセージを表示するようにしてもよい。

【0122】

このようしてキャリブレーションが正常に終了すると、次に、ユーザは、計測ボタン３１を操作する。これにより、プロセッサ１５が、計測結果出力の処理を実行する。このとき、計測値表示モードとなり、図１６に示す計測画面に遷移する。この計測画面では、ユーザが、計測結果を必要とする対象エリア上の位置を、撮影画像表示部３２に表示された画像上でタッチ操作により入力すると、計測値が表示される。なお、撮影画像表示部３２には、単眼カメラ１２による基準位置の撮影画像（カラー画像）表示されるようにするとよい。

【0123】

このとき、ユーザは、メニューで入力モード（１点入力モード、２点入力モード）を選択することができる。図１６（Ａ）に示すように、２点入力モードでは、ユーザが２点の位置を入力することで、対象エリア上の２点が指定されて、その対象エリア上の２点間の距離が表示される。例えば、電線上の１点とその真下の路面上の１点とが指定されると、地面から電線までの距離（高さ）が表示される。図１６（Ｂ）に示すように、１点入力モードでは、ユーザが１点の位置を入力することで、対象エリア上の１点が指定されて、ステレオカメラ１１から指定した対象エリア上の１点までの距離が表示される。

【0124】

なお、本実施形態では、撮影位置に対応する撮影位置指定ボタン２５～２７を操作した後に撮影ボタン２８を操作するようにしたが、撮影ボタン２８を操作した後に撮影位置指定ボタン２５～２７を操作するようにしてもよい。また、本実施形態では、撮影位置（上位置、基準位置、右位置）ごとの３つの撮影位置指定ボタン２５～２７と、１つの撮影ボタン２８とを設けたが、撮影位置ごとの３つの撮影ボタンを設けて、撮影位置指定ボタン２５～２７を省略するようにしてもよい。

【0125】

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１７は、第２実施形態に係るタブレット端末１の概略構成を示すブロック図である。

【0126】

第１実施形態（図１参照）では、タブレット端末１（３次元計測装置）がステレオカメラ１１と単眼カメラ１２とを備えていたが、本実施形態では、タブレット端末１がステレオカメラ１１のみを備え、単眼カメラ１２は省略されている。ステレオカメラ１１は、第１実施形態と同様に、広角のモノラルカメラである。なお、本実施形態では、ステレオカメラ１１を、モノラルカメラとしたが、カラーカメラとしてもよい。

【0127】

また、本実施形態では、第１実施形態と同様に、撮影位置を変えて３回の撮影が行われる。これにより、ステレオカメラ１１の撮影画像として、基準位置の左カメラ画像、基準位置の右カメラ画像、上位置の左カメラ画像、上位置の右カメラ画像、右位置の左カメラ画像、および右位置の右カメラ画像の合計６枚の撮影画像が得られる。

【0128】

タブレット端末１のプロセッサ１５では、第１実施形態と同様に、撮影位置識別、キャリブレーション（対応点探索、撮影位置姿勢推定）、３次元計測（画像平行化、ステレオマッチング視差探索、３次元位置情報変換、スケール変換、３次元位置情報合成）、および計測結果出力の各処理が行われる。

【0129】

キャリブレーション（対応点探索、撮影位置姿勢推定）の処理は、第１実施形態と同様である。

【0130】

３次元計測（画像平行化、ステレオマッチング視差探索、３次元位置情報変換、スケール変換、３次元位置情報合成）の処理も、第１実施形態と略同様である。ただし、第１実施形態では、単眼カメラ１２の撮影画像が３次元計測の処理に用いられるが、本実施形態では、単眼カメラ１２が省略されたため、単眼カメラ１２の代わりにステレオカメラ１１の撮影画像が３次元計測の処理に用いられる。具体的には、ステレオカメラ１１による基準位置の左カメラ画像、上位置の左カメラ画像、および右位置の左カメラ画像の合計３枚の撮影画像が用いられる。なお、本実施形態では、各撮影位置の左カメラ画像が用いられるものとしたが、各撮影位置の右カメラ画像が用いられるものとしてもよい。

【0131】

また、本実施形態では、第１実施形態（図１４～図１６参照）と同様に、タブレット端末１のタッチパネルディスプレイ１４に３次元計測アプリケーションの画面が表示される。第１実施形態では、撮影が適切に行われたことを確認するために、タッチパネルディスプレイ１４の画面に、単眼カメラ１２の撮影画像（カラー画像）とステレオカメラ１１の撮影画像（モノクロ画像）とが表示されるが、本実施形態では、ステレオカメラ１１の撮影画像（モノクロ画像）が表示される。

【0132】

（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１８は、第３実施形態に係る３次元計測システムの概略構成を示すブロック図である。

【0133】

第１実施形態（図１参照）では、タブレット端末１に設けられたステレオカメラ１１および単眼カメラ１２で対象エリアを撮影して、タブレット端末１に設けられたプロセッサ１５でキャリブレーションおよび３次元計測の処理を行うようにしたが、本実施形態では、多眼カメラ装置４１とＰＣ４２（情報処理装置）とで３次元計測システムが構成され、ＰＣ４２において、多眼カメラ装置４１の撮影画像を用いてキャリブレーションおよび３次元計測の処理を行う。

【0134】

多眼カメラ装置４１は、ステレオカメラ１１と単眼カメラ１２とを備えている。

【0135】

ＰＣ４２は、メモリ５１と、ディスプレイ５２と、入力デバイス５３と、プロセッサ５４と、を備えている。

【0136】

メモリ５１は、多眼カメラ装置４１から入力される撮影画像や、プロセッサ５４で実行される３次元計測アプリケーションのプログラムなどを記憶する。

【0137】

ディスプレイ５２は、３次元計測アプリケーションの画面を表示する。入力デバイス５３は、マウスやキーボードなどであり、ユーザが画面操作を行う。

【0138】

プロセッサ５４は、第１実施形態におけるタブレット端末１のプロセッサ１５と同様に、撮影位置識別、キャリブレーション（対応点探索、撮影位置姿勢推定）、３次元計測（画像平行化、ステレオマッチング視差探索、３次元位置情報変換、スケール変換、３次元位置情報合成）、および計測結果出力の各処理を行う。

【0139】

なお、撮影場所を変更しながら多眼カメラ装置４１で対象エリアを４回以上撮影して、ＰＣ４２において、ユーザが、各撮影位置（上位置、基準位置、右位置）の撮影画像を選択することで、キャリブレーションおよび３次元計測の処理が行われるようにしてもよい。

【0140】

また、本実施形態では、多眼カメラ装置４１とＰＣ４２（情報処理装置）とで３次元計測システムが構成され、多眼カメラ装置４１が、ステレオカメラ１１および単眼カメラ１２の撮影画像を一時的に蓄積し、ユーザが、多眼カメラ装置４１を持ち帰ってＰＣ４２に接続することで、多眼カメラ装置４１の撮影画像がＰＣ４２に転送されて、ＰＣで３次元計測の処理が行われる。このため、事後に３次元計測の結果をユーザが確認することができる。

【0141】

また、ＰＣ４２の代わりにタブレット端末（情報処理装置）で３次元計測システムが構成されるものとしてもよい。この場合、タブレット端末は、第１実施形態のようなステレオカメラ１１や単眼カメラ１２を備えていない。タブレット端末１は、多眼カメラ装置４１に接続された状態で使用され、撮影時に多眼カメラ装置４１からＰＣ４２に撮影画像が転送されて、タブレット端末１で３次元計測の処理が行われる。このため、現場で３次元計測の結果をユーザが確認することができる。

【0142】

また、第１実施形態などでは、タブレット端末１において３次元計測の処理が行われる構成としたが、適宜なネットワークを介してタブレット端末１と接続されたサーバにおいて、３次元計測の処理が行われる構成としてもよい。この場合、ステレオカメラ１１や単眼カメラ１２の撮影画像をタブレット端末１からサーバに送信し、サーバおいて３次元計測の処理を行い、計測結果をサーバからタブレット端末１に送信し、タブレット端末１において計測結果を表示する。このような構成では、サーバの高い処理能力により、タブレット端末１では処理が難しい動画の処理も可能になる。

【0143】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0144】

本発明に係る３次元計測装置、３次元計測システムおよび３次元計測方法は、電線のように細長い計測対象物が延びた方向に関係なく、その細長い計測対象物を適切に計測することができる効果を有し、対象エリアを撮影した撮影画像に基づいて、対象エリアの３次元位置情報を取得する３次元計測装置、３次元計測システムおよび３次元計測方法などとして有用である。

【符号の説明】

【0145】

１ タブレット端末（３次元計測装置）
１１ ステレオカメラ
１２ 単眼カメラ
１３ メモリ
１４ タッチパネルディスプレイ
１５ プロセッサ
１７ 左カメラ
１８ 右カメラ
２１ リアルタイム画像表示部
２２ 上位置の撮影済み画像表示部
２３ 基準位置の撮影済み画像表示部
２４ 右位置の撮影済み画像表示部
２５ 上位置の撮影位置指定ボタン
２６ 基準位置の撮影位置指定ボタン
２７ 右位置の撮影位置指定ボタン
２８ 撮影ボタン
２９ 校正ボタン
３０ 校正結果表示部
３１ 計測ボタン
３２ 撮影画像表示部
４１ 多眼カメラ装置
４２ ＰＣ（情報処理装置）
５１ メモリ
５２ ディスプレイ
５３ 入力デバイス
５４ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】