特許 7169940 図面重畳装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-02

(45)【発行日】2022-11-11

(54)【発明の名称】図面重畳装置及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221104BHJP

   G06T 7/70 20170101ALI20221104BHJP

   H04N 7/18 20060101ALI20221104BHJP

【ＦＩ】

G06T19/00 600

G06T7/70 Z

H04N7/18 U

【請求項の数】 7

(21)【出願番号】P 2019107363

(22)【出願日】2019-06-07

(65)【公開番号】P2020201667

(43)【公開日】2020-12-17

【審査請求日】2021-12-22

(73)【特許権者】

【識別番号】509338994

【氏名又は名称】株式会社ＩＨＩインフラシステム

(74)【代理人】

【識別番号】110001863

【氏名又は名称】特許業務法人アテンダ国際特許事務所

(72)【発明者】

【氏名】大澤 信哉

(72)【発明者】

【氏名】中村 善彦

(72)【発明者】

【氏名】瀬戸川 敦

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１１－１９２２７０（ＪＰ，Ａ）

【文献】特開２０１６－０３８８６７（ＪＰ，Ａ）

【文献】特許第６４３８９９５（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ ７／００－ ７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像した現実空間画像に図面データを重畳して表示する図面重畳装置であって、
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置と、利用者により保持され且つ前記撮像装置を支持する長尺の支持部材とを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えた
ことを特徴とする図面重畳装置。

【請求項2】

前記撮像装置はスタビライザーを介して前記支持部材に付設されている
ことを特徴とする請求項１記載の図面重畳装置。

【請求項3】

撮像した現実空間画像に図面データを重畳して表示する図面重畳装置であって、
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置と、前記撮像装置に印可される衝撃及び振動を吸収するスタビライザーとを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えた
ことを特徴とする図面重畳装置。

【請求項4】

前記図面重畳装置本体は、カメラのレンズ歪み情報に基づき現実空間画像又はレンダリング画像を補正する補正部を備えた
ことを特徴とする請求項１乃至３記載の図面重畳装置。

【請求項5】

撮像した現実空間画像に図面データを重畳して表示する図面重畳装置であって、
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置とを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部と、
カメラのレンズ歪み情報に基づき現実空間画像又はレンダリング画像を補正する補正部とを備えた
ことを特徴とする図面重畳装置。

【請求項6】

前記位置算出用情報取得手段は、前記カメラにより撮像された現実空間画像に対応し且つ現実空間に存在するものとの間の距離情報を画素毎に有する深度データを前記位置算出用情報として生成する深度データ生成部と、撮像装置の慣性情報を前記位置算出用情報として計測する慣性計測部とを備えた
ことを特徴とする請求項１乃至５何れか１項記載の図面重畳装置。

【請求項7】

コンピュータを、請求項４又は５記載の図面重畳装置本体の各部として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像した現実空間画像に図面データを重畳して表示する図面重畳システムに関する。

【背景技術】

【0002】

鋼構造物を含む土木構造物の出来型について、誤り（構造物の構築忘れ、位置間違い等）に気づかずに後工程に流れてしまい、その回復にコスト時間を要している。従来、検査工程で、人力により構造物を巻き尺等の計測道具で計測し、設計図と照らし合わせて、その整合を確かめている。

【0003】

しかしこの方法には、ヒューマンエラーを誘発する要素が多数含まれていることが、この課題の根本原因である。すなわち、計測位置（対象）を計測者自身が選択する必要があるが、担保しようとする計測結果に対して適切な計測対象となっているかは、計測者自身の能力に委ねられている。また、計測時の基準点の確かさが、精度の決め手になるが、これも計測者自身の能力に委ねられている。また、単純な計測ミス（計測値の読みミス）や単純な計測忘れもありうる。

【0004】

別の側面として、上記の通り計測者のスキルやモチベーションに依存することが多いのにもかかわらず、人手不足によるマンパワー不足やスキル低下が、これら課題の表面化に拍車をかけている。

【0005】

そこで、近年、これらの課題を解決するための方法として、コンピュータ等を利用した誤り検出方法が、いくつか提案されている。

【0006】

従来の方法としては、例えば写真測量がある。これは、対象構造物を２次元の光学写真として撮影し、これと３次元ＣＡＤ（Computer Aided Design）を元にした設計通りならばあるべき見え方を、重畳することで検出する方法である。この方法では、構造物を撮影しているカメラの座標・角度をいかに取得するかが課題となるが、基本的には、現実世界での座標を物理的に計測することで成立しているものが多い。

【0007】

また、他の方法としては、ＭＲ（Mixed Reality）技術を採用した事例が提案されている。特許文献１には、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＨＯＬＯＬＥＮＳ（登録商標）を用いたものが記載されている。このＨＯＬＯＬＥＮＳ（登録商標）は、半透明のスクリーンが人間頭部の目を覆うように設計された、ゴーグル状のハードウェアである。大きく分けて、光学系、環境認識系、システム系で構成されている。

【0008】

光学系は、３ＤＣＡＤを含む立体デジタル情報を、装着者が実際にみている光景に、重ね合わせて表示する。３Ｄ情報を表示するために、装着者にはその奥行きを認識させるため、右目用と左目用、それぞれ別のデータを投影させている。

【0009】

環境認識系は、ステレオレンズによる２次元画像のずれの比較による距離認識、赤外線レーザを照射することによる距離認識、慣性センサ（ＩＭＵ）による移動量推定などを担っている。

【先行技術文献】

【特許文献】

【0010】

【文献】特許第６４３８９９５号

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかし、上述の写真測量による誤り検出方法では、特別な機材を必要としないという利点はあるものの、カメラの撮影位置の取得に少なからず手間がかかる。また、レンズの歪みもさることながら、３ＤＣＡＤ上の見え方との調整にも手間がかかる。このことから、これを実施するためには計測者には画像処理を含むスキルが必要になる上、実施のためにはある程度の時間がかかるので、必ずしも課題を十分に解決できるとは言えない。

【0012】

一方、上記特許文献１に記載の方法は、計測者には特別なスキルは必要なく、また重畳時には自動調整して表示されるので、時間もかからず、課題を解決しうる技術である。しかし、特許文献１に記載のものは、計測者の頭部に装着して使用されるものであり、計測作業が一人の者に限定されてしまい他の者は計測状況を把握できないという問題がある。

【0013】

そこで、計測状況について計測者以外の者が観察することや記録することを目的として、ゴーグルにタブレットなどの外部装置を別途接続することが考えられる。この場合、外部装置は、ゴーグルから、当該ゴーグルに設けられているカメラで撮像された画像データと、前記立体デジタル情報から算出した右目用又は左目用のデータとを取得する。そして、外部装置は、ゴーグルから取得した前記画像データに前記右目用又は左目用のデータを重畳して表示させるとともに、必要に応じて当該重畳画像を所定の記憶手段に記憶する。しかしながら、特許文献１に記載のゴーグルは、撮像用のカメラが計測者の右目と左目との中間位置近傍に配置されている一方、重畳用のデータは右目位置又は左目位置用に算出されている。このため、カメラで撮像した画像データと算出した重畳用データにずれが生じてしまうという問題がある。土木構造物の計測では、計測対象が数十ｍを超えるような規模の大きな構造物であっても、計測精度はｍｍ単位が必要である。このため、上述のようなずれの発生は非常に大きな問題である。

【0014】

また、特許文献１に記載のものは、計測者の頭部に装着するものであり、計測者が計測対象を準近接状態で目視する必要がある。しかし、土木構造物は計測者が容易にアクセスできる場所から必ずしも肉眼で確認できるとは限らない。すなわち、足場を設けなければ確認できない高いところや、床面レベルの低い所からしか確認できないことも多く、目視できるようにするためには、段取りが必要になるという問題がある。また、特許文献１に記載のものは、ゴーグルが撮影時に衝撃や振動を受けやすいため撮像画像や計測信号にぶれが生じ、これにより空間認識処理や位置認識処理に支障が生じる場合がある。

【0015】

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、図面データの重畳精度が高く、土木構造物の施工誤り検査を容易且つ確実に実施できる利便性の高い図面重畳装置を提供することにある。

【課題を解決するための手段】

【0016】

上記目的を達成するために、本願発明は、撮像した現実空間画像に図面データを重畳して表示する図面重畳装置であって、図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置とを備え、前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、前記図面重畳装置本体は、構造物の設計図である図面データを記憶する図面データ記憶部と、前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えたことを特徴とする。

【0017】

本願発明の好適な態様としては、さらに、利用者により保持され且つ前記撮像装置を支持する長尺の支持部材を備えたものが挙げられる。また、本願発明の好適な他の態様としては、さらに、前記撮像装置に印可される衝撃及び振動を吸収するスタビライザーを備えたものが挙げられる。また、本願発明の好適な他の態様としては、さらに、カメラのレンズ歪み情報に基づき現実空間画像又はレンダリング画像を補正する補正部を備えたものが挙げられる。また、本願発明の好適な他の態様としては、前記位置算出用情報取得手段は、前記カメラにより撮像された現実空間画像に対応し且つ現実空間に存在するものとの間の距離情報を画素毎に有する深度データを前記位置算出用情報として生成する深度データ生成部と、撮像装置の慣性情報を前記位置算出用情報として計測する慣性計測部とを備えたもの挙げられる。

【発明の効果】

【0018】

本発明によれば、図面重畳装置本体と撮像装置が分離されているので、撮像装置のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。また、本発明によれば、現実空間の撮像を撮像装置に含まれる一台のカメラで行っているので、重畳表示制御部における図面データの重畳精度が向上する。

【0019】

特に、支持部材を備えた図面重畳装置によれば、撮像装置のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。また、スタビライザーを備えた図面重畳装置によれば、撮像装置のぶれが少なく且つ位置が安定するので、焦点位置及び方向の算出処理を高精度に実施可能になるとともに、ブレが少なく見やすい現実空間画像及び重畳画像を得ることができる。また、レンズ歪みを補正する補正部を図面重畳装置によれば、図面データをレンダリングして得られたレンダリング画像と現実空間画像とのずれが軽減されるので、図面データの重畳精度が向上する。

【図面の簡単な説明】

【0020】

【図1】第１の実施の形態に係る図面重畳装置の全体構成図

【図2】深度カメラの機能ブロック図

【図3】図面重畳装置本体の機能ブロック図

【図4】位置算出部の動作を説明するフローチャート

【図5】現実空間画像の一例

【図6】重畳画像の一例

【図7】第２の実施の形態に係る図面重畳装置本体の機能ブロック図

【図8】第２の実施の形態に係る図面重畳装置本体の機能ブロック図

【発明を実施するための形態】

【0021】

（第１の実施の形態）
本発明の第１の実施の形態に係る図面重畳装置について図面を参照して説明する。図１は第１の実施の形態に係る図面重畳装置の全体構成図、図２は深度カメラの機能ブロック図、図３は図面重畳装置本体の機能ブロック図である。

【0022】

本実施の形態に係る図面重畳装置１は、図１に示すように、それぞれ別筐体として設けられた、図面重畳装置本体１００と、撮像装置である深度カメラ２００とを備えている。図面重畳装置本体１００と深度カメラ２００は所定の通信ケーブル３００によりデータの授受が可能に接続されている。また、本実施の形態に係る図面重畳装置１は、利用者により保持され且つ深度カメラ２００を支持する長尺の支持部材である支持具４００を備えている。

【0023】

図面重畳装置本体１００は、利用者により携行されるコンピュータにプログラムをインストールすることにより構成される。図面重畳装置本体１００は、少なくとも液晶ディスプレイや有機ＥＬディスプレイなどの表示装置を備えている。典型的には、図面重畳装置本体１００は、タブレット端末と呼ばれる高機能携帯通信端末により構成される。図面重畳装置本体１００の構成については後に詳述する。

【0024】

深度カメラ２００は、デプスカメラと呼ばれ深度データを含む画像情報を撮像可能な撮像装置である。深度カメラ２００は、図２に示すように、現実空間の二次元画像を撮像する一台の一眼の光学カメラ２１０と、前記光学カメラ２１０により撮像された現実空間画像に対応し且つ現実空間に存在するものとの間の距離情報を画素毎に有する深度データを生成する深度データ生成部２２０と、深度カメラ２００の慣性情報を計測する慣性計測部２３０と、通信インタフェイス部２４０とを備えている。

【0025】

光学カメラ２１０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の周知の撮像素子２１１及び一眼の光学レンズ２１２を備えており、可視光線領域における現実空間の二次元画像を取得し、現実空間画像として通信インタフェイス部２４０を介して図面重畳装置本体１００に所定のフレームレートで出力する。光学カメラ２１０は、照明手段として、可視光線領域の光を対象物に照査する可視光線照射部を備えていてもよい。

【0026】

深度データ生成部２２０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子２２１及び光学レンズ２２２を左右一対備えており、赤外線領域における画像を取得する。深度データ生成部２２０は、各撮像素子２２１により取得した画像の視差及び／又は赤外線の到達時間等を利用して画素毎に対象物との距離データ、すなわち深度データを生成し、通信インタフェイス部２４０を介して所定のフレームレートで図面重畳装置本体１００に出力する。深度データ生成部２２０の撮像方向・画角・レンズ倍率等は光学カメラ２１０と一致している。また、深度データ生成部２２０が出力する深度データの解像度（画素数）は、光学カメラ２１０が出力する現実空間画像の解像度（画素数）と一致している。この深度データは、光学カメラ２１０の焦点位置（光学レンズ２１２の焦点位置）及び方向を検出するための位置算出用情報の１つとして用いられる。

【0027】

また、深度データ生成部２２０は、赤外線を対象物に対して照射する赤外線照射部２２３を備えている。深度データ生成部２２０は、赤外線照射部２２３を用いて、対象物に対して所定のパターン（例えばドット模様）を照射することができる。深度データ生成部２２０は、深度データを生成するに際して、撮像された画像に含まれるパターンの状況を考慮することができる。

【0028】

慣性計測部２３０は、ＩＭＵ（Inertial Measurement Unit）装置と呼ばれ、深度カメラ２００の方向及び運動状況を検出する装置である。慣性計測部２３０は、上下・左右・前後という３方向の加速度センサと、ＸＹＺ軸という３軸の角速度センサを備えており、３次元の角速度と加速度を検出することができる。慣性計測部２３０は、検出したデータを慣性情報として通信インタフェイス部２４０を介して図面重畳装置本体１００に出力する。この慣性情報は、光学カメラ２１０の焦点位置（光学レンズ２１２の焦点位置）及び方向を検出するための位置算出用情報の１つとして用いられる。慣性計測部２３０は、精度や信頼性の向上のため、圧力計、流量計、ＧＮＳＳ（Global Navigation Satellite System）センサなど別種類のセンサを備えていてもよい。

【0029】

通信インタフェイス部２４０は、図面重畳装置本体１００とのインタフェイス部である。通信インタフェイス部２４０の通信規格は不問であり、無線通信であっても有線通信であってもよい。

【0030】

図面重畳装置本体１００は、図３に示すように、図面データ記憶部１１０と、位置算出部１２０と、重畳表示制御部１３０と、履歴記憶部１４０と、入力装置１５０と、表示装置１６０と、通信インタフェイス部１７０とを備えている。

【0031】

図面データ記憶部１１０は、検査対象である構造物の設計図である図面データを記憶する。図面データは、図示しない他のＣＡＤ装置等で生成され、図面重畳装置本体１００にインストールされる。図面データの規格やフォーマットは不問である。本実施の形態では、図面データは、表示装置１６０に構造物をワイヤーフレームで表示可能なものである。図面データは、構造物の名称、型番、寸法などの付加情報を含むことができる。また図面データは、構造物のテクスチャを付加情報として含むことができる。

【0032】

位置算出部１２０は、自己位置推定と地図作成を同時に行うＳＬＡＭ（Simultaneously Localization and Mapping）技術を用いて、深度カメラ２００から取得した現実空間画像、深度データ、慣性情報及び図面データ記憶部１１０に記憶された図面データに基づき深度カメラ２００の現在位置及び方向、より詳しくは深度カメラ２００の光学カメラ２１０の焦点位置及び方向を算出する。位置算出部１２０の動作について図４のフローチャートを参照して説明する。

【0033】

図４に示すように、位置算出部１２０は、まず、深度カメラ２００から取得した慣性情報に基づき深度カメラ２００の現在位置及び方向、より詳しくは深度カメラ２００の光学カメラ２１０の現在の焦点位置及び方向を算出する（ステップＳ１）。ここで、位置算出部１２０は、入力装置１５０を利用して利用者が入力した原点位置及び方向と、慣性情報に基づき算出した原点位置からの相対的位置及び方向に基づき、現在位置及び方向を算出する。

【0034】

次に、位置算出部１２０は、図面データ記憶部１１０に記憶された図面データに基づき、前記ステップＳ１で算出した深度カメラ２００の光学カメラ２１０の現在の焦点位置及び方向を基準とした仮想空間画像、すなわち当該現在の焦点位置及び方向から見た図面データに係る構造物についての仮想的な画像を算出する（ステップＳ２）。

【0035】

次に、位置算出部１２０は、前記ステップＳ２で算出した仮想空間画像と、深度カメラ２００から取得した現実空間画像及び深度データとに基づき、両者の特徴点位置を比較し、仮想空間と現実空間とのずれ量を算出し、このずれ量に基づき前記ステップＳ１で算出した現在位置及び方向を補正する（ステップＳ３）。

【0036】

重畳表示制御部１３０は、位置算出部１２０により算出された深度カメラ２００の光学カメラ２１０の現在の焦点位置及び方向を基準として図面データ記憶部１１０に記憶された図面データをレンダリングし、レンダリング画像を現実空間画像に重畳して表示装置１６０に出力する。ここで、重畳表示の態様は不問である。重畳表示の対象とする図面データは、現実画像では構造物の背面等にあり現在位置からは視認できない図面データを含んでもよいし、視認できる図面データのみとしてもよいし、両者を適宜切り替え可能としてもよい。また、本実施の形態では、構造物をワイヤーフレームで重畳表示するようにした。また、図面データが付加情報を含んでいる場合、当該付加情報も併せて重畳表示するようにしてもよい。

【0037】

図５に現実空間撮像の一例、図６に重畳画像の一例を示す。図５及び図６に示すように、現実空間画像９００には構造物９０１，９０２が含まれている。重畳画像は、図６に示すように、図面データがワイヤーフレームとして現実空間画像９００に重畳されている。図６では、ワイヤーフレームの一部が現実の構造物と一致していない例を示している。すなわち、図６では、図５に示す構造部９０１については図面データに基づくワイヤーフレーム１６１と一致している。一方、図５に示す構造物９０２については図面データに基づくワイヤーフレーム１６２と一致していない。これは、何らかの施工誤りにより、現実の構造物９０２が設計図面と異なっていることを意味する。

【0038】

履歴記憶部１４０は、深度カメラ２００から取得した現実空間画像、及び、重畳表示制御部１３０から出力された重畳画像の少なくとも一方又は双方を履歴情報として記録する。履歴記憶部１４０は、さらに、深度カメラ２００から取得した深度データ、慣性情報を履歴情報として記録することができる。

【0039】

入力装置１５０は利用者から各種情報を入力する周知の装置である。入力装置１５０としてはタッチパネル、マウス、トラックボール等のポインティングデバイスが挙げられる。表示装置１６０は、各種情報を表示する周知の表示手段であり、例えばＬＣＤディスプレイや有機ＥＬディスプレイなどにより構成される。通信インタフェイス部１７０は、深度カメラ２００とのインタフェイス部であり、深度カメラ２００の通信インタフェイス部２４０と同一の通信規格である。入力装置１５０、表示装置１６０、通信インタフェイス部１７０は、図面重畳装置本体１００をタブレット端末などの高機能携帯通信端末により構成する場合、当該端末に備えられているものを用いることができる。

【0040】

通信ケーブル３００は、図面重畳装置本体１００と深度カメラ２００との間でデータの送受信を可能にするための通信媒体であり、図面重畳装置本体１００の通信インタフェイス部１７０及び深度カメラ２００の通信インタフェイス部２４０の通信規格に適合する。

【0041】

支持具４００は、先端部に深度カメラ２００を着脱自在に付設可能に構成された長尺の棒状部材を備えている。本実施の形態では、深度カメラ２００はスタビライザー４５０を介して支持具４００に付設されている。スタビライザー４５０は、支持具４００及び支持具４００を介して深度カメラ２００に印可される衝撃や振動を吸収して深度カメラ２００の焦点位置や方向を安定させる機能を有する。スタビライザー４５０は、機械式であっても電動式であってもよい。スタビライザー４５０を介することにより、深度カメラ２００による現実空間画像、深度データ、慣性情報のぶれや急峻な変化を防止できる。前述したように、図面重畳装置本体１００の位置算出部１２０はＳＬＡＭ技術を利用した位置算出を行っているが、当該ＳＬＡＭ技術を用いた位置算出では画像に含まれる特徴点を追跡する処理を行っている。このため、急峻なデータ変化があると正確な位置及び方向の算出に失敗する場合が考えられる。したがって、スタビライザー４５０は正確且つ安定的な計測に有効である。

【0042】

また、支持具４００は、スタビライザー４５０を設けることなく、例えば周知の雲台を用いて深度カメラ２００を付設するように構成してもよい。さらに、支持具４００は、モータ等の駆動手段により深度カメラ２００の方向を変えるように構成してもよい。この場合、駆動手段はスタビライザー４５０の一部であってもよい。

【0043】

支持具４００の他端は、利用者が握りやすいよう把手４０１が設けられている。支持具４００は、その長さを変えられるよう構成することができる。なお、図面重畳装置１を利用する際には、深度カメラ２００を支持具４００に取り付けていてもよいし、支持具４００から深度カメラ２００から取り外していてもよい。

【0044】

本実施の形態に係る図面重畳装置１によれば、図面重畳装置本体１００と深度カメラ２００が分離されているので、深度カメラ２００のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。

【0045】

また、本実施の形態に係る図面重畳装置１によれば、深度カメラ２００の焦点位置及び方向を算出する際に、深度カメラ２００から取得した現実空間画像、深度データ、慣性情報だけでなく図面データも用いるので、図面データの重畳精度が向上する。

【0046】

また、本実施の形態に係る図面重畳装置１によれば、現実空間の撮像を撮像装置に含まれる一台の光学カメラ２１０で行っているので、重畳表示制御部１３０における図面データの重畳精度が向上する。

【0047】

（第２の実施の形態）
本発明の第２の実施の形態に係る図面重畳装置について図面を参照して説明する。図７は第２の実施の形態に係る図面重畳装置本体の機能ブロック図である。本実施の形態が第１の実施の形態と異なる点は、カメラのレンズ歪みに応じた補正処理を行う点にある。他の点については第１の実施の形態と同様なので、ここでは相違点のみを説明する。

【0048】

一般的に、カメラで撮像して得られた画像データは、カメラレンズ固有の歪みにより歪みが生じる。典型的な例では、矩形の対象物を撮像すると、レンズの歪みにより画像データは対象物の稜線が樽型に歪む。そこで、本実施の形態に係る図面重畳装置本体１００ａは、図７に示すように、深度カメラ２００の光学カメラ２１０の光学レンズ２１２の歪みにより生じる現実空間画像の歪みを補正する補正処理部１８０と、補正処理部１８０で用いる補正用データを生成する校正処理部１９０とを備えている。

【0049】

校正処理部１９０は、深度カメラ２００の光学カメラ２１０を用いて、所定の撮像条件で、所定の校正用の撮像対象物が含まれる現実空間を撮像する。そして、校正処理部１９０は、撮像して得られた現実空間画像と、撮像対象物及び撮像条件に関する既知の各種情報とに基づき現実空間画像の補正用データを生成する。また、校正処理部１９０は、現実空間画像の補正用データと併せて、深度データの補正用データを生成する。この場合、校正処理部１９０は、現実空間画像の補正用データの生成処理と並行して、深度データ生成部２２０により校正用の撮像対象物が含まれる深度データを生成し、当該深度データと、撮像対象物及び撮像条件に関する既知の各種情報とに基づき深度データの補正用データを生成すればよい。校正処理部１９０により生成された補正用データは所定の記憶部（図示省略）に記憶する。

【0050】

校正処理部１９０による校正作業は、少なくとも深度カメラ２００の最初の使用時に実施すればよく、必要に応じて定期的に又は任意時に実施してもよい。

【0051】

補正処理部１８０は、校正処理部１９０により生成された前記現実空間画像の補正用データを用いて、深度カメラ２００の光学カメラ２１０で撮像された現実空間画像を補正する。同様に、補正処理部１８０は、校正処理部１９０により生成された前記深度データの補正用データを用いて、深度データ生成部２２０で生成された深度データを補正する。補正された現実空間画像は、位置算出部１２０及び重畳表示制御部１３０に送られる。また、補正された深度データは、位置算出部１２０に送られる。

【0052】

本実施の形態に係る図面重畳装置によれば、深度カメラ２００の光学カメラ２１０で撮像した現実空間画像に対してカメラレンズ固有の歪みに応じた補正を行っているので図面データの重畳精度が向上する。また、本実施の形態に係る図面重畳装置によれば、深度カメラ２００の深度データ生成部２２０で生成された深度データに対してもカメラレンズ固有の歪みに応じた補正を行っているので、深度カメラ２００の焦点位置及び方向の検出精度が向上する。これにより、図面データの重畳精度が更に向上する。他の作用効果については第１の実施の形態と同様である。

【0053】

なお、本実施の形態では、図面重畳装置本体１００ａに校正処理部１９０を実装していたが、他のコンピュータに校正処理部１９０を実装し、本実施の形態に係る深度カメラ２００を当該他のコンピュータに接続して校正処理を行ってもよい。この場合、補正用データは、所定の通信媒体又は記憶媒体を介して図面重畳装置本体１００ａの所定の記憶部（図示省略）に保存すればよい。

【0054】

（第３の実施の形態）
本発明の第３の実施の形態に係る図面重畳装置について図面を参照して説明する。図８は第３の実施の形態に係る図面重畳装置本体の機能ブロック図である。本実施の形態が第１の実施の形態と異なる点は、第２の実施の形態と同様に、カメラのレンズ歪みに応じた補正処理を行う点にある。ただし、第２の実施の形態とは補正の対象が異なる。他の点については第１及び第２の実施の形態と同様なので、ここでは相違点のみを説明する。

【0055】

本実施の形態に係る図面重畳装置本体１００ｂは、図８に示すように、補正処理で用いる補正用データを生成する校正処理部１９０ｂを備えている。

【0056】

校正処理部１９０ｂは、第２の実施の形態と同様に、深度カメラ２００の光学カメラ２１０を用いて、所定の撮像条件で、所定の校正用の撮像対象物が含まれる現実空間を撮像する。そして、校正処理部１９０ｂは、撮像して得られた現実空間画像と、撮像対象物及び撮像条件に関する既知の各種情報とに補正用データを生成する。校正処理部１９０ｂにより生成された補正用データは所定の記憶部（図示省略）に記憶するとともに、位置算出部１２０ｂ及び重畳表示制御部１３０ｂに送られる。

【0057】

位置算出部１２０ｂの主な機能は、第１の実施形態と同様である。ただし、本実施の形態に係る位置算出部１２０ｂは、図面データ記憶部１１０に記憶された図面データに基づき、現在位置及び方向での仮想空間画像、すなわち当該現在位置及び方向から見た図面データに係る構造物についての仮想的な画像を算出した際に、補正用データを用いて、仮想空間画像を現実空間画像の歪みと同じ様に歪ませるよう補正する処理機能を有する点で、第１の実施の形態と異なる。

【0058】

重畳表示制御部１３０ｂの主な機能は、第１の実施形態と同様である。ただし、本実施の形態に係る重畳表示制御部１３０ｂは、算出された現在の焦点位置及び方向を基準として図面データ記憶部１１０に記憶された図面データをレンダリングした際に、補正用データを用いて、レンダリング画像を現実空間画像の歪みと同じ様に歪ませるよう補正する処理機能を有する点で、第１の実施の形態と異なる。

【0059】

本実施の形態に係る図面重畳装置によれば、図面データのレンダリングの際にカメラレンズ固有の歪みに応じた補正を行っているので図面データの重畳精度が向上する。他の作用効果については第１の実施の形態と同様である。

【0060】

なお、本実施の形態では、図面重畳装置本体１００ｂに校正処理部１９０ｂを実装していたが、他のコンピュータに校正処理部１９０ｂを実装し、本実施の形態に係る深度カメラ２００を当該他のコンピュータに接続して、校正処理を行ってもよい。この場合、補正用データは、所定の通信媒体又は記憶媒体を介して図面重畳装置本体１００ｂの所定の記憶部（図示省略）に保存すればよい。

【0061】

以上、本発明の第１～第３の実施の形態に係る図面重畳装置ついて詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。

【0062】

例えば、上記実施の形態では、図面重畳装置本体１００と深度カメラ２００とを有線通信により接続していたが無線通信により接続するようにしてもよい。

【符号の説明】

【0063】

１…図面重畳装置
１００，１００ａ，１００ｂ…図面重畳装置本体
１１０…図面データ記憶部
１２０，１２０ｂ…位置算出部
１３０，１３０ｂ…重畳表示制御部
１４０…履歴記憶部
１５０…入力装置
１６０…表示装置
１７０…通信インタフェイス部
１８０…補正処理部
１９０，１９０ｂ…校正処理部
２００…深度カメラ
２１０…光学カメラ
２１１…撮像素子
２１２…光学レンズ
２２０…深度データ生成部
２２１…撮像素子
２２２…光学レンズ
２２２…赤外線照射部
２３０…慣性計測部
２４０…通信インタフェイス部
３００…通信ケーブル
４００…支持具
４０１…把手
４５０…スタビライザー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】