特許 7403273 画像処理装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-14

(45)【発行日】2023-12-22

(54)【発明の名称】画像処理装置、及び画像処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231215BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 10

(21)【出願番号】P 2019189556

(22)【出願日】2019-10-16

(65)【公開番号】P2021064267

(43)【公開日】2021-04-22

【審査請求日】2022-07-08

(73)【特許権者】

【識別番号】390014568

【氏名又は名称】東芝プラントシステム株式会社

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100124372

【弁理士】

【氏名又は名称】山ノ井 傑

(74)【代理人】

【識別番号】100125151

【弁理士】

【氏名又は名称】新畠 弘之

(72)【発明者】

【氏名】野本 寛幸

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０１７－１９１３５１（ＪＰ，Ａ）

【文献】特開２０１４－２２９０５７（ＪＰ，Ａ）

【文献】特開２０１８－１８０８６８（ＪＰ，Ａ）

【文献】特開２０１７－１６８０７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う位置合わせ部と、
前記仮想オブジェクトと、前記現実空間内の設計部材に基づき生成された３次元部材データとの差分処理を行い、不足する領域データおよび余剰するデータ領域それぞれを第２仮想オブジェクトとして生成する差分処理部と、
前記位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記第２仮想オブジェクトの画像を生成する画像処理部と、
前記現実空間画像と前記第２仮想オブジェクトとを重畳表示する表示部と、
を備える画像処理装置。

【請求項2】

前記現実空間内の前記設計部材を３次元部材データとして３次元計測する３次元計測部と、を更に備え、
前記差分処理部は、前記３次元部材データを用いて、前記第２仮想オブジェクトを生成する、請求項１に記載の画像処理装置。

【請求項3】

前記画像処理部は、前記位置合わせに基づき、前記使用者の視点位置から観察される前記現実空間画像に対応させて、前記３次元部材データの３次元部材オブジェクトを生成し、
前記表示部は、前記現実空間画像と前記３次元部材オブジェクトとを重畳表示する、請求項１に記載の画像処理装置。

【請求項4】

前記差分処理部は、前記現実空間内の前記仮想オブジェクトが配置される空間から所定範囲内の前記３次元部材データと、前記仮想オブジェクトとの差分処理を行い、過不足する領域データを前記第２仮想オブジェクトとして生成する、請求項１乃至３のいずれか一項に記載の画像処理装置。

【請求項5】

前記差分処理部は、前記仮想オブジェクトに関連付けられた前記現実空間の座標系における位置情報に基づき、前記所定範囲の前記３次元部材データを抽出する、請求項４に記載の画像処理装置。

【請求項6】

前記画像処理部は、前記位置合わせに基づき、前記使用者の視点位置から観察される前記現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成し、
前記表示部は、前記現実空間画像と前記仮想オブジェクトとを重畳表示する、請求項１乃至５のいずれか一項に記載の画像処理装置。

【請求項7】

前記現実空間に配置済みの部材の設計データに基づき前記設計部材を前記３次元モデル空間に配置する設計部と、
前記設計部材を前記仮想オブジェクトに変換する変換部と、を更に備え、
前記画像処理部は、前記配置済みの部材の設計データに基づく前記仮想オブジェクトを重畳表示する、請求項６に記載の画像処理装置。

【請求項8】

前記設計部を操作する入力操作部を更に有し、
前記変換部は、前記入力操作部を介して前記設計部により生成された前記設計部材を前記仮想オブジェクトに変換する、請求項７に記載の画像処理装置。

【請求項9】

前記表示部は、前記不足する領域データおよび余剰するデータ領域の第２仮想オブジェクトを互いに異なる色で表示する、請求項１乃至８のいずれか一項に記載の画像処理装置。

【請求項10】

コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う位置合わせ工程と、
前記仮想オブジェクトと、前記現実空間内の設計部材に基づき生成された３次元部材データとの差分処理を行い、不足する領域データおよび余剰するデータ領域それぞれを第２仮想オブジェクトとして生成する差分処理工程と、
前記位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記第２仮想オブジェクトの画像を生成する画像処理工程と、
前記現実空間画像と前記第２仮想オブジェクトとを重畳表示する表示工程と、
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

現実空間画像に仮想オブジェクトを重ねて表示する画像処理装置が知られている。一方で、施工現場では、３次元ＣＡＤシステムで設計された３次元の設計部材の情報を用いて２次元の施工用の施工図面を起こしている。

【0003】

ところが二次元の施工図面から３次元の設計部材を施工する場合に、人の認識ミスなどにより施工を間違ってしまう恐れがある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－９４１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、コンピュータ支援設計により設計された設計部材と現実空間に配置された設計部材との相違箇所を現実空間画像に重畳可能な画像処理装置、及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

本実施形態に係る画像処理装置は、位置合わせ部と、差分処理部と、画像処理部と、表示部と、を備える。位置合わせ部は、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。差分処理部は、仮想オブジェクトと、現実空間内の設計部材に基づき生成された３次元部材データとの差分を、第２仮想オブジェクトとして生成する。画像処理部は、位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される第２仮想オブジェクトの画像を生成する。表示部は、現実空間画像と第２仮想オブジェクトとを重畳表示する。

【発明の効果】

【0007】

本実施形態によれば、コンピュータ支援設計により設計された設計部材と現実空間に配置された設計部材との相違箇所を現実空間画像に重畳できる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る画像処理装置の構成を示すブロック図。

【図2】複数の計算メッシュで構成される計算格子を示す図。

【図3】設計部材に付与された属性情報を示す図。

【図4】設計処理部により生成された設計部材を模式的に示す図。

【図5】設計処理部により生成された既設のフランジ管の設計部材を模式的に示す図。

【図6】設計部材に基づく仮想オブジェクトの断面図。

【図7】現実空間内のフランジ管を示す図。

【図8】現実空間内の設計部材に基づく３次元部材データの断面図。

【図9】設計部材に基づく仮想オブジェクトを現実空間に重畳した断面図。

【図10】Ｌ型アングル材の２次仮想オブジェクトを現実空間に重畳した図。

【図11】画像処理装置における画像処理の流れを示すフローチャート。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態に係る画像処理装置、及び画像処理方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

【0010】

（一実施形態）
図１は、本実施形態に係る画像処理装置１の構成を示すブロック図である。図１を用いて、画像処理装置１の構成例を説明する。図１に示すように、本実施形態に係る画像処理装置１は、カメラで撮影した現実空間と３次元モデル空間とを位置合わせし、現実空間画像と仮想オブジェクトの画像とを重畳表示する装置である。この画像処理装置１は、頭部装着映像部１０と、設計部２０と、表示部３０と、マーカ４０とを備えて構成されている。

【0011】

頭部装着映像部１０は、例えばウェアラブルコンピュータであり、操作者の頭部に装着する装置である。頭部装着映像部１０の詳細な構成は後述する。

【0012】

設計部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成され、設計空間の座標系に設計部材を配置する。この設計部２０は、例えばキャド（ＣＡＤ：ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｅｓｉｇｎ）であり、３次元ＣＡＤモデルを有する設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置する。この設計部２０は、属性情報付与部２０２と、設計処理部２０４と、入力操作部２０６と、を有する。

【0013】

属性情報付与部２０２は、後述の設計処理部２０４により生成する設計部材に属性情報を付与する。例えば、属性情報付与部２０２は、３次元ＣＡＤモデルを選択するための３次元ＣＡＤモデル属性情報を付与する。

【0014】

設計処理部２０４は、設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置する。この設計処理部２０４は、属性情報付与部２０２により付与された属性情報に基づき、設計部材を生成し、設計用の３次元モデル空間に配置する。例えば、設計処理部２０４は、属性情報付与部２０２により付与された３次元ＣＡＤモデル属性情報に基づき、設計用の３次元ＣＡＤモデルの中から設計部材を選択する。なお、属性情報付与部２０２および設計処理部２０４の詳細は後述する。

【0015】

入力操作部２０６は、設計部２０を含む頭部装着映像部１０の操作に必要となる情報を入力する。入力操作部２０６は、例えばキーボード、マウス、ポインティングデバイスなどにより構成される。また、入力操作部２０６は、仮想のキーボードやテンキーとして頭部装着映像部１０などに映し出し、使用可能である。

【0016】

表示部３０は、各種の情報を表示する。例えば、表示部３０は、設計部２０により生成された各種の情報を表示する。また、表示部３０は、後述する出力処理部１１０ｄの出力信号を用いて現実空間画像と仮想オブジェクトとを重畳表示することも可能である。例えば、表示部３０は、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等によって構成される。

【0017】

マーカ４０は、２次元の幾何模様を有するマーカであり、現実空間の座標系と、設計用の３次元モデル空間の座標系とを対応付けるために用いられる。

【0018】

ここで、頭部装着映像部１０の詳細な構成を説明する。頭部装着映像部１０は、ＣＰＵを含んで構成され、複数のカメラ１０２と、マイク１０４と、３次元計測部１０５と、入力処理部１０６と、データ蓄積部１０７と、認識処理部１０８と、画像制御処理部１１０と、液晶画面１１２と、スピーカ１１４とを有している。

【0019】

カメラ１０２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）カメラのようなカラーデジタルカメラによって構成される。カメラ１０２毎は、現実空間の現実空間画像を画像データとして出力する。カメラ１０２が撮像した画像データは入力処理部１０６を介して画像制御処理部１１０に出力される。

【0020】

マイク１０４は、操作者の発生する例えばジェスチャとしての音声を集音し、音声データを出力する。マイク１０４は、集音した音声データを、入力処理部１０６を介して音声認識処理部１０８ａに出力する。

【0021】

３次元計測部１０５は、例えば３Ｄレーザ計測装置であり、非接触計測により、対象構造物の表面（例えば建造物の屋内（通路や部屋）であれば内壁面）の位置、および設計部材の３次元部材データ（アズビルトデータ）を計測する装置である。

【0022】

例えば３次元計測部１０５が３Ｄレーザ計測装置の場合、現実空間内の基準位置（例えば基準マーク）に３Ｄレーザ計測装置を配置する。そして３Ｄレーザ計測装置は、対象構造物に向かってレーザを走査する。次に３Ｄレーザ計測装置は対象構造物で反射したレーザを受光し、基準位置からの距離を計測して、レーザの出力方向と距離から対象構造物の表面点の３次元座標を算出する。

【0023】

すなわち、３次元計測部１０５は、非接触計測により自身が設置されている基準位置を基に、対象構造物の表面上までの距離を測定し、それらの形状データ（例えば、点群データ）を得る。形状データは、レーザ計測により測定された空間の範囲を示す点群データであり、例えば物が置かれていない箱形の室内では、箱形の形状を示すものとなる。或いは設計部材が配置されている場合には、設計部材の形状をした３次元部材データと箱形の形状とを示すものとなる。これらの形状データは、データ蓄積部１０７に蓄積される。この場合、現実空間内の設計部材の全範囲を測定するために、基準位置を複数用いることが可能である。

【0024】

３次元計測部１０５としては、３Ｄレーザ以外にも光から電波までの指向性を持つ電磁波測定装置、超音波測定装置、およびステレオビジョン測定装置などの機器を用いることができる。なお、３次元計測部１０５は、頭部装着映像部１０に装着して使用してもよい。この場合には、後述の３次元空間認識処理部１０８ｃの位置姿勢情報を用いて基点座標及び座標軸を時系列に決めることが可能である。

【0025】

入力処理部１０６は、位置合わせ部１０６ａと、座標統合部１０６ｂと、変換部１０６ｃと、を有する。
位置合わせ部１０６ａは、設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。より具体的には、カメラ１０２が撮像したマーカ４０の情報を用いて、頭部装着映像部１０の位置姿勢を認識し、３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。例えば、本実施形態に係るマーカ４０は、３次元モデル空間の座標系の座標原点に配置されている。このため、マーカ４０は、３次元モデル空間の座標系の座標原点に対応する現実空間の位置に配置され、マーカ４０の撮像画像データに基づき、頭部装着映像部１０の位置姿勢が認識される。

【0026】

座標統合部１０６ｂは、基準位置からスキャンして計測されたローカル座標系の点群データを現実空間の座標系に統合し、３次元部材データを含む統合形状データを生成する。なお、現実空間内の異なる計測位置における複数の点群データが得られた場合、各々の基準位置で計測されたローカル座標系の複数の点群データを統合し、現実空間の座標系の統合形状データを生成する。この際に、３次元部材データは、現実空間の座標系に対応付けられる。

【0027】

変換部１０６ｃは、設計処理部２０４により生成された設計部材の情報を仮想オブジェクトに変換する。より、具体的には、変換部１０６ｃは、３次元モデル空間に配置された設計部材の情報、例えば３次元ＣＡＤモデルの情報を用いて、設計部材を３次元モデル空間に配置された仮想オブジェクトに変換する。

【0028】

データ蓄積部１０７は、例えばハードディスクドライブ装置やメモリなどで構成される。データ蓄積部１０７には、上述のように、座標統合部１０６ｂを介して取得された形状データが蓄積される。また、座標統合部１０６ｂにより統合された現実空間の座標系に関連付けられた３次元部材データなどを含む統合形状データなどが蓄積される。

【0029】

認識処理部１０８は、音声認識処理部１０８ａと、画像認識処理部１０８ｂと、３次元空間認識処理部１０８ｃと、を有する。
音声認識処理部１０８ａは、マイク１０４が集音した音声データを指示コードに変換する。例えば、頭部装着映像部１０は、この指示コードに従った制御動作を行う。

【0030】

画像認識処理部１０８ｂは、重畳表示された画像内における現実空間画像内の座標と、仮想オブジェクトの画像上における座標との間の距離情報を取得する。

【0031】

３次元空間認識処理部１０８ｃは、例えばカメラ１０２が撮像した画像データに基づき、現実空間内の画像から抽出された自然特徴点の３次元座標をＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）により算出し、ランドマークデータとして記憶する。そして、３次元空間認識処理部１０８ｃは、ランドマークデータとカメラ１０２が撮像した画像データから得られる自然特徴点との対応関係に基づき、頭部装着映像部１０の位置姿勢を推定する。このように、マーカ４０が撮像されない場合にも、現実空間内の座標系における頭部装着映像部１０の位置姿勢、及び頭部装着映像部１０に装着時の３次元計測部１０５の基準座標の推定が可能となる。

【0032】

画像処理制御部１１０は、制御部１１０ａと、差分処理部１１０ｂと、画像処理部１１０ｃと、出力処理部１１０ｄとを有する。
制御部１１０ａは、画像処理装置１全体を制御する。

【0033】

差分処理部１１０ｂは、仮想オブジェクトと、仮想オブジェクトに対応する３次元部材データとの差分を第２仮想オブジェクトとして生成する。仮想オブジェクトには、位置合わせ部１０６ａによる座標系の位置合わせにより、現実空間内の座標系が属性情報として関連付けられている。差分処理部１１０ｂは、この属性情報を用いて、第２仮想オブジェクトを生成する。差分処理部１１０ｂの詳細は後述する。

【0034】

画像処理部１１０ｃは、位置合わせ部１０６ａによる位置合わせに基づき、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される第２仮想オブジェクト及び仮想オブジェクトの少なくとも一方の画像とを合成する。より具体的には、画像処理部１１０ｃは、位置合わせ部１０６ａによる位置合わせが終了した後には、３次元空間認識処理部１０８ｃにより推定される頭部装着映像部１０の位置姿勢に基づき、設計部材に基づき生成された仮想オブジェクト、及び差分処理部１１０ｂにより生成された第２仮想オブジェクトの位置及び形状を変更して、現実空間画像に重畳する。また、画像処理部１１０ｃは、例えば３次元部材データをメッシュ形状で示す３次元部材オブジェクトを生成し、現実空間画像に重畳する。この場合にも、３次元空間認識処理部１０８ｃにより推定される頭部装着映像部１０の位置姿勢に基づき、３次元部材オブジェクトの位置及び形状を変更して、現実空間画像に重畳する。

【0035】

出力処理部１１０ｄは、画像処理部１１０ｃなどから入力されたデータ形式を変換して、表示部３０、液晶画面１１２、及びスピーカ１１４に出力する。

【0036】

液晶画面１１２は、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される第２仮想オブジェクト及び仮想オブジェクトの少なくとも一方の画像とを重畳表示する。また、液晶画面１１２は、例えば３次元部材データの３次元部材オブジェクトなどを現実空間画像に重畳表示することが可能である。

【0037】

液晶画面１１２は、例えば頭部装着型ディスプレイである。また、液晶画面１１２を光学シースルー方式によって実現してもよい。例えば、光学シースルー型液晶ディスプレイに、観察者の視点の位置および姿勢に応じて生成した仮想オブジェクトの画像を表示することにより実現される。この場合には、現実空間の画像ではなく、実際の現実空間に重なるように仮想オブジェクトの画像が重畳される。

【0038】

なお、頭部装着映像部１０と、設計部２０との通信は無線通信でも有線通信でもよい。同様に、頭部装着映像部１０と、表示部３０との通信は無線通信でも有線通信でもよい。また、設計部２０を頭部装着映像部１０内に構成してもよい。さらにまた、頭部装着映像部１０と、３次元計測部１０５との通信も無線通信でも有線通信でもよい。

【0039】

また、頭部装着映像部１０を操作者が装着した状態で、設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置してもよい。すなわち、現場で設計した設計部材を仮想オブジェクトの画像として観察可能となる。この際に、設計支援ツールの操作には、入力操作部２０６を仮想のキーボードやテンキーとして頭部装着映像部１０などに映し出し、使用してもよい。このように、設計行為を行いながら、実際の現実空間に重なる設計部材の仮想オブジェクトを確認、検証、及び修正をすることが可能となり、設計効率をより上げることができる。これにより、従来であれば３Ｄレーザスキャン作業のプロセスが必要であったが、不要となり、大幅な工程短縮につなげることも可能となる。

【0040】

スピーカ１１４は、認識処理部１０８による認識結果に基づく音声を出力する。例えば、音声認識処理部１０８ａで出力された指示コードに基づく音声を出力する。例えば、設計支援ツールに対して音声により指示することも可能である。

【0041】

ここで、図２～図５を用いて、属性情報付与部２０２および設計処理部２０４の詳細な構成を説明する。
図２は、モデル空間を示す格子点モデルと設計部材の配置を示す図である。図２に基づき、格子点モデル内の設計部材の配置を説明する。ここでは、３次元の格子点モデル３００の水平面の一部を示している。図２に示すように、属性情報付与部２０２は、施工対象となる現実空間の実際の寸法に基づき、施工対象となる現実空間に対応する３次元モデル空間として３次元の格子点モデル３００を生成する。座標Ｂ１～Ｂ３、及び座標Ｃ１～Ｃ３は格子点モデル３００の位置を示している。例えば、座標Ｂ１～Ｂ３、及び座標Ｃ１～Ｃ３は現実空間の通り芯の位置に対応している。また、マーカ位置Ｍ１は、位置合わせ部１０６ａにより座標空間の位置合わせを行う際にマーカ４０を配置する位置を示している。

【0042】

属性情報付与部２０２は、３次元モデル空間内に設計部材を配置する位置を属性情報として付与する。より具体的には、属性情報付与部２０２は、入力処理部１０６により指示された３次元の格子点モデル３００（図２）上の座標に基づき、設計部材を配置する位置を属性情報として付与する。例えば、属性情報付与部２０２は、入力処理部１０６により指示された３次元の格子点モデル３００（図２）上の通り芯の位置に対応させて、設計部材を配置する位置を属性情報として付与することも可能である。また、属性情報付与部２０２は、画像認識処理部１０８ｂにより取得された距離情報を用いて３次元のモデル空間内に設計部材を配置してもよい。

【0043】

図３は、設計部材に付与された属性情報を示す図である。図３を用いて、設計部材に付与された属性情報を説明する。図３に示すように、属性情報付与部２０２は、設計処理部２０４により生成される設計部材Ａ１～Ａ８に、部材の種別を示す属性情報も付与する。例えば、属性情報付与部２０２は、設計処理部２０４で生成可能な属性情報のデータとして、例えば径１００Ａの配管、径１００Ａのフランジ管などの情報を記憶している。そして、属性情報付与部２０２は、入力処理部１０６により指示された属性情報を設計部材Ａ１～Ａ８に付与する。

【0044】

設計部材Ａ４～Ａ８には、既に現実空間に配置されている設計部材Ｒ１～Ｒ５が属性情報として付与されている。すなわち、属性情報付与部２０２は、設計部材Ａ４～Ａ８の属性情報として現実空間に配置されている設計部材Ｒ１～Ｒ５を付与することが可能である。

【0045】

ここで、図４を用いて、３次元モデル空間内に配置される設計部材Ａ１～Ａ３の例を説明する。図４は、設計処理部２０４により生成された設計部材Ａ１～Ａ３を模式的に示す図である。図４に示すように、設計処理部２０４は、設計部材に付与された属性情報に基づき、３次元モデル空間内に設計部材Ａ１～Ａ３を生成する。より具体的には、設計処理部２０４は、設計部材に付与された３次元ＣＡＤモデルの情報及び位置情報を用いて、３次元モデル空間内に設計部材Ａ１～Ａ３を生成する。

【0046】

ここで、図５を用いて、既設の設計データに基づく設計部材Ａ４を説明する。図５は、設計処理部２０４により生成された既設のフランジ管Ｒ１の設計部材Ａ４を模式的に示す図である。図５に示すように、設計処理部２０４は、現実空間に本来施工されるべき設計部材Ｒ１の既設設計データに基づき設計部材Ａ４を３次元モデル空間に配置する。図5内には図示していないが、設計部材Ｒ２～Ｒ４の既設設計データに基づき設計部材Ａ５～Ａ７も同様に、３次元モデル空間に配置される。

【0047】

ここで、図６を用いて、設計部材Ａ４～Ａ７の仮想オブジェクトＺＡ４～ＺＡ７を説明する。図６は、変換部１０６ｃにより生成された仮想オブジェクトＺＡ４～ＺＡ７の仮想断面Ｚ１（図７）における断面を模式的に示す図である。仮想オブジェクトＺＡ４～ＺＡ７は設計部材Ａ４～Ａ７に対応する。図６に示すように、変換部１０６ｃは、現実空間に本来施工されるべき設計部材Ｒ１～Ｒ４の既設設計データに基づく仮想オブジェクトＺＡ４～ＺＡ７を３次元モデル空間に配置する。このように、変換部１０６ｃは、現実空間に本来施工されるべき部材に関しても３次元モデル空間内に仮想オブジェクトＺＡ４～ＺＡ７などとして配置することが可能である。

【0048】

ここで、図７を用いて、現実空間内のフランジ管Ｒ１の計測データを説明する。図７は、現実空間内のフランジ管Ｒ１を示す図である。上述の３次元計測部１０５は、例えばマーカＭ１と他の複数の基準位置などを基準座標として現実空間内のフランジ管Ｒ１などを計測し、座標統合部１０６ｂは、現実空間の座標系に対応付けられた３次元部材データを生成する。Ｚ１は、仮想断面である。なお、図７では、サポート鋼材Ｒ３、Ｒ４、Ｌ型アングル材Ｒ５の図示は、省略されている。

【0049】

ここで、図８を用いて、３次元部材データの例を説明する。図８は、現実空間内の設計部材Ｒ１、Ｒ３、Ｒ４に基づく３次元部材データＺＲ１、ＺＲ３、ＺＲ４の仮想断面Ｚ１における断面図を模式的に示す図である。このように、既に現実空間に配置されている設計部材Ｒ１、Ｒ３、Ｒ４などが３次元部材データＺＲ１、ＺＲ３、ＺＲ４として、座標統合部１０６ｂにより生成される。なお、図８では、設計部材Ｒ２は、施工ミスにより施工されていない例を示している。

【0050】

ここで、図３、図６及び図８を参照しつつ、図９及び１０を用いて差分処理部１１０ｂの処理の詳細例を説明する。図９は、設計部材Ｒ１～Ｒ４に基づく仮想オブジェクトＺＡ４～ＺＡ７を現実空間に重畳した仮想断面Ｚ１における断面図である。ＺＡ５（Ｒ２）は、第２仮想オブジェクトの例を示している。

【0051】

差分処理部１１０ｂは、データ蓄積部１０７に蓄積される３次元部材データを用いて、例えば仮想オブジェクトＺＡ５と３次元部材データＺＲ２との差分処理を行う。より具体的には、差分処理部１１０ｂは、仮想オブジェクトＺＡ５に対応する現実空間の座標系における３次元部材データＺＲ２を、データ蓄積部１０７から抽出する。次に、差分処理部１１０ｂは、３次元部材データＺＲ２は表面データであるので、表面データに包含される範囲に対して充填処理を行った充填データを生成する。そして、差分処理部１１０ｂは、仮想オブジェクトＺＡ５と、仮想オブジェクトＺＡ５に対応する充填データとの差分処理を行う。このように、差分処理部１１０ｂは、仮想オブジェクトＺＡ５に対して不足する３次元部材データＺＲ２の領域を仮想オブジェクトＺＡ５の２次仮想オブジェクトＺＡ５（Ｒ２）として演算する。なお、図８に示すように、３次元部材データＺＲ２は現実空間には存在しないので、充填データは０として処理される。

【0052】

差分処理部１１０ｂは、仮想オブジェクトＺＡ４に対応する設計部材Ｒ１しか現実空間に配置されていない場合、現実空間内の仮想オブジェクトＺＡ４が配置される空間から所定範囲の３次元部材データをデータ蓄積部１０７から抽出する。例えば、現実空間内の仮想オブジェクトＺＡ４が配置される空間から３０センチメートルの範囲を加えた領域内の３次元部材データをデータ蓄積部１０７から抽出する。次に、差分処理部１１０ｂは、３次元部材データは表面データであるので、表面データに包含される範囲に対して充填処理を行った充填データを生成する。そして、差分処理部１１０ｂは、仮想オブジェクトＺＡ４と充填データとの差分処理を行う。これにより、仮想オブジェクトＺＡ４に対して過不足する３次元部材データＺＲ１の領域を仮想オブジェクトＺＡ４の２次仮想オブジェクトとして演算できる。このように、差分処理部１１０ｂは、現実空間の仮想オブジェクトＺＡ４が配置される空間から所定範囲の３次元部材データと、仮想オブジェクトＺＡ４との差分処理を行い、過不足する領域データを第２仮想オブジェクトとして生成する。

【0053】

また、差分処理部１１０ｂは、図６に示すように、各仮想オブジェクトＺＡ４～ＺＡ７が接合している場合には、接合した仮想オブジェクトＺＡ４～ＺＡ７に対して上述の処理を行ってもよい。例えば、図３に示すように、設計の仕様上はサポート鋼材Ｒ２が、現実空間に配置されているはずである。しかし、図８に示すように、現実空間には、サポート鋼材Ｒ２が配置されていない。この場合、上述の処理を行うと、接合した仮想オブジェクトＺＡ４～ＺＡ７と、３次元部材データＺＲ１、ＺＲ３、ＺＲ４の充填データの差分が演算され、不足する領域データとして第２仮想オブジェクトＺＡ５（Ｒ２）が生成される。そして、出力処理部１１０ｄは、第２仮想オブジェクトＺＡ５（Ｒ２）を現実空間に重畳表示する画像信号を生成する。

【0054】

例えば、不足領域に対応する第２仮想オブジェクトＺＡ５（Ｒ２）は、他の仮想オブジェクトＺＡ４、ＺＡ６、ＺＡ７の色（例えば緑）と異なる色、例えば赤色で表示される。一方で、余剰する領域に対応する第２仮想オブジェクトは、他の仮想オブジェクトと異なる色、例えば青色で表示される。

【0055】

図１０は、Ｌ型アングル材Ｒ５が逆向きに付いている場合の差分処理例を示す図である。左上図が３次元部材データＺＲ１、ＺＲ５を示し、左下図が仮想オブジェクトＺＡ４、ＺＡ８を示し、右図が差分処理後の図を示す。右図に示すように、差分処理部１１０ｂは、各仮想オブジェクトＺＡ４、ＺＡ８が接合している場合には、接合した仮想オブジェクトＺＡ４、ＺＡ８に対して上述の差分処理を行う。この場合、上述の差分処理を行うと、接合した仮想オブジェクトＺＡ４、ＺＡ８と、３次元部材データＺＲ１、ＺＲ５の充填データの差分が演算され、不足する領域データとして第２仮想オブジェクトＺＡ８（Ｒ５）が生成される。そして、出力処理部１１０ｄは、第２仮想オブジェクトＺＡ８（Ｒ５）を現実空間に重畳表示する画像信号を生成する。

【0056】

このように、コンピュータ支援設計により設計された施工図内の設計部材に対応する仮想オブジェクトＺＡ４～ＺＡ８と、現実空間に配置された設計部材Ｒ１～Ｒ５との相違箇所を現実空間画像に第２仮想オブジェクトＺＡ５（Ｒ２）、ＺＡ８（Ｒ５）として重畳可能である。これにより、本来施工されるはずの施工図内の設計部材と、現実空間内の施工結果との相違箇所を現実空間内に、第２仮想オブジェクトＺＡ５（Ｒ２）、ＺＡ８（Ｒ５）として視覚化することができる。

【0057】

図１１は、画像処理装置１における画像処理の流れを示すフローチャートの一例である。
図１１に示すように、操作者は、属性情報付与部２０２により施工に用いる設計部材とマーカ４０の属性情報を入力する（ステップＳ１００）。操作者は、例えば表示部３０に表示される３次元モデル空間内に、設計部材を配置する位置に対応する座標を入力操作部２０６により指示する。また、操作者は、例えば表示部３０に表示される３次元ＣＡＤモデルの一覧の中から設計部材を選択する。属性情報付与部２０２は、これらの情報を設計部材の属性情報として付与する。この際に、３次元モデル空間にマーカ４０を配置する座標も設定される。

【0058】

次に、設計処理部２０４は、属性情報付与部２０２により付与された属性情報に基づき、設計部材を生成し、設計用の３次元モデル空間に配置する（ステップＳ１０２）。これらの設計部材は、例えば表示部３０に表示され、操作者により視認される。続けて、変換部１０６ｃは、設計処理部２０４により生成された設計部材の情報を仮想オブジェクトに変換する。これにより、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトが３次元モデル空間内に配置される。

【0059】

次に、３次元計測部１０５を基準位置に配置し、対象構造物に向かってレーザを走査し、設計部材の計測を行う（ステップＳ１０４）。３次元部材データなどは、データ蓄積部１０７に蓄積される。この際に、未計測の領域が存在する場合には、基準位置を変更し、計測を繰り返す。続けて、座標統合部１０６ｂは、計測された３次元部材データなどを現実空間の座標系に統合し、３次元部材データを含む統合形状データを生成する。

【0060】

次に、３次元モデル空間に設定されたマーカ４０の座標に対応する現実空間の位置にマーカ４０を配置し、カメラ１０２により撮像する（ステップＳ１０６）。続けて、位置合わせ部１０６ａは、撮像されたたマーカ４０の情報に基づき、３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う（ステップＳ１０８）。

【0061】

差分処理部１１０ｂは、現実空間の座標系に基づき、仮想オブジェクトと、仮想オブジェクトに対応する３次元部材データとの差分を第２仮想オブジェクトとして生成する（ステップＳ１１０）。

【0062】

次に、３次元空間認識処理部１０８ｃは、カメラ１０２が撮像した画像データから自然特徴点を取得し、ランドマークデータと自然特徴点との対応関係に基づき、頭部装着映像部１０の位置姿勢を推定する（ステップＳ１１２）。

【0063】

次に、画像処理部１１０ｃは、位置姿勢の推定結果に基づき、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される第２仮想オブジェクトの画像とを重畳し、出力処理部１１０ｄを介して液晶画面１１２及び表示部３０に表示する（ステップＳ１１４）。

【0064】

制御部１１０ａは、画像処理制御を継続する否かを判断する（ステップＳ１１６）。画像処理制御を継続する場合（ステップＳ１１６のＮＯ）、ステップＳ１１２からの処理を繰り返す。一方、画像処理制御を終了する場合（ステップＳ１１６のＹＥＳ）、全体処理を終了する。

【0065】

以上のように、本実施形態によれば、位置合わせ部１０６ａが、設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標と、現実空間の座標との位置合わせを行い、差分処理部１１０ｂが設計部材の仮想オブジェクトと、仮想オブジェクトに対応する現実空間内の３次元部材データとの差分を第２仮想オブジェクトとして生成する。そして、画像処理部１１０ｃが、位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される第２仮想オブジェクトの画像を生成する。これにより、本来施工されはずの設計部材と、現実空間内の施工結果との相違箇所を現実空間内に、第２仮想オブジェクトとして視覚化することができる。

【0066】

本実施形態による画像処理装置１におけるデータ処理方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、データ処理方法の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、データ処理方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0067】

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

【符号の説明】

【0068】

１：画像処理装置、１０：頭部装着映像部、２０：設計部、３０：表示部、４０：マーカ、１０５：３次元計測部、１０６ａ：位置合わせ部、１０６ｃ：変換部、１０８：認識処理部、１０８ｂ：画像認識処理部、１１０ｂ：差分処理部、１１０ｃ：画像処理部、２０６：入力操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】