特許 7098473 画像処理装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-01

(45)【発行日】2022-07-11

(54)【発明の名称】画像処理装置、及び画像処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220704BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 9

(21)【出願番号】P 2018147619

(22)【出願日】2018-08-06

(65)【公開番号】P2020024497

(43)【公開日】2020-02-13

【審査請求日】2018-08-06

【審判番号】

【審判請求日】2021-05-17

(73)【特許権者】

【識別番号】390014568

【氏名又は名称】東芝プラントシステム株式会社

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100125151

【弁理士】

【氏名又は名称】新畠 弘之

(72)【発明者】

【氏名】野本 寛幸

【合議体】

【審判長】五十嵐 努

【審判官】新井 寛

【審判官】木方 庸輔

(56)【参考文献】

【文献】特開２００５－１３５３５５（ＪＰ，Ａ）

【文献】特開２００７－２２８３１５（ＪＰ，Ａ）

【文献】特開２００６－０４８６３９（ＪＰ，Ａ）

【文献】特開２０１７－０５９２１３（ＪＰ，Ａ）

【文献】特開２０１４－１２３３７６（ＪＰ，Ａ）

【文献】特開２００１－２４９９８５（ＪＰ，Ａ）

【文献】特開２０１１－００８３５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 19/00 - 19/20

G06F 3/01

G06F 3/048- 3/0489

H04N 13/00 - 13/398

G06F 17/50

(57)【特許請求の範囲】

【請求項1】

施工対象となる現実空間の実際の寸法に基づき、前記施工対象となる前記現実空間に対応する３次元モデル空間を形成し、この３次元モデル空間の座標系の座標を示す３次元の格子点モデルを生成し、コンピュータ支援設計により設計された設計部材を前記３次元モデル空間内に配置すると共に、前記３次元モデル空間の座標系にマーカ配置座標を設定する設計部と、
前記設計部により配置された設計部材の情報を仮想オブジェクトに変換し、前記３次元モデル空間に配置する変換部と、
前記現実空間における前記３次元モデル空間のマーカ配置座標に対応した位置に配置されたマーカを撮像し、撮像した前記マーカの情報及び前記３次元モデル空間の前記マーカ配置座標に基づき前記３次元モデル空間の座標系と、前記現実空間の座標系との位置合わせを行う位置合わせ部と、
前記現実空間を撮像した画像データから得たランドマークおよび使用者の視点に相当するカメラが撮像した画像データから使用者の視点位置を推定する３次元空間認識処理部と、
前記位置合わせおよび前記視点位置の推定に基づき、前記使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成する画像処理部と、
前記現実空間画像と前記仮想オブジェクトとを重畳表示する表示部と、
を備える画像処理装置。

【請求項2】

前記設計部を操作する入力操作部を更に有し、
前記変換部は、前記入力操作部を介して配置された前記３次元モデル空間内の設計部材を前記使用者の視点位置から観察される前記仮想オブジェクトに変換する、請求項１に記載の画像処理装置。

【請求項3】

前記設計部は、前記現実空間に配置済の部材の設計データに基づき前記設計部材を前記３次元モデル空間に配置し、
前記画像処理部は、前記現実空間に前記配置済の部材の仮想オブジェクトを重畳表示する、請求項１に記載の画像処理装置。

【請求項4】

前記重畳表示された画像内における前記現実空間画像内の座標と、前記仮想オブジェクトの画像上の座標との間の距離情報を取得する画像認識処理部をさらに備える、請求項３に記載の画像処理装置。

【請求項5】

前記設計部は、前記画像認識処理部により取得された距離情報を用いて前記３次元モデル空間に設計部材を配置する、請求項４に記載の画像処理装置。

【請求項6】

前記設計部により配置される複数の設計部材に工程順の情報を属性情報として付与する属性情報付与部をさらに備え、
前記画像処理部は、前記工程順に応じて、複数の設計部材に対応する仮想オブジェクトを順に前記現実空間画像に重畳表示する、請求項１乃至５のいずれか一項に記載の画像処理装置。

【請求項7】

前記画像処理部は、前記仮想オブジェクトの可動オブジェクトを生成し、前記現実空間に時系列に重畳表示する、請求項１乃至６のいずれか一項に記載の画像処理装置。

【請求項8】

前記画像処理部は、前記可動オブジェクトを前記現実空間内の所定の方向に移動させる、請求項７に記載の画像処理装置。

【請求項9】

施工対象となる現実空間の実際の寸法に基づき、前記施工対象となる前記現実空間に対応する３次元モデル空間を形成し、この３次元モデル空間の座標系の座標を示す３次元の格子点モデルを生成し、コンピュータ支援設計により設計された設計部材を前記３次元モデル空間内に配置すると共に、前記３次元モデル空間の座標系にマーカ配置座標を設定する設計工程と、
前記設計工程により配置された設計部材の情報を仮想オブジェクトに変換し、前記３次元モデル空間に配置する変換工程と、
前記現実空間における前記３次元モデル空間のマーカ配置座標に対応した位置に配置されたマーカを撮像し、撮像した前記マーカの情報及び前記３次元モデル空間の前記マーカ配置座標に基づき前記３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う位置合わせ工程と、
前記現実空間を撮像した画像データから得たランドマークおよび使用者の視点に相当するカメラが撮像した画像データから使用者の視点位置を推定する３次元空間認識処理工程と、
前記位置合わせおよび前記視点位置の推定に基づき、前記使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成する画像処理工程と、
前記現実空間画像と前記仮想オブジェクトとを重畳表示する表示工程と、
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

現実空間画像に仮想オブジェクトを重ねて表示する画像処理装置が知られている。一方で、施工現場では、３次元ＣＡＤシステムで設計された３次元の設計部材の情報を用いて２次元の施工用の施工図面を起こしている。

【0003】

ところが二次元の施工図面から３次元の設計部材を施工する場合に、人の認識ミスなどにより施工を間違ってしまう恐れがある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－９４１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、コンピュータ支援設計により設計された設計部材の施工結果画像を現実空間画像に重畳可能な画像処理装置、及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

本実施形態に係る画像処理装置は、位置合わせ部と、画像処理部と、表示部と、を備える。位置合わせ部は、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。画像処理部は、位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される仮想オブジェクトの画像を生成する。表示部は、実空間画像と仮想オブジェクトとを重畳表示する。

【発明の効果】

【0007】

本実施形態によれば、コンピュータ支援設計により設計された設計部材の施工結果画像を現実空間画像に重畳できる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る画像処理装置の構成を示すブロック図。

【図2】複数の計算メッシュで構成される計算格子を示す図。

【図3】設計部材に付与された属性情報を示す図。

【図4】設計処理部により生成された設計部材を模式的に示す図。

【図5】設計部材に基づく仮想オブジェクトを現実空間に重畳した図。

【図6】除去予定の設計部材に基づく仮想オブジェクトを現実空間に重畳した図。

【図7】可動する仮想オブジェクトを現実空間に重畳した図。

【図8】仮想オブジェクト上の点と、認識された指先を示す図。

【図9】仮想オブジェクト上の点と、確定点を示すマークを表示した図。

【図10】現実空間上の点と、認識された指先を示す図。

【図11】現実空間上の点と、確定点を示すマークを表示した図。

【図12】仮想オブジェクト上の点と現実空間画像上の点との間の距離を示す図。

【図13】設計部材における仮想オブジェクトの配置点を示す図。

【図14】配置点と、設計部材の仮想オブジェクトを示す図。

【図15】現実空間画像に重畳された設計部材の移動を示す図。

【図16】配置点に配置された設計部材の仮想オブジェクトを示す図。

【図17】再配置された設計部材の移動を示す図。

【図18】画像処理装置における画像処理の流れを示すフローチャート。

【図19】設計部毎に工程順の情報を属性情報として付与した結果を示す図。

【図20】最初の工程における設計部材の仮想オブジェクトを重畳した図。

【図21】次の工程における設計部材の仮想オブジェクトを重畳した図。

【図22】３番目の工程における設計部材の仮想オブジェクトを重畳した図。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態に係る画像処理装置、及び画像処理方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

【0010】

（第１実施形態）
図１は、本実施形態に係る画像処理装置１の構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置１は、カメラで撮影した現実空間と３次元モデル空間とを位置合わせし、現実空間画像と仮想オブジェクトの画像とを重畳表示する装置である。この画像処理装置１は、頭部装着映像部１０と、設計部２０と、表示部３０と、マーカ４０とを備えて構成されている。

【0011】

頭部装着映像部１０は、例えばウェアラブルコンピュータであり、操作者の頭部に装着する装置である。頭部装着映像部１０の詳細な構成は後述する。

【0012】

設計部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成され、設計空間の座標系に設計部材を配置する。この設計部２０は、例えばキャド（ＣＡＤ：ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｅｓｉｇｎ）であり、３次元ＣＡＤモデルを有する設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置する。この設計部２０は、属性情報付与部２０２と、設計処理部２０４と、入力操作部２０６と、を有する。

【0013】

属性情報付与部２０２は、後述の設計処理部２０４により生成する設計部材に属性情報を付与する。例えば、属性情報付与部２０２は、３次元ＣＡＤモデルを選択するための３次元ＣＡＤモデル属性情報を付与する。

【0014】

設計処理部２０４は、設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置する。この設計処理部２０４は、属性情報付与部２０２により付与された属性情報に基づき、設計部材を生成し、設計用の３次元モデル空間に配置する。例えば、設計処理部２０４は、属性情報付与部２０２により付与された３次元ＣＡＤモデル属性情報に基づき、設計用の３次元ＣＡＤモデルの中から設計部材を選択する。なお、属性情報付与部２０２および設計処理部２０４の詳細は後述する。

【0015】

入力操作部２０６は、設計部２０を含む頭部装着映像部１０の操作に必要となる情報を入力する。入力操作部２０６は、例えばキーボード、マウス、ポインティングデバイスなどにより構成される。

【0016】

表示部３０は、各種の情報を表示する。例えば、表示部３０は、設計部２０により生成された各種の情報を表示する。また、表示部３０は、現実空間画像と仮想オブジェクトとを重畳表示する。例えば、表示部３０は、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等によって構成される。

【0017】

マーカ４０は、２次元の幾何模様を有するマーカであり、現実空間の座標系と、設計用の３次元モデル空間の座標系とを対応付けるために用いられる。

【0018】

ここで、頭部装着映像部１０の詳細な構成を説明する。頭部装着映像部１０は、ＣＰＵを含んで構成され、複数のカメラ１０２と、マイク１０４と、入力処理部１０６と、認識処理部１０８と、画像制御処理部１１０と、液晶画面１１２と、スピーカ１１４とを有している。

【0019】

カメラ１０２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）カメラのようなカラーデジタルカメラによって構成される。カメラ１０２毎は、現実空間の画像を画像データとして出力する。カメラ１０２が撮像した画像データは入力処理部１０６を介して画像処理部１１０ｂに出力される。

【0020】

マイク１０４は、操作者の発生する例えばジェスチャとしての音声を集音し、音声データを出力する。マイク１０４は、集音した音声データを入力処理部１０６を介して音声認識処理部１０８ａに出力する。

【0021】

入力処理部１０６は、位置合わせ部１０６ａと、変換部１０６ｂと、を有する。
位置合わせ部１０６ａは、設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。より具体的には、カメラ１０２が撮像したマーカ４０の情報を用いて、頭部装着映像部１０の位置姿勢を認識し、３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。例えば、本実施形態に係るマーカ４０は、３次元モデル空間の座標系の座標原点に配置されている。このため、マーカ４０は、３次元モデル空間の座標系の座標原点に対応する現実空間の位置に配置され、マーカ４０の撮像画像データに基づき、頭部装着映像部１０の位置姿勢が認識される。

【0022】

変換部１０６ｂは、設計処理部２０４により生成された設計部材の情報を仮想オブジェクトに変換する。より、具体的には、変換部１０６ｂは、３次元モデル空間に配意された設計部材の情報、例えば３次元ＣＡＤモデルの情報を用いて、設計部材を３次元モデル空間に配置された仮想オブジェクトに変換する。

【0023】

認識処理部１０８は、音声認識処理部１０８ａと、画像認識処理部１０８ｂと、３次元空間認識処理部１０８ｃと、を有する。
音声認識処理部１０８ａは、マイク１０４が集音した音声データを指示コードに変換する。例えば、頭部装着映像部１０は、この指示コードに従った制御動作を行う。

【0024】

画像認識処理部１０８ｂは、重畳表示された画像内における現実空間画像内の座標と、仮想オブジェクトの画像上における座標との間の距離情報を取得する。より詳細な構成は、後述する。

【0025】

３次元空間認識処理部１０８ｃは、例えばカメラ１０２が撮像した画像データに基づき、現実空間内の画像から抽出された自然特徴点の３次元座標をＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）により算出し、ランドマークデータとして記憶する。そして、３次元空間認識処理部１０８ｃは、ランドマークデータとカメラ１０２が撮像した画像データから得られる自然特徴点との対応関係に基づき、頭部装着映像部１０の位置姿勢を推定する。このように、マーカ４０が撮像されない場合にも、現実空間内の座標系における頭部装着映像部１０の位置姿勢の推定が可能となる。

【0026】

画像処理制御部１１０は、制御部１１０ａと、画像処理部１１０ｂと、出力処理部１１０ｃとを有する。
制御部１１０ａは、画像処理装置１全体を制御する。

【0027】

画像処理部１１０ｂは、位置合わせ部１０６ａによる位置合わせに基づき、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを合成する。より具体的には、画像処理部１１０ｂは、位置合わせ部１０６ａによる位置合わせが終了した後には、３次元空間認識処理部１０８ｃにより推定される頭部装着映像部１０の位置姿勢に基づき、設計部材に基づき生成された仮想オブジェクトの位置及び形状を変更して、現実空間画像に重畳する。また、画像処理部１１０ｂは、仮想オブジェクトの可動オブジェクトを生成し、現実空間画像に重畳表示する。

【0028】

出力処理部１１０ｃは、画像処理部１１０ｂなどから入力されたデータ形式を変換して、表示部３０、液晶画面１１２、及びスピーカ１１４に出力する。

【0029】

液晶画面１１２は、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを重畳表示する。液晶画面１１２は、例えば頭部装着型ディスプレイである。また、液晶画面１１２を光学シースルー方式によって実現してもよい。例えば、光学シースルー型液晶ディスプレイに、観察者の視点の位置および姿勢に応じて生成した仮想オブジェクトの画像を表示することにより実現される。この場合には、現実空間の画像ではなく、実際の現実空間に重なるように仮想オブジェクトの画像が重畳される。

【0030】

なお、頭部装着映像部１０と、設計部２０との通信は無線通信でも有線通信でもよい。同様に、頭部装着映像部１０と、表示部３０との通信は無線通信でも有線通信でもよい。また、設計部２０を頭部装着映像部１０内に構成してもよい。

【0031】

さらにまた、頭部装着映像部１０を操作者が装着した状態で、設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置してもよい。すなわち、現場で設計した設計部材を仮想オブジェクトの画像として観察可能となる。この際に、設計支援ツールの操作には、入力操作部２０６を仮想のキーボードやテンキーとして頭部装着映像部１０などに映し出し、使用してもよい。このように、設計行為を行いながら、実際の現実空間に重なる設計部材の仮想オブジェクトを確認、検証、及び修正をすることが可能となり、設計効率をより上げることができる。これにより、従来であれば３Ｄレーザスキャン作業のプロセスが必要であったが、不要となり、大幅な工程短縮につなげることも可能となる。

【0032】

スピーカ１１４は、認識処理部１０８による認識結果に基づく音声を出力する。例えば、音声認識処理部１０８ａで出力された指示コードに基づく音声を出力する。例えば、設計支援ツールに対して音声により指示することも可能である。

【0033】

ここで、属性情報付与部２０２および設計処理部２０４の詳細な構成を説明する。
図２は、モデル空間を示す格子モデルと設計部材の配置を示す図である。ここでは、３次元の格子点モデル３００の水平面の一部を示している。図２に示すように、属性情報付与部２０２は、施工対象となる現実空間の実際の寸法に基づき、施工対象となる現実空間に対応する３次元モデル空間として３次元の格子点モデル３００を生成する。座標Ｂ１～Ｂ３、及び座標Ｃ１～Ｃ３は格子点モデル３００の位置を示している。例えば、座標Ｂ１～Ｂ３、及び座標Ｃ１～Ｃ３は現実空間の通り芯の位置に対応している。また、マーカ位置Ｍ１は、位置合わせ部１０６ａにより座標空間の位置合わせを行う際にマーカ４０を配置する位置を示している。

【0034】

属性情報付与部２０２は、３次元モデル空間内に設計部材を配置する位置を属性情報として付与する。より具体的には、属性情報付与部２０２は、入力処理部１０６により指示された３次元の格子点モデル３００（図２）上の座標に基づき、設計部材を配置する位置を属性情報として付与する。例えば、属性情報付与部２０２は、入力処理部１０６により指示された３次元の格子点モデル３００（図２）上の通り芯の位置に対応させて、設計部材を配置する位置を属性情報として付与することも可能である。また、属性情報付与部２０２は、画像認識処理部１０８ｂにより取得された距離情報を用いて３次元のモデル空間内に設計部材を配置してもよい。

【0035】

図３は、設計部材に付与された属性情報を示す図である。図３に示すように、
属性情報付与部２０４は、設計処理部２０４により生成される設計部材Ａ１～Ａ４、Ｄ１，ＭＶ１～ＭＶ２に属性情報も付与する。例えば、属性情報付与部２０２は、設計処理部２０４で生成可能な属性情報のデータとして、例えば径１００Ａの配管、径１００Ａのフランジ管などの情報を記憶している。そして、属性情報付与部２０２は、入力処理部１０６により指示された属性情報を設計部材Ａ１～Ａ３に付与する。属性情報付与部２０４は、これらの径１００Ａの配管、径１００Ａのフランジ管などの情報として、設計処理部２０４に記憶される３次元ＣＡＤモデルの情報を付与してもよい。或いは、別の三次元モデルの情報を付与してもよい。

【0036】

設計部材Ａ４には、既に現実空間に配置されている設計部材Ｒ１が属性情報として付与されている。すなわち、属性情報付与部２０２は、設計部材Ａ４の属性情報として現実空間に配置されている設計部材Ｒ１を付与することが可能である。同様に、属性情報付与部２０２は、除去予定の設計部材Ｄ１の属性情報として現実空間に配置されている設計部材Ｒ２を付与することが可能である。また、属性情報付与部２０２は、移動モーションオブジェクトを生成する設計部材ＭＶ１の属性情報として現実空間に配置されている設計部材Ｒ３を付与することが可能である。同様に、移動モーションオブジェクトを生成する設計部材ＭＶ２の属性情報として、３次元モデル空間内に配置されている仮想オブジェクト、例えば後述する電動ポンプＺＭＶ２（図１４など）を付与することが可能である。

【0037】

図４は、設計処理部２０４により生成された設計部材を模式的に示す図である。図４に示すように、設計処理部２０４は、設計部材に付与された属性情報に基づき、３次元モデル空間内に設計部材Ａ１～Ａ３を生成し、配置する。例えば、設計処理部２０４は、設計部材に付与された３次元ＣＡＤモデルの情報及び位置情報を用いて、３次元モデル空間内に設計部材Ａ１～Ａ３を生成し、配置する。

【0038】

また、設計処理部２０４は、現実空間に配置済みの設計部材Ｒ１の既設設計データに基づき設計部材Ａ４を３次元のモデル空間に配置する。このように、設計処理部２０４は、既設の部材に関しても３次元モデル空間内に設計部材Ａ４、Ｄ１、ＭＶ１などを配置することが可能である。

【0039】

図５は、設計処理部２０４により生成された設計部材Ａ１～Ａ４を変換部１０６ｂにより仮想オブジェクトＺＡ１～ＺＡ４に変換して現実空間に重畳した図である。上側の図が現実空間の画像であり、下側の図が仮想オブジェクトを現実空間に重畳した図である。図５に示すように、設計に基づく施工位置に設計部材Ａ１～Ａ４の仮想オブジェクトＺＡ１～ＺＡ４を重畳可能であり、施工予想図を現実空間内に視覚化することができる。また、現実空間に配置されている設計部材Ｒ１に対応する設計部材Ａ４の仮想オブジェクトを実空間に重畳することで、設計部材Ｒ１が設計された位置に配置されているか否かを確認することも可能となる。

【0040】

図６は、除去予定の設計部材Ｒ２の設計部材Ｄ１を仮想オブジェクトＺＤ１に変換して現実空間に重畳した図である。上側の図が現実空間の画像であり、下側の図が仮想オブジェクトＺＤ１を現実空間画像に重畳した図である。図６に示すように、現実空間に配置されている設計部材Ｒ２に対応する設計部材Ｄ１の仮想オブジェクトＺＤ１を現実空間画像に重畳することで、除去予定の設計部材Ｒ２の位置も確認可能となる。例えば、画像処理部１１０ｂは、除去予定の設計部材Ｒ２を示すマークＥ１などを更に重畳することが可能である。

【0041】

図７は、可動する設計部材Ｒ３の設計部材ＭＶ１を仮想オブジェクトＺＭＶ１に変換して現実空間に重畳した図である。ここで、可動する設計部材Ｒ３は開閉する装置の蓋である。上側の図が現実空間の画像であり、下側の図が仮想オブジェクトＺＤ１を現実空間に重畳した図である。図７に示すように、画像処理部１１０ｂは、設計部材ＭＶ１の仮想オブジェクトＺＭＶ１の座標を変えて複数生成し、時系列に現実空間画像に重畳する。これにより、可動する部材Ｒ３が可動する範囲を視認することが可能となる。

【0042】

図８～図１２に基づき、画像認識処理部１０８ｂの詳細な処理を説明する。
図８は、現実空間に重畳された仮想オブジェクト上のマーク点Ｅ３と、画像認識処理部１０８ｂにより認識された指先Ｅ２を示す図である。図８に示すように、画像認識処理部１０８ｂは、使用者の視点位置と認識した指先Ｅ２とを結ぶ線が現実空間、及び現実空間に重畳された仮想オブジェクトのいずれかに交わる点を３次元座標として画像処理部１１０ｂに出力する。画像処理部１１０ｂは、この３次元座標に基づき、マーク点Ｅ３を現実空間、又は現実空間に重畳された仮想オブジェクトに重畳する。

【0043】

図９は、現実空間に重畳された仮想オブジェクト上のマーク点Ｅ３と、確定点であることを示すマークＥ４とを示す図である。図９に示すように画像処理部１１０ｂは、位置が確定すると、マークＥ４を現実空間画像に重畳する。

【0044】

図１０は、現実空間上のマーク点Ｅ５と、画像認識処理部１０８ｂにより認識された指先Ｅ２を示す図である。図１０に示すように、画像認識処理部１０８ｂは、使用者の視点位置と認識した指先Ｅ２とを結ぶ線が現実空間、及び現実空間に重畳された仮想オブジェクトのいずれかに交わる交を３次元座標として画像処理部１１０ｂに出力する。画像処理部１１０ｂは、この３次元座標に基づき、マーク点Ｅ５を現実空間、又は現実空間に重畳された仮想オブジェクトに重畳する。

【0045】

図１１は、現実空間上のマーク点Ｅ５と、確定点であることを示すマークＥ６を示す図である。図１１に示すように、画像処理部１１０ｂは、位置が確定すると、マークＥ６を現実空間画像に重畳する。

【0046】

図１２は、仮想オブジェクト上のマーク点Ｅ３と現実空間上のマーク点Ｅ５との間の距離Ｅ７を示す図である。図１２に示すように、画像認識処理部１０８ｂは、２点の位置が確定すると、２点間の距離Ｅ７を演算し、画像処理部１１０ｂに出力する。画像処理部１１０ｂは、距離Ｅ７を示す情報を現実空間画像に重畳する。このように、仮想オブジェクト上のマーク点Ｅ１と現実空間上のマーク点Ｅ５との間の距離を取得できるので、現実空間の寸法が設計図とずれている場合などにも、正確な距離情報を取得できる。これにより、設計情報をより正確に修正することが可能となる。

【0047】

例えば、頭部装着映像部１０を操作者が装着した状態で、設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置する際に、画像認識処理部１０８ｂが取得した、仮想オブジェクト上のマーク点Ｅ３と現実空間上のマーク点Ｅ５との間の距離を用いることが可能となる。このように、設計部２０は、画像認識処理部１０８ｂにより取得された距離情報を用いて前記３次元モデル空間に設計部材を配置することも可能である。

【0048】

図１３～図１７に基づき、設計部材ＭＶ２における仮想オブジェクトの自由移動処理を説明する。
図１３は、現実空間に重畳された設計部材ＭＶ２における仮想オブジェクトＺＭＶ２の配置点であるマーク点Ｅ８を示す図である。図１３に示すように、画像認識処理部１０８ｂは、使用者の視点位置と認識した指先とを結ぶ線が現実空間と交わる交点を３次元座標として画像処理部１１０ｂに出力する。画像処理部１１０ｂは、この３次元座標に基づき、マーク点Ｅ８を現実空間、又は現実空間に重畳された仮想オブジェクトに重畳する。

【0049】

図１４は、現実空間に重畳された設計部材ＭＶ２の仮想オブジェクトＺＭＶ２を示す図である。図１４に示すように、画像処理部１１０ｂは、例えばマーク点Ｅ８に仮想オブジェクトＺＭＶ２の底面の中心座標を合わせて配置する。

【0050】

図１５は、現実空間に重畳された仮想オブジェクトＺＭＶ２の移動を示す図である。図１５に示すように、画像処理部１１０ｂは、仮想オブジェクトＺＭＶ２の位置を操作者の指示する方向に向けて変更し、時系列に現実空間に重畳する。これらから分かるように、仮想オブジェクトの移動経路には障害物があり、指示方向では設計部材ＭＶ２の移動はできない。

【0051】

図１６は、異なる位置に再配置された設計部材ＭＶ２の仮想オブジェクトＺＭＶ２を示す図である。マークＥ９は、操作の指示する移動方向を示す。このように、操作者は設計部材ＭＶ２の移動方向を指示可能である。

【0052】

図１７は、再配置された設計部材ＭＶ２の移動を示す図である。図１６に示すように、仮想オブジェクトＺＭＶ２の移動経路には障害物がなく、指示方向に設計部材ＭＶ２を移動させることが可能である。このように、設計部材ＭＶ２の仮想オブジェクトＺＭＶ２を現実空間内の任意の位置に配置し、任意の移動方向に移動させることが可能である。これにより、設計部材ＭＶ２の移動が可能であるか否かを視覚により確認することが可能である。

【0053】

図１８は、画像処理装置１における画像処理の流れを示すフローチャートの一例である。
図１８に示すように、操作者は、属性情報付与部２０２により施工に用いる設計部材の属性情報を入力する（ステップＳ１００）。操作者は、例えば表示部３０に表示される３次元モデル空間内に、設計部材を配置する位置に対応する座標を入力操作部２０６により指示する。また、操作者は、例えば表示部３０に表示される３次元ＣＡＤモデルの一覧の中から設計部材を選択する。属性情報付与部２０２は、これらの情報を設計部材の属性情報として付与する。この際に、３次元モデル空間にマーカ４０を配置する座標も設定される。

【0054】

次に、設計処理部２０４は、属性情報付与部２０２により付与された属性情報に基づき、設計部材を生成し、設計用の３次元モデル空間に配置する（ステップＳ１０２）。これらの設計部材は、例えば表示部３０に表示され、操作者により視認される。

【0055】

次に、３次元モデル空間に設定されたマーカ４０の座標に対応する現実空間の位置にマーカ４０を配置し、カメラ１０２により撮像する（ステップＳ１０４）。続けて、位置合わせ部１０６ａは、撮像されたたマーカ４０の情報に基づき、３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う（ステップＳ１０６）。

【0056】

次に、３次元空間認識処理部１０８ｃは、カメラ１０２が撮像した画像データから自然特徴点を取得し（ステップＳ１０８）、ランドマークデータと自然特徴点との対応関係に基づき、頭部装着映像部１０の位置姿勢を推定する（ステップＳ１１０）。

【0057】

次に、変換部１０６ｂは、設計処理部２０４により生成された設計部材の情報を仮想オブジェクトに変換する。これにより、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトが３次元モデル空間内に配置される。続けて、画像処理部１１０ｂは、位置姿勢の推定結果に基づき、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを重畳する（ステップＳ１１２）。

【0058】

制御部１１０ａは、画像処理制御を継続する否かを判断する（ステップＳ１１４）。画像処理制御を継続する場合（ステップＳ１１４のＮＯ）、ステップＳ１０８からの処理を繰り返す。一方、画像処理制御を終了する場合（ステップＳ１１４のＹＥＳ）、全体処理を終了する。

【0059】

以上のように、本実施形態によれば、位置合わせ部１０６ａが、設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標と、現実空間の座標との位置合わせを行い、画像処理部１１０ｂが、位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される仮想オブジェクトの画像を生成する。これにより、現実空間画像に設計部材に基づき生成された仮想オブジェクトを重畳表示することが可能となり、設計部材を用いた施工結果を施工前に確認することができる。

【0060】

（第２実施形態）
第２実施形態に係る画像処理装置１は、属性情報付与部２０２が、更に複数の設計部材に工程順の情報を属性情報として付与することができる点で第１実施形態に係る画像処理装置１と相違する。以下では、第１実施形態と相違する点に関して説明する。

【0061】

図１９は、第２実施形態に係る属性情報付与部２０２が設計部毎に工程順の情報を属性情報として付与した結果を示す図である。図１９に示すように、本実施形態に係る属性情報付与部２０２は、工程順を更に属性情報として付与することができる。

【0062】

図２０は、属性情報が２０１８／７／０９が付与された設計部材Ａ８、Ａ９の仮想オブジェクトＺＡ８、ＺＡ９を現実空間画像に重畳表示した図である。
図２１は、属性情報が２０１８／７／１６が付与された設計部材Ａ１０、Ａ１１の仮想オブジェクトＺＡ１０、ＺＡ１１を現実空間画像に更に重畳表示した図である。
図２２は、属性情報が２０１８／７／２３が付与された設計部材Ａ１２、Ａ１３の仮想オブジェクトＺＡ１３、ＺＡ１３を現実空間画像に更に重畳表示した図である。

【0063】

図２０～２２に示すように、画像処理部１１０ｂは、属性情報に従った順に仮想オブジェクトを現実空間画像に重畳表示する。また、画像処理部１１０ｂは、属性情報に対応する日付を示す画像を生成し現実空間画像に重畳表示する。

【0064】

図２０に示すように、画像処理部１１０ｂは、属性情報に従った順に仮想オブジェクトを現実空間画像に重畳表示する。

【0065】

以上のように、本実施形態によれば、属性情報付与部２０２が設計部材毎に工程順の情報を属性情報として付与することとした。これにより、画像処理部１１０ｂは、属性情報に従った順に仮想オブジェクトを現実空間画像に重畳表示することができる。このように、現実空間画像に設計部材に基づき生成された仮想オブジェクトを工程順に重畳表示することが可能となり、設計部材を用いた施工過程を実施の施工前に確認することができる。

【0066】

本実施形態による画像処理装置１におけるデータ処理方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、データ処理方法の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、データ処理方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0067】

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

【符号の説明】

【0068】

１：画像処理装置、１０：頭部装着映像部、２０：設計部、３０：表示部、４０：マーカ、１０６ａ：位置合わせ部、１０６ｂ：変換部、１０８：認識処理部、１０８ｂ：画像認識処理部、１１０ｂ：画像処理部、２０２：属性情報付与部、２０４：設計処理部、２０６：入力操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】