特許 7557932 画像処理装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】画像処理装置、及び画像処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240920BHJP

   G06F 30/10 20200101ALI20240920BHJP

   G06F 30/18 20200101ALI20240920BHJP

【ＦＩ】

G06T19/00 600

G06F30/10

G06F30/18

【請求項の数】 8

(21)【出願番号】P 2019189515

(22)【出願日】2019-10-16

(65)【公開番号】P2021064264

(43)【公開日】2021-04-22

【審査請求日】2022-07-08

(73)【特許権者】

【識別番号】390014568

【氏名又は名称】東芝プラントシステム株式会社

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100124372

【弁理士】

【氏名又は名称】山ノ井 傑

(74)【代理人】

【識別番号】100125151

【弁理士】

【氏名又は名称】新畠 弘之

(72)【発明者】

【氏名】野本 寛幸

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２０１７－１２０５１２（ＪＰ，Ａ）

【文献】特開２０１８－１１２８６２（ＪＰ，Ａ）

【文献】特開２０１３－１４５４９７（ＪＰ，Ａ）

【文献】特開２００７－２２８３１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３０／１０

Ｇ０６Ｆ ３０／１８

(57)【特許請求の範囲】

【請求項1】

現実空間における障害物の位置情報に基づいて、前記現実空間における開始点と終了点との間の経路を、前記障害物を回避して生成する経路生成部と、
頭部装着映像部に設けられ、３次元モデル空間の座標系の座標原点に対応する前記現実空間の位置に配置され、２次元の幾何模様を有するマーカの画像を撮像するカメラと、
前記カメラが撮像した前記マーカの情報を用いて、前記頭部装着映像部の位置姿勢を認識し、前記経路に基づき生成された仮想オブジェクトを配置する前記３次元モデル空間の座標系と、前記現実空間の座標系との位置合わせを行う位置合わせ部と、
前記現実空間を撮像した画像データから得たランドマークおよび使用者の視点に相当する前記カメラが撮像した画像データから前記使用者の視点位置姿勢を推定する３次元空間認識処理部と、
前記位置合わせ部による位置合わせおよび前記３次元空間認識処理部による視点位置姿勢の推定に基づき、前記使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成する画像処理部と、
前記現実空間画像と前記仮想オブジェクトの画像とを重畳表示する前記頭部装着映像部の表示部と、
を備える画像処理装置。

【請求項2】

前記経路に基づき、前記３次元モデル空間に設計部材を配置する設計部と、
前記設計部により配置された設計部材の情報を前記仮想オブジェクトに変換する変換部と、
をさらに備える、請求項１に記載の画像処理装置。

【請求項3】

前記経路は、搬入資材の搬入経路であり、
前記経路に基づき、前記３次元モデル空間に前記経路に沿って複数の搬入資材を配置する配置部と、
前記配置部により配置された複数の搬入資材の情報を複数の前記仮想オブジェクトに変換する変換部と、
をさらに備え、
前記画像処理部は、前記複数の前記仮想オブジェクトに基づき、時系列な前記仮想オブジェクトの画像を生成し、前記現実空間に時系列に重畳表示する、請求項１に記載の画像処理装置。

【請求項4】

前記現実空間における開始点と終了点とを入力する入力操作部を更に有し、
前記経路生成部は、前記入力操作部を介して入力された前記開始点と前記終了点を接続する前記経路を生成する、請求項１乃至３のいずれか一項に記載の画像処理装置。

【請求項5】

前記入力操作部は、属性情報も入力可能であり、
前記経路生成部は、前記入力操作部を介して入力された前記属性情報を用いて前記経路を生成する、請求項４に記載の画像処理装置。

【請求項6】

前記属性情報は、搬入資材の形状と大きさに関する情報であり、
前記経路生成部は、前記属性情報に応じて、前記障害物と干渉しない前記経路を生成する、請求項５に記載の画像処理装置。

【請求項7】

前記現実空間内の前記障害物を３次元障害物データとして３次元計測する３次元計測部を更に備え、
前記経路生成部は、前記３次元障害物データを用いて、前記経路を生成する、請求項１に記載の画像処理装置。

【請求項8】

現実空間における障害物の位置情報に基づいて、前記現実空間における開始点と終了点との間の経路を、前記障害物を回避して生成する経路生成工程と、
３次元モデル空間の座標系の座標原点に対応する前記現実空間の位置に配置された２次元の幾何模様を有するマーカの画像を頭部装着映像部のカメラで撮像する工程と、
前記カメラが撮像した前記マーカの情報を用いて、前記頭部装着映像部の位置姿勢を認識し、前記経路に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、前記現実空間の座標系との位置合わせを行う位置合わせ工程と、
前記現実空間を撮像した画像データから得たランドマークおよび使用者の視点に相当する前記カメラが撮像した画像データから前記使用者の視点位置姿勢を推定する工程と、
前記位置合わせおよび前記視点位置姿勢の推定に基づき、前記使用者の視点位置から観察される現実空間画像に対応させて、前記使用者の視点位置から観察される前記仮想オブジェクトの画像を生成する画像処理工程と、
前記現実空間画像と前記仮想オブジェクトの画像とを前記頭部装着映像部の表示部に重畳表示する表示工程と、
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

現実空間画像に仮想オブジェクトを重ねて表示する画像処理装置が知られている。一方で、施工現場では、３次元ＣＡＤシステムで設計された３次元の設計部材の情報を用いて２次元の施工用の施工図面を起こしている。

【0003】

ところが、現実空間に、３次元の設計部材を施工しようとすると、現実空間内の障害物により施工が困難となる場合があった。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－９４１０２号公報

【文献】特開２０１７－２１１９８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、現実空間内の障害物を回避した開始点と終了点との間の経路に基づく仮想オブジェクトを現実空間画像に重畳可能な画像処理装置、及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

本実施形態に係る画像処理装置は、経路生成部と、カメラと、位置合わせ部と、３次元空間認識処理部と、画像処理部と、表示部と、を備える。経路生成部は、現実空間における障害物の位置情報に基づいて、現実空間における開始点と終了点との間の経路を、障害物を回避して生成する。カメラは、頭部装着映像部に設けられ、３次元モデル空間の座標系の座標原点に対応する現実空間の位置に配置され、２次元の幾何模様を有するマーカの画像を撮像する。位置合わせ部は、経路に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。３次元空間認識処理部は、現実空間を撮像した画像データから得たランドマークおよび使用者の視点に相当するカメラが撮像した画像データから使用者の視点位置姿勢を推定する。画像処理部は、位置合わせおよび視点位置の推定に基づき、使用者の視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される仮想オブジェクトの画像を生成する。表示部は、現実空間画像と仮想オブジェクトとを重畳表示する。

【発明の効果】

【0007】

本実施形態によれば、現空間内の障害物を回避した開始点と終了点との間の経路に基づく仮想オブジェクトの画像を現実空間画像に重畳できる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る画像処理装置の構成を示すブロック図。

【図2】設計部材に付与された属性情報を示す図。

【図3】経路生成部の処理を説明する模式図。

【図4】設計処理部により生成された設計部材を模式的に示す図。

【図5】変換部により生成された仮想オブジェクトが現実空間に重畳された例を模式的に示す図。

【図6】画像処理装置における画像処理の流れを示すフローチャートの一例。

【図7】第２実施形態に係る画像処理装置の構成を示すブロック図。

【図8】第２実施形態に係る経路生成部が処理に用いる３次元の格子点モデルを説明する模式図。

【図9】搬入資材の仮想オブジェクトの画像を示す図。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態に係る画像処理装置、及び画像処理方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

【0010】

（第１実施形態）
図１は、本実施形態に係る画像処理装置１の構成を示すブロック図である。図１を用いて、画像処理装置１の構成例を説明する。図１に示すように、本実施形態に係る画像処理装置１は、カメラで撮影した現実空間と３次元モデル空間とを位置合わせし、現実空間画像と仮想オブジェクトの画像とを重畳表示する装置である。この画像処理装置１は、頭部装着映像部１０と、生成部２０と、表示部３０と、マーカ４０とを備えて構成されている。

【0011】

頭部装着映像部１０は、例えばウェアラブルコンピュータであり、操作者の頭部に装着する装置である。頭部装着映像部１０の詳細な構成は後述する。

【0012】

生成部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成され、３次元モデル空間の座標系に、現空間内の障害物を回避した開始点と終了点との間の経路に基づく設計部材を、現実空間における障害物の位置に基づいて生成する。この生成部２０は、属性情報付与部２００と、経路生成部２０１、設計処理部２０２と、入力操作部２０６と、を有する。なお、本実施形態に係る接続空間は、設計部材に対応する。

【0013】

属性情報付与部２００は、後述の経路生成部２０１及び設計処理部２０２により生成する設計部材に属性情報を付与する。例えば、属性情報付与部２００は、設計部材の太さの情報を属性情報として付与する。

【0014】

経路生成部２０１は、属性情報付与部２００により付与された属性情報を用いて、現実空間における開始点と終了点との間を接続する経路を、現実空間における障害物の位置に基づいて生成する。この経路生成部２０１は、経路の位置情報を設計処理部２０２に出力する。

【0015】

設計処理部２０２は、例えばキャド（ＣＡＤ：ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｅｓｉｇｎ）であり、３次元ＣＡＤモデルを有する設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置する。この設計処理部２０２は、属性情報付与部２００により付与された属性情報、及び経路生成部２０１により得られた位置情報に基づき、設計部材を生成し、設計用の３次元モデル空間に配置する。例えば、設計処理部２０２は、属性情報付与部２００により付与された３次元ＣＡＤモデル属性情報に基づき、設計用の３次元ＣＡＤモデルの中から設計部材を選択する。なお、属性情報付与部２００および設計処理部２０２の詳細は後述する。

【0016】

入力操作部２０６は、生成部２０を含む頭部装着映像部１０の操作に必要となる情報を入力する。入力操作部２０６は、例えばキーボード、マウス、ポインティングデバイスなどにより構成される。また、入力操作部２０６は、仮想のキーボードやテンキーとして頭部装着映像部１０などに映し出し、使用可能である。例えば、入力操作部２０６は、現実空間における開始点と終了点とを入力する。また、入力操作部２０６は、設計部材の属性情報を入力することも可能である。

【0017】

表示部３０は、各種の情報を表示する。例えば、表示部３０は、生成部２０により生成された各種の情報を表示する。また、表示部３０は、後述する出力処理部１１０ｃの出力信号を用いて現実空間画像と仮想オブジェクトとを重畳表示することも可能である。例えば、表示部３０は、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等によって構成される。

【0018】

マーカ４０は、２次元の幾何模様を有するマーカであり、現実空間の座標系と、設計用の３次元モデル空間の座標系とを対応付けるために用いられる。

【0019】

ここで、頭部装着映像部１０の詳細な構成を説明する。頭部装着映像部１０は、ＣＰＵを含んで構成され、複数のカメラ１０２と、マイク１０４と、３次元計測部１０５と、入力処理部１０６と、データ蓄積部１０７と、認識処理部１０８と、画像制御処理部１１０と、液晶画面１１２と、スピーカ１１４とを有している。

【0020】

カメラ１０２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）カメラのようなカラーデジタルカメラによって構成される。カメラ１０２毎は、現実空間の現実空間画像を画像データとして出力する。カメラ１０２が撮像した画像データは入力処理部１０６を介して画像制御処理部１１０に出力される。

【0021】

マイク１０４は、操作者の発生する例えばジェスチャとしての音声を集音し、音声データを出力する。マイク１０４は、集音した音声データを、入力処理部１０６を介して音声認識処理部１０８ａに出力する。

【0022】

３次元計測部１０５は、例えば３Ｄレーザ計測装置であり、非接触計測により、対象構造物の表面（例えば建造物の屋内（通路や部屋）であれば内壁面）の位置、および設計部材の３次元部材データ（アズビルトデータ）を計測する装置である。

【0023】

例えば３次元計測部１０５が３Ｄレーザ計測装置の場合、現実空間内の基準位置（例えば基準マーク）に３Ｄレーザ計測装置を配置する。そして３Ｄレーザ計測装置は、障害物、例えば既設の設計部材、机、椅子、箱に向かってレーザを走査する。次に３Ｄレーザ計測装置は障害物で反射したレーザを受光し、基準位置からの距離を計測して、レーザの出力方向と距離から障害物の表面点の３次元座標を算出する。

【0024】

すなわち、３次元計測部１０５は、非接触計測により自身が設置されている基準位置を基に、対象構造物の表面上までの距離を測定し、それらの形状データ（例えば、点群データ）を得る。形状データは、レーザ計測により測定された空間の範囲を示す点群データであり、例えば物が置かれていない箱形の室内では、箱形の形状を示すものとなる。或いは障害物などが配置されている場合には、障害物の形状をした３次元障害物データと箱形の形状とを示すものとなる。これらの形状データは、データ蓄積部１０７に蓄積される。この場合、現実空間内の設計部材の全範囲を測定するために、基準位置を複数用いることが可能である。

【0025】

３次元計測部１０５としては、３Ｄレーザ以外にも光から電波までの指向性を持つ電磁波測定装置、超音波測定装置、およびステレオビジョン測定装置などの機器を用いることができる。なお、３次元計測部１０５は、頭部装着映像部１０に装着して使用してもよい。この場合には、後述の３次元空間認識処理部１０８ｃの位置姿勢情報を用いて基点座標及び座標軸を時系列に決めることが可能である。

【0026】

入力処理部１０６は、位置合わせ部１０６ａと、座標統合部１０６ｂと、変換部１０６ｃと、を有する。
位置合わせ部１０６ａは、設計部材に基づき生成された仮想オブジェクトを配置する３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。より具体的には、カメラ１０２が撮像したマーカ４０の情報を用いて、頭部装着映像部１０の位置姿勢を認識し、３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う。例えば、本実施形態に係るマーカ４０は、３次元モデル空間の座標系の座標原点に配置されている。このため、マーカ４０は、３次元モデル空間の座標系の座標原点に対応する現実空間の位置に配置され、マーカ４０の撮像画像データに基づき、頭部装着映像部１０の位置姿勢が認識される。

【0027】

座標統合部１０６ｂは、基準位置からスキャンして計測されたローカル座標系の点群データを現実空間の座標系に統合し、３次元部材データを含む統合形状データを生成する。なお、現実空間内の異なる計測位置における複数の点群データが得られた場合、各々の基準位置で計測されたローカル座標系の複数の点群データを統合し、現実空間の座標系の統合形状データを生成する。この際に、３次元障害物データは、現実空間の座標系に対応付けられる。

【0028】

変換部１０６ｃは、設計処理部２０２により生成された設計部材の情報を仮想オブジェクトに変換する。より、具体的には、変換部１０６ｃは、３次元モデル空間に配置された設計部材の情報、例えば３次元ＣＡＤモデルの情報を用いて、設計部材を３次元モデル空間に配置された仮想オブジェクトに変換する。

【0029】

データ蓄積部１０７は、例えばハードディスクドライブ装置やメモリなどで構成される。データ蓄積部１０７には、上述のように、座標統合部１０６ｂを介して取得された形状データが蓄積される。また、座標統合部１０６ｂにより統合された現実空間の座標系に関連付けられた３次元障害物データなどを含む統合形状データなどが蓄積される。

【0030】

認識処理部１０８は、音声認識処理部１０８ａと、画像認識処理部１０８ｂと、３次元空間認識処理部１０８ｃと、を有する。
音声認識処理部１０８ａは、マイク１０４が集音した音声データを指示コードに変換する。例えば、頭部装着映像部１０は、この指示コードに従った制御動作を行う。

【0031】

画像認識処理部１０８ｂは、重畳表示された画像内における現実空間画像内の座標と、仮想オブジェクトの画像上における座標との間の距離情報を取得する。

【0032】

３次元空間認識処理部１０８ｃは、例えばカメラ１０２が撮像した画像データに基づき、現実空間内の画像から抽出された自然特徴点の３次元座標をＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）により算出し、ランドマークデータとして記憶する。そして、３次元空間認識処理部１０８ｃは、ランドマークデータとカメラ１０２が撮像した画像データから得られる自然特徴点との対応関係に基づき、頭部装着映像部１０の位置姿勢を推定する。このように、マーカ４０が撮像されない場合にも、現実空間内の座標系における頭部装着映像部１０の位置姿勢、及び頭部装着映像部１０に装着時の３次元計測部１０５の基準座標の推定が可能となる。

【0033】

画像処理制御部１１０は、制御部１１０ａと、画像処理部１１０ｂと、出力処理部１１０ｃとを有する。
制御部１１０ａは、画像処理装置１全体を制御する。

【0034】

画像処理部１１０ｂは、位置合わせ部１０６ａによる位置合わせに基づき、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを合成する。より具体的には、画像処理部１１０ｂは、位置合わせ部１０６ａによる位置合わせが終了した後には、３次元空間認識処理部１０８ｃにより推定される頭部装着映像部１０の位置姿勢に基づき、設計部材に基づき生成された仮想オブジェクトの位置及び形状を変更して、現実空間画像に重畳する。また、画像処理部１１０ｂは、例えば３次元障害物データをメッシュ形状で示す３次元障害物オブジェクトを生成し、現実空間画像に重畳する。この場合にも、３次元空間認識処理部１０８ｃにより推定される頭部装着映像部１０の位置姿勢に基づき、３次元障害物オブジェクトの位置及び形状を変更して、現実空間画像に重畳する。

【0035】

出力処理部１１０ｃは、画像処理部１１０ｂなどから入力されたデータ形式を変換して、表示部３０、液晶画面１１２、及びスピーカ１１４に出力する。

【0036】

液晶画面１１２は、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを重畳表示する。また、液晶画面１１２は、例えば３次元障害物オブジェクトなどを現実空間画像に重畳表示することが可能である。

【0037】

液晶画面１１２は、例えば頭部装着型ディスプレイである。また、液晶画面１１２を光学シースルー方式によって実現してもよい。例えば、光学シースルー型液晶ディスプレイに、観察者の視点の位置および姿勢に応じて生成した仮想オブジェクトの画像を表示することにより実現される。この場合には、現実空間の画像ではなく、実際の現実空間に重なるように仮想オブジェクトの画像が重畳される。

【0038】

なお、頭部装着映像部１０と、生成部２０との通信は無線通信でも有線通信でもよい。同様に、頭部装着映像部１０と、表示部３０との通信は無線通信でも有線通信でもよい。また、生成部２０を頭部装着映像部１０内に構成してもよい。さらにまた、頭部装着映像部１０と、３次元計測部１０５との通信も無線通信でも有線通信でもよい。

【0039】

また、頭部装着映像部１０を操作者が装着した状態で、設計支援ツールを用いて設計部材を生成し、設計用の３次元モデル空間に設計部材を配置してもよい。すなわち、現場で設計した設計部材を仮想オブジェクトの画像として観察可能となる。この際に、設計支援ツールの操作には、入力操作部２０６を仮想のキーボードやテンキーとして頭部装着映像部１０などに映し出し、使用してもよい。このように、設計行為を行いながら、実際の現実空間に重なる設計部材の仮想オブジェクトを確認、検証、及び修正をすることが可能となり、設計効率をより上げることができる。

【0040】

スピーカ１１４は、認識処理部１０８による認識結果に基づく音声を出力する。例えば、音声認識処理部１０８ａで出力された指示コードに基づく音声を出力する。例えば、設計支援ツールに対して音声により指示することも可能である。

【0041】

ここで、図２～図５を用いて、属性情報付与部２００、経路生成部２０１および設計処理部２０２の詳細な構成を説明する。

【0042】

図２は、設計部材に付与された属性情報を示す図である。図２を用いて、設計部材に付与された属性情報を説明する。図２に示すように、属性情報付与部２００は、経路生成部２０１および設計処理部２０２により生成される設計部材Ａ１～Ａ３に、部材の種別を示す属性情報も付与する。例えば、属性情報付与部２００は、設計処理部２０２で生成可能な属性情報のデータとして、例えば径１００Ａの配管、径１００Ａのフランジ管などの情報を記憶している。そして、属性情報付与部２００は、入力処理部１０６により指示された属性情報を設計部材Ａ１～Ａ３に付与する。特に、Ａ２は、湾曲を許容する設計部材である。これらの径を含む属性情報は、入力操作部２０６による操作により、リアルタイムに変更可能である。つまり、頭部装着映像部１０を装着した状態で、属性情報を変更可能である。これにより、様々な仮想設計も可能となる。

【0043】

図３は、経路生成部２０１の処理を説明する模式図である。図３を用いて、経路生成部２０１の処理例を説明する。経路生成部２０１は、施工対象となる現実空間の実際の寸法に基づき、施工対象となる現実空間に対応する演算用の３次元モデル空間として３次元の格子点モデルを生成する。座標Ｂ１～Ｂ３、及び座標Ｃ１～Ｃ３は格子点モデルの位置を示している。例えば、座標Ｂ１～Ｂ３、及び座標Ｃ１～Ｃ３は現実空間の通り芯の位置に対応している。

【0044】

経路生成部２０１は、データ蓄積部１０７から３次元障害物データの情報を取得し、３次元の格子点モデルに配置する。続けて、経路生成部２０１は、設計部材Ａ１～Ａ３の属性情報を用いて、開始点Ｓ１０から終了点Ｅ１０を結ぶ経路Ａ１、Ａ２、Ａ３を、現実空間における障害物の位置情報に基づいて生成する。この場合、例えば特開２０１７－２１１９８７号公報に記載される方法を用いることが可能である。すなわち、経路生成部２０１は、現実空間内の経路Ａ１、Ａ２、Ａ３が経由する位置の候補である経由候補点を、格子点モデル空間において設計部材Ａ１～Ａ３の設置位置と、設計部材Ａ１～Ａ３の設置向きとによって示す経由候補点情報を取得する。続けて、経由候補点情報取得過程において取得された経由候補点情報と、経由候補点情報が示す複数の経由候補点を接続する経路の重みとに基づいて、重みを重みとしてもつ重み付きグラフを生成する。そして、グラフ生成過程において生成された重み付きグラフに基づいて、いずれかの経由候補点を経由する配管の経路を探索する。この際に、経路生成部２０１は、経由候補点情報取得過程において取得された経由候補点情報が示す設置位置と設置向きと、格子点モデル空間における障害物の位置とに基づいて、経由候補点のおのおのの間を設計部材Ａ１～Ａ３により接続可能か否かを判定する接続判定過程をさらに有し、グラフ生成過程は、接続判定過程において設計部材Ａ１～Ａ３により接続可能と判定される経由候補点のおのおのの間に重み付きグラフのエッジを生成し、生成したエッジに基づいて重み付きグラフを生成する。また、例えばグラフ生成過程は、設計部材Ａ１～Ａ３の長さと、設計部材Ａ１～Ａ３の屈曲箇所の個数とに基づいて重みを算出し、算出した重みに基づいて、重み付きグラフを生成する。

【0045】

このような処理により、経路生成部２０１は、障害物を回避する設計部材Ａ１～Ａ３の属性情報を用いた経路Ａ１、Ａ２、Ａ３を生成する。そして、経路生成部２０１は、経路Ａ１、Ａ２、Ａ３における設計部材Ａ１～Ａ３に対応する位置情報を設計処理部２０２に出力する。

【0046】

ここで、図４を用いて、３次元モデル空間内に配置される設計部材Ａ１～Ａ３の例を説明する。図４は、設計処理部２０２により生成された設計部材Ａ１～Ａ３を模式的に示す図である。図４に示すように、設計処理部２０２は、設計部材に付与された属性情報に基づき、設計用の３次元モデル空間内に設計部材Ａ１～Ａ３を生成する。より具体的には、設計処理部２０２は、設計部材に付与された３次元ＣＡＤモデルの情報、及び経路生成部２０１により演算された位置情報を用いて、設計用の３次元モデル空間内に設計部材Ａ１～Ａ３を生成する。なお、本実施形態では、経路生成部２０１と、設計処理部２０２とで用いる３次元モデル空間をそれぞれ用意したが、これに限定されない。例えば、経路生成部２０１用の３次元モデル空間に、設計処理部２０２用の３次元モデル空間を使用することも可能である。この場合、経路生成部２０１と設計処理部２０２とを統合して、一つの経路生成部２０１として構成することも可能である。

【0047】

ここで、図５を用いて、設計部材Ａ１～Ａ３の仮想オブジェクトＺＡ１～ＺＡ３の画像を説明する。図５は、変換部１０６ｃにより生成された仮想オブジェクトＺＡ１～ＺＡ３が、画像処理部１１０ｂにより現実空間に重畳された例を模式的に示す図である。図５に示すように、表示部３０、および液晶画面１１２は、障害物を回避した設計部材Ａ１～Ａ３の仮想オブジェクトＺＡ１～ＺＡ３を現実空間に重畳表示する。

【0048】

図６は、画像処理装置１における画像処理の流れを示すフローチャートの一例である。
図６に示すように、操作者は、属性情報付与部２００により施工に用いる設計部材とマーカ４０の属性情報を入力する（ステップＳ１００）。操作者は、例えば表示部３０に表示される３次元モデル空間内に、設計部材を配置する開始点、終了点に対応する座標を入力操作部２０６により指示する。また、操作者は、例えば表示部３０に表示される３次元ＣＡＤモデルの一覧の中から設計部材を選択する。属性情報付与部２００は、これらの情報を設計部材の属性情報として付与する。この際に、３次元モデル空間にマーカ４０を配置する座標も設定される。

【0049】

次に、３次元計測部１０５を基準位置に配置し、対象構造物に向かってレーザを走査し、障害物の計測を行う（ステップＳ１０２）。３次元障害物データなどは、データ蓄積部１０７に蓄積される。この際に、未計測の領域が存在する場合には、基準位置を変更し、計測を繰り返す。続けて、座標統合部１０６ｂは、計測された３次元障害物データなどを現実空間の座標系に統合し、３次元障害物データを含む統合形状データを生成する。

【0050】

次に、操作者は、入力操作部２０６により開始点と終了点の空間座標を入力する（ステップＳ１０４）。続けて、経路生成部２０１は、属性情報付与部２００により付与された属性情報に基づき、障害物を回避した開始点から終了点を結ぶ各設計部材の経路を生成し、各設計部材の位置情報を設計処理部２０２に出力する。

【0051】

設計処理部２０２は、属性情報付与部２００および経路生成部２０１により付与された属性情報に基づき、設計部材を生成し、設計用の３次元モデル空間に配置する（ステップＳ１０６）。これらの設計部材は、例えば表示部３０に表示され、操作者により視認される。続けて、変換部１０６ｃは、設計処理部２０２により生成された設計部材の情報を仮想オブジェクトに変換する。これにより、コンピュータ支援設計により設計された設計部材に基づき生成された仮想オブジェクトが３次元モデル空間内に配置される。

【0052】

次に、３次元モデル空間に設定されたマーカ４０の座標に対応する現実空間の位置にマーカ４０を配置し、カメラ１０２により撮像する（ステップＳ１０８）。続けて、位置合わせ部１０６ａは、撮像されたたマーカ４０の情報に基づき、３次元モデル空間の座標系と、現実空間の座標系との位置合わせを行う（ステップＳ１１０）。

【0053】

次に、３次元空間認識処理部１０８ｃは、カメラ１０２が撮像した画像データから自然特徴点を取得し、ランドマークデータと自然特徴点との対応関係に基づき、頭部装着映像部１０の位置姿勢を推定する（ステップＳ１１２）。

【0054】

次に、画像処理部１１０ｂは、位置姿勢の推定結果に基づき、使用者の視点位置から観察された現実空間画像と、使用者の視点位置から観察される仮想オブジェクトの画像とを重畳し、出力処理部１１０ｃを介して液晶画面１１２及び表示部３０に表示する（ステップＳ１１４）。

【0055】

制御部１１０ａは、画像処理制御を継続する否かを判断する（ステップＳ１１６）。画像処理制御を継続する場合（ステップＳ１１６のＮＯ）、ステップＳ１１２からの処理を繰り返す。一方、画像処理制御を終了する場合（ステップＳ１１６のＹＥＳ）、全体処理を終了する。

【0056】

以上のように、本実施形態によれば、経路生成部２０１が、現実空間における開始点と終了点との間を接続する経路を、現実空間における障害物の位置情報に基づいて生成する。この経路に基づき生成された設計部材を配置する３次元モデル空間の座標と、現実空間の座標との位置合わせを行い、画像処理部１１０ｂが、位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される設計部材に基づく仮想オブジェクトの画像を生成する。これにより、障害物を回避した設計部材の施工結果を現実空間内に、仮想オブジェクトとして視覚化することができる。

【0057】

（第２実施形態）
第１実施形態に係る経路生成部２０１は、設計部材の情報を用いて経路を生成していたが、第２実施形態に係る経路生成部２０１は、搬入資材の属性情報を用いて搬入経路を生成する点で相違する。以下では第１実施形態に係る画像処理装置１と異なる点を説明する。

【0058】

図７は、第２実施形態に係る画像処理装置１の構成を示すブロック図である。図７を用いて、第２実施形態に係る画像処理装置１の構成例を説明する。

【0059】

属性情報付与部２００は、搬入する設計部材の属性情報を付与する。例えば、属性情報付与部２００は、搬入資材の形状及び大きさの情報を属性情報として付与する。

【0060】

図８を用いて、第２実施形態に係る経路生成部２０１の処理例を説明する。図８は、第２実施形態に係る経路生成部２０１が処理に用いる３次元の格子点モデルを説明する模式図である。図８に示すように、経路生成部２０１は、施工対象となる現実空間の実際の寸法に基づき、施工対象となる現実空間に対応する演算用の３次元の格子点モデルを３次元モデル空間として生成する。座標Ｂ１～Ｂ３、及び座標Ｃ１～Ｃ３は格子点モデルの位置を示している。例えば、座標Ｂ１～Ｂ３、及び座標Ｃ１～Ｃ３は現実空間の通り芯の位置に対応している。経路生成部２０１は、データ蓄積部１０７から３次元障害物データの情報を取得し、３次元モデル空間に配置する。

【0061】

経路生成部２０１は、搬入資材の属性情報を用いて、開始点Ｓ２０から終了点Ｅ２０を結ぶ経路を、現実空間における障害物の位置情報に基づいて生成する。例えば、経路生成部２０１は、搬入資材が障害物と干渉しない開始点Ｓ２０から終了点Ｅ２０の最短経路探索を行い、最短経路を３次元の格子点モデルに書き込む処理を行う。

【0062】

配置部２０３は、搬入資材の属性情報に基づき、経路生成部２０１が生成した経路に沿った向きの搬入資材モデルを複数生成し、３次元モデル空間に配置する。そして、変換部１０６ｃは、配置部２０３により生成された複数の搬入資材モデルを複数の仮想オブジェクトに変換する。

【0063】

図９を用いて、搬入資材の仮想オブジェクトＺＭＶ２の画像を説明する。図９は、搬入資材の仮想オブジェクトＺＭＶ２の画像を示す図である。図９は、変換部１０６ｃにより生成された仮想オブジェクトＺＭＶ２が、画像処理部１１０ｂにより現実空間に重畳された例を模式的に示す図である。図９に示すように、表示部３０、および液晶画面１１２は、障害物を回避した搬入資材の仮想オブジェクトＺＭＶ２を現実空間に重畳表示する。この場合、画像処理部１１０ｂは、複数の仮想オブジェクトＺＭＶ２に基づき、時系列な仮想オブジェクトＺＭＶ２の画像を生成し、現実空間に時系列に重畳表示する。これにより、仮想オブジェクトＺＭＶ２が障害物を回避して、移動する様子を現実空間画像に重畳して観察可能である。

【0064】

以上のように、本実施形態によれば、経路生成部２０１が、現実空間における開始点と終了点との間を接続する搬入資材の経路を、現実空間における障害物の位置情報に基づいて生成する。この経路に基づき生成された搬入資材を配置する３次元モデル空間の座標と、現実空間の座標との位置合わせを行い、画像処理部１１０ｂが、位置合わせに基づき、使用者の視点位置から観察される現実空間画像に対応させて、使用者の視点位置から観察される搬入資材に基づく仮想オブジェクトの画像を時系列に生成する。これにより、障害物を回避した搬入資材の搬入状況を現実空間内に、仮想オブジェクトとして視覚化することができる。

【0065】

本実施形態による画像処理装置１におけるデータ処理方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、データ処理方法の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、データ処理方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0066】

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

【符号の説明】

【0067】

１：画像処理装置、１０：頭部装着映像部、２０：生成部、３０：表示部、４０：マーカ、１０５：３次元計測部、１０６ａ：位置合わせ部、１０６ｃ：変換部、１０８：認識処理部、１０８ｂ：画像認識処理部、１１０ｂ：画像処理部、２００：属性情報付与部、２０１：経路生成部、２０２：設計処理部、２０３：配置部、２０６：入力操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】