特許 6182734 表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6182734

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】表示制御装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20170814BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2013-133818(P2013-133818)

(22)【出願日】2013年6月26日

(65)【公開番号】特開2015-11368(P2015-11368A)

(43)【公開日】2015年1月19日

【審査請求日】2016年5月10日

(73)【特許権者】

【識別番号】504209655

【氏名又は名称】国立大学法人佐賀大学

(73)【特許権者】

【識別番号】506011087

【氏名又は名称】株式会社セリタ建設

(74)【代理人】

【識別番号】100099634

【弁理士】

【氏名又は名称】平井 安雄

(72)【発明者】

【氏名】新井 康平

(72)【発明者】

【氏名】芹田 章博

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開平０６−３２３０９４（ＪＰ，Ａ）

【文献】 特開２０１１−１７５６０２（ＪＰ，Ａ）

【文献】 特開２０００−１５５８５５（ＪＰ，Ａ）

【文献】 特開２００５−２０７７８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

地面を掘削しながら攪拌して行われる地盤改良の作業状態を表示する表示制御装置であって、
前記地盤改良の対象となる作業領域をカメラで撮像し、撮像された前記作業領域の撮像データを入力する撮像データ入力手段と、
前記カメラ又は当該カメラを保持する利用者の位置と姿勢に関する情報を入力する位置姿勢入力手段と、
前記作業領域の状態に変化を生じさせる前記建機の動作情報を入力する要素情報入力手段と、
表示対象となる前記作業領域の仮想モデルを記憶する記憶手段と、
入力された前記位置と姿勢に関する情報及び前記建機の動作情報、並びに、記憶された前記仮想モデルの情報に基づいて、前記カメラの撮像方向から見た場合の前記作業領域の地中の深さ方向の状態を含む３次元の状態仮想モデルを演算し、入力された前記撮像データと演算された前記状態仮想モデルとを合成する画像演算手段と、
合成された合成画像を表示する表示手段とを備えることを特徴とする表示制御装置。

【請求項2】

請求項１に記載の表示制御装置において、
前記画像演算手段が、前記状態仮想モデルを作業領域に応じてマトリックス状に区画して生成することを特徴とする表示制御装置。

【請求項3】

請求項１又は２に記載の表示制御装置において、
前記撮像データが、眼鏡に装着された前記カメラで当該眼鏡を掛けた利用者の顔向き方向における前記作業領域を撮像したものであり、前記カメラ又は前記利用者の位置と姿勢に関する情報が、前記眼鏡に装着されたセンサで測定された情報に基づくものであり、前記表示手段が、前記眼鏡に装着された単眼のヘッドマウントディスプレイであることを特徴とする表示制御装置。

【請求項4】

請求項３に記載の表示制御装置において、
前記眼鏡に装着され、前記利用者の目領域を撮像する視線カメラで撮像された情報を入力する視線情報入力手段と、
入力された前記目領域の撮像情報に基づいて、前記利用者の視線方向を検出する視線方向検出手段と、
検出された前記視線方向に基づいて、前記利用者の入力指示を特定する入力指示特定手段とを備え、
前記画像演算手段が、特定された前記入力指示に基づいて、前記合成画像の補正を行うことを特徴とする表示制御装置。

【請求項5】

請求項４に記載の表示制御装置において、
前記入力指示特定手段が、前記利用者からの任意の視点及び視線方向の入力指示を特定した場合に、前記画像演算手段が、特定された前記視点及び視線方向から見た前記状態仮想モデルを演算し、前記表示手段が、前記合成画像のうちの前記状態仮想モデルのみを表示することを特徴とする表示制御装置。

【請求項6】

請求項１ないし５のいずれかに記載の表示制御装置において、
前記記憶手段が、前記作業領域に対する作業工程に関する情報を記憶し、
前記画像演算手段が、前記作業工程に関する情報に基づいて、所定の作業工程における前記状態仮想モデルを演算することを特徴とする表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被撮像対象の作業状態を仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）で表示する表示制御装置に関する。

【背景技術】

【0002】

近年、コンピュータの高性能化により、ＶＲやＡＲの技術が急速に広がり日常的に活用されている。ＡＲやその他のセンサを用いて日常生活の支援を行うための技術として、例えば、非特許文献１に示す技術が開示されている。非特許文献１に示す技術は、ユーザの姿勢や位置を測定すると共に現実の映像を撮像し、拡張現実で注釈を付加した画像を眼鏡に取り付けられたヘッドマウントディスプレイ（ＨＭＤ）に表示する技術が開示されている。

【0003】

また、拡張現実やＨＭＤの技術を建築現場や建築後の建物内部の提示に応用する技術が非特許文献２や特許文献１に開示されている。非特許文献２には、建築現場の丁張り・計測側線のＡＲ表示、杭位置のＶＲマークの表示、ＶＲ建物のＡＲ表示、その内部のウォークスルーが可能であることが記載されている。また、特許文献１に示す技術は、複数の撮影装置で撮影された室内空間の実映像を取得し、同じ室内空間の仮想モデルを仮想視点から見た仮想映像と取得した実映像とを比較することにより、実映像と仮想モデルとの対応関係を算出し、実映像中のテクスチャをマッピングさせる仮想モデルの面領域を指定し、形状変換後の実映像中の部分領域を面領域にマッピングし、テクスチャマッピング後の仮想モデルを任意の視点から見たＶＲ画像を生成し、表示装置に表示するものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−０４００５３号公報

【非特許文献】

【0005】

【非特許文献1】木戸出 正継、”ポータブルからウェアラブルへ 日常生活を拡張する着用指向情報パートナーの開発”、［online］、２００５年９月１２日、第１１回ＮＡＩＳＴ産学連携フォーラム発表資料、［２０１３年５月２６日検索］、インターネット＜http://www.science-plaza.or.jp/about/sankangaku/forum11/kidode.pdf＞

【非特許文献2】今井 博、”ＡＲ技術を用いた現場支援システムの研究”、［online］、大成建設技術センター報 ２００８年 ＮＯ．４１、［２０１３年６月１７日検索］、インターネット＜http://www.taisei.co.jp/giken/report/2008_41/intro/C041_056.htm＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記各非特許文献及び特許文献に示す技術は、いずれも利用者の作業や動作を支援する技術であるものの、作業の工程が進むのに伴う被撮像対象の変化等を表示できるものではない。

【0007】

本発明は、作業に伴う被撮像対象の状態の変化をＶＲやＡＲ等でリアルタイムに、又は、シミュレーションで表示して確認することができる表示制御装置を提供する。

【課題を解決するための手段】

【0008】

本発明に係る表示制御装置は、カメラで撮像された被撮像対象の撮像データを入力する撮像データ入力手段と、前記カメラ又は当該カメラを保持する利用者の位置と姿勢に関する情報を入力する位置姿勢入力手段と、前記被撮像対象の状態に変化を生じさせる要素に関する情報を入力する要素情報入力手段と、表示対象となる前記被撮像対象の仮想モデルを記憶する記憶手段と、入力された前記位置と姿勢に関する情報及び前記要素に関する情報、並びに、記憶された前記仮想モデルの情報に基づいて、前記カメラの撮像方向から見た場合の前記被撮像対象の状態を示す状態仮想モデルを演算し、入力された前記撮像データと演算された前記状態仮想モデルとを合成する画像演算手段と、合成された合成画像を表示する表示手段とを備えるものである。

【0009】

このように、本発明に係る表示制御装置においては、入力されたカメラ又はカメラを保持する利用者の位置と姿勢に関する情報、及び、被撮像対象の状態に変化を生じさせる要素に関する情報、並びに、予め記憶された被撮像対象の仮想モデルの情報に基づいて、カメラの撮像方向から見た場合の被撮像対象の状態を示す状態仮想モデルを演算し、カメラで撮像された撮像データと演算された状態仮想モデルとを合成した合成画像を表示することで、被撮像対象の状態をＡＲで確認することができ、作業効率の向上に役立てることができるという効果を奏する。

【0010】

本発明に係る表示制御装置は、前記要素に関する情報が、当該要素の動作情報に基づくものである。

【0011】

このように、本発明に係る表示制御装置においては、カメラの位置と姿勢とに関する情報、及び、被撮像対象の状態に変化を生じさせる要素の動作情報に基づいて、状態仮想モデルが演算されるため、利用者の視点でリアルなＡＲを表示することが可能になると共に、実際の現実を見ながらＡＲ画像を見て効率よく作業を行うことができるという効果を奏する。

【0012】

また、被撮像対象の状態に変化を生じさせる要素の動作情報から状態仮想モデルが演算されるため、被撮像対象の状態変化を要素の動作情報から検出して、正確な状態仮想モデルを演算することができるという効果を奏する。

【0013】

本発明に係る表示制御装置は、前記要素に関する情報が、前記被撮像対象を構成する部材の情報に基づくものである。

【0014】

このように、本発明に係る表示制御装置においては、カメラの位置と姿勢とに関する情報、及び、被撮像対象の状態に変化を生じさせる要素の情報である被撮像対象を構成する部材の情報に基づいて、状態仮想モデルが演算されるため、利用者の視点でリアルなＡＲを表示することが可能になると共に、実際の現実を見ながらＡＲ画像を見て効率よく作業を行うことができるという効果を奏する。

【0015】

また、被撮像対象の状態に変化を生じさせる要素の情報である被撮像対象を構成する部材の情報から状態仮想モデルが演算されるため、被撮像対象の状態変化を被撮像対象の構成部材から検出して、正確な状態仮想モデルを演算することができるという効果を奏する。

【0016】

本発明に係る表示制御装置は、前記撮像データが、眼鏡に装着された前記カメラで当該眼鏡を掛けた利用者の顔向き方向における前記被撮像対象を撮像したものであり、前記カメラ又は前記利用者の位置と姿勢に関する情報が、前記眼鏡に装着されたセンサで測定された情報に基づくものであり、前記表示手段を、前記眼鏡に装着された単眼のヘッドマウントディスプレイとするものである。

【0017】

このように、本発明に係る表示制御装置においては、眼鏡に、利用者の顔向き方向を撮像するカメラ、当該カメラの位置と姿勢に関する情報を取得する各種センサ、合成画像を表示する単眼のヘッドマウントディスプレイが装着されており、カメラの位置と姿勢とに関する情報、及び、被撮像対象の状態に変化を生じさせる要素情報に基づいて、状態仮想モデルが演算されるため、利用者の視点でリアルなＡＲを表示することが可能になると共に、実際の現実を見ながらＡＲ画像を見て効率よく作業を行うことができるという効果を奏する。

【0018】

本発明に係る表示制御装置は、前記眼鏡に装着され、前記利用者の目領域を撮像する視線カメラで撮像された情報を入力する視線情報入力手段と、入力された前記目領域の撮像情報に基づいて、前記利用者の視線方向を検出する視線方向検出手段と、検出された前記視線方向に基づいて、前記利用者の入力指示を特定する入力指示特定手段とを備え、前記画像演算手段が、特定された前記入力指示に基づいて、前記合成画像の補正を行うものである。

【0019】

このように、本発明に係る表示制御装置においては、利用者の視線を検出し、視線による入力指示を特定するため、利用者の操作が簡単となり、例えば他の作業中であっても目線の移動のみでディスプレイの表示状態を制御することができるという効果を奏する。

【0020】

本発明に係る表示制御装置は、前記入力指示特定手段が、前記利用者からの任意の視点及び視線方向の入力指示を特定した場合に、前記画像演算手段が、特定された前記視点及び視線方向から見た前記状態仮想モデルを演算し、前記表示手段が、前記合成画像のうちの前記状態仮想モデルのみを表示するものである。

【0021】

このように、本発明に係る表示制御装置においては、利用者からの任意の視点及び視線方向の入力指示を特定した場合に、特定された視点及び視線方向から見た状態仮想モデルを演算し、状態仮想モデルのみをディスプレイに表示するため、利用者が指定した任意の視点や視線方向からの撮像対象の状態をＶＲで確認することができ、作業効率を上げることができるという効果を奏する。

【0022】

本発明に係る表示制御装置は、前記記憶手段が、前記被撮像対象に対する作業工程に関する情報を記憶し、前記画像演算手段が、前記作業工程に関する情報に基づいて、所定の作業工程における前記状態仮想モデルを演算するものである。

【0023】

このように、本発明に係る表示制御装置においては、被撮像対象に対する作業工程に関する情報を記憶し、当該作業工程に関する情報に基づいて、所定の作業工程における状態仮想モデルを演算するため、作業工程ごとに被撮像対象の状態をＡＲで確認することができ、作業効率を上げることができるという効果を奏する。

【図面の簡単な説明】

【0024】

【図1】地盤改良を行う場合の現地を模式的に示した図である。

【図2】第１の実施形態に係る表示制御装置の構成を示す機能ブロック図である。

【図3】撮像データ及び３次元状態仮想モデルの一例を示す図である。

【図4】撮像データ及び３次元状態仮想モデルを合成した合成画像の一例を示す図である。

【図5】撮像データ及び３次元状態仮想モデルの一例を示す図である。

【図6】撮像データ及び３次元状態仮想モデルを合成した合成画像の一例を示す図である。

【図7】第１の実施形態に係る表示制御装置の動作を示すフローチャートである。

【図8】第２の実施形態に係る表示制御装置の装着イメージを示す図である。

【図9】第２の実施形態に係る表示制御装置における利用者の動作に伴う３次元状態仮想モデルの変化を示す図である。

【図10】第３の実施形態に係る表示制御装置の構成を示す機能ブロック図である。

【図11】第３の実施形態に係る表示制御装置における視線演算部の構成を示す機能ブロック図である。

【図12】第４の実施形態に係る表示制御装置の構成を示す機能ブロック図である。

【発明を実施するための最良の形態】

【0025】

以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。

【0026】

（本発明の第１の実施形態）
本実施形態に係る表示制御装置について、図１ないし図７を用いて説明する。本実施形態に係る表示制御装置は、仮想現実（ＶＲ）や拡張現実（ＡＲ）の技術を用いて、被撮像対象に対する作業中の状態を表示して確認することができるものである。また、作業後の被撮像対象の表示についても行うと共に、各種センサを用いて利用者の動作に伴って様々な状態で被撮像対象を表示制御することができるものである。

【0027】

本実施形態においては、例えば、建築現場における地盤改良や建物の建築の状態をＡＲやＶＲの技術を用いて表示制御するものとする。なお、建築現場に限らず、様々な場所（例えば、製造を行う工場、植栽等の現場、飲食店等）において本実施形態に係る表示制御装置を適用することが可能である。

【0028】

図１は、地盤改良を行う場合の現地を模式的に示した図である。ここでは、仮に、南北に流れる河川と東西に通過する道路とに囲まれた領域について地盤改良を行うものとする。地盤改良は通常、図１に示すように、対象領域を格子状に区画し各区画ごとに作業を行う。作業は、建機のアーム先端に取り付けられた攪拌機の回転により地面を掘削しながら土砂や固化材を攪拌して行われる。対象領域を格子状に区画することで、作業対象の領域や作業が完了している領域を区分して識別することができるが、現地に実際に格子状の区画線を描画する必要があり作業効率の低下の原因となっている。

【0029】

本実施形態においては、利用者の位置、姿勢の情報から、当該利用者の視点から見た地盤改良の状態を３次元仮想モデルで作成し、現実の撮像に重ねて表示する。そうすることで、現地に実際に区画線等を行う必要がなく、また、作業管理もコンピュータ上で容易に行うことが可能となる。

【0030】

図２は、本実施形態に係る表示制御装置の構成を示す機能ブロック図である。表示制御装置１は、カメラ２１で撮像された撮像データを入力する撮像データ入力部２と、センサ部２２で測定されたカメラ２１又は当該カメラ２１を保持する利用者の位置及び姿勢の情報を入力する位置姿勢入力部３と、被撮像対象に変化を生じさせる要素に関する要素情報２３を入力する要素情報入力部４と、記憶部７に記憶された被撮像対象の３次元仮想モデルを読み出し、入力された位置・姿勢情報及び要素情報からカメラ２１の視点から見た３次元状態仮想モデルを生成し、当該生成した３次元状態仮想モデルと入力された撮像データとを合成する演算部５と、演算された合成画像をディスプレイ２４に表示する表示制御手段６とを備える。

【0031】

カメラ２１は、図１の地盤改良の場合、建機の外側又は運転席内の任意の位置を視点とし、所定の方向を撮像するように固定して設置されている。所定の方向とは、例えば、作業を行う対象物がある方向であり、この場合は建機の前方となる。すなわち、カメラ２１は常時、作業領域の方向を動画又は静止画で撮像している。図３（Ａ）に、カメラ２１で撮像された静止画像の一例を示す。図１における建機の運転席から作業対象となる地盤の方向、すなわち建機の前方方向を撮像した画像である。

【0032】

センサ部２２もカメラ２１と同様に建機の外側又は運転席内の任意の位置に設置され、カメラ２１の位置（例えば、ＧＰＳレシーバを利用）及び姿勢（例えば、加速度センサやジャイロセンサを利用）を測定する。このとき、各センサはカメラ２１自体に設置することが困難であるため、建機の位置及び姿勢の変化を測定してカメラ２１の位置及び姿勢の情報に置き換えるものとする。

【0033】

なお、建機の運転席内にＧＰＳレシーバを設置した場合には位置情報を取得できない可能性もあるため、ＧＰＳレシーバは建機の外側に設置されることが望ましい。その場合、ＧＰＳレシーバが設置された位置とカメラ２１が設置された位置との相対関係に基づいて、ＧＰＳレシーバが取得した位置情報を後述する演算部５の処理により補正することで、カメラ２１の正確な位置情報を取得できるようにしてもよい。

【0034】

要素情報２３は、攪拌機が移動した経路や深さの情報であり、これらの情報は、建機のアーム先端に取り付けられたセンサから取得してもよいし、建機の操作履歴からアームの移動を計算して要素情報２３としてもよい。すなわち、要素情報２３は、被撮像対象である地盤に変化を生じさせる要素（ここでは、攪拌機）に関する情報（ここでは、移動情報）である。

【0035】

演算部５は、記憶部７に格納されている地盤改良の３次元仮想モデルを読み出し、位置姿勢入力部３が入力したカメラ２１の位置及び姿勢の情報と、要素情報入力４が入力した攪拌機の移動情報とに基づいて、カメラ２１から見た地盤改良の３次元状態仮想モデルを生成する。図３（Ｂ）に、生成された３次元状態仮想モデルの一例を示す。斜線領域は攪拌機が移動した経路、すなわち地盤改良の作業が完了した領域を示している。図３（Ｂ）において、区画３１〜区画３３は、攪拌機が改良を必要とする最大深度を通過して作業が行われたことを示しており、区画３４及び区画３５については、攪拌機が改良を必要とする最大深度の２／３を通過して作業が行われたことを示し、区画３６及び区画３７については、攪拌機が改良を必要とする最大深度の１／３を通過して作業が行われたことを示している。すなわち、区画３１〜区画３３については、地盤改良の作業が完了し、区画３４〜区画３７については途中段階であり、その他の区画については未着手であることを３次元状態仮想モデルで示している。

【0036】

そして、演算部５は、カメラ２１で撮像された撮像データと３次元状態仮想モデルを合成し、当該合成された画像は表示制御部６によりディスプレイ２４に表示される。図４は、合成画像の表示の一例を示す図である。図４に示すように、現実の撮像データと仮想の３次元状態仮想モデルを重ね合わせることで、ＡＲによる地盤改良の作業状態を表示することができる。

【0037】

なお、カメラ２１、センサ部２２、攪拌機に関する情報を要素情報２３として測定するセンサ、ディスプレイ２４等は、建機に一体的に備え付けられてもよいし、外付けで設置されてもよい。同様に、表示制御装置１自体も、建機と一体的な装置と捉えてもよいし、別体として設置されてもよい。

【0038】

次に、建物を建築する場合の本実施形態に係る表示制御装置の処理について具体例を挙げて説明する。図５（Ａ）は、カメラ２１で撮像された静止画像の一例を示す図である。これは、建築予定となる土地に住宅の基礎のみが出来上がった状態を撮像したものである。図５（Ｂ）は、演算部５が生成した３次元状態仮想モデルを示している。この３次元状態仮想モデルは、入力された位置及び姿勢に関する情報と要素情報２３とに基づいて生成されるが、ここでは、要素情報２３として被撮像対象である住宅を構成する部材に関する情報が入力されている。すなわち、図５（Ｂ）の例では、設計図等の情報に基づいて、住宅の１階部分の躯体を構成する木材の種類と数量の情報が要素情報２３として入力され、それらの部材により構成される被撮像対象の３次元状態仮想モデルが生成されている。

【0039】

そして、図６に示すように、演算部５が、カメラ２１で撮像された撮像データと３次元状態仮想モデルを合成し、当該合成された画像は表示制御部６によりディスプレイ２４に表示される。現実の撮像データと仮想の３次元状態仮想モデルを重ね合わせることで、ＡＲによる建物建築の作業状態を表示することができる。

【0040】

図７は、本実施形態に係る表示制御装置の動作を示すフローチャートである。まず、位置姿勢入力部３が、各センサ部２２からの測定結果をカメラの位置及び姿勢の情報として入力する（Ｓ１）。要素情報入力部４が、被撮像対象の変化を生じる要素の情報（例えば、地盤改良の場合はアーム先端部の動作情報、建物の建築の場合は当該建物を構成する部材等の情報）を要素情報２３として入力する（Ｓ２）。演算部５は、予め被撮像対象の３次元モデルが格納されている記憶部７から当該３次元モデルを読み込み（Ｓ３）、入力されたカメラの位置及び姿勢の情報と、要素の情報とに基づいて、カメラ２１の視点から見た３次元モデルの現在の状態を演算して３次元状態仮想モデルを生成する（Ｓ４）。撮像データ入力部２が、カメラの映像を撮像データとして入力し（Ｓ５）、演算部５が、生成された３次元状態仮想モデルと入力された撮像データとを合成し、表示制御部６が合成された合成画像をディスプレイ２４に表示して（Ｓ６）、処理を終了する。

【0041】

このように、本実施形態に係る表示制御装置１によれば、カメラの位置と姿勢に関する情報、及び、被撮像対象の状態に変化を生じさせる要素に関する要素情報２３、並びに、予め記憶部７に記憶された被撮像対象の３次元仮想モデルの情報に基づいて、カメラの撮像方向から見た場合の被撮像対象の状態を示す３次元状態仮想モデルを演算し、カメラ２１で撮像された撮像データと演算された３次元状態仮想モデルとを合成した合成画像を表示することで、被撮像対象の状態をＡＲで確認することができ、作業効率の向上に役立てることができる。

【0042】

また、カメラ２１の位置と姿勢とに関する情報、及び、被撮像対象の状態に変化を生じさせる要素の動作情報や被撮像対象を構成する部材の情報に基づいて、３次元状態仮想モデルが演算されるため、利用者の視点でリアルなＡＲを表示することが可能になると共に、実際の現実を見ながらＡＲ画像を見て効率よく作業を行うことができる。

【0043】

（本発明の第２の実施形態）
本実施形態に係る表示制御装置について、図８及び図９を用いて説明する。なお、本実施形態において、前記第１の実施形態と重複する説明は省略する。

【0044】

図８（Ａ）の場合は、利用者の顔向き方向を撮像するカメラ２１と利用者の目側に画像を出力するディスプレイ２４を眼鏡８０に配設し、利用者がその眼鏡８０を掛けた状態で被撮像対象の撮像や表示を行う。図８（Ａ）においては、検出装置８１に、眼鏡８０を掛けた利用者の位置及び姿勢を検知するセンサ（ＧＰＳレシーバ、加速度センサ、ジャイロセンサ等）が内蔵されており、各測定が行われる。測定データやその他データの管理、各処理の制御、通信の制御等については、検出装置８１が行うようにしてもよいし、必要に応じて利用者が制御装置８２を保持することで、制御装置８２が行うようにしてもよい。

【0045】

この場合、利用者が保持している検出装置８１からの測定情報に基づいて、演算部５が３次元状態仮想モデルを生成し、カメラ２１で撮像された利用者の顔向き方向の撮像データと合成する。合成された合成画像は、眼鏡８０に配設されたディスプレイ２４に表示される。利用者は、現実の風景とディスプレイ２４に表示されたＡＲの画像を見比べながら作業等を行うことができる。

【0046】

図８（Ｂ）においては、利用者の顔向き方向を撮像するカメラ２１と利用者の目側に画像を出力する単眼ディスプレイ２４とを眼鏡８０に配設しており、さらに、ＧＰＳレシーバ８３、加速度センサ８４及びジャイロセンサ８５を備える構成となっている。また、各装置を管理するための制御装置８２又は検出装置８１を利用者が保持しておく。この場合、眼鏡８０に配設されている各センサの情報に基づいて、演算部５が３次元状態仮想モデルを生成し、カメラ２１で撮像された利用者の顔向き方向の撮像データと合成する。合成された合成画像は、眼鏡８０に配設された単眼のヘッドマウントディスプレイ２４に表示される。利用者は、現実の風景とディスプレイ２４に表示されたＡＲの画像を見比べながら作業等を行うことができる。

【0047】

いずれの構成においても、必要な装置を利用者が身につけることができるため、装置構成を簡素化することができると共に、位置及び姿勢等の検出を正確に行うことが可能となる。また、検出装置８１や制御装置８２として、現在著しく進歩している携帯端末を利用することで、装置の製造工程を簡素化すると共に、アプリケーションに応じて各装置をフレキシブルに利用することができる。

【0048】

図９は、本実施形態に係る表示制御装置を身につけた状態での、位置及び姿勢の変化による表示画像の動作の一例を示す図である。ここでは、３次元の仮想の建物の中にいる状態での利用者から見た情景の３次元状態仮想モデルの一例を示したものである。図９（Ａ）は、利用者が上を見上げた場合、図９（Ｂ）は利用者が下を見下ろした場合を示している。それぞれ、建物の天井部分と床部分とが表示されており、利用者の姿勢に応じて３次元状態仮想モデルが対応して変化していることがわかる。

【0049】

図９（Ｃ）は利用者が左に転回した場合、図９（Ｄ）は利用者が右に転回した場合の３次元状態仮想モデルを示している。図９（Ａ）、（Ｂ）の場合と同様に、利用者の姿勢に応じて３次元状態仮想モデルが対応して変化していることがわかる。

【0050】

図９（Ｅ）は利用者が後退した場合、図９（Ｆ）は利用者が前進した場合の３次元状態仮想モデルを示している。利用者の位置が変わることで、それに応じて３次元状態仮想モデルが対応して変化していることがわかる。

【0051】

図９（Ｇ）は１階のフロアが表示されており、図９（Ｈ）は２階のフロアが表示されたものである。これは、利用者が実際に高さ方向に移動できない場合が多いため、ジャンプの操作を検出する。利用者がジャンプすることで、その振動と方向を検知し、同一位置における２階フロアの３次元状態仮想モデルが生成される。なお、さらにジャンプすることで、より上層階への移動操作を行うことができ、最上階においてジャンプすると下層への移動操作を行うことができるようにしてもよい。

【0052】

このように、本実施形態に係る表示制御装置においては、眼鏡８０に、利用者の顔向き方向を撮像するカメラ２１、利用者の位置及び姿勢、又は、眼鏡８０の位置及び姿勢を検知し、当該検知した情報をカメラ２１の位置及び姿勢の情報として取得する各種センサ、撮像データと生成された３次元状態仮想モデルとを合成した合成画像を表示するヘッドマウントディスプレイが装着されており、利用者の視点でリアルなＡＲを表示することが可能になると共に、実際の現実を見ながらＡＲ画像を見て効率よく作業を行うことができる。

【0053】

なお、第１の実施形態で説明した地盤改良において本実施形態に係る表示制御装置１を適用する場合、利用者は建機の運転席内にいるため、眼鏡８０に配設されたＧＰＳレシーバが運転席内に存在し、位置情報を取得できない可能性がある。その場合、建機の外側にＧＰＳレシーバを設置し、ＧＰＳレシーバの位置と運転席の位置との相対関係からカメラ２１の位置情報を割り出してもよい。

【0054】

（本発明の第３の実施形態）
本実施形態に係る表示制御装置について、図１０及び図１１を用いて説明する。なお、本実施形態において、前記各実施形態と重複する説明は省略する。

【0055】

図１０は、本実施形態に係る表示制御装置の構成を示す機能ブロック図である。図１０において、前記第１の実施形態における図２の場合と異なるのは、視線カメラ９で撮像された目の画像に基づいて視線方向の演算を行って、利用者の入力指示を特定する視線演算部８を備えることである。

【0056】

視線演算部８は、視線カメラ９で撮像された目の画像データに基づいて利用者の視線方向を演算して、入力指示を特定し、当該特定された入力指示情報を演算部５に送る。演算部５は、取得した入力指示情報に応じて３次元状態仮想モデルの演算や合成画像の補正を行う。

【0057】

視線演算部８の処理について、より詳細に説明する。図１１は、本実施形態に係る表示制御装置における視線演算部８の構成を示す機能ブロック図である。視線演算部８は、眼鏡８０の目側を撮像する視線カメラ９の撮像データを入力する視線情報入力部１１と、入力された目の撮像データから視線方向を特定する視線方向検出部１２と、検出された視線方向と、予め登録された視線方向に対応する入力指示情報を記憶する視線入力記憶部１４とに基づいて、利用者が視線で入力した入力指示情報を特定する入力指示特定部１３とを備える。視線方向の検出は、既存の技術を用いて行うことが可能であり、例えば、黒目部分の動作を検出してもよいし、白目部分の領域の変化に基づいて視線方向を検出してもよい。

【0058】

演算部５は、特定された入力指示情報に基づいて、３次元状態仮想モデルの演算や合成画像の補正を行う。例えば、入力情報として視点位置、視点方向が特定された場合には、その特定された視点位置及び視点方向から見た３次元状態仮想モデルを生成する。その際、カメラ２１で撮像された撮像データと生成された３次元状態仮想モデルは視点が一致しないため、ここでは画像の合成を行わず、ＶＲでの表示制御が行われる。また、例えば、カメラ２１で撮像した撮像データと３次元状態仮想モデルの合成画像にズレを生じているような場合には、視線により補正情報を入力することで（例えば、３次元状態仮想モデルの位置、角度を視線の向きに応じて変化させることで）、合成画像の表示状態が補正され、撮像データとの整合性を取ることができる。

【0059】

このように、本実施形態に係る表示制御装置１においては、利用者の視線を検出し、視線による入力指示を特定するため、利用者の操作が簡単となり、例えば他の作業中であっても目線の移動のみでディスプレイの表示状態を制御することができる。

【0060】

また、利用者からの任意の視点及び視線方向の入力指示を特定した場合に、特定された視点及び視線方向から見た状態仮想モデルを演算し、状態仮想モデルのみをディスプレイに表示するため、利用者が指定した任意の視点や視線方向からの撮像対象の状態をＶＲで確認することができ、作業効率を上げることができる。

【0061】

（本発明の第４の実施形態）
本実施形態に係る表示制御装置について、図１２を用いて説明する。なお、本実施形態において、前記各実施形態と重複する説明は省略する。

【0062】

図１２は、本実施形態に係る表示制御装置の構成を示す機能ブロック図である。図１２において、前記第１の実施形態における図２の場合と異なるのは、記憶部７に被撮像対象に対する作業の作業工程に関する情報を格納していることである。作業工程に関する情報は、例えば、いつまでにどの程度の作業を完了させるかのスケジュール情報である。また、各スケジュールに付加して使用する材料や部品等を関連付けておいてもよい。

【0063】

演算部５は、要素情報２３の一つとして入力された時期に関する情報（例えば、○○月××日、○○日後、○○時間後等の経時的な要素を含む情報）に基づいて、この時期に当てはまる作業状態を記憶部７に格納された作業工程情報から演算し、当該作業状態となるように３次元状態仮想モデルを生成する。生成されたモデルは、上記と同様に撮像データと合成されてディスプレイ２４に表示される。

【0064】

このように、本実施形態に係る表示制御装置においては、被撮像対象に対する作業工程に関する情報を記憶し、当該作業工程に関する情報に基づいて、所定の作業工程における状態仮想モデルを演算するため、作業工程ごとに被撮像対象の状態をＡＲで確認することができ、作業効率を上げることができる。

【符号の説明】

【0065】

１ 表示制御装置
２ 撮像データ入力部
３ 位置姿勢入力部
４ 要素情報入力部
５ 演算部
６ 表示制御部
７ 記憶部
８ 視線演算部
９ 視線カメラ
１１ 視線情報入力部
１２ 視線方向検出部
１３ 入力指示特定部
１４ 視線入力記憶部
２１ カメラ
２２ センサ部
２３ 要素情報
２４ ディスプレイ
８０ 眼鏡
８１ 検出装置
８２ 制御装置
８３ ＧＰＳレシーバ
８４ 加速度センサ
８５ ジャイロセンサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】