特開 2022-133871 情報処理システム、情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022133871

(43)【公開日】2022-09-14

(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   B60K 35/00 20060101AFI20220907BHJP

   F02D 29/02 20060101ALI20220907BHJP

【ＦＩ】

B60K35/00 A

F02D29/02 L

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021032800

(22)【出願日】2021-03-02

(71)【出願人】

【識別番号】000174943

【氏名又は名称】三井住友建設株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】矢野 安則

(72)【発明者】

【氏名】篠崎 哲也

(72)【発明者】

【氏名】瀧川 功

【テーマコード（参考）】

3D344

3G093

【Ｆターム（参考）】

3D344AA26

3D344AB03

3D344AB07

3D344AC25

3G093AA10

3G093BA24

3G093DB16

(57)【要約】

【課題】施工を円滑に行う。
【解決手段】透過型ディスプレイ１００と、作業者が操作する重機の位置を示す位置情報を取得する位置情報取得部２１０と、外部から三次元図面情報を入力する入力部２２０と、位置情報取得部２１０が取得した位置情報に基づいて、入力部２２０が入力した三次元図面情報が示す三次元図面を透過型ディスプレイ１００に表示させる位置を算出する算出部２３０と、三次元図面情報が示す三次元図面を透過型ディスプレイ１００の算出部２３０が算出した位置に表示させる表示制御部２４０とを有し、透過型ディスプレイ１００は、作業者が透過型ディスプレイ１００を介して施工を行う対象を視認できる位置に配置される。
【選択図】図２

【特許請求の範囲】

【請求項1】

透過型ディスプレイと、
作業者が操作する重機の位置を示す位置情報を取得する位置情報取得部と、
外部から施工対象の三次元図面情報を入力する入力部と、
前記位置情報取得部が取得した位置情報に基づいて、前記入力部が入力した前記三次元図面情報が示す三次元図面を前記透過型ディスプレイに表示させる位置を算出する算出部と、
前記三次元図面情報が示す三次元図面を前記透過型ディスプレイの前記算出部が算出した位置に表示させる表示制御部とを有し、
前記透過型ディスプレイは、前記作業者が当該透過型ディスプレイを介して施工を行う対象を視認できる位置に配置される情報処理システム。

【請求項2】

前記算出部は、前記位置情報取得部が前記重機の移動に伴い取得した位置情報に基づいて、前記重機の向きを算出し、該算出した向きと前記位置情報取得部が取得した位置情報とに基づいて、前記三次元図面を前記透過型ディスプレイに表示させる位置を算出する、請求項１に記載の情報処理システム。

【請求項3】

前記重機を中心とした周囲を撮像するカメラと、
所定の位置に配置されたマーカと、
前記算出部が算出した重機の向きに基づいて、前記カメラに対する、該カメラが撮像した前記マーカの方向を算出する方向算出部とを有し、
前記算出部は、前記方向算出部が算出した方向と、あらかじめ設定された前記マーカが設置された位置とに基づいて、前記位置情報取得部が取得した位置情報を補正し、該補正した位置情報に基づいて、前記三次元図面を前記透過型ディスプレイに表示させる位置を算出する、請求項２に記載の情報処理システム。

【請求項4】

水平面に対する前記重機の傾きを測定する加速度センサを有し、
前記算出部は、前記加速度センサが測定した傾きを用いて、前記位置情報取得部が取得した位置情報を補正し、該補正した位置情報に基づいて、前記三次元図面を前記透過型ディスプレイに表示させる位置を算出する、請求項１から３のいずれか１項に記載の情報処理システム。

【請求項5】

前記透過型ディスプレイに対する前記作業者の視点の位置を算出する視点位置算出部を有し、
前記算出部は、前記視点位置算出部が算出した視点の位置を用いて、前記位置情報取得部が取得した位置情報を補正し、該補正した位置情報に基づいて、前記三次元図面を前記透過型ディスプレイに表示させる位置を算出する、請求項１から４のいずれか１項に記載の情報処理システム。

【請求項6】

前記施工の状況を検知する検知部を有し、
前記表示制御部は、前記検知部が検知した施工の状況に基づいて、前記透過型ディスプレイに表示させている三次元図面の表示態様を変更していく、請求項１から５のいずれか１項に記載の情報処理システム。

【請求項7】

作業者が操作する重機の位置を示す位置情報を取得する位置情報取得部と、
外部から施工対象の三次元図面情報を入力する入力部と、
前記位置情報取得部が取得した位置情報に基づいて、前記入力部が入力した前記三次元図面情報が示す三次元図面を、前記作業者が前記重機に搭載された透過型ディスプレイを介して施工を行う対象を視認できる位置に配置された該透過型ディスプレイに表示させる位置を算出する算出部と、
前記三次元図面情報が示す三次元図面を前記透過型ディスプレイの前記算出部が算出した位置に表示させる表示制御部とを有する情報処理装置。

【請求項8】

作業者が操作する重機の位置を示す位置情報を取得する処理と、
外部から施工対象の三次元図面情報を入力する処理と、
前記取得した位置情報に基づいて、前記入力した前記三次元図面情報が示す三次元図面を、前記作業者が前記重機に搭載された透過型ディスプレイを介して施工を行う対象を視認できる位置に配置された該透過型ディスプレイに表示させる位置を算出する処理と、
前記三次元図面情報が示す三次元図面を前記透過型ディスプレイの前記算出した位置に表示させる処理とを行う情報処理方法。

【請求項9】

コンピュータに、
作業者が操作する重機の位置を示す位置情報を取得する手順と、
外部から施工対象の三次元図面情報を入力する手順と、
前記取得した位置情報に基づいて、前記入力した前記三次元図面情報が示す三次元図面を、前記作業者が前記重機に搭載された透過型ディスプレイを介して施工を行う対象を視認できる位置に配置された該透過型ディスプレイに表示させる位置を算出する手順と、
前記三次元図面情報が示す三次元図面を前記透過型ディスプレイの前記算出した位置に表示させる手順とを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

一般的に、作業者が重機等を用いて対象物に所定の施工を行う場合、作業者は施工図面を見ながら施工を行う。また、施工状況に応じたガイダンスを、作業者が操作を行う運転席の近くに設置されたモニタ装置に表示し、作業者がモニタ装置に表示されたガイダンスに従って施工を行う技術が考えられている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１３６９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業者が施工図面を見ながら施工を行う場合、作業者は実際の施工が施工図面に沿って進んでいるかどうかを自身で判断しなければならない。そこで、特許文献１に記載された技術を用いても、作業者はモニタ装置に表示されたガイダンスを見るために、施工を一旦中断しなければならない。そのため、施工を円滑に行うことが困難であるという問題点がある。

【0005】

本発明の目的は、施工を円滑に行うことができる情報処理システム、情報処理装置、情報処理方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の情報処理システムは、
透過型ディスプレイと、
作業者が操作する重機の位置を示す位置情報を取得する位置情報取得部と、
外部から施工対象の三次元図面情報を入力する入力部と、
前記位置情報取得部が取得した位置情報に基づいて、前記入力部が入力した前記三次元図面情報が示す三次元図面を前記透過型ディスプレイに表示させる位置を算出する算出部と、
前記三次元図面情報が示す三次元図面を前記透過型ディスプレイの前記算出部が算出した位置に表示させる表示制御部とを有し、
前記透過型ディスプレイは、前記作業者が当該透過型ディスプレイを介して施工を行う対象を視認できる位置に配置される。

【0007】

本発明の情報処理装置は、
作業者が操作する重機の位置を示す位置情報を取得する位置情報取得部と、
外部から施工対象の三次元図面情報を入力する入力部と、
前記位置情報取得部が取得した位置情報に基づいて、前記入力部が入力した前記三次元図面情報が示す三次元図面を、前記作業者が前記重機に搭載された透過型ディスプレイを介して施工を行う対象を視認できる位置に配置された該透過型ディスプレイに表示させる位置を算出する算出部と、
前記三次元図面情報が示す三次元図面を前記透過型ディスプレイの前記算出部が算出した位置に表示させる表示制御部とを有する。

【0008】

また、本発明の情報処理方法は、
作業者が操作する重機の位置を示す位置情報を取得する処理と、
外部から施工対象の三次元図面情報を入力する処理と、
前記取得した位置情報に基づいて、前記入力した前記三次元図面情報が示す三次元図面を、前記作業者が前記重機に搭載された透過型ディスプレイを介して施工を行う対象を視認できる位置に配置された該透過型ディスプレイに表示させる位置を算出する処理と、
前記三次元図面情報が示す三次元図面を前記透過型ディスプレイの前記算出した位置に表示させる処理とを行う。

【0009】

また、本発明のプログラムは、
コンピュータに実行させるプログラムであって、
コンピュータに、
作業者が操作する重機の位置を示す位置情報を取得する手順と、
外部から施工対象の三次元図面情報を入力する手順と、
前記取得した位置情報に基づいて、前記入力した前記三次元図面情報が示す三次元図面を、前記作業者が前記重機に搭載された透過型ディスプレイを介して施工を行う対象を視認できる位置に配置された該透過型ディスプレイに表示させる位置を算出する手順と、
前記三次元図面情報が示す三次元図面を前記透過型ディスプレイの前記算出した位置に表示させる手順とを実行させる。

【発明の効果】

【0010】

本発明においては、施工を円滑に行うことができる。

【図面の簡単な説明】

【0011】

【図1】本発明の情報処理システムの第１の実施の形態を示す図である。

【図2】図１に示した情報処理装置の内部構成の一例を示す図である。

【図3】図１に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。

【図4】本発明の情報処理システムの第２の実施の形態を示す図である。

【図5】図４に示した情報処理装置の内部構成と、情報処理装置以外の構成要素とのつながりの一例を示す図である。

【図6】図５に示したカメラがマーカを撮像する様子の一例を示す図である。

【図7】測定した重機の位置の補正方法の一例を説明するための図である。

【図8】移動している重機からマーカへの方向および重機とマーカとの間の距離を測定する様子の一例を示す図である。

【図9】水平面と実際の施工面とに角度がある場合の様子の一例を示す図である。

【図10】互いに位置の異なる視点から施工対象箇所を見たときのそれぞれの視線の一例を示す図である。

【図11】図４に示した透過型ディスプレイが表示するＡＲ表示の一例を示す図である。

【図12】図４に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）

【0013】

図１は、本発明の情報処理システムの第１の実施の形態を示す図である。本形態における情報処理システムは図１に示すように、透過型ディスプレイ１００と、情報処理装置２００とを有する。透過型ディスプレイ１００と情報処理装置２００とは、互いの間で情報のやり取りを行うことができる。つまり、透過型ディスプレイ１００と情報処理装置２００とは、有線または無線を用いて接続されている。

【0014】

透過型ディスプレイ１００は、ディスプレイ上に情報（画面）を表示しつつ、そのディスプレイの向こう側が透けて見える構造のＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を表示可能なディスプレイである。透過型ディスプレイ１００は、重機を用いて作業を行う作業者が、透過型ディスプレイ１００を介して施工を行う対象を視認できる位置に配置される。例えば、重機を用いて作業を行う作業者が、その重機の運転席に乗車して作業を行う場合、透過型ディスプレイ１００は、重機のフロントガラスに沿って、そのフロントガラスの作業者側に配置されても良い。ＡＲ表示を行う透過型の部材を作業者に装着するゴーグル型のものとした場合、当該ゴーグル型の部材を装着した作業者の安全性が低下することが懸念される。そのため。本発明においては、ＡＲ表示を行う透過型ディスプレイを重機の前面、特にフロントガラスに沿って配置する。これにより、作業者の視界がＡＲ表示だけとなることなく、作業者が周囲の状況も確認することが容易になり、安全性が低下してしまうことを防止することができる。

【0015】

情報処理装置２００は、透過型ディスプレイに所定の画面を表示させる。図２は、図１に示した情報処理装置２００の内部構成の一例を示す図である。図１に示した情報処理装置２００は図２に示すように、位置情報取得部２１０と、入力部２２０と、算出部２３０と、表示制御部２４０とを有する。なお、図２には、図１に示した情報処理装置２００が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示している。

【0016】

位置情報取得部２１０は、作業者が操作する重機の位置を示す位置情報を取得する。位置情報取得部２１０は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：全球測位衛星システム）を用いて位置情報を取得する。位置情報取得部２１０は、重機に搭載されたアンテナを用いて位置情報を取得する。位置情報取得部２１０が取得する位置情報は、三次元空間における位置を三次元座標で示した情報であっても良い。

【0017】

入力部２２０は、外部から施工対象の三次元図面情報を入力する。入力部２２０は、外部から受け付けた操作に基づいて、三次元図面情報を入力する。入力部２２０は、所定の図面読み込み用のソフトウェアを用いるものであっても良いし、キーボード、マウス、タッチパネル等の情報を外部から入力するための一般的な機構を用いるものであっても良い。入力部２２０が入力する三次元図面情報は、施工図面を示す情報であって、施工対象の各寸法や位置を示す情報が含まれる。

【0018】

算出部２３０は、位置情報取得部２１０が取得した位置情報に基づいて、入力部２２０が入力した三次元図面情報が示す三次元図面を透過型ディスプレイ１００に表示させる位置を算出する。つまり、算出部２３０は、作業者が透過型ディスプレイ１００を通してみる対象物と、透過型ディスプレイ１００に表示された三次元図面上の当該対象物とが重なるように、三次元図面を表示する透過型ディスプレイ１００上の位置を算出する。このように算出部２３０が算出した位置は、透過型ディスプレイ１００が三次元図面を表示した際、透過型ディスプレイ１００が表示している三次元図面の対象物と、作業者が透過型ディスプレイ１００の向こう側に透過して見る対象物とが重なって見える位置となる。

【0019】

表示制御部２４０は、三次元図面情報が示す三次元図面を透過型ディスプレイ１００上の算出部２３０が算出した位置に表示させる。このように表示制御部２４０が三次元図面の表示を制御することで、作業者は、三次元図面における対象物と、透過型ディスプレイ１００を透過して見る対象物とを重ねて見ることができる。

【0020】

以下に、図１に示した情報処理システムにおける情報処理方法について説明する。図３は、図１に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。

【0021】

まず、位置情報取得部２１０は、作業者が操作する重機の位置を示す位置情報を取得する（ステップＳ１）。また、入力部２２０は、外部から三次元図面情報を入力する（ステップＳ２）。ここで、ステップＳ１の処理とステップＳ２の処理とは、どちらが先に行われても良い。すると、算出部２３０は、位置情報取得部２１０が取得した位置情報に基づいて、入力部２２０が入力した三次元図面情報が示す三次元図面を透過型ディスプレイ１００に表示させる位置を算出する（ステップＳ３）。そして、表示制御部２４０は、三次元図面情報が示す三次元図面を透過型ディスプレイ１００上の算出部２３０が算出した位置に表示させる（ステップＳ４）。

【0022】

このように、透過型ディスプレイ１００に施工図面を表示させ、作業者が実際の施工対象物と施工図面の対象物とを重ねて確認できるようにする。これにより、作業者は、実際の作業を行いながら透過型ディスプレイ１００上で施工図面を確認することができ、施工を円滑に行うことができる。
（第２の実施の形態）

【0023】

図４は、本発明の情報処理システムの第２の実施の形態を示す図である。本形態における情報処理システムは図４に示すように、透過型ディスプレイ１００と、情報処理装置２０１と、カメラ３０１と、方向算出部３１１と、距離測定部３２１と、マーカ４０１と、加速度センサ５０１と、視点位置算出部６０１と、検知部７０１とを有する。透過型ディスプレイ１００は、第１の実施の形態におけるものと同じである。それぞれの構成要素については、図５を参照しながら説明する。

【0024】

図５は、図４に示した情報処理装置２０１の内部構成と、情報処理装置２０１以外の構成要素とのつながりの一例を示す図である。図４に示した情報処理装置２０１は図５に示すように、位置情報取得部２１０と、入力部２２０と、算出部２３１と、表示制御部２４１とを有する。位置情報取得部２１０および入力部２２０のそれぞれは、第１の実施の形態におけるものとそれぞれ同じものである。また、図５には、図４に示した情報処理装置２０１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示している。

【0025】

マーカ４０１は、あらかじめ決められた位置に配置された部材である。マーカ４０１はカメラ３０１によって撮像されて、その配置（設置）されている位置を認識できるものであれば良く、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を使用したＬＥＤマーカであっても良い。

【0026】

カメラ３０１は、重機を中心とした周囲を撮像する。カメラ３０１は、所定のタイミングで静止画や動画を撮像する。特に、カメラ３０１は、マーカ４０１を撮像する。カメラ３０１は、例えば、作業者が作業に用いる重機に搭載される。カメラ３０１は、３６０度撮像可能なものが好ましい。

【0027】

図６は、図５に示したカメラ３０１がマーカ４０１を撮像する様子の一例を示す図である。図６に示す例では、マーカ４０１がマーカ４０１－１とマーカ４０１－２との２つである場合を示す。図６に示すように、カメラ３０１はマーカ４０１－１，４０１－２を撮像できる位置に設置される。カメラ３０１がマーカ４０１－１，４０１－２を撮像する理由を以下に述べる。

【0028】

図７は、測定した重機の位置の補正方法の一例を説明するための図である。図７に示したＧＮＳＳアンテナは、位置情報取得部２１０を構成する構成要素の１つであって、重機に搭載されている。図７に示すように、ＧＮＳＳを用いて測定される重機の位置と、実際のシステム上の重機の位置とには若干の誤差が生じる。これは、ＧＮＳＳにはある程度の範囲の誤差が許容されているためである。そのため、位置情報取得部２１０が取得した位置情報が示す位置を重機の位置としてそのまま用いて処理を行った場合、実際の重機の位置とはズレが生じてしまい、より正確な処理（ＡＲ表示）を行うことができない。そこで、あらかじめ決められた位置に設置されているマーカ４０１を重機に搭載されたカメラ３０１が撮像し、カメラ３０１に対するマーカ４０１の相対位置を算出し、算出した値を用いて、位置情報取得部２１０が取得した位置情報を補正する。具体的にこの補正には、方向算出部３１１と距離測定部３２１とを用いる。

【0029】

方向算出部３１１は、カメラ３０１に対する、カメラ３０１が撮像したマーカの方向を算出する。方向算出部３１１は、重機の正対する方向に対するカメラ３０１の撮像方向を算出する。このとき、方向算出部３１１は、重機の移動方向を重機の正対方向として、重機の正対方向に対するカメラ３０１の撮像方向を算出する。

【0030】

距離測定部３２１は、カメラ３０１から、カメラ３０１が撮像したマーカ４０１までの距離を測定する。このとき、距離測定部３２１は、例えば、レーザレーダを用いて距離を測定するものであっても良い。なお、本システムは、距離測定部３２１を具備しないものであっても良い。

【0031】

図８は、移動している重機からマーカへの方向および重機とマーカとの間の距離を測定する様子の一例を示す図である。図８に示すように、重機がＡの位置からＢの位置へ移動した場合、算出部２３１は、その移動に基づいて、重機の向き（正対方向）を算出する。例えば、Ａの位置の三次元座標を（ｘ₀，ｙ₀，ｚ₀）とし、Ｂの位置の三次元座標を（ｘ₁，ｙ₁，ｚ₁）とすると、Ａの位置からＢの位置へ移動したときの正対方向のベクトルの成分は（ｘ₁－ｘ₀，ｙ₁－ｙ₀，ｚ₁－ｚ₀）となる。算出部２３１は、この方向をそのときの重機の正対方向とする。方向算出部３１１は、算出部２３１が算出した重機の正対方向に対する、カメラ３０１が撮像したマーカ４０１－１、４０１－２それぞれの方向を算出する。また、距離測定部３２１は、移動している重機とマーカ４０１－１，４０１－２それぞれとの間の距離を測定する。

【0032】

加速度センサ５０１は、水平面に対する重機の傾きを測定する。具体的には、加速度センサ５０１は、重機に搭載されて重力加速度を測定し、その測定した値に基づいて、鉛直方向の傾きを算出し、算出した鉛直方向の傾きに基づいて、水平方向の傾き（施工面の傾斜）、つまり、重機の傾きを測定する。

【0033】

図９は、水平面と実際の施工面とに角度がある場合の様子の一例を示す図である。図９に示すように、位置情報取得部２１０が取得できる位置は水平面上の位置となる。そのため、位置情報取得部２１０だけを用いて位置を検知するような従来のシステムでは、実際の施工面と水平面との間に角度がある場合、対象のシステム上の座標位置と実際に作業者から対象が見える位置とに差異が生じてしまう。これにより、施工面の傾斜により対象物の正確な位置を認識することができない。そこで、加速度センサ５０１を用いて重機の傾きを測定し、その測定結果を用いる。

【0034】

視点位置算出部６０１は、透過型ディスプレイ１００に対する作業者の視点の相対位置を算出する。視点位置算出部６０１は、透過型ディスプレイ１００に取り付けられていても良い。

【0035】

図１０は、互いに位置の異なる視点から施工対象箇所を見たときのそれぞれの視線の一例を示す図である。図１０に示すように、Ａの視点から透過型ディスプレイ１００を介して施工対象箇所を見た場合と、Ｂの視点から透過型ディスプレイ１００を介して施工対象箇所を見た場合とでは、透過型ディスプレイ１００上の視線の位置が互いに異なる。つまり、透過型ディスプレイ１００に表示させるＡＲ画像の表示位置を、その視点に応じたものとしなければ、透過型ディスプレイ１００に表示された画像と向こう側に見える施工対象箇所との重なりが所望のものとならなくなってしまう。

【0036】

検知部７０１は、施工の状況を検知する。検知部７０１は、施工対象の箇所について施工が完了したかどうかを検知する。例えば、検知部７０１は、所定の施工を行うための動作を重機が行ったかどうかを検知するものであっても良い。さらに具体的には、検知部７０１は、施工が振動ローラを用いて転圧を行うものである場合、転圧のための動作を重機が行ったかどうかを検知するものであっても良い。

【0037】

算出部２３１は、第１の実施の形態における算出部２３０が具備する機能に加えて、以下の機能を有する。算出部２３１は、位置情報取得部２１０が重機の移動に伴い取得した位置情報に基づいて、重機の向きを算出する。重機の向きの具体的な算出方法は、図８を用いて説明した通りである。そして、算出部２３１は、算出した重機の向きと位置情報取得部２１０が取得した位置情報とに基づいて、三次元図面を透過型ディスプレイ１００に表示させる位置を算出する。さらに、算出部２３１は、算出した重機の向きと、方向算出部３１１が算出したカメラ３０１に対するマーカ４０１－１、４０１－２の方向と、距離測定部３２１が測定した重機とマーカ４０１－１，４０１－２それぞれとの間の距離とに基づいて、マーカ４０１－１，４０１－２が設置されている位置をそれぞれ算出する。そして、算出部２３１は、算出したマーカ４０１－１，４０１－２の位置と、あらかじめ設定（記憶）されているマーカ４０１－１，４０１－２の位置との差分に基づいて、位置情報取得部２１０が取得した重機の位置を補正する。さらに、算出部２３１は、加速度センサ５０１が測定した傾きを用いて、位置情報を補正する。さらに、算出部２３１は、視点位置算出部６０１が算出した視点の位置を用いて、位置情報を補正する。そして、算出部２３１は、補正した位置情報に基づいて、三次元図面を透過型ディスプレイ１００に表示させる位置を算出する。なお、本システムが、距離測定部３２１を具備しないものである場合、算出部２３１は、算出した重機の向きと、方向算出部３１１が算出したカメラ３０１に対するマーカ４０１－１、４０１－２の方向とに基づいて、マーカ４０１－１，４０１－２が設置されている位置をそれぞれ算出する。

【0038】

表示制御部２４１は、第１の実施の形態における表示制御部２４０が具備する機能に加えて、以下の機能を有する。表示制御部２４１は、検知部７０１が検知した施工の状況に基づいて、透過型ディスプレイ１００に表示させている三次元図面の表示の態様を変更していく。例えば、表示制御部２４１は、検知部７０１が施工を完了したことを検知した箇所に所定の色で着色を行うものであっても良い。

【0039】

図１１は、図４に示した透過型ディスプレイ１００が表示するＡＲ表示の一例を示す図である。図１１に示すように、表示制御部２４１は、三次元図面から施工対象となる箇所を破線で囲んで透過型ディスプレイ１００に表示させ、その施工対象のうち検知部７０１が施工済みを検知した部分を着色して表示させる。なお、表示制御部２４１は、検知部７０１が施工済みを検知した部分を他の部分と識別できる表示態様とすれば良く、着色以外の方法を用いても良い。透過型ディスプレイ１００がこのような表示を行うことで、作業者は施工箇所が透過して見られる透過型ディスプレイ１００を見ながら、施工が完了している部分と完了していない部分とを認識することができる。

【0040】

また、重機に搭載する機能としては、例えば、緊急時に透過型ディスプレイ１００のＡＲ表示をＯＦＦにする機能や、搭載されている機構が重機の振動で誤動作することを防止する機能が搭載されていても良い。重機の動作の異常を検知する異常検知機構を設け、異常検知機構が重機の異常を検知した場合に、透過型ディスプレイ１００のＡＲ表示をＯＦＦとするものであっても良い。この透過型ディスプレイ１００のＡＲ表示をＯＦＦとするタイミングは、異常検知機構が検知した異常のレベルに応じたものであっても良い。例えば、異常のレベルが高いものである場合は、異常を検知したら即時にＡＲ表示をＯＦＦとし、異常のレベルが低いものである場合は、その異常が検知された回数に応じて、ＡＲ表示をＯＦＦとするものであっても良い。また、搭載されている機構が重機の振動で誤動作することを防止する機能として、防振ゴムを用いるものであっても良い。例えば、防振ゴムを透過型ディスプレイ１００または透過型ディスプレイ１００の取り付け部分に設置して、重機が透過型ディスプレイ１００に与える振動を低減させても良い。

【0041】

以下に、図４に示した情報処理システムにおける情報処理方法について説明する。図１２は、図４に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。

【0042】

まず、入力部２２０は、外部から三次元図面情報を入力する（ステップＳ１１）。また、位置情報取得部２１０は、作業者が操作する重機の位置を示す位置情報を取得する（ステップＳ１２）。ここで、ステップＳ１１の処理とステップＳ１２の処理とは、どちらが先に行われても良い。続いて、加速度センサ５０１が、水平面に対する重機の傾きを測定する（ステップＳ１３）。また、視点位置算出部６０１が、透過型ディスプレイ１００に対する作業者の視点の相対位置を算出する（ステップＳ１４）。ここで、ステップＳ１３の処理とステップＳ１４の処理とは、どちらが先に行われても良い。すると、算出部２３１は、位置情報取得部２１０が取得した位置情報に基づいて、入力部２２０が入力した三次元図面情報が示す三次元図面を透過型ディスプレイ１００に表示させる位置を算出する。さらに、算出部２３１は、算出した位置を、加速度センサ５０１が測定した重機の傾きと、視点位置算出部６０１が算出した視点の位置とに基づいて補正して、ＡＲモデルを作成する（ステップＳ１５）。表示制御部２４１は、算出部２３１が算出したＡＲモデルを透過型ディスプレイ１００に表示させる（ステップＳ１６）。このＡＲモデルは、三次元図面情報が示す三次元図面が透過型ディスプレイ１００上の算出部２３０が補正した位置に表示されるものである。

【0043】

その後、重機が移動すると（ステップＳ１７）、さらに、位置情報取得部２１０は、重機の位置を示す位置情報を取得する（ステップＳ１８）。続いて、算出部２３１は、位置情報取得部２１０が重機の移動に伴い取得した位置情報に基づいて、重機の向きを算出する。さらに、算出部２３１は、算出した重機の向きに基づいて方向算出部３１１が算出した方向と、距離測定部３２１が測定した距離とを用いて、位置情報を補正する（ステップＳ１９）。そして、ステップＳ１３の処理が行われる。なお、本システムが、距離測定部３２１を具備しないものである場合、ステップＳ１９では、算出部２３１は、算出した重機の向きに基づいて方向算出部３１１が算出した方向を用いて、位置情報を補正する。

【0044】

このように、透過型ディスプレイ１００に施工図面をＡＲ表示させ、作業者が実際の施工対象物と施工図面の対象物とを重ねて確認できるようにする。そのため、重機を操作する作業者は運転席で正面を向いたまま施工状況を確認でき、一般的に行われている転圧システムにおけるシステム管理画面での施工箇所の確認による作業の一時停止が発生しなくなる。これにより、連続的な施工が可能となり、施工スピードが向上する。また、施工済みの箇所を施工がまだ行われていない箇所と識別することができる表示を行うことで、万が一の施工漏れを防止することができる。さらに、施工図面の表示位置を、位置情報取得部２１０が取得した位置だけではなく、重機に搭載されたカメラ３０１が撮像したマーカ４０１との相対位置や方向、施工面の傾斜、透過型ディスプレイ１００に対する作業者の視点の位置を用いて算出してＡＲ表示を行う。そのため、より正確なＡＲ表示を行うことができる。これにより、施工を円滑に行うことができる。

【0045】

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。

【0046】

上述した情報処理装置２００，２０１およびその他の構成要素（以下、情報処理装置と称する）が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を情報処理装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置に読み込ませ、実行するものであっても良い。情報処理装置にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの移設可能な記録媒体の他、情報処理装置に内蔵されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理装置に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。

【符号の説明】

【0047】

１０ 重機
１００ 透過型ディスプレイ
２００，２０１ 情報処理装置
２１０ 位置情報取得部
２２０ 入力部
２３０，２３１ 算出部
２４０，２４１ 表示制御部
３０１ カメラ
３１１ 方向算出部
３２１ 距離測定部
４０１，４０１－１，４０１－２ マーカ
５０１ 加速度センサ
６０１ 視点位置算出部
７０１ 検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】