(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024064513
(43)【公開日】2024-05-14
(54)【発明の名称】情報処理装置、可視化システム、表示装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06Q 50/00 20240101AFI20240507BHJP
G01V 3/12 20060101ALI20240507BHJP
【FI】
G06Q50/00
G01V3/12 B
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022173151
(22)【出願日】2022-10-28
(71)【出願人】
【識別番号】000232254
【氏名又は名称】日本電気通信システム株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】塩崎 達也
(72)【発明者】
【氏名】青木 教之
(72)【発明者】
【氏名】阿部 憲一
(72)【発明者】
【氏名】鎌田 典彦
【テーマコード(参考)】
2G105
5L049
5L050
【Fターム(参考)】
2G105AA02
2G105BB11
2G105CC01
2G105DD02
2G105EE01
2G105GG03
2G105HH04
2G105LL02
5L049CC00
5L050CC00
(57)【要約】
【課題】作業装置による作業済みの領域と未作業領域との識別を容易にする情報処理装置、可視化システム、表示装置、情報処理方法、およびプログラムを提供する。
【解決手段】情報処理装置10は、マップ生成部120および出力部140を備える。マップ生成部120は、一以上の作業装置による、対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成する。作業装置は、少なくとも一部を対象面上で動かすことにより所定の作業が可能な装置である。出力部140は、識別マップを対象面に重畳させるために、識別マップを表示装置に出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
少なくとも一部を対象面上で動かすことにより所定の作業が可能な一以上の作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成するマップ生成手段と、
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する出力手段とを備える
情報処理装置。
【請求項2】
請求項1に記載の情報処理装置において、
前記表示装置はAR(Augmented Reality)技術を用いて、前記識別マップを、前記対象面に重畳させるよう表示する装置である
情報処理装置。
【請求項3】
請求項1または2に記載の情報処理装置において、
前記作業装置で作業が行われた時刻を示す第1時刻情報と、前記作業装置の前記少なくとも一部の前記対象面上での位置を示す第1位置情報と、前記第1位置情報に関連付けられた第2時刻情報とを取得する取得手段をさらに備え、
前記マップ生成手段は前記第1時刻情報と前記第2時刻情報と前記第1位置情報とを用いて、前記作業装置で作業が行われた作業位置を特定し、
前記取得手段は、少なくとも前記第1時刻情報を前記作業装置から取得する
情報処理装置。
【請求項4】
請求項1または2に記載の情報処理装置において、
前記マップ生成手段は、前記作業装置による作業結果を示す結果マップを生成し、
前記出力手段は、前記結果マップを前記対象面に重畳させるために、前記結果マップを前記表示装置に出力する
情報処理装置。
【請求項5】
請求項4に記載の情報処理装置において、
前記作業装置は前記対象面の下の情報を得る装置であり、
前記結果マップは、前記対象面の下の状態を示す三次元マップである
情報処理装置。
【請求項6】
請求項5に記載の情報処理装置において、
前記対象面は地面である
情報処理装置。
【請求項7】
請求項1または2に記載の情報処理装置と、
前記表示装置とを備える
可視化システム。
【請求項8】
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを取得するマップ取得手段と、
前記識別マップを前記対象面に重畳させるよう表示する表示手段とを備える
表示装置。
【請求項9】
一以上のコンピュータが、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成し、
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する
情報処理方法。
【請求項10】
コンピュータを、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成するマップ生成手段、および
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する出力手段
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、可視化システム、表示装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
地面の下の埋設物を探査する探査装置、構造物の劣化診断等を行うための検査装置、芝刈り機、除菌装置など、地面や物体の対象面上で動かすことにより、所定の作業が行われる装置がある。これらの装置を用いて作業を行う場合、実際の対象面を見ても、作業が済んだ領域か、これから作業すべき領域かを見極めることが難しい。そのため、すでに作業が済んだ領域に対して再度作業をしてしまったり、未作業の領域を残したまま作業を終えてしまったりすることが生じ得る。
【0003】
特許文献1には、ガス管の敷設状態を表す図面データにもとづいて生成された仮想オブジェクトを、撮影画像に重畳してディスプレイに表示させることが記載されている。
【0004】
特許文献2には、自身と地中のシールド機や切羽との位置関係を地図上に表示させることが記載されている。
【0005】
特許文献3には、レーダーが地表から所定の精度で探査を行うことができる許容深度、および作業装置が掘削作業を行う掘削位置をマップに表示させることが記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2021-157717号公報
【特許文献2】特開2014-77297号公報
【特許文献3】特開2021-189127号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述した特許文献1の技術では、敷設状態を表す図面データにもとづく仮想オブジェクトが表示される。したがって、特許文献1の技術は、作業済みの領域と未作業領域との識別を可能とするものではなかった。
【0008】
特許文献2および3の技術では、作業に関する位置が地図やマップとして表示されるのみであるため、ユーザは実際の作業の対象面と、地図やマップとを照らし合わせて、位置関係を確かめる必要があった。
【0009】
本発明の目的の一例は、上述した課題を鑑み、作業装置による作業済みの領域と未作業領域との識別を容易にする情報処理装置、可視化システム、表示装置、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明の一態様によれば、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な一以上の作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成するマップ生成手段と、
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する出力手段とを備える
情報処理装置が提供される。
【0011】
本発明の一態様によれば、
上記の情報処理装置と、
前記表示装置とを備える
可視化システムが提供される。
【0012】
本発明の一態様によれば、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを取得するマップ取得手段と、
前記識別マップを前記対象面に重畳させるよう表示する表示手段とを備える
表示装置が提供される。
【0013】
本発明の一態様によれば、
一以上のコンピュータが、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成し、
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する
情報処理方法が提供される。
【0014】
本発明の一態様によれば、
コンピュータを、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成するマップ生成手段、および
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する出力手段
として機能させるプログラムが提供される。
【発明の効果】
【0015】
本発明の一態様によれば、作業装置による作業済みの領域と未作業領域との識別を容易にする情報処理装置、可視化システム、表示装置、情報処理方法、およびプログラムを提供できる。
【図面の簡単な説明】
【0016】
【
図1】第1の実施形態に係る情報処理装置の概要を示す図である。
【
図2】第1の実施形態に係る可視化システムの構成を例示するブロック図である。
【
図3】第1の実施形態に係る可視化システムの例について説明するための図である。
【
図4】第1の実施形態に係る可視化システムの例について説明するための図である。
【
図5】第1の実施形態に係る作業装置の機能構成を例示する図である。
【
図6】第1の実施形態に係る情報処理装置の機能構成を例示する図である。
【
図7】第1の実施形態に係る表示装置の概要を示す図である。
【
図8】第1例に係る表示装置の機能構成を例示する図である。
【
図9】第2例に係る表示装置の機能構成を例示する図である。
【
図10】第2例に係る表示装置に出力画像が表示された様子を例示する図である。
【
図11】第3例に係る表示装置の機能構成を例示する図である。
【
図12】第3例に係る表示装置の使用状況を例示する図である。
【
図13】情報処理装置を実現するための計算機を例示する図である。
【
図14】第1の実施形態に係る可視化システムが行う処理の流れを例示するフローチャートである。
【
図15】第1の実施形態に係る情報処理方法の概要を示す図である。
【
図16】第1の実施形態に係る情報処理装置が実行する処理の流れを例示するフローチャートである。
【
図17】第2の実施形態に係る可視化システムの例について説明するための図である。
【
図18】第4の実施形態に係る可視化システムの例について説明するための図である。
【
図19】第5の実施形態に係る可視化システムの例について説明するための図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0018】
(第1の実施形態)
図1は、第1の実施形態に係る情報処理装置10の概要を示す図である。本実施形態に係る情報処理装置10は、マップ生成部120および出力部140を備える。マップ生成部120は、一以上の作業装置による、対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成する。作業装置は、少なくとも一部を対象面上で動かすことにより所定の作業が可能な装置である。出力部140は、識別マップを対象面に重畳させるために、識別マップを表示装置に出力する。
【0019】
この情報処理装置10によれば、作業装置による作業済みの領域と未作業領域との識別が容易となる。
【0020】
図2は、本実施形態に係る可視化システム40の構成を例示するブロック図である。本実施形態に係る可視化システム40は、情報処理装置10と、表示装置30とを備える。可視化システム40は、一以上の作業装置をさらに備えても良い。情報処理装置10、作業装置、および表示装置30は、互いに情報を送受信することができるように接続されている。情報処理装置10、作業装置、および表示装置30の通信接続は、有線接続でもよいし無線接続でもよい。また、作業装置、情報処理装置10、および表示装置30はそれぞれ別々の装置であってもよいし、これらのうち二つ以上は一体化された装置であってもよい。
【0021】
図3および
図4は、本実施形態に係る可視化システム40の例について説明するための図である。
図3および
図4では、作業装置20が地中探査装置であり、表示装置30がグラス型AR(Augmented Reality)装置である例を示している。ただし、可視化システム40は本例に限定されない。
【0022】
たとえば、道路などの地下には上下水道や電気、通信、ガス等の管路といった地中設備が敷設されている。地中設備の新規敷設や既存地中設備の改修を行う際には、既存地中設備の位置の事前把握が必要なため、地面の掘削前に探査が行われる。地中設備等の埋設物の探査法としては、地中レーダー探査法や電磁誘導法といった方法が存在する。これらの方法では、地上から探査機で地面の対象の領域を走査するという作業が必要である。既存の上下水道やガス等の管路の改修に加えて、無電柱化の推進により電気・通信の管路の新規敷設が増える場合、地中設備探査の頻度および量が増えるため、探査作業の効率化が特に求められる。
【0023】
しかし、地中レーダー探査法等で探査を行う際、地中の探査結果を表示するのみでは、探査機を操作する作業者は地中を目視できるわけではないため、地表のみを見て作業完了箇所を確認することは出来ない。そのため、探査が完了した箇所を誤って再度走査するなど非効率的なことが発生し得る。
【0024】
本実施形態に係る情報処理装置10によれば、作業完了箇所を地表に重畳させて表示させる事ができる。情報処理装置10はたとえば、RTK(Real Time Kinematic)-GNSS(Global Navigation Satellite System)を利用可能なモジュール等を搭載した埋設物探査機の、位置情報および地下の探査完了状況を示す情報を取得し、これらの情報を互いに紐づける。紐づけられたこれらの情報を用い、地下の探査完了状況を地表において示すことができる二次元マップを生成する。この生成された二次元マップを、表示装置30の位置情報を基に、たとえばロケーションベースAR技術を用いて、地表に可視化する。そうすることで、埋設物探査の作業者50に探査完了状況の情報を提供することができる。作業者50は地表に可視化された探査完了状況を見ながら埋設物探査を行うことで、探査済み箇所を再度走査するという無駄を避け、必要な領域をもれなく探査することができる。
【0025】
このような情報処理装置10によれば、埋設物探査作業に慣れていない作業者でも探査済み箇所を再度走査することが避けられ、埋設物探査作業の効率化が期待できる。
【0026】
図3は、作業者50が作業装置20で対象面55である地面の上を走査している様子を示している。この作業者50は、表示装置30であるグラス型AR装置を装着している。作業者50は、対象面55の上で、破線で示したように作業装置20を移動させていくことで、対象面55を走査している。
【0027】
作業装置20からは作業の完了状況を示す情報と作業装置20の位置情報が情報処理装置10に送信される。情報処理装置10は作業装置20から送信された情報を受信し、受信した情報を用いて識別マップを生成する。情報処理装置10は、識別マップを表示装置30に送信する。表示装置30は、表示装置30の位置および向きに基づいて、対象面55に識別マップが重畳されるように、識別マップを表示する。作業者50は、表示装置30であるグラスを介して対象面55を見ることにより、
図4のように作業済み領域51と未作業領域52が識別可能である。本図の例では、作業者50には、作業済み領域51にのみ所定の色が塗られた対象面55が見える。
【0028】
情報処理装置10、作業装置20、および表示装置30について、以下に詳しく説明する。
【0029】
<作業装置>
上述した通り、作業装置20は、少なくとも一部を対象面55上で動かすことにより所定の作業が可能な装置である。作業装置20の例には、測定装置、清掃装置、および処理装置が含まれる。測定装置の例には、探査装置、診断装置、および検査装置が含まれる。清掃装置の例には、芝刈り機、ポリッシャー、および除菌装置が含まれる。処理装置には、コーティング処理装置、抗菌処理装置、および研磨装置が含まれる。作業装置20にはたとえばセンサが備えられており、そのセンサを用いることで、作業が行われたことを示す情報が得られる。作業装置20により行われる所定の作業の例には、測定作業、清掃作業、および処理作業が含まれる。測定作業の例には探査作業および検査作業が含まれる。清掃作業の例には、芝刈り作業、ポリッシング作業、および除菌作業が含まれる。処理作業の例には、コーティング作業、抗菌処理作業、ポリッシング作業、研磨処理作業が含まれる。作業の内容や目的は特に限定されない。
【0030】
作業装置20は、人が操作する装置であり得る。ただし、作業装置20は、コンピュータ等により、自動で操作される装置でも良い。その場合でも、可視化システム40によれば、作業装置20による作業済みの領域51と未作業領域52との識別が、作業装置20の作業状況を監視する監視者等にとって容易となる。
【0031】
作業装置20はたとえば、本体部と、プローブ等の走査部とを備えていても良い。少なくともこの走査部を対象面55上で動かすことにより所定の作業が行われる。本体部と走査部との通信接続は有線でもよいし無線でも良い。
【0032】
所定の作業は、作業装置20の少なくとも一部を対象面55上で連続的に動かしながら行われても良いし、作業装置20の少なくとも一部を対象面55上で動かすことと作業することを交互に繰り返すことで行われても良い。たとえば、作業装置20が測定装置である場合、作業装置20の少なくとも一部を対象面55上で連続的に動かしながら常に測定が行われても良いし、作業装置20の少なくとも一部を対象面55上で動かすことと、停止させて測定することとを交互に繰り返すことにより、対象面55上の複数の点で測定が行われてもよい。このように断続的な作業が行われる場合、作業装置20の現在位置に対する有効作業領域が、作業済み領域51と同様に表示装置30に表示されても良い。有効作業領域とは、作業装置20の効力が及ぶ領域であり、たとえば、作業装置20の位置から測定できている領域を意味する。たとえば作業装置20の位置を基準とした有効作業領域が予め定められており、作業装置20の現在位置に基づいて、有効作業領域を特定できる。有効作業領域はたとえば作業装置20を中心とした所定の半径の円内領域とすることができる。有効作業領域は、少なくとも未作業領域52とは識別可能に表示される。そうすることで、作業済み領域51と作業済み領域51との間に未作業領域52が残ってしまうようなことを防ぐことができる。有効作業領域は、さらに作業済み領域51と識別可能に表示されても良い。
【0033】
作業装置20が処理を行う対象面55は特に限定されないが、対象面55の例には、地面、床面、壁面、天井面、構造物の表面、物品の表面が含まれる。地面の例には、道路の路面、公共の広場等の地面、私有地の地面が含まれる。
【0034】
図5は、本実施形態に係る作業装置20の機能構成を例示する図である。本図の例において、作業装置20は、作業制御部220、第1位置情報取得部240および出力部260を備える。
【0035】
作業制御部220は、作業装置20が行う所定の作業を制御する。たとえば作業装置20は、所定の作業を実施するために、各種センサの駆動、センサからの測定結果の取得、駆動部の制御等を行う。また、作業制御部220は、第1時刻情報を出力する。第1時刻情報は、作業装置20により所定の作業が行われた時刻を示す。たとえば作業装置20が測定装置である場合、第1時刻情報は、作業装置20で各測定結果が得られた時刻を示す。作業装置20が連続的に所定の作業を行う場合、作業制御部220は、所定の作業の開始時刻を示す第1時刻情報と終了時刻を示す第1時刻情報とを出力してもよいし、所定の作業が行われている期間内の複数の時刻を、所定の間隔で示す、複数の第1時刻情報を出力してもよい。第1時刻情報は、作業装置20により所定の作業が行われた時刻に加えて、作業装置20により所定の作業が行われた日付をさらに示しても良い。
【0036】
第1位置情報取得部240は、第1位置情報を取得する。所定の作業のために、作業装置20全体を対象面55上で動かす場合、第1位置情報は作業装置20の位置である。作業装置20のうち、上述した走査部のように一部のみを対象面55上で動かすことで、所定の作業が行われる場合には、第1位置情報は、その一部(以下、「走査部」と呼ぶ)の位置である。作業装置20にはたとえば、作業装置20または作業装置20の走査部の、位置を測定可能なRTK-GNSSモジュールが搭載されており、第1位置情報取得部240はRTK-GNSS等のGNSSを用いて第1位置情報を取得する。ただし作業装置20は、GNSS以外の既存の手法を用いて、第1位置情報を取得しても良い。作業装置20は、たとえば、RBGカメラや3Dセンサを用いたビジュアルスラムにより、第1位置情報を取得しても良い。
【0037】
また、第1位置情報取得部240は、第1位置情報に、第2時刻情報を関連付ける。第2時刻情報は、第1位置情報を取得した時刻、すなわち、作業装置20または作業装置20の走査部が、第1位置情報が示す位置にあった時刻を示す。第2時刻情報は、時刻に加えて、作業装置20または作業装置20の走査部が、第1位置情報が示す位置にあった日付をさらに示しても良い。
【0038】
第1位置情報取得部240がいつ第1位置情報を取得するかは、任意である。たとえば、第1位置情報取得部240は、作業装置20の電源がONとなった時から、所定の時間間隔T1で第1位置情報を取得する。時間間隔T1は、特に限定されないが、たとえば1秒以上30秒以下であり得る。その他の例として、第1位置情報取得部240は、第1時刻情報が示す時刻に対応する時刻に第1位置情報を取得しても良い。
【0039】
本実施形態において、出力部260は、作業制御部220から取得した第1時刻情報と、第1位置情報取得部240から取得した第1位置情報および第2時刻情報とを情報処理装置10に対して出力(送信)する。これらの情報の出力は、第1時刻情報が取得される度に行われてもよいし、第1位置情報および第2時刻情報が取得される度に行われてもよい。第1位置情報が取得されたときに作業装置20から情報処理装置10へ送信される場合には、第2時刻情報は、情報処理装置10において第1位置情報に関連付けられてもよい。その場合、情報処理装置10が作業装置20から第1位置情報を取得した時刻を、第2時刻情報とすればよい。
【0040】
その他の例として、出力部260は、蓄積された第1時刻情報、第1位置情報、および第2時刻情報を、所定のタイミングでまとめて出力しても良い。所定のタイミングの例には、情報処理装置10、作業装置20、または表示装置30に対して所定の操作が行われたタイミング、および所定の時間T2ごとのタイミングが含まれる。
【0041】
<情報処理装置>
図6は、本実施形態に係る情報処理装置10の機能構成を例示する図である。本実施形態に係る情報処理装置10は、取得部110、マップ生成部120、および出力部140を備える。取得部110は、第1時刻情報と、第1位置情報と、第1位置情報に関連付けられた第2時刻情報とを取得する。上述した通り、第1時刻情報は作業装置20で作業が行われた時刻を示し、第1位置情報は、作業装置20の少なくとも一部の対象面55上での位置を示す。マップ生成部120は、第1時刻情報と第2時刻情報と第1位置情報とを用いて、作業装置20で作業が行われた作業位置を特定する。以下に詳しく説明する。
【0042】
本実施形態において取得部110は、作業装置20が送信した第1時刻情報、第1位置情報、および第2時刻情報を受信することで、取得する。
図6の例において、情報処理装置10は、作業情報記憶部150および第1位置情報記憶部160をさらに備える。取得部110は、取得した第1時刻情報を作業情報記憶部150に保持させる。また、取得部110は、取得した第1位置情報および第2時刻情報を第1位置情報記憶部160に保持させる。
【0043】
マップ生成部120は、取得部110が取得し、作業情報記憶部150および第1位置情報記憶部160に保持させた情報を関連付けることにより、作業装置20で作業が行われた作業位置を特定する。具体的には、マップ生成部120は、第1時刻情報に一致する第2時刻情報がある場合、その第2時刻情報に関連付けられた第1位置情報を、作業位置として特定する。たとえば、作業装置20の第1位置情報取得部240が、第1時刻情報が示す時刻に対応する時刻に第1位置情報を取得している場合、マップ生成部120は、その第1時刻情報と第1位置情報とを互いに関連付ければ良い。なお、第1時刻情報と第2時刻情報とは完全に一致する必要はない。マップ生成部120は、第1時刻情報が示す時刻と第2時刻情報が示す時刻との差が所定値以下である場合、その第2時刻情報が、その第1時刻情報に一致するとみなしてよい。
【0044】
マップ生成部120は、第1時刻情報に一致する第2時刻情報がない場合、第1時刻情報と第2時刻情報と第1位置情報とを用いて作業位置を推定することで、作業位置を特定する。たとえばマップ生成部120は、第1位置情報記憶部160に保持された複数の第2時刻情報が示す時刻のうち、ある第1時刻情報が示す時刻t1の前であって、かつ、その時刻t1に最も近い時刻t2bを特定する。また、マップ生成部120は、第1位置情報記憶部160に保持された複数の第2時刻情報が示す時刻のうち、ある第1時刻情報が示す時刻t1の後であって、かつ、その時刻t1に最も近い時刻t2aを特定する。そして、時刻t2bの第2時刻情報に関連付けられた第1位置情報に示される位置p2bと、時刻t2aの第2時刻情報に関連付けられた第1位置情報に示される位置p2aとの間の位置を、作業位置として推定する。具体的にはたとえば、マップ生成部120は、作業装置20または作業装置20の走査部が、時刻t2bから時刻t2aまでの間に、位置p2bから位置p2aまで等速直線運動をしているという仮定のもとで、時刻t1における位置を推定し、その推定された位置を作業位置として特定することができる。
【0045】
なお、作業制御部220が、所定の作業の開始時刻を示す第1時刻情報と終了時刻を示す第1時刻情報とを出力する場合、マップ生成部120は、開始時刻を示す第1時刻情報に対応付けられた作業位置と、終了時刻を示す第1時刻情報に対応付けられた作業位置との間の領域を、作業済み領域51として特定する。
【0046】
マップ生成部120は、作業位置の特定を、取得部110が情報を取得する度に行ってもよいし、所定のタイミングで行っても良い。所定のタイミングの例には、情報処理装置10、作業装置20、または表示装置30に対して所定の操作が行われたタイミング、および所定の時間T3ごとのタイミングが含まれる。
【0047】
マップ生成部120は、特定した作業位置(地点)を含む所定の領域を作業済み領域51とし、作業済み領域51をその他の領域と区別して示す識別マップを生成する。たとえば、対象面55において、各作業位置を中心とし、所定の半径を有する領域を作業済み領域51とすることができる。マップ生成部120は、複数の作業位置を特定した場合には、各作業位置に対する作業済み領域51を特定し、特定した全ての作業済み領域51を一つの領域に統合する。そして、統合した作業済み領域51を示す識別マップを生成する。なお、マップ生成部120は、特定した作業位置を示すマップを、識別マップとして生成してもよい。
【0048】
識別マップは、作業済み領域51の位置、大きさ、および形状の特定を可能とする情報である。識別マップにより特定できる作業済み領域51の位置は、緯度および経度のような絶対位置であってもよし、対象面55の内部または近くに位置する所定の基準点からの相対位置であってもよい。識別マップは、地図データに作業済み領域51を示すフラグを付加したデータであってもよい。識別マップは、作業済み領域51を示す画像またはテーブルであり得る。識別マップは、対象面55上の二次元マップである。識別マップは作業済み領域51の高度を特定可能な情報を含んでも良い。
【0049】
なお、識別マップは、未作業領域52を示してもよい。その場合、識別マップを用いて、未作業領域52ではない領域を、作業済み領域51として特定することができる。この場合たとえば、情報処理装置10には予め対象面55の作業を行うべき領域を示す情報が登録され、初期状態において、この作業を行うべき領域全体が未作業領域52として設定される。そして、マップ生成部120は、上述した通り特定した作業済み領域51を、未作業領域52から除くことで、その時点の未作業領域52を示す識別マップを生成できる。その他の例として、識別マップは、作業を行うべき領域を複数の部分領域に分割した各部分領域について、作業が完了したか否かの情報を示すマップでもよい。
【0050】
出力部140は、マップ生成部120が生成した識別マップを表示装置30へ出力(送信)する。出力部140は、識別マップを生成したときに、その識別マップを表示装置30へ出力してもよいし、所定のタイミングでその時の最新の識別マップを表示装置30へ出力してもよい。所定のタイミングの例には、情報処理装置10、作業装置20、または表示装置30に対して所定の操作が行われたタイミング、および所定の時間T4ごとのタイミングが含まれる。
【0051】
<表示装置>
図7は、本実施形態に係る表示装置30の概要を示す図である。本実施形態に係る表示装置30は、マップ取得部310および表示部300を備える。マップ取得部310は、作業装置20による、対象面55における作業済み領域51と未作業領域52とを、互いに識別可能な識別マップを取得する。作業装置20は上述した通り、少なくとも一部を対象面55上で動かすことにより所定の作業が可能な装置である。表示部300は、識別マップを対象面55に重畳させるよう表示する。表示装置30について以下に詳しく説明する。
【0052】
マップ取得部310は、情報処理装置10の出力部140が出力した識別マップを取得(受信)する。
【0053】
表示装置30はたとえば、AR(Augmented Reality)技術を用いて、識別マップを、対象面55に重畳させるよう表示する装置である。すなわち。表示装置30によれば、識別マップを画像としてARで実空間にオーバーレイすることができる。たとえば作業者50は、表示装置30を用いることで、自身の位置と作業の進行状況を確認しながら、作業を進めることができる。表示装置30の例には、グラス型AR装置、ゴーグル型AR装置、タブレット型デバイス、およびスマートフォンが含まれる。AR技術を用いるためには、表示装置30の表示部300の位置、向き、および角度を特定する必要がある。表示部300の位置、向き、および角度を示す情報を、以下では「第2位置情報」とも呼ぶ。表示装置30が用いるAR技術は、ロケーションベースARでもよいし、ビジョンベースARでもよい。
【0054】
なお、表示装置30は、AR(Augmented Reality)技術を用いる装置でなくても良い。表示装置30はたとえば対象面55に識別マップを投影する投影装置であってもよい。
【0055】
表示部300における表示内容は、作業済み領域51と未作業領域52とが、互いに識別可能である限り、特に限定されない。たとえば、作業済み領域51と未作業領域52とが互いに異なる色、輝度、または模様等で示されても良い。または、作業済み領域51と未作業領域52との境界が線等で示されても良い。作業済み領域51または未作業領域52の一方を囲う図形が表示されても良い。
【0056】
表示装置30は、作業装置20の作業者50が表示装置30の表示内容を見ることができるように設けられていることが好ましい。表示装置30は、作業者50が装着できる形態を有してもよいし、作業装置20に備えられていてもよい。ただし、表示装置30は、作業装置20の作業者50に代えて、または加えて、作業装置20の作業者50以外のユーザが表示装置30の表示内容を見みることができるように設けられていても良い。表示装置30は、作業装置20から離れた位置に設けられていても良い。
【0057】
また、情報処理装置10から複数の表示装置30へ識別マップが送信され、各表示装置30で識別マップが表示されても良い。
【0058】
以下に、表示装置30の複数の例について説明する。
【0059】
<<第1例>>
図8は、第1例に係る表示装置30の機能構成を例示する図である。本例において、表示装置30はグラス型AR装置であり、識別マップを対象面55に重畳させるように、光透過性の表示部材340に識別マップを表示させる装置である。
【0060】
図8の例において、表示装置30は、表示部300、マップ取得部310、第2位置情報取得部320、および画像生成部330を備える。また、表示部300は、表示部材340を備える。第2位置情報取得部320は、たとえばRTK-GNSS等を利用可能なGNSSモジュールを含み、GNSSモジュールを用いて表示部材340の位置を取得することができる。ただし、表示部材340の位置を取得する方法は、GNSSを利用する方法に限定されない。また、表示装置30は地磁気センサや加速度センサ等の各種センサを含み、第2位置情報取得部320はこれらのセンサから表示部材340の向きや角度を取得できる。
【0061】
表示部材340は、光透過型のディスプレイである。表示装置30のユーザは、表示部材340を介して対象面55を含む周囲の状況を見ることができる。また、表示装置30のユーザは、表示部材340に画像として表示された識別マップを、対象面55に重ね合わせた状態で見ることができる。
【0062】
画像生成部330は、マップ取得部310が取得した識別マップと、第2位置情報取得部320が取得した表示部材340の位置、向き、および角度(第2位置情報)とを用いて、表示部材340に表示させる出力画像を生成する。すなわち画像生成部330は、表示装置30のユーザが、表示部材340を介して対象面55を見たとき、識別マップに示された作業済み領域51が、実際の対象面55上の作業装置20による作業済み領域51に一致するような出力画像を生成する。画像生成部330は、識別マップから、作業済み領域51の位置、大きさ、および形を特定し、表示部材340の位置、向き、および角度に基づいて、出力画像における作業済み領域51の位置、大きさ、および形を決定する。そして、その決定内容に基づいた出力画像を生成する。
【0063】
画像生成部330は、生成した出力画像を表示部材340に出力する。表示部材340は、画像生成部330から取得した出力画像を表示する。なお、第1例において、出力画像に対象面55の画像は含まれない。
【0064】
また、表示装置30は、表示部材340として、光透過型のディスプレイを一つのみ備えても良いし、二つの光透過型のディスプレイまたは二つの表示領域を備えても良い。表示部材340が左右の目に対応する二つの光透過型のディスプレイまたは二つの表示領域を有する場合、画像生成部330は、左目用の出力画像と右目用の出力画像とを生成する。そして、左目用の表示部材340に左目用の出力画像を出力し、右目用の表示部材340に右目用の出力画像を出力する。表示装置30のユーザは、左右の目でそれぞれの表示部材340を見ることで、周囲の状況と識別マップとを、立体的に視認できる。
【0065】
なお、表示装置30は、マップ取得部310および画像生成部330を含んで情報処理を行う処理部と、第2位置情報取得部320および表示部材340を含む装着部とに分かれていてもよいし、表示装置30全体が装着部に含まれていてもよい。表示装置30のユーザは装着部をメガネのように装着することで、表示装置30を使用できる。処理部と、装着部とが分かれている場合、処理部と装着部との通信接続は有線であっても良いし、無線であっても良い。
【0066】
<<第2例>>
図9は、第2例に係る表示装置30の機能構成を例示する図である。本例において、表示装置30はゴーグル型AR装置、タブレット型デバイス、またはスマートフォンである。
図9の例において、表示装置30は、表示部300、マップ取得部310、第2位置情報取得部320、撮像部360、および画像生成部330を備える。表示部300は、ディスプレイ380を備える。撮像部360は、対象面55を撮像する。画像生成部330は、撮像部360で撮像された画像に識別マップを重畳させた出力画像を生成する。ディスプレイ380は、出力画像を表示する。
【0067】
図10は、第2例に係る表示装置30に出力画像が表示された様子を例示する図である。
図10の例では、表示装置30がタブレット型デバイスであり、作業者50から離れた位置から、作業の様子を見る場合を仮定している。
【0068】
第2位置情報取得部320は、たとえばRTK-GNSS等を利用可能なGNSSモジュールを含み、GNSSモジュールを用いてディスプレイ380の位置を取得することができる。ただし、ディスプレイ380の位置を取得する方法は、GNSSを利用する方法に限定されない。また、表示装置30は方位センサや角度センサ等の各種センサを含み、第2位置情報取得部320は、これらのセンサからディスプレイ380の向きや角度を取得できる。
【0069】
撮像部360は、たとえばカメラである。撮像部360により、表示装置30の周囲の状況を撮像できる。画像生成部330は、撮像部360で撮像された画像と、識別マップとを重畳させる。
【0070】
ディスプレイ380は光透過型である必要はない。表示装置30のユーザは、識別マップと対象面55とが重ね合わされた画像をディスプレイ380で見ることができる。
【0071】
画像生成部330は、マップ取得部310が取得した識別マップと、第2位置情報取得部320が取得したディスプレイ380の位置、向き、および角度とを用いて、ディスプレイ380に表示させる出力画像を生成する。すなわち画像生成部330は、出力画像中の対象面55と出力画像に表示される作業済み領域51との関係が、実際の対象面55と実際の作業済み領域51との関係に一致するように、出力画像を生成する。画像生成部330は、識別マップから、作業済み領域51の位置、大きさ、および形を特定し、ディスプレイ380の位置、向き、および角度(第2位置情報)に基づいて、出力画像における作業済み領域51の位置、大きさ、および形を決定する。そして、決定内容に基づいた出力画像を生成する。
【0072】
画像生成部330は、生成した出力画像をディスプレイ380に出力する。ディスプレイ380は、画像生成部330から取得した出力画像を表示する。
【0073】
また、表示装置30がゴーグル型AR装置である場合、表示装置30はディスプレイ380として、ディスプレイを一つのみ備えても良いし、二つのディスプレイまたは二つの表示領域を備えても良い。表示装置30は撮像部360を一つのみ備えても良いし、二つの撮像部360を備えても良い。表示装置30が左右の目に対応する二つの撮像部360を有し、ディスプレイ380が左右の目に対応する二つのディスプレイまたは二つの表示領域を有する場合、画像生成部330は、左目用の出力画像と右目用の出力画像とを生成する。すなわち、画像生成部330は、左目用の撮像部360で撮像された画像を用いて左目用の出力画像を生成し、右目用の撮像部360で撮像された画像を用いて右目用の出力画像を生成する。そして、左目用のディスプレイ380に左目用の出力画像を出力し、右目用のディスプレイ380に右目用の出力画像を出力する。表示装置30のユーザは、左右の目でそれぞれのディスプレイ380を見ることで、周囲の状況と識別マップとを、立体的に視認できる。
【0074】
なお、表示装置30がたとえばゴーグル型AR装置である場合、マップ取得部310および画像生成部330を含んで情報処理を行う処理部と、第2位置情報取得部320、撮像部360、およびディスプレイ380を含む装着部とに分かれていてもよいし、表示装置30全体が装着部に含まれていてもよい。表示装置30のユーザは装着部をゴーグルのように装着することで、表示装置30を使用できる。処理部と、装着部とが分かれている場合、処理部と装着部との通信接続は有線であっても良いし、無線であっても良い。
【0075】
<<第3例>>
図11は、第3例に係る表示装置30の機能構成を例示する図である。本例において、表示装置30は投影装置である。
図11の例において、表示装置30は、表示部300、マップ取得部310、および画像生成部330を備える。表示部300は、投影部390を備える。
【0076】
図12は、第3例に係る表示装置30の使用状況を例示する図である。表示装置30は、対象面55に識別マップを投影する。
図12における破線は、表示装置30の投影範囲を例示している。
【0077】
画像を投影する投影部390の、対象面55に対する相対位置は予め定められている。そして、投影部390の位置を示す情報は表示装置30に予め入力され、保持されている。画像生成部330は、マップ取得部310が取得した識別マップと、投影部390の位置を示す情報とを用いて、投影部390に投影させる出力画像を生成する。すなわち画像生成部330は、対象面55の実際の作業済み領域51に、投影される識別マップの作業済み領域51が一致するように、出力画像を生成する。画像生成部330は、識別マップから、作業済み領域51の位置、大きさ、および形を特定し、投影部390の位置を示す情報に基づいて、出力画像における作業済み領域51の位置、大きさ、および形を決定する。そして、決定内容に基づいた出力画像を生成する。
【0078】
画像生成部330は、生成した出力画像を投影部390に出力する。投影部390は、画像生成部330から取得した出力画像を投影する。
【0079】
第3例によれば、様々な場所にいる複数の人が同時に作業状況を確認できる。
【0080】
なお、表示装置30において、マップ取得部310および画像生成部330を含んで情報処理を行う処理部と、投影部390とが分かれていてもよいし、処理部と投影部390とが一体であってもよい。処理部と投影部390とが分かれている場合、処理部と投影部390との通信接続は有線であっても良いし、無線であっても良い。処理部と投影部390とが一体である場合、表示装置30全体がプロジェクター等の投影装置に含まれていてもよい。
【0081】
以上の各例において、画像生成部330が行う処理は必ずしも表示装置30で行われる必要はない。たとえば情報処理装置10または他の装置が、出力画像の生成に必要な情報を取得して、出力画像を生成しても良い。その場合、表示装置30は、出力画像の生成に必要な情報を出力(送信)することができる。また表示装置30は、それらの装置から出力画像を取得して、表示させることができる。
【0082】
<ハードウエア構成>
情報処理装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0083】
図13は、情報処理装置10を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、SoC(System On Chip)、Personal Computer(PC)、サーバマシン、タブレット端末、またはスマートフォンなどである。計算機1000は、情報処理装置10を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。また、情報処理装置10は、一つの計算機1000で実現されても良いし、複数の計算機1000の組み合わせにより実現されても良い。
【0084】
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、およびネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、およびネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、または FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、または ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
【0085】
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース1100には、キーボードなどの入力装置や、ディスプレイなどの出力装置が接続される。入出力インタフェース1100が入力装置や出力装置に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0086】
ネットワークインタフェース1120は、計算機1000をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0087】
ストレージデバイス1080は、情報処理装置10の各機能構成部(取得部110、マップ生成部120、および出力部140)を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
【0088】
情報処理装置10は、入出力インタフェース1100またはネットワークインタフェース1120を介して作業装置20と接続されている。また、情報処理装置10は、入出力インタフェース1100またはネットワークインタフェース1120を介して表示装置30と接続されている。
【0089】
情報処理装置10の作業情報記憶部150はストレージデバイス1080またはメモリ1060を用いて実現され得る。情報処理装置10の第1位置情報記憶部160は、ストレージデバイス1080またはメモリ1060を用いて実現され得る。
【0090】
作業装置20の作業制御部220、第1位置情報取得部240、および出力部260を実現する計算機のハードウエア構成は、情報処理装置10と同様に、例えば
図13によって表される。ただし、本実施形態に係る作業装置20の作業制御部220、第1位置情報取得部240、および出力部260を実現する計算機1000のストレージデバイス1080には、本実施形態に係る作業装置20の作業制御部220、第1位置情報取得部240、および出力部260の機能を実現するプログラムモジュールが記憶される。作業装置20の作業制御部220、第1位置情報取得部240、および出力部260を実現する計算機1000の入出力インタフェース1100には、作業装置20が所定の作業を実現するためのデバイス等(たとえばセンサ、発信器)が接続される。
【0091】
表示装置30のマップ取得部310、第2位置情報取得部320、および画像生成部330を実現する計算機のハードウエア構成は、情報処理装置10と同様に、例えば
図13によって表される。ただし、本実施形態に係る表示装置30のマップ取得部310、第2位置情報取得部320、および画像生成部330を実現する計算機1000のストレージデバイス1080には、本実施形態に係る表示装置30のマップ取得部310、第2位置情報取得部320、および画像生成部330の機能を実現するプログラムモジュールが記憶される。表示装置30のマップ取得部310、第2位置情報取得部320、および画像生成部330を実現する計算機1000の入出力インタフェース1100には、表示部300(たとえば表示部材340、ディスプレイ380、または投影部390)が接続される。
【0092】
図14は、本実施形態に係る可視化システム40が行う処理の流れを例示するフローチャートである。作業者50は、作業装置20および表示装置30を作業現場にて起動する。作業装置20の電源がONとなり、所定の作業が開始されると、S100において作業装置20は第1位置情報、第1時刻情報、および第2時刻情報を取得する。そして、S110において、作業装置20の出力部260は、第1位置情報、第1時刻情報、および第2時刻情報を情報処理装置10に対して出力する。S200において、情報処理装置10の取得部110は、作業装置20の出力部260が出力した第1位置情報、第1時刻情報、および第2時刻情報を取得する。そして、情報処理装置10のマップ生成部120は、S210において、第1位置情報、第1時刻情報、および第2時刻情報を用いて識別マップを生成する。次いで、S220において出力部140は、生成した識別マップを表示装置30へ出力する。表示装置30のマップ取得部310はS300において、識別マップを取得する。そして、S310において、画像生成部330は出力画像を生成する。S320において、表示部300は、出力画像を表示させる。
【0093】
図15は、本実施形態に係る情報処理方法の概要を示す図である。本実施形態に係る情報処理方法は、一以上のコンピュータが、識別マップを生成し(S210)、識別マップを表示装置30に出力する(S220)方法である。識別マップは、作業装置20による、対象面55における作業済み領域51と未作業領域52とを、互いに識別可能なマップである。作業装置20は、少なくとも一部を対象面55上で動かすことにより所定の作業が可能な装置である。本方法では、識別マップを対象面55に重畳させるために、識別マップが表示装置30に出力される。
【0094】
本実施形態に係る情報処理方法は、上述した本実施形態に係る情報処理装置10により実現される。
【0095】
図16は、本実施形態に係る情報処理装置10が実行する処理の流れを例示するフローチャートである。情報処理装置10の取得部110は、S200において、第1時刻情報を取得すると、その情報を作業情報記憶部150に保持させる。また、取得部110は、第1位置情報および第2時刻情報を取得すると、それらの情報を第1位置情報記憶部160に保持させる。情報処理装置10のマップ生成部120は、識別マップを生成するために、S211において、作業情報記憶部150から第1時刻情報を読み出す。そして、読み出した第1時刻情報に一致する第2時刻情報が第1位置情報記憶部160に蓄積された情報の中にあるか否かを判定する。
【0096】
第1時刻情報に一致する第2時刻情報がある場合(S211のYes)、マップ生成部120は、その第2時刻情報に関連付けられた第1位置情報が示す位置を、作業位置として特定する(S213)。一方、第1時刻情報に一致する第2時刻情報がない場合(S211のNo)、上述した通り、第1時刻情報と、第1位置情報と、第2時刻情報とを用いて、作業位置を推定する(S212)。
【0097】
S212またはS213の次に、マップ生成部120は、S214にて、作業情報記憶部150に蓄積された全ての第1時刻情報が処理されたか否かを判定する。未処理の第1時刻情報がある場合(S214のNo)、S211に戻り、未処理の第1時刻情報について、処理を行う。未処理の第1時刻情報がない場合(S214のYes)、マップ生成部120は、S215において、特定された作業位置に基づき識別マップを生成する。そして、出力部140はS220にて、識別マップを出力する。
【0098】
なお、マップ生成部120は、作業装置20の作業開始以降に蓄積された全ての情報を用いて、作業開始以降の全領域の識別マップを毎回作成してもよいし、前回生成された識別マップを拡張することで、最新の識別マップを生成しても良い。後者の場合、マップ生成部120は、前回識別マップが生成されて以降、新たに作業情報記憶部150および第1位置情報記憶部160に蓄積された情報と、前回生成された識別マップとを用いて、最新の識別マップを生成できる。
【0099】
以上、本実施形態によれば、情報処理装置10のマップ生成部120は、一以上の作業装置20による、対象面における作業済み領域51と未作業領域52とを、互いに識別可能な識別マップを生成する。そして出力部140は、識別マップを対象面に重畳させるために、識別マップを表示装置30に出力する。したがって、作業装置20による作業済みの領域と未作業領域52との識別が容易となる。
【0100】
(第2の実施形態)
図17は、第2の実施形態に係る可視化システム40の例について説明するための図である。本実施形態に係る可視化システム40は以下に説明する点を除いて第1の実施形態に係る可視化システム40と同じである。
【0101】
本実施形態において、作業装置20は、第1時刻情報に関連付けて、作業に関する情報をさらに出力する。そして、情報処理装置10の取得部110は、作業に関する情報をさらに取得する。
【0102】
本実施形態において、作業に関する情報は、作業結果を示す情報である。たとえば、作業装置20が測定装置である場合、作業結果を示す情報は、測定結果を示す情報であり得る。または、作業結果を示す情報は、作業の成否を示す情報であってもよい。
【0103】
本実施形態に係る情報処理装置10のマップ生成部120は、作業装置20による作業結果を示す結果マップを生成し、出力部140は、結果マップを対象面55に重畳させるために、結果マップを表示装置30に出力する。以下に詳しく説明する。
【0104】
本実施形態に係る作業装置20の作業制御部220は、作業に関する情報を、その作業が行われた時刻を示す第1時刻情報に関連付けてさらに出力する。そして、出力部260は第1時刻情報に関連付けられた作業に関する情報を作業制御部220から取得し、情報処理装置10に対して出力(送信)する。
【0105】
本実施形態に係る情報処理装置10の取得部110は、作業装置20から、第1時刻情報に関連付けられた作業に関する情報をさらに取得する。そして、第1時刻情報とともに作業情報記憶部150に保持させる。
【0106】
本実施形態に係る情報処理装置10のマップ生成部120は、第1の実施形態と同様に、各第1時刻情報に対応する作業位置を特定する。そして、各作業位置における作業に関する情報を特定する。そして、特定された一以上の作業に関する情報を用いて、結果マップを生成する。結果マップの例については詳しく後述する。
【0107】
出力部140は、識別マップに加えて、結果マップを表示装置30へ出力する。
【0108】
本実施形態に係る表示装置30のマップ取得部310は、識別マップに加えて結果マップを取得する。表示装置30の表示部300では、識別マップと同様の方法で、結果マップを対象面55に重畳させるように表示する。
【0109】
たとえば作業装置20が、探査装置等、対象面55の下の情報を得る装置である場合、結果マップは、対象面55の下の状態を示す三次元マップであり得る。たとえば作業装置20が地中探査装置である場合、対象面55は地面である。
【0110】
この場合、作業装置20で得られた探査結果が、三次元画像として対象面55に重畳される。
図17の例では、作業装置20で得られた探査結果に基づいて特定された検出物53(たとえば地中の埋設物)が、表示されている。マップ生成部120は、探査結果(測定データ)を用いて、地中の状態を示す結果マップを生成する。探査結果に基づいて地中の状態を示す情報を生成する方法としては、既存の方法を用いることができる。表示装置30は、実際の位置と対応するように、結果マップを対象面55に重畳させて表示させる。
【0111】
その他、作業結果を示す情報が作業の成否を示す情報である場合、たとえば、表示装置30は、結果マップに示された、作業が成功した領域と成功しなかった領域とを、互いに異なる色で表示させてもよい。この場合、結果マップは二次元マップであり得る。
【0112】
なお、結果マップのみによって作業済み領域51と未作業領域52とが識別可能である場合、出力部140は、結果マップを識別マップとして、結果マップのみを表示装置30に出力してもよい。
【0113】
具体的にはたとえば、作業装置20が清掃装置である場合、結果マップは、清掃作業により十分きれいになった領域と、清掃が不十分である領域とを示すことができる。作業装置20に清浄化度合いを測定するセンサが備えられている場合、作業装置20はこのセンサの出力を、作業に関する情報として取得できる。
【0114】
次に、本実施形態の作用および効果について説明する。本実施形態においては第1の実施形態と同様の作用および効果が得られる。加えて、マップ生成部120は、作業装置20による作業結果を示す結果マップを生成する。そして出力部140は、結果マップを対象面55に重畳させるために、結果マップを表示装置30に出力する。したがって、作業結果の把握が容易となる。
【0115】
(第3の実施形態)
第3の実施形態に係る可視化システム40は以下に説明する点を除いて第2の実施形態に係る可視化システム40と同じである。本実施形態において、作業に関する情報は、作業条件を示す情報である。たとえば作業装置20が測定装置である場合、作業に関する情報は、出力する電磁波の出力強度やセンサ感度などの測定条件を示す情報である。作業装置20が清掃装置や処理装置である場合、作業に関する情報は、ポリッシャーや芝刈り機の駆動部の回転速度等、作業装置20の駆動条件を示す情報である。作業条件を示す情報は、作業装置20の作業制御部220が出力可能である。
【0116】
本実施形態に係る情報処理装置10のマップ生成部120は、作業装置20による作業条件を示す条件マップを生成し、出力部140は、条件マップを対象面55に重畳させるために、条件マップを表示装置30に出力する。
【0117】
本実施形態に係る情報処理装置10のマップ生成部120は、第1の実施形態と同様に、各第1時刻情報に対応する作業位置を特定する。そして、各作業位置における作業に関する情報を特定する。そして、特定された一以上の作業に関する情報を用いて、条件マップを生成する。条件マップの例については詳しく後述する。
【0118】
出力部140は、識別マップに加えて、条件マップを表示装置30へ出力する。
【0119】
本実施形態に係る表示装置30のマップ取得部310は、識別マップに加えて条件マップを取得する。表示装置30の表示部300では、識別マップと同様の方法で、条件マップを対象面55に重畳させるように表示する。たとえば、表示装置30は、互いに異なる条件で作業された領域を、条件マップに基づいて、互いに異なる色で表示させてもよい。この場合、条件マップは二次元マップであり得る。
【0120】
なお、条件マップのみによって作業済み領域51と未作業領域52とが識別可能である場合、出力部140は、条件マップを識別マップとして、条件マップのみを表示装置30に出力してもよい。
【0121】
次に、本実施形態の作用および効果について説明する。本実施形態においては第1の実施形態と同様の作用および効果が得られる。加えて、マップ生成部120は、作業装置20による作業条件を示す条件マップをさらに生成する。そして出力部140は、条件マップを対象面55に重畳させるために、条件マップを表示装置30に出力する。したがって、作業条件の把握が容易となる。
【0122】
(第4の実施形態)
図18は、第4の実施形態に係る可視化システム40の例について説明するための図である。本実施形態に係る可視化システム40は以下に説明する点を除いて第1から第3の少なくともいずれかの実施形態に係る可視化システム40と同じである。
【0123】
本実施形態に係るマップ生成部120は、対象面55における複数の作業装置20による作業済み領域51と未作業領域52とを、互いに識別可能な識別マップを生成する。
【0124】
たとえば、複数の作業装置20で協働して一つの領域を作業する場合がある。この場合、各作業装置20が、第1から第3の少なくともいずれかの実施形態で説明した作業装置20と同様に機能する。そして情報処理装置10は、複数の作業装置20のそれぞれが出力した情報を取得する。そして、複数の作業装置20から得られた情報を合わせて用いることで、複数の作業装置20の作業状況を統合して示す識別マップを生成する。なお、複数の作業装置20が行う所定の作業は互いに同じであってよい。
【0125】
出力部140はマップ生成部120が生成した識別マップを一以上の表示装置30に対して出力する。たとえば、複数の作業者50が用いる複数の表示装置30において、同じ識別マップを出力画像の生成に用いることができる。
【0126】
また、マップ生成部120は、複数の作業装置20から作業に関する情報を取得して、それらの情報を統合した結果マップを、第2の実施形態で説明したのと同様に生成しても良い。マップ生成部120は、複数の作業装置20から作業に関する情報を取得して、それらの情報を統合した条件マップを、第3の実施形態で説明したのと同様に生成しても良い。
【0127】
次に、本実施形態の作用および効果について説明する。本実施形態においては第1から第3の少なくともいずれかの実施形態と同様の作用および効果が得られる。加えて、マップ生成部120は、対象面55における複数の作業装置20による作業済み領域51と未作業領域52とを、互いに識別可能な識別マップを生成する。したがって、別の作業装置20が作業した領域を、再度作業してしまうことが避けられる。
【0128】
(第5の実施形態)
図19は、第5の実施形態に係る可視化システム40の例について説明するための図である。本実施形態に係る可視化システム40は、以下に説明する点を除いて、第1から第4の少なくともいずれかの実施形態に係る可視化システム40と同じである。本実施形態に係る可視化システム40は、位置測定装置60をさらに備える。本実施形態に係る情報処理装置10の取得部110は、第1位置情報と、第2時刻情報とを、作業装置20の少なくとも一部(走査部)とは離れて設けられた位置測定装置60から取得する。
【0129】
位置測定装置60は、作業すべき領域に対して、予め固定されている。たとえば本実施形態に係る作業装置20には、マーカー22が取り付けられている。マーカー22は、所定の色または形を有する。位置測定装置60は、RBGカメラといったカメラを備えており、そのカメラでマーカー22を含む画像を撮影する。そして、得られた画像を処理することでマーカー22の位置、すなわち作業装置20または作業装置20の走査部の位置を認識する。または、位置測定装置60は、3Dセンサといったセンサを備えており、そのセンサでマーカー22の位置を検出する。本実施形態では、作業装置20は、GNSSモジュールを備える必要はない。なお、画像やセンサ出力の解析は位置測定装置60ではなく、情報処理装置10で行われてもよい。
【0130】
また、本実施形態において、位置測定装置60は、表示装置30の表示部300の位置、向き、および角度を測定してもよい。そして、表示装置30の第2位置情報取得部320は、位置測定装置60から、表示装置30の表示部300の位置、向き、および角度(第2位置情報)を取得しても良い。この場合、第2位置情報取得部320は、地磁気センサや加速度センサ等を備えなくても良い。なお、表示装置30がグラス型AR装置またはゴーグル型AR装置である場合、位置測定装置60は、表示部300の位置、向き、および角度として、表示装置30を使用するユーザの頭の位置、向き、および角度を画像解析等により測定しても良い。また、位置測定装置60が表示装置30の表示部300の位置、向き、および角度を測定する場合、ビジョンベースARを好適に利用できる。
【0131】
なお、作業装置20の位置は第1の実施形態と同様にGNSS等を利用して取得され、位置測定装置60は表示装置30の表示部300の位置のみを測定しても良い。
【0132】
次に、本実施形態の作用および効果について説明する。本実施形態においては第1から第4の少なくともいずれかの実施形態と同様の作用および効果が得られる。自己の位置を取得するすべを持たない作業装置20や表示装置30を可視化システム40で用いることができる。
【0133】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0134】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0135】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1-1.少なくとも一部を対象面上で動かすことにより所定の作業が可能な一以上の作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成するマップ生成手段と、
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する出力手段とを備える
情報処理装置。
1-2. 1-1.に記載の情報処理装置において、
前記表示装置はAR(Augmented Reality)技術を用いて、前記識別マップを、前記対象面に重畳させるよう表示する装置である
情報処理装置。
1-3. 1-2.に記載の情報処理装置において、
前記表示装置はグラス型AR装置であり、前記識別マップを前記対象面に重畳させるよう、光透過性の表示部材に前記識別マップを表示させる装置である
情報処理装置。
1-4. 1-2.に記載の情報処理装置において、
前記表示装置は、
前記対象面を撮像する撮像手段と、
前記撮像手段で撮像された画像に前記識別マップを重畳させた出力画像を生成する画像生成手段と、
前記出力画像を表示する表示手段とを備える装置である
情報処理装置。
1-5. 1-1.から1-4.のいずれか一つに記載の情報処理装置において、
前記作業装置で作業が行われた時刻を示す第1時刻情報と、前記作業装置の前記少なくとも一部の前記対象面上での位置を示す第1位置情報と、前記第1位置情報に関連付けられた第2時刻情報とを取得する取得手段をさらに備え、
前記マップ生成手段は前記第1時刻情報と前記第2時刻情報と前記第1位置情報とを用いて、前記作業装置で作業が行われた作業位置を特定し、
前記取得手段は、少なくとも前記第1時刻情報を前記作業装置から取得する
情報処理装置。
1-6. 1-5.に記載の情報処理装置において、
前記取得手段は、さらに前記第1位置情報と、前記第2時刻情報とを前記作業装置から取得する
情報処理装置。
1-7. 1-5.に記載の情報処理装置において、
前記取得手段は、前記第1位置情報と、前記第2時刻情報とを、前記作業装置の前記少なくとも一部とは離れて設けられた位置測定装置から取得する
情報処理装置。
1-8. 1-1.から1-7.のいずれか一つに記載の情報処理装置において、
前記作業装置は、測定装置、清掃装置、または処理装置である
情報処理装置。
1-9. 1-1.から1-8.のいずれか一つに記載の情報処理装置において、
前記マップ生成手段は、前記対象面における複数の前記作業装置による作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成する
情報処理装置。
1-10. 1-1.から1-9.のいずれか一つに記載の情報処理装置において、
前記マップ生成手段は、前記作業装置による作業結果を示す結果マップを生成し、
前記出力手段は、前記結果マップを前記対象面に重畳させるために、前記結果マップを前記表示装置に出力する
情報処理装置。
1-11. 1-10.に記載の情報処理装置において、
前記作業装置は前記対象面の下の情報を得る装置であり、
前記結果マップは、前記対象面の下の状態を示す三次元マップである
情報処理装置。
1-12. 1-11.に記載の情報処理装置において、
前記対象面は地面である
情報処理装置。
2-1. 1-1.から1-12.のいずれか一つに記載の情報処理装置と、
前記表示装置とを備える
可視化システム。
2-2. 2-1.に記載の可視化システムにおいて、
前記一以上の作業装置をさらに備える
可視化システム。
3-1. 少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを取得するマップ取得手段と、
前記識別マップを前記対象面に重畳させるよう表示する表示手段とを備える
表示装置。
3-2. 3-1.に記載の表示装置において、
AR(Augmented Reality)技術を用いて、前記識別マップを、前記対象面に重畳させるよう表示する
表示装置。
3-3. 3-2.に記載の表示装置において、
グラス型AR装置であり、
前記表示手段は、
光透過性の表示部材を有し、
前記識別マップを前記対象面に重畳させるよう、前記表示部材に前記識別マップを表示させる
表示装置。
3-4. 3-2.に記載の表示装置において、
前記対象面を撮像する撮像手段と、
前記撮像手段で撮像された画像に前記識別マップを重畳させた出力画像を生成する画像生成手段と、
をさらに備え、
前記表示手段は前記出力画像を表示する
表示装置。
4-1. 一以上のコンピュータが、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成し、
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する
情報処理方法。
4-2. 4-1.に記載の情報処理方法において、
前記表示装置はAR(Augmented Reality)技術を用いて、前記識別マップを、前記対象面に重畳させるよう表示する装置である
情報処理方法。
4-3. 4-2.に記載の情報処理方法において、
前記表示装置はグラス型AR装置であり、前記識別マップを前記対象面に重畳させるよう、光透過性の表示部材に前記識別マップを表示させる装置である
情報処理方法。
4-4. 4-2.に記載の情報処理方法において、
前記表示装置は、
前記対象面を撮像する撮像手段と、
前記撮像手段で撮像された画像に前記識別マップを重畳させた出力画像を生成する画像生成手段と、
前記出力画像を表示する表示手段とを備える装置である
情報処理方法。
4-5. 4-1.から4-4.のいずれか一つに記載の情報処理方法において、
前記一以上のコンピュータは、
さらに、前記作業装置で作業が行われた時刻を示す第1時刻情報と、前記作業装置の前記少なくとも一部の前記対象面上での位置を示す第1位置情報と、前記第1位置情報に関連付けられた第2時刻情報とを取得し、
前記識別マップの生成において、前記第1時刻情報と前記第2時刻情報と前記第1位置情報とを用いて、前記作業装置で作業が行われた作業位置を特定し、
少なくとも前記第1時刻情報を前記作業装置から取得する
情報処理方法。
4-6. 4-5.に記載の情報処理方法において、
前記一以上のコンピュータは、さらに前記第1位置情報と、前記第2時刻情報とを前記作業装置から取得する
情報処理方法。
4-7. 4-5.に記載の情報処理方法において、
前記一以上のコンピュータは、前記第1位置情報と、前記第2時刻情報とを、前記作業装置の前記少なくとも一部とは離れて設けられた位置測定装置から取得する
情報処理方法。
4-8. 4-1.から4-7.のいずれか一つに記載の情報処理方法において、
前記作業装置は、測定装置、清掃装置、または処理装置である
情報処理方法。
4-9. 4-1.から4-8.のいずれか一つに記載の情報処理方法において、
前記一以上のコンピュータは、前記識別マップの生成において、前記対象面における複数の前記作業装置による作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成する
情報処理方法。
4-10. 4-1.から4-9.のいずれか一つに記載の情報処理方法において、
前記一以上のコンピュータは、
前記作業装置による作業結果を示す結果マップを生成し、
前記結果マップを前記対象面に重畳させるために、前記結果マップを前記表示装置に出力する
情報処理方法。
4-11. 4-10.に記載の情報処理方法において、
前記作業装置は前記対象面の下の情報を得る装置であり、
前記結果マップは、前記対象面の下の状態を示す三次元マップである
情報処理方法。
4-12. 4-11.に記載の情報処理方法において、
前記対象面は地面である
情報処理方法。
5-1. コンピュータを、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成するマップ生成手段、および
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する出力手段
として機能させる
プログラム。
5-2. 5-1.に記載のプログラムにおいて、
前記表示装置はAR(Augmented Reality)技術を用いて、前記識別マップを、前記対象面に重畳させるよう表示する装置である
プログラム。
5-3. 5-2.に記載のプログラムにおいて、
前記表示装置はグラス型AR装置であり、前記識別マップを前記対象面に重畳させるよう、光透過性の表示部材に前記識別マップを表示させる装置である
プログラム。
5-4. 5-2.に記載のプログラムにおいて、
前記表示装置は、
前記対象面を撮像する撮像手段と、
前記撮像手段で撮像された画像に前記識別マップを重畳させた出力画像を生成する画像生成手段と、
前記出力画像を表示する表示手段とを備える装置である
プログラム。
5-5. 5-1.から5-4.のいずれか一つに記載のプログラムにおいて、
前記コンピュータを、前記作業装置で作業が行われた時刻を示す第1時刻情報と、前記作業装置の前記少なくとも一部の前記対象面上での位置を示す第1位置情報と、前記第1位置情報に関連付けられた第2時刻情報とを取得する取得手段としてさらに機能させ、
前記マップ生成手段は前記第1時刻情報と前記第2時刻情報と前記第1位置情報とを用いて、前記作業装置で作業が行われた作業位置を特定し、
前記取得手段は、少なくとも前記第1時刻情報を前記作業装置から取得する
プログラム。
5-6. 5-5.に記載のプログラムにおいて、
前記取得手段は、さらに前記第1位置情報と、前記第2時刻情報とを前記作業装置から取得する
プログラム。
5-7. 5-5.に記載のプログラムにおいて、
前記取得手段は、前記第1位置情報と、前記第2時刻情報とを、前記作業装置の前記少なくとも一部とは離れて設けられた位置測定装置から取得する
プログラム。
5-8. 5-1.から5-7.のいずれか一つに記載のプログラムにおいて、
前記作業装置は、測定装置、清掃装置、または処理装置である
プログラム。
5-9. 5-1.から5-8.のいずれか一つに記載のプログラムにおいて、
前記マップ生成手段は、前記対象面における複数の前記作業装置による作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成する
プログラム。
5-10. 5-1.から5-9.のいずれか一つに記載のプログラムにおいて、
前記マップ生成手段は、前記作業装置による作業結果を示す結果マップを生成し、
前記出力手段は、前記結果マップを前記対象面に重畳させるために、前記結果マップを前記表示装置に出力する
プログラム。
5-11. 5-10.に記載のプログラムにおいて、
前記作業装置は前記対象面の下の情報を得る装置であり、
前記結果マップは、前記対象面の下の状態を示す三次元マップである
プログラム。
5-12. 5-11.に記載のプログラムにおいて、
前記対象面は地面である
プログラム。
6-1. プログラムを記録しているコンピュータ読み取り可能な記録媒体であって、前記プログラムは、コンピュータを、
少なくとも一部を対象面上で動かすことにより所定の作業が可能な作業装置による、前記対象面における作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成するマップ生成手段、および
前記識別マップを前記対象面に重畳させるために、前記識別マップを表示装置に出力する出力手段
として機能させる
記録媒体。
6-2. 6-1.に記載の記録媒体において、
前記表示装置はAR(Augmented Reality)技術を用いて、前記識別マップを、前記対象面に重畳させるよう表示する装置である
記録媒体。
6-3. 6-2.に記載の記録媒体において、
前記表示装置はグラス型AR装置であり、前記識別マップを前記対象面に重畳させるよう、光透過性の表示部材に前記識別マップを表示させる装置である
記録媒体。
6-4. 6-2.に記載の記録媒体において、
前記表示装置は、
前記対象面を撮像する撮像手段と、
前記撮像手段で撮像された画像に前記識別マップを重畳させた出力画像を生成する画像生成手段と、
前記出力画像を表示する表示手段とを備える装置である
記録媒体。
6-5. 6-1.から6-4.のいずれか一つに記載の記録媒体において、
前記プログラムは前記コンピュータを、前記作業装置で作業が行われた時刻を示す第1時刻情報と、前記作業装置の前記少なくとも一部の前記対象面上での位置を示す第1位置情報と、前記第1位置情報に関連付けられた第2時刻情報とを取得する取得手段としてさらに機能させ、
前記マップ生成手段は前記第1時刻情報と前記第2時刻情報と前記第1位置情報とを用いて、前記作業装置で作業が行われた作業位置を特定し、
前記取得手段は、少なくとも前記第1時刻情報を前記作業装置から取得する
記録媒体。
6-6. 6-5.に記載の記録媒体において、
前記取得手段は、さらに前記第1位置情報と、前記第2時刻情報とを前記作業装置から取得する
記録媒体。
6-7. 6-5.に記載の記録媒体において、
前記取得手段は、前記第1位置情報と、前記第2時刻情報とを、前記作業装置の前記少なくとも一部とは離れて設けられた位置測定装置から取得する
記録媒体。
6-8. 6-1.から6-7.のいずれか一つに記載の記録媒体において、
前記作業装置は、測定装置、清掃装置、または処理装置である
記録媒体。
6-9. 6-1.から6-8.のいずれか一つに記載の記録媒体において、
前記マップ生成手段は、前記対象面における複数の前記作業装置による作業済み領域と未作業領域とを、互いに識別可能な識別マップを生成する
記録媒体。
6-10. 6-1.から6-9.のいずれか一つに記載の記録媒体において、
前記マップ生成手段は、前記作業装置による作業結果を示す結果マップを生成し、
前記出力手段は、前記結果マップを前記対象面に重畳させるために、前記結果マップを前記表示装置に出力する
記録媒体。
6-11. 6-10.に記載の記録媒体において、
前記作業装置は前記対象面の下の情報を得る装置であり、
前記結果マップは、前記対象面の下の状態を示す三次元マップである
記録媒体。
6-12. 6-11.に記載の記録媒体において、
前記対象面は地面である
記録媒体。
【符号の説明】
【0136】
10 情報処理装置
20 作業装置
30 表示装置
40 可視化システム
50 作業者
51 作業済み領域
52 未作業領域
53 検出物
55 対象面
60 位置測定装置
110 取得部
120 マップ生成部
140 出力部
150 作業情報記憶部
160 第1位置情報記憶部
220 作業制御部
240 第1位置情報取得部
260 出力部
300 表示部
310 マップ取得部
320 第2位置情報取得部
330 画像生成部
340 表示部材
360 撮像部
380 ディスプレイ
390 投影部
1000 計算機