特開 2023-170027 情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170027

(43)【公開日】2023-12-01

(54)【発明の名称】情報処理システム及び情報処理方法

(51)【国際特許分類】

   E02F 9/20 20060101AFI20231124BHJP

   G01C 11/02 20060101ALI20231124BHJP

【ＦＩ】

E02F9/20 Z

G01C11/02

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022081460

(22)【出願日】2022-05-18

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】羽田 直也

(72)【発明者】

【氏名】安田 紀夫

(72)【発明者】

【氏名】安田 幹太

【テーマコード（参考）】

2D003

【Ｆターム（参考）】

2D003BA02

2D003DB04

2D003FA02

(57)【要約】

【課題】作業領域の全体の三次元情報の生成を簡略化する。
【解決手段】情報処理システムは、サーバ装置と、第１の情報処理装置と、第２の情報処理装置とを有する。サーバ装置は、配置された物体の形状を含む作業領域の地形の三次元情報のうちの作業領域の全体の三次元情報を保持するとともに、当該保持する作業領域の全体の三次元情報を作業領域において作業装置により作業が行われた領域の三次元情報である局所三次元情報に基づいて更新する。第１の情報処理装置は、作業装置の位置情報及び作業領域の画像に基づいて局所三次元情報を生成する三次元情報生成部と、生成された局所三次元情報をサーバ装置に送信する三次元情報送信部とを備える。第２の情報処理装置は、位置情報を生成して第１の情報処理装置に送信する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

配置された物体の形状を含む作業領域の地形の三次元情報のうちの前記作業領域の全体の前記三次元情報を保持するとともに、当該保持する前記作業領域の全体の前記三次元情報を前記作業領域において作業装置により作業が行われた領域の前記三次元情報である局所三次元情報に基づいて更新するサーバ装置と、
前記作業装置の位置情報及び前記作業領域の画像に基づいて前記局所三次元情報を生成する三次元情報生成部と、前記生成された局所三次元情報を前記サーバ装置に送信する三次元情報送信部とを備える第１の情報処理装置と、
前記位置情報を生成して前記第１の情報処理装置に送信する第２の情報処理装置と
を有する情報処理システム。

【請求項2】

前記三次元情報生成部は、前記作業装置の作業状態の情報である作業情報、前記位置情報及び前記作業領域の画像に基づいて前記局所三次元情報を生成する請求項１に記載の情報処理システム。

【請求項3】

前記三次元情報生成部は、前記作業領域の全体を含む前記画像を前記作業領域の画像として前記局所三次元情報を生成する請求項１に記載の情報処理システム。

【請求項4】

前記第２の情報処理装置は、前記作業が行われた領域の画像を更に送信し、
前記三次元情報生成部は、前記送信された前記作業が行われた領域の画像を前記作業領域の画像として前記局所三次元情報を生成する
請求項１に記載の情報処理システム。

【請求項5】

前記三次元情報生成部は、前記作業領域を含む前記画像に基づく前記作業領域の全体の前記三次元情報の生成を更に行う請求項１に記載の情報処理システム。

【請求項6】

前記第１の情報処理装置は、
前記生成された前記作業領域の全体の前記三次元情報を保持する三次元情報保持部と、
前記保持された前記作業領域の全体の前記三次元情報に基づいて前記局所三次元情報を選択する選択部と
を更に備え、
前記三次元情報送信部は、前記選択された局所三次元情報を前記サーバ装置に送信する
請求項５に記載の情報処理システム。

【請求項7】

前記選択部は、前記保持された前記作業領域の全体の前記三次元情報及び前記生成された局所三次元情報との差分に基づいて前記局所三次元情報を選択する請求項６に記載の情報処理システム。

【請求項8】

前記三次元情報生成部は、点群データにより構成された前記局所三次元情報を生成する請求項１に記載の情報処理システム。

【請求項9】

配置された物体の形状を含む作業領域の地形の三次元情報のうちの前記作業領域の全体の前記三次元情報を保持することと、
前記作業領域において作業を行う作業装置の位置情報を生成することと、
前記位置情報及び前記作業領域の画像に基づいて前記作業装置により前記作業が行われた領域の前記三次元情報である局所三次元情報を生成することと、
前記保持された前記作業領域の全体の前記三次元情報を前記生成された局所三次元情報に基づいて更新することと
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

建築現場等において、現場の工事状況をＤＸ（Digital Transformation）化するため、作業領域の地形や配置された物体の形状の三次元情報を生成するシステムが提案されている。例えば、複数の作業車両に備えられたそれぞれの制御装置において撮像データから三次元情報（三次元データ）を生成してサーバ装置に送信し、サーバ装置においてそれら三次元データを統合するシステムが提案されている（例えば、特許文献１参照）。このシステムにおいては、サーバ装置が制御装置に対して撮像範囲を指示し、所望の三次元データを生成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１８６８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、制御装置が三次元情報をそれぞれ生成するため処理が複雑になるという問題がある。

【0005】

そこで、本開示では、作業領域の三次元情報の生成を簡略化する情報処理システム及び情報処理方法を提案する。

【課題を解決するための手段】

【0006】

本開示に係る情報処理システムは、サーバ装置と、第１の情報処理装置と、第２の情報処理装置とを有する。サーバ装置は、配置された物体の形状を含む作業領域の地形の三次元情報のうちの上記作業領域の全体の上記三次元情報を保持するとともに、当該保持する上記作業領域の全体の上記三次元情報を上記作業領域において作業装置により作業が行われた領域の上記三次元情報である局所三次元情報に基づいて更新する。第１の情報処理装置は、上記作業装置の位置情報及び上記作業領域の画像に基づいて上記局所三次元情報を生成する三次元情報生成部と、上記生成された局所三次元情報を上記サーバ装置に送信する三次元情報送信部とを備える。第２の情報処理装置は、上記位置情報を生成して上記第１の情報処理装置に送信する。

【0007】

また、本開示に係る情報処理方法は、配置された物体の形状を含む作業領域の地形の三次元情報のうちの上記作業領域の全体の上記三次元情報を保持することと、上記作業領域において作業を行う作業装置の位置情報を生成することと、上記位置情報及び上記作業領域の画像に基づいて上記作業装置により上記作業が行われた領域の上記三次元情報である局所三次元情報を生成することと、上記保持された上記作業領域の全体の上記三次元情報を上記生成された局所三次元情報に基づいて更新することとを含む情報処理方法である。

【図面の簡単な説明】

【0008】

【図1A】本開示の第１の実施形態に係る情報処理システムの構成例を示す図である。

【図1B】本開示の第１の実施形態に係る情報処理システムの構成例を示す図である。

【図2】本開示の第１の実施形態に係る第３の情報処理装置の構成例を示す図である。

【図3】本開示の第１の実施形態に係る第２の情報処理装置の構成例を示す図である。

【図4】本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。

【図5A】本開示の第１の実施形態に係る作業情報及び作業領域の処理の一例を示す図である。

【図5B】本開示の第１の実施形態に係る作業情報及び作業領域の処理の一例を示す図である。

【図5C】本開示の第１の実施形態に係る作業情報及び作業領域の処理の一例を示す図である。

【図6】本開示の第１の実施形態に係るサーバ装置の構成例を示す図である。

【図7】本開示の第１の実施形態に係る第３の情報処理装置の処理の処理手順の一例を示す図である。

【図8】本開示の第１の実施形態に係る第２の情報処理装置の処理の処理手順の一例を示す図である。

【図9】本開示の第１の実施形態に係る情報処理装置の処理の処理手順の一例を示す図である。

【図10】本開示の第１の実施形態に係るサーバ装置の処理の処理手順の一例を示す図である。

【図11】本開示の第１の実施形態に係るサーバ装置の処理の処理手順の一例を示す図である。

【図12】本開示の第１の実施形態に係る三次元情報の生成の一例を示す図である。

【図13】本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。

【図14】本開示の第３の実施形態に係る第２の情報処理装置の構成例を示す図である。

【図15】本開示の第３の実施形態に係る第２の情報処理装置の処理の処理手順の一例を示す図である。

【図16】本開示の第３の実施形態に係る情報処理装置の処理の処理手順の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．変形例

【0010】

（１．第１の実施形態）
［情報処理システムの構成］
図１Ａ及び１Ｂは、本開示の第１の実施形態に係る情報処理システムの構成例を示す図である。図１Ａは、本開示の情報処理システム１０の構成例を表す図である。情報処理システム１０は、建築現場等における配置された物体の形状を含む作業領域の地形の三次元情報を生成するものである。この三次元情報には、例えば、点群データを使用することができる。情報処理システム１０は、第１の情報処理装置２００と、複数の第２の情報処理装置４００と、第３の情報処理装置１００と、サーバ装置３００と、表示端末５００とを備える。同図の情報処理システム１０は、第２の情報処理装置４００ａ、第２の情報処理装置４００ｂ乃至第２の情報処理装置４００ｃを備える場合の例を表したものである。

【0011】

第３の情報処理装置１００は、作業領域の全体の画像を生成するものである。第３の情報処理装置１００は、例えば、無人航空機等に搭載され、上空から作業領域を撮影することにより作業領域の全体の画像を生成する。第３の情報処理装置１００は、生成した画像及び撮影時の位置情報を記録する。この画像及び位置情報は、無人航空機の飛行中あるいは飛行終了後に、無線通信、有線通信又は半導体メモリ等の記録媒体を介して、地上に配置される第１の情報処理装置２００に供給される。

【0012】

第２の情報処理装置４００は、作業領域において作業を行う作業装置に搭載され、作業中の位置情報を記録するものである。この位置情報は、作業中あるいは作業終了後に、無線通信、有線通信又は半導体メモリ等の記録媒体を介して、第１の情報処理装置２００に供給される。

【0013】

第１の情報処理装置２００は、第３の情報処理装置１００から供給される画像及び位置情報並びに第２の情報処理装置４００から供給される位置情報に基づいて作業領域の全体又は作業領域の一部の三次元情報を生成して記録するものである。第１の情報処理装置２００は、記録した三次元情報をサーバ装置３００に送信する。

【0014】

サーバ装置３００は、第１の情報処理装置２００からの三次元情報を保持するとともに、保持した三次元情報の更新を行うものである。サーバ装置３００は、表示端末５００からの要求に応じて三次元情報の全部又は一部を表示端末５００に送信する。

【0015】

表示端末５００は、使用者の操作に基づいて搭載する表示装置に三次元情報を表示するものである。この表示端末５００は、無線通信または有線通信を介して作業領域の全域または一部の三次元情報をサーバ装置３００から取得し、表示する。使用者は、この表示端末５００を使用して作業の進捗状況を確認することができ、予実管理等に使用することができる。

【0016】

図１Ｂは、建築現場を説明する図である。同図は建築現場１における第２の情報処理装置４００及び第３の情報処理装置１００の配置を表す図である。第２の情報処理装置４００ａ及び４００ｂは、作業車両２及び３にそれぞれ配置される。作業車両２及び３は、作業領域２０において土木作業等を行うものである。この作業車両２及び３は、それぞれ油圧ショベル及びブルドーザーを想定したものである。なお、作業車両２及び３は、上述の作業装置の一例である。作業車両２及び３は、動力部および制御部を有する。この制御部は、使用者から指示される経路を走行し、作業する制御を行う。作業車両２等の作業により、作業領域２０の地形が変化する。

【0017】

第３の情報処理装置１００は、無人航空機４に配置される。この無人航空機４は、作業領域２０の上空を飛行し、作業領域２０の全体の画像を生成する。無人航空機４は、飛行用の動力部および制御部を有する。この制御部は、使用者から指示される高度および経路で飛行する制御を行う。なお、無人航空機４の代わりに、作業領域の全体を俯瞰可能な位置、例えば、高い建物の屋上等に第３の情報処理装置１００を配置することもできる。

【0018】

［第３の情報処理装置の構成］
図２は、本開示の第１の実施形態に係る第３の情報処理装置の構成例を示す図である。同図は、第３の情報処理装置１００の構成例を表すブロック図である。第３の情報処理装置１００は、カメラ１０１と、画像データ生成部１０２と、衛星測位部１０３と、位置情報生成部１０４と、慣性計測部１０５と、姿勢情報生成部１０６と、撮影情報統合部１０７と、撮影情報保持部１０８とを備える。また、第３の情報処理装置１００は、送信部１０９と、制御部１１０とを更に備える。

【0019】

カメラ１０１は、作業領域２０を撮影するものである。このカメラ１０１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を備え、制御部１１０の制御に基づいて撮影を行う。

【0020】

画像データ生成部１０２は、カメラ１０１の撮影結果に基づいて画像を生成するものである。この画像データ生成部１０２は、作業領域２０の全体の画像を生成する。画像データ生成部１０２は、生成した画像を撮影情報統合部１０７に出力する。

【0021】

衛星測位部１０３は、位置（緯度、経度及び高度）を取得するものである。この衛星測位部１０３は、例えば、グローバルナビゲーションサテライトシステム（ＧＮＳＳ：Global Navigation Satellite System）により構成され、制御部１１０の制御に基づいて位置の取得を行う。衛星測位部１０３は、取得した位置を位置情報生成部１０４に出力する。

【0022】

位置情報生成部１０４は、衛星測位部１０３が取得した位置に基づいて、第３の情報処理装置１００の位置の情報である位置情報を生成するものである。位置情報生成部１０４は、生成した位置情報を撮影情報統合部１０７に出力する。

【0023】

慣性計測部１０５は、カメラ１０１の姿勢を取得するものである。この慣性計測部１０５は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）により構成され、制御部１１０の制御に基づいて、三次元の回転量を表すヨー（Yaw）、ピッチ（Pitch）及びロール（Roll）を取得する。慣性計測部１０５は、取得した姿勢を姿勢情報生成部１０６に出力する。

【0024】

姿勢情報生成部１０６は、慣性計測部１０５が取得した姿勢に基づいてカメラ１０１の姿勢情報を生成するものである。姿勢情報生成部１０６は、生成した姿勢を撮影情報統合部１０７に出力する。

【0025】

撮影情報統合部１０７は、画像データ、位置情報及び姿勢情報をこれらが同期していることを示す時刻情報とともに統合した撮影情報を生成するものである。この撮影情報は、例えば、１フレーム分の画像データ、位置情報及び姿勢情報を１ファイルとして構成することができる。撮影情報統合部１０７は、生成した撮影情報を撮影情報保持部１０８に出力する。

【0026】

撮影情報保持部１０８は、撮影情報統合部１０７により生成された撮影情報を保持するものである。この撮影情報保持部１０８は、半導体メモリやハードディスク等の記録媒体を備え、無人航空機４が飛行中に生成された撮影情報を保持することができる。

【0027】

送信部１０９は、撮影情報保持部１０８に保持された撮影情報を第１の情報処理装置２００に対して送信するものである。この送信部１０９は、無人航空機４の飛行中または着陸後に、撮影情報保持部１０８に保持され撮影情報を読み出して第１の情報処理装置２００に対して有線通信または無線通信を介して送信することができる。

【0028】

制御部１１０は、第３の情報処理装置１００の全体を制御するものである。

【0029】

［第２の情報処理装置の構成］
図３は、本開示の第１の実施形態に係る第２の情報処理装置の構成例を示す図である。同図は、第２の情報処理装置４００の構成例を表すブロック図である。第２の情報処理装置４００は、衛星測位部４０１と、位置情報生成部４０２と、車両状態情報取得部４０３と、作業情報生成部４０４と、送信部４０５と、制御部４０６とを備える。

【0030】

衛星測位部４０１は、衛星測位部１０３と同様に、位置（緯度、経度及び高度）を取得するものである。この衛星測位部４０１は、取得した位置を位置情報生成部４０２に出力する。

【0031】

位置情報生成部４０２は、位置情報生成部１０４と同様に、衛星測位部４０１が取得した位置に基づいて、第２の情報処理装置４００の位置の情報である位置情報を生成するものである。位置情報生成部４０２は、生成した位置情報を作業情報生成部４０４に出力する。

【0032】

車両状態情報取得部４０３は、作業車両２等の動作状態を表す車両状態情報を取得するものである。この動作状態は、作業車両２等の走行中、停止中及び作業中の状態を表す。油圧ショベルにおいては、バケットやアーム等の動作状態が作業中の状態に該当する。また、ブルドーザーにおいては、ブレード等の動作状態が作業中の状態に該当する。勿論、作業情報の取得を作業車両２等の作業中の状態でのみ行うことにより、地形の形状を変更している場合に限定した作業情報とすることも可能である。車両状態情報取得部４０３は、取得した車両状態情報を作業情報生成部４０４に出力する。

【0033】

作業情報生成部４０４は、位置情報及び車両状態情報にこれらが同期していることを示す時刻情報を付加した情報を作業情報として生成し、保持するものである。

【0034】

送信部４０５は、作業情報を第１の情報処理装置２００に対して送信するものである。この送信部１０９は、作業車両２等の走行中又は作業完了後に作業情報生成部４０４が保持する作業情報を送信することができる。

【0035】

制御部４０６は、第２の情報処理装置４００の全体を制御するものである。また、制御部４０６は、衛星測位部４０１に位置を取得させる制御及び車両状態情報取得部４０３に車両状態情報を取得させる制御を行う。制御部４０６は、不図示の受信部が取得指示信号を受信した際に、これらの制御を行うことができる。この取得指示信号には、例えば、所定の間隔において繰り返す信号を使用することができる。この場合には、所定の間隔にて車両状態情報等が取得され、作業情報生成部４０４により作業情報が生成される。

【0036】

［情報処理装置の構成］
図４は、本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。同図は、第１の情報処理装置２００の構成例を表すブロック図である。第１の情報処理装置２００は、撮影情報受信部２０１と、画像フレーム選択部２０２と、作業情報受信部２０５と、作業情報統合部２０６と、作業領域判定部２０７と、三次元情報生成部２０３と、三次元情報送信部２０４と、制御部２０８とを備える。

【0037】

撮影情報受信部２０１は、第３の情報処理装置１００からの撮影情報を受信するものである。この撮影情報受信部２０１は、受信した撮影情報を画像フレーム選択部２０２に出力する。

【0038】

作業情報受信部２０５は、第２の情報処理装置４００からの作業情報を受信するものである。この作業情報受信部２０５は、受信した作業情報を作業情報統合部２０６に出力する。なお、第２の情報処理装置４００が１つの場合には、作業情報受信部２０５は、作業情報を作業領域判定部２０７に出力する。

【0039】

作業情報統合部２０６は、作業情報を統合するものである。この作業情報統合部２０６は、複数の第２の情報処理装置４００から個別に送信される作業情報をそれぞれ保持する。そして、全ての作業情報が揃った際に、作業情報統合部２０６は、これらの作業情報を作業領域判定部２０７に出力する。

【0040】

作業領域判定部２０７は、作業領域２０のうちの作業車両２等により作業が行われた作業領域を判定するものである。この作業領域は、作業車両２等により地形形状が変更された領域に相当する。作業領域判定部２０７は、作業車両２等の近傍の領域を作業が行われた作業領域と判定することができる。具体的には、作業領域判定部２０７は、作業情報に含まれる位置情報に基づいて作業車両２等の近傍の領域を検出し、作業領域として出力することができる。なお、作業領域判定部２０７は、この作業領域に位置情報を付加して出力する。

【0041】

また、複数の作業車両による作業領域が近接している場合や重なりがある場合には、作業領域判定部２０７は、当該複数の作業領域を結合した１つの領域を作業領域と判定することができる。一方、作業領域が他の作業領域から離れている場合には、作業領域判定部２０７は、これらを個別の作業領域として判定する。作業領域判定部２０７は、判定結果の作業領域をその位置情報を含めて画像フレーム選択部２０２に通知する。

【0042】

また、作業領域判定部２０７は、作業情報に含まれる車両状態情報に基づいて作業車両２等の作業により地形形状が変更された作業領域を絞り込むこともできる。具体的には、作業領域判定部２０７は、上述の位置情報に基づく作業領域において作業車両２等の車両状態情報が作業中となる領域を検出し、画像フレーム選択部２０２に出力することができる。

【0043】

画像フレーム選択部２０２は、作業領域判定部２０７から出力される作業領域に基づいて、撮影情報受信部２０１から供給される撮影情報のうち、三次元情報を生成するために必要な撮影情報を選択するものである。例えば、画像フレーム選択部２０２は、受信した撮影情報に含まれる位置情報が作業領域判定部２０７から通知された作業領域の範囲に含まれる場合に、当該撮影情報を包含する画像フレームを、作業領域の三次元情報を生成するための撮影情報として選択する。ここで画像フレームは、作業領域２０の全体の画像を分割した領域の画像である。画像フレーム選択部２０２は、選択した画像フレームを三次元情報生成部２０３に供給する。

【0044】

一方、作業領域判定部２０７から作業領域が通知されない場合は、画像フレーム選択部２０２は、すべての画像フレームを選択して、三次元情報生成部２０３に供給する。例えば、初めて作業領域を撮影する場合には、第３の情報処理装置１００で取得した撮影情報の全てを使用して三次元情報を生成する。この場合、作業領域判定部２０７が作業領域を通知しないことにより、画像フレーム選択部２０２は、全ての画像フレームを選択して三次元情報生成部２０３に供給する。

【0045】

三次元情報生成部２０３は、作業領域２０において作業を行う作業車両２等により作業が行われた領域の三次元情報である局所三次元情報を作業情報及び作業領域の画像に基づいて生成するものである。具体的には、三次元情報生成部２０３は、画像フレーム選択部２０２から供給された撮影情報から、局所三次元情報を生成する。なお、初めて作業領域を撮影した場合には、三次元情報生成部２０３は、局所三次元情報の代わりに作業領域２０の全体の三次元情報を生成する。三次元情報生成部２０３は、点群データによる三次元情報を生成することができる。この点群データは、例えば、ＳｆＭ（Structure from Motion）手法により生成することができる。三次元情報生成部２０３は、生成した作業領域２０の全体の三次元情報及び局所三次元情報を三次元情報送信部２０４に出力する。

【0046】

このように、三次元情報生成部２０３は、作業領域２０に限定して三次元情報を生成することができる。また、三次元情報生成部２０３は、最初に作業領域２０の全体の三次元情報を生成した後に局所三次元情報を生成する。この局所三次元情報は、作業車両２等により地形の形状が変更された可能性が高い領域となる。作業領域２０の全体の三次元情報を生成する場合と比較して処理時間を短縮することができる。

【0047】

三次元情報送信部２０４は、三次元情報をサーバ装置３００に対して送信するものである。この三次元情報送信部２０４は、有線通信または無線通信を介して、三次元情報を送信することができる。

【0048】

制御部２０８は、第１の情報処理装置２００の全体を制御するものである。

【0049】

［作業情報及び作業領域の処理］
図５Ａ－５Ｃは、本開示の第１の実施形態に係る作業情報及び作業領域の処理の一例を示す図である。同図は、作業情報統合部２０６及び作業領域判定部２０７における処理を説明する図である。

【0050】

図５Ａは、作業情報統合部２０６の処理を説明する図である。同図は、作業領域２０中に３台の作業車両（Ａ－Ｃ）が領域４１乃至４３において作業を行う例を表す図である。作業情報統合部２０６は、領域４１乃至４３の作業情報がそれぞれの作業車両に配置された第２の情報処理装置４００から送信されるまで待機する。領域４１乃至４３の作業情報が受信されると、作業情報統合部２０６は、これらの作業情報を作業領域判定部２０７に出力する。

【0051】

図５Ｂは、作業領域判定部２０７における作業領域の判定の一例を表す図である。前述のように、作業領域判定部２０７は、重複または近接している作業領域を結合する。同図において、作業領域判定部２０７は、近接する領域４１及び領域４２を結合し、当該結合した領域を含む作業領域４５（矩形破線）を判定結果として出力する。また、作業領域判定部２０７は、他の領域と離れている領域４３を含む作業領域４６（円形破線）を判定結果として出力する。なお、作業領域の形状は任意であるが、矩形や円形とすることにより、内外判定処理を簡略化することができる。

【0052】

図５Ｃは、画像フレーム選択部２０２における画像フレームの選択の一例を表す図である。同図は、作業領域２０の全体の画像３０における作業領域４５及び４６を表したものである。画像３０は、複数の画像フレーム３１に分割される。画像フレーム選択部２０２は、作業領域４５及び４６を含む画像フレーム３１を選択する。同図のハッチングが付された領域が画像フレーム選択部２０２により選択された画像フレーム３１の領域を表す。

【0053】

［サーバ装置の構成］
図６は、本開示の第１の実施形態に係るサーバ装置の構成例を示す図である。同図は、サーバ装置３００の構成例を表すブロック図である。サーバ装置３００は、三次元情報受信部３０１と、三次元情報更新部３０２と、三次元情報保持部３０３と、送信部３０４と、データ要求受信部３０５と、制御部３０６とを備える。

【0054】

三次元情報受信部３０１は、第１の情報処理装置２００からの三次元情報を受信するものである。三次元情報受信部３０１は、受信した三次元情報を三次元情報更新部３０２に出力する。

【0055】

三次元情報更新部３０２は、後述する三次元情報保持部３０３に保持された三次元情報を更新するものである。この更新は、三次元情報保持部３０３に保持された三次元情報を参照し、過去の三次元情報を新たに受信した三次元情報に置き換える処理である。この更新処理は、受信した三次元情報に含まれる位置情報に基づいて行うことができる。具体的には、受信した三次元情報に含まれる位置情報が示す位置に過去の三次元情報が存在する場合に更新処理を行うことができる。一方、受信した三次元情報が示す位置に過去の三次元情報が存在しない場合、三次元情報更新部３０２は、受信した三次元情報を追加する処理を行う。これにより、作業領域２０の全体の三次元情報を最新の状態に保つことができる。

【0056】

三次元情報保持部３０３は、作業領域２０の全体の三次元情報を保持するものである。この三次元情報保持部３０３は、三次元情報更新部３０２からの制御により、保持している三次元情報の追加または更新を行う。例えば、初めて作業領域を撮影した場合のように、三次元情報を何も保持していない場合は、全ての三次元情報を記録して保持する。

【0057】

データ要求受信部３０５は、表示端末５００からの三次元情報要求を受信するものである。データ要求受信部３０５は、受信した三次元情報要求に基づいて三次元情報保持部３０３に三次元情報の出力を指示する。

【0058】

送信部３０４は、三次元情報保持部３０３から出力された三次元情報を表示端末５００に送信するものである。

【0059】

制御部３０６は、サーバ装置３００の全体を制御するものである。

【0060】

データ要求受信部３０５が表示端末５００から三次元情報の要求を受信すると、制御部３０６は、要求されている位置の三次元情報を三次元情報保持部３０３から読み出す制御を行う。この読み出された三次元情報が送信部３０４に供給される。送信部３０４は、三次元情報保持部３０３から供給された三次元情報を、有線通信または無線通信を介して表示端末５００に送信する。これにより、作業領域の全体或いは任意位置の三次元情報を表示端末５００で閲覧することができる。

【0061】

［第３の情報処理装置の処理］
図７は、本開示の第１の実施形態に係る第３の情報処理装置の処理の処理手順の一例を示す図である。同図は、第３の情報処理装置１００の処理の処理手順の一例を表す流れ図である。

【0062】

第３の情報処理装置１００の制御部１１０は、撮像情報を取得するタイミングを指示する撮影指示を受信すると（ステップＳ１０１）、カメラ１０１が撮影を行い、画像データ生成部１０２が画像データを生成する（ステップＳ１０２）。この際、画像データを符号化することにより、データ量を削減することもできる。次に、衛星測位部１０３が位置を取得し、位置情報生成部１０４が位置情報を生成する（ステップＳ１０３）。ここで、位置情報は、例えば、緯度、経度及び高度を含む。次に、慣性計測部１０５が姿勢を取得し、姿勢情報生成部１０６が姿勢情報を生成する（ステップＳ１０４）。ここで、姿勢情報は、例えば、無人航空機４の加速度および角速度から算出した三軸の回転ベクトルを含む。

【0063】

次に、撮影情報統合部１０７が画像データ、位置情報及び姿勢情報を統合して撮影情報を生成する（ステップＳ１０５）。次に、撮影情報保持部１０８が撮影情報を媒体等に保持する（ステップＳ１０６）。次に、制御部１１０は、撮影指示が終了したかを判断する（ステップＳ１０７）。その結果、撮影指示が終了していない場合には（ステップＳ１０７，Ｎｏ）、制御部１１０は、ステップＳ１０２の処理に戻る。

【0064】

一方、ステップＳ１０７において、撮影指示が終了している場合には（ステップＳ１０７，Ｙｅｓ）、送信部１０９が撮影情報を第１の情報処理装置２００に送信し（ステップＳ１０８）、処理を終了する。なお、撮影情報を第１の情報処理装置２００に送信するタイミングは、例えば、ステップＳ１０５の撮影情報を生成した直後にすることができる。この場合、無人航空機４の飛行中に撮影情報を固定局に送信することになり、着陸後の撮影情報の送信を不要にすることができる。なお、ステップＳ１０２乃至１０４の処理は、同図の順番に限定するものではない。

【0065】

［第２の情報処理装置の処理］
図８は、本開示の第１の実施形態に係る第２の情報処理装置の処理の処理手順の一例を示す図である。同図は、第２の情報処理装置４００の処理の処理手順の一例を表す流れ図である。

【0066】

第２の情報処理装置４００の制御部４０６は、作業情報を取得するタイミングを指示する取得指示を受信すると（ステップＳ１２１）、衛星測位部４０１が位置を取得し、位置情報生成部４０２が位置情報を生成する（ステップＳ１２３）。ここで、位置情報は、例えば、緯度、経度及び高度を含む。次に、車両状態情報取得部４０３が車両状態情報を取得する（ステップＳ１２４）。ここで、車両状態情報には、例えば、作業車両２等が走行中か停止中かを示す情報や作業車両２等に備えられたパケットやブレードを操作中か停止中かを示す情報等が該当する。これらの情報は別途カメラを搭載して自動認識により取得することも可能である。

【0067】

次に、作業情報生成部４０４が作業情報を生成する（ステップＳ１２５）。この際、作業情報生成部４０４は、位置情報および車両状態情報に基づいて、地形の形状変更を伴う実質的な作業を行った領域を示す作業情報を生成する。例えば、作業情報生成部４０４は、作業車両２等のパケットやブレードが停止中である状態における位置情報を除外し、パケットやブレードが動作中の位置情報を使用して作業情報を生成することにより、地形の形状変更を行った作業領域を示す作業情報を生成することができる。次に、制御部４０６は、取得指示が終了したかを判断する（ステップＳ１２６）。その結果、取得指示が終了していない場合には（ステップＳ１２６，Ｎｏ）、制御部４０６は、ステップＳ１２３の処理に戻る。

【0068】

一方、ステップＳ１２６において、取得指示が終了している場合には（ステップＳ１２６，Ｙｅｓ）、送信部４０５が作業情報を第１の情報処理装置２００に送信し（ステップＳ１２７）、処理を終了する。なお、作業情報を第１の情報処理装置２００に送信するタイミングは、例えば、ステップＳ１２５で作業情報を生成した直後にすることができる。この場合、作業中に作業情報を第１の情報処理装置２００に送信することになり、作業終了後の作業情報の送信を不要にすることができる。なお、ステップＳ１２３及び１２４の処理は、同図の順番に限定するものではない。

【0069】

［情報処理装置の処理］
図９は、本開示の第１の実施形態に係る情報処理装置の処理の処理手順の一例を示す図である。同図は、第１の情報処理装置２００の処理の処理手順の一例を表す流れ図である。

【0070】

まず、撮影情報受信部２０１が撮影情報を受信する（ステップＳ１４１）。この受信した撮影情報は、第１の情報処理装置２００に内蔵された記録媒体（図４において不図示）に記録される（ステップＳ１４２）。なお、撮影情報を外部記録媒体から取得する場合には、記録媒体からの読み出し処理を行い、読み出した撮影情報をステップＳ１４２において第１の情報処理装置２００に内蔵する記録媒体に記録する。

【0071】

次に、作業情報受信部２０５が作業情報を受信する（ステップＳ１４３）。次に、作業情報が上述の記録媒体に記録される（ステップＳ１４４）。次に、制御部２０８は、全ての作業情報を受信したかを判断する（ステップＳ１４５）。その結果、全ての作業情報を受信していない場合には（ステップＳ１４５，Ｎｏ）、制御部２０８は、ステップＳ１４３の処理に戻る。

【0072】

一方、ステップＳ１４５において、全ての作業情報を受信している場合には（ステップＳ１４５，Ｙｅｓ）、作業領域判定部２０７が作業領域を判定する（ステップＳ１４６）。この判定において、全ての作業情報を用いて地形形状が変更された領域を包含する作業領域を求める。例えば、複数の作業車両による作業領域に重なりがある場合は、作業情報に含まれる位置情報を基に当該複数の作業領域を結合した１つの領域を作業領域として判定する。一方、作業領域に重なりが無い場合は、別々の作業領域として判定する。

【0073】

次に、画像フレーム選択部２０２が撮影情報に含まれる画像フレームを選択する（ステップＳ１４７）。すなわち、撮影情報に含まれる位置情報が作業領域の範囲内である場合に、画像フレーム選択部２０２は、当該位置情報に対応する画像フレームを、三次元情報を生成するための画像フレームとして選択する。次に、三次元情報生成部２０３が、選択された画像フレームに基づいて三次元情報を生成する（ステップＳ１４９）。これにより、作業領域２０の全体の三次元情報又は局所三次元情報が生成される。

【0074】

次に、生成された三次元情報を記録媒体に記録し（ステップＳ１５０）、三次元情報送信部２０４が三次元情報をサーバ装置３００に送信する（ステップＳ１５１）。なお、三次元情報を送信するタイミングとしては、ステップＳ１４９における三次元情報の生成処理がすべての撮影情報に対して完了した後に送信することができる。或いは、ステップＳ１４９における三次元情報の生成処理が一部の撮影情報に対して完了するごとに送信することもできる。

【0075】

［サーバ装置の処理］
図１０は、本開示の第１の実施形態に係るサーバ装置の処理の処理手順の一例を示す図である。同図は、サーバ装置３００における三次元情報を受信する際の処理の処理手順の一例を表す流れ図である。

【0076】

まず、三次元情報受信部３０１が三次元情報を受信する（ステップＳ１６１）。次に、三次元情報更新部３０２が三次元情報保持部３０３の記録データを参照し（ステップＳ１６２）、受信した三次元情報と同じ作業領域の過去の三次元情報が記録済みかを判断する。この結果、同じ作業領域の三次元情報が記録されていない場合には（ステップＳ１６３，Ｎｏ）、ステップＳ１６５の処理に移行する。一方、同じ作業領域の三次元情報が記録済みの場合には（ステップＳ１６３，Ｙｅｓ）、三次元情報更新部３０２は、当該領域の記録データを削除し（ステップＳ１６４）、ステップＳ１６５の処理に移行する。

【0077】

ステップＳ１６５において、三次元情報更新部３０２は、三次元情報を三次元情報保持部３０３に追加する（ステップＳ１６５）。これにより、作業領域２０の全体の三次元情報又は局所三次元情報が三次元情報保持部３０３に保持される。その後、処理を終了する。なお、上述のステップＳ１６４及びステップＳ１６５の処理により三次元情報の更新が行われる。

【0078】

図１１は、本開示の第１の実施形態に係るサーバ装置の処理の処理手順の一例を示す図である。同図は、サーバ装置３００におけるデータ要求を受信した際の処理の処理手順の一例を表す流れ図である。

【0079】

データ要求受信部３０５が表示端末５００からのデータ要求を受信すると（ステップＳ１８１，Ｙｅｓ）、要求された作業領域に相当する三次元情報を三次元情報保持部３０３から読み出す（ステップＳ１８２）。次に、読み出された三次元情報が送信部３０４により送信される（ステップＳ１８３）。その後、処理を終了する。

【0080】

図１２は、本開示の第１の実施形態に係る三次元情報の生成の一例を示す図である。同図は、第３の情報処理装置１００、第２の情報処理装置４００ａ、第２の情報処理装置４００ｂ、第１の情報処理装置２００、サーバ装置３００及び表示端末５００における処理を表すシーケンス図である。

【0081】

まず、第３の情報処理装置１００が作業領域の撮影を行う（ステップＳ２０１）。次に、第３の情報処理装置１００が撮影情報を第１の情報処理装置２００に送信する（ステップＳ２０２）。次に、第１の情報処理装置２００は、送信された撮影情報に基づいて作業領域２０の全体の三次元情報を生成する（ステップＳ２０３）。次に、第１の情報処理装置２００は、生成した三次元情報をサーバ装置３００に送信する（ステップＳ２０４）。次に、サーバ装置３００は、送信された三次元情報を保持する（ステップＳ２０５）。この三次元情報は、最初の三次元情報に該当する。次に、表示端末５００が三次元情報要求をサーバ装置３００に送信すると（ステップＳ２０６）、サーバ装置３００は三次元情報を表示端末５００に送信する（ステップＳ２０７）。

【0082】

一方、第２の情報処理装置４００ａが作業情報を生成し（ステップＳ２０８）、生成した作業情報を第１の情報処理装置２００に送信する（ステップＳ２０９）。また、第２の情報処理装置４００ｂが作業情報を生成し（ステップＳ２１０）、生成した作業情報を第１の情報処理装置２００に送信する（ステップＳ２１１）。

【0083】

その後、第３の情報処理装置１００が再度作業領域の撮影を行い（ステップＳ２１２）、撮像情報を第１の情報処理装置２００に送信する（ステップＳ２１３）。すると、第１の情報処理装置２００は、局所三次元情報を生成し（ステップＳ２１４）、サーバ装置３００に送信する（ステップＳ２１５）。サーバ装置３００は、受信した局所三次元情報を三次元情報保持部３０３に保持する（ステップＳ２１６）。この際、サーバ装置３００は、局所三次元情報により三次元情報保持部３０３に保持した三次元情報を更新する。

【0084】

その後、表示端末５００は、任意のタイミングにおいて三次元情報要求をサーバ装置３００に送信し（ステップＳ２１７）、サーバ装置３００は三次元情報を表示端末５００に送信する（ステップＳ２１８）。

【0085】

同図の処理においては、初回の作業領域撮影により作業領域２０の全体の三次元情報を生成し、２回目は作業領域２０のうち実際に地形の形状の変更を行った領域の三次元情報を更新する場合を示している。しかし、作業領域２０の全体の三次元情報を生成するタイミングは初回に限定するものではなく、例えば、週毎や月毎など定期的に生成することも可能であり、雨天や台風など荒天後に生成することも可能である。

【0086】

このように、本開示の第１の実施形態の情報処理システム１０は、第１の情報処理装置２００の三次元情報生成部２０３は、最初に作業領域２０の全体の三次元情報を生成した後に作業車両２等が作業を行った作業領域に限定して局所三次元情報を生成する。この局所三次元情報に基づいて作業領域２０の全体の三次元情報を更新することにより、作業領域２０の全体の三次元情報を生成する場合と比較して処理時間を短縮することができる。また、局所三次元情報をサーバ装置３００に送信するため、通信データ量を削減することができ、通信時間を短縮することができる。また、局所三次元情報を記録することにより、作業領域２０の全体の三次元情報を記録するよりも少ないデータ量にて履歴を記録することができる。また、第２の情報処理装置４００は三次元情報の生成を行わないため、第２の情報処理装置４００の処理を簡略化することができる。

【0087】

（２．第２の実施形態）
上述の第１の実施形態の第１の情報処理装置２００は、生成した三次元情報をサーバ装置３００に送信していた。これに対し、本開示の第２の実施形態の第１の情報処理装置２００は、サーバ装置３００に送信する三次元情報を選択する点で、上述の第１の実施形態と異なる。

【0088】

［情報処理装置の構成］
図１３は、本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。同図は、図４と同様に、第１の情報処理装置２００の構成例を表す図である。同図の第１の情報処理装置２００は、三次元情報保持部２０９及び送信データ選択部２１０を更に備える点で、図４の第１の情報処理装置２００と異なる。

【0089】

三次元情報保持部２０９は、三次元情報生成部２０３で生成された三次元情報を記録して蓄積し、作業領域２０の全体の三次元情報を保持するものである。

【0090】

送信データ選択部２１０は、サーバ装置３００に送信する三次元情報を選択するものである。この送信データ選択部２１０は、三次元情報生成部２０３が生成した局所三次元情報と三次元情報保持部２０９に保持された三次元情報の対応する領域の三次元情報とを比較し、その差分が所定の閾値を超えている局所三次元情報を選択する。送信データ選択部２１０により選択された局所三次元情報は、三次元情報送信部２０４を介してサーバ装置３００に送信される。なお、送信データ選択部２１０は、選択部の一例である。

【0091】

このように、最後にサーバ装置３００に送信した三次元情報を三次元情報保持部２０９に保持することにより、これ以降に生成された三次元情報との差分を検出することができる。

【0092】

これ以外の情報処理システム１０の構成は本開示の第１の実施形態における情報処理システム１０の構成と同様であるため、説明を省略する。

【0093】

このように、本開示の第２の実施形態の情報処理システム１０は、生成した三次元情報を保持するとともに当該保持した三次元情報に基づいて局所三次元情報を選択してサーバ装置３００に送信する。これにより、データの送信処理を更に削減することができる。

【0094】

（３．第３の実施形態）
上述の第１の実施形態の情報処理システム１０は、第２の情報処理装置４００が位置情報を含む作業情報を第１の情報処理装置２００に送信していた。これに対し、本開示の第３の実施形態の情報処理システム１０は、第２の情報処理装置４００が画像を第１の情報処理装置２００に更に送信する点で、上述の第１の実施形態と異なる。

【0095】

［第２の情報処理装置の構成］
図１４は、本開示の第３の実施形態に係る第２の情報処理装置の構成例を示す図である。同図は、図３と同様に、第２の情報処理装置４００の構成例を表す図である。同図の第２の情報処理装置４００は、カメラ４０７及び画像データ生成部４０８を更に備える点で、図３の第２の情報処理装置４００と異なる。

【0096】

カメラ４０７は、第３の情報処理装置１００のカメラ１０１と同様に、作業領域２０を撮影するものである。

【0097】

画像データ生成部４０８は、第３の情報処理装置１００の画像データ生成部１０２と同様に、カメラ４０７の撮影結果に基づいて画像を生成するものである。この画像データ生成部４０８は、作業車両２等の近傍の画像を生成する。画像データ生成部４０８は、生成した画像のデータを作業情報生成部４０４に出力する。

【0098】

同図の作業情報生成部４０４は、取得した画像データ、位置情報および車両状態情報にこれらが同期していることを示す時刻情報を付加した情報である情報作業情報を生成し保持する。

【0099】

なお、カメラ４０７及び画像データ生成部４０８は、例えば、汎用的な携帯用端末やタブレット端末で構成することも可能である。これらの端末で取得した時刻情報を含む画像、例えば、ＪＰＥＧ（Joint Photographic Experts Group）ファイルを作業情報に含めて第１の情報処理装置２００に送信することもできる。

【0100】

［第２の情報処理装置の処理］
図１５は、本開示の第３の実施形態に係る第２の情報処理装置の処理の処理手順の一例を示す図である。同図は、図８と同様に、第２の情報処理装置４００の処理の処理手順の一例を表す流れ図である。

【0101】

第２の情報処理装置４００の制御部４０６は、作業情報を取得するタイミングを指示する取得指示を受信すると（ステップＳ１２１）、カメラ４０７が撮影を行い、画像データ生成部４０８が画像データを生成する（ステップＳ１２２）。また、衛星測位部４０１が位置を取得し、位置情報生成部４０２が位置情報を生成する（ステップＳ１２３）。次に、車両状態情報取得部４０３が車両状態情報を取得する（ステップＳ１２４）。

【0102】

次に、作業情報生成部４０４が作業情報を生成する（ステップＳ１２５）。作業情報生成部４０４は、位置情報、車両状態情報及び画像データに基づいて、地形の形状変更を伴う実質的な作業を行った領域を示す作業情報を生成する。次に、制御部４０６は、取得指示が終了したかを判断する（ステップＳ１２６）。その結果、取得指示が終了していない場合には（ステップＳ１２６，Ｎｏ）、制御部４０６は、ステップＳ１２２の処理に戻る。

【0103】

一方、ステップＳ１２６において、取得指示が終了している場合には（ステップＳ１２６，Ｙｅｓ）、送信部４０５が作業情報を第１の情報処理装置２００に送信し（ステップＳ１２７）、処理を終了する。なお、作業情報を第１の情報処理装置２００に送信するタイミングは、例えば、ステップＳ１２５で作業情報を生成した直後にすることができる。この場合、作業中に作業情報を第１の情報処理装置２００に送信することになり、作業終了後の作業情報の送信を不要にすることができる。なお、ステップＳ１２２乃至１２４の処理は、同図の順番に限定するものではない。

【0104】

［情報処理装置の処理］
図１６は、本開示の第３の実施形態に係る情報処理装置の処理の処理手順の一例を示す図である。同図は、図９と同様に、第１の情報処理装置２００の処理の処理手順の一例を表す流れ図である。同図の処理手順は、ステップＳ１４８の処理が追加される点で、図９の処理手順と異なる。

【0105】

前述のように、第１の情報処理装置２００が第２の情報処理装置４００から受信する作業情報には画像データが含まれている。ステップＳ１４８において、画像フレーム選択部２０２は、作業情報に含まれる全ての画像データを含む画像フレームをステップＳ１４７において選択した画像フレームに追加する。次に、三次元情報生成部２０３が撮像情報から選択した画像フレーム及び作業情報に含まれる画像フレームから三次元情報を生成する（ステップＳ１４８）。これ以外の処理手順は図９の処理手順と同様であるため、説明を省略する。

【0106】

これ以外の情報処理システム１０の構成は本開示の第１の実施形態における情報処理システム１０の構成と同様であるため、説明を省略する。

【0107】

このように、本開示の第３の実施形態の情報処理システム１０は、第２の情報処理装置４００が作業車両２等の近傍の画像を生成して位置情報とともに第１の情報処理装置２００に送信する。第１の情報処理装置２００は、第３の情報処理装置１００が生成した作業領域２０の全体の画像に加えて第２の情報処理装置４００が生成した作業車両２等の近傍の画像に基づいて三次元情報を生成する。これにより、三次元情報の精度を向上させることができる。

【0108】

（４．変形例）
上述の第１の実施形態の情報処理システム１０は、第３の情報処理装置１００が作業領域２０を撮影して作業領域２０の全体の画像を生成していた。これに対し、作業車両２等が作業を行った領域を第３の情報処理装置１００に撮影させてもよい。

【0109】

具体的には、第１の情報処理装置２００の作業領域判定部２０７により判定された作業領域を第３の情報処理装置１００に送信する。第３の情報処理装置１００は、第１の情報処理装置２００からの作業領域の情報を受信し、当該受信した作業領域をカバーするように無人航空機４を飛行制御してカメラ１０１により撮影を行い、画像を取得する。この画像に基づいて撮影情報統合部１０７が撮影情報を生成して第１の情報処理装置２００に送信する。第１の情報処理装置２００は、送信された撮影情報に基づいて局所三次元情報を生成する。これにより、第１の情報処理装置２００における画像フレーム選択部２０２による処理を省略することができる。

【0110】

これ以外の情報処理システム１０の構成は本開示の第１の実施形態における情報処理システム１０の構成と同様であるため、説明を省略する。

【0111】

このように、本開示の変形例の情報処理システム１０は、作業車両２等の近傍の作業が行われた領域の画像を第３の情報処理装置１００が生成するため、第１の情報処理装置２００における局所三次元情報の生成の処理を簡略化することができる。

【0112】

なお、本開示の第２の実施形態の構成は、他の実施形態に適用することができる。具体的には、図１３の三次元情報保持部２０９及び送信データ選択部２１０を備える第１の情報処理装置２００は、本開示の第３の実施形態の第１の情報処理装置２００に適用することができる。

【0113】

本開示の第３の実施形態の構成は、他の実施形態に適用することができる。具体的には、図１４のカメラ４０７及び画像データ生成部４０８を備える第２の情報処理装置４００は、本開示の第２の実施形態の第２の情報処理装置４００に適用することができる。

【0114】

なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

【0115】

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0116】

以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

【0117】

（効果）
情報処理システム１０は、サーバ装置３００と、第１の情報処理装置２００と、第２の情報処理装置４００とを有する。サーバ装置３００は、配置された物体の形状を含む作業領域の地形の三次元情報のうちの上記作業領域の全体の上記三次元情報を保持するとともに、当該保持する上記作業領域の全体の上記三次元情報を上記作業領域において作業装置により作業が行われた領域の上記三次元情報である局所三次元情報に基づいて更新する。第１の情報処理装置２００は、上記作業装置の位置情報及び上記作業領域の画像に基づいて上記局所三次元情報を生成する三次元情報生成部２０３と、上記生成された局所三次元情報を上記サーバ装置３００に送信する三次元情報送信部２０４とを備える。第２の情報処理装置４００は、上記位置情報を生成して上記第１の情報処理装置２００に送信する。これにより、第２の情報処理装置４００が生成する作業装置の位置情報に基づいて第１の情報処理装置２００が局所三次元情報を生成して、サーバ装置３００に送信するという作用をもたらす。第２の情報処理装置４００の処理を軽減することができる。

【0118】

また、上記三次元情報生成部２０３は、上記作業装置の作業状態の情報である作業情報、上記位置情報及び上記作業領域の画像に基づいて上記局所三次元情報を生成してもよい。これにより、作業状態に応じて局所三次元情報を生成する作業領域を絞り込むことができる。

【0119】

また、上記三次元情報生成部２０３は、上記作業領域の全体を含む上記画像を上記作業領域の画像として上記局所三次元情報を生成してもよい。

【0120】

また、上記第２の情報処理装置４００は、上記作業が行われた領域の画像を更に送信し、上記三次元情報生成部２０３は、上記送信された上記作業が行われた領域の画像を上記作業領域の画像として上記局所三次元情報を生成してもよい。これにより、詳細な局所三次元情報を生成することができる。

【0121】

また、上記三次元情報生成部２０３は、上記作業領域を含む上記画像に基づく上記作業領域の全体の上記三次元情報の生成を更に行うことができる。これにより、作業領域の全体の三次元情報を生成して保持することができる。

【0122】

また、上記第１の情報処理装置２００は、上記生成された上記作業領域の全体の上記三次元情報を保持する三次元情報保持部２０９と、上記保持された上記作業領域の全体の上記三次元情報に基づいて上記局所三次元情報を選択する選択部（送信データ選択部２１０）とを更に備え、上記三次元情報送信部２０４は、上記選択された局所三次元情報を上記サーバ装置３００に送信してもよい。これにより、データ通信量を削減することができる。

【0123】

また、上記選択部（送信データ選択部２１０）は、上記保持された上記作業領域の全体の上記三次元情報及び上記生成された局所三次元情報との差分に基づいて上記局所三次元情報を選択してもよい。これにより、作業領域の地形の変化量に応じて三次元情報の更新を行うことができる。

【0124】

また、上記三次元情報生成部２０３は、点群データにより構成された上記局所三次元情報を生成してもよい。

【0125】

情報処理方法は、配置された物体の形状を含む作業領域の地形の三次元情報のうちの上記作業領域の全体の上記三次元情報を保持することと、上記作業領域において作業を行う作業装置の位置情報を生成することと、上記位置情報及び上記作業領域の画像に基づいて上記作業装置により上記作業が行われた領域の上記三次元情報である局所三次元情報を生成することと、上記保持された上記作業領域の全体の上記三次元情報を上記生成された局所三次元情報に基づいて更新することとを含む情報処理方法である。これにより、処理を軽減することができる。

【0126】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0127】

なお、本技術は以下のような構成も取ることができる。
（１）
配置された物体の形状を含む作業領域の地形の三次元情報のうちの前記作業領域の全体の前記三次元情報を保持するとともに、当該保持する前記作業領域の全体の前記三次元情報を前記作業領域において作業装置により作業が行われた領域の前記三次元情報である局所三次元情報に基づいて更新するサーバ装置と、
前記作業装置の位置情報及び前記作業領域の画像に基づいて前記局所三次元情報を生成する三次元情報生成部と、前記生成された局所三次元情報を前記サーバ装置に送信する三次元情報送信部とを備える第１の情報処理装置と、
前記位置情報を生成して前記第１の情報処理装置に送信する第２の情報処理装置と
を有する情報処理システム。
（２）
前記三次元情報生成部は、前記作業装置の作業状態の情報である作業情報、前記位置情報及び前記作業領域の画像に基づいて前記局所三次元情報を生成する前記（１）に記載の情報処理システム。
（３）
前記三次元情報生成部は、前記作業領域の全体を含む前記画像を前記作業領域の画像として前記局所三次元情報を生成する前記（１）又は（２）に記載の情報処理システム。
（４）
前記第２の情報処理装置は、前記作業が行われた領域の画像を更に送信し、
前記三次元情報生成部は、前記送信された前記作業が行われた領域の画像を前記作業領域の画像として前記局所三次元情報を生成する
前記（１）から（３）の何れかに記載の情報処理システム。
（５）
前記三次元情報生成部は、前記作業領域を含む前記画像に基づく前記作業領域の全体の前記三次元情報の生成を更に行う前記（１）から（４）の何れかに記載の情報処理システム。
（６）
前記第１の情報処理装置は、
前記生成された前記作業領域の全体の前記三次元情報を保持する三次元情報保持部と、
前記保持された前記作業領域の全体の前記三次元情報に基づいて前記局所三次元情報を選択する選択部と
を更に備え、
前記三次元情報送信部は、前記選択された局所三次元情報を前記サーバ装置に送信する
前記（５）に記載の情報処理システム。
（７）
前記選択部は、前記保持された前記作業領域の全体の前記三次元情報及び前記生成された局所三次元情報との差分に基づいて前記局所三次元情報を選択する前記（６）に記載の情報処理システム。
（８）
前記三次元情報生成部は、点群データにより構成された前記局所三次元情報を生成する前記（１）から（７）の何れかに記載の情報処理システム。
（９）
配置された物体の形状を含む作業領域の地形の三次元情報のうちの前記作業領域の全体の前記三次元情報を保持することと、
前記作業領域において作業を行う作業装置の位置情報を生成することと、
前記位置情報及び前記作業領域の画像に基づいて前記作業装置により前記作業が行われた領域の前記三次元情報である局所三次元情報を生成することと、
前記保持された前記作業領域の全体の前記三次元情報を前記生成された局所三次元情報に基づいて更新することと
を含む情報処理方法。

【符号の説明】

【0128】

１０ 情報処理システム
１００ 第３の情報処理装置
１０４、４０２ 位置情報生成部
１０９、４０５ 送信部
２００ 第１の情報処理装置
２０３ 三次元情報生成部
２０４ 三次元情報送信部
２０７ 作業領域判定部
２０９ 三次元情報保持部
２１０ 送信データ選択部
３００ サーバ装置
３０２ 三次元情報更新部
３０３ 三次元情報保持部
４００、４００ａ、４００ｂ、４００ｃ 第２の情報処理装置
４０３ 車両状態情報取得部
４０８ 画像データ生成部
５００ 表示端末

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】