(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085463
(43)【公開日】2024-06-27
(54)【発明の名称】情報処理装置、情報処理端末、情報処理方法、情報処理プログラム及び情報処理システム
(51)【国際特許分類】
G06Q 50/06 20240101AFI20240620BHJP
【FI】
G06Q50/06
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022199934
(22)【出願日】2022-12-15
(71)【出願人】
【識別番号】516285984
【氏名又は名称】株式会社アンドパッド
(74)【代理人】
【識別番号】100158850
【弁理士】
【氏名又は名称】明坂 正博
(72)【発明者】
【氏名】今井 亮介
(72)【発明者】
【氏名】菊野 格
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC06
5L050CC06
(57)【要約】
【課題】2以上の対象エリアのデータを統合できる情報処理装置、情報処理端末、情報処理方法、情報処理プログラム及び情報処理システムを提供すること。
【解決手段】本発明に係る情報処理装置は、2以上の対象エリアのデータを統合する情報処理装置であって、2以上の対象エリアの点群データ又は点群データから生成されるメッシュデータを受信する受信部と、受信部が受信した点群データ又はメッシュデータを統合する統合部と、を備え、統合部は、点群データ又はメッシュデータの所定位置を示す位置データに基づいて、2以上の対象エリアの点群データ又はメッシュデータを統合する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
2以上の対象エリアのデータを統合する情報処理装置であって、
前記2以上の対象エリアの点群データ又は前記点群データから生成されるメッシュデータを受信する受信部と、
前記受信部が受信した点群データ又はメッシュデータを統合する統合部と、を備え、
前記統合部は、
前記点群データ又は前記メッシュデータの所定位置を示す位置データに基づいて、前記2以上の対象エリアの点群データ又はメッシュデータを統合する、
ことを特徴とする情報処理装置。
【請求項2】
前記情報処理装置は、
前記点群データ又は前記メッシュデータを解析して前記対象エリアに存在するオブジェクトを認識する認識部と、
前記認識部が認識した前記オブジェクトの少なくとも1以上に対して指標を付与する指標付与部と、を備える、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記受信部は、
前記2以上の対象エリアの点群データ又は前記メッシュデータについて、対象エリアごとに前記点群データ又は前記メッシュデータの所定位置を示す位置データを受信し、
前記統合部は、
前記受信部が受信した対象エリアごとの前記点群データ又は前記メッシュデータの所定位置を示す位置データに基づいて、前記2以上の対象エリアの点群データ又は前記メッシュデータを統合する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記統合部は、
前記認識部が認識した前記対象エリアに存在するオブジェクトのうち少なくとも2以上の対象エリアにまたがって存在するオブジェクトの位置データに基づいて、前記2以上の対象エリアの点群データ又は前記メッシュデータを統合する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記受信部は、
前記オブジェクトに関する情報を受信し、
前記情報処理装置は、
前記受信部が受信した前記オブジェクトに関する情報を前記オブジェクト又は前記オブジェクトに対応する点群データ又は前記点群データから生成されるメッシュデータに関連付けて記憶させる記憶制御部を備える、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項6】
前記認識部は、
前記オブジェクトに関する情報を認識し、
前記情報処理装置は、
前記認識部が認識した前記オブジェクトに関する情報を前記オブジェクト又は前記オブジェクトに対応する点群データ又は前記点群データから生成されるメッシュデータに関連付けて記憶させる記憶制御部を備える、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項7】
2以上の対象エリアのデータを統合する情報処理方法であって、
受信部が、前記2以上の対象エリアの点群データ又は前記点群データから生成されるメッシュデータを受信する工程と、
統合部が、前記受信部が受信した点群データ又はメッシュデータを統合する工程と、を有し、
前記統合部は、
前記点群データ又は前記メッシュデータの所定位置を示す位置データに基づいて、前記2以上の対象エリアの点群データ又はメッシュデータを統合する、
ことを特徴とする情報処理方法。
【請求項8】
2以上の対象エリアのデータを統合する情報処理プログラムであって、
コンピュータを、
前記2以上の対象エリアの点群データ又は前記点群データから生成されるメッシュデータを受信する受信部、
前記受信部が受信した点群データ又はメッシュデータを統合する統合部、として機能させ、
前記統合部は、
前記点群データ又は前記メッシュデータの所定位置を示す位置データに基づいて、前記2以上の対象エリアの点群データ又はメッシュデータを統合する、
ことを特徴とする情報処理プログラム。
【請求項9】
2以上の対象エリアのデータを統合する情報処理端末であって、
前記2以上の対象エリアの点群データ又は前記点群データから生成されるメッシュデータを統合する統合部を備え、
前記統合部は、
前記点群データ又は前記メッシュデータの所定位置を示す位置データに基づいて、前記2以上の対象エリアの点群データ又はメッシュデータを統合する、
ことを特徴とする情報処理端末。
【請求項10】
対象エリアの点群データ又は前記点群データから生成されるメッシュデータを取得する端末と、前記端末により取得された2以上の対象エリアのデータを統合する情報処理装置と、を具備し、
前記情報処理装置は、
前記2以上の対象エリアの点群データ又はメッシュデータを統合する統合部を備え、
前記統合部は、
前記点群データ又は前記メッシュデータの所定位置を示す位置データに基づいて、前記2以上の対象エリアの点群データ又はメッシュデータを統合する、
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理端末、情報処理方法、情報処理プログラム及び情報処理システムに関する。
【背景技術】
【0002】
ガス管、水道管など生活インフラの老朽化が問題となっており、生活インフラの保守、点検などの作業や工事(以下、作業等ともいう)が行われている。このため、従来から作業等の進捗状況を管理するための技術が提案されている。
例えば、特許文献1には、機械学習より構築された学習済みモデルを用いて、実施中の作業または実施予定の作業を精度よく推定することにより、当該作業を精度よく管理可能な作業管理装置等を実現することを目的とする作業管理装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来提案されている発明は、個々の作業等の進捗管理に関するものがほとんどであり、エリアの異なる作業等や、同じエリアであっても内容の異なる作業等の状況を統合することができないという問題があった。
【0005】
本発明は、上記課題を鑑みてなされたものであり、2以上の対象エリアのデータを統合できる情報処理装置、情報処理端末、情報処理方法、情報処理プログラム及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決すべく、本発明に係る情報処理装置は、2以上の対象エリアのデータを統合する情報処理装置であって、2以上の対象エリアの点群データ又は点群データから生成されるメッシュデータを受信する受信部と、受信部が受信した点群データ又はメッシュデータを統合する統合部と、を備え、統合部は、点群データ又はメッシュデータの所定位置を示す位置データに基づいて、2以上の対象エリアの点群データ又はメッシュデータを統合する。
【発明の効果】
【0007】
本発明によれば、2以上の対象エリアのデータを統合できる情報処理装置、情報処理端末、情報処理方法、情報処理プログラム及び情報処理システムを提供することができる。
【図面の簡単な説明】
【0008】
【
図1】実施形態に係る情報処理システムの概略構成図である。
【
図3】実施形態に係るサーバの記憶装置に記憶されているデータベースの一例である。
【
図4】実施形態に係るサーバの機能ブロック図である。
【
図6】実施形態に係るユーザ端末の機能ブロック図である。
【
図7】実施形態に係るユーザ端末に表示されるテクスチャメッシュデータの一例である。
【
図8】実施形態に係るユーザ端末に表示されるテクスチャメッシュデータの一例である。
【
図9】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【
図10】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【
図11】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態を説明する。
[実施形態]
初めに、
図1を参照して情報処理システム1の構成について説明する。情報処理システム1は、サーバ2(情報処理装置)と、このサーバ2とネットワーク4を介して接続された1以上のユーザ端末3とを備える。ユーザ端末3は、デスクトップ型PC(Personal Computer)、タブレット型PC、スマートフォンなどであってよい。なお、情報処理システム1が備えるサーバ2及びユーザ端末3の数はそれぞれ任意である。
【0010】
(サーバ2)
図2は、サーバ2の構成図である。
図2は、サーバ2の主なハード構成を示しており、サーバ2は、通信IF200A、記憶装置200B、CPU200Cがバスを介して接続された構成を有する。なお、
図2では図示していないが、サーバ2は、入力装置(例えば、マウス、キーボード、タッチパネルなど)や表示装置(CRT(Cathode Ray Tube)、液晶ディスプレイ、有機ELディスプレイなど)などを備えていてもよい。
【0011】
通信IF200Aは、他の装置(例えば、ユーザ端末3など)と通信するためのインターフェースである。
【0012】
記憶装置200Bは、例えば、HDD(Hard Disk Drive)や半導体記憶装置(SSD(Solid State Drive))である。記憶装置200Bには、各種情報や情報処理プログラムが記憶されている。
【0013】
図3は、サーバ2の記憶装置に記憶されている各種データベース(以下、DBともいう)の一例である。記憶装置200Bには、
図3に示す各種データベース(DB)や情報処理プログラムなどが記憶されている。なお、情報(データ)をどのように対応付けて記憶装置200Bに記憶させるかは任意である。また必ずしもデータベース形式とする必要もない。
【0014】
(ユーザDB1)
ユーザDB1には、氏名、性別、年齢、所属先の企業名及び部署名、所属先の住所、所属先の連絡先などのユーザ(例えば、作業者など)に関する情報がユーザIDに対応付けて記憶されている。
なお、ユーザDB1に記憶される上記情報は一例である。
【0015】
(グループDB2)
グループDB2には、グループ名、グループに含まれるユーザのユーザID、グループの種別などの情報(以下、グループ情報ともいう)がグループIDに対応付けて記憶されている。
なお、実施形態では、グループには、組織(例えば、企業、企業の部署など)及び個人(例えば、個人事業主など)の少なくとも一方が含まれる。
グループの種別には、例えば、社内、社外、設計、内装、設備などが含まれ、ユーザが任意に設定することができる。
なお、グループDB2に記憶される上記情報は一例である。
【0016】
(案件DB3)
案件DB3には、案件名、案件担当者のユーザID、該案件に含まれるタスクの情報(以下、タスク情報ともいう)、テクスチャメッシュデータIDなどの案件情報が案件IDに対応付けて記憶されている。タスクには、タスク名(例えば、打合せ準備、打合わせ、写真送付、現地確認、地盤チェックなど)、タスクの詳細(作業内容の詳細)、タスク担当者のユーザID、タスクの完了予定日、タスクか完了したか否かを示すステータスの情報(以下、ステータス情報ともいう)などが含まれる。ステータス情報は、権限を有するタスク担当者(もしくはその上司)からの完了報告により更新される。また、テクスチャメッシュデータIDについてはテクスチャメッシュデータDB4で説明する。
なお、案件DB3に記憶される上記情報は一例である。
【0017】
(テクスチャメッシュデータDB4)
テクスチャメッシュデータDB4には、テクスチャメッシュデータ(深度データと同時に取得した複数写真(画像)を基に合成されたメッシュデータとそれに付加されたテクスチャデータ)から認識されるオブジェクト及び該オブジェクトに関する情報(例えば、種別など)などの情報がテクスチャメッシュデータIDに対応付けて記憶されている。ここでテクスチャメッシュデータは、LiDAR(Light Detection and Ranging)などの深度センサにより取得される自己位置(ユーザ端末3の位置)を基準とする周囲の3次元形状の座標データ(x,y,z)と色情報(r,g,b)で構成されたものである。なお、本実施形態では、テクスチャメッシュデータの座標データは、自己位置(ユーザ端末3)を基準とする3次元UV座標(本実施形態では3次元座標であり3次元ベクトル(x,y,z)で示される。テクスチャのマッピングには、2次元ベクトル2次元では2次元ベクトル(U,V)で示される)で表現されている。 また、オブジェクト及び該オブジェクトに関する情報は、後述する認識部204で認識される。
【0018】
(学習モデルDB5)
学習モデルDB5には、テクスチャメッシュデータに含まれるオブジェクトと、該オブジェクトの種別(例えば、配管、電線など)とを教師データとして学習した学習モデルが記憶されている。
なお、テクスチャメッシュデータに含まれるオブジェクトと、該オブジェクトの種別(例えば、配管、電線など)とを教師データとして学習した学習モデルとしてもよい。形状でだけでなく色やテクスチャによる識別が可能となり、オブジェクトの認識精度の向上が期待できる。また、教示データは、テクスチャメッシュデータに含まれるオブジェクトの種類ごとに学習した教師データであってもよい。
【0019】
記憶装置200Bに記憶された各種情報(各種データベースを含む)の一部又は全部は、USB(Universal Serial Bus)メモリや外付けHDDなどの外部記憶装置やネットワーク4を介して接続された他の情報処理装置の記憶装置に記憶されてもよい。この場合、サーバ2は、外部記憶装置や他の情報処理装置の記憶装置に記憶された各種情報を参照又は取得する。
【0020】
CPU200Cは、サーバ2を制御するものであり、図示しないROM及びRAMなどを備える。
【0021】
(サーバ2の機能)
図4は、サーバ2の機能ブロック図である。
図4に示すように、サーバ2は、受信部201、送信部202、記憶装置制御部203(記憶制御部)、認識部204、統合部205、指標付与部206などの機能を備える。なお、
図4に示す機能は、CPU200Cが、記憶装置200Bに記憶されている情報処理プログラムを実行することで実現される。
【0022】
受信部201は、例えば、ネットワーク4を介してユーザ端末3から送信される情報(例えば、テクスチャメッシュデータ及び現在位置など)を受信する。
【0023】
送信部202は、例えば、ネットワーク4を介してユーザ端末3へ情報を送信する。
【0024】
記憶装置制御部203は、記憶装置200Bを制御する。記憶装置制御部203は、例えば、記憶装置200Bへの情報の書き込みや読み出しを行う。
【0025】
認識部204は、テクスチャメッシュデータを解析して対象エリア(例えば、作業を行ったエリアなど)に存在するオブジェクトを認識する。認識部204は、例えば、テクスチャメッシュデータを学習モデルに入力することでテクスチャメッシュデータからオブジェクトを認識する。また、認識部204は、オブジェクトに関する情報(例えば、エンボス加工や印刷により印字された文字などから取得される情報(例えば、種別、型番など))を認識する。
なお、オブジェクトに関する情報は、例えば、メッシュデータに付加されているテクスチャデータまたはテクスチャデータの元データとなる写真(画像)や動画からOCR(Optical Character Recognition:光学文字認識)などを利用して、例えばオブジェクトに印刷されている文字や貼り付けされているシールなどからオブジェクトに関する情報(例えば、種別、型番など)などの文字を読み取ってもよい。データを生成する工程で利用した写真(画像)・動画データを基に文字をよみとってもよい。
【0026】
統合部205は、受信部201が受信したテクスチャメッシュデータを統合する。統合部205は、例えば、テクスチャメッシュデータの所定位置を示す位置データに基づいて、2以上の対象エリアのテクスチャメッシュデータを統合する。より具体的には、統合部205は、ユーザが指定した統合したい2以上の案件のそれぞれについて指定された2点以上の位置(所定位置)に基づいて2以上の対象エリアのテクスチャメッシュデータを統合する。
なお、統合部205は、認識部204が認識した対象エリアに存在するオブジェクトのうち少なくとも2以上の対象エリアにまたがって存在するオブジェクトの位置データに基づいて、2以上の対象エリアのテクスチャメッシュデータを統合するようにしてもよい。具体的には、統合部205は、2以上の対象エリアにまたがって存在するオブジェクトが重なるように2以上の対象エリアのテクスチャメッシュデータを統合するようにしてもよい。なお、2以上の対象エリアにまたがって存在するオブジェクトは統合部205が認識してもよいし、ユーザが指定してもよい。
【0027】
指標付与部206は、認識部204が認識したオブジェクトの少なくとも1以上に対して指標を付与する。指標は、例えば、ユーザがユーザ端末3の入力装置300Cを操作して、報告を必要とする所定のオブジェクトや所定の領域(例えば、境界杭、継手(ソケットやパイプなど)位置、既設の切断箇所の始点終点、新設の始点終点、その他の埋設物など )と、該所定の種類のオブジェクトや所定の領域の報告内容とを設定するようにしてもよい。
【0028】
(ユーザ端末3)
ユーザ端末3は、本情報処理システム1のユーザが利用する端末である。ユーザは、ユーザ端末3を利用して作業の対象エリアのテクスチャメッシュデータと、現在位置とを取得して、サーバ2へ送信する。
【0029】
図5は、ユーザ端末3の主なハード構成を示しており、ユーザ端末3は、通信IF300A、記憶装置300B、入力装置300C、表示装置300D、CPU300E、GPSセンサ300F、撮像装置300G、発光・受光装置300Hがバスを介して接続された構成を有する。
【0030】
通信IF300Aは、他の装置(実施形態では、サーバ2)と通信するためのインターフェースである。
【0031】
記憶装置300Bは、例えば、HDD(Hard Disk Drive)や半導体記憶装置(SSD(Solid State Drive))である。記憶装置300Bには、端末の識別子や情報処理プログラムなどが記憶される。端末の識別子は、ユーザ端末3を識別するための識別子である。ユーザ端末3から送信する情報に端末の識別子を付与することで、サーバ2は、受信した情報がどのユーザ端末3から送信されたものであるかを判定することができる。なお、端末の識別子は、IP(Internet Protocol)アドレス、MAC(Media Access Control)アドレスなどを利用してもよく、サーバ2がユーザ端末3に対して付与するようにしてもよい。
【0032】
入力装置300Cは、例えば、キーボード、マウス、タッチパネルなどの入力デバイスであるが、入力可能であれば、他の装置や機器であってもよい。また、音声入力装置であってもよい。
【0033】
表示装置300Dは、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどであるが、表示可能であれば他の装置や機器(例えば、CRT:Cathode Ray Tube)であってもよい。
【0034】
GPSセンサ300Fは、GPS衛星からの信号を受信する。GPSセンサ300Fは、受信した信号に基づいて現在位置を算出し、算出した現在位置を出力する。なお、現在位置を知ることができればよく、例えば、加速度センサ、量子センサなどであってもよい。
【0035】
撮像装置300Gは、例えば、CCDやCMOS等の個体撮像素子を備えたカメラである。本実施形態では、撮像装置300Gを利用して写真(画像)データを取得する。本実施形態では、深度データ(点群データ)、自己位置情報と写真(画像)データを基にオブジェクト処理をおこない、テクスチャメッシュデータを生成する。
【0036】
発光・受光装置300Hは、いわゆるLiDAR(Light Detection And Ranging)であり、近赤外光や可視光、紫外線などを発光装置から照射し、物体からの反射光を受光装置で受光し、発光から受光までにかかった時間を計測することで距離(深度データ)を測定する装置である。本実施形態では、発光・受光装置300Hを利用して得られた深度データに基づいて自己位置(ユーザ端末3)を基準とする点群データを算出し、点群データからUV3次元座標で表現されたメッシュデータを生成する。
【0037】
CPU300Eは、実施形態に係るユーザ端末3を制御するものであり、図示しないROM及びRAMを備える。
【0038】
図6は、ユーザ端末3の機能ブロック図であり、ユーザ端末3は、受信部301、送信部302、記憶装置制御部303、入力受付部304、表示装置制御部305、撮像装置制御部306、発光・受光装置制御部307、データ生成部308などの機能を有する。なお、
図6に示す機能は、CPU300Eが、記憶装置300Bに記憶されている情報処理プログラムを実行することで実現される。
【0039】
受信部301は、例えば、サーバ2から送信される情報を受信する。
【0040】
送信部302は、例えば、入力受付部304で受け付けた入力操作に応じた情報をサーバ2へ送信する。
【0041】
記憶装置制御部303は、記憶装置300Bを制御する。例えば、記憶装置制御部303は、記憶装置300Bを制御して情報の書き込みや読み出しを行う。
【0042】
入力受付部304は、入力装置300Cからの入力操作を受け付ける。
【0043】
表示装置制御部305は、表示装置300Dを制御し、受信部301で受信した情報などを表示装置300Dに表示する。表示装置制御部305は、例えば、受信部301が受信したオブジェクトに対応付けてオブジェクトの識別情報を表示させる。
【0044】
撮像装置制御部306は、撮像装置300Gを制御し、写真(画像)データを取得する。
【0045】
発光・受光装置制御部307は、発光・受光装置300Hを制御し、深度データを取得する。
【0046】
データ生成部308は、発光・受光装置300Hを利用して得られた深度データ及び撮像装置300Gを利用して得られた写真(画像)データを基にオブジェクト処理等をおこない、テクスチャメッシュデータを生成する。
【0047】
(表示画面)
図7及び
図8は、ユーザ端末3の表示装置300Dに表示される画面の一例を示す図である。以下、
図7及び
図8を参照して、表示装置300Dに画面の一例について説明する。なお、
図1から
図6を参照して説明した構成と同一の構成には同一の符号を付して重複する説明を省略する。なお、既に述べたように、サーバ2が、表示装置(CRT(Cathode Ray Tube)、液晶ディスプレイ、有機ELディスプレイなど)を備え、サーバ2の表示装置に
図7及び
図8に示す画面を表示可能に構成してもよい。
【0048】
図7は、ユーザ端末3の入力装置300Cを操作して、取得したテクスチャメッシュデータにメモを記録している際にユーザ端末3の表示装置300Dに表示される画面の一例を示す図である。
図7に示すように、ユーザは、ユーザ端末3の入力装置300Cを操作して、所定の位置P1にメモMを記入することができる。また、ユーザは、ユーザ端末3の入力装置300Cを操作して、所定の位置間の距離L1,L2を計測することができる。本実施形態では、記入したメモや測定した距離は、該テクスチャメッシュデータに関連付けて記憶することができる。
【0049】
図8は、異なる対象エリアのテクスチャメッシュデータを統合した際にユーザ端末3の表示装置300Dに表示される画面の一例を示す図である。本実施形態では、例えば、
図8(a)及び
図8(b)に例示するような異なる対象エリアで取得されたテクスチャメッシュデータを、テクスチャメッシュデータの所定位置(本実施形態では、ユーザが指定する)を示す位置データ(
図8に示す例ではP1,P2の位置情報(P1、P2は
図8(a)及び
図8(b)において同じ位置を表す))に基づいて
図8(c)に示すように統合したテクスチャメッシュデータとすることができる。このため、
図8(c)に示すように、個々の作業報告において取得されたデータを統合して一つのデータとして俯瞰して確認することができ、利便性が高い。なお、上記説明では、P1,P2の位置情報を利用しているが、
図8(a)及び
図8(b)のテクスチャメッシュデータからオブジェクトOBJを認識し、
図8(a)及び
図8(b)から同じオブジェクトOBJ(例えば、形状、大きさが略同じオブジェクト)が存在する場合、該オブジェクトOBJに基づいて
図8(a)及び
図8(b)に例示するような異なる対象エリアで取得されたテクスチャメッシュデータを統合して
図8(c)に例示するように一つのデータとしてしてもよい。
【0050】
(情報処理)
図9から
図11は、情報処理システム1の情報処理の一例を示すフローチャートである。以下、
図9から
図11を参照して、情報処理システム1の情報処理について説明する。なお、
図1から
図8を参照して説明した構成と同一の構成には同一の符号を付して重複する説明を省略する。なお、既に述べたように、サーバ2が、入力装置(例えば、マウス、キーボード、タッチパネルなど)や表示装置(CRT(Cathode Ray Tube)、液晶ディスプレイ、有機ELディスプレイなど)を備え、サーバ2の入力装置から情報を入力可能に構成してもよい。
【0051】
(登録処理)
図9は、情報処理システム1の登録処理の一例を示すフローチャートである。以下、
図9を参照して、情報処理システム1の登録処理の一例について説明する。
【0052】
(ステップS101)
ユーザは、ユーザ端末3の入力装置300Cを操作して、案件ID、案件担当者のユーザID、該案件のタスクの詳細(種別、工種などの作業内容細)、タスク担当者(作業担当者)のユーザID、タスク(作業)のステータスの情報など作業の詳細を示す情報を入力する。入力された情報は、ユーザ端末3の入力受付部304で受け付けられる。送信部302は、入力受付部304で受け付けられた情報をユーザ端末3の端末の識別子とともにサーバ2へ送信する。サーバ2の受信部201は、ユーザ端末3から送信された情報を受信する。
【0053】
(ステップS102)
ユーザは、ユーザ端末3の入力装置300Cを操作して、対象エリアのテクスチャメッシュデータ及び現在位置を取得する。ユーザは、ユーザ端末3の入力装置300Cを操作して、ユーザID、案件ID、取得した対象エリアのテクスチャメッシュデータ及び現在位置などの情報をユーザ端末3の端末の識別子とともにサーバ2へ送信する。サーバ2の受信部201は、ユーザ端末3から送信された情報を受信する。
【0054】
(ステップS103)
サーバ2の受信部201は、ユーザ端末3から送信されたユーザID、案件ID、取得した対象エリアのテクスチャメッシュデータ及び位置データなどの情報を受信する。認識部204は、受信したテクスチャメッシュデータを学習モデルに入力することでテクスチャメッシュデータからオブジェクトを認識する。
【0055】
(ステップS104)
サーバ2の認識部204は、オブジェクトに関する情報を認識する。なお、オブジェクトに関する情報の認識については重複する説明を省略する。
【0056】
(ステップS105)
記憶装置制御部203は、受信部201が受信した、案件ID、案件担当者のユーザID、該案件のタスクの詳細(種別、工種などの作業内容細)、タスク担当者(作業担当者)のユーザID、タスク(作業)のステータスの情報など作業の詳細を示す情報、テクスチャメッシュデータ及び位置データ、認識部204が認識したテクスチャメッシュデータから認識されたオブジェクト及び該オブジェクトに関する情報などをテクスチャメッシュデータIDに対応付けて記憶装置200Bに記憶させる。
【0057】
(統合処理)
図10は、情報処理システム1の統合処理の一例を示すフローチャートである。以下、
図10を参照して、情報処理システム1の統合処理の一例について説明する。
【0058】
(ステップS201)
ユーザは、ユーザ端末3の入力装置300Cを操作して、統合したい2以上の案件(対象エリア)を指定する。入力された情報は、ユーザ端末3の入力受付部304で受け付けられる。送信部302は、入力受付部304で受け付けられた情報をユーザ端末3の端末の識別子とともにサーバ2へ送信する。サーバ2の受信部201は、ユーザ端末3から送信された情報を受信する。
【0059】
(ステップS202)
ユーザは、ユーザ端末3の入力装置300Cを操作して、統合したい2以上の案件のそれぞれについて2点以上の位置(所定位置)を指定する。送信部302は、入力受付部304で受け付けられた情報をユーザ端末3の端末の識別子とともにサーバ2へ送信する。サーバ2の受信部201は、ユーザ端末3から送信された情報を受信する。なお、2点以上の位置(所定位置)は、各テクスチャメッシュデータにおいて同じ位置を指定する。これにより、指定した位置を基準としてテクスチャメッシュデータを統合することができる。
【0060】
(ステップS203)
サーバ2の統合部205は、受信部201が受信した統合したい2以上の案件(対象エリア)を、統合したい2以上の案件のそれぞれについて指定された2点以上の位置(所定位置)が重なるように2以上の案件(対象エリア)を統合する。
【0061】
(ステップS204)
記憶装置制御部203は、統合部205が統合したデータを記憶装置200Bに記憶させる。
【0062】
なお、サーバ2の統合部205は、受信部201が受信し、記憶装置200Bに記憶された2以上のテクスチャメッシュデータを統合するが、例えば、認識部204が認識した対象エリアに存在するオブジェクトのうち少なくとも2以上の対象エリアにまたがって存在するオブジェクトの位置データに基づいて2以上の対象エリアのテクスチャメッシュデータを統合するようにしてもよい。具体的には、統合部205は、2以上の対象エリアにまたがって存在するオブジェクトが重なるように2以上の対象エリアのテクスチャメッシュデータを統合するようにしてもよい。なお、2以上の対象エリアにまたがって存在するオブジェクトはユーザが指定してもよい。
【0063】
(指標付与処理)
図11は、情報処理システム1の指標付与処理の一例を示すフローチャートである。以下、
図11を参照して、情報処理システム1の指標付与処理の一例について説明する。
【0064】
(ステップS301)
ユーザは、ユーザ端末3の入力装置300Cを操作して、例えば、報告を必要とする所定のオブジェクトや所定の領域(例えば、境界杭、継手(ソケットやパイプなど)位置、既設の切断箇所の始点終点、新設の始点終点、その他の埋設物など )(例えば、など )と、該所定の種類のオブジェクトや所定の領域の報告内容とを設定する。入力装置300Cを操作して入力された設定情報は、入力受付部304で受け付けられ、送信部302からネットワーク4を介してサーバ2へ送信される。ユーザ端末3から送信された設定情報は、サーバ2の受信部201で受信され、記憶装置制御部203によりテクスチャメッシュデータIDに対応付けて記憶装置200Bに記憶される。
【0065】
(ステップS302)
サーバ2の指標付与部206は、認識部204が認識したテクスチャメッシュデータのオブジェクト及びオブジェクトの識別情報に基づいて、ユーザが設定した所定のオブジェクトや所定の領域に報告情報(該所定のオブジェクトや所定の領域の報告内容)を付与する。
【0066】
(ステップS303)
サーバ2の記憶装置制御部203は、指標付与部206が付与した報告情報をテクスチャメッシュデータIDに対応付けて記憶装置200Bに記憶する。これにより、テクスチャメッシュデータをユーザ端末3の表示装置300Dに表示した際に、報告が必要なオブジェクトや領域及び報告内容を表示させてユーザに認識させることが可能となる。
例えば、報告が必要なオブジェクトや領域にアイコン(例えば、ピン(留め針)のアイコン)をオーバーレイなどにより表示装置300Dに表示させ、ポインタをアイコン上又はアイコン近傍に移動させると、該アイコンに対応した報告が必要なオブジェクトや領域に必要な報告内容が表示装置300Dに表示されるように構成してもよい。
【0067】
以上のように、実施形態に係るサーバ2(情報処理装置)は、2以上の対象エリアのデータを統合する情報処理装置であって、2以上の対象エリアのテクスチャメッシュデータを受信する受信部201と、受信部201が受信したテクスチャメッシュデータを統合する統合部205と、を備える。そして、統合部205は、テクスチャメッシュデータの所定位置を示す位置データに基づいて、2以上の対象エリアのテクスチャメッシュデータを統合する。
このように、個々の案件で取得したテクスチャメッシュデータを統合することができるため利便性が高い。
【0068】
また、実施形態に係るサーバ2(情報処理装置)は、テクスチャメッシュデータを解析して対象エリアに存在するオブジェクトを認識する認識部204と、認識部204が認識したオブジェクトの少なくとも1以上に対して指標を付与する指標付与部206と、を備える。
このように、認識部204が認識したオブジェクトの少なくとも1以上に対して指標を付与するので、例えば、指標として、境界杭、継手(ソケットやパイプなど)位置、既設の切断箇所の始点終点、新設の始点終点、その他の埋設物などを設定することで、指標を基に自動的に位置を合わせてくれるためデータ統合の利便性が向上する。
【0069】
また、実施形態に係るサーバ2(情報処理装置)の受信部201は、2以上の対象エリアのテクスチャメッシュデータについて、対象エリアごとにテクスチャメッシュデータの所定位置を示す位置データを受信し、統合部205は、受信部201が受信した対象エリアごとのテクスチャメッシュデータの所定位置を示す位置データに基づいて、2以上の対象エリアのテクスチャメッシュデータを統合する。
このように所定位置を指定するだけで該所定位置を示す位置データに基づいてテクスチャメッシュデータが統合されるので利便性が高い。
【0070】
また、実施形態に係るサーバ2(情報処理装置)の統合部205は、認識部204が認識した対象エリアに存在するオブジェクトのうち少なくとも2以上の対象エリアにまたがって存在するオブジェクトの位置データに基づいて、2以上の対象エリアのテクスチャメッシュデータを統合する(2以上の対象エリアにまたがって存在するオブジェクトは統合部205が認識してもよいし、ユーザが指定してもよい)。
このようにオブジェクトの位置データに基づいて自動的にテクスチャメッシュデータが統合されるので利便性が高い。
【0071】
また、実施形態に係るサーバ2(情報処理装置)の認識部204は、オブジェクトに関する情報を認識し、サーバ2は、認識部204が認識したオブジェクトに関する情報をオブジェクト又はオブジェクトに対応するテクスチャメッシュデータに関連付けて記憶させる記憶装置制御部203を備える。
このように、認識部204が認識したオブジェクトに関する情報をオブジェクト又はオブジェクトに対応するテクスチャメッシュデータに関連付けて記憶させるので報告書等に転記できるなど利便性が高い。
【0072】
なお、上記実施形態では、認識部204がオブジェクトに関する情報を認識しているが、例えば、ユーザがユーザ端末3の入力装置300Cを操作してオブジェクトに関する情報を入力し、サーバ2の受信部201がオブジェクトに関する情報を受信する構成としてもよい。サーバ2の記憶装置制御部203は、受信部201が受信したオブジェクトに関する情報をオブジェクト又はオブジェクトに対応するテクスチャメッシュデータに関連付けて記憶装置200Bに記憶させる。
【0073】
[実施形態の変形例]
なお、サーバ2が備える認識部204、統合部205、指標付与部206などの機能をユーザ端末3に備えるようにし、ユーザ端末3で
図9から
図11を参照して説明した情報処理を行えるように構成してもよい。この場合、ユーザ端末3が情報処理装置となる。
【0074】
また、上記実施形態では、テクスチャメッシュデータの座標データは、自己位置(ユーザ端末3)を元に生成された3次元の絶対座標そしてテクスチャデータについてはマッピングのためのUV座標で表現されているが、ユーザ端末3のユーザ端末3のGPSセンサ300F(加速度センサ、量子センサなどでもよい)で取得される現在位置に基いて絶対座標を地理座標系等(GeographicCoordinate,ITRS,WGS84,ETRS89などの座標系も含める)に変換してもよい。テクスチャメッシュデータの基準点にたいして、GNSSセンサを基に地理座標をテクスチャメッシュデータまたはテクスチャメッシュデータ上の基準点を定義することで、絶対座標から地理座標への変換は可能である。この場合、座標が地理座標で表現されるため複数のテクスチャメッシュデータを統合する際に所定の位置を指定する必要がないという利点が生じる。
【0075】
なお、上記実施形態及び実施形態の変形例では、深度データと同時に取得した複数写真(画像)を基に合成されたメッシュデータとそれに付加されたテクスチャデータとで構成されるテクスチャメッシュデータに基づいて2以上の対象エリアのデータを統合しているが、2以上の対象エリアの点群データ又は点群データから生成されるメッシュデータに基づいて2以上の対象エリアのデータを統合してもよい。また点群データの基となる深度データに基づいて2以上の対象エリアのデータを統合してもよい。テクスチャデータを画像データとして画像解析を行うことで、統合する際に必要な基準点を自動的に判定する機能とすることができる。
なお、点群データ又は点群データから生成されるメッシュデータに基づいて2以上の対象エリアのデータを統合する場合、点群データ又は点群データから生成されるメッシュデータに含まれるオブジェクトと、該オブジェクトの種別(例えば、配管、電線など)とを教師データとして学習した学習モデルを利用する。なお、点群データ又は点群データから生成されるメッシュデータに含まれるオブジェクトと、該オブジェクトの種別(例えば、配管、電線など)とを教師データとして学習した学習モデルとしてもよいのはもちろんである。
また点群データの基となる深度データに基づいて2以上の対象エリアのデータを統合する場合、深度データに含まれるオブジェクトと、該オブジェクトの種別(例えば、配管、電線など)とを教師データとして学習した学習モデルを利用する。なお、深度データに含まれるオブジェクトと、該オブジェクトの種別(例えば、配管、電線など)とを教師データとして学習した学習モデルとしてもよいのはもちろんである。
【0076】
また、サーバ2が備える機能の一部又は全部をユーザ端末3に備えるようにしてもよい。例えば、認識部204及び/又は統合部205などをユーザ端末3に備えるようにしてもよい。
また、ユーザ端末3が備える機能の一部又は全部をサーバ2に備えるようにしてもよい。例えば、データ生成部308などをサーバ2に備えるようにしてもよい。
【0077】
その他、上記実施形態及び変形例は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0078】
1 :情報処理システム
2 :サーバ
3 :ユーザ端末
4 :ネットワーク
200A :通信IF
200B :記憶装置
200C :CPU
201 :受信部
202 :送信部
203 :記憶装置制御部
204 :認識部
205 :統合部
206 :指標付与部
300A :通信IF
300B :記憶装置
300C :入力装置
300D :表示装置
300E :CPU
300F :GPSセンサ
300G :撮像装置
300H :受光装置
301 :受信部
302 :送信部
303 :記憶装置制御部
304 :入力受付部
305 :表示装置制御部
306 :撮像装置制御部
307 :発行・受光装置制御部
308 :データ生成部