特許 7622790 情報処理装置、監視システム、データ生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】情報処理装置、監視システム、データ生成方法、及びプログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20250121BHJP

   G08B 21/18 20060101ALI20250121BHJP

   G06F 3/04815 20220101ALI20250121BHJP

   G06F 3/14 20060101ALI20250121BHJP

   H04M 11/00 20060101ALI20250121BHJP

【ＦＩ】

G08B25/00 510M

G08B21/18

G06F3/04815

G06F3/14 320C

H04M11/00 301

【請求項の数】 9

(21)【出願番号】P 2023171386

(22)【出願日】2023-10-02

【審査請求日】2023-10-02

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】鈴木 茂央

(72)【発明者】

【氏名】辻 聡

(72)【発明者】

【氏名】重田 考徳

(72)【発明者】

【氏名】國井 裕介

【審査官】瀬戸 康平

(56)【参考文献】

【文献】特開２０１７－０４４９２３（ＪＰ，Ａ）

【文献】特開平０５－０２０５７６（ＪＰ，Ａ）

【文献】特開２００３－０４４１２３（ＪＰ，Ａ）

【文献】特開２００９－２８２８４２（ＪＰ，Ａ）

【文献】特開平０８－１３８１７２（ＪＰ，Ａ）

【文献】特開２０１２－１６８７９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１４

Ｇ０８Ｂ １３／００，１９／００－３１／００

Ｈ０４Ｍ １１／００

(57)【特許請求の範囲】

【請求項1】

監視対象設備を含む３次元データを生成する生成部と、
前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得するデータ取得部と、
前記３次元データを生成する測定装置と少なくとも１つの前記センサとの距離に基づいて、前記３次元データに含まれる前記監視対象設備の異常個所を特定する特定部と、
複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する表示制御部と、を備える情報処理装置。

【請求項2】

前記異常データは、前記監視対象設備に発生した異常個所を示す異常個所データ及び前記監視対象設備に発生した異常に関連する付加データを含む、請求項１に記載の情報処理装置。

【請求項3】

前記付加データは、前記監視対象設備に発生した異常の原因を示す、請求項２に記載の情報処理装置。

【請求項4】

前記付加データは、前記異常個所を強調して表示する、請求項２に記載の情報処理装置。

【請求項5】

前記監視対象設備に関する情報は、前記監視対象設備の設置場所を示す、請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記監視対象設備に関する情報は、前記監視対象設備が利用する侵入検知サービスに関する情報である、請求項１から４のいずれか１項に記載の情報処理装置。

【請求項7】

監視対象設備を監視する少なくとも１つのセンサと、
監視対象設備を含む３次元データを生成する生成装置と、
少なくとも１つの前記センサにおいて検出されたセンサデータを取得するデータ取得部と、前記３次元データを生成する測定装置と少なくとも１つの前記センサとの距離に基づいて、前記３次元データに含まれる前記監視対象設備の異常個所を特定する特定部と、複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する表示制御部と、を有する情報処理装置と、
前記表示データを表示する表示装置と、を備える監視システム。

【請求項8】

監視対象設備を含む３次元データを生成し、
前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得し、
前記３次元データを生成する測定装置と少なくとも１つの前記センサとの距離に基づいて、前記３次元データに含まれる前記監視対象設備の異常個所を特定し、
複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する、データ生成方法。

【請求項9】

監視対象設備を含む３次元データを生成し、
前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得し、
前記３次元データを生成する測定装置と少なくとも１つの前記センサとの距離に基づいて、前記３次元データに含まれる前記監視対象設備の異常個所を特定し、
複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する、ことをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、監視システム、データ生成方法、及びプログラムに関する。

【背景技術】

【0002】

変電所に設置されている設備を点検する際に、LiDAR（Light Detection And Ranging）等のセンサを用いて撮影された画像を用いて設備の点検を行うことがある。設備の点検を行う者は、それぞれの設備の立体形状を確認して、設備の正常性を判定する。

【0003】

特許文献１には、点検現場から遠隔にある監視場所において、点検員が点検現場の機器を点検可能にする点検支援システムが開示されている。点検支援システムは、点検現場に配置されたセンサ、周囲の音を収集するマイクを備える無人移動体を含む。点検員は、センサ及び無人移動体を用いて収集された情報が表示された画像を視認することによって、点検現場を遠隔監視する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１４９３４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示された点検支援システムは、点検対象機器の３次元画像と、無人移動体が収集した音の音源、臭いの種類等をデバイスに表示する。ここで、変電所等の設備を遠隔監視する際に、監視者が監視業務を効率的に実行するために、表示デバイス等に、より有用な情報を表示させることが求められている。

【0006】

本開示の目的は、上述した課題に鑑み、監視業務を行うために有用な情報を表示することを可能とする情報処理装置、監視システム、データ生成方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本開示の第１の態様にかかる情報処理装置は、監視対象設備を含む３次元データを生成する生成部と、前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得するデータ取得部と、複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する表示制御部と、を備える。

【0008】

本開示の第２の態様にかかる監視システムは、監視対象設備を監視する少なくとも１つのセンサと、監視対象設備を含む３次元データを生成する生成装置と、少なくとも１つの前記センサにおいて検出されたセンサデータを取得するデータ取得部と、複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する表示制御部と、を有する情報処理装置と、前記表示データを表示する表示装置と、を備える。

【0009】

本開示の第３の態様にかかるデータ生成方法は、監視対象設備を含む３次元データを生成し、前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得し、複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する。

【0010】

本開示の第４の態様にかかるプログラムは、監視対象設備を含む３次元データを生成し、前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得し、複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する、ことをコンピュータに実行させる。

【発明の効果】

【0011】

本開示により、監視業務を行うために有用な情報を表示することを可能とする情報処理装置、監視システム、データ生成方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】本開示にかかる情報処理装置の構成図である。

【図2】本開示にかかるデータ生成処理の流れを示す図である。

【図3】本開示にかかる情報処理装置の構成図である。

【図4】本開示にかかる３次元データを示す図である。

【図5】本開示にかかる３次元データを示す図である。

【図6】本開示にかかる３次元データを示す図である。

【図7】本開示にかかるデータ表示処理の流れを示す図である。

【図8】本開示にかかる情報処理装置の構成図である。

【図9】本開示にかかる監視システムの構成図である。

【図10】本開示にかかる付加データの生成処理の流れを示す図である。

【図11】本開示にかかる監視システムの構成図である。

【図12】本開示にかかる情報処理装置の構成図である。

【発明を実施するための形態】

【0013】

（実施の形態１）
以下、情報処理装置１０の構成例を図１を用いて説明する。情報処理装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。

【0014】

情報処理装置１０は、生成部１１、データ取得部１２、及び表示制御部１３を有している。生成部１１、データ取得部１２、及び表示制御部１３は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、生成部１１、データ取得部１２、及び表示制御部１３は、回路もしくはチップ等のハードウェアであってもよい。

【0015】

生成部１１は、監視対象設備を含む３次元データを生成する。監視対象設備は、定期的にもしくは任意のタイミングに監視することを必要とする設備であってもよい。監視対象設備は、例えば、建物、道路、装置、部品等であってもよい。具体的には、監視対象設備は、変電所、発電所等に配置された設備であってもよい。

【0016】

３次元データは、例えば、所定の３次元空間内における監視対象設備の３次元位置を示すデータであってもよい。３次元データは、センサ等を用いて測定されたデータに基づいて生成されてもよい。もしくは、３次元データは、図面等の２次元データから、３次元データを生成するソフトウェアを用いて生成されてもよい。３次元データは、例えば、点群データであってもよい。または、３次元データは、点群データを用いて生成されるメッシュデータ、ポリゴンデータ、等であってもよい。または、３次元データは、深度マップ（デプスマップ）を用いて表されるデータであってもよい。

【0017】

データ取得部１２は、監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得する。少なくとも１つのセンサは、情報処理装置１０に内蔵されてもよい。もしくは、少なくとも１つのセンサは、情報処理装置１０に外付けされてもよい。もしくは、少なくとも１つのセンサは、情報処理装置１０とは異なる位置に設置され、情報処理装置１０とネットワークを介して通信してもよい。

【0018】

監視対象設備を監視するセンサは、カメラ、LiDAR（Light Detection And Ranging）装置、温度センサ、湿度センサ、振動センサ、加速度センサ、マイク、臭気センサ、GPS（Global Positioning System）センサ、等であってもよい。温度センサは、例えば、サーモグラフィであってもよい。また、監視対象設備を監視するセンサは、これらに限定されず、様々なデータを検出する装置が用いられてもよい。

【0019】

カメラ、LiDAR装置は、例えば、視覚によって異常が発生しているか否かを判定することが可能なセンサデータを生成する。温度センサ、湿度センサ、振動センサ、加速度センサは、触覚によって異常が発生しているか否かを判定することが可能なセンサデータを生成する。マイクは、聴覚によって異常が発生しているか否かを判定することが可能なセンサデータを生成する。臭気センサは、嗅覚によって異常が発生しているか否かを判定することが可能なセンサデータを生成する。GPSセンサは、異常が発生しているか否かを判定するための補助的なデータを生成する装置として用いられてもよい。

【0020】

表示制御部１３は、複数種類のセンサデータを組み合わせた異常データを３次元データ上に表示する表示データを生成する。異常データは、監視対象設備に発生した異常状態を示すデータである。または、表示制御部１３は、少なくとも１つのセンサデータ及び監視対象設備に関する情報を組み合わせた異常データを３次元データ上に表示する表示データを生成する。

【0021】

異常データを３次元データ上に表示するとは、３次元データに異常データを組み合わせることであってもよい。または、異常データを３次元データ上に表示するとは、異常データと３次元データを同時に表示することであってもよい。

【0022】

複数種類のセンサデータは、生成するデータの種類が異なる２以上のセンサにおいて生成されたセンサデータであってもよい。データの種類は、例えば、視覚、触覚、聴覚、嗅覚のそれぞれによって異常が発生しているか否かを判定することが可能なセンサデータであってもよい。

【0023】

監視対象設備に関する情報は、例えば、監視対象設備の位置、監視対象設備の大きさ、監視対象設備の重さ、監視対象設備を構成する材料、監視対象設備の機能、監視対象設備内を流れる物質、監視対象設備が提供もしくは利用するサービス、等であってもよい。

【0024】

監視対象設備の監視者は、表示装置等に表示される表示データを確認することによって、監視対象装置に異常が発生しているか否かを判定することができる。

【0025】

続いて、情報処理装置において実行されるデータ生成方法の処理の流れを図２を用いて説明する。はじめに、生成部１１は、監視対象設備を含む３次元データを生成する（Ｓ１１）。次に、データ取得部１２は、監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得する（Ｓ１２）。次に、表示制御部１３は、複数種類のセンサデータを組み合わせた、監視対象設備に発生した異常状態を示す異常データ、を３次元データ上に表示する表示データを生成する（Ｓ１３）。または、表示制御部１３は、少なくとも１つのセンサデータ及び監視対象設備に関する情報を組み合わせた、監視対象設備に発生した異常状態を示す異常データ、を３次元データ上に表示する表示データを生成する（Ｓ１３）。

【0026】

以上説明したように、情報処理装置１０は、複数種類のセンサデータを組み合わせた、もしくは、少なくとも１つのセンサデータ及び監視対象設備に関する情報を組み合わせた、監視対象設備に発生した異常状態を示す異常データ、を生成する。さらに、情報処理装置１０は、異常データを３次元データ上に表示する表示データを生成する。

【0027】

異常データは、複数種類のセンサデータが組み合わされていることから、単一のセンサデータが示す情報からは得ることができない有用な情報を示す。また、異常データは、少なくとも１つのセンサデータ及び監視対象設備に関する情報が組み合わされていることから、単一のセンサデータが示す情報からは得ることができない有用な情報を示す。有用な情報とは、例えば、異常の発生要因、異常の深刻度、等であってもよい。監視者は、監視対象設備を示す３次元データと、異常データとを組み合わせた表示データを監視することによって、異常の発生要因の特定、異常発生時の処置の特定等を効率的に行うことができる。

【0028】

（実施の形態２）
続いて、情報処理装置２０の構成例を図３を用いて説明する。情報処理装置２０は、図１の情報処理装置１０に異常判定部２１、異常個所特定部２２、及び表示部２３が追加された構成である。情報処理装置２０において、情報処理装置１０と同様の構成要素については、詳細な説明を省略する。情報処理装置２０を構成する構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、情報処理装置２０を構成する構成要素は、回路もしくはチップ等のハードウェアであってもよい。

【0029】

生成部１１は、監視対象設備を含む３次元データとして、点群データを生成する。図４は、点群データの一例を示している。図４は、変電所内の設備を点群データを用いて示している。図４は、設備の形状を容易に示すために、簡略化して示されているが、実際には、設備の形状は、点の集合として示される。具体的には、設備の境界線上及び設備の表面に点が分布している。設備の境界線とは、設備と背景との境界、もしくは、設備と他の設備との境界を示す線であってもよい。点群データは、例えば、LiDAR装置を用いて生成される。LiDAR装置は、レーザースキャナーと称されてもよい。生成部１１として、LiDAR装置が用いられてもよい。もしくは、生成部１１は、LiDAR装置において生成された点群データをネットワーク等を介してLiDAR装置から取得してもよい。

【0030】

LiDAR装置は、例えば、ToF（Time of Flight）方式を用いて、物体までの距離を測定し、物体の形状を示す点を生成する。物体の形状を示す点の集合が点群データとなる。物体の形状を示す点は、所定の空間における３次元座標を用いて特定されてもよい。

【0031】

データ取得部１２は、複数種類のセンサのそれぞれからセンサデータを取得する。また、データ取得部１２は、生成部１１から、監視対象設備を含む点群データを取得してもよい。センサは、監視対象設備の周辺に配置されてもよく、監視対象設備に取り付けられてもよい。

【0032】

例えば、LiDAR装置は、監視対象設備の点群データを取得可能な位置に設置されてもよい。言い換えると、LiDAR装置は、監視対象設備を撮影可能な位置に設置されてもよい。温度センサとして用いられるサーモグラフィは、監視対象設備の表面の温度を測定可能な位置に設置されてもよい。振動センサは、監視対象設備の表面に取り付けられ、振動の発生を検出してもよい。マイクは、監視対象設備が発する音を収集可能な位置に設置されてもよい。臭気センサは、監視対象設備が発する臭いを検知可能な位置に設置されてもよい。それぞれのセンサは、一つのみ設置されてもよく、複数設置されてもよい。

【0033】

異常判定部２１は、データ取得部１２が取得したセンサデータを用いて、監視対象設備に異常が発生しているか否かを判定する。例えば、異常判定部２１は、LiDAR装置を用いて生成された点群データを、学習モデルへ入力し、異常があるか否かの判定結果を受け取ってもよい。学習モデルは、正常な状態の監視対象設備の点群データもしくは異常が発生した状態の監視対象設備の点群データを予め機械学習にて学習しているとする。学習モデルは、点群データを入力とし、点群データが示す形状に異常が発生しているか否かを示す判定結果を出力してもよい。さらに、学習モデルは、異常が発生している場合に、異常が発生している箇所を示すデータを出力してもよい。

【0034】

異常判定部２１は、予め定められた温度よりも高い温度を示す箇所に異常が発生したと判定してもよい。もしくは、異常判定部２１は、予め定められた温度よりも低い温度を示す箇所に異常が発生したと判定してもよい。異常判定部２１は、温度センサが設置された場所から、異常が発生した箇所までの距離及び方向を特定する。

【0035】

異常判定部２１は、監視対象設備の表面に取り付けられた振動センサが、振動の発生を検出した場合に、振動センサが取り付けられた箇所に異常が発生したと判定してもよい。もしくは、異常判定部２１は、カメラを用いて撮影された構造物の映像から、表面の微細な動きをとらえる光学振動解析技術を用いて振動の発生を検出してもよい。異常判定部２１は、振動が発生した箇所に異常が発生したと判定してもよい。異常判定部２１は、例えば、カメラが設置された場所から、異常が発生した箇所までの距離及び方向を特定する。

【0036】

異常判定部２１は、監視対象設備の周辺の２ヶ所以上に設置されたマイクが収集した音波の到達時間差を用いて、音源を特定してもよい。もしくは、異常判定部２１は、それぞれのマイクが検出した音波の和をとることによって、音響ビームを形成してもよい。異常判定部２１は、音響ビームの嗜好性パターンを用いて、音源を特定してもよい。異常判定部２１は、所定のレベル以上、もしくは、所定のｄＢ（デシベル）以上の音量を検出した場合、特定した音源の箇所に異常が発生したと判定してもよい。異常判定部２１は、いずれかのマイクが設置された場所もしくは複数のマイクを頂点とする図形の中心位置等、マイクの位置に基づいて定められる位置から、異常が発生した箇所までの距離及び方向を特定する。

【0037】

異常判定部２１は、監視対象設備において、異常が発生した際に臭いが発生する位置を予め特定していてもよい。例えば、監視者が、異常が発生した際に臭いが発生する位置に関する情報を異常判定部２１へ入力してもよい。異常が発生した際に臭いが発生する位置に関する情報は、例えば、図４の点群データ内の位置であってもよい。異常判定部２１は、センサデータが示す臭いの値が、予め定められた値を超える場合に、異常が発生した際に臭いが発生する位置として予め特定された位置に異常が発生したと判定してもよい。

【0038】

異常個所特定部２２は、監視対象設備に発生した異常個所を示す異常個所データを生成する。具体的には、異常個所特定部２２は、図４に示される点群データのどの位置に異常が発生しているかを特定する。より具体的には、異常個所特定部２２は、異常判定部２１において異常が発生したと判定された位置が、図４に示される点群データのどの位置に対応するかを特定する。

【0039】

異常個所特定部２２は、図４に示される点群データの生成に用いられるLiDAR装置とそれぞれのセンサとの間の距離を予め特定する。さらに、異常個所特定部２２は、LiDAR装置を基準として、それぞれのセンサが設置された方向もしくは方角を予め特定する。つまり、異常個所特定部２２は、LiDAR装置を基準とする、それぞれのセンサが設置された位置を予め特定する。LiDAR装置を基準とする位置とは、LiDAR装置の位置を原点として定まる座標上の位置であってもよい。

【0040】

例えば、異常個所特定部２２は、異常判定部２１において特定された、異常が発生した箇所までの距離及び方向が、LiDAR装置の位置を基準とする点群データのどの位置に該当するかを特定する。言い換えると、異常個所特定部２２は、LiDAR装置の位置を起点として、異常判定部２１において特定された、異常が発生した箇所までの距離及び方向を適用する。異常個所特定部２２は、LiDAR装置の位置を起点として、異常が発生した箇所までの距離及び方向が示す位置が点群データのどの位置に該当するかを特定する。

【0041】

さらに、異常個所特定部２２は、特定した点群データの位置を、LiDAR装置と、各センサとの位置関係に応じて補正する。例えば、異常個所特定部２２は、センサの位置が、LiDAR装置から右側に距離A（Aは正の数、単位は、メートル、センチメートル、ミリメートル等）だけ離れている場合、特定した点群データの位置から右側に距離Aだけ離れた位置を、異常が発生した箇所として特定する。

【0042】

異常個所特定部２２は、LiDAR装置を用いて生成された点群データの形状に基づいて検出された異常個所については、補正を行う必要はない。また、異常個所特定部２２は、臭気センサを用いて異常が発生された位置として特定された位置についてはは、補正を行う必要はない。

【0043】

図５は、異常個所特定部２２によって異常個所として特定された位置を、曲線形状の点線を用いて示している。図５は、生成部１１によって生成された点群データに、異常個所特定部２２によって異常個所として特定された位置を重ねて示している。異常個所として特定された位置は、図５に示されるように、曲線形状の点線を用いて示されてもよく、実線を用いて示されてもよく、曲線形状以外の形状を用いて示されてもよい。また、異常個所として特定された位置は、異常の発生を判定するために用いられたセンサデータ毎に異なる形状、異なる色、異なる模様、異なる線の種類、等を用いて示されてもよい。

【0044】

図３に戻り、表示制御部１３は、表示部２３に表示する表示データを生成する。表示部２３は、例えば、ディスプレイ等の表示装置であってもよい。表示データは、点群データに、監視対象設備に発生した異常状態を示す異常データが対応付けられたデータである。異常データは、異常発生個所を示す異常個所データと、監視対象設備に発生した異常に関連する付加データを含む。

【0045】

付加データは、例えば、監視対象設備に発生した異常の原因を示すデータであってもよい。または、付加データは、異常個所を強調して表示するデータであってもよい。または、付加データは、監視対象設備に発生した異常の原因を示すデータ及び異常個所を強調して表示するデータの両方を含んでもよい。

【0046】

表示制御部１３は、異常個所特定部２２において特定された図５に示されるデータに基づいて、表示部２３に表示する表示データを生成してもよい。例えば、表示制御部１３は、所定の範囲内に２以上の異常個所データが存在する場合、または、２以上の異常個所データが示す範囲が重複する場合、２以上の異常個所データを点滅させる等、異常個所を強調して表示させてもよい。所定の範囲内に２以上の異常個所データが存在する場合等は、異常の深刻度が大きいとみなされてもよい。強調して表示する例は、点滅表示以外にも、他の異常個所データとは異なる色を用いる、特定の模様を用いる、２以上の異常個所データが示す範囲を、点線もしくは実線を用いて囲む、等であってもよい。また、表示制御部１３は、図６に示されるように、異常個所の異常の原因を表示してもよい。

【0047】

また、異常判定部２１は、カメラによって撮影された画像データからは異常個所が存在すると判定した場合であっても、センサデータからはカメラの撮影箇所と同じ個所に関する点群データにおいては異常個所が存在しないと判定する場合がある。このような場合、表示制御部１３は、点群データを用いた判定を優先し、異常個所が存在しないと判定してもよい。また、表示制御部１３は、点群データを用いた判定結果と、それぞれのセンサデータを用いた判定結果との優先順位を予め定めて置き、優先順位に基づいて異常判定を行ってもよい。優先順位に基づいて異常判定を行うとは、優先順位の高いセンサデータに基づいた判定結果を優先的に採用することであってもよい。

【0048】

表示制御部１３は、監視対象設備に関する情報及び異常判定部２１における判定結果に基づいて、付加データを生成してもよい。例えば、表示制御部１３は、監視対象設備に関する情報として、監視対象設備にガスもしくは油が含まれる、もしくは監視対象設備内をガスもしくは油が流れていることを示す情報を保持しているとする。このような状態において、異常判定部２１が、LiDAR装置において生成されたセンサデータ及び臭気センサにおいて生成されたセンサデータに基づいて異常を検出した場合、表示制御部１３は、異常の原因がガス漏れもしくは漏油であると判定する。表示制御部１３は、異常の現認がガス漏れもしくは漏油であることを示す付加データを生成する。

【0049】

また、表示制御部１３は、監視対象設備に関する情報として、監視対象設備が海の近くに存在することを示す情報を保持しているとする。海の近くとは、監視対象設備から海までの距離が、予め定められた距離より近いことであってもよい。このような状態において、異常判定部２１が、LiDAR装置において生成されたセンサデータに基づいて異常を検出した場合、表示制御部１３は、異常の原因が塩害であると判定し、異常要因が塩害であることを示す付加データを生成する。

【0050】

表示制御部１３は、これらの例に限定されず、監視対象設備に関する情報及び異常判定部２１における判定結果を組み合わせた場合の異常の原因を予め定めていてもよい。また、表示制御部１３は、所定の範囲内に２以上の異常個所データが存在する場合に想定される異常の原因を予め定めていてもよい。

【0051】

続いて、情報処理装置２０におけるデータ表示方法を図７を用いて説明する。図７においては、生成部１１が、監視対象設備を含む点群データを予め生成しているとする。または、生成部１１が、監視対象設備を含む点群データを予め取得もしくは保持しているとする。

【0052】

はじめに、データ取得部１２は、監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得する（Ｓ２１）。データ取得部１２は、センサ毎に異なるタイミングにセンサデータを取得してもよく、全てのセンサから同じタイミングにセンサデータを取得してもよい。または、データ取得部１２は、全てのセンサのうち、いくつかのセンサからセンサデータを取得するタイミングを同一としてもよい。または、それぞれのセンサは、状態の変化を検出したタイミングにセンサデータをデータ取得部１２へ出力もしくは送信してもよい。状態の変化を検出するとは、音、臭い、振動、等を検出することであってもよい。または、状態の変化を検出するとは、所定の値を超える値を示すセンサデータを検出することであってもよい。または、状態の変化を検出するとは、最も新しいセンサデータが示す値と、これまでに生成されたセンサデータが示す値との差が、閾値よりも大きいことであってもよい。

【0053】

次に、異常判定部２１は、取得したセンサデータのうち、異常が発生したことを示すセンサデータが存在するか否かを判定する（Ｓ２２）。異常判定部２１が、異常が発生したことを示すセンサデータが存在しないと判定した場合、ステップＳ２１の処理が繰り返される。

【0054】

異常判定部２１は、異常が発生したことを示すセンサデータが存在すると判定した場合、異常個所を特定する（Ｓ２３）。異常が発生したことを示すセンサデータは、例えば、視覚、触覚、聴覚、嗅覚のそれぞれによって異常が発生しているか否かを判定することが可能なセンサデータであってもよい。異常判定部２１は、視覚、触覚、聴覚、及び嗅覚のうちの少なくとも１つによって異常が発生していることを示すセンサデータが含まれる場合、異常が発生したことを示すセンサデータが存在すると判定してもよい。さらに、異常判定部２１は、図５に示されるように、点群データ内における異常個所を特定する。

【0055】

次に、表示制御部１３は、異常個所データ及び付加データを含む表示データを生成する（Ｓ２４）。表示制御部１３は、監視対象設備を含む点群データに、異常個所データ及び付加データを重ねて示してもよい。点群データに重ねる付加データの位置は、例えば、異常個所データと重ならない位置であってもよく、予め定められた位置であってもよい。

【0056】

次に、表示制御部１３は、表示部２３に表示データを表示する（Ｓ２５）。情報処理装置２０を操作するユーザは、表示部２３に表示された表示データを視認することができる。

【0057】

以上説明したように、情報処理装置２０は、複数種類のセンサデータを組み合わせて、もしくは、少なくとも１つのセンサデータ及び監視対象設備に関する情報を組み合わせて、異常個所データ及び付加データを含む異常データを生成する。さらに、情報処理装置２０は、異常データを表示する。これにより、情報処理装置２０のユーザは、単一のセンサデータのみからでは得ることのできない付加データを確認することができる。その結果、情報処理装置２０のユーザは、監視対象設備の監視業務を効率的に行うことができる。

【0058】

また、図３は、情報処理装置２０が、生成部１１、データ取得部１２、異常判定部２１、異常個所特定部２２、表示制御部１３、及び表示部２３を有する構成を示しているが、情報処理装置は、このような構成に限定されない。

【0059】

例えば、情報処理装置は、図８に示される情報処理３０のように、データ取得部１２、異常判定部２１、異常個所特定部２２、及び表示制御部１３を有してもよい。また、生成部１１は、生成装置３１として、情報処理装置３０とは異なる装置として用いられてもよい。さらに、表示部２３は、表示装置３２として、情報処理装置３０とは異なる装置として用いられてもよい。生成装置３１及び表示装置３２は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。生成装置３１及び表示装置３２は、ネットワークを介して情報処理装置３０と接続されてもよく、ケーブル等を介して情報処理装置３０と接続されてもよい。または、生成装置３１及び表示装置３２は、無線通信回線を介して情報処理装置３０と接続されてもよい。

【0060】

また、情報処理装置３０は、図９に示されるように、生成装置３１、表示装置３２、及び監視対象設備を監視するセンサ３３と共に、監視システムを構成してもよい。また、監視システムは、情報処理装置２０及びセンサ３３を有してもよい。監視システムを構成するそれぞれの装置及びセンサは、ネットワークを介して接続されてもよい。

【0061】

（実施の形態３）
続いて、情報処理装置２０における付加データの生成処理の流れを図１０を用いて説明する。図１０のステップＳ３１及びＳ３２は、図７のステップＳ２１及びＳ２２と同様であるため詳細な説明を省略する。

【0062】

次に、表示制御部１３は、図７に示される異常個所特定部２２における異常個所の特定、が行われることなく付加データを生成する（Ｓ３３）。例えば、異常個所特定部２２は、異常が発生したことを示すセンサデータが存在する場合、監視対象設備のいずれかの箇所に異常が発生していると判定してもよい。言い換えると、異常個所特定部２２は、異常が発生したことを示すセンサデータが存在する場合、詳細な異常個所を特定することなく、監視対象設備に異常が発生したと判定してもよい。

【0063】

表示制御部１３は、付加データとして、複数種類のセンサデータもしくは少なくとも１つのセンサデータ及び監視対象設備に関する情報を用いて、監視対象設備に発生した異常の原因を示すデータを生成してもよい。次に、表示制御部１３は、表示部２３に付加データを表示する（Ｓ３４）。

【0064】

以上説明したように、図１０における付加データの生成処理においては、監視対象設備における詳細な異常個所の特定が行われることなく、表示制御部１３は、付加データを生成する。これにより、例えば、詳細な異常個所を特定する必要のない構造が簡易な設備等については、詳細な異常個所を特定する処理を行う場合と比較して、負荷が少ない処理によって、付加データが生成される。

【0065】

（実施の形態４）
続いて、図１１を用いて侵入検知システム４０を利用した異常データの生成処理について説明する。図１１は、侵入検知システム４０を含む監視システムを示している。監視システムは、情報処理装置２０の代わりに、情報処理装置３０が用いられてもよい。さらに、監視システムは、センサ３３を有してもよい。

【0066】

侵入検知システム４０は、例えば、監視対象設備を監視するために、監視対象設備の管理者等が利用するサービスを提供するシステムであってもよい。侵入検知システム４０は、例えば、監視対象設備に侵入する人を検知するサービスを提供する。監視対象設備に人が侵入することは、監視対象設備を含む所定の領域内に人が侵入することであってもよい。侵入検知システムは、例えば、温度センサ、赤外線センサ、カメラ等を用いて、人を検知してもよい。

【0067】

情報処理装置２０は、侵入検知システム４０とネットワークを介して接続されてもよい。情報処理装置２０は、侵入検知システム４０から人の侵入を通知するメッセージを受信した場合、表示部２３に人の侵入を示す警告メッセージ等を表示してもよい。

【0068】

ここで、侵入検知システム４０は、人間を検知することができるが、人間以外の動物もしくは生物を検知することができないとする。例えば、侵入検知システム４０が、人間の体温等、人間の特徴を検知して人間の侵入を検知する場合、人間以外の動物もしくは生物を検知することができない。

【0069】

表示制御部１３は、侵入検知システム４０から人間を検知したことを示す情報は通知されていないが、カメラ等を用いた視覚による異常が発生していると判定された場合に、人間以外の動物もしくは生物が監視対象設備に侵入したと判定してもよい。または、表示制御部１３は、侵入検知システム４０から人間を検知したことを示す情報は通知されていないが、マイク等を用いた聴覚による異常が発生していると判定された場合にも、人間以外の動物もしくは生物が監視対象設備に侵入したと判定してもよい。また、表示制御部１３は、侵入検知システム４０から人間を検知したことを示す情報は通知されていないが、臭気センサ等を用いた臭覚による異常が発生していると判定された場合にも、人間以外の動物もしくは生物が監視対象設備に侵入したと判定してもよい。

【0070】

このようにして、情報処理装置２０は、人間の侵入を検知することができる侵入検知システムから通知される情報を用いて、人間以外の他の動物もしくは生物の侵入を検知することができる。また、図１１においては、侵入検知システムとの連携した情報処理装置２０の動作について説明したが、情報処理装置２０が連携するシステムは、侵入検知システムに限定されない。情報処理装置２０は、監視対象設備を監視する他のサービス、または、監視対象設備を保有する企業等が利用する他のサービス、等を提供するシステムから通知される情報を用いて、表示部２３に表示する有用な情報を生成してもよい。

【0071】

図１２は、情報処理装置１０、２０、及び３０（以下、情報処理装置１０等とする）の構成例を示すブロック図である。図１２を参照すると、情報処理装置１０等は、ネットワークインターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインターフェース１２０１は、ネットワークノードと通信するために使用されてもよい。ネットワークインターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。IEEEは、Institute of Electrical and Electronics Engineersを表す。

【0072】

プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された情報処理装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。

【0073】

メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。

【0074】

図１２の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された情報処理装置１０等の処理を行うことができる。

【0075】

図１２を用いて説明したように、情報処理装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。

【0076】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0077】

以上、実施の形態を参照して本開示を説明したが、本開示は上述の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。

【0078】

各図面は、１又はそれ以上の実施形態を説明するための単なる例示である。各図面は、１つの特定の実施形態のみに関連付けられるのではなく、１又はそれ以上の他の実施形態に関連付けられてもよい。当業者であれば理解できるように、いずれか１つの図面を参照して説明される様々な特徴又はステップは、例えば明示的に図示または説明されていない実施形態を作り出すために、１又はそれ以上の他の図に示された特徴又はステップと組み合わせることができる。例示的な実施形態を説明するためにいずれか１つの図に示された特徴またはステップのすべてが必ずしも必須ではなく、一部の特徴またはステップが省略されてもよい。いずれかの図に記載されたステップの順序は、適宜変更されてもよい。

【0079】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
監視対象設備を含む３次元データを生成する生成部と、
前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得するデータ取得部と、
複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する表示制御部と、を備える情報処理装置。
（付記２）
前記異常データは、前記監視対象設備に発生した異常個所を示す異常個所データ及び前記監視対象設備に発生した異常に関連する付加データを含む、付記１に記載の情報処理装置。
（付記３）
前記付加データは、前記監視対象設備に発生した異常の原因を示す、付記２に記載の情報処理装置。
（付記４）
前記付加データは、前記異常個所を強調して表示する、付記２に記載の情報処理装置。
（付記５）
前記監視対象設備に関する情報は、前記監視対象設備の設置場所を示す、付記１から４のいずれか１項に記載の情報処理装置。
（付記６）
前記監視対象設備に関する情報は、前記監視対象設備が利用する侵入検知サービスに関する情報である、付記１から４のいずれか１項に記載の情報処理装置。
（付記７）
前記３次元データを生成する測定装置と少なくとも１つの前記センサとの距離に基づいて、前記３次元データに含まれる前記監視対象設備の異常個所を特定する特定部をさらに備える、付記１から６のいずれか１項に記載の情報処理装置。
（付記８）
前記表示データを表示する表示部をさらに備える、付記１から７のいずれか１項に記載の情報処理装置。
（付記９）
監視対象設備を監視する少なくとも１つのセンサと、
監視対象設備を含む３次元データを生成する生成装置と、
少なくとも１つの前記センサにおいて検出されたセンサデータを取得するデータ取得部と、複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する表示制御部と、を有する情報処理装置と、
前記表示データを表示する表示装置と、を備える監視システム。
（付記１０）
監視対象設備を含む３次元データを生成し、
前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得し、
複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する、データ生成方法。
（付記１１）
監視対象設備を含む３次元データを生成し、
前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得し、
複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する、ことをコンピュータに実行させるプログラム。

【0080】

付記１に従属する付記２～付記８に記載した要素（例えば構成及び機能）の一部または全ては、付記９、付記１０、及び付記１１に対しても付記２～付記８と同様の従属関係により従属し得る。任意の付記に記載された要素の一部または全ては、様々なハードウェア、ソフトウェエア、ソフトウェアを記録するための記録手段、システム、及び方法に適用され得る。

【符号の説明】

【0081】

１０ 情報処理装置
１１ 生成部
１２ データ取得部
１３ 表示制御部
２０ 情報処理装置
２１ 異常判定部
２２ 異常個所特定部
２３ 表示部
３０ 情報処理装置
３１ 生成装置
３２ 表示装置
３３ センサ
４０ 侵入検知システム

【要約】

【課題】監視業務を行うために有用な情報を表示することを可能とする情報処理装置を提供すること。
【解決手段】本開示に係る情報処理装置は、監視対象設備を含む３次元データを生成する生成部と、前記監視対象設備を監視する少なくとも１つのセンサにおいて検出されたセンサデータを取得するデータ取得部と、複数種類の前記センサデータを組み合わせた、もしくは、少なくとも１つの前記センサデータ及び前記監視対象設備に関する情報を組み合わせた、前記監視対象設備に発生した異常状態を示す異常データ、を前記３次元データ上に表示する表示データを生成する表示制御部と、を備える情報処理装置。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】