(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-01
(45)【発行日】2024-11-12
(54)【発明の名称】情報処理装置、情報処理方法、および情報処理プログラム
(51)【国際特許分類】
G06F 16/58 20190101AFI20241105BHJP
G06Q 10/20 20230101ALI20241105BHJP
【FI】
G06F16/58
G06Q10/20
(21)【出願番号】P 2021127611
(22)【出願日】2021-08-03
【審査請求日】2023-03-09
【前置審査】
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】野田 玲子
(72)【発明者】
【氏名】柴田 智行
(72)【発明者】
【氏名】山口 修
(72)【発明者】
【氏名】浅野 三恵子
(72)【発明者】
【氏名】伊藤 聡
(72)【発明者】
【氏名】河村 直輝
(72)【発明者】
【氏名】向 雲
(72)【発明者】
【氏名】秦 由季
【審査官】酒井 恭信
(56)【参考文献】
【文献】特開2002-108893(JP,A)
【文献】特開2005-038006(JP,A)
【文献】特開2005-235099(JP,A)
【文献】特開2017-107509(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00 - 16/958
G06Q 10/20
(57)【特許請求の範囲】
【請求項1】
設備に関する対象データであって、データ形式、データ種別、データ構造、およびデータ内容の少なくとも一つの種類の異なる複数の
前記対象データを取得する取得部と、
前記対象データの種類に応じた
、画像処理、図面解析処理、およびドキュメント解析処理の少なくとも1つの解析処理を行うことによって、複数の前記対象データ
から特定した前記設備である要素ごとに、前記対象データにおける前記要素
に関する情報であ
り、前記要素の属する前記対象データの格納場所、前記要素の属する前記対象データの名称、前記要素の属する前記対象データの種類、前記対象データにおける前記要素の位置、前記要素の特徴量、前記要素の識別情報、前記要素の種類、前記要素の実空間における推定位置、前記要素の属する前記対象データの作成日時、および前記要素に関する参照先、の少なくとも1つの項目の内容を表す情報を含む、要素情報を生成する生成部と、
前記要素情報ごとに、当該要素情報に含まれる前記少なくとも1つの項目の内容を表す情報のうち1つの前記項目の内容を表す情報が同一または類似の他の前記要素情報を、関連する前記要素情報として関連付けて記憶部に記憶する関連付け部と、
を備える情報処理装置。
【請求項2】
前記生成部は、前記対象データに対し、画像処理、図面解析処理、ドキュメント解析処理のうち少なくとも1つの処理結果に基づいて、前記要素情報を生成する、
請求項1に記載の情報処理装置。
【請求項3】
前記関連付け部は、
前記要素情報ごとに、当該要素情報に含まれる
前記少なくとも1つの項目
の内容を表す情報の類似度が閾値以上の他の前記要素情報を、関連する前記要素情報として関連付けて前記記憶部に記憶する、
請求項1
または請求項
2に記載の情報処理装置。
【請求項4】
前記要素情報の選択を受付ける受付部と、
選択を受付けた前記要素情報と、該要素情報に関連付けられた他の前記要素情報と、を含む表示画面を表示部に表示する表示制御部と、
を備える請求項1乃至請求項
3の何れか1項に記載の情報処理装置。
【請求項5】
前記対象データに含まれる異変を、前記対象データに含まれる前記異変を検出するための学習済モデル、取得タイミングの異なる他の対象データとの差分、または異変を含まない対象データとの差分、を用いて、検出する異変検出部を備え、
前記表示制御部は、
検出された前記異変を表す画像である異変検出結果を前記表示部に表示する、
請求項
4に記載の情報処理装置。
【請求項6】
表示された前記異変検出結果に含まれる前記異変の内、ユーザから異変認定の選択を受付けた前記異変を含む前記要素情報に前記異変を表す異変情報を関連付けて記憶する記憶制御部、
を備える請求項
5に記載の情報処理装置。
【請求項7】
前記記憶制御部は、
複数の前記要素情報の内、所定条件を満たす前記要素情報を前記記憶部から削除する、
請求項
6に記載の情報処理装置。
【請求項8】
コンピュータが、
設備に関する対象データであって、データ形式、データ種別、データ構造、およびデータ内容の少なくとも一つの種類の異なる複数の
前記対象データを取得するステップと、
前記対象データの種類に応じた
、画像処理、図面解析処理、およびドキュメント解析処理の少なくとも1つの解析処理を行うことによって、複数の前記対象データ
から特定した前記設備である要素ごとに、前記対象データにおける前記要素
に関する情報であ
り、前記要素の属する前記対象データの格納場所、前記要素の属する前記対象データの名称、前記要素の属する前記対象データの種類、前記対象データにおける前記要素の位置、前記要素の特徴量、前記要素の識別情報、前記要素の種類、前記要素の実空間における推定位置、前記要素の属する前記対象データの作成日時、および前記要素に関する参照先、の少なくとも1つの項目の内容を表す情報を含む、要素情報を生成するステップと、
前記要素情報ごとに、当該要素情報に含まれる前記少なくとも1つの項目の内容を表す情報のうち1つの前記項目の内容を表す情報が同一または類似の他の前記要素情報を、関連する前記要素情報として関連付けて記憶部に記憶するステップと、
を
実行する情報処理方法。
【請求項9】
設備に関する対象データであって、データ形式、データ種別、データ構造、およびデータ内容の少なくとも一つの種類の異なる複数の
前記対象データを取得するステップと、
前記対象データの種類に応じた
、画像処理、図面解析処理、およびドキュメント解析処理の少なくとも1つの解析処理を行うことによって、複数の前記対象データ
から特定した前記設備である要素ごとに、前記対象データにおける前記要素
に関する情報であ
り、前記要素の属する前記対象データの格納場所、前記要素の属する前記対象データの名称、前記要素の属する前記対象データの種類、前記対象データにおける前記要素の位置、前記要素の特徴量、前記要素の識別情報、前記要素の種類、前記要素の実空間における推定位置、前記要素の属する前記対象データの作成日時、および前記要素に関する参照先、の少なくとも1つの項目の内容を表す情報を含む、要素情報を生成するステップと、
前記要素情報ごとに、当該要素情報に含まれる前記少なくとも1つの項目の内容を表す情報のうち1つの前記項目の内容を表す情報が同一または類似の他の前記要素情報を、関連する前記要素情報として関連付けて記憶部に記憶するステップと、
をコンピュータに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
【背景技術】
【0002】
種類の異なる様々な対象データを管理するシステムが知られている。例えば、記憶部に記憶された図面データや画像データなどの様々な対象データを表示部に表示するシステムが知られている。また、例えば、ユーザによる操作指示によって選択された画像データを、表示された図面データ上におけるユーザによって指示された特定位置に重畳表示するシステムが開示されている(例えば、特許文献1参照)。
【0003】
しかし、従来技術では、種類の異なる複数の対象データに含まれる要素間の関連付けがなされておらず、複数の対象データに含まれる関連する要素の群を容易に確認可能に提供することは困難であった。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記に鑑みてなされたものであって、複数の対象データに含まれる関連する要素の群を容易に確認可能に提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態の情報処理装置は、取得部と、生成部と、関連付け部と、を備える。取得部は、設備に関する対象データであって、データ形式、データ種別、データ構造、およびデータ内容の少なくとも一つの種類の異なる複数の前記対象データを取得する。生成部は、前記対象データの種類に応じた、画像処理、図面解析処理、およびドキュメント解析処理の少なくとも1つの解析処理を行うことによって、複数の前記対象データから特定した前記設備である要素ごとに、前記対象データにおける前記要素に関する情報であり、前記要素の属する前記対象データの格納場所、前記要素の属する前記対象データの名称、前記要素の属する前記対象データの種類、前記対象データにおける前記要素の位置、前記要素の特徴量、前記要素の識別情報、前記要素の種類、前記要素の実空間における推定位置、前記要素の属する前記対象データの作成日時、および前記要素に関する参照先、の少なくとも1つの項目の内容を表す情報を含む、要素情報を生成する。関連付け部は、前記要素情報ごとに、当該要素情報に含まれる前記少なくとも1つの項目の内容を表す情報のうち1つの前記項目の内容を表す情報が同一または類似の他の前記要素情報を、関連する前記要素情報として関連付けて記憶部に記憶する。
【図面の簡単な説明】
【0007】
【
図11】関連付け処理の流れを示すフローチャート。
【
図12】表示画面の表示処理の流れを示すフローチャート。
【
図13】異変検出処理の流れを示すフローチャート。
【発明を実施するための形態】
【0008】
以下に添付図面を参照して、情報処理装置、情報処理方法、および情報処理プログラムの実施形態を詳細に説明する。
【0009】
図1は、本実施形態の情報処理システム1の一例を示す模式図である。
【0010】
情報処理システム1は、情報処理装置10と、入力部12と、表示部14と、通信部16と、を備える。情報処理装置10、入力部12、表示部14、および通信部16は、バス18などを介して通信可能に接続されている。
【0011】
入力部12は、ユーザによる各種の操作を受付ける。入力部12は、例えば、キーボードおよびマウスなどのポインティングデバイス、マイクロフォン、などである。
【0012】
表示部14は、各種の情報を表示する。表示部14は、ディスプレイである。なお、入力部12と表示部14とを一体的に構成したタッチパネルとしてもよい。
【0013】
通信部16は、ネットワークなどを介して情報処理装置10以外の他の情報処理装置と通信する通信インターフェースである。
【0014】
情報処理装置10は、制御部20と、記憶部22と、を備える。制御部20および記憶部22は、バス18などを介して通信可能に接続されている。なお、情報処理装置10は、制御部20および記憶部22と、入力部12、表示部14、および通信部16の少なくとも1つと、を備えた構成であってもよい。また、制御部20と記憶部22は、別々に構成されてネットワークや無線を介して通信可能に接続されてもよい。
【0015】
記憶部22は、各種のデータを記憶する。記憶部22は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部22は、情報処理装置10の外部に設けられた記憶装置であってもよい。
【0016】
本実施形態では、記憶部22は、対象データ30と、管理DB40と、を記憶する。
【0017】
対象データ30は、情報処理装置10において後述する処理を行う対象となるデータである。記憶部22は、種類の異なる複数の対象データ30を記憶する。
【0018】
種類の異なる複数の対象データ30とは、データ形式、データ種別、データ構造、およびデータ内容の少なくとも一つが異なる対象データ30であることを意味する。
【0019】
データ形式とは、データの記録方式であり、ファイル形式と称される場合もある。データ形式は、例えば、対象データ30が画像データである場合には、データ形式には、JPG(Joint Photographic Experts Group)、GIF(Graphics Interchange Format)と PNG(Portable Network Graphics)、BMP(Microsoft Windows(登録商標) Bitmap Image)などが挙げられる。また、対象データ30が文書ファイルである場合には、データ形式には、document形式、テキスト形式、などが挙げられる。対象データ30が動画ファイルである場合には、データ形式には、mp4(MPEG-4)、avc(Advanced Video Coding)、wmv(Windows(登録商標) Media Video)などが挙げられ、対象データ30がCAD図面である場合には、データ形式には、dgw、dxf(Drawing Exchange Format)、SVG(Scalable Vector Graphics)などが挙げられる。
【0020】
データ種別とは、データを予め定めた分類基準に基づいて共通の性質ごとに分類した、各群のラベルに相当する。データ種別は、例えば、文書、画像、動画、音声、などである。なお、データ種別はさらに細かく分類されたものであってもよい。例えば、データ種別の一例である画像は、更に、設計図面、撮影画像、などに分類されてもよい。
【0021】
データ構造とは、データの格納形式を表す。データ構造は、例えば、統計データなどの構造化データ、画像などの非構造化データである。なお、データ構造は、さらに細かく分類されたものであってもよい。
【0022】
データ内容とは、データの示す内容を意味する。例えば、対象データ30が画像データである場合、同じ対象を撮影した画像データであっても、撮影画角、撮影方向、撮影日時などの少なくとも1つが異なる場合、データ内容が異なる。また、例えば、対象データ30が点検結果を表すデータである場合、点検対象の設備などの物体、点検条件、などの少なくとも1つが異なる場合、データ内容が異なる。
【0023】
図2A~
図2Fは、対象データ30の一例を示す図である。本実施形態では、情報処理装置10は、点検に関する複数種類の対象データ30を用いる場合を一例として説明する。また、点検対象が、施設などに設けられた設備である場合を一例として説明する。なお、情報処理装置10による処理対象の対象データ30は、点検に関する対象データ30に限定されない。
【0024】
図2Aは、点検日時リスト30Aのデータ構成の一例を示す模式図である。点検日時リスト30Aは、対象データ30の一例である。点検日時リスト30Aは、例えば、点検日時と、点検内容と、を対応付けた文書データである。点検内容には、例えば、月次点検と、年次点検と、が含まれる。
【0025】
図2Bは、点検作業指示書30Bのデータ構成の一例を示す模式図である。点検作業指示書30Bは、対象データ30の一例である。点検作業指示書30Bは、例えば、点検項目と、点検項目である設備の設置位置と、点検内容と、を対応付けたテーブルである。
【0026】
図2Cは、設備1の図面30Cの一例を示す模式図である。設備1の図面30Cは、対象データ30の一例である。設備1の図面30Cは、A部品、B部品、およびC部品などの部品を備えた設備1の図面データの一例である。
【0027】
図2Dは、点検報告書30Dのデータ構成の一例を示す模式図である。点検報告書30Dは、対象データ30の一例である。点検報告書30Dは、点検項目と、点検結果と、を対応付けた報告書を表す文書データの一例である。
【0028】
図2Eは、施設フロア図面30Eの一例を示す模式図である。施設フロア図面30Eは、対象データ30の一例である。施設フロア図面30Eは、設備1の設置された施設のフロア図面データの一例である。施設フロア図面30Eには、例えば、設備A~設備Dの各々の施設内における位置が示される。
【0029】
図2Fは、点検画像30Fの一例を示す模式図である。点検画像30Fは、対象データ30の一例である。本実施形態では、点検画像30Fは、設備A~設備Dの各々の点検作業時に撮影された撮影画像である形態を一例として説明する。詳細には、本実施形態では、点検画像30Fとして、設備Aの点検画像30FA、設備Bの点検画像30FB、設備Cの点検画像30FC、および設備Dの点検画像30FDを用いる場合を一例として説明する。
【0030】
図2A~
図2Fに示すように、本実施形態では、記憶部22には、複数種類の対象データ30が記憶される。対象データ30は、後述する制御部20によって記憶部22に記憶されてもよいし、予め記憶部22に記憶されていてもよい。
【0031】
【0032】
制御部20は、情報処理装置10において各種の情報処理を実行する。制御部20は、取得部24Aと、生成部24Bと、関連付け部24Cと、受付部24Dと、表示制御部24Eと、異変検出部24Fと、記憶制御部24Gと、を備える。
【0033】
取得部24A、生成部24B、関連付け部24C、受付部24D、表示制御部24E、異変検出部24F、および記憶制御部24Gは、1つまたは複数のプロセッサにより実現される。例えば上記各部は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のICなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち1つを実現してもよいし、各部のうち2つ以上を実現してもよい。
【0034】
なお、制御部20は、取得部24A、生成部24B、および関連付け部24Cを備える第1の制御部20Aとして構成してもよい。また、制御部20は、取得部24A、生成部24B、関連付け部24C、受付部24D、および表示制御部24Eを備える第2の制御部20Bとして構成してもよい。また、制御部20は、取得部24A、生成部24B、関連付け部24C、受付部24D、表示制御部24E、および異変検出部24Fを備える第3の制御部20Cとして構成してもよい。また、制御部20は、取得部24A、生成部24B、関連付け部24C、受付部24D、表示制御部24E、異変検出部24F、および記憶制御部24Gを備える第4の制御部20Dとして構成してもよい。
【0035】
本実施形態では、制御部20が、取得部24A、生成部24B、関連付け部24C、受付部24D、表示制御部24E、異変検出部24F、および記憶制御部24Gを備える第4の制御部20Dとして構成された形態を一例として説明する。
【0036】
取得部24Aは、種類の異なる複数の対象データ30を取得する。取得部24Aは、通信部16を介して外部の情報処理装置から対象データ30を取得してもよい。また、取得部24Aは、記憶部22から複数の対象データ30を取得してもよい。また、取得部24Aは、新たな対象データ30が記憶部22に記憶されるとごとに、該対象データ30を取得してもよい。本実施形態では、取得部24Aは、記憶部22から複数の対象データ30を取得する形態を一例として説明する。
【0037】
生成部24Bは、取得部24Aで取得した複数の対象データ30に含まれる要素ごとに、要素を表す要素情報を生成する。
【0038】
生成部24Bは、取得部24Aで取得した複数の対象データ30の各々の内、要素情報を未生成の対象データ30を特定する。そして、生成部24Bは、特定した1または複数の対象データ30の各々について、対象データ30ごとに、含まれる要素の要素情報を生成する。
【0039】
要素とは、対象データ30に含まれる、分類して識別可能な対象の各々を意味する。要素は、例えば、対象データ30に含まれる、設備、部品、物体、アイテム、文字列、点検項目、などである。
【0040】
上述したように、本実施形態では、情報処理装置10は、複数の設備の各々の点検に関する複数種類の対象データ30を用いる場合を一例として説明する。また、本実施形態では、要素には、設備が含まれる形態を一例として説明する。また、要素の一例である設備の属する物体は、該設備を備える施設などである。
【0041】
生成部24Bは、対象データ30ごとに、対象データ30に含まれる要素を特定し、特定した要素ごとに要素情報を生成する。
【0042】
要素情報とは、要素を表す情報であり、対象データ30における要素を特定可能な情報である。
【0043】
図3は、要素情報42のデータ構成の一例を示す情報である。要素情報42は、例えば、要素の属する対象データ30、要素の属する対象データ30の名称、要素の属する対象データ30の種類、対象データ30における要素の位置、要素の特徴量、要素の識別情報、要素の種類、要素の実空間における推定位置、要素に関する日時、および、要素に関する参照先を表す参照情報、の少なくとも1つの項目に関する情報を含む。なお、要素情報42は、対象データ30における要素を表す情報であればよく、これらの項目の情報に限定されない。
【0044】
要素の属する対象データ30は、要素属する対象データ30の格納場所を表す情報である。対象データ30の名称は、対象データ30のファイル名などである。
【0045】
対象データ30の種類は、対象データ30の種類を示す情報である。対象データ30の種類は、例えば、点検場所を撮影した画像、点検施設のCAD(Computer Aided Design)図面、点検作業指示書、点検報告書、点検リスト、点検施設の図面画像、点検施設の地図データ、などの対象データ30のデータ形式、データ種別、データ構造、またはデータ内容を表す情報である。
【0046】
対象データ30における要素の位置は、対象データ30内における要素の位置を特定可能な情報である。対象データ30における要素の位置は、例えば、対象データ30が表データである場合、要素の登録されているセルの位置を表す情報である。対象データ30が画像データである場合、対象データ30における要素の位置は、画像データにおける画素位置、画素位置の群、位置座標、または位置座標の群などによって表される情報である。対象データ30がCADデータなどのベクトルデータである場合、対象データ30における要素の位置は、CADデータに含まれる1または複数のオブジェクトの群を特定可能な情報である。また、対象データ30が文書データである場合には、対象データ30における要素の位置は、文書データにおける位置をバイト数で表した情報、行番号および列番号で表した情報、またはセクション番号を表す情報である。また、対象データ30がXML(Extensible Markup Language)などでタグ付けされた文書データである場合、対象データ30における要素の位置は、タグを表す情報であってもよい。また、対象データ30が表または図を含むデータである場合には、対象データ30における要素の位置は、これらの表または図のキャプションを表す情報であってもよい。
【0047】
要素の特徴量は、例えば、要素の特徴ベクトルなどで表される。特徴量には、公知の特徴量を用いればよい。生成部24Bは、対象データ30の種類や処理の用途などに応じた特徴量を、要素の特徴量として用いてもよい。
【0048】
要素の識別情報は、要素を一意に識別する情報である。例えば、要素が設備である場合を想定する。この場合、要素の識別情報には、設備ID(Identity Document)を用いればよい。設備IDは、例えば、点検対象の施設内に設けられた点検対象の設備の識別情報、または、設備の一部を一意に特定可能な情報である。なお、設備IDは、設備ごとにあらかじめ付与されていればよい。また、設備IDには、例えば、設備のシリアル番号などを用いてもよい。
【0049】
要素の種類は、要素の種類を表す情報である。例えば、要素が設備である場合を想定する。この場合、例えば、要素の種類は、設備種類IDである。設備種類IDは、設備の機種などの種類を識別可能な情報であればよい。
【0050】
要素の実空間における推定位置は、要素の実空間における推定位置を表す情報である。例えば、要素の実空間における推定位置は、点検施設内における要素の推定位置を表す情報である。
【0051】
要素に関する日時は、要素に関する日時を表す情報である。要素に関する日時は、例えば、要素を含む対象データ30の作成日時、要素に含まれる日時情報などである。
【0052】
参照情報は、要素に関する参照先を表す情報である。参照情報は、ハイパーリンクと称される場合がある。
【0053】
生成部24Bは、対象データ30の種類に応じた解析処理を行うことで、対象データ30に含まれる要素ごとの要素情報42を生成する。解析処理は、例えば、画像処理、図面解析処理、ドキュメント解析処理などであるが、これら少なくとも1つの解析処理が行われればよく、更にこれら解析処理に限定されない。
【0054】
例えば、対象データ30が点検箇所を撮影した画像データである場合を想定する。
【0055】
この場合、生成部24Bは、画像データである対象データ30内に含まれる物体の各々を、対象データ30に含まれる要素の各々として特定する。
【0056】
生成部24Bは、例えば、例えば画像内の物体を矩形で認識する技術や、画像内の個々の物体の領域を推定する物体領域抽出技術などを用いて、対象データ30に含まれる要素を特定する。画像内の物体を矩形で認識する技術としては、例えば、“Liu,W.,Anguelov,D.,Erhan,D.,Szegedy,C.,Reed,S.,Fu,C.Y.,&Berg,A.C.(2016,October).Ssd:Singleshot multibox detector.In European conference on computer vision(pp.21-37).Springer,Cham.”などに開示される技術が挙げられる。物体領域抽出技術としては、例えば、“S.Ito and S.Kubota,“Point Proposal based Instance Segmentation with Rectangular Masks for Robot Picking Task”,ACCV2020“などに開示される技術が挙げられる。
【0057】
生成部24Bは、対象データ30から特定した要素ごとに、要素情報42を生成する。
【0058】
例えば、生成部24Bは、要素の属する対象データ30の格納場所、対象データ30の名称および対象データ30の種類を特定する。
【0059】
また、生成部24Bは、対象データ30における要素の画素位置などを特定することで、対象データ30における要素の位置を特定する。
【0060】
また、生成部24Bは、対象データ30に含まれる要素の特徴量を算出する。例えば、生成部24Bは、HOG(Histograms of Oriented Gradients)特徴量や深層学習特徴量などを用いて、要素の特徴量を算出する。深層学習特徴量には、例えばImageNetなどの大量の画像を用いて学習されたクラス分類を行う畳み込みニューラルネットワーク(CNN)を用いる。例えば、生成部24Bは、該CNNによるクラス分類を行う最終層の手前の中間出力を、深層学習特徴量として用いる。
【0061】
また、生成部24Bは、対象データ30に含まれる要素の識別情報および種類を特定する。例えば、要素が設備である場合を想定して説明する。この場合、生成部24Bは、画像データに含まれる設備の領域を認識する。設備の領域は、例えば、画像内に写っているバーコード、QR(Quick Response)(登録商標)コード、文字列などである。そして、生成部24Bは、認識した設備の領域を公知の1または複数の画像認識方法などを用いて解析することで、要素の識別情報および要素の種類を特定する。例えば、生成部24Bは、設備のシリアル番号を、要素の識別情報の一例である設備IDとして特定する。また、生成部24Bは、設備の機種や設備の型番などを要素の種類として特定する。
【0062】
また、生成部24Bは、対象データ30に含まれる要素の実空間における推定位置を特定する。例えば、生成部24Bは、画像データ全体または画像データに含まれる要素の領域を公知の1または複数の画像認識方法などを用いて解析することで、画像データの撮影位置および撮影方向を特定する。そして、更に、生成部24Bは、公知の1または複数の画像認識方法などを用いて、要素の撮影位置および撮影方向を特定することで、要素の実空間における推定位置を特定する。
【0063】
なお、生成部24Bは、対象データ30を撮影したカメラ位置を撮影位置として用いてもよい。この場合、生成部24Bは、画像データに含まれるGPS(Global Positioning System)情報によって表されるカメラ位置を、撮影位置として用いればよい。また、生成部24Bは、対象データ30と撮影位置の特定されている他の画像データとの比較処理により、撮影位置を特定してもよい。比較処理により撮影位置を特定する方法には、例えば、“R.Nakashima and A.Seki,“SIR-Net:Scene Independent End-to-End Trainable Visual Relocalizer,”3DV,2019“などに開示された手法を用いればよい。
【0064】
また、生成部24Bは、対象データ30に含まれる要素に関する日時を特定する。例えば、生成部24Bは、要素の属する対象データ30の作成日時、要素自体が有する日時などを、要素に関する日時として特定すればよい。対象データ30の作成日時には、例えば、対象データ30である画像データの撮影日時などを用いればよい。要素自体が有する日時には、例えば、対象データ30における要素を表す領域に含まれる、日時を表す文字列や、点検日などの日時を表す情報を用いればよい。
【0065】
また、生成部24Bは、要素の属する対象データ30の更新日時を、要素に関する日時として特定してもよい。また、生成部24Bは、要素の属する対象データ30の更新時刻および更新内容を更に抽出し、要素情報42に含めてもよい。また、対象データ30に、該対象データ30の作成位置を表す位置情報が含まれる場合がある。この場合、生成部24Bは、該位置情報を更に抽出し、要素情報42に含めてもよい。
【0066】
また、生成部24Bは、対象データ30に含まれる要素にハイパーリンクが設定されている場合には、設定されている該ハイパーリンクを参照情報として特定する。
【0067】
そして、生成部24Bは、これらの処理により特定および抽出した項目の各々の情報を、要素情報42として生成する。
【0068】
また、対象データ30が配線図、図面、およびドキュメントなどの印刷用紙をスキャンすることによって得られた画像データ、またはCAD図面を画像化した画像データ、である場合を想定する。
【0069】
この場合には、生成部24Bは、該画像データを、テーブルまたはテキストなどの文書データに変換した後に、後述する対象データ30が文書データである場合と同様の処理を行うことで、要素情報42を生成すればよい。また、生成部24Bは、該画像データをベクトルデータに変換してもよい。該画像データをベクトルデータに変換した場合には、生成部24Bは、後述する対象データ30がCADデータである場合と同様の処理を行うことで、要素情報42を生成すればよい。なお、文書データまたはベクトルデータへの変換には、例えばHough変換などを用いた線分検出、記号検出、OCR(Optical Character Recognition)などの文字列認識処理などを用いればよい。
【0070】
また、対象データ30が文書データである場合を想定する。
【0071】
この場合、生成部24Bは、文書データである対象データ30がテーブルを含む場合、テーブルのキャプションや各セルや行を1つの要素として特定する。また、文書データである対象データ30が図を含む場合、生成部24Bは、図に対して、対象データ30が画像データである場合と同様の処理を行うことで、要素を特定すればよい。また、生成部24Bは、対象データ30である文書データに含まれる図のキャプションおよび画像をまとめて1つの要素として特定してもよい。また、生成部24Bは、文書データである対象データ30のデータ形式がテキスト形式である場合には、予め設定された設備などを表す文字列を、要素として特定してもよい。
【0072】
そして、生成部24Bは、特定した要素について、上記と同様にして、要素情報42を生成すればよい。
【0073】
また、対象データ30がCADデータなどのベクトルデータで表される図面データである場合を想定する。
【0074】
CADデータなどのベクトルデータには、CADデータに含まれる線分やオブジェクトにレイヤ情報や色などが付与されている。例えば、CADデータ内に含まれる要素の一例である設備は、複数の線分やオブジェクトで構成される特定の図形として表現される。例えば、生成部24Bは、設備、設備の一部を構成する配線コネクタや部材、の各々を表すテンプレート画像を予め記憶する。そして、生成部24Bは、CADデータである対象データ30と、テンプレート画像と、を用いた公知のテンプレートマッチング処理などを用いて、設備の各々を要素として特定する。
【0075】
そして、生成部24Bは、特定した要素について、上記と同様にして、要素情報42を生成すればよい。
【0076】
なお、生成部24Bは、対象データ30における、特定した要素の近くに例えば描画される他の設備などの情報や、特定した要素に旗揚げ線などで結びつく位置に描画される文字列の情報などを、該要素の要素情報42として更に抽出してもよい。また、生成部24Bは、特定した要素に対して、線分やポリラインなどのオブジェクトで接続されている別の設備や設備の一部、および配線コネクタなどの特定図形との接続関係を、該要素の要素情報42として更に抽出してもよい。
【0077】
また、生成部24Bは、要素情報42に含まれる複数の項目の内、対象データ30から特定困難な項目については、ユーザによる入力部12の操作指示によって入力された情報を用いてもよい。
【0078】
例えば、生成部24Bが、要素の実空間における推定位置を対象データ30から解析することが困難な場合がある。この場合、生成部24Bは、ユーザによる入力部12の操作指示によって入力された推定位置を、要素の実空間における推定位置を表す情報として要素情報42に登録してもよい。
【0079】
生成部24Bは、記憶部22に記憶されている全ての対象データ30に対して、一括で要素情報42の生成処理を行ってもよい。この場合、取得部24Aは、記憶部22に記憶されている全ての対象データ30を取得すればよい。また、生成部24Bは、要素情報42を未生成の新たな対象データ30を取得部24Aが取得するごとに、該対象データ30について要素情報42の生成処理を行ってもよい。また、生成部24Bは、ユーザによって処理対象として指定された対象データ30について、要素情報42の生成処理を行ってもよい。この場合、取得部24Aは、記憶部22に記憶されている対象データ30の内、ユーザによる入力部12の操作によって選択された対象データ30を取得すればよい。
【0080】
生成部24Bは、生成した要素情報42に、要素情報IDを付与して記憶部22へ記憶する。要素情報IDは、要素情報42を一意に識別する識別情報である。
【0081】
図1に戻り説明を続ける。関連付け部24Cは、複数の要素情報42を、関連する要素情報42ごとに関連付けて記憶部22に記憶する。
【0082】
例えば、関連付け部24Cは、複数の要素情報42の各々に、関連する他の要素情報42の要素情報IDを関連する要素情報IDとして付与する。なお、関連付け部24Cは、複数の要素情報42を、関連する要素情報42毎に分類し、分類した群ごとに、記憶部22における異なる格納場所に記憶してもよい。
【0083】
本実施形態では、関連付け部24Cは、要素情報IDと、要素情報42と、関連する要素情報IDと、を対応付けて管理DB40登録する。
【0084】
図4は、管理DB40のデータ構成の一例を示す模式図である。管理DB40は、要素情報IDと、要素情報42と、関連する要素情報IDと、を対応付けたデータベースである。なお、管理DB40のデータ形式は、テーブルなどであってもよく、データベースに限定されない。
【0085】
関連付け部24Cは、生成部24Bによって要素情報IDと要素情報42とが対応付けて登録された管理DB40に含まれる要素情報42の各々に、関連する要素情報IDを対応付けて登録する。この登録処理により、関連付け部24Cは、複数の要素情報42を、関連する要素情報42ごとに関連付けて記憶部22に記憶する。詳細には、要素情報42に含まれる複数の項目のうち一つの項目が同一または類似の前記要素情報に関連付けて記憶部22に記憶する。例えば、関連付け部24Cは、同一または類似である要素の要素情報42、または、同一の位置または類似する位置である要素の要素情報42を、関連付けて記憶部22に記憶する。
【0086】
例えば、関連付け部24Cは、記憶部22に記憶された複数の要素情報42の各々について、他の複数の要素情報42の各々と比較する比較処理を実行し、関連する他の要素の要素情報42を特定する。
【0087】
詳細には、例えば、関連付け部24Cは、要素情報42に含まれる少なくとも1つの項目の類似度が閾値以上の他の要素情報42を、関連する要素情報42として特定する。そして、特定した他の要素情報42の要素情報IDを、関連する要素情報IDとして対応付けて管理DB40に登録する。
【0088】
例えば、関連付け部24Cは、要素情報42に含まれる“要素の実空間における推定位置”が同一の他の要素情報42を検索する。推定位置が同一であるとは、推定位置の差が予め定めた範囲内であることを意味する。関連付け部24Cは、要素情報42の要素情報IDに、該要素情報42に含まれる“要素の実空間における推定位置”が同一の他の要素情報42の要素情報IDを、関連する要素情報IDとして対応付けて管理DB40に登録する。
【0089】
また、関連付け部24Cは、要素情報42に含まれる“対象データ30における要素の位置”が同一の他の要素情報42を検索する。対象データ30における要素の位置が同一であるとは、要素の位置の差が予め定めた範囲内であることを意味する。関連付け部24Cは、要素情報42の要素情報IDに、該要素情報42に含まれる“対象データ30における要素の位置”が同一の他の要素情報42の要素情報IDを、関連する要素情報IDとして対応付けて管理DB40に登録する。
【0090】
なお、関連付け部24Cは、比較対象の要素の属する対象データ30間の種類が異なる場合には、同じ種類に変換した上で、対象データ30における要素の位置を比較してもよい。例えば、画像データである対象データ30に含まれる要素の要素情報42と、図面データである対象データ30に含まれる要素の要素情報42と、を比較する場面を想定する。この場合、関連付け部24Cは、図面データを画像データに変換した上で、含まれる要素の位置を比較すればよい。
【0091】
また、関連付け部24Cは、画像データである対象データ30に含まれる複数の要素の位置関係と、図面データである対象データ30に含まれる複数の要素の位置関係と、の類似度を比較してもよい。そして、関連付け部24Cは、最も類似度の高い要素の要素情報42を、関連する要素情報42として関連付けてもよい。
【0092】
また、関連付け部24Cは、要素情報42に含まれる“要素の特徴量”が同一または類似する、他の要素情報42を検索する。例えば、関連付け部24Cは、複数の要素情報42間における“要素の特徴量”の類似度を算出する。特徴量の類似度の算出には、例えば、コサイン類似度などを用いればよい。関連付け部24Cは、算出した類似度が閾値以上の他の要素情報42を、関連する他の要素情報42として特定する。そして、関連付け部24Cは、要素情報42の要素情報IDに、該要素情報42に含まれる“要素の特徴量”が同一または類似する他の要素情報42の要素情報IDを、関連する要素情報IDとして対応付けて管理DB40に登録する。この場合、関連付け部24Cは、特徴量の類似する複数の要素情報42を関連付けることができる。
【0093】
また、関連付け部24Cは、要素情報42に含まれる“要素の識別情報”および“要素の種類”の少なくとも一方が同一または類似する、他の要素情報42を検索する。関連付け部24Cは、要素情報42の要素情報IDに、該要素情報42に含まれる“要素の識別情報”および“要素の種類”の少なくとも一方が同一または類似する他の要素情報42の要素情報IDを、関連する要素情報IDとして対応付けて管理DB40に登録する。
【0094】
また、関連付け部24Cは、要素情報42に含まれる“要素に関する日時”が一致または類似する他の要素情報42の要素情報IDを、関連する要素情報IDとして対応付けて管理DB40に登録してもよい。“要素に関する日時”が類似するとは、要素に関する日時の差が予め定めた期間内であることを意味する。
【0095】
また、関連付け部24Cは、要素情報42に含まれる“要素の属する対象データ30”、“対象データ30の名称”、および“対象データ30の種類”の少なくとも1つが同一または類似する、他の要素情報42を検索する。関連付け部24Cは、要素情報42の要素情報IDに、該要素情報42に含まれる“要素の属する対象データ30”、“対象データ30の名称”、および“対象データ30の種類”の少なくとも1つが同一または類似する他の要素情報42の要素情報IDを、関連する要素情報IDとして対応付けて管理DB40に登録する。
【0096】
なお、1つの要素情報42に対して、関連する他の要素情報42が複数存在する場合がある。この場合、関連付け部24Cは、1つの要素情報IDに対して、複数の関連する要素情報IDを対応付けて記憶すればよい。
【0097】
上述のようにして、関連付け部24Cは、複数の要素情報42を、関連する要素情報42ごとに関連付けて記憶部22の管理DB40に記憶する。
【0098】
このため、複数の要素情報42は、関連する要素情報42ごとに関連付けられた状態となる。
【0099】
例えば、
図2A~
図2Fに示す複数の対象データ30の各々に含まれる要素情報42を関連付けた場面を想定して説明する。上述したように、
図2A~
図2Fは、複数の設備の各々の点検に関する、複数種類の対象データ30の一例である。
【0100】
関連付け部24Cが、これらの複数種類の対象データ30に含まれる複数の要素情報42を関連付けた場面を想定する。
【0101】
具体的には、例えば、生成部24Bが、点検日時リスト30Aから、点検日時リスト30Aの各行の各々を、要素の要素情報42として生成した場合を想定する。点検日時リスト30Aの要素情報42は、例えば、“要素に関する日時”である点検日時と、月次点検または年次点検を表す点検内容と、を含む。
【0102】
この場合、関連付け部24Cは、点検日時リスト30Aに含まれる複数の要素情報42の内、点検内容が月次点検を表す要素情報42と、点検作業指示書30Bにおける月次点検を表す要素情報42と、を関連付ける。また、関連付け部24Cは、点検日時リスト30Aに含まれる複数の要素情報42の内、点検内容が年次点検を表す要素情報42と、点検作業指示書30Bにおける年次点検を表す要素情報42と、を関連付ける。
【0103】
また、関連付け部24Cは、点検日時リスト30Aに含まれる複数の要素情報42の各々と、“要素に関する日時”である点検日時が一致または類似する、点検報告書30Dに含まれる要素情報42と、を関連付ける。例えば、点検日時リスト30Aに含まれる“要素に関する日時”である点検日時が「2021年2月1日」である要素情報42と、点検報告書30Dに含まれる“要素に関する日時”である点検結果が「2021年2月1日」である要素情報42と、が関連付けられる。同様に、点検日時リスト30Aに含まれる“要素に関する日時”である点検日時が「2021年3月1日」である要素情報42と、点検報告書30Dに含まれる“要素に関する日時”である点検結果が「2021年3月1日」である要素情報42と、が関連付けられる。
【0104】
また、例えば、生成部24Bが、点検作業指示書30Bから、点検作業指示書30Bの各行の各々を、要素の要素情報42として生成した場合を想定する。
【0105】
この場合、関連付け部24Cは、点検作業指示書30Bに含まれる複数の要素情報42の内、“要素の識別情報”である点検項目が設備Aを表す要素情報42と、点検報告書30Dに含まれる“要素の識別情報”が設備Aを表す要素情報42と、を関連付ける。
【0106】
また、関連付け部24Cは、点検作業指示書30Bに含まれる“要素の識別情報”が設備Aを表す要素情報42と、施設フロア図面30Eに含まれる“要素の識別情報”が設備Aを表す要素情報42と、を関連付ける。また、関連付け部24Cは、点検作業指示書30Bに含まれる “要素の識別情報”が設備Aを表す要素情報42と、点検画像30Fに含まれる“要素の識別情報”が設備Aを表す要素情報42と、を関連付ける。
【0107】
関連付け部24Cは、設備B~設備Cについても同様にして、複数種類の対象データ30に含まれる要素情報42を、同じ設備を表す要素情報42ごとに関連付ける。
【0108】
また、点検作業指示書30Bに含まれる設備A~設備Cの各々を表す複数の要素情報42は、全て、同じ“要素の種類”である設備1を有する。このため、関連付け部24Cは、これらの設備A~設備Cの各々を表す複数の要素情報42を、同じ“要素の種類”を表す要素情報42として関連付ける。
【0109】
また、関連付け部24Cは、点検報告書30Dに含まれる文字列“A部品”を含む要素情報42と、設備1の図面30Cに含まれる同じ文字列“A部品”を含む要素情報42と、を関連付ける。
【0110】
また、関連付け部24Cは、要素情報42に含まれる各項目である、要素の属する対象データ30、対象データ30の名称、対象データ30の種類、対象データ30における要素の位置、要素の特徴量、要素の識別情報、要素の種類、要素の実空間における推定位置、要素に関する日時、および参照情報、の少なくとも1つが一致または類似する要素情報42を関連付ける。
【0111】
このため、例えば、施設フロア図面30Eに含まれる設備A~設備Dの各々の要素の要素情報42に、点検画像30Fなどの他の種類の対象データ30に含まれる設備A~設備Dの各々の要素の要素情報42が関連付けられる。また、同じ種類の対象データ30内に含まれる複数の要素情報42についても、要素情報42に含まれる項目の少なくとも1つが一致または類似する要素情報42が関連付けられる。すなわち、関連付け部24Cは、種類の異なる複数の対象データ30の各々に含まれる複数の要素情報42を、関連する要素ごとに関連付けることができる。
【0112】
また、関連付け部24Cは、要素情報42に含まれる項目である“要素の実空間における推定位置”を比較して関連付けを行うことで、互いに異なる対象データ30に属する複数の要素情報42の内、実空間における推定位置が同一または類似する要素の要素情報42を関連付けることができる。
【0113】
【0114】
受付部24Dは、要素情報42の選択を受付ける。表示制御部24Eは、各種の画像を表示部14へ表示する制御を行う。
【0115】
例えば、表示制御部24Eは、要素情報42の選択を受付けるための選択画面を表示部14へ表示する。
【0116】
図5は、選択画面52の一例を示す模式図である。表示制御部24Eは、生成部24Bによって生成された要素情報42の一覧を含む選択画面52を表示部14へ表示する。例えば、表示制御部24Eは、管理DB40に登録されている複数の要素情報42の各々に含まれる項目の何れかを抽出し、選択画面52に表示する。
【0117】
図5には、点検日時リスト30Aに含まれる点検日時および点検内容を選択画面52に表示した例を一例として示す。ユーザは、選択画面52を参照しながら入力部12を操作することで、表示対象の要素の要素情報42を選択する。例えば、ユーザは、点検日時の範囲を入力する。受付部24Dは、入力部12から点検日時の範囲を受付けることで、受け付けた点検日時の範囲を含む要素情報42の選択を受付ける。
【0118】
図1に戻り説明を続ける。表示制御部24Eは、選択を受付けた要素情報42と、該要素情報42に関連付けられた他の要素情報42と、を含む表示画面を表示部14に表示する。
【0119】
図6は、表示画面54の一例を示す模式図である。表示画面54は、関連する要素情報42を含む表示画面50の一例である。
【0120】
この場合、表示制御部24Eは、管理DB40から、選択を受付けた要素情報42に対応付けられた関連する要素情報IDを読み取る。そして、表示制御部24Eは、読取った要素情報IDに対応する要素情報42を管理DB40から読み取る。表示制御部24Eは、選択を受付けた要素情報42と、該要素情報42に関連付けられた要素情報42と、を含む表示画面50を生成し、表示部14へ表示する。
【0121】
例えば、ユーザが、点検日時リスト30Aにおける所望の要素情報42を指定する場面を想定する。表示制御部24Eは、指定された要素情報42および該要素情報42に関連付けられた他の要素情報42を含む表示画面50を表示する。
【0122】
具体的には、例えば、ユーザが、
図5に示す選択画面52を視認しながら入力部12を操作することで、点検日時の範囲を指定して検索ボタンを操作した場面を想定する。表示制御部24Eは、受付部24Dを介して受け付けた、指定された点検日時の範囲内の“要素に関する日時”を含む要素情報42の一覧を管理DB40から抽出し、選択画面52に表示する。そして、更に、ユーザが、選択画面52に表示された要素情報42の内、「2021/04/01月次点検」の要素情報42を選択した場合を想定する。この場合、表示制御部24Eは、「2021/04/01月次点検」の要素情報42の選択を受付ける。
【0123】
表示制御部24Eは、選択を受付けた要素情報42と、該要素情報42に関連付けられている他の要素情報42と、を含む表示画面54を生成し、表示部14へ表示する。
【0124】
なお、選択を受付けた要素情報42に関連する他の要素情報42には、管理DB40における、選択を受付けた要素情報42に関連付けられている関連する要素情報IDによって識別される要素情報42と、該要素情報42に更に関連付けられている関連する要素情報IDによって識別される要素情報42が含まれる。また、該要素情報42に更に関連付けられている関連する要素情報IDによって識別される要素情報42が含まれていてもよい。
【0125】
このため、表示部14には、例えば、
図6に示す表示画面54が表示される。
【0126】
図6に示すように、表示画面54には、「2021/04/01月次点検」の要素情報42に含まれる点検内容である“月次点検”を含む、点検作業指示書30Bにおける要素情報42BA、要素情報42BB、要素情報42BC、要素情報42BD、が含まれる。要素情報42BAは、点検作業指示書30Bに含まれる設備Aの要素情報42である。要素情報42BBは、点検作業指示書30Bに含まれる設備Bの要素情報42である。要素情報42BCは、点検作業指示書30Bに含まれる設備Cの要素情報42である。要素情報42BDは、点検作業指示書30Bに含まれる設備Cの要素情報42である。
【0127】
また、表示制御部24Eは、「2021/04/01月次点検」の要素情報42に関連付けられた他の要素情報42に更に関連付けられた要素情報42を表示画面54に表示する。例えば、表示制御部24Eは、施設フロア図面30Eにおける、設備Aの要素情報42EA、設備Bの要素情報42EB、設備Cの要素情報42EC、および設備Dの要素情報42EDを該表示画面54に表示する。
【0128】
また、表示制御部24Eは、点検画像30Fに含まれる、設備Aの要素情報42FA、設備Bの要素情報42FB、設備Cの要素情報42FC、および設備Dの要素情報42FDを該表示画面54に表示する。また、表示制御部24Eは、点検報告書30Dに含まれる、設備Aの要素情報42DA、設備Bの要素情報42DB、設備Cの要素情報42DC、および設備Dの要素情報42DDを該表示画面54に表示する。
【0129】
このように、表示制御部24Eは、選択を受付けた要素情報42と、管理DB40における該要素情報42に関連付けられている他の要素情報42と、を含む表示画面54を表示部14に表示する。
【0130】
このため、ユーザは、表示画面54を視認することで、複数の対象データ30に含まれる関連する要素の群を容易に確認することができる。また、ユーザは、選択した要素情報42のみではなく、選択した要素情報42に関連する他の要素情報42の一覧を容易に確認することができる。また、ユーザは、種類の異なる複数の対象データ30に含まれる、選択した要素情報42に関連する要素情報42の一覧を、1つの表示画面54で容易に確認することができる。
【0131】
なお、表示制御部24Eは、表示画面54に含まれる施設フロア図面30E上に、推奨の点検ルートを表す情報を重畳して表示してもよい。例えば、表示制御部24Eは、
図6に示すように、推奨の点検ルート表す線画像55を重畳して表示してもよい。推奨の点検ルートを表す情報は、予め記憶部22に記憶しておけばよい。また、表示制御部24Eが、推奨の点検ルートを表す情報を生成し、表示画面54に表示してもよい。
【0132】
また、要素情報42に参照情報が含まれる場合がある。この場合、表示制御部24Eは、参照情報によって表される情報を表示部14へ表示してもよい。
【0133】
図7は、表示画面56の一例を示す模式図である。表示画面56は、表示画面50の一例である。例えば、ユーザによる入力部12の操作指示によって、施設フロア図面30Eにおけるハイパーリンクを付与された要素情報42EAである設備Aの領域が操作された場面を想定する。この場合、表示制御部24Eは、該要素情報42EAに含まれる参照情報によって表される参照先の情報を表示部14に表示する。
図7には、ハイパーリンクによって表される参照先の情報が、設備Aの過去の点検画像30FAおよび設備Aの過去の点検結果30DAである場合を一例として示す。
【0134】
なお、ハイパーリンクを付与された他の要素情報42(例えば、要素情報42EB)がユーザによって指定された場合、表示制御部24Eは、該要素情報42EBに含まれる参照情報によって表される参照先の情報を、表示画面56に表示すればよい。
【0135】
このため、ユーザは、表示画面54を視認することで、複数の対象データ30に含まれる関連する要素の群、および、ハイパーリンクによって表される参照先の情報を容易に確認することができる。
【0136】
また、ユーザは、例えばインフラ施設の点検を行う際に、点検ルート上にある位置や要素の要素情報42を指定することで、関連する他の要素情報42や参照先の情報を容易に確認することができる。このため、ユーザは、表示画面50を視認することで、点検前後の情報を容易に確認および収集することができる。
【0137】
【0138】
次に、異変検出部24Fについて説明する。異変検出部24Fは、対象データ30に含まれる異変を検出する。
【0139】
例えば、異変検出部24Fは、同じ種類で作成日時の異なる複数の対象データ30について、対象データ30における位置が同じ要素同士を比較し、差が所定の閾値以上の要素を異変として検出する。
【0140】
具体的には、例えば、対象データ30が画像データである場合を想定する。この場合、異変検出部24Fは、撮影された画像データに含まれる点検対象の施設などの要素を特定する。そして、異変検出部24Fは、特定した要素の要素情報42に関連付けられている、撮影日時の異なる他の対象データ30である画像データを記憶部22から読み取る。異変検出部24Fは、要素を特定した画像データ、および読取った他の画像データを、点検対象の位置などの要素が画像内で同じ位置となるように位置合せ処理を行う。異変検出部24Fは、位置合わせを行った画像データ間の差が所定の閾値以上の要素を、異変として検出する。
【0141】
また、例えば、異変検出部24Fが、画像データである対象データ30から施設や設備に生じる一般的な異変を検出する場合を想定する。一般的な異変は、例えば、施設や設備に生じるひびや錆などである。この場合、異変検出部24Fは、学習済モデルを用いて、対象データ30に含まれる異変を検出してもよい。
【0142】
例えば、ディープニューラルネットワークなどを用いて、大量のひびや錆の画像からひびや錆の有無やひびや錆の位置を検出する学習済モデルを予め学習し、異変の検出に用いればよい。また、入力された画像を、ひびや錆を含む画像とひびや錆を含まない画像とに分類する学習済モデルを用いてもよい。また、ひびや錆の有無および劣化度合を出力する学習済モデルを用いてもよい。また、ひびや錆などの異変の種類を出力する学習済モデルを用いてもよい。また、ひびや錆の有無および異変の位置や領域を画素単位で出力する学習済モデルを用いてもよい。
【0143】
また、ひびや錆の有無のみを教示された学習画像を入力とし、画素または画素ブロック単位の異変スコアを出力とする学習済モデルを用いてもよい。この場合、出力する異変スコアの最大値が入力される学習画像に含まれる異変の有無と一致するように、学習済モデルを予め学習すればよい。
【0144】
画像データから画素または画素ブロック単位の異変スコアを出力する学習済モデルを用いることで、異変検出部24Fは、画素または画素ブロック単位で異変を検出することができる。
【0145】
また、異変検出部24Fは、撮影日時の異なる複数の画像データである対象データ30について、上記と同様にして、点検対象の位置などの要素が画像内で同じ位置となるように位置合せ処理を行う。そして、異変検出部24Fは、位置合わせを行った画像データ間の深層学習特徴量を比較し、対応する位置の深層学習特徴量の差が所定の閾値以上の領域を、異変と判定してもよい。深層学習特徴量には、例えば、”Sub-Image Anomaly Detection with Deep Pyramid Correspondences”(https://arxiv.org/abs/2005.02357)などに開示される方法を用いればよい。
【0146】
また、異変検出部24Fは、異変を含まない正常画像データのみを用いて学習した学習済モデルを用いて、異変を検出してもよい。この異変の検出手法には、例えば、”Paul Bergmann, Michael Fauser, David Sattlegger, Carsten Steger, Uninformed Students: Student-Teacher Anomaly Detection with Discriminative Latent Embeddings, CVPR2020”などを用いればよい。
【0147】
異変が検出された場合、表示制御部24Eは、検出された異変を含む異変検出結果を表示部14に表示する。
【0148】
図8は、異変検出結果の表示画面58の一例を示す模式図である。
図8には、施設フロア図面30E中に異変が検出された場合を一例として示す。
【0149】
表示制御部24Eは、異変を含む対象データ30である施設フロア図面30Eと、施設フロア図面30E中に検出された異変を表す画像Eと、を含む表示画面58を表示部14に表示する。また、表示制御部24Eは、検出された異変を含む要素情報42を記憶部22から読み取り、表示部14に表示する。
図8には、検出された異変を含む要素情報42FAを含む表示画面58を一例として示す。また、表示制御部24Eは、検出された異変を含む要素情報42FAに関連付けられている他の要素情報42を更に表示してもよい。
図8には、検出された異変を含む要素情報42FAに対応付けられている、過去の同一地点の点検画像を表す要素情報42F、過去の点検報告書を表す要素情報42D、および類似の事例画像を表す要素情報42Cを表示する形態を一例として示す。
【0150】
検出された異変を含む異変検出結果を表示部14に表示することで、表示制御部24Eは、対象データ30に含まれる異変を容易に確認可能に提供することができる。
【0151】
また、表示制御部24Eは、検出された異変を含む要素情報42FA、および検出された異変を含む要素情報42FAに関連付けられている他の要素情報42を含む表示画面58を表示部14に表示する。このため、表示制御部24Eは、異変に関連する地図、図面、過去の画像などの様々な要素情報42の一覧を、ユーザに対して容易に確認可能に提供することができる。また、表示制御部24Eは、経年劣化などの異変の経緯を容易に確認可能に提供することができる。
【0152】
なお、検出された異変を含む要素情報42FA、および検出された異変を含む要素情報42FAに関連付けられた他の要素情報42の少なくとも一方に、ハイパーリンクが含まれる場合がある。この場合、表示制御部24Eは、ハイパーリンクによって表される参照先の情報を更に表示画面58に表示してもよい。
【0153】
このため、ユーザは、表示画面58を視認することで、実空間の異変を目視で確認することなく、異変を容易に確認することができる。このため、本実施形態の情報処理装置10は、ユーザによる点検にかかるコスト削減を図ることができる。また、表示制御部24Eは、異変の検出された箇所の過去のデータや関連する図面やドキュメントなどを同時に表示画面58に提示することができる。このため、ユーザは、異変の場所や異変の重要度を容易に確認することができる。また、ユーザが異変の場所や異変の重要度を容易に確認することで、修繕計画や部品交換などの異変対応に要するコスト削減を図ることができる。
【0154】
図1に戻り説明を続ける。記憶制御部24Gは、表示された異変検出結果に含まれる異変の内、ユーザから異変認定の選択を受付けた異変を含む要素情報42に異変を表す異変情報を関連付けて記憶する。
【0155】
図8に示す、異変検出結果の表示画面58が表示部14に表示された場面を想定する。ユーザは、表示画面58を視認しながら入力部12を操作することで、表示された異変を異変として認定するか否かを入力する。また、ユーザは、入力部12を操作することで、表示された異変の認定結果に関する情報を入力する。例えば、ユーザは、入力部12を操作することで、異変として認定するか否か、および異変発生後の対応などの異変の認定結果に関する情報を入力する。例えば、ユーザは、検出された異変に対して、部品交換などの異変対応を行う場合がある。この場合、ユーザは、入力部12を操作することで、この異変対応の内容を異変発生後の対応を表す情報として入力すればよい。ユーザによる異変対応の内容の入力時には、表示制御部24Eは、異変対応の内容の入力を行うための入力フォームを表示部14に表示してもよい。また、表示制御部24Eは、異変対応の内容の入力を行うための音声ガイダンスなどをスピーカから出力してもよい。ユーザは、入力部12の操作または音声入力などにより、異変対応の内容を入力すればよい。
【0156】
記憶制御部24Gは、入力部12から受付けた異変の認定結果に関する情報に、異変として認定することを表す情報が含まれる場合、該異変を含む要素情報42に異変情報を関連付けて記憶する。
【0157】
図9は、異変情報44のデータ構成の一例を示す模式図である。例えば、異変情報44は、異変情報IDと、異変発生位置と、異変発生時刻と、異変度と、異変発生後の対応と、関連する要素情報IDと、を含む。
【0158】
記憶制御部24Gは、異変情報44を一意に識別する異変情報IDを生成する。また、記憶制御部24Gは、入力部12から受付けた異変の認定結果に関する情報に含まれる異変発生後の対応を表す情報を特定する。
【0159】
また、記憶制御部24Gは、予め設定された異変度を特定する。なお、記憶制御部24Gは、異変検出部24Fで検出された異変度を特定してもよい。また、記憶制御部24Gは、ユーザによる入力部12の操作によって入力された異変度を特定してもよい。
【0160】
また、記憶制御部24Gは、異変発生時刻を推定することで、異変発生時刻を特定する。例えば、過去の点検画像30Fなどから異変発生期間が推定可能である場合、記憶制御部24Gは、推定した異変発生期間を異変発生時刻として特定する。
【0161】
また、記憶制御部24Gは、対象データ30における検出された異変の位置を、異変発生位置として特定する。また、記憶制御部24Gは、検出された異変を含む要素情報42の要素情報IDを、関連する要素情報IDとして特定する。なお、記憶制御部24Gは、異変検出結果の表示画面58に表示された複数の要素情報42の内の何れかの要素情報IDを、関連する要素情報IDとして特定してもよい。すなわち、記憶制御部24Gは、異変が検出された際に異変検出部24Fおよび表示制御部24Eによって参照された要素情報42の要素情報IDを、関連する要素情報IDとして特定してもよい。また、記憶制御部24Gは、ユーザが異変対応することで作成された対象データ30に含まれる要素情報42の要素情報IDを、関連する要素情報IDとして特定してもよい。
【0162】
そして、記憶制御部24Gは、生成および特定したこれらの異変情報ID、異変発生位置、異変発生時刻、異変度、異変発生後の対応、および関連する要素情報IDを含む異変情報44を生成する。
【0163】
また、記憶制御部24Gは、異変情報44に含まれる関連する要素情報IDによって識別される要素情報42に、該異変情報44の異変情報IDを付与する。この場合、記憶制御部24Gは、管理DB40を、更に異変情報IDを対応付けて登録した管理DB41として記憶部22に記憶すればよい。
【0164】
図10は、管理DB41のデータ構成の一例を示す模式図である。管理DB41は、管理DB40に更に異変情報IDを対応付けたデータベースである。すなわち、管理DB41は、要素情報IDと、要素情報42と、関連する要素情報IDと、異変情報IDと、を対応付けたデータベースである。
【0165】
要素情報42と異変情報IDとを対応付けた管理DB41を記憶部22に記憶することで、記憶制御部24Gは、異変検出結果に含まれる異変の内、ユーザから異変認定の選択を受付けた異変を含む要素情報42に異変情報44を関連付けて記憶することができる。
【0166】
このように、異変検出部24Fが対象データ30に含まれる異変を検出し、記憶制御部24Gがユーザから異変認定の選択を受付けた異変を含む要素情報42に異変情報44を関連付けて記憶する。
【0167】
このため、本実施形態の情報処理装置10は、異変に対してより正確な判断を行うことの可能な情報をユーザに対して提供することができる。例えば、ユーザは、異変情報44を確認することで、より正確な点検、部品交換、および修繕計画作成などの異変対応を行うことが可能となる。
【0168】
また、記憶制御部24Gは、ユーザから異変認定の選択を受付けた異変を含む要素情報42に、異変情報44を関連付けて記憶する。このため、例えば、関連する要素に新たな異変が発生した場合、ユーザは異変情報44を参照することで、異変の場所や異変度などを容易に確認することができる。このため、本実施形態の情報処理装置10は、修繕計画や部品交換などに要するコスト削減を図ることができる。
【0169】
また、記憶制御部24Gは、記憶部22に記憶されている複数の要素情報42の内、所定条件を満たす要素情報42を記憶部22から削除する削除処理を行ってもよい。
【0170】
所定条件は、予め定めればよい。所定条件は、例えば、作成日時が現時点より所定期間以上前の要素情報42、重要度の低い要素情報42、などである。重要度の低い要素情報42は、例えば、ユーザによる入力部12の操作指示によって入力された、削除対象の要素情報42などである。また、重要度の低い要素情報42は、例えば、予め定めた重要度の低い内容を含む要素情報42である。なお、所定条件は、ユーザによる入力部12の操作指示などに応じて適宜変更可能としてもよい。
【0171】
記憶制御部24Gが、所定条件を満たす要素情報42を記憶部22から削除する削除処理を行うことで、要素情報42の検索時間の短縮や、記憶部22の空き容量の確保などを図ることができる。
【0172】
次に、本実施形態の情報処理装置10が実行する情報処理の流れの一例を説明する。
【0173】
図11は、本実施形態の情報処理装置10が実行する関連付け処理の流れの一例を示すフローチャートである。
【0174】
取得部24Aが、記憶部22から複数の対象データ30を取得する(ステップS100)。
【0175】
生成部24Bは、ステップS100で取得した複数の対象データ30の各々に含まれる要素ごとに、要素を表す要素情報42を生成する(ステップS102)。
【0176】
関連付け部24Cは、ステップS102で生成された複数の要素情報42を、関連する要素情報42ごとに関連付けて記憶部22に記憶する(ステップS104)。本実施形態では、関連付け部24Cは、要素情報IDと、要素情報42と、関連する要素情報IDと、を対応付けて管理DB40登録する。そして、本ルーチンを終了する。
【0177】
図12は、本実施形態の情報処理装置10が実行する表示画面50の表示処理の流れの一例を示すフローチャートである。
【0178】
表示制御部24Eは、要素情報42の選択を受付けるための選択画面52を表示部14へ表示する(ステップS200)。例えば、表示制御部24Eは、
図5に示す選択画面52を表示部14へ表示する。
【0179】
受付部24Dは、要素情報42の選択を受付ける(ステップS202)。
【0180】
表示制御部24Eは、ステップS202で選択を受付けた要素情報42と、該要素情報42に関連付けられている他の要素情報42と、を含む表示画面54を生成し、表示部14へ表示する(ステップS204)。このため、例えば、
図6示す表示画面54が表示部14に表示される。そして、本ルーチンを終了する。
【0181】
図13は、情報処理装置10が実行する異変検出処理の流れの一例を示すフローチャートである。
【0182】
異変検出部24Fは、対象データ30に含まれる異変を検出する(ステップS300)。異変検出部24Fが異変を検出しなかった場合(ステップS302:No)、本ルーチンを終了する。異変検出部24Fが異変を検出した場合(ステップS302:Yes)、ステップS304へ進む。
【0183】
ステップS304では、表示制御部24Eは、ステップS300で検出された異変を含む異変検出結果を表示部14に表示する(ステップS304)。例えば、表示部14には、
図8に示す異変検出結果の表示画面58が表示される。
【0184】
記憶制御部24Gは、ステップS304で表示された異変を異変として認定するか否かの選択を受付けたか否かを判断する(ステップS306)。異変として認定しないことを表す選択を受付けた場合(ステップS306:No)、本ルーチンを終了する。異変として認定することを表す選択を受付けた場合(ステップS306:Yes)、ステップS308へ進む。
【0185】
ステップS308では、記憶制御部24Gは、ステップS306で受け付けた異変として認定する異変を含む要素情報42に異変情報44を関連付けて記憶する(ステップS308)。そして、本ルーチンを終了する。
【0186】
以上説明したように、本実施形態の情報処理装置10は、取得部24Aと、生成部24Bと、関連付け部24Cと、を備える。取得部24Aは、種類の異なる複数の対象データ30を取得する。生成部24Bは、複数の対象データ30に含まれる要素ごとに、要素を表す要素情報42を生成する。関連付け部24Cは、複数の要素情報42を、関連する要素情報42ごとに関連付けて記憶部22に記憶する。
【0187】
従来技術では、種類の異なる複数の対象データ30に含まれる要素間の関連付けがなされておらず、複数の対象データ30に含まれる関連する要素の群を容易に確認可能に提供することは困難であった。
【0188】
一方、本実施形態の情報処理装置10は、種類の異なる複数の対象データ30の各々に含まれる複数の要素の要素情報42を、関連する要素情報42ごとに関連付けて記憶部22に記憶する。本実施形態の情報処理装置10は、特定の要素の要素情報42と、種類の異なる複数の対象データ30の各々に含まれる該特定の要素の要素情報42に関連する他の要素情報42と、の群を容易に確認可能に提供することができる。
【0189】
従って、本実施形態の情報処理装置10は、複数の対象データ30に含まれる関連する要素の群を容易に確認可能に提供することができる。
【0190】
例えば、複数の対象データ30として、点検に関する複数種類の対象データ30を用いる場合を想定する。従来技術では、インフラ施設の点検を行うにあたり、施設に関する大量のCADデータ、点検管理表や作業指示書などの文書データ、および過去の点検データなどを、関連付けられていないばらばらのデータとして管理していた。このため、従来技術では、ユーザは、関連する図面、文書データ、および過去のデータなどを点検時に確認することが容易ではなかった。一方、本実施形態の情報処理装置10では、種類の異なる複数の対象データ30の各々に含まれる複数の要素の要素情報42を、関連する要素情報42ごとに関連付けて記憶部22に記憶する。このため、本実施形態の情報処理装置10は、ばらばらに管理されていたインフラ施設などに関する文書、図面、地図、および点検結果などの複数種類の対象データ30から、特定の点検の要素に関連する要素の群を容易に確認可能に提供することができる。
【0191】
次に、上記実施形態の情報処理装置10のハードウェア構成の一例を説明する。
【0192】
図14は、本実施形態の情報処理装置10の一例のハードウェア構成図である。
【0193】
本実施形態の情報処理装置10は、CPU(Central Processing Unit)86、ROM(Read Only Memory)88、RAM(Random Access Memory)90、およびI/F92等がバス94により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【0194】
CPU86は、本実施形態の情報処理装置10を制御する演算装置である。ROM88は、CPU86による情報処理を実現するプログラム等を記憶する。RAM90は、CPU86による各種処理に必要なデータを記憶する。I/F82は、入力部12、表示部14、および通信部16などに接続し、データを送受信するためのインターフェースである。
【0195】
本実施形態の情報処理装置10では、CPU86が、ROM88からプログラムをRAM90上に読み出して実行することにより、上記各機能がコンピュータ上で実現される。
【0196】
なお、本実施形態の情報処理装置10で実行される上記各処理を実行するためのプログラムは、HDD(ハードディスクドライブ)に記憶されていてもよい。また、本実施形態の情報処理装置10で実行される上記各処理を実行するためのプログラムは、ROM88に予め組み込まれて提供されていてもよい。
【0197】
また、本実施形態の情報処理装置10で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、本実施形態の情報処理装置10で実行される上記情報処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、本実施形態の情報処理装置10で実行される上記情報処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
【0198】
なお、上記には、実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0199】
10 情報処理装置
22 記憶部
24A 取得部
24B 生成部
24C 関連付け部
24D 受付部
24E 表示制御部
24F 異変検出部
24G 記憶制御部
30 対象データ
42 要素情報
44 異変情報