特許 7467311 点検システムおよび点検方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】点検システムおよび点検方法

(51)【国際特許分類】

   G06Q 10/20 20230101AFI20240408BHJP

【ＦＩ】

G06Q10/20

【請求項の数】 11

(21)【出願番号】P 2020171942

(22)【出願日】2020-10-12

(65)【公開番号】P2022063600

(43)【公開日】2022-04-22

【審査請求日】2023-02-27

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】坂本 直弥

(72)【発明者】

【氏名】尾崎 健司

(72)【発明者】

【氏名】三浦 崇広

(72)【発明者】

【氏名】相川 徹郎

【審査官】阿部 潤

(56)【参考文献】

【文献】特開２０１２－６８６９８（ＪＰ，Ａ）

【文献】特開２０１７－１０８２６３（ＪＰ，Ａ）

【文献】特開２０１９－０４５９２２（ＪＰ，Ａ）

【文献】特開２０１６－１１０２１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

移動可能な端末に搭載され、点検の対象となる対象エリアの映像または点群データの少なくとも一方を含む対象データを取得するデータ取得部と、
前記データ取得部が前記対象データを取得したときの取得時点を記録する取得時点記録部と、
前記対象データを前記取得時点に対応付けて記憶する対象データベースと、
複数の前記取得時点が第１取得時点と前記第１取得時点より前の第２取得時点とを含んでおり、前記第１取得時点と前記第２取得時点に対応する前記対象データ同士を比較するデータ比較部と、
前記データ比較部による比較結果に基づいて、前記対象エリアにおける変化が生じた変化部分を検出する変化検出部と、
前記対象エリアで行われる作業に関連する作業情報を記憶する作業データベースと、
前記作業データベースに記憶されている前記作業情報に基づいて、前記作業に起因して生じた前記変化部分の前記対象データを出力の対象から除外するデータ除外部と、
前記データ除外部で除外されたもの以外の前記変化部分に関連する前記対象データを出力するデータ出力部と、
を備える、
点検システム。

【請求項2】

前記データ比較部による比較結果に基づいて、前記変化部分のサイズを計測するサイズ計測部と、
少なくとも１つの前記作業情報が、前記作業で生じる変化のサイズに関連しており、前記変化部分のサイズが前記作業で生じる変化のサイズの範囲内であるか否かを判定するサイズ判定部と、
を備え、
前記データ除外部は、サイズが前記作業で生じる変化のサイズの範囲内である前記変化部分の前記対象データを出力の対象から除外する、
請求項１に記載の点検システム。

【請求項3】

前記データ比較部による比較結果に基づいて、前記変化部分の形状を計測する形状計測部と、
少なくとも１つの前記作業情報が、前記作業で生じた変化後の形状に関連しており、前記変化部分の形状が前記作業で生じた変化後の形状であるか否かを判定する形状判定部と、
を備え、
前記データ除外部は、形状が前記作業で生じた変化後の形状である前記変化部分の前記対象データを出力の対象から除外する、
請求項１または請求項２に記載の点検システム。

【請求項4】

前記データ比較部による比較結果に基づいて、前記変化部分の位置を計測する位置計測部と、
少なくとも１つの前記作業情報が、前記作業が行われる作業エリアに関連しており、前記変化部分の位置が前記作業エリアに含まれているか否かを判定する位置判定部と、
を備え、
前記データ除外部は、発生した位置が前記作業エリアに含まれている前記変化部分の前記対象データを出力の対象から除外する、
請求項１から請求項３のいずれか１項に記載の点検システム。

【請求項5】

前記対象エリアに設けられている少なくとも１つの特定被写体の映像または点群データの少なくとも一方を含む被写体データを前記データ取得部で取得し、前記被写体データに基づいて、前記特定被写体の位置を特定する被写体位置特定部と、
前記特定被写体の位置の周囲を前記作業エリアとして設定する作業エリア設定部と、
を備える、
請求項４に記載の点検システム。

【請求項6】

前記対象エリアに設けられている少なくとも３つの特定被写体の映像または点群データの少なくとも一方を含む被写体データを前記データ取得部で取得し、前記被写体データに基づいて、前記特定被写体のそれぞれの位置を特定する被写体位置特定部と、
前記特定被写体で囲まれた範囲を前記作業エリアとして設定する作業エリア設定部と、
を備える、
請求項４または請求項５に記載の点検システム。

【請求項7】

前記特定被写体は、画像認識が可能な図形として描かれたマーカーを含む、
請求項５または請求項６に記載の点検システム。

【請求項8】

前記対象データが一定期間に複数回取得され、前記対象エリアにおける同一の部分で生じた前記変化部分の検出回数をカウントするカウント部と、
前記一定期間の全取得回数のうち、前記検出回数が閾値以上であるか否かを判定する検出回数判定部と、
を備え、
前記データ除外部は、前記検出回数が前記閾値以上である前記変化部分の前記対象データを出力の対象から除外する、
請求項１から請求項７のいずれか１項に記載の点検システム。

【請求項9】

前記第２取得時点の時刻が、前記第１取得時点とは異なる日における前記第１取得時点と同一時刻であり、
前記データ比較部が、前記同一時刻に取得された前記対象データ同士を比較する、
請求項１から請求項８のいずれか１項に記載の点検システム。

【請求項10】

前記作業データベースが、前記作業情報を時刻に対応付けて記憶しており、
前記データ除外部が、前記対象データが取得された時刻に対応付けられた前記作業情報に基づいて、前記作業に起因して生じた前記変化部分の前記対象データを出力の対象から除外する、
請求項１から請求項９のいずれか１項に記載の点検システム。

【請求項11】

移動可能な端末に搭載されたデータ取得部が、点検の対象となる対象エリアの映像または点群データの少なくとも一方を含む対象データを取得するステップと、
取得時点記録部が、前記データ取得部が前記対象データを取得したときの取得時点を記録するステップと、
対象データベースが、前記対象データを前記取得時点に対応付けて記憶するステップと、
複数の前記取得時点が第１取得時点と前記第１取得時点より前の第２取得時点とを含んでおり、データ比較部が、前記第１取得時点と前記第２取得時点に対応する前記対象データ同士を比較するステップと、
変化検出部が、前記データ比較部による比較結果に基づいて、前記対象エリアにおける変化が生じた変化部分を検出するステップと、
作業データベースが、前記対象エリアで行われる作業に関連する作業情報を記憶するステップと、
データ除外部が、前記作業データベースに記憶されている前記作業情報に基づいて、前記作業に起因して生じた前記変化部分の前記対象データを出力の対象から除外するステップと、
データ出力部が、前記データ除外部で除外されたもの以外の前記変化部分に関連する前記対象データを出力するステップと、
を含む、
点検方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、点検技術に関する。

【背景技術】

【0002】

従来、発電所または工場などのプラントでは、安全な運転を行うために、定期的に点検員が巡視し、膨大な機器の保守点検を行っている。点検員は、巡視中に機器またはその配置なども合わせて目視で確認している。このような保守点検では、現場で点検員が確認した結果を手書きで記録し、事務所に戻ってきてから点検記録を作成している。そのため、人手による作業が多く、作業の省力化を図る取り組みが行われている。例えば、モバイル端末を用いて点検員に点検要領書を提示するとともに、点検員が目視で確認した計器の数値などをモバイル端末に入力することで、手書き作業を除外している。また、点検ロボットを巡回させて点検を行う技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／１８０８９７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

点検員が持ったカメラ、または、点検ロボットに搭載されたカメラで現場の様子をドライブレコーダーのように連続的に撮影し、後日、必要に応じて現場の様子を映像で確認できるシステムが検討されている。このような映像には、不要な部分も多く含まれており、膨大な量の映像を全て見返すとなると、現場を実際に巡回点検するものと同じ時間がかかってしまい、省力化を図ることができない。そこで、現在の映像と過去の映像を比較し、その差分を得る画像処理を行い、変化がある箇所と変化がない箇所を自動的に識別するシステムが検討されている。変化がある箇所は、異常が生じている可能性が高い箇所として重点的に映像の確認ができるようにしている。

【0005】

しかしながら、変化がある箇所であっても、予定通りに生じた変化の場合も有り得る。例えば、現場に置かれた所定の物体の配置の変更が、計画通りになされたものである場合がある。そのため、変化がある箇所を自動的に抽出したとしても、確認する必要がない正常なものが多く含まれている場合がある。この確認の要否に時間を取られてしまい、省力化を図ることができないという課題がある。

【0006】

本発明の実施形態は、このような事情を考慮してなされたもので、点検員に必要な情報のみを提示して省力化を図ることができる点検技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の実施形態に係る点検システムは、移動可能な端末に搭載され、点検の対象となる対象エリアの映像または点群データの少なくとも一方を含む対象データを取得するデータ取得部と、前記データ取得部が前記対象データを取得したときの取得時点を記録する取得時点記録部と、前記対象データを前記取得時点に対応付けて記憶する対象データベースと、複数の前記取得時点が第１取得時点と前記第１取得時点より前の第２取得時点とを含んでおり、前記第１取得時点と前記第２取得時点に対応する前記対象データ同士を比較するデータ比較部と、前記データ比較部による比較結果に基づいて、前記対象エリアにおける変化が生じた変化部分を検出する変化検出部と、前記対象エリアで行われる作業に関連する作業情報を記憶する作業データベースと、前記作業データベースに記憶されている前記作業情報に基づいて、前記作業に起因して生じた前記変化部分の前記対象データを出力の対象から除外するデータ除外部と、前記データ除外部で除外されたもの以外の前記変化部分に関連する前記対象データを出力するデータ出力部と、を備える。

【発明の効果】

【0008】

本発明の実施形態により、点検員に必要な情報のみを提示して省力化を図ることができる点検技術が提供される。

【図面の簡単な説明】

【0009】

【図1】点検システムの点検ロボットを示すブロック図。

【図2】点検システムの変化抽出装置を示すブロック図。

【図3】作業データベースを示すブロック図。

【図4】点検ロボットが点検中の対象エリアの一例を示す平面図。

【図5】点検ロボットが点検中の対象エリアの他の例を示す平面図。

【図6】点検ロボットが取得した映像または点群データを示す画像図。

【図7】マーカーパイロンを示す斜視図。

【図8】点検ロボットが実行するデータ取得処理を示すフローチャート。

【図9】変化抽出装置が実行する変化抽出処理を示すフローチャート。

【図10】変化抽出装置が実行する特定被写体解析処理を示すフローチャート。

【図11】変化抽出装置が実行する対象データ解析処理を示すフローチャート。

【図12】変化抽出装置が実行する対象データ解析処理を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、点検システムおよび点検方法の実施形態について詳細に説明する。

【0011】

図１の符号１は、本実施形態の点検システム１である。この点検システム１は、点検ロボット２と変化抽出装置３とを備える。本実施形態では、発電所または工場などのプラントを点検するために点検システム１を用いる形態を例示する。

【0012】

図４に示すように、点検ロボット２は、プラントにおける点検の対象となる対象エリア４を定期的に巡回し、対象部分５の対象データを取得する。ここで、対象データとは、例えば、対象部分５を撮影した映像、または、対象部分５の形状を示す点群データなどである。これら対象データを記録して点検員が確認できるようにしている。

【0013】

図２に示すように、例えば、点検ロボット２から対象データが変化抽出装置３に送られる。この変化抽出装置３は、プラントから離れた管理事務所などに設けられている。そして、点検員は、変化抽出装置３を介して対象データの確認を行うようにしている。

【0014】

点検ロボット２が巡回点検で取得する対象データは膨大な量になるため、変化抽出装置３は、変化が生じている対象部分５（対象領域）に関する対象データを抽出し、点検員に提示するようにしている。変化が生じた変化部分（変化領域）は、異常が生じている可能性が高い部分であるとして、点検員が重点的に確認できるようにしている。

【0015】

例えば、対象エリア４の同一位置において、最近（今回）取得された対象データと前回以前（過去）の点検時に取得された対象データとを比較することで、対象部分５に変化が生じているか否かを判定する。そして、この変化が生じた変化部分を検出し、これに関連する対象データを出力する。

【0016】

図６に示すように、変化抽出装置３のディスプレイには、点検ロボット２が取得した映像または点群データを示す画像が表示される。例えば、点検ロボット２を基準として所定の撮影方向６を所定の画角７（図５）で撮影したときの映像がディスプレイに表示される。

【0017】

なお、点群データをディスプレイに表示する場合において、同一座標の映像の色彩を取得して点群データに割り当てることで、色付きの点群データとして出力しても良い。

【0018】

対象部分５の位置が前回以前の点検時に取得された位置と異なっている場合には、前回以前の点検時の対象部分５の位置を示す仮想オブジェクト８を表示しても良い。また、対象部分５の形状が前回以前の点検時に以前に取得された形状と異なっている場合には、その異なっている部分を強調するように仮想オブジェクト８を表示しても良い。また、点検員が、対象部分５の３次元的な位置関係を確認できるように俯瞰的に３次元表示を行っても良い。また、変化部分（過去の対象データと比較して差分が生じている部分）を強調するために、この変化部分を任意の色彩で表示させても良い。このようにすれば、点検員が、対象部分５の位置または形状が変化しているか否かを確認できるようになる。

【0019】

図４に示すように、対象部分５としては、例えば、プラントに配置されている所定の機器を例示する。なお、対象部分５は、例えば、装置でも良いし、制御盤でも良いし、荷物でも良いし、製品でも良いし、計器でも良いし、操作スイッチでも良いし、バルブでも良いし、配管でも良いし、センサでも良い。つまり、形状があり映像で撮影できる物体、または点群データが取得できる物体であれば形状寸法は問わない。

【0020】

本実施形態では、対象部分５として所定の機器を例示しているが、対象部分５は、建物の所定の部分、例えば、窓、扉、壁、天井、床、通路、壁の開口部、室内空間の一部の範囲であっても良い。また、巨大な１つの装置の一部が対象部分５であっても良い。さらに、１つの装置の複数箇所が対象部分５であっても良い。つまり、対象部分５とは、建築物または物品を含めた対象エリア４の立体的形状の所定の部分を構成している。

【0021】

移動可能な端末としての点検ロボット２は、自律的に所定のルートを巡回し、点検のための映像の撮影および点群データの取得を行う。なお、点検ロボット２は、データ取得部９を備える。このデータ取得部９は、カメラ１０と３次元測定センサ１１を有する。さらに、点検ロボット２は、データ取得部９を搭載する移動装置１２を備える。

【0022】

本実施形態のカメラ１０としては、全方位を撮影する機能を備えた全方位カメラを例示する。全方位カメラを用いることで、一度に広い範囲を撮影できるようになり、対象部分５に対して走査させる機能などを点検ロボット２に搭載する必要がなくなり、点検ロボット２の機構の簡略化または撮影時間の短縮化が可能となる。

【0023】

データ取得部９は、移動装置１２により搬送される。このデータ取得部９は、移動装置１２の上部に搭載されている。このデータ取得部９は、移動装置１２上で向きを変えられるように首振り機構を有していても良い。そして、データ取得部９は、点検ロボット２の走行時に、その周囲の状況を示す映像または点群データをドライブレコーダーのように記録する。例えば、カメラ１０の場合には、撮影範囲を重複させながら映像の撮影を行う。そのため、所定の地点から他の地点に移動する間に連続的に繋がった対象エリア４の映像を取得することができる。

【0024】

移動装置１２は、データ取得部９を移動させるための車輪および駆動機構（モータ）を備える。なお、点検ロボット２の移動は、自律的に行われる形態を例示するが、人手により遠隔操作で点検ロボット２の移動を行っても良い。

【0025】

本実施形態のカメラ１０で撮影される映像としては、ビデオ映像（動画像）を例示する。ビデオ映像は、静止画像を連続して撮影することで構成される。なお、カメラ１０は、ビデオ映像のみならず、所定の時間間隔ごとに静止画像を撮影しても良い。以下の説明において、「映像」とは、動画像と静止画像の少なくとも一方を示す。

【0026】

また、変化部分であっても、所定の作業計画によって予定通りに生じた変化の場合も有り得る。本実施形態では、そのような予定通りに生じた変化部分を抽出の対象から除外し、異常が生じている可能性が高い変化部分の対象データのみをピックアップし、点検員に提示する。このようにすれば、点検員に確認が必要な対象データのみを提示し、確認作業の省力化を図ることができる。

【0027】

例えば、変化抽出装置３が備える作業データベース２４（図２）は、対象エリア４で行われる作業に関連する作業情報（作業内容）を記憶する。この作業情報には、作業で生じる変化のサイズに関連する変化情報、作業で生じた変化後の形状に関連する形状情報、作業が行われる作業場所の範囲である作業エリアに関連するエリア情報が含まれる。

【0028】

変化情報には、対象エリア４において、変化が生じる位置に関する情報が含まれる。変化情報は、変化が生じる位置に対応付けられても良いし、位置とは無関係であっても良い。なお、作業エリアとは関係ない位置であっても、変化情報を対応付けることができる。また、変化情報には、作業で生じる変化のサイズの範囲、最小値、または最大値に関する情報が含まれる。

【0029】

変化情報としては、様々な態様が考えられる。例えば、作業により対象エリア４に１ｍ四方の荷物が運び込まれる場合には、その荷物のサイズである。また、作業により数センチのボルトが外される場合には、そのボルトのサイズである。これらの荷物またはボルトが対象エリア４の対象部分５となる。ここで、作業前の対象エリア４と比較した場合には、作業後にこれらの対象部分５が変化部分となって検出される。これらの変化部分は、作業により予定通りに生じたものであるため、出力の対象から除外される。

【0030】

なお、本実施形態の変化のサイズとは、対象部分５が対象エリア４に占める少なくとも面積を示す。対象部分５が移動可能な物体である場合には、その設置面積である。また、本実施形態の変化のサイズは、対象部分５の体積であっても良い。

【0031】

また、対象データが映像である場合には、映像中における変化が生じた領域の画素数が変化情報に含まれる。また、対象データが点群データである場合には、点群データ中における変化が生じた領域の体積が変化情報に含まれる。また、形状について変化が生じる場合には、変化が生じた領域のアスペクト比が変化情報に含まれる。これらの変化情報を、作業が行われる位置または作業内容に紐付けておく。

【0032】

具体的に説明する。対象エリア４の所定の位置で、作業により１ｍ四方の荷物が移動するものとする。この荷物の移動は、点検員が確認する必要がない事項であるため、この荷物に関する対象データ（映像または点群データ）を、出力の対象から除外する必要がある。その場合には、変化情報として登録される変化のサイズの最小値を荷物のサイズ（１ｍ）よりも小さくする。

【0033】

そして、対象エリア４で変化が生じた変化部分が検出されたときに、その変化部分のサイズが登録されたサイズ（１ｍ）よりも大きい場合には、荷物が対象エリア４で移動したものと見なして対象データの出力の対象から除外する。なお、このような場合であっても、数センチのボルトが紛失しているときには、変化部分として検出され、その対象データを出力することができる。

【0034】

一方、対象エリア４の所定の位置で、作業により５ｃｍのボルトが取り外されるものとする。このボルトの取り外しは、点検員が確認する必要がない事項であるため、このボルトに関する対象データ（映像または点群データ）を、出力の対象から除外する必要がある。その場合には、変化情報として登録される変化のサイズの最大値をボルトのサイズ（５ｃｍ）よりも大きくする。

【0035】

そして、対象エリア４で変化が生じた変化部分が検出されたときに、その変化部分のサイズが登録されたサイズ（５ｃｍ）よりも小さい場合には、ボルトが作業で取り外されたものと見なして対象データの出力の対象から除外する。なお、このような場合であっても、１ｍ四方の荷物が移動しているときには、変化部分として検出され、その対象データを出力することができる。

【0036】

変化情報として登録される変化のサイズの最小値または最大値を適宜設定することで、対象データの出力の対象から除外する処理の精度を向上させることができる。なお、変化情報として登録される変化のサイズの最小値および最大値の双方を同時に設定しても良い。

【0037】

形状情報には、対象エリア４において、変化が生じる位置に関する情報が含まれる。形状情報は、変化が生じる位置に対応付けられても良いし、位置とは無関係であっても良い。なお、作業エリアとは関係ない位置であっても、形状情報を対応付けることができる。また、形状情報には、作業で生じた変化後の形状の範囲、最小値、または最大値に関する情報が含まれる。

【0038】

形状情報としては、様々な態様が考えられる。例えば、作業前に対象エリア４に箱状の物体が置かれている場合に、この物体が作業後に球状の物体と置き換わったとする。その場合は、球状の形状が変化後の形状に関連する形状情報となる。この置き換わる部分が対象エリア４の対象部分５となる。そして、作業前の対象エリア４と比較した場合には、作業後にこの対象部分５が変化部分となって検出される。この変化部分は、作業により予定通りに生じたものであるため、出力の対象から除外される。

【0039】

なお、変化情報または形状情報は、点検員が確認の対象から除外したい対象部分５のサイズまたは形状に基づいて設定しても良い。

【0040】

例えば、点検員が、大きな物体の移動の有無のみを確認し、小さい物体の移動の有無を確認する必要が無い場合には、小さい物体のサイズに合わせて変化情報を設定する。例えば、変化のサイズの最大値を小さい物体のサイズに設定する。すると、この最大値以下の変化部分が出力の対象から除外される。

【0041】

また、点検員が、ボルトの緩みの有無などの数ミリの変化のみを確認したい場合には、数ミリ以上のサイズの変化部分が出力の対象から除外されるように変化情報を設定する。例えば、変化のサイズの最小値を数ミリに設定する。すると、この最小値以上の変化部分が出力の対象から除外される。

【0042】

つまり、本実施形態において、作業データベース２４（図２）に記憶される「作業情報」という用語は、点検員が「確認の対象から除外したい事象に関する情報」の意味が含まれている。作業データベース２４には、主に作業情報が記憶されるが、作業情報以外の情報（作業とは無関係の情報）が記憶されても良い。

【0043】

本実施形態の作業データベース２４（図２）は、例えば、事前に計画され、変化が検出されることが予想される作業エリアを２次元または３次元の範囲として記憶する。２次元の範囲の垂直方向の範囲（空間）は、全て作業エリアであるものとして記憶される。また、この作業エリアに関するエリア情報には、所定の作業内容が対応付けられた状態で記憶される。

【0044】

エリア情報としては、様々な態様が考えられる。例えば、対象エリア４の所定の範囲を予め作業エリアをして登録する。この作業エリアとして登録された範囲で変化部分が生じても、作業により予定通りに生じたものであるため、出力の対象から除外される。

【0045】

図４に示すように、例えば、予め１つの特定被写体としてのマーカー４６を対象エリア４に設置しておく。マーカー４６は、点検ロボット２のカメラ１０で撮影される。変化抽出装置３は、点検ロボット２が撮影した映像に基づいて、マーカー４６の位置を特定する。本実施形態では、まず、点検ロボット２の自己位置を特定する。次に、この点検ロボット２からマーカー４６までの距離および方向を映像に基づいて特定する。そして、マーカー４６の位置（点検ロボット２に対する相対的な位置）を特定する。

【0046】

変化抽出装置３は、このマーカー４６の周囲、例えば、平面視でマーカー４６から所定の半径４７の円４８に含まれる範囲を作業エリアとして登録する。この作業エリアとして登録された範囲で変化部分が生じても、予定通りに生じたものであるとして対象データの出力の対象から除外される。

【0047】

図５に示すように、例えば、予め複数（例えば、３つ）の特定被写体としての対象エリア４にマーカー４６を設置しておく。これらのマーカー４６は、点検ロボット２のカメラ１０で撮影される。変化抽出装置３は、点検ロボット２が撮影した映像に基づいて、それぞれのマーカー４６の位置を特定する。そして、これらのマーカー４６で囲まれた範囲４９を作業エリアとして登録する。この作業エリアとして登録された範囲で変化部分が生じても、予定通りに生じたものであるとして対象データの出力の対象から除外される。

【0048】

なお、変化抽出装置３は、３次元測定センサ１１で得られる点群データに基づいて、マーカー４６の位置を特定しても良い。

【0049】

図７に示すように、本実施形態では、作業を行う場所にマーカーパイロン５０が設置される。マーカーパイロン５０は、作業エリアの区分けを目的として置かれる保安器具である。このような保安器具は、例えば、三角コーン、ロードコーン、セーフティーコーンなどとも呼ばれている。

【0050】

マーカーパイロン５０の上部には、マーカー４６が描かれている。マーカー４６は、画像認識が可能な図形である。例えば、マトリックス型２次元コード、所謂ＱＲコード（登録商標）をマーカー４６として用いる。

【0051】

また、マーカー４６には、対応するマーカー４６を個々に識別可能なマーカーＩＤを示す情報が含まれる。このようにすれば、複数のマーカー４６をそれぞれ識別することができる。

【0052】

なお、本実施形態では、マーカーパイロン５０の上部に特定被写体としてもマーカー４６を設けているが、その他の態様であっても良い。例えば、マーカーパイロン５０自体を特定被写体としても良い。マーカーパイロン５０の色彩または形状を所定の構成することで、特定被写体として画像認識が可能なものとしても良い。なお、所定の立て看板を特定被写体として用いても良い。また、立ち入り禁止を示す標識テープを特定被写体として用いても良い。

【0053】

なお、本実施形態では、マーカーパイロン５０の上部にマーカー４６を設けているが、その他の態様であっても良い。例えば、マーカー４６が描かれた印刷物を地面または壁に貼り付けても良い。

【0054】

次に、点検システム１のシステム構成を図１から図３に示すブロック図を参照して説明する。

【0055】

図１に示すように、点検ロボット２は、データ取得部９と移動装置１２とモーションセンサ１３と記憶部１４と通信部１５とロボット制御部１６とを備える。データ取得部９は、カメラ１０と３次元測定センサ１１とを備える。

【0056】

ロボット制御部１６は、取得時点記録部１７と取得位置計測部１８と取得方向計測部１９とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0057】

データ取得部９のカメラ１０および３次元測定センサ１１で取得した対象データは、ロボット制御部１６に入力される。これら対象データは、点検ロボット２の記憶部１４に記憶されるとともに、変化抽出装置３に送信される。

【0058】

カメラ１０は、点検ロボット２の周辺の物体を可視光により撮影する。例えば、レンズ付きの画像素子を備えている。このカメラ１０は、対象部分５が写る映像を撮影する。本実施形態のカメラ１０は、ビデオ映像の撮影を行う。なお、カメラ１０は、一定の画角および拡大率で撮影を行っても良いし、画角および拡大率を撮影の途中で変更しても良い。

【0059】

本実施形態では、カメラ１０で撮影された映像に基づいて、点検ロボット２の位置、つまり撮影位置を測定する。そして、この撮影位置で過去に撮影された映像と最近（現在）撮影された映像とを比較することにより、対象部分５の変化または異常を検出する。さらに確認が不要な映像を除外することで、点検員の確認作業の負担を軽減する。また、点検員が点群データに基づいて対象部分５の確認を行うときも同様に、確認が不要な点群データを除外するようにする。

【0060】

３次元測定センサ１１は、点検ロボット２の周辺の物体の３次元形状を測定する。３次元測定センサ１１としては、例えば、深度センサが用いられる。なお、３次元測定センサ１１として赤外線センサまたはＬｉＤＡＲなどのレーザセンサを用いても良い。

【0061】

この３次元測定センサ１１は、例えば、物体にレーザを投光してその反射光を受光素子により受光することで、３次元測定センサ１１から物体までの距離を測定することができる。３次元測定センサ１１は、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Time of Flight）方式を用いて、３次元測定センサ１１から周辺の物体までの距離を測定して３次元点群化することができる。なお、カメラ１０による撮影方向６と３次元測定センサによる測定方向６は一致している（図４から図５）。

【0062】

モーションセンサ１３は、慣性センサ（３軸加速度センサと３軸角速度センサ）と３軸地磁気センサを組み合わせた９軸センサとなっている。このモーションセンサ１３は、点検ロボット２に搭載され、この点検ロボット２が移動したときに生じる加速度を検出する。また、このモーションセンサ１３により重力加速度（鉛直方向）の検出も行える。さらに、モーションセンサ１３は、この点検ロボット２の筐体の姿勢が変化したときに生じる角速度を検出する。この角速度の値と加速度の値とを合わせて、この点検ロボット２の筐体の姿勢を特定することで、カメラ１０の撮影方向６および３次元測定センサ１１の測定方向６を把握することができる（図４から図５）。なお、地磁気により点検ロボット２の姿勢を把握することもできる。

【0063】

モーションセンサ１３で検出された加速度の値と角速度の値は、ロボット制御部１６に入力される。これらの値は、点検ロボット２の記憶部１４に記憶されるとともに、変化抽出装置３に送信される。

【0064】

記憶部１４は、点検ロボット２が巡回点検を行うときに必要な所定の情報を記憶する。また、カメラ１０で撮影された映像と３次元測定センサ１１で取得した点群データを記憶する。

【0065】

通信部１５は、インターネットなどの通信回線を介して変化抽出装置３と通信を行う。
なお、本実施形態では、点検ロボット２と変化抽出装置３がインターネットを介して互いに接続されているが、その他の態様であっても良い。例えば、ＬＡＮ(Local Area Network)、ＷＡＮ（Wide Area Network）または携帯通信網を介して互いに接続されても良い。

【0066】

ロボット制御部１６は、点検ロボット２を統括的に制御する。このロボット制御部１６は、主にデータ取得部９に関する処理および変化抽出装置３との通信処理を制御する。

【0067】

取得時点記録部１７は、データ取得部９が対象データを取得したときの取得時点を記録する。なお、本実施形態の取得時点は、取得時刻として記録される。この取得時刻は、時間の経過を計時するＲＴＣ（Real-Time Clock）が出力する日付および時刻を含むカレンダ情報に基づいて記録される。つまり、カメラ１０による映像の撮影時刻、または、３次元測定センサ１１による点群データの測定時刻が記録される。

【0068】

なお、本実施形態の時刻とは、所定の期間または時間帯の意味を含む。つまり、午前１０時という時刻を示す場合に、午前１０時０分のみを示す態様のみならず、午前１０時０分から５９分までの期間（時間帯）を示す場合も有り得る。

【0069】

取得位置計測部１８は、データ取得部９が対象データを取得したときのデータ取得部９（点検ロボット２）の位置を計測する。つまり、カメラ１０の撮影位置および３次元測定センサ１１の測定位置を計測する。例えば、カメラ１０がビデオ映像の撮影を行う場合には、ビデオ映像のフレーム（画像）ごとに撮影位置の計測を行う。

【0070】

本実施形態において、取得位置計測部１８は、点検ロボット２の自己位置および自己姿勢を特定することができる。例えば、ＧＰＳ（Global Positioning System）などの位置測定システムを有していても良い。さらに、ＩＭＵ（inertial measurement unit）などの慣性計測システムを有していても良い。

【0071】

また、取得位置計測部１８の自己位置および自己姿勢の変位の算出に用いる位置推定技術には、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの公知の技術を用いることができる。

【0072】

本実施形態の点検ロボット２は、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）を用いて、カメラ１０で撮影された映像に基づいて、その位置および姿勢の変位を算出することができる。つまり、点検ロボット２は、例えば、屋内などのＧＰＳが使用できない場所でも自己位置を推定することができる。

【0073】

ＶＳＬＡＭ技術では、点検ロボット２のカメラ１０および３次元測定センサ１１などの所定のデバイスで取得した情報を用いて、周囲の物体の特徴点を抽出する。そして、カメラ１０で撮影した映像を解析し、物体の特徴点（例えば、角などの物体の部分）をリアルタイムに追跡する。そして、点検ロボット２の位置または姿勢の３次元情報を推定する。

【0074】

取得方向計測部１９は、対象データを取得したときにデータ取得部９が向いている取得方向６を計測する（図４から図５）。つまり、カメラ１０の撮影方向６および３次元測定センサ１１の測定方向６を計測する。例えば、カメラ１０がビデオ映像の撮影を行う場合には、ビデオ映像のフレーム（画像）ごとに撮影方向６の計測を行う。

【0075】

点検ロボット２（データ取得部９）の筐体の水平方向および垂直方向の傾きの測定に基づいて取得される。例えば、取得方向計測部１９は、モーションセンサ１３による検出信号に基づいて、カメラ１０の撮影方向６および３次元測定センサ１１の測定方向６を計測する（図４から図５）。

【0076】

ロボット制御部１６は、データ取得部９が取得した対象データに取得時点と取得位置と取得方向とを対応付けて記憶する。この対象データは、点検ロボット２の記憶部１４に記憶されるとともに、変化抽出装置３に送信される。

【0077】

なお、点検ロボット２から変化抽出装置３への対象データの送信は、リアルタイムで行っても良いし、点検ロボット２の巡回点検終了後に行っても良い。

【0078】

図２に示すように、変化抽出装置３は、通信部２０と入力部２１と出力部２２と記憶部２３と作業データベース２４と対象データベース２５と抽出データベース２６とメイン制御部２７とを備える。

【0079】

本実施形態の変化抽出装置３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の点検方法は、各種プログラムをコンピュータに実行させることで実現される。

【0080】

変化抽出装置３の各構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて１つのシステムを実現しても良い。

【0081】

メイン制御部２７は、データ比較部２８と変化検出部２９とデータ除外部３０とデータ出力部３１とサイズ計測部３２とサイズ判定部３３と形状計測部３４と形状判定部３５と位置計測部３６と位置判定部３７と被写体位置特定部３８と作業エリア設定部３９とカウント部４０と検出回数判定部４１とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0082】

通信部２０は、インターネットなどの通信回線を介して点検ロボット２または他のコンピュータと通信を行う。なお、本実施形態では、変化抽出装置３と点検ロボット２または他のコンピュータとがインターネットを介して互いに接続されているが、その他の態様であっても良い。例えば、ＬＡＮ(Local Area Network)、ＷＡＮ（Wide Area Network）または携帯通信網を介して互いに接続されても良い。

【0083】

入力部２１は、変化抽出装置３を使用するユーザ（例えば、点検員）の操作に応じて所定の情報が入力される。この入力部２１には、マウスまたはキーボードなどの入力装置が含まれる。つまり、これら入力装置の操作に応じて所定の情報が入力部２１に入力される。本実施形態では、作業エリアなどの予め決められた作業に関する情報が入力部２１を介して入力される。

【0084】

出力部２２は、所定の情報の出力を行う。本実施形態の変化抽出装置３には、解析結果の出力を行うディスプレイなどの画像の表示を行う装置が含まれる。つまり、出力部２２は、ディスプレイに表示される画像の制御を行う。なお、ディスプレイはコンピュータ本体と別体であっても良いし、一体であっても良い。さらに、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される画像の制御を出力部２２が行っても良い。

【0085】

なお、本実施形態では、画像の表示を行う装置としてディスプレイを例示するが、その他の態様であっても良い。例えば、ヘッドマウントディスプレイまたはプロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイの替りとして用いても良い。つまり、出力部２２が制御する対象として、ヘッドマウントディスプレイ、プロジェクタまたはプリンタが含まれても良い。

【0086】

記憶部２３は、それぞれのデータベース２４，２５，２６に記憶された情報に基づいて変化抽出処理を行うときに必要な各種情報を記憶する。また、記憶部２３には、変化抽出処理を行うときに必要な各種情報が記憶される。

【0087】

作業データベース２４と対象データベース２５と抽出データベース２６は、メモリ、ＨＤＤまたはクラウドに記憶され、検索または蓄積ができるよう整理された情報の集まりである。

【0088】

作業データベース２４は、対象エリア４で行われる作業に関連する作業情報を記憶する。作業データベース２４には、点検ロボット２で点検を行うときに、予め作業情報が記憶される。なお、点検ロボット２が点検を行う途中で作業情報が作業データベース２４に記憶されても良い。

【0089】

対象データベース２５は、この対象データを取得時点と取得位置と取得方向とに対応付けて記憶する。この対象データベース２５は、それぞれの対象データを個々に識別可能な対象ＩＤに対応付けて、対象データが取得された日付と時刻とを記憶する。例えば、変化抽出装置３は、点検ロボット２から対象データを受信した場合に、受信した対象データを対象データベース２５に記憶する。

【0090】

なお、対象データベース２５には、点検ロボット２により取得された対象データのみならず、対象エリア４または対象部分５の設計情報などを含む３次元情報が記憶される。つまり、対象データベース２５は、３次元データベースを含む。

【0091】

抽出データベース２６は、変化抽出装置３で抽出された変化部分に関連する対象データを記憶する。この抽出データベース２６は、出力の対象となった変化部分の対象データを対象ＩＤに対応付けて記憶する。

【0092】

図３に示すように、作業データベース２４は、作業日時登録部４２と作業エリア登録部４３と変化サイズ登録部４４と変化形状登録部４５とを備える。

【0093】

作業日時登録部４２は、それぞれの作業を個々に識別可能な作業ＩＤに対応付けて、対象エリア４で行われる作業の日付および時刻が登録される。つまり、作業データベース２４は、作業情報を日付および時刻に対応付けて記憶している。

【0094】

作業エリア登録部４３は、それぞれの作業を個々に識別可能な作業ＩＤに対応付けて、作業が行われる作業場所の範囲である作業エリアに関連するエリア情報が登録される。

【0095】

変化サイズ登録部４４は、それぞれの作業を個々に識別可能な作業ＩＤに対応付けて、作業で生じる変化のサイズに関連する変化情報が登録される。

【0096】

変化形状登録部４５は、それぞれの作業を個々に識別可能な作業ＩＤに対応付けて、作業で生じた変化後の形状に関連する形状情報が登録される。

【0097】

図２に示すように、メイン制御部２７は、変化抽出装置３を統括的に制御する。このメイン制御部２７は、点検員に確認が必要な対象データのみを提示するための変化抽出処理および点検ロボット２との通信処理を制御する。

【0098】

データ比較部２８は、第１取得時点と第２取得時点に対応する対象データ同士を比較する。本実施形態では、第２取得時点が、第１取得時点よりも前（過去）の時点となっている。例えば、最近（今回）の点検で取得した対象データがある場合に、この対象データと前回以前の点検で取得した対象データとを比較する。

【0099】

本実施形態では、点検ロボット２が定期的に対象エリア４を巡回している。点検ロボット２による点検は、１時間毎でも良いし、１日毎でも良いし、１週間毎でも良いし、数か月毎でも良い。変化抽出装置３は、点検毎に対象データを対象データベース２５に記憶する。そして、データ比較部２８は、取得された点検時（取得時点）が異なる対象データを比較する。

【0100】

なお、前回以前（過去）の点検で取得した対象データは、最近（今回）の点検で取得した対象データと同一位置で取得されていない場合も有り得る。その場合には、前回以前（過去）の点検で取得した対象データを自動的に補正しても良い。

【0101】

例えば、対象データが映像である場合において、過去の映像は、今回撮影された位置の近傍で撮影されたものであり、必ずしも映像上の位置が一致しないことがある。そのような場合には、映像の特徴を利用した位置合わせにより、映像上の位置を補正してから、今回の映像と過去の映像とを比較しても良い。ここで、過去の映像を補正しても良いし、今回撮影された映像を補正しても良いし、その両方の映像を補正しても良い。

【0102】

また、データ比較部２８は、対象部分５の位置に基づいて、対応する位置の３次元情報を対象データベース２５から抽出する。このとき、対象部分５の位置に基づいて、３次元情報の変換処理を行う。例えば、最近（今回）の点検で取得した対象データが映像の場合には、この変換処理で、同じ撮影位置から見たときの対象部分５の形状を３次元情報に基づいて構築する。そして、この構築された形状と、最近（今回）の点検で取得した映像の対象部分５の形状とを比較することで、その差分を抽出する。

【0103】

また、３次元情報に基づいて構築された形状と、最近（今回）の点検で取得した点群データの対象部分５の形状とを比較する場合において、比較元の各点について一定範囲内に比較先の点群が存在するか否かを判定しても良い。ここで、密度または微細な位置ズレに対応できるように、任意の大きさでボクセルに変換した後に、映像と同様の方法で比較しても良い。

【0104】

変化検出部２９は、データ比較部２８による比較結果に基づいて、対象エリア４における変化が生じた変化部分を検出する。なお、変化部分とは、データ比較部２８で比較した対象データ同士の差分を含む。つまり、変化抽出装置３は、対象データの差分を抽出することができる。

【0105】

データ除外部３０は、作業データベース２４に記憶されている作業情報に基づいて、作業に起因して生じた変化部分の対象データを出力の対象から除外する。

【0106】

また、データ比較部２８は、同一時刻に取得された対象データ同士を比較する。例えば、所定の日における午前１０時（第１取得時点）に対象データを取得した場合には、この対象データを、所定の日とは異なる日における午前１０時（第２取得時点）に取得された対象データと比較を行う。

【0107】

このようにすれば、同一時刻に取得された対象データ同士は、同様な状況で取得されるため、変化が生じている場合にその変化した部分を他の部分と識別し易くなる。例えば、同一時刻であれば、対象エリア４に存在する所定の物体に当たる太陽光または照明の加減が同様になるため、同様な映像を取得することができる。

【0108】

データ比較部２８は、対象データベース２５から、比較対象と成り得る同一時刻の対象データを抽出する態様のみならず、対象データベース２５から、比較対象と成り得る環境条件が似ている映像を抽出しても良い。所定の物体に当たる太陽光または照明の加減が同様になるものであれば、異なる時刻の対象データ同士を比較しても良い。

【0109】

また、データ除外部３０は、対象データが取得された時刻に対応付けられた作業情報に基づいて、作業に起因して生じた変化部分の対象データを出力の対象から除外する。このようにすれば、対象データが取得された時刻に対応する作業情報に基づいて処理を行うため、処理の精度を向上させることができる。

【0110】

データ出力部３１は、データ除外部３０で除外された変化部分の対象データ以外の変化部分に関連する対象データを出力する。なお、この出力される対象データは、抽出データベース２６に記憶される。つまり、抽出データベース２６には、除外された変化部分の対象データ以外の変化部分に関連する対象データが蓄積される。

【0111】

サイズ計測部３２は、データ比較部２８による比較結果に基づいて、変化検出部２９で検出された変化部分のサイズを計測する。

【0112】

サイズ判定部３３は、変化部分のサイズが対象エリア４で行われる作業で生じる変化のサイズの範囲内であるか否かを判定する。このサイズ判定部３３は、作業データベース２４に記憶されている作業で生じる変化のサイズと、点検ロボット２の点検により検出された変化部分のサイズと比較し、その判定を行う。

【0113】

なお、データ除外部３０は、サイズ判定部３３において、作業で生じる変化のサイズの範囲内であると判定された変化部分の対象データを出力の対象から除外する。このようにすれば、変化部分のサイズに基づいて、作業に起因して生じた変化部分の対象データを出力の対象から除外するか否かを判定することができる。

【0114】

形状計測部３４は、データ比較部２８による比較結果に基づいて、変化検出部２９で検出された変化部分の形状を計測する。

【0115】

形状判定部３５は、変化部分の形状が作業で生じた変化後の形状であるか否かを判定する。この形状判定部３５は、作業データベース２４に記憶されている作業で生じた変化後の形状と、点検ロボット２の点検により検出された変化部分の形状と比較し、その判定を行う。

【0116】

なお、データ除外部３０は、形状が作業で生じた変化後の形状である変化部分の対象データを出力の対象から除外する。このようにすれば、変化部分の形状に基づいて、作業に起因して生じた変化部分の対象データを出力の対象から除外するか否かを判定することができる。

【0117】

位置計測部３６は、データ比較部２８による比較結果に基づいて、変化検出部２９で検出された変化部分の位置を計測する。

【0118】

位置判定部３７は、変化部分の位置が作業エリアに含まれているか否かを判定する。この位置判定部３７は、作業データベース２４に記憶されている作業エリアと、点検ロボット２の点検により検出された変化部分の位置と比較し、その判定を行う。

【0119】

なお、データ除外部３０は、発生した位置が作業エリアに含まれている変化部分の対象データを出力の対象から除外する。このようにすれば、変化部分の位置に基づいて、作業に起因して生じた変化部分の対象データを出力の対象から除外するか否かを判定することができる。

【0120】

被写体位置特定部３８は、特定被写体としてのマーカー４６の位置を特定する。例えば、データ取得部９が、対象エリア４に設けられているマーカー４６の映像または点群データの少なくとも一方を含む被写体データを取得する。そして、被写体位置特定部３８は、被写体データに基づいて、マーカー４６の位置を特定する。

【0121】

作業エリア設定部３９は、マーカー４６の位置の周囲を作業エリアとして設定する。例えば、マーカー４６から所定の半径４７の円４８に含まれる範囲を作業エリアとして設定する（図４）。この設定された作業エリアは、作業データベース２４の作業エリア登録部４３に登録される。このようにすれば、作業を行う作業員が、実際の対象エリア４にマーカー４６を設けることで、その周囲を作業エリアとして自動的に設定することができる。

【0122】

また、作業エリア設定部３９は、３つ以上のマーカー４６が設けられている場合には、これらのマーカー４６で囲まれた範囲を作業エリアとして設定する。例えば、これらのマーカー４６で囲まれた範囲４９を作業エリアとして設定する（図５）。このようにすれば、作業員が、実際の対象エリアで所定の範囲を特定被写体で囲むことで、その範囲を作業エリアとして自動的に設定することができる。

【0123】

本実施形態では、所定の範囲内に３つ以上のマーカー４６が設けられている場合には、これらのマーカー４６で囲まれた範囲を作業エリアとして設定する。また、所定の範囲内に２つ以下のマーカー４６が設けられている場合には、それぞれのマーカー４６の位置の周囲を作業エリアとして設定する。

【0124】

カウント部４０は、対象データが一定期間に複数回取得される場合において、対象エリア４における同一の部分で生じた変化部分の検出回数をカウントする。

【0125】

検出回数判定部４１は、一定期間の全取得回数のうち、所定の変化部分の検出回数が所定の閾値以上であるか否かを判定する。

【0126】

所定の閾値は、予め設定しておく。また、対象エリア４を所定の範囲毎に区分けし、これら範囲毎に異なる閾値を設定しても良い。

【0127】

例えば、対象エリア４の所定の範囲において、１日１回の点検を一週間（一定期間）行うものとする。ここで、７回（全取得回数）のうち、３回以上を閾値とする。この場合において、検出回数判定部４１は、変化部分の検出回数が３回以上であるか否かを判定する。

【0128】

なお、データ除外部３０は、検出回数が閾値以上である変化部分の対象データを出力の対象から除外する。このようにすれば、検出回数が閾値以上である場合には、確認する必要がない正常なものであると擬制し、この変化部分の対象データを出力の対象から除外することができる。

【0129】

例えば、一般的な点検では、変化部分として１度検出されると、即座に点検員による点検または保守などの所定の対処が行われる。そのため、変化部分として複数回（継続的に）検出されるものは、点検または保守などの対処の必要が無いものと見なす（推定する）ことができる。データ除外部３０は、このような変化部分の対象データを出力の対象から除外することができる。

【0130】

このような変化部分の態様としては、例えば、対象エリア４に所定の道具が置かれたり、ごみ箱が置かれたりした場合が考えられる。これらの物品は、作業に関するものであっても、作業データベース２４に予め登録されることが無い。これらの点検の必要が無いものを出力の対象から除外することができる。

【0131】

なお、メイン制御部２７は、検出回数が閾値以上である変化部分の位置の周囲を作業エリアとして自動的に設定し、この作業エリアに関するエリア情報を作業データベース２４に記憶する。

【0132】

次に、点検ロボット２が実行するデータ取得処理について図８のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。この処理は、一定時間毎に繰り返される処理である。

【0133】

まず、ステップＳ１１において、移動可能な端末である点検ロボット２に搭載されたデータ取得部９は、点検の対象となる対象エリア４の映像または点群データの少なくとも一方を含む対象データを取得する。例えば、カメラ１０は、対象部分５が写る映像の撮影を行う。また、３次元測定センサ１１は、対象部分５の形状を示す点群データの取得を行う。

【0134】

次のステップＳ１２において、取得時点記録部１７は、データ取得部９が対象データを取得したときの取得時点を記録する。

【0135】

次のステップＳ１３において、取得位置計測部１８は、データ取得部９が対象データを取得したときのデータ取得部９（点検ロボット２）の位置を計測する。

【0136】

次のステップＳ１４において、取得方向計測部１９は、対象データを取得したときにデータ取得部９が向いている取得方向６を計測する。

【0137】

次のステップＳ１５において、ロボット制御部１６は、データ取得部９が取得した対象データに取得時点と取得位置と取得方向とを対応付けて記憶する。さらに、ロボット制御部１６は、対象データを変化抽出装置３に送信する。そして、データ取得処理を終了する。

【0138】

次に、変化抽出装置３が実行する変化抽出処理について図９のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。この処理は、一定時間毎に繰り返される処理である。

【0139】

まず、ステップＳ２１において、メイン制御部２７は、入力部２１を介して新たな作業情報の入力があるか否かを判定する。ここで、新たな作業情報の入力がない場合（ステップＳ２１でＮＯの場合）は、ステップＳ２３に進む。一方、新たな作業情報の入力がある場合（ステップＳ２１でＹＥＳの場合）は、ステップＳ２２に進む。

【0140】

ステップＳ２２において、メイン制御部２７は、入力された作業情報を作業データベース２４に記憶する。

【0141】

次のステップＳ２３において、メイン制御部２７は、点検ロボット２から新たな対象データを受信したか否かを判定する。ここで、対象データを受信していない場合（ステップＳ２３でＮＯの場合）は、変化抽出処理を終了する。一方、対象データを受信した場合（ステップＳ２３でＹＥＳの場合）は、ステップＳ２４に進む。

【0142】

ステップＳ２４において、メイン制御部２７は、受信した対象データを対象データベース２５に記憶する。ここで、メイン制御部２７は、対象データを取得時点と取得位置と取得方向とに対応付けて記憶する。

【0143】

次のステップＳ２５において、メイン制御部２７は、後述の特定被写体解析処理（図１０）を実行する。

【0144】

次のステップＳ２６において、メイン制御部２７は、後述の対象データ解析処理（図１１から図１２）を実行する。

【0145】

次のステップＳ２７において、データ出力部３１は、データ除外部３０で除外された変化部分の対象データ以外の変化部分に関連する対象データを出力する。

【0146】

次のステップＳ２８において、データ出力部３１は、出力した対象データを抽出データベース２６に記憶する。そして、変化抽出処理を終了する。

【0147】

次に、変化抽出装置３が実行する特定被写体解析処理について図１０のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。この処理は、一定時間毎に繰り返される処理である。

【0148】

まず、ステップＳ３１において、被写体位置特定部３８は、受信した対象データがマーカー４６に関する被写体データを含んでいるか否かを判定する。ここで、対象データが被写体データを含んでいない場合（ステップＳ３１でＮＯの場合）は、特定被写体解析処理を終了する。一方、対象データが被写体データを含んでいる場合（ステップＳ３１でＹＥＳの場合）は、ステップＳ３２に進む。

【0149】

ステップＳ３２において、被写体位置特定部３８は、対象データに含まれる被写体データが、新たに取得された被写体データであるか否かを判定する。ここで、新たに取得された被写体データでない場合（ステップＳ３２でＮＯの場合）は、特定被写体解析処理を終了する。一方、新たに取得された被写体データである場合（ステップＳ３２でＹＥＳの場合）は、ステップＳ３３に進む。

【0150】

ステップＳ３３において、被写体位置特定部３８は、特定被写体としてのマーカー４６の位置を特定する。

【0151】

次のステップＳ３４において、作業エリア設定部３９は、所定の範囲内に３つ以上のマーカー４６が設けられているか否かを判定する。ここで、所定の範囲内に３つ以上のマーカー４６が設けられていない場合（ステップＳ３４でＮＯの場合）は、ステップＳ３５に進む。一方、所定の範囲内に３つ以上のマーカー４６が設けられている場合（ステップＳ３４でＹＥＳの場合）は、ステップＳ３６に進む。

【0152】

ステップＳ３５において、作業エリア設定部３９は、マーカー４６の位置の周囲を作業エリアとして設定する。そして、ステップＳ３７に進む。

【0153】

ステップＳ３６において、作業エリア設定部３９は、マーカー４６で囲まれた範囲を作業エリアとして設定する。そして、ステップＳ３７に進む。

【0154】

ステップＳ３７において、作業エリア設定部３９は、新たに設定された作業エリアに関する作業情報を作業データベース２４に記憶する。そして、特定被写体解析処理を終了する。

【0155】

次に、変化抽出装置３が実行する対象データ解析処理について図１１から図１２のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。この処理は、一定時間毎に繰り返される処理である。

【0156】

図１１に示すように、まず、ステップＳ４１において、データ比較部２８は、点検ロボット２から受信した新たな対象データ（第１取得時点のデータ）に対応する過去の対象データ（第２取得時点のデータ）があるか否かを判定する。ここで、過去の対象データがない場合（ステップＳ４１でＮＯの場合）は、対象データ解析処理を終了する。一方、過去の対象データがある場合（ステップＳ４１でＹＥＳの場合）は、ステップＳ４２に進む。

【0157】

ステップＳ４２において、データ比較部２８は、データ比較処理を実行する。ここで、データ比較部２８は、第１取得時点（今回）と第２取得時点（過去）に対応する対象データ同士を比較する。

【0158】

ステップＳ４３において、変化検出部２９は、変化検出処理を実行する。ここで、変化検出部２９は、データ比較部２８による比較結果に基づいて、対象エリア４における変化が生じた変化部分を検出する。

【0159】

次のステップＳ４４において、変化検出部２９は、変化部分が検出されたか否かを判定する。ここで、変化部分が検出されない場合（ステップＳ４４でＮＯの場合）は、対象データ解析処理を終了する。一方、変化部分が検出された場合（ステップＳ４４でＹＥＳの場合）は、ステップＳ４５に進む。

【0160】

ステップＳ４５において、サイズ計測部３２は、変化検出処理で検出された変化部分のサイズを計測する。

【0161】

次のステップＳ４６において、サイズ判定部３３は、変化部分のサイズが対象エリア４で行われる作業で生じる変化のサイズの範囲内であるか否かを判定する。ここで、変化部分のサイズが作業で生じる変化のサイズの範囲内である場合（ステップＳ４６でＹＥＳの場合）は、ステップＳ５６に進む。一方、変化部分のサイズが作業で生じる変化のサイズの範囲内でない場合（ステップＳ４６でＮＯの場合）は、ステップＳ４７に進む。

【0162】

ステップＳ４７において、形状計測部３４は、変化検出処理で検出された変化部分の形状を計測する。

【0163】

次のステップＳ４８において、形状判定部３５は、変化部分の形状が作業で生じた変化後の形状であるか否かを判定する。ここで、変化部分の形状が作業で生じた変化後の形状である場合（ステップＳ４８でＹＥＳの場合）は、ステップＳ５６に進む。一方、変化部分の形状が作業で生じた変化後の形状でない場合（ステップＳ４８でＮＯの場合）は、ステップＳ４９に進む。

【0164】

ステップＳ４９において、位置計測部３６は、変化検出処理で検出された変化部分の位置を計測する。

【0165】

次のステップＳ５０において、位置判定部３７は、変化部分の位置が作業エリアに含まれているか否かを判定する。ここで、変化部分の位置が作業エリアに含まれている場合（ステップＳ５０でＹＥＳの場合）は、ステップＳ５６に進む。一方、変化部分の位置が作業エリアに含まれていない場合（ステップＳ５０でＮＯの場合）は、ステップＳ５１に進む。

【0166】

図１２に示すように、ステップＳ５１において、メイン制御部２７は、対象データベース２５を参照し、過去に同一の部分で生じた変化部分があるか否かを判定する。ここで、過去に同一の部分で生じた変化部分がない場合（ステップＳ５１でＮＯの場合）は、ステップＳ５２に進む。一方、過去に同一の部分で生じた変化部分がある場合（ステップＳ５１でＹＥＳの場合）は、ステップＳ５３に進む。

【0167】

ステップＳ５２において、カウント部４０は、変化部分の検出回数をカウントするためのカウンタを、この変化部分に対応付けて対象データベース２５に登録する。ここで、カウント部４０は、変化部分の検出回数のカウントを開始する。そして、対象データ解析処理を終了する。

【0168】

ステップＳ５３において、カウント部４０は、変化部分の検出回数に「１」を加算する。

【0169】

次のステップＳ５４において、検出回数判定部４１は、一定期間の全取得回数のうち、所定の変化部分の検出回数が所定の閾値以上であるか否かを判定する。ここで、変化部分の検出回数が所定の閾値以上でない場合（ステップＳ５４でＮＯの場合）は、対象データ解析処理を終了する。一方、変化部分の検出回数が所定の閾値以上である場合（ステップＳ５４でＹＥＳの場合）は、ステップＳ５５に進む。

【0170】

ステップＳ５５において、メイン制御部２７は、検出回数が閾値以上である変化部分の位置の周囲を作業エリアとして自動的に設定し、この作業エリアに関するエリア情報を作業データベース２４に記憶する。

【0171】

次のステップＳ５６において、データ除外部３０は、変化部分の対象データを出力の対象から除外する。そして、対象データ解析処理を終了する。

【0172】

なお、本実施形態において、基準値（最小値、最大値、閾値）を用いた任意の値（変化のサイズ、検出回数）の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良い。或いは、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差を解析し、基準値を中心として誤差範囲を含めた所定範囲を判定に用いても良い。

【0173】

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

【0174】

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

【0175】

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

【0176】

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

【0177】

なお、本実施形態の点検システム１には、機械学習を行う人工知能（ＡＩ：Artificial Intelligence）を備えるコンピュータが含まれても良い。また、点検システム１には、深層学習に基づいて、複数のパターンから特定のパターンを抽出する深層学習部が含まれても良い。例えば、変化抽出装置３が、検出された変化部分が予定通りの変化、つまり、作業に起因して生じた変化部分であるか否かを機械学習し、これに基づいて、予定通りの変化部分を出力の対象から除外しても良い。

【0178】

本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。

【0179】

本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。

【0180】

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

【0181】

例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、任意のユニット数、任意の学習率、任意の学習回数、任意の活性化関数を設定することができる。

【0182】

なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。

【0183】

例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。

【0184】

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。

【0185】

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。

【0186】

なお、本実施形態では、点検ロボット２と変化抽出装置３がそれぞれ別個の装置としているが、その他の態様であっても良い。例えば、点検ロボット２と変化抽出装置３を一体の装置としても良い。

【0187】

なお、本実施形態では、変化抽出装置３がデータベース２４，２５，２６を備えているが、その他の態様であっても良い。例えば、変化抽出装置３とネットワークを介して接続された他のコンピュータがデータベース２４，２５，２６を備えても良い。

【0188】

なお、本実施形態では、点検ロボット２にカメラ１０と３次元測定センサ１１を搭載して対象部分５の対象データの取得を行っているが、その他の態様であっても良い。例えば、点検員が所持するモバイル端末にカメラ１０と３次元測定センサ１１を搭載して、人手によって、対象部分５の映像の撮影または点群データの取得を行っても良い。そして、このモバイル端末から変化抽出装置３に映像または点群データを送信しても良い。

【0189】

なお、本実施形態では、第１取得時点の対象データを、点検ロボット２により取得され、かつ第１取得時点（今回）よりも前の第２取得時点（過去）の対象データと比較をしているが、その他の態様であっても良い。この第２取得時点の対象データは、点検ロボット２により取得されたものでなくても良い。例えば、プラントの建設時に作成される３Ｄ－ＣＡＤデータなどの既存の設計情報が第２取得時点の対象データであっても良い。つまり、第２取得時点とは、プラントまたは対象部分５の設計時点であっても良い。

【0190】

以上説明した実施形態によれば、作業データベースに記憶されている作業情報に基づいて、作業に起因して生じた変化部分の対象データを出力の対象から除外するデータ除外部を備えることにより、点検員に必要な情報のみを提示して省力化を図ることができる。

【0191】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態またはその変形は、発明の範囲と要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0192】

１…点検システム、２…点検ロボット、３…変化抽出装置、４…対象エリア、５…対象部分、６…撮影方向（測定方向、取得方向）、７…画角、８…仮想オブジェクト、９…データ取得部、１０…カメラ、１１…３次元測定センサ、１２…移動装置、１３…モーションセンサ、１４…記憶部、１５…通信部、１６…ロボット制御部、１７…取得時点記録部、１８…取得位置計測部、１９…取得方向計測部、２０…通信部、２１…入力部、２２…出力部、２３…記憶部、２４…作業データベース、２５…対象データベース、２６…抽出データベース、２７…メイン制御部、２８…データ比較部、２９…変化検出部、３０…データ除外部、３１…データ出力部、３２…サイズ計測部、３３…サイズ判定部、３４…形状計測部、３５…形状判定部、３６…位置計測部、３７…位置判定部、３８…被写体位置特定部、３９…作業エリア設定部、４０…カウント部、４１…検出回数判定部、４２…作業日時登録部、４３…作業エリア登録部、４４…変化サイズ登録部、４５…変化形状登録部、４６…マーカー、４７…半径、４８…円、４９…範囲、５０…マーカーパイロン。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】