特開 2024-149983 点検システム、学習装置、異常検出装置、及び点検方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024149983

(43)【公開日】2024-10-23

(54)【発明の名称】点検システム、学習装置、異常検出装置、及び点検方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241016BHJP

   G05D 1/43 20240101ALI20241016BHJP

   G08B 25/00 20060101ALI20241016BHJP

【ＦＩ】

H04N7/18 D

G05D1/02 H

G08B25/00 510M

H04N7/18 K

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023063179

(22)【出願日】2023-04-10

(71)【出願人】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100206081

【弁理士】

【氏名又は名称】片岡 央

(74)【代理人】

【識別番号】100188673

【弁理士】

【氏名又は名称】成田 友紀

(74)【代理人】

【識別番号】100188891

【弁理士】

【氏名又は名称】丹野 拓人

(72)【発明者】

【氏名】宮本 健

【テーマコード（参考）】

5C054

5C087

5H301

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054CD00

5C054CF08

5C054DA07

5C054DA08

5C054FC12

5C054FE09

5C054FE28

5C054GB02

5C054GB05

5C054GB06

5C054GB15

5C054HA19

5C087AA09

5C087AA10

5C087AA19

5C087DD13

5C087DD29

5C087DD31

5C087FF01

5C087FF02

5C087GG09

5C087GG17

5C087GG22

5C087GG70

5C087GG83

5H301AA01

5H301BB10

5H301CC03

5H301CC06

5H301CC10

5H301GG08

5H301GG09

5H301LL01

(57)【要約】

【課題】自律走行する移動体に搭載されたセンサを用いて移動しながら様々な異常を検出する点検システムを提供すること。
【解決手段】点検システムは、自律走行する移動体を用いて移動体が移動する空間の点検を行う。点検システムは、移動体が備えるセンサにより得られた画像の画像データと、画像が得られたときの移動体の位置を示す位置データとが関連付けられた移動体データを取得し、取得した画像データを空間内の場所に関する情報に基づいて分割し、分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと位置データとを関連付けて記憶させる。また、点検システムは、新たに取得した点検用の画像データに関連付けられた位置データに基づいて、生成された学習済モデルを取得し、取得した学習済モデルと点検用の画像データとに基づいて空間内の異常を検出する。
【選択図】図３

【特許請求の範囲】

【請求項1】

自律走行する移動体を用いて前記移動体が移動する空間の点検を行う点検システムであって、
前記移動体が備えるセンサにより得られた画像の画像データと、前記画像が得られたときの前記移動体の位置を示す位置データとが関連付けられた移動体データを取得する移動体データ取得部と、
前記移動体データ取得部が取得した画像データを前記空間内の場所に関する情報に基づいて分割するデータ分割部と、
前記データ分割部により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと前記位置データとを関連付けて記憶させる学習部と、
前記移動体データ取得部が新たに取得した点検用の画像データに関連付けられた前記位置データに基づいて、前記学習部により生成された学習済モデルを取得する学習済モデル取得部と、
前記学習済モデル取得部が取得した学習済モデルと前記点検用の画像データとに基づいて前記空間内の異常を検出する異常検出部と、
を備える点検システム。

【請求項2】

前記データ分割部は、
前記空間内の場所に関する情報として前記画像の模様に基づいて、前記移動体データ取得部が取得した画像データを分割する、
請求項１に記載の点検システム。

【請求項3】

前記データ分割部は、
前記空間内の場所に関する情報として前記位置データ及び前記画像の模様に基づいて、前記移動体データ取得部が取得した画像データを分割する、
請求項１に記載の点検システム。

【請求項4】

前記移動体データ取得部は、
前記移動体データとして、前記移動体が備えるセンサにより得られた画像の画像データと、前記画像が得られたときの前記移動体の位置及び姿勢を示す位置姿勢データとが関連付けられたデータを取得し、
前記データ分割部は、
前記空間内の場所に関する情報として前記位置姿勢データ及び前記画像の模様に基づいて、前記移動体データ取得部が取得した画像データを分割し、
前記学習部は、
前記データ分割部により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと前記位置姿勢データとを関連付けて記憶させ、
前記学習済モデル取得部は、
前記移動体データ取得部が新たに取得した前記点検用の画像データに関連付けられた前記位置姿勢データに基づいて、前記学習部により生成された学習済モデルを取得する、
請求項１に記載の点検システム。

【請求項5】

前記学習部による学習結果に基づいて、前記空間内で異常の検出を苦手とする苦手領域を判断する苦手領域判断部、
をさらに備える請求項１に記載の点検システム。

【請求項6】

前記点検用の画像データと前記点検用の画像データに関連付けられ前記位置データとに基づいて、前記空間内の床面部分を検出する床面検出部をさらに備え、
前記異常検出部は、前記学習済モデル取得部が取得した学習済モデルと前記点検用の画像データとに基づいて前記空間内の床面部分の異常を検出する、
請求項１に記載の点検システム。

【請求項7】

前記異常検出部により検出された複数フレームの前記点検用の画像データに対する異常の検出結果を時系列に解析し、異常の確からしさを判断する時系列解析部、
をさらに備える請求項１に記載の点検システム。

【請求項8】

前記異常検出部により検出された異常を示す情報を前記空間内の位置と関連付けて表示する表示部、
を備える請求項１に記載の点検システム。

【請求項9】

前記異常検出部により検出された異常を示す情報をネットワークを介して取得する通信部と、前記通信部が取得した異常を示す情報を前記空間内の位置と関連付けて表示する前記表示部とを少なくとも備える端末、
を備える請求項８に記載の点検システム。

【請求項10】

前記表示部に表示された異常を示す情報が誤検出であることを示す誤検出情報を、ユーザの操作に応じて出力する誤検出情報出力部、
を備える請求項８または請求項９に記載の点検システム。

【請求項11】

自律走行する移動体を用いて前記移動体が移動する空間内の異常を検出する際に用いる学習済モデルを生成する学習装置であって、
前記移動体が備えるセンサにより得られた画像の画像データと、前記画像が得られたときの前記移動体の位置を示す位置データとが関連付けられた移動体データを取得する移動体データ取得部と、
前記移動体データ取得部が取得した画像データを、前記空間内の場所に関する情報に基づいて分割するデータ分割部と、
前記データ分割部により分割された画像データ毎に学習を行うことにより前記学習済モデルを生成し、生成した学習済モデルと前記位置データとを関連付けて記憶させる学習部と、
を備える学習装置。

【請求項12】

自律走行する移動体を用いて前記移動体が移動する空間内の異常を検出する異常検出装置であって、
前記移動体が備えるセンサにより得られた画像の画像データが前記空間内の場所に関する情報に基づいて分割された画像データ毎に学習された学習済モデルと、前記画像が得られたときの前記移動体の位置を示す位置データとを関連付けて記憶する記憶部と、
前記移動体が備えるセンサにより得られた点検用の画像の画像データと、前記点検用の画像が得られたときの前記移動体の位置を示す位置データとが関連付けられた移動体データを取得する移動体データ取得部と、
前記移動体データ取得部が取得した前記点検用の画像データに関連付けられた前記位置データに基づいて、前記記憶部に記憶された学習済モデルを取得する学習済モデル取得部と、
前記学習済モデル取得部が取得した学習済モデルと前記点検用の画像データとに基づいて前記空間内の異常を検出する異常検出部と、
を備える異常検出装置。

【請求項13】

自律走行する移動体を用いて前記移動体が移動する空間の点検を行う点検システムにおける点検方法であって、
移動体データ取得部が、前記移動体が備えるセンサにより得られた画像の画像データと、前記画像が得られたときの前記移動体の位置を示す位置データとが関連付けられた移動体データを取得するステップと、
データ分割部が、前記移動体データ取得部が取得した画像データを前記空間内の場所に関する情報に基づいて分割するステップと、
学習部が、前記データ分割部により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと前記位置データとを関連付けて記憶させるステップと、
学習済モデル取得部が、前記移動体データ取得部が新たに取得した点検用の画像データに関連付けられた前記位置データに基づいて、前記学習部により生成された学習済モデルを取得するステップと、
異常検出部が、前記学習済モデル取得部が取得した学習済モデルと前記点検用の画像データとに基づいて前記空間内の異常を検出するステップと、
を含む点検方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、点検システム、学習装置、異常検出装置、及び点検方法に関する。

【背景技術】

【0002】

近年、様々な市場にて自律走行するロボットが導入されてきている（例えば、特許文献１）。例えば、レストランでは飲食物を運ぶためのロボット、物流倉庫では配送する物品を梱包担当まで運ぶロボットなどが活用されている。しかし、従来のロボットは、自律走行のために多種多様なセンサ(例えば、ＬｉＤＡＲ、カメラなど)を搭載しているものの、それらのセンサは搬送（自律走行）のためのみにしか使われず、搬送以外のサービスには活用されているとはいえない。

【0003】

例えば、自律走行するロボットは、多種多様なセンサ(例えば、ＬｉＤＡＲ、カメラなど)を用いて移動経路の障害物などを検出するため、通常は存在しない物体が存在したときに異常として検出することも可能である。しかしながら、例えば、ＬｉＤＡＲ、カメラなどを用いて物体を検出する方法では、サイズがある程度大きい物体（例えば、カバン、人など）を検出することは可能であるが、サイズが小さい物体或いはサイズがほぼ無いような物体（例えば、ビニール、嘔吐物など）を検出することは難しい。

【0004】

このような物体を検出する方法では検出が難しい異常を検出するには、例えば、正常な状態と異常な状態のカメラ画像を学習して異常検知する方法、或いは正常な状態のカメラ画像のみを学習して異常検知する方法がある（例えば、特許文献２）。カメラ画像を用いて正常な状態から差異で異常検知するため、サイズがある程度大きい物体に限らず、画像の違いで異常を検出することが可能である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－０６７２１５号公報

【特許文献2】特開２００６－１４８４４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、例えば特許文献２に記載されている異常検知の技術は、特定の場所（監視領域）における異常検知方法であり、その場所まで移動し、その場所での異常検知しかできなかった。このように、従来の異常検知方法は、特定の場所の異常を検出するための方法であり、ある空間内を移動しながら異常を検出することはできなかった。

【0007】

本開示は、上記した事情に鑑みてなされたもので、自律走行する移動体に搭載されたセンサを用いて移動しながら様々な異常を検出することができる点検システム、学習装置、異常検出装置、及び点検方法を提供することを目的の一つとする。

【課題を解決するための手段】

【0008】

本開示の一態様は、自律走行する移動体を用いて前記移動体が移動する空間の点検を行う点検システムであって、前記移動体が備えるセンサにより得られた画像の画像データと、前記画像が得られたときの前記移動体の位置を示す位置データとが関連付けられた移動体データを取得する移動体データ取得部と、前記移動体データ取得部が取得した画像データを前記空間内の場所に関する情報に基づいて分割するデータ分割部と、前記データ分割部により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと前記位置データとを関連付けて記憶させる学習部と、前記移動体データ取得部が新たに取得した点検用の画像データに関連付けられた前記位置データに基づいて、前記学習部により生成された学習済モデルを取得する学習済モデル取得部と、前記学習済モデル取得部が取得した学習済モデルと前記点検用の画像データとに基づいて前記空間内の異常を検出する異常検出部と、を備える点検システムである。

【0009】

また、本開示の一態様は、自律走行する移動体を用いて前記移動体が移動する空間内の異常を検出する際に用いる学習済モデルを生成する学習装置であって、前記移動体が備えるセンサにより得られた画像の画像データと、前記画像が得られたときの前記移動体の位置を示す位置データとが関連付けられた移動体データを取得する移動体データ取得部と、前記移動体データ取得部が取得した画像データを、前記空間内の場所に関する情報に基づいて分割するデータ分割部と、前記データ分割部により分割された画像データ毎に学習を行うことにより前記学習済モデルを生成し、生成した学習済モデルと前記位置データとを関連付けて記憶させる学習部と、を備える学習装置である。

【0010】

また、本開示の一態様は、自律走行する移動体を用いて前記移動体が移動する空間内の異常を検出する異常検出装置であって、前記移動体が備えるセンサにより得られた画像の画像データが前記空間内の場所に関する情報に基づいて分割された画像データ毎に学習された学習済モデルと、前記画像が得られたときの前記移動体の位置を示す位置データとを関連付けて記憶する記憶部と、前記移動体が備えるセンサにより得られた点検用の画像の画像データと、前記点検用の画像が得られたときの前記移動体の位置を示す位置データとが関連付けられた移動体データを取得する移動体データ取得部と、前記移動体データ取得部が取得した前記点検用の画像データに関連付けられた前記位置データに基づいて、前記記憶部に記憶された学習済モデルを取得する学習済モデル取得部と、前記学習済モデル取得部が取得した学習済モデルと前記点検用の画像データとに基づいて前記空間内の異常を検出する異常検出部と、を備える異常検出装置である。

【0011】

また、本開示の一態様は、自律走行する移動体を用いて前記移動体が移動する空間の点検を行う点検システムにおける点検方法であって、移動体データ取得部が、前記移動体が備えるセンサにより得られた画像の画像データと、前記画像が得られたときの前記移動体の位置を示す位置データとが関連付けられた移動体データを取得するステップと、データ分割部が、前記移動体データ取得部が取得した画像データを前記空間内の場所に関する情報に基づいて分割するステップと、学習部が、前記データ分割部により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと前記位置データとを関連付けて記憶させるステップと、学習済モデル取得部が、前記移動体データ取得部が新たに取得した点検用の画像データに関連付けられた前記位置データに基づいて、前記学習部により生成された学習済モデルを取得するステップと、異常検出部が、前記学習済モデル取得部が取得した学習済モデルと前記点検用の画像データとに基づいて前記空間内の異常を検出するステップと、を含む点検方法。

【発明の効果】

【0012】

本開示によれば、自律走行する移動体に搭載されたセンサを用いて移動しながら様々な異常を検出する点検システム、学習装置、異常検出装置、及び点検方法を提供することができる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態に係る点検システムのシステム構成例を示す概略ブロック図。

【図2】ＡＩを用いた異常の検出方法の説明図。

【図3】第１の実施形態に係る点検システムの機能構成の一例を示す概略ブロック図。

【図4】第１の実施形態に係る学習用データのデータ例を示す図。

【図5】第１の実施形態に係る学習済モデルのデータ例を示す図。

【図6】第１の実施形態に係る学習処理の一例を示すフローチャート。

【図7】第１の実施形態に係る推論処理の一例を示すフローチャート。

【図8】第１の実施形態に係る検出結果表示処理の一例を示すフローチャート。

【図9】第１の実施形態に係る異常情報の表示例を示すイメージ図。

【図10】第２の実施形態に係る点検システムの機能構成の一例を示す概略ブロック図。

【図11】第２の実施形態に係る学習処理の一例を示すフローチャート。

【図12】第２の実施形態に係る推論処理の一例を示すフローチャート。

【発明を実施するための形態】

【0014】

以下、図面を参照して、実施形態について説明する。
＜第１の実施形態＞
［点検システムのシステム構成］
図１は、本実施形態に係る点検システム１のシステム構成の一例を示す概略ブロック図である。点検システム１は、自律走行するロボット１０と、サーバ２０と、端末３０とを備え、ロボット１０を用いてロボット１０が移動する空間の点検を行うシステムである。ロボット１０と、サーバ２０と、端末３０とのそれぞれは、図示するハードウェア構成を含んで構成されている。

【0015】

ロボット１０は、倉庫、病院、店舗、商業施設などの空間内を自律走行により移動する移動体の一例であり、計算機１１と、通信機１２と、センサ１３と、移動装置１４とを備えている。サーバ２０は、ロボット１０が移動する空間内の異常を検出する点検装置であり、計算機２１と、通信機２２とを備えている。ここで、「異常」とは、正常時には存在しない物体が存在することである。

【0016】

端末３０は、点検システム１によって検出された異常をユーザが確認するために使用するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、スマートフォン等である。例えば、端末３０は、計算機３１と、通信機３２と、表示装置３３と、入力装置３４とを備えている。ユーザとは、端末３０を使用して異常を確認するスタッフ、オペレータなどである。

【0017】

計算機１１、計算機２１、及び計算機３１は、コンピュータであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、センサハブ、メモリ、記憶装置、などを含んで構成されている。通信機１２、通信機２２、及び通信機３２は、ロボット１０と、サーバ２０と、端末３０とが互いにデータを送受信するための通信デバイスであり、ネットワークを介して接続される。ネットワークは、有線または無線による通信ネットワークであり、インターネットなどのような汎用のネットワークであってもよいし、専用線によるネットワークであってもよい。

【0018】

ロボット１０は、センサ１３として、例えば可視光カメラ、赤外線カメラ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などを備えている。センサ１３は、ロボット１０が自律走行するために周囲の様子及び位置などを把握するために設けられている。

【0019】

例えば、ロボット１０は、可視光カメラまたは赤外線カメラにより撮像された画像の画像データに基づいて、空間内における移動経路の俯瞰画像を生成する。例えば、赤外線カメラは、空間内の物体との距離情報を得るためのセンサとして用いられるが、２つの可視光カメラを備えたステレオカメラを用いて距離情報を得ても良い。また、ロボット１０は、ＬｉＤＡＲまたはＩＭＵなどを用いて、距離情報及び位置・姿勢を得ても良い。なお、センサ１３は、上述した少なくとも可視光カメラ、赤外線カメラ、ＬｉＤＡＲ、ＩＭＵなどの一部またはすべてを備えている。例えばセンサ１３は、可視光カメラのみを備える構成としてもよい。

【0020】

計算機１１は、センサ１３を用いて空間内の位置・姿勢及び障害物などを検出し、移動装置１４による動作を制御することにより、空間内を自律走行させる。移動装置１４は、例えば、車輪（ウィール）、車輪の回転を駆動する駆動部（例えばモータ）、駆動部による回転を車輪に伝えるシャフト、制動機構、操舵機構などを備えている。計算機１１は、センサ１３を用いて空間内の位置・姿勢及び障害物などを検出して、駆動部における回転方向及び回転速度、制動機構、操舵機構などを制御することにより、空間内を自律走行させる。なお、移動装置１４における移動手段は、車輪で移動する手段に限定されるものではなく、例えば、２足歩行または４足方向で移動する手段、ドローンのように飛行で移動する手段など任意の移動手段を適用することができる。

【0021】

サーバ２０は、ロボット１０が備えるセンサ１３を利用して、ロボット１０が移動する空間内の異常を検出する。また、サーバ２０は、検出した異常を示す異常情報を端末３０へ送信する。

【0022】

端末３０は、サーバ２０から受信した異常情報を表示装置３３に表示する。表示装置３３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどを含んで構成されている。入力装置３４は、キーボード、マウス、タッチパネルなどの入力デバイスであり、ユーザの入力を受け付ける。

【0023】

ここで、図２を参照して、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた異常の検出方法について説明する。
図２は、ＡＩを用いた異常の検出方法の説明図である。この図では、異常の検出方法として、「物体検出タイプ」と「異常検知タイプ」とを比較している。いずれの対応も学習（機械学習）を用いるが、「物体検出タイプ」では、正常または異常のアノテーション付けを行った画像データをニューラルネットワークへ入力して学習させることで、学習済モデルに画像データを入力すると、異常の位置を出力する。一方、「異常検知タイプ」では、正常な画像データをニューラルネットワークへ入力して学習させることで、学習済モデルに画像データを入力したときの中間層の各層の出力を結合したベクトル（Ｅｍｂｅｄｄｉｎｇ Ｖｅｃｔｏｒ）と正常状態のときのベクトルとの距離を異常度として異常を検出する。

【0024】

「物体検出タイプ」の場合には、異常がどのような物であるか検出できるものの、サイズがある程度大きい物体（例えば、カバン、人など）に検出対象が限られる。また、「物体検出タイプ」の場合には、学習には正常または異常のアノテーション付けを行った大量の画像データを用意する必要があり、異常検出するまでの準備にコストがかかる。一方、「異常検知タイプ」の場合には、異常がどのような物であるか検出できないものの、サイズがある程度大きい物体に限らず、サイズが小さい物体或いはサイズがほぼ無いような物体（例えば、ビニール、嘔吐物など）も検出対象として異常を検出することが可能である。

【0025】

しかしながら、従来の「異常検知タイプ」は、固定カメラを想定した技術であり、ロボット１０のような移動体に搭載されたカメラで移動しながらの異常検知には適用できなかった。そこで、本実施形態に係る点検システム１では、「異常検知タイプ」の検出方法をロボット１０のような移動体に搭載されたセンサ１３に適用できるように構成し、サイズの大きさにかかわらず様々な異常を検知する。また、「異常検知タイプ」の場合には、「物体検出タイプ」のように大量の画像データを用意する必要が無く、例えばロボット１０が地図作成中に得た画像データ、もしくは自律走行中に得た画像データのみで学習させることができる。以下、点検システム１の構成について詳しく説明する。

【0026】

図３は、本実施形態に係る点検システム１の機能構成の一例を示す概略ブロック図である。この図３を参照して、点検システム１が備えるロボット１０、サーバ２０、及び端末３０の機能構成について順に説明する。

【0027】

［ロボットの機能構成］
ロボット１０は、計算機１１がプログラムを実行することにより実現される機能構成として、データ送受信部１１１と、センサデータ取得部１１２と、位置姿勢推定部１１３と、制御部１１４とを備えている。

【0028】

データ送受信部１１１は、通信機１２を介してサーバ２０とデータを送受信する。センサデータ取得部１１２は、センサ１３（例えば、可視光カメラ、赤外線カメラ、ＬｉＤＡＲ、ＩＭＵなど）からセンサデータを取得する。

【0029】

位置姿勢推定部１１３は、センサデータ取得部１１２が取得したセンサデータに基づいて、ロボット１０の位置及び姿勢を求める。一例として、位置姿勢推定部１１３は、ＬｉＤＡＲまたは可視光カメラを用いた位置推定（Ｌｏｃａｌｉｚａｔｉｏｎ）、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍａｐｐｉｎｇ）をなどの技術を用いて、ロボット１０の位置及び姿勢を求める。

【0030】

制御部１１４は、位置姿勢推定部１１３が推定したロボット１０の位置及び姿勢に基づいてロボット１０の移動経路を計算し、当該移動経路に従ってロボット１０を自律走行させるべく移動装置１４を制御する。

【0031】

また、制御部１１４は、センサ１３により得られた画像の画像データと、その画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとが関連付けられた移動体データを、データ送受信部１１１の機能を用いてサーバ２０へ送信する。センサ１３により得られた画像とは、例えば可視光カメラによって得られたカラー画像である。

【0032】

［サーバの機能構成］
サーバ２０は、計算機２１がプログラムを実行することにより実現される機能構成として、データ送受信部２１０と、学習装置２２０と、推論装置２３０とを備えている。また、サーバ２０は、異常の検出に必要な各種のデータを計算機２１が備える記憶装置に記憶する。例えば、サーバ２０は、各種のデータを、学習用データ２４０、点検用データ２４１、事前学習モデル２５０、学習済モデル２６０、異常データ２７０等として記憶装置に保存する。

【0033】

データ送受信部２１０は、通信機２２を介してロボット１０及び端末３０とデータを送受信する。例えば、データ送受信部２１０は、ロボット１０から画像データと位置姿勢データとが関連付けられた移動体データを受信する。例えば、データ送受信部２１０は、ロボット１０から学習用として取得した画像データと位置姿勢データとを学習用データ２４０として保存する。また、データ送受信部２１０は、ロボット１０から点検用として取得した画像データと位置姿勢データとを点検用データ２４１として保存する。なお、点検用として取得した画像データと位置姿勢データとは、異常の検出対象として使用されるだけであれば検出に使用した後に、都度消去されてもよいが、再学習に用いる場合には学習用データ２４０として保存されてもよい。

【0034】

図４は、本実施形態に係る学習用データ２４０のデータ例を示す図である。学習用データ２４０には、データ送受信部２１０が受信する度に、画像データと位置姿勢データとが関連付けられて格納される。画像データには、カラー画像のデータ、距離画像のデータ、点群データなどが格納されるが、少なくともカラー画像のデータのみであっても良い。

【0035】

図３に戻り、学習装置２２０は、データ分割部２２１と、学習部２２２とを備えている。データ分割部２２１は、データ送受信部２１０が取得した画像データを空間内の場所に関する情報に基づいて分割する。例えば、データ分割部２２１は、空間内の場所に関する情報として位置姿勢データ及び画像の模様に基づいて、データ送受信部２１０が取得した画像データを分割する。

【0036】

ここで画像の模様とは、データ送受信部２１０が取得した画像データの画像の模様であり、例えば、ロボット１０が移動する空間の壁、床などの絵柄、構図、設置されている物体の形、色、明暗などの模様である。つまり、データ分割部２２１は、位置姿勢データ及び画像の模様に基づいて、ロボット１０から取得した複数の画像データを、模様が類似する画像ごとにグループ分けする。データ分割部２２１は、グループ分けした画像データの各グループに、画像データが得られたときの位置姿勢データを関連付けて学習用データ２４０として保存する。

【0037】

画像データの分割方法の一例として、デンドログラム（Ｄｅｎｄｒｏｇｒａｍ）を用いる。具体的には、データ分割部２２１は、事前学習モデル２５０から事前学習モデル（例えばＲｅｓＮｅｔ、ｗｉｄｅＲｅｓＮｅｔなど)を取得する。次に、データ分割部２２１は、取得した事前学習モデルを使って全ての画像データ（例えば、カラー画像のデータ）からベクトル（Ｅｍｂｅｄｄｉｎｇ Ｖｅｃｔｏｒ）を計算する。そして、データ分割部２２１は、ベクトル間の距離を元にデンドログラムを構築する。通常のデンドログラムはベクトル間の距離を元に構築され、空間的な関係は考慮されない。なお、空間的な関係を考慮する仕組みを入れても良い。例えば、空間的に近いｘ個の画像データのみをベクトル間距離の計算対象とする。

【0038】

学習部２２２は、データ分割部２２１により分割された画像データ毎（グループ毎）に学習を行うことにより学習済モデルを生成する。例えば、学習部２２２は、「ＰａｔｃｈＣｏｒｅ」などの異常検知用の学習モデルを使用して学習を行う。学習部２２２は、生成した学習済モデルと位置姿勢データとを関連付けて学習済モデル２６０として保存する。

【0039】

図５は、本実施形態に係る学習済モデル２６０のデータ例を示す図である。学習済モデル２６０には、グループ毎に、各グループに分けられた複数の画像それぞれが得られたときの位置姿勢データと、各グループの画像データ毎に学習を行うことにより生成された学習済モデルとが関連付けられて格納される。例えば、Ｎｏ１の学習済モデル１は、グループ分けされた５０枚の画像のデータから生成されたものであり、５０枚の画像それぞれが得られたときの位置姿勢データ（位置・姿勢１～５０）と関連付けられている。

【0040】

図３に戻り、推論装置２３０は、学習済モデル取得部２３１と、推論部２３２とを備えている。学習済モデル取得部２３１は、データ送受信部２１０が取得した点検用の画像データに関連付けられた位置姿勢データに基づいて、学習部２２２により生成された学習済モデルを学習済モデル２６０から取得する。

【0041】

推論部２３２は、学習済モデル取得部２３１が取得した学習済モデルと点検用の画像データとに基づいて空間内の異常を検出する。推論部２３２は、検出した異常を示す情報（異常データ）を異常データ２７０として保存する。

【0042】

異常データには、異常が検出された位置（或いは、位置及び姿勢）を示す情報、異常が検出された画像データなどが関連付けられる。異常が検出された位置（或いは、位置及び姿勢）を示す情報には、例えば、ロボット１０が移動する空間（例えば、施設、設備など）内の地図と、その地図上における異常の位置などのデータが含まれる。

【0043】

また、推論部２３２は、端末３０から点検結果の問い合わせを受けた場合、異常データをデータ送受信部２１０の機能を用いて端末３０へ送信する。

【0044】

［端末の機能構成］
端末３０は、計算機３１がプログラムを実行することにより実現される機能構成として、データ送受信部３１１と、問い合わせ部３１２と、異常表示部３１３と、誤検出通知部３１４とを備えている。

【0045】

データ送受信部３１１は、通信機３２を介してサーバ２０とデータを送受信する。問い合わせ部３１２は、データ送受信部３１１の機能を用いてサーバ２０に問い合わせることによりサーバ２０から異常データを取得する。

【0046】

異常表示部３１３は、サーバ２０から取得した異常データに基づいて、検出された異常を示す異常情報を空間（例えば、施設、設備など）内の位置と関連付けて表示装置３３に表示する。例えば、異常表示部３１３は、空間（例えば、施設、設備など）内の地図上に異常の位置がわかるように異常情報を表示装置３３に表示する。

【0047】

誤検出通知部３１４は、サーバ２０で検出された異常が誤検出である場合に、誤検出であることを通知する。例えば、誤検出通知部３１４は、表示装置３３に表示された異常を示す情報が誤検出である場合、誤検出であることを示す誤検出情報をデータ送受信部３１１の機能を用いてサーバ２０へ送信する。例えば、誤検出通知部３１４は、ユーザの操作に応じて誤検出情報を出力する。

【0048】

［処理の動作］
次に、点検システム１において、自律走行するロボット１０のセンサ１３を利用して空間（例えば、施設、設備など）内の異常を検出する処理の動作について説明する。まず、異常検出の準備段階となる学習処理の動作について、図６を参照して説明する。

【0049】

図６は、本実施形態に係る学習処理の一例を示すフローチャートである。例えば、ロボット１０を自律走行させる前の準備段階としてロボット１０が移動する空間内の地図を作成するときに得られたセンサデータを利用して、この学習処理が実行される。なお、地図を作成する場合、基本的に空間内に異常がない状態でロボット１０を走行させるため、ここで得られる画像データは、異常が含まれない正常な画像データである。

【0050】

（ステップＳ１０１）ロボット１０は、センサ１３（例えば、可視光カメラ、赤外線カメラ、ＬｉＤＡＲ、ＩＭＵなど）からセンサデータを取得する。そして、ステップＳ１０３へ進む。

【0051】

（ステップＳ１０３）ロボット１０は、取得したセンサデータに基づいてロボット１０の位置及び姿勢を算出する。例えば、ロボット１０は、ＬｉＤＡＲまたは可視光カメラを用いた位置推定（Ｌｏｃａｌｉｚａｔｉｏｎ）、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍａｐｐｉｎｇ）をなどの技術を用いて、ロボット１０の位置及び姿勢を算出する。そして、ステップＳ１０５へ進む。

【0052】

（ステップＳ１０５）ロボット１０は、センサ１３により得られた画像（例えば、可視光カメラによって得られたカラー画像）の画像データと、その画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとが関連付けられた移動体データをサーバ２０へ送信する。サーバ２０は、ロボット１０から画像データと位置姿勢データとが関連付けられた移動体データを受信して学習用データ２４０として保存する（図４参照）。そして、ステップＳ１０７へ進む。

【0053】

（ステップＳ１０７）サーバ２０（学習装置２２０）は、ロボット１０から取得した画像データを位置姿勢データ及び画像の模様に基づいて分割する。例えば、サーバ２０（学習装置２２０）は、ロボット１０から取得した画像データを、位置姿勢データ及び画像の模様に基づいて、デンドログラムを用いて模様が類似する画像ごとにグループ分けする。そして、ステップＳ１１０へ進む。

【0054】

ここで、サーバ２０（学習装置２２０）は、分割された画像データ（グループ）の数の分、ステップＳ１１０からステップＳ１１７の処理（即ち、ステップＳ１１１、Ｓ１１５の処理）を繰り返す。

【0055】

（ステップＳ１１１）サーバ２０（学習装置２２０）は、分割された画像データ毎（グループ毎）に学習を行うことにより学習済モデルを生成する。例えば、サーバ２０（学習装置２２０）は、「ＰａｔｃｈＣｏｒｅ」などの異常検知用の学習モデルを使用して学習を行う。

【0056】

（ステップＳ１１５）サーバ２０（学習装置２２０）は、ステップＳ１１１で生成した学習済モデルと位置姿勢データとを関連付けて学習済モデル２６０として保存する。サーバ２０（学習装置２２０）は、分割された画像データ（グループ）の数の分、学習済モデルを生成すると、この学習処理を終了する。

【0057】

次に、図６に示す学習処理で生成された学習済モデルを用いて異常を検出する推論処理の動作について、図７を参照して説明する。例えば、ロボット１０が自律走行しながら得られたセンサデータを利用して、この推論処理が実行される。

【0058】

図７は、本実施形態に係る推論処理の一例を示すフローチャートである。
（ステップＳ２０１）ロボット１０は、センサ１３（例えば、可視光カメラ、赤外線カメラ、ＬｉＤＡＲ、ＩＭＵなど）からセンサデータを取得する。そして、ステップＳ２０３へ進む。

【0059】

（ステップＳ２０３）ロボット１０は、取得したセンサデータに基づいてロボット１０の位置及び姿勢を算出する。例えば、ロボット１０は、ＬｉＤＡＲまたは可視光カメラを用いた位置推定（Ｌｏｃａｌｉｚａｔｉｏｎ）、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍａｐｐｉｎｇ）をなどの技術を用いて、ロボット１０の位置及び姿勢を算出する。そして、ステップＳ２０５へ進む。

【0060】

（ステップＳ２０５）ロボット１０は、センサ１３により得られた画像（例えば、可視光カメラによって得られたカラー画像）の画像データ（点検用の画像データ）と、その画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとが関連付けられた移動体データをサーバ２０へ送信する。サーバ２０は、ロボット１０から点検用の画像データと位置姿勢データとが関連付けられた移動体データを受信して点検用データ２４１として保存する。そして、ステップＳ２０７へ進む。

【0061】

（ステップＳ２０７）サーバ２０（推論装置２３０）は、ロボット１０から取得した点検用の画像データに関連付けられた位置姿勢データに基づいて、学習済モデル２６０から学習済モデルを取得する。そして、ステップＳ２０９へ進む。

【0062】

（ステップＳ２０９）サーバ２０（推論装置２３０）は、ステップＳ２０７で取得した学習済モデルと点検用の画像データとに基づいて空間内の異常を検出する。そして、ステップＳ２１５へ進む。

【0063】

（ステップＳ２１５）サーバ２０（推論装置２３０）は、検出した異常を示す異常データを異常データ２７０として保存して、推論処理を終了する。

【0064】

次に、図７に示す推論処理による異常の検出結果を表示する検出結果表示処理の動作について、図８を参照して説明する。

【0065】

図８は、本実施形態に係る検出結果表示処理の一例を示すフローチャートである。
（ステップＳ３０１）端末３０は、サーバ２０に問い合わせることによりサーバ２０から異常データを取得する。そして、ステップＳ３０３へ進む。

【0066】

（ステップＳ３０３）端末３０は、サーバ２０から取得した異常データに基づいて、空間（例えば、施設、設備など）内の位置と関連付けて異常情報を表示装置３３に表示する。例えば、端末３０は、空間（例えば、施設、設備など）内の地図上に異常の位置がわかるように異常情報を表示装置３３に表示する。

【0067】

図９は、本実施形態に係る異常情報の表示例を示すイメージ図である。例えば図９の（Ａ）に示す表示例では、サーバ２０から取得した異常データに基づく２つの異常情報Ｋ１、Ｋ２が、異常候補として表示されている。異常情報Ｋ１、Ｋ２には、異常が検出された場所（例えば、１階のフロア）と、異常と判断された物体の大きさ、異常カ所の地図上の位置などが表示されている。なお、フロアの階数は、例えばロボット１０がエレベータと連携することで、エレベータからロボット１０へ通知することができる。

【0068】

異常情報Ｋ１または異常情報Ｋ２を選択する操作（例えば、タップ操作）をユーザが行うと、図９の（Ｂ）に示すように、選択した異常情報の詳細画面が表示される。図９の（Ｂ）に示す例は、異常情報Ｋ１の詳細画面の表示例であり、図９の（Ａ）で表示されている異常情報に加えて、異常と判断された画像Ｐ１が表示される。この画像Ｐ１では、廊下にマスクが落ちている場所が異常カ所と判断されている。ユーザは、この画像Ｐ１を見ることで、異常の内容を確認することができる。

【0069】

また、図９の（Ｂ）に示すように詳細画面には、「誤検出確認」ボタンＢ１が表示されている。ユーザは、異常の内容を確認した結果により異常ではないと判断した場合、この「誤検出確認」ボタンＢ１に対して操作（例えば、タップ操作）することで、誤検出であることをサーバ２０に通知することができる。図８に戻り、「誤検出確認」ボタンＢ１に対して操作されたときの処理について、引き続き説明する。

【0070】

（ステップＳ３０５）端末３０は、「誤検出確認」ボタンＢ１に対するユーザの操作の有無によって誤検出があったか否かを判定する。端末３０は、ユーザにより「誤検出確認」ボタンＢ１に対して操作された場合（ＹＥＳ）、誤検出であると判定してステップＳ３０７へ進む。一方、端末３０は、「誤検出確認」ボタンＢ１に対して操作されなかった場合（ＮＯ）、処理を終了する。

【0071】

（ステップＳ３０７）端末３０は、ユーザにより誤検出と判断された異常の異常データが誤検出であることを示す誤検出情報をサーバ２０へ送信する。サーバ２０は、端末３０から誤検出情報を取得すると、誤検出と判断された異常データを異常データ２７０から削除する。なお、サーバ２０は、ユーザにより誤検出と判断された異常データ（画像データ）を正常データとして学習用データ２４０に蓄積し、再学習（追加学習）の際に利用してもよい。

【0072】

[第１の実施形態のまとめ]
以上説明してきたように、本実施形態に係る点検システム１は、自律走行するロボット１０（移動体の一例）を用いてロボット１０が移動する空間の点検を行う。例えば、点検システム１が備えるサーバ２０は、データ送受信部２１０（移動体データ取得部の一例）と、データ分割部２２１と、学習部２２２と、学習済モデル取得部２３１と、推論部２３２（異常検出部の一例）と、を備えている。データ送受信部２１０は、ロボット１０が備えるセンサ１３により得られた画像の画像データと、当該画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとが関連付けられた移動体データを取得する。データ分割部２２１は、データ送受信部２１０が取得した画像データを空間内の場所に関する情報に基づいて分割する。学習部２２２は、データ分割部２２１により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと位置姿勢データとを関連付けて記憶させる。学習済モデル取得部２３１は、データ送受信部２１０が新たに取得した点検用の画像データに関連付けられた位置姿勢データに基づいて、学習部２２２により生成された学習済モデルを取得する。推論部２３２は、学習済モデル取得部２３１が取得した学習済モデルと点検用の画像データとに基づいて空間内の異常を検出する。

【0073】

これにより、点検システム１は、自律走行するロボット１０に搭載されたセンサ１３を用いて移動しながら様々な異常を検出することができる。例えば、点検システム１は、サイズがある程度大きい物体に限らず、サイズが小さい物体或いはサイズがほぼ無いような物体（例えば、ビニール、嘔吐物など）も検出対象として異常を検出することが可能である。また、点検システム１は、点検用にセンサを別途設ける必要が無いため、点検に係るコストを抑制することができる。

【0074】

例えば、データ分割部２２１は、上記空間内の場所に関する情報として位置姿勢データ及び画像の模様に基づいて、データ送受信部２１０が取得した画像データを分割する。

【0075】

これにより、点検システム１は、局所的なエリア（部屋など）毎に学習するのではなく、シーン（景色）が類似するある程度広いエリアの単位で学習を行って異常を検出することができる。

【0076】

また、点検システム１は、表示装置３３（表示部の一例）を備えている。表示装置３３は、推論部２３２により検出された異常を示す異常情報を空間内の位置と関連付けて表示する。

【0077】

これにより、点検システム１は、検出された異常の位置をユーザに分かりやすく提示することができる。

【0078】

例えば、点検システム１は、端末３０を備えている。端末３０は、推論部２３２により検出された異常を示す異常情報をネットワークを介して取得するデータ送受信部３１１（通信部の一例）と、データ送受信部３１１が取得した異常を示す異常情報を空間内の位置と関連付けて表示する表示装置３３（表示部の一例）とを少なくとも備えている。

【0079】

これにより、点検システム１は、検出された異常の位置をユーザが使用する端末３０を用いて提示することができるため、利便性が良い。

【0080】

また、点検システム１は、表示装置３３に表示された異常を示す異常情報が誤検出であることを示す誤検出情報を、ユーザの操作に応じて出力する誤検出通知部３１４（誤検出情報出力部の一例）を備えている。

【0081】

これにより、点検システム１は、誤検出があった場合には、ユーザが容易に通知することができる。

【0082】

また、本実施形態に係る学習装置２２０は、自律走行するロボット１０（移動体の一例）を用いてロボット１０が移動する空間内の異常を検出する際に用いる学習済モデルを生成する。例えば、学習装置２２０は、データ送受信部２１０（移動体データ取得部の一例）と、データ分割部２２１と、学習部２２２と、を備えている。データ送受信部２１０は、ロボット１０が備えるセンサ１３により得られた画像の画像データと、当該画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとが関連付けられた移動体データを取得する。データ分割部２２１は、データ送受信部２１０が取得した画像データを空間内の場所に関する情報に基づいて分割する。学習部２２２は、データ分割部２２１により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと位置姿勢データとを関連付けて記憶させる。

【0083】

これにより、学習装置２２０は、ロボット１０が移動する空間内の異常を検出する際に用いる学習済モデルを、自律走行するロボット１０に搭載されたセンサ１３から得られるデータを用いて生成することができる。よって、点検システム１は、自律走行するロボット１０に搭載されたセンサ１３を用いて移動しながら様々な異常を検出することができる。また、点検用にセンサを別途設ける必要が無いため、点検に係るコストを抑制することができる。

【0084】

また、本実施形態に係る推論装置２３０（異常検出装置の一例）は、自律走行するロボット１０（移動体の一例）を用いてロボット１０が移動する空間内の異常を検出する。例えば、推論装置２３０は、学習済モデル２６０（記憶部の一例）と、データ送受信部２１０（移動体データ取得部の一例）と、学習済モデル取得部２３１と、推論部２３２（異常検出部の一例）と、を備えている。学習済モデル２６０は、ロボット１０が備えるセンサ１３により得られた画像の画像データが空間内の場所に関する情報に基づいて分割された画像データ毎に学習された学習済モデルと、当該画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとを関連付けて記憶する。データ送受信部２１０は、ロボット１０が備えるセンサ１３により得られた点検用の画像の画像データと、当該点検用の画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとが関連付けられた移動体データを取得する。学習済モデル取得部２３１は、データ送受信部２１０が新たに取得した点検用の画像データに関連付けられた位置姿勢データに基づいて、学習済モデル２６０として記憶された学習済モデルを取得する。推論部２３２は、学習済モデル取得部２３１が取得した学習済モデルと点検用の画像データとに基づいて空間内の異常を検出する。

【0085】

これにより、推論装置２３０は、自律走行するロボット１０に搭載されたセンサ１３から得られるデータを用いて生成された学習済モデルを用いて、ロボット１０が移動する空間内の様々な異常を検出することができる。また、点検用にセンサを別途設ける必要が無いため、点検に係るコストを抑制することができる。

【0086】

また、本実施形態に係る、自律走行するロボット１０（移動体の一例）を用いてロボット１０が移動する空間の点検を行う点検システム１における点検方法は、データ送受信部２１０（移動体データ取得部の一例）が、ロボット１０が備えるセンサ１３により得られた画像の画像データと、当該画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとが関連付けられた移動体データを取得するステップと、データ分割部２２１が、データ送受信部２１０が取得した画像データを空間内の場所に関する情報に基づいて分割するステップと、学習部２２２が、データ分割部２２１により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと位置姿勢データとを関連付けて記憶させるステップと、学習済モデル取得部２３１が、データ送受信部２１０が新たに取得した点検用の画像データに関連付けられた位置姿勢データに基づいて、学習部２２２により生成された学習済モデルを取得するステップと、推論部２３２（異常検出部の一例）が、学習済モデル取得部２３１が取得した学習済モデルと点検用の画像データとに基づいて空間内の異常を検出するステップと、を含む。

【0087】

これにより、点検システム１における点検方法は、自律走行するロボット１０に搭載されたセンサ１３を用いて移動しながら様々な異常を検出することができる。例えば、点検システム１における点検方法は、サイズがある程度大きい物体に限らず、サイズが小さい物体或いはサイズがほぼ無いような物体（例えば、ビニール、嘔吐物など）も検出対象として異常を検出することが可能である。また、点検システム１における点検方法は、点検用にセンサを別途設ける必要が無いため、点検に係るコストを抑制することができる。

【0088】

なお、本実施形態では、ロボット１０が備えるセンサ１３により得られた画像の画像データと、当該画像が得られたときのロボット１０の位置及び姿勢を示す位置姿勢データとが関連付けられた移動体データを取得し、以降の処理で位置姿勢データを用いる例を説明したが、ロボット１０の姿勢は処理に用いなくてもよい。

【0089】

例えば、データ送受信部２１０は、ロボット１０が備えるセンサ１３により得られた画像の画像データと、当該画像が得られたときのロボット１０の位置を示す位置データとが関連付けられた移動体データを取得する。データ分割部２２１は、データ送受信部２１０が取得した画像データを、空間内の場所に関する情報として位置データ及び画像の模様に基づいて分割する。学習部２２２は、データ分割部２２１により分割された画像データ毎に学習を行うことにより学習済モデルを生成し、生成した学習済モデルと位置データとを関連付けて記憶させる。学習済モデル取得部２３１は、データ送受信部２１０が新たに取得した点検用の画像データに関連付けられた位置データに基づいて、学習部２２２により生成された学習済モデルを取得する。推論部２３２は、学習済モデル取得部２３１が取得した学習済モデルと点検用の画像データとに基づいて空間内の異常を検出する。

【0090】

このように、点検システム１は、ロボット１０の姿勢をセンサ１３で検出しなくとも、ロボット１０が移動する空間内の様々な異常を検出することができる。

【0091】

また、データ分割部２２１は、データ送受信部２１０が取得した画像データを、空間内の場所に関する情報として画像の模様に基づいて分割してもよい。即ち、データ分割部２２１は、データ送受信部２１０が取得した画像データを、位置データまたは位置姿勢データを用いずに、画像の模様のみに基づいて分割してもよい。異常検出の対象となる空間内は、場所によって模様が類似する場所および類似しない場所が存在する。そのため、データ分割部２２１は、空間内の場所に関する情報として、ロボット１０が備えるセンサ１３により得られた画像の模様のみを用いて、模様が類似する画像ごとに画像データをグループ分けしても良い。

【0092】

＜第２の実施形態＞
本実施形態では、第１の実施形態に対して検出精度を向上するための処理を加えた態様について説明する。なお、本実施形態に係る点検システムの基本的なシステム構成及びハードウェア構成は、図１に示す点検システム１の構成と同様であり、その説明を省略する。なお、本実施形態に係る点検システムは、点検システム１Ａと記載して説明する。

【0093】

図１０は、本実施形態に係る点検システム１Ａの機能構成の一例を示す概略ブロック図である。点検システム１Ａは、ロボット１０、サーバ２０Ａ、及び端末３０を備えている。ロボット１０及び端末３０の機能構成は、図３に示すロボット１０及び端末３０の機能構成と同様である。サーバ２０Ａは、検出精度を向上するための処理を行う機能構成が追加されている点が図３に示すサーバ２０の機能構成と異なる。なお、サーバ２０Ａは、各種のデータを、学習用データ２４０、点検用データ２４１、事前学習モデル２５０、学習済モデル２６０、異常データ２７０等として記憶装置に保存する点は、図３に示すサーバ２０と同様である。ここでは、サーバ２０Ａの機能構成について、図３に示すサーバ２０の機能構成と異なる部分について説明する。

【0094】

サーバ２０Ａは、計算機２１がプログラムを実行することにより実現される機能構成として、データ送受信部２１０と、学習装置２２０Ａと、推論装置２３０Ａとを備えている。学習装置２２０Ａは、データ分割部２２１と、学習部２２２と、苦手領域判断部２２３とを備え、苦手領域判断部２２３を備える点が図３に示す学習装置２２０と異なる。また、推論装置２３０Ａは、学習済モデル取得部２３１と、推論部２３２と、床面検出部２３３と、時系列解析部２３４とを備え、床面検出部２３３及び時系列解析部２３４を備える点が図３に示す推論装置２３０と異なる。

【0095】

学習装置２２０Ａの苦手領域判断部２２３は、学習部２２２による学習結果に基づいて、空間内で異常の検出を苦手とする苦手領域を判断する。例えば、苦手領域判断部２２３は、ＰｒｅｃｉｓｉｏｎまたはＲｅｃａｌｌなどの分類指標を用いて、苦手領域を判断する。例えば、苦手領域判断部２２３は、正常な画像データをニューラルネットワークへ入力して学習させている際に出力されるベクトル（Ｅｍｂｅｄｄｉｎｇ Ｖｅｃｔｏｒ）が正常状態のときに期待されるベクトルと離れているような場合、その画像が得られたシーン（分割された画像データのグループ）を異常検知の苦手領域と判断する。

【0096】

学習部２２２は、苦手領域判断部２２３により苦手領域と判断されたシーン（分割された画像データのグループ）については異常を検出する領域から除き、学習済モデルを保存しない。なお、学習部２２２は、苦手領域の学習済モデルも生成してもよい。推論装置２３０Ａにより苦手領域で異常が検出された場合には、検出された異常が苦手領域である旨をユーザに通知してもよい。

【0097】

推論装置２３０Ａの床面検出部２３３は、点検用の画像データと点検用の画像データに関連付けられ位置姿勢データとに基づいて、空間内の床面部分を検出する。床面とは、ロボット１０が移動する空間内の床の表面を指しており、当該空間が屋外であれば地面、路面なども含まれる。床面検出部２３３は、点群データまたは距離画像データなどを用いて平面を検出した後、法線を元に床面を検出する。

【0098】

異常な物体は床面上に存在していることが多いため、推論部２３２は、異常を検出する領域を床面上のみに制限をかけてもよい。例えば、推論部２３２は、異常の検出結果と床面検出部２３３により床面部分とに基づいて、空間内の床面部分の異常を検出する。

【0099】

時系列解析部２３４は、推論部２３２により検出された複数フレームの点検用の画像データに対する異常の検出結果を時系列に解析し、異常の確からしさを判断する。つまり、時系列解析部２３４は、複数フレームを使ったフィルタリングを行う。ＡＩ全般の問題として、ごくまれに特定のフレームで異常では無いにも関わらず、異常と判断される場合がある。時系列解析部２３４は、このようなフレームの異常を除去するため、複数フレームを使ってフィルタリングする。具体的には、時系列解析部２３４は、過去の数フレームの検出結果と照らし合わせて判断する。一例として位置及び姿勢を使った同定方法を説明する。

【0100】

時刻ｔで得られた位置・姿勢を以下に示す数式１とすると、検出した異常の位置は、以下の数式２で示される。

【0101】

【数1】

【0102】

【数2】

【0103】

同様に過去数フレームからも異常の位置を得る。ｊフレーム前の異常の位置は、以下の数式３と示すことができる（ｊ：正の整数）。

【0104】

【数3】

【0105】

複数のフレームで検出された異常の位置の距離は、例えば以下の数式４と示すことができ、これを元に異常か否かの同定を行う。異常の検出確率が低い場合には誤検知と判断し、異常とみなさない。

【0106】

【数4】

【0107】

次に、点検システム１Ａにおける学習処理の動作について、図１１を参照して説明する。図１１は、本実施形態に係る学習処理の一例を示すフローチャートである。この図に示す学習処理は、図３に示す学習処理に対してステップＳ１１３の処理が追加されている点が異なる。その他のステップで行われる処理は同様の処理であり、その説明を省略する。

【0108】

（ステップＳ１１３）サーバ２０（学習装置２２０）は、ステップＳ１１１で行った学習結果に基づいて、空間内で異常の検出を苦手とする苦手領域を判断する。例えば、苦手領域判断部２２３は、ＰｒｅｃｉｓｉｏｎまたはＲｅｃａｌｌなどの分類指標を用いて、苦手領域を判断する。そして、サーバ２０（学習装置２２０）は、ステップＳ１１５では、苦手領域以外の学習済モデルを位置姿勢データと関連付けて学習済モデル２６０として保存する。

【0109】

次に、点検システム１Ａにおける推論処理の動作について、図１２を参照して説明する。図１２は、本実施形態に係る推論処理の一例を示すフローチャートである。この図に示す推論処理は、図４に示す推論処理に対してステップＳ２１１，Ｓ２１３の処理が追加されている点が異なる。その他のステップで行われる処理は同様の処理であり、その説明を省略する。

【0110】

（ステップＳ２１１）サーバ２０（推論装置２３０）は、点検用の画像データと点検用の画像データに関連付けられ位置姿勢データとに基づいて、空間内の床面部分を検出する。そして、サーバ２０（推論装置２３０）は、ステップＳ２０９により検出された異常のうち床面部分の異常を検出する。そして、ステップＳ２１３へ進む。

【0111】

（ステップＳ２１３）サーバ２０（推論装置２３０）は、複数フレームの点検用の画像データに対する異常の検出結果を時系列に解析してフィルタリングを行う。例えば、サーバ２０（推論装置２３０）は、上述したような位置及び姿勢を使った同定方法を用いて、過去の数フレームの検出結果と照らし合わせて異常か否かの同定を行い、異常の検出確率が低い場合には誤検知と判断し、異常とみなさない。そして、ステップＳ２１５へ進み、サーバ２０（推論装置２３０）は、床面部分の異常を時系列に解析してフィルタリングを行った上で、異常と判断された異常データを異常データ２７０として保存して、推論処理を終了する。

【0112】

[第２の実施形態のまとめ]
以上説明してきたように、本実施形態に係る点検システム１Ａは、学習部２２２による学習結果に基づいて、空間内で異常の検出を苦手とする苦手領域を判断する苦手領域判断部２２３をさらに備えている。

【0113】

例えば、点検システム１Ａは、苦手領域を異常の検出対象から除外してもよい。また、点検システム１Ａは、苦手領域に異常が検出されてもユーザに異常を通知しなくても良い。例えば、点検システム１Ａは、苦手領域に検出された異常の異常データを端末３０に送信しなくても良い。また、点検システム１Ａは、検出された異常が苦手領域である旨をユーザに通知し、ユーザに確認させてもよい。

【0114】

これにより、点検システム１Ａは、自律走行するロボット１０に搭載されたセンサ１３を用いて移動しながら異常を検出する際に誤検出を抑制することができ、検出精度を向上させることができる。

【0115】

また、本実施形態に係る点検システム１Ａは、点検用の画像データと点検用の画像データに関連付けられ位置姿勢データとに基づいて、空間内の床面部分を検出する床面検出部２３３をさらに備えている。そして、推論部２３２（異常検出部はの一例）は、学習済モデル取得部２３１が取得した学習済モデルと点検用の画像データとに基づいて空間内の床面部分の異常を検出する。

【0116】

これにより、点検システム１Ａは、異常な物体は床面上に存在していることが多いため、異常を検出する領域を床面上のみに制限することで検出精度を向上させることができる。

【0117】

また、本実施形態に係る点検システム１Ａは、推論部２３２により検出された複数フレームの点検用の画像データに対する異常の検出結果を時系列に解析し、異常の確からしさを判断する時系列解析部２３４をさらに備えている。

【0118】

これにより、点検システム１Ａは、ごくまれに特定のフレームで異常では無いにも関わらず、異常と判断される場合がＡＩ全般の問題としてあるが、このようなフレームの異常を除去することができるため、検出精度を向上させることができる。

【0119】

なお、本実施形態において、検出精度を向上するための処理を行う機能構成として苦手領域判断部２２３、床面検出部２３３、及び時系列解析部２３４について説明したが、苦手領域判断部２２３、床面検出部２３３、及び時系列解析部２３４の全てを適用する構成に限定されるものではなく、一部の構成を適用してもよい。

【0120】

［変形例］
上記実施形態における異常検出をロボット１０の制御に生かしても良い。例えば、ロボット１０は、検出された異常の位置を避けるように自律走行しても良い。この場合、推論装置２３０（２３０Ａ）による異常検出の機能をロボット１０が備えても良い。

【0121】

また、上記実施形態でロボット１０から得るデータに基づいて学習を行うことを説明してが、全てのデータを学習に使用すると計算時間がかかるため、サンプリングを行っても良い。例えば、数フレームのデータの一つに基づいて学習を行っても良い。もしくは、位置または姿勢が予め設定された閾値以上変化したフレームのみを学習に使用しても良い。例えば、ＳＬＡＭ内部で使われるＫｅｙ ｆｒａｍｅは同様のルールで検出されるため、Ｋｅｙ ｆｒａｍｅを使用して学習しても良い。

【0122】

また、上記実施形態では、データ分割部２２１が位置姿勢データ及び画像の模様に基づいて画像データを分割する例を説明したが、他のデータに基づいて画像データを分割してもよい。例えば、エレベータにロボット１０へ階床を伝える機能がある場合、データ分割部２２１は、画像が得られたときの階床を示す階床データに基づいて画像データを分割してもよい。また、データ分割部２２１は、単に画像が得られたときのロボット１０の位置に基づいて画像データを分割しても良いし、入退場システムによりロボット１０が入場しているか否かがわかる場合、画像が得られたときにロボット１０が入場しているか否かに基づいて画像データを分割しても良い。即ち、データ分割部２２１は、空間内の場所に関する情報に基づいて画像データを分割する。

【0123】

なお、上記実施形態において異常が検出されたとしても、実際は異常で無い物体であるケースも考えられる。例えば、ホテルまたはオフィスビルの場合、人や鞄は異常で無い可能性が高い。これらの実際には異常でない物体が異常と誤検出されることを防ぐために、一般的な物体を検出する一般物体検出ＡＩと組み合わせて異常を検出する構成としても良い。例えば、一般物体検出ＡＩで人や鞄を検出し、この範囲と異常が検出された範囲が一致していれば、誤検出（異常ではない）と判断する構成としても良い。

【0124】

また、上記実施形態において、「異常」とは正常時には存在しない物体が存在することとして説明したが、例えば、蛍光灯が切れかかっているといったような異常も、点検システム１（１Ａ）において検出可能である。点検システム１（１Ａ）は、正常な状態に対する変化を画像で検出できれば異常として検出可能である。

【0125】

なお、上述した点検システム１が備えるロボット１０、サーバ２０、及び端末３０のそれぞれは、内部にコンピュータシステムを有している。そして、上述したロボット１０、サーバ２０、及び端末３０のそれぞれが備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したロボット１０、サーバ２０、及び端末３０のそれぞれが備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。

【0126】

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にロボット１０、サーバ２０、及び端末３０のそれぞれが備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0127】

また、上述した実施形態におけるロボット１０、サーバ２０、及び端末３０のそれぞれが備える各機能の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【0128】

以上、本開示の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本開示の実施形態を適宜、変形、省略したりすることが可能である。

【符号の説明】

【0129】

１，１Ａ 点検システム、１０ ロボット、１１ 計算機、１２ 通信機、１３ センサ、１４ 移動装置、２０，２０Ａ サーバ、２１ 計算機、２２ 通信機、３０ 端末
３１ 計算機、３２ 通信機、３３ 表示装置、３４ 入力装置、１１１ データ送受信部、１１２ センサデータ取得部、１１３ 位置姿勢推定部、１１４制御部、２１０ データ送受信部、２２０，２２０Ａ 学習装置、２２１ データ分割部、２２２ 学習部、２２３ 苦手領域判断部、２３０，２３０Ａ 推論装置、２３１ 学習済モデル取得部、２３２ 推論部、２３３ 床面検出部、２３４ 時系列解析部、２４０ 学習用データ、２４１ 点検用データ、２５０ 事前学習モデル、２６０ 学習済モデル、２７０ 異常データ、３１１ データ送受信部、３１２ 問い合わせ部、３１３ 異常表示部、３１４ 誤検出通知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】