特許 6441546 コンピュータシステム、物体の診断方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6441546

(24)【登録日】2018年11月30日

(45)【発行日】2018年12月19日

(54)【発明の名称】コンピュータシステム、物体の診断方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20181210BHJP

【ＦＩ】

   G06T7/00 Z

【請求項の数】4

【全頁数】15

(21)【出願番号】特願2018-538657(P2018-538657)

(86)(22)【出願日】2016年10月31日

(86)【国際出願番号】JP2016082303

(87)【国際公開番号】WO2018078868

(87)【国際公開日】20180503

【審査請求日】2018年7月20日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 国際公開第２００６／０６４６３５（ＷＯ，Ａ１）

【文献】 特開２００３−３３９６４８（ＪＰ，Ａ）

【文献】 特開２００６−８４４２５（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０６０３７６（ＷＯ，Ａ１）

【文献】 特開２０１２−１６８７９９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

カメラにて撮像された物体の可視光画像及び赤外線画像を取得する画像取得手段と、
取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析する画像解析手段と、
前記画像解析の結果、前記物体の種類を特定する物体特定手段と、
前記可視光画像において、前記物体の複数の所定の部位に対応する領域を特定する第１画像処理手段と、
特定された前記可視光画像における各領域に対応する、前記赤外線画像における領域を特定する第２画像処理手段と、
特定された前記赤外線画像における領域の温度に基づいて、前記物体の異常部分を特定する異常部分特定手段と、
前記物体がおかれた環境データを取得する環境データ取得手段と、
前記特定された種類と、前記特定された異常部分の温度と、前記取得された環境データとから前記物体の状態を診断する診断手段と、
を備えることを特徴とするコンピュータシステム。

【請求項2】

診断する前記物体が、配管を有する工場施設であって、
前記環境データ取得手段は、前記可視光画像を取得した日付、当該日付の前記配管を流れる流量の変化を示す流量変化データ、当該日付の温度センサ、当該日付のガスセンサからなる群のうち少なくとも一つの環境データを取得する、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項3】

コンピュータシステムが実行する物体の診断方法であって、
カメラにて撮像された物体の可視光画像及び赤外線画像を取得するステップと、
取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析するステップと、
前記画像解析の結果、前記物体の種類を特定するステップと、
前記可視光画像において、前記物体の複数の所定の部位に対応する領域を特定するステップと、
特定された前記可視光画像における各領域に対応する、前記赤外線画像における領域を特定するステップと、
特定された前記赤外線画像における領域の温度に基づいて、前記物体の異常部分を特定するステップと、
前記物体がおかれた環境データを取得するステップと、
前記特定された種類と、前記特定された異常部分の温度と、前記取得された環境データとから前記物体の状態を診断するステップと、
を備えることを特徴とする物体の診断方法。

【請求項4】

コンピュータシステムに、
カメラにて撮像された物体の可視光画像及び赤外線画像を取得するステップ、
取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析するステップ、
前記画像解析の結果、前記物体の種類を特定するステップ、
前記可視光画像において、前記物体の複数の所定の部位に対応する領域を特定するステップ、
特定された前記可視光画像における各領域に対応する、前記赤外線画像における領域を特定するステップ、
特定された前記赤外線画像における領域の温度に基づいて、前記物体の異常部分を特定するステップ、
前記物体がおかれた環境データを取得するステップ、
前記特定された種類と、前記特定された異常部分の温度と、前記取得された環境データとから前記物体の状態を診断するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像により物体を診断するコンピュータシステム、物体の診断方法及びプログラムに関する。

【背景技術】

【0002】

近年、建築物等において、異常が発生しているか否かを、建築物の動画や静止画等の画像を撮像し、撮像した画像を画像解析することにより行われている。

【0003】

このような建築物を診断するシステムとして、壁体に生じた空隙部の状態を、カメラユニットにより撮像することにより行う構成が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−２５６６４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の構成では、配管のガス漏れ、異臭等を画像から判断することが困難であった。

【0006】

本発明は、物体の診断の精度を向上させることが可能なコンピュータシステム、物体の診断方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明では、以下のような解決手段を提供する。

【0008】

本発明は、カメラにて撮像された物体の可視光画像を取得する第１画像取得手段と、
取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析する画像解析手段と、
前記画像解析の結果、前記物体の種類を特定する物体特定手段と、
前記画像解析の結果、前記物体の異常部分を特定する異常部分特定手段と、
前記物体がおかれた環境データを取得する環境データ取得手段と、
前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記物体の状態を診断する第１診断手段と、
を備えることを特徴とするコンピュータシステムを提供する。

【0009】

本発明によれば、コンピュータシステムは、カメラにて撮像された物体の可視光画像を取得し、取得した前記可視光画像を、前記物体の通常の可視光画像と比較して画像解析し、前記画像解析の結果、前記物体の種類を特定し、前記画像解析の結果、前記物体の異常部分を特定し、前記物体がおかれた環境データを取得し、前記特定された種類と、前記特定された異常部分と、前記取得された環境データとから前記物体の状態を診断する。

【0010】

本発明は、コンピュータシステムのカテゴリであるが、物体の診断方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【発明の効果】

【0011】

本発明によれば、物体の診断の精度を向上させることが可能なコンピュータシステム、物体の診断方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0012】

【図1】図１は、物体診断システム１の概要を示す図である。

【図2】図２は、物体診断システム１の全体構成図である。

【図3】図３は、コンピュータ１０の機能ブロック図である。

【図4】図４は、コンピュータ１０が実行する物体診断処理を示すフローチャートである。

【図5】図５は、コンピュータ１０が実行する物体診断処理を示すフローチャートである。

【図6】図６は、コンピュータ１０が取得した可視光画像データを模式的に示した一例を示す図である。

【図7】図７は、コンピュータ１０が取得した赤外線画像データを模式的に示した一例を示す図である。

【図8】図８は、コンピュータ１０が、可視光画像における所定の部位を特定した状態を模式的に示した一例を示す図である。

【図9】図９は、コンピュータ１０が、赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。

【図10】図１０は、コンピュータ１０が記憶する診断データベースの一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0014】

［物体診断システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である物体診断システム１の概要を説明するための図である。物体診断システム１は、コンピュータ１０から構成され、物体を撮像した画像を取得し、この物体の状態の診断を行う。

【0015】

コンピュータ１０は、図示していない可視光カメラや赤外線カメラ等のカメラ、センサ等に通信可能に接続された計算装置である。物体診断システム１は、可視光カメラから可視光画像を取得し、赤外線カメラから赤外線画像を取得し、センサから、可視光画像及び赤外線画像を取得した日付、この日付の配管を流れる流量の変化を示す流量変化データ、この日付の温度センサにより検知した温度データ、日付のガスセンサにより検知したガスデータからなる群のうち少なくとも一つの環境データを取得する。

【0016】

はじめに、コンピュータ１０は、図示していないカメラにて撮像された可視光画像を取得する（ステップＳ０１）。コンピュータ１０は、可視光カメラが撮像する物体の動画や静止画等の可視光画像を取得する。

【0017】

なお、コンピュータ１０は、可視光画像に加え、赤外線カメラが撮像する物体の動画や静止画等の赤外線画像を取得してもよい。このとき、可視光カメラと赤外線カメラとは、同一の撮像装置により実現されてもよいし、可視光カメラと赤外線カメラとを並置又は近傍に設置することにより、可視光カメラと赤外線カメラとが同一の対象を撮像してもよい。すなわち、可視光カメラと赤外線カメラとは、同一の対象を、略同一の撮像地点から撮像する。

【0018】

コンピュータ１０は、取得した可視光画像を、物体の通常の可視光画像と比較して画像解析する（ステップＳ０２）。コンピュータ１０は、取得した可視光画像の特徴量や色と、物体の通常の可視光画像の特徴量や色とを比較する。コンピュータ１０は、複数の物体の通常の可視光画像の特徴量や色と、取得した可視光画像の特徴量や色とを比較する。この物体の通常の可視光画像の特徴量や色には、物体の種類や分類や名称等の物体を識別するための各種情報が紐付けられている。

【0019】

なお、コンピュータ１０は、取得した可視光画像の特徴量や色に加え、温度を比較してもよい。この場合、コンピュータ１０は、可視光画像に加え、赤外線画像を取得し、この赤外線画像の温度を抽出し、抽出した温度と、物体の通常の赤外線画像の温度とを比較すればよい。

【0020】

コンピュータ１０は、画像解析の結果、物体の種類を特定する（ステップＳ０３）。コンピュータ１０は、上述した画像解析により、今回取得した可視光画像の特徴量や色が一致する物体の通常の可視光画像の特徴量や色を特定し、特定したこの可視光画像に紐付けられた物体の種類を、今回取得した可視光画像に存在する物体の種類として特定する。このとき、コンピュータ１０は、取得した可視光画像の特徴量や色と近似又は一致する物体の通常の可視光画像の特徴量や色を特定する。

【0021】

コンピュータ１０は、画像解析の結果、物体の異常部分を特定する（ステップＳ０４）。コンピュータ１０は、上述した画像解析により、取得した可視光画像の特徴量や色のうち、物体の通常の状態とは異なる特徴量や色を有する部分を、異常部分として特定する。

【0022】

なお、コンピュータ１０は、物体の異常部分を上述した取得した赤外線画像の温度に基づいて、特定してもよい。この場合、コンピュータ１０は、抽出した温度と、物体の通常の赤外線画像の温度とを比較し、温度差が所定の範囲内であるか否か、基準温度と一致するか否か等に基づいて、温度が異常である部分を、異常部分として特定すればよい。

【0023】

コンピュータ１０は、物体がおかれた環境データを取得する（ステップＳ０５）。コンピュータ１０は、センサから可視光画像及び赤外線画像を取得した日付、この日付の配管を流れる流量の変化を示す流量変化データ、この日付の温度センサにより検知した温度データ、日付のガスセンサにより検知したガスデータからなる群のうち少なくとも一つの物体の設置環境についての環境データを取得する。

【0024】

コンピュータ１０は、特定された物体の種類と、特定された異常部分と、取得された環境データとから物体の状態を診断する（ステップＳ０６）。コンピュータ１０は、物体の種類と、異常部分と、環境データと、診断結果とを予め紐付けた診断データベースを参照することにより、物体の状態を診断する。コンピュータ１０は、この診断データベースにおいて、今回特定された物体の種類と、特定された異常部分と、取得された環境データとに紐付けられた診断結果を抽出することにより、物体の診断を実行する。

【0025】

以上が、物体診断システム１の概要である。

【0026】

［物体診断システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である物体診断システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である物体診断システム１のシステム構成を示す図である。物体診断システム１は、コンピュータ１０、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成され、物体を撮像した画像を取得し、この物体の診断を行う。

【0027】

物体診断システム１は、物体の動画や静止画等の可視光画像を撮像する可視光カメラ及び物体の動画や静止画等の赤外線画像を撮像する赤外線カメラ等のカメラ、可視光画像及び赤外線画像を取得した日付、この日付の配管を流れる流量の変化を示す流量変化データ、この日付の温度センサにより検知した温度データ、日付のガスセンサにより検知したガスデータからなる群のうち少なくとも一つの物体の設置環境についての環境データを検知するセンサとデータ通信可能に接続される。コンピュータ１０は、これらから各種データを取得する。

【0028】

コンピュータ１０は、後述の機能を備えた上述した計算装置である。

【0029】

［各機能の説明］
図３に基づいて、本発明の好適な実施形態である物体診断システム１の機能について説明する。図３は、コンピュータ１０の機能ブロック図を示す図である。

【0030】

コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器（カメラ・センサ）と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部１３には、後述する各種データベースが記憶される。また、コンピュータ１０は、処理部１４として、画像処理、状態診断等の各種処理を実行するためのデバイス等を備える。

【0031】

コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、画像データ取得モジュール２０、環境データ取得モジュール２１を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、可視光画像解析モジュール４０、赤外線画像解析モジュール４１、温度解析モジュール４２、診断モジュール４３、学習モジュール４４を実現する。

【0032】

［物体診断処理］
図４及び図５に基づいて、物体診断システム１が実行する物体診断処理について説明する。図４及び図５は、コンピュータ１０が実行する物体診断処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、以下の説明において、物体診断システム１は、物体として配管を有する工場施設を診断するものとして説明する。

【0033】

はじめに、画像データ取得モジュール２０は、物体の可視光画像及び赤外線画像の画像データを取得する（ステップＳ１０）。ステップＳ１０において、画像データ取得モジュール２０は、可視光カメラが撮像した可視光画像である可視光画像データを取得する。また、画像データ取得モジュール２０は、赤外線カメラが撮像した赤外線画像である赤外線画像データを取得する。画像データ取得モジュール２０は、所定の時間間隔又は予め設定された時刻等の複数の時点における画像データを取得する。画像データ取得モジュール２０が取得する画像データは、同一の撮像視点により撮像されており、同一の対象を撮像した画像データである。なお、以下の説明において、所定の時点における画像データに基づいて、コンピュータ１０が物体を診断するものとして説明する。

【0034】

なお、画像データ取得モジュール２０は、可視光画像データのみを取得してもよい。この場合、後述する赤外線画像データを用いた処理を省略して、実行すればよい。

【0035】

図６に基づいて、画像データ取得モジュール２０が取得する物体の可視光画像データについて説明する。図６は、画像データ取得モジュール２０が取得する物体の可視光画像データを模式的に示した一例を示す図である。図６において、画像データ取得モジュール２０は、可視光画像データが示す可視光画像１００を取得する。この可視光画像１００には、物体１１０が写っている。なお、可視光画像１００には、物体１１０以外の風景、自然物、人工物が写っていてもよいが、説明の簡略化のために、省略している。また、可視光画像１００に複数の物体１１０や物体１１０とは異なる種類の物体が写っていてもよい。

【0036】

図７に基づいて、画像データ取得モジュール２０が取得する物体の赤外線画像データについて説明する。図７は、画像データ取得モジュール２０が取得する物体の赤外線画像データを模式的に示した一例を示す図である。図７において、画像データ取得モジュール２０は、赤外線画像データが示す赤外線画像２００を取得する。赤外線画像２００には、物体２１０が写っている。赤外線画像２００において、各温度を便宜的にハッチングにより示している。なお、赤外線画像２００には、物体２１０以外の風景、自然物、人工物が写っていてもよいが、説明の簡略化のために、省略している。また、赤外線画像２００に複数の物体２１０や物体２１０とは異なる種類の物体が写っていてもよい。

【0037】

可視光画像解析モジュール４０は、取得した可視光画像を画像解析する（ステップＳ１１）。ステップＳ１１において、可視光画像解析モジュール４０は、取得した可視光画像と、予め記憶モジュール３０が記憶する物体の通常の状態の可視光画像とを比較する。物体の通常の状態の可視光画像とは、物体の種類や個体毎に、通常な状態の壁面、配管、支持器具、架台、ブラケット等の物体の部位の一部又は全部を可視光カメラにより撮像した画像である。記憶モジュール３０は、この物体の通常の状態の可視光画像に、物体の種類や個体等の物体を識別するための各種情報を紐付けて記憶する。可視光画像解析モジュール４０は、取得した可視光画像の各部位の形状やサイズ等の特徴量や各部位の色を抽出する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像の各部位の特徴量や色を抽出する。可視光画像解析モジュール４０は、取得した可視光画像から抽出した特徴量や色と、記憶した可視光画像から抽出した特徴量や色とを比較する。

【0038】

可視光画像解析モジュール４０は、取得した可視光画像に対してエッジ解析等を実行することにより、この可視光画像に存在する物体の形状を認識する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像に対してエッジ解析等を実行することにより、この可視光画像に存在する物体の形状を認識する。可視光画像解析モジュール４０は、これらの形状を比較する。また、可視光画像解析モジュール４０は、取得した可視光画像に対して色抽出等を実行することにより、この可視光画像のＲＧＢ値を認識する。また、可視光画像解析モジュール４０は、記憶モジュール３０が記憶する可視光画像に対して色抽出等を実行することにより、この可視光画像のＲＧＢ値を認識する。可視光画像解析モジュール４０は、これらのＲＧＢ値を比較する。

【0039】

可視光画像解析モジュール４０は、画像解析の結果に基づいて、物体の種類を特定する（ステップＳ１２）。ステップＳ１２において、取得した可視光画像から抽出した特徴量や色に基づいて、この特徴量や色と一致又は近似する特徴量又は色を有する記憶した可視光画像を特定する。可視光画像解析モジュール４０は、この可視光画像に紐付けられた物体を識別する各種情報を取得する。

【0040】

なお、可視光画像解析モジュール４０は、可視光画像に複数の物体の個体を認識した場合、各個体に対して、上述したステップＳ１１及びステップＳ１２の処理を実行し、各個体の種類を特定する。

【0041】

また、コンピュータ１０は、取得した赤外線画像に基づいて、物体の種類を特定してもよい。この場合、コンピュータ１０は、取得した赤外線画像における各部位の温度と、記憶モジュール３０が記憶する物体の通常の状態の赤外線画像における各部位の温度とを比較することにより、取得した赤外線画像から認識した温度と、一致又は近似する温度を有する記憶した赤外線画像を特定し、この特定した赤外線画像に紐付けられた物体の種類を特定すればよい。コンピュータ１０は、赤外線画像に複数の物体の個体が存在する場合には、各個体に対してこの処理を実行すればよい。また、コンピュータ１０は、取得した可視光画像及び赤外線画像の両者に基づいて、物体の種類を特定してもよい。この場合、上述したコンピュータ１０が実行する可視光画像に対する処理と、赤外線画像に対する処理とを組み合わせて実行すればよい。

【0042】

可視光画像解析モジュール４０は、可視光画像における物体の複数の所定の部位に対応する領域を特定する（ステップＳ１３）。ステップＳ１３において、所定の部位とは、例えば、壁面、配管、支持器具、架台、ブラケット等の構造の一部や予め設定された部位等である。可視光画像解析モジュール４０は、構造の一部や予め設定された部位の可視光画像における位置を特徴量から認識し、この認識した位置を、所定の部位に対応する領域として特定する。また、可視光画像解析モジュール４０は、構造の一部や予め設定された部位の可視光画像における位置を色から認識し、この認識した位置を、所定の部位に対応する領域として特定する。可視光画像解析モジュール４０は、複数の所定の部位の各々に対応する複数の領域を特定する。

【0043】

図８に基づいて、可視光画像解析モジュール４０が特定する所定の部位に対応する領域について説明する。図８は、可視光画像解析モジュール４０が所定の部位を特定した状態を模式的に示した一例を示す図である。図８において、可視光画像解析モジュール４０は、抽出した特徴量や色に基づいて、壁面、配管、支持器具の所定の部位が位置する可視光画像１００における領域を特定する。すなわち、可視光画像解析モジュール４０は、物体１１０の、壁面３００、配管３０１〜３０６、支持器具３０７，３０８の部位に対応する領域を特定する。図８において、特定した領域を便宜的にハッチングにより示している。この領域は、各部位の一部を指しているが、該当する部位全体を指してもよい。なお、特定する部位の数、種類及びその位置は適宜変更可能である。

【0044】

なお、可視光画像解析モジュール４０は、可視光画像に複数の物体の個体を認識した場合、各個体に対して、この処理を実行すればよい。また、可視光画像解析モジュール４０は、各個体を認識するとともに、各個体の位置関係を認識してもよい。これは、撮像地点からの距離、可視光画像における座標等に基づいて、位置関係を認識すればよい。

【0045】

赤外線画像解析モジュール４１は、特定された可視光画像における領域に対応する赤外線画像における領域を特定する（ステップＳ１４）。ステップＳ１４において、赤外線画像解析モジュール４１は、可視光画像と、赤外線画像とを比較することにより、特定した物体の各部位の領域に対応する赤外線画像の領域を特定する。赤外線画像解析モジュール４１は、可視光画像における領域の位置を座標として取得し、この取得した座標に一致する位置を、特定された可視光画像における領域に対応する赤外線画像における領域として特定する。

【0046】

図９に基づいて、赤外線画像解析モジュール４１が特定する可視光画像における領域に対応する赤外線画像における領域について説明する。図９は、赤外線画像解析モジュール４１が赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。図９において、上述した可視光画像１００において、特定した物体１１０の壁面３００、配管３０１〜３０６、支持器具３０７，３０８の部位に対応する赤外線画像２００における領域を特定する。これは、可視光画像１００における位置と、赤外線画像２００における位置とを比較することにより特定する。赤外線画像解析モジュール４１は、可視光画像１００における各部位の位置座標を取得し、この取得した位置座標に対応する赤外線画像における位置を、可視光画像における領域に対応する赤外線画像における領域として特定する。赤外線画像解析モジュール４１は、物体２１０の壁面４００、配管４０１〜４０６、支持器具４０７，４０８の部位を特定する。図９において、特定した領域を、便宜的にハッチングにより示している。この領域は、上述した可視光画像において特定した部位により、一部又は部位全体を指す。なお、特定する部位の数、種類及びその位置は、可視光画像に併せて適宜変更可能である。

【0047】

温度解析モジュール４２は、特定した赤外線画像における領域の温度を解析する（ステップＳ１５）。ステップＳ１５において、温度解析モジュール４２は、赤外線画像に基づいて、各領域の温度を取得し、各領域の温度を特定する。

【0048】

診断モジュール４３は、特定された赤外線画像における領域の温度に基づいて、物体を診断し、異常が発生しているか否かを判断する（ステップＳ１６）。ステップＳ１６において、診断モジュール４３は、取得した各領域の温度に基づいて、物体を診断する。診断モジュール４３は、記憶モジュール３０が記憶する各部位に対応する物体の通常の状態における温度である基準温度に基づいて、物体を診断する。診断モジュール４３は、特定された赤外線画像における領域の温度と、この領域に対応する基準温度との間の温度差を算出し、算出した温度差が所定の範囲内（例えば、０．５℃以内、１℃以内、２℃以内、１０℃以内等）であるか否かを判断する。診断モジュール４３は、この温度差が所定の範囲内である場合、異常が発生していないと判断し、所定の範囲内ではない場合、異常が発生していると判断する。

【0049】

なお、診断モジュール４３は、上述した基準温度による診断以外の方法により、物体を診断してもよい。例えば、特定された赤外線画像における領域の温度のみにより、物体を診断してもよいし、複数の物体の個体が存在する場合、各個体の温度に基づいて診断してもよい。また、これらを複数組み合わせることにより、物体を診断してもよい。例えば、診断モジュール４３は、特定された赤外線画像における領域の温度として、異常な温度を特定した場合、異常が発生していると診断する。また、診断モジュール４３は、特定された赤外線画像における第一の個体における領域の温度と第二の個体における領域の温度とを比較し、これらの間の温度差を算出し、算出したこの温度差が異常な値である場合、第一の個体又は第二の個体のいずれか又は双方に異常が発生していると診断する。

【0050】

また、診断モジュール４３は、一の可視光画像及び一の赤外線画像に基づいて、物体を診断しているが、所定の期間内に取得した複数の可視光画像又は赤外線画像のいずれか又は双方に基づいて、物体を診断してもよい。この場合、診断モジュール４３は、可視光画像又は赤外線画像のいずれか又は双方から取得した個体の特徴量、色、温度の変化量、変化幅又は変化そのものに基づいて、物体を診断すればよい。また、診断モジュール４３は、複数の赤外線画像から取得した個体や各部位の温度の平均値により、この物体を診断してもよい。すなわち、診断モジュール４３は、この個体や各部位の温度の平均値と、基準温度とを比較することにより、この温度の平均値と、基準温度との間の温度差を算出し、この温度差が所定の範囲内であるか否かに基づいて、物体を診断すればよい。また、診断モジュール４３は、これらの方法に限らず、その他の方法により物体を診断してもよい。

【0051】

また、診断モジュール４３は、赤外線画像を利用せずに、可視光画像のみに基づいて、物体を診断してもよい。この場合、診断モジュール４３は、上述した可視光画像解析モジュール４０が抽出した可視光画像に存在する各部位や予め設定された部位の特徴量や色等と、特定された物体の種類の特徴量や色等とを比較することにより、異常が発生しているか否かを判断すればよい。

【0052】

ステップＳ１６において、診断モジュール４３は、異常が発生していないと判断した場合（ステップＳ１６ ＮＯ）、本処理を終了する。なお、ステップＳ１６において、コンピュータ１０は、図示していない外部端末等に、物体に異常が発生していないことを示す通知を送信してもよい。外部端末は、この通知を自身の表示部により表示することやこの通知を音声出力することにより、その旨をユーザに通知してもよい。

【0053】

一方、ステップＳ１６において、診断モジュール４３は、異常が発生していると判断した場合（ステップＳ１６ ＹＥＳ）、診断モジュール４３は、物体の異常が発生している部位である物体の異常部分を特定する（ステップＳ１７）。ステップＳ１７において、診断モジュール４３は、可視光画像から抽出した各部位の特徴量や色又は赤外線画像から特定した各部位の温度のいずれか又は双方により、異常部分を特定する。診断モジュール４３は、抽出した各部位の特徴量や色が、物体の通常の状態の特徴量や色と異なっている部位を異常部分として特定する。また、診断モジュール４３は、特定した各部位の温度が、物体の通常の温度と異なっている部分を異常部分として特定する。

【0054】

環境データ取得モジュール２１は、物体の設置環境を示す環境データを取得する（ステップＳ１８）。ステップＳ１８において、環境データ取得モジュール２１は、環境データとして、可視光画像及び赤外線画像を取得した日付、この日付の配管を流れる流量の変化を示す流量変化データ、この日付の温度センサにより検知した温度データ、日付のガスセンサにより検知したガスデータからなる群のうち少なくとも一つを取得する。環境データ取得モジュール２１は、図示していない時計、流量計、ガス検知器、温度計、湿度計、気圧計等のセンサから、環境データを取得する。これらのセンサは、物体の近傍又はこの物体が植えられている場所の近傍に設置される。

【0055】

なお、環境データ取得モジュール２１は、環境データをこの他のタイミングにより取得してもよい。環境データ取得モジュール２１は、例えば、物体の画像データを取得すると同時に環境データを取得してもよいし、物体の種類を特定した後に環境データを取得してもよい。すなわち、環境データ取得モジュール２１は、環境データを、物体の状態を診断するよりも以前に取得すればよい。また、センサは、上述した例以外の環境データを検知してもよい。また、センサの設置位置は、上述した例に限らず、物体の設置環境を検知することが可能な位置に適宜変更可能である。

【0056】

診断モジュール４３は、特定された種類と、特定された異常部分と、取得された環境データとから物体の状態を診断する（ステップＳ１９）。ステップＳ１９において、診断モジュール４３は、記憶モジュール３０が記憶する物体の種類と、物体の異常部分と、物体の環境データと、診断結果とが紐付けられた診断データベースに基づいて、物体の状態を診断する。診断モジュール４３は、今回特定された種類と、特定された異常部分と、取得された環境データとの組み合わせに該当する箇所を、診断データベースを参照することにより特定する。診断モジュール４３は、この箇所に該当する診断結果を抽出する。診断モジュール４３は、抽出した診断結果を、この物体の状態として診断する。

【0057】

なお、診断モジュール４３は、特定された種類、特定された異常部分又は取得された環境データのいずれか又は複数の組み合わせにより、物体の状態を診断してもよい。この場合、診断モジュール４３は、該当する複数の診断結果を抽出した際、これらの情報に基づいて、各診断結果に対して、確率を算出してもよい。例えば、診断モジュール４３は、特定された異常部分において、複数の診断結果を得た場合、環境データの一致率に基づいて、各診断結果の確率を算出する。また、診断モジュール４３は、取得された環境データにおいて、複数の診断結果を得た場合、環境データの各データに、重みづけを予め設定し、この重みづけと確率とを対応付けておくことにより、各診断結果に対して確率を算出してもよい。また、診断モジュール４３は、その他の方法により、確率を算出してもよい。

【0058】

［診断データベース］
図１０に基づいて、記憶モジュール３０が記憶する診断データベースについて説明する。図１０は、記憶モジュール３０が記憶する診断データベースの一例を示す図である。図１０において、記憶モジュール３０は、種類等の物体を識別するための情報と、日付、流量変化データ、温度、ガス検知等の物体の設置環境を示す環境データと、診断結果を示す情報とを対応付けて記憶する。種類は、物体の種類である。日付は、可視光画像を取得した日付である。流量変化データは、この日付における取得した流量変化データである。温度は、この日付における温度データである。ガス検知は、この日付におけるガスを検知したか否かである。診断は、これらの状態にあるときの物体の状態である。診断データベースにおいて、各種類に対して、物体が通常の状態である場合と、異常が発生している場合とをそれぞれ対応付けている。記憶モジュール３０は、物体が通常の状態である場合、診断結果が該当なしであることを対応付けて記憶する。記憶モジュール３０は、物体に異常が発生している状態である場合、診断結果にそれぞれ該当する内容を対応付けて記憶する。

【0059】

なお、診断データベースにおいて、物体を識別するための情報、環境データ、診断結果を示す情報は、上述した例に限らず、その他の情報が追加されていてもよいし、上述した項目の一部が削除されていてもよい。また、物体の種類や分類の数は、上述した例に限らず、これよりも多くとも少なくともよい。また、診断データベースは、物体毎、分類毎のそれぞれで作成されていてもよい。

【0060】

学習モジュール４４は、診断結果を学習する（ステップＳ２０）。ステップＳ２０において、学習モジュール４４は、環境データ及び可視光画像や赤外線画像の画像を特徴量として、診断結果を学習する。すなわち、記憶モジュール３０が記憶する診断データベースにおける環境データ及び画像と診断結果とのペアを、「教師ありデータ」として学習し、診断判断データを生成する。記憶モジュール３０は、この生成された診断判断データを記憶し、診断モジュール４３は、新たな画像を取得した際には、この今回学習した診断判断データに基づいて診断結果を判断する。

【0061】

以上が、物体診断処理である。

【0062】

なお、上述した実施形態において、物体は、配管を有する工場施設であるものとして説明しているが、それ以外の物体、例えば、携帯電話、携帯情報端末、タブレット端末に加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、各種センサや、ロボット等のＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）機器であってもよい。また、工場のパイプ、配管設備、排水設備、受変電設備、送電設備、ポンプ設備、消防設備、ボイラー設備、高圧ガス設備、高圧空気設備等の工場設備であってもよい。さらには、車両、飛行機、船、バス等の移動体であってもよいし、住宅、病院、診療所、駅、空港、ビル、官公庁舎、警察署、消防署、交番、競技場、球場、ホテル、倉庫、学校、公衆便所、店舗、飲食店等の建築物であってもよい。

【0063】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0064】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0065】

１ 物体診断システム、１０ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】