(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-16
(45)【発行日】2024-04-24
(54)【発明の名称】学習データ作成システム、学習データ作成方法、および学習済みモデル
(51)【国際特許分類】
G06T 7/00 20170101AFI20240417BHJP
【FI】
G06T7/00 350B
(21)【出願番号】P 2020071925
(22)【出願日】2020-04-13
【審査請求日】2023-03-14
(73)【特許権者】
【識別番号】519077997
【氏名又は名称】株式会社イーアイアイ
(73)【特許権者】
【識別番号】502253401
【氏名又は名称】大栄環境株式会社
(74)【代理人】
【識別番号】100183162
【氏名又は名称】大塚 義文
(72)【発明者】
【氏名】胡 浩
(72)【発明者】
【氏名】張 嵩
【審査官】片岡 利延
(56)【参考文献】
【文献】特開2018-072881(JP,A)
【文献】特開2021-018788(JP,A)
【文献】特開2009-010828(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
画像データから火の検知を行う学習モデルに入力する教師データを作成する学習データ作成システムであって、
監視対象の第一画像および前記第一画像と同時刻に撮影したものであって当該第一画像よりも撮像時の光量を抑えた第二画像を撮像する撮像手段と、
前記監視対象における火の存在を示す存在情報を、画像認識手段を用いて前記第二画像から取得する取得手段と、
前記第一画像に前記存在情報をラベルとして関連付けた第一教師データを作成する第一作成手段と、を備える、
ことを特徴とする学習データ作成システム。
【請求項2】
前記取得手段は、火が写る範囲を示す範囲情報を前記第二画像からさらに取得し、
前記第一作成手段は、前記第一画像に前記存在情報および前記範囲情報をラベルとして関連付けた第一教師データを作成する、
ことを特徴とする請求項1に記載の学習データ作成システム。
【請求項3】
前記撮像手段は、前記第一画像を撮像する第一カメラと、前記第一カメラの上方または下方に配置されており前記第二画像を撮像する第二カメラと、前記第一カメラの側方に配置されており前記第二画像を撮像する第三カメラと、を有し、
前記取得手段は、前記第二カメラが撮像した前記第二画像から前記第一画像における火の左右方向の範囲を特定し、前記第三カメラが撮像した前記第二画像から前記第一画像における火の上下方向の範囲を特定する、
ことを特徴とする請求項2に記載の学習データ作成システム。
【請求項4】
前記第二画像に少なくとも前記存在情報をラベルとして関連付けた第二教師データを作成する第二作成手段をさらに備える、
ことを特徴とする請求項1ないし請求項3の何れか一項に記載の学習データ作成システム。
【請求項5】
前記第一画像は、前記監視対象の状況および前記火の範囲を目視可能であるものであり、
前記第二画像は、前記火の範囲のみを目視可能である、
ことを特徴とする請求項1ないし請求項4の何れか一項に記載の学習データ作成システム。
【請求項6】
画像データから火の検知を行う学習モデルに入力する教師データを作成する学習データ作成方法であって、
監視対象の第一画像および前記第一画像と同時刻に撮影したものであって当該第一画像よりも撮像時の光量を抑えた第二画像を撮像する撮像ステップと、
前記監視対象における火の存在を示す存在情報を、画像認識手段を用いて前記第二画像から取得する取得ステップと、
前記第一画像に前記存在情報をラベルとして関連付けた第一教師データを作成する第一作成ステップとを実行する、
ことを特徴とする学習データ作成方法。
【請求項7】
請求項6に記載の学習データ作成方法によって作成した前記第一教師データを用いて教師あり学習を行った、火の検知を行う
処理をコンピュータに実行させるための学習済みモデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習データ作成システム、学習データ作成方法、および学習済みモデルに関する。
【背景技術】
【0002】
炎を判定する炎検知装置が開発されている(特許文献1参照)。この炎検知装置は、撮像素子によって監視対象を撮像して得られた画像から炎を判定する。
【0003】
また、近年では人工知能(AI:Artificial Intelligence)の技術を用いた画像認識手段を取り入れたシステムの開発が様々な分野で進められている。この技術を用いれば、例えば多数の教師データを学習モデルに入力して学習させることで、撮像した画像から火の発生を検知する学習済みモデルを作成することができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、精度の高い学習済みモデルを作成するためには膨大な数の教師データが必要であり、そのような膨大な数の教師データを作成するためにはとても多くの労力を要する。そのため、精度の高い学習済みモデルを作成するのが困難であった。
【0006】
このような観点から、本発明は、学習データの作成に要する労力を抑えることができる学習データ作成システム、学習データ作成方法、および当該学習データ作成方法によって作成した学習データを用いて作成した学習済みモデルを提供する。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係る学習データ作成システムは、画像データから火の検知を行う学習モデルに入力する教師データを作成する学習データ作成システムである。この学習データ作成システムは、撮像手段と、取得手段と、第一作成手段とを備える。
撮像手段は、監視対象の第一画像および前記第一画像と同時刻に撮影したものであって当該第一画像よりも撮像時の光量を抑えた第二画像を撮像する。
取得手段は、前記監視対象における火の存在を示す存在情報を、画像認識手段を用いて前記第二画像から取得する。
第一作成手段は、前記第一画像に前記存在情報をラベルとして関連付けた第一教師データを作成する。
【0008】
前記第一画像は、前記監視対象の状況および前記火の範囲を目視可能であるのがよい。また、前記第二画像は、前記火の範囲のみを目視可能であるのがよい。
【0009】
本発明に係る学習データ作成システムにおいては、撮影時に光量を抑えることによって火が第二画像に鮮明に写し出される。そのため、撮影時に光量を抑えていない第一画像から画像認識手段を用いて火の存在を判定するのに比べて、第二画像から火の存在の判定を行うのが容易である。したがって、第二画像から取得した火の存在を示す存在情報の間違いが少なく、存在情報をラベルとして関連付けた第一教師データの精度が高い。その結果、第一教師データの作成に要する労力を抑えることができる。
【0010】
前記取得手段は、火が写る範囲を示す範囲情報を前記第二画像からさらに取得し、前記第一作成手段は、前記第一画像に前記存在情報および前記範囲情報をラベルとして関連付けた第一教師データを作成してもよい。
【0011】
このようにすると、火が写る範囲を示す範囲情報を付した第一教師データを容易に作成することができる。
【0012】
前記撮像手段は、前記第一画像を撮像する第一カメラと、前記第一カメラの上方または下方に配置されており前記第二画像を撮像する第二カメラと、前記第一カメラの側方に配置されており前記第二画像を撮像する第三カメラと、を有するのがよい。
前記取得手段は、前記第二カメラが撮像した前記第二画像から前記第一画像における火の左右方向の範囲を特定し、前記第三カメラが撮像した前記第二画像から前記第一画像における火の上下方向の範囲を特定する。
【0013】
このようにすると、火が写る範囲を簡単な計算によって特定できるので、火が写る範囲を示す範囲情報を付した第一教師データをさらに容易に作成することができる。
【0014】
前記第二画像に少なくとも前記存在情報をラベルとして関連付けた第二教師データを作成する第二作成手段をさらに備えるのがよい。
【0015】
このようにすると、第一教師データと同様に、存在情報をラベルとして関連付けた第二教師データの作成に要する労力を抑えることができる。
【0016】
前記課題を解決するため、本発明に係る学習データ作成方法は、画像データから火の検知を行う学習モデルに入力する教師データを作成する学習データ作成方法である。この学習データ作成方法では、撮像ステップと、取得ステップと、第一作成ステップとを実行する。
撮像ステップでは、監視対象の第一画像および前記第一画像と同時刻に撮影したものであって当該第一画像よりも撮像時の光量を抑えた第二画像を撮像する。
取得ステップでは、前記監視対象における火の存在を示す存在情報を、画像認識手段を用いて前記第二画像から取得する。
第一作成ステップでは、前記第一画像に前記存在情報をラベルとして関連付けた第一教師データを作成する。
【0017】
本発明に係る学習データ作成方法においては、撮影時に光量を抑えることによって火が第二画像に鮮明に写し出される。そのため、撮影時に光量を抑えていない第一画像から画像認識手段を用いて火の存在を判定するのに比べて、第二画像から火の存在の判定を行うのが容易である。したがって、第二画像から取得した火の存在を示す存在情報の間違いが少なく、存在情報をラベルとして関連付けた第一教師データの精度が高い。その結果、第一教師データの作成に要する労力を抑えることができる。
【0018】
学習データ作成方法によって作成した前記第一教師データを用いて教師あり学習を行って、火の検知を行う処理をコンピュータに実行させるための学習済みモデルを作成するのがよい。
【発明の効果】
【0019】
本発明によれば、学習データの作成に要する労力を抑えることができる。
【図面の簡単な説明】
【0020】
【
図1】本発明の第1実施形態に係る学習データ作成システムを含む総合監視システムの概略構成図である。
【
図2】本発明の第1実施形態に係る撮像手段を説明するための図であって、(a)は第一画像のイメージであり、(b)は第二画像のイメージである。
【
図5】本発明の第1実施形態に係る学習データ作成方法を説明するための図である。
【
図6】本発明の第2実施形態に係る学習データ作成システムを含む総合監視システムの概略構成図である。
【
図7】本発明の第2実施形態に係る撮像手段を説明するための図であって、(a)は撮像手段の正面図であり、(b)は撮像手段を構成する各カメラの視界のイメージである。
【
図10】本発明の第2実施形態に係る学習データ作成方法を説明するための図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0022】
[第1実施形態]
<第1実施形態に係る学習データ作成システムを含む総合監視システムの構成>
図1を参照して、第1実施形態に係る総合監視システムSAについて説明する。
図1は、総合監視システムSAの概略構成図である。総合監視システムSAは、各々の現場に設置される消防システム1A-1,1A-2,・・,1A-N(N≧2)と、クラウドシステム2Aと、ユーザ端末3とを備える。消防システム1A-1,1A-2,・・,1A-Nの構成は同様であるので、以下ではまとめて「消防システム1A」と称する場合がある。
【0023】
(消防システムについて)
消防システム1Aは、火の発生を監視するとともに火が発生した場合に自動で消火するシステムである。消防システム1Aは、火の発生を監視する監視対象や監視目的を限定せずに、様々な状況における火の発生の監視および消火に利用することができる。ここでの火には、火花や炎などの火災の原因になるものが広く含まれる。火は、光や熱を発生する。
【0024】
図1に示すように、本実施形態では、消防システム1Aを用いて、廃棄物処理施設に設置される破砕機Kを監視する場合について説明し、破砕機Kにおける火(特に、火花)の発生を検知する。破砕機Kにはベルトコンベアを介して廃棄物が搬送されてくる。消防システム1Aによれば、作業員が破砕機Kを目視により常時監視することなしに、破砕機Kで発生する火を検知できる。
【0025】
図1に示すように、消防システム1Aは、撮像手段10Aと、ローカル端末20Aと、制御装置30と、消防用設備40とを備える。なお、
図1に示す消防システム1Aの構成はあくまで例示であり、
図1とは異なる構成にすることもできる。
【0026】
撮像手段10Aは、監視対象である破砕機Kを撮像し、破砕機Kの画像(映像でもよい)を作成する。撮像手段10Aは、第一カメラ11と第二カメラ12とを備える。第一カメラ11および第二カメラ12は、デジタルカメラであって同じ機種であるのがよい。第一カメラ11および第二カメラ12は同期しており(同時に撮像することが可能であり)、同時刻の破砕機Kの状態を撮像できる。第一カメラ11および第二カメラ12は、監視対象を同じ場所(つまり、同じ角度および同じ距離)から撮像できるように設置されるのがよい。第一カメラ11と第二カメラ12とは上下方向に並べて配置されている。第一カメラ11および第二カメラ12の光軸は、平行である。第一カメラ11および第二カメラ12は、監視を行うのに十分な解像度(例えば、800万画素以上)を有しているのがよい。また、映像を撮影する場合、第一カメラ11および第二カメラ12は、監視を行うのに十分な程度の連続撮影が可能であるのがよい(例えば、1秒間に数十枚の撮影が可能であるのがよい)。なお、詳細は後記するが、第1実施形態では火の位置の特定は問題としないので、第一カメラ11と第二カメラ12とが必ずしも同じ機種でなくてもよく、また同じ場所に設置されていなくてもよい(つまり、撮影するタイミングの同期が取れていればよい)。
【0027】
第一カメラ11は、監視対象の第一画像を撮像する。第一画像は、監視対象の状況が分かる程度に鮮明な画像である。第一画像は、監視対象の状況および火の範囲を目視可能であるのが望ましい。第一カメラ11は、例えば発生する火の輪郭や色の特徴を出せるように各種のパラメータが設定されている。第一カメラ11を自動モード(自動補正あり)に設定して第一画像を撮像してもよい。
【0028】
第二カメラ12は、監視対象の第二画像を撮像する。第二画像は、発生した火が鮮明な画像である。第二画像は、火の範囲のみを目視可能であるのが望ましい。第二カメラ12は、例えば光量を抑えるように各種のパラメータが設定されている(例えば、絞り値、露光時間など)。そのため、第二カメラ12を手動モード(自動補正なし)に設定して第二画像を撮像するのがよい。第二画像は、第一画像に比べて暗い画像になる。以下では、第一画像を「明るい画像」と呼び、「第二画像」を「暗い画像」と呼ぶ場合がある。なお、第一カメラ11と第二カメラ12とは、撮像範囲の設定が同じになっているのがよい。
【0029】
図2(a)に第一画像P1のイメージを示し、
図2(b)に第二画像P2のイメージを示す。
図2に示す第一画像P1および第二画像P2には、破砕機K、廃棄物H、発生した火Fなどが写っている。明るい画像である第一画像P1では、破砕機Kや廃棄物Hが鮮明に写っているので、相対的に火Fが分かりづらくなっている。一方、暗い画像である第二画像P2では、破砕機Kや廃棄物Hが鮮明に写っていないので(例えば、薄暗い状態)、相対的に火Fが分かりやすくなっている。
【0030】
図1に示すローカル端末20Aは、情報処理装置であって消防システム1Aを管理している。ローカル端末20Aは、例えばパーソナルコンピュータである。ローカル端末20Aは、撮像手段10Aに接続されており、撮像手段10Aから第一画像および第二画像を受信する。ローカル端末20Aには、火を検知するプログラム(例えば、学習済みモデル)が格納されており、第一画像および第二画像の少なくとも何れか一方を用いて火を検知する。どの画像を用いて火の検知を行うかは事前に設定されている。
【0031】
ローカル端末20Aは、予め決められた条件に従って(例えば、所定時間内に規定回数を超えて火を検知したなど)、消火や警報などの対応を行うか否かを判定する。ローカル端末20Aは、制御装置30に接続されており、消火や警報などの対応を制御装置30に対して指示する。また、ローカル端末20Aは、Eメールの送信機能を有しており、予め決められた相手に火の発生を通知する。また、ローカル端末20Aは、クラウドシステム2に接続されており、第一画像および第二画像や火の発生に関する情報をクラウドシステム2Aに送信する。
【0032】
図1に示す制御装置30は、例えばPLC(Programmable Logic Controller)制御盤である。制御装置30は、ローカル端末20Aおよび消防用設備40に接続されており、ローカル端末20Aからの指示に従って、消防用設備40を動作させる。なお、ローカル端末20Aと制御装置30とが一つの装置として構成されていてもよい。その場合、ローカル端末20Aは、例えば消防用設備40に直接指示を送信する。
【0033】
図1に示す消防用設備40は、火が発生した場合に動作して火災への対応を行う装置である。消防用設備40は、例えば消火設備41と、警報設備42とを備える。消火設備41は、例えばスプリンクラーであって発生した火を消火する。警報設備42は、例えばスピーカーや無線機であって、廃棄物処理施設の作業員に対して避難を促す。
【0034】
図1に示すクラウドシステム2Aは、総合監視システムSAを管理している。クラウドシステム2Aは、ローカル端末20Aおよびユーザ端末3に接続されている。クラウドシステム2Aは、例えば監視対象ごとにデータベースを構築しており、ローカル端末20Aから受信した第一画像および第二画像を管理している。
【0035】
クラウドシステム2Aは、第一画像および第二画像を教師データとして教師あり学習によって学習済みモデルを作成する機能を有している。クラウドシステム2Aで学習された最新の学習済みモデルは、ローカル端末20Aに送信され、ローカル端末20Aの学習済みモデルは定期的に更新される。学習データの作成方法および学習方法については後述する。
【0036】
図1に示すユーザ端末3は、例えば廃棄物処理施設を管理するユーザが操作する端末である。ユーザ端末3は、クラウドシステム2に接続されており、クラウドシステム2が収集した監視対象の情報を取得可能である。ユーザは、ユーザ端末3を用いて自身が管理する廃棄物処理施設に設置される破砕機Kの情報を確認できる。
【0037】
(ローカル端末について)
図3を参照して、ローカル端末20Aが有する機能について説明する。
図3は、ローカル端末20Aの機能構成図である。
ローカル端末20Aは、主に、入力手段21と、取得手段22Aと、火検知手段23Aと、制御手段24と、出力手段25とを備えている。ローカル端末20Aが備えるこれらの機能は、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。なお、
図3に示すローカル端末20Aの各機能の分類は、説明の便宜上のものであって、本発明を限定するものではない。
【0038】
入力手段21は、明るい画像である第一画像P1(
図2(a)参照)および暗い画像である第二画像P2(
図2(b)参照)をローカル端末20A内に取り込むための機能である。入力手段21は、例えば入力インタフェースを含んで構成されており、撮像手段10Aから第一画像P1および第二画像P2を受信し、受信した第一画像P1および第二画像P2を図示しない記憶手段に格納する。
【0039】
取得手段22Aは、教師データのラベルとなる情報を取得する機能である。取得手段22Aは、画像認識手段を用いて第二画像から教師データのラベルとなる情報を取得する。ラベルとなる情報は、検知する火に関する情報であればよく、学習する内容に応じて決定される。本実施形態では、火の検知を行う学習モデルを作成するので、ラベルとなる情報は火の存在を示す存在情報(火のあり/なし情報)である。
【0040】
本実施形態に係る取得手段22Aは、画像認識手段を用いて第二画像に火が存在するか否か(火が写っているか否か)を判定する。火の存在を判定する画像認識手段の種類は特に限定されず、様々な方法を用いることができる。例えば火を検知するプログラムを開発してそれを画像認識手段として用いてもよいし、後述する第二画像から火を検知する第二学習済みモデルMAbを画像認識手段として用いてもよい。以下では、学習済みモデルによる画像認識を特に「AI(Artificial Intelligence)画像認識」と呼び、開発したプログラムによる画像認識を特に「非AI画像認識」と呼ぶことにする。
【0041】
非AI画像認識は、従来から知られている一般物体認識の技術を用いたものであってよい。この技術では、例えば画像に写る物体の形状、輪郭、動き、色、飽和度等の物体の状態を特徴量(パラメータ)として読み取り、予め登録しておいた物体の特徴量(パラメータ)と比較することで物体の類似度を算出する。なお、ここで示した物体の状態はあくまで例示であり、表面の凹凸状況、大きさ等を物体の状態として用いてもよい。第二画像では、発生した火が鮮明であるので、特徴量の読み取りが比較的容易であり、取得手段22Aが火を検知する精度は、教師データのラベルとなる情報(火のある/なし情報)を取得するのに十分なものになる。教師データのラベルとなる情報(火のある/なし情報)を取得するのに十分な精度とは、例えば火の発生の監視を行うのに十分な精度を要求するものではなく、発光体(例えば、照明や回転灯)を火と判定する程度の誤認識を許容するものであってよい。ただし、監視を行うのに十分な精度を有することを否定するものではない。なお、本実施形態では火の位置の特定は問題としないことにする(つまり、火の正確な位置までも特定するプログラムを作成する必要はない)。また、非AI画像認識のプログラムは、現場ごと、カメラごと、監視対象ごとに作成したものであってよく、複数の現場で共通するものでなくてもよい。
【0042】
火検知手段23Aは、第一学習済みモデルMAaと、第二学習済みモデルMAbとを備える。第一学習済みモデルMAaおよび第二学習済みモデルMAbは、例えばニューラルネットワークとして構成されており、監視対象において火が発生している可能性を算出する。例えば、ニューラルネットワークは、決められた画素数の画像を入力する入力層と、中間層(隠れ層)と、火のある/なしに応じたノードを有する出力層とによって構成されている。入力層には、第一画像P1や第二画像P2が入力される。第一画像P1、第二画像P2の入力方法は特に限定されない。出力層からは、火が発生している可能性が確率として出力される。
【0043】
第一学習済みモデルMAaは、明るい画像である第一画像P1(
図2(a)参照)から火を検知する。第一学習済みモデルMAaは、明るい画像である第一画像P1(
図2(a)参照)に火の存在を示す存在情報(火のあり/なし情報)をラベルとして関連付けた第一教師データを入力することによって学習したものである。本実施形態では、クラウドシステム2Aで第一学習済みモデルMAaの学習が行われる。第一学習済みモデルMAaを用いた場合における火の検知精度は、例えば火の発生の監視を行うのに十分なものであるのがよく、発光体(例えば、照明や回転灯)を火と区別できるものであるのが望ましい。
【0044】
第二学習済みモデルMAbは、暗い画像である第二画像P2(
図2(b)参照)から火を検知する。第二学習済みモデルMAbは、暗い画像である第二画像P2(
図2(b)参照)に火の存在を示す存在情報(火のあり/なし情報)をラベルとして関連付けた第二教師データを入力することによって学習したものである。本実施形態では、クラウドシステム2Aで第二学習済みモデルMAbの学習が行われる。第二学習済みモデルMAbを用いた場合における火の検知精度は、例えば火の発生の監視を行うのに十分なものであるのがよく、発光体(例えば、照明や回転灯)を火と区別できるものであるのが望ましい。なお、第二学習済みモデルMAbを用いた場合における火の検知精度は、第一学習済みモデルMAaを用いた場合における火の検知精度に比べて一般的に良くなりやすい。
【0045】
制御手段24は、予め決められた条件に従って(例えば、所定時間内に規定回数を超えて火を検知したなど)、消火や警報などの対応を行うか否かを判定する。制御手段24は、対応を行うと判定した場合、制御装置30を介して消火や警報などの対応を消防用設備40に指示する。また、制御手段24は、Eメールなどによって予め決められた相手に火の発生を通知する。
【0046】
出力手段25は、教師データの作成に必要な情報や総合監視システムSAを管理するのに必要な情報をクラウドシステム2Aに出力するための機能である。出力手段25は、例えば出力インタフェースを含んで構成されており、明るい画像である第一画像P1(
図2(a)参照)および暗い画像である第二画像P2(
図2(b)参照)や、火の発生に関する情報をクラウドシステム2Aに送信する。なお、第一画像P1、第二画像P2には、火の存在を示す存在情報(火のあり/なし情報)が対応付けられているのがよい。この対応付けは、例えば撮像を行った時刻によって実現されている。
【0047】
(クラウドシステムについて)
図4を参照して、クラウドシステム2Aが有する機能について説明する。
図4は、クラウドシステム2Aの機能構成図である。
クラウドシステム2Aは、主に、入力手段31と、作成手段32Aと、機械学習手段33Aと、更新手段34とを備えている。クラウドシステム2Aが備えるこれらの機能は、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。なお、
図4に示すクラウドシステム2Aの各機能の分類は、説明の便宜上のものであって、本発明を限定するものではない。
【0048】
入力手段31は、教師データの作成に必要な情報や総合監視システムSAを管理するのに必要な情報をクラウドシステム2内に取り込むための機能である。入力手段31は、例えば入力インタフェースを含んで構成されており、例えば明るい画像である第一画像P1(
図2(a)参照)および暗い画像である第二画像P2(
図2(b)参照)や火の発生に関する情報を受信し、受信したこれらの情報を図示しない記憶手段に格納する。
【0049】
作成手段32Aは、教師あり学習で学習モデルに入力する教師データを作成する機能である。作成手段32Aは、第一作成手段32Aaおよび第二作成手段32Abを備える。
【0050】
第一作成手段32Aaは、明るい画像である第一画像P1に火の存在を示す存在情報(火のあり/なし情報)をラベルとして関連付けた第一教師データを作成する。第一教師データには、第一画像P1に火が写っているものと火が写っていないものとが含まれる。火が写っている第一画像P1には、「火がある」とのラベルが付与され、また、火が写っていない第一画像P1には、「火がない」とのラベルが付与される。
【0051】
第二作成手段32Abは、暗い画像である第二画像P2に火の存在を示す存在情報(火のあり/なし情報)をラベルとして関連付けた第二教師データを作成する。第二教師データには、第二画像P2に火が写っているものと火が写っていないものとが含まれる。火が写っている第二画像P2には、「火がある」とのラベルが付与され、また、火が写っていない第二画像P2には、「火がない」とのラベルが付与される。
【0052】
機械学習手段33Aは、教師あり学習によって学習モデルを学習させるための機能である。機械学習手段33Aは、第一機械学習手段33Aaおよび第二機械学習手段33Abを備える。
【0053】
第一機械学習手段33Aaは、第一教師データを入力として学習モデルを学習する。第一機械学習手段33Aaは、学習済みのモデルを再学習することもできる。なお、第一教師データは、明るい画像である第一画像P1に火の存在を示す存在情報(火のあり/なし情報)をラベルとして関連付けたデータである。第一機械学習手段33Aaの学習によって、第一学習済みモデルMAa(
図3参照)が作成される。
【0054】
第二機械学習手段33Abは、第二教師データを入力として学習モデルを学習する。第二機械学習手段33Abは、学習済みのモデルを再学習することもできる。なお、第二教師データは、暗い画像である第二画像P2に火の存在を示す存在情報(火のあり/なし情報)をラベルとして関連付けたデータである。第二機械学習手段33Abの学習によって、第二学習済みモデルMAb(
図3参照)が作成される。
【0055】
更新手段34は、機械学習手段33Aによって作成された学習済みモデル(第一学習済みモデルMAaおよび第二学習済みモデルMAb)をローカル端末20Aに送信し、既存の学習済みモデルをアップデートする機能である。アップデートするタイミングは特に限定されない。
【0056】
なお、消防システム1Aが備える機能の中で学習データの作成に関する機能である「撮像手段10A」、「取得手段22A」、「作成手段32A」をまとめたものを特に「学習データ作成システム」と呼ぶ場合がある。
【0057】
<第1実施形態に係る学習データ作成方法>
図5を参照して(適宜、
図1ないし
図4参照)、第1実施形態に係る学習データ作成方法について説明する。
図5は、第1実施形態に係る学習データ作成方法を説明するための図である。ここでは、映像による監視を想定して説明する。
【0058】
(ステップS10)
各現場で撮像手段10A(
図1参照)が監視対象(例えば、破砕機K)を撮影し、撮影された第一画像P1および第二画像P2は、現場に設置されるローカル端末20A-1,20A-2,・・,20A-Nに送られる。
【0059】
(ステップS20)
各現場のローカル端末20Aでは、教師データのラベルとなる情報を取得するために取得手段22Aが暗い画像である第二画像P2を用いて火の検知を行い、火の存在を示す存在情報(火のあり/なし情報)を取得する。なお、この教師データのラベルとなる情報の取得処理は、監視対象を監視する処理の一部として実行されてもよい。ローカル端末20Aは、明るい画像である第一画像P1、暗い画像である第二画像P2をクラウドシステム2Aに送信する。ここで、第一画像P1、第二画像P2には、火の存在を示す存在情報(火のあり/なし情報)が対応付けられている。なお、これらの情報の送信はリアルタイムで行われなくてもよい。
【0060】
(ステップS30)
クラウドシステム2Aは、ローカル端末20Aから取得した第一画像P1および第二画像P2を蓄積し、作成手段32Aは、所定のタイミング(例えば、機械学習を行うタイミング)で第一教師データおよび第二教師データを作成する。第一教師データは、明るい画像である第一画像P1に火の存在を示す存在情報(火のあり/なし情報)をラベルとして関連付けたものである。また、第二教師データは、暗い画像である第二画像P2に火の存在を示す存在情報(火のあり/なし情報)をラベルとして関連付けたものである。なお、人間がチェックすることによって、第一教師データおよび第二教師データの精度を高めることができる。第一教師データには、第一画像P1に火が写っているものと火が写っていないものとが含まれる。また、第二教師データには、第二画像P2に火が写っているものと火が写っていないものとが含まれる。
【0061】
(ステップS40)
クラウドシステム2Aの機械学習手段33Aは、学習モデルに第一教師データを入力して第一学習済みモデルMAaを作成する。また、機械学習手段33Aは、学習モデルに第二教師データを入力して第二学習済みモデルMAbを作成する。なお、それぞれの学習済みモデルを再学習することもできる。これにより、火を検知する精度を向上させることが可能である。
【0062】
(ステップS50)
クラウドシステム2Aは、最新の学習済みモデルをローカル端末20Aに送信し、ローカル端末20Aの学習済みモデルは定期的に更新される。ローカル端末20Aは、学習済みモデルを用いることによって、誤検知の少ない精度より火の検知を行うことができる。
【0063】
学習済みモデル(第一学習済みモデルMAa、第二学習済みモデルMAb)を用いる利用形態は特に限定されない。学習済みモデルの活用方法は、例えば以下のものがある。
(1)第二学習済みモデルMAbを用いた暗い第二画像P2からの検知
(2)第一学習済みモデルMAaを用いた明るい第一画像P1からの検知
(3)第二学習済みモデルMAbおよび第一学習済みモデルMAaの併用
上記(1)の利用形態では、第一画像P1を監視対象の確認用として用いてもよい。また、上記(3)の利用形態において、相反する火の検知結果が出た場合における制御は、第二学習済みモデルMAbを優先、第一学習済みモデルMAaを優先、火の検知として処理するなどが考えられる。
【0064】
以上のように、第1実施形態に係る学習データ作成システムおよび学習データ作成方法では、撮影時に光量を抑えることによって火が第二画像P2に鮮明に写し出される。そのため、撮影時に光量を抑えていない第一画像P1から画像認識手段を用いて火の存在を判定するのに比べて、第二画像P2から火の存在の判定を行うのが容易である。したがって、第二画像P2から取得した火の存在を示す存在情報の間違いが少なく、存在情報をラベルとして関連付けた第一教師データの精度が高い。その結果、第一教師データの作成に要する労力を抑えることができる。第二教師データの作成につても同様である。
【0065】
[第2実施形態]
第1実施形態では、暗い画像である第二画像P2から教師データのラベルとなる情報(火のある/なし情報)を取得していた。ここで、第1実施形態では火の位置の特定は問題としていなかった。第2実施形態では、教師データのラベルとなる情報として火のある/なし情報に加えて火が写る範囲を取得する。
【0066】
図6を参照して、第2実施形態に係る総合監視システムSBについて説明する。
図6は、総合監視システムSBの概略構成図である。以降では、第1実施形態に係る構成との相違点について主に説明する。
総合監視システムSBは、各々の現場に設置される消防システム1B-1,1B-2,・・,1B-N(N≧2)と、クラウドシステム2Bと、ユーザ端末3とを備える。消防システム1B-1,1B-2,・・,1B-Nの構成は同様であるので、以下ではまとめて「消防システム1B」と称する場合がある。
【0067】
図6に示すように、消防システム1Bは、撮像手段10Bと、ローカル端末20Bと、制御装置30と、消防用設備40とを備える。制御装置30および消防用設備40の構成は、第1実施形態と同様であるので説明を省略する。なお、
図6に示す消防システム1Bの構成はあくまで例示であり、
図6とは異なる構成にすることもできる。
【0068】
撮像手段10Bは、監視対象である破砕機Kを撮像し、破砕機Kの画像(映像でもよい)を作成する。撮像手段10Bは、第一カメラ11と第二カメラ12と第三カメラ13とを備える。第一カメラ11、第二カメラ12および第三カメラ13は、デジタルカメラであって同じ機種である。第一カメラ11、第二カメラ12および第三カメラ13は同期しており(同時に撮像することが可能であり)、同時刻の破砕機Kの状態を撮像できる。第一カメラ11、第二カメラ12および第三カメラ13は、監視対象を同じ場所(つまり、同じ角度および同じ距離)から撮像できるように設置されるのがよい。第一カメラ11と第二カメラ12とは上下方向に並べて配置されており、第一カメラ11と第三カメラ13とは左右方向に並べて配置されている。第一カメラ11、第二カメラ12および第三カメラ13の光軸は、平行である。
【0069】
第一カメラ11は、監視対象の第一画像を撮像する。第一画像は、監視対象の状況が分かる程度に鮮明な画像である。第一画像は、監視対象の状況および火の範囲を目視可能であるのが望ましい。第一カメラ11は、例えば発生する火の輪郭や色の特徴を出せるように各種のパラメータが設定されている。第一カメラ11を自動モード(自動補正あり)に設定して第一画像を撮像してもよい。
【0070】
第二カメラ12および第三カメラ13は、監視対象の第二画像を撮像する。第二画像は、発生した火が鮮明な画像である。第二画像は、火の範囲のみを目視可能であるのが望ましい。第二カメラ12および第三カメラ13は、例えば光量を抑えるように各種のパラメータが設定されている(例えば、絞り値、露光時間など)。そのため、第二カメラ12および第三カメラ13を手動モード(自動補正なし)に設定して第二画像を撮像するのがよい。第二画像は、第一画像に比べて暗い画像になる。
【0071】
図7(a)は撮像手段10Bの正面図であり、(b)は撮像手段10Bを構成する各カメラの視界のイメージ(つまり、撮像した画像イメージ)である。
図7(a)に示すように、第二カメラ12は、第一カメラ11の下方に配置されており、また、第三カメラ13は、第一カメラ11の右側方に配置されている。なお、第二カメラ12が第一カメラ11の上方に配置され、第三カメラ13が第一カメラ11の左側方に配置されてもよい。
図7(b)に示すように、第一カメラ11の視界と第二カメラ12の視界とは上下方向にずれており、また、第一カメラ11の視界と第三カメラ13の視界とは左右方向にずれている。そのため、第二カメラ12によって撮像された第二画像P21および第三カメラ13によって撮像された第三画像P22に写る火Fの位置は、第一カメラ11によって撮像された第一画像P1に対してずれる。なお、ずれの方向およびずれの量は、カメラの配置によって決定される。
【0072】
(ローカル端末について)
図8を参照して、ローカル端末20Bが有する機能について説明する。
図8は、ローカル端末20Bの機能構成図である。
ローカル端末20Bは、主に、入力手段21と、取得手段22Bと、火検知手段23Bと、制御手段24と、出力手段25とを備えている。ローカル端末20Bが備えるこれらの機能は、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。なお、
図8に示すローカル端末20Bの各機能の分類は、説明の便宜上のものであって、本発明を限定するものではない。
【0073】
なお、入力手段21、制御手段24および出力手段25は、第1実施形態と同様であるので詳細な説明を省略する。入力手段21は、明るい画像である第一画像P1および暗い画像である二つの第二画像P21,P22をローカル端末20B内に取り込む。出力手段25は、明るい画像である第一画像P1および暗い画像である二つの第二画像P21,P22をクラウドシステム2Bに出力する。
【0074】
取得手段22Bは、教師データのラベルとなる情報を取得する機能である。取得手段22Bは、画像認識手段を用いて第二画像P2から教師データのラベルとなる情報を取得する。本実施形態でのラベルとなる情報は、火の存在を示す存在情報(火のあり/なし情報)および火が写る範囲を示す範囲情報である。範囲情報には、位置情報およびサイズ情報が含まれる。取得手段22Bは、第1実施形態と同様の方法によって火の存在を示す存在情報を取得する。なお、取得手段22Bは、二つの第二画像P2の内の何れか一方を用いて火のあり/なしを判定してもよいし、二つの第二画像P2から火のあり/なしを判定してもよい。
【0075】
取得手段22Bは、二つの第二画像P2から第一画像P1に写る火の範囲を特定する。
図7(a)に示すように、第一カメラ11および第二カメラ12の左右方向における光軸の位置および方向は合っている(ずれていない)。そのため、二つのカメラの画角を同じにすることによって、
図7(b)に示すように、第一カメラ11が撮像した第一画像P1に写る火の左右方向の範囲と、第二カメラ12が撮像した第二画像P21に写る火の左右方向の範囲とは同じになる。同様に、
図7(a)に示すように、第一カメラ11および第三カメラ13の上下方向における光軸の位置および方向は合っている(ずれていない)。そのため、二つのカメラの画角を同じにすることによって、
図7(b)に示すように、第一カメラ11が撮像した第一画像P1に写る火の上下方向の範囲と、第三カメラ13が撮像した第三画像P22に写る火の上下方向の範囲とは同じになる。取得手段22Bは、この原理を利用して第一画像P1に写る火の範囲を特定する。なお、取得手段22Bは、ここで説明した以外の方法で第二画像P2から第一画像P1に写る火の範囲を特定してもよい。
【0076】
火検知手段23Bは、第一学習済みモデルMBaと、第二学習済みモデルMBbとを備える。第一学習済みモデルMBaおよび第二学習済みモデルMBbは、例えばニューラルネットワークとして構成されており、監視対象において火が発生している可能性を算出する。
【0077】
第一学習済みモデルMBaは、明るい画像である第一画像P1(
図7(b)参照)から火を検知する。第一学習済みモデルMBaは、明るい画像である第一画像P1(
図7(b)参照)に火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズ)をラベルとして関連付けた第一教師データを入力することによって学習したものである。本実施形態では、クラウドシステム2Bで第一学習済みモデルMBaの学習が行われる。
【0078】
第二学習済みモデルMBbは、暗い画像である第二画像P21,P22(
図7(b)参照)から火を検知する。なお、第二画像P21,P22の何れか一方を用いて火を検知することもできる。第二学習済みモデルMBbは、暗い画像である第二画像P21,P22(
図7(b)参照)に火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズ)をラベルとして関連付けた第二教師データを入力することによって学習したものである。本実施形態では、クラウドシステム2Bで第二学習済みモデルMBbの学習が行われる。
【0079】
(クラウドシステムについて)
図9を参照して、クラウドシステム2Bが有する機能について説明する。
図9は、クラウドシステム2Bの機能構成図である。
クラウドシステム2Bは、主に、入力手段31と、作成手段32Bと、機械学習手段33Bと、更新手段34とを備えている。クラウドシステム2Bが備えるこれらの機能は、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。なお、
図9に示すクラウドシステム2の各機能の分類は、説明の便宜上のものであって、本発明を限定するものではない。
【0080】
なお、入力手段31および更新手段34は、第1実施形態と同様であるので詳細な説明を省略する。入力手段31は、明るい画像である第一画像P1および暗い画像である第二画像P21,P22や火の発生に関する情報をクラウドシステム2B内に取り込む。
【0081】
作成手段32Bは、教師あり学習で学習モデルに入力する教師データを作成する機能である。作成手段32Bは、第一作成手段32Baおよび第二作成手段32Bbを備える。
【0082】
第一作成手段32Baは、明るい画像である第一画像P1に火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズ)をラベルとして関連付けた第一教師データを作成する。第一教師データには、第一画像P1に火が写っているものと火が写っていないものとが含まれる。火が写っている第一画像P1には、例えば「火がある」および「火の範囲を囲む枠の情報」のラベルが付与され、また、火が写っていない第一画像P1には、「火がない」とのラベルが付与される。
【0083】
第二作成手段32Bbは、暗い画像である第二画像P2に火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズ)をラベルとして関連付けた第二教師データを作成する。第二教師データには、第二画像P2に火が写っているものと火が写っていないものとが含まれる。火が写っている第二画像P2には、例えば「火がある」および「火の範囲を囲む枠の情報」のラベルが付与され、また、火が写っていない第二画像P2には、「火がない」とのラベルが付与される。
【0084】
機械学習手段33Bは、教師あり学習によって学習モデルを学習させるための機能である。機械学習手段33Bは、第一機械学習手段33Baおよび第二機械学習手段33Bbを備える。
【0085】
第一機械学習手段33Baは、第一教師データを入力として学習モデルを学習する。第一機械学習手段33Baは、学習済みのモデルを再学習することもできる。なお、第一教師データは、明るい画像である第一画像P1に火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズの情報)をラベルとして関連付けたデータである。第一機械学習手段33Baの学習によって、第一学習済みモデルMBa(
図8参照)が作成される。第一学習済みモデルMBaによれば、発生した火の範囲の特定までが可能である。
【0086】
第二機械学習手段33Bbは、第二教師データを入力として学習モデルを学習する。第二機械学習手段33Bbは、学習済みのモデルを再学習することもできる。なお、第二教師データは、暗い画像である第二画像P2に火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズの情報)をラベルとして関連付けたデータである。第二機械学習手段33Bbの学習によって、第二学習済みモデルMBb(
図8参照)が作成される。第二学習済みモデルMBbによれば、発生した火の範囲の特定までが可能である。
【0087】
なお、消防システム1Bが備える機能の中で学習データの作成に関する機能である「撮像手段10B」、「取得手段22B」、「作成手段32B」をまとめたものを特に「学習データ作成システム」と呼ぶ場合がある。
【0088】
<第2実施形態に係る学習データ作成方法>
図10を参照して(適宜、
図6ないし
図9参照)、第2実施形態に係る学習データ作成方法について説明する。
図10は、第2実施形態に係る学習データ作成方法を説明するための図である。ここでは、映像による監視を想定して説明する。
【0089】
(ステップT10)
各現場で撮像手段10B(
図6参照)が監視対象(例えば、破砕機K)を撮影し、撮影された第一画像P1および二つの第二画像P2は、現場に設置されるローカル端末20B-1,20B-2,・・,20B-Nに送られる。
【0090】
(ステップT20)
各現場のローカル端末20Bでは、教師データのラベルとなる情報を取得するために取得手段22Bが暗い画像である二つの第二画像P2を用いて火の検知を行い、火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズの情報)を取得する。なお、この教師データのラベルとなる情報の取得処理は、監視対象を監視する処理の一部として実行されてもよい。ローカル端末20Bは、明るい画像である第一画像P1、暗い画像である第二画像P2をクラウドシステム2Bに送信する。ここで、第一画像P1、第二画像P2には、火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズの情報)が対応付けられている。なお、これらの情報の送信はリアルタイムで行われなくてもよい。
【0091】
(ステップT30)
クラウドシステム2Bは、ローカル端末20Bから取得した第一画像P1および第二画像P2を蓄積し、作成手段32Bは、所定のタイミング(例えば、機械学習を行うタイミング)で第一教師データおよび第二教師データを作成する。第一教師データは、明るい画像である第一画像P1に火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズの情報)をラベルとして関連付けたものである。また、第二教師データは、暗い画像である第二画像P2に火の存在を示す存在情報(火のあり/なし情報)および火の範囲を示す範囲情報(位置およびサイズの情報)をラベルとして関連付けたものである。なお、人間がチェックすることによって、第一教師データおよび第二教師データの精度を高めることができる。第一教師データには、第一画像P1に火が写っているものと火が写っていないものとが含まれる。また、第二教師データには、第二画像P2に火が写っているものと火が写っていないものとが含まれる。
【0092】
(ステップT40)
クラウドシステム2Bの機械学習手段33Bは、学習モデルに第一教師データを入力して第一学習済みモデルMBaを作成する。また、機械学習手段33Bは、学習モデルに第二教師データを入力して第二学習済みモデルMBbを作成する。なお、それぞれの学習済みモデルを再学習することもできる。これにより、火を検知する精度を向上させることが可能である。
【0093】
(ステップT50)
クラウドシステム2Bは、最新の学習済みモデルをローカル端末20Bに送信し、ローカル端末20Bの学習済みモデルは定期的に更新される。ローカル端末20Bは、学習済みモデルを用いることによって、誤検知の少ない精度より火の検知を行うことができる。
【0094】
以上のように、第2実施形態に係る学習データ作成システムおよび学習データ作成方法によっても第1実施形態と同等の効果を奏することができる。
また、第2実施形態に係る学習データ作成システムおよび学習データ作成方法によれば、火が写る範囲を示す範囲情報を付した第一教師データおよび第二教師データを容易に作成することができる。
【0095】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
【0096】
各実施形態では、ローカル端末20A,20Bが明るい画像である第一画像P1、暗い画像である第二画像P2の両方をクラウドシステム2A,2Bに送信し、クラウドシステム2A,2Bで第一学習済みモデルMAa,MBaおよび第二学習済みモデルMAb,MBbを作成する場合について説明した。しかしながら、必ずしも第一学習済みモデルMAa,MBa、第二学習済みモデルMAb,MBbの両方を作成しなくてもよい。また、第一学習済みモデルMAa,MBa、第二学習済みモデルMAb,MBbの両方を作成した場合であっても、第一学習済みモデルMAa,MBaおよび第二学習済みモデルMAb,MBbの何れか一方を用いて監視を行ってもよい。
【符号の説明】
【0097】
1A,1B 消防システム
10A,10B 撮像手段
11 第一カメラ
12 第二カメラ
13 第三カメラ
20A,20B ローカル端末
22A,22B 取得手段
23A,23B 火検知手段
30 制御装置
32A,32B 作成手段
32Aa,32Ba 第一作成手段
32Ab,32Bb 第二作成手段
33A,33B 機械学習手段
33Aa,33Ba 第一機械学習手段
33Ab,33Bb 第二機械学習手段
40 消防用設備
MAa,MBa 第一学習済みモデル
MAb,MBb 第二学習済みモデル