特開 2024-29276 稼働状態判定装置、稼働状態判定方法、及び稼働状態判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024029276

(43)【公開日】2024-03-06

(54)【発明の名称】稼働状態判定装置、稼働状態判定方法、及び稼働状態判定プログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20240228BHJP

   G05B 19/418 20060101ALI20240228BHJP

【ＦＩ】

G05B23/02 Z

G05B19/418 Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022131441

(22)【出願日】2022-08-22

(71)【出願人】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】品川 宗介

(72)【発明者】

【氏名】宮原 浩二

【テーマコード（参考）】

3C100

3C223

【Ｆターム（参考）】

3C100AA29

3C100AA38

3C100AA59

3C100BB13

3C100BB34

3C223AA11

3C223BA01

3C223BB08

3C223CC01

3C223FF22

3C223FF26

3C223FF35

3C223FF53

3C223GG01

3C223HH02

(57)【要約】

【課題】表示機の点灯パターンが示す装置の稼働状態の定義が変更される場合でも、学習済みモデルの再学習が不要な稼働状態判定装置を提供する。
【解決手段】稼働状態判定装置１００は、装置の稼働状態を点灯パターンで表す表示機を含む画像を撮像した画像データを取得する画像取得部１０１と、画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像に含まれる表示機の点灯パターンを示す情報を推論した結果を出力する第１機械学習モデルとに基づいて、当該画像データが示す画像に含まれる表示機の点灯パターンを推論する点灯パターン推論部１０５と、点灯パターン推論部により推論された点灯パターンと、予め表示機の点灯パターンと稼働状態とが対応付けられた対応情報とに基づいて、装置の稼働状態を判定する稼働状態判定部１０６と、を備えた。
【選択図】図１

【特許請求の範囲】

【請求項1】

装置の稼働状態を点灯パターンで表す表示機を含む画像を撮像した画像データを取得する画像取得部と、
前記画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像に含まれる表示機の点灯パターンを示す情報を推論した結果を出力する第１機械学習モデルとに基づいて、当該画像データが示す画像に含まれる表示機の点灯パターンを推論する点灯パターン推論部と、
前記点灯パターン推論部により推論された点灯パターンと、予め前記表示機の点灯パターンと稼働状態とが対応付けられた対応情報とに基づいて、前記装置の稼働状態を判定する稼働状態判定部と、
を備えた稼働状態判定装置。

【請求項2】

前記点灯パターン推論部は、前記表示機の点灯パターンの推論に際し、推論した点灯パターンの信頼度を示すスコアを取得し、
前記点灯パターン推論部により取得されたスコアが閾値未満であるとき、前記表示機が劣化又は故障している旨の判定を行う劣化判定部を備えた
ことを特徴とする請求項１記載の稼働状態判定装置。

【請求項3】

前記画像取得部は、互いに異なる複数の装置の稼働状態を点灯パターンで示す複数の前記表示機を含む画像を撮像した画像データを取得し、
前記画像取得部により取得された画像データから、前記複数の表示機のそれぞれが撮像されている箇所のデータを切り出し、当該切り出したデータを表示機画像データとして生成する画像切り出し部を備え、
前記点灯パターン推論部は、前記画像切り出し部により生成された複数の表示機画像データと、前記第１機械学習モデルとに基づいて、当該複数の表示機画像データのそれぞれが示す画像に含まれる表示機の点灯パターンを推論し、
前記稼働状態判定部は、前記点灯パターン推論部により推論された点灯パターンと、前記対応情報とに基づいて、前記複数の装置のそれぞれの稼働状態を判定する
ことを特徴とする請求項１又は請求項２に記載の稼働状態判定装置。

【請求項4】

前記画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像における前記複数の表示機のそれぞれの位置を示す情報を推論した結果を出力する第２機械学習モデルとに基づいて、当該画像データが示す画像における前記複数の表示機のそれぞれの位置を推論する位置推論部を備え、
前記画像切り出し部は、前記位置推論部により推論された前記複数の表示機のそれぞれの位置に基づいて、前記画像取得部により取得された画像データから、前記それぞれの表示機が撮像されている箇所のデータを切り出し、当該切り出したデータを表示機画像データとして生成する
ことを特徴とする請求項３記載の稼働状態判定装置。

【請求項5】

前記稼働状態判定部による判定結果を示す情報を出力する稼働情報出力部を備える
ことを特徴とする請求項１記載の稼働状態判定装置。

【請求項6】

画像取得部が、装置の稼働状態を点灯パターンで表す表示機を含む画像を撮像した画像データを取得するステップと、
点灯パターン推論部が、前記画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像に含まれる表示機の点灯パターンを示す情報を推論した結果を出力する第１機械学習モデルとに基づいて、当該画像データが示す画像に含まれる表示機の点灯パターンを推論するステップと、
稼働状態判定部が、前記点灯パターン推論部により推論された点灯パターンと、予め前記表示機の点灯パターンと稼働状態とが対応付けられた対応情報とに基づいて、前記装置の稼働状態を判定するステップと、
を有する稼働状態判定方法。

【請求項7】

コンピュータを、
装置の稼働状態を点灯パターンで表す表示機を含む画像を撮像した画像データを取得する画像取得部と、
前記画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像に含まれる表示機の点灯パターンを示す情報を推論した結果を出力する第１機械学習モデルとに基づいて、当該画像データが示す画像に含まれる表示機の点灯パターンを推論する点灯パターン推論部と、
前記点灯パターン推論部により推論された点灯パターンと、予め前記表示機の点灯パターンと稼働状態とが対応付けられた対応情報とに基づいて、前記装置の稼働状態を判定する稼働状態判定部として機能させるための稼働状態判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、稼働状態判定装置、稼働状態判定方法、及び稼働状態判定プログラムに関するものである。

【背景技術】

【0002】

一般に、機械部品等を製造する工場では、複数の装置が設置される。これらの装置には、自装置の稼働状態（例えば稼働中、停止中、異常等）をライトの点灯パターンで表すことが可能な表示機が付設されており、工場の管理者等は、当該表示機を目視することで各装置の稼働状態を把握することが可能となっている。

【0003】

ただし、工場の管理者等は、個々の装置を直接見て表示機を確認する必要があるため、複数の装置の稼働状態を一度に確認することは困難である。そこで、従来、各装置に付設されている表示機を撮像装置（カメラ）で撮像した画像から、表示機の点灯パターンを認識することで、複数の装置の稼働状態を認識する技術が提案されている。

【0004】

例えば、特許文献１には、撮像装置により撮像された画像データの入力に対し、当該画像データに含まれた表示機（状態ライト）の位置と、当該表示機が表す各装置の稼働状態とを出力するよう機械学習により学習された学習済みモデルに対し、上記画像データを入力することで、状態ライトの位置及び各装置の稼働状態を効率よく認識する稼働監視装置（以下、「従来装置」ともいう。）が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１９８０４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記従来装置では、装置の稼働状態の判定に際し、１つの学習済みモデルを用いているが、この学習済みモデルは、画像データに含まれた状態ライトの位置と、当該状態ライトが表す装置の稼働状態との関係を学習させたものであった。したがって、従来装置では、状態ランプが示す装置の稼働状態の定義が変更された場合、当該変更後の新たな定義にしたがって学習済みモデルを再学習しなければならないという課題があった。

【0007】

本開示は、上記のような課題を解決するためになされたもので、表示機の点灯パターンが示す装置の稼働状態の定義が変更される場合でも、学習済みモデルの再学習が不要な稼働状態判定装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示に係る稼働状態判定装置は、装置の稼働状態を点灯パターンで表す表示機を含む画像を撮像した画像データを取得する画像取得部と、画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像に含まれる表示機の点灯パターンを示す情報を推論した結果を出力する第１機械学習モデルとに基づいて、当該画像データが示す画像に含まれる表示機の点灯パターンを推論する点灯パターン推論部と、点灯パターン推論部により推論された点灯パターンと、予め表示機の点灯パターンと稼働状態とが対応付けられた対応情報とに基づいて、装置の稼働状態を判定する稼働状態判定部と、を備えたものである。

【発明の効果】

【0009】

本開示によれば、表示機の点灯パターンが示す装置の稼働状態の定義が変更される場合でも、学習済みモデルの再学習が不要となる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る稼働状態判定装置の構成例を示す図である。

【図2】実施の形態１におけるカメラの設置例を説明するための図である。

【図3】実施の形態１における警告表示灯（積層灯）の一例を説明するための図である。

【図4】実施の形態１における信号機の一例を説明するための図である。

【図5】実施の形態１における画像データが示す画像の例を示す図である。

【図6】実施の形態１における表示機画像データが示す画像の例を示す図である。

【図7】実施の形態１における稼働状態判定テーブルの一例を示す図である。

【図8】実施の形態１に係る稼働状態判定装置の他の構成例を示す図である。

【図9】実施の形態１に係る稼働状態判定装置の運用開始前における動作例を説明するためのフローチャートである。

【図10】実施の形態１における位置推論部の処理の一例を示す図である。

【図11】実施の形態１に係る稼働状態判定装置の運用開始後における動作例を説明するためのフローチャートである。

【図12】実施の形態１における画像切り出し部から点灯パターン推論部までの処理の一例を示す図である。

【図13】実施の形態１における稼働状態判定部及び劣化判定部から稼働情報出力部までの処理の一例を示す図である。

【図14】図１４Ａ，図１４Ｂ，及び図１４Ｃは、実施の形態１に係る稼働状態判定装置のハードウェア構成の一例を示す図である。

【図15】実施の形態１に係る学習装置の構成例を示す図である。

【図16】実施の形態１に係る学習装置の動作例を説明するためのフローチャートである。

【図17】実施の形態１における位置情報特定モデル生成部の処理の一例を示す図である。

【図18】実施の形態１における位置推論部から画像切り出し部までの処理の一例を示す図である。

【図19】実施の形態１における点灯パターン判別モデル生成部の処理の一例を示す図である。

【図20】図２０Ａ，図２０Ｂ，及び図２０Ｃは、実施の形態１に係る学習装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．

【0012】

＜稼働状態判定装置＞
図１は、実施の形態１に係る稼働状態判定装置１００の構成例を示す図である。
稼働状態判定装置１００は、工場に設置された装置の稼働状態を、当該装置に付設された表示機の点灯パターンに基づいて判定する装置である。稼働状態判定装置１００は、図１に示すように、撮像装置１５０、操作入力装置２００及び表示装置３００と有線又は無線により接続される。
なお、図１では、稼働状態判定装置１００が撮像装置１５０、操作入力装置２００及び表示装置３００と有線又は無線により直接接続された例を示している。しかしながら、稼働状態判定装置１００はこれに限らず、例えば有線又は無線による不図示のネットワークを介して、撮像装置１５０、操作入力装置２００及び表示装置３００と間接的に接続されていてもよい。

【0013】

撮像装置１５０は、例えば、工場に設置された定点カメラ（以下、単に「カメラ」ともいう。）１５１を備える。カメラ１５１は、例えば図２に示すように、工場に設置された複数の装置のうち、稼働状態判定装置１００が稼働状態を判定する対象となる装置Ｍと、当該装置Ｍに付設された表示機Ｌとを同時に撮影することが可能な箇所に、例えば工場の管理者等（以下、「ユーザ」ともいう。）により予め設置される。なお、図２において、点線はカメラ１５１の撮像範囲を示している。

【0014】

実施の形態１において、装置Ｍに付設される表示機Ｌとは、例えばユーザが視覚により装置Ｍの稼働状態を認識することができるように、当該装置Ｍの稼働状態を色の情報（点灯パターン）で表すことが可能な表示機器全般を意味する。実施の形態１において、表示機Ｌは、例えば警告表示灯（積層灯）及び信号機により構成される。

【0015】

警告表示灯（積層灯）は、例えば図３に示すように、発光色が相違する複数（ここでは５つ）のライトＬ１～Ｌ５を上下方向に並べて配設したものである。警告表示灯は、装置Ｍと協働することで、装置Ｍの稼働状態に応じた発光色のライトを点灯させる。例えば、警告表示灯は、装置Ｍが稼働中である場合、青色のライトＬ１を点灯させる。また、例えば、警告表示灯は、装置Ｍが停止中である場合、黄色のライトＬ２を点灯させる。また、例えば、警告表示灯は、装置Ｍが異常状態にある場合、赤色のライトＬ３を点灯させる。

【0016】

なお、稼働状態の区分及び稼働状態に応じた警告表示灯の点灯パターンは上記例に限らないものとする。例えば、警告表示灯は、複数色のライトを組み合わせて点灯させることで装置Ｍの稼働状態を表してもよい。また、警告表示灯は、ライトの消灯によって装置Ｍの稼働状態を表してもよいし、ライトの点滅等によって装置Ｍの稼働状態を表してもよい。

【0017】

また、信号機は、例えば図４に示すように、発光色が相違する複数（ここでは３つ）のライトＬ６～Ｌ８を左右方向に並べて配設したものである。信号機も、警告表示灯と同様に、装置Ｍと協働することで、装置Ｍの稼働状態に応じた発光色のライトを点灯させる。例えば、信号機は、装置Ｍが稼働中である場合、青色のライトＬ６を点灯させる。また、例えば、信号機は、装置Ｍが停止中である場合、黄色のライトＬ７を点灯させる。また、例えば、信号機は、装置Ｍが異常状態にある場合、赤色のライトＬ８を点灯させる。

【0018】

なお、信号機についても、稼働状態の区分及び稼働状態に応じた点灯パターンは上記例に限らないものとする。例えば、信号機は、複数色のライトを組み合わせて点灯させることで装置Ｍの稼働状態を表してもよい。また、信号機は、ライトの消灯によって装置Ｍの稼働状態を表してもよいし、ライトの点滅等によって装置Ｍの稼働状態を表してもよい。

【0019】

カメラ１５１は、例えばユーザによる操作、又は予めユーザにより設定されたスケジュールにしたがって、上記表示機Ｌが付設された装置Ｍを、当該表示機Ｌとともに撮像し、画像データを得る。

【0020】

なお、カメラ１５１が得る画像データは、静止画による画像データ１と、動画による画像データ１０とを含む。すなわち、カメラ１５１は、表示機Ｌ及び装置Ｍの静止画による画像データ１を得ることができるほか、表示機Ｌ及び装置Ｍをリアルタイムで撮像した動画による画像データ１０を得ることもできる。なお、ここでは、動画による画像データ１０は、時間的に連続した静止画による複数の画像データ１（フレーム）により構成されるものとする。よって、カメラ１５１は、動画による１回の撮像毎に、時間的に連続した静止画による画像データ１を１つ以上取得する。また、カメラ１５１は、取得した静止画による画像データ１を記録可能な記録部（図示省略）を備えている。カメラ１５１は、取得した静止画による画像データ１を当該記録部に記録する。

【0021】

画像データ１が示す画像の例を図５に示す。画像データ１が示す画像は、例えば図５に示すように、稼働状態判定装置１００が稼働状態を判定する対象となる装置Ｍと、当該装置Ｍに付設された表示機Ｌとが撮像された画像である。なお、図５の例では、４台の装置Ｍ及び表示機Ｌが撮像された画像の例を示しているが、装置Ｍ及び表示機Ｌの台数はこれに限られない。

【0022】

実施の形態１では、カメラ１５１は、稼働状態判定装置１００の運用が開始される前の段階（以下、単に「運用開始前」ともいう。）において、例えばユーザによる操作、又は予めユーザにより設定されたスケジュールにしたがって、静止画による撮像を少なくとも１回行い、静止画による画像データ１を取得して、記録部に記録する。なお、運用開始前における撮像は、稼働状態判定装置１００の運用開始に先立ち、装置Ｍに付設された表示機Ｌの位置情報を取得することを目的として行われる。そのため、この段階では、表示機Ｌは必ずしもいずれかのライトが点灯している必要はなく、例えばすべてのライトが消灯していてもよい。

【0023】

また、カメラ１５１は、稼働状態判定装置１００の運用が開始された後の段階（以下、単に「運用開始後」ともいう。）において、例えばユーザによる操作、又は予めユーザにより設定されたスケジュールにしたがって、動画による撮像を開始し、動画による画像データ１０、すなわち時間的に連続した静止画による複数の画像データ１（フレーム）を取得して、記録部に記録する。なお、運用開始後における撮像は、装置Ｍの稼働状態を判定することを目的として行われる。そのため、この段階では、画像データ１に含まれる装置Ｍのうちの少なくとも１台は稼働しており、かつ当該稼働している装置Ｍの表示機Ｌは、いずれかのライトが点灯していることが望ましい。

【0024】

操作入力装置２００は、例えば、キーボード２０１及びマウス２０２を備える。

【0025】

表示装置３００は、ディスプレイ３０１を備える。ディスプレイ３０１は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。表示装置３００は、操作入力装置２００に搭載されていてもよい。

【0026】

操作入力装置２００は、ユーザによる稼働状態判定装置１００に対する操作を受け付ける。

【0027】

例えば、ユーザは、操作入力装置２００が備えるキーボード２０１及びマウス２０２を操作して、稼働状態判定装置１００に対して情報を入力する。具体的には、ユーザは、キーボード２０１及びマウス２０２を操作して、例えば、画像データ１の一覧を表示装置３００のディスプレイ３０１に表示させ、その中から任意の画像データ１を選択する。

【0028】

より具体的には、例えばユーザは、キーボード２０１またはマウス２０２を操作して、稼働状態判定装置１００に対して、ディスプレイ３０１に、カメラ１５１の記録部に記録されている複数の画像データ１の一覧を表示させる。そして、ユーザは、例えばキーボード２０１及びマウス２０２を操作して、表示させた画像データ１の一覧から所望の画像データ１を選択し、選択した画像データ１をディスプレイ３０１に表示させる。また、ユーザは、例えばキーボード２０１及びマウス２０２を操作して、選択した画像データ１を稼働状態判定装置１００に入力させる（取り込む）。

【0029】

なお、上記の例では、ユーザが画像データ１の一覧をディスプレイ３０１に表示させ、当該一覧の中からキーボード２０１及びマウス２０２を操作して所望の画像データ１を選択し、選択した画像データ１を稼働状態判定装置１００に入力させる例を説明した。しかしながら、例えば運用開始前及び運用開始後において、カメラ１５１から稼働状態判定装置１００に入力させる（取り込む）画像データ１が予め決定されており、ユーザによる画像データ１の選択等の操作が不要である場合は、操作入力装置２００及び表示装置３００は省略されていてもよい。

【0030】

稼働状態判定装置１００は、入力された画像データ１に基づいて、当該画像データ１が示す画像に含まれる装置Ｍの稼働状態を判定する。

【0031】

稼働状態判定装置１００は、例えば図１に示すように、画像取得部１０１、位置推論部１０２、推論器格納部１０３、画像切り出し部１０４、点灯パターン推論部１０５、稼働状態判定部１０６、及び、稼働情報出力部１０７を備える。

【0032】

推論器格納部１０３は、位置情報特定モデル１３１（第２機械学習モデル）、及び、点灯パターン判別モデル１３２（第１機械学習モデル）を格納している。また、推論器格納部１０３は、稼働状態判定テーブル１３３を格納している。

【0033】

位置情報特定モデル１３１は、画像データ１を入力として、当該画像データ１が示す画像に含まれるそれぞれの表示機Ｌの位置を示す情報（以下、単に「位置情報」ともいう。）を推論した結果を出力するよう機械学習により学習された学習済みモデルである。すなわち、実施の形態１において、位置情報特定モデル１３１は、画像データ１が示す画像における表示機Ｌの位置情報推論用の機械学習モデルである。

【0034】

また、点灯パターン判別モデル１３２は、画像データ１に基づいて当該画像データ１から生成された、表示機Ｌのみが撮像された画像データ１ｃ（以下、「表示機画像データ」ともいう。）を入力として、当該表示機画像データ１ｃが示す画像に含まれる表示機Ｌの点灯パターンを示す情報（以下、単に「点灯パターン情報」ともいう。）を推論した結果を出力するよう機械学習により学習された学習済みモデルである。すなわち、実施の形態１において、点灯パターン判別モデル１３２は、表示機画像データ１ｃにおける表示機Ｌの点灯パターン情報推論用の機械学習モデルである。

【0035】

なお、表示機画像データ１ｃは、上述した画像データ１から、表示機Ｌが写されている箇所のデータのみを切り出して生成された画像データである。表示機画像データ１ｃは、例えば後述する画像切り出し部１０４が、上述した画像データ１から、表示機Ｌが写されている箇所のデータを切り出し、切り出したデータを表示機画像データ１ｃとして保存することにより生成される。表示機画像データ１ｃの具体例、及び詳しい生成方法については後述する。

【0036】

なお、実施の形態１において、位置情報特定モデル１３１及び点灯パターン判別モデル１３２をまとめて「機械学習モデル」ともいう。機械学習モデルは、学習装置４００（後述の図１５参照）による機械学習により生成され、推論器格納部１０３に格納される。学習装置４００の詳細については後述する。

【0037】

稼働状態判定テーブル１３３は、表示機Ｌの点灯パターン情報と、装置Ｍの稼働状態を示す情報（以下、「稼働状態情報」ともいう。）とを対応付けて構成されたテーブル（対応情報）である。稼働状態判定テーブル１３３は、予めユーザにより作成され、推論器格納部１０３に格納される。稼働状態判定テーブル１３３の詳細については後述する。

【0038】

画像取得部１０１は、カメラ１５１から画像データ１を取得する。

【0039】

具体的には、画像取得部１０１は、稼働状態判定装置１００の運用が開始される前の段階（運用開始前）において、カメラ１５１の記録部から静止画による画像データ１を取得する。画像取得部１０１は、運用開始前においてカメラ１５１の記録部から取得した静止画による画像データ１を、位置推論部１０２に出力する。

【0040】

また、画像取得部１０１は、稼働状態判定装置１００の運用が開始された後の段階（運用開始後）において、カメラ１５１の記録部から、動画による画像データ１０、すなわち時間的に連続した静止画による複数の画像データ１（フレーム）をリアルタイムで取得する。画像取得部１０１は、運用開始後においてカメラ１５１の記録部からリアルタイムで取得した動画による画像データ１０、すなわち時間的に連続した静止画による複数の画像データ１（フレーム）を、画像切り出し部１０４に順次出力する。

【0041】

位置推論部１０２は、画像取得部１０１から出力された画像データ１に基づき、推論器格納部１０３に格納されている位置情報特定モデル１３１を用いた推論を行うことで、画像データ１が示す画像に含まれる表示機Ｌの位置情報を取得する。位置推論部１０２は、取得した表示機Ｌの位置情報を画像切り出し部１０４に出力する。

【0042】

なお、位置推論部１０２は、位置情報特定モデル１３１を用いることによる表示機Ｌの位置情報の取得を、稼働状態判定装置１００の運用開始前に少なくとも１回行う。また、位置推論部１０２は、画像データ１が示す画像に含まれる表示機Ｌの台数分だけ、位置情報を取得する。例えば、位置推論部１０２は、画像データ１が示す画像に表示機Ｌが４台含まれている場合、４つの位置情報を取得する。

【0043】

画像切り出し部１０４は、運用開始前に位置推論部１０２から出力された表示機Ｌの位置情報に基づいて、運用開始後に画像取得部１０１から順次出力されてくる、時間的に連続した静止画による画像データ１のそれぞれから、表示機Ｌが写されている箇所のデータを切り出す。そして、画像切り出し部１０４は、切り出したデータを上述した表示機画像データ１ｃとして保存する。これにより、画像切り出し部１０４は、時間的に連続した静止画による画像データ１のそれぞれから、表示機画像データ１ｃを生成する。画像切り出し部１０４は、生成した表示機画像データ１ｃを、当該生成に用いた表示機Ｌの位置情報とともに点灯パターン推論部１０５に出力する。

【0044】

表示機画像データ１ｃが示す画像の例を図６に示す。図６に示すように、１つの表示機画像データ１ｃが示す画像には、１台の表示機Ｌが含まれている。画像切り出し部１０４は、１つの画像データ１から、表示機Ｌの位置情報の台数分だけ表示機画像データ１ｃを生成する。例えば、画像切り出し部１０４は、表示機Ｌの位置情報が４台分ある場合、１つの画像データ１から、４つの表示機画像データ１ｃを生成する。

【0045】

なお、カメラ１５１による撮像範囲が変更された場合、あるいは、当該撮像範囲に変更はないが当該撮像範囲内で表示機Ｌの位置が変更された場合、ユーザはカメラ１５１による撮像をやり直す。また、カメラ１５１による撮像がやり直された後、画像取得部１０１は、カメラ１５１から画像データ１を再取得し、位置推論部１０２は表示機Ｌの位置情報を再取得して、当該再取得した表示機Ｌの位置情報を画像切り出し部１０４に再出力する。そして、画像切り出し部１０４は、位置推論部１０２から再出力された表示機Ｌの位置情報に基づいて、画像取得部１０１から順次出力されてくる、時間的に連続した静止画による画像データ１のそれぞれから、表示機Ｌが写されている箇所のデータを切り出す。

【0046】

点灯パターン推論部１０５は、画像切り出し部１０４から、表示機画像データ１ｃと、表示機Ｌの位置情報とを取得する。また、点灯パターン推論部１０５は、当該取得した表示機画像データ１ｃに基づき、推論器格納部１０３に格納されている点灯パターン判別モデル１３２を用いた推論を行うことで、表示機画像データ１ｃが示す画像に含まれる表示機Ｌの点灯パターン情報を取得する。また、このとき、点灯パターン推論部１０５は、上記推論した結果である点灯パターン情報の信頼度を示す信頼度スコアＳを取得する。点灯パターン推論部１０５は、上記取得した表示機Ｌの点灯パターン情報及び信頼度スコアＳと、表示機Ｌの位置情報とを、稼働状態判定部１０６に出力する。

【0047】

ここで、点灯パターン推論部１０５が取得する表示機Ｌの点灯パターン情報は、例えば点灯しているライトを示す情報（例えば「１」）と、消灯しているライトを示す情報（例えば「０」）との組み合わせで表される。

【0048】

例えば、表示機Ｌが図３に示した５つのライトＬ１～Ｌ５からなる警告表示灯（積層灯）であり、ライトＬ１が青色、ライトＬ２が黄色、ライトＬ３が赤色、ライトＬ４が緑色、ライトＬ５が白色である場合において、青色のライトＬ１のみが点灯している場合、この表示機Ｌの点灯パターン情報は「１、０、０、０、０」と表される。また、上記の例において、黄色のライトＬ２のみが点灯している場合、この表示機Ｌの点灯パターン情報は「０、１、０、０、０」と表される。

【0049】

同様に、上記の例において、赤色のライトＬ３と白色のライトＬ５とが点灯している場合、この表示機Ｌの点灯パターン情報は「０、０、１、０、１」と表される。また、上記の例において、すべてのライトが消灯している場合、この表示機Ｌの点灯パターン情報は「０、０、０、０、０」と表される。

【0050】

なお、上記の説明では、点灯パターン推論部１０５が取得する表示機Ｌの点灯パターン情報が、点灯しているライトを示す情報である「１」と、消灯しているライトを示す情報である「０」との組み合わせで表される例を説明した。しかしながら、表示機Ｌの点灯パターン情報はこれに限らず、例えば点灯しているライトを示す情報を「０」とし、消灯しているライトを示す情報を「１」としてもよい。

【0051】

また、点灯パターン推論部１０５が取得する表示機Ｌの点灯パターン情報は、上記点灯又は消灯しているライトを示す情報に加えて、点滅しているライトを示す情報が付加されていてもよい。

【0052】

例えば、ある表示機Ｌにおいて、青色のライトＬ１が点滅している場合、この表示機Ｌが含まれる画像データ１から生成された表示機画像データ１ｃは、青色のライトＬ１が点灯している状態の画像を示すデータと、すべてのライトが消灯している状態の画像を示すデータとが交互に繰り返されることが想定される。この場合、点灯パターン判別モデル１３２は、青色のライトＬ１が点灯している旨の推論結果と、すべてのライトが消灯している旨の推論結果とを繰り返し出力することが想定される。そこで、点灯パターン推論部１０５は、例えば青色のライトＬ１が点灯している旨の推論結果と、すべてのライトが消灯している旨の推論結果とが、所定時間内に所定回数以上、点灯パターン判別モデル１３２から繰り返し出力された場合に、当該青色のライトＬ１が点滅している旨の点灯パターン情報を取得する。

【0053】

稼働状態判定部１０６は、点灯パターン推論部１０５から、表示機Ｌの点灯パターン情報及び信頼度スコアＳと、表示機Ｌの位置情報とを取得する。また、稼働状態判定部１０６は、当該取得した表示機Ｌの点灯パターン情報に基づき、推論器格納部１０３に格納されている稼働状態判定テーブル１３３を参照することで、表示機Ｌが付設された装置Ｍの稼働状態を判定する。

【0054】

稼働状態判定テーブル１３３の一例を図７に示す。稼働状態判定テーブル１３３は、図７に示すように、表示機Ｌの点灯パターン情報と、装置Ｍの稼働状態を示す情報（以下、「稼働状態情報」ともいう。）とが対応付けられて構成されたテーブルである。なお、図７に示す稼働状態判定テーブル１３３は、図３で説明した５つのライトＬ１～Ｌ５を備えた警告表示灯（積層灯）に対応するものである。

【0055】

例えば、図７の例では、表示機Ｌの点灯パターン情報「１、０、０、０、０」に対し、稼働状態情報として「稼働中」が対応付けられている。これは、表示機Ｌの青色のライトＬ１のみが点灯している場合、当該表示機Ｌが付設された装置Ｍは正常に稼働していることを表している。

【0056】

同様に、図７の例では、表示機Ｌの点灯パターン情報「０、１、０、０、０」に対し、稼働状態情報として「停止中」が対応付けられている。これは、表示機Ｌの黄色のライトＬ２のみが点灯している場合、当該表示機Ｌが付設された装置Ｍは停止していることを表している。

【0057】

同様に、図７の例では、表示機Ｌの点灯パターン情報「０、０、１、０、０」に対し、稼働状態情報として「異常」が対応付けられている。これは、表示機Ｌの赤色のライトＬ３のみが点灯している場合、当該表示機Ｌが付設された装置Ｍには異常が発生していることを表している。

【0058】

同様に、図７の例では、表示機Ｌの点灯パターン情報「０、０、１、０、１」に対し、稼働状態情報として「異常（緊急度低）」が対応付けられている。これは、表示機Ｌの赤色のライトＬ３と白色のライトＬ５とが点灯している場合、当該表示機Ｌが付設された装置Ｍには緊急度の低い異常が発生していることを表している。

【0059】

なお、図７の例では、説明を分かり易くするため、表示機Ｌの点灯パターン情報が、ライトの点灯及び消灯を示す情報の組み合わせで構成される例を説明した。しかしながら、表示機Ｌの点灯パターン情報にはこれに加えて、上述したライトの点滅に関する情報が付加されていてもよい。

【0060】

稼働状態判定部１０６は、点灯パターン推論部１０５から取得した表示機Ｌの点灯パターン情報に基づき、稼働状態判定テーブル１３３を参照し、当該点灯パターン情報に対応付けられている稼働状態情報を稼働状態判定テーブル１３３から取得する。これにより、稼働状態判定部１０６は、装置Ｍの稼働状態を判定する。稼働状態判定部１０６は、装置Ｍの稼働状態を判定した結果を示す情報を、当該装置Ｍに付設された表示機Ｌの位置情報とともに、稼働情報出力部１０７に出力する。

【0061】

稼働情報出力部１０７は、稼働状態判定部１０６から出力された、装置Ｍの稼働状態を判定した結果を示す情報と、当該装置Ｍに付設された表示機Ｌの位置情報とを、稼働情報として出力する。

【0062】

稼働情報出力部１０７による稼働情報の出力態様は特に限定されない。例えば、稼働情報出力部１０７は、上述の稼働情報を表示装置３００のディスプレイ３０１に表示する。また、稼働情報出力部１０７は、上述の稼働情報を、不図示のネットワークを経由して、外部の装置に送信する。また、稼働情報出力部１０７は、上述の稼働情報を、不図示のプリンタに送信し、文字情報として印刷したり、不図示のスピーカに送信し、音声情報として出力する。なお、これらの出力態様は、いずれかの態様が単独で採用されてもよいし、任意の態様が選択的に組み合わせられてもよい。例えば、稼働情報出力部１０７は、上述の稼働情報を不図示のネットワークを経由して外部の装置に送信するだけでもよい。また、稼働情報出力部１０７は、上述の稼働情報を表示装置３００のディスプレイ３０１に表示するとともに、不図示のネットワークを経由して外部の装置に送信し、かつ、不図示のプリンタに送信し、文字情報として印刷してもよい。

【0063】

このように、実施の形態１に係る稼働状態判定装置１００では、点灯パターン判別モデル１３２を用いた表示機Ｌの点灯パターンの推論、及び点灯パターン情報の取得は点灯パターン推論部１０５が行い、当該取得した点灯パターン情報に基づく装置Ｍの稼働状態の判定は、稼働状態判定部１０６が稼働状態判定テーブル１３３を用いて行う。

【0064】

すなわち、実施の形態１に係る稼働状態判定装置１００では、機械学習モデル（位置情報特定モデル１３１及び点灯パターン判別モデル１３２）を、表示機Ｌの位置情報の取得及び点灯パターンの推論にのみ用いる一方、装置Ｍの稼働状態の判定には機械学習モデルを用いずに、稼働状態判定テーブル１３３を用いて当該稼働状態の判定を行うようにする。これにより、実施の形態１に係る稼働状態判定装置１００では、仮に表示機Ｌの点灯パターンに基づく装置Ｍの稼働状態の定義が変更された場合でも、機械学習モデル（位置情報特定モデル１３１及び点灯パターン判別モデル１３２）の再学習を行うことなく、稼働状態判定テーブル１３３の内容を変更するだけで、当該変更後の新たな定義に基づく稼働状態の判定を行うことができる。したがって、実施の形態１に係る稼働状態判定装置１００では、従来装置に対してユーザの作業負荷が大幅に軽減される。

【0065】

また、例えば、表示機Ｌの点灯パターンに基づく装置Ｍの稼働状態の定義は、装置Ｍが設置される工場あるいは施設等によって異なることも少なくない。例えば、ある工場では、黄色のライトのみが点灯している場合、装置Ｍの停止を表しているのに対し、別の工場では、黄色のライトのみが点灯している場合、装置Ｍの異常を表している場合などである。その場合、従来装置では、当該従来装置を設置する工場等で採用されている稼働状態の定義に合わせて予め機械学習を行い、学習済みモデルを生成しておく必要があった。

【0066】

一方、実施の形態１に係る稼働状態判定装置１００では、上記のように、装置Ｍの稼働状態の定義を稼働状態判定テーブル１３３に持たせているため、当該テーブルの内容を変更するだけで、工場等における稼働状態の定義に応じた柔軟な判定が可能となる。すなわち、実施の形態１に係る稼働状態判定装置１００では、工場等による装置の稼働状態の定義の違いをきわめて容易に吸収することができる。

【0067】

なお、上記の説明では、表示機Ｌが、稼働状態を表す対象の装置Ｍに付設されている例を説明したが、表示機Ｌは必ずしも装置Ｍに付設されていなくともよい。例えば、表示機Ｌが、どの装置Ｍの稼働状態を表すのかをユーザが認識可能であれば、表示機Ｌは対象の装置Ｍから離れた箇所に設置されていてもよい。

【0068】

また、上記の説明では、図５に示したように、画像データ１が示す画像に４台の装置Ｍ及び表示機Ｌが含まれている例を説明した。しかしながら、上述のように、表示機Ｌが対象の装置Ｍから離れた箇所に設置されている場合、画像データ１が示す画像には、４台の表示機Ｌのみが含まれていてもよい。

【0069】

また、上記の説明では、図５に示したように、画像データ１が示す画像に４台の装置Ｍ及び表示機Ｌが含まれている例を説明した。しかしながら、例えば１台の表示機Ｌに対して１台のカメラ１５１を準備できる場合、画像データ１が示す画像には、１台の表示機Ｌのみが含まれていてもよい。その場合、稼働状態判定装置１００は、画像データ１から表示機Ｌが写されている箇所のデータを切り出す必要がないため、位置推論部１０２及び画像切り出し部１０４は省略されていてもよい。

【0070】

また、実施の形態１に係る稼働状態判定装置１００は、図８に示すように、稼働状態判定テーブル１３３を用いて装置Ｍの稼働状態を判定する稼働状態判定部１０６に加えて、さらに劣化判定部１０８を備えていてもよい。

【0071】

この場合、例えば点灯パターン推論部１０５は、点灯パターン判別モデル１３２を用いた推論の際に取得した上述の信頼度スコアＳを、予めユーザにより設定された信頼度スコアの閾値Ｓｒと比較する。その結果、推論の際に取得した信頼度スコアＳが閾値Ｓｒ以上であれば、点灯パターン推論部１０５は、取得した表示機Ｌの点灯パターン情報を稼働状態判定部１０６に出力する。一方、推論の際に取得した信頼度スコアＳが閾値Ｓｒ未満であれば、点灯パターン推論部１０５は、取得した表示機Ｌの点灯パターン情報を劣化判定部１０８に出力する。

【0072】

稼働状態判定部１０６は、点灯パターン推論部１０５から表示機Ｌの点灯パターン情報を取得すると、上記と同様に、稼働状態判定テーブル１３３を用いて、当該取得した点灯パターン情報に基づき、装置Ｍの稼働状態を判定する。

【0073】

劣化判定部１０８は、点灯パターン推論部１０５から表示機Ｌの点灯パターン情報を取得すると、当該表示機Ｌが劣化又は故障している可能性が高い旨の判定を行う。このとき、劣化判定部１０８は、例えば上述の閾値Ｓｒ未満であった信頼度スコアＳに基づいて、表示機Ｌが劣化又は故障している可能性が高い旨の判定を行ってもよい。

【0074】

例えば、劣化判定部１０８は、上述の閾値Ｓｒ未満であった信頼度スコアＳと、上述の閾値Ｓｒとは異なる閾値であって、予めユーザにより設定された故障閾値Ｓｑとを比較する。その結果、信頼度スコアＳが故障閾値Ｓｑ以上であれば、劣化判定部１０８は、表示機Ｌが劣化している可能性が高い旨の判定を行う。一方、信頼度スコアＳが故障閾値Ｓｑ未満であれば、劣化判定部１０８は、表示機Ｌが故障している可能性が高い旨の判定を行う。

【0075】

なお、上記の例はあくまで一例であり、劣化判定部１０８は、上述の信頼度スコアＳが閾値Ｓｒ未満であれば、単に表示機Ｌが劣化又は故障している可能性が高い旨の判定を行うだけでもよい。

【0076】

劣化判定部１０８は、表示機Ｌが劣化又は故障している可能性が高い旨の判定結果を示す情報を、当該表示機Ｌの位置情報とともに、稼働情報出力部１０７に出力する。

【0077】

稼働情報出力部１０７は、劣化判定部１０８から出力された、表示機Ｌが劣化又は故障している可能性が高い旨の判定結果を示す情報と、当該表示機Ｌの位置情報とを、稼働情報として出力する。

【0078】

稼働情報出力部１０７による稼働情報の出力態様は特に限定されない。例えば、稼働情報出力部１０７は、上述の稼働情報を表示装置３００のディスプレイ３０１に表示する。また、稼働情報出力部１０７は、上述の稼働情報を、不図示のネットワークを経由して、外部の装置に送信する。また、稼働情報出力部１０７は、上述の稼働情報を、不図示のプリンタに送信し、文字情報として印刷したり、不図示のスピーカに送信し、音声情報として出力する。

【0079】

これにより、実施の形態１に係る稼働状態判定装置１００では、例えば点灯パターン推論部１０５が点灯パターン判別モデル１３２を用いた推論を行った際、当該推論結果の信頼度を示す信頼度スコアＳとして値の低いスコアが出力された場合に、装置Ｍに異常が発生しているのか、あるいは、表示機Ｌに異常が発生しているのかの判断がつかないといった問題が生じるおそれを低減することができる。

【0080】

例えば、点灯パターン推論部１０５が点灯パターン判別モデル１３２を用いた推論を行った際、当該推論結果の信頼度を示す信頼度スコアＳとして値の低いスコアが出力された場合に、稼働状態判定部１０６がそのまま点灯パターン情報に基づいて稼働状態判定テーブル１３３を参照すると、当該点灯パターン情報が稼働状態判定テーブル１３３に定義されていないというケースがあることが想定される。その場合、稼働状態判定部１０６は、判定結果として、例えば「点灯パターン情報に対応する稼働状態が稼働状態判定テーブル１３３に定義されていない」旨を出力する。この場合、ユーザは、装置Ｍに異常が発生しているのか、あるいは、表示機Ｌに異常が発生しているのかの判断がつかないといった問題が生じ得る。

【0081】

この点、上記のように、稼働状態判定装置１００が劣化判定部１０８を備えるように構成した場合、稼働状態判定装置１００は、例えば、推論結果の信頼度を示す信頼度スコアＳが閾値Ｓｒ以上である場合には、点灯パターン推論部１０５による推論の確度（確からしさ）が比較的高く、出力された点灯パターン情報が稼働状態判定テーブル１３３に定義されている可能性が高いものとみなして、稼働状態判定部１０６による稼働状態判定テーブル１３３を用いた稼働状態の判定を行う。一方、推論結果の信頼度を示す信頼度スコアＳが閾値Ｓｒ未満である場合には、点灯パターン推論部１０５による推論の確度（確からしさ）が比較的低く、出力された点灯パターン情報が稼働状態判定テーブル１３３に定義されていない可能性があるものとして、稼働状態判定部１０６による判定ではなく、劣化判定部１０８による表示機Ｌの劣化又は故障の判定を行う。これにより、稼働状態判定装置１００では、点灯パターン推論部１０５が点灯パターン判別モデル１３２を用いた推論を行った際、当該推論結果の信頼度を示す信頼度スコアＳとして値の低いスコアが出力された場合に、装置Ｍに異常が発生しているのか、あるいは、表示機Ｌに異常が発生しているのかの判断がつかないといった問題が生じるおそれを低減することができる。

【0082】

次に、実施の形態１に係る稼働状態判定装置１００の動作例について説明する。まず、実施の形態１に係る稼働状態判定装置１００の運用開始前における動作例について、図９に示すフローチャートを参照しながら説明する。

【0083】

まず、画像取得部１０１は、カメラ１５１の記録部から静止画による画像データ１を取得する（ステップＳＴ９０１）。画像取得部１０１は、カメラ１５１の記録部から取得した静止画による画像データ１を位置推論部１０２に出力する。

【0084】

次に、位置推論部１０２は、画像取得部１０１から出力された画像データ１に基づき、推論器格納部１０３に格納されている位置情報特定モデル１３１を用いた推論を行うことで、画像データ１が示す画像に含まれる表示機Ｌの位置情報を取得する（ステップＳＴ９０２）。位置推論部１０２は、取得した表示機Ｌの位置情報を画像切り出し部１０４に出力する。この場合の処理の一例を図１０に示す。

【0085】

なお、上述のように、カメラ１５１による撮像範囲が変更された場合、あるいは、当該撮像範囲に変更はないが当該撮像範囲内で表示機Ｌの位置が変更された場合、ユーザはカメラ１５１による撮像をやり直す。その場合、稼働状態判定装置１００は、上述したステップＳＴ９０１～ＳＴ９０２を再度実行する。

【0086】

次に、実施の形態１に係る稼働状態判定装置１００の運用開始後における動作例について説明する。図１１は、実施の形態１に係る稼働状態判定装置１００の運用開始後における動作例を説明するためのフローチャートである。なお、ここでは、稼働状態判定装置１００が上述した劣化判定部１０８を備える場合の動作例について説明する。

【0087】

まず、画像取得部１０１は、カメラ１５１の記録部から、動画による画像データ１０、すなわち時間的に連続した静止画による複数の画像データ１（フレーム）を取得する（ステップＳＴ１１０１）。画像取得部１０１は、取得した静止画による複数の画像データ１（フレーム）を、画像切り出し部１０４に順次出力する。

【0088】

次に、画像切り出し部１０４は、運用開始前において位置推論部１０２から出力された表示機Ｌの位置情報に基づいて、画像取得部１０１から順次出力された、時間的に連続した静止画による画像データ１のそれぞれから、表示機Ｌが写されている箇所のデータを切り出す。これにより、画像切り出し部１０４は、静止画による画像データ１のそれぞれから、表示機画像データ１ｃを生成する（ステップＳＴ１１０２）。画像切り出し部１０４は、生成した表示機画像データ１ｃを、当該生成に用いた表示機Ｌの位置情報とともに点灯パターン推論部１０５に出力する。

【0089】

次に、点灯パターン推論部１０５は、画像切り出し部１０４から出力された表示機画像データ１ｃに基づき、推論器格納部１０３に格納されている点灯パターン判別モデル１３２を用いた推論を行うことで、表示機画像データ１ｃが示す画像に写された表示機Ｌの点灯パターン情報を取得する（ステップＳＴ１１０３）。また、このとき、点灯パターン推論部１０５は、上記推論した結果の信頼度を示す信頼度スコアＳを取得する。この画像切り出し部１０４から点灯パターン推論部１０５までの処理の一例を図１２に示す。なお、図１２において、画像切り出し部１０４及び点灯パターン推論部１０５により実行される処理を「処理Ａ」とする。

【0090】

次に、点灯パターン推論部１０５は、処理Ａにより得られた信頼度スコアＳと、予め設定された信頼度スコアの閾値Ｓｒとを比較し、信頼度スコアＳが閾値Ｓｒ以上であるか否かを確認する（ステップＳＴ１１０４）。その結果、信頼度スコアＳが閾値Ｓｒ以上であれば（ステップＳＴ１１０４；ＹＥＳ）、点灯パターン推論部１０５は、取得した表示機Ｌの点灯パターン情報を稼働状態判定部１０６に出力する。

【0091】

稼働状態判定部１０６は、点灯パターン推論部１０５から出力された表示機Ｌの点灯パターン情報に基づき、稼働状態判定テーブル１３３を参照し、当該点灯パターン情報に対応付けられている稼働状態情報を稼働状態判定テーブル１３３から取得する。これにより、稼働状態判定部１０６は、表示機Ｌが付設された装置Ｍの稼働状態を判定する（ステップＳＴ１１０５）。稼働状態判定部１０６は、装置Ｍの稼働状態を判定した結果を示す情報を、当該装置Ｍに付設された表示機Ｌの位置情報とともに、稼働情報出力部１０７に出力する。

【0092】

一方、ステップＳＴ１１０４において、信頼度スコアＳが閾値Ｓｒ未満であれば（ステップＳＴ１１０４；ＮＯ）、点灯パターン推論部１０５は、取得した表示機Ｌの点灯パターン情報を劣化判定部１０８に出力する。

【0093】

劣化判定部１０８は、点灯パターン推論部１０５から出力された表示機Ｌの点灯パターン情報に基づき、表示機Ｌが劣化又は故障している可能性が高い旨の判定を行う（ステップＳＴ１１０６）。劣化判定部１０８は、表示機Ｌが劣化又は故障している可能性が高い旨の判定結果を示す情報を、当該表示機Ｌの位置情報とともに、稼働情報出力部１０７に出力する。

【0094】

次に、稼働情報出力部１０７は、稼働状態判定部１０６から出力された、装置Ｍの稼働状態を判定した結果を示す情報及び当該装置Ｍに付設された表示機Ｌの位置情報、又は、劣化判定部１０８から出力された、表示機Ｌが劣化又は故障している可能性が高い旨の判定結果を示す情報及び当該表示機Ｌの位置情報を、稼働情報として出力する（ステップＳＴ１１０７）。この稼働状態判定部１０６及び劣化判定部１０８から稼働情報出力部１０７までの処理の一例を図１３に示す。

【0095】

なお、以上の実施の形態１では、推論器格納部１０３は、稼働状態判定装置１００に備えられるものとしたが、これは一例に過ぎない。推論器格納部１０３は、稼働状態判定装置１００の外部の、稼働状態判定装置１００が参照可能な場所に備えられるようにしてもよい。具体的には、例えば、通信ネットワーク上に配置された単数または複数のネットワークストレージ装置（図示省略）が推論器格納部１０３の機能を有するものとし、位置情報特定モデル１３１、点灯パターン判別モデル１３２、及び、稼働状態判定テーブル１３３を記憶するようにしてもよい。稼働状態判定装置１００は、上記ネットワークストレージ装置にアクセスする。これにより、外部のネットワークストレージ装置は位置情報特定モデル１３１、点灯パターン判別モデル１３２、及び、稼働状態判定テーブル１３３を蓄積し、稼働状態判定装置１００の外部にデータベースを構築することができる。

【0096】

図１４Ａ，図１４Ｂ，及び図１４Ｃは、実施の形態１に係る稼働状態判定装置１００のハードウェア構成の一例を示す図である。
実施の形態１において、画像取得部１０１、位置推論部１０２、画像切り出し部１０４、点灯パターン推論部１０５、稼働状態判定部１０６、及び、稼働情報出力部１０７の機能は、処理回路１４０１により実現される。すなわち、稼働状態判定装置１００は、入力された画像データ１に基づく装置Ｍの稼働状態の判定を行うための処理回路１４０１を備える。
処理回路１４０１は、図１４Ａに示すように専用のハードウェアであっても、図１４Ｂに示すようにメモリ１４０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４０４であってもよい。また、処理回路１４０１は、図１４Ｃに示すように、メモリ１４０５に格納されるプログラムをそれぞれ実行する、ＣＰＵ１４０４及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４０６の組み合わせで構成されてもよい。

【0097】

処理回路１４０１が専用のハードウェアである場合、処理回路１４０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

【0098】

処理回路１４０１がＣＰＵ１４０４の場合、画像取得部１０１、位置推論部１０２、画像切り出し部１０４、点灯パターン推論部１０５、稼働状態判定部１０６、及び、稼働情報出力部１０７の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１４０５に記憶される。処理回路１４０１（ＣＰＵ１４０４）は、メモリ１４０５に記憶されたプログラムを読み出して実行することにより、画像取得部１０１、位置推論部１０２、画像切り出し部１０４、点灯パターン推論部１０５、稼働状態判定部１０６、及び、稼働情報出力部１０７の機能を実行する。
また、処理回路１４０１がＣＰＵ１４０４及びＧＰＵ１４０６の組み合わせで構成される場合、例えばＣＰＵ１４０４は、メモリ１４０５に記憶されたプログラムを読み出して実行することにより、画像取得部１０１、位置推論部１０２、稼働状態判定部１０６、及び、稼働情報出力部１０７の機能を実行し、ＧＰＵ１４０６は、メモリ１４０５に記憶されたプログラムを読み出して実行することにより、画像切り出し部１０４、及び、点灯パターン推論部１０５の機能を実行する。ただし、上記はあくまで一例であり、ＣＰＵ１４０４及びＧＰＵ１４０６がいずれの機能を実行するかについては、ユーザが任意に設定可能である。
すなわち、稼働状態判定装置１００は、処理回路１４０１により実行されるときに、上述の図９のステップＳＴ９０１～ステップＳＴ９０２、及び、図１１のステップＳＴ１１０１～ステップＳＴ１１０７が結果的に実行されることになるプログラムを格納するためのメモリ１４０５を備える。また、メモリ１４０５に記憶されたプログラムは、画像取得部１０１、位置推論部１０２、画像切り出し部１０４、点灯パターン推論部１０５、稼働状態判定部１０６、及び、稼働情報出力部１０７の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１４０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

【0099】

なお、画像取得部１０１、位置推論部１０２、画像切り出し部１０４、点灯パターン推論部１０５、稼働状態判定部１０６、及び、稼働情報出力部１０７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１０１については専用のハードウェアとしての処理回路１４０１でその機能を実現し、位置推論部１０２、画像切り出し部１０４、点灯パターン推論部１０５、稼働状態判定部１０６、及び、稼働情報出力部１０７については処理回路１４０１がメモリ１４０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、推論器格納部１０３は、例えば、ＨＤＤを使用する。なお、これは一例であって、推論器格納部１０３は、メモリ１４０５、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、稼働状態判定装置１００は、操作入力装置２００、または、表示装置３００等の装置と、有線通信または無線通信を行う入力インタフェース装置１４０２及び出力インタフェース装置１４０３を備える。

【0100】

＜学習装置＞
次に、実施の形態１に係る学習装置４００について説明する。学習装置４００は、教師あり学習を行うことにより、位置情報特定モデル１３１及び点灯パターン判別モデル１３２を生成する。

【0101】

図１５は、実施の形態１に係る学習装置４００の構成例を示す図である。学習装置４００は、不図示のネットワークを介して稼働状態判定装置１００及び撮像装置１５０と接続される。学習装置４００は、当該学習装置４００に入力された画像データ１及び１ｂと、ユーザにより与えられる教師ラベルとに基づき、位置情報特定モデル１３１及び点灯パターン判別モデル１３２を生成する。

【0102】

なお、学習装置４００に入力される画像データ１及び１ｂは、表示機Ｌ及び当該表示機Ｌが付設された装置Ｍが撮像された、静止画による画像データである。この学習装置４００に入力される、静止画による画像データ１及び１ｂは、例えば上述した撮像装置１５０が備えるカメラ１５１により撮像される。

【0103】

また、画像データ１及び１ｂは、例題データとして、教師ラベルとともに学習装置４００に入力される。学習装置４００は、いわゆる教師あり学習により、ニューラルネットワークで構成された機械学習モデルを学習させる。教師ラベルは、画像データ１及び１ｂが示す画像における表示機Ｌの位置を示す情報（位置情報）、及び、当該表示機Ｌの点灯パターンを示す情報（点灯パターン情報）である。

【0104】

教師ラベルについて、例えば、表示機Ｌの位置に関するする教師ラベルは、画像データ１が示す画像における表示機Ｌの位置を示す座標と、当該表示機Ｌを特定可能な情報とが対応付けられたテキストデータである。表示機Ｌの位置は、例えば、当該表示機を矩形にて囲った際の当該矩形の四隅の画像データ１上の座標であらわされる。表示機Ｌを特定可能な情報は、例えば、表示機Ｌに付与された識別子（ＩＤ）でよい。

【0105】

表示機Ｌの点灯パターンに関する教師ラベルも、表示機Ｌの位置に関する教師ラベルと同様、画像データ１ｂが示す画像における表示機Ｌの点灯パターンを示す情報と当該表示機Ｌを特定可能な情報とが対応付けられたテキストデータである。なお、教師ラベルは、予め画像データ１及び１ｂ毎に、例えばユーザによって生成される。

【0106】

学習装置４００は、生成した位置情報特定モデル１３１及び点灯パターン判別モデル１３２を、稼働状態判定装置１００の推論器格納部１０３に格納する。

【0107】

なお、図１５では、説明を簡単にするため、稼働状態判定装置１００の構成部として、推論器格納部１０３のみを図示しているが、稼働状態判定装置１００の構成例は、図１を用いて説明した稼働状態判定装置１００の構成例と同じである。

【0108】

また、ここでは、図１５に示すように、学習装置４００は稼働状態判定装置１００とは別個の装置とし、稼働状態判定装置１００と接続されるものとするが、これは一例に過ぎない。例えば、学習装置４００は、稼働状態判定装置１００に搭載されるようにしてもよい。

【0109】

学習装置４００は、図１５に示すように第１取得部４０１、位置情報特定モデル生成部４０２、第２取得部４０３、位置推論部４０４、画像切り出し部４０５、及び点灯パターン判別モデル生成部４０６を備える。

【0110】

第１取得部４０１は、表示機Ｌの位置情報を学習するための画像データ１の取得処理を行う。

【0111】

具体的には、第１取得部４０１は、表示機Ｌの位置に関する教師ラベルが付与された、複数の画像データ１を取得する。表示機Ｌの位置に関する教師ラベルは、例えば、上述したようなテキストデータである。

【0112】

なお、教師ラベルが付与された複数の画像データ１は、例えばユーザによって学習装置４００に入力される。例えば、学習装置４００は操作入力装置２００（図１参照）と接続され、ユーザは、操作入力装置２００のキーボード２０１及びマウス２０２を操作することにより、教師ラベルが付与された複数の画像データ１を入力する。第１取得部４０１は、上記のように入力された複数の画像データ１を取得する。

【0113】

なお、第１取得部４０１は、例題データとなる複数の画像データ１についてはカメラ１５１から直接取得し、表示機Ｌの位置に関する教師ラベルについては、ユーザから操作入力装置２００を介して取得してもよい。

【0114】

また、このとき第１取得部４０１が取得する画像データ１は、装置Ｍに付設された表示機Ｌの位置情報を学習することを目的として取得される。そのため、この段階では、表示機Ｌは必ずしもいずれかのライトが点灯している必要はなく、例えばすべてのライトが消灯していてもよい。

【0115】

第１取得部４０１は、上記のように取得した、表示機Ｌの位置に関する教師ラベルが付与された複数の画像データ１を、位置学習用データとして、位置情報特定モデル生成部４０２に出力する。

【0116】

位置情報特定モデル生成部４０２は、第１取得部４０１から位置学習用データを取得すると、当該位置学習用データに基づいて、画像データ１が示す画像に含まれる表示機Ｌの位置を学習する。これにより、位置情報特定モデル生成部４０２は、表示機Ｌ及び当該表示機Ｌが付設された装置Ｍが撮像された画像データ１を入力として、当該画像データ１が示す画像に含まれる表示機Ｌの位置情報を推論した結果を出力する位置情報特定モデル１３１を生成する。

【0117】

位置情報特定モデル生成部４０２は、生成した位置情報特定モデル１３１を、稼働状態判定装置１００の推論器格納部１０３に格納する。

【0118】

第２取得部４０３は、表示機Ｌの点灯パターン情報を学習するための画像データ１ｂの取得処理を行う。

【0119】

具体的には、第２取得部４０３は、少なくとも何らかの点灯パターンにて点灯している表示機Ｌ及び装置Ｍが撮像された画像データを含む、複数の静止画による画像データ１ｂを取得する。なお、この複数の画像データ１ｂには、すべての表示機Ｌが消灯している状態の画像データがいくつか含まれていると、点灯パターン判別モデル生成部４０６が、すべての表示機Ｌが消灯している状態を学習して判別できるようになるため好適である。

【0120】

なお、上記複数の画像データ１ｂは、例えばユーザによって学習装置４００に入力される。例えば、ユーザは、操作入力装置２００のキーボード２０１及びマウス２０２を操作することにより、上記複数の画像データ１ｂを入力する。第２取得部４０３は、ユーザから操作入力装置２００を介して入力された上記複数の画像データ１ｂを取得する。第２取得部４０３は、上記取得した複数の画像データ１ｂを、位置推論部４０４及び画像切り出し部４０５に出力する。

【0121】

位置推論部４０４は、基本的には稼働状態判定装置１００の位置推論部１０２と同様の機能を有する。例えば、位置推論部４０４は、第２取得部４０３が出力した複数の画像データ１ｂのそれぞれを、位置情報特定モデル生成部４０２が生成した位置情報特定モデル１３１に入力する。位置情報特定モデル１３１は、入力された画像データ１ｂが示す画像に含まれる表示機Ｌの位置情報を推論した結果を出力する。これにより、位置推論部４０４は、入力した複数の画像データ１ｂが示すそれぞれの画像データ１ｂ毎に、表示機Ｌの位置情報を推論した結果を得る。位置推論部４０４は、このようにして得た表示機Ｌの位置情報の推論結果を、画像切り出し部４０５に順次出力する。

【0122】

画像切り出し部４０５は、基本的には稼働状態判定装置１００の画像切り出し部１０４と同様の機能を有する。例えば、画像切り出し部４０５は、位置推論部４０４が順次出力した表示機Ｌの位置情報の推論結果に基づき、第２取得部４０３が出力した複数の画像データ１ｂのそれぞれから、画像データ１ｂ毎に、表示機Ｌのみが撮像された画像データを切り出す。

【0123】

例えば、画像切り出し部４０５は、上記画像データ１ｂのそれぞれから、表示機Ｌの位置情報が示す位置に該当する部分のデータを切り出し、切り出したデータを表示機Ｌのみが撮像された画像データ（表示機画像データ）１ｃとして保存する。１つの画像データ１ｂに複数の表示機Ｌが写っている場合、画像切り出し部４０５は、１つの画像データ１ｂから複数の表示機画像データ１ｃを生成する。画像切り出し部４０５は、上記のようにして生成した表示機画像データ１ｃを、点灯パターン学習用データとして、点灯パターン判別モデル生成部４０６に出力する。なお、ここで生成される表示機画像データ１ｃは、例えば図６で説明した画像データと同様の画像データである。

【0124】

また、第２取得部４０３は、表示機Ｌの点灯パターン情報を学習するための教師ラベルの取得処理を行う。

【0125】

具体的には、第２取得部４０３は、表示機Ｌの点灯パターンに関する教師ラベルを取得する。表示機Ｌの点灯パターンに関する教師ラベルは、例えば、表示機画像データ１ｃ毎に作成された、上述したようなテキストデータである。

【0126】

なお、表示機Ｌの点灯パターンに関する教師ラベルは、例えばユーザによって作成され、学習装置４００に入力される。例えば、ユーザは、操作入力装置２００のキーボード２０１及びマウス２０２を操作することにより、表示機Ｌの点灯パターンに関する教師ラベルを入力する。第２取得部４０３は、ユーザから操作入力装置２００を介して入力された表示機Ｌの点灯パターンに関する教師ラベルを取得する。第２取得部４０３は、上記のように取得した、表示機Ｌの点灯パターンに関する教師ラベルを、点灯パターン判別モデル生成部４０６に出力する。

【0127】

ここで、表示機Ｌの点灯パターンに関する教師ラベルは、例えば点灯しているライトを示す情報（例えば「１」）と、消灯しているライトを示す情報（例えば「０」）との組み合わせで表される。

【0128】

例えば、表示機Ｌが図３に示した５つのライトＬ１～Ｌ５からなる警告表示灯（積層灯）であり、ライトＬ１が青色、ライトＬ２が黄色、ライトＬ３が赤色、ライトＬ４が緑色、ライトＬ５が白色である場合において、青色のライトＬ１のみが点灯している場合、この表示機Ｌの点灯パターンに関する教師ラベルは「１、０、０、０、０」と表される。また、上記の例において、黄色のライトＬ２のみが点灯している場合、この表示機Ｌの点灯パターンに関する教師ラベルは「０、１、０、０、０」と表される。

【0129】

同様に、上記の例において、赤色のライトＬ３と白色のライトＬ５とが点灯している場合、この表示機Ｌの点灯パターンに関する教師ラベルは「０、０、１、０、１」と表される。また、上記の例において、すべてのライトが消灯している場合、この表示機Ｌの点灯パターンに関する教師ラベルは「０、０、０、０、０」と表される。

【0130】

なお、上記の説明では、表示機Ｌの点灯パターンに関する教師ラベルが、点灯しているライトを示す情報である「１」と、消灯しているライトを示す情報である「０」との組み合わせで表される例を説明した。しかしながら、表示機Ｌの点灯パターンに関する教師ラベルはこれに限らず、例えば点灯しているライトを示す情報を「０」とし、消灯しているライトを示す情報を「１」としてもよい。

【0131】

点灯パターン判別モデル生成部４０６は、画像切り出し部４０５が出力した表示機画像データ１ｃと、第２取得部４０３が出力した表示機Ｌの点灯パターンに関する教師ラベルとに基づいて、表示機画像データ１ｃが示す画像に含まれる表示機Ｌの点灯パターンを学習する。これにより、点灯パターン判別モデル生成部４０６は、表示機画像データ１ｃを入力として、当該表示機画像データ１ｃが示す画像に含まれる表示機Ｌの点灯パターンを推論した結果を出力する点灯パターン判別モデル１３２を生成する。

【0132】

点灯パターン判別モデル生成部４０６は、生成した点灯パターン判別モデル１３２を、稼働状態判定装置１００の推論器格納部１０３に格納する。

【0133】

次に、実施の形態１に係る学習装置４００の動作例について説明する。図１６は、実施の形態１に係る学習装置４００の動作例について説明するためのフローチャートである。

【0134】

まず、第１取得部４０１は、表示機Ｌの位置情報を学習するための画像データ１の取得処理を行う（ステップＳＴ１６０１）。具体的には、第１取得部４０１は、表示機Ｌの位置に関する教師ラベルが付与された、複数の画像データ１を取得する。第１取得部４０１は、表示機Ｌの位置に関する教師ラベルが付与された複数の画像データ１を、位置学習用データとして、位置情報特定モデル生成部４０２に出力する。

【0135】

次に、位置情報特定モデル生成部４０２は、ステップＳＴ１６０１にて第１取得部４０１が出力した位置学習用データに基づいて、画像データ１が示す画像に含まれる表示機Ｌの位置を学習する。これにより、位置情報特定モデル生成部４０２は、表示機Ｌ及び当該表示機Ｌが付設された装置Ｍが撮像された画像データ１を入力として、当該画像データ１が示す画像に含まれる表示機Ｌの位置情報を推論した結果を出力する位置情報特定モデル１３１を生成する（ステップＳＴ１６０２）。この場合の処理の一例を図１７に示す。

【0136】

位置情報特定モデル生成部４０２は、生成した位置情報特定モデル１３１を、稼働状態判定装置１００の推論器格納部１０３に格納する。

【0137】

次に、第２取得部４０３は、表示機Ｌの点灯パターン情報を学習するための複数の画像データ１ｂの取得処理を行う（ステップＳＴ１６０３）。この複数の画像データ１ｂには、少なくともいずれかの点灯パターンで点灯している表示機Ｌが含まれる。なお、この複数の画像データ１ｂには、なお、この複数の画像データ１ｂには、すべての表示機Ｌが消灯している状態の画像データがいくつか含まれているのが望ましい。第２取得部４０３は、上記取得した複数の画像データ１ｂを、位置推論部４０４及び画像切り出し部４０５に出力する。

【0138】

次に、位置推論部４０４は、第２取得部４０３が出力した複数の画像データ１ｂを、位置情報特定モデル生成部４０２が生成した位置情報特定モデル１３１に入力する。これにより、位置推論部４０４は、入力した複数の画像データ１ｂが示すそれぞれの画像データ１ｂ毎に、表示機Ｌの位置情報を推論した結果を得る（ステップＳＴ１６０４）。位置推論部４０４は、このようにして得た表示機Ｌの位置情報の推論結果を、画像切り出し部４０５に出力する。

【0139】

次に、画像切り出し部４０５は、位置推論部４０４が出力した表示機Ｌの位置情報の推論結果に基づき、第２取得部４０３が出力した複数の画像データ１ｂのそれぞれから、画像データ１ｂ毎に、表示機Ｌの画像データを切り出し、切り出したデータを表示機Ｌのみが撮像された画像データ（表示機画像データ）１ｃとして保存する。これにより、画像切り出し部４０５は、表示機画像データ１ｃを生成する（ステップＳＴ１６０５）。画像切り出し部４０５は、生成した表示機画像データ１ｃを、点灯パターン学習用データとして、点灯パターン判別モデル生成部４０６に出力する。この位置推論部４０４から画像切り出し部４０５までの処理の一例を図１８に示す。

【0140】

次に、第２取得部４０３は、表示機Ｌの点灯パターン情報を学習するための教師ラベルの取得処理を行う（ステップＳＴ１６０６）。第２取得部４０３は、取得した教師ラベルを、点灯パターン判別モデル生成部４０６に出力する。

【0141】

次に、点灯パターン判別モデル生成部４０６は、画像切り出し部４０５が出力した表示機画像データ１ｃと、第２取得部４０３が出力した表示機Ｌの点灯パターンに関する教師ラベルとに基づいて、表示機画像データ１ｃが示す画像に含まれる表示機Ｌの点灯パターンを学習する。これにより、点灯パターン判別モデル生成部４０６は、表示機画像データ１ｃを入力として、当該表示機画像データ１ｃが示す画像に含まれる表示機Ｌの点灯パターン情報を推論した結果を出力する点灯パターン判別モデル１３２を生成する（ステップＳＴ１６０７）。この場合の処理の一例を図１９に示す。点灯パターン判別モデル生成部４０６は、生成した点灯パターン判別モデル１３２を、稼働状態判定装置１００の推論器格納部１０３に格納する。

【0142】

このように、学習装置４００は、いわゆる教師あり学習により、稼働状態の判定対象となる装置Ｍと、当該装置Ｍに付設された表示機Ｌとが撮像された画像データ１及び１ｂに基づいて、位置情報特定モデル１３１及び点灯パターン判別モデル１３２を生成することができる。

【0143】

図２０Ａ，図２０Ｂ，及び図２０Ｃは、実施の形態１に係る学習装置４００のハードウェア構成の一例を示す図である。

【0144】

実施の形態１において、第１取得部４０１、位置情報特定モデル生成部４０２、第２取得部４０３、位置推論部４０４、画像切り出し部４０５、及び点灯パターン判別モデル生成部４０６の機能は、処理回路２００１により実現される。すなわち、学習装置４００は、画像データ１に基づき、位置情報特定モデル１３１及び点灯パターン判別モデル１３２を生成するための処理回路２００１を備える。
処理回路２００１は、図２０Ａに示すように専用のハードウェアであっても、図２０Ｂに示すようにメモリ２００５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２００４であってもよい。また、処理回路２００１は、図２０Ｃに示すように、メモリ２００５に格納されるプログラムをそれぞれ実行する、ＣＰＵ２００４及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２００６の組み合わせで構成されてもよい。

【0145】

処理回路２００１が専用のハードウェアである場合、処理回路２００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

【0146】

処理回路２００１がＣＰＵ２００４の場合、第１取得部４０１、位置情報特定モデル生成部４０２、第２取得部４０３、位置推論部４０４、画像切り出し部４０５、及び点灯パターン判別モデル生成部４０６の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ２００５に記憶される。処理回路２００１（ＣＰＵ２００４）は、メモリ２００５に記憶されたプログラムを読み出して実行することにより、第１取得部４０１、位置情報特定モデル生成部４０２、第２取得部４０３、位置推論部４０４、画像切り出し部４０５、及び点灯パターン判別モデル生成部４０６の機能を実行する。
また、処理回路２００１がＣＰＵ２００４及びＧＰＵ２００６の組み合わせで構成される場合、例えばＣＰＵ２００４は、メモリ２００５に記憶されたプログラムを読み出して実行することにより、第１取得部４０１、及び、第２取得部４０３の機能を実行し、ＧＰＵ２００６は、メモリ２００５に記憶されたプログラムを読み出して実行することにより、位置情報特定モデル生成部４０２、位置推論部４０４、画像切り出し部４０５、及び点灯パターン判別モデル生成部４０６の機能を実行する。ただし、上記はあくまで一例であり、ＣＰＵ２００４及びＧＰＵ２００６がいずれの機能を実行するかについては、ユーザが任意に設定可能である。
すなわち、学習装置４００は、処理回路２００１により実行されるときに、上述の図１６のステップＳＴ１６０１～ステップＳＴ１６０７が結果的に実行されることになるプログラムを格納するためのメモリ２００５を備える。また、メモリ２００５に記憶されたプログラムは、第１取得部４０１、位置情報特定モデル生成部４０２、第２取得部４０３、位置推論部４０４、画像切り出し部４０５、及び点灯パターン判別モデル生成部４０６の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ２００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

【0147】

なお、第１取得部４０１、位置情報特定モデル生成部４０２、第２取得部４０３、位置推論部４０４、画像切り出し部４０５、及び点灯パターン判別モデル生成部４０６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、第１取得部４０１については専用のハードウェアとしての処理回路２００１でその機能を実現し、位置情報特定モデル生成部４０２、第２取得部４０３、位置推論部４０４、画像切り出し部４０５、及び点灯パターン判別モデル生成部４０６については処理回路２００１がメモリ２００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、学習装置４００は、稼働状態判定装置１００等の装置と、有線通信または無線通信を行う入力インタフェース装置２００２及び出力インタフェース装置２００３を備える。

【0148】

以上のように、実施の形態１に係る稼働状態判定装置１００は、装置Ｍの稼働状態を点灯パターンで表す表示機Ｌを含む画像を撮像した画像データ１を取得する画像取得部１０１と、画像取得部１０１により取得された画像データ１と、当該画像データ１を入力とし当該画像データ１が示す画像に含まれる表示機Ｌの点灯パターンを示す情報を推論した結果を出力する点灯パターン判別モデル（第１機械学習モデル）１３２とに基づいて、当該画像データ１が示す画像に含まれる表示機Ｌの点灯パターンを推論する点灯パターン推論部１０５と、点灯パターン推論部１０５により推論された点灯パターンと、予め表示機Ｌの点灯パターンと稼働状態とが対応付けられた稼働状態判定テーブル（対応情報）１３３とに基づいて、装置Ｍの稼働状態を判定する稼働状態判定部１０６と、を備えた。これにより、稼働状態判定装置１００は、表示機Ｌの点灯パターンが示す装置Ｍの稼働状態の定義が変更される場合でも、学習済みモデルの再学習が不要となる。

【0149】

また、点灯パターン推論部１０５は、表示機Ｌの点灯パターンの推論に際し、推論した点灯パターンの信頼度を示すスコアＳを取得し、点灯パターン推論部１０５により取得されたスコアＳが閾値未満であるとき、表示機Ｌが劣化又は故障している旨の判定を行う劣化判定部１０８を備えた。これにより、稼働状態判定装置１００は、点灯パターン推論部１０５が点灯パターン判別モデル１３２を用いた推論を行った際、当該推論結果の信頼度を示す信頼度スコアＳとして値の低いスコアが出力された場合に、装置Ｍに異常が発生しているのか、あるいは、表示機Ｌに異常が発生しているのかの判断がつかないといった問題が生じるおそれを低減することができる。

【0150】

また、画像取得部１０１は、互いに異なる複数の装置Ｍの稼働状態を点灯パターンで示す複数の表示機Ｌを含む画像を撮像した画像データ１を取得し、画像取得部１０１により取得された画像データ１から、複数の表示機Ｌのそれぞれが撮像されている箇所のデータを切り出し、当該切り出したデータを表示機画像データ１ｃとして生成する画像切り出し部１０４を備え、点灯パターン推論部１０５は、画像切り出し部１０４により生成された複数の表示機画像データ１ｃと、点灯パターン判別モデル（第１機械学習モデル）１３２とに基づいて、当該複数の表示機画像データ１ｃのそれぞれが示す画像に含まれる表示機Ｌの点灯パターンを推論し、稼働状態判定部１０６は、点灯パターン推論部１０５により推論された点灯パターンと、稼働状態判定テーブル（対応情報）１３３とに基づいて、複数の装置Ｍのそれぞれの稼働状態を判定する。これにより、実施の形態１に係る稼働状態判定装置１００では、画像データ１が示す画像に複数の表示機Ｌが含まれている場合でも、当該画像データ１から表示機画像データ１ｃを適切に生成して、複数の装置Ｍのそれぞれの稼働状態を判定することができる。

【0151】

また、稼働状態判定装置１００は、画像取得部１０１により取得された画像データ１と、当該画像データ１を入力とし当該画像データ１が示す画像における複数の表示機Ｌのそれぞれの位置を示す情報を推論した結果を出力する位置情報特定モデル（第２機械学習モデル）１３１とに基づいて、当該画像データ１が示す画像における複数の表示機Ｌのそれぞれの位置を推論する位置推論部１０２を備え、画像切り出し部１０４は、位置推論部１０２により推論された複数の表示機Ｌのそれぞれの位置に基づいて、画像取得部１０１により取得された画像データ１から、それぞれの表示機Ｌが撮像されている箇所のデータを切り出し、当該切り出したデータを表示機画像データ１ｃとして生成する。これにより、実施の形態１に係る稼働状態判定装置１００では、画像データ１が示す画像に複数の表示機Ｌが含まれている場合でも、当該画像データ１から複数の表示機Ｌのそれぞれの位置を推論し、表示機画像データ１ｃを適切に生成することができる。

【0152】

また、稼働状態判定装置１００は、稼働状態判定部１０６による判定結果を示す情報を出力する稼働情報出力部１０７を備える。これにより、実施の形態１に係る稼働状態判定装置１００は、稼働状態判定部１０６による装置Ｍの稼働状態の判定結果を示す情報を出力することができる。

【0153】

以上、好ましい実施の形態等について詳説したが、上述した実施の形態等に制限される
ことはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態
等に種々の変形及び置換を加えることができる。

【0154】

以下、本開示の諸態様を付記としてまとめて記載する。

【0155】

（付記１）
装置の稼働状態を点灯パターンで表す表示機を含む画像を撮像した画像データを取得する画像取得部と、
前記画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像に含まれる表示機の点灯パターンを示す情報を推論した結果を出力する第１機械学習モデルとに基づいて、当該画像データが示す画像に含まれる表示機の点灯パターンを推論する点灯パターン推論部と、
前記点灯パターン推論部により推論された点灯パターンと、予め前記表示機の点灯パターンと稼働状態とが対応付けられた対応情報とに基づいて、前記装置の稼働状態を判定する稼働状態判定部と、
を備えた稼働状態判定装置。
（付記２）
前記点灯パターン推論部は、前記表示機の点灯パターンの推論に際し、推論した点灯パターンの信頼度を示すスコアを取得し、
前記点灯パターン推論部により取得されたスコアが閾値未満であるとき、前記表示機が劣化又は故障している旨の判定を行う劣化判定部を備えた
ことを特徴とする付記１記載の稼働状態判定装置。
（付記３）
前記画像取得部は、互いに異なる複数の装置の稼働状態を点灯パターンで示す複数の前記表示機を含む画像を撮像した画像データを取得し、
前記画像取得部により取得された画像データから、前記複数の表示機のそれぞれが撮像されている箇所のデータを切り出し、当該切り出したデータを表示機画像データとして生成する画像切り出し部を備え、
前記点灯パターン推論部は、前記画像切り出し部により生成された複数の表示機画像データと、前記第１機械学習モデルとに基づいて、当該複数の表示機画像データのそれぞれが示す画像に含まれる表示機の点灯パターンを推論し、
前記稼働状態判定部は、前記点灯パターン推論部により推論された点灯パターンと、前記対応情報とに基づいて、前記複数の装置のそれぞれの稼働状態を判定する
ことを特徴とする付記１又は付記２に記載の稼働状態判定装置。
（付記４）
前記画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像における前記複数の表示機のそれぞれの位置を示す情報を推論した結果を出力する第２機械学習モデルとに基づいて、当該画像データが示す画像における前記複数の表示機のそれぞれの位置を推論する位置推論部を備え、
前記画像切り出し部は、前記位置推論部により推論された前記複数の表示機のそれぞれの位置に基づいて、前記画像取得部により取得された画像データから、前記それぞれの表示機が撮像されている箇所のデータを切り出し、当該切り出したデータを表示機画像データとして生成する
ことを特徴とする付記３記載の稼働状態判定装置。
（付記５）
前記稼働状態判定部による判定結果を示す情報を出力する稼働情報出力部を備える
ことを特徴とする付記１から付記４のうちのいずれか１項に記載の稼働状態判定装置。
（付記６）
画像取得部が、装置の稼働状態を点灯パターンで表す表示機を含む画像を撮像した画像データを取得するステップと、
点灯パターン推論部が、前記画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像に含まれる表示機の点灯パターンを示す情報を推論した結果を出力する第１機械学習モデルとに基づいて、当該画像データが示す画像に含まれる表示機の点灯パターンを推論するステップと、
稼働状態判定部が、前記点灯パターン推論部により推論された点灯パターンと、予め前記表示機の点灯パターンと稼働状態とが対応付けられた対応情報とに基づいて、前記装置の稼働状態を判定するステップと、
を有する稼働状態判定方法。
（付記７）
コンピュータを、
装置の稼働状態を点灯パターンで表す表示機を含む画像を撮像した画像データを取得する画像取得部と、
前記画像取得部により取得された画像データと、当該画像データを入力とし当該画像データが示す画像に含まれる表示機の点灯パターンを示す情報を推論した結果を出力する第１機械学習モデルとに基づいて、当該画像データが示す画像に含まれる表示機の点灯パターンを推論する点灯パターン推論部と、
前記点灯パターン推論部により推論された点灯パターンと、予め前記表示機の点灯パターンと稼働状態とが対応付けられた対応情報とに基づいて、前記装置の稼働状態を判定する稼働状態判定部として機能させるための稼働状態判定プログラム。

【0156】

なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

【符号の説明】

【0157】

１ 画像データ、１ｂ 画像データ、１ｃ 表示機画像データ、１００ 稼働状態判定装置、１０１ 画像取得部、１０２ 位置推論部、１０３ 推論器格納部、１０４ 画像切り出し部、１０５ 点灯パターン推論部、１０６ 稼働状態判定部、１０７ 稼働情報出力部、１０８ 劣化判定部、１３１ 位置情報特定モデル（第２機械学習モデル）、１３２ 点灯パターン判別モデル（第１機械学習モデル）、１３３ 稼働状態判定テーブル（対応情報）、１５０ 撮像装置、１５１ カメラ、２００ 操作入力装置、２０１ キーボード、２０２ マウス、３００ 表示装置、３０１ ディスプレイ、４００ 学習装置、４０１ 第１取得部、４０２ 位置情報特定モデル生成部、４０３ 第２取得部、４０４ 位置推論部、４０５ 画像切り出し部、４０６ 点灯パターン判別モデル生成部、１４０１ 処理回路、１４０２ 入力インタフェース装置、１４０３ 出力インタフェース装置、１４０４ ＣＰＵ、１４０５ メモリ、１４０６ ＧＰＵ、２００１ 処理回路、２００２ 入力インタフェース装置、２００３ 出力インタフェース装置、２００４ ＣＰＵ、２００５ メモリ、２００６ ＧＰＵ、Ａ 処理、Ｌ 表示機、Ｌ１～Ｌ８ ライト、Ｍ 装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】