(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下、本発明を実施する一実施の形態について図面を用いて説明する。
【0014】
<第1の実施形態>
図1は、第1の実施形態に係る監視システム100の構成を示す図である。監視システム100は、工場の製造設備施設内で稼働する製造設備に物理的電気的に接続された信号灯の点灯・非点灯を検出し、信号灯及び信号灯に接続された製造設備の状態変化を検知する監視システムである。
【0015】
監視システム100は、
図1に示すように、1つの撮影装置1と、映像監視装置2と、を備えて構成される。撮影装置1と映像監視装置2とは、有線又は無線の通信ネットワーク3を介して接続されている。
【0016】
撮影装置1は、製造設備施設内の所定位置に固定して設置されるカメラである。撮影装置1は、製造設備に接続された信号灯及び製造設備を撮影し、撮影した映像を映像監視装置2へ送信する機能を備える。
【0017】
ここで、信号灯について説明する。信号灯とは、1つ又は複数の点灯部(青色・黄色・赤色・無色等)で構成され、1つ以上の点灯部の点灯により点灯部自体及び製造設備の状態(正常・停止・異常等)を知らせるものである。例えば、青色の点灯部の点灯により、当該点灯部自体及び点灯部の製造設備は現在正常状態にあることを把握できる。その他、黄色と赤色の各点灯部の点灯により、当該各点灯部自体及び製造設備は現在停止かつ異常状態にあることを把握できる。
【0018】
映像監視装置2は、
図1に示したように、映像受信部21と、モード切替部22と、信号灯情報登録部23と、信号灯情報記憶部24と、信号灯監視部25と、を備えて構成される。
【0019】
映像受信部21は、信号灯及び信号灯に接続された製造設備が撮影された映像を撮影装置1から受信する機能を備える。
【0020】
モード切替部22は、映像監視装置2のモードを切り替える機能を備える。例えば、監視者によるモード選択に応じて、映像内での信号灯の点灯部の位置を登録するための登録モード、又は映像及び点灯部の位置情報を用いて信号灯及び製造設備を監視するための監視モードに切り替える。
【0021】
信号灯情報登録部23は、登録モードの場合に動作し、映像内での点灯を自律的に検知し、点灯した点灯位置を点灯部の位置情報として自動で登録する機能を備える。具体的には、撮影装置1から受信した映像内の各座標位置の明度又は輝度を測定し、測定した明度又は輝度の値が閾値を超えたか否かに基づき、映像内での点灯を検出する機能を備える。信号灯情報登録部23は、映像内での点灯位置を特定する機能を備える。信号灯情報登録部23は、特定した点灯位置を点灯部の位置情報として信号灯情報記憶部24に登録する機能を備える。
【0022】
信号灯情報記憶部24は、映像内で信号灯の点灯部が位置する位置情報を信号灯情報として記憶する機能を備える。信号灯情報記憶部24は、映像内で信号灯の点灯部が位置する位置情報と、点灯部の点灯により点灯部又は点灯部に接続された製造設備の状態を示す状態情報と、を関連付ける機能を備える。
【0023】
信号灯監視部25は、監視モードの場合に動作し、映像内で点灯を検出する処理を繰り返し行い、映像内で点灯を検出した場合、点灯位置を特定し、信号灯情報記憶部24に記憶された信号灯情報を用いて点灯位置に対応する点灯部の状態情報より点灯部又は点灯部に接続された製造設備の現在の状態を検知する機能を備える。
【0024】
次に、監視システム100の処理動作について説明する。
【0025】
まず、撮影装置1の処理動作について説明する。撮影装置1は、製造設備に接続された信号灯及び製造設備を撮影し、撮影した映像を映像監視装置2へ送信する。例えば、
図2に示すように、撮影装置1は、3つの点灯部4a〜4cで構成される信号灯4を撮影して映像監視装置2へ送信する。
【0026】
続いて、映像監視装置2の処理動作について説明する。
図3は、映像監視装置2で行う処理動作のフローチャートを示す図である。
【0027】
ステップS101;
まず、映像受信部21は、信号灯が撮影された映像を撮影装置1から受信する。
【0028】
ステップS102;
次に、監視者が登録モードを選択すると、モード切替部22は、映像監視装置2のモードを登録モードに切り替える。
【0029】
ステップS103,S104;
次に、作業員が点灯部4aを点灯させると、信号灯情報登録部23は、登録モードに切り替えられたことにより起動され、映像内で点灯を検出した場合、検出した映像内での点灯の座標位置(x
1,y
1)を特定する。
【0030】
ステップS105;
その後、信号灯情報登録部23は、特定した点灯の座標位置(x
1,y
1)を点灯部4aの位置情報として信号灯情報記憶部24に登録する。
【0031】
以降、作業員が点灯部を変更して点灯させるごとに、信号灯情報登録部23は、ステップS103〜S105の処理を繰り返し行う。これにより、信号灯情報記憶部24には、
図4に示す信号灯情報が登録される。点灯部IDには、信号灯情報登録部23が振り分けた点灯部4a〜4cの識別子が登録される。点灯位置には、映像内での点灯部4a〜4cに対応する座標位置(x
1,y
1)〜(x
3,y
3)が登録される。映像内に複数の信号灯4が含まれる場合には、それぞれの信号灯4について点灯部の点灯位置がそれぞれ登録される。
【0032】
その後、登録モードから監視モードへ切り替えられると、信号灯監視部25が起動し、製造設備からの異常信号に基づき信号灯が点灯した場合、信号灯監視部25は、映像から点灯を検出し、点灯位置を特定して、信号灯情報記憶部24の信号灯情報を用いて点灯部又は製造設備の現在の状態を検知し、モニタに表示し、又は信号データに変換して別の監視装置に送信する。
【0033】
(変形例1)
信号灯情報登録部23は、信号灯の点灯部が点灯する理由(信号灯及び信号灯に接続される製造設備の状態(正常・停止・異常等))を信号灯情報に併せて登録可能である。この場合、映像監視装置2は、登録モード時に用いる点灯部の点灯パターンと点灯部の点灯理由とを定めた点灯理由情報を予め保持しておく。例えば、“登録モード時の3回の点灯は異常状態を示す”という情報を保持しておく。
【0034】
そして、作業員が点灯部4aを“1秒点灯→0.5秒消灯→1秒点灯→0.5秒点灯→1秒点灯→3秒消灯”を繰り返した場合、信号灯情報登録部23は、3回の点灯を検出することになるので、点灯理由情報より点灯部4aの点灯は異常状態を示すことを特定して信号灯情報に更に登録する。その他、2回点灯が停止状態、1回点灯が正常状態を示す場合、作業員が点灯部4bを2回点灯させると点灯部4bの点灯は停止状態を示すことを特定し、点灯部4cを1回点灯させると点灯部4cの点灯は正常状態を示すことを特定して、信号灯情報に登録する。これにより、信号灯情報は、
図5に示すようになる。
【0035】
この場合、信号灯監視部25は、
図5の信号灯情報を用いて、映像から点灯位置を特定するとともに、点灯位置における点灯部の状態(≒点灯部に接続される製造設備の状態)も把握できる。
【0036】
以上より、第1の実施形態によれば、信号灯情報登録部23が、映像内で点灯した点灯位置を点灯部の位置情報として信号灯情報記憶部24に登録するので、既存の信号灯を用いた場合であっても、簡便に信号灯の位置を登録でき、手軽に信号灯を遠隔監視可能にすることができる。
【0037】
<第2の実施形態>
第1の実施形態では、撮影装置1を1つ用いる場合について説明した。一方、撮影装置1は所定位置に固定して設置されるため、所定の角度からしか撮影することができない。そこで、信号灯の死角領域についても確実に撮影可能にするため、複数の撮影装置1を用いて複数の角度から信号灯を撮影してもよい。
【0038】
しかし、同一の信号灯が複数の撮影装置1で撮影されると、同一の信号灯がダブル登録されてしまう。そこで、第2の実施形態では、複数の撮影装置1を用いた場合でも同一の信号灯をダブル登録しない方法について説明する。
【0039】
図6は、第2の実施形態に係る監視システム100の構成を示す図である。監視システム100は、複数の撮影装置1a〜1nと、映像監視装置2と、を備えて構成される。
【0040】
複数の撮影装置1a〜1nは、それぞれ、製造設備施設内において異なる場所に固定して設置される。本実施形態では、複数の撮影装置1a〜1nは、同一の信号灯を異なる角度からそれぞれ撮影し、撮影した映像を映像監視装置2へそれぞれ送信する。
【0041】
映像監視装置2は、第1の実施形態と同様に、映像受信部21と、モード切替部22と、信号灯情報登録部23と、信号灯情報記憶部24と、信号灯監視部25と、を備えて構成される。
【0042】
映像受信部21は、同一の信号灯が異なる角度でそれぞれ撮影された複数の映像を複数の撮影装置1a〜1nからそれぞれ受信する機能を備える。
【0043】
信号灯情報登録部23は、複数の映像よりそれぞれ検出した複数の点灯の点灯パターンが互いに同一の場合、複数の点灯に対応する複数の点灯位置を同一の点灯部に関連付ける機能を備える。
【0044】
モード切替部22と信号灯情報記憶部24と信号灯監視部25は、第1の実施形態で説明した機能と同じ機能を備える。
【0045】
次に、監視システム100の処理動作について説明する。
【0046】
まず、複数の撮影装置1a〜1nの処理動作について説明する。複数の撮影装置1a〜1nは、同一の信号灯を異なる角度からそれぞれ撮影し、撮影した映像を映像監視装置2へそれぞれ送信する。例えば、
図7に示すように、2つの撮影装置1a,1nは、3つの点灯部4a〜4cで構成される一の信号灯4をそれぞれ同時に撮影し、映像監視装置2へ送信する。
【0047】
続いて、映像監視装置2の処理動作について説明する。
図8は、映像監視装置2で行う処理動作のフローチャートを示す図である。
【0048】
ステップS201;
まず、映像受信部21は、信号灯が撮影された映像を複数の撮影装置1a〜1nからそれぞれ受信する。受信した複数の映像には、同一の信号灯が異なる角度から撮影されている。
【0049】
ステップS202;
次に、監視者が登録モードを選択すると、モード切替部22は、映像監視装置2のモードを登録モードに切り替える。
【0050】
ステップS203,S204;
次に、作業員が点灯部4aを“1秒点灯→0.5秒消灯→1秒点灯→0.5秒点灯→1秒点灯→3秒消灯”して3回点灯させると、信号灯情報登録部23は、複数の映像の各映像内で点灯をそれぞれ検出し、検出した各映像内での点灯の座標位置(x
11,y
11),(x
21,y
21)をそれぞれ特定するとともに、各映像内での点灯部4aの点灯パターンをそれぞれ特定する。
【0051】
ステップS205;
次に、信号灯情報登録部23は、特定した複数の点灯パターンを比較し、複数の点灯パターンが互いに同一であるか否かを判定する。複数の点灯パターンが互いに同一である場合、ステップS206へ進み、複数の点灯パターンが互いに同一でない場合、ステップS207へ進む。
【0052】
ステップS206;
複数の点灯パターンが互いに同一である場合、信号灯情報登録部23は、特定した複数の点灯に対応する複数の座標位置(x
11,y
11),(x
21,y
21)を同一の点灯部4aに関連付けて信号灯情報に登録する。
【0053】
ステップS207;
一方、ステップS203で作業員が点灯部4aを3回点灯させると同時に、点灯部4bを“1秒点灯→0.5秒消灯→1秒点灯→3秒消灯”して2回点灯させた場合、信号灯情報登録部23は、映像#aより特定した2つの点灯パターンのうち3回点灯の点灯パターンと、映像#nより特定した2つの点灯パターンのうち2回点灯の点灯パターンとが同一でないので、当該3回と2回の点灯にそれぞれ対応する2つの座標位置(x
11,y
11),(x
22,y
22)は同一の点灯部に関連付けることなく、別々に登録する。
【0054】
この結果、信号灯情報は、
図9に示すようになる。
【0055】
(変形例1)
第2の実施形態では、同一の信号灯をダブル登録しないように、登録モード時に用いる点灯部の点灯パターンを点灯部ごとに変更する場合について説明した。一方、点灯パターンを変更するのは手間がかかるため、登録モード時に用いる点灯部の点灯パターンを同一の共通パターンとし、複数の点灯部をそれぞれ異なる時間帯で点灯させるようにしてもよい。例えば、点灯部4aを1回点灯させて消灯させた後に、点灯部4bを1回点灯させる。2つの点灯部4a,4bの点灯パターンは同じ1回であるが、点灯タイミングが異なるので、2つの点灯部4a,4bの位置は別々に登録される。
【0056】
以上より、第2の実施形態によれば、信号灯情報登録部23が、複数の映像よりそれぞれ検出した複数の点灯の点灯パターンが互いに同一の場合、複数の点灯に対応する複数の点灯位置を同一の点灯部に関連付けるので、同一の信号灯がダブル登録されることを防止できる。
【0057】
<第3の実施形態>
第1の実施形態及び第2の実施形態では、撮影装置1で撮影された映像に信号灯以外の光源が含まれないことを前提とした。一方、時間帯によっては製造設備施設の窓から太陽光等が映像に含まれ、信号灯として誤登録する可能性がある。そこで、第3の実施形態では、信号灯以外の光源を誤登録しないようにする耐性技術について説明する。
【0058】
具体的には、映像内で信号灯の輝度として許容される輝度許容範囲を予め定義及び登録しておき、映像から検出した点灯領域の輝度(各画素の輝度、極大点の輝度(輝度の最大値)、全画素輝度の平均値等)が輝度許容範囲の範囲内である場合にのみ、位置情報を登録する。また、点灯領域に含まれる輝度の極大点から外部方向へ所定の条件までの領域を点灯部の点灯領域とみなして、位置情報を登録する。所定の条件とは、輝度の変化率が急減する画素位置であり、例えば、極大点の輝度の80%を持つ画素位置である。
【0059】
それ故、本実施形態において、映像監視装置2の信号灯情報登録部23は、映像内で点灯した点灯領域に含まれる輝度の最大値が輝度許容範囲の上限値以下である領域であって、輝度の最大値に対応する位置から外部方向へ輝度が閾値以下になるまでの領域のみを、点灯部の位置情報として登録する機能を備える。
【0060】
図10は、映像監視装置2で行う処理動作のフローチャートを示す図である。
【0061】
ステップS301,S302;
まず、信号灯情報登録部23は、登録モードの場合、映像から検出した点灯領域について、点灯領域の輝度の最大値を測定し、測定した輝度の最大値が輝度許容範囲に含まれるか否かを判定する。輝度の最大値が輝度許容範囲に含まれる場合、ステップS303へ進み、輝度の最大値が輝度許容範囲に含まれない場合、処理を終了する。例えば、信号灯の輝度許容範囲を5,000〜1,000cd/m
2と定義しておけば、太陽光又は太陽光の反射光等を確実に排除できる。
【0062】
ステップS303;
輝度の極大値が輝度許容範囲に含まれる場合、信号灯情報登録部23は、輝度の最大値に対応する画素位置から外部方向へ当該輝度の極大値の80%を持つ画素位置までの画素領域を特定して抽出する。
【0063】
ステップS304;
その後、信号灯情報登録部23は、抽出した画素領域を点灯部の位置情報として信号灯情報記憶部24に登録する。
【0064】
以上より、第3の実施形態によれば、信号灯情報登録部23が、映像内で点灯した点灯領域に含まれる輝度の極大値が信号灯の輝度上限値以下である領域であって、輝度の極大値に対応する位置から外部方向へ輝度が閾値以下になるまでの領域のみを、点灯部の位置情報として登録するので、信号灯以外の光源を誤登録することを防止できる。
【0065】
最後に、各実施形態で説明した映像監視装置2は、コンピュータで実現できる。また、映像監視装置2としてコンピュータを機能させるためのプログラム、当該プログラムの記憶媒体を作成することも可能である。
【解決手段】映像監視装置2は、点灯部の点灯により点灯部の状態変化を知らせる信号灯が撮影された映像を撮影装置から受信する映像受信部21と、映像内での点灯部の位置を登録するための登録モードに切り替えるモード切替部22と、登録モードの場合、映像内で点灯した点灯位置を点灯部の位置情報として信号灯情報記憶部24に登録する信号灯情報登録部23と、を備える。