(58)【調査した分野】(Int.Cl.,DB名)
前記立入検出手段は、前記画像領域分割手段により分割された各領域の画像において、人、人が装着している物または物体の色が占める程度を判定する画像認識処理により各領域への人または物体の侵入を検知することを特徴とする請求項1に記載の安全制御装置。
前記立入検出手段は、前記画像領域分割手段により分割された各領域の画像において、人または物体が侵入していない状態における前記監視対象エリアの各領域の色が占める程度を判定する画像認識処理により各領域への人または物体の侵入を検知することを特徴とする請求項1に記載の安全制御装置。
前記立入検出手段は、前記画像領域分割手段により分割された各領域の画像の画像から人、人が装着している物または物体に施された模様またはマークを示すターゲット画像を探索する画像認識処理により各領域への人または物体の侵入を検知することを特徴とする請求項1に記載の安全制御装置。
前記立入検出手段は、前記画像領域分割手段により分割された各領域の画像の画像から前記監視対象エリア内の床、壁、天井または静止物に施された模様またはマークを示すターゲット画像を探索する画像認識処理により各領域への人または物体の侵入を検知することを特徴とする請求項1に記載の安全制御装置。
前記立入検出手段は、前記画像領域分割手段により分割された各領域の画像の時間的変化を検出する画像認識処理により各領域への人または物体の侵入を検知することを特徴とする請求項1に記載の安全制御装置。
前記立入検出手段は、各領域への人または物体の侵入を検知するための複数種類の画像認識処理を実行し、ある領域への人または物体の侵入がいずれかの画像認識処理により検知された場合に、当該領域に人または物体が侵入した旨の検知結果を出力することを特徴とする請求項1〜6のいずれか1の請求項に記載の安全制御装置。
前記監視対象エリアは、当該監視対象エリアを複数の領域に区切る視認可能な境界を有しており、前記画像領域分割手段は、前記監視対象エリアの画像を当該境界により区切られた複数の領域の画像に分割することを特徴とする請求項1〜7のいずれか1の請求項に記載の安全制御装置。
前記外部通信手段は、機能安全通信規格を満たすブラックチャネルにより前記安全信号を前記外部機器に送信することを特徴とする請求項1〜8のいずれか1の請求項に記載の安全制御装置。
【発明を実施するための形態】
【0010】
以下、図面を参照し、この発明の実施形態について説明する。
【0011】
図1はこの発明の一実施形態による安全制御システム100の適用例を示す図である。図示の例では、電動機101およびこれを駆動するドライブ機器102の設置された機械室103の天井104に、本実施形態による安全制御システム100が設置されている。ここで、ドライブ機器102は、各種の安全機能を備えた安全関連機器である。
図1に示す例において、安全制御システム100は、機械室103内の監視対象エリア105の撮像を行い、監視対象エリア105に人または物体が侵入したことを検知した場合に、その侵入領域に応じて、適切な安全機能を指示する安全信号を発生し、安全関連機器であるドライブ機器に供給するものである。
【0012】
図1には機械室103の柵106を通過して監視対象エリア105内に侵入した作業者107が示されている。この作業者107はヘルメット108を着用している。本実施形態において安全制御システム100は、監視対象エリア105を区分した複数の領域のいずれに作業者107が侵入したかに応じて適切な種類の安全信号を発生する。この点に本実施形態の1つの特徴がある。
【0013】
図1に示す例では、機械室103の床110において監視対象エリア105が占める領域に模様マット111が敷かれている。ある好ましい態様において、模様マット111は、複数の領域に区分され、領域間で異なる着色が施される等、各領域を視覚により区別可能な境界を有している。
図1に示す例において、安全制御システム100は、監視対象エリア105の画像をこの模様マット111の画像に現れる境界により複数の領域に区分する。なお、この領域分割の詳細については後述する。
【0014】
図2は本実施形態による安全制御システム100の構成を示すブロック図である。この安全制御システム100は、
図1における監視対象エリア105の撮像を行う撮像機器1と、マイクロプロセッサにより各々構成された1または複数の安全制御装置2と、外部通信手段3とを有する。
【0015】
撮像機器1と安全制御装置2は、例えば高速シリアル通信(SPI、I2C)等やパラレルバス通信を行うための画像信号伝送手段4を介して接続されている。ここで、安全制御装置2は、機能安全の冗長性を担保するため、単一で機能安全の要求を満たすマイクロプロセッサ、もしくは複数の一般的なマイクロプロセッサを用いる必要がある。
【0016】
外部通信手段3は、例えばRS485に準拠した差動通信用部品、もしくはEthernet(登録商標)の通信ASIC(Application Specificated Integrated Circuit;特定用途向集積回路)等が使用される。この外部通信手段3は、安全制御装置2から受信した安全信号を伝送手段6により
図1のドライブ機器102等の安全関連機器7に送信する。
【0017】
複数の安全制御装置2を用いる安全制御システム100において、各安全制御装置2は処理結果伝送手段5を介して相互に接続されている。各安全制御装置2は、この処理結果伝送手段5を介して互いの安全判定処理の結果を交換し、相違がないことをクロスチェックする。また、各安全制御装置2は、外部通信手段3へ安全信号を送る際の経路の一部として、この処理結果伝送手段5を用いる。
【0018】
図3は安全制御装置2の機能構成を示すブロック図である。なお、
図3では、安全制御装置2の機能の理解を容易にするため、撮像機器1、外部通信手段3および安全関連機器7が安全制御装置2とともに図示されている。
【0019】
安全制御装置2において、画像取得部21は、撮像機器1の撮像部1Aが撮像した監視対象エリア105(
図1参照)の画像を取得する手段である。画像異常検出部22は、画像取得部21によって取得される画像自体に問題がないかの確認処理を行う。この確認処理では、撮像機器1と安全制御装置2とを結ぶケーブルの断線や、故障による走査線の色飛び・変色、照明の状況によるホワイトアウト・ブラックアウトを検出する。画像領域分割部23は、画像取得部21によって取得された監視対象エリア105(
図1参照)の画像を予め定めた複数の領域に分割する処理を行う。例を
図4、
図5に示す。立入検出部24は、画像領域分割部23により分割された複数の領域の画像のそれぞれに画像認識処理を施し、各領域への人や移動物体の侵入・立入りの有無を検出する。好ましい態様において立入検出部24は、アルゴリズムの異なる複数種類の画像認識処理を実行し、各画像認識処理において各領域への人や移動物体の侵入・立入りの有無の判定結果が同じであることを確認して、最終的な判定結果を求める。他の好ましい態様において立入検出部24は、アルゴリズムの異なる複数種類の画像認識処理を実行し、各画像認識処理において各領域への人や移動物体の侵入・立入りの有無の判定結果の論理和(OR)を最終的な判定結果とする。このようにして機能安全の冗長性を確保している。
【0020】
安全機能割当部25は、分割された複数の領域画像についての立入検出部24の処理結果に基づき、動作させるべき安全機能を選択する。この安全機能の選択を行うため、安全機能割当部25は、
図6に例示するような対応表を記憶している。この対応表は、人等が侵入した領域と、その領域への侵入があった場合に働かせるべき安全機能とを対応付けたものである。
図6に示す例では、領域1への侵入を検知した場合にはSTOという安全機能を、領域2への侵入を検知した場合にはSLSという安全機能を、…中略…、領域5への侵入を検知した場合にはSS1という安全機能を働かせる。処理結果出力部26は、安全機能割当部25が選択した安全機能を示す安全コマンドを他の安全制御装置2へ送信する。
【0021】
安全制御システム100が複数の安全制御装置2を有する場合、それらの安全制御装置2の中の1つは外部通信手段3を介して安全関連機器7に接続されている。この外部通信手段3を介して安全関連機器7に接続された安全制御装置2の安全判定部27は、安全関連機器7に供給する安全コマンドを決定するための処理を行う。そのために、安全判定部27は、他の安全制御装置2の処理結果出力部26が送信した安全コマンドを受信する。
【0022】
ある好ましい態様において、安全判定部27は、安全制御装置2の安全機能割当部25が選択した安全機能を示す安全コマンドと、他の安全制御装置2の安全機能割当部25が選択した安全機能を示す安全コマンドとに基づいて安全信号生成部28に送る安全コマンドを生成する。そのための方法として各種のものが考えられるが、例えば複数の安全コマンドの中から多数決により安全信号生成部28に送る安全コマンドを選択してもよい。あるいは、複数の安全制御装置2から得られる安全コマンドの各種の組み合わせに対応付けて安全信号生成部28に送る安全コマンドを定義したテーブルを記憶し、このテーブルに従って安全信号生成部28に送る安全コマンドを決定してもよい。このように安全判定部27が複数の安全制御装置2により生成された安全コマンドに基づいて1つの安全コマンドを生成した場合、安全信号生成部28はその安全コマンドを示す安全信号を生成して外部通信手段3に送信する。
【0023】
他の好ましい態様において、安全判定部27は、安全制御装置2の安全機能割当部25が選択した安全機能を示す安全コマンドと、他の安全制御装置2の安全機能割当部25が選択した安全機能を示す安全コマンドとを安全信号生成部28に送る。安全信号生成部28は、安全判定部27から受け取った各安全コマンドを併合した安全信号を生成する。そして、この態様では、複数の安全制御装置2が生成した安全コマンドに基づいて1つの安全コマンドを生成する処理を安全関連機器7が実行する。
【0024】
図7はこの場合の安全信号の構成を示す図である。
図7に示すように、安全信号は安全制御システム100を構成する各安全制御装置2の安全機能割当部25が選択した安全機能を各々示す複数の安全コマンドを時間多重した信号である。
図7に示す例では、1個の安全コマンドは8bitからなり、各bitは各々安全機能に対応している。そして、安全コマンドでは、安全機能割当部25が選択した安全機能に対応したbitが“1”とされ、他の安全機能に対応したbitが“0”とされる。
図8は安全コマンドの各bitに対応した安全機能の例を示す図である。
【0025】
図3において、外部通信手段3は安全信号伝送部3Aを有する。この安全信号伝送部3Aは、安全信号生成部28が生成した安全信号を外部の安全関連機器7に送信する。その際、安全信号伝送部3Aは、安全信号生成部28から受け取った安全信号の形式をブラックチャネルと呼ばれる機能安全規格で規定された方法に従う形式に変更する。これは、信号の伝送路上で、断線やビット化け、データの入れ違い等によって安全信号が不正なものにならないようにするためである。このため、安全信号伝送部3Aは、例えばIEC61784−3で定義される機能安全通信フィールドバスシステムに定義されているような技術を適用することもできる。
【0026】
図9は安全信号伝送部3Aによる安全信号の送信に適用される伝送エラー防護策の例を示すものである。この例において安全信号伝送部3Aは、安全信号等のメッセージをフレーム化して送信する際、シーケンス番号とタイムスタンプを付加して送信する。また、安全信号伝送部3Aは、フレームを送った場合に、それに対する確認応答を送信先から受け取ることによりメッセージの整合性を確認する。また、安全信号伝送部3Aは、フレームを送った場合に規定時間の計時を行い、送信先からの確認応答を受信することなくタイムアウトとなった場合には、当該フレームの再送等の適切な処理を行う。また、安全信号伝送部3Aは、独自のコードを用いて送受信元の確認を行う。また、安全信号伝送部3Aは、データの送受信に当たって、改ざんを防ぐための冗長検査やCRCの付加を行う。さらに安全信号伝送部3Aは、複数チャネルを介して同一メッセージを受信して相互に比較する。また、安全信号伝送部3Aは、安全関連系の機器との通信では、非安全関連系の機器との通信と異なり、より厳密な方式によりデータの完全性を保証する。
【0027】
図10は本実施形態の動作を示すフローチャートである。以下、この図を参照し、本実施形態の動作を説明する。画像取得部21が撮像機器1から監視対象エリア105の画像を取得すると(ステップS1)、画像異常検出部22は、画像取得部21によって取得される画像自体に問題がないかの確認処理を行う(ステップS2)。この確認処理において異常が認められない場合、画像領域分割部23は、画像取得部21によって取得された監視対象エリア105の画像を予め定めた複数の領域に分割する処理を行う(ステップS3)。これらの領域は、
図5に示すように重複領域を有していてもよいし、
図4に示すように重複しなくてもよい。監視対象エリア105の画像をどのような領域に分割するかは、監視対象エリア105の状況に応じて適切に設定する。
図1に示すように、監視対象エリア105に模様マット111を敷く場合、画像領域分割部23は、この模様マット111の画像に基づいて、監視対象エリア105の画像を分割する。
【0028】
立入検出部24は、選択された領域の画像は、機能安全の要求を満たすため、複数のアルゴリズムを用いて、選択された領域の画像から人・移動物体を検出する。具体的には次の通りである。
【0029】
まず、立入検出部24は、画像領域分割部23によって分割された複数の領域画像の中の最初の画像を選択する(ステップS4)。次に立入検出部24は、選択した領域画像をワークエリアに読み込む(ステップS5)。次に立入検出部24は、複数種類のアルゴリズムによりワークエリア内の領域画像についての画像認識処理を実行して人・移動物体を検出する(ステップS6a〜S6c)。図示の例では、画像認識処理として、色判別(ステップS6a)、画像探索(ステップS6b)、動き検出(ステップS6c)を実行する。
【0030】
そして、色判別(ステップS6a)、画像探索(ステップS6b)、動き検出(ステップS6c)の論理和をとり、これらの処理(ステップS6a〜S6c)のいずれかにより人・移動物体の侵入が検知されたか否かの結果を求める(ステップS7)。そして、人・移動物体の侵入が検知されたか否かの検出結果を一時格納する(ステップS8)。そして、画像領域分割部23によって分割された複数の領域画像の全てについてステップS5〜S8の処理を実行したか否かを判断し(ステップS9)、この判断結果が「NO」である場合は、次の領域を選択し(ステップ
S14)、ステップS5に戻る。
【0031】
このように処理が進められることにより、画像領域分割部23によって分割された複数の領域画像の各々について色判別(ステップS6a)、画像探索(ステップS6b)、動き検出(ステップS6c)が実行され、分割された領域毎に、当該領域への人・移動物体の侵入が検知されたか否かの結果が一時格納される(ステップ
S8)。
【0032】
ステップS9の判断結果が「YES」になると、安全機能割当部25は、分割された複数の領域画像についての立入検出部24の処理結果(ステップS7)に基づき、動作させるべき安全機能を選択する(ステップS10)。次に処理結果出力部26は、安全機能割当部25が選択した安全機能を示す安全コマンドを他の安全制御装置2へ送信する(ステップ
S11)。次に安全判定部27は、安全制御装置2の安全機能割当部25が選択した安全機能を示す安全コマンドと他の安全制御装置2の処理結果出力部26から受信した安全コマンドとに基づいて安全信号生成部28に送る安全コマンドを決定する(ステップS12)。次に安全信号生成部28は、安全判定部27から受け取った安全コマンドに基づいて安全信号を生成し、外部通信手段3は、安全信号生成部28が生成した安全信号をブラックチャネルを介して外部の安全関連機器7に送信する(ステップS13)。
【0033】
次に色判別(ステップS6b)、画像探索(ステップS6b)、動き検出(ステップS6c)の各処理の詳細について説明する。
図11は、この色判別(ステップS6b)、画像探索(ステップS6b)、動き検出(ステップS6c)の処理内容を示すものである。
【0034】
色判別(ステップS6a)では、事前に生成した色判別テーブルを用いる。この色判別テーブルは、例えば
図12(a)に示すように、RGBカラー画像信号がとり得る信号値をR軸、G軸およびB軸からなるRGB三次元座標系の座標位置とみなし、検出対象物(例えば人や移動物体)のカラー画像が有する色に対応した座標位置を“1”、そうでない座標位置を“0”として表現したテーブルである。本実施形態では、安全制御システム100の稼働に先立って、外部のコンピュータ等により色判定テーブルColorTableが予め作成され、安全パラメータとして立入検出部24に記憶される(ステップS21)。R、G、Bの各信号が8bitからなる場合、色判別テーブルColorTableのサイズは256×256×256となる。そして、色判別(ステップS6a)では、
図12(b)に示すように、領域画像の各画素のR、G、Bの信号値を用いた下記式(1)の演算を行い、RGB三次元座標系内の位置を示すインデクスiを求める(ステップS22)。
i=R*256*256+G*256+B ……(1)
【0035】
そして、このインデックスiが示す座標位置に対応した色判定テーブルColorTableの要素ColorTable(i)が“1”であるか否かを判断する(ステップS23)。そして、この判断結果が「YES」である場合に領域画像に検出対象物の画像が含まれていると判定する(ステップS24)。また、この判断結果が「NO」である場合に領域画像に検出対象物の画像が含まれていないと判定する(ステップS25)。
【0036】
以上説明した色判別によれば、床等に描かれた色と、人や移動物体の色の差異を色判別テーブルを用いて検出することができる。なお、この例では色判定テーブルのサイズを256×256×256としたが、色の分解能(精度)を粗くすることを許容すれば色判定テーブルのサイズを小さくすることできる。
【0037】
色判別(ステップS6a)の処理には
図11に示す2つの態様がある。第1の態様では、ヘルメット・作業着等の色、台車の色を検出対象とし、それらの色を示す色判定テーブルを利用する。そして、この態様では、画像領域分割部23により分割された各領域の画像において検出対象物の色が占める程度により人・移動物体の侵入があったか否かを判定する。第2の態様では、壁、床、静止物の色を検出対象とし、それらの色を示す色判定テーブルを利用する。そして、この態様では、画像領域分割部23により分割された各領域の画像において元の床等の色が占める程度により人・移動物体の侵入があったか否かを判定する。
【0038】
図13(a)および(b)は、各々第2の態様および第1の態様の具体例を示している。
図13(a)に示す例では、監視対象エリア105内の模様マット111が各々色の異なる領域301〜305に区分されている。そして、安全制御装置2は、領域301〜305の各々の色を示す色判定テーブルを記憶している。図示の例では、人の画像310が領域301と領域304に跨っている。この場合、立入検出部24は、領域301の領域画像についての色判別(ステップS6a)において、模様マット111の領域301の色に対応した色判定テーブルを利用し、領域301内の画素のうち模様マット111の領域301の色を持った画素の個数を求める。そして、この画素の個数が閾値以下である場合に領域301への人または移動物体の侵入があったと判定する。領域304の領域画像についての色判別(ステップS6a)に関しても同様である。
【0039】
図13(b)に示す例では、模様マット111が監視対象エリア105に敷かれていない。このため、画像領域分割部23は、各領域の境界を示す情報を予め記憶し、この情報に基づいて監視対象エリア105の画像を各領域に分割する。そして、立入検出部24は、例えば作業者のヘルメットの色を示す色判定テーブルを利用することにより、選択した領域画像から人のカラー画像の色に当たる色と持った画素を検出する。そして、この検出した画素の個数が所定の閾値以上である場合に、当該領域に人が侵入したと判定する。
【0040】
画像探索(ステップS6b)は、例えば予め定義した模様やマークのテンプレート画像を用いて、領域画像内からテンプレート画像に近い画像を探索する方法である。アルゴリズムとしてはk−NN法等がある。テンプレート画像は、色判別テーブルと同様、安全パラメータとして予め立入検出部24に書き込んでおく。
【0041】
画像探索(ステップS6b)の処理には
図11に示す2つの態様がある。第1の態様では、ヘルメット・作業着等に施された模様やマーク、台車の模様やマークを検出対象とし、それらの模様やマークを示すターゲット画像を利用する。そして、この態様では、画像領域分割部23により分割された各領域の画像からターゲット画像が探索されるか否かにより人・移動物体の侵入があったか否かを判定する。第2の態様では、壁、床、静止物に施された模様やマークを検出対象とし、それらの模様やマークを示すターゲット画像を利用する。そして、この態様では、画像領域分割部23により分割された各領域の画像においてターゲット画像が探索されなかった場合に人・移動物体の侵入があったと判定する。
【0042】
画像探索(ステップS6b)による人・移動物体の判定例を
図14(a)および(b)に示す。
図14(a)は第2の態様の具体例を示している。この例では、機械室の床面が領域311〜315に区切られており、各領域311〜315にはマークや模様が施されている。そして、立入検出部24は、領域311〜315のマークや模様を示すターゲット画像を各々記憶している。そして、立入検出部24は、例えば領域311の領域画像についての画像探索(ステップS6b)では、領域311の領域画像から領域311のターゲット画像を検索する。他の領域312〜315についての画像探索(ステップS6b)に関しても同様である。
図14(a)に示す例では、領域311の画像中のマークの一部が人の画像310により遮られている。このため、領域311の画像についての画像探索では、領域311のターゲット画像が見つからない。このため、立入検出部24は、領域311に人または移動物体が侵入したと判定する。
【0043】
図14(b)に示す例は第1の態様の具体例を示している。この例では、機械室の床面にはマークや模様が施されていない。その代りに作業員が着用するヘルメットに模様が施されている。そして、立入検出部24は、このヘルメットの模様を示すターゲット画像を記憶している。立入検出部24は、画像領域分割部23によって分割された各領域の画像についての画像探索(ステップS6b)において、領域画像からターゲット画像を探索する。そして、ある領域の領域画像からターゲット画像が見つかった場合、立入検出部24は、その領域に作業員が侵入したと判定する。
【0044】
動き検出(ステップS6c)では、
図11に示すように人や移動物体を検出対象とし、順次取り込まれた画像間の差分に基づいて、人・移動物体の侵入を検知する。
図15はこの動き検出(ステップS6c)の具体例を示している。
図15に示すように、動き検出(ステップS6c)では、現在の画像データの直前の画像データからの差分を求め、その差分値の発生した領域を検出する。画像領域分割部23によって分割された各領域の画像について、この動き検出(ステップS6c)を実行すると、各領域に人や移動物体等の動くものが存在しているか否かを判定することができる。また、これを複数回実施すると、物体が動いた軌跡を得ることができる。
以上が本実施形態の動作である。
【0045】
以上説明したように、本実施形態によれば、人または物体の侵入した領域に基づいて、適切な安全機能を働かせることができる。また、本実施形態では、複数台の撮像機器を用いないので、安全制御システムを構築する機器のコスト、設計のコストの増大を回避することができる。また、本実施形態によれば、アルゴリズムの異なる複数種類の画像認識処理により各領域への人や物体の侵入検知を行うので、領域への侵入の検知結果の信頼性を高めることができる。また、本実施形態によれば、複数の安全制御装置において選択された安全機能に基づいて、最終的に働かせる安全機能が決定されるので、安全機能の選択に関する信頼性を高めることができる。また、本実施形態によれば、安全コントローラを用いなくとも安全制御システムをドライブ機器に直接接続することができ、容易に複数の安全機能による安全制御システムを実現することができる。また、安全コントローラを用いる場合でも、必要なセンサ機器を減らすことができ、コストを低減することができる。
【0046】
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。
【0047】
(1)監視対象エリアの中に例えば移動台車が頻繁に通過する通路が含まれている場合もあり得る。そのような場合において、画像領域分割部23は、
図16に例示するように監視対象エリア105において通路以外の領域を複数の領域に分割してもよい。
【0048】
(2)複数の安全制御装置2を備えた安全制御システム100において、安全関連機器7への安全信号の送信を行う安全制御装置2には各安全制御装置2が生成した安全コマンドが集まる。そこで、この安全制御装置2において、各安全制御装置2から受信した安全コマンドとその受信時刻のログをメモリに記録するようにしてもよい。この態様によれば、複数の安全制御装置2の中に、他の安全制御装置2が安全コマンドを送信しているのに安全コマンドを送信しない安全制御装置2や、安全コマンドの送信が遅れる安全制御装置2等、挙動が異常な安全制御装置2が含まれている場合に、その安全制御装置2をログから特定し、その安全制御装置2を修理することができる。