特許 6416980 監視領域を分割した空間領域を監視する監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6416980

(24)【登録日】2018年10月12日

(45)【発行日】2018年10月31日

(54)【発明の名称】監視領域を分割した空間領域を監視する監視装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20181022BHJP

   H04N 7/18 20060101ALI20181022BHJP

   G06T 1/00 20060101ALI20181022BHJP

   G08B 25/00 20060101ALI20181022BHJP

   G08B 21/02 20060101ALI20181022BHJP

   B25J 19/06 20060101ALI20181022BHJP

【ＦＩ】

   H04N5/225

   H04N7/18 D

   G06T1/00 315

   G08B25/00 510M

   G08B21/02

   B25J19/06

【請求項の数】7

【全頁数】18

(21)【出願番号】特願2017-97803(P2017-97803)

(22)【出願日】2017年5月17日

【審査請求日】2018年7月18日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100102819

【弁理士】

【氏名又は名称】島田 哲郎

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100130133

【弁理士】

【氏名又は名称】曽根 太樹

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】高橋 祐輝

(72)【発明者】

【氏名】渡邉 淳

(72)【発明者】

【氏名】中村 稔

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開平０５−２６１６９２（ＪＰ，Ａ）

【文献】 特開２００３−１６２７７６（ＪＰ，Ａ）

【文献】 特開２００４−２７６１５４（ＪＰ，Ａ）

【文献】 特表２００４−５３００９０（ＪＰ，Ａ）

【文献】 特開２００５−３３９５４３（ＪＰ，Ａ）

【文献】 特開２００８−０３３８１９（ＪＰ，Ａ）

【文献】 特表２００９−５２１０２２（ＪＰ，Ａ）

【文献】 特開２０１０−２０８００２（ＪＰ，Ａ）

【文献】 特開２０１３−０１０１６１（ＪＰ，Ａ）

【文献】 特開２０１４−１４０９２０（ＪＰ，Ａ）

【文献】 特開２０１５−２０１６９３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００７４２９６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１５／０３３２４６３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０ −１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ −１９／２０

Ｇ０８Ｂ １９／００ −２１／２４

Ｇ０８Ｂ ２３／００ −３１／００

Ｂ２５Ｊ １／００ −２１／０２

(57)【特許請求の範囲】

【請求項1】

３次元の画像を取得する３次元カメラと、
前記３次元カメラの出力信号の処理を行う画像処理装置とを備え、
前記３次元カメラの撮像領域の一部が監視を行う監視領域に定められており、
前記画像処理装置は、前記監視領域を分割して複数の空間領域を設定する領域設定部を含み、
前記領域設定部は、前記３次元カメラを始点として放射状に延びる複数の切断面にて前記監視領域を分割し、予め定められた方向の一方の端部の空間領域を第１の空間領域に設定し、予め定められた方向の他方の端部の空間領域を第２の空間領域に設定する、監視装置。

【請求項2】

前記３次元カメラは、光の飛行時間に基づいて物体までの距離の情報を取得するカメラである、請求項１に記載の監視装置。

【請求項3】

前記画像処理装置は、前記３次元カメラの出力信号から距離情報を含む距離画像を生成する距離画像生成部と、前記距離画像に基づいて複数の空間領域の状態を判定する判定部とを含む、請求項１または２に記載の監視装置。

【請求項4】

前記判定部は、それぞれの空間領域において、監視の対象となる物体が存在しているか否かを判定する領域判定部を含み、
前記距離画像は、それぞれの空間領域に対応する画像領域を含み、
前記画像領域に写されている物体の測定点について、前記３次元カメラから測定点までの距離の判定範囲が予め定められており、
前記領域判定部は、測定点までの距離を前記距離画像から取得し、測定点までの距離が予め定められた判定範囲内である場合に、前記画像領域に対応する空間領域の内部に物体が存在すると判定する、請求項３に記載の監視装置。

【請求項5】

前記領域設定部は、第１の空間領域と第２の空間領域との間の領域を第３の空間領域に設定し、
前記判定部は、第１の空間領域における物体の存在の状態、第２の空間領域における物体の存在の状態、および第３の空間領域における物体の存在の状態に基づいて、物体の移動方向が正常か否かを判定する移動判定部を含む、請求項３または４に記載の監視装置。

【請求項6】

前記画像処理装置は、情報を送信する送信部を含み、
作業者の接近が制限されている装置が配置され、作業者の進入を制限する作業領域が予め設定されており、
前記領域設定部は、第１の空間領域を作業領域の外側に配置された警戒領域に設定し、第２の空間領域を作業領域の内部に配置された制限領域に設定しており、
前記判定部が警戒領域から制限領域に向かう物体の移動を検出した場合に、前記送信部は、作業者の接近が制限されている装置を停止する指令を発信する、請求項５に記載の監視装置。

【請求項7】

作業者に物体の移動を通知する通知装置を備え、
作業者の進入を制限する作業領域が予め設定されており、
前記通知装置は、発光する表示灯および警報音を発生するブザーのうち少なくとも一方を含み、
前記領域設定部は、第１の空間領域を作業領域の外側に配置された警戒領域に設定し、第２の空間領域を作業領域の内側に配置された制限領域に設定しており、
前記判定部が警戒領域から制限領域に向かう物体の移動を検出した場合、および、前記判定部が制限領域から警戒領域に向かう物体の移動を検出した場合のうち少なくとも一方の場合に、前記通知装置が作動する、請求項５または６に記載の監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視領域を分割した空間領域を監視する監視装置に関する。

【背景技術】

【0002】

従来の技術においては、カメラにて画像を撮像し、得られた画像に基づいて撮像された領域の監視を行う監視装置が知られている。監視装置は、撮影した画像を処理したり、複数の画像を比較したりすることにより、撮像した範囲に存在する物体の監視を行うことができる。

【0003】

このような監視装置では、ビデオカメラまたは２次元カメラを備えることができる。監視装置は、カメラにて撮像した画像を処理することにより、所定の領域に人が進入することを検出することができる（例えば、特開２００３−１４３５９３号公報および特開２０１５−７５８７９号公報参照）。または、監視装置は、ロボットのアームなどの動く装置の動作状況を監視することができる（例えば、特開平５−２６１６９２号公報参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−１４３５９３号公報

【特許文献2】特開２０１５−７５８７９号公報

【特許文献3】特開平５−２６１６９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

監視装置では、予め定められた領域への物体の進入を検出することができる。例えば、製造工場などでは、作業者が通行しても良い領域と、作業者の進入が制限される製造装置等の作業領域とが設定される。作業領域は、作業者が進入して製造装置に接触しないように設定される領域である。作業領域は、例えば、ロボットなどの製造装置の周りに設定される。監視装置は、このような作業領域と作業者が通行しても良い領域との境界の部分を監視することができる。

【0006】

作業領域への進入の検出には、ライトカーテンまたは２次元レーザスキャナを用いることができる。ライトカーテンまたは２次元レーザスキャナは、作業領域の境界を監視するように配置することができる。

【0007】

ところで、監視装置が監視している領域において、搬送の為に物体が通過する場合がある。たとえば、加工後のワークが監視装置により監視される領域を通過する場合がある。この場合に、ワークが問題なく通過するように、ライトカーテン等を備える監視装置は、ミューティング機能を備えることができる。ミューティング機能は、ワークが通過する期間中に、ワークが通過する領域の監視を停止する機能である。しかしながら、ミューティング機能を実施するためには、ワークの通過を確認するために、光電センサ等の別の装置が必要になる。

【0008】

ミューティング機能を作動している場合に、ライトカーテンまたは２次元レーザスキャナにて監視する領域は監視すべき領域の一部になる。ライトカーテンまたは２次元レーザスキャナが監視している領域以外の領域から作業者等が作業領域に進入する場合がある。このために、ライトカーテンおよび２次元レーザスキャナ等の機器を取り付ける位置が難しかったり、監視装置の制御が複雑になったりする。

【課題を解決するための手段】

【0009】

本開示の一態様の監視装置は、３次元の画像を取得する３次元カメラと、３次元カメラの出力信号の処理を行う画像処理装置とを備える。３次元カメラの撮像領域の一部が監視を行う監視領域に定められている。画像処理装置は、監視領域を分割して複数の空間領域を設定する領域設定部を含む。領域設定部は、３次元カメラを始点として放射状に延びる複数の切断面にて監視領域を分割し、予め定められた方向の一方の端部の空間領域を第１の空間領域に設定し、予め定められた方向の他方の端部の空間領域を第２の空間領域に設定する。

【発明の効果】

【0010】

本開示の一態様によれば、機器の配置の設定および制御が容易な監視装置を提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態におけるロボットシステムの概略平面図である。

【図2】実施の形態におけるロボットシステムの概略部分断面図である。

【図3】実施の形態におけるロボットシステムのブロック図である。

【図4】監視領域および空間領域を説明する側面図である。

【図5】監視領域および空間領域を説明する斜視図である。

【図6】監視領域を分割した空間領域を説明する斜視図である。

【図7】カメラにて撮像された画像の例である。

【図8】カメラ、ワーク、およびコンベアの拡大側面図である。

【図9】カメラ、ワーク、およびコンベアの他の拡大側面図である。

【図10】物体の異常な移動方向を検出する制御のフローチャートである。

【図11】実施の形態において許容される空間領域の状態の変化を説明する図である。

【図12】実施の形態において許容されない空間領域の状態の変化を説明する第１の図である。

【図13】実施の形態において許容されない空間領域の状態の変化を説明する第２の図である。

【図14】監視領域の他の分割方法を説明する側面図である。

【発明を実施するための形態】

【0012】

図１から図１４を参照して、実施の形態における監視装置について説明する。本実施の形態の監視装置は、予め定められた作業を行うロボットを備えるロボットシステムに配置されている。監視装置は、予め定められた監視領域の状態を監視する。

【0013】

図１は、本実施の形態におけるロボットシステムの概略図である。図２に、本実施の形態のロボットシステムの部分断面図を示す。図２は、図１におけるＡ−Ａ線に関する矢視断面図である。図３に、本実施の形態のロボットシステムのブロック図を示す。図１から図３を参照して、本実施の形態のロボットシステムは、予め定められた作業を行うロボット１１と、ロボット１１を制御するロボット制御装置１２とを備える。

【0014】

ロボット１１には、エンドエフェクタとしてのハンド１３が連結されている。本実施の形態のロボット１１は、コンベア１４にて搬送されたワーク１９に対して部品の取付けを行う。コンベア１４は、矢印８１に示す方向にワーク１９を搬送する。ロボットの作業は部品の取付けに限られず、任意の作業を行うことができる。例えば、ロボットが行う作業には、ワークの向きの変更、溶接、および塗装等が含まれる。エンドエフェクタは、ロボットが行う作業に応じた装置が選定される。

【0015】

ロボット制御装置１２は、例えば、バスを介して互いに接続されたＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、およびＲＯＭ（Read Only Memory）等を備える演算処理装置（デジタルコンピュータ）にて構成されている。ロボット制御装置１２は、ロボット１１およびハンド１３に対して動作指令を送出する。

【0016】

ロボット１１の周りには、ロボット１１が作業する領域として作業領域６７が予め設定されている。作業領域６７には、作業者の接近が制限されている装置が配置される。作業領域６７は、安全のために設定され、作業者の進入を制限する領域である。作業領域６７は、例えば、ロボット１１が作業を行う時に作業者１８または搬送車等がロボット１１に接触しないように設定されている。本実施の形態においては、ロボット１１の周りに、作業領域６７を区画する柵１５が配置されている。また、柵１５が配置されていない出口部１６が形成されている。コンベア１４は、出口部１６を通るように配置されている。ワーク１９は、出口部１６を通って作業領域６７から搬出される。

【0017】

作業者１８は、出口部１６から柵１５にて囲まれる作業領域６７に進入することができる。しかしながら、ロボット１１が駆動している期間中には、作業者１８は作業領域６７に進入しないことが好ましい。

【0018】

本実施の形態におけるロボットシステムは、監視装置２１を備える。監視装置２１は、ロボット１１が駆動している期間中に、作業者１８が出口部１６から作業領域６７に進入することを検出する。また、監視装置２１は、ワーク１９が作業領域６７から搬出されることを検出する。本実施の形態においては、ロボット１１が駆動している期間中に作業者１８が作業領域６７に進入した場合に、ロボット制御装置１２は、ロボット１１およびハンド１３を停止する制御を実施する。

【0019】

監視装置２１は、作業者１８に物体の移動を通知する通知装置としての表示灯２９を備える。表示灯２９は、所定の色にて発光するように形成されている。表示灯２９は、支持部材３０により支持されている。表示灯２９は、作業者１８が見ることができる位置に配置されている。本実施の形態の表示灯２９は、出口部１６の近傍に配置されている。

【0020】

本実施の形態における監視装置２１は、予め定められた領域の画像を撮像するカメラ２３を含む。カメラ２３は、３次元の画像を取得する３次元カメラである。本実施の形態のカメラ２３は、カメラ２３のレンズ中心点２４から撮像する物体までの距離の情報を含む距離画像を得ることができる。

【0021】

本実施の形態のカメラ２３は、光飛行時間方式により距離画像を撮像するカメラであり、ＴＯＦ（Time of Flight）カメラとも称される。カメラ２３は、画素センサを含んでいる。画素センサとしては、距離画像を撮像できる任意の画素センサを採用することができる。例えば、画素センサとして、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いることができる。監視装置２１は、カメラ２３が撮像する領域に向けて光を発する光源２５を含む。光源２５は、カメラ２３が撮像する時に発光する。カメラ２３は、光源２５から光を発した後に、対象物の表面にて反射した光を画素センサにて受光する。

【0022】

カメラ２３は、柵１５に固定された支持部材２８に支持されている。カメラ２３は、出口部１６を撮像できるように配置されている。本実施の形態のカメラ２３は、出口部１６の真上から出口部１６の全体を撮像できるように配置されている。

【0023】

監視装置２１は、カメラ２３の出力信号の処理を行う画像処理装置２２を備える。画像処理装置２２は、ＣＰＵ、ＲＯＭ、およびＲＡＭ等を含む演算処理装置（デジタルコンピュータ）にて構成することができる。画像処理装置２２は、ロボット制御装置１２と互いに通信できるように形成されている。

【0024】

画像処理装置２２は、カメラ２３および光源２５を制御する撮像制御部３３を備える。撮像制御部３３は、カメラ２３に撮像する指令を送出する。撮像制御部３３は、カメラ２３にて撮像する時に複数回の光を発光するように光源２５を制御する。

【0025】

画像処理装置２２は、カメラ２３の画像を処理するときの情報を記憶する記憶部３７を含む。記憶部３７は、例えば、距離画像を判定するときの距離の判定範囲および判定結果を記憶する。画像処理装置２２は、カメラ２３の画像に関する情報を表示する表示部３８を含む。表示部３８は、液晶表示パネル等により構成されている。表示部３８は、撮像された距離画像を表示することができる。また、表示部３８は、警告および判定範囲などを表示することができる。

【0026】

画像処理装置２２は、光の飛行時間に基づいてカメラ２３の出力信号から距離画像を生成する距離画像生成部３１を含む。距離画像には、物体までの奥行きの情報が含まれる。例えば、距離画像には、カメラ２３のレンズ中心点２４から撮像した対象物までの距離の情報が含まれる。距離の情報は、例えば、画素センサの画素ごとに作成される。距離画像生成部３１は、光の伝播時間を算出し、カメラ２３から画像に写っている物体までの距離を算出する。距離画像生成部３１は、光源２５から発した光がカメラ２３に戻るまでの時間を計測する。距離画像生成部３１は、例えば光の位相差を検出し、光が物体の表面で反射して戻るまでの時間を算出する。距離画像生成部３１は、測定した時間と光の速さとに基づいて、対象物までの距離を算出することができる。このように、距離画像生成部３１は、カメラ２３の画素センサにて生成された信号を受信して、距離画像を作成する。また、距離画像生成部３１は、画像に含まれる物体の任意の測定点までの距離に基づいて、測定点の位置を算出しても構わない。

【0027】

画像処理装置２２は、カメラ２３にて撮像した距離画像の処理を行う演算処理部３５を含む。演算処理部３５は、距離画像生成部３１にて生成された距離画像を取得する画像取得部４１を含む。

【0028】

図４に、本実施の形態における監視装置にて監視を行う領域を説明する側面図を示す。図４では、コンベア１４および柵１５等を除いた図が示されている。図５に、本実施の形態における監視を行う領域を説明する斜視図を示す。図３から図５を参照して、本実施の形態のカメラ２３は、床面５１に向かう様に配置されている。カメラ２３は、カメラ視線が鉛直方向の下向きになるように配置されている。

【0029】

カメラ２３は、撮像領域６１を撮像することができる。撮像領域６１は、カメラ２３のレンズ中心点２４から放射状に広がるように設定される。本実施の形態の撮像領域６１は、四角錐状になる。撮像領域６１の形状としては、この形態に限られず、任意の形状を採用することができる。例えば、撮像領域が円錐状になるカメラを採用しても構わない。

【0030】

撮像領域６１の一部には、物体の監視を行う監視領域６２が設定されている。監視領域６２は、立体的な形状を有する空間領域である。本実施の形態の監視領域６２は、直方体状に形成されている。監視領域６２の形状は、直方体に限られず、任意の形状を採用することができる。監視領域６２は、作業領域６７の内側と外側の境界の少なくも一部を含むように設定されている。監視領域６２の内部には、監視の対象となる部分である出口部１６が含まれる。監視領域６２は、内部にワーク１９が配置できるように広く設定される。本実施の形態の監視領域６２の高さは、柵１５の高さと同じである。監視領域６２の大きさは、この形態に限られず、任意の大きさに設定することができる。監視領域６２の範囲は作業者により予め設定されて、記憶部３７に記憶されている。

【0031】

演算処理部３５は、監視領域６２を分割して複数の空間領域を設定する領域設定部４２を含む。本実施の形態の領域設定部４２は、監視領域６２を３つの空間領域に分割する。領域設定部４２による監視領域６２の分割方法は、予め定められており、記憶部３７に記憶されている。

【0032】

本実施の形態の領域設定部４２は、第１の空間領域としての警戒領域６３、第２の空間領域としての制限領域６４、および第３の空間領域としての中間領域６５を設定している。警戒領域６３および制限領域６４は、監視領域６２の境界面を含む境界領域である。図２を参照して、警戒領域６３は、柵１５の外側に配置されている。すなわち、警戒領域６３は、作業領域６７の外側に配置されている。

【0033】

制限領域６４は、柵１５に囲まれる作業領域６７に配置される。制限領域６４は、作業者の進入を制限する領域である。本実施の形態では、ロボット１１が駆動している期間中に作業者の進入が禁止される領域である。制限領域６４は、柵１５の内側に配置されている。

【0034】

中間領域６５は、警戒領域６３と制限領域６４との間の領域である。本実施の形態において、中間領域６５は、コンベア１４にてワーク１９が搬送されてきたときに、ワーク１９が内部に配置されるように大きく形成されている。中間領域６５は、距離画像において中間領域６５よりもワーク１９が小さくなるように設定されている。

【0035】

図６に、領域設定部により分割された空間領域を説明する斜視図を示す。図６においては、矢印８２に示すように、分割された空間領域を互いに離して記載している。図３から図６を参照して、領域設定部４２は、カメラ２３を始点として放射状に延びる複数の切断面にて監視領域６２を分割する。本実施の形態においては、カメラ２３のレンズ中心点２４を始点として放射状に延びる切断面を採用している。

【0036】

例えば、レンズ中心点２４から床面５１に向かって延びる平面状の切断面７１が設定されている。切断面７１は、レンズ中心点２４と、監視領域６２の底面の頂点６６ａ，６６ｂとを通る平面である。切断面７１により、警戒領域６３と中間領域６５との境界面が設定されている。また、レンズ中心点２４から床面５１に向かって延びる平面状の切断面７２が設定されている。切断面７２は、レンズ中心点２４と、監視領域６２の底面の頂点６６ｃ，６６ｄとを通る平面である。切断面７２により、中間領域６５と制限領域６４との境界面が設定されている。また、レンズ中心点２４から床面５１に向かって延びる平面状の切断面７０が設定されている。切断面７０は、レンズ中心点２４と、監視領域６２の底面の頂点６６ａ，６６ｃとを通る平面である。切断面７０により、中間領域６５と警戒領域６３との境界面および中間領域６５と制限領域６４との境界面が設定されている。その他の空間領域同士の間の境界面も、レンズ中心点２４から放射状の延びる切断面によって設定される。なお、切断面７８は、警戒領域６３と制限領域６４との境界面である。切断面７８は、作業領域６７と作業領域６７の外側の領域との境界面上に設定されている。

【0037】

第１の空間領域としての警戒領域６３は、矢印８１の方向の一方の端部の空間領域である。第２の空間領域としての制限領域６４は、矢印８１の方向の他方の端部の空間領域である。第１の空間領域および第２の空間領域は、予め定められた方向の端部の空間領域である。第１の空間領域および第２の空間領域は、監視領域６２の境界面を含む。このように、領域設定部４２は、複数の切断面に基づいて監視領域６２を切断し、複数の空間領域を設定することができる。なお、本実施の形態の切断面は平面であるが、この形態に限られず、切断面は曲面であっても構わない。

【0038】

本実施の形態の監視装置２１は、それぞれの空間領域において、ワーク１９または作業者１８等の物体が存在しているか否かを判定する。演算処理部３５は、カメラ２３にて撮像した距離画像に基づいて、複数の空間領域の状態を判定する判定部４３を含む。判定部４３は、距離画像に基づいて、監視領域６２の状態、警戒領域６３の状態、制限領域６４の状態、および中間領域６５の状態を判定する。

【0039】

本実施の形態における判定部４３は、それぞれの空間領域において、監視の対象となる物体が存在しているか否かを判定する領域判定部４４を含む。図２に示す状態では、領域判定部４４は、制限領域６４に物体が存在していることを判定する。

【0040】

図７に、カメラにて撮像された距離画像の例を示す。図７では、物体の境界が線にて記載されている。カメラ２３から見た画像では、一点透視により得られる画像となる。このために、柵１５の頂面１５ａおよび側面１５ｂが写されている。撮像領域６１は距離画像の外側の輪郭６９に対応する。距離画像においては、監視領域６２に対応する画像領域６２ａが設定される。警戒領域６３に対応する画像領域６３ａが設定される。また、制限領域６４に対応する画像領域６４ａが設定される。さらに、中間領域６５に対応する画像領域６５ａが設定される。監視領域６２は、出口部１６の大きさに対応して形成されている。

【0041】

図８に、空間領域およびワークの拡大側面図を示す。図８に示す例では、監視領域６２の内部にワーク１９の一部が配置されている。ワーク１９は、制限領域６４と中間領域６５に配置されている。図３、図７および図８を参照して、領域判定部４４は、それぞれの空間領域において、物体が存在しているか否かを判定する。本実施の形態においては、それぞれの空間領域に対応する画像領域６２ａ，６３ａ，６４ａ，６５ａにおいて、複数の測定点が設定される。そして、画像領域６２ａ，６３ａ，６４ａ，６５ａに写されている物体の測定点について、カメラ２３から物体の測定点までの距離の判定範囲が予め定められている。より詳細には、それぞれの画像領域６２ａ，６３ａ，６４ａ，６５ａに対応する画素センサの画素に対して、距離の判定範囲が予め定められている。画素に対応する空間領域および距離の判定範囲は、それぞれの画素ごとに設定されている。

【0042】

例えば、矢印８３に示す方向は、１つの画素に対応する。ここで、測定点７６は警戒領域６３に含まれるが、測定点７７は警戒領域６３に含まれない。レンズ中心点２４から測定点までの距離は、距離画像から得ることができる。領域判定部４４は、レンズ中心点２４からの距離が判定範囲ＤＲ１に含まれる場合には、測定点は警戒領域６３に含まれると判定する。ここでの例では、判定範囲ＤＲ１は、距離ｄ１以上距離ｄ２以下の範囲である。測定点７６は、判定範囲ＤＲ１に含まれるために、警戒領域６３に物体が存在していると判定される。測定点７７は、判定範囲ＤＲ１の外側に配置されるために、警戒領域６３に物体が存在していないと判定される。

【0043】

図８に示されるワーク１９の検出においては、ワーク１９の表面に複数の測定点が設定される。これらの測定点のうち、例えば測定点７５が判定される。測定点７５に対応する画素について、制限領域６４の判定範囲ＤＲ２が予め定められている。矢印８４に示すレンズ中心点２４から測定点７５までの距離は、判定範囲ＤＲ２に含まれている。このために、領域判定部４４は、制限領域６４に物体が存在していると判定する。警戒領域６３および中間領域６５に物体が存在するか否かの判定においても同様の制御により実施することができる。また、検出される物体は、ワーク１９に限られず、作業者１８および搬送車等の他の物体も含まれる。

【0044】

このように、領域判定部４４は、距離画像から物体の表面の測定点までの距離を取得して、測定点までの距離が予め定められた判定範囲内である場合に、画像領域に対応する空間領域の内部に物体が存在すると判定する。本実施の形態の領域判定部４４は、物体の少なくとも一部が空間領域に存在するときに、その空間領域に物体が存在すると判定している。

【0045】

ところで、距離画像には、監視の対象となる物体の他にも様々な物体が含まれる。本実施の形態の監視の対象となる物体は、ワーク１９および作業者１８である。たとえば、図８に示す例においては、それぞれの空間領域にコンベア１４が配置されている。判定範囲を設定する場合には、監視の対象となる物体以外の物体を避けて設定することができる。例えば、図８の判定範囲ＤＲ２に示す様に、コンベア１４を避けて判定範囲を設定することができる。

【0046】

このような判定範囲の設定においては、カメラ２３は、監視の対象となる物体が配置されていない状態の距離画像を予め撮像することができる。この距離画像を基準画像に設定することができる。基準画像には、柵１５およびコンベア１４の形状の情報に加えて、柵１５までの距離、コンベア１４までの距離、および床面５１までの距離の情報が含まれる。作業者は、それぞれの部材までの距離と設定される空間領域の境界面とに基づいて、距離の判定範囲を設定することができる。

【0047】

または、領域判定部４４は、監視の対象となる物体が距離画像に写っているか否かを判定しても構わない。記憶部３７は、監視の対象となる物体を含まない距離画像を基準画像として記憶することができる。カメラ２３が画像を撮像した後に、領域判定部４４は、今回の距離画像と基準画像とを比較することにより、基準画像に含まれていない物体を検出することができる。この検出において、領域判定部４４は、物体の輪郭または物体までの距離を用いることができる。そして、領域判定部４４は、基準画像に含まれていない物体を監視の対象となる物体と判定することができる。領域判定部４４は、この物体について、それぞれの空間領域に存在しているか否かの判定を行うことができる。この場合の判定範囲は、判定範囲ＤＲ１に示す様に、予め配置されているコンベア等の機器は考慮せずに、それぞれの空間領域の境界面に基づいて設定することができる。

【0048】

図９に、他の判定範囲を説明するカメラ、ワーク、およびコンベアの拡大側面図を示す。上記の実施の形態においては、監視領域６２の内部の空間に配置されるように判定範囲が設定されているが、この形態に限られない。例えば、カメラ２３と監視領域６２との間を物体５２が通過する場合がある。この場合に、通過する物体５２に監視領域６２が遮られて、監視領域６２の内部に物体が存在するか否かを正確に判定することができない場合がある。そこで、図９に示す例では、判定範囲の始点をレンズ中心点２４に設定している。例えば、警戒領域６３に関連して、レンズ中心点２４から監視領域６２の境界までの範囲を判定範囲ＤＲ３に設定している。また、制限領域６４に関連して、レンズ中心点２４からコンベア１４までの範囲を判定範囲ＤＲ４に設定している。

【0049】

領域判定部４４は、レンズ中心点２４から測定点までの距離が判定範囲内である場合に、測定点に対応する空間領域の内部に物体が存在すると判定することができる。この制御により、カメラ２３と監視領域６２との間に物体が存在して所望の空間領域が死角になった場合にも、安全に評価を行うことができる。例えば、カメラ２３と監視領域６２との間を物体５２が通過している時に、警戒領域６３の一部が死角になる。しかしながら、領域判定部４４は、測定点７９までの距離が判定範囲ＤＲ３内であることを検出した場合に、警戒領域６３に物体が存在すると判定することができる。このように、判定範囲は、カメラ２３を配置する位置および監視領域の設定方法に応じて、任意に設定することができる。

【0050】

図８を参照して、本実施の形態においては、３次元カメラから物体の測定点までの距離として、レンズ中心点２４から物体の測定点までの距離を採用しているが、この形態に限られない。３次元カメラから物体の測定点までの距離としては、矢印８５に示す様に、レンズ中心点２４を通る平面７４から測定点７５までの距離を採用していても構わない。この場合に、平面７４は、カメラ２３の視線に対して垂直な方向に延びる平面である。

【0051】

本実施の形態では、カメラ２３を始点として放射状に延びる切断面にて監視領域６２を分割した空間領域を設定している。このために、領域判定部４４は、物体の表面までの距離を判定範囲と比べることにより、物体が空間領域に存在するか否かを判定することができる。領域判定部４４は、それぞれの空間領域に物体が存在するか否かを容易に判定することができる。

【0052】

本実施の形態では、領域判定部４４は、物体が存在するか否かを警戒領域６３および制限領域６４において判定する。さらに、領域判定部４４は、監視領域６２の内部に物体が存在するか否かを判定する。監視領域６２の判定においては、監視領域６２に関する距離の判定範囲を設けて判定を行うことができる。または、領域判定部４４は、中間領域６５に関する距離の判定範囲を設定し、中間領域６５に物体が存在しているか否かを判定することができる。そして、警戒領域６３、中間領域６５、および制限領域６４のいずれかの領域に物体が存在している場合に、領域判定部４４は、監視領域６２に物体が存在していると判定しても構わない。

【0053】

次に、判定部４３は、物体が移動する方向を判定する。図１および図３を参照して、判定部４３は、第１の空間領域における物体の存在の状態、第２の空間領域における物体の存在の状態、および第３の空間領域における物体の存在の状態に基づいて、物体の移動方向が正常か否かを判定する移動判定部４５を含む。空間領域における物体の存在の状態は、空間領域に物体が存在しているか否かの判定結果に相当する。

【0054】

移動判定部４５は、矢印８１に示すように、物体が作業領域６７の内部から外部に搬出されることを許容する。移動判定部４５は、柵１５の内側の領域から柵１５の外側の領域に物体が移動することを許容する。すなわち、移動判定部４５は、制限領域６４から警戒領域６３に向かう物体の移動は、正常であると判定する。例えば、ワーク１９が作業領域６７から搬出される場合には、移動判定部４５は正常な物体の移動であると判定する。

【0055】

これに対して、移動判定部４５は、柵１５の外側から柵１５の内側の作業領域６７に物体が進入すると、異常であると判定する。移動判定部４５は、警戒領域６３から制限領域６４に向かって物体が移動している場合に異常であると判定する。例えば、作業者１８が出口部１６から柵１５の内側に進入した場合に、移動判定部４５は異常であると判定する。

【0056】

演算処理部３５は、他の装置に情報を送信する送信部４８を含む。移動判定部４５は、警戒領域６３から制限領域６４に向かう物体の移動を検出した場合に異常と判定する。次に、送信部４８は、作業者の接近が制限されている装置を停止する指令を発信する。本実施の形態において、送信部４８は、ロボット制御装置１２に対してロボット１１およびハンド１３を停止する指令を送出する。ロボット制御装置１２は、ロボット１１およびハンド１３を停止する。

【0057】

図１０に、本実施の形態におけるロボットシステムの制御を説明するフローチャートを示す。図１０に示す制御は、予め定められた時間間隔ごとに繰り返して実施することができる。図１０および図３を参照して、ステップ９０において、カメラ２３は、監視領域６２を撮像する。ステップ９１において、距離画像生成部３１は、距離画像を生成する。ステップ９２において、領域判定部４４は、それぞれの空間領域に物体が存在するか否かを判定する。ここでは、領域判定部４４は、監視領域６２、警戒領域６３、および制限領域６４のそれぞれの空間領域に物体が存在するか否かを判定する。ステップ９３において、記憶部３７は、今回の距離画像を記憶する。また、記憶部３７は、それぞれの空間領域において物体が存在するか否かを記憶する。

【0058】

次に、ステップ９４においては、移動判定部４５は、前回に撮像した距離画像および今回に撮像した距離画像において、少なくも一つの空間領域に物体が存在するか否かを判定する。すなわち、移動判定部４５は、監視領域６２、警戒領域６３、および制限領域６４の少なくとも１つの空間領域に物体が存在しているか否かを判定する。この制御が１回目の場合には、前回の距離画像として基準画像を採用することができる。移動判定部４５は、基準画像では、全ての空間領域に物体が存在していないと判定する。

【0059】

ステップ９４において、全ての空間領域において物体が存在しない場合には、制御は、ステップ９８に移行する。この場合には、ワーク１９の搬出または作業者１８の進入がないと判定することができる。ステップ９８においては、表示灯２９を消灯する。表示灯２９が既に消灯している場合には、消灯している状態を維持する。次に、この制御を終了する。ステップ９４において、前回の距離画像および今回の距離画像において、少なくとも一つの空間領域に物体が存在する場合には、制御はステップ９５に移行する。

【0060】

ステップ９５において、移動判定部４５は、それぞれの空間領域の状態の変化を検出する。移動判定部４５は、今回の撮像における物体の存在の状態と、前回の撮像における物体の存在の状態とを取得する。例えば、移動判定部４５は、所定の空間領域において、物体が無い状態から物体が有る状態に変化したか、物体が有る状態から物体が無い状態に変化したか、または、物体の存在の状態について変化がないか、について検出する。そして、ステップ９６において、移動判定部４５は、空間領域の状態の変化が許容されるか否かを判定することにより、物体の移動方向が正常か否かを判定する。

【0061】

図１１に、許容される空間領域の状態の変化の説明図を示す。図１１は、ワーク１９が作業領域６７から搬出されるときのそれぞれの空間領域の状態の変化を示している。状態１０１においては、制限領域６４、監視領域６２、および警戒領域６３において、物体が検出されない状態である。次の状態１０２においては、ワーク１９が移動して、ワーク１９の少なくとも一部が制限領域６４に存在している。状態１０２は、例えば、図８に示すワーク１９の一部が中間領域６５および制限領域６４に配置されている状態である。この状態では、制限領域６４と監視領域６２において物体が存在していると判定される。

【0062】

更に、ワーク１９が進行すると、状態１０３において、中間領域６５の内部に物体が存在する状態になる。状態１０３では、制限領域６４および警戒領域６３には物体が存在しないと判定される。状態１０３は、例えば、図７に示すように、中間領域６５の内部にワーク１９が配置されている状態である。

【0063】

更にワーク１９が進行すると、状態１０４になる。状態１０４においては、監視領域６２および警戒領域６３に物体が存在し、制限領域６４に物体が存在しない状態になる。更に、ワーク１９が進行すると、状態１０５に示すように、３つの全ての空間領域において、物体は存在しない状態になる。

【0064】

前回の空間領域の状態から今回の空間領域の状態への変化が、図１１に含まれる連続する２つの状態の変化に対応したときに、移動判定部４５は、物体が作業領域６７から外側に向かって移動していると判定する。移動判定部４５は、物体の移動方向が正常であると判定する。または、前回の空間領域の状態から今回の空間領域の状態への変化が無い場合に、移動判定部４５は、物体の移動方向が正常であると判定する。例えば、前回の距離画像における状態が状態１０１であり、今回の距離画像における状態も状態１０１である場合には、移動判定部４５は、物体の移動方向は正常であると判定する。図１１に示される正常な状態の変化のパターンについては、予め記憶部３７に記憶されている。

【0065】

図１２は、空間領域の状態の変化が異常である第１の例を示している。状態１０１は、３つの空間領域において物体が存在しない状態である。次の状態１１１は、監視領域６２および警戒領域６３に物体が存在し、制限領域６４に物体が存在しない状態である。状態１０１から状態１１１への変化では、物体が作業領域６７の外側から内側に向かって進入していると判定することができる。すなわち、図１１に示す様に、状態１０１の後は状態１０２に移行すべきであるが、状態１０１から状態１１１に移行している。このために、移動判定部４５は、空間領域の状態の変化が異常であると判定する。そして、移動判定部４５は、物体の移動方向が異常であると判定する。

【0066】

図１３は、空間領域の状態の変化が異常である第２の例を示している。状態１０２では、制限領域６４および監視領域６２に物体が存在している。次の状態１１２では、３つの空間領域に物体が存在している。図１１に示す様に、状態１０２の後には状態１０３に移行すべきであるが、状態１０２から状態１１２に移行している。この状態の変化は、例えば、ワーク１９を搬出しているときに、作業者１８が作業領域６７に進入する場合が相当する。このために、移動判定部４５は、空間領域の状態の変化が異常であると判定する。そして、移動判定部４５は、物体の移動方向が異常であると判定する。

【0067】

このように、移動判定部４５は、空間領域の状態の変化に基づいて、物体の移動方向が正常か否かを判定することができる。本実施の形態における移動判定部４５は、正常な状態の変化以外の状態の変化は、異常であると判定する。

【0068】

図１０を参照して、ステップ９６において、空間領域の状態の変化が正常である場合には、ステップ９７に移行する。ステップ９７において、演算処理部３５は、表示灯を点灯する。既に、表示灯２９が点灯されている場合には、点灯されている状態を維持する。このときの表示灯２９の点灯は、ワーク１９が作業領域６７から搬出されることを通知する点灯である。作業者１８は、表示灯２９が点灯するのを見て、ワーク１９が搬出されることを認識することができる。

【0069】

この後に、制御はステップ９０に戻り、カメラ２３にて距離画像を撮像する。そして、ステップ９１からステップ９６において、物体の移動方向が正常か否かを判定する制御を繰り返す。

【0070】

ステップ９６において、空間領域の状態の変化が許容されない場合には、制御はステップ９９に移行する。例えば、作業者が作業領域６７に進入した場合には、制御はステップ９９に移行する。本実施の形態では、図１１に示される状態の変化以外の状態の変化が生じたときに、制御はステップ９９に移行する。

【0071】

ステップ９９において、送信部４８は、ロボット１１およびハンド１３を非常停止させる為の信号をロボット制御装置１２に送信する。ロボット制御装置１２は、ロボット１１およびハンド１３を停止する。このように、作業者１８の安全を確保することができる。

【0072】

本実施の形態の監視装置２１は、作業者１８が柵１５の外側の領域から出口部１６を通って作業領域６７に進入することを検出することができる。特に、監視装置２１は、ワーク１９が出口部１６を通って搬出されている期間中に、作業者１８が作業領域６７に進入することを検出することができる。

【0073】

本実施の形態における監視装置２１では、任意の位置および大きさに監視領域を設定することができる。そして、監視領域６２の全体が写るようにカメラ２３を配置すれば良い。このために、監視領域６２の機器の配置を容易に設定することができる。また、第１の空間領域および第２空間領域は、監視領域６２を分割した時の予め定められた方向の両側の境界面を含む領域が設定されるために、監視を行う領域を容易に設定することができる。更に、作業者は、監視装置２１の機器の複雑な制御を行う必要がない。

【0074】

例えば、ライトカーテンを配置する場合には、ミューティング機能を有効にした時に作業者がすり抜けないように、ライトカーテンおよび光電センサを配置する位置および制御を検討する必要がある。この時に、作業者等がすり抜ける多くのパターンが存在するために、これらのパターンを考慮する必要が有る。これに対して、本実施の形態の監視装置２１は、簡易な機器の配置および簡易な制御にて作業者等の物体がすり抜けないように監視することができる。

【0075】

特に、本実施の形態の監視装置２１は、正常な物体の移動を検出すると共に、異常な物体の移動を検出することができる。一方の方向に搬出される物体がある場合に、他方の方向から物体が進入することを検出することができる。すなわち、正常な方向とは反対側に向かって移動する物体を検出することができる。

【0076】

また、本実施の形態の監視装置２１は、１つの３次元カメラおよび画像処理装置にて構成できるために、監視装置の構成が簡易である。例えば、監視装置がライトカーテンを含む場合には、ミュート機能を実施するために、光電センサが必要になる。これに対して、本実施の形態の監視装置では、１つの３次元カメラにて物体の存在および物体の異常な移動を検出することができる。

【0077】

本実施の形態の表示灯２９は、制限領域６４から警戒領域６３に向かう物体の移動を検出した場合に作動するように形成されている。本実施の形態では、ワーク１９の搬出を作業者１８に知らせるために、表示灯２９が作動しているが、この形態に限られない。移動判定部４５が警戒領域６３から制限領域６４に向かう物体の移動を検出した場合に、表示灯を作動しても構わない。すなわち、演算処理部３５は、許容される方向とは反対側の方向に物体が移動した時に、表示灯を点灯する制御を実施しても構わない。この制御により、作業領域６７に進入する作業者１８に対して警告することができる。または、作業者１８に対して、物体が作業領域６７に進入することを通知することができる。

【0078】

または、制限領域６４から警戒領域６３に物体が向かう場合と、警戒領域６３から制限領域６４に物体が向かう場合との両方の場合に、表示灯２９を作動しても構わない。この場合には、物体が移動する方向に応じて点灯パターンを変更することが好ましい。

【0079】

作業者に物体の移動を通知する通知装置としては、表示灯に限られず、警報音を発生するブザーでであっても構わない。監視装置がブザーを備える場合にも、物体が搬出されるときの警報音と、物体が作業領域６７の内部に進入する時の警報音とを変化させることができる。または、通知装置は、表示灯およびブザーの両方を含んでいても構わない。

【0080】

本実施の形態における領域設定部４２は、監視領域６２を３つの空間領域に分割しているが、この形態に限られず、監視領域を２つの空間領域に分割しても構わない。

【0081】

図１４に、監視領域を２つの空間領域に分割したときの側面図を示す。領域設定部４２は、切断面７３によって監視領域６２を警戒領域６３および制限領域６４に分割している。この監視領域６２の分割方法によっても、上記と同様の制御により、物体が移動する方向を検出することができる。そして、判定部４３が警戒領域６３から制限領域６４への物体の移動を検出した場合には、ロボットを停止する制御を実施することができる。

【0082】

更に、領域設定部４２は、監視領域６２を４個以上の空間領域に分割しても構わない。例えば、図４を参照して、警戒領域６３の内側に、更に空間領域を設定しても構わない。監視領域を分割した空間領域の数を増やすことにより、物体の移動をより詳細に判定することができる。

【0083】

本実施の形態のカメラは、光の飛行時間に基づいて距離画像を撮像するが、この形態に限られない。３次元カメラは、カメラから物体までの距離が取得できる任意のカメラを採用することができる。３次元カメラとしては、たとえば、相対位置が予め定められている２台のカメラを含むステレオカメラを採用することができる。この場合に、監視領域を分割するための切断面の始点は、基準となる一方のカメラのレンズ中心点にすることができる。

【0084】

本実施の形態の監視装置は、ロボットシステムに配置されているが、この形態に限られず、任意のシステムに配置することができる。たとえば、板金プレス機を備えるシステムに本実施の形態の監視装置を適用することができる。また、所定の領域に物体が存在するか否かを判定する任意のシステム、または、所定の領域に物体が進入するか否かを判定する任意のシステムに、本実施の形態の監視装置を配置することができる。

【0085】

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

【0086】

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、特許請求の範囲に示される実施の形態の変更が含まれている。

【符号の説明】

【0087】

１１ ロボット
１２ ロボット制御装置
１３ ハンド
１４ コンベア
１８ 作業者
１９ ワーク
２１ 監視装置
２２ 画像処理装置
２３ カメラ
２４ レンズ中心点
２９ 表示灯
３１ 距離画像生成部
４１ 画像取得部
４２ 領域設定部
４３ 判定部
４４ 領域判定部
４５ 移動判定部
４８ 送信部
６２ 監視領域
６２ａ 画像領域
６３ 警戒領域
６３ａ 画像領域
６４ 制限領域
６４ａ 画像領域
６５ 中間領域
６５ａ 画像領域
６７ 作業領域
７０，７１，７２，７３，７８ 切断面
７５，７６，７７ 測定点

【要約】

【課題】機器の配置の設定および制御が容易な監視装置を提供する。
【解決手段】監視装置は、３次元の画像を取得するカメラ２３と、カメラ２３の出力信号の処理を行う画像処理装置とを備える。カメラ２３の撮像領域６１の一部が監視領域６２に定められている。画像処理装置は、監視領域６２を分割して複数の空間領域を設定する領域設定部を含む。領域設定部は、カメラ２３を始点として放射状に延びる複数の切断面７１，７２にて監視領域６２を分割する。領域設定部は、矢印８１に示す方向において、一方の端部の空間領域を警戒領域６３に設定し、他方の端部の空間領域を制限領域６４に設定する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】