特許 6912449 測距装置を有する物体監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6912449

(24)【登録日】2021年7月12日

(45)【発行日】2021年8月4日

(54)【発明の名称】測距装置を有する物体監視システム

(51)【国際特許分類】

   G01S 17/89 20200101AFI20210727BHJP

【ＦＩ】

   G01S17/89

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2018-237734(P2018-237734)

(22)【出願日】2018年12月19日

(65)【公開番号】特開2020-101373(P2020-101373A)

(43)【公開日】2020年7月2日

【審査請求日】2020年5月13日

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】中村 稔

(72)【発明者】

【氏名】高橋 祐輝

(72)【発明者】

【氏名】渡邉 淳

【審査官】 仲野 一秀

(56)【参考文献】

【文献】 国際公開第２０１６／０７５８８５（ＷＯ，Ａ１）

【文献】 特開２００７−１２２５０７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ ７／４８−７／５１

１７／００−１７／９５

Ｇ０１Ｃ ３／００−３／３２

(57)【特許請求の範囲】

【請求項1】

異なる撮像モードを含む撮像周期を繰返しながら対象空間の距離画像を前記撮像モード毎に生成する測距装置と、前記対象空間の中に定めた監視領域内の物体有無を前記距離画像に基づき判断するコンピュータ装置と、を備える物体監視システムであって、
前記撮像モードは、前記対象空間に発光する参照光の発光量、露光時間、及び絞り値のうちの少なくとも一つを変化させたものであり、
前記コンピュータ装置は、前記距離画像が前記参照光の発光量、前記露光時間、及び前記絞り値のうちの少なくとも一つを変化させた前記撮像モード毎に生成される度に、前記距離画像内の各画素の測距値が有効であるか否か、且つ、前記測距値が前記監視領域内であるか否かの判定結果に基づいて前記監視領域内の物体有無を判断することを特徴とする物体監視システム。

【請求項2】

前記コンピュータ装置は、前記判定結果が１画素でも真である場合に、前記監視領域内に物体が有ると判断する、請求項１に記載の物体監視システム。

【請求項3】

前記コンピュータ装置は、前記判定結果を侵入判定画像として記憶し、規定数の前記侵入判定画像を合成した侵入判定合成画像に基づいて前記監視領域内の物体有無を判断する、請求項１に記載の物体監視システム。

【請求項4】

前記コンピュータ装置はさらに、前記距離画像内の各画素の測距値が無効であるか否かの判定結果を無効判定画像として記憶し、規定数の前記無効判定画像を合成した無効判定合成画像に基づいて前記監視領域内の測距無効を判断する、請求項３に記載の物体監視システム。

【請求項5】

前記コンピュータ装置は、前記判定結果を侵入判定画像として記憶して規定数の前記侵入判定画像を合成した侵入判定合成画像を生成し、前記距離画像内の各画素の測距値が無効であるか否かの判定結果を無効判定画像として記憶して規定数の前記無効判定画像を合成した無効判定合成画像を生成すると共に、前記侵入判定合成画像及び前記無効判定合成画像を合成した統合判定合成画像に基づいて前記監視領域内の物体有無を判断する、請求項１に記載の物体監視システム。

【請求項6】

前記規定数は前記撮像モード数である、請求項３から５のいずれか一項に記載の物体監視システム。

【請求項7】

前記コンピュータ装置は、規定画素群サイズを前記侵入判定合成画像又は前記統合判定合成画像から検出した場合に、前記監視領域内に物体が有ると判断する、請求項５に記載の物体監視システム。

【請求項8】

前記コンピュータ装置は、前記無効判定合成画像から規定無効画素群サイズを検出した場合に、無効検出信号を出力する、請求項４、５、又は７に記載の物体監視システム。

【請求項9】

前記測距値の有効とは、前記測距装置が測距可能であること、又は、前記測距値が精度閾値内であることを意味する、請求項１から８のいずれか一項に記載の物体監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、測距装置を有する物体監視システムに関し、特に多重撮像時の種々の問題を解決する物体監視システムに関する。

【背景技術】

【0002】

物体までの距離を測定する測距装置として、光の飛行時間に基づき距離を出力するＴＯＦ（time of flight）カメラが公知である。ＴＯＦカメラは、所定周期で強度変調した参照光を対象空間に照射し、参照光と対象空間からの反射光との間の位相差に基づき対象空間の測距値を出力する位相差方式を採用するものが多い。

【0003】

現状のＴＯＦカメラでは、イメージセンサのダイナミックレンジ不足に起因して特定反射率の物体（例えば白色材、黒色材、再帰反射材等）を所望の測距レンジで１度に撮像できない場合がある。斯かる問題に対処するため、参照光の発光量、露光時間、絞り値、又はこれらの組み合せ等（以下、撮像モードと称する。）を変化させて複数回撮像する手法がある。例えば図１０に示すように、露光小の撮像モード♯１、露光中小の撮像モード♯２、露光中大の撮像モード♯３、及び露光大の撮像モード♯４の４種類の撮像モードを設定して複数回撮像することにより、必要なダイナミックレンジを満たすことができる。

【0004】

異なる撮像モードで複数回撮像した場合、ＴＯＦカメラは複数枚の距離画像を出力する。例えば図１１に示すように白色円柱、黒色三角柱、及び再帰反射板を背景板の前方に配置して４種類の撮像モードで撮像した場合、図１２に示すような４種類の距離画像♯１−♯４が生成される。これら距離画像において、黒は遠すぎるか又は露光不足のため測距不能となった画素であり、白はサチュレーションのため測距不能となった画素であり、グレーは測距可能であった画素である。なお、図中の白並びに黒の破線は、各物体の位置を示すために加えた仮想線である。薄いグレーは測距値が小さく、近い物体を示す画素であり、濃いグレーは測距値が大きく、遠い物体を示す画素である。露光小の距離画像♯１では、再帰反射板のみが測距できており、露光大の距離画像♯４では黒色三角柱の暗い部分のみが測距できていることが分かる。これら４種類の距離画像を合成することにより、所望の距離画像を得ることができる。斯かる多重撮像技術としては、特許文献１が公知であり、ＴＯＦカメラを利用した物体検知技術としては、特許文献２が公知である。

【0005】

特許文献１には、異なる撮像条件で取得した複数の距離画像間において、距離画像内の各画素に対応付けられた受光強度に基づいて、より大きい受光強度を示す画素を抽出し、抽出した画素を複数の距離画像の合成距離画像に用いることが記載されている。

【0006】

特許文献２には、ＴＯＦカメラの露光時間を適宜設定して距離画像を取得すること、及び、検知用距離画像に基づいて検知エリア内のオブジェクトを検出することが記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１７−１８１４８８号公報

【特許文献2】特表２０１５−５１３８２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ＴＯＦカメラ等の測距装置を利用して監視領域内の物体を距離画像に基づき検知する物体監視システムでは、複数種類の撮像モードで取得した複数枚の距離画像を受光強度に基づき合成すると、後述の問題が発生する。

【0009】

例えば図１３Ａに示すように背景に対して低反射率の物体６０が左から右へ高速で移動したときにＴＯＦカメラ６１が２倍の露光差で２回撮像した場合を考える。このとき、図１３Ｂに示すように露光大の撮像モード♯１では、背景の受光強度が１０００、低反射率の物体の受光強度が４００、露光小の撮像モード♯２では、背景の受光強度が５００であったとする。撮像モード♯１における物体の受光強度４００と、撮像モード♯２における同一位置の受光強度５００とを比較すると、より大きい受光強度である撮像モード♯２の画素の測距値が採用されて２つの距離画像が合成される。このため、合成距離画像には物体が存在していないことになる。即ち、ｎ倍の露光差があり且つ背景に対して１／ｎ未満の反射率の物体が高速で移動した場合には、合成距離画像において物体が消えてしまうという問題が発生し得る。

【0010】

他方、安全装置として利用される物体監視システムでは、可能な限り早期に物体を検知することが望ましいが、斯かる距離画像の合成手法では複数種類の撮像が一巡しないと物体有無を判定できないため、物体検知が遅れてしまうという問題もある。同様に、異なる撮像モードで取得した複数枚の距離画像において画素毎に受光強度を参照し、受光強度を比較して合成距離画像を生成する手法は、処理が重く、物体検知が遅れてしまう一因になる。

【0011】

そこで、多重撮像時の種々の問題を解決する技術が求められている。

【課題を解決するための手段】

【0012】

本開示の一態様は、異なる撮像モードを含む撮像周期を繰返しながら対象空間の距離画像を撮像モード毎に生成する測距装置と、対象空間の中に定めた監視領域内の物体有無を距離画像に基づき判断するコンピュータ装置と、を備える物体監視システムであって、撮像モードは、対象空間に発光する参照光の発光量、露光時間、及び絞り値のうちの少なくとも一つを変化させたものであり、コンピュータ装置は、距離画像が参照光の発光量、露光時間、及び絞り値のうちの少なくとも一つを変化させた撮像モード毎に生成される度に、距離画像内の各画素の測距値が有効であるか否か、且つ、測距値が監視領域内であるか否かの判定結果に基づいて監視領域内の物体有無を判断する、物体監視システムを提供する。

【発明の効果】

【0013】

本開示の一態様によれば、距離画像が撮像モード毎に生成される度に監視領域内の物体有無を判断するため、物体の見逃しが防止されると共に応答速度が高速化する。ひいては、より安全性の高い物体監視システムを提供できる。

【図面の簡単な説明】

【0014】

【図1】３種類の物体判定手法を実装した物体監視システムのブロック図である。

【図2】特定反射率の物体を示す斜視図である。

【図3】監視領域に侵入した物体を示す斜視図である。

【図4】方式１による物体判定を示す概念図である。

【図5】方式１による物体検知信号の一例を示すタイミングチャートである。

【図6A】方式１の効果を示すタイミングチャートである。

【図6B】比較例のタイミングチャートである。

【図7】方式２による物体判定を示す概念図である。

【図8】方式２の効果及び比較例を示す概念図である。

【図9】方式３による物体判定を示す概念図である。

【図10】４種類の撮像モードを示す概念図である。

【図11】特定反射率の物体を示す斜視図である。

【図12】異なる撮像モードで取得した被写体の複数の距離画像と、これら距離画像を合成した合成距離画像とを示す概念図である。

【図13A】背景に対して低い反射率の物体が左から右へ高速で移動する様子を撮像するＴＯＦカメラを示す斜視図である。

【図13B】露光時間が２倍異なる撮像モードで取得した受光強度画像及び距離画像を示す概念図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

【0016】

図１を参照して、多重撮像時の種々の問題を解決する３種類の物体判定手法について説明する。図１は、３種類の物体判定手法（方式１−３）を実装した物体監視システムのブロック図である。以下では、方式１−３における物体監視システムの構成を順次説明する。

【0017】

＜方式１＞
物体監視システム１は、測距装置１０及びコンピュータ装置２０を備えている。測距装置１０及びコンピュータ装置２０は、有線又は無線のネットワークを介して相互に通信可能に接続されるか、又は、バス接続等により一体化して構成することができる。

【0018】

測距装置１０は、ＴＯＦカメラ、レーザスキャナ等で構成される測距装置であり、異なる撮像モードを含む撮像周期を繰返しながら距離画像を撮像モード毎に順次生成する。測距装置１０は、入出力部１１と、発光撮像制御部１２と、照射部１３と、受光部１４と、Ａ／Ｄ変換部１５と、距離画像生成部１６と、を備えている。

【0019】

入出力部１１は、コンピュータ装置２０から測距装置１０へ撮像モードや撮像周期等の設定値を入力すると共に、撮像モード毎に生成した距離画像を測距装置１０からコンピュータ装置２０へ順次出力する。代替実施形態として、撮像モードや撮像周期等の設定値は測距装置１０側で入力され、コンピュータ装置２０側に出力されてもよい。

【0020】

撮像モードは、参照光の発光量、露光時間、絞り値、又はこれらの組み合わせ等で構成される。例えば被写体の反射率や外光等の外的因子に応じて、撮像モード♯１：発光量大且つ露光小、撮像モード♯２：発光量大且つ露光中、撮像モード♯３：発光量大且つ露光大というように設定される。

【0021】

撮像周期は、複数種類の撮像モードを含む１つの周期であり、♯１→♯２→♯３というように異なる撮像モードのみで設定してもよいし、又は、♯１→♯１→♯２→♯４というように同一の撮像モードを含んで設定してもよい。前者では、♯１→♯２→♯３→♯１→♯２→♯３・・・というように撮像周期が繰返され、後者では、♯１→♯１→♯２→♯４→♯１→♯１→♯２→♯４というように撮像周期が繰返される。

【0022】

発光撮像制御部１２は、撮像モード及び撮像周期に基づいて照射部１３の発光及び受光部１４の撮像を制御する。照射部１３は、強度変調した参照光を発光する光源、参照光を対象空間に照射する拡散板又はＭＥＭＳミラー等のスキャナ機構を備えている。受光部１４は、対象空間からの反射光を集光する集光レンズ、特定波長の参照光のみを透過する光学フィルタ、反射光を受光する受光素子等を備えている。受光部１４は、参照光の発光タイミングに対して例えば０°、９０°、１８０°、２７０°だけ位相をずらした４種類の露光タイミングで受光を繰返し、位相毎に電荷量Ｑ₁−Ｑ₄を蓄積していく。

【0023】

Ａ／Ｄ変換部１５は、受光部１４に蓄積された電荷量Ｑ₁−Ｑ₄を増幅してＡ／Ｄ変換する。この際、サチュレーション又は露光不足の場合には、Ａ／Ｄ変換値の代わりに測距不能を示す特異値（例えばサチュレーション：９９９９、露光不足：９９９８）を出力する。距離画像生成部１６は、参照光と反射光との位相差を電荷量Ｑ₁−Ｑ₄のＡ／Ｄ変換値に基づき求め、位相差から測距値を算出して距離画像を生成する。位相差Ｔｄ及び測距値Ｌの算出式の一例を下記に示す。下記式において、ｃは光速であり、ｆは参照光の変調周波数である。なお、測距不能の場合には、測距値の代わりに特異値を含む距離画像が生成される。

【0024】

【数1】

【0025】

【数2】

【0026】

本例の測距装置１０は精度算出部１７をさらに備えていてもよい。精度算出部１７は、距離画像内の各画素について電荷量Ｑ₁−Ｑ₄の関係に基づき測距値の精度を算出し、距離画像に対応した精度画像を順次生成する。精度Ｐの算出式の一例を下記に示す。下記式において、Ｄは電荷量Ｑ₁、Ｑ₃の和と電荷量Ｑ₂、Ｑ₄の和との差分であり、Ｉは受光強度であり、ｈは百分率化等に使用される補正係数であり、ｅは測距装置１０の構造誤差、部品特性、温度特性、経年劣化、環境条件等から見込まれる他の誤差である。誤差の無い理想的な環境では、４種類の露光タイミングの位相関係から差分Ｄが０となる。従って、受光強度Ｉに応じて差分Ｄをスケール調整し、補正係数ｈにより百分率化すると共に、他の誤差ｅを加味することにより、測距値の精度Ｐを算出できる。なお、他の誤差ｅは実機を用いて実験的に求めることができる。

【0027】

【数3】

【0028】

【数4】

【0029】

【数5】

【0030】

入出力部１１は、撮像モード毎に生成した距離画像に加え、距離画像に対応する精度画像を測距装置１０からコンピュータ装置２０へ順次出力してもよい。

【0031】

コンピュータ装置２０は、ＣＰＵ（central processing unit）、ＲＡＭ（random access memory）、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）等で構成されるコンピュータ装置であり、対象空間の中に定めた監視領域内の物体有無を距離画像に基づき判断する。コンピュータ装置２０は、設定メモリ２１と、入出力部２２と、有効判定部２３と、侵入判定部２４と、信号出力部２５と、を備えている。

【0032】

設定メモリ２１は、予め設定した撮像モード、撮像周期、測距値の精度閾値、ユーザが予め設定した監視領域等の設定値を記憶している。精度閾値は、距離画像内の各画素の測距値について一律に設定されてもよいし（例えば±２．２％のみ）、又は、距離画像内の特定領域の画素について複数設定されてもよい（例えば領域Ａ：±２．１％、領域Ｂ：±３．３％等）。監視領域は、測距装置１０の対象空間において測距装置１０に対する三次元位置として設定され、距離画像内の各画素が眺望する監視領域の距離範囲テーブル（画素Ａ：１．２ｍ−２．３ｍ、画素Ｂ：１．４ｍ−２．４ｍ等）に変換され記憶される。

【0033】

入出力部２２は、撮像モードや撮像周期等の設定値をコンピュータ装置２０から測距装置１０へ出力すると共に、撮像モード毎に生成された距離画像及び必要に応じて距離画像に対応する精度画像を測距装置１０からコンピュータ装置２０へ順次入力する。

【0034】

有効判定部２３は、距離画像内の各画素の測距値が有効であるか否かを判定する。測距値の有効とは、測距装置１０が測距可能であること（即ち特異値でないこと）、又は、測距値が精度閾値内であること（且つ特異値でもないこと）を意味する。後者の場合には、精度画像内の各画素の精度を精度閾値と比較することにより、測距値が有効か否かを判定する。代替実施形態として、測距装置１０が電荷量Ｑ_１−Ｑ_４の情報をコンピュータ装置２０に出力し、有効判定部２３が前述の精度算出部１７と同様に各画素の測距値の精度を算出してもよい。

【0035】

侵入判定部２４は、距離画像内の各画素の有効な測距値が監視領域内であるか否かを判定する。具体的には、監視領域の距離範囲テーブルを参照して各画素の有効な測距値が監視領域内か否かが判定される。ここで方式１では、判定結果が１画素でも真である場合に、侵入判定部２４が信号出力部２５に直接作用して物体検知信号を出力する。物体検知信号は、例えば監視領域に侵入した作業者の安全を考慮して作業者から隔離するロボットや工作機械等の危険源の動力を停止する信号として使用される。

【0036】

方式１の実施例について説明する。本例では、図２に示すように測距装置の対象空間の中に監視領域５０を定め、図３に示すように特定の反射特性を有する物体（背景板４３の前方に配置した白色円柱４０、黒色三角柱４１、及び再帰反射板４２）のうち白色円柱４０の一部及び黒色三角柱４１の一部が監視領域５０の中に侵入し続けている場合を想定している。なお、白色材、黒色材、及び再帰反射材は、一般的に作業者の髪や身体、作業着等の素材で想定される種々の反射特性の代表例であり、測距装置として必要なダイナミックレンジの確認用として用いられているものである。

【0037】

図４に示すように、測距装置が４種類の撮像モード♯１−♯４を含む撮像周期を繰返しながら距離画像♯１−♯４を生成したとする。露光小の距離画像♯１では、再帰反射板４２の測距値のみが有効であるが、再帰反射板４２の測距値は監視領域５０内でないため、距離画像♯１が生成された時点では監視領域５０内の物体有無が不明である。露光中小の距離画像♯２では、白色円柱４０及び背景板４３の測距値が有効であり且つ白色円柱４０の測距値が監視領域５０内であるため、距離画像♯２が生成された時点で物体検知信号を出力する。

【0038】

露光中大の距離画像♯３では、白色円柱４０の一部、黒色三角柱４１の一部、及び背景板４３の測距値が有効であり且つ白色円柱４０の測距値及び黒色三角柱４１の測距値が監視領域５０内であるため、距離画像♯３が生成された時点で物体検知信号を出力する。露光大の距離画像♯４では、黒色三角柱４１の一部の測距値のみが有効であるが、黒色三角柱４１の測距値が監視領域５０内でないため、距離画像♯４が生成された時点では監視領域内の物体有無が不明である。

【0039】

このように方式１では、距離画像♯２又は距離画像♯３が生成された時点で物体検知信号を出力する。従って、方式１は、従来のように受光強度に基づき生成した合成距離画像から物体を検出する場合と比べ、物体の見逃しを防止できる。但し、距離画像♯１、♯４が生成された時点では監視領域内の物体有無が不明であるため、図５に示すように物体検知信号を１周期以上保持する機能か、又は、物体検知信号をユーザがリセットするまでラッチする機能が付加されるのが一般的である。

【0040】

図６Ａは方式１の効果を示すタイミングチャートであり、図６Ｂは合成処理画像を生成した後に判定処理を行う比較例のタイミングチャートである。ここでは、最悪の応答時間のケースとして撮像モード♯１でしか有効に測距されない物体が撮像モード♯１の直後に監視領域内に侵入した場合を想定している。

【0041】

方式１においては、撮像モード毎に判定処理を行うため、４×Ｔ＋α（Ｔは撮像モード間の時間間隔）の応答速度で物体検知信号を出力する。対照的に、比較例では、合成距離画像を生成した後に判定処理を行うため、２周期後の合成距離画像で初めて物体を検知する。即ち、比較例では、７×Ｔ＋βの応答速度で物体検知信号を出力することになる。従って、方式１は、比較例と比べて、約３×Ｔ分早く物体を検知できる。即ち、方式１の物体判定によれば、最悪の応答速度が高速化する。ロボットや工作機械等の危険源の周囲に設定する監視領域は作業者の移動速度を見込んで決定されるため、応答速度が遅い場合には監視領域をより広く設定する必要があるが、方式１においては応答速度が速いため、監視領域を小さく設定でき、ひいては機器や監視領域のレイアウト設計を容易に行うことができる。この最悪の応答時間は、物体監視システムとして重要な仕様の１つであり、応答速度が高速化することにより安全性且つ利便性の高い物体監視システムを提供できる。

【0042】

＜方式２＞
図１を再び参照して、方式２における物体監視システム１の構成を説明する。方式２では、コンピュータ装置２０がさらに、第１メモリ２６と、侵入判定合成部２７と、物体サイズ検出部２８と、を備えている。第１メモリ２６は、距離画像が撮像モード毎に生成される度に、距離画像内の各画素の有効な測距値が監視領域内であるか否かの判定結果（例えば黒：１：監視領域内に物体有り、白：０：それ以外）を侵入判定画像として記憶する。

【0043】

侵入判定合成部２７は、規定数の侵入判定画像を論理和して侵入判定合成画像を生成する。規定数とは、一般的には必要なダイナミックレンジを満たす複数種類の撮像モード数であるが、これに限定されるものではなく、例えば３種類の撮像モード♯１、♯２、♯４を含む撮像周期が♯１→♯１→♯２→♯４の場合には、４個でもよいし、又は、２周期分、３周期分等の撮像モード数（例えば８個、１２個等）でもよい。また、侵入判定合成画像は、一般に侵入判定画像が生成される度に、最新の侵入判定画像を起点に規定数分の侵入判定画像を用いて生成（又は更新）されるが、生成（又は更新）のタイミングや、起点とする侵入判定画像について限定するものではないことに留意されたい。

【0044】

画素群サイズ検出部２８は、距離画像が撮像モード毎に生成される度に、侵入判定合成画像から監視領域内に物体有りを示す画素群の画像上のサイズが規定画素群サイズ以上か否かを判定する。この判定手法によれば、測距装置の距離画像の測距値のバラツキや、埃又は霧といった不必要な小物体による誤検知を低減し、安定した物体判定が可能になる。一般的に用いられる規定画素群サイズとしては、ｎ×ｎ（ｎは整数）の画素領域があり、侵入判定合成画像内の任意の規定画素群サイズの領域に、画素が全て物体有りを示すものがあるか否かが確認される。侵入判定合成画像から物体有りを示す規定画素群サイズの画素領域があると判定された場合には、画素群サイズ検出部２８が信号出力部２５に作用して物体検知信号を出力する。例示したｎ×ｎの規定画素群サイズは正方形となるが、ｎ×ｍ（ｍはｎと異なる整数）といった長方形でもよく、正方形や長方形の角部の画素を排除した円形に近い形状であっても良く、隣接する画素の集合体であれば、規定画素群サイズとしてあらゆる形状が想定される。一般的に規定画素群サイズの大きさ、形状等は物体監視システムとして検知可能な物体の大きさ、形状等に密接に関連するため、これらを検討の上決定される。

【0045】

方式２の実施例について説明する。本例では、方式１と同じく、図３に示すように特定反射率の物体のうち白色円柱４０の一部及び黒色三角柱４１の一部が監視領域５０の中に侵入し続けている場合を想定する。このとき、図７に示すように測距装置が４種類の撮像モード♯１−♯４を含む撮像周期を繰返しながら距離画像♯１−♯４及び対応する侵入判定画像♯１−♯４を生成したとする。露光小の侵入判定画像♯１では、再帰反射板４２の測距値のみが有効であるが、再帰反射板４２の測距値は監視領域５０内に無いため、侵入画素（黒：１）が無い。露光中小の侵入判定画像♯２では、白色円柱４０及び背景板４３の測距値が有効であり且つ白色円柱４０の測距値が監視領域５０内に有るため、侵入画素（黒：１）が有る。

【0046】

露光中大の侵入判定画像♯３では、白色円柱４０の一部、黒色三角柱４１の一部、及び背景板４３の測距値が有効であり且つ白色円柱４０の測距値及び黒色三角柱４１の測距値が監視領域５０内であるため、侵入画素（黒：１）が有る。露光大の侵入判定画像♯４では、黒色三角柱４１の一部の測距値のみが有効であるが、黒色三角柱４１の測距値が監視領域５０内でないため、侵入画素（黒：１）が無い。これら侵入判定画像♯１−♯４を論理和して侵入判定合成画像を生成すると、監視領域内に侵入した物体のサイズが確定する。

【0047】

図８は方式２の効果及び比較例を示す概念図である。ここでは、黒色三角柱４１の一部が監視領域内に侵入しており、黒色三角柱４１の侵入領域５１、５２が２種類の侵入判定画像♯３、♯４に分割されている場合を想定している。このとき、侵入領域５１、５２が２×７の画素領域５４、５５で構成され、規定画素群サイズが３×３の画素領域５３であったとする。距離画像♯３、♯４が生成された時点では、規定画素群サイズを侵入判定画像♯３、♯４から検出できないが、方式２の物体判定によれば、侵入判定画像♯３、♯４を論理和した侵入判定合成画像を生成しているため、監視領域内に侵入した物体のサイズが確定する。即ち、侵入判定合成画像から規定画素群サイズ（３×３の画素領域５３）を検出できるため、侵入物体が複数種類の撮像モードの侵入判定画像に分割して検出されるようなケースが発生した場合であっても、侵入物体の見逃しを防止できる。

【0048】

＜方式３＞
図１を再び参照して、方式３における物体監視システム１の構成を説明する。方式３では、コンピュータ装置２０がさらに、第２メモリ２９と、無効判定合成部３０と、統合判定合成部３１と、を備えている。第２メモリ２９は、距離画像が撮像モード毎に生成される度に、距離画像内の各画素の測距値が無効であるか否かの判定結果（例えば黒：１：測距無効画素、白：０：測距有効画素）を無効判定画像として記憶する。

【0049】

無効判定合成部３０は、規定数の無効判定画像を論理積して無効判定合成画像を生成する。規定数や合成対象の無効判定画像については、方式２で説明したものと同一であるため、説明を省略する。

【0050】

統合判定合成部３１は、侵入判定合成画像及び無効判定合成画像を論理和して統合判定合成画像を生成する。物体サイズ検出部２８は、距離画像が撮像モード毎に生成される度に、統合判定合成画像から規定画素群サイズを検出する。規定画素群サイズは、方式２で説明したものと同一であるため、説明を省略する。統合判定合成画像から規定画素群サイズを検出した場合には、物体サイズ検出部２８が信号出力部２５に作用して物体検知信号を出力する。

【0051】

方式３の実施例について説明する。本例では、方式１と同じく、図３に示すように特定反射率の物体のうち白色円柱４０の一部及び黒色三角柱４１の一部が監視領域５０の中に侵入し続けている場合を想定する。このとき、図９に示すように測距装置が４種類の撮像モード♯１−♯４を含む撮像周期を繰返しながら距離画像♯１−♯４、対応する侵入判定画像♯１−♯４、及び対応する無効判定画像♯１−♯４を生成したとする。露光小の無効判定画像♯１では、再帰反射板４２以外の領域が測距無効画素（黒：１）である。露光中小の無効判定画像♯２では、白色円柱４０及び背景板４３以外の領域が測距無効画素（黒：１）である。

【0052】

露光中大の無効判定画像♯３では、白色円柱４０の一部、黒色三角柱４１の一部、及び背景板４３以外の領域が測距無効画素（黒：１）である。露光大の無効判定画像♯４では、黒色三角柱４１の一部以外の領域が測距無効画素（黒：１）である。これら無効判定画像♯１−♯４を論理積して無効判定合成画像を生成すると、本来の測距無効画素が確定する。

【0053】

方式３の効果について説明する。一般的に物体監視システム１は、監視領域を眺望する画素が測距無効となった場合、安全装置として物体有りとみなして物体検知信号を出力する（即ちフェイルセーフを行う）。しかし、所望のダイナミックレンジを確保するために多重撮像を行うことから、撮像モード毎に取得した個々の距離画像には当然ながら測距無効である画素が多く含まれている場合がある。従って、監視領域を眺望する画素が測距無効だからといって物体検知信号を出力してしまうと、誤検知になる可能性が高く、フェイルセールの本来の効果が実現できない。方式３の物体判定によれば、所望のダイナミックレンジを満たす撮像モード数分の無効判定画像を論理積して無効判定合成画像を生成しているため、無効判定合成画像上の測距無効画素は、撮像周期が一巡しても一度も測距値が有効にならなかった画素を示すことになり、これにより監視領域内の本来の測距無効画素を特定することが可能になる。さらに、侵入判定合成画像と無効判定合成画像とを論理和した統合判定合成画像を生成しているため、例えば、作業者の作業着等において、物体監視システムの仕様として定めた範囲内の反射特性を有する部分と、範囲外の反射特性を有する部分とがあって、侵入判定合成画像と無効判定合成画像とに夫々分割して出現する場合であっても、１つの物体（作業着）として規定画素群サイズの検出が可能になる。即ち、監視領域内への物体侵入状況と測距無効状況とを正しく検出し、測距無効が発生した場合であっても、物体有りとみなして１つの物体検知信号でロボットや工作機械等の危険源を安全サイドに制御することが可能になる。

【0054】

＜方式３’＞
図１を再び参照して、方式３の変形例である方式３’について説明する。方式３’では、コンピュータ装置２０がさらに無効画素群サイズ判定部３２を備えている。無効画素群サイズ判定部３２は、無効判定合成画像から測距無効を示す画素群の画像上のサイズが規定無効画素群サイズ（例えば１画素や２×２の画素領域）以上か否かを判定する。規定無効画素群サイズの画素領域があると判定された場合には、無効画素群サイズ判定部３２が信号出力部２５に作用して無効検出信号を出力する。規定無効画素群サイズは、前述の規定画素群サイズと同様に、あらゆる形状が想定されるが、規定画素群サイズより小さいサイズとすることにより、監視領域に対する物体検知には至らないまでも測距無効が検出されていることを通知できる。これにより物体監視システムの使用者は、測距無効となる原因の除去等の方策を実施することができる。

【0055】

前述したコンピュータ装置２０の構成要素は、ＣＰＵ等で実行されるプログラムとして構成されてもよい。斯かるプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ−ＲＯＭ等に記録して提供できる。

【0056】

本明細書において種々の実施形態について説明したが、本発明は、前述した実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

【符号の説明】

【0057】

１ 物体監視システム
１０ 測距装置
１１ 入出力部
１２ 発光撮像制御部
１３ 照射部
１４ 受光部
１５ Ａ／Ｄ変換部
１６ 距離画像生成部
１７ 精度算出部
２０ コンピュータ装置
２１ 設定メモリ
２２ 入出力部
２３ 有効判定部
２４ 侵入判定部
２５ 信号出力部
２６ 第１メモリ
２７ 侵入判定合成部
２８ 物体サイズ検出部
２９ 第２メモリ
３０ 無効判定合成部
３１ 統合判定合成部
３２ 無効画素群サイズ判定部
４０ 白色円柱
４１ 黒色三角柱
４２ 再帰反射板
４３ 背景板
５０ 監視領域
５１、５２ 黒色三角柱の侵入領域
５３ ３×３の画素領域
５４、５５ ２×７の画素領域
６０ 低反射率の物体
６１ ＴＯＦカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】