特許 7043968 監視システムおよび監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-22

(45)【発行日】2022-03-30

(54)【発明の名称】監視システムおよび監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220323BHJP

   G08B 21/02 20060101ALI20220323BHJP

   G08B 25/00 20060101ALI20220323BHJP

   G08B 25/04 20060101ALI20220323BHJP

   G01S 17/42 20060101ALI20220323BHJP

   G01S 17/93 20200101ALI20220323BHJP

   G01S 17/50 20060101ALI20220323BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 N

G08B21/02

G08B25/00 510M

G08B25/04 E

G01S17/42

G01S17/93

G01S17/50

【請求項の数】 16

(21)【出願番号】P 2018093661

(22)【出願日】2018-05-15

(65)【公開番号】P2019201268

(43)【公開日】2019-11-21

【審査請求日】2020-12-23

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】八田国際特許業務法人

(72)【発明者】

【氏名】石川 亮太

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１６－１１８９１９（ＪＰ，Ａ）

【文献】特開２０１４－１４０９２０（ＪＰ，Ａ）

【文献】特開平１１－３３９７５（ＪＰ，Ａ）

【文献】特開平５－２６１６９２（ＪＰ，Ａ）

【文献】特開２０１３－１０１６１（ＪＰ，Ａ）

【文献】特開２００２－２６４０７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２１／００－３１／００

Ｇ０１Ｓ １７／００

Ｂ２５Ｊ １９／０６

(57)【特許請求の範囲】

【請求項1】

監視対象となる領域内において、あらかじめ決められた特定物体の周囲を監視する監視システムであって、
前記領域に向けてレーザー光を走査することによって得られた距離値の分布が示された距離画像を出力する距離画像取得部と、
前記領域内における前記特定物体の移動を検出して、
前記距離画像取得部から取得した前記距離画像内に、前記特定物体を含むようにあらかじめ決められた範囲に警報領域を設定し、前記距離画像から前記特定物体とは異なる他の物体を検出して、検出した前記他の物体が前記警報領域に存在する場合に警報信号を出力する制御部と、
を有する、監視システム。

【請求項2】

前記特定物体の特徴量をあらかじめ記憶した第１記憶部を、さらに有し、
前記制御部は、前記距離画像取得部から取得した前記距離画像から物体を検出した場合に、検出した当該物体の特徴量を求めて、検出した当該物体の特徴量と前記第１記憶部に記憶している前記特定物体の特徴量とを比較して前記特定物体を検出し、
前記距離画像取得部から時系列に取得した前記距離画像から前記特定物体の移動を検出する、請求項１に記載の監視システム。

【請求項3】

前記距離画像取得部と近接した位置に設置され、前記領域を前記距離画像取得部とほぼ同じ方向から撮影して、前記領域の温度分布を検出した赤外線画像を出力するサーマルカメラを、さらに有し、
前記制御部は、前記サーマルカメラから取得した赤外線画像のなかで所定温度以上の部分を検出し、かつ、前記部分に対応する方向に、前記距離画像取得部から取得した前記距離画像に物体を検出することにより、前記特定物体を検出し、
前記距離画像取得部から時系列に取得した複数の前記距離画像から前記特定物体の移動を検出する、請求項１に記載の監視システム。

【請求項4】

前記制御部は、前記距離画像取得部から時系列に取得した複数の前記距離画像から移動している前記特定物体の位置を検出し、
前記警報領域を前記特定物体の位置に合わせて移動する、請求項２または３に記載の監視システム。

【請求項5】

前記制御部が設定する前記警報領域は、前記特定物体の移動方向前方の広さが前記特定物体の移動方向後方の広さより広い、請求項４に記載の監視システム。

【請求項6】

第２記憶部を、さらに有し、
前記制御部は、
前記他の物体が前記警報領域に存在すると判断した時点の前記距離画像を前記第２記憶部へ記憶する、請求項１～５のいずれか１つに記載の監視システム。

【請求項7】

前記距離画像を一時的に記憶する一時記憶部を、さらに有し、
前記制御部は、
前記距離画像取得部から時系列に取得した複数の前記距離画像を前記一時記憶部に、あらかじめ決められた時間分一時記憶し、
前記他の物体が前記警報領域に存在すると判断した時点の前記距離画像と共に、前記他の物体が前記警報領域に存在すると判断した時点までの前記一時記憶部に記憶されている過去の前記距離画像を前記第２記憶部へ記憶する、請求項６に記載の監視システム。

【請求項8】

第２記憶部と、
前記領域を撮影し可視光画像を出力する可視光カメラ、または、前記領域の温度分布を検出して赤外線画像を出力するサーマルカメラと、を有し、
前記制御部は、
前記他の物体が前記警報領域に存在すると判断した時点、または前記時点を含む所定の時間分の時系列の前記可視光画像、または前記赤外線画像を前記第２記憶部へ記憶する、請求項１～５のいずれか１つに記載の監視システム。

【請求項9】

監視対象となる領域に向けてレーザー光を走査することによって得られた距離値の分布が示された距離画像を出力する距離画像取得部を有した監視システムを用い、前記領域内において、あらかじめ決められた特定物体の周囲を監視する監視方法であって、
前記領域内における前記特定物体の移動を検出する段階（ａ）と、
前記距離画像取得部から取得した前記距離画像内に、前記特定物体を含むようにあらかじめ決められた範囲に警報領域を設定する段階（ｂ）と、
前記距離画像から前記特定物体とは異なる他の物体を検出して、検出した前記他の物体が前記警報領域に存在する場合に警報する段階（ｃ）と、
を有する監視方法。

【請求項10】

前記監視システムは、前記特定物体の特徴量をあらかじめ記憶した第１記憶部を有しており、
前記段階（ａ）は、前記距離画像取得部から取得した前記距離画像から物体を検出した場合に、検出した当該物体の特徴量を求めて、検出した当該物体の特徴量と前記第１記憶部に記憶している前記特定物体の特徴量とを比較して前記特定物体を検出する段階（ｄ１）と、
前記距離画像取得部から時系列に取得した前記距離画像から前記特定物体の移動を検出する段階（ｄ２）と、
を有する、請求項９に記載の監視方法。

【請求項11】

前記監視システムは、前記距離画像取得部と近接した位置に設置され、前記領域を前記距離画像取得部とほぼ同じ方向から撮影して、前記領域の温度分布を検出した赤外線画像を出力するサーマルカメラを、さらに有し、を有しており、
前記段階（ａ）は、前記サーマルカメラから取得した赤外線画像のなかで所定温度以上の部分を検出し、かつ、前記部分に対応する方向に、前記距離画像取得部から取得した前記距離画像に物体を検出することにより、前記特定物体を検出する段階（ｅ１）と、
前記距離画像取得部から時系列に取得した複数の前記距離画像から前記特定物体の移動を検出する段階（ｅ２）と、を有する、請求項９に記載の監視方法。

【請求項12】

前記距離画像取得部から時系列に取得した複数の前記距離画像から移動している前記特定物体の位置を検出し、
前記警報領域を前記特定物体の位置に合わせて移動する段階（ｆ）を有する、請求項１０または１１に記載の監視方法。

【請求項13】

前記警報領域は、前記特定物体の移動方向前方の広さが前記特定物体の移動方向後方の広さより広い、請求項１２に記載の監視方法。

【請求項14】

前記監視システムは、第２記憶部を有しており、
前記段階（ｃ）において前記他の物体が前記警報領域に存在すると判断した時点の前記距離画像を前記第２記憶部に記憶させる段階（ｇ）を有する、請求項９～１３のいずれか１つに記載の監視方法。

【請求項15】

前記監視システムは、前記距離画像を一時的に記憶する一時記憶部を有しており、
前記距離画像取得部から時系列に取得した複数の前記距離画像を前記一時記憶部に、あらかじめ決められた時間分一時記憶させる段階（ｈ）と、
前記段階（ｇ）において前記他の物体が前記警報領域に存在すると判断した時点の前記距離画像と共に、前記他の物体が前記警報領域に存在すると判断した時点までの前記一時記憶部に記憶されている過去の前記距離画像を前記第２記憶部に記憶させる段階（ｉ）を有する、請求項１４に記載の監視方法。

【請求項16】

前記監視システムは、第２記憶部と、前記領域を撮影し可視光画像を出力する可視光カメラ、または、前記領域の温度分布を検出して赤外線画像を出力するサーマルカメラと、を有し、
前記他の物体が前記警報領域に存在すると判断した時点、または前記時点を含む所定の時間分の時系列の前記可視光画像、または前記赤外線画像を前記第２記憶部へ記憶する段階（ｊ）を有する、請求項９～１３のいずれか１つに記載の監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システムおよび監視方法に関する。

【背景技術】

【0002】

所定作業領域内の安全を確保する従来の技術の一つに、所定作業領域内を移動しつつ監視作業を行う作業用ロボットがある。この従来技術における作業用ロボットは、所定作業領域を含む３次元マップと、現在地周囲の立体的形状データを取得可能な周囲データ取得センサーとを有している。そして、作業用ロボットが作業領域内を移動して、周囲データ取得センサーにより得られた立体的形状データと３次元マップのデータとを対比して両データの一致点を見出し、３次元マップ上における自身（作業用ロボット）の移動中の現在位置を決定している。

【0003】

また、この作業用ロボットは、移動中の現在地雰囲気の物理量として、温度、放射線、有害物質および可燃性ガスなどを検出することもでき、これらの物理量が基準値を外れた場所があれば、その場所を３次元マップ上で特定して警報する。物理量として温度を検出する場合には、人が触れても害のない範囲を基準値の範囲と設定しておいて、基準値の範囲から外れる温度を検出した場合に、表示手段に映している３次元マップ上で、そのような温度を検出した位置を点滅させるなどの警報を行っている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１０２８８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、作業用ロボットが行っていない場所は、物理量を計測できない。また、物理量は空間の温度などであり、基準値を外れる温度の原因となるような物体そのものの位置は検出できない。このため、所定作業領域内であっても作業用ロボットが行っていない場所では、空間の物理量が基準値を超えていても警報できない。また、そのような原因となる物体やそのような物体の移動も検出できない。

【0006】

そこで、本発明の目的は、監視対象とする領域全体をカバーして、その領域のなかにある、あらかじめ決められた物体（特定物体）を検出すると共に、その物体が移動して周囲に接近する人や物がないか否かを監視することのできる監視システム、および監視方法を提供することである。

【課題を解決するための手段】

【0007】

上記の目的は、以下の手段により達成される。

【0008】

（１）監視対象となる領域内において、あらかじめ決められた特定物体の周囲を監視する監視システムであって、
前記領域に向けてレーザー光を走査することによって得られた距離値の分布が示された距離画像を出力する距離画像取得部と、
前記領域内における前記特定物体の移動を検出して、
前記距離画像取得部から取得した前記距離画像内に、前記特定物体を含むようにあらかじめ決められた範囲に警報領域を設定し、前記距離画像から前記特定物体とは異なる他の物体を検出して、検出した前記他の物体が前記警報領域に存在する場合に警報信号を出力する制御部と、
を有する、監視システム。

【0009】

（２）前記特定物体の特徴量をあらかじめ記憶した第１記憶部を、さらに有し、
前記制御部は、前記距離画像取得部から取得した前記距離画像から物体を検出した場合に、検出した当該物体の特徴量を求めて、検出した当該物体の特徴量と前記第１記憶部に記憶している前記特定物体の特徴量とを比較して前記特定物体を検出し、
前記距離画像取得部から時系列に取得した前記距離画像から前記特定物体の移動を検出する、上記（１）に記載の監視システム。

【0010】

（３）前記距離画像取得部と近接した位置に設置され、前記領域を前記距離画像取得部とほぼ同じ方向から撮影して、前記領域の温度分布を検出した赤外線画像を出力するサーマルカメラを、さらに有し、
前記制御部は、前記サーマルカメラから取得した赤外線画像のなかで所定温度以上の部分を検出し、かつ、前記部分に対応する方向に、前記距離画像取得部から取得した前記距離画像に物体を検出することにより、前記特定物体を検出し、
前記距離画像取得部から時系列に取得した複数の前記距離画像から前記特定物体の移動を検出する、上記（１）に記載の監視システム。

【0011】

（４）前記制御部は、前記距離画像取得部から時系列に取得した複数の前記距離画像から移動している前記特定物体の位置を検出し、
前記警報領域を前記特定物体の位置に合わせて移動する、上記（２）または（３）に記載の監視システム。

【0012】

（５）前記制御部が設定する前記警報領域は、前記特定物体の移動方向前方の広さが前記特定物体の移動方向後方の広さより広い、上記（４）に記載の監視システム。

【0013】

（６）第２記憶部を、さらに有し、
前記制御部は、
前記他の物体が前記警報領域に存在すると判断した時点の前記距離画像を前記第２記憶部へ記憶する、上記（１）～（５）のいずれか１つに記載の監視システム。

【0014】

（７）前記距離画像を一時的に記憶する一時記憶部を、さらに有し、
前記制御部は、
前記距離画像取得部から時系列に取得した複数の前記距離画像を前記一時記憶部に、あらかじめ決められた時間分一時記憶し、
前記他の物体が前記警報領域に存在すると判断した時点の前記距離画像と共に、前記他の物体が前記警報領域に存在すると判断した時点までの前記一時記憶部に記憶されている過去の前記距離画像を前記第２記憶部へ記憶する、上記（６）に記載の監視システム。

【0015】

（８）第２記憶部と、
前記領域を撮影し可視光画像を出力する可視光カメラ、または、前記領域の温度分布を検出して赤外線画像を出力するサーマルカメラと、を有し、
前記制御部は、
前記他の物体が前記警報領域に存在すると判断した時点、または前記時点を含む所定の時間分の時系列の前記可視光画像、または前記赤外線画像を前記第２記憶部へ記憶する上記（１）～（５）のいずれか１つに記載の監視システム。

【0016】

（９）監視対象となる領域に向けてレーザー光を走査することによって得られた距離値の分布が示された距離画像を出力する距離画像取得部を有した監視システムを用い、前記領域内において、あらかじめ決められた特定物体の周囲を監視する監視方法であって、
前記領域内における前記特定物体の移動を検出する段階（ａ）と、
前記距離画像取得部から取得した前記距離画像内に、前記特定物体を含むあらかじめ決められた範囲に警報領域を設定する段階（ｂ）と、
前記距離画像から前記特定物体とは異なる他の物体を検出して、検出した前記他の物体が前記警報領域に存在する場合に警報する段階（ｃ）と、
を有する監視方法。

【0017】

（１０）前記監視システムは、前記特定物体の特徴量をあらかじめ記憶した第１記憶部を有しており、
前記段階（ａ）は、前記距離画像取得部から取得した前記距離画像から物体を検出した場合に、検出した当該物体の特徴量を求めて、検出した当該物体の特徴量と前記第１記憶部に記憶している前記特定物体の特徴量とを比較して前記特定物体を検出する段階（ｄ１）と、
前記距離画像取得部から時系列に取得した前記距離画像から前記特定物体の移動を検出する段階（ｄ２）と、
を有する、上記（９）に記載の監視方法。

【0018】

（１１）前記監視システムは、前記距離画像取得部と近接した位置に設置され、前記領域を前記距離画像取得部とほぼ同じ方向から撮影して、前記領域の温度分布を検出した赤外線画像を出力するサーマルカメラを、さらに有し、を有しており、
前記段階（ａ）は、前記サーマルカメラから取得した赤外線画像のなかで所定温度以上の部分を検出し、かつ、前記部分に対応する方向に、前記距離画像取得部から取得した前記距離画像に物体を検出することにより、前記特定物体を検出する段階（ｅ１）と、
前記距離画像取得部から時系列に取得した複数の前記距離画像から前記特定物体の移動を検出する段階（ｅ２）と、を有する、上記（９）に記載の監視方法。

【0019】

（１２）前記距離画像取得部から時系列に取得した複数の前記距離画像から移動している前記特定物体の位置を検出し、
前記警報領域を前記特定物体の位置に合わせて移動する段階（ｆ）を有する、上記（１０）または（１１）に記載の監視方法。

【0020】

（１３）前記警報領域は、前記特定物体の移動方向前方の広さが前記特定物体の移動方向後方の広さより広い、上記（１２）に記載の監視方法。

【0021】

（１４）前記監視システムは、第２記憶部を有しており、
前記段階（ｃ）において前記他の物体が前記警報領域に存在すると判断した時点の前記距離画像を前記第２記憶部に記憶させる段階（ｇ）を有する、上記（９）～（１３）のいずれか１つに記載の監視方法。

【0022】

（１５）前記監視システムは、前記距離画像を一時的に記憶する一時記憶部を有しており、
前記距離画像取得部から時系列に取得した複数の前記距離画像を前記一時記憶部に、あらかじめ決められた時間分一時記憶させる段階（ｈ）と、
前記段階（ｇ）において前記他の物体が前記警報領域に存在すると判断した時点の前記距離画像と共に、前記他の物体が前記警報領域に存在すると判断した時点までの前記一時記憶部に記憶されている過去の前記距離画像を前記第２記憶部に記憶させる段階（ｉ）を有する、上記（１４）に記載の監視方法。

【0023】

（１６）前記監視システムは、第２記憶部と、前記領域を撮影し可視光画像を出力する可視光カメラ、または、前記領域の温度分布を検出して赤外線画像を出力するサーマルカメラと、をさらに有し、
前記他の物体が前記警報領域に存在すると判断した時点、または前記時点を含む所定の時間分の時系列の前記可視光画像、または前記赤外線画像を前記第２記憶部へ記憶する段階（ｊ）を有する、上記（９）～（１３）のいずれか１つに記載の監視方法。

【発明の効果】

【0024】

本発明によれば、監視対象となる領域内で、周囲を監視する必要のある特定物体の移動を検出して、特定物体を含むように警報領域を設定する。そして、距離画像取得部により得られた距離画像から警報領域内に他の物体が存在するか否かを判断して警報信号を出すこととした。このため、監視対象の領域全体を一度に監視できると共に、そのなかに周囲に危険を及ぼすような特定物体があればその周囲に設けた警報領域内に人などの他の物体が入れば、警報を発することができる。

【図面の簡単な説明】

【0025】

【図1】実施形態１の監視システムの構成を示すブロック図である。

【図2】実施形態１の監視動作の処理手順を示すフローチャートである。

【図3】警報領域の一例を説明するための監視領域全体を見渡す概略図である。

【図4】警報領域の他の例を説明するための監視領域全体を見渡す概略図である。

【図5】警報領域設定後の表示例を示す画面例図である。

【図6】警報領域に他の物体が入った状況を説明するための監視領域全体を見渡す概略図である。

【図7】実施形態２の監視システムの構成を示すブロック図である。

【図8】実施形態２の監視システムの構成を説明するための監視領域全体を見渡す概略図である。

【図9】実施形態２の監視動作の処理手順を示すフローチャートである。

【図10】図９に続く実施形態２の監視動作の処理手順を示すフローチャートである。

【図11】実施形態２のサーマルカメラによる赤外線画像例を示す図である。

【図12】実施形態２のライダーによる距離画像例を示す図である。

【図13】変形例として可視光により物体を撮影するムービーカメラを設置した場合の監視システムの構成を示すブロック図である。

【発明を実施するための形態】

【0026】

以下、添付した図面を参照しながら、本発明の実施形態を説明する。本発明は以下の実施形態には限定されない。なお、図面の説明において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面は、本発明の理解を容易にすることを目的として作成しているため、誇張して記載されており、図面の寸法比率などは実際の寸法比率とは異なる場合がある。

【0027】

（実施形態１）
図１は、実施形態１の監視システムの構成を示すブロック図である。

【0028】

監視システム１００は、ライダー１１０、制御部１２０、ディスプレイ１３０、および警報器１４０を有する。ライダー１１０は、監視対象とする領域全体を走査し、領域内の物体（たとえば、周囲を監視する特定物体のほか、人、車両、その他の物などの特定物体とは異なる他の物体など）をとらえることができる位置に設置される。

【0029】

ライダー１１０（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）は、監視対象となる領域の空間に向けてレーザー光を走査してその反射光から走査する空間内に存在する物体までの距離を計測する。得られた距離値の分布を点群データとも称しており、ライダー１１０の設置位置から物体までの距離、および物体の大きさや形がわかる。ライダー１１０がレーザー光を１フレーム分走査することによって、その空間に存在する物体までの距離、または反射光がない部分では無限遠の距離となる距離値の分布からなる画像が得られる。このようなライダー１１０から出力される距離値が１フレーム分で距離画像となる（ライダー画像と称されることもある）。ライダー１１０単体で距離画像取得部として機能し、距離画像はライダー１１０が自ら走査して得られた物体までの距離値から作成して、ライダー１１０から距離画像を出力するようにしてもよい。また、ライダー１１０および制御部１２０が距離画像取得部として機能してもよい。この場合、ライダー１１０からは距離値のデータが出力されて、それを受信した制御部１２０が距離画像を作成する。なお、このような距離画像は、３次元座標系の画像として作成する。

【0030】

本実施形態では、以下、ライダー１１０が距離値から距離画像を作成して、制御部１２０へ出力する形態として説明する。もちろん、後述する処理手順においては、制御部１２０がライダー１１０から距離値を取得して、その距離値から距離画像を作成した場合も同じ処理となる。

【0031】

ライダー１１０は、赤外線レーザーを使用している。このライダー１１０に用いるレーザー光は、後述する溶銑を運ぶような作業場所を監視する場合、８００～１０００ｎｍの波長を用いることが好ましい。これは、溶銑のような高温物体の場合、溶銑鍋（取鍋）に入れても赤外線が放出されている（溶銑鍋の上は開放されている）。このため、このような高温の物体が放射している赤外線波長とライダーで使用しているレーザー光の波長がかぶってしまうと、誤検出を起こす可能性がある。ちなみに、溶銑の温度は１２００～１５００℃程度であり、これを入れた溶銑鍋外壁の温度は２５０℃程度となっている。そして、１０００～１５００℃（１２７３～１７７３Ｋ）における黒体放射エネルギーのピーク波長は２２７８～１６３６ｎｍである。したがって、８００～１０００ｎｍの波長のレーザー光を用いることで、可視光波長とならず、かつ、高温の物体からの放射エネルギーのピーク波長ともかぶらないので、誤検出を防止することができる。もちろん、ライダー１１０で用いるレーザー光の波長は、特定物体の放射エネルギーの波長などに応じて設定するとよい。

【0032】

ライダー１１０は、たとえば、１０フレーム／秒程度の走査間隔である。この走査間隔は任意に設定してもよい。

【0033】

この距離画像（フレーム）を時系列に複数並べることで動画となる。

【0034】

制御部１２０はコンピューターである。制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２４などを有する。ＣＰＵ１２１は、ＨＤＤ１２４から処理内容に応じたプログラムを呼び出して、ライダー１１０の動作を制御すると共に、物体の３次元位置の検知、物体の温度、警報動作、温度情報の表示などを行う。ＨＤＤ１２４はＲＡＭ１２３と共に記憶部となり、各処理に必要なプログラムやデータなどを記憶している。なお、図１ではＨＤＤ１２４を用いているが、ＨＤＤ１２４に代えて、たとえばフラッシュメモリーなどの不揮発性の半導体メモリーを使用してもよい。

【0035】

制御部１２０は、タッチパネル、ボタン、マウスなどの入力装置１２５、およびたとえばサーバー等の外部機器を接続するためのネットワークインターフェース１２６（ＮＩＦ：Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ）を有する。

【0036】

ディスプレイ１３０は、制御部１２０からの画像信号によって距離画像やその他の情報を表示する。本実施形態ではディスプレイ１３０をたとえば工場の監視ルームに設置するために制御部１２０とは分離させて設けることができる。制御部１２０と一体化させてもよい。また、ディスプレイ１３０と警報器１４０も、監視する環境によっては一体化させてもよい。

【0037】

警報器１４０は、たとえば、音、フラッシュライトや回転灯などの光、その他人が認知できるような方法で警報を発する。なお、警報器１４０に代えて、他の処理を行わせるようにしてもよい。他の処理とは、たとえばロボット、工作機械、搬送車などの自動機械の停止がある。

【0038】

また、制御部１２０は、専用のコンピューターではなく汎用のコンピューターを用いてもよい。また、ライダー１１０および制御部１２０が一体化されていてもよい。また、制御部１２０は、ここではＣＰＵやＲＡＭ、ＲＯＭを主体とした形態として示したが、たとえば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの集積回路で構成してもよい。

【0039】

監視システム１００の動作を説明する。図２は、制御部１２０による監視動作の処理手順を示すフローチャートである。以下の説明において現在フレームとは現在時点で取得したフレームをいい、前フレームとは、時系列的に現在フレームに対して１つ前のフレームをいう。なお、この手順は、繰り返し処理を含むため、説明の都合上、後から行われる段階の処理の結果を使用した処理を先に説明することがある。

【0040】

まず、制御部１２０は、ライダー１１０から現在時点の１フレーム分の距離画像を取得する（Ｓ１１）。ここで取得した距離画像はあらかじめ決められた時間分、ＲＡＭ１２３またはＨＤＤ１２４に一時記憶する。一時記憶した距離画像はあらかじめ決められた時間が経過した順に消去してもよく、記憶容量が足りなくなったときに古い方から順に消去してもよい。一時記憶しておく時間は、たとえば数秒。数分、数時間、数日、数週間、数か月分など記憶装置の容量と必要性にかんがみて任意に決めればよい。記憶先についても、数秒～数分であればＲＡＭ１２３で可能な場合もあるが、さらに長い時間記憶しておく場合は、一時記憶であってもＨＤＤ１２４などの大容量メモリーにするとよい。このように過去の距離画像を一時的に記憶しているＲＡＭ１２３またはＨＤＤ１２４は一時記憶部となる。

【0041】

続いて、制御部１２０は、背景差分法を用いて、距離画像内で検出される物体を検出してクラスタリングする（Ｓ１２）。背景差分法は周知のように、あらかじめ背景画像として登録してある画像と、取得したフレームの画像（ここではＳ１１で取得したフレームの距離画像）を比較して、背景画像と異なる部分があれば、その部分を新たに出現した物体として検出する。背景画像は、たとえば、ライダー１１０によって走査する領域内に、物体がない状態で走査して取得した距離画像である。このような背景画像は、たとえばＨＤＤ１２４に記憶して、ＲＡＭ１２３に読み出して使用する。

【0042】

クラスタリングは、検出した物体をその後の処理において追跡するためであり、周知の方法を用いることができる。クラスタリングは、たとえば距離画像に設定される３次元座標系から、検出した物体までの距離値を特徴量として、一塊のクラスターにしてもよい。また、３次元座標系における座標値から物体の大きさ（３次元座標系におけるＸ，Ｙ，Ｚ各軸方向の物体の長さ、または面積）などを特徴量として一塊のクラスターにしてもよい。そのうえで、これら特徴量と共に、クラスターの位置として、たとえば、クラスター中心の座標値やクラスター外形線の座標値などをＲＡＭ１２３に一時記憶する。一時記憶した物体の位置（クラスターの座標値）は、距離画像同様にあらかじめ決められた時間分一時記憶する。なお、距離画像に設定される３次元座標系については後述する（図５）。

【0043】

続いて、制御部１２０は、クラスタリングされた物体について動体追跡を行う（Ｓ１３）。動体追跡は、現在フレームの距離画像でクラスタリングした物体と同じクラスターの物体が前フレームにあったか否かを検索する。そして、前フレームに同じクラスターの物体があれば、その物体の前フレームの位置（位置は座標値である、以下同様）と現在フレームの位置を比較して、その物体の現在位置と共に、移動距離、移動方向、および速度（速度は距離をフレーム間の時間で除することで得られる）を求める。これにより、物体ごとに、その位置と、移動距離、移動方向、および速度をＲＡＭ１２３に一時記憶する。ここでの一時記憶は、物体ごとの位置、移動距離、移動方向、および速度の算出に用いるため、少なくとも過去の１フレーム分は高速動作可能なメモリーであるＲＡＭ１２３に記憶することが好ましい。

【0044】

Ｓ１３において、前フレームには存在しないが現在フレームで検出された物体があれば、その物体は現在フレームにおいて出現した物体として、ＲＡＭ１２３に位置を記憶する。

【0045】

物体の移動距離、移動方向、および速度を使った処理については後述するが、これらを使用しなければ、クラスタリングと共に現在フレームにおける物体の３次元座標系の座標値（位置）を求めるだけでもよい。

【0046】

また、たとえば、Ｓ１３で動体として検出されている物体に対しては、物体に沿って物体を囲む枠線ｆｂ（図５参照）や印を付けて、ディスプレイ１３０に表示してもよい。これによりディスプレイで表示される物体がわかりやすくなる。

【0047】

続いて、制御部１２０は、Ｓ１２で検出した物体が特定物体か否かを判断する（Ｓ１４）。特定物体は、その物体に人や他の物が近付くことが危険であるような物体である。たとえば、後述する溶銑鍋のように、人より大きな物体である。人より大きな物体が移動すると、衝突の危険がある。また、溶銑鍋は高温の物体である。このためその周囲に近付くことも危険な物体である。

【0048】

特定物体か否かの判断は、あらかじめ特定物体の特徴量をＲＡＭ１２３に記憶しておき、検出した物体の特徴量と比較して、同じか否かを判断する。あらかじめ記憶しておく特定物体の特徴量は、前述したとおりクラスターの特徴量であり、たとえば、検出した物体の画素数（距離値）、３次元座標系における物体の座標値から得られる大きさなどである。特定物体の特徴量はＨＤＤ１２４にあらかじめ記憶しておいて、処理が開始されることでＲＡＭ１２３へ読み出して使用する。このため、ＨＤＤ１２４は第１記憶部ということになる。なお、第１記憶部は、制御部１２０内ではなく、たとえば、制御部１２０からネットワーク（有線でも無線でもよい）で接続されたサーバーや管理部門に設置された他のコンピューターなどの記憶装置を利用してもよい。そのようにした場合、監視動作の処理開始と共にそれらの記憶装置からＲＡＭ１２３に特定物体の特徴量を読み出して使用する。この場合、制御部１２０に接続されたサーバーや他のコンピューターなどの記憶装置は、第１記憶部となって監視システムの一部ということになる。

【0049】

ここで、特定物体が存在しなければ（Ｓ１４：ＮＯ）、Ｓ１１へ戻る。なお、詳細は図示省略したが、Ｓ１２において物体が検出されない場合も、当然のことながらＳ１４はＮＯとなるので、Ｓ１１へ戻ることになる。また、Ｓ１４でＮＯと判断された場合は、後述する警報領域を設定したことを示すデータがあれば、クリアして警報領域が設定されてないことを示すようにしておく（これは後述するＳ１５の処理で必要となる）。

【0050】

制御部１２０は、特定物体を検出したなら（Ｓ１４：ＹＥＳ）、続いて、制御部１２０は警報領域が既に存在しているか否かを判断する（Ｓ１５）。警報領域の有無は、後述するＳ１６において警報領域を設定した際に記憶させる、警報領域が設定された旨のデータを確認することで判断する。ここで既に警報領域が設定されている場合はＳ２０へ進むことになる。Ｓ２０の処理は後述する。

【0051】

Ｓ１５において、警報領域が存在しなければ（Ｓ１５：ＮＯ）、続いて、制御部１２０は、特定物体の周囲に警報領域を設定する（Ｓ１６）。

【0052】

Ｓ１５において警報領域が存在していないということは、Ｓ１４の時点で初めて特定物体として検出されたということである。これは本実施形態の処理の流れから、Ｓ１３の段階で出現した物体ということでもある。したがって、このような特定物体は、領域内に元々あった特定物体が移動して背景画像との差異が生まれて検出されたか、または領域外から領域内に特定物体が移動してきたということである。このため、いずれの場合も、領域内において特定物体の移動を検出したということになる。

【0053】

ここで、警報領域について具体例を挙げて説明する。図３は警報領域の一例を説明するための監視領域全体を見渡す概略図である。

【0054】

図３の例は、製鉄所内の作業領域であり、高炉から溶銑（溶けた鉄）を溶銑鍋３００に取り出して、転炉へ運ぶ現場である。この作業領域では、高温の溶銑が入った溶銑鍋３００が移動する。溶銑鍋３００は、周知のように耐火煉瓦によって形成されている。このため溶銑鍋３００の外側はおおむね２００～３００℃程度である。これまで、溶銑鍋３００の移動中は、溶銑鍋３００の移動経路内およびその周辺の、あらかじめ決められた範囲内に人が入らないようにルール化して安全確保に努めている。しかし、溶銑鍋３００が移動していないときには、清掃やその他の作業のために溶銑鍋３００の移動経路内にも人が出入りする必要があるので、移動経路を囲う柵などは設けられていない。このため移動中の溶銑鍋３００に人が近付いてしまう可能性がある。

【0055】

図３において、ライダー１１０は、溶銑鍋３００の移動経路全体（監視領域全体）を走査できる位置に設置している。そして、制御部１２０は、溶銑鍋３００を特定物体として検出するために、ＲＡＭ１２３に溶銑鍋３００の特徴量を記憶させている。この溶銑鍋３００の特徴量は、たとえば、監視領域内に溶銑鍋３００が存在し、かつ他の物体がない状態で、ライダー１１０によって走査し、そのとき検出された物体をラスタライズし、特徴量を抽出する。これにより抽出した特徴量が溶銑鍋３００の特徴量となるので、これを特定物体の特徴量としてＨＤＤ１２４に記憶する。そして、処理開始時点で（この処理手順のスタート時）にＲＡＭ１２３に読み出して前述したＳ１４において特定物体の検出に使用する。

【0056】

図３の例では、溶銑鍋３００の移動経路３０１が含まれる範囲に警報領域５００を設定する。この警報領域５００を設定する範囲は、あらかじめ決められていて、ここでは溶銑鍋３００の移動経路３０１が含まれる範囲である。なお、たとえば、クレーンに釣られながら溶銑鍋３００が移動する移動経路３０１もあらかじめ決まっており、移動経路３０１が様々に変化することはない。もちろん、移動経路３０１が変更になった場合は、それ合わせて警報領域５００の設定範囲も変更する。

【0057】

警報領域５００はライダー１１０が走査する範囲の３次元座標系において、溶銑鍋３００から所定距離の範囲に、３次元的に設定される。所定距離は、溶銑鍋３００の場合、少なくとも溶銑鍋３００の放射熱による危害が及ぶ範囲である。移動経路３０１を上はもとより、移動経路３０１の両側、溶銑鍋３００がクレーンや上方のレールによる空中搬送の場合、溶銑鍋３００の下も含むように設定する。所定距離は危害が及ぶ範囲からさらに余裕を持った長さとすることもできる。

【0058】

さらに警報領域の他の例を説明する。図４は警報領域の他の例を説明するための監視領域全体を見渡す概略図である。

【0059】

図４の例は、溶銑鍋３００の移動に合わせて警報領域の範囲を変化させるものである。

【0060】

溶銑鍋３００の移動方向は、Ｓ１３の動体追跡の処理において判明する。図４の例は、設定する警報領域５０１の広さを、溶銑鍋３００の移動方向前方に広くし（移動方向前方に所定距離が長い）、溶銑鍋３００の移動方向後方は前方より狭くした（所定距離が短い）。そして、警報領域５０１は溶銑鍋３００の移動に合わせて、移動させる（後述Ｓ２０参照）。図４（ａ）はある時間ｔ１のときの溶銑鍋３００の位置とそれに合わせた警報領域５０１を示している。そして図４（ｂ）は、時間が経過した時間ｔ２のときの溶銑鍋３００の位置とそれに合わせた警報領域５０１を示している。このように、溶銑鍋３００の移動方向前方では、より広い範囲が設定されるため、仮に人がその方向にいた場合には、溶銑鍋３００が接近することになるので、いち早く警報を出すことができる。一方、溶銑鍋３００の移動方向後方では、所定距離を短くしても危険性は少ない。このため溶銑鍋３００の移動経路やその周辺における作業を、安全にかつより早くその作業に入ることができる。この場合の所定距離は、溶銑鍋３００の移動方向後方は、溶銑鍋３００の放射熱による危害が及ばない範囲とすることが好ましいが、溶銑鍋３００の移動方向前方は、溶銑鍋３００の放射熱による危害が及ばない範囲よりもさらに所定距離を長くすることが好ましい。

【0061】

この図４の例において警報領域５０１を設定する位置は、溶銑鍋３００の移動経路に合わせて、あらかじめ決めておいて、溶銑鍋３００の移動に合わせて警報領域５０１を移動させてもよい。しかし、これに限らず、溶銑鍋３００の移動経路があらかじめ設定されていない場合にも適用可能である。溶銑鍋３００の移動経路があらかじめ設定されていない場合は、警報領域５０１の範囲を溶銑鍋３００から移動方向前方に第１所定距離、移動方向後方に第２所定距離として設定しておく（ＲＡＭ１２３に記憶しておく）。そして、Ｓ１３の動体追跡で得られる特定物体の位置に合わせて警報領域５０１を移動させればよい（後述Ｓ２０参照）。

【0062】

図５は警報領域設定後の表示例を示す画面例図である。この画面は、Ｓ１１で取得した距離画像を元にしている。この画面は、ライダー１１０の設置位置を原点（０ｍ）とした３次元画像である。奥行きがＺ軸方向であり、Ｚ軸に直交する主走査方向がＸ軸、Ｚ軸およびＸ軸に直交する副走査方向がＹ軸である。

【0063】

この画面では、複数の他の物体ｏｂ１～３として人が存在している。これら他の物体ｏｂ１～３に対しては画面でわかりやすいように枠線ｆｂが付けられている。また、溶銑鍋３００（特定物体）があり、その周囲に設定された警報領域５００が表示されている。なお、図５では、上述した図３の例による警報領域５００としたが図４の例の警報領域５０１でも同様に表示される。

【0064】

フローチャートに戻り説明を続ける。警報領域の設定後、制御部１２０は、特定物体と異なる、他の物体（人や物など）が警報領域内にあるか否かを判断する（Ｓ１７）。この比較は、Ｓ１２でクラスタリングした物体（すなわち背景差分法で検出された物体）の、クラスターの外形の座標値と警報領域を示している座標値で囲まれた範囲を比較する。そして、他の物体のクラスターの外形の座標値が警報領域内に入っていれば、他の物体が警報領域内にあると判断する。

【0065】

ここで、他の物体が警報領域内にあると判断されなければ（Ｓ１７：ＮＯ）、Ｓ１１へ戻り、次のフレームの各画像を取得し、その後の処理を継続する。

【0066】

一方、他の物体が警報領域内にあると判断されたなら（Ｓ１７：ＹＥＳ）、制御部１２０は、警報器１４０に対して警報信号を出力する（Ｓ１８）。

【0067】

図６は警報領域に他の物体が入った状況を説明するための監視領域全体を見渡す概略図である。

【0068】

図６に示すように、警報領域５００に、他の物体である人６００が入ってしまっている。このような状況になると、Ｓ１８において警報信号が制御部１２０から出力される。これにより、警報信号を受信した警報器１４０から警報音が鳴る。またこのとき、ディスプレイ１３０に、警報領域内に入ったと判断された物体（または物体を囲む枠や印など）を点滅させたり、画面全体の色を変えたり、点滅させたり、さらには、警告文を表示したりする。これらによって視覚的にも警報が出されていることがわかる。また、警報器１４０と合わせて、回転灯を点灯させたり、色分けされた積層表示灯の色を青から赤に変化させたり、その他のランプを点灯や点滅させたりするなど、様々な警報動作を行ってもよい。また、警報器１４０からは、警報音だけでなく、音声による警告放送を流すようにしてもよい。また、警報器１４０は作業領域に向けた拡散警報だけではなく、たとえば、作業者は無線端末などを装着しているときは、無線端末から警報音や警告が出るようにしてもよい。この場合、作業者が装備している無線端末が警報器ということになる。さらには、警報信号が出力と共に上述した例の溶銑鍋３００の移動を停止させたり、作業場所を管理している管理部門に伝達したりしてもよい。

【0069】

さらに、Ｓ１７において、他の物体が警報領域内にあると判断された時点で、その時点から過去の一時記憶されている距離画像をＲＡＭ１２３（またはＨＤＤ１２４）から読み出す（データそのものを読み出すこと以外に、データそのものを読み出さずに該当するデータを特定したり、タグ付けすることなどを含む）。そして、読み出したデータ（または特定したデータなど）に、警報領域内に侵入した他の物体があることを示すタグを付けてＨＤＤ１２４に記憶し直す。なお、ＨＤＤ１２４に過去の距離画像を一時記憶している場合は、ＨＤＤ１２４内で記憶領域を変えて記憶し直してもよいし、タグ付けしたデータは一定時間が来ても消去しないことにしてもよい。また、サーバーや管理装置などへ転送するようにしてもよい。この場合、制御部１２０に接続されたサーバーや他のコンピューターなどの記憶装置は監視システムの一部ということになる。このような過去の距離画像を一時記憶から永続的（不揮発的）な記憶に変えて記憶する記憶装置（ＨＤＤ１２４やその他の記憶装置）は、第２記憶部となる（永続的な記憶とは、ここでは上記の一時記憶とは異なり一定時間が来ても消去されないという意味である）。

【0070】

このように、警報領域に侵入した物体がある場合に、その時点の距離画像と共に警報領域に侵入する前からの距離画像を記憶しておくことで、侵入経路がわかるようになる。このような侵入経路は、たとえば危険リスクの評価、分析などにも使用することができる。

【0071】

その後は、Ｓ１１へ戻り、処理を継続することになる。Ｓ１８からＳ１１へ戻って以降、特定物体が消失した場合（Ｓ１５：ＮＯとなった場合）、または、他の物体が警報領域から抜けた場合（Ｓ１８：ＮＯとなった場合）は、警報信号を止めるようにしてもよい。また、警報信号の出力後は、たとえば手動によって警報を切らない限り鳴り続けるようにしてもよい。

【0072】

Ｓ２０の処理を説明する。Ｓ２０では、前フレームまでで既に警報領域が設定されている状態である。しかも、その時点で取得されている現在フレームにおいて動体追跡（Ｓ１３）も行われている。このため、特定物体が動体であれば、その移動距離、方向、および速度がわかっている。そこで、Ｓ２０において制御部１２０は、上述した図４の例の場合のように特定物体の位置に合わせて警報領域を移動する。これには、前フレームまで設定されている警報領域の座標値を、特定物体の現在位置の座標値の移動に合わせて移動させる。これにより、前フレームまでで既に警報領域が設定されていたなら、特定物体の移動に合わせて警報領域を移動させるだけでよいので、移動のたびに警報領域を設定するよりは、計算が簡単になる（処理の高速化を図れる）。なお、図３の例のように、警報領域が固定されている場合には、Ｓ２０の処理は行わずに、Ｓ１５：ＹＥＳの場合、そのままＳ１７へ進むことになる。

【0073】

以上のようにして監視動作は、繰り返し処理として実行される。

【0074】

以上説明した実施形態１によれば、以下のような効果を奏する。

【0075】

実施形態１によれば、ライダーの距離画像から検出された物体のなかから、あらかじめ決められている特定物体の特徴量と、検出された物体の特徴量を比較することで、特定物体を検出し、その特定物体を時系列に並んだ複数の距離画像から動体追跡することで、特定物体の移動を検出する。そして、特定物体の移動が検出されたなら、特定物体を含むあらかじめ決められた範囲に警報領域を設定する。その後は、取得される距離画像において、警報領域に特定物体とは異なる他の物体があれば、警報を出す。これにより、特定物体に近付く他の物体を確実に検出して、警報することができる。たとえば、特定物体が人より大きな翁物体である場合には、大きな物体と人との衝突の可能性を警報することができる。また、特定物体が高温の物体の場合には、高温の物体の周囲に人が近付いたことを警報することができる。特に、本実施形態では、特定物体の移動を検出しているため、特定物体へ人などの他の物体の方から近付いて行く場合に限らず、人などの他の物体へ特定物体が近付いて行く場合にも警報を出すことができる。

【0076】

また、警報領域を設定することで、特定物体と他の物体との距離を、距離画像を取得するたびに計算する必要がなくなるので、処理を高速化することができる。

【0077】

また、移動している特定物体の位置に合わせて警報領域を移動させることで、警報領域を必要最小限にして、作業領域をできるだけ確保することができる。

【0078】

また、警報領域を設定する際に所定距離は、特定物体の移動方向前方が、後方より広く（前方方向へ長く）なるように設定する。これにより特定物体が接近してくる範囲ではいち早く警報を出し、特定物体が遠ざかる範囲では安全性を確保したうえで早く作業に入れるようになる。

【0079】

また、警報領域に侵入した他の物体があると判断した場合には、そのことを示すタグを付けて過去の距離画像を記憶することとした。これにより、侵入経路がわかるようになるので、たとえば危険リスクの評価、分析などにも使用することができる。

【0080】

また、特定物体は、あらかじめＲＡＭ１２３などに記憶させておいた特定物体の特徴量と、現時点で取得した距離画像から検出された物体の特徴量とを比較することで検出している。このため、特定物体の検出に他のセンサーを使用する必要がないので、装置コストを低減することができる。

【0081】

また、ライダー１１０の距離画像から物体を検出し、その特徴量に基づいて特定物体として警報を出せるに、監視している。このため、たとえば従来技術のような環境や周辺の物理量を検出する場合と比較して、その物体自体が周囲に危険を及ぼす可能性がある場合などにも、警報することができる。たとえば、人よりも大きいだけで、その物体の周辺の物理量に変化が起きない物体の場合、従来技術では危険性を検知できない。本実施形態１では、このような場合でも特定物体として検出して、その周囲に人や他の物などの特定物体と異なる他の物体が近付いた場合に警報を出すことができる。

【0082】

（実施形態２）
上述した実施形態１では、あらかじめ記憶されている特定物体の特徴量とライダーの距離画像から検出される物体の特徴量を比較することで特定物体を特定し、その移動を検出した。これに代えて、本実施形態２は、サーマルカメラを用いて、特定物体として高温の物体を検出することとした。

【0083】

図７は、実施形態２の監視システムの構成を示すブロック図である。図８は、実施形態２の監視システムの構成を説明するための監視領域全体を見渡す概略図である。

【0084】

実施形態２では、図７に示すように、実施形態１の監視システムに、さらにサーマルカメラ２１０（赤外線カメラ）を設けた。

【0085】

サーマルカメラ２１０は、周知のように、撮影領域にある物体から出ている赤外線を感知して、撮影領域内の温度分布からなる赤外線画像を得る。

【0086】

サーマルカメラ２１０以外の構成、および特定物体検出後の監視動作（処理手順）は実施形態１と同様であるので説明は省略する。本実施形態２では、以下、サーマルカメラ２１０を用いた特定物体の検出を主に説明する。

【0087】

サーマルカメラ２１０は、図８に示すように、ライダー１１０と近接させて設置する。このとき、サーマルカメラ２１０で撮影する方向と、ライダー１１０が走査する方向がほぼ同じ方向となるようにする。このためには、サーマルカメラ２１０とライダー１１０はできるだけ近接させて、たとえば５０ｃｍ以内に配置することが好ましい。もちろんサーマルカメラ２１０とライダー１１０が接するように配置してもよいし、これらを１つの筐体に入れて一体化してもよい。

【0088】

このように配置されたサーマルカメラ２１０とライダー１１０を用いた特定物体の検出動作を説明する。図９および１０は、実施形態２の監視動作の処理手順を示すフローチャートである。図１１は、実施形態２のサーマルカメラによる赤外線画像例を示す図である。図１２は、実施形態２のライダーによる距離画像例を示す図である。図１１の赤外線画像と図１２の距離画像はそれらの画像の大きさ（画像サイズ）がほぼ同じになるように調整している。

【0089】

まず、制御部１２０は、サーマルカメラ２１０から得られる赤外線画像を取得し（Ｓ２０１）、その中に所定温度以上の部分があるか否かを判断する（Ｓ２０２）。ここで、図１１に示すように、赤外線画像の中に所定温度以上の部分４００があれば検出されることになる。ここで検出されている所定温度以上の部分４００は、たとえば、実施形態１同様に溶銑鍋（取鍋）である。一方、所定温度以上の部分がなければ（Ｓ２０２：ＮＯ）、Ｓ２０１へ戻る。

【0090】

赤外線線画像から所定温度以上の部分４００が検出されたなら（Ｓ２０２：ＹＥＳ）、続いて、制御部１２０は、ライダー１１０の距離画像を取得し（Ｓ２０３）、物体があるか否か判断する（Ｓ２０４）。ここで、図１２に示すように物体４５０があれば検出されることになる。距離画像からの物体の検出は、実施形態１同様に背景差分法により行われる。一方、物体が検出されなければ（Ｓ２０４：ＮＯ）、Ｓ２０１へ戻る。

【0091】

なお、Ｓ２０１およびＳ２０２と、Ｓ２０３およびＳ２０４は、手順としてはどちらが先でもよい（同時に行ってもよい）。

【0092】

距離画像から物体４５０を検出したなら（Ｓ２０４：ＹＥＳ）、続いて、制御部１２０は、所定温度以上の部分４００の方向と物体４５０の方向を比較して、所定温度以上の部分４００と物体４５０が同じ方向か否かを判断する（Ｓ２０５）。

【0093】

所定温度以上の部分４００の方向は、サーマルカメラ２１０の設置位置を原点として、赤外線画像のなかで原点から所定温度以上の部分４００がある方向を特定し、ＲＡＭ１２３に記憶する。同様に、物体４５０の方向は、ライダー１１０の設置位置を原点として、距離画像のなかで原点から物体４５０がある方向を特定し、ＲＡＭ１２３に記憶する。そして、それぞれの方向を比較する。

【0094】

これらの方向は、具体的には赤外線画像および距離画像内での位置として特定する。所定温度以上の部分４００の方向は、赤外線画像内の座標値として表すことができる。たとえば赤外線画像に、横方向をＸ軸、縦方向をＹ軸とする２次元座標系を設定して、そのなかの所定温度以上の部分４００の座標値を得る。また、物体４５０の方向は、距離画像の３次元座標系の座標値として得られる。距離画像における３次元座標系は、実施形態１同様である。

【0095】

サーマルカメラ２１０とライダー１１０は同じ方向から撮影および走査している。このため、距離画像における３次元座標系のうちＸ－Ｙ平面を抜き出した２次元座標系と赤外線画像における２次元座標系とはほぼ同じ画角となっている。したがって、これら２次元座標系の位置（座標値）を比較すれば、所定温度以上の部分４００と物体４５０とが同じものの場合、所定温度以上の部分４００の位置（座標値）と物体４５０の位置（座標値）はほぼ同じ位置になる。ほぼ同じ位置とは、所定温度以上の部分４００も、物体４５０もある程度の大きさ（画素数）を持っているので、これらの画素の重なりが５０％以上あるものとする。もちろん、５０％でなくても１％でも重なれば同じとしてもよいし、逆に６０％以上の重なりで同じと判断することとしてもよい。ただし、このような画像の比較においては、赤外線画像の分解能（画素数）と、距離画像の分解能（画素数）が異なるので、両者の２次元座標系の縮尺が同じになるように調整して比較する。

【0096】

なお、これらの方向の判断は、直交座標系の座標値から判断するのではなく、たとえば、極座標系を設定した赤外線画像および距離画像から判断してもよい。極座標系は、サーマルカメラ２１０およびライダー１１０の設置位置を原点とすれば、所定温度以上の部分４００および物体４５０の方向は、それぞれの極座標系において原点からの角度として得られる。そして、それらの角度は、ある程度の角度範囲内であれば同じものとする。

【0097】

ここで制御部１２０は、所定温度以上の部分４００と物体４５０の方向が同じでなければ（Ｓ２０５：ＮＯ）、Ｓ２０１へ戻り、処理を継続する。

【0098】

一方、これら方向が同じであれば（Ｓ２０５：ＹＥＳ）、制御部１２０は、ライダー１１０の距離画像から検出された物体４５０を特定物体（ここでは溶銑鍋）と判定されるので、特定物体をクラスタリングする（Ｓ２０６）。クラスタリングは実施形態１と同様に行うことができる。これにより、ライダー１１０の距離画像から検出された物体４５０は、所定温度以上の高温物体であることがわかる。

【0099】

続いて、制御部１２０は、距離画像を取得して（Ｓ２１１）、クラスタリングした特定物体の動体追跡を行う（Ｓ２１２）。動体追跡も実施形態１と同様に、クラスタリング後、ライダー１１０から時系列に取得した距離画像から行うことになる。

【0100】

続いて、特定物体の動体追跡の結果、特定物体が存在しなくなれば（Ｓ２１３：ＮＯ）Ｓ２０１へ戻る。これは、移動していた特定物体が終点に達したり走査領域の外に出たりした場合である。特定物体が存在しなくなれば、警戒領域も実施形態１同様に取り消す。

【0101】

一方、特定物体が存在していれば（Ｓ２１３：ＹＥＳ）、その後は、実施形態１同様に処理を継続する（Ｓ１５～Ｓ２０）。つまり、特定物体が移動していて、既に警報領域５００が設定されているなら（Ｓ１５：ＹＥＳ）、警報領域５００を移動さる（Ｓ２０）。特定物体の移動が検出されて警報領域５００が設定されていなければ（Ｓ１５：ＮＯ）、すなわち特定物体の移動が検出されたなら、特定物体の周囲に警報領域５００を設定する（Ｓ１６）。その後、他の物体の侵入検知（Ｓ１７、Ｓ１８）を行うことになる。

【0102】

本実施形態２においても、警戒領域は、あらかじめ移動経路がわかっている場合は、移動経路３０１全体を含むように設定してもよい。

【0103】

このようなサーマルカメラ２１０を用いた特定物体の検出は、たとえば、高温の物体の移動を検出して警報を出す場合に、特に有効である。

【0104】

高温の物体としては、たとえば、溶銑鍋である。溶銑鍋を特定物体として検出する場合、たとえば所定温度を７０℃に設定しておいて、７０℃以上の部分が赤外線画像のなかにあれば、所定温度以上の部分として検出する。そして、その方向および大きさを特徴量とする。もちろん、所定温度は７０℃に限定されるものではなく、何度に設定してもよい。たとえば人や物に危害が加わるような温度を設定する。高温防護服を着て作業をするような現場では、７０～２００℃程度としてもよい。逆に高温に対して保護機能がない平服での作業場所では、４０～７０℃程度としてもよい。

【0105】

赤外線画像内の所定温度以上の部分と、距離画像内の物体とが同じものであるか否かを確かめる理由を説明する。

【0106】

本実施形態２で特定物体として例示している溶銑鍋は、その移動範囲の近くに高炉や転炉がある。サーマルカメラ２１０の撮影範囲に、これら高炉や転炉があると、それらの蓋が開いていれば所定温度以上の部分として検出されることになる。一方、ライダー１１０の距離画像からは、高炉や転炉は静止物であるため背景差分法では検出されない（背景画像登録時に静止物は背景となるため）。しかし、作業現場には、高温ではない物体、たとえば重機や車両などが入ることがある。そうすると、ライダー１１０の距離画像から重機や車両が物体として検出される。

【0107】

ここで赤外線画像で高炉や転炉などを所定温度以上の部分として検出した場合に、同時に距離画像でも重機や車両などを物体として検出する場合もあり得る。これら部分と物体は同じものではない。このような場合に、単純に所定温度以上の部分と物体を同じものとしてしまうと、誤認識ということになる。

【0108】

本実施形態２では、所定温度以上の部分の方向と、物体の方向を比較することで、それらが同じか否かを判断している。このため静止物からの放熱による所定温度以上の部分と、低温の物体をたまたま同時に検出した場合に、それらが同じものであると誤認識することを防止している。また、複数の移動する所定温度以上の高温物体がある場合も、このように比較することで、それらを個別に特定物体として認識することができる。

【0109】

なお、サーマルカメラ２１０により検出される所定温度以上の部分と、ライダー１１０により検出される物体が同じか否かを判断するために、それらの方向に合わせて、大きさを比較してもよい。これには、たとえば、サーマルカメラ２１０の撮影領域２１０ａとライダー１１０の走査領域１１０ａがほぼ同じ大きさになるように設定する。これには、サーマルカメラ２１０のレンズの焦点距離を調整することで、距離画像のＸ－Ｙ平面と同じ大きさの画角となるように調整できる。これによりサーマルカメラ２１０で撮影された赤外線画像内の所定温度以上の部分と距離画像内のＸ－Ｙ平面における物体の大きさが、ほぼ同じ大きさになる。この場合は、画像内での位置も既に説明したように、同じ位置に来ることになる。これにより、方向だけでなく大きさからも、所定温度以上の部分と物体との同一性を判断することができる。

【0110】

以上により、本実施形態２では、上述した実施形態１の効果に加えて、さらに以下の効果を奏する。

【0111】

サーマルカメラ２１０によって監視領域内に所定温度以上の部分が検知された場合に、その部分の方向と、ライダー１１０の距離画像から検出された物体の方向とを比較して、特定物体を検出する。そして、特定物体が存在し、移動したなら、その周りに警報領域を設定する。これにより所定温度以上の特定物体に、他の物体である人や物などが近付くような場合に警報を出すことができる。

【0112】

なお、実施形態２においても実施形態１同様に、距離画像と共に赤外線画像（または赤外線画像単独でもよい）を一定時間間隔で一時記憶しておく。そして警報領域に侵入した他の物体があると判断した場合には、そのことを示すタグを付けて過去の距離画像と共に赤外線画像（または赤外線画像単独でもよい）を記憶する。これにより赤外線画像により特定物体（たとえば高温の物体）の周囲に設けられた警報領域に侵入した他の物体を温度分布画像として見ることができる。

【0113】

（変形例）
さらに、実施形態１または２の変形例として可視光により物体を撮影し可視光画像を出力する通常のムービーカメラ（可視光カメラ）を設置した例を説明する。

【0114】

図１３は、変形例として可視光により物体を撮影するムービーカメラを設置した場合の監視システムの構成を示すブロック図である。

【0115】

この変形例では、可視光により物体を撮影する通常のムービーカメラ（単にカメラ３１０）と称する）を監視対象となっている領域を撮影できる位置に設置する。

【0116】

そして、監視領域内を撮影し、あらかじめ決められた時間分、一時記憶する（いわゆるループ録画する）。その後、実施形態１または２の処理により、他の物体が警報領域内に侵入した時点で、ループ録画されている映像（動画像）を他の記憶装置へ記憶し直したり、ループ録画の部分を消去禁止にしたりする。なお、ループ録画を永続的（消去しない）記憶にすることを含めて第２記憶部への記憶とする。これにより、距離画像や赤外線画像だけでなく、通常の映像を見て人や物などの特定物体と異なる他の物体が侵入した場合に、他の物体の侵入経過の観察や分析に使用することができる。このカメラ３１０による録画も、たとえば第２記憶部として、ＨＤＤ１２４や、サーバーなどを用いることができる。

【0117】

また、第２記憶部は、制御部１２ではなく、ほかにあってもよい。たとえば、カメラ３１０からの映像を別途専用に記憶する録画装置（不図示）を設けてもよい。この録画装置が一時記憶部および第２記憶部となる。この録画装置には、常にカメラ３１０からの映像をループ録画させておく（一時記憶部となる）。そして、制御部１２０は、実施形態１または２の処理により、他の物体が警報領域内に侵入したことを検出した時点で、録画装置からその時点の画像やループ録画されている過去の映像（全部または一部）を録画装置内において永続的（消去されない）な記憶にする（第２記憶部となる）。これにより、後から分析する際には、録画装置だけを使用しても、他の物体が警報領域に入ったときの画像またはそれより過去の映像を見ることができる。また、この録画装置に映像を録画する媒体は、可搬式の媒体であってもよい。

【0118】

なお、図１１においては、実施形態２の監視システムの構成にカメラ３１０を設けた例を示したが、この変形例は実施形態１の監視システムの構成にカメラ３１０を設けてもよい。カメラ３１０を設置した場合（実施形態１および２のいずれの場合でも）、カメラ３１０で撮影した映像は、距離画像および赤外線画像と共に記憶してもよいし、カメラ３１０の映像だけ記憶（録画）してもよい。

【0119】

以上本発明を適用した実施形態を説明したが、本発明は、これら実施形態に限定されるものではない。

【0120】

上述した実施形態では、ライダー１１０の距離画像またはサーマルカメラ２１０の赤外線画像から、特定物体の移動を検出することとしたが、このほかに、特定物体を移動させるための制御信号を検出して、特定物体が監視領域内に入って移動したものとして、警報領域を設定することとしてもよい。

【0121】

また、上述した実施形態では、特定物体として１つの物体を例に説明したが、特定物体は複数あってもよい。たとえば、ライダー１１０の距離画像やサーマルカメラ２１０の赤外線画像から複数の特定物体を検出して、それぞれの特定物体に警報領域を設定する。

【0122】

また、上述した実施形態では、特定物体の周囲に警報領域を設定することとしたが、特定物体の検出後に、特定物体と他の物体との距離を逐一算出して、その距離が所定距離以下か否かを判断することで、警報信号を出力するようにしてもよい。

【0123】

また、溶銑を運ぶような作業場所を例に説明したが、これはあくまでも一例であり、他の高温物体でも適用可能である。たとえば、溶銑同様に高温の溶鋼や、その他の溶融金属を運んだり、搬送したりする作業場所において本発明は好適に用いることができる。

【0124】

そのほか、本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

【符号の説明】

【0125】

１００ 監視システム、
１１０ ライダー、
１２０ 制御部、
１２３ ＲＡＭ、
１２４ ＨＤＤ、
１３０ ディスプレイ、
１４０ 警報器、
２１０ サーマルカメラ、
３００ 溶銑鍋、
３１０ カメラ、
４００ 所定温度以上の部分、
４５０ 物体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】