(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-16
(45)【発行日】2023-05-24
(54)【発明の名称】人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル
(51)【国際特許分類】
G06T 7/00 20170101AFI20230517BHJP
【FI】
G06T7/00 650B
(21)【出願番号】P 2020067453
(22)【出願日】2020-04-03
【審査請求日】2021-11-05
(73)【特許権者】
【識別番号】000166432
【氏名又は名称】戸田建設株式会社
(74)【代理人】
【識別番号】110001014
【氏名又は名称】弁理士法人東京アルパ特許事務所
(72)【発明者】
【氏名】本木 章平
(72)【発明者】
【氏名】八代 成美
【審査官】佐藤 実
(56)【参考文献】
【文献】特開2020-027380(JP,A)
【文献】猪貝光祥,ディープラーニング技術を用いた高速な画像認識ソリューション 「物体検出・測距ソフトウェア」,月刊自動認識,日本工業出版株式会社,2020年03月10日,第33巻 第3号,第33-38頁
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
走行する機械が稼働する現場において人物を検知する人物検知システムであって、
前記機械に備えられた遠赤外線カメラと、
前記遠赤外線カメラによって取得された熱画像から、学習済みモデルを用いた画像処理によって人物を検知する人物検知部と、
前記人物検知部が人物を検知したことを報知する報知部と、
を備え
、
前記遠赤外線カメラは単眼カメラであり、
前記熱画像には、人物の体の一部が映った画像が含まれ、
前記単眼カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、前記俯瞰変換した画像上において前記遠赤外線カメラから前記人物の接地位置までの距離を計測する測距部を備え、
前記測距部は、前記俯瞰変換をした画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線カメラから前記接地位置までの距離を計測することができず、前記遠赤外線カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記学習済みモデルに基づき前記人物が前記遠赤外線カメラに接近していると判断する
人物検知システム。
【請求項2】
前記人物検知部が人物を検知しうるエリアを前記遠赤外線カメラからの距離ごとに段階的に分割し、前記報知部は、検出された人物が前記分割されたエリアのいずれに位置するかに応じて報知の仕方を変更する
請求項1に記載の人物検知システム。
【請求項3】
前記遠赤外線カメラには、レンズに付着する粉塵を清掃する除去装置を備える
請求項1又は2のいずれか1項に記載の人物検知システム。
【請求項4】
コンピュータを、
遠赤外線
単眼カメラによって取得された熱画像から学習済みモデルを用いた画像処理によって人物を検知する人物検知部と
、
前記人物検知部が人物を検知したことを報知する報知部と、
前記遠赤外線単眼カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、前記俯瞰変換した画像上において前記遠赤外線単眼カメラから前記人物の接地位置までの距離を計測する機能を有し、前記俯瞰変換をした画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができず、前記遠赤外線単眼カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記学習済みモデルに基づき前記人物が前記遠赤外線単眼カメラに接近していると判断する測距部と、
として機能させる人物検知プログラム。
【請求項5】
遠赤外線
単眼カメラによって取得された熱画像と前記熱画像に含まれる人物との組を学習データとする機械学習により、前記熱画像に基づいて前記人物を検出するための学習済みモデルを生成する学習済みモデル生成プログラム
であって、
人物が映った種々の学習用の画像を記録装置に記録する処理と、
前記種々の学習用の画像に、作業員、ヘルメット、機械、自動車のクラスをラベリングする処理と、
前記学習用の画像中から抽出された温度データに基づき前記作業員が検知され、前記学習用の画像を俯瞰変換した画像において前記作業員の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができない場合は、前記作業員が前記遠赤外線単眼カメラに接近していると判断するようニューラルネットワークを調整する処理と、
を備える
学習済みモデル生成プログラム。
【請求項6】
遠赤外線
単眼カメラによって取得された熱画像と前記熱画像に含まれる人物との組を学習データとする機械学習により生成され、前記熱画像に基づいて前記人物を検出するための学習済みモデル
であって、
前記熱画像は、作業員、ヘルメット、機械、自動車のクラスがラベリングされた画像であり、前記ラベリングされた画像には、前記作業員の体の一部が映っている画像が含まれ、
前記遠赤外線単眼カメラによって取得された熱画像から画像処理によって人物を検知する人物検知部と、
前記遠赤外線単眼カメラが取得した画像を俯瞰変換した画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができず、前記遠赤外線単眼カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記人物が前記遠赤外線単眼カメラに接近していると判断する測距部と、
として機能させる
学習済みモデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、走行する機械が稼働する現場において人物を検知する技術に関する。
【背景技術】
【0002】
建設現場における重大災害の一つに、建設機械と人との接触による災害がある。このような災害が生ずるのを防ぐためには、建設機械のオペレータの目視によらずに人物を検知することが求められる。例えば下記特許文献1、2には、カメラによって人物を検知する技術が開示されている。
また、建設現場だけでなく、運搬機械が稼働する工場や倉庫、農業用機械が稼働する農場等においても、人物を検知することにより機械と人との接触を防止する必要がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特許6434507号公報
【文献】特許6474396号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、カメラとして可視光カメラを用いる場合には、太陽光などの光の影響を受けるため、逆光や暗闇、及び、粉塵の環境下では、人物検知機能が低下する。また、比較的近距離のものしか検知することができない。
一方、電波や赤外線によるセンサーを用いることも可能ではあるが、この場合は、人と物とを判別できないため、多くの物に反応してしまうという問題がある。作業員に対してICタグを身につけさせ、ICタグに対する反応によって人物を検出することも可能ではあるが、この場合は、ICタグを身につけている者しか検出できない。
【0005】
本発明は、このような事情にかんがみなされたもので、走行する機械が稼働する現場の逆光や暗闇、粉塵といった環境下においても、また、人物が比較的離れた位置にいる場合にも、人物と物とを判別して検知し、機械と人との接触を未然に防ぐことを目的とする。
【課題を解決するための手段】
【0006】
本発明は、走行する機械が稼働する現場において人物を検知する人物検知システムであって、前記機械に備えられた遠赤外線カメラと、前記遠赤外線カメラによって取得された熱画像から、学習済みモデルを用いた画像処理によって人物を検知する人物検知部と、前記人物検知部が人物を検知したことを報知する報知部と、を備え、前記遠赤外線カメラは単眼カメラであり、前記熱画像には、人物の体の一部が映った画像が含まれ、前記単眼カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、前記俯瞰変換した画像上において前記遠赤外線カメラから前記人物の接地位置までの距離を計測する測距部を備え、前記測距部は、前記俯瞰変換をした画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線カメラから前記接地位置までの距離を計測することができず、前記遠赤外線カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記学習済みモデルに基づき前記人物が前記遠赤外線カメラに接近していると判断する。
この人物検知システムにおいて、前記人物検知部が人物を検知しうるエリアを前記遠赤外線カメラからの距離ごとに段階的に分割し、前記報知部は、検出された人物が前記分割されたエリアのいずれに位置するかに応じて報知の仕方を変更することが望ましい。
この人物検知システムにおいて、前記遠赤外線カメラには、レンズに付着する粉塵を清掃する除去装置を備えることが望ましい。
また、本発明は、コンピュータを、遠赤外線単眼カメラによって取得された熱画像から学習済みモデルを用いた画像処理によって人物を検知する人物検知部と、前記人物検知部が人物を検知したことを報知する報知部と、前記遠赤外線単眼カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、前記俯瞰変換した画像上において前記遠赤外線単眼カメラから前記人物の接地位置までの距離を計測する機能を有し、前記俯瞰変換をした画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができず、前記遠赤外線単眼カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記学習済みモデルに基づき前記人物が前記遠赤外線単眼カメラに接近していると判断する測距部と、して機能させるための人物検知プログラムである。
また、本発明は、遠赤外線単眼カメラによって取得された熱画像と前記熱画像に含まれる人物との組を学習データとする機械学習により、前記熱画像に基づいて前記人物を検出するための学習済みモデルを生成する学習済みモデル生成プログラムであって、人物が映った種々の学習用の画像を記録装置に記録する処理と、前記種々の学習用の画像に、作業員、ヘルメット、機械、自動車のクラスをラベリングする処理と、前記学習用の画像中から抽出された温度データに基づき前記作業員が検知され、前記学習用の画像を俯瞰変換した画像において前記作業員の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができない場合は、前記作業員が前記遠赤外線単眼カメラに接近していると判断するようニューラルネットワークを調整する処理と、を備える。
また、本発明は、遠赤外線単眼カメラによって取得された熱画像と前記熱画像に含まれる人物との組を学習データとする機械学習により生成され、前記熱画像に基づいて前記人物を検出するための学習済みモデルであって、前記熱画像は、作業員、ヘルメット、機械、自動車のクラスがラベリングされた画像であり、前記ラベリングされた画像には、前記作業員の体の一部が映っている画像が含まれ、前記遠赤外線単眼カメラによって取得された熱画像から画像処理によって人物を検知する人物検知部と、前記遠赤外線単眼カメラが取得した画像を俯瞰変換した画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができず、前記遠赤外線単眼カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記人物が前記遠赤外線単眼カメラに接近していると判断する測距部と、として機能させる。
【発明の効果】
【0007】
本発明では、機械に遠赤外線カメラを備えることにより、距離が離れていても、また、逆光や暗闇、粉塵や濃霧といった環境下においても、人物及び物を撮影することができる。そして、遠赤外線カメラによって取得した画像から、学習済みモデルを用いた画像処理によって人を検知するため、人と物とを区別して検知することが可能となる。さらに、報知部が検知結果を報知することにより、機械が人と接触するのを防ぐことができる。
遠赤外線カメラが単眼カメラであり、遠赤外線カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、俯瞰変換した画像上において遠赤外線カメラから人物の接地位置までの距離を計測することにより、遠赤外線カメラと人物との距離に応じた報知が可能となる。また、単眼カメラを用いることにより、小型化を図ることができる。
人物検知部が人物を検知しうるエリアを遠赤外線カメラからの距離ごとに段階的に分割し、報知部が、検出された人物が前記分割されたエリアのいずれに位置するかに応じて報知の仕方を変更することにより、機械のオペレータ及び検知された人物は、危険度の度合いを認識することができる。
測距部は、遠赤外線カメラが取得した画像に人物の体の一部が映っていると判断した場合は、人物が赤外線カメラに接近していると判断するため、人物の接地点がわからない場合においても危険である旨を報知することが可能となる。
遠赤外線カメラに、レンズに付着する粉塵を清掃する除去装置を備えることにより、粉塵が飛散する環境下においても、人物を検知することが可能となる。
【図面の簡単な説明】
【0008】
【
図1】人物検知システムの構成例を示すブロック図である。
【
図2】ニューラルネットワークの例を示す模式図である。
【
図3】学習用に用いられる画像データの例を示す図である。
【
図4】ホイールローダ及びその撮影範囲の例を示す平面図である。
【
図5】人物が検知された画像データの例を示す図である。
【
図6】透視投影の画像を俯瞰変換した状態を示す模式図である。
【発明を実施するための形態】
【0009】
本発明の実施形態の一例として、建設現場において人物を検知する場合について説明する。
1 人物検知システムの構成
図1に示す人物検知システム1は、建設現場において稼働するシステムであり、遠赤外線カメラ2と、遠赤外線カメラ2が取得した画像を処理する画像処理部3と、画像処理部3による処理の結果に応じた報知を行う報知部4と、遠赤外線カメラ2が所得した画像又は画像処理部3が処理した画像を表示するモニター5とを備えている。
【0010】
遠赤外線カメラ2は、波長が3~1000μmの遠赤外線による撮像を行う単眼カメラである。遠赤外線を用いて熱画像を取得するカメラであるため、可視光カメラとは異なり、逆光の影響を受けずに、暗闇においても鮮明な画像を取得することができる。また、粉塵や濃霧の影響を受けにくい。さらに、比較的長い距離離れている人物又は物体の画像を取得することも可能である。遠赤外線カメラ2には、粉塵を除去するための除去装置、例えばワイパーを設け、より鮮明な画像を取得可能とすることが好ましい。
【0011】
遠赤外線カメラ2は、建設現場において稼働する建設機械に備えるものであり、建設機械に最初から搭載されているものでもよいし、後付けで付加されたものであってもよい。建設機械としては、トンネル内における作業に使用されるもの、例えばホイールローダが挙げられる。なお、建設機械が使用される場所及び建設機械の種類は、特に限定されない。
【0012】
画像処理部3は、遠赤外線カメラ2と接続されており、遠赤外線カメラ2が取得した画像の転送を受けてその画像を処理するコンピュータである。画像処理部3を構成するコンピュータは、CPUやGPU等のプロセッサ、ROM、RAM等のメモリ、ハードディスク等の記録装置、外部装置とのインタフェースを少なくとも備えている。
【0013】
画像処理部3は、遠赤外線カメラ2が取得した画像中の人物を検知する人物検知部31と、遠赤外線カメラ2から検知した人物までの距離を計測する測距部32とを有しており、人物検知部31及び測距部32は、人物検知機能を有するプログラムと測距機能を有するプログラムとがそれぞれCPUにおいて実行されることにより実現される。
【0014】
人物検知部31は、画像中の温度分布により、何らかの対象物が存在することを検知することができる。また、人物検知部31は、ディープラーニングによる学習機能を有している。人物検知部31は、
図2に示すように、遠赤外線カメラ2が取得した画像を入力する入力層311と、あらかじめ作成される中間層312と、画像に人物、物体等が含まれる確率をそれぞれ出力する出力層313とを備えたニューラルネットワーク310を有している。ニューラルネットワーク310においては、遠赤外線カメラが取得した画像の各画素値が入力層311から入力され、画像中に人物、物体等が含まれる確率が出力層313から出力される。
【0015】
画像処理部3は、建設機械に搭載されていてもよいし、建設機械とは別の場所に位置していてもよい。画像処理部3が建設機械とは別の場所に位置する場合は、画像処理部3と遠赤外線カメラ2とを無線にて接続する。
【0016】
図1に示すように、報知部4は、有線又は無線にて画像処理部3と接続され、画像処理部3からの信号を受けて、建設現場の作業員や建設機械の操作者等に対し、人間の視覚又は聴覚にうったえる手段によって、人物を検知したことを知らせる機能を有する。報知部4としては、例えば、3色の光による報知の機能とブザーによる報知の機能とを併せ持つ警告灯を用いることができる。
【0017】
モニター5は、画像処理部3と接続され、遠赤外線カメラ2が取得した画像や、画像処理部3によって処理された画像を表示する機能を有する。モニター5は、建設機械のオペレータから視認できる位置に搭載される。
【0018】
2 人物検知システムの動作
例えば、トンネル工事において人物検知を行う場合、実際の工事に人物検知を行う前に、画像処理部3に備えた記録装置に、人物が映った種々の学習用の画像を記録する。これらの画像は、同じトンネル内で撮影した画像とし、例えば、
図3(a)に示すように人物及び自動車が比較的遠くに映った画像61、
図3(b)に示すように遠い位置に複数の人物及び自動車が映った画像62、
図3(c)に示すように比較的離れた位置に複数の人物及び建設機械が映った画像63、
図3(d)に示すように異なる近距離に複数の人物が映った画像64、
図3(e)に示すように比較的近い位置に一人の人物が映った画像65、
図3(f)に示すように近距離に人物の体の一部が映った画像66等、様々な状況の画像がある。これらの画像は、熱画像とそれに含まれる人物との組からなる学習データとなる。
【0019】
これらの画像には、アノテーションによりクラスをラベリングする。例えば、作業員、ヘルメット、建設機械、自動車という4つのクラスを各画像にラベリングする。そして、各画像の画素情報から温度データを抽出し、温度データ値を入力層311への入力値とする。
これらの画像をもとに、人物検知部31に人物検知を行わせ、出力層313における出力に誤りがある場合には、
図2に示した入力層311と中間層312とをつなぐ部分、中間層312の内部、及び、中間層312と出力層313とをつなぐ部分の重みを変更し、正しい出力が得られるように調整する。このような作業を反復し、ニューラルネットワーク310にあらかじめ学習させて、学習モデルを作成しておく。このような学習は、学習済みモデル生成プログラムによって行われる。
【0020】
学習済みモデルが生成された後、例えば、トンネル工事において、建設機械として
図4に示すホイールローダ7が用いられる場合、ホイールローダ7に備える遠赤外線カメラ2が、現場において動画の撮影を開始する。ここでは、
図4に示すように、ホイールローダ7の後部に遠赤外線カメラ2が設置され、後進方向の撮影を開始することとする。なお、例えば、水平視野角は90度、鉛直視野角は65度とする。
【0021】
遠赤外線カメラ2により撮影された動画は、
図1に示したモニター5において、例えば
図5に示す画像71のように表示される。表示される画像においては、撮影範囲の温度に応じた色に表示される。例えば、対象物の温度が高いほど赤で表示され、温度が低いほど青で表示される。
【0022】
また、遠赤外線カメラ2が取得した画像は、画像処理部3に送られる。そして、画像処理部3の人物検知部31においては、人に特有の温度分布を用いることにより、人物を検知することが可能となる。また、遠赤外線カメラ2が取得した画像は、
図2に示した入力層311に入力され、出力層313には、検知した対象物が、作業員である確率、ヘルメットである確率、建機である確率、自動車である確率が、それぞれ出力される。人物検知部31は、出力された確率によって、検知した対象物が人物か否かを判断する。
図5に示すように、人物検知部31が検知した人物については、枠に囲まれて表示される。
【0023】
人物検知部31が人物を検知したと判断すると、次に、測距部32が、遠赤外線カメラ2から検知した人物までの距離を計測する。遠赤外線カメラ2が取得した画像は、奥側が小さく映る透視投影となっているため、遠赤外線カメラ2が取得した画像からは距離を直接計測することはできない。そこで、測距部32は、
図6に示すように、取得された画像72を透視投影から視点変換により俯瞰図に変換して画像73を生成し、路面上における人物A,Bの接地点A1、B1の座標を求める。そして、遠赤外線カメラ2の座標と接地点A1、B1の座標とから、遠赤外線カメラ2と設置点A1との直線距離、及び、遠赤外線カメラ2と設置点A1との直線距離を、画素情報に基づき算出する。算出された距離の値7.3メートル及び12メートルは、モニター5に表示される。遠赤外線カメラ2による撮影は、ホイールローダ2が移動しながら行うため、測距部32により計測される距離は、時々刻々変化する。
【0024】
図7に示すように、撮影範囲を距離ごとに分割する。
図7の例では、遠赤外線カメラ2からの距離が、5メートル以内のエリア100、5メートルから10メートルまでのエリア200、10メートルから20メートルまでのエリア300の3つのエリアに分割している。測距部32は、距離の算出結果により、どのエリアに人物がいるかを判断する。そして、報知部4は、人物がいるエリアに応じたアラートを行う。例えば、人物がエリア100にいる場合は、危険であるため、警告灯を赤く点滅させるとともに、ブザーを鳴動させ、ホイールローダ7の走路からの退去を促す。一方、人物がエリア200にいる場合は、警告灯を黄色く点滅させる。この場合、危険が差し迫っているわけではないため、ブザーは鳴らさない。また、人物がエリア300にいる場合は、警告灯を緑色に点滅させる。この場合もブザーは鳴らさない。
【0025】
図7の例では、遠赤外線カメラ2からの距離を15メートルまでとしたが、実際にはそれ以上、例えば40メートルほど離れていても、対象物を検知し、人か物かを判別することができる。また、アラート行う対象エリアの設定を変更することが可能である。
【0026】
図3(f)の画像のような人物の一部が映った画像を、人物がホイールローダ7の近くに接近している状態であるとニューラルネットワーク310に学習させておくことにより、遠赤外線カメラ2が取得した画像に人物の体の一部しか映っていない画像を取得した場合においても、測距部32は、人物が接近していると判断し、報知部4は、人物が接近している旨の報知をすることできる。すなわち、遠赤外線カメラ2が実際に取得した画像に人物の体の一部が映っているのみであると、測距部32は、その人物が近距離に接近していると判断する。特に、
図6に示したような俯瞰変換をした画像において足元の一部が映っておらず、接地点を検出できない場合は、遠赤外線カメラ2から接地点までの距離を計測することはできないが、その場合は人物が近くに接近していると判断し、その旨を報知部4に報知させる。
【0027】
このように、人物検知システム1では、遠赤外線カメラ2による画像を用いるため、逆光や暗闇、粉塵といった環境下においても、また、人物が比較的離れた位置にいる場合にも、対象物を検知することができ、また、ディープラーニングを用いた判別をすることにより、作業員にICタグ等を身につけさせなくても、人物を物と区別して認識することが可能となる。
【0028】
また、単眼カメラを用いて撮影を行い、測距部32が画像を俯瞰変換してから人物までの距離を算出するため、遠赤外線カメラ2と人物との距離に応じた報知が可能となる。また、単眼カメラを用いることにより、ステレオカメラより小型化した設備において実現可能であるため、建設機械の大型化を防止できる。
【0029】
人物検知部3が人物を検知しうるエリアを遠赤外線カメラからの距離ごとに段階的に分割し、報知部4が、検出された人物が分割されたエリアのいずれに位置するかに応じて報知の仕方を変更することにより、建設機械のオペレータ及び検知された人物は、危険度の度合いを認識することができる。
【0030】
なお、人物検知部31による人物の検知及び測距部32による距離の計測の結果に応じ、建設機械を自動で制御するようにしてもよい。例えば、人物検知部31と建設機械の制御部とを電気的に接続しておき、人物が所定範囲内に近づいていることを検知した時に、建設機械を自動的に停止させたり、移動の方向を変更したりする処理を行うとよい。
【0031】
上記実施形態では、建設現場における人物検知について説明したが、本発明の人物検知システムは、建設現場以外、例えばフォークリフト等の運搬機械が稼働する工場や倉庫、農業用機械が稼働する農場等、走行する機械が稼働する現場であれば、広く利用することができる。
【符号の説明】
【0032】
1:人物検知システム1
2:遠赤外線カメラ
3:画像処理部
31:人物検知部
310:ニューラルネットワーク 311:入力層 312:中間層 313:出力層
32:測距部
4:報知部 5:モニター
61~66:画像
7:ホイールローダ 71~73:画像
100、200、300:エリア